CN109166131B - 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 - Google Patents

红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 Download PDF

Info

Publication number
CN109166131B
CN109166131B CN201811147819.5A CN201811147819A CN109166131B CN 109166131 B CN109166131 B CN 109166131B CN 201811147819 A CN201811147819 A CN 201811147819A CN 109166131 B CN109166131 B CN 109166131B
Authority
CN
China
Prior art keywords
image
halation
fused
visible light
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811147819.5A
Other languages
English (en)
Other versions
CN109166131A (zh
Inventor
郭全民
柴改霞
高嵩
田英侠
杨建华
马超
周芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202110399208.5A priority Critical patent/CN113077482B/zh
Priority to CN201811147819.5A priority patent/CN109166131B/zh
Publication of CN109166131A publication Critical patent/CN109166131A/zh
Application granted granted Critical
Publication of CN109166131B publication Critical patent/CN109166131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种红外与可见光融合的汽车夜视抗晕光图像的评价方法,该方法通过设计的自适应迭代阈值法根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值,并将融合图像自动分为晕光区与非晕光区;针对晕光区与非晕光区图像处理目标的不同,在晕光区设计了晕光消除度用于评价融合图像晕光消除的效果,在非晕光区从多个角度评价融合图像色彩细节信息的增强效果。该方法解决了现有红外与可见光融合图像评价方法用于评价汽车夜视抗晕光融合图像时,评价结果与人眼视觉效果不一致、融合图像晕光消除越彻底评价结果反而越差的问题。

Description

红外与可见光融合的汽车夜视抗晕光图像分割及评价方法
技术领域
本发明属于汽车抗晕光技术领域,尤其涉及一种红外与可见光融合的汽车夜视抗晕光图像分割方法及分割后图像评价方法,该评价方法用于评价夜间抗晕光融合图像的晕光消除程度和图像细节质量,适用于评判红外与可见光结合的汽车抗晕光图像融合算法。
背景技术
结合红外图像无晕光、可见光图像色彩细节信息丰富优点的图像融合抗晕光技术,为解决夜间行车的晕光问题提供了一种新途径,具有较好的应用前景。
为了评判汽车夜视抗晕光融合图像的晕光消除程度和细节信息增强效果,以及评判不同图像融合算法的优劣,客观评价方法的评判结果应与人眼视觉效果一致,但目前常用的红外与可见光的融合图像评价方法,都不适合特定的夜视抗晕光应用场景。
夜间行车消除晕光的问题,实质上是低照度强光源逆光拍摄图像的消晕光问题,与一般夜视红外与可见光图像融合聚焦于低照度场景下增强图像的纹理细节信息不同,红外与可见光融合的汽车夜视抗晕光图像融合的目的首要是消除高亮的晕光,再次是增强暗处的色彩细节信息。因此,汽车夜视抗晕光融合图像与一般红外与可见光融合图像相比存在三点显著差异:1)消除晕光后的融合图像与原始图像不同,且晕光消除越彻底差异越大;2)原始图像晕光部位的光晕梯度及明暗边界十分明显,随着晕光消除越彻底,融合图像原晕光部位的梯度、边界越不明显;3)晕光部位的高亮度会造成其它部位的亮度更暗,融合图像的暗处细节信息更不易观察。
由于汽车夜视抗晕光融合图像的特殊性,现有红外与可见光融合图像评价方法的评价结果不能准确、客观地反映融合图像的晕光消除、色彩细节增强的效果,甚至出现晕光消除越彻底,融合图像评价指标结果越差,与人眼视觉效果不一致的现象。
现有的无参考图像评价方法,通过客观指标对融合图像自身质量进行评价。融合图像消除晕光后,晕光部位的高亮度信息被剔除,会导致反映融合图像平均亮度的均值降低;融合图像晕光消除越彻底,明暗对比度越低,晕光处的纹理细节反差越少,导致标准差和边缘强度降低。上述指标的评价结果都与融合图像的晕光消除程度相反,故该类方法不能真实地反映汽车夜视抗晕光融合图像的质量。
全参考图像评价方法从融合图像对原始图像的信息保留程度方面评价融合图像的质量。例如交叉熵,在融合图像非晕光部位,该指标能很好的反映出对原始图像细节信息的保留程度,但在晕光部位,融合图像晕光消除越彻底,晕光细节信息保留越少,与可见光图像相似程度越低,故评价结果不能真实反映融合图像的质量,这类方法也不适用于评价汽车夜视抗晕光融合图像。
基于视觉系统的评价方法从人眼视觉效果方面评价融合图像的质量。例如边缘保持度,在融合图像非晕光部位,该指标能很好的反映出对原始图像边缘、轮廓等重要信息的保留程度,但在晕光部位,晕光消除越彻底,晕光边缘、轮廓等信息保留越少,该指标的评价结果与晕光消除程度相反。结构相似度指标也存在同样的问题,因此,这类方法同样不适用于评价汽车夜视抗晕光融合图像。
综上所述,现有的几类红外与可见光的融合图像评价方法,都无法真实反映汽车夜视抗晕光融合图像的质量,为此亟需提出一种适合红外与可见光融合的汽车夜视抗晕光图像的评价方法。
发明内容
本发明提供一种红外与可见光融合的汽车夜视抗晕光图像分割方法及融合图像评价方法,该方法解决了现有红外与可见光融合图像评价方法用于评价汽车夜视抗晕光融合图像时,评价结果与人眼视觉效果不一致、融合图像晕光消除越彻底评价结果反而越差的问题,用于评价夜间抗晕光融合图像的晕光消除程度和图像细节质量。
为了达到上述目的,本发明的技术内容如下:
一种红外与可见光融合的汽车夜视抗晕光图像分割方法,包括以下步骤:
步骤1、将可见光彩色图像转化为灰度图像;
步骤2、通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值Gc
步骤3、根据晕光临界灰度值Gc将可见光、红外和融合图像中的每幅图像分为晕光区域AH和非晕光区域
Figure GDA0003033851390000021
并分割成晕光图像PH和非晕光图像
Figure GDA0003033851390000022
在步骤2中:
通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值Gc,具体包括以下步骤:
步骤2.1、选择图像灰度中值作为初始阈值T0
T0=0.5(Inmax+Inmin)
式中:Inmax、Inmin分别是图像所有像素中最大的灰度值、最小的灰度值;
步骤2.2、利用阈值Ti把图像分割为两个区域R1和R2,根据下式计算区域R1和R2的灰度均值μ1和μ2
Figure GDA0003033851390000031
式中:In(j)是第j个像素的灰度值,L为图像总像素数,L1为区域R1像素数,L2为区域R2像素数,L=L1+L2
步骤2.3、根据下式,计算新的阈值Ti+1
Ti+1=m(μ12);
式中:m为晕光图像的分割效果满足人眼视觉效果的自适应系数,随图像晕光程度自动调节;
步骤2.4、重复步骤2.2~2.3,直到阈值不再变化时迭代结束,把最新得到的阈值作为图像的晕光临界灰度值Gc
进一步的,步骤2.3中:
可见光晕光图像的分割效果满足人眼视觉效果的自适应系数m由下式确定:
m=a*s^b+c
式中:s为晕光区面积与非晕光区面积比,a、b和c为三个常数。
进一步的,m公式中三个参数的取值范围为:a∈(-6.023,2.569),b∈(-0.04166,0.09245),c∈(-2.072,6.507)。
进一步的,m公式中三个参数的优选取值为:a=-1.727,b=0.0254,c=2.21。
进一步的,在步骤3中:
根据下式,进行晕光和非晕光区域的划分,灰度值大于等于Gc的像素点构成晕光区域AH,灰度值小于Gc的像素点构成非晕光区域
Figure GDA0003033851390000036
Figure GDA0003033851390000032
根据下式,构成晕光图像PH
Figure GDA0003033851390000033
根据下式,构成非晕光图像
Figure GDA0003033851390000034
Figure GDA0003033851390000035
一种融合图像的质量评价方法,所述评价方法如下:
在晕光区域,计算晕光消除度D,D越大即表示融合图像晕光消除越彻底;
在非晕光区域,从融合图像自身特性方面、从融合图像对原始图像的信息保留程度方面和从人眼视觉效果方面评价融合图像的质量。
进一步的,在晕光区域计算晕光消除度D,晕光消除度D由下式计算:
Figure GDA0003033851390000041
式中:
Figure GDA0003033851390000042
Figure GDA0003033851390000043
分别为红外、可见光和融合图像的均值,σIR、σVI和σFU分别为红外、可见光和融合图像的标准差,σIRFU、σVIFU分别为红外与融合图像、可见光与融合图像的协方差,C1、C2为常数,C1=6.5025、C2=58.5225。
与现有技术相比,本发明的有益效果如下:
1、本发明设计的汽车夜视抗晕光融合图像评价方法,解决了现有红外与可见光融合图像评价方法在评价汽车夜视抗晕光融合图像时,评价结果与人眼视觉效果不一致的问题,克服了融合图像晕光消除越彻底评价结果反而越差的缺点。
2、本发明评价方法针对晕光区与非晕光区图像处理目标的不同,在晕光区设计的晕光消除度用于评价融合图像晕光消除的效果,在非晕光区从多个角度评价融合图像色彩细节信息的增强效果,达到全面、合理评价汽车夜视抗晕光融合图像的目的。
3、本发明设计的抗晕光图像分割方法,采用自适应迭代阈值法,能够根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值,并将融合图像自动分为晕光区与非晕光区,满足不同区域评价目标的需求。
附图说明:
图1是可见光图像;
图2是红外图像;
图3是融合图像;
图4是晕光区可见光图像;
图5是晕光区红外图像;
图6是晕光区融合图像;
图7是非晕光区可见光图像;
图8是非晕光区红外图像;
图9是非晕光区融合图像。
具体实施方式:
针对现有融合图像抗晕光技术的评价方法存在不能反映融合图像晕光区晕光消除的程度,不能客观反映非晕光区融合后图像保留原始图像纹理细节的问题。
下面结合附图和一个完整的处理过程对本发明作详细说明。
本发明针对现有红外与可见光融合图像评价方法不适用于评价汽车夜视抗晕光融合图像的问题,设计了一种红外与可见光融合的汽车夜视抗晕光图像的评价方法,该方法通过设计的自适应迭代阈值法根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值,并将融合图像自动分为晕光区与非晕光区;针对晕光区与非晕光区图像处理目标的不同,在晕光区设计了晕光消除度用于评价融合图像晕光消除的效果,在非晕光区从多个角度评价融合图像色彩细节信息的增强效果。该方法解决了现有红外与可见光融合图像评价方法用于评价汽车夜视抗晕光融合图像时,评价结果与人眼视觉效果不一致、融合图像晕光消除越彻底评价结果反而越差的问题。该方法也适用于评判不同红外与可见光融合的汽车夜视抗晕光图像融合算法的优劣。本发明适用于汽车夜视抗晕光领域。
本发明提供一种红外与可见光融合的汽车夜视抗晕光图像分割方法,该方法包括以下步骤:
步骤1、将可见光彩色图像转化为灰度图像;
步骤2、通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值Gc;包括有如下处理步骤:
步骤2.1、选择图像灰度中值作为初始阈值T0
T0=0.5(Inmax+Inmin) (1)
式中:Inmax、Inmin分别是图像所有像素中最大的灰度值、最小的灰度值;
步骤2.2、利用阈值Ti把图像分割为两个区域R1和R2,根据下式计算区域R1和R2的灰度均值μ1和μ2
Figure GDA0003033851390000051
式中:In(j)是第j个像素的灰度值,L为图像总像素数,L1为区域R1像素数,L2为区域R2像素数,L=L1+L2
步骤2.3、根据下式,计算新的阈值Ti+1
Ti+1=m(μ12) (3)
式中:m为晕光图像的分割效果满足人眼视觉效果的自适应系数,随图像晕光程度自动调节;
步骤2.4、重复步骤2.2~2.3,直到阈值不再变化时迭代结束,把最新得到的阈值作为图像的晕光临界灰度值Gc
公式(3)中自适应系数m的函数表达式,具体实现步骤如下:
1.采点:以两车会车时的晕光图像为研究对象,采集不同类型道路车辆从远及近,晕光从小到大再变小的大量晕光图像,进行处理获得自适应系数m、晕光区面积与非晕光区面积比s的对应点集(si,mi);
2.拟合基线:根据点集(si,mi)拟合曲线,面积比s和自适应系数m之间存在明显的递减关系,形式如下式,在此称其为基线;
3.m=a*s^b+c (7)
4.确定上下界曲线:根据分布在基线上下外侧的点拟合曲线上界和下界,增加采点量直到找到晕光区分割效果满足人眼观察的基线上界和基线下界;
5.确定各系数取值范围:根据(3)中的基线上下界得到a∈(-6.023,2.569),b∈(-0.04166,0.09245),c∈(-2.072,6.507);
6.确定各系数最优值:当a=-1.727,b=0.0254,c=2.218时,自适应系数m取值保证分割效果达到最优,最优函数式如下;
m=-1.727*s0.0254+2.218 (8)
步骤3根据晕光临界灰度值Gc将可见光、红外和融合图像中的每幅图像分为晕光区域AH和非晕光区域
Figure GDA0003033851390000061
并分割成晕光图像PH和非晕光图像
Figure GDA0003033851390000062
根据下式,进行晕光和非晕光区域的划分,灰度值大于等于Gc的像素点构成晕光区域AH,灰度值小于Gc的像素点构成非晕光区域
Figure GDA0003033851390000063
Figure GDA0003033851390000064
根据下式,构成晕光图像,将灰度矩阵中灰度值大于Gc的数值保留,即晕光区域AH像素点的灰度值保留,灰度值小于Gc的数值置0,即非晕光区域
Figure GDA00030338513900000610
像素点的灰度值置0,新得到的像素点构成晕光区图像PH
Figure GDA0003033851390000065
根据下式,构成非晕光图像
Figure GDA0003033851390000066
将灰度矩阵中灰度值小于Gc的数值保留,即非晕光区域
Figure GDA0003033851390000067
像素点的灰度值保留,灰度值大于Gc的数值置0,即晕光区域AH像素点的灰度值置0,新得到的像素点构成非晕光区图像
Figure GDA0003033851390000068
Figure GDA0003033851390000069
本发明评价红外与可见光融合的汽车夜视抗晕光图像的质量,以及通过评价融合图像的质量来评价图像融合算法的优劣,该评价方法包括以下步骤:
1.在晕光区域,计算晕光消除度D,D越大融合图像晕光消除越彻底;
研究可知,晕光信息只存在于可见光图像中,故融合图像消除晕光的程度可用其与可见光及红外图像的接近程度来衡量。在晕光区域,融合图像与可见光图像结构相似度越大,融合图像包含的晕光信息越多,晕光消除越不彻底;反之,融合图像与红外图像结构相似度越大,融合图像包含的晕光信息越少,晕光消除越彻底。综上所述,本发明提出的晕光区域融合图像的晕光消除评价指标————晕光消除度,定义为:融合图像在晕光区域与红外图像的结构相似度和与可见光图像的结构相似度之差的归一化,可表示为:
D=0.5×[SSIMH(IR,FU)-SSIMH(VI,FU)+1] (10)
式中:IR为红外图像,VI为可见光图像,FU为融合图像,SSIMH(IR,FU)和SSIMH(VI,FU)分别为晕光区域融合图像与红外图像和可见光图像的结构相似度。其中结构相似度表示为:
Figure GDA0003033851390000071
式中,R为参考图像,R∈{IR,VI},
Figure GDA0003033851390000072
分别为参考图像、融合图像的均值,σR和σFU分别为参考图像和融合图像的标准差,σRFU为参考图像与融合图像的协方差,C1、C2为常数,该指标分别从图像的亮度特性、图像的对比度特性和原始图像与目标图像之间的结构相似性特性三个方面衡量了两幅图像的相似程度。
综上晕光消除度D公式(10)可改写为:
Figure GDA0003033851390000073
式中:
Figure GDA0003033851390000074
分别为红外、可见光图像的均值,σIR、σVI分别为红外、可见光图像的标准差,σIRFU、σVIFU分别为红外与融合图像、可见光与融合图像的协方差,C1=6.5025、C2=58.5225;
D越大表明融合图像在晕光区域与红外图像相似度更高,与可见光图像相似度更低,消除晕光效果越好;D越小表明融合图像在晕光区域与红外图像相似度更低,与可见光图像相似度更高,消除晕光效果越差。D的取值范围为[0,1],D越接近1说明消除晕光越彻底,越接近0说明消除晕光越不彻底。
2.在非晕光区域,计算非晕光区融合图像的均值
Figure GDA0003033851390000076
标准差σ、信息熵E、平均梯度AG、边缘强度EI、空间频率SF等评价指标,从融合图像自身特性方面评价融合图像的质量。
Figure GDA0003033851390000077
越大,融合图像整体亮度越高;σ越大,图像的对比度越大;E越大,图像包含的信息量越大;AG越大,图像的细节反差越大图像越清晰;EI越大,图像边缘越锋利;SF越大,图像空间域的活跃程度越大;
EI越大,图像边缘越锋利,计算公式如下;
Figure GDA0003033851390000075
式中I(i,j)表示融合图像第i行第j列的像素点的灰度值;
SF越大,图像空间域的活跃程度越大,计算公式如下;
Figure GDA0003033851390000081
3.在非晕光区域,计算峰值信噪比PSNR、交叉熵CE、互信息MI、均方根误差RMSE等评价指标,从融合图像对原始图像的信息保留程度方面评价融合图像的质量。
PSNR越大,表明融合图像相对于原图失真越小。
CE越小,表明融合图像保留原图像的细节信息越多,计算公式如下;
Figure GDA0003033851390000082
式中:PRi、PFi分别为参考图像、融合图像的灰度值等于i的概率,L为图像的灰度级。
MI越大,表明融合图像从原图像提取的信息越多,计算公式如下;
Figure GDA0003033851390000083
式中:PR(i)、PF(j)分别为参考图像、融合图像的概率密度,PRF(i,j)为参考图像与融合图像的联合分布密度,L为图像的灰度级数。
RMSE越小,表明融合图像灰度值相对于原图灰度值离散程度越小,计算公式如下;
Figure GDA0003033851390000084
式中:M,N为图像的行数和列数,R(i,j),F(i,j)分别为参考图像、融合图像的像素点的灰度值。
4.在非晕光区域,计算结构相似度SSIM和边缘保持度QAB/F,从人眼视觉效果方面评价融合图像的质量。
SSIM越大,表明融合图像的亮度、对比度、结构与原图像越相似;
QAB/F越大,表明融合图像保留原图像的边缘信息越多,计算公式如下:
Figure GDA0003033851390000085
式中:wA(n,m)、wB(n,m)是相应像素的权重,QAF(n,m)和QBF(n,m)是原图像A与融合图像、原图像B与融合图像的相似性度量。
下面给出一个具体仿真的实例。
实施例:
本实施例仿真条件:Windows7操作系统、MATLAB软件。
主要内容:采用自适应迭代阈值法自动确定可见光灰度图像的晕光临界灰度值,并将可见光、红外和融合图像自动划分为晕光与非晕光区,计算晕光区的晕光消除度评价融合图像的晕光消除程度,计算非晕光区融合图像的评价指标评价融合图像的色彩细节信息增强效果。具体的步骤:
一、分区:
1.使用imread函数读取可见光、红外及融合三幅图像(见图1、图2、图3);
2.使用rgb2gray函数将可见光彩色图像转化为灰度图像;
3.根据公式(4)、(5)、(6)将图像分为晕光区可见光图像(见图4)、晕光区红外图像(见图5)、晕光区融合图像(见图6);非晕光区可见光图像(见图7)、非晕光区红外图像(见图8)、非晕光区融合图像(见图9);
二、根据公式(9)计算晕光区融合图像的晕光消除度,可得D=0.93655,接近上限1,表明融合图像消除晕光的效果较好。该指标直观地表示融合图像晕光区晕光消除的程度,是现有的红外与可见光融合图像评价方法中所没有的。
三、非晕光区融合图像的评价指标的计算及结果分析;
1.通过融合图像自身特性的客观评价指标评价融合图像的质量
利用mean2函数计算非晕光区融合图像的均值;
利用std函数计算非晕光区融合图像的标准差;
利用Entropy函数计算非晕光区融合图像的熵;
利用Avg_Gradient函数和mean函数计算非晕光区融合图像的平均梯度;
按公式(12)计算非晕光区融合图像的边缘强度;
按公式(13)计算非晕光区融合图像的空间频率;
为了验证本发明方法的有效性,与不分区的融合图像进行对比,各评价指标的结果如表1所示;
表1融合图像客观评价指标的结果
Figure GDA0003033851390000091
由表1可知,不分区融合图像的均值、标准差、熵、平均梯度、边缘强度、空间频率比非晕光区融合图像的值大。这是由于高亮度晕光的存在,使融合图像的均值变大,非晕光区的实际亮度并没有那么大;也使图像明暗对比度提高,导致不分区融合图像的标准差更大;晕光信息的存在,也使不分区融合图像的熵值更大;晕光处一圈圈的光晕使得反映纹理细节的平均梯度变大;晕光处明显的边界也使边缘强度更大;整体上导致空间域的活跃程度增大,空间频率更大,由此可见,不分区融合图像评价指标结果因其包含晕光区的无用信息,导致客观评价指标失真,不能准确、客观反映融合图像质量的真实情况。
2.通过融合图像对原始图像的信息保留程度评价融合图像的质量;
利用psnr函数计算非晕光区的融合图像与可见光图像、红外图像的峰值信噪比;
按公式(14)计算非晕光区的融合图像与可见光、红外图像的交叉熵;
按公式(15)计算非晕光区的融合图像与可见光、红外图像的互信息;
按公式(16)计算非晕光区的融合图像与可见光、红外图像的均方根误差;
为了进一步验证本发明方法的有效性,与不分区的融合图像进行对比,各评价指标的结果如表2所示;
表2融合图像对原图信息的保留度指标
Figure GDA0003033851390000101
由表2可知,分区后融合图像与可见光、红外图像的峰值信噪比,较分区前分别提高了8.35%、3.5%,说明非晕光区融合图像相对原图失真更小;分区后融合图像与可见光、红外图像的交叉熵,较分区前分别降低了36.25%、66.52%,说明融合图像保留原图像的细节信息更多;分区后融合图像与可见光、红外图像的互信息,较分区前相比分别提高了254%、96%,说明非晕光区融合图像从原图提取的信息更多;分区后融合图像与可见光、红外图像的均方根误差,较分区前分别降低了48.2%、28.2%,说明非晕光区融合图像更接近于原图图像。
3.通过人眼视觉效果的客观评价指标评价融合图像的质量;
利用ssim函数计算非晕光区融合图像与可见光、红外图像的结构相似度;
按公式(17)计算非晕光区融合图像的边缘保持度;
从人眼视觉效果进一步验证本发明方法的有效性,各评价指标的结果如表3所示;
表3融合图像的视觉效果指标
Figure GDA0003033851390000102
由表3可知,分区后融合图像与可见光、红外图像的结构相似度,较分区前提高了55.6%、19.73%,说明非晕光区融合图像与原图像更相似;分区后融合图像边缘保持度较分区前提高了74.62%,说明非晕光区融合图像对原图像的边缘、轮廓保留度更好。
以上分析表明,本发明方法在评价红外与可见光融合的汽车夜视抗晕光图像时与现有的评价方法相比,能直观地描述融合图像晕光区的晕光消除程度,分区的评价方式避免了晕光对评价指标的干扰,保证了客观指标的评价结果与人眼视觉效果相一致,能满足对红外与可见光融合的汽车夜视抗晕光图像的客观要求。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (5)

1.红外与可见光融合的汽车夜视抗晕光图像分割方法,其特征在于,包括以下步骤:
步骤1、将可见光彩色图像转化为灰度图像;
步骤2、通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值Gc
步骤3、根据晕光临界灰度值Gc将可见光、红外和融合图像中的每幅图像分为晕光区域AH和非晕光区域AH,并分割成晕光图像PH和非晕光图像PH
在步骤2中:
通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值Gc,具体包括以下步骤:
步骤2.1、选择图像灰度中值作为初始阈值T0
T0=0.5(Inmax+Inmin)
式中:Inmax、Inmin分别是图像所有像素中最大的灰度值、最小的灰度值;
步骤2.2、利用阈值Ti把图像分割为两个区域R1和R2,根据下式计算区域R1和R2的灰度均值μ1和μ2
Figure FDA0003033851380000011
式中:In(j)是第j个像素的灰度值,L为图像总像素数,L1为区域R1像素数,L2为区域R2像素数,L=L1+L2
步骤2.3、根据下式,计算新的阈值Ti+1
Ti+1=m(μ12);
式中:m为晕光图像的分割效果满足人眼视觉效果的自适应系数,随图像晕光程度自动调节;
步骤2.4、重复步骤2.2~2.3,直到阈值不再变化时迭代结束,把最新得到的阈值作为图像的晕光临界灰度值Gc
2.根据权利要求1所述的红外与可见光融合的汽车夜视抗晕光图像分割方法,其特征在于,步骤2.3中:
可见光晕光图像的分割效果满足人眼视觉效果的自适应系数m由下式确定:
m=a*s^b+c
式中:s为晕光区面积与非晕光区面积比,a、b和c为三个常数。
3.根据权利要求2所述的红外与可见光融合的汽车夜视抗晕光图像分割方法,其特征在于,m公式中三个参数的取值范围为:a∈(-6.023,2.569),b∈(-0.04166,0.09245),c∈(-2.072,6.507)。
4.根据权利要求3所述的红外与可见光融合的汽车夜视抗晕光图像分割方法,其特征在于:m公式中三个参数的优选取值为:a=-1.727,b=0.0254,c=2.21。
5.根据权利要求1所述的红外与可见光融合的汽车夜视抗晕光图像分割方法,其特征在于,在步骤3中:
根据下式,进行晕光和非晕光区域的划分,灰度值大于等于Gc的像素点构成晕光区域AH,灰度值小于Gc的像素点构成非晕光区域
Figure FDA0003033851380000021
Figure FDA0003033851380000022
根据下式,构成晕光图像PH
Figure FDA0003033851380000023
根据下式,构成非晕光图像
Figure FDA0003033851380000024
Figure FDA0003033851380000025
CN201811147819.5A 2018-09-29 2018-09-29 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 Active CN109166131B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110399208.5A CN113077482B (zh) 2018-09-29 2018-09-29 一种融合图像的质量评价方法
CN201811147819.5A CN109166131B (zh) 2018-09-29 2018-09-29 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811147819.5A CN109166131B (zh) 2018-09-29 2018-09-29 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110399208.5A Division CN113077482B (zh) 2018-09-29 2018-09-29 一种融合图像的质量评价方法

Publications (2)

Publication Number Publication Date
CN109166131A CN109166131A (zh) 2019-01-08
CN109166131B true CN109166131B (zh) 2021-06-29

Family

ID=64892899

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811147819.5A Active CN109166131B (zh) 2018-09-29 2018-09-29 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法
CN202110399208.5A Active CN113077482B (zh) 2018-09-29 2018-09-29 一种融合图像的质量评价方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110399208.5A Active CN113077482B (zh) 2018-09-29 2018-09-29 一种融合图像的质量评价方法

Country Status (1)

Country Link
CN (2) CN109166131B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135235B (zh) * 2019-03-13 2022-04-19 北京车和家信息技术有限公司 一种眩光处理方法、装置及车辆
CN112053313B (zh) * 2020-08-31 2022-12-06 西安工业大学 异源图像融合的夜视抗晕光视频处理方法
CN112069967B (zh) * 2020-08-31 2022-12-06 西安工业大学 异源视频融合的夜视抗晕光行人检测及跟踪方法
CN112419356A (zh) * 2020-12-08 2021-02-26 江苏科技大学 一种大棚中小树种植生长检测和记录方法及其装置
CN113487529B (zh) * 2021-07-12 2022-07-26 吉林大学 一种基于Yolo的气象卫星云图目标检测方法
US20230400560A1 (en) * 2022-06-13 2023-12-14 Datalogic IP Tech, S.r.l. Dynamic utilization of broad-spectrum photosensor
CN116091403B (zh) * 2022-11-30 2024-04-26 中国石油大学(华东) 一种彩色夜视融合图像质量主客观评价方法
CN116543378B (zh) * 2023-07-05 2023-09-29 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383004A (zh) * 2007-09-06 2009-03-11 上海遥薇实业有限公司 一种红外和可见光图像相结合的乘客目标检测方法
CN102663745A (zh) * 2012-03-23 2012-09-12 北京理工大学 一种基于视觉任务的彩色融合图像质量评价方法
CN107240096A (zh) * 2017-06-01 2017-10-10 陕西学前师范学院 一种红外与可见光图像融合质量评价方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5404122B2 (ja) * 2009-03-26 2014-01-29 オリンパス株式会社 焦点位置調整装置およびカメラ
JP2013038504A (ja) * 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
CN102819053A (zh) * 2012-07-12 2012-12-12 南京迈得特光学有限公司 采用圆顶光锥的大视场仿生复眼视觉系统
CN105069768B (zh) * 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN107945149B (zh) * 2017-12-21 2021-07-20 西安工业大学 增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101383004A (zh) * 2007-09-06 2009-03-11 上海遥薇实业有限公司 一种红外和可见光图像相结合的乘客目标检测方法
CN102663745A (zh) * 2012-03-23 2012-09-12 北京理工大学 一种基于视觉任务的彩色融合图像质量评价方法
CN107240096A (zh) * 2017-06-01 2017-10-10 陕西学前师范学院 一种红外与可见光图像融合质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
图像融合质量评价方法研究综述;杨艳春;《计算机科学与探索》;20180307;第1021-1035页 *
基于人眼视觉特性的深度学习全参考图像质量评价方法;姚旺等;《红外与激光工程》;20180725;第47卷(第7期);第3节 *

Also Published As

Publication number Publication date
CN109166131A (zh) 2019-01-08
CN113077482B (zh) 2024-01-19
CN113077482A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN109166131B (zh) 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法
Negru et al. Exponential contrast restoration in fog conditions for driving assistance
CN110570360B (zh) 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
CN103345733B (zh) 基于改进暗通道先验的快速低照度图像增强方法
CN103955905A (zh) 基于快速小波变换和加权图像融合的单幅图像去雾方法
US8917938B2 (en) Method for estimating blur degree of image and method for evaluating image quality
CN109919861A (zh) 红外图像增强方法、装置、计算机设备和存储介质
CN111598791B (zh) 一种基于改进动态大气散射系数函数的图像去雾方法
CN103295191A (zh) 多尺度视觉自适应图像增强方法及评价方法
KR20030014252A (ko) 실시간 비디오에 대한 자동 세그먼테이션 기반 잔디 검출
CN105959510B (zh) 一种视频快速去雾方法
CN108898132A (zh) 一种基于形状上下文描述的太赫兹图像危险品识别方法
CN110163807B (zh) 一种基于期望亮通道的低照度图像增强方法
CN111968062B (zh) 基于暗通道先验镜面高光图像增强方法、装置及存储介质
Kim et al. Single image haze removal using hazy particle maps
Hasikin et al. Adaptive fuzzy intensity measure enhancement technique for non-uniform illumination and low-contrast images
Zhang et al. Image dehazing based on dark channel prior and brightness enhancement for agricultural remote sensing images from consumer-grade cameras
Chen et al. Underwater image enhancement based on color balance and multi-scale fusion
CN110349113B (zh) 一种基于暗原色先验改进的自适应图像去雾方法
CN108154490A (zh) 基于改进模糊集理论的高压输电线路绝缘子图像增强方法
CN108765337B (zh) 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法
CN111091501A (zh) 一种大气散射去雾模型的参数估计方法
CN107451608B (zh) 基于多视幅度统计特性的sar图像无参考质量评价方法
Abbaspour et al. A new fast method for foggy image enhancement
CN114897885B (zh) 一种红外图像质量综合评价系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant