CN113077482B - 一种融合图像的质量评价方法 - Google Patents
一种融合图像的质量评价方法 Download PDFInfo
- Publication number
- CN113077482B CN113077482B CN202110399208.5A CN202110399208A CN113077482B CN 113077482 B CN113077482 B CN 113077482B CN 202110399208 A CN202110399208 A CN 202110399208A CN 113077482 B CN113077482 B CN 113077482B
- Authority
- CN
- China
- Prior art keywords
- image
- vignetting
- halation
- fusion image
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 7
- 230000008030 elimination Effects 0.000 claims abstract description 45
- 238000003379 elimination reaction Methods 0.000 claims abstract description 45
- 230000004297 night vision Effects 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 230000014759 maintenance of location Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 abstract description 46
- 230000003287 optical effect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000005192 partition Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 125000001475 halogen functional group Chemical group 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种融合图像的质量评价方法，该方法通过设计的自适应迭代阈值法根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值，并将融合图像自动分为晕光区与非晕光区；针对晕光区与非晕光区图像处理目标的不同，在晕光区设计了晕光消除度用于评价融合图像晕光消除的效果，在非晕光区从多个角度评价融合图像色彩细节信息的增强效果。该方法解决了现有红外与可见光融合图像评价方法用于评价汽车夜视抗晕光融合图像时，评价结果与人眼视觉效果不一致、融合图像晕光消除越彻底评价结果反而越差的问题。
Description
根据201811147819.5分案
技术领域
本发明属于汽车抗晕光技术领域，尤其涉及一种融合图像的质量评价方法，该评价方法用于评价夜间抗晕光融合图像的晕光消除程度和图像细节质量，适用于评判红外与可见光结合的汽车抗晕光图像融合算法。
背景技术
结合红外图像无晕光、可见光图像色彩细节信息丰富优点的图像融合抗晕光技术，为解决夜间行车的晕光问题提供了一种新途径，具有较好的应用前景。
为了评判汽车夜视抗晕光融合图像的晕光消除程度和细节信息增强效果，以及评判不同图像融合算法的优劣，客观评价方法的评判结果应与人眼视觉效果一致，但目前常用的红外与可见光的融合图像评价方法，都不适合特定的夜视抗晕光应用场景。
夜间行车消除晕光的问题，实质上是低照度强光源逆光拍摄图像的消晕光问题，与一般夜视红外与可见光图像融合聚焦于低照度场景下增强图像的纹理细节信息不同，红外与可见光融合的汽车夜视抗晕光图像融合的目的首要是消除高亮的晕光，再次是增强暗处的色彩细节信息。因此，汽车夜视抗晕光融合图像与一般红外与可见光融合图像相比存在三点显著差异：1)消除晕光后的融合图像与原始图像不同，且晕光消除越彻底差异越大；2)原始图像晕光部位的光晕梯度及明暗边界十分明显，随着晕光消除越彻底，融合图像原晕光部位的梯度、边界越不明显；3)晕光部位的高亮度会造成其它部位的亮度更暗，融合图像的暗处细节信息更不易观察。
由于汽车夜视抗晕光融合图像的特殊性，现有红外与可见光融合图像评价方法的评价结果不能准确、客观地反映融合图像的晕光消除、色彩细节增强的效果，甚至出现晕光消除越彻底，融合图像评价指标结果越差，与人眼视觉效果不一致的现象。
现有的无参考图像评价方法，通过客观指标对融合图像自身质量进行评价。融合图像消除晕光后，晕光部位的高亮度信息被剔除，会导致反映融合图像平均亮度的均值降低；融合图像晕光消除越彻底，明暗对比度越低，晕光处的纹理细节反差越少，导致标准差和边缘强度降低。上述指标的评价结果都与融合图像的晕光消除程度相反，故该类方法不能真实地反映汽车夜视抗晕光融合图像的质量。
全参考图像评价方法从融合图像对原始图像的信息保留程度方面评价融合图像的质量。例如交叉熵，在融合图像非晕光部位，该指标能很好的反映出对原始图像细节信息的保留程度，但在晕光部位，融合图像晕光消除越彻底，晕光细节信息保留越少，与可见光图像相似程度越低，故评价结果不能真实反映融合图像的质量，这类方法也不适用于评价汽车夜视抗晕光融合图像。
基于视觉系统的评价方法从人眼视觉效果方面评价融合图像的质量。例如边缘保持度，在融合图像非晕光部位，该指标能很好的反映出对原始图像边缘、轮廓等重要信息的保留程度，但在晕光部位，晕光消除越彻底，晕光边缘、轮廓等信息保留越少，该指标的评价结果与晕光消除程度相反。结构相似度指标也存在同样的问题，因此，这类方法同样不适用于评价汽车夜视抗晕光融合图像。
综上所述，现有的几类红外与可见光的融合图像评价方法，都无法真实反映汽车夜视抗晕光融合图像的质量，为此亟需提出一种适合红外与可见光融合的汽车夜视抗晕光图像的评价方法。
发明内容
本发明提供一种融合图像的质量评价方法，该方法解决了现有红外与可见光融合图像评价方法用于评价汽车夜视抗晕光融合图像时，评价结果与人眼视觉效果不一致、融合图像晕光消除越彻底评价结果反而越差的问题，用于评价夜间抗晕光融合图像的晕光消除程度和图像细节质量。
为了达到上述目的，本发明的技术内容如下：
一种红外与可见光融合的汽车夜视抗晕光图像分割方法，包括以下步骤：
步骤1、将可见光彩色图像转化为灰度图像；
步骤2、通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值Gc；
步骤3、根据晕光临界灰度值Gc将可见光、红外和融合图像中的每幅图像分为晕光区域AH和非晕光区域并分割成晕光图像PH和非晕光图像/>
在步骤2中：
通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值Gc，具体包括以下步骤：
步骤2.1、选择图像灰度中值作为初始阈值T0；
T0＝0.5(Inmax+Inmin)
式中：Inmax、Inmin分别是图像所有像素中最大的灰度值、最小的灰度值；
步骤2.2、利用阈值Ti把图像分割为两个区域R1和R2，根据下式计算区域R1和R2的灰度均值μ1和μ2：
式中：In(j)是第j个像素的灰度值，L为图像总像素数，L1为区域R1像素数，L2为区域R2像素数，L＝L1+L2；
步骤2.3、根据下式，计算新的阈值Ti+1：
Ti+1＝m(μ1+μ2)；
式中：m为晕光图像的分割效果满足人眼视觉效果的自适应系数，随图像晕光程度自动调节；
步骤2.4、重复步骤2.2～2.3，直到阈值不再变化时迭代结束，把最新得到的阈值作为图像的晕光临界灰度值Gc。
进一步的，步骤2.3中：
可见光晕光图像的分割效果满足人眼视觉效果的自适应系数m由下式确定：
m＝a*s^b+c
式中：s为晕光区面积与非晕光区面积比，a、b和c为三个常数。
进一步的，m公式中三个参数的取值范围为：a∈(-6.023，2.569)，b∈(-0.04166，0.09245)，c∈(-2.072，6.507)。
进一步的，m公式中三个参数的优选取值为：a＝-1.727，b＝0.0254，c＝2.21。
进一步的，在步骤3中：
根据下式，进行晕光和非晕光区域的划分，灰度值大于等于Gc的像素点构成晕光区域AH，灰度值小于Gc的像素点构成非晕光区域
根据下式，构成晕光图像PH；
根据下式，构成非晕光图像
一种融合图像的质量评价方法，所述评价方法如下：
在晕光区域，计算晕光消除度D，D越大即表示融合图像晕光消除越彻底；
在非晕光区域，从融合图像自身特性方面、从融合图像对原始图像的信息保留程度方面和从人眼视觉效果方面评价融合图像的质量。
进一步的，在晕光区域计算晕光消除度D，晕光消除度D由下式计算：
式中：和/>分别为红外、可见光和融合图像的均值，σIR、σVI和σFU分别为红外、可见光和融合图像的标准差，σIRFU、σVIFU分别为红外与融合图像、可见光与融合图像的协方差，C1、C2为常数，C1＝6.5025、C2＝58.5225。
与现有技术相比，本发明的有益效果如下：
1、本发明设计的汽车夜视抗晕光融合图像评价方法，解决了现有红外与可见光融合图像评价方法在评价汽车夜视抗晕光融合图像时，评价结果与人眼视觉效果不一致的问题，克服了融合图像晕光消除越彻底评价结果反而越差的缺点。
2、本发明评价方法针对晕光区与非晕光区图像处理目标的不同，在晕光区设计的晕光消除度用于评价融合图像晕光消除的效果，在非晕光区从多个角度评价融合图像色彩细节信息的增强效果，达到全面、合理评价汽车夜视抗晕光融合图像的目的。
3、本发明设计的抗晕光图像分割方法，采用自适应迭代阈值法，能够根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值，并将融合图像自动分为晕光区与非晕光区，满足不同区域评价目标的需求。
附图说明：
图1是可见光图像；
图2是红外图像；
图3是融合图像；
图4是晕光区可见光图像；
图5是晕光区红外图像；
图6是晕光区融合图像；
图7是非晕光区可见光图像；
图8是非晕光区红外图像；
图9是非晕光区融合图像。
具体实施方式：
针对现有融合图像抗晕光技术的评价方法存在不能反映融合图像晕光区晕光消除的程度，不能客观反映非晕光区融合后图像保留原始图像纹理细节的问题。
下面结合附图和一个完整的处理过程对本发明作详细说明。
本发明针对现有红外与可见光融合图像评价方法不适用于评价汽车夜视抗晕光融合图像的问题，设计了一种融合图像的质量评价方法，该方法通过设计的自适应迭代阈值法根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值，并将融合图像自动分为晕光区与非晕光区；针对晕光区与非晕光区图像处理目标的不同，在晕光区设计了晕光消除度用于评价融合图像晕光消除的效果，在非晕光区从多个角度评价融合图像色彩细节信息的增强效果。该方法解决了现有红外与可见光融合图像评价方法用于评价汽车夜视抗晕光融合图像时，评价结果与人眼视觉效果不一致、融合图像晕光消除越彻底评价结果反而越差的问题。该方法也适用于评判不同红外与可见光融合的汽车夜视抗晕光图像融合算法的优劣。本发明适用于汽车夜视抗晕光领域。
本发明提供一种红外与可见光融合的汽车夜视抗晕光图像分割方法，该方法包括以下步骤：
步骤1、将可见光彩色图像转化为灰度图像；
步骤2、通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值Gc；包括有如下处理步骤：
步骤2.1、选择图像灰度中值作为初始阈值T0；
T0＝0.5(Inmax+Inmin) (1)
式中：Inmax、Inmin分别是图像所有像素中最大的灰度值、最小的灰度值；
步骤2.2、利用阈值Ti把图像分割为两个区域R1和R2，根据下式计算区域R1和R2的灰度均值μ1和μ2：
式中：In(j)是第j个像素的灰度值，L为图像总像素数，L1为区域R1像素数，L2为区域R2像素数，L＝L1+L2；
步骤2.3、根据下式，计算新的阈值Ti+1：
Ti+1＝m(μ1+μ2) (3)
式中：m为晕光图像的分割效果满足人眼视觉效果的自适应系数，随图像晕光程度自动调节；
步骤2.4、重复步骤2.2～2.3，直到阈值不再变化时迭代结束，把最新得到的阈值作为图像的晕光临界灰度值Gc；
公式(3)中自适应系数m的函数表达式，具体实现步骤如下：
1.采点：以两车会车时的晕光图像为研究对象，采集不同类型道路车辆从远及近，晕光从小到大再变小的大量晕光图像，进行处理获得自适应系数m、晕光区面积与非晕光区面积比s的对应点集(si,mi)；
2.拟合基线：根据点集(si,mi)拟合曲线，面积比s和自适应系数m之间存在明显的递减关系，形式如下式，在此称其为基线；
3.m＝a*s^b+c (7)
4.确定上下界曲线：根据分布在基线上下外侧的点拟合曲线上界和下界，增加采点量直到找到晕光区分割效果满足人眼观察的基线上界和基线下界；
5.确定各系数取值范围：根据(3)中的基线上下界得到a∈(-6.023，2.569)，b∈(-0.04166，0.09245)，c∈(-2.072，6.507)；
6.确定各系数最优值：当a＝-1.727，b＝0.0254，c＝2.218时，自适应系数m取值保证分割效果达到最优，最优函数式如下；
m＝-1.727*s0.0254+2.218 (8)
步骤3根据晕光临界灰度值Gc将可见光、红外和融合图像中的每幅图像分为晕光区域AH和非晕光区域并分割成晕光图像PH和非晕光图像/>
根据下式，进行晕光和非晕光区域的划分，灰度值大于等于Gc的像素点构成晕光区域AH，灰度值小于Gc的像素点构成非晕光区域
根据下式，构成晕光图像，将灰度矩阵中灰度值大于Gc的数值保留，即晕光区域AH像素点的灰度值保留，灰度值小于Gc的数值置0，即非晕光区域像素点的灰度值置0，新得到的像素点构成晕光区图像PH；
根据下式，构成非晕光图像将灰度矩阵中灰度值小于Gc的数值保留，即非晕光区域/>像素点的灰度值保留，灰度值大于Gc的数值置0，即晕光区域AH像素点的灰度值置0，新得到的像素点构成非晕光区图像/>
本发明评价红外与可见光融合的汽车夜视抗晕光图像的质量，以及通过评价融合图像的质量来评价图像融合算法的优劣，该评价方法包括以下步骤：
1.在晕光区域，计算晕光消除度D，D越大融合图像晕光消除越彻底；
研究可知，晕光信息只存在于可见光图像中，故融合图像消除晕光的程度可用其与可见光及红外图像的接近程度来衡量。在晕光区域，融合图像与可见光图像结构相似度越大，融合图像包含的晕光信息越多，晕光消除越不彻底；反之，融合图像与红外图像结构相似度越大，融合图像包含的晕光信息越少，晕光消除越彻底。综上所述，本发明提出的晕光区域融合图像的晕光消除评价指标——晕光消除度，定义为：融合图像在晕光区域与红外图像的结构相似度和与可见光图像的结构相似度之差的归一化，可表示为：
D＝0.5×[SSIMH(IR,FU)-SSIMH(VI,FU)+1] (10)
式中：IR为红外图像，VI为可见光图像，FU为融合图像，SSIMH(IR，FU)和SSIMH(VI，FU)分别为晕光区域融合图像与红外图像和可见光图像的结构相似度。其中结构相似度表示为：
式中，R为参考图像，R∈{IR，VI}，分别为参考图像、融合图像的均值，σR和σFU分别为参考图像和融合图像的标准差，σRFU为参考图像与融合图像的协方差，C1、C2为常数，该指标分别从图像的亮度特性、图像的对比度特性和原始图像与目标图像之间的结构相似性特性三个方面衡量了两幅图像的相似程度。
综上晕光消除度D公式(10)可改写为：
式中：分别为红外、可见光图像的均值，σIR、σVI分别为红外、可见光图像的标准差，σIRFU、σVIFU分别为红外与融合图像、可见光与融合图像的协方差，C1＝6.5025、C2＝58.5225；
D越大表明融合图像在晕光区域与红外图像相似度更高，与可见光图像相似度更低，消除晕光效果越好；D越小表明融合图像在晕光区域与红外图像相似度更低，与可见光图像相似度更高，消除晕光效果越差。D的取值范围为[0,1]，D越接近1说明消除晕光越彻底，越接近0说明消除晕光越不彻底。
2.在非晕光区域，计算非晕光区融合图像的均值标准差σ、信息熵E、平均梯度AG、边缘强度EI、空间频率SF等评价指标，从融合图像自身特性方面评价融合图像的质量。
越大，融合图像整体亮度越高；σ越大，图像的对比度越大；E越大，图像包含的信息量越大；AG越大，图像的细节反差越大图像越清晰；EI越大，图像边缘越锋利；SF越大，图像空间域的活跃程度越大；
EI越大，图像边缘越锋利，计算公式如下；
式中I(i,j)表示融合图像第i行第j列的像素点的灰度值；
SF越大，图像空间域的活跃程度越大，计算公式如下；
3.在非晕光区域，计算峰值信噪比PSNR、交叉熵CE、互信息MI、均方根误差RMSE等评价指标，从融合图像对原始图像的信息保留程度方面评价融合图像的质量。
PSNR越大，表明融合图像相对于原图失真越小。
CE越小，表明融合图像保留原图像的细节信息越多，计算公式如下；
式中：PRi、PFi分别为参考图像、融合图像的灰度值等于i的概率，L为图像的灰度级。
MI越大，表明融合图像从原图像提取的信息越多，计算公式如下；
式中：PR(i)、PF(j)分别为参考图像、融合图像的概率密度，PRF(i,j)为参考图像与融合图像的联合分布密度，L为图像的灰度级数。
RMSE越小，表明融合图像灰度值相对于原图灰度值离散程度越小，计算公式如下；
式中：M，N为图像的行数和列数，R(i,j)，F(i,j)分别为参考图像、融合图像的像素点的灰度值。
4.在非晕光区域，计算结构相似度SSIM和边缘保持度QAB/F，从人眼视觉效果方面评价融合图像的质量。
SSIM越大，表明融合图像的亮度、对比度、结构与原图像越相似；
QAB/F越大，表明融合图像保留原图像的边缘信息越多，计算公式如下：
式中：wA(n,m)、wB(n,m)是相应像素的权重，QAF(n,m)和QBF(n,m)是原图像A与融合图像、原图像B与融合图像的相似性度量。
下面给出一个具体仿真的实例。
实施例：
本实施例仿真条件：Windows7操作系统、MATLAB软件。
主要内容：采用自适应迭代阈值法自动确定可见光灰度图像的晕光临界灰度值，并将可见光、红外和融合图像自动划分为晕光与非晕光区，计算晕光区的晕光消除度评价融合图像的晕光消除程度，计算非晕光区融合图像的评价指标评价融合图像的色彩细节信息增强效果。具体的步骤：
一、分区：
1.使用imread函数读取可见光、红外及融合三幅图像(见图1、图2、图3)；
2.使用rgb2gray函数将可见光彩色图像转化为灰度图像；
3.根据公式(4)、(5)、(6)将图像分为晕光区可见光图像(见图4)、晕光区红外图像(见图5)、晕光区融合图像(见图6)；非晕光区可见光图像(见图7)、非晕光区红外图像(见图8)、非晕光区融合图像(见图9)；
二、根据公式(9)计算晕光区融合图像的晕光消除度，可得D＝0.93655，接近上限1，表明融合图像消除晕光的效果较好。该指标直观地表示融合图像晕光区晕光消除的程度，是现有的红外与可见光融合图像评价方法中所没有的。
三、非晕光区融合图像的评价指标的计算及结果分析；
1.通过融合图像自身特性的客观评价指标评价融合图像的质量
利用mean2函数计算非晕光区融合图像的均值；
利用std函数计算非晕光区融合图像的标准差；
利用Entropy函数计算非晕光区融合图像的熵；
利用Avg_Gradient函数和mean函数计算非晕光区融合图像的平均梯度；
按公式(12)计算非晕光区融合图像的边缘强度；
按公式(13)计算非晕光区融合图像的空间频率；
为了验证本发明方法的有效性，与不分区的融合图像进行对比，各评价指标的结果如表1所示；
表1融合图像客观评价指标的结果
由表1可知，不分区融合图像的均值、标准差、熵、平均梯度、边缘强度、空间频率比非晕光区融合图像的值大。这是由于高亮度晕光的存在，使融合图像的均值变大，非晕光区的实际亮度并没有那么大；也使图像明暗对比度提高，导致不分区融合图像的标准差更大；晕光信息的存在，也使不分区融合图像的熵值更大；晕光处一圈圈的光晕使得反映纹理细节的平均梯度变大；晕光处明显的边界也使边缘强度更大；整体上导致空间域的活跃程度增大，空间频率更大，由此可见，不分区融合图像评价指标结果因其包含晕光区的无用信息，导致客观评价指标失真，不能准确、客观反映融合图像质量的真实情况。
2.通过融合图像对原始图像的信息保留程度评价融合图像的质量；
利用psnr函数计算非晕光区的融合图像与可见光图像、红外图像的峰值信噪比；
按公式(14)计算非晕光区的融合图像与可见光、红外图像的交叉熵；
按公式(15)计算非晕光区的融合图像与可见光、红外图像的互信息；
按公式(16)计算非晕光区的融合图像与可见光、红外图像的均方根误差；
为了进一步验证本发明方法的有效性，与不分区的融合图像进行对比，各评价指标的结果如表2所示；
表2融合图像对原图信息的保留度指标
由表2可知，分区后融合图像与可见光、红外图像的峰值信噪比，较分区前分别提高了8.35％、3.5％，说明非晕光区融合图像相对原图失真更小；分区后融合图像与可见光、红外图像的交叉熵，较分区前分别降低了36.25％、66.52％，说明融合图像保留原图像的细节信息更多；分区后融合图像与可见光、红外图像的互信息，较分区前相比分别提高了254％、96％，说明非晕光区融合图像从原图提取的信息更多；分区后融合图像与可见光、红外图像的均方根误差，较分区前分别降低了48.2％、28.2％，说明非晕光区融合图像更接近于原图图像。
3.通过人眼视觉效果的客观评价指标评价融合图像的质量；
利用ssim函数计算非晕光区融合图像与可见光、红外图像的结构相似度；
按公式(17)计算非晕光区融合图像的边缘保持度；
从人眼视觉效果进一步验证本发明方法的有效性，各评价指标的结果如表3所示；
表3融合图像的视觉效果指标
由表3可知，分区后融合图像与可见光、红外图像的结构相似度，较分区前提高了55.6％、19.73％，说明非晕光区融合图像与原图像更相似；分区后融合图像边缘保持度较分区前提高了74.62％，说明非晕光区融合图像对原图像的边缘、轮廓保留度更好。
以上分析表明，本发明方法在评价红外与可见光融合的汽车夜视抗晕光图像时与现有的评价方法相比，能直观地描述融合图像晕光区的晕光消除程度，分区的评价方式避免了晕光对评价指标的干扰，保证了客观指标的评价结果与人眼视觉效果相一致，能满足对红外与可见光融合的汽车夜视抗晕光图像的客观要求。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (1)
1.一种汽车夜视抗晕光融合图像的质量评价方法，其特征在于，所述评价方法如下：
融合图像分为晕光区与非晕光区；
在晕光区域，设计晕光消除度用于评价融合图像晕光消除的效果，计算晕光消除度D，D越大即表示融合图像晕光消除越彻底；
在非晕光区域，从融合图像自身特性方面、融合图像对原始图像的信息保留程度方面和人眼视觉效果方面多个角度评价融合图像色彩细节信息的增强效果；
在晕光区域计算晕光消除度D，晕光消除度D由下式计算：
式中：和/>分别为红外、可见光和融合图像的均值，σIR、σVI和σFU分别为红外、可见光和融合图像的标准差，σIRFU、σVIFU分别为红外与融合图像、可见光与融合图像的协方差，C1、C2为常数，C1＝6.5025、C2＝58.5225；
D越大表明融合图像在晕光区域与红外图像相似度更高，与可见光图像相似度更低，消除晕光效果越好；D越小表明融合图像在晕光区域与红外图像相似度更低，与可见光图像相似度更高，消除晕光效果越差；D的取值范围为[0,1]，D越接近1说明消除晕光越彻底，越接近0说明消除晕光越不彻底。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110399208.5A CN113077482B (zh) | 2018-09-29 | 2018-09-29 | 一种融合图像的质量评价方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110399208.5A CN113077482B (zh) | 2018-09-29 | 2018-09-29 | 一种融合图像的质量评价方法 |
| CN201811147819.5A CN109166131B (zh) | 2018-09-29 | 2018-09-29 | 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811147819.5A Division CN109166131B (zh) | 2018-09-29 | 2018-09-29 | 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113077482A CN113077482A (zh) | 2021-07-06 |
| CN113077482B true CN113077482B (zh) | 2024-01-19 |
Family
ID=64892899
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110399208.5A Active CN113077482B (zh) | 2018-09-29 | 2018-09-29 | 一种融合图像的质量评价方法 |
| CN201811147819.5A Active CN109166131B (zh) | 2018-09-29 | 2018-09-29 | 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811147819.5A Active CN109166131B (zh) | 2018-09-29 | 2018-09-29 | 红外与可见光融合的汽车夜视抗晕光图像分割及评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN113077482B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135235B (zh) * | 2019-03-13 | 2022-04-19 | 北京车和家信息技术有限公司 | 一种眩光处理方法、装置及车辆 |
| CN112069967B (zh) * | 2020-08-31 | 2022-12-06 | 西安工业大学 | 异源视频融合的夜视抗晕光行人检测及跟踪方法 |
| CN112053313B (zh) * | 2020-08-31 | 2022-12-06 | 西安工业大学 | 异源图像融合的夜视抗晕光视频处理方法 |
| CN112419356A (zh) * | 2020-12-08 | 2021-02-26 | 江苏科技大学 | 一种大棚中小树种植生长检测和记录方法及其装置 |
| CN113487529B (zh) * | 2021-07-12 | 2022-07-26 | 吉林大学 | 一种基于Yolo的气象卫星云图目标检测方法 |
| US12072466B1 (en) * | 2021-09-30 | 2024-08-27 | Zoox, Inc. | Detecting dark objects in stray light halos |
| US20230400560A1 (en) * | 2022-06-13 | 2023-12-14 | Datalogic IP Tech, S.r.l. | Dynamic utilization of broad-spectrum photosensor |
| CN116091403B (zh) * | 2022-11-30 | 2024-04-26 | 中国石油大学(华东) | 一种彩色夜视融合图像质量主客观评价方法 |
| CN116543378B (zh) * | 2023-07-05 | 2023-09-29 | 杭州海康威视数字技术股份有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819053A (zh) * | 2012-07-12 | 2012-12-12 | 南京迈得特光学有限公司 | 采用圆顶光锥的大视场仿生复眼视觉系统 |
| WO2017020595A1 (zh) * | 2015-08-05 | 2017-02-09 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| CN107240096A (zh) * | 2017-06-01 | 2017-10-10 | 陕西学前师范学院 | 一种红外与可见光图像融合质量评价方法 |
| CN107945149A (zh) * | 2017-12-21 | 2018-04-20 | 西安工业大学 | 增强IHS‑Curvelet变换融合可见光和红外图像的汽车抗晕光方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383004A (zh) * | 2007-09-06 | 2009-03-11 | 上海遥薇实业有限公司 | 一种红外和可见光图像相结合的乘客目标检测方法 |
| JP5404122B2 (ja) * | 2009-03-26 | 2014-01-29 | オリンパス株式会社 | 焦点位置調整装置およびカメラ |
| JP2013038504A (ja) * | 2011-08-04 | 2013-02-21 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
| CN102663745B (zh) * | 2012-03-23 | 2014-07-02 | 北京理工大学 | 一种基于视觉任务的彩色融合图像质量评价方法 |
-
2018
- 2018-09-29 CN CN202110399208.5A patent/CN113077482B/zh active Active
- 2018-09-29 CN CN201811147819.5A patent/CN109166131B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102819053A (zh) * | 2012-07-12 | 2012-12-12 | 南京迈得特光学有限公司 | 采用圆顶光锥的大视场仿生复眼视觉系统 |
| WO2017020595A1 (zh) * | 2015-08-05 | 2017-02-09 | 武汉高德红外股份有限公司 | 一种可见光图像与红外图像融合处理系统及融合方法 |
| CN107240096A (zh) * | 2017-06-01 | 2017-10-10 | 陕西学前师范学院 | 一种红外与可见光图像融合质量评价方法 |
| CN107945149A (zh) * | 2017-12-21 | 2018-04-20 | 西安工业大学 | 增强IHS‑Curvelet变换融合可见光和红外图像的汽车抗晕光方法 |
Non-Patent Citations (4)
| Title |
|---|
| Retinex模型下基于融合策略的雾霾图像增强;李昌利;周晓晓;张振;樊棠怀;;工程科学与技术(05);全文 * |
| 图像融合质量评价方法研究综述;杨艳春;《计算机科学与探索》;1-16页 * |
| 基于YUV与小波变换的可见光与红外图像融合;王健;郑少峰;;西安工业大学学报(03);全文 * |
| 基于人眼视觉特性的深度学习全参考图像质量评价方法;姚旺等;《红外与激光工程》;第第47卷卷(第第7期期);1-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113077482A (zh) | 2021-07-06 |
| CN109166131A (zh) | 2019-01-08 |
| CN109166131B (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113077482B (zh) | 一种融合图像的质量评价方法 | |
| Tan et al. | Exposure based multi-histogram equalization contrast enhancement for non-uniform illumination images | |
| Wang et al. | Adaptive image enhancement method for correcting low-illumination images | |
| CN106530246B (zh) | 基于暗通道与非局部先验的图像去雾方法及系统 | |
| CN111223068B (zh) | 基于Retinex的自适应非均匀低照度图像增强的方法 | |
| CN110570360B (zh) | 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 | |
| CN107784642A (zh) | 一种红外视频和可见光视频自适应融合方法 | |
| CN108288258A (zh) | 一种针对恶劣天气条件下的低质图像增强方法 | |
| CN108805826B (zh) | 改善去雾效果的方法 | |
| CN110276764A (zh) | 基于K值估计的K-Means水下图像背景分割改进算法 | |
| CN110163807B (zh) | 一种基于期望亮通道的低照度图像增强方法 | |
| CN113313702A (zh) | 基于边界约束与颜色校正的航拍图像去雾方法 | |
| Hasikin et al. | Adaptive fuzzy intensity measure enhancement technique for non-uniform illumination and low-contrast images | |
| CN114037618B (zh) | 基于保边滤波和平滑滤波融合的去雾方法、系统及存储介质 | |
| CN109859138B (zh) | 一种基于人眼视觉特性的红外图像增强方法 | |
| CN111091501A (zh) | 一种大气散射去雾模型的参数估计方法 | |
| CN117495719A (zh) | 一种基于大气光幕与雾浓度分布估计的去雾方法 | |
| CN111260588A (zh) | 一种高清数字cmos成像组件图像增强方法 | |
| CN108269262B (zh) | 基于多项式拟合的高分辨率遥感影像阴影自动提取算法 | |
| Abbaspour et al. | A new fast method for foggy image enhancement | |
| CN109961413B (zh) | 大气光方向优化估计的图像去雾迭代算法 | |
| Liu et al. | Adaptive depth map-based retinex for image defogging | |
| Zahi et al. | Adaptive intensity transformation for preserving and recovering details in low light images | |
| CN111539876A (zh) | 基于偏振成像的自适应多尺度Retinex暗场景能见度提升方法 | |
| CN110889805A (zh) | 一种基于暗通道补偿与大气光值改进的图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |