CN113077482A - 一种融合图像的质量评价方法 - Google Patents

Abstract

本发明提出了一种融合图像的质量评价方法，该方法通过设计的自适应迭代阈值法根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值，并将融合图像自动分为晕光区与非晕光区；针对晕光区与非晕光区图像处理目标的不同，在晕光区设计了晕光消除度用于评价融合图像晕光消除的效果，在非晕光区从多个角度评价融合图像色彩细节信息的增强效果。该方法解决了现有红外与可见光融合图像评价方法用于评价汽车夜视抗晕光融合图像时，评价结果与人眼视觉效果不一致、融合图像晕光消除越彻底评价结果反而越差的问题。

Description

一种融合图像的质量评价方法

根据201811147819.5分案

技术领域

本发明属于汽车抗晕光技术领域，尤其涉及一种融合图像的质量评价方法，该评价方法用于评价夜间抗晕光融合图像的晕光消除程度和图像细节质量，适用于评判红外与可见光结合的汽车抗晕光图像融合算法。

背景技术

结合红外图像无晕光、可见光图像色彩细节信息丰富优点的图像融合抗晕光技术，为解决夜间行车的晕光问题提供了一种新途径，具有较好的应用前景。

为了评判汽车夜视抗晕光融合图像的晕光消除程度和细节信息增强效果，以及评判不同图像融合算法的优劣，客观评价方法的评判结果应与人眼视觉效果一致，但目前常用的红外与可见光的融合图像评价方法，都不适合特定的夜视抗晕光应用场景。

夜间行车消除晕光的问题，实质上是低照度强光源逆光拍摄图像的消晕光问题，与一般夜视红外与可见光图像融合聚焦于低照度场景下增强图像的纹理细节信息不同，红外与可见光融合的汽车夜视抗晕光图像融合的目的首要是消除高亮的晕光，再次是增强暗处的色彩细节信息。因此，汽车夜视抗晕光融合图像与一般红外与可见光融合图像相比存在三点显著差异：1)消除晕光后的融合图像与原始图像不同，且晕光消除越彻底差异越大；2)原始图像晕光部位的光晕梯度及明暗边界十分明显，随着晕光消除越彻底，融合图像原晕光部位的梯度、边界越不明显；3)晕光部位的高亮度会造成其它部位的亮度更暗，融合图像的暗处细节信息更不易观察。

由于汽车夜视抗晕光融合图像的特殊性，现有红外与可见光融合图像评价方法的评价结果不能准确、客观地反映融合图像的晕光消除、色彩细节增强的效果，甚至出现晕光消除越彻底，融合图像评价指标结果越差，与人眼视觉效果不一致的现象。

现有的无参考图像评价方法，通过客观指标对融合图像自身质量进行评价。融合图像消除晕光后，晕光部位的高亮度信息被剔除，会导致反映融合图像平均亮度的均值降低；融合图像晕光消除越彻底，明暗对比度越低，晕光处的纹理细节反差越少，导致标准差和边缘强度降低。上述指标的评价结果都与融合图像的晕光消除程度相反，故该类方法不能真实地反映汽车夜视抗晕光融合图像的质量。

全参考图像评价方法从融合图像对原始图像的信息保留程度方面评价融合图像的质量。例如交叉熵，在融合图像非晕光部位，该指标能很好的反映出对原始图像细节信息的保留程度，但在晕光部位，融合图像晕光消除越彻底，晕光细节信息保留越少，与可见光图像相似程度越低，故评价结果不能真实反映融合图像的质量，这类方法也不适用于评价汽车夜视抗晕光融合图像。

基于视觉系统的评价方法从人眼视觉效果方面评价融合图像的质量。例如边缘保持度，在融合图像非晕光部位，该指标能很好的反映出对原始图像边缘、轮廓等重要信息的保留程度，但在晕光部位，晕光消除越彻底，晕光边缘、轮廓等信息保留越少，该指标的评价结果与晕光消除程度相反。结构相似度指标也存在同样的问题，因此，这类方法同样不适用于评价汽车夜视抗晕光融合图像。

综上所述，现有的几类红外与可见光的融合图像评价方法，都无法真实反映汽车夜视抗晕光融合图像的质量，为此亟需提出一种适合红外与可见光融合的汽车夜视抗晕光图像的评价方法。

发明内容

本发明提供一种融合图像的质量评价方法，该方法解决了现有红外与可见光融合图像评价方法用于评价汽车夜视抗晕光融合图像时，评价结果与人眼视觉效果不一致、融合图像晕光消除越彻底评价结果反而越差的问题，用于评价夜间抗晕光融合图像的晕光消除程度和图像细节质量。

为了达到上述目的，本发明的技术内容如下：

一种红外与可见光融合的汽车夜视抗晕光图像分割方法，包括以下步骤：

步骤1、将可见光彩色图像转化为灰度图像；

步骤2、通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值G_c；

步骤3、根据晕光临界灰度值G_c将可见光、红外和融合图像中的每幅图像分为晕光区域A_H和非晕光区域

并分割成晕光图像P_H和非晕光图像

在步骤2中：

通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值G_c，具体包括以下步骤：

步骤2.1、选择图像灰度中值作为初始阈值T₀；

T₀＝0.5(In_max+In_min)

式中：In_max、In_min分别是图像所有像素中最大的灰度值、最小的灰度值；

步骤2.2、利用阈值T_i把图像分割为两个区域R₁和R₂，根据下式计算区域R₁和R₂的灰度均值μ₁和μ₂：

式中：In(j)是第j个像素的灰度值，L为图像总像素数，L₁为区域R₁像素数，L₂为区域R₂像素数，L＝L₁+L₂；

步骤2.3、根据下式，计算新的阈值T_i+1：

T_i+1＝m(μ₁+μ₂)；

式中：m为晕光图像的分割效果满足人眼视觉效果的自适应系数，随图像晕光程度自动调节；

步骤2.4、重复步骤2.2～2.3，直到阈值不再变化时迭代结束，把最新得到的阈值作为图像的晕光临界灰度值G_c。

进一步的，步骤2.3中：

可见光晕光图像的分割效果满足人眼视觉效果的自适应系数m由下式确定：

m＝a*s^b+c

式中：s为晕光区面积与非晕光区面积比，a、b和c为三个常数。

进一步的，m公式中三个参数的取值范围为：a∈(-6.023，2.569)，b∈(-0.04166，0.09245)，c∈(-2.072，6.507)。

进一步的，m公式中三个参数的优选取值为：a＝-1.727，b＝0.0254，c＝2.21。

进一步的，在步骤3中：

根据下式，进行晕光和非晕光区域的划分，灰度值大于等于G_c的像素点构成晕光区域A_H，灰度值小于G_c的像素点构成非晕光区域

根据下式，构成晕光图像P_H；

根据下式，构成非晕光图像

一种融合图像的质量评价方法，所述评价方法如下：

在晕光区域，计算晕光消除度D，D越大即表示融合图像晕光消除越彻底；

在非晕光区域，从融合图像自身特性方面、从融合图像对原始图像的信息保留程度方面和从人眼视觉效果方面评价融合图像的质量。

进一步的，在晕光区域计算晕光消除度D，晕光消除度D由下式计算：

式中：

和

分别为红外、可见光和融合图像的均值，σ_IR、σ_VI和σ_FU分别为红外、可见光和融合图像的标准差，σ_IRFU、σ_VIFU分别为红外与融合图像、可见光与融合图像的协方差，C₁、C₂为常数，C₁＝6.5025、C₂＝58.5225。

与现有技术相比，本发明的有益效果如下：

1、本发明设计的汽车夜视抗晕光融合图像评价方法，解决了现有红外与可见光融合图像评价方法在评价汽车夜视抗晕光融合图像时，评价结果与人眼视觉效果不一致的问题，克服了融合图像晕光消除越彻底评价结果反而越差的缺点。

2、本发明评价方法针对晕光区与非晕光区图像处理目标的不同，在晕光区设计的晕光消除度用于评价融合图像晕光消除的效果，在非晕光区从多个角度评价融合图像色彩细节信息的增强效果，达到全面、合理评价汽车夜视抗晕光融合图像的目的。

3、本发明设计的抗晕光图像分割方法，采用自适应迭代阈值法，能够根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值，并将融合图像自动分为晕光区与非晕光区，满足不同区域评价目标的需求。

附图说明：

图1是可见光图像；

图2是红外图像；

图3是融合图像；

图4是晕光区可见光图像；

图5是晕光区红外图像；

图6是晕光区融合图像；

图7是非晕光区可见光图像；

图8是非晕光区红外图像；

图9是非晕光区融合图像。

具体实施方式：

针对现有融合图像抗晕光技术的评价方法存在不能反映融合图像晕光区晕光消除的程度，不能客观反映非晕光区融合后图像保留原始图像纹理细节的问题。

下面结合附图和一个完整的处理过程对本发明作详细说明。

本发明针对现有红外与可见光融合图像评价方法不适用于评价汽车夜视抗晕光融合图像的问题，设计了一种融合图像的质量评价方法，该方法通过设计的自适应迭代阈值法根据可见光图像的晕光程度自动确定可见光灰度图像的晕光临界灰度值，并将融合图像自动分为晕光区与非晕光区；针对晕光区与非晕光区图像处理目标的不同，在晕光区设计了晕光消除度用于评价融合图像晕光消除的效果，在非晕光区从多个角度评价融合图像色彩细节信息的增强效果。该方法解决了现有红外与可见光融合图像评价方法用于评价汽车夜视抗晕光融合图像时，评价结果与人眼视觉效果不一致、融合图像晕光消除越彻底评价结果反而越差的问题。该方法也适用于评判不同红外与可见光融合的汽车夜视抗晕光图像融合算法的优劣。本发明适用于汽车夜视抗晕光领域。

本发明提供一种红外与可见光融合的汽车夜视抗晕光图像分割方法，该方法包括以下步骤：

步骤1、将可见光彩色图像转化为灰度图像；

步骤2、通过自适应迭代阈值法确定可见光灰度图像的晕光临界灰度值G_c；包括有如下处理步骤：

步骤2.1、选择图像灰度中值作为初始阈值T₀；

T₀＝0.5(In_max+In_min) (1)

式中：In_max、In_min分别是图像所有像素中最大的灰度值、最小的灰度值；

步骤2.2、利用阈值T_i把图像分割为两个区域R₁和R₂，根据下式计算区域R₁和R₂的灰度均值μ₁和μ₂：

式中：In(j)是第j个像素的灰度值，L为图像总像素数，L₁为区域R₁像素数，L₂为区域R₂像素数，L＝L₁+L₂；

步骤2.3、根据下式，计算新的阈值T_i+1：

T_i+1＝m(μ₁+μ₂) (3)

式中：m为晕光图像的分割效果满足人眼视觉效果的自适应系数，随图像晕光程度自动调节；

步骤2.4、重复步骤2.2～2.3，直到阈值不再变化时迭代结束，把最新得到的阈值作为图像的晕光临界灰度值G_c；

公式(3)中自适应系数m的函数表达式，具体实现步骤如下：

1.采点：以两车会车时的晕光图像为研究对象，采集不同类型道路车辆从远及近，晕光从小到大再变小的大量晕光图像，进行处理获得自适应系数m、晕光区面积与非晕光区面积比s的对应点集(s_i,m_i)；

2.拟合基线：根据点集(s_i,m_i)拟合曲线，面积比s和自适应系数m之间存在明显的递减关系，形式如下式，在此称其为基线；

3.m＝a*s^b+c (7)

4.确定上下界曲线：根据分布在基线上下外侧的点拟合曲线上界和下界，增加采点量直到找到晕光区分割效果满足人眼观察的基线上界和基线下界；

5.确定各系数取值范围：根据(3)中的基线上下界得到a∈(-6.023，2.569)，b∈(-0.04166，0.09245)，c∈(-2.072，6.507)；

6.确定各系数最优值：当a＝-1.727，b＝0.0254，c＝2.218时，自适应系数m取值保证分割效果达到最优，最优函数式如下；

m＝-1.727*s^0.0254+2.218 (8)

步骤3根据晕光临界灰度值G_c将可见光、红外和融合图像中的每幅图像分为晕光区域A_H和非晕光区域

并分割成晕光图像P_H和非晕光图像

根据下式，进行晕光和非晕光区域的划分，灰度值大于等于G_c的像素点构成晕光区域A_H，灰度值小于G_c的像素点构成非晕光区域

根据下式，构成晕光图像，将灰度矩阵中灰度值大于G_c的数值保留，即晕光区域A_H像素点的灰度值保留，灰度值小于G_c的数值置0，即非晕光区域

像素点的灰度值置0，新得到的像素点构成晕光区图像P_H；

根据下式，构成非晕光图像

将灰度矩阵中灰度值小于G_c的数值保留，即非晕光区域

像素点的灰度值保留，灰度值大于G_c的数值置0，即晕光区域A_H像素点的灰度值置0，新得到的像素点构成非晕光区图像

本发明评价红外与可见光融合的汽车夜视抗晕光图像的质量，以及通过评价融合图像的质量来评价图像融合算法的优劣，该评价方法包括以下步骤：

1.在晕光区域，计算晕光消除度D，D越大融合图像晕光消除越彻底；

研究可知，晕光信息只存在于可见光图像中，故融合图像消除晕光的程度可用其与可见光及红外图像的接近程度来衡量。在晕光区域，融合图像与可见光图像结构相似度越大，融合图像包含的晕光信息越多，晕光消除越不彻底；反之，融合图像与红外图像结构相似度越大，融合图像包含的晕光信息越少，晕光消除越彻底。综上所述，本发明提出的晕光区域融合图像的晕光消除评价指标——晕光消除度，定义为：融合图像在晕光区域与红外图像的结构相似度和与可见光图像的结构相似度之差的归一化，可表示为：

D＝0.5×[SSIM_H(IR,FU)-SSIM_H(VI,FU)+1] (10)

式中：IR为红外图像，VI为可见光图像，FU为融合图像，SSIM_H(IR，FU)和SSIM_H(VI，FU)分别为晕光区域融合图像与红外图像和可见光图像的结构相似度。其中结构相似度表示为：

式中，R为参考图像，R∈{IR，VI}，

分别为参考图像、融合图像的均值，σ_R和σ_FU分别为参考图像和融合图像的标准差，σ_RFU为参考图像与融合图像的协方差，C₁、C₂为常数，该指标分别从图像的亮度特性、图像的对比度特性和原始图像与目标图像之间的结构相似性特性三个方面衡量了两幅图像的相似程度。

综上晕光消除度D公式(10)可改写为：

式中：

分别为红外、可见光图像的均值，σ_IR、σ_VI分别为红外、可见光图像的标准差，σ_IRFU、σ_VIFU分别为红外与融合图像、可见光与融合图像的协方差，C₁＝6.5025、C₂＝58.5225；

D越大表明融合图像在晕光区域与红外图像相似度更高，与可见光图像相似度更低，消除晕光效果越好；D越小表明融合图像在晕光区域与红外图像相似度更低，与可见光图像相似度更高，消除晕光效果越差。D的取值范围为[0,1]，D越接近1说明消除晕光越彻底，越接近0说明消除晕光越不彻底。

2.在非晕光区域，计算非晕光区融合图像的均值

标准差σ、信息熵E、平均梯度AG、边缘强度EI、空间频率SF等评价指标，从融合图像自身特性方面评价融合图像的质量。

越大，融合图像整体亮度越高；σ越大，图像的对比度越大；E越大，图像包含的信息量越大；AG越大，图像的细节反差越大图像越清晰；EI越大，图像边缘越锋利；SF越大，图像空间域的活跃程度越大；

EI越大，图像边缘越锋利，计算公式如下；

式中I(i,j)表示融合图像第i行第j列的像素点的灰度值；

SF越大，图像空间域的活跃程度越大，计算公式如下；

3.在非晕光区域，计算峰值信噪比PSNR、交叉熵CE、互信息MI、均方根误差RMSE等评价指标，从融合图像对原始图像的信息保留程度方面评价融合图像的质量。

PSNR越大，表明融合图像相对于原图失真越小。

CE越小，表明融合图像保留原图像的细节信息越多，计算公式如下；

式中：P_Ri、P_Fi分别为参考图像、融合图像的灰度值等于i的概率，L为图像的灰度级。

MI越大，表明融合图像从原图像提取的信息越多，计算公式如下；

式中：P_R(i)、P_F(j)分别为参考图像、融合图像的概率密度，P_RF(i,j)为参考图像与融合图像的联合分布密度，L为图像的灰度级数。

RMSE越小，表明融合图像灰度值相对于原图灰度值离散程度越小，计算公式如下；

式中：M，N为图像的行数和列数，R(i,j)，F(i,j)分别为参考图像、融合图像的像素点的灰度值。

4.在非晕光区域，计算结构相似度SSIM和边缘保持度Q^AB/F，从人眼视觉效果方面评价融合图像的质量。

SSIM越大，表明融合图像的亮度、对比度、结构与原图像越相似；

Q^AB/F越大，表明融合图像保留原图像的边缘信息越多，计算公式如下：

式中：w^A(n,m)、w^B(n,m)是相应像素的权重，Q^AF(n,m)和Q^BF(n,m)是原图像A与融合图像、原图像B与融合图像的相似性度量。

下面给出一个具体仿真的实例。

实施例：

本实施例仿真条件：Windows7操作系统、MATLAB软件。

主要内容：采用自适应迭代阈值法自动确定可见光灰度图像的晕光临界灰度值，并将可见光、红外和融合图像自动划分为晕光与非晕光区，计算晕光区的晕光消除度评价融合图像的晕光消除程度，计算非晕光区融合图像的评价指标评价融合图像的色彩细节信息增强效果。具体的步骤：

一、分区：

1.使用imread函数读取可见光、红外及融合三幅图像(见图1、图2、图3)；

2.使用rgb2gray函数将可见光彩色图像转化为灰度图像；

3.根据公式(4)、(5)、(6)将图像分为晕光区可见光图像(见图4)、晕光区红外图像(见图5)、晕光区融合图像(见图6)；非晕光区可见光图像(见图7)、非晕光区红外图像(见图8)、非晕光区融合图像(见图9)；

二、根据公式(9)计算晕光区融合图像的晕光消除度，可得D＝0.93655，接近上限1，表明融合图像消除晕光的效果较好。该指标直观地表示融合图像晕光区晕光消除的程度，是现有的红外与可见光融合图像评价方法中所没有的。

三、非晕光区融合图像的评价指标的计算及结果分析；

1.通过融合图像自身特性的客观评价指标评价融合图像的质量

利用mean2函数计算非晕光区融合图像的均值；

利用std函数计算非晕光区融合图像的标准差；

利用Entropy函数计算非晕光区融合图像的熵；

利用Avg_Gradient函数和mean函数计算非晕光区融合图像的平均梯度；

按公式(12)计算非晕光区融合图像的边缘强度；

按公式(13)计算非晕光区融合图像的空间频率；

为了验证本发明方法的有效性，与不分区的融合图像进行对比，各评价指标的结果如表1所示；

表1融合图像客观评价指标的结果

由表1可知，不分区融合图像的均值、标准差、熵、平均梯度、边缘强度、空间频率比非晕光区融合图像的值大。这是由于高亮度晕光的存在，使融合图像的均值变大，非晕光区的实际亮度并没有那么大；也使图像明暗对比度提高，导致不分区融合图像的标准差更大；晕光信息的存在，也使不分区融合图像的熵值更大；晕光处一圈圈的光晕使得反映纹理细节的平均梯度变大；晕光处明显的边界也使边缘强度更大；整体上导致空间域的活跃程度增大，空间频率更大，由此可见，不分区融合图像评价指标结果因其包含晕光区的无用信息，导致客观评价指标失真，不能准确、客观反映融合图像质量的真实情况。

2.通过融合图像对原始图像的信息保留程度评价融合图像的质量；

利用psnr函数计算非晕光区的融合图像与可见光图像、红外图像的峰值信噪比；

按公式(14)计算非晕光区的融合图像与可见光、红外图像的交叉熵；

按公式(15)计算非晕光区的融合图像与可见光、红外图像的互信息；

按公式(16)计算非晕光区的融合图像与可见光、红外图像的均方根误差；

为了进一步验证本发明方法的有效性，与不分区的融合图像进行对比，各评价指标的结果如表2所示；

表2融合图像对原图信息的保留度指标

由表2可知，分区后融合图像与可见光、红外图像的峰值信噪比，较分区前分别提高了8.35％、3.5％，说明非晕光区融合图像相对原图失真更小；分区后融合图像与可见光、红外图像的交叉熵，较分区前分别降低了36.25％、66.52％，说明融合图像保留原图像的细节信息更多；分区后融合图像与可见光、红外图像的互信息，较分区前相比分别提高了254％、96％，说明非晕光区融合图像从原图提取的信息更多；分区后融合图像与可见光、红外图像的均方根误差，较分区前分别降低了48.2％、28.2％，说明非晕光区融合图像更接近于原图图像。

3.通过人眼视觉效果的客观评价指标评价融合图像的质量；

利用ssim函数计算非晕光区融合图像与可见光、红外图像的结构相似度；

按公式(17)计算非晕光区融合图像的边缘保持度；

从人眼视觉效果进一步验证本发明方法的有效性，各评价指标的结果如表3所示；

表3融合图像的视觉效果指标

由表3可知，分区后融合图像与可见光、红外图像的结构相似度，较分区前提高了55.6％、19.73％，说明非晕光区融合图像与原图像更相似；分区后融合图像边缘保持度较分区前提高了74.62％，说明非晕光区融合图像对原图像的边缘、轮廓保留度更好。

以上分析表明，本发明方法在评价红外与可见光融合的汽车夜视抗晕光图像时与现有的评价方法相比，能直观地描述融合图像晕光区的晕光消除程度，分区的评价方式避免了晕光对评价指标的干扰，保证了客观指标的评价结果与人眼视觉效果相一致，能满足对红外与可见光融合的汽车夜视抗晕光图像的客观要求。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (1)

1.一种融合图像的质量评价方法，其特征在于，所述评价方法如下：

在晕光区域，计算晕光消除度D，D越大即表示融合图像晕光消除越彻底；

在非晕光区域，从融合图像自身特性方面、从融合图像对原始图像的信息保留程度方面和从人眼视觉效果方面评价融合图像的质量；

在晕光区域计算晕光消除度D，晕光消除度D由下式计算：

式中：

和

分别为红外、可见光和融合图像的均值，σ_IR、σ_VI和σ_FU分别为红外、可见光和融合图像的标准差，σ_IRFU、σ_VIFU分别为红外与融合图像、可见光与融合图像的协方差，C₁、C₂为常数，C₁＝6.5025、C₂＝58.5225。

Images