CN114463318B - 一种多曝光融合图像的视觉质量评估方法 - Google Patents

Abstract

本发明公开一种多曝光融合图像的视觉质量评估方法，包括以下步骤：提取多曝光融合图像的结构特征；提取所述多曝光融合图像的自然性特征；提取所述多曝光融合图像的色彩特征；构建质量回归模型，利用所述质量回归模型对所述结构特征、所述自然性特征和所述色彩特征进行聚合，评估所述多曝光融合图像的视觉质量。本发明充分利用MEF图像的结构性、自然性和色彩性，大大提高了多曝光融合图像的视觉质量评估的准确性。

Description

一种多曝光融合图像的视觉质量评估方法

技术领域

本发明涉及图像视觉质量评估领域，特别是涉及一种多曝光融合图像的视觉质量评估方法。

背景技术

随着图像处理技术的不断发展，用高质量的图像来帮助人类感知现实世界变得更加可行。例如，多曝光融合(MEF)和高动态范围(HDR)成像都属于图像增强技术，可以提供出色的细节信息和自然理想的外观。HDR成像技术需要额外的处理，例如生成、向低动态范围图像的转换、以及在普通显示器上的可视化。但是，所有这些程序都可能会产生失真影响HDR图像的质量。

多曝光融合技术比较简单不需要一些中间操作，也已经在应用领域进行了实践。由于来自多个不同曝光图像的独特整合过程中涉及融合加权分配，最终会导致MEF图像的失真。因此，有必要开发MEF图像的质量评估方法。近年来，据报道，已经研究开发了一些图像质量评估(IQA)方法。这些方法可以归类为全参考(FR)方法、减少参考(RR)方法和无参考(NR)方法。FR方法和RR方法都需要利用原始图像信息来进行比较，但是，在实际应用中总是没有预定义的引用，造成结果与事实相反。因此，为IQA任务设计NR方法更为紧迫。

目前，普通图像有许多有效的NR-IQA方法。例如，1、提出的一种基于自然场景统计的NR-IQA方法，命名为基于失真识别的图像质量和完整性评估(DIIVINE)。2、利用离散余弦变换系数的NSS模型来设计IQA方法，表示为BLINDS-II。3、从空间域局部归一化亮度乘积和局部归一化亮度的经验分布中提取特征，该方法被命名为BRISQUE。4、利用曲波变换提取一个集合，构造了CurveletQA方法的统计特征。5、将梯度幅度图与拉普拉-高斯响应相结合用于感知图像的结构信息并显示极具竞争力的性能，被称为GradLog。6、采用度偏离NSS模型以表示对比度扭曲图像的不自然特征，即ContrastQA。7、提出一种基于结构退化的NR-IQA方法，该方法由梯度图上的局部二值模式(LBP)计算的梯度加权直方图(GWH-GLBP)描述。8、通过研究相对梯度方向的质量相关性，提出了定向梯度(OG)IQA方法。9、结合局部和全局考虑，设计了一种NR-IQA方法，称为NIQMC。10、通过局部特征捕获不同阶数的图像导数携带的信息，并将其用于图像质量预测。

除了上述针对普通图像的IQA方法外，一些方法还对预测色调映射图像的质量做出了贡献。例如，通过对信息、自然度和结构的分析，设计了一种有效的盲色调映射质量指数(BTMQI)。再例如，基于带通的标准测量和新构思的差分NSS推导出基于HDR图像梯度的质量评估器(HIGRADE)。尽管上述用于普通图像和色调映射图像的IQA方法表现出良好的性能，但MEF图像的失真类型与上述两种图像不同，这些方法不适合用于MEF图像的质量预测。

发明内容

本发明的目的是提供一种多曝光融合图像的视觉质量评估方法，以解决上述现有技术存在的问题，充分利用MEF图像的结构性、自然性和色彩性，大大提高了多曝光融合图像视觉质量评估的准确性。

为实现上述目的，本发明提供了如下方案：本发明提供一种多曝光融合图像的视觉质量评估方法，包括以下步骤：

提取多曝光融合图像的结构特征，其中，所述结构特征用于描述多曝光融合图像经过多曝光融合算法后的结构失真；

提取所述多曝光融合图像的自然性特征，其中，所述自然性特征用于描述多曝光融合图像经过多曝光融合算法后不自然的失真现象；

提取所述多曝光融合图像的色彩特征，其中，所述色彩特征用于描述多曝光融合图像经过多曝光融合算法后的色彩失真；

构建质量回归模型，利用所述质量回归模型对所述结构特征、所述自然性特征和所述色彩特征进行聚合，评估所述多曝光融合图像的视觉质量。

可选地，提取多曝光融合图像的结构特征包括：

测量所述多曝光融合图像的曝光程度，区分曝光异常，其中，所述曝光异常包括曝光过度和曝光不足；

对所述多曝光融合图像进行处理，获取若干伪多曝光融合图像，计算所述多曝光融合图像与所述伪多曝光融合图像的梯度相似图；

基于所述曝光异常和梯度相似图，获取曝光加权的梯度相似度；

利用NSS模型，对所述多曝光融合图像的梯度域进行统计，获取多曝光融合图像的结构失真的补偿特征；

将所述多曝光融合图像进行分块，计算每个多曝光融合图像块的块熵值，基于所述块熵值，获得熵分布特征；

基于所述梯度相似图、所述结构失真的补偿特征和所述熵分布特征，获得所述多曝光融合图像的结构特征。

可选地，测量所述多曝光融合图像的曝光程度，区分曝光异常包括：

测量所述多曝光融合图像的归一化像素强度，计算所述归一化像素强度与预设值的距离，区分曝光异常。

可选地，所述梯度相似图的计算方法为：

其中，G_s为梯度相似图，G为伪多曝光融合图像梯度图，G_I为多曝光融合图像梯度图，C₁为常数。

可选地，所述曝光加权的梯度相似度为：

其中，G_e为曝光加权的梯度相似度，G_s为梯度相似图，E₁为曝光图。

可选地，提取所述多曝光融合图像的自然性特征包括：

将所述多曝光融合图像转换为灰度图像，计算所述灰度图像的去均值对比度归一化系数，利用NSS模型对所述灰度图像的去均值对比度归一化系数进行统计，获得全局自然度特征；

计算图像的亮度、对比度的损失特征；

基于所述图像的亮度、对比度的损失特征和所述全局自然度特征，获取所述多曝光融合图像的自然性特征。

可选地，提取所述多曝光融合图像的色彩特征包括：

基于所述多曝光融合图像的RGB颜色通道，获取对色色彩空间，计算所述对色色彩空间的对比度能量，获得所述多曝光融合图像的色彩特征。

可选地，所述对色色彩空间的对比度能量的计算方法为：

其中，g∈{T₁,T₂}，

和

分别为MEF图像的红绿通道和黄蓝通道；

χ为校正和归一化所有滤波器响应的对比增益，θ_g为噪声阈值，ε为ρ(I_g)的最大值，ρ(I_g)为色彩通道的梯度。

可选地，构建所述质量回归模型时，采用随机森林算法。

本发明公开了以下技术效果：

本发明提供的多曝光融合图像的视觉质量评估方法，考虑了多曝光融合图像的结构性、自然性和色彩性，并提取这三个方面对应的特征，并利用回归模型将上述特征聚合进行质量预测。本发明从多曝光融合图像多方位的失真表象分析出发，全方面地对多曝光融合图像进行了失真表征，在预测多曝光融合图像的视觉质量任务中体现了较大的潜力，在不增加算法复杂度的前提下提高了多曝光融合图像的视觉质量评估性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中多曝光融合图像的视觉质量评估方法的流程示意图；

图2为本发明实施例中BMEFIQA方法原理框架示意图；

图3为本发明实施例中三种MEF算法生成的多曝光融合图像示例；(a)Merten算法(MOS＝7.6957)；(b)为拉曼算法(MOS＝4.2609)；(c)为局部能量加权方法(MOS＝4.3043)；

图4为本发明实施例中图3中MEF图像的相应曝光图；

图5为本发明实施例中基准MEF数据库中的源图像；

图6为本发明实施例中多种NR-IQA方法的客观预测分数和MOS值的散点图，其中，(a)为DIIVINE；(b)为BLINDS_II；(c)BRISQUE；(d)CurveletQA；(e)GradLog；(f)ContrastQA；(g)GWH-GLBP；(h)OG；(i)NIQMC；(j)SCORER；(k)BTMQI；(l)HIGRADE-1；(m)HIGRADE-2；(n)Proposed。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供一种多曝光融合图像的视觉质量评估方法。本实施例中的多曝光融合(MEF)图像是由多幅具有不同曝光级别的图像生成的，变换过程中不可避免地会引入各种失真。由于MEF图像由具有不同曝光级别的多个图像融合，权重分配过程将引入一些伪影，例如细节损失、结构退化、不自然和颜色失真。图3展示了三种不同MEF算法生成的MEF图像，它们显示了不同的视觉效果。由Merten算法生成的图3(a)的平均意见分数(MOS)最高，质量最好。除了过度暴光部分(即洞穴入口外)，相对来说细节信息保存完好。此外，它还有比图3(b)与图3(c)更丰富的颜色信息，看起来更自然。由拉曼算法生成的图3(b)给人类最初的感觉就是一个黑暗的场景。由此可见，亮度下降也会导致细节和颜色信息的丢失。通过局部能量加权生成的MEF图像图3(c)显示了适当的亮度，但失去了场景的自然度，并且在墙壁和石头周围引入了一些伪影。因此，结构、自然度和颜色信息是影响MEF图像视觉质量的主要因素。

如图1-2所示，评估方法包括以下步骤：

S1、提取多曝光融合图像的结构特征，结构特征用于描述多曝光融合图像经过多曝光融合算法后的结构失真。

结构信息通常承载着场景的基本视觉内容，人类视觉系统(HVS)对提取结构进行视觉感知具有很强的适应性。对于一幅MEF图像，畸变引入总是会破坏其结构信息，如曝光异常(即过度曝光或曝光不足)。因此，可以通过测量结构信息是否被损坏来感知MEF图像的视觉质量，尤其是对于过曝光和欠曝光区域。

首先，需要测量MEF图像的曝光程度，以区分过度曝光和曝光不足的区域。给定一个MEF图像I，MEF图像I对应的曝光图E_I可以通过测量MEF图像I的归一化像素强度和常数0.5之间的距离来计算。具体而言，当归一化像素强度接近0或1时，相应的像素被视为曝光不足或曝光过度。因此，E_I可以定义为如式(1)所示：

其中，E_I为曝光图，τ为高斯函数的标准方差，I_y为多曝光融合图像的归一化像素强度。

图4显示了图3中三个MEF图像对应的曝光图。与图3相比，可以发现较亮的区域是曝光不足或曝光过度的区域，较暗的区域代表正常曝光区域。梯度作为一种有效的结构信息特征，被用来描述结构损失现象。为了进一步测量异常曝光对获取梯度信息的影响，通过对原始的MEF图像进行变暗和变亮来获得一系列假MEF图像(伪MEF图像)，表示为I_f，如式(2)所示：

I_f＝I·C (2)

其中，I_f为一系列假MEF图像(伪MEF图像)，I为真实的MEF图像，C为常数。

其中C∈{1/3.5，1/5，1/6.5，3.5，5，6.5}。之后，可以生成六个伪MEF图像。计算伪MEF图像的梯度图G，如式(3)所示：

其中，P_x为沿水平方向的Prewitt算子，P_y为沿垂直方向的Prewitt算子,

表示卷积算子。此外，原始的真实MEF图像的梯度图也由式(3)获得，表示为G_I。

设G_s为G和G_I的相似图，通过计算G_s来量化异常曝光对获取梯度信息的影响。G_s的计算方法如式(4)所示：

其中，C₁是一个常数，以避免零分母，本实施例中，被设置为10^-8。

由于过度曝光和曝光不足区域的失真更容易被人眼感知，因此将梯度相似图G_s与曝光图E_I相结合以使失真感知更加准确。因此，结合曝光加权的梯度相似度定义为如式(5)所示：

其中，G_e为曝光加权的梯度相似度。

并且，G_e的维度与伪MEF图像的数量一致，在本实施例中，G_e是描述MEF图像结构损失的6维特征。

从统计学的角度来看，梯度域中使用NSS模型来表示MEF图像的结构变化。具体而言，梯度图G_I通过局部去均值和除法归一化来处理，以获得去均值对比度归一化(MSCN)系数，如式(6)所示：

其中，

为G_I在(i,j)位置上的MSCN系数，μ(i,j)和δ(i,j)分别为G_I(i,j)的局部均值和标准偏差。

不同程度的结构畸变必然会影响G_I的MSCN系数分布。由于该分布具有类似高斯的外观，因此利用广义高斯分布(GGD)来匹配MSCN系数(对G_I的MSCN系数建模)，并且数学表达式如式(7)所示：

其中，β为尺度参数，

Γ(·)为gamma函数，参数α和σ²分别为高斯分布的形状和方差，e为常数(自然对数的底数)，f(·)为广义高斯分布函数，l为输入的MSCN系数。

在本实施例中，α和σ²是另一种描述MEF图像结构损失的2维特征。

此外，还需要计算相邻MSCN系数的成对乘积以捕捉相邻像素的关系。在四个方向上处理MSCN系数，表示为如式(8)所示：

其中，H(i,j),V(i,j),D₁(i,j)与D₂(i,j)分别为沿水平、垂直、主对角线与次对角线方向处理的结果。

利用非对称广义高斯分布拟合每个成对乘积，如式(9)-(10)所示：

其中，Γ(·)为gamma函数。v为控制分布形状的形状参数，

和

分别为控制模式两侧扩展的比例参数，k为沿四个方向的MSCN系数，β_l与β_r分别为左尺度与右尺度参数，

为非对称广义高斯分布的平均值。

上述参数υ、

和

构成感知全局结构失真的补偿特征。最终结果为在四个方向上计算的补偿特征形成16维特征向量。

另一方面，结构损失现象还包含细节信息的损失，细节信息可以通过熵来度量。具体的，将MEF图像划分为8×8的块，计算每个MEF图像块的熵值，获得局部熵e_b，通过局部熵以感知局部细节信息变化。最后根据熵获得上述局部熵的分布情况，局部熵分布的值被表示为如式(11)所示：

其中，e为代表局部熵分布的值，m是每个MEF图像的块数，p(·)是第m块熵值的概率密度。

此外，还计算局部熵的平均值和标准偏差来测量整体细节损失，分别表示为e_m和e_s。最后，e、e_m和e_s被整合形成另一组三维结构特征。

S2、提取多曝光融合图像的自然性特征，其中，自然性特征用于描述多曝光融合图像经过多曝光融合算法后不自然的失真现象。

通常，高质量的MEF图像具有自然的外观。MEF算法可能会破坏空间域中的自然统计规律。从全局的角度来看自然性可以通过基于NSS的模型来量化。对于MEF图像，将其转换为灰度图像I_r，然后根据公式(6)计算灰度图像I_r的MSCN系数。此外，利用公式(7)中定义的GGD模型对灰度图像I_r的MSCN系数进行建模，用于捕捉统计特性，获得形状和方差参数，并将形状和方差参数作为第一组全局自然度特征。

从另一个角度来看，自然度也受到整体亮度和对比度的影响，而亮度和对比度又会受到欠曝和过曝条件的严重影响。一般来说图像强度的均值和标准差可以表示图像的亮度和对比度，熵也可以描述亮度的失真。因此，这些矩特征(平均值和标准差)和熵特征被应用于建立NSS模型，用于捕捉失真过程中的自然度变化。其中，高斯概率密度函数用于拟合均值和标准差，如式(12)-(13)所示:

其中，a和s分别为均值和标准差。d_a和d_s分别为当a和s给定时，MEF图像呈现自然的概率，ξ_a、τ_a、ξ_s、τ_s均为常数。公式(12)和公式(13)中的参数ξ_a设为26.063，τ_a设为118.559，ξ_s设为12.858，τ_s设为57.274。

此外，熵特征由极值概率密度函数拟合，极值概率密度函数定义为如式(14)所示：

其中，o是灰度MEF图像I_r的熵值，d_o是给定o时MEF图像呈现自然的概率，ξ_o和τ_o为常数。参数ξ_o为0.258，参数τ_o为7.54。

因此，d_a、d _s和d_o形成了第二组全局自然性特征。结合第一组特征，共使用5维特征来描述MEF图像的自然度。

S3、提取多曝光融合图像的色彩特征，其中，色彩特征用于描述多曝光融合图像经过多曝光融合算法后的色彩失真。

丰富的色彩信息对于一幅优秀的MEF图像是非常重要的，这说明它具有合适的色彩饱和度和逼真的场景色度。由于不同的人并不总是关注相同的事情，不同的MEF算法中的权重分配过程则可能会侧重图像内容的不同部分。如图3所示，不同的侧重会带来不同的失真。无论如何，颜色失真测量是必要和正确的。在以前的工作中，已经证明HVS对对色色彩空间(opponent color space)敏感。对色色彩空间(opponent color space)是由RGB颜色空间中的红(R)、绿(G)、蓝(B)颜色通道获得的。RGB颜色空间向对色色彩空间的变换过程表示为T₁＝R-G，T₂＝(R+G)/2-B，T₁是获得的红绿通道，T₂是获得的黄蓝通道。

根据两个变换的通道，利用它们的组合来表示MEF图像的色彩度C_t。具体定义如式(15)所示：

其中，

和

分别代表T₁和T₂的方差，

和

分别为T₁和T₂的均值。

从图3可以看出，过度曝光和曝光不足都会随着对比度的降低而影响图像色彩的表现。因此，在对色色彩空间中计算对比度能量以感知颜色失真。设C_e为计算得到的对比度能量，如式(16)所示：

其中，g∈{T₁,T₂}，

和

分别为MEF图像I的红绿通道和黄蓝通道。

χ为校正和归一化所有滤波器响应的对比增益，ε为ρ(I_g)的最大值，θ_g为噪声阈值。

最后，计算C_e的平均值作为除C_t之外的另一个特征。实际上，根据对色色彩空间，两个通道执行对比度能量计算过程，可获得2维特征。

此外，为了获得更全面的色彩失真感知，NSS模型也在两个对色色彩通道中执行。具体地说，T₁和T₂分别用公式(6)和公式(7)中定义的MSCN系数计算和GGD模型来处理。获得的形状和方差参数构成4维色彩特征。

S4、特征聚合和质量回归。

通过上述对结构、自然度和色彩度分析共提取了39维特征，分别表示为S_F、N_F和C_F。根据获得的质量敏感特征，学习特征与人类主观得分之间的映射关系，以达到质量预测的目的。作为一个有效的回归的方式，使用随机森林(RF)来汇集高维特征用于指示MEF图像的质量。具体表达式如式(17)所示：

Q＝η(F) (17)

其中，Q为MEF图像的最终质量分数，η(·)为通过RF实现的映射函数，F为最终所有特征的向量，F＝{S_F,N_F,C_F}。

具体过程为：(1)选取一部分MEF图像作为RF回归模型的训练集，提取训练集的结构、自然度和色彩特征，利用RF训练所提取特征与训练集中相对应的人类主观得分之间的映射关系，形成质量回归模型；

(2)选取剩下的MEF图像作为测试集，提取测试集的结构、自然度和色彩特征，输入(1)中所获得的质量回归模型，获取预测质量分数。

为验证本发明所提出的质量评估方法的性能，本实施例中将本方法与其他方法进行结果验证。

该验证过程选用一个开放的MEF主观评估数据库，该数据库由136张MEF图像组成，涉及一些不同的场景。相应的感知质量分数由众多观察者主观测试获得，即人类主观分数，并从中获得每个MEF图像的MOS值。这些MEF图像由不同类型的MEF算法生成，136幅MEF图像来自17幅源多次曝光图像，如图5所示。

三个标准的性能评价标准被用来评价该方法的性能，包括Person线性相关系数(PLCC)，斯皮尔曼秩次相关系数(SROCC)和均方根误差(RMSE)。具体来说，PLCC、SROCC和RMSE分别用于评估预测精度、预测单调性和预测误差。此外，PLCC应经过五参数逻辑回归计算，其定义如式(18)所示：

其中，Q_f为拟合后的分数，λ₁，λ₂，λ₃，λ₄，λ₅为拟合参数，可通过MATLAB软件中的nlinfit函数得到。在计算PLCC值时，将输入(即预测分数Q)替换为Q_f。

一个优秀的质量评估方法总是应该具有较高的PLCC值和SROCC值，较低的RMSE值。为了获得一个稳健的标准，本实施例中使用了17折交叉验证来测试本发明所提出的评估方法。具体来说，将MEF图像数据库分为17个子集，其中16个用于训练，其余用于测试。最后，当所有场景的训练/测试周期结束时，获得所有循环周期中上述性能指标的平均值。

为了验证本方法的性能，本实施例中使用了两类已在其他图像上证明有效的基于NR的方法进行性能比较。第一类包含10种为普通图像设计的方法，分别为DIIVINE,BLIND-II,BRISQUE,CurveletQA,GradLog,ConstrastQA,GLBP,OG,NIQMC和SCORER。第二类包含三种为色调映射图像设计的方法，称为TM-NRIQA，包括BTMQI、HIGRADE-1、HIGRADE-2。所有的比较方法都是基于学习的方法，经过17次交叉验证以获得所有方法对于MEF图像的质量预测性能，这与所提出的方法一致。以确保结果没有偏差，比较方法的性能都是通过运行作者发布的原始代码获得的。

表1给出了总体性能比较结果。为了突出最佳表现，其PLCC、SROCC和RMSE的数值以粗体显示。显而易见，所提出的BMEFIQA方法比其他比较方法具有更好的性能，验证了其有效性。从表1中，可以得出一些观察结果。一方面，大多数2D NRIQA方法表现出较差的性能，除了GradLog，PLCC和SROCC最差的业绩指标分别只有0.163和0.113。造成这一现象的原因大致可以概括如下:一是MEF图像的失真呈现出不同于普通2D图像的特征，例如语义理解困难和过度曝光时的颜色恶化和曝光不足。第二，GradLog方法将梯度振幅图与高斯响应的拉普拉斯算子相结合来感知结构信息，可以很好地描述MEF图像的结构失真。因此，它的性能优于其他比较的2D NRIQA方法。另一方面，与2D NRIQA相比方法，TM-NRIQA方法获得了更好的性能。这可以归因于色调映射图像的失真似乎类似于MEF图像。然而，这样的结果也应该改进，以更准确地预测MEF图像的质量。所提出的BMEFIQA方法考虑了MEF图像三个方面的特性，促使其获得优于竞争方法的性能。

表1

为了更直观地比较不同方法的性能，图6显示了14种NR-IQA方法的客观预测分数和MOS值的散点图。它们在整个MEF数据库中进行计算，散点由逻辑函数拟合。这些散点越靠近拟合线，性能越好。从该图中可以观察到，与其他NRIQA方法相比，本发明提出的方法的预测分数与MOS值的相关性更高。

从上述性能比较中，已证明所提出的BMEFIQA方法具有良好的质量预测能力。然而，对于个别特征，它们在整体方法中所起的作用仍然是模棱两可的。为实现该目的，利用个体特征S_F、N_F、C_F及其不同组合来训练相应的回归模型，分别预测MEF图像的质量。如表2所示，得到的回归模型写为Model-t,t∈{1,2,.,7}，表示单个特征的数量及其可能的组合。其各自的表现结果也在表2中给出。可以发现：首先，在个体特征中，与自然度特征N_F和颜色特征C_F相比，结构特征S_F表现出较强的性能。对于整体表现，S_F贡献最大。第二，在不同的组合中，S_F和C_F的组合产生最佳性能。C_F本身的性能虽然比较弱，但与N_F结合使用时性能有所提升，说明它提供了很好的辅助效果。第三，当所有S_F、N_F和C_F特征结合在一起时，可以获得最佳性能，可以让使S_F、N_F和C_F特征可以相互补充。

表2

在块熵计算过程中，由于不同的块大小可能会影响质量预测性能，因此应确定块大小以获得最佳性能。在实验中，测试了不同块大小下的性能，如表3所示。具体来说，块大小从8到64不等，给出了相应的PLCC、SROCC和RMSE值。此外，还计算了不同块大小下的运行时间。从结果中，可以观察到PLCC、SROCC值和运行时间随着块大小的增加而减少。综合考虑，块大小设置为8。

表3

在实际应用中，除了性能之外，效率对于方法也很重要。因此，表4中报告了所提出的方法和其他竞争方法在MEF数据库中所有MEF图像的平均实现时间。所有原码均在Windows 10 1.80GHz英特尔酷睿i7-8565UCPU上实现，带8GB RAM和NVIDIA MX 150，使用MATLAB 2017b。从表4可以发现，所提出的BMEFIQA方法具有适中的执行时间。

表4

在本发明中，提出了一种新的NR-IQA方法来处理MEF图像的质量预测任务。具体来说，所提出的评估方法考虑了MEF图像的结构性、自然性和色彩性，并提取这三个方面对应的特征。通过前一部分的性能比较，所提出的方法显示了其在预测MEF图像质量方面的潜力。它可以在没有提供参考信息的情况下在应用终端中用于监控质量。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种多曝光融合图像的视觉质量评估方法，其特征在于，包括以下步骤：

提取多曝光融合图像的结构特征，其中，所述结构特征用于描述多曝光融合图像经过多曝光融合算法后的结构失真；

提取所述多曝光融合图像的自然性特征，其中，所述自然性特征用于描述多曝光融合图像经过多曝光融合算法后不自然的失真现象；

提取所述多曝光融合图像的色彩特征，其中，所述色彩特征用于描述多曝光融合图像经过多曝光融合算法后的色彩失真；

构建质量回归模型，利用所述质量回归模型对所述结构特征、所述自然性特征和所述色彩特征进行聚合，评估所述多曝光融合图像的视觉质量；

提取多曝光融合图像的结构特征包括：

测量所述多曝光融合图像的曝光程度，区分曝光异常，其中，所述曝光异常包括曝光过度和曝光不足；

对所述多曝光融合图像进行处理，获取若干伪多曝光融合图像，计算所述多曝光融合图像与所述伪多曝光融合图像的梯度相似图；

基于曝光图和所述梯度相似图，获取曝光加权的梯度相似度，所述曝光加权的梯度相似度为：

其中，G _e为曝光加权的梯度相似度，G _s为梯度相似图，E ₁为曝光图；

其中，τ为高斯函数的标准方差，I _y 为多曝光融合图像的归一化像素强度；

利用NSS模型，对所述多曝光融合图像的梯度域进行统计，获取多曝光融合图像的结构失真的补偿特征；

将所述多曝光融合图像进行分块，计算每个多曝光融合图像块的块熵值，基于所述块熵值，获得熵分布特征；

基于所述梯度相似图、所述结构失真的补偿特征和所述熵分布特征，获得所述多曝光融合图像的结构特征。

2.根据权利要求1所述的多曝光融合图像的视觉质量评估方法，其特征在于，测量所述多曝光融合图像的曝光程度，区分曝光异常包括：

测量所述多曝光融合图像的归一化像素强度，计算所述归一化像素强度与预设值的距离，区分曝光异常。

3.根据权利要求1所述的多曝光融合图像的视觉质量评估方法，其特征在于，所述梯度相似图的计算方法为：

其中，G _s为梯度相似图，G为伪多曝光融合图像梯度图，G _I为多曝光融合图像梯度图，C ₁为常数。

4.根据权利要求1所述的多曝光融合图像的视觉质量评估方法，其特征在于，提取所述多曝光融合图像的自然性特征包括：

将所述多曝光融合图像转换为灰度图像，计算所述灰度图像的去均值对比度归一化系数，利用NSS模型对所述灰度图像的去均值对比度归一化系数进行统计，获得全局自然度特征；

计算图像的亮度、对比度的损失特征，所述图像的亮度、对比度的损失特征由图像强度的均值、标准差和熵特征建立NSS模型得到；

基于所述图像的亮度、对比度的损失特征和所述全局自然度特征，获取所述多曝光融合图像的自然性特征。

5.根据权利要求1所述的多曝光融合图像的视觉质量评估方法，其特征在于，提取所述多曝光融合图像的色彩特征包括：

基于所述多曝光融合图像的RGB颜色通道，获取对色色彩空间，计算所述对色色彩空间的对比度能量，获得所述多曝光融合图像的色彩特征。

6.根据权利要求5所述的多曝光融合图像的视觉质量评估方法，其特征在于，所述对色色彩空间的对比度能量的计算方法为：

其中，

，

和

分别为MEF图像的红绿通道和黄蓝通道；

，

为校正和归一化所有滤波器响应的对比增益，

为噪声阈值，

为

的最大值，

为色彩通道的梯度，P _x为沿水平方向的Prewitt算子，P _y为沿垂直方向的Prewitt算子。

7.根据权利要求1所述的多曝光融合图像的视觉质量评估方法，其特征在于，构建所述质量回归模型时，采用随机森林算法。

Images