CN109345525B - 一种去鬼影高动态范围图像质量评价方法 - Google Patents

Abstract

本发明针对去鬼影高动态范围图像提出了有效的客观质量评价模型，其特征在于：首先，基于去鬼影高动态范围图像的源曝光级序列设计了基于亮度、对比度和结构特征的块分解的图像融合算法，以获得参考图像；然后，基于纹理不一致性原理检测去鬼影高动态范围图像的源曝光级序列中的静态区域和动态区域；接下来，分别对针对静态区域和动态区域设计基于结构相似性的客观质量评价模型；最后，采用不确定性权重策略结合静态区域和客观区域的客观质量分数，以计算去鬼影高动态范围图像的总体质量分数。实验结果表明本发明提出客观质量评价模型对去鬼影高动态范围图像展现良好的效果。

Description

一种去鬼影高动态范围图像质量评价方法

技术领域

本发明提出了一种去鬼影高动态范围图像质量评价方法。属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

当前传感器和显示器主要的缺陷之一就是它们有限的动态范围，造成一些真实自然场景的全部亮度信息很难表现出来，在过去的几十年间高动态范围图像合成技术得到了一定的发展，普遍的方法是在相同的场景拍摄不同的曝光级别的图像序列，基于不同曝光级别的图像序列去合成高动态范围图像，然后通过色调映射技术把所得的高动态范围图像转换成低动态范围图像以便在普通设备上显示。目前，出现了另外一个高效地得到高动态范围图像的范围的方法是多曝光融合方法，多曝光融合算法直接把拍摄所得的一组不同曝光级别的图像序列融合成一张细节丰富的低动态范围图像。

大多数高动态范围图像合成技术和多曝光融合算法的主要技术难点在于动态场景，也就是场景中包含移动的物体或相机、手的抖动，使获得的源曝光级序列中包含动态信息，但是不同曝光级别图像间小小的位移都会导致最终融合的图像中产生鬼影。最近几年，越来越多人尝试针对动态的源曝光级序列合成无鬼影的高动态范围图像，该类算法通常被称作为高动态范围去鬼影算法，并且已经有很多去鬼影算法被提出，每种算法得到的去鬼影效果都不相同。然而，很少有人开展去鬼影高动态范围图像的进行视觉质量评价工作。现存只有去鬼影算法的主观评价，并且只包含小部分图像以及有限的高动态范围去鬼影图像算法，这些实验结果与最近提出的新算法间的相关性较低。对于客观质量评价来说，针对静态的源曝光级序列以设计出十分有效的客观质量评价模型，比如MEF-SSIM，但是，就本发明所知的，目前没有提出任何针对高动态范围图像合成以及动态场景多曝光图像融合的客观质量评价算法。因此，为解决主观实验消耗人力物力的缺陷，并且填补去鬼影高动态范围图像质量评价的空白，本发明旨在设计针对去鬼影高动态范围图像的客观质量算法，有效的实现对去鬼影高动态范围图像客观质量的自动预测。

发明内容

本发明提出了一种有效的评价去鬼影高动态范围图像的客观质量算法，该算法主要分为为五个部分：融合获得参考图像；动态、静态区域划分；静态区域质量评价；动态区域质量评价；不确定权重策略。

为了实现上述目的，本发明采用的技术方案为：

具体过程步骤如下：

步骤1：对去鬼影高动态范围图像的源曝光级序列进行块分解，通过分解得到的图像块生成参考图像，然后两两计算不同曝光级图像的纹理不一致性进行区域分割。

步骤2：二值化所得的纹理不一致性图生成相应的二值图，并使用与运算融合二值图得到源曝光级序列的静态区域和动态区域。

步骤3：分别计算静态区域和动态区域的质量分数。在静态区域上计算参考图像与去鬼影图像的局部质量分数，然后采用多尺度的方法得到静态区域的客观质量分数。在计算动态区域质量分数时，采用亮度映射函数生成以源曝光级序列中每一个不同曝光图像为目标图像的一组新的无动态信息的曝光级序列，并对每组新的曝光级序列融合一张新的参考图像，并分别计算新参考图像与去鬼影图像间的质量分数，取最大的质量分数作为动态区域的客观质量分数。

步骤4：采用不确定性权重策略，分别计算图像静态区域和动态区域梯度值的熵，并把所得的熵值作为权重合并两个区域的质量分数，最终获得去鬼影高动态范围图像的总体质量分数。

一种去鬼影高动态范围图像质量评价方法，其特征在于，包括以下几个步骤：

A.对去鬼影高动态范围图像的源曝光级序列进行块分解，提出了一种基于亮度、对比度和结构特征的图像融合方法，获得参考图像。

B.对源曝光级序列两两计算不同曝光级图像的纹理不一致性，二值化得到的纹理不一致性图生成相应的二值图，通过与运算融合二值图，获得源曝光级序列的动态区域与静态区域的最终二值图。

C.根据已划分的区域，在静态区域上计算参考图像与去鬼影图像的局部质量分数，然后采用多尺度的方法得到静态区域的客观质量分数。

D.计算动态区域的质量分数，采用亮度映射函数生成以源曝光级序列中每一个不同曝光图像为目标图像的一组新的无动态信息的曝光级序列，并对每组新的曝光级序列使用(A)步骤融合一张新的参考图像，并分别计算新参考图像与去鬼影图像间的质量分数，取最大的质量分数作为动态区域的客观质量分数。

E.分别计算去鬼影高动态范围图像静态区域的梯度图和动态区域的梯度图，并求得相应区域梯度图的熵值，把所求的熵值分别作为动态区域与静态区域质量分数的权重，合并得到去鬼影高动态范围图像的客观质量分数。

进一步地，通过对源曝光级序列进行基于亮度、对比度和结构块的分解操作，以生成参考图像；通过纹理不一致性检测源曝光级序列中的静态、动态区域；分别针对静态、动态区域设计基于结构相似性原理的质量评价模型；使用不确定性权重策略融合静态、动态区域的质量分数得到去鬼影融合高动态范围图像的最终质量分数,其具体步骤是：

A.对源曝光级序列进行块分解，分解为11×11的图像块，进而生成参考图像块，参考图像块的计算公式如式(1)所示：

其中，{x_k}＝{x_k|1≤k≤K}表示K张不同曝光图像在相同位置上的一组图像块；‖·‖表示向量的二范式运算；

和

分别表示图像块的均值和减去均值的图像块；c_k，s_k和l_k分别表示图像块x_k的对比度，结构和平均亮度值；其中参考图像块对比度和结构特征的计算如式(2)，式(3)所示：

其中

是决定每一个图像块在融合过程中作用大小的权重函数，p是一个自适应参数；得到

和

后，将二者结合便可得到一个新的向量，如式(4)所示：

B.随后计算源曝光级序列中不同曝光级图像间的纹理不一致性，将所得的纹理不一致性图二值化，得到相应的二值图，计算过程如式(5),式(6)所示：

其中，k，k′∈{1，…，K}，k≠k′,同时有

对<k，k′>产生，因此有

张纹理不一致性图生成，C是一个提高算式稳定性的常量，C＝(0.03×255)²；T是提前设置的阈值T＝0.5；通过式(6)可以得到

张二值图，根据所得的二值图，用与运算融合二值图得到源曝光级序列的最终二值图，该二值图中0表示动态区域，1表示静态区域，如式(7)所示：

C.根据所述的对于去鬼影高动态范围图像质量评价方法，要分别对图像的静态区域和动态区域两部分进行质量评价，局部静态区域的质量计算如式(8)所示：

其中，{x_k}是式(4)算出的参考图像块，y是去鬼影高动态范围图像的图像块；

σ_y分别是图像块

y的方差，

是图像块

和y的协方差；随后采用多尺度的方法计算总体静态区域的客观质量分数，如式(9)所示：

其中，Q_s代表去鬼影高动态范围图像中静态区域的总体分数，L表示多尺度方法中的尺度个数L＝3；ω_j表示第j个尺度的权重，其中{ω₁＝0.0710，ω₂＝0.4530，ω₃＝0.4760}；i表示图像块的索引，M表示总的静态图像块的个数。

D.计算动态区域的质量分数时，依次从源曝光级序列中选出一张曝光图像作为目标图像，用亮度映射函数得到该曝光图像的其它不同的(K-1)个曝光级别的图像，生成一组新的无动态信息的曝光级序列，这样可以生成K组新的曝光级序列，并用式(1)计算出K张新的参考图像，再分别计算新得的K张参考图像与去鬼影高动态范围图像在动态区域上的局部质量分数，得到K张质量图，局部质量分数如式(10)所示：

其中,k表示第k张曝光图像作为目标图像得出其它曝光级别图像；

分别表示图像块

y的方差，

表示图像块

与y的协方差；根据所得的K张质量图，取质量图均值最大的质量分数作为动态区域的质量分数，如式(11)所示:

其中，Q_d表示图像动态区域的质量分数；N表示图像动态区域的图像块总个数。

E.为了合并静态区域和动态区域的客观质量分数，本发明提出了基于去鬼影高动态范围图像静态、动态区域梯度图熵值的加权方法，最终获得客观质量分数，熵的计算公式如式(12)所示：

其中，B表示集合Ω中的最大值；p_i表示值等于i时的概率；因此计算静态区域和动态区域质量分数的权重的方法如式(13)，式(14)所示：

U_s＝U(G⊙B) (13)

其中，G表示去鬼影高动态范围图像的梯度值图；B是式(7)所得的二值图，而

表示B的非运算结果；⊙表示逐点相乘。最后用所求的权重U_s，U_d合并静态区域和动态区域的质量分数，最终得到去鬼影高动态范围图像的总体客观质量分数，如式(15)所示：

实验证明本发明提出的去鬼影高动态范围图像质量评价模型明显优于目前的其他模型。通过与常见的5个质量评价模型来比较，评估的指标：PLCC(Pearsonlinearcorrelation coefficient)和SRCC(Spearman correlation coefficient)。PLCC系数表示的是客观质量评价算法预测的准确性，准确性越高，其绝对值大小越接近1，反之准确性越低，其绝对值越接近0；SRCC系数表示的事客观质量评价算法预测的单调性，其值越接近于1说明单调性越高，越接近0说明单调性越低。一个出色的客观质量评价算法的PLCC系数和SRCC系数的绝对值都应该接近1。

附图说明

图1为本发明的算法流程框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明作进一步详细说明。

本发明各个部分的具体操作如下：

●融合获得参考图像：

去鬼影高动态范围图像是由一组不同曝光级别的图像序列融合而成，首先，将每个曝光级图像分解11×11的图像块，进而计算想要的亮度、对比度和结构特征融合获得理想的参考图像块，计算方如式(16)所示：

其中，{x_k}＝{x_k|1≤k≤K}表示K张不同曝光级别图像在相同位置上的一组图像块；‖·‖表示向量的二范式；

和

分别表示图像块的均值和减去均值的图像块；c_k，s_k和l_k分别表示图像块x_k的对比度，结构特征和平均亮度值。c_k和s_k的计算方式如式(17)，(18)所示：

其中

是决定每一个图像块在融合过程中作用大小的权重函数，p是一个自适应参数。得到

和

后，将二者结合便可得到一个新的向量，该向量即为所求的参考图像的图像块，计算方式如式(19)所示：

●动态、静态区域划分：

随后计算源曝光级序列中不同曝光级图像间的纹理不一致性，将所得的纹理不一致性图二值化，得到相应的二值图，计算过程如式(20),式(21)所示：

其中，k，k′∈{1，...，K}，k≠k′,同时有

对<k，k′>产生，因此有

张纹理不一致性图生成，C是一个提高算式稳定性的常量，C＝(0.03×255)²；T是提前设置的阈值T＝0.5；通过式(21)可以得到

张二值图，根据所得的二值图，用与运算融合二值图得到源曝光级序列的最终二值图，如式(22)所示：

●静态区域质量评价：

根据上一步得到的区域划分二值图，首先对图像的静态区域进行质量评价。因为在原图像块中高曝光图像块或低曝光图像块对评估图像总体质量的作用很小，因此使用SSIM中的对比度相似度和结构相似度来计算相同位置上的参考图像块{x_k}(由式(16)所得)和去鬼影高动态范围图像块y间的局部图像质量分数，图像局部质量的计算如式(23)所示：

其中，

σ_y分别是图像块

y的方差，

是图像块

和y的协方差。随后采用多尺度的方法计算总体静态区域的质量分数，如式(24)所示：

其中，Q_s代表去鬼影高动态范围图像中静态区域的总体分数，L表示多尺度方法中的尺度个数L＝3；ω_j表示第j个尺度的权重，其中{ω₁＝0.0710，ω₂＝0.4530，ω₃＝0.4760}；i表示图像块的索引，M表示总的静态区域块的个数。

●动态区域质量评价：

计算动态区域的质量分数时，依次从源曝光级序列中选出一张曝光图像作为目标图像，用亮度映射函数得到该曝光图像的其它不同的(K-1)个曝光级别的图像，生成一组新的无动态信息的曝光级序列，这样可以生成K组新的曝光级序列，并用式(16)计算出K张新的参考图像，再分别计算新得的K张参考图像与去鬼影高动态范围图像在动态区域上的局部质量分数，得到K张质量图，局部质量分数计算公式如(25)所示：

其中,k表示第k张曝光图像作为目标图像得出新的曝光级别序列；

分别表示图像块

y的方差，

表示图像块

与y的协方差。根据所得的K张质量图，取质量图均值最大的质量分数作为动态区域的质量分数，如式(26)所示:

其中，Q_d表示图像动态区域的质量分数；N表示图像动态区域的图像块总个数。

●不确定性权重策略：

为了合并静态区域和动态区域的客观质量分数，本发明提出了基于去鬼影高动态范围图像静态、动态区域梯度图的熵值的方法，加权获得最终的客观质量分数，熵的计算公式如式(27)所示：

其中，B表示集合Ω中的最大值；p_i表示像素值等于i时的概率。因此计算静态区域和动态区域质量分数的权重的方法如式(28)，式(29)所示：

U_s＝U(G⊙B) (28)

其中，G表示去鬼影高动态范围图像的梯度值图；B是式(7)所得的二值图，而

表示B的非运算结果；⊙表示点乘运算。最后用所求的权重U_s，U_d合并静态区域和动态区域的质量分数，最终得到去鬼影高动态范围图像的总体客观质量分数，如式(30)所示：

对于去鬼影高动态范围图像，通过上述操作将图像分为静态区域和动态区域，并分别求出两个区域的质量分数，最后通过自适应的方法合并两个质量分数得到最终的总体分数。

在实验中，为验证本发明提出的针对去鬼影高动态范围图像质量评价模型的有效性，本发明选择9个最新的去鬼影算法，针对20组源曝光级序列生成180张去鬼影高动态范围图像，构建一个全新的大型去鬼影高动态范围图像数据库(数据库Ⅰ)。这9个去鬼影算法包含了不同算法设计思想，比如基于像素的算法、基于图像块的算法等等，并针对该180张去鬼影高动态范围图像进行主观实验，并对主观实验数据进行分析，得到主观评价分数。将本发明设计的客观质量评估模型数据库Ⅰ与另外一个大型去鬼影高动态范围质量评价图像数据库(数据库Ⅱ)上进行验证。

其它不同质量评价方法模型和本发明的性能比较如下表。

表1：本发明和现有的图像质量评价方法在数据库Ⅰ上性能的比较

分组	Ma	Hossny	Xydeas	Piella	Chen	本发明
							PLCC	0.6084	0.6588	0.4673	0.5574	0.2909	0.8066
SRCC	0.4250	0.5400	0.3317	0.4100	0.2525	0.7142

表2：本发明和现有的图像质量评价方法在数据库Ⅱ上性能的比较

分组	Ma	Hossny	Xydeas	Piella	Chen	本发明
							PLCC	0.7215	0.6484	0.7418	0.7559	0.7623	0.8445
SRCC	0.6521	0.5183	0.5944	0.6252	0.6005	0.7616

表1-2为不同融合图像客观质量评价方法比较的实例。

可以发现，本发明提出的去鬼影高动态范围图像质量评价方法与主观分数相关性更高，性能最好。

上述实施方式是对本发明的说明，不是对本发明的限定，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。

Claims (2)

1.一种去鬼影高动态范围图像质量评价方法，其特征在于，包括以下步骤：

A.对去鬼影高动态范围图像的源曝光级序列进行块分解，采用基于亮度、对比度和结构特征的图像融合方法，获得参考图像；

B.对源曝光级序列两两计算不同曝光级图像的纹理不一致性，二值化得到的纹理不一致性图生成相应的二值图，通过与运算融合二值图，获得源曝光级序列的动态区域与静态区域的最终二值图；

C.根据已划分的区域，在静态区域上计算参考图像与去鬼影图像的局部质量分数，然后采用多尺度的方法得到静态区域的客观质量分数；

D.计算动态区域的质量分数，采用亮度映射函数生成以源曝光级序列中每一个不同曝光图像为目标图像的一组新的无动态信息的曝光级序列，并对每组新的曝光级序列使用步骤A融合一张新的参考图像，并分别计算新参考图像与去鬼影图像间的质量分数，取最大的质量分数作为动态区域的客观质量分数；

E.分别计算去鬼影高动态范围图像静态区域的梯度图和动态区域的梯度图，并求得相应区域梯度图的熵值，把所求的熵值分别作为动态区域与静态区域质量分数的权重，合并得到去鬼影高动态范围图像的客观质量分数；

其中，采用基于去鬼影高动态范围图像静态、动态区域梯度图熵值的加权方法，最终获得客观质量分数，熵的计算公式如式(12)所示：

其中，B表示集合Ω中的最大值；p_i表示值等于i时的概率，因此计算静态区域和动态区域质量分数的权重的方法如式(13)，式(14)所示：

U_s＝U(G⊙B) (13)

其中，G表示去鬼影高动态范围图像的梯度值图；B是式(7)所得的二值图，而

表示B的非运算结果；⊙表示逐点相乘；最后用所求的权重U_s，U_d合并静态区域和动态区域的质量分数，最终得到去鬼影高动态范围图像的总体客观质量分数，如式(15)所示：

2.根据权利要求1所述的一种去鬼影高动态范围图像质量评价方法，其特征在于：通过对源曝光级序列进行基于亮度、对比度和结构块的分解操作，以生成参考图像；通过纹理不一致性检测源曝光级序列中的静态、动态区域；分别针对静态、动态区域设计基于结构相似性原理的质量评价模型；使用不确定性权重策略融合静态、动态区域的质量分数得到去鬼影融合高动态范围图像的最终质量分数,其具体步骤是：

A.对源曝光级序列进行块分解，分解为11×11的图像块，进而生成参考图像块，参考图像块的计算公式如式(1)所示：

其中，{x_k}＝{x_k|1≤k≤K}表示K张不同曝光图像在相同位置上的一组图像块；‖·‖表示向量的二范式运算；

和

分别表示图像块的均值和减去均值的图像块；c_k，s_k和l_k分别表示图像块x_k的对比度，结构和平均亮度值，其中参考图像块对比度和结构特征的计算如式(2)，式(3)所示：

其中

是决定每一个图像块在融合过程中作用大小的权重函数，p是一个自适应参数，得到

和

后，将二者结合便可得到一个新的向量，如式(4)所示：

B.随后计算源曝光级序列中不同曝光级图像间的纹理不一致性，将所得的纹理不一致性图二值化，得到相应的二值图，计算过程如式(5),式(6)所示：

其中，k,k′∈{1,…,K},k≠k′,同时有

对<k,k′>产生，因此有

张纹理不一致性图生成，C是一个提高算式稳定性的常量，C＝(0.03×255)²；T是提前设置的阈值T＝0.5；通过式(6)可以得到

张二值图，根据所得的二值图，用与运算融合二值图得到源曝光级序列的最终二值图，该二值图中0表示动态区域，1表示静态区域，如式(7)所示：

C.分别对图像的静态区域和动态区域两部分进行质量评价，局部静态区域的质量计算如式(8)所示：

其中，{x_k}是式(4)算出的参考图像块，y是去鬼影高动态范围图像的图像块；

σ_y分别是图像块

y的方差，

是图像块

和y的协方差，随后采用多尺度的方法计算总体静态区域的客观质量分数，如式(9)所示：

其中，Q_s代表去鬼影高动态范围图像中静态区域的总体分数，L表示多尺度方法中的尺度个数L＝3；ω_j表示第j个尺度的权重，其中{ω₁＝0.0710，ω₂＝0.4530，ω₃＝0.4760}；i表示图像块的索引，M表示总的静态图像块的个数；

D.计算动态区域的质量分数时，依次从源曝光级序列中选出一张曝光图像作为目标图像，用亮度映射函数得到该曝光图像的其它不同的(K-1)个曝光级别的图像，生成一组新的无动态信息的曝光级序列，这样可以生成K组新的曝光级序列，并用式(1)计算出K张新的参考图像，再分别计算新得的K张参考图像与去鬼影高动态范围图像在动态区域上的局部质量分数，得到K张质量图，局部质量分数如式(10)所示：

其中,k表示第k张曝光图像作为目标图像得出其它曝光级别图像；

分别表示图像块

y的方差，

表示图像块

与y的协方差，根据所得的K张质量图，取质量图均值最大的质量分数作为动态区域的质量分数，如式(11)所示:

其中，Q_d表示图像动态区域的质量分数；N表示图像动态区域的图像块总个数。

Images