CN109191460A - 一种对于色调映射图像的质量评价方法 - Google Patents

Abstract

本发明涉及一种对于色调映射图像的质量评价方法，其特征在于：首先，设计参数模型来描述色调映射图像中色彩信息的特征，并采用统计模型提取与质量相关的特征以评估色调映射图像的自然化；其次，采用局部纹理特征来描述色调映射图像的质量退化情况；再后，通过零交点出现的边缘位置来表示图像的基本原始结构信息；最后，使用支持向量回归作为映射函数将图像特征映射到主观分数。实验结果表明，与最先进的方法相比，该方法在预测色调映射图像的视觉质量方面表现了良好的有效性和优越性。

Description

一种对于色调映射图像的质量评价方法

技术领域

本发明设计了一种无参考色调映射图像质量评价方，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

近些年来，高动态范围图像被广泛使用于各种应用程序，包括虚拟现实、全球照明、基于图像的建模等等。高动态范围图像即使在手机等移动设备上也变得流行起来，它不仅提供了更好的对比度，而且提供了更高的结构细节和自然外观的程度。一般来说，高动态范围图像可以提供场景细节和大范围的亮度级别，然而，支持查看高动态范围图像的设备非常昂贵，这种图像必须通过色调映射操作来转换成低动态范围图像，以便在传统的显示器中显示出来。

由于强度等级的限制，通过色调映射高动态范围图像得到的低动态范围的色调映射图像可能会丢失一些重要的信息，这将导致感知到的图像质量降低。更重要的是，色调映射算法的性能可能依赖于图像本身的内容。在将高动态范围图像转换为低动态范围图像时，更优越的色调映射算法可以保存包括亮度、色调、边缘和纹理在内的丰富信息。然而。到目前为止，还没有通用的色调映射算法可以处理各种不同的高动态范围图像。因此，如何评价通过色调映射得到的低动态范围图像的视觉质量对于设计有效的色调映射算法是很重要的。

一般来说，主观质量评估是最有效和最可靠的，它反应了人眼对图像质量好坏的直观判断，但是，这种方法耗费人力严重且需要投入大量专注力，因此主观质量评估不能应用于实际的应用程序中。所以，能有效评估色调映射图像视觉质量的客观方法显得十分重要，是值得研究的。

提出能够对色调映射图像进行自动评价的算法的目的在于：

(1)可以设计无监督的色调映射图像质量评价算法内嵌到色调映射图像的任何处理环节，来对此环节的质量进行监督并及时进行反馈，有利于后续的优化处理。

(2)通过高效的色调映射图像质量评价方法，可以对高动态范围图像转化低动态范围图像的色调映射算法进行指导，有利于提高算法性能，增强色调映射图像质量与人眼主观评判好坏的相关性。同时可指引色调映射算法关注与主观质量关系密切的组成部分，以精简算法，提高色调映射图像的转换速率。

(3)可以依据质量评价算法设计显示色调映射图像效果更佳的显示设备，从而更加符合人类视觉系统的感知。

因此，有效且预测准确的色调映射图像质量评价算法对于色调映射图像的发展会有很大的促进作用。

发明内容

为了改善客观评价结果受图像失真类型及内容的影响的不足，就色调映射图像质量评价模型提出了一种新的方法。所用的视觉特征包含全局特征、局部纹理特征、基本原始结构信息特征。

本发明涉及一种对于色调映射图像的质量评价模型，其特征在于：首先，设计参数模型来描述色调映射图像中色彩信息的特征，并采用统计模型提取与质量相关的特征以评估色调映射图像的自然化；其次，采用局部纹理特征来描述色调映射图像的质量退化情况。再后，通过零交点出现的边缘位置来表示图像的基本原始结构信息；最后，使用支持向量回归作为映射函数将图像特征映射到主观分数。实验结果表明，与最先进的方法相比，该方法在预测色调映射图像的视觉质量方面表现了良好的有效性和优越性。

为了实现上述目的，本发明采用的技术方案为：

一种对于色调映射图像的质量评价方法，其特征提取包括以下几个步骤：

A.采用统计模型提取色调映射图像中色彩特征、矩特征和熵特征，作为全局特征以评估色调映射图像的自然化；

B.提取局部纹理特征和基本原始结构信息特征作为局部特征，描述色调映射图像的质量退化情况；

C.采用支持向量回归作为映射函数将图像感知特征映射至主观分数；

进一步地，所包含的视觉特征包括：全局特征、局部特征特征。

进一步地，所述视觉特征包含全局特征：色彩特征、矩特征和熵特征。

进一步地，色彩特征，其具体步骤是：

A.提取色彩明亮度统计特征。色彩明亮度可被定义为：

其中，r，g，b分别代表红绿蓝三个通道的颜色，考虑考虑空间相关性，相邻像素间的相对饱和度的计算如下公式所示：

∠S^h(i，j)＝S(i，j+1)-S(i，j) (2)

∠S^v(i，j)＝S(i+1，j)-S(i，j) (3)

其中h表示水平方向，v表示垂直方向。S(i，j)表示在第i行，第j列的像素的色彩明亮度；

随后，由于∠S的直方图遵循广义高斯分布，因此使用下面的模型来模拟相对饱和度：

其中,β与Λ作为色彩特征的部分特征；

B.提取对立色彩空间统计特征：

RGB色系中两个对立色彩通道分别被定义为：

由两个对立色彩通道，可以计算得到图像色相E，其计算公式如下：

在本发明中，考虑了色相特征提取的两个方向，包括水平(h)和垂直(v)，两个方向上的色调差异定义如下：

∠E^h(i，j)＝Θ(E(i，j+1)，E(i，j)) (7)

∠E^v(i，j)＝Θ(E(i+1，j)，E(i，j)) (8)

其中,，E(i，j)在一个色调映射的图像中表示空间位置(i，j)的色相值，∠E代表色相差异值，角差算子Θ定义如下：

由于色相差异∠E的概率直方图可以很好地被包装柯西分布拟合，因此包装柯西分布的对称轴的位置参数μ_E和尺度参数ζ_E可作为色彩特征；包装柯西分布的定义公式如下：

C.提取基于图像一阶导数的色彩信息特征；

对立角可由对立色彩通道的一阶导数计算得到。r′、g′、b′分别表示r、g、b的一阶导数。则相应的对立色彩通道的一阶导数为和 对立角P可由以下公式计算得到：

球面角R是角导数的比值，角导数C′₁和C′₂是由如下的球形变换得到的：

球面角R被定义为：

对立角P和球面角R都被定义为角量，与上面提取色彩特征的做法类似，定义了∠P和∠P来表示相邻像素之间的角度差异，以消除空间依赖性，计算公式如下：

∠P^h(i，j)＝Θ(P(i，j+1)，P(i，j)) (15)

∠P^v(i，j)＝Θ(P(i+1，j)，P(i，j)) (16)

∠R^h(i，j)＝Θ(R(i，j+1)，R(i，j)) (17)

∠R^v(i，j)＝Θ(R(i+1，j)，R(i，j)) (18)

类似地，用包装柯西分布模型来拟合∠P和∠R的概率分布函数，并提取对称轴的位置参数μ_E和尺度参数ζ_E可作为色彩特征，此步骤共提取了4x2＝8个色彩特征值。

进一步地，矩特征和熵特征，其具体步骤是：

首先计算色调映射图像的均值τ(I)、标准偏差∈(I)、偏斜度值和峰度值熵让Γ(I)表示平均值运算。这些特征可由以下公式计算得到：

τ(I)＝Γ0) (19)

其中，p_k(I)表示图像I中灰度值k出现的概率，最后，构建概率分布函数，并将矩特征和熵特征的概率值作为全局特征，其概率值计算公式如下所示：

进一步地，所述局部特征包含局部纹理特征，其具体步骤是：

A.首先将图片转化为灰度图像，通过统计灰度图像0°、45°、90°、135°四个方向上保持某距离的两像素分别具有某灰度的状况，可以得到相应的灰度共生矩阵。

B.根据灰度共生矩阵，提取评估图像局部纹理质量的特征，包括：能量特征、对比度特征、同质性特征。

进一步地，能量特征，其具体步骤是：

A.计算灰度共生矩阵中,图像像素出现的概率，其计算公式如下：

其中，N代表最大灰度值，σ∈{0°，45°，90°，135°}，g_d，σ(i，j)表示在σ方向上保持距离为d的灰度值为i，j的图像像素个数；

B.计算灰度共生矩阵中所有元素出现的概率的平方和，作为能量特征，其计算公式如下：

进一步地，对比度特征，用I_c表示对比度，其计算公式如下所示：

进一步地，同质性特征，用I_m表示同质性,其计算公式如下所示：

进一步地，所述局部特征包含基本原始结构信息特征，其具体步骤是：

首先使用高斯型拉普拉斯过滤器对色调映射图像进行过滤，高斯型拉普拉斯过滤器公式如下所示：

其中，Y(u，v，ω)是二维高斯函数，ω是比例因子，在此步骤中，共使用了5个不同的比例因子ω＝[0.5，1.0，2.4，4.8，9.6]，然后，在过滤图像中查找零交点，即二阶导等于零的位置，作为基本原始结构信息特征。

附图说明

图1为本发明的算法框架流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明各个部分的具体操作如下：

●全局特征的提取：

全局特征包含色彩特征、矩特征和熵特征。

对于色彩特征，首先提取图像色彩明亮度统计特征，对于给定的色调映射图像 I＝{r，g，b}，色彩明亮度的计算方式如式(33)所示

其中，min(r，g，b)表示图像I红绿蓝三个色彩通道的最小值。为了消除空间依赖性，分别计算了水平方向(h)和垂直方向(v)的相邻像素间的色彩相对饱和度，即相邻像素间色彩明亮度差异。其计算公式如式(34)、(35)所示：

∠S^h(i，j)＝S(i，j+1)-S(i，j) (34)

∠S^v(i，j)＝S(i+1，j)-S(i，j) (35)

在此基础上，发现相邻像素间的色彩相对饱和度∠S符合广义高斯分布。因此，广义高斯分布的参数δ，ξ²可作为全局特征的色彩特征，广义高斯分布的一般形式如式(36)所示：

令F_S表示色彩明亮度统计特征，则

其次，针对对立色彩空间，提取了相应的对立色彩空间统计特征。由公式 可计算得到RGB色系中两个对立色彩通道。在此基础上，对于色调映射图像，它的色相E可由式(37)计算得到：

与前文消除空间依赖性的方法类似，同样考虑了分别从水平和垂直两个方向来计算色相差异，如式(38)、(39)所示：

∠E^h(i，j)＝Θ(E(i，j+1)，E(i，j)) (38)

∠E^v(i，j)＝Θ(E(i+1，j)，E(i，j)) (39)

其中,E(i，j)表示在一个色调映射的图像中表示空间位置(i，j)的色相值。∠E代表色相差异值。角度差异算子Θ定义如式(40)所示：

观察到，色相差异∠E的概率直方图符合包装柯西分布，包装柯西分布的定义公式如式(41)所示：

在本发明中，柯西分布的对称轴的位置参数θ_E和尺度参数ζ_E作为全局特征的色彩特征。令F_E表示对立色彩空间统计特征，则

接着，提取了基于图像一阶导数的色彩信息特征。首先，将图像I＝{r，g，b}进行一阶求导，可以得到相应的一阶导数r′、g′、b′，以及相应的对立色彩通道的一阶导数和然后，可由对立色彩通道的一阶导数求得对立角P，如式(42)所示：

基于图像一阶导数，还计算了球面角R，其定义如式(43)所示：

其中，C′₁、C′₂是由球形变化所得到的，其计算公式如式(44)、(45)所示：

同样地，定义了∠P和∠R来表示相邻像素之间的角度差异，以消除空间依赖性，计算公式如式(46)-(49)所示：

∠P^h(i，j)＝Θ(P(i，j+1)，P(i，j)) (46)

∠P^v(i，j)＝Θ(P(i+1，j)，P(i，j)) (47)

∠R^h(i，j)＝Θ(R(i，j+1)，R(i，j)) (48)

∠R^v(i，j)＝Θ(R(i+1，j)，R(i,j)) (49)

在此步骤中，由于∠P和∠R符合包装柯西分布模型，因此装柯西分布的对称轴的位置参数μ_E和尺度参数ζ_E可作为全局特征中的色彩特征。其计算公式如式(50)、(51)所示：

令F_P、F_R分别表示对立角特征和球面角特征，则 FC表示本发明提取的色彩特征，则F_C＝{F_S，F_E，F_P，F_R}。

最后，提取了色调映射图像的矩特征和熵特征作为全局特征。对于色调映射图像I，让Γ(I) 表示平均值运算，其均值τ(I)可由公式(52)计算得到：

τ(I)＝Γ(I) (52)

标准偏差∈(I)可由公式(53)计算得到：

偏斜度值可由公式(54)计算得到：

峰度值可由公式(55)计算得到：

熵可由公式(56)计算得到：

其中，p_k(I)表示图像I中灰度值k出现的概率。然后，通过构建概率分布函数，将矩特征和熵特征的概率值作为全局特征，其概率值计算公式如下式(57)-(61)所示：

令F_M表示矩特征和熵特征，则

●局部特征的提取：

局部特征包括局部纹理特征、图像语义细节特征。

首先提取图像的局部纹理特征。对于一个色调映射图像，首先将其转化为灰度图像，并在得到的灰度图像上计算得到灰度共生矩阵。灰度共生矩阵反映了在某个方向上保持某距离的两像素分别具有某灰度的数量状况，在本发明中，分别采用了0°、45°、90°、135°四个方向，分别得到四个灰度共生矩阵来提取与图片质量相关的局部纹理特征，分别是能量特征、对比度特征、同质性特征。

对于能量特征，定义为灰度共生矩阵中所有元素出现的概率的平方和I_e，其计算公式如式(62)所示：

其中，p_d，σ(i，j)灰度共生矩阵中每个元素出现的概率，其计算公式如式(63)所示：

其中，N代表最大灰度值，g_{d，σ(i，j)}表示在σ方向上保持距离为d的灰度值组合为i，j的元素个数。

对于对比度特征，用I_c表示对比度，其计算公式如式(64)所示：

对于同质性特征，用I_m表示同质性,其计算公式如式(65)所示：

令F_G表示局部纹理特征，则F_G＝{I_eI_c，I_m}。

然后提取图像的基本原始结构信息特征。首先使用5个不同的比例因子ω＝[0.5，1.0，2.4，4.8，9.6]的高斯型拉普拉斯过滤器对色调映射图像进行过滤，高斯型拉普拉斯过滤器公式如下式(66)所示：

其中，Y(u，v，ω)是二维高斯函数，ω是比例因子。然后，在过滤图像中查找零交点，即二阶导等于零的位置，作为基本原始结构信息特征。令F_Z表示基本原始结构信息特征，则F_Z＝{F_z1，F_z2，F_Z3，F_Z4，F_Z5}。

●色调映射图像质量的计算：

对于失真的色调映射图像，通过上述操作获得29维特征，包括21维全局特征，全局特征中含色彩特征16维，矩特征、熵特征共5维；3维局部纹理特征；以及5维基本原始结构信息特征。在的发明中，使用了机器学习方法SVR作为映射函数。在实验中，将数据库随机分为集和测试集1000次，其中80％为训练数据集，其余20％为测试数据集。

此外，为了评估本发明提出的模型预测的质量和主观分数的契合程度，使用了如式(67) 所示的逻辑回归函数来剔除非线性相关项。

其中，Q(s)表示进行逻辑回归后的预测质量分数，{τ₁，τ₂，τ₃，τ₄，τ₅}为设定参数。

表1为不同图像质量评价方法比较的实例。从这些比较中，我们提出的色调映射图像质量评价方法与主观评价相关性更高。

表2为使用不同比例大小的训练集的实验结果对比。

表3为使用不同特征来预测色调映射图像质量的实验结果对比。

表4为使用不同的特征组合来预测色调映射图像质量的实验结果对比。

表1：本发明和其它不同质量评价方法模型在数据库ESPL-LIVE HDR中的性能比较。

Method	PLCC	SRCC	RMSE
				BLIINDS-II	0.1434	0.0379	10.210
BRISQUE	0.4617	0.4103	8.8759
				GM-LOG	0.5075	0.4993	8.6135
NRSL	0.5516	0.5415	8.3292
				BTMQI	0.656	0.629	7.8674
BLIQUE-TMI	0.7120	0.7040	-
				HIGRADE	0.728	0.730	6.8354
Yue’s method	0.7422	0.7356	6.7127
				Proposed	0.7502	0.7481	6.7053

表2：数据库ESPL-LIVE HDR中使用不同比例大小的训练集的性能比较。

表3：数据库ESPL-LIVE HDR中使用不同特征的性能比较。

表4：数据库ESPL-LIVE HDR中使用不同的特征组合的性能比较。

本发明的过程如图1所示，具体过程如下：

步骤1：采用全局统计模型提取色调映射图像的色彩特征、矩特征和熵特征，作为全局特征，以评估色调映射图像的自然化。

步骤2：提取局部纹理特征、基本原始结构信息特征作为局部特征，来描述色调映射图像的质量退化情况。

步骤3：采用机器学习的方法支持向量回归将学习得到的特征直接作为色调映射图像质量评价的标准。

使用三种常用的标准来评估算法预测色调映射图像质量的准确性。第一个标准是皮尔逊线性相关系数(Pearson Linear CorrelationCoefficient)，用于评估预测的准确性。第二种标准是斯皮尔曼的相关系数(Spearman Rank-orderCorrelationCoefficient)，用来评估预测的单调性。最后一个标准是均方根误差(Root MeanSquaredError)，它是一种衡量客观分数和主观分数的相关性标准。一般来说，更高的PLCC和SRCC，更低的RMSE值表示更好的算法预测精确度。为了验证本发明提出的算法的性能，将算法与现有的图像质量评价方法在数据库ESPL-LIVE HDR上进行比较，包括BLIINDS-II、BRISQUE、GM-LOG、NRSL、BTMQI、BLIQUE-TMI、HIGRADE-2以及Yue’s method。ESPL-LIVE HDR数据库包含了747个色调映射图像，710个多曝光融合图像，354个后处理图像。为了消除评估偏差，重复用上述标准对每个算法进行了1000次的评估，每个标准的结果取的是平均值。

上述实施方式是对本发明的说明，不是对本发明的限定，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。

Claims (9)

1.一种对于色调映射图像的质量评价方法，其特征在于，包括以下步骤：

A.采用统计模型提取色调映射图像中色彩特征、矩特征和熵特征，作为全局特征以评估色调映射图像的自然化；

B.提取局部纹理特征和基本原始结构信息特征作为局部特征，描述色调映射图像的质量退化情况；

C.采用支持向量回归作为映射函数将图像感知特征映射至主观分数；

其中，所包含的视觉特征包括：全局特征、局部特征。

2.根据权利要求1所述的一种对于色调映射图像的质量评价方法，其特征在于：所述视觉特征包含全局特征、色彩特征、矩特征和熵特征。

3.根据权利要求2所述的一种对于色调映射图像的质量评价方法，其特征在于：色彩特征，其具体步骤是：

A.提取色彩明亮度统计特征，色彩明亮度可被定义为：

其中，r，g，b分别代表红绿蓝三个通道的颜色，考虑空间相关性，相邻像素间的相对饱和度的计算如下公式所示：

∠S^h(i，j)＝S(i，j+1)-S(i，j)(2)

∠S^v(i，j)＝S(i+1，j)-S(i，j)(3)

其中h表示水平方向，v表示垂直方向，S(i，j)表示在第i行、第j列的像素的色彩明亮度；

随后，由于∠S的直方图遵循广义高斯分布，因此使用下面的模型来模拟相对饱和度：

其中,Λ(δ)＝∫₀ ^∞t^δ-1e^-tdt，δ＞0，β与Λ作为色彩特征的部分特征；

B.提取对立色彩空间统计特征：

RGB色系中两个对立色彩通道分别被定义为：

由两个对立色彩通道，可以计算得到图像色相E，其计算公式如下：

其中，考虑了色相特征提取的两个方向，包括水平h和垂直v，两个方向上的色调差异定义如下：

∠E^h(i，j)＝Θ(E(i，j+1)，E(i，j)) (7)

∠E^v(i，j)＝Θ(E(i+1，j)，E(i，j)) (8)

其中,，E(i，j)在一个色调映射的图像中表示空间位置(i，j)的色相值，∠E代表色相差异值，角差算子Θ定义如下：

由于色相差异∠E的概率直方图可以很好地被包装柯西分布拟合，因此包装柯西分布的对称轴的位置参数μ_E和尺度参数ζ_E可作为色彩特征；包装柯西分布的定义公式如下：

C.提取基于图像一阶导数的色彩信息特征；

对立角可由对立色彩通道的一阶导数计算得到，r′、g′、b′分别表示r、g、b的一阶

导数，则相应的对立色彩通道的一阶导数为和 对立角P可由以下公式计算得到：

球面角R是角导数的比值，角导数C′₁和C′₂是由如下的球形变换得到的：

球面角R被定义为：

对立角P和球面角R都被定义为角量，与上面提取色彩特征的做法类似，定义了∠P和∠R来表示相邻像素之间的角度差异，以消除空间依赖性，计算公式如下：

∠P^h(i，j)＝Θ(P(i，j+1)，P(i，j)) (15)

∠P^v(i，j)＝Θ(P(i+1，j)，P(i，j)) (16)

∠R^h(i，j)＝Θ(R(i，j+1)，R(i，j)) (17)

∠R^v(i，j)＝Θ(R(i+1，j)，R(i，j)) (18)

用包装柯西分布模型来拟合∠P和∠R的概率分布函数，并提取对称轴的位置参数μ_E和尺度参数ζ_E可作为色彩特征，此步骤共提取了4x2＝8个色彩特征值。

4.根据权利要求3所述的一种对于色调映射图像的质量评价方法，其特征在于：矩特征和熵特征，其具体步骤是：

首先计算色调映射图像的均值τ(I)、标准偏差∈(I)、偏斜度值和峰度值熵让Γ(I)表示平均值运算，这些特征可由以下公式计算得到：

τ(I)＝Γ(I) (19)

其中，p_k(I)表示图像I中灰度值k出现的概率；最后，构建概率分布函数，并将矩特征和熵特征的概率值作为全局特征，其概率值计算公式如下所示：

5.根据权利要求4所述的一种对于色调映射图像的质量评价方法，其特征在于：所述局部特征包含局部纹理特征，其具体步骤是：

A.首先将图片转化为灰度图像，通过统计灰度图像0°、45°、90°、135°四个方向上保持某距离的两像素分别具有某灰度的状况，可以得到相应的灰度共生矩阵；

B.根据灰度共生矩阵，提取评估图像局部纹理质量的特征，包括：能量特征、对比度特征、同质性特征。

6.根据权利要求5所述的一种对于色调映射图像的质量评价方法，其特征在于：能量特征，其具体步骤是：

A.计算灰度共生矩阵中,图像像素出现的概率，其计算公式如下：

其中，N代表最大灰度值，σ∈{0°，45°，90°，135°}，g_{d，σ(i，j)}表示在σ方向上保持距离为d的灰度值为i，j的图像像素个数；

B.计算灰度共生矩阵中所有元素出现的概率的平方和，作为能量特征，其计算公式如下：

7.根据权利要求5所述的一种对于色调映射图像的质量评价方法，其特征在于：对比度特征，用I_c表示对比度，其计算公式如下所示：

8.根据权利要求7所述的一种对于色调映射图像的质量评价方法，其特征在于：同质性特征，用I_m表示同质性,其计算公式如下所示：

9.根据权利要求3所述的一种对于色调映射图像的质量评价方法，其特征在于：所述局部特征包含基本原始结构信息特征，其具体步骤是：

首先使用高斯型拉普拉斯过滤器对色调映射图像进行过滤，高斯型拉普拉斯过滤器公式如下所示：

其中，Y(u，v，ω)是二维高斯函数，ω是比例因子，在此步骤中，共使用了5个不同的比例因子ω＝[0.5，1.0，2.4，4.8，9.6]，然后，在过滤图像中查找零交点，即二阶导等于零的位置，作为基本原始结构信息特征。