CN109218716A - 基于色彩统计和信息熵无参考色调映射图像质量评价方法 - Google Patents

Abstract

本发明属于图像处理领域，为提出一种结合色彩统计特征和信息熵特征的无参考评价方法。为此，本发明采取的技术方案是，基于色彩统计和信息熵无参考色调映射图像质量评价方法，步骤如下：第一步，数据准备；第二步，色彩统计特征提取，主要包括以下三个步骤：(1)颜色通道分解；(2)对(1)中通道进行除法归一化运算，得到各自的颜色归一化系数；(3)参数拟合；第三步，信息熵特征提取；第四步，质量预测。对测试集进行特征提取，输入到训练好的模型中，预测测试图的质量分数。本发明主要应用于图像处理场合。

Description

基于色彩统计和信息熵无参考色调映射图像质量评价方法

技术领域

本发明属于图像处理领域，尤其是色调映射图像的质量评价。具体讲,涉及基于色彩统计和信息熵无参考色调映射图像质量评价方法。

背景技术

图像质量评价(Image Quality Assessment,IQA)是图像处理领域的研究热点，主要分为主观质量评价和客观质量评价，主观评价需要庞大的被试数量、苛刻的实验环境和较长的时间支出，因此不常采用。客观质量评价方法是研究的一大趋势，主要分为全参考(Full Reference,FR)、半参考(Reduced Reference,RR)和无参考(No Reference,NR)三种类型。近年来，随着显示技术的发展，人们对日常的显示设备有着比较高的要求，真实场景到显示设备的转换还存在诸多问题，其中一个比较突出的问题就是色调映射。色调映射旨在将高动态范围的场景映射到低动态范围的显示设备上，尽量减少场景色彩和细节的丢失，因此，涌现出了大量色调映射算法。针对色调映射算法处理的图像质量评价问题，前人做出了很多贡献，但是色调映射图像质量评价仍有很大的提升空间。本发明结合色调映射图像的色彩统计特征和信息熵特征，提出了高效的无参考质量评价方法，对解决色调映射图像的质量评价问题提供了可行的方案。

发明内容

为克服现有技术的不足，本发明旨在针对色调映射图像质量评价问题，提出一种结合色彩统计特征和信息熵特征的无参考评价方法。为此，本发明采取的技术方案是，基于色彩统计和信息熵无参考色调映射图像质量评价方法，步骤如下：

第一步，数据准备，选择ESPL-LIVE HDR Database作为数据集，总计1811张色调映射图像，将数据库80％的数据作为训练集，剩余20％作为测试集；

第二步，色彩统计特征提取，主要包括以下三个步骤：(1)颜色通道分解，对LMS，Lab，YCbCr和RGB空间进行颜色通道分解和构造，对分解的LMS通道取对数运算，对分解的RGB通道构造新的颜色通道；(2)对(1)中通道进行除法归一化运算，得到各自的颜色归一化系数；(3)参数拟合，用广义高斯分布和非对称广义高斯拟合颜色归一化系数的统计分布，取拟合参数记为色彩统计特征f_C；

第三步，信息熵特征提取，取{1,1/2,1/4,1/8,1/16}五个尺度大小的灰度图进行熵计算，记熵特征为f_H；

第四步，质量预测，将训练集的特征[f_C f_H]和相关的主观质量分数送入支持向量回归模型中训练，得到一个质量评价模型。然后对测试集进行特征提取，输入到训练好的模型中，预测测试图的质量分数。

验证步骤，采用四种衡量客观图像质量的指标，首先通过逻辑回归函数减少预测非线性误差的影响，然后比较预测的质量分数和主观质量分数的相关性，分析结果。

第二步，色彩统计特征提取具体地，

1)颜色通道分解

LMS空间比较符合人眼视觉特性，通过下式转换得到：

将分解的LMS通道进行对数运算，使之更加符合人眼对色彩的感知：

Lab颜色空间中的L分量用于表示像素的亮度，a表示从红色到绿色的范围，b表示从黄色到蓝色的范围，对于RGB图像，先将其转换到XYZ空间，再将XYZ空间转换为Lab空间：

其中，M与成像印件系统的色度学特性有关，Xn，Yn，Zn是白光条件下的刺激值；

YCbCr颜色空间中，Y表示图像的亮度信息，Cb和Cr分别表示蓝色和红色分量，

从RGB颜色空间中构建黄色通道，记为Y：

2)除法归一化

给定一张MxN大小的图像I，经过除法归一化运算，它的颜色归一化系数表示为：

其中，I(i,j)表示位置(i,j)处的像素值，ω＝{ω_h,w|h＝-H,...,H；w＝-W,...,W}表示2D高斯窗函数，H和W表示图像的高度和宽度，取值为3x3的像素块；

对LMS颜色空间的L’，M’，S’通道，Lab颜色空间的a，b通道，YCbCr颜色空间的Cb，Cr通道以及RGB空间的Y通道进行除法归一化运算，记归一化的通道为

3)参数拟合

零均值的广义高斯分布GGD表示如下：

公式(11)中，x表示颜色归一化系数，α和σ²表示分布的形状和变化参数，拟合颜色归一化系数的两个参数为[α,σ]；

非对称广义高斯分布AGGD模型表示为：

其中，参数v控制分布的形状，η表示分布的均值，σ_l ²,σ_r ²是表示左右方差的参数，拟合颜色归一化系数的三个参数为[v,σ_l,σ_r]；

针对归一化后的LMS通道，构造蓝黄(BY)和红绿(RG)颜色通道：

进而，将C中替换为BY和RG，替换后的颜色通道分为两组，分别为和C_GGD＝Y，将C_AGGD和C_GGD中的图像颜色分量分别用AGGD和GGD拟合，其拟合参数记为色彩统计特征f_C。

第三步，信息熵特征提取具体地，采用熵来度量色调映射图像的信息量：

其中,H(I)表示图像的信息熵，P_l(I)表示第l个灰度级上的概率密度，将一张灰度图像进行尺寸缩放，尺寸因子为{1,1/2,1/4,1/8,1/16}，提取五个尺度上的信息熵，记为f_H；

将总的特征记作F，F＝[f_C f_H]。

本发明的特点及有益效果是：

本发明提取了色调映射图像色彩统计特征和信息熵特征，融合两种特征进行训练，得到一个质量评价模型。实验结果表明，该模型具有高效的性能，预测的客观质量分数与人眼的主观评分有很高的一致性。

附图说明：

图1本发明框图。

具体实施方式

本发明提出了一种无参考色调映射图像质量评价方法，具体包括以下步骤：

第一步，数据准备。选择ESPL-LIVE HDR Database作为数据集，总计1811张色调映射图像，将数据库80％的数据作为训练集，剩余20％作为测试集。

第二步，色彩统计特征提取。主要包括以下三个步骤：(1)颜色通道分解，对LMS，Lab，YCbCr和RGB空间进行颜色通道分解和构造，对分解的LMS通道取对数运算，对分解的RGB通道构造新的颜色通道；(2)对(1)中通道进行除法归一化运算，得到各自的颜色归一化系数；(3)参数拟合，用广义高斯分布和非对称广义高斯拟合颜色归一化系数的统计分布，取拟合参数记为色彩统计特征f_C。

第三步，信息熵特征提取。取{1,1/2,1/4,1/8,1/16}五个尺度大小的灰度图进行熵计算，记熵特征为f_H。

第四步，质量预测。将训练集的特征[f_C f_H]和相关的主观质量分数送入支持向量回归模型中训练，得到一个质量评价模型。然后对测试集进行特征提取，输入到训练好的模型中，即可预测测试图的质量分数。

第五步，算法性能。采用四种衡量客观图像质量的指标，首先通过逻辑回归函数减少预测非线性误差的影响，然后比较预测的质量分数和主观质量分数的相关性，分析本发明的优良性能。

第一步，数据准备。

本发明选取ESPL-LIVE HDR Database作为数据集来验证算法的有效性。ESPL-LIVE HDR Database总计1811张色调映射图像，处理的方法主要包括色调映射算子，多曝光融合算法以及软件后期处理。将整个数据集分为训练集和测试集，其中80％用于训练，剩余的用作测试数据。

第二步，色彩统计特征提取

4)颜色通道分解

LMS空间比较符合人眼视觉特性，可以通过下式转换得到：

将分解的LMS通道进行对数运算，使之更加符合人眼对色彩的感知。

Lab是一种设备无关的颜色系统，它接近于人眼对颜色的感知。Lab颜色空间中的L分量用于表示像素的亮度，a表示从红色到绿色的范围，b表示从黄色到蓝色的范围。对于RGB图像，先将其转换到XYZ空间，再将XYZ空间转换为Lab空间：

其中，M与成像印件系统的色度学特性有关，Xn，Yn，Zn是白光条件下的刺激值，一般Xn，Yn，Zn分别为95.047，100.0，108.883。

YCbCr颜色空间中，Y表示图像的亮度信息，Cb和Cr分别表示蓝色和红色分量。亮度信息和色度信息相互独立，Cb和Cr分量不受亮度的影响。

从RGB颜色空间中构建黄色通道，记为Y：

5)除法归一化

给定一张MxN大小的图像I，经过除法归一化运算，它的颜色归一化系数可以表示为：

其中，I(i,j)表示位置(i,j)处的像素值，ω＝{ω_h,w|h＝-H,...,H；w＝-W,...,W}表示2D高斯窗函数，H和W表示图像的高度和宽度，取值为3x3的像素块。

对LMS颜色空间的L’，M’，S’通道，Lab颜色空间的a，b通道，YCbCr颜色空间的Cb，Cr通道以及RGB空间的Y通道进行除法归一化运算，记归一化的通道为

6)参数拟合

颜色归一化系数的统计特性会随着失真的存在而改变，广义高斯分布(Generalized Gaussian Distribution,GGD)和非对称广义高斯分布(AsymmetricGeneralized Gaussian Distribution,AGGD)可以很好拟合颜色归一化系数的统计特征。

零均值的GGD可以表示如下：

公式(29)中，x表示颜色归一化系数，α和σ²表示分布的形状和变化参数，拟合颜色归一化系数的两个参数为[α,σ]。

AGGD模型可以表示为：

其中，参数v控制分布的形状，η表示分布的均值，σ_l ²,σ_r ²是表示左右方差的参数，拟合颜色归一化系数的三个参数为[v,σ_l,σ_r]。

针对归一化后的LMS通道，构造蓝黄(BY)和红绿(RG)颜色通道：

进而，将C中替换为BY和RG，替换后的颜色通道分为两组，分别为和C_GGD＝Y，将C_AGGD和C_GGD中的图像颜色分量分别用AGGD和GGD拟合，其拟合参数记为色彩统计特征f_C。

第三步，信息熵特征提取

本发明采用熵来度量色调映射图像的信息量：

其中,H(I)表示图像的信息熵，P_l(I)表示第l个灰度级上的概率密度。将一张灰度图像进行尺寸缩放，尺寸因子为{1,1/2,1/4,1/8,1/16}，提取五个尺度上的信息熵，记为f_H。

将总的特征记作F，F＝[f_C f_H]。

第四步，质量预测

经过特征提取，获得了色彩统计和信息熵特征，采用支持向量回归(SupportVector Regression,SVR)算法，将高维特征转化到客观质量分数上。具体地，结合附图1，将训练集的主观质量分数和提取的特征F送入SVR中进行训练，得到一个客观质量评价模型。对测试集同样进行特征提取操作，将特征向量输入训练好的模型中，从而预测出测试集图片的质量分数。

第五步，算法性能

为了验证本发明所提出方法的有效性，本发明选择了四个国际上常用的图像质量算法评估指标，分别是皮尔森线性相关系数(Pearson Linear Correlation Coefficient,PLCC)、斯皮尔曼秩相关系数(Spearman Rank-order Correlation Coefficient,SRCC)、肯德尔秩相关系数(Kendall’s Rank Correlation Coefficient,KRCC)和均方根误差(RootMean Squared Error,RMSE)。如果IQA算法性能越好，那么相应的PLCC、SRCC和KRCC的值就会越接近于1，RMSE的值越接近于0，说明算法客观评价图像的质量分数与人眼主观评分比较一致。

预测质量分数时，为了避免非线性的影响，在计算PLCC和RMSE前使用五参数逻辑回归函数来减少这种影响：

其中，q是输入的客观质量分数，Q是经逻辑函数运算后得到的质量分数，{λ₁,λ₂,λ₃,λ₄,λ₅}是逻辑回归函数的参数。

将训练集、测试集随机分割1000次，并取1000次测试结果的中间值作为最终结果，性能见表1。

表1算法性能

如表1所示，可以看出，本发明所提出的无参考图像质量评估方法有比较大的PLCC、SRCC和KRCC值，同时RMSE也比较小，表明所提出的算法与人眼主观判断图像的质量有很高的一致性，因此可以作为一个优秀的图像质量评价模型。只要给定一张测试图，输入到训练好的模型中，经过特征提取，就可以预测其质量分数，且实验结果表明预测分数与主观分数有比较高的一致性。

Claims (3)

1.一种基于色彩统计和信息熵无参考色调映射图像质量评价方法，其特征是，步骤如下：

第一步，数据准备，选择ESPL-LIVE HDR Database作为数据集，总计1811张色调映射图像，将数据库80％的数据作为训练集，剩余20％作为测试集；

第二步，色彩统计特征提取，包括以下三个步骤：(1)颜色通道分解，对LMS，Lab，YCbCr和RGB空间进行颜色通道分解和构造，对分解的LMS通道取对数运算，对分解的RGB通道构造新的颜色通道；(2)对(1)中通道进行除法归一化运算，得到各自的颜色归一化系数；(3)参数拟合，用广义高斯分布和非对称广义高斯拟合颜色归一化系数的统计分布，取拟合参数记为色彩统计特征f_C；

第三步，信息熵特征提取，取{1,1/2,1/4,1/8,1/16}五个尺度大小的灰度图进行熵计算，记熵特征为f_H；

第四步，质量预测，将训练集的特征[f_C f_H]和相关的主观质量分数送入支持向量回归模型中训练，得到一个质量评价模型。然后对测试集进行特征提取，输入到训练好的模型中，预测测试图的质量分数。

2.如权利要求1所述的基于色彩统计和信息熵无参考色调映射图像质量评价方法，其特征是，还包括验证步骤，采用四种衡量客观图像质量的指标，首先通过逻辑回归函数减少预测非线性误差的影响，然后比较预测的质量分数和主观质量分数的相关性，分析结果。

3.如权利要求1所述的基于色彩统计和信息熵无参考色调映射图像质量评价方法，其特征是，第二步，色彩统计特征提取具体地：

1)颜色通道分解

LMS空间比较符合人眼视觉特性，通过下式转换得到：

将分解的LMS通道进行对数运算，使之更加符合人眼对色彩的感知：

Lab颜色空间中的L分量用于表示像素的亮度，a表示从红色到绿色的范围，b表示从黄色到蓝色的范围，对于RGB图像，先将其转换到XYZ空间，再将XYZ空间转换为Lab空间：

其中，M与成像印件系统的色度学特性有关，Xn，Yn，Zn是白光条件下的刺激值；

YCbCr颜色空间中，Y表示图像的亮度信息，Cb和Cr分别表示蓝色和红色分量，

从RGB颜色空间中构建黄色通道，记为Y：

2)除法归一化

给定一张M x N大小的图像I，经过除法归一化运算，它的颜色归一化系数表示为：

其中，I(i,j)表示位置(i,j)处的像素值，ω＝{ω_h,w|h＝-H,...,H；w＝-W,...,W}表示2D高斯窗函数，H和W表示图像的高度和宽度，取值为3x 3的像素块；

对LMS颜色空间的L’，M’，S’通道，Lab颜色空间的a，b通道，YCbCr颜色空间的Cb，Cr通道以及RGB空间的Y通道进行除法归一化运算，记归一化的通道为

3)参数拟合

零均值的广义高斯分布GGD表示如下：

公式(11)中，x表示颜色归一化系数，α和σ²表示分布的形状和变化参数，拟合颜色归一化系数的两个参数为[α,σ]；

非对称广义高斯分布AGGD模型表示为：

其中，参数v控制分布的形状，η表示分布的均值，σ_l ²,σ_r ²是表示左右方差的参数，拟合颜色归一化系数的三个参数为[v,σ_l,σ_r]；

针对归一化后的LMS通道，构造蓝黄(BY)和红绿(RG)颜色通道：

进而，将C中替换为BY和RG，替换后的颜色通道分为两组，分别为和C_GGD＝Y，将C_AGGD和C_GGD中的图像颜色分量分别用AGGD和GGD拟合，其拟合参数记为色彩统计特征f_C。

第三步，信息熵特征提取具体地，采用熵来度量色调映射图像的信息量：

其中,H(I)表示图像的信息熵，P_l(I)表示第l个灰度级上的概率密度，将一张灰度图像进行尺寸缩放，尺寸因子为{1,1/2,1/4,1/8,1/16}，提取五个尺度上的信息熵，记为f_H；

将总的特征记作F，F＝[f_C f_H]。