CN109919959B - 基于色彩、自然性及结构的色调映射图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于色彩、自然性及结构的色调映射图像质量评价方法，包括以下步骤：图像色彩特征提取：给定一张色调映射图像I，将RGB颜色空间变换到对立颜色空间之后计算全局图像色彩，提取图像全局色彩特征；在图像块上计算图像对比度的均值和方差以提取图像局部色彩特征；图像自然性特征提取；图像结构特征提取：对于图像I，使用双阈值Canny边缘检测器获取边缘信息，计算细节和基本结构之间的比值，以该比值平均值作为第一种图像结构特征；通过对图像I采取变暗或变亮操作获得“伪”TM图像，提取第二种图像结构特征；图像质量评价。

Description

基于色彩、自然性及结构的色调映射图像质量评价方法

技术领域

本发明属于图像处理领域，尤其是涉及一种色调映射图像的无参考质量评价方法。

背景技术

自然场景中的动态范围很广，并且具有很大的跨越性。以其原始动态范围生动地描述自然场景是图像显示领域不懈努力的目标。高动态范围(HDR)图保留了丰富的细节，如何将HDR图像在低动态范围(LDR)显示器上可视化是大规模应用HDR图像的一大障碍。为了解决这个问题，色调映射算子(TMO)应运而生，其将HDR图像映射为LDR图像。随着动态范围的压缩，由此产生的失真不可避免，从而带来恼人的感知体验。目前没有一种通用的TMO能够有效处理所有图像，尤其缺少无参考图像质量评价方法，因此需要一种有效的图像质量评价方法促进TMO的改进。本发明分析了色调映射(TM)图像的失真特点，基于色彩、自然性及结构特征，提出一种无参考图像质量评价方法。本发明首次从多角度综合提出TM图像的图像质量评价方法。

发明内容

本发明针对TM图像的失真特点，提出一种无参考TM图像质量评价方法，该方法与主观评价分数有着较高的一致性。技术方案如下：

一种基于色彩、自然性及结构的色调映射图像质量评价方法，包括以下步骤：

(1)图像色彩特征提取

给定一张色调映射图像I，首先将RGB颜色空间变换到对立颜色空间K₁K₂，K₁是红-绿通道，K₂表示黄-蓝通道，之后计算全局图像色彩，提取图像全局色彩特征；在图像块上计算图像对比度的均值和方差以提取图像局部色彩特征，将这两种图像色彩特征向量记作F₁。

(2)图像自然性特征提取

对于图像I，应用自然场景统计NSS模型，获得去均值对比度归一化MSCN系数；应用零均值广义高斯分布模型获取更广泛的失真图像统计数据，即获取用以确定分布的形状和方差的第一种质量敏感特征；计算图像对比度及梯度，应用双参数韦伯函数拟合梯度幅度图，提取对局部边缘空间频率敏感的形状参数和反应局部对比度的参数作为第二种质量敏感特征，将由两种质量敏感特征构成的图像自然性特征向量记作F₂。

(3)图像结构特征提取

1)对于图像I，使用双阈值Canny边缘检测器获取边缘信息，计算细节和基本结构之间的比值，以该比值平均值作为第一种图像结构特征；

2)通过对图像I采取变暗或变亮操作获得“伪”TM图像，计算“伪”TM图像与I的梯度相似度，并计算二者之间的显著相似性，将梯度和显著相似性结合产生联合相似性特征，同时提取并整合“伪”TM图像与I的全局和局部熵，作为第二种图像结构特征，将两种图像结构特征向量记作F₃。

(4)图像质量评价

图像特征向量F＝{F₁,F₂,F₃}，采用基于学习的方法，将提取得到的特征输入到支持向量回归SVR中获得训练模型，输入测试图像得到最终的质量评价结果。

本发明提出的TM图像的质量评价方法，不需要参考图像的介入，可以有效地评价TM 图像质量。

附图说明

图1算法框架

具体实施方式

本发明提出一种无参考TM图像质量评价方法，框架如图1所示。

(1)图像色彩特征提取

给定一张图像I，首先将其从RGB颜色空间转换到对立颜色空间K₁K₂：K₁是红-绿通道，K₂表示黄-蓝通道。之后计算全局图像色彩：

其中，

表示两个对立颜色空间的方差和均值。|·|表示绝对值操作。

在图像块上提取图像对比度：

其中M，N表示图像块的大小；I_max,m,n和I_min,m,n分别表示图像块中的像素最大值和最小值。通过基于块的对比度均值和方差来估计局部图像的色彩。

(2)图像自然性特征提取

对于尺度为W×H的图像I，应用自然场景统计(NSS)模型，计算去均值对比度归一化(MSCN)系数：

其中μ_I(i,j)和σ_I(i,j)代表由(2P+1)×(2Q+1)个像素包围的第(i,j)个像素的平均值和标准偏差；P和Q确定计算中考虑的大小。ω＝{ω_p,q|p＝-P,-P+1,...,P-1,P；q＝-Q,-Q+1,...,Q-Q,Q}表示2D圆形对称卷积窗口，本发明中采用7×7的二维高斯核。

利用零均值广义高斯分布获得失真图像更多的统计规律：

其中参数α和δ²分别确定分布的形状和方差。κ是MSCN系数。在本发明中，我们将α和δ²作为质量敏感特征。

计算图像对比度及梯度，梯度幅度G计算如下：

其中

是卷积操作；p_x和p_y是水平和垂直方向的滤波核函数。在本发明中，应用Prewitt 滤波器。

使用双参数韦伯函数拟合梯度幅度图，双参数韦伯函数的概率密度函数为：

其中x表示梯度值；γ是形状参数，控制分布的峰值；λ决定分布的宽度，反映局部对比度。本发明提取γ和λ作为质量敏感特征用来TM图像的质量评价。

(3)图像结构特征提取

使用双阈值Canny边缘检测器提取边缘信息，并计算细节与基本结构之间的比率：

其中，E_h和E_l表示有高和低阈值获得的边缘图。R_e的平均值被作为质量敏感特征。

给定TM图像I，创新性地提出：使其变暗和变亮以获得一组衍生的“伪”TM图像：

I_t＝I·M (12)

其中，

表示乘数。从一个TM图像生成n个图像。然后计算原始TM图像和生成图像之间的梯度相似度：

其中C₁＝(0.01L)²，是为了保持稳定的常数。L＝255是动态范围。

计算原始TM图像及“伪”TM图像之间的显著性相似性VS_S，将其与梯度相似度结合生成“联合相似性”J_S：

J_s(i,j)＝G_S(i,j)·VS_S(i,j) (14)

将J_S的平均值计算为一个特征。提取TM图像及其派生版本的全局和局部熵来量化信息，整合后作为特征之一。

(4)图像质量评价

用LIBSVM包实现SVR，将高维向量映射到低维空间，得到训练模型，输入测试图像后可获得相应图像质量分数。假设参数ε>0，t>0，SVR的标准形式为：

其中υ和

是松弛变量，b是偏置参数，x_i是第i幅图像的50维特征向量，y_i是它对应的主观排序。Z是训练样本的数量。K(x_i,x_j)≡Φ(x_i)^TΦ(x_j)是非线性变换的核函数_。

为了验证算法有效性，本发明选择ESPL-LIVEHDR数据库进行验证。该数据库包含1811幅图像。

为了检验图像质量评价算法的性能，采用斯皮尔曼秩相关系数(SRCC)、肯德尔秩相关系数(KRCC)、均方根误差(RMSE)和皮尔森线性相关系数(PLCC)作为评估准则。SRCC、PLCC和KRCC值越接近于1，RMSE越小，表明本发明提出的算法具有更好的性能，和主观打分一致性越高。

实验结果表明本发明能够取得SRCC＝0.7356，PLCC＝0.7422，KRCC＝0.5365，RMSE＝6.7127。说明本方法的客观质量评价预测值与主观评分之间的相关性高，表明本发明方法与人眼视觉系统有较好的一致性。

Claims (2)

1.一种基于色彩、自然性及结构的色调映射图像质量评价方法，包括以下步骤：

(1)图像色彩特征提取

给定一张色调映射图像I，首先将RGB颜色空间变换到对立颜色空间K₁K₂，K₁是红-绿通道，K₂表示黄-蓝通道，之后计算全局图像色彩，提取图像全局色彩特征；在图像块上计算图像对比度的均值和方差以提取图像局部色彩特征，将这两种图像色彩特征向量记作F₁；

(2)图像自然性特征提取

对于图像I，应用自然场景统计NSS模型，获得去均值对比度归一化MSCN系数；应用零均值广义高斯分布模型获取失真图像统计数据，即获取用以确定分布的形状和方差的第一种质量敏感特征；计算图像对比度及梯度，应用双参数韦伯函数拟合梯度幅度图，提取对局部边缘空间频率敏感的形状参数和反应局部对比度的参数作为第二种质量敏感特征，将由两种质量敏感特征构成的图像自然性特征向量记作F₂；

(3)图像结构特征提取

1)对于图像I，使用双阈值Canny边缘检测器获取边缘信息，计算细节和基本结构之间的比值，以该比值平均值作为第一种图像结构特征；

2)通过对图像I采取变暗或变亮操作获得“伪”TM图像，计算“伪”TM图像与I的梯度相似度，并计算二者之间的显著相似性，将梯度和显著相似性结合产生联合相似性特征，同时提取并整合“伪”TM图像与I的全局和局部熵，作为第二种图像结构特征，将两种图像结构特征向量记作F₃；

(4)图像质量评价

图像特征向量F＝{F₁,F₂,F₃}，采用基于学习的方法，将提取得到的特征输入到支持向量回归SVR中获得训练模型，输入测试图像得到最终的质量评价结果。

2.根据权利要求1所述的方法，其特征在于，步骤(3)中的“伪”TM图像可表示为I_t＝I·M，其中，

从一个TM图像生成n个图像。

Images