CN107767367A - 一种针对hdr图的无参考质量客观评价方法 - Google Patents

Abstract

本发明涉及一种针对HDR图的无参考质量客观评价方法，包括：计算失真图像的单拮抗反映图和双拮抗反应图；提取单拮抗反应的灰度共生矩阵特征和双拮抗反应的局部二值模式特征；利用上一步提取的失真图像特征与主观分数建立模型以预测图像质量。

Description

一种针对HDR图的无参考质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种无参考图像客观质量评价方法。

背景技术

自然界中，富含丰富的色彩信息，富含宽泛的亮度范围。为能更好地捕捉和呈现这种自然场景在多媒体上，一种新的成像技术(高动态HDR,high dynamic range)慢慢地发展起来。HDR极大地保留了原始自然图像之中的亮度范围使观看效果更加逼真。然而，特定的HDR显示屏非常昂贵，目前并未实现平民化。因此，如何将HDR图呈现在标准的显示屏上是一个头疼的问题。现阶段，越来越多的算法开始被报道，用于将HDR图转化为普通显示屏能够播放的图片格式(256级灰度范围)。然而，这些操作不可避免的造成了图像的失真。而如何有效地评价这些图像的质量是一个亟待解决的问题。

图像质量评价方法分为主观质量评价和客观质量评价。主观质量评价方法虽然最大程度地反应了观看者的感受，但是其耗时费力，因此并不是最佳的评价方案。客观质量评价方法根据失真图像的属性，提取能够反应失真程度的特征，建立数学模型评价图像质量。客观质量评价方法根据是否有参考图像，分为全参考图像质量评价方法，半参考图像质量评价方法和无参考图像质量评价方法。考虑到在实际应用中，参考图像的信息很难获得，无参考质量评价方法更具有研究和应用价值。

发明内容

本发明的主旨是提供一种无参考图像客观质量评价方法,以实现自动评价HDR图转化为普通图片产生的失真。技术方案如下：

一种针对HDR图的无参考质量客观评价方法，包括以下步骤：

1)计算失真图像的单拮抗反映图和双拮抗反应图

首先，将失真图像分解成R、G、B三个颜色分量；其次，模拟大脑细胞的拮抗特征对三个颜色分量经过Gabor滤波处理并线性求和生成四对单拮抗反应S(S_R±G,S_R±C,S_Y±B,S_Wh±Bl表示具体的四个拮抗反应；角标R±B,R±C,Y±B,Wh±Bl用于对四个拮抗反应进行区分：

G_H＝H·g(x,y,σ,λ,ψ),H∈{R,G,B}

式中，R,G,B表示图像I的三个分量，H用于表示三个颜色分量其中的一个；G_R,G_G,G_B分别表示三个颜色通道经过Gabor滤波后的结果；·表示相乘；g(x,y,σ,λ,ψ)表示二维Gabor函数，x,y表示坐标信息，σ、λ、为Gabor函数的参数，用于控制Gabor函数的形状、周期和频率信息；进一步对单拮抗反应进行归一化处理，得到归一化后的单拮抗反应κ，c表示对四种拮抗反应的索引：

式中，表示取正处理后的单拮抗反应；δ和k为常数，∑是求和符号；

最后，通过对单拮抗反应与Gabor函数进行相乘获得双拮抗反应：

式中D(RB)表示R±B拮抗反应，其他三个拮抗反应(R±C,Y±B,Wh±Bl)同理求得。

2)提取单拮抗反应的灰度共生矩阵特征和双拮抗反应的局部二值模式特征

应用灰度共生矩阵的对比度、能量和同质性提取单拮抗反应的纹理特征，应用局部二值模式提取双拮抗反应的结构信息

3)利用上一步提取的失真图像特征与主观分数建立模型以预测图像质量

所有失真图像分为训练集和测试集，将从训练集中失真图像提取到的上述特征与相应主观分数值输入到支持向量回归(SVR)中构建特征向量与主观评分值之间的映射关系进行训练，得到训练模型，再利用得到的关系模型对测试集图像的质量进行预测，从而实现图像质量评价。

本发明利用无参考评价手段，为HDR图转化后的普通图的质量起到了很好的评估效果，将为相应的转化算法起到指导作用，对工业HDR技术的发展起到了推动作用。

具体实施方式

本发明提出的一种针对HDR图转化为普通图产生的失真的无参考图像质量客观评价方法。本发明提出的算法又可分为两个阶段，训练阶段和测试阶段。训练阶段中，首先对训练图的特征进行提取；其次，利用SVR建立提取的特征与主观评分值(MOS,mean opinionscore)的映射关系。在测试阶段中，首先对测试图的特征进行提取；其次，将提取的特征输入到训练阶段获得的网络之中，得到测试图像的预测质量分数。

下面对本发明提出的算法进行详细地说明：

1)图像分解

彩色信息的加工会经过视网膜、外侧膝状体及初级视觉皮层区域。在视网膜上，存在大量的细胞，其中L,M,S细胞对图像的R,G,B分量分别敏感。基于此，本发明首先模拟视网膜加工机制，将彩色图像I分解成三个分量：

G_H＝H·g(x,y,σ,λ,ψ),H∈{R,G,B} (1)

式中，R,G,B表示图像I的三个分量，H用于表临时示对三个颜色分量其中的一个；g(x,y,σ,λ,ψ)表示二维Gabor函数，定义为：

其中γ用于控制Gabor函数的形状，表示中心频率，σ表示感受野的大小，λ控制周期；θ是旋转角度。本发明设置γ＝0.3，λ＝5.64，σ＝4.51，此外，λ＝2R_f/3:9，σ＝λ·0.8，其中R_f表示感受野的大小，本发明将其设置为11×11.

其次，在外侧膝状体存在单拮抗细胞，将彩色信息的三个通道通过线性相加加工成四对单拮抗反应：

式中，S_R±G,S_R±C,S_Y±B,S_Wh±Bl表示具体的四个拮抗反应；G_R,G_G,G_B分别表示三个颜色通道经过Gabor滤波后的结果；“+”(“-”)表示大脑信息加工的兴奋和抑制反应。此外，我们进一步对单拮抗反应进行归一化处理：

式中，表示取正处理后的单拮抗反应，本发明中分别设置常数δ和k为1和0.0225，∑是求和符号。

最后，模拟初级视觉皮层上双拮抗细胞的功能。双拮抗细胞的反应可以由单拮抗细胞的反应与Gabor函数滤波获得(以R±B拮抗反应为例)：

式中D(RB)表示R±B拮抗反应。通过公式(3)的操作，可以获得八个单拮抗反应特征图，通过公式(4)可以获得四个双拮抗特征图。

2)特征提取

研究表明，单拮抗反应在一定程度上表征了物体的表面信息。因此，本发明中我们应用灰度共生矩阵的三个特征(对比度、能量和同质性)来提取纹理特征。其中，对比度的定义如下：

式中P_d,Θ(i,j)表示元素m_d,Θ(i,j)在矩阵M_d,Θ(i,j)中的概率(M_d,Θ(i,j)为提取的灰度共生矩阵，d表示GLCM计算的步长，Θ表示计算方向),其定义为:

能量定义为：

同质性定义为：

G_H＝P_d,Θ(i,j)/(1+|i-j-2|) (9)

式中，i,j表示GLCM矩阵的横纵坐标，其范围为[1,L]，L为灰度共生矩阵的最大值。本发明中Θ设置为四个方向(0°，45°，90°和135°)，L设置为8，d设置为1.

研究表明，双拮抗反应在一定程度上反应了图像的结构信息。本发明中，应用LBP提取双拮抗反应的结构信息，LBP定义如下：

式中P表示采样点的数量，R表示操作半径，I(n_c),I(n_i)分别表示中心点n_c及其周围采样点n_i处的灰度值。s(·,·)表示阈值函数，定义如下：

为降低LBP的种类，本发明中采用了旋转不变统一模式的LBP算子。此外，本发明中P设置为8，R设置为1.

通过对8个单拮抗反应图和4个双拮抗反应图特征提取，本发明一共提取了184个特征。

3)图像质量评价

本发明所提出的无参考图像质量评价算法分为两部分，训练部分和测试部分。在训练部分中，首先对训练图进行特征提取(详细部分请参考2))；然后，对提取的图像特征和其对应主观评分值应用SVR进行训练网络。在测试部分，首先对测试图的特征进行提取，然后将提取的图像特征输入到已训练好的网络中，输出预测的质量分数。

为了证明本发明的有效性和可行性，在TMID图像库进行测试，利用本发明方法获得失真图像的客观质量分数，计算本方法的客观质量预测分数与主观评价分数之间的相关性。利用评估图像质量评价方法的2个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rank order correlation coefficient，SROCC)。PLCC和SROCC值越高说明客观评价方法的客观评价结果与平均主观评分差值相关性越好。实验结果表明，本发明的算法可以得到0.8243的PLCC值和0.7321的SRCC值。

Claims (1)

1.一种针对HDR图的无参考质量客观评价方法，包括以下步骤：

1)计算失真图像的单拮抗反映图和双拮抗反应图

首先，将失真图像分解成R、G、B三个颜色分量；其次，模拟大脑细胞的拮抗特征对三个颜色分量经过Gabor滤波处理并线性求和生成四对单拮抗反应S(S_R±G,S_R±C,S_Y±B,S_Wh±Bl表示具体的四个拮抗反应；角标R±B,R±C,Y±B,Wh±Bl用于对四个拮抗反应进行区分：

G_H＝H·g(x,y,σ,λ,ψ),H∈{R,G,B}

式中，R,G,B表示图像I的三个分量，H用于表示三个颜色分量其中的一个；G_R,G_G,G_B分别表示三个颜色通道经过Gabor滤波后的结果；·表示相乘；g(x,y,σ,λ,ψ)表示二维Gabor函数，x,y表示坐标信息，σ、λ、为Gabor函数的参数，用于控制Gabor函数的形状、周期和频率信息；进一步对单拮抗反应进行归一化处理，得到归一化后的单拮抗反应κ，c表示对四种拮抗反应的索引：

式中，表示取正处理后的单拮抗反应；δ和k为常数，∑是求和符号；

最后，通过对单拮抗反应与Gabor函数进行相乘获得双拮抗反应：

式中D(RB)表示R±B拮抗反应，其他三个拮抗反应(R±C,Y±B,Wh±Bl)同理求得。

2)提取单拮抗反应的灰度共生矩阵特征和双拮抗反应的局部二值模式特征

应用灰度共生矩阵的对比度、能量和同质性提取单拮抗反应的纹理特征，应用局部二值模式提取双拮抗反应的结构信息

3)利用上一步提取的失真图像特征与主观分数建立模型以预测图像质量

所有失真图像分为训练集和测试集，将从训练集中失真图像提取到的上述特征与相应主观分数值输入到支持向量回归(SVR)中构建特征向量与主观评分值之间的映射关系进行训练，得到训练模型，再利用得到的关系模型对测试集图像的质量进行预测，从而实现图像质量评价。