CN102142145A - 一种基于人眼视觉特性的图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于人眼视觉特性的图像客观质量评价方法，利用图像梯度的幅值信息，结合人眼视觉系统的对比敏感度函数的带通特性和亮度敏感度特性，对失真图像的梯度相位信息失真程度进行视觉加权，以加权失真程度反映图像的质量变化，优点在于考虑了失真图像梯度相位信息改变对其质量的影响，并结合梯度幅值信息与人眼视觉特性，从而使得评价结果与人的主观感受较为一致，较好地反映了人眼的主观感知结果。

Description

一种基于人眼视觉特性的图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于人眼视觉特性的图像质量客观评价方法。

背景技术

图像质量是关系到图像处理性能的一个重要指标，因此图像质量评价方法研究是该领域的重要研究内容。由于图像的最终接受者是人，所以在评价图像质量时要充分考虑人眼视觉特性。传统的评价方法如PSNR等指标由于其计算复杂度低、数学意义清晰，在图像处理与编码等技术中得到了广泛应用。但传统的评价方法是基于像素误差统计的评价方法，没有充分地考虑像素间的相关性和人眼视觉特性，不能很好地反映人对图像的主观感受。

发明内容

本发明所要解决的技术问题是提供一种基于人眼视觉特性的图像质量客观评价方法，考虑失真图像梯度相位信息改变对其质量的影响，结合梯度幅值信息与人眼视觉特性，从而提高客观质量评价结果与人眼主观感知的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于人眼视觉特性的图像质量客观评价方法，其特征在于包括以下步骤：

①令{I_o(i，j)}表示尺寸为W×H的参考图像，{I_d(i，j)}表示尺寸为W×H的失真图像，0＜i≤W，0＜j≤H；计算参考图像中坐标位置为(i，j)的各个像素的亮度非线性敏感度L(i，j)，

②利用梯度算子计算参考图像的水平梯度图像{G_{x_o}(i，j)}和垂直梯度图像{G_{y_o}(i，j)}，其中，G_{x_o}(i，j)表示参考图像中坐标位置为(i，j)的像素I_o(i，j)的水平梯度，G_{y_o}(i，j)表示参考图像中坐标位置为(i，j)的像素I_o(i，j)的垂直梯度；计算参考图像中坐标位置为(i，j)的各个像素的视觉频率值f(i，j)，

其中，G_o(i，j)＝|G_{x_o}(i，j)|+|G_{y_o}(i，j)|，G_{o_max}(i，j)＝max{G_o(i，j)|0＜i≤W，0＜j≤H}和G_{o_min}(i，j)＝min{G_o(i，j)|0＜i≤W，0＜j≤H}；计算参考图像中坐标位置为(i，j)的各个像素的CSF频率响应值A(i，j)，

③根据参考图像像素(i，j)的梯度方向和幅值对参考图像进行量化编码，量化编码的具体方式如下：当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0000，记为相位1区；当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1000，记为相位2区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1100，记为相位3区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1110，记为相位4区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1111，记为相位5区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0111，记为相位6区；当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0011，记为相位7区；当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0001，记为相位8区；这里符号|·|表示取绝对值；

④利用梯度算子计算失真图像的水平梯度图像{G_{x_d}(i，j)}和垂直梯度图像{G_{y_d}(i，j)}，其中，G_{x_d}(i，j)表示失真图像中坐标位置为(i，j)的像素I_d(i，j)的水平梯度，G_{y_d}(i，j)表示失真图像中坐标位置为(i，j)的像素I_d(i，j)的垂直梯度，然后根据失真图像像素(i，j)的梯度方向和幅值对失真图像进行量化编码，量化编码的具体方式如下：当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0000，记为相位1区；当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1000，记为相位2区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1100，记为相位3区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1110，记为相位4区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1111，记为相位5区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0111，记为相位6区；当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0011，记为相位7区；当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0001，记为相位8区；

⑤计算参考图像和失真图像的各个像素的的汉明距离HD(i，j)，

其中，C_o(i，j)为参考图像坐标位置为(i，j)的像素的相位量化编码，C_d(i，j)为失真图像坐标位置为(i，j)的像素的相位量化编码，符号

表示异或；

⑥对失真图像进行客观质量评价，其最终评分IQA表示为：

$\mathrm{IQA}=\frac{\underset{i,j}{\mathrm{\Σ}}[A(i,j)\·L(i,j)\·\mathrm{HD}(i,j)]}{\underset{i,j}{\mathrm{\Σ}}[A(i,j)\·L(i,j)]}.$

与现有技术相比，本发明的优点在于考虑了失真图像梯度相位信息改变对其质量的影响，并结合梯度幅值信息与人眼视觉特性，从而使得评价结果与人的主观感受较为一致，较好地反映了人眼的主观感知结果。

附图说明

图1为对比度敏感函数(CSF)曲线；

图2为本发明方法的总体实现框图；

图3a为参考图像；

图3b为图3a所示参考图像的梯度幅值图像；

图3c为图3a所示参考图像的梯度幅值对比敏感度加权图像；

图4为LIVE图像质量评估数据库的29幅高分辨率的RGB原始图像；

图5为平均主观评分差值DMOS与本发明方法最终评分IQA进行非线性最小二乘拟合的结果。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明的基于人眼视觉特性的图像质量客观评价方法主要考虑了失真图像梯度相位信息改变对其质量的影响，而各个像素的权值的确定依据了图像的亮度非线性特征和如图1所示的人眼视觉特性的对比敏感度函数，图2给出了本发明方法的总体实现框图，具体包括以下步骤：

①令(I_o(i，j)}表示尺寸为W×H的参考图像，{I_d(i，j)}表示尺寸为W×H的失真图像，0＜i≤W，0＜j≤H；计算参考图像中坐标位置为(i，j)的各个像素的亮度非线性敏感度L(i，j)，这里需要说明的是，在采用本发明方法对彩色图像进行质量评价时，{I_o(i，j)}和{I_d(i，j)}分别指参考图像和失真图像的亮度分量，而采用本发明方法对灰度图像进行质量评价时，{I_o(i，j)}和{I_d(i，j)}分别指参考图像和失真图像本身。

②利用梯度算子计算参考图像的水平梯度图像{G_{x_o}(i，j)}和垂直梯度图像{G_{y_o}(i，j)}，其中，G_{x_o}(i，j)表示参考图像中坐标位置为(i，j)的像素I_o(i，j)的水平梯度，G_{y_o}(i，j)表示参考图像中坐标位置为(i，j)的像素I_o(i，j)的垂直梯度；计算参考图像中坐标位置为(i，j)的各个像素的视觉频率值f(i，j)，

其中，G_o(i，j)＝|G_{x_o}(i，j)|+|G_{y_o}(i，j)|，G_{o_max}(i，j)＝max{G_o(i，j)|0＜i≤W，0＜j≤H}和G_{o_min}(i，j)＝min{G_o(i，j)|0＜i≤W，0＜j≤H}；计算参考图像中坐标位置为(i，j)的各个像素的CSF频率响应值A(i，j)，

以图3a所示的参考图像为例，图3b所示图像为其梯度幅值图像{G_o(i，j)}，图3c则为图3a所示参考图像的梯度幅值对比敏感度加权图像{A(i，j)}。

③根据参考图像像素(i，j)的梯度方向和幅值对参考图像进行量化编码，量化编码的具体方式如下：当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0000，记为相位1区；当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1000，记为相位2区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1100，记为相位3区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1110，记为相位4区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1111，记为相位5区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0111，记为相位6区；当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0011，记为相位7区；当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0001，记为相位8区；这里符号|·|表示取绝对值。

④利用梯度算子计算失真图像的水平梯度图像{G_{x_d}(i，j)}和垂直梯度图像{G_{y_d}(i，j)}，其中，G_{x_d}(i，j)表示失真图像中坐标位置为(i，j)的像素I_d(i，j)的水平梯度，G_{y_d}(i，j)表示失真图像中坐标位置为(i，j)的像素I_d(i，j)的垂直梯度，然后根据失真图像像素(i，j)的梯度方向和幅值对失真图像进行量化编码，量化编码的具体方式如下：当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0000，记为相位1区；当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1000，记为相位2区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1100，记为相位3区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1110，记为相位4区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1111，记为相位5区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0111，记为相位6区；当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0011，记为相位7区；当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0001，记为相位8区。

⑤计算参考图像和失真图像的各个像素的的汉明距离HD(i，j)，其中，C_o(i，j)为参考图像坐标位置为(i，j)的像素的相位量化编码，C_d(i，j)为失真图像坐标位置为(i，j)的像素的相位量化编码，符号

表示异或。

⑥对失真图像进行客观质量评价，其最终评分IQA表示为：

$\mathrm{IQA}=\frac{\underset{i,j}{\mathrm{\Σ}}[A(i,j)\·L(i,j)\·\mathrm{HD}(i,j)]}{\underset{i,j}{\mathrm{\Σ}}[A(i,j)\·L(i,j)]}.$

在本实施例中，采用本发明的基于人眼视觉特性的图像质量客观评价方法所得最终评分IQA与人眼主观评价分数的相关性分析所用图像选自LIVE图像质量评估数据库，数据库中包括如图4所示的29幅高分辨率的RGB原始图像，失真类型包括JPEG2000压缩、JPEG压缩、白噪声、高斯模糊、比特流信道传输快速衰减失真等，共计779幅失真图像。该图像质量评估数据库还给出了每幅图像的DMOS(Difference Mean OpinionScores)值，DMOS值由观测者给出的原始分数经过处理后得到，该值越小的图像其主观质量越好。为了更好地比较本发明的图像客观质量评价方法的性能，本实施例采用3个常用客观参量作为评估的指标，即：非线性回归条件下的Pearson相关系数(CorrelationCoefficient，CC)、Spearman相关系数(Rank-Order Correlation Coefficient，ROCC)和均方根误差(Root Mean Squared Error，RMSE)。CC是一种计算相对简单的相关性度量法，可反映图像客观质量评价方法评价的精确性，该值接近于1表明图像客观质量评价方法的评分与主观评分值的差异越小；ROCC指标主要测量的是两组顺序配对样本的次序相关性，即图像客观质量评价方法评分与DMOS相对幅度相一致的程度，其值越接近1，表示图像客观质量评价方法的评分与DMOS值单调性越好；RMSE可以作为对图像客观质量评价方法对图像质量评价准确性的度量，即图像客观质量评价方法以最小平均错误率预测主观评价分值(DMOS)的能力，其值越小，表示图像客观质量评价方法对主观评价分值的预测越准确，图像客观质量评价方法的性能越好，反之，则越差。如图5所示，本发明方法的最终评分IQA与人眼主观评价评分DMOS之间的相关性是很高的，表1给出了非线性回归条件下的Pearson相关系数CC、Spearman相关系数ROCC和均方根误差RMSE的性能指标，实验结果表明本发明的图像客观质量评价方法所得到的最终评分IQA与人眼主观感知的结果较为一致，说明了本发明方法的有效性。

表1本发明的最终评分IQA与人眼主观评分之间一致性的性能指标

Claims (1)

1.一种基于人眼视觉特性的图像质量客观评价方法，其特征在于包括以下步骤：

①令{I_o(i，j)}表示尺寸为W×H的参考图像，{I_d(i，j)}表示尺寸为W×H的失真图像，0＜i≤W，0＜j≤H；计算参考图像中坐标位置为(i，j)的各个像素的亮度非线性敏感度L(i，j)，

②利用梯度算子计算参考图像的水平梯度图像{G_{x_o}(i，j)}和垂直梯度图像{G_{y_o}(i，j)}，其中，G_{x_o}(i，j)表示参考图像中坐标位置为(i，j)的像素I_o(i，j)的水平梯度，G_{y_o}(i，j)表示参考图像中坐标位置为(i，j)的像素I_o(i，j)的垂直梯度；计算参考图像中坐标位置为(i，j)的各个像素的视觉频率值f(i，j)，

其中，G_o(i，j)＝|G_{x_o}(i，j)|+|G_{y_o}(i，j)|，G_{o_max}(i，j)＝max{G_o(i，j)|0＜i≤W，0＜j≤H}和G_{o_min}(i，j)＝min{G_o(i，j)|0＜i≤W，0＜j≤H}；计算参考图像中坐标位置为(i，j)的各个像素的CSF频率响应值A(i，j)，

；

③根据参考图像像素(i，j)的梯度方向和幅值对参考图像进行量化编码，量化编码的具体方式如下：当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0000，记为相位1区；当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1000，记为相位2区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1100，记为相位3区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＞0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1110，记为相位4区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为1111，记为相位5区；当G_{x_o}(i，j)＜0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0111，记为相位6区；当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|≤|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0011，记为相位7区；当G_{x_o}(i，j)＞0并且G_{y_o}(i，j)＜0并且|G_{x_o}(i，j)|＞|G_{y_o}(i，j)|时，则参考图像像素(i，j)的相位量化编码为0001，记为相位8区；这里符号|·|表示取绝对值；

④利用梯度算子计算失真图像的水平梯度图像{G_{x_d}(i，j)}和垂直梯度图像{G_{y_d}(i，j)}，其中，G_{x_d}(i，j)表示失真图像中坐标位置为(i，j)的像素I_d(i，j)的水平梯度，G_{y_d}(i，j)表示失真图像中坐标位置为(i，j)的像素I_d(i，j)的垂直梯度，然后根据失真图像像素(i，j)的梯度方向和幅值对失真图像进行量化编码，量化编码的具体方式如下：当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0000，记为相位1区；当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1000，记为相位2区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1100，记为相位3区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＞0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1110，记为相位4区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为1111，记为相位5区；当G_{x_d}(i，j)＜0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0111，记为相位6区；当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|≤|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0011，记为相位7区；当G_{x_d}(i，j)＞0并且G_{y_d}(i，j)＜0并且|G_{x_d}(i，j)|＞|G_{y_d}(i，j)|时，则失真图像像素(i，j)的相位量化编码为0001，记为相位8区；

⑤计算参考图像和失真图像的各个像素的的汉明距离HD(i，j)，其中，C_o(i，j)为参考图像坐标位置为(i，j)的像素的相位量化编码，C_d(i，j)为失真图像坐标位置为(i，j)的像素的相位量化编码，符号

表示异或；

⑥对失真图像进行客观质量评价，其最终评分IQA表示为：

$\mathrm{IQA}=\frac{\underset{i,j}{\mathrm{\Σ}}[A(i,j)\·L(i,j)\·\mathrm{HD}(i,j)]}{\underset{i,j}{\mathrm{\Σ}}[A(i,j)\·L(i,j)]}.$

Images