CN109285146A - 基于恰可觉察失真的全参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于恰可觉察失真的全参考图像质量评价方法，其特征在于，读入参考图像与失真图像，计算参考图像各像素的恰可觉察失真JND；基于JND对失真图像做像素级误差隐藏处理；计算参考图像与JND误差隐藏处理后失真图像之间的差异图像；对差异图像以4×4像素块为单位计算边缘点所占比率，根据比率与阈值的关系将差异图像分为平滑4×4块区域与结构化4×4块区域；对平滑区域以4×4块为单位计算PSNR并做归一化处理；对结构化区域以4×4块为单位计算结构相似度；融合平滑区域归一化的PSNR和结构化区域的相似度得到失真图像的最终质量评分。优点：更有效地表达了误差特性，提高了失真图像质量评价的准确度。

Description

基于恰可觉察失真的全参考图像质量评价方法

技术领域

本发明涉及一种基于恰可觉察失真的全参考图像质量评价方法，属于图像处理与分析技术领域。

背景技术

图像质量评价一直是图像处理与分析领域的重要研究课题，在图像处理的很多方面都有重要的应用。目前最准确的图像质量评价方法仍然是靠人工打分来得到评价结果，但主观评分耗时耗力且无法自动评价。客观评价方法中应用最广泛的是峰值信噪比(PSNR)与结构相似性测量(SSIM)。PSNR与对应的均方误差(MSE)计算上最为简单且物理意义明确，对非结构性误差如噪声失真评价效果较好，但对结构性误差评价效果不好。SSIM通过提取局部分块的亮度、对比度与结构相似性进行综合测量，对结构性失真评价效果较好，因此受到了学术界与工业界的广泛关注，但其计算量相比PSNR有所增加，而且对非结构性失真评价效果一般。

近年来，基于人眼视觉特性的图像处理与分析方法受到了更多关注。恰可觉察失真(JND)作为人眼重要的视觉特性之一，目前将JND用于图像或视频质量评价的方法还有待于进一步研究探索，一些重要的问题比如如何使用JND对误差进行隐藏、如何根据误差信号的特性使用合适的质量评价方法、如何融合不同评价方法的质量指标得到失真图像的总体质量指标等会严重影响质量评价效果。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于恰可觉察失真的全参考图像质量评价方法。

为解决上述技术问题，本发明提供一种基于恰可觉察失真的全参考图像质量评价方法，其特征在于，包括以下步骤：

1)读入参考图像与失真图像，计算参考图像各像素的恰可觉察失真JND；

2)基于JND对失真图像做像素级误差隐藏处理；

3)计算参考图像与JND误差隐藏处理后失真图像之间的差异图像；

4)对差异图像以4×4像素块为单位计算边缘点所占比率，根据比率与阈值的关系将差异图像分为平滑4×4块区域与结构化4×4块区域；

5)对平滑区域以4×4块为单位计算峰值信噪比PSNR并做归一化处理；

6)对结构化区域以4×4块为单位计算结构相似度；

7)融合平滑区域归一化的PSNR和结构化区域的相似度得到失真图像的最终质量评分。

进一步的，所述步骤2)包括如下步骤：

21)当失真图像的像素值与参考图像的像素值之差大于等于JND值时，将失真图像的像素值减去JND值作为误差隐藏后的失真像素值；

22)当失真图像的像素值与参考图像的像素值之差的绝对值小于JND值时，将参考图像的像素值直接作为误差隐藏后的失真像素值；

23)当失真图像的像素值与参考图像的像素值之差小于等于JND值的负数时，将失真图像的像素值加上JND值作为误差隐藏后的失真像素值。

进一步的，所述步骤4)包括如下步骤：

41)使用Prewitt算子对差异图像进行梯度滤波，得到各像素位置的水平与垂直梯度，进而得到梯度幅值；

42)以4×4像素块为单位计算块内16个像素梯度幅值的平均值，将块内各像素梯度幅值大于平均值的点作为边缘点，并计算块内边缘点所占的比率；

43)检查4×4块内边缘点所占的比率是否小于等于6/16，即块内边缘点的数目是否小于等于6，是则将此块判定为平滑4×4块，否则将此块判定为结构化4×4块。

进一步的，所述步骤5)包括如下步骤：

51)对平滑4×4块区域，按照空间位置对应关系，以4×4块为单位计算参考图像与JND误差隐藏处理后失真图像之间的分块PSNR；

52)对分块PSNR根据最大值进行归一化处理。

进一步的，所述步骤6)包括如下步骤：

61)对结构化4×4块区域，按照空间位置对应关系，以4×4块为单位计算参考图像与JND误差隐藏处理后失真图像之间的分块相关系数；

62)使用分块相关系数作为分块结构化相似度的测量。

进一步的，所述步骤7)包括如下步骤：

71)以4×4块为单位计算平滑区域归一化后的平均PSNR；

72)以4×4块为单位计算结构化区域的平均相关系数；

73)根据平滑区域与结构化区域的面积加权，融合平滑区域的PSNR质量指标和结构化区域的相关系数质量指标得到失真图像的最终质量评分。

本发明所达到的有益效果：

(1)本发明利用JND对失真图像中的像素级误差进行隐藏处理，使得质量评价结果更加接近于人眼主观评价；(2)本发明对引入JND后的差异图像根据边缘特性进行分区处理，更有效地表达了误差特性；(3)本发明对不同误差特性分区后的区域使用特性相关的质量评价并进行有效融合，提高了失真图像质量评价的准确度。

附图说明

图1为本发明的基于恰可觉察失真的全参考图像质量评价方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，基于恰可觉察失真的全参考图像质量评价方法，包括以下步骤：

步骤1，读入参考图像I与失真图像D，计算参考图像I各像素的恰可觉察失真(JND)：

11)读入参考图像I与失真图像D；

12)使用基于亮度掩模与对比度掩模的方法计算参考图像I各像素的JND值，计算公式如下，

JND(x,y)＝T_l(x,y)+T_t(x,y)-C_lt·min{T_l(x,y),T_t(x,y)}

其中，x与y是像素在图像中的横坐标与纵坐标，T_l(x,y)与T_t(x,y)分别是像素I(x,y)基于亮度掩模与基于对比度掩模的JND值，C_lt是亮度掩模与对比度掩模之间的重叠效应因子，取值为0.3，JND(x,y)为像素I(x,y)处的恰可觉察失真值；

T_l(x,y)的计算方法如下，

其中，表示像素I(x,y)周围5×5邻域窗的加权平均背景亮度，计算方法如下，

其中，B(i,j)是5×5的加权低通滤波器，定义式如下，

T_t(x,y)的计算方法如下，

其中，G(x,y)是像素I(x,y)周围5×5邻域窗在四个方向上进行梯度计算后的最大值，定义式如下；

步骤2，基于JND对失真图像D做像素级误差隐藏处理，具体操作如下式，

其中，D(x,y)是失真图像的像素值，是使用JND(x,y)对D(x,y)进行误差隐藏处理后的像素值。

步骤3，计算参考图像I与JND误差隐藏处理后失真图像之间的差异图像Diff_JND，定义式如下：

其中，Diff_JND(x,y)是引入JND值后差异图像在(x,y)处的值。

步骤4，对差异图像以4×4像素块为单位计算边缘点所占比率，根据比率与阈值的关系将差异图像分为平滑4×4块区域与结构化4×4块区域：

41)对引入JND值后的差异图像Diff_JND以4×4像素块为单位计算边缘点所占比率，首先使用Prewitt算子对差异图像Diff_JND进行梯度滤波，得到各像素位置的水平与垂直梯度，进而得到梯度幅值；

42)以4×4像素块为单位计算块内16个像素梯度幅值的平均值，将块内各像素梯度幅值大于平均值的点作为边缘点，并计算块内边缘点所占的比率；

43)如果4×4块内边缘点所占的比率小于等于6/16，即块内边缘点的数目小于等于6，则将此块判定为平滑4×4块，否则将此块判定为结构化4×4块。

步骤5，对平滑区域以4×4块为单位计算峰值信噪比PSNR并做归一化处理：

51)根据由差异图像划分得到的平滑4×4块区域，按照空间位置对应关系，以4×4块为单位计算参考图像I与JND误差隐藏处理后失真图像之间的分块PSNR，定义式如下，

其中，I_i(x,y)与分别表示参考图像与JND误差隐藏处理后失真图像的第i个平滑4×4块，PSNR_{i_JND}表示第i个平滑4×4块的PSNR值；

52)对PSNR_{i_JND}根据最大值进行归一化处理，定义式如下，

其中，PSNR_{Max_JND}表示所有平滑4×4块PSNR的最大值，PSNR_{iS_JND}表示第i个平滑4×4块根据最大值归一化后的PSNR值，ε是一个小常数，取值为0.001。

步骤6，对结构化区域以4×4块为单位计算结构相似：

根据由差异图像划分得到的结构化4×4块区域，按照空间位置对应关系，以4×4块为单位计算参考图像I与JND误差隐藏处理后失真图像之间的分块结构化相似度，分块结构化相似度使用相关系数进行测量，定义式如下，

其中，I_j(x,y)与分别表示参考图像与JND误差隐藏处理后失真图像的第j个结构化4×4块，与分别表示相应第j个4×4块的平均值，Corr_{j_JND}是第j个结构化4×4块的相关系数，表达结构化相似度。

步骤7，融合平滑区域归一化的PSNR和结构化区域的相似度得到失真图像的最终质量评分：

71)以4×4块为单位计算平滑区域归一化后的平均PSNR，定义式如下，

其中，M是整个图像中所有平滑4×4块的数目，PSNR_FAVE是失真图像由平滑区域得到的平均PSNR，表达平滑区域的质量指标；

72)以4×4块为单位计算结构化区域的平均相关系数，定义式如下，

其中，N是整个图像中所有结构化4×4块的数目，Corr_FAVE是失真图像由结构化区域得到的平均相关系数，表达结构化区域的质量指标；

73)融合平滑区域的PSNR质量指标和结构化区域的相关系数质量指标得到失真图像的最终质量评分；

其中，Score是根据区域面积加权PSNR与相关系数得到的失真图像的质量评分，其值越大，表示失真图像在视觉上与参考图像越接近，质量越好。

上述通过利用JND隐藏失真图像中人眼不可见的误差，并根据差异图像的边缘比率特性进行分区以分别采用合适的质量评价指标，提高了全参考图像质量评价的准确度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于恰可觉察失真的全参考图像质量评价方法，其特征在于，包括以下步骤：

1)读入参考图像与失真图像，计算参考图像各像素的恰可觉察失真JND；

2)基于JND对失真图像做像素级误差隐藏处理；

3)计算参考图像与JND误差隐藏处理后失真图像之间的差异图像；

4)对差异图像以4×4像素块为单位计算边缘点所占比率，根据比率与阈值的关系将差异图像分为平滑4×4块区域与结构化4×4块区域；

5)对平滑区域以4×4块为单位计算峰值信噪比PSNR并做归一化处理；

6)对结构化区域以4×4块为单位计算结构相似度；

7)融合平滑区域归一化的PSNR和结构化区域的相似度得到失真图像的最终质量评分。

2.根据权利要求1所述的基于恰可觉察失真的全参考图像质量评价方法，其特征在于，所述步骤2)包括如下步骤：

21)当失真图像的像素值与参考图像的像素值之差大于等于JND值时，将失真图像的像素值减去JND值作为误差隐藏后的失真像素值；

22)当失真图像的像素值与参考图像的像素值之差的绝对值小于JND值时，将参考图像的像素值直接作为误差隐藏后的失真像素值；

23)当失真图像的像素值与参考图像的像素值之差小于等于JND值的负数时，将失真图像的像素值加上JND值作为误差隐藏后的失真像素值。

3.根据权利要求1所述的基于恰可觉察失真的全参考图像质量评价方法，其特征在于，所述步骤4)包括如下步骤：

41)使用Prewitt算子对差异图像进行梯度滤波，得到各像素位置的水平与垂直梯度，进而得到梯度幅值；

42)以4×4像素块为单位计算块内16个像素梯度幅值的平均值，将块内各像素梯度幅值大于平均值的点作为边缘点，并计算块内边缘点所占的比率；

43)检查4×4块内边缘点所占的比率是否小于等于6/16，即块内边缘点的数目是否小于等于6，是则将此块判定为平滑4×4块，否则将此块判定为结构化4×4块。

4.根据权利要求1所述的基于恰可觉察失真的全参考图像质量评价方法，其特征在于，所述步骤5)包括如下步骤：

51)对平滑4×4块区域，按照空间位置对应关系，以4×4块为单位计算参考图像与JND误差隐藏处理后失真图像之间的分块PSNR；

52)对分块PSNR根据最大值进行归一化处理。

5.根据权利要求1所述的基于恰可觉察失真的全参考图像质量评价方法，其特征在于，所述步骤6)包括如下步骤：

61)对结构化4×4块区域，按照空间位置对应关系，以4×4块为单位计算参考图像与JND误差隐藏处理后失真图像之间的分块相关系数；

62)使用分块相关系数作为分块结构化相似度的测量。

6.根据权利要求1所述的基于恰可觉察失真的全参考图像质量评价方法，其特征在于，所述步骤7)包括如下步骤：

71)以4×4块为单位计算平滑区域归一化后的平均PSNR；

72)以4×4块为单位计算结构化区域的平均相关系数；

73)根据平滑区域与结构化区域的面积加权，融合平滑区域的PSNR质量指标和结构化区域的相关系数质量指标得到失真图像的最终质量评分。