CN113298763B - 一种基于显著性窗口策略的图像质量评估方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体为一种基于显著性窗口策略的图像质量评估方法。本发明图像质量评估方法，包括：使用超像素分割算法（SLIC）初步提取显著性估值；使用图像边缘信息作为辅助，来增强结果的鲁棒性，并完成显著性图计算；采用显著性窗口划定策略，来确定全局分数与显著性分数计算区域并给出综合的图片质量得分。本发明方法能够对一张图片给出更接近于人眼主观感受的质量打分，在图像压缩、视频编解码、视频监控等领域可提供高效可靠的指导和参考。

Description

一种基于显著性窗口策略的图像质量评估方法

技术领域

本发明属于图像处理技术领域，具体涉及一种图像质量评估方法。

背景技术

在图像信息技术被广泛应用的情况下，对图像质量的评估变成一个广泛而基本的问题。让全参考客观评价指标尽可能地去贴近人眼的实际观看感受是十分必要的，但是传统的图像质量评价方式没法很好地完成这一点无法对此做出区分。实验证明，一张图片的质量得分与其视觉显著性有着密切的关系。在考虑图像整体结构一致性的同时利用显著性图作为辅助对于提升评估的准确度非常有帮助。本发明提出了一种基于显著性窗口策略的图像质量评估指标，通过采用显著性窗口策略综合了图片的全局分数与显著性分数来给出完备的图片质量打分，能够很好地作为反映图像质量评分和主观感受之间的桥梁。

本文使用超像素分割算法SLIC初步提取显著性估值，然后使用图像边缘信息作为辅助来增强结果的鲁棒性并完成显著性图计算，之后采用显著性窗口划定策略来确定全局分数与显著性分数计算区域并给出综合的图片质量得分。

发明内容

本发明的目的在于提出一种更贴近人眼实际观看感受的全参考客观图像质量评估方法，以提供更加准确和有参考价值的图像质量打分。

本发明提出的图像质量评估方法，采用显著性窗口策略，具体步骤为：

(一)首先，使用超像素分割算法(SLIC)初步提取显著性估值；

(二)然后，使用图像边缘信息作为辅助，来增强结果的鲁棒性，并完成显著性图计算；

(三)然后，采用显著性窗口划定策略，来确定全局分数与显著性分数计算区域并给出综合的图片质量得分。

本发明方法能够很好地作为反映图像质量评分和主观感受之间的桥梁。

下面对各步骤作进一步说明。

(一)所述超像素分割算法(SLIC)，能够高效地实现图片像素聚类分割效果，如图1所示，具体步骤为：将一副图像分割成指定数目的像素块，每个块内的像素拥有最高的聚类相似度，即超像素，它包含了图像的方向和颜色信息和图像的大致结构关系。

获得SLIC超像素分割结果后，通过全局对比的方式进行显著性估值，如图2所示，使用归一化后的颜色直方图中各个颜色出现的概率为权值，对图像中的超像素赋予相应的显著性估值S，作为显著性估值的初步提取结果。

(二)获得上述显著性估值的初步提取结果后，使用图像边缘轮廓信息作为效果鲁棒性增强的辅助。利用Sobel边缘检测算子[1]提取边缘信息G，然后对二值图进行边缘增强，以非零值像素点为中心的l×l区域都置为非零，l的取值视当前图像的具体尺寸可以进行相应的调整，默认取为11，效果如图3所示。

在获取了基于颜色直方图全局对比的显著性估值S和边缘信息G之后，将两者进行矩阵点乘，得到最终的显著性图。基于颜色直方图全局对比的显著性估值S是像素取值位于[0,255]之间的灰度图，边缘信息G是像素取值为0或1的二值图，因此两者点乘之后得到的显著性图可以很好地反映出图像中的人眼高注意力区域，结果如图4所示。

(三)得到了显著图之后，需要划定显著性窗口。如图5所示，将显著性图分割为12x12块，并计算每个块内的平均亮度，取亮度最高的块作为起始块，然后进行边界扩张。吸收亮度大于当前块70％的相邻块进入显著性窗，直到无法进行为止。最后需要考察该显著性窗口的长宽是否均不小于图片长宽的1/3，否则吸收不满足条件方向上亮度最大的相邻块进入显著性窗，直到条件满足或到达边界。

由此，计算全局分数GI和显著性分数SI；其中，全局分数是基于色彩连贯性、结构相似度和梯度一致性的图片质量得分；显著性分数是是通过模拟人眼的观看习惯和喜好来的客观评价分数；

全局分数GI由原尺寸全局分数G_O和下采样分数G_D两部分组成；原尺寸全局分数G_O被定义为原尺寸图片的SSIM得分，下采样分数G_D定义为待评估图片和参考图片均经过1/4下采样后的GM相似性得分。

显著性分数SI由窗口分数S_S和背景分数S_B两部分组成。窗口分数S_S为两张图片之间的PC一致性。在显著性图上计算显著性窗口内的平均亮度VS_W和显著性窗口外的平均亮度VS_BG，并以它们作为权重计算参考图片和有损图片之间的相位一致性。背景分数S_B定义为使用5x5核对两张图片的显著性窗口内像素进行高斯模糊后在全图尺寸下计算得到的SSIM值。

结合全局分数GI和显著性分数SI两部分，最终得到基于显著性窗口策略的图像质量评估方法的最终得分计算结果GSW。

本发明提出的图像质量评估方法能够对一张图片给出更接近于人眼主观感受的质量打分，能够在图像压缩、视频编解码、视频监控等领域提供高效可靠的指导和参考。

附图说明

图1为超像素分割SLIC的效果图。

图2为使用基于颜色直方图全局对比的显著性初步估值结果。

图3为边缘轮廓提取和增强策略效果图。

图4为显著性图提取结果。

图5为显著性窗口划定策略。

具体实施方式

下面将结合实施例和附图进一步具体描述本发明。

本发明提出了一种基于显著性窗口策略的图像质量评估指标，使用超像素分割算法SLIC初步提取显著性估值，然后使用图像边缘信息作为辅助来增强结果的鲁棒性并完成显著性图计算，之后采用显著性窗口划定策略来确定全局分数与显著性分数计算区域并给出综合的图片质量得分，该方法能够很好地作为反映图像质量评分和主观感受之间的桥梁。

(一)超像素分割SLIC是一种能够高效地实现图片像素聚类分割效果。它首先将图片的原本色彩空间转换为CIELAB图像空间，利用Lab色彩空间中的L亮度通道、a颜色通道、b颜色通道、x坐标和y坐标组合为五维空间向量进行k-means聚类。SLIC算法的优点是超像素数量可以通过调整参数进行控制，并且计算量较小。两个像素点间的相似度如下：

其中，m为用来调整空间信息和颜色值比例的平衡参数；s为种子点的间距；l，a，b为色彩空间的三个分量；x，y为空间位置坐标；d_lab为像素点i和k之间的颜色差异；d_xy为两者之间的空间距离。越大的D_s值表明两个像素点之间越相似。

通过SLIC算法可以将一副图像分割成指定数目的像素块，每个块内的像素拥有最高的聚类相似度，即超像素。超像素包含了图像的方向和颜色这些底层信息的同时，也能反映出图像大致的结构关系。一张图片经过SLIC超像素分割后的结果如图1所示，为了平衡计算复杂度和显著性提取效果，分割超像素数目可以根据图片尺寸和内容进行相应的动态调整，默认取为500。

获得SLIC超像素分割结果后，通过全局对比的方式进行显著性估值。实现思路为使用归一化后的颜色直方图中各个颜色出现的概率为权值，对图像中的超像素赋予相应的显著性值。这么做的理论依据是包含越多像素的超像素区域越可能出现在图像的背景区域，而画面中的显著性主体往往会有更细致的分割。超像素r_k的显著性估值S定义为：

其中，w(r_i)为超像素r_i中包含的像素数目，用来作为区域颜色对比度的权值；D_r(·，·)表示两个超像素之间的颜色距离，其具体计算方式如下：

其中，f(c_m，i)表示第i个颜色c_m，i在第m个超像素r_m内出现的概率，n_m表示在超像素r_m中出现的颜数目，f(c_n，j)表示第i个颜色c_n，j在第n个超像素r_n内出现的概率，m_n表示在超像素r_n中出现的颜色数目，D(c_m，i，c_n，j)表示c_m，i和c_n，j两个颜色的相似度；

根据以上方式得到的显著性图初步提取效果如图2所示。

(二)上述方法提取到的显著性图往往还不够准确，因此使用图像边缘轮廓信息作为效果鲁棒性增强的辅助。边缘提取的方法使用了Sobel边缘检测算子，它是一个离散微分算子，结合了高斯平滑和微分求导来计算图像灰度函数的近似梯度。基于图像的卷积来实现在水平和垂直方向上的边缘检测，在本方法中分别通过三阶的水平核G_x和竖向核G_y计算得到边缘：

然后对图像中每一点综合两个方向上的卷积结果后便得到了梯度幅度，即边缘信息G：

在得到边缘信息之后对二值图进行一步增强操作，将以非零值像素点为中心的l×l区域都置为非零，l的取值视当前图像的具体尺寸可以进行相应的调整，默认取为11。这一步的目的是强化扩展边缘信息，以提高最终的显著性图准确性，边缘提取增强效果如图3所示。

在获取了基于颜色直方图全局对比的显著性估值S和边缘信息G之后，将两者进行矩阵点乘得到最终的显著性图。基于颜色直方图全局对比的显著性估值S是像素取值位于[0,255]之间的灰度图，边缘信息G是像素取值为0或1的二值图，因此两者点乘之后得到的显著性图能够很好地将视觉显著区域凸显出来，并且通过边缘信息能够抑制由于超像素分割导致的非显著性区域被高亮的情况。最终的显著性图提取效果如图4所示。

(三)在得到了显著图之后，需要确定显著性窗口，流程如图5所示。将显著性图分割为12x12块并计算每个块内的平均亮度，取亮度最高的块作为起始块，然后进行边界扩张。吸收亮度大于当前块70％的相邻块进入显著性窗直到无法进行为止。最后需要考察该显著性窗口的长宽是否均不小于图片长宽的1/3，否则吸收不满足条件方向上亮度最大的相邻块进入显著性窗直到条件满足或到达边界。

由此，计算全局分数GI和显著性分数SI；其中，全局分数是基于色彩连贯性、结构相似度和梯度一致性的图片质量得分；显著性分数是是通过模拟人眼的观看习惯和喜好来的客观评价分数；

全局分数GI由原尺寸全局分数和下采样分数两部分组成，其中：

原尺寸全局分数定义如下：

G_O＝FSIM(I_R，I_D)， (9)

其中，FSIM为两张图片的特征相似性[2]，I_R为无损参考图片，I_D为待评估的失真图片；

下采样分数定义为两张1/4下采样图片的GM相似性：

其中，G_RD为下采样参考图片的梯度幅值，G_DD为下采样有损图片的梯度幅值，参数C_D的作用是为了避免分母为零的情况。全局分数被定义为如下的结果：

GI＝G_O·(G_D)^α (11)

其中，指数α用于调节全局分数和下采样分数贡献占比，通过实验确定，其最佳值为0.40；

显著性分数由窗口分数S_S和背景分数S_B两部分组成。

显著性分数的第一部分S_S为两张图片之间的PC一致性。在显著性图上计算显著性窗口内的平均亮度VS_W和显著性窗口外的平均亮度VS_BG，并以它们作为权重计算参考图片和有损图片之间的相位一致性。计算公式如下：

其中，S_W为两张图片显著性窗口内的PC一致性，S_Wb为两张图片显著性窗口外的PC一致性。

为了增强得分的鲁棒性又引入了背景分数S_B，它被定义为用5x5核对两张图片的显著性窗口内像素进行高斯模糊后在全图尺寸下计算得到的SSIM值。最后组合两部分结果得到了显著性分数的计算公式：

SI＝S_S·(S_B)^β， (13)

其中，指数β用于调节两部分的贡献占比，通过实验确定，其最佳值为-0.67；

基于显著性窗口划定策略的图像质量评估方法的最终得分结合全局分数和显著性分数，GSW的最终得分公式被定义为：

GSW＝GI·(SI)^γ (14)

其中，指数γ用于调节全局分数SI和显著性分数SI两者对最终得分的贡献占比，通过实验确定，其最佳值为0.30；

通过实验最终确定上述公式中的系数最佳取值分别为：C_D＝1.5，α＝0.40，β＝-0.67，γ＝0.30。

该方法提出了一种基于显著性窗口策略的图像质量评估指标，使用超像素分割算法SLIC初步提取显著性估值，然后使用图像边缘信息作为辅助来增强结果的鲁棒性并完成显著性图计算，之后采用显著性窗口划定策略来确定全局分数与显著性分数计算区域并给出综合的图片质量得分，能够很好地作为反映图像质量评分和主观感受之间的桥梁，取得了更高的与主观打分之间的一致性。

参考文献：

[1]Health A,Sarkar S,Sanocki T,et al Comparison of edge detectors:Amethodology and initial study[J].Computer Vision and Image Understanding,1998,69(1):38-54.

[2]L.Zhang,D.Zhang,X.Mou,and D.Zhang,Aug.2011,IEEE Trans.ImageProcess.,FSIM:A feature similarity index for image quality assessment,vol.20,no.8,pp.2378–2386。

Claims (5)

1.一种基于显著性窗口策略的图像质量评估方法，其特征在于，具体步骤为：

(一)首先，使用超像素分割算法(SLIC)初步提取显著性估值；

(二)然后，使用图像边缘信息作为辅助，来增强结果的鲁棒性，并完成显著性图计算；

(三)然后，采用显著性窗口划定策略，来确定全局分数与显著性分数计算区域并给出综合的图片质量得分；

步骤(一)的流程为：将一副图像分割成指定数目的像素块，每个块内的像素拥有最高的聚类相似度，即超像素，它包含了图像的方向和颜色信息和图像的大致结构关系；

获得SLIC超像素分割结果后，通过全局对比的方式进行显著性估值；使用归一化后的颜色直方图中各个颜色出现的概率为权值，对图像中的超像素赋予相应的显著性估值S，作为显著性估值的初步提取结果；

步骤(二)的流程为：使用图像边缘轮廓信息作为效果鲁棒性增强的辅助；使用Sobel边缘检测算子提取边缘并转换为二值图进行增强，以非零值像素点为中心的l×l区域都置为非零，l的取值视当前图像的具体尺寸进行相应的调整；

在获取基于颜色直方图全局对比的显著性图和边缘信息后，将两者进行矩阵点乘，得到最终的显著性图；基于颜色直方图全局对比的显著性估值是像素取值位于[0,255]之间的灰度图，而边缘信息是像素取值为0或1的二值图；

步骤(三)的流程为：划定显著性窗口；将显著性图分割为12x12块，并计算每个块内的平均亮度，取亮度最高的块作为起始块，然后进行边界扩张；吸收亮度大于当前块70％的相邻块进入显著性窗，直到无法进行为止；最后考察该显著性窗口的长宽是否均不小于图片长宽的1/3，否则吸收不满足条件方向上亮度最大的相邻块进入显著性窗，直到条件满足或到达边界；

由此可以进行全局分数和显著性分数的计算；全局分数是基于色彩连贯性、结构相似度和梯度一致性的图片质量得分，由原尺寸全局分数G_O和下采样分数G_D两部分组成；原尺寸全局分数G_O定义为原尺寸图片的SSIM得分，下采样分数G_D定义为待评估图片和参考图片均经过1/4下采样后的GM相似性得分；

显著性分数是是通过模拟人眼的观看习惯和喜好来的客观评价分数，由窗口分数S_S和背景分数S_B两部分组成；窗口分数S_S为两张图片之间的PC一致性；在显著性图上计算显著性窗口内的平均亮度VS_W和显著性窗口外的平均亮度VS_BG，并以它们作为权重计算参考图片和有损图片之间的相位一致性；背景分数S_B定义为使用5x5核对两张图片的显著性窗口内像素进行高斯模糊后在全图尺寸下计算得到的SSIM值；

结合全局分数和显著性分数得到最终的基于显著性窗口策略的最终得分计算结果GSW。

2.根据权利要求1所述的图像质量评估方法，其特征在于，步骤(一)中，显著性估值S的计算如下：

根据超像素分割方法SLIC能够高效地实现图片像素聚类分割；它首先将图片的原本色彩空间转换为CIELAB图像空间，利用Lab色彩空间中的L亮度通道、a颜色通道、b颜色通道、x坐标和y坐标组合为五维空间向量进行k-means聚类；两个像素点间的相似度如下：

其中，m为用来调整空间信息和颜色值比例的平衡参数；s为种子点的间距；l,a,b为色彩空间的三个分量；x,y为空间位置坐标；d_lab为像素点i和k之间的颜色差异；d_xy为两者之间的空间距离；D_s值越大表明两个像素点之间越相似；

通过SLIC算法将一副图像分割成指定数目的像素块，每个块内的像素拥有最高的聚类相似度，即超像素；

获得SLIC超像素分割结果后，通过全局对比的方式进行显著性估值，具体是使用归一化后的颜色直方图中各个颜色出现的概率为权值，对图像中的超像素赋予相应的显著性估值；超像素r_k的显著性估值S定义为：

其中，w(r_i)为超像素r_i中包含的像素数目，用来作为区域颜色对比度的权值；D_r(·,·)表示两个超像素之间的颜色距离，其具体计算方式如下：

其中，f(c_m,i)表示第i个颜色c_m,i在第m个超像素r_m内出现的概率，f(c_n,j)表示第i个颜色c_n,j在第n个超像素r_n内出现的概率，D(c_m,i,c_n,j)表示c_m,i和c_n,j两个颜色的相似度。

3.根据权利要求2所述的图像质量评估方法，其特征在于，步骤(二)中，提取边缘信息的操作过程为：使用Sobel边缘检测算子，结合高斯平滑和微分求导来计算图像灰度函数的近似梯度；基于图像的卷积来实现在水平和垂直方向上的边缘检测；具体地，分别通过三阶的水平核G_x和竖向核G_y计算得到边缘：

然后对图像中每一点综合两个方向上的卷积结果，便得到梯度幅度，即边缘信息G：

4.根据权利要求3所述的图像质量评估方法，其特征在于，步骤(三)中，最终得分GSW计算如下：

原尺寸全局分数G_O为：

G_O＝FSIM(I_R,I_D)， (9)

其中FSIM为两张图片的特征相似性，I_R为无损参考图片，I_D为待评估的失真图片；

下采样分数G_D为两张1/4下采样图片的GM相似性：

其中，G_RD为下采样参考图片的梯度幅值，G_DD为下采样有损图片的梯度幅值，C_D是用来避免出现分母为零情况的参数；全局分数GI为：

GI＝G_O·(G_D)^α (11)

指数α用于调节全局分数G_O和下采样分数G_D贡献占比，通过实验确定；

窗口分数S_S的计算公式如下：

其中，S_W为两张图片显著性窗口内的PC一致性，S_Wb为两张图片显著性窗口外的PC一致性；

背景分数S_B定义为用5x5核对两张图片的显著性窗口内像素进行高斯模糊后在全图尺寸下计算得到的SSIM值；

最后组合两部分结果得到显著性分数的计算公式：

SI＝S_S·(S_B)^β， (13)

指数β用于调节窗口分数S_S和背景分数S_B的贡献占比，通过实验确定；

最终得分GSW公式为：

GSW＝GI·(SI)^γ (14)

指数γ用于调节全局分数GI和显著性分数SI两者对最终得分的贡献占比，通过实验确定。

5.根据权利要求4所述的图像质量评估方法，其特征在于，公式中的系数取值为：C_D＝1.5,α＝0.40,β＝-0.67,γ＝0.30。

Images