CN106504230A - 基于相位一致性的全参考彩色屏幕图像质量评估方法 - Google Patents

Abstract

本发明涉及一种基于相位一致性的全参考彩色屏幕图像质量评估方法，属于图像处理领域，根据人类视觉系统理解图像时对结构信息的依赖性和屏幕图像包含丰富边缘结构信息的特征提出，方法包括：对参考屏幕图像和失真屏幕图像从RGB色彩空间转化为CIELAB对色空间；分别提取参考屏幕图像亮度分量和失真屏幕图像亮度分量的相位一致性特征图；结合相位一致性、黄蓝对比色度分量和红绿对比色度分量计算局部图像质量图；将局部图像质量图的标准差作为最终屏幕图像质量值。本发明充分利用相位一致性和色度分量的相似性来评估彩色失真屏幕图像的质量，反映人眼主观视觉系统对于屏幕图像的主观感知度，具有较好的屏幕图像质量评估性能，且计算简单。

Description

基于相位一致性的全参考彩色屏幕图像质量评估方法

技术领域

本发明属于图像处理领域，涉及图像质量评估方法，尤其是涉及一种基于相位一致性的全参考彩色屏幕图像质量评估方法。

背景技术

数字图像在图像处理的不同阶段(获取、压缩、传输、存储和显示等)都会引入不同类型和不同程度的失真，因此，如何进行有效的图像质量评估成为图像处理领域一项重要的研究课题。全参考图像质量评估方法是依据给定参考图像利用数学和工程方法对图像质量进行度量，易于应用到实时图像处理系统中。

目前全参考图像质量评估中应用最多的是均方误差(Mean Square Error,MSE)和峰值信噪比(Peak Signal to Noise Ratio,PSNR)。但是这些指标都只针对对应位置像素点间的误差做数学统计，没有充分考虑图像中固有的边缘结构信息和人类视觉系统对图像质量的感知特性，不能准确反应人眼对于图像质量的主观评估。根据研究发现人类视觉系统对图像中的结构信息比较敏感的特性，提出一系列基于局部结构失真的图像质量评估方法，其中最著名的结构相似度(Structural Similarity,SSIM)，其计算简单易于实现且具有比PSNR和MSE更优的图像质量评估性能。但是SSIM没有考虑到每个像素对于整幅图像质量评估具有不同重要性。内容信息加权的结构相似性(Information content WeightedStructural Similarity，IWSSIM)方法则利用图像的内容信息对结构相似性进行加权，其评价效果比SSIM方法更接近主观评估。

屏幕图像是一种复合图像，既包含由计算机直接生成的非连续色调区域，又包含由摄像机产生的连续色调区域。随着软硬件和移动互联网的迅猛发展，屏幕图像逐渐成为研究热点，可广泛应用于新兴、主流的多媒体应用，如云计算、远程桌面、虚拟屏幕、在线教育等。因此，如何对屏幕图像进行准确质量评估变得尤为重要。由于屏幕图像与自然图像在图像结构、纹理上有很大的不同，现有绝大部分图像质量评估方法都是针对自然图像而设计并不适用于屏幕图像质量评估。目前在图像处理领域中缺少对屏幕图像进行质量评估的方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种评估性能较好、计算简单的基于相位一致性的全参考彩色屏幕图像质量评估方法。

本发明解决其技术问题所采用的技术方案是：

一种基于相位一致性的全参考彩色屏幕图像质量评估方法，包括：

接收输入的彩色参考屏幕图像r和彩色失真屏幕图像d；

分别将参考屏幕图像r和失真屏幕图像d从RGB色彩空间转换为CIELAB对色空间，从而得到参考屏幕图像r和失真屏幕图像d的亮度分量L_r(x,y)和L_d(x,y)、黄蓝对比色度分量M_r(x,y)和M_d(x,y)及红绿对比色度分量N_r(x,y)和N_d(x,y)；

提取参考屏幕图像r亮度分量L_r(x,y)的相位一致性特征图PC_r(x,y)和失真屏幕图像d亮度分量L_d(x,y)的相位一致性特征图PC_d(x,y)；

计算参考屏幕图像r亮度分量L_r(x,y)的相位一致性特征图PC_r(x,y)与失真屏幕图像d亮度分量L_d(x,y)的相位一致性特征图PC_d(x,y)的相位一致性相似性S_PC(x,y)；计算黄蓝对比色度分量和红绿对比色度分量的色度分量相似性S_C(x,y)；

结合相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)获得失真屏幕图像d的质量评估值。

作为优选，所述从RGB色彩空间转换为CIELAB对色空间的转化方法如下：

作为优选，参考屏幕图像r亮度分量L_r(x,y)每个像素的相位一致性特征的计算步骤如下：

步骤3.1，利用二维log-Gabor滤波器对参考屏幕图像r亮度分量L_r(x,y)在方向θ_j和尺度n下进行滤波，得到在点(x,y)处的滤波响应向量

步骤3.2，进一步可获得方向θ_j和尺度n上的响应向量的幅值：

和局部能量函数：

其中：

步骤3.3，参考屏幕图像r亮度分量L_r(x,y)在(x,y)点处二维相位一致性为：

其中，ε为稳定系数，取正数。

作为优选，失真屏幕图像d亮度分量L_d(x,y)每个像素的相位一致性特征的计算方式与所述参考屏幕图像r亮度分量L_r(x,y)每个像素的相位一致性特征计算过程相同。

作为优选，所述二维log-Gabor滤波器用如下方式表达：

其中，θ_j＝jπ/J,j＝{0,1,…,J-1}，J是方向数，ω₀是滤波器的中心频率，σ_r控制滤波器的频率带宽，σ_θ确定滤波器的角度带宽。

作为优选，所述相位一致性相似性用如下方式表达：

所述色度分量相似性用如下方式表达：

其中，c₁、c₂、c₃为稳定系数，取正数。

作为优选，计算结合相位一致性相似性和色度分量相似性的融合相似度的标准差，得到图像质量评估值。

作为优选，所述结合相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)获得失真屏幕图像d的质量评估值的步骤包括：

步骤8.1，将相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)进行结合，得到融合相似度：

SFS(x,y)＝[S_PC(x,y)]^α·[S_C(x,y)]^β；

其中，α和β表示相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)在彩色屏幕图像质量评估中的相对权重；

步骤8.2，计算参考屏幕图像r与失真屏幕图像d的局部质量图SFS(x,y)中所有像素点的平均值其中，Ω表示屏幕图像中所有的像素点集合，N表示屏幕图像中所有的像素点数；

步骤8.3，计算失真屏幕图像的质量评估值其中，SFSD值与屏幕图像失真程度成正比。

本发明具有如下有益效果：

本发明提供了一种基于相位一致性的全参考彩色屏幕图像质量评估方法，该方法着重于充分考虑人眼视觉系统特性及屏幕图像特性，充分利用相位一致性和色度分量的相似性来准确评估彩色失真屏幕图像的质量，反映人眼主观视觉系统对于屏幕图像的主观感知度。具有较好的彩色屏幕图像质量评估性能且计算简单。

以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于相位一致性的全参考彩色屏幕图像质量评估方法不局限于实施例。

附图说明

图1为本发明方法的流程示意图。

具体实施方式

本发明为了解决现有技术的图像评估方法无法适用于屏幕图像质量评估的不足，提供一种基于相位一致性的全参考彩色屏幕图像质量评估方法，如图1所示，具体步骤如下：

步骤1，接收输入的一幅参考彩色屏幕图像r和一幅失真彩色屏幕图像d。

步骤2，分别将参考屏幕图像r和失真屏幕图像d从RGB色彩空间转换为CIELAB对色空间。转化方法如下：

从而得到参考屏幕图像r和失真屏幕图像d的亮度分量L_r(x,y)和L_d(x,y)、黄蓝对比色度分量M_r(x,y)和M_d(x,y)、红绿对比色度分量N_r(x,y)和N_d(x,y)。

步骤3，提取参考屏幕图像r亮度分量L_r(x,y)的相位一致性特征图PC_r(x,y)和失真屏幕图像d亮度分量L_d(x,y)的相位一致性特征图PC_d(x,y)。

具体的，对参考屏幕图像r亮度分量L_r(x,y)和失真屏幕图像d亮度分量L_d(x,y)使用相位一致性模型，计算每个像素的相位一致性特征。参考屏幕图像r亮度分量L_r(x,y)每个像素的相位一致性特征的计算步骤如下：

步骤3.1，利用二维log-Gabor滤波器对参考屏幕图像r亮度分量L_r(x,y)在方向θ_j和尺度n下进行滤波，得到在点(x,y)处的滤波响应向量

具体的，所述二维log-Gabor滤波器用如下方式表达：

其中，θ_j＝jπ/J,j＝{0,1,…,J-1}，J是方向数，ω₀是滤波器的中心频率，σ_r控制滤波器的频率带宽，σ_θ确定滤波器的角度带宽。

步骤3.2，进一步可获得方向θ_j和尺度n上的响应向量的幅值：

和局部能量函数：

其中：

步骤3.3，参考屏幕图像r亮度分量L_r(x,y)在(x,y)点处二维相位一致性为：

其中，ε为稳定系数，取正数。

同理，对失真屏幕图像d亮度分量L_d(x,y)执行步骤3.1至步骤3.3，可以提取失真屏幕图像d亮度分量L_d(x,y)的相位一致性特征图PC_d(x,y)。

步骤4，计算参考屏幕图像r亮度分量L_r(x,y)的相位一致性特征图PC_r(x,y)与失真屏幕图像d亮度分量L_d(x,y)的相位一致性特征图PC_d(x,y)的相位一致性相似性S_PC(x,y)；计算黄蓝对比色度分量和红绿对比色度分量的色度分量相似性S_C(x,y)。

具体的，由参考屏幕图像r亮度分量L_r(x,y)和失真屏幕图像d亮度分量L_d(x,y)的相位一致性、参考屏幕图像和失真屏幕图像黄蓝对比色度分量、参考屏幕图像和失真屏幕图像红绿对比色度分量，计算相位一致性相似性(Phase Congruency Similarity,S_PC(x,y))和色度分量相似性(Chrominance Components Similarity,S_C(x,y))，具体如下：

其中，c₁、c₂、c₃为稳定系数，均取很小的正数，旨在于保证S_PC(x,y)与S_C(x,y)计算稳定性。

步骤5，结合相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)计算得到失真屏幕图像d的质量评估值。

具体的，结合所得的相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)，得到融合相似度(Structure Fusion Similarity,SFS(x,y))：

SFS(x,y)＝[S_PC(x,,y)]^α[S_C(x,y)]^β。

其中，α和β表示相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)在彩色屏幕图像质量评估中的相对权重。

计算参考屏幕图像r与失真屏幕图像d的局部质量图SFS(x)中所有像素点的平均值，定义如下：

其中，Ω表示屏幕图像中所有的像素点集合，N表示屏幕图像中所有的像素点数。最后，根据局部质量图SFS(x,y)和局部质量图SFS(x,y)中所有像素点的平均值SFSM计算出失真屏幕图像的质量评估值

由上式可知，SFSD值与屏幕图像失真程度成正比，即SFSD值越大表示屏幕图像失真越严重，主观质量越差。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定，只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (8)

1.一种基于相位一致性的全参考彩色屏幕图像质量评估方法，其特征在于，包括：

接收输入的彩色参考屏幕图像r和彩色失真屏幕图像d；

分别将参考屏幕图像r和失真屏幕图像d从RGB色彩空间转换为CIELAB对色空间，从而得到参考屏幕图像r和失真屏幕图像d的亮度分量L_r(x,y)和L_d(x,y)、黄蓝对比色度分量M_r(x,y)和M_d(x,y)及红绿对比色度分量N_r(x,y)和N_d(x,y)；

提取参考屏幕图像r亮度分量L_r(x,y)的相位一致性特征图PC_r(x,y)和失真屏幕图像d亮度分量L_d(x,y)的相位一致性特征图PC_d(x,y)；

计算参考屏幕图像r亮度分量L_r(x,y)的相位一致性特征图PC_r(x,y)与失真屏幕图像d亮度分量L_d(x,y)的相位一致性特征图PC_d(x,y)的相位一致性相似性S_PC(x,y)；计算黄蓝对比色度分量和红绿对比色度分量的色度分量相似性S_C(x,y)；

结合相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)获得失真屏幕图像d的质量评估值。

2.根据权利要求1所述的基于相位一致性的全参考彩色屏幕图像质量评估方法，其特征在于，所述从RGB色彩空间转换为CIELAB对色空间的转化方法如下：

$\left[\begin{array}{c}L\\ M\\ N\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.30& 0.04& -0.35\\ 0.34& -0.6& 0.17\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right].$

3.根据权利要求2所述的基于相位一致性的全参考彩色屏幕图像质量评估方法，其特征在于，参考屏幕图像r亮度分量L_r(x,y)每个像素的相位一致性特征的计算步骤如下：

步骤3.1，利用二维log-Gabor滤波器对参考屏幕图像r亮度分量L_r(x,y)在方向θ_j和尺度n下进行滤波，得到在点(x,y)处的滤波响应向量

步骤3.2，进一步可获得方向θ_j和尺度n上的响应向量的幅值：

$A_{n,{\mathrm{\θ}}_j}(x,y)=\sqrt{e_{n,{\mathrm{\θ}}_j}^2(x,y)+o_{n,{\mathrm{\θ}}_j}^2(x,y)}$

和局部能量函数：

$E_{n,{\mathrm{\θ}}_j}(x,y)=\sqrt{F_{n,{\mathrm{\θ}}_j}^2(x,y)+H_{n,{\mathrm{\θ}}_j}^2(x,y)}$

其中：

$F_{n,{\mathrm{\θ}}_j}(x,y)=\underset{n}{\Σ}{e}_{n,{\mathrm{\θ}}_j}(x,y),H_{n,{\mathrm{\θ}}_j}(x,y)=\underset{n}{\Σ}{o}_{n,{\mathrm{\θ}}_j}(x,y)$

步骤3.3，参考屏幕图像r亮度分量L_r(x,y)在(x,y)点处二维相位一致性为：

${\mathrm{PC}}_r(x,y)=\frac{\underset{j}{\Σ}{E}_{{\mathrm{\θ}}_j}(x,y)}{\underset{j}{\Σ}\underset{n}{\Σ}{A}_{n,{\mathrm{\θ}}_j}(x,y)+\mathrm{\ϵ}}$

其中，ε为稳定系数，取正数。

4.根据权利要求3所述的基于相位一致性的全参考彩色屏幕图像质量评估方法，其特征在于，失真屏幕图像d亮度分量L_d(x,y)每个像素的相位一致性特征的计算方式与所述参考屏幕图像r亮度分量L_r(x,y)每个像素的相位一致性特征计算过程相同。

5.根据权利要求3所述的基于相位一致性的全参考彩色屏幕图像质量评估方法，其特征在于，所述二维log-Gabor滤波器用如下方式表达：

$G(\mathrm{\ω},{\mathrm{\θ}}_j)=\exp \left(\frac{-{\left(\lg \right(\mathrm{\ω}/{\mathrm{\ω}}_0\left)\right)}^2}{2{\mathrm{\σ}}_r^2}\right)\·\exp (-\frac{{(\mathrm{\θ}-{\mathrm{\θ}}_j)}^2}{2{\mathrm{\σ}}_{\mathrm{\θ}}^2})$

其中，θ_j＝jπ/J,j＝{0,1,…,J-1}，J是方向数，ω₀是滤波器的中心频率，σ_r控制滤波器的频率带宽，σ_θ确定滤波器的角度带宽。

6.根据权利要求4所述的基于相位一致性的全参考彩色屏幕图像质量评估方法，其特征在于，所述相位一致性相似性用如下方式表达：

$S_{PC}(x,y)=\frac{2{\mathrm{PC}}_r(x,y){\mathrm{PC}}_d(x,y)+c_1}{{\mathrm{PC}}_r^2(x,y)+{\mathrm{PC}}_d^2(x,y)+c_1}$

所述色度分量相似性用如下方式表达：

$S_C(x,y)=\frac{2M_r(x,y)M_d(x,y)+c_2}{M_r^2(x,y)+M_d^2(x,y)+c_2}\·\frac{2N_r(x,y)N_d(x,y)+c_3}{N_r^2(x,y)+N_d^2(x,y)+c_3}$

其中，c₁、c₂、c₃为稳定系数，取正数。

7.根据权利要求6所述的基于相位一致性的全参考彩色屏幕图像质量评估方法，其特征在于，计算结合相位一致性相似性和色度分量相似性的融合相似度的标准差，得到图像质量评估值。

8.根据权利要求7所述的基于相位一致性的全参考彩色屏幕图像质量评估方法，其特征在于，所述结合相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)获得失真屏幕图像d的质量评估值的步骤包括：

步骤8.1，将相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)进行结合，得到融合相似度：

SFS(x,y)＝[S_PC(x,y)]^α·[S_C(x,y)]^β；

其中，α和β表示相位一致性相似性S_PC(x,y)和色度分量相似性S_C(x,y)在彩色屏幕图像质量评估中的相对权重；

步骤8.2，计算参考屏幕图像r与失真屏幕图像d的局部质量图SFS(x,y)中所有像素点的平均值其中，Ω表示屏幕图像中所有的像素点集合，N表示屏幕图像中所有的像素点数；

步骤8.3，计算失真屏幕图像的质量评估值其中，SFSD值与屏幕图像失真程度成正比。