CN101853504A - 基于视觉特性与结构相似度的图像质量评测方法 - Google Patents

Abstract

基于视觉特性与结构相似度的图像质量评测方法，涉及一种图像质量评价。提供一种基于视觉特性与结构相似度的图像质量评测方法。读取参考图像和待测图像的像素信息，以矩阵的形式存储，设为矩阵x和y，并对图像空间进行不均匀分块，记录下每个分块block(n)，使待测图像和参考图像的分块布局相同；对参考图像和待测图像的每个方块block(n)进行SSIM结构相似度指数运算；提取各方块block(n)的权重系数w(n)；对各分块block(n)对应的SSIM结构相似度指数进行综合加权，得图像综合质量WMSSIM，

Description

基于视觉特性与结构相似度的图像质量评测方法

技术领域

本发明涉及一种图像质量评价，特别是涉及一种基于对结构相似度算法改进的客观图像质量评价方法。

背景技术

随着移动通信业务的增加，无线通信已获得非常广泛的应用。无线通信环境(无线信道、移动终端等)以及移动多媒体应用业务的特点是越来越趋于对图像业务和视频业务的支持和优化。随着无线网络的多样化以及无线环境的多元化和复杂化，图像在传输过程中信号会有所损失，因此图像直观质量的好坏是衡量系统的重要指标。

目前图像质量评价方法可分为主观评价和客观测试两类，传统的以人的视觉观察和主观感知为主的主观评测，对人的图像观察能力要求很高，而且这种方法劳动强度大、费时，且受观察者背景知识、观测动机和观测环境等因素的影响，结果稳定性差，可移植性也不好；客观评价则是利用客观的数学评测模型来进行视频质量的评测，以达到与主观的评测方法一致的效果，与主观评价相比，具有速度快、费用低和可以嵌入到数字系统等优点，因此比较实用。

实际应用中，图像质量评测方法已经越来越成熟，在各个生产实践、科学研究中都已经得到广泛的应用。目前广泛使用的算法是以均方信噪比为基础，代表性的方法有MSE(MeanSquared Error，均方差)，PSNR(Peak-Signal-to-Noise Ratio，峰值信噪比)等，都是基于对应像素点间的误差，即基于误差敏感的图像质量评价，尽管这种算法计算相对简单、实现方便，但是忽略了相邻像素之间的结构相关性以及人眼视觉系统HVS(Human Visual System)的特殊性质，可能对图像内容的质量评测与人的主观评测有偏差，试验表明这些算法与人眼主观评测的相关系数仅为0.4～0.7。此后，人们开始利用人眼视觉系统的某些特性对客观评价尺度进行修改，例如归一化均方误差(NMSE，Nor2malizedMean Square Error)评价方法。20世纪90年代后期，人们对视觉系统功能的理解有了显著的进展，各种基于HVS(Human VisualSystem)模型的图像质量评价方法应运而生。其性能明显提高(与主观评测的相关系数都在0.8以上)，在实际应用中，正逐步取代传统的均方差或峰值信噪比算法。

HVS(人眼视觉系统)认为，人眼的主要功能是从视野中提取结构信息，对结构信息的测量应该是对图像感知失真的一个很好近似。相比于传统的均方差或峰值信噪比算法，当图像的亮度改变时，可能感知误差的计算结果是一样的，但是人眼对结构失真的察觉却是很敏感的。考虑到以图像信息角度，结构信息是展现在画面上对象的结构，基于结构失真的客观评价方式更能够真实地反映人的主观评价。在此基础上，王舟等人(Z.Wang，A.C.Bovik，H.R.Sheikh，and E.P.Simoncelli，“Image quality assessment：From error measurement to structuralsimilarity，”IEEE Trans.image Processing，2004，13：600-612)实现了基于结构失真的一种质量评价方法SSIM(Structural Similarity Index，结构相似度系数)评测法，是一种自顶而下的模拟人眼视觉系统模型，从高层次上模拟假定的人眼视觉系统的功能，采取了用感知结构化信息的丢失代替感知差错，即通过感知结构信息的改变来分析图像的失真情况。结构相似性理论认为，自然图像信号是高度结构化的，即像素间有很强的相关性，特别是空域中最接近的像素，这种相关性蕴含着视觉场景中物体结构的重要信息。

SSIM(结构相似度系数)算法的实现，从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。结构相似度算法提出后引起了国内外学者的广泛关注，并且被应用到其它领域，如图像融合质量评价，相似图像搜索，信息隐藏盲检测和视频编码器的率失真优化等。此外，著名的开源H.264编码器x264在近期版本中也引入了SSIM结构相似度系数值计算，作为评价编码质量的一个指标，而以往的编码器通常只计算峰值信噪比或信噪比。

其他方面，Sheikh等(Z.Wang，H.R.Sheikh，and A.C.Bovik，“Objective video qualityassessment，”The Handbook of Video Databases：Design and Applications，Boca Raton，FL：CRCPress，2003)提出了两种基于信息论的全参考方法：IFC(Information Fidelity Criterion，信息保真度准则)和VIF(Visual Information Fidelity，视觉信息保真度)。基于信息论的方法从另一个角度模拟人眼视觉系统的功能，将质量评价问题看成是“信息”保真度而不是“信号”保真度的问题，将失真过程建模为一个有损信道，认为待测图像是源图像通过这个信道而得到的，从而将视觉质量与参考图像和待测图像之间的互信息联系起来。该方法准确度高，但模型的参数估计导致运算量较大，较难应用于实际，有待于进一步减小运算复杂度。

作为结构相似性理论的一个实现，结构相似度(SSIM)指数有着简单高效的优点。对SSIM算法进行深入研究发现，仍然存在以下不足：

(1)结构相似度(SSIM)算法，简单地将图像空间划分为不重叠的等大的8×8的方块，提取各方块的像素平均值，以计算待测图像的亮度失真。实际应用中，参考图像和待测图像，可能一方方块中的各像素亮度差异比较大，另一方方块中的像素则较均匀地分布在平均亮度附近，而两者的平均亮度计算结果可能相似。因此，简单地以平均亮度代替方块中所有像素进行亮度失真计算，不够合理。

(2)人眼对各分块失真的敏感程度是不一样的。结构相似度算法，主要从亮度、对比度、相关度对图像失真情况进行分析，并以三者的线性组合作为质量指数。整个图像的质量指数MSSIM(平均结构相似度系数)是各方块的SSIM(结构相似度系数)的平均值，并没有考虑对各方块的加权平均，忽略了图像失真在平坦区、纹理区、高频区等不同频率区域的影响不同的特性。

发明内容

本发明的目的在于针对已有的图像客观质量评估模型进行深入理解和详尽分析的基础上，结合人眼的视觉特性，对传统的分块方法和结构相似度评测方法进行改进，提供一种基于视觉特性与结构相似度的图像质量评测方法。

本发明包括以下步骤：

1)读取参考图像和待测图像的像素信息，以矩阵的形式存储，设为矩阵x和y，并对图像空间进行不均匀分块，记录下每个分块block(n)，使待测图像和参考图像的分块布局相同；

2)对参考图像和待测图像的每个方块block(n)进行SSIM结构相似度指数运算；

3)提取各方块block(n)的权重系数w(n)，具体步骤如下：

①提取相对亮度变化引起的权重因子p(n)；

②提取边缘活动性失真引起的权重因子r(n)；

③提取由于方块block(n)面积以及像素频率不同引起的权重因子z(n)；

④综合上述对相对亮度变化引起的权重因子p(n)、边缘活动性失真引起的权重因子r(n)、由于方块block(n)面积以及像素频率不同引起的权重因子z(n)的分析，确定综合权重因子w(n)，并归一化；

4)对各分块block(n)对应的SSIM结构相似度指数进行综合加权，得图像综合质量WMSSIM，

完成基于视觉特性与结构相似度的图像质量评测方法。

在步骤1)中，所述对图像空间进行不均匀分块的方法，是以参考图像的分块布局为准，将参考图像空间划分为互不重叠的、等大的32×32的方块，并以每一个32×32的方块开始，重复下面步骤：如果一个方块block(n)边长大于4，且方块中像素方差σ²(n)大于阈值，那么对该方块进行四分(即划分成4个16×16，如果不符合条件，则将不满足条件16×16的方块再细分成4个8×8的方块)，直到满足条件。待测图像的分块布局，应该与参考图像的分块布局block(n)一样，在划分过程中，需要对各方块计算相应的像素方差σ²(n)和均值u(n)，定义如下：

$u\left(n\right)=\frac{1}{N_{\mathrm{block}}\left(n\right)}\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}\mathrm{Data}(n,i)$

${\mathrm{\σ}}^2\left(n\right)=\frac{1}{N_{\mathrm{block}}\left(n\right)-1}\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}{[\mathrm{Data}(n,i)-u\left(n\right)]}^2$

式中，N_block(n)为第n个方块中包含的像素总个数，Data(n，i)为图像第n个方块内的像素数据，实际操作中，取Data(n，i)矩阵分别为参考图像数据x(n，i)和待测图像数据y(n，i)，利用上述公式，可分别得到参考图像和待测图像各分块中的像素方差σ² _x(n)、σ² _y(n)以及像素均值u_x(n)、u_y(n)。

在步骤2)中，所述对待测图像每个方块block(n)进行SSIM结构相似度指数运算，是假设参考图像为质量理想的图像，将待测图像与参考图像进行对比，并以亮度函数l(x，y)、对比度函数c(x，y)和结构函数s(x，y)三个函数的组合为评价依据，用均值(u_x，u_y)作为亮度的估计，标准差(σ_x，σ_y)作为对比度的估计，协方差(σ_xy)作为结构相似程度的度量，计算图像的质量情况，定义如下：

$l(x,y)=\frac{{2u}_x{u}_y+C_1}{{u_x}^2+{u_y}^2+C_1}$

$c(x,y)=\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y+C_2}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2+C_2}$

$s(x,y)=\frac{{\mathrm{\σ}}_{\mathrm{xy}}+C_3}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2+C_3}$

最后，SSIM结构相似度指数定义为：

SSIM(x，y)＝[l(x，y)]^α*[c(x，y)]^β*[s(x，y)]^γ

其中，α，β，γ＞0，这3个参量用来调整亮度、对比度和结构信息的权重。当α＝β＝γ＝1时，则各方块block(n)所对应的结构相似度指数SSIM(n)可简化为：

$\mathrm{SSIM}\left(n\right)=\frac{({2u}_x\left(n\right)u_y\left(n\right)+C_1)({2\mathrm{\σ}}_{\mathrm{xy}}\left(n\right)+C_2)}{({u_x}^2\left(n\right)+{u_y}^2\left(n\right)+C_1)({{\mathrm{\σ}}_x}^2\left(n\right)+{{\mathrm{\σ}}_y}^2\left(n\right)+C_2)}.$

在步骤3)中，所述提取相对亮度变化引起的权重因子p(n)的方法的具体步骤为：对人类视觉系统的研究发现，对信号亮度变化的反应不是取决于信号的绝对亮度，而是取决于信号与背景亮度之间的相对差异，I_mean为每个32×32方块的亮度均值，视为每个方块block(n)的背景亮度，考虑各个方块block(n)平均亮度u_x(n)与背景亮度I_mean之间的相对差异，同时考虑人眼在中等亮度背景下对信息的辨别力较强，背景太亮或太暗时，人眼对方块像素亮度的失真较为不敏感，以127为最佳背景，综合考虑在背景亮度不同的情况下，由分块相对亮度变化引起的权重因子，定义如下：

$p\left(n\right)=k\left|\lg \frac{u_x\left(n\right)}{I_{\mathrm{mean}}}\right|*\sqrt{1-\left|\frac{I_{\mathrm{mean}}-127}{127}\right|}$

式中，k为常数，u_x(n)为各分块block(n)平均亮度，I_mean为背景亮度。

在步骤3)中，所述提取边缘活动性失真引起的权重因子r(n)的方法的具体步骤：是根据人眼对图像边缘轮廓的失真比较敏感的特性，考虑待测图像相对参考图像各方块中，边缘能量的增加或者减少，分析图像边缘活动性的失真情况，包括以下几个步骤：

①选用Sobel水平滤波器g_horizontal(i，j)和垂直滤波器g_vertical(i，j)，提取出图像水平和垂直边缘数据，分别记为R_h(i，j)和R_v(i，j)，定义如下：

R_h(i，j)＝Data(i，j)*g_horizontal(i，j)

R_v(i，j)＝Data(i，j)*g_vertical(i，j)

式中，Data(i，j)为图像像素矩阵，实际操作中，分别为参考图像和待测图像数据矩阵x和y。

②提取边缘梯度矢量，矢量幅度记为R_edge(i，j，k)，即边缘能量大小，定义如下：

$R\_\mathrm{edge}(i,j)=\sqrt{{\left(R_h(i,j)\right)}^2+{\left(R_v(i,j)\right)}^2}$

③对边缘像素进行二值化，提取出边缘的结构信息，记录下边缘像素的具体位置信息，定义如下：

$E_{\mathrm{binary}}(i,j)=\left\{\begin{array}{c}1,\mathrm{ifR}\_\mathrm{edge}(i,j)>\mathrm{value}\\ 0,\mathrm{else}\end{array}\right.$

其中value为图像内的边缘像素的阈值，计算定义如下：

value(i)＝imhist(R_edge(i，j))，

imhist(R_edge(i，j))表示边缘图像的直方图，Num表示图像内的像素总数；

④按照步骤①②③分别对待测图像和参考图像提取出二值化的边缘图像Ey_binary(i，j)和Ex_binary(i，j)，统计待测图像和参考图像各分块block(n)中相应的边缘像素个数Ny_binary(n)以及Nx_binary(n)，定义如下：

${\mathrm{Ny}}_{\mathrm{binary}}\left(n\right)=\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}{\mathrm{Ey}}_{\mathrm{binary}}\left(i\right)$

${\mathrm{Nx}}_{\mathrm{binary}}\left(n\right)=\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}{\mathrm{Ex}}_{\mathrm{binary}}\left(i\right)$

同时，考虑边缘轮廓的失真主要表现在图像边缘像素的增加或者减少，统计分析待测图像各分块中边缘像素相对于参考像素的变化情况，检测边缘的活动性失真情况，并提取相应的权重系数r(n)定义如下：

$r\left(n\right)=1-\left(\right|\frac{{\mathrm{Ny}}_{\mathrm{binary}}-{\mathrm{Nx}}_{\mathrm{binary}}}{{\mathrm{Ny}}_{\mathrm{binary}}+{\mathrm{Nx}}_{\mathrm{binary}}}\left|\right)$

在步骤3)中，所述提取由于方块面积以及像素频率不同引起的权重因子z(n)的方法，是以32×32方块的面积为基准参照，可得由方块面积引起的权重系数，定义如下：

$z\left(n\right)=k_1*\left|\sin (k_2\mathrm{\π}*\sqrt{\frac{A_{\mathrm{block}}\left(n\right)}{A_0}})\right|$

式中，A_block(n)为第n个方块的面积，A₀为32×32的方块面积，k₁，k₂为常数，多次实验表明，k₂＝6/5实验效果比较好，为简化运算k₁取1运算。

在步骤3)中，所述综合权重因子w(n)的确定的方法，是对所述相对亮度变化引起的权重因子p(n)、边缘活动性失真引起的权重因子r(n)、由于方块block(n)面积以及像素频率不同引起的权重因子z(n)三个权重因子的综合，定义w(n)为：

w(n)＝p(n)^α*r(n)^β*z(n)^λ

简化运算可取α＝β＝λ＝1，并对w(n)归一化，定义如下：

$w\left(n\right)=\frac{w\left(n\right)}{\underset{i=1}{\overset{N\_\mathrm{block}}{\mathrm{\Σ}}}w\left(n\right)}$

式中，N_block为图像内总的方块的数目。

本发明的整体流程包括图像获取、图像劣化实现以及图像质量自动评测。

①图像获取：图像的获取可来自常见的移动手机终端、相机等，获取装置设有摄像头、存储器以及实时处理芯片(MCU)等部件，用于采集摄像头摄取的图像信号以及保存图像文件。

②图像劣化实现：由图像获取装置得到的图像往往是清晰的无劣化的图像，作为参考图像。而待测图像的获取可以来自模型的仿真以及真实信道的传输。前者往往是通过模拟传输信道的特征，并建立相应的模型，对图像进行劣化仿真，诸如在图像中加入方块、高斯模糊等劣化方式。后者可以通过实际的网络传输，在真实的信道中得到图像劣化，评测更具有实际意义。仿真过程可以在PC机上编程实现，实际传输劣化的获取则需要通过网卡、发送装置、传输网络、接收装置、存储器、实时处理芯片以及外围电路组成，除了硬件设备，也涉及网络协议、编解码等软件原理。

③图像质量自动评测：图像质量的评测过程是将上述步骤①②得到的参考图像和待测图像进行比较分析，通过建立适当的模型，模拟人眼的主观评测，对待测图像的质量做出客观评价的过程。自动评测装置设有实时处理芯片、存储器和外围设备以及相应的接口和驱动等，并需要编写评测程序，处理芯片通过调用程序对图像进行自动评测，并给出评测结果。

评测的图像素材主要针对灰度图像，当图像为RGB彩色格式时，可以通过公式转换，变换为YUV格式，并提取亮度分量Y作为图像数据，以矩阵的形式存储，进行质量评测，这主要是依据人眼对色度的失真变化不敏感的特征。

本发明具有以下突出优点：

1)传统的SSIM结构相似度算法将图像空间划分为等大的8×8的方块，求方块中像素的平均值，表征整个方块像素的平均亮度，并以此计算亮度失真情况。本发明对传统分块法进行改进，并以之对图像空间进行划分，先将图像划分为32×32的方块，以此为基础，当方块中像素方差大于阈值时，对方块进行更细的划分(即划分成4个16×16，如果不符合条件，则将不满足条件16×16方块的再细分成4个8×8的方块)，直至方块中的像素方差小于阈值，认为各个像素比较接近，提取此时方块中的像素均值，作为平均亮度，由于各个像素阶跃变化比较小，灰度值比较接近，此时的亮度均值更具有代表性。

2)传统的SSIM结构相似度算法，求出各方块的SSIM结构相似度指数后，对各指数进行简单的平均运算求得平均结构相似度MSSIM值，作为整个图像的综合质量指标，不考虑各方块SSIM结构相似度指数的权重情况。本发明从图像相对亮度变化、边缘活动性失真、方块面积及其像素频率不同三方面因素出发，综合考虑图像的不同失真对人眼的刺激感受不同，提取出了三个因素综合的权重因子，并对各方块的SSIM结构相似度值进行加权平均，求最后的图像结构相似度，使评测结果更符合人眼视觉特性。

本发明提供的基于视觉特性与结构相似度的图像质量评测方法，对传统的SSIM结构相似度模型进行改进，综合考虑人眼对于图像不同区域的关注程度不同，以及对图像的不同失真的敏感性不一样的特性，对各方块的结构相似度指数做适当的加权平均以使最终的评测结果更符合人眼的主观评测。

具体实施方式

本发明基于视觉特性与结构相似度的图像质量评测方法是一种以人眼视觉特性为基础，建立数学模型对劣化的图像进行质量评测，以期望评测结果与人眼主观感受一致。通过对图像质量的评测，可以反映图像传输信道的噪声情况，以期望对网络的改进提供参考。评测的整体流程包括图像获取、图像劣化实现以及图像质量自动评测。

详细的实施步骤如下：

1.图像获取：图像的获取可以来自常见的移动手机终端、相机等，获取装置设有摄像头、存储器以及实时处理芯片(MCU)等部件，用于采集摄像头摄取的图像信号以及保存图像文件。

2.图像劣化实现：由图像获取装置得到的图像往往是清晰的无劣化的图像，作为参考图像。而待测图像的获取可以来自模型的仿真以及真实信道的传输。前者往往是通过模拟传输信道的特征，并建立相应的模型，对图像进行劣化仿真，诸如在图像中加入方块、高斯模糊等劣化方式。后者可以通过实际的网络传输，在真实的信道中得到图像劣化，评测更具有实际意义。仿真过程可以在PC机上编程实现，实际传输劣化的获取则需要通过网卡、发送装置、传输网络、接收装置、存储器、实时处理芯片以及外围电路组成，除了硬件设备，也涉及网络协议、编解码等软件原理。

3.图像质量自动评测：图像质量的评测过程是将上述步骤中得到的参考图像和待测图像进行比较分析，通过建立适当的模型，模拟人眼的主观评测，对待测图像的质量做出客观评价的过程。自动评测装置设有实时处理芯片、存储器和外围设备以及相应的接口和驱动，并需要事先编写评测程序，处理芯片通过调用程序对图像进行自动评测，并给出评测结果，具体的评测实现如下所述：

3.1软件读取图像数据，并以矩阵形式存储。利用数据连接线将图像获取装置获取的参考图像以及通过劣化实现得到的待测图像导入自动评测装置，并通过编程，软件读取参考图像和待测图像数据信息分别表示为x和y矩阵。考虑人眼对图像色度失真不敏感，而对图像亮度失真比较敏感的特性，当图像格式为RGB色彩格式时，统一利用公式转换成YUV格式，并提取亮度Y分量作为图像数据保存，并以矩阵的形式存储。在本实施中，评测过程是围绕着矩阵x和y展开的，若图像矩阵为MXN的二维矩阵，在本实施中，有软件读取的x和y矩阵是长度为MXN的一维矩阵。

3.2对图像空间进行分块。具体过程如下：

3.2.1参考图像分块。首先，将图像空间划分为互不重叠的、等大的32×32的方块，并以每一个32×32的方块开始，重复下面步骤：如果一个块边长大于4，且满足以下两个条件那么对该块从中间进行四分(即将该32×32的方块划分成4个16×16的方块，如果不符合条件，则将不满足条件16×16方块的再细分成4个8×8的方块)：

(a)边长大于4；

(b)方块中像素方差σ²大于阈值：

可见，重复进行上述方块划分，可使各方块block(n)的方差σ²(n)尽可能都小于阈值，即各方块中的像素灰度尽量都比较接近，同时根据各方块的边长大小可以确定出各方块的频率情况，边长为4的方块可视为高频部分；边长为32的可视为低频部分，如图像的平坦区域；边长为16或者8的则为中频部分。在划分过程中，需要对各方块不断地计算像素方差σ²(n)，定义如下：

${{\mathrm{\σ}}^2}_x\left(n\right)=\frac{1}{N_{\mathrm{block}}\left(n\right)-1}\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}{[x(n,i)-u_x\left(n\right)]}^2$

其中σ² _x(n)为第n个方块的像素方差，N_block(n)为第n个方块中包含的像素总个数，x(n，i)为第n个方块中的各像素灰度值，u_x(n)为第n个方块的像素亮度平均值，定义如下：

$u_x\left(n\right)=\frac{1}{N_{\mathrm{block}}\left(n\right)}\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}x(n,i)$

3.2.2对待测图像进行分块，分块的布局与步骤3.2.1中确定的参考图像的分块布局相同，并按照上述相同的方法提取出待测图像各方块中的像素方差σ² _y(n)以及像素均值u_y(n)。

3.3对待测图像每个方块block(n)进行SSIM结构相似度指数运算。SSIM算法从图像组成的角度解释结构信息，将结构信息定义为图像中独立于亮度、对比度，反映场景中物体结构的属性。从而，将失真建模为三个不同因素的组合：亮度l(x，y)、对比度c(x，y)和结构s(x，y)，用均值(u_x，u_y)作为亮度的估计，标准差(σ_x，σ_y)作为对比度的估计，协方差(σ_xy)作为结构相似程度的度量。各指标定义如下：

$l(x,y)=\frac{{2u}_x{u}_y+C_1}{{u_x}^2+{u_y}^2+C_1}$

$c(x,y)=\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y+C_2}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2+C_2}$

$s(x,y)=\frac{{\mathrm{\σ}}_{\mathrm{xy}}+C_3}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2+C_3}$

最后，SSIM结构相似度定义为：SSIM(x，y)＝[l(x，y)]^α*c(x，y)]^β*[s(x，y)]^γ

其中，α，β，γ＞0，这3个参量用来调整亮度、对比度和结构信息的权重。当u_x ²+u_y ²或者σ_x ²+σ_y ²接近0的时候，会产生不稳定现象，C₁，C₂，C₃是为了防止此现象所添加的常数，取C₁＝(K₁L)²，C₂＝(K₂L)²，C₃＝C₂/2，这里L是像素值的范围，K₁＜＜1，K₂＜＜1是两个较小的常数。提取出参考图像和待测图像各方块中的像素均值(u_x(n)，u_y(n))，标准差(σ_x(n)，σ_y(n))，以及协方差σ_xy(n)，计算出每个方块对应的SSIM指数SSIM(n)，取α＝β＝γ＝1，则SSIM计算可简化为：

$\mathrm{SSIM}\left(n\right)=\frac{({2u}_x\left(n\right)u_y\left(n\right)+C_1)({2\mathrm{\σ}}_{\mathrm{xy}}\left(n\right)+C_2)}{({u_x}^2\left(n\right)+{u_y}^2\left(n\right)+C_1)({{\mathrm{\σ}}_x}^2\left(n\right)+{{\mathrm{\σ}}_y}^2\left(n\right)+C_2)}$

每个方块中的SSIM(n)满足如下关系：

(a)对称性：SSIM(x，y)＝SSIM(y，x)；

(b)有界性：SSIM(n)≤1；

(c)唯一最大值：当x＝y时，即待测图像较参考图像无损失时，SSIM(x，y)＝1。

基于以上描述，当将参考图像看作有完美质量时，SSIM给出待测图像质量的量化度量，SSIM(n)表示各方块的图像质量情况。

3.4提取各方块权重系数。

3.4.1相对亮度变化引起的权重因子p(n)。亮度表现度是指人眼对图像平均亮度所表现出的整体效果。对人类视觉系统的研究发现，对刺激信号的反应不是取决于信号的绝对亮度，而是取决于信号相对背景亮度信号平均亮度的刺激度，通常人眼对图像亮度的反应表现在对亮度阶跃的敏感性，即信号亮度与背景亮度的灰度级差别，阶跃越大，越容易引起人眼的关注。由韦伯-费克纳(Weber2 Fechner)法则可知：视觉上主观亮度与光刺激强度的对数成比例。以参考图像为基准，对步骤3.2.1中划分的每一个方块block(n)进行分析，提取由相对亮度变化而引起的权重系数，定义如下：

$p\left(n\right)=k\left|\lg \frac{u_x\left(n\right)}{I_{\mathrm{mean}}}\right|$

式中，k为常数，p(n)为所对应的每个方块block(n)的相对亮度变化引起的权重系数，u_x(n)是步骤3.2.1中参考图像每个方块的亮度均值，以方块block(n)所在的32×32方块为背景，I_mean为这个32×32方块的亮度均值，视为背景亮度。

同时，考虑人眼对于图像像素的辨别能力受到背景亮度的影响，当场景中的背景很暗或很亮时，人眼在对亮度偏差的辨别敏感度低，不容易辨别该区域中出现的噪声或者模糊等图像损害，而在中等亮度背景下对信息的辨别力较强，其中敏感度最高的是在灰度级约为127的背景区域。因而，当信号亮度与背景亮度的比值相同时，由于背景亮度不同，人眼对图像失真辨别能力也会受到影响，将上述权重系数p(n)，改进如下：

$p\left(n\right)=k\left|\lg \frac{u_x\left(n\right)}{I_{\mathrm{mean}}}\right|*\sqrt{1-\left|\frac{I_{\mathrm{mean}}-127}{127}\right|}$

同样的亮度阶跃，相比在中等背景亮度，人眼在背景亮度很暗或者很亮，对图像失真的敏感度低，相应得到的由亮度变化引起的权重也会相对较低。

3.4.2边缘活动性失真引起的权重因子r(n)。边缘灰度也是影响人眼视觉的主要因素，物体的边缘是图像局部变化的重要特征，所谓边缘是指其周围像素灰度有阶跃变化的那些像素的集合，这个阶跃变化即从一个变化平缓的灰度区域急剧变化的一个灰度相差较大的区域。在图像传输中，图像信息的损失造成图像空间上的模糊，噪声又会造成图像空间上的方块效应，而图像的模糊以及方块效应直接体现在图像边缘能量的减少或者增加。对人眼视觉系统的研究表明，人眼对图像边缘轮廓的失真比较敏感，考虑待测图像相对参考图像各方块中，边缘能量的增加或者减少，分析图像边缘活动性的失真情况，包括以下几个步骤：

①选用Sobel水平滤波器g_horizontal(i，j)和垂直滤波器g_vertical(i，j)，提取出图像水平和垂直边缘数据，分别记为R_h(i，j)和R_v(i，j)，定义如下：

R_h(i，j)＝Data(i，j)*g_horizontal(i，j)

R_v(i，j)＝Data(i，j)*g_vertical(i，j)

式中，Data(i，j)为图像像素矩阵，实际操作中，分别为参考图像和待测图像数据矩阵x和y。

②提取边缘梯度矢量，矢量幅度记为R_edge(i，j，k)，即边缘能量大小，定义如下：

$R\_\mathrm{edge}(i,j)=\sqrt{{\left(R_h(i,j)\right)}^2+{\left(R_v(i,j)\right)}^2}$

③对边缘像素进行二值化，提取出边缘的结构信息，记录下边缘像素的具体位置信息，定义如下：

$E_{\mathrm{binary}}(i,j)=\left\{\begin{array}{c}1,\mathrm{ifR}\_\mathrm{edge}(i,j)>\mathrm{value}\\ 0,\mathrm{else}\end{array}\right.$

其中value为图像内的边缘像素的阈值，计算定义如下：

value(i)＝imhist(R_edge(i，j))，

imhist(R_edge(i，j))表示边缘图像的直方图，Num表示图像内的像素总数。

④按照步骤①②③分别对待测图像和参考图像提取出二值化的边缘图像Ey_binary(i，j)和Ex_binary(i，j)，统计待测图像和参考图像各分块block(n)中相应的边缘像素个数Ny_binary(n)以及Nx_binary(n)，定义如下：

${\mathrm{Ny}}_{\mathrm{binary}}\left(n\right)=\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}{\mathrm{Ey}}_{\mathrm{binary}}\left(i\right),$ ${\mathrm{Nx}}_{\mathrm{binary}}\left(n\right)=\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}{\mathrm{Ex}}_{\mathrm{binary}}\left(i\right)$

同时，考虑边缘轮廓的失真主要表现在图像边缘像素的增加或者减少，统计分析待测图像各分块中边缘像素相对于参考像素的变化情况，检测边缘的活动性失真情况，并提取相应的权重系数r(n)定义如下：

$r\left(n\right)=1-\left(\right|\frac{{\mathrm{Ny}}_{\mathrm{binary}}-{\mathrm{Nx}}_{\mathrm{binary}}}{{\mathrm{Ny}}_{\mathrm{binary}}+{\mathrm{Nx}}_{\mathrm{binary}}}\left|\right)$

3.4.3方块面积以及像素频率不同引起的权重因子z(n)。考虑到人眼对图像失真的敏感性与方块面积以及像素频率有直接的关系，同样程度的图像失真，比如方块中增加同样数量的边缘像素，人眼对面积较小的方块失真较为敏感，而面积较大的方块产生的边缘像素变化，则不易引起人眼的注意。另外，人眼对不同频率的方块敏感度也是不同的，根据空间频率的不同可以把方块分为高频区、中频区以及低频区。高频区，像素空间比较复杂，频率较大，像素变化比较快，人眼对图像失真最不敏感；低频区，像素空间比较平坦，频率较小，像素变化比较平缓，人眼对图像失真比较敏感；中频区，由于包含的纹理细节比较多，人眼对于图像失真最敏感。实验表明，人眼对图像失真的敏感性与方块面积成正弦函数关系或高斯分布，适中的分块面积更容易引起人眼的关注。以32×32方块的面积为基准参照，可得由方块面积引起的权重系数，定义如下：

$z\left(n\right)=k_1*\left|\sin (k_2\mathrm{\π}*\sqrt{\frac{A_{\mathrm{block}}\left(n\right)}{A_0}})\right|$

式中，A_block(n)为第n个方块的面积，A₀为32X32的方块的面积，k₁，k₂为常数，多次实验表明，k₂＝6/5实验效果比较好，为简化运算k₁取1运算。

3.4.4权重因子w(n)的确定。综合上述对亮度影响因子p(n)，边缘成分影响因子r(n)，分块面积影响因子z(n)的分析，定义w(n)为：

w(n)＝p(n)^α*r(n)^β*z(n)^λ

简化运算可取α＝β＝λ＝1，并对w(n)归一化，定义如下：

$w\left(n\right)=\frac{w\left(n\right)}{\underset{i=1}{\overset{N\_\mathrm{block}}{\mathrm{\Σ}}}w\left(n\right)}$

式中，N_block为图像内总的方块的数目。

3.5综合加权求图像质量WMSSIM。待测图像的整体质量是各分块质量的加权平均，使客观评测结果更符合人眼的主观评测，定义如下：

$\mathrm{WMSSIM}=\underset{i=1}{\overset{N\_\mathrm{block}}{\mathrm{\Σ}}}w\left(n\right)*\mathrm{SSIM}\left(n\right).$

Claims (7)

1.基于视觉特性与结构相似度的图像质量评测方法，其特征在于包括以下步骤：

1)读取参考图像和待测图像的像素信息，以矩阵的形式存储，设为矩阵x和y，并对图像空间进行不均匀分块，记录下每个分块block(n)，使待测图像和参考图像的分块布局相同；

2)对参考图像和待测图像的每个方块block(n)进行SSIM结构相似度指数运算；

3)提取各方块block(n)的权重系数w(n)，具体步骤如下：

①提取相对亮度变化引起的权重因子p(n)；

②提取边缘活动性失真引起的权重因子r(n)；

③提取由于方块block(n)面积以及像素频率不同引起的权重因子z(n)；

④综合对相对亮度变化引起的权重因子p(n)、边缘活动性失真引起的权重因子r(n)、由于方块block(n)面积以及像素频率不同引起的权重因子z(n)的分析，确定综合权重因子w(n)，并归一化；

4)对各分块block(n)对应的SSIM结构相似度指数进行综合加权，得图像综合质量WMSSIM，

完成基于视觉特性与结构相似度的图像质量评测方法。

2.如权利要求1所述的基于视觉特性与结构相似度的图像质量评测方法，其特征在于在步骤1)中，所述对图像空间进行不均匀分块的方法，是以参考图像的分块布局为准，将参考图像空间划分为互不重叠的、等大的32×32的方块，并以每一个32×32的方块开始，重复下面步骤：如果一个方块block(n)边长大于4，且方块中像素方差σ²(n)大于阈值，那么对该方块进行四分，即划分成4个16×16，若不符合条件，则将不满足条件16×16的方块再细分成4个8×8的方块，直到满足条件，待测图像的分块布局，应该与参考图像的分块布局block(n)一样，在划分过程中，需要对各方块计算相应的像素方差σ²(n)和均值u(n)，定义如下：

$u\left(n\right)=\frac{1}{N_{\mathrm{block}}\left(n\right)}\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}\mathrm{Data}(n,i)$

${\mathrm{\σ}}^2\left(n\right)=\frac{1}{N_{\mathrm{block}}\left(n\right)-1}\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}{[\mathrm{Data}(n,i)-u\left(n\right)]}^2$

式中，N_block(n)为第n个方块中包含的像素总个数，Data(n，i)为图像第n个方块内的像素数据，实际操作中，取Data(n，i)矩阵分别为参考图像数据x(n，i)和待测图像数据y(n，i)，利用上述公式，分别得到参考图像和待测图像各分块中的像素方差σ² _x(n)、σ² _y(n)以及像素均值u_x(n)、u_y(n)。

3.如权利要求1所述的基于视觉特性与结构相似度的图像质量评测方法，其特征在于在步骤2)中，所述对待测图像每个方块block(n)进行SSIM结构相似度指数运算，是假设参考图像为质量理想的图像，将待测图像与参考图像进行对比，并以亮度函数l(x，y)、对比度函数c(x，y)和结构函数s(x，y)三个函数的组合为评价依据，用均值(u_x，u_y)作为亮度的估计，标准差(σ_x，σ_y)作为对比度的估计，协方差(σ_xy)作为结构相似程度的度量，计算图像的质量情况，定义如下：

$l(x,y)=\frac{{2u}_x{u}_y+C_1}{{u_x}^2+{u_y}^2+C_1}$

$c(x,y)=\frac{{2\mathrm{\σ}}_x{\mathrm{\σ}}_y+C_2}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2+C_2}$

$s(x,y)=\frac{{\mathrm{\σ}}_{\mathrm{xy}}+C_3}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2+C_3}$

最后，SSIM结构相似度指数定义为：

SSIM(x，y)＝[l(x，y)]^α*[c(x，y)]^β*[s(x，y)]^γ

其中，α，β，γ＞0，这3个参量用来调整亮度、对比度和结构信息的权重，当α＝β＝γ＝1时，则各方块block(n)所对应的结构相似度指数SSIM(n)简化为：

$\mathrm{SSIM}\left(n\right)=\frac{({2u}_x\left(n\right)u_y\left(n\right)+C_1)({2\mathrm{\σ}}_{\mathrm{xy}}\left(n\right)+C_2)}{({u_x}^2\left(n\right)+{u_y}^2\left(n\right)+C_1)({{\mathrm{\σ}}_x}^2\left(n\right)+{{\mathrm{\σ}}_y}^2\left(n\right)+C_2)}.$

4.如权利要求1所述的基于视觉特性与结构相似度的图像质量评测方法，其特征在于在步骤3)中，所述提取相对亮度变化引起的权重因子p(n)的方法的具体步骤为：以I_mean为每个32×32方块的亮度均值，视为每个方块block(n)的背景亮度，以127为最佳背景，由分块相对亮度变化引起的权重因子，定义如下：

$p\left(n\right)=k\left|\lg \frac{u_x\left(n\right)}{I_{\mathrm{mean}}}\right|*\sqrt{1-\left|\frac{I_{\mathrm{mean}}-127}{127}\right|}$

式中，k为常数，u_x(n)为各分块block(n)平均亮度，I_mean为背景亮度。

5.如权利要求1所述的基于视觉特性与结构相似度的图像质量评测方法，其特征在于在步骤3)中，所述提取边缘活动性失真引起的权重因子r(n)的方法的具体步骤：是根据人眼对图像边缘轮廓的失真比较敏感的特性，考虑待测图像相对参考图像各方块中，边缘能量的增加或者减少，分析图像边缘活动性的失真情况，包括以下几个步骤：

①选用Sobel水平滤波器g_horizontal(i，j)和垂直滤波器g_vertical(i，j)，提取出图像水平和垂直边缘数据，分别记为R_h(i，j)和R_v(i，j)，定义如下：

R_h(i，j)＝Data(i，j)*g_horizontal(i，j)

R_v(i，j)＝Data(i，j)*g_vertical(i，j)

式中，Data(i，j)为图像像素矩阵，实际操作中，分别为参考图像和待测图像数据矩阵x和y；

②提取边缘梯度矢量，矢量幅度记为R_edge(i，j，k)，即边缘能量大小，定义如下：

$R\_\mathrm{edge}(i,j)=\sqrt{{\left(R_h(i,j)\right)}^2+{\left(R_v(i,j)\right)}^2};$

③对边缘像素进行二值化，提取出边缘的结构信息，记录下边缘像素的具体位置信息，定义如下：

$E_{\mathrm{binary}}(i,j)=\left\{\begin{array}{c}1,\mathrm{ifR}\_\mathrm{edge}(i,j)>\mathrm{value}\\ 0,\mathrm{else}\end{array}\right.$

其中value为图像内的边缘像素的阈值，计算定义如下：

$\mathrm{value}\left(i\right)=\mathrm{imhist}(R\_\mathrm{edge}(i,j)),\mathrm{value}=\frac{\underset{i=0}{\overset{255}{\mathrm{\Σ}}}i*\mathrm{value}\left(i\right)}{\mathrm{Num}}$

imhist(R_edge(i，j))表示边缘图像的直方图，Num表示图像内的像素总数；

④按照步骤①②③分别对待测图像和参考图像提取出二值化的边缘图像Ey_binary(i，j)和Ex_binary(i，j)，统计待测图像和参考图像各分块block(n)中相应的边缘像素个数Ny_binary(n)以及Nx_binary(n)，定义如下：

${\mathrm{Ny}}_{\mathrm{binary}}\left(n\right)=\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}{\mathrm{Ey}}_{\mathrm{binary}}\left(i\right)$

${\mathrm{Nx}}_{\mathrm{binary}}\left(n\right)=\underset{i=1}{\overset{N_{\mathrm{block}}\left(n\right)}{\mathrm{\Σ}}}{\mathrm{Ex}}_{\mathrm{binary}}\left(i\right)$

检测边缘的活动性失真情况，并提取相应的权重系数r(n)定义如下：

$r\left(n\right)=1-\left(\right|\frac{{\mathrm{Ny}}_{\mathrm{binary}}-{\mathrm{Nx}}_{\mathrm{binary}}}{{\mathrm{Ny}}_{\mathrm{binary}}+{\mathrm{Nx}}_{\mathrm{binary}}}\left|\right).$

6.如权利要求1所述的基于视觉特性与结构相似度的图像质量评测方法，其特征在于在步骤3)中，所述提取由于方块面积以及像素频率不同引起的权重因子z(n)的方法，是以32×32方块的面积为基准参照，得由方块面积引起的权重系数，定义如下：

$z\left(n\right)=k_1*\left|\sin (k_2\mathrm{\π}*\sqrt{\frac{A_{\mathrm{block}}\left(n\right)}{A_0}})\right|$

式中，A_block(n)为第n个方块的面积，A₀为32×32的方块面积，k₁，k₂为常数，多次实验表明，k₂＝6/5实验效果比较好，为简化运算k₁取1运算。

7.如权利要求1所述的基于视觉特性与结构相似度的图像质量评测方法，其特征在于在步骤3)中，所述综合权重因子w(n)的确定的方法，是对所述相对亮度变化引起的权重因子p(n)、边缘活动性失真引起的权重因子r(n)、由于方块block(n)面积以及像素频率不同引起的权重因子z(n)三个权重因子的综合，定义w(n)为：

w(n)＝p(n)^α*r(n)^β*z(n)^λ

简化运算可取α＝β＝λ＝1，并对w(n)归一化，定义如下：

$w\left(n\right)=\frac{w\left(n\right)}{\underset{i=1}{\overset{N\_\mathrm{block}}{\mathrm{\Σ}}}w\left(n\right)}$

式中，N_block为图像内总的方块的数目。