CN105006001A - 一种基于非线性结构相似度偏差的有参图像的质量评估方法 - Google Patents

Abstract

本发明公开了一种基于非线性结构相似度偏差的有参图像的质量评估方法，本发明先将参照图像和退化图像的RGB颜色图像空间转化成高斯图像空间和灰度图像空间，接着生成局部边缘强度谱和局部梯度谱，再将其非线性归一化，分别计算对应的局部边缘相似度图和局部梯度相似度图，最后通过分析局部相似度图的结构特性，自适应选取相似度偏差小的值为退化图像的质量评估值。本发明对不同模糊、JPEG,噪声等自然图像质量评估有较好的效果，计算简便，高效，可实现性好。

Description

一种基于非线性结构相似度偏差的有参图像的质量评估方法

技术领域

本发明属于图像处理领域，特别是一种基于非线性结构相似度偏差的有参图像的质量评估方法。

背景技术

在图像采集、存储、传递、处理和显示等每个阶段中都可能会引入不同的失真干扰，这些失真干扰一般会造成图像质量的不同层次的下降，从而使得用户无法从众多的图像中选取所需的图像，因此如何有效正确地评估一幅图像的质量越来越引起众多学者的关注。目前评估图像质量方法主要有两大类：主观评估法和客观评估法。主观评估是通过多人评估后得出，与人类视觉特性比较符合，但是它费时费力，受各类因素影响，并且成本高；而客观评估法通过构建一些数学模型代替人类的视觉系统无需干预的对图像进行质量评估，以达到尽可能和人的视觉主观评估结果一致，按照不同评估准则又可分为两种类型：带参图像的评估法和无参图像的评估法。在很多应用中，无参图像虽然可以评估图像的质量，但其应用范围较窄，要求较高，不适合在实际中应用，而参照图像可以提供更多有效的信息，可以准确地评估图像的质量，应用范围比较宽，因此本发明重点研究了有参照图像的质量评估。

近年来，有参图像的质量评估研究领域异常活跃，学者们提出了不少的具有代表性的质量评估算法,这些方法一般可粗分为两类：自底向上和自顶向下。自底向上是指从人的视觉系统对图像质量评价模型进行构建，然后以此模型对退化图像进行质量评估，如Masry提出了基于人类视觉多通道系统的图像质量评估模型，改善了基于单通道的视觉系统模型，提高了图像质量的评估能力(M.A.Masry and S.S.Hemami.A metric for continuousquality evaluation of compressed video with severe distortions.Signal processing-imagecommunication.2004：133-146.)。Wang等人依据人类视觉系统对退化图像和参照图像差进行感知量化后进行评估(Z.Wang and A.C.Bovik,Modern Image QualityAssessment 2006(2))。另一类评估方法是自顶向下进行研究。自顶向下是一种依赖图像结构信息的方法，该类方法以Zhou Wang的结构相似度为代表，该方法同时考虑了亮度相似度、对比度相似度和结构相似度对图像质量的影响(Z.Wang,A.Bovik,H.Sheikh,and E.Simoncelli.Image quality assessment:From error visibility to structural similarity.IEEETransactions on Image Process.,2004，13(4)：600–612)。接着，他们又考虑了多尺度的信息，提出了基于多尺度的结构相似度，提高了评估的准确性(Z.Wang,et al..Multi-scalestructural similarity for image quality assessment.in Signals,Systems andComputers,2003.Conference Record of the Thirty-Seventh Asilomar Conference on,2003,pp.1398-1402Vol.2.)。Cheng将梯度幅度谱，梯度方向谱和对比度引入到构建评估模型中，提出了基于该模型的图像质量评估算法(G.Q.Cheng,J.C.Huang,C.Zhu,Z.Liu and L.Z.Cheng.Perceptual image quality assessment using a geometric structural distortion model.17thIEEE International Conference on Image Processing,2010).Zhang等人通过结合梯度幅度和相位一致性评估退化图像质量(Lin Zhang,Lei Zhang,X.Mou and D.Zhang.FSIM:a feature similarityindex for image quality assessment.IEEE transactions on image process,2011,20(8):2378-2386)。Xue Wufeng等为了提高评估的速度，仅考虑了梯度相似度，通过计算梯度相似度的偏差来评估图像的质量(Wufeng Xue,Lei Zhang，uanqin Mou and C.Bovikc.Gradient MagnitudeSimilarity Deviation:A Highly Efficient Perceptual Image Quality Index.)。这些评估方法对单一失真或退化图像或者失真不严重的图像质量评估较好，对交叉失真或严重失真的图像评估效果不理想。本发明通过同时考虑了高斯图像空间的非线性归一化局部边缘强度图和非线性归一化局部梯度图，提出了基于非线性归一化相似度的图像质量评估方法，实验结果表明提出的方法对多种失真或失真严重的图像评估值较好，和人的视觉一致性较高。

目前，虽然在一些简单的退化图像评估算法已经比较成熟，但在有多种因素引起的退化图像质量评估算法效果不理想。如果能找到较好的图像目标表征方式，将会对多种因素引起的退化图像评估有很大的帮助，除外，评估简便程度、移植性等，都是需要考虑的问题。

发明内容

针对现有技术中存在的问题，本发明提供一种提高表征的有效性、可以提高图像质量评估性，更加符合人的视觉主观性、提高了质量评估鲁棒性，同时计算简便，可实现性好，因此可以很方便应用到计算机，甚至可以移植到嵌入式系统中，可以被广泛地应用于图像传输、图像压缩和图像处理等领域，实现生物特征认证和视频监控等用途的基于非线性结构相似度偏差的有参图像的质量评估方法。

本发明的目的通过以下技术方案实现。

一种基于非线性结构相似度偏差的有参图像的质量评估方法，步骤包括：

1)读取图像：基于获得参照和不同类型退化的图像，首先利用公式 $\left[\begin{array}{c}{E}_I\\ E_{II}\\ E_{III}\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.3& 0.04& -0.35\\ 0.34& -0.6& 0.17\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$ 分别计算每一个高斯颜色分量值，分别将其RGB颜色图像转换成对应的高斯颜色图像，以获取整个RGB颜色图像对应的高斯图像其中，EI,EII,EIII分别表示不同的高斯颜色空间成分,R,G,B分别表示RGB颜色空间中的不同颜色分量；

2)利用公式GE_c(i)＝(E_c*h_x)²(i)+(E_c*h_y)²(i)计算局部图像梯度谱，其中，GE_c(i)表示第i个像素的类梯度幅度谱，c表示高斯颜色空间的分量，在本发明中为I,II,III；h_x和h_y分别表示x方向和y方向的梯度算子，*表示卷积，本文采用的是调整后的Scharr算子，具体如下： $h_x=\left[\begin{array}{ccc}1.00& 3.33& 1.00\\ 0.00& 0.00& 0.00\\ -1.00& -3.33& -1.00\end{array}\right],h_y=\left[\begin{array}{ccc}1.00& 0.00& -1.00\\ 3.33& 0.00& -3.33\\ 1.00& 0.00& -1.00\end{array}\right],$ 利用公式 $E_s\left(i\right)=\sqrt[3]{{\mathrm{\Σ}}_{c=1}^3{\mathrm{GE}}_c\left(i\right)}$ 计算局部高斯边缘强度谱E_s(i)；

3)提取有效特征：首先利用公式 ${\mathrm{GE}}_{c\_l}\left(i\right)={\mathrm{\Σ}}_{c=1}^3\frac{{\mathrm{GE}}_c\left(i\right)-GEM}{r\×GEV},{\mathrm{GG}}_l\left(i\right)=\frac{GG\left(i\right)-GGM}{r\×GGV}$ 将局部图像梯度谱和局部高斯边缘强度谱进行归一化，其中GE_{c_l}(i)和GG_l(i)分别表示第i个像素线性归一化的局部边缘强度谱和归一化的局部灰度梯度谱，GEM和GEV分别表示局部边缘强度谱的均值和标准方差,GEM和GEV分别表示局部梯度谱的均值和标准偏差,r用来控制映射空间的范围；然后利用公式 ${\mathrm{GE}}_{nl}\left(i\right)=\frac{1}{1+e^{-{\mathrm{GE}}_{c-l}\left(i\right)}},{\mathrm{GG}}_{nl}\left(i\right)=\frac{1}{1+e^{-{\mathrm{GG}}_l\left(i\right)}}$ 非线性化，其中GE_nl(i)和GG_nl(i)分别表示第i个像素的非线性归一化后的局部边缘强度谱和非线性归一化后的局部灰度梯度谱，分别提取非线性局部图像梯度结构信息和非线性局部边缘强度结构信息，从而生成有效的局部梯度和边缘强度描述子特征；

4)分别生成局部梯度和边缘强度结构相似度：设和分别是参照图像也退化图像的非线性归一化的局部边缘强度谱，和分别是参照图像也退化图像的非线性归一化的局部梯度谱，则局部边缘强度结构相似度谱 $GESM\left(i\right)=\frac{2{\mathrm{GE}}_{nl}^r\left(i\right)\×{\mathrm{GE}}_{nl}^d\left(i\right)+st}{{\left({\mathrm{GE}}_{nl}^r\right(i\left)\right)}^2+{\left({\mathrm{GE}}_{nl}^d\right(i\left)\right)}^2+st};$ 局部梯度的相似度谱其中，st用来防止分母为0，增强评估的鲁棒性；

5)根据局部梯度和边缘强度相似度谱的结构特性，对比局部梯度相似度谱和边缘强度相似度谱的偏差，选择上述两者较小的偏差作为退化图像质量的评估值。

相比于现有技术，本发明的优点在于：梯度虽然能表征图像的质量特征，但对于亮度不同和噪声不等的退化图像，不符合人的主观感受，降低了质量评估的效果。并且实际采集到的图像偏离图像平均亮度很多，因此为了提高表征的有效性，本发明选择非线性归一化后的局部梯度和边缘强度表征图像，可以提高图像质量评估性，更加符合人的视觉主观性。而本发明自适应选择有效特征表征图像，又进一步提高了质量评估鲁棒性，同时计算简便，可实现性好，因此可以很方便应用到计算机，甚至可以移植到嵌入式系统中。本发明可以被广泛地应用于图像传输、图像压缩和图像处理等领域，实现生物特征认证和视频监控等用途。

附图说明

图1是本发明方法生成非线性归一化的局部边缘强度谱和局部梯度谱示意图。

图2是本发明方法生成的局部结构相似度图谱。

图3是本发明方法在含有噪声的退化图像中生成的局部结构相似度图谱示意图和对应的评估值。

图4是本发明方法在不同压缩比的退化图像中生成的局部结构相似度图谱示意图和对应的评估值。

图5是本发明方法在不同模糊比的退化图像中生成的局部结构相似度图谱示意图和对应的评估值。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

本发明提出基于非线性结构相似度偏差的有参图像的质量评估方法，用来评估图像采集、传输、处理和压缩的图像质量，该方法对含有不同层次噪声的图像、模糊层次不同的图像及压缩层次不同的图像具有较强的有效性，因而也是一种有效的图像质量评估方法。在计算评估图像质量的有效特征时，利用局部梯度谱和边缘强度梯度谱表征图像，特点是有效结合梯度谱和边缘强度谱，计算和参照图像的局部梯度结构相似度谱和局部边缘强度结构相似度谱，自适应选择能有效表征相似度谱的结构特性。

具体而言，本发明首先将常用的RGB颜色空间转换成符合人视觉的高斯颜色空间，即将RGB颜色空间中的参照图像和退化图像转换成高斯颜色空间，接着计算图像的局部梯度谱和边缘强度谱，然后进行非线性归一化，根据归一化后的参照图像和退化图像局部梯度谱和边缘强度谱，分别计算对应的局部梯度结构相似度谱和局部边缘强度结构相似度谱，接着根据不同相似度谱的结构特性，自适应选择合适的图像质量评估值作为最终的退化图像的评估值。

如图1所示，一种基于非线性结构相似度偏差的有参图像的质量评估方法，步骤包括：

1)读取图像：基于获得参照和不同类型退化的图像，首先利用公式 $\left[\begin{array}{c}{E}_I\\ E_{II}\\ E_{III}\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.3& 0.04& -0.35\\ 0.34& -0.6& 0.17\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$ 分别计算每一个高斯颜色分量值，分别将其RGB颜色图像转换成对应的高斯颜色图像，以获取整个RGB颜色图像对应的高斯图像其中，EI,EII,EIII分别表示不同的高斯颜色空间成分,R,G,B分别表示RGB颜色空间中的不同颜色分量；

2)利用公式GE_c(i)＝(E_c*h_x)²(i)+(E_c*h_y)²(i)计算局部图像梯度谱，其中，GE_c(i)表示第i个像素的类梯度幅度谱，c表示高斯颜色空间的分量，在本发明中为I,II,III；h_x和h_y分别表示x方向和y方向的梯度算子，*表示卷积，本文采用的是调整后的Scharr算子，具体如下： $h_x=\left[\begin{array}{ccc}1.00& 3.33& 1.00\\ 0.00& 0.00& 0.00\\ -1.00& -3.33& -1.00\end{array}\right],h_y=\left[\begin{array}{ccc}1.00& 0.00& -1.00\\ 3.33& 0.00& -3.33\\ 1.00& 0.00& -1.00\end{array}\right],$ 局部边缘强度谱和局部灰度梯度谱都能表征图像细节和纹理特征的变化，然而在不同的退化图像中，他们描述细节层次不同，如在一些退化图像中，局部灰度梯度谱描述细节丰富些，局部边缘强度谱描述图像细节稍差一些，反之亦然。利用公式计算局部高斯边缘强度谱E_s(i)，局部灰度梯度谱GG首先将RGB颜色空间转换成灰度图像G_im，然后按照公式GE_c(i)＝(E_c*h_x)²(i)+(E_c*h_y)²(i)计算，这时式中的E_c变成了灰度图像G_im，其他意义相同；

3)提取有效特征：计算归一化边缘强度谱和灰度梯度谱。

图像传输、处理和编码过程中，都会引起不同的图像退化，退化的原因也不同，图像局部梯度化和局部边缘强度谱的范围也不同了，为了有效衡量图像的质量，需要将他们进行非线性归一化。首先利用公式 ${\mathrm{GE}}_{c\_l}\left(i\right)={\mathrm{\Σ}}_{c=1}^3\frac{{\mathrm{GE}}_c\left(i\right)-GEM}{r\×GEV},{\mathrm{GG}}_l\left(i\right)=\frac{GG\left(i\right)-GGM}{r\×GGV}$ 将局部图像梯度谱和局部高斯边缘强度谱进行归一化，其中GE_{c_l}(i)和GG_l(i)分别表示第i个像素线性归一化的局部边缘强度谱和归一化的局部灰度梯度谱，GEM和GEV分别表示局部边缘强度谱的均值和标准方差,GEM和GEV分别表示局部梯度谱的均值和标准偏差,r用来控制映射空间的范围，本申请实施例取4；然后利用公式 ${\mathrm{GE}}_{nl}\left(i\right)=\frac{1}{1+e^{-{\mathrm{GE}}_{c-l}\left(i\right)}},{\mathrm{GG}}_{nl}\left(i\right)=\frac{1}{1+e^{-{\mathrm{GG}}_l\left(i\right)}}$ 非线性化，其中GE_nl(i)和GG_nl(i)分别表示第i个像素的非线性归一化后的局部边缘强度谱和非线性归一化后的局部灰度梯度谱，分别提取非线性局部图像梯度结构信息和非线性局部边缘强度结构信息，从而生成有效的局部梯度和边缘强度描述子特征；

4)分别生成局部梯度和边缘强度结构相似度：根据参照图和退化图像的结构特性，对应局部像素值之间相似性通过通用的余弦相似度计算，也可以采用其他的相似度进行计算，如欧式相似度，马氏相似度等。设和分别是参照图像也退化图像的非线性归一化的局部边缘强度谱，和分别是参照图像也退化图像的非线性归一化的局部梯度谱，则局部边缘强度结构相似度谱局部梯度的相似度谱其中，st用来防止分母为0，增强评估的鲁棒性；

5)根据局部梯度和边缘强度相似度谱的结构特性，对比局部梯度相似度谱和边缘强度相似度谱的偏差，选择上述两者较小的偏差作为退化图像质量的评估值。

为了评估不同退化图像的质量，本发明首先计算局部梯度和边缘强度结构相似度谱的标准偏差，接着结合图像的结构信息，自适应选择有效的标准偏差作为退化图像的评估值。在本发明中，自适应选择的准则非常简单，采用标准偏差最小的为最优，实验结果表明该方法最好，也最符合人的视觉特性，如图2所示，是一幅退化图像的相似度图谱。

图3是利用本发明是对含有不同噪声图像的评估效果图和评估值。从图3中可以观察到，上面图像从左到右添加越来越大的噪声，图像显示效果越来越差，下面图是上面图对应的评估效果图和评估值，图像显示效果越差，对应的效果图显示更多的退化值，对应的评估值就越大。

图4是利用本发明是对含有不同压缩比图像的评估效果图和评估值。从图4中可以观察到，上面图像从左到右压缩比越来越大，图像显示效果越来越差，下面图是上面图对应的评估效果图和评估值，图像显示效果越差，对应的效果图显示更多的退化值，对应的评估值就越大。

图5是利用本发明是对含有不同模糊比图像的评估效果图和评估值。从图5中可以观察到，上面图像从左到右模糊比越来越大，图像显示效果越来越差，下面图是上面图对应的评估效果图和评估值，图像显示效果越差，对应的效果图显示更多的不同退化值，对应的评估值就越大。

图3至图5的效果显示，证明了本发明提出的方法和人的视觉具有良好的一致性。

Claims (3)

1.一种基于非线性结构相似度偏差的有参图像的质量评估方法，其特征在于步骤包括：

1)读取图像：基于获得参照和不同类型退化的图像，利用公式 $\left[\begin{array}{c}{E}_I\\ E_{II}\\ E_{III}\end{array}\right]=\left[\begin{array}{ccc}0.06& 0.63& 0.27\\ 0.3& 0.04& -0.35\\ 0.34& -0.6& 0.17\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$ 分别将其RGB颜色图像转换成对应的高斯颜色图像，其中，EI,EII,EIII分别表示不同的高斯颜色空间成分，R,G,B分别表示RGB颜色空间中的不同颜色分量；

2)利用公式GE_c(i)＝(E_c*h_x)²(i)+(E_c*h_y)²(i)计算局部图像梯度谱，其中，GE_c(i)表示第i个像素的类梯度幅度谱，c表示高斯颜色空间的分量，在本发明中为I,II,III；h_x和h_y分别表示x方向和y方向的梯度算子，*表示卷积，本文采用的是调整后的Scharr算子，具体如下： $h_x=\left[\begin{array}{ccc}1.00& 3.33& 1.00\\ 0.00& 0.00& 0.00\\ -1.00& -3.33& -1.00\end{array}\right],h_y=\left[\begin{array}{ccc}1.00& 0.00& -1.00\\ 3.33& 0.00& -3.33\\ 1.00& 0.00& -1.00\end{array}\right],$ 利用公式 $E_s\left(i\right)=\sqrt[3]{{\mathrm{\Σ}}_{c=1}^3{\mathrm{GE}}_c\left(i\right)}$ 计算局部高斯边缘强度谱

3)提取有效特征：首先利用公式 ${\mathrm{GE}}_{c\_l}\left(i\right)={\mathrm{\Σ}}_{c=1}^3\frac{{\mathrm{GE}}_c\left(i\right)-GEM}{r\×GEV},{\mathrm{GG}}_l\left(i\right)=\frac{GG\left(i\right)-GGM}{r\×GGV}$ 将局部图像梯度谱和局部高斯边缘强度谱进行归一化，其中GE_{c_l}(i)和GG_l(i)分别表示第i个像素线性归一化的局部边缘强度谱和归一化的局部灰度梯度谱，GEM和GEV分别表示局部边缘强度谱的均值和标准方差,GEM和GEV分别表示局部梯度谱的均值和标准偏差,r用来控制映射空间的范围；然后利用公式 ${\mathrm{GE}}_{nl}\left(i\right)=\frac{1}{1+e^{-{\mathrm{GE}}_{c-l}\left(i\right)}},{\mathrm{GG}}_{nl}\left(i\right)=\frac{1}{1+e^{-{\mathrm{GG}}_l\left(i\right)}}$ 非线性化，其中GE_nl(i)和GG_nl(i)分别表示第i个像素的非线性归一化后的局部边缘强度谱和非线性归一化后的局部灰度梯度谱，分别提取非线性局部图像梯度结构信息和非线性局部边缘强度结构信息，从而生成有效的局部梯度和边缘强度描述子特征；

4)分别生成局部梯度和边缘强度结构相似度：设和分别是参照图像也退化图像的非线性归一化的局部边缘强度谱，和分别是参照图像也退化图像的非线性归一化的局部梯度谱，则局部边缘强度结构相似度谱 $GESM\left(i\right)=\frac{2{\mathrm{GE}}_{nl}^r\left(i\right)\×{\mathrm{GE}}_{nl}^d\left(i\right)+st}{{\left({\mathrm{GE}}_{nl}^r\right(i\left)\right)}^2+{\left({\mathrm{GE}}_{nl}^d\right(i\left)\right)}^2+st};$ 局部梯度的相似度谱其中，st用来防止分母为0，增强评估的鲁棒性；

5)根据局部梯度和边缘强度相似度谱的结构特性，生成最终的图像质量评估值。

2.根据权利要求1所述的一种基于非线性结构相似度偏差的有参图像的质量评估方法，其特征在于步骤1)在高斯颜色图像中，首先分别计算每一个高斯颜色分量值，获取整个RGB颜色图像对应的高斯图像。

3.根据权利要求1所述的一种基于非线性结构相似度偏差的有参图像的质量评估方法，其特征在于步骤5)通过对比局部梯度相似度谱和边缘强度相似度谱的偏差，选择上述两者较小的偏差作为退化图像质量的评估值。