CN104504676B - 一种多视觉敏感特征相似度的全参考图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于多视觉敏感特征相似度的全参考型图像质量评价方法。本发明的具体步骤是：(一)输入失真图像和参考图像；(二)对失真图像和参考图像提取多角度的梯度特征，并计算梯度相似度；(三)对失真图像和参考图像提取相位特征，并计算相位特征相似度；(四)对失真图像和参考图像提取锐度特征，并计算锐度特征相似度；(五)将梯度相似度、相位相似度和锐度相似度融合成最终的图像质量评价指标。本发明采用对图像提取梯度、相位和锐度等视觉敏感特征，对视觉敏感特征相似度组合得到客观评价参数，提高了全参考图像质量评价的精度。

Description

一种多视觉敏感特征相似度的全参考图像质量评价方法

(一).技术领域

本发明属于图像处理领域，涉及一种图像质量评价方法，尤其涉及一种基于多视觉敏感特征相似度的全参考图像质量评价方法。

(二).背景技术

图像质量评价是图像处理领域的关键问题，图像质量评价方法根据是否有人的参与可分成主观图像质量评价方法和客观图像质量评价方法。主观图像质量评价方法由人对图像进行打分，评价结果精确，但评价过程复杂，耗时时间长，难以得到实时应用。客观图像质量评价方法无需人的参与，通过特定的计算机算法自动预测图像质量，根据是否使用原始无失真图像作为参考，可将图像质量评价方法分成全参考图像质量评价方法，半参考图像质量评价方法和无参考图像质量评价方法。全参考算法使用参考图像的所有信息预测图像质量，半参考图像质量评价方法采用参考图像的部分信息进行图像质量预测，无参考图像质量评价方法不使用参考图像的任何信息进行图像质量评价，本发明设计一种全参考图像质量评价方法。传统的图像质量评价方法采用MSE(均方误差)或PSNR(峰值信噪比)进行图像质量评价，该方法物理意义明确，算法简单，但存在与人眼主观视觉特性不匹配等缺点，在实际场合得不到广泛应用。针对传统全参考图像质量评价方法以上缺点，Wang提出一种基于SSIM(结构相似度)的图像质量评价模型，但SSIM对模糊图像评价效果不太理想，特别是对于严重模糊的图像评价效果与主观视觉感受不符。针对以上全参考图像质量评价方法的不足，本发明提出一种多视觉敏感特征相似度的全参考图像质量评价方法，该方法提取出输入参考图像和失真图像的梯度、相位和锐度等特征，计算参考图像和失真图像之间的梯度、相位和锐度相似度，并将梯度相似度、相位相似度和锐度相似度合成成最终的客观图像质量评价指标。该方法集成了多种视觉敏感特征，具有较好的预测精度。

(三).发明内容

本发明的目的是提供一种预测效果更精确的全参考图像质量评价方法。

本发明的具体步骤是：

步骤(1)：对输入失真图像和参考图像提取梯度特征，并计算梯度相似度，具体步骤是：输入失真图像和参考图像，如输入图像为彩色图像，将彩色图像转换为灰度图像。记输入失真图像为D，记输入参考图像为S，对失真图像和参考图像分别采用Sobel算子提取出梯度信息，其中0°，45°，90°，和135°方向的Sobel算子公式如下：

采用四个方向的Sobel算子分别对输入失真图像D和参考图像S进行滤波，计算公式表示如下：

其中表示二维卷积运算，S₀、S₄₅、S₉₀和S₁₃₅分别是参考图像S经过0°，45°，90°，和135°方向的Sobel算子P₀、P₄₅、P₉₀和P₁₃₅卷积滤波后得到的图像。T₀、T₄₅、T₉₀和T₁₃₅分别是失真图像D经过0°，45°，90°，和135°方向的Sobel算子P₀、P₄₅、P₉₀和P₁₃₅卷积滤波后得到的图像。

步骤(2)：计算失真图像和参考图像提取的多角度梯度特征之间的相似度，分别在0°，45°，90°，和135°方向上计算梯度相似度，采用公式如下：

步骤(3)：计算失真图像和参考图像提取的多角度梯度特征之间的相似度。采用0°，45°，90°，和135°方向的梯度相似度合成最终的合成梯度相似度，采用公式如下：

步骤(4)：对输入失真图像和参考图像提取相位特征，具体是：输入失真图像和参考图像，如输入图像为彩色图像，将彩色图像转换为灰度图像。记输入失真图像为D，记输入参考图像为S，将D和S伸缩成像素为横向和纵向像素大小相等的图像D′和S′。

对失真图像D′和参考图像S′进行二维离散傅立叶变换，用公式表示如下：

根据傅里叶变换系数得到相位信息，采用公式如下：

步骤(5)：计算得到相位相似度信息，并调整其大小到原始尺寸，计算公式如下：

将相位相似度重新从频域变换到空域，得到空域相位相似度，采用傅立叶反变换公式如下：

最后将相位相似度φ(i，j)调整其大小到原始尺寸，得到空域相位相似度P(i，j)，其中(i，j)为图像中某一像素的位置。

步骤(6)：对输入失真图像和参考图像提取锐度特征，具体是：

输入失真图像和参考图像，如输入图像为彩色图像，将彩色图像转换为灰度图像。若输入失真图像记为矩阵D，无失真参考图像记为矩阵S，失真图像中某一像素D(i，j)和参考图像中某一像素S(i，j)的锐度计算如下：

首先，计算失真图像和参考图像(i，j)素处3×3邻域的平均灰度值，采用计算公式如下：

其次，计算失真图像和参考图像(i，j)像素处的最大邻域灰度差值T(i，j)和S(i，j)，以最大邻域灰度差值作为图像的锐度亮度，采用公式如下：

步骤(7)：对输入失真图像和参考图像之间计算锐度相似度，计算失真图像和参考图像的锐度S(i，j)和T(i，j)间的锐度相似度，采用公式如下：

步骤(8)：组合梯度相似度、相位相似度和锐度相似度组成相似度判据，并组合成最终的相似度数值，具体公式如下：

GPS_SSIM(i，j)＝[G(i，j)]^α[P(i，j)]^β[H(i，j)]^γ

(四).附图说明

图1为失真图像和参考图像的特征提取和相似度计算流程图。

(五).具体实施方式

以下结合附图和实施实例对本发明详细说明。

具体采用LIVE数据库作为实验数据库，LIVE数据库包含808幅图像，其中有29幅参考图像，779幅失真图像，失真图像包含了JPEG失真、JPEG2000(JP2K)失真、高斯模糊(Gaussian Blur)、高斯噪声(White Noise)以及快速衰退瑞利通道失真(Fast FadingRayleigh Channel)等五种失真类型。

本发明的具体步骤是：

步骤(1)：输入参考图像和失真图像，对失真图像和参考图像提取多角度下的梯度特征。具体步骤是：输入失真图像和参考图像，如输入图像为彩色图像，将彩色图像转换为灰度图像。记输入失真图像为D，记输入参考图像为S，对失真图像和参考图像分别采用Sobel算子提取出梯度信息，其中0°，45°，90°，和135°方向的Sobel算子公式如下：

采用四个方向的Sobel算子分别对输入失真图像D和参考图像S进行滤波，计算公式表示如下：

其中表示二维卷积运算，S₀、S₄₅、S₉₀和S₁₃₅分别是参考图像S经过0°，45°，90°，和135°方向的Sobel算子P₀、P₄₅、P₉₀和P₁₃₅卷积滤波后得到的图像。T₀、T₄₅、T₉₀和T₁₃₅分别是失真图像D经过0°，45°，90°，和135°方向的sobel算子P₀、P₄₅、P₉₀和P₁₃₅卷积滤波后得到的图像。

步骤(2)：计算失真图像和参考图像提取的多角度梯度特征之间的相似度，具体分别在0°，45°，90°，和135°方向上计算梯度相似度，采用公式如下，其中c值取0.01：

步骤(3)：计算失真图像和参考图像提取的多角度梯度特征之间的相似度。具体采用0°，45°，90°，和135°方向的梯度相似度合成最终的合成梯度相似度，采用公式如下，其中α₁＝1，α₃＝1，α₂＝0.5，α₄＝0.5：

步骤(4)：对输入失真图像和参考图像提取相位特征。具体是：输入失真图像和参考图像，如输入图像为彩色图像，将彩色图像转换为灰度图像。记输入失真图像为D，记输入参考图像为S，采用双线性插值方法将D和S伸缩成像素为256×256大小的图像D′和S′。

对256×256大小的失真图像D′和参考图像S′进行二维离散傅立叶变换，用公式表示如下，其中N＝256：

根据傅里叶变换系数得到相位信息，采用公式如下：

步骤(5)：计算图像D′和图像S′之间的相位相似度，得到相位相似度信息，计算公式如下，其中c值取0.01：

将相位相似度重新从频域变换到空域，得到空域相位相似度P(i，j)，采用傅立叶反变换公式如下，其中N＝256：

采用双线性插值方法将空域相位相似度φ(i，j)伸缩成原始图像大小P(i，j)。

步骤(6)：对输入失真图像和参考图像提取锐度特征，具体是：

输入失真图像和参考图像，如输入图像为彩色图像，将彩色图像转换为灰度图像。若输入失真图像记为矩阵D，无失真参考图像记为矩阵S，失真图像中某一像素D(i，j)和参考图像中某一像素S(i，j)的锐度计算如下：

首先，计算失真图像和参考图像(i，j)像素处邻域的平均灰度值，采用计算公式如下：

然后，计算失真图像和参考图像(i，j)像素处的最大邻域灰度差值T(i，j)和S(i，j)，以最大领域灰度差值作为图像的锐度亮度，采用公式如下：

步骤(7)：对输入失真图像和参考图像之间计算锐度相似度，计算失真图像和参考图像的锐度S(i，j)和T(i，j)间的锐度相似度，采用公式如下，其中c值取0.01：

步骤(8)：组合梯度相似度、相位相似度和锐度相似度组成相似度判据，并组合成的相似度数值，计算组合相似度均值，得到最终的相似度判据。具体公式如下，其中参数取值为α＝1，β＝0.95和γ＝0.85，M、N分别为(i，j)的最大取值，即M为失真图像或参考图像的宽度，N为失真图像或参考图像的高度，失真图像和参考图像的宽度和高度一致：

GPS_SSIM(i，j)＝[G(i，j)]^α[P(i，j)]^β[H(i，j)]^γ

Claims (1)

1.一种基于多视觉敏感特征相似度的全参考图像质量评价方法，其特征在于包含以下步骤：

(1)输入参考图像和失真图像，对失真图像和参考图像提取多角度下的梯度特征，具体步骤如下：

对失真图像和参考图像分别采用0°，45°，90°，和135°方向的Sobel算子提取出梯度信息，采用如下公式：

$S_0=S\⊗P_0;S_{45}=S\⊗P_{45};S_{90}=S\⊗P_{90};S_{135}=S\⊗P_{135};$

$T_0=D\⊗P_0;T_{45}=D\⊗P_{45};T_{90}=D\⊗P_{90};T_{135}=D\⊗P_{135};$

其中D为失真图像，S为参考图像；P₀、P₄₅、P₉₀和P₁₃₅为0°，45°，90°，和135°方向的sobel算子；表示二维卷积运算；S₀、S₄₅、S₉₀和S₁₃₅分别是参考图像S经过0°，45°，90°，和135°方向的Sobel算子P₀、P₄₅、P₉₀和P₁₃₅卷积滤波后得到的图像；T₀、T₄₅、T₉₀和T₁₃₅分别是失真图像D经过0°，45°，90°，和135°方向的Sobel算子P₀、P₄₅、P₉₀和P₁₃₅卷积滤波后得到的图像；

(2)计算失真图像和参考图像提取的多角度梯度特征之间的相似度，采用如下公式，其中c值取0.01：

$\begin{array}{cc}{G}_0(i,j)=\frac{2S_0(i,j)T_0(i,j)+c}{S_0{(i,j)}^2+T_0{(i,j)}^2+c}& G_{45}(i,j)=\frac{2S_{45}(i,j)T_{45}(i,j)+c}{S_{45}{(i,j)}^2+T_{45}{(i,j)}^2+c}\end{array}$

$\begin{array}{cc}{G}_{90}(i,j)=\frac{2S_{90}(i,j)T_{90}(i,j)+c}{S_{90}{(i,j)}^2+T_{90}{(i,j)}^2+c}& G_{135}(i,j)=\frac{2S_{135}(i,j)T_{135}(i,j)+c}{S_{135}{(i,j)}^2+T_{135}{(i,j)}^2+c}\end{array}$

(3)计算失真图像和参考图像提取的多角度梯度特征之间的相似度，将0°，45°，90°，和135°方向的梯度相似度合成最终的合成梯度相似度，采用公式如下，其中α₁＝1，α₃＝1，α₂＝0.5，α₄＝0.5：

$G(i,j)={\[G_0(i,j)\]}^{{\mathrm{\α}}_1}{\[G_{45}(i,j)\]}^{{\mathrm{\α}}_2}{\[G_{90}(i,j)\]}^{{\mathrm{\α}}_3}{\[G_{135}(i,j)\]}^{{\mathrm{\α}}_4}$

(4)对输入失真图像和参考图像提取相位特征，具体采用步骤和公式如下：

将失真图像D和参考图像S伸缩成像素为横向和纵向像素大小相等的图像D′和S′，对图像D′和S′进行二维离散傅里叶变换，并分别得到相位，具体采用公式如下：

其中Y₁(u，v)是图像D′的二维离散傅里叶变换系数；Y₂(u，v)是图像S′的二维离散傅里叶变换系数；和是Y₁(u，v)和Y₂(u，v)的相位；re(·)表示取实部运算，im(·)表示取虚部运算；

(5)计算图像D′和图像S′之间的相位相似度信息，计算公式如下，其中c值取0.01：

最后采用二维傅立叶反变换将相位相似度信息转换到空域，并调整其大小到原始尺寸，得到空域相位相似度P(i，j)，其中(i，j)为图像中某一像素的位置；

(6)对输入失真图像和参考图像提取锐度特征，具体采用步骤和公式如下：

首先，计算失真图像和参考图像(i，j)像素为中心的3×3邻域的平均灰度值，采用计算公式如下：

$\stackrel{\‾}{D(i,j)}=\frac{1}{9}\underset{u=-1}{\overset{1}{\Σ}}\underset{v=-1}{\overset{1}{\Σ}}D(i+u,j+v)$

$\stackrel{\‾}{S(i,j)}=\frac{1}{9}\underset{u=-1}{\overset{1}{\Σ}}\underset{v=-1}{\overset{1}{\Σ}}S(i+u,j+v)$

然后，计算失真图像和参考图像(i，j)像素处的最大邻域灰度差值T(i，j)和S(i，j)，以最大邻域灰度差值作为图像的锐度亮度，采用公式如下：

$T(i,j)=max|D(i+u,j+v)-\stackrel{\‾}{D(i,j)}|,\∀-1\≤u\≤1,-1\≤v\≤1$

$S(i,j)=max|S(i+u,j+v)-\stackrel{\‾}{S(i,j)}|,\∀-1\≤u\≤1,-1\≤v\≤1$

(7)对输入失真图像和参考图像之间计算锐度相似度，具体采用步骤和公式如下，其中c值取0.01：

$H(i,j)=\frac{2S(i,j)T(i,j)+c}{S{(i,j)}^2+T{(i,j)}^2+c}$

(8)组合梯度相似度、相位相似度和锐度相似度组成联合相似度判据，求其均值得到最终的相似度数值，具体公式如下：

GPS_SSIM(i，j)＝[G(i，j)]^α[P(i，j)]^β[H(i，j)]^γ

$GPS\_SSIM=\frac{1}{M\×N}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}GPS\_SSIM(i,j)$

其中α＝1，β＝0.95，γ＝0.85，M、N分别为(i，j)的最大取值，即M为失真图像或参考图像的宽度，N为失真图像或参考图像的高度，失真图像和参考图像的宽度和高度一致。