CN103996188B - 一种基于Gabor加权特征的全参考型图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于Gabor加权特征的全参考型图像质量评价方法。本发明的具体步骤是：(一)输入失真图像和参考图像；(二)对输入失真图像和参考图像进行二维Gabor变换得到Gabor系数；(三)将失真图像和参考图像的Gabor系数组成矩阵，对其进行主成分分析，得到第一和第二主成分分量；(四)将失真图像和参考图像第一和第二主成分分量组成主成分矩阵，并计算失真图像和参考图像的主成分矩阵之间的相似度及相似度均值；(五)将相似度均值进行加权相加得到客观评价分值。本发明采用Gabor变换和PCA变换对图像进行转换，对相似度均值进行加权相加得到客观评价分值，提高了图像质量评价的精度。

Description

一种基于Gabor加权特征的全参考型图像质量评价方法

(一).技术领域

本发明属于图像处理领域，涉及一种图像质量评价方法，尤其涉及一种基于Gabor加权特征的全参考型图像质量评价方法。

(二).背景技术

图像质量评价方法是图像处理领域的关键问题，图像质量评价可分成主观图像质量评价方法和客观图像质量评价方法。主观评价方法根据观察者的感受进行打分，虽然准确，但存在着成本高昂和费时等缺点，客观图像质量评价方法采用计算模型自动预测图像质量，成本低，耗时短，具有很好的应用价值。客观图像质量评价方法可分成全参考型图像质量评价方法，半参考型图像质量评价方法和无参考型图像质量评价方法。全参考型图像质量评价方法采用完美的，质量很好的图像作为参考图像对图像进行客观质量评价。无参考型图像质量评价方法不采用参考图像，根据图像的特性进行客观质量评价。半参考型图像质量评价方法采用从图像中提取的部分关键信息并结合图像本身的特性进行客观质量评价。本发明涉及一种全参考型图像质量评价方法。

传统的全参考型图像质量评价方法(如峰值信噪比PSNR)采用失真图像和参考图像之间的均方误差作为图像评价的依据，计算简单，但存在着与人眼主观视觉特性不匹配等缺点，在实际场合中得不到广泛应用。针对传统全参考型图像质量评价方法的不足，许多学者提出了改进方法，Wang Zhou(Z.Wang and A.C.Bovik，Image quality assessment：from error visibility to srtuctural similairity，IEEE Transaction on imageprocessing，13，600-612，2004.)等人提出了基于图像结构相似度的结构相似度(SSIM)方法，该方法采用主要图像的结构相似度对图像进行质量评价，但该方法并没有对图像进行变换处理，未充分利用图像中包含的频域信息。Sheikh(H.R.Sheikh and A.C.Bovik，Imageinformation and visual quality，IEEE Transactions on Image Processing，15，430-444，2006.)提出基于视觉信息保真度(VIF)的图像质量评价方法，在确定原始图像和失真图像的统计模型后，采用原始图像和失真图像之间的互信息进行图像质量评价；Mansouri(A.Mansouri，A.Aznaveh，Image qaulity assessment using the singular valuedecomposition theorem，Optical review，16，49-53，2009.)采用基于奇异值分解的图像质量评价方法，该方法对原始图像和失真图像进行奇异值分解后，通过比较得到奇异值差值进行图像质量评价。

(三).发明内容

本发明的目的是提供一种预测更精确的全参考型图像质量评价方法。

本发明采用的具体步骤是：

步骤(1)：对输入失真图像和参考图像进行二维Gabor变换。具体是：

输入失真图像和参考图像，若为输入图像为彩色图像，将彩色图像转换成灰度图像。建立L个二维Gabor滤波器，二维Gabor滤波器有M个尺度和N个方向。因此有L＝M×N。若输入失真图像和参考图像为D(x，y)和R(x，y)，x＝1，2，...，W，y＝1，2，...，H。其中W和H分别为灰度图像的宽度和高度。经过二维Gabor滤波后，得到Gabor系数为G(i，j，m，n)，其中0≤m≤M-1，0≤n≤N-1。

L个二维Gabor滤波器的设计步骤如下：

对于二维离散Gabor滤波器，有如下公式：

x′＝xcosθ_n+ysinθ_n

y′＝ycosθ_n-xsinθ_n

θ_n＝2πn/N，其中n＝o，1，...，N-1。f_m＝a^-mf_max，其中f_max为最高频率，m＝0，1，...，M-1。

构造L＝M×N个Gabor滤波器后，将输入失真图像D(x，y)和参考图像R(x，y)经过L个Gabor滤波器进行滤波，得到Gabor系数G_D(x，y，m，n)和G_R(x，y，m，n)：

G_D(x，y，m，n)＝D(x，y)*f(x，y，f_m，θ_n)

G_R(x，y，m，n)＝R(x，y)*f(x，y，f_m，θ_n)

步骤(2)：对失真图像和参考图像的Gabor系数进行主成份分析(PCA)，得到主成分分析系数，具体是：

若失真图像和参考图像的Gabor系数为G_D(x，y，m，n)和G_R(x，y，m，n)。将Gabor系数矩阵在某一像素点(x，y)的Gabor系数矩阵记为S_D(m，n)和S_R(m，n)，将失真图像和参考图像(x，y)像素点处的M×N维Gabor系数矩阵转换成MN×1维列向量V_D(l)和V_R(l)，其中1≤l≤MN，并进行PCA变换，具体如下：

μ为向量V的均值，φ为协方差矩阵。对φ进行奇异值分解(SVD)得到特征向量，用特征向量组成矩阵ψ，PCA变换即为：V′＝ψ^TV。V′为PCA变换后的主成分分析系数，V′为MN×1维列向量。

步骤(3)：对失真图像和参考图像中每个像素点(x，y)的主成分分析系数向量V′，取出V′的前两个元素V′(1)和V′(2)，组成W×H维矩阵PD₁，PD₂，PR₁和PR₂。其中PD₁和PD₂为失真图像的第一主成份矩阵和第二主成份矩阵，PR₁和PR₂为参考图像的第一主成份矩阵和第二主成份矩阵。

将PD₁，PD₂，PR₁和PR₂分成大小为P×P的块，记为PD₁(n)，PD₂(n)，PR₁(n)和PR₁(n)，其中1≤n≤N，N为参考图像或失真图像中图像块的个数。计算失真图像和参考图像对应像素块的相似度，具体如下：

其中C为根据经验确定的常数，计算图像中所有块相似度的均值，具体如下：

其中N为参考图像和失真图像中图像块的个数，最终的图像客观评价参数计算如下：

S＝ω₁S₁+ω₂S₂+ω₃

步骤(4)：将输入图像分成训练图像和测试图像两类，分别按步骤(1)，(2)和(3)的流程提取出练图像的第一主成份相似度均值S₁和第二主成份相似度均值S₂。将训练图像的S₁，S₂和主观MOS分值DMOS组成训练样本对(S₁，S₂，DMOS)，训练得到加权系数ω₁，ω₂和ω₃，具体如下：

设训练图像的个数为N，将N个图像的第一主成份相似度均值S₁和第二主成份相似度均值S₂组成矩阵如下：

Q_i＝[S₁(i)，S₂(i)，1]^T

P＝[Q₁，Q₂，...，Q_N]

将N个训练图像的主观MOS分值DMOS和加权系数组成矩阵如下：

Y＝[D₁，D₂，...，D_N]W＝[ω₁，ω₂，ω₃]

则有得到W的最小二乘解如下：

步骤(5)：输入测试图像，分别按步骤(1)，(2)和(3)的流程得到测试图像的第一主成份相似度S₁和第二主成份相似度S₂，利用第(4)步计算出的代入以下公式得到测试图像的客观评价分值：

S＝ω₁S₁+ω₂S₂+ω₃

(四).附图说明

图1为基于Gabor变换的全参考型图像质量评价方法流程图。

图2为训练加权系数的流程图。

(五).具体实施方式

以下结合附图和实施实例对本发明详细说明。

图1所示为基于Gabor变换的全参考型图像质量评价方法流程图，图2所示为训练得到图1中相似度加权相加步骤(步骤5)中所需加权系数的流程图。具体实施中，采用LIVE数据库作为实验数据库，将LIVE数据库图像分成二部分：4*5＝20对失真图像和原始参考图像用作测试图像对，作为图1的输入。25*5＝125对失真图像和原始参考图像用作训练图像对，作为图2的输入。

步骤(1)：将训练图像，测试图像和参考图像进行二维Gabor变换，得到Gabor滤波系数。其中选择二维Gabor滤波器有四个方向，三个尺度。采用的滤波器公式如下：

x′＝xcosθ_n+ysinθ_n

y′＝ycosθ_n-xsinθ_n

将二维Gabor滤波器对训练图像，测试图像和参考图像进行滤波，具体是：

G_D(x，y，mn，n)＝D(x，y)*f(x，y，f_m，θ_n)

G_R(x，y，m，n)＝R(x，y)*f(x，y，f_m，θ_n)

滤波后，对于每幅图像的每个像素点可以得到4×3维滤波器系数矩阵。

步骤(2)：对失真图像和参考图像的Gabor系数进行主成份分析(PCA)，得到主成分分析系数：

将失真图像和参考图像(x，y)像素点处的4×3维Gabor系数矩阵转换成12×1维列向量V_D(l)和V_R(l)，其中1≤l≤12，并进行PCA变换：

对φ进行奇异值分解(SVD)得到特征向量，用特征向量组成矩阵ψ，用公式V′＝ψ^TV进行PCA变换。变换后得到12×1维的主成份向量V′。

步骤(3)：对训练图像或测试图像和相应的参考图像中每个像素点(x，y)的主成分分析系数向量V′，取出V′的前两个元素V′(1)和V′(2)，组成W×H维矩阵P1_D，P2_D，P1_R和P2_R。W和H为图像的宽度和高度。将PD₁，PD₂，PR₁和PR₂分成大小为16×16的块，记为PD₁(n)，PD₂(n)，PR₁(n)和PR₁(n)，其中n＝1，2，...，N，计算失真图像和参考图像对应像素块的相似度，其中C＝0.01：

计算图像中所有块相似度的均值，具体如下：

步骤(4)：将训练图像和对应的参考图像按步骤(1)，(2)和(3)提取出第一主成份相似度均值S₁和第二主成份相似度均值S₂，将训练图像的S₁，S₂和主观MOS分值DMOS组成训练样本对(S₁，S₂，DMOS)，训练得到加权系数ω₁，ω₂和ω₃，具体方法如下：

将125幅训练图像的第一主成份相似度均值S₁和第二主成份相似度均值S₂组成矩阵：

Q₁＝[S₁(i)，S₂(i)，1]^TP＝[Q₁，Q₂，...，Q_N]N＝125

将125个训练图像的主观MOS分值DMOS和加权系数组成矩阵：

Y＝[D₁，D₂，...，D_N]W＝[ω₁，ω₂，ω₃]N＝125

得到W的最小二乘解如下：

步骤(5)：输入测试图像和对应的参考图像，分别按步骤(1)，(2)和(3)的流程得到测试图像的第一主成份相似度S₁和第二主成份相似度S₂，利用第(4)步计算出的加权系数代入以下公式得到测试图像的客观评价分值：

S＝ω₁S₁+ω₂S₂+ω₃

步骤(6)：计算测试图像的客观评价分值，该数值与主观评价分值越接近，表示图像质量评价效果越精确。

本发明采用Texas大学的LIVE数据库作为实验数据库，LIVE数据库包括不同内容的29幅原始图像，以及五种不同失真类别的失真图像，分别是JPEG压缩失真(87幅图像)，JPEG2000压缩失真(87幅图像)，高斯模糊失真(145幅图像)，白噪声失真(145幅图像)和信道衰落失真(145幅图像)；同时LIVE数据库提供了每一幅图像的主观查分平均意见分值(DMOS)。为了衡量本发明算法的有效性，采用客观评价分值S和主观查分平均意见分值DMOS之间的一致性作为算法有效性的量度，分别计算S值和DMOS值之间的Pearson相关系数(PCC)，Spearman秩相关系数(SROCC)和线性相关系数(LCC)，这三种相关系数越接近于1，则S值和DMOS值一致性越高，即本发明中的算法预测结果和主观评价结果越接近。

Claims (1)

1.一种基于Gabor加权特征的全参考图像质量评价方法，其特征在于其包含以下步骤：

(1)输入参考图像和失真图像，对输入失真图像和参考图像进行二维Gabor变换，具体步骤如下：

建立L个二维Gabor滤波器，二维Gabor滤波器有M个尺度和N个方向，因此有L＝M×N，对于二维离散Gabor滤波器，有如下公式：

x′＝x cosθ_n+y sinθ_n

y′＝y cosθ_n-x sinθ_n

θ_n＝2πn/N，其中n＝0，1，...，N-1，f_m＝a^-mf_max，其中f_max为最高频率，m＝0，1，...，M-1；

构造L＝M×N个Gabor滤波器后，将输入失真图像D(x，y)和参考图像R(x，y)经过L个Gabor滤波器进行滤波，得到Gabor系数G_D(x，y，m，n)和G_R(x，y，m，n)；

(2)对失真图像和参考图像的Gabor系数进行主成份分析(PCA)，得到主成分分析系数，进行PCA变换的步骤如下：

若失真图像和参考图像的Gabor系数为G_D(x，y，m，n)和G_R(x，y，m，n)，将Gabor系数矩阵在某一像素点(x，y)的Gabor系数矩阵记为S_D(m，n)和S_R(m，n)，将失真图像和参考图像(x，y)像素点处的M×N维Gabor系数矩阵转换成MN×1维列向量V_D(l)和V_R(l)，其中1≤l≤MN，并进行PCA变换，具体如下：

μ为向量V的均值，φ为协方差矩阵，对φ进行奇异值分解(SVD)得到特征向量，用特征向量组成矩阵ψ，PCA变换即为：V′＝ψ^TV，V′为PCA变换后的主成分分析系数，V′为MN×1维列向量；

(3)取出失真图像和参考图像中每个像素点(x，y)的主成分分析系数向量V′的前两个元素，组成第一主成份矩阵和第二主成份矩阵，计算失真图像和参考图像对应像素块的相似度及其均值，具体步骤如下：

其中PD₁和PD₂为失真图像的W×H维第一主成份矩阵和第二主成份矩阵，PR₁和PR₂为参考图像的W×H维第一主成份矩阵和第二主成份矩阵；

将PD₁，PD₂，PR₁和PR₂分成大小为P×P的块，记为PD₁(n)，PD₂(n)，PR₁(n)和PR₁(n)，其中1≤n≤N’，N’为参考图像或失真图像中图像块的个数，计算失真图像和参考图像对应像素块的相似度，具体如下：

其中C为根据经验确定的常数，计算图像中所有块相似度的均值，具体如下：

(4)将训练图像和参考图像提取出第一主成份相似度均值S₁和第二主成份相似度均值S₂，将训练图像的S₁，S₂和差分主观分值(DMOS)组成训练样本对(S₁，S₂，DMOS)，训练得到加权系数ω₁，ω₂，ω₃，具体步骤是：

将训练图像的第一主成份相似度均值S₁和第二主成份相似度均值S₂组成矩阵：

Q_i＝[S₁(i)，S₂(i)，1]^TI＝[Q₁，Q₂，...，Q_N]

将训练图像的主观MOS分值DMOS和加权系数组成矩阵：

Y＝[D₁，D₂，...，D_N]J＝[ω₁，ω₂，ω₃]

其中，D_N为第N幅训练图像的主观MOS分值DMOS；

得到J的最小二乘解如下：

(5)根据得到测试图像的第一主成份相似度S₁和第二主成份相似度S₂，利用加权公式得到测试图像的客观评价分值，得到的客观评价分值越高表示图像质量越好，具体步骤是：

S＝ω₁S₁+ω₂S₁+ω₃

其中S₁，S₂是计算得到的第一相似度和第二相似度，S是预测客观评价分值，ω₁，ω₂，ω₃是训练得到的加权系数。