CN104394405B - 一种基于全参考图像的客观质量评价方法 - Google Patents

Abstract

本发明涉及一种基于全参考图像的客观质量评价方法，包括以下步骤：1)获取图库中参考图像r的图像信号s_r和与其对应的不同失真类型的失真图像d的图像信号s_d；2)根据获取的s_r和s_d，计算每幅参考图像和失真图像提取向量间的欧几里得距离D_LLM；3)根据欧几里得距离D_LLM计算得到初步客观评价分数M_LLM；4)计算图库中多幅不同失真类型的失真图像的初步客观评价分数M_LLM及其主观评价分数，绘制评分散点图；5)在评分散点图中建立基准线，计算每种失真类型图像的调整值offset(x^k)；6)调整得到待评价的图像的最终客观评价分数与现有技术相比，本发明具有人眼主观评价分高度一致，对各种失真类型有效，拟合曲线连续性良好等优点。

Description

一种基于全参考图像的客观质量评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于全参考图像的客观质量评价方法。

背景技术

图像质量的含义主要包括两个方面：图像的逼真度和图像的可懂度。图像质量直接取决于成像装备的光学性能、图像对比度、仪器噪声等多种因素的影响，通过质量评价可以对影像的获取、处理等各环节提供监控手段。为了对图像处理的各个环节进行合理评估，图像质量评价的研究已经成为图像信息工程的基础技术之一。

多少年来，人们希望能够找出图像逼真度和可懂度的定量测量方法，作为评价图像和设计图像系统的依据，但目前人们对人类视觉特性仍没有充分理解，特别是对人眼视觉的心理特性还难以找出定量的描述方法，因此图像质量评价还有待深入研究。

图像质量的客观评价方法是根据人眼的主观视觉系统建立数学模型，并通过具体的公式计算图像的质量。对图像质量进行客观评价时，根据对原始无失真图像依赖程度的不同，可将图像质量的客观评价算法分成三类：全参考(Full Reference，FR)图像质量评价、半参考(Reduced Reference，RR)图像质量评价和无参考(NoReference，NR)图像质量评价。全参考图像质量评价主要是将失真图像和参考图像逐像素进行比较，得出对失真图像的评价；半参考的图像质量评价是从原始图像和失真图像中分别提取图像的有效特征，如图像的梯度和直方图，通过对有效特征进行比较，得出对失真图像的评价；无参考的图像质量评价则无需任何参考图像的信息，直接提取失真图像的某些失真因素特征，如图像的边界强度、噪声率、模糊度等，给出失真图像的客观质量评价。

图像质量评价最终取决于观察者的感觉，所以不论采用上述哪种客观评价方法，目标都是追求客观评价结果与人的主观评价尽可能的一致，即客观评价要以主观评价为准则。客观评价方法的优点是速度快、费用低、应用领域广，评价结果具有重现性，不受主观因素的影响。缺点是目前只能在某些方面有限度的模仿人眼的主观视觉系统，常会出现与主观评价结果不一致的情况，不同的模型依据具体的应用领域进行不同的条件假设，难以建立适用于任何领域的数学模型。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于全参考图像的客观质量评价方法。

本发明的目的可以通过以下技术方案来实现：

一种基于全参考图像的客观质量评价方法，包括以下步骤：

1)获取图库中参考图像r的图像信号s_r和与其对应的不同失真类型的失真图像d的图像信号s_d；

2)根据获取的s_r和s_d，计算每幅参考图像和失真图像提取向量间的欧几里得距离D_LLM，即初步质量评价分数；

3)根据欧几里得距离D_LLM计算得到初步客观评价分数M_LLM；

4)根据步骤1)-3)计算图库中多幅不同失真类型的失真图像的初步客观评价分数M_LLM，并获取对应的主观评价分数，绘制评分散点图；

5)在评分散点图中选定基准点和基准斜率，建立基准线，计算每种失真类型图像的调整值offset(x^k)；

6)根据步骤1)-3)计算待评价的失真图像的初步客观评价分数，通过对应失真类型的调整值offset(x^k)，调整得到待评价的图像的最终客观评价分数

所述的步骤2)具体包括以下步骤：

21)根据s_r和s_d，建立局部线性模型，局部线性模型公式为：

$\left\{\begin{array}{c}{G}_r=l_r\·s_r+{\mathrm{\ζ}}_r\\ G_d=l_d\·s_d+{\mathrm{\ζ}}_d\end{array}\right.$

其中，l_r为参考图像符合HVS感知特性的提取向量，l_d为失真图像符合HVS感知特性的提取向量，G_r为参考图像的输出信号，G_d为失真图像的输出信号，ζ_r为参考图像线性偏移值，ζ_d为失真图像线性偏移值；

22)根据l_r和l_d的代价函数E(l_◇)求解局部线性模型，E(l_◇)的表达式为：

其中，ω为7×7的局部滑动窗口，l_◇为局部线性模型的解，即提取向量，◇的取值为r或d，α为惩罚因子，|ω|为滑动窗口ω包含的像素数量，m_◇为均值，σ_◇为方差，η为局部滑动窗口包含的像素；

23)根据局部线性模型的解，计算l_r和l_d间的欧几里得距离D_LLM，即初步质量评价分数，D_LLM的计算式为：

$D_{LLM}=\frac{\underset{i=1}{\overset{N}{\Σ}}{(l_r^i-l_d^i)}^2}{N}$

其中，为参考图像r对应感知向量l_r的第i个元素，为失真图像d对应感知向量l_d的第i个元素，N为感知向量l_r和l_d的元素总数。

所述的步骤3)中初步客观评价分数M_LLM的计算式为：

$M_{LLM}=log\left(\frac{1}{\mathrm{\λ}\·max(t,D_{LLM})}\right)$

其中，λ为尺度参数，t为阈值。

所述的步骤4)中建立的评分散点图的步骤为：

以多幅不同失真类型的失真图像的主观评价分数作为纵坐标y，并以其初步客观评价分数M_LLM作为横坐标x，绘制评分散点图。

所述的步骤5)具体包括以下步骤：

51)根据评分散点图，通过K-Means聚类算法计算出每种失真类型的聚类中心k为第k种失真类型，为每种失真类型的聚类中心的横纵坐标；

52)选定一个聚类中心(x^b,y^b)，x^b,y^b为这个聚类中心的横纵坐标，并且通过JPEG2K数据的一次拟合线斜率作为斜率γ作出基准线C_b；

53)根据基准线C_b计算每种失真类型图像的调整值offset(x^k)，offset(x^k)的计算式为：

$offset\left(x^k\right)=\frac{{\stackrel{\‾}{y}}^k-y^b}{\mathrm{\γ}}+x^b-{\stackrel{\‾}{x}}^k.$

所述的步骤6)中待评价图像的最终客观评价分数的计算式为：

$\left\{\begin{array}{c}new\left(x_j^k\right)=offset\left(x^k\right)+x_j^k\\ new\left(y_j^k\right)=y_j^k\end{array}\right.$

其中，为第k种失真类型的第j张图像的横坐标，即待评价图像的初步客观评价分数，为调整后的横坐标，即待评价图像的最终客观评价分数；和分别为调整前后的纵坐标。

与现有技术相比，本发明具有以下优点：

一、人眼主观评价分高度一致，本发明的客观评价分与各大权威图像质量评价数据库提供的主观评价分一致性良好，4个评价一致性是否良好的指标均领先现有算法。

二、对各种失真类型有效，本发明不存在只对某几种失真类型的图像有效的情况，而是对在图像质量评价领域已进行主观评价的所有失真类型均能有效预测。

三、拟合曲线连续性良好，连续性与线性度良好，从散点图可以看出，本发明的质量预测分的散点分布连续性良好，其拟合曲线的连续性、单调性、线性度也均良好。

附图说明

图1为本发明的方法流程图。

图2为本调整环节的说明性散点图，其中，图(2a)为调整前散点图，图(2b)为调整后散点图。

图3为本发明的散点拟合曲线图，其中，图(3a)为TID2013据库中的散点拟合曲线图，图(3b)为TID2008据库中的散点拟合曲线图，图(3c)为CSIQ据库中的散点拟合曲线图，图(3d)为LIVE据库中的散点拟合曲线图。

具体实施方式

下面结合上述步骤和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。具体实施步骤如下：

如图1所示，一种基于全参考图像的客观质量评价方法，包括以下步骤：

1)获取图库中参考图像r的图像信号s_r和与其对应的不同失真类型的失真图像d的图像信号s_d；

2)根据获取的s_r和s_d，计算每幅参考图像和失真图像提取向量间的欧几里得距离D_LLM，即初步质量评价分数，具体包括以下步骤：

21)根据s_r和s_d，建立局部线性模型，局部线性模型公式为：

$\left\{\begin{array}{c}{G}_r=l_r\·s_r+{\mathrm{\ζ}}_r\\ G_d=l_d\·s_d+{\mathrm{\ζ}}_d\end{array}\right.$

其中，l_r为参考图像符合HVS感知特性的提取向量，l_d为失真图像符合HVS感知特性的提取向量，G_r为参考图像的输出信号，G_d为失真图像的输出信号，ζ_r为参考图像线性偏移值，ζ_d为失真图像线性偏移值；

22)根据l_r和l_d的代价函数E(l_◇)求解局部线性模型，E(l_◇)的表达式为：

其中，ω_k为7×7的局部滑动窗口，l_◇为局部线性模型的解，即提取向量，◇的取值为r或d，α为惩罚因子，|ω_k|为滑动窗口ω_k包含的像素数量，为均值，为方差；

23)根据局部线性模型的解，计算l_r和l_d间的欧几里得距离D_LLM，即初步质量评价分数，D_LLM的计算式为：

$D_{LLM}=\frac{\underset{i=1}{\overset{N}{\Σ}}{(l_r^i-l_d^i)}^2}{N}$

其中，为参考图像r对应感知向量l_r的第i个元素，为失真图像d对应感知向量l_d的第i个元素，N为感知向量l_r和l_d的元素总数。

3)根据欧几里得距离D_LLM计算得到初步客观评价分数M_LLM，初步客观评价分数M_LLM的计算式为：

$M_{LLM}=log\left(\frac{1}{\mathrm{\λ}\·max(t,D_{LLM})}\right)=max\left(t^{\′},log\left(\frac{N}{\mathrm{\λ}\·\underset{i=1}{\overset{N}{\Σ}}{(l_r^i-l_d^i)}^2}\right)\right)$

t′＝-log(λ·t)

其中，λ为尺度参数，t与t′为阈值。

4)根据步骤1)-3)计算图库中多幅不同失真类型的失真图像的初步客观评价分数M_LLM及其主观评价分数，绘制评分散点图，建立的评分散点图的步骤为：

如图2所示，以多幅不同失真类型的失真图像的主观评价分数作为纵坐标y，并以其初步客观评价分数M_LLM作为横坐标x，绘制评分散点图。

5)在评分散点图中选定基准点和基准斜率，建立基准线，计算每种失真类型图像的调整值offset(x^k)，具体包括以下步骤：

51)根据评分散点图，通过K-Means聚类算法计算出每种失真类型的聚类中心k为第k种失真类型；

52)选定一个聚类中心(x^b,y^b)，并且通过JPEG2K数据的一次拟合线斜率作为斜率γ作出基准线C_b；

53)根据基准线C_b计算每种失真类型图像的调整值offset(x^k)，offset(x^k)的计算式为：

$offset\left(x^k\right)=\frac{{\stackrel{\‾}{y}}^k-y^b}{\mathrm{\γ}}+x^b-{\stackrel{\‾}{x}}^k.$

6)根据步骤1)-3)计算待评价的失真图像的初步客观评价分数，通过对应失真类型的调整值offset(x^k)，调整得到待评价的图像的最终客观评价分数待评价图像的最终客观评价分数的计算式为：

$\left\{\begin{array}{c}new\left(x_j^k\right)=offset\left(x^k\right)+x_j^k\\ new\left(y_j^k\right)=y_j^k\end{array}\right.$

其中，为第k种失真类型的第j张图像的横坐标，即待评价图像的初步客观评价分数，为调整后的横坐标，即待评价图像的最终客观评价分数；和分别为调整前后的纵坐标。

实施例：

选定一张失真图像d与其参考图像r作为输入信号，利用滤波器来计算对应的感知特性向量l_r和l_d，下面选取参考图像r进行说明(d的做法与r一样)：

采取累积和的方式对参考图像r进行二维滤波，相当于计算每个像素位置半径为7的滑动窗口内所有元素的平方和均值，记为r_k；

计算滑动窗口内所有元素均值的平方，记为m_k；

计算滑动窗口内的方差

设定惩罚因子α为0.01；

向量l_r的第k个元素如下进行计算：

${l_r}^k=\frac{r_k-m_k}{{\left({\mathrm{\σ}}_r^k\right)}^2+\mathrm{\α}}$

求得向量l_r与l_d之间的的欧几里得距离D_LLM，并依照步骤二中公式求得M_LLM作为失真图像d的初步客观评价分数，此处λ的取值为255，t′的取值为0.001。

如图2所示，已经获取了失真图像d的初步质量评价分M_LLM，下面根据不同失真类型质量分的分布特点对这个分数进行调整，这里详述3种失真类型(A，B，C)的操作方法，调整方法如下：

利用聚类算法计算出每种失真类型散点集合的聚类中心：CA，CB，CC：

选定一个聚类中心CA，并且设定一条基准线C_b；

通过水平方向平移使所有聚类中心移动到基准线C_b上；

将所有点依据(c)中结果进行校准，计算方式如下：

new(A_i)＝A_i

new(B_i)＝B_i+(CB_y-CA_y)/γ+CA_x-CB_x

new(C_i)＝C_i+(CB_y-CA_y)/γ+CA_x-CB_x

其中，下标x，y分别表示该聚类中心的横纵坐标，i表示元素序号，γ为C_b斜率，这里选取为JPEG2K数据的一次拟合线斜率作为γ取值。

为了验证本发明的性能，本发明(LLM)在四个公开的权威数据库(TID2013、TID2008、CSIQ、LIVE)上进行了实验，并且与现在性能较为先进的6种全参考图像质量评估方法进行了分析比较。

表1中详细说明了每个数据库的各个指标，包括：参考图片组数，失真图片数量，失真类型，观察者数量。每个指标越高则理论上可靠性越强。

表2中每个指标下性能最好的两组数据被加粗表示。4个性能指标中SROCC与KROCC用来衡量图像质量评价算法与人眼主观评价的一致性，PLCC用来衡量线性度，RMSE用来衡量离散度。其中，SROCC、KROCC、PLCC指标数值越大说明表现越优秀，RMSE则相反。从表1可以看出，本发明具有良好的适应性，在每一个数据库里的表现都非常高性能。TID2013、TID2008、CSIQ、LIVE分别包含3000,1700,866,779组参考图像与失真图像，本发明在难度最大的TID2013上表现尤为优秀，并且加权平均后算法性能比其他6个算法均有不同程度的提高。

图3为本发明在TID2013、TID2008、CSIQ、LIVE4个权威数据库中的散点拟合曲线图，可以清晰的看到，散点均分布在拟合线的附近并且呈良好的单调性与连续性。

表1图片质量评价权威数据库指标

数据库	参考图片组数	失真图片数量	失真类型数量	观察者
					TID2013	25	3000	24	971
TID2008	25	1700	17	838
					CSIQ	30	866	6	35
LIVE	29	779	5	161

表2本发明与其他算法性能对比表

Claims (5)

1.一种基于全参考图像的客观质量评价方法，其特征在于，包括以下步骤：

1)获取图库中参考图像r的图像信号s_r和与其对应的不同失真类型的失真图像d的图像信号s_d；

2)根据获取的s_r和s_d，计算每幅参考图像和失真图像提取向量间的欧几里得距离D_LLM，即初步质量评价分数，所述的步骤2)具体包括以下步骤：

21)根据s_r和s_d，建立局部线性模型，局部线性模型公式为：

$\left\{\begin{array}{c}{G}_r=l_r\·s_r+{\mathrm{\ζ}}_r\\ G_d=l_d\·s_d+{\mathrm{\ζ}}_d\end{array}\right.$

其中，l_r为参考图像符合HVS感知特性的提取向量，l_d为失真图像符合HVS感知特性的提取向量，G_r为参考图像的输出信号，G_d为失真图像的输出信号，ζ_r为参考图像线性偏移值，ζ_d为失真图像线性偏移值；

22)根据l_r和l_d的代价函数求解局部线性模型，的表达式为：

其中，ω为7×7的局部滑动窗口，为局部线性模型的解，即提取向量，的取值为r或d，α为惩罚因子，|ω|为滑动窗口ω包含的像素数量，为均值，为方差，η为局部滑动窗口包含的像素；

23)根据局部线性模型的解，计算l_r和l_d间的欧几里得距离D_LLM，即初步质量评价分数，D_LLM的计算式为：

$D_{LLM}=\frac{\underset{i=1}{\overset{N}{\Σ}}{(l_r^i-l_d^i)}^2}{N}$

其中，为参考图像r对应感知向量l_r的第i个元素，为失真图像d对应感知向量l_d的第i个元素，N为感知向量l_r和l_d的元素总数；

3)根据欧几里得距离D_LLM计算得到初步客观评价分数M_LLM；

4)根据步骤1)-3)计算图库中多幅不同失真类型的失真图像的初步客观评价分数M_LLM，并获取对应的主观评价分数，绘制评分散点图；

5)在评分散点图中选定基准点和基准斜率，建立基准线，计算每种失真类型图像的调整值offset(x^k)；

6)根据步骤1)-3)计算待评价的失真图像的初步客观评价分数，通过对应失真类型的调整值offset(x^k)，调整得到待评价的图像的最终客观评价分数

2.根据权利要求1所述的一种基于全参考图像的客观质量评价方法，其特征在于，所述的步骤3)中初步客观评价分数M_LLM的计算式为：

$M_{LLM}=log\left(\frac{1}{\mathrm{\λ}\·max(t,D_{LLM})}\right)$

其中，λ为尺度参数，t为阈值。

3.根据权利要求1所述的一种基于全参考图像的客观质量评价方法，其特征在于，所述的步骤4)中建立的评分散点图的步骤为：

以多幅不同失真类型的失真图像的主观评价分数作为纵坐标y，并以其初步客观评价分数M_LLM作为横坐标x，绘制评分散点图。

4.根据权利要求1所述的一种基于全参考图像的客观质量评价方法，其特征在于，所述的步骤5)具体包括以下步骤：

51)根据评分散点图，通过K-Means聚类算法计算出每种失真类型的聚类中心k为第k种失真类型，为每种失真类型的聚类中心的横纵坐标；

52)选定一个聚类中心(x^b,y^b)，x^b,y^b为这个聚类中心的横纵坐标，并且通过JPEG2K数据的一次拟合线斜率作为斜率γ作出基准线C_b；

53)根据基准线C_b计算每种失真类型图像的调整值offset(x^k)，offset(x^k)的计算式为：

$offset\left(x^k\right)=\frac{{\stackrel{\‾}{y}}^k-y^b}{\mathrm{\γ}}+x^b-{\stackrel{\‾}{x}}^k.$

5.根据权利要求1所述的一种基于全参考图像的客观质量评价方法，其特征在于，所述的步骤6)中待评价图像的最终客观评价分数的计算式为：

$\left\{\begin{array}{c}new\left(x_j^k\right)=offset\left(x^k\right)+x_j^k\\ new\left(y_j^k\right)=y_j^k\end{array}\right.$

其中，为第k种失真类型的第j张图像的横坐标，即待评价图像的初步客观评价分数，为调整后的横坐标，即待评价图像的最终客观评价分数；和分别为调整前后的纵坐标。