CN105208374A - 一种基于深度学习的无参考图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的无参考图像质量客观评价方法，其将待评价的失真图像进行多分辨率金字塔和高斯差分分解后，对子带图像做简单的局部归一化就可以提取自然统计特征，不需要到变换域提取特征，从而复杂度大幅降低；本发明方法无需参考图像、无需失真类型，用自然统计特性的丢失程度衡量图像的失真程度；本发明方法能够客观地反映图像受到各种图像处理和压缩方法影响下视觉质量的变化情况，并且本发明方法的评价性能不受图像内容和失真类型的影响，与人眼的主观感知一致；采用现有的L矩估计方法估计灰度直方图的包络曲线的分布参数，估计得到的分布参数更加准确，具有更强的泛化能力。

Description

一种基于深度学习的无参考图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于深度学习的无参考图像质量客观评价方法。

背景技术

图像质量评价(imagequalityassessment，IQA)是很多图像处理应用中不可或缺的部分。客观图像质量评价模型是能自动预测图像失真程度的算法，通常用于监控多媒体服务，确保终端用户获得满意的体验质量。根据原始参考图像是否可用，客观图像质量评价通常可以划分为三类，分别是全参考图像质量评价、半参考图像质量评价、无参考图像质量评价(blindimagequalityassessment，BIQA)。无参考图像质量评价方法能在没有参考图像和不知道失真类型的情况下预测图像的感知质量，是最具挑战性也是最实用的方法，因为在很多应用场合都无法获得参考图像。最高效的无参考图像质量评价模型都建立在自然统计特性(naturalscenestatistics，NSS)上，无失真的自然图像的分布具有稳定的分布形状，而这个分布形状在图像质量衰减时会被破坏或改变，这个性质可以用于预测待测图像的质量。目前，已有的基于NSS的无参考图像质量评价方法通常是在两步框架下实现的：首先提取失真图像的自然统计特征，然后采用基于机器学习方法的质量预测模型预测失真图像的客观质量，其中，基于机器学习方法的质量预测模型是在由带有主观分数的失真图像构成的训练集上经过训练得到的。

现有的基于NSS的无参考图像质量评价方法大多是从不同的变换域中提取自然统计特征，如Moorthy等人从小波域提取NSS特征，提出了盲图像质量评价(BlindImageQualityIndex，BIQI)及其改进算法即基于失真分类的图像真实性和完整性评估(DistortionIdentification-basedImageVerityandINtegrityEvaluation，DIIVINE)；Saad等人在DCT域提出了改进的基于DCT统计特性的盲图像完整性评价(BLindImageIntegrityNotatorusingDCTStatistics-II，BLIINDS-II)；Liu等人用局部空域和频域熵作为特征提出了基于时空域熵的质量评价(Spatial–SpectralEntropy-basedQualityindex，SSEQ)；但是，一方面，这些方法的时间复杂度都非常高，不利于实时应用；另一方面，这些方法都需要机器学习方法训练预测模型，常用的机器学习方法有神经网络、支持向量基、随机森林等，然而由于这些机器学习方法都是浅层学习方法，通常由单层或双层非线性特征转换层构成，因此这些机器学习方法在将特征映射到真实标签时不够准确，而且众所周知，人类视觉机制是非常复杂的，很难被浅层学习方法很好的表达。Hou等人训练了一个深信网络(Deepbeliefnetwork，DBN)分类模型用于预测图像的质量；Gu等人提取了大量的统计特性并训练了一个堆栈自编码器(Stackedauto-encoder，SAE)用于回归；这些方法都是基于深度学习的无参考图像质量评价方法，但是这些方法的评价准确性较低，说明经典深度学习模型无法直接应用于图像质量评价。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的无参考图像质量客观评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于深度学习的无参考图像质量客观评价方法，其特征在于包括以下步骤：

①令I_dis表示待评价的失真图像，将I_dis的亮度分量图像记为I_light；

②采用m个尺度的多分辨率金字塔对I_light进行分解，得到I_light的m幅第一子带图像，将I_light的第i幅第一子带图像记为I_light,i；然后采用n个尺度的高斯差分对I_light的每幅第一子带图像进行再次分解，得到I_light的每幅第一子带图像的n幅第二子带图像，将I_light,i的第j幅第二子带图像记为I_light,i,j；其中，m≥1，i的初始值为1，1≤i≤m，n≥1，j的初始值为1，1≤j≤n；

③对I_light对应的m×n幅第二子带图像分别进行局部归一化处理，得到I_light对应的每幅第二子带图像的归一化图像，将I_light,i,j的归一化图像记为

④统计I_light对应的每幅第二子带图像的归一化图像的灰度直方图，将的灰度直方图记为{X_light,i,j(k)|1≤k≤256}，其中，X_light,i,j(k)表示中像素值属于第k个像素值区间的像素点的总个数，对应的256个像素值区间的获取过程为：将中像素值的最小值和最大值对应记为pix_min和pix_max，然后将区间[pix_min,pix_max]等间隔划分为256个子区间，再将区间[pix_min,pix_max]中的第k个子区间作为对应的第k个像素值区间；

⑤估计I_light对应的每幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，将{X_light,i,j(k)|1≤k≤256}的包络曲线的四个分布参数依次记为

⑥将I_light对应的共4×m×n个分布参数按序排列构成的集合作为I_light的自然统计特征集，记为F， $F=\left\{l_{light,1,1}^{\left(1\right)},l_{light,1,1}^{\left(2\right)},l_{light,1,1}^{\left(3\right)},l_{light,1,1}^{\left(4\right)},\mathrm{...},l_{light,1,n}^{\left(1\right)},l_{light,1,n}^{\left(2\right)},l_{light,1,n}^{\left(3\right)},l_{light,1,n}^{\left(4\right)},l_{light,2,1}^{\left(1\right)},l_{light,2,1}^{\left(2\right)},l_{light,2,1}^{\left(3\right)},l_{light,2,1}^{\left(4\right)},\mathrm{...},l_{light,m,n}^{\left(1\right)},l_{light,m,n}^{\left(2\right)},l_{light,m,n}^{\left(3\right)},l_{light,m,n}^{\left(4\right)}\right\}$ ，其中，表示I_light的第1幅第一子带图像的第1幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，表示I_light的第1幅第一子带图像的第n幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，表示I_light的第2幅第一子带图像的第1幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，表示I_light的第m幅第一子带图像的第n幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数；

⑦采用d幅原始的无失真图像，建立其在不同失真类型不同失真程度下的失真图像集合，将该失真图像集合作为训练集，训练集包括多幅失真图像；然后利用主观质量评价方法评价出训练集中的每幅失真图像的平均主观意见分，将训练集中的第t幅失真图像的平均主观意见分记为MOS_t；再按照步骤①至步骤⑥的过程，以相同的方式获取训练集中的每幅失真图像的亮度分量图像的自然统计特征集，将训练集中的第t幅失真图像的亮度分量图像的自然统计特征集记为F_t；其中，d≥1，1≤t≤T，T表示训练集中包含的失真图像的总幅数，MOS_t∈[0,5]；

⑧采用深度学习中的堆栈自编码器算法对训练集中的所有失真图像各自对应的自然统计特征集和平均主观意见分进行训练，使得经过训练得到的预测质量值与对应的平均主观意见分之间的误差最小，训练得到基于深度学习的回归模型；其中，堆栈自编码器由一个输入层、三个稀疏自编码层和一个线性回归层构成，输入层输入的是训练集中的每幅失真图像的亮度分量图像的自然统计特征集，输入层有4×m×n个节点，三个稀疏自编码层对输入的自然统计特征集进行深度表达，三个稀疏自编码层依次有200个节点、100个节点、100个节点，线性回归层输出的是训练集中的每幅失真图像的预测质量值，线性回归层只有一个节点；

⑨将基于深度学习的回归模型中的一个输入层和三个稀疏自编码层构成深度表达模型；然后利用深度表达模型对F进行深度表达，得到I_light的深度特征集，记为F^d，F^d＝MOD_SAE(F)，并利用深度表达模型对训练集中的每幅失真图像的亮度分量图像的自然统计特征集进行深度表达，得到训练集中的每幅失真图像的亮度分量图像的深度特征集，将训练集中的第t幅失真图像的亮度分量图像的深度特征集记为 其中，MOD_SAE()为深度表达模型的函数表示形式；

⑩采用支持向量回归算法，对训练集中的所有失真图像各自对应的深度特征集和平均主观意见分进行训练，使得经过训练得到的回归函数值与对应的平均主观意见分之间的误差最小，训练得到支持向量回归模型；然后利用支持向量回归模型对F^d进行测试，预测得到I_dis的客观质量评价预测值，记为Q_dis，Q_dis＝MOD_SVR(F^d)，其中，MOD_SVR()为支持向量回归模型的函数表示形式。

所述的步骤②中的 $I_{light,i,j}=\left\{\begin{array}{cc}{G}_j\left({\mathrm{\σ}}_j\right)\⊗I_{light,i}-G_{j+1}\left({\mathrm{\σ}}_{j+1}\right)\⊗I_{light,i}& 1\≤j\≤n-1\\ G_j\left({\mathrm{\σ}}_j\right)\⊗I_{light,i}& j==n\end{array}\right.,$ 其中，符号为卷积符号，G_j()表示第j个高斯函数，G_j+1()表示第j+1个高斯函数，G_j(σ_j)表示G_j()的尺度系数为σ_j时的高斯卷积核，G_j+1(σ_j+1)表示G_j+1()的尺度系数为σ_j+1时的高斯卷积核，假设G_j(σ_j)和G_j+1(σ_j+1)的大小均为c×c，则将G_j(σ_j)中位置为(x,y)处的值记为G_j(x,y；σ_j)，将G_j+1(σ_j+1)中位置为(x,y)处的值记为G_j+1(x,y；σ_j+1)，

$G_j(x,y;{\mathrm{\σ}}_j)=\frac{1}{2{\mathrm{\π\σ}}_j^2}\exp \left(-\frac{{(x-\frac{c}{2})}^2+{(y-\frac{c}{2})}^2}{2{\mathrm{\σ}}_j^2}\right),$ $G_{j+1}(x,y;{\mathrm{\σ}}_{j+1})=\frac{1}{2{\mathrm{\π\σ}}_{j+1}^2}\exp \left(-\frac{{(x-\frac{c}{2})}^2+{(y-\frac{c}{2})}^2}{2{\mathrm{\σ}}_{j+1}^2}\right),$ exp()表示以自然基数e为底的指数函数，1≤x≤c,1≤y≤c，c＝7，σ_j＝1.6^j-2，σ_j+1＝1.6^j+1-2。

所述的步骤③中采用尺寸大小为(P-(-P)+1)×(Q-(-Q)+1)的滑动窗口对I_light对应的每幅第二子带图像进行局部归一化处理；将中坐标位置为(u,v)的像素点的像素值记为 ${\tilde{I}}_{light,i,j}(u,v)=\frac{I_{light,i,j}(u,v)-{\mathrm{\μ}}_{light,i,j}(u,v)}{{\mathrm{\σ}}_{light,i,j}(u,v)+1},$ 其中，P∈[1,5],Q∈[1,5]且P＝Q，1≤u≤W,1≤v≤H，W和H对应表示I_light,i,j的宽度和高度，I_light,i,j(u,v)表示I_light,i,j中坐标位置为(u,v)的像素点的像素值， ${\mathrm{\σ}}_{light,i,j}(u,v)=\sqrt{\underset{p=-P}{\overset{P}{\Σ}}\underset{q=-Q}{\overset{Q}{\Σ}}{\left(I_{light,i,j}\right(u+p,v+q)-{\mathrm{\μ}}_{light,i,j}(u,v\left)\right)}^2},$ I_light,i,j(u+p,v+q)表示I_light,i,j中坐标位置为(u+p,v+q)的像素点的像素值，-P≤p≤P，-Q≤q≤Q。

所述的步骤⑤中的分布参数的估计采用L矩估计方法。

所述的步骤⑤中的 $l_{light,i,j}^{\left(1\right)}=p_0,l_{light,i,j}^{\left(2\right)}=2p_1-p_0,l_{light,i,j}^{\left(3\right)}=6p_2-6p_1+p_0,$ $l_{light,i,j}^{\left(4\right)}=20p_3-30p_2+12p_1-p_0,$ 其中，

$\left\{\begin{array}{cc}{p}_r=\frac{{\Σ}_{k=1}^{256}{X}_{light,i,j}\left(k\right)}{256},& r=0\\ p_r=\frac{{\Σ}_{k=r+1}^{256}\frac{(k-1)(k-2)\mathrm{...}(k-r)}{(256-1)(256-2)\mathrm{...}(256-r)}{X}_{light,i,j}\left(k\right)}{256},& r=1,2,3\end{array}\right..$

与现有技术相比，本发明的优点在于：

1)本发明方法是将待评价的失真图像进行多分辨率金字塔和高斯差分分解后，对子带图像做简单的局部归一化就可以提取自然统计特征，不需要到变换域提取特征，从而复杂度大幅降低；本发明方法无需参考图像、无需失真类型，用自然统计特性的丢失程度衡量图像的失真程度；本发明方法能够客观地反映图像受到各种图像处理和压缩方法影响下视觉质量的变化情况，并且本发明方法的评价性能不受图像内容和失真类型的影响，与人眼的主观感知一致。

2)本发明方法首先采用深度学习中的堆栈自编码器算法对训练集中的所有失真图像各自对应的自然统计特征集和平均主观意见分进行训练，得到基于深度学习的回归模型；然后去掉最后的线性回归层，得到深度表达模型，用深度表达模型对训练集中的每幅失真图像及待评价的失真图像各自对应的自然统计特征集进行深度表达，得到相应的深度特征集；再采用支持向量回归算法，对训练集中的所有失真图像各自对应的深度特征集和平均主观意见分进行训练，得到支持向量回归模型；最后利用支持向量回归模型对待评价的失真图像相应的深度特征集进行测试，预测得到待评价的失真图像的客观质量评价预测值；这种深度表达再非线性回归的特征融合方法，使特征参数以最佳的融合方式预测失真图像的客观质量评价预测值，避免了对人类视觉系统的相关特性与机理的复杂模拟过程，并且由于训练的自然统计特征集和测试的自然统计特征集是相互独立的，因此可以避免测试结果对训练数据的过度依赖，从而能够有效地提高客观评价结果与主观感知之间的相关性。

3)本发明方法采用现有的L矩估计方法估计灰度直方图的包络曲线的分布参数，估计得到的分布参数更加准确，具有更强的泛化能力。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

由于在很多应用场合都无法获取参考图像，因此无参考的图像质量评价方法是最具实用性和挑战性的研究课题，而传统的无参考的图像质量评价都有很高的计算复杂度和时间复杂度，同时预测的客观质量与主观感知之间的一致性较差。本发明通过对图像进行分解在空域提取自然统计特征，时间复杂度非常低，同时采用多分辨率金字塔和高斯差分分解能对图像进行多分辨率分析和多尺度纹理分析，从而提取更好的自然统计特征；本发明还在传统的浅层学习算法进行回归之前，加入了深度表达模型用于挖掘特征中与感知质量相关性更高的潜在信息，并对特征进行深度表达，从而使回归模型具有更高的预测准确性和更强的泛化能力。

本发明提出的一种基于深度学习的无参考图像质量客观评价方法，其总体实现框图如图1所示，其包括以下步骤：

①令I_dis表示待评价的失真图像，将I_dis的亮度分量图像记为I_light。

②采用m个尺度的多分辨率金字塔对I_light进行分解，得到I_light的m幅第一子带图像，将I_light的第i幅第一子带图像记为I_light,i；然后采用n个尺度的高斯差分对I_light的每幅第一子带图像进行再次分解，得到I_light的每幅第一子带图像的n幅第二子带图像，将I_light,i的第j幅第二子带图像记为I_light,i,j；其中，采用多分辨率金字塔分解图像为现有技术，得到的子带图像的尺寸大小随尺度越大，越来越小，m≥1，在本实施例中取m＝5，对本发明方法进行实验发现取m＝5时效果最好，i的初始值为1，1≤i≤m，采用高斯差分分解图像为现有技术，得到的子带图像的尺寸大小与被分解的图像的尺寸大小一致，n≥1，在本实施例中取n＝5，对本发明方法进行实验发现取n＝5时效果最好，j的初始值为1，1≤j≤n，I_light经过多分辨率金字塔和高斯差分两级分解，共得到I_light对应的m×n幅第二子带图像。

在此具体实施例中，步骤②中的 $I_{light,i,j}=\left\{\begin{array}{cc}{G}_j\left({\mathrm{\σ}}_j\right)\⊗I_{light,i}-G_{j+1}\left({\mathrm{\σ}}_{j+1}\right)\⊗I_{light,i}& 1\≤j\≤n-1\\ G_j\left({\mathrm{\σ}}_j\right)\⊗I_{light,i}& j==n\end{array}\right.,$ 其中，符号为卷积符号，G_j()表示第j个高斯函数，G_j+1()表示第j+1个高斯函数，G_j(σ_j)表示G_j()的尺度系数为σ_j时的高斯卷积核，G_j+1(σ_j+1)表示G_j+1()的尺度系数为σ_j+1时的高斯卷积核，假设G_j(σ_j)和G_j+1(σ_j+1)的大小均为c×c，则将G_j(σ_j)中位置为(x,y)处的值记为G_j(x,y；σ_j)，将G_j+1(σ_j+1)中位置为(x,y)处的值记为G_j+1(x,y；σ_j+1)，

$G_j(x,y;{\mathrm{\σ}}_j)=\frac{1}{2{\mathrm{\π\σ}}_j^2}\exp \left(-\frac{{(x-\frac{c}{2})}^2+{(y-\frac{c}{2})}^2}{2{\mathrm{\σ}}_j^2}\right),$ $G_{j+1}(x,y;{\mathrm{\σ}}_{j+1})=\frac{1}{2{\mathrm{\π\σ}}_{j+1}^2}\exp \left(-\frac{{(x-\frac{c}{2})}^2+{(y-\frac{c}{2})}^2}{2{\mathrm{\σ}}_{j+1}^2}\right),$ exp()表示以自然基数e为底的指数函数，1≤x≤c,1≤y≤c，c＝7，σ_j＝1.6^j-2，σ_j+1＝1.6^j+1-2。

③对I_light对应的m×n幅第二子带图像分别进行局部归一化处理，得到I_light对应的每幅第二子带图像的归一化图像，将I_light,i,j经局部归一化处理后得到的归一化图像记为

在此具体实施例中，步骤③中采用尺寸大小为(P-(-P)+1)×(Q-(-Q)+1)的滑动窗口对I_light对应的每幅第二子带图像进行局部归一化处理；将中坐标位置为(u,v)的像素点的像素值记为 ${\tilde{I}}_{light,i,j}(u,v)=\frac{I_{light,i,j}(u,v)-{\mathrm{\μ}}_{light,i,j}(u,v)}{{\mathrm{\σ}}_{light,i,j}(u,v)+1},$ 其中，P∈[1,5],Q∈[1,5]且P＝Q，在本实施例中取P＝Q＝3，即采用大小为7×7的滑动窗口进行局部归一化，1≤u≤W,1≤v≤H，W和H对应表示I_light,i,j的宽度和高度，I_light,i,j(u,v)表示I_light,i,j中坐标位置为(u,v)的像素点的像素值，

${\mathrm{\μ}}_{light,i,j}(u,v)=\underset{p=-P}{\overset{P}{\Σ}}\underset{q=-Q}{\overset{Q}{\Σ}}{I}_{light,i,j}(u+p,v+q),$ ${\mathrm{\σ}}_{light,i,j}(u,v)=\sqrt{\underset{p=-P}{\overset{P}{\Σ}}\underset{q=-Q}{\overset{Q}{\Σ}}{\left(I_{light,i,j}\right(u+p,v+q)-{\mathrm{\μ}}_{light,i,j}(u,v\left)\right)}^2},$ I_light,i,j(u+p,v+q)表示I_light,i,j中坐标位置为(u+p,v+q)的像素点的像素值，-P≤p≤P，-Q≤q≤Q。

④统计I_light对应的每幅第二子带图像的归一化图像的灰度直方图，将的灰度直方图记为{X_light,i,j(k)|1≤k≤256}，其中，X_light,i,j(k)表示中像素值属于第k个像素值区间的像素点的总个数，对应的256个像素值区间的获取过程为：将中像素值的最小值和最大值对应记为pix_min和pix_max，然后将区间[pix_min,pix_max]等间隔划分为256个子区间，再将区间[pix_min,pix_max]中的第k个子区间作为对应的第k个像素值区间。

⑤估计I_light对应的每幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，将{X_light,i,j(k)|1≤k≤256}的包络曲线的四个分布参数依次记为 分布参数用来确定包络曲线的基本形状，m×n幅第二子带图像共4×m×n个分布参数。

在此具体实施例中，步骤⑤中的分布参数的估计采用现有的L矩估计方法；

$l_{light,i,j}^{\left(1\right)}=p_0,l_{light,i,j}^{\left(2\right)}=2p_1-p_0,l_{light,i,j}^{\left(3\right)}=6p_2-6p_1+p_0,l_{light,i,j}^{\left(4\right)}=20p_3-30p_2+12p_1-p_0,$ 其中，

$\left\{\begin{array}{cc}{p}_r=\frac{{\Σ}_{k=1}^{256}{X}_{light,i,j}\left(k\right)}{256},& r=0\\ p_r=\frac{{\Σ}_{k=r+1}^{256}\frac{(k-1)(k-2)\mathrm{...}(k-r)}{(256-1)(256-2)\mathrm{...}(256-r)}{X}_{light,i,j}\left(k\right)}{256},& r=1,2,3\end{array}\right..$

⑥将I_light对应的共4×m×n个分布参数按序排列构成的集合作为I_light的自然统计特征集，记为F，

$F=\left\{l_{light,1,1}^{\left(1\right)},l_{light,1,1}^{\left(2\right)},l_{light,1,1}^{\left(3\right)},l_{light,1,1}^{\left(4\right)},\mathrm{...},l_{light,1,n}^{\left(1\right)},l_{light,1,n}^{\left(2\right)},l_{light,1,n}^{\left(3\right)},l_{light,1,n}^{\left(4\right)},l_{light,2,1}^{\left(1\right)},l_{light,2,1}^{\left(2\right)},l_{light,2,1}^{\left(3\right)},l_{light,2,1}^{\left(4\right)},\mathrm{...},l_{light,m,n}^{\left(1\right)},l_{light,m,n}^{\left(2\right)},l_{light,m,n}^{\left(3\right)},l_{light,m,n}^{\left(4\right)}\right\}$ ，其中，表示I_light的第1幅第一子带图像的第1幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，表示I_light的第1幅第一子带图像的第n幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，表示I_light的第2幅第一子带图像的第1幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，表示I_light的第m幅第一子带图像的第n幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数。

⑦采用d幅原始的无失真图像，建立其在不同失真类型不同失真程度下的失真图像集合，将该失真图像集合作为训练集，训练集包括多幅失真图像；然后利用现有的主观质量评价方法评价出训练集中的每幅失真图像的平均主观意见分，将训练集中的第t幅失真图像的平均主观意见分记为MOS_t；再按照步骤①至步骤⑥的过程，以相同的方式获取训练集中的每幅失真图像的亮度分量图像的自然统计特征集，将训练集中的第t幅失真图像的亮度分量图像的自然统计特征集记为F_t；其中，d≥1，1≤t≤T，T表示训练集中包含的失真图像的总幅数，MOS_t∈[0,5]。

⑧采用现有的深度学习中的堆栈自编码器算法对训练集中的所有失真图像各自对应的自然统计特征集和平均主观意见分进行训练，使得经过训练得到的预测质量值与对应的平均主观意见分之间的误差最小，训练得到基于深度学习的回归模型；其中，堆栈自编码器由一个输入层、三个稀疏自编码层和一个线性回归层构成，输入层输入的是训练集中的每幅失真图像的亮度分量图像的自然统计特征集，输入层有4×m×n个节点，三个稀疏自编码层对输入的自然统计特征集进行深度表达，三个稀疏自编码层依次有200个节点、100个节点、100个节点，线性回归层输出的是训练集中的每幅失真图像的预测质量值，线性回归层只有一个节点。

在本实施例中，在堆栈自编码器的预训练过程中，每个稀疏自编码层的学习率是0.01，学习率的调整因子是0.9，动量是0.9，训练1000次；在堆栈自编码器的微调训练过程中，学习率为0.001，训练500次。

⑨将基于深度学习的回归模型中的一个输入层和三个稀疏自编码层构成深度表达模型，该深度表达模型可以对输入的自然统计特征集进行深度表达，得到与质量相关度更高的深度特征；然后利用深度表达模型对F进行深度表达，得到I_light的深度特征集，记为F^d，F^d＝MOD_SAE(F)，并利用深度表达模型对训练集中的每幅失真图像的亮度分量图像的自然统计特征集进行深度表达，得到训练集中的每幅失真图像的亮度分量图像的深度特征集，将训练集中的第t幅失真图像的亮度分量图像的深度特征集记为 其中，MOD_SAE()为深度表达模型的函数表示形式。

⑩采用现有的支持向量回归(Supportvectorregression,SVR)算法，对训练集中的所有失真图像各自对应的深度特征集和平均主观意见分进行训练，使得经过训练得到的回归函数值与对应的平均主观意见分之间的误差最小，训练得到支持向量回归模型；然后利用支持向量回归模型对F^d进行测试，预测得到I_dis的客观质量评价预测值，记为Q_dis，Q_dis＝MOD_SVR(F^d)，其中，MOD_SVR()为支持向量回归模型的函数表示形式。

为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。

采用LIVE图像数据库和TID2008图像数据库，LIVE图像数据库中包括29幅无失真图像，5种失真类型有JPEG压缩失真、JPEG2000压缩失真、高斯白噪声失真、高斯模糊失真和快衰落失真，总共779幅失真图像；TID2008图像数据库中包括25幅无失真图像，17种失真类型，总共1700幅失真图像。试验中，使用了LIVE图像数据库中的所有779幅失真图像；使用了TID2008图像数据库中的25幅无失真图像中的24幅自然图像对应的四种常见失真类型的失真图像，即JPEG压缩失真、JPEG2000压缩失真、高斯白噪声失真和高斯模糊失真，总共384幅失真图像。LIVE图像数据库和TID2008图像数据库都提供了每幅失真图像的平均主观意见分。分析利用本发明方法获取的每幅失真图像的客观质量评价预测值与平均主观意见分之间的相关性。这里，利用评估图像质量评价方法的2个常用客观参量作为评价指标，即线性相关性系数(LinearCorrelationCoefficients,LCC)和Spearman秩相关系数(SpearmanRankOrderCorrelationcoefficient，SROCC)。LCC和SROCC的取值范围是[0,1]，其值越接近1，表明图像质量评价方法越好，反之，越差。

试验一：首先从LIVE图像数据库中的所有失真图像中随机抽取80％的失真图像构成训练集，剩余20％的失真图像构成测试集；然后按照步骤①至步骤⑥的过程，以相同的方式获取训练集中的每幅失真图像的亮度分量图像的自然统计特征集；接着采用现有的深度学习中的堆栈自编码器算法对训练集中的所有失真图像各自对应的自然统计特征集和平均主观意见分进行训练，使得经过训练得到的预测质量值与对应的平均主观意见分之间的误差最小，训练得到基于深度学习的回归模型；之后将基于深度学习的回归模型中的一个输入层和三个稀疏自编码层构成深度表达模型，利用深度表达模型对训练集中的每幅失真图像的亮度分量图像的自然统计特征集和测试集中的每幅失真图像的亮度分量图像的自然统计特征集进行深度表达，得到相应的深度特征集；再采用现有的支持向量回归算法，对训练集中的所有失真图像各自对应的深度特征集和平均主观意见分进行训练，使得经过训练得到的回归函数值与对应的平均主观意见分之间的误差最小，训练得到支持向量回归模型；最后利用支持向量回归模型对测试集中的每幅失真图像的亮度分量图像的深度特征集进行测试，预测得到测试集中的每幅失真图像的客观质量评价预测值。对TID2008图像数据库用同样的方法进行测试。表示评价性能的LCC和SROCC系数如表1所列，从表1所列的数据可知，在两个图像数据库上都有很高的预测准确性，说明利用本发明方法得到的失真图像的客观质量评价预测值与平均主观意见分之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

表1按本发明方法计算得到的失真图像的客观质量评价预测值与平均主观意见分之间的相关性

	LIVE图像数据库	TID2008图像数据库
			SROCC	0.9507	0.9576
LCC	0.9499	0.9653

试验二：将整个LIVE图像数据库中的所有失真图像构成的集合作为训练集，将整个TID2008图像数据库中的所有失真图像构成的集合作为测试集，用与试验一同样的方法进行测试。表示评价性能的LCC和SROCC系数如表2所列，从表2所列的数据可知，训练集与测试集完全独立时，依然有很高的预测准确性，说明本发明方法具有很强的泛化能力，不受训练集的影响。

表2按本发明方法计算得到的失真图像的客观质量评价预测值与平均主观意见分之间的相关性

训练集	测试集	SROCC	LCC
				LIVE图像数据库	TID2008图像数据库	0.9245	0.9237

Claims (5)

1.一种基于深度学习的无参考图像质量客观评价方法，其特征在于包括以下步骤：

①令I_dis表示待评价的失真图像，将I_dis的亮度分量图像记为I_light；

②采用m个尺度的多分辨率金字塔对I_light进行分解，得到I_light的m幅第一子带图像，将I_light的第i幅第一子带图像记为I_light,i；然后采用n个尺度的高斯差分对I_light的每幅第一子带图像进行再次分解，得到I_light的每幅第一子带图像的n幅第二子带图像，将I_light,i的第j幅第二子带图像记为I_light,i,j；其中，m≥1，i的初始值为1，1≤i≤m，n≥1，j的初始值为1，1≤j≤n；

③对I_light对应的m×n幅第二子带图像分别进行局部归一化处理，得到I_light对应的每幅第二子带图像的归一化图像，将I_light,i,j的归一化图像记为

④统计I_light对应的每幅第二子带图像的归一化图像的灰度直方图，将的灰度直方图记为{X_light,i,j(k)|1≤k≤256}，其中，X_light,i,j(k)表示中像素值属于第k个像素值区间的像素点的总个数，对应的256个像素值区间的获取过程为：将中像素值的最小值和最大值对应记为pix_min和pix_max，然后将区间[pix_min,pix_max]等间隔划分为256个子区间，再将区间[pix_min,pix_max]中的第k个子区间作为对应的第k个像素值区间；

⑤估计I_light对应的每幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，将{X_light,i,j(k)|1≤k≤256}的包络曲线的四个分布参数依次记为

⑥将I_light对应的共4×m×n个分布参数按序排列构成的集合作为I_light的自然统计特征集，记为F， $F=\left\{l_{light,1,1}^{\left(1\right)},l_{light,1,1}^{\left(2\right)},l_{light,1,1}^{\left(3\right)},l_{light,1,1}^{\left(4\right)},\mathrm{...},l_{light,1,n}^{\left(1\right)},l_{light,1,n}^{\left(2\right)},l_{light,1,n}^{\left(3\right)},l_{light,1,n}^{\left(4\right)},l_{light,2,1}^{\left(1\right)},l_{light,2,1}^{\left(2\right)},l_{light,2,1}^{\left(3\right)},l_{light,2,1}^{\left(4\right)},\mathrm{...},l_{light,m,n}^{\left(1\right)},l_{light,m,n}^{\left(2\right)},l_{light,m,n}^{\left(3\right)},l_{light,m,n}^{\left(4\right)}\right\}$ ，其中，表示I_light的第1幅第一子带图像的第1幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，表示I_light的第1幅第一子带图像的第n幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，表示I_light的第2幅第一子带图像的第1幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数，表示I_light的第m幅第一子带图像的第n幅第二子带图像的归一化图像的灰度直方图的包络曲线的四个分布参数；

⑦采用d幅原始的无失真图像，建立其在不同失真类型不同失真程度下的失真图像集合，将该失真图像集合作为训练集，训练集包括多幅失真图像；然后利用主观质量评价方法评价出训练集中的每幅失真图像的平均主观意见分，将训练集中的第t幅失真图像的平均主观意见分记为MOS_t；再按照步骤①至步骤⑥的过程，以相同的方式获取训练集中的每幅失真图像的亮度分量图像的自然统计特征集，将训练集中的第t幅失真图像的亮度分量图像的自然统计特征集记为F_t；其中，d≥1，1≤t≤T，T表示训练集中包含的失真图像的总幅数，MOS_t∈[0,5]；

⑧采用深度学习中的堆栈自编码器算法对训练集中的所有失真图像各自对应的自然统计特征集和平均主观意见分进行训练，使得经过训练得到的预测质量值与对应的平均主观意见分之间的误差最小，训练得到基于深度学习的回归模型；其中，堆栈自编码器由一个输入层、三个稀疏自编码层和一个线性回归层构成，输入层输入的是训练集中的每幅失真图像的亮度分量图像的自然统计特征集，输入层有4×m×n个节点，三个稀疏自编码层对输入的自然统计特征集进行深度表达，三个稀疏自编码层依次有200个节点、100个节点、100个节点，线性回归层输出的是训练集中的每幅失真图像的预测质量值，线性回归层只有一个节点；

⑨将基于深度学习的回归模型中的一个输入层和三个稀疏自编码层构成深度表达模型；然后利用深度表达模型对F进行深度表达，得到I_light的深度特征集，记为F^d，F^d＝MOD_SAE(F)，并利用深度表达模型对训练集中的每幅失真图像的亮度分量图像的自然统计特征集进行深度表达，得到训练集中的每幅失真图像的亮度分量图像的深度特征集，将训练集中的第t幅失真图像的亮度分量图像的深度特征集记为 其中，MOD_SAE()为深度表达模型的函数表示形式；

⑩采用支持向量回归算法，对训练集中的所有失真图像各自对应的深度特征集和平均主观意见分进行训练，使得经过训练得到的回归函数值与对应的平均主观意见分之间的误差最小，训练得到支持向量回归模型；然后利用支持向量回归模型对F^d进行测试，预测得到I_dis的客观质量评价预测值，记为Q_dis，Q_dis＝MOD_SVR(F^d)，其中，MOD_SVR()为支持向量回归模型的函数表示形式。

2.根据权利要求1所述的一种基于深度学习的无参考图像质量客观评价方法，其特征在于所述的步骤②中的 $I_{light,i,j}=\left\{\begin{array}{cc}{G}_j\left({\mathrm{\σ}}_j\right)\⊗I_{light,i}-G_{j+1}\left({\mathrm{\σ}}_{j+1}\right)\⊗I_{light,i}& 1\≤j\≤n-1\\ G_j\left({\mathrm{\σ}}_j\right)\⊗I_{light,i}& j==n\end{array}\right.,$ 其中，符号为卷积符号，G_j()表示第j个高斯函数，G_j+1()表示第j+1个高斯函数，G_j(σ_j)表示G_j()的尺度系数为σ_j时的高斯卷积核，G_j+1(σ_j+1)表示G_j+1()的尺度系数为σ_j+1时的高斯卷积核，假设G_j(σ_j)和G_j+1(σ_j+1)的大小均为c×c，则将G_j(σ_j)中位置为(x,y)处的值记为G_j(x,y；σ_j)，将G_j+1(σ_j+1)中位置为(x,y)处的值记为G_j+1(x,y；σ_j+1)， $G_j(x,y;{\mathrm{\σ}}_j)=\frac{1}{2{\mathrm{\π\σ}}_j^2}\exp \left(-\frac{{(x-\frac{c}{2})}^2+{(y-\frac{c}{2})}^2}{2{\mathrm{\σ}}_j^2}\right),$ $G_{j+1}(x,y;{\mathrm{\σ}}_{j+1})=\frac{1}{2{\mathrm{\π\σ}}_{j+1}^2}\exp \left(-\frac{{(x-\frac{c}{2})}^2+{(y-\frac{c}{2})}^2}{2{\mathrm{\σ}}_{j+1}^2}\right),$ exp()表示以自然基数e为底的指数函数，1≤x≤c,1≤y≤c，c＝7，σ_j＝1.6^j-2，σ_j+1＝1.6^j+1-2。

3.根据权利要求1或2所述的一种基于深度学习的无参考图像质量客观评价方法，其特征在于所述的步骤③中采用尺寸大小为(P-(-P)+1)×(Q-(-Q)+1)的滑动窗口对I_light对应的每幅第二子带图像进行局部归一化处理；将中坐标位置为(u,v)的像素点的像素值记为 ${\tilde{I}}_{light,i,j}(u,v)=\frac{I_{light,i,j}(u,v)-{\mathrm{\μ}}_{light,i,j}(u,v)}{{\mathrm{\σ}}_{light,i,j}(u,v)+1},$ 其中，P∈[1,5],Q∈[1,5]且P＝Q，1≤u≤W,1≤v≤H，W和H对应表示I_light,i,j的宽度和高度，I_light,i,j(u,v)表示I_light,i,j中坐标位置为(u,v)的像素点的像素值， ${\mathrm{\μ}}_{light,i,j}(u,v)=\underset{p=-P}{\overset{P}{\Σ}}\underset{q=-Q}{\overset{Q}{\Σ}}{I}_{light,i,j}(u+p,v+q),$ ${\mathrm{\σ}}_{light,i,j}(u,v)=\sqrt{\underset{p=-P}{\overset{P}{\Σ}}\underset{q=-Q}{\overset{Q}{\Σ}}{\left(I_{light,i,j}\right(u+p,v+q)-{\mathrm{\μ}}_{light,i,j}(u,v\left)\right)}^2},$ I_light,i,j(u+p,v+q)表示I_light,i,j中坐标位置为(u+p,v+q)的像素点的像素值，-P≤p≤P，-Q≤q≤Q。

4.根据权利要求3所述的一种基于深度学习的无参考图像质量客观评价方法，其特征在于所述的步骤⑤中的分布参数的估计采用L矩估计方法。

5.根据权利要求4所述的一种基于深度学习的无参考图像质量客观评价方法，其特征在于所述的步骤⑤中的 $l_{light,i,j}^{\left(1\right)}=p_0,l_{light,i,j}^{\left(2\right)}=2p_1-p_0,l_{light,i,j}^{\left(3\right)}=6p_2-6p_1+p_0,$ $l_{light,i,j}^{\left(4\right)}=20p_3-30p_2+12p_1-p_0,$ 其中， $\left\{\begin{array}{cc}{p}_r=\frac{{\Σ}_{k=1}^{256}{X}_{light,i,j}\left(k\right)}{256},& r=0\\ p_r=\frac{{\Σ}_{k=r+1}^{256}\frac{(k-1)(k-2)\mathrm{...}(k-r)}{(256-1)(256-2)\mathrm{...}(256-r)}{X}_{light,i,j}\left(k\right)}{256},& r=1,2,3\end{array}\right..$