CN104036501A - 一种基于稀疏表示的立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于稀疏表示的立体图像客观质量评价方法，其在训练阶段，选择多幅原始的无失真立体图像的左视点图像构成训练图像集，采用高斯差分滤波对训练图像集中的每幅图像进行滤波得到不同尺度的滤波图像，并采用K-SVD方法对由不同尺度的所有滤波图像中的所有子块构成的集合进行字典训练操作构造视觉字典表；在测试阶段，对任意一副测试立体图像和其原始的无失真的立体图像实施高斯差分滤波得到不同尺度的滤波图像，然后对不同尺度的滤波图像进行非重叠的分块处理，根据已构造的视觉字典表，计算得到测试图像的图像质量客观评价预测值；优点是在训练阶段不需要复杂的机器学习训练过程，在测试阶段只需要通过稀疏系数矩阵来计算图像质量客观评价预测值，且与主观评价值的一致性较好。

Description

一种基于稀疏表示的立体图像质量客观评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于稀疏表示的立体图像质量客观评价方法。

背景技术

随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左视点图像和右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。与单通道图像相比，立体图像需要同时保证两个通道的图像质量，因此对其进行质量评价具有非常重要的意义。然而，目前对立体图像质量缺乏有效的客观评价方法进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。

由于影响立体图像质量的因素较多，如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等，因此如何有效地进行立体图像质量评价是亟需解决的难点问题。目前已有方法是通过机器学习来预测评价模型，但其计算复杂度较高，并且训练模型需要预知各评价图像的主观评价值，并不适用于实际的应用场合，存在一定的局限性。稀疏表示将信号在已知的函数集上进行分解，力求在变换域上用尽量少的基函数来对原始信号进行逼近，目前的研究主要集中在字典构造和稀疏分解两方面。稀疏表示的一个关键问题就是如何有效地构造字典来表征图像的本质特征。目前已提出的字典构造算法包括：1)有学习过程的字典构造方法：通过机器学习来训练得到字典信息，如支持向量机等；2)无学习过程的字典构造方法：直接利用图像的特征来构造字典，如多尺度Gabor字典、多尺度高斯字典等。因此，如何进行无学习过程的字典构造，如何根据字典来进行质量估计，都是在立体图像质量评价研究中需要重点解决的技术问题。

发明内容

本发明所要解决的技术问题是提供一种基于稀疏表示的立体图像质量客观评价方法，其计算复杂度低，且能够有效地提高客观评价结果与主观感知的相关性。

本发明解决上述技术问题所采用的技术方案为：一种基于稀疏表示的立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程，具体步骤如下：

①选取N幅原始的无失真立体图像的左视点图像构成训练图像集，记为{L_i,org|1≤i≤N}，其中，N≥1，L_i,org表示{L_i,org|1≤i≤N}中的第i幅图像；

②利用高斯差分滤波器对{L_i,org|1≤i≤N}中的每幅图像实施高斯差分滤波，得到{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像；

③对{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理；然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典；再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}，其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，D^j表示第j个尺度下的目标训练字典，D^j亦表示第j个尺度下的N幅滤波图像的视觉字典表，D^j亦表示D中的第j个视觉字典；

④对于任意一副测试立体图像S_test，假设S_test对应的原始的无失真立体图像为S_org，则首先利用高斯差分滤波器对S_test的左视点图像和右视点图像及S_org的左视点图像和右视点图像分别实施高斯差分滤波，得到各自在不同尺度下的滤波图像；然后对每幅图像在每个尺度下的滤波图像进行非重叠的分块处理；接着根据每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；再根据每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，计算S_test的局部图像质量客观评价预测值，并根据每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素，计算S_test的全局图像质量客观评价预测值；最后根据S_test的局部图像质量客观评价预测值和全局图像质量客观评价预测值，计算S_test的图像质量客观评价预测值。

所述的步骤③的具体过程为：

③-1、将{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块；然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合，将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，W表示选取的原始的无失真立体图像的宽度，H表示选取的原始的无失真立体图像的高度，表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量，的维数为64×1；

③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典，将第j个尺度下的目标训练字典记为D^j，D^j通过K-SVD方法求解得到，其中，min()为取最小值函数，符号“|| ||₂”为求取矩阵的2-范数符号，Y^j的维数为64×M，为中的第1个列向量，为中的第t个列向量，为中的第M个列向量，X^j表示第j个尺度下的稀疏矩阵， 表示X^j中的第1个列向量，表示X^j中的第t个列向量，表示X^j中的第M个列向量，X^j的维数为K×M，K表示设定的字典的个数，K≥1，符号“[]”为矢量表示符号，符号“|| ||₀”为求取矩阵的0-范数符号，τ为误差系数，D^j的维数为64×K；

③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}。

所述的步骤③-2中取τ＝0.1。

所述的步骤④的具体过程为：

④-1、将S_test的左视点图像记为L_test，将S_test的右视点图像记为R_test，将S_org的左视点图像记为L_org，将S_org的右视点图像记为R_org，然后利用高斯差分滤波器对L_test、R_test、L_org和R_org分别实施高斯差分滤波，对应得到L_test、R_test、L_org和R_org各自在不同尺度下的滤波图像，将L_test在第j个尺度下的滤波图像记为将R_test在第j个尺度下的滤波图像记为将L_org在第j个尺度下的滤波图像记为将R_org在第j个尺度下的滤波图像记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数；

④-2、将L_test在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将L_test在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，W表示S_test和S_org的宽度，与步骤①中选取的原始的无失真立体图像的宽度一致，H表示S_test和S_org的高度，与步骤①中选取的原始的无失真立体图像的高度一致，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1；

将R_test在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将R_test在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1；

将L_org在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将L_org在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1；

将R_org在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将R_org在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1；

④-3、根据L_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取L_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},L,\mathrm{test}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},L,\mathrm{test}}^j,$ 其中，(D^j)^-1为D^j的逆矩阵；

根据R_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取R_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},R,\mathrm{test}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},R,\mathrm{test}}^j;$

根据L_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取L_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},L,\mathrm{org}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},L,\mathrm{org}}^j;$

根据R_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取R_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},R,\mathrm{org}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},R,\mathrm{org}}^j;$

④-4、计算L_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，对于将中的第t'个子块的局部客观评价度量值记为 $z_{t^{\′},L}^j=\frac{{\left|\right|{\left(x_{t^{\′},L,\mathrm{test}}^j\right)}^T\·x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2\·{\left|\right|x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2+C}\·(1-\frac{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j-x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2+C}),$ 其中，为的转置矩阵，符号“|| ||₂”为求取矩阵的2-范数符号，C为控制参数；

计算R_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，对于将中的第t'个子块的局部客观评价度量值记为 $z_{t^{\′},R}^j=\frac{{\left|\right|{\left(x_{t^{\′},R,\mathrm{test}}^j\right)}^T\·x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2\·{\left|\right|x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2+C}\·(1-\frac{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j-x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2+C}),$ 其中，为的转置矩阵；

④-5、根据L_test和R_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，计算S_test的局部图像质量客观评价预测值，记为Q_local， $z_{t^{\′}}^j=w_{t^{\′},L}^j\·z_{t^{\′},L}^j+w_{t^{\′},R}^j\·z_{t^{\′},R}^j,$ 其中， $w_{t^{\′},L}^j=\frac{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2},$ $w_{t^{\′},R}^j=\frac{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2};$

④-6、计算L_test在每个尺度下的滤波图像中的每个子块的全局客观评价度量值，对于将中的第t'个子块的全局客观评价度量值记为 其中，PSNR()为峰值信噪比计算函数；

计算R_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，对于将中的第t'个子块的全局客观评价度量值记为 $u_{t^{\′},R}^j=\mathrm{PSNR}(y_{t^{\′},R,\mathrm{test}}^j,y_{t^{\′},R,\mathrm{org}}^j);$

④-7、根据L_test和R_test在每个尺度下的滤波图像中的每个子块的全局客观评价度量值，计算S_test的全局图像质量客观评价预测值，记为Q_global， $u_{t^{\′}}^j=w_{t^{\′},L}^j\×u_{t^{\′},L}^j+w_{t^{\′},R}^j{\×u}_{t^{\′},R}^j;$

④-8、根据S_test的局部图像质量客观评价预测值Q_local和全局图像质量客观评价预测值Q_global，计算S_test的图像质量客观评价预测值，记为Q，Q＝w_local×Q_local+(1-w_local)×Q_global，其中，w_local为Q_local的权值比重。

所述的步骤④-4中取C＝0.02。

所述的步骤④-8中取w_local＝0.95。

与现有技术相比，本发明的优点在于：

1)本发明方法在训练阶段，通过无监督学习方式对由无失真立体图像的左视点图像构成的训练图像集构造视觉字典表，在测试阶段不需要再计算视觉字典表，这样避免了复杂的机器学习训练过程，降低了计算复杂度。

2)本发明方法在测试阶段，根据在训练阶段估计得到的视觉字典表，估计测试用的失真立体图像和其对应的无失真立体图像中的每个子块的稀疏系数矩阵，并通过稀疏系数矩阵来计算失真立体图像的局部图像质量客观评价预测值，使得最终计算得到的失真立体图像的图像质量客观评价预测值与主观评价值保持了较好的一致性。

附图说明

图1为本发明方法的总体实现框图。

图2为利用本发明方法得到的宁波大学立体图像库中的每幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图；

图3为利用本发明方法得到的LIVE立体图像库中的每幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于稀疏表示的立体图像质量客观评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程：在训练阶段，选择多幅原始的无失真立体图像的左视点图像构成训练图像集，通过采用高斯差分滤波对训练图像集中的每幅图像进行滤波得到不同尺度下的滤波图像，然后对不同尺度下的滤波图像进行非重叠的分块处理，然后采用K-SVD方法对由不同尺度下的所有滤波图像中的所有子块构成的集合进行字典训练操作，得到不同尺度下的目标训练字典作为各尺度下的所有滤波图像的视觉字典表，构造得到训练图像集的视觉字典表；在测试阶段，对任意一副测试立体图像和其对应的原始的无失真立体图像实施高斯差分滤波得到不同尺度下的滤波图像，然后对不同尺度下的滤波图像进行非重叠的分块处理，再根据已构造的视觉字典表，计算得到测试立体图像的图像质量客观评价预测值。本发明方法的具体步骤如下：

①选取N幅原始的无失真立体图像的左视点图像构成训练图像集，记为{L_i,org|1≤i≤N}，其中，N≥1，L_i,org表示{L_i,org|1≤i≤N}中的第i幅图像，即表示第i幅原始的无失真立体图像的左视点图像，符号“{}”为集合表示符号。

在具体实施时，原始的无失真立体图像选取的幅数应当适当，如果N的值越大，则通过训练得到的视觉字典表的精度也就越高，但计算复杂度也就越高，因此在本实施例中取N＝10。

②利用高斯差分滤波器对{L_i,org|1≤i≤N}中的每幅图像实施高斯差分滤波，得到{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像，将由第j个尺度下的N幅滤波图像构成的集合记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，在本实施例中取S＝5，1≤x≤W，1≤y≤H，W表示选取的原始的无失真立体图像的宽度，H表示选取的原始的无失真立体图像的高度，表示L_i，org在第j个尺度下的滤波图像中坐标位置为(x,y)的像素点的像素值。

③对{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理；然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典；再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}，其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，D^j表示第j个尺度下的目标训练字典，D^j亦表示第j个尺度下的N幅滤波图像的视觉字典表，D^j亦表示D中的第j个视觉字典。

在此具体实施例中，步骤③的具体过程为：

③-1、将{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块；然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合，将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，W表示选取的原始的无失真立体图像的宽度，H表示选取的原始的无失真立体图像的高度，表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量，的维数为64×1。

③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典，将第j个尺度下的目标训练字典记为D^j，D^j通过K-SVD方法求解得到，其中，min()为取最小值函数，符号“|| ||₂”为求取矩阵的2-范数符号，Y^j的维数为64×M，中的第1个列向量，亦表示由第j个尺度下的N幅滤波图像中的第1个子块中的所有像素点组成的列向量，为中的第t个列向量，亦表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量，为中的第M个列向量，亦表示由第j个尺度下的N幅滤波图像中的第M个子块中的所有像素点组成的列向量，X^j表示第j个尺度下的稀疏矩阵， 表示X^j中的第1个列向量，表示X^j中的第t个列向量，表示X^j中的第M个列向量，X^j的维数为K×M，K表示设定的字典的个数，K≥1，K的取值过大会出现过聚类现象，K的取值过小会出现欠聚类现象，在本实施例中取K＝128，符号“[]”为矢量表示符号，符号“|| ||₀”为求取矩阵的0-范数符号，τ为误差系数，在本实施例中取τ＝0.1，D^j的维数为64×K。

③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}。

④对于任意一副测试用的失真立体图像S_test，假设S_test对应的原始的无失真立体图像为S_org，则首先利用高斯差分滤波器对S_test的左视点图像和右视点图像及S_org的左视点图像和右视点图像分别实施高斯差分滤波，得到各自在不同尺度下的滤波图像；然后对每幅图像在每个尺度下的滤波图像进行非重叠的分块处理；接着根据每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；再根据每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，计算S_test的局部图像质量客观评价预测值，并根据每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素，计算S_test的全局图像质量客观评价预测值；最后根据S_test的局部图像质量客观评价预测值和全局图像质量客观评价预测值，计算S_test的图像质量客观评价预测值。

在此具体实施例中，步骤④的具体过程为：

④-1、将S_test的左视点图像记为L_test，将S_test的右视点图像记为R_test，将S_org的左视点图像记为L_org，将S_org的右视点图像记为R_org，然后利用高斯差分滤波器对L_test、R_test、L_org和R_org分别实施高斯差分滤波，对应得到L_test、R_test、L_org和R_org各自在不同尺度下的滤波图像，将L_test在第j个尺度下的滤波图像记为将R_test在第j个尺度下的滤波图像记为将L_org在第j个尺度下的滤波图像记为将R_org在第j个尺度下的滤波图像记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数。

④-2、将L_test在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将L_test在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，W表示S_test和S_org的宽度，与步骤①中选取的原始的无失真立体图像的宽度一致，H表示S_test和S_org的高度，与步骤①中选取的原始的无失真立体图像的高度一致，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1。

将R_test在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将R_test在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1。

将L_org在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将L_org在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1。

将R_org在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将R_org在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1。

④-3、根据L_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取L_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},L,\mathrm{test}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},L,\mathrm{test}}^j,$ 其中，(D^j)^-1为D^j的逆矩阵。

根据R_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取R_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},R,\mathrm{test}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},R,\mathrm{test}}^j.$

根据L_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取L_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},L,\mathrm{org}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},L,\mathrm{org}}^j.$

根据R_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取R_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},R,\mathrm{org}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},R,\mathrm{org}}^j.$

④-4、计算L_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，对于将中的第t'个子块的局部客观评价度量值记为 $z_{t^{\′},L}^j=\frac{{\left|\right|{\left(x_{t^{\′},L,\mathrm{test}}^j\right)}^T\·x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2\·{\left|\right|x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2+C}\·(1-\frac{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j-x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2+C}),$ 其中，为的转置矩阵，符号“|| ||₂”为求取矩阵的2-范数符号，C为控制参数，在本实施例中取C＝0.02。

计算R_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，对于将中的第t'个子块的局部客观评价度量值记为 $z_{t^{\′},R}^j=\frac{{\left|\right|{\left(x_{t^{\′},R,\mathrm{test}}^j\right)}^T\·x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2\·{\left|\right|x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2+C}\·(1-\frac{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j-x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2+C}),$ 其中为的转置矩阵。

④-5、根据L_test和R_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，计算S_test的局部图像质量客观评价预测值，记为Q_local， $z_{t^{\′}}^j=w_{t^{\′},L}^j\·z_{t^{\′},L}^j+w_{t^{\′},R}^j\·z_{t^{\′},R}^j,$ 其中， $w_{t^{\′},L}^j=\frac{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2},$ $w_{t^{\′},R}^j=\frac{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2}.$

④-6、计算L_test在每个尺度下的滤波图像中的每个子块的全局客观评价度量值，对于将中的第t'个子块的全局客观评价度量值记为 $u_{t^{\′},R}^j=\mathrm{PSNR}(y_{t^{\′},L,\mathrm{test}}^j,y_{t^{\′},L,\mathrm{org}}^j),$ 其中，PSNR()为峰值信噪比计算函数。

计算R_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，对于将中的第t'个子块的全局客观评价度量值记为 $u_{t^{\′},R}^j=\mathrm{PSNR}(y_{t^{\′},R,\mathrm{test}}^j,y_{t^{\′},R,\mathrm{org}}^j).$

④-7、根据L_test和R_test在每个尺度下的滤波图像中的每个子块的全局客观评价度量值，计算S_test的全局图像质量客观评价预测值，记为Q_global， $u_{t^{\′}}^j=w_{t^{\′},L}^j\×u_{t^{\′},L}^j+w_{t^{\′},R}^j\×u_{t^{\′},R}^j.$

④-8、根据S_test的局部图像质量客观评价预测值Q_local和全局图像质量客观评价预测值Q_global，计算S_test的图像质量客观评价预测值，记为Q，Q＝w_local×Q_local+(1-w_local)×Q_global，其中，w_local为Q_local的权值比重，在本实施例中取w_local＝0.95。

这里，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rank order correlation coefficient，SROCC)、Kendall相关系数(Kendall rank-order correlation coefficient，KROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映失真的立体图像客观评价结果的准确性，SROCC和KROCC反映其单调性。

利用本发明方法计算宁波大学立体图像库中的每幅失真的立体图像的图像质量客观评价预测值和LIVE立体图像库中的每幅失真的立体图像的图像质量客观评价预测值，再利用现有的主观评价方法获得宁波大学立体图像库中的每幅失真的立体图像的平均主观评分差值和LIVE立体图像库中的每幅失真的立体图像的平均主观评分差值。将按本发明方法计算得到的失真的立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高，RMSE值越低说明客观评价方法与平均主观评分差值相关性越好。表1、表2、表3和表4给出了采用本发明方法得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差。从表1、表2、表3和表4中可以看出，采用本发明方法得到的失真的立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的，表明了客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

图2给出了利用本发明方法得到的宁波大学立体图像库中的每幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，图3给出了利用本发明方法得到的LIVE立体图像库中的每幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，散点越集中，说明客观评价结果与主观感知的一致性越好。从图2和图3中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻合度较高。

表1利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数比较

表2利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的Spearman相关系数比较

表3利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的Kendall相关系数比较

表4利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的均方误差比较

Claims (6)

1.一种基于稀疏表示的立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程，具体步骤如下：

①选取N幅原始的无失真立体图像的左视点图像构成训练图像集，记为{L_i,org|1≤i≤N}，其中，N≥1，L_i,org表示{L_i,org|1≤i≤N}中的第i幅图像；

②利用高斯差分滤波器对{L_i,org|1≤i≤N}中的每幅图像实施高斯差分滤波，得到{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像；

③对{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理；然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典；再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}，其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，D^j表示第j个尺度下的目标训练字典，D^j亦表示第j个尺度下的N幅滤波图像的视觉字典表，D^j亦表示D中的第j个视觉字典；

④对于任意一副测试立体图像S_test，假设S_test对应的原始的无失真立体图像为S_org，则首先利用高斯差分滤波器对S_test的左视点图像和右视点图像及S_org的左视点图像和右视点图像分别实施高斯差分滤波，得到各自在不同尺度下的滤波图像；然后对每幅图像在每个尺度下的滤波图像进行非重叠的分块处理；接着根据每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵；再根据每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，计算S_test的局部图像质量客观评价预测值，并根据每幅图像在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素，计算S_test的全局图像质量客观评价预测值；最后根据S_test的局部图像质量客观评价预测值和全局图像质量客观评价预测值，计算S_test的图像质量客观评价预测值。

2.根据权利要求1所述的一种基于稀疏表示的立体图像质量客观评价方法，其特征在于所述的步骤③的具体过程为：

③-1、将{L_i,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块；然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合，将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数，W表示选取的原始的无失真立体图像的宽度，H表示选取的原始的无失真立体图像的高度，表示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量，的维数为64×1；

③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作，获得每个尺度下的目标训练字典，将第j个尺度下的目标训练字典记为D^j，D^j通过K-SVD方法求解得到，其中，min()为取最小值函数，符号“|| ||₂”为求取矩阵的2-范数符号，Y^j的维数为64×M，为 $\left\{y_t^j\right|1\≤t\≤M\}$ 中的第1个列向量，为 $\left\{y_t^j\right|1\≤t\≤M\}$ 中的第t个列向量，为中的第M个列向量，X^j表示第j个尺度下的稀疏矩阵， 表示X^j中的第1个列向量，表示X^j中的第t个列向量，表示X^j中的第M个列向量，X^j的维数为K×M，K表示设定的字典的个数，K≥1，符号“[]”为矢量表示符号，符号“|| ||₀”为求取矩阵的0-范数符号，τ为误差系数，D^j的维数为64×K；

③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表，构造得到{L_i,org|1≤i≤N}的视觉字典表，记为D，D＝{D^j|1≤j≤S}。

3.根据权利要求2所述的一种基于稀疏表示的立体图像质量客观评价方法，其特征在于所述的步骤③-2中取τ＝0.1。

4.根据权利要求1至3中任一项所述的一种基于稀疏表示的立体图像质量客观评价方法，其特征在于所述的步骤④的具体过程为：

④-1、将S_test的左视点图像记为L_test，将S_test的右视点图像记为R_test，将S_org的左视点图像记为L_org，将S_org的右视点图像记为R_org，然后利用高斯差分滤波器对L_test、R_test、L_org和R_org分别实施高斯差分滤波，对应得到L_test、R_test、L_org和R_org各自在不同尺度下的滤波图像，将L_test在第j个尺度下的滤波图像记为将R_test在第j个尺度下的滤波图像记为将L_org在第j个尺度下的滤波图像记为将R_org在第j个尺度下的滤波图像记为其中，j的初始值为1，1≤j≤S，S表示高斯差分滤波器的尺度个数；

④-2、将L_test在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将L_test在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，W表示S_test和S_org的宽度，与步骤①中选取的原始的无失真立体图像的宽度一致，H表示S_test和S_org的高度，与步骤①中选取的原始的无失真立体图像的高度一致，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1；

将R_test在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将R_test在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1；

将L_org在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将L_org在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1；

将R_org在每个尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块，然后将R_org在每个尺度下的滤波图像中的所有子块构成一个集合，将由中的所有子块构成的集合记为其中，表示由中的第t'个子块中的所有像素点组成的列向量，的维数为64×1；

④-3、根据L_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取L_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},L,\mathrm{test}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},L,\mathrm{test}}^j,$ 其中，(D^j)^-1为D^j的逆矩阵；

根据R_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取R_test在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},R,\mathrm{test}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},R,\mathrm{test}}^j;$

根据L_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取L_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},L,\mathrm{org}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},L,\mathrm{org}}^j;$

根据R_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D，获取R_org在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵，对于中的每个元素的稀疏系数矩阵，根据中的每个元素和视觉字典表D中的第j个视觉字典D^j获得，将的稀疏系数矩阵记为 $x_{t^{\′},R,\mathrm{org}}^j={\left(D^j\right)}^{-1}\·y_{t^{\′},R,\mathrm{org}}^j;$

④-4、计算L_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，对于将中的第t'个子块的局部客观评价度量值记为 $z_{t^{\′},L}^j=\frac{{\left|\right|{\left(x_{t^{\′},L,\mathrm{test}}^j\right)}^T\·x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2\·{\left|\right|x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2+C}\·(1-\frac{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j-x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},L,\mathrm{org}}^j\left|\right|}_2+C}),$ 其中，为的转置矩阵，符号“|| ||₂”为求取矩阵的2-范数符号，C为控制参数；

计算R_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，对于将中的第t'个子块的局部客观评价度量值记为 $z_{t^{\′},R}^j=\frac{{\left|\right|{\left(x_{t^{\′},R,\mathrm{test}}^j\right)}^T\·x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2\·{\left|\right|x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2+C}\·(1-\frac{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j-x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},R,\mathrm{org}}^j\left|\right|}_2+C}),$ 其中，为的转置矩阵；

④-5、根据L_test和R_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，计算S_test的局部图像质量客观评价预测值，记为Q_local， $z_{t^{\′}}^j=w_{t^{\′},L}^j\·z_{t^{\′},L}^j+w_{t^{\′},R}^j\·z_{t^{\′},R}^j,$ 其中， $w_{t^{\′},L}^j=\frac{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2},$ $w_{t^{\′},R}^j=\frac{{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2}{{\left|\right|x_{t^{\′},L,\mathrm{test}}^j\left|\right|}_2+{\left|\right|x_{t^{\′},R,\mathrm{test}}^j\left|\right|}_2};$

④-6、计算L_test在每个尺度下的滤波图像中的每个子块的全局客观评价度量值，对于将中的第t'个子块的全局客观评价度量值记为 其中，PSNR()为峰值信噪比计算函数；

计算R_test在每个尺度下的滤波图像中的每个子块的局部客观评价度量值，对于将中的第t'个子块的全局客观评价度量值记为 $u_{t^{\′},R}^j=\mathrm{PSNR}(y_{t^{\′},R,\mathrm{test}}^j,y_{t^{\′},R,\mathrm{org}}^j);$

④-7、根据L_test和R_test在每个尺度下的滤波图像中的每个子块的全局客观评价度量值，计算S_test的全局图像质量客观评价预测值，记为Q_global， $u_{t^{\′}}^j=w_{t^{\′},L}^j\×u_{t^{\′},L}^j+w_{t^{\′},R}^j\×u_{t^{\′},R}^j;$

④-8、根据S_test的局部图像质量客观评价预测值Q_local和全局图像质量客观评价预测值Q_global，计算S_test的图像质量客观评价预测值，记为Q，Q＝w_local×Q_local+(1-w_local)×Q_global，其中，w_local为Q_local的权值比重。

5.根据权利要求4所述的一种基于稀疏表示的立体图像质量客观评价方法，其特征在于所述的步骤④-4中取C＝0.02。

6.根据权利要求5所述的一种基于稀疏表示的立体图像质量客观评价方法，其特征在于所述的步骤④-8中取w_local＝0.95。