CN106210711A - 一种无参考立体图像质量评价方法 - Google Patents

Abstract

本发明公开了一种无参考立体图像质量评价方法，其在训练阶段，通过主观实验获得失真立体图像的分类标签，并将所有无失真立体图像、所有失真立体图像及各自对应的分类标签构成训练图像集，并通过联合字典训练得到训练图像集的左、右视点图像特征字典表和左、右视点图像质量字典表及变换矩阵，左、右视点图像特征字典表和左、右视点图像质量字典表具有可辨别性；在测试阶段，根据左、右视点图像特征字典表，通过优化得到稀疏系数矩阵，再通过稀疏系数矩阵和左、右视点图像质量字典表，计算图像质量客观评价预测值，因左、右视点图像特征字典表和左、右视点图像质量字典表具有可辨别性，使得图像质量客观评价预测值与主观评价值保持了较好的一致性。

Description

一种无参考立体图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种无参考立体图像质量评价方法。

背景技术

随着图像编码和显示等技术的迅速发展，图像质量评价研究已经成为其中非常重要的环节。图像质量客观评价方法研究的目标是与主观评价结果尽可能保持一致，从而摆脱耗时而枯燥的图像质量主观评价方法，其能够利用计算机自动地评价图像质量。根据对原始图像的参考和依赖程度，图像质量客观评价方法可以分为三大类：全参考(FullReference，FR)图像质量评价方法、部分参考(Reduced Reference，RR)图像质量评价方法和无参考(No Reference，NR)图像质量评价方法。

无参考图像质量评价方法由于无需任何参考图像信息，具有较高的灵活性，因此受到了越来越广泛的关注。目前，现有的无参考图像质量评价方法是通过机器学习来预测评价模型，但其计算复杂度较高，并且训练模型需要预知各评价图像的主观评价值，并不适用于实际的应用场合，存在一定的局限性。稀疏表示是评价图像质量的有效途径，关键在于如何有效地构造字典来表征图像的本质特征，而对于立体图像，左视点图像和右视点图像的对称和非对称会导致不同的双目视觉特性，因此，如何使得构造的字典具有可辨别性、如何在图像特征和图像质量的字典之间建立联系，都是在对立体图像进行无参考质量评价研究中需要重点解决的技术问题。

发明内容

本发明所要解决的技术问题是提供一种无参考立体图像质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性，且无需预知各评价图像的主观评价值。

本发明解决上述技术问题所采用的技术方案为：一种无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤如下：

①_1、选取N幅原始的无失真立体图像，将第u幅原始的无失真立体图像记为将的左视点图像和右视点图像对应记为和然后根据N幅原始的无失真立体图像获取训练图像集，记为再将重新记为其中，N>1，u的初始值为1，表示由对应的在第p个左视点失真强度下的失真左视点图像与对应的在针对第p个左视点失真强度选取的第q个右视点失真强度下的失真右视点图像构成的失真立体图像，M_u,p,q表示的分类标签，M_u,p,q∈{-1,1}，P表示选取的各不相同的左视点失真强度的总个数，P>1，Q表示针对每个左视点失真强度选取的各不相同的右视点失真强度的总个数，针对每个左视点失真强度选取的第1个右视点失真强度与该左视点失真强度相同，Q>1，p的初始值为1，q的初始值为1，表示中的第g幅失真立体图像，M_g表示的分类标签，M_g∈{-1,1}，g的初始值为1；

①_2、采用3种不同的自然场景统计方法获取中的每幅失真立体图像的失真左视点图像和失真右视点图像各自的图像特征矢量，将的失真左视点图像和失真右视点图像各自的图像特征矢量对应记为和然后将中的所有失真立体图像各自的失真左视点图像的图像特征矢量按序构成的集合记为并将中的所有失真立体图像各自的失真右视点图像的图像特征矢量按序构成的集合记为其中，和的维数均为84×1；

采用6种不同的全参考图像质量评价方法获取中的每幅失真立体图像的失真左视点图像和失真右视点图像各自的图像质量矢量，将的失真左视点图像和失真右视点图像各自的图像质量矢量对应记为和然后将中的所有失真立体图像各自的失真左视点图像的图像质量矢量按序构成的集合记为并将中的所有失真立体图像各自的失真右视点图像的图像质量矢量按序构成的集合记为其中，和的维数均为6×1；

将中的所有分类标签按序构成的集合记为{M_g|1≤g≤N×P×Q}；

①_3、采用K-SVD方法求解，获得的左视点图像特征字典表、左视点图像质量字典表、右视点图像特征字典表、右视点图像质量字典表及变换矩阵，对应记为及W；其中，和的维数均为84×K，和的维数均为6×K，W的维数为1×K，K表示设定的字典的个数，K≥1，min{}为取最小值函数，符号“||||_F”为求取矩阵的弗罗贝尼乌斯范数-范数符号，符号“||||₁”为求取矩阵的1-范数符号，X^L,dis的维数为84×(N×P×Q)， 对应为中的第1个图像特征矢量、第2个图像特征矢量、…、第g个图像特征矢量、…、第N×P×Q个图像特征矢量，Y^L,dis的维数为6×(N×P×Q)， 对应为中的第1个图像质量矢量、第2个图像质量矢量、…、第g个图像质量矢量、…、第N×P×Q个图像质量矢量，X^R,dis的维数为84×(N×P×Q)， 对应为中的第1个图像特征矢量、第2个图像特征矢量、…、第g个图像特征矢量、…、第N×P×Q个图像特征矢量，Y^R,dis的维数为6×(N×P×Q)， 对应为中的第1个图像质量矢量、第2个图像质量矢量、…、第g个图像质量矢量、…、第N×P×Q个图像质量矢量，Z的维数为1×(N×P×Q)，Z＝[M₁,M₂,…,M_g,…,M_N×P×Q]，M₁,M₂,…,M_g,…,M_N×P×Q对应为{M_g|1≤g≤N×P×Q}中的第1个分类标签、第2个分类标签、…、第g个分类标签、…、第N×P×Q个分类标签，A表示稀疏系数矩阵，A的维数为K×(N×P×Q)，A＝[a₁,a₂,…,a_g,…,a_N×P×Q]，a₁,a₂,…,a_g,…,a_N×P×Q对应为A中的第1个列向量、第2个列向量、…、第g个列向量、…、第N×P×Q个列向量，a₁,a₂,…,a_g,…,a_N×P×Q的维数均为K×1，符号“[]”为矢量表示符号，α和β均为加权参数，λ为拉格朗日参数；

所述的测试阶段过程的具体步骤如下：

②_1、对于任意一幅测试立体图像S_test，按照步骤①_2中获取和的过程，以相同的操作获取S_test的失真左视点图像和失真右视点图像各自的图像特征矢量，对应记为和其中，和的维数均为84×1；

②_2、根据在训练阶段过程获得的和估计和的稀疏系数矩阵，和的稀疏系数矩阵相同，并记为是采用K-SVD方法求解得到的；其中，的维数为K×1，min{}为取最小值函数，符号“||||_F”为求取矩阵的弗罗贝尼乌斯范数-范数符号，符号“||||₁”为求取矩阵的1-范数符号，λ为拉格朗日参数；

②_3、根据在训练阶段过程获得的估计S_test的失真左视点图像的图像质量矢量，记为 并根据在训练阶段过程获得的估计S_test的失真右视点图像的图像质量矢量，记为 其中，和的维数均为6×1；

②_4、计算S_test的图像质量客观评价预测值，记为Quality，其中，ω^L表示S_test的失真左视点图像的质量加权系数，ω^R表示S_test的失真右视点图像的质量加权系数，exp()表示以自然基数e为底的指数函数，符号“||||₂”为求取矩阵的2-范数符号。

所述的步骤①_1中的训练图像集的获取过程为：

①_1a、选取P个各不相同的左视点失真强度，并将第p个左视点失真强度定义为当前左视点失真强度；

①_1b、针对当前左视点失真强度选取Q个值大于或等于当前左视点失真强度且各不相同的右视点失真强度；并将当前待处理的第u幅原始的无失真立体图像定义为当前无失真立体图像；其中，针对当前左视点失真强度选取的第1个右视点失真强度与当前左视点失真强度相同；

①_1c、采用当前左视点失真强度对进行失真处理，得到对应的在当前左视点失真强度下的失真左视点图像，记为并采用针对当前左视点失真强度选取的Q个右视点失真强度分别对进行失真处理，得到对应的在针对当前左视点失真强度选取的每个右视点失真强度下的失真右视点图像，将对应的在针对当前左视点失真强度选取的第q个右视点失真强度下的失真右视点图像记为

①_1d、将和对应的在针对当前左视点失真强度选取的每个右视点失真强度下的失真右视点图像构成一幅失真立体图像；然后将和对应的在针对当前左视点失真强度选取的第1个右视点失真强度下的失真右视点图像构成的失真立体图像作为对应的参考失真立体图像，记为并将和对应的在针对当前左视点失真强度选取的除第1个右视点失真强度外的其余每个右视点失真强度下的失真右视点图像构成的失真立体图像作为对应的测试失真立体图像，将和对应的在针对当前左视点失真强度选取的第q'个右视点失真强度下的失真右视点图像构成的失真立体图像记为其中，q'的初始值为2，2≤q'≤Q；

①_1e、直接将对应的参考失真立体图像的分类标签确定为1；并利用主观实验对对应的参考失真立体图像和对应的每幅测试失真立体图像进行测试，确定对应的每幅测试失真立体图像的分类标签；对于和利用主观实验对和进行测试，如果判定为两者的立体视觉发现明显的变化，则将的分类标签确定为1，如果判定为两者的立体视觉未发现明显的变化，则将的分类标签确定为-1；

①_1f、令u＝u+1，将下一幅待处理的原始的无失真立体图像作为当前无失真立体图像，然后返回步骤①_1c继续执行，直至N幅原始的无失真立体图像处理完毕，再执行步骤①_1g；其中，u＝u+1中的“＝”为赋值符号；

①_1g、令p＝p+1，将选取的下一个左视点失真强度作为当前左视点失真强度，然后返回步骤①_1b继续执行，直至选取的P个各不相同的左视点失真强度遍历完毕，得到每幅原始的无失真立体图像对应的P×Q幅质量各不相同的失真立体图像；其中，p＝p+1中的“＝”为赋值符号；

①_1h、将N幅原始的无失真立体图像、N幅原始的无失真立体图像对应的共N×P×Q幅失真立体图像及N×P×Q幅失真立体图像各自的分类标签构成训练图像集

所述的步骤①_2中的3种不同的自然场景统计方法分别为BLIINDS-II方法、BRISQUE-L方法和SRNSS方法；

所述的步骤①_2中的的获取过程为：采用BLIINDS-II方法获取的失真左视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取的失真左视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取的失真左视点图像的维数为24×1的第三图像特征矢量；然后将的失真左视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量按序组合成的失真左视点图像的图像特征矢量

所述的步骤①_2中的的获取过程为：采用BLIINDS-II方法获取的失真右视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取的失真右视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取的失真右视点图像的维数为24×1的第三图像特征矢量；然后将的失真右视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量组合成的失真右视点图像的图像特征矢量

所述的步骤①_2中的6种不同的全参考图像质量评价方法分别为SSIM、MS-SSIM、FSIM、IW-SSIM、VIF和GMSD全参考图像质量评价方法。

所述的步骤①_2中的的获取过程为：采用6种不同的全参考图像质量评价方法分别获取的失真左视点图像的客观评价预测值，共得到的失真左视点图像对应的6个客观评价预测值；然后将的失真左视点图像对应的6个客观评价预测值按序组合成的失真左视点图像的图像特征矢量

所述的步骤①_2中的的获取过程为：采用6种不同的全参考图像质量评价方法分别获取的失真右视点图像的客观评价预测值，共得到的失真右视点图像对应的6个客观评价预测值；然后将的失真右视点图像对应的6个客观评价预测值按序组合成的失真右视点图像的图像特征矢量

所述的步骤①_3中的K的取值与中的失真立体图像的失真类型有关，当失真类型为JPEG失真时取K＝90，当失真类型为高斯模糊失真时取K＝78，当失真类型为高斯白噪声失真时取K＝100。

所述的步骤①_3中的α和β的取值与中的失真立体图像的失真类型有关，当失真类型为JPEG失真时取α＝1.18和β＝3.35，当失真类型为高斯模糊失真时取α＝0.64和β＝2.25，当失真类型为高斯白噪声失真时取α＝1.69和β＝4.41。

所述的步骤①_3和所述的步骤②_2中取λ＝0.15。

所述的步骤②_1中的的获取过程为：采用BLIINDS-II方法获取S_test的失真左视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取S_test的失真左视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取S_test的失真左视点图像的维数为24×1的第三图像特征矢量；然后将S_test的失真左视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量按序组合成S_test的失真左视点图像的图像特征矢量

所述的步骤②_1中的的获取过程为：采用BLIINDS-II方法获取S_test的失真右视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取S_test的失真右视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取S_test的失真右视点图像的维数为24×1的第三图像特征矢量；然后将S_test的失真右视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量组合成S_test的失真右视点图像的图像特征矢量

与现有技术相比，本发明的优点在于：

1)本发明方法在训练阶段，通过主观实验获得人眼可感知立体视觉变化时失真立体图像的分类标签，并将所有原始的无失真立体图像、所有失真立体图像及各自对应的分类标签构成训练图像集，并通过联合字典训练分别得到训练图像集的左视点图像特征字典表、左视点图像质量字典表、右视点图像特征字典表、右视点图像质量字典表和变换矩阵，得到的左视点图像特征字典表、左视点图像质量字典表、右视点图像特征字典表、右视点图像质量字典表具有可辨别性；且本发明方法在训练阶段无需预知各失真立体图像的主观评价值。

2)本发明方法在测试阶段，根据在训练阶段构造得到的左视点图像特征字典表和右视点图像特征字典表，通过优化得到测试立体图像的稀疏系数矩阵，并通过稀疏系数矩阵和在训练阶段构造得到的左视点图像质量字典表和右视点图像质量字典表，来计算测试立体图像的图像质量客观评价预测值，由于构造的左视点图像特征字典表、左视点图像质量字典表、右视点图像特征字典表、右视点图像质量字典表具有可辨别性，因此使得最终计算得到的图像质量客观评价预测值与主观评价值保持了较好的一致性。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种无参考立体图像质量评价方法，其总体实现框图如图1所示，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤如下：

①_1、选取N幅原始的无失真立体图像，将第u幅原始的无失真立体图像记为将的左视点图像和右视点图像对应记为和然后根据N幅原始的无失真立体图像获取训练图像集，记为再将重新记为其中，N>1，在本实施例中取N＝8，u的初始值为1，表示由对应的在第p个左视点失真强度下的失真左视点图像与对应的在针对第p个左视点失真强度选取的第q个右视点失真强度下的失真右视点图像构成的失真立体图像，M_u,p,q表示的分类标签，M_u,p,q∈{-1,1}，P表示选取的各不相同的左视点失真强度的总个数，P>1，在本实施例中取P＝5，Q表示针对每个左视点失真强度选取的各不相同的右视点失真强度的总个数，针对每个左视点失真强度选取的Q个各不相同的右视点失真强度依次增大且选取的第1个右视点失真强度与该左视点失真强度相同，Q>1，在本实施例中取Q＝6，p的初始值为1，q的初始值为1，表示中的第g幅失真立体图像，M_g表示的分类标签，M_g∈{-1,1}，g的初始值为1。

在此具体实施例中，步骤①_1中的训练图像集的获取过程为：

①_1a、选取P个各不相同的左视点失真强度，并将第p个左视点失真强度定义为当前左视点失真强度。

①_1b、针对当前左视点失真强度选取Q个值大于或等于当前左视点失真强度且各不相同的右视点失真强度；并将当前待处理的第u幅原始的无失真立体图像定义为当前无失真立体图像；其中，针对当前左视点失真强度选取的Q个各不相同的右视点失真强度依次增大，且选取的第1个右视点失真强度与当前左视点失真强度相同。

①_1c、采用当前左视点失真强度对进行失真处理，得到对应的在当前左视点失真强度下的失真左视点图像，记为并采用针对当前左视点失真强度选取的Q个右视点失真强度分别对进行失真处理，得到对应的在针对当前左视点失真强度选取的每个右视点失真强度下的失真右视点图像，即得到对应的Q幅质量各不相同的失真右视点图像，将对应的在针对当前左视点失真强度选取的第q个右视点失真强度下的失真右视点图像记为

①_1d、将和对应的在针对当前左视点失真强度选取的每个右视点失真强度下的失真右视点图像构成一幅失真立体图像；然后将和对应的在针对当前左视点失真强度选取的第1个右视点失真强度下的失真右视点图像构成的失真立体图像作为对应的参考失真立体图像，记为并将和对应的在针对当前左视点失真强度选取的除第1个右视点失真强度外的其余每个右视点失真强度下的失真右视点图像构成的失真立体图像作为对应的测试失真立体图像，将和对应的在针对当前左视点失真强度选取的第q'个右视点失真强度下的失真右视点图像构成的失真立体图像记为其中，q'的初始值为2，2≤q'≤Q。

①_1e、直接将对应的参考失真立体图像的分类标签确定为1；并利用主观实验对对应的参考失真立体图像和对应的每幅测试失真立体图像进行测试，确定对应的每幅测试失真立体图像的分类标签；对于和利用主观实验对和进行测试，如果判定为两者的立体视觉发现明显的变化，则将的分类标签确定为1，如果判定为两者的立体视觉未发现明显的变化，则将的分类标签确定为-1；在此，主观实验为利用立体显示器进行观察。

①_1f、令u＝u+1，将下一幅待处理的原始的无失真立体图像作为当前无失真立体图像，然后返回步骤①_1c继续执行，直至N幅原始的无失真立体图像处理完毕，再执行步骤①_1g；其中，u＝u+1中的“＝”为赋值符号。

①_1g、令p＝p+1，将选取的下一个左视点失真强度作为当前左视点失真强度，然后返回步骤①_1b继续执行，直至选取的P个各不相同的左视点失真强度遍历完毕，得到每幅原始的无失真立体图像对应的P×Q幅质量各不相同的失真立体图像；其中，p＝p+1中的“＝”为赋值符号。

①_1h、将N幅原始的无失真立体图像、N幅原始的无失真立体图像对应的共N×P×Q幅失真立体图像及N×P×Q幅失真立体图像各自的分类标签构成训练图像集

在具体实施时，可取N＝8幅原始的无失真立体图像，每幅原始的无失真立体图像的左视点图像分别加5个失真强度的JPEG失真、5个失真强度的高斯模糊失真和5个失真强度的高斯白噪声失真，每幅原始的无失真立体图像的右视点图像分别加6个失真强度，这样得到由8幅原始的无失真立体图像、240幅JPEG失真立体图像及各自对应的分类标签构成JPEG失真训练图像集、由8幅原始的无失真立体图像、240幅高斯模糊失真立体图像及各自对应的分类标签构成高斯模糊失真训练图像集、由8幅原始的无失真立体图像、240幅高斯白噪声失真立体图像及各自对应的分类标签构成高斯白噪声失真训练图像集。

①_2、采用3种不同的自然场景统计(NSS)方法获取中的每幅失真立体图像的失真左视点图像和失真右视点图像各自的图像特征矢量，将的失真左视点图像和失真右视点图像各自的图像特征矢量对应记为和然后将中的所有失真立体图像各自的失真左视点图像的图像特征矢量按序构成的集合记为并将中的所有失真立体图像各自的失真右视点图像的图像特征矢量按序构成的集合记为其中，和的维数均为84×1。

采用6种不同的全参考图像质量评价方法获取中的每幅失真立体图像的失真左视点图像和失真右视点图像各自的图像质量矢量，将的失真左视点图像和失真右视点图像各自的图像质量矢量对应记为和然后将中的所有失真立体图像各自的失真左视点图像的图像质量矢量按序构成的集合记为并将中的所有失真立体图像各自的失真右视点图像的图像质量矢量按序构成的集合记为其中，和的维数均为6×1。

将中的所有分类标签按序构成的集合记为{M_g|1≤g≤N×P×Q}。

在此具体实施例中，步骤①_2中的3种不同的自然场景统计方法分别为BLIINDS-II(BLind Image Integrity Notator using DCT Statistics-II)方法、BRISQUE-L(Blind/Referenceless Image Spatial QUality Evaluator using L-moments)方法和SRNSS(Sparse Representation Natural Scene Statistics)方法。步骤①_2中的的获取过程为：采用BLIINDS-II方法获取的失真左视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取的失真左视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取的失真左视点图像的维数为24×1的第三图像特征矢量；然后将的失真左视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量按序组合成的失真左视点图像的图像特征矢量步骤①_2中的的获取过程为：采用BLIINDS-II方法获取的失真右视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取的失真右视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取的失真右视点图像的维数为24×1的第三图像特征矢量；然后将的失真右视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量组合成的失真右视点图像的图像特征矢量

在此具体实施例中，步骤①_2中的6种不同的全参考图像质量评价方法分别为公知的SSIM、MS-SSIM、FSIM、IW-SSIM、VIF和GMSD全参考图像质量评价方法。步骤①_2中的的获取过程为：采用6种不同的全参考图像质量评价方法分别获取的失真左视点图像的客观评价预测值，共得到的失真左视点图像对应的6个客观评价预测值；然后将的失真左视点图像对应的6个客观评价预测值按序组合成的失真左视点图像的图像特征矢量步骤①_2中的的获取过程为：采用6种不同的全参考图像质量评价方法分别获取的失真右视点图像的客观评价预测值，共得到的失真右视点图像对应的6个客观评价预测值；然后将的失真右视点图像对应的6个客观评价预测值按序组合成的失真右视点图像的图像特征矢量

①_3、采用K-SVD方法求解，获得的左视点图像特征字典表、左视点图像质量字典表、右视点图像特征字典表、右视点图像质量字典表及变换矩阵，对应记为及W；其中，和的维数均为84×K，和的维数均为6×K，W的维数为1×K，K表示设定的字典的个数，K≥1，min{}为取最小值函数，符号“||||_F”为求取矩阵的弗罗贝尼乌斯范数-范数符号，符号“||||₁”为求取矩阵的1-范数符号，X^L,dis的维数为84×(N×P×Q)， 对应为中的第1个图像特征矢量、第2个图像特征矢量、…、第g个图像特征矢量、…、第N×P×Q个图像特征矢量，Y^L,dis的维数为6×(N×P×Q)， 对应为中的第1个图像质量矢量、第2个图像质量矢量、…、第g个图像质量矢量、…、第N×P×Q个图像质量矢量，X^R _, ^dis的维数为84×(N×P×Q)， 对应为中的第1个图像特征矢量、第2个图像特征矢量、…、第g个图像特征矢量、…、第N×P×Q个图像特征矢量，Y^R,dis的维数为6×(N×P×Q)， 对应为中的第1个图像质量矢量、第2个图像质量矢量、…、第g个图像质量矢量、…、第N×P×Q个图像质量矢量，Z的维数为1×(N×P×Q)，Z＝[M₁,M₂,…,M_g,…,M_N×P×Q]，M₁,M₂,…,M_g,…,M_N×P×Q对应为{M_g|1≤g≤N×P×Q}中的第1个分类标签、第2个分类标签、…、第g个分类标签、…、第N×P×Q个分类标签，A表示稀疏系数矩阵，A的维数为K×(N×P×Q)，A＝[a₁,a₂,…,a_g,…,a_N×P×Q]，a₁,a₂,…,a_g,…,a_N×P×Q对应为A中的第1个列向量、第2个列向量、…、第g个列向量、…、第N×P×Q个列向量，a₁,a₂,…,a_g,…,a_N×P×Q的维数均为K×1，符号“[]”为矢量表示符号，α和β均为加权参数，λ为拉格朗日参数，在本实施例中取λ＝0.15。

在本实施例中，步骤①_3中的K的取值与中的失真立体图像的失真类型有关，当失真类型为JPEG失真时取K＝90，当失真类型为高斯模糊失真时取K＝78，当失真类型为高斯白噪声失真时取K＝100。步骤①_3中的α和β的取值与中的失真立体图像的失真类型有关，当失真类型为JPEG失真时取α＝1.18和β＝3.35，当失真类型为高斯模糊失真时取α＝0.64和β＝2.25，当失真类型为高斯白噪声失真时取α＝1.69和β＝4.41。

所述的测试阶段过程的具体步骤如下：

②_1、对于任意一幅测试立体图像按照步骤①_2中获取和的过程，以相同的操作获取S_test的失真左视点图像和失真右视点图像各自的图像特征矢量，对应记为和其中，和的维数均为84×1。

在此具体实施例中，步骤②_1中的的获取过程为：采用BLIINDS-II方法获取S_test的失真左视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取S_test的失真左视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取S_test的失真左视点图像的维数为24×1的第三图像特征矢量；然后将S_test的失真左视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量按序组合成S_test的失真左视点图像的图像特征矢量步骤②_1中的的获取过程为：采用BLIINDS-II方法获取S_test的失真右视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取S_test的失真右视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取S_test的失真右视点图像的维数为24×1的第三图像特征矢量；然后将S_test的失真右视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量组合成S_test的失真右视点图像的图像特征矢量

②_2、根据在训练阶段过程获得的和估计和的稀疏系数矩阵，和的稀疏系数矩阵相同，并记为是采用K-SVD方法求解得到的；其中，的维数为K×1，min{}为取最小值函数，符号“||||_F”为求取矩阵的弗罗贝尼乌斯范数-范数符号，符号“||||₁”为求取矩阵的1-范数符号，λ为拉格朗日参数，在本实施例中取λ＝0.15。

②_3、根据在训练阶段过程获得的估计S_test的失真左视点图像的图像质量矢量，记为 并根据在训练阶段过程获得的估计S_test的失真右视点图像的图像质量矢量，记为 其中，和的维数均为6×1。

②_4、计算S_test的图像质量客观评价预测值，记为Quality，其中，ω^L表示S_test的失真左视点图像的质量加权系数，ω^R表示S_test的失真右视点图像的质量加权系数，exp()表示以自然基数e为底的指数函数，符号“||||₂”为求取矩阵的2-范数符号。

在此，采用LIVE立体图像质量评价库I和LIVE立体图像质量评价库II来分析本实施例得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。取LIVE立体图像质量评价库I中由20幅无失真立体图像在不同失真程度的JPEG压缩情况下的80幅失真立体图像、高斯模糊情况下的45幅失真立体图像和高斯白噪声情况下的80幅失真立体图像。取LIVE立体图像质量评价库II中由8幅无失真立体图像在不同失真程度的JPEG压缩情况下的80幅失真立体图像、高斯模糊情况下的80幅失真立体图像和高斯白噪声情况下的80幅失真立体图像。这里，利用评估图像质量评价方法的2个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlationcoefficient，PLCC)、Spearman相关系数(Spearman rank order correlationcoefficient，SROCC)，PLCC反映失真立体图像的客观评价结果的准确性，SROCC反映其单调性。

利用本发明方法计算LIVE立体图像质量评价库I中的每幅失真立体图像的图像质量客观评价预测值和LIVE立体图像质量评价库II中的每幅失真立体图像的图像质量客观评价预测值，再利用现有的主观质量评价方法获得LIVE立体图像质量评价库I中的每幅失真立体图像的平均主观评分差值和LIVE立体图像质量评价库II中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，说明客观评价结果与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数，表2给出了采用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Spearman相关系数。从表1和表2中可以看出，采用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。

表1利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Pearson相关系数比较

失真类型	JPEG压缩	高斯模糊	白噪声	所有失真
					LIVE立体图像质量评价库I	0.5837	0.9231	0.8575	0.9095
LIVE立体图像质量评价库II	0.7520	0.9619	0.8641	0.9095

表2利用本发明方法得到的失真立体图像的图像质量客观评价预测值与平均主观评分差值之间的Spearman相关系数比较

失真类型	JPEG压缩	高斯模糊	白噪声	所有失真
					LIVE立体图像质量评价库I	0.5782	0.8999	0.8126	0.8761
LIVE立体图像质量评价库II	0.6937	0.9292	0.8504	0.8717

Claims (9)

1.一种无参考立体图像质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤如下：

①_1、选取N幅原始的无失真立体图像，将第u幅原始的无失真立体图像记为将的左视点图像和右视点图像对应记为和然后根据N幅原始的无失真立体图像获取训练图像集，记为再将重新记为其中，N>1，u的初始值为1，表示由对应的在第p个左视点失真强度下的失真左视点图像与对应的在针对第p个左视点失真强度选取的第q个右视点失真强度下的失真右视点图像构成的失真立体图像，M_u,p,q表示的分类标签，M_u,p,q∈{-1,1}，P表示选取的各不相同的左视点失真强度的总个数，P>1，Q表示针对每个左视点失真强度选取的各不相同的右视点失真强度的总个数，针对每个左视点失真强度选取的第1个右视点失真强度与该左视点失真强度相同，Q>1，p的初始值为1，q的初始值为1，表示中的第g幅失真立体图像，M_g表示的分类标签，M_g∈{-1,1}，g的初始值为1；

①_2、采用3种不同的自然场景统计方法获取中的每幅失真立体图像的失真左视点图像和失真右视点图像各自的图像特征矢量，将的失真左视点图像和失真右视点图像各自的图像特征矢量对应记为和然后将中的所有失真立体图像各自的失真左视点图像的图像特征矢量按序构成的集合记为并将中的所有失真立体图像各自的失真右视点图像的图像特征矢量按序构成的集合记为其中，和的维数均为84×1；

采用6种不同的全参考图像质量评价方法获取中的每幅失真立体图像的失真左视点图像和失真右视点图像各自的图像质量矢量，将的失真左视点图像和失真右视点图像各自的图像质量矢量对应记为和然后将中的所有失真立体图像各自的失真左视点图像的图像质量矢量按序构成的集合记为并将中的所有失真立体图像各自的失真右视点图像的图像质量矢量按序构成的集合记为其中，和的维数均为6×1；

将中的所有分类标签按序构成的集合记为{M_g|1≤g≤N×P×Q}；

①_3、采用K-SVD方法求解，获得的左视点图像特征字典表、左视点图像质量字典表、右视点图像特征字典表、右视点图像质量字典表及变换矩阵，对应记为及W；其中，和的维数均为84×K，和的维数均为6×K，W的维数为1×K，K表示设定的字典的个数，K≥1，min{}为取最小值函数，符号“|| ||_F”为求取矩阵的弗罗贝尼乌斯范数-范数符号，符号“|| ||₁”为求取矩阵的1-范数符号，X^L,dis的维数为84×(N×P×Q)， 对应为中的第1个图像特征矢量、第2个图像特征矢量、…、第g个图像特征矢量、…、第N×P×Q个图像特征矢量，Y^L,dis的维数为6×(N×P×Q)， 对应为中的第1个图像质量矢量、第2个图像质量矢量、…、第g个图像质量矢量、…、第N×P×Q个图像质量矢量，X^R,dis的维数为84×(N×P×Q)， 对应为中的第1个图像特征矢量、第2个图像特征矢量、…、第g个图像特征矢量、…、第N×P×Q个图像特征矢量，Y^R,dis的维数为6×(N×P×Q)， 对应为中的第1个图像质量矢量、第2个图像质量矢量、…、第g个图像质量矢量、…、第N×P×Q个图像质量矢量，Z的维数为1×(N×P×Q)，Z＝[M₁,M₂,…,M_g,…,M_N×P×Q]，M₁,M₂,…,M_g,…,M_N×P×Q对应为{M_g|1≤g≤N×P×Q}中的第1个分类标签、第2个分类标签、…、第g个分类标签、…、第N×P×Q个分类标签，A表示稀疏系数矩阵，A的维数为K×(N×P×Q)，A＝[a₁,a₂,…,a_g,…,a_N×P×Q]，a₁,a₂,…,a_g,…,a_N×P×Q对应为A中的第1个列向量、第2个列向量、…、第g个列向量、…、第N×P×Q个列向量，a₁,a₂,…,a_g,…,a_N×P×Q的维数均为K×1，符号“[]”为矢量表示符号，α和β均为加权参数，λ为拉格朗日参数；

所述的测试阶段过程的具体步骤如下：

②_1、对于任意一幅测试立体图像S_test，按照步骤①_2中获取和的过程，以相同的操作获取S_test的失真左视点图像和失真右视点图像各自的图像特征矢量，对应记为和其中，和的维数均为84×1；

②_2、根据在训练阶段过程获得的和估计和的稀疏系数矩阵，和的稀疏系数矩阵相同，并记为 是采用K-SVD方法求解得到的；其中，的维数为K×1，min{}为取最小值函数，符号“|| ||_F”为求取矩阵的弗罗贝尼乌斯范数-范数符号，符号“|| ||₁”为求取矩阵的1-范数符号，λ为拉格朗日参数；

②_3、根据在训练阶段过程获得的估计S_test的失真左视点图像的图像质量矢量，记为 并根据在训练阶段过程获得的估计S_test的失真右视点图像的图像质量矢量，记为 其中，和的维数均为6×1；

②_4、计算S_test的图像质量客观评价预测值，记为Quality，其中，ω^L表示S_test的失真左视点图像的质量加权系数，ω^R表示S_test的失真右视点图像的质量加权系数，exp()表示以自然基数e为底的指数函数，符号“|| ||₂”为求取矩阵的2-范数符号。

2.根据权利要求1所述的一种无参考立体图像质量评价方法，其特征在于所述的步骤①_1中的训练图像集的获取过程为：

①_1a、选取P个各不相同的左视点失真强度，并将第p个左视点失真强度定义为当前左视点失真强度；

①_1b、针对当前左视点失真强度选取Q个值大于或等于当前左视点失真强度且各不相同的右视点失真强度；并将当前待处理的第u幅原始的无失真立体图像定义为当前无失真立体图像；其中，针对当前左视点失真强度选取的第1个右视点失真强度与当前左视点失真强度相同；

①_1c、采用当前左视点失真强度对进行失真处理，得到对应的在当前左视点失真强度下的失真左视点图像，记为并采用针对当前左视点失真强度选取的Q个右视点失真强度分别对进行失真处理，得到对应的在针对当前左视点失真强度选取的每个右视点失真强度下的失真右视点图像，将对应的在针对当前左视点失真强度选取的第q个右视点失真强度下的失真右视点图像记为

①_1d、将和对应的在针对当前左视点失真强度选取的每个右视点失真强度下的失真右视点图像构成一幅失真立体图像；然后将和对应的在针对当前左视点失真强度选取的第1个右视点失真强度下的失真右视点图像构成的失真立体图像作为对应的参考失真立体图像，记为并将和对应的在针对当前左视点失真强度选取的除第1个右视点失真强度外的其余每个右视点失真强度下的失真右视点图像构成的失真立体图像作为对应的测试失真立体图像，将和对应的在针对当前左视点失真强度选取的第q'个右视点失真强度下的失真右视点图像构成的失真立体图像记为其中，q'的初始值为2，2≤q'≤Q；

①_1e、直接将对应的参考失真立体图像的分类标签确定为1；并利用主观实验对对应的参考失真立体图像和对应的每幅测试失真立体图像进行测试，确定对应的每幅测试失真立体图像的分类标签；对于和利用主观实验对和进行测试，如果判定为两者的立体视觉发现明显的变化，则将的分类标签确定为1，如果判定为两者的立体视觉未发现明显的变化，则将的分类标签确定为-1；

①_1f、令u＝u+1，将下一幅待处理的原始的无失真立体图像作为当前无失真立体图像，然后返回步骤①_1c继续执行，直至N幅原始的无失真立体图像处理完毕，再执行步骤①_1g；其中，u＝u+1中的“＝”为赋值符号；

①_1g、令p＝p+1，将选取的下一个左视点失真强度作为当前左视点失真强度，然后返回步骤①_1b继续执行，直至选取的P个各不相同的左视点失真强度遍历完毕，得到每幅原始的无失真立体图像对应的P×Q幅质量各不相同的失真立体图像；其中，p＝p+1中的“＝”为赋值符号；

①_1h、将N幅原始的无失真立体图像、N幅原始的无失真立体图像对应的共N×P×Q幅失真立体图像及N×P×Q幅失真立体图像各自的分类标签构成训练图像集

3.根据权利要求1或2所述的一种无参考立体图像质量评价方法，其特征在于所述的步骤①_2中的3种不同的自然场景统计方法分别为BLIINDS-II方法、BRISQUE-L方法和SRNSS方法；

所述的步骤①_2中的的获取过程为：采用BLIINDS-II方法获取的失真左视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取的失真左视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取的失真左视点图像的维数为24×1的第三图像特征矢量；然后将的失真左视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量按序组合成的失真左视点图像的图像特征矢量

所述的步骤①_2中的的获取过程为：采用BLIINDS-II方法获取的失真右视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取的失真右视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取的失真右视点图像的维数为24×1的第三图像特征矢量；然后将的失真右视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量组合成的失真右视点图像的图像特征矢量

4.根据权利要求1或2所述的一种无参考立体图像质量评价方法，其特征在于所述的步骤①_2中的6种不同的全参考图像质量评价方法分别为SSIM、MS-SSIM、FSIM、IW-SSIM、VIF和GMSD全参考图像质量评价方法。

5.根据权利要求1或2所述的一种无参考立体图像质量评价方法，其特征在于所述的步骤①_2中的的获取过程为：采用6种不同的全参考图像质量评价方法分别获取的失真左视点图像的客观评价预测值，共得到的失真左视点图像对应的6个客观评价预测值；然后将的失真左视点图像对应的6个客观评价预测值按序组合成的失真左视点图像的图像特征矢量

所述的步骤①_2中的的获取过程为：采用6种不同的全参考图像质量评价方法分别获取的失真右视点图像的客观评价预测值，共得到的失真右视点图像对应的6个客观评价预测值；然后将的失真右视点图像对应的6个客观评价预测值按序组合成的失真右视点图像的图像特征矢量

6.根据权利要求1所述的一种无参考立体图像质量评价方法，其特征在于所述的步骤①_3中的K的取值与中的失真立体图像的失真类型有关，当失真类型为JPEG失真时取K＝90，当失真类型为高斯模糊失真时取K＝78，当失真类型为高斯白噪声失真时取K＝100。

7.根据权利要求6所述的一种无参考立体图像质量评价方法，其特征在于所述的步骤①_3中的α和β的取值与中的失真立体图像的失真类型有关，当失真类型为JPEG失真时取α＝1.18和β＝3.35，当失真类型为高斯模糊失真时取α＝0.64和β＝2.25，当失真类型为高斯白噪声失真时取α＝1.69和β＝4.41。

8.根据权利要求7所述的一种无参考立体图像质量评价方法，其特征在于所述的步骤①_3和所述的步骤②_2中取λ＝0.15。

9.根据权利要求1所述的一种无参考立体图像质量评价方法，其特征在于所述的步骤②_1中的的获取过程为：采用BLIINDS-II方法获取S_test的失真左视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取S_test的失真左视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取S_test的失真左视点图像的维数为24×1的第三图像特征矢量；然后将S_test的失真左视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量按序组合成S_test的失真左视点图像的图像特征矢量

所述的步骤②_1中的的获取过程为：采用BLIINDS-II方法获取S_test的失真右视点图像的维数为24×1的第一图像特征矢量，并采用BRISQUE-L方法获取S_test的失真右视点图像的维数为36×1的第二图像特征矢量，采用SRNSS方法获取S_test的失真右视点图像的维数为24×1的第三图像特征矢量；然后将S_test的失真右视点图像的第一图像特征矢量、第二图像特征矢量和第三图像特征矢量组合成S_test的失真右视点图像的图像特征矢量