CN101795411A - 一种立体图像的人眼最小可辨变化分析方法 - Google Patents

Abstract

本发明公开了一种立体图像的人眼最小可辨变化分析方法，通过广义线性模型框架下的Thurstone模型对观察者主观评价数据进行回归分析，以在左视点图像质量固定不变的情况下，测定人眼可感知立体图像质量变化时右视点图像质量下降的临界值，从而确定非对称立体视频编码时右视点图像质量相对左视点图像质量可下降的最大变化范围，使得既能通过降低右视点图像质量来达到提高编码效率的目的，又能利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量下降的事实，从而保证了立体图像的整体质量。

Description

一种立体图像的人眼最小可辨变化分析方法

技术领域

本发明涉及一种立体图像视觉感知特性的测量与分析方法，尤其是涉及一种用于非对称立体视频编码的立体图像的人眼最小可辨变化分析方法。

背景技术

早期的心理学研究结果表明，立体视觉中存在掩蔽效应，即构成立体图像的两个视点，质量好的视点图像质量对立体图像的整体质量贡献较大。有研究表明，模糊失真的立体图像，其主观质量由质量较好的视点图像决定，甚至在另一视点图像极端模糊的情况下，立体图像的整体质量不会受到影响。因此，可以利用人类立体视觉系统的这一特性，通过对某一视点图像保持其高质量而适当降低另一视点图像质量的方法，在保证立体图像整体主观质量不受影响的情况下，充分去除视频信号中的冗余，提高编码效率。移动3DTV手机的立体视频编码方法，也考虑用混合分辨率的方法来提高编码性能，保证立体图像的整体质量。平面图像的感知实验结果表明，人眼对图像中变化较小的属性或噪声是不可感知的，除非该属性或者噪声的变化强度超过某一阈值，该阈值就是最小可辨变化(Just Noticeable Difference，JND)，立体视觉同样存在掩蔽效应的阈值。但现有技术主要建立在对立体视觉掩蔽效应的定性分析和应用上，然而实际情况是，掩蔽效应的应用是有范围的，如何定量地确定该效应存在的临界值(即阈值)，尚未见报道。由于对于人眼立体视觉掩蔽效应，不同的失真类型其相应的临界值可能也有所不同，因此，如何设计一个分析方法，以定量分析这个临界值是十分必要的。

发明内容

本发明所要解决的技术问题是提供一种能够很好地确定非对称立体视频编码时右视点图像的质量相对左视点图像的质量可下降的最大变化范围，通过降低右视点图像的质量来达到提高编码效率的目的，同时利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量的下降，有效保证了立体图像的整体质量的人眼最小可辨变化分析方法。

本发明解决上述技术问题所采用的技术方案为：一种立体图像的人眼最小可辨变化分析方法，其特征在于包括以下步骤：

①首先取一幅立体图像作为测试图像，然后利用H.264视频编码标准，采用一个预设的编码量化参数对测试图像的左视点图像以帧内编码方式进行编码，记对测试图像的左视点图像进行编码所采用的预设的编码量化参数为QP_L，将编码得到的左视点图像定义为A质量点的左视点图像，记为L_A，再采用N个不同的编码量化参数分别对测试图像的右视点图像以帧内编码方式进行编码，获得所需的N幅质量各不相同的右视点图像，其中，对测试图像的右视点图像进行编码所采用的N个不同的编码量化参数分别为QP_L-1、QP_L、QP_L+1、QP_L+2、……，如果(51-(QP_L-1)+1)＞15，则N＝15，否则，N＝51-(QP_L-1)+1；

②从采用编码量化参数QP_L-1、QP_L、QP_L+1进行编码得到的3幅质量各不相同的右视点图像中选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像L_A的质量最为接近的右视点图像，并将该选定的右视点图像定义为A质量点的右视点图像，记为R_A，将A质量点的右视点图像R_A编码采用的编码量化参数记为QP_RA，将A质量点的左视点图像L_A和A质量点的右视点图像R_A所构成的最优立体图像记为S_AA；记N幅质量各不相同的右视点图像中编码量化参数大于QP_RA的右视点图像的数量为M幅，将A质量点的左视点图像L_A与M幅采用大于QP_RA的编码量化参数编码得到的右视点图像一一构成M幅立体图像，记为S_m，1≤m≤M，S_m为由A质量点的左视点图像L_A和采用编码量化参数QP_RA+m编码得到的右视点图像所构成的立体图像；

③组织参与进行图像主观质量评价的观察者若干名，先将m＝1时的立体图像S_m作为当前待评价立体图像，然后将内容相同但质量不同的最优立体图像S_AA和当前待评价立体图像S_m同时播放在屏幕上，要求每位观察者对这2幅立体图像的质量进行独立评价，看观察者是否能辨别出这2幅立体图像的质量差异，并记录下每位观察者对这2幅立体图像的质量的评价结果，再将m加1后的立体图像S_m作为当前待评价立体图像，重复上述评价过程，直至m＞M时结束评价过程；根据所有观察者的评价结果选择B、C、D、E另外4个质量点的右视点图像，选择方法如下：如果立体图像S_m与最优立体图像S_AA对比后大多数观察者都不能分辨出该S_m与S_AA的质量差异，则将该S_m对应的右视点图像定义为B质量点的右视点图像，记为R_B，并将该立体图像S_m记为S_AB，将B质量点的右视点图像R_B编码采用的编码量化参数记为QP_RB；如果立体图像S_m与立体图像S_AA对比后大多数观察者都可以分辨出该S_m与S_AA的质量差异，则将该S_m对应的右视点图像定义为E质量点的右视点图像，记为R_E，并将该立体图像S_m记为S_AE，将E质量点的右视点图像R_E编码采用的编码量化参数记为QP_RE；再在B质量点的右视点图像R_B与E质量点的右视点图像R_E之间等量化步长选取C质量点的右视点图像和D质量点的右视点图像，将C质量点的右视点图像记为R_C，将C质量点的右视点图像R_C编码采用的编码量化参数记为QP_RC，将D质量点的右视点图像记为R_D，将D质量点的右视点图像R_D编码采用的编码量化参数记为QP_RD，(QP_RB-QP_RC)≈(QP_RC-QP_RD)≈(QP_RD-QP_RE)，将A质量点的左视点图像L_A和C质量点的右视点图像R_C所构成的立体图像记为S_AC，将A质量点的左视点图像L_A和D质量点的右视点图像R_D所构成的立体图像记为S_AD；

④将经上述步骤获得的5幅质量逐次递减的立体图像S_AA、S_AB、S_AC、S_AD和S_AE两两组合，共组成十组不同的立体图像对比组合，分别为S_AAS_AB、S_AAS_AC、S_AAS_AD、S_AAS_AE、S_ABS_AC、S_ABS_AD、S_ABS_AE、S_ACS_AD、S_ACS_AE和S_ADS_AE；随机播放这十组立体图像对比组合，要求每位观察者分别对所有立体图像对比组合中的2幅立体图像两两对比进行独立的主观质量评价，指出其认为立体图像对比组合中的2幅立体图像质量相对较好的立体图像，并记录评价数据；

⑤对于十组立体图像对比组合中的其中一组立体图像对比组合，令Q_i和Q_j分别表示该立体图像对比组合中的2幅立体图像分别对应的2幅不同的右视点图像的质量点，Q_i∈{A，B，C，D，E}，Q_j∈{A，B，C，D，E}，且Q_i≠Q_j；然后根据记录的评价数据统计出参与图像主观质量评价的观察者认为Q_i质量点的右视点图像对应的立体图像的质量高于Q_j质量点的右视点图像对应的立体图像的质量的概率，记为p_ij，表示比例为p_ij的观察者认为Q_i质量点的右视点图像对应的立体图像的质量高于Q_j质量点的右视点图像对应的立体图像的质量；再根据十组立体图像对比组合各自的概率p_ij，构造十组立体图像对比组合的偏好概率矩阵；

⑥根据偏好概率矩阵构造适用于建立广义线性模型框架下的Thurstone模型所需的回归矩阵，其中，回归矩阵的总行数为10行，每一行对应一组立体图像对比组合，每行包括7项数据，分别记为N、A_s、B_s、C_s、D_s、E_s、p，其中，N为参与对该组立体图像对比组合进行主观质量评价的观察者人数，A_s、B_s、C_s、D_s、E_s分别对应于由A质量点的左视点图像L_A和A、B、C、D、E 5个质量点的右视点图像分别构成的立体图像S_AA、S_AB、S_AC、S_AD和S_AE，对于回归矩阵中的其中一行，如果A_s、B_s、C_s、D_s、E_s5项中的3项值为0，1项值为1，另1项值为-1，则表示该行数据反映的是非零的2项所对应的2幅立体图像的主观评价结果，p为偏好概率，表示参与评价的N名观察者中有比例为p的观察者认为A_s、B_s、C_s、D_s、E_s5项中值为1的项所对应的立体图像的质量要优于值为-1的项所对应的立体图像；

⑦根据回归矩阵建立广义线性模型框架下的Thurstone模型，Thurstone模型的形式为：Φ^-1(p)＝a×A_s+b×B_s+c×C_s+d×D_s+e×E_s，其中，a、b、c、d和e分别为对应于立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数，且e＝0，Φ^-1(p)为二项分布的概率函数的反函数；然后将回归矩阵数据代入Thurstone模型进行回归分析得到a、b、c、d的估计值，分别记为a^est、b^est、c^est和d^est，并令e的估计值e^est＝e＝0；

⑧逐一计算Z分数对a和b、a和c、a和d及a和e的置信区间，Z分数对a和b的置信区间为a^est-b^est-BOUND＜a-b＜a^est-b^est+BOUND，Z分数对a和c的置信区间为a^est-c^est-BOUND＜a-c＜a^est-c^est+BOUND，Z分数对a和d的置信区间为a^est-d^est-BOUND＜a-d＜a^est-d^est+BOUND，Z分数对a和e的置信区间为a^est-e^est-BOUND＜a-e＜a^est-e^est+BOUND，

x_dim ²为卡方分布，其自由度dim＝4，α表示分位数，x表示相应的检验向量，x^T为x的转置矩阵，COV为随机向量(a，b，c，d)的协方差矩阵；

⑨按英文字母顺序排列b、c、d和e，依次判断Z分数对a和b、a和c、a和d及a和e的每一对中所对应的2幅立体图像的质量是否是可分辨的，具体过程如下：定义当前正在处理的Z分数对为a和q，q∈{b，c，d，e}，判断数值0是否在区间(a^est-q^est-BOUND，a^est-q^est+BOUND)内，如果是，则认为a和q是不具有显著性差异的，表示a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是不可分辨的，否则，认为a和q是具有显著性差异的，表示a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是可分辨的，其中，Q∈{B，C，D，E}；

⑩如果a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是可分辨的，而a对应的最优立体图像S_AA与由A质量点的左视点图像和以英文字母顺序排在q对应的质量点之前的各个质量点所对应的右视点图像构成的立体图像之间的图像质量差异均是不可分辨的，则定义a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ的信噪比差值为测试图像的左视点图像采用预设的编码量化参数QP_L编码时的最小可辨变化值，其中，q∈{b，c，d，e}。

与现有技术相比，本发明的优点在于通过广义线性模型框架下的Thurstone模型对观察者主观评价数据进行回归分析，以在左视点图像质量固定不变的情况下，测定人眼可感知立体图像质量变化时右视点图像质量的临界值，从而确定非对称立体视频编码时右视点图像质量相对左视点图像质量可下降的最大变化范围，使得既能通过降低右视点图像质量来达到提高编码效率的目的，又能利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量下降的事实，从而保证了立体图像的整体质量。现有技术主要建立在对立体视觉掩蔽效应的定性分析和应用上，而本发明方法则可以定量地确定该效应存在的临界值，从而可以更好地满足非对称立体视频编码的需要。

附图说明

图1为“Alt Moabit”测试图像；

图2a为“Alt Moabit”测试图像在左视点图像采用的编码量化参数QP_L＝24时，根据表2的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值；

图2b为根据图2a所示的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值判断得到的观察者对于“Alt Moabit”测试图像在左视点图像采用的编码量化参数QP_L＝24时不同质量点的右视点图像对应的立体图像的主观质量评判结果；

图3a为“Alt Moabit”测试图像在左视点图像采用的编码量化参数QP_L＝31时，根据表3的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值；

图3b为根据图3a所示的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值判断得到的观察者对于“Alt Moabit”测试图像在左视点图像采用的编码量化参数QP_L＝31时不同质量点的右视点图像对应的立体图像的主观质量评判结果；

图4a为“Alt Moabit”测试图像在左视点图像采用的编码量化参数QP_L＝37时，根据表4的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值；

图4b为根据图4a所示的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值判断得到的观察者对于“Alt Moabit”测试图像在左视点图像采用的编码量化参数QP_L＝37时不同质量点的右视点图像对应的立体图像的主观质量评判结果；

图5a为“Alt Moabit”测试图像在左视点图像采用的编码量化参数QP_L＝41时，根据表5的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值；

图5b为根据图5a所示的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值判断得到的观察者对于“Alt Moabit”测试图像在左视点图像采用的编码量化参数QP_L＝41时不同质量点的右视点图像对应的立体图像的主观质量评判结果。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像的人眼最小可辨变化分析方法，具体包括以下步骤：

①首先任意取一幅立体图像作为测试图像，在本实施例中采用图1所示的“AltMoabit”立体图像作为测试图像，它是通过截取德国HHI机构提供的标准立体视频序列获得的，其分辨率为1024×768，相机间距为65mm。

在本实施例中以图1所示的测试图像为对象进行处理，利用H.264视频编码标准，采用了4个预设的不同的编码量化参数分别对图1所示的测试图像的左视点图像以帧内编码方式进行编码，将对测试图像的左视点图像进行编码所采用的预设的编码量化参数记为QP_L，4个预设的编码量化参数QP_L分别为24、31、37和41，编码后得到4幅质量各异的左视点图像，将得到的左视点图像定义为A质量点的左视点图像；其后针对于每幅A质量点的左视点图像各采用N个不同的编码量化参数分别对图1所示的测试图像的右视点图像以帧内编码方式分别进行编码，获得所需的N幅质量各不相同的右视点图像，其中，对测试图像的右视点图像进行编码所采用的N个不同的编码量化参数分别为QP_L-1、QP_L、QP_L+1、QP_L+2、……，若(51-(QP_L-1)+1)＞15，则N＝15，否则，N＝51-(QP_L-1)+1。在本实施例中，对于4幅QP_L分别为24、31、37和41的A质量点的左视点图像，其对应的采用N个不同的编码量化参数进行编码的右视点图像的编码量化参数互有重叠，因此，对于重复的右视点图像编码量化参数，编码只需进行一次即可。

②从采用编码量化参数QP_L-1、QP_L、QP_L+1进行编码得到的三幅质量各不相同的右视点图像中选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像L_A的质量最为接近的右视点图像，并将该选定的右视点图像定义为A质量点的右视点图像，记为R_A，将A质量点的右视点图像R_A编码采用的编码量化参数记为QP_RA，将A质量点的左视点图像L_A和A质量点的右视点图像R_A所构成的最优立体图像记为S_AA；记N幅质量各不相同的右视点图像中编码量化参数大于QP_RA的右视点图像的数量为M幅，将A质量点的左视点图像L_A与M幅采用大于QP_RA的编码量化参数编码得到的右视点图像一一构成M幅立体图像，记为立体图像S_m，1≤m≤M，S_m为由A质量点的左视点图像L_A和采用编码量化参数QP_RA+m编码得到的右视点图像所构成的立体图像。在本实施例中，对于图1所示的测试图像，当其左视点图像的QP_L分别为24、31、37和41时，按本步骤实施，得到相应的QP_RA也分别为24、31、37、41，即本实施例中左右视点图像采用相同的编码量化参数时左右视点图像的质量最为接近。这里选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像L_A的质量最为接近的右视点图像的选择准则为：A质量点的左视点图像L_A的峰值信噪比与采用不同的编码量化参数进行编码所获得的质量各不相同的右视点图像的峰值信噪比(PSNR)数值最为接近的右视点图像。

③组织参与进行图像主观质量评价的观察者若干名，先将m＝1时的立体图像S_m作为当前待评价立体图像，然后将内容相同但质量不同的最优立体图像S_AA和当前待评价立体图像S_m同时播放在屏幕上，要求每位观察者对这2幅立体图像的质量进行独立评价，看观察者是否能辨别出这2幅立体图像的质量差异，并记录下每位观察者对这2幅立体图像的质量的评价结果，再将m加1后的立体图像S_m作为当前待评价立体图像，重复上述评价过程，直至m＞M时结束评价过程；然后根据所有观察者的评价结果选择B、C、D、E另外4个质量点的右视点图像，选择方法如下：若在某立体图像S_m与最优立体图像S_AA对比显示时大多数观察者都不能分辨出该S_m与S_AA的质量差异，则将该Sm对应的右视点图像定义为B质量点的右视点图像，记为R_B，并将该立体图像S_m记为S_AB，将B质量点的右视点图像编码采用的编码量化参数记为QP_RB；而若在某立体图像S_m与最优立体图像S_AA对比显示时大多数观察者都可以分辨出该S_m与S_AA的质量差异，则将该S_m对应的右视点图像定义为E质量点的右视点图像，记为R_E，并将该立体图像S_m记为S_AE，将E质量点的右视点图像编码采用的编码量化参数记为QP_RE；再在B与E质量点的2幅右视点图像之间等量化步长选取C质量点和D质量点的右视点图像R_C和R_D，即若记C质量点和D质量点的右视点图像编码采用的编码量化参数为QP_RC和QP_RD，则有(QP_RB-QP_RC)≈(QP_RC-QP_RD)≈(QP_RD-QP_RE)，将A质量点的左视点图像L_A和C质量点的右视点图像R_C所构成的立体图像记为S_AC，将A质量点的左视点图像L_A和D质量点的右视点图像R_D所构成的立体图像记为S_AD。

表1“Alt Moabit”测试图像的A质量点的左视点图像和五个不同质量的右视点图像所对应的峰值信噪比和编码量化参数

表1给出了图1所示的测试图像的四个不同质量的左视点图像(即四幅不同质量的A质量点的左视点图像L_A)以及它们各自所对应的A、B、C、D、E五个质量点的右视点图像的峰值信噪比(PSNR)和对应的编码量化参数QP_L、QP_RA、QP_RB、QP_RC、QP_RD、QP_RE。在本实施例中，所述的在某立体图像S_m与最优立体图像S_AA对比显示时大多数观察者都不能分辨出该S_m与S_AA的质量差异是指75％以上的观察者都不能分辨其质量差异，所谓大多数观察者都可以分辨出该S_m与S_AA的质量差异是指75％以上的观察者都能够分辨其质量差异。

④主观感知实验是研究立体视觉质量变化掩蔽效应阈值的最有效的途径。研究主观感知阈值需要使用恰当的心理学实验方法，常用的心理学实验方法有两两对比法和阶梯法。本发明分析方法主要采用两两对比法进行心理学测试，即同时显示两幅内容完全相同的立体图像，它们的左视点图像质量相同，但它们的右视点图像质量有好有坏，心理学实验中要求观察者进行观测比较，指出哪幅立体图像的立体主观感知质量较高。在本实施例中，立体显示设备为双目立体投影显示系统，需要观察者佩戴偏振光眼镜，实验采用两两对比法，将步骤③中获得的五幅质量逐次递减的立体图像S_AA、S_AB、S_AC、S_AD和S_AE两两组合，共可组成十组不同的立体图像对比组合，即分别为S_AAS_AB、S_AAS_AC、S_AAS_AD、S_AAS_AE、S_ABS_AC、S_ABS_AD、S_ABS_AE、S_ACS_AD、S_ACS_AE和S_ADS_AE，在立体图像对比组合中的两幅立体图像的左视点图像质量相同，但右视点图像的质量不相同；随机播放这十组立体图像对比组合，播放时，同一立体图像对比组合中的两幅立体图像同时播放在屏幕上供观察者进行对比，以确认两幅立体图像的质量孰优孰劣亦或是质量相同，每一名观察者分别对所有立体图像对比组合中的两幅立体图像两两对比进行独立的主观质量评价，被告知从立体图像对比组合中的2幅立体图像中选出质量相对较好的那一幅立体图像，即从2幅立体图像中直接确定一幅质量好的立体图像，并记录下评价数据。本实施例中，观察者每次比较时，立体图像播放40秒，评价打分时间10秒。

对图1所示的测试图像所对应的4幅不同质量的A质量点的左视点图像，观察者需共对比4×10＝40组立体图像对比组合中各对立体图像的质量。

⑤对于十组立体图像对比组合中的某个立体图像对比组合，令Q_i和Q_j分别表示该立体图像对比组合中的2幅立体图像分别对应的2幅不同的右视点图像的质量点，Q_i∈{A，B，C，D，E}，Q_j∈{A，B，C，D，E}，且Q_i≠Q_j；然后根据记录的评价数据统计出参与图像主观质量评价的观察者认为Q_i质量点的右视点图像对应的立体图像的质量高于Q_j质量点的右视点图像对应的立体图像的质量的概率，记为p_ij，表示比例为p_ij的观察者认为Q_i质量点的右视点图像对应的立体图像的质量高于Q_j质量点的右视点图像对应的立体图像的质量；再根据十组立体图像对比组合各自的概率p_ij，构造十组立体图像对比组合的偏好概率矩阵。

表2给出了“Alt Moabit”测试图像在QP_L＝24时的由S_AA、S_AB、S_AC、S_AD和S_AE所构成的十组立体图像对比组合的偏好概率矩阵；表3给出了“Alt Moabit”测试图像在QP_L＝31时的由S_AA、S_AB、S_AC、S_AD和S_AE所构成的十组立体图像对比组合的偏好概率矩阵；表4给出了“Alt Moabit”测试图像在QP_L＝37时的由S_AA、S_AB、S_AC、S_AD和S_AE所构成的十组立体图像对比组合的偏好概率矩阵；表5给出了“Alt Moabit”测试图像在QP_L＝41时的由S_AA、S_AB、S_AC、S_AD和S_AE所构成的十组立体图像对比组合的偏好概率矩阵。

表2“Alt Moabit”测试图像所对应的不同质量的立体图像的偏好概率矩阵(QP_L＝24)

Alt Moabit	SAA	SAB	SAC	SAD	SAE
						SAA	0.50	0.75	0.25	0.75	0.85
SAB	0.25	0.50	0.80	0.40	0.80
						SAC	0.75	0.20	0.50	0.20	0.85
SAD	0.25	0.60	0.80	0.50	0.85
						SAE	0.15	0.20	0.15	0.15	0.50

表3“Alt Moabit”测试图像所对应的不同质量的立体图像的偏好概率矩阵(QP_L＝31)

Alt Moabit	SAA	SAB	SAC	SAD	SAE
						SAA	0.50	0.60	0.65	0.65	0.80
SAB	0.40	0.50	0.70	0.45	0.50
						SAC	0.35	0.30	0.50	0.55	0.70
SAD	0.35	0.55	0.45	0.50	0.55
						SAE	0.20	0.50	0.30	0.45	0.50

表4“Alt Moabit”测试图像所对应的不同质量的立体图像的偏好概率矩阵(QP_L＝37)

Alt Moabit	SAA	SAB	SAC	SAD	SAE
						SAA	0.50	0.65	0.90	0.55	0.85
SAB	0.35	0.50	0.60	0.75	0.40
						SAC	0.10	0.40	0.50	0.60	0.85
SAD	0.45	0.25	0.40	0.50	0.70
						SAE	0.15	0.60	0.15	0.30	0.50

表5“Alt Moabit”测试图像所对应的不同质量的立体图像的偏好概率矩阵(QP_L＝41)

Alt Moabit	SAA	SAB	SAC	SAD	SAE
						SAA	0.50	0.65	0.70	0.70	0.80
SAB	0.35	0.50	0.55	0.55	0.55
						SAC	0.30	0.45	0.50	0.50	0.70
SAD	0.30	0.45	0.50	0.50	0.70
						SAE	0.20	0.45	0.30	0.30	0.50

⑥为在广义线性模型框架下建立Thurstone模型，衡量编码量化参数对立体图像的人眼最小可辨变化的影响，首先需要确定合适的回归矩阵，回归矩阵可由偏好概率矩阵来构造。构造得到的回归矩阵的总行数为十行，每一行对应一组立体图像对比组合，回归矩阵的每一行包括7项数据，分别记为N、A_s、B_s、C_s、D_s、E_s、p，其中，N为参与对该组立体图像对比组合进行主观质量评价的观察者人数；A_s、B_s、C_s、D_s、E_s分别对应于由A质量点的左视点图像L_A和A、B、C、D、E 5个质量点的右视点图像分别构成的立体图像S_AA、S_AB、S_AC、S_AD和S_AE，对于回归矩阵中的某一行，如果A_s、B_s、C_s、D_s、E_s5项中的3项值为0，1项值为1，另1项值为-1，则表示该行数据反映的是非零的2项所对应的2幅立体图像的主观评价结果；p为偏好概率，表示参与评价的N名观察者中有比例为p的观察者认为A_s、B_s、C_s、D_s、E_s5项中值为1的项所对应的立体图像的质量要优于值为-1的项所对应的立体图像；回归矩阵的十行，对应于立体图像S_AA、S_AB、S_AC、S_AD和S_AE十种不同的两两组合，即A_sB_s、A_sC_s、A_sD_s、A_sE_s、B_sC_s、B_sD_s、B_sE_s、C_sD_s、C_sE_s、D_sE_s十种组合方式。

表6“Alt Moabit”的5幅不同质量的右视点图像对应的立体图像的回归矩阵(QP_L＝24)

N	As	Bs	Cs	Ds	Es	p
							20	1	-1	0	0	0	0.75
20	1	0	-1	0	0	0.25
							20	1	0	0	-1	0	0.75
20	1	0	0	0	-1	0.85
							20	0	1	-1	0	0	0.80
20	0	1	0	-1	0	0.40
							20	0	1	0	0	-1	0.80
20	0	0	1	-1	0	0.20
							20	0	0	1	0	-1	0.85
20	0	0	0	1	-1	0.85

例如，由表2所示的偏好概率矩阵构造的回归矩阵如表6所示。表6中第一行数据反映了某次实验比较“Alt Moabit”测试图像在左视点编码量化参数QP_L＝24时A质量点和B质量点的右视点图像分别对应的立体图像的质量对比结果，其中N＝20，A_s＝1，B_s＝-1，C_s＝D_s＝E_s＝0，p＝0.75，表示参与评价的20名观察者中有75％的人认为A质量点的右视点图像对应的立体图像S_AA的质量要优于B质量点的右视点图像对应的立体图像S_AB。由表3～表5所示的偏好概率矩阵也可以构造其相应的回归矩阵。

⑦在确定了合适的回归矩阵后，可根据回归矩阵建立广义线性模型框架下的Thurstone模型，Thurstone模型的形式为：Φ^-1(p)＝a×A_s+b×B_s+c×C_s+d×D_s+e×E_s，其中，a、b、c、d和e分别为对应于立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数，需要注意的是，为了衡量采用不同编码量化参数得到的质量不同的立体图像S_AA、S_AB、S_AC、S_AD和S_AE之间的Z分数的差异，S_AE的Z分数在此处设为0，即e＝0，Φ^-1(p)为二项分布的概率函数的反函数；然后将回归矩阵的数据代入Thurstone模型进行回归分析得到a、b、c、d的估计值，分别记为a^est、b^est、c^est和d^est，并令e的估计值e^est＝e＝0。

例如，对于“Alt Moabit”测试图像，在其左视点图像采用编码量化参数QP_L＝24时，由表6所示的回归矩阵分别可得到10个方程，从而可得出对应的a、b、c、d的估计值，由于e＝0，因此其估计值也为0。图2a给出了根据表2的偏好概率矩阵所对应的如表6所示的回归矩阵构建的Thurstone模型回归分析后得到的立体图像S_AA、S_AB、S_AC、S_AD和S_AE对应的Z分数的估计值，图3a给出了根据表3的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像S_AA、S_AB、S_AC、S_AD和S_AE对应的Z分数的估计值，图4a给出了根据表4的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像S_AA、S_AB、S_AC、S_AD和S_AE对应的Z分数的估计值，图5a给出了根据表5的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像S_AA、S_AB、S_AC、S_AD和S_AE对应的Z分数的估计值，在图2a、图3a、图4a、图5a中立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值标在水平轴的对应坐标上，图中S_AE对应的Z分数为0，即e＝0。

⑧为了比较采用不同的编码量化参数编码得到的立体图像之间的质量差异是否为概率事件，需计算a、b、c、d和e各个Z分数之间的置信区间。在此，采用改进的Scheffe模型，做Z分数对差值的零假设(null hypothesis)检验，以对比和检验所获得的Z分数是否有显著性的差异。具体方法如下：逐一计算Z分数对a和b、a和c、a和d及a和e的置信区间，Z分数对a和b的置信区间为a^est-b^est-BOUND＜a-b＜a^est-b^est+BOUND，Z分数对a和c的置信区间为a^est-c^est-BOUND＜a-c＜a^est-c^est+BOUND，Z分数对a和d的置信区间为a^est-d^est-BOUND＜a-d＜a^est-d^est+BOUND，Z分数对a和e的置信区间为a^est-e^est-BOUND＜a-e＜a^est-e^est+BOUND，

x_dim ²为卡方分布，其自由度dim＝4，α表示分位数，x表示相应的检验向量，x^T为x的转置矩阵，COV为随机向量(a，b，c，d)的协方差矩阵。

在本实施例中，计算了5幅立体图像S_AA、S_AB、S_AC、S_AD和S_AE的所有十种不同的立体图像对比组合的置信区间以判断所有立体图像对比组合中的两个不同质量点的右视点图像对应的立体图像质量差异是否可分辨。事实上对于非对称立体视频编码来说，希望测定的是当左视点图像质量固定不变时，人眼可感知立体图像质量变化时右视点图像质量的临界值，以确定非对称立体视频编码时右视点图像质量相对于左视点图像质量可下降的最大变化范围，因此，具体实施人眼最小可辨变化测定时，可只简单地如本步骤所述逐一计算a和b、a和c、a和d及a和e分数对的置信区间，以判断立体图像S_AA分别与立体图像S_AB、S_AC、S_AD和S_AE之间的图像质量差异是否可分辨即可。这里，分位数α为0.05。对于a和b分数对，为比较它们的差异，相应的检验向量为x＝(1，-1，0，0)^T，a和b分数对的置信区间给出了a-b的差值的上下界。对于a和c分数对，相应的检验向量为x＝(1，0，-1，0)^T；对于a和d分数对，相应的检验向量为x＝(1，0，0，-1)^T；对于a和e分数对，相应的检验向量为x＝(1，0，0，0)^T。

⑨对于某一Z分数对，如果数值0不在其置信区间内，则认为该Z分数对是具有显著性差异的，也即该Z分数对所对应的2幅立体图像的质量差异是可分辨的；反之则表明该Z分数对所对应的2幅立体图像的质量差异是不可分辨的，也就是说观察者认为这2幅立体图像的图像质量是相同的。因此，可以按英文字母顺序排列b、c、d和e，依次判断Z分数对a和b、a和c、a和d及a和e的每一对中所对应的2幅立体图像的质量是否是可分辨的，方法如下：定义当前正在处理的Z分数对为a和q，q∈{b，c，d，e}，判断数值0是否在区间(a^est-q^est-BOUND，a^est-q^est+BOUND)内，如果是，则认为a和q是不具有显著性差异的，表示a所对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ(Q∈{B，C，D，E})之间的图像质量差异是不可分辨的，否则，则认为a和q是具有显著性差异的，表示a所对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是可分辨的。

⑩若a所对应的最优立体图像S_AA与由A质量点的左视点图像和q(q为b、c、d、e中的某一个)对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是可分辨的，而a所对应的最优立体图像S_AA与由A质量点的左视点图像和以英文字母顺序排在q对应的质量点之前的各个质量点所对应的右视点图像构成的立体图像之间的图像质量差异均是不可分辨的，则定义a所对应的立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ的信噪比差值为测试图像的左视点图像采用预设的编码量化参数QP_L编码时的最小可辨变化值。

图2b为根据图2a所示的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值判断得到的观察者对于不同质量的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的主观质量评判结果，图3b为根据图3a所示的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值判断得到的观察者对于不同质量的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的主观质量评判结果，图4b为根据图4a所示的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值判断得到的观察者对于不同质量的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的主观质量评判结果，图5b为根据图5a所示的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数的估计值判断得到的观察者对于不同质量的立体图像S_AA、S_AB、S_AC、S_AD和S_AE的主观质量评判结果。图2b、图3b、图4b、图5b中对左视点图像质量相同但右视点图像质量不同的五幅立体图像按照其各质量点的右视点图像对应的Z分数进行了排序，如果某两个质量点的右视点图像对应的立体图像之间无显著性差异，则在图中用下划线相连。例如图2b表明，当测试图像“Alt Moabit”的左视点图像的编码量化参数QP_L＝24(PSNR＝41.437dB)，右视点图像采用不同的编码量化参数所获得的不同质量点的右视点图像与相同的左视点图像组成立体图像时，A与D、A与B、A与C、D与B、D与C、B与C质量点的右视点图像对应的立体图像相比较时，两个质量点的右视点图像对应的立体图像无显著性差异，但E质量点与其它A、D、B、C四个质量点的右视点图像对应的立体图像质量则存在显著性差异，由于A质量点的右视点图像所采用的编码量化参数QP_RA＝24，PSNR＝41.569dB，E质量点的右视点图像所采用的编码量化参数QP_RE＝34，PSNR＝36.409dB，当左视点图像的质量保持不变，而右视点图像的质量从A质量点下降到E质量点时，人眼可察觉右视点图像质量变化所造成的立体图像主观感知的变化，因此，此时人眼对非对称立体视频编码的可感知的最小可辨变化值大约为ΔPSNR＝41.569-36.409＝5.160dB。图3b则表明，当“Alt Moabit”测试图像的左视点图像的编码量化参数QP_L＝31(PSNR＝37.968dB)，右视点图像采用不同的编码量化参数所获得的不同质量点的右视点图像与相同的左视点图像组成立体图像时，A与B、A与C、A与D、B与C、B与D、C与D、B与E、C与E、D与E质量点的右视点图像对应的立体图像相比较时，两个质量点的右视点图像分别所对应的立体图像无显著性差异，但A与E质量点的右视点图像对应的立体图像则有显著性差异，由于A质量点的右视点图像所采用的编码量化参数QP_RA＝31，PSNR＝38.139dB，E质量点的右视点图像所采用的编码量化参数QP_RD＝39，PSNR＝33.509dB，当左视点图像质量保持不变，而右视点图像质量从A质量点下降到E质量点时，人眼可察觉右视点质量变化所造成的立体图像主观感知的变化，因此，此时人眼对非对称立体视频编码的可感知的最小可辨变化值大约为ΔPSNR＝38.139-33.509＝4.630dB。图4b与图3b相类似，只不过此时人眼对非对称立体视频编码的可感知的最小可辨变化值大约为ΔPSNR＝A质量点的右视点图像的PSNR-D质量点的右视点图像的PSNR，图5b与图3b类似。

Claims (1)

1.一种立体图像的人眼最小可辨变化分析方法，其特征在于包括以下步骤：

①首先取一幅立体图像作为测试图像，然后利用H.264视频编码标准，采用一个预设的编码量化参数对测试图像的左视点图像以帧内编码方式进行编码，记对测试图像的左视点图像进行编码所采用的预设的编码量化参数为QP_L，将编码得到的左视点图像定义为A质量点的左视点图像，记为L_A，再采用N个不同的编码量化参数分别对测试图像的右视点图像以帧内编码方式进行编码，获得所需的N幅质量各不相同的右视点图像，其中，对测试图像的右视点图像进行编码所采用的N个不同的编码量化参数分别为QP_L-1、QP_L、QP_L+1、QP_L+2、……，如果(51-(QP_L-1)+1)＞15，则N＝15，否则，N＝51-(QP_L-1)+1；

②从采用编码量化参数QP_L-1、QP_L、QP_L+1进行编码得到的3幅质量各不相同的右视点图像中选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像L_A的质量最为接近的右视点图像，并将该选定的右视点图像定义为A质量点的右视点图像，记为R_A，将A质量点的右视点图像R_A编码采用的编码量化参数记为QP_RA，将A质量点的左视点图像L_A和A质量点的右视点图像R_A所构成的最优立体图像记为S_AA；记N幅质量各不相同的右视点图像中编码量化参数大于QP_RA的右视点图像的数量为M幅，将A质量点的左视点图像L_A与M幅采用大于QP_RA的编码量化参数编码得到的右视点图像一一构成M幅立体图像，记为S_m，1≤m≤M，S_m为由A质量点的左视点图像L_A和采用编码量化参数QP_RA+m编码得到的右视点图像所构成的立体图像；

③组织参与进行图像主观质量评价的观察者若干名，先将m＝1时的立体图像S_m作为当前待评价立体图像，然后将内容相同但质量不同的最优立体图像S_AA和当前待评价立体图像S_m同时播放在屏幕上，要求每位观察者对这2幅立体图像的质量进行独立评价，看观察者是否能辨别出这2幅立体图像的质量差异，并记录下每位观察者对这2幅立体图像的质量的评价结果，再将m加1后的立体图像S_m作为当前待评价立体图像，重复上述评价过程，直至m＞M时结束评价过程；根据所有观察者的评价结果选择B、C、D、E另外4个质量点的右视点图像，选择方法如下：如果立体图像S_m与最优立体图像S_AA对比后大多数观察者都不能分辨出该S_m与S_AA的质量差异，则将该S_m对应的右视点图像定义为B质量点的右视点图像，记为R_B，并将该立体图像S_m记为S_AB，将B质量点的右视点图像R_B编码采用的编码量化参数记为QP_RB；如果立体图像S_m与立体图像S_AA对比后大多数观察者都可以分辨出该S_m与S_AA的质量差异，则将该S_m对应的右视点图像定义为E质量点的右视点图像，记为R_E，并将该立体图像S_m记为S_AE，将E质量点的右视点图像R_E编码采用的编码量化参数记为QP_RE；再在B质量点的右视点图像R_B与E质量点的右视点图像R_E之间等量化步长选取C质量点的右视点图像和D质量点的右视点图像，将C质量点的右视点图像记为R_C，将C质量点的右视点图像R_C编码采用的编码量化参数记为QP_RC，将D质量点的右视点图像记为R_D，将D质量点的右视点图像R_D编码采用的编码量化参数记为QP_RD，(QP_RB-QP_RC)≈(QP_RC-QP_RD)≈(QP_RD-QP_RE)，将A质量点的左视点图像L_A和C质量点的右视点图像R_C所构成的立体图像记为S_AC，将A质量点的左视点图像L_A和D质量点的右视点图像R_D所构成的立体图像记为S_AD；

④将经上述步骤获得的5幅质量逐次递减的立体图像S_AA、S_AB、S_AC、S_AD和S_AE两两组合，共组成十组不同的立体图像对比组合，分别为S_AA S_AB、S_AA S_AC、S_AA S_AD、S_AA S_AE、S_AB S_AC、S_AB S_AD、S_AB S_AE、S_AC S_AD、S_AC S_AE和S_AD S_AE；随机播放这十组立体图像对比组合，要求每位观察者分别对所有立体图像对比组合中的2幅立体图像两两对比进行独立的主观质量评价，指出其认为立体图像对比组合中的2幅立体图像质量相对较好的立体图像，并记录评价数据；

⑤对于十组立体图像对比组合中的其中一组立体图像对比组合，令Q_i和Q_j分别表示该立体图像对比组合中的2幅立体图像分别对应的2幅不同的右视点图像的质量点，Q_i∈{A，B，C，D，E}，Q_j∈{A，B，C，D，E}，且Q_i≠Q_j；然后根据记录的评价数据统计出参与图像主观质量评价的观察者认为Q_i质量点的右视点图像对应的立体图像的质量高于Q_j质量点的右视点图像对应的立体图像的质量的概率，记为p_ij，表示比例为p_ij的观察者认为Q_i质量点的右视点图像对应的立体图像的质量高于Q_j质量点的右视点图像对应的立体图像的质量；再根据十组立体图像对比组合各自的概率p_ij，构造十组立体图像对比组合的偏好概率矩阵；

⑥根据偏好概率矩阵构造适用于建立广义线性模型框架下的Thurstone模型所需的回归矩阵，其中，回归矩阵的总行数为10行，每一行对应一组立体图像对比组合，每行包括7项数据，分别记为N、A_s、B_s、C_s、D_s、E_s、p，其中，N为参与对该组立体图像对比组合进行主观质量评价的观察者人数，A_s、B_s、C_s、D_s、E_s分别对应于由A质量点的左视点图像L_A和A、B、C、D、E 5个质量点的右视点图像分别构成的立体图像S_AA、S_AB、S_AC、S_AD和S_AE，对于回归矩阵中的其中一行，如果A_s、B_s、C_s、D_s、E_s5项中的3项值为0，1项值为1，另1项值为-1，则表示该行数据反映的是非零的2项所对应的2幅立体图像的主观评价结果，p为偏好概率，表示参与评价的N名观察者中有比例为p的观察者认为A_s、B_s、C_s、D_s、E_s5项中值为1的项所对应的立体图像的质量要优于值为-1的项所对应的立体图像；

⑦根据回归矩阵建立广义线性模型框架下的Thurstone模型，Thurstone模型的形式为：Φ^-1(p)＝a×A_s+b×B_s+c×C_s+d×D_s+e×E_s，其中，a、b、c、d和e分别为对应于立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数，且e＝0，Φ^-1(p)为二项分布的概率函数的反函数；然后将回归矩阵数据代入Thurstone模型进行回归分析得到a、b、c、d的估计值，分别记为a^est、b^est、c^est和d^est，并令e的估计值e^est＝e＝0；

⑧逐一计算Z分数对a和b、a和c、a和d及a和e的置信区间，Z分数对a和b的置信区间为a^est-b^est-BOUND＜a-b＜a^est-b^est+BOUND，Z分数对a和c的置信区间为a^est-c^est-BOUND＜a-c＜a^est-c^est+BOUND，Z分数对a和d的置信区间为a^est-d^est-BOUND＜a-d＜a^est-d^est+BOUND，Z分数对a和e的置信区间为a^est-e^est-BOUND＜a-e＜a^est-e^est+BOUND，

χ_dim ²为卡方分布，其自由度dim＝4，α表示分位数，x表示相应的检验向量，x^T为x的转置矩阵，COV为随机向量(a，b，c，d)的协方差矩阵；

⑨按英文字母顺序排列b、c、d和e，依次判断Z分数对a和b、a和c、a和d及a和e的每一对中所对应的2幅立体图像的质量是否是可分辨的，具体过程如下：定义当前正在处理的Z分数对为a和q，q∈{b，c，d，e}，判断数值0是否在区间(a^est-q^est-BOUND，a^est-q^est+BOUND)内，如果是，则认为a和q是不具有显著性差异的，表示a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是不可分辨的，否则，认为a和q是具有显著性差异的，表示a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是可分辨的，其中，Q∈{B，C，D，E}；

⑩如果a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是可分辨的，而a对应的最优立体图像S_AA与由A质量点的左视点图像和以英文字母顺序排在q对应的质量点之前的各个质量点所对应的右视点图像构成的立体图像之间的图像质量差异均是不可分辨的，则定义a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ的信噪比差值为测试图像的左视点图像采用预设的编码量化参数QP_L编码时的最小可辨变化值，其中，q∈{b，c，d，e}。

Images