CN104581141B - 一种立体图像视觉舒适度评价方法 - Google Patents

Abstract

本发明公开了一种立体图像视觉舒适度评价方法，其在训练阶段，选取多对立体图像对构成偏好立体图像对组训练集，建立差分特征矢量与偏好值之间的支持向量回归训练模型；在测试阶段，计算测试立体图像与每对训练立体图像的差分特征矢量，并根据已训练得到的支持向量回归训练模型，预测得到每个差分特征矢量对应的偏好预测值，并最终得到测试立体图像的客观视觉舒适度评价预测值；优点是在训练阶段并不需要知道训练立体图像的主观评价值，得到的客观视觉舒适度评价预测值与主观评价值保持了较高的一致性。

Description

一种立体图像视觉舒适度评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种立体图像视觉舒适度评价方法。

背景技术

随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量(QoE，qualityofexperience)是立体视频系统设计中的一个重要问题，而视觉舒适度(VC，visualcomfort)是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/图像的质量评价研究主要考虑内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。

传统的立体图像视觉舒适度评价方法主要是基于机器学习的方法，其在立体图像视觉舒适度特征和主观评价值之间建立回归模型，由于主观评价值的获取需要通过复杂的主观实验，因此非常耗时；并且由于主观评价值是通过观看者打分判断来统计获得，因此人的因素会对主观评价值产生极大的影响，这会导致建立的回归模型无法精确预测得到客观评价值。故，如何在评价过程中有效地避免主观评价值的影响，使得客观评价结果更加感觉符合人类视觉系统，是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种立体图像视觉舒适度评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。

本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉舒适度评价方法，包括训练阶段和测试阶段两个过程，其特征在于所述的训练阶段包括以下步骤：

①-1、平均选取五个不同舒适度等级的共M对立体图像对构成初始训练图像集，记为{S_i|1≤i≤M}，其中，M>5，S_i表示{S_i|1≤i≤M}中的第i对立体图像对；

①-2、计算{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量，将{S_i|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量记为F_i，其中，此处符号“[]”为矢量表示符号，χ_i表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像中的所有像素点的视差范围，和对应表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度，和对应表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，f_i、τ_i、υ_i和ζ_i表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像的与空间频率相关的四个特征，F_i的维数为10；

①-3、从{S_i|1≤i≤M}中随机选取1对舒适度高的立体图像对和1对舒适度低的立体图像对，构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，重复随机选取N次，这样共获得N组正偏好立体图像对组和N组负偏好立体图像对组，且每组正偏好立体图像对组与一组负偏好立体图像对组一一对应，将用于代表第j组正偏好立体图像对组的正偏好特征记为 将用于代表第j组负偏好立体图像对组的负偏好特征记为 再将N个正偏好特征和N个负偏好特征构成初始的偏好立体图像对组训练集，记为其中，从{S_i|1≤i≤M}中随机选取的1对舒适度高的立体图像对与1对舒适度低的立体图像对两者的舒适度等级至少相差两级，N≥1，1≤j≤N，D_j表示第j组正偏好立体图像对组中舒适度高的立体图像对的用于反映视觉舒适度的特征矢量与舒适度低的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，L_j表示第j组正偏好立体图像对组的偏好值，L_j＝+1，D_j'表示第j组负偏好立体图像对组中舒适度低的立体图像对的用于反映视觉舒适度的特征矢量与舒适度高的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，L_j'表示第j组负偏好立体图像对组的偏好值，L_j'＝-1；

①-4、从中随机选择T/2个正偏好特征，排除与已选择的正偏好特征相对应的负偏好特征，从剩余的所有负偏好特征中随机选择T/2个负偏好特征，将选择的T/2个正偏好特征和T/2个负偏好特征构成偏好立体图像对组训练集，记为其中，T取区间[2,N]内的偶数，表示中的第t个特征，为正偏好特征或为负偏好特征， 表示中的第t个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，表示中的第t个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组的偏好值，

①-5、采用支持向量回归，对中的所有差分特征矢量进行训练，并使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(D_inp)，其中，D_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量D_inp的线性函数；

所述的测试阶段包括以下步骤：

②对于任意一对测试立体图像对S_test，按照步骤①-2的过程，以相同的操作获取S_test的用于反映视觉舒适度的特征矢量，记为F_test；然后计算F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量；接着根据训练阶段构造的支持向量回归训练模型f(D_inp)，通过对F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，获取S_test的客观视觉舒适度评价预测值，记为Q_test。

所述的步骤①-2中{S_i|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量的获取过程为：

a1、采用视差估计算法计算{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像，记为{d_i(x,y)}，其中，1≤x≤W，1≤y≤H，此处W表示{S_i|1≤i≤M}中的每对立体图像对的宽度，H表示{S_i|1≤i≤M}中的每对立体图像对的高度，d_i(x,y)表示{d_i(x,y)}中坐标位置为(x,y)的像素点的像素值；

a2、采用视差转换算法计算{S_i|1≤i≤M}中的第i对立体图像对的角视差图像，记为{φ_i(x,y)}，其中，φ_i(x,y)表示{φ_i(x,y)}中坐标位置为(x,y)的像素点的像素值，如果φ_i(x,y)>0，则表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕前，如果φ_i(x,y)<0，则表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕后；

a3、计算{d_i(x,y)}中的所有像素点的视差范围，记为χ_i，χ_i＝d_max-d_min，其中，d_max表示{d_i(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，前1％的所有像素值的平均值；d_min表示{d_i(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，后1％的所有像素值的平均值；

a4、计算{d_i(x,y)}的交叉视差均值，记为 其中，表示由{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的坐标位置构成的集合，N_c表示{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的个数；

a5、计算{d_i(x,y)}的非交叉视差均值，记为 其中，表示由{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的坐标位置构成的集合，N_nc表示{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的个数；

a6、计算{d_i(x,y)}的相对深度，记为

a7、计算{d_i(x,y)}的焦点深度图像，记为{γ_i(x,y)}，将{γ_i(x,y)}中坐标位置为(x,y)的像素点的像素值记为γ_i(x,y)，其中，ρ为瞳孔直径，s为眼球的节间长度，V表示观看距离，V＝3×H'，H'为显示器的高度，P_i(x,y)表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点的观看深度， 表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点的屏幕视差值，W'为显示器的宽度，e为两眼间距，符号“||”为取绝对值符号；

a8、计算{γ_i(x,y)}的正焦点深度均值和负焦点深度均值，对应记为和

a9、采用Sobel算法提取{S_i|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像，记为{SB_i(x,y)}，然后计算{SB_i(x,y)}的与空间频率相关的四个特征，分别记为f_i、τ_i、υ_i和ζ_i，其中，SB_i(x,y)表示{SB_i(x,y)}中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号；

a10、将χ_i、f_i、τ_i、υ_i和ζ_i按顺序进行排列，构成{S_i|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量，记为F_i，其中，此处符号“[]”为矢量表示符号，F_i的维数为10。

所述的步骤①-5的具体过程为：

b1、将中的所有差分特征矢量和偏好值构成训练样本数据集合，记为Ω_T， $\{{\tilde{D}}_t,{\tilde{L}}_t\}\&Element;{\mathrm{\&Omega;}}_T;$

b2、构造Ω_T中的每个差分特征矢量的回归函数，将的回归函数记为 其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矢量，b为偏置项，表示的线性函数， 为支持向量回归中的核函数， $D({\tilde{D}}_t,{\tilde{D}}_{t^{\&prime;}})=\exp (-\frac{{\left|\right|{\tilde{D}}_t-{\tilde{D}}_{t^{\&prime;}}\left|\right|}^2}{{\mathrm{\&gamma;}}^2}),$ 为 $\left\{{\tilde{S}}_t\right|1\&le;t\&le;T\}$ 中的第t'个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，1≤t'≤T，γ为核参数，exp()表示以自然基数e为底的指数函数，符号“||||”为求欧式距离符号；

b3、采用支持向量回归作为机器学习的方法，对Ω_T中的所有差分特征矢量进行训练，使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt，b^opt)，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(D_inp)，其中，Ψ表示对Ω_T中的所有差分特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示取使得的值最小的w和b的值，D_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量D_inp的线性函数。

所述的步骤b2中取核参数γ＝54。

所述的步骤②的具体过程为：

②-1、按照步骤①-2的过程，以相同的操作获取S_test的用于反映视觉舒适度的特征矢量，记为F_test，F_test的维数为10；

②-2、计算F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，将F_test与F_i的差分特征矢量记为D_i,test，D_i,test＝F_test-F_i；

②-3、根据训练阶段构造的支持向量回归训练模型f(D_inp)，对F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，预测得到每个差分特征矢量对应的偏好预测值，将D_i,test对应的偏好预测值记为L_i,test，L_i,test＝f(D_i,test)，其中，表示支持向量回归训练模型的输入矢量D_i,test的线性函数；

②-4、计算S_test的偏好预测值，记为L_test，

②-5、计算S_test的客观视觉舒适度评价预测值，记为Q_test，

与现有技术相比，本发明的优点在于：

1)本发明方法在训练阶段，通过选取多对立体图像对构成偏好立体图像对组训练集，建立差分特征矢量与偏好值之间的支持向量回归训练模型，在训练阶段并不需要知道训练图像的主观评分值，这样提高了训练方法的有效性。

2)本发明方法在测试阶段，计算测试立体图像与每对训练图像的差分特征矢量，并根据已训练得到的支持向量回归训练模型，预测得到每个差分特征矢量对应的偏好值，并最终得到测试立体图像的客观视觉舒适度评价预测值，得到的客观视觉舒适度评价预测值与主观评价值保持了较好的一致性，即客观视觉舒适度评价预测值与主观感知之间的相关性高。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像视觉舒适度评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，训练阶段包括以下步骤：

①-1、平均选取五个不同舒适度等级的共M对立体图像对构成初始训练图像集，记为{S_i|1≤i≤M}，其中，M>5，S_i表示{S_i|1≤i≤M}中的第i对立体图像对，符号“{}”为集合表示符号，初始训练图像集由属于五个不同舒适度等级的M对立体图像对构成，即初始训练图像集由M/5对极端不舒适(extremelyuncomfortable)的立体图像对、M/5对不舒适(uncomfortable)的立体图像对、M/5对略微舒适(mildlycomfortable)的立体图像对、M/5对舒适(comfortable)的立体图像对和M/5对非常舒适(verycomfortable)的立体图像对构成。在本实施中，取M＝50。

①-2、计算{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量，将{S_i|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量记为F_i，其中，此处符号“[]”为矢量表示符号，χ_i表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像中的所有像素点的视差范围，和对应表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度，和对应表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，f_i、τ_i、υ_i和ζ_i表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像的与空间频率相关的四个特征，F_i的维数为10。

在此具体实施例中，步骤①-2中{S_i|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量的获取过程为：

a1、采用现有的基于光流的视差估计算法计算{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像，记为{d_i(x,y)}，其中，1≤x≤W，1≤y≤H，此处W表示{S_i|1≤i≤M}中的每对立体图像对的宽度，H表示{S_i|1≤i≤M}中的每对立体图像对的高度，d_i(x,y)表示{d_i(x,y)}中坐标位置为(x,y)的像素点的像素值。

a2、采用现有的视差转换算法计算{S_i|1≤i≤M}中的第i对立体图像对的角视差图像，记为{φ_i(x,y)}，其中，φ_i(x,y)表示{φ_i(x,y)}中坐标位置为(x,y)的像素点的像素值，如果φ_i(x,y)>0，则表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕前，如果φ_i(x,y)<0，则表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕后。

a3、计算{d_i(x,y)}中的所有像素点的视差范围，记为χ_i，χ_i＝d_max-d_min，其中，d_max表示{d_i(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，前1％的所有像素值的平均值；d_min表示{d_i(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，后1％的所有像素值的平均值。

a4、计算{d_i(x,y)}的交叉视差均值，记为 其中，表示由{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的坐标位置构成的集合，N_c表示{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的个数。

a5、计算{d_i(x,y)}的非交叉视差均值，记为 其中，表示由{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的坐标位置构成的集合，N_nc表示{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的个数。

a6、计算{d_i(x,y)}的相对深度，记为

a7、计算{d_i(x,y)}的焦点深度图像，记为{γ_i(x,y)}，将{γ_i(x,y)}中坐标位置为(x,y)的像素点的像素值记为γ_i(x,y)，其中，ρ为瞳孔直径，s为眼球的节间长度，V表示观看距离，V＝3×H'，H'为显示器的高度，P_i(x,y)表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点的观看深度， 表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点的屏幕视差值，W'为显示器的宽度，e为两眼间距，符号“||”为取绝对值符号。在本实施例中取ρ＝0.3厘米、s＝0.16厘米、e＝6.6厘米。

a8、计算{γ_i(x,y)}的正焦点深度均值和负焦点深度均值，对应记为和

a9、采用现有的Sobel算法提取{S_i|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像，记为{SB_i(x,y)}，然后计算{SB_i(x,y)}的与空间频率相关的四个特征，分别记为f_i、τ_i、υ_i和ζ_i， $f_i=\frac{\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}{\mathrm{SB}}_i(x,y)}{W\&times;H},{\mathrm{\&tau;}}_i=\frac{f_i}{{\mathrm{\&mu;}}_i},{\mathrm{\&upsi;}}_i=\frac{f_i}{{\mathrm{\&chi;}}_i},$ 其中，SB_i(x,y)表示{SB_i(x,y)}中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号。

a10、将χ_i、f_i、τ_i、υ_i和ζ_i按顺序进行排列，构成{S_i|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量，记为F_i，其中，此处符号“[]”为矢量表示符号，F_i的维数为10。

①-3、从{S_i|1≤i≤M}中随机选取1对舒适度高的立体图像对和1对舒适度低的立体图像对，构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，重复随机选取N次，这样共获得N组正偏好立体图像对组和N组负偏好立体图像对组，且每组正偏好立体图像对组与一组负偏好立体图像对组一一对应，将用于代表第j组正偏好立体图像对组的正偏好特征记为 将用于代表第j组负偏好立体图像对组的负偏好特征记为 再将N个正偏好特征和N个负偏好特征构成初始的偏好立体图像对组训练集，记为其中，从{S_i|1≤i≤M}中随机选取的1对舒适度高的立体图像对与1对舒适度低的立体图像对两者的舒适度等级至少相差两级，N≥1，在本实施例中取N＝600，1≤j≤N，D_j表示第j组正偏好立体图像对组中舒适度高的立体图像对的用于反映视觉舒适度的特征矢量与舒适度低的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，L_j表示第j组正偏好立体图像对组的偏好值，L_j＝+1，D_j'表示第j组负偏好立体图像对组中舒适度低的立体图像对的用于反映视觉舒适度的特征矢量与舒适度高的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，L_j'表示第j组负偏好立体图像对组的偏好值，L_j'＝-1。

这里，舒适度高的立体图像对和舒适度低的立体图像对的选择，需要满足它们之间的舒适度等级至少相差两级，即一对极端不舒适的立体图像对可以与一对略微舒适的立体图像对或舒适的立体图像对或非常舒适的立体图像对构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，一对不舒适的立体图像对可以与一对舒适的立体图像对或非常舒适的立体图像对构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，一对略微舒适的立体图像对可以与一对非常舒适的立体图像对构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组。

①-4、从中随机选择T/2个正偏好特征，排除与已选择的正偏好特征相对应的负偏好特征，从剩余的所有负偏好特征中即从剩余的N-T/2个负偏好特征中随机选择T/2个负偏好特征，将选择的T/2个正偏好特征和T/2个负偏好特征构成偏好立体图像对组训练集，记为其中，T取区间[2,N]内的偶数，在本实施例中T取N的一半即T＝600，表示中的第t个特征，为正偏好特征或为负偏好特征， 表示中的第t个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，表示中的第t个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组的偏好值，由于可能为中的正偏好特征，也可能为中的负偏好特征，因此可能是代表的一组正偏好立体图像对组所对应的差分特征矢量，也可能是代表的一组负偏好立体图像对组所对应的差分特征矢量，同样，可能是代表的一组正偏好立体图像对组的偏好值，也可能是代表的一组负偏好立体图像对组的偏好值。

①-5、采用支持向量回归，对中的所有差分特征矢量进行训练，并使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(D_inp)，其中，D_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量D_inp的线性函数。

在此具体实施例中，步骤①-5的具体过程为：

b1、将中的所有差分特征矢量和偏好值构成训练样本数据集合，记为Ω_T， $\{{\tilde{D}}_t,{\tilde{L}}_t\}\&Element;{\mathrm{\&Omega;}}_T.$

b2、构造Ω_T中的每个差分特征矢量的回归函数，将的回归函数记为 其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矢量，b为偏置项，表示的线性函数， 为支持向量回归中的核函数， $D({\tilde{D}}_t,{\tilde{D}}_{t^{\&prime;}})=\exp (-\frac{{\left|\right|{\tilde{D}}_t-{\tilde{D}}_{t^{\&prime;}}\left|\right|}^2}{{\mathrm{\&gamma;}}^2}),$ 为 $\left\{{\tilde{S}}_t\right|1\&le;t\&le;T\}$ 中的第t'个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，1≤t'≤T，γ为核参数，在本实施例中取γ＝54，exp()表示以自然基数e为底的指数函数，符号“||||”为求欧式距离符号。

b3、采用支持向量回归作为机器学习的方法，对Ω_T中的所有差分特征矢量进行训练，使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为(w^opt,b^opt)，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(D_inp)，其中，Ψ表示对Ω_T中的所有差分特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示取使得的值最小的w和b的值，D_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量D_inp的线性函数。

测试阶段包括以下步骤：

②对于任意一对测试立体图像对S_test，按照步骤①-2的过程，以相同的操作获取S_test的用于反映视觉舒适度的特征矢量，记为F_test；然后计算F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量；接着根据训练阶段构造的支持向量回归训练模型f(D_inp)，通过对F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，获取S_test的客观视觉舒适度评价预测值，记为Q_test。

在本实施例中，采用宁波大学建立的立体图像数据库作为测试立体图像集，该立体图像数据库包含200对立体图像对以及对应的视差图像，该立体图像数据库包含了各种场景深度的室内和室外图像，并给出了每对立体图像对的视觉舒适度的平均主观评分均值。

在此具体实施例中，步骤②的具体过程为：

②-1、按照步骤①-2的过程，以相同的操作获取S_test的用于反映视觉舒适度的特征矢量，记为F_test，其中，此处符号“[]”为矢量表示符号，χ_test表示S_test的左视点图像与右视点图像之间的视差图像中的所有像素点的视差范围，和对应表示S_test的左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度，和对应表示S_test的左视点图像与右视点图像之间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，f_test、τ_test、υ_test和ζ_test表示S_test的左视点图像的边缘图像的与空间频率相关的四个特征，F_test的维数为10。

②-2、计算F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，将F_test与F_i的差分特征矢量记为D_i,test，D_i,test＝F_test-F_i。

②-3、根据训练阶段构造的支持向量回归训练模型f(D_inp)，对F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，预测得到每个差分特征矢量对应的偏好预测值，将D_i,test对应的偏好预测值记为L_i,test，L_i,test＝f(D_i,test)，其中，表示支持向量回归训练模型的输入矢量D_i,test的线性函数。

②-4、计算S_test的偏好预测值，记为L_test，

②-5、计算S_test的客观视觉舒适度评价预测值，记为Q_test，

在本实施例中，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearsonlinearcorrelationcoefficient，PLCC)、Spearman相关系数(Spearmanrankordercorrelationcoefficient，SROCC)、Kendall相关系数(Kendallrank-ordercorrelationcoefficient，KROCC)、均方误差(rootmeansquarederror，RMSE)，PLCC和RMSE反映客观评价预测值的准确性，SROCC和KROCC反映其单调性。将计算得到的200对立体图像对的客观视觉舒适度评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明方法的评价结果与平均主观评分均值的相关性越好。表1给出了采用不同特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性，从表1中可以看出，只采用部分特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性均不是最优的，这说明了本发明方法提取的特征信息是有效的，使得得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性更强，这足以说明本发明方法是有效的。

表1采用不同特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性

Claims (4)

1.一种立体图像视觉舒适度评价方法，包括训练阶段和测试阶段两个过程，其特征在于所述的训练阶段包括以下步骤：

①-1、平均选取五个不同舒适度等级的共M对立体图像对构成初始训练图像集，记为{S_i|1≤i≤M}，其中，M>5，S_i表示{S_i|1≤i≤M}中的第i对立体图像对；

①-2、计算{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量，将{S_i|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量记为F_i，其中，此处符号“[]”为矢量表示符号，χ_i表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像中的所有像素点的视差范围，和对应表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度，和对应表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，f_i、τ_i、υ_i和表示{S_i|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像的与空间频率相关的四个特征，F_i的维数为10；

①-3、从{S_i|1≤i≤M}中随机选取1对舒适度高的立体图像对和1对舒适度低的立体图像对，构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，重复随机选取N次，这样共获得N组正偏好立体图像对组和N组负偏好立体图像对组，且每组正偏好立体图像对组与一组负偏好立体图像对组一一对应，将用于代表第j组正偏好立体图像对组的正偏好特征记为 将用于代表第j组负偏好立体图像对组的负偏好特征记为 再将N个正偏好特征和N个负偏好特征构成初始的偏好立体图像对组训练集，记为 其中，从{S_i|1≤i≤M}中随机选取的1对舒适度高的立体图像对与1对舒适度低的立体图像对两者的舒适度等级至少相差两级，N≥1，1≤j≤N，D_j表示第j组正偏好立体图像对组中舒适度高的立体图像对的用于反映视觉舒适度的特征矢量与舒适度低的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，L_j表示第j组正偏好立体图像对组的偏好值，L_j＝+1，D_j'表示第j组负偏好立体图像对组中舒适度低的立体图像对的用于反映视觉舒适度的特征矢量与舒适度高的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，L_j'表示第j组负偏好立体图像对组的偏好值，L_j'＝-1；

①-4、从中随机选择T/2个正偏好特征，排除与已选择的正偏好特征相对应的负偏好特征，从剩余的所有负偏好特征中随机选择T/2个负偏好特征，将选择的T/2个正偏好特征和T/2个负偏好特征构成偏好立体图像对组训练集，记为其中，T取区间[2,N]内的偶数，表示中的第t个特征，为正偏好特征或为负偏好特征， ${\tilde{S}}_t=\{{\tilde{D}}_t,{\tilde{L}}_t\},$ 表示 $\left\{{\tilde{S}}_t\right|1\&le;t\&le;T\}$ 中的第t个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，表示中的第t个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组的偏好值，

①-5、采用支持向量回归，对中的所有差分特征矢量进行训练，并使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(D_inp)，其中，D_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量D_inp的线性函数；

所述的测试阶段包括以下步骤：

②对于任意一对测试立体图像对S_test，按照步骤①-2的过程，以相同的操作获取S_test的用于反映视觉舒适度的特征矢量，记为F_test；然后计算F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量；接着根据训练阶段构造的支持向量回归训练模型f(D_inp)，通过对F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，获取S_test的客观视觉舒适度评价预测值，记为Q_test；

所述的步骤②的具体过程为：

②-1、按照步骤①-2的过程，以相同的操作获取S_test的用于反映视觉舒适度的特征矢量，记为F_test，F_test的维数为10；

②-2、计算F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，将F_test与F_i的差分特征矢量记为D_i,test，D_i,test＝F_test-F_i；

②-3、根据训练阶段构造的支持向量回归训练模型f(D_inp)，对F_test与{S_i|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，预测得到每个差分特征矢量对应的偏好预测值，将D_i,test对应的偏好预测值记为L_i,test，L_i，test＝f(D_i，test)，其中，表示支持向量回归训练模型的输入矢量D_i,test的线性函数；

②-4、计算S_test的偏好预测值，记为L_test，

②-5、计算S_test的客观视觉舒适度评价预测值，记为Q_test，

2.根据权利要求1所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤①-2中{S_i|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量的获取过程为：

a1、采用视差估计算法计算{S_i|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像，记为{d_i(x,y)}，其中，1≤x≤W，1≤y≤H，此处W表示{S_i|1≤i≤M}中的每对立体图像对的宽度，H表示{S_i|1≤i≤M}中的每对立体图像对的高度，d_i(x,y)表示{d_i(x,y)}中坐标位置为(x,y)的像素点的像素值；

a2、采用视差转换算法计算{S_i|1≤i≤M}中的第i对立体图像对的角视差图像，记为{φ_i(x,y)}，其中，φ_i(x,y)表示{φ_i(x,y)}中坐标位置为(x,y)的像素点的像素值，如果φ_i(x,y)>0，则表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕前，如果φ_i(x,y)<0，则表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕后；

a3、计算{d_i(x,y)}中的所有像素点的视差范围，记为χ_i，χ_i＝d_max-d_min，其中，d_max表示{d_i(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，前1％的所有像素值的平均值；d_min表示{d_i(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，后1％的所有像素值的平均值；

a4、计算{d_i(x,y)}的交叉视差均值，记为 其中，表示由{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的坐标位置构成的集合，N_c表示{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的个数；

a5、计算{d_i(x,y)}的非交叉视差均值，记为 其中，表示由{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的坐标位置构成的集合，N_nc表示{S_i|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的个数；

a6、计算{d_i(x,y)}的相对深度，记为

a7、计算{d_i(x,y)}的焦点深度图像，记为{γ_i(x,y)}，将{γ_i(x,y)}中坐标位置为(x,y)的像素点的像素值记为γ_i(x,y)，其中，ρ为瞳孔直径，s为眼球的节间长度，V表示观看距离，V＝3×H'，H'为显示器的高度，P_i(x,y)表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点的观看深度， 表示{S_i|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点的屏幕视差值，W'为显示器的宽度，e为两眼间距，符号“||”为取绝对值符号；

a8、计算{γ_i(x,y)}的正焦点深度均值和负焦点深度均值，对应记为和

a9、采用Sobel算法提取{S_i|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像，记为{SB_i(x,y)}，然后计算{SB_i(x,y)}的与空间频率相关的四个特征，分别记为f_i、τ_i、υ_i和 $f_i=\frac{\underset{y=1}{\overset{H}{\&Sigma;}}\underset{x=1}{\overset{W}{\&Sigma;}}{\mathrm{SB}}_i(x,y)}{W\&times;H},$ ${\mathrm{\&tau;}}_i=\frac{f_i}{{\mathrm{\&mu;}}_i},$ ${\mathrm{\&upsi;}}_i=\frac{f_i}{{\mathrm{\&chi;}}_i},$ 其中，SB_i(x,y)表示{SB_i(x,y)}中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号；

a10、将χ_i、f_i、τ_i、υ_i和按顺序进行排列，构成{S_i|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量，记为F_i，其中，此处符号“[]”为矢量表示符号，F_i的维数为10。

3.根据权利要求1或2所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤①-5的具体过程为：

b1、将中的所有差分特征矢量和偏好值构成训练样本数据集合，记为Ω_T，

b2、构造Ω_T中的每个差分特征矢量的回归函数，将的回归函数记为 其中，f()为函数表示形式，w为权重矢量，w^T为w的转置矢量，b为偏置项，表示的线性函数， 为支持向量回归中的核函数， $D({\tilde{D}}_t,{\tilde{D}}_{t^{\&prime;}})=\exp (-\frac{\left|\right|{\tilde{D}}_t-{\tilde{D}}_{t^{\&prime;}}|{|}^2}{{\mathrm{\&gamma;}}^2}),$ 为 $\left\{{\tilde{S}}_t\right|1\&le;t\&le;T\}$ 中的第t′个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，1≤t'≤T，γ为核参数，exp()表示以自然基数e为底的指数函数，符号“||||”为求欧式距离符号；

b3、采用支持向量回归作为机器学习的方法，对Ω_T中的所有差分特征矢量进行训练，使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w^opt和最优的偏置项b^opt，将最优的权重矢量w^opt和最优的偏置项b^opt的组合记为 $(w^{opt},b^{opt}),(w^{opt},b^{opt})=\underset{(w,b)\&Element;\mathrm{\&Psi;}}{\arg \min }\underset{t=1}{\overset{T}{\&Sigma;}}{\left(f\right({\tilde{D}}_t)-{\tilde{L}}_t)}^2,$ 然后利用得到的最优的权重矢量w^opt和最优的偏置项b^opt构造支持向量回归训练模型，记为f(D_inp)，其中，Ψ表示对Ω_T中的所有差分特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示取使得的值最小的w和b的值，D_inp表示支持向量回归训练模型的输入矢量，(w^opt)^T为w^opt的转置矢量，表示支持向量回归训练模型的输入矢量D_inp的线性函数。

4.根据权利要求3所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤b2中取核参数γ＝54。