CN105208369A - 一种立体图像视觉舒适度增强方法 - Google Patents

Abstract

本发明公开了一种立体图像视觉舒适度增强方法，其先分别计算左视点图像的相位一致性图、左视点图像的左视差图像的角视差图像的视差响应图、左视点图像的显著图；然后融合相位一致性图、视差响应图和显著图，得到左视点图像的视觉非舒适性图；接着根据左视点图像的视觉非舒适性图，确定零视差平面所在的坐标位置的汇聚平面值；再根据汇聚平面值调整左视点图像的左视差图像中的像素点的像素值；最后获得经调整后的右视点图像；优点是得到的视觉非舒适性图能较好地定量左视点图像的局部非舒适性程度，从而能较为精确地检测出左视点图像的零视差平面；汇聚平面改变了立体图像正视差与负视差的比重，能有效地提升观看者的视觉体验和增强视觉舒适性。

Description

一种立体图像视觉舒适度增强方法

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像视觉舒适度增强方法。

背景技术

随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量(QoE,QualityofExperience)是立体视频系统设计中的一个重要问题，而视觉舒适度(VC,VisualComfort)是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/立体图像的质量评价研究主要考虑了内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/立体图像的视觉舒适度增强方法对3D内容制作和后期处理具有十分重要的指导作用。

与常规的平面图像相比，观看基于视差形成的立体图像具有较强的立体感和沉浸感，但是长时间观看立体图像会出现头疼、视觉疲劳、视力模糊甚至恶心等症状。过大的双目视差、人眼焦点调节与辐辏机制冲突通常被认为是引起视觉不舒适的主要原因。人眼的双眼融合机制为具有水平视差的左、右眼物像融合成具有立体感的单一清晰物像提供了生理保证，然而如果水平视差过大，则会导致物像落在Panum融合区域外，人眼将无法正常形成双眼单视性，长时间观看容易造成严重的视觉疲劳；此外，不同于自然观看条件下人眼焦点调节与辐辏机制的一致性(调节距离和辐辏距离都在观看屏幕上)，在观看立体图像时，人眼焦点调节与辐辏机制会产生不同程度的冲突，同样会影响观看者的视觉体验质量。通过一定的措施，可以将视觉不舒适降低到可以承受的范围内。目前主要通过线性或非线性的视差重映射方法来调整(增强)立体图像的视觉舒适度，但这类方法会改变立体图像的视差范围，特别是当视差范围挤压过大时，会产生绘制重影。视差偏移是实现立体图像视觉舒适度调整(增强)的一种最简单的方法，但如何有效地表征立体图像视觉非舒适性区域、以及如何有效地对非舒适性进行调节，都是在对立体图像进行视觉舒适度增强过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种立体图像视觉舒适度增强方法，其能够有效地提升观看者的视觉体验和增强视觉舒适性。

本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉舒适度增强方法，其特征在于包括以下步骤：

①将待处理的立体图像的左视点图像、右视点图像及左深度图像对应记为{I_L(x,y)}、{I_R(x,y)}及{D_L(x,y)}，其中，(x,y)表示待处理的立体图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W和H对应表示待处理的立体图像的宽度和高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，D_L(x,y)表示{D_L(x,y)}中坐标位置为(x,y)的像素点的像素值；

②计算{I_L(x,y)}的相位一致性图，记为{f₁(x,y)}，其中，f₁(x,y)表示{f₁(x,y)}中坐标位置为(x,y)的像素点的像素值，f₁(x,y)亦表示{I_L(x,y)}中坐标位置为(x,y)的像素点的相位一致性特征；

③计算{I_L(x,y)}的左视差图像，记为{d_L(x,y)}，其中，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；然后利用视差转换算法计算{d_L(x,y)}的角视差图像，记为{φ_L(x,y)}，其中，φ_L(x,y)表示{φ_L(x,y)}中坐标位置为(x,y)的像素点的像素值；再计算{φ_L(x,y)}的视差响应图，记为{f₂(x,y)}，其中，f₂(x,y)表示{f₂(x,y)}中坐标位置为(x,y)的像素点的像素值；

④将{I_L(x,y)}分割成M个互不重叠的子块；然后通过计算{I_L(x,y)}中的每个子块的特征对比度和空间紧密度，获取{I_L(x,y)}中的每个子块的显著值，将{I_L(x,y)}中的第h个子块的显著值记为S_h；再将{I_L(x,y)}中的每个子块的显著值作为该子块中的所有像素点的显著值，从而得到{I_L(x,y)}的显著图，记为{f₃(x,y)}；其中，M≥1，h的初始值为1，1≤h≤M，f₃(x,y)表示{f₃(x,y)}中坐标位置为(x,y)的像素点的像素值，f₃(x,y)亦表示{I_L(x,y)}中坐标位置为(x,y)的像素点的显著值；

⑤对{f₁(x,y)}、{f₂(x,y)}及{f₃(x,y)}进行融合，得到{I_L(x,y)}的视觉非舒适性图，记为{F(x,y)}，将{F(x,y)}中坐标位置为(x,y)的像素点的像素值记为F(x,y)，F(x,y)＝f₁(x,y)×f₂(x,y)×f₃(x,y)；

⑥计算{I_L(x,y)}中的零视差平面所在的坐标位置，记为x_ZDP， $x_{ZDP}=\underset{1\≤x\≤W,1\≤y\≤H}{\arg \max }F(x,y),$ 其中，表示取使得F(x,y)的值最大的坐标值；

⑦计算x_ZDP的汇聚平面值，记为 $z\left(x_{ZDP}\right)=\frac{1}{\frac{D_L\left(x_{ZDP}\right)}{255}\×\left(\frac{1}{z_{near}}-\frac{1}{z_{far}}\right)+\frac{1}{z_{far}}};$ 然后计算{d_L(x,y)}中的每个像素点经调整后的像素值，将{d_L(x,y)}中坐标位置为x的像素点经调整后的像素值记为d(x)， $d\left(x\right)=f\×L\×\left(\frac{1}{{\tilde{z}}_c}-\frac{1}{z\left(x\right)}\right),z\left(x\right)=\frac{1}{\frac{D_L\left(x\right)}{255}\×\left(\frac{1}{z_{near}}-\frac{1}{z_{far}}\right)+\frac{1}{z_{far}}};$ 其中，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，d_ZDP表示{I_L(x,y)}中的零视差平面所在的坐标位置x_ZDP的视差值，D_L(x_ZDP)表示{D_L(x,y)}中坐标位置为x_ZDP的像素点的像素值，D_L(x)表示{D_L(x,y)}中坐标位置为x的像素点的像素值，x∈Ω，Ω表示{D_L(x,y)}中的所有像素点的坐标位置的集合，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值；

⑧计算经调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为 ${\tilde{I}}_R(x,y)=I_L\left(x+d\left(x,y\right),y\right);$ 然后将{I_L(x,y)}和构成一幅新的立体图像；其中，I_L(x+d(x,y),y)表示{I_L(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，d(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点经调整后的像素值。

所述的步骤②中的{f₁(x,y)}的获取过程为：

②-1、对{I_L(x,y)}进行滤波处理，得到{I_L(x,y)}中的每个像素点在不同尺度因子和不同方向因子下的偶对称频率响应和奇对称频率响应，将{I_L(x,y)}中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ下的偶对称频率响应记为e_α,θ(x,y)，将{I_L(x,y)}中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ下的奇对称频率响应记为o_α,θ(x,y)，其中，α表示滤波处理所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波处理所采用的滤波器的方向因子，1≤θ≤4；

②-2、根据{I_L(x,y)}中的每个像素点在不同尺度因子和不同方向因子下的偶对称频率响应和奇对称频率响应，计算{I_L(x,y)}中的每个像素点的相位一致性特征，将{I_L(x,y)}中坐标位置为(x,y)的像素点的相位一致性特征记为f₁(x,y)， $f_1(x,y)=\frac{\underset{\mathrm{\θ}=1}{\overset{4}{\Σ}}{E}_{\mathrm{\θ}}(x,y)}{\underset{\mathrm{\α}=1}{\overset{4}{\Σ}}\underset{\mathrm{\θ}=1}{\overset{4}{\Σ}}{A}_{\mathrm{\α},\mathrm{\θ}}(x,y)},$ 其中， $E_{\mathrm{\θ}}(x,y)=\sqrt{{\left(F_{\mathrm{\θ}}\right(x,y\left)\right)}^2+{\left(H_{\mathrm{\θ}}\right(x,y\left)\right)}^2},$ $F_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\Σ}}{e}_{\mathrm{\α},\mathrm{\θ}}(x,y),H_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\Σ}}{o}_{\mathrm{\α},\mathrm{\θ}}(x,y),A_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{{\left(e_{\mathrm{\α},\mathrm{\θ}}\right(x,y\left)\right)}^2+{\left(o_{\mathrm{\α},\mathrm{\θ}}\right(x,y\left)\right)}^2};$

②-3、根据{I_L(x,y)}中的每个像素点的相位一致性特征，获得{I_L(x,y)}的相位一致性图{f₁(x,y)}，其中，{f₁(x,y)}中坐标位置为(x,y)的像素点的像素值为f₁(x,y)。

所述的步骤③中其中，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，z_c为待处理的立体图像的汇聚平面值。

所述的步骤③中 $f_2(x,y)=1-\frac{VC\left({\mathrm{\φ}}_L\right(x,y))}{\underset{1\≤x\≤W,1\≤y\≤H}{\max }\left(VC\left({\mathrm{\φ}}_L\left(x,y\right)\right)\right)},$ 其中，max()为取最大值函数。

所述的步骤④中的子块的尺寸大小为8×8，

所述的步骤④中的S_h的具体过程为：

④-1、将{I_L(x,y)}从RGB颜色空间转换到YUV颜色空间，得到{I_L(x,y)}的亮度分量图、第一色度分量图和第二色度分量图，对应记为{Y_L(x,y)}、{U_L(x,y)}和{V_L(x,y)}，其中，Y_L(x,y)表示{Y_L(x,y)}中坐标位置为(x,y)的像素点的像素值，U_L(x,y)表示{U_L(x,y)}中坐标位置为(x,y)的像素点的像素值，V_L(x,y)表示{V_L(x,y)}中坐标位置为(x,y)的像素点的像素值；

④-2、对{Y_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{Y_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为然后将中的DC系数构成{I_L(x,y)}中的第h个子块的亮度特征向量，记为的维数为1；并将经Z字形扫描后的前9个AC系数构成{I_L(x,y)}中的第h个子块的纹理特征向量，记为的维数为9；其中，1≤u≤8,1≤v≤8，表示中坐标位置为(u,v)的DCT系数；

④-3、对{U_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{U_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为并对{V_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{V_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为然后将中的DC系数及中的DC系数构成{I_L(x,y)}中的第h个子块的颜色特征向量，记为的维数为2；其中，表示中坐标位置为(u,v)的DCT系数，表示中坐标位置为(u,v)的DCT系数；

④-4、对{D_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{D_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为然后将中的DC系数构成{I_L(x,y)}中的第h个子块的深度特征向量，记为的维数为1；其中，表示中坐标位置为(u,v)的DCT系数；

④-5、获取{I_L(x,y)}中的第h个子块的通用特征向量，记为f_h，其中，f_h的维数为13，此处符号“[]”为矢量表示符号；

④-6、计算{I_L(x,y)}中的第h个子块的特征对比度和空间紧密度，对应记为FC_h和SC_h， ${\mathrm{FC}}_h=\underset{q=1}{\overset{M}{\Σ}}\left(\exp \left(-\left|\right|x_h-x_q|{|}^2/2{\mathrm{\σ}}_p^2\right)\×\left|\right|f_h-f_q|{|}^2\right),$ ${\mathrm{SC}}_h=\underset{q=1}{\overset{M}{\Σ}}\left(\exp \left(-\left|\right|f_h-f_q|{|}^2/2{\mathrm{\σ}}_p^2\right)\×\left|\right|x_q-u_h|{|}^2\right),$ 其中，q为正整数，1≤q≤M，exp()表示以自然基数e为底的指数函数，符号“||||”为求欧式距离符号，f_q表示{I_L(x,y)}中的第q个子块的通用特征向量，σ_p表示高斯函数的标准差，x_h表示{I_L(x,y)}中的第h个子块中的中心像素点的坐标位置，x_q表示{I_L(x,y)}中的第q个子块中的中心像素点的坐标位置，σ_c表示高斯函数的标准差， $u_h=\frac{\underset{q=1}{\overset{M}{\Σ}}{x}_q\·\exp (-||f_h-f_q|{|}^2/2{\mathrm{\σ}}_c^2)}{\underset{q=1}{\overset{M}{\Σ}}\exp (-||f_h-f_q|{|}^2/2{\mathrm{\σ}}_c^2)};$

④-7、计算{I_L(x,y)}中的第h个子块的显著值S_h，S_h＝FC_h×SC_h。

与现有技术相比，本发明的优点在于：

1)本发明方法分别计算左视点图像的相位一致性图、左视点图像的左视差图像的角视差图像的视差响应图、左视点图像的显著图，然后融合得到左视点图像的视觉非舒适性图，得到的视觉非舒适性图能够较好地定量左视点图像的局部非舒适性程度，从而能够较为精确地检测出左视点图像的零视差平面。

2)本发明方法将非舒适性程度最高的坐标位置作为零视差平面，并将汇聚平面调整到零视差平面，得到每个像素点经调整后的视差值，由于汇聚平面改变了立体图像正视差与负视差的比重，因此有效地提升了观看者的视觉体验和增强了视觉舒适性。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Balloons”的原始立体图像的“红/绿”图；

图2b为“Balloons”的左视点图像的相位一致性图；

图2c为“Balloons”的左视点图像的左视差图像的角视差图像的视差响应图；

图2d为“Balloons”的左视点图像的显著图；

图2e为“Balloons”的左视点图像的视觉非舒适性图；

图2f为“Balloons”的经调整后立体图像的“红/绿”图；

图3a为“Kendo”的原始立体图像的“红/绿”图；

图3b为“Kendo”的左视点图像的相位一致性图；

图3c为“Kendo”的左视点图像的左视差图像的角视差图像的视差响应图；

图3d为“Kendo”的左视点图像的显著图；

图3e为“Kendo”的左视点图像的视觉非舒适性图；

图3f为“Kendo”的经调整后立体图像的“红/绿”图；

图4a为“PoznanStreet”的原始立体图像的“红/绿”图；

图4b为“PoznanStreet”的左视点图像的相位一致性图；

图4c为“PoznanStreet”的左视点图像的左视差图像的角视差图像的视差响应图；

图4d为“PoznanStreet”的左视点图像的显著图；

图4e为“PoznanStreet”的左视点图像的视觉非舒适性图；

图4f为“PoznanStreet”的经调整后立体图像的“红/绿”图；

图5a为“UndoDance”的原始立体图像的“红/绿”图；

图5b为“UndoDance”的左视点图像的相位一致性图；

图5c为“UndoDance”的左视点图像的左视差图像的角视差图像的视差响应图；

图5d为“UndoDance”的左视点图像的显著图；

图5e为“UndoDance”的左视点图像的视觉非舒适性图；

图5f为“UndoDance”的经调整后立体图像的“红/绿”图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种立体图像视觉舒适度增强方法，其总体实现框图如图1所示，其包括以下步骤：

①将待处理的立体图像的左视点图像、右视点图像及左深度图像对应记为{I_L(x,y)}、{I_R(x,y)}及{D_L(x,y)}，其中，(x,y)表示待处理的立体图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W和H对应表示待处理的立体图像的宽度和高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，D_L(x,y)表示{D_L(x,y)}中坐标位置为(x,y)的像素点的像素值。

②由于立体图像的空间频率会影响双目融合极限，立体图像的空间频率越低，双目的融合极限就越高，观看的视觉舒适度就越高，因此本发明方法计算{I_L(x,y)}的相位一致性图，记为{f₁(x,y)}，其中，f₁(x,y)表示{f₁(x,y)}中坐标位置为(x,y)的像素点的像素值，f₁(x,y)亦表示{I_L(x,y)}中坐标位置为(x,y)的像素点的相位一致性特征。

在此具体实施例中，步骤②中的{f₁(x,y)}的获取过程为：

②-1、采用现有的log-Garbor滤波器对{I_L(x,y)}进行滤波处理，得到{I_L(x,y)}中的每个像素点在不同尺度因子和不同方向因子下的偶对称频率响应和奇对称频率响应，将{I_L(x,y)}中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ下的偶对称频率响应记为e_α,θ(x,y)，将{I_L(x,y)}中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ下的奇对称频率响应记为o_α,θ(x,y)，其中，α表示滤波处理所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波处理所采用的滤波器的方向因子，1≤θ≤4。

②-2、根据{I_L(x,y)}中的每个像素点在不同尺度因子和不同方向因子下的偶对称频率响应和奇对称频率响应，计算{I_L(x,y)}中的每个像素点的相位一致性特征，将{I_L(x,y)}中坐标位置为(x,y)的像素点的相位一致性特征记为f₁(x,y)， $f_1(x,y)=\frac{\underset{\mathrm{\θ}=1}{\overset{4}{\Σ}}{E}_{\mathrm{\θ}}(x,y)}{\underset{\mathrm{\α}=1}{\overset{4}{\Σ}}\underset{\mathrm{\θ}=1}{\overset{4}{\Σ}}{A}_{\mathrm{\α},\mathrm{\θ}}(x,y)},$ 其中， $E_{\mathrm{\θ}}(x,y)=\sqrt{{\left(F_{\mathrm{\θ}}\right(x,y\left)\right)}^2+{\left(H_{\mathrm{\θ}}\right(x,y\left)\right)}^2},$ $F_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\Σ}}{e}_{\mathrm{\α},\mathrm{\θ}}(x,y),H_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\Σ}}{o}_{\mathrm{\α},\mathrm{\θ}}(x,y),A_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{{\left(e_{\mathrm{\α},\mathrm{\θ}}\right(x,y\left)\right)}^2+{\left(o_{\mathrm{\α},\mathrm{\θ}}\right(x,y\left)\right)}^2}.$

②-3、根据{I_L(x,y)}中的每个像素点的相位一致性特征，获得{I_L(x,y)}的相位一致性图{f₁(x,y)}，其中，{f₁(x,y)}中坐标位置为(x,y)的像素点的像素值为f₁(x,y)。

③计算{I_L(x,y)}的左视差图像，记为{d_L(x,y)}，其中，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；然后利用现有的视差转换算法计算{d_L(x,y)}的角视差图像，记为{φ_L(x,y)}，其中，φ_L(x,y)表示{φ_L(x,y)}中坐标位置为(x,y)的像素点的像素值；由于过大的视差会导致双眼焦点调节和辐辏的严重冲突，进而引起视觉不舒适，因此本发明方法再计算{φ_L(x,y)}的视差响应图，记为{f₂(x,y)}，其中，f₂(x,y)表示{f₂(x,y)}中坐标位置为(x,y)的像素点的像素值。

在此具体实施例中，步骤③中其中，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，z_c为待处理的立体图像的汇聚平面值。在本实施例中，f，L和z_c的值根据具体的测试序列确定。

在此具体实施例中，步骤③中 $f_2(x,y)=1-\frac{VC\left({\mathrm{\φ}}_L\right(x,y))}{\underset{1\≤x\≤W,1\≤y\≤H}{\max }\left(VC\left({\mathrm{\φ}}_L\left(x,y\right)\right)\right)},$ 其中，max()为取最大值函数。

④根据人眼立体视觉注意力特性，人眼只对部分视觉重要区域的视觉舒适/不舒适比较敏感，因此本发明方法将{I_L(x,y)}分割成M个互不重叠的子块；然后通过计算{I_L(x,y)}中的每个子块的特征对比度和空间紧密度，获取{I_L(x,y)}中的每个子块的显著值，将{I_L(x,y)}中的第h个子块的显著值记为S_h；再将{I_L(x,y)}中的每个子块的显著值作为该子块中的所有像素点的显著值，对于{I_L(x,y)}中的第h个子块，将S_h作为{I_L(x,y)}中的第h个子块中的所有像素点的显著值，从而得到{I_L(x,y)}的显著图，记为{f₃(x,y)}；其中，M≥1，h的初始值为1，1≤h≤M，f₃(x,y)表示{f₃(x,y)}中坐标位置为(x,y)的像素点的像素值，f₃(x,y)亦表示{I_L(x,y)}中坐标位置为(x,y)的像素点的显著值。

在此具体实施例中，步骤④中的子块的尺寸大小为8×8，步骤④中的S_h的具体过程为：

④-1、将{I_L(x,y)}从RGB颜色空间转换到YUV颜色空间，得到{I_L(x,y)}的亮度分量图、第一色度分量图和第二色度分量图，对应记为{Y_L(x,y)}、{U_L(x,y)}和{V_L(x,y)}，其中，Y_L(x,y)表示{Y_L(x,y)}中坐标位置为(x,y)的像素点的像素值，U_L(x,y)表示{U_L(x,y)}中坐标位置为(x,y)的像素点的像素值，V_L(x,y)表示{V_L(x,y)}中坐标位置为(x,y)的像素点的像素值。

④-2、对{Y_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{Y_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为然后将中的DC系数构成{I_L(x,y)}中的第h个子块的亮度特征向量，记为的维数为1；并将经Z字形扫描后的前9个AC系数构成{I_L(x,y)}中的第h个子块的纹理特征向量，记为的维数为9；其中，1≤u≤8,1≤v≤8，表示中坐标位置为(u,v)的DCT系数。

④-3、对{U_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{U_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为并对{V_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{V_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为然后将中的DC系数及中的DC系数构成{I_L(x,y)}中的第h个子块的颜色特征向量，记为的维数为2；其中，表示中坐标位置为(u,v)的DCT系数，表示中坐标位置为(u,v)的DCT系数。

④-4、对{D_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{D_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为然后将中的DC系数构成{I_L(x,y)}中的第h个子块的深度特征向量，记为的维数为1；其中，表示中坐标位置为(u,v)的DCT系数。

④-5、获取{I_L(x,y)}中的第h个子块的通用特征向量，记为f_h，其中，f_h的维数为13，此处符号“[]”为矢量表示符号。

④-6、计算{I_L(x,y)}中的第h个子块的特征对比度和空间紧密度，对应记为FC_h和SC_h， ${\mathrm{FC}}_h=\underset{q=1}{\overset{M}{\Σ}}\left(\exp \left(-\left|\right|x_h-x_q|{|}^2/2{\mathrm{\σ}}_p^2\right)\×\left|\right|f_h-f_q|{|}^2\right),$ ${\mathrm{SC}}_h=\underset{q=1}{\overset{M}{\Σ}}\left(\exp \left(-\left|\right|f_h-f_q|{|}^2/2{\mathrm{\σ}}_p^2\right)\×\left|\right|x_q-u_h|{|}^2\right),$ 其中，q为正整数，1≤q≤M，exp()表示以自然基数e为底的指数函数，符号“||||”为求欧式距离符号，f_q表示{I_L(x,y)}中的第q个子块的通用特征向量，σ_p表示高斯函数的标准差，在本实施例中取σ_p＝0.4，x_h表示{I_L(x,y)}中的第h个子块中的中心像素点的坐标位置，x_q表示{I_L(x,y)}中的第q个子块中的中心像素点的坐标位置，σ_c表示高斯函数的标准差，在本实施例中取σ_c＝0.9， $u_h=\frac{\underset{q=1}{\overset{M}{\Σ}}{x}_q\·\exp \left(-\left|\right|f_h-f_q|{|}^2/2{\mathrm{\σ}}_c^2\right)}{\underset{q=1}{\overset{M}{\Σ}}\exp \left(-\left|\right|f_h-f_q|{|}^2/2{\mathrm{\σ}}_c^2\right)}.$

④-7、计算{I_L(x,y)}中的第h个子块的显著值S_h，S_h＝FC_h×SC_h。

⑤对{f₁(x,y)}、{f₂(x,y)}及{f₃(x,y)}进行融合，得到{I_L(x,y)}的视觉非舒适性图，记为{F(x,y)}，将{F(x,y)}中坐标位置为(x,y)的像素点的像素值记为F(x,y)，F(x,y)＝f₁(x,y)×f₂(x,y)×f₃(x,y)。

⑥计算{I_L(x,y)}中的零视差平面所在的坐标位置，记为x_ZDP， $x_{ZDP}=\underset{1\≤x\≤W,1\≤y\≤H}{\arg \max }F(x,y),$ 其中，表示取使得F(x,y)的值最大的坐标值。

⑦计算x_ZDP的汇聚平面值，记为 $z\left(x_{ZDP}\right)=\frac{1}{\frac{D_L\left(x_{ZDP}\right)}{255}\×\left(\frac{1}{z_{near}}-\frac{1}{z_{far}}\right)+\frac{1}{z_{far}}};$ 然后计算{d_L(x,y)}中的每个像素点经调整后的像素值，将{d_L(x,y)}中坐标位置为x的像素点经调整后的像素值记为d(x)， $d\left(x\right)=f\×L\×\left(\frac{1}{{\tilde{z}}_c}-\frac{1}{z\left(x\right)}\right),z\left(x\right)=\frac{1}{\frac{D_L\left(x\right)}{255}\×\left(\frac{1}{z_{near}}-\frac{1}{z_{far}}\right)+\frac{1}{z_{far}}};$ 其中，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，d_ZDP表示{I_L(x,y)}中的零视差平面所在的坐标位置x_ZDP的视差值，D_L(x_ZDP)表示{D_L(x,y)}中坐标位置为x_ZDP的像素点的像素值，D_L(x)表示{D_L(x,y)}中坐标位置为x的像素点的像素值，x∈Ω，Ω表示{D_L(x,y)}中的所有像素点的坐标位置的集合，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值。在本实施例中，取d_ZDP＝0，f、L、Z_near和Z_far的值根据具体的测试序列确定。

⑧计算经调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为 ${\tilde{I}}_R(x,y)=I_L\left(x+d\left(x,y\right),y\right);$ 然后将{I_L(x,y)}和构成一幅新的立体图像；其中，I_L(x+d(x,y),y)表示{I_L(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，d(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点经调整后的像素值。

以下就利用本发明方法分别对“Balloons”、“Kendo”、“PoznanStreet”和“UndoDance”三维立体视频测试序列中的两个视点进行舒适度调整。在本实施例中，取“Balloons”、“Kendo”三维立体视频测试序列的第1个和第2个视点分别作为立体图像的左视点和右视点，取“PoznanStreet”三维立体视频测试序列的第5个和第4个视点分别作为立体图像的左视点和右视点，取“UndoDance”的三维立体视频测试序列的第1个和第5个视点分别作为立体图像的左视点和右视点。

在本实施例中，“Balloons”三维立体视频测试序列的f、Z_near和Z_far分别为2241.25607、448.251214和11206.280350；“Kendo”三维立体视频测试序列的f、Z_near和Z_far分别为448.251214、11206.280350和2241.25607；“PoznanStreet”三维立体视频测试序列的f、Z_near和Z_far分别为1732.875727、-34.506386和-2760.510889；“UndoDance”三维立体视频测试序列的f、Z_near和Z_far分别为2302.852541609168、2289和213500。未处理的“Balloons”、“Kendo”、“PoznanStreet”和“UndoDance”三维立体视频测试序列的汇聚平面落在无穷远处，

图2a给出了“Balloons”的原始立体图像的“红/绿”图、图2b给出了“Balloons”的左视点图像的相位一致性图、图2c给出了“Balloons”的左视点图像的左视差图像的角视差图像的视差响应图、图2d给出了“Balloons”的左视点图像的显著图、图2e给出了“Balloons”的左视点图像的视觉非舒适性图、图2f给出了“Balloons”的经调整后立体图像的“红/绿”图；图3a给出了“Kendo”的原始立体图像的“红/绿”图、图3b给出了“Kendo”的左视点图像的相位一致性图、图3c给出了“Kendo”的左视点图像的左视差图像的角视差图像的视差响应图、图3d给出了“Kendo”的左视点图像的显著图、图3e给出了“Kendo”的左视点图像的视觉非舒适性图、图3f给出了“Kendo”的经调整后立体图像的“红/绿”图；图4a给出了“PoznanStreet”的原始立体图像的“红/绿”图、图4b给出了“PoznanStreet”的左视点图像的相位一致性图、图4c给出了“PoznanStreet”的左视点图像的左视差图像的角视差图像的视差响应图、图4d给出了“PoznanStreet”的左视点图像的显著图、图4e给出了“PoznanStreet”的左视点图像的视觉非舒适性图、图4f给出了“PoznanStreet”的经调整后立体图像的“红/绿”图；图5a给出了“UndoDance”的原始立体图像的“红/绿”图、图5b给出了“UndoDance”的左视点图像的相位一致性图、图5c给出了“UndoDance”的左视点图像的左视差图像的角视差图像的视差响应图、图5d给出了“UndoDance”的左视点图像的显著图、图5e给出了“UndoDance”的左视点图像的视觉非舒适性图、图5f给出了“UndoDance”的经调整后立体图像的“红/绿”图。从图2a至图5f中可以看出，采用本发明方法得到的经调整后的立体图像，由于调整了正视差和负视差的范围，因此明显提升了观看者的视觉体验和增强了视觉舒适性。

Claims (5)

1.一种立体图像视觉舒适度增强方法，其特征在于包括以下步骤：

①将待处理的立体图像的左视点图像、右视点图像及左深度图像对应记为{I_L(x,y)}、{I_R(x,y)}及{D_L(x,y)}，其中，(x,y)表示待处理的立体图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W和H对应表示待处理的立体图像的宽度和高度，I_L(x,y)表示{I_L(x,y)}中坐标位置为(x,y)的像素点的像素值，I_R(x,y)表示{I_R(x,y)}中坐标位置为(x,y)的像素点的像素值，D_L(x,y)表示{D_L(x,y)}中坐标位置为(x,y)的像素点的像素值；

②计算{I_L(x,y)}的相位一致性图，记为{f₁(x,y)}，其中，f₁(x,y)表示{f₁(x,y)}中坐标位置为(x,y)的像素点的像素值，f₁(x,y)亦表示{I_L(x,y)}中坐标位置为(x,y)的像素点的相位一致性特征；

③计算{I_L(x,y)}的左视差图像，记为{d_L(x,y)}，其中，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；然后利用视差转换算法计算{d_L(x,y)}的角视差图像，记为{φ_L(x,y)}，其中，φ_L(x,y)表示{φ_L(x,y)}中坐标位置为(x,y)的像素点的像素值；再计算{φ_L(x,y)}的视差响应图，记为{f₂(x,y)}，其中，f₂(x,y)表示{f₂(x,y)}中坐标位置为(x,y)的像素点的像素值；

④将{I_L(x,y)}分割成M个互不重叠的子块；然后通过计算{I_L(x,y)}中的每个子块的特征对比度和空间紧密度，获取{I_L(x,y)}中的每个子块的显著值，将{I_L(x,y)}中的第h个子块的显著值记为S_h；再将{I_L(x,y)}中的每个子块的显著值作为该子块中的所有像素点的显著值，从而得到{I_L(x,y)}的显著图，记为{f₃(x,y)}；其中，M≥1，h的初始值为1，1≤h≤M，f₃(x,y)表示{f₃(x,y)}中坐标位置为(x,y)的像素点的像素值，f₃(x,y)亦表示{I_L(x,y)}中坐标位置为(x,y)的像素点的显著值；

⑤对{f₁(x,y)}、{f₂(x,y)}及{f₃(x,y)}进行融合，得到{I_L(x,y)}的视觉非舒适性图，记为{F(x,y)}，将{F(x,y)}中坐标位置为(x,y)的像素点的像素值记为F(x,y)，F(x,y)＝f₁(x,y)×f₂(x,y)×f₃(x,y)；

⑥计算{I_L(x,y)}中的零视差平面所在的坐标位置，记为x_ZDP， $x_{ZDP}=\underset{1\≤x\≤W,1\≤y\≤H}{\arg \max }F\left(x,y\right),$ 其中， $\underset{1\≤x\≤W,1\≤y\≤H}{\arg \max }F\left(x,y\right)$ 表示取使得F(x,y)的值最大的坐标值；

⑦计算x_ZDP的汇聚平面值，记为 $z\left(x_{ZDP}\right)=\frac{1}{\frac{D_L\left(x_{ZDP}\right)}{255}\×(\frac{1}{z_{near}}-\frac{1}{z_{far}})+\frac{1}{z_{far}}};$ 然后计算{d_L(x,y)}中的每个像素点经调整后的像素值，将{d_L(x,y)}中坐标位置为x的像素点经调整后的像素值记为d(x)， $d\left(x\right)=f\×L\×(\frac{1}{{\tilde{z}}_c}-\frac{1}{z\left(x\right)}),$ $z\left(x\right)=\frac{1}{\frac{D_L\left(x\right)}{255}\×(\frac{1}{z_{near}}-\frac{1}{z_{far}})+\frac{1}{z_{far}}};$ 其中，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，d_ZDP表示{I_L(x,y)}中的零视差平面所在的坐标位置x_ZDP的视差值，D_L(x_ZDP)表示{D_L(x,y)}中坐标位置为x_ZDP的像素点的像素值，D_L(x)表示{D_L(x,y)}中坐标位置为x的像素点的像素值，x∈Ω，Ω表示{D_L(x,y)}中的所有像素点的坐标位置的集合，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值；

⑧计算经调整后的右视点图像，记为将中坐标位置为(x,y)的像素点的像素值记为 然后将{I_L(x,y)}和构成一幅新的立体图像；其中，I_L(x+d(x,y),y)表示{I_L(x,y)}中坐标位置为(x+d(x,y),y)的像素点的像素值，d(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点经调整后的像素值。

2.根据权利要求1所述的一种立体图像视觉舒适度增强方法，其特征在于所述的步骤②中的{f₁(x,y)}的获取过程为：

②-1、对{I_L(x,y)}进行滤波处理，得到{I_L(x,y)}中的每个像素点在不同尺度因子和不同方向因子下的偶对称频率响应和奇对称频率响应，将{I_L(x,y)}中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ下的偶对称频率响应记为e_α,θ(x,y)，将{I_L(x,y)}中坐标位置为(x,y)的像素点在尺度因子为α和方向因子为θ下的奇对称频率响应记为o_α,θ(x,y)，其中，α表示滤波处理所采用的滤波器的尺度因子，1≤α≤4，θ表示滤波处理所采用的滤波器的方向因子，1≤θ≤4；

②-2、根据{I_L(x,y)}中的每个像素点在不同尺度因子和不同方向因子下的偶对称频率响应和奇对称频率响应，计算{I_L(x,y)}中的每个像素点的相位一致性特征，将{I_L(x,y)}中坐标位置为(x,y)的像素点的相位一致性特征记为f₁(x,y)， $f_1(x,y)=\frac{\underset{\mathrm{\θ}=1}{\overset{4}{\Σ}}{E}_{\mathrm{\θ}}(x,y)}{\underset{\mathrm{\α}=1}{\overset{4}{\Σ}}\underset{\mathrm{\θ}=1}{\overset{4}{\Σ}}{A}_{\mathrm{\α},\mathrm{\θ}}(x,y)},$ 其中， $E_{\mathrm{\θ}}(x,y)=\sqrt{{\left(F_{\mathrm{\θ}}\right(x,y\left)\right)}^2+{\left(H_{\mathrm{\θ}}\right(x,y\left)\right)}^2},$ $F_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\Σ}}{e}_{\mathrm{\α},\mathrm{\θ}}(x,y),$ $H_{\mathrm{\θ}}(x,y)=\underset{\mathrm{\α}=1}{\overset{4}{\Σ}}{o}_{\mathrm{\α},\mathrm{\θ}}(x,y),$ $A_{\mathrm{\α},\mathrm{\θ}}(x,y)=\sqrt{{\left(e_{\mathrm{\α},\mathrm{\θ}}\right(x,y\left)\right)}^2+{\left(o_{\mathrm{\α},\mathrm{\θ}}\right(x,y\left)\right)}^2};$

②-3、根据{I_L(x,y)}中的每个像素点的相位一致性特征，获得{I_L(x,y)}的相位一致性图{f₁(x,y)}，其中，{f₁(x,y)}中坐标位置为(x,y)的像素点的像素值为f₁(x,y)。

3.根据权利要求1或2所述的一种立体图像视觉舒适度增强方法，其特征在于所述的步骤③中其中，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间的水平基线距离，z_c为待处理的立体图像的汇聚平面值。

4.根据权利要求3所述的一种立体图像视觉舒适度增强方法，其特征在于所述的步骤③中 $f_2(x,y)=1-\frac{VC\left({\mathrm{\φ}}_L\right(x,y\left)\right)}{\underset{1\≤x\≤W,1\≤y\≤H}{\max }\left(VC\left({\mathrm{\φ}}_L\right(x,y\left)\right)\right)},$ 其中，max()为取最大值函数。

5.根据权利要求1或2所述的一种立体图像视觉舒适度增强方法，其特征在于所述的步骤④中的子块的尺寸大小为8×8，

所述的步骤④中的S_h的具体过程为：

④-1、将{I_L(x,y)}从RGB颜色空间转换到YUV颜色空间，得到{I_L(x,y)}的亮度分量图、第一色度分量图和第二色度分量图，对应记为{Y_L(x,y)}、{U_L(x,y)}和{V_L(x,y)}，其中，Y_L(x,y)表示{Y_L(x,y)}中坐标位置为(x,y)的像素点的像素值，U_L(x,y)表示{U_L(x,y)}中坐标位置为(x,y)的像素点的像素值，V_L(x,y)表示{V_L(x,y)}中坐标位置为(x,y)的像素点的像素值；

④-2、对{Y_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{Y_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为然后将中的DC系数构成{I_L(x,y)}中的第h个子块的亮度特征向量，记为的维数为1；并将经Z字形扫描后的前9个AC系数构成{I_L(x,y)}中的第h个子块的纹理特征向量，记为的维数为9；其中，1≤u≤8,1≤v≤8，表示中坐标位置为(u,v)的DCT系数；

④-3、对{U_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{U_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为并对{V_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{V_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为然后将中的DC系数及中的DC系数构成{I_L(x,y)}中的第h个子块的颜色特征向量，记为的维数为2；其中，表示中坐标位置为(u,v)的DCT系数，表示中坐标位置为(u,v)的DCT系数；

④-4、对{D_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域进行DCT变换，得到{D_L(x,y)}中与{I_L(x,y)}中的第h个子块相对应的尺寸大小为8×8的区域的DCT系数矩阵，记为然后将中的DC系数构成{I_L(x,y)}中的第h个子块的深度特征向量，记为的维数为1；其中，表示中坐标位置为(u,v)的DCT系数；

④-5、获取{I_L(x,y)}中的第h个子块的通用特征向量，记为f_h，其中，f_h的维数为13，此处符号“[]”为矢量表示符号；

④-6、计算{I_L(x,y)}中的第h个子块的特征对比度和空间紧密度，对应记为FC_h和SC_h， ${\mathrm{FC}}_h=\underset{q=1}{\overset{M}{\Σ}}\left(\exp \right(-\left|\right|x_h-x_q|{|}^2/2{\mathrm{\σ}}_p^2)\×\left|\right|f_h-f_q\left|{|}^2\right),$ ${\mathrm{SC}}_h=\underset{q=1}{\overset{M}{\Σ}}\left(\exp \right(-\left|\right|f_h-f_q|{|}^2/2{\mathrm{\σ}}_c^2)\×\left|\right|x_q-u_h\left|{|}^2\right),$ 其中，q为正整数，1≤q≤M，exp()表示以自然基数e为底的指数函数，符号“||||”为求欧式距离符号，f_q表示{I_L(x,y)}中的第q个子块的通用特征向量，σ_p表示高斯函数的标准差，x_h表示{I_L(x,y)}中的第h个子块中的中心像素点的坐标位置，x_q表示{I_L(x,y)}中的第q个子块中的中心像素点的坐标位置，σ_c表示高斯函数的标准差， $u_h=\frac{\underset{q=1}{\overset{M}{\Σ}}{x}_q\·\exp (-||f_h-f_q|{|}^2/2{\mathrm{\σ}}_c^2)}{\underset{q=1}{\overset{M}{\Σ}}\exp (-||f_h-f_q|{|}^2/2{\mathrm{\σ}}_c^2)};$

④-7、计算{I_L(x,y)}中的第h个子块的显著值S_h，S_h＝FC_h×SC_h。