CN102289841B - 一种立体图像观众感知深度的调节方法 - Google Patents

Abstract

本发明公开了一种立体图像观众感知深度的调节方法，在三维电视系统中使用平行摄像机设置来生成目标图像，然后将参考图像和目标图像同时向它们连线的中心点水平平移，得到摄像机空间的水平传感视差，再根据三维电视系统显示的几何原理，确定了一种用水平屏幕视差表示观众感知深度的方法，最后依据水平传感视差和水平屏幕视差的关系，将观众感知深度转换为摄像机空间的参数，这样，观众可以通过调节水平平移、基线距离和焦距参数来重新生成目标图像从而调节观众感知深度。通过实验，本发明的方法，可以产生观众要求的不同感知深度的立体图像。

Description

一种立体图像观众感知深度的调节方法

技术领域

本发明属于深度图像绘制技术领域，更为具体地讲，涉及基于深度图像绘制技术(depth-image-based rendering，简称DIBR)的一种立体图像观众感知深度的调节方法。

背景技术

基于深度图像绘制(depth-image-based rendering，简称DIBR)技术是根据参考图像(reference image)及其对应的深度图像(depth image)来生成一幅新的虚拟视点图像，即目标图像(destination image)。与利用左右两路平面视频合成三维影像即传统三维视频格式相比，采用DIBR技术之后仅需要传递一路视频及其深度图像序列就可合成三维影像，而且可以很方便的实现二维和三维的切换，同时避免了由传统视图生成方法所带来的三维空间变换的计算复杂性。正因为如此，DIBR技术在3D电视合成三维影像中中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。

然而，当观看环境或显示器发生变化时三维内容的逼真度和舒适度会发生畸变，此外，不同人群的深度感受能力也不同。所以，让观众根据自己情况调节图像感知深度是很有必要的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种立体图像观众感知深度的调节方法，使观众根据自己情况调节立体图像感知深度。

为实现上述目的，本发明立体图像观众感知深度的调节方法，其特征在于，包括以下步骤：

①、在三维电视系统中使用平行摄像机设置来生成目标图像

$\left\{\begin{array}{c}{u}_r=u_l-\frac{f\·s_x\·B}{z_l}\\ v_r=v_l\end{array}\right.---\left(1\right)$

式(1)中，u_l，v_l分别为参考图像I_l中像素点u_l的横坐标和纵坐标，u_r，v_r分别为目标图像I_r中生成的对应像素点u_r的横坐标和纵坐标；f为参考图像I_l对应的摄像机焦距，B为参考图像I_l对应的摄像机的视点C_l、目标图像I_r对应的摄像机的视点C_r之间的距离，即基线距离，s_x为图像物理坐标系向图像像素坐标系转换时在横轴，即X轴方向上每单位物理长度对应的像素的个数，z_l表示像素点u_l(u_l，v_l)对应的深度值；

②、将参考图像I_l和目标图像I_r相向水平移动h个像素点，得到摄像机空间的水平传感视差D_c：

$D_c=u_r-u_l=2h-\frac{f\·s_x\·B}{z_l}---\left(2\right)$

③、将摄像机空间的水平传感视差D_c转换为观众空间的水平屏幕视差D_s：

$D_s=\frac{D_c{W}_s}{W_i}---\left(3\right)$

式(3)中，W_s为观众空间对应的图像宽度，单位为实际的宽度值；W_i为摄像机空间对应的图像宽度，单位为像素；

④、确定观众感知深度d为：

$d=\frac{D_{s}V}{t_x-D_s}---\left(4\right)$

式(4)中，V为观看距离，t_x为眼睛瞳孔距离；

⑤、将观众感知深度d转换为摄像机空间的参数，得到观众感知深度d：

$d=\frac{D_c\·W_s\·V}{t_x{W}_i-D_c\·W_s}=\frac{(2{\mathrm{hz}}_l-f\·s_x\·B)\·W_s\·V}{t_x{z}_l{W}_i-(2{\mathrm{hz}}_l-f\·s_x\·B)\·W_s},t_x{z}_l{W}_i\≠(2{\mathrm{hz}}_l-f\·s_x\·B)\·W_s---\left(5\right)$

⑥、观众通过调节水平移动h、基线距离B或焦距f来调节观众感知深度d。

本发明的发明目的是这样实现的：

本发明立体图像观众感知深度的调节方法，在三维电视系统中使用平行摄像机设置来生成目标图像，然后将参考图像和目标图像同时向它们连线的中心点水平平移，得到摄像机空间的水平传感视差，再根据三维电视系统显示的几何原理，确定了一种用水平屏幕视差表示观众感知深度的方法，最后依据水平传感视差和水平屏幕视差的关系，将观众感知深度转换为摄像机空间的参数，这样，观众可以通过调节水平平移、基线距离和焦距参数重新生成目标图像来调节观众感知深度。通过实验，本发明的方法，可以产生观众要求的不同感知深度的立体图像。

附图说明

图1是通过平行摄像机设置来生成目标图像的原理图；

图2是传感变换摄像机设置的原理图；

图3是传感变换的原理图；

图4是摄像机空间的水平传感视差与观众空间的水平屏幕视差的关系图；

图5是三维电视系统显示的几何原理图；

图6是观众感知深度与其他参数的关系图；

图7是观众感知深度与水平屏幕视差的关系图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是通过平行摄像机设置来生成目标图像的原理图。

如图1所示，I_l为参考图像，其宽度为W_i(像素)，I_r为与参考图像I_l图像大小相同的目标图像。像素点u_l是参考图像I_l上的点，其在图像像素坐标系的标准化齐次坐标为[u_l，v_l，1]^T，场景点U是像素点u_l投影到三维空间中的点，其在世界坐标系的标准化齐次坐标为[x_w y_w z_w 1]^T，场景点U投影到目标图像I_r上对应的像素点u_r，其标准化齐次坐标为[u_r，v_r，1]^T。设世界坐标系x_wy_wz_w与参考图像，即左视图对应的左摄像机的摄像机坐标系一致。

如图1所示，在三维电视系统中，通过使用平行摄像机设置来生成目标图像I_r，在本实施例中，即右视图对应的右摄像机的视点C_r通过参考图像I_l，在本实例中，即左视图对应的左摄像机的视点C_l水平平移基线距离B得到。左右视图的中心点o_l、o_r分别在坐标系中的z_w、z_r坐标轴上。左右摄像机的内部参数矩阵满足K_l＝K_r＝K，旋转变换矩阵满足R_l＝R_r＝I，I为单位矩阵。

B为参考图像I_l对应的摄像机的视点C_l、目标图像I_r对应的摄像机的视点C_r连接构成的基线的距离，即左右摄像机光心间的距离，由于成人眼睛瞳孔距离一般为65mm，所以我们通常设用来捕捉立体图像对的两摄像机的光心距离即基线距离B值为65mm。由于在世界坐标系x_wy_wz_w中，视点C_l和C_r的坐标分别为[0 0 0]^T和[B 0 0]^T，所以有：

z_lu_l＝K[x_w y_w z_w]^T                           (6)

$z_r{u}_r=z_r\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=z_l\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]-K\left[\begin{array}{c}B\\ 0\\ 0\end{array}\right]---\left(7\right)$

其中，z_l表示像素点u_l(u_l，v_l)对应的深度值，z_r表示像素点u_r(u_r，v_r)对应的深度值。

由于目标图像I_r的摄像机坐标系是世界坐标系x_wy_wz_w的水平平移，所以像素点u_r(u_r，v_r)对应的深度值z_r＝z_l＝z_w。

左右摄像机的内部参数矩阵为：

$K=\left[\begin{array}{ccc}f\·s_x& 0& o_x\\ 0& f\·s_y& o_y\\ 0& 0& 1\end{array}\right]---\left(8\right)$

其中f为参考图像I_l对应摄像机的焦距，(o_x，o_y)为图像像素坐标系xoy的中心点。s_x和s_y分别为X轴和Y轴每单位长度(毫米)的像素数。将公式(8)代入公式(7)得到公式(1)：

$\left\{\begin{array}{c}{u}_r=u_l-\frac{f\·s_x\·B}{z_l}\\ v_r=v_l\end{array}\right.---\left(1\right)$

图2是传感变换摄像机设置的原理图。

为了产生正、负视差，在平行摄像机设置中引入传感变换。如图3所示，参考图像I_l和目标图像I_r分别从初始位置相向水平移动h个像素点，且h≥0。这将使中心点o_l和o_r分别移动到

o_r′。总之，光轴和C_r o_r′将交于点z_c，z_c称为零视差点。参考图像I_l和目标图像I_r置于摄像机光心之前，这种特殊设置使公式(1)的数学形式得到简化但公式的使用范围不变。经过传感变换，平行摄像机设置变为传感变换(shift-sensor)摄像机设置。

图3是传感变换的原理图。

传感变换可用图像中心点o_l和o_r的位移公式来表示，除非参考图像、目标图像平面的中心移动，也可以说为两图像像素坐标系移动，否则针孔摄像机模型不会发生改变。传感变换后的左右摄像机的内部参数与原左右摄像机内部参数是对应的，只是各自的中心点o_l和o_r相向水平平移，移动后，左右摄像机的内部参数矩阵为：

$K_l=\left[\begin{array}{ccc}f\·s_x& 0& o_x-h\\ 0& f\·s_y& o_y\\ 0& 0& 1\end{array}\right]=K+\left[\begin{array}{ccc}0& 0& -h\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]---\left(9\right)$

$K_r=\left[\begin{array}{ccc}f\·s_x& 0& o_x+h\\ 0& f\·s_y& o_y\\ 0& 0& 1\end{array}\right]=K+\left[\begin{array}{ccc}0& 0& h\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]---\left(10\right)$

参考图像中心点o_l在水平平移后新的图像像素坐标系x′o′y′中的水平坐标比在原来的图像像素坐标系xoy中的水平坐标减少了h，即在公式(9)中使用“-h”，相反的，在公式(10)中，我们使用“h”。

从公式(9)和(10)知：

$K_r=K_l+\left[\begin{array}{ccc}0& 0& 2h\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]---\left(11\right)$

与公式(6)、(7)相似，有：

z_lu_l＝K_l[x_w y_w z_w]^T                           (12)

$z_r{u}_r=K_r{\left[\begin{array}{ccc}{x}_w& y_w& z_w\end{array}\right]}^T-K_r\left[\begin{array}{c}B\\ 0\\ 0\end{array}\right]---\left(13\right)$

将公式(11)、(12)代入(13)中，则有：

$z_r{u}_r=z_r\left[\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right]=z_l\left[\begin{array}{c}{u}_l\\ v_l\\ 1\end{array}\right]+\left[\begin{array}{c}-f\·s_x\·B+2{\mathrm{hz}}_w\\ 0\\ 0\end{array}\right]---\left(14\right)$

由于z_r＝z_l＝z_w，所以公式(14)变为：

$\left\{\begin{array}{c}{u}_r=u_l+2h-\frac{f\·s_x\·B}{z_l}\\ v_l=v_r\end{array}\right.---\left(15\right)$

得到摄像机空间的水平传感视差D_c：

$D_c=u_r-u_l=2h-\frac{f\·s_x\·B}{z_l}---\left(2\right)$

在公式(2)中，如果水平传感视差D_c＝0，那么有z_l＝f·s_x·B/(2h)，这刚好是ZPS(zero-parallax setting)平面，零视差点z_c一定在ZPS平面上，即z_c＝f·s_x·B/2h。由于在传感变换shift-sensor摄像机设置中f，s_x和B通常是常数，所以ZPS平面的选择通常取决于h值的设置。由于z_w＞f＞0，所以有f·s_x·B/2h＞f，即h＜s_x·B/2。总之，h值的取值范围在0到s_x·B/2之间。

若水平传感视差D_c＞0，即视差为正，那么z_w＞f·s_x·B/(2h)。由于u_r-u_l的绝对值小于图像宽度W_i，所以D_c≤W_i。

若水平传感视差D_c＜0，即视差为负，那么z_w＜f·s_x·B/(2h)。

表1定性说明了参数f、h、B对传感视差D_c的影响。

表1

图4是摄像机空间的水平传感视差与观众空间的水平屏幕视差的关系图。

如图4所示，水平传感视差D_c和水平屏幕视差D_s属于不同空间，即分别属于摄像机空间和观众空间。水平传感视差D_c的单位为像素，水平屏幕视差D_s的单位为长度值，一般以毫米(mm)表示。在摄像机空间，图像宽度为W_i(单位：像素)，在观众空间，图像宽度为W_s(单位：mm)。右视图的边缘为虚线，也就是说它是由DIBR技术绘制的虚拟图像。

现阶段流行的支持高清图像(full high definition，简称FHD)的3D显示屏幕的分辨率为1920×1080。为了显示立体图像，通过线性转换算法将左视图和右视图转换至FHD的分辨率，所以屏幕放大因数为1920/W_i，水平传感视差D_c变为D_c×1920/W_i(单位：像素)。将图像放映到屏幕上时，图像宽度W_i等于1920像素，所以我们有：

$D_c=\frac{D_s{W}_i}{W_s}---\left(16\right)$

公式(16)与屏幕的分辨率无关，它适用于不同的屏幕分辨率。从公式(16)可知，因为W_i/W_s＞0，所以D_c和D_s的符号相同，并且他们的变化趋势也相同。

图5是三维电视系统显示的几何原理图。

如图5所示，在观众空间的所有对象均位于世界坐标系xyz中，其单位长度为毫米(mm)。设世界坐标系的z轴经过屏幕的中心，观众的左眼位置在e_l＝[-t_x/20 0]^T，右眼位置在e_r＝[t_x/2 0 0]^T(t_x＞0)。在此观察环境下，原点o位于两眼的中心。在图5中，使用了如下参数：

W_s：屏宽，即屏幕的水平尺寸；

H_s：屏高，即屏幕的垂直尺寸；

V：观看距离，为正数，即从观众的眼睛到3D电视屏幕的距离；

t_x：眼睛瞳孔距离，为正数。

令W＝[x_i，y_i，z_i]^T表示观众空间的一个虚拟点，此点为观众在立体图像显示时观察到的立体点。在如图5所示的观察环境下，z_i满足z_i＞0，因为观众无法看到其背后的物体。

左右眼分别通过e_l和e_r观察点W，我们在屏幕上得到立体图像对x_l、x_r，如图5显示的是一个正视差情况。x_l、x_r的坐标的计算公式如下：

$\left\{\begin{array}{c}{x}_l={\left[\begin{array}{ccc}{x}_l& y_l& z_l\end{array}\right]}^T={\left[\begin{array}{ccc}\frac{(x_i+t_x/2)V}{z_i}-\frac{t_x}{2}& \frac{y_{i}V}{z_i}& z_i\end{array}\right]}^T\\ x_r={\left[\begin{array}{ccc}{x}_r& y_r& z_r\end{array}\right]}^T={\left[\begin{array}{ccc}\frac{(x_i-t_x/2)V}{z_i}+\frac{t_x}{2}& \frac{y_{i}V}{z_i}& z_i\end{array}\right]}^T\end{array}\right.---\left(19\right)$

图6是观众感知深度与其他参数的关系图。

如图6所示，立体图像对x_l、x_r的水平坐标的关系，水平屏幕视差D_s为：

$x_r-x_l=t_x\frac{z_i-V}{z_i}---\left(20\right)$

明显地x_r-x_l的绝对值不大于屏幕宽度W_s，即水平屏幕视差D_s≥-W_s。并且，x_r-x_l的值小于t_x，，否则，观众的视线将不能会聚。因此，-W_s≤D_s＜t_x。

公式(20)说明水平屏幕视差D_s只与z_i和V有关，因为t_x通常为显示配置的一个常数。

如图6所示，令观众感知深度d＝z_i-V，这样观众感知深度d直接反映观众眼睛感受到的深度感，此深度感由水平屏幕视差D_s产生。由于z_i＞0，V＞0，所以观众感知深度d的理论取值范围为-V到+∞。

公式(20)变形为表示观众感知深度d和水平屏幕视差D_s关系的等式：

$D_s=\frac{t_{x}d}{d+V},d>-V---\left(21\right)$

整理公式(21)，确定观众感知深度d为：

$d=\frac{D_{s}V}{t_x-D_s}---\left(4\right)$

从公式(4)可以看出，观众感知深度d仍依赖与水平屏幕视差D_s。

图7是观众感知深度与水平屏幕视差的关系图。

如图7所示，水平屏幕视差D_s和观众感知深度d的关系是非线性的，当水平屏幕视差D_s趋于-W_s时，曲线变得平直；当水平屏幕视差D_s趋于t_x时，曲线值急升，这可能导致错误的观众感知深度，仅当水平屏幕视差D_s位于0附近时，曲线变化近似为线性，因此，水平屏幕视差D_s不能趋于-W_s或趋于t_x，以正确调节观众感知深度d。

最后，将公式(2)代入公式(3)，再将公式(3)代入公式(4)，将观众感知深度d转换为摄像机空间的参数，得到观众感知深度d：

$d=\frac{D_c\·W_s\·V}{t_x{W}_i-D_c\·W_s}=\frac{(2{\mathrm{hz}}_l-f\·s_x\·B)\·W_s\·V}{t_x{z}_l{W}_i-(2{\mathrm{hz}}_l-f\·s_x\·B)\·W_s},t_x{z}_l{W}_i\≠(2{\mathrm{hz}}_l-f\·s_x\·B)\·W_s---\left(5\right)$

从公式(5)知，观众空间的感知深度可通过摄像机空间的参数计算出来。在特定的观察和显示环境，观众空间的参数W_s，V和t_x是不能调节的。因此，只有在摄像机空间的基于深度图像的绘制(DIBR)过程中改变参数的值能真正实现深度调节。这也是基于深度图像的3D视频比传统3D视频更容易提供安全和舒适的3D体验的原因。

观众感知深度d取决于参数水平移动h、基线距离B、焦距f的综合作用，在实际应用中我们可以通过改变这3个参数的值来获得可靠和舒适的3D体验。但是，由于捕捉立体图像对的两摄像机的光心距离即基线距离B值取决于眼睛瞳孔距离，基线距离B通常是常数，通常取65mm，参考图像I_l对应的摄像机焦距f通常也是确定的值，这样在具体实现时，只通过调节水平移动h的值来观众调节感知深度d而保持其他2个参数不变。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种立体图像观众感知深度的调节方法，其特征在于，包括以下步骤：

①、在三维电视系统中使用平行摄像机设置来生成目标图像

$\left\{\begin{array}{c}{u}_r=u_l-\frac{f\·s_x\·B}{z_l}\\ v_r=v_l\end{array}\right.---\left(1\right)$

式(1)中，u_l，v_l分别为参考图像I_l中像素点u_l的横坐标和纵坐标，u_r，v_r分别为目标图像I_r中生成的对应像素点u_r的横坐标和纵坐标；f为参考图像I_l对应的摄像机焦距，B为参考图像I_l对应的摄像机的视点C_l、目标图像I_r对应的摄像机的视点C_r之间的距离，即基线距离，s_x为图像物理坐标系向图像像素坐标系转换时在横轴，即X轴方向上每单位物理长度对应的像素的个数，z_l表示像素点u_l(u_l，v_l)对应的深度值；

②、将参考图像I_l和目标图像I_r相向水平移动h个像素点，得到摄像机空间的水平传感视差D_c：

$D_c=u_r-u_l=2h-\frac{f\·s_x\·B}{z_l}---\left(2\right)$

③、将摄像机空间的水平传感视差D_c转换为观众空间的水平屏幕视差D_s：

$D_s=\frac{D_c{W}_s}{W_i}---\left(3\right)$

式(3)中，W_s为观众空间对应的图像宽度，单位为实际的宽度值；W_i为摄像机空间对应的图像宽度，单位为像素；

④、确定观众感知深度d为：

$d=\frac{D_{s}V}{t_x-D_s}---\left(4\right)$

式(4)中，V为观看距离，t_x为眼睛瞳孔距离；

⑤、将观众感知深度d转换为摄像机空间的参数，得到观众感知深度d：

$d=\frac{D_c\·W_s\·V}{t_x{W}_i-D_c\·W_s}=\frac{(2{\mathrm{hz}}_l-f\·s_x\·B)\·W_s\·V}{t_x{z}_l{W}_i-(2{\mathrm{hz}}_l-f\·s_x\·B)\·W_s},t_x{z}_l{W}_i\≠(2{\mathrm{hz}}_l-f\·s_x\·B)\·W_s---\left(5\right)$

⑥、观众通过调节水平移动h、基线距离B或焦距f重新生成目标图像来调节观众感知深度d。

2.根据权利要求1所述的立体图像观众感知深度的调节方法，其特征在于，步骤⑥中只通过调节水平移动h的值来调节观众感知深度d而保持其他基线距离B或焦距f不变。

3.根据权利要求1所述的立体图像观众感知深度的调节方法，其特征在于，步骤②中调节水平移动h得到摄像机空间的水平传感视差D_c转换到观众空间的水平屏幕视差D_s位于0附近，不能趋于-W_s或趋于t_x，以正确调节观众感知深度d。

Images