CN102447926B - 一种无摄像机标定参数的三维图像变换方法 - Google Patents

Abstract

本发明公开了一种无摄像机标定参数的三维图像变换方法，利用摄像机标定参数与深度图像的灰度值之间的关系，将需要标定参数的三维图像变换公式简化为只含有几个可调参数的公式形式，以实现无摄像机标定参数下的三维图像变换。实验表明，该方法在无摄像机标定参数的条件下，不仅能够生成令人满意的虚拟视图，即目标视图，还能使用户根据自己的需要对可调参数进行调节，获得更好的视觉效果。同时，在硬件实现方面，也比较简单易行。

Description

一种无摄像机标定参数的三维图像变换方法

技术领域

本发明属于3D电视系统中的基于深度图像绘制（Depth-Image-BasedRendering,简称DIBR）技术领域，更为具体地讲，涉及一种无摄像机标定参数的三维图像变换方法。

背景技术

基于深度图像绘制技术是根据参考图像（reference image）及其对应的深度图像（depth image）来生成一幅新的虚拟视点图像，即目标图像（destinationimage）。与利用左右两路平面视频合成三维影像即传统三维视频格式相比，采用DIBR技术之后仅需要传递一路视频及其深度图像序列就可合成三维影像，而且可以很方便的实现二维和三维的切换，同时避免了由传统视图生成方法所带来的三维空间变换的计算复杂性。正因为如此，DIBR技术在3D电视合成三维影像中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。通常，人们把需要采用DIBR技术的3D视频称为基于深度图像的3D视频(depth-image-based 3Dvideo)。

DIBR技术的核心步骤是三维图像变换(3d image warping)。三维图像变换能够将参考图像中的点投影到三维空间，再将三维空间中的点重投影到目标图像平面上，从而生成新视点视图，即目标图像。

然而，传统的DIBR技术需要传递许多摄像机标定参数，如焦距f，基线长度B等，硬件实现复杂。

发明内容

本发明的目的在于克服现有技术的不足，提供一种无摄像机标定参数的三维图像变换方法。

为实现上述目的，本发明无摄像机标定参数的三维图像变换方法，其特征在于，包括以下步骤：

（1）、初始化视差图M，将其所有元素置为空洞点视差值；

（2）、区分目标图像是左视图还是右视图，如果是左视图，则将布尔变量α置为1，从右到左，从上到下的顺序扫描参考图像，按行遍历参考图像I_ref中的像素点；如果是右视图，则从左到右，从上到下的顺序扫描参考图像，并将布尔变量α置为0，按行遍历参考图像I_ref中的像素点；

在遍历时，2.1）、对参考图像I_ref中第v_ref行第u_ref列的像素点u_ref，依据公式（1）计算其在目标图像I_des中对应的匹配像素点u_des；

$\left\{\begin{array}{c}{u}_{\mathrm{des}}-u_{\mathrm{ref}}={(-1)}^{\mathrm{\α}}\·\frac{p_r}{g-1}\·(D_{\mathrm{zps}}-D(u_{\mathrm{ref}},v_{\mathrm{ref}}))\\ v_{\mathrm{des}}=v_{\mathrm{ref}}\end{array}\right.---\left(1\right)$

公式（1）中，(u_ref,v_ref),(u_des,v_des)分别表示参考图像I_ref上的像素点u_ref和其在目标图像I_des上对应的匹配像素点u_des的水平、垂直坐标，即x轴、y轴坐标；D(u_ref,v_ref)表示深度图像中像素点(u_ref,v_ref)的灰度值；g为深度图像灰度级，可调参数p_r的值被限定在：

0≤p_r≤W_i×5%.                               （2）

零视差平面对应的灰度值D_zps设置在深度图像灰度级g的1/2至2/3的整数级之间；

2.2）、判断像素点u_des是否落在目标图像I_des内；如果像素点u_des的水平坐标u_des满足：

0≤u_des<W_i,                                （3）

则表明像素点u_des落在目标图像I_des内，将像素点u_ref的像素值拷贝到像素点u_des，将视差图M中的元素(u_ref,v_ref)置为u_des-u_ref；其中，W_i为目标图像的水平像素点数；

（3）、遍历完参考图像I_ref中的所有像素点，则输出目标图像I_des及视差图M。

本发明的发明目的是这样实现的：

本发明无摄像机标定参数的三维图像变换方法，利用摄像机标定参数与深度图像的灰度值之间的关系，将需要标定参数的三维图像变换公式简化为只含有几个可调参数的公式形式，以实现无摄像机标定参数下的三维图像变换。实验表明，该方法在无摄像机标定参数的条件下，不仅能够生成令人满意的虚拟视图，即目标视图，还能使用户根据自己的需要对可调参数进行调节，获得更好的视觉效果。同时，在硬件实现方面，也比较简单易行。

附图说明

图1是本发明中参考图像作为左视图生成目标图像即右视图的示意图；

图2是本发明中参考图像作为右视图生成目标图像即左视图的示意图；

图3是本发明本发明无摄像机标定参数的三维图像变换方法一具体实施方法流程图：

图4是“Ballet”序列测试图及其深度图像；

图5是当n′=1，γ′=204时，D_zps取不同的值时合成的目标图像；

图6是当n′=-1，γ′=204时，D_zps取不同的值时合成的目标图像；

图7是当γ′=204，D_zps=128时，n′取不同正整数时合成的目标图像；

图8是当γ′=204，D_zps=128时，n′取不同负整数时合成的目标图像；

图9是当n′=1、D_zps=128时，γ′取不同负整数时合成的目标图像；

图10是当n′=-1、D_zps=128时，γ′取不同负整数时合成的目标图像。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

在本发明中，依据传感变换摄像机（shift-sensor camera）设置以及三维图像变换的基本变换公式，可以得到新的三维图像变换公式：

$\left\{\begin{array}{c}{u}_{\mathrm{des}}={(-1)}^{\mathrm{\&alpha;}}[2h-\frac{f\&CenterDot;s_x\&CenterDot;B}{z_w}]+u_{\mathrm{ref}}\\ v_{\mathrm{des}}=v_{\mathrm{ref}}\end{array}\right.---\left(4\right)$

公式（4）中，(u_ref,v_ref),(u_des,v_des)分别表示参考图像I_ref上的像素点u_ref和其在目标图像I_des上对应的匹配像素点u_des的水平、垂直坐标，即x轴、y轴坐标，h表示由传感变换摄像机（shift-sensor camera）设置零视差平面(ZPS plane)时所做的水平位移像素点数，f表示图像焦距，s_x表示由图像物理坐标系向图像像素坐标系转换时在x轴方向上每单位物理长度对应的像素点的个数，B表示基线长度，z_w表示像素点u_ref对应的深度值；

深度值z_w依据公式（5）确定：

$z_w=\frac{1}{\frac{D(u_{\mathrm{ref}},v_{\mathrm{ref}})}{g-1}\&times;(\frac{1}{z_{\min }}-\frac{1}{z_{\max }})+\frac{1}{z_{\max }}},---\left(5\right)$

公式（5）中，D(u_ref,v_ref)表示深度图像中像素点(u_ref,v_ref)的灰度值，g为深度图像灰度级，z_min为最近深度值，z_max为最远深度值。

在目前的3D电视中，基于深度图像绘制的3D视频没有包含摄像机标定参数，因而需要对公式（4）进行变换，以适应无摄像机标定参数的情形。

1、参数设置

●近剪切平面z_min和远剪切平面z_max

在无摄像机标定参数的情况下，为简化计算，在本发明中，将近剪切平面z_min设定为1，远剪切平面z_max设定为无穷远处，则式（5）可化简为：

$\begin{array}{c}{z}_w=\frac{1}{\frac{D(u_{\mathrm{ref}},v_{\mathrm{ref}})}{g-1}\&times;(\frac{1}{z_{\min }}-\frac{1}{z_{\max }})+\frac{1}{z_{\max }}}.---\left(6\right)\\ =\frac{g-1}{D(u_{\mathrm{ref}},v_{\mathrm{ref}})}\end{array}$

值得注意的是，由于近剪切平面对应的灰度值D(z_min)=255，远剪切平面对应的灰度值D(z_max)=0，代入式（6）正好使得深度值z_min=1，z_max=+∞，因此式（6）也适用于近剪切平面和远剪切平面。

●视差范围(parallax range)

视差d较佳的取值范围为：

-(W_i×5%)≤d≤W_i×5%,                          （7）

其中W_i为参考图像的宽度，d和W_i的单位都为像素。

将上式代入式（4）可得

$-W_i\&times;5\%\&le;2h-\frac{f\&CenterDot;s_x\&CenterDot;B}{z_w}\&le;W_i\&times;5\%$

即

$-W_i\&times;5\%\&le;2h-f\&CenterDot;s_x\&CenterDot;B\&CenterDot;\frac{D(u_{\mathrm{ref}},v_{\mathrm{ref}})}{g-1}\&le;W_i\&times;5\%---\left(8\right)$

由于零视差平面的表达式为：

$z_c=\frac{f\&CenterDot;s_x\&CenterDot;B}{2h},$

因而有：

$2h=\frac{f\&CenterDot;s_x\&CenterDot;B}{z_c}=f\&CenterDot;s_x\&CenterDot;B\&CenterDot;\frac{D_{\mathrm{zps}}}{g-1}---\left(9\right)$

其中，D_zps表示零视差平面所对应的灰度值。将上式代入式（8），可得

$-W_i\&times;5\%\&le;f\&CenterDot;s_x\&CenterDot;B\&CenterDot;(\frac{D_{\mathrm{zps}}}{g-1}-\frac{D(u_{\mathrm{ref}},v_{\mathrm{ref}})}{g-1})\&le;W_i\&times;5\%---\left(10\right)$

令f·s_x·B=p_r≥0，在硬件实现时，该参数可作为一个可调参数输入。由式（10）可得：

$0\&le;|\frac{D_{\mathrm{zps}}}{g-1}-\frac{D(u_{\mathrm{ref}},v_{\mathrm{ref}})}{g-1}|\&le;1,---\left(11\right)$

因此，p_r的值被限定在

0≤p_r≤W_i×5%.                             （2）

可保证式（10）始终成立。

根据视觉舒适度实验结果，人眼观看立体影像时，零视差平面对应的灰度值D_zps设置在深度图像灰度级g的1/2至2/3的整数级之间时，视觉比较舒适。例如，8-bit深度图像灰度级g为256，则零视差平面通常设在128(1/2×256)到171(int(2/3×256))之间视觉较为舒适。

这样，我们得到公式（1）的无摄像机参数的三维图像变换公式，可以依据该公式进行图像变换。

式（4）是由基线长度为B推导得出的。如果要生成基线长度为B的n倍新视图，即目标图像，则可对式（4）做如下修改：

$\left\{\begin{array}{c}{u}_{\mathrm{des}}-u_{\mathrm{ref}}=n\&CenterDot;{(-1)}^{\mathrm{\&alpha;}}\&CenterDot;\frac{p_r}{g-1}\&CenterDot;(D_{\mathrm{zps}}-D(u_{\mathrm{ref}},v_{\mathrm{ref}}))\\ v_{\mathrm{des}}=v_{\mathrm{ref}}\end{array}\right.,---\left(12\right)$

式（12）可进一步简化为

$\left\{\begin{array}{c}{u}_{\mathrm{des}}-u_{\mathrm{ref}}=n^{\&prime;}\&CenterDot;\mathrm{\&gamma;}\&CenterDot;(D_{\mathrm{zps}}-D(u_{\mathrm{ref}},v_{\mathrm{ref}}))\\ v_{\mathrm{des}}=v_{\mathrm{ref}}\end{array}\right.,---\left(13\right)$

其中，n'=n·(-1)^α，n'=0表示目标图像为参考视图本身；n<0表示目标图像位于参考图像左侧；n>0表示目标图像位于参考图像右侧；γ=p_r/(g-1)为比例因子；在深度图像灰度级g通常为8-bit，此时：

p_r/(g-1)=W_i×5%/(g-1)=W_i×5%/255=W_i/5100，则有0≤γ≤W_i/5100；D_zps为零视差平面所对应的灰度值，取值范围是[0,255]，较佳的取值范围是[128,171]；D(u_ref,v_ref)表示参考图像中像素点(u_ref,v)在深度图像中所对应的灰度值。

在本实施例中，为方便硬件实现，我们对γ的取值范围进行了变更。首先选取与5100最接近的2的幂数，即4096,2的12次方，因而W_i/5100可相应的转化为(W_i/5100)*4096。

在当前图像的分辨率最大为1920*1024时，即Wi的最大值为1920，(W_i/5100)*4096的最大值为(1920/5100)*4096=1542。因此，设γ'=γ·4096，则γ'的取值范围为[0,1542]，实际中可根据需要进行调节。在每次输入后，应先将γ'值向右移位12位，即除以4096，再进行其他的操作。相应公式（12）可相应的转化为：

$\left\{\begin{array}{c}{u}_{\mathrm{des}}-u_{\mathrm{ref}}=n^{\&prime;}\&CenterDot;\frac{{\mathrm{\&gamma;}}^{\&prime;}}{4096}\&CenterDot;(D_{\mathrm{zps}}-D(u_{\mathrm{ref}},v_{\mathrm{ref}}))\\ v_{\mathrm{des}}=v_{\mathrm{ref}}\end{array}\right.---\left(14\right)$

图1是本发明中参考图像作为左视图生成目标图像即右视图的示意图。

在本实施中，如图1所示，根据画家算法，当绘制右视图时，应按照从左到右、从上到下的顺序扫描参考图像，按行遍历参考图像I_ref中的像素点u_ref，其坐标为(u_ref,v_ref)；然后依据三维图像变换公式找到目标图像I_des上对应的匹配像素点u_des的水平、垂直坐标，将像素点u_ref的像素值拷贝到像素点u_des，将视差图M中的元素(u_ref,v_ref)置为u_des-u_ref。

图2是本发明中参考图像作为右视图生成目标图像即左视图的示意图。

在本实施中，如图2所示，根据画家算法，当绘制左视图时，应按照从右到左、从上到下的顺序扫描参考图像，按行遍历参考图像I_ref中的像素点u_ref，其坐标为(u_ref,v_ref)；然后依据三维图像变换公式找到目标图像I_des上对应的匹配像素点u_des的水平、垂直坐标，将像素点u_ref的像素值拷贝到像素点u_des，将视差图M中的元素(u_ref,v_ref)置为u_des-u_ref。

图3是本发明无摄像机标定参数的三维图像变换方法一具体实施方法流程图。

在本实施中，如图3所示，本发明无摄像机标定参数的三维图像变换方法实现在无摄像机标定参数的情况下，由一幅参考图像及其深度图像生成一幅目标图像的功能。

如图3所示，具体步骤为：

1）、首先输入参考图像I_ref及其深度图像D，它们的分辨率都是W_i×H_i；零视差平面所对应的灰度值D_zps；基线长度为B的倍数n；比例因子γ；参考图像的扫描顺序标志rend_order，rend_order的值由画家算法得到；

2）、初始化参数

初始化视差图M，置M的所有元素为-128，-128表示该点为空洞，即将将视差图M所有元素置为空洞点视差值；将参考图像I_ref的像素点直接拷贝到目标图像I_des中，该像素点在目标图像I_des中的位置与参考图像I_ref中的位置相同，即参考图像I_ref与目标图像I_des完全相同，这样可以较好第填充一些小的空洞；

3）、将垂直坐标v_ref置为0，即v_ref=0；

4）、根据扫描顺序标志rend_order确定对参考图像I_ref的扫描顺序，即目标图像是左视图还是右视图；rend_order=0，表示从左到右，从上到下的顺序扫描参考图像，表示生成右视图；rend_order=1表示从右到左，从上到下的顺序扫描参考图像，生成左视图；具体的扫描和拷贝如图1、图2所示；

5）、对于生成右视图，将水平坐标u_ref置为0，即u_ref=0；对于生成左视图，将水平坐标u_ref置为W_i-1，即u_ref=W_i-1；

6）、按照公式（1）计算像素点u_ref的对应像素点u_des的坐标u_des；

7）、判断像素点u_des的坐标u_des是否满足0≤u_des<W_i，即像素点u_des是否落在目标图像I_des内；如果满足，进行步骤8）；不满足，直接进行步骤9）；

8）、则将像素点u_ref像素值拷贝到像素点u_des，视差图M中的元素(u_ref,v_ref)置为u_des-u_ref，即M(u_des,v_des)=u_des-u_ref；

9）、对于生成右视图，将水平坐标u_ref加1，即u_ref=u_ref+1；对于生成左视图，将水平坐标u_ref减1，即u_ref=u_ref-1；

10）、对于生成右视图，判断u_ref是否小于参考图像I_ref的水平像素点数W_i，如果是，则返回步骤6），否则，进行步骤11）；对于生成左视图，判断u_ref是否大于等于0，如果是，则返回步骤6），否则，进行步骤11）；这都是判断是否遍历完成一行；

11）、将垂直坐标v_ref加1，即v_ref=v_ref+1；

12）、判断垂直坐标v_ref是否小于参考图像I_ref的垂直像素点数H_i，如果是，返回步骤5），否则，进行步骤13）；

13）、遍历完参考图像I_ref中的所有像素点，则输出目标图像I_des及视差图M；视差图M中的每一个元素为8bits的有符号整数，指示了目标图像I_des中对应点是否为空洞点，-128表示该点是空洞点，其余值表示该点不是空洞点，其值为视差值。

实例

图4是“Ballet”序列测试图及其深度图像。

本实例采用“Ballet”序列(Ballet sequence)进行测试。“Ballet”序列的摄制方法为现有技术。本实例中，选用摄像机4捕获的第0帧图像，并且假定标定参数未知。图4是摄像机4捕获的第0帧，即参考图像I_ref及其深度图像D，分辨率为W_i×H_i=1024×768。

本实例的目标是合成图4中的参考图像I_ref对应的目标图像I_des。

1、n′、γ′取定值，D_zps取不同的值时合成的目标图像

图5是当n′=1，γ′=204时，D_zps取不同的值时合成的目标图像。

首先测试公式（14）中n′=1，γ′=204的情况。此时将由参考图像I_ref生成其右边的目标图像。图5显示了在这种情况下，不同的零视差平面所对应的灰度值D_zps对应生成的图像。

图6是当n′=-1，γ′=204时，D_zps取不同的值时合成的目标图像。

公式（14）中n′=-1，γ′=204的情况。此时将由参考图像I_ref生成其右边的目标图像。图5显示了在这种情况下，不同的零视差平面所对应的灰度值D_zps对应生成的图像。

将图5和图6中生成的目标图像与图4构成立体图像对，在立体显示器上进行观察。由主观观察得出，当n′、γ′=取定值而D_zps进行变化时，立体图像对立体效果变化不明显。

2、D_zps、γ′取定值，n′取不同的值时合成的目标图像

图7是当γ′=204，D_zps=128时，n′取不同正整数时合成的目标图像。

如图7所示，γ′=204，D_zps=128时，n′取不同正整数的情况。此时将由参考图像I_ref生成其右边的目标图像。图7显示了在这种情况下，不同的n′对应生成的目标图像。

图8是当γ′=204，D_zps=128时，n′取n′取不同负整数时合成的目标图像。

如图8所示，γ′=204，D_zps=128时，n′取不同负整数的情况。此时将由参考图像I_ref生成其右边的目标图像。图8显示了在这种情况下，不同的n′对应生成的目标图像。

将图7和图8中生成的目标图像与图4构成立体图像对，在立体显示器上进行观察。由主观观察得出，当D_zps、γ取定值而n在变化时，立体图像对的立体效果变化显著。其中，n越大，立体效果越显著。但是n越大会导致立体图像对视差值太大，在人脑中无法正常融合，造成图像的失真，其值在满足人眼舒适度范围的前提下由D_zps、γ而确定。

3、n′、D_zps、取定值，γ′取不同的值时合成的目标图像

图9是当n′=1、D_zps=128时，γ′取不同负整数时合成的目标图像。

下面考察n=1，D_zps=128时，不同的γ所对应的情况，此时将由参考图像I_ref生成其右边的目标图像。图9显示了这种情况下，不同的γ所对应的情况。

图10是当n′=-1、Dz_ps=128时，γ′取不同负整数时合成的目标图像。

最后考察n=-1，D_zps=128时，不同的γ所对应的情况，此时将由参考图像I_ref生成其左边的目标图像。图10显示了这种情况下，不同的γ所对应的情况。

将图9和图10中生成的目标图像与图4构成立体图像对，在立体显示器上进行观察。由主观观察得出，当D_zps,n取定值而γ在变化时，立体图像对的立体效果变化显著。其中，γ越大，立体效果越显著，但会造成图像的失真。

采用DIBR技术可以很容易实现由一幅参考图像及其对应的深度图像生成一幅新的图像（目标图像）。然而，传统的DIBR技术需要传递许多参数，如焦距f，基线长度B等，硬件实现比较复杂。本发明提出了一种无需摄像机标定参数的三维图像变换方法。该方法利用标定参数与深度图像的灰度值之间的关系，将需要标定参数的三维图像变换公式简化为只含有几个可调参数的公式形式，从而不但简化了计算，而且观众可以根据自身需要调节感知深度，来获得较好的视觉体验。实验表明，当输入不同参数值时，该算法生成的立体图像对显示时具有不同感知深度。此外，该方法硬件实现方便，是一种有效的三维图像变换方法。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种无摄像机标定参数的三维图像变换方法，其特征在于，包括以下步骤：

（1）、初始化视差图M，将其所有元素置为空洞点视差值；

（2）、将参考图像I_ref的像素点直接拷贝到目标图像I_des中，该像素点在目标图像I_des中的位置与参考图像I_ref中的位置相同，即参考图像I_ref与目标图像I_des完全相同；

区分目标图像I_des是左视图还是右视图，如果是左视图，则将布尔变量α置为1，从右到左，从上到下的顺序扫描参考图像，按行遍历参考图像I_ref中的像素点；如果是右视图，则从左到右，从上到下的顺序扫描参考图像，并将布尔变量α置为0，按行遍历参考图像I_ref中的像素点；

在遍历时，2.1）、对参考图像I_ref中第v_ref行第u_ref列的像素点u_ref，依据公式（1）计算其在目标图像I_des中对应的匹配像素点u_des；

$\left\{\begin{array}{c}{u}_{\mathrm{des}}-u_{\mathrm{ref}}={(-1)}^{\mathrm{\&alpha;}}\&CenterDot;\frac{p_r}{g-1}\&CenterDot;(D_{\mathrm{zps}}-D(u_{\mathrm{ref}},v_{\mathrm{ref}}))\\ v_{\mathrm{des}}=v_{\mathrm{ref}}\end{array}\right.---\left(1\right)$

公式（1）中，(u_ref,v_ref),(u_des,v_des)分别表示参考图像I_ref上的像素点u_ref和其在目标图像I_des上对应的匹配像素点u_des的水平、垂直坐标，即x轴、y轴坐标；D(u_ref,v_ref)表示深度图像中像素点(u_ref,v_ref)的灰度值；g为深度图像灰度级，可调参数p_r的值被限定在：

0≤p_r≤W_i×5%.                             （2）

零视差平面对应的灰度值D_zps设置在深度图像灰度级g的1/2至2/3的整数级之间；

2.2）、判断像素点u_des是否落在目标图像I_des内；如果像素点u_des的水平坐标u_des满足：

0≤u_des<W_i,                                （3）

则表明像素点u_des落在目标图像I_des内，将像素点u_ref的像素值拷贝到像素点u_des，将视差图M中的元素(u_ref,v_ref)置为u_des-u_ref；其中，W_i为目标图像的水平像素点数；

（3）、遍历完参考图像I_ref中的所有像素点，则输出目标图像I_des及视差图M。

Images