CN101282492A - 三维影像显示深度调整方法 - Google Patents

Abstract

本发明涉及三维影像显示深度调整方法，属于三维影像处理技术领域。该方法包括：利用一路平面视频及其对应的深度视频合成三维影像时，首先确定屏幕平面对应的深度值及视差与深度的转化比例，进而求出不同深度区域对应的视差大小，并根据此值对各个区域分别平移得到左右视图结果；而利用左右两路平面视频合成三维影像时，首先确定拍摄对象对应的视差大小，并根据此值将拍摄对象在两路视图中进一步平移得到左右视图结果。接下来对得到的视图结果进行融合补洞处理，并根据处理后的左右视图合成三维影像。本发明通过调整显示深度，可以放大拍摄对象的纵深运动或者将拍摄对象推进到屏幕前；而这些都使得三维影像的立体感和视觉冲击力大大增强。本发明适用于所有基于左右视差原理合成的三维影像。

Description

三维影像显示深度调整方法

技术领域

本发明属于三维影像处理技术领域，特别涉及针对三维影像显示深度的调整方法。

背景技术

随着三维图像与视频技术的发展，三维影像的显示已经日趋成熟：普通的液晶显示器只要经过表面光栅贴膜处理，都可以用于显示三维影像。虽然不同尺寸显示器的显示技术具体细节可能各不相同，但显示的基本原理都是在三维影像中包含左右视图信息，显示时通过光栅的分光作用将二者分开，使得左眼只看到左视图、右眼只看到右视图，从而产生立体感。

三维影像的合成主要有两种方式：一、利用一路平面视频及其对应的深度视频合成三维影像；二、利用左右两路平面视频合成三维影像。尽管这两种合成方式目前技术上都已经较为成熟，但在观看得到的影像结果时却发现：不同的三维合成影像视觉效果往往大相径庭。也就是说，并不是技术上的准确重现就一定可以使人产生强烈的立体感；扣人心弦的观看效果和摄人的立体感往往还与三维影像的内容密切相关。

通过对多段立体影像视觉效果的对比发现，当拍摄对象有迅速的纵深运动时产生的立体感最为强烈，而横向运动则对立体感的增强几乎没有影响；此外，当拍摄对象的显示位置位于屏幕前时产生的立体感也比位于屏幕后强烈很多。综上所述，如果能够突出三维影像中物体的纵深运动或者使三维影像拍摄对象的显示位置位于屏幕前，就可以大大改善三维影像的视觉效果。如果把拍摄对象在立体显示器上显示时与屏幕间的距离称为显示深度，那么这些问题本质上都可以通过“调整三维影像显示深度”来加以解决。

然而“调整三维影像显示深度”这一问题并没有引起太多的重视，国内外相关的研究工作开展得也比较少，还没有切实可行的解决方法。

发明内容

本发明的目的是为了改善三维影像的视觉效果。为此，本发明提供了一种三维影像显示深度的调整方法，该方法通过改变拍摄对象在左右两路视图中的视差，调整该对象在立体显示器上的显示深度。

本发明提出了一种三维影像显示深度的调整方法，其特征在于：

1.该方法应用于一路平面视频及其对应深度视频的三维影像合成方式时，具体包括以下步骤：

1)设第n帧图像对应的深度图包含m个深度层次，m为正整数，各个层次对应深度值为h₁＞h₂＞...＞h_m，其中任意h_i为0到255之间的整数值；根据需要选择其中的h_j对应屏幕平面，从而得到各个层次的相对深度为h₁-h_j，h₂-h_j，...，h_m-h_j；

2)根据需要设置相对深度和显示深度的比值γ，由实际使用的立体显示器决定视差与显示深度的比值β；利用视差与显示深度的比值β和相对深度与显示深度的比值γ，求得视差和相对深度的比值α＝β/γ，从而得到不同深度层次对应的视差值α(h₁-h_j)，α(h₂-h_j)，...，α(h_m-h_j)；

3)根据所述视差值将对应的不同深度层次区域在原始平面图像上分别向左右平移得到左、右视图。平移遵循以下规则：如果视差值大于0，则左视图右移右视图左移；如果视差值小于0，则左视图左移右视图右移；移动的距离均为视差绝对值的一半；如果视差等于0，则不必移动。平移后得到左右平面视图的初步结果；

4)对所述得到的左右平面视图的初步结果中出现的图像重合部分，令相对深度值大的区域覆盖相对深度值小的区域；对该初步结果中出现的空洞部分，则利用边缘插值或者非对称高斯滤波的方法对其进行填充，得到处理好的左右平面视图；

5)利用奇偶列插值法将左右平面视图合成为能够在立体显示器上显示的三维图像；

6)对所述一路平面视频的每一帧重复步骤1)-5)合成其对应的三维图像，再将各帧三维图像按顺序组合，从而得到显示深度经过调整的三维影像。

2.该方法应用于左右两路平面视频的三维影像合成方式时，具体包括以下步骤：

1)确定要调整深度的拍摄对象分别在左右两路平面视频的第n帧图像中的轮廓，并测量其实际的视差d₁；

2)根据需要设置该拍摄对象的显示深度h，由实际使用的立体显示器决定视差与显示深度的比值β；利用显示深度h和视差与显示深度的比值β，求得对应的期望视差d₂＝hβ；

3)根据期望视差与实际视差之差d₂-d₁，将该拍摄对象在左右视图中的轮廓分别向左右进一步平移。平移遵循以下规则：如果差值d₂-d₁大于0，则左视图右移右视图左移；如果差值d₂-d₁小于0，则左视图左移右视图右移；移动的距离均为差值绝对值的一半；如果差值d₂-d₁等于0，则不必移动。平移后得到左右平面视图的初步结果；

4)对所述得到的左右平面视图的初步结果中出现的图像重合部分，令拍摄对象所在区域覆盖原始图像区域；对该初步结果中出现的空洞部分，则利用边缘插值或者非对称高斯滤波的方法对其进行填充，得到处理好的左右平面视图；

5)利用奇偶列插值法将左右平面视图合成为能够在立体显示器上显示的三维图像；

6)对所述一路平面视频的每一帧重复步骤1)-5)合成其对应的三维图像，再将各帧三维图像按顺序组合，从而得到显示深度经过调整的三维影像。

本发明可以获得的有益效果：通过调整显示深度，可以使运动的起点更靠后终点更靠前，从而放大和夸张拍摄对象的纵深运动；通过调整显示深度，可以使拍摄对象被推进到屏幕前。这些都使得三维影像观看时的立体感和视觉冲击力大大增强。

附图说明

图1为显示深度示意图。

图2为视差示意图。

图3为显示深度与视差数量关系示意图。

具体实施方式

本发明提出的三维影像显示深度调整方法结合附图及实施例详细说明如下：

本发明方法的核心在于“通过改变视差调整显示深度”，故首先分析视差和显示深度的符号及数量关系。

视差和显示深度的符号关系如图1和图2所示。图1中，11表示立体显示器屏幕所在的平面，12、13、14分别表示显示时立体影像中位于11后面、上面、前面的拍摄对象，15则表示人的双眼而虚线表示人眼视线；如果把向前定义为显示深度的正方向，则12、13、14的显示深度正负分别为-，0，+。图2中的六个矩形对应双眼看到影像，其中左侧表示左视图而右侧表示右视图，上中下三排矩形则分别对应12、13、14各自的影像图；如果把物体在右视图中位置到其在左视图中位置的位移定义为视差，并且把向右定义为正方向，则12、13、14的视差正负分别为-，0，+。于是可得到结论：显示深度为正的对象视差为正，显示深度为0的对象视差为0，显示深度为负的对象视差为负。

视差和显示深度的数量关系如图3所示。其中，1，2表示两个位于屏幕平面前的拍摄对象，其显示深度分别为h₁，h₂，其对应的视差分别为d₁，d₂，人眼与屏幕平面的距离为H，两眼间的距离为x。假设当h₁＞0且h₂＞0时视差和显示深度的几何关系如图3所示，由相似原理得 $\frac{H-h_1}{h_1}=\frac{x}{d_1}$ 和 $\frac{H-h_2}{h_2}=\frac{x}{d_2}$ 成立，两式相除得到 $\frac{{\mathrm{Hh}}_2-h_1{h}_2}{{\mathrm{Hh}}_1-h_1{h}_2}=\frac{d_2}{d_1}$ 成立。如果假设H＞＞h₁，h₂，则可推导得出 $\frac{d_2}{h_2}\≈\frac{d_1}{h_1}=\mathrm{\β};$ 当h₁＜0且h₂＜0，或者h₁h₂＜0时，使用类似的推导也有同样的关系成立。由此得到结论：在H＞＞h₁，h₂的前提下，视差和显示深度的数量成正比关系，比值设为β，其大小由实际使用的立体显示器决定。如果视差以像素为单位而显示深度以厘米为单位，则一般立体显示器的β值大概在0.2到0.5之间。另外，前提H＞＞h₁，h₂的物理意义是人眼距离屏幕的大小远大于显示深度的绝对值，而这通常是可以满足的。

本发明对两种三维影像合成方式下的显示深度调整方法详细描述如下。

一、对于利用一路平面视频及其对应深度视频的三维影像合成方式，其显示深度的调整方法包含以下6个步骤：

1)设第n帧图像对应的深度图包含m个深度层次，m为正整数，各个层次对应深度值为h₁＞h₂＞...＞h_m，其中任意h_i为0到255之间的整数值；根据需要选择其中的h_j对应屏幕平面，从而得到各个层次的相对深度为h₁-h_j，h₂-h_j，...，h_m-h_j；选择h_j时应该遵循两个规则：一、尽量使拥有拍摄对象的深度层次的相对深度为正；二、尽量使拥有拍摄背景的深度层次的相对深度为负。大体说来，j取m/2或2m/3左右的整数值比较合适；

2)根据需要设置相对深度和显示深度的比值γ(如果显示深度以厘米为单位则比值γ一般在2到4之间)，由实际使用的立体显示器决定视差与显示深度的比值β(如果视差以像素为单位而显示深度以厘米为单位，则一般立体显示器的β值大概在0.2到0.5之间)；利用视差与显示深度的比值β和相对深度与显示深度的比值γ，求得视差和相对深度的比值α＝β/γ，从而得到不同深度层次对应的视差值α(h₁-h_j)，α(h₂-h_j)，...，α(h_m-h_j)。α值越大，则合成三维图像的纵深对比度就越大；

3)根据所述视差值将对应的不同深度层次区域在原始平面图像上分别向左右平移得到左、右视图。平移遵循以下规则：如果视差值大于0，则左视图右移右视图左移；如果视差值小于0，则左视图左移右视图右移；移动的距离均为视差绝对值的一半；如果视差等于0，则不必移动。平移后得到左右平面视图的初步结果；

4)由于各个深度层次平移距离不同，所以得到的左右平面视图的初步结果中可能会出现空洞或图象重合部分。对于左右视图初步结果中图像重合的部分，遵循“相对深度值大的区域覆盖相对深度值小的区域”这一原则进行处理；对于空洞部分，则利用边缘插值或者非对称高斯滤波的方法对其进行填充，得到处理好的左右平面视图；

5)利用奇偶列插值法将左右平面视图合成为能够在立体显示器上显示的三维图像；

6)对所述一路平面视频的每一帧重复步骤1)-5)合成其对应的三维图像，再将各帧三维图像按顺序组合，从而得到显示深度经过调整的三维影像。

二、对于利用左右两路平面视频的三维影像合成方式，其显示深度调整方法包括以下6个步骤：

1)确定要调整深度的拍摄对象分别在左右两路平面视频的第n帧图像中的轮廓，并测量其实际的视差d₁；

2)根据需要设置该拍摄对象的显示深度h(为了突出该物体的位置h一般在25厘米和75厘米之间取值)，由实际使用的立体显示器决定视差与显示深度的比值β(如果视差以像素为单位而显示深度以厘米为单位，则一般立体显示器的β值大概在0.2到0.5之间)；利用显示深度h和视差与显示深度的比值β，求得对应的期望视差d₂＝hβ；

3)根据期望视差与实际视差之差d₂-d₁，将该拍摄对象在左右视图中的轮廓分别向左右进一步平移。平移遵循以下规则：如果差值d₂-d₁大于0，则左视图右移右视图左移；如果差值d₂-d₁小于0，则左视图左移右视图右移；移动的距离均为差值绝对值的一半；如果差值d₂-d₁等于0，则不必移动。平移后得到左右平面视图的初步结果；

4)由于拍摄对象所在区域的平移，得到的左右平面视图的初步结果中可能会出现空洞或图象重合部分。对于左右视图初步结果中图像重合的部分，遵循“拍摄对象所在区域覆盖原始图像区域”这一原则进行处理；对于空洞部分，则利用边缘插值或者非对称高斯滤波的方法对其进行填充，得到处理好的左右平面视图；

5)利用奇偶列插值法将左右平面视图合成为能够在立体显示器上显示的三维图像；

6)对所述一路平面视频的每一帧重复步骤1)-5)合成其对应的三维图像，再将各帧三维图像按顺序组合，从而得到显示深度经过调整的三维影像。

合成时还要注意以下两个问题：一、为了满足“人眼距离屏幕的大小远大于显示深度的绝对值”这一前提条件，物体的显示深度值和视差值应尽量按照给定范围取值；二、针对利用左右两路平面视频的三维影像合成方式调整深度时，不可改变原有的深度次序，不然会使观众感到晕眩。

上述两种方法结合两个实施例说明如下：

一、对于利用一路平面视频及其对应深度视频的三维影像合成方式，

1)设第1帧图像对应的深度图包含6个深度层次，各个层次对应深度值为235，200，186，140，125，92。其前三个深度层次对应不同人像，后三个深度层次对应不同背景。于是选择屏幕深度值为140，从而得到各个层次的相对深度为95，60，46，0，-15，-48；

2)期望最前面的人像显示深度可以达到50厘米，所以令相对深度和显示深度的比值γ＝95/50＝1.9，假设所选立体显示器的视差与显示深度的比值β＝0.4，则可以求得视差和相对深度的比值α＝0.21，从而得到不同深度层次对应的视差值20，14，10，0，-4，-10；

3)将深度层次1对应的区域在左视图中右移10个像素，右视图中左移10个像素；将深度层次2对应的区域在左视图中右移7个像素，右视图中左移7个像素；将深度层次3对应的区域在左视图中右移5个像素，右视图中左移5个像素；深度层次4对应的区域不变；将深度层次5对应的区域在左视图中左移2个像素，右视图中右移2个像素；将深度层次6对应的区域在左视图中左移5个像素，右视图中右移5个像素；于是得到左右视图的初步结果；

4)对于左右视图的初步结果中图像重合的部分，相对深度值大的区域覆盖相对深度值小的区域；对于空洞部分，利用边缘插值或者非对称高斯滤波的方法对其进行填充。从而得到处理好的左右平面视图；

5)利用奇偶列插值法将左右平面视图合成为能够在立体显示器上显示的三维图像；

6)对所述一路平面视频的每一帧重复步骤1)-5)合成其对应的三维图像，再将各帧三维图像按顺序组合，从而得到显示深度经过调整的三维影像。

二、对于利用左右两路平面视频的三维影像合成方式，

1)设第1帧图像中要调整深度的拍摄对象已有视差为6，并确定其在左右两路平面视图中的轮廓；

2)期望拍摄对象显示深度h可以达到50厘米，假设所选立体显示器的视差与显示深度的比值β＝0.4，于是可以求得对应的期望视差值d₂＝20；

3)求得期望视差与实际视差之差为14，将拍摄对象区域在左视图继续右移7个像素，在右视图继续左移7个像素，得到左右平面视图的初步结果；

4)对于左右视图初步结果中图像重合的部分，拍摄对象所在区域覆盖原始图像区域；对于空洞部分，则利用边缘插值或者非对称高斯滤波的方法对其进行填充。从而得到了处理好的左右平面视图；

5)利用奇偶列插值法将左右平面视图合成为能够在立体显示器上显示的三维图像；

6)对所述一路平面视频的每一帧重复步骤1)-5)合成其对应的三维图像，再将各帧三维图像按顺序组合，从而得到显示深度经过调整的三维影像。

Claims (1)

1.一种三维影像显示深度调整方法，其特征在于，

该方法应用于一路平面视频及其对应深度视频的三维影像合成时，具体包括以下步骤：

1)设第n帧图像对应的深度图包含m个深度层次，m为正整数，各个层次对应深度值为h₁＞h₂＞...＞h_m，其中任意h_i为0到255之间的整数值；根据需要选择其中的h_j对应屏幕平面，从而得到各个层次的相对深度为h₁-h_j，h₂-h_j，...，h_m-h_j；

2)根据需要设置相对深度和显示深度的比值γ，由实际使用的立体显示器决定视差与显示深度的比值β；利用视差与显示深度的比值β和相对深度与显示深度的比值γ，求得视差和相对深度的比值α＝β/γ，从而得到不同深度层次对应的视差值α(h₁-h_j)，α(h₂-h_j)，...，α(h_m-h_j)；

3)根据所述视差值将对应的不同深度层次区域在原始平面图像上分别向左右平移得到左、右视图，平移遵循以下规则：如果视差值大于0，则左视图右移右视图左移；如果视差值小于0，则左视图左移右视图右移；移动的距离均为视差绝对值的一半；如果视差等于0，则不移动。平移后得到左右平面视图的初步结果；

4)对所述得到的左右平面视图的初步结果中出现的图像重合部分，令相对深度值大的区域覆盖相对深度值小的区域；对该初步结果中出现的空洞部分，则利用边缘插值或者非对称高斯滤波的方法对其进行填充，得到处理好的左右平面视图；

5)利用奇偶列插值法将左右平面视图合成为能够在立体显示器上显示的三维图像；

6)对所述一路平面视频的每一帧重复步骤1)-5)合成其对应的三维图像，再将各帧三维图像按顺序组合，从而得到显示深度经过调整的三维影像。

2.一种三维影像显示深度调整方法，其特征在于，

该方法应用于左右两路平面视频的三维影像合成时，具体包括以下步骤：

1)确定要调整深度的拍摄对象分别在左右两路平面视频的第n帧图像中的轮廓，并测量其实际的视差d₁；

2)根据需要设置该拍摄对象的显示深度h，由实际使用的立体显示器决定视差与显示深度的比值β；利用显示深度h和视差与显示深度的比值β，求得对应的期望视差d₂＝hβ；

3)根据期望视差与实际的视差之差d₂-d₁，将该拍摄对象在左右视图中的轮廓分别向左右进一步平移，平移遵循以下规则：如果差值d₂-d₁大于0，则左视图右移右视图左移；如果差值d₂-d₁小于0，则左视图左移右视图右移；移动的距离均为差值绝对值的一半；如果差值d₂-d₁等于0，则不移动。平移后得到左右平面视图的初步结果；

4)对所述得到的左右平面视图的初步结果中出现的图像重合部分，令拍摄对象所在区域覆盖原始图像区域；对该初步结果中出现的空洞部分，则利用边缘插值或者非对称高斯滤波的方法对其进行填充，得到处理好的左右平面视图；

5)利用奇偶列插值法将左右平面视图合成为能够在立体显示器上显示的三维图像；

6)对所述一路平面视频的每一帧重复步骤1)-5)合成其对应的三维图像，再将各帧三维图像按顺序组合，从而得到显示深度经过调整的三维影像。

Images