CN101271583B - 一种基于深度图的快速图像绘制方法 - Google Patents

Abstract

本发明涉及一种基于深度图的快速图像绘制方法；属于计算机图像绘制技术领域。该方法包括：将二维参考视图中的所有像素移位到二维虚拟视图中去，移位距离的大小正比于该像素对应深度图中的深度值；检测并去除二维虚拟视图中的量化噪声；去除二维虚拟视图中明显的错误；以背景区域的像素填充二维虚拟视图中仍然尚未被填充的空洞区域。采用本发明，可以极大地降低整个绘制过程的计算量，同时不需要对相机进行校准，方便易行，并且可以得到令人满意的绘制效果，特别适合在某些需要实时处理或者系统资源非常有限的场合应用。

Description

一种基于深度图的快速图像绘制方法

技术领域

本发明属于计算机图像绘制技术领域，特别涉及到一种基于深度图的快速图像绘制方法。

背景技术

在多视角自由立体显示系统(Multi-view Auto-stereoscopic System)中，要生成一副具有立体效果的三维视图，需要多幅不同视点的二维虚拟视图。基于深度图的图像绘制技术能够根据一幅二维参考视图和一幅与该参考视图对应的深度图来绘制多幅不同视点的二维虚拟视图，与其他方法相比，具有如下优点：

1.图像加深度的格式能够被更有效地进行编码，因而在传输的时候需要更少的带宽；

2.图像加深度的格式能够独立于具体的自由立体显示器，如八视角或九视角的自由立体显示器等，因此可以更方便、更灵活地与市场上多种不同的自由立体显示器兼容。

3.图像加深度的格式能够更加灵活地进行二维视频与三维视频之间的切换。

因此，基于深度图的图像绘制技术被认为是未来的立体电视(3DTV，Three-dimensionalTelevision)系统中最有前途的技术之一。

一般来说，要绘制不同视点的二维虚拟视图，首先要根据深度图将二维参考视图中的所有像素点投影到空间中去，再将这些空间中的像素点反投影到与该二维虚拟视图所对应虚拟摄像机的成像平面上。然而，这种投影和反投影在计算上是非常耗时的，并且需要与二维参考视图所对应的真实摄像机的参数来完成整个绘制过程(参考“立体电视的新方法：基于深度图的绘制、压缩和传输”，立体显示与虚拟现实系统，2004.C.Fehn，“Depth-Image-Based Rendering(DIBR)，Compression and Transmission for a NewApproach on 3D-TV，”Stereoscopic Displays and Virtual Reality Systems XI，Proceedings of the SPIE，Volume 5291，pp.93-104，2004)。在实际中，要得到真实摄像机的参数还需要一个非常繁琐的校准的过程。因此，在某些需要实时应用或者系统资源非常有限的场合，如立体直播或者嵌入式系统等应用中，急需一种快速有效的方法来绘制不同视点的二维虚拟视图，以完成三维视图的生成。

发明内容

本发明的目的是为了克服目前现有的基于深度图的图像绘制技术应用中存在的问题，提出一种基于深度图的快速图像绘制方法；采用本发明，可以极大地降低整个绘制过程的计算量，同时不需要对相机进行校准，方便易行，并且可以得到令人满意的绘制效果，特别适合在某些需要实时处理或者系统资源非常有限的场合应用。

为了解决上述技术问题，本发明提出了一种基于深度图的快速图像绘制方法。为获得多幅不同视点的二维虚拟视图，需要根据二维参考视图和与之对应的深度图来生成每一幅不同视点的二维虚拟视图。为此，本发明包括以下步骤：

步骤1)像素移位(pixel shifting)：

将二维参考视图中的所有像素移位到二维虚拟视图中去，移位距离的大小正比于该像素对应深度图中的深度值，用公式表示如下：

I_Virt(x+index*α*(d_Ref(x，y)-d₀)，y，index)＝I_Ref(x，y)

其中index表示虚拟摄像机的序号；d₀表示该二维虚拟视图对应的虚拟摄像机光心到零视差平面(Zero Parallax Plane，ZPS)之间的距离；I_Ref(x，y)表示二维参考视图中位于(x，y)处的像素值，d_Ref(x，y)表示深度图中位于(x，y)处的像素值，也就是参考视图中位于(x，y)处的像素所对应的深度值。I_Virt(x，y，index)表示第index幅二维虚拟视图中位于(x，y)处的像素值，α是比例因子，其值正比于摄像机之间的距离，实际中可根据需要进行调节；

步骤2)去除量化噪声：

检测并去除二维虚拟视图中的量化噪声(通常由这些量化噪声引起的失真区域面积较小，利用此特征可以检测并去除像素移位步骤中引入的量化噪声)；

步骤3)去除明显的错误：

检测二维虚拟视图中不符合顺序约束的错误，并利用该约束来修正这些错误；所述顺序约束，指二维参考视图中的同一行的像素在移位到二维虚拟视图中后，仍然会保持他们在原二维参考视图中的相对顺序。

步骤4)空洞填充

检测经过所述步骤1)、步骤2)、步骤3)后二维虚拟视图中仍然尚未被填充的空洞区域，并以背景区域的像素填充这些空洞区域。

本发明的原理：

基于深度图的图像绘制技术能够生成多幅不同视点的二维虚拟视图。然而，在实际应用中其投影和反投影过程计算量太大，并且真实摄像机的校准过程相当繁琐。在多视角自由立体显示系统中，生成立体视图所需要的多幅不同视点的二维虚拟视图，其对应的虚拟摄像机之间是平行等间距的，如图2所示。

图2中，P为空间任意一点，它在世界坐标系中的X轴坐标和Z轴坐标分别为b₀和Z；C_Ref为与二维参考视图所对应真实摄像机的光心，C_Virt为与二维虚拟视图所对应虚拟摄像机的光心；V_Ref为P点在真实摄像机的成像平面上的成像位置，V_Virt为P点在虚拟摄像机的成像平面上的成像位置；b为摄像机之间的距离，f为摄像机的焦距。从图2中不难得到：

$\left\{\begin{array}{c}\frac{V_{\mathrm{Ref}}}{f}=\frac{b_0}{Z}\\ \frac{V_{\mathrm{Virt}}}{f}=\frac{b_0+b}{Z}\end{array}\right.\⇒\mathrm{disparity}:d=\frac{\mathrm{fb}}{Z}$

即是说P点在二维虚拟视图和二维参考视图中的视差正比于摄像机之间的距离b。利用该约束，本发明可以以相对简单的像素移位来简化复杂的投影和反投影过程，在后续处理中以取整和去除量化误差的方法来代替重采样过程，用背景来填充由于遮挡而出现的空洞区域，这样的简化是合理的，对最终绘制效果的影响也不大，因此，最终大大降低了整个绘制过程的计算量，同时保证了令人满意的绘制效果。

本发明的优点

1.无需对真实摄像机进行校准，方便易行。

2.大大降低了整个绘制过程的计算量，使得二维虚拟视图的实时绘制成为可能，方便应用在一些系统资源非常有限的场合，如嵌入式系统中。

3.以根据实际需要，调节绘制过程中的参数，灵活地绘制各种不同效果的二维虚拟视图。

4.制效果好，失真小，在极大地降低计算量的基础上保证了新绘制二维虚拟视图的质量。

附图说明

图1为本发明所述方法的工作流程框图。

图2为多视角自由立体显示系统中二维视图之间的关系示意图。

具体实施方式

本发明提出的一种基于深度图的快速图像绘制方法，结合附图及实施例详细说明如下：

为获得多幅不同视点的二维虚拟视图，需要根据二维参考视图和与之对应的深度图来生成每一幅不同视点的二维虚拟视图。为达到上述目的，本发明的工作流程如图1所示，结合实施例对各步骤详细说明如下：

步骤1)像素移位(pixel shifting)：

将二维参考视图中的所有像素移位到二维虚拟视图中去，移位距离的大小正比于该像素对应深度图中的深度值。用公式表示如下：

I_Virt(x+index*α*(d_Ref(x，y)-d₀)，y，index)＝I_Ref(x，y)

其中index表示虚拟摄像机的序号，具体取值范围取决于所需要绘制的二维虚拟视图的数目，例如要绘制M+N幅二维虚拟视图，则index取值范围为[-M，N]，其中index＝0即表示二维参考视图本身；d₀表示该二维虚拟视图对应的虚拟摄像机光心到零视差平面(ZeroParallax Plane，ZPS)之间的距离；I_Ref(x，y)表示二维参考视图中位于(x，y)处的像素值，d_Ref(x，y)表示深度图中位于(x，y)处的像素值，也就是二维参考视图中位于(x，y)处的像素所对应的深度值。I_Virt(x，y，index)表示第index幅二维虚拟视图中位于(，y)处的像素值，α是比例因子，其值正比于摄像机之间的距离，实际中可根据需要进行调节。

该步骤的具体实现流程如下：首先判断该二维虚拟视图相对于二维参考视图的位置，若二维虚拟视图位于二维参考视图的左侧，则从左到右，从上到下填充该二维虚拟视图中的所有像素，如果发现其中某个像素已经被填充，则不再填充该像素，继续循环处理下一个像素；若二维虚拟视图位于二维参考视图的右侧，则从右到左，从上到下填充该二维虚拟视图中的所有像素，如果发现其中某个像素已经被填充，则不再填充该像素，继续循环处理下一个像素。

步骤2)去除量化噪声：

检测并去除二维虚拟视图中的量化噪声。通常由这些量化噪声引起的失真区域面积较小，利用此特征可以检测并去除像素移位步骤中引入的量化噪声。

该步骤的具体实现流程如下：首先检测二维虚拟视图中水平方向上每一行里只有一个像素宽度的未被填充的区域，以离其最近的左侧像素来填充它。然后检测二维虚拟视图中垂直方向上每一列里只有一个像素宽度的未被填充的区域，以离其最近的上侧像素来填充它。

步骤3)去除明显的错误：

检测二维虚拟视图中不符合顺序约束的明显错误，并利用该约束来修正这些错误。所述顺序约束，指二维参考视图中的同一行的像素在移位到二维虚拟视图中后，仍然会保持他们在原二维参考视图中的相对顺序。

该步骤的具体实现流程如下：首先从左至右检测二维虚拟视图中每一行的每个像素，若某像素对应参考视图中的像素坐标大于其下一个像素对应参考视图中的像素坐标，则发现明显的错误；继续检测该行的像素，将所有对应参考视图中的像素坐标介于这二者之间的像素标记为明显错误区域；对该区域中不符合顺序约束的像素，按该像素在原参考视图中的相对顺序来进行修正。

步骤4)空洞填充：

检测经过上述步骤1)、步骤2)、-步骤3)后二维虚拟视图中仍然尚未被填充的空洞区域，并以背景区域的像素填充这些空洞区域。

该步骤的具体实现流程如下：首先判断该二维虚拟视图相对于二维参考视图的位置，若二维虚拟视图位于二维参考视图的左侧，则以离其最近的左侧像素来填充该空洞区域；若二维虚拟视图位于二维参考视图的右侧，则以离其最近的右侧像素来填充该空洞区域。

下面是对本发明提出的一种基于深度图的快速图像绘制方法的具体实施案例，但本实施案例并不限制本发明，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变化，这些改进和变化也应视为本发明的保护范围之内。

本实施案例运行在普通PC机上，具体配置如下：

CPU：Intel Core2 2.66GHz

内存：1G DDR333

操作系统：Windows XP Professional Edition

运行环境：Microsoft Visual Studio 2005

实施例中，输入为一幅二维参考视图及一幅与之对应的深度图。输出为均匀分布于参考视图左右侧的7幅二维虚拟视图，其中左侧3幅，右侧四幅。其处理步骤如下：

步骤1)像素移位

根据深度图中对应的每个像素的深度值，计算二维参考视图中所有像素应该移动的距离，对其取整，加上该像素本身的坐标，就得到该像素移位之后在二维虚拟视图中的坐标；再根据该坐标将二维参考视图中的所有像素移位到目标图像中去，若计算出该像素移位之后的坐标超出了二维虚拟视图的坐标取值范围，则舍弃该像素，继续循环处理下一个像素；如果发现二维虚拟视图中某个像素已经被填充，则不再填充该像素，继续循环处理下一个像素。这样逐行逐列地进行处理，直到所有的像素都被处理完毕。

步骤2)去除量化噪声：

二维虚拟视图中像素的坐标必须是整数，然而，在像素移位步骤中所计算出的移位距离却不是整数，因此，当对其取整的时候，这些舍入误差就会引入量化噪声。检测并消除这些量化噪声的办法如下：

逐行检测二维虚拟视图中每一行里未被填充的像素，若其左右侧的像素均已被填充，则以其左侧像素的值来填充该像素。然后逐列检测二维虚拟视图中每一列里未被填充的像素，若其上下侧的像素均已被填充，则以其上侧像素的值来填充该像素。

步骤3)去除明显的错误：

二维参考视图中的同一行中的像素在移位到二维虚拟视图中后，仍然会保持他们在二维参考视图中的相对顺序，该约束称为顺序约束。然而，由于遮挡区域、大的量化噪声以及条状像素区域的原因，二维参考视图中的一些像素在移位到二维虚拟视图中后，其排列的相对顺序会与他们原来在二维参考视图中的排列顺序不一致。这些明显的错误会引起显著的失真，比如前景中一个整体的物体中会夹杂着一些背景的像素，因此，必须对其进行校正，方法如下：

对每一幅二维虚拟视图，从左至右检测其每一行的每个像素。若某像素对应二维参考视图中的像素坐标大于其下一个像素对应二维参考视图中的像素坐标，则发现明显的错误。继续检测该行的像素，将所有对应二维参考视图中的像素坐标介于这二者之间的像素标记为明显错误区域。然后在每一行里面直接以离其最近的左侧像素来填充这些错误区域。对该区域中所有不符合顺序约束的像素，按该像素在原参考视图中的相对顺序来进行修正

步骤4)空洞填充：

由于遮挡的原因，在经过上述三个步骤之后，在二维虚拟视图中仍然会有一些未被填充的空洞区域。这些空洞区域理论上是无法填充的，因为它对应的是二维参考视图中被前景遮挡的背景区域，而无论是在二维参考视图还是在深度图中都没有关于该区域的信息。基于本发明的像素移位方法以及对遮挡关系的深入分析，本发明提出了一种选择性填充的方法；其思路是：考虑到这些空洞区域本身对应的应该是背景区域，如果以邻近的背景像素来填充它的话，相对于其他填充方法，最后得到的二维虚拟视图整体上应该会更加协调。根据二维虚拟视图相对于二维参考视图的位置关系，本实施例进行如下处理：首先判断该二维虚拟视图相对于二维参考视图的位置，若二维虚拟视图位于参考视图的左侧，则可以断定，空洞区域左侧一定是背景，右侧一定是前景。因此，以离其最近的左侧像素来填充该空洞区域；若二维虚拟视图位于二维参考视图的右侧，则可以断定，空洞区域右侧一定是背景，左侧一定是前景。因此，以离其最近的右侧像素来填充该空洞区域。

使用上述方法的实施例，对标准测试序列“Interview”中随机选取的一幅二维参考视图和其对应的深度图进行处理，生成7幅不同视点的虚拟视图，其中二维参考视图为RGB彩色图像，深度图为256灰度等级的灰度图像，两者分辨率均为720×576。经过上述步骤的处理，平均一幅二维虚拟视图的处理时间在10ms以内。

Claims (2)

1.一种基于深度图的快速图像绘制方法，根据二维参考视图和与之对应的深度图来生成每一幅不同视点的二维虚拟视图；其特征在于，该方法包括以下步骤：

步骤1)像素移位：

将二维参考视图中的所有像素移位到二维虚拟视图中去，移位距离的大小正比于该像素对应深度图中的深度值，用公式表示如下：

I_Virt(x+index*α*(d_Re f(x，y)-d₀)，y，index)＝I_Re f(x，y)

其中index表示虚拟摄像机的序号，其中index＝0表示二维参考视图本身；d₀表示该二维虚拟视图对应的虚拟摄像机光心到零视差平面(Zero Parallax Plane，ZPS)之间的距离；I_Re f(x，y)表示二维参考视图中位于(x，y)处的像素值，d_Re f(x，y)表示深度图中位于(x，y)处的像素值，也就是二维参考视图中位于(x，y)处的像素所对应的深度值；I_Virt(x，y，index)表示第index幅二维虚拟视图中位于(x，y)处的像素值，α是比例因子，其值正比于摄像机之间的距离，可根据需要进行调节；

步骤2)去除量化噪声：

检测并去除二维虚拟视图中的量化噪声；

步骤3)去除明显的错误：

检测该二维虚拟视图中不符合顺序约束的错误，并利用该约束来修正这些错误；所述顺序约束，指二维参考视图中的同一行的像素在移位到二维虚拟视图中后，仍然会保持他们在原二维参考视图中的相对顺序；

步骤4)空洞填充

检测经过所述步骤1)、步骤2)、步骤3)后二维虚拟视图中仍然尚未被填充的空洞区域，并以背景区域的像素填充这些空洞区域；

所述步骤1)具体实现如下：首先判断该二维虚拟视图相对于二维参考视图的位置，若二维虚拟视图位于二维参考视图的左侧，则从左到右，从上到下填充该二维虚拟视图中的所有像素，如果发现其中某个像素已经被填充，则不再填充该像素，继续循环处理下一个像素；若二维虚拟视图位于二维参考视图的右侧，则从右到左，从上到下填充该二维虚拟视图中的所有像素，如果发现其中某个像素已经被填充，则不再填充该像素，继续循环处理下一个像素；

所述步骤2)具体实现如下：首先检测二维虚拟视图中水平方向上每一行里只有一个像素宽度的未被填充的区域，以离其最近的左侧像素来填充它；然后检测二维虚拟视图中垂直方向上每一列里只有一个像素宽度的未被填充的区域，以离其最近的上侧像素来填充它；

所述步骤4)具体实现如下：首先判断该二维虚拟视图相对于二维参考视图的位置，若二维虚拟视图位于二维参考视图的左侧，则以离该空洞区域最近的左侧像素来填充该空洞区域；若二维虚拟视图位于二维参考视图的右侧，则以离该空洞区域最近的右侧像素来填充该空洞区域。

2.如权利要求1所述方法，其特征在于，所述步骤3)具体实现如下：首先从左至右检测二维虚拟视图中每一行的每个像素，若某像素对应二维参考视图中的像素坐标大于其下一个像素对应二维参考视图中的像素坐标，则发现明显的错误；继续检测该行的像素，将所有对应二维参考视图中的像素坐标介于这二者之间的像素标记为明显错误区域；对该区域中不符合顺序约束的像素，按该像素在原二维参考视图中的相对顺序来进行修正。

Images