CN102831602B - 基于深度图前向映射的图像渲染方法和图像渲染装置 - Google Patents

Abstract

本发明提出一种基于深度图前向映射的图像渲染方法及装置，其中该方法包括：输入参考视图和对应的深度图；根据参考视图和深度图，获取映射坐标集；对映射坐标集进行平滑滤波，得到滤波后的映射坐标集；根据滤波后的映射坐标集，对参考视图进行前向映射，生成对应的虚拟视图；对虚拟视图进行空洞填充，得到填充后虚拟视图；以及对填充后虚拟视图进行边缘修整，得到最终虚拟视图。本发明的方法及装置消耗资源小，渲染效果好，在降低计算量的同时还保证了二维虚拟视图的质量，特别适合在实时性和质量都有一定要求且资源有限的场合使用。

Description

基于深度图前向映射的图像渲染方法和图像渲染装置

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于深度图前向映射的图像渲染方法和图像渲染装置。

背景技术

近年来，随着显示视觉技术的飞速发展，各种新型的立体显示技术纷纷出现，如偏振光立体显示技术、裸眼多视点立体显示技术、被动同步的立体显示技术等，在全球范围内掀起一场立体技术的视觉革命。立体显示技术以其强烈的立体感知真实感，给人以身临其境的震撼感觉。立体显示技术在自由视点视频(Free Viewpoint Video)、虚拟现实、立体电视、立体游戏等诸多领域有着广泛的应用前景。

然而，在立体显示技术快速发展的同时，由于多视点视频、图像资源获取成本高，适合立体显示设备使用的片源稀缺，无法满足观众日益增长的观赏需求。此外，二维片源的拍摄、编码、传输等技术已经十分成熟，而且形成了庞大的产业链，要进行三维立体视频产业链的替换需要付出巨大的代价。而现有的大部分二维片源是由单个摄像机拍摄形成的，因此，如何将二维片源转化为立体片源，是一个极具现实意义的问题。

现有的的2D转3D技术通常是通过对深度图像（Depth Image）进行提取，并对深度图像进行滤波，然后根据深度图对虚拟视图进行渲染。但由于前景遮挡背景等原因，现有技术的渲染结果中普遍出现空洞和失真问题，较大的空洞造成图像信息的丢失，失真更是极大地降低图像的质量。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的一个目的在于提出一种具有渲染效果好、渲染速度高的基于深度图前向映射的图像渲染方法。本发明的另一个目的在于提出一种具有渲染效果好、渲染速度高的基于深度图前向映射的图像渲染装置。

根据本发明实施例的基于深度图前向映射的图像渲染方法，包括：A.输入参考视图和对应的深度图；B.根据所述参考视图和所述深度图，获取映射坐标集；C.对所述映射坐标集进行平滑滤波，得到滤波后的映射坐标集；D.根据所述滤波后的映射坐标集，对所述参考视图进行前向映射，生成对应的虚拟视图；E.对所述虚拟视图进行空洞填充，得到填充后虚拟视图；以及F.对所述填充后虚拟视图进行边缘修整，得到最终虚拟视图。

在本发明的方法的一个实施例中，所述步骤B进一步包括：B1.根据所述参考视图和所述深度图，通过下列公式计算各个像素对应的映射坐标，获得映射坐标集：

$\left\{\begin{array}{c}{x}^{\′}=x+\mathrm{index}*a*(d_{\mathrm{ref}}(x,y)-d_0)\\ y^{\′}=y\end{array}\right.,$ 其中(x,y)表示所述参考视图中像素的参考坐标，(x′,y′)表示所述(x,y)移位后在所述虚拟视图中的映射坐标，index表示所述虚拟视图的序号，index=0表示所述参考视图，a表示比例因子，d_ref(x，y)表示所述参考视图中像素(x,y)的深度值；d₀表示所述虚拟视图对应的虚拟摄像机的光心到零视差平面之间的距离；B2.对所述映射坐标集进行边界约束处理，以避免渲染结果超出所述虚拟视图边界范围；和B3.对所述映射坐标集进行顺序约束处理，以避免违背顺序约束原则导致渲染结果失真。

在本发明的方法的一个实施例中，所述步骤B3进一步包括：B31.判断所述虚拟视图与所述参考视图的相对位置，确定移位顺序；B32.按照所述移位顺序逐行检测各个像素对应的映射坐标，若当前像素的映射坐标大于下一个像素的映射坐标，则定义为违背顺序约束，记录当前像素水平坐标值和下一个像素水平坐标值；B33.继续检测当前行，找出当前行中所述映射坐标的水平坐标值介于所述当前像素水平坐标值和下一个像素水平坐标值的像素，标记为错误区域；和B34.将所述错误区域的像素按照所述参考视图中的相对顺序进行调整。

在本发明的方法的一个实施例中，所述平滑滤波为不对称高斯平滑滤波。

在本发明的方法的一个实施例中，所述步骤D包括：根据所述移位顺序，遍历地将所述参考视图的每一个像素（x,y）的信息，填充到所述虚拟视图的对应的映射坐标（x′,y′）位置中，得到所述虚拟视图。

在本发明的方法的一个实施例中，所述空洞填充的方法为：获取空洞区域的边缘像素，利用所述边缘像素对所述空洞区域进行填充，其中两侧边缘像素填充空洞点的比重与所述空洞点离所述两侧边缘像素的距离成正比。

在本发明的方法的一个实施例中，所述边缘修整的方法为：对所述填充后虚拟视图的每一行像素的左右两侧填充预定数目的黑色像素。

根据本发明实施例的基于深度图前向映射的图像渲染方法具有以下优点：（1）输入简单，仅需一个二维的参考视图与该参考视图对应的深度图，并且无需进行摄像机参数校准；（2）使用前向映射的方法缓解甚至避免渲染虚拟视图出现空洞；（3）通过对映射坐标进行平滑滤波的独特处理，缓解虚拟视图渲染失真问题；（4）消耗资源小，渲染效果好，在降低计算量的同时还保证了二维虚拟视图的质量，特别适合在实时性和质量都有一定要求且资源有限的场合使用。

根据本发明实施例的基于深度图前向映射的图像渲染装置，包括：输入模块，用于输入参考视图和对应的深度图；映射坐标集获取模块，用于根据所述参考视图和所述深度图，获取映射坐标集；滤波模块，用于对所述映射坐标集进行平滑滤波，得到滤波后的映射坐标集；渲染模块，用于根据所述滤波后的映射坐标集，对所述参考视图进行前向映射，生成对应的虚拟视图；空洞填充模块，用于对所述虚拟视图进行空洞填充，得到填充后虚拟视图；以及边缘修整模块，用于对所述填充后虚拟视图进行边缘修整，得到最终虚拟视图。

在本发明的装置的一个实施例中，所述映射坐标集获取模块进一步包括：映射坐标集计算模块，用于根据所述参考视图和所述深度图，通过下列公式计算各个像素对应的映射坐标，获得映射坐标集： $\left\{\begin{array}{c}{x}^{\′}=x+\mathrm{index}*a*(d_{\mathrm{ref}}(x,y)-d_0)\\ y^{\′}=y\end{array}\right.,$ 其中(x,y)表示所述参考视图中像素的参考坐标，(x′,y′)表示所述(x,y)移位后在所述虚拟视图中的映射坐标，index表示所述虚拟视图的序号，index=0表示所述参考视图，a表示比例因子，d_ref(x,y)表示所述参考视图中像素(x,y)的深度值；d₀表示所述虚拟视图对应的虚拟摄像机的光心到零视差平面之间的距离；边界约束模块，用于对所述映射坐标集进行边界约束处理，以避免渲染结果超出所述虚拟视图边界范围；和顺序约束模块，对所述映射坐标集进行顺序约束处理，以避免违背顺序约束原则导致渲染结果失真。

在本发明的装置的一个实施例中，所述顺序约束模块进一步包括：移位顺序判断模块，用于判断所述虚拟视图与所述参考视图的相对位置，确定移位顺序；检测及标记模块，用于按照所述移位顺序逐行检测各个像素对应的映射坐标，若当前像素的映射坐标大于下一个像素的映射坐标，则定义为违背顺序约束，记录当前像素水平坐标值和下一个像素水平坐标值，继续检测当前行，找出当前行中所述映射坐标的水平坐标值介于所述当前像素水平坐标值和下一个像素水平坐标值的像素，标记为错误区域；和调整模块，将所述错误区域的像素按照所述参考视图中的相对顺序进行调整。

在本发明的装置的一个实施例中，所述平滑滤波为不对称高斯平滑滤波。

在本发明的装置的一个实施例中，所述渲染模块中，根据所述移位顺序，遍历地将所述参考视图的每一个像素（x,y）的信息，填充到所述虚拟视图的对应的映射坐标（x′,y′）位置中，得到所述虚拟视图。

在本发明的装置的一个实施例中，所述空洞填充模块中，所述空洞填充方法为：获取空洞区域的边缘像素，利用所述边缘像素对所述空洞区域进行填充，其中两侧边缘像素填充空洞点的比重与所述空洞点离所述两侧边缘像素的距离成正比。

在本发明的装置的一个实施例中，所述边缘修整模块中，是边缘调整方法为：对所述填充后虚拟视图的每一行像素的左右两侧填充预定数目的黑色像素。

根据本发明实施例的基于深度图前向映射的图像渲染装置具有以下优点：（1）输入简单，仅需一个二维的参考视图与该参考视图对应的深度图，并且无需进行摄像机参数校准；（2）使用前向映射的方法缓解甚至避免渲染虚拟视图出现空洞；（3）通过对映射坐标进行平滑滤波的独特处理，缓解虚拟视图渲染失真问题；（4）消耗资源小，渲染效果好，在降低计算量的同时还保证了二维虚拟视图的质量，特别适合在实时性和质量都有一定要求且资源有限的场合使用。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例的参考视图摄像机与虚拟视图摄像机排列关系的示意图；

图2是本发明实施例的基于深度图前向映射的图像渲染方法的流程图；和

图3是本发明实施例的基于深度图前向映射的图像渲染装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

为使本领域技术人员更好地理解，首先结合图1解释本发明的原理。

如图1所示，P为空间任意一点，它在世界坐标系中的X轴坐标和Z轴坐标分别为b₀和Z；C_ref为与二维参考视图所对应真实摄像机的光心，C_vir为与二维虚拟视图对应的虚拟摄像机的光心；V_ref为P点在真实摄像机的成像平面上的成像位置，V_vir为P点在虚拟摄像机的成像平面上得成像位置；b为摄像机之间的距离，f为摄像机的焦距。根据几何知识可知：

$\left\{\begin{array}{c}\frac{V_{\mathrm{ref}}}{f}=\frac{b_0}{Z}\\ \frac{V_{\mathrm{vir}}}{f}=\frac{b_0+b_1}{Z}\end{array}\right.\⇒\mathrm{disparity}:d=\frac{\mathrm{fb}}{Z}$

图1和上式说明P点在二维虚拟视图和二维参考视图中的视差与虚拟摄像机和实际摄像机之间的距离b成正比。利用该原理，本发明的方法和装置使用相对简单的像素移位来形成视差效果，在计算参考视图像素位于虚拟视图中的坐标时，遵循顺序约束的原则，并在后续处理中通过平滑滤波提高重采样的质量，用空洞区域的邻域像素填充由于前景遮挡背景造成的空洞区域，并通过边缘剪裁进一步提高视图观赏效果。这样的简化是合理的，不仅可以得到较好的最终渲染结果，还大大提高渲染过程的速度。

图2是本发明实施例的基于深度图前向映射的图像渲染方法的流程图。

如图2所示，本发明的基于深度图前向映射的图像渲染方法包括如下步骤：

步骤S101.输入参考视图和对应的深度图。

具体地，仅需输入一个二维的参考视图与该参考视图对应的深度图，并且无需进行摄像机参数校准，简单易行。

步骤S102.根据参考视图和深度图，获取映射坐标集。

首先，根据深度图获取二维参考视图中对应的每个像素的深度值，移位距离的大小正比于该像素对应深度图中的深度值，推算二维参考视图中所有的像素应该移动的距离并对其取整，加上该像素本身的坐标，就得到该像素位移之后在二维虚拟视图中的坐标。所有二维参考图像的像素在二维虚拟视图中的新坐标形成映射坐标集。映射坐标计算公式为：

$\left\{\begin{array}{c}{x}^{\′}=x+\mathrm{index}*a*(d_{\mathrm{ref}}(x,y)-d_0)\\ y^{\′}=y\end{array}\right.$

其中，(x,y)表示参考视图中像素的参考坐标，(x′,y′)表示(x,y)移位后在虚拟视图中的映射坐标，index表示虚拟视图的序号，index=0表示参考视图，a表示比例因子，其值正比于摄像机之间的距离，可根据需要进行调节，d_ref(x,y)表示参考视图中像素(x,y)的深度值；d₀表示虚拟视图对应的虚拟摄像机的光心到零视差平面（Zeor Parallax Plane，ZPS）之间的距离。

其次，对映射坐标集进行边界约束处理，以避免渲染结果超出虚拟视图边界范围。具体地，如果计算出某像素位移之后的坐标（映射坐标）超出了二维虚拟视图的坐标取值范围，则直接舍弃该像素。

再次，对映射坐标集进行顺序约束处理，以避免违背顺序约束原则导致渲染结果失真。一般地，二维参考视图中的同一行中的像素在移位到二维虚拟视图中后，仍然要保持他们在二维参考视图中的相对位置，该约束称为顺序约束。然而，由于遮挡区域或大的量化噪声以及条状像素区域等原因，二维参考视图中的一些像素在移位到二维虚拟视图后，其排列的相对顺序会与他们在二维参考视图中的原相对顺序不一致。这些显著的错误会导致在映射渲染时引起显著的失真，比如前景中的一个物体的整体中掺杂着一些背景的像素，因此必须对其进行校正，方法如下：

判断虚拟视图与参考视图的相对位置，确定移位顺序。如果虚拟视图在参考视图的左边，则采用从左到右从上到下的移位顺序；如果虚拟视图在参考视图的右边，则采用从右到左从上到下的移位顺序。对一个映射坐标集，按照移位顺序逐行检测各个像素对应的映射坐标，若当前像素的映射坐标大于下一个像素的映射坐标，则定义为违背顺序约束，记录当前像素水平坐标值和下一个像素水平坐标值。继续检测当前行，找出当前行中映射坐标的水平坐标值介于当前像素水平坐标值和下一个像素水平坐标值的像素，标记为错误区域。将错误区域的像素按照参考视图中的相对顺序进行调整。

步骤S103.对映射坐标集进行平滑滤波，得到滤波后的映射坐标集。优选地，对映射坐标集进行不对称高斯滤波，缓解渲染过程的失真问题，提高映射效果。

该步骤的具体实现流程如下：计算二维高斯卷积模板，(2w+1)x(2h+1)大小的二维高斯卷积模板为：

$g(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_v)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_u{\mathrm{\σ}}_v}{e}^{-(\frac{x^2}{2{{\mathrm{\σ}}_u}^2}+\frac{y^2}{2{{\mathrm{\σ}}_v}^2})}$ -w≤u≤w,-h≤v≤h

其中u,v均为整数，(2w+1)和(2h+1)分别为滤波窗口的宽和高，σ_u和σ_v分别决定水平和垂直方向上得滤波强度。增大水平方向上的滤波窗口，使用的二维高斯卷积模板对映射坐标集进行二维高斯平滑滤波，卷积公式如下：

$\hat{G}(x,y)=\frac{\underset{v=-h}{\overset{h}{\mathrm{\Σ}}}\left\{\underset{u=-w}{\overset{w}{\mathrm{\Σ}}}G(x-u,y-u)g(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_u)\right\}}{\underset{v=-h}{\overset{h}{\mathrm{\Σ}}}\left\{\underset{u=-w}{\overset{w}{\mathrm{\Σ}}}g(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_u)\right\}}$

其中，G(x,y)为滤波前的映射坐标值，为滤波后的映射坐标值。

步骤S104.根据滤波后的映射坐标集，对参考视图进行前向映射，生成对应的虚拟视图。

具体地，根据移位顺序，遍历地将参考视图的每一个像素（x,y）的信息，填充到虚拟视图的对应的映射坐标（x′,y′）位置中，得到虚拟视图。由于在映射的过程中遵循顺序约束，所以参考图像中同一行的像素在位移到虚拟图像中后，仍然会保持在原来的参考图像中的相对顺序。

步骤S105.对虚拟视图进行空洞填充，得到填充后虚拟视图。

检测出经过上述步骤后生成的二维虚拟图像中仍未被填充的空洞区域，并以空洞区域的邻域的像素填充这些区域。空洞填充的方法为：获取空洞区域的边缘像素，利用边缘像素对空洞区域进行填充，其中两侧边缘像素填充空洞点的比重与空洞点离两侧边缘像素的距离成正比。

该步骤的具体实现流程如下：获取空洞区域边缘的像素，利用边缘像素对空洞区域进行填充，两边缘像素填充空洞点的比重与该空洞点离两个边缘像素的距离成正比。填充公式为：

$I(x,y)=\frac{|x-x_{b1}|*I(x_{b1},y)+|x_{b2}-x|*I(x_{b2},y)}{|x_{b2}-x_{b1}|}$

其中I(x,y)为填充空洞点的像素值，(x,y)为空洞点的坐标，(x_b1,y)为某侧边缘像素坐标，(x_b2,y)为另一侧边缘像素坐标。

步骤S106.对填充后虚拟视图进行边缘修整，得到最终虚拟视图。

具体地，由于参考视图中存在遮挡等问题，当参考视图中的像素在位移到二维虚拟视图中后，会出现不平整的视图边缘，为使二维虚拟视图规则和对称，需对虚拟视图两边缘进行适当修整。具体操作为：对填充后虚拟视图的每一行像素的左右两侧填充预定数目的黑色像素。至此，得到最终虚拟视图。

根据本发明实施例的基于深度图前向映射的图像渲染方法具有以下优点：（1）输入简单，仅需一个二维的参考视图与该参考视图对应的深度图，并且无需进行摄像机参数校准；（2）使用前向映射的方法缓解甚至避免渲染虚拟视图出现空洞；（3）通过对映射坐标进行平滑滤波的独特处理，缓解虚拟视图渲染失真问题；（4）消耗资源小，渲染效果好，在降低计算量的同时还保证了二维虚拟视图的质量，特别适合在实时性和质量都有一定要求且资源有限的场合使用。

图3是本发明实施例的基于深度图前向映射的图像渲染装置的结构框图。

如图3所示，本发明的基于深度图前向映射的图像渲染装置，包括输入模块100、映射坐标集获取模块200、滤波模块300、渲染模块400、空洞填充模块500以及边缘修整模块600。

输入模块100用于输入参考视图和对应的深度图。具体地，本发明仅需向输入模块100输入一个二维的参考视图及对应的深度图，并且无需进行摄像机参数校准，简单易行。

映射坐标集获取模块200用于根据参考视图和深度图，获取映射坐标集。其中，映射坐标集获取模块进一步包括：映射坐标集计算模块210、边界约束模块220和顺序约束模块230。

映射坐标集计算模块210用于根据参考视图和深度图，通过下列公式计算各个像素对应的映射坐标，获得映射坐标集： $\left\{\begin{array}{c}{x}^{\′}=x+\mathrm{index}*a*(d_{\mathrm{ref}}(x,y)-d_0)\\ y^{\′}=y\end{array}\right.,$ 其中(x,y)表示参考视图中像素的参考坐标，(x′,y′)表示(x,y)移位后在虚拟视图中的映射坐标，index表示虚拟视图的序号，index=0表示参考视图，a表示比例因子，其值正比于摄像机之间的距离，可根据需要进行调节，d_ref(x,y)表示参考视图中像素(x,y)的深度值；d₀表示虚拟视图对应的虚拟摄像机的光心到零视差平面（Zeor Parallax Plane，ZPS）之间的距离。

边界约束模块220用于对映射坐标集进行边界约束处理，以避免渲染结果超出虚拟视图边界范围。具体地，如果计算出某像素位移之后的坐标（映射坐标）超出了二维虚拟视图的坐标取值范围，则直接舍弃该像素。

顺序约束模块230对映射坐标集进行顺序约束处理，以避免违背顺序约束原则导致渲染结果失真。其中，顺序约束模块230还进一步包括：移位顺序判断模块231，用于判断虚拟视图与参考视图的相对位置，确定移位顺序；检测及标记模块232，用于按照移位顺序逐行检测各个像素对应的映射坐标，若当前像素的映射坐标大于下一个像素的映射坐标，则定义为违背顺序约束，记录当前像素水平坐标值和下一个像素水平坐标值，继续检测当前行，找出当前行中映射坐标的水平坐标值介于当前像素水平坐标值和下一个像素水平坐标值的像素，标记为错误区域；和调整模块233，将错误区域的像素按照参考视图中的相对顺序进行调整。

滤波模块300用于对映射坐标集进行平滑滤波，得到滤波后的映射坐标集。优选地，滤波模块300对映射坐标集进行不对称高斯滤波，缓解渲染过程的失真问题，提高映射效果。

在本发明的一个实施例中，计算二维高斯卷积模板，(2w+1)x(2h+1)大小的二维高斯卷积模板为：

$g(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_v)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_u{\mathrm{\σ}}_v}{e}^{-(\frac{x^2}{2{{\mathrm{\σ}}_u}^2}+\frac{y^2}{2{{\mathrm{\σ}}_v}^2})}$ -w≤u≤w,-h≤v≤h

其中u,v均为整数，(2w+1)和(2h+1)分别为滤波窗口的宽和高，σ_u和σ_v分别决定水平和垂直方向上得滤波强度。增大水平方向上的滤波窗口，使用的二维高斯卷积模板对映射坐标集进行二维高斯平滑滤波，卷积公式如下：

$\hat{G}(x,y)=\frac{\underset{v=-h}{\overset{h}{\mathrm{\Σ}}}\left\{\underset{u=-w}{\overset{w}{\mathrm{\Σ}}}G(x-u,y-u)g(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_u)\right\}}{\underset{v=-h}{\overset{h}{\mathrm{\Σ}}}\left\{\underset{u=-w}{\overset{w}{\mathrm{\Σ}}}g(u,v,{\mathrm{\σ}}_u,{\mathrm{\σ}}_u)\right\}}$

其中，G(x,y)为滤波前的映射坐标值，为滤波后的映射坐标值。

渲染模块400用于根据滤波后的映射坐标集，对参考视图进行前向映射，生成对应的虚拟视图。具体地，渲染模块400中，根据移位顺序，遍历地将参考视图的每一个像素（x,y）的信息，填充到虚拟视图的对应的映射坐标（x′,y′）位置中，得到虚拟视图。由于在映射的过程中遵循顺序约束，所以参考图像中同一行的像素在位移到虚拟图像中后，仍然会保持在原来的参考图像中的相对顺序。

空洞填充模块500用于对虚拟视图进行空洞填充，得到填充后虚拟视图。检测出经过上述步骤后生成的二维虚拟图像中仍未被填充的空洞区域，并以空洞区域的邻域的像素填充这些区域。空洞填充的方法为：获取空洞区域的边缘像素，利用边缘像素对空洞区域进行填充，其中两侧边缘像素填充空洞点的比重与空洞点离两侧边缘像素的距离成正比。

在本发明的一个实施例中，空洞填充模块500中，获取空洞区域边缘的像素，利用边缘像素对空洞区域进行填充，两边缘像素填充空洞点的比重与该空洞点离两个边缘像素的距离成正比。填充公式为：

$I(x,y)=\frac{|x-x_{b1}|*I(x_{b1},y)+|x_{b2}-x|*I(x_{b2},y)}{|x_{b2}-x_{b1}|}$

其中I(x,y)为填充空洞点的像素值，(x,y)为空洞点的坐标，(x_b1,y)为某侧边缘像素坐标，(x_b2,y)为另一侧边缘像素坐标。

边缘修整模块600用于对填充后虚拟视图进行边缘修整，得到最终虚拟视图。具体地，由于参考视图中存在遮挡等问题，当参考视图中的像素在位移到二维虚拟视图中后，会出现不平整的视图边缘，为使二维虚拟视图规则和对称，需对虚拟视图两边缘进行适当修整。具体地，边缘修整模块600中，对填充后虚拟视图的每一行像素的左右两侧填充预定数目的黑色像素。至此，得到最终虚拟视图。

根据本发明实施例的基于深度图前向映射的图像渲染装置具有以下优点：（1）输入简单，仅需一个二维的参考视图与该参考视图对应的深度图，并且无需进行摄像机参数校准；（2）使用前向映射的方法缓解甚至避免渲染虚拟视图出现空洞；（3）通过对映射坐标进行平滑滤波的独特处理，缓解虚拟视图渲染失真问题；（4）消耗资源小，渲染效果好，在降低计算量的同时还保证了二维虚拟视图的质量，特别适合在实时性和质量都有一定要求且资源有限的场合使用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于深度图前向映射的图像渲染方法，其特征在于，包括以下步骤：

A.输入参考视图和对应的深度图；

B.根据所述参考视图和所述深度图，获取映射坐标集；

C.对所述映射坐标集进行不对称高斯平滑滤波，得到滤波后的映射坐标集；

D.根据所述滤波后的映射坐标集，对所述参考视图进行前向映射，生成对应的虚拟视图；

E.对所述虚拟视图进行空洞填充，得到填充后虚拟视图，所述空洞填充的方法为：获取空洞区域的边缘像素，利用所述边缘像素对所述空洞区域进行填充，其中两侧边缘像素填充空洞点的比重与所述空洞点离所述两侧边缘像素的距离成正比；以及

F.对所述填充后虚拟视图进行边缘修整，得到最终虚拟视图，

其中，所述步骤B进一步包括：

B1.根据所述参考视图和所述深度图，通过下列公式计算各个像素对应的映射坐标，获得映射坐标集：

$\left\{\begin{array}{c}{x}^{\′}=x+\mathrm{index}*a*(d_{\mathrm{ref}}(x,y)-d_0)\\ y^{\′}=y\end{array}\right.,$ 其中(x,y)表示所述参考视图中像素的参考坐标，(x',y')表示所述(x,y)移位后在所述虚拟视图中的映射坐标，index表示所述虚拟视图的序号，index＝0表示所述参考视图，a表示比例因子，d_ref(x,y)表示所述参考视图中像素(x,y)的深度值；d₀表示所述虚拟视图对应的虚拟摄像机的光心到零视差平面之间的距离；

B2.对所述映射坐标集进行边界约束处理，以避免渲染结果超出所述虚拟视图边界范围；和

B3.对所述映射坐标集进行顺序约束处理，以避免违背顺序约束原则导致渲染结果失真，

其中，所述步骤B3进一步包括：

B31.判断所述虚拟视图与所述参考视图的相对位置，确定移位顺序；

B32.按照所述移位顺序逐行检测各个像素对应的映射坐标，若当前像素的映射坐标大于下一个像素的映射坐标，则定义为违背顺序约束，记录当前像素水平坐标值和下一个像素水平坐标值；

B33.继续检测当前行，找出当前行中所述映射坐标的水平坐标值介于所述当前像素水平坐标值和下一个像素水平坐标值的像素，标记为错误区域；和

B34.将所述错误区域的像素按照所述参考视图中的相对顺序进行调整。

2.如权利要求1所述的基于深度图前向映射的图像渲染方法，其特征在于，所述步骤D包括：根据所述移位顺序，遍历地将所述参考视图的每一个像素(x,y)的信息，填充到所述虚拟视图的对应的映射坐标(x',y')位置中，得到所述虚拟视图。

3.如权利要求2所述的基于深度图前向映射的图像渲染方法，其特征在于，所述边缘修整的方法为：对所述填充后虚拟视图的每一行像素的左右两侧填充预定数目的黑色像素。

4.一种基于深度图前向映射的图像渲染装置，其特征在于，包括以下部分：

输入模块，用于输入参考视图和对应的深度图；

映射坐标集获取模块，用于根据所述参考视图和所述深度图，获取映射坐标集；

滤波模块，用于对所述映射坐标集进行不对称高斯平滑滤波，得到滤波后的映射坐标集；

渲染模块，用于根据所述滤波后的映射坐标集，对所述参考视图进行前向映射，生成对应的虚拟视图；

空洞填充模块，用于对所述虚拟视图进行空洞填充，得到填充后虚拟视图，所述空洞填充方法为：获取空洞区域的边缘像素，利用所述边缘像素对所述空洞区域进行填充，其中两侧边缘像素填充空洞点的比重与所述空洞点离所述两侧边缘像素的距离成正比；以及

边缘修整模块，用于对所述填充后虚拟视图进行边缘修整，得到最终虚拟视图，

其中，所述映射坐标集获取模块进一步包括：

映射坐标集计算模块，用于根据所述参考视图和所述深度图，通过下列公式计算各个像素对应的映射坐标，获得映射坐标集：

$\left\{\begin{array}{c}{x}^{\′}=x+\mathrm{index}*a*(d_{\mathrm{ref}}(x,y)-d_0)\\ y^{\′}=y\end{array}\right.,$ 其中(x,y)表示所述参考视图中像素的参考坐标，(x',y')表示所述(x,y)移位后在所述虚拟视图中的映射坐标，index表示所述虚拟视图的序号，index＝0表示所述参考视图，a表示比例因子，d_ref(x,y)表示所述参考视图中像素(x,y)的深度值；d₀表示所述虚拟视图对应的虚拟摄像机的光心到零视差平面之间的距离；

边界约束模块，用于对所述映射坐标集进行边界约束处理，以避免渲染结果超出所述虚拟视图边界范围；和

顺序约束模块，对所述映射坐标集进行顺序约束处理，以避免违背顺序约束原则导致渲染结果失真，

其中，所述顺序约束模块进一步包括：

移位顺序判断模块，用于判断所述虚拟视图与所述参考视图的相对位置，确定移位顺序；

检测及标记模块，用于按照所述移位顺序逐行检测各个像素对应的映射坐标，若当前像素的映射坐标大于下一个像素的映射坐标，则定义为违背顺序约束，记录当前像素水平坐标值和下一个像素水平坐标值，继续检测当前行，找出当前行中所述映射坐标的水平坐标值介于所述当前像素水平坐标值和下一个像素水平坐标值的像素，标记为错误区域；和

调整模块，将所述错误区域的像素按照所述参考视图中的相对顺序进行调整。

5.如权利要求4所述的基于深度图前向映射的图像渲染装置，其特征在于，所述渲染模块中，根据所述移位顺序，遍历地将所述参考视图的每一个像素(x,y)的信息，填充到所述虚拟视图的对应的映射坐标(x',y')位置中，得到所述虚拟视图。

6.如权利要求5所述的基于深度图前向映射的图像渲染装置，其特征在于，所述边缘修整模块中，边缘调整方法为：对所述填充后虚拟视图的每一行像素的左右两侧填充预定数目的黑色像素。