CN102768761A - 一种基于透视变换的立体视频绘制方法 - Google Patents

Abstract

本发明提出一种基于透视变换的立体视频绘制方法，包括：获取相机参数、虚拟视图的视角参数以及参考视图的视角参数，并计算单应矩阵；输入第一参考深度图和第二参考深度图，并根据单应矩阵将第一参考深度图和第二参考深度图分别映射为第一虚拟深度图和第二虚拟深度图；对第一虚拟深度图和第二虚拟深度图进行滤波得到第一滤波后虚拟深度图和第二滤波后虚拟深度图；输入第一参考视图和第二参考视图，根据第一滤波后虚拟深度图和第二滤波后虚拟深度图将第一参考视图和第二参考视图分别映射为第一虚拟视图和第二虚拟视图；对第一虚拟视图和第二虚拟视图进行融合以生成目标视图。本发明可以显著降低立体视频绘制算法的计算复杂度，节省了存储带宽。

Description

一种基于透视变换的立体视频绘制方法

技术领域

本发明涉及视觉处理、立体视频和自由视点电视技术领域，特别涉及一种基于透视变换的立体视频绘制方法。

背景技术

多视角立体视频可以给观察者提供任意视角的图像，从而使景物的立体真实感更强，在这些年收到越来越多地关注。基于多视角立体视频，人们又提出了自由视点电视的概念。由于自由视点电视需要显示任意视角的视图，如果对每一个视角的图像都进行传输，那么多视角立体视频的存储量和传输带宽需求将是无穷大的。因此通常使用基于深度图的方法，利用深度图和少量的参考图像，生成所需要的任意视角的图像。任意视角的视频绘制会直接影响立体显示的实时性和图片质量，因此，立体视频绘制技术是自由立体电视中非常重要的一项关键技术。相对于传统平面视频,立体视频包含了更多视角的数据信息,会造成数据量成倍地增长,这就给立体视频的存储和传输环节带来了极大的困难。现有的编码算法计算复杂度高，需要耗费大量的存储带宽。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。

为此，本发明的第一个目的在于提出一种基于透视变换的立体视频绘制方法。本发明可以显著降低立体视频绘制算法的计算复杂度，节省了存储带宽。

为达到上述目的，本发明的实施例提出了一种基于透视变换的立体视频绘制方法，包括如下步骤：获取相机参数、虚拟视图的视角参数以及参考视图的视角参数，并根据所述相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，其中，所述单应矩阵用于表示所述参数视图和所述虚拟视图的像素坐标对应关系；输入第一参考深度图和第二参考深度图，并根据所述单应矩阵将所述第一参考深度图和所述第二参考深度图分别映射为第一虚拟深度图和第二虚拟深度图；对所述第一虚拟深度图和所述第二虚拟深度图进行滤波以得到第一滤波后虚拟深度图和第二滤波后虚拟深度图；输入第一参考视图和第二参考视图，根据所述第一滤波后虚拟深度图和第二滤波后虚拟深度图将所述第一参考视图和所述第二参考视图分别映射为第一虚拟视图和第二虚拟视图；对所述第一虚拟视图和第二虚拟视图进行融合以生成目标视图。

根据本发明实施例的基于透视变换的立体视频绘制方法，可以用于通过立体绘制得到各视角的虚拟视图，供多视角立体显示设备进行显示，并显著降低了立体视频绘制算法的计算复杂度，节省了存储带宽。

在本发明的一个实施例中，所述根据相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，包括如下步骤：计算所述参考视图和所述虚拟视图之间的多个深度值；对于每个所述深度值，分别取深度值相同的多个参考像素点，并利用所述多个参考像素点的坐标分别计算对应的虚拟像素点的坐标；根据所述参考像素点坐标和所述虚拟像素点坐标计算所述单应矩阵。

在本发明的一个实施例中，所述根据相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，包括如下步骤：计算所述参考视图和所述虚拟视图之间的多个深度值；对所述多个深度值按照出现次数递减进行排序以生成深度值序列，其中，所述深度值序列包括N个深度值；在所述深度值序列中，取前M个深度值，对所述M个深度值分别计算单应矩阵，M<N,M为预设数目；根据计算得到的M个单应矩阵，通过线性内插方法计算剩余N-M个深度值的单应矩阵。

在本发明的一个实施例中，所述通过线性内插方法计算剩余N-M个深度值的单应矩阵的计算公式为

$H_{i,j,\mathrm{dx}}=\frac{d_2-d_x}{d_2-d_1}{H}_{i,j,d_1}+\frac{d_x-d_1}{d_2-d_1}{H}_{i,j,d_2,}$

其中，H_i，j,dx为深度d_x对应的单应矩阵，d₁和d₂分别为d_x相邻深度值，H_i，j，d1和H_i，j，d2分别为d₁和d₂对应的单应矩阵。

在本发明的一个实施例中，所述根据单应矩阵将所述第一参考深度图和所述第二参考深度图分别映射为第一虚拟深度图和第二虚拟深度图，包括如下步骤：对所述第一参考深度图和所述第二参考深度图中的每个像素点计算对应的虚拟视图中的坐标，并将对应的深度值复制到所述第一虚拟深度图和第二虚拟深度图。

在本发明的一个实施例中，采用深度比较方法或极线方向处理方法对所述第一参考深度图和所述第二参考深度图进行映射。

在本发明的一个实施例中，采用中值滤波法对所述第一虚拟深度图和所述第二虚拟深度图进行滤波。

在本发明的一个实施例中，所述根据第一滤波后虚拟深度图和第二滤波后虚拟深度图将所述第一参考视图和所述第二参考视图分别映射为第一虚拟视图和第二虚拟视图，包括如下步骤：根据所述第一滤波后虚拟深度图和第二滤波后虚拟深度图的深度值分别计算所述第一参考视图和第二参考视图中的像素点在所述第一虚拟视图和第二虚拟视图中的位置，并将像素点复制到对应的位置。

在本发明的一个实施例中，所述对第一虚拟视图和第二虚拟视图进行融合以生成目标视图，包括如下步骤：对于每个像素位置，分别判断所述像素位置在所述第一虚拟视图和第二虚拟视图中的对应位置是否为空，如果所述像素位置在所述第一虚拟视图为空洞，在所述第二虚拟视图不为空，则在所述目标虚拟视图的对应位置填充所述第二虚拟视图中对应位置的值；如果所述像素位置在所述第二虚拟视图为空洞，在所述第一虚拟视图不为空，则在所述目标虚拟视图的对应位置填充所述第一虚拟视图中对应位置的值；如果所述像素位置在所述第一虚拟视图和第二虚拟视图均不为空洞，则对所述第一虚拟视图的对应值和所述第二虚拟视图的对应值进行线性插值以作为所述目标虚拟视图的对应值。

在本发明的一个实施例中，所述立体视频绘制方法，还进一步包括：对所述目标虚拟视图中的空洞进行全局优化填补。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于透视变换的立体视频绘制方法的流程图；

图2为本发明一个实施例的虚拟视图的计算过程的示意图；

图3为空间中一点在两个视角方向上的投影的示例图；

图4为采取极线方向处理多点竞争问题的示例图；以及

图5为虚拟视图中的一个空洞的示例图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在以下描述过程中，第一参考视图、第一虚拟视图、第一参考深度图、第一虚拟深度图、第一滤波后虚拟深度图以左眼视角为例，可记为左参考视图L、左虚拟视图VL、左参考深度图DL、左虚拟深度图DVL、左滤波后虚拟深度图DVFL；第二参考视图、第二虚拟视图、第二参考深度图、第二虚拟深度图、第二滤波后虚拟深度图以右眼视角为例，可记为右参考视图R、右虚拟视图VR、右参考深度图DR、右虚拟深度图DVR、右滤波后虚拟深度图DVFR。此外，记目标虚拟视图为V。

如图1和图2所示，根据本发明的实施例的基于透视变换的立体视频绘制方法，包括以下步骤：

S101:获取相机参数、虚拟视图的视角参数以及参考视图的视角参数，并根据相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，其中，单应矩阵用于表示参数视图和虚拟视图的像素坐标对应关系。

根据相机参数和投影变换关系，计算出参考视点图像和目标视点图像的像素坐标之间的关系，也即单应矩阵H，H是一个3X3的矩阵，如下式：

$H_{3\&times;3}=\left[\begin{array}{ccc}{h}_{00}& h_{10}& h_{20}\\ h_{01}& h_{11}& h_{21}\\ h_{02}& h_{12}& h_{22}\end{array}\right]$

假设在左参考视图中某点的坐标为(x_L,y_L)，那么它在目标虚拟视图中的坐标可设为(x_V,y_V)，二者的对应关系为：

$\left[\begin{array}{c}{x}_V\\ y_V\\ 1\end{array}\right]=\mathrm{\&alpha;}{H}_{3\&times;3}\left[\begin{array}{c}{x}_L\\ y_L\\ 1\end{array}\right]---\left(1\right)$

其中，α为坐标齐次系数。

因此如果对于每个像素点，根据H即可得到该像素点在目标虚拟视图中的位置，为了计算单应矩阵H，需要知道相应的相机参数和投影关系，如图3所示，空间中的一点(X,Y，Z)投影在两个视角方向上的成像的像素点在各自的视图中的投影位置分别为(x1,y1)和(x2,y2)。

一般使用一个8bit的二进制整数来表征深度值d，所以d的取值范围是0~255之间，我们可以根据d计算出该点在实际场景中的深度坐标Z，计算关系式如下：

$Z=\frac{1}{\frac{d}{255}(\frac{1}{Z_{\min }}-\frac{1}{Z_{\max }})+\frac{1}{Z_{\max }}}---\left(2\right)$

其中，Z_min为在深度值d=0时的Z值，Z_max为在深度值d=255时的Z值。

在得到该空间点的Z坐标后，根据如下的关系可计算出该空间点的X和Y坐标：

${\mathrm{\&alpha;}}_1\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=A_{3\&times;4}\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]---\left(3\right)$

其中,α₁为坐标齐次系数，A_3×4是已知的相机内参矩阵。

然后利用虚拟视点和参考视点之间相机的旋转矩阵R和平移向量T，即可得到在第二虚拟视图中，像素点的位置，如公式所示：

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]={\mathrm{\&alpha;}}_2{A}_{3\&times;4}R\left(\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+T\right)---\left(4\right)$

其中，α₂为坐标齐次系数，A_3×4是已知的相机内参矩阵。

根据以上步骤，对于每一个像素点(x1,y1)，我们都可以根据该像素点的深度值d得到相应的目标位置(x2,y2)。如果对每一个像素点都进行同样的计算，会消耗很大部分的计算资源，因此我们使用一个单应矩阵来表示两幅图像之间的关系，根据上面的计算式可以知道，两幅图像中像素坐标之间的关系是跟深度值Z相关的，因此，对于每一个深度值d，都存在着一个单应矩阵H(d)。求单应矩阵的方法可以由前面的公式1得到，对于一个深度值d，取深度值相同的四个像素点，分别计算该四个点对应的虚拟视图坐标，将该四个点的坐标和虚拟视图坐标代入公式1，即可解出单应矩阵的值H。这样就可以直接根据单应矩阵H来直接计算任意点的虚拟坐标了。

尽管使用单应矩阵H计算对应关系，可以减少因为对每一个点进行投影变换而带来的复杂的计算，但是由于深度值d的范围是0~255，针对每个深度值都要计算对应的单应矩阵H(d)，这样的计算量依然比较大，因此，在本发明的一个实施例中，可进一步通过基于深度统计的线性插值方法来减少计算量，方法如下：在图像输入阶段，对像素点的深度值进行简单统计，然后按照出现次数多少进行排序，得到一个深度值序列[d1,d2,d3…,dN]共计N个深度值，这些深度值从前往后，在图像中出现的次数递减。只需从这个深度值序列中，取前M个深度值，并且计算它们所对应单应矩阵H(d)，而剩下其他的N-M个深度值即可根据与邻近d值的H矩阵通过线性内插公式计算：

$H_{i,j,\mathrm{dx}}=\frac{d_2-d_x}{d_2-d_1}{H}_{i,j,d_1}+\frac{d_x-d_1}{d_2-d_1}{H}_{i,j,d_2}---\left(5\right)$

其中，H_i，j,dx为深度d_x对应的单应矩阵，d₁和d₂分别为d_x的相邻深度值，H_i，j，d1和H_i，j，d2分别为d₁和d₂对应的单应矩阵。

S102：输入第一参考深度图和第二参考深度图，并根据单应矩阵将第一参考深度图和第二参考深度图分别映射为第一虚拟深度图和第二虚拟深度图。

在此步骤中，利用步骤S101中计算得到的单应矩阵H(d)，对于左参考深度图DL和右参考深度图DR中的每一个点，都计算出它们的相应的虚拟视图中的坐标，并把相应的深度值d复制到左虚拟深度图DVL和右虚拟深度图DVR中，为了解决在复制过程中出现的多点竞争问题，可以采用深度比较或者按投影的极线方向处理等方法来进行处理。

深度比较的方法一般可以采用一个深度缓冲器来记录每一个映射过去的点的深度值d，当发现有多点竞争的问题时，通过深度缓冲器来查看竞争点的深度值，选取深度值最大的那个点为胜者。

采用极线方向处理的方法则是分析根据两个视角之间的关系，发现只有在同一条极线上的两个点会可能存在竞争，因此在进行像素映射时就按照极线的方向顺次映射，如图4所示。采用极线方向处理的方法可以避免深度缓冲器的使用。

S103：对第一虚拟深度图和第二虚拟深度图进行滤波以得到第一滤波后虚拟深度图和第二滤波后虚拟深度图。

在该步骤中，使用滤波器对DVL和DVR进行滤波得到左滤波后虚拟深度图DVFL和右滤波后虚拟深度图DVFR，滤波可采用中值滤波或其他边缘依赖的滤波方法，目的是通过平滑深度图来减少最终虚拟视图V的空洞数量。

S104：输入第一参考视图和第二参考视图，根据第一滤波后虚拟深度图和第二滤波后虚拟深度图将第一参考视图和第二参考视图分别映射为第一虚拟视图和第二虚拟视图。

根据DVFL和DVFR中的深度值d分别将计算参考视图L和R中的像素点在虚拟视图VL和VR中的位置，并将该像素复制到此位置，以完成L到VL，R到VR的映射，在此过程中发生多点竞争时同样可以采用步骤S102中所述的竞争选择方法来解决。

S105：对第一虚拟视图和第二虚拟视图进行融合以生成目标视图。

S1051：对于每一个像素位置如果VL在该像素位置为空洞，而VR不为空，则此位置填充VR的相应值。反之如果VR为空洞，而VL不为空，则此位置填充VL的相应值。如果VL和VR均不为空洞，则将VR和VL中的两点的像素值进行线性插值，插值系数由虚拟视角与两参考视图的视角之间平移量的大小决定。

S1052：在进行S1051步骤之后，生成的虚拟视图V还可能会存在一些空洞，此时需要执行本S1052步骤。由于在步骤S103中已经使用滤波器对深度图进行了滤波，所以在在V中剩下的空洞一般为较小的空洞，本步骤对这些空洞进行填补。为了保持原有图片的边缘特性，可采用边缘检测的空洞填补方法。

在图5所示，对像素依次编号为1~9，其中像素5是一个空洞，在对像素5进行填补之前，分别计算1与9，2与8，3与7，4与6这四对像素值之间的差，找出差最小的那个方向，然后使用此方向上的与像素5相邻的两个像素点对空洞像素5进行插值，这样的填补方法可以尽量保留原图中的边缘、轮廓信息。

根据本发明实施例的基于透视变换的立体视频绘制方法，可以用于通过立体绘制得到各视角的虚拟视图，供多视角立体显示设备进行显示，并显著降低了立体视频绘制算法的计算复杂度，节省了存储带宽。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于透视变换的立体视频绘制方法，其特征在于，包括如下步骤：

获取相机参数、虚拟视图的视角参数以及参考视图的视角参数，并根据所述相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，其中，所述单应矩阵用于表示所述参数视图和所述虚拟视图的像素坐标对应关系；

输入第一参考深度图和第二参考深度图，并根据所述单应矩阵将所述第一参考深度图和所述第二参考深度图分别映射为第一虚拟深度图和第二虚拟深度图；

对所述第一虚拟深度图和所述第二虚拟深度图进行滤波以得到第一滤波后虚拟深度图和第二滤波后虚拟深度图；

输入第一参考视图和第二参考视图，根据所述第一滤波后虚拟深度图和第二滤波后虚拟深度图将所述第一参考视图和所述第二参考视图分别映射为第一虚拟视图和第二虚拟视图；以及

对所述第一虚拟视图和第二虚拟视图进行融合以生成目标视图。

2.如权利要求1所述的立体视频绘制方法，其特征在于，所述根据相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，包括如下步骤：

计算所述参考视图和所述虚拟视图之间的多个深度值；

对于每个所述深度值，分别取深度值相同的多个参考像素点，并利用所述多个参考像素点的坐标分别计算对应的虚拟像素点的坐标；

根据所述参考像素点坐标和所述虚拟像素点坐标计算所述单应矩阵。

3.如权利要求1所述的立体视频绘制方法，其特征在于，所述根据相机参数、虚拟视图的视角参数以及参考视图的视角参数计算单应矩阵，包括如下步骤：

计算所述参考视图和所述虚拟视图之间的多个深度值；

对所述多个深度值按照出现次数递减进行排序以生成深度值序列，其中，所述深度值序列包括N个深度值；

在所述深度值序列中，取前M个深度值，对所述M个深度值分别计算单应矩阵，M<N,M为预设数目；

根据计算得到的M个单应矩阵，通过线性内插方法计算剩余N-M个深度值的单应矩阵。

4.如权利要求3所述的立体视频绘制方法，其特征在于，利用下述公式通过线性内插方法计算剩余N-M个深度值的单应矩阵，

$H_{i,j,\mathrm{dx}}=\frac{d_2-d_x}{d_2-d_1}{H}_{i,j,d_1}+\frac{d_x-d_1}{d_2-d_1}{H}_{i,j,d_2},$

其中，H_i，j,dx为深度d_x对应的单应矩阵，d₁和d₂分别为d_x的相邻深度值，H_i，j，d1和H_i，j，d2分别为d₁和d₂对应的单应矩阵。

5.如权利要求1所述的立体视频绘制方法，其特征在于，所述根据单应矩阵将所述第一参考深度图和所述第二参考深度图分别映射为第一虚拟深度图和第二虚拟深度图，包括如下步骤：

对所述第一参考深度图和所述第二参考深度图中的每个像素点计算对应的虚拟视图中的坐标，并将对应的深度值复制到所述第一虚拟深度图和第二虚拟深度图。

6.如权利要求5所述的立体视频绘制方法，其特征在于，采用深度比较方法或极线方向处理方法对所述第一参考深度图和所述第二参考深度图进行映射。

7.如权利要求1所述的立体视频绘制方法，其特征在于，采用中值滤波法对所述第一虚拟深度图和所述第二虚拟深度图进行滤波。

8.如权利要求1所述的立体视频绘制方法，其特征在于，所述根据第一滤波后虚拟深度图和第二滤波后虚拟深度图将所述第一参考视图和所述第二参考视图分别映射为第一虚拟视图和第二虚拟视图，包括如下步骤：

根据所述第一滤波后虚拟深度图和第二滤波后虚拟深度图的深度值分别计算所述第一参考视图和第二参考视图中的像素点在所述第一虚拟视图和第二虚拟视图中的位置，并将像素点复制到对应的位置。

9.如权利要求1所述的立体视频绘制方法，其特征在于，所述对第一虚拟视图和第二虚拟视图进行融合以生成目标视图，包括如下步骤：

对于每个像素位置，分别判断所述像素位置在所述第一虚拟视图和第二虚拟视图中的对应位置是否为空，

如果所述像素位置在所述第一虚拟视图为空洞，在所述第二虚拟视图不为空，则在所述目标虚拟视图的对应位置填充所述第二虚拟视图中对应位置的值；

如果所述像素位置在所述第二虚拟视图为空洞，在所述第一虚拟视图不为空，则在所述目标虚拟视图的对应位置填充所述第一虚拟视图中对应位置的值；

如果所述像素位置在所述第一虚拟视图和第二虚拟视图均不为空洞，则对所述第一虚拟视图的对应值和所述第二虚拟视图的对应值进行线性插值以作为所述目标虚拟视图的对应值。

10.如权利要求9所述的立体视频绘制方法，其特征在于，还进一步包括：对所述目标虚拟视图中的空洞进行全局优化填补。

Images