CN101556700B - 一种虚拟视点图像绘制方法 - Google Patents

Abstract

本发明公开了一种虚拟视点图像绘制方法，优点在于通过将参考视点的彩色图像分成若干个尺寸大小相同的块，并对各个块的平坦性进行判断，对于平坦块，只需对该块中的一个像素点实施三维图像变换以确定将该像素点从参考视点彩色图像投影到虚拟视点彩色图像的坐标映射关系，然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中，由于只对一个像素点实施三维图像变换，因而可有效提高平坦块的绘制速度；而对于非平坦块则仍采用逐像素映射的三维图像变换方法将非平坦块中的各个像素点映射到需绘制的虚拟视点彩色图像中，这样可有效保证绘制精度，两者的结合使得在保证虚拟视点彩色图像绘制精度的同时，大大提高了绘制的速度。

Description

一种虚拟视点图像绘制方法

技术领域

本发明涉及一种自由视点电视技术，尤其是涉及一种自由视点电视中的虚拟视点图像绘制方法。

背景技术

自由视点电视(Free viewpoint TV，FTV)是一种先进的视觉模式，它具有交互性和临场感，可以满足人们从不同角度观看三维场景的需求。自由视点电视系统通常由多视点视频信号采集、校正、编码、网络传输、解码、绘制和显示等几部分组成。

基于彩色图像的绘制是自由视点电视系统的关键技术之一，它是从一系列已知的参考视点的彩色图像出发绘制生成虚拟视点图像的方法。与传统的绘制技术相比，它具有不需要复杂的三维场景建模、绘制速度快、适合于合成场景和真实场景等优点。基于深度图像的绘制(Depth Image Based Rendering，DIBR)是一种利用参考视点的彩色图像及该参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法。DIBR由于将场景的深度信息引入到虚拟视点图像绘制中，从而大大减少了虚拟视点图像绘制所需的参考视点的数目。

DIBR通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息来合成三维场景的虚拟视点图像。其过程如下：首先利用深度信息将参考视点的彩色图像中的所有像素点重投影到实际的三维空间中，然后再将这些三维空间中的点投影到目标图像平面即虚拟视点图像平面上。这个从二维到三维的重投影以及从三维再到二维的投影被称为三维图像变换(3D image warping)。

虚拟视点图像绘制质量的好坏以及绘制的速度对于自由视点电视系统的性能是至关重要的。现有的基于深度图像的虚拟视点图像绘制算法为保证绘制的精度一般采用逐像素进行三维图像变换(3D image warping)的映射方法，因此计算复杂度过高，要满足实时观看需求还存在一定的困难。

发明内容

本发明所要解决的技术问题是提供一种在能够保证绘制精度的同时，提高绘制速度的虚拟视点图像绘制方法。

本发明解决上述技术问题所采用的技术方案为：一种虚拟视点图像绘制方法，包括以下具体步骤：

①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为I_R，t ^k，将t时刻的第k个参考视点的深度图像记为D_R，t ^k，将t时刻的第k个参考视点的彩色图像I_R，t ^k划分成N_R ^k个尺寸大小为(p+Δp)×(q+Δq)的块，记第k个参考视点的彩色图像I_R，t ^k中的第n个块为B_n ^k，其中，k∈[1，K]， $N_R^k=\frac{P}{p}\×\frac{Q}{q},$ $1\≤n\≤N_R^k,$ $\underset{n=1}{\overset{N_R^k}{\∪}}{B}_n^k=I_{R,t}^k,$ Δp表示块B_n ^k与其右相邻块之间重叠的像素点的列数，0≤Δp≤p，当Δp＝0时表示块B_n ^k与其右相邻块不重叠或表示块B_n ^k为第k个参考视点的彩色图像I_R，t ^k的右边界处的块，Δq表示块B_n ^k与其下相邻块之间重叠的像素点的行数，0≤Δq≤q，当Δq＝0时表示块B_n ^k与其下相邻块不重叠或表示块B_n ^k为第k个参考视点的彩色图像I_R，t ^k的下边界处的块；

②定义第k个参考视点的彩色图像I_R，t ^k中的第n个块B_n ^k为当前块B_n ^k，判断当前块B_n ^k是否为平坦块，如果当前块B_n ^k为非平坦块，则利用第k个参考视点的深度图像D_R，t ^k所提供的深度信息，采用公知的三维图像变换方法逐像素点计算当前块B_n ^k中的各个像素点在需绘制的虚拟视点彩色图像中的坐标位置，并将当前块B_n ^k中的各个像素点逐像素点地映射到需绘制的虚拟视点彩色图像中；如果当前块B_n ^k为平坦块，则选取当前块B_n ^k中的一个像素点，再利用第k个参考视点的深度图像D_R，t ^k所提供的该像素点的深度信息，采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像中的坐标位置，得到把该像素点从第k个参考视点的彩色图像I_R，t ^k映射到需绘制的虚拟视点彩色图像中的坐标映射关系，并利用该坐标映射关系将当前块B_n ^k中的各个像素点映射到需绘制的虚拟视点彩色图像中，具体处理过程如下：a.任取当前块B_n ^k中的一个像素点，记该像素点的坐标为(x_c，y_c)，将该像素点到当前块B_n ^k的左边界的距离记为Δx，将该像素点到当前块B_n ^k的下边界的距离记为Δy，则该像素点到当前块B_n ^k的右边界的距离为(p+Δp)-Δx-1，该像素点到当前块B_n ^k的上边界的距离为(q+Δq)-Δy-1；b.利用第k个参考视点的深度图像D_R，t ^k所提供的坐标为(x_c，y_c)的像素点的深度信息，采用公知的三维图像变换方法计算坐标为(x_c，y_c)的像素点在需绘制的虚拟视点彩色图像中的坐标位置，记计算得到的坐标位置为(x′_c，y′_c)；c.计算需绘制的虚拟视点彩色图像中坐标为(x′，y′)的像素点的像素值，其中，(x′_c-Δx)≤x′≤(x′_c+((p+Δp)-Δx-1))，(y′_c-Δy)≤y′≤(y′_c+((q+Δq)-Δy-1))，记由第k个参考视点的彩色图像I_R，t ^k和第k个参考视点的深度图像D_R，t ^k绘制得到的虚拟视点彩色图像为I_D，t ^k，记虚拟视点彩色图像I_D，t ^k中坐标为(x′，y′)的像素点的像素值为I_D，t ^k(x′，y′)， $I_{D,t}^k(x^{\′},y^{\′})=I_{R,t}^k(x_c+x^{\′}-x_c^{\′},y_c+y^{\′}-y_c^{\′}),$ 其中，I_R，t ^k(x_c+x′-x′_c，y_c+y′-y′_c)为第k个参考视点的彩色图像I_R，t ^k中坐标为(x_c+x′-x′_c，y_c+y′-y′_c)的像素点的像素值；在采用公知的三维图像变换方法确定平坦块和非平坦块的映射关系时，如果需绘制的虚拟视点彩色图像I_D，t ^k中坐标为(x′，y′)的像素点与第k个参考视点的彩色图像I_R，t ^k中的多个像素点相对应，则虚拟视点彩色图像I_D，t ^k中坐标为(x′，y′)的像素点的像素值I_D，t ^k(x′，y′)取第k个参考视点的彩色图像I_R，t ^k中与坐标为(x′，y′)的像素点对应的多个像素点中深度值最小的像素点的像素值；

③重复步骤②将第k个参考视点的彩色图像I_R，t ^k中的所有块全部映射到需绘制的虚拟视点彩色图像I_D，t ^k中，得到由第k个参考视点的彩色图像I_R，t ^k和第k个参考视点的深度图像D_R，t ^k绘制的虚拟视点彩色图像I_D，t ^k；

④重复步骤①～③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制的K幅虚拟视点彩色图像，K幅虚拟视点彩色图像用集合表示为 $\left\{I_{D,t}^k\right|1\≤k\≤K\};$

⑤采用图像融合方法融合由K个参考视点的彩色图像和其对应的深度图像分别绘制得到的K幅虚拟视点彩色图像，得到融合后的虚拟视点彩色图像，记融合后的虚拟视点彩色图像为I′_D，t，并对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补，得到最终的虚拟视点彩色图像，记最终的虚拟视点彩色图像为I_D，t。

所述的步骤②中判断当前块B_n ^k是否为平坦块的具体过程为：计算当前块B_n ^k的背离值E，判断当前块B_n ^k的背离值E是否大于设定的阈值T，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

所述的当前块B_n ^k的背离值E通过 $E=\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|I_{R,t}^k(x,y)-{\stackrel{-}{I}}_{B_n^k}{|}^i$ 、 $E=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|I_{R,t}^k(x,y)-{\stackrel{-}{I}}_{B_n^k}{|}^i$ 、 $E=\sqrt{\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|I_{R,t}^k(x,y)-{\stackrel{-}{I}}_{B_n^k}{|}^2}$ 中的任一种公式计算得到，其中，i＝1或i＝2，I_R，t ^k(x，y)表示当前块B_n ^k中坐标为(x，y)的像素点的像素值，

表示当前块B_n ^k中的所有像素点的像素值的均值， ${\stackrel{-}{I}}_{B_n^t}=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{I}_{R,t}^k(x,y).$

所述的阈值T的值为T＝E±σ，其中，E为第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的均值，σ为第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的标准差。

所述的步骤②中判断当前块B_n ^k是否为平坦块的具体过程为：计算第k个参考视点的深度图像D_R，t ^k中与当前块B_n ^k的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E，判断该对应块的背离值E是否大于设定的阈值T，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

所述的第k个参考视点的深度图像D_R，t ^k中与当前块B_n ^k的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E通过 $E=\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|D_{R,t}^k(x,y)-{\stackrel{-}{D}}_{B_n^k}{|}^i$ 、 $E=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|D_{R,t}^k(x,y)-{\stackrel{-}{D}}_{B_n^k}{|}^i$ 、 $E=\sqrt{\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|D_{R,t}^k(x,y)-{\stackrel{-}{D}}_{B_n^k}{|}^2}$ 中的任一种公式计算得到，其中，i＝1或i＝2，D_R，t ^k(x，y)表示对应块中坐标为(x，y)的像素点的像素值，

表示对应块中的所有像素点的像素值的均值， ${\stackrel{-}{D}}_{B_n^t}=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{D}_{R,t}^k(x,y).$

所述的阈值T的值为T＝E±σ，其中，E为第k个参考视点的深度图像D_R，t ^k中与第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δp)的各个对应块的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的均值，σ为第k个参考视点的深度图像D_R，t ^k中与第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的标准差。

所述的步骤②中判断当前块B_n ^k是否为平坦块的具体过程为：首先采用公知的边缘检测方法对第k个参考视点的彩色图像I_R，t ^k进行边缘检测，得到第k个参考视点的彩色图像I_R，t ^k的二值化边缘图像，记该二值化边缘图像为Edge_I ^k，该二值化边缘图像Edge_I ^k中像素值为1的像素点为边缘像素，表示第k个参考视点的彩色图像I_R，t ^k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的彩色图像I_R，t ^k的边缘，该二值化边缘图像Edge_I ^k中像素值为0的像素点为非边缘像素，表示第k个参考视点的彩色图像I_R，t ^k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的彩色图像I_R，t ^k的边缘；然后判断该二值化边缘图像Edge_I ^k中与第k个参考视点的彩色图像I_R，t ^k的当前块B_n ^k坐标位置相同的对应块中是否包含有边缘像素，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

所述的步骤②中判断当前块B_n ^k是否为平坦块的具体过程为：首先采用公知的边缘检测方法对第k个参考视点的深度图像D_R，t ^k进行边缘检测，得到第k个参考视点的深度图像D_R，t ^k的二值化边缘图像，记该二值化边缘图像为Edge_D ^k，该二值化边缘图像Edge_D ^k中像素值为1的像素点为边缘像素，表示第k个参考视点的深度图像D_R，t ^k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的深度图像D_R，t ^k的边缘，该二值化边缘图像Edge_D ^k中像素值为0的像素点为非边缘像素，表示第k个参考视点的深度图像D_R，t ^k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的深度图像D_R，t ^k的边缘；然后判断该二值化边缘图像Edge_D ^k中与第k个参考视点的彩色图像I_R，t ^k的当前块B_n ^k坐标位置相同的对应块中是否包含有边缘像素，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

所述的步骤⑤中对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补的具体过程为：⑤-1、判断由K幅虚拟视点彩色图像 $\left\{I_{D,t}^k\right|1\≤k\≤K\}$ 融合得到的有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点是否为空洞像素点，如果是，则继续执行，否则，不进行填补操作，直接转步骤⑤-3；⑤-2、比较该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点的深度值与(t-j)时刻的最终的虚拟视点彩色图像I_D，t-j中坐标为(x，y)的像素点的深度值，判断这两个深度值之差是否小于设定值，如果是，则将(t-j)时刻的最终的虚拟视点彩色图像I_D，t-j中坐标为(x，y)的像素点的像素值作为该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点的像素值，并结束该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点的空洞填补过程，其中，1≤j≤α，α为整常数；否则，将j的值加1，并判断j的值是否大于α，如果j的值小于等于α，则重复执行步骤⑤-2，如果j的值大于α，则采用公知的图像插值方法填补该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点；⑤-3、重复执行步骤⑤-1和⑤-2直至填补完融合后的虚拟视点彩色图像I′_D，t中的所有空洞像素点，得到最终的虚拟视点彩色图像I_D，t。步骤⑤中对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补也可直接采用公知的图像插值方法进行实施，得到最终的虚拟视点彩色图像I_D，t。

与现有技术相比，本发明的优点在于通过将参考视点的彩色图像分成若干个尺寸大小相同的块，并对各个块的平坦性进行判断，对于平坦块，只需对该块中的一个像素点实施三维图像变换以确定将该像素点从参考视点彩色图像投影到虚拟视点彩色图像的坐标映射关系，然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中，由于只对一个像素点实施三维图像变换，因而可有效提高平坦块的绘制速度；而对于非平坦块则仍采用逐像素映射的三维图像变换方法将非平坦块中的各个像素点映射到需绘制的虚拟视点彩色图像中，这样可有效保证绘制精度，两者的结合使得在保证虚拟视点彩色图像绘制精度的同时，大大提高了绘制的速度。

附图说明

图1a为t时刻的第1个参考视点的尺寸大小为1024×768的彩色图像I_R，t ¹；

图1b为t时刻的第2个参考视点的尺寸大小为1024×768的彩色图像I_R，t ²；

图2a为图1a所示的彩色图像I_R，t ¹对应的第1个参考视点的尺寸大小为1024×768的深度图像D_R，t ¹；

图2b为图1b所示的彩色图像I_R，t ²对应的第2个参考视点的尺寸大小为1024×768的深度图像D_R，t ²；

图3为第k个参考视点的彩色图像I_R，t ^k的互不重叠块的划分方式示意图；

图4为第k个参考视点的彩色图像I_R，t ^k的相邻块之间部分重叠的块划分方式示意图；

图5为将当前块中各个像素点采用相同的坐标映射关系映射到需绘制的虚拟视点彩色图像I_D，t ^k中的过程示意图；

图6a为利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用逐像素进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′_D，t；

图6b为利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′_D，t，其中p＝q＝8，Δp＝Δq＝0；

图6c为利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′_D，t，其中p＝q＝8，Δp＝Δq＝1；

图7a为图6a的局部图像；

图7b为图6b的局部图像；

图7c为图6c的局部图像；

图8a为在虚拟视点实际拍摄得到的图像的局部区域；

图8b为采用图像插值方法对图6c所示的虚拟视点彩色图像I′_D，t进行空洞填补得到的最终的虚拟视点彩色图像I_D，t的局部区域；

图8c为采用与图6c所示的虚拟视点彩色图像I′_D，t时域上相邻的且已绘制得到的三幅虚拟视点彩色图像I_D，t-j(1≤j≤α，α＝3)及它们所对应的三幅深度图像D_D，t-j(1≤j≤α，α＝3)对图6c所示的虚拟视点彩色图像I′_D，t进行空洞填补得到的最终的虚拟视点彩色图像I_D，t的局部区域。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明的虚拟视点图像绘制方法，包括以下具体步骤：

①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及K幅彩色图像对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为I_R，t ^k，将t时刻的第k个参考视点的深度图像记为D_R，t ^k，在此具体实施例中直接采用已有的如图1a和图1b所示的2个参考视点的彩色图像，它们分别所对应的2幅深度图像如图2a和图2b所示，这2幅彩色图像和2幅深度图像的尺寸大小均为1024×768，即K＝2，P＝1024，Q＝768。

将t时刻的第k个参考视点的彩色图像I_R，t ^k划分成N_R ^k个尺寸大小为(p+Δp)×(q+Δq)的块，记第k个参考视点的彩色图像I_R，t ^k中的第n个块为B_n ^k，其中，k∈[1，K]， $N_R^k=\frac{P}{p}\×\frac{Q}{q},$ $1\≤n\≤N_R^k,$ N_R ^k个块的并集构成了第k个参考视点的彩色图像I_R，t ^k，即 $\underset{n=1}{\overset{N_R^k}{\∪}}{B}_n^k=I_{R,t}^k,$ Δp表示块B_n ^k与其右相邻块之间重叠的像素点的列数，0≤Δp≤p，当Δp＝0时表示块B_n ^k与其右相邻块不重叠，或表示块B_n ^k为第k个参考视点的彩色图像I_R，t ^k的右边界处的块，即位于第k个参考视点的彩色图像I_R，t ^k的右边界的

个最右块的Δp＝0；Δq表示块B_n ^k与其下相邻块之间重叠的像素点的行数，0≤Δq≤q，在此，下相邻块即为位于当前块的正下方的相邻块，当Δq＝0时表示块B_n ^k与其下相邻块不重叠，或表示块B_n ^k为第k个参考视点的彩色图像I_R，t ^k的下边界处的块，即位于第k个参考视点的彩色图像I_R，t ^k的下边界的

个最下方的块的Δq＝0。

图3给出了第k个参考视点的彩色图像I_R，t ^k的互不重叠块的划分方式示意图，图3所示的块划分方式中Δp＝0且Δq＝0。图4给出了第k个参考视点的彩色图像I_R，t ^k的相邻块之间部分重叠的块划分方式示意图，图4所示的块划分方式中Δp≠0且Δq≠0，图4中阴影部分标记了第k个参考视点的彩色图像I_R，t ^k中的第n个块B_n ^k与其右相邻块和下相邻块的重叠部分。在此具体实施例中采用相邻块部分重叠的块划分方式，Δp＝Δq＝1。

②定义第k个参考视点的彩色图像I_R，t ^k中的第n个块B_n ^k为当前块B_n ^k，判断当前块B_n ^k是否为平坦块，如果当前块B_n ^k为非平坦块，则利用第k个参考视点的深度图像D_R，t ^k所提供的深度信息，采用公知的三维图像变换方法逐像素点计算当前块B_n ^k中的各个像素点在需绘制的虚拟视点彩色图像中的坐标位置，并将当前块B_n ^k中的各个像素点逐像素点地映射到需绘制的虚拟视点彩色图像中，即对于非平坦块，其处理过程与现有的基于公知的三维图像变换的逐像素点绘制算法相同；如果当前块B_n ^k为平坦块，则选取当前块B_n ^k中的一个像素点，再利用第k个参考视点的深度图像D_R，t ^k所提供的该像素点的深度信息，采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像中的坐标位置，得到把该像素点从第k个参考视点的彩色图像I_R，t ^k映射到需绘制的虚拟视点彩色图像中的坐标映射关系，并利用该坐标映射关系将当前块B_n ^k中的各个像素点映射到需绘制的虚拟视点彩色图像中，具体处理过程如下：a.任取当前块B_n ^k中的一个像素点，记该像素点的坐标为(x_c，y_c)，将该像素点到当前块B_n ^k的左边界的距离记为Δx，将该像素点到当前块B_n ^k的下边界的距离记为Δy，则该像素点到当前块B_n ^k的右边界的距离为(p+Δp)-Δx-1，该像素点到当前块B_n ^k的上边界的距离为(q+Δq)-Δy-1；b.利用第k个参考视点的深度图像D_R，t ^k所提供的坐标为(x_c，y_c)的像素点的深度信息，采用公知的三维图像变换方法计算坐标为(x_c，y_c)的像素点在需绘制的虚拟视点彩色图像中的坐标位置，记计算得到的坐标位置为(x′_c，y′_c)；c.计算需绘制的虚拟视点彩色图像中坐标为(x′，y′)的像素点的像素值，其中，(x′_c-Δx)≤x′≤(x′_c+((p+Δp)-Δx-1))，(y′_c-Δy)≤y′≤(y′_c+((q+Δq)-Δy-1))，记由第k个参考视点的彩色图像I_R，t ^k和第k个参考视点的深度图像D_R，t ^k绘制得到的虚拟视点彩色图像为I_D，t ^k，记虚拟视点彩色图像I_D，t ^k中坐标为(x′，y′)的像素点的像素值为I_D，t ^k(x′，y′)， $I_{D,t}^k(x^{\′},y^{\′})=I_{R,t}^k(x_c+x^{\′}-x_c^{\′},y_c+y^{\′}-y_c^{\′}),$ 其中，I_R，t ^k(x_c+x′-x′_c，y_c+y′-y′_c)为第k个参考视点的彩色图像I_R，t ^k中坐标为(x_c+x′-x′_c，y_c+y′-y′_c)的像素点的像素值；如果需绘制的虚拟视点彩色图像I_D，t ^k中坐标为(x′，y′)的像素点与第k个参考视点的彩色图像I_R，t ^k中的多个像素点相对应，则虚拟视点彩色图像I_D，t ^k中坐标为(x′，y′)的像素点的像素值I_D，t ^k(x′，y′)取第k个参考视点的彩色图像I_R，t ^k中与坐标为(x′，y′)的像素点对应的多个像素点中深度值最小的像素点的像素值。图5给出了当当前块B_n ^k为平坦块时将当前块B_n ^k中的各个像素点采用相同的坐标映射关系映射到需绘制的虚拟视点彩色图像I_D，t ^k中的示意图。

对于上述判断当前块B_n ^k是否为平坦块可通过四种方式实现，具体如下：

第一种方式，通过计算第k个参考视点的彩色图像I_R，t ^k中的当前块B_n ^k自身的背离值E来直接判断当前块B_n ^k的平坦性，其具体过程为：计算当前块B_n ^k的背离值E，判断当前块B_n ^k的背离值E是否大于设定的阈值T，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。在此，当前块B_n ^k的背离值E通过 $E=\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|I_{R,t}^k(x,y)-{\stackrel{-}{I}}_{B_n^k}{|}^i$ 、 $E=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|I_{R,t}^k(x,y)-{\stackrel{-}{I}}_{B_n^k}{|}^i$ 、 $E=\sqrt{\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|I_{R,t}^k(x,y)-{\stackrel{-}{I}}_{B_n^k}{|}^2}$ 中的任一种公式计算得到，其中，i＝1或i＝2，I_R，t ^k(x，y)表示当前块B_n ^k中坐标为(x，y)的像素点的像素值，

表示当前块B_n ^k中的所有像素点的像素值的均值， ${\stackrel{-}{I}}_{B_n^t}=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{I}_{R,t}^k(x,y);$ 该背离值E的计算公式的选取也可以是多种多样的，只要该背离值E能反映当前块B_n ^k中的各个像素点的像素值的偏离程度，如当前块B_n ^k中的各个像素点的像素值的方差、标准差等。阈值T的值为T＝E±σ，其中，E为第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的均值，σ为第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的标准差；阈值T的选取也可以采用其它方法，该阈值T可以是固定阈值，也可以是自适应阈值。

第二种方式，该方式与第一种方式相似，不同的是该方式是利用已有的t时刻的第k个参考视点的彩色图像I_R，t ^k对应的深度图像D_R，t ^k，通过判断第k个参考视点的深度图像D_R，t ^k中与当前块B_n ^k坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的平坦性来间接判断当前块B_n ^k的平坦性，其具体过程为：计算第k个参考视点的深度图像D_R，t ^k中与当前块B_n ^k的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E，判断该对应块的背离值E是否大于设定的阈值T，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。在此，对应块的背离值E可通过 $E=\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|D_{R,t}^k(x,y)-{\stackrel{-}{D}}_{B_n^k}{|}^i$ 、 $E=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|D_{R,t}^k(x,y)-{\stackrel{-}{D}}_{B_n^k}{|}^i$ 、 $E=\sqrt{\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}|D_{R,t}^k(x,y)-{\stackrel{-}{D}}_{B_n^k}{|}^2}$ 中的任一种公式计算得到，其中，i＝1或i＝2，D_R，t ^k(x，y)表示对应块中坐标为(x，y)的像素点的像素值，

表示对应块中的所有像素点的像素值的均值， ${\stackrel{-}{D}}_{B_n^t}=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{D}_{R,t}^k(x,y);$ 背离值E的计算公式的选取可以是多种多样的，只要该背离值E能反映对应块中的各个像素点的像素值的偏离程度，如对应块中的各个像素点的像素值的方差、标准差等。在此，阈值T的值为T＝E±σ，其中，E为第k个参考视点的深度图像D_R，t ^k中与第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的均值，σ为第k个参考视点的深度图像D_R，t ^k中与第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的标准差；阈值T的选取也可以采用其它方法，阈值T可以是固定阈值，也可以是自适应阈值。

第三种方式，通过对第k个参考视点的彩色图像I_R，t ^k进行边缘检测，然后通过衡量当前块B_n ^k中的边缘像素的多寡来判定当前块B_n ^k的平坦性，其具体过程为：首先采用公知的边缘检测方法对第k个参考视点的彩色图像I_R，t ^k进行边缘检测，得到第k个参考视点的彩色图像I_R，t ^k的二值化边缘图像，记该二值化边缘图像为Edge_I ^k，该二值化边缘图像Edge_I ^k中像素值为1的像素点为边缘像素，表示第k个参考视点的彩色图像I_R，t ^k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的彩色图像I_R，t ^k的边缘，该二值化边缘图像Edge_I ^k中像素值为0的像素点为非边缘像素，表示第k个参考视点的彩色图像I_R，t ^k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的彩色图像I_R，t ^k的边缘；然后判断该二值化边缘图像Edge_I ^k中与第k个参考视点的彩色图像I_R，t ^k的当前块B_n ^k坐标位置相同的对应块中是否包含有边缘像素，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

第四种方式，该方式与第三种方式相似，不同的是该方式是通过对第k个参考视点的深度图像D_R，t ^k进行边缘检测，然后通过衡量第k个参考视点的深度图像D_R，t ^k中与当前块B_n ^k坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块中的边缘像素的多寡来判定该对应块的平坦性，进而判定当前块B_n ^k的平坦性，其具体过程为：首先采用公知的边缘检测方法对第k个参考视点的深度图像D_R，t ^k进行边缘检测，得到第k个参考视点的深度图像D_R，t ^k的二值化边缘图像，记该二值化边缘图像为Edge_D ^k，该二值化边缘图像Edge_D ^k中像素值为1的像素点为边缘像素，第k个参考视点的深度图像D_R，t ^k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的深度图像D_R，t ^k的边缘，该二值化边缘图像Edge_D ^k中像素值为0的像素点为非边缘像素，表示第k个参考视点的深度图像D_R，t ^k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的深度图像D_R，t ^k的边缘；然后判断该二值化边缘图像Edge_D ^k中与第k个参考视点的彩色图像I_R，t ^k的当前块B_n ^k坐标位置相同的对应块中是否包含有边缘像素，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

在此具体实施例中，通过第二种方式来判断当前块B_n ^k的平坦性，如果当前块B_n ^k为平坦块，则选取当前块B_n ^k左上角的像素点作为坐标为(x_c，y_c)的像素点，通过三维图像变换方法首先利用深度信息将坐标为(x_c，y_c)的像素点重投影到实际的三维空间中，然后再将该三维空间中的点投影到目标图像平面即虚拟视点彩色图像平面上，由此得到第k个参考视点的彩色图像I_R，t ^k中坐标为(x_c，y_c)的像素点与其在虚拟视点彩色图像I_D，t ^k中的对应点(x′_c，y′_c)的坐标映射关系进而对于当前块B_n ^k中的所有像素点都采用此坐标映射关系

将它们投影到虚拟视点彩色图像平面中，而不再是利用三维图像变换方法分别计算当前块B_n ^k中每个像素点各自的坐标映射关系

从而有效减少了三维图像变换的次数，提高了绘制速度。如果当前块B_n ^k为非平坦块，由于非平坦块可能位于对象的边界，为保证绘制的精度，本发明对于非平坦块仍采用逐像素进行三维图像变换的方法求取这些像素点在需绘制的虚拟视点彩色图像I_D，t ^k中的坐标位置，并将它们逐像素投影到需绘制的虚拟视点彩色图像I_D，t ^k中。需要说明的是，采用三维图像变换的方法将某参考视点的彩色图像重投影到虚拟视点彩色图像的过程如下：首先利用深度信息将参考视点的彩色图像中的像素点重投影到实际的三维空间中，然后再将这些三维空间中的点投影到目标图像平面即虚拟视点图像平面上。该过程不仅能将参考视点的彩色图像中各个像素点重投影到虚拟视点彩色图像中，同时也能获取虚拟视点彩色图像对应的深度图像。

③重复步骤②将第k个参考视点的彩色图像I_R，t ^k中的所有块全部映射到需绘制的虚拟视点彩色图像I_D，t ^k中，得到由第k个参考视点的彩色图像I_R，t ^k和第k个参考视点的深度图像D_R，t ^k绘制的虚拟视点彩色图像I_D，t ^k。

④重复步骤①～③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制的K幅虚拟视点彩色图像，K幅虚拟视点彩色图像用集合表示为 $\left\{I_{D,t}^k\right|1\≤k\≤K\}.$

⑤采用公知的任意成熟的图像融合方法融合由K个参考视点的彩色图像和各彩色图像对应的深度图像分别绘制得到的K幅虚拟视点彩色图像 $\left\{I_{D,t}^k\right|1\≤k\≤K\},$ 得到融合后的虚拟视点彩色图像，记融合后的虚拟视点彩色图像为I′_D，t，并对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补，得到最终的虚拟视点彩色图像，记最终的虚拟视点彩色图像为I_D，t。

对于上述对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补的具体过程为：⑤-1、记由图1a所示的第1个参考视点的彩色图像I_R，t ¹和图2a所示的其对应的深度图像D_R，t ¹绘制得到的虚拟视点彩色图像为I_D，t ¹，记由图1b所示的第2个参考视点的彩色图像I_R，t ²和图2b所示的其对应的深度图像D_R，t ²绘制得到的虚拟视点彩色图像为I_D，t ²，记由这2幅虚拟视点彩色图像I_D，t ¹和I_D，t ²融合得到的有空洞像素点的虚拟视点彩色图像为I′_D，t，判断该有空洞像素点的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点是否为空洞像素点，空洞像素点即该像素点的像素值未能从2幅虚拟视点彩色图像I_D，t ¹和I_D，t ²融合得到，如果坐标为(x，y)的像素点是空洞像素点，则继续执行，否则，不进行填补操作，直接转步骤⑤-3；⑤-2、比较该有空洞像素点的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点的深度值与(t-j)时刻的最终的虚拟视点彩色图像I_D，t-j中坐标为(x，y)的像素点的深度值，(t-j)时刻的最终的虚拟视点彩色图像I_D，t-j与该有空洞像素点的虚拟视点彩色图像I′_D，t在时域上相邻且(t-j)时刻的虚拟视点彩色图像I_D，t-j已绘制，判断这两个深度值之差是否小于设定值，如果是，即两者的深度值相近似，则认为该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点与(t-j)时刻的最终的虚拟视点彩色图像I_D，t-j中坐标为(x，y)的像素点为实际的三维空间中的同一个点，因此将第(t-j)时刻的最终的虚拟视点彩色图像I_D，t-j中坐标为(x，y)的像素点的像素值作为该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点的像素值，并结束该像素点(x，y)的空洞填补过程，其中，1≤j≤α，α为整常数，在此具体实施例中α取值为3；设定值为一常数，例如1或2，其值越小，意味着判断有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点与(t-j)时刻的最终的虚拟视点彩色图像I_D，t-j中坐标为(x，y)的像素点是否为实际的三维空间中的同一个点的条件越苛刻；否则，将j的值加1，并判断j的值是否大于α，如果j的值小于等于α，则重复执行步骤⑤-2，如果j的值大于α，即通过上述步骤处理后坐标为(x，y)的像素点的像素值仍不能确定，则采用公知的图像插值方法填补该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点；⑤-3、重复步骤⑤-1和⑤-2直至填补完虚拟视点彩色图像I′_D，t中的所有空洞像素点，得到最终的虚拟视点彩色图像I_D，t。

对于上述对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补也可以直接采用公知的图像插值方法来实施。

表1给出了采用本发明的非重叠块划分方法(p＝q＝8，Δp＝Δq＝0)和1个像素的重叠块划分方法(p＝q＝8，Δp＝Δq＝1)以及采用三维图像变换方法逐像素绘制虚拟视点彩色图像的方法进行虚拟视点彩色图像绘制的时间上的比较。

表1不同绘制方法绘制时间的比较                                      单位：ms

测试序列	Torg	Tblock	Toverlap	(Torg-Toverlap)/Torg
					Breakdancers	125.24	59.935	66.455	46.9％
Ballet	125.24	60.28	67.68	46.0％

上述表1中T_block为采用非重叠块划分方法的绘制时间，T_overlap为采用1个像素的重叠块划分方法的绘制时间，T_org为采用三维图像变换方法逐像素绘制虚拟视点彩色图像的方法的绘制时间，(T_org-T_overlap)/T_org为实际减少的绘制时间的百分比。由表1可见，与采用三维图像变换方法逐像素绘制虚拟视点彩色图像的方法相比，采用本发明的1个像素的重叠块划分方法(p＝q＝8，Δp＝Δq＝1)进行虚拟视点彩色图像绘制可以节省46％的绘制时间。

图6a给出了利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用逐像素进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′_D，t，图6b给出了利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′_D，t，图6c给出了利用图1a所示的彩色图像和图2a所示的深度图像及图1b所示的彩色图像和图2b所示的深度图像分别采用本发明方法进行三维图像变换及将变换后得到的两幅虚拟视点彩色图像进行图像融合得到的有空洞像素点的虚拟视点彩色图像I′_D，t，其中，图6b采用非重叠块划分方法，p＝q＝8，Δp＝Δq＝0，而图6c采用1个像素的重叠块划分方法，p＝q＝8，Δp＝Δq＝1。图7a给出了图6a所示的虚拟视点彩色图像I′_D，t的局部放大图像，图7b给出了图6b所示的虚拟视点彩色图像I′_D，t的局部放大图像，7c给出了图6c所示的虚拟视点彩色图像I′_D，t的局部放大图像。由图6a、图6b、图6c、图7a、图7b和图7c可见，采用重叠块划分的方式绘制虚拟视点彩色图像，对象部分更加干净，减少了由于扩展而引起的前景被覆盖的问题。

图8a为在虚拟视点实际拍摄得到的图像的局部区域，图8b为采用图像插值方法对图6c所示的图像进行空洞填补得到的最终的虚拟视点彩色图像I_D，t的局部区域，图8c为采用与图6c所示的虚拟视点彩色图像I′_D，t时域上相邻的且已绘制得到的三幅虚拟视点彩色图像I_D，t-j(1≤j≤α，α＝3)及它们所对应的三幅深度图像D_D，t-j(1≤j≤α，α＝3)对图6c所示的图像进行空洞填补得到的最终的虚拟视点彩色图像I_D，t的局部区域，从图8a、图8b和图8c可以发现采用与该有空洞的虚拟视点彩色图像I′_D，t时域上相邻的且已绘制得到的三幅虚拟视点彩色图像I_D，t-j(1≤j≤α，α＝3)及它们所对应的深度图像D_D，t-j(1≤j≤α，α＝3)进行空洞填补的方式所绘制的虚拟视点彩色图像保持了边界的准确性，而采用图像插值的方式进行空洞填补后则出现了边界模糊的现象。

本发明方法，通过将参考视点的彩色图像分块，并对各个块的平坦性进行判断，以适时地对平坦块采用整块映射的三维图像变换方式以尽可能提高绘制速度，而对非平坦块仍采用逐像素映射的三维图像变换方式以保证绘制的精度，从而在保证虚拟视点彩色图像绘制精度的同时，大大提高了绘制的速度。

Claims (10)

1.一种虚拟视点图像绘制方法，其特征在于包括以下具体步骤：

①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为I_R，t ^k，将t时刻的第k个参考视点的深度图像记为D_R，t ^k，将t时刻的第k个参考视点的彩色图像I_R，t ^k划分成N_R ^k个尺寸大小为(p+Δp)×(q+Δq)的块，记第k个参考视点的彩色图像I_R，t ^k中的第n个块为B_n ^k，其中，k∈[1，K]， $N_R^k=\frac{P}{p}\×\frac{Q}{q},$ $1\≤n\≤N_R^k,$ $\underset{n=1}{\overset{N_R^k}{\mathrm{\∪}}}{B}_n^k=I_{R,t}^k,$ Δp表示块B_n ^k与其右相邻块之间重叠的像素点的列数，0≤Δp≤p，当Δp＝0时表示块B_n ^k与其右相邻块不重叠或表示块B_n ^k为第k个参考视点的彩色图像I_R，t ^k的右边界处的块，Δq表示块B_n ^k与其下相邻块之间重叠的像素点的行数，0≤Δq≤q，当Δq＝0时表示块B_n ^k与其下相邻块不重叠或表示块B_n ^k为第k个参考视点的彩色图像I_R，t ^k的下边界处的块；

②定义第k个参考视点的彩色图像I_R，t ^k中的第n个块B_n ^k为当前块B_n ^k，判断当前块B_n ^k是否为平坦块，如果当前块B_n ^k为非平坦块，则利用第k个参考视点的深度图像D_R，t ^k所提供的深度信息，采用公知的三维图像变换方法逐像素点计算当前块B_n ^k中的各个像素点在需绘制的虚拟视点彩色图像中的坐标位置，并将当前块B_n ^k中的各个像素点逐像素点地映射到需绘制的虚拟视点彩色图像中；如果当前块B_n ^k为平坦块，则选取当前块B_n ^k中的一个像素点，再利用第k个参考视点的深度图像D_R，t ^k所提供的该像素点的深度信息，采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像中的坐标位置，得到把该像素点从第k个参考视点的彩色图像I_R，t ^k映射到需绘制的虚拟视点彩色图像中的坐标映射关系，并利用该坐标映射关系将当前块B_n ^k中的各个像素点映射到需绘制的虚拟视点彩色图像中，具体处理过程如下：a.任取当前块B_n ^k中的一个像素点，记该像素点的坐标为(x_c，y_c)，将该像素点到当前块B_n ^k的左边界的距离记为Δx，将该像素点到当前块B_n ^k的下边界的距离记为Δy，则该像素点到当前块B_n ^k的右边界的距离为(p+Δp)-Δx-1，该像素点到当前块B_n ^k的上边界的距离为(q+Δq)-Δy-1；b.利用第k个参考视点的深度图像D_R，t ^k所提供的坐标为(x_c，y_c)的像素点的深度信息，采用公知的三维图像变换方法计算坐标为(x_c，y_c)的像素点在需绘制的虚拟视点彩色图像中的坐标位置，记计算得到的坐标位置为(x′_c，y′_c)；c.计算需绘制的虚拟视点彩色图像中坐标为(x′，y′)的像素点的像素值，其中，(x′_c-Δx)≤x′≤(x′_c+((p+Δp)-Δx-1))，(y′_c-Δy)≤y′≤(y′_c+((q+Δq)-Δy-1))，记由第k个参考视点的彩色图像I_R，t ^k和第k个参考视点的深度图像D_R，t ^k绘制得到的虚拟视点彩色图像为I_D，t ^k，记虚拟视点彩色图像I_D，t ^k中坐标为(x′，y′)的像素点的像素值为I_D，t ^k(x′，y′)， $I_{D,t}^k(x^{\′},y^{\′})=I_{R,t}^k(x_c+x^{\′}-x_c^{\′},y_c+y^{\′}-y_c^{\′}),$ 其中，I_R，t ^k(x_c+x′-x′_c，y_c+y′-y′_c)为第k个参考视点的彩色图像I_R，t ^k中坐标为(x_c+x′-x′_c，y_c+y′-y′_c)的像素点的像素值；在采用公知的三维图像变换方法确定平坦块和非平坦块的映射关系时，如果需绘制的虚拟视点彩色图像I_D，t ^k中坐标为(x′，y′)的像素点与第k个参考视点的彩色图像I_R，t ^k中的多个像素点相对应，则虚拟视点彩色图像I_D，t ^k中坐标为(x′，y′)的像素点的像素值I_D，t ^k(x′，y′)取第k个参考视点的彩色图像I_R，t ^k中与坐标为(x′，y′)的像素点对应的多个像素点中深度值最小的像素点的像素值；

③重复步骤②将第k个参考视点的彩色图像I_R，t ^k中的所有块全部映射到需绘制的虚拟视点彩色图像I_D，t ^k中，得到由第k个参考视点的彩色图像I_R，t ^k和第k个参考视点的深度图像D_R，t ^k绘制的虚拟视点彩色图像I_D，t ^k；

④重复步骤①～③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制的K幅虚拟视点彩色图像，K幅虚拟视点彩色图像用集合表示为 $\left\{I_{D,t}^k\right|1\≤k\≤K\};$

⑤采用图像融合方法融合由K个参考视点的彩色图像和其对应的深度图像分别绘制得到的K幅虚拟视点彩色图像，得到融合后的虚拟视点彩色图像，记融合后的虚拟视点彩色图像为I′_D，t并对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补，得到最终的虚拟视点彩色图像，记最终的虚拟视点彩色图像为I_D，t。

2.根据权利要求1所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤②中判断当前块B_n ^k是否为平坦块的具体过程为：计算当前块B_n ^k的背离值E，判断当前块B_n ^k的背离值E是否大于设定的阈值T，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

3.根据权利要求2所述的一种虚拟视点图像绘制方法，其特征在于所述的当前块B_n ^k的背离值E通过 $E=\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{|I_{R,t}^k(x,y)-{\stackrel{-}{I}}_{B_n^k}|}^i,$ $E=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{|I_{R,t}^k(x,y)-{\stackrel{-}{I}}_{B_n^k}|}^i,$ $E=\sqrt{\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{|I_{R,t}^k(x,y)-{\stackrel{-}{I}}_{B_n^k}|}^2}$ 中的任一种公式计算得到，其中，i＝1或i＝2，I_R，t ^k(x，y)表示当前块B_n ^k中坐标为(x，y)的像素点的像素值，

表示当前块B_n ^k中的所有像素点的像素值的均值， ${\stackrel{-}{I}}_{B_n^t}=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{I}_{R,t}^k(x,y).$

4.根据权利要求2所述的一种虚拟视点图像绘制方法，其特征在于所述的阈值T的值为T＝E±σ，其中，E为第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的均值，σ为第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的标准差。

5.根据权利要求1所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤②中判断当前块B_n ^k是否为平坦块的具体过程为：计算第k个参考视点的深度图像D_R，t ^k中与当前块B_n ^k的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E，判断该对应块的背离值E是否大于设定的阈值T，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

6.根据权利要求5所述的一种虚拟视点图像绘制方法，其特征在于所述的第k个参考视点的深度图像D_R，t ^k中与当前块B_n ^k的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的对应块的背离值E通过 $E=\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{|D_{R,t}^k(x,y)-{\stackrel{-}{D}}_{B_n^k}|}^i,$ $E=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{|D_{R,t}^k(x,y)-{\stackrel{-}{D}}_{B_n^k}|}^i,$ $E=\sqrt{\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{|D_{R,t}^k(x,y)-{\stackrel{-}{D}}_{B_n^k}|}^2}$ 中的任一种公式计算得到，其中，i＝1或i＝2，D_R，t ^k(x，y)表示对应块中坐标为(x，y)的像素点的像素值，

表示对应块中的所有像素点的像素值的均值， ${\stackrel{-}{D}}_{B_n^t}=\frac{1}{(p+\mathrm{\Δp})\×(q+\mathrm{\Δq})}\underset{(x,y)\∈B_n^k}{\mathrm{\Σ}}{D}_{R,t}^k(x,y).$

7.根据权利要求5所述的一种虚拟视点图像绘制方法，其特征在于所述的阈值T的值为T＝E±σ，其中，E为第k个参考视点的深度图像D_R，t ^k中与第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的均值，σ为第k个参考视点的深度图像D_R，t ^k中与第k个参考视点的彩色图像I_R，t ^k中的所有块 $\left\{B_n^k\right|1\≤n\≤N_R^k\}$ 的各个块的坐标位置相同且尺寸大小同为(p+Δp)×(q+Δq)的各个对应块的背离值E构成的集合 $\left\{E_n\right|1\≤n\≤N_R^k\}$ 的标准差。

8.根据权利要求1所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤②中判断当前块B_n ^k是否为平坦块的具体过程为：首先采用公知的边缘检测方法对第k个参考视点的彩色图像I_R，t ^k进行边缘检测，得到第k个参考视点的彩色图像I_R，t ^k的二值化边缘图像，记该二值化边缘图像为Edge_I ^k，该二值化边缘图像Edge_I ^k中像素值为1的像素点为边缘像素，表示第k个参考视点的彩色图像I_R，t ^k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的彩色图像I_R，t ^k的边缘，该二值化边缘图像Edge_I ^k中像素值为0的像素点为非边缘像素，表示第k个参考视点的彩色图像I_R，t ^k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的彩色图像I_R，t ^k的边缘；然后判断该二值化边缘图像Edge_I ^k中与第k个参考视点的彩色图像I_R，t ^k的当前块B_n ^k坐标位置相同的对应块中是否包含有边缘像素，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

9.根据权利要求1所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤②中判断当前块B_n ^k是否为平坦块的具体过程为：首先采用公知的边缘检测方法对第k个参考视点的深度图像D_R，t ^k进行边缘检测，得到第k个参考视点的深度图像D_R，t ^k的二值化边缘图像，记该二值化边缘图像为Edge_D ^k，该二值化边缘图像Edge_D ^k中像素值为1的像素点为边缘像素，表示第k个参考视点的深度图像D_R，t ^k中与该边缘像素坐标位置相同的像素点位于第k个参考视点的深度图像D_R，t ^k的边缘，该二值化边缘图像Edge_D ^k中像素值为0的像素点为非边缘像素，表示第k个参考视点的深度图像D_R，t ^k中与该非边缘像素坐标位置相同的像素点不是第k个参考视点的深度图像D_R，t ^k的边缘；然后判断该二值化边缘图像Edge_D ^k中与第k个参考视点的彩色图像I_R，t ^k的当前块B_n ^k坐标位置相同的对应块中是否包含有边缘像素，如果是，则标记当前块B_n ^k为非平坦块；否则，标记当前块B_n ^k为平坦块。

10.根据权利要求1至9中任一项所述的一种虚拟视点图像绘制方法，其特征在于所述的步骤⑤中对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补的具体过程为：⑤-1、判断由K幅虚拟视点彩色图像 $\left\{I_{D,t}^k\right|1\≤k\≤K\}$ 融合得到的有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点是否为空洞像素点，如果是，则继续执行，否则，不进行填补操作，直接转步骤⑤-3；⑤-2、比较该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点的深度值与(t-j)时刻的最终的虚拟视点彩色图像I_D，t-j中坐标为(x，y)的像素点的深度值，判断这两个深度值之差是否小于设定值，如果是，则将(t-j)时刻的最终的虚拟视点彩色图像I_D，t-j中坐标为(x，y)的像素点的像素值作为该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点的像素值，并结束该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点的空洞填补过程，其中，1≤j≤α，α为整常数；否则，将j的值加1，并判断j的值是否大于α，如果j的值小于等于α，则重复执行步骤⑤-2，如果j的值大于α，则采用公知的图像插值方法填补该有空洞的虚拟视点彩色图像I′_D，t中坐标为(x，y)的像素点；⑤-3、重复执行步骤⑤-1和⑤-2直至填补完融合后的虚拟视点彩色图像I′_D，t中的所有空洞像素点，得到最终的虚拟视点彩色图像I_D，t。

Images