CN104661013A - 一种基于空间加权的虚拟视点绘制方法 - Google Patents

Abstract

本发明公开了一种基于空间加权的虚拟视点绘制方法，其以行为单位进行像素点的坐标变换，获得实际投影像素点，然后以行为单位进行插值处理，省去了VSRS虚拟视点绘制方法中的上、下采样操作，节省了绘制时间；其充分地考虑了投影像素点的空间位置和多个投影像素点对绘制质量的影响，采用空间加权方式，有效地减少了由于深度图不准确所引入的噪声，提高了绘制精度，从而提高了虚拟视点图像的主、客观质量；其充分地考虑了参考视点不同区域对绘制质量的影响，从虚拟视点图像中的整像素点附近的投影像素点个数侧面地反映了其区域分布情况，并且对不同区域进行相应的插值，能够准确地将参考视点中的像素点插入到虚拟视点中，提高了虚拟视点图像的质量。

Description

一种基于空间加权的虚拟视点绘制方法

技术领域

本发明涉及一种虚拟视点绘制技术，尤其是涉及一种基于空间加权的虚拟视点绘制方法。

背景技术

随着数字视频技术的快速发展，二维视频以平面图像来描述真实的三维场景，已无法满足用户对真实感和立体感的需求。与传统的二维视频相比，自由视点视频(FVV，Free Viewpoint Video)系统能使用户自由地选择观看角度，并且自由视点视频能够带来强烈地视觉冲击，使观众感到景物迎面而来，恍若身临其境，感受到了真切的深度感和沉浸感，是新一代多媒体视频系统的发展方向。在自由视点视频中，由于受到成本与传输带宽的限制，不可能在每一个视点上都放置一台摄像机，因此需要使用已有的有限个视点合成未知的多个虚拟视点，来达到自由视点的视觉效果。

多视点彩色加深度视频(MVD，Multi-view Video plus Depth)是自由视点视频的一种主流数据表示结构，其可用于表达深度层次丰富的场景，再结合基于深度图绘制技术(DIBR，Depth Image Based Rendering)能够绘制出多个虚拟视点，达到自由视点的体验效果。基于深度图绘制技术是近几年来得到广泛关注与应用的虚拟视点合成技术，其利用已有视点的彩色视频与对应的深度视频提供的空间几何信息绘制出虚拟视点。利用基于深度图绘制技术绘制虚拟视点的过程中主要使用的技术有：坐标变换(3D Warping)、像素插值、空洞填补、图像融合、图像修复等技术。

在基于深度图绘制技术的虚拟视点绘制过程中，存在两个比较重要的环节，一个就是三维变换(3DWarping)，另一个就是重采样(像素插值)。其中，第一个环节就是实现将参考视点图像空间内的像素点投影到目标视点图像空间，它是以视差D为桥梁的，就水平设置相机而言，公式反映了实际景深Z和深度值v之间的关系，公式则是将实际景深Z转化为视差D，视差D反映了同一个像素点在参考视点和目标视点中的相对偏移量，从中可知，实际景深Z越大，则视差D越小，即相对偏移量较小；反之，实际景深Z越小，则相对偏移量较大，其中，Z_near和Z_far对应指实际场景距离相机的最近距离和最远距离，B指参考视点到虚拟视点的基线距离，f指相机焦距。假设通过坐标变换操作H( )以后，参考视点中x_i处的像素点投影到虚拟视点图像空间x_i'处，它们之间的视差为D_i，则它们之间有如下等式关系：H(x_i)＝x_i'，x_i'＝x_i-D_i。

由于投影点不一定正好落在虚拟视点图像空间的整像素点位置上，因此目标视点图像空间内的同一个整像素点相邻的一个像素宽度范围内可能分布着多个投影点。因而，第二个环节就是要对目标视点图像空间进行重采样。常见的重采样(插值)方法有两种，即“近邻插值”法和“Splatting”插值法，“近邻插值”法的插值过程如图1a所示，“Splatting”插值法的插值过程如图1b所示。在图1a和图1b中，黑色圆圈代表整像素点位置，灰色圆圈代表来自于参考视点的投影点，x_i'代表由参考视点中水平坐标为x_i的像素点经过坐标变换之后落在虚拟视点图像空间的水平位置，x_j代表虚拟视点图像空间的待插值像素点的水平位置。

“近邻插值”法是一种将投影点投向与之最邻近的那个待插值点的插值方法，由于x_i'与x_j之间的绝对距离比x_i'与x_j+1之间的绝对距离更小，因此投影点x_i'的强度值I_r(x_i')与待插值点x_j的强度值I_v(x_j)之间的关系如下：I_v(x_j)＝I_r(x_i')。

“Splatting”插值法是一种将投影点投向与之相邻的多个待插值点的插值方法，其采用这种方法之前一般要先进行上采样，由于x_i'介于x_j和x_j+1之间，因此采取该插值方法之后，投影点x_i'的强度值I_r(x_i')与待插值点x_j的强度值I_v(x_j)以及x_j+1的强度值I_v(x_j+1)三者之间的关系如下：I_v(x_j)＝I_v(x_j+1)＝I_r(x_i')。

另外，当有多个投影点投到同一个像素点时，标准方案采用ZBuffer技术，也即只采用了深度最大的投影点，舍弃了其他投影点。ZBuffer技术的具体操作规则如下式：I_v'(x_j)＝I_r(x_k')，其中，v_x,i表示在(x_j-1,x_j+1)范围内的第i个投影像素点的深度，m表示在该像素宽度范围内的投影点总数目，I_v'(x_j)表示x_j位置处的像素点的最终亮度值，I_r(x_k')表示来自于参考视点的、介于(x_j-1,x_j+1)范围内的第k个投影点的亮度值。

由上述内容可知，两种插值方法都是一种简化、近似的方法，都没有精确地衡量投影点到待插值点之间的水平距离，没有充分利用深度信息，未能在这两者之间做出一个合理的权衡，忽略了被遮挡的多个投影点对绘制质量的影响。然而，像素插值技术是一个非常关键的问题，如果它不能准确地将参考视点中的像素点插入到虚拟视点图像空间中，将会导致像素点发生偏移，或导致前景像素点与背景像素点之间发生混叠效应，从而使得绘制的主、客观质量下降。

发明内容

本发明所要解决的技术问题是提供一种基于空间加权的虚拟视点绘制方法，其节省了绘制时间，且能够准确地将参考视点中的像素点插入到虚拟视点中，有效地提高了绘制精度，从而提高了虚拟视点图像的主、客观质量。

本发明解决上述技术问题所采用的技术方案为：一种基于空间加权的虚拟视点绘制方法，其特征在于包括以下步骤：

①获取同一时刻的左参考视点的彩色图像和右参考视点的彩色图像及两者各自对应的深度图像，并假设虚拟视点介于左参考视点与右参考视点之间，且左参考视点、虚拟视点、右参考视点三者在同一水平线上；

②根据左参考视点的彩色图像及其对应的深度图像，以行为单位对左参考视点的彩色图像中的每行中的每个像素点进行坐标变换，得到左参考虚拟视点图像中的每行中的每个整像素点附近的N个实际投影像素点，其中，N≥0；

③获取插值后的左参考虚拟视点图像，具体过程为：

③-1、将插值前的左参考虚拟视点图像中当前待处理的一行定义为当前行；

③-2、假设当前行为插值前的左参考虚拟视点图像中的第i行，则对于当前行中坐标位置为(i,j)的整像素点，若该整像素点附近即在(i-1,i+1)范围内的实际投影像素点的个数N＝0，那么将该整像素点视为空洞像素点，对该整像素点不进行插值处理；若该整像素点附近即在(i-1,i+1)范围内的实际投影像素点的个数N≠0，那么执行以下步骤以对该整像素点进行插值处理：

当N＝1时，直接将这1个实际投影像素点的亮度值作为该整像素点的亮度值，并将这1个实际投影像素点的深度值作为该整像素点的深度值，完成该整像素点的插值处理；

当N＝2时，对这2个实际投影像素点的亮度值进行空间加权，得到该整像素点的亮度值，记为I_vL(i,j)， $I_{\mathrm{vL}}(i,j)=\frac{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w}_{(i,j),p}\×v_{(i,j),p}\×(1-d_{(i,j),p})\×I_{(i,j),p}}{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w}_{(i,j),p}\×v_{(i,j),p}\×(1-d_{(i,j),p})};$ 并对这2个实际投影像素点的深度值进行空间加权，得到该整像素点的深度值，记为D_vL(i,j)，至此完成该整像素点的插值处理；其中，p的初始值为1，1≤p≤N，w_(i,j),p表示第p个实际投影像素点的加权系数，v_(i,j),p表示第p个实际投影像素点的深度值，d_(i,j),p表示第p个实际投影像素点的水平位置x_p与该整像素点的水平位置i之间的绝对距离，d_(i,j),p＝|x_p-i|，符号“| |”为取绝对值符号，I_(i,j),p表示第p个实际投影像素点的亮度值；

当N＝3或N＝4时，先确定所有实际投影像素点中的可疑点，对于任一个实际投影像素点，如果该实际投影像素点的深度值远远小于所有实际投影像素点的深度值中的最大深度值，则确定该实际投影像素点为可疑点；再对所有实际投影像素点的亮度值进行空间加权，得到该整像素点的亮度值，记为I_vL(i,j)， $I_{\mathrm{vL}}(i,j)=\frac{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w^{\′}}_{(i,j),p}\×{v^{\′}}_{(i,j),p}\×(1-{d^{\′}}_{(i,j),p})\×{I^{\′}}_{(i,j),p}}{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w^{\′}}_{(i,j),p}\×{v^{\′}}_{(i,j),p}\×(1-{d^{\′}}_{(i,j),p})},$ 并对所有实际投影像素点的深度值进行空间加权，得到该整像素点的深度值，记为D_vL(i,j)，至此完成该整像素点的插值处理；其中，p的初始值为1，1≤p≤N，w'_(i,j),p表示第p个实际投影像素点的加权系数，v'_(i,j),p表示第p个实际投影像素点的深度值，d'_(i,j),p表示第p个实际投影像素点的水平位置x'_p与该整像素点的水平位置i之间的绝对距离，d'_(i,j),p＝|x'_p-i|，符号“| |”为取绝对值符号，I'_(i,j),p表示第p个实际投影像素点的亮度值；

当N≥5时，先从所有实际投影像素点中随机选取5个实际投影像素点；然后根据随机选取的5个实际投影像素点各自的亮度值和深度值，采用ZBuffer技术获得该整像素点的亮度值和深度值，完成该整像素点的插值处理；

其中，1≤i≤W,1≤j≤H，W表示待绘制的虚拟视点图像的宽度，H表示待绘制的虚拟视点图像的高度；

③-3、在完成当前行的插值处理后，将插值前的左参考虚拟视点图像中待处理的下一行作为当前行，然后返回步骤③-2继续执行，直至插值前的左参考虚拟视点图像中的所有行处理完毕，获得插值后的左参考虚拟视点图像；

④按照步骤②至步骤③的操作过程，以相同的方式获得插值后的右参考虚拟视点图像；

⑤对插值后的左参考虚拟视点图像进行空洞填补，得到空洞填补后的左参考虚拟视点图像；同样，对插值后的右参考虚拟视点图像进行空洞填补，得到空洞填补后的右参考虚拟视点图像；

⑥对空洞填补后的左参考虚拟视点图像和空洞填补后的右参考虚拟视点图像进行融合，得到融合后的虚拟视点图像。

所述的步骤⑥执行完毕后，对融合后的虚拟视点图像进行去噪处理，获得最终的不含噪声的虚拟视点图像，具体过程为：

⑦-1、将融合后的虚拟视点图像中当前待处理的一个像素点定义为当前像素点；

⑦-2、假设当前像素点在融合后的虚拟视点图像中的坐标位置为(i,j)，则利用空洞填补后的左参考虚拟视点图像中坐标位置为(i,j)的整像素点和空洞填补后的右参考虚拟视点图像中坐标位置为(i,j)的整像素点对当前像素点进行失真检测，计算得到当前像素点的失真掩膜值，记为ErrorMask(i,j)，其中，I_vL(i,j)表示空洞填补后的左参考虚拟视点图像中坐标位置为(i,j)的整像素点的亮度值，I_vR(i,j)表示空洞填补后的右参考虚拟视点图像中坐标位置为(i,j)的整像素点的亮度值，D_vL(i,j)表示空洞填补后的左参考虚拟视点图像中坐标位置为(i,j)的整像素点的深度值，D_vR(i,j)表示空洞填补后的右参考虚拟视点图像中坐标位置为(i,j)的整像素点的深度值，th1为设定的第一阈值，th2为设定的第二阈值，符号“| |”为取绝对值符号；

⑦-3、如果ErrorMask(i,j)＝1，则确定当前像素点为含有噪声的像素点，然后利用3×3的中值滤波模板对当前像素点进行中值滤波处理，再执行步骤⑦-4；如果ErrorMask(i,j)＝0，则确定当前像素点为不含有噪声的像素点，再执行步骤⑦-4；

⑦-4、将融合后的虚拟视点图像中下一个待处理的像素点作为当前像素点，然后返回步骤⑦-2继续执行，直至融合后的虚拟视点图像中的所有像素点处理完毕，得到最终的不含噪声的虚拟视点图像。

所述的步骤⑦-2中设定的第一阈值th1＝0.15(I_vL(i,j)+I_vR(i,j))，设定的第二阈值th2＝0.10(D_vL(i,j)+D_vR(i,j))。

所述的步骤③-2中当N＝2时，取w_(i,j),p＝1；当N＝3或N＝4时，取其中，MaxDepth(i,j)表示在(i-1,i+1)范围内的所有实际投影像素点的深度值中的最大深度值，符号“| |”为取绝对值符号，th为设定的判定阈值。

所述的设定的判定阈值th＝0.25MaxDepth(i,j)。

与现有技术相比，本发明的优点在于：

1)本发明方法以行为单位进行像素点的坐标变换，获得实际投影像素点，然后以行为单位进行插值处理，省去了现有的VSRS虚拟视点绘制方法中的上、下采样操作，极大地节省了绘制时间。

2)本发明方法充分地考虑了投影像素点的空间位置和多个投影像素点对绘制质量的影响，采用空间加权的方式，有效地减少了由于深度图不准确所引入的噪声，提高了绘制精度，从而提高了虚拟视点图像的主、客观质量。

3)本发明方法充分地考虑了参考视点不同区域对绘制质量的影响，从虚拟视点图像中的整像素点附近的投影像素点个数侧面地反映了其区域分布情况，并且对不同区域进行相应的插值，能够准确地将参考视点中的像素点插入到虚拟视点中，提高了虚拟视点图像的质量。

4)本发明方法考虑到了由于深度图不准确所导致的绘制失真，引入了失真检测机制，并对融合后的虚拟视点图像中含有噪声的像素点进行了小窗口的中值滤波，很好地抑制了由于深度图失真所导致的绘制失真。

附图说明

图1a为现有的近邻插值法的插值过程示意图；

图1b为现有的Splatting插值法的插值过程示意图；

图2为本发明方法的总体实现框图；

图3为本发明方法中的插值实现框图；

图4a为采用现有的VSRS虚拟视点绘制方法在整像素精度配置下，Book Arrival序列绘制的第48帧效果图；

图4b为采用现有的VSRS虚拟视点绘制方法在半像素精度配置下，Book Arrival序列绘制的第48帧效果图；

图4c为利用本发明方法(经去噪处理)，Book Arrival序列绘制的第48帧效果图；

图5a为采用现有的VSRS虚拟视点绘制方法在整像素精度配置下，LoveBird1序列绘制的第1帧效果图；

图5b为采用现有的VSRS虚拟视点绘制方法在半像素精度配置下，LoveBird1序列绘制的第1帧效果图；

图5c为利用本发明方法(经去噪处理)，LoveBird1序列绘制的第1帧效果图；

图6a为采用现有的VSRS虚拟视点绘制方法在整像素精度配置下，Door Flowers序列绘制的第1帧效果图；

图6b为采用现有的VSRS虚拟视点绘制方法在半像素精度配置下，Door Flowers序列绘制的第1帧效果图；

图6c为利用本发明方法(经去噪处理)，Door Flowers序列绘制的第1帧效果图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于空间加权的虚拟视点绘制方法，其总体实现框图如图2所示，其包括以下步骤：

①获取同一时刻的左参考视点的彩色图像和右参考视点的彩色图像及两者各自对应的深度图像，并假设虚拟视点介于左参考视点与右参考视点之间，且左参考视点、虚拟视点、右参考视点三者在同一水平线上。

②根据左参考视点的彩色图像及其对应的深度图像，以行为单位对左参考视点的彩色图像中的每行中的每个像素点进行坐标变换，得到左参考虚拟视点图像中的每行中的每个整像素点附近的N个实际投影像素点，其中，N≥0。

③获取插值后的左参考虚拟视点图像，具体过程为：

③-1、将插值前的左参考虚拟视点图像中当前待处理的一行定义为当前行。

③-2、假设当前行为插值前的左参考虚拟视点图像中的第i行，则对于当前行中坐标位置为(i,j)的整像素点，若该整像素点附近即在(i-1,i+1)范围内的实际投影像素点的个数N＝0，那么将该整像素点视为空洞像素点，对该整像素点不进行插值处理；若该整像素点附近即在(i-1,i+1)范围内的实际投影像素点的个数N≠0，那么执行以下步骤以对该整像素点进行插值处理：

当N＝1时，即在(i-1,i+1)范围内的实际投影像素点的个数为1个，直接将这1个实际投影像素点的亮度值作为该整像素点的亮度值，并将这1个实际投影像素点的深度值作为该整像素点的深度值，完成该整像素点的插值处理。

当N＝2时，即在(i-1,i+1)范围内的实际投影像素点的个数为2个，这种情况占据了很大的比例，主要分布在平坦区域，因此本发明方法对这2个实际投影像素点的亮度值进行空间加权，得到该整像素点的亮度值，记为I_vL(i,j)， $I_{\mathrm{vL}}(i,j)=\frac{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w}_{(i,j),p}\×v_{(i,j),p}\×(1-d_{(i,j),p})\×I_{(i,j),p}}{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w}_{(i,j),p}\×v_{(i,j),p}\×(1-d_{(i,j),p})};$ 并对这2个实际投影像素点的深度值进行空间加权，得到该整像素点的深度值，记为D_vL(i,j)，至此完成该整像素点的插值处理；其中，p的初始值为1，1≤p≤N，w_(i,j),p表示第p个实际投影像素点的加权系数，v_(i,j),p表示第p个实际投影像素点的深度值，d_(i,j),p表示第p个实际投影像素点的水平位置x_p与该整像素点的水平位置i之间的绝对距离，简称水平绝对距离，d_(i,j),p＝|x_p-i|，符号“| |”为取绝对值符号，I_(i,j),p表示第p个实际投影像素点的亮度值。

当N＝3或N＝4时，即在(i-1,i+1)范围内的实际投影像素点的个数为3个或者4个，先确定所有实际投影像素点中的可疑点，对于任一个实际投影像素点，如果该实际投影像素点的深度值远远小于所有实际投影像素点的深度值中的最大深度值，则确定该实际投影像素点为可疑点；再对所有实际投影像素点的亮度值进行空间加权，得到该整像素点的亮度值，记为I_vL(i,j)， $I_{\mathrm{vL}}(i,j)=\frac{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w^{\′}}_{(i,j),p}\×{v^{\′}}_{(i,j),p}\×(1-{d^{\′}}_{(i,j),p})\×{I^{\′}}_{(i,j),p}}{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w^{\′}}_{(i,j),p}\×{v^{\′}}_{(i,j),p}\×(1-{d^{\′}}_{(i,j),p})},$ 并对所有实际投影像素点的深度值进行空间加权，得到该整像素点的深度值，记为D_vL(i,j)，至此完成该整像素点的插值处理；其中，p的初始值为1，1≤p≤N，w'_(i,j),p表示第p个实际投影像素点的加权系数，v'_(i,j),p表示第p个实际投影像素点的深度值，d'_(i,j),p表示第p个实际投影像素点的水平位置x'_p与该整像素点的水平位置i之间的绝对距离，d'_(i,j),p＝|x'_p-i|，符号“| |”为取绝对值符号，I'_(i,j),p表示第p个实际投影像素点的亮度值。

当N≥5时，即在(i-1,i+1)范围内的实际投影像素点的个数为5个或者超过5个，先从所有实际投影像素点中随机选取5个实际投影像素点；然后根据随机选取的5个实际投影像素点各自的亮度值和深度值，采用ZBuffer技术获得该整像素点的亮度值和深度值，完成该整像素点的插值处理。

由于实际投影像素点的个数大于或等于5个时，主要发生在遮挡区域的前景、背景交界处，实验表明对于这些区域，空间加权操作会使边缘变模糊，因此本发明方法对这些区域直接采用传统的ZBuffer技术来完成该整像素点的插值处理。且由于实际投影像素点的个数大于5个的可能性已经很小了，并且深度值越小的投影像素点对待插值点的影响也越小，因此为了降低计算复杂度，本发明方法最多只考虑5个投影像素点。

其中，1≤i≤W,1≤j≤H，W表示待绘制的虚拟视点图像的宽度，H表示待绘制的虚拟视点图像的高度。在本实施例中，步骤③-2中当N＝2时，取w_(i,j),p＝1；当N＝3或其中，MaxDepth(i,j)表示在(i-1,i+1)范围内的所有实际投影像素点的深度值中的最大深度值，符号“| |”为取绝对值符号，满足|v'_(i,j),p-MaxDepth(i,j)|>th的实际投影像素点为可疑点，th为设定的判定阈值，在此取th＝0.25MaxDepth(i,j)。

③-3、在完成当前行的插值处理后，将插值前的左参考虚拟视点图像中待处理的下一行作为当前行，然后返回步骤③-2继续执行，直至插值前的左参考虚拟视点图像中的所有行处理完毕，获得插值后的左参考虚拟视点图像。

④按照步骤②至步骤③的操作过程，以相同的方式获得插值后的右参考虚拟视点图像。

⑤对插值后的左参考虚拟视点图像进行空洞填补，得到空洞填补后的左参考虚拟视点图像；同样，对插值后的右参考虚拟视点图像进行空洞填补，得到空洞填补后的右参考虚拟视点图像。

⑥对空洞填补后的左参考虚拟视点图像和空洞填补后的右参考虚拟视点图像进行融合，得到融合后的虚拟视点图像。

由于空洞填补后的左参考虚拟视点图像和空洞填补后的右参考虚拟视点图像中对应坐标位置的整像素点的亮度值和深度值如果差别较大，则会引起后续融合过程的失真，因此本发明方法在步骤⑥执行完毕后，对融合后的虚拟视点图像进行去噪处理，获得最终的不含噪声的虚拟视点图像，具体过程为：

⑦-1、将融合后的虚拟视点图像中当前待处理的一个像素点定义为当前像素点。

⑦-2、假设当前像素点在融合后的虚拟视点图像中的坐标位置为(i,j)，则利用空洞填补后的左参考虚拟视点图像中坐标位置为(i,j)的整像素点和空洞填补后的右参考虚拟视点图像中坐标位置为(i,j)的整像素点对当前像素点进行失真检测，计算得到当前像素点的失真掩膜值，记为ErrorMask(i,j)，其中，I_vL(i,j)表示空洞填补后的左参考虚拟视点图像中坐标位置为(i,j)的整像素点的亮度值，I_vR(i,j)表示空洞填补后的右参考虚拟视点图像中坐标位置为(i,j)的整像素点的亮度值，D_vL(i,j)表示空洞填补后的左参考虚拟视点图像中坐标位置为(i,j)的整像素点的深度值，D_vR(i,j)表示空洞填补后的右参考虚拟视点图像中坐标位置为(i,j)的整像素点的深度值，th1为设定的第一阈值，在本实施例中取th1＝0.15(I_vL(i,j)+I_vR(i,j))，th2为设定的第二阈值，在本实施例中取th2＝0.10(D_vL(i，j)+D_vR(i,j))，符号“| |”为取绝对值符号。

⑦-3、如果ErrorMask(i,j)＝1，则确定当前像素点为含有噪声的像素点，然后利用3×3的中值滤波模板对当前像素点进行中值滤波处理，再执行步骤⑦-4；如果ErrorMask(i,j)＝0，则确定当前像素点为不含有噪声的像素点，再执行步骤⑦-4。

⑦-4、将融合后的虚拟视点图像中下一个待处理的像素点作为当前像素点，然后返回步骤⑦-2继续执行，直至融合后的虚拟视点图像中的所有像素点处理完毕，得到最终的不含噪声的虚拟视点图像。

为了测试本发明方法的性能，分别采用VSRS虚拟视点绘制方法和采用本发明方法对序列“Book Arrival”、“Dog”、“Leave Laptop”、“LoveBird1”、“Newspaper”、“Alt Moabit”、“Door Flowers”、“Kendo”进行四轮虚拟视点绘制测试，第一轮采用现有的VSRS虚拟视点绘制方法在整像素精度配置下进行绘制，第二轮采用现有的VSRS虚拟视点绘制方法在半像素精度配置下进行绘制，第三轮采用本发明方法(不包含去噪处理)进行绘制，第四轮采用本发明方法(包含去噪处理)进行绘制，每轮测试都测试了各个序列的61帧。

表1给出了序列“Book Arrival”、“Dog”、“Leave Laptop”、“LoveBird1”、“Newspaper”、“Alt-Moabit”、“Door Flowers”、“Kendo”采用现有的VSRS虚拟视点绘制方法以及采用本发明方法绘制虚拟视点图像的绘制时间对比情况。在表1中，T₁、T₂、T₃对应表示采用现有的VSRS虚拟视点绘制方法在整像素精度配置下绘制1帧所花费的时间、采用现有的VSRS虚拟视点绘制方法在半像素精度配置下绘制1帧所花费的时间、采用本发明方法(包含去噪处理)绘制1帧所花费的时间，ΔT₁表示采用本发明方法(包含去噪处理)绘制1帧所花费的时间相对于采用现有的VSRS虚拟视点绘制方法在半像素精度配置下绘制1帧所花费的时间所节省的时间百分比，从表1中所列的数据可以发现，采用现有的VSRS虚拟视点绘制方法在整像素精度配置下绘制1帧所花费的平均时间为0.21秒，采用现有的VSRS虚拟视点绘制方法在半像素精度配置下绘制1帧所花费的平均时间为1.84秒，而采用本发明方法(包含去噪处理)绘制1帧所花费的平均时间为1.07秒。相对于采用现有的VSRS虚拟视点绘制方法在半像素精度配置下绘制1帧所花费的平均时间而言，采用本发明方法(包含去噪处理)绘制1帧节省了大约42％的绘制时间。

表1 采用现有的VSRS虚拟视点绘制方法以及采用本发明方法绘制虚拟视点图像的绘制时间对比(秒)

为了进一步验证利用本发明方法绘制得到的虚拟视点图像在客观质量上的有效性，表2给出了序列“Book Arrival”、“Dog”、“Leave Laptop”、“LoveBird1”、“Newspaper”、“Alt-Moabit”、“Door Flowers”、“Kendo”采用现有的VSRS虚拟视点绘制方法在整像素精度配置下绘制的峰值信噪比PSNR₁、采用现有的VSRS虚拟视点绘制方法在半像素精度配置下绘制的峰值信噪比PSNR₂、采用本发明方法(不包含去噪处理)进行绘制的峰值信噪比PSNR₃、采用本发明方法(包含去噪处理)进行绘制的峰值信噪比PSNR₄的统计结果；表3给出了序列“Book Arrival”、“Dog”、“Leave Laptop”、“LoveBird1”、“Newspaper”、“Alt-Moabit”、“Door Flowers”、“Kendo”采用现有的VSRS虚拟视点绘制方法在整像素精度配置下绘制的结构相似度SSIM₁、采用现有的VSRS虚拟视点绘制方法在半像素精度配置下绘制的结构相似度SSIM₂、采用本发明方法(不包含去噪处理)进行绘制的结构相似度SSIM₃、采用本发明方法(包含去噪处理)进行绘制的结构相似度SSIM₄的统计结果。在表2中ΔPSNR_h＝PSNR₄-PSNR_h，在表3中ΔSSIM_h＝SSIM₄-SSIM_h，h＝1,2,3。

从表2和表3中可以看出，就结构相似度而言，采用本发明方法(包含去噪处理)明显要优于采用现有的VSRS虚拟视点绘制方法，但就峰值信噪比而言，采用本发明方法(包含去噪处理)时个别序列有所下降，这与深度图的精度有关。深度图失真会导致投影像素点偏离真实位置数个或数十个像素点，空间加权只能在一个像素精度内尽可能地减少噪声。例如，Dog序列深度图不准确，采用现有的VSRS虚拟视点绘制方法的绘制效果不佳，在整像素精度配置下PSNR只有31.31dB，在半像素精度配置下PSNR只有31.15dB，而采用本发明方法(包含去噪处理)绘制的绘制效果提高也不明显。相反，有些深度图比较准确，例如，Door Flowers序列和Kendo序列，采用现有的VSRS虚拟视点绘制方法的绘制效果已经很好，PSNR能达到37dB，而采用本发明方法(包含去噪处理)反而会引入失真，因而绘制质量略微有所下降。当然，这两种情况都比较极端，就一般情况而言，采用本发明方法(包含去噪处理)绘制的绘制效果还是有着较为显著的提高。为了反映本发明方法中的失真检测机制之后的中值滤波效果，在表2和表3中还分别列出了采用本发明方法(不包含去噪处理)进行绘制后的结果和采用本发明方法(包含去噪处理)进行绘制后的结果。引入中值滤波之后的客观质量相比未引入中值滤波之前的客观质量，两个客观质量指标有所提高。

为了说明采用本发明方法绘制得到的虚拟视点图像在主观质量方面的有效性，图4a给出了采用现有的VSRS虚拟视点绘制方法在整像素精度配置下，Book Arrival序列绘制的第48帧效果图；图4b给出了采用现有的VSRS虚拟视点绘制方法在半像素精度配置下，Book Arrival序列绘制的第48帧效果图；图4c给出了利用本发明方法(经去噪处理)，Book Arrival序列绘制的第48帧效果图；图5a给出了采用现有的VSRS虚拟视点绘制方法在整像素精度配置下，LoveBird1序列绘制的第1帧效果图；图5b给出了采用现有的VSRS虚拟视点绘制方法在半像素精度配置下，LoveBird1序列绘制的第1帧效果图；图5c给出了利用本发明方法(经去噪处理)，LoveBird1序列绘制的第1帧效果图；图6a给出了采用现有的VSRS虚拟视点绘制方法在整像素精度配置下，DoorFlowers序列绘制的第1帧效果图；图6b给出了采用现有的VSRS虚拟视点绘制方法在半像素精度配置下，Door Flowers序列绘制的第1帧效果图；图6c给出了利用本发明方法(经去噪处理)，Door Flowers序列绘制的第1帧效果图。图4a至图6c中，方框标记的部分为局部对比，线条指向的另一端为方框标记的部分的局部放大。在图4c中，衣服的边缘和桌子的边缘处的毛刺明显比图4a和图4b少。在图5c中，衣服边缘处的毛刺比图5a和图5b也明显地减少。在图6a和图6b中，人脸右侧有明显的失真，这是由于栏板右侧的像素点错误地映射到该位置所致，而在图6c中该部分噪声明显地得到消除；此外，在图6a和图6b中，椅子附近产生了明显的伪影现象，这主要是由于深度失真导致椅子腿部错误地映射到背景区域所致，通过本发明方法的失真检测机制，基本上消除了该区域的伪影，如图6c所示。

综合考虑和比较绘制质量和绘制时间两个方面的因素，测试结果说明了本发明方法的合理性和有效性。

表2 PSNR结果对比表(dB)

表3 SSIM结果对比表

Claims (5)

1.一种基于空间加权的虚拟视点绘制方法，其特征在于包括以下步骤：

①获取同一时刻的左参考视点的彩色图像和右参考视点的彩色图像及两者各自对应的深度图像，并假设虚拟视点介于左参考视点与右参考视点之间，且左参考视点、虚拟视点、右参考视点三者在同一水平线上；

②根据左参考视点的彩色图像及其对应的深度图像，以行为单位对左参考视点的彩色图像中的每行中的每个像素点进行坐标变换，得到左参考虚拟视点图像中的每行中的每个整像素点附近的N个实际投影像素点，其中，N≥0；

③获取插值后的左参考虚拟视点图像，具体过程为：

③-1、将插值前的左参考虚拟视点图像中当前待处理的一行定义为当前行；

③-2、假设当前行为插值前的左参考虚拟视点图像中的第i行，则对于当前行中坐标位置为(i,j)的整像素点，若该整像素点附近即在(i-1,i+1)范围内的实际投影像素点的个数N＝0，那么将该整像素点视为空洞像素点，对该整像素点不进行插值处理；若该整像素点附近即在(i-1,i+1)范围内的实际投影像素点的个数N≠0，那么执行以下步骤以对该整像素点进行插值处理：

当N＝1时，直接将这1个实际投影像素点的亮度值作为该整像素点的亮度值，并将这1个实际投影像素点的深度值作为该整像素点的深度值，完成该整像素点的插值处理；

当N＝2时，对这2个实际投影像素点的亮度值进行空间加权，得到该整像素点的亮度值，记为I_vL(i,j)， $I_{\mathrm{vL}}(i,j)=\frac{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w}_{(i,j),p}\×v_{(i,j),p}\×(1-d_{(i,j),p})\×I_{(i,j),p}}{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w}_{(i,j),p}\×v_{(i,j),p}\×(1-d_{(i,j),p})};$ 并对这2个实际投影像素点的深度值进行空间加权，得到该整像素点的深度值，记为D_vL(i,j)，至此完成该整像素点的插值处理；其中，p的初始值为1，1≤p≤N，w_(i,j),p表示第p个实际投影像素点的加权系数，v_(i,j),p表示第p个实际投影像素点的深度值，d_(i,j),p表示第p个实际投影像素点的水平位置x_p与该整像素点的水平位置i之间的绝对距离，d_(i,j),p＝|x_p-i|，符号“||”为取绝对值符号，I_(i,j),p表示第p个实际投影像素点的亮度值；

当N＝3或N＝4时，先确定所有实际投影像素点中的可疑点，对于任一个实际投影像素点，如果该实际投影像素点的深度值远远小于所有实际投影像素点的深度值中的最大深度值，则确定该实际投影像素点为可疑点；再对所有实际投影像素点的亮度值进行空间加权，得到该整像素点的亮度值，记为I_vL(i,j)， $I_{\mathrm{vL}}(i,j)=\frac{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w}_{(i,j),p}^{\′}\×v_{(i,j),p}^{\′}\×(1-d_{(i,j),p}^{\′})\×I_{(i,j),p}^{\′}}{\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{w}_{(i,j),p}^{\′}\×v_{(i,j),p}^{\′}\×(1-d_{(i,j),p}^{\′})},$ 并对所有实际投影像素点的深度值进行空间加权，得到该整像素点的深度值，记为D_vL(i,j)，至此完成该整像素点的插值处理；其中，p的初始值为1，1≤p≤N，w'_(i,j),p表示第p个实际投影像素点的加权系数，v'_(i,j),p表示第p个实际投影像素点的深度值，d'_(i,j),p表示第p个实际投影像素点的水平位置x'_p与该整像素点的水平位置i之间的绝对距离，d'_(i,j),p＝|x'_p-i|，符号“||”为取绝对值符号，I'_(i,j),p表示第p个实际投影像素点的亮度值；

当N≥5时，先从所有实际投影像素点中随机选取5个实际投影像素点；然后根据随机选取的5个实际投影像素点各自的亮度值和深度值，采用ZBuffer技术获得该整像素点的亮度值和深度值，完成该整像素点的插值处理；

其中，1≤i≤W,1≤j≤H，W表示待绘制的虚拟视点图像的宽度，H表示待绘制的虚拟视点图像的高度；

③-3、在完成当前行的插值处理后，将插值前的左参考虚拟视点图像中待处理的下一行作为当前行，然后返回步骤③-2继续执行，直至插值前的左参考虚拟视点图像中的所有行处理完毕，获得插值后的左参考虚拟视点图像；

④按照步骤②至步骤③的操作过程，以相同的方式获得插值后的右参考虚拟视点图像；

⑤对插值后的左参考虚拟视点图像进行空洞填补，得到空洞填补后的左参考虚拟视点图像；同样，对插值后的右参考虚拟视点图像进行空洞填补，得到空洞填补后的右参考虚拟视点图像；

⑥对空洞填补后的左参考虚拟视点图像和空洞填补后的右参考虚拟视点图像进行融合，得到融合后的虚拟视点图像。

2.根据权利要求1所述的一种基于空间加权的虚拟视点绘制方法，其特征在于所述的步骤⑥执行完毕后，对融合后的虚拟视点图像进行去噪处理，获得最终的不含噪声的虚拟视点图像，具体过程为：

⑦-1、将融合后的虚拟视点图像中当前待处理的一个像素点定义为当前像素点；

⑦-2、假设当前像素点在融合后的虚拟视点图像中的坐标位置为(i,j)，则利用空洞填补后的左参考虚拟视点图像中坐标位置为(i,j)的整像素点和空洞填补后的右参考虚拟视点图像中坐标位置为(i,j)的整像素点对当前像素点进行失真检测，计算得到当前像素点的失真掩膜值，记为ErrorMask(i,j)，其中，I_vL(i,j)表示空洞填补后的左参考虚拟视点图像中坐标位置为(i,j)的整像素点的亮度值，I_vR(i,j)表示空洞填补后的右参考虚拟视点图像中坐标位置为(i,j)的整像素点的亮度值，D_vL(i,j)表示空洞填补后的左参考虚拟视点图像中坐标位置为(i,j)的整像素点的深度值，D_vR(i,j)表示空洞填补后的右参考虚拟视点图像中坐标位置为(i,j)的整像素点的深度值，th1为设定的第一阈值，th2为设定的第二阈值，符号“||”为取绝对值符号；

⑦-3、如果ErrorMask(i,j)＝1，则确定当前像素点为含有噪声的像素点，然后利用3×3的中值滤波模板对当前像素点进行中值滤波处理，再执行步骤⑦-4；如果ErrorMask(i,j)＝0，则确定当前像素点为不含有噪声的像素点，再执行步骤⑦-4；

⑦-4、将融合后的虚拟视点图像中下一个待处理的像素点作为当前像素点，然后返回步骤⑦-2继续执行，直至融合后的虚拟视点图像中的所有像素点处理完毕，得到最终的不含噪声的虚拟视点图像。

3.根据权利要求2所述的一种基于空间加权的虚拟视点绘制方法，其特征在于所述的步骤⑦-2中设定的第一阈值th1＝0.15(I_vL(i,j)+I_vR(i,j))，设定的第二阈值th2＝0.10(D_vL(i,j)+D_vR(i,j))。

4.根据权利要求1至3中任一项所述的一种基于空间加权的虚拟视点绘制方法，其特征在于所述的步骤③-2中当N＝2时，取w_(i,j),p＝1；当N＝3或N＝4时，取其中，MaxDepth(i,j)表示在(i-1,i+1)范围内的所有实际投影像素点的深度值中的最大深度值，符号“||”为取绝对值符号，th为设定的判定阈值。

5.根据权利要求4所述的一种基于空间加权的虚拟视点绘制方法，其特征在于所述的设定的判定阈值th＝0.25MaxDepth(i,j)。