CN104822059A - 一种基于gpu加速的虚拟视点合成方法 - Google Patents

Abstract

本发明公开了一种基于GPU加速的虚拟视点合成方法，利用基于深度图像的绘制（DIBR）技术和GPU多线程并行特性来加速合成高质量的虚拟视点图像，包括以下步骤：首先对左右两个参考视点的深度图像进行平滑处理；其次，通过3D映射将平滑处理后的左右两个参考视点的深度图像中各像素点的二维平面坐标还原到三维空间；然后使用图形学API渲染将三维空间中的坐标投影到虚拟视点成像平面，得到合成虚拟视点图像；最后，对合成虚拟视点图像进行空洞填补。本发明能够利用GPU强大的并行计算能力，对传统的虚拟视点合成算法进行加速，有效的减少绘制时间，并可以为实时虚拟视点合成提供很大的借鉴。

Description

一种基于GPU加速的虚拟视点合成方法

技术领域

本发明涉及计算机视觉和图像处理领域，特别是涉及一种基于GPU加速的虚拟视点合成方法。

背景技术

电视技术诞生于20世纪，先后经历了从黑白到彩色、从模拟到数字、从标清到高清的发展历程。在清晰度不断提高的同时，三维立体电视（3DTV）也在不断发展，成为继高清电视之后的又一发展方向，近年来不断涌现的立体电影也促进了三维立体电视和立体显示技术的发展。多视点电视是立体电视的一个发展方向，相比传统的3D电视，多视点电视提供了多个视点的图像，可以使人们获得更好的立体体验。基于深度图的绘制（DIBR）技术为多视点电视的实现提供了理论基础和技术支撑，GPU的不断发展使得虚拟视点的高速合成成为可能。

目前国内外关于虚拟视点的合成还存在着有待解决的问题：

（1）参考视点图像经3D映射得到的虚拟视点图像出现伪影现象、细小的裂缝状空洞和稍大面积的空洞，不同类型的空洞处理方式不同，如何使修复后的图像更真实、更接近实际角度的图像依然是一个需要解决的问题。

（2）学术界提出了许多提高虚拟视点合成质量的合成算法以及图像修复算法，但是这些算法往往复杂度比较高，运行比较耗时，很难应用到实时性要求高的场合。

（3）现有的虚拟视点合成算法大都基于CPU实现，合成虚拟视点图像比较慢。近年来新一代GPU的出现推动了并行计算的发展，通过GPU加速可以多线程并行执行的应用成为可能。设计基于GPU多线程并行计算的虚拟视点合成算法、提高合成速度及合成质量也是一个有待解决的问题。

发明内容

本发明主要解决的技术问题是：针对现有技术的不足，提供一种基于GPU加速的虚拟视点合成方法，这种方法适合使用多线程并行实现，利用GPU并行特性可以加速虚拟视点图像的合成，同时采用该方法可以得到高质量的合成虚拟视点图像。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于GPU加速的虚拟视点合成方法，包括以下步骤：

（100）对左右两个参考视点的深度图像做平滑处理；

（200）通过3D映射将平滑处理后的左右两个参考视点的深度图像中各像素点的二维平面坐标还原到三维空间，得到各像素点在三维空间中的坐标；

（300）通过图形学API渲染操作，将各像素点在三维空间中的坐标投影到虚拟视点成像平面，得到合成虚拟视点图像；

（400）对合成虚拟视点图像中的不同大小的空洞进行填补，得到高质量的合成虚拟视点图像；

以上各步骤的执行都是通过GPU多线程实现的。

在本发明一个较佳实施例中，所述步骤（100）中的平滑处理为滤波平滑处理，用于减小左右两个参考视点的深度图像的深度值的不连续性，使深度的变化趋于平缓。

在本发明一个较佳实施例中，所述步骤（200）具体为：将平滑处理后的左右两个参考视点的深度图像中各像素点以二维平面坐标表示，深度图像提供对应像素点的深度值，根据由针孔相机模型得到的3D映射方程把二维平面坐标上的各像素点还原到在三维空间，得到三维空间中的世界坐标表示。

在本发明一个较佳实施例中，所述步骤（300）中，左右两个参考视点的深度图像中各像素点在三维空间中的坐标相同或相近时，其投影到虚拟视点成像平面时可能会重合在同一坐标位置，这时需要根据深度值判断像素点离虚拟视点成像平面的距离，取深度值较大的像素点；深度值的比较也称为Z-testing，使用图形学API将各像素点在三维空间中的坐标投影到虚拟视点成像平面时，Z-testing是自动执行的，无需再编码比较深度大小。

在本发明一个较佳实施例中，所述步骤（400）中对合成虚拟视点图像中的不同大小的空洞进行填补包括小空洞的填补修复和较大空洞的填补修复，先进行小空洞的填补修复，再进行较大空洞的填补修复。

在本发明一个较佳实施例中，所述小空洞为1-2个像素点。

在本发明一个较佳实施例中，所述小空洞包括背景区域像素点、前景区域像素点和空洞区域像素点三种类型，其填补修复方式具体为：取一个窗口区域，根据其中的不同类型的像素点个数来决定中心像素点可能属于哪一个类型，即统计窗口区域中属于前景区域像素点的个数、背景区域像素点的个数以及空洞区域像素点的个数，哪一类像素点的个数多，就认为该窗口区域的中心像素点属于哪一类，可以通过GPU多线程并行执行。

在本发明一个较佳实施例中，所述较大空洞为背景区域像素点和前景区域像素点的相交像素值，其填补修复时基于左右两个参考视点图像的深度值信息，由较大空洞的周边区域中属于背景区域像素点的像素值加权平均决定待修复的较大空洞的像素值；待修复的较大空洞的像素值无法从左右两个参考视点的深度图像得到，则认为待修复的较大空洞属于背景区域像素点，因此在选择像素点进行加权平均时，只选择背景区域像素点，即深度值较小的像素点，这样可以避免对较大空洞的周边区域取均值出现的模糊现象。

本发明的有益效果是：

（1）本发明在传统虚拟视点绘制方法基础上，改进算法执行方式，利用GPU多线程并行特性，可以提高虚拟视点合成的速度；

（2）本发明改进了空洞的填补算法，在保证虚拟视点合成速度的同时，提高了图像合成质量；

（3）本发明在将三维空间的像素点投影到虚拟视点成像平面时，利用图形学API实现，因其本身具有Z-testing功能，简化了图像融合过程；

（4）本发明中较大空洞的填补选用空洞周边属于背景区域的像素值加权平均得到，避免了使用所有周边像素值取平均所造成的模糊现象。

附图说明

图1是本发明一种基于GPU加速的虚拟视点合成方法的流程图；

图2是本发明一种基于GPU加速的虚拟视点合成方法的图像区域对应到GPU线程块的示意图；

图3是本发明一种基于GPU加速的虚拟视点合成方法的小空洞填补修复示意图；

图4是本发明一种基于GPU加速的虚拟视点合成方法的较大空洞填补修复示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1-4，本发明实施例包括：

一种基于GPU加速的虚拟视点合成方法，是在传统虚拟视点绘制方法的基础上，通过GPU并行计算，加速其绘制过程，通过改进空洞填补算法来提高虚拟视点图像绘制质量的方法，包括以下步骤：

（100）对左右两个参考视点的深度图像做平滑处理；所述平滑处理为滤波平滑处理，用于减小左右两个参考视点的深度图像的深度值的不连续性，使深度的变化趋于平缓，并减少后期合成虚拟视点图像中的空洞的数量，降低空洞填补修复的复杂度，进而提高虚拟视点图像的合成质量；

（200）通过3D映射将平滑处理后的左右两个参考视点的深度图像中各像素点的二维平面坐标还原到参考视点成像平面的三维空间，得到各像素点在参考视点成像平面的三维空间中的坐标；具体为：将平滑处理后的左右两个参考视点的深度图像中各像素点以二维平面坐标表示，深度图像提供对应像素点的深度值，根据由针孔相机模型得到的3D映射方程把二维平面坐标上的各像素点还原到在三维空间，得到三维空间中的世界坐标表示；

（300）通过图形学API渲染操作，将各像素点在参考视点成像平面的三维空间中的坐标投影到虚拟视点成像平面，得到合成虚拟视点图像；当左右两个参考视点的深度图像中各像素点在三维空间中的坐标相同或相近时，其投影到虚拟视点成像平面时可能会重合在同一坐标位置，这时需要根据深度值判断像素点离虚拟视点成像平面的距离，取深度值较大的像素点；深度值的比较也称为Z-testing，使用图形学API将各像素点在三维空间中的坐标投影到虚拟视点成像平面时，Z-testing是自动执行的，无需再编码比较深度大小；

（400）对合成虚拟视点图像中的不同大小的空洞进行填补，得到高质量的合成虚拟视点图像；其中，对合成虚拟视点图像中的不同大小的空洞进行填补包括小空洞的填补修复和较大空洞的填补修复，先进行小空洞的填补修复，再进行较大空洞的填补修复；

所述小空洞为1-2个像素点，其包括背景区域像素点、前景区域像素点和空洞区域像素点三种类型，其填补修复方式具体为：取一个窗口区域，根据其中的不同类型的像素点个数来决定中心像素点可能属于哪一个类型，即统计窗口区域中属于前景区域像素点的个数、背景区域像素点的个数以及空洞区域像素点的个数，哪一类像素点的个数多，就认为该窗口区域的中心像素点属于哪一类，可以通过GPU多线程并行执行；

所述较大空洞为背景区域像素点和前景区域像素点的相交像素值，其填补修复时基于左右两个参考视点图像的深度值信息，由较大空洞的周边区域中属于背景区域像素点的像素值加权平均决定待修复的较大空洞的像素值；待修复的较大空洞的像素值无法从左右两个参考视点的深度图像得到，则认为待修复的较大空洞属于背景区域像素点，因此在选择像素点进行加权平均时，只选择背景区域像素点，即深度值较小的像素点，这样可以避免对较大空洞的周边区域取均值出现的模糊现象；

以上各步骤的执行都是通过GPU多线程实现的。

如图1所示，本发明主要包括两个过程，即：3D映射和空洞填补，下面针对每一部分进行详细说明：

1、3D映射：

本发明用到的关键技术之一是基于深度图的绘制（DIBR）技术，其理论基础是L. McMillan于1997年提出的3D映射方程（3D Warping），该方程是根据针孔相机模型推导得出的。三维空间中的一点P_w的齐次坐标形式为：P_w=（X_w，Y_w，Z_w，1）^T，将其投影到参考视点成像平面和虚拟视点成像平面分别得到点p₁、p₂。

根据针孔相机模型，三维空间中的点P_w有如下表示：

P_w=(K_iR_i)^-1(λ_ip_i+K_iR_iC_i)                （公式1）

其中，矩阵R_i是相机i的旋转矩阵，表示相机的方向；矩阵K_i是3×3的内参矩阵；C_i表示相机中心坐标；λ_i是相应相机的齐次比例因子。通过三维空间中的点P_w把p₁、p₂联系在一起，在已知p₁的情况下，得到p₂的表示如下：

λ₂p₂=K₂R₂K₁ ^-1 Z_w p₁ -K₂R₂C₂             （公式2）

上式就是根据针孔相机模型得到的3D映射方程，根据该式可以由左右两个参考视点的深度图像上的像素点的二维平面坐标变换到虚拟视点成像平面上对应像素点的三维空间坐标。

在进行3D映射之前，为了合成虚拟视点图像中空洞的数量和可能出现的伪影现象，需要对参考视点的深度图像进行滤波平滑处理，使深度变化更加缓和，减弱深度值的不连续性。

（1）还原为三维空间坐标：

根据参考视点的深度图像，把参考视点的深度图像中各像素点的二维平面坐标还原到参考视点成像平面的三维空间，得到其在参考视点成像平面的三维空间坐标表示。这一步骤中，每一个像素点的坐标的转换都是彼此独立的，适合并行运算。

CUDA是NVIDIA公司推出的一种基于NVIDIA GPU的并行计算框架，可以充分利用GPU高密度并行的特点来解决复杂问题。如图2所示，可以将图像分成不同的区块，每一块对应到GPU的每一个线程块（Block），每一个区块中的所有像素点对应到GPU线程块（Block）中的每一个GPU线程（Thread）。这样可以使得每一个GPU线程计算一个像素点的坐标，而且彼此之间是相互独立的，达到最大的并行度，减少运算时间。

运算过程为：参考视点相机参数R_i、K_i、C_i是已知的，参考视点的深度图像中每一个像素点都对应一个二维平面上的坐标，即p₁。利用公式1可以计算出p₁对应的三维空间坐标。

（2）投影到虚拟视点成像平面：

通过上一步把左右两个参考视点的深度图像中各像素点的二维平面坐标还原到参考视点成像平面的三维空间。为了得到虚拟视点图像，需要将各像素点在参考视点成像平面的三维空间中的坐标投影到虚拟视点成像平面。这是一个典型的图像学渲染问题，用图形学API（OpenGL、DirectX）方便实现。

如果使用CUDA实现，需要比较参考视点的深度图像的深度值的大小，以判断各像素点之间的遮挡关系，决定投影到虚拟视点成像平面上的像素点的取值，而且在进行各像素点的坐标计算时，坐标值不可避免的出现小数，这就需要进行取舍。而直接使用图形学API将各像素点在参考视点成像平面的三维空间中的坐标投影到虚拟视点成像平面，就无需考虑深度值的大小和坐标值的取舍问题，OpenGL、DirectX等图形学API都具有Z-testing功能，在投影计算中会自动判断各像素点的前后位置。

2、空洞填补：

通过3D映射得到了合成虚拟视点图像，但是此时的图像并不是完美的，会有一些大小不同的空洞。较小的空洞一般为1-2个像素大小，处理方式与较大空洞的处理方式不同。较大空洞的信息在左右两个参考视点的深度图像中是不存在的，主要由遮挡关系发生改变而产生，其包含的信息主要是背景区域，因此填补时主要搜索空洞周边的背景区域像素点，通过加权平均得到。

（1）小空洞的填补修复：

如图3所示，首先把合成虚拟视点图像中的所有像素点分为三类：背景区域像素点（图中用2表示）、前景区域像素点（图中用1表示）和空洞区域像素点（图中用0表示）。取5×5大小的窗口，中心像素点是目标像素点，通过统计窗口中不同类型像素点的数目来决定目标像素点的像素值。遍历整幅图像可以修复大量小空洞，剩余的空洞部分将作为较大空洞在下一步来填补修复，在执行过程中可以把每一个窗口的统计比较对应到不同的GPU线程，加速修复过程。

具体算法如下：每一个目标像素点使用一个GPU线程来处理，已达到并行最大化。以目标像素点为中心取一块5×5大小的窗口，统计其中的三类像素点的数目，用N_background、N_foreground、N_disocclusion表示。如果N_disocclusion＞N_foreground且 N_disocclusion＞N_background，则目标像素点作为空洞；如果N_background＞N_foreground，则窗口内所有背景像素点取平均值，赋值给目标像素点；如果N_foreground＞N_background，则窗口内所有前景像素点取平均值，赋值给目标像素点。

（2）较大空洞的填补修复：

上一步处理完之后剩余的空洞一般都是区域稍大的空洞，称为较大空洞，主要出现在前景区域、背景区域相交的位置。我们假定缺失的区域信息属于背景区域的信息，可以使用空洞边缘的像素点，根据深度值的大小来决定空洞的像素值。图4所示为较大空洞的填补修复示意图，主要包含三个步骤。

第一，针对空洞区域内的每一个像素点P(u，v)，搜索以其为中心的8个方向上的边缘像素点；

第二，搜索到8个像素点之后，通过深度值的比较，丢弃属于前景区域的像素点，只保留属于背景区域的像素点，同时计算这些像素点到P(u，v)的距离d_i；

第三，根据余下的几个方向上的边缘像素点信息加权平均得到像素点P(u，v)的信息，计算公式如下：

      其中，f_i=0表示前景区域，f_i=t_i表示背景区域；O表示空洞区域，N=8表示8个方向的像素点，d_i代表8个像素点与像素点P(u，v)之间的距离，t代表边缘像素点的像素值，即RGB值。从以上公式可以看出，距离像素点P(u，v)越近的像素点贡献越大。因为只考虑边缘的背景区域像素点，不会出现因考虑所有边缘像素点而产生的模糊现象。

本发明揭示了一种基于GPU加速的虚拟视点合成方法，利用基于深度图像的绘制（DIBR）技术和GPU多线程并行特性来加速合成高质量的虚拟视点图像，能够利用GPU强大的并行计算能力，对传统的虚拟视点合成算法进行加速，有效的减少绘制时间，并可以为实时虚拟视点合成提供很大的借鉴。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于GPU加速的虚拟视点合成方法，其特征在于，包括以下步骤：

（100）对左右两个参考视点的深度图像做平滑处理；

（200）通过3D映射将平滑处理后的左右两个参考视点的深度图像中各像素点的二维平面坐标还原到三维空间，得到各像素点在三维空间中的坐标；

（300）通过图形学API渲染操作，将各像素点在三维空间中的坐标投影到虚拟视点成像平面，得到合成虚拟视点图像；

（400）对合成虚拟视点图像中的不同大小的空洞进行填补，得到高质量的合成虚拟视点图像；

以上各步骤的执行都是通过GPU多线程实现的。

2.根据权利要求1所述的一种基于GPU加速的虚拟视点合成方法，其特征在于，所述步骤（100）中的平滑处理为滤波平滑处理，用于减小左右两个参考视点的深度图像的深度值的不连续性，使深度的变化趋于平缓。

3.根据权利要求1所述的一种基于GPU加速的虚拟视点合成方法，其特征在于，所述步骤（200）具体为：将平滑处理后的左右两个参考视点的深度图像中各像素点以二维平面坐标表示，深度图像提供对应像素点的深度值，根据由针孔相机模型得到的3D映射方程把二维平面坐标上的各像素点还原到在三维空间，得到三维空间中的世界坐标表示。

4.根据权利要求1所述的一种基于GPU加速的虚拟视点合成方法，其特征在于，所述步骤（300）中，左右两个参考视点的深度图像中各像素点在三维空间中的坐标相同或相近时，其投影到虚拟视点成像平面时可能会重合在同一坐标位置，这时需要根据深度值判断像素点离虚拟视点成像平面的距离，取深度值较大的像素点；深度值的比较也称为Z-testing，使用图形学API将各像素点在三维空间中的坐标投影到虚拟视点成像平面时，Z-testing是自动执行的，无需再编码比较深度大小。

5.根据权利要求1所述的一种基于GPU加速的虚拟视点合成方法，其特征在于，所述步骤（400）中对合成虚拟视点图像中的不同大小的空洞进行填补包括小空洞的填补修复和较大空洞的填补修复，先进行小空洞的填补修复，再进行较大空洞的填补修复。

6.根据权利要求5所述的一种基于GPU加速的虚拟视点合成方法，其特征在于，所述小空洞为1-2个像素点。

7.根据权利要求6所述的一种基于GPU加速的虚拟视点合成方法，其特征在于，所述小空洞包括背景区域像素点、前景区域像素点和空洞区域像素点三种类型，其填补修复方式具体为：取一个窗口区域，根据其中的不同类型的像素点个数来决定中心像素点可能属于哪一个类型，即统计窗口区域中属于前景区域像素点的个数、背景区域像素点的个数以及空洞区域像素点的个数，哪一类像素点的个数多，就认为该窗口区域的中心像素点属于哪一类，可以通过GPU多线程并行执行。

8.根据权利要求5所述的一种基于GPU加速的虚拟视点合成方法，其特征在于，所述较大空洞为背景区域像素点和前景区域像素点的相交像素值，其填补修复时基于左右两个参考视点图像的深度值信息，由较大空洞的周边区域中属于背景区域像素点的像素值加权平均决定待修复的较大空洞的像素值；待修复的较大空洞的像素值无法从左右两个参考视点的深度图像得到，则认为待修复的较大空洞属于背景区域像素点，因此在选择像素点进行加权平均时，只选择背景区域像素点，即深度值较小的像素点，这样可以避免对较大空洞的周边区域取均值出现的模糊现象。