CN102915559A - 一种基于三维点云的实时透明物体gpu并行生成方法 - Google Patents

Abstract

一种基于三维点云的实时透明物体GPU并行生成方法，步骤为：（1）生成背景贴图,非透明物体；（2）生成透明物体几何缓冲,生成球体的方式生成所有三维点，利用硬件深度检测获得近视平面的深度值，同时保存透明物体材质信息；（3）平滑深度,用几何缓冲中的深度信息，对深度值进行平滑滤波从而获得光滑表面；（4）计算透明物体厚度,生成所有三维点，利用硬件Alpha混合计算透明物体厚度；（5）透明物体着色,用深度值及材质信息对透明物体进行光照计算，利用厚度值计算透明物体的折射反射属性，再利用背景贴图以完成着色。本发明避免了传统方法中表面重建的步骤，可以满足百万级别基于点云的透明物体实时生成的需求。

Description

一种基于三维点云的实时透明物体GPU并行生成方法

技术领域

本发明是一种利用对深度图平滑滤波的方法从数值仿真或者采集得到的三维点云中直接生成出透明物体的GPU并行技术，用于真实感虚拟现实环境中透明物体的生成。

背景技术

在透明物体建模过程中常常通过采集或者是仿真的方法获得物体的的点云表示，如通过三维扫描仪可以直接获得真实物体表面的大量离散点的空间位置。另外，可交互的流体的仿真作为透明物体主要的生成方法常常使用光滑流体动力学（Smoothed Particle Hydrodynamics，简称SPH）。文献1-Gingold RA,Monaghan JJ(1977)Smoothed particle hydrodynamics—theory and application tonon-spherical stars.Mon Not R Astron Soc181:375389首先提出了SPH方法，SPH方法是用大量离散的粒子近似表示流体，通过核函数逼近和粒子逼近实现流体的仿真，整个过程是在连续域中实现的，不但可以处理大变形的物体，而且对于细节问题也有很好的效果。

对于原始点云表示的透明物体的真实感生成，传统的方法需要重建表面，常用的表面重建方法首先定义一种标量场，如密度场，使用特定的核函数对点云在定义的采样空间内进行卷积运算得到透明物体几何的离散标量场；接着使用构建隐式表面的方法或者直接生成的方法对追踪得到的流体表面进行生成。文献2-LORENSEN,W.E.,AND CLINE,H.E.1987.Marching cubes:A highresolution3d surface construction algorithm.SIGGRAPH Comput.Graph.21,4,163169.在构建隐式表面然后再使用Marching Cubes算法对流体进行生成。文献3-Fraedrich,R.;Auer,S.;Westermann,R."Efficient High-Quality VolumeRendering of SPH Data,"Visualization and Computer Graphics,IEEE Transactionson,vol.16,no.6,pp.1533-1540,Nov.-Dec.2010提出一种与视点相关的透视网格算法，对于不同视点实时构造透视网格对点云数据采样接着使用改进过的Raycasting算法直接生成透明物体表面。使用上述方法需要对于每一帧都需要构建整个标量场再追踪表面最后生成物体，计算规模大访存开销大，难以满足实时应用程序要求，文献4-Müller,M.,SCHIRM,S.,AND DUTHALER,S.2007.Screen space meshes.In SCA’07:Proceedings of the2007ACM SIG-GRAPH/Eurographics symposium on Computer animation,EurographicsAssociation,Aire-la-Ville,Switzerland,Switzerland,915.提出了在眼坐标系中生成三维点云的边界作为网格的方法，这种方法只构造透明物体的可见表面，首先计算屏幕空间内每个像素的深度，接着光滑获得的深度图然后从深度图中构造多边形网格，但是这种方法构造的深度图不能直接映射到GPU上，同时构造网格的过程也是复杂的计算过程。对于需要进行重新采样获得标量场进而追踪表面的方法来说，重采样的过程本身难以保证原始信号的细节，在之后的表面追踪过程中又会导致原始物体细节的进一步丢失，而且重建表面的过程往往会存在计算量大、放存次数多的问题，难以适应实时或者可交互级别程序的应用；在眼坐标系中构建网格的方法虽然不需要构建中间标量场，但是直接从点云中构造网格的速度随着点的数量增加而变慢，同样难以对大规模的点云进行透明物体的实时生成。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种与视点相关的三维点云表示的透明物体直接生成方法，该方法不需要构建中间标量场，直接使用原始的点云数据，保持了透明物体的细节，同时该方法是一种与视点相关的方法，可以利用硬件剔除大量不可见的点，使计算量小，此外该方法对于硬件要求不高，可以适应不同平台对实时性和交互性的要求便于不同平台的移植。

本发明的技术解决方案：一种基于三维点云的实时透明物体GPU并行生成方法，其特点在于步骤如下：

（1）生成背景贴图；

（2）生成透明物体的几何缓冲，将点云作为球体进行生成，利用硬件深度检测获得近视平面的深度值，同时在着色器中计算并保存透明物体材质信息；

（3）利用几何缓冲中的深度信息，平滑深度；

（4）再次使用球体生成所有三维点，计算透明物体厚度；

（5）透明物体着色，利用几何缓冲对透明物体使用光照算法进行光照计算，利用厚度值计算透明物体的折射反射光线，并利用折射光线对背景贴图采样获得当前像素点的背景颜色，最后通过融合操作以完成着色。

所述步骤（1）生成背景贴图时根据场景规模和光照情况选择不同的生成方法，场景中不透明物体数量N_s与光源数量N_l的比值

为v，设定一个阈值n，当v＜n的时候使用延时绘制管线，否则使用传统的绘制管线。

所述步骤（2）中生成透明物体几何缓冲时，使用精灵点算法生成所有三维点，同时修正当前所在像素的深度值；利用步骤（1）中保留的深度值，使用深度检测方法可以对不可见的三维点进行剔除从而大幅度减少实际生成的三维点数目。

对生成三维点后所在像素深度值的过程为：

根据相机的位置计算精灵点大小：

修正当前像素位置的深度值：当前像素表示的点在眼坐标系中的位置为P_sye，法向量为N_p，投影矩阵为M_p，则在此位置的投影坐标为：P_prj＝M_p(P_sye+s_pN_p)，修正后的深度值为：

所述步骤（3）中平滑深度将双边滤波器（bilateral filter）分为横向和纵向两个方向依此对输入图像进行平滑。

所述步骤（4）中计算透明物体厚度时，在当前相机位置使用原图相1/4的分辨率生成场景中透明物体，此时开启硬件的Alpha混合的相加模式，当前点的厚度值为：

所述步骤（5）中透明物体与背景融合的步骤为：

对于当前像素，在透明物体对应的几何缓冲中采样s，若s_a＞0，利用s_x、s_y、s_z重建眼坐标系中的位置P_sye；

重建法向量，以当前点为中心，分别在上下左右各个方向对相邻像素采样并重建眼坐标系坐标，在获得的4个点中计算局部包围盒:L_bb＝{mjn(x，y，z)，max(x，y，z)}，则当前点法向量:N_O＝normalize(L_bb(min)×L_bb(max));

采用Phong模型计算当前点的颜色值C_o；

在厚度贴图中采样，获得当前点厚度值T_o，同时利用P_sye和N_O根据折射定律计算折射光线方向L_r；

从背景贴图中根据L_r采样获得新的颜色值C_b，按照

得到最终当前像素的颜色。

本发明的原理：本发明的核心是直接从原始三维点云中构造透明物体的可视面的法向量，再利用alpha混合估计透明物体相对于视平面的厚度从而逼真的生成透明物体。本发明步骤（2）和（3）就是为重建法向量提供可视面的深度值，步骤（4）是估计透明物体相对于视平面的厚度为之后的着色提供信息，有了以上信息就可以在步骤（5）中重建透明物体光滑的法向量，实现透明物体的真实感生成。

本发明与现有技术相比的优点在于：

（1）直接使用原始三维点云数据，避免了传统构建标量场再追踪表面对采集或者仿真数据部分信息的丢失，最大程度的保持了原有数据的细节。

（2）生成速度快，本发明的所有步骤均可以直接在GPU上执行，最大利用了GPU单指令多线程（SIMT）的特点，并行程度高，整个生成过程均充满生成流水线，大幅度提高生成速度。

（3）支持大规模场景生成，本发明是一种视点相关的生成方法，利用硬件剔除大量不可见点，生成时仅仅生成可视点，从而支持从几千到几百万点的实时高质量生成。

（4）便于集成，本发明从引擎设计角度考虑，可以看作是对生成结果的后期处理，同时支持向前绘制管线和延时绘制管线，能够方便的集成到通用的绘制引擎和游戏引擎中，可以提高虚拟场景的真实感，如视频游戏的室外水面场景，液体流动的场景，视景仿真中的湖面、海面，三维重建中的透明物体可视化等等。

（5）算法可移植性强，本发明所述步骤均可以在Shader Model3.0的硬件设备上实现，对硬件要求低，便于不同平台的移植。

附图说明

图1为本发明算法流程图；

图2A为透明物体几何缓冲布局示意图；

图2B为透明物体颜色分量布局示意图；

图2C为吸收系数分量布局示意图；

图2D为透明属性分量布局示意图；

图3为透明物体几何缓冲构造步骤示意图；

图4为重构法向量示意图。

具体实施方式

如图1所示，本发明具体实现步骤如下：

步骤S101，步骤S101中，生成背景贴图时根据场景规模光照情况选择不同的生成方法，选择的过程是，假设场景中不透明物体的数量为N_s，场景中光源数量为N₁，二者的比值

用户设定阈值为n，当v＜n的时候使用基于屏幕空间的绘制管线，否则使用传统的绘制管线。在选择了特定的生成方法后开启帧缓冲（Frame Buffer），生成场景到纹理中形成背景贴图，如果使用传统管线生成时在设置帧缓冲的时候需要附加深度贴图，这是因为在步骤S105中需要利用背景贴图的深度信息进行计算和融合，如果选择的是屏幕空间的生成方法则可以重复利用其几何缓冲中的深度信息。

本发明在v＜n时采用的屏幕空间生成方法为延时着色（Deferred Shading）的方法，与传统向前的光栅化方法不同的是，它将几何生成和光源着色解耦合。延时着色有两部分组成，分别是几何处理阶段和光照计算阶段。几何处理阶段是唯一使用场景中几何物体数据的阶段，这个阶段负责将场景中的定点变换到眼坐标系中，同时将几何和材质信息如定点的位置、法向量的方向、漫反射的颜色等填充到几何缓冲（G-Buffer）中。在光照计算过程中利用G-Buffer中的信息和光源的属性，通过纹理运算对每一个像素进行光照计算。

步骤S102生成透明物体几何缓冲，在开启帧缓冲的情况下使用精灵点方法生成所有三维点，此时利用步骤S101中获得的背景物体的深度图，开启硬件深度检测，同时保证深度缓冲为可写状态，此步骤的目的是在S105中融合使用。

生成时首先在顶点处理时确定精灵点的大小，精灵点的大小由公式：

计算获得，其中v_s为点的默认大小，d为当前点距离相机的距离，a为用户指定的缩放系数，通过调整a的值，用户可以影响最终生成的效果。

在片段处理阶段如图3所示，透明物体S301中经过顶点变换后首先需要对精灵点的深度值进行修正，深度值的修正过程为，假设当前像素在眼坐标系中的位置为P_sye，法向量为N_p，投影矩阵为M_p，则在此位置的投影坐标为：P_prj＝M_p(P_sye+s_pN_p)，修正后的深度值为：

其中z、w表示投影坐标第三、第四分量。

S301修正深度后，新的深度值通过片段着色器（Fragment Shader）写入硬件的深度缓冲，同时按照图2所示的布局生成透明物体的几何缓冲输出为S303。

透明物体几何缓冲S302由4通道构成，本发明中在S102生成的几何缓冲使用32位4通道的浮点纹理作为输出纹理，其中RGBA4个通道分别存放相应的几何属性201，本发明中使用打包（Pack）的方式利用几何缓冲中剩余的二进制位保存了透明物体的材质属性202-204。

具体而言，其中：

201为32位保存浮点数：经过深度修正后，当前点在眼坐标系中z值的大小；

202为32位打包值，保存透明物体的颜色，如图中所示透明物体颜色的RGB值分别占存储的8位信息用来描述透明物体的颜色；

203为32位打包值，吸收属性的系数，由于透明物体有一定的厚度，光在透明物体内传播会有一定色衰减，其中不同的频率衰减程度不同，因此使用三个8位二级制数来表示在光在RGB三个通道上的衰减系数如题2C中206所示；

204为32位打包值，保存了透明物体的透明属性值，如图2D中207所示，其中使用16比特位保存透明物体的折射率（Index of Refraction），剩余的8比特位保存了透明物体的透明度Alpha，透明度与透明物体的颜色值共同决定了在S105中着色情况以及透明物体的外观表现。

本发明在步骤S102中使用深度检测算法可以对不可见的三维点进行剔除从而大幅度减少实际生成的三维点数目。

步骤S103平滑透明物体几何缓冲中的深度值，这里指的深度值特指步骤S102中几何缓冲在眼坐标系中的Z值，即201所示的P_sye(z)。本发明中深度平滑使用双边滤波器（bilateral filter）对输入图像分为横向和纵向两个方向依此进行平滑。传统的高斯平滑只考虑了图像中主要的不同颜色区域，会导致平滑后的深度在边缘处出现模糊的现象，而双边滤波是在高斯滤波中加入了另外的权重，在本发明中考虑的权重为像素间的相似度s(ξ，x)以及深度值之间的空间距离c(ξ，x)的相似度，进行滤波：

$k_T\left(x\right)={\∫}_{-\∞}^{\∞}{\∫}_{-\∞}^{\∞}c(\mathrm{\ξ},x)s(f\left(\mathrm{\ξ}\right),f\left(x\right))\mathrm{d\ξ}$

上式中单位化k_r(x)是综合了当前像素值和空间位置的两种权重，使用s(f(ξ),f(x))对当前点按照分布函数f(ξ)和f(x)进行采样，c(ξ，x)为：

而s(ξ，x)的定义为：

$s(\mathrm{\ξ},x)=e^{\begin{array}{c}1\\ 2\end{array}{\left(\begin{array}{c}\mathrm{\σ}(f\left(\mathrm{\ξ}\right),f\left(x\right))\\ {\mathrm{\σ}}_d\end{array}\right)}^2}$

式中σ_d为当前像素在深度方向的导数，σ(f(ξ)，f(x))为当前像素在图像上的导数、通过调整滤波的参数使得深度缓冲区中的值变的光滑，这是为了在S105中重建法向量。

步骤S104计算透明物体厚度，在当前相机位置对原图进行下采样，本发明使用原图的

分辨率再次使用精灵点算法生成场景中透明物体，生成此时开启硬件的Alpha并且设置混合模式为相加模式，同时关闭硬件的深度检测，但是保持深度缓冲为可读的状态，利用S101得到的深度缓冲作为本次生成的深度缓冲，精灵点的大小与S102中的计算方法相同，计算当前点的厚度值的公式：

$T=N_z{e}^{-2r^2}$

计算得到的厚度值打包写入8位三通道的帧缓冲中。其中，N_z为当前像素位置上几何物体法向量在z方向的分量，r为用户指定的厚度值，由于厚度图的生成采用

的分辨率，在S105计算融合时再次使用原始分辨率，利用硬件对于纹理的自动三线性插值的特性可以平滑厚度图。

步骤S105，前后景着色融合。此步骤中在屏幕空间中进行，对于当前视口大小设置正交投影矩阵，生成矩形，在片段着色器中进行透明物体的着色与前后景的融合。

首先对于当前像素，在透明物体对应的几何缓冲中采样s，

根据采样的结果s，若采样结果的alpha分量s_a＞0，则此像素包含透明物体对透明物体着色并融合，否则，从背景图中直接拷贝背景像素信息。利用采样结果的x分量s_x重建眼坐标系中的位置P_sye：

P_sye＝(-uv(x，y)(f_x，f_y)z_sye，z_sye)

其中z_sye-s_x，uv(x，y)为当前像素在屏幕空间中的坐标，f_x和f_y由当前生成的帧缓冲大小以及视场角fov（Field of View）计算得出：

f_x＝tan(fov)*aspect，f_y＝tan(fov)

根据重建出的眼坐标可以计算当前像素在眼坐标系下的法向量。

眼坐标系下的法向量，以当前点401为中心，分别在上下左右各个方向402对相邻像素采样并按上述方法重建眼坐标系坐标，在获得的4个点中计算局部包围盒403所示:

L_bb-{min(x，y，z)，max(x，y，z)}

则当前点法向量:

N_O＝normalize(L_bb(min)×L_bb(max))

N_O为401在屏幕空间的法向量。

利用P_sye和N_O采用传统的Phong模型计算401的颜色值C_o，接着在厚度贴图中采样，获得401处的厚度值T_o。

在S102获得的透明物体几何缓冲中获得透明物体在401处的属性值，根据折射定律计算折射光线方向L_r，最后从背景贴图中根据L_r采样获得新的颜色值C_b，按照

得到最终当前像素的颜色。

Claims (7)

1.一种基于三维点云的实时透明物体GPU并行生成方法，其特征步骤如下：

（1）生成背景贴图；

（2）生成透明物体的几何缓冲，按球体生成点云，利用硬件深度检测获得近视平面的深度值，同时在着色器中计算并保存透明物体材质信息；

（3）利用几何缓冲中的深度信息，平滑深度；

（4）再次按球体生成点云，利用硬件Alpha混合累加计算透明物体厚度；

（5）透明物体着色，利用几何缓冲对透明物体使用光照算法进行光照计算，利用厚度值计算透明物体的折射反射光线，并利用折射光线对背景贴图采样获得当前像素点的背景颜色，最后通过融合操作完成着色。

2.根据权利要求1所述的基于三维点云的实时透明物体GPU并行生成方法，其特征在于：所述步骤（1）中，生成背景贴图时根据场景规模和光照情况选择不同的生成方法，场景中不透明物体数量N_s与光源数量N_l的比值

为v，设定一个阈值n，当v＜n的时候使用延时绘制管线，否则使用传统的绘制管线。

3.根据权利要求1所述的基于三维点云的实时透明物体GPU并行生成方法，其特征在于：所述步骤（2）中，生成透明物体几何缓冲时，使用精灵点方法生成所有三维点，同时修正当前所在像素的深度值；利用步骤（1）中保留的深度值，使用深度检测方法可以对不可见的三维点进行剔除，从而大幅度减少实际生成的三维点数目。

4.根据权利要求1所述的基于三维点云的实时透明物体GPU并行生成方法，其特征在于：所述步骤（3）中，平滑深度将双边滤波器分为横向和纵向两个方向依次对输入图像进行平滑。

5.根据权利要求1所述的基于三维点云的实时透明物体GPU并行生成方法，其特征在于：所述步骤（4）中，计算透明物体厚度时，在当前相机位置使用原图像1/4的分辨率生成场景中透明物体，此时开启硬件的Alpha混合的相加模式，当前点的厚度值为：

其中N_z为当前像素位置上物体法向量在z方向的分量，r为用户指定的厚度值。

6.根据权利要求1所述的基于三维点云的实时透明物体GPU并行生成方法，其特征在于：所述步骤（5）中，透明物体与背景融合的步骤为：

对于当前像素，在透明物体对应的几何缓冲中采样s，若其中alpha分量s_a＞0，利用分量s_x、s_y和s_z重建眼坐标系中的位置P_sye；

重建法向量，以当前点为中心，分别在上下左右各个方向对相邻像素采样并重建眼坐标系坐标，在获得的4个点中计算局部包围盒:L_bb＝{min(x，y，z)max(x，y，z)}，则当前点法向量:N_O＝normalize(Lbb(min)×Lbb(max));

采用Phong模型计算当前点的颜色值C_o；

在厚度贴图中采样，获得当前点厚度值T_o，同时利用P_sye和N_O根据折射定律计算折射光线方向L_r；

从背景贴图中根据L_r采样获得新的颜色值C_b，按照

得到最终当前像素的颜色。

7.根据权利要求3所述的基于三维点云的实时透明物体生成方法，其特征在于：生成精灵点时修正深度值的过程为：

根据相机的位置计算精灵点大小：

其中v_s为点的默认大小，d为当前点距离相机的距离，a为用户指定的缩放系数；

修正当前像素位置的深度值：当前像素表示的点在眼坐标系中的位置为P_sye，法向量为N_p，投影矩阵为M_p，则在此位置的投影坐标为：

P_prj＝M_p(P_sye+s_pN_p)，修正后的深度值为：

其中z、w表示投影生成第三、第四分量。

Images