CN105006021B - 一种适用于快速点云三维重建的颜色映射方法及装置 - Google Patents

Abstract

本发明公开了一种适用于快速点云三维重建的颜色映射方法及装置。该方法的具体步骤包括：无序点云的快速三角化；图片RGB纹理信息和内外参读取；二维图像平滑和预处理；根据内外参进行纹理映射；判断互遮挡与未上色面片索引。其实现的装置包括依次相连的点云快速三角化模块、输入读取模块、图像预处理模块、纹理映射模块、遮挡判断模块、上色点云输出模块。本发明适用于无序点云场景的快速上色，特别是对于点云稠密度较低的点云可以还原其RGB信息，做到不因点云的密度而损失分辨率。

Description

一种适用于快速点云三维重建的颜色映射方法及装置

技术领域

本发明属于三维重建技术领域，特别涉及一种适用于三维重建的颜色映射方法方法及其装置。

背景技术

现有三维信息的获取方式主要可以归纳为以下三种：

第一种方法，利用激光扫描仪、kinect等设备直接获取深度。以深度摄像头Kinect距离，它通过TOF(Time of Flight)的方法确定环境的深度。具体来讲，就是传感器发出经过调制的近红外光，遇到物体后近红外光被反射，传感器通过计算光线发射和反射的时间差和相位差，来换算被拍摄物体的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。其测量范围可达数米、精度小于2cm，每秒更新频率可达30～60fps。这种方法具有简单易操作的优点，而且速度快，精度适中，只需要用设备扫描需要拍摄的场景，随后可以对拍摄的深度视频进行线下的处理从而得到深度图。

第二种方法，利用建模软件构建物体的三维模型。比如使用3Dsmax、maya、autoCAD等工程制图软件，就可以在虚拟世界中建立三维场景。这种方法在游戏设计和动画设计中非常常用。其缺点是需要大量的人工操作，如上色，贴图等。其次，虚拟世界的场景无法重建出太多的现实细节，尤其是对于不规则物体的创建。这也就局限了第二种方法的应用。

第三种是基于二维图像的三维重建方法。采用图像和视频流的三维重建技术，利用相机的投影和位置关系，可以通过双目视觉的方法反算某一点在三维世界中的坐标，从而得到稠密的三维点云。这种方法的优点是其使用的设备很灵活，比如一台或几台照相机，或者一台摄像机，成本很低；采集的地点也很随意，室外和是内场景均可。可以说是一种性价比很高的方法。但是其缺点是后期的算法需要经过精细的设计，需要很强大的后期算法支持作为重建的保证。这也就降低或者抹杀了这种方法在实时场景重建方面的应用。

关于三维场景的颜色映射方法主要可以归纳为下面两种：

第一种方法，使用点云自带的RGB信息进行融合，在输出的三维场景将自带颜色。这种方法意在解决点云融合部分的颜色重复和去冗余问题，主要手段有泊松blending。这种方法可以将不同视角的带颜色的点云融合成一片点云。其优点是对于点云密度较高的输入，blending可以有效地弥合光照的变化，使得颜色均匀，同时对于冗余的部分，blending方法可以非常好地将冗余点去除，得到较为精细的三维场景。

第二种方法是拍摄场景的二维图像并记录拍摄时相机的内外参数，在获得无序无色点云后使用映射方法将二维纹理映射到三维点云上，将三维场景的数据和相机位参，对应场景的RGB纹理分别读入，而后通过判断遮挡将可信部分通过内外参数直接映射至三维场景。这种方法的优点在于对于低密度点云和较低分辨率的RGB纹理，本方法可以有效地保留尽可能多的细节，避免由于点云过于稀疏所造成的对纹理下采样的情况发生。

发明内容

基于以上现有技术，本发明的目的在于提供一种全新的适用于快速点云三维重建的颜色映射方法及装置，有效地填补了快速重建领域的颜色映射方法的空白，特别对稀疏点云的颜色映射有着非常好的效果。

实现本发明目的的技术解决方案为：

一种适用于快速点云三维重建的颜色映射方法，具体步骤如下：

S1，将无序点云进行快速三角化，得到基于面片的三维模型；

S2，读入场景的RGB纹理信息和拍摄纹理信息时相机的位参并进行预处理，将对应位置的RGB信息和对应相机的位参信息按对应位置读入相应数组；使用图像平滑及直方图均衡化方法将多幅RGB纹理信息进行彩色矫正；

S3：取步骤S1的面片作为输入面片，判断面片在某视角下是否可见并标记，将输入面片索引依次使用内外参数映射至当前视角，判断是否在相机视角内，如果在视角内，那么标记为视场内可见并输出；

S4：检视前面所有视角，判断当前视角内面片是否被前面视角遮挡，并改变标记，依次取步骤S3输出的视角内可见的面片，判断前面所有视角已染色好的面片与需要投影的面片的遮挡关系，如被遮挡，去掉标记，否则保留标记；

S5：将视角内且未被遮挡的面片与当前视角的RGB纹理建立映射，使用内外参数将在视场内且未被遮挡的面片投影至RGB的三角面片上，建立映射关系；

S6：取出所有未被标记的面片压入下一个视角作为步骤S3的输入面片，将步骤S3～S5中未被标记的面片作为新视角的输入，重复进行步骤S3直到所有视角均已映射完毕；

S7：所有视角映射结束后，按映射关系将点云上色，使用步骤S3～S6所建立的三维面片和RGB纹理的映射关系映射点云，输出彩色三维场景。

步骤S2中图像预处理的方法为：根据图像拍摄所自带的时间连续性，输入拍摄的图像组，依次对图像进行直方图均衡化处理，得到光照较为一致的RGB纹理，便于后面进行映射。

步骤S3的具体步骤包括：将面片的三个顶点乘以内外参矩阵，得到在该视角下的投影二维坐标，判断二维坐标是否在拍摄的图片像素坐标范围内，如果三个顶点都在，那么将面片标记为视场内可见，否则标记为视场内不可见。

一种实现上述方法的装置，包括依次相连的点云快速三角化模块、输入读取模块、图像预处理模块、纹理映射模块、遮挡判断模块和上色点云输出模块；所述遮挡判断模块与纹理映射模块相连构成循环；所述点云快速三角化模块中，点云被读入后使用网格三角化的方式将无序点云转化为三角面片形式，并可以建立面片索引；所述输入读取模块中，从不同位置拍摄的场景RGB纹理和相机位参被顺序对应读入，作为后面模块中映射的依据；所述图像预处理模块中，读入的RGB纹理需要进行直方图均衡化和平滑滤波的操作，以平衡和消除场景光照多样性对纹理映射效果的影响；所述纹理映射模块中，将标记的面片乘以相机的内外参数映射到二维平面下，寻找对应的纹理，记录二维平面对应的三个顶点的坐标，并将二维平面和三维平面的定点相关联建立映射；所述遮挡判断模块中，将已经上色的面片映射入当前视角，取视角内面片设为面片组1，取需要上色的且在视角内的面片设为面片组2；取每一个面片组1中的面片X，使用kdtree搜索面片组2中相邻的面片Y；若面片Y的深度比面片X的大，且面片Y在映射后其顶点在面片X映射后的三角形内，那么取消标记，判断为遮挡；所述上色点云输出模块中，将所有建立映射的点云和对应的面片进行融合，输出彩色三维场景。

进一步地，所述遮挡判断模块标记一部分面片进行映射后，将剩下的取消标记的面片和前面未标记的面片合并，所述纹理映射模块作为下一个视角纹理映射的输入。

本发明提出了一种全新的适用于快速点云三维重建的颜色映射方法。它针对快速重建产生的无RGB信息的三维无序稀疏点云，不采取差值方法，而采取三角面片化的方法，通过使用内外参矩阵映射的方式进行场景贴图，通过直方图均衡化的方式在二维场景下弥合光照多样性，通过使用遮挡判断的方法使得映射平顺美观，在取出了错误判断和映射的基础上降低了计算的复杂度，使得最终的处理步骤不会拖慢其上一步快速重建的步骤。这也使得本方法真正适配于快速三维重建系统，适用于无序点云场景的快速上色，特别是对于点云稠密度较低的点云可以还原其RGB信息，做到不因点云的密度而损失分辨率。本方法针对快速重建的稀疏点云采取特别步骤，对其三维的纹理映射有着优于其他方法的精度和美观程度，属于国内外首创。

附图说明

图1是本法明方法的流程图；

图2相机对三维空间中某一点成像是的映射关系和原理；

图3是遮挡判断部分的算法流程图。

具体实施方式

参见图1，本发明对三维场景进行颜色映射的方法，三维无序点云和不同视角的RGB纹理，步骤如下：

S1，将系统输入的无序点云进行快速三角化，得到基于面片的三维模型：这部分使用贪婪投影三角化算法。贪婪投影三角化算法原理是处理一系列可以使网格“生长扩大”的点(边缘点)，延伸这些点直到所有符合几何正确性和拓扑正确性的点都被连上。该算法的优点是可以处理来自一个或者多个扫描仪扫描得到并且有多个连接处的散乱点云。但该算法也有一定的局限性，它更适用于采样点云来自于表面连续光滑的曲面并且点云密度变化比较均匀的情况。

该算法的三角化过程是局部进行的，首先沿着一点的法线将该点投影到局部二维坐标平面内并连接其他悬空点，然后在进行下一点。所以这里设置如下参数：

1)控制搜索邻域大小。定义可搜索的邻域个数，规定被样本点搜索其邻近点的最远距离，特征值一般是50-100和2.5-3(或者1.5每栅格)。

2)设置三角化后得到的每个三角形的最大可能边长。

3)设定三角化后每个三角形的最大角和最小角。两者至少要符合一个。典型值分别是10和120度(弧度)。

4)处理边缘或者角很尖锐以及一个表面的两边非常靠近的情况。如果某点法线方向的偏离超过指定角度(注：大多数表面法线估计方法可以估计出连续变化的表面法线方向，即使在尖锐的边缘条件下)，该点就不连接到样本点上。该角度是通过计算法向线段(忽略法线方向)之间的角度。另外应该保证法线朝向，如果法线方向一致性标识没有设定，就不能保证估计出的法线都可以始终朝向一致。

S2，读入场景的RGB纹理信息和拍摄纹理信息时相机的位参并进行预处理，将对应位置的RGB信息和对应相机的位参信息按对应位置读入相应数组。使用图像平滑，直方图均衡化等方法将多幅RGB纹理信息进行彩色矫正；

场景的RGB纹理信息在快速重建场景时已经拍摄并存下，保存为.png格式的图片，分辨率为640*480。

算法读入RGB纹理信息和相机位参后存为有对应关系的数组，同时对纹理信息进行图像平滑和直方图均衡化的处理。直方图均衡化是图像处理领域中利用图像直方图对对比度进行调整的方法。这种方法通常用来增加许多图像的局部对比度，尤其是当图像的有用数据的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。本算法通过直方图均衡化来弥合不同视角纹理之间光照的差异性，有一定的效果。

如果不做任何处理就将两幅纹理映射到同一个三维模型上，交界处将出现明显的颜色差异。这种明确的颜色差异显然是不便于观察，而且是不美观的。

针对这种情况，本发明使用直方图均衡化来弥合颜色差异，在进行直方图均衡化后，两个视点的光照程度明显地相似。光照差异带来的模型颜色差异已经有效的弥合。所以，通过直方图均衡化的方法可以很好地对三维模型可能出现的颜色差异进行修正。

这里需要强调的是，本方法没有采用先映射后做blending的方法，因为映射一定意味着有部分二维图像中的面片没有映射到三维场景中去，也意味着二维原始图像中光照和颜色信息进一步丢失。在丢失信息后做blending一定意味着一定程度的算法不收敛和假细节，假颜色。所以本方法选择在映射前对二维纹理图像组的所有图像进行统一的直方图矫正。以统一的标准校对光照量，从信息的角度来说是有依据并且令人信服的；

S3：取输入面片，判断面片在某视角下是否可见并标记，将输入面片索引依次使用内外参数映射至当前视角，判断是否在相机视角内，如果在视角内，那么标记为视场内可见。

相机的投影关系见图2。Oc点为摄像机光心，Xc轴和Yc轴与图像的X轴与Y轴平行，Zc轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点，极为图像坐标系的原点，由点Oc与Xc、Yc、Zc轴组成的直角坐标系称为摄像机坐标系，OOc为摄像机焦距：

由于摄像机可以安放在环境中任意位置，所以在环境中选择一个基准坐标系来描述摄像机位置，并用它描述环境中任何物体的位置，该坐标系为世界坐标系。它有Xw、Yw和Zw轴组成，摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量t来描述。如下：

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

对本算法，首先，算法读入待投影三维模型的全部面片信息。面片采用三角面片形式，即每个面片有三个顶点，每个顶点是一个三维的空间向量，依次代表其投影到空间X,Y,Z轴的位置,设为Xw,Yw,Zw。

将面片信息读入后首先判断哪些面片在相机视场内。取视场1的内外参数，将三维坐标用以下关系投影至对应的二维视场下。

$z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

其中Xw,Yw,Zw为面片顶点的三维坐标。R,T代表相机的旋转和平移矩阵，为相机的外参。Fx,fy,u0,v0为相机的内参，构成内参数矩阵。外参矩阵和内参数矩阵由相机的位参矩阵读入得到。

经过矩阵相乘即可得到(u,v)，即图像的像素坐标。若(u,v)在相机市场内，即其属于([1,640],[1,480])，那么认为空间中点(Xw,Yw,Zw)投影在该视点的纹理上，即该点在相机市场内。

对于面片数据结构，设定标志位visible，如果面片的三个顶点在该视角都可见(即三个顶点投影后都落在二维图像有意义的范围内)，那么设定visible为1(true)。

在遍历所有面片后，将对标志位为“真”的部分进行重新检视；

S4：检视前面所有视角，判断当前视角内面片是否被前面视角遮挡，并改变标记，依次取S3输出视角内可见的面片，判断前面所有视角已染色好的面片与需要投影的面片的遮挡关系，如被遮挡，去掉标记，否则保留标记。

算法经过S3步骤后，得到的是落在视角内的所有面片，但是这些面片并不是一定值得去投影，由于相机投影的过程是一种放射变换。很可能互相遮挡的两个面片经过投影后全部都落在相机市场内。如果此时进行投影，很可能使得互相遮挡的两个面片全部上色。这显然是不对的，因为被遮挡的面片理应看不见。如果不考虑遮挡关系而直接上色，被遮挡部分被上色，造成场景上色错误。

下一步需要做的就是检测S3输出的结果中哪些面片需要上色，哪些不需要。这里本发明使用如图3所示的算法流程。

首先，取本视角前面已经完成映射的所有视角，将已经映射好的面片取出，设为面片组G。当前视角需要映射的面片组设为面片组F。循环取其中面片g，以对应的位参映射到F所在视角。使用kdtree通过一定的圆心和半径检查F内和g相近的面片f。比较f是否被g遮挡，若被遮挡，则将f的visible属性设为false(0)。并循环取G的下一个面片。直到将前面已经映射颜色的所有面片全部检视，算法停止。

本算法保证了被前面视角所遮挡的本视角面片全部从待映射序列中剔除，保证了映射的正确性。

同时在判断f是否被g遮挡的部分，使用判断f的顶点是否在g之中的方法。具体做法如下：首先取搜索得到的所有在一定范围内的f，判断f投影后的每个顶点是否在g投影后的三角形之中，若不在，那么f没有被g遮挡。若在，进一步判断f所在世界坐标的深度是否大于g所在世界坐标的深度。若否，f没有被g遮挡，若是，则f被g遮挡，将f的visible属性设为false(0)；

S5：将视角内且未被遮挡的面片与当前视角的RGB纹理建立映射，使用内外参数将在视场内且未被遮挡的面片投影至RGB的三角面片上，建立映射关系。

取S3～S4输出的所有visible为true的面片作为S5的输入，因为由S3～S4的解释，这些面片既在当前视角内，也和前面映射过的面片没有遮挡关系，可以进行映射。此时取符合要求的每一个面片，将面片通过当前位置的位参映射到二维纹理RGB图上去，找到对应的二维面片，建立一对一的映射关系。并将映射关系保存；

S6：取出所有未被标记的面片压入下一个视角作为S3输入，将S3～S5中未被标记的面片作为新视角的输入，重复进行S3直到所有视角均已映射完毕；

通过S3～S5逐步淘汰不符合要求的面片，S6将S5中映射过的面片删去，同时保留所有未映射的面片，作为下一个视角的输入面片组，重新进行S3～S5的步骤；

S7：所有视角映射结束，按映射关系将点云上色，使用S3～S6所建立的三维面片和纹理的映射关系映射点云，输出彩色三维场景。

当S6将所有视角全部映射到三维场景后，建立了所有视角和三维场景的映射关系，保存场景和映射关系，我们就得到了彩色的三维场景图，本方法所示的映射关系明确，输出的彩色三维场景颜色连续，色彩艳丽，美观大方，满足了对于场景重建所要求的基本特征。特别是对于稀疏点云的重建有着非常好的效果。

Claims (3)

1.一种适用于快速点云三维重建的颜色映射方法，其特征在于，具体步骤如下：

S1，将无序点云进行快速三角化，得到基于面片的三维模型；

S2，读入场景的RGB纹理信息和拍摄纹理信息时相机的位参并进行预处理，将对应位置的RGB信息和对应相机的位参信息按对应位置读入相应数组；使用图像平滑及直方图均衡化方法将多幅RGB纹理信息进行彩色矫正；

S3：取步骤S1的面片作为输入面片，判断面片在当前相机视角下是否可见并标记，将输入面片索引依次使用内外参数映射至当前相机视角，判断是否在当前相机视角内，如果在当前相机视角内，那么标记为视场内可见；

S4：检视当前相机视角前面所有的相机视角，判断当前相机视角内面片是否被前面的相机视角遮挡，并改变标记，依次取步骤S3输出的相机视角内可见的面片，判断前面所有相机视角已染色好的面片与需要投影的面片的遮挡关系，如被遮挡，去掉标记，否则保留标记；

S5：将当前相机视角内且未被遮挡的面片与当前相机视角的RGB纹理建立映射，使用内外参数将在视场内且未被遮挡的面片投影至RGB的三角面片上，建立映射关系；

S6：判定步骤S5输出中是否所有相机视角均已映射完毕，如映射完毕，直接执行步骤S7；如没有映射完毕，取出步骤S5中所有未被标记的面片压入下一个相机视角作为步骤S3的输入面片，重复进行步骤S3～S6，直到所有相机视角均已映射完毕；

S7：所有相机视角映射结束后，按映射关系将点云上色，使用步骤S3～S6所建立的三维面片和RGB纹理的映射关系映射点云，输出彩色三维场景。

2.根据权利要求1所述的一种适用于快速点云三维重建的颜色映射方法，其特征在于，步骤S2中图像预处理的方法为：根据图像拍摄所自带的时间连续性，输入拍摄的图像组，依次对图像进行直方图均衡化处理，得到光照较为一致的RGB纹理，便于后面进行映射。

3.根据权利要求1或2所述的一种适用于快速点云三维重建的颜色映射方法，其特征在于，步骤S3的具体步骤包括：将面片的三个顶点乘以内外参矩阵，得到在当前相机视角下的投影二维坐标，判断二维坐标是否在拍摄的图片像素坐标范围内，如果三个顶点都在，那么将面片标记为视场内可见，否则标记为视场内不可见。