CN103049896B - 三维模型的几何数据和纹理数据自动配准算法 - Google Patents

Abstract

本发明公开了一种三维模型的几何数据和纹理数据自动配准算法，包括(1)针对三维模型在各个视点获取对应的二维图像以及若干三维几何点，针对每个视点将所包含的三维几何点进行三角网格化处理，得到一个待拼接的网格模型；(2)对相邻的网格模型之间的重叠对应点做合并处理，对相邻的网格模型之间的缝隙进行缝合得到拼接后网格模型；(3)将各个视点获取的二维图像进行拼接融合得到融合后的二维图像；(4)建立拼接后网格模型中各三维几何点与融合后的二维图像像素坐标之间的一一对应关系，实现三维模型的几何数据和纹理数据自动配准。本发明的方法操作简单，纹理和几何数据配准精度高。

Description

三维模型的几何数据和纹理数据自动配准算法

技术领域

本发明涉及计算机图形学、三维建模技术，具体来说，是涉及一种三维模型的几何数据和纹理数据自动配准算法。

背景技术

基于真实世界中的场景来建立具有高度真实感的三维数字化模型的方法正在受到普遍的关注，它在计算机图形学、计算机视觉、机器人、目标识别以及虚拟现实等领域都具有良好的应用前景。为了构建三维的数字化模型需要从真实场景中获取两个方面的信息：表面纹理的信息和场景的几何外形数据。

关于几何外形数据测量的方法有许多，同样表面纹理的获取方法也有很多，但是如何把这两个方面的信息精准地结合到一起是一个相当困难的事情。在采用激光、CT扫描等进行三维几何外形测量的过程中，无法同时得到与点云几何数据相对应的纹理数据信息。这个的解决方法主要有两种：一是首先对物体的外形轮廓进行测量，获取三维点云几何数据。再利用普通相机获取物体表面的纹理数据，最后利用后续的纹理映射处理得到点云几何数据和纹理图像之间存在的对应关系。该方法的难点是如何确定点云几何数据与纹理图像之间的纹理映射函数，从而建立精准的对应关系。二是利用一个摄像机首先采集结构光或者激光照射下的被测物体表面的图像数据，获取物体的点云几何数据信息；然后获取均匀光照下的纹理图像，获取物体的纹理数据。在进行两次获取的过程中，如果能够保证物体和相机之间相对位置不变，那么点云几何数据和纹理图像数据之间可以建立精准的对应关系。该方法能够很快地建立点云几何数据和纹理图像数据之间的对应关系，但是由于拍摄获得的点云数据信息和纹理信息不是在同一个时间点，因此它们之间的对应关系往往会存在一定的偏差。

发明内容

本发明提供了一种三维模型的几何数据和纹理数据自动配准算法，操作简单，配准精度高。

本发明首先利用立体视觉测量系统建立的空间三维几何点与相机二维图像像素点之间的对应拓扑关系，对多个视点的三维点云几何数据进行三角网格化处理，建立三角网格模型。然后根据每个三角面片的三个顶点所对应的纹理值，采用坐标重心加权的方法实现三角面片纹理的配准与光滑显示。对生成的多视点三角网格模型采用基于网格融合的方法进行融合，依次选取每个视点下的网格模型为基准，对模型之间的重叠区域进行检测，对重叠区域的数据进行合并、除去冗余的网格数据，然后对去除冗余数据产生的缝隙进行无缝缝合。为了保证重叠区域的纹理过渡的平滑性，在网格融合过程中产生的新点的纹理值，由该点附近的所有其它点的纹理值进行加权平均来得到。

一种三维模型的几何数据和纹理数据自动配准算法，包括：

(1)针对三维模型在各个视点获取对应的二维纹理图像以及若干三维几何数据点，针对每个视点将所包含的三维几何数据点进行三角网格化处理，得到一个待拼接的网格几何模型；

(2)对相邻的网格几何模型之间的重叠对应点做合并处理，对相邻的网格几何模型之间的缝隙进行缝合得到拼接后网格几何模型；

(3)将各个视点获取的二维纹理图像进行拼接融合得到融合后的二维纹理图像；

(4)建立拼接后网格几何模型中各三维几何点与融合后的二维纹理图像像素坐标之间的一一对应关系，实现三维模型的几何点数据和纹理数据自动配准。

步骤(2)中得到重叠对应点的方法为：首先将待拼接的网格模型中的三维几何点投影到二维平面上构成若干排列有序的二维像素点，确定重叠对应点；所述重叠对应点为在二维平面中发生投影重叠的三维几何点。

所述重叠对应点做合并处理的方法为：

对于某一对重叠对应点，确定该重叠对应点之间的中心点位置，将该重叠对应点中的两个点分别沿法向量方向向中心点移动，然后对重叠对应点重新检测，重复上述步骤直至重叠对应点中两点之间的距离满足设定的阈值。

所述相邻的网格模型之间的缝隙进行缝合的方法为：

(1)首先对重叠区域作如下处理：对于某一对重叠对应点，当两个点之间的距离小于设定阈值时，选取该重叠对应点中任一点为新点；当两个点之间的距离大于设定阈值时，选取该重叠对应点的平均值作为新点，利用确定的新点代替原重叠对应点形成新的三角网格；

(2)然后对于其他空洞作如下处理：如果孔洞的形状为三角形，直接将连接边线构造成新的三角网格；

如果孔洞的边数n＞3的话，则确定多边形中内角最小的顶点，将该顶点及与其相连的两条边构造成新的三角网格，对剩下的边数为n-1的多边形重复上面的过程，直到最后的多边形变为三角形，经过上面的步骤可以将缝隙中的孔洞全部用新的三角网格填充，即完成了对缝隙的缝合。

步骤(4)中，实现三维模型的几何点数据和纹理数据高精度配准的具体方法为：

首先向被测物体表面投射随机散斑图以辅助立体图像匹配，在投射散斑图时，物体表面的纹理信息被覆盖，通过连续曝光，在拍摄随机散斑图像的同时拍摄物体的纹理图像。由于两次拍摄是在极短时间内完成的，只要在拍摄过程中测量相机与被测物体之间保持相对静止，则可认为得到的单独拍摄视点下的纹理图像与点云几何数据之间具有精确的一一对应关系。重合点的纹理和几何点数据的高精度配准是通过建立三维几何点坐标与二维图像像素坐标之间的一一对应关系，同时可以根据像素坐标确定三维点所对应的纹理信息值。

要对拼接后的多视点测量数据中的拼接处进行纹理信息添加，首先对每个测量视角的三维点云数据建立三角网格模型，然后对多个视角的网格模型进行数据融合处理，获得被测物体单一拓扑的三维外形轮廓网格模型。纹理的融合也是对网格模型进行处理的，多幅纹理图像的融合利用“主次缝合线”的方法对融合中产生的纹理缝隙进行光滑地缝合；然后通过基于体素融合算法的前提上对体素内重叠的纹理采用加权合并的方法对多个测量视点拍摄的纹理图像在重叠区域进行处理。由于非融合处的几何点云数据和纹理数据是高精度配准的，而纹理融合又是基于点云数据进行融合的，这种融合过程保证了融合后的点云数据和纹理数据也是高精度配准的。

本发明的三维模型的几何数据和纹理数据自动配准算法，配准精度和效率高；在进行投影时采用几何数据的法向量方向对检测进行约束，可以避免被测物体相反面的两个表面几何点被误认为重叠对应点；同时采用对重叠对应点合并处理，去除冗余网格几何数据点，保证融合后的网格曲面有较高的质量和精度。

具体实施方式

本发明首先对多视点数据进行融合，主要分为以下几个步骤：

(1)网格几何模型重叠区检测：

针对三维模型在各个视点获取对应的二维图像以及若干三维几何点，针对每个视点将所包含的三维几何点进行三角网格化处理，得到一个待拼接的网格模型；选取每个视点的网格模型数据为基准，计算每个基准投影矩阵，将各视点的网格几何数据采用当前基准的投影矩阵投影到同一二维平面构成若干排列有序的二维像素点，确定重叠对应点；重叠对应点为在二维平面中发生投影重叠的三维几何点。

(2)重叠对应点优化合并：

为了减少测量噪声以及拼合误差造成的网格模型的分层现象，对检测的重叠对应点优化以合并处理，去除冗余网格数据点，保证融合后的网格曲面有较高的质量度。首先计算基准网格几何模型重叠区中的三维几何点与其重叠对应几何点的中心点位置，将这些点沿法向量方向分别向中心点移动，接着对重叠对应点重新检测，重复上述步骤直至得到更加精确地重叠对应关系，最终完成重叠对应点优化。

(3)重叠区缝隙无缝缝合：

多视点的网格几何模型经过重叠对应点的检测、优化、合并后，相邻的网格模型之间经常会出现缝隙。利用前面建立的重叠对应关系，建立新的三角面片(即前述的三角网格)将网格模型之间的缝隙无缝缝合起来，然后对缝隙处存在的小孔洞进行修补，完成对缝隙的缝合。以测量视点1的网格模型R₀和测量视点2的网格模型R₁之间的缝隙缝合为例进行说明。由于R₁中的重叠点距离基准R₀上合并后的新点很近，可以采用新点来替代R₁上被删除面片上的顶点。上述操作已经将两片网格数据连为一个整体，缝隙处被恢复的三角面片分割成许多小的孔洞，这些孔洞大多为三角形或者多边形，需要对它们进一步的连接。如果孔洞的形状为三角形，直接将连接边线构造成三角面片。如果孔洞的边数n＞3的话，则确定多边形中内角最小的顶点，将该顶点及与其相连的两条边构造成三角面片，对剩下的边数为n-1的多边形重复上面的过程，直到最后的多边形变为三角形。经过上面的步骤可以将缝隙中的孔洞全部用三角面片填充，即完成了对缝隙的缝合。依次对任意两个视点之间的网格模型缝隙缝合，即可得到最终完整的三维几何网格模型。

(4)纹理融合：

由于前面在对多个网格几何模型进行数据融合的时候，已检测出边界处重叠对应点，在对重叠区域内的纹理进行融合时，首先利用测量视点1下建立的网格模型数据(假设为R₀)作为基准，然后定义一个重叠对应点容器，容器中存储了其余测量视点与视点1某个三维点所对应所有重叠点，假设V₀(I，j)为基准R₀中重叠区域内一点，其重叠对应点容器为B₀(i，j)存储了k个重叠点，分别记作b₁，b₂，......b_k，并令b₀＝V₀(i，j)，计算k+1个重叠点中心点C：

$C=\frac{{\mathrm{\Σ}}_{i=0}^k\mathrm{\ω}\left(b_i\right).b_i}{{\mathrm{\Σ}}_{i=0}^k\mathrm{\ω}\left(b_i\right)}---\left(1\right)$

其中ω(b_i)为对应于b_i的权重，可以通过下式求得；

ω(b_i)＝0(2)

上式为递归函数，其中N₁表示顶点b_i的1阶邻域，是与顶点b_i至多有1条半边相邻的顶点集合，b表示集合N₁中的点。设定当b_i为边界点时，ω(b_i)＝1；通过公式(2)计算可知，与边界点相连的所有点(不含边界点)其权值为2，与权值为2的点相连的所有点权值为3，直到重叠区域内所有点的权值计算完毕。

对重叠区域内的点V₀(i，j)进行纹理合并时，对其重叠对应点容器B₀(i，j)中k个重叠点的不同纹理值是按照距离边界的远近加权平均。采用与网格模型数据融合相同的权重，假设重叠对应点经过多次调整后合并的新点为并令合并新点的纹理值为其为点V₀(i，j)和容器B₀(i，j)中k个点的纹理值的加权值，如下式所示：

$\stackrel{\‾}{\mathrm{texture}}=\frac{{\mathrm{\Σ}}_{i=0}^k\mathrm{\ω}\left(b_i\right).{\left(\mathrm{texture}\right)}_i}{{\mathrm{\Σ}}_{i=0}^k\mathrm{\ω}\left(b_i\right)}---\left(3\right)$

其中(texture)_i表示点b_i处的纹理值。

(5)纹理数据和几何数据的配准：

首先向被测物体表面投射随机散斑图以辅助立体图像匹配，在投射散斑图时，物体表面的纹理信息被覆盖，通过连续曝光，在拍摄随机散斑图像的同时拍摄物体的纹理图像。由于两次拍摄是在极短时间内完成的，只要在拍摄过程中测量相机与被测物体之间保持相对静止，则可认为得到的单独拍摄视点下的纹理图像与点云几何数据之间具有精确的一一对应关系。重合点的纹理和几何点数据的高精度配准是通过建立三维几何点坐标与二维图像像素坐标之间的一一对应关系，同时可以根据像素坐标确定三维点所对应的纹理信息值。

要对拼接后的多视点测量数据中的拼接处进行纹理信息添加，首先对每个测量视角的三维点云数据建立三角网格模型，然后对多个视角的网格模型进行数据融合处理，获得被测物体单一拓扑的三维外形轮廓网格模型。纹理的融合也是对网格模型进行处理的，多幅纹理图像的融合利用“主次缝合线”的方法对融合中产生的纹理缝隙进行光滑地缝合；然后通过基于体素融合算法的前提上对体素内重叠的纹理采用加权合并的方法对多个测量视点拍摄的纹理图像在重叠区域进行处理。由于非融合处的几何点云数据和纹理数据是高精度配准的，而纹理融合又是基于点云数据进行融合的，这种融合过程保证了融合后的点云数据和纹理数据也是高精度配准的。

Claims (2)

1.一种三维模型的几何数据和纹理数据自动配准算法，其特征在于，包括：

(1)针对三维模型在各个视点获取对应的二维图像以及若干三维几何点，针对每个视点将所包含的三维几何点进行三角网格化处理，得到一个待拼接的网格模型；

(2)对相邻的网格模型之间的重叠对应点做合并处理，对相邻的网格模型之间的缝隙进行缝合得到拼接后网格模型；

所述重叠对应点做合并处理的方法为：

对于某一对重叠对应点，确定该重叠对应点之间的中心点位置，将该重叠对应点中的两个点分别沿法向量方向向中心点移动，然后对重叠对应点重新检测，重复上述步骤直至重叠对应点中两点之间的距离满足设定的阈值；

所述相邻的网格模型之间的缝隙进行缝合的方法为：

(1)首先对重叠区域作如下处理：对于某一对重叠对应点，当两个点之间的距离小于设定阈值时，选取该重叠对应点中任一点为新点；当两个点之间的距离大于设定阈值时，选取该重叠对应点的平均值作为新点；利用确定的新点代替原重叠对应点形成新的三角网格；

(2)然后对于其他空洞作如下处理：如果孔洞的形状为三角形，直接将连接边线构造成新的三角网格；

如果孔洞的边数n>3的话，则确定多边形中内角最小的顶点，将该顶点及与其相连的两条边构造成新的三角网格，对剩下的边数为n-1的多边形重复上面的过程，直到最后的多边形变为三角形，经过上面的步骤可以将缝隙中的孔洞全部用新的三角网格填充，即完成了对缝隙的缝合；

(3)将各个视点获取的二维图像进行拼接融合得到融合后的二维图像；

(4)建立拼接后网格模型中各三维几何点与融合后的二维图像像素坐标之间的一一对应关系，实现三维模型的几何数据和纹理数据自动配准。

2.根据权利要求1所述的三维模型的几何数据和纹理数据自动配准算法，其特征在于，步骤(2)中得到重叠对应点的方法为：

将待拼接的网格模型中的三维几何点投影到二维平面上构成若干排列有序的二维像素点，确定重叠对应点；所述重叠对应点为在二维平面中发生投影重叠的三维几何点。