CN114170284A

CN114170284A - 基于主动标志点投射辅助的多视图点云配准方法

Info

Publication number: CN114170284A
Application number: CN202210119784.4A
Authority: CN
Inventors: 郑东亮; 朱戎彪; 赵洋; 于浩天; 韩静; 张凯
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2022-02-09
Filing date: 2022-02-09
Publication date: 2022-03-11
Anticipated expiration: 2042-02-09
Also published as: CN114170284B

Abstract

本发明涉及一种基于主动标志点投射辅助的多视图点云配准方法，属于数字化逆向工程技术领域。包括如下步骤：使用三维采集设备采集三维点云。将已设计的具有特定拓扑结构的标志点通过光学投影设备投影至物体表面，得到带标志点的物体表面图像，相机同步进行采集带对应标志点的图片。将三维采集设备移动至下一视角，并重复直至所有视角下的带标志点的图片采集完毕，得到标志点图集。在两帧含标志点二维图里的有效标志点进行提取，再通过三维测量方法确定三维标志点。接着通过迭代SVD分解来求解粗配准的旋转平移矩阵，接着进行点云精配准。重复直至所有视角下的标志点图集均采集到了精配准数据。能够提高配准效率与精度，降低测量成本。

Description

基于主动标志点投射辅助的多视图点云配准方法

技术领域

本发明涉及一种基于主动标志点投射辅助的多视图点云配准方法，属于数字化逆向工程技术领域。

背景技术

工业生产中，逆向工程技术是利用3-D数字化测量仪器对产品(物理模型或原型)进行数字化，采集模型三维坐标点后利用CAD软件建模，最后再制造出产品的先进制造技术，其一般包括四个基本环节:三维形体检测与转换(物理数据的获得)、数据预处理(点云处理、识别、多视拼接)，CAD模型的建立(曲面重构)、CAM 制件成型。工程实际中，点云的测量数据一般用于物体的三维显示或其数字模型的三维重建中，故要求实际测量数据必须是坐标归一化和完整的。而在产品外形的测量过程中,通常不能在同一坐标系下将产品的几何数据一次测出，因而必须进行坐标归一化，这一过程称为测量数据的重定位，也就是三维数据配准。在多视标签定位拼接算法中，通过找到标志点并正确匹配，才可以保证拼接的质量。

在工业生产中，三维重建应用广泛，如激光线扫描技术，立体视觉，条纹投影轮廓术等等重建方法。然而，对于大规模和复杂物体的三维形状测量，由于阴影和遮挡等原因造成单次采集的点云不完整。因此，需要通过多次测量，重建物体部分点云，最终通过拼接的方式，将点云融合为整体。因此配准拼接的方式直接影响了最终的三维精度。

而拼接的问题也在该领域有着久经不下的热度，各种算法用于该问题已在相关文献中提出。由于三维数据的大小和复杂性显著增长，仅仅依靠算法很难有效处理。尤其对于弱特征的物体，其特征较少的性质给点云的拼接配准带来了极大的难度。因此，需要引入额外的位置信息辅助拼接来辅助点云的配准拼接。近些年来最常用的方式就是基于圆形标志点和基于设备惯导信息的三维辅助配准方法。前者通过在物体表面贴上随机无序的圆形标志点，增强了物体表面的特征信息，从而可以辅助两片点云的精确配准。但是操作步骤繁琐，重建的点云会有部分缺失，而且可能会对物体表面带来一定程度的损害。后者，通过将特定的定位设备固定在测量系统中，从而得到物体的位移，旋转信息，从而计算不同位置点云的坐标变换关系。由于采集设备的限制，导致采集效率较低。而且该方式的配准精度依赖于定位设备的精度，系统的复杂性增加，也极大提高了配准的成本。

发明内容

发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种基于主动标志点投射辅助的多视图点云配准方法，相比较人为粘贴标志点的方法和使用惯导设备的两种方法，使用光学投影设备快速主动投射标志点，能够在提高配准效率与精度的同时降低测量成本，并且做到无损测量。

技术方案：为实现上述发明目的，本发明采用以下技术方案：

一种基于主动标志点投射辅助的多视图点云配准方法，包括如下步骤：

步骤1：使用三维采集设备采集当前视角下的待测物体的对应三维点云；

步骤2：将已设计的具有特定拓扑结构的标志点通过光学投影设备投影至待测物体表面，得到带标志点的待测物体表面图像，相机同步进行采集带对应标志点的图片；

步骤3：将三维采集设备移动至下一视角，并重复步骤1~2，直至所有视角下的带标志点的图片采集完毕，得到标志点图集；

步骤4：将步骤3中得到的标志点图集中，当前视角下的两帧含标志点二维图里的有效标志点进行提取，得到对应两帧点云；

步骤5：将步骤4中得到的两帧点云通过三维测量方法确定三维标志点；

步骤6：将步骤5得到的三维标志点通过迭代SVD分解来求解粗配准的旋转平移矩阵；

步骤7：将步骤6得到的粗配准的旋转平移矩阵进行点云精配准；

步骤8：对下一视角的标志点的图片重复步骤4~7，直至所有视角下的标志点图集均采集到了精配准数据，即可停止运行。

进一步的，所述步骤4中的具体步骤为：

步骤4.1：提取两帧含标志点的二维图，将所述二维图的前后景进行阈值分割，再去除非待测物体上的标志点；

步骤4.2：设置要求圆形度e≥0.8，将不符合圆形度的圆点滤除，符合标准的保留；

步骤4.3：质心公式为标志点内所有点关于每个坐标以质量为权重的加权平均值，通过质心公式求解圆心坐标，保留有效圆点，最后得以保留的点为两帧点云。

进一步的，所述步骤5中的三维测量方法为pixel-to-pixel。

进一步的，所述步骤6中的具体步骤为：

步骤6.1：由步骤5得到的三维标志点点集在各自坐标系下的坐标为{pi}和{p’i}，点集对应且存在如下转换关系p’i=Rpi+T+Ni，其中R是旋转矩阵，T是位移向量，Ni是噪声向量，三维点云的质心公式为：

，

；

步骤6.2：各个点对应的质心的位移向量的公式为：

，

；

步骤6.3：根据得到的质心位移向量，计算H矩阵：

；

步骤6.4：对步骤6.3的H矩阵进行SVD分解，得到

，其中

和

均是3×3的正交矩阵，

是3×3的非负对角矩阵；

步骤6.5：基于步骤6.4得到的

和

计算旋转矩阵R

；

步骤6.6：计算验证，若

则R有效，若

则该算法失效；

步骤6.7：计算三维点云间位移

。

进一步的，所述步骤7中的精配准为ICP算法。

进一步的，所述步骤2中光学投影设备为投影仪、激光器和光栅中任一种。

进一步的，所述步骤2的具体步骤为：所述光学投影设备单次投射标志点的个数，均大于6个；所述标志点的形状为圆形、三角形、多边形和曲边形中任一种，且得到的标志点排列分布不规律。

进一步的，所述步骤2中不同视角下的两帧点云间的公共区域大于1/3，所述公共区域内含6个或以上的标志点。

有益效果：与现有技术相比，这是一种新式的基于主动标志点投射辅助的多视图点云配准方法，本发明具有以下优点：

（1）本发明中采用主动投射标志点辅助多视图点云配准，标志点为预先设计的具有拓扑结构的特征点，通过单次投影即可实现视场中标志点的全覆盖，相较于人为粘贴标志点，实现方便，效率高，无损测量。

（2）对于需要精密加工的器件，粘贴的纸质标志点会对待测物表面产生影响，本发明通过光学投影标志点实现了无损伤的标志点覆盖。

（3）本发明中的二维有效特征点提取，经过判别算法，仅保留有效特征点，后续经过质心坐标提取算法，能提取出更准确二维标志点坐标。

（4）本发明中基于三维重建原理，结合二维与三维空间坐标关系映射，提取出与二维特征坐标对应的三维特征点，经过简单迭代即可获得粗配准所需的旋转平移矩阵，相较于直接使用ICP进行点云配准，该方法避免了ICP迭代时陷入局部最优，且所需计算量更低，更适用于实际三维配准应用。

附图说明

图1是本发明的方法步骤流程图；

图2是本发明的实施例的标志点辅助配准流程图；

图3是本发明的实施例的两帧含标志点的二维图，

图中，图3(a)为投射标志点采集的第一帧图像，图3(b)为投射标志点采集的第二帧图像，图3(c)为未投射标志点采集的第一帧图像，图3(d)为未投射标志点采集的第二帧图像；

图4是本发明的实施例的提取的有效二维特征点示意图，

图中，图4(a)为第一帧图像中提取的二维标志点示意图，图4(b)为第二帧图像中提取的二维标志点示意图；

图5是本发明的实施例的提取的有效三维特征点示意图；

图6是本发明的实施例的迭代SVD结束后的三维特征点示意图；

图7是本发明的实施例的带纹理的配准前后的三维点云示意图，

图中，图7(a)为不同视角采集的待配准点云示意图，图7(b)为配准后的点云示意图；

图8是本发明的实施例的无纹理的配准前后的三维点云示意图，

图中，图8(a)为不同视角采集的待配准点云示意图，图8(b)为配准后的点云示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，一种基于主动标志点投射辅助的多视图点云配准方法，

第一步：使用三维采集设备采集当前视角下的物体的三维信息；

第二步：将提前设计好的具有特定拓扑结构的特征点通过光学设备投影至待测物体表面，相机同步进行采集，采集到带标志点的图片；

第三步：关闭标志点投影设备，将三维采集设备移动至下一视角，并采集该视角下三维数据，操作完成后，打开标志点投影设备，采集当前视角下的含特征点的图像；

第四步：重复步骤一至三直至所有视角下三维信息采集完毕。至此，数据采集过程结束，后续为使用算法利用标志点辅助配准过程；

第五步：特征点辅助配准流程：如图2所示，

（1）含标志点的二维图中有效特征点提取：如图3所示，由于投影的标志点在物体边界或者深度起伏大处会发生缺失，因此，需要对有效标志点进行筛选后提取。主要包括以下几部分：前后景阈值分割—去除非待测物体上的标志点；以圆形度为标准滤除不规则的圆点—一方面是为了保证后续特征点匹配能精确匹配，另一方面也是为了更精确圆心坐标的提取（圆形度：面积乘4π除周长的平方）；有效圆点保留，圆心提取—主要是通过质心公式来求解圆心坐标；

（2）特征点提取：二维有效特征点提取成功后，下一步需提取二维特征点对应的三维坐标。常见的三维测量方法通常为pixel-to-pixel，二维图上的每个点对应唯一确定的三维坐标，因此，可以根据预先标定好的设备参数来实现二维到三维点的对应及提取；

（3）粗配准：最近点迭代算法（ICP）由于其精度高常被用来执行点云配准,然而，对两帧点云直接应用ICP，由于初始值较差，容易陷入局部最优且由于点云数量较多时间成本极高。因此，在执行ICP前，通常使用较为精确的初始先验来执行粗配准。本发明通过对上一步提取出的三维特征点通过迭代SVD分解来求解粗配准的旋转平移矩阵。上一步得到的三维特征点点集在各自坐标系下的坐标为{pi}和{p’i},点集对应且存在如下转换关系p’i=Rpi+T+Ni,其中R是旋转矩阵，T是位移向量，Ni是噪声向量。则对于未知量R和T,可按如下进行求解：

a.分别求点云的质心

，

b.求个点对应质心的位移向量

，

c.利用质心位移向量，计算H矩阵

d.对H矩阵进行SVD分解

e.基于矩阵U和V,计算旋转矩阵R

f.验证结果，若

则R有效，若

则算法失效。

g.最后计算点云间位移

（4）精配准：将三维特征点执行粗配准获得的旋转平移矩阵作为初始先验应用于测量设备采集到的三维点云，进而，即可执行ICP算法进行点云精配准，后续重复上述过程即可实现不同视角下采集点云的三维配准。

下面参照附图，对本发明的实施例加以详细描述：

通过光学投影设备投射二维特征点至待测物体上可以实现单次快速无损的全视角特征点覆盖。采用多视角点位点云拼接技术，得到精确的特征标志点三维数据是三维点云拼接的前提。本发明中投影特征点前可预先设置出具有特定拓扑结构的特征点。由于拼接的特性决定了只有重叠区域才可以有效拼接，识别对准主要取决于重叠区特征点数据。重叠区标志点数据。扫描运动从扫描最初第一幅图开始，逐次重叠，拍摄，拼接，通过两两相拼，完成多幅点云拼接，是一个从局部逐渐向全局展开的过程，不可能脱离了局部直接展开，因此，根据运动特点，在获取三维空间的特征点数据后，根据三维刚体姿态一致与几何不变性，将特征标志点集合按照空间坐标与距离值，从内向外，根据一次扫描可能的最大区域，动态划分空间数据集合，形成层层嵌套，在拼接时保证得到正确的标志点匹配。

如图3和图4所示，为采集到的两帧含有特征点的二维图，能够看出具有一定的公共区域，经过判别提取出的有效特征点。图5为经过三维重建中二维与三维的空间坐标变换关系提取的出的有效三维特征点。为了减少计算量，使用提取出的三维特征点代替完整点云使用迭代SVD求解粗配准所需的旋转平移矩阵，迭代完成后的三维特征点如图6所示。如图7所示，将求解出的旋转平移变换矩阵作为初值代入完整点云，后续使用ICP算法即可获得配准结束后的精确三维点云。如图8所示，为本发明对于无纹理的待测物仍有较好的配准效果的验证实验结果。