CN115222787B

CN115222787B - 基于混合检索的实时点云配准方法

Info

Publication number: CN115222787B
Application number: CN202211140271.8A
Authority: CN
Inventors: 焦阳; 李峰
Original assignee: Elco Tianjin Electronics Co Ltd
Current assignee: Tianjin Yike Automation Co ltd
Priority date: 2022-09-20
Filing date: 2022-09-20
Publication date: 2023-01-10
Anticipated expiration: 2042-09-20
Also published as: CN115222787A

Abstract

本发明提供了基于混合检索的实时点云配准方法，利用有序均匀网格具有快速检索，离散点云具有拓扑结构和位姿变换灵活的优势。分别将扫描点云生成为有序均匀网格，模板点云生成为离散点云。并将扫描点云设定为固定坐标系，过程中计算模板点云的位姿变化。然后采用外接矩或边缘对齐的方式对齐两组点云，为后续精细匹配提供一个较好的初值。

Description

基于混合检索的实时点云配准方法

技术领域

本发明属于工业3D测量技术领域，尤其是涉及一种基于混合检索的实时点云配准方法。

背景技术

在工业测量中，针对检测生产样件是否满足标准模型设计标准的需求，需要将扫描点云数据与标准模型的CAD图像对齐，然后从体积、特征差异、表面、边缘等多方面测量生产样件的质量。

目前市场上已经有多种3D尺寸测量分析软件（如PolyWorks、Geomagic等），可以离线自动的对导入软件的3D扫描数据完成测量过程生成报告。但是对于工业生产线的场景，往往需要实时完成对样件的测量任务。同时工业生产线的样件存在多种姿态也是一个难点。综上所述，工业测量需要测量方法满足稳定实时完成点云的配准计算的要求。

最近邻迭代优化(Iterative Closest Point,ICP)是一种广泛使用的wwllzy点云配准方法，经过多次迭代可以达到点云精细配准的目的。ICP计算时间主要消耗在是计算对应点的步骤上，虽然ICP使用搜索树加速搜索，但是每个点搜索最近邻的复杂度仍为o（logn）。同时ICP还需要提供一个较好的初值，如果初值不好，点云配准将陷入局部极小值，导致对齐失败。

发明内容

有鉴于此，本发明旨在提出一种基于混合检索的实时点云配准方法，以实现了工业测量3D点云实时稳定配准问题，即提出一个稳定的初始匹配结果，在此基础之上快速完成点云对齐。

为达到上述目的，本发明的技术方案是这样实现的：

基于混合检索的实时点云配准方法，包括以下步骤：

S1、导入标准模板模型，计算标准模板模型在空间平面的投影的外接矩形特征；

S2、扫描目标物体，生成目标物体的有序均匀点云网格数据；

S3、提取扫描点云的轮廓点，按照连通关系建立一个外接轮廓和多个内部轮廓；

S4、针对步骤S3建立的外接轮廓、内部轮廓各自建立搜索树；

S5、计算步骤S3中的外界轮廓区域的最小外接矩形，将最小外接矩形与步骤S1中导入的标准模板模型的外接矩形的边对应，计算两个外接矩形的中心距离和偏移角度，得到匹配的初值，完成点云之间的初匹配；

S6、针对步骤S4中完成初匹配的点云，搜索待匹配的两组点云的最近点；

S7、检索完所有点对应的相邻最近点，参考ICP的方式计算当前的变换矩阵，根据变换矩阵更新标准点云，对更新后的源点云逐步迭代，直至收敛。

进一步的，在步骤S1中，外接矩形特征包括边界框和边缘。

进一步的，在步骤S4中，搜索复杂度从n降低为

，n为参与建树点的个数；

还需要计算连通域内x、y轴分别对应的最小值minx，miny和最大值maxx，maxy，用于后续确定当前搜索树的下限。

进一步的，在步骤S6中，针对通过投影的方式可以检索到的最近点，通过向xy平面投影，根据插值的方法快速检索得到最近点，具体步骤：

根据x、y可以在复杂度为1的情况下，检索到点云中最近邻的四个点，再根据这四个点插值得到对应的z坐标。

进一步的，在步骤S6中，针对通过投影的方式检索不到的最近点，通过检索边缘的方式检索最近邻：

首先判断当前点相对于外接轮廓的位置，如果处于外接轮廓的外部，则需要检索外接轮廓的搜索树找到最近点，如果处于外接轮廓的内部，需要判断当前点与其他轮廓之间的关系；

如果仅存在唯一包围轮廓，则搜索其包围轮廓树找到最近点。

进一步的，对于存在多个相邻轮廓的情况，利用下述方法加速遍历相邻轮廓：

加速遍历轮廓使用分枝定界的思想，根据每个边缘连通域的x、y轴对应的最大值和最小值，确定当前点对应的边缘连通域下界，即当前点对应边缘连通域可能存在的最小值：

根据计算的下界，从小到大检索边缘连通域搜索树，直到当前计算的最近邻小于下个搜索树的下界时，停止搜索。

一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，所述处理器用于执行基于混合检索的实时点云配准方法。

一种服务器，包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行基于混合检索的实时点云配准方法。

一种计算机可读取存储介质，存储有计算机程序，所述计算机程序被处理器执行基于混合检索的实时点云配准方法。

相对于现有技术，本发明所述的基于混合检索的实时点云配准方法具有以下有益效果：

本发明所述的基于混合检索的实时点云配准方法，利用有序均匀网格具有快速检索，离散点云具有拓扑结构和位姿变换灵活的优势。分别将扫描点云生成为有序均匀网格，模板点云生成为离散点云。并将扫描点云设定为固定坐标系，过程中计算模板点云的位姿变化。然后采用外接矩或边缘对齐的方式对齐两组点云，为后续精细匹配提供一个较好的初值。针对数据量大的点云精细匹配很难实时计算最近邻对应点的问题，提出一种混合检索的方式计算对应点的方法，对需要计算最近邻的点分为两类：一类可以直接投影插值计算对应点复杂度仅为1次，这点往往占据点云的大部分区域。对于另一部分无法直接投影检索的点，需要进行边缘轮廓检索。相比全部轮廓点参与的搜索树，本发明根据连通信息，将边缘划分为多个搜索树，并且却确定每个搜索树最近邻的上限和下限。搜索的过程根据每个搜索树的上下限逐个搜索。由于参与点仅为轮廓远远少于复杂为

，极大的减少了配准的运算所需要的时间。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的基于混合检索的实时点云配准方法示意图；

图2为本发明实施例所述的流程图示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

为了完成上述要求，本发明所述基于混合检索的实时点云配准方法具体方法如下：

导入标准模板模型，计算其像一个空间平面（如xy平面）的投影的外接矩特征（如边界框，边缘等）。

扫描目标物体，生成有序均匀点云网格数据。

提取扫描点云廓点，按照连通关系建立一个外接轮廓和多个内部轮廓。

对上一步提取的每个连通轮廓建立各自的搜索树，这里的搜索树可以参考kdtree、octree等经典方法，从而将搜索复杂度从n降低为，这里的n为参与建树点的个数。并计算连通域内x、y轴分别对应的最小值（minx，miny）和最大值（maxx，maxy），用于后续确定当前搜索树的下限。

计算外界轮廓区域最小外接矩形，并与标准模型的外接矩形的边对应，计算两个外接矩形的中心距离和偏移角度，得到匹配的初值，完成点云之间的初匹配。

对经过初始变化的点云，搜索待匹配的两组点云的最近点。其中一类点可以向xy平面投影，根据插值的方法快速检索得到最近点。具体过程为根据x、y可以在复杂度为1的情况下，检索到点云中最近邻的四个点，再根据这4个点插值得到对应的z坐标：

通过起始点（beginx，beginy）和分辨率（resolutionx,resolutiony）确定起始点（x00，y00）并提取周围邻域(x10,y10)、（x01,y01）和（x11,y11）及其对应的z值：

另一类点由于通过投影的方式检索不到最近点，则需要检索边缘的方式检索最近邻。

首先判断当前点相对于外接轮廓的位置。

如果处于外接轮廓的外部，则需要检索外接轮廓的搜索树找到最近点。

如果处于外接轮廓的内部，需要下面的步骤，判断当前点与其他轮廓之间的关系。

对于存在多个相邻轮廓的情况，则需要下面的步骤加速遍历相邻轮廓。

根据计算的下界，从小到大检索边缘连通域搜索树。

直到当前计算的最近邻小于下个搜索树的下界时，停止搜索。

检索完所有点对应的相邻最近点，参考ICP的方式计算当前的变换矩阵，根据变换矩阵更新标准点云。对更新后的源点云逐步迭代，直至收敛。

步骤一扫描生成样件数据为有序均匀网格。此数据结构是指点云数据根据起始点，x、y方向分别按照固定分辨率采样。有序均匀点云网格数据具备检索速度很快的优点，只需要提供x、y的数据就可以快速检索到对应的z值。

本发明可以适用于各种，如果点云数据不是有序均匀网格数据结构，可以对数据进行重采样。

有序均匀网格旋转自由度仅适应于z轴的旋转可以保存完整细节，当x和y轴发生旋转，将发生遮挡丢掉部分点云。同时扫描点云的数量稠密，进行遍历计算时间花费比较大。

标准点云以离散点云或者三角网格数据格式保存，因此旋转自由度相比于有序均匀网格灵活，x、y、z三个轴都可以旋转。

本发明利用均匀网格检索快速和三角网格位姿变化灵活的有点。将扫描点云生成为有序均匀网格，目标点云生成为三角网格。因此在配准过程中，将扫描点云设置为固定坐标系，三角网格逐步迭代计算。

步骤四中外接矩形框的对齐区分不了0度和180度两个旋转自由度，因此需要对这两个旋转自由度都进行上述计算，选择匹配误差最小的结果。

步骤四中除了外接矩形框，还可以使用椭圆，或者轮廓边缘信息作为粗匹配的初始。

精细匹配是基于良好初值的基础上进一步迭代优化计算相对位姿关系，达到配准结果距离误差最小的目的。目前这类方案成熟模型有：NDT、ICP及其变体。在计算上基本参考上述模型框架。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。上述单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于混合检索的实时点云配准方法，其特征在于，包括以下步骤：

S4、针对步骤S3建立的外接轮廓、内部轮廓各自建立搜索树；

S6、针对步骤S5中完成初匹配的点云，搜索待匹配的两组点云的最近点；

S7、检索完所有点对应的相邻最近点，参考ICP的方式计算当前的变换矩阵，根据变换矩阵更新标准点云，对更新后的源点云逐步迭代，直至收敛；

在步骤S6中，针对通过投影的方式可以检索到的最近点，通过向xy平面投影，根据插值的方法快速检索得到最近点，具体步骤：

根据x、y可以在复杂度为1的情况下，检索到点云中最近邻的四个点，再根据这四个点插值得到对应的z坐标；

在步骤S6中，针对通过投影的方式检索不到的最近点，通过检索边缘的方式检索最近邻：

2.根据权利要求1所述的基于混合检索的实时点云配准方法，其特征在于：在步骤S1中，外接矩形特征包括边界框。

3.根据权利要求1所述的基于混合检索的实时点云配准方法，其特征在于：在步骤S4中，搜索复杂度从n降低为

，n为参与建树点的个数；

4.根据权利要求1所述的基于混合检索的实时点云配准方法，其特征在于：对于存在多个相邻轮廓的情况，利用下述方法加速遍历相邻轮廓：

5.一种电子设备，包括处理器以及与处理器通信连接，且用于存储所述处理器可执行指令的存储器，其特征在于：所述处理器用于执行上述权利要求1-4任一所述的基于混合检索的实时点云配准方法。

6.一种服务器，其特征在于：包括至少一个处理器，以及与所述处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，以使所述至少一个处理器执行如权利要求1-4任一所述的基于混合检索的实时点云配准方法。

7.一种计算机可读取存储介质，存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-4任一项所述的基于混合检索的实时点云配准方法。