CN111340862B - 一种基于多特征融合的点云配准方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于多特征融合的点云配准方法、装置及存储介质，所述方法包括：分别从源点云和目标点云中提取若干源点云特征点以及若干目标点云特征点；提取每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，继而根据每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征生成每一特征点对应的特征描述子；其中，特征点包括源点云特征点和目标点云特征点；根据特征描述子，将源点云特征点与目标点云特征点进行配对，生成特征点对；根据特征点对生成变换矩阵，并根据变换矩阵对源点云进行变换，生成第二源点云，继而对第二源点云以及目标点云进行精配准。通过实施本发明实施例能够提高特征描述子的表达能力，从而提高整体配准精度。

Description

一种基于多特征融合的点云配准方法、装置及存储介质

技术领域

本发明涉及三维点云配准技术领域，尤其涉及一种基于多特征融合的点云配准方法、装置及计算机可读存储介质。

背景技术

使用三维扫描设备获取物体表面数据是近年来发展迅速的热点问题，其中最重要的技术就是对点云数据的处理，由于受到设备本身扫描范围的限制，要想得到高精度的全方位点云数据，需要对不同视角获取的点云数据进行配准。将多视角的获取数据转换到同一坐标系下，得到物体完整的表面信息，进而可以实现对物体的表面重建及目标识别等应用。

迭代最近点算法及其改进算法是点云配准最经典，使用最广泛的方法，但是它有两个不可忽视的缺点，第一，如果两片点云位置差异较大，则算法很容易陷入局部最优，第二，在计算过程中效率较低，迭代收敛速度慢，因此，通常在配准过程中分为两个步骤，粗配准和精配准，在粗配准中，首先利用点云的几何属性和空间关系进行特征点匹配，进而得到初始变换矩阵，初始变换后再使用迭代最近点或其他精配准方法对变换矩阵进行准确估计，最后变换后得到完整的点云。在使用迭代最近点算法实现配准时，特征描述子在粗匹配中起到了决定性的作用，一个好的特征描述子应该是具有高度的描述性，用于对点云数据中指定特征点的局部区域几何形状提供一个全面而且明确的描述，并且为了保证整体的效率，该特征描述子需要具有计算简单、高效，结构紧凑，鲁棒性强等优点。

CN 110211163中使用EPFH作为点云特征，提取后进行粗配准，然后再完成整个配准过程。CN 110335297中使用最大曲率和最小曲率计算点云的特征指数，并根据该点和邻域点的特征指数的关系作为特征，来进行对应特征点的匹配，完成点云配准。CN 105654422中使用SIFT算法对栅格化的点云数据进行特征检测，生成特征描述子，然后进行特征匹配，完成初始变换，

上述技术对于点云的特征提取方法单一，使用全局特征作为特征点的描述，鲁棒性差，对特征点的描述不足，不能全面的表征特征点的属性，因此容易产生大量的误匹配，进而影响整体的配准精度。

发明内容

本发明实施例提供一种基于多特征融合的点云配准方法、装置及计算机可读存储介质，从多个维度提取特征点的特征，提高特征描述子的表达能力，从而提高整体配准精度。

本发明一实施例提供一种基于多特征融合的点云配准方法，包括：分别从源点云和目标点云中提取若干源点云特征点以及若干目标点云特征点；

提取每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，继而根据每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征生成每一特征点对应的特征描述子；其中，所述特征点包括源点云特征点和目标点云特征点；

根据所述特征描述子，将所述源点云特征点与所述目标点云特征点进行配对，生成特征点对；

根据所述特征点对生成变换矩阵，并根据所述变换矩阵对源点云进行变换，生成第二源点云，继而对所述第二源点云以及所述目标点云进行精配准。

进一步的，通过以下方式提取一特征点的局部深度特征：

以一所述特征点为选定特征点，并以所述选定特征点为圆心，以r为半径构建球状邻域；

以与所述选定特征点的法线相垂直且包含所述选定特征点的球体切面为投影面，分别计算其余特征点到所述投影面的投影距离，生成局部深度直方图，获得所述选定特征点的局部深度特征，其中，所述其余特征点为所述球状邻域内除所述选定特征点外的特征点。

进一步的，通过以下方式提取一特征点的法线角度特征：

分别计算所述其余特征点的法线与所述选定特征点的夹角值，生成法线夹角直方图，获得所述选定特征点的法线角度特征。

进一步的，通过以下方式提取一特征点的点云密度特征：

分别计算所述其余特征点，在所述投影面的投影点到所述选定特征点的距离，生成点云密度直方图，获得所述点云密度特征。

进一步的，通过以下方式提取一特征点的局部颜色特征：

将所述球状邻域分为若干统计区域，并提取各所述统计区域的顶点的颜色信息；继而根据所述选定特征点的颜色信息以及各所述统计区域的顶点的颜色信息，生成局部颜色直方图，获得所述局部颜色特征。

在上述发明实施例的基础上，对应提供了装置项实施例；

本发明一实施例提供了一种基于多特征融合的点云配准装置、包括特征点提取模块、特征描述子生成模块、特征点对生成模块以及配准模块；

所述特征点提取模块，用于分别从源点云和目标点云中提取若干源点云特征点以及若干目标点云特征点；

所述特征描述子生成模块、用于提取每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，继而根据每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征生成每一特征点对应的特征描述子；其中，所述特征点包括源点云特征点和目标点云特征点；

所述特征点对生成模块，用于根据所述特征描述子，将所述源点云特征点与所述目标点云特征点进行配对，生成特征点对；

所述配准模块，用于根据所述特征点对生成变换矩阵，并根据所述变换矩阵对源点云进行变换，生成第二源点云，继而对所述第二源点云以及所述目标点云进行精配准。

在上述方法项实施例的基础上对应提供了存储介质项实施例，本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行本发明任意一项方法项实施例所述的基于多特征融合的点云配准方法。

通过实施本发明实施例具有如下有益效果：

本发明实施例提供了一种基于多特征融合的点云配准方法、装置及存储介质，所述方法首先提取出源点云以及目标点云的特征点，然后提取特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，然后根据这4个维度的特征融合成对应的特征描述子，最后根据特征描述子进行配准。相比与现有的直接以全局特征作为特征点的描述来讲，采用本发明的方法生成的特征描述子能从多个方面对特征点进行描述，提高了特征点的表达能力，能够全面的表征特征点的属性，进而能够在配准时减少误匹配，提高整体配准精度。

附图说明

图1是本发明一实施例提供的一种基于多特征融合的点云配准方法的流程示意图。

图2是本发明一实施例提供的一种基于多特征融合的点云配准装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明一实施例提供的一种基于多特征融合的点云配准方法，包括：

步骤S101:分别从源点云和目标点云中提取若干源点云特征点以及若干目标点云特征点；

步骤S102:提取每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，继而根据每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征生成每一特征点对应的特征描述子；其中，所述特征点包括源点云特征点和目标点云特征点；

步骤S103:根据所述特征描述子，将所述源点云特征点与所述目标点云特征点进行配对，生成特征点对；

步骤S104:根据所述特征点对生成变换矩阵，并根据所述变换矩阵对源点云进行变换，生成第二源点云，继而对所述第二源点云以及所述目标点云进行精配准。

对于步骤S101:首先在一个优选的实施例中，需要通过带有深度和颜色信息的传感器得到不同视角下的点云数据例如是上述的源点云以及目标点云；

然后对源点云和目标点云进行预处理，具体包括：降采样，滤波及计算曲率及法线。点云数据通常较大，降采样是为了降低数据量减少计算时间，滤波则是去掉噪点，使数据更加平滑；在源点云和目标点云去噪完成后，提取源点云和目标点云中各个特征点的法线，以便后续计算所用。

然后对于每一个特征点，先以特征点为球心，以一个预设的半径构建一个球状邻域(第一球状邻域)；然后特征点为坐标原点，以特征点的法向量方向为Z轴、以上述球状邻域中与法线夹角最大的点的投影点，与特征点连线作为X轴、然后根据上述已确定的X轴和Z轴来确定Y轴，然后构建每一个特征点的局部三维坐标系。

对于步骤S102:计算步骤S101中源点云以及目标点云的各个特征点的特征描述子；

具体的通过以下方式计算一个特征点的特征描述子；

首先计算特征点的局部深度特征，具体的：以一特征点为选定特征点，并以选定特征点为圆心，以r为半径构建球状邻域(第二球状邻域)；需要说明的是，这里所构建的球状邻域(第二球状邻域)和上述步骤S101中建立特征点局部三维坐标系时所构建的球状邻域(第一球状邻域)的半径可以相同也可以不同；以与选定特征点的法线相垂直且包含选定特征点的球体切面为投影面，分别计算其余特征点到投影面的投影距离，生成局部深度直方图，获得选定特征点的局部深度特征，其中，其余特征点为球状邻域(第二球状邻域)内除选定特征点外的特征点。将局部深度直方图作为该选定特征点的局部深度特征。

然后计算特征点的法线夹角特征，分别计算所述其余特征点的法线与所述选定特征点的夹角值，生成法线夹角直方图，获得所述选定特征点的法线角度特征。

即将步骤S101中得到的每个特征点的法线，与选定特征点的法线进行比较，得到选定特征点与每一其余特征点法线的夹角值，然后根据各个夹角值生成法线夹角直方图，将法线夹角直方图作为该选定特征点的法线角度特征。

紧接着计算特征点的点云密度特征，分别计算所述其余特征点，在所述投影面的投影点到所述选定特征点的距离，生成点云密度直方图，获得所述点云密度特征。具体的，首先将球状邻域(第二球状邻域)中除选定特征点外的各个特征点投影到投影面上，这个投影面是与选定特征点的法线垂直且经过该选定特征点的球体切面，然后计算各个投影点到选定特征点的距离，生成点云密度直方图，将点云密度直方图作为该选定特征点的点云密度特征。

最后是计算特征点的局部颜色特征：将所述球状邻域分为若干统计区域，并提取各所述统计区域的顶点的颜色信息；继而根据所述选定特征点的颜色信息以及各所述统计区域的顶点的颜色信息，生成局部颜色直方图，获得所述选定特征点的局部颜色特征。

具体的，步骤S101中建立的特征点的局部三维坐标系将球状邻域(第二球状邻域)分为8个部分，即8个统计区域，然后统计各个统计区域中各点的颜色信息，然后按并按特定顺序组成直方图，并将选定特征点的颜色信息放在直方图的最前处，即组成局部颜色直方图，将局部颜色直方图作为选定特征点的局部颜色特征。

最后根据上述方法得到每个特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，将每个特征点这4个维度的特征进行融合，生成每个特征点对应的特征描述子，即将这四组直方图特征融合在一起组成具有极强的识别能力的特征描述子，计算点云的特征描述子。

对于步骤S103:根据源点云和目标点云中特征点对应的特征描述子的相似度，将源点云和目标点云进行一一对应，生成特征点对。

对于步骤S104:具体的，将获得的特征点对，使用采样一致性算法，得到一组最优的变换矩阵，然后对源点云进行变换，完成粗匹配。将变换后的源点云(及上述第二源点云)与目标点云组成初始点集，使用迭代最近点算法对点云进行精配准，从而得到更精确的配准效果，完成点云配准。

在上述方法项实施例的基础上对应提供了装置项实施例；

如图2所示本发明一实施例提供了一种基于基于多特征融合的点云配准装置、包括特征点提取模块、特征描述子生成模块、特征点对生成模块以及配准模块；

所述特征点提取模块，用于分别从源点云和目标点云中提取若干源点云特征点以及若干目标点云特征点；

所述特征描述子生成模块、用于提取每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，继而根据每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征生成每一特征点对应的特征描述子；其中，所述特征点包括源点云特征点和目标点云特征点；

所述特征点对生成模块，用于根据所述特征描述子，将所述源点云特征点与所述目标点云特征点进行配对，生成特征点对；

所述配准模块，用于根据所述特征点对生成变换矩阵，并根据所述变换矩阵对源点云进行变换，生成第二源点云，继而对所述第二源点云以及所述目标点云进行精配准。

需要说明的是，上述装置项实施例是与本发明方法项实施例相对应的，其能够实现本发明上述任意一项方法项实施例所述的基于多特征融合的点云配准方法。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在上述方法项实施例的基础上对应提供了存储介质项实施例。

本发明一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行本发明任意一项方法项实施例所述的基于多特征融合的点云配准方法。

上述存储介质为计算机可读存储介质，其中，所述基于多特征融合的点云配准装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种基于多特征融合的点云配准方法，其特征在于，包括：

分别从源点云和目标点云中提取若干源点云特征点以及若干目标点云特征点；

提取每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，继而根据每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征生成每一特征点对应的特征描述子；其中，所述特征点包括源点云特征点和目标点云特征点；以一所述特征点为选定特征点构建球体，以与选定特征点的法线相垂直且包含选定特征点的球体切面为投影面，分别计算其余特征点到投影面的投影距离获得所述局部深度特征；分别计算所述其余特征点的法线与所述选定特征点的夹角值获得所述法线角度特征；通过将所述球体分为若干统计区域，并提取各所述统计区域的顶点的颜色信息获得所述局部颜色特征；

根据所述特征描述子，将所述源点云特征点与所述目标点云特征点进行配对，生成特征点对；

根据所述特征点对，通过预设的采样一致性算法生成变换矩阵，并根据所述变换矩阵对源点云进行变换，生成第二源点云，继而对所述第二源点云以及所述目标点云，通过预设的迭代最近点算法进行精配准。

2.如权利要求1所述的基于多特征融合的点云配准方法，其特征在于，通过以下方式提取一特征点的局部深度特征：

以一所述特征点为选定特征点，并以所述选定特征点为圆心，以r为半径构建球状邻域；

以与所述选定特征点的法线相垂直且包含所述选定特征点的球体切面为投影面，分别计算其余特征点到所述投影面的投影距离，生成局部深度直方图，获得所述选定特征点的局部深度特征，其中，所述其余特征点为所述球状邻域内除所述选定特征点外的特征点。

3.如权利要求2所述的基于多特征融合的点云配准方法，其特征在于，通过以下方式提取一特征点的法线角度特征：

分别计算所述其余特征点的法线与所述选定特征点的夹角值，生成法线夹角直方图，获得所述选定特征点的法线角度特征。

4.如权利要求2所述的基于多特征融合的点云配准方法，其特征在于，通过以下方式提取一特征点的点云密度特征：

分别计算所述其余特征点，在所述投影面的投影点到所述选定特征点的距离，生成点云密度直方图，获得所述选定特征点的点云密度特征。

5.如权利要求2所述的基于多特征融合的点云配准方法，其特征在于，通过以下方式提取一特征点的局部颜色特征：

将所述球状邻域分为若干统计区域，并提取各所述统计区域的顶点的颜色信息；继而根据所述选定特征点的颜色信息以及各所述统计区域的顶点的颜色信息，生成局部颜色直方图，获得所述选定特征点的局部颜色特征。

6.一种基于多特征融合的点云配准装置，其特征在于，包括特征点提取模块、特征描述子生成模块、特征点对生成模块以及配准模块；

所述特征点提取模块，用于分别从源点云和目标点云中提取若干源点云特征点以及若干目标点云特征点；

所述特征描述子生成模块、用于提取每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征，继而根据每一特征点的局部深度特征、法线角度特征、点云密度特征以及局部颜色特征生成每一特征点对应的特征描述子；其中，所述特征点包括源点云特征点和目标点云特征点；以一所述特征点为选定特征点构建球体，以与选定特征点的法线相垂直且包含选定特征点的球体切面为投影面，分别计算其余特征点到投影面的投影距离获得所述局部深度特征；分别计算所述其余特征点的法线与所述选定特征点的夹角值获得所述法线角度特征；通过将所述球体分为若干统计区域，并提取各所述统计区域的顶点的颜色信息获得所述局部颜色特征；

所述特征点对生成模块，用于根据所述特征描述子，将所述源点云特征点与所述目标点云特征点进行配对，生成特征点对；

所述配准模块，用于根据所述特征点对通过预设的采样一致性算法生成变换矩阵，并根据所述变换矩阵对源点云进行变换，生成第二源点云，继而对所述第二源点云以及所述目标点云，通过预设的迭代最近点算法进行精配准。

7.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至5中任意一项所述的基于多特征融合的点云配准方法。

Images