CN111524168B - 点云数据的配准方法、系统、装置及计算机存储介质 - Google Patents

点云数据的配准方法、系统、装置及计算机存储介质 Download PDF

Info

Publication number
CN111524168B
CN111524168B CN202010333771.8A CN202010333771A CN111524168B CN 111524168 B CN111524168 B CN 111524168B CN 202010333771 A CN202010333771 A CN 202010333771A CN 111524168 B CN111524168 B CN 111524168B
Authority
CN
China
Prior art keywords
cloud data
point cloud
data set
point
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010333771.8A
Other languages
English (en)
Other versions
CN111524168A (zh
Inventor
程章林
周佳新
奥利夫·马丁·多伊森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010333771.8A priority Critical patent/CN111524168B/zh
Publication of CN111524168A publication Critical patent/CN111524168A/zh
Application granted granted Critical
Publication of CN111524168B publication Critical patent/CN111524168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种点云数据的配准方法、系统、装置及计算机存储介质，所述配准方法包括：获取第一点云数据集和第二点云数据集；分别提取第一点云数据集、第二点云数据集的语义信息；根据第一点云数据集、第二点云数据集的语义信息分别获得第一点云数据集、第二点云数据集的语义连接图；对第一点云数据集、第二点云数据集的语义连接图进行配准，获得第一点云数据集与所述第二点云数据集之间的第一变换关系；根据第一变换关系对第二点云数据集进行转换。本发明提供的点云数据的配准方法从高层次的语义信息出发，不受限于点云的低层视觉特性，不容易受环境因素以及点云密度等其他因素的影响，具有很好的鲁棒性。

Description

点云数据的配准方法、系统、装置及计算机存储介质
技术领域
本发明涉及点云数据配准技术领域，尤其涉及一种点云数据的配准方法、系统、装置及计算机存储介质。
背景技术
随着信息技术的飞速发展，以及电影、游戏等各个行业对三维模型的需求日益增加，三维模型的获取变得越来越重要。在计算机视觉和计算机图形学领域，三维重建指的是根据捕获的真实物体形状与外观获得三维模型的过程。三维模型的表示形式包括点云、体素、网格等，其中点云是三维点的集合，换言之，它用三维点的集合来表示三维模型。点云是一种非常重要的数据形式，可以通过激光雷达等设备直接获取到3D点云；也可以利用深度相机获得深度图像，进而转换为点云；或者通过其他方式得到点云数据。由于扫描设备只能扫描到物体表面的数据，因此点云通常都是物体表面点的集合。同时由于每次扫描到的数据都只是设备在特定视角获取的点云数据，要得到完整统一的三维物体或场景模型，就需要将两帧或多帧点云进行融合。点云配准便是将多帧3D点云变换到同一个全局坐标系中，使得它们的重叠部分对齐，形成一个完整的物体或场景表面，它是三维重建的基本任务之一，是计算机视觉、计算机图形学和逆向工程的基础。
传统的点云配准方法主要包括局部配准和全局配准。其中，全局配准方法是在两帧点云初始状态未知的情况下，获得二者之间的变换关系，得到它们的相对位置关系，显然，该类方法更具备通用性，但是，目前的全局配准算法，大多是基于点云的局部特征，以描述子距离作为度量标准，对两帧点云进行匹配，此类方法严重依赖于特征提取与匹配算法，即依赖于点云的低层视觉特征，容易受遮挡等环境因素以及点云密度等其他因素的影响，不够鲁棒。
发明内容
为了解决现有技术的不足，本发明提供一种点云数据的配准方法、系统、装置及计算机存储介质，从高层次的语义信息出发，不受限于点云的低层视觉特性，不容易受环境因素以及点云密度等其他因素的影响，具有很好的鲁棒性。
本发明提出的具体技术方案为：提供一种点云数据的配准方法，所述配准方法包括：
获取第一点云数据集和第二点云数据集，所述第一点云数据集和所述第二点云数据集具有重叠区域；
分别提取所述第一点云数据集、第二点云数据集的语义信息；
根据所述第一点云数据集、第二点云数据集的语义信息分别获得所述第一点云数据集、第二点云数据集的语义连接图；
对所述第一点云数据集、第二点云数据集的语义连接图进行配准，获得所述第一点云数据集与所述第二点云数据集之间的第一变换关系；
根据所述第一变换关系对所述第二点云数据集进行转换，获得第三点云数据集。
进一步地，根据所述第一点云数据集、第二点云数据集的语义信息分别获得所述第一点云数据集、第二点云数据集的语义连接图具体包括：
将所述第一点云数据集中的每个物体作为一个第一节点，获取每一个第一节点的邻域点，将所述第二点云数据集中的每个物体作为一个第二节点，获取每一个第二节点的邻域点；
将所述第一点云数据集中每一个第一节点与所述第一节点的邻域点连接，获得第一语义连接图，将所述第二点云数据集中每一个第二节点与所述第二节点的邻域点连接，获得第二语义连接图。
进一步地，对所述第一点云数据集、第二点云数据集的语义连接图进行配准，获得所述第一点云数据集与所述第二点云数据集之间的第一变换关系具体包括：
将所述第一语义连接图、所述第二语义连接图中语义信息相同的第一节点和第二节点作为一个待配准点对，获得多个待配准点对；
将每一个所述待配准点对中第一节点的邻域点作为第一匹配点、第二节点的邻域点作为第二匹配点；
将所述多个待配准点对中与第一匹配点的语义信息相同的第二匹配点的个数最多的待配准点对作为配准点对；
根据所述配准点对获得所述第一点云数据集与所述第二点云数据集之间的第一变换关系。
进一步地，所述语义信息包括物体的类别、形状。
进一步地，若所述语义信息为物体的类别，则分别提取所述第一点云数据集、第二点云数据集的语义信息具体包括：
利用神经网络对所述第一点云数据集、第二点云数据集中的物体进行分类，获得所述第一点云数据集、第二点云数据集中的物体的类别。
进一步地，若所述语义信息为物体的形状，则分别提取所述第一点云数据集、第二点云数据集的语义信息具体包括：
对所述第一点云数据集、第二点云数据集中的物体进行检测，获得所述第一点云数据集、第二点云数据集中的物体的形状。
进一步地，所述配准方法还包括：
对所述第一点云数据集、第三点云数据集进行配准，获得所述第一点云数据集与所述第三点云数据集之间的第二变换关系；
根据所述第二变换关系对所述第三点云数据集进行转换。
本发明还提供了一种点云数据的配准系统，所述系统包括：
第一获取模块，用于获取第一点云数据集和第二点云数据集，所述第一点云数据集和所述第二点云数据集具有重叠区域；
提取模块，用于分别提取所述第一点云数据集、第二点云数据集的语义信息；
第二获取模块，用于根据所述第一点云数据集、第二点云数据集的语义信息分别获得所述第一点云数据集、第二点云数据集的语义连接图；
配准模块，用于对所述第一点云数据集、第二点云数据集的语义连接图进行配准，获得所述第一点云数据集与所述第二点云数据集之间的第一变换关系；
转换模块，用于根据所述第一变换关系对所述第二点云数据集进行转换，获得第三点云数据集。
本发明还提供了一种点云数据的配准装置，所述配准装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上所述的点云数据的配准方法。
本发明还提供了一种计算机存储介质，所述计算机存储介质中存储计算机程序，所述计算机程序在被一个或多个处理器读取并执行时实现如上所述的点云数据的配准方法。
本发明提供的点云数据的配准方法根据第一点云数据集和第二点云数据集的语义信息生成语义连接图，基于语义连接图实现第一点云数据集和第二点云数据集的配准，从高层次的语义信息出发，不需要对点云的局部特征进行提取，避免了现有的全局配准算法依赖于低层视觉特性而容易受环境因素以及点云密度等其他因素的影响，具有很好的鲁棒性。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为实施例一中的点云数据的配准方法的流程示意图；
图2为实施例一中第一语义连接图、第二语义连接图的示意图；
图3为实施例一中获得第一变换关系的流程示意图；
图4为实施例一中的另一点云数据的配准方法的流程示意图；
图5为实施例二中获得第一变换关系的流程示意图；
图6为实施例二中第一语义连接图、第二语义连接图的示意图；
图7为实施例三中点云数据的配准系统的示意图；
图8为实施例四中处理器与计算机存储介质的示意图。
具体实施方式
以下，将参照附图来详细描述本发明的实施例。然而，可以以许多不同的形式来实施本发明，并且本发明不应该被解释为限制于这里阐述的具体实施例。相反，提供这些实施例是为了解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改。在附图中，相同的标号将始终被用于表示相同的元件。
本申请提供的点云数据的配准方法包括步骤：
获取第一点云数据集和第二点云数据集，所述第一点云数据集和所述第二点云数据集具有重叠区域；
分别提取第一点云数据集、第二点云数据集的语义信息；
根据第一点云数据集、第二点云数据集的语义信息分别获得第一点云数据集、第二点云数据集的语义连接图；
对第一点云数据集、第二点云数据集的语义连接图进行配准，获得第一点云数据集与第二点云数据集之间的第一变换关系；
根据第一变换关系对第二点云数据集进行转换，获得第三点云数据集。
本申请根据第一点云数据集和第二点云数据集的语义信息生成语义连接图，基于语义连接图实现第一点云数据集和第二点云数据集的配准，从高层次的语义信息出发，不需要对点云的局部特征进行提取，避免了现有的全局配准算法依赖于低层视觉特性而容易受环境因素以及点云密度等其他因素的影响，具有很好的鲁棒性。
下面通过几个具体的实施例并结合附图来对本申请中的点云数据的配准方法进行详细的描述。
实施例一
参照图1，本实施例中的点云数据的配准方法包括步骤：
S1、获取第一点云数据集和第二点云数据集。
具体地，第一点云数据集、第二点云数据集分别对应目标空间中不同视角下的两幅图像，两幅图像部分重叠，即第一点云数据集和第二点云数据集具有重叠区域。第一点云数据集、第二点云数据集中的数据点均是三维数据点，第一点云数据集和第二点云数据集可以直接通过深度图像传感器获得，例如，通过激光雷达直接扫描获得，也可以通过深度图像转换方法转换后得到。
S2、分别提取第一点云数据集、第二点云数据集的语义信息。
本实施例中的语义信息为物体的类别，在步骤S2中，第一点云数据集和第二点云数据集中的物体的类别均不相同。具体地，基于深度学习，利用卷积神经网络对第一点云数据集、第二点云数据集进行分类，获得第一点云数据集、第二点云数据集中每一个数据点的类别，将第一点云数据集、第二点云数据集中类别相同且相邻的数据点形成的三维点集合作为第一点云数据集中的一个物体，每个物体的类别与其对应的数据点的类别相同，从而分别得到第一点云数据集、第二点云数据集中的物体的类别。
由于不同类别的物体对应的数据点都会集中在特定的区域，根据数据点的类别是否相同以及是否彼此相邻来将属于同一物体的数据点进行分割，从而便可以得到不同类别的物体对应的数据点集合，本实施例中对数据点进行分割可以采用现有的分割算法来实现，例如，FCNN(全连接卷积神经网络)、SegNet等算法。
较佳地，本实施例采用的卷积神经网络为PointNet或PointNet++，PointNet或PointNet++是常用的卷积神经网络，这里不再对此进行赘述。当然，本实施例中的卷积神经网络也可以采用现有的其他神经网络，上述两种神经网络仅仅是作为示例示出，并不用作限定。
S3、根据第一点云数据集、第二点云数据集的语义信息分别获得第一点云数据集、第二点云数据集的语义连接图。
本实施例中的语义连接图包含物体的类别以及各个物体之间的连接关系，在步骤S2中获得第一点云数据集、第二点云数据集中的物体的类别后，根据多个物体是否相邻来获得各个物体之间的连接关系，具体地，如图2所示，将第一点云数据集中的每个物体作为一个第一节点，图2中示例性的给出了第一点云数据集包括10个第一节点，这10个第一节点分别为(1，C)、(2，D)、(3，A)、(4，E)、(5，G)、(6，H)、(7，B)、(8，I)、(9，M)、(10，J)，其中，1～10表示节点的标号，C、D、A、E、G、H、B、I、M、J分别表示这10个第一节点的类别，获取每一个第一节点的邻域点，将第一点云数据集中每一个第一节点与其对应的邻域点连接，获得第一语义连接图；同样地，将第二点云数据集中每个物体作为一个第二节点，图2中示例性的给出了第二点云数据集包括10个第二节点，这10个第二节点分别为(11，D)、(12，A)、(13，E)、(14，P)、(15，A)、(16，C)、(17，N)、(18，B)、(19，L)、(20，Q)，获取每一个第二节点的邻域点，将第二点云数据集中每一个第二节点与其对应的邻域点连接，获得第二语义连接图。
根据物体之间是否相邻来获取每一个第一节点、第二节点的邻域点，本实施例中判断物体之间是否相邻可以通过距离来判断，例如，以第一节点(3，A)、第二节点(15，A)为例，将第一节点(3，A)、第二节点(15，A)作为圆心，将与第一节点(3，A)、第二节点(15，A)的距离不大于预定距离的其他第一节点、第二节点即为该第一节点(3，A)、第二节点(15，A)的邻域点，图2示例性的给出了第一节点(3，A)的邻域点为(1，C)、(2，D)、(4，E)、(6，H)、(7，B)、(9，M)，第二节点(15，A)的邻域点为(18，B)、(20，Q)，这里预定距离可以根据实际需要进行设定，可以根据配准精度和配准速度来设定预定距离，例如，为了提升配准精度，可以增加预定距离，为了提升配准速度，可以减小预定距离。当然，也可以结合空间位置关系来获取第一节点、第二节点的邻域点，即在考虑距离的同时考虑在空间位置上是否相邻，具体地，可以通过判断两个物体之间是否有其它物体来确定在空间位置上是否相邻，从而进一步在根据距离获取的邻域点中筛选出最终的邻域点，例如，与第一节点(3，A)的距离不大于预定距离的第一节点包括(1，C)、(2，D)、(4，E)、(6，H)、(7，B)、(9，M)，由于第一节点(9，M)位于第一节点(3，A)和第一节点(6，H)之间，因此，第一节点(3，A)的最终的邻域点为第一节点(1，C)、(2，D)、(4，E)、(7，B)、(9，M)。
本实施例通过将第一点云数据集、第二点云数据集中的每个物体作为一个节点并将该节点与其邻域点用直线连接，将各个物体之间的连接关系抽象为边，从而得到各个节点之间的数据结构图，即每个节点对应的语义连接图。
S4、对第一点云数据集、第二点云数据集的语义连接图进行配准，获得第一点云数据集与第二点云数据集之间的第一变换关系。在步骤S3中获得第一点云数据集、第二点云数据集的语义连接图后，需要对两个语义连接图进行配准，配准是为了获得第一点云数据集、第二点云数据集所在坐标系的变换关系，变换关系包括旋转和平移。在进行配准的时候需要先找到第一点云数据集、第二点云数据集中最相近的两个物体，从而得到第一点云数据集、第二点云数据集所在坐标系的对应点，根据对应点便可以求得变换关系。
参照图3，本实施例中步骤S4具体包括：
S41、将第一语义连接图、第二语义连接图中语义信息相同的第一节点和第二节点作为一个待配准点对，获得多个待配准点对。
具体地，在步骤S41中，对于第一语义连接图中的每一个第一节点，从第二语义连接图中找到与该第一节点的语义信息相同的第二节点作为该第一节点的待配准点，获得该第一节点对应的多个待配准点，将每一个第一节点与该第一节点对应的多个待配准点中的一个待配准点组成一个待配准点对，获得多个待配准点对，例如，再次参照图2，第一语义连接图中第一节点(3，A)的类别是A，第二语义连接图中第二节点(12，A)、(15，A)的类别均是A，因此，将第二节点(12，A)、(15，A)作为第一节点(3，A)的待配准点，第一语义连接图中第一节点(7，B)的类别为B，第二语义连接图中第二节点(18，B)的类别是B，因此，将第二节点(18，B)组作为第一节点(7，B)的待配准点，从而形成3个待配准点对{(3，A)、(12，A)}、{(3，A)、(15，A)}、{(7，B)、(18，B)}。
S42、将每一个所述待配准点对中第一节点的邻域点作为第一匹配点、第二节点的邻域点作为第二匹配点；
以待配准点对{(3，A)、(12，A)}为例，则第一节点(3，A)的邻域点(1，C)、(2，D)、(4，E)、(7，B)、(9，M)为第一匹配点，第二节点(12，A)的邻域点(11，D)、(13，E)、(16，C)、(19，L)、(20，Q)为第二匹配点。
S43、将多个待配准点对中与第一匹配点的类别相同的第二匹配点的个数最多的待配准点对作为配准点对。
第一语义连接图、第二语义连接图中两个类别相同且连接关系最接近的两个节点可以认为是第一点云数据集、第二点云数据集中最相近的两个物体，因此，若待配准点对中第二节点的邻域点的类别与第一节点的邻域点的类别相同的邻域点的个数最多，即可以得出该待配准点对中第二节点的连接关系跟与之对应的第一节点的连接关系最接近，从而该待配准点对中第二节点便是该第一节点最相近的配准点。
参照图2，下面以待配准点对{(3，A)、(12，A)}、{(3，A)、(15，A)}、{(7，B)、(18，B)}为例进行说明，第一节点(3，A)的邻域点分别是第一节点(1，C)、(2，D)、(4，E)、(7，B)、(9，M)，第二节点(12，A)的邻域点是第二节点(11，D)、(13，E)、(16，C)、(19，L)、(20，Q)，待配准点对{(3，A)、(12，A)}中第一节点(3，A)的邻域点(1，C)、(2，D)、(4，E)、(7，B)、(9，M)为第一匹配点，待配准点对{(3，A)、(12，A)}中第二节点(12，A)的邻域点(11，D)、(13，E)、(16，C)、(19，L)、(20，Q)为第二匹配点，则与第一匹配点的类别相同的第二匹配点包括(11，D)、(13，E)、(16，C)，即与第一匹配点的类别相同的第二匹配点的个数为3。第二节点(15，A)的邻域点是第二节点(18，B)、(20，Q)，待配准点对{(3，A)、(15，A)}中第一匹配点为(1，C)、(2，D)、(4，E)、(7，B)、(9，M)，第二匹配点为(18，B)、(20，Q)，则与第一匹配点的类别相同的第二匹配点包括(18，B)，即与第一匹配点的类别相同的第二匹配点的个数为1。第一节点(7，B)的邻域点分别是第一节点(3，A)、(2，D)、(9，M)、(10，J)，第二节点(18，B)的邻域点是第二节点(15，A)、(17，N)、(19，L)，待配准点对{(7，B)、(18，B)}中第一匹配点为(3，A)、(2，D)、(9，M)、(10，J)，第二匹配点为(15，A)、(17，N)、(19，L)，则与第一匹配点的类别相同的第二匹配点包括(15，A)，即与第一匹配点的类别相同的第二匹配点的个数为1。由于待配准点对{(3，A)、(12，A)}中与第一匹配点的类别相同的第二匹配点的个数最多，因此，将待配准点对{(3，A)、(12，A)}作为配准点对。
S44、根据配准点对获得第一点云数据集与第二点云数据集之间的第一变换关系，其中，获得配准点对后，通过求解配准点对中第一节点与第二节点对应的矩阵之间的变换矩阵，便可以得到第一点云数据集、第二点云数据集所在坐标系的第一变换关系。
下面对如何根据配准点对获得第一变换关系进行详细的描述，假设，配准点对中第一节点对应的数据点为X＝{xi，i∈k}，k表示第一节点对应的数据点的个数，配准点对中第二节点对应的数据点为Y＝{yi，i∈t}，t表示第二节点对应的数据点的个数，整个求解过程如下：
(1)计算第一节点对应的数据点、第二节点对应的数据点的质心位置x＇、y＇；
Figure BDA0002465880620000091
Figure BDA0002465880620000092
(2)计算第一节点对应的数据点、第二节点对应的数据点中每一个数据点的去质心坐标x″i、y″i；
x″i＝xi-x′，i∈k
y″i＝yi-y′，i∈t
(3)根据下面优化函数计算旋转矩阵R：
Figure BDA0002465880620000101
(4)计算平移矩阵t：
t＝x-Rx′
根据上面的计算便可以得到变换矩阵中的旋转矩阵R和平移矩阵t，从而得到第一点云数据集、第二点云数据集所在坐标系的第一变换关系。
S5、根据第一变换关系对第二点云数据集进行转换，获得第三点云数据集。
根据第一变换关系对第二点云数据集进行转换具体为根据第一变换关系对第二点云数据集进行旋转和平移，以将第二点云数据集转换至第一点云数据集所在的坐标系中，从而实现两幅图像的配准。
本实施例中根据第一点云数据集和第二点云数据集的语义信息生成语义连接图，再根据语义信息构建语义连接图，基于语义连接图实现第一点云数据集和第二点云数据集的配准，从高层次的语义信息出发，实现了第一点云数据集和第二点云数据集分层次的配准，从而实现全局配准即粗配准，避免了现有的全局配准算法依赖于低层视觉特性而容易受环境因素以及点云密度等其他因素的影响，具有很好的鲁棒性。
参照图4，为了进一步提升配准精度，本实施例中的配准方法还包括：
S6、对第一点云数据集、第三点云数据集进行配准，获得第一点云数据集与第三点云数据集之间的第二变换关系。
较佳地，在步骤S6中配准所采用的方法是迭代最近点算法(Iterative ClosestPoint，ICP)，具体地，假设，P＝{pi，i∈m}表示第一点云数据集，m表示第一点云数据集中数据点的个数，Q＝{qi，i∈n}为第三点云数据集，n表示第三点云数据集中数据点的个数，整个配准过程如下：
(1)取第一点云数据集中的某一点pi，在第三点云数据集中找到点qi，使得||pi-qi||最小；
(2)计算旋转矩阵R和平移矩阵t，使得误差函数
Figure BDA0002465880620000111
最小；
(3)使用上一步得到的旋转矩阵R和平移矩阵t对qi进行旋转和平移变换，得到新的对应点集q′i＝Rqi+t；
(4)计算q′i与第一点云数据集P的平均距离
Figure BDA0002465880620000112
(5)判断是否满足收敛条件，若满足则停止迭代，若不满足则返回(1)。
本实施例中的收敛条件为平均距离d是否小于某一给定的阈值或者迭代次数是否大于预设的最大迭代次数，即在(5)中，若平均距离d小于某一给定的阈值或者迭代次数大于预设的最大迭代次数则停止迭代计算，若平均距离d不小于某一给定的阈值或者迭代次数不大于预设的最大迭代次数则返回(1)，直到满足收敛条件为止。
S7、根据第二变换关系对第三点云数据集进行转换。
在步骤S6中获得第一点云数据集与第三点云数据集之间的第二变换关系后便可以根据第二变换关系将第三点云数据集转换至第一点云数据集所在的坐标系中。
本实施例从高层次的语义信息出发先对第一点云数据集和第二点云数据集进行分层次的配准，然后再通过采用迭代最近点算法(Iterative Closest Point，ICP)对第一点云数据集与第三点云数据集再次进行配准，从而在实现全局配准即粗配准后，再次进行局部配准即精配准，以实现分层次、由粗到精的配准，具有高效且鲁棒性好的特点。
实施例二
本实施例与实施一的不同之处在于，本实施例中的第一点云数据集和第二点云数据集分别包括多个物体，多个物体的类别相同，由于这些物体不能通过类别来进行分割，因此，本实施例中的语义信息为物体的形状，本实施例中的物体可以是具有网格状或其他类似于网格状的重复结构，也可以是具有特定形状的物体，例如，球体、长方体、圆柱体、锥体等，在进行语义信息提取的时候可以通过基于重复结构的提取或特殊结构的提取来得到类别相同的重复结构或者具有特定形状的物体。
本实施例中除了步骤S2、S4与实施例一不同之外，其他步骤与实施例一相同，这里不再赘述，下面对本实施例中的步骤S2、S4进行详细的描述。
S2、分别提取第一点云数据集、第二点云数据集的语义信息，这里的语义信息指的是物体的形状，步骤S2具体包括：
基于重复结构或特定形状对第一点云数据集、第二点云数据集中的物体进行检测，获得第一点云数据集、第二点云数据集中具有重复结构或特定形状的多个物体的形状，例如，重复结构可以是具有网格状或其他类似于网格状的重复结构，具有特定形状的物体可以是球体、长方体、圆柱体、锥体等。
S4、对第一点云数据集、第二点云数据集的语义连接图进行配准，获得第一点云数据集与第二点云数据集之间的第一变换关系。
在步骤S3中获得第一点云数据集、第二点云数据集的语义连接图后，需要对两个语义连接图进行配准，配准是为了获得第一点云数据集、第二点云数据集所在坐标系的变换关系，变换关系包括旋转和平移。在进行配准的时候需要先找到第一点云数据集、第二点云数据集中最相近的两个物体，从而得到第一点云数据集、第二点云数据集所在坐标系的对应点，根据对应点便可以求得变换关系。
参照图5，本实施例中步骤S4具体包括：
S41＇、将第一语义连接图、第二语义连接图中形状相同的第一节点和第二节点作为一个待配准点，获得多个待配准点对。
具体地，在步骤S41中，需要找出第一语义连接图中每一个第一节点的待配准点，例如，参照图6，第一语义连接图中第一节点1的形状为正方形，第一节点1的邻域点为第一节点(2，3，4，5，6，7，8)，且邻域点的形状均是正方形，第二语义连接图中第二节点(1，2，3，4，5)的形状均是正方形，因此，将第二节点(1，2，3，4，5)作为第一节点1的待配准点，从而形成5个待配准点对(1，1)、(1，2)、(1，3)、(1，4)、(1，5)。
S42＇、将每一个待配准点对中第一节点的邻域点作为第一匹配点、第二节点的邻域点作为第二匹配点。
S43＇、将多个待配准点对中与第一匹配点的形状相同的第二匹配点的个数最多的待配准点对作为配准点对。
第一语义连接图、第二语义连接图中两个形状相同且连接关系最接近的两个节点可以认为是第一点云数据集、第二点云数据集中最相近的两个物体，因此，若待配准点对中第二节点的邻域点的形状与第一节点的邻域点的形状相同的邻域点的个数最多，即可以得出该待配准点对中第二节点的连接关系跟与之对应的第一节点的连接关系最接近，从而该待配准点对中第二节点便是该第一节点最相近的配准点。
例如，参照图6，以第一节点1为例，在步骤S41中得到5个待配准点对(1，1)、(1，2)、(1，3)、(1，4)、(1，5)，5个待配准点对中第二节点的邻域点的形状与第一节点的邻域点的形状相同的邻域点的个数分别为4、2、2、2、2，因此，将待配准点对(1，1)作为配准点对。
S44＇、根据配准点对获得第一点云数据集与第二点云数据集之间的第一变换关系，其中，获得配准点对后，通过计算便可以得到第一点云数据集、第二点云数据集所在坐标系的变换关系。
虽然，本申请的实施例一和实施例二中只给出了语义信息为物体的类别、形状的示例，但是，本实施例并不受限于语义信息的具体形式，除了物体的类别、形状，也可以是物体的位姿、颜色等其他能有助于匹配的信息，且本实施例中的语义信息可以是自动获取，也可以通过人工标注来获得，由于不同的语义信息仅仅是检测方法不同，后面的配准原理均相同，这里不再一一赘述。
实施例三
参照图7，本实施例还提供了一种点云数据的配准系统，所述配准系统包括第一获取模块1、提取模块2、第二获取模块3、配准模块4、转换模块5。
具体地，第一获取模块1用于获取第一点云数据集和第二点云数据集，提取模块2用于分别提取第一点云数据集、第二点云数据集的语义信息，第二获取模块3用于根据第一点云数据集、第二点云数据集的语义信息分别获得第一点云数据集、第二点云数据集的语义连接图，配准模块4用于对第一点云数据集、第二点云数据集的语义连接图进行配准，获得第一点云数据集与第二点云数据集之间的第一变换关系，转换模块5用于根据第一变换关系对第二点云数据集进行转换，获得第三点云数据集。
第一获取模块1为深度图像传感器或者深度图像转换器，例如，第一获取模块1为激光雷达。
若第一点云数据集、第二点云数据集的语义信息为物体的类别，则提取模块2可以是分类器，其基于深度学习，利用卷积神经网络对第一点云数据集、第二点云数据集进行分类，获得第一点云数据集、第二点云数据集中每一个数据点的类别，将第一点云数据集、第二点云数据集中类别相同且相邻的数据点形成的三维点集合作为一个物体，每个物体的类别与其对应的数据点的的类别相同，从而分别得到第一点云数据集、第二点云数据集中多个不同类别的物体。
较佳地，本实施例采用的卷积神经网络为PointNet或PointNet++，PointNet或PointNet++是常用的卷积神经网络，这里不再对此进行赘述。
由于不同类别的物体对应的数据点都会集中在特定的区域，根据数据点的类别是否相同以及是否彼此相邻来将属于同一物体的数据点进行分割，从而便可以得到不同类别的物体对应的数据点集合。
若第一点云数据集、第二点云数据集的语义信息为物体的轮廓信息，则提取模块2可以是轮廓检测器，其可以基于重复结构或特定形状对第一点云数据集、第二点云数据集进行检测，获得第一点云数据集、第二点云数据集中具有重复结构或特定形状的多个物体的轮廓信息，例如，相同类别的重复结构可以是彼此相邻的多扇窗户，具有特定形状的物体可以是球体、长方体、圆柱体等。
配准模块4还用于对第一点云数据集、第三点云数据集进行配准，获得第一点云数据集与第三点云数据集之间的第二变换关系。转换模块5还用于根据第二变换关系对第三点云数据集进行转换。
实施例四
参照图8，本实施例提供了一种点云数据的配准装置，所述装置包括处理器200，处理器200用于执行存储器中存储的计算机程序以实现如实施例一～实施例二所述的点云数据的配准方法。
本实施例还提供了一种计算机存储介质201，计算机存储介质201与处理器200连接，计算机存储介质201中存储有计算机程序，处理器200用于读取并执行计算机存储介质201中存储的计算机程序，以实现如实施例一～实施例二所述的点云数据的配准方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机存储介质中，或者从一个计算机存储介质向另一个计算机存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。
本发明实施例是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种点云数据的配准方法，其特征在于，所述配准方法包括：
获取第一点云数据集和第二点云数据集，所述第一点云数据集和所述第二点云数据集具有重叠区域；
分别提取所述第一点云数据集、第二点云数据集的语义信息；
根据所述第一点云数据集、第二点云数据集的语义信息分别获得所述第一点云数据集、第二点云数据集的语义连接图；
对所述第一点云数据集、第二点云数据集的语义连接图进行配准，获得所述第一点云数据集与所述第二点云数据集之间的第一变换关系；
根据所述第一变换关系对所述第二点云数据集进行转换，获得第三点云数据集；
对所述第一点云数据集、第三点云数据集进行配准，获得所述第一点云数据集与所述第三点云数据集之间的第二变换关系；
根据所述第二变换关系对所述第三点云数据集进行转换；
其中，根据所述第一点云数据集、第二点云数据集的语义信息分别获得所述第一点云数据集、第二点云数据集的语义连接图具体包括：
将所述第一点云数据集中的每个物体作为一个第一节点，获取每一个第一节点的邻域点，将所述第二点云数据集中的每个物体作为一个第二节点，获取每一个第二节点的邻域点；
将所述第一点云数据集中每一个第一节点与所述第一节点的邻域点连接，获得第一语义连接图，将所述第二点云数据集中每一个第二节点与所述第二节点的邻域点连接，获得第二语义连接图；
其中，对所述第一点云数据集、第二点云数据集的语义连接图进行配准，获得所述第一点云数据集与所述第二点云数据集之间的第一变换关系具体包括：
将所述第一语义连接图、所述第二语义连接图中语义信息相同的第一节点和第二节点作为一个待配准点对，获得多个待配准点对；
将每一个所述待配准点对中第一节点的邻域点作为第一匹配点、第二节点的邻域点作为第二匹配点；
将所述多个待配准点对中与第一匹配点的语义信息相同的第二匹配点的个数最多的待配准点对作为配准点对；
根据所述配准点对获得所述第一点云数据集与所述第二点云数据集之间的第一变换关系。
2.根据权利要求1所述的配准方法，其特征在于，所述语义信息包括物体的类别、形状。
3.根据权利要求2所述的配准方法，其特征在于，若所述语义信息为物体的类别，则分别提取所述第一点云数据集、第二点云数据集的语义信息具体包括：
利用神经网络对所述第一点云数据集、第二点云数据集中的物体进行分类，获得所述第一点云数据集、第二点云数据集中的物体的类别。
4.根据权利要求2所述的配准方法，其特征在于，若所述语义信息为物体的形状，则分别提取所述第一点云数据集、第二点云数据集的语义信息具体包括：
对所述第一点云数据集、第二点云数据集中的物体进行检测，获得所述第一点云数据集、第二点云数据集中的物体的形状。
5.一种点云数据的配准系统，其特征在于，所述系统包括：
第一获取模块，用于获取第一点云数据集和第二点云数据集，所述第一点云数据集和所述第二点云数据集具有重叠区域；
提取模块，用于分别提取所述第一点云数据集、第二点云数据集的语义信息；
第二获取模块，用于将所述第一点云数据集中的每个物体作为一个第一节点，获取每一个第一节点的邻域点，将所述第二点云数据集中的每个物体作为一个第二节点，获取每一个第二节点的邻域点；将所述第一点云数据集中每一个第一节点与所述第一节点的邻域点连接，获得第一语义连接图，将所述第二点云数据集中每一个第二节点与所述第二节点的邻域点连接，获得第二语义连接图；
配准模块，用于将所述第一语义连接图、所述第二语义连接图中语义信息相同的第一节点和第二节点作为一个待配准点对，获得多个待配准点对；将每一个所述待配准点对中第一节点的邻域点作为第一匹配点、第二节点的邻域点作为第二匹配点；将所述多个待配准点对中与第一匹配点的语义信息相同的第二匹配点的个数最多的待配准点对作为配准点对；根据所述配准点对获得所述第一点云数据集与所述第二点云数据集之间的第一变换关系；
转换模块，用于根据所述第一变换关系对所述第二点云数据集进行转换，获得第三点云数据集；
配准模块还用于对第一点云数据集、第三点云数据集进行配准，获得第一点云数据集与第三点云数据集之间的第二变换关系；转换模块还用于根据第二变换关系对第三点云数据集进行转换。
6.一种点云数据的配准装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1～5任一项所述的点云数据的配准方法。
7.一种计算机存储介质，其特征在于，所述计算机存储介质中存储计算机程序，所述计算机程序在被一个或多个处理器读取并执行时实现如权利要求1～5任一项所述的点云数据的配准方法。
CN202010333771.8A 2020-04-24 2020-04-24 点云数据的配准方法、系统、装置及计算机存储介质 Active CN111524168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010333771.8A CN111524168B (zh) 2020-04-24 2020-04-24 点云数据的配准方法、系统、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010333771.8A CN111524168B (zh) 2020-04-24 2020-04-24 点云数据的配准方法、系统、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111524168A CN111524168A (zh) 2020-08-11
CN111524168B true CN111524168B (zh) 2023-04-18

Family

ID=71904353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010333771.8A Active CN111524168B (zh) 2020-04-24 2020-04-24 点云数据的配准方法、系统、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111524168B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581515B (zh) * 2020-11-13 2022-12-13 上海交通大学 基于图神经网络的户外场景点云配准方法
CN112669250B (zh) * 2021-03-16 2021-09-17 湖北亿咖通科技有限公司 一种轨迹对齐方法及电子设备
CN114440860A (zh) * 2022-01-26 2022-05-06 亿咖通(湖北)技术有限公司 定位方法、装置、计算机存储介质及处理器
CN116664645B (zh) * 2023-07-28 2023-10-20 之江实验室 一种点云匹配方法、装置、电子装置和存储介质
CN117557733B (zh) * 2024-01-11 2024-05-24 江西啄木蜂科技有限公司 基于超分辨率的自然保护区三维重建方法
CN117765047B (zh) * 2024-02-22 2024-04-30 法奥意威(苏州)机器人系统有限公司 一种工件配准方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427317A (zh) * 2015-11-25 2016-03-23 武汉大学 一种适用于多视角自动化配准多站地面激光点云数据的方法
CN106204718A (zh) * 2016-06-28 2016-12-07 华南理工大学 一种基于单个Kinect的简易高效三维人体重建方法
CN108053432A (zh) * 2017-11-14 2018-05-18 华南理工大学 基于局部icp的室内稀疏点云场景的配准方法
CN110120067A (zh) * 2019-05-08 2019-08-13 中国科学院武汉岩土力学研究所 岩石自然结构面磨损体积确定方法、装置和计算机设备
CN110223345A (zh) * 2019-05-14 2019-09-10 南京理工大学 基于点云的配电线路作业对象位姿估计方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
GB2550567A (en) * 2016-05-20 2017-11-29 Nokia Technologies Oy Point Cloud Matching Method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427317A (zh) * 2015-11-25 2016-03-23 武汉大学 一种适用于多视角自动化配准多站地面激光点云数据的方法
CN106204718A (zh) * 2016-06-28 2016-12-07 华南理工大学 一种基于单个Kinect的简易高效三维人体重建方法
CN108053432A (zh) * 2017-11-14 2018-05-18 华南理工大学 基于局部icp的室内稀疏点云场景的配准方法
CN110120067A (zh) * 2019-05-08 2019-08-13 中国科学院武汉岩土力学研究所 岩石自然结构面磨损体积确定方法、装置和计算机设备
CN110223345A (zh) * 2019-05-14 2019-09-10 南京理工大学 基于点云的配电线路作业对象位姿估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Giang Truong et al.Fast Point Cloud Registration using Semantic Segmentation.《IEEE》.2019,第1-9页. *
Paul J et al.A method for registration of 3-d shapes.《IEEE》.1992,第14卷(第2期),第239-256页. *
陈廷炯 等.基于语义分割和点云配准的物体检测与位姿估计.《计算机工程》.2020,第49卷(第1期),第36-40页. *

Also Published As

Publication number Publication date
CN111524168A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111524168B (zh) 点云数据的配准方法、系统、装置及计算机存储介质
CN111815757B (zh) 基于图像序列的大型构件三维重建方法
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
Khoshelham Extending generalized hough transform to detect 3d objects in laser range data
CN110222642B (zh) 一种基于全局图聚类的平面建筑构件点云轮廓提取方法
Li et al. A tutorial review on point cloud registrations: principle, classification, comparison, and technology challenges
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
Pintore et al. Recovering 3D existing-conditions of indoor structures from spherical images
CN114782499A (zh) 一种基于光流和视图几何约束的图像静态区域提取方法及装置
Li et al. 4FP-structure: A robust local region feature descriptor
JP2016194895A (ja) 室内２ｄ平面図の生成方法、装置及びシステム
Sveier et al. Object detection in point clouds using conformal geometric algebra
Guo et al. Line-based 3d building abstraction and polygonal surface reconstruction from images
CN116678418A (zh) 一种改进激光slam快速回环检测方法
Kutulakos Shape from the light field boundary
CN115131459B (zh) 平面布置图重建方法及装置
Tal et al. An accurate method for line detection and manhattan frame estimation
Shui et al. Automatic planar shape segmentation from indoor point clouds
Ferencz et al. Registration of 3d point clouds using mean shift clustering on rotations and translations
Hlubik et al. Advanced point cloud estimation based on multiple view geometry
Tian et al. High confidence detection for moving target in aerial video
Sanchez et al. Data-driven modeling of building interiors from lidar point clouds
CN113111741A (zh) 一种基于三维特征点的装配状态识别方法
Taime et al. Robust point matching via corresponding circles
Chu et al. Robust registration of aerial and close‐range photogrammetric point clouds using visual context features and scale consistency

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant