CN115063459A - 点云配准方法及装置、全景点云融合方法及系统 - Google Patents

点云配准方法及装置、全景点云融合方法及系统 Download PDF

Info

Publication number
CN115063459A
CN115063459A CN202210946526.3A CN202210946526A CN115063459A CN 115063459 A CN115063459 A CN 115063459A CN 202210946526 A CN202210946526 A CN 202210946526A CN 115063459 A CN115063459 A CN 115063459A
Authority
CN
China
Prior art keywords
point cloud
attention
self
feature
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210946526.3A
Other languages
English (en)
Other versions
CN115063459B (zh
Inventor
李骏
李想
魏翼飞
周方明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Lichuang Zhiheng Electronic Technology Co ltd
Original Assignee
Suzhou Lichuang Zhiheng Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Lichuang Zhiheng Electronic Technology Co ltd filed Critical Suzhou Lichuang Zhiheng Electronic Technology Co ltd
Priority to CN202210946526.3A priority Critical patent/CN115063459B/zh
Publication of CN115063459A publication Critical patent/CN115063459A/zh
Application granted granted Critical
Publication of CN115063459B publication Critical patent/CN115063459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种点云配准方法及装置、全景点云融合方法及系统。所述点云配准方法包括获取第一点云和第二点云；依次使用预设的点云编码器、基于Transformer算法的注意力特征提取器和预设的点云解码器，得到第一目标几何特征和第二目标几何特征；根据所述第一目标几何特征和第二目标几何特征得到第一点云和第二点云之间的旋转矩阵和平移向量。所述的点云配准方法中，通过使用基于Transformer算法的注意力特征提取器，使得最终得到的第一目标几何特征和第二目标几何特征包含第一点云和第二点云的局部几何特征和全局上下文信息。因此，使用本申请提供的点云配准方法得到的旋转矩阵和平移向量进行点云配准，配准精度高。

Description

点云配准方法及装置、全景点云融合方法及系统
技术领域
本申请涉及机器视觉技术领域，尤其涉及点云配准方法及装置、全景点云融合方法及系统。
背景技术
点云是通过测量仪器得到的产品外观表面的三维点数据集合。目前，点云获取方式越来越广泛，可以通过激光雷达等设备直接获取到点云；也可以利用深度相机、结构光等设备获得深度图像，进而转换为点云。但激光雷达、深度相机或者结构光等传感器只能在有限的视野范围内捕捉和扫描产品或者场景信息，因此，需要融合来自多个传感器的点云，以获得被测产品或场景的完整三维点云。
点云配准是点云融合中的一个关键步骤。通过点云配准找到属于同一产品或场景下第一个点云和第二个点云的坐标变换关系；利用坐标变换关系将两个点云融合成一个新点云；然后，再通过点云配准方法找到新点云与属于同一产品或场景下的第三个点云的坐标变换关系，以此类推，得到被测产品或场景下的完整点云。
目前，已有基于深度学习的点云配准方法，来寻找两个点云之间的坐标变换关系。例如使用基于FCGF（Fully-Convolutional Geometric Features，全卷积几何特征）网络的点云编码器提取输入点云的几何特征，再使用预设的点云解码器对上述几何特征进行上采样，得到最终的几何特征，用于寻找两个点云之间的坐标变换关系。
但是，上述基于深度学习的点云配准方法提取得到的几何特征，只关心自身点云对应的局部信息；而点云融合时，更关心的是两个点云重叠部分之间的关系，也就是点云的全局上下文信息。目前，使用上述基于深度学习的点云配准方法的配准精度并不高。
发明内容
为了解决目前基于深度学习的点云配准方法的配准精度不高的问题，本申请通过以下方面提供一种点云配准方法及装置、全景点云融合方法及装置。
本申请第一方面提供一种点云配准方法，包括：获取第一点云和第二点云；
使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；
使用基于Transformer算法的注意力特征提取器交叉学习第一初始几何特征和第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；
使用预设的点云解码器，得到第一加强自注意特征对应的第一目标几何特征、第二加强自注意特征对应的第二目标几何特征；
使用Ransac算法，得到第一目标几何特征和第二目标几何特征的旋转矩阵和平移向量。
在一种可能的实现方式中，基于Transformer算法的注意力特征提取器包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元；
使用基于Transformer算法的注意力特征提取器交叉学习第一初始几何特征和第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征，包括：
第一自注意单元提取第一初始几何特征的第一自注意特征；
第二自注意单元提取第二初始几何特征的第二自注意特征；
第一交叉注意单元提取第一自注意特征和第二自注意特征的第一交叉注意特征；
第二交叉注意单元提取第一自注意特征和第二自注意特征的第二交叉注意特征；
第三自注意单元提取第一交叉注意特征的第一加强自注意特征；
第四自注意单元提取第二交叉注意特征的第二加强自注意特征。
在一种可能的实现方式中，预设的点云编码器、基于Transformer算法的注意力特征提取器以及预设的点云解码器使用预设训练数据集进行训练得到；其中，预设训练数据集包括多个样本点云对以及对应的标签旋转矩阵和标签平移向量；
其中，通过预设方法获取目标样本点云对的标签旋转矩阵和标签平移向量，其中，目标样本点云对为任意一个样本点云对，目标样本点云对包括第一样本点云和第二样本点云；
预设方法包括：
预处理第一样本点云和第二样本点云，得到第一低密度样本点云和第二低密度样本点云，其中预处理包括降采样处理与降噪处理；
使用FPFH算法提取第一低密度样本点云的第一样本点云特征、第二低密度样本点云的第二样本点云特征；
使用Ransac算法，得到第一样本点云特征和第二样本点云特征的粗匹配旋转矩阵和粗匹配平移向量；
使用点对面ICP配准算法，根据粗匹配旋转矩阵和粗匹配平移向量，得到标签旋转矩阵和标签平移向量。
在一种可能的实现方式中，第一点云与第二点云的重叠率大于等于第一预设值，第一样本点云与第二样本点云的重叠率大于等于第二预设值；
第一预设值大于第二预设值。
本申请第二方面提供一种点云配准装置，包括：点云获取模块、点云特征提取模块、配准关系获取模块；其中，
点云获取模块用于获取第一点云和第二点云；
点云特征提取模块包括依次相连的预设的点云编码子模块、基于Transformer算法的注意力特征提取子模块以及预设的点云解码子模块；其中，预设的点云编码子模块用于提取第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；基于Transformer算法的注意力特征提取子模块用于交叉学习第一初始几何特征和第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；预设的点云解码子模块用于提取第一加强自注意特征对应的第一目标几何特征、第二加强自注意特征对应的第二目标几何特征；
配准关系获取模块用于使用Ransac算法，得到第一目标几何特征和第二目标几何特征的旋转矩阵和平移向量。
在一种可能的实现方式中，基于Transformer算法的注意力特征提取子模块包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元；其中，
第一自注意单元用于提取第一初始几何特征的第一自注意特征，第二自注意单元用于提取第二初始几何特征的第二自注意特征；
第一交叉注意单元用于提取第一自注意特征和第二自注意特征的第一交叉注意特征；第二交叉注意单元用于提取第一自注意特征和第二自注意特征的第二交叉注意特征；
第三自注意单元用于提取第一交叉注意特征的第一加强自注意特征，第四自注意单元用于提取第二交叉注意特征的第二加强自注意特征。
本申请第三方面提供一种全景点云融合方法，包括：
获取被测对象的点云序列，其中，被测对象的点云序列包括被测对象的多个依次相邻的目标点云，且点云序列覆盖被测对象的全景区域；
根据本申请第一方面提供的点云配准方法，依次得到点云序列中的两个相邻目标点云对应的旋转矩阵和平移向量；
根据对应的旋转矩阵和平移向量，依次融合点云序列中的两个相邻目标点云，得到新的点云序列；
将新的点云序列作为被测对象的点云序列，重复上述得到新的点云序列的过程，直至新的点云序列中包含的目标点云数量为1；
得到被测对象的全景点云。
本申请第四方面提供一种全景点云融合系统。所述全景点云融合系统包括本申请第三方面提供的点云配准装置。所述全景点云融合系统还包括：点云序列存储装置、点云融合装置；
点云序列存储装置用于获取并存储被测对象的点云序列，其中，被测对象的点云序列包括被测对象的多个依次相邻的目标点云，且点云序列覆盖被测对象的全景区域；
点云配准装置用于从点云序列存储装置中依次取出两个相邻的目标点云，并得到两个相邻目标点云对应的旋转矩阵和平移向量；
点云融合装置用于根据对应的旋转矩阵和平移向量，依次融合两个相邻目标点云，得到新的点云序列，并将新的点云序列存储至点云序列存储装置。
本申请第五方面提供一种计算机设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如本申请第一方面所述的点云配准方法。
本申请第六方面提供一种计算机设备，包括：
存储器，用于执行计算机程序；
处理器，用于执行所述计算机程序时实现如本申请第三方面所述的全景点云融合方法。
本申请通过以上方面提供一种点云配准方法及装置、全景点云融合方法及系统。所述点云配准方法包括获取第一点云和第二点云；使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；使用基于Transformer算法的注意力特征提取器交叉学习第一初始几何特征和第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；使用预设的点云解码器，得到第一加强自注意特征对应的第一目标几何特征、第二加强自注意特征对应的第二目标几何特征；使用Ransac算法，得到第一目标几何特征和第二目标几何特征的旋转矩阵和平移向量。所述点云配准方法中，使用基于Transformer算法的注意力特征提取器交叉学习第一初始几何特征和第二初始几何特征，使得最终得到的第一目标几何特征和第二目标几何特征包含第一点云和第二点云的局部几何特征和全局上下文信息。因此，使用本申请提供的点云配准方法得到的旋转矩阵和平移向量进行配准，配准精度高。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种点云配准方法的工作流程示意图；
图2为本申请实施例提供的一种点云配准方法中的所述基于Transformer算法的注意力特征提取器的结构示意图；
图3为本申请实施例提供的一种点云配准方法中步骤13的工作流程示意图；
图4为本申请实施例提供的一种点云配准装置的结构示意图；
图5为本申请实施例提供的一种全景点云融合方法的工作流程示意图；
图6为本申请实施例提供的一种全景点云融合系统的结构示意图。
具体实施方式
为便于对申请的技术方案进行说明，以下首先在对本申请所涉及到的一些概念进行说明。
为了解决目前基于深度学习的点云配准方法的配准精度不高的问题。本申请通过以下实施例提供一种点云配准方法及装置。
参见图1，本申请第一实施例提供的一种点云配准方法包括步骤11-步骤15。
步骤11，获取第一点云和第二点云。
步骤12，使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征。
步骤13，使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征。
本实施例考虑到点云特征中的局部几何信息和全局信息对点云配准的精度都很重要，因此，本实施例的步骤13中使用基于Transformer算法的注意力特征提取器，交叉学习所述第一初始几何特征和所述第二初始几何特征，将更多的全局上下文信息整合到提取出来的几何特征中。
步骤14，使用预设的点云解码器，得到所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征。
步骤15，使用Ransac（RANdom SAmple Consensus，随机抽样一致）算法，得到第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量。
在本实施例中，预设的点云编码器采用基于FCGF（Fully-ConvolutionalGeometric Features，全卷积几何特征）网络点云编码器。对应的，预设的点云解码器采用基于FCGF网络的点云解码器。需要说明的是，在其他的实施例中，预设的点云编码器和预设的点云解码器也可以基于其他深度学习网络。
在本实施例中，参见图2，基于Transformer算法的注意力特征提取器包括第一自注意单元、第二自注意单元、第一交叉单元、第二交叉注意单元、第三自注意单元、第四自注意单元。相应的，参见图3，在本实施例中，步骤13包括步骤131-步骤132。
步骤131，所述第一自注意单元提取第一初始几何特征的第一自注意特征。
步骤132，所述第二自注意单元提取所述第二初始几何特征的第二自注意特征。
步骤133，所述第一交叉注意单元提取所述第一自注意特征和所述第二自注意特征的第一交叉注意特征。
步骤134，所述第二交叉注意单元提取所述第一自注意特征和所述第二自注意特征的第二交叉注意特征。
步骤135，所述第三自注意单元提取所述第一交叉注意特征的第一加强自注意特征。
步骤136，所述第四自注意单元提取所述第二交叉注意特征的第二加强自注意特征。
需要说明的是，步骤131和步骤132的执行顺序可以互换，也可以同时执行；同样的步骤133和步骤134的执行顺序、步骤135和步骤136的执行顺序，可以互换，也可以同时执行。上述标号只是为了方便描述，不代表时间顺序上的限定作用。
为了本领域技术人员清晰的理解本实施例提供的方法，以下通过一个示例来说明本实施例提供的点云配准方法的执行过程。
获取第一点云X和第二点云Y。其中，点云X包含的点数为n，点云Y包含的点数为m。
使用基于FCGF的点云编码器中包含的卷积核为7*7*7的3D卷积层抽取输入点云X 和Y的大的局部上下文信息，得到点云特征
Figure 519910DEST_PATH_IMAGE001
，
Figure 594045DEST_PATH_IMAGE002
。然后使用三个层次的带 有剩余块的跨步卷积层聚合更丰富的局部上下文信息；具体过程如下：
对于第一层次，点云特征
Figure 355328DEST_PATH_IMAGE003
，
Figure 55168DEST_PATH_IMAGE004
经过两层卷积核都为3*3*3，步长分别为1和2，通道 数为别为32和64的3D卷积层，得到特征
Figure 952717DEST_PATH_IMAGE005
和
Figure 197754DEST_PATH_IMAGE006
，其中，
Figure 711911DEST_PATH_IMAGE007
和
Figure 451329DEST_PATH_IMAGE008
的点云点 数分别为n/2和m/2，特征通道数为64。然后再经过第一层次的剩余块卷积层处理，得到特征
Figure 468963DEST_PATH_IMAGE009
和
Figure 822584DEST_PATH_IMAGE010
。
对于第二层次，将
Figure 683093DEST_PATH_IMAGE009
和
Figure 819676DEST_PATH_IMAGE010
输入基于FCGF网络的点云编码器的第二层次，经过一 层卷积核为3*3*3，步长为2，通道数为128的3D卷积层后，得到特征
Figure 331298DEST_PATH_IMAGE011
和
Figure 59082DEST_PATH_IMAGE012
,
Figure 813412DEST_PATH_IMAGE013
和
Figure 409478DEST_PATH_IMAGE014
的点云点数分别为n/4和m/4，特征通道数为128。然后经过第二层次的剩余块卷积 层后，得到特征
Figure 401705DEST_PATH_IMAGE015
和
Figure 644598DEST_PATH_IMAGE016
。
对于第三层次，将
Figure 355065DEST_PATH_IMAGE015
和
Figure 489244DEST_PATH_IMAGE016
输入基于FCGF网络的点云编码器的第三层次，经过一 层卷积核为3*3*3，步长为2，通道数为256的3D卷积层后，得到特征
Figure 335977DEST_PATH_IMAGE017
和
Figure 791184DEST_PATH_IMAGE018
，
Figure 723368DEST_PATH_IMAGE019
和
Figure 333341DEST_PATH_IMAGE020
的点云点数分别为n/8和m/8，特征通道数为256。然后经过第二层次的剩余块卷积 层后，得到第一初始几何特征
Figure 424794DEST_PATH_IMAGE021
和第二初始几何特征
Figure 134124DEST_PATH_IMAGE022
。
使用第一自注意单元和第二自注意单元进一步聚合和加强第一初始几何特征
Figure 615921DEST_PATH_IMAGE021
和第二初始几何特征
Figure 842634DEST_PATH_IMAGE022
各自的上下文关系，得到第一自注意特征和 第二自注意特征。第一自注意单元提取第一初始几何特征
Figure 398380DEST_PATH_IMAGE021
的第一自注意特征的 具体过程如下：
Figure 668824DEST_PATH_IMAGE023
由可学习矩阵
Figure 372338DEST_PATH_IMAGE024
、
Figure 527376DEST_PATH_IMAGE025
和
Figure 311530DEST_PATH_IMAGE026
线性投影到查 询向量
Figure 690559DEST_PATH_IMAGE027
、键向量
Figure 84631DEST_PATH_IMAGE028
和值向量
Figure 636835DEST_PATH_IMAGE029
，其中，查询向量为
Figure 432753DEST_PATH_IMAGE030
，键向量为
Figure 982683DEST_PATH_IMAGE031
， 值向量为
Figure 208259DEST_PATH_IMAGE032
。自注意矩阵
Figure 705099DEST_PATH_IMAGE033
，然后用softmax函数对自注意矩阵SA 进行归一化。消息
Figure 152261DEST_PATH_IMAGE034
表示自注意矩阵加权值的线性组合，计算方式为
Figure 200989DEST_PATH_IMAGE035
。然后将
Figure 304074DEST_PATH_IMAGE036
与
Figure 712927DEST_PATH_IMAGE037
拼接后，再经过一层卷积核为3*3*3，步长为1，输入通道数为512，输出通道 数为256的3D卷积层后得到
Figure 217858DEST_PATH_IMAGE038
，最后，将
Figure 109591DEST_PATH_IMAGE039
与
Figure 824606DEST_PATH_IMAGE040
相加后，得到第一自注意特征
Figure 397670DEST_PATH_IMAGE041
。
第二自注意单元提取第二初始几何特征的第二自注意特征
Figure 898052DEST_PATH_IMAGE042
的具体过 程与上述过程类似，在此不再赘述。
在第一交叉注意单元和第二交叉注意单元，对第一自注意特征
Figure 960686DEST_PATH_IMAGE041
和第二 自注意特征
Figure 38364DEST_PATH_IMAGE042
的上下文关系的聚合是双向的。即，在第一交叉注意单元，从
Figure 539752DEST_PATH_IMAGE043
到
Figure 753696DEST_PATH_IMAGE044
的方向交叉学习，在第二交叉注意单元，从
Figure 564395DEST_PATH_IMAGE044
到
Figure 926106DEST_PATH_IMAGE043
的方向交叉学习。
第一交叉注意单元，从
Figure 106551DEST_PATH_IMAGE043
到
Figure 830794DEST_PATH_IMAGE044
的方向交叉学习，得到第一交叉注意特征的具体 过程如下：
Figure 172913DEST_PATH_IMAGE044
由可学习矩阵
Figure 834970DEST_PATH_IMAGE045
线性投影，得到的查询向量
Figure 615844DEST_PATH_IMAGE046
，
Figure 804380DEST_PATH_IMAGE043
由 可学习矩阵
Figure 707614DEST_PATH_IMAGE047
和
Figure 778338DEST_PATH_IMAGE048
分别投影，得到键向量
Figure 35007DEST_PATH_IMAGE049
和值向量
Figure 717530DEST_PATH_IMAGE050
。交叉注意矩阵
Figure 667032DEST_PATH_IMAGE051
，然后用softmax函数对交叉注意矩阵进行归 一化。消息
Figure 490631DEST_PATH_IMAGE052
表示的是交叉注意矩阵加权值的线性组合，其中，
Figure 675625DEST_PATH_IMAGE053
从
Figure 838753DEST_PATH_IMAGE054
流到
Figure 834522DEST_PATH_IMAGE055
， 即
Figure 879838DEST_PATH_IMAGE056
。将
Figure 743889DEST_PATH_IMAGE053
与
Figure 886157DEST_PATH_IMAGE057
拼接后，再经过一层卷积核为3*3*3，步长为1，输入通道数为512， 输出通道数为256的3D卷积层后得到
Figure 177462DEST_PATH_IMAGE058
。最后将
Figure 710074DEST_PATH_IMAGE059
与
Figure 486138DEST_PATH_IMAGE060
相加，得到第一交叉注意特 征
Figure 623858DEST_PATH_IMAGE061
。
第二交叉注意单元提取所述第一自注意矩阵和所述第二自注意特征的第二交叉 注意特征
Figure 882801DEST_PATH_IMAGE062
的具体过程与上述过程类似，在此不再赘述。
使用第三自注意单元和第四自注意单元，进一步加强
Figure 230606DEST_PATH_IMAGE063
和
Figure 436459DEST_PATH_IMAGE064
的各自的全局上下 文，得到第一加强自注意特征和第二加强自注意特征。第三自注意单元提取第一交叉注意 特征的第一加强自注意特征的具体过程如下：
Figure 225424DEST_PATH_IMAGE063
由可学习矩阵
Figure 733897DEST_PATH_IMAGE065
、
Figure 178784DEST_PATH_IMAGE066
和
Figure 312963DEST_PATH_IMAGE067
线性投影到查询 向量
Figure 956433DEST_PATH_IMAGE068
、键向量
Figure 26021DEST_PATH_IMAGE069
和值向量
Figure 66527DEST_PATH_IMAGE070
，其中，查询向量为
Figure 879762DEST_PATH_IMAGE071
，键向量为
Figure 971215DEST_PATH_IMAGE072
，值向量为
Figure 946124DEST_PATH_IMAGE073
。自注意矩阵
Figure 162342DEST_PATH_IMAGE074
，然后用softmax函数对自注意矩 阵SA进行归一化。消息
Figure 389055DEST_PATH_IMAGE075
表示表示自注意矩阵加权值的线性组合，计算方式为
Figure 210380DEST_PATH_IMAGE076
。然后将
Figure 480825DEST_PATH_IMAGE077
与
Figure 387601DEST_PATH_IMAGE078
拼接后，再经过一层卷积核为3*3*3，步长为1，输入通道数为 512，输出通道数为256的3D卷积层后得到
Figure 916540DEST_PATH_IMAGE079
。最后，将
Figure 389110DEST_PATH_IMAGE080
与
Figure 971401DEST_PATH_IMAGE081
相加后，得到第一 加强自注意特征
Figure 224527DEST_PATH_IMAGE082
。
第四自注意单元提取第二交叉注意特征的第二加强自注意特征
Figure 917677DEST_PATH_IMAGE083
的具 体过程与上述过程类似，在此不再赘述。
经过基于FCGF网络的点云编码器和基于Transformer算法的注意力特征提取器之后，第一点云X和第二点云Y的点云特征分别为第一加强自注意特征和第二加强自注意特征。本实施例使用基于FCGF网络的点云解码器进行特征上采样，具体过程如下：
对于第一层次，分别输入第一加强自注意特征
Figure 510332DEST_PATH_IMAGE084
和第二加强自注意特征
Figure 607732DEST_PATH_IMAGE085
，经 过一层卷积核为3*3*3，步长分别为2，输出通道数为128的3D上采样卷积层，然后再经过第 一层次的输出通道数为128的剩余块卷积层处理，得到特征
Figure 489101DEST_PATH_IMAGE086
与
Figure 782679DEST_PATH_IMAGE087
。
对于第二层次，将
Figure 760999DEST_PATH_IMAGE088
与
Figure 481830DEST_PATH_IMAGE089
拼接后，和
Figure 970536DEST_PATH_IMAGE090
与
Figure 739909DEST_PATH_IMAGE091
拼接后的特征分别输入点云解码 器的第二层次，经过一层卷积核为3*3*3，步长为2，输出通道数为64的3D上采样卷积层，然 后经过第二层次的剩余块卷积层后，得到特征
Figure 635052DEST_PATH_IMAGE092
与
Figure 526785DEST_PATH_IMAGE093
。
对于第三层次，将
Figure 117166DEST_PATH_IMAGE094
与
Figure 565596DEST_PATH_IMAGE095
拼接后，和
Figure 190613DEST_PATH_IMAGE096
与
Figure 253247DEST_PATH_IMAGE097
拼接后的特征分别输入电晕解码 器的第三层次，经过一层卷积核为3*3*3，步长为2，输出通道数为64的3D上采样卷积层，得 到特征
Figure 189979DEST_PATH_IMAGE098
与
Figure 363471DEST_PATH_IMAGE099
。
最后，
Figure 842994DEST_PATH_IMAGE100
与
Figure 653693DEST_PATH_IMAGE101
分别经过一层卷积核为1*1*1，输出通道数为32的3D卷积层，得到 点云X和Y最终的第一目标几何特征
Figure 953087DEST_PATH_IMAGE102
和第二目标几何特征
Figure 930270DEST_PATH_IMAGE103
。
在本实施例中，使用Ransac算法寻找点云之间的坐标变换关系，即旋转矩阵和平移向量，以便于完成后续的点云配准融合。使用Ransac算法寻找点云之间的坐标变换关系的过程如下：
输入第一目标几何特征
Figure 388934DEST_PATH_IMAGE102
和第二目标几何特征
Figure 996632DEST_PATH_IMAGE103
，以及第一点云 X和第二点云Y，根据描述子（任意一个点x在
Figure 658689DEST_PATH_IMAGE104
中的32位描述向量和任意一个点y在
Figure 642826DEST_PATH_IMAGE105
中的 32维描述向量）做匹配，得到两个描述子对应的点的坐标关系，计算初始旋转矩阵和初始平 移向量。然后最小化投影误差，得到最终的坐标变换关系，即旋转矩阵和平移向量。
得到第一点云X和第二点云Y之间的旋转矩阵和平移向量之后，将第一点云X和第二点云Y同步到目标坐标系下。其中，目标坐标系可以是第一点云X所在的坐标系，也可以是第二点云Y所在的坐标系。目标坐标系中的第一点云X和第二点云Y之间距离过近的点会被删除，得到融合后的新点云。
在本实施例中，所述预设的点云编码器、所述基于Transformer算法的注意力特征提取器以及所述预设的点云解码器使用预设训练数据集进行训练得到。其中，所述预设训练数据集包括多个样本点云对以及对应的标签旋转矩阵和标签平移向量。
但是，在某些场景下的预设训练数据集中很难得到。例如，目前还没有专门针对列车底盘或者表面等部位的训练数据集，其坐标变换标签很难得到。为此，在一些实施例中，通过预设方法获取目标样本点云对的标签旋转矩阵和标签平移向量。其中所述目标样本点云对为任意一个样本点云对，所述目标样本点云对包括第一样本点云和第二样本点云。所述预设方法包括步骤21-步骤24。
步骤21，预处理所述第一样本点云和所述第二样本点云，得到第一低密度样本点云和第二低密度样本点云，其中所述预处理包括降采样处理与降噪处理。所述第一低密度样本点云的点数相对于第一样本点云的点数减少，第二低密度样本点云的点数相对于第二样本点云的点数减少。其中，降采样处理可以降低点云的密度。原始点云可能有几十万个点，降采样处理后的点云大概有2万个点。降噪处理可以删除离群点。因为离群点周围的点少，可以提取的局部特征也比较少，所以离群点对于后续配准的意义不大。
在一种实现方式中，如果要应用本实施例提供的点云配准方法针对待测对象（物体或者场景）进行全景融合时，对待配准的第一点云和第二点云的重叠率有要求。也就是说，所述第一点云与所述第二点云的重叠率大于等于第一预设值。对应的，训练数据集中的属于同一个样本点云对的第一样本点云和第二样本点云的重叠率大于等于第二预设值。其中，所述第一预设值大于所述第二预设值。
示例性的，在全景融合时，待配准的第一点云和第二点云的重叠率要求不低于50%。在两个点云配准之后得到的新点云，新点云与下一个要配准的点云之间的重叠率会下降，到最后两个要配准的点云之间的重叠率大概率是小于50%的。对应的，在构建训练数据集时，要求样本点云对之间的重叠率不低于30%，可以满足全景融合的需求。
步骤22，使用FPFH算法提取所述第一低密度样本点云的第一样本点云特征、所述第二低密度样本点云的第二样本点云特征。示例性的，第一低密度样本点云的点数为n1，第二低密度样本点云的点数为m1，则使用FPFH算法提取得到的第一样本点云特征包含n1个32维向量，第二样本点云特征包含m1个32维特征向量，即每个点由一个32维向量描述。
步骤23，使用Ransac算法，得到第一样本点云特征和所述第二样本点云特征的粗匹配旋转矩阵和粗匹配平移向量。
此处，Ransac算法的输入为第一低密度样本点云和第二低密度样本点云，以及第一样本点云特征和第二样本点云特征，寻找得到，第一低密度样本点云中的点a的32维向量与第二低密度样本点云中的点b的32维向量的距离最近，则将点a和点b称为一对匹配点。得到多个匹配点之后，就得到粗匹配旋转矩阵和粗匹配平移向量。
步骤24，使用点对面ICP（Iterative Closest Point，最近点迭代）配准算法，根据所述粗匹配旋转矩阵和所述粗匹配平移向量，得到所述标签旋转矩阵和所述标签平移向量。
使用点对面ICP配准算法细化匹配结果。将第一低密度样本点云、第二低密度样本点云、以及步骤23得到的粗匹配旋转矩阵和粗匹配平移向量，作为点对面ICP配准算法的输入，得到标签旋转矩阵和标签平移向量。点对面ICP配准算法容易陷入局部最小值，因此，使用步骤23得到的粗匹配旋转矩阵和粗匹配平移向量初始化所述点对面ICP配准算法，以避免上述陷入局部最小值的问题。
其中，点对面ICP配准算法属于ICP配准算法的变种。ICP算法采用最小化源点云与目标点云对应点间距离，而点对面ICP配准算法最小化源点云中的点到目标点云中对应点所在平面的距离。点对面ICP配准算法的收敛速度会更快，所以，本申请中使用点对面ICP配准算法，得到所述标签旋转矩阵和所述标签平移向量。
实施例提供一种点云配准方法。所述方法包括获取第一点云和第二点云；使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；使用预设的点云解码器，得到所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征；使用Ransac算法，得到所述第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量。所述点云配准方法中，使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，使得最终得到的第一目标几何特征和第二目标几何特征包含第一点云和第二点云的局部几何特征和全局上下文信息。因此，本实施例提供的所述点云配准方法得到的旋转矩阵和平移向量进行配准，配准精度高。
与第一实施例提供的点云配准方法相对应，本申请第二实施例提供一种点云配准装置。参见图4，所述点云配准装置包括：点云获取模块、点云特征提取模块、配准关系获取模块。
所述点云获取模块用于获取第一点云和第二点云。
所述点云特征提取模块包括依次相连的预设的点云编码子模块、基于Transformer算法的注意力特征提取子模块以及预设的点云解码子模块；其中，所述预设的点云编码子模块用于提取第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；所述基于Transformer算法的注意力特征提取子模块用于交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；所述预设的点云解码子模块用于提取所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征。
所述配准关系获取模块用于使用Ransac算法，得到所述第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量。
在一种实现方式中，所述基于Transformer算法的注意力特征提取子模块包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元，参考图2。
所述第一自注意单元用于提取第一初始几何特征的第一自注意特征，所述第二自注意单元用于提取所述第二初始几何特征的第二自注意特征。
所述第一交叉注意单元用于提取所述第一自注意特征和所述第二自注意特征的第一交叉注意特征；所述第二交叉注意单元用于提取所述第一自注意特征和所述第二自注意特征的第二交叉注意特征。
所述第三自注意单元用于提取所述第一交叉注意特征的第一加强自注意特征，所述第四自注意单元用于提取所述第二交叉注意特征的第二加强自注意特征。
上述装置在应用时的作用效果可参见本申请第一实施例中的相关描述，在此不再赘述。
在第一实施例的基础上，本申请第三实施例提供一种全景点云融合方法。参见图5，本申请第二实施例提供的全景点云融合方法包括步骤31-步骤35。
步骤31，获取被测对象的点云序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的目标点云，且所述点云序列覆盖所述被测对象的全景区域。在一种实现方式中，两个相邻的目标点云之间的重叠率大于等于第一预设值。
步骤32，根据本申请第一实施例提供的所述的点云配准方法，依次得到所述点云序列中的两个相邻目标点云对应的旋转矩阵和平移向量。
步骤33，根据所述对应的旋转矩阵和平移向量，依次融合所述点云序列中的两个相邻目标点云，得到新的点云序列。
步骤34，将所述新的点云序列作为所述被测对象的点云序列，重复上述得到新的点云序列的过程，直至新的点云序列中包含的目标点云数量为1。
步骤35，得到所述被测对象的全景点云。
本实施例提供的全景点云融合方法中，采用本申请第一实施例的提供的点云配准方法得到的旋转矩阵和平移向量，进行配准融合，得到的全景点云的准确率高。
进一步的，传统的全景点云融合方法主要是顺序融合。其中，顺序融合方法使用结构光等方式获得一个物体或者场景的多视角序列点云；示例性的，所述多视角序列点云包括n个点云。首先将n个点云中的第一个点云和第二点云进行两两配准融合，得到第一个目标点云；然后将第一个目标点云与第三个点云进行两两配准融合，得到第二个目标点云；然后将第二个目标点云与第四个点云进行两两配准融合，得到第三个目标点云......以此类推，直到n个点云全部配准融合，得到全景点云。由此可以看出，虽然顺序融合的全景点云融合方法简单直观，但是存在误差累积的问题，导致得到的全景点云准确率不高。
而本实施例提供的全景点云融合方法中，先将点云序列中的全部目标点云，按照相邻的位置关系，两两配准，融合得到新的点云序列；在将新的点云序列中的全部目标点云，按照相邻的位置关系，两两配准，融合得到新的点云序列，依次类推，直到得到一个完整的全景点云。相较于传统的顺序融合方法，本实施例提供的全景点云融合方法降低融合的复杂度，有效改善误差累积的问题，使得融合得到的全景点云的准确率高。
示例性的，所述被测对象的点云序列包括n个点云，则采用本申请第一实施例提供的方法，得到第一个目标点云和第二个目标点云的旋转矩阵和平移向量，配准融合得到新的点云序列中的第一个目标点云；同时，采用本申请第一实施例提供的方法，得到第三个目标点云和第四个目标点云的旋转矩阵的平移向量，配准融合得到新的新云序列中的第二个目标点云，依次类推，得到新的点云序列。针对新的点云序列在执行步骤32和步骤33，直到全部的点云配准融合成一个完整的全景点云。相较于顺序融合的全景点云融合方法的融合复杂度为n，本实施例提供的全景点云融合方法的融合复杂度为log2(n)。
本实施例提供的全景点云融合方法相较于传统的全景点云融合方法，降低融合的复杂度，有效缓解误差累积的问题，并结合采用第一实施例提供的点云配准方法提高配准精度，使得融合得到的全景点云的准确率高。
与第三实施例提供的全景点云融合方法相对应，本申请第四实施例提供一种全景点云融合系统。所述全景点云融合系统包括本申请第三实施例提供的点云配准装置。参见图6，所述全景点云融合系统还包括：点云序列存储装置、点云融合装置。
所述点云序列存储装置用于获取并存储被测对象的点云序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的目标点云，且所述点云序列覆盖所述被测对象的全景区域。
所述点云配准装置用于从所述点云序列存储装置中依次取出两个相邻的目标点云，并得到所述两个相邻目标点云对应的旋转矩阵和平移向量。
所述点云融合装置用于根据所述对应的旋转矩阵和平移向量，依次融合所述两个相邻目标点云，得到新的点云序列，并将所述新的点云序列存储至所述点云序列存储装置。
上述系统在应用时的作用效果可参见本申请第三实施例中的相关描述，在此不再赘述。
本申请第五实施例提供一种计算机设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如本申请第一实施例所述的点云配准方法。
本申请第六实施例提供又一种计算机设备，包括：存储器，用于执行计算机程序；处理器，用于执行所述计算机程序时实现如本申请第三实施例所述的全景点云融合方法。
本申请实施例中所描述的方法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于UE中。可选地，处理器和存储媒介也可以设置于UE中的不同的部件中。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质（例如固态硬盘Solid State Disk (SSD)）等。
本说明书的各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (10)

1.一种点云配准方法，其特征在于，包括：获取第一点云和第二点云；
使用预设的点云编码器，得到第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；
使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；
使用预设的点云解码器，得到所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征；
使用Ransac算法，得到所述第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量。
2.根据权利要求1所述的点云配准方法，其特征在于，所述基于Transformer算法的注意力特征提取器包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元；
所述使用基于Transformer算法的注意力特征提取器交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征，包括：
所述第一自注意单元提取第一初始几何特征的第一自注意特征；
所述第二自注意单元提取所述第二初始几何特征的第二自注意特征；
所述第一交叉注意单元提取所述第一自注意特征和所述第二自注意特征的第一交叉注意特征；
所述第二交叉注意单元提取所述第一自注意特征和所述第二自注意特征的第二交叉注意特征；
所述第三自注意单元提取所述第一交叉注意特征的第一加强自注意特征；
所述第四自注意单元提取所述第二交叉注意特征的第二加强自注意特征。
3.根据权利要求1所述的点云配准方法，其特征在于，所述预设的点云编码器、所述基于Transformer算法的注意力特征提取器以及所述预设的点云解码器使用预设训练数据集进行训练得到；其中，所述预设训练数据集包括多个样本点云对以及对应的标签旋转矩阵和标签平移向量；
其中，通过预设方法获取目标样本点云对的标签旋转矩阵和标签平移向量，其中，所述目标样本点云对为任意一个样本点云对，所述目标样本点云对包括第一样本点云和第二样本点云；
所述预设方法包括：
预处理所述第一样本点云和所述第二样本点云，得到第一低密度样本点云和第二低密度样本点云，其中所述预处理包括降采样处理与降噪处理；
使用FPFH算法提取所述第一低密度样本点云的第一样本点云特征、所述第二低密度样本点云的第二样本点云特征；
使用Ransac算法，得到第一样本点云特征和所述第二样本点云特征的粗匹配旋转矩阵和粗匹配平移向量；
使用点对面ICP配准算法，根据所述粗匹配旋转矩阵和所述粗匹配平移向量，得到所述标签旋转矩阵和所述标签平移向量。
4.根据权利要求3所述的点云配准方法，其特征在于，所述第一点云与所述第二点云的重叠率大于等于第一预设值，所述第一样本点云与所述第二样本点云的重叠率大于等于第二预设值；
所述第一预设值大于所述第二预设值。
5.一种点云配准装置，其特征在于，包括：点云获取模块、点云特征提取模块、配准关系获取模块；其中，
所述点云获取模块用于获取第一点云和第二点云；
所述点云特征提取模块包括依次相连的预设的点云编码子模块、基于Transformer算法的注意力特征提取子模块以及预设的点云解码子模块；其中，所述预设的点云编码子模块用于提取第一点云对应的第一初始几何特征、第二点云对应的第二初始几何特征；所述基于Transformer算法的注意力特征提取子模块用于交叉学习所述第一初始几何特征和所述第二初始几何特征，得到第一加强自注意特征和第二加强自注意特征；所述预设的点云解码子模块用于提取所述第一加强自注意特征对应的第一目标几何特征、所述第二加强自注意特征对应的第二目标几何特征；
所述配准关系获取模块用于使用Ransac算法，得到所述第一目标几何特征和所述第二目标几何特征的旋转矩阵和平移向量。
6.根据权利要求5所述的点云配准装置，其特征在于，所述基于Transformer算法的注意力特征提取子模块包括第一自注意单元、第二自注意单元、第一交叉注意单元、第二交叉注意单元、第三自注意单元、第四自注意单元；其中，
所述第一自注意单元用于提取第一初始几何特征的第一自注意特征，所述第二自注意单元用于提取所述第二初始几何特征的第二自注意特征；
所述第一交叉注意单元用于提取所述第一自注意特征和所述第二自注意特征的第一交叉注意特征；所述第二交叉注意单元用于提取所述第一自注意特征和所述第二自注意特征的第二交叉注意特征；
所述第三自注意单元用于提取所述第一交叉注意特征的第一加强自注意特征，所述第四自注意单元用于提取所述第二交叉注意特征的第二加强自注意特征。
7.一种全景点云融合方法，其特征在于，包括：
获取被测对象的点云序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的目标点云，且所述点云序列覆盖所述被测对象的全景区域；
根据权利要求1-4任一项所述的点云配准方法，依次得到所述点云序列中的两个相邻目标点云对应的旋转矩阵和平移向量；
根据所述对应的旋转矩阵和平移向量，依次融合所述点云序列中的两个相邻目标点云，得到新的点云序列；
将所述新的点云序列作为所述被测对象的点云序列，重复上述得到新的点云序列的过程，直至新的点云序列中包含的目标点云数量为1；
得到所述被测对象的全景点云。
8.一种全景点云融合系统，其特征在于，所述全景点云融合系统包括如权利要求5或者6所述的点云配准装置，所述全景点云融合系统还包括：点云序列存储装置、点云融合装置；
所述点云序列存储装置用于获取并存储被测对象的点云序列，其中，所述被测对象的点云序列包括所述被测对象的多个依次相邻的目标点云，且所述点云序列覆盖所述被测对象的全景区域；
所述点云配准装置用于从所述点云序列存储装置中依次取出两个相邻的目标点云，并得到所述两个相邻目标点云对应的旋转矩阵和平移向量；
所述点云融合装置用于根据所述对应的旋转矩阵和平移向量，依次融合所述两个相邻目标点云，得到新的点云序列，并将所述新的点云序列存储至所述点云序列存储装置。
9.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1-4任一项所述的点云配准方法。
10.一种计算机设备，其特征在于，包括：
存储器，用于执行计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求7所述的全景点云融合方法。
CN202210946526.3A 2022-08-09 2022-08-09 点云配准方法及装置、全景点云融合方法及系统 Active CN115063459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210946526.3A CN115063459B (zh) 2022-08-09 2022-08-09 点云配准方法及装置、全景点云融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210946526.3A CN115063459B (zh) 2022-08-09 2022-08-09 点云配准方法及装置、全景点云融合方法及系统

Publications (2)

Publication Number Publication Date
CN115063459A true CN115063459A (zh) 2022-09-16
CN115063459B CN115063459B (zh) 2022-11-04

Family

ID=83208476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210946526.3A Active CN115063459B (zh) 2022-08-09 2022-08-09 点云配准方法及装置、全景点云融合方法及系统

Country Status (1)

Country Link
CN (1) CN115063459B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295319A1 (en) * 2018-03-23 2019-09-26 Bodidata, Inc. Systems and methods for generating a refined 3d model using radar and optical camera data
US20210150252A1 (en) * 2019-11-14 2021-05-20 Magic Leap, Inc. Systems and methods for virtual and augmented reality
CN113838109A (zh) * 2021-11-30 2021-12-24 北京航空航天大学 一种低重合度点云配准方法
CN113989340A (zh) * 2021-10-29 2022-01-28 天津大学 一种基于分布的点云配准方法
WO2022067790A1 (zh) * 2020-09-30 2022-04-07 Oppo广东移动通信有限公司 一种点云分层方法及解码器、编码器、存储介质
CN114298946A (zh) * 2022-03-10 2022-04-08 武汉大学 一种框架细节增强的深度学习点云补全方法
CN114821282A (zh) * 2022-06-28 2022-07-29 苏州立创致恒电子科技有限公司 一种基于域对抗神经网络的图像检测模型及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190295319A1 (en) * 2018-03-23 2019-09-26 Bodidata, Inc. Systems and methods for generating a refined 3d model using radar and optical camera data
US20210150252A1 (en) * 2019-11-14 2021-05-20 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2022067790A1 (zh) * 2020-09-30 2022-04-07 Oppo广东移动通信有限公司 一种点云分层方法及解码器、编码器、存储介质
CN113989340A (zh) * 2021-10-29 2022-01-28 天津大学 一种基于分布的点云配准方法
CN113838109A (zh) * 2021-11-30 2021-12-24 北京航空航天大学 一种低重合度点云配准方法
CN114298946A (zh) * 2022-03-10 2022-04-08 武汉大学 一种框架细节增强的深度学习点云补全方法
CN114821282A (zh) * 2022-06-28 2022-07-29 苏州立创致恒电子科技有限公司 一种基于域对抗神经网络的图像检测模型及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENG QIN等: "Geometric Transformer for Fast and Robust Point Cloud Registration", 《HTTPS://ARXIV.ORG/PDF/2202.06688.PDF》 *

Also Published As

Publication number Publication date
CN115063459B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
Chen et al. Accurate light field depth estimation with superpixel regularization over partially occluded regions
US11321937B1 (en) Visual localization method and apparatus based on semantic error image
CN111524168B (zh) 点云数据的配准方法、系统、装置及计算机存储介质
CN113724135A (zh) 图像拼接方法、装置、设备及存储介质
CN110738200A (zh) 车道线3d点云地图构建方法、电子设备及存储介质
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN114219890A (zh) 一种三维重建方法、装置、设备及计算机存储介质
CN115409931A (zh) 一种基于图像与点云数据融合的三维重建方法
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN113327319A (zh) 一种复杂场景建模方法、装置、服务器及可读存储介质
JP2024507727A (ja) 潜在変数で条件付けた幾何学的形状認識ニューラルネットワークを使用した、シーンの新規画像のレンダリング
CN114638866A (zh) 一种基于局部特征学习的点云配准方法及系统
CN117745778A (zh) 一种点云配准实现方法、装置、存储介质及电子设备
Cao et al. Stable image matching for 3D reconstruction in outdoor
CN116188583B (zh) 相机位姿信息生成方法、装置、设备和计算机可读介质
CN113505885A (zh) 基于预设的损失函数的单目深度估计网络的训练方法
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
CN115063459B (zh) 点云配准方法及装置、全景点云融合方法及系统
US20230053952A1 (en) Method and apparatus for evaluating motion state of traffic tool, device, and medium
CN116934591A (zh) 多尺度特征提取的图像拼接方法、装置、设备及存储介质
Zhang Robust registration of SAR and optical images based on deep learning and improved Harris algorithm
CN113066165B (zh) 多阶段无监督学习的三维重建方法、装置和电子设备
CN114022458A (zh) 骨架检测方法、装置、电子设备和计算机可读存储介质
CN115965647A (zh) 背景图生成、图像融合方法、装置、电子设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant