CN113160287A - 一种基于特征融合的复杂构件点云拼接方法及系统 - Google Patents

一种基于特征融合的复杂构件点云拼接方法及系统 Download PDF

Info

Publication number
CN113160287A
CN113160287A CN202110285374.2A CN202110285374A CN113160287A CN 113160287 A CN113160287 A CN 113160287A CN 202110285374 A CN202110285374 A CN 202110285374A CN 113160287 A CN113160287 A CN 113160287A
Authority
CN
China
Prior art keywords
point cloud
feature
feature fusion
point
point clouds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110285374.2A
Other languages
English (en)
Other versions
CN113160287B (zh
Inventor
陶文兵
张世舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110285374.2A priority Critical patent/CN113160287B/zh
Publication of CN113160287A publication Critical patent/CN113160287A/zh
Application granted granted Critical
Publication of CN113160287B publication Critical patent/CN113160287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征融合的复杂构件点云拼接方法及系统，属于计算机视觉领域，包括：采集构件各局部的三维点云并进行定位；相邻的局部三维点云之间存在部分重叠；根据定位结果将各局部三维点云转换到世界坐标系下并均匀降采样后提取关键点，得到对应的关键点云；将关键点云输入至特征融合匹配网络，得到任意两个相邻关键点云的匹配对应关系；特征融合匹配网络以两个相邻的点云为输入，用于提取各点云中点的多尺度特征或多种特征并融合为对应点的特征描述子，以计算相邻点云的匹配对应关系；利用相邻关键点云的匹配对应关系进行点云配准，基于点云配准结果将各关键点云拼接为整体三维点云模型。本发明能够提高复杂构件点云拼接的精度。

Description

一种基于特征融合的复杂构件点云拼接方法及系统
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种基于特征融合的复杂构建点云拼接方法及系统。
背景技术
大型复杂构件，包括飞机机翼、船舶桨叶、风力叶片、高铁车身等，在许多重大技术领域如航空航天、能源和交通等领域有着广泛应用。为了实现对大型复杂构件表面的高精度加工，需要制定一套精确可靠的三维测量系统来评估其各部分的表面精度。正如用一把尺子度量某物体的尺度，若希望得到足够可靠的测量结果，则尺子的精度也需要足够的高，对于复杂构件表面精度的测量也是如此，为了得到可靠的测量结果，对三维测量系统这把“尺子”的各部分(包括测量仪器、测量方法及相关算法等)都有很高的精度要求。
完整的三维测量应包括如下几步：1)首先需要通过视觉或激光传感器采集大型复杂构件每个局部表面的点云数据；2)通过多传感器和场景靶标定位系统，实现对每一块局部表面点云在场景中定位，以获得各点云的位姿；3)通过某种特定的点云拼接方法，将所有局部点云进行拼接，构建其可视化三维点云模型；4)将三维点云模型与真值CAD模型表面(理论尺寸)进行逐点比对，以此来达到测量的目的。
在上述的整个测量过程中，步骤3)局部点云的拼接起到了至关重要的作用，点云拼接精度的高低将直接决定测量结果的可靠程度(若拼接精度低，最终得到的点云测量模型失真，则与真值CAD模型的比对结果不能作为构件的可靠测量结果)。
传统的局部点云拼接方法的一般过程为：首先对采集到的局部表面点云模型提取关键点并计算每个关键点的特征描述子(通常为传统的手工设计特征FPFH、SHOT、Super4PCS等)，利用基于特征相似度的最近邻搜索进行特征匹配，从而估计待拼接的各分块点云之间的匹配对应关系，之后通过ICP、RANSAC等传统的刚体配准算法估计相对位姿变换(六自由度刚体变换模型)，然后根据这些相对位姿变换，进行邻近点云的两两拼接。最后通过点云一致性融合实现整体点云模型重建。然而在实际应用场景中，传统的局部点云拼接方法主要面临着两大考验：
1)在大型复杂构件所处的加工间场景中，存在光照变换、粉尘干扰等情况，给基于光流的视觉传感器或激光扫描仪所采集到的局部点云模型引入大量噪声点，传统的手工设计特征描述子如FPFH、SHOT、Super4PCS等，对这些噪声缺乏鲁棒性，从而导致大量特征误匹配的引入，影响点云拼接的精度和可靠性。
2)对于大型复杂构件如风力叶片而言，在标准安装定位方式下，大型构件各局部均有微小形变的存在，因此并非绝对的刚性构件。采用传统的刚体配准算法如ICP、RANSAC等估计的六自由度变换模型，无法拟合更复杂的非刚体变换，由此无法准确估计局部点云间的相对位姿变换，造成点云拼接精度的下降。
综上所述，对于现有的点云拼接方法而言，在对大型复杂构件进行三维测量的实际应用背景下不具备可靠性，无法满足高精度三维测量的特定应用需求。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于特征融合的复杂构件点云拼接方法及系统，其目的在于，提高复杂构件点云拼接的精度，以满足高精度三维测量的实际应用需求。
为实现上述目的，按照本发明的一个方面，提供了一种基于特征融合的复杂构件点云拼接方法，包括如下步骤：
(S1)采集构件各局部的三维点云，并进行定位以获得各局部三维点云的位姿；相邻的局部三维点云之间存在部分重叠的点；
(S2)根据定位结果将各局部三维点云转换到世界坐标系下并进行均匀降采样后，提取各局部三维点云的关键点，得到对应的关键点云；
(S3)将关键点云输入至特征融合匹配网络，得到任意两个相邻关键点云的匹配对应关系；特征融合匹配网络以两个相邻的点云为输入，用于提取各点云中点的多尺度特征或多种特征并融合为对应点的特征描述子，并基于融合得到的特征描述子计算两个相邻点云的匹配对应关系；
(S4)利用相邻关键点云的匹配对应关系进行点云配准，得到任意两个相邻点云之间的位姿变换模型，基于点云配准结果将各关键点云拼接为构件的整体三维点云模型。
本发明在获取每一对相邻的关键点云之间的匹配对应关系时，会利用神经网络模型同时提取点云中每个点的多尺度特征并融合为对应点的特征描述子，或者同时提取每个点的多种特征并融合为对应点的特征描述子，并基于融合得到的特征描述子计算两个相邻点云之间的匹配对应关系，由于不同尺度的特征、不同种类的特征在不同噪声影响下具有较好的特征表达能力，因此由多尺度特征或多种特征融合得到的特征描述子具有很好的噪声鲁棒性，基于这些特征描述子能够有效提高相邻点云之间的匹配精度，从而能够提高点云拼接的精度。
进一步地，步骤(S3)包括：
将所有关键点云中的部分相邻关键点云对划分为训练集，将剩余的关键点云划分为测试集；训练集数据量小于测试集数据量；
对训练集中每一对相邻的关键点云进行匹配标注，使相邻关键点云重叠部分中距离小于预设阈值的点对被标注为正样本，其余的点对被标注为负样本，从而得到训练集中每一对相邻关键点云的匹配对应关系；正样本表示对应的点对构成匹配，负样本表示表示对应的点对不构成匹配；
建立特征融合匹配网络，并利用匹配标注后的训练集对其进行训练；
将测试集所有相邻的关键点云对输入至训练后的特征融合匹配网络，得到测试集中每一对相邻关键点云的匹配对应关系。
利用每一对相邻点云中点对的距离标注正、负样本，能够准确获得相邻点云间的匹配对应关系，但该过程效率很低；本发明将所有关键点云中少部分相邻的关键点云对划分为训练集，将剩余的大部分关键点云划分为测试集，通过标注的方式获得训练集中相邻关键点云间的匹配对应关系，并利用标注后的训练集特征融合匹配网络，使得特征融合匹配网络能够准确获得相邻点云间的匹配对应关系，然后利用训练好的特征融合匹配网络完成测试集中每一对相邻的关键点云间的匹配关系，能够快速完成测试集中相邻点云间的匹配，并且保证较高的匹配精度。整体而言，本发明通过以上方式能够快速、高效地计算出任意两个相邻关键点云的匹配对应关系。
进一步地，特征融合匹配网络包括：第一特征融合提取模块、第二特征融合提取模块、第一归一化模块、第二归一化模块、特征匹配模块以及Hardmax模块；第一特征融合提取模块为共享权值的孪生网络；
第一特征融合提取模块，用于提取源点云中每个点的多尺度特征或多种特征并融合为源点云的特征描述子；
第二特征融合提取模块，用于提取目标点云中每个点的多尺度特征或多种特征并融合为目标点云的特征描述子；
第一归一化模块，用于对源点云中点的特征描述子进行归一化；
第二归一化模块，用于对目标点云中点的特征描述子进行归一化；
特征匹配模块，用于根据归一化之后的特征描述子，计算源点云和目标点云中各点的相似度，并构建相似度矩阵；相似度矩阵中，第i行第j列的元素用于表示源点云中第i个点与目标点云中第j个点之间的相似度；
Hardmax模块，用于将相似度矩阵的每一行中最大的元素编码为v1，以表示对应的点对构成匹配，将该行中其余的元素编码为v2，以表示对应的点对不构成匹配，从而得到描述源点云和目标点云的匹配对应关系的匹配矩阵；
其中，源点云为输入的两个相邻点云中的一个点云，目标点云为输入的两个相邻点云中的另一个点云；v1≠v2。
在一些可选的实施例中，特征融合提取模块包括：特征提取模块、N个特征内融合模块以及1个特征间融合模块；
特征提取单元，用于提取点云中点的N个不同尺度的特征；
N个特征内融合模块，分别用于对N个不同尺度的特征进行特征提取；
特征间融合模块，用于融合N个特征融合模块输出的特征，得到点云的特征描述子；
其中，特征融合提取模块为第一特征融合提取模块或第二特征融合提取模块；N>1。
本发明中，先利用特征内融合模块对于N个不同尺度的特征进行进一步的特征提取，然后利用特征间融合模块融合所有特征内融合模块输出的特征，最终得到的特征描述子兼具了局部信息和全局信息，对噪声具有鲁棒性。
在一些可选的实施例中，特征融合提取模块包括：N个特征提取器、N个特征内融合模块以及1个特征间融合模块；
特征提取器，用于提取点云点的特征，且N个特征提取器提取的特征互不相同；
N个特征内融合模块，分别用于对N个特征提取器提取的特征进行特征提取；
特征间融合模块，用于融合N个特征融合模块输出的特征，得到点云的特征描述子；
其中，特征融合提取模块为第一特征融合提取模块或第二特征融合提取模块；N>1。
本发明中，先利用特征内融合模块对于N个不同种类的特征进行进一步的特征提取，然后利用特征间融合模块融合所有特征内融合模块输出的特征，最终得到的特征描述子兼具了局部信息和全局信息，对噪声具有鲁棒性。
进一步地，步骤(S4)中，利用相邻关键点云的匹配对应关系进行点云配准时，采用非刚体配准算法。
本发明在对相邻的关键点云进行配准时，采用非刚体配准算法，在构件发生局部微小形变时也能够准确获得相邻点云间的相对位姿变换模型，从而进一步提高点云拼接的精度。
进一步地，非刚体配准算法为基于高斯混合模型的非刚体配准算法。
源点云到目标点云的位姿变换及匹配对应问题可视作空间下的规律分布问题，这种分布可以用一种高斯混合模型来表示；本发明使用基于高斯混合模型的非刚体配准算法完成相邻点云间的配准，能够基于源点云到目标点云间的分布特性，进一步提高相邻点云间非刚体配准的精度。
进一步地，步骤(S4)中，基于点云配准结果将各关键点云拼接为构件的整体三维点云模型，包括：
选取一个关键点云作为基准点云，根据任意两个相邻点云之间的位姿变换模型，计算各关键点云相对于基准点云的位姿变换模型；
根据基准点云以及各关键点云相对于基准点云的位姿变换模型，将各关键点云拼接为构件的整体三维点云模型。
本发明在获得任意一对相邻的关键点云间的位姿变换模型之后，以其中一个关键点云为基准点云，计算各关键点云相对于该基准点云的位姿变换模型，实现了关键点云的统一对齐，由此能够在配准过程中获得每一个点云的绝对位姿。
进一步地，步骤(S2)中，对点云进行均匀降采样时，采用最远点采样算法。
最远点采样(Farthest Point Sampling，FPS)算法简单，速度快；由于本发明获取的点云密度均匀，无需考虑点云分布杂乱的情况，因此本发明采用最远点采样对点云进行均匀降采样，能够在保证均匀降采样的同时有效提高降采样的速度。
按照本发明的另一个方面，提供了一种基于特征融合的复杂构件点云拼接系统，包括：数据采集模块、预处理模块、特征融合匹配模块以及配准拼接模块；
数据采集模块，用于采集构件各局部的三维点云，并进行定位以获得各局部三维点云的位姿；相邻的局部三维点云之间存在部分重叠的点；
预处理模块，用于根据定位结果将各局部三维点云转换到世界坐标系下并进行均匀降采样后，提取各局部三维点云的关键点，得到对应的关键点云；
特征融合匹配模块，用于将关键点云输入至特征融合匹配网络，得到任意两个相邻关键点云的匹配对应关系；特征融合匹配网络以两个相邻的点云为输入，用于提取各点云中点的多尺度特征或多种特征并融合为对应点的特征描述子，并基于融合得到的特征描述子计算两个相邻点云的匹配对应关系；
配准拼接模块，用于利用相邻关键点云的匹配对应关系进行点云配准，得到任意两个相邻点云之间的位姿变换模型，基于点云配准结果将各关键点云拼接为构件的整体三维点云模型。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明会利用神经网络模型同时提取点云中每个点的多尺度特征并融合为对应点的特征描述子，或者同时提取每个点的多种特征并融合为对应点的特征描述子，并基于融合得到的特征描述子计算两个相邻点云之间的匹配对应关系，由于不同尺度的特征、不同种类的特征在不同噪声影响下具有较好的特征表达能力，因此由多尺度特征或多种特征融合得到的特征描述子具有很好的噪声鲁棒性，基于这些特征描述子能够有效提高相邻点云之间的匹配精度，从而能够提高点云拼接的精度。
(2)本发明将所有关键点云中少部分相邻的关键点云对划分为训练集，将剩余的大部分关键点云划分为测试集，通过标注的方式获得训练集中相邻关键点云间的匹配对应关系，并利用标注后的训练集特征融合匹配网络，然后利用训练好的特征融合匹配网络完成测试集中每一对相邻的关键点云间的匹配关系，能够快速完成测试集中相邻点云间的匹配，并且保证较高的匹配精度。
(3)本发明采用非刚体配准算法对相邻的关键点云进行配准，在构件发生局部微小形变时也能够准确获得相邻点云间的相对位姿变换模型，从而进一步提高点云拼接的精度；在其优选方案中，使用基于高斯混合模型的非刚体配准算法完成相邻点云间的配准，能够基于源点云到目标点云间的分布特性，进一步提高相邻点云间非刚体配准的精度。
附图说明
图1为本发明实施例提供的基于特征融合的复杂构件点云拼接方法流程图；
图2为本发明实施例提供的相邻局部三维点云示意图；
图3为本发明实施例提供的特征融合匹配网络示意图；
图4为本发明实施例提供的特征内融合模块和特征间融合模块示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了解决现有的复杂构件点云拼接方法拼接结果不可靠，无法满足大型复杂构件的三维测量等实际应用需求的技术问题，本发明提供了一种基于特征融合的复杂构件点云拼接方法及系统，其整体思路在于：在获取任意两个相邻的点云间的匹配对应关系时，同时提取各点云中每一个点云的多个尺度的特征，或者多个种类的特征，然后将所提取的特征融合为对应点的特征描述子，使得点云中各点的特征描述子具有噪声鲁棒性，从而提高匹配精度，进而提高点云拼接精度；在此基础上，利用非刚体配准算法对相邻点云进行配准，以应对复杂构件表面的微小形变，进一步提高点云拼接精度。
以下为实施例。
实施例1：
一种基于特征融合的复杂构件点云拼接方法，如图1所示，包括如下步骤：
(S1)采集构件各局部的三维点云，并进行定位以获得各局部三维点云的位姿；相邻的局部三维点云之间存在部分重叠的点；
图2所示为6对相邻的局部三维点云，各对相邻的局部三维点云之间存在重叠部分；
在实际应用中，可通过三维扫描仪获得每一块局部的三维点云模型，并通过多传感器靶标定位方法获取每一块点云在中的定位，从而得到每一个局部三维点云在世界坐标系下的位姿；
在定位过程中，空间位置上相邻的局部三维点云，其定位顺序也是相邻的，为了便于识别点云间的相邻关系，对于所获取的局部三维点云，按照定位顺序对各局部三维点云依次进行编号，使得在空间位置向相邻的点云，编号也相邻；应当说明的是，此处仅为一种可选的实施方式，不应理解为对本发明的唯一限定，在本发明其他的一些实施例中，也可以采用其他的方式识别相邻的点云，例如利用一张数据表事先记录点云的邻近关系等，更多的实施方式，在此将不作一一列举；
(S2)根据定位结果将各局部三维点云转换到世界坐标系下并进行均匀降采样后，提取各局部三维点云的关键点，得到对应的关键点云；
以任意一块局部三维点云为例，通过定位，可以获得该局部三维点云在坐标系W下的位姿
Figure BDA0002980234940000101
在三维扫描仪坐标系S下，该点云上某一点具体坐标为
Figure BDA0002980234940000102
利用坐标变换关系，即可得到该点在世界坐标系下的绝对坐标为xW＝TW·xS；通过这种坐标变换的方式，获得该局部三维点云中每个点在世界坐标系下的坐标，即可将该局部三维点云转换到世界坐标系下；按照同样的方式处理每一块局部三维点云，即可将各局部三维点云转换到世界坐标系下；
由于原始采集的局部三维点云十分稠密，数据量太大，直接进行点云拼接，计算量过大，通过均匀降采样，可以在不影响拼接精度的情况下，有效减少计算量，提高拼接效率；
作为一种优选的实施方式，本实施例的步骤(S2)中，对点云进行均匀降采样时，采用最远点采样(Farthest Point Sampling，FPS)算法；对于任意一块局部三维点云，具体采样过程为：1)令局部点云的点集为P{x1,x2,...,xn}，从中任选一点xi作为起始点，并加入起始点集Ps＝{xi}；2)选取点集P中剩余n-1个点与该起始点计算距离，将最远点作为下一个起始点，加入起始点集Ps；3)选取点集P中剩余n-2个点计算和点集Ps中每个点的距离，将其中的最短距离作为点集P中某一点到点集Ps的距离，得到n-2个距离，选取这n-2个点中最远的点加入到起始点集Ps；循环重复上述步骤3)，直到点集Ps中点的数量达到设定的采样数量，并将点集Ps中的全部点作为点云的采样结果；本实施例采用最远点采样对点云进行均匀降采样，能够在保证均匀降采样的同时有效提高降采样的速度；
应当说明的是，在能够保证采样效果的情况下，也可采用八叉树降采样、随机采样、空间采样等其他的均匀降采样方法；
构件中的关键点包括曲率较大的角点、外接点、锚定点等，任意一种关键点提取方法都可用于本实施例中实现复杂构件中关键点的提取；作为一种可选的实施方式，本实施例中，具体使用点云PCL库中的关键点提取代码(ISS)对经过降采样后的点云提关键点；通过提取关键点，能够在保证点云拼接精度的基础上，进一步降低计算量，提高拼接效率；
(S3)将关键点云输入至特征融合匹配网络，得到任意两个相邻关键点云的匹配对应关系；特征融合匹配网络以两个相邻的点云为输入，用于提取各点云中点的多尺度特征并融合为对应点的特征描述子，并基于融合得到的特征描述子计算两个相邻点云的匹配对应关系；
本实施例中，步骤(S3)包括：
将所有关键点云中的部分相邻关键点云对划分为训练集，将剩余的关键点云划分为测试集；训练集数据量小于测试集数据量；
对训练集中每一对相邻的关键点云进行匹配标注，使相邻关键点云重叠部分中距离小于预设阈值的点对被标注为正样本，其余的点对被标注为负样本，从而得到训练集中每一对相邻关键点云的匹配对应关系；正样本表示对应的点对构成匹配，负样本表示表示对应的点对不构成匹配；本实施例中，匹配标注具体是利用三维点云标注软件CloudCompare2.9.0完成的，且预设阈值具体设定为0.5mm；
建立特征融合匹配网络，并利用匹配标注后的训练集对其进行训练；
将测试集所有相邻的关键点云对输入至训练后的特征融合匹配网络，得到测试集中每一对相邻关键点云的匹配对应关系；
(S4)利用相邻关键点云的匹配对应关系进行点云配准，得到任意两个相邻点云之间的位姿变换模型，基于点云配准结果将各关键点云拼接为构件的整体三维点云模型；
为了获得每个关键点云的绝对位姿，本实施例的步骤(S4)中，基于点云配准结果将各关键点云拼接为构件的整体三维点云模型，具体包括：
选取一个关键点云作为基准点云，根据任意两个相邻点云之间的位姿变换模型，计算各关键点云相对于基准点云的位姿变换模型；
根据基准点云以及各关键点云相对于基准点云的位姿变换模型，将各关键点云拼接为构件的整体三维点云模型；
应当说明的是，在本发明其他的一些实施例中，也可以直接利用相邻点云之间的位姿变换模型，完成复杂构件的点云拼接。
本实施例中，特征融合匹配网络如图3所示，包括：第一特征融合提取模块、第二特征融合提取模块、第一归一化模块、第二归一化模块、特征匹配模块以及Hardmax模块；第一特征融合提取模块为共享权值的孪生网络；输入的两个相邻点云中的一个为源点云，另一个为目标点云；
第一特征融合提取模块，用于提取源点云中每个点的多尺度特征并融合为对应点的特征描述子；
第二特征融合提取模块，用于提取目标点云中每个点的多尺度特征并融合为对应点的特征描述子；
第一归一化模块，用于对源点云中点的特征描述子进行归一化；
第二归一化模块，用于对目标点云中点的特征描述子进行归一化；
特征匹配模块，用于根据归一化之后的特征描述子，计算源点云和目标点云中各点的相似度，并构建相似度矩阵；相似度矩阵中，第i行第j列的元素用于表示源点云中第i个点与目标点云中第j个点之间的相似度；
Hardmax模块，用于将相似度矩阵的每一行中最大的元素编码为v1，以表示对应的点对构成匹配，将该行中其余的元素编码为v2，以表示对应的点对不构成匹配，从而得到描述源点云和目标点云的匹配对应关系的匹配矩阵；v1≠v2，为简化计算，本实施例中，设置v1＝1表示构成匹配的点对，v2＝0表示不构成匹配的点对；
本实施例中，在进行特征相似度计算之前，先对特征描述子进行归一化，能够避免因特征描述子中某些维特征值的差异过大而影响特征相似度的计算精度。
为了进一步提高特征描述子的噪声鲁棒性，本实施例中，特征融合提取模块(第一特征融合提取模块或第二特征融合提取模块)具体包括：特征提取模块、N个特征内融合模块以及1个特征间融合模块；
特征提取单元，用于提取点云中点的N个不同尺度的特征；在实际应用中，可以利用ResNet、AlexNet等特征提取神经网络实现本实施例中的特征提取单元，利用其中至少包含N个用于输出特征的层，且各层输出的特征尺度互不相同；
N个特征内融合模块，分别用于对N个不同尺度的特征进行特征提取；
特征间融合模块，用于融合N个特征融合模块输出的特征，得到点云的特征描述子；
其中，特征融合提取模块为第一特征融合提取模块或第二特征融合提取模块；N>1；本实施例中的特征内融合模块和特征间融合模块如图4所示，其中的k1、k2……kN分别表示从特征提取单元的N个层中输出的N个不同尺度的特征，knn表示特征间融合模块输出的融合得到的特征描述子；
如图4所示，每一个特征内融合模块包括三个级联的单元，每个单元由一个全连接层(fully connected layer，FC)及其后连接的线性整流单元(rectified liner unit,ReLU)构成；三个全连接层的节点数分别是Nintra、Nintra、
Figure BDA0002980234940000141
如图4所示，特征间融合模块包括5个级联的单元，每个单元由一个全连接层及其后连接的线性整流单元构成；前四个全连接层的节点数为Ninter，最后一个全连接层的节点数为Nnn；Nintra、Ninter以及Nnn的取值视具体输入而定；本实施例中，利用特征融合提取模块提取到的源点云/目标点云的128维特征描述子，由此能够获得较好的性能；在本发明其他的一些实施例中，也可以设置特征描述子维数为其他取值；
本实施例中，将源点云和目标点云中关键点的三维坐标分别表示为：
X＝{xi|xi∈R3，i＝1，…，n}；
Y＝{yj|yj∈R3，j＝1，...，m}；
将归一化之后的源点云和目标点云中关键点的特征描述子分别表示为：
F＝{fi|fi∈R128，i＝1，…，n}；
G＝{gj|gj∈R128，j＝1，…，m}；
n和m分别表示源点云和目标点云中关键点的数量。
作为一种可选的实施方式，本实施例中，特征融合匹配网络中的特征匹配模块距离利用最邻近匹配算法计算源点云和目标点云中关键点的特征相似度，相应地，对于源点云中任意第i个关键点xi和目标点云中任意第j个关键点yj，特征相似度Pij计算公式为：
Figure BDA0002980234940000142
针对上述特征融合匹配网络，本实施例中，利用标注之后的训练集对特征融合匹配网络进行训练的具体过程为：设定20个训练周期(epoch)，每个训练周期训练500个样本集(batch)，按照步骤1中的点云编号邻近性，任取32对相邻点云构成源点云与目标点云，作为一个训练样本集的全部样本(batch size)；在一个训练周期中，每次将一个训练样本集的全部样本输入到特征融合及匹配网络中，最开始按照网络的初始设定参数进行运算，求解得到匹配对应与真值匹配对应(即标注得到的匹配对应关系)的损失函数值，通过误差反向传播，进而对网络设定参数进行迭代调整，并作为下一次训练的初始参数；通过多个训练周期多个样本集的迭代训练，得到最终的网络参数文件，作为网络模型；在训练过程中，损失函数使用交叉熵损失函数，batch size的取值可参考GPU的计算性能进行调整；对于训练网络所采取的优化算法采用ADAM梯度优化算法，初始学习率η设置为10-3，β1＝0.9，β2＝0.999。
为了进一步提高点云拼接的精度，作为一种优选地实施方式，本实施例中，具体使用基于高斯混合模型的非刚体配准算法实现对相邻点云之间的配准；对于任意一对相邻的源点云和目标点云，进行配准的过程如下：
(S41)数据输入：以任意的两相邻点云及它们重叠部分关键点的特征描述子及匹配对应作为输入，关键点描述子及匹配对应由步骤3特征融合及匹配网络训练得到。具体地，非刚体配准算法所需输入的数据包括：
1)源点云关键点的三维坐标及特征描述子
X＝{xi，fi|xi∈R3，fi∈R128，i＝1，…，n}
2)目标点云关键点的三维坐标及特征描述子
Y＝{yj，gj|yj∈R3，gj∈R128，j＝1，…，m}
3)源点云与目标点云关键点的匹配对应
C＝{(xi，yj)|xi∈X，yj∈Y，(xi，yj)∈R6}
(S42)空间与特征邻近矩阵构建：利用步骤(S41)的输入，将源点云与目标点云中的三维坐标及特征描述子归一化，计算源点云中每一个关键点的坐标与目标点云中所有关键点三维坐标及特征描述子之间的欧式距离，分别构造空间及特征邻近矩阵；
(S43)高斯混合模型构造：源点云到目标点云的位姿变换及匹配对应问题可视作在空间下的规律分布问题，这种分布可以用一种高斯混合模型来表示；本实施例以步骤(S43)输出的空间、特征邻近信息和经过步骤(S3)得到的匹配对应信息作为输入，采用基于高斯混合模型的点云配准方法，求解所有相邻点云之间的非刚体位姿变换；
具体做法是：首先根据步骤(S42)所构造的空间及特征邻近矩阵，构建源点云到目标点云分布的高斯混合模型，源点云第i点到目标点云第j点的分量p(xi|j)为：
Figure BDA0002980234940000161
其中，σ为高斯模型的标准差，D为空间坐标维度，在此处设为3，xi为源点云第i点坐标，yj *为经过非刚性位姿变换后的目标点云第j点的坐标。
yj *＝yj+T(yj)
其中，T为非刚性变形函数，反映了目标点云的变换形式，可由高斯核函数线性组合而成，具体形式可以写成：
Figure BDA0002980234940000162
其中，
Figure BDA0002980234940000163
为系数向量，
Figure BDA0002980234940000164
为高斯核函数，β为核函数带宽，K和Φ为核函数与系数的矩阵形式。
之后，通过对每一个分量p(xi|j)进行一定的加权求和，构造高斯混合模型。
Figure BDA0002980234940000165
其中，Θ＝{σ，β}为非刚体变换模型的运动一致性参数，pij为每个高斯分类的权重；为了将特征邻近信息(特征描述子所携带的信息)和匹配对应信息(特征融合匹配网络输出的结果所包含的信息)与空间对应信息(非刚体配准结果所携带的信息)相结合，对高斯分量权重pij作如下设定：
Figure BDA0002980234940000171
在设定中，对于特殊情况：当源点云的xi点与目标点云的yj点刚好属于步骤4.1中的匹配对应集C时，将其视作是锚定匹配，设pij权重为1，目标点云中其他的点则不与xi构成匹配，pij权重为0；对于一般情况：源点云的xi点与目标点云的yj点不在匹配对应集C时，pij权重由两者的特征邻近性决定，即上述公式所示，其中α为特征邻近参数，设定值为0.6；
(S44)非刚体变换模型求解：使用期望最大化(EM)算法求解步骤4.3构造的高斯混合模型，以此求解源点云到目标点云的非刚性位姿变换模型；
首先对于步骤(S43)的高斯混合模型而言，由于数据为独立同分布，故其关于变形参数Θ的似然函数可以写成高斯混合模型的连乘形式：
Figure BDA0002980234940000172
通过最大化似然函数，即可得到点云分布最可能的情况，为了方便求解，将其转化成最小化似然函数的负对数形式，即：
Figure BDA0002980234940000173
上式中，λ为非刚性变形的权重，
Figure BDA0002980234940000174
表示非刚性变形函数在Hilbert空间的模长，
Figure BDA0002980234940000175
为了求解上式的最小化问题，通过构造目标函数，利用EM算法进行求解。目标函数构造为似然函数负对数形式在EM迭代前后两次的差值，可以写成如下形式：
Figure BDA0002980234940000181
之后利用EM算法，通过最小化目标函数，迭代求解变形参数Θ的最优参数解，最终得到从源点云到目标点云的最优非刚性变换模型，按照此变换模型即可实现源点云到目标点云的拼接。
本实施例非刚体配准算法实现源点云和目标点云间的配准，在构件发生局部微小形变时也能够准确获得相邻点云间的相对位姿变换模型，从而进一步提高点云拼接的精度；此外，由于源点云到目标点云的位姿变换及匹配对应问题可视作空间下的规律分布问题，这种分布可以用一种高斯混合模型来表示；本实施例使用基于高斯混合模型的非刚体配准算法完成相邻点云间的配准，能够基于源点云到目标点云间的分布特性，进一步提高相邻点云间非刚体配准的精度；应当说明的是，此处仅为本发明优选的实施方式，不应理解为对本发明的唯一限定；在本发明其他一些实施例中，也可以使用N-ICP(Non-rigid ICP)、RPM(Robust point matching)、KC(Kernel correlation)等其他的非刚体配准算法；在本发明其他的一些实施例中，也可以不使用非刚体配准算法，而直接只用常用的刚体配准算法。
实施例2：
一种基于特征融合的复杂构件点云拼接方法，本实施例与上述实施例1类似，所不同之处在于，本实施例的步骤(S3)中，所使用的特征融合匹配网络以两个相邻的点云为输入，用于提取各点云中点的多种特征并融合为对应点的特征描述子，并基于融合得到的特征描述子计算两个相邻点云的匹配对应关系；特征融合匹配网络提取的多种特征可为FPFH、SHOT、Super4PCS等；
在结构方面，本实施例中的特征融合匹配网络也与上述实施例1中的特征融合匹配网络结构类似，所不同之处在于，本实施例中，特征融合匹配网络中的第一特征融合提取模块，用于提取源点云中每个点的多个种类的特征并融合为对应点的特征描述子；第二特征融合提取模块，用于提取目标点云中每个点的多个种类的特征并融合为对应点的特征描述子；相应地，本实施例中，特征融合提取模块(第一特征融合提取模块或第二特征融合提取模块)具体包括：N个特征提取器、N个特征内融合模块以及1个特征间融合模块；
特征提取器，用于提取点云点的特征，且N个特征提取器提取的特征互不相同；
N个特征内融合模块，分别用于对N个特征提取器提取的特征进行特征提取；
特征间融合模块，用于融合N个特征融合模块输出的特征，得到点云的特征描述子；
其中，特征融合提取模块为第一特征融合提取模块或第二特征融合提取模块；N>1。
本发明中其他步骤的具体实施方式，以及特征融合提取网络中其他模块的具体实施方式，可参考上述实施例1中的描述，在此将不再复述。
实施例3：
一种基于特征融合的复杂构件点云拼接系统，包括：数据采集模块、预处理模块、特征融合匹配模块以及配准拼接模块；
数据采集模块，用于采集构件各局部的三维点云，并进行定位以获得各局部三维点云的位姿；相邻的局部三维点云之间存在部分重叠的点；
预处理模块，用于根据定位结果将各局部三维点云转换到世界坐标系下并进行均匀降采样后，提取各局部三维点云的关键点，得到对应的关键点云；
特征融合匹配模块，用于将关键点云输入至特征融合匹配网络，得到任意两个相邻关键点云的匹配对应关系；特征融合匹配网络以两个相邻的点云为输入，用于提取各点云中点的多尺度特征或多种特征并融合为对应点的特征描述子，并基于融合得到的特征描述子计算两个相邻点云的匹配对应关系；
配准拼接模块，用于利用相邻关键点云的匹配对应关系进行点云配准，得到任意两个相邻点云之间的位姿变换模型，基于点云配准结果将各关键点云拼接为构件的整体三维点云模型；
本实施例中，各模块的具体实施方式可参考上述方法实施例中的描述，在此将不作复述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于特征融合的复杂构件点云拼接方法，其特征在于，包括如下步骤：
(S1)采集所述构件各局部的三维点云，并进行定位以获得各局部三维点云的位姿；相邻的局部三维点云之间存在部分重叠的点；
(S2)根据定位结果将各局部三维点云转换到世界坐标系下并进行均匀降采样后，提取各局部三维点云的关键点，得到对应的关键点云；
(S3)将关键点云输入至特征融合匹配网络，得到任意两个相邻关键点云的匹配对应关系；所述特征融合匹配网络以两个相邻的点云为输入，用于提取各点云中点的多尺度特征或多种特征并融合为对应点的特征描述子，并基于融合得到的特征描述子计算两个相邻点云的匹配对应关系；
(S4)利用相邻关键点云的匹配对应关系进行点云配准，得到任意两个相邻点云之间的位姿变换模型，基于点云配准结果将各关键点云拼接为所述构件的整体三维点云模型。
2.如权利要求1所述的基于特征融合的复杂构件点云拼接方法，其特征在于，所述步骤(S3)包括：
将所有关键点云中的部分相邻关键点云对划分为训练集，将剩余的关键点云划分为测试集；训练集数据量小于测试集数据量；
对所述训练集中每一对相邻的关键点云进行匹配标注，使相邻关键点云重叠部分中距离小于预设阈值的点对被标注为正样本，其余的点对被标注为负样本，从而得到所述训练集中每一对相邻关键点云的匹配对应关系；正样本表示对应的点对构成匹配，负样本表示表示对应的点对不构成匹配；
建立特征融合匹配网络，并利用匹配标注后的训练集对其进行训练；
将所述测试集所有相邻的关键点云对输入至训练后的特征融合匹配网络，得到所述测试集中每一对相邻关键点云的匹配对应关系。
3.如权利要求1所述的基于特征融合的复杂构件点云拼接方法，其特征在于，所述特征融合匹配网络包括：第一特征融合提取模块、第二特征融合提取模块、第一归一化模块、第二归一化模块、特征匹配模块以及Hardmax模块；所述第一特征融合提取模块为共享权值的孪生网络；
所述第一特征融合提取模块，用于提取源点云中每个带点的多尺度特征或多种特征并融合为对应点的特征描述子；
所述第二特征融合提取模块，用于提取目标点云中每个点的多尺度特征或多种特征并融合为对应点的特征描述子；
所述第一归一化模块，用于对所述源点云中点的特征描述子进行归一化；
所述第二归一化模块，用于对所述目标点云中点的特征描述子进行归一化；
所述特征匹配模块，用于根据归一化之后的特征描述子，计算源点云和目标点云中各点的相似度，并构建相似度矩阵；所述相似度矩阵中，第i行第j列的元素用于表示所述源点云中第i个点与所述目标点云中第j个点之间的相似度；
所述Hardmax模块，用于将所述相似度矩阵的每一行中最大的元素编码为v1，以表示对应的点对构成匹配，将该行中其余的元素编码为v2，以表示对应的点对不构成匹配，从而得到描述所述源点云和所述目标点云的匹配对应关系的匹配矩阵；
其中，所述源点云为输入的两个相邻点云中的一个点云，所述目标点云为输入的两个相邻点云中的另一个点云；v1≠v2。
4.如权利要求3所述的基于特征融合的复杂构件点云拼接方法，其特征在于，特征融合提取模块包括：特征提取模块、N个特征内融合模块以及1个特征间融合模块；
所述特征提取单元，用于提取点云中点的N个不同尺度的特征；
所述N个特征内融合模块，分别用于对所述N个不同尺度的特征进行特征提取；
所述特征间融合模块，用于融合所述N个特征融合模块输出的特征，得到点云的特征描述子；
其中，所述特征融合提取模块为所述第一特征融合提取模块或所述第二特征融合提取模块；N>1。
5.如权利要求3所述的基于特征融合的复杂构件点云拼接方法，其特征在于，特征融合提取模块包括：N个特征提取器、N个特征内融合模块以及1个特征间融合模块；
所述特征提取器，用于提取点云中点的特征，且所述N个特征提取器提取的特征互不相同；
所述N个特征内融合模块，分别用于对所述N个特征提取器提取的特征进行特征提取；
所述所述特征间融合模块，用于融合所述N个特征融合模块输出的特征，得到点云的特征描述子；
其中，所述特征融合提取模块为所述第一特征融合提取模块或所述第二特征融合提取模块；N>1。
6.如权利要求1-5任一项所述的基于特征融合的复杂构件点云拼接方法，其特征在于，所述步骤(S4)中，利用相邻关键点云的匹配对应关系进行点云配准时，采用非刚体配准算法。
7.如权利要求6所述的基于特征融合的复杂构件点云拼接方法，其特征在于，所述非刚体配准算法为基于高斯混合模型的非刚体配准算法。
8.如权利要求6所述的基于特征融合的复杂构件点云拼接方法，其特征在于，所述步骤(S4)中，基于点云配准结果将各关键点云拼接为所述构件的整体三维点云模型，包括：
选取一个关键点云作为基准点云，根据任意两个相邻点云之间的位姿变换模型，计算各关键点云相对于所述基准点云的位姿变换模型；
根据所述基准点云以及各关键点云相对于所述基准点云的位姿变换模型，将各关键点云拼接为所述构件的整体三维点云模型。
9.如权利要求1-5任一项所述的基于特征融合的复杂构件点云拼接方法，其特征在于，所述步骤(S2)中，对点云进行均匀降采样时，采用最远点采样算法。
10.一种基于特征融合的复杂构件点云拼接系统，其特征在于，包括：数据采集模块、预处理模块、特征融合匹配模块以及配准拼接模块；
所述数据采集模块，用于采集所述构件各局部的三维点云，并进行定位以获得各局部三维点云的位姿；相邻的局部三维点云之间存在部分重叠的点；
所述预处理模块，用于根据定位结果将各局部三维点云转换到世界坐标系下并进行均匀降采样后，提取各局部三维点云的关键点，得到对应的关键点云；
所述特征融合匹配模块，用于将关键点云输入至特征融合匹配网络，得到任意两个相邻关键点云的匹配对应关系；所述特征融合匹配网络以两个相邻的点云为输入，用于提取各点云中点的多尺度特征或多种特征并融合为对应点的特征描述子，并基于融合得到的特征描述子计算两个相邻点云的匹配对应关系；
所述配准拼接模块，用于利用相邻关键点云的匹配对应关系进行点云配准，得到任意两个相邻点云之间的位姿变换模型，基于点云配准结果将各关键点云拼接为所述构件的整体三维点云模型。
CN202110285374.2A 2021-03-17 2021-03-17 一种基于特征融合的复杂构件点云拼接方法及系统 Active CN113160287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110285374.2A CN113160287B (zh) 2021-03-17 2021-03-17 一种基于特征融合的复杂构件点云拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110285374.2A CN113160287B (zh) 2021-03-17 2021-03-17 一种基于特征融合的复杂构件点云拼接方法及系统

Publications (2)

Publication Number Publication Date
CN113160287A true CN113160287A (zh) 2021-07-23
CN113160287B CN113160287B (zh) 2022-04-22

Family

ID=76887452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110285374.2A Active CN113160287B (zh) 2021-03-17 2021-03-17 一种基于特征融合的复杂构件点云拼接方法及系统

Country Status (1)

Country Link
CN (1) CN113160287B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807366A (zh) * 2021-09-16 2021-12-17 电子科技大学 一种基于深度学习的点云关键点提取方法
CN114118181A (zh) * 2021-08-26 2022-03-01 西北大学 一种高维回归点云配准方法、系统、计算机设备及应用
CN114283294A (zh) * 2021-12-20 2022-04-05 平安普惠企业管理有限公司 基于神经网络点云特征提取方法、系统、设备及存储介质
CN115641365A (zh) * 2022-08-25 2023-01-24 北京微视威信息科技有限公司 点云配准方法、系统、设备及介质
CN116297495A (zh) * 2023-05-09 2023-06-23 武汉理工大学 一种基于结构光图像的管壁检测方法及管壁检测装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109415A1 (en) * 2013-10-17 2015-04-23 Samsung Electronics Co., Ltd. System and method for reconstructing 3d model
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
WO2019157989A1 (zh) * 2018-02-14 2019-08-22 左忠斌 生物特征3d数据采集方法和生物特征3d数据识别方法
CN110930495A (zh) * 2019-11-22 2020-03-27 哈尔滨工业大学（深圳） 基于多无人机协作的icp点云地图融合方法、系统、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150109415A1 (en) * 2013-10-17 2015-04-23 Samsung Electronics Co., Ltd. System and method for reconstructing 3d model
WO2019157989A1 (zh) * 2018-02-14 2019-08-22 左忠斌 生物特征3d数据采集方法和生物特征3d数据识别方法
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN110930495A (zh) * 2019-11-22 2020-03-27 哈尔滨工业大学（深圳） 基于多无人机协作的icp点云地图融合方法、系统、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZI JIAN YEW，ET AL: "《RPM-Net：Robust Point Matching Using Learned Features》", 《2020 CVPR》 *
胡权凤: "《基于立体视觉的壳体零件三维重建技术研究》", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118181A (zh) * 2021-08-26 2022-03-01 西北大学 一种高维回归点云配准方法、系统、计算机设备及应用
CN114118181B (zh) * 2021-08-26 2022-06-21 西北大学 一种高维回归点云配准方法、系统、计算机设备及应用
CN113807366A (zh) * 2021-09-16 2021-12-17 电子科技大学 一种基于深度学习的点云关键点提取方法
CN113807366B (zh) * 2021-09-16 2023-08-08 电子科技大学 一种基于深度学习的点云关键点提取方法
CN114283294A (zh) * 2021-12-20 2022-04-05 平安普惠企业管理有限公司 基于神经网络点云特征提取方法、系统、设备及存储介质
CN115641365A (zh) * 2022-08-25 2023-01-24 北京微视威信息科技有限公司 点云配准方法、系统、设备及介质
CN115641365B (zh) * 2022-08-25 2023-08-04 北京微视威信息科技有限公司 点云配准方法、系统、设备及介质
CN116297495A (zh) * 2023-05-09 2023-06-23 武汉理工大学 一种基于结构光图像的管壁检测方法及管壁检测装置

Also Published As

Publication number Publication date
CN113160287B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN113160287B (zh) 一种基于特征融合的复杂构件点云拼接方法及系统
CN109410321B (zh) 基于卷积神经网络的三维重建方法
CN101567051B (zh) 一种基于特征点的图像配准方法
CN113205466A (zh) 一种基于隐空间拓扑结构约束的残缺点云补全方法
Du et al. Stereo vision-based object recognition and manipulation by regions with convolutional neural network
JP2011238204A (ja) ３次元シーンにおける３次元物体の認識及び位置姿勢決定方法
CN103729643A (zh) 多模式场景中的三维对象的识别和姿势确定
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
JP2019008571A (ja) 物体認識装置、物体認識方法、プログラム、及び学習済みモデル
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN113012208A (zh) 多视角遥感图像配准方法及系统
CN113516693A (zh) 一种快速通用的图像配准方法
Si et al. A review of point cloud registration algorithms for laser scanners: applications in large-scale aircraft measurement
CN114066953A (zh) 一种针对刚性目标的三维多模态图像可变形配准方法
Chen et al. Full transformer framework for robust point cloud registration with deep information interaction
Wang et al. Revisiting monocular satellite pose estimation with transformer
Fu et al. Learning to reduce scale differences for large-scale invariant image matching
CN116310098A (zh) 一种基于注意力机制与可变卷积深度网络的多视图三维重建方法
Lee et al. Connectivity-based convolutional neural network for classifying point clouds
Cheng et al. A two-stage outlier filtering framework for city-scale localization using 3D SfM point clouds
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
Luo et al. A Review of Homography Estimation: Advances and Challenges
Guan et al. Relative pose estimation for multi-camera systems from affine correspondences
Xu et al. Local feature matching using deep learning: A survey
CN117292064A (zh) 一种基于结构光扫描数据的三维物体建模方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant