CN114118181A - 一种高维回归点云配准方法、系统、计算机设备及应用 - Google Patents

一种高维回归点云配准方法、系统、计算机设备及应用 Download PDF

Info

Publication number
CN114118181A
CN114118181A CN202110991390.3A CN202110991390A CN114118181A CN 114118181 A CN114118181 A CN 114118181A CN 202110991390 A CN202110991390 A CN 202110991390A CN 114118181 A CN114118181 A CN 114118181A
Authority
CN
China
Prior art keywords
point cloud
point
dimensional
registration
clouds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110991390.3A
Other languages
English (en)
Other versions
CN114118181B (zh
Inventor
张雨禾
高健
刘泽华
郭宝
王丽清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN202110991390.3A priority Critical patent/CN114118181B/zh
Publication of CN114118181A publication Critical patent/CN114118181A/zh
Application granted granted Critical
Publication of CN114118181B publication Critical patent/CN114118181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机图形图像处理技术领域，公开了一种高维回归点云配准方法、系统、计算机设备及应用，首先分别对两个待配准的点云进行随机采样，使其点数相同。使用多层感知机分别提取两个三维点云的坐标信息，将三维坐标映射到高维上；对高维点云构造协方差矩阵融合两个点云的局部特征，使用二维卷积操作进一步提取点云的全局特征；通过全连接层将得到的全局特征映射到8维，使用四元组将1‑4维向量转化为旋转矩阵，第5‑7维代表平移向量，第8维代表尺度因子；利用求得的旋转矩阵，平移向量和尺度因子实现点云的配准。本发明针对初始旋转角度较大、部分‑部分和多尺度的点云配准具有速度快、对噪声鲁棒和结果准确度高的优点。

Description

一种高维回归点云配准方法、系统、计算机设备及应用
技术领域
本发明属于计算机图形图像处理技术领域，尤其涉及一种高维回归点云配准方法、系统、计算机设备及应用。
背景技术
目前，随着各种扫描设备的不断发展，三维点云由于其自适应性和可描述性而成为一种流行的三维数据格式。因此，点云配准成为计算机图形学和计算机视觉中的一个基础和重要课题，在三维重建、三维定位和姿态估计中得到了广泛应用，点云配准的重点是计算刚性变化，使扫描的源点云和目标点云对齐，然后通过配准算法，将点云的多个部分合并，形成完整的点云。
迭代最近点(ICP)是应用最广泛的传统点云配准方法，该算法首先执行初始更改以查找目标点云中的最近邻，然后使用奇异值分解法计算刚性变换，并反复迭代，直到达到最优解。ICP具有较高的精度，但它取决于初始旋转位置的精度，通常由于较大的初始扰动而陷入局部最优。
为了解决ICP的这些缺陷，已经提出了一系列全局配准算法，例如快速全局配准(FGR)和GO-ICP，但与ICP相比，速度非常慢。解决缺陷的另一种方法是提取关键点，从中求取刚性变化，如RANASAC，但此类方法的精度对异常值和对称模型敏感。多尺度迭代最近点(SICP)目的是配准不同尺度的点云，同样，它也局限于初始变换。近年来，许多基于深度学习的方法取得了令人满意的性能，它们利用深度网络建立对应关系而无需转换初始化，如DCP、RPM-Net和IDAM。这些方法极大地提高了计算速度，克服了局部最优，但它们无法处理源点云和目标点云之间旋转角度过大的问题。此外，由于不同的数据采集设备具有不同的物理量，采集的点云通常具有不同的尺度，然而，最近的研究并没有关注这种情况。因此需要一种有效的点云配准算法，能够计算两片点云之间的相对位姿关系并满足：(1)算法的鲁棒性强，对噪声点和异常点不敏感；(2)算法的能够处理旋转角度较大的、部分到部分和不同尺度的配准；(3)并且尽可能满足实时配准三维点云模型的要求。
通过上述分析，现有技术存在的问题及缺陷为：现有技术依赖初始旋转角度，针对旋转角度较大的、部分到部分和不同尺度的配准容易失效。
解决以上问题及缺陷的难度：现在大多数的研究都只关注于具有大的初始旋转角度、部分到部分和不同尺度的配准这三个方面中的某一个方面。随着点云采集技术的快速发展，许多机制已经趋于成熟，如Kinect和Lidar。每个传感器都有特定的优点和局限性，这表明如果融合来自不同传感器的点云，将显著提供更多有用的信息，并实现更好的应用性能。由于不同的数据采集机制具有不同的物理测量，因此捕获的点云可能有不同的尺度，在使用不同设备采集的点云三个问题可能会同时存在，配准的难度将会大大增加。
解决以上问题及缺陷的意义为：源点云和目标点云之间的大旋转角度极大地损害了基于ICP的传统方法和最近基于深度学习的方法的性能。当源点云和目标点云中存在异常值时，配准将更加困难。异常值是指目标点云中没有对应关系的点，这可能是由于数据采集设备的系统错误，或源点云和目标点云之间的部分重叠。不同尺度点云的配准也是一个必要且具有挑战性的研究课题。虽然SICP可以处理这种情况，但SICP的主要限制是对初始转换的敏感性。我们提出的方法可以有效的克服这三种问题共存的情况。
发明内容
针对现有技术存在的问题，本发明提供了一种高维回归点云配准方法、系统、计算机设备及应用。
本发明是这样实现的，一种高维回归点云配准方法，所述高维回归点云配准方法包括：
步骤一，对每个点云进行采样，随机选择一个距离源点云和目标点云都无穷远的点作为远点；使用KNN算法为每个点云保留768个最靠近远点的点。这样可以得到点数一样多但是只有部分重叠的两个待配准点云，包含有离散的坐标信息，保证了步骤三中计算协方差矩阵时点数一样；
步骤二，将采样后的两个点云作为网络框架的输入，将坐标映射到高维，即计算每个点的局部特征，我们提取的每个点的局部特征描述符作为下一步骤的输入；
步骤三，计算两个点云局部特征的协方差矩阵以提取两个点云的全局特征，与直接使用最大池化相比协方差矩阵充分利用了点云局部特征的信息；
步骤四，使用二维卷积网络来融合协方差矩阵的特征，进一步提取了点云的全局特征并且使得全局特征的维度大大降低；
步骤五，将得到的全局特征使用全连接层进行回归，得到一个大小为8张量，全连接层可以有效的对特征进行回归并保留关键信息；
步骤六，将得到的8维张量转化为对应变化，我们使用四元组转化旋转矩阵，它不仅可以平滑插值，在内存和运算速度上更优；
步骤七，将对应变化作用于源点云，重复步骤一到步骤七，最后利用求得的对应变换实现两个点云的配准；
步骤八，训练网络框架，然后进行实际配准；
进一步，所述步骤二中的将采样后的两个点云作为网络框架的输入，将坐标映射到高维，计算每个点的局部特征，包括以下步骤：记源点云和目标点云分别为
Figure BDA0003232458240000031
和
Figure BDA0003232458240000032
Xi和Yj分别表示源点云X的第i个点和目标点云Y的第j个点，将大小为n×3的两个点云输入网络框架，使用多层感知机(64，64，128)将两者映射到128维度，每个1×128的张量即为对应点的局部特征，并且二者通过多层感知机共享参数，分别形成大小为n×128的局部特征XL和YL，将其作为下一步骤的输入；
进一步，所述步骤三中的计算两个点云局部特征的协方差矩阵以提取两个点云的全局特征，包括以下步骤：
分别计算XL每个维度的平均值，将XL的每一维度减去对应维度的平均值得到XL1，计算其协方差矩阵得到大小为128×128的矩阵B；
分别计算YL每个维度的平均值，将YL的每一维度减去对应维度的平均值得到YL1，计算其协方差矩阵得到大小为128×128的矩阵C；
计算XL1和YL之间的协方差矩阵得到矩阵大小为128×128的A；
将三个矩阵拼接在一起形成3@128×128的张量，将其作为下一步骤的输入；
进一步，所述步骤四中的使用二维卷积网络来融合协方差矩阵的特征，包括以下步骤：使用二维卷积网络来融合矩阵A、B和C的特征，二维卷积网络由叠加的卷积层组成；在卷积层中，输入采用步长为2的下采样，而不是最大池；除最后一层外，所有层后面都是批标准化，并使用ReLU激活函数；2D CNN设置为Conv2d(3，128，128)-Conv2d(8，64，64)-Conv2d(16，32，32)-Conv2d(8，16，16)。卷积核大小为3×3，将2DCNN的最后一层扩展为2048的一维张量，作为下一步骤的输入；
进一步，所述步骤五中的将得到的全局特征使用全连接层进行回归，得到一个大小为8张量，包括以下步骤：将得到的2048维张量输入全连接层，有三个分别大小为1024、512和256的隐藏层，以及一个大小为8的输出层；大小为8的输出为[q0、q1、q2、q3、xt、yt、zt、sest]。
进一步，所述步骤六中的将得到的8维张量转化为对应变化，包括以下步骤：
将该向量的前四维向量利用四元组表示为旋转矩阵
Figure BDA0003232458240000041
中间三个表示为平移向量
Figure BDA0003232458240000042
最后一个用作尺度因子
Figure BDA0003232458240000043
进一步，所述步骤八中的训练网络框架，包括以下步骤：将真实刚性变化作用于源点云，得到真实转化后的点云Ygt，记预测的目标点云分别为Yest，使用Ygt和Yest之间的地球移动距离EMD作为损失函数，使用Adam优化器来优化我们的网络，初始学习率为0.001，分别在第50次和250次训练的时候学习率降低为原来的0.1倍，训练400个epoches。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述高维回归点云配准方法的步骤。
本发明的另一目的在于提供一种实施所述高维回归点云配准方法的高维回归点云配准系统，所述高维回归点云配准系统包括：
待配准点云获取模块，用于对每个点云进行采样，随机选择一个距离源点云和目标点云都无穷远的点作为远点；使用KNN算法为每个点云保留768个最靠近远点的点；得到点数一样多但是只有部分重叠的两个待配准点云，包含有离散的坐标信息；
局部特征计算模块，用于将采样后的两个点云作为网络框架的输入，将他们的坐标映射到高维，计算每个点的局部特征；
全局特征提取模块，用于计算两个点云局部特征的协方差矩阵以提取两个点云的全局特征；
协方差矩阵特征融合模块，用于使用二维卷积网络来融合协方差矩阵的特征；
全局特征回归模块，用于将得到的全局特征使用全连接层进行回归，得到一个大小为8张量；
张量转化模块，用于将得到的8维张量转化为对应变化；
点云配准模块，用于将对应变化作用于源点云，利用求得的对应变换实现两个点云的配准；
实际配准模块，用于训练网络框架，进行实际配准。
本发明的另一目的在于提供一种所述高维回归点云配准方法在图像图像扫描设备中的应用。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明通过深度学习的高维回归点云配准网络框架，能够有效融合源点云和目标点云的局部特征，进而为源点云和和目标点云提供更多有用的信息；利用本发明提出的协方差矩阵，它充分利用点云间局部特征的信息，计算源点云局部特征的协方差矩阵、目标点云局部特征的协方差矩阵以及源点云和目标点云的局部特征之间的协方差矩阵，这和初始旋转角度没有直接关系，可以有效的配准初始旋转角度较大的点云；利用本发明改进的损失函数，使用Ygt和Yest之间的地面移动距离(EMD)作为损失函数，值得注意的是，ygt是通过真实转换变换从源点云获得的，而不是原始给定的目标点云Y。因此，在反向传播过程中，可以有效地识别异常值并赋予较小的权重。它可以有效的对部分-部分的点云进行配准，实验结果表明了该方法的有效性；由于本发明引进的尺度因子，还可以有效的对不同尺度间的点云进行配准。经过本发明的实验，与现有的方法相比，准确率和速度有了很大的提高。
附图说明
图1是本发明实施例提供的高维回归点云配准方法流程图。
图2是本发明实施例提供的高维回归点云配准系统的结构示意图；
图2中：1、待配准点云获取模块；2、局部特征计算模块；3、全局特征提取模块；4、协方差矩阵特征融合模块；5、全局特征回归模块；6、张量转化模块；7、点云配准模块；8、实际配准模块。
图3是本发明实施例提供的高维回归点云配准方法的实现流程图。
图4是本发明实施例提供的配准网络结构示意图。
图5是本发明实施例提供的在ModelNet40数据集上的一些配准结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种高维回归点云配准方法、系统、计算机设备及应用，下面结合附图对本发明作详细的描述。在训练中，本发明改进了地面移动距离(EMD)损失函数，将真实刚性变化作用于源点云，得到真实转化后的点云Ygt，记预测的目标点云分别为Yest，使用Ygt和Yest之间的地面移动距离(EMD)作为损失函数，可以有效地解决部分重叠的点云配准问题。本发明能够有效融合三维点云的局部特征，针对初始旋转角度较大、部分-部分和多尺度的点云配准具有速度快、对噪声鲁棒和结果准确度高的优点。
如图1所示，本发明提供的高维回归点云配准方法包括以下步骤：
S101：对每个点云进行采样，随机选择一个距离源点云和目标点云都无穷远的点作为远点(设置一个随机种子以便实验的复现)；使用KNN算法为每个点云保留768(75％)个最靠近远点的点；得到点数一样多但是只有部分重叠的两个待配准点云，包含有离散的坐标信息；
S102：将采样后的两个点云作为网络框架的输入，将他们的坐标映射到高维，即计算每个点的局部特征；
S103：计算两个点云局部特征的协方差矩阵以提取两个点云的全局特征；
S104：使用二维卷积网络来融合协方差矩阵的特征，以便进一步提取全局特征；
S105；将得到的全局特征使用全连接层进行回归，得到一个大小为8张量；
S106：将得到的8维张量转化为对应变化；
S107：将对应变化作用于源点云，重复S101到S106，最后利用求得的对应变换实现两个点云的配准；
S108：训练网络框架，进行实际配准。
本发明提供的高维回归点云配准方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的高维回归点云配准方法仅仅是一个具体实施例而已。
如图2所示，本发明提供的高维回归点云配准系统包括：
待配准点云获取模块1，用于对每个点云进行采样，随机选择一个距离源点云和目标点云都无穷远的点作为远点；使用KNN算法为每个点云保留768个最靠近远点的点；得到点数一样多但是只有部分重叠的两个待配准点云，包含有离散的坐标信息；
局部特征计算模块2，用于将采样后的两个点云作为网络框架的输入，将他们的坐标映射到高维，即计算每个点的局部特征；
全局特征提取模块3，用于计算两个点云局部特征的协方差矩阵以提取两个点云的全局特征；
协方差矩阵特征融合模块4，用于使用二维卷积网络来融合协方差矩阵的特征；
全局特征回归模块5，用于将得到的全局特征使用全连接层进行回归，得到一个大小为8张量；
张量转化模块6，用于将得到的8维张量转化为对应变化；
点云配准模块7，用于将对应变化作用于源点云，利用求得的对应变换实现两个点云的配准；
实际配准模块8，用于训练网络框架，进行实际配准。
下面结合附图对本发明的技术方案作进一步的描述。
本发明基于深度学习的高维回归点云配准网络框架，网络结构示意图如图3所示。具体包括以下步骤：
步骤一，对每个点云进行采样，随机选择一个距离源点云和目标点云都无穷远的点作为远点(设置一个随机种子以便实验的复现)，然后使用K近邻算法(KNN算法)为每个点云保留768(75％)个最靠近远点的点(使用欧式距离)。得到点数一样多但是只有部分重叠的两个待配准点云，包含有离散的坐标信息，记L为距离，远点为Xj，待求点为Xk与Xj之间的欧氏距离公式如下：
Figure BDA0003232458240000091
步骤二，记源点云和目标点云分别为X∈RN×3和Y∈RN×3，Xi和Yj分别表示源点云X的第i个点和目标点云Y的第j个点，将大小为n×3的两个点云输入网络框架，使用多层感知机(64，64，128)将两者其映射到128维度，每个1×128的张量即为对应点的局部特征，并且二者通过多层感知机共享参数，分别形成大小为n×128的局部特征XL和YL，将XL和YL作为下一步骤的输入。
步骤三，计算两个点云局部特征的协方差矩阵以提取两个点云的全局特征，其中分别计算XL每个维度的平均值，将XL的每一维度减去对应维度的平均值得到
Figure BDA0003232458240000092
Figure BDA0003232458240000093
对应于Xi的局部特征描述符，然后计算其协方差矩阵得到大小为128×128的矩阵B，其中矩阵B的计算方式如下：
Figure BDA0003232458240000094
分别计算YL每个维度的平均值，将YL的每一维度减去对应维度的平均值得到
Figure BDA0003232458240000095
Figure BDA0003232458240000096
对应于Yj的局部特征描述符，Yj是Xi通过真实转换后在欧几里得空间搜索的最近邻点。计算其协方差矩阵得到大小为128×128的矩阵C，其中矩阵C的计算方式如下：
Figure BDA0003232458240000097
计算XL1和YL1之间的协方差矩阵得到矩阵大小为128×128的A，其中矩阵A的计算方式如下：
Figure BDA0003232458240000098
将三个矩阵拼接在一起形成3@128×128的张量，将其作为下一步骤的输入。
步骤四，使用二维卷积网络来融合协方差矩阵的特征，以便进一步提取全局特征，二维卷积网络由叠加卷积层组成。在卷积层中，输入采用步长为2的卷积操作，而不是最大池。除最后一层外，所有层后面都使用批标准化，并使用ReLU激活函数。2D CNN设置为Conv2d(3，128，128)-Conv2d(8，64，64)-Conv2d(16，32，32)-Conv2d(8，16，16)。卷积核大小为3×3，将2DCNN的最后一层扩展为2048的一维张量，作为下一步骤的输入.ReLU激活函数如下：
Figure BDA0003232458240000101
步骤五，将得到的2018维张量输入全连接层，有三个分别大小为1024、512和256的隐藏层，以及一个大小为8的输出层。大小为8的输出为[q0、q1、q2、q3、xt、yt、zt、sest]，中间隐藏层h的第i个元素为：
Figure BDA0003232458240000102
其中f为ReLU激活函数，w为权重，b为偏置值。
步骤六，得到的8维张量转化为对应变化，将该向量的前四维向量利用四元组表示为旋转矩阵q∈R3×3，公式如下：
Figure BDA0003232458240000103
Figure BDA0003232458240000104
中间三个表示为平移向量t∈R3，计算方式如下：
test＝[xt，yt，zt]T (9)
最后一个用作比例因子s∈R1，计算方式如下：
sest＝[sest]T (10)
步骤七，将对应变化作用于源点云，重复步骤一到步骤七，最后利用求得的对应变换实现两个点云的配准，记预测目标点云为Yest公式如下：
Yest＝sest*X*Rest+test (11)
步骤八，训练网络框架，本发明将真实刚性变化作用于源点云，得到真实转化后的点云Ygt，记预测的目标点云分别为Yest，本发明使用Ygt和Yest之间的地面移动距离(EMD)作为损失函数，使用Adam优化器来优化本发明的网络，初始学习率为0.001，分别在第50次和250次训练的时候学习率降低为原来的0.1倍，本发明训练400个epoches，然后然后进行实际配准。
其中Ygt的计算方式如下：
Ygt＝s*X*R+t (12)
Ygt和Yest之间的地面移动距离(EMD)计算如下：
Figure BDA0003232458240000111
下面结合实验对本发明的技术效果作详细的描述。
本发明的实验是在ModelNet40数据集上进行的，该数据集包含来自40个人工对象类别的CAD模型。对于数据集中的每个给定形状，随机采样2048个点以形成点云，并将其归一化为单位球体。ModelNet40包括12311个网格CAD模型，本发明使用80％作为训练集，20％作为测试集。对于每个点云，本发明随机选择1024个点作为源点云。对于真实刚性变换T，本发明随机采样旋转范围为[0，90]的三个欧拉角以生成旋转矩阵，在[-1，1]范围内的三个数字以生成平移向量，在[0.2，0.8]范围内的一个数字以生成比例因子。将变换后的点云视为目标点云。经采样源点云和目标点云为部分重叠的点云，如图5所示为利用本发明的方法进行点云配准的结果，该结果验证了本发明能够处理旋转角度较大的、部分到部分和不同尺度的配准；经过实验本发明测得平均配准一个模型仅需0.014s，满足实时配准三维点云模型的要求，具有较好的效果。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种高维回归点云配准方法，其特征在于，所述高维回归点云配准方法包括：
步骤一，对每个点云进行采样，随机选择一个距离源点云和目标点云都无穷远的点作为远点；使用KNN算法为每个点云保留768个最靠近远点的点，得到点数一样多但是只有部分重叠的两个待配准点云，包含有离散的坐标信息；
步骤二，将采样后的两个点云作为网络框架的输入，将坐标映射到高维，即计算每个点的局部特征；
步骤三，计算两个点云局部特征的协方差矩阵以提取两个点云的全局特征；
步骤四，使用二维卷积网络来融合协方差矩阵的特征；
步骤五，将得到的全局特征使用全连接层进行回归，得到一个大小为8张量；
步骤六，将得到的8维张量转化为对应变化；
步骤七，将对应变化作用于源点云，重复步骤一到步骤七，最后利用求得的对应变换实现两个点云的配准；
步骤八，训练网络框架，然后进行实际配准。
2.如权利要求1所述的高维回归点云配准方法，其特征在于，所述步骤二中的将采样后的两个点云作为网络框架的输入，将坐标映射到高维，计算每个点的局部特征，包括以下步骤：记源点云和目标点云分别为
Figure FDA0003232458230000011
和
Figure FDA0003232458230000012
Xi和Yj分别表示源点云X的第i个点和目标点云Y的第j个点，将大小为n×3的两个点云输入网络框架，使用多层感知机(64，64，128)将两者映射到128维度，每个1×128的张量即为对应点的局部特征，并且二者通过多层感知机共享参数，分别形成大小为n×128的局部特征XL和YL，将其作为下一步骤的输入。
3.如权利要求1所述的高维回归点云配准方法，其特征在于，所述步骤三中的计算两个点云局部特征的协方差矩阵以提取两个点云的全局特征，包括以下步骤：
分别计算XL每个维度的平均值，将XL的每一维度减去对应维度的平均值得到XL1，计算其协方差矩阵得到大小为128×128的矩阵B；
分别计算YL每个维度的平均值，将YL的每一维度减去对应维度的平均值得到YL1，计算其协方差矩阵得到大小为128×128的矩阵C；
计算XL1和YL之间的协方差矩阵得到矩阵大小为128×128的A；
将三个矩阵拼接在一起形成3@128×128的张量，将其作为下一步骤的输入。
4.如权利要求1所述的高维回归点云配准方法，其特征在于，所述步骤四中的使用二维卷积网络来融合协方差矩阵的特征，包括以下步骤：使用二维卷积网络来融合矩阵A、B和C的特征，二维卷积网络由叠加卷积层组成；在卷积层中，输入采用步长为2的下采样，而不是最大池；除最后一层外，所有层后面都是批标准化，并使用ReLU激活函数；2D CNN设置为Conv2d(3，128，128)-Conv2d(8，64，64)-Conv2d(16，32，32)-Conv2d(8，16，16)。卷积核大小为3×3，将2DCNN的最后一层扩展为2048的一维张量，作为下一步骤的输入。
5.如权利要求1所述的高维回归点云配准方法，其特征在于，所述步骤五中的将得到的全局特征使用全连接层进行回归，得到一个大小为8张量，包括以下步骤：将得到的2048维张量输入全连接层，有三个分别大小为1024、512和256的隐藏层，以及一个大小为8的输出层；大小为8的输出为[q0、q1、q2、q3、xt、yt、zt、sest]。
6.如权利要求1所述的高维回归点云配准方法，其特征在于，所述步骤六中的将得到的8维张量转化为对应变化，包括以下步骤：
将该向量的前四维向量利用四元组表示为旋转矩阵
Figure FDA0003232458230000021
中间三个表示为平移向量
Figure FDA0003232458230000022
最后一个用作尺度因子
Figure FDA0003232458230000023
7.如权利要求1所述的高维回归点云配准方法，其特征在于，所述步骤八中的训练网络框架，包括以下步骤：将真实刚性变化作用于源点云，得到真实转化后的点云Ygt，记预测的目标点云分别为Yest，使用Ygt和Yest之间的地球移动距离EMD作为损失函数，使用Adam优化器来优化我们的网络，初始学习率为0.001，分别在第50次和250次训练的时候学习率降低为原来的0.1倍，训练400个epoches。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1所述高维回归点云配准方法的步骤。
9.一种实施权利要求1～7任意一项所述高维回归点云配准方法的高维回归点云配准系统，其特征在于，所述高维回归点云配准系统包括：
待配准点云获取模块，用于对每个点云进行采样，随机选择一个距离源点云和目标点云都无穷远的点作为远点；使用KNN算法为每个点云保留768个最靠近远点的点；得到点数一样多但是只有部分重叠的两个待配准点云，包含有离散的坐标信息；
局部特征计算模块，用于将采样后的两个点云作为网络框架的输入，将他们的坐标映射到高维，计算每个点的局部特征；
全局特征提取模块，用于计算两个点云局部特征的协方差矩阵以提取两个点云的全局特征；
协方差矩阵特征融合模块，用于使用二维卷积网络来融合协方差矩阵的特征；
全局特征回归模块，用于将得到的全局特征使用全连接层进行回归，得到一个大小为8张量；
张量转化模块，用于将得到的8维张量转化为对应变化；
点云配准模块，用于将对应变化作用于源点云，利用求得的对应变换实现两个点云的配准；
实际配准模块，用于训练网络框架，进行实际配准。
10.一种如权利要求1～7任意一项所述高维回归点云配准方法在图像扫描设备中的应用。
CN202110991390.3A 2021-08-26 2021-08-26 一种高维回归点云配准方法、系统、计算机设备及应用 Active CN114118181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110991390.3A CN114118181B (zh) 2021-08-26 2021-08-26 一种高维回归点云配准方法、系统、计算机设备及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110991390.3A CN114118181B (zh) 2021-08-26 2021-08-26 一种高维回归点云配准方法、系统、计算机设备及应用

Publications (2)

Publication Number Publication Date
CN114118181A true CN114118181A (zh) 2022-03-01
CN114118181B CN114118181B (zh) 2022-06-21

Family

ID=80441096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110991390.3A Active CN114118181B (zh) 2021-08-26 2021-08-26 一种高维回归点云配准方法、系统、计算机设备及应用

Country Status (1)

Country Link
CN (1) CN114118181B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627170A (zh) * 2022-03-11 2022-06-14 平安科技（深圳）有限公司 三维点云配准方法、装置、计算机设备及存储介质
CN117288094A (zh) * 2023-11-24 2023-12-26 太原理工大学 基于激光传感器的掘进机实时定位系统
CN114627170B (zh) * 2022-03-11 2024-06-07 平安科技（深圳）有限公司 三维点云配准方法、装置、计算机设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN107798696A (zh) * 2017-10-19 2018-03-13 北京联合大学 一种基于保局pca的三维点云配准方法
CN108564605A (zh) * 2018-04-09 2018-09-21 大连理工大学 一种三维测量点云优化配准方法
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统
CN109559340A (zh) * 2018-11-29 2019-04-02 东北大学 一种并行的三维点云数据自动化配准方法
US20190204076A1 (en) * 2016-09-16 2019-07-04 Panasonic Intellectual Property Corporation Of America Three-dimensional data creation method and three-dimensional data creation device
CN110058237A (zh) * 2019-05-22 2019-07-26 中南大学 面向高分辨率SAR影像的InSAR点云融合及三维形变监测方法
CN111476841A (zh) * 2020-03-04 2020-07-31 哈尔滨工业大学 一种基于点云和图像的识别定位方法及系统
CN111553409A (zh) * 2020-04-27 2020-08-18 哈尔滨工程大学 一种基于体素形状描述符的点云识别方法
CN112488210A (zh) * 2020-12-02 2021-03-12 北京工业大学 一种基于图卷积神经网络的三维点云自动分类方法
CN113160287A (zh) * 2021-03-17 2021-07-23 华中科技大学 一种基于特征融合的复杂构件点云拼接方法及系统
CN113160285A (zh) * 2021-05-08 2021-07-23 中国科学院自动化研究所苏州研究院 一种基于局部深度图像关键性的点云匹配方法
CN113223173A (zh) * 2021-05-11 2021-08-06 华中师范大学 基于图模型的三维模型重建迁移方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190204076A1 (en) * 2016-09-16 2019-07-04 Panasonic Intellectual Property Corporation Of America Three-dimensional data creation method and three-dimensional data creation device
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN107798696A (zh) * 2017-10-19 2018-03-13 北京联合大学 一种基于保局pca的三维点云配准方法
CN108564605A (zh) * 2018-04-09 2018-09-21 大连理工大学 一种三维测量点云优化配准方法
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统
CN109559340A (zh) * 2018-11-29 2019-04-02 东北大学 一种并行的三维点云数据自动化配准方法
CN110058237A (zh) * 2019-05-22 2019-07-26 中南大学 面向高分辨率SAR影像的InSAR点云融合及三维形变监测方法
CN111476841A (zh) * 2020-03-04 2020-07-31 哈尔滨工业大学 一种基于点云和图像的识别定位方法及系统
CN111553409A (zh) * 2020-04-27 2020-08-18 哈尔滨工程大学 一种基于体素形状描述符的点云识别方法
CN112488210A (zh) * 2020-12-02 2021-03-12 北京工业大学 一种基于图卷积神经网络的三维点云自动分类方法
CN113160287A (zh) * 2021-03-17 2021-07-23 华中科技大学 一种基于特征融合的复杂构件点云拼接方法及系统
CN113160285A (zh) * 2021-05-08 2021-07-23 中国科学院自动化研究所苏州研究院 一种基于局部深度图像关键性的点云匹配方法
CN113223173A (zh) * 2021-05-11 2021-08-06 华中师范大学 基于图模型的三维模型重建迁移方法及系统

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
AIMIN WANG: "Improved KNN algorithm for scattered point cloud", 《 2017 IEEE 2ND ADVANCED INFORMATION TECHNOLOGY, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE 》 *
YONGHUI CHEN: "A method for dynamic simplification of massive", 《2016 IEEE INTERNATIONAL CONFERENCE ON INDUSTRIAL TECHNOLOGY (ICIT)》 *
伊璐: "基于立体视觉的场景三维重建技术研究", 《CNKI全国硕士论文库》 *
刘德儿: "基于PCA-TrICP的多源点云无缝三维重建", 《激光与红外》 *
张元: "一种低重叠率的三维点云配准方法", 《激光与光电子学进展》 *
张顺利: "基于自适应领域匹配的点云配准方法", 《计算机学报》 *
彭真: "基于关键点提取与优化迭代最近点的点云配准", 《激光与光电子学进展》 *
郑立华: "基于Kinect相机的油麦菜自动化三维点云重建", 《农业机械学报》 *
闫智: "基于BIM快速生成高精度三维模型的方法研究及其应用探索", 《土木建筑工程信息技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627170A (zh) * 2022-03-11 2022-06-14 平安科技（深圳）有限公司 三维点云配准方法、装置、计算机设备及存储介质
CN114627170B (zh) * 2022-03-11 2024-06-07 平安科技（深圳）有限公司 三维点云配准方法、装置、计算机设备及存储介质
CN117288094A (zh) * 2023-11-24 2023-12-26 太原理工大学 基于激光传感器的掘进机实时定位系统
CN117288094B (zh) * 2023-11-24 2024-01-26 太原理工大学 基于激光传感器的掘进机实时定位系统

Also Published As

Publication number Publication date
CN114118181B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN107066935B (zh) 基于深度学习的手部姿态估计方法及装置
US11514642B2 (en) Method and apparatus for generating two-dimensional image data describing a three-dimensional image
WO2021093620A1 (en) Method and system for high-resolution image inpainting
CN109448090B (zh) 图像处理方法、装置、电子设备及存储介质
CN107492121B (zh) 一种单目深度视频的二维人体骨骼点定位方法
Elgammal et al. Tracking people on a torus
US20220262093A1 (en) Object detection method and system, and non-transitory computer-readable medium
CN111275746B (zh) 一种基于fpga的稠密光流计算系统及方法
US20220277581A1 (en) Hand pose estimation method, device and storage medium
WO2021098545A1 (zh) 一种姿势确定方法、装置、设备、存储介质、芯片及产品
CN113962858A (zh) 一种多视角深度获取方法
CN111914756A (zh) 一种视频数据处理方法和装置
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
CN110348359B (zh) 手部姿态追踪的方法、装置及系统
CN116097307A (zh) 图像的处理方法及相关设备
CN114118181B (zh) 一种高维回归点云配准方法、系统、计算机设备及应用
CN113449612A (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
Hutchcroft et al. CoVisPose: Co-visibility pose transformer for wide-baseline relative pose estimation in 360∘ indoor panoramas
Seifi et al. How to improve CNN-based 6-DoF camera pose estimation
CN114882493A (zh) 一种基于图像序列的三维手部姿态估计与识别方法
CN116079727A (zh) 基于3d人体姿态估计的人形机器人动作模仿方法及装置
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
JP2023079211A (ja) イメージ処理装置及び方法
KR20230083212A (ko) 객체 자세 추정 장치 및 방법
CN117420917B (zh) 基于手部骨架的虚拟现实控制方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant