CN110910433A - 一种基于深度学习的点云匹配方法 - Google Patents

一种基于深度学习的点云匹配方法 Download PDF

Info

Publication number
CN110910433A
CN110910433A CN201911038035.3A CN201911038035A CN110910433A CN 110910433 A CN110910433 A CN 110910433A CN 201911038035 A CN201911038035 A CN 201911038035A CN 110910433 A CN110910433 A CN 110910433A
Authority
CN
China
Prior art keywords
point cloud
point
matching
tdf
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911038035.3A
Other languages
English (en)
Inventor
阴桂梅
徐盛秋
梁振斌
熊风光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan Normal University
Original Assignee
Taiyuan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan Normal University filed Critical Taiyuan Normal University
Priority to CN201911038035.3A priority Critical patent/CN110910433A/zh
Publication of CN110910433A publication Critical patent/CN110910433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于一种点云匹配方法技术领域，特别涉及一种基于深度学习的点云匹配方法。本发明的具体步骤是：建立关键点；构造匹配对和不匹配对；将点云进行体素化；计算三维彩色点云中各点的几何特征；训练得出3D描述子；优化描述子；利用神经网络训练得出的计算权重；计算得出精准的关键点的描述子向量；完成点云匹配。

Description

一种基于深度学习的点云匹配方法
技术领域
本发明属于一种点云匹配方法技术领域，特别涉及一种基于深度学习的点云匹配方法。
背景技术
点云匹配在计算图形学和视觉具有重要的意义。由于采集的三维数据可能存在噪声、有遮挡、不完整，目前存在的一些点云匹配方法，使用的描述子大多是基于从静态几何特性的直方图得到，这些方法在对这种数据集进行点云匹配时，准确性比较低。因此，针对这类数据集，如何使点云匹配的准确性更高、计算运行时间更短，已成为重要的研究热点。传统的点云匹配方法一般都是人为定义的一个描述子，因此可能会存在有一定的误差。如今的点云匹配技术有很多优点，但仍存在很多不足，本文在现有的点云匹配方法基础上，针对现今存在的问题，利用深度神经网络训练得出一种有高精度和高准确性的描述子，来解决点云匹配过程中存在的问题：在低分辨率，噪声和部分三维数据中，匹配局部几何特征仍然是一个具有挑战性的任务，虽然可以用大量低级手工几何特征描述子来解决该任务，这些描述子大多基于静态几何特性的直方图得到它们适用于具有完整曲面的三维模型，但在三维扫描数据的实际局部曲面中往往不稳定或不一致，难以适应新的数据集。因此，使用这些描述子来进行几何匹配的现有三维重构方法需要大量的算法来处理异常值，并需要建立全局对应关系。为了应对这些困难，受到最近神经网络成功的启发，拟通过神经网络训练得出能解决这些问题的描述子，优化点云匹配。
发明内容
针对目前部分三维点云数据集存在分辨率低、有噪声干扰和只有部分三维数据的问题，本发明提供了一种基于深度学习的点云匹配方法。
为了达到上述目的，本发明采用了下列技术方案：
一种基于深度学习的点云匹配方法：将两片点云进行配准，包含以下步骤：
步骤1，建立关键点；
步骤2，构造匹配对和不匹配对；
步骤3，将点云进行体素化；
步骤4，计算三维彩色点云中各点的几何特征；
步骤5，训练得出3D描述子；
步骤6，优化描述子；
步骤7，利用神经网络训练得出的计算权重；
步骤8，计算得出精准的关键点的描述子向量；
步骤9，完成点云匹配。
进一步地，所述步骤1中建立关键点的具体方法为：将RGB-D图片重建为三维点云，从重建的三维点云中随机采样获取关键点。随机选择一张图片上的一个像素，这样就有了关键点的两个坐标，再从深度图中读出它的深度，作为第三个坐标，就得到相机坐标系中的三个坐标，然后结合相机参数与帧参数将三个坐标对应到世界坐标系下的坐标，标记该点与周围的邻域。然后获取在其他帧中的对应点，将关键点在重建中的3D位置映射到其位于摄像机视锥体内且未被遮挡的所有的RGB-D帧中，直接得出关键点在另一帧中的对应关键点。通过该技术方案，简化了复杂模型中的关键点提取流程，同时加快了程序的执行速率。
再进一步地，所述步骤2中构造匹配对和不匹配对的具体方法为：以关键点以及关键点所在领域作为参考点，寻找对应帧中的对应关键点以及关键点所在领域，由此生成匹配对；最后获取其他帧最中的不对应点，从其他帧中随机获取距离对应点大于0.1米的点，生成不匹配对，生成数据集。该技术方案解决了匹配对和不匹配对的生成和获取问题，有效的为点云匹配提供了匹配参考标准。
更进一步地，所述步骤3中将点云进行体素化的具体方法为：将每个3D块从它的原始表示转换为截断距离函数TDF值的体积为的体素网格；每个体素的TDF值表示该体素的中心与最近的3D表面之间的距离；这些TDF值被截断、归一化，然后翻转到1和0之间；所述1表示在表面上，0表示远离表面；TDF的灵感来源于TSDF，而TSDF来源于SDF；
sdfi(x)＝depthi(pic(x))-cami(x) (1)
Figure BDA0002252078010000031
将这种TDF体素网格作为深度学习训练的数据集。通过数据集的构造，解决了深度学习过程的数据来源问题，同时可以提高深度学习的训练准确度并为后续优化过程提供理论保障。
更进一步地，所述步骤4中计算三维彩色点云中各点的几何特征的具体方法是：在低分辨率，噪声和部分三维数据中，匹配局部几何特征仍然是一个具有挑战性的任务，可以用大量低级手工几何特征描述子来解决该任务，这些描述子大多基于静态几何特性的直方图得到；它们适用于具有完整曲面的三维模型，在三维扫描数据的实际局部曲面中往往不稳定或不一致，难以适应新的数据集。使用这些描述子来进行几何匹配的现有三维重构方法需要大量的算法来处理异常值，并需要建立全局对应关系。为了应对这些困难，受到最近神经网络成功的启发，拟通过神经网络训练得出能解决这些问题的描述子，优化点云匹配。几何特征是三维模型中的显著特征，通过计算三维模型的几何特征，可以有效的获取全模型的整体特征，利用这些特征，可以非常有效的完成点云匹配，并能很好的确定每次匹配的优先匹配对，从而加快匹配速度。
更进一步地，所述步骤5中训练得出3D描述子的具体方法是：使用数据集训练得出3D描述子，来对关键点进行描述；将一个关键点的TDF体素网格，以及它的对应点和非对应点的TDF体素网格同时输入到网络中进行训练，有三个输入是因为这里用到了一种网络模型孪生神经网络Siamese network。通过关键点的3D描述子，可以把握模型的关键信息，利用这些信息，进行深度学习的训练，来加大匹配对与不匹配对的配准差距，从而更有效的匹配正确的信息点。
更进一步地，所述步骤6中优化描述子的具体方法是：使用Contrastive Loss来保证得出的描述子更加精确；
Figure BDA0002252078010000041
通过计算对比损失函数的值，可以让程序自行的迭代，直到该值达到某一个阈值。该阈值的大小，决定了匹配程度的吻合性。在计算过程中，需要分别计算匹配对和不匹配对的对比损失，通过不断的拉高不匹配对的对比损失函数值和降低匹配对的损失函数值，来加大匹配对的匹配吻合度和不匹配对的不吻合度，由此来完成点云的匹配。
更进一步地，所述步骤7中利用神经网络训练得出的计算权重的具体方法是：一个网络输入两片点云中的两个对应点的TDF体素网格，通过训练让它们的输出越来越像，而另一个网络则输入两个非对应点的TDF体素网格，通过训练让它们的输出差距越来越大。最后输出的描述子，使匹配对的描述子的损失变小，使非匹配对的损失变大，从而得出网络的权重。网络的权重决定了各个关键信心在点云匹配中所起的决定性因素的大小。通过调整网络的权重，可以让程序走向不同的方向。在本次实验中，网络的权重是由深度学习自动训练获得，训练过程中使用了前文构造的数据集，从而保证了权重获取的正确性。由此获得的网络权重便能更好的反映整个模型的全体特征，从而保证了点云匹配的有序性和准确性。
更进一步地，所述步骤8中计算得出精准的关键点的描述子向量的具体方法是：加载两片需要匹配的3D点云A和B，随机选取关键点，计算其TDF体素网格，并将其输入到训练好的模型中，便能分别得到关键点的描述子向量。描述子向量是整个匹配过程中的不可缺失的要素之一，通过描述子向量对模型的关键信息的描述以及对模型中各个信息点的关系表征，确保了模型在匹配过程中的整体性和完整性。
更进一步地，所述步骤9中计算完成点云匹配的具体方法是：通过计算得到A中所有关键点的描述子向量与B中所有关键点的描述子向量之间的L2距离；直接使用K-D树进行计算，求出在B中L2距离与之最小的点，作为它的对应点，并找到对应的关键点；通过RANSAC算法估计A，B两片点云之间的刚性变换，通过变换矩阵完成点云匹配。点云之间的匹配，往往会因为两片点云的位置问题，导致点云无法正确匹配。而通过矩阵变换可以很好的将两片点云旋转、缩放、平移到合适的位置和大小。通过这些变换，不会改变点云的整体性质，也不会影响到各个点云模型的关键点、描述子等内容，因此通过刚性变换可以很好的为点云配准提供良好的匹配条件和基础。
与现有技术相比本发明具有以下优点：
点云是无序的、无规则的，而深度学习神经网络训练的数据需要是规则的、有序的数据。它们适用于具有完整曲面的三维模型。在三维扫描数据的实际局部曲面中往往不稳定或不一致，难以适应新的数据集。因此，使用神经网络训练得出能解决这些问题的描述子，即可以优化点云匹配效果。
附图说明
图1是0度的Bunny模型点云图；
图2是45度的Bunny模型点云图；
图3是对0度和45度的Bunny模型进行点云匹配结果图；
图4是Cap模型一点云展示图；
图5是Cap模型二点云展示图；
图6是对Cap模型一和Cap模型二进行点云匹配的结果展示图；
图7是Chair模型一点云展示图；
图8是Chair模型二点云展示图；
图9是对Chair模型一和Chair模型二进行点云匹配的结果展示图。
具体实施方式
实施例1
对0度和45度的Bunny模型进行点云匹配：
本发明一种基于深度学习的点云匹配方法，将两片点云进行配准，具体步骤如下：
步骤1，建立关键点；将Bunny模型的RGB-D图片重建为三维点云，从重建的三维点云中随机采样获取关键点。随机选择图片上的一个像素，这样就有了关键点的两个坐标，再从深度图中读出它的深度，作为第三个坐标，就得到相机坐标系中的三个坐标，然后结合相机参数与帧参数将三个坐标对应到世界坐标系下的坐标，标记该点与周围的邻域。然后获取在其他帧中的对应点，将关键点在重建中的3D位置映射到其位于摄像机视锥体内且未被遮挡的所有的RGB-D帧中，直接得出关键点在另一帧中的对应关键点。
步骤2，构造匹配对和不匹配对；以关键点以及关键点所在领域作为参考点，寻找对应帧中的对应关键点以及关键点所在领域，由此生成匹配对；最后获取其他帧最中的不对应点，从其他帧中随机获取距离对应点大于0.1米的点，生成不匹配对，生成数据集。
步骤3，将点云进行体素化；将每个3D块从它的原始表示转换为截断距离函数TDF值的体积为的体素网格；每个体素的TDF值表示该体素的中心与最近的3D表面之间的距离；这些TDF值被截断、归一化，然后翻转到1和0之间；所述1表示在表面上，0表示远离表面；TDF的灵感来源于TSDF，而TSDF来源于SDF；
sdfi(x)＝depthi(pic(x))-cami(x) (1)
Figure BDA0002252078010000071
将这种TDF体素网格作为深度学习训练的数据集。
步骤4，计算三维彩色点云中各点的几何特征；在低分辨率，噪声和部分三维数据中，用大量低级手工几何特征描述子来匹配局部几何特征，描述子是基于静态几何特性的直方图得到的，用于具有完整曲面的三维模型，在三维扫描数据的实际局部曲面中往往不稳定或不一致，难以适应新的数据集；
通过计算处理异常值，建立全局对应关系，拟通过神经网络训练得出的描述子，优化点云匹配。
步骤5，训练得出3D描述子；使用数据集训练得出3D描述子，来对关键点进行描述；将一个关键点的TDF体素网格，以及它的对应点和非对应点的TDF体素网格同时输入到网络中进行训练，有三个输入是因为这里用到了一种网络模型孪生神经网络Siamese network。
步骤6，优化描述子；使用Contrastive Loss来保证得出的描述子更加精确；
Figure BDA0002252078010000081
步骤7，利用神经网络训练得出的计算权重；一个网络输入两片点云中的两个对应点的TDF体素网格，通过训练让它们的输出越来越像，而另一个网络则输入两个非对应点的TDF体素网格，通过训练让它们的输出差距越来越大。最后输出的描述子，使匹配对的描述子的损失变小，使非匹配对的损失变大，从而得出网络的权重。
步骤8，计算得出精准的关键点的描述子向量；加载两片需要匹配的3D点云A和B，随机选取关键点，计算其TDF体素网格，并将其输入到训练好的模型中，便能分别得到关键点的描述子向量。
步骤9，完成点云匹配：通过计算得到A中所有关键点的描述子向量与B中所有关键点的描述子向量之间的L2距离；直接使用K-D树进行计算，求出在B中L2距离与之最小的点，作为它的对应点，并找到对应的关键点；通过RANSAC算法估计A，B两片点云之间的刚性变换，通过变换矩阵完成点云匹配。
图1是0度的Bunny模型点云图；图2是45度的Bunny模型点云图；图3是对0度和45度的Bunny模型进行点云匹配结果图。
表1，Bunny模型各匹配方法对比表
Figure BDA0002252078010000082
Figure BDA0002252078010000091
实施例2
对Cap模型进行点云匹配：
本发明一种基于深度学习的点云匹配方法，将两片点云进行配准，具体步骤如下：
步骤1，建立关键点；将Cap模型的RGB-D图片重建为三维点云，从重建的三维点云中随机采样获取关键点。随机选择一张图片上的一个像素，这样就有了关键点的两个坐标，再从深度图中读出它的深度，作为第三个坐标，就得到相机坐标系中的三个坐标，然后结合相机参数与帧参数将三个坐标对应到世界坐标系下的坐标，标记该点与周围的邻域。然后获取在其他帧中的对应点，将关键点在重建中的3D位置映射到其位于摄像机视锥体内且未被遮挡的所有的RGB-D帧中，直接得出关键点在另一帧中的对应关键点。
步骤2，构造匹配对和不匹配对；以关键点以及关键点所在领域作为参考点，寻找对应帧中的对应关键点以及关键点所在领域，由此生成匹配对；最后获取其他帧最中的不对应点，从其他帧中随机获取距离对应点大于0.1米的点，生成不匹配对，生成数据集。
步骤3，将点云进行体素化；将每个3D块从它的原始表示转换为截断距离函数TDF值的体积为的体素网格；每个体素的TDF值表示该体素的中心与最近的3D表面之间的距离；这些TDF值被截断、归一化，然后翻转到1和0之间；所述1表示在表面上，0表示远离表面；TDF的灵感来源于TSDF，而TSDF来源于SDF；
sdfi(x)＝depthi(pic(x))-cami(x) (1)
Figure BDA0002252078010000101
将这种TDF体素网格作为深度学习训练的数据集。
步骤4，计算三维彩色点云中各点的几何特征；在低分辨率，噪声和部分三维数据中，用大量低级手工几何特征描述子来匹配局部几何特征，描述子是基于静态几何特性的直方图得到的，用于具有完整曲面的三维模型，在三维扫描数据的实际局部曲面中往往不稳定或不一致，难以适应新的数据集；
通过计算处理异常值，建立全局对应关系，拟通过神经网络训练得出的描述子，优化点云匹配。
步骤5，训练得出3D描述子；使用数据集训练得出3D描述子，来对关键点进行描述；将一个关键点的TDF体素网格，以及它的对应点和非对应点的TDF体素网格同时输入到网络中进行训练，有三个输入是因为这里用到了一种网络模型孪生神经网络Siamese network。
步骤6，优化描述子；使用Contrastive Loss来保证得出的描述子更加精确；
Figure BDA0002252078010000102
步骤7，利用神经网络训练得出的计算权重；一个网络输入两片点云中的两个对应点的TDF体素网格，通过训练让它们的输出越来越像，而另一个网络则输入两个非对应点的TDF体素网格，通过训练让它们的输出差距越来越大。最后输出的描述子，使匹配对的描述子的损失变小，使非匹配对的损失变大，从而得出网络的权重。
步骤8，计算得出精准的关键点的描述子向量；加载两片需要匹配的3D点云A和B，随机选取关键点，计算其TDF体素网格，并将其输入到训练好的模型中，便能分别得到关键点的描述子向量。
步骤9，完成点云匹配：通过计算得到A中所有关键点的描述子向量与B中所有关键点的描述子向量之间的L2距离；直接使用K-D树进行计算，求出在B中L2距离与之最小的点，作为它的对应点，并找到对应的关键点；通过RANSAC算法估计A，B两片点云之间的刚性变换，通过变换矩阵完成点云匹配。
图4是Cap模型一点云展示图；图5是Cap模型二点云展示图；图6是对Cap模型一和Cap模型二进行点云匹配的结果展示图。
表2，Cap模型各匹配方法对比表
Figure BDA0002252078010000111
实施例3
对Chair模型进行点云匹配：
本发明一种基于深度学习的点云匹配方法，将两片点云进行配准，具体步骤如下：
步骤1，建立关键点；将Chair模型的RGB-D图片重建为三维点云，从重建的三维点云中随机采样获取关键点。随机选择一张图片上的一个像素，这样就有了关键点的两个坐标，再从深度图中读出它的深度，作为第三个坐标，就得到相机坐标系中的三个坐标，然后结合相机参数与帧参数将三个坐标对应到世界坐标系下的坐标，标记该点与周围的邻域。然后获取在其他帧中的对应点，将关键点在重建中的3D位置映射到其位于摄像机视锥体内且未被遮挡的所有的RGB-D帧中，直接得出关键点在另一帧中的对应关键点。
步骤2，构造匹配对和不匹配对；以关键点以及关键点所在领域作为参考点，寻找对应帧中的对应关键点以及关键点所在领域，由此生成匹配对；最后获取其他帧最中的不对应点，从其他帧中随机获取距离对应点大于0.1米的点，生成不匹配对，生成数据集。
步骤3，将点云进行体素化；将每个3D块从它的原始表示转换为截断距离函数TDF值的体积为的体素网格；每个体素的TDF值表示该体素的中心与最近的3D表面之间的距离；这些TDF值被截断、归一化，然后翻转到1和0之间；所述1表示在表面上，0表示远离表面；TDF的灵感来源于TSDF，而TSDF来源于SDF；
sdfi(x)＝depthi(pic(x))-cami(x) (1)
Figure BDA0002252078010000121
将这种TDF体素网格作为深度学习训练的数据集。
步骤4，计算三维彩色点云中各点的几何特征；在低分辨率，噪声和部分三维数据中，用大量低级手工几何特征描述子来匹配局部几何特征，描述子是基于静态几何特性的直方图得到的，用于具有完整曲面的三维模型，在三维扫描数据的实际局部曲面中往往不稳定或不一致，难以适应新的数据集；
通过计算处理异常值，建立全局对应关系，拟通过神经网络训练得出的描述子，优化点云匹配。
步骤5，训练得出3D描述子；使用数据集训练得出3D描述子，来对关键点进行描述；将一个关键点的TDF体素网格，以及它的对应点和非对应点的TDF体素网格同时输入到网络中进行训练，有三个输入是因为这里用到了一种网络模型孪生神经网络Siamese network。
步骤6，优化描述子；使用Contrastive Loss来保证得出的描述子更加精确；
Figure BDA0002252078010000131
步骤7，利用神经网络训练得出的计算权重；一个网络输入两片点云中的两个对应点的TDF体素网格，通过训练让它们的输出越来越像，而另一个网络则输入两个非对应点的TDF体素网格，通过训练让它们的输出差距越来越大。最后输出的描述子，使匹配对的描述子的损失变小，使非匹配对的损失变大，从而得出网络的权重。
步骤8，计算得出精准的关键点的描述子向量；加载两片需要匹配的3D点云A和B，随机选取关键点，计算其TDF体素网格，并将其输入到训练好的模型中，便能分别得到关键点的描述子向量。
步骤9，完成点云匹配：通过计算得到A中所有关键点的描述子向量与B中所有关键点的描述子向量之间的L2距离；直接使用K-D树进行计算，求出在B中L2距离与之最小的点，作为它的对应点，并找到对应的关键点；通过RANSAC算法估计A，B两片点云之间的刚性变换，通过变换矩阵完成点云匹配。
图7是Chair模型一点云展示图；图8是Chair模型二点云展示图；图9是对Chair模型一和Chair模型二进行点云匹配的结果展示图。
表3，Chair模型各匹配方法对比表
Figure BDA0002252078010000141
以上实施例使用本发明方法进行点云匹配，并记录运行时间，然后与利用SHOT描述子进行点云匹配、ICP进行点云匹配所消耗的时间进行比较得出比较结果，通过多种方法的测试，计算得出不同方法点云匹配的旋转误差与平移误差，得出匹配准确性。从表1、表2和表3中可以看出，使用本发明方法进行点云匹配在运行时间上，明显优于SHOT描述子进行点云匹配和ICP点云匹配的方法，说明本文方法计算效率更高、运行时间更快；在匹配时在旋转误差方面极大的优于其他方法，在平移误差方面略微优于别的方法，结合实验匹配图片与准确性表来看，本发明很大程度上优于其他两种方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的点云匹配方法，其特征在于：将两片点云进行配准，包含以下步骤：
步骤1，建立关键点；
步骤2，构造匹配对和不匹配对；
步骤3，将点云进行体素化；
步骤4，计算三维彩色点云中各点的几何特征；
步骤5，训练得出3D描述子；
步骤6，优化描述子；
步骤7，利用神经网络训练得出的计算权重；
步骤8，计算得出精准的关键点的描述子向量；
步骤9，完成点云匹配。
2.根据权利要求1所述一种基于深度学习的点云匹配方法，其特征在于：所述步骤1中建立关键点的具体方法为：将RGB-D图片重建为三维点云，从重建的三维点云中随机采样获取关键点。
3.根据权利要求1所述一种基于深度学习的点云匹配方法，其特征在于：所述步骤2中构造匹配对和不匹配对的具体方法为：以关键点以及关键点所在领域作为参考点，寻找对应帧中的对应关键点以及关键点所在领域，由此生成匹配对；最后获取其他帧最中的不对应点，从其他帧中随机获取距离对应点大于0.1米的点，生成不匹配对，生成数据集。
4.根据权利要求1所述一种基于深度学习的点云匹配方法，其特征在于：所述步骤3中将点云进行体素化的具体方法为：将每个3D块从它的原始表示转换为截断距离函数TDF值的体积为的体素网格；每个体素的TDF值表示该体素的中心与最近的3D表面之间的距离；这些TDF值被截断、归一化，然后翻转到1和0之间；所述1表示在表面上，0表示远离表面；TDF的灵感来源于TSDF，而TSDF来源于SDF；
sdfi(x)＝depthi(pic(x))-cami(x) (1)
Figure FDA0002252076000000021
将这种TDF体素网格作为深度学习训练的数据集。
5.根据权利要求1所述一种基于深度学习的点云匹配方法，其特征在于：所述步骤4中计算三维彩色点云中各点的几何特征的具体方法是：在低分辨率，噪声和部分三维数据中，用大量低级手工几何特征描述子来匹配局部几何特征，描述子是基于静态几何特性的直方图得到的，用于具有完整曲面的三维模型，在三维扫描数据的实际局部曲面中往往不稳定或不一致，难以适应新的数据集；通过计算处理异常值，建立全局对应关系，拟通过神经网络训练得出的描述子，优化点云匹配。
6.根据权利要求1所述一种基于深度学习的点云匹配方法，其特征在于：所述步骤5中训练得出3D描述子的具体方法是：使用数据集训练得出3D描述子，来对关键点进行描述；将一个关键点的TDF体素网格，以及它的对应点和非对应点的TDF体素网格同时输入到网络中进行训练，有三个输入是因为这里用到了一种网络模型孪生神经网络Siamese network。
7.根据权利要求1所述一种基于深度学习的点云匹配方法，其特征在于：所述步骤6中优化描述子的具体方法是：使用Contrastive Loss来保证得出的描述子更加精确；
Figure FDA0002252076000000022
8.根据权利要求1所述一种基于深度学习的点云匹配方法，其特征在于：所述步骤7中利用神经网络训练得出的计算权重的具体方法是：一个网络输入两片点云中的两个对应点的TDF体素网格，通过训练让它们的输出越来越像，而另一个网络则输入两个非对应点的TDF体素网格，通过训练让它们的输出差距越来越大；最后输出的描述子，使匹配对的描述子的损失变小，使非匹配对的损失变大，从而得出网络的权重。
9.根据权利要求1所述一种基于深度学习的点云匹配方法，其特征在于：所述步骤8中计算得出精准的关键点的描述子向量的具体方法是：加载两片需要匹配的3D点云A和B，随机选取关键点，计算其TDF体素网格，并将其输入到训练好的模型中，便能分别得到关键点的描述子向量。
10.根据权利要求1所述一种基于深度学习的点云匹配方法，其特征在于：所述步骤9中计算完成点云匹配的具体方法是：通过计算得到A中所有关键点的描述子向量与B中所有关键点的描述子向量之间的L2距离；直接使用K-D树进行计算，求出在B中L2距离与之最小的点，作为它的对应点，并找到对应的关键点；通过RANSAC算法估计A，B两片点云之间的刚性变换，通过变换矩阵完成点云匹配。
CN201911038035.3A 2019-10-29 2019-10-29 一种基于深度学习的点云匹配方法 Pending CN110910433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911038035.3A CN110910433A (zh) 2019-10-29 2019-10-29 一种基于深度学习的点云匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911038035.3A CN110910433A (zh) 2019-10-29 2019-10-29 一种基于深度学习的点云匹配方法

Publications (1)

Publication Number Publication Date
CN110910433A true CN110910433A (zh) 2020-03-24

Family

ID=69816117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911038035.3A Pending CN110910433A (zh) 2019-10-29 2019-10-29 一种基于深度学习的点云匹配方法

Country Status (1)

Country Link
CN (1) CN110910433A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724478A (zh) * 2020-05-19 2020-09-29 华南理工大学 一种基于深度学习的点云上采样方法
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法
CN112581515A (zh) * 2020-11-13 2021-03-30 上海交通大学 基于图神经网络的户外场景点云配准方法
CN113139996A (zh) * 2021-05-06 2021-07-20 南京大学 一种基于三维点云几何特征学习的点云配准方法及系统
CN113421291A (zh) * 2021-07-16 2021-09-21 北京华睿盛德科技有限公司 利用点云配准技术和三维重建技术的工件位置找正方法
CN113807366A (zh) * 2021-09-16 2021-12-17 电子科技大学 一种基于深度学习的点云关键点提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134206A (zh) * 2014-07-15 2014-11-05 中国人民解放军信息工程大学 基于三维二值特征描述子的ct体数据快速匹配方法
US20180089530A1 (en) * 2015-05-11 2018-03-29 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks
CN108009557A (zh) * 2017-12-25 2018-05-08 浙江工业大学 一种基于共享权重卷积网络的三维模型局部特征描述方法
CN108171249A (zh) * 2018-01-29 2018-06-15 北京工业大学 一种基于rgbd数据的局部描述子学习方法
CN110197254A (zh) * 2019-04-25 2019-09-03 中国科学院自动化研究所南京人工智能芯片创新研究院 基于深度迁移学习的线特征描述方法
CN110211164A (zh) * 2019-06-05 2019-09-06 中德（珠海）人工智能研究院有限公司 基于神经网络学习基础图形的特征点算子的图片处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134206A (zh) * 2014-07-15 2014-11-05 中国人民解放军信息工程大学 基于三维二值特征描述子的ct体数据快速匹配方法
US20180089530A1 (en) * 2015-05-11 2018-03-29 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks
CN108009557A (zh) * 2017-12-25 2018-05-08 浙江工业大学 一种基于共享权重卷积网络的三维模型局部特征描述方法
CN108171249A (zh) * 2018-01-29 2018-06-15 北京工业大学 一种基于rgbd数据的局部描述子学习方法
CN110197254A (zh) * 2019-04-25 2019-09-03 中国科学院自动化研究所南京人工智能芯片创新研究院 基于深度迁移学习的线特征描述方法
CN110211164A (zh) * 2019-06-05 2019-09-06 中德（珠海）人工智能研究院有限公司 基于神经网络学习基础图形的特征点算子的图片处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIANA WERNER 等: "Truncated Signed Distance Function: Experiments on Voxel Size", 《INTERNATIONAL CONFERENCE IMAGE ANALYSIS AND RECOGNITION》 *
SAUL ZHANG: "Contrastive Loss（Siamese Network）", 《HTTPS://BLOG.CSDN.NET/QQ_37053885/ARTICLE/DETAILS/79325892》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724478A (zh) * 2020-05-19 2020-09-29 华南理工大学 一种基于深度学习的点云上采样方法
CN111724478B (zh) * 2020-05-19 2021-05-18 华南理工大学 一种基于深度学习的点云上采样方法
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法
CN111882593B (zh) * 2020-07-23 2022-06-17 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法
CN112581515A (zh) * 2020-11-13 2021-03-30 上海交通大学 基于图神经网络的户外场景点云配准方法
CN113139996A (zh) * 2021-05-06 2021-07-20 南京大学 一种基于三维点云几何特征学习的点云配准方法及系统
CN113139996B (zh) * 2021-05-06 2024-02-06 南京大学 一种基于三维点云几何特征学习的点云配准方法及系统
CN113421291A (zh) * 2021-07-16 2021-09-21 北京华睿盛德科技有限公司 利用点云配准技术和三维重建技术的工件位置找正方法
CN113421291B (zh) * 2021-07-16 2023-10-24 北京华睿盛德科技有限公司 利用点云配准技术和三维重建技术的工件位置找正方法
CN113807366A (zh) * 2021-09-16 2021-12-17 电子科技大学 一种基于深度学习的点云关键点提取方法
CN113807366B (zh) * 2021-09-16 2023-08-08 电子科技大学 一种基于深度学习的点云关键点提取方法

Similar Documents

Publication Publication Date Title
CN110910433A (zh) 一种基于深度学习的点云匹配方法
Tagliasacchi et al. Curve skeleton extraction from incomplete point cloud
WO2019157924A1 (zh) 三维物体的实时检测方法及系统
Li et al. Global correspondence optimization for non‐rigid registration of depth scans
WO2015139574A1 (zh) 一种静态物体重建方法和系统
Stoll et al. Fast articulated motion tracking using a sums of gaussians body model
CN101388115B (zh) 一种结合纹理信息的深度图像自动配准方法
JP4785880B2 (ja) 三次元オブジェクト認識のためのシステムおよび方法
CN110363858A (zh) 一种三维人脸重建方法及系统
Gal et al. Surface reconstruction using local shape priors
US8411081B2 (en) Systems and methods for enhancing symmetry in 2D and 3D objects
TW201923713A (zh) 點雲網格化方法、裝置、設備及電腦儲存介質
CN107240129A (zh) 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN110688947B (zh) 一种同步实现人脸三维点云特征点定位和人脸分割的方法
CN109754459B (zh) 一种用于构建人体三维模型的方法及系统
WO2020108304A1 (zh) 人脸网格模型的重建方法、装置、设备和存储介质
WO2023284713A1 (zh) 一种三维动态跟踪方法、装置、电子设备和存储介质
CN109376698B (zh) 人脸建模方法和装置、电子设备、存储介质、产品
Avril et al. Animation setup transfer for 3D characters
Adán et al. A hybrid human–computer approach for recovering incomplete cultural heritage pieces
CN109766866A (zh) 一种基于三维重建的人脸特征点实时检测方法和检测系统
CN104318552B (zh) 基于凸包投影图匹配的模型配准方法
Liu et al. A novel rock-mass point cloud registration method based on feature line extraction and feature point matching
Gao et al. Classification of 3D terracotta warrior fragments based on deep learning and template guidance
Fan et al. Convex hull aided registration method (CHARM)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324