CN108596961B - 基于三维卷积神经网络的点云配准方法 - Google Patents

基于三维卷积神经网络的点云配准方法 Download PDF

Info

Publication number
CN108596961B
CN108596961B CN201810342590.4A CN201810342590A CN108596961B CN 108596961 B CN108596961 B CN 108596961B CN 201810342590 A CN201810342590 A CN 201810342590A CN 108596961 B CN108596961 B CN 108596961B
Authority
CN
China
Prior art keywords
neural network
point cloud
model
size
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810342590.4A
Other languages
English (en)
Other versions
CN108596961A (zh
Inventor
王海霞
彭柔
陈朋
蒋莉
杨熙丞
吴晨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810342590.4A priority Critical patent/CN108596961B/zh
Publication of CN108596961A publication Critical patent/CN108596961A/zh
Application granted granted Critical
Publication of CN108596961B publication Critical patent/CN108596961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于三维卷积神经网络的点云配准方法，包括如下步骤：第一步：获取训练点云模型和待配准目标点云模型，计算其在观测方向上的深度图像；第二步：构建三维卷积神经网络模型，设定训练参数和损失函数，使用获取的数据集来训练网络，得到训练好的三维卷积神经网络模型；第三步：通过训练好的三维卷积神经网络模型来提取目标模型两视角下点云的特征点；第四步：根据提取到的特征点结合配准算法来计算两视角点云之间的配准参数。本发明具有良好的鲁棒性，可以在低分辨率、遮挡等条件不同的情况下准确的提取出点云的特征点。

Description

基于三维卷积神经网络的点云配准方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于三维卷积神经网络的点云配准方法。
背景技术
由于光学扫描系统的有限可见性，导致单视角扫描存在由遮挡造成扫描盲区，要得到完整模型往往需要对物体进行多视角扫描，因此对于得到的多视角点云数据模型，需要确定一个合适的坐标变换，将各个视角下的点云配准到同一坐标系下，从而得到完整的模型。点云配准技术可描述为两视角点云之间的坐标系之间的变换，包括旋转变换与平移变换。
点云配准中应用的最广泛的算法是ICP算法(Iterative Closest Point，最近点迭代)，该算法在待配准点云比较接近时配准效果良好，在没有初始配准的情况下，容易收敛于局部最小化，且其效率不高，计算的复杂度随着点云的规模增大而显著提高。
为了解决ICP算法的问题，许多学者在此基础上提出了粗配准的方法。粗配准主要有两类：一类是基于几何特征，如FPFH算法(Fast Point Feature Histograms，快速点特征直方图)；一类是基于投票机制，如RANSAC算法(Random Sample Consensus，随机采样一致)。但不管是哪一类算法，都存在效率低下且精度不高的问题，使得点云配准的鲁棒性较差、效率低等且无法为精配准提供一个良好的初值。因此，本发明提出了一种基于三维卷积神经网络的点云配准方法，通过三维卷积神经网络来学习提取点云模型的特征点，再结合配准算法得到配准参数，从而提高点云配准的效率与鲁棒性。
发明内容
为了克服现有点云配准技术的效率较低、鲁棒性较差的不足，本发明提供了一种基于三维卷积神经网络的点云配准方法，以解决点云配准算法的效率以及鲁棒性问题。
为了实现上述目的，本发明采用的技术方案为：
一种基于三维卷积神经网络的点云配准方法，包括如下步骤：
1)获取训练点云模型和待配准目标点云模型，计算其在观测方向上的深度图像；
2)构建三维卷积神经网络模型，设定训练参数和损失函数，使用获取的数据集来训练网络，得到训练好的三维卷积神经网络模型；
3)通过训练好的三维卷积神经网络模型来提取目标模型两视角下点云的特征点；
4)根据提取到的特征点通过配准算法来计算两视角点云之间的配准参数。
进一步，所述步骤(2)，具体包括如下步骤：
(2.1)构建一个三维卷积神经网络模型，整个三维卷积神经网络的层包括四个部分；第一部分由一个卷积层和一个池化层组成，其中输入3D块的大小为30×30×30，卷积层经过64个大小为3×3×3的卷积核和RELU激活函数处理，输出特征为30×30×30×64，池化层中将每2×2×2的体素合为一个体素并取其中的最大值，输出特征大小为15×15×15×64；
第二部分由一个卷积层组成，其中输入特征的大小为15×15×15×64，每个卷积层经过128个大小为3×3×3的卷积核和RELU激活函数处理，输出特征为13×13×13×128；
第三部分由两个卷积层组成，其中输入特征的大小为13×13×13×128，每个卷积层经过256个大小为3×3×3的卷积核和RELU激活函数处理，输出特征为9×9×9×256；
第四部分由四个卷积层组成，其中输入特征的大小为9×9×9×256，每个卷积层经过512个大小为3×3×3的卷积核和RELU激活函数处理，输出特征大小为1×1×1×512；
(2.2)确定三维卷积神经网络的参数，将训练集中的图片以一个场景为一个批次载入三维卷积神经网络模型进行训练，每1000次迭代保存一次数据。
进一步，所述步骤(2.2)中使用基于能量模型的对比损失函数，对于输入的两个样本对A1和A2，通过神经网络训练，得到特征向量MW(A1)和MW(A2)，进行相似度判断，用能量函数如等式(1)所示，进行比较：
EW(A1,A2)＝||MW(A1)-MW(A2)|| (1)
上式中，A1和A2表示一对样本，W为样本对共享权重；当样本对为同类时，EW越大，损失越大，即关于EW递增；当样本对为异类时，EW越大，损失越小，即关于EW递减；因此，对比损失函数的定义如下：
Figure BDA0001631055740000031
其中，L(W,(B,A1,A2)i)＝(1-B)LS(W,(B,A1,A2)i)+BLI(W,(B,A1,A2)i)，(B,A1,A2)表示一个样本对，共N个样本对，B＝1表示同类样本对，其损失是
Figure BDA0001631055740000032
B＝0表示异类样本对，其损失是
Figure BDA0001631055740000033
与现有技术相比，本发明的优点在于：通过三维卷积神经网络来提取目标物体的特征点，降低了特征点的误识率以及提取特征点的时间，从而提高了点云配准的效率与精度，能够为精配准提供一个良好的初值。同时本发明具有良好的鲁棒性，可以在低分辨率、遮挡等条件不同的情况下准确的提取出点云的特征点。
附图说明
图1本发明算法的流程图；
图2本发明中三维卷积神经网络结构图；
图3本发明算法大卫模型点云配准效果图其中，a)为配准前，b)为经三维卷积神经网络提取到的特征点，c)为配准后；
图4本发明算法兔子模型点云配准效果图，a)为配准前，b)为经三维卷积神经网络提取到的特征点，c)为配准后。
具体实施方式
下面结合附图和实施方式对本发明作进一步说明：
参照图1～图4，一种基于三维卷积神经网络的点云配准方法，包括如下步骤：
1)获取训练点云模型和待配准目标点云模型，计算其在观测方向上的深度图像；
2)构建三维卷积神经网络模型，设定训练参数和损失函数，使用获取的数据集来训练网络，得到训练好的三维卷积神经网络模型，参见图2，具体包括如下步骤：
(2.1)构建一个三维卷积神经网络模型，整个三维卷积经网络的层包括四个部分；第一部分由一个卷积层和一个池化层组成，其中输入3D块的大小为30×30×30，卷积层经过64个大小为3×3×3的卷积核和RELU激活函数处理，输出特征为30×30×30×64，池化层中将每2×2×2的体素合为一个体素并取其中的最大值，输出特征大小为15×15×15×64；
第二部分由一个卷积层组成，其中输入特征的大小为15×15×15×64，每个卷积层经过128个大小为3×3×3的卷积核和RELU激活函数处理，输出特征为13×13×13×128；
第三部分由两个卷积层组成，其中输入特征的大小为13×13×13×128，每个卷积层经过256个大小为3×3×3的卷积核和RELU激活函数处理，输出特征为9×9×9×256；
第四部分由四个卷积层组成，其中输入特征的大小为9×9×9×256，每个卷积层经过512个大小为3×3×3的卷积核和RELU激活函数处理，输出特征大小为1×1×1×512；
(2.2)确定三维卷积神经网络的参数，将训练集中的图片以一个场景为一个批次载入三维卷积神经网络模型进行训练，每1000次迭代保存一次数据。
进一步，步骤(2.2)中使用基于能量模型的对比损失函数，对于输入的两个样本对A1和A2，通过神经网络训练，得到特征向量MW(A1)和MW(A2)，进行相似度判断，用能量函数如等式(1)所示，进行比较：
EW(A1,A2)＝||MW(A1)-MW(A2)|| (1)
上式中，A1和A2表示一对样本，W为样本对共享权重；当样本对为同类时，EW越大，损失越大，即关于EW递增；当样本对为异类时，EW越大，损失越小，即关于EW递减；因此，对比损失函数的定义如下：
Figure BDA0001631055740000051
其中，L(W,(B,A1,A2)i)＝(1-B)LS(W,(B,A1,A2)i)+BLI(W,(B,A1,A2)i)，(B,A1,A2)表示一个样本对，共N个样本对，B＝1表示同类样本对，其损失是
Figure BDA0001631055740000052
B＝0表示异类样本对，其损失是
Figure BDA0001631055740000053
3)通过训练好的三维卷积神经网络模型来提取目标模型两视角下点云的特征点，参见图3(b)、图4(b)；
4)根据提取到的特征点通过配准算法来计算两视角点云之间的配准参数，参见图3(c)、图4(c)。

Claims (2)

1.一种基于三维卷积神经网络的点云配准方法，其特征在于，所述方法包括如下步骤：
1)获取训练点云模型和待配准目标点云模型，计算其在观测方向上的深度图像；
2)构建三维卷积神经网络模型，设定训练参数和损失函数，使用获取的数据集来训练网络，得到训练好的三维卷积神经网络模型；
3)通过训练好的三维卷积神经网络模型来提取目标模型两视角下点云的特征点；
4)根据提取到的特征点通过配准算法来计算两视角点云之间的配准参数；
所述步骤2)具体包括如下步骤：
(2.1)构建一个三维卷积神经网络模型，整个三维卷积神经网络的层包括四个部分；第一部分由一个卷积层和一个池化层组成，第二部分由一个卷积层组成，第三部分由两个卷积层组成，第四部分由四个卷积层组成；
所述步骤(2.1)中，第一部分由一个卷积层和一个池化层组成，其中输入3D块的大小为30×30×30，卷积层经过64个大小为3×3×3的卷积核和RELU激活函数处理，输出特征为30×30×30×64，池化层中将每2×2×2的体素合为一个体素并取其中的最大值，输出特征大小为15×15×15×64；
第二部分由一个卷积层组成，其中输入特征的大小为15×15×15×64，每个卷积层经过128个大小为3×3×3的卷积核和RELU激活函数处理，输出特征为13×13×13×128；
第三部分由两个卷积层组成，其中输入特征的大小为13×13×13×128，每个卷积层经过256个大小为3×3×3的卷积核和RELU激活函数处理，输出特征为9×9×9×256；
第四部分由四个卷积层组成，其中输入特征的大小为9×9×9×256，每个卷积层经过512个大小为3×3×3的卷积核和RELU激活函数处理，输出特征大小为1×1×1×512；
(2.2)确定三维卷积神经网络的参数，将训练集中的图片以一个场景为一个批次载入三维卷积神经网络模型进行训练，每1000次迭代保存一次数据。
2.根据权利要求1所述的基于三维卷积神经网络的点云配准方法 ，其特征在于，所述步骤(2.2)中，使用基于能量模型的对比损失函数，对于输入的两个样本对A1和A2，通过神经网络训练，得到特征向量MW(A1)和MW(A2)，进行相似度判断，用能量函数如等式(1)所示，进行比较：
EW(A1,A2)＝||MW(A1)-MW(A2)|| (1)
上式中，A1和A2表示一对样本，W为样本对共享权重，当样本对为同类时，EW越大，损失越大，即关于EW递增；当样本对为异类时，EW越大，损失越小，即关于EW递减，因此，对比损失函数的定义如下：
Figure FDA0003243261050000021
其中，L(W,(B,A1,A2)i)＝(1-B)LS(W,(B,A1,A2)i)+BLI(W,(B,A1,A2)i)，(B,A1,A2)表示一个样本对，共N个样本对，B＝1表示同类样本对，其损失是
Figure FDA0003243261050000022
B＝0表示异类样本对，其损失是
Figure FDA0003243261050000023
CN201810342590.4A 2018-04-17 2018-04-17 基于三维卷积神经网络的点云配准方法 Active CN108596961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810342590.4A CN108596961B (zh) 2018-04-17 2018-04-17 基于三维卷积神经网络的点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810342590.4A CN108596961B (zh) 2018-04-17 2018-04-17 基于三维卷积神经网络的点云配准方法

Publications (2)

Publication Number Publication Date
CN108596961A CN108596961A (zh) 2018-09-28
CN108596961B true CN108596961B (zh) 2021-11-23

Family

ID=63622827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810342590.4A Active CN108596961B (zh) 2018-04-17 2018-04-17 基于三维卷积神经网络的点云配准方法

Country Status (1)

Country Link
CN (1) CN108596961B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544700A (zh) * 2018-10-12 2019-03-29 深圳大学 基于神经网络的点云数据的处理方法、装置和设备
CN109410321B (zh) * 2018-10-17 2022-09-20 大连理工大学 基于卷积神经网络的三维重建方法
US11676005B2 (en) * 2018-11-14 2023-06-13 Huawei Technologies Co., Ltd. Method and system for deep neural networks using dynamically selected feature-relevant points from a point cloud
CN109635843B (zh) * 2018-11-14 2021-06-18 浙江工业大学 一种基于多视角图像的三维物体模型分类方法
CN109685848B (zh) * 2018-12-14 2023-06-09 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
CN109753885B (zh) * 2018-12-14 2020-10-16 中国科学院深圳先进技术研究院 一种目标检测方法、装置以及行人检测方法、系统
CN109829922B (zh) * 2018-12-20 2021-06-11 上海联影智能医疗科技有限公司 一种脑图像重定向方法、装置、设备及存储介质
CN109754414A (zh) * 2018-12-27 2019-05-14 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109767461B (zh) * 2018-12-28 2021-10-22 上海联影智能医疗科技有限公司 医学影像配准方法、装置、计算机设备和存储介质
CN109919989B (zh) * 2019-03-27 2023-11-14 广东工业大学 一种雷达电力巡检的点云数据配准方法、装置及设备
CN110246166A (zh) * 2019-06-14 2019-09-17 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN110275163B (zh) * 2019-06-28 2020-11-27 清华大学 一种基于神经网络的毫米波雷达探测目标成像方法
CN110503110A (zh) * 2019-08-12 2019-11-26 北京影谱科技股份有限公司 特征匹配方法和装置
CN110490915B (zh) * 2019-08-19 2023-11-24 重庆大学 一种基于卷积受限玻尔兹曼机的点云配准方法
CN114037743B (zh) * 2021-10-26 2024-01-26 西北大学 一种基于动态图注意力机制的秦俑三维点云鲁棒配准方法
CN114266830B (zh) * 2021-12-28 2022-07-15 北京建筑大学 地下大空间高精度定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097334A (zh) * 2016-06-08 2016-11-09 北京航空航天大学 基于深度学习的点云配准方法
CN107798697A (zh) * 2017-10-26 2018-03-13 中国科学院深圳先进技术研究院 一种基于卷积神经网络的医学图像配准方法、系统及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417788B2 (en) * 2016-09-21 2019-09-17 Realize, Inc. Anomaly detection in volumetric medical images using sequential convolutional and recurrent neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097334A (zh) * 2016-06-08 2016-11-09 北京航空航天大学 基于深度学习的点云配准方法
CN107798697A (zh) * 2017-10-26 2018-03-13 中国科学院深圳先进技术研究院 一种基于卷积神经网络的医学图像配准方法、系统及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《A registration method for 3D point clouds with convolutional neural network》;Ai, S.；et al;《Lecture Notes in Computer Science》;20171231;第10464卷;第377-387页 *
《基于卷积神经网络的点云配准方法》;舒程珣，等;《激光与光电子学进展》;20171231;第1-9页 *

Also Published As

Publication number Publication date
CN108596961A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108596961B (zh) 基于三维卷积神经网络的点云配准方法
CN112270249B (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
US10353271B2 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN106780590B (zh) 一种深度图的获取方法及系统
CN108108764B (zh) 一种基于随机森林的视觉slam回环检测方法
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN112634341A (zh) 多视觉任务协同的深度估计模型的构建方法
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
WO2021169498A1 (zh) 三维点云的增广方法、装置、存储介质及计算机设备
CN115116049B (zh) 目标检测的方法、装置、电子设备及存储介质
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN111814792B (zh) 一种基于rgb-d图像的特征点提取与匹配方法
CN113963117A (zh) 一种基于可变卷积深度网络的多视图三维重建方法及装置
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN112907573A (zh) 一种基于3d卷积的深度补全方法
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及系统
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
CN109816710B (zh) 一种双目视觉系统高精度且无拖影的视差计算方法
Shen et al. A 3D modeling method of indoor objects using Kinect sensor
Jisen A study on target recognition algorithm based on 3D point cloud and feature fusion
CN116778091A (zh) 基于路径聚合的深度学习多视角立体三维重建算法
CN116703996A (zh) 基于实例级自适应深度估计的单目三维目标检测算法
CN114638898A (zh) 一种小型飞行目标检测方法和装置
CN114581389A (zh) 一种基于三维边缘相似度特征的点云质量分析方法
CN114565653A (zh) 一种存在旋转变化和尺度差异的异源遥感图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant