CN110610650A - 一种基于深度学习和深度相机的点云语义地图的构建方法 - Google Patents

一种基于深度学习和深度相机的点云语义地图的构建方法 Download PDF

Info

Publication number
CN110610650A
CN110610650A CN201910796731.4A CN201910796731A CN110610650A CN 110610650 A CN110610650 A CN 110610650A CN 201910796731 A CN201910796731 A CN 201910796731A CN 110610650 A CN110610650 A CN 110610650A
Authority
CN
China
Prior art keywords
point cloud
point
neural network
camera
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910796731.4A
Other languages
English (en)
Inventor
颜成钢
任浩帆
孙垚棋
张继勇
张勇东
沈韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910796731.4A priority Critical patent/CN110610650A/zh
Publication of CN110610650A publication Critical patent/CN110610650A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/005—Map projections or methods associated specifically therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和深度相机的点云语义地图的构建方法。本发明步骤：1、构建神经网络的必须模块；2、搭建神经网络；3、训练神经网络模型；采用semantic3D为训练集，使用反向传播和随机梯度下降，训练神经网络，最小化损失函数，从而不断优化网络权重连接；4、进行相机标定，得到相机的内参，首先利用深度相机采集点云数据，通过相机的内参矩阵将采集到的深度图转换成点云；5、将点云输入到训练好的神经网络当中，使用含有语义信息的点云进行语义地图的构建，从而可以得到语义标签的点云语义地图。本发明能够更加实用的为机器人室内导航和定位提供语义这样的高级特征，便于精准的确定机器人的位置，以及更为精准的回环检测。

Description

一种基于深度学习和深度相机的点云语义地图的构建方法
技术领域
本发明属于计算机视觉，特别地，本发明涉及一种基于深度学习和深度相机的点云语义地图的构建方法。
背景技术
随着几年来深度学习的火速发展，使得能够直接对点云进行三维语义的点云构建成为可能。其对于自动驾驶车辆，无人飞行器等自主性的机器人在室内和室外的的运动感知和场景理解都具有非常重要的意义。三维的场景理解可以用使得机器人能够很好的与周围的环境进行交互。
已有的一些方法可以采集点云地图，主要分为激光雷达和深度相机两大类的传感器，但是由于激光雷达价格高，而且测距的距离有限，并且采集过程当中丢失了纹理信息，地图先天就缺乏语义信息，不利于对语义分割做直接的处理。
此外，相比于其他的三维地方的表达方式，相比于其他三维表达方式，直接处理点云构造语义地图更接近传感器所采集到的原声数据，无需进行数据的转换，可以提高分割的速度。
发明内容
本发明的目的是真针对现有技术的不足，提出一种基于深度学习和深度相机的点云语义地图的构建方法。本发明采用能直接对点云做处理的卷积算子并且结合PointSIFT模块做预处理，实现准确的点云地图的场景感知。
本发明仅仅使用深度相机生成三维的点云地图，只需要经过简单的相机标定，就可以实现，而且传感器的家个相对比较便宜。此外本发明利用了图片点云色彩的纹理信息，相比于激光雷达构建的地图能够为分割提供更多有用信息。并且不需要人工进行干预，可以实现端到端的学习，整个流程一步到位，快捷高效
一种基于深度学习和深度相机的点云语义地图的构建方法，该方法具体包括以下步骤：
步骤1、构建神经网络的必须模块；
首先对点云做法向量估计，增加点云的特征。我们采用巨鹿节火的算法。对于点云中的每一个点p，获取m个邻域点，然后利用最小二乘计算一个局部平面P，表述如下：
其中n是平面P的法向量，d为平面P到坐标原点的垂直距离。M是邻域点，i表示邻域的索引，hi表示第i个邻域点。
构建逐点卷积算子：
pi是点i的坐标以及估计出的法向量，|·|一个点领域内所有点的数目，Ωi(k)是点i的第k个邻域，ωk是第k个邻域的权重，xi和xj是第i个点和第j个点，索引l和l-1分别是输入和输出的层。
步骤2、搭建神经网络；
包括5个逐点卷积层，两个全连接层，一个合并层以及4个PointSIFT层。网络结构参看说明书附图中图1和图2，具体的操作如下：
首先利用公式(1)对输入的点云做法向量估计，增加点云的特征；之后利用公式(2)的逐点卷积算子，对点云进行卷积，每次卷积之后跟随一个如说明书附图中图2，图3所示的PointSIFT层。最后将最后一层卷积输出的结果与前两层卷积输出的结果拼接，最后经过两个分支，经过全连接层，得到分割和分类的结果，即获得点云的语义标签。
步骤3、训练神经网络模型；采用semantic3D为训练集，使用反向传播和随机梯度下降，训练神经网络，最小化损失函数，使得我们不断优化网络权重连接。
步骤4、进行相机标定，得到相机的内参，首先利用深度相机采集点云数据，通过相机的内参矩阵将采集到的深度图转换成点云。
步骤5、将点云输入到训练好的神经网络当中，使用含有语义信息的点云进行语义地图的构建，从而可以得到语义标签的点云语义地图。
本发明的特点及有益效果：
本发明实现了一种基于深度学习和深度相机的点云语义地图的构建方法，对机器人室内定位与导航有较大意义。本发明中利用深度相机经过标定后投影得到点云地图，之后估计出点云的表面法线信息，然后利用逐点卷积的算子对点云卷积，通过提出的算子和网络结构实现了点云的语义地图的构建，能够更加实用的为机器人室内导航和定位提供语义这样的高级特征，便于精准的确定机器人的位置，以及更为精准的回环检测。
附图说明
图1为本发明方法神经网络结构。
图2是PointSIFT模块。
图3是PointSIFT中采用的方向编码。
具体实施方式
本发明仅仅使用深度相机生成三维的点云地图，只需要经过简单的相机标定，就可以实现，而且传感器的家个相对比较便宜。此外本发明利用了图片点云色彩的纹理信息，相比于激光雷达构建的地图能够为分割提供更多有用信息。并且不需要人工进行干预，可以实现端到端的学习，整个流程一步到位，快捷高效
一种基于深度学习和深度相机的点云语义地图的构建方法，该方法具体包括以下步骤：
步骤1、构建神经网络的必须模块；
首先对点云做法向量估计，增加点云的特征。我们采用巨鹿节火的算法。对于点云中的每一个点p，获取m个邻域点，然后利用最小二乘计算一个局部平面P，表述如下：
其中n是平面P的法向量，d为平面P到坐标原点的垂直距离。M是邻域点，i表示邻域的索引，hi表示第i个邻域点。
构建逐点卷积算子：
pi是点i的坐标以及估计出的法向量，|·|一个点领域内所有点的数目，Ωi(k)是点i的第k个邻域，ωk是第k个邻域的权重，xi和xj是第i个点和第j个点，索引l和l-1分别是输入和输出的层。
步骤2、搭建神经网络；
包括5个逐点卷积层，两个全连接层，一个合并层以及4个PointSIFT层。网络结构参看说明书附图中图1和图2，具体的操作如下：
首先利用公式(1)对输入的点云做法向量估计，增加点云的特征；之后利用公式(2)的逐点卷积算子，对点云进行卷积，每次卷积之后跟随一个如说明书附图中图2，图3所示的PointSIFT层。最后将最后一层卷积输出的结果与前两层卷积输出的结果拼接，最后经过两个分支，经过全连接层，得到分割和分类的结果，即获得点云的语义标签。
步骤3、训练神经网络模型；采用semantic3D为训练集，使用反向传播和随机梯度下降，训练神经网络，最小化损失函数，使得我们不断优化网络权重连接。
步骤4、进行相机标定，得到相机的内参，首先利用深度相机采集点云数据，通过相机的内参矩阵将采集到的深度图转换成点云。
步骤5、将点云输入到训练好的神经网络当中，使用含有语义信息的点云进行语义地图的构建，从而可以得到语义标签的点云语义地图。

Claims (3)

1.一种基于深度学习和深度相机的点云语义地图的构建方法，其特征在于包括以下步骤：
步骤1、构建神经网络的必须模块；
步骤2、搭建神经网络；
步骤3、训练神经网络模型；采用semantic3D为训练集，使用反向传播和随机梯度下降，训练神经网络，最小化损失函数，从而不断优化网络权重连接；
步骤4、进行相机标定，得到相机的内参，首先利用深度相机采集点云数据，通过相机的内参矩阵将采集到的深度图转换成点云；
步骤5、将点云输入到训练好的神经网络当中，使用含有语义信息的点云进行语义地图的构建，从而可以得到语义标签的点云语义地图。
2.根据权利要求1所述的一种基于深度学习和深度相机的点云语义地图的构建方法，其特征在于步骤1具体实现如下：
首先对点云做法向量估计，增加点云的特征；采用巨鹿节火的算法；对于点云中的每一个点p，获取m个邻域点，然后利用最小二乘计算一个局部平面P，表述如下：
其中n是平面P的法向量，d为平面P到坐标原点的垂直距离；M是邻域点，i表示邻域的索引，hi表示第i个邻域点；
构建逐点卷积算子：
pi是点i的坐标以及估计出的法向量，|·|一个点领域内所有点的数目，Ωi(k)是点i的第k个邻域，ωk是第k个邻域的权重，xi和xj是第i个点和第j个点，索引l和l-1分别是输入和输出的层。
3.根据权利要求2所述的一种基于深度学习和深度相机的点云语义地图的构建方法，其特征在于步骤2具体实现如下：
神经网络包括5个逐点卷积层，两个全连接层，一个合并层以及4个PointSIFT层，具体的操作如下：
首先利用公式(1)对输入的点云做法向量估计，增加点云的特征；之后利用公式(2)的逐点卷积算子，对点云进行卷积，每次卷积之后跟随一个PointSIFT层；最后将最后一层卷积输出的结果与前两层卷积输出的结果拼接，最后经过两个分支，经过全连接层，得到分割和分类的结果，即获得点云的语义标签。
CN201910796731.4A 2019-08-27 2019-08-27 一种基于深度学习和深度相机的点云语义地图的构建方法 Pending CN110610650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910796731.4A CN110610650A (zh) 2019-08-27 2019-08-27 一种基于深度学习和深度相机的点云语义地图的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910796731.4A CN110610650A (zh) 2019-08-27 2019-08-27 一种基于深度学习和深度相机的点云语义地图的构建方法

Publications (1)

Publication Number Publication Date
CN110610650A true CN110610650A (zh) 2019-12-24

Family

ID=68890438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910796731.4A Pending CN110610650A (zh) 2019-08-27 2019-08-27 一种基于深度学习和深度相机的点云语义地图的构建方法

Country Status (1)

Country Link
CN (1) CN110610650A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507056A (zh) * 2020-12-21 2021-03-16 华南理工大学 一种基于视觉语义信息的地图构建方法
CN113156419A (zh) * 2021-02-24 2021-07-23 清华大学 一种基于雷达与视觉多模态融合的具身语言导航方法
CN113576780A (zh) * 2021-08-04 2021-11-02 北京化工大学 一种基于语义视觉slam的智能轮椅
CN115984486A (zh) * 2023-03-03 2023-04-18 北京科技大学 一种融合激光雷达与深度相机的桥梁模型生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050639A1 (en) * 2017-08-09 2019-02-14 Open Text Sa Ulc Systems and methods for generating and using semantic images in deep learning for classification and data extraction
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190050639A1 (en) * 2017-08-09 2019-02-14 Open Text Sa Ulc Systems and methods for generating and using semantic images in deep learning for classification and data extraction
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507056A (zh) * 2020-12-21 2021-03-16 华南理工大学 一种基于视觉语义信息的地图构建方法
CN113156419A (zh) * 2021-02-24 2021-07-23 清华大学 一种基于雷达与视觉多模态融合的具身语言导航方法
CN113576780A (zh) * 2021-08-04 2021-11-02 北京化工大学 一种基于语义视觉slam的智能轮椅
CN115984486A (zh) * 2023-03-03 2023-04-18 北京科技大学 一种融合激光雷达与深度相机的桥梁模型生成方法及装置
CN115984486B (zh) * 2023-03-03 2023-05-26 北京科技大学 一种融合激光雷达与深度相机的桥梁模型生成方法及装置

Similar Documents

Publication Publication Date Title
Chen et al. 3D global mapping of large-scale unstructured orchard integrating eye-in-hand stereo vision and SLAM
CN110610650A (zh) 一种基于深度学习和深度相机的点云语义地图的构建方法
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN106780631B (zh) 一种基于深度学习的机器人闭环检测方法
Yuan et al. Efficient and probabilistic adaptive voxel mapping for accurate online lidar odometry
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN107917710B (zh) 一种基于单线激光的室内实时定位与三维地图构建方法
CN114332348B (zh) 一种融合激光雷达与图像数据的轨道三维重建方法
CN115421158B (zh) 自监督学习的固态激光雷达三维语义建图方法与装置
CN116222577B (zh) 闭环检测方法、训练方法、系统、电子设备及存储介质
CN109848996A (zh) 基于图优化理论的大规模三维环境地图创建方法
CN115032648B (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN115115859A (zh) 基于无人机航拍的长线性工程施工进度智能识别与分析方法
CN110569387B (zh) 基于深度哈希算法的雷达-图像跨模态检索方法
CN115861601A (zh) 一种多传感器融合感知方法及装置
CN114034299A (zh) 一种基于主动激光slam的导航系统
CN116429116A (zh) 一种机器人定位方法及设备
CN116824433A (zh) 基于自监督神经网络的视觉-惯导-雷达融合自定位方法
CN116787432A (zh) 一种机器人视觉引导抓取方法
CN114594768B (zh) 一种基于视觉特征图重构的移动机器人导航决策方法
CN113221744B (zh) 一种基于深度学习的单目图像3d物体检测方法
Bai et al. Application of unmanned aerial vehicle multi-vision image 3D modeling in geological disasters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191224

RJ01 Rejection of invention patent application after publication