CN107480603B - 基于slam和深度摄像头的同步建图与物体分割方法 - Google Patents

基于slam和深度摄像头的同步建图与物体分割方法 Download PDF

Info

Publication number
CN107480603B
CN107480603B CN201710622401.4A CN201710622401A CN107480603B CN 107480603 B CN107480603 B CN 107480603B CN 201710622401 A CN201710622401 A CN 201710622401A CN 107480603 B CN107480603 B CN 107480603B
Authority
CN
China
Prior art keywords
plane
depth camera
slam
map
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710622401.4A
Other languages
English (en)
Other versions
CN107480603A (zh
Inventor
李梓佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yiti (Liaoning) Technology Co.,Ltd.
Original Assignee
Hechuang Lazy Man Dalian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hechuang Lazy Man Dalian Technology Co ltd filed Critical Hechuang Lazy Man Dalian Technology Co ltd
Priority to CN201710622401.4A priority Critical patent/CN107480603B/zh
Publication of CN107480603A publication Critical patent/CN107480603A/zh
Application granted granted Critical
Publication of CN107480603B publication Critical patent/CN107480603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于SLAM和深度摄像头的同步建图与物体分割方法，将分割出来的物体，通过识别器识别或人工标注的方式来进行标注，最后实现语义建图和机器人对场景认知的功能。保证在获得整个场景地图的同时，也获得了场景中所包含的丰富的物体信息，对于后续的场景分析提供了极其有用的信息。

Description

基于SLAM和深度摄像头的同步建图与物体分割方法
技术领域
本发明设计涉及SLAM自动建图及物体分割技术领域，特别涉及一种基于ORB-SLAM的室内自动建图及物体分割的方法。
技术背景
即时定位与地图构建(SLAM或Simultaneous localization and mapping)指的是机器人在未知环境中，通过获取当前场景的特征，如路标(Landmark)，角点，点云等视觉特征来对自身当前位置进行推算并同时构建地图的过程。
ORB-SLAM(ORB-SLAM:A Versatile and Accurate Monocular SLAM System)是一个基于ORB特征的SLAM系统，ORB是图像处理领域中一种常用的旋转不变特征点，ORB-SLAM就是基于这种特这点来进行地图识别与构建的。
物体分割指的是在给定的场景中通过图像分割的方法把场景中可能代表的不同物体分别标注出来。
目前同步建图与物体分割的研究还处于相对初级的阶段，常用方法是在建图的过程中同时使用机器学习方法对当前获得图片进行物体识别，对识别出来的物体进行标注。对于识别器无法认知的物体，则无法把该物体从背景中分割开来。而识别器一般是通过二维图像来进行识别的，通过传感器所获取的深度信息无法被充分利用。通过对地图中的物体进行分割，可以帮助机器人更加精准地判断自身当前所在位置。
发明内容
为了提高场景中物体分割的准确率，本发明提供一种同步建图与物体分割的方法，对于被分割出来的物体，我们可以通过识别器识别或人工标注的方式来进行标注，最后实现语义建图和机器人对场景认知的功能。
本发明解决其技术问题所采用的技术方案是:
一种基于SLAM和深度摄像头的同步建图与物体分割方法，所述方法包括以下步骤:
步骤一：通过深度摄像头获得一帧RGB图像和深度图像，利用ORB-SLAM系统获取当前帧的特征点信息；
步骤二：通过深度摄像头获取当前帧的点云，对于获得的点云，先计算出点云的法向量，然后检测平面，对于检测出来的平面，用以下方式添加到地图中：
对于输入的点云，首先进行第一次平面检测，对于检测出来的平面，如果该平面包含的点大于设定阈值x，则把该平面及其包含的点添加待分割队列中，等待下一步处理，同时将平面所包含的点从原始点云中去掉；然后进入下次检测，一直到剩下的点小于原始点云的10％为止，同时记录结束之前所做的迭代次数，设定阈值x根据应用场景而人为设定；
步骤三：利用点云所对应的深度图像进行分割，然后采用α-expansion算法对图进行优化，计算出每个像素所属标签；
步骤四：将步骤二和步骤三的结果进行对照，如果步骤三中有相同标签且投影到同一个平面上的点超过该标签的点的总数的设定百分比，则将该对应的平面加入到地图中，并将该区域对应的RGB图像保存下来作为关键模板。如果步骤三中有相同标签且投影到同一个平面上的点低于该标签的点的总数的设定百分比，该区域将被划分为待分割区域进入下一步处理，设定百分比根据应用场景而人为设定；
步骤五：对于步骤四所述的待分割区域，通过采用图像识别的方法对区域内物体进行识别，如果该区域的识别率低于设定识别阈值，则视为无效区域，否则保存其对应的RGB区域图像作为关键模板,设定识别阈值根据应用场景进行人为设定；
步骤六：移动深度摄像头，进入下一帧，重复步骤一至步骤五。
进一步地，所述步骤三中，利用点云所对应的深度图像进行分割，其具体算法为:
Figure BDA0001362001950000041
Figure BDA0001362001950000042
Figure BDA0001362001950000043
其中i表示深度图中的一个像素，k为步骤二中得到的迭代次数，
Figure BDA0001362001950000044
为上面平面检测时每次检测得到的面的中心点像素所在位置，λ为平滑项系数，
Figure BDA0001362001950000045
表示i离最近的标注像素的距离，Si表示像素i所属的分割标签，Ii表示像素i在深度图上的值，σ2为整个深度图像的方差。
进一步地，当两个不同帧中获取属于同一物体的标注时，根据其在地图上的地理位置进行融合。
进一步地，当两个不同帧中获取属于同一物体的标注时，根据其在地图上的地理位置采用ICP算法进行融合。
进一步地，所述深度摄像头在场景中循环走动获得精确的地图，同时也获得场景内存在的物体的标注。
进一步地，所述步骤五中，采用基于机器学习的方法对区域进行识别。
本发明的有益效果主要表现在:在构建地图的同时，充分利用场景的深度信息将场景中可能存在的有较大平面的物体(如桌子，电脑显示屏，墙壁，地面，洗衣机等)先进行粗分割，对于平面较小但是能互相分开的物体(如桌子上的手机，键盘，鼠标等)通过预先设定阈值进行进一步分割，最后，对于平面不连续但可能属于同一物体的物体(如椅子，有弯曲的平面)通过使用由深度学习等方法训练的识别器对其所对应的RGB图像进行识别和分割。最终在获得整个场景地图的同时，也获得了场景中所包含的丰富的物体信息，对于后续的场景分析提供了极其有用的信息。
具体实施方式
下面对本发明做进一步描述。
一种基于ORB-SLAM的室内自动建图及物体分割的方法，包括以下步骤:
步骤一：通过深度摄像头获得一帧RGB图像和深度图像，利用ORB-SLAM系统获取当前帧的特征点信息。
步骤二：通过深度摄像头获取当前帧的点云，对于获得的点云，先计算出点云的法向量，然后就可以检测平面，对于检测出来的平面，用以下方式添加到地图中：
对于输入的点云，首先进行第一次平面检测，对于检测出来的平面，如果该平面包含的点大于设定阈值，如100个点，则把该平面及其包含的点添加待分割队列中，等待下一步处理，同时将平面所包含的点从原始点云中去掉。然后进入下次检测，一直到剩下的点小于原始点云的10％为止，同时记录结束之前所做的迭代次数。
步骤三：利用点云所对应的深度图像进行分割，具体算法为:
Figure BDA0001362001950000061
Figure BDA0001362001950000062
Figure BDA0001362001950000063
其中i表示深度图中的一个像素，k为步骤2)中得到的迭代次数，
Figure BDA0001362001950000064
为上面平面检测时每次检测得到的面的中心点像素所在位置，λ为平滑项系数，
Figure BDA0001362001950000065
表示i离最近的标注像素的距离，Si表示像素i所属的分割标签，Ii表示像素i在深度图上的值，σ2为整个深度图像的方差。然后我们采用α-expansion算法对图进行优化，计算出每个像素所属标签。
步骤四：将步骤二和步骤三的结果进行对照，如果步骤三中有相同标签且投影到同一个平面上的点超过该标签的点的总数的70％，则将该对应的平面加入到地图中，并将该区域对应的RGB图像保存下来作为关键模板。对于不满足条件的区域将被划分为待分割区域进入下一步处理。
步骤五：对于步骤四所述的待分割区域，通过采用图像识别的方法对区域内物体进行识别，如果该区域的识别率低于设定识别阈值50％，则视为无效区域，否则保存其对应的RGB区域图像作为关键模板。
步骤六：移动深度摄像头，进入下一帧，重复步骤一至步骤五。
步骤七：对于两个不同帧中所获取的可能属于同一物体的标注，根据其在地图上的地理位置进行融合。
步骤八：在场景中循环来回走动来获得较为精确的地图，同时也获得场景内可能存在的物体的标注。
对于步骤五,其具体实施方法为:用基于机器学习的方法对区域进行识别。
对于步骤七，其具体实施方法为:用ICP算法进行融合。

Claims (6)

1.基于SLAM和深度摄像头的同步建图与物体分割方法，其特征在于：所述方法包括以下步骤:
步骤一：通过深度摄像头获得一帧RGB图像和深度图像，利用ORB-SLAM系统获取当前帧的特征点信息；
步骤二：通过深度摄像头获取当前帧的点云，对于获得的点云，先计算出点云的法向量，然后检测平面，对于检测出来的平面，用以下方式添加到地图中：
对于输入的点云，首先进行第一次平面检测，对于检测出来的平面，如果该平面包含的点大于设定阈值x，则把该平面及其包含的点添加待分割队列中，等待下一步处理，同时将平面所包含的点从原始点云中去掉；然后进入下次检测，一直到剩下的点小于原始点云的10％为止，同时记录结束之前所做的迭代次数；
步骤三：利用点云所对应的深度图像进行分割，然后采用α-expansion算法对图进行优化，计算出每个像素所属标签；
步骤四：将步骤二和步骤三的结果进行对照，如果步骤三中有相同标签且投影到同一个平面上的点超过该标签的点的总数的设定百分比，则将该对应的平面加入到地图中，并将该区域对应的RGB图像保存下来作为关键模板，如果步骤三中有相同标签且投影到同一个平面上的点低于该标签的点的总数的设定百分比，该区域将被划分为待分割区域进入下一步处理；
步骤五：对于步骤四所述的待分割区域，通过采用图像识别的方法对区域内物体进行识别，如果该区域的识别率低于设定识别阈值，则视为无效区域，否则保存其对应的RGB区域图像作为关键模板；
步骤六：移动深度摄像头，进入下一帧，重复步骤一至步骤五。
2.根据权利要求1所述的基于SLAM和深度摄像头的同步建图与物体分割方法，其特征在于：所述步骤三中，利用点云所对应的深度图像进行分割，其具体算法为:
Figure FDA0002520316250000021
Figure FDA0002520316250000022
Figure FDA0002520316250000023
其中i表示深度图中的一个像素，k为步骤二中得到的迭代次数，USi为上面平面检测时每次检测得到的面的中心点像素所在位置，λ为平滑项系数，d(i,USi)表示i离最近的标注像素的距离，Si表示像素i所属的分割标签，Ii表示像素i在深度图上的值，σ2为整个深度图像的方差。
3.根据权利要求1所述的基于SLAM和深度摄像头的同步建图与物体分割方法，其特征在于：当两个不同帧中获取属于同一物体的标注时，根据其在地图上的地理位置进行融合。
4.根据权利要求3所述的基于SLAM和深度摄像头的同步建图与物体分割方法，其特征在于：当两个不同帧中获取属于同一物体的标注时，根据其在地图上的地理位置采用ICP算法进行融合。
5.根据权利要求1所述的基于SLAM和深度摄像头的同步建图与物体分割方法，其特征在于：所述深度摄像头在场景中循环走动获得精确的地图，同时也获得场景内存在的物体的标注。
6.根据权利要求1所述的基于SLAM和深度摄像头的同步建图与物体分割方法，其特征在于：所述步骤五中，采用基于机器学习的方法对区域进行识别。
CN201710622401.4A 2017-07-27 2017-07-27 基于slam和深度摄像头的同步建图与物体分割方法 Active CN107480603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710622401.4A CN107480603B (zh) 2017-07-27 2017-07-27 基于slam和深度摄像头的同步建图与物体分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710622401.4A CN107480603B (zh) 2017-07-27 2017-07-27 基于slam和深度摄像头的同步建图与物体分割方法

Publications (2)

Publication Number Publication Date
CN107480603A CN107480603A (zh) 2017-12-15
CN107480603B true CN107480603B (zh) 2020-09-18

Family

ID=60598434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710622401.4A Active CN107480603B (zh) 2017-07-27 2017-07-27 基于slam和深度摄像头的同步建图与物体分割方法

Country Status (1)

Country Link
CN (1) CN107480603B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665496B (zh) * 2018-03-21 2021-01-26 浙江大学 一种基于深度学习的端到端的语义即时定位与建图方法
CN110377776B (zh) * 2018-07-23 2022-06-07 北京京东尚科信息技术有限公司 生成点云数据的方法和装置
CN109509255B (zh) * 2018-07-26 2022-08-30 京东方科技集团股份有限公司 一种标签化地图构建及空间地图更新方法和装置
CN109559320B (zh) * 2018-09-18 2022-11-18 华东理工大学 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN111105449B (zh) * 2018-10-09 2023-05-02 财团法人工业技术研究院 深度估计装置、自动驾驶车辆及其深度估计方法
GB2581808B (en) * 2019-02-26 2022-08-10 Imperial College Innovations Ltd Scene representation using image processing
CN110751722B (zh) * 2019-09-09 2021-06-15 清华大学 同时定位建图方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100771A (zh) * 2015-07-14 2015-11-25 山东大学 一种基于场景分类和几何标注的单视点视频深度获取方法
CN106529573A (zh) * 2016-10-14 2017-03-22 北京联合大学 一种结合三维点云分割和局部特征匹配的实时物体检测方法
CN106570903A (zh) * 2016-10-13 2017-04-19 华南理工大学 一种基于rgb‑d摄像头的视觉识别与定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112850406A (zh) * 2015-04-03 2021-05-28 奥的斯电梯公司 用于乘客运输的通行列表产生

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100771A (zh) * 2015-07-14 2015-11-25 山东大学 一种基于场景分类和几何标注的单视点视频深度获取方法
CN106570903A (zh) * 2016-10-13 2017-04-19 华南理工大学 一种基于rgb‑d摄像头的视觉识别与定位方法
CN106529573A (zh) * 2016-10-14 2017-03-22 北京联合大学 一种结合三维点云分割和局部特征匹配的实时物体检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于RGB-D的对象分割与重建技术研究;葛玲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20161015(第10期);I138-484页第四章 *
基于稀疏点云的多平面场景稠密重建;缪君 等;《自动化学报》;20141030;第41卷(第4期);813-822页第1-2节 *
面向服务机器人的室内语义地图构建的研究;王锋;《中国博士学位论文全文数据库 信息科技辑》;20141015(第10期);I140-47页摘要，第三-五章 *

Also Published As

Publication number Publication date
CN107480603A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN107480603B (zh) 基于slam和深度摄像头的同步建图与物体分割方法
CN108827316B (zh) 基于改进的Apriltag标签的移动机器人视觉定位方法
CN112991447B (zh) 一种动态环境下视觉定位与静态地图构建方法及系统
CN110580723B (zh) 一种利用深度学习和计算机视觉进行精准定位的方法
CN107424142B (zh) 一种基于图像显著性检测的焊缝识别方法
US20240092344A1 (en) Method and apparatus for detecting parking space and direction and angle thereof, device and medium
CN103310194B (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
Delmerico et al. Building facade detection, segmentation, and parameter estimation for mobile robot localization and guidance
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN107067015B (zh) 一种基于多特征深度学习的车辆检测方法及装置
CN109685827B (zh) 一种基于dsp的目标检测与跟踪方法
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN111368682B (zh) 一种基于faster RCNN台标检测与识别的方法及系统
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN110400287B (zh) 结直肠癌ihc染色图像肿瘤侵袭边缘和中心的检测系统及方法
CN105184317B (zh) 一种基于svm分类的车牌字符分割方法
JP2017522647A (ja) 背景追跡を介する物体追跡及びセグメント化の方法及び装置
CN114565675A (zh) 一种在视觉slam前端去除动态特征点的方法
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN112733711A (zh) 基于多尺度场景变化检测的遥感影像损毁建筑物提取方法
CN111291608A (zh) 一种基于深度学习的遥感图像非建筑区域过滤方法
Recky et al. Window detection in complex facades
CN111819567A (zh) 使用语义特征来匹配图像的方法和装置
CN109325487B (zh) 一种基于目标检测的全种类车牌识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 116023 Room 1 203, Block 12, Block C, 6 Yiyang Road, Qixianling, Dalian High-tech Industrial Park, Liaoning Province

Applicant after: Hechuang Lazy Man (Dalian) Technology Co.,Ltd.

Address before: 116023 Dalian High-tech Park, Liaoning Province, Takeoff Software Park Phase II 1-04B

Applicant before: DALIAN HECHUANG LANREN TECHNOLOGY CO.,LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220325

Address after: 116000 unit 07, 16 / F, animation tour industry building, No. 10, Torch Road, Dalian high tech Industrial Park, Dalian, Liaoning Province

Patentee after: Dalian Yongge Technology Co.,Ltd.

Address before: 116023 Room 1 203, Block 12, Block C, 6 Yiyang Road, Qixianling, Dalian High-tech Industrial Park, Liaoning Province

Patentee before: Hechuang Lazy Man (Dalian) Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240110

Address after: No. 4, 3rd Floor, Unit 2, No. 901R Huangpu Road, Dalian High tech Industrial Park, Shahekou District, Dalian City, Liaoning Province, 116023

Patentee after: Yiti (Liaoning) Technology Co.,Ltd.

Address before: 116000 unit 07, 16 / F, animation tour industry building, No. 10, Torch Road, Dalian high tech Industrial Park, Dalian, Liaoning Province

Patentee before: Dalian Yongge Technology Co.,Ltd.

TR01 Transfer of patent right