CN106940185A - 一种基于深度摄像机的移动机器人定位和导航方法 - Google Patents

一种基于深度摄像机的移动机器人定位和导航方法 Download PDF

Info

Publication number
CN106940185A
CN106940185A CN201610006701.5A CN201610006701A CN106940185A CN 106940185 A CN106940185 A CN 106940185A CN 201610006701 A CN201610006701 A CN 201610006701A CN 106940185 A CN106940185 A CN 106940185A
Authority
CN
China
Prior art keywords
point
theta
robot
plane
localization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610006701.5A
Other languages
English (en)
Inventor
廖鸿宇
周瑜
陶学宇
郭煜玺
孙放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thunderous Yun He Intellectual Technology Co Ltd
Original Assignee
Beijing Thunderous Yun He Intellectual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Thunderous Yun He Intellectual Technology Co Ltd filed Critical Beijing Thunderous Yun He Intellectual Technology Co Ltd
Priority to CN201610006701.5A priority Critical patent/CN106940185A/zh
Publication of CN106940185A publication Critical patent/CN106940185A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于深度摄像机的移动机器人定位和导航方法,属于机器人导航领域;本发明通过一种快速采样平面滤波算法(FSPF),从深度图像中采集样本点和对属于3D平面的点集或者与平面不相对应的点进行分类,减少3D点云的数量的同时不被异常值影响;接着基于一个观察模型提出了一个平面滤波点云的定位算法,将平面滤波点向下映射到2D并且对每个2D地图上的点到线分配对应的值;最后,采用完全采样的点云作为自主导航的障碍物避免算法。本发明通过实验性结果展示了室内移动机器人自主导航方法的有效性,并通过将2D激光测距仪和3D深度摄像头进行比较,进一步了验证定位准确性。

Description

一种基于深度摄像机的移动机器人定位和导航方法
技术领域
本发明属于机器人导航领域,尤其涉及一种基于深度摄像机的移动机器人定位和导航方法。
背景技术
对于具有有限计算能力的室内移动机器人,采用深度摄像头用于机器人自主移动主要有以下两方面障碍:首先,深度摄像头通常会生成冗长的数据,这些数据在机器人的实时定位中不能被完全处理;其次,考虑到所使用的内存和计算复杂度是在3D环境下,2D环境中的定位和绘制地图技术(占用栅格)不能很好地去衡量。相反地,将3D环境中的观察物映射到现有的2D地图中这一问题并不简单。
发明内容
本发明的目的在于针对上述技术中存在的缺陷,提出了一种基于深度摄像机的移动机器人定位和导航方法。
为了实现上述目的,本发明提供的技术方案如下:一种基于深度摄像机的移动机器人定位和导航方法,其特征在于包括如下步骤:
步骤1、快速采样平面滤波算法(FSPF):FSPF将深度图像I作为输入,并创建一个具有n个3D点的列表P、一个对应平面向量的列表R以及一个不与任何平面相对应的异常点列表O,此算法旨在生成一个最多含有nmax个3D点和它们所对应的平面向量的列表。
步骤2、平面滤波点云的定位:采用蒙特卡罗定位(MCL)和矫正的梯度调整(CGR)来实现;
步骤2.1、3D滤波点云P和对应的平面向量I首先被投影到2D来生成一个2D点云P’和对应的规范化的向量R’;
步骤2.2、对于每个P’中的点pi,找到线li(li∈L),使得pi-x1方向和从x1出发的射线与li相交;
步骤2.3、如果存在找不到线li的点,那么将这些点舍弃,对应的向量估计值ri与线li的差异值比阈值θi大的点也会被舍弃;计算来自于(扩展的)线li对应的点pi的垂直距离di
步骤2.4、所有的(非标准化)观察可能性p(y/x)由下式计算得到:
其中,σ是一个距离测量的标准偏差,f:f>1是一个用来折损观察点间相关性的贴现系数;
步骤3、自主导航:通过计算机器人到不同方向角度的开放路径长度来完成机器人自主导航,确保能够成功完成环境中的障碍物检测;
所述步骤3中障碍物检测通常采用来自步骤1中集合P和O中的3D点来实现,对于给定的机器人半径r和期望的前进方向θd,开放路径长度d(θ)是一个关于前进方向θ的函数,筛选后的障碍物避免方向θ*由如下计算得到:
其中,是角度θ方向上的单位向量并且坐标系原点和机器人中心点相一致。
本发明具有如下有益效果:
1)本发明提出的快速采样平面滤波算法(FSPF),通过从深度图像中采集样本点和对属于3D平面的点集(也称作平面滤波点)或者与平面不相对应的点(也称作异常点)进行分类,减少3D点云数量的同时不被异常值影响。
2)本发明基于一个观察模型提出了一个定位算法,此算法能够将平面滤波点向下映射到2D并且对每个2D地图上的点到线分配对应的值,并采用完全采样的点云(由平面滤波点和异常点组成)作为自主导航的障碍物避免算法,成功完成环境中障碍物检测,提高了机器人自主定位和导航的准确性。
附图说明
图1为本发明所述的基于深度摄像机的移动机器人定位和导航方法流程图。
图2为实现本发明采用的Kinect和激光测距仪偏移误差对照图。
具体实施方式
下面结合附图对本发明做进一步的说明。
一种基于深度摄像机的移动机器人定位和导航方法,该方法包括以下步骤:如附图1所示,
步骤1、快速采样平面滤波算法(FSPF):
步骤1.1、FSPF将深度图像I作为输入,采样三个位置分别记作d0,d1,d2;首先,从图像中的任何一个地方随机选择第一个位置d0,接着在d0的附近随机选择邻居大小为η的位置d1和d2
步骤1.2、创建一个具有n个3D点的列表P,步骤1.1中采样的三个位置d0,d1,d2对应的3D坐标能够被计算出来并记作p0,p1,p2,基于点p0,p1,p2的平均深度(z坐标)和环境中的平面最小期望值S能够计算得到具有宽度为w’高度为h’的搜索窗口,从搜索窗口采样额外的l-3局部样本dj以得到总共l个局部样本;
步骤1.3、由步骤1.2中所述点p0,p1,p2定义的用于从平面中重建3D点pj的平面拟合误差被计算以用于确定该点是否是异常值,如果在搜索窗口中有超过αinl个点被归为非异常点,那么所有其他非异常点被加入到列表P中并且相关的向量被加入到列表R中,此算法最多运行mmax次来生成一个最多含有nmax个3D点列表P和它们所对应的平面向量的列表R以及一个不与任何平面相对应的异常点列表O;
步骤2、平面滤波点云的定位:采用蒙特卡罗定位(MCL)和矫正的梯度调整(CGR)来实现;
步骤2.1、3D滤波点云P和对应的平面向量I首先被投影到2D来生成一个2D点云P’和对应的规范化的向量R’;对应的地面平面检测点在这一步中并不需要考虑。假设机器人x的位置用x={x1,x2}来表示,其中x1是机器人的2D位置,x2是它的方向角度,可观察的场景线列表L可以用解析光线投射计算得到;
步骤2.2、对于每个P’中的点pi,找到线li(li∈L),使得pi-x1方向和从x1出发的射线与li相交;
步骤2.3、如果存在找不到线li的点,那么将这些点舍弃,对应的向量估计值ri与线li的差异值比阈值θi大的点也会被舍弃;计算来自于(扩展的)线li对应的点pi的垂直距离di
步骤2.4、所有的(非标准化)观察可能性p(y/x)由下式计算得到:
其中,σ是一个距离测量的标准偏差,f:f>1是一个用来折损观察点间相关性的贴现系数;
步骤3、自主导航:通过计算机器人到不同方向角度的开放路径长度来完成机器人自主导航,确保能够成功完成环境中的障碍物检测;
所述障碍物检测通常采用来自步骤1中集合P和O中的3D点来实现,对于给定的机器人半径r和期望的前进方向θd,开放路径长度d(θ)是一个关于前进方向θ的函数,筛选后的障碍物避免方向θ*由如下计算得到:
其中,是角度θ方向上的单位向量并且坐标系原点和机器人中心点相一致。
本发明实验的实现是基于传统全向建立的室内移动机器人,该机器人备有微软公司旗下的Kinect摄像头传感器。为了与此摄像头传感器形成对比,本发明同时也采用了Hokuyo URG-04LX 2D激光测距扫描仪并采用MCL和CGR的点云传感模型来实现其定位功能。
图2显示当机器人行走374m后,Kinect和激光测距感应器在定位方面的相对应的平均误差。即使Kinect在定位方面并没有激光测距感应器那么准确,但是对于室内移动机器人导航方面来说其结果已经相当精确了,其平均偏移误差比20cm要小同时其平均角度误差大概在1.5°左右。值得注意的是,在成本方面Kinect要比激光测距仪便宜。因此对于机器人研究的预算方面而言Kinect性价比更高。
为了验证深度摄像头在定位和导航解决方案方面的稳健性,还设置了一系列随机导航点用于机器人的导航并将这些点分布到地图上。其中,路径的总长度超过了4.1km。在整个实验过程中,只有Kinect传感器被用于定位和障碍物避免。机器人能够成功地被导航到所有的导航点,但是定位在三处被重设置,这些地方都是地图中Kinect传感器在一段时间内于开放地区中不能检测到墙的位置。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内的所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于深度摄像机的移动机器人定位和导航方法,其特征在于,包括如下步骤:
步骤1、快速采样平面滤波算法(FSPF):FSPF将深度图像I作为输入,并创建一个具有n个3D点的列表P、一个对应平面向量的列表R以及一个不与任何平面相对应的异常点列表O,此算法旨在生成一个最多含有nmax个3D点和它们所对应的平面向量的列表。
步骤2、平面滤波点云的定位:采用蒙特卡罗定位(MCL)和矫正的梯度调整(CGR)来实现;
步骤2.1、3D滤波点云P和对应的平面向量I首先被投影到2D来生成一个2D点云P’和对应的规范化的向量R’;
步骤2.2、对于每个P’中的点pi,找到线li(li∈L),使得pi-x1方向和从x1出发的射线与li相交;
步骤2.3、如果存在找不到线li的点,那么将这些点舍弃,对应的向量估计值ri与线li的差异值比阈值θi大的点也会被舍弃;计算来自于(扩展的)线li对应的点pi的垂直距离di
步骤2.4、所有的(非标准化)观察可能性p(y/x)由下式计算得到:
其中,σ是一个距离测量的标准偏差,f:f>1是一个用来折损观察点间相关性的贴现系数;
步骤3、自主导航:通过计算机器人到不同方向角度的开放路径长度来完成机器人自主导航,确保能够成功完成环境中的障碍物检测。
2.根据权利要求1所述的基于深度摄像机的移动机器人定位和导航方法,其特征在于:所述步骤3中障碍物检测通常采用来自步骤1中集合P和O中的3D点来实现,对于给定的机器人半径r和期望的前进方向θd,开放路径长度d(θ)是一个关于前进方向θ的函数,筛选后的障碍物避免方向θ*由如下计算得到:
d ( θ ) = min p ∈ P ∪ O ( max ( 0 , | | p · θ ^ | | - r ) )
θ * = arg max θ ( d ( θ ) cos ( θ - θ d ) )
其中,是角度θ方向上的单位向量并且坐标系原点和机器人中心点相一致。
CN201610006701.5A 2016-01-05 2016-01-05 一种基于深度摄像机的移动机器人定位和导航方法 Pending CN106940185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610006701.5A CN106940185A (zh) 2016-01-05 2016-01-05 一种基于深度摄像机的移动机器人定位和导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610006701.5A CN106940185A (zh) 2016-01-05 2016-01-05 一种基于深度摄像机的移动机器人定位和导航方法

Publications (1)

Publication Number Publication Date
CN106940185A true CN106940185A (zh) 2017-07-11

Family

ID=59468462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610006701.5A Pending CN106940185A (zh) 2016-01-05 2016-01-05 一种基于深度摄像机的移动机器人定位和导航方法

Country Status (1)

Country Link
CN (1) CN106940185A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109141364A (zh) * 2018-08-01 2019-01-04 北京进化者机器人科技有限公司 障碍物检测方法、系统及机器人
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN110070570A (zh) * 2019-03-20 2019-07-30 重庆邮电大学 一种基于深度信息的障碍物检测系统及方法
CN110274599A (zh) * 2019-06-26 2019-09-24 皖西学院 一种基于多深度摄像头的移动机器人室内定位系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102359784A (zh) * 2011-08-01 2012-02-22 东北大学 一种室内移动机器人自主导航避障系统及方法
CN104335005A (zh) * 2012-07-04 2015-02-04 形创有限公司 3d扫描以及定位系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102359784A (zh) * 2011-08-01 2012-02-22 东北大学 一种室内移动机器人自主导航避障系统及方法
CN104335005A (zh) * 2012-07-04 2015-02-04 形创有限公司 3d扫描以及定位系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOYDEEP BISWAS,MANUELA VELOSO: "Depth Camera Based Indoor Mobile Robot Localization and Navigation", 《2012 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109141364A (zh) * 2018-08-01 2019-01-04 北京进化者机器人科技有限公司 障碍物检测方法、系统及机器人
CN109141364B (zh) * 2018-08-01 2020-11-03 北京进化者机器人科技有限公司 障碍物检测方法、系统及机器人
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN110070570A (zh) * 2019-03-20 2019-07-30 重庆邮电大学 一种基于深度信息的障碍物检测系统及方法
CN110070570B (zh) * 2019-03-20 2023-05-26 重庆邮电大学 一种基于深度信息的障碍物检测系统及方法
CN110274599A (zh) * 2019-06-26 2019-09-24 皖西学院 一种基于多深度摄像头的移动机器人室内定位系统及方法

Similar Documents

Publication Publication Date Title
CN102034238B (zh) 基于光学成像测头和视觉图结构的多摄像机系统标定方法
Ellenberg et al. Use of unmanned aerial vehicle for quantitative infrastructure evaluation
US7627447B2 (en) Method and apparatus for localizing and mapping the position of a set of points on a digital model
CN105424006A (zh) 基于双目视觉的无人机悬停精度测量方法
He et al. Pairwise LIDAR calibration using multi-type 3D geometric features in natural scene
CN106940185A (zh) 一种基于深度摄像机的移动机器人定位和导航方法
CN104036513A (zh) 一种三维弯管多相机视觉检测方法及其系统
WO2006022184A1 (ja) カメラキャリブレーション装置及びカメラキャリブレーション方法
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
WO2017154061A1 (ja) 地図作成装置および地図作成方法
US20130113897A1 (en) Process and arrangement for determining the position of a measuring point in geometrical space
CN106408601A (zh) 一种基于gps的双目融合定位方法及装置
Zhang et al. Relative orientation based on multi-features
CN101963500A (zh) 计算机视觉大尺度测距方法及用于其实施的便携式测距仪
CN106504287A (zh) 基于模板的单目视觉目标空间定位系统
CN106651957A (zh) 基于模板的单目视觉目标空间定位方法
CN104036518A (zh) 一种基于向量法和三点共线的相机标定方法
Wysocki et al. Unlocking point cloud potential: Fusing MLS point clouds with semantic 3D building models while considering uncertainty
US20220148216A1 (en) Position coordinate derivation device, position coordinate derivation method, position coordinate derivation program, and system
Chen et al. Low cost and efficient 3D indoor mapping using multiple consumer RGB-D cameras
Wan et al. Enhance accuracy: Sensitivity and uncertainty theory in LiDAR odometry and mapping
Hoang et al. Automatic calibration of camera and LRF based on morphological pattern and optimal angular back-projection error
Burdziakowski et al. A vision-based unmanned aerial vehicle navigation method
KR200488998Y1 (ko) 실내 지도 구축 장치
KR101575742B1 (ko) 스테레오 비전에 기반한 암반의 절취면 조사방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170711

WD01 Invention patent application deemed withdrawn after publication