CN110274597B - 一种解决室内机器人任意点启动时“粒子绑架”问题的方法 - Google Patents

一种解决室内机器人任意点启动时“粒子绑架”问题的方法 Download PDF

Info

Publication number
CN110274597B
CN110274597B CN201910509768.4A CN201910509768A CN110274597B CN 110274597 B CN110274597 B CN 110274597B CN 201910509768 A CN201910509768 A CN 201910509768A CN 110274597 B CN110274597 B CN 110274597B
Authority
CN
China
Prior art keywords
robot
laser data
channel
neural network
particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910509768.4A
Other languages
English (en)
Other versions
CN110274597A (zh
Inventor
闫飞
于世宽
庄严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201910509768.4A priority Critical patent/CN110274597B/zh
Publication of CN110274597A publication Critical patent/CN110274597A/zh
Application granted granted Critical
Publication of CN110274597B publication Critical patent/CN110274597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

一种解决室内机器人任意点启动时“粒子绑架”问题的方法，属于室内移动机器人重启动技术领域。本发明针对室内机器人相似环境中任意点重启动问题，本发明引入深度学习的方案。该方案采集机器人在环境内的激光数据与该激光数据对应的机器人的真实位姿。对采集到的激光数据分别投影成三通道RGB图片和占用栅格地图，将投影成的三通道RGB图片和占用栅格地图进行进行通道的叠加。以叠加后的多通道图像作为卷积神经网络的输入，以该激光数据对应的机器人位姿信息作为输出，对卷积神经网络回归模型进行回归训练。本发明可保证机器人启动的时候就能将粒子分布到机器人真实位姿附近，从而解决机器人在相似环境中启动时候出现的粒“粒子绑架”问题。

Description

一种解决室内机器人任意点启动时“粒子绑架”问题的方法
技术领域
本发明属于室内移动机器人重启动技术领域，涉及一种解决室内机器人在相似环境中任意点启动时出现的“粒子绑架”问题的方法。
背景技术
定位是室内机器人作业的先决条件，是机器人环境交互的核心技术，而可在任意点启动是室内机器人定位可导航的前提。室内机器人任意点重启动使用的最常用的方法为传统的粒子滤波方法，粒子滤波算法通过初始化粒子群、模拟粒子群、计算粒子评分、粒子群重采样推算室内机器人位置，其位置符合高斯概率分布。传统室内机器人重启动的过程是在全局范围随机初始化粒子，通过移动机器人进行观测数据的更新，通过多次粒子重采样最终推算出室内机器人的位姿。但是传统方法在室内相似环境(对称)中会出现“粒子绑架”问题，即由于观测数据的相似，导致重采样的过程粒子无法收敛到准确的位置。从而出现重定位失败。
文献(Thrun S,Fox D,Burgard W,et al.Robust Monte Carlo localizationfor mobile robots[J].Artificial Intelligence,2001,128(1):99-141.)提出一种修改粒子滤波算法，使用双粒子滤波进行粒子重采样。使粒子的权重分配更加精准，从而提高收敛速率与精度。然而此方法对传感器的精度要求过高，并且此方法只能优化粒子的收敛速率，无法从根本上解决“粒子绑架”问题。
文献(ZHANG Heng,FAN XiaoPing,QU ZhiHua,等.Mobile Robot Adaptive MonteCarlo Localization Based on Multiple Hypothesis Tracking 2007,33(9):941-946.)提出一种自适应动态粒子聚类算法，对常规粒子滤波算法进行优化。该方法不再对全局范围内的粒子权重进行归一化处理，局部范围粒子的收敛速率快于全局范围粒子的收敛速率。然而粒子簇群数没有限制，若先验地图包含自由区域面积过大，初始化分布粒子数量较为庞大，则系统需要维持的粒子滤波器数目也较为庞大。此方法仍然无法从根本上解决“粒子绑架”问题。
综上所述，找到一种在机器人启动时就能准确定位到机器人真实位姿的方法，对解决室内机器人任意点启动出现的“粒子绑架”问题显得十分重要。
发明内容
针对室内机器人相似环境中任意点重启动问题，本发明引入深度学习的方案。该方案采集机器人在环境内的激光数据与该激光数据对应的机器人的真实位姿。对采集到的激光数据分别投影成三通道RGB图片和占用栅格地图，将投影成的三通道RGB图片和占用栅格地图进行进行通道的叠加。以叠加后的多通道图像作为卷积神经网络的输入，以该激光数据对应的机器人位姿信息作为输出，对卷积神经网络回归模型进行回归训练。
在机器人任意点启动时，采集机器人二维激光传感器的信息并投影成图片和占用栅格地图。对图片和占用栅格地图进行通道叠加，以保证输入的格式符合训练模型的输入格式。利用模型预测出机器人的位姿，以预测得到的位姿信息中的位置信息作为中心点，得到设定阈值为半径的圆O，以预测得到的位姿信息中的角度信息作为中心方向θ，设定角度误差阈值θr，在圆O内，在方向角[θ-θr,θ+θr]范围内分布粒子。以此解决室内机器人重启动时出现的“粒子绑架”问题。
本发明的技术方案：
一种解决室内机器人任意点启动时“粒子绑架”问题的方法，步骤如下：
步骤一、训练集的数据采集
在室内环境中，构造先验地图。在先验地图代表的室内环境中，利用导航定位算法使机器人遍历所有机器人能够到达的区域。采集机器人所有能够到达的区域的激光数据和该激光数据时间戳对应的位姿数据，其中位姿数据为机器人中粒子滤波算法的导出数据，将该位姿信息作为真值。
步骤二、激光数据预处理
(2.1)将采集到的每一帧激光数据投影成三通道RGB图片格式，保证激光的坐标原点在三通道RGB图片的正中心位置(如图1)。
(2.2)将采集到的每一帧激光数据投影成占用栅格地图的形式(如图2)。
(2.3)在保证得到的三通道RGB图片和占用栅格地图图片行数列数一致的情况下，叠加成六通道图片(如图3)。
(2.4)将t-1时刻的六通道图像、t时刻的六通道图像、t+1的六通道图像叠加成十八通道图像(如图4)。
步骤三、构造卷积神经网络模型
构造五层卷积，三层全连接的神经网络模型。其输入为十八通道图像的格式，输出为[x,θ]，其中x表示t时刻激光数据的位姿信息，θ表示t时刻激光数据的角度信息。
步骤四、训练卷积神经网络
设定批次大小，对输入格式进行归一化处理，将输入的十八通道图像的每一点像素值归一化到[-1,1]。将输出放大N倍，并对其huber损失进行梯度下降。迭代设定阈值的训练次数，得到预测模型。
步骤五、利用卷积神经网络预测位姿
采集机器人启动时的激光数据，按照步骤一和步骤二对激光数据进行处理。将处理后的数据输入训练好的卷积神经网络模型，预测得到机器人的位姿信息。
步骤六、分布粒子
以预测得到的位姿信息作为中心点，得到设定阈值为半径的圆O，以预测得到的位姿信息中的角度信息作为中心方向θ，设定角度误差阈值θr，在圆O内，在方向角[θ-θr,θ+θr]范围内分布粒子(如图5)。
本发明的有益效果：本发明在机器人启动时，使用卷积神经网络预测模型预测机器人位姿，可保证机器人启动的时候就能将粒子分布到机器人真实位姿附近，从而解决机器人在相似环境中启动时候出现的粒“粒子绑架”问题。
附图说明
图1为激光数据头影成的RGB图片。其中，(a)表示t-1时刻激光数据投影成的图片；(b)表示t时刻激光数据投影成的图片；(c)表示t+1时刻激光数据投影成的图片。
图2为激光数据头影成的占用栅格地图。其中，(a)表示t-1时刻占用栅格地图；(b)表示t时刻占用栅格地图；(c)表示t+1时刻占用栅格地图。
图3为RGB图片和占用栅格地图叠加成的六通道输入。其中，(a)表示t-1时刻激光数据投影成的图片；(b)表示示t-1时刻占用栅格地图。
图4为三个时刻的六通道输入叠加成十八通道输入。其中，(a)表示t-1时刻激光数据投影成的图片；(b)表示t-1时刻占用栅格地图；(c)表示t时刻激光数据投影成的图片；(d)表示t时刻占用栅格地图；(e)表示t+1时刻激光数据投影成的图片；(f)表示t+1时刻占用栅格地图。
图5为粒子初始化时粒子分布范围的示意图。
图6为本发明实施例的效果图。
具体实施方式
以下结合技术方案和附图详细叙述本发明的具体实施方式。
本方案选择测距范围为0.06m-30m的二维激光(Hokuyo UTM-30LX)作为激光测距传感器。该激光的二维平面扫描角度范围为270°，具有0.25°的角度分辨率，即270°范围内，每0.25°取一个样本点，即每一帧激光数据有1080个激光点，频率为40赫兹。运动控制载体选择两轮驱动式先锋3移动机器人。
步骤一、训练集的数据采集
在室内环境中，构造先验地图(如图6)。在先验地图代表的室内环境中，利用导航定位算法使机器人遍历所有机器人可以到达的区域。采集机器人所有可能区域的激光数据和该激光数据时间戳对应的位姿数据，其中位姿数据为粒子滤波算法导出，将该位姿信息作为真值，本发明的训练集数据采用为2万帧激光数据。
步骤二、激光数据预处理
(2.1)将采集到的每一帧激光数据投影成三通道RGB图片格式，其中保证激光的坐标原点在图片正中心位置，其中生成的图片为448*448*3大小的jpg格式。
(2.2)将采集到的每一帧激光数据投影成占用栅格地图的形式，其中每一帧激光数据生成的占用栅格地图为800*800*3的pgm格式。
(2.3)将得到占用栅格地图图片缩放到448*448*3的大小，并与激光生成的图片叠加成六通道图片。
(2.4)将t-1时刻的六通道图像、t时刻的六通道图像、t+1的六通道图像叠加成十八通道图像。将此十八通道图像作为输入，以t时刻激光数据的位姿信息作为输出真值。
步骤三、构造卷积神经网络模型
构造五层卷积，三层全连接的神经网络模型。其输入为十八通道图像的格式，输出为[x,θ]，其中x表示t时刻激光数据的位姿信息，θ表示t时刻激光数据的角度信息。
步骤四、训练卷积神经网络
以设定批次大小，对输入格式进行归一化处理，将输入的18通道的图像的每一点像素值归一化到[-1,1]。将输出放大1000倍，并对其huber损失进行梯度下降。迭代设定阈值的训练次数，得到预测模型。
步骤五、利用卷积神经网络预测位姿
采集机器人启动时的激光数据，进行步骤一和步骤二的处理。将处理后的数据输入训练好的卷积神经网络模型，预测得到及机器人位姿。
步骤六、分布粒子
以预测得到的位姿信息中的位置信息作为中心点，得到设定阈值半径为1m的圆O(如图6中虚线圆)，以预测得到的位姿信息中的角度信息作为中心方向(如图6中预测出的方向Opre)，设定角度误差阈值5°，在圆O内，在方向角[(Opre-5)°,(Opre+5)°]范围内分布粒子(本例中为[2°-12°])，如图6所示粒子分布范围效果图。

Claims (1)

1.一种解决室内机器人任意点启动时“粒子绑架”问题的方法，其特征在于，步骤如下：
步骤一、训练集的数据采集
在室内环境中，构造先验地图；在先验地图代表的室内环境中，利用导航定位算法使机器人遍历所有机器人能够到达的区域；采集机器人所有能够到达的区域的激光数据和该激光数据时间戳对应的位姿信息，其中位姿信息为机器人中粒子滤波算法的导出数据，将该位姿信息作为真值；
步骤二、激光数据预处理
(2.1)将采集到的每一帧激光数据投影成三通道RGB图片格式，保证激光的坐标原点在三通道RGB图片的正中心位置；
(2.2)将采集到的每一帧激光数据投影成占用栅格地图的形式；
(2.3)在保证得到的三通道RGB图片和占用栅格地图图片行数列数一致的情况下，叠加成六通道图片；
(2.4)将t-1时刻的六通道图像、t时刻的六通道图像、t+1时刻的六通道图像叠加成十八通道图像；
步骤三、构造卷积神经网络模型
构造五层卷积，三层全连接的神经网络模型；其输入为十八通道图像的格式，输出为[x,θ]，其中x表示t时刻激光数据的位姿信息，θ表示t时刻激光数据的角度信息；
步骤四、训练卷积神经网络
设定批次大小，对输入格式进行归一化处理，将输入的十八通道图像的每一点像素值归一化到[-1,1]；将输出放大N倍，并对其huber损失进行梯度下降；迭代设定阈值的训练次数，得到预测模型；
步骤五、利用卷积神经网络预测位姿
采集机器人启动时的激光数据，按照步骤一和步骤二对激光数据进行处理；将处理后的数据输入训练好的卷积神经网络模型，预测得到机器人的位姿信息；
步骤六、分布粒子
以预测得到的位姿信息作为中心点，得到设定阈值为半径的圆O，以预测得到的位姿信息中的角度信息作为中心方向θ，设定角度误差阈值θr，在圆O内，在方向角[θ-θr,θ+θr]范围内分布粒子。
CN201910509768.4A 2019-06-13 2019-06-13 一种解决室内机器人任意点启动时“粒子绑架”问题的方法 Active CN110274597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910509768.4A CN110274597B (zh) 2019-06-13 2019-06-13 一种解决室内机器人任意点启动时“粒子绑架”问题的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910509768.4A CN110274597B (zh) 2019-06-13 2019-06-13 一种解决室内机器人任意点启动时“粒子绑架”问题的方法

Publications (2)

Publication Number Publication Date
CN110274597A CN110274597A (zh) 2019-09-24
CN110274597B true CN110274597B (zh) 2022-09-16

Family

ID=67962130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910509768.4A Active CN110274597B (zh) 2019-06-13 2019-06-13 一种解决室内机器人任意点启动时“粒子绑架”问题的方法

Country Status (1)

Country Link
CN (1) CN110274597B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116656A (zh) * 2020-08-03 2020-12-22 歌尔股份有限公司 同步定位与地图构建slam中的增量建图方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271215A (ja) * 2009-05-22 2010-12-02 Nippon Telegr & Teleph Corp <Ntt> 状態推定装置、方法、プログラム及びその記録媒体
CN105118040A (zh) * 2015-09-18 2015-12-02 中国科学院自动化研究所 基于结构激光线的文档图像畸变矫正方法
CN105652871A (zh) * 2016-02-19 2016-06-08 深圳杉川科技有限公司 移动机器人的重定位方法
CN107356252A (zh) * 2017-06-02 2017-11-17 青岛克路德机器人有限公司 一种融合视觉里程计与物理里程计的室内机器人定位方法
CN107907124A (zh) * 2017-09-30 2018-04-13 杭州迦智科技有限公司 基于场景重识的定位方法、电子设备、存储介质、系统
CN109556607A (zh) * 2018-10-24 2019-04-02 上海大学 一种快速处理移动机器人定位“绑架”问题的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271215A (ja) * 2009-05-22 2010-12-02 Nippon Telegr & Teleph Corp <Ntt> 状態推定装置、方法、プログラム及びその記録媒体
CN105118040A (zh) * 2015-09-18 2015-12-02 中国科学院自动化研究所 基于结构激光线的文档图像畸变矫正方法
CN105652871A (zh) * 2016-02-19 2016-06-08 深圳杉川科技有限公司 移动机器人的重定位方法
CN107356252A (zh) * 2017-06-02 2017-11-17 青岛克路德机器人有限公司 一种融合视觉里程计与物理里程计的室内机器人定位方法
CN107907124A (zh) * 2017-09-30 2018-04-13 杭州迦智科技有限公司 基于场景重识的定位方法、电子设备、存储介质、系统
CN109556607A (zh) * 2018-10-24 2019-04-02 上海大学 一种快速处理移动机器人定位“绑架”问题的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Localization of an Autonomous Rail-Guided Robot Using Particle Filter;Guilherme P.S.Carvalho 等;《IFAC-PapersOnLine》;20170731;第50卷(第01期);第5642-5647页 *
Training neural networks using central force optimization and particle swarm optimization: insights and comparisons;Green II R C 等;《Expert Systems with Applications》;20121231;第39卷(第01期);第555-563页 *
移动机器人地图建立与定位系统关键技术研究;郑威;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190415(第04期);第I140-285页 *
移动机器人离散空间粒子滤波定位;李天成 等;《机械工程学报》;20101031;第46卷(第19期);第38-43页 *

Also Published As

Publication number Publication date
CN110274597A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
US11151734B2 (en) Method and system for generating synthetic point cloud data using a generative model
Chen et al. A methodology for automated segmentation and reconstruction of urban 3-D buildings from ALS point clouds
Popovic et al. Online informative path planning for active classification using uavs
CN111213155A (zh) 图像处理方法、设备、可移动平台、无人机及存储介质
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
CN102521884B (zh) 一种基于LiDAR数据与正射影像的3维屋顶重建方法
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
CN111028350B (zh) 一种利用双目立体相机构建栅格地图的方法
JP2019070631A (ja) 飛行体利用劣化診断システム
Zou et al. Real-time full-stack traffic scene perception for autonomous driving with roadside cameras
Martínez-Otzeta et al. Ransac for robotic applications: A survey
CN114365200A (zh) 结构注释
CN115049700A (zh) 一种目标检测方法及装置
CN107742276A (zh) 一种基于无人机遥感图像机载一体化快速处理系统和方法
CN109961013A (zh) 车道线的识别方法、装置、设备及计算机可读存储介质
CN112883850A (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN114359503A (zh) 一种基于无人机倾斜摄影建模方法
CN115930974A (zh) 用于空中到地面配准的系统和方法
CN110909625A (zh) 一种计算机视觉基础网络训练识别构建方法及装置
CN110274597B (zh) 一种解决室内机器人任意点启动时“粒子绑架”问题的方法
Florea et al. Enhanced perception for autonomous driving using semantic and geometric data fusion
CN110197489B (zh) 一种无人机降落区域的选择方法和装置
Majdik et al. Micro air vehicle localization and position tracking from textured 3d cadastral models
CN113538579B (zh) 基于无人机地图与地面双目信息的移动机器人定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant