CN113203409B - 一种复杂室内环境移动机器人导航地图构建方法 - Google Patents
一种复杂室内环境移动机器人导航地图构建方法 Download PDFInfo
- Publication number
- CN113203409B CN113203409B CN202110754790.2A CN202110754790A CN113203409B CN 113203409 B CN113203409 B CN 113203409B CN 202110754790 A CN202110754790 A CN 202110754790A CN 113203409 B CN113203409 B CN 113203409B
- Authority
- CN
- China
- Prior art keywords
- glass
- information
- intensity
- robot
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011521 glass Substances 0.000 claims abstract description 118
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000013135 deep learning Methods 0.000 claims description 11
- 239000002245 particle Substances 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 101150050759 outI gene Proteins 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明实施例涉及机器人领域，公开了一种复杂室内环境移动机器人导航地图构建方法，包括：获取机器人自身位姿信息和环境信息；初次SLAM并建立原地图；对激光雷达强度数据进行处理，筛选疑似玻璃存在区域；根据疑似玻璃存在区域选取RGB图像；基于选取的RGB图像实现复杂环境内玻璃检测；由玻璃检测结果确定对应区域栅格的状态；更新地图并提供包含室内玻璃的二维栅格地图。本发明解决了传统的移动机器人建图方法存在的无法识别环境中的玻璃物体（如玻璃幕墙等）的问题，在导航地图中准确、快速地标定了玻璃物体，提高了移动机器人在存在玻璃的环境中工作的安全性。
Description
技术领域
本发明涉及机器人技术领域，尤其涉及一种复杂室内环境（即存在大范围玻璃的环境，如教学楼、写字楼等复杂室内环境）移动机器人导航地图构建方法。
背景技术
近年来，随着“工业4.0”、“智能制造”及“中国制造2025”等概念的提出，机器人领域取得了长足的进步与蓬勃的发展。在服务机器人领域，室内移动机器人的研究成为了一个热点问题。当前，对室内移动机器人的研究主要围绕地图构建、定位、导航等方面展开，即解决移动机器人的“我是谁”、“我在哪儿”及“我要去哪儿”的问题。目前机器人在未知环境中利用激光雷达和里程计信息进行同步定位建图技术已相对成熟，基于粒子滤波算法的Gmapping就是当中表现较好的一种。但是这些方法在特殊环境中出现了一些难以克服的问题，需要进行改进。
现有的Gmapping算法在建图过程中由于激光雷达发出的激光经镜面反射出去，设备无法接收足够强度的激光导致无法对玻璃等物体进行检测，最终使机器人无法在含玻璃环境下建立正确的环境地图在目前已有的玻璃检测建图方法中，2020年重大鲜晓东等提出一种多传感器融合的玻璃识别系统，该系统使用激光雷达对一般障碍物进行检测，使用RGB相机对玻璃进行检测，使用声纳设备获取玻璃的位置信息，从而实现对环境中的玻璃进行检测的目的，该系统中选用了多个设备进行综合检测，系统结构复杂，不同设备获得的信息之间需要匹配校准，玻璃位置识别过程运算复杂。
针对存在大范围玻璃的复杂室内环境，如教学楼、写字楼等，亟需提供一种成本低、系统结构简单、匹配运算简单的导航地图构建方法。
发明内容
本发明为解决传统的移动机器人建图方法存在的无法识别环境中的玻璃物体（如玻璃幕墙）的问题，提供一种复杂室内环境移动机器人导航地图构建方法，包括：
步骤A1：利用激光雷达、里程计、深度相机同时工作获取机器人自身位姿信息和环境信息，深度相机设于不同角度且深度相机的个数为多个；
步骤A2：利用激光雷达信息和里程计信息进行初次SLAM并建立原地图；
步骤A3：处理所述激光雷达信息，获得强度数据，基于所述强度数据筛选疑似玻璃存在区域；
步骤A4：根据筛选出的所述疑似玻璃存在区域的角度信息，从多个深度相机中选取与所述疑似玻璃存在区域的角度信息对应角度处的深度相机，获取被选取的深度相机的RGB图像；
步骤A5：基于所述被选取的深度相机的RGB图像，利用深度学习算法实现复杂环境内玻璃检测，复杂环境为包括多个玻璃的环境；
步骤A6：由步骤A5的检测结果确定对应区域栅格的状态；
步骤A7：Gmapping算法更新地图并提供包含室内玻璃的可供后续导航直接使用的移动机器人导航地图，从而基于激光信息与视觉信息融合获得移动机器人导航地图。
优选的，所述步骤A1具体包括：
在ROS环境利用激光雷达向外射出激光并接收返回激光获得周围除玻璃外的障碍物信息；利用里程计获取移动平台速度、位置和转角信息；利用深度相机获取环境的RGB图像信息，发布话题并将话题汇总成rosbag，从而完成对机器人自身位姿和环境信息的采集。
优选的，所述步骤A2具体包括：
获取步骤A1中获得的激光雷达信息和里程计信息，以时间戳为横坐标，将信息离散化后采用粒子滤波算法进行实时定位建图。
优选的，所述粒子滤波算法的条件概率如下：
其中，
表示任意地面标志物，表示从初始时刻到
时刻时的机器人位姿，
表示初始时刻至
时刻的激光雷达观测量，
表示初始时刻至
时刻的里程计控制量，
表示机器人状态后验概率估计值，
表示机器人在
时刻位置的概率估计值，
表示
时刻机器人姿态的概率估计值
优选的，所述步骤A3具体包括：
基于所述激光雷达信息获得强度数据，对激光雷达返回的强度信号进行分析，利用激光雷达扫描玻璃时的强度特点筛选疑似玻璃存在区域，所述强度特点包括强度、变化率和高峰持续时间。
优选的，所述疑似玻璃存在区域的筛选过程具体包括：
步骤A31：设定筛选条件，筛选条件包括与强度相关的第一预设条件、与变化率相关的第二预设条件和与高峰持续时间相关的第三预设条件；
步骤A32：以时间戳为横坐标，逐步筛选出返回的强度信号的强度满足第一预设条件的信号段，用S1表示；
步骤A33，在步骤A32获得的S1中，逐步筛选出返回的强度信号的强度变化率满足第二条件的信号段，用S2表示；
步骤A34，在步骤A33获得的S2中，逐步筛选出返回的强度信号的高强度持续时间是否满足第三预设条件的信号段，用S3表示，获得疑似玻璃存在区域，高强度是指大于一预设值的强度。
优选的，所述步骤A4具体包括：
针对步骤A3获得的信号段的角度和信号段的时间戳来选取不同角度的深度相机拍摄的图像，平台按照圆形围绕设置了
台相机，根据相邻相机之间的间隔角度划分
个范围，计算信号段的角度与第一选取标称值比值的余数，基于余数所在的范围确定信号段对应的深度相机。
优选的，所述步骤A5具体包括：
采用基于深度学习的玻璃检测网络对步骤A4选出来的每一张RGB图像进行检测，以确定对应的疑似玻璃存在区域玻璃是否存在；
玻璃检测网络核心为LCFI模块，用于在给定输入特征的情况下，提取和集成多尺度大范围上下文特征，以检测不同大小的玻璃。
优选的，所述玻璃检测网络用于执行如下步骤：
步骤A51，信息送入舵机特征提取器，以获取不同级别的特征；
步骤A52，将获取的特征分级送入
个LCFI模块中，用于学习大范围的上下文信息；
步骤A53，最后
个LCFI模块输出融合生成高层大场上下文特征，用于引导第一个LCFI提取的低层大场上下文信息；
步骤A54，高层底层信息融合，得到检测结果并输出。
优选的，步骤A6将栅格值为1的段的所有信息汇总，以S5表示；
步骤A7之前，将S5中各点的栅格坐标转换到全局坐标，计算每一时刻玻璃的栅格点与机器人在全局坐标系下的相对位置，相对位置包括以机器人为原点计算二者之间的距离值和角度，每一时刻对应的角度下，距离计算值和激光雷达返回距离信息的大小，若激光雷达返回距离值大于返回预设值，用相对位置中的距离值替换激光雷达返回距离值。
本发明提供的一种复杂室内环境移动机器人导航地图构建方法针对已有的Gmapping方法进行了改进，对激光雷达返回强度数据进行处理获得疑似玻璃存在区域，然后根据疑似玻璃存在区域角度信息，从多个相机中选取对应角度的相机RGB图像，利用基于深度学习算法的玻璃检测网络对环境中的玻璃进行检测，再根据检测结果判断玻璃是否存在并确定对应区域栅格的状态，最终更新地图，输出含有玻璃信息的地图，从而实现对环境中玻璃的检测。本发明只使用激光雷达和RGB相机两种设备对玻璃的检测，根据激光雷达扫描玻璃时返回的强度特征筛选疑似玻璃存在区域，再利用深度学习算法对RGB相机图像进行处理以验证这些疑似区域玻璃是否真实存在，再根据激光雷达返回的距离信息中获得的玻璃位置信息进行导航地图构建，该方法具有使用设备较少，系统结构较简单的优点。
附图说明
图1为复杂室内环境移动机器人导航地图构建方法流程图；
图2为实施例中提供的实施复杂室内环境移动机器人导航地图构建方法的平台组成示意图；
图3为实施例中教学楼办公环境示意图；
图4为实施例中筛选疑似玻璃存在区域的步骤图；
图5为实施例中LCFI模块的工作流程图；
图6为实施例中更新地图的步骤图；
图7为采用复杂室内环境移动机器人导航地图构建方法获得的建图结果。
具体实施方式
下面结合附图对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
实施例一
本发明的第一实施方式涉及一种复杂室内环境移动机器人导航地图构建方法，其流程如图1所示，
本实施例是利用移动平台在教学楼办公环境下实施，平台组成如图2所示，教学楼办公环境如图3所示，教学楼办公环境主要由走廊和玻璃构成，其中一圈走廊由于靠近教学楼外墙，故一侧为墙壁，另一侧为玻璃围栏，移动平台在该走廊进行建图作业时，激光雷达发出的激光由于受到玻璃围栏的镜面反射，仅在很小的角度范围内可以回到激光雷达，因而无法获得玻璃的距离信息，所以仅利用激光雷达和里程计信息不能建立该走廊完整的地图信息。
一种复杂室内环境移动机器人导航地图构建方法具体如下：
步骤A1：利用激光雷达、里程计、深度相机同时工作获取机器人自身位姿信息和环境信息，深度相机设于不同角度且深度相机的个数为多个；
步骤A2：利用激光雷达信息和里程计信息进行初次SLAM并建立原地图；
步骤A3：处理激光雷达信息，获得强度数据，基于强度数据筛选疑似玻璃存在区域；
步骤A4：根据筛选出的疑似玻璃存在区域的角度信息从多个深度相机中选取与疑似玻璃存在区域的角度信息对应角度处的深度相机，获取被选取的深度相机的RGB图像；
步骤A5：基于被选取的深度相机的RGB图像，利用深度学习算法实现复杂环境内玻璃检测，复杂环境为包括多个玻璃的环境；
本发明只使用激光雷达和RGB相机两种设备实现对玻璃的检测，根据激光雷达扫描玻璃时返回的强度特征信息筛选疑似玻璃存在区域，再利用深度学习算法对深度相机的RGB图像进行处理以验证这些疑似区域玻璃是否真实存在，系统结构简单，且基于疑似、确定是否真实存在两个环节，降低运算量的同时提高了玻璃检测的准确度。
步骤A6：由步骤A5的检测结果确定对应区域栅格的状态；
步骤A7：Gmapping算法更新地图并提供包含室内玻璃的可供后续导航直接使用的移动机器人导航地图，从而基于激光信息与视觉信息融合获得移动机器人导航地图。
本发明实施例提供的一种复杂室内环境移动机器人导航地图构建方法只使用激光雷达和RGB相机两种设备检测玻璃，根据激光雷达扫描玻璃时返回的强度特征筛选疑似玻璃存在区域，再利用深度学习算法对RGB相机图像进行处理以验证这些疑似区域玻璃是否真实存在，再根据激光雷达返回的距离信息获得玻璃的位置信息进行导航地图构建，该方法具有使用设备较少，系统结构较简单的优点。
实施例二
进一步的，本发明的第二实施方式涉及一种复杂室内环境移动机器人导航地图构建方法，具体包括如下步骤：
步骤A1：利用激光雷达、里程计、深度相机同时工作获取机器人自身位姿信息和环境信息，深度相机设于不同角度且深度相机的个数为多个；
具体来说，在ROS环境利用激光雷达向外射出激光并接收返回激光获得周围除玻璃外的障碍物的障碍物信息；利用里程计获取移动平台速度、位置和转角信息；利用深度相机获取环境的RGB图像信息，发布话题并将话题汇总成rosbag，从而完成对机器人自身位姿和环境信息的采集。
更进一步的，激光雷达数据类型包括：
std_msgs/Header header（信息头）
float32 angle_min（最小角度）
float32 angle_max（最大角度）
float32 angle_increment（角度增量）
float32 time_increment（时间增量）
float32 scan_time（扫描时间）
float32 range_min（最小距离）
float32 range_max（最大距离）
float32[ ] ranges
float32[ ] intensities
其中float32[ ] ranges和float32[ ] intensities分别为返回的障碍物距离和激光强度信息。
步骤A2：利用激光雷达信息和里程计信息进行初次SLAM并建立原地图；
获取步骤A1中获得的激光雷达信息和里程计信息，以时间戳为横坐标，将信息离散化后采用粒子滤波算法进行实时定位建图。
进一步的，粒子滤波算法的条件概率如下：
其中，
表示任意地面标志物，表示从初始时刻到
时刻时的机器人位姿，
表示初始时刻至
时刻的激光雷达观测量，
表示初始时刻至
时刻的里程计控制量，
表示机器人状态后验概率估计值， 
表示机器人在
时刻位置的概率估计值， 
表示
时刻机器人姿态的概率估计值
步骤A3：处理激光雷达信息，获得强度数据，基于强度数据筛选疑似玻璃存在区域；
基于激光雷达信息获得强度数据，对激光雷达返回的强度信号进行分析，利用激光雷达扫描玻璃时的强度特点筛选疑似玻璃存在区域，强度特点包括强度、变化率和高峰持续时间，从而以激光雷达返回数据强度大、变化剧烈并且持续时间短来筛选疑似玻璃存在的区域。
进一步的，疑似玻璃存在区域的筛选过程如图4所示，具体来说，包括如下步骤：
步骤A31：设定筛选条件，筛选条件包括与强度相关的第一预设条件、与变化率相关的第二预设条件和与高峰持续时间相关的第三预设条件。
具体来说，设定筛选阈值，筛选阈值包括强度阈值、变化率阈值和高峰持续时间阈值，设定第一预设条件为强度信号的强度大于强度阈值，设定第二预设条件为强度信号的变化率大于变化率阈值；设定第三预设条件为强度信号的高峰持续时间大于高峰持续时间阈值。例如，设定强度阈值为
；变化率阈值
；高峰持续时间阈值
个采样周期。
步骤A32：以时间戳为横坐标，逐步筛选出返回的强度信号的强度满足第一预设条件的信号段，即
的信号段，用S1表示，其中，
为强度信号的强度，
为强度阈值。
步骤A33，在步骤A32获得的S1中，逐步筛选出返回的强度信号的强度变化率满足第二条件的信号段，即
的信号段，用S2表示；其中，
为变化率阈值，
为初始时刻返回的强度信号的强度，
为初始时刻的前一时刻返回的强度信号的强度，
为时刻
的返回的强度信号的强度，
为时刻
的后一时刻返回的强度信号的强度。
步骤A34，在步骤A33获得的S2中，逐步筛选出返回的强度信号的高强度持续时间是否满足第三预设条件的信号段，即
，用S3表示，获得疑似玻璃存在区域，高强度是指大于一预设值的强度，其中，
表示返回的强度信号的初始时刻时间，
表示返回的强度信号从高强度信号开始下降的时刻。
基于强度信号的强度特征获得的疑似玻璃存在区域仅适用了激光雷达的信息，无法排除由于平台振动，系统震荡以及噪声产生的干扰段，所以在下一步骤中进一步引入深度相机的RGB图像检测步骤，以确认玻璃是否存在，提高了玻璃检测的准确性，另一方面，基于疑似存在区域的初步筛选，减少了基于RGB图像检测识别的工作量，加快了玻璃检测的运算速度。
步骤A4：根据筛选出的疑似玻璃存在区域的角度信息从多个深度相机中选取与疑似玻璃存在区域的角度信息对应角度处的深度相机，获取被选取的深度相机的RGB图像；
针对步骤A3获得的信号段的角度和信号段的时间戳来选取不同角度的深度相机拍摄的图像，平台按照圆形围绕设置了
台相机，相邻相机之间的间隔角度相同，从而获取各个方向的RGB图像。深度相机的选取原则如下：根据相邻相机之间的间隔角度划分
个范围，计算信号段的角度与第一选取标称值比值的余数，基于余数所在的范围确定信号段对应的深度相机。
例如，取
，则平台设置了三台相机，每
分布一个，可以获取各个方向的RGB图像，选取原则如下：
如果
且
，则表明信号段的角度为0到
间，选取相机1；
如果
且
，则表明信号段的角度为
到
间，选取相机2；
如果
且
，则表明信号段的角度为
到
间，选取相机3；
根据所选取的相机和信号段的时间戳获取已选取的相机拍摄的图像。
步骤A5：基于被选取的深度相机的RGB图像，利用深度学习算法实现复杂环境内玻璃检测，复杂环境为包括多个玻璃的环境；
对步骤A4选出来的每一张RGB图像进行检测，以确定对应的疑似玻璃存在区域玻璃是否存在玻璃；
步骤A5中检测采用的是基于深度学习的玻璃检测网络，网络核心为LCFI模块，LCFI模块用于在给定输入特征的情况下，高效、有效地提取和集成多尺度大范围上下文特征，以检测不同大小的玻璃；
主要包括以下步骤：
步骤A51，信息送入舵机特征提取器，以获取不同级别的特征；
步骤A52，将获取的特征分级送入
个LCFI模块中，用于学习大范围的上下文信息；例如，
；
步骤A53，最后
个LCFI模块输出融合生成高层大场上下文特征，用于引导第一个LCFI提取的低层大场上下文信息；例如，
；
步骤A54，高层底层信息融合，得到检测结果并输出。
步骤A5中，假定
为输入的图像信息；
为输出的检测结果；
表示指卷积核大小为
的垂直卷积；
表示卷积核大小为
的水平卷积，
为正整数，
表示批量归一化和线性整流网络处理；为了提取互补的大区域上下文特征，同时使用
和
两种卷积；
和
则表示使用卷积核大小为
的局部卷积，LCFI卷积网络流程如图5所示，以下公式表示LCFI卷积网络：
。
步骤A6：由步骤A5的检测结果确定对应区域栅格的状态；
根据上述步骤A5输出的结果对栅格网点进行赋值，当检测网络检测到玻璃存在时，将角度和距离点的栅格值置为1；否则玻璃不存在，说明该位置强度异常变化是因为由于平台振动，系统震荡以及噪声产生干扰段，将栅格网点置为0。将栅格值为1的段的所有信息汇总，以S5表示。
步骤A7：Gmapping算法更新地图并提供包含室内玻璃的可供后续导航直接使用的移动机器人导航地图，从而基于激光信息与视觉信息融合获得移动机器人导航地图。
步骤A7之前，将S5中各点的栅格坐标转换到全局坐标并记录到数组中，然后计算每一时刻玻璃的栅格点与机器人在全局坐标系下的相对位置，即以机器人为原点计算二者之间的距离值和角度，判断每一时刻对应的角度下距离计算值和激光雷达返回距离信息的大小，若激光雷达返回距离值大于返回预设值，说明激光雷达发出的射线经玻璃被镜面反射掉，未返回激光雷达，用相对位置中的距离值替换激光雷达返回距离值，最后再进行Gmapping操作。
利用自动清扫机器人平台进行了实验，移动平台带有一个里程计和一个单线激光雷达，将带有改进建图算法的移动平台置于上述实施例一提及的包含一侧为玻璃，另一侧为墙壁的走廊的教学办公室环境中进行建图实验，实验过程中没有任何如照明、标记等限制或控制。最终建图方法生成了带有正确玻璃板标记的栅格地图，建图效果如图7所示。
由实验结果可知，本发明提供的导航地图构建方法具有较高的玻璃识别率和较快的运算速度。原有的建图方法在对含玻璃走廊建图时，在玻璃一侧只能显示出均匀的点，原因是这些位置有金属边框和柱子以及一些花盆，当激光照射时能将激光反射回激光雷达，所以可以在建图结果中显示出来。这种情况在激光雷达照射玻璃时并不适用，而使用本发明提供的改进的方法建图则可以将玻璃区域大部分显示出来。
通过对玻璃的检测，机器人能够在教学楼、办公楼等包含玻璃物体的环境中获得更有效的定位数据点，从而改善机器人的同步定位能力，进而提高了移动机器人在存在玻璃的环境中工作的安全性，有效地解决传统的移动机器人建图方法存在的无法识别环境中的玻璃物体（如玻璃幕墙）的问题。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
上述实例仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉此技术领域的技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种复杂室内环境移动机器人导航地图构建方法，其特征在于，包括：
步骤A1：利用激光雷达、里程计、深度相机同时工作获取机器人自身位姿信息和环境信息，深度相机设于不同角度且深度相机的个数为多个；
步骤A2：利用激光雷达信息和里程计信息进行初次SLAM并建立原地图；
步骤A3：处理所述激光雷达信息，获得强度数据，基于所述强度数据筛选疑似玻璃存在区域；
其中，所述步骤A3具体包括：
基于所述激光雷达信息获得强度数据，对激光雷达返回的强度信号进行分析，利用激光雷达扫描玻璃时的强度特点筛选疑似玻璃存在区域，所述强度特点包括强度、变化率和高峰持续时间；
所述疑似玻璃存在区域的筛选过程具体包括：
步骤A31：设定筛选条件，筛选条件包括与强度相关的第一预设条件、与变化率相关的第二预设条件和与高峰持续时间相关的第三预设条件；
步骤A32：以时间戳为横坐标，逐步筛选出返回的强度信号的强度满足第一预设条件的信号段，用S1表示；
步骤A33，在步骤A32获得的S1中，逐步筛选出返回的强度信号的强度变化率满足第二条件的信号段，用S2表示；
步骤A34，在步骤A33获得的S2中，逐步筛选出返回的强度信号的高强度持续时间是否满足第三预设条件的信号段，用S3表示，获得疑似玻璃存在区域，高强度是指大于一预设值的强度；
步骤A4：根据筛选出的所述疑似玻璃存在区域的角度信息从多个深度相机中选取与所述疑似玻璃存在区域的角度信息对应角度处的深度相机，获取被选取的深度相机的RGB图像；
步骤A5：基于所述被选取的深度相机的RGB图像，利用深度学习算法实现复杂环境内玻璃检测，复杂环境为包括多个玻璃的环境；
步骤A6：由步骤A5的检测结果确定对应区域栅格的状态；
步骤A7：Gmapping算法更新地图并提供包含室内玻璃的可供后续导航直接使用的移动机器人导航地图，从而基于激光信息与视觉信息融合获得移动机器人导航地图。
2.根据权利要求1所述的一种复杂室内环境移动机器人导航地图构建方法，其特征在于，所述步骤A1具体包括：
在ROS环境利用激光雷达向外射出激光并接收返回激光获得周围除玻璃外的障碍物信息；利用里程计获取移动平台速度、位置和转角信息；利用深度相机获取环境的RGB图像信息，发布话题并将话题汇总成rosbag，从而完成对机器人自身位姿和环境信息的采集。
3.根据权利要求1所述的一种复杂室内环境移动机器人导航地图构建方法，其特征在于，所述步骤A2具体包括：
获取步骤A1中获得的激光雷达信息和里程计信息，以时间戳为横坐标，将信息离散化后采用粒子滤波算法进行实时定位建图。
4.根据权利要求3所述的一种复杂室内环境移动机器人导航地图构建方法，其特征在于，
所述粒子滤波算法的条件概率如下：
其中，
表示任意地面标志物，
表示从初始时刻到
时刻的机器人位姿，
表示初始时刻至
时刻的激光雷达观测量，
表示初始时刻至
时刻的里程计控制量，
表示机器人状态后验概率估计值，
表示机器人在
时刻位置的概率估计值，
表示
时刻机器人姿态的概率估计值。
5.根据权利要求1所述的一种复杂室内环境移动机器人导航地图构建方法，其特征在于，所述步骤A4具体包括：
针对步骤A3获得的信号段的角度和信号段的时间戳来选取不同角度的深度相机拍摄的图像，平台按照圆形围绕设置了
台相机，根据相邻相机之间的间隔角度划分
个范围，计算信号段的角度与第一选取标称值比值的余数，基于余数所在的范围确定信号段对应的深度相机。
6.根据权利要求1所述的一种复杂室内环境移动机器人导航地图构建方法，其特征在于，所述步骤A5具体包括：
采用基于深度学习的玻璃检测网络对步骤A4选出来的每一张RGB图像进行检测，以确定对应的疑似玻璃存在区域玻璃是否存在玻璃；
玻璃检测网络核心为LCFI模块，用于在给定输入特征的情况下，提取和集成多尺度大范围上下文特征，以检测不同大小的玻璃。
7.根据权利要求6所述的一种复杂室内环境移动机器人导航地图构建方法，其特征在于，所述玻璃检测网络用于执行如下步骤：
步骤A51，信息送入舵机特征提取器，以获取不同级别的特征；
步骤A52，将获取的特征分级送入
个LCFI模块中，用于学习大范围的上下文信息；
步骤A53，最后
个LCFI模块输出融合生成高层大场上下文特征，用于引导第一个LCFI提取的低层大场上下文信息；
步骤A54，高层底层信息融合，得到检测结果并输出。
8.根据权利要求1所述的一种复杂室内环境移动机器人导航地图构建方法，其特征在于，
步骤A6将栅格值为1的段的所有信息汇总，以S5表示；
步骤A7之前，将S5中各点的栅格坐标转换到全局坐标，计算每一时刻玻璃的栅格点与机器人在全局坐标系下的相对位置，相对位置包括以机器人为原点计算二者之间的距离值和角度，每一时刻对应的角度下，距离计算值和激光雷达返回距离信息的大小，若激光雷达返回距离值大于返回预设值，用相对位置中的距离值替换激光雷达返回距离值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110754790.2A CN113203409B (zh) | 2021-07-05 | 2021-07-05 | 一种复杂室内环境移动机器人导航地图构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110754790.2A CN113203409B (zh) | 2021-07-05 | 2021-07-05 | 一种复杂室内环境移动机器人导航地图构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113203409A CN113203409A (zh) | 2021-08-03 |
| CN113203409B true CN113203409B (zh) | 2021-09-14 |
Family
ID=77022699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110754790.2A Active CN113203409B (zh) | 2021-07-05 | 2021-07-05 | 一种复杂室内环境移动机器人导航地图构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113203409B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113848943B (zh) * | 2021-10-18 | 2023-08-08 | 追觅创新科技(苏州)有限公司 | 栅格地图的修正方法及装置、存储介质及电子装置 |
| CN114271729B (zh) * | 2021-11-24 | 2023-01-10 | 北京顺造科技有限公司 | 透光物体探测方法、清洁机器人装置及地图构建方法 |
| CN114237242B (zh) * | 2021-12-14 | 2024-02-23 | 北京云迹科技股份有限公司 | 基于光学编码器对机器人进行控制的方法及装置 |
| CN114089330B (zh) * | 2022-01-18 | 2022-05-20 | 北京航空航天大学 | 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法 |
| CN115561702B (zh) * | 2022-09-27 | 2023-07-21 | 广东师大维智信息科技有限公司 | 一种定位融合干扰去除方法 |
| CN115656982B (zh) * | 2022-12-13 | 2023-06-09 | 中国南方电网有限责任公司超高压输电公司广州局 | 水面杂波去除方法、装置、计算机设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107407733A (zh) * | 2015-10-30 | 2017-11-28 | 株式会社小松制作所 | 作业机械的控制系统、作业机械、作业机械的管理系统以及作业机械的管理方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10962647B2 (en) * | 2016-11-30 | 2021-03-30 | Yujin Robot Co., Ltd. | Lidar apparatus based on time of flight and moving object |
| CN109839118A (zh) * | 2017-11-24 | 2019-06-04 | 北京京东尚科信息技术有限公司 | 路径规划方法、系统、机器人和计算机可读存储介质 |
| CN109870705B (zh) * | 2017-12-01 | 2020-12-08 | 武汉万集信息技术有限公司 | 基于激光雷达的边界目标标识方法及装置 |
| CN111240331A (zh) * | 2020-01-17 | 2020-06-05 | 仲恺农业工程学院 | 基于激光雷达和里程计slam的智能小车定位导航方法及系统 |
| CN111207753A (zh) * | 2020-02-13 | 2020-05-29 | 苏州大学 | 一种多玻璃隔断环境下的同时定位与建图的方法 |
| CN112051588A (zh) * | 2020-09-03 | 2020-12-08 | 重庆大学 | 一种多传感器融合的玻璃识别系统 |
| CN111993429B (zh) * | 2020-10-30 | 2021-02-05 | 北京建筑大学 | 一种基于仿射群的改进高斯重采样粒子滤波目标跟踪方法 |
| CN112698306A (zh) * | 2020-12-17 | 2021-04-23 | 上海交通大学宁波人工智能研究院 | 一种多激光雷达结合相机解决地图构建盲区的系统和方法 |
-
2021
- 2021-07-05 CN CN202110754790.2A patent/CN113203409B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107407733A (zh) * | 2015-10-30 | 2017-11-28 | 株式会社小松制作所 | 作业机械的控制系统、作业机械、作业机械的管理系统以及作业机械的管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113203409A (zh) | 2021-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113203409B (zh) | 一种复杂室内环境移动机器人导航地图构建方法 | |
| CN110097553B (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
| US10204185B2 (en) | Building scan window detection | |
| Al-Kharusi et al. | Intelligent parking management system based on image processing | |
| CN110825101B (zh) | 一种基于深度卷积神经网络的无人机自主降落方法 | |
| CN106950952B (zh) | 用于农机无人驾驶的农田环境感知方法 | |
| CN108550258B (zh) | 车辆排队长度检测方法、装置、存储介质和电子设备 | |
| CN112818925B (zh) | 一种城市建筑和树冠识别方法 | |
| US11371851B2 (en) | Method and system for determining landmarks in an environment of a vehicle | |
| KR102406804B1 (ko) | 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템 | |
| CN112734739B (zh) | 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法 | |
| CN110956137A (zh) | 点云数据的目标检测方法、系统及介质 | |
| CN109697428B (zh) | 基于rgb_d和深度卷积网络的无人机识别定位系统 | |
| CN114089330B (zh) | 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN115719436A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
| CN110703760A (zh) | 一种用于安防巡检机器人的新增可疑物体检测方法 | |
| CN113925390A (zh) | 一种基于地图图像的跨区域通道识别方法、机器人及芯片 | |
| CN112580542A (zh) | 一种基于目标检测的钢筋计数方法 | |
| CN115731545A (zh) | 一种基于融合感知的电缆隧道巡检方法及装置 | |
| CN110136186B (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 | |
| CN117130010B (zh) | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 | |
| CN110458815A (zh) | 有雾场景检测的方法及装置 | |
| CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
| CN113112551B (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240516 Address after: 2 Shouti South Road, Haidian District, Beijing Patentee after: MACHINERY TECHNOLOGY DEVELOPMENT Co.,Ltd. Country or region after: China Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road Patentee before: BEIHANG University Country or region before: China |