CN110595457A - 伪激光数据生成方法、地图构建方法、导航方法及系统 - Google Patents

伪激光数据生成方法、地图构建方法、导航方法及系统 Download PDF

Info

Publication number
CN110595457A
CN110595457A CN201910808370.0A CN201910808370A CN110595457A CN 110595457 A CN110595457 A CN 110595457A CN 201910808370 A CN201910808370 A CN 201910808370A CN 110595457 A CN110595457 A CN 110595457A
Authority
CN
China
Prior art keywords
laser
dimensional map
map
pseudo
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910808370.0A
Other languages
English (en)
Other versions
CN110595457B (zh
Inventor
田国会
张营
邵旭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910808370.0A priority Critical patent/CN110595457B/zh
Publication of CN110595457A publication Critical patent/CN110595457A/zh
Application granted granted Critical
Publication of CN110595457B publication Critical patent/CN110595457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本公开提供了一种伪激光数据生成方法、地图构建方法、导航方法及系统。其中，一种伪激光数据生成方法，包括：接收视觉传感器传送来的障碍物视觉信息；保留视觉传感器观测视角范围内以及最大有效观测高度范围内的障碍物视觉信息，进而生成三维点云；将三维点云纵向按列扫描，逐列提取出深度信息最小的点来模拟激光信号的点，进而生成伪激光数据。其能够保证伪激光数据的准确性。

Description

伪激光数据生成方法、地图构建方法、导航方法及系统
技术领域
本公开属于机器人地图构建与导航领域，尤其涉及一种伪激光数据生成方法、地图构建方法、导航方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
随着机器人技术的发展，越来越多的服务机器人进入家庭为人们提供所需服务，以提高人们的生活质量。机器人满足这一需求的基本前提是其能够安全稳定地运行在家庭环境中，而实现这个目标则需要可靠的地图支撑。为此，有效地地图构建方法是解决机器人安全导航的基础。目前已经提出了不同的地图表示方法，其中比较流行的一种是二维网格地图，它特别适合于机器人导航任务。
激光传感器凭借其可靠的测量信息和较高的测量精度在二维地图构建中广泛应用，并且很多研究表明机器人基于激光构建的地图，可以安全地实现导航任务。中国发明申请号201611244938.3公开了一种基于激光数据的移动机器人地图创建方法，该方法根据采集的激光和里程计信息进行实现二维地图的构建；中国发明申请号201710298790.X公开了一种地图生成方法，该方法通过采集的激光数据，利用SLAM系统生成二维地图；中国发明申请号为201811110672.2公开了一种基于激光和二维码融合的地图构建方法，该方法在传统的里程计与惯性测量单元的基础上加入二维码定位信息，进而保证地图构建的效果和定位精度；中国发明申请号201711475987.2公开了一种激光导航方法和系统，其通过辅助定位装置来提高机器人的适应能力，但需要对环境进行一定程度的修改。
这些方法在室内一定的室内场景中可以使得机器人规划出安全地行驶路线，并进行可靠的导航。然而，由于激光传感器只能扫描一个水平的平面，所以激光传感器并不能完全观测到室内环境中的障碍物信息。也就是说，在家庭环境中，存在一些激光传感器观测不到的常见障碍物，比如(四脚)桌子等。所以在这种常见的室内环境下激光传感器只能观测到桌子的四个脚，并不能观测到桌面，但是在机器人导航过程中，桌面会对机器人造成安全威胁。
发明人发现，机器人利用激光传感器并不能将障碍物信息正确地表示在二维地图上，进而机器人基于激光传感器构建的地图不能规划出安全导航的行驶路线。
发明内容
为了解决上述问题，本公开的第一个方面提供一种伪激光数据生成方法，其能够生成的伪激光数据的准确性，进而提高生成地图的精确性。
为了实现上述目的，本公开采用如下技术方案：
一种伪激光数据生成方法，包括：
接收视觉传感器传送来的障碍物视觉信息；
保留视觉传感器观测视角范围内以及最大有效观测高度范围内的障碍物视觉信息，进而生成三维点云；
将三维点云纵向按列扫描，逐列提取出深度信息最小的点来模拟激光信号的点，进而生成伪激光数据。
为了解决上述问题，本公开的第二个方面提供一种地图构建方法，其基于伪激光数据构建，可以将室内环境中影响机器人安全导航的障碍物正确地表示在二维地图上，并且基于该地图，机器人可以规划出能够避开所有障碍物的安全行驶路线，从而提高机器人的安全性。
为了实现上述目的，本公开采用如下技术方案：
一种地图构建方法，采用基于粒子滤波器的SLAM算法构建出伪激光二维地图；其中，基于粒子滤波器的SLAM算法中的建议分布函数融合上述所述的伪激光数据生成方法生成的伪激光数据。
本公开的第三方面提供一种地图融合方法。
一种地图融合方法，将激光二维地图与上述地图构建方法构建出的伪激光二维地图进行融合，得到融合二维地图；激光二维地图由基于粒子滤波器的SLAM算法而构建；基于粒子滤波器的SLAM算法中的建议分布函数融合激光观测数据；
在融合伪激光二维地图和激光二维地图的过程中，融合二维地图预设宽度边框的栅格的状态属性直接采用激光二维地图等宽度边框的栅格的状态属性；
除边框的栅格外，在融合伪激光二维地图和激光二维地图的过程中：
当伪激光二维地图和激光二维地图的对应栅格的状态属性相同时，融合二维地图对应的栅格的状态属性与当前状态属性相同；
当伪激光二维地图和激光二维地图的对应栅格的状态属性不同，且激光二维地图对应栅格的状态属性为占有时，融合二维地图对应的栅格的状态属性为占有。
其中，预设宽度是由实验确定，且以栅格数目为单位。
进一步地，除边框的栅格外，在融合伪激光二维地图和激光二维地图的过程中：
当伪激光二维地图和激光二维地图的对应栅格的状态属性不同，且激光二维地图对应栅格的状态属性为空闲或未知时，若伪激光二维地图对应栅格的状态属性与其周围八个栅格的状态属性中任一者存在相同状态属性时，融合二维地图对应的栅格的状态属性与伪激光二维地图对应栅格的状态属性相同。
进一步地，除边框的栅格外，在融合伪激光二维地图和激光二维地图的过程中：
当伪激光二维地图和激光二维地图的对应栅格的状态属性不同，且激光二维地图对应栅格的状态属性为空闲或未知时，若伪激光二维地图对应栅格的状态属性与其周围八个栅格的状态属性中任一者均不存在相同状态属性时，融合二维地图对应的栅格的状态属性与激光二维地图对应栅格的状态属性相同。
本公开的第四方面提供一种导航方法。
本公开的一种导航方法，其基于上述所述的地图构建方法构建得到伪激光二维地图进行全局路径规划和动态障碍物避障。
本公开的另一种导航方法，其基于上述所述的地图融合方法构建得到融合地图进行全局路径规划和动态障碍物避障。
本公开的第五方面提供一种机器人系统。
本公开的一种机器人系统，包括视觉传感器和控制器，所述控制器包括数据处理模块，其被配置为上述所述的伪激光数据生成方法对视觉传感器传送来的障碍物视觉信息进行处理，生成伪激光数据；
地图构建模块，其被配置为采用上述所述的地图构建方法构建得到伪激光二维地图；
导航模块，其被配置为采用上述所述的导航方法进行导航及路径规划。
本公开的另一种机器人系统，其包括视觉传感器、激光传感器和控制器，所述视觉传感器和激光传感器均与控制器相连，所述控制器，包括：
数据处理模块，其被配置为采用上述所述的伪激光数据生成方法对视觉传感器传送来的障碍物视觉信息进行处理，生成伪激光数据；
地图构建模块，其被配置为采用上述所述的地图构建方法构建得到伪激光二维地图；
地图融合模块，其被配置为采用上述所述的地图融合方法构建得到融合地图；
导航模块，其被配置为采用上述所述的导航方法进行导航及路径规划。
本公开的有益效果是：
(1)本公开保留视觉传感器观测视角范围内以及最大有效观测高度范围内的障碍物视觉信息，进而生成三维点云；将三维点云纵向按列扫描，逐列提取出深度信息最小的点来模拟激光信号的点，进而生成伪激光数据，提高了伪激光数据的准确性，进而提高了生成地图的精确性。
(2)本公开提供的一种基于伪激光数据的二维地图构建方法，以解决机器人利用激光传感器不能将障碍物正确地表示在二维地图上的问题。与传统的基于激光地图构建方法相比，采用基于伪激光数据构建的地图，可以将室内环境中影响机器人安全导航的障碍物正确地表示在二维地图上。并且基于该地图，机器人可以规划出能够避开所有障碍物的安全行驶路线，从而提高机器人的安全性。
(3)本公开为机器人在室内环境下安全运行提供了一种基于伪激光的导航方法，有助于机器人安全地作业在室内环境中。
(4)本公开提供的一种将基于激光数据构建的地图和基于伪激光数据构建的地图融合的方法(在激光数据可用的情况下)，以保证二维地图的精度。
(5)本公开还为机器人在室内环境下安全运行提供了一种基于激光和视觉相结合的导航方法(在激光数据可用的情况下)，以提供机器人的安全性。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是实施例一视觉信息转化为伪激光数据的流程图；
图2是实施例二基于伪激光数据地图构建方法的流程图；
图3是实施例二含障碍物(四脚桌子)的室内场景示意图；
图4是实施例二采用激光传感器构建的二维地图的示意图；
图5是实施例二采用本实施例提供的伪激光方法构建的二维地图示意图；
图6是实施例二基于激光方法构建的二维地图全局路径规划示意图；
图7是实施例二基于伪激光方法构建的二维地图全局路径规划示意图；
图8是实施例三采用本实施例提供的伪激光方法构建的存在噪声的二维地图示意图；
图9是实施例三所构建的二维地图中栅格的分布示意图；
图10是实施例四机器人地图构建与导航装置的结构图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种伪激光数据生成方法，其能够保证伪激光数据的准确性。
请参阅附图1，伪激光生成方法包括以下步骤：
S101：接收视觉传感器传送来的障碍物视觉信息。
具体地，机器人采用立体相机感知室内环境，并获取障碍物视觉信息。
在本实施例中采用RGB-D相机感知室内环境，并获取障碍物视觉信息。
S102：保留视觉传感器观测视角范围内以及最大有效观测高度范围内的障碍物视觉信息，进而生成三维点云。
具体地，根据相机模型(所述相机模型可参考：https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html)，视觉信息的像素点坐标(u,v)，估计出每个像素点的深度值d(u,v)。在这种情况下，得到像素点(u,v)对应于世界坐标中的三维坐标(x,y,z)；
z＝d(u,v) (1)
其中，(u0,v0)是位于图像的中心点，fx和fy是像素单位表示的焦距。
由于在本实施例中，采用了RGB-D相机，为此，像素点深度值d(u,v)可以直接获取。
通过将所有像素转换为三维坐标，得到了一个三维点云其中N为像素数。
需要指出的是，这里通过视觉传感器所获取的点云可以模拟三维激光传感器生成的激光数据，为此可以应用于自动驾驶等领域中的物品检测，也为利用廉价的视觉传感器来替换昂贵的三维激光传感器提供了一种参考。
本实施例采用以下点云修剪策略，保证了获取点云的准确性和计算快速性。其具体策略为：设置了一个最大有效观测角，视觉传感器观测视角超过所设置的最大有效观测角时，视觉传感器所生成的信息不进行计算；另一方面，还设置了一个最大有效观测高度(需大于机器人的高度)，视觉传感器观测视角超过所设置的最大有效观测高度时，忽略视觉传感器所生成的信息，此处因为位于比机器人自身高度的障碍物并不影响机器人安全导航，因此忽略多余的点云，可以提高计算速度。
S103：将三维点云纵向按列扫描，逐列提取出深度信息最小的点来模拟激光信号的点，进而生成伪激光数据。
实施例二
本实施例提供了一种地图构建方法，其采用基于粒子滤波器的SLAM算法构建出伪激光二维地图；其中，基于粒子滤波器的SLAM算法中的建议分布函数融合上述所述的伪激光数据生成方法生成的伪激光数据。
目前利用Rao-Blackwellized粒子滤波器实现SLAM(参阅文献：Doucet A,DeFreitas N,Murphy K,et al.Rao-Blackwellised particle filtering for dynamicBayesian networks[C]//Proceedings of the Sixteenth conference on Uncertaintyin artificial intelligence.Morgan Kaufmann Publishers Inc.,2000:176-183.)，其基本流程如图2所示。但是该方法存在计算复杂和粒子贫瘠问题，为解决这些问题，本实施例采用基于粒子滤波器的SLAM算法构建出伪激光二维地图的过程，包括：
S201采样步骤：根据上一次机器人位姿估计结果，从融合所述的伪激光数据生成方法生成的伪激光数据的建议分布函数中采用得到新的粒子集。
根据上一次机器人位姿估计结果从建议分布函数π中采样得到新的粒子集合其中t表示时间，i表示粒子数。
一般地，建议分布函数π采用机器人里程计运动模型，即其中ut表示里程计数据。然而里程计中的误差会累计增加，从而导致地图精度较低。由于视觉传感器观测数据要比里程计估计值要准确，为此，在本实施例中，将伪激光观测数据融入建议分布函数中。
具体地，在生成下一代样本时，将视觉传感器当前观测数据(伪激光数据)zt融合到建议分布函数π中。那么建议分布函数π则变为其中m表示地图。
本实施例采用自适应方案进行选择建议分布函数π。
具体地，本实施例利用ICP算法(参考文献：Besl P J,McKay N D.A method forregistration of 3D shapes.IEEE Transactions on Pattern Analysis and MachineIntelligence,1992,14(2):239-256)对前后相邻时刻的观测数据进行配准，以获得(t-1)时刻到t时刻比较精确的机器人相对坐标变换值xt。如果匹配成功，那么选择建议分布函数为否则采用以保证SLAM顺利实施。
S202权重计算步骤：根据重要性采样原则，为每个粒子分配一个的重要性权重。
根据重要性采样原则，为每个粒子分配一个的重要性权重
通过步骤201，可以获得一个新的重要性权重：
其中，如果匹配成功时，δ＝1；否则，δ＝0。δ表述匹配系数；∝表示正比例关系。
S203重采样步骤：通过评估所有粒子权重的分散程度进行判断粒子是否执行重采样过程。
本步骤的目的是抛弃那些明显远离真实值的粒子，增强那些离真实值近的粒子。如果频繁执行重采样，粒子的多样性将会消失，使得粒子出现贫瘠问题。为此，本实施例提供了一种自适应重采样方法。
进一步地，通过评估所有粒子权重的分散程度d进行判断粒子是否执行重采样过程，
其中表示第i个粒子归一化后的重要性权重。
通过判断d的大小,来决定是否进行重抽样。在本实施例中，只有当d小于设定的阈值dT时，才执行重采样过程，其中dT＝N/2(N是粒子的个数)。
S204地图构建步骤：根据位姿估计结果和上一时刻已创建的地图,并基于历史观测数据,对于每个粒子分别创建新地图，最终得到用于机器人安全导航的二维地图。
本实施例所构建的地图，可以将准确的表示障碍物信息。与基于激光数据构建的地图相比，基于伪激光数据构建的地图可以将激光传感器观测不到的障碍物信息构建在地图上，比如桌面。图3给出包含障碍物(四脚桌子)的室内场景示意图；在图3场景下，采用激光传感器构建的二维地图的示意图如图4所示，采用本实施例提供的方法构建的地图示意图如图5所示。从图4和图5中可以清楚的看出，利用激光传感器构建的二维地图只能仅仅将障碍物的四个脚表示在地图上(图4)，而采用本实施例提供的伪激光方法构建的二维地图(图5)可以正确的表示障碍物信息。
因此，机器人基于本实施例提供的伪激光构建的二维地图，可以规划出安全性行驶的路线。
基于伪激光的导航方法，是将伪激光数据作为触发机器人避障行为的依据。
具体地，当移动机器人靠近障碍物时，机器人会通过估计其当前位置与障碍物之间的距离决定是否执行避障行为；由于基于激光传感器的机器人不能完全检测到室内环境中的障碍物。例如包含(四脚)桌子的室内场景，在这种常见的室内场景下激光传感器只能观测到桌子的四个脚，但不能观测到桌面，但是在机器人导航过程中，桌面会影响机器人安全导航。
基于伪激光的导航方法包括基于本实施例提供的伪激光构建的二维地图的全局路径规划和动态障碍物避障。
基于本实施例提供的伪激光构建的二维地图的全局路径规划；
具体地，基于本实施例提供的伪激光构建的二维地图，机器人可以规划出一条能够避开所有障碍物的全局安全行驶路径；以图3场景为例，为便于对比，机器人基于激光数据和伪激光数据分别就行建立二维地图，为此，可以分别得到如图4和图5的二维地图。
根据图4和图5的二维地图，机器人采用Dijkstra全局规划方法(参考：http://wiki.ros.org/global_planner？distro＝melodic)进行全局路径规划，规划结果示意图分别如图6和图7，其中，601和701是机器人的路经规划的起始位置，602和702是机器人路经规划的目标位置，603和703是机器人规划的全局路线。由于基于激光数据构建的二维地图(图4)没有正确地表示室内环境障碍物信息，所以机器人全局路线看似是一条无碰撞的路线，但是所规划的路线横穿了场景中的(四脚)桌子，那么机器人跟随着这条路径行驶会与(四脚)桌子发生碰撞，造成导航失败。而采用本实施例提供的方法构建的地图，机器人可以规划出一条安全的行驶路线，是因为基于伪激光的构建的二维地图可以正确地表示障碍物信息，那么机器人跟随着这条路径则可以安全的行驶，从而保证了机器人安全导航。
机器人基于本实施例提供的伪激光构建的二维地图，可以规划出安全性行驶的路线，但是考虑到室内环境中的动态性，因此，机器人基于伪激光的导航方法是必要的。
机器人根据实时的伪激光数据估计其当前位置与障碍物之间的距离DISTP-L决定是否执行避障行为；当机器人当前位置与障碍物之间的距离DISTP-L小于设置的安全距离DISTS时(DISTP-L＜DISTS)，则触发机器人避障行为。
机器人在导航过程中，采用伪激光数据作为是否采取避障行为的依据，可以弥补激光传感器的缺陷，因为激光传感器只能扫描一个平面，所以对于室内场景中影响机器人安全导航的障碍物并不能完全可见。为此机器人采用伪激光数据可保证机器人安全地导航。同时，机器人结合基于伪激光数据构建的二维地图，机器人安全性可以进一步提升，从而满足机器人在室内环境下安全地执行任务。
实施例三
机器人在激光传感器可用的情况下，本实施例一方面公开了一种将基于伪激光构建二维地图和基于激光构建的二维地图融合的方法，另一方面还公开了基于伪激光和激光数据的导航方法。
所述机器人在激光传感器可用的情况是指机器人同时配有的激光传感器和视觉传感器用于地图构建和机器人导航；
所述激光传感器为二维激光传感器；
所述视觉传感器为立体视觉传感器，在本实施例中，立体视觉采用的是RGB-D相机。
根据本实施例公开的实施例一中，RGB-D相机可以生产伪激光数据，为此机器人通过观测室内环境信息，可同时得到激光数据和伪激光数据；在这种情况下，机器人可根据获得激光数据和伪激光数据同时构建两个二维地图；
具体地，根据实施例二中公开的二维地图构建方法(过程参阅图2)，基于伪激光数据可以获得一个二维地图；将激光观测数据融合到建议分布函数π中，基于实施例二中公开的二维地图构建方法，同样可以得到另一个二维地图；在图3室内场景下，基于伪激光数据得到的二维地图的示意图可参考图5，基于激光数据得到的二维地图的示意图可参考图4；
然而，视觉传感器容易受到环境、光照等因素的影响，因此，构建的二维地图可能存在一定噪声，采用伪激光数据构建的存在噪声的二维地图示意图如图8所示，其中801和802表示由于噪声存在的点；
机器人基于带有噪声的二维地图进行路径规划时，可能会导致机器人所规划的路径不是最优的。而激光传感器相对于视觉传感器抗干扰能力更好，也就是说激光数据更稳定。
为此，机器人在激光传感器可用的情况下，本实施例又公开了一种将基于伪激光构建二维地图和基于激光构建的二维地图融合的方法，以减少基于伪激光数据构建的二维地图的噪声。
具体地，由于所构建的二维地图为栅格地图，并且该栅格地图上每个栅格都别分配一个状态属性：占有，空闲和未知。其中，占有表示在这个栅格处存在障碍物，空闲表示在这个栅格处没有障碍物，未知表示这个栅格处是未探索区域。另外，机器人在同一个环境下基于激光和伪激光数据所构建的栅格地图具有相同的维度(以一个栅格数目为单位)；为此，可以通过融合两个二维地图的状态值来实现地图的融合。
为方便叙述，这里用符号表示不同地图上的不同栅格的状态属性；L表示地图的长度(以一个栅格数目为单位)，W表示地图的宽度(以一个栅格数目为单位)，那么构建的栅格数目为L×W个。表示基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性(0＜i≤L，0＜j≤W，下同)，其中当k＝1时，表示基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性为占有；其中当k＝0时，表示基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性为空闲；其中当k＝-1时，表示基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性为未知。表示基于激光数据构建的二维地图中第(i,j)个栅格的状态属性，其中当k＝1时，表示基于激光数据构建的二维地图中第(i,j)个栅格的状态属性为占有；其中当k＝0时，表示基于激光数据构建的二维地图中第(i,j)个栅格的状态属性为空闲；其中当k＝-1时，表示基于激光数据构建的二维地图中第(i,j)个栅格的状态属性为未知。表示融合后的二维地图中第(i,j)个栅格的状态属性。
进一步地，所述地图融合方法包括以下四种情况；
Case1：融合二维地图一定宽度(表示为wD)边框的第(i,j)个栅格的状态属性直接采用激光二维地图等宽度边框的第(i,j)个栅格的状态属性；其中，wD由实验确定；也就是当0＜i≤wD，L-wD＜i≤L，0＜j≤W，以及当0＜i≤L,0＜j≤wD，W-wD＜j≤W，那么
进一步地，除边框的栅格外(除case1情况外)，所述地图融合方法包括以下三种情况；
Case2：当基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性和基于激光数据构建的二维地图中第(i,j)个栅格的状态属性相同时，那么融合后的二维地图中第(i,j)个栅格的状态属性与当前状态值相同，也就是当那么
Case3：当基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性和基于激光数据构建的二维地图中第(i,j)个栅格的状态属性不相同，且基于激光数据构建的二维地图中第(i,j)个栅格的状态属性为占有时，那么融合后的二维地图中第(i,j)个栅格的状态属性为占有；也就是当且那么
Case4：当基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性和基于激光数据构建的二维地图中第(i,j)个栅格的状态属性不相同，且基于激光数据构建的二维地图中第(i,j)个栅格的状态属性为空闲和未知时，如果基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性与其周围八个网格(也就是第(i-1,j-1)个栅格，第(i-1,j)个栅格，第(i-1,j+1)个栅格，第(i,j-1)个栅格，第(i,j+1)个栅格，第(i+1,j-1)个栅格，第(i+1,j)个栅格和第(i+1,j+1)个栅格，其示意图参考图9所示)的状态属性有相同的状态时，那么融合后的二维地图中第(i,j)个栅格的状态属性与基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性相同；如果基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性与其周围八个网格(也就是第(i-1,j-1)个栅格，第(i-1,j)个栅格，第(i-1,j+1)个栅格，第(i,j-1)个栅格，第(i,j+1)个栅格，第(i+1,j-1)个栅格，第(i+1,j)个栅格和第(i+1,j+1)个栅格，其示意图参考图9所示)的状态属性没有相同的状态时，那么融合后的二维地图中第(i,j)个栅格的状态属性与基于激光数据构建的二维地图中第(i,j)个栅格的状态属性相同，也就是说当且或者时，如果与中至少又一个相等，那么如果与 中均不相等，那么
进一步地，融合后的地图不但可以将基于伪激光数据构建的二维地图上孤立的噪声移除，还可以保留基于激光数据构建的二维地图的精度，为机器人的规划出可靠的行驶路线和机器人安全导航提供了强有力的保障。
另一方面，在激光传感器可用的情况下，本实施例公开了一种基于伪激光和激光数据的导航方法。
所述机器人在激光传感器可用的情况是指机器人同时配有激光传感器和视觉传感器；
根据本实施例公开的实施例一中，RGB-D相机可以生产伪激光数据，为此机器人通过实时的观测室内环境，可同时得到激光数据和伪激光数据；
进一步地，机器人根据实时的伪激光数据和激光数据估计其当前位置与障碍物之间的距离决定是否执行避障行为；
具体地，在本实施例中，需要综合考虑伪激光数据和激光数据来决定机器人是否执行避障行为，也就是取用于描述机器人当前位置到障碍物距离的伪激光数据DISTP-L和用于描述机器人当前位置到障碍物距离的激光数据DISTL-D中最小值作为触发避障行为的依据，即min{DISTP-L,DISTL-D}。
进一步地，当DISTP-L和DISTL-D中最小值小于设置的安全距离DISTS时(min{DISTP-L,DISTL-D}＜DISTS)，则触发机器人避障行为。
机器人在导航过程中，通过综合考虑伪激光数据和激光数据来决定机器人是否采取避障行，可以进一步地增强机器人导航的安全性，从而更好地适应室内环境。
实施例四
本实例提供了一种机器人地图构建与导航装置，如图10所示。
所述机器人地图构建与导航装置，包括机器人模块1001、数据处理模块1002、地图构建模块1003、地图融合模块1004和导航模块1005。
具体地，所述机器人模块1001是基于ROS(机器人操作系统)实现的，可包含视觉传感器10011和激光传感器10012中的一种或者两者都包含。
进一步地，所述视觉传感器10011为立体相机，本实施例中采用的是RGB-D深度立体相机，用于感知室内环境，并获取障碍物视觉信息。
进一步地，所述激光传感器10012为二维激光传感器，用于感知室内环境，并获取障碍物视觉信息。
具体地，所述数据处理模块1002用于处理视觉传感器10011的感知的视觉信息或/和激光传感器10012激光信息；
进一步地，数据处理模块1002一方面通过001获取视觉传感器10011感知的视觉信息，并将视觉信息中所有像素转换为三维坐标，继而得到了一个三维点云然后基于点云修剪策略(参考实施例一)获得所需的室内环境点云数据。最后将获取的三维点云纵向按列扫描，通过逐列提取出深度信息最小的点(也即是离机器人最近的障碍物信息)，得到一组可以模拟激光信号的点的伪激光数据。
进一步地，数据处理模块1002另一方面通过002从激光传感器10012中读取激光数据。
具体地，所述地图构建模块1003获取数据处理模块1002中的伪激光数据和激光数据，并基于一种自适应SLAM方法(参考实施例二)构建二维地图。
进一步地，一方面，地图构建模块1003通过002获取伪激光数据，并利用其构建二维地图，包括采样、权重计算、重采样和地图构建四个步骤；
更进一步地，所述采样步骤是根据上一次机器人位姿估计结果从建议分布函数π中采样得到新的粒子集合并在生成下一代样本时，将当前的伪激光数据zt融合到建议分布函数π中。利用ICP算法对前后相邻时刻的观测数据进行配准，以获得(t-1)时刻到t时刻比较精确的机器人相对坐标变换值xt。如果匹配成功，那么选择建议分布函数为否则采用以保证SLAM顺利实施。
更进一步地，所述权重计算步骤是根据重要性采样原则，为每个粒子分配一个的重要性权重
更进一步地，所述重采样步骤是通过评估所有粒子权重的分散程度d进行判断粒子来执行抛弃明显远离真实值的粒子和增强离真实值近的粒子。
更进一步地，所述地图创建步骤是根据位姿估计结果和上一时刻已创建的地图,并基于历史观测数据,对每个粒子分别创建新地图，最终得到用于机器人安全导航的二维地图。
进一步地，另一方面，在激光传感器可用的情况下，地图构建模块1003通过006获取激光数据，并利用其构建二维地图，包括采样、权重计算、重采样和地图构建四个步骤；
更进一步地，所述采样步骤是根据上一次机器人位姿估计结果从建议分布函数π中采样得到新的粒子集合并在生成下一代样本时，将当前的激光数据zt融合到建议分布函数π中。利用ICP算法对前后相邻时刻的观测数据进行配准，以获得(t-1)时刻到t时刻比较精确的机器人相对坐标变换值xt。如果匹配成功，那么选择建议分布函数为否则采用以保证SLAM顺利实施。
更进一步地，所述权重计算步骤是根据重要性采样原则，为每个粒子分配一个的重要性权重
更进一步地，所述重采样步骤是通过评估所有粒子权重的分散程度d进行判断粒子来执行抛弃明显远离真实值的粒子和增强离真实值近的粒子。
更进一步地，所述地图创建步骤是根据位姿估计结果和上一时刻已创建的地图,并基于历史观测数据,对每个粒子分别创建新地图，最终得到用于机器人安全导航的二维地图。
具体地，所述地图融合模块1004通过003从地图构建模块1003中获取基于伪激光数据构建的二维地图，并通过007从地图构建模块1003中获取基于激光数据构建的二维地图；
进一步地，将获得的地图通过二维地图融合的方法(参考实施例三)进行融合，融合过程包括以下四种情况；
Case1：融合二维地图一定宽度(表示为wD)边框的第(i,j)个栅格的状态属性直接采用激光二维地图等宽度边框的第(i,j)个栅格的状态属性；其中，wD由实验确定；也就是当0＜i≤wD，L-wD＜i≤L，0＜j≤W，以及当0＜i≤L,0＜j≤wD，W-wD＜j≤W，那么
进一步地，除边框的栅格外(除case1情况外)，所述地图融合方法包括以下三种情况；
Case2：当基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性和基于激光数据构建的二维地图中第(i,j)个栅格的状态属性相同时，那么融合后的二维地图中第(i,j)个栅格的状态属性与当前状态值相同，也就是当那么
Case3：当基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性和基于激光数据构建的二维地图中第(i,j)个栅格的状态属性不相同，且基于激光数据构建的二维地图中第(i,j)个栅格的状态属性为占有时，那么融合后的二维地图中第(i,j)个栅格的状态属性为占有；也就是当且那么
Case4：当基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性和基于激光数据构建的二维地图中第(i,j)个栅格的状态属性不相同，且基于激光数据构建的二维地图中第(i,j)个栅格的状态属性为空闲和未知时，如果基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性与其周围八个网格(也就是第(i-1,j-1)个栅格，第(i-1,j)个栅格，第(i-1,j+1)个栅格，第(i,j-1)个栅格，第(i,j+1)个栅格，第(i+1,j-1)个栅格，第(i+1,j)个栅格和第(i+1,j+1)个栅格，其示意图参考图9所示)的状态属性有相同的状态时，那么融合后的二维地图中第(i,j)个栅格的状态属性与基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性相同；如果如果基于伪激光数据构建的二维地图中第(i,j)个栅格的状态属性与其周围八个网格(也就是第(i-1,j-1)个栅格，第(i-1,j)个栅格，第(i-1,j+1)个栅格，第(i,j-1)个栅格，第(i,j+1)个栅格，第(i+1,j-1)个栅格，第(i+1,j)个栅格和第(i+1,j+1)个栅格，其示意图参考图9所示)的状态属性没有相同的状态时，那么融合后的二维地图中第(i,j)个栅格的状态属性与基于激光数据构建的二维地图中第(i,j)个栅格的状态属性相同，也就是说当且或者时，如果与中至少又一个相等，那么如果与 中均不相等，那么从而得到融合后的地图，并保存在地图融合模块1004中。
具体地，所述导航模块1005是基于所获得的二维地图进行安全导航。其中封装了必要的算法，如路径规划等；
进一步地，导航模块1005可从地图构建模块中通过1008获取基于伪激光构建的二维地图，并执行路径规划和导航，其中涉及一种基于伪激光导航方法。
更进一步地，所述基于伪激光导航方法是将伪激光数据作为触发机器人避障行为的依据。机器人根据实时的伪激光数据估计其当前位置与障碍物之间的距离DISTP-L决定是否执行避障行为；当机器人当前位置与障碍物之间的距离DISTP-L小于设置的安全距离DISTS时(DISTP-L＜DISTS)，则触发机器人避障行为。
进一步地，导航模块1005也可从地图融合模块中通过004获取融合后的二维地图，并执行路径规划和导航，其中涉及一种基于伪激光和激光数据的导航方法。
更进一步地，所述基于伪激光和激光数据的导航方法在激光传感器可用的情况下，综合考虑伪激光数据和激光数据来决定机器人是否执行避障行为，也就是取用于描述机器人当前位置到障碍物距离的伪激光数DISTP-L和用于描述机器人当前位置到障碍物距离的激光数据DISTL-D中最小值作为触发避障行为的依据，即min{DISTP-L,DISTL-D}。当DISTP-L和DISTL-D中最小值小于设置的安全距离DISTS时(min{DISTP-L,DISTL-D}＜DISTS)，则触发机器人避障行为。
本实施例提出的机器人地图构建与导航装置，不仅可以让机器人将室内环境中的障碍物正确地表示在二维地图上，还可以让机器人规划出真正安全的行驶路线和稳定地作业在室内环境中。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种伪激光数据生成方法，其特征在于，包括：
接收视觉传感器传送来的障碍物视觉信息；
保留视觉传感器观测视角范围内以及最大有效观测高度范围内的障碍物视觉信息，进而生成三维点云；
将三维点云纵向按列扫描，逐列提取出深度信息最小的点来模拟激光信号的点，进而生成伪激光数据。
2.一种地图构建方法，其特征在于，采用基于粒子滤波器的SLAM算法构建出伪激光二维地图；其中，基于粒子滤波器的SLAM算法中的建议分布函数融合如权利要求1所述的伪激光数据生成方法生成的伪激光数据。
3.如权利要求2所述的一种地图构建方法，其特征在于，采用基于粒子滤波器的SLAM算法构建出伪激光二维地图的过程，包括：
采样步骤：根据上一次机器人位姿估计结果，从融合所述的伪激光数据生成方法生成的伪激光数据的建议分布函数中采用得到新的粒子集；
权重计算步骤：根据重要性采样原则，为每个粒子分配一个的重要性权重；
重采样步骤：通过评估所有粒子权重的分散程度进行判断粒子是否执行重采样过程；
地图构建步骤：根据位姿估计结果和上一时刻已创建的地图,并基于历史观测数据,对于每个粒子分别创建新地图，最终得到用于机器人安全导航的二维地图。
4.一种地图融合方法，其特征在于，将激光二维地图与如权利要求2-3所述的地图构建方法构建出的伪激光二维地图进行融合，得到融合二维地图；激光二维地图由基于粒子滤波器的SLAM算法而构建；基于粒子滤波器的SLAM算法中的建议分布函数融合激光观测数据；
在融合伪激光二维地图和激光二维地图的过程中，融合二维地图预设宽度边框的栅格的状态属性直接采用激光二维地图等宽度边框的栅格的状态属性；
除边框的栅格外，在融合伪激光二维地图和激光二维地图的过程中：
当伪激光二维地图和激光二维地图的对应栅格的状态属性相同时，融合二维地图对应的栅格的状态属性与当前状态属性相同；
当伪激光二维地图和激光二维地图的对应栅格的状态属性不同，且激光二维地图对应栅格的状态属性为占有时，融合二维地图对应的栅格的状态属性为占有。
5.如权利要求4所述的一种地图融合方法，其特征在于，除边框的栅格外，在融合伪激光二维地图和激光二维地图的过程中：
当伪激光二维地图和激光二维地图的对应栅格的状态属性不同，且激光二维地图对应栅格的状态属性为空闲或未知时，若伪激光二维地图对应栅格的状态属性与其周围八个栅格的状态属性中任一者存在相同状态属性时，融合二维地图对应的栅格的状态属性与伪激光二维地图对应栅格的状态属性相同。
6.如权利要求5所述的一种地图融合方法，其特征在于，除边框的栅格外，在融合伪激光二维地图和激光二维地图的过程中：
当伪激光二维地图和激光二维地图的对应栅格的状态属性不同，且激光二维地图对应栅格的状态属性为空闲或未知时，若伪激光二维地图对应栅格的状态属性与其周围八个栅格的状态属性中任一者均不存在相同状态属性时，融合二维地图对应的栅格的状态属性与激光二维地图对应栅格的状态属性相同。
7.一种导航方法，其特征在于，基于如权利要求2-3中任一项所述的地图构建方法构建得到伪激光二维地图进行全局路径规划和动态障碍物避障。
8.一种导航方法，其特征在于，基于如权利要求4-6中任一项所述的地图融合方法构建得到融合地图进行全局路径规划和动态障碍物避障。
9.一种机器人系统，其特征在于，包括视觉传感器和控制器，所述控制器包括数据处理模块，其被配置为采用如权利要求1所述的伪激光数据生成方法对视觉传感器传送来的障碍物视觉信息进行处理，生成伪激光数据；
地图构建模块，其被配置为采用如权利要求2-3中任一项所述的地图构建方法构建得到伪激光二维地图；
导航模块，其被配置为采用如权利要求7所述的导航方法进行导航及路径规划。
10.一种机器人系统，其特征在于，包括视觉传感器、激光传感器和控制器，所述视觉传感器和激光传感器均与控制器相连，所述控制器，包括：
数据处理模块，其被配置为采用如权利要求1所述的伪激光数据生成方法对视觉传感器传送来的障碍物视觉信息进行处理，生成伪激光数据；
地图构建模块，其被配置为采用如权利要求2-3中任一项所述的地图构建方法构建得到伪激光二维地图；
地图融合模块，其被配置为采用如权利要求4-6中任一项所述的地图融合方法构建得到融合地图；
导航模块，其被配置为采用如权利要求8所述的导航方法进行导航及路径规划。
CN201910808370.0A 2019-08-29 2019-08-29 伪激光数据生成方法、地图构建方法、导航方法及系统 Active CN110595457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910808370.0A CN110595457B (zh) 2019-08-29 2019-08-29 伪激光数据生成方法、地图构建方法、导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910808370.0A CN110595457B (zh) 2019-08-29 2019-08-29 伪激光数据生成方法、地图构建方法、导航方法及系统

Publications (2)

Publication Number Publication Date
CN110595457A true CN110595457A (zh) 2019-12-20
CN110595457B CN110595457B (zh) 2020-12-22

Family

ID=68856241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910808370.0A Active CN110595457B (zh) 2019-08-29 2019-08-29 伪激光数据生成方法、地图构建方法、导航方法及系统

Country Status (1)

Country Link
CN (1) CN110595457B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253297A (zh) * 2021-06-21 2021-08-13 中国人民解放军国防科技大学 融合激光雷达和深度相机的地图构建方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120053755A1 (en) * 2010-08-30 2012-03-01 Denso Corporation Traveling environment recognition device and method
DE102015213558A1 (de) * 2015-07-20 2017-01-26 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Fusion zweier Hinderniskarten zur Umfelddetektion
CN106651821A (zh) * 2016-11-25 2017-05-10 北京邮电大学 一种基于二阶矩保持传播算法的拓扑地图融合方法及系统
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120053755A1 (en) * 2010-08-30 2012-03-01 Denso Corporation Traveling environment recognition device and method
DE102015213558A1 (de) * 2015-07-20 2017-01-26 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Fusion zweier Hinderniskarten zur Umfelddetektion
CN106651821A (zh) * 2016-11-25 2017-05-10 北京邮电大学 一种基于二阶矩保持传播算法的拓扑地图融合方法及系统
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
卜燕: "基于ROS的移动机器人地图创建方法与应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张毅等: "一种融合激光和深度视觉传感器的SLAM地图创建方法", 《计算机应用研究》 *
魏豪左: "基于深度视觉的室内移动机器人SLAM算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253297A (zh) * 2021-06-21 2021-08-13 中国人民解放军国防科技大学 融合激光雷达和深度相机的地图构建方法及装置
CN113253297B (zh) * 2021-06-21 2021-09-17 中国人民解放军国防科技大学 融合激光雷达和深度相机的地图构建方法及装置

Also Published As

Publication number Publication date
CN110595457B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN110082781B (zh) 基于slam技术与图像识别的火源定位方法及系统
CN112525202A (zh) 一种基于多传感器融合的slam定位导航方法及系统
US8024072B2 (en) Method for self-localization of robot based on object recognition and environment information around recognized object
US8036775B2 (en) Obstacle avoidance system for a user guided mobile robot
KR101439921B1 (ko) 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 ｓｌａｍ 시스템
JP2019125354A (ja) 情報処理装置、システム、方法、およびプログラム
CN109116867A (zh) 一种无人机飞行避障方法、装置、电子设备及存储介质
CN109541535A (zh) 一种基于uwb和视觉slam的agv室内定位及导航的方法
EP4141474A1 (en) System for 3d surveying by an autonomous robotic vehicle using lidar-slam and an estimated point distribution map for path planning
ElHalawany et al. Modified a* algorithm for safer mobile robot navigation
CN118020038A (zh) 两轮自平衡机器人
CN110751123A (zh) 一种单目视觉惯性里程计系统及方法
CN111168685B (zh) 机器人控制方法、机器人和可读存储介质
Sales et al. 3d vision-based autonomous navigation system using ann and kinect sensor
CN110595457B (zh) 伪激光数据生成方法、地图构建方法、导航方法及系统
KR101319526B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
CN113158779B (zh) 一种行走方法、装置和计算机存储介质
CN111595328B (zh) 基于深度相机的真实障碍物地图构建和导航方法及系统
CN114460939A (zh) 复杂环境下智能行走机器人自主导航改进方法
CN113848561A (zh) 深度视觉相机与激光雷达融合的导航方法、系统及设备
Watkins-Valls et al. Mobile manipulation leveraging multiple views
KR100784125B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
CN115855086A (zh) 基于自旋转的室内场景自主重建方法、系统及介质
CN112182122A (zh) 一种移动机器人工作环境导航地图的获取方法及装置
Lim et al. MSDPN: Monocular depth prediction with partial laser observation using multi-stage neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant