CN115167433B - 融合全局视觉的机器人自主探索环境信息的方法及系统 - Google Patents

融合全局视觉的机器人自主探索环境信息的方法及系统 Download PDF

Info

Publication number
CN115167433B
CN115167433B CN202210865835.8A CN202210865835A CN115167433B CN 115167433 B CN115167433 B CN 115167433B CN 202210865835 A CN202210865835 A CN 202210865835A CN 115167433 B CN115167433 B CN 115167433B
Authority
CN
China
Prior art keywords
global
robot
target point
information
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210865835.8A
Other languages
English (en)
Other versions
CN115167433A (zh
Inventor
胡广华
李浩勤
欧美彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210865835.8A priority Critical patent/CN115167433B/zh
Publication of CN115167433A publication Critical patent/CN115167433A/zh
Application granted granted Critical
Publication of CN115167433B publication Critical patent/CN115167433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种融合全局视觉的机器人自主探索环境信息的方法及系统，该方法包括下述步骤：在场景天花板布置鱼眼相机采集全局视觉信息图像；将全局视觉信息图像进行语义分割得到室内语义分割图像结果，对室内语义分割图像结果进行图像二值化处理，提取二值化图像中待探索环境的全局通行区域图像；对全局通行区域图像进行Voronoi图分割，得到基于Voronoi图分割的区域分割结果，对区域分割结果构建全局图结构；基于全局图结构进行TSP求解，获得各Voronoi图分割子区域的全局遍历顺序，计算各节点所需的TSP行驶距离，获取候选边界集，控制移动机器人进行基于边界的自主探索。本发明在能获取大范围室内环境信息，提高了环境信息获取的完整性、可靠性。

Description

融合全局视觉的机器人自主探索环境信息的方法及系统
技术领域
本发明涉及机器人同步定位与建图技术领域，具体涉及一种融合全局视觉的机器人自主探索环境信息的方法及系统。
背景技术
机器人的自主探索技术是指利用各种传感器来自动引导机器人对未知环境进行探索的智能化技术，探索过程无需人工操控，避免了人力成本耗费问题。然而，如图1所示，当场景中存在空间较狭小的瓶颈区域时，经典的自主探索技术无法准确评估该类区域的信息增益，从而在探索过程中遗漏瓶颈结构后方的重要环境信息，增加了机器人回溯次数，这会导致总探索时间及总探索距离更长；特别是当面对大而复杂的室内环境时，会大幅降低机器人的自主探索效率，并对机器人的续航能力提出了更高的要求。
近年来出现融合TSP(旅行商问题)模型提高自主探索效率的研究，通过引入环境拓扑结构信息，再利用TSP算法求解出机器人最佳遍历顺序，可以缩短总探索距离，节约探索时间。现有的自主探索和建图方法中，将机器人周围局部环境空间分割为若干个方形子空间，同时采用TSP模型得到各个子空间的遍历路径，该路径与从信息理论评估得到的局部路径相结合，在一定程度上可以提高探索效率。但是，TSP算法的有效性依赖于全局环境拓扑结构信息，而该方法所用传感器搭载于机身，这就从根本上限制了对全局环境信息的获取能力，其结果是通过TSP模型获得的路径偏离全局最优。尤其是当机器人周围存在瓶颈结构、障碍物时，位于瓶颈结构及障碍物后方的区域形成了探测盲区，TSP给出的遍历路径将错误地忽略这些区域，机器人不得不进行多次回溯，这将严重降低机器人的自主探索效率。为此，Obwald、Bennewitz等人通过引入整体环境的拓扑结构，在此基础上将TSP模型与自主探索技术相结合，由于能够充分利用环境的全局信息，该方法得到的TSP解具有全局最优性，有效避免了探索过程中多次遍历重复区域，使总探索时间和总探索距离大幅降低；但是，该方法所依赖的环境先验知识是通过人工输入的，事先需进行精确的环境几何信息测绘、编辑及数据格式转换，过程枯燥繁琐、低效，且易因人的主观出错，对操作者的专业技能要求也高，在实际应用中会造成额外的人力成本耗费，限制了机器人自主探索在大规模、动态多变场景中的实际应用。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种融合全局视觉的机器人自主探索环境信息的方法及系统，通过在场景天花板中布置鱼眼相机获取全局环境信息，基于深度学习的SegNet神经网络直接对鱼眼相机图像进行语义分割，自动、准确提取全局通行区域，运用Voronoi图分割的方法自动求解整体环境的拓扑结构，免去人工干预问题，融合TSP模型实现机器人智能自主探索。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种融合全局视觉的机器人自主探索环境信息的方法，包括下述步骤：
在场景天花板布置鱼眼相机，通过鱼眼相机采集全局视觉信息图像；
将全局视觉信息图像通过SegNet网络模型进行语义分割，得到室内语义分割图像结果，对室内语义分割图像结果进行图像二值化处理，提取二值化图像中待探索环境的全局通行区域图像；
对全局通行区域图像进行Voronoi图分割，得到基于Voronoi图分割的区域分割结果，对区域分割结果构建全局图结构；
基于全局图结构进行TSP求解，获得各Voronoi图分割子区域的全局遍历顺序，计算各节点所需的TSP行驶距离，获取候选边界集，控制移动机器人进行基于边界的自主探索。
作为优选的技术方案，所述对区域分割结果构建全局图结构，具体步骤包括：
在可通行区域内构建Voronoi图，构建用于最小化局部间隙的临界点，得到临界线，获得初始的Voronoi区域，采用启发式方法将具有相似结构的Voronoi区域进行合并，得到用于探索环境信息的各个子区域，将获得的各子区域将进行颜色标记，同时根据各颜色区域的像素信息进行中心点坐标提取，将各子区域中心点的坐标作为图结构的节点；
将全局通行区域图像栅格化，并采用A*算法计算各子区域中心点坐标之间的路径成本，作为图结构的边；
基于目标检测算法得到机器人起始位置坐标，计算机器人起始位置至各子区域中心点坐标欧氏距离，取最小距离的节点作为起始节点。
作为优选的技术方案，所述采用启发式方法将具有相似结构的Voronoi区域进行合并，相似结构的Voronoi区域包括：
区域面积小于设定的激光雷达探索面积且只有一个邻居且边界接触墙壁少于75％的区域；
和/或，低于设定阈值大小的区域与至少有20％的区域边界像素接触的周围区域合并；
和/或，共享边界超过设定阈值的区域；
和/或，周长超过40％与另一部分接触的区域。
作为优选的技术方案，所述计算各节点所需的TSP行驶距离，具体包括：
TSP行驶距离为在遍历顺序约束下，起始节点移动至当前节点所耗费的路径成本，具体表示为：
其中，start表示起始节点；Nk表示当前所达节点，length表示所耗费的路径成本，表示TSP行驶距离。
作为优选的技术方案，所述获取候选边界集，控制移动机器人进行基于边界的自主探索，具体步骤包括：
获取机器人周围的场景信息，采用SLAM算法Gmapping对当前环境地图进行构建，遍历所获得栅格地图，栅格地图包括占用区域、无占用区域和未知区域，其中无占用区域与未知区域之间具有多个边界，通过设定长度阈值筛选出候选边界集；
对所获得的候选边界集中的每个边界进行质心坐标计算，获得候选目标点集；
判断候选目标点集是否为空集，若为空集则结束自主探索，若不是空集，则继续执行自主探索；
计算以候选目标点为质心的，经过边界探索策略定义为属于同一边界的边界点数量，即为该候选目标点所对应边界的近似长度，作为该候选目标点的信息增益值；
对于每一个候选目标点，计算当前机器人位置到该候选目标点的A*路径长；
计算各候选目标点与图结构中各节点坐标的欧氏距离，获取距离最近的节点所对应的TSP行驶距离；
将TSP行驶距离加入至候选目标点评估函数中，获得以全局遍历顺序约束的最佳目标点；
控制机器人移动至最佳目标点对位置区域进行探索，扩充栅格地图，直至地图中无候选目标点集，则当前室内地图为建立好的完整地图。
作为优选的技术方案，所述采用SLAM算法Gmapping对当前环境地图进行构建，具体步骤包括：
基于Gmapping处理环境信息以构建具有环境点集中的环境点的代价地图，获取静态层生成阈值，并根据静态层生成阈值更新代价地图。
作为优选的技术方案，所述将TSP行驶距离加入至候选目标点评估函数中，获得以全局遍历顺序约束的最佳目标点，候选目标点评估函数表示为：
cost(F)＝α1·dis(R，F)-α2·ING(F)+α3·dis_tsp(F)
其中，R表示机器人当前位姿信息，F表示候选边界点的位置信息，dis(R，F)表示机器人当前位姿与候选边界点的距离成本，ING(F)表示候选边界点的当前信息增益信息，dis_tsp(F)表示候选边界点的TSP行驶距离成本，α1、α2、α3表示距离成本、信息增益信息和TSP行驶距离成本对应的成本因子。
作为优选的技术方案，所述控制移动机器人进行基于边界的自主探索，自主探索的更新策略包括：
在导航过程中，当移动机器人判断出无法从当前点到达导航目标点时，即导航目标点更新为占用状态，该点具有障碍物，自主探索策略更新；
在导航过程中，当移动机器人行驶距离达到设定的距离阈值后，自主探索策略更新；
在导航过程中，当移动机器人行驶时间超过设定的时间阈值后，自主探索策略更新。
本发明还提供一种融合全局视觉的机器人自主探索环境信息的系统，包括：鱼眼相机、语义分割模块、图像二值化模块、全局通行区域图像提取模块、Voronoi图分割模块、全局图结构构建模块、TSP求解模块、TSP行驶距离计算模块、候选边界集获取模块和控制探索模块；
所述鱼眼相机布置于场景天花板，用于采集全局视觉信息图像；
所述语义分割模块用于将全局视觉信息图像通过SegNet网络模型进行语义分割，得到室内语义分割图像结果；
所述图像二值化模块用于对室内语义分割图像结果进行图像二值化处理；
所述全局通行区域图像提取模块用于提取二值化图像中待探索环境的全局通行区域图像；
所述Voronoi图分割模块用于对全局通行区域图像进行Voronoi图分割，得到基于Voronoi图分割的区域分割结果；
所述全局图结构构建模块用于对区域分割结果构建全局图结构；
所述TSP求解模块用于基于全局图结构进行TSP求解，获得各Voronoi图分割子区域的全局遍历顺序；
所述TSP行驶距离计算模块用于计算各节点所需的TSP行驶距离；
所述候选边界集获取模块用于获取候选边界集；
所述控制探索模块用于控制移动机器人进行基于边界的自主探索。
本发明与现有技术相比，具有如下优点和有益效果：
(1)相比于现有的机器人机身搭载传感器的方案，本发明在场景天花板中布置鱼眼相机，能获取大范围室内环境信息，由于通过俯视拍摄，可有效避免瓶颈结构遮挡造成的环境信息缺失，解决了环境信息获取的完整性、可靠性的技术问题。
(2)本发明采用从鱼眼图像到用于TSP模型的全局拓扑结构的自动化生成方式，其中，采用基于SegNet深度卷积神经网络进行鱼眼图像语义分割，通过深度神经网络的强大泛化能力，解决了复杂环境中全局通行区域的自动化、智能化提取问题；采用Voronoi图分割的技术方案，解决了自动求解整体环境拓扑结构的技术问题，该过程无需人工进行精确的环境几何信息测绘、编辑及数据格式转换等操作，避免了人力成本的耗费。
附图说明
图1为现有场景中存在瓶颈区域的示意图；
图2为本发明融合全局视觉的机器人自主探索环境信息的方法的流程示意图；
图3(a)为本发明鱼眼相机获取的全局视觉信息图像示意图；
图3(b)为本发明待探索环境的全局通行区域示意图；
图4为本发明的Voronoi图分割区域结果示意图；
图5(a)为经典的基于边界的自主探索的轨迹结果示意图；
图5(b)为本发明机器人自主探索环境信息的轨迹结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图2所示，本实施例提供一种融合全局视觉的机器人自主探索环境信息的方法，具体包括下述步骤：
S1：在场景天花板布置鱼眼相机，通过鱼眼相机采集全局视觉信息图像；
在本实施例中，由于鱼眼相机具有广角镜头，视角可达180°以上，因此在室内天花板布置的鱼眼相机，可通过俯视拍摄获得环境中大范围的场景信息；
如图3(a)所示，鱼眼相机对场景进行单次拍摄，所获取的全局视觉信息可以理解为待探索环境的俯视图像，该视野下所获取的环境信息具有全局性，可以克服机载传感器无法解决的遮挡问题，特别地，瓶颈结构所遮挡的环境信息可以被鱼眼相机完整地获取，因此，鱼眼相机获取的全局环境信息具有高可靠性。
在本实施例中，鱼眼相机采用海康威视3955FWD-IWS，通过网络通讯传输至机器人控制系统进行全局通行区域的检测，该检测在机器人开始移动并进行自主探索任务前开始执行；
S2：基于全局视觉信息图像提取全局通行区域图像，具体步骤包括：
S21：将全局视觉信息图像通过SegNet网络模型进行语义分割，得到室内语义分割图像结果；
由于鱼眼相机图像存在畸变，且俯视成像，因此SegNet网络模型需要通过虚拟场景数据集THEODORE进行训练，该数据集具有庞大的鱼眼图像及标签，可以使网络模型对于畸变的鱼眼相机图像具有较高的鲁棒性，该训练过程单次离线完成；
由于深度神经网络具有的强大泛化能力，该步骤仅需输入鱼眼图像即可在复杂的全局环境中分割出地面、障碍物等语义信息，通过处理俯视拍摄图像得到的语义分割图像不存在探测盲区，尤其能完整地获取被瓶颈结构遮挡的环境语义信息，且无需频繁的人工测绘、编辑，是一种处理鱼眼图像的自动化、智能化方法。
S22：对室内语义分割图像结果进行图像二值化处理；
当得到室内语义分割图像结果时，由于最终生成的全局拓扑结构信息仅与地面信息相关，其他语义信息是一种冗余信息，因此对地面标签进行筛选，对具有地面标签的像素坐标点赋予255的像素值，作为地面可通行区域，非地面标签(背景)的坐标点赋予0的像素值；
S23：提取二值化图像中待探索环境的全局通行区域图像；
如图3(b)所示，将图像二值化处理后得到的二值化图像中的高亮区域输出为待探索环境的全局通行区域，由于图像二值化处理的是不存在探测盲区的语义分割图像，因此所获取的通行区域是全局的、完整的、待机器人自主移动探索的环境区域，突破了传统的人工编辑方式，提高了自动化、智能化水平。
S3：构建整体环境的拓扑结构；
S31：提取Voronoi图分割区域；
对全局通行区域图像使用Voronoi图分割的方法，即在可通行区域内构建Voronoi图，并定义能够最小化局部间隙的点作为临界点，从而得到临界线，得到初始的Voronoi区域，最后结合启发式方法将具有相似结构的Voronoi区域进行合并，得到易于探索环境信息的各子区域。
在本实施例中，启发式合并方法主要包括三个考虑因素：(1)区域面积小于激光雷达探索面积(25m2)且只有一个邻居且边界接触墙壁少于75％的区域；(2)低于阈值大小(2m2)的小区域与至少有20％的小区域边界像素接触的周围区域合并；(3)合并共享大部分边界的区域；(4)合并其周长超过40％的区域与另一部分接触的区域。
本实施例中，所获得的各子区域将进行颜色标记，同时根据各颜色区域的像素信息进行中心点坐标提取，作为各子区域的中心点坐标并可视化。
如图4所示，得到基于Voronoi图分割的区域分割结果，由于处理的全局通行区域解决了瓶颈结构遮挡造成的环境信息缺失的问题，因此基于Voronoi图的区域分割方法是对完整的待探索区域进行的智能化区域划分，不存在对必要区域的遗漏，得到的Voronoi图分割区域是高度可靠的。
S32：构建全局拓扑结构
对Voronoi图分割区域构建全局图(Graph)结构，可分为三个步骤：
(1)构建图节点，以步骤S31中获得的各子区域中心点的坐标作为图结构的节点；
(2)构建图的边，将步骤S2中获得的全局通行区域图像栅格化，并采用A*算法计算各子区域中心点坐标(节点)之间的路径成本，作为图结构的边；
(3)使用目标检测算法得到机器人起始位置坐标，计算机器人起始位置至各子区域中心点坐标欧氏距离，取最小距离的节点作为起始节点。
在本实施例中，由于所获得的Voronoi图分割区域源自于俯视拍摄的全局视觉图像，避免了机载传感器局限性造成的对瓶颈结构后方的必要区域的忽略，因此本步骤得到的拓扑结构信息具有严格的全局性，符合TSP算法的有效性需求，且不再需要人为主观地对各节点进行定义、编辑及数据格式转换等繁琐低效的操作，能自动化地为融合TSP模型的自主探索算法提供高度可靠的全局拓扑结构信息。
S4：融合TSP模型进行自主探索，具体包括：
S41：获取TSP解，计算各节点所需的TSP行驶距离，具体步骤包括：
(1)根据步骤S3所获得的全局拓扑结构，采用贪心算法进行旅行商问题(TSP)求解，即每次选择当前距离最短的节点作为下一个目标节点，最终得到各节点的先后遍历顺序；其中，各节点的先后遍历顺序即为各Voronoi图分割子区域的全局遍历顺序，该遍历顺序将不存在对探测盲区的错误性忽略；
(2)根据所获得的全局遍历顺序，定义各节点所需的TSP行驶距离，具体地，TSP行驶距离为在遍历顺序约束下，起始节点移动至当前节点所耗费的路径成本，可根据以下公式计算：
其中，start表示起始节点；Nk表示当前所达节点。
S42：融合步骤S41所获得的TSP解，作为一种由全局视觉信息提供的先验信息，进行基于边界的自主探索，具体步骤包括：
(1)获取候选边界集。具体地，通过搭载二维激光雷达的移动机器人，获得机器人周围的场景信息，采用SLAM算法Gmapping对当前环境地图进行构建，遍历所获得栅格地图，栅格地图包括占用区域(Occupied)，无占用区域(Free)和未知区域(Unknow)，其中无占用区域(Free)与未知区域(Unknow)的边界为本步骤所需的边界，由于环境信息未探索完成，因此具有多个边界，特别地，为避免无效的边界加入评估，本实施例通过设定长度阈值筛选出候选边界集合。
其中，获取激光雷达设备采集的环境信息，并基于环境信息构建代价地图通过获取雷达设备采集的环境信息点集，然后利用Gmapping程序处理环境信息，以构建具有环境点集中的环境点的代价地图，最后，获取静态层生成阈值，并根据静态层生成阈值更新代价地图。
(2)获取候选目标点集。具体地，对所获得的候选边界集中的每个边界进行质心坐标计算，获得候选目标点集；其中，质心坐标计算解决方法是在x方向和y方向上分别独立地找出质心。
(3)判断候选目标点集是否为空集，若为空集则结束自主探索，若不是空集，则继续执行以下步骤。
若当前地图已无候选目标点，则表明建图机器人已获得目标空间的所有环境信息，该地图为目标空间的完整室内地图；若当前局部室内地图还有候选目标点，则表明移动机器人仅获得目标空间的部分环境信息，从而根据部分环境信息构建的地图也即为局部地图。
(4)信息增益计算。具体地，在信息增益模型计算中，计算以候选目标点为质心的，经过边界探索策略定义为属于同一边界的边界点数量，即为该候选目标点所对应边界的近似长度，作为该候选目标点的信息增益值ING(F)；
(5)路径长度计算。对于每一个候选目标点，都会计算当前机器人位置到该候选目标点的A*路径长，作为dis(R，F)的结果；
(6)计算TSP行驶距离。当获得候选目标点集时，各候选目标点会与图中各节点坐标进行欧氏距离计算，取距离最近的节点所对应的TSP行驶距离作为dis_tsp(F)的结果；
(7)获取最佳目标点。通过评估函数，得到使评估函数最小的点作为最佳目标点；
在本实施例中，需要驱动机器人移动至探索收益最高的目标点，即评估函数最小的点，探索收益最高目标点不仅仅取决于当前地图信息，也取决于步骤S3所获得的全局遍历顺序，即TSP行驶成本距离；该步骤目标在于能够最大限度地减少构建完整地图所需的探索时间；
具体地，将TSP行驶距离加入至候选目标点评估函数中，获得以全局遍历顺序约束的最佳目标点；
候选目标点评估函数表示为：
cost(F)＝α1·dis(R，F)-α2·ING(F)+α3·dis_tsp(F)
式中，R为机器人当前位姿信息；F为候选边界点的位置信息；dis(R，F)为机器人当前位姿与候选边界点的距离成本，ING(F)为候选边界点的当前信息增益信息；dis_tsp(F)为候选边界点的TSP行驶距离成本；α为成本因子，其中α3会得到较高的权重。
由于本发明倾向于使机器人按全局遍历顺序进行探索，因此α3会作为较高的权重因子加入评估。最后，在实际操作中α1取2、α2取3，α3取10，取Min{cost(F)}作为最佳目标点进行下一步探索。
(8)机器人导航。具体地，控制机器人移动至最佳目标点对位置区域进行探索，扩充栅格地图。
具体地，移动机器人以当前最佳目标点作为导航目标进行路径规划，采用A*算法，由于机器人在移动过程中所构建的局部地图会发生变化，此时最佳目标点不再存在边界，且会出现新的边界，因此需要返回步骤(1)对边界进行重新检测，并对新的候选目标点集进行重新评估，具体地，需要设置机器人进行基于边界的自主探索的更新规则。
在本实施例中，主要考虑三个因素进行自主探索策略的更新：(1)在导航过程中，当机器人判断出无法从当前点到达导航目标点时，即导航目标点更新为占用状态(Occupied)，该点具有障碍物，自主探索策略更新；(2)在导航过程中，当机器人行驶规定的距离后，自主探索策略更新，具体地，该行驶步长取2m；(3)在导航过程中，当移动机器人行驶时间超过规定的限度后，自主探索策略更新，且当前导航目标点不在作为候选目标点，具体地，该时间步长设置为50s。
最后，直至地图中无候选目标点集，则当前室内地图为建立好的完整地图。
本实施例选用具有多个凸区域的室内场景，区域由家具、墙体等障碍物隔开，对最后得到的结果进行对比分析：如图5(a)所示，为经典的基于边界的自主探索的轨迹结果，其评估函数包括了信息增益与路径规划距离，其时间开销为185s，轨迹长度42.24m；如图5(b)所示，为本实施例所采用的自主探索方法的轨迹结果，加入了全局视觉信息，其时间开销为123s，轨迹长度为33.1m；计算可得，本实施例时间开销减少了33.5％，轨迹长度减少了21.6％，证明了本发明自主探索方法具有实用性及稳定性，提高了自主探索的效率。
实施例2
本实施例提供一种融合全局视觉的机器人自主探索环境信息的系统，包括：鱼眼相机、语义分割模块、图像二值化模块、全局通行区域图像提取模块、Voronoi图分割模块、全局图结构构建模块、TSP求解模块、TSP行驶距离计算模块、候选边界集获取模块和控制探索模块；
在本实施例中，鱼眼相机布置于场景天花板，用于采集全局视觉信息图像；
在本实施例中，语义分割模块用于将全局视觉信息图像通过SegNet网络模型进行语义分割，得到室内语义分割图像结果；
在本实施例中，图像二值化模块用于对室内语义分割图像结果进行图像二值化处理；
在本实施例中，全局通行区域图像提取模块用于提取二值化图像中待探索环境的全局通行区域图像；
在本实施例中，Voronoi图分割模块用于对全局通行区域图像进行Voronoi图分割，得到基于Voronoi图分割的区域分割结果；
在本实施例中，全局图结构构建模块用于对区域分割结果构建全局图结构；
在本实施例中，TSP求解模块用于基于全局图结构进行TSP求解，获得各Voronoi图分割子区域的全局遍历顺序；
在本实施例中，TSP行驶距离计算模块用于计算各节点所需的TSP行驶距离；
在本实施例中，候选边界集获取模块用于获取候选边界集；
在本实施例中，控制探索模块用于控制移动机器人进行基于边界的自主探索。
本发明通过在场景天花板中布置鱼眼相机；相比于机器人机身搭载的传感方案，能获取大范围室内环境信息，由于通过俯视拍摄，可有效避免瓶颈结构遮挡造成的环境信息缺失，解决了环境信息获取的完整性、可靠性的技术问题。然后提出了一种从鱼眼图像到用于TSP模型的全局拓扑结构的自动化生成方法；其中，采用基于SegNet深度卷积神经网络进行鱼眼图像语义分割，通过深度神经网络的强大泛化能力，解决了复杂环境中全局通行区域的自动化、智能化提取问题；采用Voronoi图分割的技术方案，解决了自动求解整体环境拓扑结构的技术问题，该过程无需人工进行精确的环境几何信息测绘、编辑及数据格式转换等操作，避免了人力成本的耗费；最后采用了融合TSP解决方案的自主探索方法，解决了探索过程中对瓶颈结构后方的重要环境信息的遗漏问题，避免了多次遍历不必要的区域，减少了自主探索的总探索时间和总探索距离，提高了自主探索的效率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种融合全局视觉的机器人自主探索环境信息的方法，其特征在于，包括下述步骤：
在场景天花板布置鱼眼相机，通过鱼眼相机采集全局视觉信息图像；
将全局视觉信息图像通过SegNet网络模型进行语义分割，得到室内语义分割图像结果，对室内语义分割图像结果进行图像二值化处理，提取二值化图像中待探索环境的全局通行区域图像；
对全局通行区域图像进行Voronoi图分割，得到基于Voronoi图分割的区域分割结果，对区域分割结果构建全局图结构；
所述对区域分割结果构建全局图结构，具体步骤包括：
在可通行区域内构建Voronoi图，构建用于最小化局部间隙的临界点，得到临界线，获得初始的Voronoi区域，采用启发式方法将具有相似结构的Voronoi区域进行合并，得到用于探索环境信息的各个子区域，将获得的各子区域将进行颜色标记，同时根据各颜色区域的像素信息进行中心点坐标提取，将各子区域中心点的坐标作为图结构的节点；
将全局通行区域图像栅格化，并采用A*算法计算各子区域中心点坐标之间的路径成本，作为图结构的边；
基于目标检测算法得到机器人起始位置坐标，计算机器人起始位置至各子区域中心点坐标欧氏距离，取最小距离的节点作为起始节点；
基于全局图结构进行TSP求解，获得各Voronoi图分割子区域的全局遍历顺序，计算各节点所需的TSP行驶距离，获取候选边界集，控制移动机器人进行基于边界的自主探索；
所述计算各节点所需的TSP行驶距离，具体包括：
TSP行驶距离为在遍历顺序约束下，起始节点移动至当前节点所耗费的路径成本，具体表示为：
其中，start表示起始节点；Nk表示当前所达节点，length表示所耗费的路径成本，表示TSP行驶距离；
所述获取候选边界集，控制移动机器人进行基于边界的自主探索，具体步骤包括：
获取机器人周围的场景信息，采用SLAM算法Gmapping对当前环境地图进行构建，遍历所获得栅格地图，栅格地图包括占用区域、无占用区域和未知区域，其中无占用区域与未知区域之间具有多个边界，通过设定长度阈值筛选出候选边界集；
对所获得的候选边界集中的每个边界进行质心坐标计算，获得候选目标点集；
判断候选目标点集是否为空集，若为空集则结束自主探索，若不是空集，则继续执行自主探索；
计算以候选目标点为质心的，经过边界探索策略定义为属于同一边界的边界点数量，即为该候选目标点所对应边界的近似长度，作为该候选目标点的信息增益值；
对于每一个候选目标点，计算当前机器人位置到该候选目标点的A*路径长；
计算各候选目标点与图结构中各节点坐标的欧氏距离，获取距离最近的节点所对应的TSP行驶距离；
将TSP行驶距离加入至候选目标点评估函数中，获得以全局遍历顺序约束的最佳目标点；
控制机器人移动至最佳目标点对位置区域进行探索，扩充栅格地图，直至地图中无候选目标点集，则当前室内地图为建立好的完整地图。
2.根据权利要求1所述的融合全局视觉的机器人自主探索环境信息的方法，其特征在于，所述采用启发式方法将具有相似结构的Voronoi区域进行合并，相似结构的Voronoi区域包括：
区域面积小于设定的激光雷达探索面积且只有一个邻居且边界接触墙壁少于75％的区域；
和/或，低于设定阈值大小的区域与至少有20％的区域边界像素接触的周围区域合并；
和/或，共享边界超过设定阈值的区域；
和/或，周长超过40％与另一部分接触的区域。
3.根据权利要求1所述的融合全局视觉的机器人自主探索环境信息的方法，其特征在于，所述采用SLAM算法Gmapping对当前环境地图进行构建，具体步骤包括：
基于Gmapping处理环境信息以构建具有环境点集中的环境点的代价地图，获取静态层生成阈值，并根据静态层生成阈值更新代价地图。
4.根据权利要求1所述的融合全局视觉的机器人自主探索环境信息的方法，其特征在于，所述将TSP行驶距离加入至候选目标点评估函数中，获得以全局遍历顺序约束的最佳目标点，候选目标点评估函数表示为：
cost(F)＝α1·dis(R，F)-α2·ING(F)+α3·dis_tsp(F)
其中，R表示机器人当前位姿信息，F表示候选边界点的位置信息，dis(R，F)表示机器人当前位姿与候选边界点的距离成本，ING(F)表示候选边界点的当前信息增益信息，dis_tsp(F)表示候选边界点的TSP行驶距离成本，α1、α2、α3表示距离成本、信息增益信息和TSP行驶距离成本对应的成本因子。
5.根据权利要求1所述的融合全局视觉的机器人自主探索环境信息的方法，其特征在于，所述控制移动机器人进行基于边界的自主探索，自主探索的更新策略包括：
在导航过程中，当移动机器人判断出无法从当前点到达导航目标点时，即导航目标点更新为占用状态，该点具有障碍物，自主探索策略更新；
在导航过程中，当移动机器人行驶距离达到设定的距离阈值后，自主探索策略更新；
在导航过程中，当移动机器人行驶时间超过设定的时间阈值后，自主探索策略更新。
CN202210865835.8A 2022-07-22 2022-07-22 融合全局视觉的机器人自主探索环境信息的方法及系统 Active CN115167433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210865835.8A CN115167433B (zh) 2022-07-22 2022-07-22 融合全局视觉的机器人自主探索环境信息的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210865835.8A CN115167433B (zh) 2022-07-22 2022-07-22 融合全局视觉的机器人自主探索环境信息的方法及系统

Publications (2)

Publication Number Publication Date
CN115167433A CN115167433A (zh) 2022-10-11
CN115167433B true CN115167433B (zh) 2024-03-19

Family

ID=83497998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210865835.8A Active CN115167433B (zh) 2022-07-22 2022-07-22 融合全局视觉的机器人自主探索环境信息的方法及系统

Country Status (1)

Country Link
CN (1) CN115167433B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116016511B (zh) * 2022-12-26 2023-08-01 广东职业技术学院 一种多机器人的数据传输方法
CN115797375B (zh) * 2023-02-06 2023-05-09 厦门农芯数字科技有限公司 基于鱼眼图像实现多组标签图像的生成方法、装置及设备
CN116863453A (zh) * 2023-02-17 2023-10-10 济南邦德激光股份有限公司 一种激光切割件的自动分拣装置
CN116152277B (zh) * 2023-03-10 2023-09-22 麦岩智能科技(北京)有限公司 一种地图分割方法、装置、电子设备及介质
CN116382307B (zh) * 2023-06-05 2023-08-01 南开大学 基于未知连通区域质心的多机器人自主探索方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399614A (zh) * 2018-01-17 2018-08-14 华南理工大学 一种基于无抽样小波与Gumbel分布的织物缺陷检测方法
CN109341707A (zh) * 2018-12-03 2019-02-15 南开大学 未知环境下移动机器人三维地图构建方法
CN113110482A (zh) * 2021-04-29 2021-07-13 苏州大学 基于先验信息启发式的室内环境机器人探索方法及系统
CN113485375A (zh) * 2021-08-13 2021-10-08 苏州大学 一种基于启发式偏置采样的室内环境机器人探索方法
CN113848912A (zh) * 2021-09-28 2021-12-28 北京理工大学重庆创新中心 基于自主探索的室内地图建立方法及装置
CN114066811A (zh) * 2021-10-13 2022-02-18 华南理工大学 一种工业产品异常检测方法、系统、装置及存储介质
CN114442621A (zh) * 2022-01-17 2022-05-06 浙江大学 一种基于四足机器人的自主探索和建图系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399614A (zh) * 2018-01-17 2018-08-14 华南理工大学 一种基于无抽样小波与Gumbel分布的织物缺陷检测方法
CN109341707A (zh) * 2018-12-03 2019-02-15 南开大学 未知环境下移动机器人三维地图构建方法
CN113110482A (zh) * 2021-04-29 2021-07-13 苏州大学 基于先验信息启发式的室内环境机器人探索方法及系统
CN113485375A (zh) * 2021-08-13 2021-10-08 苏州大学 一种基于启发式偏置采样的室内环境机器人探索方法
CN113848912A (zh) * 2021-09-28 2021-12-28 北京理工大学重庆创新中心 基于自主探索的室内地图建立方法及装置
CN114066811A (zh) * 2021-10-13 2022-02-18 华南理工大学 一种工业产品异常检测方法、系统、装置及存储介质
CN114442621A (zh) * 2022-01-17 2022-05-06 浙江大学 一种基于四足机器人的自主探索和建图系统

Also Published As

Publication number Publication date
CN115167433A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN115167433B (zh) 融合全局视觉的机器人自主探索环境信息的方法及系统
Bastani et al. Roadtracer: Automatic extraction of road networks from aerial images
CN110084272B (zh) 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
Zhang et al. Vehicle tracking and speed estimation from roadside lidar
CN103247040B (zh) 基于分层拓扑结构的多机器人系统地图拼接方法
Chang et al. Mobile robot vision navigation & localization using gist and saliency
CN108983781A (zh) 一种无人车目标搜索系统中的环境探测方法
CN106840148A (zh) 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
Huang et al. A fast point cloud ground segmentation approach based on coarse-to-fine Markov random field
CN112050810B (zh) 一种基于计算机视觉的室内定位导航方法及系统
CN107179082B (zh) 基于拓扑地图和度量地图融合的自主探索方法和导航方法
CN112488061B (zh) 一种联合ads-b信息的多航空器检测与跟踪方法
CN104714555A (zh) 一种基于边缘的三维自主探索方法
CN110728751A (zh) 一种室内3d点云语义地图的构建方法
CN115388902B (zh) 室内定位方法和系统、ar室内定位导航方法和系统
CN114612780A (zh) 一种多地图切换slam建图方法
CN110986945A (zh) 基于语义高度地图的局部导航方法和系统
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及系统
CN115439621A (zh) 一种煤矿井下巡检机器人三维地图重建及目标检测方法
Guo et al. Curb detection and compensation method for autonomous driving via a 3-D-LiDAR sensor
Hong et al. Real-time visual-based localization for mobile robot using structured-view deep learning
Kamat et al. A survey on autonomous navigation techniques
He et al. AutoMatch: Leveraging Traffic Camera to Improve Perception and Localization of Autonomous Vehicles
CN114995376A (zh) 自动引导小车导航及地图更新方法和系统
Nabbe et al. Opportunistic use of vision to push back the path-planning horizon

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant