CN117537803A - 机器人巡检语义-拓扑地图构建方法、系统、设备及介质 - Google Patents

机器人巡检语义-拓扑地图构建方法、系统、设备及介质 Download PDF

Info

Publication number
CN117537803A
CN117537803A CN202410032759.1A CN202410032759A CN117537803A CN 117537803 A CN117537803 A CN 117537803A CN 202410032759 A CN202410032759 A CN 202410032759A CN 117537803 A CN117537803 A CN 117537803A
Authority
CN
China
Prior art keywords
semantic
map
point cloud
information
topology
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410032759.1A
Other languages
English (en)
Other versions
CN117537803B (zh
Inventor
严超
叶飞
龚烨飞
刘继承
朱培逸
程艳花
薛国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202410032759.1A priority Critical patent/CN117537803B/zh
Publication of CN117537803A publication Critical patent/CN117537803A/zh
Application granted granted Critical
Publication of CN117537803B publication Critical patent/CN117537803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例提供一种机器人巡检语义‑拓扑地图构建方法、系统、设备及介质。方法分为室内外定位、环境感知和语义‑拓扑地图构建三个部分。室内外定位主要通过激光雷达和彩色相机作为里程计，为机器人提供固定频率的位置与姿态估计；环境感知则将彩色相机的图像作为输入，生成对象的语义标签输送给语义‑拓扑地图构建部分；通过聚类算法，生成多级的语义节点以构建语义‑拓扑地图，提供给机器人进行巡检。本公开结合了环境语义信息和机器人导航需求，从环境的语义信息中抽象出高级语义节点，帮助机器人深入理解地点概念，作为导航决策的关键要素，生成高效精简的可导航地图，具有地图精度高、效率高、系统运行速度快、所需内存空间小的特点。

Description

机器人巡检语义-拓扑地图构建方法、系统、设备及介质
技术领域
本公开的实施例属于巡检机器人技术领域，具体涉及一种机器人巡检语义-拓扑地图构建方法、系统、设备及介质。
背景技术
SLAM（Simultaneous Localization and Mapping，即时定位与地图构建）技术是一种在无先验地图信息的情况下，通过传感器数据，如摄像头、激光雷达、惯性测量单元等，实现同时定位和地图构建的技术。现有的SLAM算法所构建的地图多为点云地图，只是对场景低级的几何理解，缺少对地图高级的语义理解，并且不利于机器人理解并执行人类的指令。
现有的语义地图通常仅简单地将几何信息和语义信息叠加，缺乏对环境的深入理解，限制了机器人在复杂环境中的应用。此外，这些地图往往无法充分利用丰富的语义信息，这导致地图只能提供有限的信息，不能准确地反映环境的复杂特性，机器人在决策时无法充分发挥这些信息的作用，导致决策效果不佳。与此同时，语义地图与定位系统之间缺乏有效的耦合，语义信息和定位信息之间缺乏有效的关联，这影响了机器人定位的准确性和鲁棒性。此外，在大尺度环境下，语义地图的数据量巨大，这对于计算资源有限的机器人来说可能造成处理和存储的压力。并且现有的语义地图的更新机制缺乏实时性，影响了机器人的快速决策和避障能力。
发明内容
本公开的实施例旨在至少解决现有技术中存在的技术问题之一，提供一种机器人巡检语义-拓扑地图构建方法、系统、设备及介质。
本公开的一个方面提供一种机器人巡检语义-拓扑地图构建方法，包括：
步骤S1、获取固定频率的点云信息和彩色图像信息；
步骤S2、根据所述点云信息和所述彩色图像信息，计算得到固定频率的机器人位移和姿态信息，得到点云-拓扑子地图；
步骤S3、将所述彩色图像信息输入语义分割网络，根据所述语义分割网络输出的语义标签对所述点云-拓扑子地图进行标注，得到语义-点云-拓扑子地图；
步骤S4、根据所述语义-点云-拓扑子地图中的语义信息得到多级语义节点，根据所述多级语义节点得到多级语义-点云-拓扑子地图。
进一步地，所述方法还包括：
步骤S5、响应于机器人移动的距离和旋转角度超过拓扑节点的保存阈值，则存储所述多级语义-点云-拓扑子地图并更新全局地图，随后重新执行步骤S1~S4。
进一步地，所述根据所述点云信息和所述彩色图像信息，计算得到固定频率的机器人位移和姿态信息，包括：
对所述点云信息进行去畸变和特征提取，并进行点云配准和位姿变换矩阵求解；
对所述彩色图像信息进行特征提取和描述子匹配，并进行位姿变换矩阵求解；
对所述点云信息和所述彩色图像信息进行松耦合位姿求解。
进一步地，所述将所述彩色图像信息输入语义分割网络，根据所述语义分割网络输出的语义标签对所述点云-拓扑子地图进行标注，得到语义-点云-拓扑子地图，包括：
将所述彩色图像信息输入预先训练的Mask R-CNN网络，输出所述彩色图像中各像素对应的语义标签；
将各所述语义标签与所述点云-拓扑子地图中与各所述像素对应的点云在数据结构中进行对应，得到语义-点云-拓扑子地图。
进一步地，所述根据所述语义-点云-拓扑子地图中的语义信息得到多级语义节点，根据所述多级语义节点得到多级语义-点云-拓扑子地图，包括：
利用DBSCAN算法处理所述语义-点云-拓扑子地图，得到多级语义节点；
融合所述多级语义节点和所述语义-点云-拓扑子地图，得到多级语义-点云-拓扑子地图。
本公开的另一方面提供一种机器人巡检语义-拓扑地图构建系统，包括：
获取模块，用于获取固定频率的点云信息和彩色图像信息；
位姿模块，用于根据所述点云信息和所述彩色图像信息，计算得到固定频率的机器人位移和姿态信息，得到点云-拓扑子地图；
语义模块，用于将所述彩色图像信息输入语义分割网络，根据所述语义分割网络输出的语义标签对所述点云-拓扑子地图进行标注，得到语义-点云-拓扑子地图；
节点模块，用于根据所述语义-点云-拓扑子地图中的语义信息得到多级语义节点，根据所述多级语义节点得到多级语义-点云-拓扑子地图。
进一步地，所述系统还包括存储模块，用于存储所述多级语义-点云-拓扑子地图并更新全局地图。
进一步地，所述节点模块具体用于：
利用DBSCAN算法处理所述语义-点云-拓扑子地图，得到多级语义节点；
融合所述多级语义节点和所述语义-点云-拓扑子地图，得到多级语义-点云-拓扑子地图。
本公开的又一方面提供一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器执行时，能使得所述至少一个处理器实现上文所述的机器人巡检语义-拓扑地图构建方法。
本公开的再一方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现上文所述的机器人巡检语义-拓扑地图构建方法。
本公开实施例的一种机器人巡检语义-拓扑地图构建方法、系统、设备及介质，更好地结合了环境语义信息和机器人导航需求，从环境的语义信息中抽象出高级语义节点，从而有助于机器人更深入地理解“房间”、“地点”等概念，并且可作为导航决策的关键要素，生成信息更丰富、位置更准确的全局语义地图，并建立高效精简的可导航地图，具有地图精度高、效率高、系统运行速度快、所需内存空间小的特点。
附图说明
图1为本公开一实施例的一种机器人巡检语义-拓扑地图构建方法的流程示意图；
图2为本公开另一实施例的一种机器人巡检语义-拓扑地图构建系统的结构示意图；
图3为本公开另一实施例的一种电子设备的结构示意图。
具体实施方式
SLAM（Simultaneous Localization and Mapping，即时定位与地图构建）技术是一种在无先验地图信息的情况下，通过传感器数据（如摄像头、激光雷达、惯性测量单元等）实现同时定位和地图构建的技术。它在机器人、自动驾驶汽车、建筑与环境勘测等领域有着广泛的应用。特别是在变电站巡检机器人领域，SLAM技术具有重要的作用，可以提高变电站巡检的效率和精度，同时降低人力成本和安全风险。变电站通常是复杂的环境，有许多设备和结构。SLAM帮助巡检机器人在变电站内部精确定位和导航，从而确保机器人准确地移动到目标位置，不会发生碰撞或误差。巡检机器人通过搭载各种传感器，如激光雷达、摄像头等，实时地感知变电站的环境，生成变电站的地图，并在地图上标记出各种重要的设备和位置信息。这对于及时发现潜在问题，如温度异常、漏电等，以及应对紧急情况非常重要。
传统的SLAM方法中，单一传感器往往会面临一些限制。视觉和激光融合的SLAM技术是将视觉和激光两种传感器的数据相结合，以实现更准确、稳定的自主定位和地图构建。视觉传感器能够提供丰富的信息，但在低光、无纹理等情况下可能失效，且容易受到动态物体的干扰；激光雷达提供准确的距离信息，但通常不能直接获取颜色和纹理等视觉特征，相比图像，对环境的感知能力较差。这种技术在现实环境中能够提供更精确的感知结果，为自主系统的安全和效能提供重要支持。
SLAM地图作为机器人应用的基础并未被充分利用。SLAM技术中的地图可以分为基于特征的、基于网格的、基于拓扑的以及稠密地图等不同类型。这些地图在环境描述和机器人定位中起着关键作用。基于特征的地图侧重描述环境特征，网格地图划分环境为网格以表达几何信息，拓扑地图强调位置间的连接关系，而稠密地图则旨在对环境模型的可视化精细重建效果。这些地图有助于机器人实现同时定位和地图构建，从而支持路径规划、避障等任务的准确执行。
现有的SLAM算法所构建的地图多为对点云地图，只是对场景低级的几何理解，缺少对地图高级的语义理解，并且不利于机器人理解并执行人类的指令。相比传统点云地图，语义-拓扑地图在室内外的诸多领域具有显著优势。例如，巡检机器人通过建筑现场几何形状的全面先验知识实现完全自主操作，在实时操作过程中实现定位、检查与读数任务。此外，对于像变电站一类的室外场景，语义地图可以帮助巡检机器人准确地理解和建模。通过将环境中的物体、结构和特征进行语义化描述，机器人可以更好地理解变电站的组成部分、设备位置和功能，有助于机器人进行准确的路径规划和定位，使得机器人能够智能地决策和执行巡检任务。
现有的语义地图存在多个弊端。它们通常仅简单地将几何信息和语义信息叠加，缺乏对环境的深入理解，限制了机器人在复杂环境中的应用。此外，这些地图往往无法充分利用丰富的语义信息，这导致地图只能提供有限的信息，不能准确地反映环境的复杂特性，机器人在决策时无法充分发挥这些信息的作用，导致决策效果不佳。与此同时，语义地图与定位系统之间缺乏有效的耦合，语义信息和定位信息之间缺乏有效的关联，这影响了机器人定位的准确性和鲁棒性。此外，在大尺度环境下，语义地图的数据量是巨大，这对于资源有限的机器人来说可能造成处理和存储的压力。现有的语义地图的更新机制缺乏实时性，影响了机器人的快速决策和避障能力。
因此，现有的语义地图需要进一步改进，以满足机器人在不同场景中的精确定位、有效导航和深入环境理解的需求。
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本公开中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本公开中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。
如图1所示，本公开的一个实施例提供一种机器人巡检语义-拓扑地图构建方法，包括：
步骤S1、获取固定频率的点云信息和彩色图像信息。
具体地，使用同一固定频率的激光雷达和相机分别采集点云信息和彩色图像信息，使点云信息和彩色图像信息时空统一，从而使后续构建的地图更加精确。
步骤S2、根据所述点云信息和所述彩色图像信息，计算得到固定频率的机器人位移和姿态信息，得到点云-拓扑子地图。
具体地，本步骤旨在进行室内外定位。首先进行基于激光的位姿估计，对所述点云信息进行去畸变和特征提取，并进行点云配准和位姿变换矩阵求解。激光位姿估计包括两个部分，特征提取和当前帧与子地图匹配。当新的激光雷达扫描到达时，首先执行特征提取。通过评估局部区域上的点的曲率来提取边缘和平面特征。曲率较大的点被分类为边缘点。曲率较小的点分类为平面点。通过构建点到线的距离和点到面的距离代价函数，求解当前帧的位姿包括旋转矩阵和平移向量。
同时进行基于视觉的位姿估计，对所述彩色图像信息进行特征提取和描述子匹配，并进行位姿变换矩阵求解。具体利用ORB特征点提取的方法，ORB特征点包括FAST角点和BRIEF描述子， FAST角点本身不带有方向性，ORB通过对FAST周围半径16像素的圆域计算质心，将该特征点和质心的连线作为该关键点的方向，使关键点具有旋转不变形。FAST角点的提取过程如下：设某像素点为p，亮度为I p ，按照该亮度的10%~20%设定一个阈值I t 。以p为中心，检测其周围半径为3的圆周上的16个像素点的亮度，若存在连续9个点的亮度大于I p +I t 或小于I p -I t ，则认为该像素点p就是FAST角点。同时，FAST本身不具有方向性，为了在不同方向均能检测出图像中的FAST角点，在ORB算法中对角点做出改进，利用灰度质心法为FAST角点增加方向性质，将角点的灰度与质心的偏移量作为该角点的方向。确定了FAST角点位置之后，ORB使用改进的BRIEF二进制描述子描述每个关键点，通过比较关键点与其相邻像素点灰度值的大小，将比较结果存储为一个只有元素0和1的向量。在得到FAST角点和BRIEF描述子之后就得到了ORB特征。
算法中假设的相机是针孔模型，需要计算优化相机位姿T iw =[R i ,p i ]∈SE(3)，使用光束平差法调整三维地图点X w,j 和世界坐标系w下的机器人位姿T iw ，使得匹配的特征点x i,j 具有最小的重投影误差e i,j =x i,j -π i (T iw ,X w,j )。世界坐标系下的相机运行速度为v i ，通过最小化特征点在不同图像中的重投影误差来提高位姿估计的准确性。通过高斯牛顿迭代优化，可得到旋转矩阵（旋转矩阵表示相机的方向）和平移向量（平移向量表示相机在世界坐标系中的位置）。
最后进行基于因子图的位姿求解，对所述点云信息和所述彩色图像信息进行松耦合位姿求解。因子图是一种用于表示和解决概率图模型的工具，它将不同的变量和约束表示为图中的节点和边，用于描述SLAM问题中的信息和关系。将多种传感器的因子置于GTSAM因子图中进行滑动窗口优化，可得到机器人当前位姿的最有估计。
步骤S3、将所述彩色图像信息输入语义分割网络，根据所述语义分割网络输出的语义标签对所述点云-拓扑子地图进行标注，得到语义-点云-拓扑子地图。
具体地，首先，将彩色图像信息输入到训练好的Mask R-CNN网络，即可输出彩色图像中各像素对应的语义标签，再根据VISLAM双目匹配，计算匹配点视差以获取物体深度。Mask R-CNN是一个实例分割算法，主要是在目标检测的基础上再进行分割，同时预测物体类别、候选框和掩码。Mask R-CNN通过Faster R-CNN网络为每个候选目标输出类标签和边框偏移量，在此基础之上，又添加了一个输出目标掩码的第三个分支。但是，附加的掩码输出与候选框的输出不同，掩码的输出则是精确到像素级的分类。Mask R-CNN网络有两个阶段，第一阶段区域提议网络(Region Proposal Network, RPN)提取出目标的候选框。在第二阶段，通过并行处理，同步提取框内图像的种类和计算候选框的偏置，并且会针对每一个感兴趣区域(Regions of interest，RoI)输出一个二进制的掩码。在模型训练时，Mask R-CNN针对每一个RoI的损失函数从三个维度考虑，定义了总的损失函数：L=L cls +L box +L mask
其中L cls 为分类器的损失函数，L box 为候选框的损失函数，L mask 为输出掩码的损失函数。算法三个分支其中之一的掩膜分支，会队每一个RoI输出一个Km2维度的数据：对于总共K个种类，会生成分辨率是m×m的K位二进制掩码。在Sigmoid函数层，将L mask 定义为平均二进制交叉熵损失来进行计算。
Mask R-CNN网络结构包含两部分，一部分是ResNets主干网络用来提取特征，另一部分是head网络用来对每一个RoI进行分类、候选框提取和掩码预测。使用ResNet的第4层的网络。RoI作为首先获得7x7x1024的RoI特征，然后将其升维到2048个通道。之后，有两个分支，上面的分支负责分类和回归，下面的分支负责生成对应的掩码。由于在网络中进行了多次卷积和池化，减小了对应的分辨率，掩码分支开始利用反卷积进行分辨率的提升，同时减少通道的个数，变为14x14x256，最后输出了14x14x80的掩码模板。根据训练好的MaskR-CNN网络，可得到图像中的语义标签与分类的置信度，即输出分类的图像。
随后对所述分类的图像进行非极大抑制，将各所述语义标签与所述点云-拓扑子地图中与各所述像素对应的点云在数据结构中进行对应，完成对点云-拓扑子地图的标注，得到语义-点云-拓扑子地图。对输入图像进行语义分割可以得到图像中每一个像素对应的语义标签，该像素语义标签的类别与点云-拓扑地图中的点云在数据结构中可一一对应。
步骤S4、根据所述语义-点云-拓扑子地图中的语义信息得到多级语义节点，根据所述多级语义节点得到多级语义-点云-拓扑子地图。
具体地，首先，利用DBSCAN算法处理所述语义-点云-拓扑子地图，得到多级语义节点。DBSCAN是一种基于密度的聚类算法，可将空间上临近的点分类成簇。DBSCAN 算法聚类将样本集内邻域中的密度相连的最大数据集合并成一个簇，再将所有各组密度相连的样本划为不同的类别，其算法过程为：
扫描整个语义点云地图M seg ，并从中随机选取某个未被分类的点云p，在KD树中搜索半径为r thr 的周围其他点云，并判断空间密度是否大于E thr ，如果大于E thr 则为以p为中心的语义簇。从该点出发遍历全部语义点云，迭代得到所有语义对象。簇外的点被标记为噪声点。
随后，融合所述多级语义节点和所述语义-点云-拓扑子地图，建立得到多级语义-点云-拓扑子地图。
本步骤建立的多级语义-点云-拓扑子地图表示为M(P,E)，其中P由机器人在探索过程中收到的一系列最佳探索点X构成。E是与节点P i 相连的所有带权的边。假设当前拓扑地图中有N个节点，每个节点P i 的定义为：P i =<i,f i ,c i ,L i ,E i >
其中，i是节点的索引，f i 是P i 节点的父节点在拓扑地图中的索引，c i 是第i个节点对应的三维物理坐标。L i ={l 1 ,l 2 ,...,l n }为该节点所在周围环境的语义标签，包含来自语义分割的周围物体的语义标签。其中的l i 来自于每一级环境中物体在空间上的聚类。l 1 为物体级，l 2 为地点级，l 3 为房间级，l 4 为建筑物级。可根据需要设置多级语义节点的级数。E i ={e 1 ,e 2 ,…,e n }是与节点𝑃𝑖相连的所有带权的边。巡检机器人通过宽度优先搜索寻找到当前最近的拓扑节点。
进一步地，如图1所示，所述方法还包括：步骤S5、响应于机器人移动的距离和旋转角度超过拓扑节点的保存阈值，则存储所述多级语义-点云-拓扑子地图并更新全局地图，随后重新执行步骤S1~S4。
具体地，当机器人移动的距离和旋转角度超过预先设定的拓扑节点的保存阈值，则重新获取同样固定频率的点云信息和彩色图像信息，将机器人当前的位置和姿态信息、点云信息作为新拓扑节点加入所述点云-拓扑子地图。地图为串行构建结构。
另外，若没有超过保存阈值，则直接重新执行步骤S1~S4。
本公开实施例的一种机器人巡检语义-拓扑地图构建方法，更好地结合了环境语义信息和机器人导航需求，从环境的语义信息中抽象出高级语义节点，从而有助于机器人更深入地理解“房间”、“地点”等概念，并且可作为导航决策的关键要素，生成信息更丰富、位置更准确的全局语义地图，并建立高效精简的可导航地图，具有地图精度高、效率高、系统运行速度快、所需内存空间小的特点。
如图2所示，本公开的另一实施例提供一种机器人巡检语义-拓扑地图构建系统，包括：
获取模块201，用于获取固定频率的点云信息和彩色图像信息；
位姿模块202，用于根据所述点云信息和所述彩色图像信息，计算得到固定频率的机器人位移和姿态信息，得到点云-拓扑子地图；
语义模块203，用于将所述彩色图像信息输入语义分割网络，根据所述语义分割网络输出的语义标签对所述点云-拓扑子地图进行标注，得到语义-点云-拓扑子地图；
节点模块204，用于根据所述语义-点云-拓扑子地图中的语义信息得到多级语义节点，根据所述多级语义节点得到多级语义-点云-拓扑子地图；
具体地，获取模块201通过激光雷达和彩色相机作为里程计，为位姿模块202提供固定频率的位置与姿态估计。语义模块203则将彩色相机的图像作为输入，生成对象的语义标签用于语义-点云-拓扑地图的构建。节点模块204通过聚类算法，生成多级的语义节点，最终为机器人巡检提供基础地图。
所述位姿模块202具体用于：对所述点云信息进行去畸变和特征提取，并进行点云配准和位姿变换矩阵求解；对所述彩色图像信息进行特征提取和描述子匹配，并进行姿变换矩阵求解；对所述点云信息和所述彩色图像信息进行松耦合位姿求解。
所述语义模块203具体用于：将所述彩色图像信息输入预先训练的Mask R-CNN网络，输出所述彩色图像中各像素对应的语义标签；将各所述语义标签与所述点云-拓扑子地图中与各所述像素对应的点云在数据结构中进行对应，得到语义-点云-拓扑子地图。
所述节点模块204具体用于：利用DBSCAN算法处理所述语义-点云-拓扑子地图，得到多级语义节点；融合所述多级语义节点和所述语义-点云-拓扑子地图，得到多级语义-点云-拓扑子地图。
进一步地，如图2所示，所述系统还包括存储模块205，用于存储所述多级语义-点云-拓扑子地图并更新全局地图。
本实施例的一种机器人巡检语义-拓扑地图构建系统用于实现上文实施例的一种机器人巡检语义-拓扑地图构建方法，具体流程在此不作赘述。
本公开实施例的一种机器人巡检语义-拓扑地图构建系统，更好地结合了环境语义信息和机器人导航需求，从环境的语义信息中抽象出高级语义节点，从而有助于机器人更深入地理解“房间”、“地点”等概念，并且可作为导航决策的关键要素，生成信息更丰富、位置更准确的全局语义地图，并建立高效精简的可导航地图，具有地图精度高、效率高、系统运行速度快、所需内存空间小的特点。
如图3所示，本公开的又一实施例提供一种电子设备，包括：
至少一个处理器301；以及，与所述至少一个处理器301通信连接的存储器302，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器301执行时，能使得所述至少一个处理器301实现上文所述的机器人巡检语义-拓扑地图构建方法。
其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。
处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。
本公开的再一实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上文所述的机器人巡检语义-拓扑地图构建方法。
其中，计算机可读存储介质可以是本公开的系统、电子设备中所包含的，也可以单独存在。
计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。
计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (10)

1.一种机器人巡检语义-拓扑地图构建方法，其特征在于，所述方法包括：
步骤S1、获取固定频率的点云信息和彩色图像信息；
步骤S2、根据所述点云信息和所述彩色图像信息，计算得到固定频率的机器人位移和姿态信息，得到点云-拓扑子地图；
步骤S3、将所述彩色图像信息输入语义分割网络，根据所述语义分割网络输出的语义标签对所述点云-拓扑子地图进行标注，得到语义-点云-拓扑子地图；
步骤S4、根据所述语义-点云-拓扑子地图中的语义信息得到多级语义节点，根据所述多级语义节点得到多级语义-点云-拓扑子地图。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
步骤S5、响应于机器人移动的距离和旋转角度超过拓扑节点的保存阈值，则存储所述多级语义-点云-拓扑子地图并更新全局地图，随后重新执行步骤S1~S4。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述点云信息和所述彩色图像信息，计算得到固定频率的机器人位移和姿态信息，包括：
对所述点云信息进行去畸变和特征提取，并进行点云配准和位姿变换矩阵求解；
对所述彩色图像信息进行特征提取和描述子匹配，并进行位姿变换矩阵求解；
对所述点云信息和所述彩色图像信息进行松耦合位姿求解。
4.根据权利要求1或2所述的方法，其特征在于，所述将所述彩色图像信息输入语义分割网络，根据所述语义分割网络输出的语义标签对所述点云-拓扑子地图进行标注，得到语义-点云-拓扑子地图，包括：
将所述彩色图像信息输入预先训练的Mask R-CNN网络，输出所述彩色图像中各像素对应的语义标签；
将各所述语义标签与所述点云-拓扑子地图中与各所述像素对应的点云在数据结构中进行对应，得到语义-点云-拓扑子地图。
5.根据权利要求1或2所述的方法，其特征在于，所述根据所述语义-点云-拓扑子地图中的语义信息得到多级语义节点，根据所述多级语义节点得到多级语义-点云-拓扑子地图，包括：
利用DBSCAN算法处理所述语义-点云-拓扑子地图，得到多级语义节点；
融合所述多级语义节点和所述语义-点云-拓扑子地图，得到多级语义-点云-拓扑子地图。
6.一种机器人巡检语义-拓扑地图构建系统，其特征在于，所述系统包括：
获取模块，用于获取固定频率的点云信息和彩色图像信息；
位姿模块，用于根据所述点云信息和所述彩色图像信息，计算得到固定频率的机器人位移和姿态信息，得到点云-拓扑子地图；
语义模块，用于将所述彩色图像信息输入语义分割网络，根据所述语义分割网络输出的语义标签对所述点云-拓扑子地图进行标注，得到语义-点云-拓扑子地图；
节点模块，用于根据所述语义-点云-拓扑子地图中的语义信息得到多级语义节点，根据所述多级语义节点得到多级语义-点云-拓扑子地图。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括存储模块，用于存储所述多级语义-点云-拓扑子地图并更新全局地图。
8.根据权利要求6或7所述的系统，其特征在于，所述节点模块具体用于：
利用DBSCAN算法处理所述语义-点云-拓扑子地图，得到多级语义节点；
融合所述多级语义节点和所述语义-点云-拓扑子地图，得到多级语义-点云-拓扑子地图。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器，用于存储一个或多个程序，当所述一个或多个程序被所述至少一个处理器执行时，能使得所述至少一个处理器实现权利要求1至5任一项所述的机器人巡检语义-拓扑地图构建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，
所述计算机程序被处理器执行时能实现根据权利要求1至5任一项所述的机器人巡检语义-拓扑地图构建方法。
CN202410032759.1A 2024-01-10 2024-01-10 机器人巡检语义-拓扑地图构建方法、系统、设备及介质 Active CN117537803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410032759.1A CN117537803B (zh) 2024-01-10 2024-01-10 机器人巡检语义-拓扑地图构建方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410032759.1A CN117537803B (zh) 2024-01-10 2024-01-10 机器人巡检语义-拓扑地图构建方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN117537803A true CN117537803A (zh) 2024-02-09
CN117537803B CN117537803B (zh) 2024-04-02

Family

ID=89784696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410032759.1A Active CN117537803B (zh) 2024-01-10 2024-01-10 机器人巡检语义-拓扑地图构建方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN117537803B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103712617A (zh) * 2013-12-18 2014-04-09 北京工业大学 一种基于视觉内容的多层语义地图的创建方法
CN207373179U (zh) * 2017-10-26 2018-05-18 常熟理工学院 一种用于slam及导航的机器人控制系统
CN111210518A (zh) * 2020-01-15 2020-05-29 西安交通大学 基于视觉融合地标的拓扑地图生成方法
WO2021129597A1 (zh) * 2019-12-24 2021-07-01 广州视源电子科技股份有限公司 描述子地图生成方法、定位方法、装置、设备和存储介质
CN114526739A (zh) * 2022-01-25 2022-05-24 中南大学 移动机器人室内重定位方法、计算机装置及产品
US20220287530A1 (en) * 2021-03-15 2022-09-15 Midea Group Co., Ltd. Method and Apparatus for Localizing Mobile Robot in Environment
CN115147637A (zh) * 2022-03-17 2022-10-04 天津大学 一种基于机器人的实时语义地图生成方法及装置
CN116630403A (zh) * 2023-05-25 2023-08-22 浙江三锋实业股份有限公司 一种用于割草机器人的轻量级语义地图构建方法及系统
CN116772820A (zh) * 2023-03-29 2023-09-19 南京邮电大学 一种基于slam和语义分割的局部细化建图系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103712617A (zh) * 2013-12-18 2014-04-09 北京工业大学 一种基于视觉内容的多层语义地图的创建方法
CN207373179U (zh) * 2017-10-26 2018-05-18 常熟理工学院 一种用于slam及导航的机器人控制系统
WO2021129597A1 (zh) * 2019-12-24 2021-07-01 广州视源电子科技股份有限公司 描述子地图生成方法、定位方法、装置、设备和存储介质
CN111210518A (zh) * 2020-01-15 2020-05-29 西安交通大学 基于视觉融合地标的拓扑地图生成方法
US20220287530A1 (en) * 2021-03-15 2022-09-15 Midea Group Co., Ltd. Method and Apparatus for Localizing Mobile Robot in Environment
CN114526739A (zh) * 2022-01-25 2022-05-24 中南大学 移动机器人室内重定位方法、计算机装置及产品
CN115147637A (zh) * 2022-03-17 2022-10-04 天津大学 一种基于机器人的实时语义地图生成方法及装置
CN116772820A (zh) * 2023-03-29 2023-09-19 南京邮电大学 一种基于slam和语义分割的局部细化建图系统及方法
CN116630403A (zh) * 2023-05-25 2023-08-22 浙江三锋实业股份有限公司 一种用于割草机器人的轻量级语义地图构建方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANHUA CHENG等: "Locality-Sensitive Deconvolution Networks with Gated Fusion for RGB-D Indoor Semantic Segmentation", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 9 November 2017 (2017-11-09), pages 1475 - 1482 *
刘凯鉴: "基于视觉 SLAM 的室内 语义地图构建", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 12, 15 December 2020 (2020-12-15), pages 10 - 54 *

Also Published As

Publication number Publication date
CN117537803B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图系统
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
Lin et al. Stereo-based simultaneous localization, mapping and moving object tracking
CN113865580A (zh) 构建地图的方法、装置、电子设备及计算机可读存储介质
Kim et al. UAV-UGV cooperative 3D environmental mapping
US20230236280A1 (en) Method and system for positioning indoor autonomous mobile robot
CN113238554A (zh) 一种基于激光与视觉融合slam技术的室内导航方法及系统
CN111812978B (zh) 一种多无人机协作slam方法与系统
Löffler et al. Evaluation criteria for inside-out indoor positioning systems based on machine learning
Zhu et al. Indoor multi-robot cooperative mapping based on geometric features
CN114049362A (zh) 一种基于transformer的点云实例分割方法
Sun et al. Real-time and fast RGB-D based people detection and tracking for service robots
CN112987720A (zh) 一种用于移动机器人的多尺度地图构建方法及构建装置
Lai et al. 3D semantic map construction system based on visual SLAM and CNNs
CN114627365B (zh) 场景重识别方法、装置、电子设备及存储介质
CN117537803B (zh) 机器人巡检语义-拓扑地图构建方法、系统、设备及介质
Hou et al. Fast 2d map matching based on area graphs
CN113985435A (zh) 一种融合多激光雷达的建图方法及系统
Han et al. Novel cartographer using an oak-d smart camera for indoor robots location and navigation
Herath et al. A two-tier map representation for compact-stereo-vision-based SLAM
Fang et al. SLAM algorithm based on bounding box and deep continuity in dynamic scene
CN117611762B (zh) 一种多层级地图构建方法、系统及电子设备
CN113885510B (zh) 一种四足机器人避障及领航员跟随方法及系统
Qiu et al. A sliding window based feature extraction method with its application to 3D grid map fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant