CN115454055B - 一种面向室内自主导航与作业的多层融合地图表示方法 - Google Patents

一种面向室内自主导航与作业的多层融合地图表示方法 Download PDF

Info

Publication number
CN115454055B
CN115454055B CN202211007928.3A CN202211007928A CN115454055B CN 115454055 B CN115454055 B CN 115454055B CN 202211007928 A CN202211007928 A CN 202211007928A CN 115454055 B CN115454055 B CN 115454055B
Authority
CN
China
Prior art keywords
layer
information layer
information
topological
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211007928.3A
Other languages
English (en)
Other versions
CN115454055A (zh
Inventor
赵洪深
王家亮
李绍明
于建强
吴忠勋
李伟鹏
吴晅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanhu Research Institute Of Electronic Technology Of China
Original Assignee
Nanhu Research Institute Of Electronic Technology Of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanhu Research Institute Of Electronic Technology Of China filed Critical Nanhu Research Institute Of Electronic Technology Of China
Priority to CN202211007928.3A priority Critical patent/CN115454055B/zh
Publication of CN115454055A publication Critical patent/CN115454055A/zh
Application granted granted Critical
Publication of CN115454055B publication Critical patent/CN115454055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

本发明公开了一种面向室内自主导航与作业的多层融合地图表示方法,包括:对室内场景进行特征提取形成2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层;将2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层分别统一对齐到世界坐标系;将统一对齐到世界坐标系后的2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中至少两层进行整合形成多层融合地图并保存。该方法有助于为机器人完全自主作业提供环境数据支撑,并提高机器人定位鲁棒性、环境适应性和重定位成功率。

Description

一种面向室内自主导航与作业的多层融合地图表示方法
技术领域
本发明属于地图制作技术领域,具体涉及一种面向室内自主导航与作业的多层融合地图表示方法。
背景技术
机器人或其它移动感知智能体的落地应用需要满足长期部署的要求,即能够在每日变化的场景中长期稳定的感知定位。此外,移动机器人要实现对未知环境的理解,需要明确环境中各种物体的属性,以便能够和环境做进一步的交互。
在机器人自主导航与作业领域,需要对环境信息进行构建和表征,进而实现定位和特定作业。常见的方法有基于激光雷达的SLAM及定位、基于相机的VSLAM及定位等方法,而各种SLAM方法的输出即为表征环境的地图,主要的地图类别有2D栅格地图、3D octomap、3D点云地图、语义地图、线段/拐角特征地图、拓扑地图等。建立地图的目的主要包括:1)用于表征周身环境以建立当前观测与环境的关系,进而实现精准定位;2)用于路径规划、路径安全性判断;3)用于环境信息共享,诸如众包建图、分布式建图等,提高大场景环境感知效率等。而目前的主流技术手段是采用单一的地图表征方式,如工厂环境常见的2D激光雷达导航即采用2D SLAM建栅格地图或特征地图进行定位导航;或若干地图表征方式进行结合,如无人驾驶车辆使用的高精地图除包含结构化道路位置信息外,还包括车道线、路标、交通提示牌、交通灯、车道曲率、坡度及车道级实时交通动态信息等语义。但在室内,尤其是家用环境或办公环境等场景,随着机器人无人化技术的发展,对于地图的表征方式提出了更高的要求,即除了满足机器人进行高精度、强鲁棒定位外,还要具有对场景的理解、对关键语义的识别、对周身环境的安全性和可行性判断、对作业任务的自主分析、对场景变化的及时准确更新等,故需对环境的表征方式进行丰富、整合和关联。
而现有技术中,地图表征方法以面向单一的移动任务为主,在信息维度上比较片面,无法与上装机构的作业任务建立紧密联系,存在如下缺陷:
1)现有地图构建及表征系统主要面向单一移动任务,如移动机器人自主导航、无人车自动驾驶任务执行等,地图中所包含的信息以支撑融合定位、路径规划和行进任务决策为主,对搭载有上装执行机构的复合型机器人无法直接提供上装作业的任务引导,无法将上装作业与全局环境紧密关联,无法有效减少上装作业过程中人工的介入;
2)现有地图构建及表征系统在定位过程中对高动态环境的鲁棒性不够,多传感融合建图与定位技术可弥补部分不足,但以先验定位、概率定位和特征定位为主,在关联定位、联想定位、语义定位等方面无能为力;
3)现有方案对路径规划提供的信息较为简单,以基于车体轮廓的碰撞检测及相应的优化和约束为主,而这些判断和约束以2D为主,对于空间要求更高的复合作业机器人不再适用;
4)现有方案中3D点云等地图文件占用内存较大,且内存占用随着分辨率提升、建图面积增大呈倍数增长,使得地图文件的共享、上传、更新、存储等操作更加困难。
发明内容
本发明的目的在于针对上述问题,提出一种面向室内自主导航与作业的多层融合地图表示方法,有助于为机器人完全自主作业提供环境数据支撑,并提高机器人定位鲁棒性、环境适应性和重定位成功率。
为实现上述目的,本发明所采取的技术方案为:
本发明提出的一种面向室内自主导航与作业的多层融合地图表示方法,应用于移动机器人,包括如下步骤:
对室内场景进行特征提取形成2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层,其中,2D信息层为2D栅格层或2D特征层,2D栅格层包括PGM地图、PGM地图对应的yaml文件和PGM地图所描述场景的高度,2D特征层包括点、线、直角和圆角特征信息,3D信息层为3D点云层或3D特征层,3D点云层包括3D点云数据和2D点云数据,3D特征层包括平面、拐角和圆柱特征信息,视觉特征层包括由视觉SLAM提取的特征信息,语义信息层包括目标物体的类别、轮廓尺寸、世界坐标位置、运动属性、可观测属性、类别识别概率和位置准确概率,结构信息层包括轮廓、点线面、分割的拓扑区域和各拓扑区域间的拓扑连接关系,空间约束层包括碰撞概率,拓扑连接层包括分割的拓扑区域、各拓扑区域内目标物体的语义信息、各拓扑区域内目标物体间的拓扑连接关系和各目标物体对应的任务标签和知识图谱;
将2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层分别统一对齐到世界坐标系;
将统一对齐到世界坐标系后的2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中至少两层进行整合形成多层融合地图并保存。
优选地,运动属性用于描述目标物体为静态物体或动态物体,可观测属性用于描述观测到完整的目标物体或观测到不完整的目标物体。
优选地,类别识别概率和位置准确概率均采用目标识别算法获取。
优选地,面向室内自主导航与作业的多层融合地图表示方法还包括如下步骤:判断室内场景是否发生变化,若是,根据最新室内场景选择性更新2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中的一层或多层,并重新整合形成多层融合地图并保存,否则,不进行更新。
优选地,根据最新室内场景选择性更新2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中的一层或多层,具体如下:判断最新室内场景中运动物体的运动属性,若是静态物体,则超过预设阈值时更新视觉特征层和语义信息层,完成将运动物体在视觉特征层中的转移或移除,若是动态物体,则随动更新视觉特征层和语义信息层,完成将运动物体在视觉特征层中的转移或移除。
优选地,视觉SLAM为ORB SLAM算法,提取的特征信息包括关键帧、3D地图点、共视图和扩展树信息。
优选地,空间约束层中碰撞概率描述如下:
最近碰撞点在移动机器人安全距离之外时碰撞概率为0,最近碰撞点在移动机器人初始状态下的轮廓内时碰撞概率为1,最近碰撞点在上述两种情况之间时,采用高斯模型描述碰撞概率。
优选地,结构信息层的拓扑区域基于区域分割算法获得。
优选地,2D点云数据获取过程如下:
将3D点云数据对齐至基准面;
将对齐后的3D点云数据进行体素化采样;
利用语义分割算法对体素化采样后的3D点云数据进行分割,获得分割结果;
对分割结果进行聚类生成聚类结果;
根据聚类结果提取表征面对,获得2D点云数据,表征面对为聚类结果对应目标物体在三维空间中的最低位置和最高位置。
优选地,知识图谱根据分割的拓扑区域、各拓扑区域内目标物体的语义信息、各拓扑区域内目标物体间的拓扑连接关系和各目标物体对应的任务标签构建而成。
与现有技术相比,本发明的有益效果为:
1)本申请将室内场景通过分层的方式进行处理,包括2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层、拓扑连接层,各层统一到世界坐标又可单独更新维护,通过设定不同的更新触发条件有选择性地进行地图更新,在保证信息完备性的前提下可尽可能降低资源开销,得到更加全面、立体、特征丰富的环境表征方式,并形成统一的数据格式,可以解决单一环境表征方式下定位稳定性差、鲁棒性差、信息缺失、任务关联性差、环境适应性差,以及在定位过程中鲁棒性不足、动态环境重定位失败概率较高等问题;
2)通过目标识别、特征提取等方式,将语义与场景强关联,结合机器人的上装机构(如机械臂)作业形式形成语义集合和作业知识图谱,可以建立机器人与环境之间的任务理解通道,并进行图层化概括,有助于解决现有机器人依赖调度中心或任务中心等的任务下发式作业模式,提高机器人易用性和执行效率,为机器人完全自主作业提供环境数据支撑;
3)通过构建多层地图并进行矢量表征、语义表征、点云表征等操作,可以解决常规地图在应用过程中内存占用过大的问题,在不影响主体功能的前提下,减少资源开销,便于分布式建图、地图局部更新、场景数据化还原等。
附图说明
图1为本发明多层融合地图表示方法的流程图;
图2为本发明多层融合地图的结构示意图;
图3为本发明构建空间约束的空间距离示意图;
图4为本发明拓扑区域内目标物体的语义信息和拓扑连接关系的示意图;
图5为本发明中2D点云数据的获取流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是在于限制本申请。
本发明旨在解决室内自主作业机器人在环境表征上存在的方式单一、信息缺失、任务关联性差,在定位过程中鲁棒性不足、动态环境重定位失败概率较高等问题。提高机器人定位鲁棒性、环境适应性和重定位成功率。
如图1-5所示,一种面向室内自主导航与作业的多层融合地图表示方法,应用于移动机器人,包括如下步骤:
对室内场景进行特征提取形成2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层,其中,2D信息层为2D栅格层或2D特征层,2D栅格层包括PGM地图、PGM地图对应的yaml文件和PGM地图所描述场景的高度,2D特征层包括点、线、直角和圆角特征信息,3D信息层为3D点云层或3D特征层,3D点云层包括3D点云数据和2D点云数据,3D特征层包括平面、拐角和圆柱特征信息,视觉特征层包括由视觉SLAM提取的特征信息,语义信息层包括目标物体的类别、轮廓尺寸、世界坐标位置、运动属性、可观测属性、类别识别概率和位置准确概率,结构信息层包括轮廓、点线面、分割的拓扑区域和各拓扑区域间的拓扑连接关系,空间约束层包括碰撞概率,拓扑连接层包括分割的拓扑区域、各拓扑区域内目标物体的语义信息、各拓扑区域内目标物体间的拓扑连接关系和各目标物体对应的任务标签和知识图谱;
将2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层分别统一对齐到世界坐标系;
将统一对齐到世界坐标系后的2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中至少两层进行整合形成多层融合地图并保存。
其中,2D信息层为2D栅格层时,PGM地图对应的yaml文件如包含PGM地图原点/分辨率等信息,或还可为根据实际需求设定,2D信息层所含信息可直接提取,或还可由3D信息层截取转化获得。视觉特征层与视觉定位强关联,可用以视觉定位和重定位等。语义信息层可由视觉观测、目标识别、特征提取或人工标注而来,典型处理方法如目标识别算法结合深度信息映射,该层可建立室内典型环境的语义信息档案,如桌椅、水杯、电器、水杯、门锁等,进而可与上装机构(如移动机器人搭载的机械臂)交互,形成具体的语义引导任务。结构信息层描述室内场景的轮廓、点线面等特征信息,如构建过程中,利用点云信息或图像信息,对室内环境进行语义分割、线面拟合、轮廓提取等操作,在大空间尺度构建环境的立体框架。该立体框架可通过区域分割算法将室内场景分割为若干个拓扑区域,如房间分割、走廊分割等,得到房间、走廊等各拓扑区域间的连接关系。该立体框架也可用以全局定位或局部地图延拓。容易理解的是,结构信息层为描述室内场景的数字化结构,在BIM信息可获取的情况下,还可用BIM信息进行代替。空间约束层构建了基于移动机器人立体轮廓和环境空间信息的碰撞模型,用以快速查找移动机器人在立体空间会否发生碰撞,尤其是上装机构为机械臂,且移动底盘与机械臂需要联动时,对运行的安全性准确评估非常重要。该空间约束层按照碰撞概率进行位置、姿态进行映射,通过构建空间约束层,可快速进行碰撞检查,提高路径规划和任务规划效率。拓扑连接层用于进行自主任务级规划。
结构信息层通过矢量表征表示将室内场景中的大尺度结构进行描述,包括直线、曲线、平面、拐角、圆柱等基础2D/3D几何元素,可以把结构化信息压缩为极简洁的数字信息。语义信息层通过语义表征表示应用环境内常见的物体标签信息,包括货架、桌椅、地面、门窗、走廊、房间等信息,可以把复杂的空间轮廓表征为具体的物体信息,方便机器进行具体的作业。3D信息层通过点云表征表示,如将3D维点云简化为2D点云,分别表示空间信息在三维空间中的最低位置和最高位置,可以省去中间位置点云信息,大大降低点云对存储空间的要求。
各层统一对齐到世界坐标系,在回环检测及相应优化时,可基于世界坐标系进行调整。各层分别具有独立的表示方法,最终整合为一种描述多层融合地图的数据结构,具体整合层数可根据实际需求调整,如根据机器人的硬件配置或具体作业任务需要进行选择,即多层融合地图可为所需的任意若干层而不影响地图功能,该数据结构支持通过文件流进行保存和加载。可在显示屏上展示多层融合地图或所需的任一层地图。多层融合地图可以兼顾激光SLAM系统、视觉SLAM和语义SLAM的优点,即具备强光照适应性、非结构环境适应性、强动态环境适应性,通过多传感器融合算法,可更精确地估计机器人位姿。并将SLAM系统、语义感知系统、决策规划系统统一,基于此可实现语义级任务规划及执行,可大大提高机器人自主性和智能性。可以构建数字孪生的室内场景,支持众包建图、分布式建图,可以将地图拓展到AR、VR领域,可以为家用、办公用等机器人领域提供技能栈扩充的基础。尤其适用于复合机器人作业平台,对于搭载有机械臂的复合机器人,不光具有自主移动功能,同时具备高自由度的即时执行能力,其技术路线在从传统的任务接受执行式向基于模仿、学习、自主决策、自主任务解析的任务决策执行式转变,而本申请多层融合地图可以提供全维、多尺度信息,为机器人的模仿学习、场景训练提供场景支撑,为任务执行提供决策依据。
在一实施例中,运动属性用于描述目标物体为静态物体或动态物体,可观测属性用于描述观测到完整的目标物体或观测到不完整的目标物体。
在一实施例中,类别识别概率和位置准确概率均采用目标识别算法获取。如目标识别算法为YOLO目标识别算法,或还可采用现有技术中的其他目标识别算法。
在一实施例中,面向室内自主导航与作业的多层融合地图表示方法还包括如下步骤:判断室内场景是否发生变化,若是,根据最新室内场景选择性更新2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中的一层或多层,并重新整合形成多层融合地图并保存,否则,不进行更新。
在一实施例中,根据最新室内场景选择性更新2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中的一层或多层,具体如下:判断最新室内场景中运动物体的运动属性,若是静态物体,则超过预设阈值时更新视觉特征层和语义信息层,完成将运动物体在视觉特征层中的转移或移除,若是动态物体,则随动更新视觉特征层和语义信息层,完成将运动物体在视觉特征层中的转移或移除。
其中,语义信息层可随着移动机器人运动及观测信息的变化进行选择性更新,对于静态物体,可设定较大的更新阈值,对于动态物体,可进行随动更新,同时可将运动物体与视觉特征层进行关联,将运动物体从视觉视觉特征层中进行转移或剔除。需要说明的是,每层还可独立更新,如根据设定时间或帧率进行更新等,即更新层数可根据实际需求调整。
在一实施例中,视觉SLAM为ORB SLAM算法,提取的特征信息包括关键帧、3D地图点、共视图和扩展树信息。需要说明的是,视觉特征层根据不同的视觉定位方法具有相应的特征描述形态,如还可采用视觉SLAM中的VINS算法。
在一实施例中,空间约束层中碰撞概率描述如下:
最近碰撞点在移动机器人安全距离之外时碰撞概率为0,最近碰撞点在移动机器人初始状态下的轮廓内时碰撞概率为1,最近碰撞点在上述两种情况之间时,采用高斯模型描述碰撞概率。如图3所示,为一种获取距离图的计算方式(Delaunay三角剖分算法+维诺图),说明如下:灰实线为Delaunay三角形,每一个Delaunay三角形的外接圆圆心相连即获得维诺图,为本领域人员熟知技术,在此不再赘述,黑实线多边形框内区域中任意点最近的障碍点即为多边形的中心点,可依此快速进行是否碰撞的计算。
在一实施例中,结构信息层的拓扑区域基于区域分割算法获得。可为现有技术中的区域分割算法。
在一实施例中,2D点云数据获取过程如下:
将3D点云数据对齐至基准面;
将对齐后的3D点云数据进行体素化采样;
利用语义分割算法对体素化采样后的3D点云数据进行分割,获得分割结果;
对分割结果进行聚类生成聚类结果;
根据聚类结果提取表征面对,获得2D点云数据,表征面对为聚类结果对应目标物体在三维空间中的最低位置和最高位置。
如图5所示,通过提取3D点云数据形成简洁的2D点云数据,分别表示空间信息在三维空间中的最低位置和最高位置,可以省去中间位置点云信息,大大降低点云对存储空间的要求,便于根据实际需求调用,如2D点云数据更有利于减少计算量,提高计算效率。
在一实施例中,知识图谱根据分割的拓扑区域、各拓扑区域内目标物体的语义信息、各拓扑区域内目标物体间的拓扑连接关系和各目标物体对应的任务标签构建而成。如图4所示,右上角图表示一个拓扑区域内目标物体的语义信息,其下方的图表示了一个拓扑区域内目标物体间的拓扑连接关系,如房间内目标物品的拓扑结构,即room内存在floor/wall/celling,ID号分别为2,1,8,floor上放置有table/chair等,ID分别为325,475等,table上又放置有TV等,ID分别为159等,依次类推。采用上述内容形成移动机器人作业库的知识图谱,可进行自主任务级规划。
该方法将室内场景通过分层的方式进行处理,包括2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层、拓扑连接层,各层统一到世界坐标又可单独更新维护,通过设定不同的更新触发条件有选择性地进行地图更新,在保证信息完备性的前提下可尽可能降低资源开销,得到更加全面、立体、特征丰富的环境表征方式,并形成统一的数据格式,可以解决单一环境表征方式下定位稳定性差、鲁棒性差、信息缺失、任务关联性差、环境适应性差,以及在定位过程中鲁棒性不足、动态环境重定位失败概率较高等问题;通过目标识别、特征提取等方式,将语义与场景强关联,结合机器人的上装机构(如机械臂)作业形式形成语义集合和作业知识图谱,可以建立机器人与环境之间的任务理解通道,并进行图层化概括,有助于解决现有机器人依赖调度中心或任务中心等的任务下发式作业模式,提高机器人易用性和执行效率,为机器人完全自主作业提供环境数据支撑;通过构建多层地图并进行矢量表征、语义表征、点云表征等操作,可以解决常规地图在应用过程中内存占用过大的问题,在不影响主体功能的前提下,减少资源开销,便于分布式建图、地图局部更新、场景数据化还原等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请描述较为具体和详细的实施例,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种面向室内自主导航与作业的多层融合地图表示方法,应用于移动机器人,其特征在于:所述面向室内自主导航与作业的多层融合地图表示方法包括如下步骤:
对室内场景进行特征提取形成2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层,其中,所述2D信息层为2D栅格层或2D特征层,所述2D栅格层包括PGM地图、PGM地图对应的yaml文件和PGM地图所描述场景的高度,所述2D特征层包括点、线、直角和圆角特征信息,所述3D信息层为3D点云层或3D特征层,所述3D点云层包括3D点云数据和2D点云数据,所述3D特征层包括平面、拐角和圆柱特征信息,所述视觉特征层包括由视觉SLAM提取的特征信息,所述语义信息层包括目标物体的类别、轮廓尺寸、世界坐标位置、运动属性、可观测属性、类别识别概率和位置准确概率,所述结构信息层包括轮廓、点线面、分割的拓扑区域和各拓扑区域间的拓扑连接关系,所述空间约束层包括碰撞概率,所述拓扑连接层包括分割的拓扑区域、各拓扑区域内目标物体的语义信息、各拓扑区域内目标物体间的拓扑连接关系和各目标物体对应的任务标签和知识图谱;
将2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层分别统一对齐到世界坐标系;
将统一对齐到世界坐标系后的2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中至少两层进行整合形成多层融合地图并保存;
所述运动属性用于描述目标物体为静态物体或动态物体,所述可观测属性用于描述观测到完整的目标物体或观测到不完整的目标物体;
所述空间约束层中碰撞概率描述如下:
最近碰撞点在移动机器人安全距离之外时碰撞概率为0,最近碰撞点在移动机器人初始状态下的轮廓内时碰撞概率为1,最近碰撞点在上述两种情况之间时,采用高斯模型描述碰撞概率;
所述知识图谱根据分割的拓扑区域、各拓扑区域内目标物体的语义信息、各拓扑区域内目标物体间的拓扑连接关系和各目标物体对应的任务标签构建而成。
2.如权利要求1所述的面向室内自主导航与作业的多层融合地图表示方法,其特征在于:所述类别识别概率和位置准确概率均采用目标识别算法获取。
3.如权利要求1所述的面向室内自主导航与作业的多层融合地图表示方法,其特征在于:所述面向室内自主导航与作业的多层融合地图表示方法还包括如下步骤:判断室内场景是否发生变化,若是,根据最新室内场景选择性更新2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中的一层或多层,并重新整合形成多层融合地图并保存,否则,不进行更新。
4.如权利要求3所述的面向室内自主导航与作业的多层融合地图表示方法,其特征在于:所述根据最新室内场景选择性更新2D信息层、3D信息层、视觉特征层、语义信息层、结构信息层、空间约束层和拓扑连接层中的一层或多层,具体如下:判断最新室内场景中运动物体的运动属性,若是静态物体,则超过预设阈值时更新视觉特征层和语义信息层,完成将运动物体在视觉特征层中的转移或移除,若是动态物体,则随动更新视觉特征层和语义信息层,完成将运动物体在视觉特征层中的转移或移除。
5.如权利要求1所述的面向室内自主导航与作业的多层融合地图表示方法,其特征在于:所述视觉SLAM为ORB SLAM算法,提取的特征信息包括关键帧、3D地图点、共视图和扩展树信息。
6.如权利要求1所述的面向室内自主导航与作业的多层融合地图表示方法,其特征在于:所述结构信息层的拓扑区域基于区域分割算法获得。
7.如权利要求1所述的面向室内自主导航与作业的多层融合地图表示方法,其特征在于:所述2D点云数据获取过程如下:
将3D点云数据对齐至基准面;
将对齐后的3D点云数据进行体素化采样;
利用语义分割算法对体素化采样后的3D点云数据进行分割,获得分割结果;
对分割结果进行聚类生成聚类结果;
根据聚类结果提取表征面对,获得2D点云数据,所述表征面对为聚类结果对应目标物体在三维空间中的最低位置和最高位置。
CN202211007928.3A 2022-08-22 2022-08-22 一种面向室内自主导航与作业的多层融合地图表示方法 Active CN115454055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211007928.3A CN115454055B (zh) 2022-08-22 2022-08-22 一种面向室内自主导航与作业的多层融合地图表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211007928.3A CN115454055B (zh) 2022-08-22 2022-08-22 一种面向室内自主导航与作业的多层融合地图表示方法

Publications (2)

Publication Number Publication Date
CN115454055A CN115454055A (zh) 2022-12-09
CN115454055B true CN115454055B (zh) 2023-09-19

Family

ID=84298192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211007928.3A Active CN115454055B (zh) 2022-08-22 2022-08-22 一种面向室内自主导航与作业的多层融合地图表示方法

Country Status (1)

Country Link
CN (1) CN115454055B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115655262B (zh) * 2022-12-26 2023-03-21 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247040A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于分层拓扑结构的多机器人系统地图拼接方法
CN103712617A (zh) * 2013-12-18 2014-04-09 北京工业大学 一种基于视觉内容的多层语义地图的创建方法
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN110807782A (zh) * 2019-10-25 2020-02-18 中山大学 一种视觉机器人的地图表示系统及其构建方法
CN111190981A (zh) * 2019-12-25 2020-05-22 中国科学院上海微系统与信息技术研究所 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN111210518A (zh) * 2020-01-15 2020-05-29 西安交通大学 基于视觉融合地标的拓扑地图生成方法
CN113052152A (zh) * 2021-06-02 2021-06-29 中国人民解放军国防科技大学 一种基于视觉的室内语义地图构建方法、装置及设备
WO2021208372A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 室内视觉导航方法、装置、系统及电子设备
WO2022041596A1 (zh) * 2020-08-31 2022-03-03 同济人工智能研究院(苏州)有限公司 一种适用于室内动态环境的视觉slam方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103247040A (zh) * 2013-05-13 2013-08-14 北京工业大学 基于分层拓扑结构的多机器人系统地图拼接方法
CN103712617A (zh) * 2013-12-18 2014-04-09 北京工业大学 一种基于视觉内容的多层语义地图的创建方法
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN110807782A (zh) * 2019-10-25 2020-02-18 中山大学 一种视觉机器人的地图表示系统及其构建方法
CN111190981A (zh) * 2019-12-25 2020-05-22 中国科学院上海微系统与信息技术研究所 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN111210518A (zh) * 2020-01-15 2020-05-29 西安交通大学 基于视觉融合地标的拓扑地图生成方法
WO2021208372A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 室内视觉导航方法、装置、系统及电子设备
WO2022041596A1 (zh) * 2020-08-31 2022-03-03 同济人工智能研究院(苏州)有限公司 一种适用于室内动态环境的视觉slam方法
CN113052152A (zh) * 2021-06-02 2021-06-29 中国人民解放军国防科技大学 一种基于视觉的室内语义地图构建方法、装置及设备

Also Published As

Publication number Publication date
CN115454055A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN112650255B (zh) 基于视觉与激光雷达信息融合的机器人定位导航方法
CN103389699B (zh) 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
Prieto et al. As-is building-structure reconstruction from a probabilistic next best scan approach
CN105931294A (zh) 一种将bim实体模型转换为多细节层次gis标准化模型的方法
CN109000649A (zh) 一种基于直角弯道特征的全方位移动机器人位姿校准方法
CN106647738A (zh) 一种无人搬运车的对接路径确定方法及系统及无人搬运车
CN113505646B (zh) 一种基于语义地图的目标搜索方法
CN113110455B (zh) 一种未知初始状态的多机器人协同探索方法、装置及系统
CN114004869A (zh) 一种基于3d点云配准的定位方法
CN114047750A (zh) 一种基于移动机器人的快递入库方法
CN115454055B (zh) 一种面向室内自主导航与作业的多层融合地图表示方法
CN112015187B (zh) 一种用于智能移动机器人的语义地图构建方法及系统
Díaz Vilariño et al. Scan planning and route optimization for control of execution of as-designed BIM
CN113238554A (zh) 一种基于激光与视觉融合slam技术的室内导航方法及系统
Koch et al. Wide-area egomotion estimation from known 3d structure
CN112967384A (zh) 识别建筑测绘构件的点云智能化切分方法
Mansor et al. An overview of object detection from building point cloud data
CN116977628A (zh) 一种应用于动态环境的基于多模态语义框架的slam方法及系统
CN114459483A (zh) 基于机器人导航用地标导航地图构建与应用方法、系统
CN114565726A (zh) 一种非结构化动态环境下的同时定位与建图方法
CN112348950B (zh) 一种基于激光点云分布特性的拓扑地图节点生成方法
CN110763223B (zh) 基于滑动窗口的室内三维立体栅格地图特征点提取方法
Yang et al. Improved Cartographer Algorithm Based on Map-to-Map Loopback Detection
Tian et al. Autonomous exploration of RRT robot based on seeded region growing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant