CN112802204A - 未知环境下三维空间场景先验的目标语义导航方法及系统 - Google Patents

未知环境下三维空间场景先验的目标语义导航方法及系统 Download PDF

Info

Publication number
CN112802204A
CN112802204A CN202110104187.XA CN202110104187A CN112802204A CN 112802204 A CN112802204 A CN 112802204A CN 202110104187 A CN202110104187 A CN 202110104187A CN 112802204 A CN112802204 A CN 112802204A
Authority
CN
China
Prior art keywords
semantic
dimensional
target
navigation
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110104187.XA
Other languages
English (en)
Other versions
CN112802204B (zh
Inventor
周风余
于帮国
万方
尹磊
杨志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110104187.XA priority Critical patent/CN112802204B/zh
Publication of CN112802204A publication Critical patent/CN112802204A/zh
Application granted granted Critical
Publication of CN112802204B publication Critical patent/CN112802204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了未知环境下三维空间场景先验的目标语义导航方法及系统。其中该方法包括将每一类语义三维点云映射到对应二维平面，生成语义类别数量相等层数的二维语义栅格地图，将所有层的语义栅格地图叠加生成障碍地图层；以机器人当前位置为中心，剪裁当前所有层的语义栅格地图和障碍地图层，提取剪裁后的地图特征作为当前的环境观测特征；提取语义目标的特征；将环境观测特征与对应语义目标标签特征并联，作为该语义节点特征，再结合三维场景先验进行特征提取，得到多边场景先验特征并与语义节点特征并联，经深度强化学习网络进行基于地图的全局导航点的决策，得到全局导航点；规划机器人当前位置与全局导航点之间的路径，进行局部导航。

Description

未知环境下三维空间场景先验的目标语义导航方法及系统
技术领域
本发明属于导航定位领域，尤其涉及一种未知环境下三维空间场景先验的目标语义导航方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
现有的目标语义导航技术可分为如下两类：(1)利用传统语义实时定位与建图技术(SLAM)技术，进行语义地图构建后的目标轨迹的规划导航：例如，使用传统SLAM技术结合语义分割进行语义地图的构建；利用语义地图查找目标物体的位姿，进行路径规划与导航；此类技术普遍存在当场景变换或未知时无法利用语义导航的问题。(2)基于端到端的深度强化学习框架的目标导航方法：例如，对当前的观测和目标物体进行特征编码；将编码的特征并联后输入到强化学习框架中，直接进行导航动作的决策；此类技术往往存在训练过程过于缓慢，对新场景的泛化能力差的问题。
发明人发现，现有的目标语义导航方法，往往直接对场景特征进行提取，没有利用常识信息进行判断，对于场景先验的编码形式较为混乱，不能很好的发挥场景先验的作用。此外，现有的目标语义导航方案只针对小场景下的场景生成，对于大场景或多个房间存在状态空间过大的问题，且由于没有合理表达场景先验，对于利用场景先验加强多个房间的场景下的目标语义之间的关联性都存在一定的问题。在目标导航过程中，现有的技术只利用目前采集到的信息直接通过强化学习进行导航决策，没有引入三维空间场景先验信息，这将导致导航过程不够完善和智能，忽视了语义目标和场景之间的关联性，在未知的多房间场景中进行目标语义导航较为困难。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种未知环境下三维空间场景先验的目标语义导航方法及系统，其基于三维场景先验的，结合SLAM与深度强化学习的目标语义导航方法，能够实现在未知的三维空间场景下机器人自主寻找目标的功能。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种未知环境下三维空间场景先验的目标语义导航方法。
一种未知环境下三维空间场景先验的目标语义导航方法，包括：
获取当前环境的深度图像和彩色图像，得到图像序列，获取相机位姿信息；
对图像序列中的每一帧图像进行语义分割，得到三维语义分割点云信息；
根据当前相机位姿信息、相机内参、深度图像和语义分割点云信息，计算三维点云像素在三维空间中的坐标；
将每一类语义三维点云映射到对应二维平面，生成语义类别数量相等层数的二维语义栅格地图，将所有层的语义栅格地图叠加生成障碍地图层；
以机器人当前位置为中心，剪裁当前所有层的语义栅格地图和障碍地图层，提取剪裁后的地图特征作为当前的环境观测特征；
提取语义目标的特征，作为目标特征；
将环境观测特征与对应语义目标标签特征并联，作为该语义节点特征，再结合三维场景先验进行特征提取，得到多边场景先验特征并与语义节点特征并联，经深度强化学习网络进行基于地图的全局导航点的决策，得到全局导航点；
规划机器人当前位置与全局导航点之间的路径，进行局部导航。
本发明的第二个方面提供一种未知环境下三维空间场景先验的目标语义导航系统。
一种未知环境下三维空间场景先验的目标语义导航系统，包括：
图像序列及相机位姿获取模块，其用于获取当前环境的深度图像和彩色图像，得到图像序列，获取相机位姿信息；
分割点云信息获取模块，其用于对图像序列中的每一帧图像进行语义分割，得到三维语义分割点云信息；
三维点云像素坐标计算模块，其用于根据当前相机位姿信息、相机内参、深度图像和语义分割点云信息，计算三维点云像素在三维空间中的坐标；
障碍地图层生成模块，其用于将每一类语义三维点云映射到对应二维平面，生成语义类别数量相等层数的二维语义栅格地图，将所有层的语义栅格地图叠加生成障碍地图层；
环境观测特征提取模块，其用于以机器人当前位置为中心，剪裁当前所有层的语义栅格地图和障碍地图层，提取剪裁后的地图特征作为当前的环境观测特征；
目标特征提取模块，其用于提取语义目标的特征，作为目标特征；
全局导航点决策模块，其用于将环境观测特征与对应语义目标标签特征并联，作为该语义节点特征，再结合三维场景先验进行特征提取，得到多边场景先验特征并与语义节点特征并联，经深度强化学习网络进行基于地图的全局导航点的决策，得到全局导航点；
局部导航模块，其用于规划机器人当前位置与全局导航点之间的路径，进行局部导航。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的未知环境下三维空间场景先验的目标语义导航方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的未知环境下三维空间场景先验的目标语义导航方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明通过获取实例分割的信息和相机的位姿，结合点云图像，可以得到不同类别对应的不同的二维语义栅格地图层，通过对如Visual Genome等包含实体和关系的数据集的处理获得三维先验场景信息，对先验场景信息使用关系图卷积网络进行特征编码，结合语义地图、目标特征和先验特征，使用深度强化学习算法进行全局导航点的选取。该语义导航框架通过增加三维场景先验的方法，更适合在未知的多房间场景中进行语义目标导航。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的未知环境下三维空间场景先验的目标语义导航方法流程图；
图2是本发明实施例的三维场景先验示意图；
图3是本发明实施例的场景图构建框架。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了一种未知环境下三维空间场景先验的目标语义导航方法，其包括：
步骤S101：获取当前环境的深度图像和彩色图像，得到图像序列，获取相机位姿信息。
在具体实施中，采用双目或RGBD相机等设备获取深度图像和彩色图像，得到相应的图像序列。
利用激光或视觉SLAM算法估计出移动机器人的实时位姿，这里采用的ORB-SLAM算法进行跟踪；同时，采用激光或视觉SLAM算法进行相机的定位，获取相对于第一帧图像的相机位姿信息。
步骤S102：对图像序列中的每一帧图像进行语义分割，得到三维语义分割点云信息。
在具体实施中，可使用maskrcnn等实例分割算法对输入的每一帧图像进行分割，将分割后的像素值与点云像素进行对齐，使语义分割的结果映射到点云中去，得到三维语义分割点云信息。
步骤S103：根据当前相机位姿信息、相机内参、深度图像和语义分割点云信息，计算三维点云像素在三维空间中的坐标。
步骤S104：将每一类语义三维点云映射到对应二维平面，生成语义类别数量相等层数的二维语义栅格地图，将所有层的语义栅格地图叠加生成障碍地图层。
具体地，将每一类语义三维点云映射到相对应的二维平面，生成n层二维语义栅格地图，其中n表示语义类别的数量，并将所有的语义地图层叠加生成障碍地图层。
步骤S105：以机器人当前位置为中心，剪裁当前所有层的语义栅格地图和障碍地图层，提取剪裁后的地图特征作为当前的环境观测特征。
具体地，根据机器人当前的二维平面位姿，对当前所有的语义地图层和障碍地图层进行剪裁，只截取以机器人当前位置为中心的地图边界框，然后将剪裁后的地图通过三层卷积神经网络进行特征提取，作为当前的环境观测特征。
步骤S106：提取语义目标的特征，作为目标特征。
具体地，将输入的语义目标使用word embedding进行特征提取，作为目标特征。
步骤S107：将环境观测特征与对应语义目标标签特征并联，作为该语义节点特征，再结合三维场景先验进行特征提取，得到多边场景先验特征并与语义节点特征并联，经深度强化学习网络进行基于地图的全局导航点的决策，得到全局导航点。
在本步骤中，使用物体和关系的数据集进行三维场景先验的生成，得到所有节点的关系。
此处需要说明的是，物体和关系的数据集可为Visual Genome数据集。
以Visual Genome数据集为例，如图2所示，利用Visual Genome数据集构建三维场景先验的过程为：
将Visual Genome数据集进行筛选清洗，去除掉所有包含人的图像，其他图像按照厨房、客厅、卧室、会议室、办公室、餐厅、盥洗室七个场景进行分类，统计每一类场景中物体出现的概率和关系的概率；
根据概率的大小设置一个阈值，若超过该阈值，则判断节点和关系成立，将其添加到总的先验图中。
在图2中，Local Map为局部地图；Semantic Map Encoder为语义地图编码器；chair为椅子；bottle为瓶子；table为桌子；adjacency为邻接；support为支持；patent为包含。
具体地，使用三层卷积网络对每层语义地图和障碍地图进行特征提取，连接为1024维特征；利用word embedding对输入的语义目标进行特征编码，得到256维数据特征；将每个类别的语义地图层特征与对应的词编码特征连接，作为先验节点的特征，然后结合先验的关系连接，采用三层Relational Graph Conventional Network对其进行特征提取，再将其所有节点特征连接后通过全连接层，得到当前观测环境下最终的256维三维场景先验特征。
将1024维语义地图特征、256维词编码特征和256维场景先验特征进行连接后，输入到强化学习决策网络(这里采用分布式PPO算法)，经过两层全连接网络后，再分为value网络和policy网络输出。
步骤S108：规划机器人当前位置与全局导航点之间的路径，进行局部导航。
若当前目标的语义地图层具有mask数值，即表示机器人已经看到了该物体，则之间将该语义层的mask坐标作为全局goal输出，否则通过policy网络输出全局决策结果，决策空间为上、下、左、右四个固定的位置点而并非整个局部地图的像素点，value网络用于PPO算法的迭代更新；
得到actor网络输出的全局决策结果后，局部决策模块(这里使用的FastMatching Method)根据全局goal进行路径规划，并根据局部规划的目标点输出最终的导航动作；机器人接收到动作指令后，执行该动作，并获取下一步的观测信息，对当前地图和场景先验进行更新，从而进行下一步的决策，完成目标导航任务，如图3所示。
在图3中，RGBD Image为RGBD图像；Pose为姿态；Target为目标；3D Sscene Priors为3D场景优先级；Local Map为局部地图；Semantic Map为语义地图；Map Encoder为地图编码器；Environment为环境；Global Semantic Policy为全局语义策略；Word Embedding为单词嵌入；Relational Graph Conventional Network为关系图常规网络；sample为样本；Long-term goal为长期目标，即为全局导航点。
实施例二
本实施例提供了一种未知环境下三维空间场景先验的目标语义导航系统，其包括：
图像序列及相机位姿获取模块，其用于获取当前环境的深度图像和彩色图像，得到图像序列，获取相机位姿信息；
分割点云信息获取模块，其用于对图像序列中的每一帧图像进行语义分割，得到三维语义分割点云信息；
三维点云像素坐标计算模块，其用于根据当前相机位姿信息、相机内参、深度图像和语义分割点云信息，计算三维点云像素在三维空间中的坐标；
障碍地图层生成模块，其用于将每一类语义三维点云映射到对应二维平面，生成语义类别数量相等层数的二维语义栅格地图，将所有层的语义栅格地图叠加生成障碍地图层；
环境观测特征提取模块，其用于以机器人当前位置为中心，剪裁当前所有层的语义栅格地图和障碍地图层，提取剪裁后的地图特征作为当前的环境观测特征；
目标特征提取模块，其用于提取语义目标的特征，作为目标特征；
全局导航点决策模块，其用于将环境观测特征与对应语义目标标签特征并联，作为该语义节点特征，再结合三维场景先验进行特征提取，得到多边场景先验特征并与语义节点特征并联，经深度强化学习网络进行基于地图的全局导航点的决策，得到全局导航点；
局部导航模块，其用于规划机器人当前位置与全局导航点之间的路径，进行局部导航。
此处需要说明的是，本实施例的未知环境下三维空间场景先验的目标语义导航系统中的各个模块，与实施例一中未知环境下三维空间场景先验的目标语义导航方法中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的未知环境下三维空间场景先验的目标语义导航方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的未知环境下三维空间场景先验的目标语义导航方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种未知环境下三维空间场景先验的目标语义导航方法，其特征在于，包括：
获取当前环境的深度图像和彩色图像，得到图像序列，获取相机位姿信息；
对图像序列中的每一帧图像进行语义分割，得到三维语义分割点云信息；
根据当前相机位姿信息、相机内参、深度图像和语义分割点云信息，计算三维点云像素在三维空间中的坐标；
将每一类语义三维点云映射到对应二维平面，生成语义类别数量相等层数的二维语义栅格地图，将所有层的语义栅格地图叠加生成障碍地图层；
以机器人当前位置为中心，剪裁当前所有层的语义栅格地图和障碍地图层，提取剪裁后的地图特征作为当前的环境观测特征；
提取语义目标的特征，作为目标特征；
将环境观测特征与对应语义目标标签特征并联，作为该语义节点特征，再结合三维场景先验进行特征提取，得到多边场景先验特征并与语义节点特征并联，经深度强化学习网络进行基于地图的全局导航点的决策，得到全局导航点；
规划机器人当前位置与全局导航点之间的路径，进行局部导航。
2.如权利要求1所述的未知环境下三维空间场景先验的目标语义导航方法，其特征在于，在局部导航过程中若发现目标，则直接将目标点设置为目标所在位置；若没有发现目标，则在到达目标点后重新进行局部导航，进行下一导航点的决策。
3.如权利要求1所述的未知环境下三维空间场景先验的目标语义导航方法，其特征在于，使用物体和关系的数据集进行三维场景先验的生成，得到所有节点的关系。
4.如权利要求3所述的未知环境下三维空间场景先验的目标语义导航方法，其特征在于，在构建三维场景先验的结构化表达的过程中，将表示物体和关系的数据集进行筛选清洗，去除掉所有包含人的图像，其他图像按照设定场景进行分类，统计每一类场景中物体出现的概率和关系的概率；
根据概率的大小设置一个阈值，若超过该阈值，则判断节点和关系成立，将其添加到总的先验图中。
5.如权利要求1所述的未知环境下三维空间场景先验的目标语义导航方法，其特征在于，采用激光或视觉SLAM算法进行相机的定位，获取相对于第一帧图像的相机位姿信息。
6.如权利要求1所述的未知环境下三维空间场景先验的目标语义导航方法，其特征在于，使用实例分割算法对输入的每一帧图像进行分割，将分割后的像素值与点云像素进行对齐，使语义分割的结果映射到点云中，得到三维语义分割点云信息。
7.如权利要求1所述的未知环境下三维空间场景先验的目标语义导航方法，其特征在于，将环境观测特征与对应语义目标的标签特征进行并联，作为该语义节点的特征，然后结合三维场景先验，使用关系图卷积网络进行特征提取。
8.一种未知环境下三维空间场景先验的目标语义导航系统，其特征在于，包括：
图像序列及相机位姿获取模块，其用于获取当前环境的深度图像和彩色图像，得到图像序列，获取相机位姿信息；
分割点云信息获取模块，其用于对图像序列中的每一帧图像进行语义分割，得到三维语义分割点云信息；
三维点云像素坐标计算模块，其用于根据当前相机位姿信息、相机内参、深度图像和语义分割点云信息，计算三维点云像素在三维空间中的坐标；
障碍地图层生成模块，其用于将每一类语义三维点云映射到对应二维平面，生成语义类别数量相等层数的二维语义栅格地图，将所有层的语义栅格地图叠加生成障碍地图层；
环境观测特征提取模块，其用于以机器人当前位置为中心，剪裁当前所有层的语义栅格地图和障碍地图层，提取剪裁后的地图特征作为当前的环境观测特征；
目标特征提取模块，其用于提取语义目标的特征，作为目标特征；
全局导航点决策模块，其用于将环境观测特征与对应语义目标标签特征并联，作为该语义节点特征，再结合三维场景先验进行特征提取，得到多边场景先验特征并与语义节点特征并联，经深度强化学习网络进行基于地图的全局导航点的决策，得到全局导航点；
局部导航模块，其用于规划机器人当前位置与全局导航点之间的路径，进行局部导航。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的未知环境下三维空间场景先验的目标语义导航方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的未知环境下三维空间场景先验的目标语义导航方法中的步骤。
CN202110104187.XA 2021-01-26 2021-01-26 未知环境下三维空间场景先验的目标语义导航方法及系统 Active CN112802204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110104187.XA CN112802204B (zh) 2021-01-26 2021-01-26 未知环境下三维空间场景先验的目标语义导航方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110104187.XA CN112802204B (zh) 2021-01-26 2021-01-26 未知环境下三维空间场景先验的目标语义导航方法及系统

Publications (2)

Publication Number Publication Date
CN112802204A true CN112802204A (zh) 2021-05-14
CN112802204B CN112802204B (zh) 2022-12-06

Family

ID=75811837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110104187.XA Active CN112802204B (zh) 2021-01-26 2021-01-26 未知环境下三维空间场景先验的目标语义导航方法及系统

Country Status (1)

Country Link
CN (1) CN112802204B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505646A (zh) * 2021-06-10 2021-10-15 清华大学 一种基于语义地图的目标搜索方法
CN113520812A (zh) * 2021-08-26 2021-10-22 山东大学 一种四足机器人导盲系统及方法
CN113658257A (zh) * 2021-08-17 2021-11-16 广州文远知行科技有限公司 一种无人设备定位方法、装置、设备及存储介质
CN113778096A (zh) * 2021-09-15 2021-12-10 上海景吾智能科技有限公司 室内机器人的定位与模型构建方法及系统
CN114384920A (zh) * 2022-03-23 2022-04-22 安徽大学 一种基于局部栅格地图实时构建的动态避障方法
CN114419381A (zh) * 2022-04-01 2022-04-29 城云科技（中国）有限公司 一种语义分割方法及应用其的道路积水检测方法和装置
CN116343104A (zh) * 2023-02-03 2023-06-27 中国矿业大学 视觉特征与向量语义空间耦合的地图场景识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930819A (zh) * 2016-05-06 2016-09-07 西安交通大学 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
US20200364554A1 (en) * 2018-02-09 2020-11-19 Baidu Usa Llc Systems and methods for deep localization and segmentation with a 3d semantic map

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930819A (zh) * 2016-05-06 2016-09-07 西安交通大学 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN107063258A (zh) * 2017-03-07 2017-08-18 重庆邮电大学 一种基于语义信息的移动机器人室内导航方法
US20200364554A1 (en) * 2018-02-09 2020-11-19 Baidu Usa Llc Systems and methods for deep localization and segmentation with a 3d semantic map
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BANGGUO YU，ET AL.: "A Bottom-up Framework for Construction of Structured Semantic 3D Scene Graph", 《2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505646A (zh) * 2021-06-10 2021-10-15 清华大学 一种基于语义地图的目标搜索方法
CN113505646B (zh) * 2021-06-10 2024-04-12 清华大学 一种基于语义地图的目标搜索方法
CN113658257A (zh) * 2021-08-17 2021-11-16 广州文远知行科技有限公司 一种无人设备定位方法、装置、设备及存储介质
CN113658257B (zh) * 2021-08-17 2022-05-27 广州文远知行科技有限公司 一种无人设备定位方法、装置、设备及存储介质
CN113520812A (zh) * 2021-08-26 2021-10-22 山东大学 一种四足机器人导盲系统及方法
CN113778096A (zh) * 2021-09-15 2021-12-10 上海景吾智能科技有限公司 室内机器人的定位与模型构建方法及系统
CN114384920A (zh) * 2022-03-23 2022-04-22 安徽大学 一种基于局部栅格地图实时构建的动态避障方法
US11720110B2 (en) 2022-03-23 2023-08-08 Anhui University Dynamic obstacle avoidance method based on real-time local grid map construction
CN114419381A (zh) * 2022-04-01 2022-04-29 城云科技（中国）有限公司 一种语义分割方法及应用其的道路积水检测方法和装置
CN114419381B (zh) * 2022-04-01 2022-06-24 城云科技（中国）有限公司 一种语义分割方法及应用其的道路积水检测方法和装置
CN116343104A (zh) * 2023-02-03 2023-06-27 中国矿业大学 视觉特征与向量语义空间耦合的地图场景识别方法及系统
CN116343104B (zh) * 2023-02-03 2023-09-15 中国矿业大学 视觉特征与向量语义空间耦合的地图场景识别方法及系统

Also Published As

Publication number Publication date
CN112802204B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN112802204B (zh) 未知环境下三维空间场景先验的目标语义导航方法及系统
CN112132893B (zh) 一种适用于室内动态环境的视觉slam方法
CN112859859B (zh) 一种基于三维障碍物体素对象映射的动态栅格地图更新方法
CN111190981B (zh) 一种三维语义地图的构建方法、装置、电子设备及存储介质
Bassier et al. Classification of sensor independent point cloud data of building objects using random forests
Zivkovic et al. Hierarchical map building using visual landmarks and geometric constraints
Purushwalkam et al. Audio-visual floorplan reconstruction
CN113110482B (zh) 基于先验信息启发式的室内环境机器人探索方法及系统
CN109163722B (zh) 一种仿人机器人路径规划方法及装置
CN107833230A (zh) 室内环境地图的生成方法及装置
CN110827398A (zh) 基于深度神经网络的室内三维点云自动语义分割算法
Luo et al. Hierarchical semantic mapping using convolutional neural networks for intelligent service robotics
Thomas et al. Self-supervised learning of lidar segmentation for autonomous indoor navigation
CN113256793A (zh) 一种三维数据处理方法及系统
Werby et al. Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation
WO2024032717A1 (zh) 智能设备地理信息图谱的构建方法、设备和系统
CN111369688B (zh) 一种结构化场景表达的认知导航方法及系统
Nanwani et al. Instance-level semantic maps for vision language navigation
Zhang et al. 3D reconstruction of weak feature indoor scenes based on hector SLAM and floorplan generation
CN115855086A (zh) 基于自旋转的室内场景自主重建方法、系统及介质
CN114241290B (zh) 用于边缘计算的室内场景理解方法、设备、介质及机器人
Karaoğuz et al. Human-centric partitioning of the environment
Chizhova et al. Probabilistic Reconstruction of orthodox Churches from precision Point Clouds using Bayesian Networks and Cellular Automata
Wang et al. Object-aware hybrid map for indoor robot visual semantic navigation
CN110930519A (zh) 基于环境理解的语义orb-slam感知方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant