CN115187667A - 一种基于认知理解的大场景精准定位方法及系统 - Google Patents

一种基于认知理解的大场景精准定位方法及系统 Download PDF

Info

Publication number
CN115187667A
CN115187667A CN202211093593.1A CN202211093593A CN115187667A CN 115187667 A CN115187667 A CN 115187667A CN 202211093593 A CN202211093593 A CN 202211093593A CN 115187667 A CN115187667 A CN 115187667A
Authority
CN
China
Prior art keywords
scene
graph
scene graph
positioning method
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211093593.1A
Other languages
English (en)
Other versions
CN115187667B (zh
Inventor
邓国庆
方翠云
张超凡
刘勇
夏营威
张文
高震宇
王凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202211093593.1A priority Critical patent/CN115187667B/zh
Publication of CN115187667A publication Critical patent/CN115187667A/zh
Application granted granted Critical
Publication of CN115187667B publication Critical patent/CN115187667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

一种基于认知理解的大场景精准定位方法及系统，包括以下步骤：S1、视频流基于图融合的场景描述方法获得局部场景图；S2、场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息，所述由粗到细定位方法包括依次实施的基于语义一致性的粗定位方法和基于场景图匹配的精细定位方法。该发明的优点在于：设计由粗到细的定位方法，可以在保证精准的同时，避免直接对维度不同的场景图进行图匹配所造成的计算成本激增问题。

Description

一种基于认知理解的大场景精准定位方法及系统
技术领域
本发明属于机器人的技术领域，尤其涉及一种基于认知理解的大场景精准定位方法及系统。
背景技术
移动机器人是目前科学技术发展最活跃的领域之一，受到了世界各国的普遍重视。随着性能的不断完善和拓展，移动机器人已经成功应用于工业、农业、医疗、服务等行业。
随着移动机器人在室内大场景下的应用越来越广泛，面向室内大场景的导航需求也逐渐增大。精确的定位为移动机器人提供准确的位置和姿态信息，是机器人在大规模复杂场景下实现导航的关键和核心。高精准的定位为移动机器人在各类大场景下安全、高效地完成智能任务提供保障。然而传统的视觉定位方法存在数据量大、计算复杂度高等较难解决的问题，无法有效地应用在大场景导航任务中。
发明内容
为了使机器人能够在大规模场景中实现高精准、轻量化的定位，本发明提出了一种基于认知理解的大场景精准定位方法及系统，具体技术方案如下：
一种基于认知理解的大场景精准定位方法，包括以下步骤：
S1、视频流基于图融合的场景描述方法获得局部场景图；
S2、场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息，所述由粗到细定位方法包括依次实施的基于语义一致性的粗定位方法和基于场景图匹配的精细定位方法。
具体地说，基于图融合的场景描述方法具体步骤如下：
S11、利用相机对环境进行视觉感知，通过旋转一周获得自身周围的视觉信息，获得连续的图像帧；
S12、将步骤S11获得的图像帧逐一输入到目标检测网络中，识别图像中包含的目标物体的信息；如果该帧图像为视频流的第一帧图像，则使用目标检测网络直接输出目标物体的信息；如果该帧图像不是第一帧图像，则利用上一图像帧生成的场景图，基于前后帧图像关联，辅助目标检测获得目标物体的信息；
S13、通过遍历的方法判断步骤S12中获得的目标物体的信息是否全部存在于原有场景图中，如果已经存在，则对该帧图像的处理结束，直接进行下一帧图像的处理，如果未全部存在或全部不存在，则进行步骤S14；
S14、利用目标推理网络对目标物体之间的语义关系进行推理，生成该单帧图像对应的场景图；
S15、将步骤S14生成的场景图和上一帧图像对应的场景图，在图卷积神经网络后直接连接一层全连接层构成场景图融合网络模块，使其能够对场景图的邻接矩阵进行预测，从而实现去除两个场景图中重复的部分，保留不同的部分并预测其与原有场景图中物体的关系。
具体地说，步骤S12中目标检测网络为maskrnn网络或YOLO系列网络。
具体地说，目标物体的信息包括类别及位姿信息。
具体地说，基于语义一致性的粗定位方法具体如下：
S211、利用物体级拓扑语义模型构建整个场景的拓扑语义地图作为全局场景图；
S212、在步骤S1构建室内环境的局部场景图局部场景图中任意选取一个物体作为中心节点，根据该中心节点的物体信息，通过在全局场景图中遍历，得到属性相同的物体作为候选中心物体；
S213、通过随机游走获得局部场景图的的最大节点数；最大节点数即以任一节点为起点，到达局部场景图所有边缘节点的最短步长的最大值；
S214、以步骤S212获得的候选中心物体作为中心点，以最大节点数为步长沿每个可走的方向随机游走，获得若干个场景图；
S215、将步骤S214获得的场景图中的每个节点和候选场景的节点，通过语义一致性筛选出前K名与步骤S1中生成的局部场景图相近的场景图，作为候选场景图。
具体地说，基于场景图匹配的精细定位方法具体如下：
S221、利用物体级拓扑语义模型构建多个大场景的全局拓扑语义地图，再以每个节点为中心，随机生成子地图；通过语义直方图和随机游走的方法对大场景的全局拓扑语义地图和子地图的节点匹配进行粗标注，再通过人工校对的方法，获得全局拓扑语义地图和子地图的精确节点匹配信息，实现面向室内大场景的定位数据集的构建；
S222、通过在配准矩阵中添加边配准关系，实现在现有基于图卷积神经网络的图匹配模型中关系配准模块的添加，即在设置配准矩阵时，添加边信息，构成点和边联合的配准矩阵；匹配时不仅对节点进行配准，同时将边关系也进行配准，并在损失函数中添加对边的预测的损失计算部分；
S223、在步骤S221中的自制数据集中训练步骤S222改进的图匹配模型；
S224、将步骤S215获得的候选场景图和步骤S1获得的局部场景图输入到步骤S223中训练好的图卷积神经网络模型中进行图匹配，获得与局部场景图最为匹配的候选场景图；
S225、通过图匹配获得局部场景图与全局场景图中节点的匹配关系，根据机器人在局部场景图中的位置关系，即可得到其在全局场景中的位置，得到精准的定位信息。
实现上述基于认知理解的大场景精准定位方法的系统，包括
场景图生成模块，视频流基于图融合的场景描述方法获得场景图；
机器人定位模块，场景图生成模块生成的场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息；包括依次连接的基于语义一致性的粗定位模块和基于场景图匹配的精细定位模块。
一种实现介质，所述介质存储用于执行上述方法的计算机指令。
本发明的优点在于：
（1）人类对环境的感知方式不依赖精确的坐标信息，多数依靠各物体之间的相互关系。本发明仿照人类对环境的感知方式，通过对环境物体本身语义及相互间的关系认知所处环境，以此实现定位。
（2）本发明使用相机旋转一周的环境对应的物体级离散化场景图作为当前机器人所处位置的描述，能够更鲁棒、更轻量的表达环境。
（3）使用图卷积神经网络有效地对多个场景图进行融合，避免节点的冗余或丢失，并且是首次使用基于图卷积神经网络的图匹配方法实现大场景定位任务。
（4）通过对大规模复杂室内场景视觉信息采集，构建了一个面向大场景的定位数据集，弥补了大规模场景基于拓扑地图的定位数据集的缺失，能够更好地训练面向大场景的定位模型。
（5）在基于图卷积神经网络的图匹配模型中添加关系配准模块，能够提高图匹配的精确度。
（6）设计由粗到细的定位方法，可以在保证精准的同时，避免直接对维度不同的场景图进行图匹配所造成的计算成本激增问题。
（7）将图匹配方法应用到机器人定位上，能够解决传统定位方法在大规模复杂场景中计算成本高、精度不高等问题。
附图说明
图1为基于认知理解的大场景精准定位方法框架。
图2为基于认知理解的大场景精准定位方法技术路线图。
图3为基于图融合的场景图生成框架图。
图4为粗定位方法流程图。
图5（a）为需匹配的两图示意图。
图5（b）为仅节点配准矩阵图。
图5（c）为节点-边联合配准矩阵图。
具体实施方式
如图1和图2所示，一种基于认知理解的定位方法，包括以下步骤：
S1、视频流基于图融合的场景描述方法获得局部场景图；
如图3所示，基于图融合的场景描述方法具体步骤如下：
S11、利用相机对环境进行视觉感知，通过旋转一周获得自身周围的视觉信息，该步骤获得连续的图像帧。
S12、将步骤S11获得的图像帧逐一输入到目标检测网络中，识别图像中包含的目标物体的信息；如果该帧图像为视频流的第一帧图像，则使用目标检测网络直接输出目标物体的信息；如果该帧图像不是第一帧图像，则利用上一图像帧生成的场景图，基于前后帧图像关联，辅助目标检测获得精准的目标物体的信息。目标检测网络选检测精度较高的网络，如maskrnn网络、YOLO系列网络，其目标物体的信息包括物体自身类别信息，及位姿信息，包括相对于相机位置的水平偏移角度、水平距离等。
S13、通过遍历的方法判断步骤S12中获得的目标物体的信息是否全部存在于原有场景图中，如果已经存在，则对该帧图像的处理结束，直接进行下一帧图像的处理，如果未全部存在或全部不存在，则进行步骤S14；
S14、利用目标推理网络对目标物体之间的语义关系进行推理；选择Neural-Motifs网络框架直接预测目标物体之间的高阶语义关系，从而生成该单帧图像对应的场景图。
S15、将步骤S14生成的场景图和上一帧图像对应的场景图，在图卷积神经网络后直接连接一层全连接层构成场景图融合网络模块，使其能够对场景图的邻接矩阵进行预测，从而实现去除两个场景图中重复的部分，保留不同的部分并预测其与原有场景图中物体的关系。
通过以上步骤，获得机器人周围的局部场景图。基于目标关系理解的场景表征方法旨在为后续定位方法提供轻量化、高鲁棒的环境表示。
S2、场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息，所述由粗到细定位方法包括依次实施的基于语义一致性的粗定位方法和基于场景图匹配的精细定位方法。
如图4所示，基于语义一致性的粗定位方法具体如下：
S211、利用物体级拓扑语义模型构建整个场景的拓扑语义地图作为全局场景图；
S212、在步骤S1构建室内环境的局部场景图中任意选取一个物体作为中心节点，根据该中心节点的物体信息，通过在全局场景图中遍历，得到属性相同的物体作为候选中心物体；所述物体信息包括语义属性、纹理、外观等。
S213、通过随机游走获得局部场景图的的最大节点数；最大节点数即以任一节点为起点，到达局部场景图所有边缘节点的最短步长的最大值；
S214、以步骤S212获得的候选中心物体作为中心点，以最大节点数为步长沿每个可走的方向随机游走，获得若干个场景图。
S215、将步骤S214获得的场景图中的每个节点和候选场景的节点，通过语义一致性筛选出前K名与步骤S1中生成的局部场景图相近的场景图，作为候选场景图。
S22、基于场景图匹配的精细定位方法具体如下：
S221、利用物体级拓扑语义模型构建多个大场景的全局拓扑语义地图，再以每个节点为中心，随机生成子地图；通过语义直方图和随机游走的方法对大场景的全局拓扑语义地图和子地图的节点匹配进行粗标注，再通过人工校对的方法，获得全局拓扑语义地图和子地图的精确节点匹配信息，实现面向室内大场景的定位数据集的构建；
S222、通过在配准矩阵中添加边配准关系，实现在现有基于图卷积神经网络的图匹配模型中关系配准模块的添加，即在设置配准矩阵时，添加边信息，构成点和边联合的配准矩阵。匹配时不仅对节点进行配准，同时将边关系也进行配准，并在损失函数中添加对边的预测的损失计算部分。图5(a)为需要匹配的两图示意图。结合节点-边联合配准矩阵，构建基于图卷积神经网络的图匹配模型，节点-边联合配准矩阵如图5(c)所示。需要注意的是，现有的配准矩阵中多数是节点和节点的配准关系，如图5(b)所示，黑色方块表示图5(a)中需匹配的两图中节点3和节点e的配准度。在节点配准矩阵中添加边与边的配准关系，如图5(c)所示，图5(c)中黑色方块表示图5(a)中需匹配的两图中节点3和节点e的配准度，条纹方块表示图5(a)中需匹配的两图中节点3与节点5连接的边和节点c与节点e连接的边的配准度。
S223、在步骤S221中的自制数据集中训练步骤S222改进的图匹配模型。
S224、将步骤S215获得的候选场景图和步骤S1获得的局部场景图输入到步骤S223中训练好的图卷积神经网络模型中进行图匹配，获得与局部场景图最为匹配的候选场景图。
S225、通过步骤S223的图匹配获得局部场景图与全局场景图中节点的匹配关系，根据机器人在局部场景图中的位置关系，即可得到其在全局场景中的位置，得到精准的定位信息。
利用基于场景图匹配的由粗到细定位方法，实现面向大场景高精度、轻量化的定位。该定位方法又分为两部分：基于语义一致性的粗定位方法和基于场景图匹配的精细定位方法。局部场景图和全局场景图维度差距大且直接匹配计算成本高，选择利用节点的语义一致性进行粗定位，筛选出与局部场景图维度接近、语义信息较为相同的候选场景图。再利用基于图卷积神经网络的图匹配方法将候选场景图和局部场景图进行匹配，获得节点与关系的配准，从而得到最终的定位结果。
实现上述基于认知理解的大场景精准定位方法的系统，包括：
场景图生成模块，视频流基于图融合的场景描述方法获得场景图；
机器人定位模块，场景图生成模块生成的场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息；包括依次连接的基于语义一致性的粗定位模块和基于场景图匹配的精细定位模块。
一种实现介质，所述介质存储用于执行上述方法的计算机指令。
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (8)

1.一种基于认知理解的大场景精准定位方法，其特征在于，包括以下步骤：
S1、视频流基于图融合的场景描述方法获得局部场景图；
S2、场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息，所述由粗到细定位方法包括依次实施的基于语义一致性的粗定位方法和基于场景图匹配的精细定位方法。
2.根据权利要求1所述的一种基于认知理解的大场景精准定位方法，其特征在于，基于图融合的场景描述方法具体步骤如下：
S11、利用相机对环境进行视觉感知，通过旋转一周获得自身周围的视觉信息，获得连续的图像帧；
S12、将步骤S11获得的图像帧逐一输入到目标检测网络中，识别图像中包含的目标物体的信息；如果该帧图像为视频流的第一帧图像，则使用目标检测网络直接输出目标物体的信息；如果该帧图像不是第一帧图像，则利用上一图像帧生成的场景图，基于前后帧图像关联，辅助目标检测获得目标物体的信息；
S13、通过遍历的方法判断步骤S12中获得的目标物体的信息是否全部存在于原有场景图中，如果已经存在，则对该帧图像的处理结束，直接进行下一帧图像的处理，如果未全部存在或全部不存在，则进行步骤S14；
S14、利用目标推理网络对目标物体之间的语义关系进行推理，生成该单帧图像对应的场景图；
S15、将步骤S14生成的场景图和上一帧图像对应的场景图，在图卷积神经网络后直接连接一层全连接层构成场景图融合网络模块，使其能够对场景图的邻接矩阵进行预测，从而实现去除两个场景图中重复的部分，保留不同的部分并预测其与原有场景图中物体的关系。
3.根据权利要求2所述的一种基于认知理解的大场景精准定位方法，其特征在于，步骤S12中目标检测网络为maskrnn网络或YOLO系列网络。
4.根据权利要求2所述的一种基于认知理解的大场景精准定位方法，其特征在于，目标物体的信息包括类别及位姿信息。
5.根据权利要求1所述的一种基于认知理解的大场景精准定位方法，其特征在于，基于语义一致性的粗定位方法具体如下：
S211、利用物体级拓扑语义模型构建整个场景的拓扑语义地图作为全局场景图；
S212、在步骤S1构建室内环境的局部场景图中任意选取一个物体作为中心节点，根据该中心节点的物体信息，通过在全局场景图中遍历，得到属性相同的物体作为候选中心物体；
S213、通过随机游走获得局部场景图的最大节点数；最大节点数即以任一节点为起点，到达局部场景图所有边缘节点的最短步长的最大值；
S214、以步骤S212获得的候选中心物体作为中心点，以最大节点数为步长沿每个可走的方向随机游走，获得若干个场景图；
S215、将步骤S214获得的场景图中的每个节点和候选场景的节点，通过语义一致性筛选出前K名与步骤S1中生成的局部场景图相近的场景图，作为候选场景图。
6.根据权利要求5所述的一种基于认知理解的大场景精准定位方法，其特征在于，基于场景图匹配的精细定位方法具体如下：
S221、利用物体级拓扑语义模型构建多个大场景的全局拓扑语义地图，再以每个节点为中心，随机生成子地图；通过语义直方图和随机游走的方法对大场景的全局拓扑语义地图和子地图的节点匹配进行粗标注，再通过人工校对的方法，获得全局拓扑语义地图和子地图的精确节点匹配信息，实现面向室内大场景的定位数据集的构建；
S222、通过在配准矩阵中添加边配准关系，实现在现有基于图卷积神经网络的图匹配模型中关系配准模块的添加，即在设置配准矩阵时，添加边信息，构成点和边联合的配准矩阵；匹配时不仅对节点进行配准，同时将边关系也进行配准，并在损失函数中添加对边的预测的损失计算部分；
S223、在步骤S221中的自制数据集中训练步骤S222改进的图匹配模型；
S224、将步骤S215获得的候选场景图和步骤S1获得的局部场景图输入到步骤S223中训练好的图卷积神经网络模型中进行图匹配，获得与局部场景图最为匹配的候选场景图；
S225、通过图匹配获得局部场景图与全局场景图中节点的匹配关系，根据机器人在局部场景图中的位置关系，即可得到其在全局场景中的位置，得到精准的定位信息。
7.实现权利要求1-6任意一项所述基于认知理解的大场景精准定位方法的系统，其特征在于，包括
场景图生成模块，视频流基于图融合的场景描述方法获得场景图；
机器人定位模块，场景图生成模块生成的场景图基于由粗到细定位方法最终获得精准图匹配结果，从而确定机器人定位信息；包括依次连接的基于语义一致性的粗定位模块和基于场景图匹配的精细定位模块。
8.一种实现介质，其特征在于，所述介质存储用于执行权利要求1-6任意一项方法的计算机指令。
CN202211093593.1A 2022-09-08 2022-09-08 一种基于认知理解的大场景精准定位方法及系统 Active CN115187667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211093593.1A CN115187667B (zh) 2022-09-08 2022-09-08 一种基于认知理解的大场景精准定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211093593.1A CN115187667B (zh) 2022-09-08 2022-09-08 一种基于认知理解的大场景精准定位方法及系统

Publications (2)

Publication Number Publication Date
CN115187667A true CN115187667A (zh) 2022-10-14
CN115187667B CN115187667B (zh) 2022-12-20

Family

ID=83522573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211093593.1A Active CN115187667B (zh) 2022-09-08 2022-09-08 一种基于认知理解的大场景精准定位方法及系统

Country Status (1)

Country Link
CN (1) CN115187667B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242959A (zh) * 2018-08-29 2019-01-18 清华大学 三维场景重建方法及系统
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN111160304A (zh) * 2019-12-31 2020-05-15 华中科技大学 一种局部帧差和多帧融合的地面动目标检测与跟踪方法
CN111369688A (zh) * 2020-03-11 2020-07-03 暗物智能科技(广州)有限公司 一种结构化场景表达的认知导航方法及系统
CN111504331A (zh) * 2020-04-29 2020-08-07 杭州环峻科技有限公司 一种由粗到细的全景智能车辆定位方法和装置
CN113865581A (zh) * 2021-09-16 2021-12-31 江苏大学 基于多层级地图的封闭场景定位方法
US20220111531A1 (en) * 2020-10-09 2022-04-14 Zhejiang University Robot globally optimal visual positioning method and device based on point-line features
CN114526739A (zh) * 2022-01-25 2022-05-24 中南大学 移动机器人室内重定位方法、计算机装置及产品
WO2022120997A1 (zh) * 2020-12-10 2022-06-16 中国科学院深圳先进技术研究院 一种分布式slam系统及其学习方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242959A (zh) * 2018-08-29 2019-01-18 清华大学 三维场景重建方法及系统
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
CN111160304A (zh) * 2019-12-31 2020-05-15 华中科技大学 一种局部帧差和多帧融合的地面动目标检测与跟踪方法
CN111369688A (zh) * 2020-03-11 2020-07-03 暗物智能科技(广州)有限公司 一种结构化场景表达的认知导航方法及系统
CN111504331A (zh) * 2020-04-29 2020-08-07 杭州环峻科技有限公司 一种由粗到细的全景智能车辆定位方法和装置
US20220111531A1 (en) * 2020-10-09 2022-04-14 Zhejiang University Robot globally optimal visual positioning method and device based on point-line features
WO2022120997A1 (zh) * 2020-12-10 2022-06-16 中国科学院深圳先进技术研究院 一种分布式slam系统及其学习方法
CN113865581A (zh) * 2021-09-16 2021-12-31 江苏大学 基于多层级地图的封闭场景定位方法
CN114526739A (zh) * 2022-01-25 2022-05-24 中南大学 移动机器人室内重定位方法、计算机装置及产品

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIYUE GUO ET AL: "Semantic Histogram Based Graph Matching for Real-Time Multi-Robot Global Localization in Large Scale Environment", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
宋佳昕: "移动机器人室外大尺度场景定位及语义建图算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN115187667B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN111190981B (zh) 一种三维语义地图的构建方法、装置、电子设备及存储介质
Zorzi et al. Polyworld: Polygonal building extraction with graph neural networks in satellite images
CN110084850B (zh) 一种基于图像语义分割的动态场景视觉定位方法
Kumar et al. A new vehicle tracking system with R-CNN and random forest classifier for disaster management platform to improve performance
WO2023207437A1 (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
Draper et al. Knowledge-directed vision: Control, learning, and integration
CN111563442A (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN110399518B (zh) 一种基于图卷积的视觉问答增强方法
CN111169468B (zh) 一种自动泊车的系统及方法
CN110021072B (zh) 面向全息测绘的多平台点云智能处理方法
CN113554654A (zh) 基于图神经网络的点云特征提取模型及分类分割方法
Wang et al. Map-enhanced ego-lane detection in the missing feature scenarios
CN114494436A (zh) 室内场景定位方法及装置
CN111709317B (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN115731355A (zh) 一种基于SuperPoint-NeRF的三维建筑物重建方法
Zhang et al. Large-scale 3d semantic mapping using monocular vision
CN116189306A (zh) 基于联合注意力机制的人体行为识别方法
Zhang et al. Improved feature point extraction method of ORB-SLAM2 dense map
Lebegue et al. Generation of architectural CAD models using a mobile robot
Moolan-Feroze et al. Improving drone localisation around wind turbines using monocular model-based tracking
CN111402429B (zh) 一种尺度还原、三维重建方法、系统、存储介质及设备
CN115187667B (zh) 一种基于认知理解的大场景精准定位方法及系统
CN114120095A (zh) 一种基于空中三维模型的移动机器人自主定位系统及方法
CN112699713B (zh) 一种语义线段信息的检测方法及装置
Wang et al. Image semantic segmentation method based on deep fusion network and conditional random field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant