CN112927269A - 基于环境语义的地图构建方法、装置和计算机设备 - Google Patents

基于环境语义的地图构建方法、装置和计算机设备 Download PDF

Info

Publication number
CN112927269A
CN112927269A CN202110332728.4A CN202110332728A CN112927269A CN 112927269 A CN112927269 A CN 112927269A CN 202110332728 A CN202110332728 A CN 202110332728A CN 112927269 A CN112927269 A CN 112927269A
Authority
CN
China
Prior art keywords
semantic
map
feature point
environment image
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110332728.4A
Other languages
English (en)
Other versions
CN112927269B (zh
Inventor
潘濛濛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Water World Co Ltd
Original Assignee
Shenzhen Water World Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Water World Co Ltd filed Critical Shenzhen Water World Co Ltd
Priority to CN202110332728.4A priority Critical patent/CN112927269B/zh
Publication of CN112927269A publication Critical patent/CN112927269A/zh
Application granted granted Critical
Publication of CN112927269B publication Critical patent/CN112927269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于环境语义的地图构建方法、装置和计算机设备，系统通过相机采集多帧第一环境图像，然后识别第一环境图像中的所有第一物体，得到各个第一物体分别对应的第一语义标签。系统从第一环境图像中提取若干个第一特征点，并将各个第一特征点与对应的第一语义标签建立关联。系统使用各第一特征点进行地图构建，在地图构建过程中根据第一语义标签调整关联的第一特征点的权重，得到语义地图。本申请在语义地图的构建过程中，引入了第一语义标签对关联的特征点的权重进行调整，降低了地图构建对环境光照条件的依赖性，从而提高了不同时间下相机的定位鲁棒性，有效提高了相机定位的精度和稳定度，进而提高了构建后的语义地图的准确度。

Description

基于环境语义的地图构建方法、装置和计算机设备
技术领域
本申请涉及地图构建技术领域，特别涉及一种基于环境语义的地图构建方法、装置和计算机设备。
背景技术
即时定位与地图构建(SLAM，Simultaneous localization and mapping)技术能够在未知环境下，通过传感器不断捕捉环境信息，实时进行相机自身位姿估计，并同时构建三维地图。在过去的三十年中，SLAM技术飞速发展，在机器人、自动驾驶、增强现实等领域都扮演着重要的角色。
现有的SLAM技术主要是采用特征点法，通过检测环境图像的灰度差异提取特征点并计算描述子，对不同帧的环境图像之间的特征点进行匹配，从而计算得到相机的位姿，实现地图构建。但是，这种方法对环境的适应性较差，容易受到环境光变化的影响，导致对相机位姿的定位精度较差，进而影响地图构建的准确度。
发明内容
本申请的主要目的为提供一种基于环境语义的地图构建方法、装置和计算机设备，旨在解决现有SLAM技术在地图构建过程中容易受到环境光变化的影响、导致所构建的地图准确度较低的弊端。
为实现上述目的，本申请提供了一种基于环境语义的地图构建方法，包括：
通过相机采集多帧第一环境图像；
识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签；
从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联；
使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图。
进一步的，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤，包括：
将各所述第一特征点按照各自对应的所述第一语义标签进行属性划分，得到各所述第一特征点分别对应的物体属性；
根据所述物体属性调整对应的所述第一特征点的第一权重，得到若干个预处理特征点；
对各所述预处理特征点进行所述第一环境图像的帧间匹配，并在帧间匹配过程中提高具有相同所述第一语义标签对应的所述预处理特征点的第二权重，得到相机运动位姿；
根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图。
进一步的，所述将各所述第一特征点与对应的所述第一语义标签建立关联的步骤，包括：
将各所述第一物体在所述第一环境图像中的位置区域与对应的所述第一语义标签进行关联；
获取各所述第一特征点在所述第一环境图像中的位置信息；
根据各所述位置信息在所述第一环境图像中所属的位置区域，将各所述第一特征点与对应的所述第一语义标签建立关联。
进一步的，所述识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签的步骤，包括：
将所述第一环境图像输入预先训练的CNN深度学习模型中进行识别，得到各所述第一物体分别对应的物体名称；
将所述物体名称作为所述第一语义标签的内容之一，与对应的所述第一物体进行关联。
进一步的，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤之后，包括：
采集第二环境图像；
从所述第二环境图像中提取当前环境所具有的第二语义标签；
从所述语义地图中筛选与所述第二语义标签匹配的第一区域图像；
从所述第二环境图像中提取得到第二特征点；
将所述第二特征点与所述第一区域图像的特征点进行对比，得到所述相机当前在所述语义地图中的第一位姿信息，实现重定位。
进一步的，所述从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联的步骤之后，包括：
根据所述第一物体对应的各个所述第一特征点，获得所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度；
将所述外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度与对应的所述第一语义标签进行关联后存储。
进一步的，所述根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图的步骤之后，包括：
采集第三环境图像，所述第三环境图像至少包含一个第二物体；
从所述第三环境图像中提取当前环境所具有的第三语义标签，单个所述第二物体对应单个所述第三语义标签；
从所述语义地图中筛选与所述第三语义标签匹配的第二区域图像；
将所述第二物体的外轮廓线条的第二线条尺寸、第二线条比例及第二线条角度，与所述第二区域图像中具有相同语义标签的所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度进行同类型对应比对，得到所述相机当前在所述语义地图中的第二位姿信息，实现定位。
本申请还提供了一种基于环境语义的地图构建装置，包括：
第一采集模块，用于通过相机采集多帧第一环境图像；
识别模块，用于识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签；
关联模块，用于从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联；
构建模块，用于使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图。
进一步的，所述构建模块，包括：
划分单元，用于将各所述第一特征点按照各自对应的所述第一语义标签进行属性划分，得到各所述第一特征点分别对应的物体属性；
预处理单元，用于根据所述物体属性调整对应的所述第一特征点的第一权重，得到若干个预处理特征点；
匹配单元，用于对各所述预处理特征点进行所述第一环境图像的帧间匹配，并在帧间匹配过程中提高具有相同所述第一语义标签对应的所述预处理特征点的第二权重，得到相机运动位姿；
构建单元，用于根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图。
进一步的，所述关联模块，包括：
第一关联单元，用于将各所述第一物体在所述第一环境图像中的位置区域与对应的所述第一语义标签进行关联；
获取单元，用于获取各所述第一特征点在所述第一环境图像中的位置信息；
第二关联单元，用于根据各所述位置信息在所述第一环境图像中所属的位置区域，将各所述第一特征点与对应的所述第一语义标签建立关联。
进一步的，所述识别模块，包括：
识别单元，用于将所述第一环境图像输入预先训练的CNN深度学习模型中进行识别，得到各所述第一物体分别对应的物体名称；
第三关联单元，用于将所述物体名称作为所述第一语义标签的内容之一，与对应的所述第一物体进行关联。
进一步的，所述地图构建装置，还包括：
第二采集模块，用于采集第二环境图像；
第一提取模块，用于从所述第二环境图像中提取当前环境所具有的第二语义标签；
筛选模块，用于从所述语义地图中筛选与所述第二语义标签匹配的第一区域图像；
第二提取模块，用于从所述第二环境图像中提取得到第二特征点；
第一定位模块，用于将所述第二特征点与所述第一区域图像的特征点进行对比，得到所述相机当前在所述语义地图中的第一位姿信息，实现重定位。
进一步的，所述地图构建装置，还包括：
测量模块，用于根据所述第一物体对应的各个所述第一特征点，获得所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度；
存储模块，用于将所述外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度与对应的所述第一语义标签进行关联后存储。
进一步的，所述滴入构建装置，还包括：
第三采集模块，用于采集第三环境图像，所述第三环境图像至少包含一个第二物体；
第三提取模块，用于从所述第三环境图像中提取当前环境所具有的第三语义标签，单个所述第二物体对应单个所述第三语义标签；
匹配模块，用于从所述语义地图中筛选与所述第三语义标签匹配的第二区域图像；
第二定位模块，用于将所述第二物体的外轮廓线条的第二线条尺寸、第二线条比例及第二线条角度，与所述第二区域图像中具有相同语义标签的所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度进行同类型对应比对，得到所述相机当前在所述语义地图中的第二位姿信息，实现定位。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请中提供的一种基于环境语义的地图构建方法、装置和计算机设备，系统通过相机采集多帧第一环境图像，然后识别第一环境图像中的所有第一物体，得到各个第一物体分别对应的第一语义标签。系统从第一环境图像中提取若干个第一特征点，并将各个第一特征点与对应的第一语义标签建立关联。系统使用各第一特征点进行地图构建，在地图构建过程中根据第一语义标签调整关联的第一特征点的权重，得到语义地图。本申请在语义地图的构建过程中，引入了第一语义标签对关联的特征点的权重进行调整，降低了地图构建以及后期利用地图进行重定位时对环境光照条件的依赖性，从而提高了不同时间下相机的定位鲁棒性，有效提高了相机定位的精度和稳定度，进而提高了构建后的语义地图的准确度。
附图说明
图1是本申请一实施例中种基于环境语义的地图构建方法步骤示意图；
图2是本申请一实施例中基于环境语义的地图构建装置整体结构框图；
图3是本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例中提供了一种基于环境语义的地图构建方法，包括：
S1:通过相机采集多帧第一环境图像；
S2:识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签；
S3:从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联；
S4:使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图。
本实施例中，在开始语义地图的构建前，系统以相机的初始位置为坐标原点构建世界坐标系，并以相机自身的实际位置为坐标原点构建相机坐标系。相机具体可以为TOF相机，在实际应用中，相机设置在机器人或车辆等设备上，相机在世界坐标系中的位姿等同于机器人或车辆等设备在世界坐标系中的位姿。当相机从初始位置开始移动时，系统通过相机采集得到运动路径上的多帧第一环境图像(包括相机在初始位置的第一环境图像)。系统将采集到的第一环境图像输入预先训练的CNN深度学习模型中进行第一物体类似识别，从而得到第一环境图像中所包含的各个第一物体分别对应物体名称，并将物体名称作为第一语义标签，与对应的第一物体进行关联，实现对第一环境图像中的所有第一物体设置相应的第一语义标签。系统对第一环境图像进行特征点提取，得到若干个第一特征点。其中，特征点提取方法可以为Harris角点检测、SIFT、SURF、ORB等方法。系统将各个第一物体在第一环境图像中的位置区域与对应的第一语义标签进行关联，然后获取各个第一特征点在第一环境图像中的位置信息。根据各个位置信息在第一环境图像中所属的位置区域，将各个第一特征点与对应的第一语义标签建立关联。系统将各个第一特征点按照各自对应的第一语义标签进行属性划分，得到各个第一特征点分别对应的物体属性。然后，根据物体属性调整对应的第一特征点的第一权重，比如将物体属性为可移动物体的第一特征点的第一权重调整为0，(即剔除第一环境图像中物体属性属于可移动物体的所有第一特征点)，完成对第一环境图像中所有第一特征点的预处理，得到若干个预处理特征点。系统按照上述规则对各帧第一环境图像进行第一特征点的预处理，然后按照相机的拍摄顺序，使用相邻两帧第一环境图像的预处理特征点进行帧间匹配，并在帧间匹配过程中识别到具有相同的第一语义标签时，提高该相同第一语义标签所对应的所有预处理特征点的第二权重，以减少错误特征点的影响(即降低光照条件的依赖性)。系统通过帧间匹配得到两帧第一环境图像中相同的预处理特征点的位置对应关系，从而解算得到相机在拍摄这两帧第一环境图像时的相对运动位姿。系统根据各个第一特征点与相机之间的位姿关系、上述求解得到的相机运动位姿进行地图构建，通过坐标系转换，得到各个第一特征点在世界坐标系中的位姿，进而构建得到全局的语义地图。
本实施例在语义地图的构建过程中，引入了第一语义标签对关联的特征点的权重进行调整，由于语义的确定可由局部特征点实现，如此需做匹配操作的点的数量少的多，对光照要求也会降低很多，降低了地图构建和后期利用地图进行重定位时对环境光照条件的依赖性，从而提高了不同时间下相机的定位鲁棒性，有效提高了相机定位的精度和稳定度，进而提高了构建后的语义地图的准确度。
进一步的，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤，包括：
S401:将各所述第一特征点按照各自对应的所述第一语义标签进行属性划分，得到各所述第一特征点分别对应的物体属性；
S402:根据所述物体属性调整对应的所述第一特征点的第一权重，得到若干个预处理特征点；
S403:对各所述预处理特征点进行所述第一环境图像的帧间匹配，并在帧间匹配过程中提高具有相同所述第一语义标签对应的所述预处理特征点的第二权重，得到相机运动位姿；
S404:根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图。
本实施例中，系统根据各个第一特征点分别对应的第一语义标签的具体语义进行属性划分，从而得到各个第一特征点各自对应的物体属性。具体地，物体属性包括可移动物体和不可移动物体，比如墙壁、桌子对应的第一特征点的物体属性为不可移动物体，而宠物狗、人对应的第一特征点的物体属性即为可移动物体。系统首先根据各个第一特征点的物体属性进行第一权重的调整，将物体属性为可移动物体的所有第一个特征点的第一权重降低(第一权重的降低幅度由开发人员预先进行定义，最大可以将第一权重降至0，即剔除所有物体属性为可移动物体的第一特征点)，以降低可移动物体所对应的第一特征点在后续地图构建中的影响。而物体属性为不可移动物体的所有第一特征点的第一权重则保持不变或者加大处理，从而完成对第一环境图像中所有第一特征点的预处理，得到若干个预处理特征点(比如第一环境图像中的第一特征点为500个，其中可移动物体的第一特征点为200个，并且被剔除，则经过预处理后的预处理特征点为物体属性为不可移动物体的300个第一特征点)。
系统按照相机的拍摄顺序，使用相邻两帧第一环境图像的预处理特征点进行帧间匹配，并在帧间匹配过程中识别到具有相同的第一语义标签时，优选的，提高该相同第一语义标签所对应的所有预处理特征点的第二权重，以减少错误特征点的影响(即降低光照条件的依赖性)，值得一提的是，帧间比对过程中没有匹配上的点，可能是前面未确认到的“可移动物体”因移动造成的，如此也可剔/降低一些“错误特征点”或“无用特征点”的干扰。
系统通过帧间匹配得到两帧第一环境图像中相同的预处理特征点的位置对应关系，从而解算得到相机在拍摄这两帧第一环境图像时的相对运动位姿，即相机运动位姿。系统根据前一帧第一环境图像所对应的初始相机运动位姿以及相对运动位姿，转换得到后一帧第一环境图像所对应的相机运动位姿(即相机在拍摄后一帧第一环境图像时在世界坐标系中的位姿)。最后，系统根据各个第一特征点与相机之间的位姿关系(即各个第一特征点在相机坐标系中的位姿)，通过坐标系转换，得到各个第一特征点在世界坐标系中的位姿，进而构建得到全局的语义地图。
可以理解的是，前述特征点在经过第一权重、第二权重的处理后，“不可移动”且可信度高的特征点的权重会更大，“可移动”或可信度低的特征点的权重会减小，如此，不论在帮助获得相机的运动位姿、还是地图构建、甚至在后续的重定位应用上，结果的准确度和精度都会有所提高。
优选的，系统将连续的预设数量帧的第一环境图像中物体属性为“可移动物体”的各个第一特征点标记在语义地图上，形成“可移动物体”的运动轨迹，该运动轨迹在语义地图上所占据的空间表征可通过空间(比如走廊)。在后续扫地机进行清扫时，系统可以根据语义地图上的可通过空间进行扫地机的清扫路径、移动路径的规划。进一步的，系统判断物体属性为“可移动物体”的各个第一特征点在语义地图上的重复次数或者密集程度是否达到阈值，若“可移动物体”的第一特征点在语义地图上的重复次数或密集程度达到阈值，则将重复次数或密集程度达到阈值所对应的各个第一特征点在语义地图上的区域标记为重点清扫区域，该重点清扫区域表征可移动物体(比如人或宠物)活动较为频繁的区域，所带来或产生的垃圾会比较多，因此需要扫地机对重点清扫区域进行重点清扫，比如提高对该重点清扫区域的清扫频率(比如其他区域每天清扫一次，重点清扫区域每天清扫3次)，以保证整个场景区域的干净舒适，提高用户的使用体验。
进一步的，所述将各所述第一特征点与对应的所述第一语义标签建立关联的步骤，包括：
S301:将各所述第一物体在所述第一环境图像中的位置区域与对应的所述第一语义标签进行关联；
S302:获取各所述第一特征点在所述第一环境图像中的位置信息；
S303:根据各所述位置信息在所述第一环境图像中所属的位置区域，将各所述第一特征点与对应的所述第一语义标签建立关联。
本实施例中，系统根据CNN深度学习模型的识别结果，对应设置第一环境图像中的各个第一物体的第一语义标签后，进一步根据第一物体在第一环境图像中的位置区域与该第一物体的第一语义标签建立关联。系统从第一环境图像中提取得到若干个第一特征点，并标记各个第一特征点在第一环境图像中的位置信息。系统根据第一特征点的位置信息在第一环境图像中所属的位置区域，将第一特征点与该位置区域对应的第一语义标签建立关联。比如，第一物体的第一语义标签为墙壁，第一物体在第一环境图像中的位置区域为第一环境图像中的左上角，在后续提取得到的多个第一特征点中，位于第一环境图像中的左上角的所有第一特征点均与第一语义标签“墙壁”建立关联关系。
可以理解的是，也可以直接根据第一物体与对应特征点的关系，将第一物体的语义标签赋予到对应的特征点上。
进一步的，所述识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签的步骤，包括：
S201:将所述第一环境图像输入预先训练的CNN深度学习模型中进行识别，得到各所述第一物体分别对应的物体名称；
S202:将所述物体名称作为所述第一语义标签的内容之一，与对应的所述第一物体进行关联。
本实施例中，系统预先使用各种物体图像作为训练样本，通过深度学习训练得到CNN深度学习模型。训练后的CNN深度学习模型可以对输入的图像进行识别，得到图像所包含的各种物体所对应的名称。具体地，系统将相机采集得到的第一环境图像输入上述的CNN深度学习模型中进行识别，得到第一环境图像中所包含的各个第一物体各自对应的物体名称。然后，系统将物体名称作为第一语义标签的内容之一，并与对应的第一物体进行关联，得到各个第一物体分别对应的第一语义标签。
进一步的，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤之后，包括：
S5:采集第二环境图像；
S6:从所述第二环境图像中提取当前环境所具有的第二语义标签；
S7:从所述语义地图中筛选与所述第二语义标签匹配的第一区域图像；
S8:从所述第二环境图像中提取得到第二特征点；
S9:将所述第二特征点与所述第一区域图像的特征点进行对比，得到所述相机当前在所述语义地图中的第一位姿信息，实现重定位。
本实施例中，当系统识别到自身丢失定位信息时(即系统无法确定自身在当前环境中的具体位置时)，系统通过相机采集当前自身所处的第二环境图像。然后，通过CNN深度学习模型识别第二环境图像中所包含的所有物体，进而提取得到第二环境图像中所具有的第二语义标签。系统从构建好的语义地图中筛选与第二语义标签匹配的第一区域图像，比如第二环境图像中当前包含有墙壁、电视机、桌子这三个第二语义标签，则系统从语义地图中筛选同样包含有墙壁、电视机、桌子的场景所对应的区域图像，即第一区域图像。然后，系统从第二环境图像中提取得到若干个第二特征点，并将第二特征点与第一区域图像中的特征点进行对比计算，得到相机当前在环境图像中的第一位姿信息，实现重定位。现有技术中，系统在识别到自身丢失定位信息后，通常会采用根据第二特征点特征点来与全局的语义地图中所有的特征点进行暴力匹配。由于全局的语义地图中所具有的特征点数量非常多，因此暴力匹配的速度会比较慢，众多特征点的匹配，对光源和光线的依赖更为强烈。本实施例中，系统首先从第二环境图像中提取第二语义标签，再根据第二语义标签从语义地图中匹配到对应的第一区域图像的特征点，能够大幅度提高特征点匹配的速度，且精确度更高。
进一步的，所述从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联的步骤之后，包括：
S10:根据所述第一物体对应的各个所述第一特征点，获得所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度；
S11:将所述外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度与对应的所述第一语义标签进行关联后存储。
本实施例中，系统根据第一物体所对应的各个第一特征点，组合得到第一物体的外轮廓线条，测算出外轮廓线条中每个线条的尺寸，即第一线条尺寸；外轮廓线条中线条与线条之间的比例，即第一线条比例；以及外轮廓线条中线条与线条之间的夹角，即第一线条角度。然后，系统将外轮廓线条的第一线条尺寸、第一线条比例以及第一线条角度与对应的第一语义标签进行关联后存储，用于后续定位的参照条件。比如第一物体为椅子，其外轮廓线条分别为：A、B、C，依次对应的第一线条尺寸为9，6，3，依次对应的第一线条比例则为：3:2:1，线条A与线条B之间、线条B与线条C之间、线条C与线条A之间的第一线条角度依次为：20度、30度、40度。系统将外轮廓线条分别为：A、B、C、第一线条尺寸为9，6，3、第一线条比例为：3:2:1以及第一线条角度为：20度、30度、40度，与第一语义标签椅子进行关联后存储在内部数据库中。
进一步的，所述根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图的步骤之后，包括：
S12:采集第三环境图像，所述第三环境图像至少包含一个第二物体；
S13:从所述第三环境图像中提取当前环境所具有的第三语义标签，单个所述第二物体对应单个所述第三语义标签；
S14:从所述语义地图中筛选与所述第三语义标签匹配的第二区域图像；
S15:将所述第二物体的外轮廓线条的第二线条尺寸、第二线条比例及第二线条角度，与所述第二区域图像中具有相同语义标签的所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度进行同类型对应比对，得到所述相机当前在所述语义地图中的第二位姿信息，实现定位。
本实施例中，系统在初次完成对全局的语义地图的构建后，后续运行时，可以通过获取当前自身所处的环境图像，准确定位到自身在语义地图中的位置。具体地，系统通过相机采集当前所处环境的第三环境图像，其中，第三环境图像中至少包含一个第二物体。系统通过CNN深度学习模型从第三环境图像中提取当前环境所具有的第三语义标签，单个第二物体对应单个第三语义标签。系统首先根据第三语义标签，从语义地图中筛选与第三语义标签匹配的第二区域图像(即第二区域图像中具有与第三语义标签的具体语义相同的物体)。系统从第三环境图像中提取得到第二物体所对应的特征点，并测算得到第二物体的外轮廓线条的第二线条尺寸、第二线条比例以及第二线条角度。然后将第二物体的外轮廓线条的第二线条尺寸、第二线条比例以及第二线条角度，与预先存储的第二区域图像中具有相同语义标签的第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度进行同类型对应比对，从而得到相机当前在语义地图中的第二位姿信息，实现定位。
具体地，系统首先将第二物体的外轮廓线条的第二线条比例与具有相同语义标签的第一物体的外轮廓线条的第一线条比例进行比对，将第二物体的外轮廓线条的第二线条角度与具有相同语义标签的第一物体的外轮廓线条的第二线条角度进行比对，从而判断第二物体和具有相同语义标签的第一物体是否为同一物体，即更快速的确定对应匹配的物体。如果第二物体和具有相同语义标签的第一物体是否为同一物体，则可以确定相机当前处于具有相同语义标签的第一物体在语义地图中的区域。然后，根据第二物体的外轮廓线条的第二线条尺寸与具有相同语义标签的第一物体的外轮廓线条的第一线条尺寸之间的比例关系，得到相机在第一物体所在区域的具体位置。比如，第二线条尺寸与第一线条尺寸之间的比例为1:2，表明相机当前在距离相机记录第一物体时的位置2倍远的位置，实现准确定位。
参照图2，本申请一实施例中还提供了一种基于环境语义的地图构建装置，包括：
第一采集模块1，用于通过相机采集多帧第一环境图像；
识别模块2，用于识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签；
关联模块3，用于从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联；
构建模块4，用于使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图。
进一步的，所述构建模块4，包括：
划分单元，用于将各所述第一特征点按照各自对应的所述第一语义标签进行属性划分，得到各所述第一特征点分别对应的物体属性；
预处理单元，用于根据所述物体属性调整对应的所述第一特征点的第一权重，得到若干个预处理特征点；
匹配单元，用于对各所述预处理特征点进行所述第一环境图像的帧间匹配，并在帧间匹配过程中提高具有相同所述第一语义标签对应的所述预处理特征点的第二权重，得到相机运动位姿；
构建单元，用于根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图。
进一步的，所述关联模块3，包括：
第一关联单元，用于将各所述第一物体在所述第一环境图像中的位置区域与对应的所述第一语义标签进行关联；
获取单元，用于获取各所述第一特征点在所述第一环境图像中的位置信息；
第二关联单元，用于根据各所述位置信息在所述第一环境图像中所属的位置区域，将各所述第一特征点与对应的所述第一语义标签建立关联。
进一步的，所述识别模块2，包括：
识别单元，用于将所述第一环境图像输入预先训练的CNN深度学习模型中进行识别，得到各所述第一物体分别对应的物体名称；
第三关联单元，用于将所述物体名称作为所述第一语义标签的内容之一，与对应的所述第一物体进行关联。
进一步的，所述地图构建装置，还包括：
第二采集模块5，用于采集第二环境图像；
第一提取模块6，用于从所述第二环境图像中提取当前环境所具有的第二语义标签；
筛选模块7，用于从所述语义地图中筛选与所述第二语义标签匹配的第一区域图像；
第二提取模块8，用于从所述第二环境图像中提取得到第二特征点；
第一定位模块9，用于将所述第二特征点与所述第一区域图像的特征点进行对比，得到所述相机当前在所述语义地图中的第一位姿信息，实现重定位。
进一步的，所述地图构建装置，还包括：
测量模块10，用于根据所述第一物体对应的各个所述第一特征点，获得所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度；
存储模块11，用于将所述外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度与对应的所述第一语义标签进行关联后存储。
进一步的，所述滴入构建装置，还包括：
第三采集模块12，用于采集第三环境图像，所述第三环境图像至少包含一个第二物体；
第三提取模块13，用于从所述第三环境图像中提取当前环境所具有的第三语义标签，单个所述第二物体对应单个所述第三语义标签；
匹配模块14，用于从所述语义地图中筛选与所述第三语义标签匹配的第二区域图像；
第二定位模块15，用于将所述第二物体的外轮廓线条的第二线条尺寸、第二线条比例及第二线条角度，与所述第二区域图像中具有相同语义标签的所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度进行同类型对应比对，得到所述相机当前在所述语义地图中的第二位姿信息，实现定位。
本实施例中，地图构建装置各模块、单元用于对应执行与上述基于环境语义的地图构建方法中的各个步骤，其具体实施过程在此不做详述。
本实施例提供的一种基于环境语义的地图构建装置，系统通过相机采集多帧第一环境图像，然后识别第一环境图像中的所有第一物体，得到各个第一物体分别对应的第一语义标签。系统从第一环境图像中提取若干个第一特征点，并将各个第一特征点与对应的第一语义标签建立关联。系统使用各第一特征点进行地图构建，在地图构建过程中根据第一语义标签调整关联的第一特征点的权重，得到语义地图。本申请在语义地图的构建过程中，引入了第一语义标签对关联的特征点的权重进行调整，降低了地图构建以及后期利用地图进行重定位时对环境光照条件的依赖性，从而提高了不同时间下相机的定位鲁棒性，有效提高了相机定位的精度和稳定度，进而提高了构建后的语义地图的准确度。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储第一线条尺寸等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于环境语义的地图构建方法。
上述处理器执行上述基于环境语义的地图构建方法的步骤：
S1:通过相机采集多帧第一环境图像；
S2:识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签；
S3:从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联；
S4:使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图。
进一步的，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤，包括：
S401:将各所述第一特征点按照各自对应的所述第一语义标签进行属性划分，得到各所述第一特征点分别对应的物体属性；
S402:根据所述物体属性调整对应的所述第一特征点的第一权重，得到若干个预处理特征点；
S403:对各所述预处理特征点进行所述第一环境图像的帧间匹配，并在帧间匹配过程中提高具有相同所述第一语义标签对应的所述预处理特征点的第二权重，得到相机运动位姿；
S404:根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图。
进一步的，所述将各所述第一特征点与对应的所述第一语义标签建立关联的步骤，包括：
S301:将各所述第一物体在所述第一环境图像中的位置区域与对应的所述第一语义标签进行关联；
S302:获取各所述第一特征点在所述第一环境图像中的位置信息；
S303:根据各所述位置信息在所述第一环境图像中所属的位置区域，将各所述第一特征点与对应的所述第一语义标签建立关联。
进一步的，所述识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签的步骤，包括：
S201:将所述第一环境图像输入预先训练的CNN深度学习模型中进行识别，得到各所述第一物体分别对应的物体名称；
S202:将所述物体名称作为所述第一语义标签的内容之一，与对应的所述第一物体进行关联。
进一步的，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤之后，包括：
S5:采集第二环境图像；
S6:从所述第二环境图像中提取当前环境所具有的第二语义标签；
S7:从所述语义地图中筛选与所述第二语义标签匹配的第一区域图像；
S8:从所述第二环境图像中提取得到第二特征点；
S9:将所述第二特征点与所述第一区域图像的特征点进行对比，得到所述相机当前在所述语义地图中的第一位姿信息，实现重定位。
进一步的，所述从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联的步骤之后，包括：
S10:根据所述第一物体对应的各个所述第一特征点，获得所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度；
S11:将所述外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度与对应的所述第一语义标签进行关联后存储。
进一步的，所述根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图的步骤之后，包括：
S12:采集第三环境图像，所述第三环境图像至少包含一个第二物体；
S13:从所述第三环境图像中提取当前环境所具有的第三语义标签，单个所述第二物体对应单个所述第三语义标签；
S14:从所述语义地图中筛选与所述第三语义标签匹配的第二区域图像；
S15:将所述第二物体的外轮廓线条的第二线条尺寸、第二线条比例及第二线条角度，与所述第二区域图像中具有相同语义标签的所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度进行同类型对应比对，得到所述相机当前在所述语义地图中的第二位姿信息，实现定位。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于环境语义的地图构建方法，所述基于环境语义的地图构建方法具体为：
S1:通过相机采集多帧第一环境图像；
S2:识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签；
S3:从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联；
S4:使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图。
进一步的，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤，包括：
S401:将各所述第一特征点按照各自对应的所述第一语义标签进行属性划分，得到各所述第一特征点分别对应的物体属性；
S402:根据所述物体属性调整对应的所述第一特征点的第一权重，得到若干个预处理特征点；
S403:对各所述预处理特征点进行所述第一环境图像的帧间匹配，并在帧间匹配过程中提高具有相同所述第一语义标签对应的所述预处理特征点的第二权重，得到相机运动位姿；
S404:根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图。
进一步的，所述将各所述第一特征点与对应的所述第一语义标签建立关联的步骤，包括：
S301:将各所述第一物体在所述第一环境图像中的位置区域与对应的所述第一语义标签进行关联；
S302:获取各所述第一特征点在所述第一环境图像中的位置信息；
S303:根据各所述位置信息在所述第一环境图像中所属的位置区域，将各所述第一特征点与对应的所述第一语义标签建立关联。
进一步的，所述识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签的步骤，包括：
S201:将所述第一环境图像输入预先训练的CNN深度学习模型中进行识别，得到各所述第一物体分别对应的物体名称；
S202:将所述物体名称作为所述第一语义标签的内容之一，与对应的所述第一物体进行关联。
进一步的，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤之后，包括：
S5:采集第二环境图像；
S6:从所述第二环境图像中提取当前环境所具有的第二语义标签；
S7:从所述语义地图中筛选与所述第二语义标签匹配的第一区域图像；
S8:从所述第二环境图像中提取得到第二特征点；
S9:将所述第二特征点与所述第一区域图像的特征点进行对比，得到所述相机当前在所述语义地图中的第一位姿信息，实现重定位。
进一步的，所述从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联的步骤之后，包括：
S10:根据所述第一物体对应的各个所述第一特征点，获得所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度；
S11:将所述外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度与对应的所述第一语义标签进行关联后存储。
进一步的，所述根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图的步骤之后，包括：
S12:采集第三环境图像，所述第三环境图像至少包含一个第二物体；
S13:从所述第三环境图像中提取当前环境所具有的第三语义标签，单个所述第二物体对应单个所述第三语义标签；
S14:从所述语义地图中筛选与所述第三语义标签匹配的第二区域图像；
S15:将所述第二物体的外轮廓线条的第二线条尺寸、第二线条比例及第二线条角度，与所述第二区域图像中具有相同语义标签的所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度进行同类型对应比对，得到所述相机当前在所述语义地图中的第二位姿信息，实现定位。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、第一物体或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、第一物体或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、第一物体或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于环境语义的地图构建方法，其特征在于，包括：
通过相机采集多帧第一环境图像；
识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签；
从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联；
使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图。
2.根据权利要求1所述的基于环境语义的地图构建方法，其特征在于，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤，包括：
将各所述第一特征点按照各自对应的所述第一语义标签进行属性划分，得到各所述第一特征点分别对应的物体属性；
根据所述物体属性调整对应的所述第一特征点的第一权重，得到若干个预处理特征点；
对各所述预处理特征点进行所述第一环境图像的帧间匹配，并在帧间匹配过程中提高具有相同所述第一语义标签对应的所述预处理特征点的第二权重，得到相机运动位姿；
根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图。
3.根据权利要求1所述的基于环境语义的地图构建方法，其特征在于，所述将各所述第一特征点与对应的所述第一语义标签建立关联的步骤，包括：
将各所述第一物体在所述第一环境图像中的位置区域与对应的所述第一语义标签进行关联；
获取各所述第一特征点在所述第一环境图像中的位置信息；
根据各所述位置信息在所述第一环境图像中所属的位置区域，将各所述第一特征点与对应的所述第一语义标签建立关联。
4.根据权利要求1所述的基于环境语义的地图构建方法，其特征在于，所述识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签的步骤，包括：
将所述第一环境图像输入预先训练的CNN深度学习模型中进行识别，得到各所述第一物体分别对应的物体名称；
将所述物体名称作为所述第一语义标签的内容之一，与对应的所述第一物体进行关联。
5.根据权利要求1所述的基于环境语义的地图构建方法，其特征在于，所述使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图的步骤之后，包括：
采集第二环境图像；
从所述第二环境图像中提取当前环境所具有的第二语义标签；
从所述语义地图中筛选与所述第二语义标签匹配的第一区域图像；
从所述第二环境图像中提取得到第二特征点；
将所述第二特征点与所述第一区域图像的特征点进行对比，得到所述相机当前在所述语义地图中的第一位姿信息，实现重定位。
6.根据权利要求2所述的基于环境语义的地图构建方法，其特征在于，所述从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联的步骤之后，包括：
根据所述第一物体对应的各个所述第一特征点，获得所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度；
将所述外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度与对应的所述第一语义标签进行关联后存储。
7.根据权利要求6所述的基于环境语义的地图构建方法，其特征在于，所述根据各所述第一特征点与所述相机之间的位姿关系、所述相机运动位姿进行地图构建，得到所述语义地图的步骤之后，包括：
采集第三环境图像，所述第三环境图像至少包含一个第二物体；
从所述第三环境图像中提取当前环境所具有的第三语义标签，单个所述第二物体对应单个所述第三语义标签；
从所述语义地图中筛选与所述第三语义标签匹配的第二区域图像；
将所述第二物体的外轮廓线条的第二线条尺寸、第二线条比例及第二线条角度，与所述第二区域图像中具有相同语义标签的所述第一物体的外轮廓线条的第一线条尺寸、第一线条比例及第一线条角度进行同类型对应比对，得到所述相机当前在所述语义地图中的第二位姿信息，实现定位。
8.一种基于环境语义的地图构建装置，其特征在于，包括：
第一采集模块，用于通过相机采集多帧第一环境图像；
识别模块，用于识别所述第一环境图像中的所有第一物体，得到各所述第一物体分别对应的第一语义标签；
关联模块，用于从所述第一环境图像中提取若干个第一特征点，并将各所述第一特征点与对应的所述第一语义标签建立关联；
构建模块，用于使用各所述第一特征点进行地图构建，在地图构建过程中根据所述第一语义标签调整关联的所述第一特征点的权重，得到语义地图。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110332728.4A 2021-03-26 2021-03-26 基于环境语义的地图构建方法、装置和计算机设备 Active CN112927269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110332728.4A CN112927269B (zh) 2021-03-26 2021-03-26 基于环境语义的地图构建方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110332728.4A CN112927269B (zh) 2021-03-26 2021-03-26 基于环境语义的地图构建方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN112927269A true CN112927269A (zh) 2021-06-08
CN112927269B CN112927269B (zh) 2024-07-16

Family

ID=76176378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110332728.4A Active CN112927269B (zh) 2021-03-26 2021-03-26 基于环境语义的地图构建方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN112927269B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205470A (zh) * 2022-09-06 2022-10-18 深圳市其域创新科技有限公司 续扫重定位方法、装置、设备、存储介质及三维续扫方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104169735A (zh) * 2011-12-15 2014-11-26 阿特金森音频有限公司 定位或重定位装置
CN107680135A (zh) * 2017-11-16 2018-02-09 珊口（上海）智能科技有限公司 定位方法、系统及所适用的机器人
CN110335319A (zh) * 2019-06-26 2019-10-15 华中科技大学 一种语义驱动的相机定位与地图重建方法和系统
CN110672088A (zh) * 2019-09-09 2020-01-10 北京航空航天大学 一种仿信鸽地貌感知归巢机制的无人机自主导航方法
CN110689622A (zh) * 2019-07-05 2020-01-14 电子科技大学 一种基于点云分割匹配闭环校正的同步定位与构图算法
CN111276007A (zh) * 2020-01-20 2020-06-12 深圳市廿年科技有限公司 一种通过摄像头对停车场的汽车定位和导航的方法
CN112116657A (zh) * 2020-08-07 2020-12-22 中国科学院深圳先进技术研究院 基于表检索的同时定位与建图方法和装置
CN112486171A (zh) * 2020-11-30 2021-03-12 中科院软件研究所南京软件技术研究院 一种基于视觉的机器人避障方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104169735A (zh) * 2011-12-15 2014-11-26 阿特金森音频有限公司 定位或重定位装置
CN107680135A (zh) * 2017-11-16 2018-02-09 珊口（上海）智能科技有限公司 定位方法、系统及所适用的机器人
CN110335319A (zh) * 2019-06-26 2019-10-15 华中科技大学 一种语义驱动的相机定位与地图重建方法和系统
CN110689622A (zh) * 2019-07-05 2020-01-14 电子科技大学 一种基于点云分割匹配闭环校正的同步定位与构图算法
CN110672088A (zh) * 2019-09-09 2020-01-10 北京航空航天大学 一种仿信鸽地貌感知归巢机制的无人机自主导航方法
CN111276007A (zh) * 2020-01-20 2020-06-12 深圳市廿年科技有限公司 一种通过摄像头对停车场的汽车定位和导航的方法
CN112116657A (zh) * 2020-08-07 2020-12-22 中国科学院深圳先进技术研究院 基于表检索的同时定位与建图方法和装置
CN112486171A (zh) * 2020-11-30 2021-03-12 中科院软件研究所南京软件技术研究院 一种基于视觉的机器人避障方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205470A (zh) * 2022-09-06 2022-10-18 深圳市其域创新科技有限公司 续扫重定位方法、装置、设备、存储介质及三维续扫方法
CN115205470B (zh) * 2022-09-06 2023-02-21 深圳市其域创新科技有限公司 续扫重定位方法、装置、设备、存储介质及三维续扫方法

Also Published As

Publication number Publication date
CN112927269B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN108399367B (zh) 手部动作识别方法、装置、计算机设备及可读存储介质
CN109635657A (zh) 目标跟踪方法、装置、设备及存储介质
CN110751022A (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN111160307A (zh) 一种人脸识别方法及人脸识别打卡系统
CN110189373A (zh) 一种基于视觉语义信息的快速重定位方法及装置
CN111950440B (zh) 一种识别与定位门的方法、装置及存储介质
CN113936340B (zh) 一种基于训练数据采集的ai模型训练方法及装置
Ji et al. RGB-D SLAM using vanishing point and door plate information in corridor environment
CN111444850B (zh) 一种图片检测的方法和相关装置
CN108898623A (zh) 目标跟踪方法及设备
CN110717449A (zh) 车辆年检人员的行为检测方法、装置和计算机设备
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN109753901A (zh) 基于行人识别的室内行人寻迹方法、装置、计算机设备及存储介质
CN117853492A (zh) 一种基于融合模型的智能化工业缺陷检测方法及系统
CN112927269B (zh) 基于环境语义的地图构建方法、装置和计算机设备
CN111178129A (zh) 一种基于人脸和姿态的多模态人员识别方法
Sun et al. Real-time and fast RGB-D based people detection and tracking for service robots
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN109000634B (zh) 一种导航对象行进路线的提醒方法和系统
CN115797397B (zh) 一种机器人全天候自主跟随目标人员的方法及系统
CN112232272B (zh) 一种激光与视觉图像传感器融合的行人识别方法
CN115700507A (zh) 地图更新方法及其装置
CN114005017A (zh) 目标检测方法、装置、电子设备及存储介质
CN114022684A (zh) 人体姿态估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant