CN115063550B - 一种语义点云地图构建方法、系统及智能机器人 - Google Patents

一种语义点云地图构建方法、系统及智能机器人 Download PDF

Info

Publication number
CN115063550B
CN115063550B CN202210860170.1A CN202210860170A CN115063550B CN 115063550 B CN115063550 B CN 115063550B CN 202210860170 A CN202210860170 A CN 202210860170A CN 115063550 B CN115063550 B CN 115063550B
Authority
CN
China
Prior art keywords
point cloud
semantic
frame image
cloud data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210860170.1A
Other languages
English (en)
Other versions
CN115063550A (zh
Inventor
方宝富
韩修萌
王浩
杨静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210860170.1A priority Critical patent/CN115063550B/zh
Publication of CN115063550A publication Critical patent/CN115063550A/zh
Application granted granted Critical
Publication of CN115063550B publication Critical patent/CN115063550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视觉地图构建技术领域，尤其涉及一种语义点云地图构建方法、系统及智能机器人。该语义点云地图构建方法包括获取语义分割后的目标帧图像；其中，所述目标帧图像携带有语义信息；基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图；融合所述局部点云图和全局点云图，以生成语义点云地图；其中，所述全局点云图为预先基于全局角度构建的点云图。该方法可消除动态物体对建图的干扰，保证建图准确性以及定位的可靠性，并可实现在动态环境下构建语义点云地图。

Description

一种语义点云地图构建方法、系统及智能机器人
技术领域
本发明涉及视觉地图构建技术领域，尤其涉及一种语义点云地图构建方法及系统、智能机器人。
背景技术
地图是机器人在环境中移动和导航的重要依据。传统的点云地图能够标识出环境中障碍点的位置来规划机器人的道路，可以较好地表示位于大规模场景下的几何信息，但没有考虑对场景中动态物体的处理，而动态物体的存在会导致地图中出现一系列位于其运动轨迹上的残影地图点，即使它们已经不存在于这些位置，使观测与地图之间产生错误关联，导致地图构建误差。
发明内容
本发明实施例提供一种语义点云地图构建方法及系统、智能机器人，以解决目前动态环境下点云地图构建误差较大的问题。
一种语义点云地图构建方法，包括：
获取语义分割后的目标帧图像；其中，所述目标帧图像携带有语义信息；
基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；
对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图；
融合所述局部点云图以及全局点云图，以生成语义点云地图。
一种语义点云地图构建系统，包括：
数据获取模块，用于获取语义分割后的目标帧图像；其中，所述目标帧图像携带有语义信息；
动态目标检测模块，用于基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；
局部点云图生成模块，用于对剔除动态像素点的目标帧图像进行三维空间转换，生成局部点云图；
语义点云地图构建模块，用于融合所述局部点云图以及全局点云图，以生成语义点云地图。
一种智能机器人，包括传感器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述语义点云地图构建方法。
上述语义点云地图构建方法及系统、智能机器人中，通过获取语义分割后的目标帧图像，以使目标帧图像携带语义信息，以通过目标帧图像携带的语义信息，对目标帧图像进行动态目标检测，剔除目标帧图像中的动态像素点，从而消除动态像素点对建图的干扰，保证建图准确性以及定位的可靠性。然后，对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图，以在生成局部点云图的过程中，通过动态目标的分析检测，剔除动态像素点，可有效降低点云图的数据处理量。最后，融合所述局部点云图以及全局点云图，以生成语义点云地图，以根据局部点云图中的点云数据对全局点云图中相关物体的点云数据进行动态更新，从而实现在动态环境下更新构建语义点云地图。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中SLAM系统的一工作流程图；
图2是本发明一实施例中语义点云地图构建方法的一流程图；
图3是图2中S102的一具体流程图；
图4是图2中S104的一具体流程图；
图5是本发明一实施例中语义点云地图构建方法的一流程图；
图6是本发明一实施例中语义点云地图构建方法的一流程图；
图7是本发明一实施例中语义点云地图构建方法的一流程图；
图8是图7中步骤S602的一具体流程图；
图9是图7中步骤S603的一具体流程图；
图10是本发明一实施例中语义点云地图构建系统的一示意图。
图11是本发明一实施例中智能机器人的一示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。应理解的是，相关的概念解释可能会因为本申请实施例的具体情况有所限制，但并不代表本申请仅能局限于该具体情况，在不同实施例的具体情况可能也会存在差异，具体此处不做限定。
点云数据可简称为点云(point cloud)，是指在同一空间参考系下表达目标空间分布和目标表面特性的点的集合。
于本申请实施例中，点云数据用于表征该点云数据中每个点在相机坐标系下的三维坐标值；此外，在本申请的一些实施方式中，点云数据还可以融合像素点的语义信息（例如类别信息），在本申请的一些实施方式中，点云数据还可以用于表征该点云数据中每个点的像素值、每个点在相机坐标系下的三维坐标值以及语义信息。
语义分割，是计算机视觉领域中一项重要的研究内容，其目标是将图像分割成具有不同语义信息的区域，并且标注区域内每一像素点对应的语义标签（如物体类别信息）。
于本申请实施例中，由于采用特征点建立的稀疏点云地图虽然能够保证定位的精度，但难以表达出物体的真实形状以及细节信息，因此本发明基于稠密点云来完成建图工作，即通过采用语义分割技术对实时读取的目标帧图像进行语义分割，以基于该图像的语义信息更新全局点云图，从而构建全局角度下的语义点云地图，后续机器人在构建的语义点云地图的基础上进行定位时能够识别哪些地图点属于具体哪个物体，可实现与外界环境的交互。
世界坐标系是在计算机视觉领域中，由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系就称为世界坐标系。
相机坐标系是一种处于3D坐标系当中，并于观察者密切相关的一种坐标系。
SLAM（Simultaneous Localization and Mapping），即同时定位与建图，它是一些机器人应用的基础技术，例如自动驾驶汽车和无人机避障导航等。该技术指自主机器人在未知的场景中运动时，根据位姿估计和地图进行自身定位，同时在自身定位的基础上建造更新地图。如图1所示的SLAM系统的工作流所示，该系统主要包括语义分割线程、跟踪线程、局部建图线程以及回环闭合检测线程等。本方法可应用在SLAM系统中，通过在建图线程中增加动态检测模块剔除动态目标的动态像素点，从而消除动态目标对建图的误差影响。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一实施例中，如图2所示，提供一种语义点云地图构建方法，包括如下步骤：
S101：获取语义分割后的目标帧图像；其中，目标帧图像携带有语义信息。
其中，目标帧图像可指对RGB-D相机获取的当前帧图像或者通过SLAM系统提取的关键帧图像。于本实施例中，由于相邻帧之间的差异较小，如果对所有图像帧都进行处理和建图将会带来巨大的时间和存储资源浪费，因此该目标帧图像采用SLAM系统提取的关键帧图像。通过对目标帧图像进行语义分割，即可使目标帧图像携带对应的语义信息。
具体地，可通过目前现有的语义分割算法（例如基于YoloV3实现的语义分割模型）实现对单帧图像的像素级语义分割，使得目标帧图像携带语义信息，保证构建的点云地图包含各物体的语义信息，使得机器人可识别哪些地图点属于具体哪个物体，从而实现其与环境间的交互。该语义信息包括但不限于目标帧图像中不同物体在图像中的二维检测框以及框内每一像素点的物体类别信息。于本实施例中，该二维检测框用于表征对应物体在图像中的对应位置。物体类别信息用于表征图像中的物体具体是什么，例如人、杯子等。
S102：基于语义信息，对目标帧图像进行动态目标检测，剔除目标帧图像中的动态像素点。
其中，通过该语义信息可确定目标帧图像中每一可识别物体所对应的二维检测框、该检测框对应的类别信息以及图像中每一像素点的类别信息。动态像素点即指在目标帧图像中处于运动状态的物体的像素点。
本实施例中，将环境中的物体分为三类即主动运动物体、被动运动物体和静止物体。其中，主动运动物体指可以自主移动的物体，例如人类、猫咪以及汽车等生物或不需要和其他物体做交互就可以运动的物体，这类物体随时可能发生移动，因此其位置信息不可靠，在建图时不论其是否为运动状态都进行剔除；静止物体指在整个SLAM周期内一直处于静止不动的物体，这类物体状态稳定，不影响建图的正确性，只在读取新的帧图像时对其点云数据进行完善即可；被动运动物体指在SLAM过程开始时处于静止状态，但由于主动运动物体的干扰转为运动状态，最后又转变为静止状态，例如水杯、椅子等经常被主动运动物体所干涉的物体。
具体地，由于物体处于运动状态的物体和主动运动物体的当前位置信息不可信，随时可能发生变化，因此在生成物体的点云数据的过程中跳过处于运动状态的物体和主动运动物体的目标检测框，即对目标帧图像进行动态目标检测主要针对图像中非主动运动物体对应的目标检测框以及框内的每一像素点进行判别，以将与目标检测框的物体类别信息不一致或其运动状态为非静止状态的像素点作为动态像素点剔除，从而消除动态物体对建图的干扰，保证建图准确性以及定位的可靠性。
可以理解地是，当动态物体在相机视野中出现或是占据了整个视野时，SLAM系统无法去除动态物体对象带来的影响。此时，SALM系统会利用动态物体所带来的误差值估计机器人的位姿，导致建图错误。当机器人再次返回到过去经过的地方时，动态目标不存在，此时再进行相同的场景匹配，然而对于机器人来说具有不同的视觉外观，就无法实现回环闭合检测。反之，若机器人在某个位置的首次访问中消除视野中动态目标的干扰，则可仅使用场景中非动态像素点进行建图，从而获得可靠的回环闭合检测结果。因此，消除环境中处于运动状态的物体干扰能够减少错误的数据关联，有利于提高SLAM系统的鲁棒性。
S103：对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图。
其中，局部点云图为由目标帧图像中多个非主动运动物体的点云数据所构成的点云数据集合，每一非主动运动物体均对应一点云数据，通过该局部点云图可表征物体之间的拓扑位置关系。三维重建指将二维空间下的像素点坐标转换为三维点坐标，即将目标帧图像中的非动态像素点在图像坐标系下的二维像素坐标转换为相机坐标下的三维点坐标，以生成图像中每一物体在三维空间中的点云数据，多个点云数据即构成局部点云图，由于不同物体的具体语义信息影响机器人与环境间的交互，因此本实施例中，将每一像素点对应的类别信息投影至其在三维空间内的三维坐标点上，得到其在局部点云图中的地图点
Figure 308005DEST_PATH_IMAGE001
，l表示像素点对应的物体类别信息，z表示深度图像中的图像深度，可通过读取该目标帧图像对应的深度图像得到，（x, y）表示像素坐标点（u, v）转换后的三维坐标点。
具体地，可通过如下公式求解二维像素点在世界坐标系下的三维坐标为
Figure 832527DEST_PATH_IMAGE002
，
Figure 586857DEST_PATH_IMAGE003
，其中，
Figure 714082DEST_PATH_IMAGE004
，
Figure 503046DEST_PATH_IMAGE005
为深度摄像头的焦距;
Figure 198470DEST_PATH_IMAGE006
，
Figure 705674DEST_PATH_IMAGE007
为深度摄像头的主点，均为相机内参，d为像素点深度。
S104：融合局部点云图和全局点云图，以生成语义点云地图。其中，全局点云图为预构建的全局角度下的点云图。
其中，全局点云图为预构建的全局角度下以物体为单位的点云地图，其包含环境中各物体的点云数据。该语义点云地图中的每一语义地图点至少包含四维信息，即三维坐标点以及物体类别信息。
在一实施方式中，该全局点云图关联有对应的语义库，用于存储全局点云图中各物体的语义信息。该语义信息包括但不限于物体的索引值、物体类别信息、点云数据尺寸、物体点云数据的质心以及物体的二维检测框，如此可将环境中不同类别的物体区别开来。可以理解地是，在融合局部点云图以及全局点云图时，除对全局点云图中物体的点云数据的三维坐标更新外，还包括对语义库中该物体的语义信息的更新，使得语义点云地图包含丰富的语义信息，从而使机器人在进行定位时能够通过该语义信息实现与环境间的交互。
其中，该物体的索引值在关键帧形成的局部点云图地图中初始化为N（可初始化为负值或其他不与语义库中的索引值冲突的数值）。在融合局部点云图和全局点云图时，若判定局部点云图内的某物体为全局环境内已存在的物体（即语义库中已存在的物体），则将该物体的索引值更改为语义库中已存储的物体索引值；若判定局部点云图内的某物体为新增物体，则将该物体的索引值更改为语义库的当前物体数量。
进一步地，由于物体点云数据的离散性和不规则性，很难对其进行尺寸上定量的描述，因此可采用长方体模型来描述点云数据尺寸，即由物体长方体模型的长度、物体长方体模型的宽度以及物体长方体模型的高度描述点云数据尺寸。其中，该长方体模型被定义为与世界中的笛卡尔坐标轴平行，即三个旋转角均为0，因此按照下列公式来计算其长宽高三个属性：
Figure 121743DEST_PATH_IMAGE008
其中，
Figure 765214DEST_PATH_IMAGE009
为物体点云数据中的每一个点，其属性{x, y, z}表示该点在世界坐标系下的坐标。
具体地，在每获取到一帧图像时，跳过主动运动物体的像素点，然后根据剩余像素点生成局部点云图，并计算局部点云图中每一物体对应的质心、长方体模型尺寸等信息，以此作为局部点云图中每一个物体与全局点云图中的物体进行数据关联的基础。
可以理解地是，将实时获取的每帧图像的局部点云图与全局点云图进行融合，即可实现对全局点云图的即时更新。其中，将每帧图像的局部点云图与全局点云图进行融合，即将局部点云图中每一个物体与全局点云图中的物体进行数据关联，判断其属于新增物体还是对应于全局点云图中已存在的某一个物体。若局部点云图中某一物体在语义库中不存在任何数据，则认为其为新增物体，将该物体的点云数据直接添加至语义库中，反之，则认为是属于语义库已存在的物体，根据该物体的点云数据对语义库中相同物体的点云数据进行动态更新，从而实现在动态环境下更新构建语义点云地图。
本实施例中，通过获取语义分割后的目标帧图像，以使目标帧图像携带语义信息，以通过目标帧图像携带的语义信息，对目标帧图像进行动态目标检测，剔除目标帧图像中的动态像素点，从而消除动态物体对建图的干扰，保证建图准确性以及定位的可靠性。然后，对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图，以在生成局部点云图的过程中，通过动态目标的分析检测，剔除动态像素点，可有效降低点云图的数据处理量。最后，融合所述局部点云图以及全局点云图，以生成语义点云地图，以根据局部点云图中的点云数据对全局点云图中相关物体的点云数据进行动态更新，从而实现在动态环境下更新构建语义点云地图。
在一实施例中，如图3所示，语义信息包括目标帧图像中非主动运动物体对应的目标检测框、目标检测框对应的第一物体类别信息以及目标检测框内物体像素点对应的第二物体类别信息；步骤S102中，即基于语义信息，对目标帧图像进行动态目标检测，剔除目标帧图像中的动态像素点，具体包括如下步骤：
S201：遍历目标检测框内的物体像素点。
S202：若第二物体类别信息与第一物体类别信息不一致，或非主动运动物体为运动状态，则将物体像素点作为动态像素点剔除。
其中，物体像素点为目标帧图像中各目标物体的像素点。具体地，通过遍历非主动运动物体对应的目标检测框内的每一物体像素点
Figure 365960DEST_PATH_IMAGE010
若第二物体类别信息与第一物体类别信息不一致，或非主动运动物体为运动状态，则将该物体像素点作为动态物体像素点剔除；若该物体像素点的第一类别信息等于目标价检测框对应的第二类别信息，且其运动状态为静止，则将其作为非动态像素点，并读取该像素点在深度图像中的深度值执行步骤S103，如此可将所有和目标检测框语义相同的二维物体像素点投影到三维空间中即构成该物体的点云数据，而其他和目标检测框语义不同的物体像素点，则认为其位于背景或其他物体上，不对其进行处理，有效降低点云图的数据处理量。
本实施例中，对于物体的运动状态可通过现有技术中光流法或运动一致性检测等方法结合历史帧数据进行检测，进而判断该物体的运动状态，此处不做限定。
在一实施例中，如图4所示，局部点云图中包括目标帧图像中各物体对应的第一点云数据；步骤S104中，即融合局部点云图和全局点云图，以生成语义点云地图，具体包括如下步骤：
S301：若全局点云图中存在与第一点云数据的物体类别信息一致的候选点云数据，则获取第一点云数据的第一质心以及候选点云数据的第二质心。
具体地，若全局点云图中存在第一点云数据对应的候选点云数据，则从全局点云图中获取与该第一点云数据的物体类别信息相同的一个或多个候选点云数据。若全局点云图中不存在第一点云数据对应的候选点云数据，则认为全局点云图中不存在该物体，此时将该物体对应的第一点云数据作为环境中的新增物体直接添加至全局点云图中。
可以理解地是，位置关系是局部点云图与全局点云图之间的数据关联的重要依据，计算两个物体的位置关系传统思想是将两个物体的点云数据内的点进行一一匹配，计算各匹配点对之间的平均欧氏距离作为它们之间的相似度描述，但由于地图点云的稠密性，该思想在匹配的过程中会带来庞大的计算量，进而影响整个系统的实时性。而采用点云数据的质心即可表达点云数据中所有点的平均坐标，故本实施例中选取点云数据的质心来代表该物体的位置。示例性地，采用
Figure 360461DEST_PATH_IMAGE011
来表示物体点云数据内的点集合，则物体点云数据的质心可以按照如下公式计算得到：
Figure 704854DEST_PATH_IMAGE012
，其中，
Figure 91580DEST_PATH_IMAGE013
表示第i个像素点对应的三维坐标。
具体地，在一实施方式中，若全局点云图中存在与第一点云数据的物体类别信息一致的候选点云数据，则分别计算第一点云数据的第一质心以及候选点云数据的第二质心。
在另一实施方式中，语义库中存储有预先计算好的各物体对应的点云数据的质心，故步骤S301具体为，若全局点云图中存在与第一点云数据的物体类别信息一致的候选点云数据，则计算第一点云数据的第一质心，并从语义库中直接获取该候选点云数据的第二质心。对于上述两种实施方式均可实现本实施例的技术方案，此处不做限定。
S302：若第一质心与第二质心之间的距离小于预设阈值，则基于第一点云数据更新候选点云数据。
其中，第一质心与第二质心之间的距离可通过欧氏距离描述。具体地，通过如下公式计算第一质心与第二质心之间的欧氏距离，
Figure 128806DEST_PATH_IMAGE014
其中，
Figure 345024DEST_PATH_IMAGE015
代表某第一质心，
Figure 493108DEST_PATH_IMAGE016
代表第二质心。可以理解地是，若第一质心与第二质心之间的距离小于预设阈值，认为两者属于同一物体，则基于第一点云数据更新候选点云数据，即根据该第一点云数据对语义库中的相同物体的点云数据进行更新，并重新计算该第一点云数据的尺寸以及质心等信息，以更新语义库中该点云数据的尺寸以及质心。
进一步地，若候选点云数据为多个，则计算第一质心与每一个第二质心之间的欧式距离，得到多个欧氏距离，选取其中的最小值，并判断该最小值是否小于预设阈值，若小于，认为两者属于同一物体。
S303：若第一质心与第二质心之间的距离不小于预设阈值，则将第一点云数据作为新增数据融合至全局点云图中。
具体地，若第一质心与第二质心之间的距离不小于预设阈值，则认为该物体属于新物体，将其直接融合至全局点云图和语义库，即将该点云数据添加至全局点云图中，同时在语义库中更新该点云数据的尺寸和质心等信息，并设置其物体的索引值为当前语义库容量。于本实施例中，将该预设阈值可设置为第一点云数据与距离其最近的候选点云数据两者长方体模型的平均长度。
在一实施例中，如图5所示，局部点云图中包括目标帧图像中各物体对应的第一点云数据；该语义点云地图构建方法还包括如下步骤：
S401：统计每一第一点云数据的平均深度以及方差。
S402：根据平均深度以及方差，确定噪点阈值。
S403：基于噪点阈值以及第一点云数据中每个点的深度值，对第一点云数据进行噪点检测，以去除第一点云数据中的噪点。
具体地，由于深度相机测量结果和分割结果的误差，在生成局部点云图中会带有一些不属于物体之上的噪声点，如果不对其进行剔除就难以获得更贴近真实物体的尺寸数据，进而影响到该帧图像中的各物体与全局地图物体数据关联的精度。
目前，传统的统计学滤波算法能够获得较好的去噪效果，但该方法对每个点迭代计算其邻域内的平均距离，在对环境建立稠密点云的过程中时间消耗巨大，故本实施例中，采用基于正态分布的点云去噪算法，以去除第一点云数据中的噪点。
该基于正态分布的点云去噪算法步骤如下：1）统计每一第一点云数据的平均深度以及方差，示例性地，设该第一点云数据具有N个点，对其所有点
Figure 845592DEST_PATH_IMAGE017
，通过公式
Figure 929086DEST_PATH_IMAGE018
，统计该N个点的平均深度
Figure 632600DEST_PATH_IMAGE019
和方差
Figure 318796DEST_PATH_IMAGE020
。
由于在目标检测框中，物体和背景中的点在横纵坐标上形成连续的分布，按照横纵坐标难以进行区分，但在物体边缘会形成断落式的深度差异，因此将点的深度值作为判断噪点的标准。
而根据现实世界中的先验知识可知，物体的深度值应该为连续且占据点云数据中的大部分点（即服从正态分布），因此将深度值较小和较大的一部分点视为噪点并剔除。其中，满足剔除标准的噪点阈值（包括第一噪点阈值
Figure 56945DEST_PATH_IMAGE021
以及第二噪点阈值
Figure 170394DEST_PATH_IMAGE022
）设置如下：
Figure 485838DEST_PATH_IMAGE023
其中，k值可取为1~3中的任意整数。优选地，k值取2。具体地，某点的深度值大于值
Figure 975725DEST_PATH_IMAGE024
或者小于
Figure 302801DEST_PATH_IMAGE022
，则将其当作噪声点进行剔除，否则将其作为物体点保留。
在一实施例中，如图6所示，在步骤S102之后，该语义点云地图构建方法还包括如下步骤：
S501：基于语义信息，检测目标帧图像中的背景点。
S502：对背景点进行三维重建，生成背景点云图。
本实施例中，为了保证环境的完整性，还需要构建背景点云图。首先，对目标帧图像中的每一个像素点进行背景点检测，即若某一像素点不存在任何语义信息（如类别信息），且其深度值有效（即不为零），则认为该像素点为背景点，从而跳过深度值无效或者物体上的点，对确定的背景点进行三维重建，生成背景点云图。其中，对于背景点进行三维重建的具体过程与步骤S103的重建过程一致，为避免重复，此处不再赘述。
S503：根据背景点云图，更新全局点云图。
具体地，对于背景点云图可直接将其融合至全局点云图中，即直接添加至全局点云图和语义库中，从而构建出全局角度下的以物体为单位的语义点云地图。
可以理解地是，步骤S501-S503可与步骤S103-S104的执行顺序不做限定，即可同时进行或前后顺序执行。
在一实施例中，如图7所示，语义点云地图包括全局环境中各物体的第二点云数据；在步骤S104之后，该语义点云地图构建方法还包括如下步骤：
S601：将第二点云数据重投影至目标帧图像中。
S602：若第二点云数据中重投影至目标帧图像边界之内的投影点数量大于第一阈值，则检测第二点云数据在目标帧图像中的对应位置是否存在目标物体；目标物体用于指示第二点云数据对应的物体。
S603：若不存在，则删除第二点云数据。
其中，现实生活中的场景往往具有复杂的特性，例如一个静态物体由于某些原因发生了运动，而且在运动过程中改变了位置，在后面的观测中又转换为静止状态，此时传统的语义SLAM建图方法虽然会对运动状态的物体点进行剔除，但前后两个位置处都会出现该物体的点云数据，造成错误建图。因此，需要进一步针对该被动运动物体的点云数据进行过滤，即删除其被移动之前位置上的点云数据，被移动之后的点云数据即可视为新的物体添加至点云图中，被移动之后的位置可以新物体添加至语义库的方式构建，从而消除在传统点云建图过程中所产生的误差。
可以理解地是，本实施例中，通过步骤S104将目标帧图像与全局点云图之间的物体进行数据关联，更新已存在特征或增加新特征，再通过步骤S601-S603的处理，以对语义点云图中的被动物体的位置进行更新，从而实现全局优化，消除累积误差。
具体地，首先将第二点云数据重投影至目标帧图像中，以判断若第二点云数据中重投影至目标帧图像边界之内的投影点数量
Figure 852731DEST_PATH_IMAGE025
（
Figure 406204DEST_PATH_IMAGE026
，其中，
Figure 699782DEST_PATH_IMAGE027
表示目标帧图像的高度，
Figure 881364DEST_PATH_IMAGE028
表示目标帧图像的宽度）是否大于第一阈值，若大于，则认为该第二点云数据中有大部分点投影至图像边界外，则认为当前帧对该物体的观测不可信，对其不做处理。反之，则检测第二点云数据在目标帧图像中的对应位置是否存在目标物体，即目标帧图像中的物体能否在原来的位置观测到该物体，若不能，则认为该物体发生移动，可将该物体对应的第二点云数据删除，如此可对语义库中各物体的第二点云数据进行上述步骤的分析，确定各物体是否在该帧图像中，以从全局点云图和语义库中移除该物体的相关数据，以根据当前环境变化，实时更新全局点云图和语义库。
其中，重投影即将第二点云数据内每个点的三维坐标转换为像素坐标系下的二维坐标，可按照如下公式计算
Figure 336616DEST_PATH_IMAGE029
，z表示图像深度，K表示相机内参矩阵，T表示相机位姿矩阵。于本实施例中，第一阈值可设置为
Figure 502019DEST_PATH_IMAGE030
，
Figure 959807DEST_PATH_IMAGE031
表示语义库中第i个物体的第二点云数据中所包含的点数。
Figure 261475DEST_PATH_IMAGE032
的取值范围为0~1，优选地，
Figure 887629DEST_PATH_IMAGE032
为0.5。
在一实施例中，如图8所示，步骤S602中，即检测第二点云数据在目标帧图像中的对应位置是否存在目标物体，具体包括如下步骤：
S701：从目标帧图像中提取与投影点存在交集且物体类别信息一致的候选检测框。
S702：统计第二点云数据中与候选检测框存在交集的交集点数量。
S703：若交集点数量小于第二阈值，则确定不存在目标物体。
具体地，判断与该物体的投影点存在交集的若干个二维检测框中是否存在与其物体类别信息相同的检测框，若存在，则该检测框作为候选检测框，然后，获取第二点云数据中与候选检测框存在交集的投影点，得到交集点集（该交集点在该帧图像中对应一投影区域），进而统计该交集点集的长度即交集点数量，该交集点集描述如下：
Figure 540327DEST_PATH_IMAGE033
其中，
Figure 175708DEST_PATH_IMAGE034
表示第i个第二点云数据对应的物体类别信息，box指候选检测框，其属性x, y表示候选检测框的左上角坐标值，width和height分别表示其宽度和高度，
Figure 207249DEST_PATH_IMAGE035
表示第二点云数据中重投影至目标帧图像边界之内的投影点数量，box.label表示候选检测框对应的物体类别信息。若
Figure 4303DEST_PATH_IMAGE036
，即交集点数量大于第二阈值
Figure 878718DEST_PATH_IMAGE037
，则认为该物体依然处于原来的位置，不对其处理。否则认为场景中发生了变化导致目标物体在图像中应该存在的对应位置处观测不到，故可将该第二点云数据作为环境中不存在的物体删除。其中，
Figure 317790DEST_PATH_IMAGE038
的取值范围为0~1，优选地，
Figure 594051DEST_PATH_IMAGE038
为0.5。
在一实施例中，如图9所示，步骤S603中，即删除第二点云数据具体包括如下步骤：
S801：分别计算第二点云数据的第一平均深度以及候选检测框的第二平均深度。
S802：若第一平均深度小于第二平均深度，则删除第二点云数据。
可以理解地是，本实施例中对于物体发生移动的情况可能存在如下两种情况：（1）该物体被主动运动物体转移到其他位置这种情况表明语义库中关于该物体的信息已过时，故根据该物体在语义库中的索引值将其从语义库和全局地图中删除；（2）其他物体被移动到该物体与机器人中间，导致该物体在图像应该存在的位置处观测不到，故此时不对该物体做处理，即保留语义库中存储的该物体的相关信息。
故本实施例中，在删除第二点云数据之前，需要进一步判断该目标物体在图像中应该存在的对应位置处观测不到的原因属于上述哪种情况，从而保证对语义库中的物体数据更新的有效性和可靠性。
具体地，首先，通过如下公式分别计算第二点云数据对应的第一平均深度以及候选检测框对应的第二平均深度，
Figure 952220DEST_PATH_IMAGE039
,
其中，
Figure 313931DEST_PATH_IMAGE040
表示该帧的深度图像中坐标为(s, t)对应的像素值，width和height分别表示候选检测框的宽度和高度，x, y表示候选检测框的左上角坐标值，
Figure 291114DEST_PATH_IMAGE041
表示第一平均深度，
Figure 156302DEST_PATH_IMAGE042
表示第二平均深度，该第二深度用于表征该第二点云数据在当前帧图像中的投影区域的平均深度。通过判断两者大小，即若第一平均深度
Figure 560738DEST_PATH_IMAGE041
小于第二平均深度
Figure 285112DEST_PATH_IMAGE043
，则判定属于第一种情况，若第一平均深度
Figure 800407DEST_PATH_IMAGE041
不小于第二平均深度
Figure 785680DEST_PATH_IMAGE043
，则判定属于第二种情况。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种语义点云地图构建系统，该语义点云地图构建系统与上述实施例中语义点云地图构建方法一一对应。如图10所示，该语义点云地图构建系统包括数据获取模块10、动态目标检测模块20、局部点云图生成模块30和语义点云地图构建模块40。各功能模块详细说明如下：
数据获取模块，用于获取语义分割后的目标帧图像，所述目标帧图像携带有语义信息；
动态目标检测模块，用于基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；
局部点云图生成模块，用于对剔除动态像素点的目标帧图像进行三维空间转换，生成局部点云图；
语义点云地图构建模块，用于融合所述局部点云图以及全局点云图，以生成语义点云地图。
具体地，所述语义信息包括所述目标帧图像中非主动运动物体对应的目标检测框、所述目标检测框对应的第一物体类别信息以及所述目标检测框内物体像素点对应的第二物体类别信息；
所述动态目标检测模块包括遍历单元以及动态检测单元。
遍历单元，用于遍历所述目标检测框内的物体像素点；
动态检测单元，用于若所述第二物体类别信息与所述第一物体类别信息不一致，或所述非主动运动物体为运动状态，则将所述物体像素点作为动态物体像素点剔除。
所述局部点云图中包括所述目标帧图像中各物体对应的第一点云数据；语义点云地图构建模块包括候选点云数据获取单元、第一处理单元和第二处理单元。
候选点云数据获取单元，用于在所述全局点云图中存在与所述第一点云数据的物体类别信息一致的候选点云数据，则分别计算所述第一点云数据的第一质心与所述候选点云数据的第二质心；
第一处理单元，用于在所述第一质心与所述第二质心之间的距离小于预设阈值时，基于所述第一点云数据更新所述候选点云数据；
第二处理单元，用于在所述第一质心与所述第二质心之间的距离不小于预设阈值时，将所述第一点云数据融合至所述全局点云图中。
所述局部点云图中包括所述目标帧图像中不同物体对应的第一点云数据；该语义点云地图构建系统还包括统计单元、噪点阈值确定单元和噪点检测单元。
统计单元，用于统计每一所述第一点云数据对应的平均深度和方差；
噪点阈值确定单元，用于根据所述平均深度与方差，确定噪点阈值；
噪点检测单元，用于基于所述噪点阈值以及所述第一点云数据中每个点对应的深度值，对所述第一点云数据进行噪点检测，以去除所述第一点云数据中的噪点。
该语义点云地图构建系统还包括背景点检测单元、背景点云图生成单元和更新单元。
背景点检测单元，用于基于所述语义信息，检测所述目标帧图像中的背景点；
背景点云图生成单元，用于对所述背景点进行三维重建，生成背景点云图；
更新单元，用于根据所述背景点云图，更新所述全局点云图。
具体地，所述语义点云地图包括全局环境中各物体的第二点云数据；该语义点云地图构建系统还包括重投影单元、目标物体检测以及检测处理单元。
重投影单元，用于将所述第二点云数据重投影至所述目标帧图像中；
目标物体检测单元，用于若所述第二点云数据中重投影至所述目标帧图像边界之内的投影点数量大于第一阈值，则检测所述第二点云数据在所述目标帧图像中的对应位置是否存在目标物体；其中，所述目标物体用于指示所述第二点云数据对应的物体；
检测处理单元，用于若不存在，则删除所述第二点云数据。
目标物体检测单元包括候选检测框提取单元、交集点统计子单元和物体检测子单元。
候选检测框提取单元，用于从所述目标帧图像中提取与所述投影点存在交集且物体类别信息一致的候选检测框；
交集点统计子单元，用于统计所述第二点云数据中与所述目标检测框之间存在交集的交集点数量；
物体检测子单元，用于若所述交集点数量小于第二阈值，则确定不存在目标物体。
检测处理单元包括平均深度计算子单元和检测处理子单元。
平均深度计算子单元，用于分别计算所述第二点云数据对应的第一平均深度以及所述目标检测框对应的第二平均深度；
检测处理子单元，用于若所述第一平均深度小于所述第一平均深度，则删除所述第二点云数据。
关于语义点云地图构建系统的具体限定可以参见上文中对于语义点云地图构建方法的限定，在此不再赘述。上述语义点云地图构建系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。
在一个实施例中，提供了一种智能机器人，包括传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如下步骤：
获取语义分割后的目标帧图像，所述目标帧图像携带有语义信息；
基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；
对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图；
融合所述局部点云图以及全局点云图，以生成语义点云地图。
或者，处理器执行计算机程序时实现语义点云地图构建系统这一实施例中的各模块/单元的功能，例如图9所示的各模块/单元的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种语义点云地图构建方法，其特征在于，包括：
获取语义分割后的目标帧图像；其中，所述目标帧图像携带有语义信息；
基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；
对剔除动态像素点的目标帧图像进行三维重建，生成局部点云图；
融合所述局部点云图和全局点云图，以生成语义点云地图；其中，所述全局点云图为预先基于全局角度构建的点云图；
所述语义信息包括所述目标帧图像中非主动运动物体对应的目标检测框、所述目标检测框对应的第一物体类别信息以及所述目标检测框内物体像素点对应的第二物体类别信息；
所述基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点，包括：
遍历所述目标检测框内的物体像素点；
若所述第二物体类别信息与所述第一物体类别信息不一致，或所述非主动运动物体为运动状态，则将所述物体像素点作为动态像素点剔除。
2.如权利要求1所述的一种语义点云地图构建方法，其特征在于，所述局部点云图中包括所述目标帧图像中各物体对应的第一点云数据；所述融合所述局部点云图和全局点云图，以生成语义点云地图，包括：
若所述全局点云图中存在与所述第一点云数据的物体类别信息一致的候选点云数据，则获取所述第一点云数据的第一质心以及所述候选点云数据的第二质心；
若所述第一质心与所述第二质心之间的距离小于预设阈值，则基于所述第一点云数据更新所述候选点云数据；
若所述第一质心与所述第二质心之间的距离不小于预设阈值，则将所述第一点云数据作为新增数据融合至所述全局点云图中。
3.如权利要求1所述的一种语义点云地图构建方法，其特征在于，所述局部点云图中包括所述目标帧图像中各物体对应的第一点云数据；在所述生成局部点云图之后，还包括：
统计每一所述第一点云数据的平均深度以及方差；
根据所述平均深度以及所述方差，确定噪点阈值；
基于所述噪点阈值以及所述第一点云数据中每个点的深度值，对所述第一点云数据进行噪点检测，以去除所述第一点云数据中的噪点。
4.如权利要求1所述的一种语义点云地图构建方法，其特征在于，所述语义点云地图包括全局环境中各物体的第二点云数据；在所述融合所述局部点云图和全局点云图之后，还包括：
将所述第二点云数据重投影至所述目标帧图像中；
若所述第二点云数据中重投影至所述目标帧图像边界之内的投影点数量大于第一阈值，则检测所述第二点云数据在所述目标帧图像中的对应位置是否存在目标物体；其中，所述目标物体用于指示所述第二点云数据对应的物体；
若不存在，则删除所述第二点云数据。
5.如权利要求4所述的一种语义点云地图构建方法，其特征在于，所述检测所述第二点云数据在所述目标帧图像中的对应位置是否存在目标物体，包括：
从所述目标帧图像中提取与所述投影点存在交集且物体类别信息一致的候选检测框；
统计所述第二点云数据中与所述候选检测框之间存在交集的交集点数量；
若所述交集点数量小于第二阈值，则确定不存在目标物体。
6.如权利要求5所述的一种语义点云地图构建方法，其特征在于，所述删除所述第二点云数据，包括：
分别计算所述第二点云数据的第一平均深度以及所述候选检测框的第二平均深度；
若所述第一平均深度小于所述第二平均深度，则删除所述第二点云数据。
7.如权利要求1-6任一项所述的一种语义点云地图构建方法，其特征在于，在所述剔除所述目标帧图像中的动态像素点之后，所述语义点云地图构建方法还包括：
基于所述语义信息，检测目标帧图像中的背景点；
对所述背景点进行三维重建，生成背景点云图；
根据所述背景点云图，更新所述全局点云图。
8.一种语义点云地图构建系统，其特征在于，包括：
数据获取模块，用于获取语义分割后的目标帧图像；其中，所述目标帧图像携带有语义信息；
动态目标检测模块，用于基于所述语义信息，对所述目标帧图像进行动态目标检测，剔除所述目标帧图像中的动态像素点；
局部点云图生成模块，用于对剔除动态像素点的目标帧图像进行三维空间转换，生成局部点云图；
语义点云地图构建模块，用于融合所述局部点云图以及全局点云图，以生成语义点云地图；其中，所述全局点云图为预先基于全局角度构建的点云图；
所述语义信息包括所述目标帧图像中非主动运动物体对应的目标检测框、所述目标检测框对应的第一物体类别信息以及所述目标检测框内物体像素点对应的第二物体类别信息；
所述动态目标检测模块包括遍历单元以及动态检测单元；
遍历单元，用于遍历所述目标检测框内的物体像素点；
动态检测单元，用于若所述第二物体类别信息与所述第一物体类别信息不一致，或所述非主动运动物体为运动状态，则将所述物体像素点作为动态物体像素点剔除。
9.一种智能机器人，其特征在于，包括传感器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项或者权利要求7所述的一种语义点云地图构建方法。
CN202210860170.1A 2022-07-22 2022-07-22 一种语义点云地图构建方法、系统及智能机器人 Active CN115063550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210860170.1A CN115063550B (zh) 2022-07-22 2022-07-22 一种语义点云地图构建方法、系统及智能机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210860170.1A CN115063550B (zh) 2022-07-22 2022-07-22 一种语义点云地图构建方法、系统及智能机器人

Publications (2)

Publication Number Publication Date
CN115063550A CN115063550A (zh) 2022-09-16
CN115063550B true CN115063550B (zh) 2022-11-11

Family

ID=83207007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210860170.1A Active CN115063550B (zh) 2022-07-22 2022-07-22 一种语义点云地图构建方法、系统及智能机器人

Country Status (1)

Country Link
CN (1) CN115063550B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116755441B (zh) * 2023-06-19 2024-03-12 国广顺能(上海)能源科技有限公司 移动机器人的避障方法、装置、设备及介质
CN117252992B (zh) * 2023-11-13 2024-02-23 整数智能信息技术(杭州)有限责任公司 基于时序数据的4d道路场景标注方法及装置、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325843A (zh) * 2020-03-09 2020-06-23 北京航空航天大学 一种基于语义逆深度滤波的实时语义地图构建方法
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法
CN111814683A (zh) * 2020-07-09 2020-10-23 北京航空航天大学 一种基于语义先验和深度学习特征的鲁棒视觉slam方法
CN112132897A (zh) * 2020-09-17 2020-12-25 中国人民解放军陆军工程大学 一种基于深度学习之语义分割的视觉slam方法
CN113345008A (zh) * 2021-05-31 2021-09-03 湖南大学 一种考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507056B (zh) * 2020-12-21 2023-03-21 华南理工大学 一种基于视觉语义信息的地图构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325843A (zh) * 2020-03-09 2020-06-23 北京航空航天大学 一种基于语义逆深度滤波的实时语义地图构建方法
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法
CN111814683A (zh) * 2020-07-09 2020-10-23 北京航空航天大学 一种基于语义先验和深度学习特征的鲁棒视觉slam方法
CN112132897A (zh) * 2020-09-17 2020-12-25 中国人民解放军陆军工程大学 一种基于深度学习之语义分割的视觉slam方法
CN113345008A (zh) * 2021-05-31 2021-09-03 湖南大学 一种考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Visual SLAM for robot navigation in healthcare facility";Baofu Fang;《Pattern Recognition》;20210531;全文 *
"基于动态特征剔除的图像与点云融合的机器人位姿估计方法";张磊;《中国激光》;20220331;全文 *
基于语义信息和边缘一致性的鲁棒SLAM算法;姚二亮等;《机器人》;20191231(第06期);全文 *

Also Published As

Publication number Publication date
CN115063550A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN112304307B (zh) 一种基于多传感器融合的定位方法、装置和存储介质
CN109084732B (zh) 定位与导航方法、装置及处理设备
CN113345018B (zh) 一种动态场景下的激光单目视觉融合定位建图方法
CN115063550B (zh) 一种语义点云地图构建方法、系统及智能机器人
CN113168717B (zh) 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达
CN107967457B (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
CN103712617B (zh) 一种基于视觉内容的多层语义地图的创建方法
CN109584302B (zh) 相机位姿优化方法、装置、电子设备和计算机可读介质
WO2019057179A1 (zh) 一种基于点线特征的视觉slam方法和装置
CA2982044A1 (en) Method and device for real-time mapping and localization
WO2020063878A1 (zh) 一种处理数据的方法和装置
CN111950440B (zh) 一种识别与定位门的方法、装置及存储介质
CN113673400A (zh) 基于深度学习的实景三维语义重建方法、装置及存储介质
CN115494533A (zh) 车辆定位方法、装置、存储介质及定位系统
GB2610410A (en) Incremental dense 3-D mapping with semantics
CN111105459A (zh) 描述子地图生成方法、定位方法、装置、设备和存储介质
CN116858269A (zh) 基于激光slam的烟草行业成品库平库盘点机器人路径优化方法
CN116921932A (zh) 焊接轨迹识别方法、装置、设备及存储介质
Fehr et al. Reshaping our model of the world over time
CN114926536B (zh) 一种基于语义的定位与建图方法、系统及智能机器人
CN117103259A (zh) 目标跟随方法、装置、可移动的跟随设备和存储介质
Li et al. An SLAM algorithm based on laser radar and vision fusion with loop detection optimization
CN112146647B (zh) 一种地面纹理的双目视觉定位方法及芯片
AV et al. Parallel FPFH SLAM for Aerial Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant