CN111402414B - 一种点云地图构建方法、装置、设备和存储介质 - Google Patents

一种点云地图构建方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111402414B
CN111402414B CN202010162810.2A CN202010162810A CN111402414B CN 111402414 B CN111402414 B CN 111402414B CN 202010162810 A CN202010162810 A CN 202010162810A CN 111402414 B CN111402414 B CN 111402414B
Authority
CN
China
Prior art keywords
point cloud
instance
frame point
frame
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010162810.2A
Other languages
English (en)
Other versions
CN111402414A (zh
Inventor
李艳丽
贾魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Three Hundred And Sixty Degree E Commerce Co ltd
Original Assignee
Beijing Jingdong Three Hundred And Sixty Degree E Commerce Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Three Hundred And Sixty Degree E Commerce Co ltd filed Critical Beijing Jingdong Three Hundred And Sixty Degree E Commerce Co ltd
Priority to CN202010162810.2A priority Critical patent/CN111402414B/zh
Publication of CN111402414A publication Critical patent/CN111402414A/zh
Application granted granted Critical
Publication of CN111402414B publication Critical patent/CN111402414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种点云地图构建方法、装置、设备和存储介质，该方法包括：针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态。通过本发明实施例的技术方案，实现了基于点云的只有不可运动物体的建图效果，避免了动态物体导致的拖尾现象。

Description

一种点云地图构建方法、装置、设备和存储介质
技术领域
本发明实施例涉及点云地图技术领域，尤其涉及一种点云地图构建方法、装置、设备和存储介质。
背景技术
在自动驾驶、高精地图制作以及机器人导航等行业，SLAM(SimultaneousLocalization and Mapping，同步定位和建图)一直都是研究热点和难点。
然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
大部分建图方法是假设需要建图的场景为只包括不可运动物体的静态场景，即需要建图的场景中不包括可运动物体，例如行人、车辆等。然而，在城市仿真和高精地图等应用中，需要建图的场景经常包括可运动物体。当所述可运动物体处于运动状态时，利用现有的建图方法对具有动态物体的场景建图将会出现拖尾现象，导致所建地图的呈现效果不好。
发明内容
本发明实施例提供了一种点云地图构建方法、装置、设备和存储介质，以避免动态物体导致的拖尾现象，实现了基于点云的只有不可运动物体的建图效果。
第一方面，本发明实施例提供了一种点云地图构建方法，所述方法包括：
针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；
根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；
将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；
根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态。
第二方面，本发明实施例还提供了一种点云地图构建装置，该装置包括：
实例分割模块，用于针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；
实例剔除模块，用于根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；
重建模块，用于将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；
空洞修补模块，用于根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的点云地图构建方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的点云地图构建方法步骤。
上述发明中的实施例具有如下优点或有益效果：
通过针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图的技术手段，实现了基于点云的只有不可运动物体的建图效果，且可避免动态物体导致的拖尾现象。
附图说明
图1是本发明实施例一提供的一种点云地图构建方法的流程图；
图2是本发明实施例一所涉及的一种动态和静态物体的分割结果示意图；
图3是本发明实施例二提供的一种点云地图构建方法的流程图；
图4是本发明实施例三提供的一种点云地图构建方法的流程图；
图5是本发明实施例四提供的一种点云地图构建装置的结构示意图；
图6是本发明实施例五提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种点云地图构建方法的流程图，本实施例可适用于城市仿真、高精地图构建等建图场景，目的是基于点云实现对静态场景的建图，并同时消除静态场景中临时存在的动态物体所导致的拖尾现象，所述动态物体是指保持运动状态的物体。所述静态场景具体指不包括可运动物体的场景，所述可运动物体指具备运动属性、但不一定会发生运动的物体，例如行人以及车辆等。具体的可运动物体是根据应用场景自定义的物体，例如高精地图制作行业，街景场景下的行人、公共汽车、小汽车以及自行车等都可被定义为可运动物体；在室内场景重建行业，一般只将人体定义为可运动物体。可以看出，现实中待建图的静态场景中通常会包括可运动物体，因此在建图过程中需要将静态场景中包括的可运动物体剔除，显而易见，剔除可运动物体后，重建后的点云地图中将存在一些空洞区域，例如剔除车辆后的地面区域。本实施例提供的点云地图构建方法的目的便是解决上述问题，在点云建图时完成可运动物体分割和自适应空洞修补。该方法可以由点云地图构建装置来执行，该装置可以由软件和/或硬件的方式来实现。
如图1所示，该方法具体包括以下步骤：
步骤110、针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果。
其中，本实施例对于建图方案不进行限定，可以是测绘建图方案或者激光SLAM(Simultaneous Localization and Mapping，同步定位和建图)建图方案。测绘建图方案为：车载系统搭载激光雷达和组合惯导，由组合惯导完成定位，然后将单帧激光点云进行转换投影完成建图。激光SLAM建图方案为：车载系统只需要搭载激光雷达即可，根据连续单帧点云之间的匹配关系进行同步定位和建图。无论是测绘建图方案还是激光SLAM建图方案，本实施例都是在单帧点云下完成可运动物体分割和空洞修补，这样修补后的点云分布更均匀自然，重新投影再建图的效果更好。
下面以测绘建图方案为例，对建图过程进行阐述：首先，对单帧点云进行实例分割，其中的实例就是感兴趣的可运动物体，同时结合时空关系进行实例跟踪，得到时空实例分割结果；其次，对每个时空实例分割结果，用多视图几何投影理论判定实例在哪些点云帧下处于运动状态，在哪些点云帧下处于静止状态；最后，根据实例的状态对其空洞区域进行修补。
具体的，激光雷达沿着行驶轨迹按一定采集频率(例如100hz)顺序采集单帧点云，如果是16线激光雷达每次会固定扫描采集16圈点云，同理，32线/64线激光雷达每次会分别固定扫描采集32圈/64圈点云。
其中，对每个单帧点云可以采用机器学习方法完成实例分割，具体的，利用深度学习方法对单帧点云进行语义分割，此类方法需要在训练阶段收集大量单帧点云，并对单帧点云中的感兴趣物体(即实例)进行标注来训练点云实例分割模型，在使用阶段通过点云实例分割模型对单帧点云进行解析即可。
示例性的，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果，包括：
将所述当前单帧点云输入至点云实例分割模型，得到当前单帧点云的实例分割结果。
或者，获取当前单帧点云对应的投影图；
将所述投影图输入至投影图实例分割模型，得到投影图实例分割结果；
基于点云点与投影图像素点之间的对应关系，将所述投影图实例分割结果反投影至所述当前单帧点云，得到当前单帧点云的实例分割结果。
具体的，将单帧点云进行俯视投影得到单帧俯视图，用深度学习方法对单帧俯视图进行语义分割。此类方法需要在训练阶段收集大量的单帧俯视图，并对单帧俯视图中的感兴趣物体进行标注。相对于上述点云实例分割模型，单帧俯视图分割模型人工标注的代价比较少。在使用阶段，首先完成俯视图下的实例分割，然后根据点云点和俯视图像素点之间的对应关系，将实例分割结果反投影到单帧点云。
进一步的，考虑到点云点和像素点是多对一的关系，可以根据应用场景制定规则合成俯视图以及反向进行点云投影。例如，针对室外道路街景场景，由于可运动物体大多都在地面以上并且比树木、电线杆等偏低，可以采用自下而上的投影方式并设置高度截断阈值，高于高度截断阈值的点云不参与投影计算，从而保证点云点和像素点之间的一对一关系。
示例性的，所述获取当前单帧点云对应的投影图，包括：
将所述当前单帧点云中高度低于高度阈值的点云点，按照自下而上的投影方式进行投影，得到所述当前单帧点云对应的投影图。
步骤120、根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体。
其中，所述可运动物体指具备运动属性、但不一定会发生运动的物体，例如行人以及车辆等。具体的可运动物体是根据应用场景自定义的物体，例如高精地图制作行业，街景场景下的行人、公共汽车、小汽车以及自行车等都可被定义为可运动物体；在室内场景重建行业，一般只将人体定义为可运动物体。
所述实例的状态包括运动状态和静止状态。参见图2所示的一种动态和静态物体的分割结果示意图，其中，上面的分割结果210表示两辆处于静止状态的汽车，下面的分割结果220表示处于运动状态的汽车，可见运动状态的汽车存在严重的拖尾现象。
步骤130、将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图。
具体的，按照如下换算公式将各剔除后的单帧点云投影至世界坐标系下：
P3d＝R′t(P3d,t-Tt)
其中，P3d表示单帧点云上的点云点在世界坐标系下的位置，[Rt，Tt]表示单帧点云的位姿，Rt表示单帧点云的位姿旋转矩阵，Tt表示单帧点云的位姿平移量，t表示时间，P3d,t表示所述点云点在单帧点云坐标系下的位置，Rt’表示Rt的导数。
步骤140、根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图。
其中，所述状态包括静止状态和运动状态。可以理解的是，若一实例状态为运动状态，则该实例在当前单帧点云中遮挡的区域，在当前单帧点云的邻居单帧点云中为可见区域，因此可利用当前单帧点云的邻居单帧点云中的相关点云点云对该实例产生的空洞区域进行修补，即可利用多视图投影理论完成空洞修补。若一实例状态为静止状态，则该实例在当前单帧点云中遮挡的区域，在当前单帧点云的邻居单帧点云中不能全部为可见区域，因此可以利用多视图投影理论以及深度学习理论完成空洞修补。通过根据实例的状态自适应确定空洞修补策略，实现了较好的空洞修补效果。
本实施例的技术方案，通过针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图的技术手段，实现了基于点云的只有不可运动物体的建图效果，且可避免动态物体导致的拖尾现象。
实施例二
图3为本发明实施例二提供的一种点云地图构建方法的流程图，本实施例在上述实施例的基础上，给出了同一实例在连续多个单帧点云下的分割结果，以及同一实例在每个单帧点云的状态的确定过程，实现了对实例状态的准确确定，为确定目标修补算法提供了可靠依据。其中与上述实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例提供的点云地图构建方法具体包括以下步骤：
步骤310、针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果。
步骤320、根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体。
步骤330、将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图。
步骤340、对待建图场景的连续多个单帧点云的实例分割结果进行跟踪，以确定同一实例在连续多个单帧点云的分割结果。
示例性的，对待建图场景的连续多个单帧点云的实例分割结果进行跟踪，包括：
计算跟踪实例包围盒与检测实例包围盒的交并比；
若所述交并比大于交并比阈值，则确定所述跟踪实例与所述检测实例为同一实例；
其中，所述交并比指跟踪实例包围盒和检测实例包围盒的相交体积，与跟踪实例包围盒和检测实例包围盒的相并体积之比；所述跟踪实例以及所述检测实例为任意单帧点云的实例分割结果中的任意实例。
例如，跟踪实例的编号为1，记为跟踪实例1，跟踪实例1为当前单帧点云的实例分割结果中的一实例，检测实例无编号，检测实例为当前单帧点云的邻居单帧点云的实例分割结果中的一实例，若跟踪实例1的包围盒与检测实例包围盒的交并比大于交并比阈值，则确定跟踪实例1与所述检测实例为同一实例，此时为所述检测实例标记编号1，编号相同的实例表示为同一实例。
进一步的，还可以针对投影图实例分割结果，用图像物体对单帧投影图下的分割实例进行跟踪。具体的，对待建图场景的连续多个单帧点云的实例分割结果进行跟踪，包括：
基于所述投影图实例分割结果，计算跟踪实例包围盒与检测实例包围盒的交并比；
若所述交并比大于交并比阈值，则确定所述跟踪实例与所述检测实例为同一实例；
所述交并比指跟踪实例包围盒和检测实例包围盒的相交面积，与跟踪实例包围盒和检测实例包围盒的相并面积之比；所述跟踪实例以及所述检测实例为任意单帧点云对应的投影图的投影图实例分割结果中的任意实例。
步骤350、根据同一实例在连续多个单帧点云的分割结果，结合多视图摄影几何理论，确定所述同一实例在每个单帧点云的状态。
经过了时空实例分割，可获得同一实例在连续多个单帧点云下的分割结果，进一步还需判定同一实例在哪些单帧点云中处于静止状态，在哪些单帧点云中处于运动状态。根据多视图摄影几何理论，如果某一个三维场景点处于静止状态，那么其在连续帧下的投影属性具有一致性。例如，在相机成像过程中，三维场景点的投影为像素点，连续帧间同一场景点的颜色或局部特征等具有一致性；在激光成像过程中三维场景点的投影为点云点，连续帧中同一场景点的点云点的强度或局部特征具有一致性。因此，在本实施例中针对单帧点云中的每个分割实例，首先抽取一些采样点，计算这些采样点在邻居单帧点云下的投影点，然后提取这些投影点的局部特征，根据局部特征一致性判定该分割实例是否发生了移动。
示例性的，根据同一实例在连续多个单帧点云的分割结果，结合多视图摄影几何理论，确定所述同一实例在每个单帧点云的状态，包括：
基于所述同一实例在当前单帧点云的分割结果，确定采样点；
计算所述采样点在当前单帧点云的邻居单帧点云下的投影点；
分别确定所述采样点的第一特征属性，以及所述投影点的第二特征属性；
根据所述第一特征属性以及所述第二特征属性确定所述同一实例在当前单帧点云的状态。
其中，所述基于所述同一实例在当前单帧点云的分割结果，确定采样点，包括：
将所述同一实例对应的分割点云点全部作为采样点；
或者，对所述同一实例对应的分割点云点进行网格规整化，选取每个网格中距离网格中心最近的点云点作为采样点。
所述当前单帧点云的邻居单帧点云通常指当前单帧点云之前的2-3帧点云或者之后的2-3帧点云。
所述计算所述采样点在当前单帧点云的邻居单帧点云下的投影点，包括：
按照如下换算公式计算所述采样点在当前单帧点云的邻居单帧点云下的投影点：
P3d,t+1＝Rt+1R′t[P3d,t-Tt]+Tt+1
其中，[Rt，Tt]表示采样点在当前单帧点云的位姿，Rt表示采样点在当前单帧点云的位姿旋转矩阵，Tt表示采样点在当前单帧点云的位姿平移量，t表示时间，P3d,t表示所述采样点在当前单帧点云坐标系下的位置，[Rt+1，Tt+1]表示采样点在当前单帧点云的邻居单帧点云的位姿，P3d,t+1表示所述采样点在所述邻居单帧点云坐标系下的投影点的位置。
示例性的，所述分别确定所述采样点的第一特征属性，以及所述投影点的第二特征属性，包括：
针对所述采样点中的每个采样点，以当前采样点为中心，对设定半径范围内的点云点进行直方图统计，获得第一直方图特征，或者将所述设定半径范围内的点云点输入至深度学习特征模型，获得第一深度学习特征；
将所述第一直方图特征或者所述第一深度学习特征确定为所述第一特征属性；
针对所述采样点中的每个采样点的所述投影点，以当前投影点为中心，对设定半径范围内的点云点进行直方图统计，获得第二直方图特征，或者将所述设定半径范围内的点云点输入至深度学习特征模型，获得第二深度学习特征；
将所述第二直方图特征或者所述第二深度学习特征确定为所述第二特征属性。
其中，所述直方图特征通常指设定半径范围内点云点的数量。所述深度学习特征例如是用PointNet算法提取的所述设定半径范围内的点云点的1028维特征。
进一步的，根据所述第一特征属性以及所述第二特征属性确定所述同一实例在当前单帧点云的状态，包括：
计算所述第一特征属性以及所述第二特征属性的L2范式差；
若所述L2范式差大于差阈值，则确定所述当前采样点发生了移动；
统计发生了移动的采样点数占采样点总数的百分比；
若所述百分比达到比阈值，则确定所述同一实例在当前单帧点云的状态为运动状态。
步骤360、根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态。
示例性的，所述根据各单帧点云中的实例状态对所述第一中间地图进行空洞修补，包括：
针对待建图场景的连续多个单帧点云，基于当前单帧点云的邻居单帧点云中实例的状态，确定用于修补当前单帧点云中的实例在所述世界坐标系下对应的空洞区域的目标修补算法；
通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述第一目标地图。
其中，所述基于当前单帧点云的邻居单帧点云中实例的状态，确定用于修补当前单帧点云中的实例在所述世界坐标系下对应的空洞区域的目标修补算法，包括：
确定与当前单帧点云相邻设定范围内的至少两个目标单帧点云；
若实例状态为运动状态的所述目标单帧点云的个数大于个数阈值，则确定目标修补算法为多视图投影修补算法以及深度学习修补算法；
若实例状态为运动状态的所述目标单帧点云的个数不大于个数阈值，则确定目标修补算法为深度学习修补算法。
例如，将与当前单帧点云依次左相邻的2个单帧点云，以及依次右相邻的2个单帧点云确定为所述目标单帧点云，若这4个目标单帧点云中有3个单帧点云中同一实例状态为运动状态，大于个数阈值2，则确定目标修补算法为多视图投影修补算法以及深度学习修补算法，否则，确定目标修补算法为深度学习修补算法。可以理解的是，若一实例状态为运动状态，则该实例在当前单帧点云中遮挡的区域，在当前单帧点云的邻居单帧点云中为可见区域，因此可利用当前单帧点云的邻居单帧点云中的相关点云点云对该实例产生的空洞区域进行修补，即可利用多视图投影理论完成空洞修补。若一实例状态为静止状态，则该实例在当前单帧点云中遮挡的区域，在当前单帧点云的邻居单帧点云中不能全部为可见区域，因此可以利用多视图投影理论以及深度学习理论完成空洞修补。通过根据实例的状态自适应确定空洞修补策略，实现了较好的空洞修补效果。
进一步的，所述通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图之前，还包括：
针对待建图场景的连续多个单帧点云，获取当前单帧点云中的实例在所述世界坐标系下投影点的凸包围盒，该凸包围盒为当前单帧点云中的实例在所述世界坐标系下对应的空洞区域。
进一步的，所述通过所述目标修补算法对所述第一中间地图进行空洞修补，包括：
若所述目标修补算法为多视图投影修补算法以及深度学习修补算法，所述通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，包括：
利用所述至少两个目标单帧点云基于多视图投影修补算法对所述空洞区域进行修补，得到修补后的空洞区域；
利用深度学习修补算法对所述修补后的空洞区域继续进行修补，得到所述待建图场景的第一目标地图。
若所述目标修补算法为深度学习修补算法，所述通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，包括：
利用深度学习修补算法对所述空洞区域进行修补，得到所述待建图场景的第一目标地图。
本实施例的技术方案，通过对待建图场景的连续多个单帧点云的实例分割结果进行跟踪，确定了同一实例在连续多个单帧点云的分割结果，根据同一实例在连续多个单帧点云的分割结果，结合多视图摄影几何理论，确定了所述同一实例在每个单帧点云的状态，最后基于当前单帧点云的邻居单帧点云中实例的状态，确定用于修补当前单帧点云中的实例在所述世界坐标系下对应的空洞区域的目标修补算法，通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述第一目标地图，实现了基于点云的只有不可运动物体的建图效果，且可避免动态物体导致的拖尾现象。
实施例三
图4为本发明实施例三提供的一种点云地图构建方法的流程图，本实施例在上述实施例的基础上，进行了进一步优化。具体是：如果只在世界坐标系下进行空洞修补，无论是采用多视图投影修补算法还是采用深度学习修补算法进行修补，修补结果往往稠密不均，这是因为多视图投影修补算法会将所有邻居单帧点云中的所有的相关点云点投影到凸包围盒内，而深度学习修补算法存在概率性的偏差，因此造成修补后的空洞区域的点云点稠密不均，视觉效果较差。针对该问题，本实施例进一步提供了对修补后的空洞区域进行点云抽稀的方案。其中与上述实施例相同或相应的术语的解释在此不再赘述。
如图4所示，所述方法包括如下步骤：
步骤410、针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果。
步骤420、根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体。
步骤430、将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图。
步骤440、根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态。
步骤450、将修补后的空洞区域的点云点反投影至所述各剔除后的单帧点云下，得到空洞区域的反投影点云点。
具体的，按照如下换算公式将修补后的空洞区域的点云点反投影至所述各剔除后的单帧点云下：
P3d,t＝RtP3d+Tt
其中，P3d,t表示世界坐标系下的三维点P3d反投影到具有位姿[Rt，Tt]的单帧点云的投影点的位置，Rt表示点云点在单帧点云的位姿旋转矩阵，Tt表示点云点在单帧点云的位姿平移量，t表示时间。
步骤460、将激光雷达发射的扫描线与所述反投影点云点的交点中，小于距离阈值且离激光雷达最近的交点确定为待填充空洞点云点。
根据激光雷达采样原理可知激光扫描光束有垂直采样角分辨率和水平采样角分辨率，例如Velodyne HDL-32线在球面坐标系下的垂直视域为(40度，-30.67度->10.67度)，垂直角分辨率为1.33度/线，垂直方向上采集32条扫描线，水平视域为360度，水平角分辨率为0.16度/线，水平方向上采集2250条扫描线。这些扫描线跟凸包围盒内的稠密点云相交，将距离最近且小于给定阈值的交点确定为待填充空洞点云点，将所述反投影点云点中除所述待填充空洞点云点之外的点云点滤除，完成对每帧点云的空洞修补。
步骤470、将所述反投影点云点中除所述待填充空洞点云点之外的点云点滤除，得到空洞修补之后的各单帧点云。
步骤480、将空洞修补之后的各单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第二目标地图。
本实施例的技术方案，在得到所述待建图场景的第一目标地图之后，将修补后的空洞区域的点云点反投影至所述各剔除后的单帧点云下，得到空洞区域的反投影点云点；将激光雷达发射的扫描线与所述反投影点云点的交点中，小于距离阈值且离激光雷达最近的交点确定为待填充空洞点云点；将所述反投影点云点中除所述待填充空洞点云点之外的点云点滤除，得到空洞修补之后的各单帧点云；将空洞修补之后的各单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第二目标地图，实现了对空洞区域稠密点云点的抽稀，提高了所建地图的视觉效果。
以下是本发明实施例提供的点云地图构建装置的实施例，该装置与上述各实施例的点云地图构建方法属于同一个发明构思，在点云地图构建装置的实施例中未详尽描述的细节内容，可以参考上述点云地图构建方法的实施例。
实施例四
图5为本发明实施例四提供的一种点云地图构建装置的结构示意图，该装置具体包括：实例分割模块510、实例剔除模块520、重建模块530和空洞修补模块540。
其中，实例分割模块510，用于针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；实例剔除模块520，用于根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；重建模块530，用于将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；空洞修补模块540，用于根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态。
进一步的，实例分割模块510具体用于：
将所述当前单帧点云输入至点云实例分割模型，得到当前单帧点云的实例分割结果；
或者，
获取当前单帧点云对应的投影图；
将所述投影图输入至投影图实例分割模型，得到投影图实例分割结果；
基于点云点与投影图像素点之间的对应关系，将所述投影图实例分割结果反投影至所述当前单帧点云，得到当前单帧点云的实例分割结果。
进一步的，所述装置还包括：
跟踪模块，用于在所述根据各实例的状态对所述第一中间地图进行空洞修补之前，对待建图场景的连续多个单帧点云的实例分割结果进行跟踪，以确定同一实例在连续多个单帧点云的分割结果；
实例状态确定模块，用于根据同一实例在连续多个单帧点云的分割结果，结合多视图摄影几何理论，确定所述同一实例在每个单帧点云的状态。
进一步的，所述跟踪模块包括：
计算单元，用于计算跟踪实例包围盒与检测实例包围盒的交并比；
确定单元，用于若所述交并比大于交并比阈值，则确定所述跟踪实例与所述检测实例为同一实例；
其中，所述交并比指跟踪实例包围盒和检测实例包围盒的相交体积，与跟踪实例包围盒和检测实例包围盒的相并体积之比；所述跟踪实例以及所述检测实例为任意单帧点云的实例分割结果中的任意实例。
进一步的，所述计算单元还用于：
基于所述投影图实例分割结果，计算跟踪实例包围盒与检测实例包围盒的交并比；
所述确定单元还用于：
若所述交并比大于交并比阈值，则确定所述跟踪实例与所述检测实例为同一实例；
所述交并比指跟踪实例包围盒和检测实例包围盒的相交面积，与跟踪实例包围盒和检测实例包围盒的相并面积之比；所述跟踪实例以及所述检测实例为任意单帧点云对应的投影图的投影图实例分割结果中的任意实例。
进一步的，所述实例状态确定模块包括：
采样点确定单元，用于基于所述同一实例在当前单帧点云的分割结果，确定采样点；
投影点计算单元，用于计算所述采样点在当前单帧点云的邻居单帧点云下的投影点；
属性确定单元，用于分别确定所述采样点的第一特征属性，以及所述投影点的第二特征属性；
状态确定单元，用于根据所述第一特征属性以及所述第二特征属性确定所述同一实例在当前单帧点云的状态。
进一步的，所述采样点确定单元具体用于：
将所述同一实例对应的分割点云点全部作为采样点；
或者，对所述同一实例对应的分割点云点进行网格规整化，选取每个网格中距离网格中心最近的点云点作为采样点。
进一步的，所述属性确定单元包括：
第一特征获取子单元，用于针对所述采样点中的每个采样点，以当前采样点为中心，对设定半径范围内的点云点进行直方图统计，获得第一直方图特征，或者将所述设定半径范围内的点云点输入至深度学习特征模型，获得第一深度学习特征；
第一属性确定子单元，用于将所述第一直方图特征或者所述第一深度学习特征确定为所述第一特征属性；
第二特征获取子单元，用于针对所述采样点中的每个采样点的所述投影点，以当前投影点为中心，对设定半径范围内的点云点进行直方图统计，获得第二直方图特征，或者将所述设定半径范围内的点云点输入至深度学习特征模型，获得第二深度学习特征；
第二属性确定子单元，用于将所述第二直方图特征或者所述第二深度学习特征确定为所述第二特征属性。
进一步的，所述状态确定单元包括：
计算子单元，用于计算所述第一特征属性以及所述第二特征属性的L2范式差；
移动确定子单元，用于若所述L2范式差大于差阈值，则确定所述当前采样点发生了移动；
统计子单元，用于统计发生了移动的采样点数占采样点总数的百分比；
状态确定子单元，用于若所述百分比达到比阈值，则确定所述同一实例在当前单帧点云的状态为运动状态。
进一步的，空洞修补模块540，包括：
目标修补算法确定单元，用于针对待建图场景的连续多个单帧点云，基于当前单帧点云的邻居单帧点云中实例的状态，确定用于修补当前单帧点云中的实例在所述世界坐标系下对应的空洞区域的目标修补算法；
空洞修补单元，用于通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述第一目标地图。
进一步的，所述目标修补算法确定单元，包括：
邻居点云确定子单元，用于确定与当前单帧点云相邻设定范围内的至少两个目标单帧点云；
目标修补算法确定子单元，用于若实例状态为运动状态的所述目标单帧点云的个数大于个数阈值，则确定目标修补算法为多视图投影修补算法以及深度学习修补算法；若实例状态为运动状态的所述目标单帧点云的个数不大于个数阈值，则确定目标修补算法为深度学习修补算法。
进一步的，所述装置还包括：
空洞区域确定模块，用于在所述通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图之前，针对待建图场景的连续多个单帧点云，获取当前单帧点云中的实例在所述世界坐标系下投影点的凸包围盒，该凸包围盒为当前单帧点云中的实例在所述世界坐标系下对应的空洞区域。
进一步的，所述装置还包括：抽稀模块，用于得到所述待建图场景的第一目标地图之后，对修补后的空洞区域的点云点进行抽稀；
所述抽稀模块包括：
反投影单元，用于将修补后的空洞区域的点云点反投影至所述各剔除后的单帧点云下，得到空洞区域的反投影点云点；
确定单元，用于将激光雷达发射的扫描线与所述反投影点云点的交点中，小于距离阈值且离激光雷达最近的交点确定为待填充空洞点云点；
抽稀单元，用于将所述反投影点云点中除所述待填充空洞点云点之外的点云点滤除，得到空洞修补之后的各单帧点云；
投影单元，用于将空洞修补之后的各单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第二目标地图。
本实施例的技术方案，通过针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图的技术手段，实现了基于点云的只有不可运动物体的建图效果，且可避免动态物体导致的拖尾现象。
本发明实施例所提供的点云地图构建装置可执行本发明任意实施例所提供的点云地图构建方法，具备执行点云地图构建方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的一种设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性设备12的框图。图6显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如实例分割模块510、实例剔除模块520、重建模块530和空洞修补模块540)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(例如实例分割模块510、实例剔除模块520、重建模块530和空洞修补模块540)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种点云地图构建方法步骤，该方法包括：
针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；
根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；
将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；
根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的点云地图构建方法的技术方案。
实施例六
本实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的点云地图构建方法步骤，该方法包括：
针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；
根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；
将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；
根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种点云地图构建方法，其特征在于，包括：
针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；
根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；
将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；
根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态；
所述根据各实例的状态对所述第一中间地图进行空洞修补，包括：
针对待建图场景的连续多个单帧点云，基于当前单帧点云的邻居单帧点云中实例的状态，确定用于修补当前单帧点云中的实例在所述世界坐标系下对应的空洞区域的目标修补算法；
通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述第一目标地图；其中，所述空洞修补是指对所述第一中间地图中的空洞区域进行修补；所述目标修补算法包括多视图投影修补算法和深度学习修补算法；
其中，在所述得到所述待建图场景的第一目标地图之后，所述方法还包括：
将修补后的空洞区域的点云点反投影至所述各剔除后的单帧点云下，得到空洞区域的反投影点云点；
将激光雷达发射的扫描线与所述反投影点云点的交点中，小于距离阈值且离激光雷达最近的交点确定为待填充空洞点云点；
将所述反投影点云点中除所述待填充空洞点云点之外的点云点滤除，得到空洞修补之后的各单帧点云；
将空洞修补之后的各单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第二目标地图。
2.根据权利要求1所述的方法，其特征在于，所述基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果，包括：
将所述当前单帧点云输入至点云实例分割模型，得到当前单帧点云的实例分割结果；
或者，
获取当前单帧点云对应的投影图；
将所述投影图输入至投影图实例分割模型，得到投影图实例分割结果；
基于点云点与投影图像素点之间的对应关系，将所述投影图实例分割结果反投影至所述当前单帧点云，得到当前单帧点云的实例分割结果。
3.根据权利要求2所述的方法，其特征在于，所述根据各实例的状态对所述第一中间地图进行空洞修补之前，所述方法还包括：
对待建图场景的连续多个单帧点云的实例分割结果进行跟踪，以确定同一实例在连续多个单帧点云的分割结果；
根据同一实例在连续多个单帧点云的分割结果，结合多视图摄影几何理论，确定所述同一实例在每个单帧点云的状态。
4.根据权利要求3所述的方法，其特征在于，对待建图场景的连续多个单帧点云的实例分割结果进行跟踪，包括：
计算跟踪实例包围盒与检测实例包围盒的交并比；
若所述交并比大于交并比阈值，则确定所述跟踪实例与所述检测实例为同一实例；
其中，所述交并比指跟踪实例包围盒和检测实例包围盒的相交体积，与跟踪实例包围盒和检测实例包围盒的相并体积之比；所述跟踪实例以及所述检测实例为任意单帧点云的实例分割结果中的任意实例。
5.根据权利要求3所述的方法，其特征在于，对待建图场景的连续多个单帧点云的实例分割结果进行跟踪，包括：
基于所述投影图实例分割结果，计算跟踪实例包围盒与检测实例包围盒的交并比；
若所述交并比大于交并比阈值，则确定所述跟踪实例与所述检测实例为同一实例；
所述交并比指跟踪实例包围盒和检测实例包围盒的相交面积，与跟踪实例包围盒和检测实例包围盒的相并面积之比；所述跟踪实例以及所述检测实例为任意单帧点云对应的投影图的投影图实例分割结果中的任意实例。
6.根据权利要求3所述的方法，其特征在于，根据同一实例在连续多个单帧点云的分割结果，结合多视图摄影几何理论，确定所述同一实例在每个单帧点云的状态，包括：
基于所述同一实例在当前单帧点云的分割结果，确定采样点；
计算所述采样点在当前单帧点云的邻居单帧点云下的投影点；
分别确定所述采样点的第一特征属性，以及所述投影点的第二特征属性；
根据所述第一特征属性以及所述第二特征属性确定所述同一实例在当前单帧点云的状态。
7.根据权利要求6所述的方法，其特征在于，所述基于所述同一实例在当前单帧点云的分割结果，确定采样点，包括：
将所述同一实例对应的分割点云点全部作为采样点；
或者，对所述同一实例对应的分割点云点进行网格规整化，选取每个网格中距离网格中心最近的点云点作为采样点。
8.根据权利要求6所述的方法，其特征在于，所述分别确定所述采样点的第一特征属性，以及所述投影点的第二特征属性，包括：
针对所述采样点中的每个采样点，以当前采样点为中心，对设定半径范围内的点云点进行直方图统计，获得第一直方图特征，或者将所述设定半径范围内的点云点输入至深度学习特征模型，获得第一深度学习特征；
将所述第一直方图特征或者所述第一深度学习特征确定为所述第一特征属性；
针对所述采样点中的每个采样点的所述投影点，以当前投影点为中心，对设定半径范围内的点云点进行直方图统计，获得第二直方图特征，或者将所述设定半径范围内的点云点输入至深度学习特征模型，获得第二深度学习特征；
将所述第二直方图特征或者所述第二深度学习特征确定为所述第二特征属性。
9.根据权利要求6所述的方法，其特征在于，根据所述第一特征属性以及所述第二特征属性确定所述同一实例在当前单帧点云的状态，包括：
计算所述第一特征属性以及所述第二特征属性的L2范式差；
若所述L2范式差大于差阈值，则确定所述当前采样点发生了移动；
统计发生了移动的采样点数占采样点总数的百分比；
若所述百分比达到比阈值，则确定所述同一实例在当前单帧点云的状态为运动状态。
10.根据权利要求1所述的方法，其特征在于，所述基于当前单帧点云的邻居单帧点云中实例的状态，确定用于修补当前单帧点云中的实例在所述世界坐标系下对应的空洞区域的目标修补算法，包括：
确定与当前单帧点云相邻设定范围内的至少两个目标单帧点云；
若实例状态为运动状态的所述目标单帧点云的个数大于个数阈值，则确定目标修补算法为多视图投影修补算法以及深度学习修补算法；
若实例状态为运动状态的所述目标单帧点云的个数不大于个数阈值，则确定目标修补算法为深度学习修补算法。
11.根据权利要求1所述的方法，其特征在于，所述通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图之前，还包括：
针对待建图场景的连续多个单帧点云，获取当前单帧点云中的实例在所述世界坐标系下投影点的凸包围盒，该凸包围盒为当前单帧点云中的实例在所述世界坐标系下对应的空洞区域。
12.一种点云地图构建装置，其特征在于，包括：
实例分割模块，用于针对待建图场景的连续多个单帧点云，基于当前单帧点云进行实例分割，得到当前单帧点云的实例分割结果；
实例剔除模块，用于根据当前单帧点云的实例分割结果，将当前单帧点云中属于实例的点云点剔除，得到剔除后的当前单帧点云；所述实例包括：可运动物体；
重建模块，用于将各剔除后的单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第一中间地图；
空洞修补模块，用于根据各实例的状态对所述第一中间地图进行空洞修补，得到所述待建图场景的第一目标地图，所述状态包括静止状态和运动状态；所述空洞修补模块，包括：
目标修补算法确定单元，用于针对待建图场景的连续多个单帧点云，基于当前单帧点云的邻居单帧点云中实例的状态，确定用于修补当前单帧点云中的实例在所述世界坐标系下对应的空洞区域的目标修补算法；
空洞修补单元，用于通过所述目标修补算法对所述第一中间地图进行空洞修补，得到所述第一目标地图；其中，所述空洞修补是指对所述第一中间地图中的空洞区域进行修补；所述目标修补算法包括多视图投影修补算法和深度学习修补算法；
其中，所述装置还包括抽稀模块：用于得到所述待建图场景的第一目标地图之后，对修补后的空洞区域的点云点进行抽稀；
所述抽稀模块包括：
反投影单元，用于将修补后的空洞区域的点云点反投影至所述各剔除后的单帧点云下，得到空洞区域的反投影点云点；
确定单元，用于将激光雷达发射的扫描线与所述反投影点云点的交点中，小于距离阈值且离激光雷达最近的交点确定为待填充空洞点云点；
抽稀单元，用于将所述反投影点云点中除所述待填充空洞点云点之外的点云点滤除，得到空洞修补之后的各单帧点云；
投影单元，用于将空洞修补之后的各单帧点云投影至世界坐标系下进行地图重建，得到所述待建图场景的第二目标地图。
13.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的点云地图构建方法步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的点云地图构建方法步骤。
CN202010162810.2A 2020-03-10 2020-03-10 一种点云地图构建方法、装置、设备和存储介质 Active CN111402414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010162810.2A CN111402414B (zh) 2020-03-10 2020-03-10 一种点云地图构建方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010162810.2A CN111402414B (zh) 2020-03-10 2020-03-10 一种点云地图构建方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111402414A CN111402414A (zh) 2020-07-10
CN111402414B true CN111402414B (zh) 2024-05-24

Family

ID=71413305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010162810.2A Active CN111402414B (zh) 2020-03-10 2020-03-10 一种点云地图构建方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111402414B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931584B (zh) * 2020-07-14 2024-04-09 北京京东叁佰陆拾度电子商务有限公司 用于分割点云的方法、装置、设备及计算机可读存储介质
CN111854651A (zh) * 2020-07-20 2020-10-30 武汉科技大学 基于slam的室内建筑面积实时测量方法
CN112200868A (zh) * 2020-09-30 2021-01-08 深兰人工智能(深圳)有限公司 定位方法、装置和车辆
CN114445565A (zh) * 2020-11-06 2022-05-06 北京嘀嘀无限科技发展有限公司 数据处理方法、装置、电子设备和计算机可读介质
CN112465977B (zh) * 2020-12-14 2022-05-10 埃洛克航空科技（北京）有限公司 基于稠密点云修补三维模型水面漏洞的方法
CN112509050B (zh) * 2020-12-18 2023-04-07 武汉库柏特科技有限公司 一种位姿估计方法、防碰撞抓物方法和装置
CN112785714A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 点云实例标注方法及装置、电子设备和介质
CN113436336B (zh) * 2021-06-22 2024-01-12 京东鲲鹏(江苏)科技有限公司 地面点云分割方法和装置及自动驾驶车辆
CN113570713B (zh) * 2021-07-05 2023-10-31 北京科技大学 一种面向动态环境的语义地图构建方法及装置
CN113344950A (zh) * 2021-07-28 2021-09-03 北京朗视仪器股份有限公司 一种深度学习结合点云语义的cbct图像牙齿分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
CN110069961A (zh) * 2018-01-24 2019-07-30 北京京东尚科信息技术有限公司 一种物体检测方法和装置
CN110400363A (zh) * 2018-04-24 2019-11-01 北京京东尚科信息技术有限公司 基于激光点云的地图构建方法和装置
CN110555901A (zh) * 2019-09-05 2019-12-10 亮风台（上海）信息科技有限公司 动静态场景的定位和建图方法、装置、设备和存储介质
WO2019232894A1 (zh) * 2018-06-05 2019-12-12 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN110853075A (zh) * 2019-11-05 2020-02-28 北京理工大学 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN110850439A (zh) * 2020-01-15 2020-02-28 奥特酷智能科技(南京)有限公司 一种高精度三维点云地图构建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI482043B (zh) * 2013-01-11 2015-04-21 Univ Nat Central Housing roof search and establishment of roof structure
US11430145B2 (en) * 2018-06-17 2022-08-30 Foresight Ai Inc. Identification of local motions in point cloud data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069961A (zh) * 2018-01-24 2019-07-30 北京京东尚科信息技术有限公司 一种物体检测方法和装置
CN110400363A (zh) * 2018-04-24 2019-11-01 北京京东尚科信息技术有限公司 基于激光点云的地图构建方法和装置
WO2019232894A1 (zh) * 2018-06-05 2019-12-12 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
CN110555901A (zh) * 2019-09-05 2019-12-10 亮风台（上海）信息科技有限公司 动静态场景的定位和建图方法、装置、设备和存储介质
CN110853075A (zh) * 2019-11-05 2020-02-28 北京理工大学 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN110850439A (zh) * 2020-01-15 2020-02-28 奥特酷智能科技(南京)有限公司 一种高精度三维点云地图构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于数学形态学的点云地物提取方法;黄礼辉;黄子懿;;铁道勘察;20180415(第02期);全文 *

Also Published As

Publication number Publication date
CN111402414A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402414B (zh) 一种点云地图构建方法、装置、设备和存储介质
JP6866441B2 (ja) ３次元シーンマップの生成方法、生成装置、機器および記憶媒体
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
Tsai et al. Real-time indoor scene understanding using bayesian filtering with motion cues
Matzen et al. Nyc3dcars: A dataset of 3d vehicles in geographic context
CN110428490B (zh) 构建模型的方法和装置
CN113009506B (zh) 一种虚实结合的实时激光雷达数据生成方法、系统及设备
CN113640822B (zh) 一种基于非地图元素过滤的高精度地图构建方法
CN112991534B (zh) 一种基于多粒度物体模型的室内语义地图构建方法及系统
CN104318605A (zh) 矢量实线与三维地形的并行贴合渲染方法
Zhao et al. Autonomous driving simulation for unmanned vehicles
CN115546422A (zh) 一种建筑物的三维模型构建方法、系统和电子设备
CN116978010A (zh) 图像标注方法和装置、存储介质和电子设备
CN115375857A (zh) 三维场景重建方法、装置、设备及存储介质
CN117315372A (zh) 一种基于特征增强的三维感知方法
CN115937461A (zh) 多源融合模型构建及纹理生成方法、装置、介质及设备
CN116977586A (zh) 一种基于电网gis平台的实景三维建模方法
CN113763438B (zh) 一种点云配准方法、装置、设备及存储介质
Tang et al. Content-based 3-D mosaics for representing videos of dynamic urban scenes
CN112818866B (zh) 车辆定位的方法、装置及电子设备
CN115493614A (zh) 航迹线的显示方法、装置、存储介质及电子设备
Zoellner et al. Reality Filtering: A Visual Time Machine in Augmented Reality.
Gao et al. Online building segmentation from ground-based LiDAR data in urban scenes
Diskin et al. Dense 3D point-cloud model using optical flow for a monocular reconstruction system
CN113256756B (zh) 地图数据显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant