CN114430843A - 语义辅助的多分辨率点云配准 - Google Patents

语义辅助的多分辨率点云配准 Download PDF

Info

Publication number
CN114430843A
CN114430843A CN201980100714.0A CN201980100714A CN114430843A CN 114430843 A CN114430843 A CN 114430843A CN 201980100714 A CN201980100714 A CN 201980100714A CN 114430843 A CN114430843 A CN 114430843A
Authority
CN
China
Prior art keywords
point cloud
points
source
target
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980100714.0A
Other languages
English (en)
Inventor
朱晓玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN114430843A publication Critical patent/CN114430843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提供了用于点云配准的系统和方法。示例性方法包括解析来自源点云和目标点云的语义信息，基于语义信息将源点云中的点分割为第一组和第二组，基于语义信息将目标点云中的点分割为第三组和第四组，通过根据第一分辨率将源点云中的第一组点配准到目标点云中的第三组点来确定源点云的初始位姿，以及通过根据第二分辨率将源点云中的第二组点配准到目标点云中的第四组点来调整源点云的初始位姿，其中第二分辨率不同于第一分辨率。

Description

语义辅助的多分辨率点云配准
技术领域
本申请涉及自动驾驶和高分辨率地图创建。更具体地，本申请涉及用于在自动驾驶和/或创建高分辨率地图中基于语义信息和多分辨率分割配准点云的系统和方法。
背景技术
点云配准是高分辨率地图创建和自动驾驶等应用中的一个重要过程。在典型的点云配准过程中，将源点云配准到目标点云，以便两个点云彼此对齐或匹配。当前方法在迭代过程中配准点云，其中从初始估计开始，源点云的位姿(例如，位置和方向)迭代更改为最佳值(例如，朝向目标点云的位姿)。然而，现有的方法对初始估计的准确性很敏感。如果初始估计不够精确，则迭代过程可能收敛到局部最优，无法达到全局最优解。此外，一些现有方法需要将点云空间划分为网格单元，并且配准的性能取决于单元的大小(也称为分辨率)。如果分辨率太低(单元格太大)，则配准性能较差。另一方面，如果分辨率太高，计算成本也很高，导致效率低下。平衡性能、效率和解决方案选择的问题仍未解决。此外，现有方法对点云中的整个点集执行配准过程，而不区分不同类型对象之间的差异，通常会导致不能令人满意的结果。
本申请的实施例通过提供用于基于语义信息和多分辨率分割配准点云的系统和方法来解决上述问题。
发明内容
在一个方面，提供了一种用于点云配准的系统。该系统可以包括存储计算机可执行指令的存储器和至少一个通信地耦合到该存储器的处理器。其中当由处理器执行时，计算机可执行指令使处理器执行以下操作。这些操作可以包括解析来自源点云和目标点云的语义信息。这些操作还可以包括基于从源点云解析的语义信息将源点云中的点分割为第一组和第二组。这些操作还可以包括基于从目标点云解析的语义信息将目标点云中的点分割为第三组和第四组。这些操作还可以包括通过根据第一分辨率将源点云中的第一组点配准到目标点云中的第三组点来确定源点云的初始位姿。此外，操作可以包括通过根据第二分辨率将源点云中的第二组点配准到目标点云中的第四组点来调整源点云的初始位姿。第二分辨率配准不同于第一分辨率。
在另一方面，提供了一种用于配准点云的方法。该方法可以包括解析来自源点云和目标点云的语义信息。该方法还可以包括基于从源点云解析的语义信息将源点云中的点分割为第一组和第二组。该方法还可以包括基于从目标点云解析的语义信息将目标点云中的点分割为第三组和第四组。该方法还可以包括通过根据第一分辨率将源点云中的第一组点配准到目标点云中的第三组点来确定源点云的初始位姿。此外，该方法可以包括通过根据第二分辨率将源点云中的第二组点配准到目标点云中的第四组点来调整源点云的初始位姿。第二分辨率配准不同于第一分辨率。
在另一方面中，提供了一种存储指令的非暂时性计算机可读介质。当指令由至少一个处理器执行时，可导致处理器执行用于配准点云的方法。该方法可以包括解析来自源点云和目标点云的语义信息。该方法还可以包括基于从源点云解析的语义信息将源点云中的点分割为第一组和第二组。该方法还可以包括基于从目标点云解析的语义信息将目标点云中的点分割为第三组和第四组。该方法还可以包括通过根据第一分辨率将源点云中的第一组点配准到目标点云中的第三组点来确定源点云的初始位姿。此外，该方法可以包括通过根据第二分辨率将源点云中的第二组点配准到目标点云中的第四组点来调整源点云的初始位姿。第二分辨率配准不同于第一分辨率。
应当理解，前述一般描述和以下详细描述都只是示例性和解释性的，并且不限制根据权利要求所述的本申请。
附图说明
图1是根据本申请实施例所示的配备有LiDAR设备的示例性车辆的示意图。
图2是根据本申请实施例所示的用于点云配准的示例性系统的框图。
图3示出了使用本申请实施例执行点云配准的示例性应用。
图4-图8是根据本申请实施例所示的用于点云配准的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。尽可能地，整个图纸将使用相同的参考号来表示相同或类似的零件。
光探测和测距(LiDAR)设备已广泛应用于高分辨率地图创建和自动驾驶中的车辆自定位等应用。例如，当测量车辆沿轨道行驶时，可在测量车辆上配备LiDAR设备以收集道路以及周围环境的三维(3D)数据。所收集的三维数据可以是点云的形式，例如，一组点指示反射LiDAR设备发射的激光束的物体表面上的空间位置。由于LiDAR设备的范围有限，LiDAR扫描产生的点云可能包括测量车辆周围有限空间内的点。当测量车辆沿道路行驶时，LiDAR设备可执行多次扫描，生成多个点云，这些点云可组合以创建更大的点云。扩展区域上的组合点云可以作为高分辨率地图的重要组成部分。组合多个点云通常涉及将一个点云与另一个点云(例如，相邻)进行匹配或对齐，这一过程通常称为点云配准。
在自动驾驶应用中，自动驾驶车辆可使用LiDAR设备感测道路条件和周围环境，LiDAR设备可生成点云(例如，源点云)形式的三维信息。可将点云与高分辨率地图中的参考点云(例如，目标点云)进行比较，以确定自动驾驶车辆的位姿(例如，位置和方向)，从而提供例如高精度自定位信息以帮助自动驾驶决策。该比较可包括将由LiDAR设备获得的点云(例如，源点云)与高分辨率地图中的相应参考点云(例如，目标点云)匹配或对齐，这也是点云配准过程。
当前的点云配准方法，如迭代最近点(ICP)和正态分布变换(NDT)使用迭代方法，该方法从初始位姿估计开始，迭代地将位姿更改为优化方向。然而，现有的方法对初始位姿估计比较敏感，并且容易受到初始位姿估计误差的影响。例如，当初始位姿估计不够精确时，迭代过程可能会陷入局部最优解，无法达到全局最优解。此外，在无损检测中，为了计算正态分布，将点云空间划分为网格单元。单元的大小(称为空间分辨率或简单的分辨率)对配准的性能有重大影响。如果分辨率太低(单元格太大)，则配准精度差，导致性能低下。另一方面，如果分辨率太高，计算成本也很高，导致效率低下。平衡性能、效率和解决方案选择的问题仍未解决。此外，现有方法在点云中的整个点集上执行配准过程，而不区分不同类型对象之间的差异，通常会导致不能令人满意的结果。
本申请的实施例提供了用于配准点云的改进系统和方法，利用点云中包含的语义信息自适应地选择空间网格的分辨率。例如，本申请的实施例可以通过使用经过训练的分类器将点分类为类别并将语义标签与类别中的点关联来解析来自源点云和目标点云的语义信息。基于语义信息，可以将点云中的点分割为不同的组(例如，基于尺寸、形状、曲率等公共属性)。然后，通过将源点云中的一组分段点配准到目标点云中的对应点组来确定源点云的初始位姿，使用较低的分辨率生成相对粗糙的空间网格。通过应用更高分辨率(例如，相对密集)的空间网格，将源点云中的另一组分段点配准到目标点云中的相应分段点组，可以细化和/或调整初始位姿。通过这种方式，因为使用具有相对低分辨率的相对粗糙的空间网格来配准基于语义信息分割的点子集(例如，对应于具有较大尺寸或较小细节的对象)，可以比传统方法更有效地获得初始位姿。通过使用具有相对高分辨率的相对密集的空间网格细化/调整初始位姿以配准另一个点子集(例如，对应于具有较小尺寸或更精细细节的对象)，可以获得高度准确和/或精确的配准。本申请的实施例还可以提高点云配准的鲁棒性，因为与传统方法相比，使用低分辨率空间网格的初始位姿确定对估计误差不太敏感且不易被怀疑，并且不太可能导致迭代过程陷入局部最优。
本申请的实施例可以使用硬件、软件、固件或其任何组合来实现。实施例的组件可以驻留在云计算环境、一个或多个服务器、一个或多个终端设备或其任何组合中。在某些情况下，本文公开的点云配准系统的至少一部分可与车辆集成或作为车辆的附加设备配备。例如，图1是根据本申请实施例所示的可包括点云配准系统的一个或多个组件的示例性车辆100的示意图。如图1所示，车辆100可配备LiDAR设备140。在一些实施例中，车辆100可以是被配置为使用LiDAR设备140获取数据以构建高分辨率地图或三维(3-D)城市模型的勘测车辆。在一些实施例中，车辆100可以是使用LiDAR设备140感测周围环境、道路条件、交通条件、行人存在或与自动驾驶和/或导航相关的其他信息的自动驾驶车辆。可以设想，车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统内燃机车辆。车辆100可具有主体110和至少一个车轮120。车身110可以是任何车身类型，例如跑车、双门轿跑车、轿车、皮卡车、旅行车、运动型多用途车(SUV)、小型货车或改装货车。在一些实施例中，车辆100可包括一对前轮和一对后轮，如图1所示。然而，可以设想，车辆100可以具有更少的车轮或使车辆100能够四处移动的等效结构。车辆100可配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆100可配置为由占用该车辆的操作员操作、远程控制和/或自动控制。
如图1所示，车辆100可配备通过安装结构130安装到主体110的LiDAR设备140。安装结构130可以是安装或以其他方式连接到车辆100的主体110的机电装置。在一些实施例中，安装结构130可使用螺钉、粘合剂或另一安装机构。可以设想，可以在车辆100上配备LiDAR设备140的方式不受图1所示示例的限制。可根据LiDAR设备140和/或车辆100的类型修改配备方式，以实现期望的感测/扫描性能。
在一些实施例中，LiDAR设备140可被配置成在车辆100沿轨道移动时捕获数据。例如，LiDAR设备140可被配置为扫描周围并获取点云。LiDAR通过用脉冲激光束照射目标物体并用光电探测器测量反射脉冲来测量到目标物体的距离。激光返回时间、相位或波长的差异可用于计算距离信息(也称为“距离信息”)，并构建目标物体(例如点云)的数字三维表示。用于激光雷达扫描的激光可以是紫外线、可见光或近红外。当车辆100沿着轨迹移动时，LiDAR设备140可在多个时间点获取一系列点云，其可用于构建高清晰度地图或促进自动驾驶。
图2示出了用于点云配准的示例性系统200的框图。如图2所示，系统200可以包括处理器210、通信接口220和存储器230。可以设想，系统200还可以包括其他组件或设备以促进点云配准。
存储器230可被配置为存储计算机可执行指令，当由至少一个处理器(例如，处理器210)执行时，可使至少一个处理器执行本文公开的各种操作。存储器230可以是任何非暂时性类型的大容量存储器，例如易失性或非易失性、磁性、基于半导体、基于磁带、光学、可移动、不可移动或其他类型的存储设备或有形计算机可读介质，包括但不限于只读存储器(ROM)、闪存、动态随机存取存储器(RAM)和静态随机存取存储器(RAM)。
处理器210可被配置为根据存储在存储器230上的计算机可执行指令执行操作。处理器210可包括任何适当类型的通用或专用微处理器、数字信号处理器、微控制器等。处理器210可以被配置为专用于执行一个或多个特定操作的单独处理器模块。或者，处理器210可以配置为共享处理器模块，用于执行与本文公开的一个或多个特定操作无关的其他操作。如图2所示，处理器210可以包括多个模块/单元，例如语义信息解析器212、分割单元214、分辨率选择器216、配准单元218等。这些模块/单元(以及任何相应的子模块或子单元)可以是处理器210的硬件单元(例如，集成电路的部分)，其设计用于与其他组件一起使用，或者通过执行存储在存储器230上的程序或软件代码的一部分来实现。尽管图2示出了全部在一个处理器210内的模块212-218，但是可以设想，这些模块可以分布在彼此紧密或远程定位的多个处理器之间。
通信接口220可以被配置为在系统200和其他设备或系统之间通信信息。例如，通信接口220可以包括综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或提供数据通信连接的调制解调器。作为另一示例，通信接口220可以包括局域网(LAN)卡，以提供到兼容LAN的数据通信连接。作为另一示例，通信接口220可以包括高速网络适配器，例如光纤网络适配器、10G以太网适配器等。无线链路也可以由通信接口220实现。在这样的实现中，通信接口220可以经由网络发送和接收携带表示各种类型信息的数字数据流的电、电磁或光信号。该网络通常可以包括蜂窝通信网络、无线局域网(WLAN)、广域网(WAN)等。
在一些实施例中，通信接口220可与数据库250通信以交换与点云配准相关的信息。数据库250可以包括任何适当类型的数据库，例如安装有数据库管理软件的计算机系统。数据库250可存储高分辨率地图数据、目标点云数据、由LiDAR设备140生成的源点云数据、由系统200生成的位姿信息、训练数据集或与点云配准相关的任何数据。
在一些实施例中，通信接口220可以与输出设备(例如显示器260)通信。显示器260可包括诸如液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示器或任何其他类型的显示器的显示设备，并提供显示器上呈现的用于用户输入和数据描绘的图形用户界面(GUI)。例如，位姿信息、源和/或目标点云图像渲染、高分辨率地图、导航界面或与点云配准相关的任何其他信息可以显示在显示器260上。
在一些实施例中，通信接口220可以与终端设备270通信。终端设备270可包括可与用户和/或车辆100交互的任何适当设备。例如，终端设备270可包括LiDAR设备140、台式计算机、膝上型计算机、智能电话、平板电脑、可穿戴设备、车载计算机、自动驾驶计算机或具有足以支持收集、处理或存储点云数据、位姿信息、自动驾驶信息等的计算能力的任何类型的设备。
无论哪个设备或系统通过通信接口220以通信方式耦合到系统200，通信接口220都可以接收源点云280和目标点云282，以及生成与源点云280相关联的位姿290，使得将位姿290应用于源点云280从而将源点云280配准到目标点云282。位姿290可以包括各种类型的信息。例如，位姿290可包括线性空间变换或移动、沿任何合适的轴旋转、平移、倾斜、俯仰、偏航、滚动或任何其他合适的空间运动方式。
图3示出了使用系统200执行点云配准的示例性应用。参考图3，车辆100可以是执行自动驾驶并使用LiDAR设备140扫描周围环境并生成源点云280的自动驾驶车辆。与所公开的实施例一致，处理器210可被配置为通过通信接口220从LiDAR设备140(例如，一种类型的终端设备270)接收源点云280。处理器210随后可将源点云280配准到从高分辨率地图服务器310(例如，一种类型数据库250)接收的目标点云282。目标点云282可以是车辆100位置处或周围的高分辨率地图的一部分。例如，地理定位信号(例如，GPS信号)可用于指示车辆100的地理位置，基于该地理位置处或周围的目标点云282可被提取并发送到系统200。
在一些实施例中，处理器210可配置为从数据库250接收源点云280。例如，数据库250可存储由测量车辆(例如，车辆100)获得的多个点云。多个点云可包含部分重叠部分(例如，从使用LiDAR设备140的连续扫描获得的相邻点云)。这些部分重叠的点云可以组合起来创建高分辨率地图。系统200可用于将一个点云(用作源点云)配准到另一个重叠点云(用作目标点云)，以使两个点云彼此对齐且重叠部分彼此匹配。通过这种方式，可以组合并连接多个点云，以形成覆盖扩展区域的更大点云，在此基础上可以创建高分辨率地图。在一些实施例中，组合多个点云可由车载车辆100上的系统200执行，使得当LiDAR设备140收集新的点云数据时，可在行进中组合多个点云。在这种情况下，系统200可以从LiDAR设备140接收源点云数据和目标点云数据，而作为从数据库250接收数据的替代或补充。
在接收到源点云280和目标点云282之后，处理器210可以使用一个或多个模块，例如模块212-模块218，将源点云280配准到目标点云282以生成位姿290，位姿290可以存储在存储器230中和/或发送到其他设备/系统，例如数据库250、显示器260和终端设备270。图4-图8中示出了将源点云280配准到目标点云282的示例性工作流程。在下文中，将结合图4-图8所示的工作流程来描述处理器210的模块212-模块218。
图4是根据本申请实施例所示的用于点云配准的示例性方法400的流程图。在一些实施例中，方法400可由系统200实现，系统200除其他外包括存储器220和处理器210，处理器210使用一个或多个模块212-模块218执行各种操作。应当理解，一些步骤可以是可选的，以执行在此提供的本申请，并且一些步骤可以插入方法400的流程图中，该流程图与根据本申请的其他实施例一致。此外，一些步骤可以同时执行，或者以不同于图4所示的顺序执行。
在步骤410中，语义信息解析器212可以解析来自源点云280和/或目标点云282的语义信息。例如，源点云280/目标点云282可以包括各种对象上的曲面点。语义信息可以从点所在的基础对象的类型、种类和/或类别中解析。在一些实施例中，语义信息可包括对象的类别信息，例如汽车、卡车、行人、建筑物、植物、道路标志、路灯、交通灯等。在一些实施例中，语义信息可包括对象的大小、形状和/或曲率，例如直线、曲线、平面、曲率、大对象、小对象等。在一些实施例中，语义信息可以包括对象的移动信息，例如，静止对象、移动对象等。可以设想，语义信息不限于上述示例。相反，语义信息可以包括可以区分一种对象和另一种对象的任何可认知信息。
在一些实施例中，语义信息解析器212可以使用分类器解析语义信息。分类器可以基于学习模型，并且可以使用训练数据集进行训练。图5示出了训练分类器的示例性方法500的流程图。参考图5，训练处理器(可以是也可以不是与处理器210相同的处理器)可以在步骤510中确定与训练数据集相关联的语义特征。训练数据集可以包括具有已知语义信息的点云数据。例如，训练数据集可以包括与点云数据中的点相关联的语义标签。语义标签可应用于基于地面真实情况的点云数据观测。在一些实施例中，可以通过将训练数据集中的点云数据与具有已知属性的另一组数据(例如照片、视频、地图、测量信息等)进行比较来确定已知语义信息。语义标签等已知语义信息可手动或使用计算机辅助半自动过程与训练数据集中的点相关联。
在步骤510中，训练处理器可使用深度神经网络(例如点网，PointNet)来计算语义特征。语义特征可以是任何计算机可读的形式，例如点、线、表面、形状的集合，具有各种细节级别，如神经网络领域中已知的。基于语义特征，训练处理器可在步骤520中训练分类器将点分类为语义类别，例如，将语义特征与语义标签相关联。在一些实施例中，分类器可以是神经网络的形式，例如一个基于点网的神经网络，其训练参数基于训练数据集。
在训练分类器之后，语义信息解析器212可以使用分类器对源点云和目标点云中的点进行分类。图6部分示出了步骤410的示例性子步骤。如图6所示，在子步骤412中，语义信息解析器212可以使用经过训练的分类器将源点云和目标点云中的点分类为多个类别。类别可以基于训练数据集中的已知语义类别。例如，分类器可以计算源点云和目标点云中的点的语义特征，并基于训练模型(例如，参数)将点分类为类别。在子步骤414中，语义信息解析器212可以将语义标签与类别中的点相关联。例如，语义信息解析器212可以将指示汽车的语义标签与分类为汽车的一组点相关联。在另一示例中，语义信息解析器212可将指示建筑物的语义标签与分类为建筑物的一组点相关联。
可以设想，语义标签和类别可能相同，也可能不同。在一些实施例中，关联语义标签可以是与将点分类为类别相同的过程。在这种情况下，子步骤412和414可以组合成单个步骤。在一些实施例中，将语义标签关联和将点分类为类别可以是不同的过程。在这种情况下，子步骤412和子步骤414可以是单独的步骤。
在一些实施例中，语义信息解析器212可以将源点云280/目标点云282划分为点块，每个点块对应于类别或语义标签。在一些实施例中，语义信息解析器212可以遍历源点云280/目标点云282中的每个点/，并将类别或语义标签应用于每个点。在任何情况下，在源点云280和目标点云282中的点被分类、分类和/或与语义标签相关联之后，语义信息解析步骤410可以完成。
返回参考图4，在步骤420中，分割单元214可以基于各自的语义信息分割源点云280和/或目标点云282中的点。例如，分割单元214可以基于解析的语义信息将源点云280/目标点云282中的点分割成组。在一些实施例中，分割单元214可以基于从源点云280解析的语义信息将源点云280中的点分割成第一组和第二组，并且基于从目标点云282解析的语义信息将目标点云282中的点分割成第三组和第四组。第一组和第三组可以彼此对应，第二组和第四组可以彼此对应。例如，第一组中的点可对应于源点云280中相对较大对象表面上的点，而第二组中的点可对应于源点云280中相对较小对象表面上的点。类似地，第三组中的点可对应于目标点云282中位于相对较大对象表面上的点，而第四组中的点可对应于目标点云282中位于相对较小对象表面上的点。将点分割为不同组的标准可以基于对象的大小、形状、曲率、反射率、颜色或其他特性。可以基于语义信息解析器212解析的语义信息来推断和确定这些属性。例如，建筑物、工厂、汽车、卡车等可形成“大尺寸”组(例如，表示为C_large)，而行人、诸如交通灯、道路标志、街道标志等人造物体可形成“小尺寸”组(例如，表示为C_small)。类似地，可以基于语义信息使用其他类型的组，例如“简单形状”组(例如，包括具有相对简单形状的对象，例如正方形、矩形、三角形等)与“复杂形状”组(例如，包括具有相对复杂形状的对象)；“直线”组和“曲线”组；反射组(例如，包括具有反射表面的物体)与非反射组；等。
图6部分示出了步骤420的子步骤422-子步骤428，以将源点云280/目标点云282中的点分割为组。参考图6，子步骤422和子步骤424可以分别与源点云280形成第一分支，而子步骤426和子步骤428可以分别与目标点云282形成第二分支。第一分支和第二分支可以以任何顺序或并行方式执行。
在步骤422中，分割单元214可以将与第一组语义标签相关联的点分割成源点云280中的第一组。例如，第一组语义标签可对应于具有第一范围尺寸的对象，例如建筑物、植物、汽车、卡车。分割单元214可以将源点云280中与第一组语义标签相关联的点分割成源点云280中的“大尺寸”组(例如，表示为C_large_src)。类似地，在步骤426中，分割单元214可以将与第一组语义标签相关联的点分割成目标点云282中的第三组。例如，分割单元214可以将目标点云282中与建筑物、工厂、汽车、卡车或类似语义标签相关联的点分割成目标点云282中的“大尺寸”组(例如，表示为C_large_tgt)。
在步骤424中，分割单元214可以将与第二组语义标签相关联的点分割成源点云280中的第二组。例如，第二组语义标签可对应于具有第二维度范围的对象，该第二维度范围小于具有第一维度范围的对象，例如行人、人工对象，例如交通灯、道路标志、街道标志，等等。分割单元214可以将源点云280中与第二组语义标签相关联的点分割成源点云280中的“小尺寸”组(例如，表示为C_small_src)。类似地，在步骤428中，分割单元214可以将与第二组语义标签相关联的点分割成目标点云282中的第四组。例如，分割单元214可将目标点云282中与行人、诸如交通灯、道路标志、街道标记或类似语义标签的人工对象相关联的点分割成目标点云282中的“小尺寸”组(例如，表示为C_small_tgt)。
在步骤430中，配准单元218可以根据分辨率选择器216提供的第一分辨率确定源点云280的初始位姿pi。例如，配准单元218可以通过根据第一分辨率(例如，r1)将源点云280中的第一组点(例如，C_large_src)配准到目标点云282中的第三组点(例如，C_large_tgt)来确定源点云280的初始位姿。图7示出了实现步骤430的示例性子步骤。参考图7，在步骤432中，配准单元218可以根据第一分辨率r1将源点云280/目标点云282划分为单元网格。分辨率r1可由分辨率选择器216基于由语义信息解析器212、点云282和282解析的语义信息、和/或由分割单元214生成的分割组来确定。例如，分辨率选择器216可以为大尺寸组(例如，C_large_src和C_large_tgt)选择相对较大的单元大小(例如，对应于相对较低的分辨率)，并为小尺寸组(例如，C_small_src和C_small_tgt)选择相对较小的单元大小(例如，对应于相对较高的分辨率)。根据选择的分辨率(例如，r1用于大尺寸组)，可以建立空间网格，将源/目标点云280/282的空间划分为单元网格。
在步骤434中，配准单元218可以计算属于第三组(例如，组C_large_tgt)的第一目标单元内的点的局部表示。在一些实施例中，局部表示可以包括第一目标单元中的点的平均值或协方差中的至少一个。例如，对于落入组C_large_tgt内的目标单元t(在目标点云282中，由t表示)，配准单元218可以计算目标单元t内的点的平均值和协方差：
Figure BDA0003562371930000111
Figure BDA0003562371930000112
其中m是t中的点数，
Figure BDA0003562371930000113
是第k个点的位置/空间向量，
Figure BDA0003562371930000114
这是平均数，以及Σ是协方差。在一些实施例中，配准单元218可以计算属于组C_large_tgt内的所有目标单元的局部表示(例如，平均值和协方差)。
在步骤436中，基于平均值
Figure BDA0003562371930000115
和协方差Σ，配准单元218可以计算，对于一个点
Figure BDA0003562371930000116
在属于C_large_src组的源单元s(在源点云280中，用S表示)中，该点的可能性
Figure BDA0003562371930000117
也存在于目标单元t中：
Figure BDA0003562371930000118
其中D是归一化系数，并且
Figure BDA0003562371930000119
是该点的概率函数(例如，表示可能性)，
Figure BDA00035623719300001110
也存在于目标单元t中。
Figure BDA00035623719300001111
值越大，
Figure BDA00035623719300001112
还位于目标单元t中可能性越大。在一些实施例中，配准单元218可以计算源单元s中所有点的概率函数。
在步骤438中，配准单元218通过优化在第一组C_large_src中的多个源单元内的点也位于在第三组C_large_tgt中的对应目标单元的集合似然性可以将源点云280中的第一组点(例如，组C_large_src中的点)配准到目标点云282中的第三组点(例如，组C_large_tgt中的点)集合似然性。例如，集合似然函数可以表示为：
Figure BDA0003562371930000121
其中
Figure BDA0003562371930000122
是移动点的空间变换函数在空间中通过位姿
Figure BDA0003562371930000123
移动
Figure BDA0003562371930000124
n是包含多个源单元的C_large_src组中的点数。初始位姿pi可以通过最大化集合似然函数来计算Ψ.最大化Ψ可以使用迭代方法作为优化问题来解决，在这种方法中，每次迭代都会将解决方案移向最优解决方案。在多次迭代之后，或者直到达到公差或阈值，可以获得初始位姿pi。
因为初始位姿pi是通过使用相对低的分辨率r1和分别在源点云280和目标点云282中配准分割为大尺寸组(C_large_src和C_large_tgt)的点来获得的，计算量相对较低，优化迭代过程不易受到初始估计误差和局部最优问题的影响。因此，可以提高效率和速度。在获得初始位姿pi后，可以通过精细调整初始位姿来细化初始位姿，以使用第二个更高分辨率r2实现更高的精度和精确度。
返回参考图4，在步骤440中，配准单元218可以根据分辨率选择器216提供的第二分辨率r2调整/细化初始位姿pi。例如，配准单元218可以通过根据第二分辨率r2将源点云280中的第二组点(例如，C_small_src)配准到目标点云282中的第四组点(例如，C_small_tgt)来调整源点云280的初始位姿pi。图8示出了实现步骤440的示例性子步骤。参考图8，在步骤442中，配准单元218可以根据第二分辨率r2将源点云280/目标点云282划分为单元网格。分辨率r2可由分辨率选择器216基于由语义信息解析器212、点云282和282解析的语义信息和/或由分割单元214生成的分割组来确定。例如，分辨率选择器216可以为小尺寸组(例如，C_small_src和C_small_tgt)选择相对较小的单元尺寸(例如，对应于相对较高的分辨率)，以细化初始位姿pi。根据选择的分辨率(例如，r2用于小尺寸组)，可以建立空间网格，将源点云280/目标点云282的空间划分为单元网格。
在步骤444中，配准单元218可以计算属于第四组(例如，组C_small_tgt)的第二目标单元内的点的局部表示。在一些实施例中，局部表示可以包括第二目标单元中的点的平均值或协方差中的至少一个。例如，对于落入组C_small_tgt内的目标单元t’(在目标点云282中，由T表示)，配准单元218可以根据上面讨论的等式(1)计算目标单元t’内的点的平均值和协方差。在一些实施例中，配准单元218可计算属于组C_small_tgt内的所有目标单元的局部表示(例如，平均值和协方差)。
在步骤446中，基于平均值组
Figure BDA0003562371930000131
和协方差Σ，配准单元218可以计算，对于一个点
Figure BDA0003562371930000132
在属于C_small_src组的源单元s’(在源点云280中，用s表示)中，该点的可能性
Figure BDA0003562371930000133
如上文所述，还可以根据等式(2)计算目标单元t’中的可能性。在一些实施例中，配准单元218可以计算源单元s’中所有点的概率函数。在步骤448中，配准单元218可以通过优化第二组C_small_src中的多个源单元内的点也位于的集合似然性，将源点云280中的第二组点(例如，组C_small_src中的点)配准到目标点云282中的第四组点(例如，组C_small_tgt中的点)第四组相应的靶细胞为C_-small_-tgt通过优化在第二组C_small_src中的多个源单元内的点也位于在第四组C_-small_-tgt中的对应目标单元的集合似然性可以将源点云280中的第二组点(例如，组C_small_src中的点)配准到目标点云282中的第四组点(例如，组C_small_tgt中的点)。可通过最大化集合似然函数Ψ来计算改进的位姿pr。最大化Ψ可以使用迭代方法作为优化问题来解决，其中每次迭代都会将解决方案移向最优解决方案。经过多次迭代，或者直到达到公差或阈值，可以获得精确位姿pr。
本申请的另一方面涉及存储指令的非暂时性计算机可读介质，当该指令由至少一个处理器(例如，处理器210)执行时，使至少一个处理器执行本文公开的方法。计算机可读介质可以包括易失性或非易失性、磁性、基于半导体、基于磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如公开的，计算机可读介质可以是具有存储在其上的计算机指令的存储设备或存储器模块。计算机可读介质可以是光盘、闪存驱动器或具有存储在其上的计算机指令的固态驱动器。
对本领域技术人员来说显而易见的是，可以对所公开的系统和相关方法进行各种修改和变化。从所公开系统和相关方法的规范和实践的考虑，其他实施例对于本领域技术人员来说是显而易见的。
旨在将说明书和示例仅视为示例性的，真实范围由以下权利要求及其等同物指示。

Claims (20)

1.一种用于点云配准的系统，包括：
存储计算机可执行指令的存储器；以及
至少一个可通信地耦合到所述存储器的处理器，其中当由所述处理器执行时，计算机可执行指令使所述处理器执行以下操作，所述操作包括：
解析来自源点云和目标点云的语义信息；
基于从所述源点云解析出的所述语义信息，将所述源点云中的点分割为第一组和第二组；
基于从所述目标点云解析的所述语义信息，将所述目标点云中的点分割为第三组和第四组；
通过根据第一分辨率将所述源点云中的所述第一组点配准到所述目标点云中的所述第三组点来确定所述源点云的初始位姿；以及
通过根据第二分辨率将所述源点云中的所述第二组点配准到所述目标点云中的所述第四组点来调整所述源点云的所述初始位姿，其中所述第二分辨率不同于所述第一分辨率。
2.根据权利要求1所述的系统，其中解析所述语义信息包括：
通过分类器将所述源点云和所述目标点云中的点分为多个类别；以及
将语义标签与所述类别中的点关联。
3.根据权利要求2所述的系统，其中所述操作进一步包括：
确定与训练数据集相关联的语义特征；以及
基于所述语义特征训练所述分类器。
4.根据权利要求2所述的系统，其中分割所述源点云中的点和所述目标点云中的点包括：
分别将与第一组语义标签关联的点分割为所述源点云和所述目标点云中的所述第一组和所述第三组；以及
分别将与第二组语义标签关联的点分割为所述源点云和所述目标点云中的所述第二组和所述第四组。
5.根据权利要求4所述的系统，其中：
所述第一组语义标签对应于具有第一维度范围的对象；以及
所述第二组语义标签对应于具有第二维度范围的对象，所述具有第二维度范围的对象小于具有所述第一维度范围的对象。
6.根据权利要求1所述的系统，其中确定所述源点云的所述初始位姿包括：
分别根据所述第一分辨率将所述源点云和所述目标点云划分为网格单元；
对于落入所述第三组的第一目标单元，计算所述第一目标单元内的点的局部表示；
对于落入所述第一组的第一源单元，基于所述局部表示计算所述第一源单元内的点也位于所述第一目标单元中的可能性；以及
通过优化所述第一组中的多个源单元内的点也位于所述第三组中的相应目标单元的集合似然性，将所述源点云中的所述第一组点配准到所述目标点云中的所述第三组点。
7.根据权利要求6所述的系统，其中所述局部表示包括所述第一目标单元中的点的平均值或协方差中的至少一个。
8.根据权利要求1所述的系统，其中调整所述源点云的所述初始位姿包括：
分别根据所述第二分辨率将所述源点云和所述目标点云划分为网格单元；
对于落入所述第四组的第二目标单元，计算所述第二目标单元内的点的局部表示；
对于落入所述第二组的第二源单元，基于所述局部表示计算所述第二源单元内的点也位于所述第二目标单元中的可能性；以及
通过优化所述第二组中的多个源单元内的点也位于所述第四组中的相应目标单元的集合似然性，将所述源点云中的所述第二组点配准到所述目标点云中的所述第四组点。
9.根据权利要求1所述的系统，其中所述第二分辨率高于所述第一分辨率。
10.一种用于点云配准的方法，包括：
解析来自源点云和目标点云的语义信息；
基于从所述源点云解析出的所述语义信息，将所述源点云中的点分割为第一组和第二组；
基于从所述目标点云解析的所述语义信息，将所述目标点云中的点分割为第三组和第四组；
通过根据第一分辨率将所述源点云中的所述第一组点配准到所述目标点云中的所述第三组点来确定所述源点云的初始位姿；以及
通过根据第二分辨率将所述源点云中的所述第二组点配准到所述目标点云中的所述第四组点来调整所述源点云的所述初始位姿，其中所述第二分辨率不同于所述第一分辨率。
11.根据权利要求10所述的方法，其中解析所述语义信息包括：
通过分类器将所述源点云和所述目标点云中的点分为多个类别；以及
将语义标签与所述类别中的点关联。
12.根据权利要求11所述的方法，其进一步包括：
确定与训练数据集相关联的语义特征；以及
基于所述语义特征训练所述分类器。
13.根据权利要求11所述的方法，其中分割所述源点云中的点和所述目标点云中的点包括：
分别将与第一组语义标签关联的点分割为所述源点云和所述目标点云中的所述第一组和所述第三组；以及
分别将与第二组语义标签关联的点分割为所述源点云和所述目标点云中的所述第二组和所述第四组。
14.根据权利要求13所述的方法，其中：
所述第一组语义标签对应于具有第一维度范围的对象；以及
所述第二组语义标签对应于具有第二维度范围的对象，所述具有第二维度范围的对象小于具有所述第一维度范围的对象。
15.根据权利要求10所述的方法，其中确定源点云的初始位姿包括：
分别根据所述第一分辨率将所述源点云和所述目标点云划分为网格单元；
对于落入所述第三组的第一目标单元，计算所述第一目标单元内的点的局部表示；
对于落入所述第一组的第一源单元，基于所述局部表示计算所述第一源单元内的点也位于所述第一目标单元中的可能性；以及
通过优化所述第一组中的多个源单元内的点也位于所述第三组中的相应目标单元的集合似然性，将所述源点云中的所述第一组点配准到所述目标点云中的所述第三组点。
16.根据权利要求15所述的方法，其中所述局部表示包括所述第一目标单元中的点的平均值或协方差中的至少一个。
17.根据权利要求10所述的方法，其中调整所述源点云的所述初始位姿包括：
分别根据所述第二分辨率将所述源点云和所述目标点云划分为网格单元；
对于落入所述第四组的第二目标单元，计算所述第二目标单元内的点的局部表示；
对于落入所述第二组的第二源单元，基于所述局部表示计算所述第二源单元内的点也位于所述第二目标单元中的可能性；以及
通过优化所述第二组中的多个源单元内的点也位于所述第四组中的相应目标单元的集合似然性，将所述源点云中的所述第二组点配准到所述目标点云中的所述第四组点。
18.根据权利要求10所述的方法，其中所述第二分辨率高于所述第一分辨率。
19.一种存储指令的非暂时性计算机可读介质，当由至少一个处理器执行时，所述指令使处理器执行用于配准点云的方法，所述方法包括：
解析来自源点云和目标点云的语义信息；
基于从所述源点云解析出的所述语义信息，将所述源点云中的点分割为第一组和第二组；
基于从所述目标点云解析的所述语义信息，将所述目标点云中的点分割为第三组和第四组；
通过根据第一分辨率将所述源点云中的所述第一组点配准到所述目标点云中的所述第三组点来确定所述源点云的初始位姿；以及
通过根据第二分辨率将所述源点云中的所述第二组点配准到所述目标点云中的所述第四组点来调整所述源点云的所述初始位姿，其中所述第二分辨率不同于所述第一分辨率。
20.根据权利要求19所述的非暂时性计算机可读介质，其中所述第二分辨率高于所述第一分辨率。
CN201980100714.0A 2019-09-24 2019-09-24 语义辅助的多分辨率点云配准 Pending CN114430843A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/107538 WO2021056190A1 (en) 2019-09-24 2019-09-24 Semantic-assisted multi-resolution point cloud registration

Publications (1)

Publication Number Publication Date
CN114430843A true CN114430843A (zh) 2022-05-03

Family

ID=75166222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980100714.0A Pending CN114430843A (zh) 2019-09-24 2019-09-24 语义辅助的多分辨率点云配准

Country Status (3)

Country Link
US (1) US20220215561A1 (zh)
CN (1) CN114430843A (zh)
WO (1) WO2021056190A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230094695A1 (en) * 2021-09-24 2023-03-30 Argo AI, LLC Visual localization against a prior map
CN114022621B (zh) * 2022-01-07 2022-05-31 清华大学 用于无法向点云数据重建网格曲面的方法、设备和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600639B (zh) * 2016-12-09 2019-06-25 江南大学 遗传算法结合自适应阈值约束的icp位姿定位技术
CN109099901B (zh) * 2018-06-26 2021-09-24 中科微易(苏州)智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109545072B (zh) * 2018-11-14 2021-03-16 广州广电研究院有限公司 地图构建的位姿计算方法、装置、存储介质和系统
CN110136182B (zh) * 2019-05-28 2021-06-04 北京百度网讯科技有限公司 激光点云与2d影像的配准方法、装置、设备和介质

Also Published As

Publication number Publication date
US20220215561A1 (en) 2022-07-07
WO2021056190A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
US10209081B2 (en) System and method for precision localization and mapping
US20190147320A1 (en) "Matching Adversarial Networks"
US11146783B2 (en) Partial calibration target detection for improved vehicle sensor calibration
CN109143207B (zh) 激光雷达内参精度验证方法、装置、设备及介质
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
Ma et al. Generation of horizontally curved driving lines in HD maps using mobile laser scanning point clouds
US11392797B2 (en) Method, apparatus, and system for filtering imagery to train a feature detection model
US20220215561A1 (en) Semantic-assisted multi-resolution point cloud registration
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
Haltakov et al. Scene understanding from a moving camera for object detection and free space estimation
Li et al. A survey of adas perceptions with development in china
US20230049383A1 (en) Systems and methods for determining road traversability using real time data and a trained model
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
Choi et al. Map-matching-based cascade landmark detection and vehicle localization
EP4148599A1 (en) Systems and methods for providing and using confidence estimations for semantic labeling
Ahmed et al. Lane marking detection using LiDAR sensor
Huang et al. A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas
CN115345944A (zh) 外参标定参数确定方法、装置、计算机设备和存储介质
WO2023009180A1 (en) Lidar-based object tracking
EP4281945A1 (en) Static occupancy tracking
WO2021056185A1 (en) Systems and methods for partially updating high-definition map based on sensor data matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination