CN111105435B - 标志物匹配方法、装置及终端设备 - Google Patents

标志物匹配方法、装置及终端设备 Download PDF

Info

Publication number
CN111105435B
CN111105435B CN201811251644.2A CN201811251644A CN111105435B CN 111105435 B CN111105435 B CN 111105435B CN 201811251644 A CN201811251644 A CN 201811251644A CN 111105435 B CN111105435 B CN 111105435B
Authority
CN
China
Prior art keywords
marker
point cloud
cloud data
matching
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811251644.2A
Other languages
English (en)
Other versions
CN111105435A (zh
Inventor
马腾
杨晟
朱晓玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201811251644.2A priority Critical patent/CN111105435B/zh
Publication of CN111105435A publication Critical patent/CN111105435A/zh
Application granted granted Critical
Publication of CN111105435B publication Critical patent/CN111105435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种标志物匹配方法、装置及终端设备，该方法包括：从第一组点云数据中获取第一标志物的第一点云数据；从第二组点云数据中获取第二标志物的第二点云数据；根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的匹配特征；匹配特征包括表征标志物匹配关系的全局特征和局部特征；根据匹配特征确定第一标志物与第二标志物的匹配关系。本申请在对标志物进行匹配时采用将标志物间的全局特征和局部特征相结合的方式，能够有效提升标志物的匹配准确率和鲁棒性。

Description

标志物匹配方法、装置及终端设备
技术领域
本申请涉及点云匹配技术领域，尤其涉及一种标志物匹配方法、装置及终端设备。
背景技术
经过激光雷达扫描得到的点云数据，通常含有大量具有丰富语义信息的标志物的点云数据。其中，标志物可以为建筑、杆、树木、标线等。这些标志物的点云数据，既可以作为高精度地图在定位、场景理解、建立数字城市等应用中的数据基础，也可以用于优化高精度地图的重建过程。
点云数据的采集通常需要分批多次实现，因为激光雷达的扫描光束受诸如物体遮挡、激光雷达的所处位置等原因，难以一次扫描目标区域(诸如特定物体、特定场景等)得到完整且清晰的点云数据，往往需要从不同的位置和角度对目标区域进行分批多次扫描，之后对不同批次扫描得到的点云数据进行拼接处理。为了保证高精度地图的全局一致性，避免拼接过程中产生的误差，不同批次的点云需要通过匹配与优化进行拼接。现有技术中点云的匹配方法主要基于单一的几何特征，准确率和鲁棒性较差，不能满足实际应用的需要。
发明内容
有鉴于此，本申请实施例提供一种标志物匹配方法、装置及终端设备，用以提升标志物的匹配准确率和鲁棒性。
主要包括以下几个方面：
第一方面，本申请实施例提供了一种标志物匹配方法，所述方法包括：从第一组点云数据中获取第一标志物的第一点云数据；从第二组点云数据中获取第二标志物的第二点云数据；根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的匹配特征；所述匹配特征包括表征标志物匹配关系的全局特征和局部特征；根据所述匹配特征确定所述第一标志物与所述第二标志物的匹配关系。
结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的匹配特征的步骤，包括：根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的全局特征，所述全局特征包括：全局位姿偏差和/或全局几何特征匹配度；根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的局部特征，所述局部特征包括：局部特征点相似度。
结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的全局位姿偏差的步骤，包括以下至少之一：根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的绝对位置差；根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的姿态角度差；根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物的点云重叠度。
结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的绝对位置差的步骤，包括：根据所述第一点云数据，计算所述第一标志物的第一绝对位置；根据所述第二点云数据，计算所述第二标志物的第二绝对位置；计算所述第一绝对位置和所述第二绝对位置的差，得到所述第一标志物与所述第二标志物间的绝对位置差。
结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的姿态角度差的步骤，包括：根据所述第一点云数据，计算所述第一标志物的第一姿态角度；根据所述第二点云数据，计算所述第二标志物的第二姿态角度；计算所述第一姿态角度和所述第二姿态角度的差，得到所述第一标志物与所述第二标志物间的姿态角度差。
结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第五种可能的实施方式，其中，根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的点云重叠度的步骤，包括：计算所述第一点云数据与所述第二点云数据之间的重合程度；将所述重合程度确定为所述第一标志物与所述第二标志物间的点云重叠度。
结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第六种可能的实施方式，其中，根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的局部特征的步骤，包括：根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物的局部特征点相似度，所述局部特征点相似度包括以下至少之一：点特征直方图PFH相似度、快速点特征直方图FPFH相似度、矢量场直方图VFH相似度和方向直方图SHOT相似度。
结合第一方面，本申请实施例提供了第一方面的第七种可能的实施方式，其中，所述匹配特征还包括类型特征。
结合第一方面，本申请实施例提供了第一方面的第八种可能的实施方式，其中，根据所述匹配特征确定所述第一标志物与所述第二标志物的匹配关系的步骤包括：将所述匹配特征输入至预先训练的分类模型中，得到所述第一标志物与所述第二标志物的匹配关系。
结合第一方面的第八种可能的实施方式，本申请实施例提供了第一方面的第九种可能的实施方式，其中，所述分类模型的训练步骤包括：获取训练样本集；所述训练样本集包括来自点云数据样本中的每对标志物对应的特征向量以及每对所述标志物的匹配标签，所述匹配标签用以标识每对所述标志物是否匹配；将所述训练样本集输入至分类器中进行训练，得到分类模型。
结合第一方面的第九种可能的实施方式，本申请实施例提供了第一方面的第十种可能的实施方式，其中，获取训练样本集的步骤包括：采集不同场景下的点云数据样本；提取所述点云数据样本中的标志物的点云数据；获取每对所述标志物对应的特征向量；所述特征向量是与标志物间匹配关系具有相关性的特征集合；按照用户的标注指令标注每对所述标志物的匹配标签。
结合第一方面的第九种可能的实施方式，本申请实施例提供了第一方面的第十一种可能的实施方式，其中，将所述训练样本集输入至分类器中进行训练的步骤，包括：从所述训练样本集抽取一批训练样本；将所述训练样本中每对所述标志物的特征向量输入分类器中进行训练；根据所述第一批训练样本的中每对所述标志物的匹配标签验证当前的训练结果，如果所述训练结果不符合设定的训练要求，继续重复上述训练过程，直到训练结果符合所述设定的训练要求时结束训练，得到所述分类模型。
结合第一方面至第一方面的第十一种可能的实施方式之一，本申请实施例提供了第一方面的第十二种可能的实施方式，其中，上述方法还包括：根据所述第一标志物与所述第二标志物的匹配关系，对第一组点云数据和所述第二组点云数据进行拼接处理。
第二方面，本申请实施例提供了一种标志物匹配装置，所述装置包括：第一获取模块，用于从第一组点云数据中获取第一标志物的第一点云数据；第二获取模块，用于从第二组点云数据中获取第二标志物的第二点云数据；特征获取模块，用于根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的匹配特征；所述匹配特征包括表征标志物匹配关系的全局特征和局部特征；匹配确定模块，用于根据所述匹配特征确定所述第一标志物与所述第二标志物的匹配关系。
结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，所述特征获取模块用于：根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的全局特征，所述全局特征包括：全局位姿偏差和/或全局几何特征匹配度；根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的局部特征，所述局部特征包括：局部特征点相似度。
结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第二种可能的实施方式，其中，所述特征获取模块还用于：根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的全局位姿偏差的步骤，包括以下至少之一：根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的绝对位置差；根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的姿态角度差；根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物的点云重叠度。
结合第二方面的第二种可能的实施方式，本申请实施例提供了第二方面的第三种可能的实施方式，其中，所述特征获取模块还用于：根据所述第一点云数据，计算所述第一标志物的第一绝对位置；根据所述第二点云数据，计算所述第二标志物的第二绝对位置；计算所述第一绝对位置和所述第二绝对位置的差，得到所述第一标志物与所述第二标志物间的绝对位置差。
结合第二方面的第二种可能的实施方式，本申请实施例提供了第二方面的第四种可能的实施方式，其中，所述特征获取模块还用于：根据所述第一点云数据，计算所述第一标志物的第一姿态角度；根据所述第二点云数据，计算所述第二标志物的第二姿态角度；计算所述第一姿态角度和所述第二姿态角度的差，得到所述第一标志物与所述第二标志物间的姿态角度差。
结合第二方面的第二种可能的实施方式，本申请实施例提供了第二方面的第五种可能的实施方式，其中，所述特征获取模块还用于：计算所述第一点云数据与所述第二点云数据之间的重合程度；将所述重合程度确定为所述第一标志物与所述第二标志物间的点云重叠度。
结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第六种可能的实施方式，其中，所述特征获取模块还用于：根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物的局部特征点相似度，所述局部特征点相似度包括以下至少之一：点特征直方图PFH相似度、快速点特征直方图FPFH相似度、矢量场直方图VFH相似度和方向直方图SHOT相似度。
结合第二方面，本申请实施例提供了第二方面的第七种可能的实施方式，其中，所述匹配特征还包括类型特征。
结合第二方面，本申请实施例提供了第二方面的第八种可能的实施方式，其中，所述匹配确定模块用于：将所述匹配特征输入至预先训练的分类模型中，得到所述第一标志物与所述第二标志物的匹配关系。
结合第二方面的第八种可能的实施方式，本申请实施例提供了第二方面的第九种可能的实施方式，其中，所述匹配确定模块用于根据以下方式训练所述分类模型：获取训练样本集；所述训练样本集包括来自点云数据样本中的每对标志物对应的特征向量以及每对所述标志物的匹配标签，所述匹配标签用以标识每对所述标志物是否匹配；将所述训练样本集输入至分类器中进行训练，得到分类模型。
结合第二方面的第九种可能的实施方式，本申请实施例提供了第二方面的第十种可能的实施方式，其中，所述匹配确定模块用于根据以下步骤获取训练样本集：采集不同场景下的点云数据样本；提取所述点云数据样本中的标志物的点云数据；获取每对所述标志物对应的特征向量；所述特征向量是与标志物间匹配关系具有相关性的特征集合；按照用户的标注指令标注每对所述标志物的匹配标签。
结合第二方面的第九种可能的实施方式，本申请实施例提供了第二方面的第十一种可能的实施方式，其中，所述匹配确定模块用于根据以下方式将所述训练样本集输入至分类器中进行训练：从所述训练样本集抽取一批训练样本；将所述训练样本中每对所述标志物的特征向量输入分类器中进行训练；根据所述第一批训练样本的中每对所述标志物的匹配标签验证当前的训练结果，如果所述训练结果不符合设定的训练要求，继续重复上述训练过程，直到训练结果符合所述设定的训练要求时结束训练，得到所述分类模型。
结合第二方面至第二方面的第十以种可能的实施方式之一，本申请实施例提供了第二方面的第十二种可能的实施方式，其中，所述装置还包括：拼接模块，用于根据所述第一标志物与所述第二标志物的匹配关系，对第一组点云数据和所述第二组点云数据进行拼接处理。
第三方面，本申请实施例还提供了一种终端设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面的第一～十二任一种可能的实施方式中的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面的第一～十二任一种可能的实施方式中的步骤。
本申请实施例提供了一种标志物匹配方法、装置及终端设备，能够根据第一标志物的第一点云数据以及第二标志物的第二点云数据，获取第一标志物与第二标志物的匹配特征，进而根据匹配特征确定第一标志物与第二标志物的匹配关系。这种方式获取的匹配特征包括有表征标志物匹配关系的全局特征和局部特征，能够较为全方位地确定标志物的匹配关系，这种结合全局特征和局部特征进行标志物匹配的方式有效地提升了标志物的匹配准确率和鲁棒性。
为使本申请实施例的上述目的、特征和优点能更明显易懂，下面将结合实施例，并配合所附附图，作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种标志物匹配方法流程图；
图2示出了本申请实施例所提供的一种标志物匹配方法流程图；
图3示出了本申请实施例所提供的一种PFH点云特征示意图；
图4示出了本申请实施例所提供的一种模型训练方法流程图；
图5示出了本申请实施例所提供的一种标志物匹配装置的结构框图；
图6示出了本申请实施例所提供另一种标志物匹配装置的结构框图；
图7示出了本申请实施例所提供的一种终端设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的标志物匹配方法、装置及终端设备可以应用于任何需要对标志物进行匹配(又可称为路标匹配)的场景，比如，可以应用于高精度地图构建、地图定位等。本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的方法对标志物匹配的方案均在本申请保护范围内。
点云是在同一空间参考系下表达目标空间分布和目标表面光谱特性的海量点集合，点云数据是分布于目标表面的一系列三维点坐标，可用于表征物体的外表面形状，不仅可以体现出物体的几何位置信息，还可以进一步体现出颜色、深度和灰度等信息。大多数点云数据是由诸如激光雷达、深度传感器等扫描设备采集得到的。扫描设备通过扫描方式能够获得物体表面的大量点的信息，形成点云数据。点云数据的采集通常需要分批多次实现，然后将相邻扫描的点云数据或者表征同一标志物的点云数据拼接在一起，从而形成由不同物体/场景构成的完整清晰的高精度地图。
相关技术中，为了能够从不同批次的点云数据中找到同一标志物，大多仅基于标志物的几何特征进行标志物匹配，主要采取的手段有：(1)提取点云数据中的三维特征点并在特征空间中寻找近似特征点；(2)试错式的标志物点云匹配方法完成标志物的对应关系的建立。相关技术的标志物匹配方法难以适用于几何特征高度相似的重复物体，准确率较差。
本申请实施例中，可以从不同批次(又可称为不同组)的点云数据中分别获取各批次中的标志物的点云数据，并获取标志物之间能够表征标志物匹配关系的全局特征和局部特征的匹配特征，进而根据获取的匹配特征确定标志物的匹配关系，实现不同批次的点云数据中的标志物匹配，以便后续基于匹配结果拼接点云数据。本申请实施例能够有效提升标志物的匹配准确率，可适用于几何程度高度相似的重复物体。下述实施例主要对标志物匹配过程作详细说明。
首先参见图1所示的一种标志物匹配方法流程图，该方法可应用于服务器、计算机、以及其它智能终端等，该方法包括以下步骤：
步骤S102，从第一组点云数据中获取第一标志物的第一点云数据。
标志物可以为建筑、树木、栏杆、电线杆、标线等任意物体；第一组点云数据中包括的标志物的种类和数量可以为多个，诸如，第一组点云数据包括多颗树以及多个房屋等。可以从中选取一个标志物的点云数据作为第一标志物的第一点云数据。
步骤S104，从第二组点云数据中获取第二标志物的第二点云数据。
第二组点云数据与第一组点云数据类似，同样可以包括多种/多个标志物，将从中选取的一个标志物的点云数据作为第二标志物的第二点云数据。第二组点云数据与第一组点云数据的不同之处在于，第二组点云数据与第一组点云数据是激光雷达等扫描设备分批次获取的，第二组点云数据中的标志物与第一组点云数据中的标志物可能相同，也可能不同。
步骤S106，根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的匹配特征；匹配特征包括表征标志物匹配关系的全局特征和局部特征。
在本申请的一种实施方式中，全局特征包括全局位姿偏差和/或全局几何特征匹配度；其中，全局位姿偏差可以包括标志物之间的绝对位置差、姿态角度差和点云重叠度等；全局几何特征匹配度可以表征标志物在全局几何特征方面的匹配程度，局部特征可以表征标志物在局部几何特征方面的匹配程度，具体的可以包括局部特征点相似度。
除此之外，匹配特征还可以包括标志物的类型特征。可以理解的是，不同种类的标志物都具有各自典型的类型特征，通过类型特征即可区分不同类的标志物。
步骤S108，根据匹配特征确定第一标志物与第二标志物的匹配关系。
在具体实施时，可以采用机器学习的方式实现。将获取的标志物间的匹配特征输入至预先训练得到的分类模型(又可称为分类器)中，通过分类模型基于匹配特征识别第一标志物与第二标志物的匹配关系。
匹配关系可以表征两个标志物相同或者两个标志物不相同。若匹配关系表示两个标志物之间是相同的(比如，两个标志物表示同一个路灯)，后续可采用具体的点云匹配方法对这两个标志物进行匹配，并进一步进行点云拼接处理。反之，如果匹配关系表征两个标志物不相同(比如，一个是路灯，一个是建筑)，则不再对这两个标志物进行后续匹配操作。其中，点云匹配算法可以采用相关的ICP(Iterative Closest Point，迭代最近点)、NDT(Normal Distribution Transform，正态分布变换)等技术实现，在此不再赘述。
本实施例提供的上述标志物匹配方法，能够根据第一标志物的第一点云数据以及第二标志物的第二点云数据，获取第一标志物与第二标志物的匹配特征，进而根据匹配特征确定第一标志物与第二标志物的匹配关系。这种方式获取的匹配特征包括表征标志物匹配关系的全局特征和局部特征，能够较为全方位地确定标志物的匹配关系，这种通过全局特征和局部特征进行标志物匹配的方式有效地提升了标志物的匹配准确率和鲁棒性。
在图1的基础上，参见图2所示的一种标志物匹配方法流程图，该方法包括以下步骤：
步骤S202，从第一组点云数据中获取第一标志物的第一点云数据。
步骤S204，从第二组点云数据中获取第二标志物的第二点云数据。
步骤S206，根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的全局特征，该全局特征包括：全局位姿偏差和/或全局几何特征匹配度。其中，全局位姿偏差包括第一标志物与第二标志物之间的绝对位置偏差以及姿态角度偏差，全局几何特征匹配度包括第一标志物和第二标志物之间的几何特征相似度。此外，全局特征还可以包括点云重叠度、全局形状特征相似度等特征。
步骤S208，根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的局部特征，该局部特征包括：局部特征点相似度。第一标志物的点云数据与第二标志物的点云数据均为由多个点聚集而成的点集合，局部特征相似度可以为第一标志物中的部分点与第二标志物中的部分点的特征相似度。具体而言，可以通过第一标志物的点云数据和第二标志物的点云数据所含的三位特征点在特征空间上的相似性，利用局部特征进一步强化标志物形状。
步骤S210，根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的类型特征。类别特征也即为标志物本身的类别，用于区分不同类型的标志物，诸如，建筑物、车道线、树木和杆状物等均为不同类型的标志物，标志物的类型特征能够避免不同类型的标志物被匹配成同一目标。不同类型的标志物的点云表现形式通常不同，因而可以根据第一点云数据和第二点云数据的表现形式，确定第一标志物与第二标志物的类型特征。
步骤S212，将上述匹配特征输入至预先训练的分类模型中，得到第一标志物与第二标志物的匹配关系。
在实际应用中，将上述匹配特征输入至预先训练的分类模型中，该分类模型输出第一标志物与第二标志物的匹配关系。如果上述匹配特征包括全局特征、局部特征以及类型特征，分类模型可以是诸如随机森林分类器等分类器实现，分类器可以首先比较第一标志物和第二标志物的全局特征，再比较第一标志物和第二标志物的局部特征或类型特征。当然，分类器也可以首先比较第一标志物与第二标志物的类型特征，再去比较标志物间的全局特征与局部特征，具体的比较顺序在此不进行限定，可以根据实际需求而灵活设定。
可以理解的是，全局特征、局部特征和类型特征是本申请提出的判别第一标志物和第二标志物是否匹配的关键特征，本申请通过将全局特征、局部特征和类型特征相结合的方式对标志物关系进行求解判别，相比于相关技术中仅基于几何特征进行标志物匹配而言，更适用于几何特征高度相似的重复物体，通过整体与局部相结合的判别方式能够更好地提升标志物匹配结果的准确性和可靠性。
考虑到标志物的点云数据通常具有多种特征，如果在进行标志物匹配时涉及到标志物的所有特征，可能因无用特征(与标志物匹配结果无关或者对标志物匹配结果的影响较小的特征)而导致运算量较大，匹配效率不高等问题，本申请从标志物的所有特征中确定出对标志物匹配结果有贡献的全局特征、局部特征和类型特征，并在全局特征、局部特征和类型特征均匹配时，确定标志物匹配。这种方式在提升准确率的基础上，也能够避免无用特征引起的计算资源浪费，因此能够进一步提升标志物匹配效率。
步骤S214，根据第一标志物与第二标志物的匹配关系，对第一组点云数据和第二组点云数据进行拼接处理。
在实际应用中，如果第一标志物与第二标志物匹配，可以将第一组点云数据与第二组点云数据进行拼接；具体可以采用重叠拼接或者相邻拼接等拼接方式，拼接方式的选用主要取决于第一标志物与第二标志物是否均表征同一整体标志物，还是各自表征某标志物中的一部分。
本实施例提供的上述标志物匹配方法，主要采用全局特征与局部特征相结合的方式实现不同组的点云数据中标志物的匹配问题，从而根据标志物的匹配关系对不同组的点云数据进行拼接，这种方式可以适用于几何特征高度相似的重复物体，能够较好地提升标志物的匹配准确率和鲁棒性。
本实施例给出了一种根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的全局位姿偏差的具体实施方式，可以参照以下步骤的至少之一实现：
(1)根据第一点云数据和第二点云数据，计算第一标志物与第二标志物间的绝对位置差。
具体实施时，可以首先根据第一点云数据，计算第一标志物的第一绝对位置；根据第二点云数据，计算第二标志物的第二绝对位置；然后计算第一绝对位置和第二绝对位置的差，得到第一标志物与第二标志物间的绝对位置差。其中，绝对位置是指标志物相对于点云地图以某一固定空间坐标系确定的位置。
(2)根据第一点云数据和第二点云数据，计算第一标志物与第二标志物间的姿态角度差。
具体实施时，可以首先根据第一点云数据，计算第一标志物的第一姿态角度；根据第二点云数据，计算第二标志物的第二姿态角度；计算第一姿态角度和第二姿态角度的差，得到第一标志物与第二标志物间的姿态角度差。其中，姿态角度可以为空间坐标系的三个空间坐标轴XYZ而分别设置的三个角度。
(3)根据第一点云数据和第二点云数据，计算第一标志物与第二标志物的点云重叠度。
具体实施时，可以首先计算第一点云数据与第二点云数据之间的重合程度；将重合程度确定为第一标志物与第二标志物间的点云重叠度。
本实施例还给出了一种根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的全局几何特征匹配度的具体实施方式，可以参照以下步骤实现：
根据第一点云数据和第二点云数据，计算第一标志物与第二标志物的局部特征点相似度，局部特征点相似度包括以下至少之一：点特征直方图PFH相似度、快速点特征直方图FPFH相似度、矢量场直方图VFH相似度和方向直方图SHOT相似度。为便于理解，以下进一步解释说明如下：
PFH(point feature histgrams，点特征直方图)的目的是通过使用点云中的一个点周围的多维直方图的平均曲率来表征一个点的k个最近邻的几何属性。PFH表示法是基于点与其k邻域之间的关系以及它们的估计法线(也即，考虑到各点的估计法线方向之间所有的相互作用)，试图捕获最好的样本表面变化情况，以描述样本的几何特征。参见图3所示的一种PFH点云特征示意图，该图展示了一个PFH在计算Pq这个点时的影响区域图，Pq点位于半径为r的圆圈的中央，它的所有近邻(离Pq点的距离小于半径r的邻域点，即Pk1～Pk5)都通过连接线实现彼此间接相邻。而图3中位于圆圈外的点P6～P11均视为处于Pq的影响区域之外，与Pq的关联性较小。PFH计算了所有匹配的点之间的关系，从而得到点特征直方图。
FPFH(Fast Point Feature Histograms，快速点特征直方图)是PFH的一种简化形式，能够有效降低PFH的计算复杂度，但仍旧保留PFH大部分的识别特性。对于一个点云中的已知查询点Pq，FPFH首先只利用它与其邻域点之间的对应对，来估计它的SPFH(SimplePoint Feature Histograms，简化的点特征直方图)值，相比于PFH的标准计算少了邻域点之间的互联。点云数据中的所有点都要执行这一计算从而获取SPFH，之后使用它的SPFH值以及它的邻近点的SPFH值重新进行权重计算，从而得到该点的最终FPFH值，通过这种重新权重计算的方式，FPFH能够重新捕获邻近重要点对的几何信息，并降低了FPFH的整体复杂性，生成快速点特征直方图。
VFH(Vector Field Histogram，矢量场直方图)可应用在点云聚类识别和六自由度位姿估计问题，其源于FPFH，VFH能够使构造的特征保持缩放不变性的同时，还可区分不同的位姿。VFH主要通过统计视点方向与每个法线之间角度的直方图来计算视点相关的特征分量。
SHOT(Signature of Histograms of OrienTations，方向直方图)以查询点Pq为中心构造半径为r的球形区域，沿径向、方位、俯仰3个方向划分网格，其中径向2次，方位8次，俯仰2次划分网格，将球形区域划分成32个空间区域。在每个空间区域计算落入该区域点的法线nv和中心点Pq法线np之间的夹角余弦cosθ＝nv·np，再根据计算的余弦值对落入每一个空间区域的点数进行直方图统计。
此外，本实施例还提供了一种根据匹配特征确定第一标志物与第二标志物的匹配关系的具体方式，该方法主要采用机器学习的方式实现，具体包括：将匹配特征输入至预先训练的分类模型中，得到第一标志物与第二标志物的匹配关系。其中，匹配特征是本申请实施例基于分类模型的训练结果所最终确定的对标志物匹配过程有贡献的特征。
具体实施时，可以首先获取训练样本集；训练样本集包括来自点云数据样本中的每对标志物对应的特征向量以及每对标志物的匹配标签，匹配标签用以标识每对标志物是否匹配；然后将训练样本集输入至分类器中进行训练，得到分类模型。为便于理解，进一步阐述如下：
在获取训练样本集时，可以参照如下步骤执行：
(1)采集不同场景下的点云数据样本。为了使点云数据样本足够丰富，以便经样本训练后的分类模型能够识别较多场景下的典型标志物，本申请实施例中的点云数据样本可以覆盖诸如城区、高速公路、隧道、立交桥、环路、公园、商业街、学校、工业园区等各类场景中的典型标志物。
(2)提取点云数据样本中的标志物的点云数据。由于点云数据样本主要是点集合，通过点集合中不同点的聚类分布情况，即可提取标志物的点云数据。
(3)获取每对标志物对应的特征向量；特征向量是与标志物间匹配关系具有相关性的特征集合。通常情况下都是对标志物进行两两匹配，也即对点云数据样本中的标志物进行配对，形成多对待匹配的标志物，并获取每对标志物对应的特征向量。特征向量所包含的特征种类可能包括多种，诸如，点云曲率、全局/局部几何特性、所在位置、姿态角度、表面法向量、强度、类别等特征，这些特征在不同程度上影响标志物间匹配关系，有些特征对标志物匹配结果的影响力较大，有些特征对标志物匹配结果的影响力较小。由于提取未知哪些特征为影响力较大的关键特征，因此在获取训练样本集时，可以从中随机选取多组由不同特征组合形成的特征向量。
(4)按照用户的标注指令标注每对标志物的匹配标签。具体实施时，可以采用人工标注的方式对待匹配的每对标志物之间的关系进行正确性地判定，并为每对标志物贴附标签。诸如，如果一对标志物匹配，则为其贴附标签“1”，如果不匹配，则为其贴附标签“0”。
在获取训练样本集之后，即可采用包含有丰富类型的标志物的训练样本集对分类模型进行训练，生成可适用于大多数标志物的分类模型。参见图4所示的一种模型训练方法流程图，该方法包括如下步骤：
步骤S402，从训练样本集抽取一批训练样本。在实际应用中，可以采用自助法(bootstrap)重采样技术，而有放回地重复随机抽取一批训练样本。假设训练样本集中共N个样本，则可以从中抽取n个样本作为第一批训练样本，其中，n的数量小于N的数量。
步骤S404，将上述训练样本中每对标志物的特征向量输入分类器中进行训练。训练的过程即为对分类器中的参数进行反复调整的过程，也即确定对标志物的匹配结果有影响的特征以及各特征的权重的过程。其中，对标志物的匹配结果有影响的特征即为可以表征标志物间匹配关系的特征。
在实际应用中，分类器包括但不限于随机森林分类器。
步骤S406，根据上述训练样本的中每对标志物的匹配标签验证当前的训练结果，如果训练结果不符合设定的训练要求，继续重复上述训练过程，得到分类模型。也即，继续重复步骤S402至步骤S406，直至训练结果符合训练要求。
分类器在训练过程中，根据当前训练时所采用的参数(可以包括所选择的特征以及各特征的权重)可以得到当前的训练结果，该训练结果表征每对标志物的匹配关系。如果每对标志物的匹配关系与人工预先标注的匹配标签相符，说明训练结果已符合设定的训练要求，当前已得到能够准确确定标志物间的匹配关系的分类模型。如果大多数标志物的匹配关系均与人工预先标注的匹配标签不相符，则说明当前还未得到分类模型，还需要重复训练。
经训练得到的分类模型已从众多特征中确定出对匹配准确性具有一定影响力的特征，该特征包括前述表征标志物匹配关系的全局特征、局部特征和特征类型，具体的，全局特征包括全局位姿偏差和/或全局几何特征匹配度，局部特征包括局部特征点相似度；其中，局部特征点相似度进一步包括点特征直方图PFH相似度、快速点特征直方图FPFH相似度、矢量场直方图VFH相似度和方向直方图SHOT相似度等特征。
通过这种方式，能够将无用特征筛除，并确定能够表征标志物匹配关系的有用特征，以及各有用特征的权重，令分类模型仅基于有用特征进行标志物匹配，在结合诸如全局特征和局部特征等有用特征提升标志物匹配准确率的基础上，还可以避免无用特征在标志物匹配过程中占用计算资源，降低分类模型的运算量的同时也能够较好地提升分类模型的标志物匹配效率。
本实施例给出了一种分类模型的具体实施方式，在该方式中，选用随机森林分类器实现。随机森林分类器主要通过自助法(bootstrap)重采样技术，从原始训练样本集N中有放回地重复随机抽取n个样本，生成包含n个样本的新的训练样本集合来训练决策树，重复上述步骤m次，生成m棵决策树组成随机森林，得到随机森林分类器。在生成决策树时，可以采用CART(Classification And Regression Tree，分类回归树)算法实现，当然也可以采用其它算法实现，在此不进行限定。
随机森林分类器将多个决策树合并在一起，每棵树的建立依赖于独立抽取的样本，将待分类的新数据输入至随机森林分类器后，可按照决策树投票得到的最终分数而确定新数据的分类结果。由于单棵树的分类能力通常较小，但在随机产生大量的决策树后，通过统计每一棵树的分类结果，确定可能性最大的分类结果。
随机森林分类器的输入可以为经训练确定的标志物间的匹配特征，该匹配特征可以包括全局位置偏差、全局几何特征匹配度、局部特征点相似度和类别特征共四类特征。该四类特征即为对匹配准确性具有一定影响力的特征，分类模型能够基于输入的该四类特征进行标志物匹配运算，得到标志物匹配结果。
综上所述，本实施例提供的上述基于机器学习的标志物匹配方法，能够采用机器学习的方式确定出各个特征对于标志物匹配的贡献大小，进而训练出合适的分类模型，并借助分类模型基于确定出的特征对标志物进行匹配，通过确定出的全局特征和局部特征等特征相结合，因而能够较好地实现标志物关系的判别，其准确率高于传统仅使用几何特征完成标志物匹配方法，能适用于几何特征高度相似的重复物体，提高标志物的匹配准确率和鲁棒性。
对应于前述标志物匹配方法，本实施例提供了一种标志物匹配装置，参见图5所示的一种标志物匹配装置的结构框图，该装置包括：
第一获取模块502，用于从第一组点云数据中获取第一标志物的第一点云数据；
第二获取模块504，用于从第二组点云数据中获取第二标志物的第二点云数据；
特征获取模块506，用于根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的匹配特征；匹配特征包括表征标志物匹配关系的全局特征和局部特征；
匹配确定模块508，用于根据匹配特征确定第一标志物与第二标志物的匹配关系。
本申请实施例提供的上述标志物匹配装置，能够根据第一标志物的第一点云数据以及第二标志物的第二点云数据，获取第一标志物与第二标志物的匹配特征，进而根据匹配特征确定第一标志物与第二标志物的匹配关系。这种方式获取的匹配特征包括有表征标志物匹配关系的全局特征和局部特征，能够较为全方位地确定标志物的匹配关系，这种通过全局特征和局部特征进行标志物匹配的方式有效地提升了标志物的匹配准确率和鲁棒性。
在一种实施方式中，特征获取模块用于：根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的全局特征，全局特征包括：全局位姿偏差和/或全局几何特征匹配度；
根据第一点云数据和第二点云数据，获取第一标志物与第二标志物的局部特征，局部特征包括：局部特征点相似度。
在一种实施方式中，特征获取模块还用于：根据第一点云数据和第二点云数据，计算第一标志物与第二标志物间的绝对位置差；根据第一点云数据和第二点云数据，计算第一标志物与第二标志物间的姿态角度差；根据第一点云数据和第二点云数据，计算第一标志物与第二标志物的点云重叠度。
在一种实施方式中，特征获取模块还用于：根据第一点云数据，计算第一标志物的第一绝对位置；根据第二点云数据，计算第二标志物的第二绝对位置；计算第一绝对位置和第二绝对位置的差，得到第一标志物与第二标志物间的绝对位置差。
在一种实施方式中，特征获取模块还用于：根据第一点云数据，计算第一标志物的第一姿态角度；根据第二点云数据，计算第二标志物的第二姿态角度；计算第一姿态角度和第二姿态角度的差，得到第一标志物与第二标志物间的姿态角度差。
在一种实施方式中，特征获取模块还用于：计算第一点云数据与第二点云数据之间的重合程度；将重合程度确定为第一标志物与第二标志物间的点云重叠度。
在一种实施方式中，特征获取模块还用于：根据第一点云数据和第二点云数据，计算第一标志物与第二标志物的局部特征点相似度，局部特征点相似度包括以下至少之一：点特征直方图PFH相似度、快速点特征直方图FPFH相似度、矢量场直方图VFH相似度和方向直方图SHOT相似度。
在一种实施方式中，上述匹配特征还包括类型特征。
在一种实施方式中，匹配确定模块用于：将匹配特征输入至预先训练的分类模型中，得到第一标志物与第二标志物的匹配关系。
在具体实施时，匹配确定模块用于根据以下步骤训练分类模型：获取训练样本集；训练样本集包括来自点云数据样本中的每对标志物对应的特征向量以及每对标志物的匹配标签，该匹配标签用以标识每对标志物是否匹配；将训练样本集输入至分类器中进行训练，得到分类模型。
在一种具体的实施方式中，匹配确定模块用于根据以下方式获取训练样本集：采集不同场景下的点云数据样本；提取点云数据样本中的标志物的点云数据；获取每对标志物对应的特征向量；特征向量是与标志物间匹配关系具有相关性的特征集合；按照用户的标注指令标注每对标志物的匹配标签。
进一步，匹配确定模块用于根据以下方式将训练样本集输入至分类器中进行训练：从训练样本集抽取一批训练样本；将训练样本中每对标志物的特征向量输入分类器中进行训练；根据练样本的中每对标志物的匹配标签验证当前的训练结果，如果训练结果不符合设定的训练要求，继续重复上述训练过程，直到训练结果符合所述设定的训练要求时结束训练，得到分类模型。
进一步，参见图6所示的另一种标志物匹配装置的结构框图，该装置在图5的基础上，还包括：拼接模块602，用于根据第一标志物与第二标志物的匹配关系，对第一组点云数据和第二组点云数据进行拼接处理。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
对应于上述标志物匹配方法和装置，本发明实施例提供了一种终端设备，包括：处理器、存储器和总线，存储器存储有处理器可执行的机器可读指令，当终端设备运行时，处理器与存储器之间通过总线通信，机器可读指令被处理器执行时执行如上述任一项标志物匹配方法。
参见图7所示的一种终端设备的结构示意图，具体包括处理器70，存储器71，总线72和通信接口73，处理器70、通信接口73和存储器71通过总线72连接；处理器70用于执行存储器71中存储的可执行模块，例如计算机程序。
其中，存储器71可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口73(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线72可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器71用于存储程序，处理器70在接收到执行指令后，执行程序，前述本申请实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器70中，或者由处理器70实现。
处理器70可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71，处理器70读取存储器71中的信息，结合其硬件完成上述方法的步骤。
本实施例提供的标志物匹配方法可以由上述终端设备执行，亦或，本实施例提供的标志物匹配装置可以设置于上述终端设备侧。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一标志物匹配方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述标志物匹配方法，从而缓解现有技术中的标志物的匹配准确率不高的问题，进而提升了点云拼接的准确率和可靠性。
本申请实施例所提供的一种标志物匹配方法、装置及终端设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种标志物匹配方法，其特征在于，所述方法包括：
从第一组点云数据中获取第一标志物的第一点云数据；
从第二组点云数据中获取第二标志物的第二点云数据；
根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的匹配特征；所述匹配特征包括表征标志物匹配关系的全局特征和局部特征；
根据所述匹配特征确定所述第一标志物与所述第二标志物的匹配关系；
根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的匹配特征的步骤，包括：根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的全局特征，所述全局特征包括：全局位姿偏差；根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的局部特征，所述局部特征包括：局部特征点相似度；
所述全局位姿偏差通过如下步骤中至少之一获取到的：根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的绝对位置差；根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的姿态角度差；根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物的点云重叠度；
根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的绝对位置差的步骤，包括：根据所述第一点云数据，计算所述第一标志物的第一绝对位置；根据所述第二点云数据，计算所述第二标志物的第二绝对位置；计算所述第一绝对位置和所述第二绝对位置的差，得到所述第一标志物与所述第二标志物间的绝对位置差；
根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的姿态角度差的步骤，包括：根据所述第一点云数据，计算所述第一标志物的第一姿态角度；根据所述第二点云数据，计算所述第二标志物的第二姿态角度；计算所述第一姿态角度和所述第二姿态角度的差，得到所述第一标志物与所述第二标志物间的姿态角度差；
根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的点云重叠度的步骤，包括：计算所述第一点云数据与所述第二点云数据之间的重合程度；将所述重合程度确定为所述第一标志物与所述第二标志物间的点云重叠度。
2.如权利要求1所述的方法，其特征在于，所述全局特征还包括：全局几何特征匹配度。
3.如权利要求1所述的方法，其特征在于，根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的局部特征的步骤，包括：
根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物的局部特征点相似度，所述局部特征点相似度包括以下至少之一：点特征直方图PFH相似度、快速点特征直方图FPFH相似度、矢量场直方图VFH相似度和方向直方图SHOT相似度。
4.如权利要求1所述的方法，其特征在于，所述匹配特征还包括类型特征。
5.如权利要求1所述的方法，其特征在于，根据所述匹配特征确定所述第一标志物与所述第二标志物的匹配关系的步骤包括：
将所述匹配特征输入至预先训练的分类模型中，得到所述第一标志物与所述第二标志物的匹配关系。
6.如权利要求5所述的方法，其特征在于，所述分类模型通过以下步骤训练得到：
获取训练样本集；所述训练样本集包括来自点云数据样本中的每对标志物对应的特征向量以及每对所述标志物的匹配标签，所述匹配标签用以标识每对所述标志物是否匹配；
将所述训练样本集输入至分类器中进行训练，得到分类模型。
7.如权利要求6所述的方法，其特征在于，获取训练样本集的步骤包括：
采集不同场景下的点云数据样本；
提取所述点云数据样本中的标志物的点云数据；
获取每对所述标志物对应的特征向量；所述特征向量是与标志物间匹配关系具有相关性的特征集合；
按照用户的标注指令标注每对所述标志物的匹配标签。
8.如权利要求6所述的方法，其特征在于，将所述训练样本集输入至分类器中进行训练的步骤，包括：
从所述训练样本集抽取一批训练样本；
将所述训练样本中每对所述标志物的特征向量输入分类器中进行训练；
根据所述训练样本的中每对所述标志物的匹配标签验证当前的训练结果，如果所述训练结果不符合设定的训练要求，继续重复上述训练过程，直到训练结果符合所述设定的训练要求时结束训练，得到所述分类模型。
9.如权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
根据所述第一标志物与所述第二标志物的匹配关系，对第一组点云数据和所述第二组点云数据进行拼接处理。
10.一种标志物匹配装置，其特征在于，所述装置包括：
第一获取模块，用于从第一组点云数据中获取第一标志物的第一点云数据；
第二获取模块，用于从第二组点云数据中获取第二标志物的第二点云数据；
特征获取模块，用于根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的匹配特征；所述匹配特征包括表征标志物匹配关系的全局特征和局部特征；
匹配确定模块，用于根据所述匹配特征确定所述第一标志物与所述第二标志物的匹配关系；
所述特征获取模块用于：根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的全局特征，所述全局特征包括：全局位姿偏差；根据所述第一点云数据和所述第二点云数据，获取所述第一标志物与所述第二标志物的局部特征，所述局部特征包括：局部特征点相似度；
所述特征获取模块还用于通过以下方式中至少之一获取所述全局位姿偏差：根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的绝对位置差；根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物间的姿态角度差；根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物的点云重叠度；
所述特征获取模块还用于：根据所述第一点云数据，计算所述第一标志物的第一绝对位置；根据所述第二点云数据，计算所述第二标志物的第二绝对位置，计算所述第一绝对位置和所述第二绝对位置的差，得到所述第一标志物与所述第二标志物间的绝对位置差；或者，根据所述第一点云数据，计算所述第一标志物的第一姿态角度，根据所述第二点云数据，计算所述第二标志物的第二姿态角度，计算所述第一姿态角度和所述第二姿态角度的差，得到所述第一标志物与所述第二标志物间的姿态角度差；或者，计算所述第一点云数据与所述第二点云数据之间的重合程度，将所述重合程度确定为所述第一标志物与所述第二标志物间的点云重叠度。
11.如权利要求10所述的装置，其特征在于，所述全局特征还包括：全局几何特征匹配度。
12.如权利要求10所述的装置，其特征在于，所述特征获取模块还用于：
根据所述第一点云数据和所述第二点云数据，计算所述第一标志物与所述第二标志物的局部特征点相似度，所述局部特征点相似度包括以下至少之一：点特征直方图PFH相似度、快速点特征直方图FPFH相似度、矢量场直方图VFH相似度和方向直方图SHOT相似度。
13.如权利要求10所述的装置，其特征在于，所述匹配特征还包括类型特征。
14.如权利要求10所述的装置，其特征在于，所述匹配确定模块用于：
将所述匹配特征输入至预先训练的分类模型中，得到所述第一标志物与所述第二标志物的匹配关系。
15.如权利要求14所述的装置，其特征在于，所述匹配确定模块用于根据以下步骤训练所述分类模型：
获取训练样本集；所述训练样本集包括来自点云数据样本中的每对标志物对应的特征向量以及每对所述标志物的匹配标签，所述匹配标签用以标识每对所述标志物是否匹配；
将所述训练样本集输入至分类器中进行训练，得到分类模型。
16.如权利要求15所述的装置，其特征在于，所述匹配确定模块用于根据以下方式获取训练样本集：
采集不同场景下的点云数据样本；
提取所述点云数据样本中的标志物的点云数据；
获取每对所述标志物对应的特征向量；所述特征向量是与标志物间匹配关系具有相关性的特征集合；
按照用户的标注指令标注每对所述标志物的匹配标签。
17.如权利要求15所述的装置，其特征在于，所述匹配确定模块用于根据以下方式将所述训练样本集输入至分类器中进行训练：
从所述训练样本集抽取一批训练样本；
将所述训练样本中每对所述标志物的特征向量输入分类器中进行训练；
根据所述训练样本的中每对所述标志物的匹配标签验证当前的训练结果，如果所述训练结果不符合设定的训练要求，继续重复上述训练过程，直到训练结果符合所述设定的训练要求时结束训练，得到所述分类模型。
18.如权利要求10至17中任一项所述的装置，其特征在于，所述装置还包括：
拼接模块，用于根据所述第一标志物与所述第二标志物的匹配关系，对第一组点云数据和所述第二组点云数据进行拼接处理。
19.一种终端设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1~9中任一所述的方法。
20.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1~9中任一所述的方法。
CN201811251644.2A 2018-10-25 2018-10-25 标志物匹配方法、装置及终端设备 Active CN111105435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811251644.2A CN111105435B (zh) 2018-10-25 2018-10-25 标志物匹配方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811251644.2A CN111105435B (zh) 2018-10-25 2018-10-25 标志物匹配方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN111105435A CN111105435A (zh) 2020-05-05
CN111105435B true CN111105435B (zh) 2023-09-29

Family

ID=70418217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811251644.2A Active CN111105435B (zh) 2018-10-25 2018-10-25 标志物匹配方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN111105435B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597993B (zh) * 2020-05-15 2023-09-05 北京百度网讯科技有限公司 数据处理的方法及装置
CN111984814B (zh) * 2020-08-10 2024-04-12 广联达科技股份有限公司 一种建筑图纸中的箍筋匹配方法和装置
CN112733971B (zh) * 2021-04-02 2021-11-16 北京三快在线科技有限公司 扫描设备的位姿确定方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392426A (zh) * 2014-10-23 2015-03-04 华中科技大学 一种自适应的无标志点三维点云自动拼接方法
CN106845416A (zh) * 2017-01-20 2017-06-13 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN107292949A (zh) * 2017-05-25 2017-10-24 深圳先进技术研究院 场景的三维重建方法、装置及终端设备
CN108388902A (zh) * 2018-02-12 2018-08-10 山东大学 结合全局框架点与局部shot特征的复合3d描述子构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3373166A1 (en) * 2017-03-09 2018-09-12 Tata Consultancy Services Limited Method and system for mapping attributes of entities

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392426A (zh) * 2014-10-23 2015-03-04 华中科技大学 一种自适应的无标志点三维点云自动拼接方法
CN106845416A (zh) * 2017-01-20 2017-06-13 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN107292949A (zh) * 2017-05-25 2017-10-24 深圳先进技术研究院 场景的三维重建方法、装置及终端设备
CN108388902A (zh) * 2018-02-12 2018-08-10 山东大学 结合全局框架点与局部shot特征的复合3d描述子构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种视点直方图特征优化的点云目标识别算法;杜靖远 等;《河南科技大学学报(自然科学版)》;第39卷(第5期);第45-49\n页 *

Also Published As

Publication number Publication date
CN111105435A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN106778605B (zh) 导航数据辅助下的遥感影像道路网自动提取方法
US20200090516A1 (en) Vehicle parking availability map systems and methods
CN111105435B (zh) 标志物匹配方法、装置及终端设备
CN112949366B (zh) 障碍物识别方法和装置
CN112990235B (zh) 点云数据的处理方法、装置及电子设备
JP2019003527A (ja) 特徴抽出装置、物体検出装置、方法、及びプログラム
CN114863380B (zh) 车道线识别方法、装置及电子设备
CN113076387B (zh) 一种基于多基元图谱匹配的道路路网匹配方法及装置
CN110807461B (zh) 一种目标位置检测方法
Liu et al. Image-translation-based road marking extraction from mobile laser point clouds
CN112700464B (zh) 地图信息的处理方法、装置、电子设备以及存储介质
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和系统
EP3764335A1 (en) Vehicle parking availability map systems and methods
CN110636248A (zh) 目标跟踪方法与装置
CN112990152A (zh) 基于关键点检测和局部特征对齐的车辆重识别方法
CN116958606A (zh) 一种图像匹配方法及相关装置
CN109657556B (zh) 道路及其周边地物的分类方法及系统
Zhao et al. Scalable building height estimation from street scene images
CN116662930A (zh) 一种基于地面移动激光雷达的道路标识生成方法和系统
CN116363583A (zh) 一种用于顶视角的人体识别方法、装置、设备及介质
Ziems et al. Multiple-model based verification of road data
CN116628531A (zh) 众包地图道路对象要素聚类方法、系统及存储介质
CN115797310A (zh) 一种光伏电站组串倾角的确定方法及电子设备
CN104616302A (zh) 一种目标实时识别方法
CN114155524A (zh) 单阶段3d点云目标检测方法及装置、计算机设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant