CN114627365B - 场景重识别方法、装置、电子设备及存储介质 - Google Patents

场景重识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114627365B
CN114627365B CN202210301363.3A CN202210301363A CN114627365B CN 114627365 B CN114627365 B CN 114627365B CN 202210301363 A CN202210301363 A CN 202210301363A CN 114627365 B CN114627365 B CN 114627365B
Authority
CN
China
Prior art keywords
sensor data
descriptor
projection
semantic object
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210301363.3A
Other languages
English (en)
Other versions
CN114627365A (zh
Inventor
张煜东
范圣印
王颖
金凌鸽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202210301363.3A priority Critical patent/CN114627365B/zh
Publication of CN114627365A publication Critical patent/CN114627365A/zh
Application granted granted Critical
Publication of CN114627365B publication Critical patent/CN114627365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种场景重识别方法、装置、设备及存储介质。本公开一实施例中，场景重识别方法可包括：获取第k帧传感器数据后，获取第k帧传感器数据的语义对象信息，再根据语义对象信息生成所述第k帧传感器数据的投影描述子，最后对第k帧传感器数据的投影描述子与先前帧传感器数据的投影描述子进行匹配，从而完成场景重识别。本公开实施例能够实现同一场景不同位置的快速场景重识别，同时还可适用于诸如光照条件较差、室外大规模等众多场景。

Description

场景重识别方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种场景重识别方法、装置、电子设备及存储介质。
背景技术
同步定位与地图构建(Simultaneous Localization And Mapping，SLAM)技术在自动驾驶、无人机、机器人、虚拟现实(Virtual Reality，VR)和增强现实(AugmentedReality，AR)等领域有着广泛应用。
在SLAM领域中，场景重识别技术是一项关键技术，场景重识别是指在机器人、无人机、无人车等载具在进入到历史场景时，将该场景识别出来。通过场景重识别可以实现SLAM中的重定位和回环检测功能。
因场景重识别受当前的环境影响和传感器性能影响，同时也受时间跨度的影响，在相似场景较多的情况下往往受到很大的挑战。同时，场景重识别的效率和准确性的兼顾也是行业内的难点，在大规模的场景中进行场景重识别对两者同时提出了较高的要求。然而，相关技术中的场景重识别无法在同一场景不同位置实现快速的场景重识别。
发明内容
为了解决上述技术问题，本公开提供了一种场景重识别方法、装置、电子设备及存储介质，能够实现同一场景不同位置的快速场景重识别。
本公开第一方面提供了一种场景重识别方法，包括：
获取第k帧传感器数据，所述传感器数据包括载具所处环境的点云信息，k为大于1的整数；
获取所述第k帧传感器数据的语义对象信息；
根据所述语义对象信息，生成所述第k帧传感器数据的投影描述子，所述投影描述子表征以所述载具为中心的语义对象局部分布情况；
对所述第k帧传感器数据的投影描述子与先前帧传感器数据的投影描述子进行匹配，以完成场景重识别。
本公开第二方面提供了一种场景重识别装置，包括：
数据获取单元，用于获取第k帧传感器数据，所述传感器数据包括载具所处环境的点云信息，k为大于1的整数；
语义获取单元，用于获取所述第k帧传感器数据的语义对象信息；
描述子生成单元，用于根据所述语义对象信息，生成所述第k帧传感器数据的投影描述子，所述投影描述子表征以所述载具为中心的语义对象局部分布情况；
匹配单元，用于对所述第k帧传感器数据的投影描述子与先前帧传感器数据的投影描述子进行匹配，以完成场景重识别。
本公开第三面提供了一种电子设备，包括：存储器，所述存储器存储执行指令；以及，处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述的场景重识别方法。
本公开第四方面提供了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的场景重识别方法。
本公开实施例通过传感器数据的语义对象信息建立投影描述子，再通过该投影描述子之间的匹配实现场景重识别。由此，本公开仅需包含环境点云信息的传感器数据即可实现场景重识别，不受限于诸如光照等环境因素，可适用于例如照明较差的场景；并且，由于描述子表征以所述载具为中心的语义对象局部分布情况，其同时具有旋转不变性和平移不变性，并且无需全局匹配，计算量小，因此，可高效且准确地实现同一场景不同位置的快速场景重识别。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开的一个实施方式的场景重识别方法的流程示意图。
图2是本公开的一个实施方式的局部主方向示例图。
图3是本公开的一个实施方式的投影带描述子线段的分布示例图。
图4是本公开的一个实施方式的一个投影带描述子线段上语义对象的投影示意图。
图5是本公开的一个实施方式的投影带描述子矩阵的示例图。
图6是本公开的一个实施方式的场景重识别的位姿示例图。
图7是本公开的一个实施方式的场景重识别装置的结构示意框图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
术语解释：
SLAM：设备在未知环境下从一个未知位置开始移动，在移动过程中根据传感器收集到的数据和构建出的环境地图进行自身定位，并在自身定位的基础上构建增量式地图的过程。
场景重识别：在机器人、无人机、无人车等载具在进入到历史场景时，将该场景识别出来的过程。
传感器数据：传感器数据需经过传感器相对载具中心的外参转换，将传感器数据转换到载具中心，本公开默认传感器数据是已经过外参转换的数据。
观测坐标系：以载具位置为原点的直角坐标系，该直角坐标系为笛卡尔直角坐标系右手系，向前为X轴，向上为Z轴，向左为Y轴，x轴正方向为载具的行驶方向。载具位置可以是载具中心的位置、载具重心的位置或载具上其他参考点的位置。
全局坐标系：第一帧传感器数据的观测坐标系。
相关技术的简要介绍及分析：
相关技术1：《Scan Context:Egocentric Spatial Descriptor for PlaceRecognition within 3D Point Cloud Map》发表了一种基于3D点云的场景重识别技术，该技术将3D点云投影到XY平面，以激光雷达为中心建立Scan Context作为关键帧的descriptor(描述子)，以Scan Context的RingKey为节点建立KD树(KD-tree)以便后续快速搜索。当设备回到历史某一时刻的坐标位置时，根据当前的Scan Context的RingKey在KD-tree中快速搜索出多个候选帧，通过旋转的方式进行Scan Context之间的匹配，若最高的匹配相似度大于预设值，则认为检测到回环，最后将匹配的位姿信息发送给后端。该技术因使用Scan Context而不具备平移不变性，载具在相同场景的不同位置很难重识别成功；该技术通过旋转的方式进行Scan Context匹配只能计算出两帧之间载具的旋转角度，并不能计算出载具在x和y方向的偏移，在实际使用时有一定局限性。
相关技术2：《SSC:Semantic Scan Context for Large-Scale PlaceRecognition》发表了一种基于技术1改进的大规模场景识别技术，主要步骤包括：两步全局语义迭代最近点匹配法(Iterative Closest Point，ICP)和建立语义扫描描述子(Semantic Scan Context)。尽管该技术使用了3D点云语义分割技术提取了更多信息，并且使用了两步全局语义ICP来进行Semantic Scan Context的匹配，但是与相关技术1同理，该技术仍然使用以传感器为中心建立Scan Context的方法，不具备平移不变性，载具在相同场景不同位置很难重识别成功，而且无法计算出设备在x和y方向的偏移。
综上，相关技术1与相关技术2基于Scan-Context，虽然可以对历史描述子进行快速匹配，完成一部分场景重识别的功能，但由于不具备平移不变性，在同场景不同位置上的识别困难，在很多场景下无法场景重识别，或场景重识别错误，同时Scan-Context作为描述子不具备唯一的方向特征，需要在每次匹配的过程中遍历计算不同角度的结果，影响了效率，即存在同场景不同位置重识别困难的问题。
相关技术3：中国专利CN201910708269.6公开了一种激光雷达重定位方法及机器人。该方法通过根据实时拍摄得到的实时图像帧与预设的关键帧库中的关键帧进行对比，确定了与实时图像帧匹配的目标关键帧，再根据关键帧库中预存的位置信息与所述关键帧之间的对应关系，确定目标关键帧对应的实时位置信息，避免了通过同步定位与建图确定位置时没有参考物导致的定位不准确，提高了机器人定位的精确性和可靠性。该方法依赖于摄像头拍摄的图像，在诸如夜晚、落日等环境光照条件不好的情况下无法使用重定位。
相关技术4：中国专利CN201910301095.3公开了一种基于几何先验信息的室内机器人快速重定位的方法，根据环境信息辅助粒子滤波算法进行定位，并根据SLAM模块给出的定位合并重复的地图信息并添加新的地图信息，最终可以形成一个包含着几何结构信息的几何特征地图。在重定位的过程中机器人需要先旋转一周，获得周围的分块后的环境结构信息。该方法属于粒子滤波算法的改良，可以在室内小场景中使用，但室外大规模场景下，粒子数量巨大，计算量随之增加，该方法很难高效重定位，且不支持快速场景重识别。
相关技术5：中国专利CN202011086621.8公开了一种融合磁场信息的机器人蒙特卡罗定位方法，其在传统MCL算法的基础上，引入与激光雷达观测相独立的磁特征观测，利用磁特征指导粒子初始化，将全局定位问题转化为了局部定位问题，从而提高了定位速度及成功率。与相关技术4类似的，相关技术5属于粒子滤波算法的改良，不支持快速场景重识别，且无法在室外大规模场景下快速重定位，同时增加了磁力计传感器的依赖，在有磁干扰的环境下该方法容易失效，南北极等高纬度地区可能无法使用。
鉴于此，本公开实施例提供了一种改进的场景重识别方法，通过传感器数据提取语义对象信息，基于语义对象信息建立投影描述子，然后通过投影描述子之间的匹配识别到载具所在的历史场景。由此，本公开实施例不依赖于诸如全球定位系统(GlobalPositioning System，GPS)和实时动态测量(Real-time kinematic，RTK)等外部定位传感器，只需环境的3D点云信息，即可实现各类场景或同场景不同位置上的快速场景重识别。
下文结合附图对本公开实施例的具体实施方式进行详细说明。
图1示出了本公开实施例提供的场景重识别方法的示例性实现流程。参见图1所示，包括如下步骤：
步骤S110，获取第k帧传感器数据，传感器数据包括载具所处环境的点云信息，k为大于1的整数；
传感器数据可通过载具上安装的传感器采集，传感器数据按照帧的形式获取，每帧传感器数据均包含载具所处环境的点云信息。一帧传感器数据为某一时刻下的一包完整的传感器数据，帧发送接受频率可由载具所使用的系统决定。这里，传感器可以是但不限于3D机械激光雷达、3D固态激光雷达、毫米波雷达、结构光相机、双目视觉相机、单目视觉相机或者其他任何可以直接或通过算法间接提供环境3D点云信息的传感器。
步骤S120，获取第k帧传感器数据的语义对象信息；
语义对象是利用传感器数据对场景中特定物体的识别和归类而获得的。以道路场景为例，一帧传感器数据中可识别到的语义对象包括但不限于如下多种：树木、路灯、垃圾箱、道路交通标识牌、红绿灯、广告牌、道路水马。
一些实施例中，第k帧传感器数据的语义对象信息可以包括但不限于第k帧传感器数据中的语义对象总数、第k帧传感器数据中语义对象类别的数量、第k帧传感器数据中每个语义对象的类别、第k帧传感器数据中每个语义对象的位置、第k帧传感器数据中每个语义对象的类别权重、第k帧传感器数据中每个语义对象的第一权重、第k帧传感器数据中每个语义对象的点云体积。
这里，语义对象的位置可通过语义对象在观测坐标系x-y平面的坐标表征。例如，第k帧传感器数据的第i个语义对象可表示为Oi，第i种语义对象的类别可以表示为COi，第i个语义对象的位置可表示为Oi(xi,yi)，xi表示语义对象Oi在观测坐标系中的x轴坐标值，yi语义对象Oi在观测坐标系中的y轴坐标值。
观测坐标系是以载具位置为原点、以载具行驶方向为x轴正方向的直角坐标系。例如，观测坐标系可以是以载具中心为原点、以载具行驶方向为x轴正方向的直角坐标系。再例如，观测坐标系可以是以载具重心为原点、以载具行驶方向为x轴正方向的直角坐标系。
通常，一个语义对象的点云信息被一个长方体边框紧密包围，所有点云信息都包含在长方体边框内，即边框外无语义对象的像素点，且根据点与面相交的原理长方体边框的六个面上都至少有一个语义对象点云信息的点在其上，长方体边框的两个面(例如，顶面和底面)平行于观测坐标系的x-y平面，可以将这样的长方体边框的体积定义为这个语义对象的点云体积。当然，语义对象的点云体积还可通过其他方式计算或定义，对此，本公开实施例不作限制。
一些实施例中，语义对象的类别权重可通过语义识别算法确定或采用预先设置的固定值。具体地，可根据不同的应用场景和不同的语义识别算法特性灵活设置语义对象的类别权重。示例性地，可以为数量较多的一类语义对象设置较低的权重值，为数量较少的一类语义对象可以设置较高的权重值。仍以道路场景为例，树木的类别权重可设置为1.0，路灯的类别权重可设置为1.1，垃圾箱的类别权重可设置为1.2，道路交通标识牌的类别权重可设为1.3，红绿灯的类别权重可设置为1.4，广告牌的类别权重可设为1.5，道路水马的类别权重可设置为1.6。
一些实施例中，语义对象的第一权重可以为语义对象的体积权重与类别权重之和。
以第k帧传感器数据的第i个语义对象Oi为例，可通过下式(1)得到语义对象的第一权重MOi。
MOi＝MCi+MVi，i∈1，2，...，Nco (1)
其中，Nco为第k帧传感器数据的语义对象类别的数量，其大小由获取语义对象信息时采用的语义识别算法决定。MVi为第i种语义对象Oi的体积权重。
一些实施例中，MVi可通过下式(2)得到。
Figure GDA0003922363360000071
其中，Vmax为语义对象体积的统计最大值，Vmax可取经验值；Vi为第i种语义对象Oi的点云体积。
由上可见，语义对象信息中不仅包含语义对象的类别、语义对象的位置等信息，还包含了语义对象的权重，例如类别权重、第一权重等，由此，可通过对语义对象分配权重，提高场景重识别的鲁棒性。
一些实施例中，语义对象信息中还可包含每个语义对象的重心位置。或者，语义对象的位置具体可以是语义对象的重心位置。这里，语义对象的重心位置可以表示为语义对象的点云重心在观测坐标系x-y平面的坐标。
一些实施例中，可以使用诸如广度优先搜索(Breadth First Search，BFS)、K-Means聚类算法、具有噪声的基于密度的聚类方法(Density-Based Spatial Clusteringof Applications with Noise，DBSCAN)等点云聚类算法计算得到语义对象的重心位置。
获取传感器数据中诸如语义对象位置、语义对象类别、语义对象总数、语义对象类别数量等语义对象信息的方法可以有多种。对于具体的获取方式，本公开实施例不做限制。
一些实施例中，可使用语义分割或者语义对象检测技术对传感器数据进行处理，以在局部点云地图中标记语义对象信息。例如，若传感器数据是3D激光雷达生成的点云数据，可以使用RangeNet或者RangeNet++等构建语义分割网络，进而通过该语义分割网络从点云数据中提取诸如语义对象位置、语义对象类别、语义对象总数、语义对象类别数量等语义对象信息。再例如，若传感器数据是诸如摄像头等视觉传感器采集的图像，可使用视觉语义分割的深度学习网络提取语义对象信息。
一些实施例中，若局部点云地图的点云数据中带有语义信息，即构建局部点云地图的SLAM方法使用了语义相关的技术，如激光雷达SLAM中的SUMA++等，点云信息带有语义分割信息，可直接使用点云信息中的语义分割信息得到上述的语义对象信息；
一些实施例中，若载具同时搭载了视觉摄像头和激光雷达等多种传感器，可使用多传感器的语义信息融合来获得语义对象信息。例如，可以将视觉传感器得到的图像语义信息通过外参转换投影到激光点云上来获得语义对象信息。
步骤S130，根据语义对象信息，生成第k帧传感器数据的投影描述子。
投影描述子可以是以载具为中心、对语义对象的空间分布进行统计而得到的全局统一的语义对象局部分布描述方式。也即，投影描述子可表征以载具为中心的语义对象局部分布情况。
一些实施例中，投影描述子可以包括投影带描述子矩阵和局部主方向。
局部主方向可用于使用观测坐标系下预定的方向向量表示局部语义对象分布的特性。一些实施例中，该预定的方向向量可以为语义对象几何中心到语义对象重心的方向向量。这里，语义对象几何中心到语义对象重心的方向向量可以根据语义对象的类别权重、语义对象的位置和第k帧传感器数据中语义对象的总数得到。
一些实施例中，第k帧传感器数据的局部主方向可以通过第k帧传感器数据的语义对象几何中心到语义对象重心的方向向量相对于观测坐标系的角度值表示。
示例性地，第k帧传感器数据的局部主方向MDk可以通过下式(3)～(5)得到：
Figure GDA0003922363360000081
Figure GDA0003922363360000091
Po＝{xo，yo} (5)
Pg＝{xg，yg} (6)
其中，MDk表示第k帧传感器数据的局部主方向，
Figure GDA0003922363360000092
表示第k帧传感器数据中观测坐标下的预定方向向量，Po表示第k帧传感器数据的语义对象重心，Pg表示第k帧传感器数据的语义对象几何中心，
Figure GDA0003922363360000093
表示
Figure GDA0003922363360000094
在观测坐标系的y轴坐标值，
Figure GDA0003922363360000095
表示
Figure GDA0003922363360000096
在观测坐标系的x轴坐标值。xo表示语义对象重心Po在观测坐标系中的x轴坐标值，yo表示语义对象重心Po在观测坐标系中的y轴坐标值；xg表示语义对象几何中心Pg在观测坐标系中的x轴坐标值，yg表示语义对象几何中心Pg在观测坐标系中的y轴坐标值。
一些实施例中，Po可通过下式(7)～(8)得到：
Figure GDA0003922363360000097
Figure GDA0003922363360000098
一些实施例中，Pg可通过下式(9)～(10)得到：
Figure GDA0003922363360000099
Figure GDA00039223633600000910
式(7)λ(10)中，xi表示第k帧传感器数据的第i个语义对象在观测坐标系中的x轴坐标值，yi表示第k帧传感器数据的第i个语义对象在观测坐标系中的y轴坐标值，mi表示第k帧传感器数据的第i个语义对象的类别权重，No表示第k帧传感器数据的语义对象总数。
由上可见，局部主方向可作为全局快速搜索的参考范围，通过局部主方向可以减少步骤S140中匹配处理的计算量，从而提高场景重识别的执行效率和准确性。
图2示出了两帧传感器数据的局部主方向。其中，T1为第1帧传感器数据的观测坐标系原点，T2为第2帧传感器所在的观测坐标系原点，MD1为第1帧传感器数据的局部主方向，MD1为第2帧传感器数据的局部主方向，O1、O2、O3、O4分别代表四个语义对象。由于第1帧传感器数据和第2帧传感器数据所处相同的场景，因此，这两帧传感器数据的局部主方向在全局坐标系中是一致的。
投影带描述子矩阵为Na个投影带描述子形成的矩阵，Na个投影带描述子表征语义对象信息投影至观测坐标系x-y平面的分布情况，Na为预定值。
投影带描述子是将多维度信息以投影计算进行降维统计的描述子。每个所述投影带描述子表征所述语义对象信息投影至一条投影带描述子线段的分布情况，Na个投影带描述子对应的Na条投影带描述子线段绕观测坐标系的原点均匀分布在观测坐标系的x-y平面，不同的投影带描述子线段与观测坐标系的x轴成不同的预定夹角。
Na为投影带描述子个数，Na为预设值。例如，Na可以取360、180，90，32，16等数值。优选的，Na＝360。
一些实施例中，投影带描述子线段绕观测坐标系原点在观测坐标系的x-y平面旋转，逆时针为旋转正方向，规定第1个投影带描述子线段与观测坐标系x轴重合，并规定投影带描述子线段的正方向为x轴方向，投影带描述子线段旋转后与观测坐标系的x轴呈不同的预定夹角，由此，可使Na条投影带描述子线段绕观测坐标系的原点均匀分布在观测坐标系的x-y平面。
一些实施例中，投影带描述子线段可以为过观测坐标系原点、长度为2R的线段，R为观测范围，R的大小与传感器的有效观测距离相关。例如，可以取R＝100，即观测范围为100米。
图3示出了Na＝16的投影带描述子线段示意图。如图3所示，在观测坐标系中有16个投影带描述子线段PS0～PS15，这些投影带描述子线段绕观测坐标系的原点均匀分布在观测坐标系的x-y平面，O1、O2、O3、O4、O5分别代表5个语义对象，T为观测坐标系的原点，x为观测坐标系的x轴，y为观测坐标系的y轴。
一些实施例中，每个投影带描述子可以包括Nr个元素，Nr为预定值。例如，每个投影带描述子可通过一个一维数组表示，该一维数组的大小为1×Nr，其中，Nr表示单个投影带描述子的大小，Nr与投影带描述子线段的观测范围对应。例如，若观测范围R设为100米，相应的，Nr可设为100。
一些实施例中，投影带描述子的元素值可表征相应投影带描述子线段上语义对象投影的统计情况。每个元素的值可以根据语义对象的第一权重、语义对象的位置和相应投影带描述子线段与观测坐标系x轴的预定夹角确定。
一些实施例中，每个元素的值可以为投影至该元素的位置的所有语义对象的第一权重之和。
下面以第k帧传感器数据的第i个语义对象Oi为例说明投影带描述子中各元素值的示例性确定方式。
假设第i个语义对象Oi的位置为oi(xi，yi)，i∈1，2，3，...，No，No为第k帧传感器数据的语义对象总数，投影带描述子na的第j个元素值PSna(j)，即，第k帧传感器数据的第na个投影带描述子的第j列的元素的数值，可通过下式(11)得到：
Figure GDA0003922363360000111
其中，nLi表示语义对象Oi在投影带描述子na的投影位置，MOi表示第i个第i个语义对象Oi的第一权重。
一些实施例中，语义对象Oi在投影带描述子na的投影位置nLi可以通过下式(12)～(13)确定：
Figure GDA0003922363360000112
Figure GDA0003922363360000113
其中，
Figure GDA0003922363360000114
表示语义对象Oi投影到投影带描述子线段na上的坐标，Rr表示投影带描述子的径向分辨率，R为前述的观测范围，floor为取整数部分的运算。
一些实施例中，
Figure GDA0003922363360000115
可以通过下式(14)～(19)确定：
Figure GDA0003922363360000116
Figure GDA0003922363360000117
Figure GDA0003922363360000118
θi＝arctan(yi，xi)，θi∈[0，2π) (17)
Figure GDA0003922363360000119
Figure GDA00039223633600001110
其中，Ri表示语义对象Oi到观测坐标原点的x-y平面欧式距离，xi表示第k帧传感器数据的第i个语义对象在观测坐标系中的x轴坐标值，yi表示第k帧传感器数据的第i个语义对象在观测坐标系中的y轴坐标值，
Figure GDA00039223633600001111
表示语义对象Oi相对于投影带描述子线段的夹角，θi表示语义对象Oi在观测坐标系下与x轴的夹角，逆时针为正，范围[0，2π)；
Figure GDA00039223633600001112
表示投影带描述子线段的正方向与观测坐标系的x轴之间的预定夹角，Ra为投影带描述子的角度分辨率，na为投影带描述子序列号，na的取值范围是0到Na-1。
图4示出了一条投影带描述子线段上的语义对象投影示意图。如图4所示，T为观测坐标系，x轴方向为载具行驶正方向，O1、O2、O3、O4、O5分别代表5个语义对象，O′1、o′2、O′3、O′4、O′5分别为这5个语义对象在一条投影带描述子线段上的投影位置，
Figure GDA0003922363360000121
为投影带描述子线段正方向与观测坐标系x轴的夹角。
将第k帧传感器数据的所有投影带描述子组合成矩阵，即为第k帧传感器数据的投影带描述子矩阵。投影带描述子矩阵的行代表一个投影带描述子，矩阵的维度为Na×Nr。例如，可以规定第1个投影带描述子线段与观测坐标系x轴重合，并规定投影带描述子线段的正方向为x轴方向，绕观测坐标系原点逆时针为旋转正方向，依次为第2个投影带描述子、第3个投影带描述子、……、第Na个投影带描述子。以第1个投影带描述子作为投影带描述子矩阵的第一行，第2个投影带描述子为矩阵的第二行，以此类推，第Na个投影带描述子作为矩阵的最后一行。
图5示出投影描述子矩阵的示例。如图5所示，投影描述子矩阵的矩阵大小为Na×Nr，PSna为投影描述子矩阵中第na个投影带描述子，PSna(j)为投影带描述子PSna中的第j个元素。
第k帧传感器数据的投影描述子可以为第k帧传感器数据的投影描述子矩阵和第k帧传感器数据的局部主方向的组合。也即，第k帧传感器数据的投影描述子PCk可以表示为下式(20)：
PCk＝{PCMk，MDk} (20)
其中，PCMk表示第k帧传感器数据的投影描述子矩阵，MDk表示第k帧传感器数据的局部主方向。
由上可见，区别于以极坐标系为基础建立的Scan-Context描述子，本公开实施例以直角坐标系和空间投影统计建立投影描述子，该投影描述子同时具有旋转不变性和平移不变性，因此，可以在在相同场景的不同位置成功进行场景重识别，同时还可在诸如室外环境、光照条件较差的环境以及其他更多场景下成功进行快速场景重识别。
步骤S140，对第k帧传感器数据的投影描述子与先前帧传感器数据的投影描述子进行匹配，以完成场景重识别。
这里，先前帧可包括第1帧～第k-1帧中的任意一帧或多帧。先前帧的投影描述子可采用步骤S120～130的方式获得。
一些实施例中，步骤S140可包括：
步骤a1，根据第k帧传感器数据的局部主方向确定主投影带描述子；
一些实施例中，第k帧传感器数据对应的局部主方向MDk，对应了一个唯一的主投影带描述子MPSk。一些实施例中，主投影带描述子MPSk可通过式(21)确定：
Figure GDA0003922363360000131
其中，
Figure GDA0003922363360000132
表示主投影带描述子的序列号，MDk表示第k帧传感器数据对应的局部主方向，Ra表示投影带描述子的角度分辨率，floor为向下取整运算。
一些实施例中，本步骤还可同时确定第k帧传感器数据的搜索窗口，以便在第k帧的后续帧的场景重识别中使用。
一些示例中，第k帧传感器数据的搜索窗口可通过式(22)～(23)确定：
Figure GDA0003922363360000133
Wk＝l(wk) (23)
其中，Wk表示为对齐前的第k帧传感器数据的搜索窗口，Wk表示经函数l对齐后的第k帧传感器数据的搜索窗口，NWk为预先设置的搜索窗口大小，例如，可设置NWk＝5。
Figure GDA0003922363360000134
表示整数。
其中，式(23)中的函数l定义为下式(24)：
Figure GDA0003922363360000135
其中，i小于0时l(i)等于i+Nr，i大于或等于Nr时l(i)等于i-Nr，其他情况下l(i)等于i。
步骤a2，根据主投影带描述子与先前帧传感器数据的投影描述子中落入搜索窗口(先前帧传感器数据的搜索窗口)的投影带描述子，执行匹配，以确定第k帧传感器数据的匹配先前帧。
一些实施例中，步骤a2中可基于预设的匹配度函数执行匹配，该匹配度函数包含主投影带描述子的匹配度和主投影带描述子的垂直投影带描述子的匹配度。由此，可确保语义对象信息在空间分布的信息完整性，提高匹配准确度。
这里，一个投影带描述子的垂直投影带描述子是指该投影带描述子向逆时针方向旋转90度的投影带描述子。
一些实施例中，匹配度函数可表示为下式(25)：
Figure GDA0003922363360000141
其中，M(PCk,PCh)表示第k帧传感器数据与第h帧传感器数据的投影描述子匹配度，PCk表示第k帧传感器数据的投影描述子，PCh表示第h帧传感器数据的投影描述子，h为大于0且小于k的整数，max表示取最大值，Wh表示第h帧传感器数据的搜索窗口，Wh基于第h帧传感器数据的主投影描述子依据式(22)～(23)的方式得到。
Figure GDA0003922363360000142
表示第k帧传感器数据的主投影带描述子的序列号，m表示PCh中落入搜索窗口Wh中的一个投影带描述子的序列号，
Figure GDA0003922363360000143
表示第k帧传感器数据的主投影带描述子向逆时针方向旋转90度的投影带描述子的序列号，也即，
Figure GDA0003922363360000144
表示第k帧传感器数据的主投影带描述子的垂直投影带描述子的序列号，mp(m)表示第h帧传感器数据的第m个投影带描述子向逆时针方向旋转90度的投影带描述子的序列号，也即，mp(m)表示第h帧传感器数据的第m个投影带描述子的垂直投影带描述子的序列号。
Figure GDA0003922363360000145
表示第k帧传感器数据的主投影带描述子与第h帧传感器数据的第m个投影带描述子的匹配度，
Figure GDA0003922363360000146
表示第k帧传感器数据的第
Figure GDA0003922363360000147
个投影带描述子与第h帧传感器数据的第mp(m)个投影带描述子的匹配度。
由上可见，匹配度函数M中同时包含了
Figure GDA0003922363360000148
和与
Figure GDA0003922363360000149
中投影带描述子垂直的两个投影带描述子的匹配度
Figure GDA00039223633600001410
由此，可确保语义对象信息在空间分布的信息完整性，提高匹配准确度。
一些实施例中，步骤a2中还可包括：获得第k帧传感器数据的匹配结果。这里，匹配结果可以包括：主投影带描述子的匹配投影带描述子的序列号、匹配投影带描述子的平移量及其垂直投影带描述子的平移量。其中，主投影带描述子的匹配投影带描述子是指先前帧传感器数据的投影描述子中对应匹配度函数M的最大值的投影带描述子。
具体的，可通过式(26)得到第k帧传感器数据的匹配结果。该匹配结果可以包括、及其垂直投影带描述子的平移量：
Figure GDA0003922363360000151
其中，m为主投影带描述子的匹配投影带描述子的序列号，n1为匹配投影带描述子的平移量，n2为匹配投影带描述子的垂直投影带描述子的平移量。通过式(26)可见，n1和n2可表示两个正交方向的相关性最强的偏置，m为与主投影带描述子相关性最强的投影带描述子的序列号。
一些实施例中，可通过预定的mp函数确定一个投影带描述子的垂直投影带描述子。
具体的，mp函数可表示为下式(27)
Figure GDA0003922363360000152
其中，i大于或等于
Figure GDA0003922363360000153
时mp(i)的值为
Figure GDA0003922363360000154
其他情况下mp(i)的值为
Figure GDA0003922363360000155
由此，通过mp函数可以在观测坐标系下快速找到垂直投影带描述子。式(24)中，
Figure GDA0003922363360000156
为
Figure GDA0003922363360000157
的mp函数值，mp(m)为m的mp函数值。
一些实施例中，投影带描述子之间的匹配度可通过下式(28)得到：
Figure GDA0003922363360000158
Figure GDA0003922363360000159
Figure GDA00039223633600001510
其中，
Figure GDA00039223633600001511
表示序列号为i的投影带描述子PSi与序列号为j的投影带描述子PSj的匹配度，d(PSi,PSj)表示投影带描述子PSi与投影带描述子PSj的相似度，式(30)中的“.”表示内积点乘，d(PSi,PSj)的取值越大表明两个投影带描述子相似度越高，n表示投影带描述子PSj的平移量，函数Sn表示“将输入的投影带描述子向右平移n个单位并输出”，“||||”表示范数。
一些实施例中，步骤a2具体可以包括：依次计算第k帧传感器数据的投影描述子与历史集合中的每个投影描述子的匹配度，取历史集合中匹配度最大的投影描述子对应的先前帧作为第k帧传感器的匹配先前帧，同时可记录第k帧传感器数据的匹配结果。
这里，历史集合包括各先前帧传感器数据的投影描述子及其搜索窗口。具体的，可根据前文步骤S130的方法获得各先前帧传感器数据的投影描述子及搜索窗口并保存，以形成该历史集合。例如，历史集合可包括第1帧传感器数据至第k-1帧传感器数据的投影描述子，表示为“{PC1，PC2...PCk-1}”。
需要说明的是，前文的投影带描述子PCh属于历史集合，即，PCh∈{PC12...PCk-1}，h为小于k的正整数。
由上可见，本公开实施例利用语义对象信息统计和计算得到具有局部唯一性的局部主方向，在局部主方向附近使用搜索窗口执行匹配，无需执行全局搜索，可有效减少计算量。
步骤S150，根据第k帧传感器数据的匹配结果，确定场景重识别的位姿。
一些实施例中，场景重识别的位姿为同一场景的两帧传感器数据对应的观测坐标系原点(即，载具位置)在观测坐标系x-y平面上的相对位姿，即，第k帧传感器数据与其匹配先前帧对应的观测坐标系原点在观测坐标系x-y平面的相对位置和相对姿态。
一些实施例中，相对姿态，即同一场景的两帧传感器数据对应的观测坐标系原点的连线相对于观测坐标系x轴正向的方位角，可通过式(31)～(33)得到：
Figure GDA0003922363360000161
θm＝Ra*m (32)
θs＝Ra*n2 (33)
其中，
Figure GDA0003922363360000162
表示第s帧传感器数据对应的观测坐标系原点与其匹配先前帧(第m帧)传感器数据对应的观测坐标系原点的连线相对于第m帧传感器数据对应的观测坐标系x轴正向的方位角，θm和θs分别表示观测坐标系Tm和Ts相对全局坐标系的角度值。
一些实施例中，相对位置，即同一场景的两帧传感器数据对应的观测坐标系原点(即，载具位置)在观测坐标系xy平面上的相对位置，可通过下式(34)～(35)得到：
Figure GDA0003922363360000171
Figure GDA0003922363360000172
其中，
Figure GDA0003922363360000173
表示第s帧传感器数据对应的观测坐标系原点与其匹配先前帧(第m帧)传感器数据对应的观测坐标系原点在第m帧传感器数据对应的观测坐标系x轴的相对位移，
Figure GDA0003922363360000174
表示第s帧传感器数据对应的观测坐标系原点与其匹配先前帧(第m帧)传感器数据对应的观测坐标系原点在第m帧传感器数据对应的观测坐标系y轴的相对位移。
由上可见，本公开实施例不仅可实现同一场景不同位置的快速场景重识别，还可同时得到同一场景的两帧传感器数据在观测坐标系的x-y平面上的相对位置和相对姿态，也即，同时得到了场景重识别所对应的位姿。
图6示出了同一场景的两帧传感器数据在观测坐标系的x-y平面上的相对位姿示例图。图6中，车辆(即本文的载具)在第s帧和第m帧时位于同一场景，第s帧在后、第m帧在前，O1、O2、O3、O4分别代表该场景下的4个语义对象，Tm为第m帧时观测坐标系的原点，即，Tm为第m帧时的车辆位置，Ts为第s帧时观测坐标系的原点，即，Ts为第s帧时的车辆位置，
Figure GDA0003922363360000175
表示车辆在第m帧观测坐标系x-y平面的行驶方向相对位移，
Figure GDA0003922363360000176
表示车辆在第m帧观测坐标系x-y平面的y轴方向相对位移，
Figure GDA0003922363360000177
表示车辆在第m帧观测坐标系x-y平面的相对姿态。
图6可见，本公开不仅可实现同一场景不同位置的快速场景重识别，还可同时得到场景重识别所对应的位姿。
图7是本公开的一个实施方式的采用处理系统的硬件实现方式的场景重识别装置的结构示意框图。
参见图7所示，场景重识别装置700可包括如下模块：数据获取单元702、语义获取单元704、描述子生成单元706、匹配单元708。
具体地，数据获取单元702，可用于获取第k帧传感器数据，所述传感器数据包括载具所处环境的点云信息，k为大于1的整数；语义获取单元704，可用于获取所述第k帧传感器数据的语义对象信息；描述子生成单元706，可用于根据所述语义对象信息，生成所述第k帧传感器数据的投影描述子，所述投影描述子表征以所述载具为中心的语义对象局部分布情况；匹配单元708，可用于对第k帧传感器数据的投影描述子与先前帧传感器数据的投影描述子进行匹配，以完成场景重识别。
一些实施例中，匹配单元708，具体可用于：根据所述第k帧传感器数据的局部主方向确定主投影带描述子；根据所述主投影带描述子与先前帧传感器数据的投影描述子中落入搜索窗口的投影带描述子，执行匹配，以确定所述第k帧传感器数据的匹配先前帧。
一些实施例中，匹配单元708，还可用于获得所述第k帧传感器数据的匹配结果，所述匹配结果包括：所述主投影带描述子的匹配投影带描述子的序列号、所述匹配投影带描述子的平移量及其垂直投影带描述子的平移量；场景重识别装置700还可包括：位姿确定单元710，用于根据第k帧传感器数据的匹配结果，确定场景重识别的位姿。
装置700可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线800将包括一个或多个处理器900、存储器1000和/或硬件模块的各种电路连接到一起。总线800还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1100连接。
总线800可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。
此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
本公开还提供了一种电子设备，包括：存储器，存储器存储执行指令；以及处理器或其他硬件模块，处理器或其他硬件模块执行存储器存储的执行指令，使得处理器或其他硬件模块执行上述的场景重识别方法。
本公开还提供了一种可读存储介质，可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的场景重识别方法。
在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

Claims (12)

1.一种场景重识别方法，其特征在于，包括：
获取第k帧传感器数据，所述传感器数据包括载具所处环境的点云信息，k为大于1的整数；
获取所述第k帧传感器数据的语义对象信息；
根据所述语义对象信息，生成所述第k帧传感器数据的投影描述子，所述投影描述子表征以所述载具为中心的语义对象局部分布情况；
对所述第k帧传感器数据的投影描述子与先前帧传感器数据的投影描述子进行匹配，以完成场景重识别；
其中，所述投影描述子包括投影带描述子矩阵和局部主方向；
所述投影带描述子矩阵为Na个投影带描述子形成的矩阵，所述Na个投影带描述子表征所述语义对象信息投影至观测坐标系x-y平面的分布情况，Na为预定值；
其中，所述观测坐标系以所述载具的位置为原点，x轴指向所述载具的行驶方向；每个所述投影带描述子表征所述语义对象信息投影至一条投影带描述子线段的分布情况；Na个所述投影带描述子对应的Na条所述投影带描述子线段绕观测坐标系的原点分布在所述观测坐标系的x-y平面；
所述局部主方向用于使用所述观测坐标系下预定的方向向量表示局部语义对象分布的特性；
其中，所述第k帧传感器数据的局部主方向MDk通过下式得到：
Figure FDA0003922363350000011
Figure FDA0003922363350000012
Po＝{xo,yo}
Pg＝{xg,yg}
其中，MDk表示第k帧传感器数据的局部主方向，
Figure FDA0003922363350000013
表示第k帧传感器数据中观测坐标下的预定方向向量，Po表示第k帧传感器数据的语义对象重心，Pg表示第k帧传感器数据的语义对象几何中心，
Figure FDA0003922363350000014
表示
Figure FDA0003922363350000015
在观测坐标系的y轴坐标值，
Figure FDA0003922363350000016
表示
Figure FDA0003922363350000017
在观测坐标系的x轴坐标值；xo表示语义对象重心Po在观测坐标系中的x轴坐标值，yo表示语义对象重心Po在观测坐标系中的y轴坐标值；xg表示语义对象几何中心Pg在观测坐标系中的x轴坐标值，yg表示语义对象几何中心Pg在观测坐标系中的y轴坐标值；
其中，Po通过下式得到：
Figure FDA0003922363350000021
Figure FDA0003922363350000022
其中，Pg通过下式得到：
Figure FDA0003922363350000023
Figure FDA0003922363350000024
其中，xi表示第k帧传感器数据的第i个语义对象在观测坐标系中的x轴坐标值，yi表示第k帧传感器数据的第i个语义对象在观测坐标系中的y轴坐标值，mi表示第k帧传感器数据的第i个语义对象的类别权重，No表示第k帧传感器数据的语义对象总数；
所述对所述第k帧传感器数据的投影描述子与先前帧传感器数据的投影描述子进行匹配，包括：
根据第k帧传感器数据的局部主方向确定主投影带描述子；
根据主投影带描述子与先前帧传感器数据的投影描述子中落入搜索窗口的投影带描述子，执行匹配，以确定第k帧传感器数据的匹配先前帧。
2.根据权利要求1所述的场景重识别方法，其特征在于，
所述语义对象信息包括语义对象的第一权重和语义对象的位置；
每个所述投影带描述子包括Nr个元素，所述元素的值根据所述语义对象的第一权重、语义对象的位置以及相应投影带描述子线段与所述观测坐标系的x轴之间的预定夹角确定，Nr为预定值。
3.根据权利要求2所述的场景重识别方法，其特征在于，所述语义对象信息包括语义对象的点云体积和语义对象的类别权重；所述第一权重根据所述语义对象的点云体积和语义对象的类别权重得到。
4.根据权利要求1所述的场景重识别方法，其特征在于，所述预定的方向向量为所述第k帧传感器数据的语义对象几何中心到语义对象重心的方向向量。
5.根据权利要求4所述的场景重识别方法，其特征在于，
所述语义对象的信息包括语义对象的类别权重、语义对象的位置和所述第k帧传感器数据中语义对象的总数；
所述语义对象几何中心到语义对象重心的方向向量根据所述语义对象的类别权重、所述语义对象的位置和所述第k帧传感器数据中语义对象的总数得到。
6.根据权利要求1所述的场景重识别方法，其特征在于，
所述根据所述主投影带描述子与先前帧传感器数据的投影描述子中落入搜索窗口的投影带描述子，执行匹配，包括：基于预设的匹配度函数执行匹配，所述匹配度函数包含所述主投影带描述子的匹配度和所述主投影带描述子的垂直投影带描述子的匹配度。
7.根据权利要求1所述的场景重识别方法，其特征在于，
所述对所述第k帧传感器数据的投影描述子与先前帧传感器数据的投影描述子进行匹配，还包括：
获得所述第k帧传感器数据的匹配结果，所述匹配结果包括：所述主投影带描述子的匹配投影带描述子的序列号、所述匹配投影带描述子的平移量及其垂直投影带描述子的平移量；
根据所述第k帧传感器数据的匹配结果，确定场景重识别的位姿。
8.根据权利要求7所述的场景重识别方法，其特征在于，
所述场景重识别的位姿包括：所述第k帧传感器数据与其匹配先前帧对应的观测坐标系原点在观测坐标系x-y平面的相对位置和相对姿态。
9.一种场景重识别装置，其特征在于，包括：
数据获取单元，用于获取第k帧传感器数据，所述传感器数据包括载具所处环境的点云信息，k为大于1的整数；
语义获取单元，用于获取所述第k帧传感器数据的语义对象信息；
描述子生成单元，用于根据所述语义对象信息，生成所述第k帧传感器数据的投影描述子，所述投影描述子表征以所述载具为中心的语义对象局部分布情况；
匹配单元，用于对所述第k帧传感器数据的投影描述子与先前帧传感器数据的投影描述子进行匹配，以完成场景重识别；
其中，所述投影描述子包括投影带描述子矩阵和局部主方向；
所述投影带描述子矩阵为Na个投影带描述子形成的矩阵，所述Na个投影带描述子表征所述语义对象信息投影至观测坐标系x-y平面的分布情况，Na为预定值；
所述局部主方向用于使用所述观测坐标系下预定的方向向量表示局部语义对象分布的特性；
其中，所述观测坐标系以所述载具的位置为原点，x轴指向所述载具的行驶方向；
其中，每个所述投影带描述子表征所述语义对象信息投影至一条投影带描述子线段的分布情况；Na个所述投影带描述子对应的Na条所述投影带描述子线段绕观测坐标系的原点分布在所述观测坐标系的x-y平面；
其中，所述第k帧传感器数据的局部主方向MDk通过下式得到：
Figure FDA0003922363350000041
Figure FDA0003922363350000042
Po＝{xo,yo}
Pg＝{xg,yg}
其中，MDk表示第k帧传感器数据的局部主方向，
Figure FDA0003922363350000043
表示第k帧传感器数据中观测坐标下的预定方向向量，Po表示第k帧传感器数据的语义对象重心，Pg表示第k帧传感器数据的语义对象几何中心，
Figure FDA0003922363350000044
表示
Figure FDA0003922363350000045
在观测坐标系的y轴坐标值，
Figure FDA0003922363350000046
表示
Figure FDA0003922363350000047
在观测坐标系的x轴坐标值；xo表示语义对象重心Po在观测坐标系中的x轴坐标值，yo表示语义对象重心Po在观测坐标系中的y轴坐标值；xg表示语义对象几何中心Pg在观测坐标系中的x轴坐标值，yg表示语义对象几何中心Pg在观测坐标系中的y轴坐标值；
其中，Po通过下式得到：
Figure FDA0003922363350000048
Figure FDA0003922363350000049
其中，Pg通过下式得到：
Figure FDA00039223633500000410
Figure FDA00039223633500000411
其中，xi表示第k帧传感器数据的第i个语义对象在观测坐标系中的x轴坐标值，yi表示第k帧传感器数据的第i个语义对象在观测坐标系中的y轴坐标值，mi表示第k帧传感器数据的第i个语义对象的类别权重，No表示第k帧传感器数据的语义对象总数；
其中，所述匹配单元，具体用于：
根据所述第k帧传感器数据的局部主方向确定主投影带描述子；
根据所述主投影带描述子与先前帧传感器数据的投影描述子中落入搜索窗口的投影带描述子，执行匹配，以确定所述第k帧传感器数据的匹配先前帧。
10.根据权利要求9所述的场景重识别装置，其特征在于，
所述匹配单元，还用于获得所述第k帧传感器数据的匹配结果，所述匹配结果包括：所述主投影带描述子的匹配投影带描述子的序列号、所述匹配投影带描述子的平移量及其垂直投影带描述子的平移量；所述场景重识别装置还包括：位姿确定单元，用于根据所述第k帧传感器数据的匹配结果，确定场景重识别的位姿。
11.一种电子设备，其特征在于，包括：
存储器，所述存储器存储执行指令；以及
处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行权利要求1至8中任一项所述的方法。
12.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现权利要求1至8任一项所述的方法。
CN202210301363.3A 2022-03-24 2022-03-24 场景重识别方法、装置、电子设备及存储介质 Active CN114627365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210301363.3A CN114627365B (zh) 2022-03-24 2022-03-24 场景重识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210301363.3A CN114627365B (zh) 2022-03-24 2022-03-24 场景重识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114627365A CN114627365A (zh) 2022-06-14
CN114627365B true CN114627365B (zh) 2023-01-31

Family

ID=81904400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210301363.3A Active CN114627365B (zh) 2022-03-24 2022-03-24 场景重识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114627365B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205470B (zh) * 2022-09-06 2023-02-21 深圳市其域创新科技有限公司 续扫重定位方法、装置、设备、存储介质及三维续扫方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015017941A1 (en) * 2013-08-09 2015-02-12 Sweep3D Corporation Systems and methods for generating data indicative of a three-dimensional representation of a scene
WO2018018994A1 (zh) * 2016-07-27 2018-02-01 无锡知谷网络科技有限公司 室内定位方法及定位系统
CN112181006A (zh) * 2020-10-07 2021-01-05 广州云智通讯科技有限公司 一种基于大数据的环境智能处理方法、系统及存储介质
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
CN113763551A (zh) * 2021-09-08 2021-12-07 北京易航远智科技有限公司 一种基于点云的大规模建图场景的快速重定位方法
CN113792699A (zh) * 2021-09-24 2021-12-14 北京易航远智科技有限公司 一种基于语义点云的对象级快速场景识别方法
CN114088099A (zh) * 2021-11-18 2022-02-25 北京易航远智科技有限公司 基于已知地图的语义重定位方法、装置、电子设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7397970B2 (en) * 2004-12-07 2008-07-08 Lockheed Martin Corporation Automatic scene correlation and identification
CN111325842B (zh) * 2020-03-04 2023-07-28 Oppo广东移动通信有限公司 地图构建方法、重定位方法及装置、存储介质和电子设备
CN113837088A (zh) * 2021-09-24 2021-12-24 杭州大数云智科技有限公司 一种基于语义扫描上下文的点云场景重识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015017941A1 (en) * 2013-08-09 2015-02-12 Sweep3D Corporation Systems and methods for generating data indicative of a three-dimensional representation of a scene
WO2018018994A1 (zh) * 2016-07-27 2018-02-01 无锡知谷网络科技有限公司 室内定位方法及定位系统
CN113554698A (zh) * 2020-04-23 2021-10-26 杭州海康威视数字技术股份有限公司 车辆位姿信息生成方法、装置及电子设备、存储介质
CN112181006A (zh) * 2020-10-07 2021-01-05 广州云智通讯科技有限公司 一种基于大数据的环境智能处理方法、系统及存储介质
CN113763551A (zh) * 2021-09-08 2021-12-07 北京易航远智科技有限公司 一种基于点云的大规模建图场景的快速重定位方法
CN113792699A (zh) * 2021-09-24 2021-12-14 北京易航远智科技有限公司 一种基于语义点云的对象级快速场景识别方法
CN114088099A (zh) * 2021-11-18 2022-02-25 北京易航远智科技有限公司 基于已知地图的语义重定位方法、装置、电子设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Towards holistic scene understanding: Semantic segmentation and beyond;Panagiotis Meletis 等，;《arXiv》;20220116;第2022年卷;全文 *
旋转尺度不变的实时高精度场景匹配算法;姚萌 等，;《北京工业大学学报》;20161130;第42卷(第11期);第1634-1642页 *

Also Published As

Publication number Publication date
CN114627365A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
Rahman et al. Notice of violation of IEEE publication principles: Recent advances in 3D object detection in the era of deep neural networks: A survey
Lim et al. Real-time image-based 6-dof localization in large-scale environments
CN109631855A (zh) 基于orb-slam的高精度车辆定位方法
CN111652934A (zh) 定位方法及地图构建方法、装置、设备、存储介质
Xu et al. Unsupervised segmentation of point clouds from buildings using hierarchical clustering based on gestalt principles
Verucchi et al. Real-Time clustering and LiDAR-camera fusion on embedded platforms for self-driving cars
Finman et al. Toward object-based place recognition in dense rgb-d maps
WO2019185170A1 (en) Electronic device, robotic system and method for localizing a robotic system
CN116662600B (zh) 一种基于轻量结构化线地图的视觉定位方法
Zhang et al. Vehicle global 6-DoF pose estimation under traffic surveillance camera
Tang et al. Multiple-kernel based vehicle tracking using 3D deformable model and camera self-calibration
CN114088099A (zh) 基于已知地图的语义重定位方法、装置、电子设备及介质
Nadeem et al. Direct image to point cloud descriptors matching for 6-dof camera localization in dense 3d point clouds
CN114627365B (zh) 场景重识别方法、装置、电子设备及存储介质
Shi et al. Lidar-based place recognition for autonomous driving: A survey
Zhu et al. A review of 6d object pose estimation
Zhao et al. Visual odometry-A review of approaches
Xu et al. Object detection on robot operation system
Huang et al. Overview of LiDAR point cloud target detection methods based on deep learning
Song et al. ODSPC: deep learning-based 3D object detection using semantic point cloud
Ge et al. An improved VSLAM for mobile robot localization in corridor environment
CN115330861A (zh) 基于物体平面共同表示和语义描述符匹配的重定位算法
CN114842080A (zh) 位姿优化方法、装置、电子设备及存储介质
Liu et al. An improved local descriptor based object recognition in cluttered 3D point clouds
CN113570713A (zh) 一种面向动态环境的语义地图构建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant