CN114140497A - 目标车辆3d实时追踪方法及系统 - Google Patents

目标车辆3d实时追踪方法及系统 Download PDF

Info

Publication number
CN114140497A
CN114140497A CN202111347923.0A CN202111347923A CN114140497A CN 114140497 A CN114140497 A CN 114140497A CN 202111347923 A CN202111347923 A CN 202111347923A CN 114140497 A CN114140497 A CN 114140497A
Authority
CN
China
Prior art keywords
target
feature
search area
target template
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111347923.0A
Other languages
English (en)
Inventor
何文浩
张永昌
郭跃
宋海涛
叶昌键
崔凌志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111347923.0A priority Critical patent/CN114140497A/zh
Publication of CN114140497A publication Critical patent/CN114140497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种目标车辆3D实时追踪方法及系统，方法通过确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆，不仅能够克服复杂的环境干扰，还能高效、准确地完成对目标车辆的实时追踪。

Description

目标车辆3D实时追踪方法及系统
技术领域
本发明涉及车辆跟踪技术领域，尤其涉及一种目标车辆3D实时追踪方法及系统。
背景技术
车辆目标追踪在自动驾驶领域有着重要的作用，其主要步骤为在某一时刻确定需要的追踪的车辆，在随后的一段时间内，不断的锁定目标车辆的位置。目前的追踪方法主要包括依靠图像数据的2D目标追踪和依靠LIDAR的3D目标追踪。
2D目标追踪主要依靠摄像机拍摄的图像数据，在实验室等条件较好的环境下能够发挥很好的效果。但在实际应用场景中，由于其复杂的光照变换和物体遮挡，依靠相机的2D目标追踪算法性能会严重损失。而基于激光雷达的3D目标追踪算法可以很好的克服光照的问题，同时在三维场景中，激光雷达可以有效的策略周围环境相对于雷达的位置关系，实时获取位置距离。因此，3D目标追踪相比于2D追踪具有更好的鲁棒性，也更加接近于实际应用。激光雷达主要通过点云数据反映周围的环境，将现实世界中的各个物体反馈成一个个点。由于点云的稀疏性和无序性，点云处理一直是3D计算机视觉的难题。
因此，如何提高目标车辆的实时追踪准确度成为了本领域技术人员亟需解决的技术问题。
发明内容
本发明提供一种目标车辆3D实时追踪方法及系统，用以解决现有技术中目标车辆追踪准确度低的缺陷，实现高效、准确地完成对目标车辆的实时追踪。
本发明提供一种目标车辆3D实时追踪方法，包括：
确定搜索区域和目标模板；
获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；
根据所述目标模板的局部特征，生成目标模板的全局特征；
根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；
基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；
根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆。
根据本发明提供的一种目标车辆3D实时追踪方法，所述确定搜索区域，包括：
采集当前时刻的三维空间点云数据；
在所述三维空间点云数据中确定上一时刻预测的目标车辆位置；
以所述上一时刻预测的目标车辆位置为圆心，预设距离为半径的圆形区域作为搜索区域。
根据本发明提供的一种目标车辆3D实时追踪方法，所述获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征，包括：
通过激光雷达采集的三维坐标数据，确定所述搜索区域的点特征和所述目标模板的点特征；
将所述搜索区域和所述目标模板内的点云数据经过PointNet++网络分别得到所述搜索区域的局部特征和所述目标模板的局部特征。
根据本发明提供的一种目标车辆3D实时追踪方法，所述将所述搜索区域和所述目标模板内的点云数据经过PointNet++网络分别得到所述搜索区域的局部特征和所述目标模板的局部特征，包括：
通过随机复制或删除方式确定所述目标模板中的点云数据量为第一数据量，所述搜索区域中的点云数据量为第二数据量；
基于预设权重和预设局部特征维度，输入所述第一数据量的目标模板点云数据和所述第二数据量的搜索区域点云数据至PointNet++网络，得到所述搜索区域的局部特征和所述目标模板的局部特征。
根据本发明提供的一种目标车辆3D实时追踪方法，所述根据所述目标模板的局部特征，生成目标模板的全局特征，包括：
将所述目标模板内所有点云数据的局部特征在特征维度上通过Max-Pool网络，生成目标模板的全局特征。
根据本发明提供的一种目标车辆3D实时追踪方法，所述确定所述搜索区域和所述目标模板的相似性特征，包括：
确定相似性函数；
基于所述相似性函数、所述搜索区域的局部特征和所述目标模板的局部特征，构建所述搜索区域和所述目标模板的余弦相似性，生成相似性特征。
根据本发明提供的一种目标车辆3D实时追踪方法，所述基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点，包括：
将所述相似性特征、所述目标模板的点特征和所述目标模板的局部特征进行拼接，得到第一拼接特征；
利用预设层数的感知机网络对所述第一拼接特征进行融合，得到第一融合特征；
对所述第一融合特征在预设维度上进行Max-Pool操作；
将所述进行Max-Pool操作后的特征与所述目标模板的全局特征进行拼接，得到第二拼接特征；
利用预设层数的感知机网络对所述第二拼接特征进行融合，得到第二融合特征；
将所述搜索区域的点特征与所述第二融合特征进行拼接，生成指导点。
根据本发明提供的一种目标车辆3D实时追踪方法，所述根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆，包括：
分别获取每个所述指导点的投票特征、预测目标中心位置和预测分数；
基于提案网络，根据每个所述指导点的投票特征、预测目标中心位置和预测分数，确定候选框和所述候选框的预测分数；
确定所述候选框的预测分数最高的候选框为目标车辆。
根据本发明提供的一种目标车辆3D实时追踪方法，所述分别获取每个所述指导点的投票特征、预测目标中心位置和预测分数，包括：
分别输入每个所述指导点至预设层数共享权重的感知机网络，得到每个所述指导点的投票特征、预测目标中心位置和预测分数。
本发明还提供一种目标车辆3D实时追踪系统，包括：
3D孪生网络模块，用于确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；
特征融合网络模块，用于根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；
投票提案网络模块，用于根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标车辆3D实时追踪方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标车辆3D实时追踪方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标车辆3D实时追踪方法的步骤。
本发明提供的一种目标车辆3D实时追踪方法及系统，方法通过确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆，不仅能够克服复杂的环境干扰，还能高效、准确地完成对目标车辆的实时追踪。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的目标车辆3D实时追踪方法的流程示意图；
图2是本发明实施例提供的多级特征融合的原理示意图；
图3是本发明实施例提供的投票提案过程的原理示意图；
图4是本发明实施例提供的目标车辆3D实时追踪系统的结构示意图；
图5是本发明实施例提供的目标车辆3D实时追踪系统的原理示意图；
图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的一种目标车辆3D实时追踪方法及系统。车辆追踪过程为，在现实场景中，在某一时刻选择需要追踪的目标车辆，确定好目标的位置后，在随后的一段时间内，连续不断的确定目标的位置及方向。主要应用于自主移动机器人、自动驾驶等无人跟踪领域，使用的传感器包括激光雷达传感器，可选地，可以使用辅助定位传感器。在本发明较佳实施例中，采用的激光雷达传感器为LADIR。需要说明的是，本发明同样适用于其他的激光传感器，如激光雷达。本发明也可以增加辅助定位传感器，包括码盘和惯性测量单元(inertial measurement unit,IMU)。
图1是本发明实施例提供的目标车辆3D实时追踪方法的流程示意图；图2是本发明实施例提供的多级特征融合的原理示意图；图3是本发明实施例提供的投票提案过程的原理示意图。
如图1所示，本发明实施例提供的一种目标车辆3D实时追踪方法，包括以下步骤：
101、确定搜索区域和目标模板。
具体的，确定搜索区域可以是，利用传感器采集当前时刻的三维空间点云数据，在三维空间点云数据中确定上一时刻预测的目标车辆位置；以上一时刻预测的目标车辆位置为圆心，预设距离为半径的圆形区域作为搜索区域，例如以半径为3米的圆形区域作为搜索区域。
目标模板的确定可以采用第一时刻(最早时刻)选择的目标车辆或者以往所有的预测结果，本实施例中优选采用最早时刻选择的目标车辆和上一时刻预测的目标框内点集之和作为目标模板，每次更新时刻，都会进行目标模板的更新。在实时采集的当前帧点云数据中，选择要追踪的目标车辆，并确定目标车辆的3D追踪框，作为目标模板。
102、获取搜索区域的点特征、搜索区域的局部特征、目标模板的点特征和目标模板的局部特征。
具体的，获取搜索区域的点特征、搜索区域的局部特征、目标模板的点特征和目标模板的局部特征之前，还需要对搜索区域和目标模板进行标准化处理，输入后端局部特征提取网络时，每次不同的点数会给会使算法的效率降低。因此，在本实施例中，可以将目标模板和搜索区域中的点数，通过随机复制或者删除的方式，固定为1024。
标准化完成之后，进行点特征和局部特征的提取。点特征提取可以是通过激光雷达LIDAR采集的三维坐标数据，特征维度为三，分别代表此点在空间的x,y,z坐标，坐标系建立在激光雷达上，从而确定搜索区域的点特征和目标模板的点特征。也就是目标模板的点特征和搜索区域的点特征均直接来自于点云的三维空间坐标位置信息，目标模板的点特征和搜索区域的点特征由区域内各个点构成，每个点的特征由以观测者为坐标原点的三维坐标构成。
局部特征的提取，则可以是将搜索区域和目标模板内的点云数据经过PointNet++网络分别得到搜索区域的局部特征和目标模板的局部特征。具体则包括了将目标模板和搜索区域内的点云数据进行统一，通过随机复制或删除方式确定目标模板中的点云数据量为第一数据量N1，搜索区域中的点云数据量为第二数据量N2；基于预设权重和预设局部特征维度d，输入第一数据量的目标模板点云数据和第二数据量的搜索区域点云数据至PointNet++网络，得到搜索区域的局部特征和目标模板的局部特征。即采用的backbone网络为共享权重的PointNet++算法中的三层set-abstraction(SA)层，局部半径分别为0.3，0.5，0.7米，采用最远点采样算法(Farthest Point Sampling)，输出关键点数量为128个，维度为128。
103、根据目标模板的局部特征，生成目标模板的全局特征。
在得到目标模板的局部特征之后，获取目标模板的全局特征，可以是将目标模板内所有点云数据的局部特征(N1*d)在特征维度上通过Max-Pool网络算法，生成一个(1*d)维的目标模板的全局特征。
104、根据搜索区域的局部特征和目标模板的局部特征，确定搜索区域和目标模板的相似性特征。
具体的，根据搜索区域的局部特征和目标模板的局部特征，确定搜索区域和目标模板的相似性特征，可以是确定相似性函数，如式(1)所示：
Figure BDA0003354898680000081
其中，T，S分别代表目标模板和搜索区域内的点集；ti为T中第i个点；sj为S中第j个点；
Figure BDA0003354898680000082
为模板中点的局部特征；
Figure BDA0003354898680000083
为搜索区域中点的局部特征。
然后，基于相似性函数、搜索区域的局部特征和目标模板的局部特征，构建搜索区域和目标模板的余弦相似性，生成相似性特征，即输出的相似性特征Sim为(N1*N2*1)维。
105、基于相似性特征，融合模板的点特征、目标模板的局部特征和模板的全局特征至搜索区域，生成指导点。
具体的，基于相似性特征，融合模板的点特征、目标模板的局部特征和模板的全局特征至搜索区域，生成指导点即进行多级特征的融合，融合方式具有很多种，本实施例中采用特征拼接和多层感知机融合的方式实现特征融合，具体可以包括：将相似性特征、目标模板的点特征和目标模板的局部特征进行拼接，得到第一拼接特征，利用预设层数(3层)的感知机网络对第一拼接特征进行融合，得到第一融合特征；对第一融合特征在预设维度(N1维度)上进行Max-Pool操作；将进行Max-Pool操作后的特征与目标模板的全局特征进行拼接，得到第二拼接特征；利用预设层数(3层)的感知机网络对第二拼接特征进行融合，得到第二融合特征；将搜索区域的点特征与第二融合特征进行拼接，生成指导点，即最终生成128个指导点。如图2所示，为具体的指导点生成过程的流程示意图，结合附图可以更加清晰的对128个指导点的生成过程进行理解。
106、根据指导点生成候选框和候选框的预测分数，确定预测分数最高的候选框为目标车辆。
具体的，根据指导点生成候选框和候选框的预测分数，确定预测分数最高的候选框为目标车辆，包括：通过投票模块分别获取每个指导点的投票特征、预测目标中心位置和预测分数，也就是分别输入每个指导点至预设层数共享权重的感知机网络，得到每个指导点的投票特征、预测目标中心位置和预测分数。其中，投票模块可以为3层共享权重的感知机网络。网络训练损失函数为式(2)：
Figure BDA0003354898680000091
其中，Gobj为指导点在目标表面上的总个数；Δxgi表示指导点到预测中心的距离(预测)；
Figure BDA0003354898680000101
指导点到目标中心的实际距离(标签)，
Figure BDA0003354898680000102
[gi在目标上]表示只计算在目标表面上的点。
然后基于提案网络，根据每个指导点的投票特征、预测目标中心位置和预测分数，确定候选框和候选框的预测分数；也就是将每个指导点的投票特征、预测目标中心位置和预测分数输入提案模块，输出候选框和候选框的预测分数。其中，提案模块为PonintNet++中的SA层和3层感知机层，输出K个候选框和对应预测分数，最后确定候选框的预测分数最高的候选框为目标车辆。
提案模块包括了聚类和最终目标框的预测，聚类采用的是PointNet++中的SA层，聚类半径为0.3米，将投票模块中的128个预测中心聚类为64个。目标预测为三层的感知机网络，将投票输出的(3+1+128)维数据输出为4维数据(x,y,z,rot_y，score)，共计64个。其中x,y,z维预测目标的位置，rot_y为目标车辆的方向，score为预测分数，并以预测分数最高的作为最终的预测结果。如图3所示，为具体的将指导点集通过投票模块和提案模块最终得到3D目标框也就是目标车辆的原理过程图。
由于，本实施例使用前采用端到端的训练方法，为一阶目标追踪算法，整体训练损失可以为式(3)：
Ltotal＝Lreg+λ1Lcls+λ2Lobj+λ3Lbox (3)
其中，Lreg表示投票损失；Lcls表示提案网络中，目标位置分类损失，在阈值内为1，在阈值外为0；Lobj和Lbox表示最终预测位置和目标框大小误差损失。
本实施例提供的一种目标车辆3D实时追踪方法，通过确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆，不仅能够克服复杂的环境干扰，还能高效、准确地完成对目标车辆的实时追踪。
基于同一总的发明构思，本申请还保护一种目标车辆3D实时追踪系统，下面对本发明提供的目标车辆3D实时追踪系统进行描述，下文描述的目标车辆3D实时追踪系统与上文描述的目标车辆3D实时追踪方法可相互对应参照。
图4是本发明实施例提供的目标车辆3D实时追踪系统的结构示意图，图5是本发明实施例提供的目标车辆3D实时追踪系统的原理示意图。
如图4所示，本发明实施例提供的一种目标车辆3D实时追踪系统，包括：
3D孪生网络模块41，用于确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；
特征融合网络模块42，用于根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；
投票提案网络模块43，用于根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆。
如图5所示，本实施例中的a、b和c分别对应着3D孪生网络模块41、特征融合网络模块42和投票提案网络模块43，通过原理示意图，可以更加清晰地了解到对目标车辆追踪的全过程，通过在实时场景中采集的当前帧点云数据中，选择要追踪的目标车辆，并确定目标车辆的3D追踪框，然后通过三个网络模块的作用得到最终3D框的过程。
本发明提供的一种目标车辆3D实时追踪系统，通过确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆，不仅能够克服复杂的环境干扰，还能高效、准确地完成对目标车辆的实时追踪。
进一步的，本实施例中的3D孪生网络模块41，具体用于：
采集当前时刻的三维空间点云数据；
在所述三维空间点云数据中确定上一时刻预测的目标车辆位置；
以所述上一时刻预测的目标车辆位置为圆心，预设距离为半径的圆形区域作为搜索区域。
进一步的，本实施例中的3D孪生网络模块41，具体还用于：
通过激光雷达采集的三维坐标数据，确定所述搜索区域的点特征和所述目标模板的点特征；
将所述搜索区域和所述目标模板内的点云数据经过PointNet++网络分别得到所述搜索区域的局部特征和所述目标模板的局部特征。
进一步的，本实施例中的3D孪生网络模块41，具体还用于：
通过随机复制或删除方式确定所述目标模板中的点云数据量为第一数据量，所述搜索区域中的点云数据量为第二数据量；
基于预设权重和预设局部特征维度，输入所述第一数据量的目标模板点云数据和所述第二数据量的搜索区域点云数据至PointNet++网络，得到所述搜索区域的局部特征和所述目标模板的局部特征。
进一步的，本实施例中的特征融合网络模块42，具体用于：
将所述目标模板内所有点云数据的局部特征在特征维度上通过Max-Pool网络，生成目标模板的全局特征。
进一步的，本实施例中的特征融合网络模块42，具体还用于：
确定相似性函数；
基于所述相似性函数、所述搜索区域的局部特征和所述目标模板的局部特征，构建所述搜索区域和所述目标模板的余弦相似性，生成相似性特征。
进一步的，本实施例中的特征融合网络模块42，具体还用于：
将所述相似性特征、所述目标模板的点特征和所述目标模板的局部特征进行拼接，得到第一拼接特征；
利用预设层数的感知机网络对所述第一拼接特征进行融合，得到第一融合特征；
对所述第一融合特征在预设维度上进行Max-Pool操作；
将所述进行Max-Pool操作后的特征与所述目标模板的全局特征进行拼接，得到第二拼接特征；
利用预设层数的感知机网络对所述第二拼接特征进行融合，得到第二融合特征；
将所述搜索区域的点特征与所述第二融合特征进行拼接，生成指导点。
进一步的，本实施例中的投票提案网络模块43，具体用于：
分别获取每个所述指导点的投票特征、预测目标中心位置和预测分数；
基于提案网络，根据每个所述指导点的投票特征、预测目标中心位置和预测分数，确定候选框和所述候选框的预测分数；
确定所述候选框的预测分数最高的候选框为目标车辆。
进一步的，本实施例中的投票提案网络模块43，具体还用于：
分别输入每个所述指导点至预设层数共享权重的感知机网络，得到每个所述指导点的投票特征、预测目标中心位置和预测分数。
图6是本发明实施例提供的电子设备的结构示意图。
如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行目标车辆3D实时追踪方法，该方法包括：确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标车辆3D实时追踪方法，该方法包括：确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标车辆3D实时追踪方法，该方法包括：确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种目标车辆3D实时追踪方法，其特征在于，包括：
确定搜索区域和目标模板；
获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；
根据所述目标模板的局部特征，生成目标模板的全局特征；
根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；
基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；
根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆。
2.根据权利要求1所述的目标车辆3D实时追踪方法，其特征在于，所述确定搜索区域，包括：
采集当前时刻的三维空间点云数据；
在所述三维空间点云数据中确定上一时刻预测的目标车辆位置；
以所述上一时刻预测的目标车辆位置为圆心，预设距离为半径的圆形区域作为搜索区域。
3.根据权利要求1所述的目标车辆3D实时追踪方法，其特征在于，所述获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征，包括：
通过激光雷达采集的三维坐标数据，确定所述搜索区域的点特征和所述目标模板的点特征；
将所述搜索区域和所述目标模板内的点云数据经过PointNet++网络分别得到所述搜索区域的局部特征和所述目标模板的局部特征。
4.根据权利要求3所述的目标车辆3D实时追踪方法，其特征在于，所述将所述搜索区域和所述目标模板内的点云数据经过PointNet++网络分别得到所述搜索区域的局部特征和所述目标模板的局部特征，包括：
通过随机复制或删除方式确定所述目标模板中的点云数据量为第一数据量，所述搜索区域中的点云数据量为第二数据量；
基于预设权重和预设局部特征维度，输入所述第一数据量的目标模板点云数据和所述第二数据量的搜索区域点云数据至PointNet++网络，得到所述搜索区域的局部特征和所述目标模板的局部特征。
5.根据权利要求1所述的目标车辆3D实时追踪方法，其特征在于，所述根据所述目标模板的局部特征，生成目标模板的全局特征，包括：
将所述目标模板内所有点云数据的局部特征在特征维度上通过Max-Pool网络，生成目标模板的全局特征。
6.根据权利要求1所述的目标车辆3D实时追踪方法，其特征在于，所述确定所述搜索区域和所述目标模板的相似性特征，包括：
确定相似性函数；
基于所述相似性函数、所述搜索区域的局部特征和所述目标模板的局部特征，构建所述搜索区域和所述目标模板的余弦相似性，生成相似性特征。
7.根据权利要求1所述的目标车辆3D实时追踪方法，其特征在于，所述基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点，包括：
将所述相似性特征、所述目标模板的点特征和所述目标模板的局部特征进行拼接，得到第一拼接特征；
利用预设层数的感知机网络对所述第一拼接特征进行融合，得到第一融合特征；
对所述第一融合特征在预设维度上进行Max-Pool操作；
将所述进行Max-Pool操作后的特征与所述目标模板的全局特征进行拼接，得到第二拼接特征；
利用预设层数的感知机网络对所述第二拼接特征进行融合，得到第二融合特征；
将所述搜索区域的点特征与所述第二融合特征进行拼接，生成指导点。
8.根据权利要求1所述的目标车辆3D实时追踪方法，其特征在于，所述根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆，包括：
分别获取每个所述指导点的投票特征、预测目标中心位置和预测分数；
基于提案网络，根据每个所述指导点的投票特征、预测目标中心位置和预测分数，确定候选框和所述候选框的预测分数；
确定所述候选框的预测分数最高的候选框为目标车辆。
9.根据权利要求8所述的目标车辆3D实时追踪方法，其特征在于，所述分别获取每个所述指导点的投票特征、预测目标中心位置和预测分数，包括：
分别输入每个所述指导点至预设层数共享权重的感知机网络，得到每个所述指导点的投票特征、预测目标中心位置和预测分数。
10.一种目标车辆3D实时追踪系统，其特征在于，包括：
3D孪生网络模块，用于确定搜索区域和目标模板；获取所述搜索区域的点特征、所述搜索区域的局部特征、所述目标模板的点特征和所述目标模板的局部特征；
特征融合网络模块，用于根据所述目标模板的局部特征，生成目标模板的全局特征；根据所述搜索区域的局部特征和所述目标模板的局部特征，确定所述搜索区域和所述目标模板的相似性特征；基于所述相似性特征，融合所述模板的点特征、所述目标模板的局部特征和所述模板的全局特征至所述搜索区域，生成指导点；
投票提案网络模块，用于根据所述指导点生成候选框和所述候选框的预测分数，确定所述预测分数最高的候选框为目标车辆。
CN202111347923.0A 2021-11-15 2021-11-15 目标车辆3d实时追踪方法及系统 Pending CN114140497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111347923.0A CN114140497A (zh) 2021-11-15 2021-11-15 目标车辆3d实时追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111347923.0A CN114140497A (zh) 2021-11-15 2021-11-15 目标车辆3d实时追踪方法及系统

Publications (1)

Publication Number Publication Date
CN114140497A true CN114140497A (zh) 2022-03-04

Family

ID=80394013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111347923.0A Pending CN114140497A (zh) 2021-11-15 2021-11-15 目标车辆3d实时追踪方法及系统

Country Status (1)

Country Link
CN (1) CN114140497A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375731A (zh) * 2022-07-29 2022-11-22 大连宗益科技发展有限公司 一种关联点和体素的3d点云单目标跟踪方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375731A (zh) * 2022-07-29 2022-11-22 大连宗益科技发展有限公司 一种关联点和体素的3d点云单目标跟踪方法及相关装置
CN115375731B (zh) * 2022-07-29 2023-07-04 大连宗益科技发展有限公司 一种关联点和体素的3d点云单目标跟踪方法及相关装置

Similar Documents

Publication Publication Date Title
CN111079619B (zh) 用于检测图像中的目标对象的方法和装置
CN111898635A (zh) 神经网络的训练方法、数据获取方法和装置
CN111860155A (zh) 一种车道线的检测方法及相关设备
CN113264066A (zh) 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
Pan et al. Towards better performance and more explainable uncertainty for 3d object detection of autonomous vehicles
CN113377888A (zh) 训练目标检测模型和检测目标的方法
CN113724388B (zh) 高精地图的生成方法、装置、设备以及存储介质
CN110969648A (zh) 一种基于点云序列数据的3d目标跟踪方法及系统
CN114937083A (zh) 一种应用于动态环境的激光slam系统及方法
Cao et al. Joint 3D reconstruction and object tracking for traffic video analysis under IoV environment
CN110992424B (zh) 基于双目视觉的定位方法和系统
CN115457288A (zh) 基于鸟瞰视角的多目标跟踪方法、装置、存储介质及设备
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN115578516A (zh) 一种三维成像方法、装置、设备和存储介质
CN112733971B (zh) 扫描设备的位姿确定方法、装置、设备及存储介质
CN117213470B (zh) 一种多机碎片地图聚合更新方法及系统
CN114140497A (zh) 目标车辆3d实时追踪方法及系统
CN116543283B (zh) 一种考虑模态不确定性的多模态目标检测方法
CN113378694A (zh) 生成目标检测和定位系统及目标检测和定位的方法及装置
CN115239776B (zh) 点云的配准方法、装置、设备和介质
CN114913330A (zh) 点云部件分割方法、装置、电子设备与存储介质
CN114511590A (zh) 基于单目视觉3d车辆检测与跟踪的路口多引导线构建方法
CN113963027B (zh) 不确定性检测模型的训练、不确定性的检测方法及装置
Wang et al. LIO-CSI: LiDAR inertial odometry with loop closure combined with semantic information
Fennessy Autonomous vehicle end-to-end reinforcement learning model and the effects of image segmentation on model quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination