CN113706586B - 基于多点位感知的目标跟踪方法及装置、存储介质 - Google Patents

Abstract

本发明公开了一种基于多点位感知的目标跟踪方法及装置、存储介质，所述方法包括：根据目标检测信息判断盲区邻接感知区域是否存在进入预设区域的跟踪目标；若是，则预测跟踪目标进入的第一感知区域及进入时间；基于进入时间生成预测到达时段，确定在预测到达时段内进入第一感知区域的所有新增目标；分别获取每个新增目标和跟踪目标的特征向量，基于特征向量分别计算每个新增目标和跟踪目标的相似度；选取相似度最高且与跟踪目标的相似度大于预设相似阈值的新增目标作为待更新目标，将跟踪目标的目标编号作为待更新目标的目标编号。本发明可实现跨盲区的目标匹配，提高目标跟踪成功率。

Description

基于多点位感知的目标跟踪方法及装置、存储介质

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种基于多点位感知的目标跟踪方法及装置、存储介质。

背景技术

现阶段的自动驾驶车辆受技术水平的限制，仅仅依靠单车智能还无法完美应对所有复杂的路面状况，无法确保自动驾驶车辆的道路安全。路侧的多传感器融合方案可将远大于单车传感器感知范围的信息实时传递给车辆，实现辅助驾驶，可大大提升自动驾驶车辆的道路安全。

然而，因路侧传感器布设环境恶劣或传感器数量不足等原因，路侧的多传感器融合方案仍旧可能存在感知盲区，可能导致车辆跟踪目标丢失或错乱，无法提供准确信息给车辆，辅助驾驶的效果大大降低。

发明内容

本发明解决的问题是路侧的多传感器融合方案存在感知盲区时，可能出现车辆跟踪目标丢失或错乱的情况，辅助驾驶的效果降低。

本发明提出一种基于多点位感知的目标跟踪方法，包括：

接收盲区邻接感知区域的目标检测信息，根据所述目标检测信息判断所述盲区邻接感知区域是否存在进入预设区域的跟踪目标，其中，所述预设区域为盲区或所述盲区邻接感知区域内的盲区临界区；

若是，则预测所述跟踪目标在所述盲区的行动轨迹，得到所述跟踪目标随后进入的第一感知区域及对应的进入时间，其中，所述第一感知区域为所述跟踪目标离开所述盲区后进入的第一个感知区域；

基于所述进入时间生成预测到达时段，接收所述第一感知区域在所述预测到达时段内的目标检测信息，进而确定在所述预测到达时段内进入所述第一感知区域的所有新增目标；

分别获取每个所述新增目标和所述跟踪目标的特征向量，基于所述特征向量分别计算每个所述新增目标和所述跟踪目标的相似度；

判断是否存在与所述跟踪目标的相似度大于预设相似阈值的新增目标；

若是，则从与所述跟踪目标的相似度大于预设相似阈值的新增目标中，选取相似度最高的新增目标作为待更新目标，判定所述待更新目标与所述跟踪目标为同一目标，将所述跟踪目标的目标编号作为所述待更新目标的目标编号。

可选地，所述预测所述跟踪目标在所述盲区的行动轨迹，得到所述跟踪目标随后进入的第一感知区域及对应的进入时间，包括：

基于车道级地图和预设的感应数据库获取所述跟踪目标的历史轨迹数据；

采用预设轨迹预测模型中基于卷积神经网络的编解码结构从所述历史轨迹数据中提取特征，基于所述特征预测所述跟踪目标可能进入的第一感知区域，其中，所述第一感知区域有一个或多个；

将所述预设区域作为起点、所述第一感知区域作为终点，生成第一预测轨迹集合；

基于所述车道级地图上的可行驶区域确定所述第一预测轨迹集合中的不合理轨迹，将所述不合理轨迹删除或者将所述不合理轨迹降低置信度；

将所述第一预测轨迹集合中剩余的轨迹或者置信度最高的预设条轨迹作为第二预测轨迹，预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间。

可选地，所述预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间包括：

获取在所述跟踪目标之前预设时长内，从同一车道进入所述盲区的在前目标；

获取所述跟踪目标和所述在前目标的历史速度，基于所述历史速度判断在进入所述盲区后，所述跟踪目标与所述在前目标之间的距离是否小于预设安全距离；

若否，则基于所述跟踪目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间；

若是，则当所述跟踪目标的历史速度小于或等于所述在前目标的历史速度时，基于所述跟踪目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间；当所述跟踪目标的历史速度大于所述在前目标的历史速度时，基于所述在前目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间。

可选地，所述基于所述在前目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间包括：

获取所述盲区内所述第二预测轨迹上的可超车区域，其中，所述可超车区域为基于所述车道级地图中的实线和虚线数据确定；

基于预置的超车模型判断所述跟踪目标是否超越所述在前目标；

若是，则基于所述在前目标的历史速度计算所述盲区的入口至所述可超车区域的第一耗时，基于所述跟踪目标的历史速度计算所述可超车区域至所述盲区的出口的第二耗时，根据所述第一耗时和所述第二耗时预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间；

若否，则基于预测的所述在前目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间计算所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间。

可选地，所述基于所述跟踪目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间包括：

将所述第二预测轨迹的长度除以所述跟踪目标的历史速度，得到无阻行驶时长；

判断所述第二预测轨迹上是否存在信号灯控；

若是，则获取信号灯等待时间以及排队时间，基于所述信号灯等待时间、所述排队时间及所述无阻行驶时长之和预测所述跟踪目标进入对应的第一感知区域的进入时间；

若否，则基于所述无阻行驶时长预测所述跟踪目标进入对应的第一感知区域的进入时间。

可选地，所述将所述跟踪目标的目标编号作为所述待更新目标的目标编号之后，还包括：

获取所述待更新目标到达所述第一感知区域的时间和位置；

基于所述待更新目标到达所述第一感知区域的时间和位置，确定所述跟踪目标在所述盲区的实际轨迹，以修正所述跟踪目标在所述盲区的预测轨迹。

可选地，所述分别获取每个所述新增目标和所述跟踪目标的特征向量之前，还包括：

接收所述第一感知区域的原始感知数据；

使用基于深度学习的目标检测网络从所述原始感知数据中提取所述新增目标的特征向量，并保存提取所述新增目标的特征向量时的置信度或者所述新增目标的尺寸或点云数量；

当所述置信度大于历史置信度，或者当所述新增目标的尺寸大于历史尺寸，或者当所述点云数量大于历史点云数量时，更新特征向量；

当所述置信度小于历史置信度，且所述跟踪目标的尺寸小于历史尺寸，且所述点云数量小于历史点云数量时，保留当前的特征向量。

可选地，所述目标检测信息按照预设标准封装，其中，封装内容包含所述跟踪队列中每个目标的以下属性：时间戳、目标底面中心点位置、目标方向角、目标类别、目标的轨迹点集、目标的速度、目标的尺寸、目标的特征向量。

可选地，所述判断是否存在与所述跟踪目标的相似度大于预设相似阈值的新增目标之后，还包括：

若不存在与所述跟踪目标的相似度大于预设相似阈值的新增目标，则扩大所述预测到达时段，获取在扩大后的所述预测到达时段内进入所述第一感知区域的所有新增目标，重新执行所述分别获取每个所述新增目标和所述跟踪目标的特征向量的步骤。

本发明还提出一种基于多点位感知的目标跟踪装置，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的基于多点位感知的目标跟踪方法。

本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的基于多点位感知的目标跟踪方法。

本发明通过预测跟踪目标在盲区内的轨迹，结合特征匹配的方法让跟踪目标再次出现在感知范围内时能与上一次出现时的id相匹配，使本发明能够适用于感知设备部署数量少、盲区多的实际情况，易于推广。此外，通过预测跟踪目标进入的第一感知区域及对应的进入时间，限定了与跟踪目标进行相似对比的新增目标，缩小了对比范围，减小计算量的同时，再次跟踪目标的成功率更高。

附图说明

图1为本发明实施例基于多点位感知的目标跟踪方法的一流程示意图；

图2为本发明实施例基于多点位感知的目标跟踪方法的另一流程示意图；

图3为本发明实施例基于多点位感知的目标跟踪方法的又一流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

首先，对实施本发明基于多点位感知的目标跟踪方法的软硬件基础进行简要介绍。部署基于多点位感知的目标跟踪系统，包括：感知装置、分析装置、融合装置及NTP(Network Time Protocol)服务器。其中，感知装置包括路侧的感知设备，如视频图像采集设备（如摄像头）、激光雷达、毫米波雷达等，用于采集原始感知数据，一个感知装置对应一个点位；分析装置用于分析感知装置采集的原始感知数据；融合装置用于将多个点位的数据进行融合；可选地，分析装置与感知装置集成在一个设备中。将所有装置的时间与NTP服务器同步，实现感知融合系统中所有装置的时钟同步。进一步地，融合装置上设置基于多点位感知的目标跟踪程序，该程序被执行时，实现如下各个实施例所述操作。

参考图1，一实施例中，本发明基于多点位感知的目标跟踪方法包括：

步骤S100，接收盲区邻接感知区域的目标检测信息，根据所述目标检测信息判断所述盲区邻接感知区域是否存在进入预设区域的跟踪目标，其中，所述预设区域为盲区或所述盲区邻接感知区域内的盲区临界区。

一个区域内部署的感知设备，其感知范围可能并未完全覆盖整个区域，存在感知盲区，将区域分为感知设备可感知的感知区域和感知设备不可感知的盲区，与盲区相邻的感知区域即本文所称的盲区邻接感知区域，盲区临界区，是盲区邻接感知区域内靠近盲区的设定区域。可基于感知设备的感知区域类型对感知设备进行标识，如将盲区邻接感知区域与对应的感知设备做特殊标记。融合装置可通过数据来源的感知设备判断当前接收的信息是否为盲区邻接感知区域的目标检测信息，具体地，在接收到来源于盲区邻接感知区域的感知设备的目标检测信息时，判定当前接收到盲区邻接感知区域的目标检测信息；在接收到来源于不与盲区相邻的感知区域的目标检测信息时，判定当前接收到的目标检测信息是不与盲区相邻的感知区域的目标检测信息。

感知设备用于采集感知区域的原始感知数据，可在感知设备或感知设备的上级设备（如部署分析装置或融合装置的边缘计算设备）中部署目标检测算法。目标检测算法部署在感知设备时，感知设备在采集到原始感知数据后，采用相应的目标检测算法对原始感知数据进行目标检测，将目标检测结果发送给融合装置。目标检测算法部署在感知设备的上级设备时，感知设备将采集到的原始感知数据发送给上级设备，由上级设备采用相应的目标检测算法对原始感知数据进行目标检测。

感知设备可能为摄像头、激光雷达、毫米波雷达、超声波、红外等传感设备，不同感知设备采集的原始感知数据使用对应的目标检测算法进行目标检测。例如，当接收到摄像头采集的图像帧时，使用基于深度学习的图像目标检测方法（包括但不限于yolo v4算法，yolo v5算法，ssd算法，centernet算法等）对所述图像帧进行目标检测，获得图像目标检测信息；当接收到激光雷达采集的点云集时，使用基于深度学习的激光雷达目标检测方法（包括但不限于VoxelNet算法，pointpillars算法，RT3D算法等）对所述点云集进行目标检测。

融合装置接收感知设备发送的目标检测信息，其中，目标检测信息可为原始感知数据，如图像帧或点云集等。

目标检测信息也可为对原始感知数据进行相应目标检测获得的目标信息，如目标坐标信息、目标队列信息等，可选地，所述目标检测信息按照预设标准封装，其中，封装内容包含所述跟踪队列中每个目标的以下属性：时间戳、目标底面中心点位置、目标方向角、目标类别、目标的轨迹点集、目标的速度、目标的尺寸、目标的特征向量。当某种传感器检测结果不具备对应属性时将结果置0。其中，时间戳精确到毫秒。目标底面中心点位置，其包含经度、纬度、高度，其中，经度可精确到小数点后6位，单位为度；纬度可精确到小数点后6位，单位为度；高度可精确到小数点后3位，单位为米。目标方向角，以正北方向为0度，方向角精确到小数点后3位，单位为度。目标类别用于表示目标是什么物体。目标的轨迹点集，包含目标过去预设帧数（如50帧）的中心点位置。目标的速度，包含经度方向的速度，纬度方向的速度，高度方向上的速度。目标的尺寸，包含目标长度，目标宽度，目标高度。

若盲区邻接感知区域不存在进入预设区域的跟踪目标，则继续执行步骤S100。

步骤S200，若是，则预测所述跟踪目标在所述盲区的行动轨迹，得到所述跟踪目标随后进入的第一感知区域及对应的进入时间，其中，所述第一感知区域为所述跟踪目标离开所述盲区后进入的第一个感知区域。

若盲区邻接感知区域存在进入预设区域的跟踪目标，则分别预测每个跟踪目标在盲区的行动轨迹，可选地，可预存相应区域的车道级地图，确定感知区域和盲区在该车道级地图上的位置数据；获取每个跟踪目标进入盲区的位置；基于所述车道级地图上的位置数据和进入盲区的位置，分别对每个跟踪目标在盲区的行动轨迹进行预测。

因第一感知区域为预测结果，而在起点固定的情况下，根据盲区内道路情况的不同，跟踪目标的终点可能有一个或多个，即第一感知区域的数量可能有一个或多个，在步骤S200中，预测得到的跟踪目标在盲区的行动轨迹的数量可能有多个，第一感知区域也可能有多个，每个第一感知区域可能对应一个或多个进入时间，因为在起点和终点（第一感知区域）确定的情况下可能有多条行驶轨迹，不同行驶轨迹对应的进入时间可能不同。其中，进入时间指预测跟踪目标到达第一感知区域的时间。

可选地，如图2所示，步骤S200中所述预测所述跟踪目标在所述盲区的行动轨迹，得到所述跟踪目标随后进入的第一感知区域及对应的进入时间，包括：

步骤S201，基于车道级地图和预设的感应数据库获取所述跟踪目标的历史轨迹数据。

预设的感应数据库中包含跟踪目标的轨迹数据，车道级地图包含道路路段数据，结合车道级地图上连续的路段数据和感应数据库中跟踪目标的轨迹数据，可获得跟踪目标的历史轨迹数据，即跟踪目标行驶过的路段数据。

可选地，基于车道级地图和预设的感应数据库，获取预设时长内跟踪目标的历史轨迹数据，比如，跟踪目标8小时内的历史轨迹数据，跟踪目标24小时内的历史轨迹数据等。

步骤S202，采用预设轨迹预测模型中基于卷积神经网络的编解码结构从所述历史轨迹数据中提取特征，基于所述特征预测所述跟踪目标可能进入的第一感知区域，其中，所述第一感知区域有一个或多个。

预设轨迹预测模型为预先训练好的轨迹预测模型，该轨迹预测模型的训练数据，通过无人机采集、高点视频采集、浮动车GPS数据采集等采集多种道路条件下各种车辆的行驶轨迹。

因受限于固定的道路设计，道路上的机动车辆的行为方式有较高的规律性。而分叉路口的存在，使得不同目标可能有不同的路径选择。通过预设轨迹预测模型，对进入限定预测区域（盲区）的车辆进行轨迹预测，得到其可能进入的第一感知区域。

步骤S203，将所述预设区域作为起点、所述第一感知区域作为终点，生成第一预测轨迹集合。

将预设区域作为起点，具体可指：将跟踪目标进入盲区的位置作为起点。将第一感知区域作为终点，具体可指：将跟踪目标出盲区的位置作为终点。

第一感知区域可能有一个或多个，因而可能有多个起点-终点对，而一个起点-终点对可能有多条轨迹，将预设区域作为起点、第一感知区域作为终点生成包含多条轨迹的轨迹簇，即第一预测轨迹集合。在生成轨迹簇时，可首先在起终点之间生成所有的控制点，通过曲线将控制点进行连接得到轨迹，其中，连接的方法包括但不限于样条曲线、Bezier曲线、多项式混合曲线等。

步骤S204，基于所述车道级地图上的可行驶区域确定所述第一预测轨迹集合中的不合理轨迹，将所述不合理轨迹删除或者将所述不合理轨迹降低置信度。

其中，降低置信度的方法包括但不限于线性衰减，指数衰减，高斯衰减函数等。

步骤S205，将所述第一预测轨迹集合中剩余的轨迹或者置信度最高的预设条轨迹作为第二预测轨迹，预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间。

将第一预设轨迹中剩余的所有轨迹，或者剩余的所有轨迹中置信度最高的预设条轨迹作为第二预测轨迹。在轨迹确定的情况下，结合跟踪目标的历史速度可预估相应的同行时间，即预测跟踪目标在第二预测轨迹上进入对应第一感知区域的进入时间。

可选地，步骤S205中所述预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间包括：

获取在跟踪目标之前预设时长内，从同一车道进入盲区的在前目标；其中，从同一车道上进入盲区的目标分配到各个感知区域的概率是相等的，在在同一车道上间隔预设时长进入盲区的在前目标与跟踪目标之间可能存在阻挡与被阻挡关系，在前目标的行驶速度可能影响跟踪目标的行驶速度，进而影响跟踪目标实际到达第一感知区域的时间。

在获取在前目标后，获取跟踪目标和在前目标的历史速度，基于历史速度判断在进入盲区后，跟踪目标与在前目标之间的距离是否小于预设安全距离；具体而言，可直接获取或者预估跟踪目标与在前目标的当前距离，判断当前距离是否小于预设安全距离，若是，则直接判定在进入盲区后，跟踪目标与在前目标之间的距离小于预设安全距离，若否，则根据两个目标的当前距离，以及两个目标各自的历史速度，计算在盲区内，两个目标之间的距离是否可能小于预设安全距离，若在盲区内，两个目标之间的距离不可能小于预设安全距离，则说明在前目标不会影响跟踪目标的行驶速度，则直接基于跟踪目标的历史速度预测跟踪目标在第二预测轨迹上进入对应的第一感知区域的进入时间；若在盲区内，两个目标之间的距离可能小于预设安全距离，说明在盲区内，在前目标会阻挡跟踪目标，对跟踪目标的行驶速度可能产生影响，需要进一步基于在前目标的预测跟踪目标进入对应的第一感知区域的进入时间。

具体地，若在进入盲区后，跟踪目标与在前目标之间的距离小于预设安全距离，则判断跟踪目标的历史速度是否小于在前目标的历史速度；当跟踪目标的历史速度小于或等于在前目标的历史速度时，在前目标基本上处于比跟踪目标快的状态，对跟踪目标的行驶速度不会产生很大影响，因而直接基于跟踪目标的历史速度预测跟踪目标在第二预测轨迹上进入对应的第一感知区域的进入时间；

当跟踪目标的历史速度大于在前目标的历史速度时，在前目标比跟踪目标慢，跟踪目标不可避免地需要减速，即在前目标对跟踪目标的影响较大，基于在前目标的历史速度预测跟踪目标在第二预测轨迹上进入对应的第一感知区域的进入时间。

进一步具体地，所述基于所述在前目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间包括：

获取所述盲区内所述第二预测轨迹上的可超车区域，其中，所述可超车区域为基于所述车道级地图中的实线和虚线数据确定；

基于预置的超车模型判断所述跟踪目标是否超越所述在前目标；

若是，则基于所述在前目标的历史速度计算所述盲区的入口至所述可超车区域的第一耗时，因从盲区的入口至可超车区域，受在前目标的影响较大，因此基于在前目标的历史速度计算这段路程的耗时，即第一耗时，再在超车后，即可基于跟踪目标自身的速度计算耗时，即基于所述跟踪目标的历史速度计算所述可超车区域至所述盲区的出口的第二耗时，根据所述第一耗时和所述第二耗时预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间，具体可将第一耗时和第二耗时之和作为跟踪目标在盲区内的总耗时，结合跟踪目标进入盲区的时间预测跟踪目标在第二预测轨迹上进入对应的第一感知区域的进入时间；

若否，则基于预测的所述在前目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间计算所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间。因跟踪目标未超车，所以基于在前目标的预测结果得到跟踪目标的预测结果，可将在前目标进入第一感知区域的进入时间作为跟踪目标在第二预测轨迹上进入对应的第一感知区域的进入时间。

其中，通过将感知融合和仿真放在同一个车道级地图中，将感知盲区划分为仿真区域，每一次感知融合提取的结构化数据都映射到车道级地图中，当感知的目标在地图上进入盲区实际上就是将目标结构化数据输入了仿真引擎，在仿真引擎中集成轨迹预测算法和超车模型，使用仿真引擎，对进入到盲区的所有目标的轨迹进行预测，并执行所述获取所述盲区内所述第二预测轨迹上的可超车区域及其之后的操作。

其中，超车模型可使用现有的常规超车模型，此处不赘述。

通过在盲区中判断是否有前车阻挡的情况，以及若有前车阻挡就判断是否超车的操作，可更为准确预测盲区内的跟踪目标行驶时间，进而更为准确预测跟踪目标进入第一感知区域的进入时间。

所述基于所述跟踪目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间包括：

将所述第二预测轨迹的长度除以所述跟踪目标的历史速度，得到无阻行驶时长；

判断所述第二预测轨迹上是否存在信号灯控；

若是，则获取信号灯等待时间以及排队时间，基于所述信号灯等待时间、所述排队时间及所述无阻行驶时长之和预测所述跟踪目标进入对应的第一感知区域的进入时间；其中，将信号灯等待时间、排队时间及无阻行驶时长之和作为跟踪目标在盲区内的总耗时，结合跟踪目标进入盲区的时间，即可计算得到跟踪目标离开盲区的时间，即进入对应的第一感知区域的进入时间。

当所述第二预测轨迹上不存在信号灯控时，基于所述无阻行驶时长预测所述跟踪目标进入对应的第一感知区域的进入时间，此时，将无阻行驶时长作为跟踪目标在盲区内的总耗时，结合跟踪目标进入盲区的时间，即可计算得到跟踪目标离开盲区的时间。

其中，信号灯等待时间以及排队时间指第二预测轨迹上的信号等待时间和排队时间，可直接获取。

通过考虑跟踪目标在第二预测轨迹上的多种情形，不同情形使用不同的进入时间预估方法，实现进入时间的准确预测，提高在第一感知区域再次锁定跟踪目标的几率。

步骤S300，基于所述进入时间生成预测到达时段，接收所述第一感知区域在所述预测到达时段内的目标检测信息，进而确定在所述预测到达时段内进入所述第一感知区域的所有新增目标。

考虑到因为可能出现偏差，进入时间并不一定等于实际的到达时间，为提高在第一感知区域再次锁定跟踪目标的几率，基于进入时间和可能的偏差计算预测到达时段，例如，进入时间为t，可能的偏差

，预测到达时段为

，跟踪目标可能在预测到达时段内到达第一感知区域。

新增目标，指在预测到达时段内进入第一感知区域的所有目标。

步骤S400，分别获取每个所述新增目标和所述跟踪目标的特征向量，基于所述特征向量分别计算每个所述新增目标和所述跟踪目标的相似度。

新增目标和跟踪目标的特征向量，由基于深度学习的图像目标检测方法或基于深度学习的激光雷达目标检测方法中的目标检测网络的特征输出层输出。可通过计算新增目标和跟踪目标特征向量的欧几里得距离、曼哈顿距离或余弦相似度，作为新增目标和跟踪目标的相似度。

步骤S400中的新增目标，指所有第一感知区域的所有新增目标。

步骤S500，判断是否存在与所述跟踪目标的相似度大于预设相似阈值的新增目标；

步骤S600，若是，则从与所述跟踪目标的相似度大于预设相似阈值的新增目标中，选取相似度最高的新增目标作为待更新目标，将所述跟踪目标的目标编号作为所述待更新目标的目标编号。即判定所述待更新目标与所述跟踪目标为同一目标。

具体地，在计算出每个新增目标与跟踪目标的相似度后，首先判断是否存在与跟踪目标相似度大于预设相似阈值的新增目标，若存在，则判断与跟踪目标相似度大于预设相似阈值的新增目标有一个还是多个，若只有一个，则该与跟踪目标相似度大于预设相似阈值的新增目标就是待更新目标，且该新增目标出现的第一感知区域为跟踪目标实际到达的终点，若与跟踪目标相似度大于预设相似阈值的新增目标有多个，则取其中相似度最高的新增目标作为待更新目标，该待更新目标出现的第一感知区域为跟踪目标实际到达的终点。

若不存在与所述跟踪目标的相似度大于预设相似阈值的新增目标，则扩大所述预测到达时段，获取在扩大后的所述预测到达时段内进入所述第一感知区域的所有新增目标，重新执行所述分别获取每个所述新增目标和所述跟踪目标的特征向量的步骤及其之后的步骤。

其中，扩大预测到达时段，指扩大时间范围，在扩大时间范围后，进入第一感知区域的新增目标数量增多，扩大与跟踪目标对比的新增目标，可提高目标匹配成功率。

对于多点位感知融合进行目标跟踪的方案，当感知设备没有完全覆盖整个区域，存在感知盲区时，为完成跟踪目标的跟踪，减小目标id错乱，预测跟踪目标在盲区内的轨迹，结合特征匹配的方法让跟踪目标再次出现在感知范围内时能与上一次出现时的id相匹配，使本发明能够适用于感知设备部署数量少、盲区多的实际情况，易于推广。此外，通过预测跟踪目标进入的第一感知区域及对应的进入时间，限定了与跟踪目标进行相似对比的新增目标，缩小了对比范围，减小计算量的同时，再次跟踪目标的成功率更高。

可选地，步骤S600之后还包括如下步骤：获取所述待更新目标到达所述第一感知区域的时间和位置；基于所述待更新目标到达所述第一感知区域的时间和位置，确定所述跟踪目标在所述盲区的实际轨迹，以修正所述跟踪目标在所述盲区的预测轨迹。

此步骤中获取的待更新目标到达第一感知区域的时间和位置是待更新目标实际到达第一感知区域的时间和位置，在确定待更新目标与跟踪目标为同一目标后，待更新目标到达第一感知区域的位置，即跟踪目标的终点，基于跟踪目标的起点和终点，可对跟踪目标实际的行驶轨迹进行初步筛选，根据待更新目标到达第一感知区域的时间，可计算出跟踪目标经过盲区的时长，基于此，可进一步筛选出跟踪目标的实际轨迹，进而修正跟踪目标在盲区的预测轨迹，进而完成一次跨摄像头的轨迹重建。

通过基于跟踪目标实际到达位置和到达时间，对跟踪目标在盲区内的轨迹进行修正，补全跟踪目标在两个感知区域/监控范围之间的盲区的轨迹，获得跟踪目标的完整轨迹数据，便于实现基于轨迹数据的上层应用。

为便于理解，给出一示例：假设摄像头1中跟踪目标小汽车id为28103，依据道路路网和车辆的行驶状态，通过轨迹预测预测了目标小汽车的轨迹与下一次出现在摄像头2下的时间戳t，基于时间戳t和可能的偏差

，在

范围内对出现在摄像头2下的新的车辆特征与摄像头1提取的id为28103的小汽车特征向量进行对比，超过相似度阈值则将新的车辆的id定为28103，并根据28103进入摄像头2的时间和位置将预测轨迹基于终点进行轨迹样条曲线修正，完成一次跨摄像头的轨迹重建。

可选地，如图3所示，步骤S400之前还包括如下步骤：

接收感知设备输入的第一感知区域的原始感知数据，对其进行目标检测。使用基于深度学习的目标检测网络从所述原始感知数据中提取所述新增目标的特征向量，并保存提取所述新增目标的特征向量时的置信度或者所述新增目标的尺寸或点云数量，通过置信度、尺寸或点云数量表征特征向量的可靠性。其中，特征向量可由目标检测网络的特征输出层输出。

当所述置信度大于历史置信度，或者当所述新增目标的尺寸大于历史尺寸，或者当所述点云数量大于历史点云数量时，更新特征向量。

当所述置信度小于历史置信度，且所述跟踪目标的尺寸小于历史尺寸，且所述点云数量小于历史点云数量时，保留当前的特征向量。

其中，置信度较高、尺寸或点云数量较大时目标受遮挡较少，保存目标获取当前特征向量时的置信度，以及获取当前特征向量时在图像中的尺寸或点云数量，基于在跟踪目标的过程中，随着置信度或尺寸/点云数量的提升更新特征向量，以保证特征向量的准确性，进而保证目标匹配的准确性。

本发明一实施例中，基于多点位感知的目标跟踪装置包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的基于多点位感知的目标跟踪方法。本发明基于多点位感知的目标跟踪装置相对于现有技术所具有的有益效果与上述基于多点位感知的目标跟踪方法一致，此处不赘述。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于多点位感知的目标跟踪方法，其特征在于，包括：

接收盲区邻接感知区域的目标检测信息，根据所述目标检测信息判断所述盲区邻接感知区域是否存在进入预设区域的跟踪目标，其中，所述预设区域为盲区或所述盲区邻接感知区域内的盲区临界区；

若是，则预测所述跟踪目标在所述盲区的行动轨迹，得到所述跟踪目标随后进入的第一感知区域及对应的进入时间，其中，所述第一感知区域为所述跟踪目标离开所述盲区后进入的第一个感知区域；

基于所述进入时间生成预测到达时段，接收所述第一感知区域在所述预测到达时段内的目标检测信息，确定在所述预测到达时段内进入所述第一感知区域的所有新增目标；

分别获取每个所述新增目标和所述跟踪目标的特征向量，基于所述特征向量分别计算每个所述新增目标和所述跟踪目标的相似度；

判断是否存在与所述跟踪目标的相似度大于预设相似阈值的新增目标；

若是，则从与所述跟踪目标的相似度大于预设相似阈值的新增目标中，选取相似度最高的新增目标作为待更新目标，判定所述待更新目标与所述跟踪目标为同一目标，将所述跟踪目标的目标编号作为所述待更新目标的目标编号；

所述预测所述跟踪目标在所述盲区的行动轨迹，得到所述跟踪目标随后进入的第一感知区域及对应的进入时间包括：

基于车道级地图和预设的感应数据库获取所述跟踪目标的历史轨迹数据；

采用预设轨迹预测模型中基于卷积神经网络的编解码结构从所述历史轨迹数据中提取特征，基于所述特征预测所述跟踪目标可能进入的第一感知区域，其中，所述第一感知区域有一个或多个；

将所述预设区域作为起点、所述第一感知区域作为终点，生成第一预测轨迹集合；

基于所述车道级地图上的可行驶区域确定所述第一预测轨迹集合中的不合理轨迹，将所述不合理轨迹删除或者将所述不合理轨迹降低置信度；

将所述第一预测轨迹集合中剩余的轨迹或者置信度最高的预设条轨迹作为第二预测轨迹，预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间；

所述预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间包括：

获取在所述跟踪目标之前预设时长内，从同一车道进入所述盲区的在前目标；

获取所述跟踪目标和所述在前目标的历史速度，基于所述历史速度判断在进入所述盲区后，所述跟踪目标与所述在前目标之间的距离是否小于预设安全距离；

若否，则基于所述跟踪目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间；

若是，则当所述跟踪目标的历史速度小于或等于所述在前目标的历史速度时，基于所述跟踪目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间；当所述跟踪目标的历史速度大于所述在前目标的历史速度时，基于所述在前目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间。

2.如权利要求1所述的基于多点位感知的目标跟踪方法，其特征在于，所述基于所述在前目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间包括：

获取所述盲区内所述第二预测轨迹上的可超车区域，其中，所述可超车区域为基于所述车道级地图中的实线和虚线数据确定；

基于预置的超车模型判断所述跟踪目标是否超越所述在前目标；

若是，则基于所述在前目标的历史速度计算所述盲区的入口至所述可超车区域的第一耗时，基于所述跟踪目标的历史速度计算所述可超车区域至所述盲区的出口的第二耗时，根据所述第一耗时和所述第二耗时预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间；

若否，则基于预测的所述在前目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间计算所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间。

3.如权利要求1所述的基于多点位感知的目标跟踪方法，其特征在于，所述基于所述跟踪目标的历史速度预测所述跟踪目标在所述第二预测轨迹上进入对应的第一感知区域的进入时间包括：

将所述第二预测轨迹的长度除以所述跟踪目标的历史速度，得到无阻行驶时长；

判断所述第二预测轨迹上是否存在信号灯控；

若是，则获取信号灯等待时间以及排队时间，基于所述信号灯等待时间、所述排队时间及所述无阻行驶时长之和预测所述跟踪目标进入对应的第一感知区域的进入时间；

若否，则基于所述无阻行驶时长预测所述跟踪目标进入对应的第一感知区域的进入时间。

4.如权利要求1所述的基于多点位感知的目标跟踪方法，其特征在于，所述将所述跟踪目标的目标编号作为所述待更新目标的目标编号之后，还包括：

获取所述待更新目标到达所述第一感知区域的时间和位置；

基于所述待更新目标到达所述第一感知区域的时间和位置，确定所述跟踪目标在所述盲区的实际轨迹，以修正所述跟踪目标在所述盲区的预测轨迹。

5.如权利要求1所述的基于多点位感知的目标跟踪方法，其特征在于，所述分别获取每个所述新增目标和所述跟踪目标的特征向量之前，还包括：

接收所述第一感知区域的原始感知数据；

使用基于深度学习的目标检测网络从所述原始感知数据中提取所述新增目标的特征向量，并保存提取所述新增目标的特征向量时的置信度或者所述新增目标的尺寸或点云数量；

当所述置信度大于历史置信度，或者当所述新增目标的尺寸大于历史尺寸，或者当所述点云数量大于历史点云数量时，更新特征向量；

当所述置信度小于历史置信度，且所述跟踪目标的尺寸小于历史尺寸，且所述点云数量小于历史点云数量时，保留当前的特征向量。

6.如权利要求1所述的基于多点位感知的目标跟踪方法，其特征在于，所述判断是否存在与所述跟踪目标的相似度大于预设相似阈值的新增目标之后，还包括：

若不存在与所述跟踪目标的相似度大于预设相似阈值的新增目标，则扩大所述预测到达时段，获取在扩大后的所述预测到达时段内进入所述第一感知区域的所有新增目标，重新执行所述分别获取每个所述新增目标和所述跟踪目标的特征向量的步骤。

7.一种基于多点位感知的目标跟踪装置，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如权利要求1-6任一项所述的基于多点位感知的目标跟踪方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1-6任一项所述的基于多点位感知的目标跟踪方法。

Images