CN114519849A - 一种车辆跟踪数据处理方法、装置及存储介质 - Google Patents

Abstract

本申请涉及一种车辆跟踪数据处理方法、装置及存储介质，包括获取目标车辆跟踪图像；基于历史车辆轨迹，获取环境车辆在前一时刻的历史车辆跟踪图像中对应的初始感知框；基于预设车辆感知模型对目标车辆跟踪图像进行识别，得到整图车辆检测框；对初始感知框进行配对处理，得到环境车辆配对结果；若存在目标车对，基于预设运动模型和目标车对对应的初始感知框得到预测感知框；基于整图车辆检测框、预测感知框和预设漏检识别模型进行针对目标车对的遗漏检测；基于检测结果确定历史车辆轨迹的更新策略。本申请通过历史轨迹数据和预设运动模型确定目标车对，确定是否存在目标车对的漏检，基于检测结果确定历史车辆轨迹的更新策略提高了车辆检测准确率。

Description

一种车辆跟踪数据处理方法、装置及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种车辆跟踪数据处理方法、装置及存储介质。

背景技术

前视车辆感知技术是利用深度学习模型检测出车辆，然而实际应用中道路上行驶的车辆在前视感知图像中会存在车辆前方的环境车辆相互遮挡的情况，这里称为前后车遮挡现象。图1为一种存在前后车遮挡现象的图示；该场景下，车载摄像装置视角下，离车辆最近的环境车辆(前车)遮挡了其前方的环境车辆(后车)，造成前后车遮挡现象。相关技术中，对车辆的跟踪通常采用车辆感知模型对车载摄像装置在当前时刻采集的图像进行车辆识别，将识别到的车辆感知框匹配到历史车辆轨迹中；然而，当出现前后车遮挡现象的情况时，不可避免的在一些场景中会出现丢框的问题，导致车辆跟踪数据处理的过程中出现对车辆前方环境车辆的漏检，进而导致对车辆跟踪数据处理的鲁棒性差的问题。

发明内容

有鉴于此，本申请提出了一种车辆跟踪数据处理方法、装置及存储介质。至少可以解决道路上行驶的车辆在前视感知图像中可能存在的由于前后车遮挡导致的漏检现象，提高车辆检测准确率，进而能够提高智能驾驶领域的车辆跟踪数据处理算法的鲁棒性。

根据本申请的一方面，提供了一种车辆跟踪数据处理方法，在一种可能的实现方式中，所述方法包括：

获取目标车辆跟踪图像；所述目标车辆跟踪图像为当前车辆的车载摄像装置在当前时刻所获取的、包括车辆前方的至少两辆环境车辆的图像；

基于至少两条历史车辆轨迹，获取所述车辆前方的环境车辆在前一时刻的历史车辆跟踪图像中对应的初始感知框；所述历史车辆轨迹表征历史车辆跟踪图像中的单一环境车辆对应的行驶轨迹；

基于预设车辆感知模型对所述目标车辆跟踪图像进行整图车辆识别，得到所述目标车辆跟踪图像对应的整图车辆检测框；

基于预设配对模型对各环境车辆对应的初始感知框进行配对处理，得到环境车辆配对结果；

在所述环境车辆配对结果为存在目标车对的情况下，基于预设运动模型和所述目标车对对应的初始感知框，预测所述目标车对中的第一环境车辆和第二环境车辆在所述目标车辆跟踪图像中对应的感知框位置，分别得到所述第一环境车辆和第二环境车辆的预测感知框；

基于所述整图车辆检测框、所述预测感知框和预设漏检识别模型，对所述目标车辆跟踪图像进行针对所述目标车对的遗漏检测；

在确定不存在漏检的情况下，基于所述整图车辆检测框对所述各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

进一步地，在确定存在漏检的情况下，确定漏检的目标车对在所述目标车辆跟踪图像中对应的目标子区域；

基于所述预设车辆感知模型对所述目标子区域进行子图目标提取，得到所述目标子区域对应的子图车辆检测框；

基于所述整图车辆检测框和所述子图车辆检测框对所述各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

进一步地，所述方法还包括：在检测到所述目标车辆跟踪图像中存在未与所述历史车辆轨迹匹配的所述整图车辆检测框或所述子图车辆检测框的情况下，基于所述未与历史车辆轨迹匹配的整图车辆检测框或子图车辆检测框创建新的车辆跟踪轨迹。

在一个可能的实现方式中，所述确定漏检的目标车对在所述目标车辆跟踪图像中对应的目标子区域，包括获取所述漏检的目标车对中第一环境车辆对应的预测感知框和第二环境车辆对应的预测感知框；

对所述第一环境车辆和第二环境车辆的预测感知框中面积较大的预测感知框进行放大处理，得到所述目标子区域。

进一步地，所述方法还包括在所述环境车辆配对结果为不存在目标车对的情况下，基于所述整图车辆检测框对所述各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

在一个可能的实现方式中，在所述环境车辆配对结果为存在目标车对的情况下，所述方法还包括：

分别获取所述目标车对中的第一环境车辆和第二环境车辆的初始感知框的底边位置坐标；

确定所述第一环境车辆和第二环境车辆的初始感知框的底边位置坐标在车身高度方向的较大者和较小者；

将所述较小者对应的环境车辆确定为前车，将所述较大者对应的环境车辆确定为后车；

所述前车表征在车载摄像装置视野下距离当前车辆最近的环境车辆，所述后车表征与当前车辆的距离超过所述前车的环境车辆。

在一个可能的实现方式中，所述基于预设配对模型对各环境车辆对应的初始感知框进行配对处理，得到环境车辆配对结果，包括：

获取前一时刻的历史车辆跟踪图像中的初始感知框在相机坐标系下的位置坐标；

基于所述相机坐标系下的位置坐标，得到对应的车身坐标系下的位置坐标；

基于所述车身坐标系下的位置坐标，获取环境车辆两两之间的横向间距；所述横向间距为在车身坐标系下环境车辆两两之间沿车轴方向的距离；

基于所述横向间距、所述横向间距对应的两个初始感知框的交并比和宽度比得到环境车辆配对结果。

在一个可能的实现方式中，所述基于所述整图车辆检测框、所述预测感知框和预设漏检识别模型，对所述目标车辆跟踪图像进行针对所述目标车对的遗漏检测，包括：

分别获取所述目标车对中的第一环境车辆和第二环境车辆的对应的预测感知框与所述整图车辆检测框的交并比，得到与所述第一环境车辆对应的第一组交并比和与所述第二环境车辆对应的第二组交并比；

获取所述第一组交并比中的最大值，以及与其对应的整图车辆检测框的第一索引信息；

获取所述第二组交并比中的最大值，以及与其对应的整图车辆检测框的第二索引信息；

若所述第一组交并比中的最大值和所述第二组交并比中的最大值均大于预设阈值，且所述第一索引信息不等于第二索引信息，则确定不存在对所述目标车对的漏检；否则，存在漏检。

根据本申请的另一方面，提供了一种车辆跟踪数据处理装置，包括：

图像采集模块，用于获取目标车辆跟踪图像；所述目标车辆跟踪图像为当前车辆的车载摄像装置在当前时刻所获取的、包括车辆前方的至少两辆环境车辆的图像；

历史轨迹查询模块，用于基于至少两条历史车辆轨迹，获取所述车辆前方的环境车辆在前一时刻的历史车辆跟踪图像中对应的初始感知框；所述历史车辆轨迹表征历史车辆跟踪图像中的单一环境车辆对应的行驶轨迹；

图像目标提取模块，用于基于预设车辆感知模型对所述目标车辆跟踪图像进行整图车辆识别，得到所述目标车辆跟踪图像对应的整图车辆检测框；

目标车对检测模块，用于基于预设配对模型对各环境车辆对应的初始感知框进行配对处理，得到环境车辆配对结果；

轨迹预测模块，用于在所述环境车辆配对结果为存在目标车对的情况下，基于预设运动模型和所述目标车对对应的初始感知框，预测所述目标车对中的第一环境车辆和第二环境车辆在所述目标车辆跟踪图像中对应的感知框位置，分别得到所述第一环境车辆和第二环境车辆的预测感知框；

漏检判断模块，用于基于所述整图车辆检测框、所述预测感知框和预设漏检识别模型，对所述目标车辆跟踪图像进行针对所述目标车对的遗漏检测；

车辆轨迹更新模块，用于在确定不存在漏检的情况下，基于所述整图车辆检测框对所述各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的方法。

本申请提供的车辆跟踪数据处理方法、装置及存储介质具有以下有益效果：

通过历史轨迹数据和预设运动模型确定目标车对，以及基于所述整图车辆检测框、所述预测感知框和预设漏检识别模型，对所述目标车辆跟踪图像进行针对所述目标车对的遗漏检测；基于检测结果确定历史车辆轨迹的更新策略提高了车辆检测准确率，进而能够提高智能驾驶领域的车辆跟踪算法的鲁棒性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为一种存在前后车遮挡现象的图示；

图2为本申请实施例提供的一种车辆跟踪数据处理方法的流程图；

图3为本申请实施例提供的另一种的车辆跟踪数据处理方法的流程图；

图4为本申请实施例提供的又一种的车辆跟踪数据处理方法的流程图；

图5为本申请实施例提供的又一个示例的车辆跟踪数据处理方法的流程图；

图6为本申请实施例提供的再一个示例的车辆跟踪数据处理方法的流程图；

图7为本申请实施例提供的一个应用本申请的方法进行车辆跟踪数据处理的示例；

图8为本申请实施例提供的一种车辆跟踪数据处理装置的示意图；

图9为本申请实施例提供的一种车辆跟踪数据处理方法的设备的硬件结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

道路上行驶的车辆在前视感知图像中会出现前后车遮挡现象，针对于这种现象，仅采用车辆感知模型如yolo等对采集的目标车辆跟踪图像进行车辆识别不可避免的会出现车辆漏检、误检问题。本实施例提供一种车辆跟踪数据处理方法，能够提高车辆检测的准确度，如下具体说明：

请参照图2，图2为本申请一个实施例的车辆跟踪数据处理方法的流程图。如图2所示，该车辆跟踪数据处理方法包括：

S100，获取目标车辆跟踪图像。

本申请实施例中，目标车辆跟踪图像为当前车辆的车载摄像装置在当前时刻所获取的、包括车辆前方的至少两辆环境车辆的图像；

S110，基于至少两条历史车辆轨迹，获取车辆前方的环境车辆在前一时刻的历史车辆跟踪图像中对应的初始感知框。

本申请实施例中，历史车辆轨迹表征历史车辆跟踪图像中的单一环境车辆对应的行驶轨迹；

S120，基于预设车辆感知模型对目标车辆跟踪图像进行整图车辆识别，得到目标车辆跟踪图像对应的整图车辆检测框。

需要说明的是，预设车辆感知模型可以是yolo等模型，使用计算量较大的backbone(骨干网络)，如VarGNetV2，以完整的目标车辆跟踪图像为输入，输出整图车辆检测框。

S130，基于预设配对模型对各环境车辆对应的初始感知框进行配对处理，得到环境车辆配对结果。

需要说明的是，目标车对是根据预设配对模型从历史车辆轨迹中筛选出的满足上述横向间距以及交并比和宽度比的两个初始感知框分别对应的环境车辆，目标车对用以表征在车辆的车载摄像装置视野下存在遮挡，且满足预设配对模型的两辆环境车辆。

请参照图5，在一个具体实施例中，该过程还可以包括：

S1301，获取前一时刻的历史车辆跟踪图像中的初始感知框在相机坐标系下的位置坐标；

S1302，基于所述相机坐标系下的位置坐标，得到对应的车身坐标系下的位置坐标；

实际应用中，坐标转换关系可以根据车身标定技术得到，如下公式(1)为车身坐标系P(Xw,Yw,Zw)与相机坐标系(Xc,Yc,Zc)的对应关系。

公式(1)：

其中，R为旋转矩阵，t为平移向量。本领域技术人员可以车身标定的实际情况得到。

S1303，基于所述车身坐标系下的位置坐标，获取环境车辆两两之间的横向间距；

具体地，本实施例中横向间距为在车身坐标系下环境车辆两两之间沿车轴方向的距离。特别地，为了便于计算，作为一种可选的设置，可以将后车轮轴的中心处为参照点，X轴方向朝向车辆前方，Y水平向左，Z朝车身高度方向向上。相应地，可以将后车轮轴的中心处延长到地面上的点(z＝0)处设置为车身坐标系原点(x＝0,y＝0,z＝0)。

S1304，基于所述横向间距、所述横向间距对应的两个初始感知框的交并比和宽度比得到环境车辆配对结果。

具体地，在车身坐标系下，获取前一时刻的历史车辆跟踪图像中的初始感知框的位置坐标，若存在不同车辆轨迹上的两个初始感知框在Y向的间距大于预设阈值，则确定不存在目标车对。若存在不同车辆轨迹上的两个初始感知框在Y向的横向间距小于等于预设阈值，则计算该两个初始感知框的交并比和宽度比，基于交并比和宽度比的计算结果判断是否构成目标车对。例如可以设置当交并比大于0.5且宽度比大于0.7时，确定横向间距小于等于预设阈值的两个初始感知框对应的环境车辆构成目标车对。

S140，在环境车辆配对结果为存在目标车对的情况下，基于预设运动模型和目标车对对应的初始感知框，预测目标车对中的第一环境车辆和第二环境车辆在目标车辆跟踪图像中对应的感知框位置，分别得到第一环境车辆和第二环境车辆的预测感知框。

在一个具体实施例中，可以通过KF滤波器的预设运动模型和目标车对在前一时刻的初始感知框位置预测得到当前时刻的预测感知框位置，如下公式(2)和公式(3)为一个预设运动模型的示例：

公式(2)：

x′(k)＝A*x(k-1)+B*u(k)

公式(3)：

P′(k)＝A*P(k-1)*A^T+Q

其中，当前时刻为k时刻，前一时刻为k-1时刻。

A为状态转移矩阵，

P为状态协方差矩阵，设置初始时刻为P0，之后P随着时间而改变，

Q为过程噪声矩阵，设为单位阵，

具体地，令状态量x＝[u，v，vu，vv]，其中(u，v)为车辆感知框中心点图像坐标，(vu，vv)为中心点的变化率，B＝0，u＝0；即无扰动。则利用KF滤波器的预设运动模型可以预测当前时刻的预测感知框为box＝(u，v，w，h)，其中uv为上述预测的中心点坐标，w、h设为车辆感知框对应的环境车辆在上一帧的宽度和高度。

S150，基于整图车辆检测框、预测感知框和预设漏检识别模型，对目标车辆跟踪图像进行针对目标车对的遗漏检测。

需要说明的是，正常情况下，目标车对包括第一环境车辆和第二环境车辆，通过预设车辆感知模型理论上应得到与第一环境车辆和第二环境车辆对应的两个整图车辆检测框但由于目标车对的车辆存在遮挡，在一些情况下会存在漏检情况。该步骤用于通过整图车辆检测框、预测感知框判断目标车辆跟踪图像中是否正确识别到与第一环境车辆和第二环境车辆对应的两个整图车辆检测框。

请参照图6，在一个具体实施例中，该过程还可以包括：

S1501，分别获取目标车对中的第一环境车辆和第二环境车辆的对应的预测感知框与整图车辆检测框的交并比，得到与第一环境车辆对应的第一组交并比和与第二环境车辆对应的第二组交并比；

S1502，获取第一组交并比中的最大值，以及与其对应的整图车辆检测框的第一索引信息；

S1503，获取第二组交并比中的最大值，以及与其对应的整图车辆检测框的第二索引信息；

S1504，若第一组交并比中的最大值和第二组交并比中的最大值均大于预设阈值，且第一索引信息不等于第二索引信息，则确定不存在对目标车对的漏检；否则，存在漏检。

在一个具体实施例中，可以设置预设阈值为0.6，当第一组交并比中的最大值和第二组交并比中的最大值均大于0.6时，根据整图车辆检测框的索引信息确认是否存在两个不同的车辆检测框。

需要说明的是，当存在符合预设阈值的最大值时，表明目标车辆跟踪图像中存在与目标车对对应的环境车辆匹配的整图车辆检测框。当不存在漏检时，应存在两个不同的车辆检测框，即第一索引信息不等于第二索引信息；否则，目标车辆跟踪图像中缺少与目标车对对应的第一环境车辆和/或第二环境车辆对应的整图车辆检测框，即存在漏检。

S160，在确定不存在漏检的情况下，基于整图车辆检测框对各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

需要说明的是，该步骤通常包括预测感知框与整图车辆检测框的相似性代价计算以及通过KM匹配算法将目标车辆跟踪图像中的整图车辆检测框与前一时刻的历史车辆跟踪轨迹进行匹配。在成功匹配的情况下，将匹配成功的整图车辆检测框更新到对应的历史车辆轨迹中，得到对应的当前车辆轨迹。

本领域技术人员应当理解的是，上述过程的相似性代价计算涉及相似性代价矩阵、提取整图车辆检测框的256维特征向量以及计算余弦相似性距离等。KM匹配算法可以采用KuhnMunkras匹配算法实施，该部分可以参照相关技术实施，本申请实施例中不再展开说明。

这样，通过历史轨迹数据和预设运动模型确定目标车对，以及基于整图车辆检测框、预测感知框和预设漏检识别模型，对目标车辆跟踪图像进行针对目标车对的遗漏检测；基于检测结果确定历史车辆轨迹的更新策略提高了车辆检测准确率，进而能够提高智能驾驶领域的车辆跟踪算法的鲁棒性。

请参照图3，图3为本申请一个实施例的车辆跟踪数据处理方法的流程图。如图3所示，在上述实施例基础上，本实施例的车辆跟踪数据处理方法包括：

S260，在确定存在漏检的情况下，确定漏检的目标车对在目标车辆跟踪图像中对应的目标子区域；

S270，基于预设车辆感知模型对目标子区域进行子图目标提取，得到目标子区域对应的子图车辆检测框；

本实施例中，在发生漏检的情况下，将漏检目标车对对应的区域设置为目标子区域。通过预设车辆感知模型对该确定的目标子区域再次进行车辆识别。

在一个可选的实施例中，S260还可以包括：

S2601，获取漏检的目标车对中第一环境车辆对应的预测感知框和第二环境车辆对应的预测感知框；

S2602，对第一环境车辆和第二环境车辆的预测感知框中面积较大的预测感知框进行放大处理，得到目标子区域。

实际应用中，作为一个示例，可以将第一环境车辆和第二环境车辆的预测感知框中面积较大的预测感知框放大1.2倍作为目标子区域。这里采用面积较大的预测感知框作为基础进行放大能够提高目标子区域覆盖范围的有效性，减少调取车辆感知模型对目标子区域进行车辆识别的调用次数，提高数据处理效率。

特别地，通过目标车对的预测感知框确定目标子区域，基于设车辆感知模型对该目标子区域进行二次车辆识别，对漏检的目标车对重新进行检测，该过程可以采用轻量型的骨干网络backbone，如tiny_vargnet_v2，输出子图车辆框检测结果，也能有效提高数据处理效率。

S280，基于整图车辆检测框和子图车辆检测框对各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

需要说明的是，子图车辆检测框是对目标车辆检测图像上目标子区域进行的二次车辆识别后得到的，与步骤S120中获得的整图车辆检测框共同构成对目标车辆跟踪图像进行车辆识别的输出结果。本实施例的方法通过获取目标车对及其对应的目标子区域，在发生漏检的情况下，将对整图的车辆识别和对子整的车辆识在目标跟踪框架的基础上进行融合，可以提高车辆跟踪场景中对车辆跟踪数据处理的时间效率。

在一个优选的实施例中，步骤S280之前还可以包括：

逐一计算得到的子图车辆检测框与整图车辆检测框的交并比；

在存在交并比高于预设重叠阈值的情况下，删除该交并比对应的子图车辆检测框。

需要说明的是，子图车辆检测框与整图车辆检测框均为目标车辆跟踪图片中环境车辆的检测框，得到的子图车辆检测框中可能存在与整图模型相似的车辆框，该步骤用于识别同一环境车辆同时存在整图车辆检测框与子图车辆检测框的情况，并基于重叠阈值确定是否删除相应的子图车辆检测框。上述处理步骤用于识别并移除与整图模型检测框相似的子图车辆检测框。

在一个具体的实施例中，可以设置预设重叠阈值0.8，即当子图车辆检测框与整图车辆检测框的交并比大于0.8时，将对应的子图车辆检测框删除。

在一个实施例中，方法还包括以下步骤：

S290，在检测到目标车辆跟踪图像中存在未与历史车辆轨迹匹配的整图车辆检测框或子图车辆检测框的情况下，基于未与历史车辆轨迹匹配的整图车辆检测框或子图车辆检测框创建新的车辆跟踪轨迹。

实际应用中，当目标车辆跟踪图像中出现历史轨迹中未出现过的新的车辆的情况下，会存在与历史车辆轨迹不匹配的车辆检测框，此时，通过本实施例的方法可以为识别到的新的车辆新建轨迹信息。

在一个实施例中，方法还包括以下步骤：

在检测到历史车辆轨迹中存在未更新的轨迹的情况下，基于预设条件判断是否删除未更新的轨迹。

特别的，该步骤用于处理车辆行驶过程中其前方的某个环境车辆离开当前车辆的车载摄像装置视野的情况，例如可以设定连续3帧目标车辆检测图像中未识别到该前方的某个环境车辆的情况下，删除已存储的该车辆的历史车辆轨迹。

在上述实施例基础上，本实施例的车辆跟踪数据处理方法还可以包括：

S340，在环境车辆配对结果为不存在目标车对的情况下，基于整图车辆检测框对各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

请参照图4，图4示出根据本申请一个实施例的车辆跟踪数据处理方法的流程图。如图4所示，在上述实施例基础上，该车辆跟踪数据处理方法包括：

S240，分别获取目标车对中的第一环境车辆和第二环境车辆的初始感知框的底边位置坐标；

实际应用中此过程可以是车载摄像装置采集的图像坐标系下获得第一环境车辆和第二环境车辆的初始感知框的底边位置坐标。该坐标系下底边位置坐标小的与当前车辆更近，由此可以通过底边位置坐标的差异可以确定环境车辆相对于当前车辆的相对距离。

S241，确定第一环境车辆和第二环境车辆的初始感知框的底边位置坐标在车身高度方向的较大者和较小者；

S242，将较小者对应的环境车辆确定为前车，将较大者对应的环境车辆确定为后车；

上述的前车表征在车载摄像装置视野下距离当前车辆最近的环境车辆，上述的后车表征与当前车辆的距离超过前车的环境车辆。

请参照图7，本实施例进一步提供了一个应用上述方法实施例的车辆跟踪数据处理方法的示例，包括以下步骤：

S1，获取目标车辆跟踪图像，进行整图车辆识别，得到目标车辆跟踪图像中环境车辆的整图车辆检测框；

S2，基于历史车辆轨迹获取前一时刻的环境车辆的初始感知框，通过预设运动模型得到环境车辆在目标车辆跟踪图像中的预测感知框；

S3，基于设配对模型对各环境车辆对应的初始感知框进行配对处理，得到环境车辆中的目标车对；

S4，基于整图车辆检测框、预测感知框和预设漏检识别模型，判断对目标车辆跟踪图像的目标车对是否存在漏检；

S5，目标车辆跟踪图像中不存在对目标车对的漏检，跳转到S7；

S6,目标车辆跟踪图像中存在对目标车对的漏检；

S7,目标车辆跟踪图像中对存在漏检的目标车对所在的目标子区域进行子图车辆识别，得到子图车辆检测框；

S8,代价矩阵计算；

S9,通过KM匹配算法将车辆检测框与历史车辆轨迹进行匹配；

S10，预设运动模型更新。

实际应用中，预设运动模型通常基于KF滤波器设置，其中包括历史车辆轨迹，并基于更新后的车辆轨迹对历史车辆轨迹进行更新。

本实施例中，对历史车辆轨迹进行更新通常包括以下四种：

在确定不存在漏检的情况下，基于检测到的整图车辆检测框与历史车辆轨迹的KM匹配算法的计算结果对各历史车辆轨迹进行更新，得到对应的当前车辆轨迹；

在确定不存在漏检的情况下，基于监测到的整图车辆检测框和子图车辆检测框与历史车辆轨迹的KM匹配算法的计算结果对各历史车辆轨迹进行更新，得到对应的当前车辆轨迹；

基于KM匹配算法的计算结果，为未与历史车辆轨迹匹配的整图车辆检测框或子图车辆检测框创建新的车辆跟踪轨迹。

基于KM匹配算法的计算结果，若存在不能匹配的历史车辆轨迹的情况下，基于预设条件判断是否删除该未更新的历史车辆轨迹。

需要说明的是，上述示例仅仅是应用本实施例的上述方法实施车辆跟踪数据处理的示例，用于举例说明本申请实施例的应用过程，不能构成对本申请方法实施例的具体限定。

本实施例在上述方法实施例基础上进一步提供一种车辆跟踪数据处理装置，请参照图8，该装置包括：

图像采集模块10，用于获取目标车辆跟踪图像；目标车辆跟踪图像为当前车辆的车载摄像装置在当前时刻所获取的、包括车辆前方的至少两辆环境车辆的图像；

历史轨迹查询模块20，用于基于至少两条历史车辆轨迹，获取车辆前方的环境车辆在前一时刻的历史车辆跟踪图像中对应的初始感知框；所历史车辆轨迹表征历史车辆跟踪图像中的单一环境车辆对应的行驶轨迹；

图像目标提取模块30，用于基于预设车辆感知模型对目标车辆跟踪图像进行整图车辆识别，得到目标车辆跟踪图像对应的整图车辆检测框；

目标车对检测模块40，用于基于预设配对模型对各环境车辆对应的初始感知框进行配对处理，得到环境车辆配对结果；

轨迹预测模块50，用于在环境车辆配对结果为存在目标车对的情况下，基于预设运动模型和目标车对对应的初始感知框，预测目标车对中的第一环境车辆和第二环境车辆在目标车辆跟踪图像中对应的感知框位置，分别得到第一环境车辆和第二环境车辆的预测感知框；

漏检判断模块60，用于基于整图车辆检测框、预测感知框和预设漏检识别模型，对目标车辆跟踪图像进行针对目标车对的遗漏检测；

车辆轨迹更新模块70，用于在确定不存在漏检的情况下，基于整图车辆检测框对各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

在一些实施例中，图像目标提取模块30还包括子区域生成模块和子图检测模块。

子区域生成模块用于在确定存在漏检的情况下，确定漏检的目标车对在目标车辆跟踪图像中对应的目标子区域。

子图检测模块用于基于预设车辆感知模型对目标子区域进行子图目标提取，得到目标子区域对应的子图车辆检测框。

车辆轨迹更新模块70，还用于基于整图车辆检测框和子图车辆检测框对各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

在一些实施例中，子区域生成模块还用于获取漏检的目标车对中第一环境车辆对应的预测感知框和第二环境车辆对应的预测感知框；对第一环境车辆和第二环境车辆的预测感知框中面积较大的预测感知框进行放大处理，得到目标子区域。

在一些实施例中，车辆轨迹更新模块70，还用于在检测到目标车辆跟踪图像中存在未与历史车辆轨迹匹配的整图车辆检测框或子图车辆检测框的情况下，基于未与历史车辆轨迹匹配的整图车辆检测框或子图车辆检测框创建新的车辆跟踪轨迹。

在一些实施例中，车辆轨迹更新模块70，还用于在环境车辆配对结果为不存在目标车对的情况下，基于整图车辆检测框对各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

在一些实施例中，在环境车辆配对结果为存在目标车对的情况下，目标车对检测模块40，还用于分别获取目标车对中的第一环境车辆和第二环境车辆的初始感知框的底边位置坐标；确定第一环境车辆和第二环境车辆的初始感知框的底边位置坐标在车身高度方向的较大者和较小者；将较小者对应的环境车辆确定为前车，将较大者对应的环境车辆确定为后车；前车表征在车载摄像装置视野下距离当前车辆最近的环境车辆，后车表征与当前车辆的距离超过前车的环境车辆。

在一些实施例中，目标车对检测模块40，还用于获取前一时刻的历史车辆跟踪图像中的初始感知框在相机坐标系下的位置坐标；基于相机坐标系下的位置坐标，得到对应的车身坐标系下的位置坐标；基于车身坐标系下的位置坐标，获取环境车辆两两之间的横向间距；横向间距为在车身坐标系下环境车辆两两之间沿车轴方向的距离；基于横向间距、横向间距对应的两个初始感知框的交并比和宽度比得到环境车辆配对结果。

在一些实施例中，漏检判断模块60，还用于分别获取目标车对中的第一环境车辆和第二环境车辆的对应的预测感知框与整图车辆检测框的交并比，得到与第一环境车辆对应的第一组交并比和与第二环境车辆对应的第二组交并比；获取第一组交并比中的最大值，以及与其对应的整图车辆检测框的第一索引信息；获取第二组交并比中的最大值，以及与其对应的整图车辆检测框的第二索引信息；若第一组交并比中的最大值和第二组交并比中的最大值均大于预设阈值，且第一索引信息不等于第二索引信息，则确定不存在对目标车对的漏检；否则，存在漏检。

本申请的车辆跟踪数据处理方法可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。

本申请实施例还提供一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述控制方法实施例所提供的安全气囊的控制方法。图9是本申请实施例提供的一种电子设备的硬件结构框图。如图9所示，该电子设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)810(处理器810可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器830，一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或一个以上海量存储设备)。其中，存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器810可以设置为与存储介质820通信，在电子设备800上执行存储介质820中的一系列指令操作。电子设备800还可以包括一个或一个以上电源860，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口840，和/或，一个或一个以上操作系统821，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备800的通信供应商提供的无线网络。在一个实例中，输入输出接口840包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口840可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备800还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的消息处理方法可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。

本申请的实施例还提供了一种计算机可读存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中消息处理方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述的车辆跟踪数据处理方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的车辆跟踪数据处理方法、装置及存储介质的实施例可见，本申请基于历史车辆轨迹，获取环境车辆在前一时刻的历史车辆跟踪图像中对应的初始感知框；基于预设车辆感知模型对目标车辆跟踪图像进行识别，得到整图车辆检测框；对初始感知框进行配对处理，得到环境车辆配对结果；若存在目标车对，基于预设运动模型和目标车对对应的初始感知框得到预测感知框；基于整图车辆检测框、预测感知框和预设漏检识别模型进行针对目标车对的遗漏检测；基于检测结果确定历史车辆轨迹的更新策略。通过历史轨迹数据和预设运动模型确定目标车对，确定是否存在目标车对的漏检，在存在对目标车对的漏检的情况下，基于预测感知框定义目标子区域，并对该区域进行重新进行检测，以提高车辆检测准确率，同时，将对整图的车辆识别和对目标子区域的车辆识别在目标跟踪框架的基础上进行融合，可以提高车辆跟踪数据处理的时间效率。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种车辆跟踪数据处理方法，其特征在于，包括：

获取目标车辆跟踪图像；所述目标车辆跟踪图像为当前车辆的车载摄像装置在当前时刻所获取的、包括车辆前方的至少两辆环境车辆的图像；

基于至少两条历史车辆轨迹，获取所述车辆前方的环境车辆在前一时刻的历史车辆跟踪图像中对应的初始感知框；所述历史车辆轨迹表征历史车辆跟踪图像中的单一环境车辆对应的行驶轨迹；

基于预设车辆感知模型对所述目标车辆跟踪图像进行整图车辆识别，得到所述目标车辆跟踪图像对应的整图车辆检测框；

基于预设配对模型对各环境车辆对应的初始感知框进行配对处理，得到环境车辆配对结果；

在所述环境车辆配对结果为存在目标车对的情况下，基于预设运动模型和所述目标车对对应的初始感知框，预测所述目标车对中的第一环境车辆和第二环境车辆在所述目标车辆跟踪图像中对应的感知框位置，分别得到所述第一环境车辆和第二环境车辆的预测感知框；

基于所述整图车辆检测框、所述预测感知框和预设漏检识别模型，对所述目标车辆跟踪图像进行针对所述目标车对的遗漏检测；

在确定不存在漏检的情况下，基于所述整图车辆检测框对所述各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在确定存在漏检的情况下，确定漏检的目标车对在所述目标车辆跟踪图像中对应的目标子区域；

基于所述预设车辆感知模型对所述目标子区域进行子图目标提取，得到所述目标子区域对应的子图车辆检测框；

基于所述整图车辆检测框和所述子图车辆检测框对所述各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在检测到所述目标车辆跟踪图像中存在未与所述历史车辆轨迹匹配的所述整图车辆检测框或所述子图车辆检测框的情况下，基于所述未与历史车辆轨迹匹配的整图车辆检测框或子图车辆检测框创建新的车辆跟踪轨迹。

4.根据权利要求2所述的方法，其特征在于，所述确定漏检的目标车对在所述目标车辆跟踪图像中对应的目标子区域，包括：

获取所述漏检的目标车对中第一环境车辆对应的预测感知框和第二环境车辆对应的预测感知框；

对所述第一环境车辆和第二环境车辆的预测感知框中面积较大的预测感知框进行放大处理，得到所述目标子区域。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述环境车辆配对结果为不存在目标车对的情况下，基于所述整图车辆检测框对所述各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

6.根据权利要求1所述的方法，其特征在于，在所述环境车辆配对结果为存在目标车对的情况下，所述方法还包括：

分别获取所述目标车对中的第一环境车辆和第二环境车辆的初始感知框的底边位置坐标；

确定所述第一环境车辆和第二环境车辆的初始感知框的底边位置坐标在车身高度方向的较大者和较小者；

将所述较小者对应的环境车辆确定为前车，将所述较大者对应的环境车辆确定为后车；

所述前车表征在车载摄像装置视野下距离当前车辆最近的环境车辆，所述后车表征与当前车辆的距离超过所述前车的环境车辆。

7.根据权利要求1所述的方法，其特征在于，所述基于预设配对模型对各环境车辆对应的初始感知框进行配对处理，得到环境车辆配对结果，包括：

获取前一时刻的历史车辆跟踪图像中的初始感知框在相机坐标系下的位置坐标；

基于所述相机坐标系下的位置坐标，得到对应的车身坐标系下的位置坐标；

基于所述车身坐标系下的位置坐标，获取环境车辆两两之间的横向间距；所述横向间距为在车身坐标系下环境车辆两两之间沿车轴方向的距离；

基于所述横向间距、所述横向间距对应的两个初始感知框的交并比和宽度比得到环境车辆配对结果。

8.根据权利要求1所述的方法，其特征在于，所述基于所述整图车辆检测框、所述预测感知框和预设漏检识别模型，对所述目标车辆跟踪图像进行针对所述目标车对的遗漏检测，包括：

分别获取所述目标车对中的第一环境车辆和第二环境车辆的对应的预测感知框与所述整图车辆检测框的交并比，得到与所述第一环境车辆对应的第一组交并比和与所述第二环境车辆对应的第二组交并比；

获取所述第一组交并比中的最大值，以及与其对应的整图车辆检测框的第一索引信息；

获取所述第二组交并比中的最大值，以及与其对应的整图车辆检测框的第二索引信息；

若所述第一组交并比中的最大值和所述第二组交并比中的最大值均大于预设阈值，且所述第一索引信息不等于第二索引信息，则确定不存在对所述目标车对的漏检；否则，存在漏检。

9.一种车辆跟踪数据处理装置，其特征在于，包括：

图像采集模块(10)，用于获取目标车辆跟踪图像；所述目标车辆跟踪图像为当前车辆的车载摄像装置在当前时刻所获取的、包括车辆前方的至少两辆环境车辆的图像；

历史轨迹查询模块(20)，用于基于至少两条历史车辆轨迹，获取所述车辆前方的环境车辆在前一时刻的历史车辆跟踪图像中对应的初始感知框；所述历史车辆轨迹表征历史车辆跟踪图像中的单一环境车辆对应的行驶轨迹；

图像目标提取模块(30)，用于基于预设车辆感知模型对所述目标车辆跟踪图像进行整图车辆识别，得到所述目标车辆跟踪图像对应的整图车辆检测框；

目标车对检测模块(40)，用于基于预设配对模型对各环境车辆对应的初始感知框进行配对处理，得到环境车辆配对结果；

轨迹预测模块(50)，用于在所述环境车辆配对结果为存在目标车对的情况下，基于预设运动模型和所述目标车对对应的初始感知框，预测所述目标车对中的第一环境车辆和第二环境车辆在所述目标车辆跟踪图像中对应的感知框位置，分别得到所述第一环境车辆和第二环境车辆的预测感知框；

漏检判断模块(60)，用于基于所述整图车辆检测框、所述预测感知框和预设漏检识别模型，对所述目标车辆跟踪图像进行针对所述目标车对的遗漏检测；

车辆轨迹更新模块(70)，用于在确定不存在漏检的情况下，基于所述整图车辆检测框对所述各历史车辆轨迹进行更新，得到对应的当前车辆轨迹。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任一项所述的车辆跟踪数据处理方法。

Images