CN111768430B - 一种基于多特征级联匹配的高速公路外场车辆跟踪方法 - Google Patents

Abstract

本发明公开了一种基于多特征级联匹配的高速公路外场车辆跟踪方法，跟踪方法从高速公路外场实际环境出发，在车辆目标检测的基础上，融合了运动特征、表观特征和轨迹特征，并通过级联匹配，从而实现车辆的跟踪。本发明能有效降低因目标遮挡、目标丢失、目标变形、目标相似等因素造成的车辆目标匹配错误的情况，提高跟踪精度的同时满足实时性的要求。

Description

一种基于多特征级联匹配的高速公路外场车辆跟踪方法

技术领域

本发明涉及智慧交通领域，具体的，涉及一种基于多特征级联匹配的高速公路外场车辆跟踪方法。

背景技术

基于高速公路交通监控视频的车辆目标跟踪拥有广阔的应用前景，但是由于该领域涉及众多学科，并且研究对象复杂，即使经过多年发展，到目前为止仍有大量难题亟待解决。尤其在实际应用到高速公路环境中时，复杂环境下车辆目标遮挡、变形，以及存在相似目标情况下的精确跟踪一直都是研究的难点，现有的许多技术和方案还不够完善，远远达不到实用的程度。

发明内容

有鉴于此，本发明的目的是提供一种装置。

本发明的目的是通过以下技术方案实现的：。

一种基于多特征级联匹配的高速公路外场车辆跟踪方法，跟踪方法具体为：

采用Yolov3模型检测当前帧的车辆目标，将车辆目标的轨迹检测结果存入第一集合中；

根据卡尔曼滤波位置预测和IoU距离，获得车辆目标的运动特征，以匹配车辆目标；

当第一集合中存在无法匹配车辆目标时，通过卷积神经网络获取车辆目标的表观特征，以匹配车辆目标；

当第一集合中存在无法匹配车辆目标时，通过DTW算法和聚类算法获得车辆目标的轨迹特征，以匹配车辆目标。

进一步，所述运动特征匹配车辆目标的方式为：

将第一子集合中的轨迹和第二子集合中上帧匹配成功的轨迹存入第三集合中；

根据第三集合中每条轨迹的卡尔曼预测器，预测得到当前帧上每条轨迹的预测框；

计算当前帧上所有检测框与预测框的IoU距离，获得距离矩阵；

根据匈牙利算法，从距离矩阵得到跟踪目标和检测目标的匹配关系；

若第一子集合中的轨迹与第三集合的预测框匹配成功，则将这些轨迹从第一子集合中删除，判断其轨迹长度是否大于5，若是，则将该轨迹删除，存入新第二子集合中，反之则存入新第一子集合中；

若第二子集合中的轨迹与所述第三集合的预测框匹配成功，则将其存入新第二子集合，并将其从第二子集合中删除。

进一步，所述表观特征匹配车辆目标的方式为：

从所述第二子集合中筛选出连续匹配失败帧数小于18-22的轨迹，存入所述第三集合中；

通过孪生结构训练卷积神经网络获得检测目标的表观特征；

获取所述第一集合中剩余的所述检测目标与所述第三集合的所有轨迹的余弦距离，获得距离矩阵；

根据匈牙利算法，利用距离矩阵得到跟踪目标和检测目标的匹配关系；

若所述第二子集合中的轨迹如果匹配成功，将其加入新第二子集合，并将这些轨迹从所述第二子集合中删除。

进一步，通过所述轨迹特征匹配车辆目标的方法为：

将所述第二子集集合中剩余的轨迹作为所述第三集合；

使得所述第一集合中的剩余的所述检测目标与所述第三集合中的轨迹t_j组合，得到新的轨迹t_i,j；

计算得到轨迹t_i,j与各个轨迹中心的匹配路径，排除匹配路径中的重复部分，得到轨迹t_i,j到各个轨迹中心的距离，将最小距离作为检测目标到跟踪目标的距离；

匹配剩余的车辆目标与所述第三集合中剩余的轨迹，得到距离矩阵；

根据匈牙利算法，利用距离矩阵得到跟踪目标和检测目标的匹配关系；

判断所述第三集合中是否存在连续匹配失败的帧数是否达到30，如果达到将其放入新第三子集合，否则将其放入新第二子集合。

进一步，所述跟踪方法还包括：

若所述第一集合中存在未匹配的检测目标，在所述新第一子集合中为该检测目标建立新的轨迹，并为这些轨迹建立卡尔曼预测器；

将{新第一子集合、新第二子集合、新第三子集合}作为新轨迹；

对于所述第一子集合和第二子集合中匹配成功的轨迹，用匹配到的检测框更新卡尔曼预测器，否则用预测结果卡尔曼预测器。

本发明的有益效果是：

本发明从高速公路外场实际环境出发，在车辆目标检测的基础上，融合了运动特征、表观特征和轨迹特征，并通过级联匹配形成一种适于高速公路外场环境特性的车辆目标跟踪方法。该方法能有效降低因目标遮挡、目标丢失、目标变形、目标相似等因素造成的车辆目标匹配错误的情况，提高跟踪精度的同时满足实时性的要求。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

附图1为适于高速公路外场环境的车辆跟踪方法总体流程图；

附图2为适于高速公路外场环境的车辆级联匹配方法流程示意图。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

本实施例提出了一种基于多特征级联匹配的高速公路外场车辆跟踪方法，本发明从高速公路外场实际环境出发，在车辆目标检测的基础上，融合了运动特征、表观特征和轨迹特征，并通过级联匹配形成一种适于高速公路外场环境特性的车辆目标跟踪方法。

具体的，如图1和2所示，

准备工作，主要包括一下两个部分：

(1)搭建卷积神经网络，制作数据集，通过孪生结构训练卷积神经网络，用于提取表观特征。卷积神经网络提供的深层卷积特征具有更强的表征能力，而孪生结构能使卷积特征具有更强的类内区分性。

(2)初始化轨迹的集合T＝{A,B,C}，其中A为处于开始状态的轨迹集合，B为处于跟踪状态的轨迹集合，C为处于结束状态的轨迹集合。其中T为第二集合，集合A表示第一子集合，集合B表示第二子集合，集合C表示第三子集合，T＝{A，B，C}。

本方法分为以下步骤：

S1:采用Yolov3模型检测当前帧的车辆目标，检测的精度决定了车辆目标跟踪的性能，将车辆目标检测结果存入第一集合D中,用公式表示为:D＝{d₁，d₂，d₃......d_n}，d_i为检测目标，i＝1，2......n。

S2：根据卡尔曼滤波位置预测和IoU距离，获得车辆目标的运动特征，以匹配车辆目标，运动特征匹配速度快，但遮挡或目标丢失容易导致匹配错误，因此只用于目标未丢失情况下的目标匹配。

S21：将第一子集合中A的轨迹和第二子集合B中上帧匹配成功的轨迹存入第三集合T′；

S22：根据第三集合T′中每条轨迹的卡尔曼预测器，预测得到当前帧上每条轨迹的预测框；

S23：计算当前帧上所有检测框与预测框的IoU距离，获得距离矩阵，表示为：

Dis₁(D_i，T_j)＝1-IoU(D_i，K(T_j))

其中，D_i为集合D中第i个检测框，T_j为集合T′中第j个车辆目标的轨迹，K(T_j)为该轨迹在当前帧的预测框。

S24：根据匈牙利算法，从距离矩阵得到跟踪目标和检测目标的匹配关系。

S25：根据S24，更新轨迹状态，若第一子集合A中的轨迹如果匹配成功，则将这些轨迹从第一子集合A中删除，判断其轨迹长度是否大于5，若是，则将该轨迹删除，存入新第二子集合B中，反之则存入新第一子集合A′中；

若第二子集合中B的轨迹如果匹配成功，则将其存入新第二子集合B′，并将其从第二子集合B中删除。

S3：当存在采用运动特征无法匹配车辆目标时，通过孪生网络训练的卷积神经网络获取车辆目标的表观特征，以匹配车辆目标，车辆目标的长期丢失往往会出现外观的改变，导致表观特征匹配失败，因此只用于目标短期丢失的情况。

S31：从第二子集合B中筛选出连续匹配失败帧数小于10的轨迹，存入第三集合T′中，这里认为连续匹配失败帧数小于10的轨迹为短期目标丢失的情况。

S32：通过孪生结构训练卷积神经网络获得车辆目标的表观特征，本实施例中表观特征的长度为256；

S33：获取第一集合D中剩余的车辆目标与第三集合T′的所有轨迹的余弦距离，获得距离矩阵，获取方式具体为：

其中：为轨迹T_i在第k帧匹配到的车辆目标，G_W(D_i)为检测目标d_i的表观特征，cos为余弦距离，计算公式如下：

其中：A,B为两个表观特征向量；

S34：根据匈牙利算法，根据距离矩阵得到跟踪目标和检测目标的匹配关系；

S35：若第二子集合B中的轨迹如果匹配成功，将其加入新第二子集合B′，并将这些轨迹从第二子集合B′中删除。

S4：第一集合存在剩余的无法匹配的车辆目标时，通过DTW算法和聚类算法获得车辆目标的轨迹特征，以匹配车辆目标。轨迹特征从已知的轨迹中找到车辆的运动规律，更适合于长期遮挡的情况。

S41：将第二子集集合B中剩余的轨迹作为第三集合T′；

S42：使得第一集合D中的剩余的检测目标d_i与第三集合中的轨迹t_j组合，得到新的轨迹t_i,j；

S43：计算得到轨迹t_i,j与各个轨迹中心的匹配路径，排除匹配路径中的重复部分，得到轨迹t_i,j到各个轨迹中心的距离，将最小距离作为检测目标到跟踪目标的距离；

计算轨迹T′_i，j上第a个点到类心轨迹Q_k的距离d_a公式为：

d_a＝min{Dis(T′_i，j[a]，Q_k[b])}，(a，b)∈W

其中q_k[b]为中心轨迹Q_k上第b个坐标，Dis为欧式距离公式，则轨迹T′_i，j到类心轨迹Q_k的总距离为：

其中n为轨迹T′_i，j的长度，利用上述公式，计算轨迹T′_i，j到所有类心轨迹间的距离，将其中取值最小的结果视为目标D_i与轨迹T_j间的轨迹特征相似性度量，公式如下：

Dis₃(D_i，T_j)＝min(dis(T′_i，j，，Q_k))Q_k∈Q

S44：匹配剩余的检测目标与第三集合T′中剩余的轨迹，重复S42和S43，得到距离矩阵；

S45：根据匈牙利算法，得到距离矩阵中得到跟踪目标和检测目标的匹配关系；

S46：判断第三集合T′中是否存在连续匹配失败的帧数是否达到30，如果达到将其放入新第三子集合C′，否则将其放入新第二子集合B′。

S5：更新状态。具体为：

若第一集合D中存在未匹配的检测目标，在新第一子集合A′中为该检测目标建立新的轨迹，并为这些轨迹建立卡尔曼预测器；

将{A′、B′、C′}作为新轨迹；

对于第一子集合A和第二子集合B中匹配成功的轨迹，用匹配到的检测框更新卡尔曼预测器，否则用预测结果卡尔曼预测器。

重复S2-S5。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种基于多特征级联匹配的高速公路外场车辆跟踪方法，其特征在于：跟踪方法具体为：

S1.采用Yolov3模型检测当前帧的车辆目标，将车辆目标检测结果存入第一集合中；

S2.根据卡尔曼滤波位置预测和IoU距离，获得车辆目标的运动特征，以匹配车辆目标；

所述运动特征匹配车辆目标的方式为：

S2.1将第一子集合中的轨迹和第二子集合中上帧匹配成功的轨迹存入第三集合中；

S2.2根据第三集合中每条轨迹的卡尔曼预测器，预测得到当前帧上每条轨迹的预测框；

S2.3计算当前帧上所有检测框与预测框的IoU距离，获得距离矩阵；

S2.4根据匈牙利算法，从距离矩阵得到跟踪目标和检测目标的匹配关系；

若第一子集合中的轨迹与第三集合的预测框匹配成功，则将这些轨迹从第一子集合中删除，判断其轨迹长度是否大于5，若是，则将该轨迹删除，存入新第二子集合中，反之则存入新第一子集合中；

若第二子集合中的轨迹与所述第三集合的预测框匹配成功，则将其存入新第二子集合，并将其从第二子集合中删除；

初始化轨迹的集合T＝{A,B,C}，其中A为处于开始状态的轨迹集合，B为处于跟踪状态的轨迹集合，C为处于结束状态的轨迹集合；其中T为第二集合，集合A表示第一子集合，集合B表示第二子集合，集合C表示第三子集合；

S3.当第一集合中存在无法匹配车辆目标时，通过孪生结构训练的卷积神经网络获取车辆目标的表观特征，以匹配车辆目标；

S4.当第一集合中存在无法匹配车辆目标时，通过车辆目标的轨迹特征，以匹配车辆目标；

通过所述轨迹特征匹配车辆目标的方法为：

S4.1将所述第二子集合中剩余的轨迹作为所述第三集合；

S4.2使得所述第一集合中的剩余的所述检测目标与所述第三集合中的轨迹组合，得到新的轨迹，指第一集合中的第i个检测框与第三集合中的第j条轨迹组合形成的新轨迹；

S4.3计算得到轨迹与各个轨迹中心的匹配路径，排除匹配路径中的重复部分，得到轨迹到各个轨迹中心的距离，将最小距离作为检测目标到跟踪目标的距离；

S4.4匹配剩余的车辆目标与所述第三集合中剩余的轨迹，得到距离矩阵；

S4.5根据匈牙利算法，利用距离矩阵得到跟踪目标和检测目标的匹配关系；

S4.6判断所述第三集合中是否存在连续匹配失败的帧数是否达到30，如果达到将其放入新第三子集合，否则将其放入新第二子集合；

所述跟踪方法还包括：

若所述第一集合中存在未匹配的检测目标，在所述新第一子集合中为该检测目标建立新的轨迹，并为这些轨迹建立卡尔曼预测器；

将{新第一子集合、新第二子集合、新第三子集合}作为新轨迹；

对于所述第一子集合和第二子集合中匹配成功的轨迹，用匹配到的检测框更新卡尔曼预测器，否则用预测结果更新卡尔曼滤波器。

2.根据权利要求1所述的基于多特征级联匹配的高速公路外场车辆跟踪方法，其特征在于：所述表观特征匹配车辆目标的方式为：

S3.1从所述第二子集合中筛选出连续匹配失败帧数小于18-22的轨迹，存入所述第三集合中；

S3.2通过孪生结构训练卷积神经网络获得检测目标的表观特征；

S3.3获取所述第一集合中剩余的所述检测目标与所述第三集合的所有轨迹的余弦距离，获得距离矩阵；

S3.4根据匈牙利算法，利用距离矩阵得到跟踪目标和检测目标的匹配关系；

S3.5若所述第二子集合中的轨迹如果匹配成功，将其加入新第二子集合，并将这些轨迹从所述第二子集合中删除。