CN111127520B - 一种基于视频分析的车辆跟踪方法和系统 - Google Patents

Abstract

本发明公开了一种基于视频分析的车辆跟踪方法和系统，属于安防监控领域。包括：从目标帧图像中选择目标车辆，提取目标车辆的特征向量、摄像头桩号和时间戳；对于目标区域内的每个摄像头桩号对应的特征向量组，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度，判断该特征向量组中的最高相似度是否超过设定阈值，若是，则认为该摄像头追踪到目标车辆，否则，认为该摄像头未追踪到目标车辆。本发明通过局部池化检测重叠车辆，非极大值抑制实现定位框优选，使得重叠车辆分离。将表达局部特征的第一特征与表达全局特征的第二特征融合，实现高环境鲁棒性的特征提取。利用车辆行驶轨迹获取漏检，基于梯度下降调整阈值，实现算法自适应。

Description

一种基于视频分析的车辆跟踪方法和系统

技术领域

本发明属于安防监控领域，更具体地，涉及一种基于视频分析的车辆跟踪方法和系统。

背景技术

近年来，随着车辆数量的不断增加，人工监控不再满足现有公共交通监控系统，交通系统亟待实现自动化与智能化。为提高公共交通监管能力，需要发展出对于目标车辆的定位与跟踪系统，解决海量监控视频场景下难以人工筛选出目标车辆的问题。

在理想的，交通状况简单，且检测结果完美的情况下，目前的跟踪算法，如Meanshift、Camshift、模板跟踪、粒子滤波以及特征点跟踪等都能很好的解决跟踪问题，然而现实却并非如此。在复杂的交通情况下，现有的车辆跟踪方法，无法在包含多个摄像头的大型视频监控网络中实现高准确率的车辆跟踪。其因在于以下几点：1)现有车辆跟踪方法中车辆定位无法有效区分处理重叠车辆；2)基于图像特征算子的车辆跟踪方法对于环境敏感度高，存在失效风险；3)现有车辆跟踪方法缺少针对跟踪失败情况的纠错处理与算法自动调整功能，长期使用中系统准确性与稳定性将降低。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于视频分析的车辆跟踪方法和系统，其目的在于解决现有车辆跟踪系统中在复杂交通环境中车辆跟踪准确率与稳定性低的问题。

为实现上述目的，按照本发明的第一方面，提供了一种基于视频分析的车辆跟踪方法，该方法包括以下步骤：

S1.从目标帧图像中选择目标车辆，提取目标车辆的特征向量、摄像头桩号和时间戳；

S2.对于目标区域内的每个摄像头桩号对应的特征向量组，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度，判断该特征向量组中的最高相似度是否超过设定阈值，若是，则认为该摄像头追踪到目标车辆，否则，认为该摄像头未追踪到目标车辆。

优选地，所述摄像头桩号对应的特征向量组的获取方式如下：

(1)实时获取各高速路段的摄像头视频流；

(2)对于每个视频流的每帧图像，自动截取该图像中各个车辆的框图；

(3)提取每张框图的特征向量和对应的摄像头桩号、时间戳，将当前帧、框图的特征向量、对应的摄像头桩号和时间戳作为一条记录，保存到数据库中。

优选地，所述自动截取该图像中各个车辆的框图包括以下步骤：

(2.1)基于卷积神经网络，提取原始帧图像中的车辆框图；

(2.2)基于局部池化操作，判断是否存在不同车辆框图表示同一辆车，若是，则进入步骤(2.3)，否则，输出框图位置；

(2.3)采用非极大值抑制方法，合并表示同一辆车的所有框图。

优选地，车辆特征向量的提取方式如下：采用深度学习提取车辆的第一特征向量，采用HOG算法提取车辆的第二特征向量，将第一特征向量和第二特征向量进行特征融合。

优选地，所述将第一特征向量和第二特征向量进行特征融合包括以下步骤：

(1)分别对第一特征向量和第二特征向量进行归一化处理，将归一化后的第一特征向量和第二特征向量拼接为一维特征向量；

(2)将一维特征向量输入全连接神经网络，得到融合后的特征向量。

优选地，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度前，基于目标车辆图像捕捉时间戳与该特征向量组中各个特征向量对应的时间戳，结合两摄像头之间地理距离，计算车辆的平均行驶速度，判断该平均行驶速度是否合理，若是，则计算相似度，否则，跳过该相似度的计算。

优选地，所述步骤S2中的设定阈值的设定方式如下：

以车辆出站口为依据，将高速公路分为多个路段，同一路段中所有摄像头共享同一基础阈值。

优选地，根据追踪到目标车辆的摄像头桩号，绘制车辆行驶轨迹，依据车辆行驶轨迹判断是否存在摄像头漏检目标车辆，若是，将漏检摄像头采集到的视频流中相似度最高的车辆认定为目标车辆，并自适应调整漏检摄像头的基础阈值。

优选地，所述自适应调整漏检摄像头的基础阈值具体如下：

降低漏检摄像头的基础阈值，降低后的基础阈值的计算公式如下：

θ＝(1-α)·θ+α·θ_s

其中，θ为当前摄像头的基础阈值，θ_s为漏检摄像头采集到的视频流中最高相似度，0<α<1为更新步长。

为实现上述目的，按照本发明的第二方面，提供了一种基于视频分析的车辆跟踪系统，该系统包括：

车辆特征提取模块，用于提取目标帧图像中的目标车辆的特征向量、摄像头桩号和时间戳；

车辆追踪模块，用于对于目标区域内的每个摄像头桩号对应的特征向量组，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度，判断该特征向量组中的最高相似度是否超过设定阈值，若是，则认为该摄像头追踪到目标车辆，否则，认为该摄像头未追踪到目标车辆。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)针对车辆跟踪方法中车辆定位无法有效区分处理重叠车辆的问题，本发明通过设计利用局部池化操作判定是否检测到重叠车辆，基于非极大值抑制原理实现定位框优选，实现了车辆定位中重叠车辆的分离，提高了复杂交通环境中车辆跟踪准确率与稳定性。

(2)针对车辆跟踪方法对于环境敏感度高，存在失效风险的问题，本发明通过特征融合的方式，将表达局部特征的第一特征与表达全局特征的第二特征融合，实现了高环境鲁棒性的特征提取，提高了复杂交通环境中车辆跟踪准确率与稳定性。

(3)针对车辆跟踪方法缺少针对跟踪失败情况的纠错处理与算法自动调整能力的问题，本发明利用车辆行驶轨迹获取漏检车辆，基于梯度下降原理调整判定阈值，实现了漏检测系统与算法自适应调整，提高了复杂交通环境中车辆跟踪准确率与稳定性。

附图说明

图1为本发明实施例提供的一种基于视频分析的车辆跟踪方法流程图；

图2为本发明实施例提供的卷积神经网络结构示意图；

图3为本发明实施例提供的全连接神经网络结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种基于视频分析的车辆跟踪方法，该方法包括以下步骤：

步骤S1.从目标帧图像中选择目标车辆，提取目标车辆的特征向量、摄像头桩号和时间戳。

摄像头桩号，例如，京港澳高速公路驻信段K95+730，代表该摄像头位于京港澳高速东路驻马店至信阳段，K95+730代表该摄像头位于距该段高速公路起点95.73km处。

步骤S2.对于目标区域内的每个摄像头桩号对应的特征向量组，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度，判断该特征向量组中的最高相似度是否超过设定阈值，若是，则认为该摄像头追踪到目标车辆，否则，认为该摄像头未追踪到目标车辆。

目标区域是指高速路段上待监测区域，例如，京港澳高速驻马店至信阳段K930+100至K1012+200。

本实施例中特征向量的相似度的计算方式为计算两一维特征的L2范数，若目标特征向量为

待比较特征向量为

公式为

优选地，所述摄像头桩号对应的特征向量组的获取方式如下：

步骤(1)实时获取各高速路段的摄像头视频流。

监控中心一直在实时获取各高速路段的摄像头视频流。

步骤(2)对于每个视频流的每帧图像，自动截取该图像中各个车辆的框图。

所述自动截取该图像中各个车辆的框图包括以下步骤：

(2.1)基于卷积神经网络，提取原始帧图像中的车辆框图。

如图2所示，本实施例采用的卷积神经网络结构如下：其输入为224×224尺寸图像，经过两堆叠的3×3×64卷积层，再经过一最大池化层，输出为112×112中间特征层；经过两堆叠的3×3×128卷积层，再经过一最大池化层，输出为56×56中间特征层；经过两堆叠的3×3×256卷积层与一1×1x256卷积层，再经过一最大池化层，输出为28×28中间特征层；经过两堆叠的3×3×512卷积层与一1×1×512卷积层，再经过一最大池化层，输出为14×14中间特征层；经过两堆叠的3×3×512卷积层与一1×1×512卷积层，再经过一最大池化层，输出为7×7卷积特征层；将二维向量按行展开为一维向量，经过一层2048维度全连接层；经过一层512维全连接层；输出层为120维车辆框图信息，其中共代表20个同车辆框，每一车辆框包含(x0,y0,x1,y1,cls,score)，x0，y0为定位框左上角坐标，x1，y1为定位框右下角坐标，cls表示车辆类别，score代表该定位框置信度得分。通过人工标注的车辆框图训练集，训练所述卷积神经网络。

(2.2)基于局部池化操作，判断是否存在不同车辆框图表示同一辆车，若是，则进入步骤(2.3)，否则，输出框图位置。

所述局部池化操作具体为：根据(2.1)中的车辆框图信息，在7×7卷积特征层中提取对应区域的卷积特征，并进行池化操作，每一车辆框图最终输出128维一维特征向量。对于两车辆框图特征，将两128维特征拼接为256维特征，经过一层全连接层输出判别结果。

(2.3)采用非极大值抑制方法，合并表示同一辆车的所有框图。

将同一辆车的框图按对应的置信度得分排序，选中最高分对应的框，遍历其余的框，如果与当前最高分框的重叠面积大于一定阈值，则将该框删除，重复这一过程至只剩下一个待选框即为该车对应定位框。

步骤(3)提取每张框图的特征向量和对应的摄像头桩号、时间戳，将当前帧、框图的特征向量、对应的摄像头桩号和时间戳作为一条记录，保存到数据库中。

优选地，车辆特征向量的提取方式如下：采用深度学习提取车辆的第一特征向量，采用HOG(Histogram of Oriented Gradient，方向梯度直方图)算法提取车辆的第二特征向量，将第一特征向量和第二特征向量进行特征融合。

采用深度卷积神经网络构建算法模型，使用三元组损失函数进行网络训练，提取车辆相似度特征向量。利用HOG检测模式由上至下、由左至右检测图像HOG特征。

采用深度学习提取到的第一特征向量反映了车辆的相似度特征，采用HOG算法提取到的第二特征向量反映了车辆的纹理特征，将第一特征向量和第二特征向量进行特征融合，遵循集成学习的原理，兼顾了车辆的全局特征与局部特征，使得车辆的特征在复杂环境中仍能准确表达。

优选地，所述将第一特征向量和第二特征向量进行特征融合包括以下步骤：

(1)分别对第一特征向量和第二特征向量进行归一化处理，将归一化后的第一特征向量和第二特征向量拼接为一维特征向量。

本实施例分别对第一特征向量和第二特征向量进行归一化处理，将特征向量从统一分布至[0,1]取值范围内，加速神经网络收敛，并避免不同特征取值范围差距过大引起的小量级特征值被忽略。

(2)将一维特征向量输入全连接神经网络，得到融合后的特征向量。

如图3所示，本实施例采用全连接神经网络对图像特征组合与计算。该全连接神经网络的结构如下：其输入2048维向量，经过ReLU激活层，1024维全连接层，ReLU激活层，256维全连接层，ReLU激活层，128全连接层，最终输出为128维特征向量。通过人工标记带有车辆ID的多组车辆图像训练集，训练所述全连接神经网络。

优选地，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度前，基于目标车辆图像捕捉时间戳与该特征向量组中各个特征向量对应的时间戳，结合两摄像头之间地理距离，计算车辆的平均行驶速度，判断该平均行驶速度是否合理，若是，则计算相似度，否则，跳过该相似度的计算。

通过判断平均行驶速度是否在[v_min,V_max]内，V_min为高速公路最低时速，V_max为高速公路最高时速，本实施例中为[60km/h,150km/h]。

优选地，所述步骤S2中的设定阈值的设定方式如下：

以车辆出站口为依据，将高速公路分为多个路段，同一路段中所有摄像头共享同一基础阈值。

受到雾气、日照等环境影响，车辆跟踪精度变差。本发明通过对属于同一路段的监测路段的摄像头设置相同的基础阈值，消除了环境对车辆跟踪的影响。在本实施例中，基础阈值设置为0.8。

优选地，根据追踪到目标车辆的摄像头桩号，绘制车辆行驶轨迹，依据车辆行驶轨迹判断是否存在摄像头漏检目标车辆，若是，将漏检摄像头采集到的视频流中相似度最高的车辆认定为目标车辆，并自适应调整漏检摄像头的基础阈值，消除摄像头个体差异对车辆跟踪的影响。

依据车辆行驶轨迹判断是否存在摄像头漏检目标车辆的方式具体如下：若同一段中三分之二以上摄像头均跟踪到目标车辆，则判断该路段中首个成功跟踪摄像头到最后一个成功跟踪摄像头路段中未跟踪到目标车辆摄像头存在漏检。

优选地，所述自适应调整漏检摄像头的基础阈值具体如下：

降低漏检摄像头的基础阈值，降低后的基础阈值的计算公式如下：

θ＝(1-α)·θ+α·θ_s

其中，θ为当前摄像头的基础阈值，θ_s为目标车辆的相似度，0<α<1为更新步长。

经过本发明的车辆跟踪方法，得到车辆跟踪结果后，可进一步地应用，例如，高速公路防逃费场景、城市交通交通监管场景。

本发明还提供了一种基于视频分析的车辆跟踪系统，该系统包括：

车辆特征提取模块，用于提取目标帧图像中的目标车辆的特征向量、摄像头桩号和时间戳；

车辆追踪模块，用于对于目标区域内的每个摄像头桩号对应的特征向量组，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度，判断该特征向量组中的最高相似度是否超过设定阈值，若是，则认为该摄像头追踪到目标车辆，否则，认为该摄像头未追踪到目标车辆。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于视频分析的车辆跟踪方法，其特征在于，该方法包括以下步骤：

S1.从目标帧图像中选择目标车辆，提取目标车辆的特征向量、摄像头桩号和时间戳；

S2.对于目标区域内的每个摄像头桩号对应的特征向量组，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度，判断该特征向量组中的最高相似度是否超过设定阈值，若是，则认为该摄像头追踪到目标车辆，否则，认为该摄像头未追踪到目标车辆；

所述摄像头桩号对应的特征向量组的获取方式如下：

(1)实时获取各高速路段的摄像头视频流；

(2)对于每个视频流的每帧图像，自动截取该图像中各个车辆的框图；

(3)提取每张框图的特征向量和对应的摄像头桩号、时间戳，将当前帧、框图的特征向量、对应的摄像头桩号和时间戳作为一条记录，保存到数据库中；

所述自动截取该图像中各个车辆的框图包括以下步骤：

(2.1)基于卷积神经网络，提取原始帧图像中的车辆框图；

(2.2)基于局部池化操作，判断是否存在不同车辆框图表示同一辆车，若是，则进入步骤(2.3)，否则，输出框图位置；

(2.3)采用非极大值抑制方法，合并表示同一辆车的所有框图；

所述局部池化操作具体为：根据步骤(2.1)中提取到的车辆框图的定位信息，在卷积特征层中提取对应定位的卷积特征，并进行池化操作，每一车辆框图最终输出128维一维特征向量；对于两车辆框图特征，将两个128维特征拼接为256维特征，经过一层全连接层输出两车辆框图是否表示同一辆车的判别结果。

2.如权利要求1所述的方法，其特征在于，车辆特征向量的提取方式如下：采用深度学习提取车辆的第一特征向量，采用HOG算法提取车辆的第二特征向量，将第一特征向量和第二特征向量进行特征融合。

3.如权利要求2所述的方法，其特征在于，所述将第一特征向量和第二特征向量进行特征融合包括以下步骤：

(1)分别对第一特征向量和第二特征向量进行归一化处理，将归一化后的第一特征向量和第二特征向量拼接为一维特征向量；

(2)将一维特征向量输入全连接神经网络，得到融合后的特征向量。

4.如权利要求1至3任一项所述的方法，其特征在于，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度前，基于目标车辆图像捕捉时间戳与该特征向量组中各个特征向量对应的时间戳，结合两摄像头之间地理距离，计算车辆的平均行驶速度，判断该平均行驶速度是否合理，若是，则计算相似度，否则，跳过该相似度的计算。

5.如权利要求1至3任一项所述的方法，其特征在于，所述步骤S2中的设定阈值的设定方式如下：

以车辆出站口为依据，将高速公路分为多个路段，同一路段中所有摄像头共享同一基础阈值。

6.如权利要求1至3任一项所述的方法，其特征在于，根据追踪到目标车辆的摄像头桩号，绘制车辆行驶轨迹，依据车辆行驶轨迹判断是否存在摄像头漏检目标车辆，若是，将漏检摄像头采集到的视频流中相似度最高的车辆认定为目标车辆，并自适应调整漏检摄像头的基础阈值。

7.如权利要求6所述的方法，其特征在于，所述自适应调整漏检摄像头的基础阈值具体如下：

降低漏检摄像头的基础阈值，降低后的基础阈值的计算公式如下：

θ＝(1-α)·θ+α·θ_s

其中，θ为当前摄像头的基础阈值，θ_s为漏检摄像头采集到的视频流中最高相似度，0<α<1为更新步长。

8.一种基于视频分析的车辆跟踪系统，其特征在于，该系统包括：

车辆特征提取模块，用于提取目标帧图像中的目标车辆的特征向量、摄像头桩号和时间戳；

车辆追踪模块，用于对于目标区域内的每个摄像头桩号对应的特征向量组，计算该特征向量组中各个特征向量与目标车辆的特征向量的相似度，判断该特征向量组中的最高相似度是否超过设定阈值，若是，则认为该摄像头追踪到目标车辆，否则，认为该摄像头未追踪到目标车辆；

所述摄像头桩号对应的特征向量组的获取方式如下：

(1)实时获取各高速路段的摄像头视频流；

(2)对于每个视频流的每帧图像，自动截取该图像中各个车辆的框图；

(3)提取每张框图的特征向量和对应的摄像头桩号、时间戳，将当前帧、框图的特征向量、对应的摄像头桩号和时间戳作为一条记录，保存到数据库中；

所述自动截取该图像中各个车辆的框图包括以下步骤：

(2.1)基于卷积神经网络，提取原始帧图像中的车辆框图；

(2.2)基于局部池化操作，判断是否存在不同车辆框图表示同一辆车，若是，则进入步骤(2.3)，否则，输出框图位置；

(2.3)采用非极大值抑制方法，合并表示同一辆车的所有框图；

所述局部池化操作具体为：根据步骤(2.1)中提取到的车辆框图的定位信息，在卷积特征层中提取对应定位的卷积特征，并进行池化操作，每一车辆框图最终输出128维一维特征向量；对于两车辆框图特征，将两个128维特征拼接为256维特征，经过一层全连接层输出两车辆框图是否表示同一辆车的判别结果。

Images