CN110472496B - 一种基于目标检测与跟踪的交通视频智能分析方法 - Google Patents

Abstract

本发明公开了一种基于目标检测与跟踪的交通视频智能分析方法，具体包括利用监控摄像机采集的高速公路视频，利用深度学习方法进行车辆目标检测，根据检测结果，使用多目标跟踪方法获取目标轨迹，智能分析目标轨迹，获取车流量、车辆速度并检测交通拥堵、停车的交通异常事件，完成交通视频的智能分析。该方法能够对车辆进行视野范围内的长时间检测与跟踪，从而准确地获取交通参数、检测交通事件。本发明的方法在多种交通场景中使用都具有较高的稳定性，具有一定的实用价值与广阔的市场潜力。

Description

一种基于目标检测与跟踪的交通视频智能分析方法

技术领域

本发明属于智能交通领域，具体涉及一种基于目标检测与跟踪的交通视频智能分析方法。

背景技术

智能交通与智慧城市已成为了近年来的热点话题，由于我国经济的不断发展，车辆已经成为居民日常出行与交通运输不可缺少的工具。然而，车辆的增加使得道路堵塞、环境污染，给相关的管理部门带来了巨大的压力。因此，利用计算机视觉技术对交通视频进行智能分析，对车辆进行智能化管理，自动获取交通数据及交通异常事件是十分必要的。采用计算机视觉技术，智能分析交通监控视频，向相关管控部门发布相关车辆交通数据及事件，达到了交通的智能化、科技化发展的目的。

使用交通视频获取车辆速度及车流量并检测交通异常事件，与传统在路侧安装相关检测硬件获取交通信息的方式相比，成本较低且精度较高，可实现实时传输数据到管理端，拥有广阔的应用前景。目前，传统硬件检测的方法精度不够高，获取的交通信息有限且可视化性能差，从而存在一定的应用缺陷。

发明内容

针对现有技术中的缺陷和不足，本发明提供了一种基于目标检测与跟踪的交通视频智能分析方法，解决目前传统硬件检测的方法精度不够高，获取的交通信息有限且可视化性能差，存在一定的应用缺陷的问题。

为达到上述目的，本发明采取如下的技术方案：

本发明提供一种基于目标检测与跟踪的交通视频智能分析方法，该方法利用深度学习方法进行车辆目标检测，使用多目标跟踪方法获取车辆轨迹，智能分析车辆轨迹，获取车流量和车辆速度，并检测交通拥堵、停车异常行为，完成对交通视频的智能分析；该方法包括如下步骤：

步骤一，采集交通场景的视频图像，视频图像分辨率为1920*1080，使用YOLO_Mark标注工具，该工具为本领域常规工具，至少标注5000张交通场景的视频图像，本方案标注了11128张交通场景的视频图像。按照车型将车辆划分为不同车辆类别，保存车辆类别、车辆标注的图像位置及对应的视频图像，构建车辆目标数据集；

步骤二，对构建的车辆目标数据集，使用深度学习网络进行车辆目标数据集的训练，得到车辆检测模型；

步骤三，使用车辆检测模型，对待测交通场景视频图像中的车辆进行检测，交通场景视频图像包括各类摄像机所拍摄的交通场景视频图像，不仅限于步骤一中的交通场景视频图像，得到车辆目标类别(车辆目标类别包括：轿车、客车、货车)、该车辆在图像上的矩形框、该车辆的置信度；根据以上结果，进行车辆多目标的跟踪，得到车辆轨迹；

步骤四，根据得到的车辆轨迹，对车辆轨迹进行分析，得到当前的车流量、车辆速度，以及对交通拥堵、停车异常行为的判断。

本发明还包括如下技术特征：

具体的，所述步骤三中进行车辆多目标跟踪的方法包括以下步骤：

步骤3.1，使用重叠相似性度量方法，得到当前帧所有车辆目标与车辆轨迹的关联矩阵，使得车辆目标与其车辆轨迹的数据关联，再通过行列最优的关联判定准则在关联矩阵中寻找最佳关联对，完成同一车辆目标在不同帧中的关联，得到车辆目标与车辆轨迹的数据关联结果；

步骤3.2，根据车辆目标与车辆轨迹的数据关联结果，采取不同的方法进行持续的目标跟踪；

具体的，所述步骤四中对轨迹进行分析得到交通流量及交通异常事件包括：

步骤4.1判断车辆的运动方向：针对不同相机视角下的交通视频，利用车辆的轨迹信息，计算轨迹与图像坐标系之间的夹角，图像坐标系以图像的左上顶点为原点，横向为x轴，纵向为y轴进行建立。实现车辆运行方向的判断；

步骤4.2设置断面检测线：利用车辆轨迹在图像上通过的运动区域构建上下行方向各自的连通域，取连通域质心坐标值作为各方向的检测线位置，通过不断更新的轨迹信息自动更新检测线位置；

步骤4.3获取车辆速度：且设置每1分钟进行一次车辆速度的计算；

步骤4.4获取车流量：将车辆分为不同车辆类别(车辆类别包括：轿车、客车、货车)，统计某类车辆类别在某段时间内的车流量；

步骤4.5交通拥堵异常行为的检测：判断交通视频中检测到的车辆目标数较多，以及判断整体的车辆运行速度比畅通情况(高速限速最低)明显降低；

步骤4.6停车异常行为的检测：对于异常停车的车辆目标，其坐标位置在一定时间内保持不变或变化较小，相应的运行速度也较低，则按此规则进行停车的异常判断。

具体的，使用重叠相似性度量方法及行列最优的关联判定准则，所述步骤3.1的具体实现方式包括：

步骤3.1.1采用重叠相似性度量方法的具体步骤：将当前第k帧的车辆目标检测结果和前k-1帧的车辆目标检测结果形成目标轨迹；车辆目标检测结果包括车辆目标类别(轿车、客车、货车)、该车辆在图像上的矩形框、该车辆的置信度；第k帧检测结果的第i个矩形框，与当前帧已有的第j条轨迹的最后一帧矩形框，两个矩形框的相关度越高其对应的相似性度量值越大，采用重叠相似性度量方法得到目标与轨迹的关联矩阵；

步骤3.1.2对相似性度量值进行阈值约束，得到候选关联对，然后采用行列最优原则在步骤3.1.1中所得到的关联矩阵中进行最佳关联对的选择，第i行对应的最优度量值属于第j列，同时第j列对应的最优度量值属于第i行，满足行列最优原则。

具体的，对于车辆目标与车辆轨迹的数据关联结果，采取不同的方法进行持续的目标跟踪，所述步骤3.2的具体实现方式包括：

步骤3.2.1若目标检测框匹配失败，即该检测目标未匹配到相应轨迹，则进行误检检测，对该目标框进行连续多帧的检测与跟踪，若在连续多帧该目标都可以被检测并采用步骤3.1进行目标轨迹匹配成功，则该检测框是新出现的目标，将作为下一帧的关联数据，继续执行步骤3.1，否则认为该目标存在误检，删除该轨迹；

步骤3.2.2若目标与轨迹按步骤3.1匹配成功，此时为有效关联对，跳过步骤3.2，按照步骤3.1持续跟踪；

步骤3.2.3若轨迹匹配失败，即跟踪轨迹框未匹配到检测框，则进行遮挡检测，结合卡尔曼滤波算法，使用最大响应值遮挡检测机制。当车辆目标被遮挡时，利用KCF(Kernelized Correlation Filters，核相关滤波器)算法计算最大响应值，若该值小于设定的响应阈值，则判定当前发生遮挡，采用卡尔曼滤波对遮挡车辆目标进行位置预测，当车辆目标离开遮挡后，车辆目标重新被检测到，再次采用步骤3.1使车辆目标与轨迹匹配成功，车辆目标轨迹持续跟踪；

步骤3.2.4若采用步骤3.2.3中的最大响应值遮挡检测机制时，发现不满足步骤3.2.3中的响应阈值要求，不存在遮挡，则该轨迹匹配失败是由漏检造成的，则使用KCF算法实现目标位置的预测，对跟踪目标进行HOG特征提取构建跟踪器，利用跟踪器模板在当前第k帧循环检测，计算最大响应值，从而确定目标预测位置，实现轨迹跟踪；

步骤3.2.5对于对连续40帧未成功匹配的目标轨迹，则认为该目标已离开视频场景，删除该轨迹。

具体的，将步骤四获得的车流量、车辆速度以及交通拥堵、停车异常行为，保存并(保存为txt格式文件)进行数据发布。

本发明与现有技术相比，有益的技术效果是：

本发明的一种基于目标检测与跟踪的交通视频智能分析方法，与现有技术相比，对于多种交通场景及环境都有较好的适应性，同时，获取的交通信息丰富，打破了传统技术无法获取车辆类别或使用人工方式判定交通违章事件的劣势。实际交通场景使用时，系统工作稳定，可持续获取各种交通信息并判断交通异常事件，且操作简便，具有可视化等优势，应用前景广阔。

附图说明

图1为视频图像中的一帧图像；

图2为构建的车辆目标数据集；

图3为车辆分类检测结果；

图4为车辆多目标跟踪流程图；

图5为寻找最佳关联对时的目标轨迹关联矩阵；

图6为KCF算法预测目标位置示意图；

图7为目标跟踪结果；

图8为检测线的自动设置

图9为车流量、车速的交通参数获取结果；

图10为交通拥堵判断结果；

图11为车辆停车判断结果；

图12是本发明的方法流程图。

具体实施方式

本发明公开了一种基于目标检测与跟踪的交通视频智能分析方法，使用交通视频进行基于深度学习方法的车辆检测，通过车辆检测结果，进行持续的车辆多目标同时跟踪并画出轨迹，再对车辆轨迹进行分析处理，提供交通流信息及交通异常事件，达到交通视频智能分析的目的。参见图12，本发明的方法具体包括以下步骤：

步骤一，采集交通场景的视频图像10000张左右，视频图像分辨率为1920*1080，使用标注工具将每张图像中的车辆目标用矩形框标出，并划分为三类：轿车、客车、货车，将标注信息(车辆类别、车辆矩形框位置)保存，完成车辆目标数据集的构建。

步骤二，对构建的车辆目标数据集，使用YOLOv3(You Only Look Once vision 3)深度学习网络进行数据集图片的训练，此时深度网络训练的关键参数设置如下：迭代次数50200次、学习率0.001。当深度网络训练的Loss误差值下降至0.1时，停止训练，保存此时的深度网络模型，作为后续步骤的车辆检测模型使用。其中，Loss值的计算方式为：

Loss＝L_(x,y)+L_(w,h)+L_(c)+L_(noc)+L_(p)， (1)

各项值的函数表示为：

其中，S²表示图片网格数量，B表示每个网格预测边界框的个数，C表示能检测识别的类别总数。具体包含以下4部分：

(1)边界框x，y的偏移预测误差L_(x,y)

公式(2)是对预测边界框的中心坐标x，y计算损失值。该公式计算每一个网格单元i＝(0,1,...,S²)对应的每一个预测边界框j＝(0,1,...,B)的总和。其中(x,y)是边界框的位置，

是训练数据集中标注样本的实际位置。此外，

用来判断第i个网格中的第j个边界框是否负责该目标，

表示第i个网格存在目标，且第j个边界框对该预测有效，

表示第i个网格不存在目标。

(2)边界框w，h的预测误差L_(w,h)

公式(3-3)是对边界框的宽高w，h计算损失值。目标检测时，如果检测位置相对于真实位置发生较小偏移，尺寸较小的目标在图像上的误差直观上要大于尺寸较大的目标。在训练过程中，边界框的w，h预测值误差针对于不同大小的框，尺寸较大框的误差要小于尺寸较小框的误差。为此，在计算Loss时，不直接使用w和h，而是对其求平方根。

(3)边界框置信度(confidence)的预测误差L_(c)+L_(noc)

公式(4)和(5)是对边界框confidence计算误差值。其中，c是置信度得分，

是预测边界框与真实标注目标框的交叉部分。图像被划分为S*S个网格，而其中绝大部分网格不包含目标，因此绝大部分边界框的置信度conficence＝0。在计算边界框置信度的预测误差时，如果同等对待包含目标和不包含目标的边界框，会导致网络模型不稳定。因此，对于包含目标的边界框，其置信度的预测误差利用公式(4)计算，对于不包含目标的边界框，在计算置信度的预测误差时引入惩罚权重λ_noobj＝0.5，记为公式(5)。

除此之外，公式(2)和公式(3)中的λ_coord引入也是为了提高模型的稳健性，其惩罚权重λ_coord＝5。

(4)边界框分类预测误差L_(p)

公式(6)是对预测框的类别计算误差值。p是训练中实际类别概率，

是预测边界框的类别概率。每一个网格仅预测一次类别，即默认每个网格对应的B个边界框都属于同一类别。对于没有对象的网格单元，不进行分类误差的惩罚。

步骤三，使用车辆检测模型，对待测交通场景视频图像中的车辆进行检测，交通场景视频图像包括各类摄像机所拍摄的交通场景视频图像，不仅限于步骤一中的交通场景视频图像，得到车辆的目标类别(轿车、客车、货车)、该车辆在图像上的矩形框、该目标的置信度。根据矩形框，进行车辆多目标的跟踪，具体实现方法包括以下步骤：

步骤3.1，目标与轨迹的数据关联，具体实现方法如下：

步骤3.1.1，由于视频相邻帧间，对于同一车辆的检测矩形框会有很大面积的重叠，因此进行重叠相似性度量方法。关联数据是将当前第k帧的目标检测结果

和前k-1帧形成目标轨迹

其中，检测结果

包括目标框坐标位置、目标类别、目标置信度；已有目标轨迹

包括轨迹唯一ID、轨迹在每一帧中的目标信息(目标坐标位置、目标类别和置信度)、轨迹方向、轨迹前一帧的图像等信息。重叠相似性度量方法的计算公式为：

其中

表示第k帧检测结果的第i个目标框，

表示已有的第j条轨迹

的最后一帧目标框。两个目标框的相关度越高其对应的相似性度量值越大，最理想情况是两目标完全重叠，即比值为1。

采用重叠相似性度量方法得到目标与轨迹的关联矩阵A_mn，其中每一行表示目标检测框与每条跟踪轨迹目标框的相似性度量值，每一列表示该跟踪轨迹的目标框与当前各检测框的相似性度量值。

为了后续使用方便，关联矩阵中的相似性度量值记为D_ij＝(1-IoU_(i,j))，IoU_(i,j)表示第i个目标检测框与第j条跟踪轨迹目标框的相似性度量值；

步骤3.1.2，通过关联判定准则在关联矩阵中寻找最佳关联对。使用行列最优的方法实现同一车辆目标在不同帧中的关联。对相似性度量值D_ij进行阈值约束，得到候选关联对，然后采用行列最优原则进行最佳关联对的选择，即第i行对应的最优度量值属于第j列，同时第j列对应的最优度量值属于第i行，此时满足行列最优原则：

其中，I表示最优行号，J表示最优列号。同一车辆目标在连续帧间的矩形框重叠值较大，最优相似性度量值D_ij应该最小，这里将相似性度量的最小阈值Thresh设置为0.5。

步骤3.2，根据车辆目标与车辆轨迹的数据关联结果，采取不同的方法进行持续的目标跟踪，即对于多目标关联矩阵A_mn的结果，采取不同的方法进行持续的目标跟踪，具体实现方法如下：

步骤3.2.1，若目标检测框匹配失败，即该检测目标未匹配到相应轨迹，则进行误检检测，对该目标框进行连续3帧的检测与跟踪，若在连续3帧该目标都可以被检测并采用步骤3.1进行目标轨迹匹配成功，则该检测框是新出现的目标，将作为下一帧的关联数据，继续执行步骤3.1，否则认为该目标存在误检，删除该轨迹；

步骤3.2.2，若目标与轨迹按步骤3.1匹配成功，此时为有效关联对，跳过步骤3.2，按照步骤3.1持续跟踪；

步骤3.2.3，若轨迹匹配失败，即跟踪轨迹框未匹配到检测框，则进行遮挡检测，结合卡尔曼滤波算法，使用最大响应值遮挡检测机制，其包括：

1)使用KCF算法实现目标位置的预测，即步骤3.2.4中的KCF算法使用方式。正常无遮挡情况下，KCF算法最大响应值较高，一般保持在0.7以上；当目标发生遮挡时，最大响应值会明显降低，整个遮挡过程中，跟踪器模板持续更新，目标特征持续改变，因而最大响应值一直保持较低状态。基于上述分析结果，设定响应阈值0.5，当目标丢失时，利用KCF算法计算最大响应值，若该值小于响应阈值0.5，则判定当前发生遮挡，继续执行本步骤后续操作，否则将该最大响应值对应的目标位置作为丢失状态下的预测位置，执行步骤3.2.4的处理方式，即目标漏检时的处理方式。

2)当发生遮挡时，采用卡尔曼滤波对遮挡目标进行位置预测：

公式(10)：利用第k-1帧状态值预测第k帧的状态。其中

表示第k帧状态值、

表示第k-1帧的控制量，A和B是系统参数。

是一个向量，除了坐标外还可以包含速度，比如坐标x，坐标y，速度x，速度y。

是预测值的误差的协方差，预测过程增加了新的不确定性Q，加上之前存在的不确定性。

公式(11)：计算卡尔曼增益K_k，其中H是测量系统的参数。

公式(12)：用观测值Z_k对预测结果进行更新。对预测结果和观测结果做加权平均，得到当前时刻的状态估计。同时，更新协方差P_k。

3)当目标离开遮挡后，目标重新被检测到，再次采用步骤3.1使车辆目标与轨迹匹配成功，目标轨迹持续跟踪；

步骤3.2.4，若采用步骤3.2.3中的最大响应值遮挡检测机制时，发现不满足步骤3.2.3中的响应阈值要求，不存在遮挡，则该轨迹匹配失败是由漏检造成的，使用KCF算法实现目标位置的预测，其包括：

1)初始化KCF跟踪器：对第k-1帧时检测到的目标，该目标成功关联轨迹，目标处于跟踪状态，此时更新轨迹信息，第k帧时，由于漏检，目标处于丢失态，此时需要初始化KCF跟踪器。初始化过程指：第k-1帧图像(轨迹信息中包含该帧图像)，在目标位置附近进行循环采样提取HOG特征，利用岭回归训练目标跟踪器；

2)更新目标位置：利用k-1帧的目标位置在第k帧图像中选定候选区域，在候选区域内循环采样，利用第一步训练好的目标跟踪器计算每一个采样样本对应的响应值，响应最强的位置作为第k帧的预测位置；

3)更新跟踪器模板：为了适应目标的变化，KCF算法在每一次得到预测结果之后，对模板和参数进行迭代更新。

步骤3.2.5，对于对连续40帧未成功匹配的目标轨迹，则认为该目标已离开视频场景，删除该轨迹。

步骤四，根据上述方法得到了车辆目标的轨迹，现对轨迹进行分析，得到当前的车流量、车辆速度，以及对交通拥堵、停车异常行为的判断，其具体实现方法如下：

步骤4.1，判断车辆的运动方向。对于某一确定的高速公路路段，其上下行方向始终不变。当相机安装在道路左侧时，由于相机的旋转，会得到两种不同视角的监控视频，同理，相机安装在道路右侧也有两种。针对不同相机视角下的交通视频，利用车辆的轨迹信息，计算轨迹与图像坐标系之间的夹角，实现车辆运行方向的判断，计算公式如下：

Δx＝lastX-firstX (13)

Δy＝lastY-firstY (14)

其中，lastX、lastY表示当前轨迹结束位置，firstX、firstY表示轨迹起始位置。利用公式(15)对夹角θ进行判断，0表示当前轨迹方向不可判断、1表示上行、-1表示下行。

其中，frameLen表示以视频帧度量的轨迹长度，即轨迹较短小于15帧时，不进行方向判断。

步骤4.2设置断面检测线。利用目标轨迹在图像上通过的运动区域构建上下行方向各自的连通域，取连通域质心坐标值作为各方向的检测线位置，通过不断更新的轨迹信息自动更新检测线位置。

步骤4.3获取车辆速度v。采用公式：

其中，距离d是车辆目标在t时长内的实际移动距离，因而对拍摄该场景的相机进行标定，得到相机的内外参数，从而将轨迹的位置信息从图像坐标系转换到世界坐标系，该方法为本领域常规方法，这里直接使用已有的标定结果。此外，设置每1分钟进行一次车辆速度的计算。

步骤4.4获取车流量。车流量p是指单位时间内通过某路段的车辆数。计算公式如(18)：

其中，t表示监测时长，N表示监测时长内通过检测线的车辆数。

将车辆分为轿车、客车、货车三类，单位时间内共统计车辆数为N，假设第i类车型统计值为n，则第i类车型在t时间内车流量p_i为：

步骤4.5交通拥堵异常事件的检测。交通拥堵指当前路段车辆目标较多且位置集中，车辆运行速度缓慢甚至停滞。判断视频中检测到的车辆目标数N较多，以及判断整体的车辆运行速度V比畅通情况(高速限速最低)明显降低，使用公式：

上式(20)是交通拥堵事件检测条件，其中N表示当前图像中检测到的车辆数，V表示单位时长内某一方向所有轨迹的平均车速，若同时满足以上两个条件则表示当前路段发生拥堵。其中平均速度的判断阈值Thresh_V设置为25km/h，车辆数的阈值Thresh_N根据摄像机拍摄的交通场景范围设置。一般为10至25。

步骤4.6停车异常事件的检测。正常行驶的车辆目标通常按照一定的方向做线性运动，其位置信息和轨迹信息是动态变化的。对于异常停车的车辆目标，其坐标位置在一定时间内保持不变或变化较小，相应的运行速度也较低。

上式(21)是停车事件检测条件，IoU(box_k-1,box_k)为同一车辆在第k-1帧与第k帧的两个车辆目标检测框的重叠率，Thresh1为该重叠率的阈值条件，v为当前车辆的运行速度，Thresh2为车辆速度阈值条件。在连续两帧之间，车辆的轨迹位置信息用目标框间的面积重叠率IoU表示，该阈值Thresh1设置为0.9；当前车速阈值Thresh2设置为10km/h，满足以上两个条件时，本系统判定该目标在同一位置持续存在，行驶异常缓慢。

步骤五，对上述获得的车流量、车辆速度以及交通拥堵、停车等异常行为，进行数据发布。具体实现方法包括：将上述数据整理为统一的txt格式文件，按行存储当前的车流量、各个车辆的速度、交通拥堵、停车异常事件，并保存至本地。

本发明的整个过程结束后，即完成了交通视频的智能分析。

遵从上述技术方案，以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。下面结合实施例对本发明做进一步详细说明。

实施例1：

实施例采用中国G60杭金衢高速公路的监控视频，视频帧率为25FPS，视频图像大小为1920*1080。

图1所示为视频图像中的一帧图像；

图2为数据集的建立，本实施例中将车辆划分为“轿车”、“客车”、“货车”三类进行标注；

图3为车辆目标检测的结果(检测到的车辆用矩形框框出)；

图5为数据关联方式，具体解释如下：

第一步：处理第1列数据，在第1列寻找该列对应的最优(最小)度量值，发现关联矩阵中相似性度量值均为1，大于阈值0.5，因此标记该条轨迹与当前检测目标匹配失败，可能的原因是目标被遮挡，未能成功检测到；

第二步：继续处理第2列，在第2列寻找该列对应的最小度量值，确认最小值是在第1行，值为0.1923，小于阈值0.5，此时最优行I＝1；

第三步：在最优行中查找最优列，即在第1行中寻找最小度量值，此时对应的最优列J＝2；

第四步：判断当前处理的列号是否等于最优列号J，若相等则符合行列最优原则，针对当前处理的第2列，等于最优列号J，因此判定第2条轨迹(J＝2)与第1个检测框(I＝1)是同一目标车辆。

采用同样的步骤，循环处理所有列，不符合最小阈值或者不符合行列最优原则的都不是关联对。

图6为漏检情况下的KCF跟踪过程，解释如下：矩形框A表示第k-1帧时检测到的目标，该目标成功关联轨迹；矩形框B为利用k-1帧的目标位置在第k帧图像中选定候选区域(KCF算法中候选框为原目标尺寸的2.5倍)；矩形框C是计算得到的最大响应值目标位置。

图7为车辆目标的跟踪结果，图像中显示了使用车辆检测模型得到的车辆矩形框，使用车辆多目标跟踪得到的车辆轨迹；

图8为不同场景下的检测线自动设置结果。其中，线圈A确定的不规则区域表示上行方向车辆运动区域，横线A表示上行方向检测线；线圈B确定的不规则区域表示下行方向车辆运动区域，横线B表示下行方向检测线。

图9为交通参数获取结果，其中包括：车速即当前处理帧中每一个车辆目标的速度、当前交通场景上下行方向上的平均车速以及车流量信息细分为上下行方向上的各类型车辆数，交通参数获取的结果(当前车流量及平均车速信息)显示在当前帧图像的左上角，且在当前帧正上方显示“None stopEvent”即当前无停车异常事件发生。

图10为交通拥堵检测结果，如图，当前路段车辆数大于10，平均车速为7km/h，满足交通拥堵事件检测条件，其交通拥堵信息在当前帧图像上方中间处表示为“jamEvent”(虚线框标出处)。

图11为一个停车事件的检测结果。矩形框A标记的车辆在第11230帧(左图)时车辆速度为0，该车辆已被判定为停车事件，为了易于观察，将发生停车事件的车辆位置信息(中心点坐标)显示在当前帧图像的右上方，如图11左图第11230帧图像的结果：“stopEvent-[932,679]”(在图中用虚线框标出)；在第11435帧(右图)时，矩形框B标记的该车辆位置信息发生轻微变动，车辆运行速度为9km/h，此时仍为停车事件，当前停车位置信息为“stopEvent-[935,677]”，显示在当前帧图像的右上方。

Claims (5)

1.一种基于目标检测与跟踪的交通视频智能分析方法，其特征在于，该方法利用深度学习方法进行车辆目标检测，使用多目标跟踪方法获取车辆轨迹，智能分析车辆轨迹，获取车流量和车辆速度，并检测交通拥堵、停车异常行为，完成对交通视频的智能分析；该方法包括如下步骤：

步骤一，采集交通场景的视频图像，使用标注工具标注所述视频图像，按照车型将车辆划分为不同车辆类别，保存车辆类别、车辆标注的图像位置及对应的视频图像，构建车辆目标数据集；

步骤二，对构建的车辆目标数据集，使用深度学习网络进行车辆目标数据集的训练，得到车辆检测模型；

步骤三，使用车辆检测模型，对待测交通场景视频图像中的车辆进行检测，得到车辆目标类别、该车辆在图像上的矩形框、该车辆的置信度；根据以上结果，进行车辆多目标的跟踪，得到车辆轨迹；

步骤四，根据得到的车辆轨迹，对车辆轨迹进行分析，得到当前的车流量、车辆速度，以及对交通拥堵、停车异常行为的判断；

步骤四中对轨迹进行分析得到交通流量及交通异常事件包括：

步骤4.1，判断车辆的运动方向：针对不同相机视角下的交通视频，利用车辆的轨迹信息，计算轨迹与图像坐标系之间的夹角，图像坐标系以图像的左上顶点为原点，横向为x轴，纵向为y轴进行建立，实现车辆运行方向的判断；

步骤4.2，设置断面检测线：利用车辆轨迹在图像上通过的运动区域构建上下行方向各自的连通域，取连通域质心坐标值作为各方向的检测线位置，通过不断更新的轨迹信息自动更新检测线位置；

步骤4.3，获取车辆速度：且设置每1分钟进行一次车辆速度的计算；

步骤4.4，获取车流量：将车辆分为不同车辆类别，统计某类车辆类别在某段时间内的车流量；

步骤4.5，交通拥堵异常行为的检测：判断交通视频中检测到的车辆目标数较多，以及判断整体的车辆运行速度比畅通情况明显降低；

步骤4.6，停车异常行为的检测：对于异常停车的车辆目标，其坐标位置在一定时间内保持不变或变化较小，相应的运行速度也较低，则按此规则进行停车的异常判断。

2.如权利要求1所述的基于目标检测与跟踪的交通视频智能分析方法，其特征在于，所述步骤三中进行车辆多目标跟踪的方法包括以下步骤：

步骤3.1，使用重叠相似性度量方法，得到当前帧所有车辆目标与车辆轨迹的关联矩阵，使得车辆目标与其车辆轨迹的数据关联，再通过行列最优的关联判定准则在关联矩阵中寻找最佳关联对，完成同一车辆目标在不同帧中的关联，得到车辆目标与车辆轨迹的数据关联结果；

步骤3.2，根据车辆目标与车辆轨迹的数据关联结果，采取不同的方法进行持续的目标跟踪。

3.如权利要求2所述的基于目标检测与跟踪的交通视频智能分析方法，其特征在于，使用重叠相似性度量方法及行列最优的关联判定准则，所述步骤3.1的具体实现方式包括：

步骤3.1.1，采用重叠相似性度量方法的具体步骤：将当前第k帧的车辆目标检测结果和前k-1帧的车辆目标检测结果形成目标轨迹；车辆目标检测结果包括车辆目标类别、该车辆在图像上的矩形框、该车辆的置信度；第k帧检测结果的第i个矩形框，与当前帧已有的第j条轨迹的最后一帧矩形框，两个矩形框的相关度越高其对应的相似性度量值越大，采用重叠相似性度量方法得到目标与轨迹的关联矩阵；

步骤3.1.2，对相似性度量值进行阈值约束，得到候选关联对，然后采用行列最优原则在步骤3.1.1中所得到的关联矩阵中进行最佳关联对的选择，第i行对应的最优度量值属于第j列，同时第j列对应的最优度量值属于第i行，满足行列最优原则。

4.如权利要求2所述的基于目标检测与跟踪的交通视频智能分析方法，其特征在于，根据车辆目标与车辆轨迹的数据关联结果，采取不同的方法进行持续的目标跟踪，所述步骤3.2的具体实现方式包括：

步骤3.2.1，若目标检测框匹配失败，即该检测目标未匹配到相应轨迹，则进行误检检测，对该目标框进行连续多帧的检测与跟踪，若在连续多帧该目标都可以被检测并采用步骤3.1进行目标轨迹匹配成功，则该检测框是新出现的目标，将作为下一帧的关联数据，继续执行步骤3.1，否则认为该目标存在误检，删除该轨迹；

步骤3.2.2，若目标与轨迹按步骤3.1匹配成功，此时为有效关联对，跳过步骤3.2，按照步骤3.1持续跟踪；

步骤3.2.3，若轨迹匹配失败，即跟踪轨迹框未匹配到检测框，则进行遮挡检测，结合卡尔曼滤波算法，使用最大响应值遮挡检测机制；当车辆目标被遮挡时，利用KCF算法计算最大响应值，若该值小于设定的响应阈值，则判定当前发生遮挡，采用卡尔曼滤波对遮挡车辆目标进行位置预测，当车辆目标离开遮挡后，车辆目标重新被检测到，再次采用步骤3.1使车辆目标与轨迹匹配成功，车辆目标轨迹持续跟踪；

步骤3.2.4，若采用步骤3.2.3中的最大响应值遮挡检测机制时，发现不满足步骤3.2.3中的响应阈值要求，不存在遮挡，则该轨迹匹配失败是由漏检造成的，则使用KCF算法实现目标位置的预测，对跟踪目标进行HOG特征提取构建跟踪器，利用跟踪器模板在当前第k帧循环检测，计算最大响应值，从而确定目标预测位置，实现轨迹跟踪；

步骤3.2.5，对于对连续多帧未成功匹配的目标轨迹，则认为该目标已离开视频场景，删除该轨迹。

5.如权利要求1所述的基于目标检测与跟踪的交通视频智能分析方法，其特征在于，将步骤四获得的车流量、车辆速度以及交通拥堵、停车异常行为，保存并进行数据发布。

Images