CN113393679B - 基于交通路口车流识别与统计的区域交通诱导方法及系统 - Google Patents

Abstract

本发明公开了基于交通路口车流识别与统计的区域交通诱导方法及系统，通过获取目标区域的交通道路线图，根据目标区域内各个路口对目标区域的交通影响大小确定目标区域的关键路口集，获取关键路口集中各个关键路口的监控视频数据流，识别并统计各个关键路口各个相位的车流数据；对于任意关键路口O：将关键路口O的各个车道的车流数据分别与其对应的车流阈值进行比较，当判断出关键路口O的任意车道的车流数据大于与其对应的车流阈值时，以缓解关键路口O的车流拥堵为目标，对关键路口O的交通灯信号进行调整，通过优先调整目标区域内的对目标区域的交通影响大的关键路口的拥堵，从而快速、有效调整区域内的拥堵。

Description

基于交通路口车流识别与统计的区域交通诱导方法及系统

技术领域

本发明涉及城市区域交通诱导技术领域，尤其涉及基于交通路口车流识别与统计的区域交通诱导方法及系统。

背景技术

城市交通对社会经济发展起着至关重要的作用，随着经济的快速发展，人民生活水平的不断提升，私家车成为家家户户都能使用的交通工具，它的便捷舒适给人们带来了极大的生活便利，但与之而来的也带来了交通拥堵等问题。交通拥堵问题制约城市经济发展也影响了人民出行的道路体验感。

在交通区域内，不同位置或不同大小的路口对区域交通的影响是不同，而现有的区域交通诱导方法往往忽视不同位置或不同大小的路口的区域交通的影响不同，一般优先调整或最拥堵的路口，这种调整局部拥堵路口方式往往只能缓解交通区域内局部的拥堵，却不能有效缓解交通区域的整体拥堵，因此，如何快速有效缓解交通区域内整体拥堵已成为本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了基于交通路口车流识别与统计的区域交通诱导方法及系统，用于解决现有的区域交通诱导方法无法快速有效缓解交通区域内整体拥堵的技术问题。

为解决上述技术问题，本发明提出的技术方案为：

一种基于交通路口车流识别与统计的区域交通诱导方法，包括以下步骤：

获取目标区域的交通道路线图，根据目标区域内各个路口对目标区域的交通影响大小确定目标区域的关键路口集，关键路口集中至少包括一个关键路口；

获取关键路口集中各个关键路口的监控视频数据流，识别并统计各个关键路口各个相位的车流数据；

对于任意关键路口O：将关键路口O的各个车道的车流数据分别与其对应的车流阈值进行比较，当判断出关键路口O的任意车道的车流数据大于与其对应的车流阈值时，以缓解关键路口O的车流拥堵为目标，对关键路口O的交通灯信号进行调整。

优选的，获取关键路口集中各个关键路口的监控视频数据流，识别并统计各个关键路口各个相位的车流数据，包括以下步骤：

获取关键路口集中各个关键路口的监控视频数据流，识别并提取监控视频数据流中各帧监控图像的车辆特征，通过匹配各帧监控图像的车辆特征对监控视频数据流的各个车辆进行追踪与编号；

分别在监控视频数据流的每帧监控图像的关键路口处的每个车道位置标注垂直于道路延伸方向的虚拟计数线；获取并根据相邻两帧的监控图像中同一编号的任意车辆C的运动轨迹与虚拟计数线之间的夹角度数确定车辆C的行驶方向；并根据监控视频数据流同一编号车辆与虚拟计数线相对位移统计关键路口的车辆数量。

优选的，识别并提取监控视频数据流中各帧监控图像的车辆特征，包括以下步骤：

构建单步目标检测模型，单步目标识别模型以监控图像为输出量，以监控图像中车辆类别及其对应检测框为输出量；获取并将标注有车辆类别及其对应检测框的历史监控图像作为训练样本对目标识别模型进行训练，得到训练好的目标识别模型；将监控视频数据流中的监控图像按帧为单位输入至目标检测模型中的，得到各帧标注有车辆类别及其对应的检测框的监控视频数据流；其中，训练样本包括原始的历史监控图像/由原始的历史监控图像经随机擦除模型处理生成的擦除历史监控图像/由原始的历史监控图像组合、随机裁剪、混合生成的混合历史图像。

优选的，随机擦除模型包括用于确定随机擦除的图像比例的比率公式、用于确定随机擦除的图像的高度的高长公式以及用于确定随机擦除的图像的宽长的宽长公式；

其中，比率公式为：

其中，S_e表示随机擦除所占面积，S表示整张图片面积，Q表示两者之间的比值，该比值存在一个最小、最大阈值，超过则不成立；

高长公式为：

其中，S_e表示随机擦除所占面积，r_e表示擦除矩形区域的长宽比，在r₁和r₂之间随机初始化，即r_e＝Rand(r₁,r₂)，r₁和r₂分别为长宽比概率范围的下限与上限，H_e表示擦除所占面积高；

宽长公式为：

其中，W_e表示擦除所占面积宽；

由原始的历史监控图像经随机擦除模型处理生成的擦除历史监控图像，具体为：在原始的历史监控图像中随机初始化一个点P＝(x_e,y_e)，其中，x_e为原始历史监控图像上构建的二维坐标的横坐标，y_e为原始历史监控图像上构建的二维坐标的纵坐标，当x_e+W_e≤W并且y_e+H_e≤H时，随机擦除区域选择成立，其中，W表示原图宽，H表示原图长；

混合历史图像通过以下公式获取得到：

其中，M∈{0,1}^W*H表示一个二进制掩码，该掩码指示从两张图像中裁剪出并填充的位置，1表示充满1的掩膜，λ表示两个数据点之间的组合比率，该比率是从贝塔分布

中采样的得到，

取值为1，(x_A，y_A)和(x_B，y_B)分别表示原始训练样本，x_A和x_B分别为两个不同的训练样本，y_A和y_B分别为x_A和x_B对应的标签值，

表示新生成的训练样本及其对应的标签值，Θ表示两者逐像素相乘，为了采样二进制掩膜M，需要B＝(r_x,r_y,r_w,r_h)坐标，表示x_A和x_B的剪裁区域，r_x和r_y分别为区域B的中心点的横坐标和纵坐标，r_w和r_h分别为区域B的宽和高，W为原图的宽，H为原图的高。

优选的，在生成擦除历史监控图像后，且未使用擦除历史监控图像进行训练前，包括对擦除历史监控图像进行噪声处理步骤，噪声处理步骤通过以下公式实现：

k＝1-(1-R)²＝2R-R²

l＝r×d

d＝random(d_min,d_max)

δ_x(δ_y)＝random(0,d-1)

其中，M为掩码，k为掩码M的保持比，指保留图像和遮盖图像之间区域的比例；R为确定图像输入的比例，r是单位内两个遮挡部分的比率，d为一个单位长度，d不影响保持率，但决定了落下的正方形的大小，l是求得单位长度上未遮挡的长度，δ_x和δ_y分别是完整图像单元的两个不同方向的边界，其中δ_x和δ_y可以随机给定r和d的掩码，使掩码覆盖所有可能的情况。

优选的，在图片的训练阶段中，会依照伯努利函数的概率P随机屏蔽掉一部分神经元，只训练保留下来的神经元对应的参数，屏蔽掉的神经元梯度就为0，屏蔽掉的神经元参数将不再参与更新，然而在测试阶段时都参与更新。

优选的，车辆特征包括运动特征和外形特征，通过匹配各帧监控图像的车辆特征对监控视频数据流的各个车辆进行追踪与编号，包括以下步骤：

对于任意时序相邻的监控图像，设从前一帧的监控图像的任一检测框中提取的任一车辆特征为T_i，其中，i＝1,...,N,设后一帧的监控图像的任一检测框中提取的任一车辆特征为D_j，其中，j＝1,...,M；

步骤1：分配跟踪指标集T＝{T₁,...,T_N}和检测指标集D＝{D₁,...,D_M}，并初始化最大循环检测帧数A_max；

步骤2：计算车辆特征T_i与车辆特征D_j的代价矩阵C＝[c_i,j]；

步骤3：计算卡尔曼预测的车辆特征T_i对应的每个跟踪框平均轨道的位置和车辆特征D_j对应的实际检测框的bounding box间的平方马氏距离的代价矩阵B＝[b_i,j]；

步骤4：进行两次阈值的判断，将余弦代价矩阵中跟踪框和检测框间的平均马氏距离大于阈值

的置为无穷大，并且将余弦距离大于阈值

的置为较大；

步骤5：使用匈牙利算法对跟踪框的车辆特征和检测框的车辆特征进行匹配，并返回匹配结果；

步骤6：对匹配结果进行筛选，删去余弦距离较大对匹配；

步骤7：当前循环检测帧数大于最大循环检测帧数A_max时，得到初步的匹配结果，否则执行步骤2。

优选的，使用匈牙利算法对跟踪框的车辆特征和检测框的车辆特征进行匹配，具体包括以下步骤：

对于任意一帧监控图像中的任一跟踪框中的跟踪车辆i及其后一帧监控图像中的任一检测框中检测车辆j均进行以下处理：

计算跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的运动特征之间的运动匹配度

其中，运动匹配度计算公式如下：

其中，d⁽¹⁾(i,j)中1表示跟踪车辆i与检测车辆j之间有线，0则表示无线，该表达式值表示为第j个检测框和第i条轨迹之间的运动匹配度；

是轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵的逆矩阵；d_j是第j个检测框的bounding box；y_i是轨迹在当前时刻的预测量bounding box；

将运动匹配度

输入至预设的运动匹配度门限函数中，判断跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的运动特征是否关联成功；

其中，运动匹配度门限函数如下：

其中，t⁽¹⁾表示设定的运动匹配度阈值，当d⁽¹⁾(i,j)≤t⁽¹⁾表示跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的运动特征关联成功；

计算跟踪车辆i的外观特征与后一帧监控图像中的检测车辆j的外观特征之间的外观匹配度d⁽²⁾(i,j)，外观匹配度d⁽²⁾(i,j)计算公式为：

其中，r_j为表面特征描述因子，

为r_j矩阵的转置，

为第k条轨迹的第i个表面特征描述因子，

用来存放它过去L_k次成功跟踪后物体检测Bounding box对应L_k个特征向量集合，

上式表示第i个轨迹和第j个轨迹的最小余弦距离；

将外观匹配度

输入至预设的外观匹配度门限函数中，判断跟踪车辆i的外观特征与后一帧监控图像中的检测车辆j的外观特征是否关联成功，其中，外观匹配度门限函数如下：

其中，t⁽²⁾表示对于外观匹配度设定的阈值，当d⁽²⁾(i,j)≤t⁽²⁾表示跟踪车辆i的外观特征与后一帧监控图像中的检测车辆j的外观特征是否关联成功；

当跟踪车辆i与检测车辆j的运动匹配度和外观匹配度均关联成功时，根据运动匹配度和外观匹配度计算跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的综合匹配度c_i,j，其中，综合匹配度c_i,j计算公式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

其中，c_i,j为i与j检测框之间的综合匹配度，λ为预设的超参数，根据实际经验设定，d⁽¹⁾(i,j)为运动匹配度，d⁽²⁾(i,j)为外观匹配度；

根据运动匹配度门限函数和外观匹配度门限函数，计算跟踪车辆i与检测车辆j的综合匹配度门限函数值，并根据综合匹配度门限函数值判断跟踪车辆i的车辆特征与后一帧监控图像中的检测车辆j的车辆特征是否关联成功，若关联成功，则判断跟踪车辆i与检测车辆j匹配成功，综合匹配度门限函数如下：

其中，

用来决定初始匹配的连线，只有当b_i,j为1时才认为是初步匹配成功。

优选的，以缓解关键路口O的车流拥堵为目标，对关键路口O的交通灯信号进行调整，包括以下步骤：

获取其他关键路口各个车道的车流数据以及交通信号数据，构建缓解关键路口O的车流拥堵为目标，以关键路口O的车流数据、其他关键路口各个车道的车流数据以及交通信号数据为输入量，以关键路口O的交通灯的最优相位动作为输出量的调控模型；

将关键路口O的车流数据、其他关键路口各个车道的车流数据以及交通信号数据输入至训练好的调控模型中，得到关键路口O的最优相位动作；

根据最优相位动作对关键路口O的交通灯信号进行调整。

一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。

本发明具有以下有益效果：

1、本发明中的基于交通路口车流识别与统计的区域交通诱导方法及系统，通过获取目标区域的交通道路线图，根据目标区域内各个路口对目标区域的交通影响大小确定目标区域的关键路口集，获取关键路口集中各个关键路口的监控视频数据流，识别并统计各个关键路口各个相位的车流数据；对于任意关键路口O：将关键路口O的各个车道的车流数据分别与其对应的车流阈值进行比较，当判断出关键路口O的任意车道的车流数据大于与其对应的车流阈值时，以缓解关键路口O的车流拥堵为目标，对关键路口O的交通灯信号进行调整，相比现有技术，本发明中的优先调整目标区域内的对目标区域的交通影响大的关键路口的拥堵，从而快速、有效调整区域内的拥堵，保证整个区域的交通流畅，解决区域内交通资源更加合理的调配，充分利用好每条道路的性能，能使整个区域交通的拥挤问题得到很大的改善，提高区域的运输能力。

2、在优选方案中，本发明采用了单步目标检测算法，单步目标检测算法就是跳过第一阶段的生成获选区域，直接产生物体的类别概率和位置坐标值，经过单次检测直接得到最终的检测结果，该方法相较于双步目标检测算法速度而言更佳，并且因为采用了数据增强等方法，使该检测方法对于小目标检测也有着不错的效果。

3、在优选方案中，本发明采用Deepsort(深度实时多目标跟踪)方法，对同一目标只做一次统计操作，在有遮挡情况下也能很好避免统计错误。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的基于交通路口车流识别与统计的区域交通诱导方法的流程图；

图2是本发明优选实施例中的基于交通路口车流识别与统计的区域交通诱导方法的流程图；

图3是本发明优选实施例中的为平衡随机擦除带来的误差的结构化擦除示意图；

图4是本发明优选实施例中的IOU(Intersection over Union，相似度)匹配流程图；

图5是本发明优选实施例中的级联匹配流程图；

图6是本发明优选实施例中的服务器获得和处理数据流程图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例一：

如图1所示，本实施中公开了一种基于交通路口车流识别与统计的区域交通诱导方法，包括以下步骤：

获取目标区域的交通道路线图，根据目标区域内各个路口对目标区域的交通影响大小确定目标区域的关键路口集，关键路口集中至少包括一个关键路口；

获取关键路口集中各个关键路口的监控视频数据流，识别并统计各个关键路口各个相位的车流数据；

对于任意关键路口O：将关键路口O的各个车道的车流数据分别与其对应的车流阈值进行比较，当判断出关键路口O的任意车道的车流数据大于与其对应的车流阈值时，以缓解关键路口O的车流拥堵为目标，对关键路口O的交通灯信号进行调整。

此外，在本实施例中，还公开了一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。

本发明中的基于交通路口车流识别与统计的区域交通诱导方法及系统，通过获取目标区域的交通道路线图，根据目标区域内各个路口对目标区域的交通影响大小确定目标区域的关键路口集，获取关键路口集中各个关键路口的监控视频数据流，识别并统计各个关键路口各个相位的车流数据；对于任意关键路口O：将关键路口O的各个车道的车流数据分别与其对应的车流阈值进行比较，当判断出关键路口O的任意车道的车流数据大于与其对应的车流阈值时，以缓解关键路口O的车流拥堵为目标，对关键路口O的交通灯信号进行调整，相比现有技术，本发明中的优先调整目标区域内的对目标区域的交通影响大的关键路口的拥堵，从而快速、有效调整区域内的拥堵，保证整个区域的交通流畅，解决区域内交通资源更加合理的调配，充分利用好每条道路的性能，能使整个区域交通的拥挤问题得到很大的改善，提高区域的运输能力。

实施例二：

实施例二是实施例一的优选实施例，其与实施例一的不同之处在于，对基于交通路口车流识别与统计的区域交通诱导方法的具体步骤进行了细化：

在本实施例公开了一种基于交通路口车流识别与统计的区域交通诱导方法，能通过高清视频拍摄行驶的车辆，在视频中设定虚拟线圈，在服务器中进行分析之后确定车辆的行驶状况。虚拟线圈车辆计数法的原理是在采集到的交通流视频中，在需要进行车辆计数的车道设置一条或多条的虚拟检测线对通过车辆进行检测，从而完成该路段车流量的计数工作。虚拟检测线的设置原则一般是在检测车道上设置一条垂直于车道线，居中的虚拟线段，通过判断其与通过车辆的相对位置的变化，完成车流量的统计工作，进而进行交通诱导。

在本实施例中，如图2和图6所示，公开了一种基于交通路口车流识别与统计的区域交通诱导方法，包括以下步骤：

步骤1：获取目标区域的交通道路线图，获取交通道路线图中各个交叉路口的监控视频数据流及红绿灯状态，并将其交由服务器；

步骤2：服务器根据目标区域内各个路口对目标区域的交通影响大小确定目标区域的关键路口集，关键路口集中至少包括一个关键路口；并将关键路口集中的各个关键交叉口的视频数据流筛选出来；

步骤3：服务器通过单步目标检测算法和Deepsort(深度实时多目标跟踪)方法对道路车辆进行识别并统计各关键交叉口车流情况

3.1：将各个关键路口的各个路口的各个车道上标记虚拟计数线，虚拟检测线的设置原则一般是在检测车道上设置一条垂直于车道线，居中的虚拟线段，通过判断其与通过车辆的相对位置的变化，完成车流量的统计工作。在处理视频流中在需要进行车辆计数的车道设置一条或多条的虚拟检测线对通过车辆进行检测，从而完成该路段车流量的计数工作。每个路口分别画出虚拟计数线(共计4根)，技术线位置垂直与道路，将通过检测目标与计数线之间相对位置变化进行道路车辆流量的加减操作。同时，为了需要可以根据每个车道车流量进行计数统计操作，只需为每个车道分配一个计数线就可以实现该操作。

3.2：由于在进行统计工作之前，需要对道路上车辆进行识别，在识别中本发明采用单步目标检测算法，将目标检测问题转换为直接从图像中提取boundingboxes和类别概率的单个回归问题的方法，只需进行一次操作即可检测目标类别和位置信息。对传入图像分为S×S个网格，若一个目标的中心落入格子，该格子就负责检测该目标。每一个格子预测bounding box和该box的置信值，置信值代表该框包含一个目标的置信度。置信值定义公式如下：

其中，

表示第i个格子的第j个bounding box的置信度，Pr(object)表示当前box是否有对象的概率，

表示真实检测框和预测检测框之间的IOU比值。

每个网格还预测C个条件类别概率：Pr(Class_i|object)。

某类出现在框中的概率以及预测框拟合目标程度表达式为：

其中，Class_i表示第i类类别。

其中，单步目标识别模型以监控图像为输出量，以监控图像中车辆类别及其对应检测框为输出量；获取并将标注有车辆类别及其对应检测框的历史监控图像作为训练样本对目标识别模型进行训练，得到训练好的目标识别模型；将监控视频数据流中的监控图像按帧为单位输入至目标检测模型中的，得到各帧标注有车辆类别及其对应的检测框的监控视频数据流；其中，为了使目标检测达到更高的识别率和准确率，训练样本包括原始的历史监控图像/由原始的历史监控图像经随机擦除模型处理生成的擦除历史监控图像/由原始的历史监控图像组合、随机裁剪、混合生成的混合历史图像。通过组合随机裁剪和混合不同原图这两种方法进行图片的原始训练目标是结合初始的两个样本，生成新的样本进行训练，从而达到数据增强的目的；

其中，随机擦除模型包括用于确定随机擦除的图像比例的比率公式、用于确定随机擦除的图像的高度的高长公式以及用于确定随机擦除的图像的宽长的宽长公式；

其中，比率公式为：

其中，S_e表示随机擦除所占面积，S表示整张图片面积，Q表示两者之间的比值，该比值存在一个最小、最大阈值，超过则不成立；

高长公式为：

其中，S_e表示随机擦除所占面积，r_e表示擦除矩形区域的长宽比，在r₁和r₂之间随机初始化，即r_e＝Rand(r₁,r₂)，r₁和r₂为长宽比概率范围，H_e表示擦除所占面积高；

宽长公式为：

其中，W_e表示擦除所占面积宽；

具体的，由原始的历史监控图像经随机擦除模型处理生成的擦除历史监控图像，具体为：在原始的历史监控图像中随机初始化一个点P＝(x_e,y_e)，其中，x_e为原始历史监控图像上构建的二维坐标的横坐标，y_e为原始历史监控图像上构建的二维坐标的纵坐标，当x_e+W_e≤W并且y_e+H_e≤H时，随机擦除区域选择成立，其中，W表示原图宽，H表示原图长；

在优选方案中，在生成擦除历史监控图像后，且未使用擦除历史监控图像进行训练前，包括对擦除历史监控图像进行噪声处理步骤，噪声处理步骤通过以下公式实现：

k＝1-(1-R)²＝2R-R²

l＝r×d

d＝random(d_min,d_max)

δ_x(δ_y)＝random(0,d-1)

其中，M为掩码，k为掩码M的保持比，指保留图像和遮盖图像之间区域的比例；R为确定图像输入的比例，r是单位内两个遮挡部分的比率，d为一个单位长度，d不影响保持率，但决定了落下的正方形的大小，l是求得单位长度上未遮挡的长度，δ_x和δ_y分别是完整图像单元的两个不同方向的边界，其中δ_x和δ_y可以随机给定r和d的掩码，使掩码覆盖所有可能的情况。其中，衡随机擦除带来的误差的结构化擦除示意图如图3所示。

具体的，混合历史图像通过以下公式获取得到：

其中，M∈{0,1}^W*H表示一个二进制掩码，该掩码指示从两张图像中裁剪出并填充的位置，1表示充满1的掩膜，λ表示两个数据点之间的组合比率，该比率是从贝塔分布

中采样的得到，

取值为1，(x_A，y_A)和(x_B，y_B)分别表示原始训练样本，x_A和x_B为两个不同的训练样本，y_A和y_B为两者对应的标签值，

表示新生成的训练样本及其对应的标签值，Θ表示两者逐像素相乘，为了采样二进制掩膜M，需要B＝(r_x,r_y,r_w,r_h)坐标，表示x_A和x_B的剪裁区域，r_x和r_y为区域B的中心点横纵坐标，r_w和r_h为区域B的宽和高，W为原图的宽，H为原图的高。

为了对上式所描述的二进制掩码M进行采样，我们首先对边框坐标B＝(r_x,r_y,r_w,r_h)进行采样，x_A中的区域B被移除，用x_B中的区域B剪下的补片填充，采样的矩形掩模M，其长宽比与原始图像成正比，坐标B在(x_A,x_B)中按下列方法进行均匀采样:

r_x＝Unif(0,W)

r_y＝Unif(0,H)

其中，剪裁面积比需要满足

λ表示两个数据点之间的组合比率。

在优选方案中，在图片的训练阶段中，会依照伯努利函数的概率P随机屏蔽掉一部分神经元，只训练保留下来的神经元对应的参数，屏蔽掉的神经元梯度就为0，屏蔽掉的神经元参数将不再参与更新，然而在测试阶段时都参与更新。

3.3经过前面多个步骤，对区域交通内交通路口视频流中车辆的识别之后，需要对车流进行统计从而进行交通诱导工作，所以需要对车流进行多目标跟踪，同一目标每次出现在视频流中只进行一次计数，不能多次计数导致车流统计错误，为了实现对车辆流量统计的过程中，不产生对同一视频流的目标进行多次进行计数，本发明采用deepsort算法对多目标进行跟踪，将目标在进入视频识别范围之时，对目标进行唯一标记。

在本实施例中，如图4所示，deepsort算法包括以下步骤：

对于任意时序相邻的监控图像，设从前一帧的监控图像的任一检测框中提取的任一车辆特征为T_i，其中，i＝1,...,N,设后一帧的监控图像的任一检测框中提取的任一车辆特征为D_j，其中，j＝1,...,M；

步骤A：分配跟踪指标集T＝{T₁,...,T_N}和检测指标集D＝{D₁,...,D_M}，并初始化最大循环检测帧数A_max；

步骤B：计算车辆特征T_i与车辆特征D_j的代价矩阵C＝[c_i,j]；

步骤C：计算卡尔曼预测的车辆特征T_i对应的每个跟踪框平均轨道的位置和车辆特征D_j对应的实际检测框的bounding box间的平方马氏距离的代价矩阵B＝[b_i,j]；

步骤D：进行两次阈值的判断，将余弦代价矩阵中跟踪框和检测框间的平均马氏距离大于阈值

的置为无穷大，并且将余弦距离大于阈值

的置为较大；

步骤E：使用匈牙利算法对跟踪框的车辆特征和检测框的车辆特征进行匹配，并返回匹配结果；

其中，对于任意一帧监控图像中的任一跟踪框中的跟踪车辆i及其后一帧监控图像中的任一检测框中检测车辆j均进行以下处理：

计算跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的运动特征之间的运动匹配度

其中，运动匹配度计算公式如下：

其中，d⁽¹⁾(i,j)中1表示跟踪车辆i与检测车辆j之间有线，0则表示无线，该表达式值表示为第j个检测框和第i条轨迹之间的运动匹配度；

是轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵的逆矩阵；d_j是第j个检测框的bounding box；y_i是轨迹在当前时刻的预测量bounding box；

将运动匹配度

输入至预设的运动匹配度门限函数中，判断跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的运动特征是否关联成功；

其中，运动匹配度门限函数如下：

其中，t⁽¹⁾表示设定的运动匹配度阈值，当d⁽¹⁾(i,j)≤t⁽¹⁾表示跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的运动特征关联成功；

计算跟踪车辆i的外观特征与后一帧监控图像中的检测车辆j的外观特征之间的外观匹配度d⁽²⁾(i,j)，外观匹配度d⁽²⁾(i,j)计算公式为：

其中，r_j为表面特征描述因子，

为该矩阵的转置，

为第k条轨迹的第i个表面特征描述因子，

用来存放它过去L_k次成功跟踪后物体检测Bounding box对应L_k个特征向量集合，

上式表示第i个轨迹和第j个轨迹的最小余弦距离；

将外观匹配度

输入至预设的外观匹配度门限函数中，判断跟踪车辆i的外观特征与后一帧监控图像中的检测车辆j的外观特征是否关联成功，其中，外观匹配度门限函数如下：

其中，t⁽²⁾表示对于外观匹配度设定的阈值，当d⁽²⁾(i,j)≤t⁽²⁾表示跟踪车辆i的外观特征与后一帧监控图像中的检测车辆j的外观特征是否关联成功；

当跟踪车辆i与检测车辆j的运动匹配度和外观匹配度均关联成功时，根据运动匹配度和外观匹配度计算跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的综合匹配度c_i,j，其中，综合匹配度c_i,j计算公式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

其中，c_i,j为i与j检测框之间的综合匹配度，λ为预设的超参数，根据实际经验设定，d⁽¹⁾(i,j)为运动匹配度，d⁽²⁾(i,j)为外观匹配度；其中，c_i,j作为计算关联度的总公式。

根据运动匹配度门限函数和外观匹配度门限函数，计算跟踪车辆i与检测车辆j的综合匹配度门限函数值，并根据综合匹配度门限函数值判断跟踪车辆i的车辆特征与后一帧监控图像中的检测车辆j的车辆特征是否关联成功，若关联成功，则判断跟踪车辆i与检测车辆j匹配成功，综合匹配度门限函数如下：

其中，b_i,j作为总的判断第i个物体跟踪和第j个物体检测之间距离是否关联的总公式，

用来决定初始匹配的连线，只有当b_i,j为1时才认为是初步匹配成功。

步骤F：对匹配结果进行筛选，删去余弦距离较大对匹配；

步骤G：当前循环检测帧数大于最大循环检测帧数A_max时，得到初步的匹配结果，否则执行步骤B。

3.4获取并根据相邻两帧的监控图像中同一编号的任意车辆C的运动轨迹与虚拟计数线之间的夹角度数确定车辆C的行驶方向；并根据监控视频数据流同一编号车辆与虚拟计数线相对位移统计关键路口的车辆数量。

步骤4：将统计出的车流量进行汇总，将各道路与相应道路的交通流量承受阈值对比，对于超过阈值的进行交通管制及诱导，与交通区域网络内未超过阈值的道路进行合理搭配疏导交通。同时将诱导信息发送到关键路口显示屏、车载终端、电台和广播等处。

对于超过阈值的进行交通管制及诱导如下：

对于交通区域内流量较大的路口，调整该路口和与其相应的路口信号灯，对于能缓解该路口拥挤情况的信号灯延长其绿灯时长，对于能加重该路口拥挤情况的信号灯延长其红灯时长，每隔一个相位时间进行重新统计交通区域内各路口情况。

作为上述方案的替换方案，可以构建以缓解关键路口O的车流拥堵为目标的调控模型，对关键路口O的交通灯信号进行调整，包括以下步骤：

获取其他关键路口各个车道的车流数据以及交通信号数据，构建以缓解关键路口O的车流拥堵为目标，以关键路口O的车流数据、其他关键路口各个车道的车流数据以及交通信号数据为输入量，以关键路口O的交通灯的最优相位动作为输出量的调控模型；

将关键路口O的车流数据、其他关键路口各个车道的车流数据以及交通信号数据输入至训练好的调控模型中，得到关键路口O的最优相位动作；

根据最优相位动作对关键路口O的交通灯信号进行调整。

步骤5：每隔一段时间需要对整个区域交通内车流量进行重新统计，则返回步骤(1)，否则结束区域交通诱导工作。

如附图5，本发明方法首先需要获取区域交通网络中的关键交叉口的监控视频流信息，将所获得的视频流传输到服务器，由于路上交通情况复杂，有行人，单车、汽车和路障等物体，所以需要服务器通过单步目标检测技术对车道上车流进行检测识别出车辆，并对车辆进行特殊标识。为了使每个目标在视频流中做唯一标识，不重复统计，需要对所识别出来的目标进行跟踪识别。接下来为了对所有目标进行计数统计，需要在每个关键路口画出4条垂直于道路的虚拟计数线，通过车辆与虚拟计数线相对位移来进行数量上的计数，同时为了判断方向上的流量问题，可以通过两帧车辆变换的连线与虚拟计数线的夹角度数判断车辆行驶方向。

综上，本发明中一种基于交通路口车流识别与统计的区域交通诱导方法及系统，包括对交通区域网络进行交通诱导，通过计算机视觉技术对交通区域网络中路口车流信息的获取，然后根据车流的等信息，当所在区域网络中流量达到阈值时进行调节。该方案中，使用计算机视觉技术将其与交通区域网络中的交通诱导相结合，形成一个反馈式系统，通过服务器识别出的数据进行车流量统计，进而对整个区域网络的交通进行诱导，调控各条道路上车流，使各个路口合理作业分担整个区域网络的交通压力，使整个区域交通网络的拥挤问题都能够得到很大的改善，提高区域的协调控制效益。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于交通路口车流识别与统计的区域交通诱导方法，其特征在于，包括以下步骤：

获取目标区域的交通道路线图，根据所述目标区域内各个路口对所述目标区域的交通影响大小确定目标区域的关键路口集，所述关键路口集中至少包括一个关键路口；

获取所述关键路口集中各个关键路口的监控视频数据流，识别并统计所述各个关键路口各个相位的车流数据；

获取所述关键路口集中各个关键路口的监控视频数据流，识别并统计所述各个关键路口各个相位的车流数据，包括以下步骤：

获取所述关键路口集中各个关键路口的监控视频数据流，识别并提取所述监控视频数据流中各帧监控图像的车辆特征，通过匹配各帧监控图像的车辆特征对所述监控视频数据流的各个车辆进行追踪与编号；

分别在所述监控视频数据流的每帧监控图像的关键路口处的每个车道位置标注垂直于道路延伸方向的虚拟计数线；获取并根据相邻两帧的监控图像中同一编号的任意车辆C的运动轨迹与虚拟计数线之间的夹角度数确定所述车辆C的行驶方向；并根据所述监控视频数据流同一编号车辆与虚拟计数线相对位移统计所述关键路口的车辆数量；

其中，识别并提取所述监控视频数据流中各帧监控图像的车辆特征，包括以下步骤：

构建单步目标检测模型，所述单步目标检测模型以监控图像为输入量，以标注有车辆类别及其对应检测框的监控图像为输出量；获取并将标注有车辆类别及其对应检测框的历史监控图像作为训练样本对所述单步目标检测模型进行训练，得到训练好的单步目标检测模型；将所述监控视频数据流中的监控图像按帧为单位输入至所述单步目标检测模型中的，得到各帧标注有车辆类别及其对应的检测框的监控视频数据流；其中，所述训练样本包括原始的历史监控图像/由原始的历史监控图像经随机擦除模型处理生成的擦除历史监控图像/由原始的历史监控图像组合、随机裁剪、混合生成的混合历史图像；

其中，所述车辆特征包括运动特征和外形特征，通过匹配各帧监控图像的车辆特征对所述监控视频数据流的各个车辆进行追踪与编号，包括以下步骤：

对于任意时序相邻的监控图像，设从前一帧的监控图像的任一检测框中提取的任一车辆特征为T_i，其中，i＝1,...,N,设后一帧的监控图像的任一检测框中提取的任一车辆特征为D_j，其中，j＝1,...,M；

步骤1：分配跟踪指标集T＝{T₁,...,T_N}和检测指标集D＝{D₁,...,D_M}，并初始化最大循环检测帧数A_max；

步骤2：计算所述车辆特征T_i与车辆特征D_j的代价矩阵C＝[c_i,j]；

步骤3：计算卡尔曼预测的所述车辆特征T_i对应的每个跟踪框平均轨道的位置和车辆特征D_j对应的实际检测框的bounding box间的平方马氏距离的代价矩阵B＝[b_i,j]；

步骤4：进行两次阈值的判断，将余弦代价矩阵中所述跟踪框和所述检测框间的平均马氏距离大于阈值

的置为无穷大，并且将余弦距离大于阈值

的置为较大；

步骤5：使用匈牙利算法对跟踪框的车辆特征和检测框的车辆特征进行匹配，并返回匹配结果；

步骤6：对匹配结果进行筛选，删去余弦距离较大对匹配；

步骤7：当前循环检测帧数大于最大循环检测帧数A_max时，得到初步的匹配结果，否则执行步骤2；

对于任意关键路口O：将关键路口O的各个车道的车流数据分别与其对应的车流阈值进行比较，当判断出关键路口O的任意车道的车流数据大于与其对应的车流阈值时，以缓解所述关键路口O的车流拥堵为目标，对所述关键路口O的交通灯信号进行调整。

2.根据权利要求1所述的基于交通路口车流识别与统计的区域交通诱导方法，其特征在于，所述随机擦除模型包括用于确定随机擦除的图像比例的比率公式、用于确定随机擦除的图像的高度的高长公式以及用于确定随机擦除的图像的宽长的宽长公式；

其中，所述比率公式为：

其中，S_e表示随机擦除所占面积，S表示整张图片面积，Q表示两者之间的比值，该比值存在一个最小、最大阈值，超过则不成立；

所述高长公式为：

其中，S_e表示随机擦除所占面积，r_e表示擦除矩形区域的长宽比，在r₁和r₂之间随机初始化，即r_e＝Rand(r₁,r₂)，r₁和r₂分别为长宽比概率范围的下限与上限，H_e表示擦除所占面积高；

所述宽长公式为：

其中，W_e表示擦除所占面积宽；

由原始的历史监控图像经随机擦除模型处理生成的擦除历史监控图像，具体为：在原始的历史监控图像中随机初始化一个点P＝(x_e,y_e)，其中，x_e为原始历史监控图像上构建的二维坐标的横坐标，y_e为原始历史监控图像上构建的二维坐标的纵坐标，当x_e+W_e≤W并且y_e+H_e≤H时，随机擦除区域选择成立，其中，W表示原图宽，H表示原图长；

混合历史图像通过以下公式获取得到：

r_x＝Unif(0,W),

r_y＝Unif(0,H),

其中，M∈{0,1}^W*H表示一个二进制掩码，该掩码指示从两张图像中裁剪出并填充的位置，1表示充满1的掩膜，λ表示两个数据点之间的组合比率，该比率是从贝塔分布

中采样的得到，

取值为1，(x_A，y_A)和(x_B，y_B)分别表示原始训练样本，x_A和x_B分别为两个不同的训练样本，y_A和y_B分别为x_A和x_B对应的标签值，

表示新生成的训练样本及其对应的标签值，Θ表示两者逐像素相乘，为了采样二进制掩膜M，需要B＝(r_x,r_y,r_w,r_h)坐标，表示x_A和x_B的剪裁区域，r_x和r_y分别为区域B的中心点的横坐标和纵坐标，r_w和r_h分别为区域B的宽和高，W为原图的宽，H为原图的高。

3.根据权利要求2所述的基于交通路口车流识别与统计的区域交通诱导方法，其特征在于，在生成所述擦除历史监控图像后，且未使用擦除历史监控图像进行训练前，包括对所述擦除历史监控图像进行噪声处理步骤，所述噪声处理步骤通过以下公式实现：

k＝1-(1-R)²＝2R-R²

l＝r×d

d＝random(d_min,d_max)

δ_x(δ_y)＝random(0,d-1)

其中，M为掩码，k为掩码M的保持比，指保留图像和遮盖图像之间区域的比例；R为确定图像输入的比例，r是单位内两个遮挡部分的比率，d为一个单位长度，d不影响保持率，但决定了落下的正方形的大小，l是求得单位长度上未遮挡的长度，δ_x和δ_y分别是完整图像单元的两个不同方向的边界，其中δ_x和δ_y可以随机给定r和d的掩码，使掩码覆盖所有可能的情况。

4.根据权利要求1所述的基于交通路口车流识别与统计的区域交通诱导方法，其特征在于，在图片的训练阶段中，会依照伯努利函数的概率P随机屏蔽掉一部分神经元，只训练保留下来的神经元对应的参数，屏蔽掉的神经元梯度就为0，屏蔽掉的神经元参数将不再参与更新，然而在测试阶段时都参与更新。

5.根据权利要求4所述的基于交通路口车流识别与统计的区域交通诱导方法，其特征在于，使用匈牙利算法对跟踪框的车辆特征和检测框的车辆特征进行匹配，具体包括以下步骤：

对于任意一帧监控图像中的任一跟踪框中的跟踪车辆i及其后一帧监控图像中的任一检测框中检测车辆j均进行以下处理：

计算所述跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的运动特征之间的运动匹配度

其中，运动匹配度计算公式如下：

其中，d⁽¹⁾(i,j)中1表示跟踪车辆i与检测车辆j之间有线，0则表示无线，该表达式值表示为第j个检测框和第i条轨迹之间的运动匹配度；

是轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵的逆矩阵；d_j是第j个检测框的bounding box；y_i是轨迹在当前时刻的预测量bounding box；

将所述运动匹配度

输入至预设的运动匹配度门限函数中，判断所述跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的运动特征是否关联成功；

其中，运动匹配度门限函数如下：

其中，t⁽¹⁾表示设定的运动匹配度阈值，当d⁽¹⁾(i,j)≤t⁽¹⁾表示所述跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的运动特征关联成功；

计算所述跟踪车辆i的外观特征与后一帧监控图像中的检测车辆j的外观特征之间的外观匹配度d⁽²⁾(i,j)，所述外观匹配度d⁽²⁾(i,j)计算公式为：

其中，r_j为表面特征描述因子，

为r_j矩阵的转置，

为第k条轨迹的第i个表面特征描述因子，

用来存放它过去L_k次成功跟踪后物体检测Bounding box对应L_k个特征向量集合，

上式表示第i个轨迹和第j个轨迹的最小余弦距离；

将所述外观匹配度

输入至预设的外观匹配度门限函数中，判断所述跟踪车辆i的外观特征与后一帧监控图像中的检测车辆j的外观特征是否关联成功，其中，外观匹配度门限函数如下：

其中，t⁽²⁾表示对于外观匹配度设定的阈值，当d⁽²⁾(i,j)≤t⁽²⁾表示所述跟踪车辆i的外观特征与后一帧监控图像中的检测车辆j的外观特征关联成功；

当所述跟踪车辆i与检测车辆j的运动匹配度和外观匹配度均关联成功时，根据所述运动匹配度和所述外观匹配度计算所述跟踪车辆i的运动特征与后一帧监控图像中的检测车辆j的综合匹配度c_i,j，其中，综合匹配度c_i,j计算公式如下：

c_i,j＝λd⁽¹⁾(i,j)+(1-λ)d⁽²⁾(i,j)

其中，c_i,j为i与j检测框之间的综合匹配度，λ为预设的超参数，根据实际经验设定，d⁽¹⁾(i,j)为运动匹配度，d⁽²⁾(i,j)为外观匹配度；

根据所述运动匹配度门限函数和外观匹配度门限函数，计算所述跟踪车辆i与检测车辆j的综合匹配度门限函数值，并根据所述综合匹配度门限函数值判断所述跟踪车辆i的车辆特征与后一帧监控图像中的检测车辆j的车辆特征是否关联成功，若关联成功，则判断所述跟踪车辆i与所述检测车辆j匹配成功，所述综合匹配度门限函数如下：

其中，

用来决定初始匹配的连线，只有当b_i,j为1时才认为是初步匹配成功。

6.根据权利要求5所述的基于交通路口车流识别与统计的区域交通诱导方法，其特征在于，以缓解所述关键路口O的车流拥堵为目标，对所述关键路口O的交通灯信号进行调整，包括以下步骤：

获取其他关键路口各个车道的车流数据以及交通信号数据，构建缓解所述关键路口O的车流拥堵为目标，以所述关键路口O的车流数据、所述其他关键路口各个车道的车流数据以及交通信号数据为输入量，以所述关键路口O的交通灯的最优相位动作为输出量的调控模型；

将所述关键路口O的车流数据、所述其他关键路口各个车道的车流数据以及交通信号数据输入至训练好的调控模型中，得到所述关键路口O的最优相位动作；

根据所述最优相位动作对所述关键路口O的交通灯信号进行调整。

7.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述权利要求1至6任一方法的步骤。

Images