CN111027447A - 一种基于深度学习的道路溢出实时检测方法 - Google Patents

Abstract

本发明公布了一种基于深度学习的道路溢出实时检测方法，它包括有以下步骤：1)相机预置位设置以及相机标定；2)卷积神经网络模型初始化；3)获取实时视频流；4)检查相机工作状态；5)使用卷积神经网络模型对兴趣区域进行车辆目标检测；6)进行基于IoU匹配的车辆多目标跟踪；7)道路溢出分析；8)道路溢出事件上报并设置睡眠状态。本发明提出一种道路溢出实时检测方法，用深度卷积神经网络CNN进行车辆目标检测，并结合基于IoU匹配的跟踪算法进行车辆多目标跟踪，可以准确而快速地进行道路溢出检测。

Description

一种基于深度学习的道路溢出实时检测方法

技术领域

本发明涉及深度学习技术领域，具体涉及一种基于深度学习的道路溢出实时检测方法。

背景技术

道路溢出是指道路入口处由于交通事故、道路容量等问题导致车辆排队到道路入口以外的区域。道路溢出会使得车辆堆积在交叉道路，影响多个行驶方法道路的通行，甚至会导致整个交通网络的瘫痪。因此，准确地检测并实时地检测道路溢出现象十分重要。

传统的道路溢出检测方法大多是基于地感线圈采集的统计数据进行溢出分析，但地感线圈的建设需要对路面造成破坏且施工复杂，易损坏，难修复，而且也可能对停车的情况误检为道路溢出。此外也有一些基于使用进出口车流量的差值进行的道路溢出分析，虽然方法简单，但使用具有一些局限性。比如道路中间出现了撞车等交通事故导致的道路溢出，其车流量差值没有达到设定的阈值，所以无法检测出当前发生了道路溢出现象。而当前随着“天网工程”的推进，交通视频监控摄像头得到了大规模的部署，其具有无需对路面造成破坏且能实时交通道路的优点，因此本发明正是基于交通视频监控进行的道路溢出分析。

而当前与本发明相关的道路溢出检测方法有：发明专利(公开号：CN109767625A，名称：一种基于电警数据的交叉口短车道排队溢出识别方法)公开了一种基于电警数据的交叉口短车道排队溢出识别方法，但该发明专利是基于电警数据的溢出分析，而本发明可以直接应用于交通视频监控，结合深度学习以及目标跟踪进行的道路溢出分析，两者存在明显的差别。

发明内容

为克服现有技术上检测精度低、检测速度慢、鲁棒性差的不足，本发明的目的在于提供了一种基于深度学习的道路溢出实时检测方法，用深度卷积神经网络CNN进行车辆目标检测，并结合基于IoU匹配进行车辆多目标跟踪，该算法可以准确而快速地进行道路溢出检测。

所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，包括如下步骤：

1)相机预置位设置以及相机标定，相机预置位为进行道路溢出区域检测时相机所处的固定位置；

2)卷积神经网络模型初始化；

3)获取实时视频流；

4)检查相机工作状态；

5)相机工作状态正常，使用卷积神经网络模型对兴趣区域进行车辆目标检测；

6)基于IoU匹配的车辆进行多目标跟踪；

7)道路溢出分析；

8)道路溢出事件上报并设置睡眠状态。

所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤1)中，所述的相机预置位设置为将摄像头调整到道路溢出区域检测位置，并将当前相机位置设置为预置位。

所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤1)中，所述的相机标定为截取相机视频流的一帧图像，在其上进行车道线、兴趣区域、道路溢出检测区域的标定，并且道路溢出检测区域要求被入口停车线等分，且单车道上可容纳4辆车。

所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤2)中，所述的卷积神经网络模型初始化为卷积网络模型加载到GPU显卡中以及权重参数恢复。

所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤4)中，所述的检查相机工作状态具体包括以下步骤：

4.1:如果当前相机处于休眠状态，则不进行道路溢出检测；

4.2:获取当前相机的位置信息，与预置位比较是否相同，若相同则进行道路溢出检测；否则，不进行道路溢出检测；

4.3:根据公式(1)计算当前视频帧时间T_cur与前一帧时间T_pre的时间间隔T_space，单位均为秒，若T_space≥T₀，则将目标跟踪队列重置；否则，进行正常的道路溢出检测；

T_space＝T_cur-T_pre (1),

其中，T₀表示时间阈值，单位为秒。

所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤(6)中，所述的基于IoU匹配的车辆多目标跟踪包含以下步骤：

6.1:得到当前帧的车辆目标检测结果后，过滤掉不在车道线内以及道路溢出检测区域内的车辆；

6.2:基于IoU匹配的车辆目标跟踪：

6.2.1:计算当前帧检测到的车辆目标D和跟踪队列中目标Q的IoU和宽、高误差E_w、E_h；IoU根据公式(2)计算；宽、高误差E_w、E_h分别根据公式(3)、公式(4)计算：

其中，D_box为当前帧的车辆目标D的边界框，Q_TrackingBox为跟踪队列中目标Q的实时跟踪边界框，∩为求交集，∪为求并集；D_w和D_h分别为当前帧的车辆目标D实时跟踪边界框的宽、高，Q_w和Q_h分别为跟踪队列中目标Q的实时跟踪边界框的宽、高；

6.2.2:如果IoU≥IoU_t，E_w≤E_wt，E_h≤E_ht，则认为D和Q是同一辆车，将D标记为已匹配，将Q标记为已检测，并记录实时跟踪框为当前目标D的边界框；其中IoU_t，E_wt，E_ht为预先设置的阈值，IoU_t的取值范围为0～1.0，E_wt和E_ht的取值要求大于等于0；

6.2.3：将处于过车检测区域且未匹配的车辆目标D加入跟踪队列中，初始边界框以及实时跟踪框为当前目标D的边界框，初始图像为当前视频帧，初始时间Q_{init_time}为当前视频帧的时间；

6.3:维护跟踪队列：若跟踪队列中存在跟踪目标Q在当前帧中没有检测到且前E_{tolerate_frame}帧也没有得到更新，则认为该目标已经驶离，并将该跟踪目标Q从跟踪队列中移除；其中E_{tolerate_frame}为预先设置的可调值，其取值要求为E_{tolerate_frame}≥1。

所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤7)中，所述的道路溢出分析包含以下步骤：

7.1:计算拥堵检测区域内的平均像素速度：

7.1.1:选择跟踪队列中车辆跟踪次数达到T_{TrackingFrame}帧的目标为有效目标；其中T_{TrackingFrame}为预先设置的可调值，单位为帧，其取值要求为T_{TrackingFrame}≥1；

7.1.2:如果不存在有效目标，则将平均像素速度

置为无穷大；否则根据公式(5)-(7)计算平均像素速度计算

表示车辆在单位时间内移动距离为

个车身长度；

其中，

为第i个有效目标的平均车身长度，S_ij为第i有效目标的第j个时刻的车身长度；

为第i有效目标的移动速度，X_end和X_begin分别为该有效目标结束跟踪t_end和开始跟踪t_begin时刻的目标位置；n为该目标跟踪次数，m为有效目标数量；

7.2:道路溢出分析：如果当前的平均速度

大于T_speed，则当前不存在道路溢出现象，否则进一步判断；如果在道路溢出检测区域被停止线等分的两个区域都满足同一个车道内存在N_road个目标，或者该道路溢出区域总共存在N_total个车辆目标，且前T_during时刻同样满足以上条件，则判断该道路出现溢出；其中T_speed，N_road，N_total，T_during为预先设置的可调值，T_during的单位为秒，其取值要求为T_speed≥0，N_road≥1，N_total≥1，T_during≥1。

所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤8)中，所述的道路溢出上报并设置睡眠状态包含以下步骤：

8.1:如果成功检测出道路溢出，选择在前T_during时刻的视频帧和当前视频帧上绘制出当前的道路溢出检测区域，并在视频帧底边添加视频帧时间和地点信息后将两张图像左右排列合并，最后将道路溢出信息以及合成图进行上报；

8.2:如果成功将道路溢出事件上报，则设置为睡眠状态，直至T_sleep后重新开启道路溢出检测，其中T_sleep为预先阈值的阈值，单位为秒，其取值范围为T_sleep≥1。

与现有技术相比，本发明具有的主要有益效果为：

本发明提出一种基于深度学习的道路溢出实时检测方法，具有对环境变化较强的鲁棒性，实现了实时的检测效果以及较高的道路溢出识别精度，可以极大降低人力资源成本，及时提供道路溢出情况，辅助交通调度，避免交通瘫痪。同时本发明也可以为路口溢出统计提供有效的数据、减少交通负荷和环境污染、保证交通安全、提高通行效率。

附图说明

图1为本发明方法的步骤流程图；

图2为本发明方法的标定图实例；

图中：1-兴趣区域ROI，2-道路溢出检测区域，3-车道线。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

如图1和图2所示，本发明提供的一种基于深度学习的道路溢出实时检测方法，具体包括以下步骤：

S1，相机预置位设置以及相机标定

具体地，将摄像头调整到合适的道路溢出区域检测位置，并将当前相机位置设置为预置位；截取相机视频流的一帧图像，在其上进行车道线3、兴趣区域ROI、道路溢出检测区域2的标定，并且道路溢出检测区域2要求被入口停车线等分，且单车道上可容纳4辆车；

S2，卷积神经网络模型初始化

具体地，将卷积网络模型加载到GPU显卡中，并进行权重参数恢复；

S3，获取实时视频流；

S4，检查相机工作状态；

具体地，包括以下步骤：

S4.1:如果当前相机处于休眠状态，则不进行道路溢出检测；

S4.2:获取当前相机的位置信息，与预置位比较是否相同，若相同则进行道路溢出检测；否则，不进行道路溢出检测；

S4.3:根据公式(1)计算当前视频帧时间T_cur与前一帧时间T_pre的时间间隔T_space，单位均为秒，若T_space≥T₀，则将目标跟踪队列重置；否则，进行正常的道路溢出检测；其中，T₀表示时间阈值，单位为秒；

T_space＝T_cur-T_pre (1)

S5，使用卷积神经网络模型对兴趣区域ROI1进行车辆目标检测；

S6，进行基于IoU匹配的车辆多目标跟踪，具体地，包含以下步骤：

S6.1:得到当前帧的车辆目标检测结果后，过滤掉不在车道线内以及道路溢出检测区域内的车辆；

S6.2:基于IoU匹配的车辆目标跟踪：

S6.2.1:计算当前帧检测到的车辆目标D和跟踪队列中目标Q的IoU和宽高误差E_w、E_h；IoU根据公式(2)计算；宽高误差E_w、E_h分别根据公式(3)、公式(4)计算：

其中，D_box为当前帧的车辆目标D的边界框，Q_TrackingBox为跟踪队列中目标Q的实时跟踪边界框，∩为求交集，∪为求并集；D_w和D_h分别为当前帧的车辆目标D实时跟踪边界框的宽高，Q_w和Q_h分别为跟踪队列中目标Q的实时跟踪边界框的宽高；

S6.2.2:如果IoU≥IoU_t，E_w≤E_wt，E_h≤E_ht，则认为D和Q是同一辆车，将D标记为已匹配，将Q标记为已检测，并记录实时跟踪框为当前目标D的边界框；其中IoU_t，E_wt，E_ht为预先设置的阈值，IoU_t的取值范围为0～1.0，E_wt和E_ht的取值要求大于等于0；

S6.2.3：将处于过车检测区域且未匹配的车辆目标D加入跟踪队列中，初始边界框以及实时跟踪框为当前目标D的边界框，初始图像为当前视频帧，初始时间Q_{init_time}为当前视频帧的时间；

S6.3:维护跟踪队列：若跟踪队列中存在跟踪目标Q在当前帧中没有检测到且前E_{tolerate_frame}帧也没有得到更新，则认为该目标已经驶离，并将该跟踪目标Q从跟踪队列中移除；其中E_{tolerate_frame}为预先设置的可调值，其取值要求为E_{tolerate_frame}≥1。

S7，道路溢出分析，具体地，包含以下步骤：

S7.1:计算拥堵检测区域内的平均像素速度：

S7.1.1:选择跟踪队列中车辆跟踪次数达到T_{TrackingFrame}帧的目标为有效目标；其中T_{TrackingFrame}为预先设置的可调值，单位为帧，其取值要求为T_{TrackingFrame}≥1；

S7.1.2:如果不存在有效目标，则将平均像素速度

置为无穷大；否则根据公式(5)-(7)计算平均像素速度计算

，表示车辆在单位时间内移动距离为

个车身长度；

其中，

为第i个有效目标的平均车身长度，S_ij为第i有效目标的第j个时刻的车身长度；

为第i有效目标的移动速度，X_end和X_begin分别为该有效目标结束跟踪t_end和开始跟踪t_begin时刻的目标位置；n为该目标跟踪次数，m为有效目标数量；

S7.2:道路溢出分析：如果当前的平均速度

大于T_speed，则当前不存在道路溢出现象，否则进一步判断；如果在道路溢出检测区域被停止线等分的两个区域都满足同一个车道内存在N_road个目标，或者该道路溢出区域总共存在N_total个车辆目标，且前T_during时刻同样满足以上条件，则判断该道路出现溢出；其中T_speed，N_road，N_total，T_during为预先设置的可调值，T_during的单位为秒，其取值要求为T_speed≥0，N_road≥1，N_total≥1，T_during≥1；

S8，道路溢出事件上报并设置睡眠状态，具体地，包含以下步骤：

S8.1:如果成功检测出道路溢出，选择在前T_during时刻的视频帧和当前视频帧上绘制出当前的道路溢出检测区域，并在视频帧底边添加视频帧时间和地点信息后将两张图像左右排列合并，最后将道路溢出信息以及合成图进行上报；

S8.2:如果成功将道路溢出事件上报，则设置为睡眠状态，直至T_sleep后重新开启道路溢出检测，其中T_sleep为预先阈值的阈值，单位为秒，其取值范围为T_sleep≥1。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的道路溢出实时检测方法，其特征在于，包括如下步骤：

1)相机预置位设置以及相机标定，所述的相机预置位为进行道路溢出区域检测时相机所处的固定位置；

2)卷积神经网络模型初始化；

3)获取实时视频流；

4)检查相机工作状态；

5)使用卷积神经网络模型对兴趣区域进行车辆目标检测；

6)进行基于IoU匹配的车辆多目标跟踪；

7)道路溢出分析；

8)道路溢出事件上报并设置睡眠状态。

2.如权利要求1所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤1)中的相机预置位设置为将摄像头调整到道路溢出区域检测位置，并将当前相机位置设置为预置位。

3.如权利要求1所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤1)中，所述的相机标定为截取相机视频流的一帧图像，在其上进行车道线(3)、兴趣区域ROI(1)、道路溢出检测区域(2)的标定，并且道路溢出检测区域(2)要求被入口停车线等分，且单车道上能容纳4辆车。

4.如权利要求1所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤2)中，所述的卷积神经网络模型为tiny-YOLO v3，卷积神经网络模型初始化为卷积网络模型加载到GPU显卡中以及权重参数恢复。

5.如权利要求1所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤4)中的检查相机工作状态具体包括以下步骤：

4.1:如果当前相机处于休眠状态，则不进行道路溢出检测；

4.2:获取当前相机的位置信息，与预置位比较是否相同，若相同则进行道路溢出检测；否则，不进行道路溢出检测；

4.3:根据公式(1)计算当前视频帧时间T_cur与前一帧时间T_pre的时间间隔T_space，单位均为秒，若T_space≥T₀，则将目标跟踪队列重置；否则，进行正常的道路溢出检测；

T_space＝T_cur-T_pre (1)，

其中，T₀表示时间阈值，单位为秒。

6.如权利要求1所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤(6)中的基于IoU匹配的车辆多目标跟踪包含以下步骤：

6.1:得到当前帧的车辆目标检测结果后，过滤掉不在车道线内以及道路溢出检测区域内的车辆；

6.2:基于IoU匹配的车辆目标跟踪：

6.2.1:计算当前帧检测到的车辆目标D和跟踪队列中目标Q的IoU和宽高误差E_w、E_h；IoU根据公式(2)计算；宽高误差E_w、E_h分别根据公式(3)、公式(4)计算：

其中，D_box为当前帧的车辆目标D的边界框，Q_TrackingBox为跟踪队列中目标Q的实时跟踪边界框，∩为求交集，∪为求并集；D_w和D_h分别为当前帧的车辆目标D 实时跟踪边界框的宽高，Q_w和Q_h分别为跟踪队列中目标Q的实时跟踪边界框的宽高；

6.2.2:如果IoU≥IoU_t，E_w≤E_wt，E_h≤E_ht，则认为D和Q是同一辆车，将D标记为已匹配，将Q标记为已检测，并记录实时跟踪框为当前目标D的边界框；其中IoU_t，E_wt，E_ht为预先设置的阈值，IoU_t的取值范围为0～1.0，E_wt和E_ht的取值要求大于等于0；

6.2.3：将处于过车检测区域且未匹配的车辆目标D加入跟踪队列中，初始边界框以及实时跟踪框为当前目标D的边界框，初始图像为当前视频帧，初始时间Q_{init_time}为当前视频帧的时间；

6.3:维护跟踪队列：若跟踪队列中存在跟踪目标Q在当前帧中没有检测到且前E_{tolerate_frame}帧也没有得到更新，则认为该目标已经驶离，并将该跟踪目标Q从跟踪队列中移除；其中E_{tolerate_frame}为预先设置的可调值，其取值要求为E_{tolerate_frame}≥1。

7.如权利要求1所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤7)中的道路溢出分析包含以下步骤：

7.1:计算拥堵检测区域内的平均像素速度：

7.1.1:选择跟踪队列中车辆跟踪次数达到T_{TrackingFrame}帧的目标为有效目标；其中T_{TrackingFrame}为预先设置的可调值，单位为帧，其取值要求为T_{TrackingFrame}≥1；

7.1.2:如果不存在有效目标，则将平均像素速度

置为无穷大；否则根据公式(5)-(7)计算平均像素速度计算

表示车辆在单位时间内移动距离为

个车身长度；

其中，

为第i个有效目标的平均车身长度，S_ij为第i有效目标的第j个时刻的车身长度；

为第i有效目标的移动速度，X_end和X_begin分别为该有效目标结束跟踪t_end和开始跟踪t_begin时刻的目标位置；n为该目标跟踪次数，m为有效目标数量；

7.2:道路溢出分析：如果当前的平均速度

大于T_speed，则当前不存在道路溢出现象，否则进一步判断；如果在道路溢出检测区域被停止线等分的两个区域都满足同一个车道内存在N_road个目标，或者该道路溢出区域总共存在N_total个车辆目标，且前T_during时刻同样满足以上条件，则判断该道路出现溢出；其中T_speed，N_road，N_total，T_during为预先设置的可调值，T_during的单位为秒，其取值要求为T_speed≥0，N_road≥1，N_total≥1，T_during≥1。

8.如权利要求1所述的一种基于深度学习的道路溢出实时检测方法，其特征在于，步骤8)中的道路溢出上报并设置睡眠状态包含以下步骤：

8.1:如果成功检测出道路溢出，选择在前T_during时刻的视频帧和当前视频帧上绘制出当前的道路溢出检测区域，并在视频帧底边添加视频帧时间和地点信息后将两张图像左右排列合并，最后将道路溢出信息以及合成图进行上报；

8.2:如果成功将道路溢出事件上报，则设置为睡眠状态，直至T_sleep后重新开启道路溢出检测，其中T_sleep为预先阈值的阈值，单位为秒，其取值范围为T_sleep≥1。

Images