CN108682154A - 基于车流状态变化深度学习分析的道路拥堵检测系统 - Google Patents

Abstract

一种基于车流状态变化深度学习分析的道路拥堵检测系统，涉及道路交通技术领域，所解决的是交通状况检测的技术问题。该系统包括用于生成时间序列的时钟驱动子系统GTS，及用于捕获摄像区域CA图像的视频信息获取子系统CAVS，用于在摄像区域CA中划分区域车道MR的初始标记子系统MS，用于获取各个区域车道的深度神经网络分析模型DLM的区域道路状态学习训练子系统LS，用于从图像中提取车辆信息的图像特征提取子系统TS，拥堵监测分析子系统BAS；所述拥堵监测分析子系统BAS根据摄像区域CA的图像，及深度神经网络分析模型DLM进行拥堵分析。本发明提供的系统，用于监测道路交通状况。

Description

基于车流状态变化深度学习分析的道路拥堵检测系统

技术领域

本发明涉及道路交通技术，特别是涉及一种基于车流状态变化深度学习分析的道路拥堵检测系统的技术。

背景技术

目前，随着车辆数目的膨胀式增长，城市交通拥挤拥堵问题越来越严重，已经成为城市管理的一个重要难题。为了解决交通拥堵问题，交管部门需要对道路拥堵状况进行监测。

现有的道路拥堵监测方法主要有以下几种：

1)基于电子感应线圈的车辆感知分析，该方法在道路关键路口、要道处埋设电子感应线圈，记载通过车辆然后判断车辆拥堵情况；该方法的主要缺点是成本高、施工影响大、容易损坏、维护成本高、区域全局总体判断能力弱。

2)基于车载GPS信息汇集进行分析，该方法被互联网地图提供商采用，如百度地图；其根据各个使用GPS信息导航的用户手机反馈的运动信息来判断相应路段的车辆流动速度、车辆密度等；这种模式主要缺点是GPS信息定位精度无法区分车道、高架桥高度位置、进而给出误判。

3)基于人工智能的视频车辆监测，目前这方面研究很多，但大多是道路运动车辆检测，继而实现车辆计数；该方法的缺点是无法区分车道信息，无法精确感知车辆运动速度，因而无法有效预测车辆拥堵。

发明内容

针对上述现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种实施成本低，并且全局信息强，具有良好的道路个体状态适应型，具有较好通用性的基于车流状态变化深度学习分析的道路拥堵检测系统。

为了解决上述技术问题，本发明所提供的一种基于车辆特征矩阵的道路拥堵监测系统，其特征在于：包括时钟驱动子系统GTS、视频信息获取子系统CAVS、初始标记子系统MS、区域道路状态学习训练子系统LS、图像特征提取子系统TS、拥堵监测分析子系统BAS；

所述时钟驱动子系统GTS用于生成时间序列，时钟驱动子系统GTS生成的时间序列由多个时间点构成，相邻时间点之间的时间间隔为tt；

所述视频信息获取子系统CAVS通过通信网络获取时钟驱动子系统GTS输出的时间序列，并利用摄像头，按照接收到的时间序列捕获摄像区域CA的图像，形成摄像区域CA的图像序列；

所述初始标记子系统MS通过通信网络，从视频信息获取子系统CAVS获取摄像区域CA的图像，并通过在摄像区域CA的图像上标记区域车道分割线的方式，在摄像区域CA中划分出1个区域车道MR，或多个相互独立的区域车道MR，并构建1个区域车道数组，将划分的各个区域车道MR的信息存入区域车道数组，区域车道数组中的每个数组元素代表1个区域车道；

所述图像特征提取子系统TS通过通信网络获取时钟驱动子系统GTS输出的时间序列，并按照接收到的时间序列获取当前时刻，并根据当前时刻，通过通信网络获取视频信息获取子系统CAVS在当前时刻输出的图像；并利用道路车辆提取模型识别图像中的所有车辆，并用矩形识别框来标识所识别的车辆，从各个矩形识别框中提取各个车辆的车辆信息，并存入一个车辆特征数组MT，车辆特征数组MT的每个数组元素代表一个车辆；

所述区域道路状态学习训练子系统LS通过通信网络，从初始标记子系统MS获取摄像区域CA的区域车道数组，对于区域车道数组中的每个区域车道按照步骤1.1至步骤1.7的方法进行训练；

步骤1.1：将待训练的区域车道定义为目标车道，从视频信息获取子系统CAVS获取摄像区域CA的多个图像组成训练图像序列；

步骤1.2：从训练图像序列中取第一个图像，将其定义为当前训练图像；

步骤1.3：从图像特征提取子系统TS获取当前训练图像的车辆特征数组MT；

将当前训练图像的整个图像区域定义为S10，将当前训练图像中的目标车道所占图像区域定义为S11；

将S11内所有车辆的矩形识别框的道外区块所占图像区域定义为S12，矩形识别框的道外区块是指矩形识别框所围合的区域中的位于S11外部的区域；

步骤1.4：将当前训练图像中，S11∪S12的图像区域设定为目标车道的子图像SP；

步骤1.5：从训练图像序列中取下一个图像，将其定义为当前训练图像，然后重复步骤1.3至本步骤，直至训练图像序列中的所有图像取完后转至步骤1.6；

步骤1.6：对训练图像序列中，每个图像中的目标车道的子图像SP，采用人工标注该子图像SP的区域车道活动状态，形成目标车道的区域车道活动状态图片集；

步骤1.7：利用深度学习模型对目标车道的区域车道活动状态图片集进行训练，得到目标车道的深度神经网络分析模型DLM；

所述拥堵监测分析子系统BAS通过通信网络从初始标记子系统MS获取摄像区域CA的区域车道数组，并通过通信网络从区域道路状态学习训练子系统LS获取摄像区域CA的每个区域车道的深度神经网络分析模型DLM，并通过通信网络获取时钟驱动子系统GTS输出的时间序列，并按照接收到的时间序列获取当前时刻，并为摄像区域CA的每个区域车道构建一个区域车道活动状态数组MRAS；

区域车道活动状态数组MRAS为3元组，其3个组元分别为状态起始时刻t、车道活动状态sta、状态持续时间tl；

所述拥堵监测分析子系统BAS通过通信网络获取视频信息获取子系统CAVS在当前时刻输出的图像，并将该图像定义为当前图像，然后按照步骤2.1至步骤2.6的方法，对摄像区域CA的每个区域车道进行分析；

步骤2.1：从图像特征提取子系统TS获取当前图像的车辆特征数组MT，将待分析的区域车道定义为目标车道；

步骤2.2：将当前图像的整个图像区域定义为S20，将当前图像中的目标车道所占图像区域定义为S21；

将S21内所有车辆的矩形识别框的道外区块所占图像区域定义为S22，矩形识别框的道外区块是指矩形识别框所围合的区域中的位于S21外部的区域；

步骤2.3：将当前图像中，S21∪S22的图像区域设定为目标车道的子图像SP；

步骤2.4：将步骤2.3所获得的目标车道的子图像SP输入到目标车道的深度神经网络分析模型DLM进行分析，获得目标车道的区域车道活动状态as的值；

步骤2.5：将目标车道的区域车道活动状态数组MRAS中的状态起始时刻t置为当前时刻；

如果目标车道的区域车道活动状态as的值与区域车道活动状态数组MRAS中的车道活动状态sta的值相同，则将区域车道活动状态数组MRAS中的状态持续时间tl的值增加tt，tt为时钟驱动子系统GTS生成的时间序列中的相邻时间点之间的时间间隔；

反之，则将区域车道活动状态数组MRAS中的车道活动状态sta的值更新为目标车道的区域车道活动状态as的值，并将区域车道活动状态数组MRAS中的状态持续时间tl的值置0；

设Y1为区域车道活动状态数组MRAS中的状态持续时间tl的值，Y2为目标车道上的车辆按照交通信号规定的运行时间，Y3为预先设定的拥堵系数，如果有Y1>(Y1+Y2)×Y3，并且区域车道活动状态数组MRAS中的车道活动状态sta的值为高密度停车态，则对目标车道进行拥堵报警。

本发明提供的基于车流状态变化深度学习分析的道路拥堵检测系统，利用摄像头，对一个交通区域的多个车道的车流运行状态变化进行训练学习，进而通过状态周期变化规律形成正常的交通时间序列，同时针对道路车辆拥挤度状态进行发现，利用拥堵状态的持续时间是否超过道路状态正常切换周期来判断道路是否进入拥堵状态。本发明所提出的系统及方法具有如下优势：1)实施成本低，利用普通的摄像头就可以覆盖一个道路区域，对这个区域的多个车道的车辆进行准确运动状态分析，具有很高的性价；2)全局信息强，利用摄像头覆盖一个区域，可以获得该区域的直行、左转、右转车流的运动状态、车辆密度、状态持续时间等多个信息，因此具有较为综合的信息获取能力。3)通过道路非拥堵的稀疏阶段来发现道路交通信号切换周期，更为准确地获得所检测道路道口的实际，具有良好的道路个体状态适应型。4)本方法即适合有交通信号的道口，也适合无交通信号控制的道路中间段、环形道路，具有较好的通用性。

附图说明

图1是本发明实施例的基于车流状态变化深度学习分析的道路拥堵检测系统的结构原理框图；

图2是本发明实施例的基于车流状态变化深度学习分析的道路拥堵检测系统中的区域车道的划分示意图；

图3是一个区域车道车流处于停车态的示意图；

图4是一个区域车道车流处于运动态的示意图。

具体实施方式

以下结合附图说明对本发明的实施例作进一步详细描述，但本实施例并不用于限制本发明，凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围，本发明中的顿号均表示和的关系。

如图1所示，本发明实施例所提供的一种基于车辆特征矩阵的道路拥堵监测系统，其特征在于：包括时钟驱动子系统GTS、视频信息获取子系统CAVS、初始标记子系统MS、区域道路状态学习训练子系统LS、图像特征提取子系统TS、拥堵监测分析子系统BAS；

所述时钟驱动子系统GTS用于生成时间序列，时钟驱动子系统GTS生成的时间序列由多个时间点构成，相邻时间点之间的时间间隔为tt；

所述视频信息获取子系统CAVS通过通信网络获取时钟驱动子系统GTS输出的时间序列，并利用摄像头，按照接收到的时间序列捕获摄像区域CA的图像，形成摄像区域CA的图像序列；

摄像区域CA是指摄像头覆盖的被监测道路自然区域，被监测道路自然区域包括交通道路、路边建筑、路牌、绿化、隔离带等；摄像区域CA的图像为一个矩形区域，该区域大小由图像分辨率CAW×CAH确定，其中的CAW为宽度像素数，CAH为高度像素数(典型的图像分辨率有1024×768，1280×720，1920×1080等)，摄像区域CA内一个车辆的平均宽度为MW像素，平均高度为MH像素，MW和MW的值可以根据实际图像由人工设定；

为了简化，时钟驱动子系统GTS利用开源的全局时钟同步软件同步所有子系统的时钟，如果视频信息获取子系统CAVS中的摄像头所摄制的视频采用PAL制式，时钟驱动子系统GTS所生成时间序列中的相邻时间点之间的时间间隔tt的取值为1/25秒，如果视频信息获取子系统CAVS中的摄像头所摄制的视频采用NTSC制式，时钟驱动子系统GTS所生成时间序列中的相邻时间点之间的时间间隔tt的取值为1/30秒，这是因为PAL制式视频每秒提供的图像帧数为25帧，NTSC制式视频每秒提供的图像帧数为30帧；

所述初始标记子系统MS通过通信网络，从视频信息获取子系统CAVS获取摄像区域CA的图像，并通过在摄像区域CA的图像上标记区域车道分割线的方式，在摄像区域CA中划分出1个区域车道MR，或多个相互独立的区域车道MR，并构建1个区域车道数组，将划分的各个区域车道MR的信息存入区域车道数组，区域车道数组中的每个数组元素代表1个区域车道；

区域车道分割线是在摄像区域CA的摄像坐标系内(参见图2)，区域车道分割线可以是直线、折线或多点拟合的曲线，每一条区域车道分割线的标记方式是在摄像区域CA的图像上选取多个标记点SL1，SL2，…，SLs，然后再根据所选取的标记点来标记区域车道分割线，标记点可利用交互式标记工具在图像中设定；

区域车道MR就是在摄像区域CA所拍摄区域所包含的一个车辆流运动流向子区域(例如直行区域车道、左转弯区域车道、有转弯区域车道)，每个摄像区域CA可以包括多个区域车道MR；一个区域车道由2条区域车道分割线标记而成，一个区域车道MR为一个三元组，区域车道MR的三个组元分别为区域车道编号mrno、第一分割线sl1、第二分割线sl2；

所述图像特征提取子系统TS通过通信网络获取时钟驱动子系统GTS输出的时间序列，并按照接收到的时间序列获取当前时刻，并根据当前时刻，通过通信网络获取视频信息获取子系统CAVS在当前时刻输出的图像；并利用道路车辆提取模型(道路车辆提取模型为现有技术，比如开源的道路车辆提取模型SSD)识别图像中的所有车辆，并用矩形识别框来标识所识别的车辆，从各个矩形识别框中提取各个车辆的车辆信息，并存入一个车辆特征数组MT，车辆特征数组MT的每个数组元素代表一个车辆；

车辆特征数组MT的每个数组元素均为6元组，数组元素的6个组元分别为车辆编号id、车辆矩形识别框的中心点横坐标x、车辆矩形识别框的中心点纵坐标y、车辆矩形识别框的宽度w(像素点个数)、车辆矩形识别框的高度h(像素点个数)、车辆所在的区域车道编号mrno；

所述区域道路状态学习训练子系统LS通过通信网络，从初始标记子系统MS获取摄像区域CA的区域车道数组，对于区域车道数组中的每个区域车道按照步骤1.1至步骤1.7的方法进行训练；

步骤1.1：将待训练的区域车道定义为目标车道，从视频信息获取子系统CAVS获取摄像区域CA的多个图像组成训练图像序列；

步骤1.2：从训练图像序列中取第一个图像，将其定义为当前训练图像；

步骤1.3：从图像特征提取子系统TS获取当前训练图像的车辆特征数组MT；

将当前训练图像的整个图像区域定义为S10，将当前训练图像中的目标车道所占图像区域定义为S11；

将S11内所有车辆的矩形识别框的道外区块所占图像区域定义为S12，矩形识别框的道外区块是指矩形识别框所围合的区域中的位于S11外部的区域，这是因为S11内的车辆由于车体高度等原因，有些车辆的矩形识别框会延伸至S11外部；

步骤1.4：将当前训练图像中，S10-(S11∪S12)的图像区域设定为图像背景，S11∪S12的图像区域设定为目标车道的子图像SP；

步骤1.5：从训练图像序列中取下一个图像，将其定义为当前训练图像，然后重复步骤1.3至本步骤，直至训练图像序列中的所有图像取完后转至步骤1.6；

步骤1.6：对训练图像序列中，每个图像中的目标车道的子图像SP，采用人工标注该子图像SP的区域车道活动状态，形成目标车道的区域车道活动状态图片集；

如果摄像区域CA为有交通信号控制的道口，则子图像SP的区域车道活动状态分为：低密度停车态、中密度停车态、高密度停车态、低密度运行态、中密度运行态、高密度运行态，共6个状态；

如果摄像区域CA为环形道路或者无交通信号控制的直行路段，则子图像SP的区域车道活动状态分为：低密度运行态、中密度运行态、高密度停车态、其他，共4个状态(这里只需检查高密度停车态的持续时间是否超过正常交通运转周期)；

步骤1.7：利用深度学习模型(深度学习模型为现有技术，比如开源的深度学习模型TesenFlow、café等)，对目标车道的区域车道活动状态图片集进行训练，得到目标车道的深度神经网络分析模型DLM；

所述拥堵监测分析子系统BAS通过通信网络从初始标记子系统MS获取摄像区域CA的区域车道数组，并通过通信网络从区域道路状态学习训练子系统LS获取摄像区域CA的每个区域车道的深度神经网络分析模型DLM，并通过通信网络获取时钟驱动子系统GTS输出的时间序列，并按照接收到的时间序列获取当前时刻，并为摄像区域CA的每个区域车道构建一个区域车道活动状态数组MRAS；

区域车道活动状态数组MRAS为3元组，其3个组元分别为状态起始时刻t、车道活动状态sta、状态持续时间tl，其中的车道活动状态sta有6个值，该6个值分别为低密度停车态、中密度停车态、高密度停车态、低密度运行态、中密度运行态、高密度运行态，状态持续时间tl为车道车辆密度de及车辆运动状态sta的状态持续时间；

例如对于一个拥有信号灯控制的摄像区域CA的左转弯车道，其停车态图像的第一个车辆会停在一个明显的停车标记(路口停车线)区域(参见图3)，而运动态则有车辆会覆盖这个停车标记(路口停车线)区域(参见图4)；

所述拥堵监测分析子系统BAS通过通信网络获取视频信息获取子系统CAVS在当前时刻输出的图像，并将该图像定义为当前图像，然后按照步骤2.1至步骤2.6的方法，对摄像区域CA的每个区域车道进行分析；

步骤2.1：从图像特征提取子系统TS获取当前图像的车辆特征数组MT，将待分析的区域车道定义为目标车道；

步骤2.2：将当前图像的整个图像区域定义为S20，将当前图像中的目标车道所占图像区域定义为S21；

将S21内所有车辆的矩形识别框的道外区块所占图像区域定义为S22，矩形识别框的道外区块是指矩形识别框所围合的区域中的位于S21外部的区域，这是因为S21内的车辆由于车体高度等原因，有些车辆的矩形识别框会延伸至S21外部；

步骤2.3：将当前图像中，S20-(S21∪S22)的图像区域设定为图像背景，S21∪S22的图像区域设定为目标车道的子图像SP；

步骤2.4：将步骤2.3所获得的目标车道的子图像SP输入到目标车道的深度神经网络分析模型DLM进行分析，获得目标车道的区域车道活动状态as的值；

步骤2.5：将目标车道的区域车道活动状态数组MRAS中的状态起始时刻t置为当前时刻；

如果目标车道的区域车道活动状态as的值与区域车道活动状态数组MRAS中的车道活动状态sta的值相同，则将区域车道活动状态数组MRAS中的状态持续时间tl的值增加tt，tt为时钟驱动子系统GTS生成的时间序列中的相邻时间点之间的时间间隔；

反之，则将区域车道活动状态数组MRAS中的车道活动状态sta的值更新为目标车道的区域车道活动状态as的值，并将区域车道活动状态数组MRAS中的状态持续时间tl的值置0；

设Y1为区域车道活动状态数组MRAS中的状态持续时间tl的值，Y2为目标车道上的车辆按照交通信号规定的运行时间(该值预先设定)，Y3为预先设定的拥堵系数，如果有Y1>(Y1+Y2)×Y3，并且区域车道活动状态数组MRAS中的车道活动状态sta的值为高密度停车态，则对目标车道进行拥堵报警，Y3的取值为1或2或3或4。

Claims (1)

1.一种基于车辆特征矩阵的道路拥堵监测系统，其特征在于：包括时钟驱动子系统GTS、视频信息获取子系统CAVS、初始标记子系统MS、区域道路状态学习训练子系统LS、图像特征提取子系统TS、拥堵监测分析子系统BAS；

所述时钟驱动子系统GTS用于生成时间序列，时钟驱动子系统GTS生成的时间序列由多个时间点构成，相邻时间点之间的时间间隔为tt；

所述视频信息获取子系统CAVS通过通信网络获取时钟驱动子系统GTS输出的时间序列，并利用摄像头，按照接收到的时间序列捕获摄像区域CA的图像，形成摄像区域CA的图像序列；

所述初始标记子系统MS通过通信网络，从视频信息获取子系统CAVS获取摄像区域CA的图像，并通过在摄像区域CA的图像上标记区域车道分割线的方式，在摄像区域CA中划分出1个区域车道MR，或多个相互独立的区域车道MR，并构建1个区域车道数组，将划分的各个区域车道MR的信息存入区域车道数组，区域车道数组中的每个数组元素代表1个区域车道；

所述图像特征提取子系统TS通过通信网络获取时钟驱动子系统GTS输出的时间序列，并按照接收到的时间序列获取当前时刻，并根据当前时刻，通过通信网络获取视频信息获取子系统CAVS在当前时刻输出的图像；并利用道路车辆提取模型识别图像中的所有车辆，并用矩形识别框来标识所识别的车辆，从各个矩形识别框中提取各个车辆的车辆信息，并存入一个车辆特征数组MT，车辆特征数组MT的每个数组元素代表一个车辆；

所述区域道路状态学习训练子系统LS通过通信网络，从初始标记子系统MS获取摄像区域CA的区域车道数组，对于区域车道数组中的每个区域车道按照步骤1.1至步骤1.7的方法进行训练；

步骤1.1：将待训练的区域车道定义为目标车道，从视频信息获取子系统CAVS获取摄像区域CA的多个图像组成训练图像序列；

步骤1.2：从训练图像序列中取第一个图像，将其定义为当前训练图像；

步骤1.3：从图像特征提取子系统TS获取当前训练图像的车辆特征数组MT；

将当前训练图像的整个图像区域定义为S10，将当前训练图像中的目标车道所占图像区域定义为S11；

将S11内所有车辆的矩形识别框的道外区块所占图像区域定义为S12，矩形识别框的道外区块是指矩形识别框所围合的区域中的位于S11外部的区域；

步骤1.4：将当前训练图像中，S11∪S12的图像区域设定为目标车道的子图像SP；

步骤1.5：从训练图像序列中取下一个图像，将其定义为当前训练图像，然后重复步骤1.3至本步骤，直至训练图像序列中的所有图像取完后转至步骤1.6；

步骤1.6：对训练图像序列中，每个图像中的目标车道的子图像SP，采用人工标注该子图像SP的区域车道活动状态，形成目标车道的区域车道活动状态图片集；

步骤1.7：利用深度学习模型对目标车道的区域车道活动状态图片集进行训练，得到目标车道的深度神经网络分析模型DLM；

所述拥堵监测分析子系统BAS通过通信网络从初始标记子系统MS获取摄像区域CA的区域车道数组，并通过通信网络从区域道路状态学习训练子系统LS获取摄像区域CA的每个区域车道的深度神经网络分析模型DLM，并通过通信网络获取时钟驱动子系统GTS输出的时间序列，并按照接收到的时间序列获取当前时刻，并为摄像区域CA的每个区域车道构建一个区域车道活动状态数组MRAS；

区域车道活动状态数组MRAS为3元组，其3个组元分别为状态起始时刻t、车道活动状态sta、状态持续时间tl；

所述拥堵监测分析子系统BAS通过通信网络获取视频信息获取子系统CAVS在当前时刻输出的图像，并将该图像定义为当前图像，然后按照步骤2.1至步骤2.6的方法，对摄像区域CA的每个区域车道进行分析；

步骤2.1：从图像特征提取子系统TS获取当前图像的车辆特征数组MT，将待分析的区域车道定义为目标车道；

步骤2.2：将当前图像的整个图像区域定义为S20，将当前图像中的目标车道所占图像区域定义为S21；

将S21内所有车辆的矩形识别框的道外区块所占图像区域定义为S22，矩形识别框的道外区块是指矩形识别框所围合的区域中的位于S21外部的区域；

步骤2.3：将当前图像中，S21∪S22的图像区域设定为目标车道的子图像SP；

步骤2.4：将步骤2.3所获得的目标车道的子图像SP输入到目标车道的深度神经网络分析模型DLM进行分析，获得目标车道的区域车道活动状态as的值；

步骤2.5：将目标车道的区域车道活动状态数组MRAS中的状态起始时刻t置为当前时刻；

如果目标车道的区域车道活动状态as的值与区域车道活动状态数组MRAS中的车道活动状态sta的值相同，则将区域车道活动状态数组MRAS中的状态持续时间tl的值增加tt，tt为时钟驱动子系统GTS生成的时间序列中的相邻时间点之间的时间间隔；

反之，则将区域车道活动状态数组MRAS中的车道活动状态sta的值更新为目标车道的区域车道活动状态as的值，并将区域车道活动状态数组MRAS中的状态持续时间tl的值置0；

设Y1为区域车道活动状态数组MRAS中的状态持续时间tl的值，Y2为目标车道上的车辆按照交通信号规定的运行时间，Y3为预先设定的拥堵系数，如果有Y1>(Y1+Y2)×Y3，并且区域车道活动状态数组MRAS中的车道活动状态sta的值为高密度停车态，则对目标车道进行拥堵报警。