CN111931582A - 基于图像处理的高速公路交通事件检测方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的高速公路交通事件检测方法，通过获取高速公路的实时监控视频，并对实时监控视频进行帧处理，提取出实时监控视频中连续的多个图片，采用预先训练的目标检测器识别各个图片中的车辆，对各个图片中的车辆进行多目标追踪，在多目标追踪过程中对各个车辆的运动状态进行分析，以判断高速公路当前状态为正常行驶状态、超速行驶状态或者持续低速状态，实现对高速公路上车辆正常行驶状态、车辆超速行驶状态或者车辆持续低速状态等交通事件的实时检测，可以提高高速公路上上述交通事件的检测精度。

Description

基于图像处理的高速公路交通事件检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图像处理的高速公路交通事件检测方法。

背景技术

高速公路上的交通事件不仅会造成人员财产的损失，其发现的滞后性还会导致影响交通流、二次伤害等威胁，对交通事件的及时识别，可以保证交通事件及时得到发现和处理，将交通事件带来的影响降到最小。现有的交通事件检测，人工检测是指通过人工观看监控视频来判断交通事件，虽然精度高但是效率低下且不能进行实时的检测。传统方案中，有技术是靠检测线圈等设备对高速公路上的交通流量进行检测，通过数学模型等计算公式来判断是否发生交通事件，滞后且精度不高。也有技术利用图像处理对监控视频进行处理检测交通事件，但是普遍实时性较差，精度也不高，无法完成在线检测的任务。可见，传统的高速公路交通事件检测方案往往存在实时性差、精度低的问题。

发明内容

针对以上问题，本发明提出一种基于图像处理的高速公路交通事件检测方法。

为实现本发明的目的，提供一种基于图像处理的高速公路交通事件检测方法，包括如下步骤：

S20，获取高速公路的实时监控视频，并对实时监控视频进行帧处理，提取出实时监控视频中连续的多个图片；

S30，采用预先训练的目标检测器识别各个图片中的车辆；所述目标检测器具有识别所输入图片中的车辆的功能；

S40，对各个图片中的车辆进行多目标追踪，在多目标追踪过程中对各个车辆的运动状态进行分析，以判断高速公路当前状态为正常行驶状态、超速行驶状态或者持续低速状态。

在一个实施例中，上述基于图像处理的高速公路交通事件检测方法，还包括：

S10，收集多个高速公路车辆图片，根据各个高速公路车辆图片构建训练数据集，将练数据集输入神经网络进行训练，以得到具有识别所输入图片中车辆的功能的目标检测器。

具体地，收集多个高速公路车辆图片，根据各个高速公路车辆图片构建训练数据集包括：

收集多个高速公路车辆图片，对各个高速公路车辆图片中的车辆进行标注，根据标注后的各个高速公路车辆图片构建训练数据集。

在一个实施例中，上述对实时监控视频进行帧处理包括：

利用Open-cv软件对实时监控视频进行处理，提前实时监控视频的各图片帧，将实时监控视频分解成图片。

在一个实施例中，上述对各个图片中的车辆进行多目标追踪包括：

利用deepsort算法对每一个车辆都创建跟踪器并标注目标，利用卡尔曼滤波模型和匈牙利算法在视频帧中对每个车辆进行跟踪，其中卡尔曼滤波器采用匀速模型和线性观测模型，deepsort跟踪器输出目标的状态值。

在一个实施例中，上述在多目标追踪过程中对各个车辆的运动状态进行分析，以判断高速公路当前状态为正常行驶状态、超速行驶状态或者持续低速状态包括：

在多目标追踪过程中对各个车辆的运动状态进行分析，获取各个车辆在设定时段内的平均行驶速度，若平均行驶速度大于阈值上限，判定高速公路当前出现超速行驶状态，若平均行驶速度小于阈值下限，判定高速公路当前出现持续低速状态，若平均行驶速度大于等于阈值下限，且小于等于阈值上限，判定高速公路当前为正常行驶状态。

上述基于图像处理的高速公路交通事件检测方法，通过获取高速公路的实时监控视频，并对实时监控视频进行帧处理，提取出实时监控视频中连续的多个图片，采用预先训练的目标检测器识别各个图片中的车辆，对各个图片中的车辆进行多目标追踪，在多目标追踪过程中对各个车辆的运动状态进行分析，以判断高速公路当前状态为正常行驶状态、超速行驶状态或者持续低速状态，实现对高速公路上车辆正常行驶状态、车辆超速行驶状态或者车辆持续低速状态等交通事件的实时检测，可以提高高速公路上上述交通事件的检测精度。

附图说明

图1是一个实施例的基于图像处理的高速公路交通事件检测方法流程图；

图2是一个实施例的训练损失函数收敛情况图；

图3是一个实施例的正常交通简单环境下车辆检测追踪结果图；

图4是一个实施例的堵车情况下车辆检测追踪结果图；

图5为一个实施例的交通事故情况下检测效果图；

图6为一个实施例的仿真结果示意图；

图7是另一个实施例的基于图像处理的高速公路交通事件检测方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参考图1所示，图1为一个实施例的基于图像处理的高速公路交通事件检测方法流程图，包括如下步骤：

S20，获取高速公路的实时监控视频，并对实时监控视频进行帧处理，提取出实时监控视频中连续的多个图片。

在一个实施例中，对实时监控视频进行帧处理包括：

利用Open-cv软件对实时监控视频进行处理，提前实时监控视频的各图片帧，将实时监控视频分解成图片。

本实施例利用Open-cv软件对实时监控视频进行处理，按照需要将视频取帧，取图片帧的速度为满足yolo的45帧/s的运算要求速度，将视频分解成图片并储存，以便后续的图片识别过程。

S30，采用预先训练的目标检测器识别各个图片中的车辆；所述目标检测器具有识别所输入图片中的车辆的功能。

在一个示例中，采用预先训练的目标检测器识别各个图片中的车辆包括：

将各个图片分别转换为448×448的图像数据，将图像数据送入目标检测器，在目标检测器中YOLO-v3算法首先将图像数据切割，按照特征图维度将图像数据划分为均匀网格，每个网格单元都会检测中心点落在该格子内的目标，给出2个边界框以及边界框的置信度；

经过52层神经网络对特征的提取，每一层卷积层都有batch norm层对数据进行归一化处理，同时每两层卷积层配合一个残差模块解决梯度消失或者梯度爆炸问题；算法会给出每个边界框的五个参数，包括x，y，w，h，以及N。x，y是该位置的中心坐标，即处于图片中的位置，w，h为预测该目标的宽和高输出值；针对各个网格单元给出两个边界框以及置信度，N是目标物体最像的类别，算法给出的信息就是物体的检测结果。

采用YOLO-v3算法对提取出的图片进行处理后，将图片中的所有车辆检测出来，包括遮挡了车身1/3以上的车辆，检测结果为下一步多目标追踪做准备。

S40，对各个图片中的车辆进行多目标追踪，在多目标追踪过程中对各个车辆的运动状态进行分析，以判断高速公路当前状态为正常行驶状态、超速行驶状态或者持续低速状态。

在一个实施例中，对各个图片中的车辆进行多目标追踪包括：

利用deepsort算法对每一个车辆都创建跟踪器并标注目标，利用卡尔曼滤波模型和匈牙利算法在视频帧中对每个车辆进行跟踪，其中卡尔曼滤波器采用匀速模型和线性观测模型，deepsort跟踪器输出目标的状态值。

上述状态值可以包括目标框中心的位置，纵横比，高度以及在图像坐标中对应的速度信息等等。

本实施例中，未及时更新的目标会被及时清理，以减少内存。

在一个实施例中，在多目标追踪过程中对各个车辆的运动状态进行分析，以判断高速公路当前状态为正常行驶状态、超速行驶状态或者持续低速状态包括：

在多目标追踪过程中对各个车辆的运动状态进行分析，获取各个车辆在设定时段内的平均行驶速度，若平均行驶速度大于阈值上限，判定高速公路当前出现超速行驶状态，若平均行驶速度小于阈值下限，判定高速公路当前出现持续低速状态，若平均行驶速度大于等于阈值下限，且小于等于阈值上限，判定高速公路当前为正常行驶状态。

上述阈值上限和阈值下限可以分别依据高速公路的具体特征设置。

本实施例可以给目标运动状态设定了速度阈值，如果车辆速度超出阈值上限，则发出警报high speed(超速行驶状态)，如果车辆速度超出阈值下限，则发出警报low speed(持续低速状态)，完成对高速公路上的交通事件的及时检测。

上述基于图像处理的高速公路交通事件检测方法，通过获取高速公路的实时监控视频，并对实时监控视频进行帧处理，提取出实时监控视频中连续的多个图片，采用预先训练的目标检测器识别各个图片中的车辆，对各个图片中的车辆进行多目标追踪，在多目标追踪过程中对各个车辆的运动状态进行分析，以判断高速公路当前状态为正常行驶状态、超速行驶状态或者持续低速状态，实现对高速公路上车辆正常行驶状态、车辆超速行驶状态或者车辆持续低速状态等交通事件的实时检测，可以提高高速公路上上述交通事件的检测精度。

在一个实施例中，上述基于图像处理的高速公路交通事件检测方法，还包括：

S10，收集多个高速公路车辆图片，根据各个高速公路车辆图片构建训练数据集，将练数据集输入神经网络进行训练，以得到具有识别所输入图片中车辆的功能的目标检测器。

具体地，收集多个高速公路车辆图片，根据各个高速公路车辆图片构建训练数据集包括：

收集多个高速公路车辆图片，对各个高速公路车辆图片中的车辆进行标注，根据标注后的各个高速公路车辆图片构建训练数据集。

本实施例对数据库和拍摄图片进行标注，标注完成后构成训练数据集，将训练数据集拿来做算法训练数据集，以便算法可以针对高速公路场景完成更好的车辆识别。

在一个实施例中，上述基于图像处理的高速公路交通事件检测方法也可以如下所示：

S10，收集高速公路车辆图片,并对未标注图片标注，构成数据集，然后将算法放进数据集，针对高速公路运动目标特点对算法进行训练；

对数据库和所述拍摄图片进行标注，图像标注即在图的上面用鼠标将目标物体框出，同时记录框出目标的像素位置，并将像素位置和点击坐标总数储存在文件夹里。此方法可以用标注算法labelImg同时将文件路径保存，这样可以在对算法进行训练时读取路径。标注完成后构成数据集，将数据集拿来做算法训练数据集，以便算法可以针对高速公路场景完成车辆识别；

在一个示例中，算法训练收敛结果参考图2所示。

S20，获取高速公路上的实时监控视频画面，并对视频进行帧处理，提取出视频中的图片；

利用Open-cv软件对视频进行处理，按照需要将视频取帧，取图片帧的速度为满足yolo的45帧/s的运算要求速度，将视频分解成图片并储存，以便后续的图片识别过程；

S30，对图片中的目标进行检测，识别出图片中的全部车辆；

首先算法会对待检测图片进行增强处理，包括旋转、随机裁剪和旋转等。然后将图片压缩到416×416，通过特征提取网络对输入图像进行提取特征，然后得到大小一定的特征图，特征图大小为13×13，然后将输入图像分成13×13个网格，每个栅格单元都会检测中心点落在该格子内的目标，每个格子都会给出三个边界框，即输出特征图有三个维度。三个特征图的尺度不同，多尺度特征图可以保证适应不同大小的检测目标，越精细的检测格子越适应精细的物体检测过程。三个特征图深度是一样的，都是255(3×(5+80))。经过52层神经网络对特征的提取，每一层卷积层都有batch norm层对数据进行归一化处理，同时每两层卷积层配合一个残差模块解决梯度消失或者梯度爆炸问题。算法会给出每个边界框的五个参数，包括x，y，w，h，以及N。x，y是该位置的中心坐标，即处于图片中的位置，w，h为预测该目标的宽和高输出值。前面提过栅格单元会给出两个边界框以及置信度，N是目标物体最像的类别。算法给出的信息就是物体的检测结果。

采用YOLO-v3算法对提取出的图片进行处理后，将图片中的所有车辆检测出来，包括遮挡了车身1/3以上的车辆，检测结果为下一步多目标追踪做准备。

在一个示例中，基于YOLO的目标检测出车辆的示意图可以参考图3所示。

S40，完成对目标的识别之后，对图片中的目标进行多目标追踪；

首先，所有目标在检测算法的处理下已经完成检测，并建成特征模型。利用deepsort算法将第一帧检测到的目标初始化，为每个目标创建跟踪器同时标注目标；继续处理下一帧的时候，先得到卡尔曼滤波器对前一帧的状态预测和协方差预测，然后对下一帧图片计算基于外观信息的马氏距离，计算其运动轨迹和目标的代价矩阵。级联匹配可以计算当前帧目标预测值与实际检测值的匹配度(IOU)，匈牙利算法可以选取所有IOU的最大唯一匹配，找到上下帧之间最为匹配的目标，认定这就是同一目标。deepsort跟踪算法流程中涉及到的级联匹配是指为每个检测器都分配一个跟踪器，跟踪器在更新时间参数的调节下分配匹配优先度。如果跟踪器完成匹配，参数设置为0，没有完成匹配的参数会在数值上+1，参数越小，后期匹配越优先，参数越大则会被向后调节直至好几帧都无法匹配完成被放弃。这是因为在卡尔曼滤波中，目标被长期遮挡后，滤波不确定性会变大，有了级联匹配就可以弥补这种预测概率的弥散，增加跟踪算法的精度。

本帧检测到的目标又可以成为新的数据对卡尔曼滤波器进行更新。算法之后会对卡尔曼增益、状态更新方程和协方差更新方程进行计算，输出的状态更新值可以作为本帧检测值，未完成匹配的目标会被处理掉。

在一个示例中，基于deepsort跟踪算法跟踪车辆的示意图可以参考图4和图5所示。

S50，在目标跟踪过程中对跟踪目标的运动状态进行分析，判断当前状态是否为正常行驶，是否出现超速或者持续低速状态；

针对高速公路的运动目标的运动状态和可能发生的交通事故，检测车辆速度，具体情况见下表。

在一个示例中，对车辆状态检测结果的示意图可以参考图4、图5和图6所示。本示例中高速公路交通事件检测的具体检测流程可以参考图7所示。

本实施例通过获取高速公路管理部门已有的2公里一个覆盖道路的摄像头拍摄的道路实时视频，对所述视频进行图像处理，先将视频取帧，得到帧图片，对所述图片进行目标检测，首先得到训练好的YOLO网络，将所述帧图片送入所述网络之后，所述图像先被转换为448×448的数据，然后算法将图片切割，分成均匀网格，在每个网格中对目标重心落入网格中的目标进行边界框检测，输出边界框信息，然后根据边界框结果输出目标检测结果，得出目标检测结果之后，对所述目标检测结果在连续帧之中进行Deepsort多目标跟踪处理，为每个目标都创建一个跟踪器并对该目标进行标注，然后对所述目标进行追踪，从而判断车辆运行状态，对交通事件进行检测，可以及时发现道路上的交通事件从而做到早发现早处理早疏通，降低交通事件对道路交通流带来的影响，减少交通事件导致的人员伤害和物品损失，有着高效、易行的优势。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于图像处理的高速公路交通事件检测方法，其特征在于，包括如下步骤：

S20，获取高速公路的实时监控视频，并对实时监控视频进行帧处理，提取出实时监控视频中连续的多个图片；

S30，采用预先训练的目标检测器识别各个图片中的车辆；所述目标检测器具有识别所输入图片中的车辆的功能；

S40，对各个图片中的车辆进行多目标追踪，在多目标追踪过程中对各个车辆的运动状态进行分析，以判断高速公路当前状态为正常行驶状态、超速行驶状态或者持续低速状态。

2.根据权利要求1所述的基于图像处理的高速公路交通事件检测方法，其特征在于，还包括：

S10，收集多个高速公路车辆图片，根据各个高速公路车辆图片构建训练数据集，将练数据集输入神经网络进行训练，以得到具有识别所输入图片中车辆的功能的目标检测器。

3.根据权利要求2所述的基于图像处理的高速公路交通事件检测方法，其特征在于，收集多个高速公路车辆图片，根据各个高速公路车辆图片构建训练数据集包括：

收集多个高速公路车辆图片，对各个高速公路车辆图片中的车辆进行标注，根据标注后的各个高速公路车辆图片构建训练数据集。

4.根据权利要求1所述的基于图像处理的高速公路交通事件检测方法，其特征在于，对实时监控视频进行帧处理包括：

利用Open-cv软件对实时监控视频进行处理，提前实时监控视频的各图片帧，将实时监控视频分解成图片。

5.根据权利要求1所述的基于图像处理的高速公路交通事件检测方法，其特征在于，对各个图片中的车辆进行多目标追踪包括：

利用deepsort算法对每一个车辆都创建跟踪器并标注目标，利用卡尔曼滤波模型和匈牙利算法在视频帧中对每个车辆进行跟踪，其中卡尔曼滤波器采用匀速模型和线性观测模型，deepsort跟踪器输出目标的状态值。

6.根据权利要求1所述的基于图像处理的高速公路交通事件检测方法，其特征在于，在多目标追踪过程中对各个车辆的运动状态进行分析，以判断高速公路当前状态为正常行驶状态、超速行驶状态或者持续低速状态包括：

在多目标追踪过程中对各个车辆的运动状态进行分析，获取各个车辆在设定时段内的平均行驶速度，若平均行驶速度大于阈值上限，判定高速公路当前出现超速行驶状态，若平均行驶速度小于阈值下限，判定高速公路当前出现持续低速状态，若平均行驶速度大于等于阈值下限，且小于等于阈值上限，判定高速公路当前为正常行驶状态。

Images