CN114781479A - 交通事件检测方法及装置 - Google Patents

Abstract

本发明公开一种交通事件检测方法及装置，属于智能交通技术领域，方法包括利用目标检测模型对输入的视频帧图像进行处理，得到目标的位置；采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹；基于目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入。本发明可进行多类别的交通事件检测，避免了传统的算法针对不同的交通事件，可能需要单独建立一个个模型，使得整个交通事件检测模型变得臃肿的问题。

Description

交通事件检测方法及装置

技术领域

本发明涉及智能交通技术领域，具体涉及一种交通事件检测方法及装置。

背景技术

道路监控装置在治安防控中发挥着重要的作用。为了实时获取道路的交通状况，在一些重要路段均设有道路监控装置，通过摄像机拍摄道路实时状况，然后将拍摄的图像实时上传到道路监控指挥中心。道路监控指挥中心的监控人员通过操作云台观察上传的道路各个方向的监控视频图像，来判断交通事件的发生。这种交通事件监控方法消耗了大量的人力、物力资源。而且由于人员的精力有限，很容易造成交通事件的误报和漏报。

随着技术的发展，基于视频分析的交通事件检测由于其检测速度快且检测信息丰富，智能交通领域正逐步称为研究的热点。自20世纪90年代中期以来，国内外开始研究基于图像处理的快速自动事件检测装置，模拟人工判别交通异常的方法来实现事件的快速检测，此类传统方法通常是从视频图像中检测车辆，跟踪运动车辆，提取如速度变化率、位置、面积、方向等特征，根据这些特征模型能够判断交通事件，技术点包括目标检测、目标跟踪等。

这往往需要通过复杂的处理来实现交通事件的识别。以交通事件视频识别为例，在该过程中需要结合图像处理、模式识别、机器学习等理论以及方法，存在以下技术：首先针对背景模型的背景初始化、背景表达与背景更新进行深入探讨，实现了复杂场景下的自适应前景运动区域检测；结合运动目标的形态特性与运动特性设计了基于多类支持向量机的分类算法，实现了混合交通运动目标的类别判断，提出了基于卡尔曼滤波的多特征匹配跟踪算法以及遮挡情况下的运动状态估计；综合考虑轨迹的空间特性、方向特性、类别特性，提出了运动模式的多层次学习方法，将运动目标的状态属性与交通场景中的上下文相关信息相结合，定义了简单事件、复杂事件等具体概念，为事件识别提供了通用的表达形式，构建了基于模式匹配的异常行为检测方法。一方面，整个流程复杂而繁琐，且这种方法并不稳健，往往会出现漏检和误报，如背景建模中，会受到光线变化、背景抖动等的影响，特征点的提取也会受到诸多外界因素的影响而导致提取不准。另一方面，方法通用性不高，一个算法或模型往往只能检测单一或少数类别的交通事件，如专门做违停检测的模型，或者专门做速度监测的模型，这类模型对其他交通事件并不适用，这是此类传统方法的通病。

随着计算机算力的大幅提升以及大数据时代的来临，深度学习成为了机器学习中一个新兴的领域，并对其他领域产生广泛的影响。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或者预测的准确性。与人工规则构造特征的方法相比，卷积神经网络能够利用大数据来学习特征，更能够刻画数据的丰富内在信息。相对于传统方法而言，深度学习做目标检测效果很好，不易受图像质量、场景变化等的影响，具有检测速度快，准确率高与检测精度高的优点。

关于利用深度学习框架监控交通事件的研究，申请号为201910157386.X的发明专利申请公开了一种监控交通事件的方法，通过对实时获取的交通监控视频进行抽帧处理，以获取多个实时的帧图像数据；利用深度学习框架对多个实时的帧图像数据进行目标检测，以确定目标区域；利用目标跟踪算法对目标区域中的目标进行目标跟踪；根据不同的目标对应的交通事件判定规则对目标的交通事件进行监控，并根据监控结果更新目标的交通事件的状态。基于深度学习框架和目标跟踪技术，能够高效地识别车辆和行人并进行跟踪，能够直接与高速公路管理装置进行对接，实现自动分析高速公路视频数据，并输出交通事件信息，实现了行人事件、停车事件和逆行事件等交通事件的监控。但其只能监控少数类别的交通事件，对其他类别交通事件并不适用，不够智能。

发明内容

本发明所要解决的技术问题在于如何实现多类别的交通事件检测。

本发明通过以下技术手段实现解决上述技术问题的：

一方面，本发明提出了一种交通事件检测方法，所述方法包括以下步骤：

利用目标检测模型对输入的视频帧图像进行处理，得到目标的位置，所述目标的类别包括行人、机动车和非机动车；

采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹；

基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，其中，所述交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入。

本发明通过利用目标检测模型对视频帧图像进行处理，得到目标的位置，采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹，基于目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入，可进行多类别的交通事件检测，避免了传统的算法针对不同的交通事件，可能需要单独建立一个个模型，使得整个交通事件检测模型变得臃肿的问题。

进一步地，所述目标检测模型采用深度学习YOLOv5模型，在所述利用目标检测模型对输入的视频帧图像进行处理，得到目标类别及目标位置之前，还包括：

收集不同类型的交通事件图像或视频，并对图像或视频中的目标进行人工标记，将标记后样本构成样本集合；

利用样本集合中的样本输入至所述深度学习YOLOv5模型，经过前向传播和反向传播两个阶段完成对网络参数的训练，并将训练好的所述深度学习YOLOv5模型确定为所述目标检测模型。

进一步地，所述方法还包括：

采用TensortRT对训练好的所述深度学习YOLOv5模型做优化部署。

进一步地，所述采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹，包括：

采用卡尔曼滤波的状态转移矩阵方程，根据所述目标在当前时刻的状态矩阵预测下一时刻的估计值，所述估计值包括下一时刻状态矩阵和协方差矩阵；

利用下一时刻目标检测的观测值来修正预测过程中的估计值，得到下一时刻观测值下修正后的状态矩阵和协方差矩阵，并作为预测过程的输入迭代循环，用于预测下一时刻的估计值；

计算前后帧目标IOU来构建相似度矩阵，使用KM算法查找上下帧之间的最佳匹配，完成目标跟踪。

进一步地，所述监控区域属性包括车道线类型、监控区域类型、监控区域需要检测的交通事件类型、行车方向以及行驶限速值；

所述监控区域类型包括机动车道区域、非机动车道区域、公交车道区域、应急车道区域。

进一步地，在所述目标为机动车或非机动车时，所述基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，包括：

基于所述目标的运动轨迹，判断所述目标位于所述应急车道区域且运动轨迹波动量和长度小时，确定为违法停车；

基于所述目标的运动轨迹，判断运动方向与所述行车方向相反且所述目标的运动距离大于0，则确定为逆向行驶；

基于所述目标的运动轨迹，判断存在运动方向与所述行车方向相同以及与所述行车方向相反的情况，且所述目标的运动距离大于0，则确定为违法掉头；

基于所述目标的运动轨迹，判断运动轨迹与车道线存在交叉，且目标的运动距离大于0，则确定为变道压线；

基于所述目标的运动轨迹，计算所述目标的行驶速度，根据所述目标的行驶速度和所述行驶限速值，确定超速欠速；

基于所述目标的运动轨迹，判断运动轨迹超出其对应的行驶区域外边缘，并持续时间T1，确定异常驶离；

基于所述目标的运动轨迹，计算所述机动车道区域内机动车的数量和行驶速度，并基于所述机动车的数量和行驶速度，计算拥堵指数，确定车道拥堵状态。

进一步地，在所述目标为行人时，所述基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，包括：

判断所述目标的运动轨迹是否处于所述机动车道区域内，并持续时间T2时，确定为行人闯入。

进一步地，所述方法还包括：

事先对所述监控区域布置的摄像头进行标定，使所述摄像头的像素坐标系转换到世界坐标系。

进一步地，所述基于所述目标的运动轨迹，计算所述目标的行驶速度，具体为：

基于所述目标的运动轨迹，采用平均速度法，计算所述目标的行驶速度。

另一方面，本发明提出了一种交通事件检测装置，所述装置包括：

目标检测模块，用于利用目标检测模型对输入的视频帧图像进行处理，得到目标的位置，所述目标的类别包括行人、机动车和非机动车；

目标跟踪模块，用于采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹；

交通事件检测模块，用于基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，其中，所述交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入。

本发明的优点在于：

(1)本发明通过利用目标检测模型对视频帧图像进行处理，得到目标的位置，采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹，基于目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入，可进行多类别的交通事件检测，避免了传统的算法针对不同的交通事件，可能需要单独建立一个个模型，使得整个交通事件检测模型变得臃肿的问题。

(2)本发明采用了基于深度学习的车辆跟踪方法，其检测效果要好，不易受光照、背景环境改变、雨雪天气等的影响，且在夜间补光良好的情况下也可正常检测，模型的抗干扰能力强，稳健性好。

(3)本发明中的目标检测模型采用深度学习YOLOv5模型，并经过了TensorRT框架的优化加速，检测速度更快；目标跟踪算法采用了改进的SORT跟踪算法，跟踪框精度更高，减少了跟踪丢失的现象，且相比于传统的特征匹配等跟踪方法，其运算量很小，跟踪速度很快，可支持多路视频的实时检测。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是本发明第一实施例中交通事件检测方法的流程图；

图2是本发明第一实施例中目标检测模型的检测效果图；

图3是本发明第一实施例中SORT跟踪算法流程图；

图4是本发明第一实施例中跟踪算法得到的行驶轨迹示意图；

图5是本发明第一实施例中车道布防与属性设置示意图；

图6是本发明第二实施例中交通事件检测装置的结构图；

图7是本发明第二实施例中交通事件检测原理框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明第一实施例提出了一种交通事件检测方法，所述方法包括以下步骤：

S10、利用目标检测模型对输入的视频帧图像进行处理，得到目标的位置，所述目标的类别包括行人、机动车和非机动车；

S20、采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹；

S30、基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，其中，所述交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入。

需要说明的是，本发明实施例通过利用目标检测模型对视频帧图像进行处理，得到目标的位置，采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹，基于目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入，可进行多类别的交通事件检测，避免了传统的算法针对不同的交通事件，可能需要单独建立一个个模型，使得整个交通事件检测模型变得臃肿的问题。

在一实施例中，所述目标检测模型采用深度学习YOLOv5模型，在所述步骤S10之前，还包括以下步骤：

收集不同类型的交通事件图像或视频，并对图像或视频中的目标进行人工标记，将标记后样本构成样本集合；

利用样本集合中的样本输入至所述深度学习YOLOv5模型，经过前向传播和反向传播两个阶段完成对网络参数的训练，并将训练好的所述深度学习YOLOv5模型确定为所述目标检测模型。

需要说明的是，目标检测模块的作用是把需要跟踪的目标检测出来，输出目标的类别和位置。目标的类别包括行人、小汽车、卡车、公交车等机动车和自行车、电动车等非机动车，模型输出的位置即为目标在视频帧中检测框的像素点坐标，而完成目标检测需要先利用数据集对目标检测模型进行训练。

其中，搜集一些包含以上目标类别的场景图像或视频文件，人工标注目标在图像中的位置和目标类别，并将标注后的样本图像构成图像数据集。为提高目标检测的准确率和目标框检测的精度，收集的数据集可以包含不同场景、不同分辨率、不同拍摄角度下的图像，这样训练的模型泛化能力比较强。

其中，将图像数据集划分为训练集和验证集，模型训练过程利用制作好的训练集和对应的标签，指定好模型训练的一些超参，通过前向传播和反向传播，模型会自动更新参数，以便提取更好的有效特征。模型训练结束后在验证集上找到一个表现最好的模型，作为目标检测的使用模型。

需要说明的是，本发明采用了YOLOv5模型作为目标检测模型，其检测效果好，检测速度快，且方便部署。

在一实施例中，所述方法还包括：

采用TensortRT对训练好的所述深度学习YOLOv5模型做优化部署。

需要说明的是，一般嵌入式前端搭配的硬件配置一般，为降低计算量、加速模型推理速度，可对模型做剪枝、量化等操作，本实施例采用了TensortRT做优化部署，推理速度获得很大的提升，检测速度更快。

本实施例采用了基于深度学习的车辆跟踪方法，其检测效果要好，不易受光照、背景环境改变、雨雪天气等的影响，且在夜间补光良好的情况下也可正常检测，模型的抗干扰能力强，稳健性好。将输入的视频流图像转换为一定格式后输入目标检测模型，对各种类型车辆进行检测，输出车辆类别和车辆的精确位置(见图2)，为后一步跟踪做准备。

在一实施例中，所述步骤S20，包括以下步骤：

S21、预测过程：采用卡尔曼滤波的状态转移矩阵方程，根据所述目标在当前时刻的状态矩阵预测下一时刻的估计值，所述估计值包括下一时刻状态矩阵和协方差矩阵；

S22、更新过程：利用下一时刻目标检测的观测值来修正预测过程中的估计值，得到下一时刻观测值下修正后的状态矩阵和协方差矩阵，并作为预测过程的输入迭代循环，用于预测下一时刻的估计值；

S23、匹配过程：计算前后帧目标IOU来构建相似度矩阵，使用KM算法查找上下帧之间的最佳匹配，完成目标跟踪。

需要说明的是，本实施例中车辆跟踪采用了经典的SORT多目标跟踪算法，其核心算法流程如图3所示，主要包括卡尔曼滤波和匈牙利算法。卡尔曼滤波实际上是一种信息融合技术，它是在有干扰的条件下，通过对数据的结合得到相对更准确的估计数据，它包含预测和更新两个过程。预测过程是当目标经过移动，通过上一帧的目标框和速度等参数，预测出当前帧的目标框位置和速度参数；更新过程是将得到的预测值和目标检测模型对当前帧检测的观测值，两个正太分布的状态进行线性加权，得到目前装置预测的状态。本发明对现有的SORT多目标跟踪算法的更新过程做了部分改进，考虑到YOLOv5模型抗干扰性较强，检测结果较为准确，在此直接把YOLOv5模型对当前帧检测的观测值做为装置的最终预测状态，不在与预测值进行线性加权，这样做的好处是跟踪框的精度更高，减少了跟踪丢失的现象。匈牙利算法解决的是一个分配问题，其通过计算视频前后两帧的IOU来构建相似度矩阵找到前后两帧真正匹配的目标。SORT算法不需要提取与比较特征，只是利用了前后两帧的目标车辆检测结果，做一些矩阵运算和IOU计算，所以SORT计算速度非常快，可以很好的实时性跟踪，得到精确的行车轨迹，如图4所示。

本实施例车辆跟踪采用了改进的SORT跟踪算法，跟踪框精度更高，减少了跟踪丢失的现象，且相比于传统的特征匹配等跟踪方法，其运算量很小，跟踪速度很快，可支持多路视频的实时检测。

在一实施例中，所述监控区域属性包括车道线类型、监控区域类型、监控区域需要检测的交通事件类型、行车方向以及行驶限速值；

所述监控区域类型包括机动车道区域、非机动车道区域、公交车道区域、应急车道区域。

本实施例只需在安装好摄像头初次使用时，配置好监控区域属性即可，车道布防与属性设置如图5所示。

需要说明的是，考虑到监控摄像头安装完成后，一般是固定不动的，人员可以手动录入不同类别的监控道路场景信息，至少包括：有效监控区域(用一个多边形表示)、白色虚线车道线(用一条直线表示)、白色实线车道线(用一条直线表示)、黄色车道线(用一条直线表示)、道路方向标志(可用上下箭头表示)、最高或最低行驶速度等信息，按照这些信息还可划分出机动车道、非机动车道、公交车道、应急车道等区域。针对每个区域设置需要监控的交通事件类型，如机动车道需要监控是否压线、逆行、超速、拥堵、行人闯入等，公交车道是否有其他机动车行驶，应急车道是否有机动车违停等交通事件。

监控区域属性设置包括以下几类：(1)车道线类型：包括白色单实线、白色虚线、黄色单实线、黄色双实线、导流线；(2)车道区域类型：包括机动车道、非机动车道、公交车道、应急车道；(3)监控区域需要检测的交通事件类型：包括违法停车、违法掉头、逆行、变道、压线、超速、欠速、机动车驶离、交通拥堵和行人闯入交通事件；(4)行车方向设置：规定视频中从上到下或从下到上为正常行驶方向。(5)最高与最低行驶速度限制。

在一实施例中，在所述目标为机动车或非机动车时，所述步骤S30，包括以下步骤：

S31、基于所述目标的运动轨迹，判断所述目标位于所述应急车道区域且运动轨迹波动量和长度小于20个像素的波动量，确定为违法停车；

需要说明的是，违法停车定义为在违停区域内异常停止的车辆。若车辆处于停车中状态，那么目标车辆行驶轨迹应当是在小范围内波动，结合监控区域属性中手动录入的车道区域，判断目标车辆的行驶轨迹处在哪个区域内，并通过检查行车轨迹的波动量以及行车轨迹长度来判断是否出现异常停车。

S32、基于所述目标的运动轨迹，判断运动方向与所述行车方向相反且所述目标的运动距离大于20个像素，则确定为逆向行驶；

需要说明的是，逆向行驶定义为机动车按照与规定道路相反的方向行驶的行为。由跟踪得到的目标车辆的行驶轨迹判断其行驶方向与行驶距离，结合监控区域属性中规定的道路行驶方向，若其行驶方向与规定道路行驶方向相反，且行驶超过了20个像素，即为逆向行驶。

S33、基于所述目标的运动轨迹，判断存在运动方向与所述行车方向相同以及与所述行车方向相反的情况，且所述目标的正向与逆向行驶距离均大于20个像素，则确定为违法掉头；

需要说明的是，违法掉头定义为机动车在禁止掉头的路面改变行车方向并行驶一段距离。由跟踪得到的目标车辆的行驶轨迹，计算其行驶方向和行驶距离，结合监控区域属性中规定的道路方向，若其既存在正向行驶又存在逆向行驶，且正向与逆向行驶均超过20个像素，即判断为违法掉头行为。

S34、基于所述目标的运动轨迹，判断运动轨迹点集是否出现在车道线两侧，且目标的运动距离大于20个像素，则确定为变道压线；

需要说明的是，变道压线定义为机动车违反禁止标线指示或通过红绿灯路口时，不按所需行进方向驶入导向车道的行为，压线的“线”多指的是车道和车道之间白色实线、道路中心单黄实线和双黄实线。由目标跟踪得到的目标车辆的行驶轨迹，结合监控区域属性中布防的各类车道线，判断行驶轨迹上的点与车道线直线方程之间的关系，若轨迹上的点出现在直线方程的两侧，且行驶距离超过20个像素，即判断该机动车存在变道压线行为。

S35、基于所述目标的运动轨迹，计算所述目标的行驶速度，根据所述目标的行驶速度和所述行驶限速值，确定超速欠速；

需要说明的是，超速欠速定义为机动车行驶速度高于规定最高行驶速度一定比例或者低于规定最低行驶速度一定比例的违法行为。根据目标跟踪得到的目标车辆的行驶轨迹计算其行驶距离，行驶距离的计算公式如下：

W_xy＝A*P_xy

上式中，P_xy是点在视频画面中的像素点坐标，W_xy是在现实世界中的点的坐标，A是像素坐标系到世界坐标系的变换矩阵；行驶距离dist根据世界坐标系中两点间的距离公式求得，W_1x，W_1y分别是第一个点的x坐标和y坐标，W_2x，W_2y分别是第二个点的x坐标和y坐标；

接着结合视频帧率或间隔时间得到行驶速度，公式如下：

dist是上式计算的行车距离，fps是视频的帧率，N是间隔的视频帧数，即可求得行车速度。

将计算的行车速度，与监控区域属性中规定的最高或最低行驶速度比较，判断是否存在超速或欠速行为。

S36、基于所述目标的运动轨迹，判断运动轨迹超出其对应的行驶区域外边缘，并持续超过1s，确定异常驶离；

需要说明的是，异常驶离定义为行驶中的机动车辆异常驶离正常行驶区域的行为。由目标跟踪得到的目标车辆的行驶轨迹，结合监控区域属性中布防的机动车道区域，判断行驶轨迹的点集与行驶区域外边缘直线方程的关系，若轨迹点出现在直线的外侧并持续超过1s，则判定存在机动车异常驶离。

S37、基于所述目标的运动轨迹，计算所述机动车道区域内机动车的数量和行驶速度，并基于所述机动车的数量和行驶速度，计算拥堵指数，确定车道拥堵状态。

需要说明的是，车道拥堵定义为道路上出现单车道或多车道拥堵状况，影响道路畅通的交通事件。由目标跟踪得到的目标车辆的行驶轨迹，结合监控区域属性中布防的机动车道区域，由步骤S35计算单个机动车的行驶速度，由于视频画面中可能出现多辆车，根据各个机动车的行驶速度计算出所有机动车行驶速度的平均值

且由YOLOv5检测模型很容易得到车辆的数量num。

显然，车道拥堵程度与车辆的数量成正比，与行车速度成反比，从而建立一个道路拥堵模型，输出拥堵指数，拥堵指数相关计算公式：

根据拥堵指数ind划分拥堵等级：[0,0.12)为不拥堵，[0.12,0.25)为轻微拥堵，[0.25,0.4)为中度拥堵，ind大于等于0.4为重度拥堵。

需要说明的是，本实施例将目标车辆的行车轨迹，与预先设置的监控区域属性相结合，可完成各类交通事件的检测。

在一实施例中，在所述目标为行人时，所述步骤S30，还包括以下步骤：

S38、判断所述目标的运动轨迹是否处于所述机动车道区域内，并持续时间超过5s，确定为行人闯入。

需要说明的是，行人闯入定义为行人闯到禁止进入的机动车道区域。由目标检测模型检测视频画面中是否出现行人，结合监控区域属性中布防的机动车道区域，若行人处于机动车道区域中，并持续出现时间超过5s，则判定存在行人非法闯入机动车道区域。

在一实施例中，所述方法还包括：

事先对所述监控区域布置的摄像头进行标定，使所述摄像头的像素坐标系转换到世界坐标系。

需要说明的是，考虑到因摄像镜头的原因视频画面中可能存在一定的畸变，本发明实施例中进一步添加了摄像头畸变矫正功能，并通过摄像头标定完成像素坐标系到世界坐标系的转换，使得计算的行车速度精度有了很大的提升，误差控制在5％以内。

在一实施例中，所述目标的行驶速度的计算过程为：

基于所述目标的运动轨迹，采用平均速度法，计算所述目标的行驶速度。

需要说明的是，由透视变换原理可知远离视频画面中心的区域，其像素坐标系中微小的波动会带来世界坐标系中较大的改变，反应在视频上就是远处车辆的检测框微小的变动，计算的速度会发生较大的波动。为了减小这种波动，本发明实施例中采用了计算行驶轨迹的平均速度法，代替瞬时速度，降低了很多误报。

如图6所示，本发明第二实施例提出了一种交通事件检测装置，所述装置包括：

目标检测模块10，用于利用目标检测模型对输入的视频帧图像进行处理，得到目标的位置，所述目标的类别包括行人、机动车和非机动车；

目标跟踪模块20，用于采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹；

交通事件检测模块30，用于基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，其中，所述交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入。

在一实施例中，所述装置还包括统初始化模块和视频读取模块，其中，初始化模块用来初始值赋值操作，并配置一些监控区域属性；视频读取模块用来读取监控视频帧图像，并将视频帧图像转换成适于输入目标检测模型的格式。

其中，初始值赋值操作包括以下几类：目标检测模型的尺寸、需要检测的类别数量和类别标签、输出模型中图像的大小、置信度最低阈值设定、视频读取的间隔帧数量等。

监控区域属性设置包括以下几类：(1)车道线类型：包括白色单实线、白色虚线、黄色单实线、黄色双实线、导流线；(2)车道区域类型：包括机动车道、非机动车道、公交车道、应急车道；(3)监控区域需要检测的交通事件类型：包括违法停车、违法掉头、逆行、变道、压线、超速、欠速、机动车驶离、交通拥堵和行人闯入交通事件；(4)行车方向设置：规定视频中从上到下或从下到上为正常行驶方向。(5)最高与最低行驶速度限制。

在一实施例中，所述目标检测模型采用深度学习YOLOv5模型，所述装置还包括：

收集模块，用于收集不同类型的交通事件图像或视频，并对图像或视频中的目标进行人工标记，将标记后样本构成样本集合；

训练模块，用于利用样本集合中的样本输入至所述深度学习YOLOv5模型，经过前向传播和反向传播两个阶段完成对网络参数的训练，并将训练好的所述深度学习YOLOv5模型确定为所述目标检测模型。

在一实施例中，所述装置还包括：

模型优化模块，用于采用TensortRT对训练好的所述深度学习YOLOv5模型做优化部署。

在一实施例中，所述目标跟踪模块20包括：

预测单元，用于采用卡尔曼滤波的状态转移矩阵方程，根据所述目标在当前时刻的状态矩阵预测下一时刻的估计值，所述估计值包括下一时刻状态矩阵和协方差矩阵；

更新单元，用于利用下一时刻目标检测的观测值来修正预测过程中的估计值，得到下一时刻观测值下修正后的状态矩阵和协方差矩阵，并作为预测过程的输入迭代循环，用于预测下一时刻的估计值；

匹配单元，用于计算前后帧目标IOU来构建相似度矩阵，使用KM算法查找上下帧之间的最佳匹配，完成目标跟踪。

在一实施例中，所述交通事件检测模块30，包括：

违法停车检测单元，用于基于所述目标的运动轨迹，判断所述目标位于所述应急车道区域且运动轨迹波动量和长度小于20个像素，确定为违法停车；

逆向行驶检测单元，用于基于所述目标的运动轨迹，判断运动方向与所述行车方向相反且所述目标的运动距离大于20个像素，则确定为逆向行驶；

违法掉头检测单元，用于基于所述目标的运动轨迹，判断存在运动方向与所述行车方向相同以及与所述行车方向相反的情况，且所述目标的运动距离大于0，则确定为违法掉头；

变道压线检测单元，用于基于所述目标的运动轨迹，判断运动轨迹与车道线的关系，且目标的运动距离大于20个像素，则确定为变道压线；

超速欠速检测单元，用于基于所述目标的运动轨迹，计算所述目标的行驶速度，根据所述目标的行驶速度和所述行驶限速值，确定超速欠速；

异常驶离检测单元，用于基于所述目标的运动轨迹，判断运动轨迹超出其对应的行驶区域外边缘，并持续时间超过1s，确定异常驶离；

拥堵检测单元，用于基于所述目标的运动轨迹，计算所述机动车道区域内机动车的数量和行驶速度，并基于所述机动车的数量和行驶速度，计算拥堵指数，确定车道拥堵状态。

进一步地，目标车辆的行驶速度采用平均速度法计算得到。

在一实施例中，所述交通事件检测模块30，还包括：

行人事件检测单元，用于判断所述目标的运动轨迹是否处于所述机动车道区域内，并持续时间超过5s时，确定为行人闯入。

在一实施例中，所述装置还包括：

标定模块，用于事先对所述监控区域布置的摄像头进行标定，使所述摄像头的像素坐标系转换到世界坐标系。

如图7所示，所述装置还包括：

报警输出模块，用于将检测到的交通事件信息回传到交通事件检测管理平台，保存发生交通事件时的图像信息，或开启录像功能作为证据。同时交通检测管理平台对异常事件进行统一管理和分析，根据需要对事件进行上报和展现，也可辅助监管人员根据实际情况进行人工干预。

本实施例支持多场景下的交通事件检测，包括隧道、城市道路以及高速路段。支持的交通事件检测类型多，支持违法停车、违法掉头、逆行、变道、压线、超速、欠速、机动车驶离、交通拥堵和行人闯入等交通事件的检测，且配置灵活、操作方便，只需在安装好摄像头初次使用时，配置好一些车道信息即可。能够捕捉精确的行车轨迹，大大降低了漏报和误报的发生。

需要说明的是，本发明所述交通事件检测装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行装置、装置或设备(如基于计算机的装置、包括处理器的装置或其他可以从指令执行装置、装置或设备取指令并执行指令的装置)使用，或结合这些指令执行装置、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行装置、装置或设备或结合这些指令执行装置、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种交通事件检测方法，其特征在于，所述方法包括：

利用目标检测模型对输入的视频帧图像进行处理，得到目标的位置，所述目标的类别包括行人、机动车和非机动车；

采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹；

基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，其中，所述交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入。

2.如权利要求1所述的交通事件检测方法，其特征在于，所述目标检测模型采用深度学习YOLOv5模型，在所述利用目标检测模型对输入的视频帧图像进行处理，得到目标类别及目标位置之前，还包括：

收集不同类型的交通事件图像或视频，并对图像或视频中的目标进行人工标记，将标记后样本构成样本集合；

利用样本集合中的样本输入至所述深度学习YOLOv5模型，经过前向传播和反向传播两个阶段完成对网络参数的训练，并将训练好的所述深度学习YOLOv5模型确定为所述目标检测模型。

3.如权利要求2所述的交通事件检测方法，其特征在于，所述方法还包括：

采用TensortRT对训练好的所述深度学习YOLOv5模型做优化部署。

4.如权利要求1所述的交通事件检测方法，其特征在于，所述采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹，包括：

采用卡尔曼滤波的状态转移矩阵方程，根据所述目标在当前时刻的状态矩阵预测下一时刻的估计值，所述估计值包括下一时刻状态矩阵和协方差矩阵；

利用下一时刻目标检测的观测值来修正预测过程中的估计值，得到下一时刻观测值下修正后的状态矩阵和协方差矩阵，并作为预测过程的输入迭代循环，用于预测下一时刻的估计值；

计算前后帧目标IOU来构建相似度矩阵，使用KM算法查找上下帧之间的最佳匹配，完成目标跟踪。

5.如权利要求1所述的交通事件检测方法，其特征在于，所述监控区域属性包括车道线类型、监控区域类型、监控区域需要检测的交通事件类型、行车方向以及行驶限速值；

所述监控区域类型包括机动车道区域、非机动车道区域、公交车道区域、应急车道区域。

6.如权利要求5所述的交通事件检测方法，其特征在于，在所述目标为机动车或非机动车时，所述基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，包括：

基于所述目标的运动轨迹，判断所述目标位于所述应急车道区域且运动轨迹波动量和长度小于20个像素，确定为违法停车；

基于所述目标的运动轨迹，判断运动方向与所述行车方向相反且所述目标的运动距离大于20个像素，则确定为逆向行驶；

基于所述目标的运动轨迹，判断存在运动方向与所述行车方向相同以及与所述行车方向相反的情况，且所述目标的运动距离大于20个像素点时，则确定为违法掉头；

基于所述目标的运动轨迹，判断运动轨迹点集与车道线直线方程的关系，且目标的运动距离大于20个像素，则确定为变道压线；

基于所述目标的运动轨迹，计算所述目标的行驶速度，根据所述目标的行驶速度和所述行驶限速值，确定超速欠速；

基于所述目标的运动轨迹，判断运动轨迹超出其对应的行驶区域外边缘，并持续时间超过1s，确定异常驶离；

基于所述目标的运动轨迹，计算所述机动车道区域内机动车的数量和行驶速度，并基于所述机动车的数量和行驶速度，计算拥堵指数，确定车道拥堵状态。

7.如权利要求5所述的交通事件检测方法，其特征在于，在所述目标为行人时，所述基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，包括：

判断所述目标的运动轨迹是否处于所述机动车道区域内，并持续时间超过5s时，确定为行人闯入。

8.如权利要求6所述的交通事件检测方法，其特征在于，所述方法还包括：

事先对所述监控区域布置的摄像头进行标定，使所述摄像头的像素坐标系转换到世界坐标系。

9.如权利要求6所述的交通事件检测方法，其特征在于，所述基于所述目标的运动轨迹，计算所述目标的行驶速度，具体为：

基于所述目标的运动轨迹，采用平均速度法，计算所述目标的行驶速度。

10.一种交通事件检测装置，其特征在于，所述装置包括：

目标检测模块，用于利用目标检测模型对输入的视频帧图像进行处理，得到目标的位置，所述目标的类别包括行人、机动车和非机动车；

目标跟踪模块，用于采用多目标跟踪算法对目标进行跟踪，得到目标的运动轨迹；

交通事件检测模块，用于基于所述目标的运动轨迹和预先设置的监控区域属性，进行交通事件的检测，其中，所述交通事件的类别包括违法停车、违法掉头、逆向行驶、变道压线、超速欠速、异常驶离、车道拥堵以及行人闯入。

Images