CN115691215A - 一种基于YOLOv5-GRU的道路护栏碰撞检测方法 - Google Patents
一种基于YOLOv5-GRU的道路护栏碰撞检测方法 Download PDFInfo
- Publication number
- CN115691215A CN115691215A CN202210855541.7A CN202210855541A CN115691215A CN 115691215 A CN115691215 A CN 115691215A CN 202210855541 A CN202210855541 A CN 202210855541A CN 115691215 A CN115691215 A CN 115691215A
- Authority
- CN
- China
- Prior art keywords
- gru
- road guardrail
- frame
- detection method
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于YOLOv5‑GRU的道路护栏碰撞检测方法，从视觉的角度出发，对道路监控相机的实时视频图像进行分析，结合基于深度学习的视频行为识别算法，判别机动车辆是否与道路护栏发生碰撞，并及时向有关部门发出报警信号。通过自动抓取到的车辆碰撞护栏前后的视频和照片为交通事故处理提供依据，并将现场碰撞照片、视频、时间、位置发送至系统，实现24小时全天候的无人监控、报警以及举证。
Description
技术领域
本发明涉及道路护栏碰撞领域，尤其涉及一种基于YOLOv5-GRU的道路护栏碰撞检测方法。
背景技术
随着经济社会提高，国内城市公路通行车流量日益增大，驾驶人员由于疲劳、超速或突发情况等极易导致车辆失控撞击护栏，交通事故不可避免，公路也遭到不同程度的破化，路产路权受到影响，但撞击点和时间又是不确定的，单靠路政人员巡查往往无法第一时间了解情况进行修复。因此对护栏进行实时监测，当碰撞发生时能够及时报警并显示相应的区间位置，有助于交警在第一时间援救受困人员及车辆并防止事故的进一步扩大，并且该技术有利于在事故多发路段实现24小时无人巡查。目前对于护栏的碰撞检测方式大多数基于压力传感器、加速度传感器、光导纤维等相结合的方式进行检测，但该方式成本高、设备多、安装复杂、施工难度高，并且只能单一的实现报警功能，无法同时实现报警和举证。且传统的利用压力传感器进行检测的方式，只能检测到护栏发生了碰撞，并不能确保是机动车辆与护栏发生的碰撞从而产生错误的判断，也无法快速的提取车辆碰撞护栏的视频，需要逐一排查监控，从而造成警力的浪费。因此，需要一种可实现24小时全天候监测，抗干扰，灵敏感知，报警准确，节省人力资源，减少人工巡检的频率，降低车辆恶意逃逸造成的路产损失的基于 YOLOv5-GRU的道路护栏碰撞检测方法。
发明内容
本发明要解决的问题在于提供一种可实现24小时全天候监测，抗干扰，灵敏感知，报警准确，节省人力资源，减少人工巡检的频率，降低车辆恶意逃逸造成的路产损失的基于YOLOv5-GRU的道路护栏碰撞检测方法。
为了保证在使用过程中，能够保证工作稳定，工作精度高，本发明涉及了一种基于YOLOv5-GRU的道路护栏碰撞检测方法，包括以下步骤：
S1：设置警戒区域,在智能球机视频图像中确定道路护栏边界并将其标识为警戒区域，对过往的机动车进行越界侦测；
S2：记录报警车辆中心点坐标和原始视频图像；
S3：提取报警位置时序图像；
S4：将已提取的报警位置时序图像，逐帧输入至卷积神经网络进行特征提取；
S5：将步骤S4提取的特征向量序列X输入双向GRU网络层，学习特征向量序列时序特征；
S6：目标车辆特征提取与碰撞行为报警。
本发明的有益效果是，从视觉的角度出发，对道路监控相机的实时视频图像进行分析，结合基于深度学习的视频行为识别算法，判别机动车辆是否与道路护栏发生碰撞，并及时向有关部门发出报警信号。通过自动抓取到的车辆碰撞护栏前后的视频和照片为交通事故处理提供依据，并将现场碰撞照片、视频、时间、位置发送至系统，实现24小时全天候的无人监控、报警以及举证。
进一步的，所述步骤S1中设置警戒区域中，还需要在待检测区域安装智能球机和终端服务器，调整相机安装角度和高度，并设置相机分辨率 (1920×1080)、帧率(25)、曝光率、入侵检测报警功能此参数。
进一步的，所述步骤S2中还包括以下内容：
A1：当发现机动车驶入警戒区域时，自动触发相机入侵检测报警功能，相机开始抓拍触发时刻t的视频图像；
A2：将视频图像并返回触发时刻报警车辆(目标车辆)边框的中心点坐标P(x,y)，以及触发时刻前后6秒(-3s<t<3s)的视频录像。
进一步的，所述步骤S3中还包括以下内容：
B1：终端服务器接收智能球机传回的视频和目标车辆中心点坐标 P(x,y)；
B2：以步骤B1中的坐标P作为中心点，逐帧截取固定大小(此处为640 ×640)的正方形图像。
进一步的，所述步骤S4中还包括以下步骤：
C1：将步骤S3提取的报警位置时序图像Z，逐帧输入至卷积神经网络进行提取特征V；
C2：提取V之后，接下来需要对V进行降维和全连接操作，将特征向量序列V转换为1维特征向量序列X。
进一步的，所述步骤S5中还包括以下步骤：
D1：将步骤S4中提取的特征向量序列X输入双向GRU网络层，学习特征向量序列时序特征，并最终得出概率Pre。
进一步的，所述步骤S6还包括以下步骤：
E1:当Pre>＝0.8(预设阈值)时，表明目标车辆与道路护栏发生了碰撞；
E2:当0.8>pre>＝0.5(预设阈值)时，表明目标车辆与道路护栏疑似发生了碰撞，需进一步人工判断；
E3:当Pre<0.5时，表明目标车辆并未与道路护栏发生碰撞。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种基于YOLOv5-GRU的道路护栏碰撞检测方法的处理流程如图；
图2是本发明一种基于YOLOv5-GRU的道路护栏碰撞检测方法的特征提取图；
图3是本发明一种基于YOLOv5-GRU的道路护栏碰撞检测方法的碰撞模拟图。
具体实施方式
下面结合具体实施例，对本发明的内容做进一步的详细说明：
本发明要解决的问题在于提供一种可实现24小时全天候监测，抗干扰，灵敏感知，报警准确，节省人力资源，减少人工巡检的频率，降低车辆恶意逃逸造成的路产损失的基于YOLOv5-GRU的道路护栏碰撞检测方法。
如图1所示，为了保证在使用过程中，能够保证工作稳定，工作精度高，本发明涉及了一种基于YOLOv5-GRU的道路护栏碰撞检测方法，包括以下步骤：
S1：设置警戒区域,在智能球机视频图像中确定道路护栏边界并将其标识为警戒区域，对过往的机动车进行越界侦测；
S2：记录报警车辆中心点坐标和原始视频图像；
S3：提取报警位置时序图像；
S4：将已提取的报警位置时序图像，逐帧输入至卷积神经网络进行特征提取；
S5：将步骤S4提取的特征向量序列X输入双向GRU网络层，学习特征向量序列时序特征；
S6：目标车辆特征提取与碰撞行为报警。
本发明的有益效果是，从视觉的角度出发，对道路监控相机的实时视频图像进行分析，结合基于深度学习的视频行为识别算法，判别机动车辆是否与道路护栏发生碰撞，并及时向有关部门发出报警信号。通过自动抓取到的车辆碰撞护栏前后的视频和照片为交通事故处理提供依据，并将现场碰撞照片、视频、时间、位置发送至系统，实现24小时全天候的无人监控、报警以及举证。
进一步的，所述步骤S1中设置警戒区域中，还需要在待检测区域安装智能球机和终端服务器，调整相机安装角度和高度，并设置相机分辨率 (1920×1080)、帧率(25)、曝光率、入侵检测报警功能此参数。
在实际操作中，在智能球机视频图像中确定道路护栏边界并将其标识为警戒区域，对过往的机动车进行越界侦测，其目的在于对疑似机动车碰撞护栏的事件进行初筛，减少实时监测对终端服务器的算力要求，同时设置智能球机视频分辨率为1920×1080(默认，可根据比例16:9修改)。
进一步的，所述步骤S2中还包括以下内容：
A1：当发现机动车驶入警戒区域时，自动触发相机入侵检测报警功能，相机开始抓拍触发时刻t的视频图像；
A2：将视频图像记录并返回触发时刻报警车辆(目标车辆)边框的中心点坐标P(x,y)，以及触发时刻前后6秒(-3s<t<3s)的视频录像。
在实际操作中，在视频图像中确定机动车护栏碰撞检测区域并将其标识为警戒区域，包含同向双车道(正反车道均可监测)，排除不必要的干扰。
进一步的，所述步骤S3中还包括以下内容：
B1：终端服务器接收智能球机传回的视频和目标车辆中心点坐标P(x,y)；
B2：以步骤B1中的坐标P作为中心点，逐帧截取固定大小(此处为640 ×640)的正方形图像。
在实际操作中，具体计算方式如下:
xi＝Max(x,0),xi＝Min(1920-xi,xi)；
yi＝Max(y,0),yi＝Min(1080-yi,yi)；
其中1920为图像宽度，1080为图像高度。至此，可构建报警位置的时序图像为：
Z＝[z1,z2,…,zt],zt∈R640×640×3,
zt表示一个截取之后视频图像；
t表示序列长度；
640×640×3表示图像宽、高和通道数；
Z表示一个视频序列
进一步的，所述步骤S4中还包括以下步骤：
C1：将步骤S3提取的报警位置时序图像Z，逐帧输入至卷积神经网络进行提取特征V；
C2：提取V之后，接下来需要对V进行降维和全连接操作，将特征向量序列V转换为1维特征向量序列X。
在实际操作中，本发明采用了特征提取能力更强、参数更少、运算速度更快的YOLOv5骨干网络(由改进的YOLOv5骨干网络组成，包含1个Focus 层、6个卷积层和6个下采样层)进行特征提取，如图2所示。经过一系列卷积和下采样操作之后，可得到一个最小尺度为5×5的特征向量序列：
V＝[v1,v2,…,vt],vt∈R5×5×1024,
vt＝YOLOv5(zt)∈R5×5×1024,
其中YOLOv5表示特征提取操作。
提取V之后，接下来需要对V进行降维和全连接操作，将特征向量序列V转换为1维特征向量序列X，即：
X＝[x1,x2,…,xt],vt∈R1×1×1024,
xt＝FC(flatten(vt)),
其中，FC表示全连接操作；
flatten表示一维化操作。
进一步的，所述步骤S5中还包括以下步骤：
D1：将步骤S4中提取的特征向量序列X输入双向GRU网络层，学习特征向量序列时序特征，并最终得出概率Pre。
在实际操作中，具体更新公式如下：
输入：xinput＝concat[ht-1,xt],
重置门神经元：rt＝σ(xinput*Wr+br),
输入门神经元：It＝σ(xinput*Wz+bz),
记忆门神经元：
遗忘门神经元：ft＝1-It,
输出：ht＝ft⊙ht-1+t,
其中σ指的是sigmoid函数，⊙表示向量元素点乘，上述公式也可以简写为：
输出：ht＝GRU(ht-1,xt),
与LSTM相比，GRU结构更为简单，训练样本较少，更易于实际的工程应用，且本发明采用了双向GRU网络，在机动车碰撞护栏检测事件上充分结合了碰撞前后的信息进行推理，与单向的GRU相比，预测更为准确，即：
输出：ht＝Wm*GRU(t-1,xt)+Wn*GRU(t-1,xt)+b,
为了使模型聚焦特征序列中与机动车碰撞护栏重点相关的片段，并减少无关片段对分类性能的影响，本发明在Bi-GRU网络后添加一个注意力层，具体计算公式如下：
注意力层首先计算不同时刻Bi-GRU输出特征向量的权重系数，然后用该权重系数对不同时刻Bi-GRU输出特征向量进行加权求和，得到该视频序列的特征y，最后通过Softmax分类器预测该视频序列发生机动车碰撞护栏事件的概率Pre。
进一步的，所述步骤S6还包括以下步骤：
E1:当Pre>＝0.8(预设阈值)时，表明目标车辆与道路护栏发生了碰撞；
E2:当0.8>pre>＝0.5(预设阈值)时，表明目标车辆与道路护栏疑似发生了碰撞，需进一步人工判断；
E3:当Pre<0.5时，表明目标车辆并未与道路护栏发生碰撞。
如图3所示，在实际操作中，终端服务器根据模型的预测结果，从智能球机传回的t时刻抓拍图像中提取目标车辆的车牌、车型、车身颜色等信息，并将截取视频录像t-2与t+2时刻的视频帧、t时刻抓拍图像和对应的视频录像作为目标车辆碰撞护栏的证据链，上传至后台存储服务器，并向应急中心发出机动车碰撞护栏报警信号。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种基于YOLOv5-GRU的道路护栏碰撞检测方法，其特征在于，包括以下步骤：
S1：设置警戒区域,在智能球机视频图像中确定道路护栏边界并将其标识为警戒区域，对过往的机动车进行越界侦测；
S2：记录报警车辆中心点坐标和原始视频图像；
S3：提取报警位置时序图像；
S4：将已提取的报警位置时序图像，逐帧输入至卷积神经网络进行特征提取；
S5：将步骤S4提取的特征向量序列X输入双向GRU网络层，学习特征向量序列时序特征；
S6：目标车辆特征提取与碰撞行为报警。
2.根据权利要求1所述的基于YOLOv5-GRU的道路护栏碰撞检测方法，其特征在于，所述步骤S1中设置警戒区域中，还需要在待检测区域安装智能球机和终端服务器，调整相机安装角度和高度，并设置相机分辨率(1920×1080)、帧率(25)、曝光率、入侵检测报警功能此参数。
3.根据权利要求1所述的基于YOLOv5-GRU的道路护栏碰撞检测方法，其特征在于所述步骤S2中还包括以下内容：
A1：当发现机动车驶入警戒区域时，自动触发相机入侵检测报警功能，相机开始抓拍触发时刻t的视频图像；
A2：将视频图像记录并返回触发时刻报警车辆(目标车辆)边框的中心点坐标P(x,y)，以及触发时刻前后6秒(-3s<t<3s)的视频录像。
4.根据权利要求1所述的基于YOLOv5-GRU的道路护栏碰撞检测方法，其特征在于所述步骤S3中还包括以下内容：
B1：终端服务器接收智能球机传回的视频和目标车辆中心点坐标P(x,y)；
B2：以步骤B1中的坐标P作为中心点，逐帧截取固定大小(此处为640×640)的正方形图像。
5.根据权利要求1所述的基于YOLOv5-GRU的道路护栏碰撞检测方法，其特征在于所述步骤S4中还包括以下步骤：
C1：将步骤S3提取的报警位置时序图像Z，逐帧输入至卷积神经网络进行提取特征V；
C2：提取V之后，接下来需要对V进行降维和全连接操作，将特征向量序列V转换为1维特征向量序列X。
6.根据权利要求1所述的基于YOLOv5-GRU的道路护栏碰撞检测方法，其特征在于所述步骤S5中还包括以下步骤：
D1：将步骤S4中提取的特征向量序列X输入双向GRU网络层，学习特征向量序列时序特征，并最终得出概率Pre。
7.根据权利要求1所述的基于YOLOv5-GRU的道路护栏碰撞检测方法，其特征在于所述步骤S6还包括以下步骤：
E1:当Pre>＝0.8(预设阈值)时，表明目标车辆与道路护栏发生了碰撞；
E2:当0.8>pre>＝0.5(预设阈值)时，表明目标车辆与道路护栏疑似发生了碰撞，需进一步人工判断；
E3:当Pre<0.5时，表明目标车辆并未与道路护栏发生碰撞。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210855541.7A CN115691215A (zh) | 2022-07-20 | 2022-07-20 | 一种基于YOLOv5-GRU的道路护栏碰撞检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210855541.7A CN115691215A (zh) | 2022-07-20 | 2022-07-20 | 一种基于YOLOv5-GRU的道路护栏碰撞检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115691215A true CN115691215A (zh) | 2023-02-03 |
Family
ID=85060874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210855541.7A Pending CN115691215A (zh) | 2022-07-20 | 2022-07-20 | 一种基于YOLOv5-GRU的道路护栏碰撞检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115691215A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116229389A (zh) * | 2023-04-28 | 2023-06-06 | 天翼交通科技有限公司 | 一种车辆碰撞预警方法、系统、电子设备及存储介质 |
-
2022
- 2022-07-20 CN CN202210855541.7A patent/CN115691215A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116229389A (zh) * | 2023-04-28 | 2023-06-06 | 天翼交通科技有限公司 | 一种车辆碰撞预警方法、系统、电子设备及存储介质 |
| CN116229389B (zh) * | 2023-04-28 | 2023-09-01 | 天翼交通科技有限公司 | 一种车辆碰撞预警方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警系统 | |
| Gandhi et al. | Pedestrian protection systems: Issues, survey, and challenges | |
| Ki et al. | A traffic accident recording and reporting model at intersections | |
| WO2020042984A1 (zh) | 一种车辆行为检测方法及装置 | |
| CN110895662A (zh) | 车辆超载报警方法、装置、电子设备及存储介质 | |
| KR101116273B1 (ko) | 교통사고 인식장치 및 그 방법 | |
| CN107662872A (zh) | 乘客运输机的监测系统及其监测方法 | |
| CN113676702B (zh) | 基于视频流的目标追踪监测方法、系统、装置及存储介质 | |
| CN106781458A (zh) | 一种交通事故监控方法及系统 | |
| CN110901385B (zh) | 一种基于驾驶员疲劳状态的主动限速方法 | |
| CN107031661A (zh) | 一种基于盲区相机输入的变道预警方法及系统 | |
| CN112084928A (zh) | 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法 | |
| CN115691215A (zh) | 一种基于YOLOv5-GRU的道路护栏碰撞检测方法 | |
| CN113658427A (zh) | 基于视觉与雷达的路况监控方法及系统、设备 | |
| CN114267082A (zh) | 基于深度理解的桥侧坠落行为识别方法 | |
| CN110097571B (zh) | 快速高精度的车辆碰撞预测方法 | |
| CN116740649B (zh) | 一种基于深度学习的船员越界落水行为实时检测方法 | |
| CN116052035A (zh) | 一种基于卷积神经网络的电厂人员周界入侵检测方法 | |
| CN116204784A (zh) | 一种基于das的地铁隧道外部危害作业入侵识别方法 | |
| CN112418000B (zh) | 基于单目摄像头的不良驾驶行为检测方法及系统 | |
| Al Jarouf et al. | A hybrid method to detect and verify vehicle crash with haar-like features and svm over the web | |
| CN115035470A (zh) | 一种基于混合视觉的低小慢目标识别与定位方法及系统 | |
| Hsu et al. | Object recognition system design in regions of interest based on AdaBoost algorithm | |
| Arvind et al. | Vision based driver assistance for near range obstacle sensing under unstructured traffic environment | |
| Kataoka et al. | Joint pedestrian detection and risk-level prediction with motion-representation-by-detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |