CN112084892A - 一种道路异常事件检测管理装置及其方法 - Google Patents

一种道路异常事件检测管理装置及其方法 Download PDF

Info

Publication number
CN112084892A
CN112084892A CN202010850038.3A CN202010850038A CN112084892A CN 112084892 A CN112084892 A CN 112084892A CN 202010850038 A CN202010850038 A CN 202010850038A CN 112084892 A CN112084892 A CN 112084892A
Authority
CN
China
Prior art keywords
convolution
road
group
followed
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010850038.3A
Other languages
English (en)
Other versions
CN112084892B (zh
Inventor
廖赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YUNNAN LANYI NETWORK TECHNOLOGY Co.,Ltd.
Yunnan University YNU
Original Assignee
廖赟
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 廖赟 filed Critical 廖赟
Priority to CN202010850038.3A priority Critical patent/CN112084892B/zh
Publication of CN112084892A publication Critical patent/CN112084892A/zh
Application granted granted Critical
Publication of CN112084892B publication Critical patent/CN112084892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明公开一种智能道路异常事件检测管理装置包括现场道路摄像头组、后台服务器、应用程序接口、道路异常事件管理平台；现场道路摄像头组通过数据总线和地址总线与后台服务器连接，道路异常事件管理平台通过互联网TCP/IP协议调用预编好的应用程序接口，发送和接收后台服务器数据；本发明还公开了一种基于深度学习的智能道路异常事件检测管理方法，包括以下步骤：读取道路监控摄像头状态，根据抓拍策略多线程截取监控图像进行图像处理、道路物体检测、道路状况是否异常、图像路面分割、摄像头是否移动、异常二次检测、生成预警记录、发送预警信息；本发明解决了现有技术对道路异常事件检测不准确、不全面、通用性低的问题。

Description

一种道路异常事件检测管理装置及其方法
技术领域
本发明属于道路异常事件检测技术领域，具体涉及一种道路异常事件检测管理装置及其方法。
背景技术
对高速公路异常事件的实时检测和管理对道路运输安全、交通运输管理、道路安全防范、行车路线规划等领域来说是十分必要的。根据检测方式的不同，常见的高速公路异常事件检测可分为3种方式：基于车辆GPS定位的方式、基于车速的方式和基于视频图像的方式。
基于车辆GPS定位的方式在道路异常事件检测上使用最多。利用车载定位装置，获取不同时刻的空间位置信息，通过对海量浮动车轨迹信息的分析挖掘，该检测方法采用行程速度的概率分布表征交通状态，采用概率分布差异衡量指标反映交通状态差异；该方法虽然实施简便，但需要授权对车载定位装置发送的定位信息进行实时收集，对定位装置依赖度高。同时，该方法不能直接显示出现道路异常事件的原因，不利于对出现的道路异常事件进行管理。
基于车速的方法即使用雷达测速等测速设备对行驶车辆进行车速实时测量，当多张车辆的实际测速小于某个规定值，则视为出现道路异常事件状况；该方法虽然易于使用，但不能应对多种不同车道状况下的突发情况，例如会增加对慢车道、应急车道上出现异常事件的误报。且为保证检测具有一定覆盖面，需要增加测速装置，系统投入成本大。
基于视频图像的检测方法，通常需要配合道路现场摄像头，对道路视频进行间隔抓取，预处理图像中车道部分。再通过图像处理算法或人工智能算法对图像状况进行检测，达到检测效果。但目前基于图像的检测方法存在检测算法落后，检测精度低，实用性差等缺点。专利CN108922189A中通过现有的道路视频监控系统检测道路交通事件，主要包括以下步骤：1)实时采集视频数据信息，2)获取所述视频数据信息中视频图像的灰度值，3)将当前获取的灰度值与预设的参考视频图像的灰度值进行比较，得到差异灰度值总数量，4)当所述差异灰度值总数量达到预设条件时，发出异常警报。该方法不能直接辨识触发异常事件的对象，不利于分析解决异常事件。专利CN103971521A中利用图像道路交通异常事件实时检测方法，主要包括以下步骤：1)对道路图像中亮白色线段处理得到车道线和车道消失点，并建立车道模型；2)采用高斯混合模型背景差的方法检测车道模型检测区域中的运动目标，并确定所述运动目标的位置；3)根据连续多帧监控图像，采用后验概率的分裂合并算法以及特征点匹配跟踪方法，得到运动目标行驶轨迹与行驶速度；4)根据预存的道路交通异常行为的语义模型，对所述车道模型以及所述实际车辆的行驶轨迹与行驶速度进行检测，判断是否存在道路交通异常事件。该方法检测精度依赖预存道路交通模型，需要正对特定环境更换语义模型，步骤繁琐，通用性低。
发明内容
本发明的目的是提供一种智能道路异常事件检测管理装置，解决了现有技术中对于道路基于图像的检测方法中存在的不全面、通用性低的问题。
本发明的另一目的是提供一种基于深度学习的智能道路异常事件检测管理方法。
为实现上述技术目的，本发明所采用的技术方案是：
一种智能道路异常事件检测管理装置，包括现场道路摄像头组、后台服务器、应用程序接口、道路异常事件管理平台；所述现场道路摄像头组通过数据总线和地址总线与后台服务器连接，道路异常事件管理平台通过互联网TCP/IP协议调用预编好的应用程序接口发送和接收后台服务器数据；
所述现场道路摄像头组，用于实时采集道路现场图片；
所述后台服务器，预置基于深度学习训练两种CNN卷积神经网络，针对采集的现场道路图片进行道路异常事件检测和数据存储；
所述应用程序接口，用于道路异常事件管理平台与后台服务器的网络连接通道；
所述道路异常事件管理平台，用于查看和处理道路异常事件预警信息。
进一步地，所述基于深度学习训练两种CNN卷积神经网络包括：
用于分割图片路面部分的卷积网络：
第一卷积层，名称Road_L1，卷积核大小为7x7，共64层，后接最大池化层，最大池化层的池化核大小为3x3，第一卷积层的输出特征图大小为112x112；第一卷积层后接第二卷积组；
第二卷积组，该组命名为Road_L2_x，第二卷积组由三组卷积核组成，其中每组结构均为以下描述：1x1卷积核，共64层，后接3x3卷积核，共64层，后接1x1卷积核，共256层；第二卷积组各卷积核分别命名为Road_L2_1、Road_L2_2、Road_L2_3、……、Road_L2_8、Road_L2_9；Road_L2_1后接Road_L2_2，Road_L2_2后接Road_L2_3，以此类推；Road_L2_9后接最大池化层(池化核大小为2x2)；第二卷积组输出特征图大小为56x56，第二卷积组后接第三卷积组；
第三卷积组，该组命名为Road_L3_x，第三卷积组由四组卷积核组成，其中每组结构均为以下描述：1x1卷积核，共128层，后接3x3卷积核，共128层，后接1x1卷积核，共512层；第二卷积组各卷积核分别命名为Road_L3_1、Road_L3_2、Road_L3_3、……、Road_L3_11、Road_L3_12；Road_L3_1后接Road_L3_2，Road_L3_2后接Road_L3_3，Road_L3_3后接Road_L3_4，以此类推；Road_L3_12后接最大池化层(池化核大小为2x2)；第三卷积组输出特征图大小为28x28，第三卷积组后接第四卷积组；
第四卷积组，该组命名为Road_L4_x，第四卷积组由二十三组卷积核组成，其中每组结构均为以下描述：1x1卷积核，采样率为2，共256层，后接3x3卷积核，采样率为2，共256层，后接1x1卷积核，采样率为2，共1024层；二十三组卷积核分别命名为Road_L4_1、Road_L4_2、Road_L4_3、……、Road_L4_69；Road_L4_1后接Road_L4_2，Road_L4_2后接Road_L4_3，Road_L4_3后接Road_L4_4，以此类推；Road_L4_69后接最大池化层(池化核大小为2x2)，第四卷积组输出特征图大小为28x28，第四卷积组后接空洞卷积空间金字塔池化层；
空洞卷积空间金字塔池化层，该组命名为ASPP_x，ASPP由四组卷积核和一个全局平均池化层组成，其中各结构均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共256层，采样率为6，后接3x3卷积核，共256层，采样率为12，后接3x3卷积核，共256层，采样率为18，后接全局平均池化层；四组卷积核分别命名为ASPP_1、ASPP_2、ASPP_3；ASPP_1后接ASPP_2，ASPP_2后接ASPP_3；全局平均池化层池化核大小为2x2，第五卷积组输出特征图大小为28x28；
用于分割图片路面部分的卷积网络的所有卷积核输入均进行Batchnorm归一化处理，激活函数均使用Relu函数进行激活；
用于道路物体识别的深度卷积网络：
第一卷积层，名称Layer1，卷积核大小为3x3，共32层，第一卷积层的输出特征图大小为256x256；第一卷积层后接第二卷积组；
第二卷积组，该组命名为Layer2_x，第二卷积组由三个卷积核组成，其中每个结构为以下描述：3x3卷积核，共64层，卷积步长为2，后接1x1卷积核，共32层，后接3x3卷积核，共64层；三个卷积核分别命名为Layer2_1、Layer2_2、Layer2_3；Layer2_1后接Layer2_2，Layer2_2后接Layer2_3；第二卷积组输出特征图大小为128x128，第二卷积组后接第三卷积组；
第三卷积组，该组命名为Layer3_x，第三卷积组由一个卷积核和2组卷积核组成，其中第一个卷积核大小为3x3，共128层，卷积步长为2；后接2组卷积核均为以下描述：1x1卷积核，共64层，后接3x3卷积核，共128层；第三卷积组各卷积核分别命名为Layer3_1、Layer3_2、Layer3_3、Layer3_4、Layer3_5；Layer3_1后接Layer3_2，Layer3_2后接Layer3_3，Layer3_3后接Layer3_4，Layer3_4后接Layer3_5；第三卷积组输出特征图大小为64x64，第三卷积组后接第四卷积组；
第四卷积组，该组命名为Layer4_x，第四卷积组由一个卷积核和8组卷积核组成，其中第一个卷积核大小为3x3，共256层，卷积步长为2；后接8组卷积核均为以下描述：1x1卷积核，共128层，后接3x3卷积核，共256层；第四卷积组各卷积核分别命名为Layer4_1、Layer4_2、Layer4_3、……、Layer4_16、Layer4_17；Layer4_1后接Layer4_2，Layer4_2后接Layer4_3，Layer4_3后接Layer4_4，以此类推；第三卷积组输出特征图大小为32x32，第四卷积组后接第五卷积组；
第五卷积组，该组命名为Layer5_x，第五卷积组由一个卷积核和8组卷积核组成，其中第一个卷积核大小为3x3，共512层，卷积步长为2；后接8组卷积核均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共512层；第四卷积组各卷积核分别命名为Layer5_1、Layer5_2、Layer5_3、……、Layer5_16、Layer5_17；Layer5_1后接Layer5_2，Layer5_2后接Layer5_3，Layer5_3后接Layer5_4，以此类推；第三卷积组输出特征图大小为16x16，第五卷积组后接第六卷积组；
第六卷积组，该组命名为Layer6_x，第六卷积组由一个卷积核和4组卷积核组成，其中第一个卷积核大小为3x3，共1024层，卷积步长为2；后接8组卷积核均为以下描述：1x1卷积核，共512层，后接3x3卷积核，共1024层；第四卷积组各卷积核分别命名为Layer6_1、Layer6_2、Layer6_3、……、Layer4_8、Layer4_9；Layer6_1后接Layer6_2，Layer6_2后接Layer6_3，Layer6_3后接Layer6_4，以此类推；第六卷积组输出特征图大小为32x32，第六卷积组后接Layer7_x输出层；
第一输出组，该组命名为Layer7_x，第一输出组由3组卷积核和一个卷积核组成，其中3组卷积核均为以下描述：1x1卷积核，共512层，后接3x3卷积核，共1024层；后接1x1卷积核，共255层；第一输出组各层分别命名为Layer7_1、Layer7_2、Layer7_3、……、Layer7_6、Layer7_7；Layer7_1后接Layer7_2，Layer7_2后接Layer7_3，Layer7_3后接Layer7_4，以此类推；第二输出组输出特征图大小为8x8，第一输出组后接第二输出组；
第二输出组，该组命名为Layer8_x，第二输出组上接Layer7_5，由一个卷积核、上采样层、拼接层、三组卷积核和1个卷积核组成，其中第一个卷积核大小为3x3，共256层；后接上采样层，扩大一倍特征尺寸；后接拼接层，与Layer5_5拼接；后接3组卷积核均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共512层；后接1x1卷积核，共255层；第二输出组各层分别命名为Layer8_1、Layer8_2、Layer8_3、……、Layer8_9、Layer8_3、Layer4_10；Layer8_1后接Layer8_2，Layer8_2后接Layer8_3，Layer8_3后接Layer8_4，以此类推；第二输出组输出特征图大小为16x16，第二输出组后接第三输出组；
第三输出组，该组命名为Layer9_x，第三输出组上接Layer8_8，由一个卷积核、上采样层、拼接层、三组卷积核和1个卷积核组成，其中第一个卷积核大小为3x3，共128层；后接上采样层，扩大一倍特征尺寸；后接拼接层，与Layer4_5拼接；后接3组卷积核均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共512层；后接1x1卷积核，共255层；第二输出组各层分别命名为Layer9_1、Layer9_2、Layer9_3、……、Layer9_3、Layer3_10；Layer9_1后接Layer9_2，Layer9_2后接Layer9_3，Layer9_3后接Layer9_4，以此类推；第三输出组输出特征图大小为16x16；
用于道路物体识别的深度卷积网络的所有卷积核输入均进行Batchnorm归一化处理，激活函数均使用leaky relu函数进行激活，无特殊说明，卷积步长均为1。
进一步地，所述现场道路摄像头组成像像素400万像素以上，分辨率1920×1080以上；所述后台服务器含有独立图像处理单元一张以上，硬盘空间500G以上。
本发明还提供了一种基于深度学习的智能道路异常事件检测管理方法，所述方法通过上述任意一项所述的道路异常事件检测与管理装置进行实施，具体包括以下步骤：
步骤S100-1，连接设备；建立现场道路摄像头组、后台服务器、网络通信模块的连接；
步骤S100-2，录入路段监控摄像头的位置信息和独立ID，确保能对摄像头状态进行实时检查和抓拍控制；
步骤S100-3，收集并手工标定现场道路图像；在抓拍图像中，对道路隔离栏内，车辆可行驶区域进行框选，需确保在框选区域内，包含道路、车道线、车辆、人、动物；
步骤S100-4，设置道路异常事件预警阈值；所述预警阈值为系统预先设置的报警参数，其值基于步骤S105中的交并比IoU值设置，范围在0到1之间；报警时的预警阈值为0～1之间的一个数值；
步骤S101，读取现场道路监控摄像头状态；
步骤S102，根据抓拍策略调用多个路段的摄像头抓拍图像，执行步骤S104；所述抓拍策略即设置抓拍的频率；
步骤S103，是否距离上一次检测间隔600秒；如果是，则可同时执行步骤S106；
步骤S104，道路物体检测；对抓拍到的多张现场道路图像进行物体检测，基于深度学习训练深度卷积算法对处图像中出现的车辆、人和动物进行识别；
步骤S105，道路状况是否异常；如果是则执行步骤S106，否则跳转步骤S101；通过抓拍策略抽取的连续5帧图像中，对于被检测框选中的被识别物体，在5张连续图像中检测框的交并比大于0.75，则视为被检测物体未移动，即触发道路状况处于异常状态；交并比IoU计算公式如下：
Figure BDA0002644412150000061
A1、A2、A3、A4、A5：对应五张图片检测区域矩形框的面积，单位为像素；
area()：为规定区域内的面积，单位为像素；
IoU：五张图片交集部分的面积与并集部分的面积之比，值域[0,1]；
步骤S106，路面分割；对当前图像进行路面背景分割，基于深度学习训练卷积神经网络对图像中的道路部分进行语义分割，保留道路部分作为分割背景，排除道路之外的未移动物体；
步骤S107，判断摄像头是否移动；若移动则跳转至步骤S101，未移动则执行步骤S108；
步骤S108，异常二次检测；结合分割背景再次进行道路异常事件检测，方法与步骤S105一致；
步骤S109，道路状况是否异常；是则执行步骤110，否则跳转至步骤S101；
步骤S110，生成预警记录，继续向下执行S111，在预警记录数据库中新增预警信息；
步骤S111，发送预警信息，通过网络接口发送预警短信，跳转S101。
进一步地，步骤S104中所述道路物体检测的方法具体包括以下步骤：
步骤S104-1，收集训练数据，利用分布在公路不同位置的35个监控摄像头对道路图片进行抓拍采样，将不同道路事件下的抓拍图片按类别分类存储，总共采集图片6000张；
步骤S104-2，数据增强，通过加入随机噪声、随机旋转、随机缩放、改变颜色、随机模糊等干扰对训练数据进行增强，共增强获得60000张图像；
步骤S104-3，数据标注；在采集到的高速公路抓拍图像中，对道路隔离栏内，车辆可行驶区域进行标注，需确保在框选区域内，包含道路、车道线、车辆、人、动物；对车辆，人，动物分别制作不同的标签；标注数据中包含标注对象在图像中的位置坐标(px,py)和分类标签label；
步骤S104-4，训练数据，使用深度卷积基础架构，对深度学习神经网络进行端到端训练，更新网络各层权重；
步骤S104-5，训练完成后，Layer1至Layer6_x进行图像特征提取，提取到的特征直接送入深度卷积输出层，进行回归预测。
进一步地，步骤S106中所述路面分割的方法具体包括以下步骤：
步骤S106-1，收集训练数据，利用分布在公路不同位置的35个监控摄像头对道路图片进行抓拍采样，将不同道路事件下的抓拍图片按类别分类存储，总共采集图片6000张；
步骤S106-2，数据增强，通过加入随机噪声、随机旋转、随机缩放、改变颜色、随机模糊等干扰对训练数据进行增强，共增强获得60000张图像；
步骤S106-3，数据标注；在采集到的高速公路抓拍图像中，对道路隔离栏内，车辆可行驶区域进行标注，需确保在框选区域内，有且仅有道路、车道线；标注数据中包含标注道路的区域和分类标签label；
步骤S106-4，训练数据，使用深度卷积基础架构，对深度学习神经网络进行端到端训练，更新网络各层权重；
步骤S106-5，训练完成后，Road_L1至Road_L4_x进行图像特征提取，提取到的特征直接送入ASPP层，进行回归预测。
本发明的有益效果是：
1.本发明与基于车辆GPS定位信息的检测方法比较，本方法不需对车辆GPS信息进行收集分析，同时能够显示道路异常事件的原因，检测效率高，适用性更强。
2.本发明与基于车速的方法比较，由于无需额外硬件，不需要改变周围环境和进行大成本投入，受环境的影响效果小，因此维护更简便，性价比更高，道路异常事件检测结果更精确。
3.本发明与传统的基于图像的道路异常事件检测方法比较，由于采用了深度学习技术，能准确辨识触发道路异常事件的物体，对光照条件变化有极强的适用能力，支持各种天气条件下的全天候检测，检测精度高。本发明给出的方法无需依赖预设的道路模型，泛化能力强，系统部署简便。
4.本发明的道路背景分割和物体检测网络结构基于卷积及深度卷积进行设计，网络结构成熟，参数量小，检测速度快，输入图像无需进行任何额外预处理，特征的提取稳定，因此在不同环境、光照情况下均能获得稳定可靠的道路异常事件检测结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的智能道路异常事件检测管理方法的流程示意图。
图2是本发明的检测区域、物体检测框示意图。
图3是本发明的由物体检测框计算道路异常事件的示意图。
图4是本发明的智能道路异常事件检测管理装置示意图。
图中，401.现场道路摄像头组、402.后台服务器、403.应用程序接口、404.道路异常事件管理平台。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图4所示，一种智能道路异常事件检测管理装置，包括现场道路摄像头组401、后台服务器402、应用程序接口403、道路异常事件管理平台404；所述现场道路摄像头组401通过数据总线和地址总线与后台服务器402连接，道路异常事件管理平台404通过互联网TCP/IP协议调用预编好的应用程序接口403，发送和接收后台服务器402数据；
所述现场道路摄像头组401，用于实时采集道路现场图片；现场道路摄像头组401成像像素400万像素以上，分辨率1920×1080以上；
所述后台服务器402，预置基于深度学习训练两种CNN卷积神经网络，针对采集的现场道路图片进行道路异常事件检测和数据存储；含有独立图像处理单元(GPU)一张以上，内存空间250G以上；
所述应用程序接口403，用于道路异常事件管理平台404与后台服务器(402)的网络连接通道；
所述道路异常事件管理平台404，用于查看和处理道路异常事件预警信息。
具体地，所述基于深度学习训练两种CNN卷积神经网络包括：
用于分割图片路面部分的卷积网络：
第一卷积层，名称Road_L1，卷积核大小为7x7，共64层，后接最大池化层，最大池化层的池化核大小为3x3，第一卷积层的输出特征图大小为112x112；第一卷积层后接第二卷积组；
第二卷积组，该组命名为Road_L2_x，第二卷积组由三组卷积核组成，其中每组结构均为以下描述：1x1卷积核，共64层，后接3x3卷积核，共64层，后接1x1卷积核，共256层；第二卷积组各卷积核分别命名为Road_L2_1、Road_L2_2、Road_L2_3、……、Road_L2_8、Road_L2_9；Road_L2_1后接Road_L2_2，Road_L2_2后接Road_L2_3，以此类推；Road_L2_9后接最大池化层(池化核大小为2x2)；第二卷积组输出特征图大小为56x56，第二卷积组后接第三卷积组；
第三卷积组，该组命名为Road_L3_x，第三卷积组由四组卷积核组成，其中每组结构均为以下描述：1x1卷积核，共128层，后接3x3卷积核，共128层，后接1x1卷积核，共512层；第二卷积组各卷积核分别命名为Road_L3_1、Road_L3_2、Road_L3_3、……、Road_L3_11、Road_L3_12；Road_L3_1后接Road_L3_2，Road_L3_2后接Road_L3_3，Road_L3_3后接Road_L3_4，以此类推；Road_L3_12后接最大池化层(池化核大小为2x2)；第三卷积组输出特征图大小为28x28，第三卷积组后接第四卷积组；
第四卷积组，该组命名为Road_L4_x，第四卷积组由二十三组卷积核组成，其中每组结构均为以下描述：1x1卷积核，采样率为2，共256层，后接3x3卷积核，采样率为2，共256层，后接1x1卷积核，采样率为2，共1024层；二十三组卷积核分别命名为Road_L4_1、Road_L4_2、Road_L4_3、……、Road_L4_69；Road_L4_1后接Road_L4_2，Road_L4_2后接Road_L4_3，Road_L4_3后接Road_L4_4，以此类推；Road_L4_69后接最大池化层(池化核大小为2x2)，第四卷积组输出特征图大小为28x28，第四卷积组后接空洞卷积空间金字塔池化层；
空洞卷积空间金字塔池化层，该组命名为ASPP_x，ASPP由四组卷积核和一个全局平均池化层组成，其中各结构均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共256层，采样率为6，后接3x3卷积核，共256层，采样率为12，后接3x3卷积核，共256层，采样率为18，后接全局平均池化层；四组卷积核分别命名为ASPP_1、ASPP_2、ASPP_3；ASPP_1后接ASPP_2，ASPP_2后接ASPP_3；全局平均池化层池化核大小为2x2，第五卷积组输出特征图大小为28x28；
用于分割图片路面部分的卷积网络的所有卷积核输入均进行Batchnorm归一化处理，激活函数均使用Relu函数进行激活；
用于分割图片路面部分的卷积网络结构如下表所示：
Figure BDA0002644412150000101
Figure BDA0002644412150000111
用于道路物体识别的深度卷积网络：
第一卷积层，名称Layer1，卷积核大小为3x3，共32层，第一卷积层的输出特征图大小为256x256；第一卷积层后接第二卷积组；
第二卷积组，该组命名为Layer2_x，第二卷积组由三个卷积核组成，其中每个结构为以下描述：3x3卷积核，共64层，卷积步长为2，后接1x1卷积核，共32层，后接3x3卷积核，共64层；三个卷积核分别命名为Layer2_1、Layer2_2、Layer2_3；Layer2_1后接Layer2_2，Layer2_2后接Layer2_3；第二卷积组输出特征图大小为128x128，第二卷积组后接第三卷积组；
第三卷积组，该组命名为Layer3_x，第三卷积组由一个卷积核和2组卷积核组成，其中第一个卷积核大小为3x3，共128层，卷积步长为2；后接2组卷积核均为以下描述：1x1卷积核，共64层，后接3x3卷积核，共128层；第三卷积组各卷积核分别命名为Layer3_1、Layer3_2、Layer3_3、Layer3_4、Layer3_5；Layer3_1后接Layer3_2，Layer3_2后接Layer3_3，Layer3_3后接Layer3_4，Layer3_4后接Layer3_5；第三卷积组输出特征图大小为64x64，第三卷积组后接第四卷积组；
第四卷积组，该组命名为Layer4_x，第四卷积组由一个卷积核和8组卷积核组成，其中第一个卷积核大小为3x3，共256层，卷积步长为2；后接8组卷积核均为以下描述：1x1卷积核，共128层，后接3x3卷积核，共256层；第四卷积组各卷积核分别命名为Layer4_1、Layer4_2、Layer4_3、……、Layer4_16、Layer4_17；Layer4_1后接Layer4_2，Layer4_2后接Layer4_3，Layer4_3后接Layer4_4，以此类推；第三卷积组输出特征图大小为32x32，第四卷积组后接第五卷积组；
第五卷积组，该组命名为Layer5_x，第五卷积组由一个卷积核和8组卷积核组成，其中第一个卷积核大小为3x3，共512层，卷积步长为2；后接8组卷积核均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共512层；第四卷积组各卷积核分别命名为Layer5_1、Layer5_2、Layer5_3、……、Layer5_16、Layer5_17；Layer5_1后接Layer5_2，Layer5_2后接Layer5_3，Layer5_3后接Layer5_4，以此类推；第三卷积组输出特征图大小为16x16，第五卷积组后接第六卷积组；
第六卷积组，该组命名为Layer6_x，第六卷积组由一个卷积核和4组卷积核组成，其中第一个卷积核大小为3x3，共1024层，卷积步长为2；后接8组卷积核均为以下描述：1x1卷积核，共512层，后接3x3卷积核，共1024层；第四卷积组各卷积核分别命名为Layer6_1、Layer6_2、Layer6_3、……、Layer4_8、Layer4_9；Layer6_1后接Layer6_2，Layer6_2后接Layer6_3，Layer6_3后接Layer6_4，以此类推；第六卷积组输出特征图大小为32x32，第六卷积组后接Layer7_x输出层；
第一输出组，该组命名为Layer7_x，第一输出组由3组卷积核和一个卷积核组成，其中3组卷积核均为以下描述：1x1卷积核，共512层，后接3x3卷积核，共1024层；后接1x1卷积核，共255层；第一输出组各层分别命名为Layer7_1、Layer7_2、Layer7_3、……、Layer7_6、Layer7_7；Layer7_1后接Layer7_2，Layer7_2后接Layer7_3，Layer7_3后接Layer7_4，以此类推；第二输出组输出特征图大小为8x8，第一输出组后接第二输出组；
第二输出组，该组命名为Layer8_x，第二输出组上接Layer7_5，由一个卷积核、上采样层、拼接层、三组卷积核和1个卷积核组成，其中第一个卷积核大小为3x3，共256层；后接上采样层，扩大一倍特征尺寸；后接拼接层，与Layer5_5拼接；后接3组卷积核均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共512层；后接1x1卷积核，共255层；第二输出组各层分别命名为Layer8_1、Layer8_2、Layer8_3、……、Layer8_9、Layer8_3、Layer4_10；Layer8_1后接Layer8_2，Layer8_2后接Layer8_3，Layer8_3后接Layer8_4，以此类推；第二输出组输出特征图大小为16x16，第二输出组后接第三输出组；
第三输出组，该组命名为Layer9_x，第三输出组上接Layer8_8，由一个卷积核、上采样层、拼接层、三组卷积核和1个卷积核组成，其中第一个卷积核大小为3x3，共128层；后接上采样层，扩大一倍特征尺寸；后接拼接层，与Layer4_5拼接；后接3组卷积核均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共512层；后接1x1卷积核，共255层；第二输出组各层分别命名为Layer9_1、Layer9_2、Layer9_3、……、Layer9_3、Layer3_10；Layer9_1后接Layer9_2，Layer9_2后接Layer9_3，Layer9_3后接Layer9_4，以此类推；第三输出组输出特征图大小为16x16；
用于道路物体识别的深度卷积网络的所有卷积核输入均进行Batchnorm归一化处理，激活函数均使用leaky relu函数进行激活，无特殊说明，卷积步长均为1。
用于道路物体识别的深度卷积网络结构如下表所示：
Figure BDA0002644412150000131
Figure BDA0002644412150000141
如图1所示，一种基于深度学习的智能道路异常事件检测管理方法，所述方法通过上述道路异常事件检测与管理装置进行实施，具体包括以下步骤：
步骤S100-1，连接设备；建立现场道路摄像头组、后台服务器、网络通信模块的连接；
步骤S100-2，录入路段监控摄像头的位置信息和独立ID，确保能对摄像头状态进行实时检查和抓拍控制；
步骤S100-3，收集并手工标定现场道路图像；在抓拍图像中，对道路隔离栏内，车辆可行驶区域进行框选，需确保在框选区域内，包含道路、车道线、车辆、人、动物；
步骤S100-4，设置道路异常事件预警阈值；所述预警阈值为系统预先设置的报警参数，其值基于步骤S105中的交并比IoU值设置，范围在0到1之间；报警时的预警阈值为0～1之间的一个数值；
步骤S101，读取现场道路监控摄像头状态；
步骤S102，根据抓拍策略调用多个路段的摄像头抓拍图像，执行步骤S104；所述抓拍策略即设置抓拍的频率；
步骤S103，是否距离上一次检测间隔600秒；如果是，则可同时执行步骤S106；
步骤S104，道路物体检测；对抓拍到的多张现场道路图像进行物体检测，基于深度学习训练深度卷积算法对处图像中出现的车辆、人和动物进行识别；
步骤S105，道路状况是否异常；如果是则执行步骤S106，否则跳转步骤S101；通过抓拍策略抽取的连续5帧图像中，对于被检测框选中的被识别物体，在5张连续图像中检测框的交并比大于0.75，则视为被检测物体未移动，即触发道路状况处于异常状态；交并比IoU计算公式如下：
Figure BDA0002644412150000151
A1、A2、A3、A4、A5：对应五张图片检测区域矩形框的面积，单位为像素；
area()：为规定区域内的面积，单位为像素；
IoU：五张图片交集部分的面积与并集部分的面积之比，值域[0,1]；
步骤S106，路面分割；对当前图像进行路面背景分割，基于深度学习训练卷积神经网络对图像中的道路部分进行语义分割，保留道路部分作为分割背景，排除道路之外的未移动物体；
步骤S107，判断摄像头是否移动；若移动则跳转至步骤S101，未移动则执行步骤S108；
步骤S108，异常二次检测；结合分割背景再次进行道路异常事件检测，方法与步骤S105一致；
步骤S109，道路状况是否异常；是则执行步骤110，否则跳转至步骤S101；
步骤S110，生成预警记录，继续向下执行S111，在预警记录数据库中新增预警信息；
步骤S111，发送预警信息，通过网络接口发送预警短信，跳转S101。
进一步地，步骤S104中所述道路物体检测的方法具体包括以下步骤：
步骤S104-1，收集训练数据，利用分布在公路不同位置的35个监控摄像头对道路图片进行抓拍采样，将不同道路事件下的抓拍图片按类别分类存储，总共采集图片6000张；
步骤S104-2，数据增强，通过加入随机噪声、随机旋转、随机缩放、改变颜色、随机模糊等干扰对训练数据进行增强，共增强获得60000张图像；
步骤S104-3，数据标注；在采集到的高速公路抓拍图像中，对道路隔离栏内，车辆可行驶区域进行标注，需确保在框选区域内，包含道路、车道线、车辆、人、动物；对车辆，人，动物分别制作不同的标签；标注数据中包含标注对象在图像中的位置坐标(px,py)和分类标签label；
步骤S104-4，训练数据，使用深度卷积基础架构，对深度学习神经网络进行端到端训练，更新网络各层权重；
步骤S104-5，训练完成后，Layer1至Layer6_x进行图像特征提取，提取到的特征直接送入深度卷积输出层，进行回归预测。
进一步地，步骤S106中所述路面分割的方法具体包括以下步骤：
步骤S106-1，收集训练数据，利用分布在公路不同位置的35个监控摄像头对道路图片进行抓拍采样，将不同道路事件下的抓拍图片按类别分类存储，总共采集图片6000张；
步骤S106-2，数据增强，通过加入随机噪声、随机旋转、随机缩放、改变颜色、随机模糊等干扰对训练数据进行增强，共增强获得60000张图像；
步骤S106-3，数据标注；在采集到的高速公路抓拍图像中，对道路隔离栏内，车辆可行驶区域进行标注，需确保在框选区域内，有且仅有道路、车道线；标注数据中包含标注道路的区域和分类标签label；
步骤S106-4，训练数据，使用深度卷积基础架构，对深度学习神经网络进行端到端训练，更新网络各层权重；
步骤S106-5，训练完成后，Road_L1至Road_L4_x进行图像特征提取，提取到的特征直接送入ASPP层，进行回归预测。
以下基于图2内容详细说明检测区域、物体检测框的作用及配置方式。
1)抓拍图像。需要说明的是，所述检测区域、物体检测框均是在抓拍图像的基础上设置的。系统运行过程中对道路状况的有效检测及预警均基于以上配置信息；在检测过程中，在保证拍摄到的图像完整包含当前道路部分的情况下，允许改变摄像头的位置、视角、方位、缩放等相关参数，此改变不会对检测造成错误。
2)道路内和道路外。需要说明的是，本方法中重要一步为：在采集的图像中识别道路内作为检测区域，如果摄像头监控区域没有同时包含道路则本方法无法使用。
3)物体检测框。需要说明的是，所述物体检测框只对检测区域内的物体进行检测，被检测到的物体将会被物体检测框框中。
4)检测区域。需要说明的是，本方法依托于采集图像包含的道路部分，因此，所述检测区域的设置必须道路区域，且所述区域必须人眼可见。
以下基于图3说明通过物体检测框计算道路异常事件的方法及相关参数。
1)area(A1∩A2∩A3∩A4∩A5)，为五个物体检测框面积的交集，单位为像素。
2)area(A1∪A2∪A3∪A4∪A5)，为五个物体检测框面积的并集，单位为像素。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (6)

1.一种智能道路异常事件检测管理装置，其特征在于，包括现场道路摄像头组(401)、后台服务器(402)、应用程序接口(403)、道路异常事件管理平台(404)；所述现场道路摄像头组(401)通过数据总线和地址总线与后台服务器(402)连接，道路异常事件管理平台(404)通过互联网TCP/IP协议调用预编好的应用程序接口(403)发送和接收后台服务器(402)数据；
所述现场道路摄像头组(401)，用于实时采集道路现场图片；
所述后台服务器(402)，预置基于深度学习训练两种CNN卷积神经网络，针对采集的现场道路图片进行道路异常事件检测和数据存储；
所述应用程序接口(403)，用于道路异常事件管理平台(404)与后台服务器(402)的网络连接通道；
所述道路异常事件管理平台(404)，用于查看和处理道路异常事件预警信息。
2.根据权利要求1所述的智能道路异常事件检测管理装置，其特征在于，所述基于深度学习训练两种CNN卷积神经网络包括：
用于分割图片路面部分的卷积网络：
第一卷积层，名称Road_L1，卷积核大小为7x7，共64层，后接最大池化层，最大池化层的池化核大小为3x3，第一卷积层的输出特征图大小为112x112；第一卷积层后接第二卷积组；
第二卷积组，该组命名为Road_L2_x，第二卷积组由三组卷积核组成，其中每组结构均为以下描述：1x1卷积核，共64层，后接3x3卷积核，共64层，后接1x1卷积核，共256层；第二卷积组各卷积核分别命名为Road_L2_1、Road_L2_2、Road_L2_3、……、Road_L2_8、Road_L2_9；Road_L2_1后接Road_L2_2，Road_L2_2后接Road_L2_3，以此类推；Road_L2_9后接最大池化层(池化核大小为2x2)；第二卷积组输出特征图大小为56x56，第二卷积组后接第三卷积组；
第三卷积组，该组命名为Road_L3_x，第三卷积组由四组卷积核组成，其中每组结构均为以下描述：1x1卷积核，共128层，后接3x3卷积核，共128层，后接1x1卷积核，共512层；第二卷积组各卷积核分别命名为Road_L3_1、Road_L3_2、Road_L3_3、……、Road_L3_11、Road_L3_12；Road_L3_1后接Road_L3_2，Road_L3_2后接Road_L3_3，Road_L3_3后接Road_L3_4，以此类推；Road_L3_12后接最大池化层(池化核大小为2x2)；第三卷积组输出特征图大小为28x28，第三卷积组后接第四卷积组；
第四卷积组，该组命名为Road_L4_x，第四卷积组由二十三组卷积核组成，其中每组结构均为以下描述：1x1卷积核，采样率为2，共256层，后接3x3卷积核，采样率为2，共256层，后接1x1卷积核，采样率为2，共1024层；二十三组卷积核分别命名为Road_L4_1、Road_L4_2、Road_L4_3、……、Road_L4_69；Road_L4_1后接Road_L4_2，Road_L4_2后接Road_L4_3，Road_L4_3后接Road_L4_4，以此类推；Road_L4_69后接最大池化层(池化核大小为2x2)，第四卷积组输出特征图大小为28x28，第四卷积组后接空洞卷积空间金字塔池化层；
空洞卷积空间金字塔池化层，该组命名为ASPP_x，ASPP由四组卷积核和一个全局平均池化层组成，其中各结构均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共256层，采样率为6，后接3x3卷积核，共256层，采样率为12，后接3x3卷积核，共256层，采样率为18，后接全局平均池化层；四组卷积核分别命名为ASPP_1、ASPP_2、ASPP_3；ASPP_1后接ASPP_2，ASPP_2后接ASPP_3；全局平均池化层池化核大小为2x2，第五卷积组输出特征图大小为28x28；
用于分割图片路面部分的卷积网络的所有卷积核输入均进行Batchnorm归一化处理，激活函数均使用Relu函数进行激活；
用于道路物体识别的深度卷积网络：
第一卷积层，名称Layer1，卷积核大小为3x3，共32层，第一卷积层的输出特征图大小为256x256；第一卷积层后接第二卷积组；
第二卷积组，该组命名为Layer2_x，第二卷积组由三个卷积核组成，其中每个结构为以下描述：3x3卷积核，共64层，卷积步长为2，后接1x1卷积核，共32层，后接3x3卷积核，共64层；三个卷积核分别命名为Layer2_1、Layer2_2、Layer2_3；Layer2_1后接Layer2_2，Layer2_2后接Layer2_3；第二卷积组输出特征图大小为128x128，第二卷积组后接第三卷积组；
第三卷积组，该组命名为Layer3_x，第三卷积组由一个卷积核和2组卷积核组成，其中第一个卷积核大小为3x3，共128层，卷积步长为2；后接2组卷积核均为以下描述：1x1卷积核，共64层，后接3x3卷积核，共128层；第三卷积组各卷积核分别命名为Layer3_1、Layer3_2、Layer3_3、Layer3_4、Layer3_5；Layer3_1后接Layer3_2，Layer3_2后接Layer3_3，Layer3_3后接Layer3_4，Layer3_4后接Layer3_5；第三卷积组输出特征图大小为64x64，第三卷积组后接第四卷积组；
第四卷积组，该组命名为Layer4_x，第四卷积组由一个卷积核和8组卷积核组成，其中第一个卷积核大小为3x3，共256层，卷积步长为2；后接8组卷积核均为以下描述：1x1卷积核，共128层，后接3x3卷积核，共256层；第四卷积组各卷积核分别命名为Layer4_1、Layer4_2、Layer4_3、……、Layer4_16、Layer4_17；Layer4_1后接Layer4_2，Layer4_2后接Layer4_3，Layer4_3后接Layer4_4，以此类推；第三卷积组输出特征图大小为32x32，第四卷积组后接第五卷积组；
第五卷积组，该组命名为Layer5_x，第五卷积组由一个卷积核和8组卷积核组成，其中第一个卷积核大小为3x3，共512层，卷积步长为2；后接8组卷积核均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共512层；第四卷积组各卷积核分别命名为Layer5_1、Layer5_2、Layer5_3、……、Layer5_16、Layer5_17；Layer5_1后接Layer5_2，Layer5_2后接Layer5_3，Layer5_3后接Layer5_4，以此类推；第三卷积组输出特征图大小为16x16，第五卷积组后接第六卷积组；
第六卷积组，该组命名为Layer6_x，第六卷积组由一个卷积核和4组卷积核组成，其中第一个卷积核大小为3x3，共1024层，卷积步长为2；后接8组卷积核均为以下描述：1x1卷积核，共512层，后接3x3卷积核，共1024层；第四卷积组各卷积核分别命名为Layer6_1、Layer6_2、Layer6_3、……、Layer4_8、Layer4_9；Layer6_1后接Layer6_2，Layer6_2后接Layer6_3，Layer6_3后接Layer6_4，以此类推；第六卷积组输出特征图大小为32x32，第六卷积组后接Layer7_x输出层；
第一输出组，该组命名为Layer7_x，第一输出组由3组卷积核和一个卷积核组成，其中3组卷积核均为以下描述：1x1卷积核，共512层，后接3x3卷积核，共1024层；后接1x1卷积核，共255层；第一输出组各层分别命名为Layer7_1、Layer7_2、Layer7_3、……、Layer7_6、Layer7_7；Layer7_1后接Layer7_2，Layer7_2后接Layer7_3，Layer7_3后接Layer7_4，以此类推；第二输出组输出特征图大小为8x8，第一输出组后接第二输出组；
第二输出组，该组命名为Layer8_x，第二输出组上接Layer7_5，由一个卷积核、上采样层、拼接层、三组卷积核和1个卷积核组成，其中第一个卷积核大小为3x3，共256层；后接上采样层，扩大一倍特征尺寸；后接拼接层，与Layer5_5拼接；后接3组卷积核均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共512层；后接1x1卷积核，共255层；第二输出组各层分别命名为Layer8_1、Layer8_2、Layer8_3、……、Layer8_9、Layer8_3、Layer4_10；Layer8_1后接Layer8_2，Layer8_2后接Layer8_3，Layer8_3后接Layer8_4，以此类推；第二输出组输出特征图大小为16x16，第二输出组后接第三输出组；
第三输出组，该组命名为Layer9_x，第三输出组上接Layer8_8，由一个卷积核、上采样层、拼接层、三组卷积核和1个卷积核组成，其中第一个卷积核大小为3x3，共128层；后接上采样层，扩大一倍特征尺寸；后接拼接层，与Layer4_5拼接；后接3组卷积核均为以下描述：1x1卷积核，共256层，后接3x3卷积核，共512层；后接1x1卷积核，共255层；第二输出组各层分别命名为Layer9_1、Layer9_2、Layer9_3、……、Layer9_3、Layer3_10；Layer9_1后接Layer9_2，Layer9_2后接Layer9_3，Layer9_3后接Layer9_4，以此类推；第三输出组输出特征图大小为16x16；
用于道路物体识别的深度卷积网络的所有卷积核输入均进行Batchnorm归一化处理，激活函数均使用leaky relu函数进行激活，无特殊说明，卷积步长均为1。
3.根据权利要求1或2所述的智能道路异常事件检测管理装置，其特征在于，所述现场道路摄像头组(401)成像像素400万像素以上，分辨率1920×1080以上；所述后台服务器(402)含有独立图像处理单元一张以上，硬盘空间500G以上。
4.一种基于深度学习的智能道路异常事件检测管理方法，其特征在于，所述方法通过权利要求1-3任意一项所述的道路异常事件检测与管理装置进行实施，具体包括以下步骤：
步骤S100-1，连接设备；建立现场道路摄像头组、后台服务器、网络通信模块的连接；
步骤S100-2，录入路段监控摄像头的位置信息和独立ID，确保能对摄像头状态进行实时检查和抓拍控制；
步骤S100-3，收集并手工标定现场道路图像；在抓拍图像中，对道路隔离栏内，车辆可行驶区域进行框选，需确保在框选区域内，包含道路、车道线、车辆、人、动物；
步骤S100-4，设置道路异常事件预警阈值；所述预警阈值为系统预先设置的报警参数，其值基于步骤S105中的交并比IoU值设置，范围在0到1之间；报警时的预警阈值为0～1之间的一个数值；
步骤S101，读取现场道路监控摄像头状态；
步骤S102，根据抓拍策略调用多个路段的摄像头抓拍图像，执行步骤S104；所述抓拍策略即设置抓拍的频率；
步骤S103，是否距离上一次检测间隔600秒；如果是，则可同时执行步骤S106；
步骤S104，道路物体检测；对抓拍到的多张现场道路图像进行物体检测，基于深度学习训练深度卷积算法对处图像中出现的车辆、人和动物进行识别；
步骤S105，道路状况是否异常；如果是则执行步骤S106，否则跳转步骤S101；通过抓拍策略抽取的连续5帧图像中，对于被检测框选中的被识别物体，在5张连续图像中检测框的交并比大于0.75，则视为被检测物体未移动，即触发道路状况处于异常状态；交并比IoU计算公式如下：
Figure FDA0002644412140000051
A1、A2、A3、A4、A5：对应五张图片检测区域矩形框的面积，单位为像素；
area()：为规定区域内的面积，单位为像素；
IoU：五张图片交集部分的面积与并集部分的面积之比，值域[0,1]；
步骤S106，路面分割；对当前图像进行路面背景分割，基于深度学习训练卷积神经网络对图像中的道路部分进行语义分割，保留道路部分作为分割背景，排除道路之外的未移动物体；
步骤S107，判断摄像头是否移动；若移动则跳转至步骤S101，未移动则执行步骤S108；
步骤S108，异常二次检测；结合分割背景再次进行道路异常事件检测，方法与步骤S105一致；
步骤S109，道路状况是否异常；是则执行步骤110，否则跳转至步骤S101；
步骤S110，生成预警记录，继续向下执行S111，在预警记录数据库中新增预警信息；
步骤S111，发送预警信息，通过网络接口发送预警短信，跳转S101。
5.根据权利要求4所述的一种基于深度学习的智能道路异常事件检测管理方法，其特征在于，步骤S104中所述道路物体检测的方法具体包括以下步骤：
步骤S104-1，收集训练数据，利用分布在公路不同位置的35个监控摄像头对道路图片进行抓拍采样，将不同道路事件下的抓拍图片按类别分类存储，总共采集图片6000张；
步骤S104-2，数据增强，通过加入随机噪声、随机旋转、随机缩放、改变颜色、随机模糊等干扰对训练数据进行增强，共增强获得60000张图像；
步骤S104-3，数据标注；在采集到的高速公路抓拍图像中，对道路隔离栏内，车辆可行驶区域进行标注，需确保在框选区域内，包含道路、车道线、车辆、人、动物；对车辆，人，动物分别制作不同的标签；标注数据中包含标注对象在图像中的位置坐标(px,py)和分类标签label；
步骤S104-4，训练数据，使用深度卷积基础架构，对深度学习神经网络进行端到端训练，更新网络各层权重；
步骤S104-5，训练完成后，Layer1至Layer6_x进行图像特征提取，提取到的特征直接送入深度卷积输出层，进行回归预测。
6.根据权利要求4所述的一种基于深度学习的智能道路异常事件检测管理方法，其特征在于，步骤S106中所述路面分割的方法具体包括以下步骤：
步骤S106-1，收集训练数据，利用分布在公路不同位置的35个监控摄像头对道路图片进行抓拍采样，将不同道路事件下的抓拍图片按类别分类存储，总共采集图片6000张；
步骤S106-2，数据增强，通过加入随机噪声、随机旋转、随机缩放、改变颜色、随机模糊等干扰对训练数据进行增强，共增强获得60000张图像；
步骤S106-3，数据标注；在采集到的高速公路抓拍图像中，对道路隔离栏内，车辆可行驶区域进行标注，需确保在框选区域内，有且仅有道路、车道线；标注数据中包含标注道路的区域和分类标签label；
步骤S106-4，训练数据，使用深度卷积基础架构，对深度学习神经网络进行端到端训练，更新网络各层权重；
步骤S106-5，训练完成后，Road_L1至Road_L4_x进行图像特征提取，提取到的特征直接送入ASPP层，进行回归预测。
CN202010850038.3A 2020-08-21 2020-08-21 一种道路异常事件检测管理装置及其方法 Active CN112084892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010850038.3A CN112084892B (zh) 2020-08-21 2020-08-21 一种道路异常事件检测管理装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010850038.3A CN112084892B (zh) 2020-08-21 2020-08-21 一种道路异常事件检测管理装置及其方法

Publications (2)

Publication Number Publication Date
CN112084892A true CN112084892A (zh) 2020-12-15
CN112084892B CN112084892B (zh) 2021-11-26

Family

ID=73729112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010850038.3A Active CN112084892B (zh) 2020-08-21 2020-08-21 一种道路异常事件检测管理装置及其方法

Country Status (1)

Country Link
CN (1) CN112084892B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597928A (zh) * 2020-12-28 2021-04-02 深圳市捷顺科技实业股份有限公司 一种事件检测方法及相关装置
CN112804489A (zh) * 2020-12-31 2021-05-14 重庆文理学院 基于互联网+的智慧工地管理系统及方法
CN113808128A (zh) * 2021-10-14 2021-12-17 河北工业大学 基于相对坐标定位算法的智能压实全过程可视化控制方法
CN112597928B (zh) * 2020-12-28 2024-05-14 深圳市捷顺科技实业股份有限公司 一种事件检测方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160307071A1 (en) * 2015-04-20 2016-10-20 Xerox Corporation Fisher vectors meet neural networks: a hybrid visual classification architecture
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
CN110658209A (zh) * 2019-09-24 2020-01-07 江西交通职业技术学院 一种随车道路缺陷智能快速检测方法
CN111145378A (zh) * 2019-12-30 2020-05-12 中设设计集团股份有限公司 一种公路交通事件自动化视频巡查系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160307071A1 (en) * 2015-04-20 2016-10-20 Xerox Corporation Fisher vectors meet neural networks: a hybrid visual classification architecture
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
CN110658209A (zh) * 2019-09-24 2020-01-07 江西交通职业技术学院 一种随车道路缺陷智能快速检测方法
CN111145378A (zh) * 2019-12-30 2020-05-12 中设设计集团股份有限公司 一种公路交通事件自动化视频巡查系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597928A (zh) * 2020-12-28 2021-04-02 深圳市捷顺科技实业股份有限公司 一种事件检测方法及相关装置
CN112597928B (zh) * 2020-12-28 2024-05-14 深圳市捷顺科技实业股份有限公司 一种事件检测方法及相关装置
CN112804489A (zh) * 2020-12-31 2021-05-14 重庆文理学院 基于互联网+的智慧工地管理系统及方法
CN113808128A (zh) * 2021-10-14 2021-12-17 河北工业大学 基于相对坐标定位算法的智能压实全过程可视化控制方法
CN113808128B (zh) * 2021-10-14 2023-07-28 河北工业大学 基于相对坐标定位算法的智能压实全过程可视化控制方法

Also Published As

Publication number Publication date
CN112084892B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN109059954B (zh) 支持高精度地图车道线实时融合更新的方法和系统
US20030053659A1 (en) Moving object assessment system and method
US20030123703A1 (en) Method for monitoring a moving object and system regarding same
US20030053658A1 (en) Surveillance system and methods regarding same
CN106373426A (zh) 基于计算机视觉的停车位及违规占道停车监控方法
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
WO2013186662A1 (en) Multi-cue object detection and analysis
Chang et al. Video analytics in smart transportation for the AIC'18 challenge
CN112084892B (zh) 一种道路异常事件检测管理装置及其方法
CN110659546B (zh) 一种违法摊位检测方法及装置
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN111783700B (zh) 一种路面异物自动识别预警方法和系统
CN112633722A (zh) 车载道路安全风险评估系统及方法
CN111489380B (zh) 一种目标物体轨迹分析方法
CN113674314A (zh) 抛洒事件检测方法、装置、电子装置和存储介质
CN112733598A (zh) 车辆违法判别方法、装置、计算机设备和存储介质
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
US11176379B2 (en) Method of acquiring detection zone in image and method of determining zone usage
WO2020210960A1 (zh) 交通道路的数字化全景重建的方法和系统
Tang Development of a multiple-camera tracking system for accurate traffic performance measurements at intersections
CN113076821A (zh) 一种事件的检测方法及装置
Park et al. Potholeeye+: Deep-learning based pavement distress detection system toward smart maintenance
CN116912517B (zh) 相机视野边界的检测方法及装置
CN116681955B (zh) 用于交通护栏异常识别的方法及计算设备
CN109145715B (zh) 轨道交通的空基行人侵界检测方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210421

Address after: 650091 no.3201, 32F, building 18, Derun Chuncheng garden, east of Xiaokang Avenue, Wuhua District, Kunming City, Yunnan Province

Applicant after: YUNNAN LANYI NETWORK TECHNOLOGY Co.,Ltd.

Applicant after: YUNNAN University

Address before: No. 904, unit 3, building 20, impression first day cover, Chuanjin Road, Panlong District, Kunming City, Yunnan Province

Applicant before: Liao Bin

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 650000 No. 2 Cuihu Road, Wuhua District, Kunming City, Yunnan Province

Applicant after: YUNNAN University

Applicant after: YUNNAN LANYI NETWORK TECHNOLOGY CO.,LTD.

Address before: 650091 no.3201, 32F, building 18, Derun Chuncheng garden, east of Xiaokang Avenue, Wuhua District, Kunming City, Yunnan Province

Applicant before: YUNNAN LANYI NETWORK TECHNOLOGY CO.,LTD.

Applicant before: YUNNAN University

GR01 Patent grant
GR01 Patent grant