CN113326740B - 一种改进的双流交通事故检测方法 - Google Patents

一种改进的双流交通事故检测方法 Download PDF

Info

Publication number
CN113326740B
CN113326740B CN202110498728.1A CN202110498728A CN113326740B CN 113326740 B CN113326740 B CN 113326740B CN 202110498728 A CN202110498728 A CN 202110498728A CN 113326740 B CN113326740 B CN 113326740B
Authority
CN
China
Prior art keywords
accident
video
extraction network
accident detection
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110498728.1A
Other languages
English (en)
Other versions
CN113326740A (zh
Inventor
王晨
周威
夏井新
陆振波
许跃如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110498728.1A priority Critical patent/CN113326740B/zh
Publication of CN113326740A publication Critical patent/CN113326740A/zh
Application granted granted Critical
Publication of CN113326740B publication Critical patent/CN113326740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种改进的双流交通事故检测方法。收集事故和非事故视频数据集，以及事故相关交通拥堵图片数据集和事故无关交通拥堵图片数据集，并将视频数据集划分为训练集和测试集；提取训练集和测试集中每个视频的关键帧和光流数据；搭建双分支的事故检测模型，包含以关键帧为输入的外观特征提取网络和以光流数据为输入的运动特征提取网络；构建包含三元组损失和交叉熵损失的联合损失函数以训练事故检测模型；利用测试集中的视频数据对训练完毕后的事故检测模型进行有效性评估。本发明降低了模型的误报率和漏检率，提高了模型事故检测精度。

Description

一种改进的双流交通事故检测方法
技术领域
本发明属于交通事故检测领域，特别涉及了一种双流交通事故检测方法。
背景技术
交通事故是目前交通领域一大颇具挑战的难点问题。交通事故可能导致财产损失和人员伤亡，给交通管理部门带来了极大的挑战。为了有效提高事故应急处置的响应速度，减少由于救援不及时导致的人员伤亡和交通拥堵，研究交通事故的快速检测技术具有重要的现实意义。
传统的事故检测技术主要依赖于交通流数据建模或人工视频检测。交通流数据建模依赖于检测器的数据质量，并且难以区分交通事故和交通拥堵，因而检测精度较低。人工视频检测可以保证检测精度，但消耗大量人力，成本过高。近年来，随着智慧交通系统的建设与发展，视频的覆盖率显著提升，基于视频的交通事故自动检测技术逐步得到了研究者的重视，其主要原理是通过识别监控视频中的重要特征来实现对交通事故的自动检测。目前研究表明，该技术能够取得较高的检测精度，有望显著降低人力成本。因而，基于视频的事故检测技术具有重要的研究价值。
基于视频的事故检测技术主要通过识别监控视频中的事故特征实现。事故特征主要包括外观特征和运动特征。事故外观特征来源于事故发生后的车辆形变、机动车侧翻，非机动车或者行人摔倒等区别于正常行驶状态下的特征。事故运动特征需要在一段时间内连续观测获得，主要包括轨迹的交叉滞留，周围行人的聚集等。
现有基于视频的事故检测技术可以分为两大类：(1)基于运动特征的事故检测技术；(2)基于特征融合的事故检测技术。基于运动特征的检测技术主要从视频中提取车辆运动信息加以建模，同时建立规则式或机器学习式的事故判别方法。该类技术丢失了重要的外观信息，因此检测精度有限。基于特征融合的检测技术引入了事故外观信息，通常采用神经网络同步提取事故外观特征和运动特征进行事故检测，因此具有较高的检测精度。但是现有的特征融合检测技术难以区分事故相关的交通拥堵和事故无关的交通拥堵，因此模型的误报率和漏检率均较高，事故检测精度受限。
发明内容
为了解决上述背景技术提到的技术问题，本发明提出了一种改进的双流交通事故检测方法，降低模型的误报率和漏检率，提高模型事故检测精度。
为了实现上述技术目的，本发明的技术方案为：
一种改进的双流交通事故检测方法，包括以下步骤：
(1)收集事故和非事故视频数据集，以及事故相关交通拥堵图片数据集和事故无关交通拥堵图片数据集，并将视频数据集划分为训练集和测试集；
(2)提取训练集和测试集中每个视频的关键帧和光流数据；
(3)搭建双分支的事故检测模型，包含以关键帧为输入的外观特征提取网络和以光流数据为输入的运动特征提取网络；
(4)构建包含三元组损失和交叉熵损失的联合损失函数以训练事故检测模型；
(5)利用测试集中的视频数据对训练完毕后的事故检测模型进行有效性评估。
进一步地，在步骤(2)中，提取关键帧的方法如下：
训练过程中，事故视频中随机选择后半段的某一帧作为事故的关键帧，非事故视频中随机选择某一帧作为非事故的关键帧；测试过程中，将每隔32帧被采样的视频画面作为关键帧。
进一步地，在步骤(2)中，提取光流数据的方法如下：
利用光流提取网络FlowNet2提取视频的光流；训练过程中，每次从提取的光流中等间隔采样32个光流数据作为运动特征提取网络的输入。
进一步地，步骤(3)的具体过程如下：
(301)选择轻量化的卷积神经网络MobileNetV3作为外观特征提取网络，将视觉注意力机制模块嵌入到MobileNetV3的第三个MaxPooling层之前；
(302)拓宽卷积神经网络MobileNetV3的第一层卷积层的输入维度至64，并将其作为运动特征提取网络；
(303)输入关键帧至外观特征提取网络中，提取视频的事故外观特征；
(304)输入光流数据至运动特征提取网络中，提取视频的事故运动特征；
(305)利用全连接层融合事故外观特征与事故运动特征。
进一步地，在步骤(4)中，采用交叉损失函数对事故与否进行分类：
上式中，lossCE表示交叉损失函数；y为模型的输出值；为视频的真实标签，包括事故和非事故。
进一步地，在步骤(4)中，采用三元组损失函数训练外观特征提取网络：
上式中，losstriplet表示三元组损失函数；y1为外观特征提取网络的输出；函数d(x1,x2)定义为向量集合x1与x2之间的平均欧式距离，M为向量集合x1的向量个数，N为向量集合x2的向量个数，x1 (i)为向量集合x1中的第i个向量，x2 (j)为向量集合x2的第j个向量；xkey为外观特征，xARTC为事故相关交通拥堵图片特征，xAUTC为事故无关交通拥堵图片特征；λ为三元组损失中的超参数，用来调节事故相关交通拥堵图片与事故无关交通拥堵图片在浅层空间的区分程度。
采用上述技术方案带来的有益效果：
1、与现有技术相比，本发明提出的双分支事故检测网络检测精度更高，检测速度更快；
2、本发明采用了三元组损失函数来引导事故检测模型区分事故相关交通拥堵和事故无关交通拥堵，提升了双分支检测模型的精度，降低了事故的漏检率和非事故的误报率；
3、本发明采用了视觉注意力机制，使得模型能够在复杂的交通场景下迅速定位发生区域，进一步提升检测精度。
附图说明
图1是本发明方法流程图；
图2是本发明中双分支事故检测模型图；
图3是本发明中三元组网络图；
图4是仿真实例中ROC曲线图；
图5是仿真实例中外观特征向量在PCA空间分布图；
图6是仿真实例中热力图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本发明设计了一种改进的双流交通事故检测方法，如图1所示，步骤如下：
步骤1：收集事故和非事故视频数据集，以及事故相关交通拥堵(ARTC)图片数据集和事故无关交通拥堵(AUTC)图片数据集，并将视频数据集划分为训练集和测试集；
步骤2：提取训练集和测试集中每个视频的关键帧和光流数据；
步骤3：搭建双分支的事故检测模型，包含以关键帧为输入的外观特征提取网络和以光流数据为输入的运动特征提取网络；
步骤4：构建包含三元组损失和交叉熵损失的联合损失函数以训练事故检测模型；
步骤5：利用测试集中的视频数据对训练完毕后的事故检测模型进行有效性评估。
优选地，在上述步骤2中，提取关键帧的方法如下：
训练过程中，事故视频中随机选择后半段的某一帧作为事故的关键帧，非事故视频中随机选择某一帧作为非事故的关键帧；测试过程中，将每隔32帧被采样的视频画面作为关键帧。
优选地，在上述步骤2中，提取光流数据的方法如下：
利用光流提取网络FlowNet2提取视频的光流；训练过程中，每次从提取的光流中等间隔采样32个光流数据作为运动特征提取网络的输入。
优选地，如图2所示，上述步骤3的具体过程如下：
301、选择轻量化的卷积神经网络MobileNetV3作为外观特征提取网络，将视觉注意力机制模块嵌入到MobileNetV3的第三个MaxPooling层之前；
302、拓宽卷积神经网络MobileNetV3的第一层卷积层的输入维度至64，并将其作为运动特征提取网络；
303、输入关键帧至外观特征提取网络中，提取视频的事故外观特征；
304、输入光流数据至运动特征提取网络中，提取视频的事故运动特征；
305、利用全连接层融合事故外观特征与事故运动特征。
优选地，在上述步骤4中，采用交叉损失函数对事故与否进行分类：
上式中，lossCE表示交叉损失函数；y为模型的输出值；为视频的真实标签，包括事故和非事故。
优选地，在上述步骤4中，如图3所示，采用三元组损失函数训练外观特征提取网络：
上式中，losstriplet表示三元组损失函数；y1为外观特征提取网络的输出；函数d(x1,x2)定义为向量集合x1与x2之间的平均欧式距离，M为向量集合x1的向量个数，N为向量集合x2的向量个数，x1 (i)为向量集合x1中的第i个向量，x2 (j)为向量集合x2的第j个向量；xkey为外观特征，xARTC为事故相关交通拥堵图片特征，xAUTC为事故无关交通拥堵图片特征；λ为三元组损失中的超参数，用来调节事故相关交通拥堵图片与事故无关交通拥堵图片在浅层空间的区分程度。
仿真实例
如图4所示，基础模型与三个扩展模型的ROC曲线对比。基础模型中外观特征提取网络采用MobileNetV3，并未引入三元组损失和视觉注意力机制。扩展模型1-3分别为“基础模型+三元组损失”，“基础模型+视觉注意力机制”以及“基础模型+三元组损失+视觉注意力机制”。从ROC曲线对比图可以看出，基础模型和三个扩展模型均保持了较高的AUC值。其中，基础模型的AUC值最低(AUC＝0.93)，扩展模型3的AUC值最高(AUC＝0.97)。扩展模型1的AUC值略高于基础模型(AUC＝0.94)，但与扩展模型2仍有差距(AUC＝0.96)，这体现了三元组损失的引入较视觉注意力模块对模型事故精度提升作用更大。从基础模型到扩展模型1，以及扩展模型2到扩展模型3的AUC值提升可以看出，视觉注意模块的引入能够进一步提升现有模型的检测精度。
如图5所示，基础模型和扩展模型3的外观特征向量在PCA空间分布。从图5可以看出，未引入三元损失和视觉注意力之前，基础模型存在较多的误报(菱形)和漏检案例(方形)，且误报案例与漏检案例零散地分布在分类决策面周围。引入三元组损失和视觉注意力之后，误报案例与漏检案例数量明显减少，且分布更加集中，并更靠近分类决策区域。由此可见，三元组损失和视觉注意力的引入促使模型往区分AUTC和ARTC方向学习，有效降低了模型误报率和漏检率。
视觉任务通常可使用Grad-CAM算法可视化模型在分类过程中的注意力分布，并将这种注意力分布以热力图的形式展现。本发明对上述基础模型和扩展模型3中的模型注意力分布进行可视化，分析模型在复杂的拥堵环境下视觉感知的集中区域，进而验证提出模型的有效性。如图6所示，为模型在部分场景下的热力图可视化效果，图上的亮色区域代表模型的注意力区域。从注意力可视化的效果可以看出，基础对于这些典型的ARTC场景下区分效果并不好，主要体现在其注意力分布无法很好地定位事故发生区域。相较于基础模型，引入三元组损失和视觉注意力的扩展模型3能够准确地定位事故发生的大致区域，并根据该注意力区域增加事故判别的置信度，进而有效较低了模型的漏检率。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种改进的双流交通事故检测方法，其特征在于，包括以下步骤：
(1)收集事故和非事故视频数据集，以及事故相关交通拥堵图片数据集和事故无关交通拥堵图片数据集，并将视频数据集划分为训练集和测试集；
(2)提取训练集和测试集中每个视频的关键帧和光流数据；
(3)搭建双分支的事故检测模型，包含以关键帧为输入的外观特征提取网络和以光流数据为输入的运动特征提取网络；
(4)构建包含三元组损失和交叉熵损失的联合损失函数以训练事故检测模型；
(5)利用测试集中的视频数据对训练完毕后的事故检测模型进行有效性评估；
步骤(3)的具体过程如下：
(301)选择轻量化的卷积神经网络MobileNetV3作为外观特征提取网络，将视觉注意力
机制模块嵌入到MobileNetV3的第三个MaxPooling层之前；
(302)拓宽卷积神经网络MobileNetV3的第一层卷积层的输入维度至64，并将其作为运动特征提取网络；
(303)输入关键帧至外观特征提取网络中，提取视频的事故外观特征；
(304)输入光流数据至运动特征提取网络中，提取视频的事故运动特征；
(305)利用全连接层融合事故外观特征与事故运动特征。
2.根据权利要求1所述改进的双流交通事故检测方法，其特征在于，在步骤(2)中，提取关键帧的方法如下：
训练过程中，事故视频中随机选择后半段的某一帧作为事故的关键帧，非事故视频中随机选择某一帧作为非事故的关键帧；测试过程中，将每隔32帧被采样的视频画面作为关键帧。
3.根据权利要求1所述改进的双流交通事故检测方法，其特征在于，在步骤(2)中，提取光流数据的方法如下：
利用光流提取网络FlowNet2提取视频的光流；训练过程中，每次从提取的光流中等间隔采样32个光流数据作为运动特征提取网络的输入。
4.根据权利要求1所述改进的双流交通事故检测方法，其特征在于，在步骤(4)中，采用交叉损失函数对事故与否进行分类：
上式中，lossCE表示交叉损失函数；y为模型的输出值；为视频的真实标签，包括事故和非事故。
5.根据权利要求1所述改进的双流交通事故检测方法，其特征在于，在步骤(4)中，采用三元组损失函数训练外观特征提取网络：
上式中，losstriplet表示三元组损失函数；y1为外观特征提取网络的输出；函数d(x1,x2)定义为向量集合x1与x2之间的平均欧式距离，M为向量集合x1的向量个数，N为向量集合x2的向量个数，x1 (i)为向量集合x1中的第i个向量，x2 (j)为向量集合x2的第j个向量；xkey为外观特征，xARTC为事故相关交通拥堵图片特征，xAUTC为事故无关交通拥堵图片特征；λ为三元组损失中的超参数，用来调节事故相关交通拥堵图片与事故无关交通拥堵图片在浅层空间的区分程度。
CN202110498728.1A 2021-05-08 2021-05-08 一种改进的双流交通事故检测方法 Active CN113326740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110498728.1A CN113326740B (zh) 2021-05-08 2021-05-08 一种改进的双流交通事故检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110498728.1A CN113326740B (zh) 2021-05-08 2021-05-08 一种改进的双流交通事故检测方法

Publications (2)

Publication Number Publication Date
CN113326740A CN113326740A (zh) 2021-08-31
CN113326740B true CN113326740B (zh) 2024-06-21

Family

ID=77414368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110498728.1A Active CN113326740B (zh) 2021-05-08 2021-05-08 一种改进的双流交通事故检测方法

Country Status (1)

Country Link
CN (1) CN113326740B (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084928B (zh) * 2020-09-04 2024-06-21 东南大学 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Intelligent Intersection: Two-stream Convolutional Networks for Real-time Near-accident Detection in Traffic Video;XIAOHUI HUANG等;《https://dl.acm.org/doi/pdf/10.1145/3373647》;第1-28页 *

Also Published As

Publication number Publication date
CN113326740A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN109670446B (zh) 基于线性动态系统和深度网络的异常行为检测方法
CN105744232B (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN106980829B (zh) 基于视频分析的打架斗殴异常行为自动检测方法
CN110956094A (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN111967393A (zh) 一种基于改进YOLOv4的安全帽佩戴检测方法
CN111626199B (zh) 面向大型多人车厢场景的异常行为分析方法
CN112633149B (zh) 一种域自适应雾天图像目标检测方法和装置
CN112287827A (zh) 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统
CN111860160A (zh) 一种室内检测口罩佩戴的方法
CN112084928B (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN105513349A (zh) 基于双视角学习的山区高速公路车辆事件检测方法
CN112364778A (zh) 一种基于深度学习的电厂安全性行为信息自动检测方法
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN109086803A (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及系统
CN112489072A (zh) 一种车载视频感知信息传输负载优化方法及装置
CN114332739A (zh) 一种基于运动目标检测和深度学习技术的烟雾检测方法
CN112508893B (zh) 基于机器视觉的铁路双轨间微小异物检测方法及系统
CN113326740B (zh) 一种改进的双流交通事故检测方法
CN115171006B (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
CN116188442A (zh) 一种适用于任意场景下的高精度森林烟火检测方法
CN116152496A (zh) 一种基于帧差法和语义分割结合的道路抛洒物识别方法
CN116740624A (zh) 基于改进yolo的融合注意力机制密集人群检测算法
CN115965950A (zh) 一种基于多特征融合状态识别网络的驾驶员疲劳检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant