CN110458013B - 一种基于实例级注意机制的交通异常事件检测方法 - Google Patents

一种基于实例级注意机制的交通异常事件检测方法 Download PDF

Info

Publication number
CN110458013B
CN110458013B CN201910603012.6A CN201910603012A CN110458013B CN 110458013 B CN110458013 B CN 110458013B CN 201910603012 A CN201910603012 A CN 201910603012A CN 110458013 B CN110458013 B CN 110458013B
Authority
CN
China
Prior art keywords
video
module
detection
memory module
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910603012.6A
Other languages
English (en)
Other versions
CN110458013A (zh
Inventor
罗大鹏
何松泽
魏龙生
牟泉政
杜国庆
林运楷
王聪皓
毛敖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910603012.6A priority Critical patent/CN110458013B/zh
Publication of CN110458013A publication Critical patent/CN110458013A/zh
Application granted granted Critical
Publication of CN110458013B publication Critical patent/CN110458013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于实例级注意机制的交通异常事件检测方法，采用可自主学习的多目标检测器作为前端检测模块，完成对场景中的车辆检测，然后通过VGG19网络对视频帧和目标物进行特征提取，并将特征输入到注意模块中为场景中的检测车辆分配相应的注意权重，最后通过LSTM和Softmax完成异常事件的检测。本发明的有益效果是：使用可自主学习的多目标检测器作为前端检测模块，能够自主学习，逐步提高检测性能；加入了注意机制，提高事件检测的精确度；可以对异常事件进行分类，使监控方能精准的根据事件类型做出相应的决策。

Description

一种基于实例级注意机制的交通异常事件检测方法
技术领域
本发明涉及模式识别领域，尤其涉及一种基于实例级注意机制的交通异常事件检测方法。
背景技术
近年来，随着社会经济的飞速发展和城市化建设的加快，人们的汽车的保有量大幅増长，汽车给人们的日常出行带来了极大便利的同时，也给交通管理带来了交通拥挤、交通事故频发等严峻的挑战，城市交通车辆增多所引发的交通异常事件正在逐年上升。交通异常事件是指交通场景中如非法停车、道路撞车、堵车等区别于正常行驶的事件。现在智能交通视频监控是城市交通管理的重要组成部分，各大主干道都部署了监控摄像头，交通监控视频数据也成为了一类典型的大数据。而传统的监控视频存储、计算和检索方式已经不能满足对海量交通监控视频智能分析的需求。当前对交通监控视频的主要用途是在发生事故后进行事件回顾，并且很大程度上要依赖人工检索来定位，这样只能做到交通事故的事后查看，不能实时检测，更不能提前预防。
为了保障人们的日常生活、社会的安定与和谐，交通监控视频中的异常事件检测成为了目前智能交通领域研究的重点与难点，及时且精准的检测交通异常事件能帮助管理部门更快速的做出决断，为发生事故的地段更迅速的派出救援，对减少人员伤亡和减少财产损失有重大意义，交通异常事件检测已成为交通管理部口迫切需要解决的问题之一。
本发明基于上述背景中存在的问题，提出一种基于实例级注意机制的交通异常事件检测方法，本方法采用深度学习中的算法，解决了传统方法需要大量人工处理海量数据的问题，并提出一种注意机制，使模型能够重点关注异常区域，提高事件的检测精度。
发明内容
为了解决上述问题，本发明提供了一种基于实例级注意机制的交通异常事件检测方法；
一种基于实例级注意机制的交通异常事件检测方法，应用于异常事件检测网络中；所述异常事件检测网络包括：前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块；所述前端检测模块为多目标检测器，所述特征提取模块为VGG19网络，所述双向长短时记模块包括一层BLSTM；所述长短时记忆模块包括两层LSTM；所述Attention模块采用软注意机制；所述Softmax分类模块包括一层Softmax分类器；其中，所述两层LSTM和一层BLSTM的时间步长相配合，所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配，且所述时间步长根据具体应用情况设定；
所述一种注意机制的交通异常事件检测方法，具体包括如下步骤：
S101：实时获取待检测路段的交通监控视频，采用OpenCV提取所述交通监控视频的视频帧；并将连续三个视频帧作为一组，组成连续多组帧数据；
S102：采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取，得到对应的三个视频特征ft-1、ft和ft+1；
S103：将所述视频特征ft-1、ft和ft+1作为多目标检测器的输入，得到三个目标物的检测结果；
S104：根据所述目标物的检测结果，采用VGG19网络分别提取对应的目标物信息p(t-1)i、p(t)i和p(t+1)i；其中，i为各视频帧中目标物的编号；
S105：将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入，得到对应的三个记忆输出
Figure GDA0003458358570000021
和
Figure GDA0003458358570000022
S106：依次将三个记忆输出
Figure GDA0003458358570000023
和
Figure GDA0003458358570000024
输入长短时记忆模块，得到对应的输出
Figure GDA0003458358570000025
和
Figure GDA0003458358570000026
S107：将三个输出
Figure GDA0003458358570000027
和
Figure GDA0003458358570000028
分别输入至Softmax分类模块，得到三个对应的分类输出，进而根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别；同时将下一组帧数据作为下一次检测的当前帧数据，以进行下一组帧数据的检测，返回步骤S102。
进一步地，步骤S102中，所述视频特征的大小为14*14*512或者使用TensorFlow中的reshape方法将所述视频特征大小调整为196*512，便于作为后续模块的输入。
进一步地，步骤S103中，所述目标物为车辆或者人；所述多目标检测器为现有的可自主学习的多目标检测器，且所述多目标检测器为训练好的可用的多目标检测器；在检测开始之前，使用鼠标在第一帧视频上框选出多个待检测的目标物作为训练数据，所述多目标检测器将利用所述训练数据自行训练成为可用的多目标检测器。
进一步地，步骤S104中，所述目标物信息大小为14*14*512或者使用TensorFlow中的reshape方法将所述目标物信息大小调整为196*512，便于作为后续模块的输入。
进一步地，步骤S105中，将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入时，t时刻的输入ft的BLSTM输出
Figure GDA0003458358570000031
中包含了t-1时刻输出
Figure GDA0003458358570000032
和t+1时刻输出
Figure GDA0003458358570000033
故t时刻BLSTM输出保存了上一帧视频特征ft-1、当前帧视频特征ft以及下一帧视频特征ft+1。
进一步地，步骤S106中，依次将三个记忆输出
Figure GDA0003458358570000034
和
Figure GDA0003458358570000035
输入长短时记忆模块，得到对应的输出
Figure GDA0003458358570000036
和
Figure GDA0003458358570000037
包括如下步骤：
S201：在t-1时刻，将
Figure GDA0003458358570000038
p(t-1)i和
Figure GDA0003458358570000039
作为Attention模块的输入，计算出当前时刻对每一个目标物的注意系数at-1；其中，
Figure GDA00034583585700000310
为上一帧视频的视频特征输入长短时记忆模块后，最后一层LSTM的输出；
S202：将
Figure GDA00034583585700000311
at-1和
Figure GDA00034583585700000312
作为所述长短时记忆模块的最后一层LSTM的输入，得到视频特征ft-1对应的视频帧的事件状态
Figure GDA00034583585700000313
S203：返回步骤S201进行迭代，依次得到
Figure GDA00034583585700000314
和
Figure GDA00034583585700000315
对应的事件状态
Figure GDA00034583585700000316
和
Figure GDA00034583585700000317
进一步地，所述长短时记忆模块中的LSTM和双向长短时记忆模块中的BLSTM均为采用梯度下降训练法训练后的网络；采用铰链损失函数进行训练，表达式如下：
Figure GDA0003458358570000041
上式中，k是预设的异常事件的类别代码，K为异常事件的总类别数；wk是对应异常事件类别k的权重向量；训练时，当预测异常事件类别和真实事件类别相同时yk＝1，反之yk＝-1；T为样本总数量。
本发明提供的技术方案带来的有益效果是：本发明所提出的技术方案具有以下优点：
(1)使用一种可自主学习的多目标检测器作为前端检测模块，只需在视频的第一帧中，用鼠标框选需要检测的目标，该检测器就能够自主学习，逐步提高检测性能。
(2)结构中加入了注意机制，能够在异常事件样本较少的情况下完成对其特征的学习，使模型能够准确的关注到与异常事件相关的车辆，更好的摒弃与事件无关的信息，从而提高事件检测的精确度。
(3)本方法除了能够准确判断是否发生异常事件之外，还可以对异常事件进行分类，准确的指出当前发生的异常是堵车、道路撞车或者非法停车中的某一类，使监控方能精准的根据事件类型做出相应的决策。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于实例级注意机制的交通异常事件检测方法的流程框图；
图2是本发明实施例中一种基于实例级注意机制的交通异常事件检测方法的详细算法流程图；
图3是本发明实施例中BLSTM的结构图；
图4是本发明实施例中Attention模块的结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于实例级注意机制的交通异常事件检测方法。
请参考图1，图1是本发明实施例中一种基于实例级注意机制的交通异常事件检测方法的流程框图，应用于异常事件检测网络；
所述异常事件检测网络包括：前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块；所述前端检测模块为多目标检测器，所述特征提取模块为VGG19网络，所述双向长短时记模块包括一层BLSTM；所述长短时记忆模块包括两层LSTM；所述Attention模块采用软注意机制；所述Softmax分类模块包括一层Softmax分类器；其中，所述两层LSTM和一层BLSTM的时间步长相配合，所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配，且所述时间步长根据具体应用情况设定；
图2是本发明实施例中一种基于实例级注意机制的交通异常事件检测方法的详细算法流程图；所述一种注意机制的交通异常事件检测方法，具体包括如下步骤：
S101：实时获取待检测路段的交通监控视频，采用OpenCV提取所述交通监控视频的视频帧；并将连续三个视频帧作为一组，组成连续多组帧数据；(123帧为一组，456帧为第二组，依次组成多组帧数据，两组帧数据之间没有重合视频帧，也没有跳跃视频帧)；
S102：采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取，得到对应的三个视频特征ft-1、ft和ft+1；
S103：将所述视频特征ft-1、ft和ft+1作为多目标检测器的输入，得到三个目标物的检测结果；
S104：根据所述目标物的检测结果，采用VGG19网络分别提取对应的目标物信息p(t-1)i、p(t)i和p(t+1)i；其中，i为各视频帧中目标物的编号；
S105：将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入，得到对应的三个记忆输出
Figure GDA0003458358570000051
和
Figure GDA0003458358570000052
S106：依次将三个记忆输出
Figure GDA0003458358570000053
和
Figure GDA0003458358570000054
输入长短时记忆模块，得到对应的输出
Figure GDA0003458358570000055
和
Figure GDA0003458358570000056
S107：将三个输出
Figure GDA0003458358570000057
和
Figure GDA0003458358570000058
分别输入至Softmax分类模块，得到三个对应的分类输出，进而根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别；同时将下一组帧数据作为下一次检测的当前帧数据，以进行下一组帧数据的检测，返回步骤S102。
步骤S102中，所述视频特征的大小为14*14*512或者使用TensorFlow中的reshape方法将所述视频特征大小调整为196*512，便于作为后续模块的输入。
步骤S103中，所述目标物为车辆或者人；所述多目标检测器为现有的可自主学习的多目标检测器，且所述多目标检测器为训练好的可用的多目标检测器；在检测开始之前，使用鼠标在第一帧视频上框选出多个待检测的目标物作为训练数据，所述多目标检测器将利用所述训练数据自行训练成为可用的多目标检测器。
步骤S104中，所述目标物信息大小为14*14*512或者使用TensorFlow中的reshape方法将所述目标物信息大小调整为196*512，便于作为后续模块的输入。
步骤S105中，将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入时，t时刻的输入ft的BLSTM输出
Figure GDA0003458358570000061
中包含了t-1时刻输出
Figure GDA0003458358570000062
和t+1时刻输出
Figure GDA0003458358570000063
故t时刻BLSTM输出保存了上一帧视频特征ft-1、当前帧视频特征ft以及下一帧视频特征ft+1。
步骤S106中，依次将三个记忆输出
Figure GDA0003458358570000064
和
Figure GDA0003458358570000065
输入长短时记忆模块，得到对应的输出
Figure GDA0003458358570000066
和
Figure GDA0003458358570000067
包括如下步骤：
S201：在t-1时刻，将
Figure GDA0003458358570000068
p(t-1)i和
Figure GDA0003458358570000069
作为Attention模块的输入，计算出当前时刻对每一个目标物的注意系数at-1；其中，
Figure GDA00034583585700000610
为上一帧视频的视频特征输入长短时记忆模块后，最后一层LSTM的输出；
S202：将
Figure GDA00034583585700000611
at-1和
Figure GDA00034583585700000612
作为所述长短时记忆模块的最后一层LSTM的输入，得到视频特征ft-1对应的视频帧的事件状态
Figure GDA00034583585700000613
S203：返回步骤S201进行迭代，依次得到
Figure GDA00034583585700000614
和
Figure GDA00034583585700000615
对应的事件状态
Figure GDA00034583585700000616
和
Figure GDA00034583585700000617
所述长短时记忆模块中的LSTM和双向长短时记忆模块中的BLSTM均为采用梯度下降训练法训练后的网络；采用铰链损失函数进行训练，表达式如下：
Figure GDA00034583585700000618
上式中，k是预设的异常事件的类别代码，K为异常事件的总类别数；wk是对应异常事件类别k的权重向量；训练时，当预测异常事件类别和真实事件类别相同时yk＝1，反之yk＝-1；T为样本总数量。
步骤S107中，根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别，举例如下：
若分类输出的类型代码为3，而预设的3对应的为交通拥堵异常事件，那么检测结果则为异常事件，且类型为交通拥堵；
若分类输出的类型代码为0，而预设的0对应的为正常情况，那么检测结果则为无异常事件，且类型也为无。
(1)对所述多目标检测器的自主训练过程做如下具体说明：
所述多目标检测器采用随机蕨分类器和可迭代的SVM相结合的方法，共同作用于目标的检测分类：
首先在视频的第一帧中用鼠标框选出一组正负样本，对每个样本进行仿射变换，将放射变化结果分别作为正负样本初始化随机蕨分类器，同时挑选一组仿射变换结果作为正负样本初始训练SVM分类器；
然后设定阈值β和初始化自适应阈值θ＝0.5，并从随机蕨分类器中筛选出性能最佳的随机蕨用于视频检测，对检测结果进行分类；当检测结果的分数大于β+θ时，将该结果作为正样本，当检测结果分数小于β-θ时，将该结果作为负样本，当检测结果分数介于β+θ和β-θ之间时，将该结果标记为困难样本，并用SVM分类器计算该样本的置信度，将该样本添加到困难样本集中，并统计困难样本的总数；当困难样本集增加到预设的数量时，开始对SVM进行一次迭代更新，同时更新自适应阈值θ；在完成了SVM分类器的第一次迭代更新后开始更新随机蕨分类器；所述自适应阈值θ的初始值为随机初始化的值；
自适应阈值θ初始化时值较大，因此初始的检测结果都将认为是困难样本被添加到困难样本集中。但随着分类器的训练以及θ的不断更新，θ的值会逐渐收敛。当自适应阈值θ收敛至小于0.2时，停止更新混合分类器，训练结束。
(2)对特征提取器VGG19网络做如下具体说明：
VGG19网络采用较小的卷积核来代替较大的卷积核，使用了3个3x3卷积核来代替7x7卷积核，使用了2个3x3卷积核来代替5*5卷积核，这样做的主要目的是在保证具有相同感受野的条件下，提升了网络的深度，在一定程度上提升了神经网络的效果；
VGG19包含了19个隐藏层(16个卷积层和3个全连接层)相比起VGG16增加了三个卷积层，总的来说VGG19整体结构比较简洁，从头到尾全部使用的是3x3的卷积和2x2的maxpooling，并且使用较小的卷积核组合比大卷积核的效果更好，因此使用在Image Net上预训练的VGG19网络作为特征提取器，抽取最后一个pooling层的输出作为视频帧的特征，输出大小为14*14*512。
(3)对长短时记忆网络LSTM做如下具体说明：
长短时记忆网络(Long Short-Term Memory,LSTM)是循环神经网络(RecurrentNeural Network,RNN)的一种特殊形式，通过引入记忆单元和门限机制的巧妙构思，能够学习长期依赖关系，缓解RNN存在的梯度消失和梯度爆炸问题，已广泛应用在序列处理任务中。
LSTM单元主要由4个部分组成：记忆单元(memory cell)，输入门(input gate)，输出门(output gate)及遗忘门(forget gate)。记忆单元之间彼此循环连接，3个非线性门控单元可以调节流入和流出记忆单元的信息。LSTM的前向计算公式如下所示：
Figure GDA0003458358570000081
上式中，xt是当前时刻输入向量，I、i、o分别为遗忘门、输入门、输出门的激活向量，c为记忆单元向量，h是LSTM单元的输出向量，W和b分别为权重矩阵和偏置向量，σ为激活函数，一般选用Sigmoid函数，符号
Figure GDA0003458358570000082
为矩阵对应元素相乘；
上述公式为LSTM单元内部计算公式，本方法中将
Figure GDA0003458358570000083
at、
Figure GDA0003458358570000084
作为最后一层LSTM单元的输入计算得到当前帧的事件状态
Figure GDA0003458358570000085
公式如下：
Figure GDA0003458358570000086
上式中，
Figure GDA0003458358570000087
为上一帧最后一层LSTM的输出，
Figure GDA0003458358570000088
是由BLSTM计算得到的上下帧信息，at是由Attention模块输出的注意系数。
(4)对双向长短时记忆网络BLSTM做如下具体说明：
如图3所示，图3是本发明实施例中BLSTM的结构图；对于LSTM而言，只能存储当前状态和上一个时间点的状态，而在事件检测中为了保证准确度，还需要在当前状态的预测中加入下一个时间点的状态参与计算，因此采用了双向LSTM也就是BLSTM来获取视频帧的上下帧信息。
BLSTM结构中由Forward层和Backward层共同连接输出层，在Forward层从1时刻到t时刻正向计算一遍，得到并保存每个时刻向前隐含层的输出。在Backward层沿着时刻t到时刻1反向计算一遍，得到并保存每个时刻向后隐含层的输出。最后在每个时刻结合Forward层和Backward层的相应时刻输出的结果得到最终的输出，用公式表达式如下：
Figure GDA0003458358570000091
上式中，ht是Forward层从1时刻到t时刻正向计算结果，h′t是Backward层沿着时刻t到时刻1反向计算结果，输出Ot中整合了正向和反向的计算结果，从而保证输出中包含了上下文信息。
因此在本申请中，利用BLSTM来获取视频帧的上下帧信息用于后续事件检测，计算公式如下：
Figure GDA0003458358570000092
(5)对Attention模块做如下具体说明：
如图4所示，图4是本发明实施例中Attention模块的结构示意图；为了使模型能够关注到与事件相关的车辆，在网络结构中加入了Attention模块，使模型具有模拟人类视觉注意的注意机制，Attention模块对每一个视频帧中检测出的车辆分配相应的注意权重，并计算出相应的加权平均值at，具体公式如下：
Figure GDA0003458358570000093
上式中，N是视频帧中检测到车辆的总数，通过softmax计算出每一个检测车辆的注意权重，通常softmax输出值为0-1，也就是说与事件相关的车辆获得的权重会远远大于与事件无关的车辆权重，最后计算加权平均值at来保存当前帧的注意信息；符号
Figure GDA0003458358570000101
表示两个向量对应项相乘。
Figure GDA0003458358570000102
表示一个全连接层(FC层)。
本发明的有益效果是：本发明所提出的技术方案具有以下优点：
(1)使用一种可自主学习的多目标检测器作为前端检测模块，只需在视频的第一帧中，用鼠标框选需要检测的目标，该检测器就能够自主学习，逐步提高检测性能。
(2)结构中加入了注意机制，能够在异常事件样本较少的情况下完成对其特征的学习，使模型能够准确的关注到与异常事件相关的车辆，更好的摒弃与事件无关的信息，从而提高事件检测的精确度。
(3)本方法除了能够准确判断是否发生异常事件之外，还可以对异常事件进行分类，准确的指出当前发生的异常是堵车、道路撞车或者非法停车中的某一类，使监控方能精准的根据事件类型做出相应的决策。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于实例级注意机制的交通异常事件检测方法，应用于异常事件检测网络中；其特征在于：异常事件检测网络包括：前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块；所述前端检测模块为多目标检测器，所述特征提取模块为VGG19网络，所述双向长短时记模块包括一层BLSTM，所述长短时记忆模块包括两层LSTM；所述Attention模块采用软注意机制；所述Softmax分类模块包括一层Softmax分类器；其中，所述两层LSTM和一层BLSTM的时间步长相配合，所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配，且所述时间步长根据具体应用情况设定；
一种注意机制的交通异常事件检测方法，具体包括如下步骤：
S101：实时获取待检测路段的交通监控视频，采用OpenCV提取所述交通监控视频的视频帧；并将连续三个视频帧作为一组，组成连续多组帧数据；
S102：采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取，得到对应的三个视频特征ft-1、ft和ft+1；
S103：将所述视频特征ft-1、ft和ft+1作为多目标检测器的输入，得到三个目标物的检测结果；
S104：根据所述目标物的检测结果，采用VGG19网络分别提取对应的目标物信息p(t-1)i、p(t)i和p(t+1)i；其中，i为各视频帧中目标物的编号；
S105：将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入，得到对应的三个记忆输出
Figure FDA0003458358560000011
和
Figure FDA0003458358560000012
S106：依次将三个记忆输出
Figure FDA0003458358560000013
和
Figure FDA0003458358560000014
输入长短时记忆模块，得到对应的输出
Figure FDA0003458358560000015
和
Figure FDA0003458358560000016
S107：将三个输出
Figure FDA0003458358560000017
和
Figure FDA0003458358560000018
分别输入至Softmax分类模块，得到三个对应的分类输出，进而根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别；同时将下一组帧数据作为下一次检测的当前帧数据，以进行下一组帧数据的检测，返回步骤S102。
2.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法，其特征在于：步骤S102中，所述视频特征的大小为14*14*512或者使用TensorFlow 中的reshape方法将所述视频特征大小调整为196*512，便于作为后续模块的输入。
3.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法，其特征在于：步骤S103中，所述目标物为车辆或者人；所述多目标检测器为现有的可自主学习的多目标检测器，且所述多目标检测器为训练好的可用的多目标检测器；在检测开始之前，使用鼠标在第一帧视频上框选出多个待检测的目标物作为训练数据，所述多目标检测器将利用所述训练数据自行训练成为可用的多目标检测器。
4.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法，其特征在于：步骤S104中，所述目标物信息大小为14*14*512或者使用TensorFlow中的reshape方法将所述目标物信息大小调整为196*512，便于作为后续模块的输入。
5.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法，其特征在于：步骤S105中，将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入时，t时刻的输入ft的BLSTM输出
Figure FDA0003458358560000021
中包含了t-1时刻输出
Figure FDA0003458358560000022
和t+1时刻输出
Figure FDA0003458358560000023
故t时刻BLSTM输出保存了上一帧视频特征ft-1、当前帧视频特征ft以及下一帧视频特征ft+1。
6.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法，其特征在于：步骤S106中，依次将三个记忆输出
Figure FDA0003458358560000024
和
Figure FDA0003458358560000025
输入长短时记忆模块，得到对应的输出
Figure FDA0003458358560000026
和
Figure FDA0003458358560000027
包括如下步骤：
S201：在t-1时刻，将
Figure FDA0003458358560000028
p(t-1)i和
Figure FDA0003458358560000029
作为Attention模块的输入，计算出当前时刻对每一个目标物的注意系数at-1；其中，
Figure FDA00034583585600000210
为上一帧视频的视频特征输入长短时记忆模块后，最后一层LSTM的输出；
S202：将
Figure FDA00034583585600000211
at-1和
Figure FDA00034583585600000212
作为所述长短时记忆模块的最后一层LSTM的输入，得到视频特征ft-1对应的视频帧的事件状态
Figure FDA00034583585600000213
S203：返回步骤S201进行迭代，依次得到
Figure FDA00034583585600000214
和
Figure FDA00034583585600000215
对应的事件状态
Figure FDA00034583585600000216
和
Figure FDA00034583585600000217
7.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法，其特征在于：所述长短时记忆模块中的LSTM和双向长短时记忆模块中的BLSTM均为采用梯度下降训练法训练后的网络；采用铰链损失函数进行训练，表达式如下：
Figure FDA0003458358560000031
上式中，k是预设的异常事件的类别代码，K为异常事件的总类别数；wk是对应异常事件类别k的权重向量；训练时，当预测异常事件类别和真实事件类别相同时yk＝1，反之yk＝-1；T为样本总数量。
CN201910603012.6A 2019-07-05 2019-07-05 一种基于实例级注意机制的交通异常事件检测方法 Active CN110458013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910603012.6A CN110458013B (zh) 2019-07-05 2019-07-05 一种基于实例级注意机制的交通异常事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910603012.6A CN110458013B (zh) 2019-07-05 2019-07-05 一种基于实例级注意机制的交通异常事件检测方法

Publications (2)

Publication Number Publication Date
CN110458013A CN110458013A (zh) 2019-11-15
CN110458013B true CN110458013B (zh) 2022-05-06

Family

ID=68482242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910603012.6A Active CN110458013B (zh) 2019-07-05 2019-07-05 一种基于实例级注意机制的交通异常事件检测方法

Country Status (1)

Country Link
CN (1) CN110458013B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967340B (zh) * 2020-07-27 2023-08-04 中国地质大学（武汉） 一种基于视觉感知的异常事件检测方法及系统
CN113257008B (zh) * 2021-05-12 2022-06-21 兰州交通大学 基于深度学习的行人流量动态控制系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898108A (zh) * 2018-06-29 2018-11-27 炬大科技有限公司 一种基于扫地机器人的用户异常行为监测系统及方法
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN109086797A (zh) * 2018-06-29 2018-12-25 中国地质大学（武汉） 一种基于注意机制的异常事件检测方法及系统
CN109740419A (zh) * 2018-11-22 2019-05-10 东南大学 一种基于Attention-LSTM网络的视频行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11409791B2 (en) * 2016-06-10 2022-08-09 Disney Enterprises, Inc. Joint heterogeneous language-vision embeddings for video tagging and search

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN108898108A (zh) * 2018-06-29 2018-11-27 炬大科技有限公司 一种基于扫地机器人的用户异常行为监测系统及方法
CN109086797A (zh) * 2018-06-29 2018-12-25 中国地质大学（武汉） 一种基于注意机制的异常事件检测方法及系统
CN109740419A (zh) * 2018-11-22 2019-05-10 东南大学 一种基于Attention-LSTM网络的视频行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A biologically inspired computational approach to model top-downand bottom-up visual attention;Longsheng Wei et al.;《Optik》;20150116;第522-529页 *
Unsupervised Anomaly Detection in Time Series Data using Deep Learning;Joao Pereira;《researchgate》;20190125;第1-94页 *
融合空间-时间双网络流和视觉注意的人体行为识别;刘天亮 等;《电子与信息学报》;20181031;第40卷(第10期);第2395-2401页 *

Also Published As

Publication number Publication date
CN110458013A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110097755B (zh) 基于深度神经网络的高速公路交通流量状态识别方法
CN111062413B (zh) 一种道路目标检测方法、装置、电子设备及存储介质
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN107133974B (zh) 高斯背景建模与循环神经网络相结合的车型分类方法
CN107239762A (zh) 一种基于视觉的公交车内乘客人数统计方法
CN111814621A (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
EP3690741A2 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN107730903A (zh) 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
CN110569792A (zh) 一种基于卷积神经网络的自动驾驶汽车前方物体检测方法
Abdelraouf et al. Using vision transformers for spatial-context-aware rain and road surface condition detection on freeways
CN101944174A (zh) 车牌字符的识别方法
CN109345832B (zh) 一种基于深度递归神经网络的城市道路超车预测方法
CN115662113B (zh) 一种信号交叉口人车博弈冲突风险评估与预警方法
CN107985189A (zh) 面向高速驾驶环境下的驾驶员变道深度预警方法
CN110458013B (zh) 一种基于实例级注意机制的交通异常事件检测方法
CN113673298B (zh) 一种基于时序门控循环单元模型的溢出监测方法
CN114821152B (zh) 基于前景-类别感知对齐的域自适应目标检测方法及系统
Ketcham et al. Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
Sayeed et al. Bangladeshi traffic sign recognition and classification using cnn with different kinds of transfer learning through a new (btsrb) dataset
Dave et al. An amalgamation of YOLOv4 and XGBoost for next-gen smart traffic management system
Li et al. Crash injury severity prediction considering data imbalance: A Wasserstein generative adversarial network with gradient penalty approach
CN105975982B (zh) 一种前方车辆检测方法
Tran et al. Hyperparameter optimization for improving recognition efficiency of an adaptive learning system
CN114462578A (zh) 一种提高短临降水预报精度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant