CN110458013B - 一种基于实例级注意机制的交通异常事件检测方法 - Google Patents
一种基于实例级注意机制的交通异常事件检测方法 Download PDFInfo
- Publication number
- CN110458013B CN110458013B CN201910603012.6A CN201910603012A CN110458013B CN 110458013 B CN110458013 B CN 110458013B CN 201910603012 A CN201910603012 A CN 201910603012A CN 110458013 B CN110458013 B CN 110458013B
- Authority
- CN
- China
- Prior art keywords
- video
- module
- detection
- memory module
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 58
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 17
- 230000002457 bidirectional effect Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于实例级注意机制的交通异常事件检测方法,采用可自主学习的多目标检测器作为前端检测模块,完成对场景中的车辆检测,然后通过VGG19网络对视频帧和目标物进行特征提取,并将特征输入到注意模块中为场景中的检测车辆分配相应的注意权重,最后通过LSTM和Softmax完成异常事件的检测。本发明的有益效果是:使用可自主学习的多目标检测器作为前端检测模块,能够自主学习,逐步提高检测性能;加入了注意机制,提高事件检测的精确度;可以对异常事件进行分类,使监控方能精准的根据事件类型做出相应的决策。
Description
技术领域
本发明涉及模式识别领域,尤其涉及一种基于实例级注意机制的交通异常事件检测方法。
背景技术
近年来,随着社会经济的飞速发展和城市化建设的加快,人们的汽车的保有量大幅増长,汽车给人们的日常出行带来了极大便利的同时,也给交通管理带来了交通拥挤、交通事故频发等严峻的挑战,城市交通车辆增多所引发的交通异常事件正在逐年上升。交通异常事件是指交通场景中如非法停车、道路撞车、堵车等区别于正常行驶的事件。现在智能交通视频监控是城市交通管理的重要组成部分,各大主干道都部署了监控摄像头,交通监控视频数据也成为了一类典型的大数据。而传统的监控视频存储、计算和检索方式已经不能满足对海量交通监控视频智能分析的需求。当前对交通监控视频的主要用途是在发生事故后进行事件回顾,并且很大程度上要依赖人工检索来定位,这样只能做到交通事故的事后查看,不能实时检测,更不能提前预防。
为了保障人们的日常生活、社会的安定与和谐,交通监控视频中的异常事件检测成为了目前智能交通领域研究的重点与难点,及时且精准的检测交通异常事件能帮助管理部门更快速的做出决断,为发生事故的地段更迅速的派出救援,对减少人员伤亡和减少财产损失有重大意义,交通异常事件检测已成为交通管理部口迫切需要解决的问题之一。
本发明基于上述背景中存在的问题,提出一种基于实例级注意机制的交通异常事件检测方法,本方法采用深度学习中的算法,解决了传统方法需要大量人工处理海量数据的问题,并提出一种注意机制,使模型能够重点关注异常区域,提高事件的检测精度。
发明内容
为了解决上述问题,本发明提供了一种基于实例级注意机制的交通异常事件检测方法;
一种基于实例级注意机制的交通异常事件检测方法,应用于异常事件检测网络中;所述异常事件检测网络包括:前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块;所述前端检测模块为多目标检测器,所述特征提取模块为VGG19网络,所述双向长短时记模块包括一层BLSTM;所述长短时记忆模块包括两层LSTM;所述Attention模块采用软注意机制;所述Softmax分类模块包括一层Softmax分类器;其中,所述两层LSTM和一层BLSTM的时间步长相配合,所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配,且所述时间步长根据具体应用情况设定;
所述一种注意机制的交通异常事件检测方法,具体包括如下步骤:
S101:实时获取待检测路段的交通监控视频,采用OpenCV提取所述交通监控视频的视频帧;并将连续三个视频帧作为一组,组成连续多组帧数据;
S102:采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取,得到对应的三个视频特征ft-1、ft和ft+1;
S103:将所述视频特征ft-1、ft和ft+1作为多目标检测器的输入,得到三个目标物的检测结果;
S104:根据所述目标物的检测结果,采用VGG19网络分别提取对应的目标物信息p(t-1)i、p(t)i和p(t+1)i;其中,i为各视频帧中目标物的编号;
S107:将三个输出和分别输入至Softmax分类模块,得到三个对应的分类输出,进而根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别;同时将下一组帧数据作为下一次检测的当前帧数据,以进行下一组帧数据的检测,返回步骤S102。
进一步地,步骤S102中,所述视频特征的大小为14*14*512或者使用TensorFlow中的reshape方法将所述视频特征大小调整为196*512,便于作为后续模块的输入。
进一步地,步骤S103中,所述目标物为车辆或者人;所述多目标检测器为现有的可自主学习的多目标检测器,且所述多目标检测器为训练好的可用的多目标检测器;在检测开始之前,使用鼠标在第一帧视频上框选出多个待检测的目标物作为训练数据,所述多目标检测器将利用所述训练数据自行训练成为可用的多目标检测器。
进一步地,步骤S104中,所述目标物信息大小为14*14*512或者使用TensorFlow中的reshape方法将所述目标物信息大小调整为196*512,便于作为后续模块的输入。
进一步地,步骤S105中,将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入时,t时刻的输入ft的BLSTM输出中包含了t-1时刻输出和t+1时刻输出故t时刻BLSTM输出保存了上一帧视频特征ft-1、当前帧视频特征ft以及下一帧视频特征ft+1。
进一步地,所述长短时记忆模块中的LSTM和双向长短时记忆模块中的BLSTM均为采用梯度下降训练法训练后的网络;采用铰链损失函数进行训练,表达式如下:
上式中,k是预设的异常事件的类别代码,K为异常事件的总类别数;wk是对应异常事件类别k的权重向量;训练时,当预测异常事件类别和真实事件类别相同时yk=1,反之yk=-1;T为样本总数量。
本发明提供的技术方案带来的有益效果是:本发明所提出的技术方案具有以下优点:
(1)使用一种可自主学习的多目标检测器作为前端检测模块,只需在视频的第一帧中,用鼠标框选需要检测的目标,该检测器就能够自主学习,逐步提高检测性能。
(2)结构中加入了注意机制,能够在异常事件样本较少的情况下完成对其特征的学习,使模型能够准确的关注到与异常事件相关的车辆,更好的摒弃与事件无关的信息,从而提高事件检测的精确度。
(3)本方法除了能够准确判断是否发生异常事件之外,还可以对异常事件进行分类,准确的指出当前发生的异常是堵车、道路撞车或者非法停车中的某一类,使监控方能精准的根据事件类型做出相应的决策。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例中一种基于实例级注意机制的交通异常事件检测方法的流程框图;
图2是本发明实施例中一种基于实例级注意机制的交通异常事件检测方法的详细算法流程图;
图3是本发明实施例中BLSTM的结构图;
图4是本发明实施例中Attention模块的结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于实例级注意机制的交通异常事件检测方法。
请参考图1,图1是本发明实施例中一种基于实例级注意机制的交通异常事件检测方法的流程框图,应用于异常事件检测网络;
所述异常事件检测网络包括:前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块;所述前端检测模块为多目标检测器,所述特征提取模块为VGG19网络,所述双向长短时记模块包括一层BLSTM;所述长短时记忆模块包括两层LSTM;所述Attention模块采用软注意机制;所述Softmax分类模块包括一层Softmax分类器;其中,所述两层LSTM和一层BLSTM的时间步长相配合,所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配,且所述时间步长根据具体应用情况设定;
图2是本发明实施例中一种基于实例级注意机制的交通异常事件检测方法的详细算法流程图;所述一种注意机制的交通异常事件检测方法,具体包括如下步骤:
S101:实时获取待检测路段的交通监控视频,采用OpenCV提取所述交通监控视频的视频帧;并将连续三个视频帧作为一组,组成连续多组帧数据;(123帧为一组,456帧为第二组,依次组成多组帧数据,两组帧数据之间没有重合视频帧,也没有跳跃视频帧);
S102:采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取,得到对应的三个视频特征ft-1、ft和ft+1;
S103:将所述视频特征ft-1、ft和ft+1作为多目标检测器的输入,得到三个目标物的检测结果;
S104:根据所述目标物的检测结果,采用VGG19网络分别提取对应的目标物信息p(t-1)i、p(t)i和p(t+1)i;其中,i为各视频帧中目标物的编号;
S107:将三个输出和分别输入至Softmax分类模块,得到三个对应的分类输出,进而根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别;同时将下一组帧数据作为下一次检测的当前帧数据,以进行下一组帧数据的检测,返回步骤S102。
步骤S102中,所述视频特征的大小为14*14*512或者使用TensorFlow中的reshape方法将所述视频特征大小调整为196*512,便于作为后续模块的输入。
步骤S103中,所述目标物为车辆或者人;所述多目标检测器为现有的可自主学习的多目标检测器,且所述多目标检测器为训练好的可用的多目标检测器;在检测开始之前,使用鼠标在第一帧视频上框选出多个待检测的目标物作为训练数据,所述多目标检测器将利用所述训练数据自行训练成为可用的多目标检测器。
步骤S104中,所述目标物信息大小为14*14*512或者使用TensorFlow中的reshape方法将所述目标物信息大小调整为196*512,便于作为后续模块的输入。
步骤S105中,将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入时,t时刻的输入ft的BLSTM输出中包含了t-1时刻输出和t+1时刻输出故t时刻BLSTM输出保存了上一帧视频特征ft-1、当前帧视频特征ft以及下一帧视频特征ft+1。
所述长短时记忆模块中的LSTM和双向长短时记忆模块中的BLSTM均为采用梯度下降训练法训练后的网络;采用铰链损失函数进行训练,表达式如下:
上式中,k是预设的异常事件的类别代码,K为异常事件的总类别数;wk是对应异常事件类别k的权重向量;训练时,当预测异常事件类别和真实事件类别相同时yk=1,反之yk=-1;T为样本总数量。
步骤S107中,根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别,举例如下:
若分类输出的类型代码为3,而预设的3对应的为交通拥堵异常事件,那么检测结果则为异常事件,且类型为交通拥堵;
若分类输出的类型代码为0,而预设的0对应的为正常情况,那么检测结果则为无异常事件,且类型也为无。
(1)对所述多目标检测器的自主训练过程做如下具体说明:
所述多目标检测器采用随机蕨分类器和可迭代的SVM相结合的方法,共同作用于目标的检测分类:
首先在视频的第一帧中用鼠标框选出一组正负样本,对每个样本进行仿射变换,将放射变化结果分别作为正负样本初始化随机蕨分类器,同时挑选一组仿射变换结果作为正负样本初始训练SVM分类器;
然后设定阈值β和初始化自适应阈值θ=0.5,并从随机蕨分类器中筛选出性能最佳的随机蕨用于视频检测,对检测结果进行分类;当检测结果的分数大于β+θ时,将该结果作为正样本,当检测结果分数小于β-θ时,将该结果作为负样本,当检测结果分数介于β+θ和β-θ之间时,将该结果标记为困难样本,并用SVM分类器计算该样本的置信度,将该样本添加到困难样本集中,并统计困难样本的总数;当困难样本集增加到预设的数量时,开始对SVM进行一次迭代更新,同时更新自适应阈值θ;在完成了SVM分类器的第一次迭代更新后开始更新随机蕨分类器;所述自适应阈值θ的初始值为随机初始化的值;
自适应阈值θ初始化时值较大,因此初始的检测结果都将认为是困难样本被添加到困难样本集中。但随着分类器的训练以及θ的不断更新,θ的值会逐渐收敛。当自适应阈值θ收敛至小于0.2时,停止更新混合分类器,训练结束。
(2)对特征提取器VGG19网络做如下具体说明:
VGG19网络采用较小的卷积核来代替较大的卷积核,使用了3个3x3卷积核来代替7x7卷积核,使用了2个3x3卷积核来代替5*5卷积核,这样做的主要目的是在保证具有相同感受野的条件下,提升了网络的深度,在一定程度上提升了神经网络的效果;
VGG19包含了19个隐藏层(16个卷积层和3个全连接层)相比起VGG16增加了三个卷积层,总的来说VGG19整体结构比较简洁,从头到尾全部使用的是3x3的卷积和2x2的maxpooling,并且使用较小的卷积核组合比大卷积核的效果更好,因此使用在Image Net上预训练的VGG19网络作为特征提取器,抽取最后一个pooling层的输出作为视频帧的特征,输出大小为14*14*512。
(3)对长短时记忆网络LSTM做如下具体说明:
长短时记忆网络(Long Short-Term Memory,LSTM)是循环神经网络(RecurrentNeural Network,RNN)的一种特殊形式,通过引入记忆单元和门限机制的巧妙构思,能够学习长期依赖关系,缓解RNN存在的梯度消失和梯度爆炸问题,已广泛应用在序列处理任务中。
LSTM单元主要由4个部分组成:记忆单元(memory cell),输入门(input gate),输出门(output gate)及遗忘门(forget gate)。记忆单元之间彼此循环连接,3个非线性门控单元可以调节流入和流出记忆单元的信息。LSTM的前向计算公式如下所示:
上式中,xt是当前时刻输入向量,I、i、o分别为遗忘门、输入门、输出门的激活向量,c为记忆单元向量,h是LSTM单元的输出向量,W和b分别为权重矩阵和偏置向量,σ为激活函数,一般选用Sigmoid函数,符号为矩阵对应元素相乘;
(4)对双向长短时记忆网络BLSTM做如下具体说明:
如图3所示,图3是本发明实施例中BLSTM的结构图;对于LSTM而言,只能存储当前状态和上一个时间点的状态,而在事件检测中为了保证准确度,还需要在当前状态的预测中加入下一个时间点的状态参与计算,因此采用了双向LSTM也就是BLSTM来获取视频帧的上下帧信息。
BLSTM结构中由Forward层和Backward层共同连接输出层,在Forward层从1时刻到t时刻正向计算一遍,得到并保存每个时刻向前隐含层的输出。在Backward层沿着时刻t到时刻1反向计算一遍,得到并保存每个时刻向后隐含层的输出。最后在每个时刻结合Forward层和Backward层的相应时刻输出的结果得到最终的输出,用公式表达式如下:
上式中,ht是Forward层从1时刻到t时刻正向计算结果,h′t是Backward层沿着时刻t到时刻1反向计算结果,输出Ot中整合了正向和反向的计算结果,从而保证输出中包含了上下文信息。
因此在本申请中,利用BLSTM来获取视频帧的上下帧信息用于后续事件检测,计算公式如下:
(5)对Attention模块做如下具体说明:
如图4所示,图4是本发明实施例中Attention模块的结构示意图;为了使模型能够关注到与事件相关的车辆,在网络结构中加入了Attention模块,使模型具有模拟人类视觉注意的注意机制,Attention模块对每一个视频帧中检测出的车辆分配相应的注意权重,并计算出相应的加权平均值at,具体公式如下:
上式中,N是视频帧中检测到车辆的总数,通过softmax计算出每一个检测车辆的注意权重,通常softmax输出值为0-1,也就是说与事件相关的车辆获得的权重会远远大于与事件无关的车辆权重,最后计算加权平均值at来保存当前帧的注意信息;符号表示两个向量对应项相乘。表示一个全连接层(FC层)。
本发明的有益效果是:本发明所提出的技术方案具有以下优点:
(1)使用一种可自主学习的多目标检测器作为前端检测模块,只需在视频的第一帧中,用鼠标框选需要检测的目标,该检测器就能够自主学习,逐步提高检测性能。
(2)结构中加入了注意机制,能够在异常事件样本较少的情况下完成对其特征的学习,使模型能够准确的关注到与异常事件相关的车辆,更好的摒弃与事件无关的信息,从而提高事件检测的精确度。
(3)本方法除了能够准确判断是否发生异常事件之外,还可以对异常事件进行分类,准确的指出当前发生的异常是堵车、道路撞车或者非法停车中的某一类,使监控方能精准的根据事件类型做出相应的决策。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于实例级注意机制的交通异常事件检测方法,应用于异常事件检测网络中;其特征在于:异常事件检测网络包括:前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块;所述前端检测模块为多目标检测器,所述特征提取模块为VGG19网络,所述双向长短时记模块包括一层BLSTM,所述长短时记忆模块包括两层LSTM;所述Attention模块采用软注意机制;所述Softmax分类模块包括一层Softmax分类器;其中,所述两层LSTM和一层BLSTM的时间步长相配合,所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配,且所述时间步长根据具体应用情况设定;
一种注意机制的交通异常事件检测方法,具体包括如下步骤:
S101:实时获取待检测路段的交通监控视频,采用OpenCV提取所述交通监控视频的视频帧;并将连续三个视频帧作为一组,组成连续多组帧数据;
S102:采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取,得到对应的三个视频特征ft-1、ft和ft+1;
S103:将所述视频特征ft-1、ft和ft+1作为多目标检测器的输入,得到三个目标物的检测结果;
S104:根据所述目标物的检测结果,采用VGG19网络分别提取对应的目标物信息p(t-1)i、p(t)i和p(t+1)i;其中,i为各视频帧中目标物的编号;
2.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法,其特征在于:步骤S102中,所述视频特征的大小为14*14*512或者使用TensorFlow 中的reshape方法将所述视频特征大小调整为196*512,便于作为后续模块的输入。
3.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法,其特征在于:步骤S103中,所述目标物为车辆或者人;所述多目标检测器为现有的可自主学习的多目标检测器,且所述多目标检测器为训练好的可用的多目标检测器;在检测开始之前,使用鼠标在第一帧视频上框选出多个待检测的目标物作为训练数据,所述多目标检测器将利用所述训练数据自行训练成为可用的多目标检测器。
4.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法,其特征在于:步骤S104中,所述目标物信息大小为14*14*512或者使用TensorFlow中的reshape方法将所述目标物信息大小调整为196*512,便于作为后续模块的输入。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910603012.6A CN110458013B (zh) | 2019-07-05 | 2019-07-05 | 一种基于实例级注意机制的交通异常事件检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910603012.6A CN110458013B (zh) | 2019-07-05 | 2019-07-05 | 一种基于实例级注意机制的交通异常事件检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110458013A CN110458013A (zh) | 2019-11-15 |
CN110458013B true CN110458013B (zh) | 2022-05-06 |
Family
ID=68482242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910603012.6A Active CN110458013B (zh) | 2019-07-05 | 2019-07-05 | 一种基于实例级注意机制的交通异常事件检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110458013B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111967340B (zh) * | 2020-07-27 | 2023-08-04 | 中国地质大学(武汉) | 一种基于视觉感知的异常事件检测方法及系统 |
CN113257008B (zh) * | 2021-05-12 | 2022-06-21 | 兰州交通大学 | 基于深度学习的行人流量动态控制系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108898108A (zh) * | 2018-06-29 | 2018-11-27 | 炬大科技有限公司 | 一种基于扫地机器人的用户异常行为监测系统及方法 |
WO2018218286A1 (en) * | 2017-05-29 | 2018-12-06 | Saltor Pty Ltd | Method and system for abnormality detection |
CN109086797A (zh) * | 2018-06-29 | 2018-12-25 | 中国地质大学(武汉) | 一种基于注意机制的异常事件检测方法及系统 |
CN109740419A (zh) * | 2018-11-22 | 2019-05-10 | 东南大学 | 一种基于Attention-LSTM网络的视频行为识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11409791B2 (en) * | 2016-06-10 | 2022-08-09 | Disney Enterprises, Inc. | Joint heterogeneous language-vision embeddings for video tagging and search |
-
2019
- 2019-07-05 CN CN201910603012.6A patent/CN110458013B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018218286A1 (en) * | 2017-05-29 | 2018-12-06 | Saltor Pty Ltd | Method and system for abnormality detection |
CN108898108A (zh) * | 2018-06-29 | 2018-11-27 | 炬大科技有限公司 | 一种基于扫地机器人的用户异常行为监测系统及方法 |
CN109086797A (zh) * | 2018-06-29 | 2018-12-25 | 中国地质大学(武汉) | 一种基于注意机制的异常事件检测方法及系统 |
CN109740419A (zh) * | 2018-11-22 | 2019-05-10 | 东南大学 | 一种基于Attention-LSTM网络的视频行为识别方法 |
Non-Patent Citations (3)
Title |
---|
A biologically inspired computational approach to model top-downand bottom-up visual attention;Longsheng Wei et al.;《Optik》;20150116;第522-529页 * |
Unsupervised Anomaly Detection in Time Series Data using Deep Learning;Joao Pereira;《researchgate》;20190125;第1-94页 * |
融合空间-时间双网络流和视觉注意的人体行为识别;刘天亮 等;《电子与信息学报》;20181031;第40卷(第10期);第2395-2401页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110458013A (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097755B (zh) | 基于深度神经网络的高速公路交通流量状态识别方法 | |
CN111062413B (zh) | 一种道路目标检测方法、装置、电子设备及存储介质 | |
CN110163187B (zh) | 基于f-rcnn的远距离交通标志检测识别方法 | |
CN107133974B (zh) | 高斯背景建模与循环神经网络相结合的车型分类方法 | |
CN107239762A (zh) | 一种基于视觉的公交车内乘客人数统计方法 | |
CN111814621A (zh) | 一种基于注意力机制的多尺度车辆行人检测方法及装置 | |
EP3690741A2 (en) | Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same | |
CN107730903A (zh) | 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统 | |
CN110569792A (zh) | 一种基于卷积神经网络的自动驾驶汽车前方物体检测方法 | |
Abdelraouf et al. | Using vision transformers for spatial-context-aware rain and road surface condition detection on freeways | |
CN101944174A (zh) | 车牌字符的识别方法 | |
CN109345832B (zh) | 一种基于深度递归神经网络的城市道路超车预测方法 | |
CN115662113B (zh) | 一种信号交叉口人车博弈冲突风险评估与预警方法 | |
CN107985189A (zh) | 面向高速驾驶环境下的驾驶员变道深度预警方法 | |
CN110458013B (zh) | 一种基于实例级注意机制的交通异常事件检测方法 | |
CN113673298B (zh) | 一种基于时序门控循环单元模型的溢出监测方法 | |
CN114821152B (zh) | 基于前景-类别感知对齐的域自适应目标检测方法及系统 | |
Ketcham et al. | Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine | |
CN113129336A (zh) | 一种端到端多车辆跟踪方法、系统及计算机可读介质 | |
Sayeed et al. | Bangladeshi traffic sign recognition and classification using cnn with different kinds of transfer learning through a new (btsrb) dataset | |
Dave et al. | An amalgamation of YOLOv4 and XGBoost for next-gen smart traffic management system | |
Li et al. | Crash injury severity prediction considering data imbalance: A Wasserstein generative adversarial network with gradient penalty approach | |
CN105975982B (zh) | 一种前方车辆检测方法 | |
Tran et al. | Hyperparameter optimization for improving recognition efficiency of an adaptive learning system | |
CN114462578A (zh) | 一种提高短临降水预报精度的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |