CN111967340A - 一种基于视觉感知的异常事件检测方法及系统 - Google Patents
一种基于视觉感知的异常事件检测方法及系统 Download PDFInfo
- Publication number
- CN111967340A CN111967340A CN202010732380.3A CN202010732380A CN111967340A CN 111967340 A CN111967340 A CN 111967340A CN 202010732380 A CN202010732380 A CN 202010732380A CN 111967340 A CN111967340 A CN 111967340A
- Authority
- CN
- China
- Prior art keywords
- video frame
- current moment
- target
- feature
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 56
- 230000016776 visual perception Effects 0.000 title claims abstract description 29
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 82
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 67
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000005284 excitation Effects 0.000 claims abstract description 10
- 238000009432 framing Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000005856 abnormality Effects 0.000 claims description 14
- 210000000977 primary visual cortex Anatomy 0.000 claims description 12
- 230000002123 temporal effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 210000000857 visual cortex Anatomy 0.000 claims description 6
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000011478 gradient descent method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于视觉感知的异常事件检测方法及系统。实时获取待检测场景监控视频的视频帧和视频特征，并检测出视频帧中每一个目标的位置，用矩形框将所述位置框出；获得每个目标的骨骼信息、骨骼特征以及骨骼特征编码向量；获得骨骼注意融合特征和目标的生物激励的视觉显著性特征；将骨骼流注意融合特征和目标的生物激励的视觉显著性特征进行融合，获得融合特征，基于融合特征，获得异常行为分类结果；基于注意机制产生的注意系数和异常行为分类结果，获得产生异常行为的目标序号，从而获得异常行为发生的位置。本发明能够筛选出和异常事件最相关的人或区域用于事件检测，排除复杂场景下的各种干扰，提升异常事件的检测精度。
Description
技术领域
本发明涉及视频监控领域，尤其涉及一种基于视觉感知的异常事件检测方法及系统。
背景技术
随着人们生活水平逐渐提高，人们对生活质量的要求也越来越高，因此安全问题越来越受到政府部门、企事业单位的密切关注。广大人民群众的安全意识也进一步提高，这就需要相关部门提供更完善的安全保障系统用以实时监测交通、社区等场景的状况，检测出一些异常行为现象并发出报警从而有效维护交通秩序、社区治安、人身安全，控制事态进一步恶化，让相关部门及工作人员及时了解到事故现场的状况并迅速采取相应的应急补救措施。然而传统的视频监控系统只具备一些简单的监控、视频存储、视频回放等功能，监控的过程中往往需要工作人员在旁边进行全天实时连续看守，由于人的注意力集中时间具有间断性并且会因为长时间大脑的高度集中而造成疲劳，这样就不可避免的会出现漏检、误检的情况。另一方面由于现在监控系统的普及覆盖面的广泛，其布局规模会成倍的增长，同时一个大型的多屏幕监控室中往往需要更多的工作人员去进行实时的看守工作才能提高其监测效率，这样就会导致人力资源成本的骤增。系统的回放功能也主要是用来进行视频的保存以及后续进行一些人工的取证分析，缺乏现场性，并不能做到有效及时的报警。由此可见传统的监控系统存在很多的弊端。因此将计算机视觉技术应用到视频监控领域形成的视频智能监控系统是视频监控系统必然的发展趋势。
在监控场景下，异常事件的发生常常是随机的，位置时间不固定，并且具有稀疏性，一天中可能只有很小的时间段存在异常事件，同时具有集中性，多目标场景中异常事件往往集中于极小部分人、物或者区域。
发明内容
为了解决上述问题，本发明提供了一种基于视觉感知的异常事件检测方法，主要包括以下步骤：
S1、实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
S2、将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
S3、将步骤S2中框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；
S4、将步骤S3中所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；
S5、将步骤S4中所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；
S6、将前一时刻的视频帧中解码LSTM输出的时间状态与步骤S5中所述骨骼特征编码向量输入到注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；
S7、将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
S8、将步骤S6中所述骨骼注意融合特征和步骤S7中所述视觉显著性特征输入到特征融合层进行融合，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；
S9、基于步骤S6中所述注意系数和步骤S8中所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置；
进一步地，本发明的一种基于视觉感知的异常事件检测方法中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计；
进一步地，本发明的一种基于视觉感知的异常事件检测方法中，获得所述当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(1)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (1)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(2)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(3)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
进一步地，本发明的一种基于视觉感知的异常事件检测方法中，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(4)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(5)：
ht＝LSTM(ht-1,dt) (5)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(6)：
其中，
Wc表示全连接网络层中ht的权重矩阵。
进一步地，本发明的一种基于视觉感知的异常事件检测方法中，根据步骤S8中所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
进一步地，根据本发明的另一方面，本发明为解决其技术问题，还提供了一种基于视觉感知的异常事件检测系统，包括：
视频帧获取单元，用于实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
视频特征获取单元，用于将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
目标骨骼信息获取单元，用于将所述框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；
目标骨骼特征获取单元，用于将所述当前时刻的视频帧中每个目标的骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；
骨骼特征编码向量获取单元，用于将所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；
显著性特征获取单元，用于将前一时刻的视频帧中解码LSTM输出的时间状态与所述骨骼特征编码向量输入注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；
生物激励的视觉显著性特征获取单元，用于将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
异常行为分类结果获取单元，用于将所述骨骼注意融合特征和所述视觉显著性特征，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；
异常行为发生的位置获取单元，用于基于所述注意系数和所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置；
进一步地，本发明的一种基于视觉感知的异常事件检测系统中，所述目标骨骼信息获取单元中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计；
进一步地，本发明的一种基于视觉感知的异常事件检测系统中，所述显著性特征获取单元中，当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(7)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (7)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(8)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(9)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
进一步地，本发明的一种基于视觉感知的异常事件检测系统中，所述异常行为分类结果获取单元中，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(10)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(11)：
ht＝LSTM(ht-1,dt) (11)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(12)：
其中，
Wc表示全连接网络层中ht的权重矩阵。
进一步地，本发明的一种基于视觉感知的异常事件检测系统中，所述异常行为发生的位置获取单元中，基于所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
本发明提供的技术方案带来的有益效果是：能够筛选出和异常事件最相关的人或区域用于事件检测，排除复杂场景下的各种干扰，提升异常事件的检测精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于视觉感知的异常事件检测方法的流程图；
图2是本发明实施例中一种基于视觉感知的异常事件检测系统的示意图；
图3是本发明实施例中注意机制的结构示意图；
图4是本发明实施例中异常视频识别模块的结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于视觉感知的异常事件检测方法及系统。
请参考图1，图1是本发明实施例中一种基于视觉感知的异常事件检测方法的流程图，具体包括如下步骤：
S1、实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
S2、将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
S3、将步骤S2中框出目标位置的矩形框提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；其中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计；
S4、将步骤S3中所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；VGG19网络模型采用梯度下降法进行训练；
S5、将步骤S4中所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；由于每个目标之间存在一定的交互关系，因此通过双向长短时记忆网络(BiLSTM)编码层对每个目标的骨骼信息进行编码，采用上述编码方式，BiLSTM对每一个目标的输出整合了当前输入与其相邻两个目标的所有特征，例如：当前时刻的视频帧中，经过BiLSTM输出的第2个目标的骨骼特征是整合了第2个目标的骨骼特征与第1个目标的骨骼特征、第3个目标的骨骼特征，当使用注意机制来筛选目标时，就能凭借其自身信息以及相邻的上下文信息来判断，能更精确的注意到与所发生事件最相关的目标或区域；
S6、将前一时刻的视频帧中解码LSTM输出的时间状态与步骤S5中所述骨骼特征编码向量输入到注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；获得所述当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(1)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (1)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(2)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(3)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
S7、将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
S8、将步骤S6中所述骨骼注意融合特征和步骤S7中所述视觉显著性特征输入到特征融合层进行融合，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；采用2D卷积层做特征融合，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(4)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(5)：
ht＝LSTM(ht-1,dt) (5)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(6)：
其中，
Wc表示全连接网络层中ht的权重矩阵；
全连接网络层中的权重矩阵参数Wa、Wb、VT和Wc学习的方法采用梯度下降法。
基于步骤S6中所述注意系数和步骤S8中所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置。根据步骤S8中所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
请参考图2，图2一种基于视觉感知的异常事件检测系统的示意图，该系统包括：
视频帧获取单元，用于实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
视频特征获取单元，用于将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
目标骨骼信息获取单元，用于将所述框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计。
目标骨骼特征获取单元，用于将所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；VGG19网络模型采用梯度下降法进行训练；
骨骼特征编码向量获取单元，用于将所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；由于每个目标之间存在一定的交互关系，因此通过双向长短时记忆网络(BiLSTM)编码层对每个目标的骨骼信息进行编码，采用上述编码方式，BiLSTM对每一个目标的输出整合了当前输入与其相邻两个目标的所有特征，例如：当前时刻的视频帧中，经过BiLSTM输出的第2个目标的骨骼特征是整合了第2个目标的骨骼特征与第1个目标的骨骼特征、第3个目标的骨骼特征，当使用注意机制来筛选目标时，就能凭借其自身信息以及相邻的上下文信息来判断，能更精确的注意到与所发生事件最相关的目标或区域；
显著性特征获取单元，用于将前一时刻的视频帧中解码LSTM输出的时间状态与所述骨骼特征编码向量输入到注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；获得所述当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(7)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (7)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(8)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(9)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
生物激励的视觉显著性特征获取单元，用于将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
异常行为分类结果获取单元，用于将所述骨骼注意融合特征和所述视觉显著性特征，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；获得所述当前时刻的视频帧中的融合特征的计算公式如公式(10)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(11)：
ht＝LSTM(ht-1,dt) (11)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(12)：
其中，
Wc表示全连接网络层中ht的权重矩阵；
全连接网络层中的权重矩阵参数Wa、Wb、VT和Wc学习的方法采用梯度下降法。
异常行为发生的位置获取单元，用于基于所述注意系数和所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置。基于所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
请参考图3，图3是本发明实施例中注意机制的结构示意图，当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧的时间状态输入全连接层中，得到当前时刻的视频帧中第i个目标的相关系数，将所述第i个目标的相关系数输入softmax层，进行归一化操作后，得到当前时刻的视频帧中第i个目标的注意系数，将所述当前时刻的视频帧中第i个目标的骨骼特征编码向量与所述当前时刻的视频帧中第i个目标的注意系数进行点乘积操作，得到当前时刻的视频帧中第i个目标的骨骼注意融合特征，将所有目标的生物激励的视觉显著性特征与所有目标的骨骼注意融合特征经过特征融合层进行融合，得到融合特征，所述特征融合层采用2D卷积层；
请参考图4，图4是本发明实施例中异常视频识别模块的结构示意图，当前时刻的视频帧的时间状态经过tanh激活函数后，再输入softmax层，得到当前时刻的视频帧中的异常行为分类结果；基于所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
本发明的有益效果是：能够筛选出和异常事件最相关的人或区域用于事件检测，排除复杂场景下的各种干扰，提升异常事件的检测精度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于视觉感知的异常事件检测方法，用于检测异常行为发生的位置，其特征在于：包括以下步骤：
S1、实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
S2、将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
S3、将步骤S2中框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；
S4、将步骤S3中所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；
S5、将步骤S4中所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；
S6、将前一时刻的视频帧中解码LSTM输出的时间状态与步骤S5中所述骨骼特征编码向量输入到注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；
S7、将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
S8、将步骤S6中所述骨骼注意融合特征和步骤S7中所述视觉显著性特征输入到特征融合层进行融合，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；
S9、基于步骤S6中所述注意系数和步骤S8中所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置。
2.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：在步骤S3中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计。
3.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：在步骤S6中，获得所述当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(1)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (1)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(2)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(3)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
4.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：在步骤S8中，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(4)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(5)：
ht＝LSTM(ht-1,dt) (5)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(6)：
其中，
Wc表示全连接网络层中ht的权重矩阵。
5.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：在步骤S9中，根据步骤S8中所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
6.一种基于视觉感知的异常事件检测系统，其特征在于，包括：
视频帧获取单元，用于实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
视频特征获取单元，用于将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
目标骨骼信息获取单元，用于将所述框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；
目标骨骼特征获取单元，用于将所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；
骨骼特征编码向量获取单元，用于将所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；
显著性特征获取单元，用于将前一时刻的视频帧中解码LSTM输出的时间状态与所述骨骼特征编码向量输入注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；
生物激励的视觉显著性特征获取单元，用于将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
异常行为分类结果获取单元，用于将所述骨骼注意融合特征和所述视觉显著性特征，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；
异常行为发生的位置获取单元，用于基于所述注意系数和所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置。
7.如权利要求6所述的一种基于视觉感知的异常事件检测系统，其特征在于：所述目标骨骼信息获取单元中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计。
8.如权利要求6所述的一种基于视觉感知的异常事件检测系统，其特征在于：所述显著性特征获取单元中，当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(7)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (7)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(8)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(9)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
9.如权利要求4所述的一种基于视觉感知的异常事件检测系统，其特征在于：所述异常行为分类结果获取单元中，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(10)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(11)：
ht＝LSTM(ht-1,dt) (11)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(12)：
其中，
Wc表示全连接网络层中ht的权重矩阵。
10.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：所述异常行为发生的位置获取单元中，基于所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010732380.3A CN111967340B (zh) | 2020-07-27 | 2020-07-27 | 一种基于视觉感知的异常事件检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010732380.3A CN111967340B (zh) | 2020-07-27 | 2020-07-27 | 一种基于视觉感知的异常事件检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111967340A true CN111967340A (zh) | 2020-11-20 |
| CN111967340B CN111967340B (zh) | 2023-08-04 |
Family
ID=73363005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010732380.3A Active CN111967340B (zh) | 2020-07-27 | 2020-07-27 | 一种基于视觉感知的异常事件检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967340B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030016853A1 (en) * | 2001-04-26 | 2003-01-23 | Fuji Photo Film Co., Ltd. | Image position matching method and apparatus therefor |
| US20100061624A1 (en) * | 2008-09-11 | 2010-03-11 | Wesley Kenneth Cobb | Detecting anomalous events using a long-term memory in a video analysis system |
| CN107871116A (zh) * | 2016-09-23 | 2018-04-03 | 塔塔咨询服务有限公司 | 用于确定人的姿势平衡的方法和系统 |
| CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
| CN110059620A (zh) * | 2019-04-17 | 2019-07-26 | 安徽艾睿思智能科技有限公司 | 基于时空注意力的骨骼行为识别方法 |
| CN110290386A (zh) * | 2019-06-04 | 2019-09-27 | 中国科学技术大学 | 一种基于生成对抗网络的低码率人体运动视频编码系统及方法 |
| CN110458013A (zh) * | 2019-07-05 | 2019-11-15 | 中国地质大学（武汉） | 一种基于实例级注意机制的交通异常事件检测方法 |
| US20200004232A1 (en) * | 2017-02-22 | 2020-01-02 | Carrier Corporation | People flow estimation system and the failure processing method thereof |
| CN111310707A (zh) * | 2020-02-28 | 2020-06-19 | 山东大学 | 基于骨骼的图注意力网络动作识别方法及系统 |
-
2020
- 2020-07-27 CN CN202010732380.3A patent/CN111967340B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030016853A1 (en) * | 2001-04-26 | 2003-01-23 | Fuji Photo Film Co., Ltd. | Image position matching method and apparatus therefor |
| US20100061624A1 (en) * | 2008-09-11 | 2010-03-11 | Wesley Kenneth Cobb | Detecting anomalous events using a long-term memory in a video analysis system |
| CN107871116A (zh) * | 2016-09-23 | 2018-04-03 | 塔塔咨询服务有限公司 | 用于确定人的姿势平衡的方法和系统 |
| US20200004232A1 (en) * | 2017-02-22 | 2020-01-02 | Carrier Corporation | People flow estimation system and the failure processing method thereof |
| CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
| CN110059620A (zh) * | 2019-04-17 | 2019-07-26 | 安徽艾睿思智能科技有限公司 | 基于时空注意力的骨骼行为识别方法 |
| CN110290386A (zh) * | 2019-06-04 | 2019-09-27 | 中国科学技术大学 | 一种基于生成对抗网络的低码率人体运动视频编码系统及方法 |
| CN110458013A (zh) * | 2019-07-05 | 2019-11-15 | 中国地质大学（武汉） | 一种基于实例级注意机制的交通异常事件检测方法 |
| CN111310707A (zh) * | 2020-02-28 | 2020-06-19 | 山东大学 | 基于骨骼的图注意力网络动作识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈胜杰;: "基于视觉注意机制的行人重识别技术研究", 河南科技, no. 05, pages 59 - 60 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111967340B (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200043B (zh) | 面向室外施工现场的危险源智能识别系统及方法 | |
| Andrade et al. | Hidden markov models for optical flow analysis in crowds | |
| Chung et al. | A daily behavior enabled hidden Markov model for human behavior understanding | |
| CN110705500B (zh) | 基于深度学习的人员工作图像的注意力检测方法及系统 | |
| CN108447078A (zh) | 基于视觉显著性的干扰感知跟踪算法 | |
| CN103324919B (zh) | 基于人脸识别的视频监控系统及其数据处理方法 | |
| CN107679471A (zh) | 基于视频监控平台的室内人员空岗检测方法 | |
| CN111626116A (zh) | 基于融合多注意力机制和Graph的视频语义分析方法 | |
| CN107423725A (zh) | 一种基于混合时间卷积和循环网络的视频动作分割方法 | |
| CN109117774A (zh) | 一种基于稀疏编码的多视角视频异常检测方法 | |
| CN115546899A (zh) | 一种基于深度学习的考场异常行为分析方法、系统及终端机 | |
| CN113239766A (zh) | 基于深度神经网络的行为识别方法及智能报警装置 | |
| CN104616321B (zh) | 一种基于尺度不变特征变换的行李图像运动行为描述方法 | |
| CN111967340B (zh) | 一种基于视觉感知的异常事件检测方法及系统 | |
| CN115240123B (zh) | 一种面向智能监控系统的暗处暴力行为检测方法 | |
| CN116386145A (zh) | 一种基于双摄像头的银行内人员异常行为识别方法 | |
| CN116402811A (zh) | 一种打架斗殴行为识别方法及电子设备 | |
| CN115909144A (zh) | 一种基于对抗学习的监控视频异常检测方法及系统 | |
| CN115393753A (zh) | 基于边缘集群与机器视觉的危险化学品管控装置及方法 | |
| CN115205761A (zh) | 一种事故原因离线智能诊断系统 | |
| CN115393927A (zh) | 基于多级长短期记忆网络的多模态情感应急决策系统 | |
| Verma et al. | Intensifying security with smart video surveillance | |
| Pallewar et al. | Human Anomalous Activity detection with CNN-LSTM approach | |
| Yan et al. | ELEvent: An Abnormal Event Detection System in Elevator Cars | |
| CN111582031A (zh) | 基于神经网络的多模型协同暴力检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201120 Assignee: Hubei kunpengxin Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980051910 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231214 Application publication date: 20201120 Assignee: Hefei Ruiqi Network Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980051102 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231213 Application publication date: 20201120 Assignee: Hefei Zhongqun Photoelectric Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980051081 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231213 Application publication date: 20201120 Assignee: Yuyi (Shenyang) Digital Technology Development Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980051068 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231213 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201120 Assignee: ANHUI YUNSEN INTERNET OF THINGS TECHNOLOGY Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980053514 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231222 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201120 Assignee: Siteng Heli (Tianjin) Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2024980001457 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20240130 Application publication date: 20201120 Assignee: TIANJIN YONGXINGTAI TECHNOLOGY CO.,LTD. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2024980001459 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20240130 |
|
| EE01 | Entry into force of recordation of patent licensing contract |