CN111967340A - 一种基于视觉感知的异常事件检测方法及系统 - Google Patents
一种基于视觉感知的异常事件检测方法及系统 Download PDFInfo
- Publication number
- CN111967340A CN111967340A CN202010732380.3A CN202010732380A CN111967340A CN 111967340 A CN111967340 A CN 111967340A CN 202010732380 A CN202010732380 A CN 202010732380A CN 111967340 A CN111967340 A CN 111967340A
- Authority
- CN
- China
- Prior art keywords
- video frame
- current moment
- target
- feature
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 230000016776 visual perception Effects 0.000 title claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 78
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 64
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000005856 abnormality Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 13
- 210000000977 primary visual cortex Anatomy 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 210000000857 visual cortex Anatomy 0.000 claims description 6
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims 14
- 230000005284 excitation Effects 0.000 claims 3
- 238000009432 framing Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 6
- 230000007787 long-term memory Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001568 sexual effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000004374 forensic analysis Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于视觉感知的异常事件检测方法及系统。实时获取待检测场景监控视频的视频帧和视频特征，并检测出视频帧中每一个目标的位置，用矩形框将所述位置框出；获得每个目标的骨骼信息、骨骼特征以及骨骼特征编码向量；获得骨骼注意融合特征和目标的生物激励的视觉显著性特征；将骨骼流注意融合特征和目标的生物激励的视觉显著性特征进行融合，获得融合特征，基于融合特征，获得异常行为分类结果；基于注意机制产生的注意系数和异常行为分类结果，获得产生异常行为的目标序号，从而获得异常行为发生的位置。本发明能够筛选出和异常事件最相关的人或区域用于事件检测，排除复杂场景下的各种干扰，提升异常事件的检测精度。
Description
技术领域
本发明涉及视频监控领域，尤其涉及一种基于视觉感知的异常事件检测方法及系统。
背景技术
随着人们生活水平逐渐提高，人们对生活质量的要求也越来越高，因此安全问题越来越受到政府部门、企事业单位的密切关注。广大人民群众的安全意识也进一步提高，这就需要相关部门提供更完善的安全保障系统用以实时监测交通、社区等场景的状况，检测出一些异常行为现象并发出报警从而有效维护交通秩序、社区治安、人身安全，控制事态进一步恶化，让相关部门及工作人员及时了解到事故现场的状况并迅速采取相应的应急补救措施。然而传统的视频监控系统只具备一些简单的监控、视频存储、视频回放等功能，监控的过程中往往需要工作人员在旁边进行全天实时连续看守，由于人的注意力集中时间具有间断性并且会因为长时间大脑的高度集中而造成疲劳，这样就不可避免的会出现漏检、误检的情况。另一方面由于现在监控系统的普及覆盖面的广泛，其布局规模会成倍的增长，同时一个大型的多屏幕监控室中往往需要更多的工作人员去进行实时的看守工作才能提高其监测效率，这样就会导致人力资源成本的骤增。系统的回放功能也主要是用来进行视频的保存以及后续进行一些人工的取证分析，缺乏现场性，并不能做到有效及时的报警。由此可见传统的监控系统存在很多的弊端。因此将计算机视觉技术应用到视频监控领域形成的视频智能监控系统是视频监控系统必然的发展趋势。
在监控场景下，异常事件的发生常常是随机的，位置时间不固定，并且具有稀疏性，一天中可能只有很小的时间段存在异常事件，同时具有集中性，多目标场景中异常事件往往集中于极小部分人、物或者区域。
发明内容
为了解决上述问题，本发明提供了一种基于视觉感知的异常事件检测方法，主要包括以下步骤：
S1、实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
S2、将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
S3、将步骤S2中框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；
S4、将步骤S3中所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；
S5、将步骤S4中所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；
S6、将前一时刻的视频帧中解码LSTM输出的时间状态与步骤S5中所述骨骼特征编码向量输入到注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；
S7、将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
S8、将步骤S6中所述骨骼注意融合特征和步骤S7中所述视觉显著性特征输入到特征融合层进行融合，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；
S9、基于步骤S6中所述注意系数和步骤S8中所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置；
进一步地，本发明的一种基于视觉感知的异常事件检测方法中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计；
进一步地，本发明的一种基于视觉感知的异常事件检测方法中，获得所述当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(1)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (1)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(2)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(3)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
进一步地，本发明的一种基于视觉感知的异常事件检测方法中，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(4)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(5)：
ht＝LSTM(ht-1,dt) (5)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(6)：
其中，
Wc表示全连接网络层中ht的权重矩阵。
进一步地，本发明的一种基于视觉感知的异常事件检测方法中，根据步骤S8中所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
进一步地，根据本发明的另一方面，本发明为解决其技术问题，还提供了一种基于视觉感知的异常事件检测系统，包括：
视频帧获取单元，用于实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
视频特征获取单元，用于将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
目标骨骼信息获取单元，用于将所述框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；
目标骨骼特征获取单元，用于将所述当前时刻的视频帧中每个目标的骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；
骨骼特征编码向量获取单元，用于将所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；
显著性特征获取单元，用于将前一时刻的视频帧中解码LSTM输出的时间状态与所述骨骼特征编码向量输入注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；
生物激励的视觉显著性特征获取单元，用于将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
异常行为分类结果获取单元，用于将所述骨骼注意融合特征和所述视觉显著性特征，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；
异常行为发生的位置获取单元，用于基于所述注意系数和所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置；
进一步地，本发明的一种基于视觉感知的异常事件检测系统中，所述目标骨骼信息获取单元中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计；
进一步地，本发明的一种基于视觉感知的异常事件检测系统中，所述显著性特征获取单元中，当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(7)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (7)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(8)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(9)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
进一步地，本发明的一种基于视觉感知的异常事件检测系统中，所述异常行为分类结果获取单元中，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(10)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(11)：
ht＝LSTM(ht-1,dt) (11)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(12)：
其中，
Wc表示全连接网络层中ht的权重矩阵。
进一步地，本发明的一种基于视觉感知的异常事件检测系统中，所述异常行为发生的位置获取单元中，基于所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
本发明提供的技术方案带来的有益效果是：能够筛选出和异常事件最相关的人或区域用于事件检测，排除复杂场景下的各种干扰，提升异常事件的检测精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种基于视觉感知的异常事件检测方法的流程图；
图2是本发明实施例中一种基于视觉感知的异常事件检测系统的示意图；
图3是本发明实施例中注意机制的结构示意图；
图4是本发明实施例中异常视频识别模块的结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种基于视觉感知的异常事件检测方法及系统。
请参考图1，图1是本发明实施例中一种基于视觉感知的异常事件检测方法的流程图，具体包括如下步骤：
S1、实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
S2、将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
S3、将步骤S2中框出目标位置的矩形框提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；其中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计；
S4、将步骤S3中所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；VGG19网络模型采用梯度下降法进行训练；
S5、将步骤S4中所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；由于每个目标之间存在一定的交互关系，因此通过双向长短时记忆网络(BiLSTM)编码层对每个目标的骨骼信息进行编码，采用上述编码方式，BiLSTM对每一个目标的输出整合了当前输入与其相邻两个目标的所有特征，例如：当前时刻的视频帧中，经过BiLSTM输出的第2个目标的骨骼特征是整合了第2个目标的骨骼特征与第1个目标的骨骼特征、第3个目标的骨骼特征，当使用注意机制来筛选目标时，就能凭借其自身信息以及相邻的上下文信息来判断，能更精确的注意到与所发生事件最相关的目标或区域；
S6、将前一时刻的视频帧中解码LSTM输出的时间状态与步骤S5中所述骨骼特征编码向量输入到注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；获得所述当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(1)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (1)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(2)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(3)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
S7、将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
S8、将步骤S6中所述骨骼注意融合特征和步骤S7中所述视觉显著性特征输入到特征融合层进行融合，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；采用2D卷积层做特征融合，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(4)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(5)：
ht＝LSTM(ht-1,dt) (5)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(6)：
其中，
Wc表示全连接网络层中ht的权重矩阵；
全连接网络层中的权重矩阵参数Wa、Wb、VT和Wc学习的方法采用梯度下降法。
基于步骤S6中所述注意系数和步骤S8中所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置。根据步骤S8中所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
请参考图2，图2一种基于视觉感知的异常事件检测系统的示意图，该系统包括：
视频帧获取单元，用于实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
视频特征获取单元，用于将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
目标骨骼信息获取单元，用于将所述框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计。
目标骨骼特征获取单元，用于将所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；VGG19网络模型采用梯度下降法进行训练；
骨骼特征编码向量获取单元，用于将所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；由于每个目标之间存在一定的交互关系，因此通过双向长短时记忆网络(BiLSTM)编码层对每个目标的骨骼信息进行编码，采用上述编码方式，BiLSTM对每一个目标的输出整合了当前输入与其相邻两个目标的所有特征，例如：当前时刻的视频帧中，经过BiLSTM输出的第2个目标的骨骼特征是整合了第2个目标的骨骼特征与第1个目标的骨骼特征、第3个目标的骨骼特征，当使用注意机制来筛选目标时，就能凭借其自身信息以及相邻的上下文信息来判断，能更精确的注意到与所发生事件最相关的目标或区域；
显著性特征获取单元，用于将前一时刻的视频帧中解码LSTM输出的时间状态与所述骨骼特征编码向量输入到注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；获得所述当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(7)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (7)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(8)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(9)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
生物激励的视觉显著性特征获取单元，用于将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
异常行为分类结果获取单元，用于将所述骨骼注意融合特征和所述视觉显著性特征，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；获得所述当前时刻的视频帧中的融合特征的计算公式如公式(10)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(11)：
ht＝LSTM(ht-1,dt) (11)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(12)：
其中，
Wc表示全连接网络层中ht的权重矩阵；
全连接网络层中的权重矩阵参数Wa、Wb、VT和Wc学习的方法采用梯度下降法。
异常行为发生的位置获取单元，用于基于所述注意系数和所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置。基于所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
请参考图3，图3是本发明实施例中注意机制的结构示意图，当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧的时间状态输入全连接层中，得到当前时刻的视频帧中第i个目标的相关系数，将所述第i个目标的相关系数输入softmax层，进行归一化操作后，得到当前时刻的视频帧中第i个目标的注意系数，将所述当前时刻的视频帧中第i个目标的骨骼特征编码向量与所述当前时刻的视频帧中第i个目标的注意系数进行点乘积操作，得到当前时刻的视频帧中第i个目标的骨骼注意融合特征，将所有目标的生物激励的视觉显著性特征与所有目标的骨骼注意融合特征经过特征融合层进行融合，得到融合特征，所述特征融合层采用2D卷积层；
请参考图4，图4是本发明实施例中异常视频识别模块的结构示意图，当前时刻的视频帧的时间状态经过tanh激活函数后，再输入softmax层，得到当前时刻的视频帧中的异常行为分类结果；基于所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
本发明的有益效果是：能够筛选出和异常事件最相关的人或区域用于事件检测，排除复杂场景下的各种干扰，提升异常事件的检测精度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于视觉感知的异常事件检测方法，用于检测异常行为发生的位置，其特征在于：包括以下步骤：
S1、实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
S2、将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
S3、将步骤S2中框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；
S4、将步骤S3中所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；
S5、将步骤S4中所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；
S6、将前一时刻的视频帧中解码LSTM输出的时间状态与步骤S5中所述骨骼特征编码向量输入到注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；
S7、将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
S8、将步骤S6中所述骨骼注意融合特征和步骤S7中所述视觉显著性特征输入到特征融合层进行融合，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；
S9、基于步骤S6中所述注意系数和步骤S8中所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置。
2.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：在步骤S3中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计。
3.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：在步骤S6中，获得所述当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(1)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (1)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(2)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(3)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
4.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：在步骤S8中，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(4)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(5)：
ht＝LSTM(ht-1,dt) (5)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(6)：
其中，
Wc表示全连接网络层中ht的权重矩阵。
5.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：在步骤S9中，根据步骤S8中所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
6.一种基于视觉感知的异常事件检测系统，其特征在于，包括：
视频帧获取单元，用于实时获取待检测现场的监控视频，并提取所述待检测现场的监控视频的视频帧；
视频特征获取单元，用于将当前时刻的视频帧输入到YOLOv3网络模型中，获取当前时刻的视频帧的视频特征，并检测出所述当前时刻的视频帧中每一个目标所在的位置，用矩形框将所述位置框出；其中，一个矩形框将一个目标所在的位置框出；
目标骨骼信息获取单元，用于将所述框出目标位置的矩形框均提取出来，并对每个矩形框中对应的目标分别进行人体姿态估计，获得当前时刻的视频帧中每个目标的骨骼信息；
目标骨骼特征获取单元，用于将所述骨骼信息输入到训练好的VGG19网络模型中，获得当前时刻的视频帧中每个目标的骨骼特征；
骨骼特征编码向量获取单元，用于将所述骨骼特征输入到双向长短时记忆网络中，获得当前时刻的视频帧中每个目标的骨骼特征编码向量；
显著性特征获取单元，用于将前一时刻的视频帧中解码LSTM输出的时间状态与所述骨骼特征编码向量输入注意机制中，获得当前时刻的视频帧中注意系数和骨骼注意融合特征；
生物激励的视觉显著性特征获取单元，用于将当前时刻的视频帧输入到基于初级视皮层V1区的层级模型中，分别模拟视皮层中简单细胞层和复杂细胞层，获得当前时刻的视频帧中每个目标的生物激励的视觉显著性特征；所述基于初级视皮层V1区的层级模型包含两层层级结构的不变特征提取模型；
异常行为分类结果获取单元，用于将所述骨骼注意融合特征和所述视觉显著性特征，获得当前时刻的视频帧中的融合特征，基于所述融合特征，获得当前时刻的视频帧中的异常行为分类结果；
异常行为发生的位置获取单元，用于基于所述注意系数和所述异常行为分类结果，获得当前时刻的视频帧中分析异常行为时注意系数最大的目标序号，从而获得当前时刻的视频帧中异常行为发生的位置。
7.如权利要求6所述的一种基于视觉感知的异常事件检测系统，其特征在于：所述目标骨骼信息获取单元中，采用openpose模型对每个矩形框中对应的目标分别进行人体姿态估计。
8.如权利要求6所述的一种基于视觉感知的异常事件检测系统，其特征在于：所述显著性特征获取单元中，当前时刻的视频帧中骨骼注意融合特征的步骤如下：
S61、计算出当前时刻的视频帧中第i个目标的骨骼特征编码向量与前一时刻的视频帧中的时间状态之间的相关系数eti，计算公式如公式(7)：
eti＝φ(ht-1,mti)＝VT×tanh(Waht-1+Wbmti) (7)
其中，t表示当前时刻，t-1表示前一时刻，i表示目标的序号，i∈{1,2,...,s}，s表示目标的总数，φ表示一个全连接网络层，ht-1表示前一时刻的视频帧的时间状态，mti表示当前时刻的频帧中第i个目标的骨骼特征编码向量，Wa表示全连接网络层中ht-1的权重矩阵，Wb表示全连接网络层中mti的权重矩阵，VT表示全连接网络层中用来融合ht-1和mti的权重矩阵，tanh为激活函数；
S62、将相关系数eti输入softmax层，进行归一化操作，计算出当前时刻的视频帧中的第i个目标的注意系数ati，计算公式如公式(8)：
其中，0≤ati≤1，
表示所有目标的注意系数之和为1；
S63、基于当前时刻的视频帧中第i个目标的骨骼特征编码向量mti和当前时刻的视频帧中第i个目标的注意系数ati，计算出当前时刻的视频帧中骨骼注意融合特征，计算公式如公式(9)：
其中，ft表示当前时刻的视频帧中骨骼注意融合特征。
9.如权利要求4所述的一种基于视觉感知的异常事件检测系统，其特征在于：所述异常行为分类结果获取单元中，获得所述当前时刻的视频帧中的融合特征的计算公式如公式(10)：
其中，dt表示当前时刻的视频帧中的融合特征，conv表示卷积操作，nti表示当前时刻的视频帧中第i个目标的生物激励的视觉显著性特征；
获得所述最终的异常行为分类结果具体步骤如下：
S81、将所述融合特征输入到解码LSTM中，获得当前时刻的视频帧的时间状态ht，计算公式如公式(11)：
ht＝LSTM(ht-1,dt) (11)
其中，ht-1表示前一时刻的视频帧的时间状态；
S82、将所述当前时刻的视频帧的时间状态输入softmax层，获得所述当前时刻的视频帧中的异常行为分类结果
计算公式如公式(12)：
其中，
Wc表示全连接网络层中ht的权重矩阵。
10.如权利要求1所述的一种基于视觉感知的异常事件检测方法，其特征在于：所述异常行为发生的位置获取单元中，基于所述当前时刻的视频帧中的异常行为分类结果，用来判断当前时刻的视频帧中有无异常，具体判断准则为：当
时，当前时刻的视频帧中有异常，当
时，当前时刻的视频帧中无异常；在当前时刻的视频帧中有异常的情况下，比较当前时刻的视频帧中的每个目标的注意系数，找出当前时刻的视频帧中注意系数最大的目标序号，所述注意系数最大的目标序号对应的位置即为当前时刻的视频帧中异常行为发生的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010732380.3A CN111967340B (zh) | 2020-07-27 | 2020-07-27 | 一种基于视觉感知的异常事件检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010732380.3A CN111967340B (zh) | 2020-07-27 | 2020-07-27 | 一种基于视觉感知的异常事件检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111967340A true CN111967340A (zh) | 2020-11-20 |
| CN111967340B CN111967340B (zh) | 2023-08-04 |
Family
ID=73363005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010732380.3A Active CN111967340B (zh) | 2020-07-27 | 2020-07-27 | 一种基于视觉感知的异常事件检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967340B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030016853A1 (en) * | 2001-04-26 | 2003-01-23 | Fuji Photo Film Co., Ltd. | Image position matching method and apparatus therefor |
| US20100061624A1 (en) * | 2008-09-11 | 2010-03-11 | Wesley Kenneth Cobb | Detecting anomalous events using a long-term memory in a video analysis system |
| CN107871116A (zh) * | 2016-09-23 | 2018-04-03 | 塔塔咨询服务有限公司 | 用于确定人的姿势平衡的方法和系统 |
| CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
| CN110059620A (zh) * | 2019-04-17 | 2019-07-26 | 安徽艾睿思智能科技有限公司 | 基于时空注意力的骨骼行为识别方法 |
| CN110290386A (zh) * | 2019-06-04 | 2019-09-27 | 中国科学技术大学 | 一种基于生成对抗网络的低码率人体运动视频编码系统及方法 |
| CN110458013A (zh) * | 2019-07-05 | 2019-11-15 | 中国地质大学（武汉） | 一种基于实例级注意机制的交通异常事件检测方法 |
| US20200004232A1 (en) * | 2017-02-22 | 2020-01-02 | Carrier Corporation | People flow estimation system and the failure processing method thereof |
| CN111310707A (zh) * | 2020-02-28 | 2020-06-19 | 山东大学 | 基于骨骼的图注意力网络动作识别方法及系统 |
-
2020
- 2020-07-27 CN CN202010732380.3A patent/CN111967340B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030016853A1 (en) * | 2001-04-26 | 2003-01-23 | Fuji Photo Film Co., Ltd. | Image position matching method and apparatus therefor |
| US20100061624A1 (en) * | 2008-09-11 | 2010-03-11 | Wesley Kenneth Cobb | Detecting anomalous events using a long-term memory in a video analysis system |
| CN107871116A (zh) * | 2016-09-23 | 2018-04-03 | 塔塔咨询服务有限公司 | 用于确定人的姿势平衡的方法和系统 |
| US20200004232A1 (en) * | 2017-02-22 | 2020-01-02 | Carrier Corporation | People flow estimation system and the failure processing method thereof |
| CN109101896A (zh) * | 2018-07-19 | 2018-12-28 | 电子科技大学 | 一种基于时空融合特征和注意力机制的视频行为识别方法 |
| CN110059620A (zh) * | 2019-04-17 | 2019-07-26 | 安徽艾睿思智能科技有限公司 | 基于时空注意力的骨骼行为识别方法 |
| CN110290386A (zh) * | 2019-06-04 | 2019-09-27 | 中国科学技术大学 | 一种基于生成对抗网络的低码率人体运动视频编码系统及方法 |
| CN110458013A (zh) * | 2019-07-05 | 2019-11-15 | 中国地质大学（武汉） | 一种基于实例级注意机制的交通异常事件检测方法 |
| CN111310707A (zh) * | 2020-02-28 | 2020-06-19 | 山东大学 | 基于骨骼的图注意力网络动作识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈胜杰;: "基于视觉注意机制的行人重识别技术研究", 河南科技, no. 05, pages 59 - 60 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111967340B (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Andrade et al. | Hidden markov models for optical flow analysis in crowds | |
| CN112016500A (zh) | 基于多尺度时间信息融合的群体异常行为识别方法及系统 | |
| CN103324919B (zh) | 基于人脸识别的视频监控系统及其数据处理方法 | |
| CN105303193A (zh) | 一种基于单帧图像处理的人数统计系统 | |
| CN110598606A (zh) | 一种具有视觉隐私保护优势的室内跌倒行为检测方法 | |
| CN109190475A (zh) | 一种人脸识别网络与行人再识别网络协同训练方法 | |
| CN110705500A (zh) | 基于深度学习的人员工作图像的注意力检测方法及系统 | |
| CN113963301A (zh) | 一种时空特征融合的视频火灾烟雾探测方法及系统 | |
| CN113657150A (zh) | 一种跌倒检测方法、装置和计算机可读存储介质 | |
| CN115546899A (zh) | 一种基于深度学习的考场异常行为分析方法、系统及终端机 | |
| CN115294519A (zh) | 一种基于轻量化网络的异常事件检测及预警方法 | |
| Pourazad et al. | A non-intrusive deep learning based fall detection scheme using video cameras | |
| Lee et al. | A study of video-based abnormal behavior recognition model using deep learning | |
| CN115205581A (zh) | 一种钓鱼检测方法、钓鱼检测设备和计算机可读存储介质 | |
| Roy et al. | Transformer-based flood scene segmentation for developing countries | |
| CN111967340B (zh) | 一种基于视觉感知的异常事件检测方法及系统 | |
| CN116386145B (zh) | 一种基于双摄像头的银行内人员异常行为识别方法 | |
| CN115909144A (zh) | 一种基于对抗学习的监控视频异常检测方法及系统 | |
| US20210352207A1 (en) | Method for adapting the quality and/or frame rate of a live video stream based upon pose | |
| Kulkarni et al. | Automated system for detection of suspicious activity in examination hall | |
| Yan et al. | ELEvent: An Abnormal Event Detection System in Elevator Cars | |
| CN112101098A (zh) | 一种基于肢体语言深度学习的人质挟持风险评估方法 | |
| Ahan et al. | Transformer-based Flood Scene Segmentation for Developing Countries | |
| Nguyen et al. | Real-Time Drowning Detection at the Edge | |
| CN118135766A (zh) | 一种居民楼栋风险目标监测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201120 Assignee: Hubei kunpengxin Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980051910 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231214 Application publication date: 20201120 Assignee: Hefei Ruiqi Network Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980051102 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231213 Application publication date: 20201120 Assignee: Hefei Zhongqun Photoelectric Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980051081 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231213 Application publication date: 20201120 Assignee: Yuyi (Shenyang) Digital Technology Development Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980051068 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231213 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201120 Assignee: ANHUI YUNSEN INTERNET OF THINGS TECHNOLOGY Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2023980053514 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20231222 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201120 Assignee: Siteng Heli (Tianjin) Technology Co.,Ltd. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2024980001457 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20240130 Application publication date: 20201120 Assignee: TIANJIN YONGXINGTAI TECHNOLOGY CO.,LTD. Assignor: CHINA University OF GEOSCIENCES (WUHAN CITY) Contract record no.: X2024980001459 Denomination of invention: A visual perception based anomaly event detection method and system Granted publication date: 20230804 License type: Common License Record date: 20240130 |