CN109919032B - 一种基于动作预测的视频异常行为检测方法 - Google Patents
一种基于动作预测的视频异常行为检测方法 Download PDFInfo
- Publication number
- CN109919032B CN109919032B CN201910098962.8A CN201910098962A CN109919032B CN 109919032 B CN109919032 B CN 109919032B CN 201910098962 A CN201910098962 A CN 201910098962A CN 109919032 B CN109919032 B CN 109919032B
- Authority
- CN
- China
- Prior art keywords
- video
- generator
- layer
- size
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 230000006399 behavior Effects 0.000 claims abstract description 5
- 238000010586 diagram Methods 0.000 claims description 28
- 230000009471 action Effects 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 5
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Abstract
本发明公开了一种基于动作预测的视频异常行为检测方法,具体步骤包括:设计对抗生成网络模型,所设计的对抗生成网络模型包括生成器和判别器;搭建生成器的编码部分;搭建生成器的解码部分;搭建判别器;训练对抗生成网络模型的生成器和判别器;根据得到的最佳生成器网络,对视频中发生的异常事件进行检测。本发明通过利用一部分正常行为的视频统计其生成误差,根据不同场景以及时间变化动态生成异常检出阈值,能够应用于更多不同的场景,增加鲁棒性。
Description
技术领域
本发明涉及图像与视频处理领域,尤其涉及一种基于动作预测的视频异常行为检测方法。
背景技术
视频检测是计算机视觉领域的重要应用之一,而其中的视频异常行为检测作为智能视频监控中不可或缺的重要组成部分,目的是为了及时发现监控视频中的异常行为,能够有效地帮助监控人员处理异常行为。
异常行为检测方法的关键问题之一是从原始视频中提取相关特征,以便对不同类型的异常进行良好的分类。在传统的特征提取方法中,最常用的是使用空间和时间特征来对行为模式进行建模。空间和时间特征都是基于计算机视觉而提出的,比如方向梯度直方图、光流直方图、社会力模型、密集轨迹和动态纹理。但人工设计的特征需要一定的先验知识,所述先验知识主要依赖于监视目标,并且很难在不同的应用中定义。
与传统的人工设计的特征不同,通过深度神经网络能够自动提取得到良好的特征。随着技术发展,深度神经网络在图像分类,图像目标识别等领域取得了巨大的成功,得到了比传统方法更高的准确率。而深度学习在视频异常识别方面也取得了不错的成绩。由于异常行为检测与一般的动作识别和动作检测相比具有异常种类多、异常行为样本少等特点,从而难以通过人工设计行为模式或利用训练数据通过一般的深度学习方法来得到准确度较高的分类器。与正常行为相比,异常行为通常具有不可预知性、突发性大等特点。根据异常行为的不可预知性即异常行为的结果通常与预测不一致的特点,现有技术中利用长短时循环神经网络预测行人轨迹并通过统计预测结果与真实结果的误差来检测视频中的异常行为,所述方法取得了不错的结果。但该方法更实用于人流密集的场景,对于一些异常发生时运动轨迹没有发生改变的场景适用性较低,对于有跑步、跳跃等行为引发的异常事件在检测时,存在鲁棒性较低的缺陷。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于动作预测的视频异常行为检测方法。本发明能够更好地提升卷积神经网络在视频一场行为检测任务中的性能和泛化能力。
本发明的目的能够通过以下技术方案实现:
一种基于动作预测的视频异常行为检测方法,具体步骤包括:
设计对抗生成网络模型,所设计的对抗生成网络模型包括生成器和判别器;
搭建生成器的编码部分;
搭建生成器的解码部分;
搭建判别器;
训练对抗生成网络模型的生成器和判别器;
根据得到的最佳生成器网络,对视频中发生的异常事件进行检测。
具体地,所述搭建生成器的编码部分步骤中包括动作特征提取模块和图形特征提取模块。
在动作特征提取模块中,利用三维卷积的方法提取观测视频的动作特征,形成动作特征图;
在图形特征提取模块中,利用二维卷积的方法提取观测视频最后一帧的图形特征,形成图形特征图;
将动作特征图与图形特征图结合,作为对视频的编码。
更进一步地,所述动作特征提取模块的设置为:第一层由卷积核大小为4×3×3、步长为4×1×1的卷积核形成的卷积层、非线性激活层以及一个大小为1×2×2、步长为1×2×2的最大值池化层组成,之后两层均由卷积核大小为1×3×3、步长为1×1×1的卷积层、非线性激活函数以及大小为1×2×2、步长为1×2×2的最大值池化层串联而成。
更进一步地,所述图形特征提取模块由三层组成,具体设置为:每层均由卷积核大小为3×3、步长为1×1的卷积层、非线性激活层、大小为2×2、步长为2×2的最大值池化层串联形成的小模块堆叠而成。输出的图形特征图与动作特征图在长和宽的维度上的大小保持一致。
具体地,所述搭建生成器的解码部分步骤中,将输入的动作特征图按时间维度拆分为数个维度为长、宽和通道数的特征图,并按时间维度的先后顺序依次输入到卷积长短期记忆递归神经网络。拆分后的特征图数量与输入的动作特征图中时间维度的长度有关。
在所述卷积长短期记忆递归神经网络中,将根据当前输入来更新网络的状态特征图并输出一个动作预测特征图,因而当最后一个时间维度的特征图输入到卷积长短期记忆递归神经网络后,网络会根据之前所有时间维度的输入而更新的状态特征图以及最后一个时间维度的输入而输出一个与所有输入的时间维度相关的动作预测图。由于每个时间维度的特征图输入均能得到一个动作预测特征图,该动作预测特征图与该时间维度以及之前的时间维度相关,因此选择最后一个时间维度作为最终输入的动作预测特征图作为卷积长短期记忆递归神经网络的最终输出。
输出一个最终的动作预测特征图后,按通道数的维度拼接动作预测特征图和图形特征图,并输入到两层均由卷积核大小为1×3×3、步长为1×2×2的三维反卷积层和非线性激活层串联形成的网络模块中,最后通过一层卷积核大小为4×3×3、步长为4×2×2的三维反卷积层,然后输入到一个非线性激活层,输出结果为图像大小与原视频相匹配的预测视频的其中四帧,该输出的四帧将作为输入并按搭建生成器编码部分和解码部分中的处理方式进行处理,再次输出新的四帧预测视频片段,直至所有生成预测视频片段的时间长度之和满足要求后按时间先后拼接所有生成的片段,得到完整的预测视频。
具体地,所述搭建判别器步骤中的对抗生成网络的判别器包括五层三维卷积模块和三层全连接层;所述三维卷积模块均由三维卷积层、非线性激活层和最大值池化层串联而成;以真实视频以及预测视频作为输出,输出一维的结果对应的分值。
具体地,所述训练对抗生成网络模型的生成器和判别器步骤中训练方法为:由生成样本与真实样本分值之差的最小化作为训练判别器的训练方向;对于生成器,由最小化判别器对生成样本的分值以及最小化生成视频与真实视频的生成误差作为训练方向;判别器和生成器交替训练直至生成器网络至最佳。
具体地,所述训练对抗生成网络模型的生成器和判别器步骤中生成误差包括真实视频与预测视频进行逐帧像素之差的平方和、真实视频帧间差与预测视频帧间差进行逐帧间差逐像素之差的平方和,分别代表生成预测视频与真实视频图形上的相似程度以及动作上的相似程度。
具体地,所述根据得到的最佳生成器网络,对视频中发生的异常事件进行检测步骤中的检测方法为:移除判别器,将视频输入到生成器中得到生成的预测视频,通过记录每个时间段预测视频与真实视频生成的误差动态生成异常检出的阈值,对预测视频的误差超过阈值的判断为视频中发生的异常事件。
本发明相较于现有技术,具有以下的有益效果:
1、本发明通过三维卷积结合卷积长短时记忆递归网络,使得训练前不需要预先对视频提取动作特征如光流图等,能够减少数据预处理时间,加快对视频的处理速度。
2、本发明通过在训练过程中完成对动作和图形的建模,使得模型适用于描述运动轨迹和运动细节,同时也适用于描述场景中图形的外观,能够检测异常动作或异常物体的出现。
3、本发明通过利用一部分正常行为的视频统计其生成误差,根据不同场景以及时间变化动态生成异常检出阈值,能够应用于更多不同的场景,增加鲁棒性。
附图说明
图1为本发明实施例中一种基于动作预测的视频异常行为检测算法的流程图。
图2为本发明实施例基于动作预测的视频异常行为检测方法训练阶段网络模型。
图3为生成器的编码器部分的动作特征提取模块的流程图。
图4为生成器编码部分的图形特征提取模块的流程图。
图5为生成器的解码部分流程图。
图6为模型判别器流程图。
图7为本发明实施例基于动作预测的视频异常行为检测方法测试阶段网络模型。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
在本实施例中,如图1所示为一种基于动作预测的视频异常行为检测方法的流程图,具体步骤包括:
(1)设计对抗生成网络模型,所设计的对抗生成网络模型包括生成器和判别器。
如图2所示,本实施例采用对抗生成网络模型来生成预测视频,所述模型包括生成器和判别器两部分,其中生成器又包括编码器和解码器两部分。生成器中的编码器用于提取观测视频的动作特征以及图形特征,而解码器则用于根据编码器输出的动作特征以及图形特征生成预测视频。判别器则用于为生成的预测视频或真实视频评分。而异常检出的方法则采用拉依达准则法,统计预测视频的生成误差,对生成误差超过均值三倍标准差的视频片段判为异常。
(2)搭建生成器的编码部分。
先对观测视频以及其最后一帧均进行零均值化的预处理,在本实施例中,对所有像素值统一采用的预处理方法如下:
在本实施例中,所有未预处理的视频或视频帧的像素值范围为[0,255],对应的中值avg为127.5,进行预处理之后,所有像素值的数值范围为[-1,1]。
在本实施例中,动作特征提取模块总共由三层组成,如图3所示,第一层由卷积核大小为4×3×3、步长为4×1×1的卷积层、非线性激活层以及一个大小为1×2×2、步长为1×2×2的最大值池化层组成,之后的两层均由卷积核大小为1×3×3、步长均为1×1×1的卷积层、非线性激活层以及大小为1×2×2、步长为1×2×2的最大值池化层串联形成。这三层中的卷积层使用的卷积核个数分别为64,128和256。其中使用的非线性激活函数为LeakyReLU,LeakyReLU的计算公式如下:
在本实施例中,所有的α均设置为0.2。
在本实施例中,如图4所示,图形特征提取模块一共有三层,每层具体由卷积核大小为3×3、步长为1×1的卷积层、非线性激活层、大小为2×2、步长为2×2的最大值池化层串联形成,各卷积层使用的卷积核个数分别为64,128和256。其中使用的非线性激活函数为LeakyReLU。模块输出的图形特征图与动作特征图在长、宽和通道数的维度上保持大小一致。
(3)搭建生成器的解码部分。
如图5所示,动作特征图将按时间维度拆分为数个维度为长、宽和通道数的特征图,之后按时间维度的先后将拆分后的特征图全部依次输入到卷积长短期记忆递归神经网络得到一个维度为长、宽和通道数的动作预测特征图。之后按通道数维度拼接动作预测特征图和步骤(2)的图形特征图,将拼接后的特征图输入到两层卷积核大小均为1×3×3、步长均为1×2×2的三维反卷积层,最后通过一层卷积核大小为4×3×3、步长为4×2×2的三维反卷积层和一个非线性激活层后,输出为图像大小与原视频相匹配的预测视频的其中四帧。该生成的四帧将重新作为输入的观测视频按步骤(2)和步骤(3)所述方式处理后再次输出新的四帧预测视频片段,直至所有生成预测视频片段的时间长度之和满足要求后按时间先后拼接所有生成的片段得到完整的预测视频。
在本实施例中,步骤(3)使用的非线性激活函数为双曲正切函数tanh,该激活函数将最终输出的预测视频的像素值限制到(-1,1)的范围内,tanh的计算公式如下:
其中完整的预测视频与送入判别器的真实视频在帧数、长、宽和颜色通道数上均保持一致,而数值范围则分别为(-1,1)和[-1,1]。
(4)搭建判别器。
在本实施例中,如图6所示,第一、二层三维卷积模块的具体设置如下:卷积核大小为3×3×3、步长为1×1×1的卷积层、非线性激活层、大小为1×2×2、步长为1×2×2的最大值池化层串联的结构,在第一、二层时并没有减少时间维度的大小。之后三至五层的三维卷积模块中设置的运算顺序均为经过两次卷积串联非线性激活后再进行池化,具体设置如下:卷积核大小为3×3×3、步长均为1×1×1的三维卷积层,之后是非线性激活层和大小为2×2×2、步长为2×2×2的最大值池化层。在三至五层模块中进行池化操作时,均降低时间维度的大小。
因此,在本实施例中,判别器共使用了8组卷积核,一、二层模块各一组,卷积核的数量分别为64和128,三至五层模块各两组,分别是第三层模块的两组卷积核均使用了256个,第四、五层模块的各组卷积核均使用了512个。在本实施例中,步骤(4)使用的非线性激活函数为LeakyReLU。
而三层全连接层的输入为上述五层三维卷积模块的输出,每层全连接层的神经元个数分别为4096、4096和1。全连接层的最后输出不需加入通过非线性激活函数将输出值范围进行限制,因此判别器的输出范围为(-∞,+∞)。
(5)训练对抗生成网络模型的生成器和判别器。
判别器的优化目标为尽量能够使得输入判别器的生成视频和真实视频的分值之差尽量地大,而生成器的优化目标则为生成的预测视频能与真实视频尽量接近,即使得生成视频在判别器中的分值与真实视频的分值尽量相近以及生成视频与真实视频的生成误差尽量地小。训练过程中,判别器和生成器交替训练直至生成器网络至最佳。
在本实施例中,生成器和判别器的训练次数比例为1∶5,即训练5次判别器再训练1次生成器,如此循环交替。
其中,判别器的优化目标可以最小化判别器损失来表示,假设根据起帧为t、持续帧数为T的观测视频为Xt~t+T,则其通过生成器后生成起始帧为t+T+1、持续帧数同样为T预测视频预测视频在判别器D上得到的评分则为而起始帧为t+T+1、持续帧数为T的真实视频Xt+T+1~t+2T+1在D上得到的评分为D(Xt+T+1~t+2T+1),于是判别器损失函数可以用以下公式表达:
而生成器的优化目标可以用最小化生成器损失来表示,假设起帧为t、持续帧数为T的输入观测视频为Xt~t+T通过生成器G得到预测的生成视频而与生成视频的帧位置对应的真实视频则为Xt+T+1~t+2T+1,生成器损失由两部分表达,其中一部分是由该生成视频在判别器中的得分的负来表示,表示为:
另一部分生成器损失则由生成误差表示,而生成误差又由两部分组成:图像的误差和动作的误差。假设生成视频的帧数为T,帧宽为M,帧高为N,图像的误差由生成视频的像素与真实视频的像素p的逐帧逐像素的像素之差的平方和,表示为:
而动作误差则为真实视频帧间差与预测视频帧间差进行逐帧间差逐像素之差的平方和,对于长度为T的视频Xt~t+T,帧间差的计算方法为:
Diff(Xt~t+T)=Xt+1~t+T-Xt~t+T-1
于是对于帧数为T,帧宽为M,帧高为N的视频求其帧间差,所得帧间差的帧数应为T-1,帧宽为M,帧高为N。按上述方式对预测视频以及真实视频求得对应的帧间差后,对预测视频帧间差的每个像素和真实视频帧间差的每个像素d求差的平方和,具体的动作误差损失函数为:
生成器误差函数则表示为:
LG(Xt~t+T)=LDC+βLcon+γLmov
其中,β和γ是控制生成误差在生成器损失中所占的比例,在本实施例中,β和γ均为50。
(6)根据步骤(5)得到的最佳生成器网络,对视频中发生的异常事件进行检测。
如图7所示为基于动作预测的视频异常行为检测方法测试阶段网络模型,假设同一场景下正常视频的生成误差的数据相似,将视频输入到生成器中得到生成的预测视频,根据同一场景下正常历史视频的生成误差Lcon和Lmov分别求得均值μcon和μmov以及标准差σmov和σmov,根据对应的均值和标准差更新对应的阈值。对新输入的视频求得其生成误差,若图像误差及动作误差均不超过阈值,则判断为正常视频并更新均值以及标准差;若图像误差或动作误差超过阈值,则判断为异常。在本实施例中,阈值设定为均值加三倍的标准差。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (8)
1.一种基于动作预测的视频异常行为检测方法,其特征在于,具体步骤包括:
设计对抗生成网络模型,所设计的对抗生成网络模型包括生成器和一个判别器;
搭建生成器的编码部分;
搭建生成器的解码部分;
搭建判别器;所述判别器包括五层三维卷积模块和三层全连接层;第一、二层三维卷积模块不减少时间维度的大小;第三、第四、第五层三维卷积模块中进行池化操作时,均降低时间维度的大小;全连接层的最后输出不加入通过非线性激活函数将输出值范围进行限制,所述判别器的输出范围为(-∞,+∞);
训练对抗生成网络模型的生成器和判别器;在训练过程中完成对动作和图形的建模,所述对抗生成网络模型用于描述运动轨迹和运动细节,同时也用于描述场景中图形的外观;
根据得到的最佳生成器网络,对视频中发生的异常事件进行检测。
2.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法,其特征在于,所述搭建生成器的编码部分步骤中生成器编码部分包括动作特征提取模块和图形特征提取模块;
在动作特征提取模块中,利用三维卷积的方法提取观测视频的动作特征,形成动作特征图;
在图形特征提取模块中,利用二维卷积的方法提取观测视频最后一帧的图形特征,形成图形特征图;
将动作特征图与图形特征图结合,作为对视频的编码。
3.根据权利要求2所述的一种基于动作预测的视频异常行为检测方法,其特征在于,所述动作特征提取模块的设置为:第一层由卷积核大小为4×3×3、步长为4×1×1的卷积核形成的卷积层、非线性激活层以及一个大小为1×2×2、步长为1×2×2的最大值池化层组成,之后两层均由卷积层1×3×3、步长为1×1×1的卷积层、非线性激活函数以及大小为1×2×2、步长为1×2×2的最大值池化层串联而成。
4.根据权利要求2所述的一种基于动作预测的视频异常行为检测方法,其特征在于,所述图形特征提取模块由三层组成,具体设置为:每层均由卷积核大小为3×3、步长为1×1的卷积层、非线性激活层、大小为2×2、步长为2×2的最大值池化层串联形成的小模块堆叠而成;输出的图形特征图与动作特征图在长和宽的维度上的大小保持一致。
5.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法,其特征在于,所述搭建生成器的解码部分步骤中,将输入的动作特征图按时间维度拆分为数个维度为长、宽和通道数的特征图,并按时间维度的先后顺序依次输入到卷积长短期记忆递归神经网络,从而得到一个维度为长、宽和通道数的动作预测特征图;之后按通道数的维度拼接动作预测特征图和图形特征图,再输入到两层由卷积核大小均为1×3×3、步长均为1×2×2的三维反卷积层和非线性激活层串联形成的网络模块中,最后通过一层卷积核大小为4×3×3、步长为4×2×2的三维反卷积层,然后输入到一个非线性激活层,输出为图像大小与原视频相匹配的预测视频的其中四帧,该生成的四帧将作为输入按搭建生成器的编码部分和解码部分步骤中的处理方式进行处理,输出新的四帧预测视频片段,直至所有生成预测视频片段的时间长度之和满足要求后按时间先后拼接所有生成的片段,得到完整的预测视频。
6.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法,其特征在于,所述搭建判别器步骤中的对抗生成网络的判别器三维卷积模块均由三维卷积层、非线性激活层和最大值池化层串联而成;以真实视频以及预测视频作为输入,输出一维的结果对应的分值。
7.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法,其特征在于,所述训练对抗生成网络模型的生成器和判别器步骤中训练方法为:由生成样本与真实样本分值之差的最小化作为训练判别器的训练方向;对于生成器,由最小化判别器对生成样本的分值以及最小化生成视频与真实视频的生成误差作为训练方向;判别器和生成器交替训练直至生成器网络至最佳;
所述生成误差包括真实视频与预测视频进行逐帧像素之差的平方和、真实视频帧间差与预测视频帧间差进行逐帧间差逐像素之差的平方和。
8.根据权利要求1所述的一种基于动作预测的视频异常行为检测方法,其特征在于,所述根据得到的最佳生成器网络,对视频中发生的异常事件进行检测步骤中的检测方法为:移除判别器,将视频输入到生成器中得到生成的预测视频,通过记录每个时间段预测视频与真实视频生成的误差动态生成异常检出的阈值,对预测视频的误差超过阈值的判断为视频中发生的异常事件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910098962.8A CN109919032B (zh) | 2019-01-31 | 2019-01-31 | 一种基于动作预测的视频异常行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910098962.8A CN109919032B (zh) | 2019-01-31 | 2019-01-31 | 一种基于动作预测的视频异常行为检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109919032A CN109919032A (zh) | 2019-06-21 |
CN109919032B true CN109919032B (zh) | 2021-03-30 |
Family
ID=66961193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910098962.8A Expired - Fee Related CN109919032B (zh) | 2019-01-31 | 2019-01-31 | 一种基于动作预测的视频异常行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109919032B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110456355B (zh) * | 2019-08-19 | 2021-12-24 | 河南大学 | 一种基于长短时记忆和生成对抗网络的雷达回波外推方法 |
CN110839156A (zh) * | 2019-11-08 | 2020-02-25 | 北京邮电大学 | 一种基于视频图像的未来帧预测方法及模型 |
CN110909707A (zh) * | 2019-12-02 | 2020-03-24 | 天津大海云科技有限公司 | 一种基于生成式对抗网络的视频巡查系统及方法 |
CN111062340B (zh) * | 2019-12-20 | 2023-05-23 | 湖南师范大学 | 一种基于虚拟姿态样本合成的异常步态行为识别方法 |
CN111683256B (zh) * | 2020-08-11 | 2021-01-05 | 蔻斯科技(上海)有限公司 | 视频帧预测方法、装置、计算机设备和存储介质 |
CN112052763B (zh) * | 2020-08-27 | 2024-02-09 | 西安电子科技大学 | 基于双向回顾生成对抗网络的视频异常事件检测方法 |
CN112287816B (zh) * | 2020-10-28 | 2023-05-23 | 西安交通大学 | 一种基于深度学习的危险工作区事故自动检测报警方法 |
CN112418149A (zh) * | 2020-12-04 | 2021-02-26 | 清华大学深圳国际研究生院 | 一种基于深卷积神经网络的异常行为检测方法 |
CN112488238B (zh) * | 2020-12-14 | 2022-11-15 | 桂林电子科技大学 | 一种基于对抗自编码器的混合异常检测方法 |
CN115240120B (zh) * | 2022-09-21 | 2022-12-13 | 中山大学深圳研究院 | 一种基于对抗网络的行为识别方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506756A (zh) * | 2017-09-26 | 2017-12-22 | 北京航空航天大学 | 一种基于Gabor滤波器三维卷积神经网络模型的人体动作识别方法 |
CN109064507A (zh) * | 2018-08-21 | 2018-12-21 | 北京大学深圳研究生院 | 一种用于视频预测的多运动流深度卷积网络模型方法 |
CN109168003A (zh) * | 2018-09-04 | 2019-01-08 | 中国科学院计算技术研究所 | 一种生成用于视频预测的神经网络模型的方法 |
CN109241830A (zh) * | 2018-07-26 | 2019-01-18 | 合肥工业大学 | 基于光照生成对抗网络的课堂听课异常检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101193603B (zh) * | 2005-06-06 | 2010-11-03 | 直观外科手术公司 | 腹腔镜的超声机器人外科手术系统 |
US20160127380A1 (en) * | 2011-04-01 | 2016-05-05 | Rightscorp, Inc. | System and method to verify predetermined actions by a computer on a network |
CN104281858B (zh) * | 2014-09-15 | 2018-07-10 | 中安消技术有限公司 | 三维卷积神经网络训练方法、视频异常事件检测方法及装置 |
CN108846365B (zh) * | 2018-06-24 | 2022-04-22 | 深圳市中悦科技有限公司 | 视频中打架行为的检测方法、装置、存储介质及处理器 |
-
2019
- 2019-01-31 CN CN201910098962.8A patent/CN109919032B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506756A (zh) * | 2017-09-26 | 2017-12-22 | 北京航空航天大学 | 一种基于Gabor滤波器三维卷积神经网络模型的人体动作识别方法 |
CN109241830A (zh) * | 2018-07-26 | 2019-01-18 | 合肥工业大学 | 基于光照生成对抗网络的课堂听课异常检测方法 |
CN109064507A (zh) * | 2018-08-21 | 2018-12-21 | 北京大学深圳研究生院 | 一种用于视频预测的多运动流深度卷积网络模型方法 |
CN109168003A (zh) * | 2018-09-04 | 2019-01-08 | 中国科学院计算技术研究所 | 一种生成用于视频预测的神经网络模型的方法 |
Non-Patent Citations (4)
Title |
---|
DECOMPOSING MOTION AND CONTENT FOR NATURAL VIDEO SEQUENCE PREDICTION;Ruben Villegas 等;《arXiv》;20170625;第1-22页第3-4节 * |
MDGAN: Boosting Anomaly Detection Using Multi-Discriminator Generative Adversarial Networks;Yotam Intrator等;《arXiv》;20181011;第1-8页第2-3节 * |
一种基于三维卷积网络的暴力视频检测方法;宋伟 等;《技术研究》;20171231(第12期);第54-60页第2节 * |
应用残差生成对抗网络的路况视频帧预测模型;袁帅 等;《西安交通大学学报》;20181031;第52卷(第10期);第146-152+166页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109919032A (zh) | 2019-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109919032B (zh) | 一种基于动作预测的视频异常行为检测方法 | |
CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
CN108805015B (zh) | 加权卷积自编码长短期记忆网络人群异常检测方法 | |
CN108805002B (zh) | 基于深度学习和动态聚类的监控视频异常事件检测方法 | |
CN110889375B (zh) | 用于行为识别的隐双流协作学习网络及方法 | |
CN111079539B (zh) | 一种基于异常追踪的视频异常行为检测方法 | |
CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
CN112329685A (zh) | 一种融合型卷积神经网络人群异常行为检测的方法 | |
CN113378775B (zh) | 一种基于深度学习的视频阴影检测与消除方法 | |
CN110580472A (zh) | 一种基于全卷积网络和条件对抗网络的视频前景检测方法 | |
CN106650617A (zh) | 一种基于概率潜在语义分析的行人异常识别方法 | |
CN111476133B (zh) | 面向无人驾驶的前背景编解码器网络目标提取方法 | |
CN113011329A (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
CN111461129B (zh) | 一种基于上下文先验的场景分割方法和系统 | |
CN112906631B (zh) | 一种基于视频的危险驾驶行为检测方法和检测系统 | |
CN110532959B (zh) | 基于双通道三维卷积神经网络的实时暴力行为检测系统 | |
CN110853074A (zh) | 一种利用光流增强目标的视频目标检测网络系统 | |
CN109614933A (zh) | 一种基于确定性拟合的运动分割方法 | |
CN115661505A (zh) | 一种语义感知的图像阴影检测方法 | |
CN112418032A (zh) | 一种人体行为识别方法、装置、电子设备及存储介质 | |
Li et al. | Event transformer | |
CN109508639B (zh) | 基于多尺度带孔卷积神经网络的道路场景语义分割方法 | |
CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
CN116630850A (zh) | 基于多注意力任务融合与边界框编码的孪生目标跟踪方法 | |
CN112446245A (zh) | 一种基于运动边界小位移的高效运动表征方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210330 |
|
CF01 | Termination of patent right due to non-payment of annual fee |