CN109615019B - 基于时空自动编码器的异常行为检测方法 - Google Patents
基于时空自动编码器的异常行为检测方法 Download PDFInfo
- Publication number
- CN109615019B CN109615019B CN201811585933.6A CN201811585933A CN109615019B CN 109615019 B CN109615019 B CN 109615019B CN 201811585933 A CN201811585933 A CN 201811585933A CN 109615019 B CN109615019 B CN 109615019B
- Authority
- CN
- China
- Prior art keywords
- information
- layer
- layers
- automatic encoder
- optical flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
基于时空自动编码器的异常行为检测方法属图像处理和模式识别技术领域,本发明首先获取待测区域的视频图像,然后将视频的光流信息和RGB信息分别输入到时空自编码器中,经过自动编码器中的3D卷积层、池化层、LSTM层和反卷积层,得出重构信息,将输入的信息与重构信息进行对比,分别依据异常评分公式得到异常评分,再将两种异常评分融合得到综合异常评分,与阈值进行比较,判别是否存在异常行为以及异常情况出现的时间,异常评分越高,异常情况发生的可能性越大。本发明通过融合多模态输入信息的时空自动编码器,在银行等公共区域检测到人群中的异常行为并给安保人员发出预警,以减少重大异常事件等突发情况的发生。
Description
技术领域
本发明属图像处理和模式识别技术领域,具体涉及一种基于时空自动编码器的异常行为检测方法。
背景技术
近年来,我国手段不一的侵犯银行金融业等公共重要场所的行为时有发生,给国家财产以及人民生命安全造成了不同程度的损失和伤害。由此出发,公共场所的异常行为检测已成为当前安全防控系统的一个研究热点问题,越来越多的专家学者投身于此领域。
为解决这一问题,科研人员已经提出过多种异常行为监测的方法,根据方法不同,大致可分为:传统方法、有监督学习方法和无监督学习方法。传统方法:例如轨迹信息等,首先对视频中的目标进行跟踪,然后提取目标移动轨迹,根据轨迹判断时候存在异常行为,但这种方法在具有多个遮挡和阴影的复杂或拥挤场景下表现不够稳健,从而影响结果,有较大的局限性。有监督学习方法:例如CNN,RNN等,虽然方法较多,但在异常检查的情况下,带正常和异常标签的数据的数量是不平衡的,获得精确的有代表性的标签很困难,特别对于异常数据来说,因此训练不方便。无监督学习:例如自动编码器,聚类等,这种方法不需要正常和异常数据的标签信息,对于训练数据更好获得。
在无监督学习中,仅通过图像RGB信息来估计人体运动信息,这种方法受光照和阴影的影响较大,在人群密集场所精度有限,当有障碍物或人群重叠时,检测效果不佳。
由于已有算法的种种缺陷,在实际应用中效果不够理想,需要改进算法。
发明内容
本发明的目的在于提供一种基于融合多模态输入数据的时空自编码器的异常行为检测算法,最大程度上提高异常行为检测的准确率。
本发明解决其问题所采用的技术方案是:
基于时空自动编码器的异常行为检测方法,是提前构建训练样本视频库和测试样本视频库,所述训练样本视频库仅包含正样本,即正常行为样本,所诉测试样本视频库包含正样本和负样本,即正常行为视频和异常行为视频。所述异常行为检测方法包括下列步骤:
1.制作监控视频数据集,并对视频进行预处理,具体包括下列步骤:
1.1将全部视频分为训练集和测试集,其中训练集占80%,测试集占20%,训练集中仅包含正样本视频,测试集中包含正样本和负样本视频;
1.2预处理:将训练集和测试集中的视频流分别转化成大小为224*224的帧图像,并对数据集进行扩充,即对帧图像进行亮度转变、高斯噪声处理以得到更多的训练集;
2.提取多模态特征信息,选择图像的RGB信息和光流信息作为特征信息,具体包括下列步骤:
2.1计算每10帧间的光流信息,利用Gunnar Farneback算法对图像进行稠密光流计算;
2.2计算每10帧图像的RGB信息,转化为灰度信息;
2.3对得到的光流信息和灰度信息进行零均值的归一化处理,并存储在.npy文件中;
3.将处理过的光流信息输入时空自动编码器中,利用时空自动编码器中的卷积和反卷积操作,输出重构信息,具体包括下列步骤:
3.1将光流信息和灰度信息分别作为输入,输入层的尺寸为224*224*10*1;
3.2设计时空自动编码器,共11层网络,由3D卷积层、最大池化层、LSTM、上采样层和反卷积层组成,具体结构如下:
3.2.1第1、3层为3D卷积层,卷积层深度分别为128、64,卷积核分别为5*5*1、3*3*1,步长分别为2*2*1、2*2*1,激活函数均为relu函数;
3.2.2第2、4层为最大池化层,池大小为2*2*1;
3.2.3第5、6、7层为LSTM层、反卷积层中卷积层深度分别为64、32、64,卷积核均为3*3*1:
3.2.4第8、10层为上采样层,尺寸为2*2*1;
3.2.5第9、11层为反卷积层,反卷积层中卷积层深度分别为64、128,卷积核分别为3*3*1、5*5*1,步长分别为2*2*1、2*2*1,激活函数均为relu函数;
3.3数据经过时空自动编码器后,其特征图大小变化情况为:
3.3.1卷积层输入特征图大小为224*224*1*10,经过第1层特征图变为112*112*128*10,经过第2层特征图变为56*56*64*10,经过第3层特征图变为28*28*64*10,经过第4层特征图变为14*14*64*10;
3.3.2LSTM层的输入为上一层卷积层的输出,经过3层LSTM层,特征图大小仍为14*14*64*10;
3.3.3上采样层的输入为上一层LSTM层的输出,经过第7层特征图变为28*28*64*10,经过第9层反卷积层特征图变为56*56*128*10,经过第10层特征图还原为112*112*128*10,经过第11层反卷积层特征图变为224*224*1*10;
3.4在训练过程中,随机抽取训练集中15%数据作为验证集,训练50轮;采用随机梯度下降算法;初始学习率为0.03;权重衰减参数为0.000001;momentum设置为0.9;将训练好的模型保存成.h5模型,以用作测试模型;
4.完成步骤1和2的操作,得到.npy文件,将.npy文件输入步骤3.4中保存的.h5模型中,得到重构的光流信息和灰度信息,将重构信息与原始输入信息进行对比,分别得出异常评分,再对异常评分进行信息融合,建立异常检测评估模型,具体包括下列步骤:
4.1计算重建误差:计算输入图像序列和重建的图像序列的所有像素值,计算两者间的欧式距离:
e(t)=||x(t)-fw(x(t))||2
其中:e(t)为重建误差,x(t)为输入序列像素,fw(x(t))为输出序列像素;
4.2计算异常评分和正常评分,包括下列步骤:
4.2.1计算异常评分:根据重建误差,计算图像序列的异常评分,异常评分限制在[0,1]:
其中:sa(t)为异常评分,e(t)为重建误差,e(t)min为重建误差序列中的最小项,e(t)max为重建误差序列中的最大顶;
4.2.2计算正常评分:
sr(t)=1-sa(t)
其中:sr(t)为正常评分,sa(t)为异常评分;
4.3对分别得出的异常评分进行信息融合:
sz(t)=(sa1(t)+sa2(t))/2
其中,sa1(t)是光流信息异常评分,sa2(t)是灰度信息异常评分,sz(t)是光流和灰度信息融合之后的综合异常评分;
5.设定阈值:设定合适的阈值,当图像序列的综合异常评分高于阈值,说明视频中出现异常行为,将发送警报提醒安保人员,防止重大异常事故发生。
本发明基于自动编码器的重构网络,能实现对视频片段的异常行为检测:提出一种融合多模态输入数据的时空自动编码器检测异常行为的算法。由于仅仅是RGB信息不能够完全的将目标的运动情况表达出来,当目标发生重叠或遮挡时容易丢失目标,故提出将光流信息和 RGB信息结合,可以很好地表达目标的特征信息。由于自动编码器无法对时域信息进行编码,故提出时空自动编码器,该编码器将时域信息加入到编码器中,可以对时域信息进行重建,再根据重建信息计算重建误差,进而计算视频的异常评分,综合两种特征信息的异常评分得到最终的评分,再根据阈值判定是否发出警报提示安保人员及时进行安全防护,以防止公共财产及人身安全的损害。
附图说明
图1为基于时空自动编码器的异常行为检测流程图
图2为时空自动编码器网络结构图
图3为视频图像预处理流程图
图4为时空自动编码器输入输出示意图
图5为光流信息和RGB信息融合评分示意图
图6为异常评分示意图
具体实施方式
下面结合附图进一步说明本发明的实施流程,以便本领域的技术人员更好地理解本发明。
一种融合多模态特征信息的时空自动编码器异常行为检测方法,包括提前构建训练样本图像库,如图1所示,该方法包括下列步骤:
1.制作监控视频数据集,并对视频进行预处理,如图3所示,具体包括下列步骤:
1.1将全部视频分为训练集和测试集,其中训练集占80%,测试集占20%,训练集中仅包含正样本视频,测试集中包含正样本和负样本视频;
1.2预处理:将训练集和测试集中的视频流分别转化成大小为224*224的帧图像,并对数据集进行扩充,即对帧图像进行亮度转变、高斯噪声处理以得到更多的训练集;
2.提取多模态特征信息,选择图像的RGB信息和光流信息作为特征信息,具体包括下列步骤:
2.1计算每10帧间的光流信息,利用Gunnar Farneback算法对图像进行稠密光流计算;
2.2计算每10帧图像的RGB信息,转化为灰度信息;
2.3对得到的光流信息和灰度信息进行零均值的归一化处理,并存储在.npy文件中;
3.将处理过的光流信息输入时空自动编码器中,如图2所示,利用时空自动编码器中的卷积和反卷积操作,输出重构信息,具体包括下列步骤:
3.1将光流信息和灰度信息分别作为输入,输入层的尺寸为224*224*10*1;
3.2设计时空自动编码器,共11层网络,由3D卷积层、最大池化层、LSTM、上采样层和反卷积层组成,具体结构如下:
3.2.1第1、3层为3D卷积层,卷积层深度分别为128、64,卷积核分别为5*5*1、3*3*1,步长分别为2*2*1、2*2*1,激活函数均为relu函数;
3.2.2第2、4层为最大池化层,池大小为2*2*1;
3.2.3第5、6、7层为LSTM层、反卷积层中卷积层深度分别为64、32、64,卷积核均为3*3*1;
3.2.4第8、10层为上采样层,尺寸为2*2*1;
3.2.5第9、11层为反卷积层,反卷积层中卷积层深度分别为64、128,卷积核分别为3*3*1、5*5*1,步长分别为2*2*1、2*2*1,激活函数均为relu函数;
3.3数据经过时空自动编码器后,其特征图大小变化情况为:
3.3.1卷积层输入特征图大小为224*224*1*10,经过第1层特征图变为112*112*128*10,经过第2层特征图变为56*56*64*10,经过第3层特征图变为28*28*64*10,经过第4层特征图变为14*14*64*10;
3.3.2 LSTM层的输入为上一层卷积层的输出,经过3层LSTM层,特征图大小仍为14*14*64*10;
3.3.3上采样层的输入为上一层LSTM层的输出,经过第7层特征图变为28*28*64*10,经过第9层反卷积层特征图变为56*56*128*10,经过第10层特征图还原为112*112*128*10,经过第11层反卷积层特征图变为224*224*1*10;
3.4在训练过程中,随机抽取训练集中15%数据作为验证集,训练50轮;采用随机梯度下降算法;初始学习率为0.03;权重衰减参数为0.000001;momentum设置为0.9;将训练好的模型保存成.h5模型,以用作测试模型;
4.完成步骤1和2的操作,得到.npy文件,将.npy文件输入步骤3.4中保存的.h5模型中,得到重构的光流信息和灰度信息,将重构信息与原始输入信息进行对比,分别得出异常评分,再对异常评分进行信息融合,建立异常检测评估模型,具体包括下列步骤:
4.1计算重建误差:计算输入图像序列和重建的图像序列的所有像素值,计算两者间的欧式距离:
e(t)=||x(t)-fw(x(t))||2
其中:e(t)为重建误差,x(t)为输入序列像素,fw(x(t))为输出序列像素;
4.2计算异常评分和正常评分,包括下列步骤:
4.2.1计算异常评分:根据重建误差,计算图像序列的异常评分,异常评分限制在[0,1]:
其中:sa(t)为异常评分,e(t)为重建误差,e(t)min为重建误差序列中的最小项,e(t)max为重建误差序列中的最大项;
4.2.2计算正常评分:
sr(t)=1-sa(t)
其中:sr(t)为正常评分,sa(t)为异常评分;
4.3对分别得出的异常评分进行信息融合:
sz(t)=(sa1(t)+sa2(t))/2
其中,sa1(t)是光流信息异常评分,sa2(t)是灰度信息异常评分,sz(t)是光流和灰度信息融合之后的综合异常评分;
5.设定阈值:设定合适的阈值,当图像序列的综合异常评分高于阈值,说明视频中出现异常行为,将发送警报提醒安保人员,防止重大异常事故发生。
Claims (4)
1.一种基于时空自动编码器的异常行为检测方法,其特征在于,包括下列步骤:
1.1制作监控视频数据集,并对视频进行预处理,具体包括下列步骤:
1.1.1将全部视频分为训练集和测试集,其中训练集占80%,测试集占20%,训练集中仅包含正样本视频,测试集中包含正样本和负样本视频;
1.1.2预处理:将训练集和测试集中的视频流分别转化成大小为224*224的帧图像,并对数据集进行扩充,即对帧图像进行亮度转变、高斯噪声处理以得到更多的训练集;
1.2提取多模态特征信息,选择图像的RGB信息和光流信息作为特征信息,具体包括下列步骤:
1.2.1计算每10帧间的光流信息,利用Gunnar Farneback算法对图像进行稠密光流计算;
1.2.2计算每10帧图像的RGB信息,转化为灰度信息;
1.2.3对得到的光流信息和灰度信息进行零均值的归一化处理,并存储在.npy文件中;
1.3将处理过的光流信息输入时空自动编码器中,利用时空自动编码器中的卷积和反卷积操作,输出重构信息,具体包括下列步骤:
1.3.1将光流信息和灰度信息分别作为输入,输入层的尺寸为224*224*10*1;
1.3.2设计时空自动编码器,共11层网络,由3D卷积层、最大池化层、LSTM、上采样层和反卷积层组成,具体结构如下:
1.3.2.1第1、3层为3D卷积层,卷积层深度分别为128、64,卷积核分别为5*5*1、3*3*1,步长分别为2*2*1、2*2*1,激活函数均为relu函数;
1.3.2.2第2、4层为最大池化层,池大小为2*2*1;
1.3.2.3第5、6、7层为LSTM层、反卷积层中卷积层深度分别为64、32、64,卷积核均为3*3*1;
1.3.2.4第8、10层为上采样层,尺寸为2*2*1;
1.3.2.5第9、11层为反卷积层,反卷积层中卷积层深度分别为64、128,卷积核分别为3*3*1、5*5*1,步长分别为2*2*1、2*2*1,激活函数均为relu函数;
1.3.3数据经过时空自动编码器后,其特征图大小变化情况为:
1.3.3.1卷积层输入特征图大小为224*224*1*10,经过第1层特征图变为112*112*128*10,经过第2层特征图变为56*56*64*10,经过第3层特征图变为28*28*64*10,经过第4层特征图变为14*14*64*10;
1.3.3.2LSTM层的输入为上一层卷积层的输出,经过3层LSTM层,特征图大小仍为14*14*64*10;
1.3.3.3上采样层的输入为上一层LSTM层的输出,经过第7层特征图变为28*28*64*10,经过第9层反卷积层特征图变为56*56*128*10,经过第10层特征图还原为112*112*128*10,经过第11层反卷积层特征图变为224*224*1*10;
1.3.4在训练过程中,随机抽取训练集中15%数据作为验证集,训练50轮;采用随机梯度下降算法;初始学习率为0.03;权重衰减参数为0.000001;momentum设置为0.9;将训练好的模型保存成.h5模型,以用作测试模型;
1.4完成步骤1.1和1.2的操作,得到.npy文件,将.npy文件输入步骤1.3.4中保存的.h5模型中,得到重构的光流信息和灰度信息,将重构信息与原始输入信息进行对比,分别得出异常评分,再对异常评分进行信息融合,建立异常检测评估模型,具体包括下列步骤:
1.4.1计算重建误差:计算输入图像序列和重建的图像序列的所有像素值,计算两者间的欧式距离:
e(t)=||x(t)-fw(x(t))||2
其中:e(t)为重建误差,x(t)为输入序列像素,fw(x(t))为输出序列像素;
1.4.2计算异常评分和正常评分,包括下列步骤:
1.4.2.1计算异常评分:根据重建误差,计算图像序列的异常评分,异常评分限制在[0,1]:
其中:sa(t)为异常评分,e(t)为重建误差,e(t)min为重建误差序列中的最小项,e(t)max为重建误差序列中的最大项;
1.4.2.2计算正常评分:
sr(t)=1-sa(t)
其中:sr(t)为正常评分,sa(t)为异常评分;
1.4.3对分别得出的异常评分进行信息融合:
sz(t)=(sa1(t)+sa2(t))/2
其中,sa1(t)是光流信息异常评分,sa2(t)是灰度信息异常评分,sz(t)是光流和灰度信息融合之后的综合异常评分;
1.5设定阈值:设定合适的阈值,当图像序列的综合异常评分高于阈值,说明视频中出现异常行为,将发送警报提醒安保人员,防止重大异常事故发生。
2.按权利要求1所述的基于时空自动编码器的异常行为检测方法,其特征在于:步骤1.1.2所述的训练集指用于训练时空自动编码器的视频样本;所述的测试集指用于时空自动编码器的测试,衡量检测性能的视频样本。
3.按权利要求1所述的基于时空自动编码器的异常行为检测方法,其特征在于:步骤1.2.3所诉的光流信息和灰度信息为时空自动编码器中的输入信息。
4.按权利要求1所述的基于时空自动编码器的异常行为检测方法,其特征在于:步骤1.3所述的卷积层深度为卷积核的个数,也对应图像的通道数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811585933.6A CN109615019B (zh) | 2018-12-25 | 2018-12-25 | 基于时空自动编码器的异常行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811585933.6A CN109615019B (zh) | 2018-12-25 | 2018-12-25 | 基于时空自动编码器的异常行为检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109615019A CN109615019A (zh) | 2019-04-12 |
CN109615019B true CN109615019B (zh) | 2022-05-31 |
Family
ID=66012166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811585933.6A Active CN109615019B (zh) | 2018-12-25 | 2018-12-25 | 基于时空自动编码器的异常行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109615019B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110007355A (zh) * | 2019-04-15 | 2019-07-12 | 中国科学院电子学研究所 | 一种卷积自编码器及物体内部异常的检测方法和装置 |
CN110287439A (zh) * | 2019-06-27 | 2019-09-27 | 电子科技大学 | 一种基于lstm的网络行为异常检测方法 |
CN112202625B (zh) * | 2019-07-08 | 2023-08-15 | 中国移动通信集团浙江有限公司 | 网元异常诊断方法、装置、计算设备及计算机存储介质 |
CN110765845B (zh) * | 2019-09-04 | 2023-08-22 | 江苏大学 | 一种基于视频的行为识别方法 |
CN113076772A (zh) * | 2019-12-18 | 2021-07-06 | 广东毓秀科技有限公司 | 基于全模态的异常行为识别方法 |
CN111523361B (zh) * | 2019-12-26 | 2022-09-06 | 中国科学技术大学 | 一种人体行为识别方法 |
CN111246206B (zh) * | 2020-01-14 | 2021-09-21 | 山东浪潮科学研究院有限公司 | 一种基于自编码器的光流信息压缩方法及装置 |
CN111400547B (zh) * | 2020-03-05 | 2023-03-24 | 西北工业大学 | 一种人机协作的视频异常检测方法 |
CN111402237B (zh) * | 2020-03-17 | 2023-04-18 | 山东大学 | 基于时空级联自编码器的视频图像异常检测方法及系统 |
CN111476162A (zh) * | 2020-04-07 | 2020-07-31 | 广东工业大学 | 一种操作命令生成方法、装置及电子设备和存储介质 |
CN111738054B (zh) * | 2020-04-17 | 2023-04-18 | 北京理工大学 | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 |
CN111259874B (zh) * | 2020-05-06 | 2020-07-28 | 成都派沃智通科技有限公司 | 一种基于深度学习的校园安全视频监测方法 |
CN111666819B (zh) * | 2020-05-11 | 2022-06-14 | 武汉大学 | 一种融合多元信息的高精度视频异常事件检测方法 |
CN111814548B (zh) * | 2020-06-03 | 2022-12-09 | 中铁第四勘察设计院集团有限公司 | 一种异常行为检测方法和装置 |
CN111815561B (zh) * | 2020-06-09 | 2024-04-16 | 中海石油(中国)有限公司 | 一种基于深度时空特征的管道缺陷及管道组件的检测方法 |
CN111831870B (zh) * | 2020-06-12 | 2024-02-13 | 北京百度网讯科技有限公司 | 时空数据的异常检测方法、装置、电子设备和存储介质 |
CN113836969A (zh) * | 2020-06-23 | 2021-12-24 | 山西农业大学 | 一种基于双流的异常事件检测方法 |
CN111931587B (zh) * | 2020-07-15 | 2022-10-25 | 重庆邮电大学 | 基于可解释时空自编码器的视频异常检测方法 |
CN111880998B (zh) * | 2020-07-30 | 2022-09-02 | 平安科技(深圳)有限公司 | 服务系统异常检测方法、装置、计算机设备和存储介质 |
CN111967507A (zh) * | 2020-07-31 | 2020-11-20 | 复旦大学 | 基于离散余弦变换和U-Net的时序异常检测方法 |
CN112115769A (zh) * | 2020-08-05 | 2020-12-22 | 西安交通大学 | 一种基于视频的无监督稀疏人群异常行为检测算法 |
CN112270298B (zh) * | 2020-11-16 | 2023-04-25 | 北京深睿博联科技有限责任公司 | 道路异常识别的方法及装置、设备及计算机可读存储介质 |
CN112395382A (zh) * | 2020-11-23 | 2021-02-23 | 武汉理工大学 | 基于变分自编码器的船舶异常航迹数据检测方法和装置 |
CN113255733B (zh) * | 2021-04-29 | 2023-04-07 | 西安交通大学 | 多模态数据缺失下的无监督异常检测方法 |
CN113239814B (zh) * | 2021-05-17 | 2024-02-02 | 平安科技(深圳)有限公司 | 基于光流重构的面部表情识别方法、装置、设备及介质 |
CN113364752B (zh) * | 2021-05-27 | 2023-04-18 | 鹏城实验室 | 一种流量异常检测方法、检测设备及计算机可读存储介质 |
CN113204590B (zh) * | 2021-05-31 | 2021-11-23 | 中国人民解放军国防科技大学 | 基于序列化自编码器的无监督kpi异常检测方法 |
CN113660236B (zh) * | 2021-08-10 | 2023-05-09 | 和安科技创新有限公司 | 一种基于优化堆叠降噪卷积自编码网络的异常流量检测方法、存储器和处理器 |
CN113705490B (zh) * | 2021-08-31 | 2023-09-12 | 重庆大学 | 基于重构和预测的异常检测方法 |
CN115082870A (zh) * | 2022-07-18 | 2022-09-20 | 松立控股集团股份有限公司 | 一种停车场异常事件检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105608446A (zh) * | 2016-02-02 | 2016-05-25 | 北京大学深圳研究生院 | 一种视频流异常事件的检测方法及装置 |
EP3086320A1 (en) * | 2015-04-23 | 2016-10-26 | Adidas AG | Method and device for associating frames in a video of an activity of a person with an event |
CN108805015A (zh) * | 2018-04-26 | 2018-11-13 | 常州大学 | 加权卷积自编码长短期记忆网络人群异常检测方法 |
CN109063609A (zh) * | 2018-07-18 | 2018-12-21 | 电子科技大学 | 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法 |
CN109620244A (zh) * | 2018-12-07 | 2019-04-16 | 吉林大学 | 基于条件生成对抗网络和svm的婴儿异常行为检测方法 |
KR20200132665A (ko) * | 2019-05-17 | 2020-11-25 | 삼성전자주식회사 | 집중 레이어를 포함하는 생성기를 기반으로 예측 이미지를 생성하는 장치 및 그 제어 방법 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180232904A1 (en) * | 2017-02-10 | 2018-08-16 | Seecure Systems, Inc. | Detection of Risky Objects in Image Frames |
-
2018
- 2018-12-25 CN CN201811585933.6A patent/CN109615019B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3086320A1 (en) * | 2015-04-23 | 2016-10-26 | Adidas AG | Method and device for associating frames in a video of an activity of a person with an event |
CN105608446A (zh) * | 2016-02-02 | 2016-05-25 | 北京大学深圳研究生院 | 一种视频流异常事件的检测方法及装置 |
CN108805015A (zh) * | 2018-04-26 | 2018-11-13 | 常州大学 | 加权卷积自编码长短期记忆网络人群异常检测方法 |
CN109063609A (zh) * | 2018-07-18 | 2018-12-21 | 电子科技大学 | 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法 |
CN109620244A (zh) * | 2018-12-07 | 2019-04-16 | 吉林大学 | 基于条件生成对抗网络和svm的婴儿异常行为检测方法 |
KR20200132665A (ko) * | 2019-05-17 | 2020-11-25 | 삼성전자주식회사 | 집중 레이어를 포함하는 생성기를 기반으로 예측 이미지를 생성하는 장치 및 그 제어 방법 |
Non-Patent Citations (6)
Title |
---|
【数据应用案例】使用时空自编码器检测视频异常事件;稻蛙;《https://blog.csdn.net/u013382288/article/details/81536079》;20180809;第1页 * |
Abnormal Event Detection Using Recurrent Neural Network;Xu-Gang Zhou等;《2015 International Conference on Computer Science and Applications (CSA)》;20170116;第222-226页 * |
基于3D卷积自编码器的视频异常行为检测;连靖等;《智能计算机与应用》;20210601;第11卷(第6期);第70-75页 * |
基于灰度标准差的光流模型的步态识别算法;李蓉;《昆明理工大学学报(理工版)》;20101015;第35卷(第5期);第66-69+74页 * |
基于自动编码器与概率神经网络的人体运动行为识别方法;李兴等;《软件导刊》;20180115;第17卷(第1期);第11-13+18页 * |
基于自动编码器的异常行为检测;岳海纯;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200815(第8期);第I138-507页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109615019A (zh) | 2019-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109615019B (zh) | 基于时空自动编码器的异常行为检测方法 | |
CN109829891B (zh) | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 | |
CN108805015B (zh) | 加权卷积自编码长短期记忆网络人群异常检测方法 | |
CN112287816B (zh) | 一种基于深度学习的危险工作区事故自动检测报警方法 | |
CN107967695B (zh) | 一种基于深度光流和形态学方法的运动目标检测方法 | |
CN109670441A (zh) | 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质 | |
Yu et al. | Railway obstacle detection algorithm using neural network | |
TWI441096B (zh) | 適用複雜場景的移動偵測方法 | |
CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
CN111582092B (zh) | 一种基于人体骨架的行人异常行为检测方法 | |
CN111860143B (zh) | 一种面向巡检机器人的火焰实时检测方法 | |
CN112861690A (zh) | 多方法融合的遥感影像变化检测方法及系统 | |
CN111462140B (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
CN105574489A (zh) | 基于层次级联的暴力群体行为检测方法 | |
CN109063609A (zh) | 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法 | |
CN112597928B (zh) | 一种事件检测方法及相关装置 | |
CN109492575A (zh) | 一种基于YOLOv3的扶梯安全监测方法 | |
CN113298817A (zh) | 一种准确率高的遥感图像语义分割方法 | |
CN115546742A (zh) | 一种基于单目热红外摄像头的铁轨异物识别方法及系统 | |
CN113255519A (zh) | 一种输电线路危险车辆吊车扬臂识别系统及多目标跟踪方法 | |
CN111639609A (zh) | 基于机器视觉与深度学习的金属断口类型智能识别系统 | |
CN111402223B (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 | |
CN113743306A (zh) | 一种基于slowfast双帧速率的实时智能视频监控异常行为分析方法 | |
CN113361475A (zh) | 一种基于多阶段特征融合信息复用的多光谱行人检测方法 | |
CN111860395A (zh) | 基于视觉和加速度信息实现监所暴力行为检测的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |