CN109615019A - 基于时空自动编码器的异常行为检测方法 - Google Patents

基于时空自动编码器的异常行为检测方法 Download PDF

Info

Publication number
CN109615019A
CN109615019A CN201811585933.6A CN201811585933A CN109615019A CN 109615019 A CN109615019 A CN 109615019A CN 201811585933 A CN201811585933 A CN 201811585933A CN 109615019 A CN109615019 A CN 109615019A
Authority
CN
China
Prior art keywords
layer
information
abnormal
autocoder
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811585933.6A
Other languages
English (en)
Other versions
CN109615019B (zh
Inventor
王世刚
岳海纯
韦健
赵岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201811585933.6A priority Critical patent/CN109615019B/zh
Publication of CN109615019A publication Critical patent/CN109615019A/zh
Application granted granted Critical
Publication of CN109615019B publication Critical patent/CN109615019B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

基于时空自动编码器的异常行为检测方法属图像处理和模式识别技术领域，本发明首先获取待测区域的视频图像，然后将视频的光流信息和RGB信息分别输入到时空自编码器中，经过自动编码器中的3D卷积层、池化层、LSTM层和反卷积层，得出重构信息，将输入的信息与重构信息进行对比，分别依据异常评分公式得到异常评分，再将两种异常评分融合得到综合异常评分，与阈值进行比较，判别是否存在异常行为以及异常情况出现的时间，异常评分越高，异常情况发生的可能性越大。本发明通过融合多模态输入信息的时空自动编码器，在银行等公共区域检测到人群中的异常行为并给安保人员发出预警，以减少重大异常事件等突发情况的发生。

Description

基于时空自动编码器的异常行为检测方法
技术领域
本发明属图像处理和模式识别技术领域，具体涉及一种基于时空自动编码器的异常行为检测方法。
背景技术
近年来，我国手段不一的侵犯银行金融业等公共重要场所的行为时有发生，给国家财产以及人民生命安全造成了不同程度的损失和伤害。由此出发，公共场所的异常行为检测已成为当前安全防控系统的一个研究热点问题，越来越多的专家学者投身于此领域。
为解决这一问题，科研人员已经提出过多种异常行为监测的方法，根据方法不同，大致可分为：传统方法、有监督学习方法和无监督学习方法。传统方法：例如轨迹信息等，首先对视频中的目标进行跟踪，然后提取目标移动轨迹，根据轨迹判断时候存在异常行为，但这种方法在具有多个遮挡和阴影的复杂或拥挤场景下表现不够稳健，从而影响结果，有较大的局限性。有监督学习方法：例如CNN,RNN等，虽然方法较多，但在异常检查的情况下，带正常和异常标签的数据的数量是不平衡的，获得精确的有代表性的标签很困难，特别对于异常数据来说，因此训练不方便。无监督学习：例如自动编码器，聚类等，这种方法不需要正常和异常数据的标签信息，对于训练数据更好获得。
在无监督学习中，仅通过图像RGB信息来估计人体运动信息，这种方法受光照和阴影的影响较大，在人群密集场所精度有限，当有障碍物或人群重叠时，检测效果不佳。
由于已有算法的种种缺陷，在实际应用中效果不够理想，需要改进算法。
发明内容
本发明的目的在于提供一种基于融合多模态输入数据的时空自编码器的异常行为检测算法，最大程度上提高异常行为检测的准确率。
本发明解决其问题所采用的技术方案是：
基于时空自动编码器的异常行为检测方法，是提前构建训练样本视频库和测试样本视频库，所述训练样本视频库仅包含正样本，即正常行为样本，所诉测试样本视频库包含正样本和负样本，即正常行为视频和异常行为视频。所述异常行为检测方法包括下列步骤：
1.制作监控视频数据集，并对视频进行预处理，具体包括下列步骤：
1.1将全部视频分为训练集和测试集，其中训练集占80％，测试集占20％，训练集中仅包含正样本视频，测试集中包含正样本和负样本视频；
1.2预处理：将训练集和测试集中的视频流分别转化成大小为224*224的帧图像，并对数据集进行扩充，即对帧图像进行亮度转变、高斯噪声处理以得到更多的训练集；
2.提取多模态特征信息，选择图像的RGB信息和光流信息作为特征信息，具体包括下列步骤：
2.1计算每10帧间的光流信息，利用Gunnar Farneback算法对图像进行稠密光流计算；
2.2计算每10帧图像的RGB信息，转化为灰度信息；
2.3对得到的光流信息和灰度信息进行零均值的归一化处理，并存储在.npy文件中；
3.将处理过的光流信息输入时空自动编码器中，利用时空自动编码器中的卷积和反卷积操作，输出重构信息，具体包括下列步骤：
3.1将光流信息和灰度信息分别作为输入，输入层的尺寸为224*224*10*1；
3.2设计时空自动编码器，共11层网络，由3D卷积层、最大池化层、LSTM、上采样层和反卷积层组成，具体结构如下：
3.2.1第1、3层为3D卷积层，卷积层深度分别为128、64，卷积核分别为5*5*1、3*3*1，步长分别为2*2*1、2*2*1，激活函数均为relu函数；
3.2.2第2、4层为最大池化层，池大小为2*2*1；
3.2.3第5、6、7层为LSTM层、反卷积层中卷积层深度分别为64、32、64，卷积核均为3*3*1：
3.2.4第8、10层为上采样层，尺寸为2*2*1；
3.2.5第9、11层为反卷积层，反卷积层中卷积层深度分别为64、128，卷积核分别为3*3*1、5*5*1，步长分别为2*2*1、2*2*1，激活函数均为relu函数；
3.3数据经过时空自动编码器后，其特征图大小变化情况为：
3.3.1卷积层输入特征图大小为224*224*1*10，经过第1层特征图变为112*112*128*10，经过第2层特征图变为56*56*64*10，经过第3层特征图变为28*28*64*10，经过第4层特征图变为14*14*64*10；
3.3.2LSTM层的输入为上一层卷积层的输出，经过3层LSTM层，特征图大小仍为14*14*64*10；
3.3.3上采样层的输入为上一层LSTM层的输出，经过第7层特征图变为28*28*64*10，经过第9层反卷积层特征图变为56*56*128*10，经过第10层特征图还原为112*112*128*10，经过第11层反卷积层特征图变为224*224*1*10；
3.4在训练过程中，随机抽取训练集中15％数据作为验证集，训练50轮；采用随机梯度下降算法；初始学习率为0.03；权重衰减参数为0.000001；momentum设置为0.9；将训练好的模型保存成.h5模型，以用作测试模型；
4.完成步骤1和2的操作，得到.npy文件，将.npy文件输入步骤3.4中保存的.h5模型中，得到重构的光流信息和灰度信息，将重构信息与原始输入信息进行对比，分别得出异常评分，再对异常评分进行信息融合，建立异常检测评估模型，具体包括下列步骤：
4.1计算重建误差：计算输入图像序列和重建的图像序列的所有像素值，计算两者间的欧式距离：
e(t)＝||x(t)-fw(x(t))||2
其中：e(t)为重建误差，x(t)为输入序列像素，fw(x(t))为输出序列像素；
4.2计算异常评分和正常评分，包括下列步骤：
4.2.1计算异常评分：根据重建误差，计算图像序列的异常评分，异常评分限制在[0，1]：
其中：sa(t)为异常评分，e(t)为重建误差，e(t)min为重建误差序列中的最小项，e(t)max为重建误差序列中的最大顶；
4.2.2计算正常评分：
sr(t)＝1-sa(t)
其中：sr(t)为正常评分，sa(t)为异常评分；
4.3对分别得出的异常评分进行信息融合：
sz(t)＝(sa1(t)+sa2(t))/2
其中，sa1(t)是光流信息异常评分，sa2(t)是灰度信息异常评分，sz(t)是光流和灰度信息融合之后的综合异常评分；
5.设定阈值：设定合适的阈值，当图像序列的综合异常评分高于阈值，说明视频中出现异常行为，将发送警报提醒安保人员，防止重大异常事故发生。
本发明基于自动编码器的重构网络，能实现对视频片段的异常行为检测：提出一种融合多模态输入数据的时空自动编码器检测异常行为的算法。由于仅仅是RGB信息不能够完全的将目标的运动情况表达出来，当目标发生重叠或遮挡时容易丢失目标，故提出将光流信息和 RGB信息结合，可以很好地表达目标的特征信息。由于自动编码器无法对时域信息进行编码，故提出时空自动编码器，该编码器将时域信息加入到编码器中，可以对时域信息进行重建，再根据重建信息计算重建误差，进而计算视频的异常评分，综合两种特征信息的异常评分得到最终的评分，再根据阈值判定是否发出警报提示安保人员及时进行安全防护，以防止公共财产及人身安全的损害。
附图说明
图1为基于时空自动编码器的异常行为检测流程图
图2为时空自动编码器网络结构图
图3为视频图像预处理流程图
图4为时空自动编码器输入输出示意图
图5为光流信息和RGB信息融合评分示意图
图6为异常评分示意图
具体实施方式
下面结合附图进一步说明本发明的实施流程，以便本领域的技术人员更好地理解本发明。
一种融合多模态特征信息的时空自动编码器异常行为检测方法，包括提前构建训练样本图像库，如图1所示，该方法包括下列步骤：
1.制作监控视频数据集，并对视频进行预处理，如图3所示，具体包括下列步骤：
1.1将全部视频分为训练集和测试集，其中训练集占80％，测试集占20％，训练集中仅包含正样本视频，测试集中包含正样本和负样本视频；
1.2预处理：将训练集和测试集中的视频流分别转化成大小为224*224的帧图像，并对数据集进行扩充，即对帧图像进行亮度转变、高斯噪声处理以得到更多的训练集；
2.提取多模态特征信息，选择图像的RGB信息和光流信息作为特征信息，具体包括下列步骤：
2.1计算每10帧间的光流信息，利用Gunnar Farneback算法对图像进行稠密光流计算；
2.2计算每10帧图像的RGB信息，转化为灰度信息；
2.3对得到的光流信息和灰度信息进行零均值的归一化处理，并存储在.npy文件中；
3.将处理过的光流信息输入时空自动编码器中，如图2所示，利用时空自动编码器中的卷积和反卷积操作，输出重构信息，具体包括下列步骤：
3.1将光流信息和灰度信息分别作为输入，输入层的尺寸为224*224*10*1；
3.2设计时空自动编码器，共11层网络，由3D卷积层、最大池化层、LSTM、上采样层和反卷积层组成，具体结构如下：
3.2.1第1、3层为3D卷积层，卷积层深度分别为128、64，卷积核分别为5*5*1、3*3*1，步长分别为2*2*1、2*2*1，激活函数均为relu函数；
3.2.2第2、4层为最大池化层，池大小为2*2*1；
3.2.3第5、6、7层为LSTM层、反卷积层中卷积层深度分别为64、32、64，卷积核均为3*3*1；
3.2.4第8、10层为上采样层，尺寸为2*2*1；
3.2.5第9、11层为反卷积层，反卷积层中卷积层深度分别为64、128，卷积核分别为3*3*1、5*5*1，步长分别为2*2*1、2*2*1，激活函数均为relu函数；
3.3数据经过时空自动编码器后，其特征图大小变化情况为：
3.3.1卷积层输入特征图大小为224*224*1*10，经过第1层特征图变为112*112*128*10，经过第2层特征图变为56*56*64*10，经过第3层特征图变为28*28*64*10，经过第4层特征图变为14*14*64*10；
3.3.2 LSTM层的输入为上一层卷积层的输出，经过3层LSTM层，特征图大小仍为14*14*64*10；
3.3.3上采样层的输入为上一层LSTM层的输出，经过第7层特征图变为28*28*64*10，经过第9层反卷积层特征图变为56*56*128*10，经过第10层特征图还原为112*112*128*10，经过第11层反卷积层特征图变为224*224*1*10；
3.4在训练过程中，随机抽取训练集中15％数据作为验证集，训练50轮；采用随机梯度下降算法；初始学习率为0.03；权重衰减参数为0.000001；momentum设置为0.9；将训练好的模型保存成.h5模型，以用作测试模型；
4.完成步骤1和2的操作，得到.npy文件，将.npy文件输入步骤3.4中保存的.h5模型中，得到重构的光流信息和灰度信息，将重构信息与原始输入信息进行对比，分别得出异常评分，再对异常评分进行信息融合，建立异常检测评估模型，具体包括下列步骤：
4.1计算重建误差：计算输入图像序列和重建的图像序列的所有像素值，计算两者间的欧式距离：
e(t)＝||x(t)-fw(x(t))||2
其中：e(t)为重建误差，x(t)为输入序列像素，fw(x(t))为输出序列像素；
4.2计算异常评分和正常评分，包括下列步骤：
4.2.1计算异常评分：根据重建误差，计算图像序列的异常评分，异常评分限制在[0，1]：
其中：sa(t)为异常评分，e(t)为重建误差，e(t)min为重建误差序列中的最小项，e(t)max为重建误差序列中的最大项；
4.2.2计算正常评分：
sr(t)＝1-sa(t)
其中：sr(t)为正常评分，sa(t)为异常评分；
4.3对分别得出的异常评分进行信息融合：
sz(t)＝(sa1(t)+sa2(t))/2
其中，sa1(t)是光流信息异常评分，sa2(t)是灰度信息异常评分，sz(t)是光流和灰度信息融合之后的综合异常评分；
5.设定阈值：设定合适的阈值，当图像序列的综合异常评分高于阈值，说明视频中出现异常行为，将发送警报提醒安保人员，防止重大异常事故发生。

Claims (4)

1.一种基于时空自动编码器的异常行为检测方法，其特征在于，包括下列步骤：
1.1制作监控视频数据集，并对视频进行预处理，具体包括下列步骤：
1.1.1将全部视频分为训练集和测试集，其中训练集占80％，测试集占20％，训练集中仅包含正样本视频，测试集中包含正样本和负样本视频；
1.1.2预处理：将训练集和测试集中的视频流分别转化成大小为224*224的帧图像，并对数据集进行扩充，即对帧图像进行亮度转变、高斯噪声处理以得到更多的训练集；
1.2提取多模态特征信息，选择图像的RGB信息和光流信息作为特征信息，具体包括下列步骤：
1.2.1计算每10帧间的光流信息，利用Gunnar Farneback算法对图像进行稠密光流计算；
1.2.2计算每10帧图像的RGB信息，转化为灰度信息；
1.2.3对得到的光流信息和灰度信息进行零均值的归一化处理，并存储在.npy文件中；
1.3将处理过的光流信息输入时空自动编码器中，利用时空自动编码器中的卷积和反卷积操作，输出重构信息，具体包括下列步骤：
1.3.1将光流信息和灰度信息分别作为输入，输入层的尺寸为224*224*10*1；
1.3.2设计时空自动编码器，共11层网络，由3D卷积层、最大池化层、LSTM、上采样层和反卷积层组成，具体结构如下：
1.3.2.1第1、3层为3D卷积层，卷积层深度分别为128、64，卷积核分别为5*5*1、3*3*1，步长分别为2*2*1、2*2*1，激活函数均为relu函数；
1.3.2.2第2、4层为最大池化层，池大小为2*2*1；
1.3.2.3第5、6、7层为LSTM层、反卷积层中卷积层深度分别为64、32、64，卷积核均为3*3*1；
1.3.2.4第8、10层为上采样层，尺寸为2*2*1；
1.3.2.5第9、11层为反卷积层，反卷积层中卷积层深度分别为64、128，卷积核分别为3*3*1、5*5*1，步长分别为2*2*1、2*2*1，激活函数均为relu函数；
1.3.3数据经过时空自动编码器后，其特征图大小变化情况为：
1.3.3.1卷积层输入特征图大小为224*224*1*10，经过第1层特征图变为112*112*128*10，经过第2层特征图变为56*56*64*10，经过第3层特征图变为28*28*64*10，经过第4层特征图变为14*14*64*10；
1.3.3.2LSTM层的输入为上一层卷积层的输出，经过3层LSTM层，特征图大小仍为14*14*64*10；
1.3.3.3上采样层的输入为上一层LSTM层的输出，经过第7层特征图变为28*28*64*10，经过第9层反卷积层特征图变为56*56*128*10，经过第10层特征图还原为112*112*128*10，经过第11层反卷积层特征图变为224*224*1*10；
1.3.4在训练过程中，随机抽取训练集中15％数据作为验证集，训练50轮；采用随机梯度下降算法；初始学习率为0.03；权重衰减参数为0.000001；momentum设置为0.9；将训练好的模型保存成.h5模型，以用作测试模型；
1.4完成步骤1.1和1.2的操作，得到.npy文件，将.npy文件输入步骤1.3.4中保存的.h5模型中，得到重构的光流信息和灰度信息，将重构信息与原始输入信息进行对比，分别得出异常评分，再对异常评分进行信息融合，建立异常检测评估模型，具体包括下列步骤：
1.4.1计算重建误差：计算输入图像序列和重建的图像序列的所有像素值，计算两者间的欧式距离:
e(t)＝||x(t)-fw(x(t))||2
其中：e(t)为重建误差，x(t)为输入序列像素，fw(x(t))为输出序列像素；
1.4.2计算异常评分和正常评分，包括下列步骤：
1.4.2.1计算异常评分：根据重建误差，计算图像序列的异常评分，异常评分限制在[0,1]：
其中：sa(t)为异常评分，e(t)为重建误差，e(t)min为重建误差序列中的最小项，e(t)max为重建误差序列中的最大项；
1.4.2.2计算正常评分：
sr(t)＝1-sa(t)
其中：sr(t)为正常评分，sa(t)为异常评分；
1.4.3对分别得出的异常评分进行信息融合：
sz(t)＝(sa1(t)+sa2(t))/2
其中，sa1(t)是光流信息异常评分，sa2(t)是灰度信息异常评分，sz(t)是光流和灰度信息融合之后的综合异常评分；
1.5设定阈值：设定合适的阈值，当图像序列的综合异常评分高于阈值，说明视频中出现异常行为，将发送警报提醒安保人员，防止重大异常事故发生。
2.按权利要求1所述的基于时空自动编码器的异常行为检测方法，其特征在于：步骤1.1.2所述的训练集指用于训练时空自动编码器的视频样本；所述的测试集指用于时空自动编码器的测试，衡量检测性能的视频样本。
3.按权利要求1所述的基于时空自动编码器的异常行为检测方法，其特征在于：步骤1.2.3所诉的光流信息和灰度信息为时空自动编码器中的输入信息。
4.按权利要求1所述的基于时空自动编码器的异常行为检测方法，其特征在于：步骤1.3所述的卷积层深度为卷积核的个数，也对应图像的通道数。
CN201811585933.6A 2018-12-25 2018-12-25 基于时空自动编码器的异常行为检测方法 Active CN109615019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811585933.6A CN109615019B (zh) 2018-12-25 2018-12-25 基于时空自动编码器的异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811585933.6A CN109615019B (zh) 2018-12-25 2018-12-25 基于时空自动编码器的异常行为检测方法

Publications (2)

Publication Number Publication Date
CN109615019A true CN109615019A (zh) 2019-04-12
CN109615019B CN109615019B (zh) 2022-05-31

Family

ID=66012166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811585933.6A Active CN109615019B (zh) 2018-12-25 2018-12-25 基于时空自动编码器的异常行为检测方法

Country Status (1)

Country Link
CN (1) CN109615019B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007355A (zh) * 2019-04-15 2019-07-12 中国科学院电子学研究所 一种卷积自编码器及物体内部异常的检测方法和装置
CN110287439A (zh) * 2019-06-27 2019-09-27 电子科技大学 一种基于lstm的网络行为异常检测方法
CN110765845A (zh) * 2019-09-04 2020-02-07 江苏大学 一种基于视频的行为识别方法
CN111246206A (zh) * 2020-01-14 2020-06-05 济南浪潮高新科技投资发展有限公司 一种基于自编码器的光流信息压缩方法及装置
CN111259874A (zh) * 2020-05-06 2020-06-09 成都派沃智通科技有限公司 一种基于深度学习的校园安全视频监测方法
CN111400547A (zh) * 2020-03-05 2020-07-10 西北工业大学 一种人机协作的视频异常检测方法
CN111402237A (zh) * 2020-03-17 2020-07-10 山东大学 基于时空级联自编码器的视频图像异常检测方法及系统
CN111476162A (zh) * 2020-04-07 2020-07-31 广东工业大学 一种操作命令生成方法、装置及电子设备和存储介质
CN111523361A (zh) * 2019-12-26 2020-08-11 中国科学技术大学 一种人体行为识别方法
CN111666819A (zh) * 2020-05-11 2020-09-15 武汉大学 一种融合多元信息的高精度视频异常事件检测方法
CN111738054A (zh) * 2020-04-17 2020-10-02 北京理工大学 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111815561A (zh) * 2020-06-09 2020-10-23 中海石油(中国)有限公司 一种基于深度时空特征的管道缺陷及管道组件的检测方法
CN111814548A (zh) * 2020-06-03 2020-10-23 中铁第四勘察设计院集团有限公司 一种异常行为检测方法和装置
CN111831870A (zh) * 2020-06-12 2020-10-27 北京百度网讯科技有限公司 时空数据的异常检测方法、装置、电子设备和存储介质
CN111880998A (zh) * 2020-07-30 2020-11-03 平安科技（深圳）有限公司 服务系统异常检测方法、装置、计算机设备和存储介质
CN111931587A (zh) * 2020-07-15 2020-11-13 重庆邮电大学 基于可解释时空自编码器的视频异常检测方法
CN111967507A (zh) * 2020-07-31 2020-11-20 复旦大学 基于离散余弦变换和U-Net的时序异常检测方法
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法
CN112202625A (zh) * 2019-07-08 2021-01-08 中国移动通信集团浙江有限公司 网元异常诊断方法、装置、计算设备及计算机存储介质
CN112270298A (zh) * 2020-11-16 2021-01-26 北京深睿博联科技有限责任公司 道路异常识别的方法及装置、设备及计算机可读存储介质
CN112395382A (zh) * 2020-11-23 2021-02-23 武汉理工大学 基于变分自编码器的船舶异常航迹数据检测方法和装置
CN113076772A (zh) * 2019-12-18 2021-07-06 广东毓秀科技有限公司 基于全模态的异常行为识别方法
CN113204590A (zh) * 2021-05-31 2021-08-03 中国人民解放军国防科技大学 基于序列化自编码器的无监督kpi异常检测方法
CN113239814A (zh) * 2021-05-17 2021-08-10 平安科技（深圳）有限公司 基于光流重构的面部表情识别方法、装置、设备及介质
CN113255733A (zh) * 2021-04-29 2021-08-13 西安交通大学 多模态数据缺失下的无监督异常检测方法
CN113364752A (zh) * 2021-05-27 2021-09-07 鹏城实验室 一种流量异常检测方法、检测设备及计算机可读存储介质
CN113660236A (zh) * 2021-08-10 2021-11-16 和安科技创新有限公司 一种基于优化堆叠降噪卷积自编码网络的异常流量检测方法、存储器和处理器
CN113705490A (zh) * 2021-08-31 2021-11-26 重庆大学 基于重构和预测的异常检测方法
CN113836969A (zh) * 2020-06-23 2021-12-24 山西农业大学 一种基于双流的异常事件检测方法
CN115082870A (zh) * 2022-07-18 2022-09-20 松立控股集团股份有限公司 一种停车场异常事件检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608446A (zh) * 2016-02-02 2016-05-25 北京大学深圳研究生院 一种视频流异常事件的检测方法及装置
EP3086320A1 (en) * 2015-04-23 2016-10-26 Adidas AG Method and device for associating frames in a video of an activity of a person with an event
US20180232904A1 (en) * 2017-02-10 2018-08-16 Seecure Systems, Inc. Detection of Risky Objects in Image Frames
CN108805015A (zh) * 2018-04-26 2018-11-13 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
CN109063609A (zh) * 2018-07-18 2018-12-21 电子科技大学 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法
CN109620244A (zh) * 2018-12-07 2019-04-16 吉林大学 基于条件生成对抗网络和svm的婴儿异常行为检测方法
KR20200132665A (ko) * 2019-05-17 2020-11-25 삼성전자주식회사 집중 레이어를 포함하는 생성기를 기반으로 예측 이미지를 생성하는 장치 및 그 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3086320A1 (en) * 2015-04-23 2016-10-26 Adidas AG Method and device for associating frames in a video of an activity of a person with an event
CN105608446A (zh) * 2016-02-02 2016-05-25 北京大学深圳研究生院 一种视频流异常事件的检测方法及装置
US20180232904A1 (en) * 2017-02-10 2018-08-16 Seecure Systems, Inc. Detection of Risky Objects in Image Frames
CN108805015A (zh) * 2018-04-26 2018-11-13 常州大学 加权卷积自编码长短期记忆网络人群异常检测方法
CN109063609A (zh) * 2018-07-18 2018-12-21 电子科技大学 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法
CN109620244A (zh) * 2018-12-07 2019-04-16 吉林大学 基于条件生成对抗网络和svm的婴儿异常行为检测方法
KR20200132665A (ko) * 2019-05-17 2020-11-25 삼성전자주식회사 집중 레이어를 포함하는 생성기를 기반으로 예측 이미지를 생성하는 장치 및 그 제어 방법

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
XU-GANG ZHOU等: "Abnormal Event Detection Using Recurrent Neural Network", 《2015 INTERNATIONAL CONFERENCE ON COMPUTER SCIENCE AND APPLICATIONS (CSA)》 *
岳海纯: "基于自动编码器的异常行为检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李兴等: "基于自动编码器与概率神经网络的人体运动行为识别方法", 《软件导刊》 *
李蓉: "基于灰度标准差的光流模型的步态识别算法", 《昆明理工大学学报(理工版)》 *
稻蛙: "【数据应用案例】使用时空自编码器检测视频异常事件", 《HTTPS://BLOG.CSDN.NET/U013382288/ARTICLE/DETAILS/81536079》 *
连靖等: "基于3D卷积自编码器的视频异常行为检测", 《智能计算机与应用》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007355A (zh) * 2019-04-15 2019-07-12 中国科学院电子学研究所 一种卷积自编码器及物体内部异常的检测方法和装置
CN110287439A (zh) * 2019-06-27 2019-09-27 电子科技大学 一种基于lstm的网络行为异常检测方法
CN112202625A (zh) * 2019-07-08 2021-01-08 中国移动通信集团浙江有限公司 网元异常诊断方法、装置、计算设备及计算机存储介质
CN112202625B (zh) * 2019-07-08 2023-08-15 中国移动通信集团浙江有限公司 网元异常诊断方法、装置、计算设备及计算机存储介质
CN110765845A (zh) * 2019-09-04 2020-02-07 江苏大学 一种基于视频的行为识别方法
CN110765845B (zh) * 2019-09-04 2023-08-22 江苏大学 一种基于视频的行为识别方法
CN113076772A (zh) * 2019-12-18 2021-07-06 广东毓秀科技有限公司 基于全模态的异常行为识别方法
CN111523361B (zh) * 2019-12-26 2022-09-06 中国科学技术大学 一种人体行为识别方法
CN111523361A (zh) * 2019-12-26 2020-08-11 中国科学技术大学 一种人体行为识别方法
CN111246206A (zh) * 2020-01-14 2020-06-05 济南浪潮高新科技投资发展有限公司 一种基于自编码器的光流信息压缩方法及装置
US11983919B2 (en) * 2020-03-05 2024-05-14 Northwestern Polytechnical University Video anomaly detection method based on human-machine cooperation
WO2021174771A1 (zh) * 2020-03-05 2021-09-10 西北工业大学 一种人机协作的视频异常检测方法
CN111400547A (zh) * 2020-03-05 2020-07-10 西北工业大学 一种人机协作的视频异常检测方法
CN111400547B (zh) * 2020-03-05 2023-03-24 西北工业大学 一种人机协作的视频异常检测方法
CN111402237A (zh) * 2020-03-17 2020-07-10 山东大学 基于时空级联自编码器的视频图像异常检测方法及系统
CN111402237B (zh) * 2020-03-17 2023-04-18 山东大学 基于时空级联自编码器的视频图像异常检测方法及系统
CN111476162A (zh) * 2020-04-07 2020-07-31 广东工业大学 一种操作命令生成方法、装置及电子设备和存储介质
CN111738054A (zh) * 2020-04-17 2020-10-02 北京理工大学 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN111259874A (zh) * 2020-05-06 2020-06-09 成都派沃智通科技有限公司 一种基于深度学习的校园安全视频监测方法
CN111666819A (zh) * 2020-05-11 2020-09-15 武汉大学 一种融合多元信息的高精度视频异常事件检测方法
CN111666819B (zh) * 2020-05-11 2022-06-14 武汉大学 一种融合多元信息的高精度视频异常事件检测方法
CN111814548A (zh) * 2020-06-03 2020-10-23 中铁第四勘察设计院集团有限公司 一种异常行为检测方法和装置
CN111815561A (zh) * 2020-06-09 2020-10-23 中海石油(中国)有限公司 一种基于深度时空特征的管道缺陷及管道组件的检测方法
CN111815561B (zh) * 2020-06-09 2024-04-16 中海石油(中国)有限公司 一种基于深度时空特征的管道缺陷及管道组件的检测方法
CN111831870A (zh) * 2020-06-12 2020-10-27 北京百度网讯科技有限公司 时空数据的异常检测方法、装置、电子设备和存储介质
CN111831870B (zh) * 2020-06-12 2024-02-13 北京百度网讯科技有限公司 时空数据的异常检测方法、装置、电子设备和存储介质
CN113836969A (zh) * 2020-06-23 2021-12-24 山西农业大学 一种基于双流的异常事件检测方法
CN111931587A (zh) * 2020-07-15 2020-11-13 重庆邮电大学 基于可解释时空自编码器的视频异常检测方法
CN111880998A (zh) * 2020-07-30 2020-11-03 平安科技（深圳）有限公司 服务系统异常检测方法、装置、计算机设备和存储介质
CN111967507A (zh) * 2020-07-31 2020-11-20 复旦大学 基于离散余弦变换和U-Net的时序异常检测方法
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法
CN112270298A (zh) * 2020-11-16 2021-01-26 北京深睿博联科技有限责任公司 道路异常识别的方法及装置、设备及计算机可读存储介质
CN112395382A (zh) * 2020-11-23 2021-02-23 武汉理工大学 基于变分自编码器的船舶异常航迹数据检测方法和装置
CN113255733A (zh) * 2021-04-29 2021-08-13 西安交通大学 多模态数据缺失下的无监督异常检测方法
CN113255733B (zh) * 2021-04-29 2023-04-07 西安交通大学 多模态数据缺失下的无监督异常检测方法
CN113239814B (zh) * 2021-05-17 2024-02-02 平安科技（深圳）有限公司 基于光流重构的面部表情识别方法、装置、设备及介质
CN113239814A (zh) * 2021-05-17 2021-08-10 平安科技（深圳）有限公司 基于光流重构的面部表情识别方法、装置、设备及介质
CN113364752A (zh) * 2021-05-27 2021-09-07 鹏城实验室 一种流量异常检测方法、检测设备及计算机可读存储介质
CN113204590A (zh) * 2021-05-31 2021-08-03 中国人民解放军国防科技大学 基于序列化自编码器的无监督kpi异常检测方法
CN113204590B (zh) * 2021-05-31 2021-11-23 中国人民解放军国防科技大学 基于序列化自编码器的无监督kpi异常检测方法
CN113660236A (zh) * 2021-08-10 2021-11-16 和安科技创新有限公司 一种基于优化堆叠降噪卷积自编码网络的异常流量检测方法、存储器和处理器
CN113705490B (zh) * 2021-08-31 2023-09-12 重庆大学 基于重构和预测的异常检测方法
CN113705490A (zh) * 2021-08-31 2021-11-26 重庆大学 基于重构和预测的异常检测方法
CN115082870A (zh) * 2022-07-18 2022-09-20 松立控股集团股份有限公司 一种停车场异常事件检测方法

Also Published As

Publication number Publication date
CN109615019B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN109615019A (zh) 基于时空自动编码器的异常行为检测方法
CN105787458B (zh) 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法
Frizzi et al. Convolutional neural network for smoke and fire semantic segmentation
CN105095856B (zh) 基于掩模的有遮挡人脸识别方法
CN108875708A (zh) 基于视频的行为分析方法、装置、设备、系统及存储介质
CN109829443A (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
CN105005774A (zh) 一种基于卷积神经网络的人脸亲属关系识别方法及装置
CN110516536A (zh) 一种基于时序类别激活图互补的弱监督视频行为检测方法
CN107133622A (zh) 一种单词的分割方法和装置
CN110363742A (zh) 一种基于cnn和图像处理的转辙机缺口检测方法
CN110110318A (zh) 基于循环神经网络的文本隐写检测方法及系统
CN109034134A (zh) 基于多任务深度卷积神经网络的异常驾驶行为检测方法
CN105574489A (zh) 基于层次级联的暴力群体行为检测方法
CN104298974A (zh) 一种基于深度视频序列的人体行为识别方法
CN110082821A (zh) 一种无标签框微地震信号检测方法及装置
CN113449801B (zh) 一种基于多级图像上下文编解码的图像人物行为描述生成方法
CN109712127A (zh) 一种用于机巡视频流的输电线路故障检测方法
CN110232564A (zh) 一种基于多模态数据的交通事故法律自动决策方法
CN109902613A (zh) 一种基于迁移学习和图像增强的人体特征提取方法
Ye et al. A stable lightweight and adaptive feature enhanced convolution neural network for efficient railway transit object detection
CN114662497A (zh) 一种基于协同神经网络的虚假新闻检测方法
CN107563299A (zh) 一种利用ReCNN融合上下文信息的行人检测方法
CN105404865A (zh) 基于概率态受限玻尔兹曼机级联的人脸检测方法
Ye et al. Fault detection of railway freight cars mechanical components based on multi-feature fusion convolutional neural network
CN103942531B (zh) 一种人脸识别系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant