CN111680614B - 一种基于视频监控中的异常行为检测方法 - Google Patents

一种基于视频监控中的异常行为检测方法 Download PDF

Info

Publication number
CN111680614B
CN111680614B CN202010495091.6A CN202010495091A CN111680614B CN 111680614 B CN111680614 B CN 111680614B CN 202010495091 A CN202010495091 A CN 202010495091A CN 111680614 B CN111680614 B CN 111680614B
Authority
CN
China
Prior art keywords
frame
abnormal
score
encoder
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010495091.6A
Other languages
English (en)
Other versions
CN111680614A (zh
Inventor
唐俊
洪杰
王年
朱明�
鲍文霞
张艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202010495091.6A priority Critical patent/CN111680614B/zh
Publication of CN111680614A publication Critical patent/CN111680614A/zh
Application granted granted Critical
Publication of CN111680614B publication Critical patent/CN111680614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于视频监控中的异常行为检测方法，包括通过YOLOv3目标检测算法即快速又精确的检测出视频帧图像中的前景目标对象，可以去除背景噪声的影响，并且可以满足异常检测实时性的要求；将视频帧图像中的目标对象提取特征后，先对特征进行聚类，再输入到SVM分类器中，取得分最高的作为该目标对象的异常得分，最后取该视频帧图像中所有目标对象的异常得分中的最高值作为该帧图像的异常得分，利用SVM分类器可以快速准确的分类，并且满足实时性要求。本发明采用深度学习和机器学习的方法，能够有效地检测出异常事件的发生，并且可以达到实时检测的要求，提高了对异常事件检测的准确率。

Description

一种基于视频监控中的异常行为检测方法
技术领域
本发明属于安防领域，涉及图像与视频处理、深度学习技术，具体是一种基于视频监控中的异常行为检测方法。
背景技术
视频检测是计算机视觉领域最重要的应用之一，基于视频监控中的异常行为检测可以对异常事件进行实时的监控，当有异常事件发生时，安防人员能够快速做出反应，减少意外事故带来的损失甚至避免意外事故的发生，极大地提高了社会安全水平。高效、可靠的智能化视频监控异常行为检测技术作为智能监控安全保障的重要内容，将越来越受到重视。大数据时代下依赖人工的安全监控方式已经无法全面准确地覆盖视频监控网络，同时传统的异常行为检测算法不仅实时性差，而且准确率低。
近年来已有多种针对异常行为检测的模型，基于模板匹配的方法通过视频图像建立一组与场景行为对应的静态模板，模板描述了人体特征行为，检测时，实际视频与静态模板比较从而检测出异常行为，但是该方法对噪声和时间间隔敏感。
现提供一种基于视频监控中的异常行为检测方法，利用目标检测技术将每一个视频帧中的前景目标检测出来，并输入到卷积自编码器网络框架中进行重构，通过重构误差进行分类来判断异常。
发明内容
本发明的目的在于提供一种基于视频监控中的异常行为检测方法。
本发明的目的可以通过以下技术方案实现：
通常异常都是前景产生的，而前景是稀疏可分的，那么基于前景对象进行异常检测应当能起到一定的作用，同时异常输入会产生比正常输入更高的重构误差，所以本发明介绍了一个基于以对象为中心的卷积自编码器的无监督特征学习框架来对运动和外观信息进行编码。本发明利用目标检测技术将每一个视频帧中的前景目标检测出来，并输入到卷积自编码器网络框架中进行重构，通过重构误差进行分类来判断异常，相较于其他方法，本发明不仅降低了背景噪声的干扰，提高了对异常行为检测的准确率，而且可以实现实时检测。
一种基于视频监控中的异常行为检测方法，包括以下步骤：
步骤SS01：将视频监控获取的视频数据集划分为训练集和测试集，并记录测试集中有异常行为的视频帧序列，作为真实标签；
步骤SS02：通过YOLOv3(You only look once)目标检测算法检测出前景目标ti；
步骤SS03：将检测出来的前景目标ti送入到卷积自编码器网络中，对前景目标ti提取特征，并最小化重构误差优化模型参数；
步骤S031：将提取到的前景目标大小统一调整为128*128；
步骤S032：获得第t帧、第t-4帧、第t+4帧中的前景目标，并将提取到的前景目标对象灰度化，然后分别计算第t-4帧、第t+4帧与第t帧之间的梯度变化，梯度变化计算公式为：
Figure BDA0002522531380000021
Figure BDA0002522531380000022
其中，第t帧表示当前帧图像、第t-4帧表示前四帧图像、第t+4帧表示后四帧图像，gradf(x，y)表示在(x，y)处的梯度，
Figure BDA0002522531380000031
表示在x轴方向上的偏导数，
Figure BDA0002522531380000032
表示在y轴方向上的偏导数，|gradf(x，y)|表示梯度的模；
步骤S033：分别将梯度变化信息送入到各自的卷积自编码器网络中、将第t帧的前景目标单独送入另外一个卷积自编码器网络中进行重构，并分别计算其重构误差，再最小化重构误差L进行迭代训练，训练出良好的卷积自编码器网络，重构误差L的计算公式为：
Figure BDA0002522531380000033
其中，N表示样本数量，Xi表示输入样本，
Figure BDA0002522531380000034
表示重构后的样本；
步骤S034：再次分别将梯度信息送入到训练好的卷积自编码器网络的编码器部分、将第t帧的前景目标单独送入另外一个训练好的卷积自编码器网络的编码器中提取潜在特征，最后对三个潜在特征concat(聚合)，作为视频数据样本第t帧的特征向量；
步骤SS04：通过获取的特征向量进行聚类再进行分类，最终获得对视频帧的预测：
步骤S041：通过获取的特征向量进行高斯混合模型(GMM)的最大期望(EM)聚类；
步骤S0411：选择簇的数量为K个，并随机初始化每个簇的高斯分布参数，高斯分布参数为均值和方差；
步骤S0412：给定每个簇的高斯分布，计算每个数据点属于每个簇的概率；
步骤S0413：基于每个数据点对应的概率，计算高斯分布参数；
步骤S0414：迭代步骤S0412和步骤S0413，直至高斯分布参数收敛，获得K个聚类；
步骤S042：对K个聚类进行SVM分类器训练，产生K个one-versus-rest(一对多)的二分类器；
步骤SS05：将测试集数据输入到训练好的卷积自编码器网络中提取特征，并将特征输入到SVM(Support Vector Machine，支持向量机)分类器中获得异常得分，该帧异常得分为：
Figure BDA0002522531380000041
其中gi(x)表示该帧上的第i个前景目标的异常得分，k表示该帧图像中目标对象的数量，s(x)表示该帧的最终异常得分；
步骤SS06：将测试集数据每帧的异常得分归一化，得分在【0，1】之间，得分越高，表示越有可能发生异常事件，并通过可视化查看检测结果。
进一步地，所述卷积自编码器网络包括编码器和解码器，所述编码器由卷积层、池化层和BN层(Batch normalization，批规范化)构成。
进一步地，所述解码器通过最近邻插值法进行上采样，再通过卷积进行重构误差。
进一步地，所述步骤SS01中，真实标签的获取方法为：
步骤S011：根据对研究对象的判断，训练集中只包含数据集中正常行为的数据，测试集包含异常行为数据；
步骤S012：将训练集和测试集中的每个视频数据样本处理成帧图片的形式；
步骤S013：通过MATLAB文件记录测试集中每个视频数据样本中发生异常行为时的帧序列，作为测试集的真实标签。
进一步地，所述步骤SS02中，通过YOLOv3(You only look once)目标检测算法检测出前景目标的方法为：
步骤S021：通过YOLOv3(You only look once)目标检测算法逐帧检测出前景目标样本T＝{t1，t2，…，ti}，并获取前景目标ti的左上角的坐标位置(x1，y1)、右下角的坐标位置(x2，y2)、类别和置信度得分信息；
其中：ti表示每一帧图片中获取到的第i个前景目标。
进一步地，所述步骤SS05中，异常得分的获取方法为：
步骤S051：通过YOLOv3(You only look once)目标检测算法逐帧检测出前景目标样本T＝{t1，t2，…，ti}，并获取前景目标ti的坐标位置(x，y)、类别和置信度得分信息，其中：ti表示每一帧图片中获取到的第i个前景目标；
步骤S052：将前景目标样本送入到训练好的卷积自编码器网络中提取特征；
步骤S053：将特征输入到训练好的SVM分类器中，取得分最高的作为该目标对象的异常得分。
本发明的有益效果：
1、本发明利用目标检测算法获得前景目标输入到卷积自编码器网络中，而不是输入每一帧的整张图像，通常异常都是前景产生的，这样可以有效地避免背景噪声对实验结果的影响；
2、本发明使用卷积自编码器提取特征时，利用了相邻帧的时序信息提取运动特征，有效的重构了原始数据，含有异常行为的数据相较于正常数据会产生更高的重构误差；
3、本发明利用高斯混合模型的最大期望聚类，该聚类方法能够让一个数据点可以属于多个簇，这样可以更有效地划分特征，提高了对异常事件的检测效果；
4、本发明利用深度学习的方法提取特征，利用机器学习的方法对特征进行异常检测，不仅提高了对异常事件检测的准确率，还实现了实时性的要求。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明基于视频监控中的异常行为检测流程图；
图2为本发明中卷积自编码器的网络结构图；
图3为本发明基于异常行为检测的可视化结果展示图。
具体实施方式
如图1-3所示，一种基于视频监控中的异常行为检测方法，包括以下步骤：
步骤SS01：如图1所示，将手扶电梯视频监控处视频监控获取的视频数据集划分为训练集和测试集，并记录测试集中有异常行为的视频帧序列，作为真实标签，真实标签的获取方法为：
步骤S011：根据对研究对象的判断，训练集中只包含数据集中正常行为的数据，测试集包含异常行为数据；
步骤S012：将训练集和测试集中的每个视频数据样本处理成帧图片的形式；
步骤S013：通过MATLAB文件记录测试集中每个视频数据样本中发生异常行为时的帧序列，作为测试集的真实标签。
训练阶段：
步骤SS02：通过YOLOv3(You only look once)目标检测算法检测出前景目标ti，本发明要求对图像中的前景目标对象可以快速精准的定位目标对象，因此采用的是YOLOv3(You only look once)算法，它借鉴了残差网络结构，形成更深的网络层次，以及多尺度检测，相较于YOLOv2不仅保持了快速检测这一优势，而且还提升了预测精度，尤其是加强了对小物体的识别能力，所以使用YOLOv3(You only look once)可以满足本发明的要求，检测出前景目标的方法为：
步骤S021：通过YOLOv3(You only look once)目标检测算法逐帧检测出前景目标样本T＝{t1，t2，…，ti}，并获取前景目标ti的左上角的坐标位置(x1，y1)、右下角的坐标位置(x2，y2)、类别和置信度得分信息；
其中：ti表示每一帧图片中获取到的第i个前景目标；
步骤SS03：将检测出来的前景目标ti送入到卷积自编码器网络中，根据前景目标ti提取特征，并进行重构误差，卷积自编码器网络包括编码器和解码器，所述编码器由卷积层、池化层和BN层(Batch normalization，批规范化)构成，解码器通过最近邻插值法进行上采样，再通过卷积进行重构误差，用神经网络可以有效地提取图像特征，通过重构误差可以很好反映出与正常数据差异性大的异常事件；其中，卷积自编码器网络结构图如图2所示；将检测到的前景目标输入到编码器中，输出作为潜在特征，同时也作为解码器的输入；编码器中卷积模块的步长为1，卷积核大小为3，输入大小为(128，128，1)，输入图片经过卷积层和池化层后，输出大小依次变成(64，64，64)，(32，32，32)，(16，16，32)，(8，8，16)，输出公式为：z＝fe(x；θe)，其中x代表输入，z代表输出，θe是编码器fe(·)中的参数。解码器是利用卷积层和最近邻插值算法进行重构，输出大小依次变成(16，16，16)，(32，32，32)，(64，64，32)，(128，128，64)；最后再经过一个卷积层，输出大小变成(128，128，1)，输出公式为：
Figure BDA0002522531380000071
其中z表示的是解码器的输入，
Figure BDA0002522531380000072
代表输出，θd是解码器fd(·)中的参数。
步骤S031：将提取到的前景目标大小统一调整为128*128；
步骤S032：获得第t帧、第t-4帧、第t+4帧中的前景目标，并将提取到的前景目标对象灰度化，然后分别计算第t-4帧、第t+4帧与第t帧之间的梯度变化，梯度变化计算公式为：
Figure BDA0002522531380000081
Figure BDA0002522531380000082
其中，第t帧表示当前帧图像、第t-4帧表示前四帧图像、第t+4帧表示后四帧图像，gradf(x，y)表示在(x，y)处的梯度，
Figure BDA0002522531380000083
表示在x轴方向上的偏导数，
Figure BDA0002522531380000084
表示在y轴方向上的偏导数，|gradf(x，y)|表示梯度的模；
步骤S033：分别将梯度变化信息送入到各自的卷积自编码器网络中、将第t帧的前景目标单独送入另外一个卷积自编码器网络中进行重构，并分别计算其重构误差，再最小化重构误差L进行迭代训练，训练出良好的卷积自编码器网络，重构误差L的计算公式为：
Figure BDA0002522531380000085
其中，N表示样本数量，Xi表示输入样本，
Figure BDA0002522531380000086
表示重构后的样本；
步骤S034：再次分别将梯度信息送入到训练好的卷积自编码器网络的编码器部分、将第t帧的前景目标单独送入另外一个训练好的卷积自编码器网络的编码器中提取潜在特征，最后对三个潜在特征concat(聚合)，作为视频数据样本第t帧的特征向量；
步骤SS04：通过获取的特征向量进行聚类再进行分类，最终获得对视频帧的预测：
步骤S041：通过获取的特征向量进行高斯混合模型(GMM)的最大期望(EM)聚类；
步骤S0411：选择簇的数量为10个，并随机初始化每个簇的高斯分布参数，高斯分布参数为均值和方差；
步骤S0412：给定每个簇的高斯分布，计算每个数据点属于每个簇的概率，一个点越靠近高斯分布的中心就越可能属于该簇；
步骤S0413：基于每个数据点对应的概率，计算高斯分布参数使得数据点的概率最大化，可以使用数据点概率的加权来计算这些新的参数，权重就是数据点属于该簇的概率；
步骤S0414：迭代步骤S0412和步骤S0413，直至高斯分布参数收敛，获得10个聚类；
步骤S042：对10个聚类进行SVM分类器训练，产生10个one-versus-rest(一对多)的二分类器，本发明采用的是SVM(Support Vector Machine，支持向量机)对特征进行分类，卷积神经网络无需复杂的预处理工作，能够有效的提取图像的特征向量，但是其分类工作完全依赖于全连接层，因此检测率有待提高，支持向量机具有良好的分类能力，泛化能力比神经网络中的softmax效果好，可以避免神经网络结构选择和局部极小点问题，但是不能进行特征提取，因此将二者的优点结合，实验证明这种模型能够有效的提高卷积神经网络对特征提取后的分类能力。
测试阶段：
步骤SS05：将测试集数据输入到训练好的卷积自编码器网络中提取特征，并将特征输入到SVM(Support Vector Machine，支持向量机)分类器中获得异常得分；异常得分的获取方法为：
步骤S051：通过YOLOv3(You only look once)目标检测算法逐帧检测出前景目标样本T＝{t1，t2，…，ti}，并获取前景目标ti的左上角的坐标位置(x1，y1)、右下角的坐标位置(x2，y2)、类别和置信度得分信息，其中：ti表示每一帧图片中获取到的第i个前景目标；
步骤S052：将前景目标样本送入到训练好的卷积自编码器网络中提取特征；
步骤S053：将特征输入到训练好的SVM分类器中，取得分最高的作为该目标对象的异常得分；
步骤SS06：将测试集数据每帧的异常得分归一化，得分在【0，1】之间，得分越高，表示越有可能发生异常事件，并通过可视化查看本发明的检测结果，如图3所示：其中横坐标代表视频帧序列，纵坐标代表得分分值，虚线表示真实标签值，实线表示本发明的最终预测值。
自编码器模块：自编码器网络由编码器和解码器共同组成，编码器是由卷积层、池化层和BN层(Batch normalization，批规范化)构成，解码器是通过最近邻插值法进行上采样，再通过卷积进行重构，用神经网络可以有效地提取图像特征，通过重构误差可以很好反映出与正常数据差异性大的异常事件；目标检测模块：用YOLOv3(You only look once)目标检测算法即快速又精确的检测出视频帧中的前景目标对象，可以去除背景噪声的影响，并且可以满足异常检测实时性的要求；分类器模块：将测试的视频帧中的boundary box(检测框)提取特征后，先对特征进行聚类，再输入到SVM分类器中。在测试中，每个测试样本x由10个SVM进行分类，将最高的分类分数作为相应测试样本x的异常分数，最后取该视频帧中所有对象的异常得分最高值作为该帧的异常得分。实验在NVIDIA 2080ti显卡上进行，可以达到21FPS。本发明采用深度学习和机器学习的方法，能够有效地检测出异常事件的发生，并且可以达到实时检测的要求。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (6)

1.一种基于视频监控中的异常行为检测方法，其特征在于，包括以下步骤：
步骤SS01：将视频监控获取的视频数据集划分为训练集和测试集，并记录测试集中有异常行为的视频帧图像序列，作为真实标签；
步骤SS02：通过YOLOv3目标检测算法检测出前景目标ti；
步骤SS03：将检测出来的前景目标ti送入到卷积自编码器网络中，对前景目标ti提取特征，并最小化重构误差优化模型参数；
步骤S031：将提取到的前景目标大小统一调整为128*128；
步骤S032：获得第t帧、第t-4帧、第t+4帧中的前景目标，并将提取到的前景目标对象灰度化，然后分别计算第t-4帧、第t+4帧与第t帧之间的梯度变化，梯度变化计算公式为：
Figure FDA0002522531370000011
Figure FDA0002522531370000012
其中，第t帧表示当前帧图像、第t-4帧表示前四帧图像、第t+4帧表示后四帧图像，gradf(x，y表示在(x，y)处的梯度，
Figure FDA0002522531370000013
表示在x轴方向上的偏导数，
Figure FDA0002522531370000014
表示在y轴方向上的偏导数，|gradf(x，y)|表示梯度的模；
步骤S033：分别将梯度变化信息送入到各自的卷积自编码器网络中、将第t帧的前景目标单独送入另外一个卷积自编码器网络中进行重构，并分别计算其重构误差，再最小化重构误差L进行迭代训练，训练出良好的卷积自编码器网络，重构误差L的计算公式为：
Figure FDA0002522531370000015
其中，N表示样本数量，Xi表示输入样本，
Figure FDA0002522531370000016
表示重构后的样本；
步骤S034：再次分别将梯度信息送入到训练好的卷积自编码器网络的编码器部分、将第t帧的前景目标单独送入另外一个训练好的卷积自编码器网络的编码器中提取潜在特征，最后对三个潜在特征聚合，作为视频数据样本第t帧的特征向量；
步骤SS04：通过获取的特征向量进行聚类再进行分类，最终获得对视频帧的预测；
步骤S041：通过获取的特征向量进行高斯混合模型的最大期望聚类；
步骤S0411：选择簇的数量为K个，并随机初始化每个簇的高斯分布参数，高斯分布参数为均值和方差；
步骤S0412：给定每个簇的高斯分布，计算每个数据点属于每个簇的概率；
步骤S0413：基于每个数据点对应的概率，计算高斯分布参数；
步骤S0414：迭代步骤S0412和步骤S0413，直至高斯分布参数收敛，获得K个聚类；
步骤S042：对K个聚类进行SVM分类器训练，产生K个one-versus-rest的二分类器；
步骤SS05：将测试集数据输入到训练好的卷积自编码器网络中提取特征，并将特征输入到SVM分类器中获得异常得分，该帧异常得分为：
Figure FDA0002522531370000021
其中gi(x)表示该帧上的第i个前景目标的异常得分，k表示该帧图像中目标对象的数量，s(x)表示该帧的最终异常得分；
步骤SS06：将测试集数据每帧的异常得分归一化，得分在【0，1】之间，得分越高，表示越有可能发生异常事件，并通过可视化查看检测结果。
2.根据权利要求1所述的一种基于视频监控中的异常行为检测方法，其特征在于，所述卷积自编码器网络包括编码器和解码器，所述编码器由卷积层、池化层和BN层构成。
3.根据权利要求2所述的一种基于视频监控中的异常行为检测方法，其特征在于，所述解码器通过最近邻插值法进行上采样，再通过卷积进行重构误差。
4.根据权利要求1所述的一种基于视频监控中的异常行为检测方法，其特征在于，所述步骤SS01中，真实标签的获取方法为：
步骤S011：根据对研究对象的判断，训练集中只包含数据集中正常行为的数据，测试集包含异常行为数据；
步骤S012：将训练集和测试集中的每个视频数据样本处理成帧图片的形式；
步骤S013：通过MATLAB文件记录测试集中每个视频数据样本中发生异常行为时的帧序列，作为测试集的真实标签。
5.根据权利要求1所述的一种基于视频监控中的异常行为检测方法，其特征在于，所述步骤SS02中，通过YOLOv3目标检测算法检测出前景目标的方法为：
步骤S021：通过YOLOv3目标检测算法逐帧检测出前景目标样本T＝{t1，t2，…，ti}，并获取前景目标ti的左上角的坐标位置(x1，y1)、右下角的坐标位置(x2，y2)、类别和置信度得分信息；
其中：ti表示每一帧图片中获取到的第i个前景目标。
6.根据权利要求1所述的一种基于视频监控中的异常行为检测方法，其特征在于，所述步骤SS05中，异常得分的获取方法为：
步骤S051：通过YOLOv3目标检测算法逐帧检测出前景目标样本T＝{t1，t2，…，ti}，并获取前景目标ti的左上角的坐标位置(x1，y1)、右下角的坐标位置(x2，y2)、类别和置信度得分信息，其中：ti表示每一帧图片中获取到的第i个前景目标；
步骤S052：将前景目标样本送入到训练好的卷积自编码器网络中提取特征；
步骤S053：将特征输入到训练好的SVM分类器中，取得分最高的作为该目标对象的异常得分。
CN202010495091.6A 2020-06-03 2020-06-03 一种基于视频监控中的异常行为检测方法 Active CN111680614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010495091.6A CN111680614B (zh) 2020-06-03 2020-06-03 一种基于视频监控中的异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010495091.6A CN111680614B (zh) 2020-06-03 2020-06-03 一种基于视频监控中的异常行为检测方法

Publications (2)

Publication Number Publication Date
CN111680614A CN111680614A (zh) 2020-09-18
CN111680614B true CN111680614B (zh) 2023-04-14

Family

ID=72434646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010495091.6A Active CN111680614B (zh) 2020-06-03 2020-06-03 一种基于视频监控中的异常行为检测方法

Country Status (1)

Country Link
CN (1) CN111680614B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241470B (zh) * 2020-09-24 2024-02-02 北京影谱科技股份有限公司 一种视频分类方法及系统
CN112287816B (zh) * 2020-10-28 2023-05-23 西安交通大学 一种基于深度学习的危险工作区事故自动检测报警方法
CN113011290A (zh) * 2021-03-03 2021-06-22 上海商汤智能科技有限公司 事件检测方法及装置、电子设备和存储介质
CN113283286B (zh) * 2021-03-24 2023-11-21 上海高德威智能交通系统有限公司 一种驾驶员异常行为检测方法和装置
CN112801053B (zh) * 2021-04-01 2021-07-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置
CN113221716A (zh) * 2021-05-06 2021-08-06 西华大学 一种基于前景目标检测的无监督交通异常行为检测方法
CN113269103B (zh) * 2021-05-28 2022-08-19 山东大学 基于空间图卷积网络的异常行为检测方法、系统、存储介质和设备
CN113408372A (zh) * 2021-06-02 2021-09-17 东南大学 一种基于时空间特征的行人车辆异常行为检测方法
CN113313060A (zh) * 2021-06-17 2021-08-27 山东新一代信息产业技术研究院有限公司 基于视频监控的异常事件分类模型构建方法及检测方法
CN113837009A (zh) * 2021-08-26 2021-12-24 张大艳 一种基于人工智能的物联网数据的采集分析系统
CN113793327B (zh) * 2021-09-18 2023-12-26 北京中科智眼科技有限公司 一种基于token的高铁异物检测方法
CN113837087B (zh) * 2021-09-24 2023-08-29 上海交通大学宁波人工智能研究院 一种基于YOLOv3的动物目标检测系统和方法
CN114627102B (zh) * 2022-03-31 2024-02-13 苏州浪潮智能科技有限公司 一种图像异常检测方法、装置、系统及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830882A (zh) * 2018-05-25 2018-11-16 中国科学技术大学 视频异常行为实时检测方法
WO2019237567A1 (zh) * 2018-06-14 2019-12-19 江南大学 基于卷积神经网络的跌倒检测方法
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830882A (zh) * 2018-05-25 2018-11-16 中国科学技术大学 视频异常行为实时检测方法
WO2019237567A1 (zh) * 2018-06-14 2019-12-19 江南大学 基于卷积神经网络的跌倒检测方法
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习和稀疏组合的异常事件检测方法;齐华青;《电子测量技术》;20191023(第20期);全文 *

Also Published As

Publication number Publication date
CN111680614A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111680614B (zh) 一种基于视频监控中的异常行为检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN109711283B (zh) 一种联合双字典和误差矩阵的遮挡表情识别方法
CN111814584A (zh) 基于多中心度量损失的多视角环境下车辆重识别方法
CN112052772A (zh) 一种人脸遮挡检测算法
Lu et al. Multi-object detection method based on YOLO and ResNet hybrid networks
CN115953666B (zh) 一种基于改进Mask-RCNN的变电站现场进度识别方法
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
Zhang et al. Face detection algorithm based on improved AdaBoost and new haar features
Velliangira et al. A novel forgery detection in image frames of the videos using enhanced convolutional neural network in face images
CN110188646B (zh) 基于梯度方向直方图与局部二值模式融合的人耳识别方法
CN113486712B (zh) 一种基于深度学习的多人脸识别方法、系统和介质
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN112257600A (zh) 一种人脸识别方法及系统
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN116934725A (zh) 一种基于无监督学习的铝箔封口密封性的检测方法
Li Global face pose detection based on an improved PSO-SVM method
CN113887509B (zh) 一种基于图像集合的快速多模态视频人脸识别方法
Ling et al. Magnetic tile surface defect detection methodology based on self-attention and self-supervised learning
CN111797732B (zh) 一种对采样不敏感的视频动作识别对抗攻击方法
CN114038011A (zh) 一种室内场景下人体异常行为的检测方法
CN113989742A (zh) 一种基于多尺度特征融合的核电站厂区行人检测方法
CN111696070A (zh) 基于深度学习的多光谱图像融合电力物联网故障点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant