CN113822155A - 一种聚类辅助的弱监督视频异常检测方法和装置 - Google Patents
一种聚类辅助的弱监督视频异常检测方法和装置 Download PDFInfo
- Publication number
- CN113822155A CN113822155A CN202110922859.8A CN202110922859A CN113822155A CN 113822155 A CN113822155 A CN 113822155A CN 202110922859 A CN202110922859 A CN 202110922859A CN 113822155 A CN113822155 A CN 113822155A
- Authority
- CN
- China
- Prior art keywords
- video
- clustering
- pseudo
- anomaly detection
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提出了一种聚类辅助的弱监督视频异常检测方法和装置,属于视频异常检测技术领域。在模型训练阶段,首先将视频随机切分为32个互不重叠的片段,其中每个片段包含16帧连续画面,再使用I3D卷积网络提出连续16帧画面的时空特征并求平均值,然后利用k‑means算法对所有视频片段的特征进行聚类分析,将高置信度数据点的簇标签作为伪标签训练循环神经网络,计算每个片段的异常评分;在测试阶段,将视频切分为互不重叠的片段输入到训练好的网络中,根据评分大小判断视频中是否有异常行为以及异常行为发生的位置。本发明利用聚类算法生成的伪标签训练评分网络,避免收集准确片段级标签的高昂成本的同时显著提升了视频异常事件监测的准确率。
Description
技术领域
本发明涉及视频异常检测技术领域,具体涉及一种聚类辅助的弱监督视频异常检测方法、一种聚类辅助的弱监督视频异常检测装置和一种用于视频异常检测的计算机设备。
背景技术
视频异常检测旨在通过算法自动检测和定位视频数据中的不正常行为事件,可应用于交通管理、公共安防、环境监测等领域。由于视频具有背景复杂、场景多变、数据规模大等特点,相较于一般的时间序列异常检测,视频异常检测更加复杂,面临4个方面的挑战:1)异常事件定义不明确;2)正常事件和异常事件数量高度不平衡;3)异常事件存在多样性;4)事件的类别具有场景依赖性。由于异常事件的多样性及场景依赖性,获取准确的数据标签较为困难,尤其是精确的片段级标签,即将视频拆分为若干等长的片段,对每个片段都进行准确标注。
按照视频异常检测方法的发展阶段,可将现有的方法分为传统机器学习方法、混合方法和深度学习方法三类,其中前两种需要对异常事件进行手工建模,计算过程复杂且应用场景有限。根据判别机制,可将深度学习方法进一步划分为重建法、预测法、单分类神经网络和多实例学习四类,其中多实例学习使用视频级的标签训练模型,能够准确定位异常行为发生的帧位置,属于弱监督方法,相较于前三类无监督方法性能更好,鲁棒性更强。此外,视频级的标签相较于片段级标签易于获得,成本更低,因此多实例学习模型相较于使用精细的片段级级标签进行模型训练的有监督方法更加具有实用性,可用于现实场景下的异常行为检测。然而,原多实例学习模型未能充分利用视频数据的时序关系,仅使用简单全连接神经网络进行异常行为评分,同时使用最大得分片段代表整个视频缺乏合理性,在UCF-crime数据集上的准确率仅为75%,有待进一步提升。
发明内容
针对背景技术中指出的问题,本发明提出一种聚类辅助的弱监督视频异常检测方法、一种聚类辅助的弱监督视频异常检测装置和一种用于视频异常检测的计算机设备。
本发明的技术方案是这样实现的:
一种聚类辅助的弱监督视频异常检测方法,包括以下步骤:
S1.视频预处理:将任意时长的训练视频切分为32个互不重叠的片段,每个片段包含16帧连续画面;
S2.时空特征提取:使用I3D卷积网络提取每个视频片段的时空特征,取16帧画面特征的平均值作为视频片段的特征表示;
S3.聚类伪标签生成:使用k-means聚类算法将所有用于模型训练的视频片段的时空特征分为两个聚类簇,其中数量大的表示伪负例,数量小的表示伪正例,选取置信度高的特征使用簇类别标注伪标签;
S4.异常评分:使用伪标签训练自定义损失函数的循环神经网络,对片段进行评分,其中0表示该片段不包含异常行为,1表示该片段包含异常行为;
S5.分值输出:在测试时,将视频切分为连续的片段输入到网络中,根据输出的评分即可判断是否有异常行为以及异常行为发生的位置。
根据本发明的一个实施例,通过下述公式提取视频片段的时空特征:
x=φ(β),其中φ表示预训练好的I3D卷积网络,β表示视频片段中的连续16帧图像。
根据本发明的一个实施例,通过下述公式来获取伪标签:
其中Csmall,Clarge分别表示较大和较小的聚类簇,τ为常数,γ(x)表示聚类结果的置信度。
根据本发明的一个实施例,通过下述公式计算γ(x):
其中u表示当前簇的聚类重新,y表示当前簇的所有成员。
根据本发明的一个实施例,通过利用伪标签训练简单循环神经网络,网络的输入包括1024个神经元,中间层为32个神经元,输出范围为[0,1]的异常分数,每一层均设置0.5的dropout,以防止过拟合;
隐藏层激活函数为relu,表达式为:relu(x)=max(0,x)
根据本发明的一个实施例,自定义的评分网络损失函数分为分类损失和连续性损失两部分,分类损失衡量评分结果与聚类生成的伪标签之间的差异性,连续性损失限制相邻片段之间的评分是连续的,不会出现分数的突变,分别用L1,L2表示:
则总的损失函数可以表示为:L=λ1L1+λ2L2。
本发明还提出了一种聚类辅助的弱监督视频异常检测装置,包括:视频预处理模块,用于将输入视频的画面尺寸,帧率处理为固定值,并按照每16帧一个片段将视频切分为连续的片段;时空特征抽取模块,用于使用I3D卷积网络抽取视频片段的时空特征,取16帧画面特征的平均值表示视频片段的特征;聚类伪标签生成模块,用于使用聚类算法将所有片段的时空特征向量分为数量不平衡的两个聚类簇,根据簇类别对高置信度特征向量添加伪标签;异常评分模块,用于使用伪标签训自定义损失函数的简单循环神经网络,输出片段的异常评分值。
本发明还提出了一种用于视频异常检测的计算机设备,包括摄像头、存储器、处理器和计算机软件程序,所述处理器执行计算机程序时,实现上述的聚类辅助的弱监督视频异常检测方法。
综上所述,本发明的有益效果:
本发明在多实例学习模型中引入了聚类算法生成伪标签辅助评分模块的学习,同时使用循环神经网络进行评分,相较于现有技术的简短全连接神经网络有效利用了视频的时序关系,避免收集准确片段级标签的高昂成本的同时显著提高了现实场景下视频异常行为检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的聚类辅助的弱监督视频异常检测方法流程图;
图2为本发明实施例的聚类辅助的弱监督视频异常检测装置模块示意图;
图3为本发明实施例的用于视频异常检测的计算机设备的结构图和工作流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如下参考图1-3对本发明进行说明:
图1为本发明实施例的聚类辅助的弱监督视频异常检测方法流程图,该方法的使用包括模型训练和测试两个阶段。
本发明实施例的一种聚类辅助的弱监督视频异常检测方法,如图1所示,包括以下步骤:视频预处理、时空特征提取、聚类伪标签生成、异常评分、分值输出等5个步骤。
在模型训练阶段,
S1.视频预处理:将任意时长的训练视频切分为32个互不重叠的片段,每个片段包含16帧连续画面,固定画幅为240×320,帧率为30。
S2.时空特征提取:使用I3D卷积网络提取每个视频片段的时空特征,取16帧画面特征的平均值作为视频片段的特征表示,得到一个维度为1×1024的特征向量。
在本发明的一个实施例中,通过下述公式提取视频片段的时空特征:
x=φ(β),其中φ表示预训练好的I3D卷积网络,β表示视频片段中的连续16帧图像。
在本发明的一个实施例中,还可以通过使用C3D、TSN等三维卷积网络提取每个视频片段的时空特征。
S3.聚类伪标签生成:使用k-means聚类算法将所有用于模型训练的视频片段的时空特征分为两个聚类簇,其中数量大的表示伪负例,数量小的表示伪正例,选取置信度高的特征使用簇类别标注伪标签;
在本发明的一个实施例中,通过下述公式来获取伪标签:
其中Csmall,Clarge分别表示较大和较小的聚类簇,τ为常数,γ(x)表示聚类结果的置信度。
进一步地,通过下述公式计算γ(x):
其中u表示当前簇的聚类重新,y表示当前簇的所有成员。
在本发明的一个实施例中,还可以使用其他聚类算法生成伪标签。
S4.异常评分:使用伪标签训练自定义损失函数的循环神经网络,对片段进行评分,其中0表示该片段不包含异常行为,1表示该片段包含异常行为;
在本发明的一个实施例中,通过利用伪标签训练简单循环神经网络,网络的输入包括1024个神经元,中间层为32个神经元,输出范围为[0,1]的异常分数,每一层均设置0.5的dropout,以防止过拟合;
隐藏层激活函数为relu,表达式为:relu(x)=max(0,x)
在本发明的一个实施例中,自定义的评分网络损失函数分为分类损失和连续性损失两部分,分类损失衡量评分结果与聚类生成的伪标签之间的差异性,连续性损失限制相邻片段之间的评分是连续的,不会出现分数的突变,分别用L1,L2表示:
则总的损失函数可以表示为:L=λ1L1+λ2L2。
在本发明的一个实施例中,设置λ1=0.01,λ2=1×10-4,采用随机梯度下降法训练模型,最大迭代次数为60次。
在本发明的一个实施例中,通过使用伪标签训练LSTM、GRU等其他类型的循环神经网络。
模型训练完成后,进行测试,
S5.分值输出:在测试时,将任意输入视频切分为连续的片段输入到网络中,进行连续的异常评分,根据输出的分值大小和分布关系就可以判断视频中是否包含异常行为以及异常行为发生的位置。
综上所述,本发明通过在多实例学习模型中引入了聚类算法生成伪标签辅助评分模块的学习,同时使用循环神经网络进行评分,根据评分判断视频中的异常行为,以及异常行为发生的位置。
图2为本发明实施例的聚类辅助的弱监督视频异常检测装置模块示意图。本发明实施例的一种聚类辅助的弱监督视频异常检测装置,该装置包括:视频预处理模块M1、时空特征抽取模块M2、聚类伪标签生成模块M3、异常评分模块M4等。
视频预处理模块M1,用于将输入视频的画面尺寸,帧率处理为固定值,并按照每16帧一个片段将视频切分为连续的片段;时空特征抽取模块M2,用于使用I3D卷积网络抽取视频片段的时空特征,取16帧画面特征的平均值表示视频片段的特征;聚类伪标签生成模块M3,用于使用聚类算法将所有片段的时空特征向量分为数量不平衡的两个聚类簇,根据簇类别对高置信度特征向量添加伪标签;异常评分模块M4,用于使用伪标签训自定义损失函数的简单循环神经网络,输出片段的异常评分值。
根据本发明的一个实施例,时空特征抽取模块M2通过下述公式提取视频片段的时空特征:
x=φ(β),其中φ表示预训练好的I3D卷积网络,β表示视频片段中的连续16帧图像。
根据本发明的一个实施例,聚类伪标签生成模块M3通过下述公式来获取伪标签:
其中Csmall,Clarge分别表示较大和较小的聚类簇,τ为常数,γ(x)表示聚类结果的置信度。
进一步地,通过下述公式计算γ(x):
其中u表示当前簇的聚类重新,y表示当前簇的所有成员。
根据本发明的一个实施例,异常评分模块M4通过利用伪标签训练简单循环神经网络,网络的输入包括1024个神经元,中间层为32个神经元,输出范围为[0,1]的异常分数,每一层均设置0.5的dropout,以防止过拟合;
隐藏层激活函数为relu,表达式为:relu(x)=max(0,x)
自定义的评分网络损失函数分为分类损失和连续性损失两部分,分类损失衡量评分结果与聚类生成的伪标签之间的差异性,连续性损失限制相邻片段之间的评分是连续的,不会出现分数的突变,分别用L1,L2表示:
则总的损失函数可以表示为:L=λ1L1+λ2L2。其中设置λ1=0.01,λ2=1×10-4,采用随机梯度下降法训练模型,最大迭代次数为60次。
图3为本发明实施例的用于视频异常检测的计算机设备的结构图和工作流程示意图。本发明实施例的用于视频异常检测的计算机设备,如图3所示,包括摄像头、存储器、处理器和计算机软件程序等。如图3所示,该设备包括两种工作流程,工作流程1中摄像头采集的视频数据首先被存储到存储器中,处理器读取存储器中的视频进行模型的训练和测试。在部署应用阶段,设备执行工作流程2,摄像头采集的视频被实时传递给处理器进行异常行为的检测和评分,根据分支判别出异常行为后有选择地将包含异常行为的视频片段保存到存储设备中,可显著降低存储设备的占用率,提高其使用价值。
以上所述的仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种聚类辅助的弱监督视频异常检测方法,其特征在于,包括以下步骤:
S1.视频预处理:将任意时长的训练视频切分为32个互不重叠的片段,每个片段包含16帧连续画面;
S2.时空特征提取:使用I3D卷积网络提取每个视频片段的时空特征,取16帧画面特征的平均值作为视频片段的特征表示;
S3.聚类伪标签生成:使用k-means聚类算法将所有用于模型训练的视频片段的时空特征分为两个聚类簇,其中数量大的表示伪负例,数量小的表示伪正例,选取置信度高的特征使用簇类别标注伪标签;
S4.异常评分:使用伪标签训练自定义损失函数的循环神经网络,对片段进行评分,其中0表示该片段不包含异常行为,1表示该片段包含异常行为;
S5.分值输出:在测试时,将视频切分为连续的片段输入到网络中,根据输出的评分即可判断是否有异常行为以及异常行为发生的位置。
2.根据权利要求1所述的一种聚类辅助的弱监督视频异常检测方法,其特征在于,通过下述公式提取视频片段的时空特征:
x=φ(β),其中φ表示预训练好的I3D卷积网络,β表示视频片段中的连续16帧图像。
7.一种聚类辅助的弱监督视频异常检测装置,其特征在于,包括:
视频预处理模块,用于将输入视频的画面尺寸,帧率处理为固定值,并按照每16帧一个片段将视频切分为连续的片段;
时空特征抽取模块,用于使用I3D卷积网络抽取视频片段的时空特征,取16帧画面特征的平均值表示视频片段的特征;
聚类伪标签生成模块,用于使用聚类算法将所有片段的时空特征向量分为数量不平衡的两个聚类簇,根据簇类别对高置信度特征向量添加伪标签;
异常评分模块,用于使用伪标签训自定义损失函数的简单循环神经网络,输出片段的异常评分值。
8.一种用于视频异常检测的计算机设备,其特征在于,包括摄像头、存储器、处理器和计算机软件程序,所述处理器执行计算机程序时,实现权利要求1-6任一项所述的聚类辅助的弱监督视频异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110922859.8A CN113822155A (zh) | 2021-08-12 | 2021-08-12 | 一种聚类辅助的弱监督视频异常检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110922859.8A CN113822155A (zh) | 2021-08-12 | 2021-08-12 | 一种聚类辅助的弱监督视频异常检测方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113822155A true CN113822155A (zh) | 2021-12-21 |
Family
ID=78922777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110922859.8A Pending CN113822155A (zh) | 2021-08-12 | 2021-08-12 | 一种聚类辅助的弱监督视频异常检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113822155A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114841312A (zh) * | 2022-03-30 | 2022-08-02 | 西北工业大学 | 一种基于自适应图卷积网络的弱监督视频异常检测方法 |
-
2021
- 2021-08-12 CN CN202110922859.8A patent/CN113822155A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114841312A (zh) * | 2022-03-30 | 2022-08-02 | 西北工业大学 | 一种基于自适应图卷积网络的弱监督视频异常检测方法 |
CN114841312B (zh) * | 2022-03-30 | 2024-02-27 | 西北工业大学 | 一种基于自适应图卷积网络的弱监督视频异常检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
WO2018192570A1 (zh) | 时域动作检测方法和系统、电子设备、计算机存储介质 | |
US7822275B2 (en) | Method for detecting water regions in video | |
CN112699786B (zh) | 一种基于空间增强模块的视频行为识别方法及系统 | |
CN109902564B (zh) | 一种基于结构相似性稀疏自编码网络的异常事件检测方法 | |
CN112989977B (zh) | 一种基于跨模态注意力机制的视听事件定位方法及装置 | |
CN112819065A (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和系统 | |
CN112801019B (zh) | 基于合成数据消除无监督车辆再识别偏差的方法及系统 | |
CN110457992A (zh) | 基于贝叶斯优化技术的行人重识别方法、装置和系统 | |
CN103577795A (zh) | 检测设备和方法、检测器生成设备和方法及监控系统 | |
CN111767881A (zh) | 一种基于ai技术的自适应人群密度估计装置 | |
CN113822155A (zh) | 一种聚类辅助的弱监督视频异常检测方法和装置 | |
CN111626197B (zh) | 一种基于人体行为识别网络模型的识别方法 | |
CN108596068B (zh) | 一种动作识别的方法和装置 | |
Nallaivarothayan et al. | Anomalous event detection using a semi-two dimensional hidden markov model | |
Song et al. | Text Siamese network for video textual keyframe detection | |
Mahareek et al. | Detecting anomalies in security cameras with 3DCNN and ConvLSTM | |
Arshad et al. | Anomalous Situations Recognition in Surveillance Images Using Deep Learning | |
CN114092746A (zh) | 一种多属性识别方法、装置、存储介质及电子设备 | |
CN113158720A (zh) | 一种基于双模特征和注意力机制的视频摘要方法及装置 | |
Wang et al. | Self-trained video anomaly detection based on teacher-student model | |
Lin et al. | Dual-mode iterative denoiser: tackling the weak label for anomaly detection | |
CN116563953B (zh) | 自底向上的弱监督时序动作检测方法、系统、设备及介质 | |
CN113869182B (zh) | 一种视频异常检测网络及其训练方法 | |
Jaiswal et al. | HOG Ensembled Boosting Machine Learning Approach for Violent Video Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |