CN113033424B - 一种基于多分支视频异常检测方法和系统 - Google Patents
一种基于多分支视频异常检测方法和系统 Download PDFInfo
- Publication number
- CN113033424B CN113033424B CN202110334827.6A CN202110334827A CN113033424B CN 113033424 B CN113033424 B CN 113033424B CN 202110334827 A CN202110334827 A CN 202110334827A CN 113033424 B CN113033424 B CN 113033424B
- Authority
- CN
- China
- Prior art keywords
- error
- video
- frame
- branch
- anomaly detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 230000002159 abnormal effect Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 18
- 230000001965 increasing effect Effects 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多分支视频异常检测方法，所述方法包括：步骤S1：对视频样本作变化以增加视频样本的数量；步骤S2：构建异常检测模型，进行模型训练；步骤S3：进行多分支异常检测模型的测试；步骤S4：用多分支异常检测模型进行异常检测。本发明从样本选取、模型测试到模型使用均利用了视频样本的时序特征，从而使得训练速度更快，检测精度更高，降低了异常检测误报率。
Description
【技术领域】
本发明属于智慧安防技术领域，尤其涉及一种基于多分支视频异常检测方法和系统。
【背景技术】
视频异常检测是指对视频中发生的异常行为进行检测。随着监控视频的不断普及，自动识别视频中的异常事件变得越来越有必要，因为人工检查可能会造成大量的资源浪费,例如，劳动力。然而，由于异常事件的罕见性和多样性，视频异常检测是一项具有挑战性的任务。更具体地说，异常事件很少发生，可能是以前从未见过的事件。因此，要收集所有类型的异常事件相当困难，这使得传统的二元分类方法不适合。此外，它很难以明确界定异常情况。鉴于异常点通常是与上下文相关，一个场景中的异常事件可以被视为作为另一个场景中的正常事件。现有技术主要是基于重建的模型，要么是基于预测的模型。重建模型是可以对输入的视频片段进行很好的重建，模型对空间特征有很好的提取能力。而预测模型是可以对输入视频片段的下一帧进行很好的预测，模型对时序特征有更好的提取能力。但是，这些模型，但是，我们发现该双分支网络对时序特征的表达能力还不足，提取的特征还不够好，对异常的检测能力还不够强，是待解决的技术问题。本发明通过多分支预测，使得神经网对时序特征有了更好的表达。另外，现有技术中采用神经网络进行异常检测，多集中于神经网络模型的直接应用，而未针对检测对象特点进行有针对性的改进；本发明创新的提出了多分支异常检测方法，从样本选取、模型测试到模型使用均利用了视频样本的时序特征，从而使得训练速度更快，检测精度更高，降低了异常检测误报率；具体的有益效果包括：(1)通过网格化视频样本，强化重要视频帧而弱化或者删除平常视频帧，缩短神经网络的学习路径，加快学习速度；(2)通过将编码过程做平行分解，正好满足不同类型解码器的需要，避免浪费的计算，同时降低计算复杂度；(3)设置和三分支模型对应的误差要求，通过一致性的方式降低模型误差，从时序角度出发在训练过程中对模型提出要求，同时能够针对单个分支进行单分支测试，大大提高提高模型的训练速度；(4)利用了三分支的特性通过关系要求限定了误差之间需要满足的关联关系，从而在异常检测的过程中有效的区分了异常检测需要反馈的情形和因为训练缺口导致的预测错误及其包含的两者混合的情形，增强了异常检测效率避免了误报；
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种基于多分支视频异常检测方法，所述方法包含：
步骤S1：对视频样本作变化以增加视频样本的数量；
步骤S2：构建异常检测模型，进行模型训练；具体的：构建异常检测模型，采用视频样本数据I1～It,It+1进行模型训练；
所述构建异常检测模型，具体为：构建神经网络模型，异常检测模型包括一个编码器和三个解码器，融合了重建分支、前向预测分支和反向预测分支；将视频样本输入编码器来得到一个中间层的高级语义特征，然后把该高级语义特征分别输入三个解码器中，来分别输出的重建帧，下一个帧和上一个帧，基于三个分支的分析来表达视频变化的时序特征；
输入视频样本为t个视频帧，每个视频帧的尺寸为p*q*r，其中：r是网格数量；将视频样本输入编码器进行编码，编码器对t*p*q*r的视频样本进行降维，并最终形成一个1*(t*p*q)*r的视频样本对应语义特征；在编码的过程中，降低视频帧数量t的维度值，而增加尺寸大小相关的三个维度的维度值；
步骤S3：进行多分支异常检测模型的测试；具体的：将测试视频样本输入异常检测模型，得到当前测试视频样本的重建帧RIt-1，下一帧预测值RIt和上一帧预测值RIt-2；分别计算重建帧、下一帧预测值、上一帧预测值对应的第一误差、第二误差、第三误差；判断第一误差、第二误差、第三误差是否满足误差要求，如果是，则进入步骤S4，否则基于不满足的情况进入步骤S1或者步骤S2；其中：误差要求包含关系要求和阈值要求；其中：关系要求为第一误差δ1、第二误差δ2、第三误差δ3之间满足特定函数关系；
步骤S4：用多分支异常检测模型进行异常检测；具体的：将待检测视频输入多分支异常检测模型，当异常检测模型输出的误差不满足误差要求时，确定存在异常，并进行异常报警，否则，确定不存在异常。
进一步的，关系要求为第一误差δ1、第二误差δ2、第三误差δ3需要满足的线性函数关系；阈值要求为第一误差δ1、第二误差δ2、第三误差δ3所要小于的阈值。
进一步的，所述线性函数关系为：δ3＝a1×δ1+a2δ2±b；其中a1，a2，b为常数。
进一步的，所述步骤S4具体包括：
步骤S41：检测参数初始化；设置帧编号i＝2；
步骤S42：将待检测视频输入多分支异常检测模型，用异常检测模型预测得到重建帧I‘i，下一帧预测值I‘i+1和上一帧预测值I‘i-1；当帧编号表明为最后一帧时，进入步骤S46；
步骤S43：分别计算重建帧、下一帧预测值、上一帧预测值对应的第一误差、第二误差、第三误差；
步骤S44：判断第一误差、第二误差、第三误差是否满足误差要求，如果是，则帧编号增加1，并进入步骤S42；如果不满足误差要求，则进入步骤S45；
步骤S45：如果第一误差、第二误差、第三误差满足误差要求中的关系要求、且第一误差和第二误差均满足误差要求中的阈值要求，则标记帧编号为待训练；否则，标记帧编号为待反馈；帧编号增加1，并进入步骤S42；
步骤S46：将所有标记为待反馈的帧编号对应的待检测视频片段标记后反馈给用户；反馈的结果是检测异常；基于标记为待训练的帧编号进行异常检测模型的训练；
所述基于标记为待训练的帧编号进行异常检测模型的训练，具体为：计算标记为待训练的帧的数量，当所述数量超过一定数量时，重新启动异常检测模型的训练；训练过程中，根据标记为待训练的视频帧的帧编号，找到相应的视频帧进行有针对性的训练。
进一步的，将编码器编码过程中形成的语义特征和解码器对应的语义特征类型输入到解码器中；所述语义特征包括中间得到的语义特征和最终得到的语义特征；编码器在编码过程中不断地降维，并将降维过程的中间结果和最终结果分别输入到三个解码器中的一个或多个。
进一步的，所述系统包括：异常检测监控服务器。
进一步的，所述服务器为1个或者多个。
进一步的，所述服务器包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序。
进一步的，所述服务器为分布式服务器。
进一步的，所述服务器为云服务器。
本发明创新的提出了三分支异常检测方法，从样本选取、模型测试到模型使用均利用了视频样本的时序特征，从而使得训练速度更快，检测精度更高，降低了异常检测误报率；具体的有益效果包括：(1)通过网格化视频样本，强化重要视频帧而弱化或者删除平常视频帧，缩短神经网络的学习路径，加快学习速度；(2)通过将编码过程做平行分解，正好满足不同类型解码器的需要，避免浪费的计算，同时降低计算复杂度；(3)设置和三分支模型对应的误差要求，通过一致性的方式降低模型误差，从时序角度出发在训练过程中对模型提出要求，同时能够针对单个分支进行单分支测试，大大提高提高模型的训练速度；(4)利用了三分支的特性通过关系要求限定了误差之间需要满足的关联关系，从而在异常检测的过程中有效的区分了异常检测需要反馈的情形和因为训练缺口导致的预测错误及其包含的两者混合的情形，增强了异常检测效率避免了误报。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1为本发明的一种基于多分支视频异常检测方法示意图。
图2为本发明的多分支异常检测模型结构示意图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
本发明所涉及到的多分支视频异常检测方法融合重建分支、前向预测分支和反向预测分支；异常检测模型包含一个编码器和三个解码器。在训练的时候，把视频片段输入编码器来得到一个中间层的高级语义特征，然后把该高级语义特征分别输入三个解码器中，来分别输出的重建帧，下一帧和上一帧，基于三个分支的分析来表达视频变化的时序特征；
本发明所述的一种基于多分支视频异常检测方法，包含如下步骤：
步骤S1：对视频样本作变化以增加视频样本的数量，具体的：对视频样本作时序特征强化；通过对视频样本做时序特征强化，增加具有时序特征特点的样本数量；
在进行多分支监测时，对训练样本的需求量更大，如何在提高训练速度的前提下科学的增加样本数量很重要，本发明提出时序样本的局部强化，高效且可操作性强；而且考虑到异常检测的类型反复多样，通过圈定监测关注目标和范围能够提高训练速度和模型精度，关注目标或关注范围过小而视频精度达不到，这样的异常检测是无意义的，基于此的样本变化效果也很小，本发明通过最小呈现尺寸设置避免无效样本变化；
步骤S1具体包括如下步骤：
步骤S11：获取视频样本，确定视频样本的目标尺度，基于目标尺度进行视频样本变化以得到测试样本和训练样本；在所有视频样本均处理完毕后进入步骤S17；
优选的：目标尺度设置为默认尺度；可替换的:目标尺度根据异常检测关注目标及关注范围在视频样本中的最小呈现尺寸设置；
所述确定视频样本的目标尺度，具体为：获取视频样本类型，根据视频样本类型获取参照物，确定视频样本的视频帧中参照物尺寸，根据参照物尺寸确定关注目标及关注范围的呈现尺寸，如果呈现尺寸大于最小呈现阈值，则将呈现尺寸放入呈现尺寸集合，在确定完所有关注目标及关注范围的呈现尺寸后，将呈现尺寸集合中的最小值作为最小呈现尺寸；
优选的；最小呈现尺寸乘以目标尺度等于视频样本帧尺寸；
优选的：不同视频样本计算得到的目标尺寸是不同的；不同视频样本类型对应的参照物类型是不同的；同一个视频样本类型对应一个或者多个参照物类型；
优选的：关注目标为一个或多个；关注范围包含一个或多个关注目标；
步骤S12：将视频样本按照目标尺度划分；具体的：将视频样本中的每一帧按照目标尺度划分为目标尺度数量的网格；
优选的：每个视频样本的目标尺寸是相同或不同的；
步骤S13：对于视频样本I1～It中的两个相邻的视频帧Ii和Ii+1，计算相邻视频帧的对应网格VNi,j和VNi+1,j的差异值CRAi,j，1＝<j<＝J，1＝<i<＝t-1，得到差异值矩阵[CRAi,j]；CRAi,j为第j个网格的第i+1和第i个视频帧之间的差异值；其中：J为网格化尺度值；这里的差异值可以用帧间梯度损失、帧间强度损失、像素值均方差等计算；
步骤S14：根据公式(1)计算脊变化熵SH，如果脊变化熵小于预设值，降低视频样本长度，并进入步骤S11；否则，进入步骤S15；
所述降低视频样本长度，具体为：计算帧间变化幅度，删除帧间变化幅度最小的n个视频帧；
优选的：按照公式(2)计算帧间变化幅度FVi；
优选的：n＝1；
对于监控视频来说，很多情况下，帧间变化很小甚至帧间只有局部范围有变化，本发明通过网格化视频样本，计算网格间的差异并进行帧间计算，强化重要视频帧而弱化或者删除平常视频帧，缩短神经网络的学习路径，加快学习速度；
步骤S15：对于每个网格j，计算连续的三个相邻视频帧的三帧网格差异和，当存在一个三帧网格差异和在所述网格j对应的的所有三帧网格差异和中存在显著性时，将所述网格j作为目标网格，将所述三个相邻视频帧作为目标视频帧，并进入步骤S16，否则继续进行下一网格的处理，直到网格均被处理完毕为止；
优选的：存在显著性是指所述网格差异和其他网格差异和之间的差值均大于设定的显著差异；
步骤S16：基于目标视频帧对视频样本作变化；变化完毕后返回步骤S11；具体的：生成视频样本I1～Ii-1，Ii，Ii+1～It的变化视频样本RI1～RIi-1，RIi，RIi+1～RIt，其中：目标视频帧是Ii-1，Ii，Ii+1；生成的方式是，复制RI1～RIi-2，RIi+2～RIt等于I1～Ii-2，Ii+2～It，并基于目标视频帧Ii-1，Ii，Ii+1及其下一视频帧Ii+2的计算变化视频样本中的对应目标视频帧RIi-1，RIi，RIi+1；变化完毕后返回步骤S11；
所述基于目标视频帧Ii-1，Ii，Ii+1的计算变化视频样本中的对应目标视频帧RIi-1，RIi，RIi+1，具体为：将RIi-1中像素值rii-1设置为Ii-1和Ii对应像素值的平均值，将RIi中像素值rii设置为Ii和Ii+1对应像素值的平均值，将RIi+1中像素值rii+1设置为Ii+1和Ii+2对应像素值rii+2的平均值；
优选的：所述步骤还包括对目标网格作做较多的变化，以生成较多的变化视频样本；对于非目标网格或者非目标网格周边的网格部分做直接复制，而对目标网格作较像素值平均值的逐渐增加以生成较多的变化视频样本；
步骤S17：在所有视频样本均处理完毕后，将视频样本作为训练样本，而将变化视频样本作为测试样本；
可替换的：将视频样本和变化视频样本混合后，将混合后的样本中的一部分作为测试样本，另一部分坐位训练样本；
现有技术中在进行样本扩充的时不考虑视频内容及其改变，更不考虑基于时序变化的样本扩充和删除，在不进行目标标注或者图像分割的时候智能进行普遍的视频帧的样本扩充，本发明通过定位目标尺度和目标视频帧，强化重要视频帧而弱化或者删除平常视频帧，缩短神经网络的学习路径，加快学习速度，从而在提高局部监测准确性的同时，大大提高了模型训练效率；
步骤S2：构建异常检测模型，进行模型训练；具体的：构建异常检测模型，采用视频样本数据I1～It,It+1进行模型训练；
所述步骤S2还包括分支训练步骤，用于根据步骤S3的测试结果对单独的分支进行训练并进行分支内单独测试，当分支内单独测试通过后，再进入步骤S3进行测试；分支内的单独测试就可以采用常见的单分支测试方法进行以误差最小化为目标的训练和测试，例如：将误差设置为噪声标准差、平均灰度值的平方差，局部均差等；通过单分支测试，能够大大的提高模型整体的训练速度，并最终使得模型整体误差降低；
通过上面的样本扩充，在处理得到千条样本后就可以达到初步的训练效果，此时就可以进行模型的训练，并在后续使用过程中在进行模型的再训练，最终得到一个达到效果的模型；
优选的：在完成所有训练样本的训练后进入步骤S3；
所述构建异常检测模型，具体为：构建神经网络模型，异常检测模型包括一个编码器和三个解码器，融合了重建分支、前向预测分支和反向预测分支；将视频样本输入编码器来得到一个中间层的高级语义特征，然后把该高级语义特征分别输入三个解码器中，来分别输出的重建帧，下一个帧和上一个帧，基于三个分支的分析来表达视频变化的时序特征；
输入视频样本为t个视频帧，每个视频帧的尺寸为p*q*r，其中：r是网格数量；将视频样本输入编码器进行编码，编码器对t*p*q*r的视频样本进行降维，并最终形成一个1*(t*p*q)*r的视频样本对应语义特征；在编码的过程中，降低视频帧数量t的维度值，而增加尺寸大小相关的三个维度的维度值；
可替换的，最终形成一个2*((t*p*q)*(r/2))的视频样本；
优选的：在将视频样本输入编码器之前先进行神经网络映射层的映射，将视频样本映射为特征矩阵；
优选的：将编码器编码过程中形成的语义特征和解码器对应的语义特征类型输入到解码器中；所述语义特征包括中间得到的语义特征和最终得到的语义特征；编码器在编码过程中不断地降维，并将降维过程的中间结果和最终结果分别输入到三个解码器中的一个或多个；本发明通过将编码过程做平行分解，同时能够满足不同类型解码器的并行解码需要，避免浪费的计算，同时降低计算复杂度；
步骤S3：进行多分支异常检测模型的测试；具体的：将测试视频样本输入异常检测模型，得到当前测试视频样本的重建帧RIt-1，下一帧预测值RIt和上一帧预测值RIt-2；分别计算重建帧、下一帧预测值、上一帧预测值对应的第一误差、第二误差、第三误差；判断第一误差、第二误差、第三误差是否满足误差要求，如果是，则进入步骤S4，否则基于不满足的情况进入步骤S1或者步骤S2；该步骤中可以采用多次测试，并根据多次测试中满足误差要求和不满足误差要求次数的比例来确定是否进入步骤S4，还是基于不满足情况的比例进入步骤S1或者步骤S2；
优选的：所述误差为求帧间的强度损失和/或梯度损失；
其中：所述重建帧为视频样本的倒数第二帧；
可替换的：所述重建帧为视频样本的关键帧；关键帧为视频样本中网格梯度变化最大的视频帧；
可替换的：所述重建帧为测试视频样本的重建视频，预测值为X个下一帧预测帧以及X个上一帧预测值；
所述分别计算重建帧、下一帧预测值、上一帧预测值对应的第一误差、第二误差、第三误差，具体为：分别计算重建帧和测试帧、下一帧预测值和测试帧下一帧、上一帧预测值和测试帧的上一帧之间的差异值；所述差异值，具体为：求取下一帧预测值和下一帧真实值之前的强度损失和/或梯度损失作为差异值；
误差要求包含关系要求和阈值要求；其中：关系要求为第一误差δ1、第二误差δ2、第三误差δ3之间满足特定函数关系；优选的：这种关系为线性函数关系；例如：δ3＝a1×δ1+a2δ2±b；其中a1，a2，b为常数；阈值要求为第一误差δ1、第二误差δ2、第三误差δ3所要小于的阈值；
所述基于不满足的情况进入步骤S1或者步骤S2，具体为：当仅不满足关系要求时，进入步骤S2进行模型训练；这里的模型训练为模型的整体训练；当仅不满足阈值要求时，进入步骤S2的分支训练步骤，进行和误差对应的分支的训练；当关系要求和阈值要求均不满足时，进入步骤S1；
可替换的：当第一误差δ1、第二误差δ2、第三误差δ3均不满足阈值条件，且第一误差δ1、第二误差δ2、第三误差δ3之间不满足关系要求时，进入步骤S1；
由于采用了三分支的预测模型，本发明设置了特殊的误差要求，同时包含关系要求和阈值要求，通过这样的方式通过一致性的方式降低模型误差，从时序角度出发在训练过程中对模型提出要求，同时通过阈值误差，使得能够针对单个分支进行单分支测试，大大提高提高模型的训练速度；
步骤S4：用多分支异常检测模型进行异常检测；具体的：将待检测视频输入多分支异常检测模型，当异常检测模型输出的误差不满足误差要求时，确定存在异常，并进行异常报警，否则，确定不存在异常；
所述步骤S4具体包括：
步骤S41：检测参数初始化；设置帧编号i＝2；
步骤S42：将待检测视频输入多分支异常检测模型，用异常检测模型预测得到重建帧I‘i，下一帧预测值I‘i+1和上一帧预测值I‘i-1；当帧编号表明为最后一帧时，进入步骤S46；
步骤S43：分别计算重建帧、下一帧预测值、上一帧预测值对应的第一误差、第二误差、第三误差；
步骤S44：判断第一误差、第二误差、第三误差是否满足误差要求，如果是，则帧编号增加1，并进入步骤S42；如果不满足误差要求，则进入步骤S45；
步骤S45：如果第一误差、第二误差、第三误差满足误差要求中的关系要求、且第一误差和第二误差均满足误差要求中的阈值要求，则标记帧编号为待训练；否则，标记帧编号为待反馈；帧编号增加1，并进入步骤S42；
步骤S46：将所有标记为待反馈的帧编号对应的待检测视频片段标记后反馈给用户；反馈的结果是检测异常；基于当标记为待训练的帧编号进行异常检测模型的训练；
所述基于当标记为待训练的帧编号进行异常检测模型的训练，具体为：计算标记为待训练的帧的数量，当所述数量超过一定数量时，重新启动异常检测模型的训练；训练过程中，根据标记为待训练的视频帧的帧编号，找到相应的视频帧进行有针对性的训练；
本发明利用了三分支的特性通过关系要求限定了误差之间需要满足的关联关系，从而在异常检测的过程中有效的区分了异常检测需要反馈的情形和因为训练缺口导致的预测错误及其包含的两者混合的情形，增强了异常检测效率避免了误报；
软件环境可以分为两类，包括在一个或多个硬件环境上执行的系统软件和应用软件。在一个实施例中，在此公开的方法和过程可以实现为系统软件、应用软件或它们的组合。系统软件可以包括诸如操作系统(OS)和信息管理系统之类的控制程序，它们指示硬件环境中的一个或多个处理器(例如微处理器)如何运行和处理信息。应用软件可以包括但不限于程序代码、数据结构、固件、驻留软件、微代码，或者可以由处理器读取、分析或执行的任何其它形式的信息或例程。
换言之，应用软件可以实现为程序代码，其以机器可用或计算机可读存储介质的形式嵌入在计算机程序产品中，计算机程序产品提供程序代码以便由机器、计算机或任何指令执行系统使用或者与其结合使用。此外，应用软件可以包括一个或多个计算机程序，这些计算机程序在从存储介质加载到本地存储器之后，在系统软件之上执行。在客户端-服务器体系结构中，应用软件可以包括客户端软件和服务器软件。例如，在一个实施例中，客户端软件可以在客户端计算系统上执行，该客户端计算系统不同于并且独立于执行服务器软件的服务器计算系统。
软件环境还可以包括浏览器软件以便访问通过本地或远程计算网络提供的数据。进一步，软件环境可以包括用户接口(例如图形用户接口(GUI))以便接收用户命令和数据。有必要重申，上面描述的硬件和软件体系结构和环境用于实例目的。因此，可以在任何类型的系统体系结构、功能或逻辑平台或处理环境上实现一个或多个实施例。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。
Claims (8)
1.一种基于多分支视频异常检测方法，其特征在于，所述方法包含：
步骤S1：对视频样本作变化以增加视频样本的数量；
步骤S2：构建异常检测模型，进行模型训练；具体的：构建异常检测模型，采用视频样本数据I1～It,It+1进行模型训练；
所述构建异常检测模型，具体为：构建神经网络模型，异常检测模型包括一个编码器和三个解码器，融合了重建分支、前向预测分支和反向预测分支；将视频样本输入编码器来得到一个中间层的高级语义特征，然后把该高级语义特征分别输入三个解码器中，来分别输出重建帧，下一个帧和上一个帧，基于三个分支的分析来表达视频变化的时序特征；
输入视频样本为t个视频帧，每个视频帧的尺寸为p*q*r，其中：r是网格数量；将视频样本输入编码器进行编码，编码器对t*p*q*r的视频样本进行降维，并最终形成1*(t*p*q)*r的视频样本对应语义特征；在编码的过程中，降低视频帧数量t的维度值，而增加尺寸大小相关的三个维度的维度值；
步骤S3：进行多分支异常检测模型的测试；具体的：将测试视频样本输入异常检测模型，得到当前测试视频样本的重建帧RIt-1，下一帧预测值RIt和上一帧预测值RIt-2；分别计算重建帧、下一帧预测值、上一帧预测值对应的第一误差、第二误差、第三误差；判断第一误差、第二误差、第三误差是否满足误差要求，如果是，则进入步骤S4，否则基于不满足的情况进入步骤S1或者步骤S2；其中：误差要求包含关系要求和阈值要求；其中：关系要求为第一误差δ1、第二误差δ2、第三误差δ3之间满足特定函数关系；
步骤S4：用多分支异常检测模型进行异常检测；具体的：将待检测视频输入多分支异常检测模型，当异常检测模型输出的误差不满足误差要求时，确定存在异常，并进行异常报警，否则，确定不存在异常；
关系要求为第一误差δ1、第二误差δ2、第三误差δ3需要满足的线性函数关系；阈值要求为第一误差δ1、第二误差δ2、第三误差δ3所要小于的阈值；
所述线性函数关系为：δ3＝a1×δ1+a2δ2±b；其中a1，a2，b为常数。
2.根据权利要求1所述的基于多分支视频异常检测方法，其特征在于，所述步骤S4具体包括：
步骤S41：检测参数初始化；设置帧编号i＝2；
步骤S42：将待检测视频输入多分支异常检测模型，用异常检测模型预测得到重建帧
，
下一帧预测值
和上一帧预测值
；当帧编号表明为最后一帧时，进入步骤S46；
步骤S43：分别计算重建帧、下一帧预测值、上一帧预测值对应的第一误差、第二误差、第三误差；
步骤S44：判断第一误差、第二误差、第三误差是否满足误差要求，如果是，则帧编号增加1，并进入步骤S42；如果不满足误差要求，则进入步骤S45；
步骤S45：如果第一误差、第二误差、第三误差满足误差要求中的关系要求、且第一误差和第二误差均满足误差要求中的阈值要求，则标记帧编号为待训练；否则，标记帧编号为待反馈；帧编号增加1，并进入步骤S42；
步骤S46：将所有标记为待反馈的帧编号对应的待检测视频片段标记后反馈给用户；反馈的结果是检测异常；基于标记为待训练的帧编号进行异常检测模型的训练；
所述基于标记为待训练的帧编号进行异常检测模型的训练，具体为：计算标记为待训练的帧的数量，当所述数量超过给定数量时，重新启动异常检测模型的训练；训练过程中，根据标记为待训练的视频帧的帧编号，找到相应的视频帧进行有针对性的训练。
3.根据权利要求2所述的基于多分支视频异常检测方法，其特征在于，将编码器编码过程中形成的语义特征和解码器对应的语义特征类型输入到解码器中；所述语义特征包括中间得到的语义特征和最终得到的语义特征；编码器在编码过程中不断地降维，并将降维过程的中间结果和最终结果分别输入到三个解码器中的一个或多个。
4.一种采用权利要求1-3中任一项基于多分支视频异常检测方法的基于多分支视频异常检测系统，其特征在于，所述系统包括：异常检测监控服务器。
5.根据权利要求4所述的基于多分支视频异常检测系统，其特征在于：所述服务器为1个或者多个。
6.根据权利要求5所述的基于多分支视频异常检测系统，其特征在于，所述服务器包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序。
7.根据权利要求6所述的基于多分支视频异常检测系统，其特征在于，所述服务器为分布式服务器。
8.根据权利要求7所述的基于多分支视频异常检测系统，其特征在于，所述服务器为云服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110334827.6A CN113033424B (zh) | 2021-03-29 | 2021-03-29 | 一种基于多分支视频异常检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110334827.6A CN113033424B (zh) | 2021-03-29 | 2021-03-29 | 一种基于多分支视频异常检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033424A CN113033424A (zh) | 2021-06-25 |
| CN113033424B true CN113033424B (zh) | 2021-09-28 |
Family
ID=76452726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110334827.6A Active CN113033424B (zh) | 2021-03-29 | 2021-03-29 | 一种基于多分支视频异常检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033424B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435432B (zh) * | 2021-08-27 | 2021-11-30 | 腾讯科技（深圳）有限公司 | 视频异常检测模型训练方法、视频异常检测方法和装置 |
| CN114743136A (zh) * | 2022-03-30 | 2022-07-12 | 中科融信科技有限公司 | 异常行为检测方法、装置和存储介质 |
| CN116739073B (zh) * | 2023-08-10 | 2023-11-07 | 武汉大学 | 一种基于进化偏差的在线后门样本检测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108919248A (zh) * | 2018-09-06 | 2018-11-30 | 北京行易道科技有限公司 | 一种雷达测距方法以及装置 |
| CN110996102A (zh) * | 2020-03-03 | 2020-04-10 | 眸芯科技（上海）有限公司 | 抑制p/b帧中帧内块呼吸效应的视频编码方法及装置 |
| CN111164651A (zh) * | 2017-08-28 | 2020-05-15 | 交互数字Vc控股公司 | 用多分支深度学习进行滤波的方法和装置 |
| CN111400547A (zh) * | 2020-03-05 | 2020-07-10 | 西北工业大学 | 一种人机协作的视频异常检测方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250866A (zh) * | 2016-08-12 | 2016-12-21 | 广州视源电子科技股份有限公司 | 基于神经网络的图像特征提取建模、图像识别方法及装置 |
| CN106231340B (zh) * | 2016-09-23 | 2019-08-27 | 优酷网络技术（北京）有限公司 | 一种基于hevc的帧内预测解码方法及装置 |
| CN109756737B (zh) * | 2017-11-07 | 2020-11-17 | 华为技术有限公司 | 图像预测方法和装置 |
| CN109996084B (zh) * | 2019-04-30 | 2022-11-01 | 华侨大学 | 一种基于多分支卷积神经网络的hevc帧内预测方法 |
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
| CN110826702A (zh) * | 2019-11-18 | 2020-02-21 | 方玉明 | 一种多任务深度网络的异常事件检测方法 |
| CN111144376B (zh) * | 2019-12-31 | 2023-12-05 | 华南理工大学 | 视频目标检测特征提取方法 |
| CN111931654A (zh) * | 2020-08-11 | 2020-11-13 | 精英数智科技股份有限公司 | 一种人员跟踪智能监测方法、系统和装置 |
| CN112333452B (zh) * | 2020-10-19 | 2023-02-03 | 杭州电子科技大学 | 一种基于深度学习的视频对象移除篡改时空域定位方法 |
| CN112488057A (zh) * | 2020-12-17 | 2021-03-12 | 北京航空航天大学 | 一种利用人头点定位和关节点信息的单相机多目标跟踪方法 |
-
2021
- 2021-03-29 CN CN202110334827.6A patent/CN113033424B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111164651A (zh) * | 2017-08-28 | 2020-05-15 | 交互数字Vc控股公司 | 用多分支深度学习进行滤波的方法和装置 |
| CN108919248A (zh) * | 2018-09-06 | 2018-11-30 | 北京行易道科技有限公司 | 一种雷达测距方法以及装置 |
| CN110996102A (zh) * | 2020-03-03 | 2020-04-10 | 眸芯科技（上海）有限公司 | 抑制p/b帧中帧内块呼吸效应的视频编码方法及装置 |
| CN111400547A (zh) * | 2020-03-05 | 2020-07-10 | 西北工业大学 | 一种人机协作的视频异常检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033424A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113033424B (zh) | 一种基于多分支视频异常检测方法和系统 | |
| CN107330410B (zh) | 复杂环境下基于深度学习的异常检测方法 | |
| CN112016500B (zh) | 基于多尺度时间信息融合的群体异常行为识别方法及系统 | |
| CN113312447B (zh) | 基于概率标签估计的半监督日志异常检测方法 | |
| CN114332135B (zh) | 一种基于双模型交互学习的半监督医学图像分割方法及装置 | |
| CN111626245B (zh) | 一种基于视频关键帧的人体行为识别方法 | |
| KR20180007657A (ko) | 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치 | |
| CN110674673A (zh) | 一种关键视频帧抽取方法、装置和存储介质 | |
| Zhang et al. | On the out-of-distribution generalization of probabilistic image modelling | |
| US20200311541A1 (en) | Metric value calculation for continuous learning system | |
| CN113283368B (zh) | 一种模型训练方法、人脸属性分析方法、装置及介质 | |
| Feng et al. | Image coding for machines with omnipotent feature learning | |
| CN114757432A (zh) | 基于流程日志和多任务学习的未来执行活动及时间预测方法及系统 | |
| Hu et al. | MV2Flow: Learning motion representation for fast compressed video action recognition | |
| CN111931549A (zh) | 一种基于多任务非自回归解码的人体骨架的动作预测方法 | |
| Zou et al. | STA3D: Spatiotemporally attentive 3D network for video saliency prediction | |
| Shao et al. | COVAD: Content-oriented video anomaly detection using a self attention-based deep learning model | |
| CN112966754B (zh) | 样本筛选方法、样本筛选装置及终端设备 | |
| CN111327946A (zh) | 视频质量评价和特征字典的训练方法、装置和介质 | |
| Jiang et al. | Dynamic slimmable denoising network | |
| CN113761845A (zh) | 一种文本生成方法、装置、存储介质及电子设备 | |
| WO2023049726A1 (en) | Processing video content using gated transformer neural networks | |
| CN115691654A (zh) | 一种基于较少参数的量子门控循环神经网络的抗菌肽的预测方法 | |
| CN114245232B (zh) | 一种视频摘要生成方法、装置、存储介质及电子设备 | |
| CN115455225A (zh) | 一种图文语义对齐模型的构建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Yue Inventor after: Zhang Kai Inventor after: Han Zhongyi Inventor after: Yang Guangyuan Inventor after: Lu Tianbin Inventor before: Zhang Kai Inventor before: Han Zhongyi Inventor before: Yang Guangyuan Inventor before: Lu Tianbin |
|
| CB03 | Change of inventor or designer information | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240207 Address after: Room 1609, 16th Floor, Building 2, Xinsheng Building, Northwest Corner of Xinluo Street and Yingxiu Road Intersection, Shunhua Road Street, Jinan Area, China (Shandong) Pilot Free Trade Zone, Jinan City, Shandong Province, 250014 Patentee after: Lingxin Huizhi (Shandong) Intelligent Technology Co.,Ltd. Country or region after: China Address before: Room 156-8, No.5 Lingbin Road, Dangan Town, Xiangzhou District, Zhuhai City, Guangdong Province 510000 Patentee before: Guangdong Zhongju Artificial Intelligence Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |