CN112883929A - 在线视频异常行为检测模型训练、异常检测方法及系统 - Google Patents

在线视频异常行为检测模型训练、异常检测方法及系统 Download PDF

Info

Publication number
CN112883929A
CN112883929A CN202110327922.3A CN202110327922A CN112883929A CN 112883929 A CN112883929 A CN 112883929A CN 202110327922 A CN202110327922 A CN 202110327922A CN 112883929 A CN112883929 A CN 112883929A
Authority
CN
China
Prior art keywords
video
online video
frames
abnormal behavior
behavior detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110327922.3A
Other languages
English (en)
Other versions
CN112883929B (zh
Inventor
杜泽旭
张国梁
吴鹏
赵婷
孔庆宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Global Energy Interconnection Research Institute
Zaozhuang Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Global Energy Interconnection Research Institute
Zaozhuang Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Global Energy Interconnection Research Institute, Zaozhuang Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202110327922.3A priority Critical patent/CN112883929B/zh
Publication of CN112883929A publication Critical patent/CN112883929A/zh
Application granted granted Critical
Publication of CN112883929B publication Critical patent/CN112883929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种在线视频异常行为检测模型训练、异常检测方法及系统，通过训练方法得到的异常行为检测模型为2D‑3D DSTAE自动编码器，其利用2D卷积神经网络在2D空间层面采用视频帧稀疏采样策略，以避免帧间信息的冗余；对于时空层面在较远帧间采取对特征图执行3D卷积的方式实现端到端融合，以编码长时程视频序列的帧间上下文信息，在兼顾实时性和准确性的基础上解决了模型在异常数据上不能获得较小的重构误差问题。在线视频异常检测方法及系统，采用了同时维护工作记忆组和新收图像组的在线视频处理框架，每次检测时通过从两组视频中各采样一半视频帧来更新工作记忆组，在保证检测准确度的前提下，有效的提升了视频异常行为检测的实时性。

Description

在线视频异常行为检测模型训练、异常检测方法及系统
技术领域
本发明涉及异常行为检测技术领域，具体涉及一种在线视频异常行为检测模型训练、异常检测方法及系统。
背景技术
随着社会经济高速发展，电网建设呈现出电压等级越来越高，输电距离越来越长，电网越来越大的特点。因此，对电网的安全性、可靠性要求也越来越高。往往大多数电网员工承担着很重的电网设备运维工作，任何电网员工作业行为违章都有可能造成重大的安全隐患和生产事故。目前，电网人员作业监督工作，最通用的做法是采用工作票机制，在日常作业过程中通过监督员辅助监督作业行为的方式来避免作业行为违章。
电网作业具有类型多样，流程复杂的特点，完全依靠人工监督的办法已经无法适应现代化的电网作业特点。由此可见，研究电网在线视频异常检测方法有重要的理论意义和实用价值。
目前针对电网作业行为的在线视频异常行为检测技术，主流是的基于有监督的深度学习方法检测准确率较高，但算法精度很大程度上受限于异常数据的数据规模；基于重构的方法则无需异常数据的支撑，仅靠正常设备数据便可实现设备异常行为检测的任务，而正常的设备数据又是极易获取的。
基于重构的方法认为仅通过正常数据学习的模型无法准确表示和重构异常。目前已有基于PCA或稀疏矩阵表示方法来学习正常数据的表示。但以上方法受限于有限的特征表示，导致算法的性能不佳。也有针对在线视频异常行为检测专门设计的一系列方法，诸如使用概率PCA来模拟光流特征，或是混合动态纹理对视频建模，或是基于深度学习的方法提取视频的时空特征，或是通过卷积自动编码器重构误差来检测异常。但是，这些方法均缺乏可靠的机制使得模型在异常数据上得到较大的重构误差。
发明内容
因此，为了克服现有的视频异常行为检测模型在异常数据上得到重构误差大的缺陷，本发明提供一种在线视频异常行为检测模型训练、异常检测方法及系统，充分运用设备正常数据，科学有效的实现在线视频异常行为检测任务。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种在线视频异常行为检测模型训练方法，包括:
构建2D-3D深度时空自动编码器网络模型，所述网络模型包括依次连接的2D卷积网络、3D卷积网络、3D反卷积网络及2D反卷积网络；
从在线视频流中采样得到多个长度相同的RGB片段，随机取历史RGB片段中一半数量的片段对新采样的RGB片段做等量替换，随后从每个片段中随机采集一帧，组成采样帧组；
将采样帧组作为训练数据集输入构建的网络模型中，首先通过共享权重的单个2D卷积网络得到二维特征图，通过堆叠多个视频帧的二维特征图得到对应的时空特征体，随后3D卷积网络对所述时空特征体进行处理提取时空特征，将时空特征输入3D反卷积网络及2D反卷积网络对输入数据进行重构，最后通过损失函数计算得到重构误差；
将得到的重构误差通过反向传播算法更新网络模型参数，鼓励参数对正常数据输入得到更小的重构误差，得到训练好的网络模型作为在线视频异常行为检测模型。
优选地，所述损失函数表示为欧几里得损失Lrec：
Figure BDA0002995313290000031
其中，
Figure BDA0002995313290000032
是第i个输入batch的大小为N的输入采样帧组，j是大小为N的采样帧组中的一帧，
Figure BDA0002995313290000033
是通过重构得到的重构输出。
优选地，在线视频的行为包括：电网作业行为。
第二方面，本发明实施例提供一种在线视频异常检测方法，包括：自t时刻起累积输入的在线视频数据为包含N帧的视频片段SN，在视频帧采样初始阶段，对前N帧进行密集采样生成视频片段SN，当后续采集的视频帧数达到N帧后，将生成新的标准长度视频片段随机取其中一半数量的视频帧，对SN中等量的视频帧进行均匀替换，得到当前时刻更新后的SN，同时将权利要求1-3任一所述的在线视频异常行为检测模型的采样帧数也设置为N帧；
将在线视频片段SN输入权利要求1-3任一所述的在线视频异常行为检测模型得到相应的重构误差，判断当前时刻输入视频流是否异常，如果重构误差小于预设阈值，则无异常发生，否则输入视频流发生异常。
优选地，所述检测方法，还包括：当输入视频流发生异常时发出告警信号，然后继续执行在线视频异常行为检测任务。
第三方面，本发明实施例提供一种在线视频异常检测系统，包括：
网络模型构建模块，用于构建2D-3D深度时空自动编码器网络模型，所述网络模型包括依次连接的2D卷积网络、3D卷积网络、3D反卷积网络及2D反卷积网络；
视频帧采样模块，用于从在线视频流中采样得到多个长度相同的RGB片段，随机取历史RGB片段中一半数量的片段对新采样的RGB片段做等量替换，随后从每个片段中随机采集一帧，组成采样帧组；
重构误差获取模块，用于将采样帧组作为训练数据集输入构建的网络模型中，首先通过共享权重的单个2D卷积网络得到二维特征图，通过堆叠多个视频帧的二维特征图得到对应的时空特征体，随后3D卷积网络对所述时空特征体进行处理提取时空特征，将时空特征输入3D反卷积网络及2D反卷积网络对输入数据进行重构，最后通过损失函数计算得到重构误差；
在线视频异常行为检测模型获取模块，用于将得到的重构误差通过反向传播算法更新网络模型参数，鼓励参数对正常数据输入得到更小的重构误差，当重构误差小于预设阈值时，得到训练好的网络模型作为在线视频异常行为检测模型。
第四方面，本发明实施例提供一种在线视频异常检测系统，包括：
视频帧采样及模型输入设置模块，用于自t时刻起累积输入的在线视频数据为包含N帧的视频片段SN，在视频帧采样初始阶段，对前N帧进行密集采样生成视频片段SN，当后续采集的视频帧数达到N帧后，将生成新的标准长度视频片段随机取其中一半数量的视频帧，对SN中等量的视频帧进行均匀替换，得到当前时刻更新后的SN，同时将第一方面所述的在线视频异常行为检测模型的采样帧数也设置为N帧；
在线视频异常行为检测模块，用于将在线视频片段SN输入第一方面所述的在线视频异常行为检测模型得到相应的重构误差，判断当前时刻t输入视频流是否异常，如果重构误差小于预设阈值，则无异常发生，否则输入视频流发生异常。
优选地，上述的在线视频异常检测系统，还包括：告警模块，用于当输入视频流发生异常时发出告警信号，然后继续执行在线视频异常行为检测任务。
第五方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行本发明实施例第一方面或第二方面所述的方法。
第六方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行第一方面或第二方面所述的方法。
本发明技术方案，具有如下优点：
1、本发明实施例提供的在线视频异常行为检测模型训练方法得到的在线视频异常行为检测模型，为一种高效的2D-3D DSTAE自动编码器，在自动编码器中引入2D卷积神经网络，在2D空间层面采用视频帧稀疏采样策略，即在一个时序邻域内仅对单帧图像进行特征提取，以避免帧间信息的冗余；对于时空层面，在较远帧之间采取对特征图执行3D卷积网络的方式实现端到端融合，以编码长时程视频序列的帧间上下文信息，在兼顾实时性和准确性的基础上解决了模型在异常数据上不能获得较小的重构误差问题。
2、本发明提供的在线视频异常检测方法及系统，为融合深层次自学习的无监督在线视频异常检测方法，采用了同时维护工作记忆组和新收图像组的在线视频处理框架，在每次检测时，通过从两组视频中各采样一半视频帧来更新工作记忆组，在保证检测准确度的前提下，有效的提升了视频异常行为检测的实时性，同时将视频数据输入到2D-3D深度时空自动编码器中，分别从2D空间层面和3D时空层面对视频帧采样策略和帧间上下文信息编码方式进行了优化，在兼顾实时性和准确性的基础上解决了模型在异常数据上不能获得较小的重构误差问题，应用在电网作业行为上，能够有效地检测电网异常行为，降低由于异常行为导致的生产事故发生率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中提供的在线视频异常行为检测模型训练方法的一个示例的流程图；
图2为本发明实施例中提供的基于2D-3D深度时空自动编码器网络模型结构的示意图；
图3为本发明实施例中提供的在线视频异常行为检测模型训练系统的模块组成图；
图4为本发明实施例中提供的在线视频异常检测方法的一个示例的流程图；
图5为本发明实施例中提供的利用训练好的2D-3D DSTAE作为视频异常行为检测模型，将在线视频流进行采样后进行异常行为检测的流程图；
图6为本发明实施例中提供的在线视频异常检测方法的一个具体示例的流程图；
图7为本发明实施例中提供的在线视频异常检测系统一个示例的模块组成图；
图8为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种在线视频异常行为检测模型训练方法，可以应用于在线异常行为检测，本发明实施例以电网作业作为举例，如图1所示，包括:
步骤S1:构建2D-3D深度时空自动编码器网络模型，所述网络模型包括依次连接的2D卷积网络、3D卷积网络、3D反卷积网络及2D反卷积网络。
步骤S2:从在线视频流中采样得到多个长度相同的RGB片段，随机取历史RGB片段中一半数量的片段对新采样的RGB片段做等量替换，随后从每个片段中随机采集一帧，组成采样帧组。
根据学习算法的不同可分为有监督学习和无监督学习两类，前者得益于深度学习在图像表示方面的成功应用，致力于从视频中提取鲁棒的行为状态特征，通过训练具有强判别性的分类器完成异常行为状态检测任务；后者则基于异常行为状态极少发生，异常行为数据属于小样本数据的这一事实，采用基于重构的方法，通过设计构造精良的自动编码器，在正常数据上进行训练后，对异常输入产生比正常输入更高的重构误差来实现异常行为状态识别的标准。
本发明实施例构建的在线视频异常行为检测模型的构建主要考虑以下两个方面：1)对视频流进行密集采样尽管可以避免信息的遗失，但是会生成大量的帧间冗余信息，而使用单帧图像进行测试在通常情况下已经能够取得相对理想的特征抽取性能，因此，在一个时间邻域内仅使用单帧图像作为模型输入；2)仅采用单帧图像做决策级融合不足以表征完备的视频帧间上下文关系，因此模型在较远帧之间采用对特征图进行3D卷积的方式实现端到端的融合。所构建的基于2D-3D深度时空自动编码器网络模型(以下简称2D-3D DSTAE模型)结构如图2所示，图2中S1至SN是从视频中采样得到的N个长度相同的RGB片段，从S1至SN中随机采集一帧，组成采样帧组，作为训练数据集，输入构建的网络模型中。
步骤S3:将采样帧组作为训练数据集输入构建的网络模型中，首先通过共享权重的单个2D卷积网络得到二维特征图，通过堆叠多个视频帧的二维特征图得到对应的时空特征体，随后3D卷积网络对所述时空特征体进行处理提取时空特征，将时空特征输入3D反卷积网络及2D反卷积网络对输入数据进行重构，最后通过损失函数计算得到重构误差。
如图2所示，2D-3D DSTAE模型将输入的SN送入共享权重的单个2D卷积网络进行处理，以获取关于采样帧的K个28×28(仅作为举例，不以此为限)大小的特征图，通过堆叠这些视频帧的表示，得到N×K×28×28的时空特征体。为了保证特征提取效率，此处的2D卷积子网络采用BN-Inception架构的第一部分，即初始层到inception-3c层，因此K的取值为96(仅作为举例，不以此为限)。随后，采用3D卷积网络对所提取的时空特征体进行处理进一步提取时空特征；特征提取结束后，将提取的特征体输入3D反卷积网络及后续的2D反卷积网络对输入数据进行重构，最后得到重构误差，重构误差表示为欧几里得损失Lrec：
Figure BDA0002995313290000091
其中，
Figure BDA0002995313290000092
是第i个输入batch(批次)的大小为N的输入采样帧组，j是大小为N的采样帧组中的一帧，
Figure BDA0002995313290000101
是通过重构得到的重构输出。
步骤S4:将重构误差后通过反向传播算法更新网络模型参数，鼓励参数对正常数据输入得到更小的重构误差，得到训练好的网络模型作为在线视频异常行为检测模型。所述预设阈值根据实际需求做合理设置，在此不作具体限制。
本发明实施例提供的在线视频异常行为检测模型，为一种高效的2D-3D DSTAE自动编码器，在自动编码器中引入2D卷积神经网络，在2D空间层面采用视频帧稀疏采样策略，即在一个时序邻域内仅对单帧图像进行特征提取，以避免帧间信息的冗余；对于时空层面，在较远帧之间采取对特征图执行3D卷积网络的方式实现端到端融合，以编码长时程视频序列的帧间上下文信息，在兼顾实时性和准确性的基础上解决了模型在异常数据上不能获得较小的重构误差问题。
与上述方法相对应地，本发明实施例还提供一种在线视频异常行为检测模型训练系统，如图3所示，包括：
网络模型构建模块1，用于构建2D-3D深度时空自动编码器网络模型，所述网络模型包括依次连接的2D卷积网络、3D卷积网络、3D反卷积网络及2D反卷积网络；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
视频帧采样模块2，用于从在线视频流中采样得到多个长度相同的RGB片段，随机取历史RGB片段中一半数量的片段对新采样的RGB片段做等量替换，随后从每个片段中随机采集一帧，组成采样帧组；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
重构误差获取模块3，用于将采样帧组作为训练数据集输入构建的网络模型中，首先通过共享权重的单个2D卷积网络得到二维特征图，通过堆叠多个视频帧的二维特征图得到对应的时空特征体，随后3D卷积网络对所述时空特征体进行处理提取时空特征，将时空特征输入3D反卷积网络及2D反卷积网络对输入数据进行重构，最后通过损失函数计算得到重构误差；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
在线视频异常行为检测模型获取模块4，用于将得到的重构误差通过反向传播算法更新网络模型参数，鼓励参数对正常数据输入得到更小的重构误差，得到训练好的网络模型作为在线视频异常行为检测模型。此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
实施例2
本发明实施例提供一种在线视频异常检测方法，如图4所示，包括：
步骤S11：自t时刻起累积输入的在线视频数据为包含N帧的视频片段SN，在视频帧采样初始阶段，对前N帧进行密集采样生成视频片段SN，当后续采集的视频帧数达到N帧后，将生成新的标准长度视频片段随机取其中一半数量的视频帧，对SN中等量的视频帧进行均匀替换，得到当前时刻更新后的SN，同时将在线视频异常行为检测模型的采样帧数也设置为N帧；
步骤S12：将在线的视频片段SN送入在线视频异常行为检测模型得到相应的重构误差，判断当前时刻输入视频流是否异常，如果重构误差小于预设阈值，则无异常发生，否则输入视频流发生异常。
本发明实施中采用的在线视频异常行为检测模型为实施例1中的模型，利用实施例1中训练好的2D-3D DSTAE作为视频异常行为检测模型，将在线视频流进行采样后进行异常行为检测的过程如图5所示。
步骤S13：当输入视频流发生异常时发出告警信号，然后继续执行在线视频异常行为检测任务。
在一具体实施例中，上述的在线视频数据N帧取16，基于2D-3D深度时空自动编码器，进行无监督在线视频异常检测方法流程图如图6所示，在获取在线视频流输入后，分别抽取其在线的8帧和历史8帧进行组合后输入到训练好的2D-3D DSTAE模型中，得到重构误差，根据所述预设阈值(根据实际需求做合理设置，在此不作具体限制)判断其是否异常，当大于其预设阈值时则判定异常，进行告警(可以将告警信号发送至设备负责运维人员，及时对其进行检测，仅作为举例，不以此为限)；如果正常则继续重复上述的流程持续对进行在线视频异常行为检测。
本发明实施例提供的在线视频异常检测方法，为融合深层次自学习的无监督在线视频异常检测方法，采用了同时维护工作记忆组和新收图像组的在线视频处理框架，在每次检测时，通过从两组视频中各采样一半视频帧来更新工作记忆组，在保证检测准确度的前提下，有效的提升了视频异常行为检测的实时性，同时输入2D-3D深度时空自动编码器，分别从2D空间层面和3D时空层面对视频帧采样策略和帧间上下文信息编码方式进行了优化，通过2D网络对输入数据进行特征提取有效避免了帧间信息冗余，同时使用3D网络有效地兼顾了长时程序列上下文信息，在兼顾实时性和准确性的基础上解决了模型在异常数据上不能获得较小的重构误差问题，应用在电网作业行为上，能够有效地检测电网作业行为异常，降低由于作业行为异常导致的生产事故发生率。
与上述方法相对应地，本发明实施例提供一种在线视频异常检测系统，如图7所示，包括：
视频帧采样及模型输入设置模块11，用于自t时刻起累积输入的在线视频数据为包含N帧的视频片段SN，在视频帧采样初始阶段，对前N帧进行密集采样生成视频片段SN，当后续采集的视频帧数达到N帧后，将生成新的标准长度视频片段随机取其中一半数量的视频帧，对SN中等量的视频帧进行均匀替换，得到当前时刻更新后的SN，同时将在线视频异常行为检测模型的采样帧数也设置为N帧；此模块执行实施例1中的步骤S11所描述的方法，在此不再赘述。
在线视频异常行为检测模型获取模块12，用于将在线视频片段SN送入在线视频异常行为检测模型得到相应的重构误差，判断当前时刻t输入视频流是否异常，如果重构误差小于预设阈值，则无异常发生，否则输入视频流发生异常；模块执行实施例1中的步骤S12所描述的方法，在此不再赘述。
告警模块13，用于当输入视频流发生异常时发出告警信号，然后继续执行在线视频异常行为检测任务；此模块执行实施例1中的步骤S13所描述的方法，在此不再赘述。
实施例3
本发明实施例提供一种计算机设备，如图8所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1或实施例2中所述的方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1的在线视频异常行为检测模型训练方法，或实施例2的在线视频异常检测方法。
其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固降硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。其中，处理器401可以是中央处理器(英文：centralprocessing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1的在线视频异常行为检测模型训练方法，或实施例2的在线视频异常检测方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1的在线视频异常行为检测模型训练方法，或实施例2的在线视频异常检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固降硬盘(Solid-StateDrive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种在线视频异常行为检测模型训练方法，其特征在于，包括:
构建2D-3D深度时空自动编码器网络模型，所述网络模型包括依次连接的2D卷积网络、3D卷积网络、3D反卷积网络及2D反卷积网络；
从在线视频流中采样得到多个长度相同的RGB片段，随机取历史RGB片段中一半数量的片段对新采样的RGB片段做等量替换，随后从每个片段中随机采集一帧，组成采样帧组；
将采样帧组作为训练数据集输入构建的网络模型中，首先通过共享权重的单个2D卷积网络得到二维特征图，通过堆叠多个视频帧的二维特征图得到对应的时空特征体，随后3D卷积网络对所述时空特征体进行处理提取时空特征，将时空特征输入3D反卷积网络及2D反卷积网络对输入数据进行重构，最后通过损失函数计算得到重构误差；
将得到的重构误差通过反向传播算法更新网络模型参数，鼓励参数对正常数据输入得到更小的重构误差，得到训练好的网络模型作为在线视频异常行为检测模型。
2.根据权利要求1所述的在线视频异常行为检测模型训练方法，其特征在于，所述损失函数表示为欧几里得损失Lrec：
Figure FDA0002995313280000011
其中，
Figure FDA0002995313280000012
是第i个输入batch的大小为N的输入采样帧组，j是大小为N的采样帧组中的一帧，
Figure FDA0002995313280000013
是通过重构得到的重构输出。
3.根据权利要求1所述的在线视频异常行为检测模型训练方法，其特征在于，在线视频的行为包括：电网作业行为。
4.一种在线视频异常检测方法，其特征在于，包括：
自t时刻起累积输入的在线视频数据为包含N帧的视频片段SN，在视频帧采样初始阶段，对前N帧进行密集采样生成视频片段SN，当后续采集的视频帧数达到N帧后，将生成新的标准长度视频片段随机取其中一半数量的视频帧，对SN中等量的视频帧进行均匀替换，得到当前时刻更新后的SN，同时将权利要求1-3任一所述的在线视频异常行为检测模型的采样帧数也设置为N帧；
将在线视频片段SN输入权利要求1-3任一所述的在线视频异常行为检测模型得到相应的重构误差，判断当前时刻输入视频流是否异常，如果重构误差小于预设阈值，则无异常发生，否则输入视频流发生异常。
5.根据权利要求4所述的在线视频异常检测方法，其特征在于，当输入视频流发生异常时发出告警信号，然后继续执行在线视频异常行为检测任务。
6.一种在线视频异常行为检测模型训练系统，其特征在于，包括：
网络模型构建模块，用于构建2D-3D深度时空自动编码器网络模型，所述网络模型包括依次连接的2D卷积网络、3D卷积网络、3D反卷积网络及2D反卷积网络；
视频帧采样模块，用于从在线视频流中采样得到多个长度相同的RGB片段，随机取历史RGB片段中一半数量的片段对新采样的RGB片段做等量替换，随后从每个片段中随机采集一帧，组成采样帧组；
重构误差获取模块，用于将采样帧组作为训练数据集输入构建的网络模型中，首先通过共享权重的单个2D卷积网络得到二维特征图，通过堆叠多个视频帧的二维特征图得到对应的时空特征体，随后3D卷积网络对所述时空特征体进行处理提取时空特征，将时空特征输入3D反卷积网络及2D反卷积网络对输入数据进行重构，最后通过损失函数计算得到重构误差；
在线视频异常行为检测模型获取模块，用于将得到的重构误差通过反向传播算法更新网络模型参数，鼓励参数对正常数据输入得到更小的重构误差，得到训练好的网络模型作为在线视频异常行为检测模型。
7.一种在线视频异常检测系统，其特征在于，包括：
视频帧采样及模型输入设置模块，用于自t时刻起累积输入的在线视频数据为包含N帧的视频片段SN，在视频帧采样初始阶段，对前N帧进行密集采样生成视频片段SN，当后续采集的视频帧数达到N帧后，将生成新的标准长度视频片段随机取其中一半数量的视频帧，对SN中等量的视频帧进行均匀替换，得到当前时刻更新后的SN，同时将权利要求1-3任一所述的在线视频异常行为检测模型的采样帧数也设置为N帧；
在线视频异常行为检测模块，用于将在线的视频片段SN输入权利要求1-3任一所述的在线视频异常行为检测模型得到相应的重构误差，判断当前时刻t输入视频流是否异常，如果重构误差小于预设阈值，则无异常发生，否则输入视频流发生异常。
8.根据权利要求7所述的在线视频异常检测系统，其特征在于，还包括：告警模块，用于当输入视频流发生异常时发出告警信号，然后继续执行在线视频异常行为检测任务。
9.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6中任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行1-6中任一所述的方法。
CN202110327922.3A 2021-03-26 2021-03-26 在线视频异常行为检测模型训练、异常检测方法及系统 Active CN112883929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110327922.3A CN112883929B (zh) 2021-03-26 2021-03-26 在线视频异常行为检测模型训练、异常检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110327922.3A CN112883929B (zh) 2021-03-26 2021-03-26 在线视频异常行为检测模型训练、异常检测方法及系统

Publications (2)

Publication Number Publication Date
CN112883929A true CN112883929A (zh) 2021-06-01
CN112883929B CN112883929B (zh) 2023-08-08

Family

ID=76042487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110327922.3A Active CN112883929B (zh) 2021-03-26 2021-03-26 在线视频异常行为检测模型训练、异常检测方法及系统

Country Status (1)

Country Link
CN (1) CN112883929B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673559A (zh) * 2021-07-14 2021-11-19 南京邮电大学 一种基于残差网络的视频人物时空特征提取方法
CN113837306A (zh) * 2021-09-29 2021-12-24 南京邮电大学 一种基于人体关键点时空图模型的异常行为检测方法
CN116245513A (zh) * 2023-05-11 2023-06-09 深圳市联合信息技术有限公司 基于规则库的自动化运维系统及其方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241946A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 异常行为监控方法、装置、计算机设备及存储介质
CN109635790A (zh) * 2019-01-28 2019-04-16 杭州电子科技大学 一种基于3d卷积的行人异常行为识别方法
CN109670446A (zh) * 2018-12-20 2019-04-23 泉州装备制造研究所 基于线性动态系统和深度网络的异常行为检测方法
CN110175580A (zh) * 2019-05-29 2019-08-27 复旦大学 一种基于时序因果卷积网络的视频行为识别方法
CN110610508A (zh) * 2019-08-20 2019-12-24 全球能源互联网研究院有限公司 一种静态视频分析方法及系统
CN111291695A (zh) * 2020-02-17 2020-06-16 全球能源互联网研究院有限公司 人员违章行为识别模型训练方法、识别方法及计算机设备
US10814815B1 (en) * 2019-06-11 2020-10-27 Tangerine Innovation Holding Inc. System for determining occurrence of an automobile accident and characterizing the accident
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法
US20210090736A1 (en) * 2019-09-24 2021-03-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for anomaly detection for a medical procedure

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241946A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 异常行为监控方法、装置、计算机设备及存储介质
CN109670446A (zh) * 2018-12-20 2019-04-23 泉州装备制造研究所 基于线性动态系统和深度网络的异常行为检测方法
CN109635790A (zh) * 2019-01-28 2019-04-16 杭州电子科技大学 一种基于3d卷积的行人异常行为识别方法
CN110175580A (zh) * 2019-05-29 2019-08-27 复旦大学 一种基于时序因果卷积网络的视频行为识别方法
US10814815B1 (en) * 2019-06-11 2020-10-27 Tangerine Innovation Holding Inc. System for determining occurrence of an automobile accident and characterizing the accident
CN110610508A (zh) * 2019-08-20 2019-12-24 全球能源互联网研究院有限公司 一种静态视频分析方法及系统
US20210090736A1 (en) * 2019-09-24 2021-03-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for anomaly detection for a medical procedure
CN111291695A (zh) * 2020-02-17 2020-06-16 全球能源互联网研究院有限公司 人员违章行为识别模型训练方法、识别方法及计算机设备
CN112115769A (zh) * 2020-08-05 2020-12-22 西安交通大学 一种基于视频的无监督稀疏人群异常行为检测算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴鹏;林国强;郭玉荣;赵振兵: "自学习稀疏密集连接卷积神经网络图像分类方法", 信号处理, no. 010 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673559A (zh) * 2021-07-14 2021-11-19 南京邮电大学 一种基于残差网络的视频人物时空特征提取方法
CN113673559B (zh) * 2021-07-14 2023-08-25 南京邮电大学 一种基于残差网络的视频人物时空特征提取方法
CN113837306A (zh) * 2021-09-29 2021-12-24 南京邮电大学 一种基于人体关键点时空图模型的异常行为检测方法
CN113837306B (zh) * 2021-09-29 2024-04-12 南京邮电大学 一种基于人体关键点时空图模型的异常行为检测方法
CN116245513A (zh) * 2023-05-11 2023-06-09 深圳市联合信息技术有限公司 基于规则库的自动化运维系统及其方法
CN116245513B (zh) * 2023-05-11 2023-07-07 深圳市联合信息技术有限公司 基于规则库的自动化运维系统及其方法

Also Published As

Publication number Publication date
CN112883929B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN112883929B (zh) 在线视频异常行为检测模型训练、异常检测方法及系统
CN110059772B (zh) 基于多尺度解码网络的遥感图像语义分割方法
CN110991311A (zh) 一种基于密集连接深度网络的目标检测方法
CN111833583B (zh) 电力数据异常检测模型的训练方法、装置、设备和介质
CN111079539A (zh) 一种基于异常追踪的视频异常行为检测方法
CN116993537A (zh) 一种基于串行gru自编码器的电力负荷异常检测方法及系统
CN116489038A (zh) 网络流量的预测方法、装置、设备和介质
CN114913599A (zh) 基于自动编码器的视频异常行为检测方法及系统
CN115545058A (zh) 一种水表数据分析方法、系统及可读存储介质
CN115861210A (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
CN114445663A (zh) 检测对抗样本的方法、装置及计算机程序产品
CN117156442A (zh) 基于5g网络的云数据安全保护方法及系统
CN114639102A (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN114252716A (zh) 一种电网故障诊断方法与装置、存储介质
CN113111823A (zh) 一种建筑施工地的异常行为检测方法和相关装置
CN117009903A (zh) 一种数据异常检测方法、装置、设备及存储介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN114140731B (zh) 一种牵引变电所异常检测方法
CN114742143A (zh) 基于联邦学习的安全训练模型构建方法、装置、系统
CN112730437A (zh) 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备
CN112380985A (zh) 变电站入侵异物实时检测方法
CN114663750B (zh) 一种基于机器视觉与深度学习的海缆填充条断裂识别方法
CN111666819B (zh) 一种融合多元信息的高精度视频异常事件检测方法
CN116934541A (zh) 基于智能感知和Unet网络的实训人员行为管理与决策方法
CN117849627A (zh) 一种电池故障检测模型构建和电池故障检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant