CN111125405A - 电力监控图像异常检测方法和装置、电子设备及存储介质 - Google Patents

电力监控图像异常检测方法和装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111125405A
CN111125405A CN201911314855.0A CN201911314855A CN111125405A CN 111125405 A CN111125405 A CN 111125405A CN 201911314855 A CN201911314855 A CN 201911314855A CN 111125405 A CN111125405 A CN 111125405A
Authority
CN
China
Prior art keywords
layer
output
semantic
neural network
cnn model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911314855.0A
Other languages
English (en)
Inventor
马跃
李信
彭柏
来骥
尚芳剑
王艺霏
闫忠平
张少军
王东升
娄竞
李贤�
陈重韬
刘超
孟德
常海娇
李坚
杨峰
孙涛
杨会峰
辛锐
吴军英
魏勇
高丽芳
王伟
张浩海
韩大为
李卫华
周巍
田文锋
王瑶
孙晓艳
曾鹏飞
杨智豪
李建彬
方苏婉
田建彤
李坤昌
闫靖晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
North China Electric Power University
Global Energy Interconnection Research Institute
Beijing China Power Information Technology Co Ltd
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
North China Electric Power University
Global Energy Interconnection Research Institute
Beijing China Power Information Technology Co Ltd
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, North China Electric Power University, Global Energy Interconnection Research Institute, Beijing China Power Information Technology Co Ltd, Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Jibei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201911314855.0A priority Critical patent/CN111125405A/zh
Publication of CN111125405A publication Critical patent/CN111125405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供的电力监控图像异常检测方法和装置、电子设备及存储介质，该电力监控图像异常检测方法包括：利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类；利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；融合RGB分类结果以及光流场景融合分类结果得到异常检测结果，其中，通过利用融合分类模型对光流特征以及场景特征进行融合分类，不仅增加场景识别效果，减少行为识别的误判次数，并有效提高了CNN对光流信息的学习能力，能识别人类行为，及时有效地进行异常问题报警。

Description

电力监控图像异常检测方法和装置、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种电力监控图像异常检测方法和装置。
背景技术
由于长期高压、大电流的工作环境，电力设备在运行过程中容易发生故障，导致电力系统瘫痪。如果电力设备出现异常而不能及时解决，可能会造成巨大的经济损失和社会影响。
随着电网向规模化、智能化方向发展，传统的人工监测电力设备的方法已经不能满足电力系统的需求。在传统意义上，监控只是实时传输监控屏幕。当遇到突如其来的异常情况(如运行环境中发生异常情况)时，大多数监测设备无法快速准确地识别出来，进而无法及时发出警告。
为解决上述技术问题，国内外许多专家学者对图像监控及其在电力领域的应用进行了大量的研究，并取得了一定的进展。但是，现阶段这些研究还存在一些不足之处，比如：电力设备运行环境中人员的存在可能会影响电力物联网设备的运行，但是大多数传统的视频监控不能识别人类行为，导致现有的图像监控不能及时有效地进行异常问题报警。
发明内容
针对现有技术中的问题，本发明提供一种电力监控图像异常检测方法、装置、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题。
为了实现上述目的，本发明采用如下技术方案：
第一方面，提供一种电力监控图像异常检测方法，包括：
利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类；
利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；
融合RGB分类结果以及光流场景融合分类结果得到异常检测结果。
进一步地，所述融合分类模型包括：时间CNN模型以及场景识别CNN模型；
所述时间CNN模型包括：输入层、H个神经网络层、H个单项乘法交叉层、全连接层以及输出层，每个所述神经网络层的后端均连接一单项乘法交叉连接层；
所述场景识别CNN模型包括：输入层、H个神经网络层、全连接层以及输出层；
所述场景识别CNN模型的输出层的输出连接至所述时间CNN模型的输出层的输入；所述场景识别CNN模型的第g个神经网络层的输出连接至所述时间CNN模型的第g个单项乘法交叉连接层的输入；
所述单项乘法交叉层用于对连接至其的神经网络层的输出进行单项乘法交叉运算。
进一步地，所述单项乘法交叉运算如下：
Figure BDA0002325570110000021
F[x,y]＝x×y+b
其中，
Figure BDA0002325570110000022
表示第l个单项乘法交叉层的输出，即：时间CNN模型中第l+1个神经网络层的输入，
Figure BDA0002325570110000023
表示时间CNN模型中第l个神经网络层的输出，
Figure BDA0002325570110000024
表示场景识别CNN模型中第l个神经网络层的输出，
Figure BDA0002325570110000025
表示时间CNN模型中第l个神经网络层的输入，
Figure BDA0002325570110000026
表示场景识别CNN模型中第l个神经网络层的输入，⊙表示元素乘法；Wl为残差单元权重；F[x,y]表示时间CNN模型中学习的单向映射，b表示偏置。
进一步地，所述神经网络层包括：卷积层以及连接在所述卷积层之后的池化层；所述场景识别CNN模型的最后一个池化层用于根据前一神经网络层输出的语义概率以及前一卷积层的输出特征获取最终的语义向量。
进一步地，所述根据前一神经网络层输出的语义概率以及前一卷积层的输出特征获取最终的语义向量，包括：
根据前一神经网络层输出的语义概率以及前一卷积层的输出特征计算得到多个语义中心值以及语义方差；
利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量。
进一步地，所述根据前一神经网络层输出的语义概率以及前一卷积层的输出特征计算得到多个语义中心值以及语义方差，采用如下公式：
Figure BDA0002325570110000031
Figure BDA0002325570110000032
其中，前一神经网络层输出的语义概率为P＝{p1,p2,...,pN}，前一卷积层的输出特征为F＝{f1,f2,...,fN}，uk表示第k维语音中心值，
Figure BDA0002325570110000033
表示Pi的第k维；
Figure BDA0002325570110000034
其中，
Figure BDA0002325570110000035
表示第k维语义方差；T表示转置。
进一步地，所述利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量，采用如下公式：
Figure BDA0002325570110000036
Figure BDA0002325570110000037
Figure BDA0002325570110000038
其中，最终的语义向量为[(S1,G1),(S2,G2),...,(SR,GR)]，R表示样本数量。
第二方面，提供一种电力监控图像异常检测装置，包括：
RGB分类模块，利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类；
融合分类模块，利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；
异常检测模块，融合RGB分类结果以及光流场景融合分类结果得到异常检测结果。
进一步地，所述融合分类模型包括：时间CNN模型以及场景识别CNN模型；
所述时间CNN模型包括：输入层、H个神经网络层、H个单项乘法交叉层、全连接层以及输出层，每个所述神经网络层的后端均连接一单项乘法交叉连接层；
所述场景识别CNN模型包括：输入层、H个神经网络层、全连接层以及输出层；
所述场景识别CNN模型的输出层的输出连接至所述时间CNN模型的输出层的输入；所述场景识别CNN模型的第g个神经网络层的输出连接至所述时间CNN模型的第g个单项乘法交叉连接层的输入；
所述单项乘法交叉层用于对连接至其的神经网络层的输出进行单项乘法交叉运算。
进一步地，所述神经网络层包括：卷积层以及连接在所述卷积层之后的池化层；所述场景识别CNN模型的最后一个池化层用于根据前一神经网络层输出的语义概率以及前一卷积层的输出特征获取最终的语义向量。
进一步地，所述最后一个池化层包括：
语义计算单元，根据前一神经网络层输出的语义概率以及前一卷积层的输出特征计算得到多个语义中心值以及语义方差；
语音编码单元，利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量。
第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的电力监控图像异常检测方法的步骤。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的电力监控图像异常检测方法的步骤。
本发明提供的电力监控图像异常检测方法、装置、电子设备以及计算机可读存储介质，该电力监控图像异常检测方法包括：利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类；利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；融合RGB分类结果以及光流场景融合分类结果得到异常检测结果，其中，通过利用融合分类模型对光流特征以及场景特征进行融合分类，不仅增加场景识别效果，减少行为识别的误判次数，并有效提高了CNN对光流信息的学习能力，能识别人类行为，及时有效地进行异常问题报警。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例中的电力监控图像异常检测方法的流程示意图；
图2为本发明实施例的架构图一；
图3为本发明实施例的架构图二；
图4示出了本发明实施例中的融合分类模型；
图5是本发明实施例中的电力监控图像异常检测装置的结构框图；
图6为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
信息技术的飞速发展和物联网技术的应用提高了电力系统的自动化程度，各种监测设备应运而生。设备是电力物联网中必须具有的物体，电力设备的可靠性是电网安全运行的重要保证。电力设备的正常运行需要一个相对安全的外部环境，它与电力设备正常运行所需的内部参数处于相同的位置。
物联网技术作为新时代中蓬勃发展的核心科技，能够通过泛在的感知技术为电力系统带来更为灵活的动态感知、实时通信、智能控制以及信息安全等等功能型技术，也能够不断的提高电力系统在运行过程中的智能控制与智能调度的能力，让不同类型的能源实现更有效的互动，从而将电力系统从一个单纯的电力传输媒介，转化成具有智能化的信息一体化的基础设备。在未来，通过泛在感知技术即泛在电力物联网，电力系统将变得更加安全、更加可靠、更加具有可持续性。
泛在电力物联网其实就是物联网技术在电力系统中的专业应用，其技术的本质就是实现了多种多样信息传感设备与通信类资源的一种共享，并且通过泛在电力物联网技术能够让具备物理概念的实体，拥有自我标识、动态感知以及智能处理信息的能力。
目前，电力设备运行环境中人员的存在可能会影响电力物联网设备的运行，但是大多数传统的视频监控不能识别人类行为，导致现有的图像监控不能及时有效地进行异常问题报警。
为至少部分解决现有技术中存在的上述技术问题，本发明实施例提供了一种电力监控图像异常检测方法，通过利用融合分类模型对光流特征以及场景特征进行融合分类，不仅增加场景识别效果，减少行为识别的误判次数，并有效提高了CNN对光流信息的学习能力，能识别人类行为，及时有效地进行异常问题报警。
图1是本发明实施例中的电力监控图像异常检测方法的流程示意图。图2为本发明实施例的架构图一，结合图1和图2，该电力监控图像异常检测方法可以包括以下内容：
步骤S100：利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类。
其中，利用CNN的学习能力对电力监控图像的RGB进行特征提取和分类；空间CNN模型包括：输入层、卷积层、池化层、全连接层以及输出层，可利用matlab进行构建，构建出空间CNN模型的结构后，首先采用已经标注后的训练样本数据对模型进行训练，将训练结果和预先标注的标签进行对比，然后根据对比结果调整模型参数，再利用已经标注后的对测试数据对模型进行测试，将测试结果与预先标注的标签进行对比，若误差在预设范围内，则该模型训练完毕，否则，更新训练样本数据后重新进行模型训练以及模型测试流程，直至满足预设条件。异常检测期间，该模型的输入数据为电力监控视频中的RGB单帧图像，即电力物联网设备运行环境监控图像中的人员表现特征多尺度RGB单帧图像。
值得说明的是，利用CNN对图像的RGB进行特征提取和分类为图像处理领域的常用技术，在此不再赘述。
步骤S200：利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；
具体地，将电力监控视频中的光流图像以及场景图像块输入该融合分类模型进行光流特征以及场景特征进行融合分类。
值得说明的是，将电力物联网设备运行环境监控图像中的人员运动特征的光流图作为时间域中的输入，此时的光流图是将多帧光流特征图片堆叠压缩到一张图像上。光流图是对监控图像的每个像素点进行矢量赋值，当图像中出现运动的人员时，人员区域在图像中所占像素点和背景所占像素点之间必然会存在矢量差，如果没有人员出现，图像中的像素点的矢量值则为平滑变化。正是由于存在这种像素点之间的矢量差，利用这种差异检测出人员在图像中所占的像素点。
另外，对视频图像进行平均采样得到图像块的集合，即场景图像块。
其中，利用场景特征和行为特征之间的关系，对电力监控图像的光流特征以及场景特征进行融合分类，能够提高行为识别的准确率。通过在光流特征提取和分类时，融合场景识别，可以减少行为识别的误判次数。
步骤S300：融合RGB分类结果以及光流场景融合分类结果得到异常检测结果。
具体地，将两个模型的输出结果(概率向量)按照不同的权值进行相加，选取概率较大的一项或者几项作为预测的最终结果。
综上，本发明实施例通过利用融合分类模型对光流特征以及场景特征进行融合分类，不仅增加场景识别效果，减少行为识别的误判次数，并有效提高了CNN对光流信息的学习能力，能识别人类行为，及时有效地进行异常问题报警。
其中，可以通过使用深度学习方法来监测电力物联网设备运行环境中的图像异常情况。以人员检测为例：通过进行场景识别，提高对光流信息的学习能力。
在一个可选的实施例中，参见图3和图4，该融合分类模型包括：时间CNN模型以及场景识别CNN模型；
所述时间CNN模型包括：输入层、H个神经网络层、H个单项乘法交叉层、全连接层以及输出层，每个所述神经网络层的后端均连接一单项乘法交叉连接层；
具体地，输入层连接第一个神经网络层，该第一个神经网络层连接第一个单相乘法交叉连接层，该单相乘法交叉连接层连接第二个神经网络层，该第二个神经网络层连接第二个单相乘法交叉连接层，第二个单相乘法交叉连接层连接第三个神经网络层，以此类推，直至最后一个神经网络层，连接最后一个单相乘法交叉连接层，最后一个单相乘法交叉连接层连接全连接层，全连接层连接输出层。
该神经网络层包括：卷积层以及池化层，该卷积层用于对输入特征进行卷积运算，该池化层用于对该卷积层的卷积结果以及上一神经网络层的输出进行池化。
场景识别CNN模型包括：输入层、H个神经网络层、全连接层以及输出层；
具体地，输入层连接第一个神经网络层，该第一个神经网络层连接第二个神经网络层，该第二个神经网络层连接第三个神经网络层，以此类推，直至最后一个神经网络层，最后一个神经网络层连接全连接层，全连接层连接输出层。
该神经网络层包括：卷积层以及池化层，该卷积层用于对输入特征进行卷积运算，该池化层用于对该卷积层的卷积结果以及上一神经网络层的输出进行池化。
其中，所述场景识别CNN模型的输出层的输出连接至所述时间CNN模型的输出层的输入，时间CNN模型的输出层根据时间CNN模型中最后一个单相乘法交叉连接层的输出以及场景识别CNN模型的输出，进行分类，得到融合分类结果；所述场景识别CNN模型的第g个神经网络层的输出连接至所述时间CNN模型的第g个单项乘法交叉连接层的输入；所述单项乘法交叉层对连接至其的神经网络层的输出进行单项乘法交叉运算，并将运算结果作为其后的神经网络层的输入。
值得说明的是，为了更好地提取电力物联网设备运行环境监控图像中的人员的运动信息，加强对人员行为识别能力，采用单项乘法交叉流连接方式，将场景流中的场景特征传递到时间运动流中，将其与时间运动流中的人员运动特征进行关联性交互学习，以增加行为识别准确率。即：特征融合(Features fusion)：将场景识别CNN模型中不同的卷积、池化后得到的输出作为时间CNN模型中对应层的输入。
该场景识别CNN以场景图像块为输入，最终给出当前视频场景的预测，对于每个视频，场景识别将视频分成单帧图像进行逐个预测。
在一个可选的实施例中，该单项乘法交叉运算如下：
Figure BDA0002325570110000091
F[x,y]＝x×y+b
其中，
Figure BDA0002325570110000092
表示第l个单项乘法交叉层的输出，即：时间CNN模型中第l+1个神经网络层的输入，
Figure BDA0002325570110000093
表示时间CNN模型中第l个神经网络层的输出，也可以称为第l个池化层的输出，
Figure BDA0002325570110000094
表示场景识别CNN模型中第l个神经网络层的输出，也可以称为第l个池化层的输出，
Figure BDA0002325570110000095
表示时间CNN模型中第l个神经网络层的输入，也可以称为第l个池化层的输入，
Figure BDA0002325570110000096
表示场景识别CNN模型中第l个神经网络层的输入，也可以称为第l个池化层的输入，⊙表示元素乘法；Wl为残差单元权重；F[x,y]表示时间CNN模型中学习的单向映射，b表示偏置。
在一个可选的实施例中，场景识别CNN模型的最后一个池化层用于根据前一神经网络层输出的语义概率以及前一卷积层的输出特征获取最终的语义向量。
具体地，根据前一神经网络层输出的语义概率以及前一卷积层的输出特征获取最终的语义向量，包括：
步骤I：根据前一神经网络层输出的语义概率以及前一卷积层的输出特征计算得到多个语义中心值以及语义方差；
步骤II：利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量。
在一个可选的实施例中，对于给定的图像，采用平均采样得到图像块的集合Q＝{q1,q2,...,qN}，网络卷积过程中提取的是图像的语义特征进行卷积，池化；利用池化后的结果计算语义中心值uk(均值)，语义中心值uk(均值)通过以下公式计算:
Figure BDA0002325570110000097
Figure BDA0002325570110000098
其中，前一神经网络层输出的语义概率为P＝{p1,p2,…,pN}，前一卷积层的输出特征为F＝{f1,f2,…,fN}，uk表示第k维语音中心值，
Figure BDA0002325570110000101
表示Pi的第k维，值得说明的是：维度表示识别结果的种类，有多少分类就有多少维度；Nk表示语义类别的先验概率。
利用池化后的结果计算语义方差值采用如下公式：
Figure BDA0002325570110000102
其中，
Figure BDA0002325570110000103
表示第k维语义方差；T表示转置。
在一个可选的实施例中，利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量，采用如下公式：
Figure BDA0002325570110000104
Figure BDA0002325570110000105
Figure BDA0002325570110000106
其中，最终的语义向量为[(S1,G1),(S2,G2),…,(SR,GR)]，R表示样本数量，πk是第k维特征的权重。
值得说明的是，获得语义向量的目的是更好地分析卷积神经网络学习的语义信息，同时降低图像特征向量的维度，提高网络最后的识别效果。将获得的语义向量作为网络全连接层的输入，利用网络最后的分类器对场景进行分类。
基于同一发明构思，本申请实施例还提供了一种电力监控图像异常检测装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于电力监控图像异常检测装置解决问题的原理与上述方法相似，因此电力监控图像异常检测装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是本发明实施例中的电力监控图像异常检测装置的结构框图。如图5所示，该电力监控图像异常检测装置具体包括：RGB分类模块10、融合分类模块20以及异常检测模块30。
RGB分类模块10利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类；
其中，利用CNN的学习能力对电力监控图像的RGB进行特征提取和分类；空间CNN模型包括：输入层、卷积层、池化层、全连接层以及输出层，可利用matlab进行构建，构建出空间CNN模型的结构后，首先采用已经标注后的训练样本数据对模型进行训练，将训练结果和预先标注的标签进行对比，然后根据对比结果调整模型参数，再利用已经标注后的对测试数据对模型进行测试，将测试结果与预先标注的标签进行对比，若误差在预设范围内，则该模型训练完毕，否则，更新训练样本数据后重新进行模型训练以及模型测试流程，直至满足预设条件。异常检测期间，该模型的输入数据为电力监控视频中的RGB单帧图像，即电力物联网设备运行环境监控图像中的人员表现特征多尺度RGB单帧图像。
值得说明的是，利用CNN对图像的RGB进行特征提取和分类为图像处理领域的常用技术，在此不再赘述。
融合分类模块20利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；
具体地，将电力监控视频中的光流图像以及场景图像块输入该融合分类模型进行光流特征以及场景特征进行融合分类。
值得说明的是，将电力物联网设备运行环境监控图像中的人员运动特征的光流图作为时间域中的输入，此时的光流图是将多帧光流特征图片堆叠压缩到一张图像上。光流图是对监控图像的每个像素点进行矢量赋值，当图像中出现运动的人员时，人员区域在图像中所占像素点和背景所占像素点之间必然会存在矢量差，如果没有人员出现，图像中的像素点的矢量值则为平滑变化。正是由于存在这种像素点之间的矢量差，利用这种差异检测出人员在图像中所占的像素点。
另外，对视频图像进行平均采样得到图像块的集合，即场景图像块。
其中，利用场景特征和行为特征之间的关系，对电力监控图像的光流特征以及场景特征进行融合分类，能够提高行为识别的准确率。通过在光流特征提取和分类时，融合场景识别，可以减少行为识别的误判次数。
异常检测模块30融合RGB分类结果以及光流场景融合分类结果得到异常检测结果。
具体地，将两个模型的输出结果(概率向量)按照不同的权值进行相加，选取概率较大的一项或者几项作为预测的最终结果。
综上，本发明实施例通过利用融合分类模型对光流特征以及场景特征进行融合分类，不仅增加场景识别效果，减少行为识别的误判次数，并有效提高了CNN对光流信息的学习能力，能识别人类行为，及时有效地进行异常问题报警。
其中，可以通过使用深度学习方法来监测电力物联网设备运行环境中的图像异常情况。以人员检测为例：通过进行场景识别，提高对光流信息的学习能力。
在一个可选的实施例中，该融合分类模型包括：时间CNN模型以及场景识别CNN模型；
所述时间CNN模型包括：输入层、H个神经网络层、H个单项乘法交叉层、全连接层以及输出层，每个所述神经网络层的后端均连接一单项乘法交叉连接层；
具体地，输入层连接第一个神经网络层，该第一个神经网络层连接第一个单相乘法交叉连接层，该单相乘法交叉连接层连接第二个神经网络层，该第二个神经网络层连接第二个单相乘法交叉连接层，第二个单相乘法交叉连接层连接第三个神经网络层，以此类推，直至最后一个神经网络层，连接最后一个单相乘法交叉连接层，最后一个单相乘法交叉连接层连接全连接层，全连接层连接输出层。
该神经网络层包括：卷积层以及池化层，该卷积层用于对输入特征进行卷积运算，该池化层用于对该卷积层的卷积结果以及上一神经网络层的输出进行池化。
场景识别CNN模型包括：输入层、H个神经网络层、全连接层以及输出层；
具体地，输入层连接第一个神经网络层，该第一个神经网络层连接第二个神经网络层，该第二个神经网络层连接第三个神经网络层，以此类推，直至最后一个神经网络层，最后一个神经网络层连接全连接层，全连接层连接输出层。
该神经网络层包括：卷积层以及池化层，该卷积层用于对输入特征进行卷积运算，该池化层用于对该卷积层的卷积结果以及上一神经网络层的输出进行池化。
其中，所述场景识别CNN模型的输出层的输出连接至所述时间CNN模型的输出层的输入，时间CNN模型的输出层根据时间CNN模型中最后一个单相乘法交叉连接层的输出以及场景识别CNN模型的输出，进行分类，得到融合分类结果；所述场景识别CNN模型的第g个神经网络层的输出连接至所述时间CNN模型的第g个单项乘法交叉连接层的输入；所述单项乘法交叉层对连接至其的神经网络层的输出进行单项乘法交叉运算，并将运算结果作为其后的神经网络层的输入。
值得说明的是，为了更好地提取电力物联网设备运行环境监控图像中的人员的运动信息，加强对人员行为识别能力，采用单项乘法交叉流连接方式，将场景流中的场景特征传递到时间运动流中，将其与时间运动流中的人员运动特征进行关联性交互学习，以增加行为识别准确率。即：特征融合(Features fusion)：将场景识别CNN模型中不同的卷积、池化后得到的输出作为时间CNN模型中对应层的输入。
该场景识别CNN以场景图像块为输入，最终给出当前视频场景的预测，对于每个视频，场景识别将视频分成单帧图像进行逐个预测。
在一个可选的实施例中，该单项乘法交叉运算如下：
Figure BDA0002325570110000131
F[x,y]＝x×y+b
其中，
Figure BDA0002325570110000132
表示第l个单项乘法交叉层的输出，即：时间CNN模型中第l+1个神经网络层的输入，
Figure BDA0002325570110000133
表示时间CNN模型中第l个神经网络层的输出，也可以称为第l个池化层的输出，
Figure BDA0002325570110000134
表示场景识别CNN模型中第l个神经网络层的输出，也可以称为第l个池化层的输出，
Figure BDA0002325570110000135
表示时间CNN模型中第l个神经网络层的输入，也可以称为第l个池化层的输入，
Figure BDA0002325570110000136
表示场景识别CNN模型中第l个神经网络层的输入，也可以称为第l个池化层的输入，⊙表示元素乘法；Wl为残差单元权重；F[x,y]表示时间CNN模型中学习的单向映射，b表示偏置。
在一个可选的实施例中，场景识别CNN模型的最后一个池化层用于根据前一神经网络层输出的语义概率以及前一卷积层的输出特征获取最终的语义向量。
在一个可选的实施例中，最后一个池化层包括：语义计算单元以及语音编码单元。
语义计算单元，根据前一神经网络层输出的语义概率以及前一卷积层的输出特征计算得到多个语义中心值以及语义方差；
语音编码单元，利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量。
在一个可选的实施例中，对于给定的图像，采用平均采样得到图像块的集合Q＝{q1,q2,...,qN}，网络卷积过程中提取的是图像的语义特征进行卷积，池化；利用池化后的结果计算语义中心值uk(均值)，语义中心值uk(均值)通过以下公式计算:
Figure BDA0002325570110000141
Figure BDA0002325570110000142
其中，前一神经网络层输出的语义概率为P＝{p1,p2,...,pN}，前一卷积层的输出特征为F＝{f1,f2,...,fN}，uk表示第k维语音中心值，
Figure BDA0002325570110000143
表示Pi的第k维，值得说明的是：维度表示识别结果的种类，有多少分类就有多少维度；Nk表示语义类别的先验概率。
利用池化后的结果计算语义方差值采用如下公式：
Figure BDA0002325570110000144
其中，
Figure BDA0002325570110000145
表示第k维语义方差；T表示转置。
在一个可选的实施例中，利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量，采用如下公式：
Figure BDA0002325570110000146
Figure BDA0002325570110000147
Figure BDA0002325570110000148
其中，最终的语义向量为[(S1,G1),(S2,G2),...,(SR,GR)]，R表示样本数量，πk是第k维特征的权重。
值得说明的是，获得语义向量的目的是更好地分析卷积神经网络学习的语义信息，同时降低图像特征向量的维度，提高网络最后的识别效果。将获得的语义向量作为网络全连接层的输入，利用网络最后的分类器对场景进行分类。
上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现下述步骤：
利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类；
利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；
融合RGB分类结果以及光流场景融合分类结果得到异常检测结果。
从上述描述可知，本发明实施例提供的电子设备，可用于电力监控图像异常检测，通过利用融合分类模型对光流特征以及场景特征进行融合分类，不仅增加场景识别效果，减少行为识别的误判次数，并有效提高了CNN对光流信息的学习能力，能识别人类行为，及时有效地进行异常问题报警。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。
如图6所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现下述步骤：
利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类；
利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；
融合RGB分类结果以及光流场景融合分类结果得到异常检测结果。
从上述描述可知，本发明实施例提供的计算机可读存储介质，可用于电力监控图像异常检测，通过利用融合分类模型对光流特征以及场景特征进行融合分类，不仅增加场景识别效果，减少行为识别的误判次数，并有效提高了CNN对光流信息的学习能力，能识别人类行为，及时有效地进行异常问题报警。
在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种电力监控图像异常检测方法，其特征在于，包括：
利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类；
利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；
融合RGB分类结果以及光流场景融合分类结果得到异常检测结果。
2.根据权利要求1所述的电力监控图像异常检测方法，其特征在于，所述融合分类模型包括：时间CNN模型以及场景识别CNN模型；
所述时间CNN模型包括：输入层、H个神经网络层、H个单项乘法交叉层、全连接层以及输出层，每个所述神经网络层的后端均连接一单项乘法交叉连接层；
所述场景识别CNN模型包括：输入层、H个神经网络层、全连接层以及输出层；
所述场景识别CNN模型的输出层的输出连接至所述时间CNN模型的输出层的输入；所述场景识别CNN模型的第g个神经网络层的输出连接至所述时间CNN模型的第g个单项乘法交叉连接层的输入；
所述单项乘法交叉层用于对连接至其的神经网络层的输出进行单项乘法交叉运算。
3.根据权利要求2所述的电力监控图像异常检测方法，其特征在于，所述单项乘法交叉运算如下：
Figure FDA0002325570100000011
F[x,y]＝x×y+b
其中，
Figure FDA0002325570100000012
表示第l个单项乘法交叉层的输出，
Figure FDA0002325570100000013
表示时间CNN模型中第l个神经网络层的输出，
Figure FDA0002325570100000014
表示场景识别CNN模型中第l个神经网络层的输出，
Figure FDA0002325570100000015
表示时间CNN模型中第l个神经网络层的输入，
Figure FDA0002325570100000016
表示场景识别CNN模型中第l个神经网络层的输入，⊙表示元素乘法；Wl为残差单元权重；F[x,y]表示时间CNN模型中学习的单向映射，b表示偏置。
4.根据权利要求2所述的电力监控图像异常检测方法，其特征在于，所述神经网络层包括：卷积层以及连接在所述卷积层之后的池化层；所述场景识别CNN模型的最后一个池化层用于根据前一神经网络层输出的语义概率以及前一卷积层的输出特征获取最终的语义向量。
5.根据权利要求4所述的电力监控图像异常检测方法，其特征在于，所述根据前一神经网络层输出的语义概率以及前一卷积层的输出特征获取最终的语义向量，包括：
根据前一神经网络层输出的语义概率以及前一卷积层的输出特征计算得到多个语义中心值以及语义方差；
利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量。
6.根据权利要求5所述的电力监控图像异常检测方法，其特征在于，所述根据前一神经网络层输出的语义概率以及前一卷积层的输出特征计算得到多个语义中心值以及语义方差，采用如下公式：
Figure FDA0002325570100000021
Figure FDA0002325570100000022
其中，前一神经网络层输出的语义概率为P＝{p1,p2,...,pN}，前一卷积层的输出特征为F＝{f1,f2,...,fN}，uk表示第k维语音中心值，
Figure FDA0002325570100000023
表示Pi的第k维；
Figure FDA0002325570100000024
其中，
Figure FDA0002325570100000025
表示第k维语义方差；T表示转置。
7.根据权利要求6所述的电力监控图像异常检测方法，其特征在于，所述利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量，采用如下公式：
Figure FDA0002325570100000026
Figure FDA0002325570100000027
Figure FDA0002325570100000028
其中，最终的语义向量为[(S1,G1),(S2,G2),...,(SR,GR)]，R表示样本数量。
8.一种电力监控图像异常检测装置，其特征在于，包括：
RGB分类模块，利用预训练的空间CNN模型对电力监控图像的RGB特征进行分类；
融合分类模块，利用预训练的融合分类模型对所述电力监控图像的光流特征以及场景特征进行融合分类；
异常检测模块，融合RGB分类结果以及光流场景融合分类结果得到异常检测结果。
9.根据权利要求8所述的电力监控图像异常检测装置，其特征在于，所述融合分类模型包括：时间CNN模型以及场景识别CNN模型；
所述时间CNN模型包括：输入层、H个神经网络层、H个单项乘法交叉层、全连接层以及输出层，每个所述神经网络层的后端均连接一单项乘法交叉连接层；
所述场景识别CNN模型包括：输入层、H个神经网络层、全连接层以及输出层；
所述场景识别CNN模型的输出层的输出连接至所述时间CNN模型的输出层的输入；所述场景识别CNN模型的第g个神经网络层的输出连接至所述时间CNN模型的第g个单项乘法交叉连接层的输入；
所述单项乘法交叉层用于对连接至其的神经网络层的输出进行单项乘法交叉运算。
10.根据权利要求9所述的电力监控图像异常检测装置，其特征在于，所述神经网络层包括：卷积层以及连接在所述卷积层之后的池化层；所述场景识别CNN模型的最后一个池化层用于根据前一神经网络层输出的语义概率以及前一卷积层的输出特征获取最终的语义向量。
11.根据权利要求10所述的电力监控图像异常检测装置，其特征在于，所述最后一个池化层包括：
语义计算单元，根据前一神经网络层输出的语义概率以及前一卷积层的输出特征计算得到多个语义中心值以及语义方差；
语音编码单元，利用Fisher向量对所述语义中心值以及所述语义方差进行语义编码得到最终的语义向量。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的电力监控图像异常检测方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的电力监控图像异常检测方法的步骤。
CN201911314855.0A 2019-12-19 2019-12-19 电力监控图像异常检测方法和装置、电子设备及存储介质 Pending CN111125405A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911314855.0A CN111125405A (zh) 2019-12-19 2019-12-19 电力监控图像异常检测方法和装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911314855.0A CN111125405A (zh) 2019-12-19 2019-12-19 电力监控图像异常检测方法和装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111125405A true CN111125405A (zh) 2020-05-08

Family

ID=70500167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911314855.0A Pending CN111125405A (zh) 2019-12-19 2019-12-19 电力监控图像异常检测方法和装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111125405A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563488A (zh) * 2020-07-14 2020-08-21 成都市映潮科技股份有限公司 一种视频主题内容识别方法、系统及存储介质
CN112597811A (zh) * 2020-12-02 2021-04-02 北京智芯微电子科技有限公司 场景监测模型的获取方法及装置、监测系统及监测方法
CN112669316A (zh) * 2021-01-29 2021-04-16 南方电网调峰调频发电有限公司 电力生产异常监控方法、装置、计算机设备和存储介质
CN114697139A (zh) * 2022-05-25 2022-07-01 杭州海康威视数字技术股份有限公司 基于特征迁移的设备异常检测、训练方法、系统和装置
CN116580360A (zh) * 2023-05-21 2023-08-11 江苏研嘉科技有限公司 一种用于安防监控的图像数据处理方法及系统
CN116634110A (zh) * 2023-07-24 2023-08-22 清华大学 一种基于语义编解码的夜间智能养殖监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN108596157A (zh) * 2018-05-14 2018-09-28 三峡大学 一种基于运动检测的人群惊扰场景检测方法及系统
CN109344905A (zh) * 2018-10-22 2019-02-15 王子蕴 一种基于集成学习的输电设备自动故障识别方法
CN109376677A (zh) * 2018-11-02 2019-02-22 深圳龙岗智能视听研究院 一种基于外形-运动双流信息融合的视频行为检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN108596157A (zh) * 2018-05-14 2018-09-28 三峡大学 一种基于运动检测的人群惊扰场景检测方法及系统
CN109344905A (zh) * 2018-10-22 2019-02-15 王子蕴 一种基于集成学习的输电设备自动故障识别方法
CN109376677A (zh) * 2018-11-02 2019-02-22 深圳龙岗智能视听研究院 一种基于外形-运动双流信息融合的视频行为检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTOPH FEICHTENHOFER 等: "Spatiotemporal Multiplier Networks for Video Action Recognition" *
马翠红 等: "基于深度LSTM与双流融合网络的行为识别" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563488A (zh) * 2020-07-14 2020-08-21 成都市映潮科技股份有限公司 一种视频主题内容识别方法、系统及存储介质
CN112597811A (zh) * 2020-12-02 2021-04-02 北京智芯微电子科技有限公司 场景监测模型的获取方法及装置、监测系统及监测方法
CN112669316A (zh) * 2021-01-29 2021-04-16 南方电网调峰调频发电有限公司 电力生产异常监控方法、装置、计算机设备和存储介质
CN112669316B (zh) * 2021-01-29 2023-05-30 南方电网调峰调频发电有限公司 电力生产异常监控方法、装置、计算机设备和存储介质
CN114697139A (zh) * 2022-05-25 2022-07-01 杭州海康威视数字技术股份有限公司 基于特征迁移的设备异常检测、训练方法、系统和装置
CN114697139B (zh) * 2022-05-25 2022-09-02 杭州海康威视数字技术股份有限公司 基于特征迁移的设备异常检测、训练方法、系统和装置
CN116580360A (zh) * 2023-05-21 2023-08-11 江苏研嘉科技有限公司 一种用于安防监控的图像数据处理方法及系统
CN116580360B (zh) * 2023-05-21 2024-02-27 江苏研嘉科技有限公司 一种用于安防监控的图像数据处理方法及系统
CN116634110A (zh) * 2023-07-24 2023-08-22 清华大学 一种基于语义编解码的夜间智能养殖监控系统
CN116634110B (zh) * 2023-07-24 2023-10-13 清华大学 一种基于语义编解码的夜间智能养殖监控系统

Similar Documents

Publication Publication Date Title
CN111125405A (zh) 电力监控图像异常检测方法和装置、电子设备及存储介质
CN113657465A (zh) 预训练模型的生成方法、装置、电子设备和存储介质
CN111738054B (zh) 一种基于时空自编码器网络和时空cnn的行为异常检测方法
CN112862005B (zh) 视频的分类方法、装置、电子设备和存储介质
Zhang et al. Energy theft detection in an edge data center using threshold-based abnormality detector
US20230162477A1 (en) Method for training model based on knowledge distillation, and electronic device
CN115861462B (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
US20190034787A1 (en) Relative position encoding based networks for action recognition
CN111199238A (zh) 一种基于双流卷积神经网络的行为识别方法及设备
CN116229530A (zh) 图像处理方法、装置、存储介质及电子设备
CN112561060A (zh) 神经网络训练方法及装置、图像识别方法及装置和设备
Du et al. Convolutional neural network-based data anomaly detection considering class imbalance with limited data
CN115797349A (zh) 一种缺陷检测方法、装置和设备
CN112419243B (zh) 一种基于红外图像分析的配电房设备故障识别方法
CN112825116B (zh) 监控视频图像人脸检测和追踪方法、装置、介质及设备
CN114120074B (zh) 基于语义增强的图像识别模型的训练方法和训练装置
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN115631457A (zh) 建筑施工监控视频中的人机协作异常检测方法及系统
CN114238968A (zh) 应用程序检测方法及装置、存储介质及电子设备
CN113963186A (zh) 目标检测模型的训练方法、目标检测方法及相关装置
CN113837001A (zh) 监控场景下的异常闯入物实时检测方法及装置
CN115238805B (zh) 异常数据识别模型的训练方法及相关设备
CN112883868B (zh) 一种基于关系建模的弱监督视频动作定位模型的训练方法
CN113762007B (zh) 一种基于外观和动作特征双预测的异常行为检测方法
CN117058498B (zh) 分割图评估模型的训练方法、分割图的评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination