CN114387558A - 一种基于多维视频的变电站监控方法及系统 - Google Patents

一种基于多维视频的变电站监控方法及系统 Download PDF

Info

Publication number
CN114387558A
CN114387558A CN202210291623.3A CN202210291623A CN114387558A CN 114387558 A CN114387558 A CN 114387558A CN 202210291623 A CN202210291623 A CN 202210291623A CN 114387558 A CN114387558 A CN 114387558A
Authority
CN
China
Prior art keywords
target object
video frame
dimension
video
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210291623.3A
Other languages
English (en)
Other versions
CN114387558B (zh
Inventor
唐泰可
王威
林仁辉
苏茂才
廖峪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nobicam Artificial Intelligence Technology (Chengdu) Co.,Ltd.
Original Assignee
Chengdu Nuobikan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Nuobikan Technology Co ltd filed Critical Chengdu Nuobikan Technology Co ltd
Priority to CN202210291623.3A priority Critical patent/CN114387558B/zh
Publication of CN114387558A publication Critical patent/CN114387558A/zh
Application granted granted Critical
Publication of CN114387558B publication Critical patent/CN114387558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多维视频的变电站监控方法及系统，包括以下步骤：步骤S1、依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上进行图像融合得到融合视频帧；步骤S2、计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，以及构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；步骤S3、构建识别目标对象类别及目标对象故障的分析模型，并利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性。本发明利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，保障故障识别效率和精度。

Description

一种基于多维视频的变电站监控方法及系统
技术领域
本发明涉及变电站监控技术领域，具体涉及一种基于多维视频的变电站监控方法及系统。
背景技术
随着电网技术的发展、智能技术的普及以及变电运维模式的改变，对变电站设备运行状态监视的重要性越来越高。目前，已有智能巡检机器人无法覆盖全站设备，主要问题有两方面：一是，受场地及机器人运动限制，目前巡检机器人只能对室外设备进行巡视，还无法对室内设备房间进行巡视，而对设备房间内保护屏上的指示灯、压板状态、设备运行状况等巡视需耗费大量时间。二是，由于变电站设计、安装过程中没有考虑到智能机器人巡视的需要，很多表计、观察窗口即使通过铺设巡检道路、安装反光镜等方式也无法观察到。
现有技术CN201921134858.1提供一种基于多维视频的变电站室内巡检系统，包括若干平行于变电站室内地面的导向丝杆、若干视频摄像头和电机Ⅰ；所述视频摄像头底座通过轴线垂直于变电站室内地面的滑座套接在导向丝杆上，并可沿导向丝杆长度方向单自由度滑动；所述视频摄像头可绕滑座轴线转动；本现有技术能够对变电站室内进行全方位智能监控，调整监控对准的位置，节约人力成本，方便远程监控。
虽然上述现有技术能够一定程度上实现变电站室的全方位监控，但是却需要实时调整监控装置的空间位置以获取目标对象的实时监控视频，无法直接获取到发生故障的目标对象，仍然需要人工在各个目标对象的实时监控视频中进行故障识别，故障识别效率和精度得不到保障，调整监控装置的视野方位还会导致目标对象无法维持实时监控，会造成监控漏检。
发明内容
本发明的目的在于提供一种基于多维视频的变电站监控方法及系统，以解决现有技术中需要实时调整监控装置的空间位置以获取目标对象的实时监控视频，无法直接获取到发生故障的目标对象，仍然需要人工在各个目标对象的实时监控视频中进行故障识别，故障识别效率和精度得不到保障，调整监控装置的视野方位还会导致目标对象无法维持实时监控，会造成监控漏检的技术问题。
为解决上述技术问题，本发明具体提供下述技术方案：
一种基于多维视频的变电站监控方法，包括以下步骤：
步骤S1、依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；
步骤S2、计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于所述像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；
步骤S3、构建识别目标对象类别及目标对象故障的分析模型，并利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别属性及故障属性进行监控预警，以通知维护人员进行定向修复。
作为本发明的一种优选方案，所述依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，包括：
依次获取每个维度中包含基础场景的空白视频帧，并依次得到所述空白视频帧的灰度直方图向量；
依次得到多维视频流的每个维度中的所有视频帧的灰度直方图向量，并将每个维度中的所有视频帧的灰度直方图向量依次与对应维度中的空白视频帧的灰度直方图向量进行相似度比对，再在每个维度中保留相似度值未超相似阈值的视频帧作为包含目标对象图像特征的视频帧，其中，所述相似度比对公式为：
Figure 263020DEST_PATH_IMAGE001
；
式中，
Figure 264343DEST_PATH_IMAGE002
表征为第x个维度的第i个视频帧的灰度直方图向量与第x个维度中的空白视频帧的灰度直方图向量间相似度，
Figure 617964DEST_PATH_IMAGE003
表征为第x个维度的第i个视频帧的灰度直方图向量，
Figure 88259DEST_PATH_IMAGE004
表征为第x个维度中的空白视频帧的灰度直方图向量，T为转置符号，x，i为计量常数，无实质含义；
依次将每个维度中包含目标对象图像特征的所有视频帧进行去冗余视频帧的操作，以减少冗余视频帧参与图像融合来提高图像融合的效率，其中，
将每个维度中包含目标对象图像特征的所有视频帧按原有帧序列进行排列得到视频帧序列，并顺次计算视频帧序列中相邻视频帧间的灰度直方图向量的相似度，所述相邻视频帧间的灰度直方图向量的相似度的计算公式为：
Figure 287159DEST_PATH_IMAGE005
；
式中，
Figure 159301DEST_PATH_IMAGE006
表征为第x个维度对应的视频帧序列中的第k个视频帧与第k+1个视频帧间的灰度直方图向量的相似度，
Figure 683823DEST_PATH_IMAGE007
、
Figure 375835DEST_PATH_IMAGE008
分别表征为第x个维度中第k个视频帧与第k+1个视频帧间的灰度直方图向量，k为计量常数，无实质含义；
若
Figure 644006DEST_PATH_IMAGE009
超相似阈值，则将第k+1个视频帧从所述视频帧序列中剔除；
若
Figure 619921DEST_PATH_IMAGE009
未超相似阈值，则将第k+1个视频帧保留在所述视频帧序列中；
将所述视频帧序列中所有保留下的视频帧作为经去冗余操作后且包含目标对象图像特征的视频帧。
作为本发明的一种优选方案，所述在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧，包括：
在每个维度上对经去冗余操作后且包含目标对象图像特征的视频帧依次进行SIFT算法的特征检测、RANSAC算法的特征匹配以及拉普拉斯金字塔算法的特征融合得到每个维度上的融合视频帧。
作为本发明的一种优选方案，所述计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，包括：
计算每个维度中所述空白视频帧的像素信息量，以及每个维度中融合视频帧的像素信息量，并将所述融合视频帧的像素信息量与所述空白视频帧的像素信息量的差值作为所述表征目标对象图像特征的像素量级；
其中，所述空白视频帧的像素信息量的计算公式为：
Figure 49765DEST_PATH_IMAGE010
；
所述融合视频帧的像素信息量的计算公式为：
Figure 494653DEST_PATH_IMAGE011
；
式中，
Figure 300935DEST_PATH_IMAGE012
、
Figure 882089DEST_PATH_IMAGE013
分别表征为第x个维度的空白视频帧的像素信息量、融合视频帧的像素信息量，
Figure 748414DEST_PATH_IMAGE014
、
Figure 415018DEST_PATH_IMAGE015
分别表征为第x个维度的空白视频帧、融合视频帧的灰度直方图的灰度像素级别，
Figure 24991DEST_PATH_IMAGE016
、
Figure 975499DEST_PATH_IMAGE017
分别表征为空白视频帧、融合视频帧的灰度直方图中的第l、r个灰度像素级别，l，r均为计量常数，无实质含义；
所述表征目标对象图像特征的像素量级的计算公式为：
Figure 747146DEST_PATH_IMAGE018
；
式中，
Figure 166626DEST_PATH_IMAGE019
表征为第x个维度的融合视频帧中表征目标对象图像特征的像素量级。
作为本发明的一种优选方案，基于所述像素量级为每个维度的目标对象图像特征构建特征权重，包括：
对所有维度的融合视频帧中表征目标对象图像特征的像素量级进行归一化处理得到每个维度的目标对象图像特征的特征权重，所述特征权重的计算公式为：
Figure 314710DEST_PATH_IMAGE020
；
式中，
Figure 870456DEST_PATH_IMAGE021
表征为第x个维度的目标对象图像特征的特征权重，
Figure 813005DEST_PATH_IMAGE022
表征为维度总数目，x为计量常数，无实质含义。
作为本发明的一种优选方案，所述多维视频帧的计量公式为：
Figure 454202DEST_PATH_IMAGE023
；
式中，
Figure 405977DEST_PATH_IMAGE024
表征为多维视频帧，
Figure 65497DEST_PATH_IMAGE025
表征为第x个维度的融合视频帧。
作为本发明的一种优选方案，所述构建识别目标对象类别及目标对象故障的分析模型，包括：
在历史故障日志中抽取出历史目标对象类别、历史目标对象类别的多维视频帧、历史目标对象类别的故障类型，并将变电站中所有设备类别均作为目标对象拓展类别，再将所有设备的故障类型作为目标对象拓展类别的故障类型，以及将所有设备的故障类型的模拟视频帧作为目标对象拓展类别的多维视频帧，所述历史目标对象类别是历史故障日志中记载的发生故障的变电站设备类别，所述历史目标对象类别的多维视频帧由历史目标对象类别的多维视频流执行步骤S1、S2得到；
将所述历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别、目标对象拓展类别混合构成第一样本，并利用第一样本训练CNN神经网络得到目标对象类别识别模型；
将所述历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别的故障类型、目标对象拓展类别的故障类型混合构成第二样本，并利用第二样本训练CNN神经网络模型得到目标对象故障识别模型；
将所述目标对象类别识别模型和目标对象故障识别模型组合构成所述分析模型。
作为本发明的一种优选方案，所述利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，包括：
将所述多维视频帧输入至目标对象类别识别模型，由目标对象类别识别模型输出对应发生故障的目标对象类别以作为类别属性；
将所述多维视频帧输入至目标对象故障识别模型，由目标对象故障识别模型输出对应发生故障的目标对象的故障类型以作为故障属性。
作为本发明的一种优选方案，所述模拟视频帧的获得包括：
在变电站的各个设备类别处进行故障类型模拟，并在各个设备类别处获得多维视频流；
将各个设备类别处的多维视频流执行步骤S1、S2得到各个设备类别处的所述多维视频帧以作为模拟视频帧。
作为本发明的一种优选方案，本发明提供了一种根据所述的基于多维视频的变电站监控方法的监控系统，包括：
视频帧单维融合单元，用于依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；
视频帧多维融合单元，用于计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于所述像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；
故障分析单元，用于构建识别目标对象类别及目标对象故障的分析模型，并利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别及故障属性进行监控预警，以通知维护人员进行定向修复。
本发明与现有技术相比较具有如下有益效果：
本发明在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并依次进行单维融合、多维加权融合得到表征目标对象多维图像特征的多维视频帧，可以在多维视频流中更全面提取出发生故障的目标对象的图像特征，无需调整监控装置的拍摄方位，再构建识别目标对象类别及目标对象故障的分析模型，并利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，保障故障识别效率和精度。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例提供的基于多维视频的变电站监控方法流程图；
图2为本发明实施例提供的监控系统结构框图。
图中的标号分别表示如下：
1-视频帧单维融合单元；2-视频帧多维融合单元；3-故障分析单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，现有技术在进行多维视频监控时，通常是将监控装置设置为可多维移动的结构，以便监控装置调整监控方位实现多维监控，但是当监控装置调整监控方位对准需要监控的变电站设备时，就无法对其他变电站设备进行监控，无法真正做到实时监控，会存在在变电站设备间进行监控调整时出现监控漏检，因此本发明提供了一种基于多维视频的变电站监控方法，无需调整监控方位，只对多维方向上固定的监控装置进行视频流融合，以得到目标对象的多维图像特征，并识别出故障类型。
一种基于多维视频的变电站监控方法，包括以下步骤：
步骤S1、依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；
监控装置固定设置在变电站的多个方位上，会在变电站在多个方位维度上的监控视频流（多维视频流），其中，每个监控装置固定获得一个方位维度的监控视频流，在目标对象（即变电站设备）出现故障时，此时处于故障运行的目标对象的多维视频流与处于正常运行的目标对象的多维视频流存在差异，因此只需要将每个维度上与基础场景的空白视频帧（即处于正常运行的目标对象的视频帧）存在差异的视频帧提取出即可得到包含处于故障运行的目标对象图像特征的视频帧，再将每个维度上处于故障运行的目标对象图像特征的视频帧进行融合至同一视频帧中，得到该目标对象在该维度上的全部图像特征，最终在所有维度上都可提取出处于故障运行的目标对象的图像特征，无需调整监控装置的监控方位。
依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，包括：
依次获取每个维度中包含基础场景的空白视频帧，并依次得到空白视频帧的灰度直方图向量；
依次得到多维视频流的每个维度中的所有视频帧的灰度直方图向量，并将每个维度中的所有视频帧的灰度直方图向量依次与对应维度中的空白视频帧的灰度直方图向量进行相似度比对，再在每个维度中保留相似度值未超相似阈值的视频帧作为包含目标对象图像特征的视频帧，其中，相似度比对公式为：
Figure 444526DEST_PATH_IMAGE026
；
式中，
Figure 573019DEST_PATH_IMAGE027
表征为第x个维度的第i个视频帧的灰度直方图向量与第x个维度中的空白视频帧的灰度直方图向量间相似度，
Figure 62906DEST_PATH_IMAGE028
表征为第x个维度的第i个视频帧的灰度直方图向量，
Figure 593245DEST_PATH_IMAGE029
表征为第x个维度中的空白视频帧的灰度直方图向量，T为转置符号，x，i为计量常数，无实质含义；
依次将每个维度中包含目标对象图像特征的所有视频帧进行去冗余视频帧的操作，以减少冗余视频帧参与图像融合来提高图像融合的效率，其中，
将每个维度中包含目标对象图像特征的所有视频帧按原有帧序列进行排列得到视频帧序列，并顺次计算视频帧序列中相邻视频帧间的灰度直方图向量的相似度，相邻视频帧间的灰度直方图向量的相似度的计算公式为：
Figure 143175DEST_PATH_IMAGE030
；
式中，
Figure 493385DEST_PATH_IMAGE031
表征为第x个维度对应的视频帧序列中的第k个视频帧与第k+1个视频帧间的灰度直方图向量的相似度，
Figure 786963DEST_PATH_IMAGE032
、
Figure 421075DEST_PATH_IMAGE033
分别表征为第x个维度中第k个视频帧与第k+1个视频帧间的灰度直方图向量，k为计量常数，无实质含义；
若
Figure 141907DEST_PATH_IMAGE031
超相似阈值，则将第k+1个视频帧从视频帧序列中剔除；
若
Figure 244992DEST_PATH_IMAGE031
未超相似阈值，则将第k+1个视频帧保留在视频帧序列中；
将视频帧序列中所有保留下的视频帧作为经去冗余操作后且包含目标对象图像特征的视频帧。
在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧，包括：
在每个维度上对经去冗余操作后且包含目标对象图像特征的视频帧依次进行SIFT算法的特征检测、RANSAC算法的特征匹配以及拉普拉斯金字塔算法的特征融合得到每个维度上的融合视频帧。
步骤S2、计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；
各个维度上监控装置拍摄到处于故障运行的目标对象的图像特征并不完全相同，由于监控视野的不同，有些监控装置的监控视野对于处于故障运行的目标对象的覆盖性更高，则拍摄到的目标对象的图像特征多，而有些监控装置的监控视野对于处于故障运行的目标对象的覆盖性低，则拍摄到的目标对象的图像特征少，为了在多个维度上更多地获得目标对象的图像特征以使得最终形成的多维图像特征更接近目标对象的真实多维图像特征，本实施例为各个维度设定特征权重，以保证图像特征多的维度上的特征权重高，而图像特征少的维度上的特征权重低，从而可使得在一个视频帧构建目标对象的多维度特征，更易通过多维视频帧识别出目标对象的类别和故障类型。
计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，包括：
计算每个维度中空白视频帧的像素信息量，以及每个维度中融合视频帧的像素信息量，并将融合视频帧的像素信息量与空白视频帧的像素信息量的差值作为表征目标对象图像特征的像素量级；
其中，空白视频帧的像素信息量的计算公式为：
Figure 76682DEST_PATH_IMAGE034
；
融合视频帧的像素信息量的计算公式为：
Figure 316033DEST_PATH_IMAGE035
；
式中，
Figure 207766DEST_PATH_IMAGE036
、
Figure 532568DEST_PATH_IMAGE037
分别表征为第x个维度的空白视频帧的像素信息量、融合视频帧的像素信息量，
Figure 167948DEST_PATH_IMAGE038
、
Figure 776653DEST_PATH_IMAGE039
分别表征为第x个维度的空白视频帧、融合视频帧的灰度直方图的灰度像素级别，
Figure 839287DEST_PATH_IMAGE040
、
Figure 651385DEST_PATH_IMAGE017
分别表征为空白视频帧、融合视频帧的灰度直方图中的第l、r个灰度像素级别，l，r均为计量常数，无实质含义；
表征目标对象图像特征的像素量级的计算公式为：
Figure 824878DEST_PATH_IMAGE041
；
式中，
Figure 38821DEST_PATH_IMAGE042
表征为第x个维度的融合视频帧中表征目标对象图像特征的像素量级。
基于像素量级为每个维度的目标对象图像特征构建特征权重，包括：
对所有维度的融合视频帧中表征目标对象图像特征的像素量级进行归一化处理得到每个维度的目标对象图像特征的特征权重，特征权重的计算公式为：
Figure 272357DEST_PATH_IMAGE043
；
式中，
Figure 571751DEST_PATH_IMAGE044
表征为第x个维度的目标对象图像特征的特征权重，
Figure 548934DEST_PATH_IMAGE022
表征为维度总数目，x为计量常数，无实质含义。
多维视频帧的计量公式为：
Figure 143950DEST_PATH_IMAGE045
；
式中，
Figure 548386DEST_PATH_IMAGE024
表征为多维视频帧，
Figure 69498DEST_PATH_IMAGE046
表征为第x个维度的融合视频帧。
步骤S3、构建识别目标对象类别及目标对象故障的分析模型，并利用分析模型对多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别属性及故障属性进行监控预警，以通知维护人员进行定向修复。
构建识别目标对象类别及目标对象故障的分析模型，包括：
在历史故障日志中抽取出历史目标对象类别、历史目标对象类别的多维视频帧、历史目标对象类别的故障类型，并将变电站中所有设备类别均作为目标对象拓展类别，再将所有设备的故障类型作为目标对象拓展类别的故障类型，以及将所有设备的故障类型的模拟视频帧作为目标对象拓展类别的多维视频帧，历史目标对象类别是历史故障日志中记载的发生故障的变电站设备类别，历史目标对象类别的多维视频帧由历史目标对象类别的多维视频流执行步骤S1、S2得到；
将历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别、目标对象拓展类别混合构成第一样本，并利用第一样本训练CNN神经网络得到目标对象类别识别模型；
将所述历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别的故障类型、目标对象拓展类别的故障类型混合构成第二样本，并利用第二样本训练CNN神经网络模型得到目标对象故障识别模型；
将目标对象类别识别模型和目标对象故障识别模型组合构成分析模型。
基于历史故障日志和故障模拟进行样本构建，可以在真实故障时间的基础上进行模拟拓展，使得构建的分析模型覆盖面更广，适应性更强。
利用分析模型对多维视频帧进行分析得到目标对象的类别属性及故障属性，包括：
将多维视频帧输入至目标对象类别识别模型，由目标对象类别识别模型输出对应发生故障的目标对象类别以作为类别属性；
将多维视频帧输入至目标对象故障识别模型，由目标对象故障识别模型输出对应发生故障的目标对象的故障类型以作为故障属性。
模拟视频帧的获得包括：
在变电站的各个设备类别处进行故障类型模拟，并在各个设备类别处获得多维视频流；
将各个设备类别处的多维视频流执行步骤S1、S2得到各个设备类别处的多维视频帧以作为模拟视频帧。
如图2所示，基于上述变电站监控方法，本发明提供了一种监控系统，包括：
视频帧单维融合单元1，用于依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；
视频帧多维融合单元2，用于计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；
故障分析单元3，用于构建识别目标对象类别及目标对象故障的分析模型，并利用分析模型对多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别及故障属性进行监控预警，以通知维护人员进行定向修复。
本发明在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并依次进行单维融合、多维加权融合得到表征目标对象多维图像特征的多维视频帧，可以在多维视频流中更全面提取出发生故障的目标对象的图像特征，无需调整监控装置的拍摄方位，再构建识别目标对象类别及目标对象故障的分析模型，并利用分析模型对多维视频帧进行分析得到目标对象的类别属性及故障属性，保障故障识别效率和精度。
以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种基于多维视频的变电站监控方法，其特征在于，包括以下步骤：
步骤S1、依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；
步骤S2、计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于所述像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；
步骤S3、构建识别目标对象类别及目标对象故障的分析模型，并利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别属性及故障属性进行监控预警，以通知维护人员进行定向修复。
2.根据权利要求1所述的一种基于多维视频的变电站监控方法，其特征在于：所述依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，包括：
依次获取每个维度中包含基础场景的空白视频帧，并依次得到所述空白视频帧的灰度直方图向量；
依次得到多维视频流的每个维度中的所有视频帧的灰度直方图向量，并将每个维度中的所有视频帧的灰度直方图向量依次与对应维度中的空白视频帧的灰度直方图向量进行相似度比对，再在每个维度中保留相似度值未超相似阈值的视频帧作为包含目标对象图像特征的视频帧，其中，所述相似度比对公式为：
Figure 550430DEST_PATH_IMAGE001
；
式中，
Figure 801283DEST_PATH_IMAGE002
表征为第x个维度的第i个视频帧的灰度直方图向量与第x个维度中的空白视频帧的灰度直方图向量间相似度，
Figure 563571DEST_PATH_IMAGE003
表征为第x个维度的第i个视频帧的灰度直方图向量，
Figure 634295DEST_PATH_IMAGE004
表征为第x个维度中的空白视频帧的灰度直方图向量，T为转置符号，x，i为计量常数，无实质含义；
依次将每个维度中包含目标对象图像特征的所有视频帧进行去冗余视频帧的操作，以减少冗余视频帧参与图像融合来提高图像融合的效率，其中，
将每个维度中包含目标对象图像特征的所有视频帧按原有帧序列进行排列得到视频帧序列，并顺次计算视频帧序列中相邻视频帧间的灰度直方图向量的相似度，所述相邻视频帧间的灰度直方图向量的相似度的计算公式为：
Figure 890964DEST_PATH_IMAGE005
；
式中，
Figure 996324DEST_PATH_IMAGE006
表征为第x个维度对应的视频帧序列中的第k个视频帧与第k+1个视频帧间的灰度直方图向量的相似度，
Figure 680246DEST_PATH_IMAGE007
、
Figure 503845DEST_PATH_IMAGE008
分别表征为第x个维度中第k个视频帧与第k+1个视频帧间的灰度直方图向量，k为计量常数，无实质含义；
若
Figure 298626DEST_PATH_IMAGE009
超相似阈值，则将第k+1个视频帧从所述视频帧序列中剔除；
若
Figure 524071DEST_PATH_IMAGE009
未超相似阈值，则将第k+1个视频帧保留在所述视频帧序列中；
将所述视频帧序列中所有保留下的视频帧作为经去冗余操作后且包含目标对象图像特征的视频帧。
3.根据权利要求2所述的一种基于多维视频的变电站监控方法，其特征在于：所述在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧，包括：
在每个维度上对经去冗余操作后且包含目标对象图像特征的视频帧依次进行SIFT算法的特征检测、RANSAC算法的特征匹配以及拉普拉斯金字塔算法的特征融合得到每个维度上的融合视频帧。
4.根据权利要求3所述的一种基于多维视频的变电站监控方法，其特征在于：所述计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，包括：
计算每个维度中所述空白视频帧的像素信息量，以及每个维度中融合视频帧的像素信息量，并将所述融合视频帧的像素信息量与所述空白视频帧的像素信息量的差值作为所述表征目标对象图像特征的像素量级；
其中，所述空白视频帧的像素信息量的计算公式为：
Figure 628162DEST_PATH_IMAGE010
；
所述融合视频帧的像素信息量的计算公式为：
Figure 673478DEST_PATH_IMAGE011
；
式中，
Figure 271950DEST_PATH_IMAGE012
、
Figure 555164DEST_PATH_IMAGE013
分别表征为第x个维度的空白视频帧的像素信息量、融合视频帧的像素信息量，
Figure 643206DEST_PATH_IMAGE014
、
Figure 113501DEST_PATH_IMAGE015
分别表征为第x个维度的空白视频帧、融合视频帧的灰度直方图的灰度像素级别，
Figure 577981DEST_PATH_IMAGE016
、
Figure 699389DEST_PATH_IMAGE017
分别表征为空白视频帧、融合视频帧的灰度直方图中的第l、r个灰度像素级别，l，r均为计量常数，无实质含义；
所述表征目标对象图像特征的像素量级的计算公式为：
Figure 958332DEST_PATH_IMAGE018
；
式中，
Figure 915924DEST_PATH_IMAGE019
表征为第x个维度的融合视频帧中表征目标对象图像特征的像素量级。
5.根据权利要求4所述的一种基于多维视频的变电站监控方法，其特征在于：基于所述像素量级为每个维度的目标对象图像特征构建特征权重，包括：
对所有维度的融合视频帧中表征目标对象图像特征的像素量级进行归一化处理得到每个维度的目标对象图像特征的特征权重，所述特征权重的计算公式为：
Figure 184094DEST_PATH_IMAGE020
；
式中，
Figure 910742DEST_PATH_IMAGE021
表征为第x个维度的目标对象图像特征的特征权重，
Figure 340586DEST_PATH_IMAGE022
表征为维度总数目，x为计量常数，无实质含义。
6.根据权利要求5所述的一种基于多维视频的变电站监控方法，其特征在于：所述多维视频帧的计量公式为：
Figure 785474DEST_PATH_IMAGE023
；
式中，
Figure 591756DEST_PATH_IMAGE024
表征为多维视频帧，
Figure 422177DEST_PATH_IMAGE025
表征为第x个维度的融合视频帧。
7.根据权利要求6所述的一种基于多维视频的变电站监控方法，其特征在于，所述构建识别目标对象类别及目标对象故障的分析模型，包括：
在历史故障日志中抽取出历史目标对象类别、历史目标对象类别的多维视频帧、历史目标对象类别的故障类型，并将变电站中所有设备类别均作为目标对象拓展类别，再将所有设备的故障类型作为目标对象拓展类别的故障类型，以及将所有设备的故障类型的模拟视频帧作为目标对象拓展类别的多维视频帧，所述历史目标对象类别是历史故障日志中记载的发生故障的变电站设备类别，所述历史目标对象类别的多维视频帧由历史目标对象类别的多维视频流执行步骤S1、S2得到；
将所述历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别、目标对象拓展类别混合构成第一样本，并利用第一样本训练CNN神经网络得到目标对象类别识别模型；
将所述历史目标对象类别的多维视频帧、目标对象拓展类别的多维视频帧与历史目标对象类别的故障类型、目标对象拓展类别的故障类型混合构成第二样本，并利用第二样本训练CNN神经网络模型得到目标对象故障识别模型；
将所述目标对象类别识别模型和目标对象故障识别模型组合构成所述分析模型。
8.根据权利要求7所述的一种基于多维视频的变电站监控方法，其特征在于，所述利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，包括：
将所述多维视频帧输入至目标对象类别识别模型，由目标对象类别识别模型输出对应发生故障的目标对象类别以作为类别属性；
将所述多维视频帧输入至目标对象故障识别模型，由目标对象故障识别模型输出对应发生故障的目标对象的故障类型以作为故障属性。
9.根据权利要求8所述的一种基于多维视频的变电站监控方法，其特征在于，所述模拟视频帧的获得包括：
在变电站的各个设备类别处进行故障类型模拟，并在各个设备类别处获得多维视频流；
将各个设备类别处的多维视频流执行步骤S1、S2得到各个设备类别处的所述多维视频帧以作为模拟视频帧。
10.一种根据权利要求1-9任一项所述的基于多维视频的变电站监控方法的监控系统，其特征在于，包括：
视频帧单维融合单元（1），用于依次在多维视频流的每个维度中抽取出所有包含目标对象图像特征的视频帧，并在每个维度上对所有包含目标对象图像特征的视频帧进行图像融合得到对应维度上包含目标对象最多图像特征的融合视频帧；
视频帧多维融合单元（2），用于计算每个维度的融合视频帧中表征目标对象图像特征的像素量级，并基于所述像素量级为每个维度的目标对象图像特征构建特征权重，并利用特征权重对每个维度的融合视频帧进行加权求和得到表征目标对象多维图像特征的多维视频帧；
故障分析单元（3），用于构建识别目标对象类别及目标对象故障的分析模型，并利用所述分析模型对所述多维视频帧进行分析得到目标对象的类别属性及故障属性，再根据目标对象的类别及故障属性进行监控预警，以通知维护人员进行定向修复。
CN202210291623.3A 2022-03-24 2022-03-24 一种基于多维视频的变电站监控方法及系统 Active CN114387558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210291623.3A CN114387558B (zh) 2022-03-24 2022-03-24 一种基于多维视频的变电站监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210291623.3A CN114387558B (zh) 2022-03-24 2022-03-24 一种基于多维视频的变电站监控方法及系统

Publications (2)

Publication Number Publication Date
CN114387558A true CN114387558A (zh) 2022-04-22
CN114387558B CN114387558B (zh) 2022-06-21

Family

ID=81205655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210291623.3A Active CN114387558B (zh) 2022-03-24 2022-03-24 一种基于多维视频的变电站监控方法及系统

Country Status (1)

Country Link
CN (1) CN114387558B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550074A (zh) * 2022-04-25 2022-05-27 成都信息工程大学 一种基于计算机视觉的图像识别方法及系统
CN115689844A (zh) * 2023-01-04 2023-02-03 成都中轨轨道设备有限公司 一种基于多维引擎的智能数据管理平台、搭建方法及应用

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN210120429U (zh) * 2019-07-18 2020-02-28 国家电网有限公司 基于多维视频的变电站室内巡检系统
CN111415345A (zh) * 2020-03-20 2020-07-14 山东文多网络科技有限公司 一种基于深度学习的变电站紫外图像智能巡检算法及装置
CN112465959A (zh) * 2020-12-17 2021-03-09 国网四川省电力公司电力科学研究院 基于局部场景更新的变电站三维实景模型巡视方法
CN113920535A (zh) * 2021-10-12 2022-01-11 广东电网有限责任公司广州供电局 一种基于YOLOv5的电子区域检测方法
US11281945B1 (en) * 2021-02-26 2022-03-22 Institute Of Automation, Chinese Academy Of Sciences Multimodal dimensional emotion recognition method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN210120429U (zh) * 2019-07-18 2020-02-28 国家电网有限公司 基于多维视频的变电站室内巡检系统
CN111415345A (zh) * 2020-03-20 2020-07-14 山东文多网络科技有限公司 一种基于深度学习的变电站紫外图像智能巡检算法及装置
CN112465959A (zh) * 2020-12-17 2021-03-09 国网四川省电力公司电力科学研究院 基于局部场景更新的变电站三维实景模型巡视方法
US11281945B1 (en) * 2021-02-26 2022-03-22 Institute Of Automation, Chinese Academy Of Sciences Multimodal dimensional emotion recognition method
CN113920535A (zh) * 2021-10-12 2022-01-11 广东电网有限责任公司广州供电局 一种基于YOLOv5的电子区域检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
VARSHA SHRIRANG NANAWARE等: "Novel development of fast processing algorithm for the moving object detection in RT videos using histogram orientation gradient method", 《2017 IEEE INTERNATIONAL CONFERENCE ON POWER, CONTROL, SIGNALS AND INSTRUMENTATION ENGINEERING (ICPCSI)》 *
XIAO LIAO等: "Joint Inspection of HD Video and Robot in Substation Based on OCR Technology", 《MOBILE INFORMATION SYSTEMS》 *
YE TIAN等: "Research on Video Detection Method of Moving Target Oriented to Substation", 《IOP CONFERENCE SERIES: EARTH AND ENVIRONMENTAL SCIENCE》 *
谭春光: "基于.NET架构的分布式供水监控系统设计与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
费东: "基于全卷积神经网络和深层特征融合的筏式水产养殖区提取方法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
韩亚辉: "面向工业4.0的多维视频监控系统设计", 《计算机测量与控制》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550074A (zh) * 2022-04-25 2022-05-27 成都信息工程大学 一种基于计算机视觉的图像识别方法及系统
CN115689844A (zh) * 2023-01-04 2023-02-03 成都中轨轨道设备有限公司 一种基于多维引擎的智能数据管理平台、搭建方法及应用
CN115689844B (zh) * 2023-01-04 2023-03-28 成都中轨轨道设备有限公司 一种基于多维引擎的智能数据管理平台、搭建方法

Also Published As

Publication number Publication date
CN114387558B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN114387558B (zh) 一种基于多维视频的变电站监控方法及系统
CN112379231B (zh) 一种基于多光谱图像的设备检测方法及装置
CN106022345B (zh) 一种基于霍夫森林的高压隔离开关状态识别方法
Sohn et al. Automatic powerline scene classification and reconstruction using airborne lidar data
CN110033453A (zh) 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法
CN105791774A (zh) 一种基于视频内容分析的监控视频传输方法
CN111209832B (zh) 变电站巡检机器人辅助避障训练方法、设备及介质
CN108648169A (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN106326808A (zh) 基于无人机图像的检测输电线路杆塔鸟窝的方法
CN109033975A (zh) 一种岸滩监测中的鸟类检测、识别与追踪方法及装置
CN111340843A (zh) 基于环境自适应和小样本学习的电力场景视频检测方法
CN109145796A (zh) 一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法
CN111507975A (zh) 一种牵引变电所户外绝缘子异常检测方法
Lin et al. An intelligent infrared image fault diagnosis for electrical equipment
CN115880231A (zh) 一种基于深度学习的输电线路隐患检测方法和系统
CN107547867A (zh) 一种变电站室外视频监控系统和监控方法
CN112906488A (zh) 一种基于人工智能的安防视频质量评价系统
CN108615057B (zh) 一种基于cnn的电缆隧道照明设备的异常识别方法
CN108470141B (zh) 一种基于统计特征与机器学习的配电线路中绝缘子识别方法
CN116223502A (zh) 一种粗骨料含泥量智能检测装置及检测方法
CN113486873B (zh) 一种基于大数据和人工智能的变电站设备巡检方法及系统
CN114220084A (zh) 一种基于红外图像的配电设备缺陷识别方法
CN115984768A (zh) 一种基于固定型单目摄像头的多目标行人实时检测定位方法
CN112183310B (zh) 冗余监控画面过滤及无效监控画面筛选的方法及系统
CN115147591A (zh) 一种变电设备红外图像电压致热型缺陷诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 610015 No. 1534, floor 15, building 1, No. 88, Guanghua South Third Road, Qingyang District, Chengdu, Sichuan Province

Patentee after: Nobicam Artificial Intelligence Technology (Chengdu) Co.,Ltd.

Address before: 610014 no.1534, 15th floor, building 1, No.88, Guanghua South Third Road, Qingyang District, Chengdu, Sichuan Province

Patentee before: CHENGDU NUOBIKAN TECHNOLOGY Co.,Ltd.