CN117336573B - 一种gis设备监控系统 - Google Patents

一种gis设备监控系统 Download PDF

Info

Publication number
CN117336573B
CN117336573B CN202311298167.6A CN202311298167A CN117336573B CN 117336573 B CN117336573 B CN 117336573B CN 202311298167 A CN202311298167 A CN 202311298167A CN 117336573 B CN117336573 B CN 117336573B
Authority
CN
China
Prior art keywords
image
visible light
monitoring system
ultrasonic
thermal imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311298167.6A
Other languages
English (en)
Other versions
CN117336573A (zh
Inventor
周艾兵
刘军
周永平
高伟
才金鑫
王飞虎
陈伟
舒帅
丁俊生
谢军
钱东
李宗军
陈道鑫
陈华
杨美凡
李辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baokang Power Supply Co Of State Grid Hubei Electric Power Co ltd
Shenzhen Huilong Purification Technology Co ltd
Xiangyang Power Supply Co of State Grid Hubei Electric Power Co Ltd
Original Assignee
Baokang Power Supply Co Of State Grid Hubei Electric Power Co ltd
Shenzhen Huilong Purification Technology Co ltd
Xiangyang Power Supply Co of State Grid Hubei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baokang Power Supply Co Of State Grid Hubei Electric Power Co ltd, Shenzhen Huilong Purification Technology Co ltd, Xiangyang Power Supply Co of State Grid Hubei Electric Power Co Ltd filed Critical Baokang Power Supply Co Of State Grid Hubei Electric Power Co ltd
Priority to CN202311298167.6A priority Critical patent/CN117336573B/zh
Publication of CN117336573A publication Critical patent/CN117336573A/zh
Application granted granted Critical
Publication of CN117336573B publication Critical patent/CN117336573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本发明提供了一种GIS设备监控系统，该系统包含一个双模摄像头和一个处理器；双模摄像头由热成像传感器和可见光传感器构成，这两个传感器同步监控GIS设备，并具有稳定的相对位置；处理器运行图像融合算法，该算法接收由热成像传感器和可见光传感器生成的图像；算法通过以下步骤进行图像融合：对接收的可见光图像和热成像图像进行小波变换，生成多个频率带的分量；定义评分函数，度量各分量的重要性；根据比较的评分结果，选择可见光图像或热成像图像的小波变换分量进行融合；并通过逆小波变换将融合后的图像从频率空间转换回到空间域，得到最终的融合图像。这种监控系统能够提供更全面的信息，并提高了GIS设备的监控效果。

Description

一种GIS设备监控系统
技术领域
本发明涉及GIS设备管理领域，特别涉及一种GIS设备监控系统。
背景技术
气体绝缘开关设备(Gas Insulated Switchgear，GIS)由于其高绝缘性能和小型化设计，广泛应用于电力系统。然而，由于GIS设备的密封性要求高，一旦出现绝缘介质气体的泄漏，就可能导致设备的绝缘性能下降，甚至可能引发严重的电力事故。因此，对GIS设备的监控至关重要。
传统的GIS设备监控方式主要是通过对设备进行定期的物理检查，但是这种方式劳动强度大，而且无法做到实时监控。近年来，随着图像处理技术的发展，利用图像进行GIS设备的监控成为可能。然而，由于热成像和可见光图像各自具有不同的优点和缺点，单一的图像源往往无法提供足够的信息进行准确的监控。
因此，设计一种能够获得高质量融合图像的GIS设备监控系统，是当前研究的重要课题。
发明内容
本申请提供一种GIS设备监控系统，以提高GIS设备的监控效果。
所述GIS设备监控系统，包括：
双模摄像头，包括热成像传感器和可见光传感器，所述热成像传感器和可见光传感器以同步的方式监控GIS设备，并且具有稳定的相对位置；
处理器，运行用于图像融合的算法，该算法接收由热成像传感器和可见光传感器生成的不同图像，并通过以下步骤进行图像融合：
对接收到的可见光图像和热成像图像进行小波变换，生成多个频率带的分量；
对于每个小波变换的分量，定义评分函数来度量分量的重要性，该评分函数公式为：
F_v(i,j)＝W1*abs(I_v(i,j))，以及
F_t(i,j)＝W2*abs(I_t(i,j))+W3*abs(H(i)-T_t(i,j))，其中，F_v和F_t分别代表在像素位置i和频率带j上，可见光图像和热成像图像的评分，I_v(i,j)和I_t(i,j)分别表示可见光图像和热成像图像在该频率带上的小波分量，H(i)表示预期的热分布在位置i处的温度，T_t(i,j)表示热成像图像在位置i处的温度估计，W1,W2,W3是权重系数；
对每个像素位置i和频率带j，比较F_v(i,j)和F_t(i,j)的大小，如果F_v(i,j)>F_t(i,j)，则选择可见光图像的小波变换分量进行融合，否则，选择热成像图像的小波变换分量进行融合；
通过逆小波变换将融合后的图像从频率空间转换回到空间域，得到最终的融合图像。
更进一步地，所述热成像传感器工作在长波红外范围内，以获得较好的温度灵敏度和空间分辨率。
更进一步地，所述双模摄像头还包括同步控制器，用于控制两个传感器的工作，使它们能够在同一时间捕捉到同一物体的两种图像。
更进一步地，所述的GIS设备监控系统，还包括超声波信号接收单元、超声波传感器以及超声波控制单元；
所述超声波传感器固定在GIS设备的外壳上，该超声波传感器在所述超声波控制单元的控制下可以发送穿透GIS设备的外壳进入设备内部的超声波，并接收反射回来的信号，接收到的信号被发送到所述超声波信号接收单元；
所述超声波信号接收单元将接收到的信号转换为数字形式并发送至处理器；
所述处理器中使用信号处理算法对所述超声波信号接收单元发送的信号进行处理，生成超声波图像，进而对所述超声波图像进行分析，检测GIS设备的泄漏源。
更进一步地，所述处理器通过计算热成像图像中每个像素在所有频率带上的平均温度，并与预设的温度阈值进行比较来检测温度异常。
更进一步地，所述处理器通过计算可见光图像中每个像素的颜色或亮度的变化率来检测外观变化异常。
更进一步地，所述处理器还可以运行如下的异常判定公式，获得GIS设备的运行异常值A(i,t)：
A(i,t)＝W_1*A_t(i)+W_2*A_v(i,t)+W_3*D(i,t)+W_4*H(i,t)+W_5*S(i)+W_6*E(t)，其中W_1到W_6是权重系数，A_t(i)像素i的温度异常值，A_v(i,t)为外观变化异常值，函数D(i,t)表示在位置i从时间t开始，连续检测到异常的时间步长，H(i,t)表示在时间t以前的一段时间内，位置i检测到异常的频率，S(i)表示位置i对应的设备的重要性，E(t)表示在时间t的工作环境；
所述处理器进而判断A(i,t)是否超过了设定的阈值，若是，则所述处理器向所述超声波控制单元发出启动指令，所述超声波控制单元根据启动指令启动超声波传感器。
更进一步地，所述的GIS设备监控系统，还包括自编码器模型，该模型接收从双模摄像头生成的融合图像作为输入，其中输入层接收大小为(256，256，3)的图像，然后通过卷积层和最大池化层进行特征提取和尺寸降维，之后通过全连接层将图像编码为一个低维编码，最后，通过反卷积层和反最大池化层组成的解码层将编码解码为重构图像，该重构图像作为模型的输出，输出层使用Sigmoid函数将像素值压缩到0和1之间。
更进一步地，所述的GIS设备监控系统，还包括异常检测模块，该模块接收第一融合图像和该第一融合图像经过所述自编码器模型处理后的重构图像作为输入，计算二者之间的差异，如果这个差异超过了预设的阈值，则将所述第一融合图像判断为包含异常。
更进一步地，所述的GIS设备监控系统，在将所述第一融合图像判断为包含异常之后，异常检测模块向所述GIS设备的管理人员发出预警信息。
本申请的主要创新点在于提供了一种自动化、实时的GIS设备监控系统。这种系统包括一个双模摄像头，该摄像头包括热成像传感器和可见光传感器，它们以同步的方式监控GIS设备。系统还包括一个处理器，运行用于图像融合的算法。该算法接收由热成像传感器和可见光传感器生成的不同图像，并通过先进的小波变换进行图像融合，得到具有更高信息容量的融合图像。通过定义评分函数来度量每个小波变换分量的重要性，并根据评分选择融合分量，以实现对GIS设备的准确和有效的监控。
本申请具有如下有益的技术效果：
(1)实时监控：由于使用了热成像传感器和可见光传感器以同步的方式监控GIS设备，因此可以实时监控GIS设备的状态，及时发现和处理问题。
(2)高质量的监控结果：通过采用先进的小波变换进行图像融合，并通过定义评分函数来度量每个小波变换分量的重要性，生成的融合图像具有更高的信息容量，可以提供更准确和详细的GIS设备监控结果。
(3)自动化处理：采用自动化的图像融合算法，可以省去人工选择合适的权重参数的繁琐工作，提高了监控系统的工作效率。
附图说明
图1是本申请第一实施例提供的一种GIS设备监控系统的示意图。
图2是本申请第一实施例涉及的自编码器模型的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请第一实施例提供一种GIS设备监控系统。请参看图1，该图为本申请第一实施例的示意图。以下结合图1对本申请第一实施例提供一种GIS设备监控系统进行详细说明。
所述GIS设备监控系统包括双模摄像头102和处理器101。
本实施例提供的双模摄像头102，包括一个热成像模块和一个普通可见光模块。这两个模块以同步的方式工作，即在同一时间捕捉到同一物体的两种图像。同时，它们的相对位置应该保持稳定，以便在软件中将两种图像准确地对齐和融合。
这种摄像头的关键组件包括：
热成像传感器，用于捕捉物体的红外热辐射，生成热成像图像。其工作波长应在长波红外(LWIR)范围内，以获得较好的温度灵敏度和空间分辨率。
可见光传感器，用于捕捉物体的可见光反射，生成普通图像。其分辨率应至少达到1080p，以获得较好的图像质量。
同步控制器：用于控制两个传感器的工作，使它们能够在同一时间捕捉到同一物体的两种图像。
同步控制器的主要任务是确保两个传感器同时捕捉到同一物体的图像，以保证图像数据的一致性和同步性。此同步性对于后续的图像处理，例如图像融合，非常重要。下面是实现这个同步控制器的具体步骤。
(1)传感器选择和配置：首先，需要选择具有同步功能的传感器。例如，可见光传感器和热成像传感器都应支持同步功能。传感器的配置也应确保同步捕捉，例如，它们的分辨率、曝光时间和感光区域应相同或相近。
(2)时间同步：同步控制器通过发送同步信号(例如，脉冲或电平信号)来控制两个传感器的工作。这些同步信号应该在精确的时间点发送，以确保两个传感器在同一时间捕捉到图像。为了实现精确的时间同步，可以使用高精度的时钟源(例如，原子钟)。
(3)硬件接口：同步控制器通过硬件接口(例如，GPIO或串行接口)与两个传感器连接，以发送同步信号。硬件接口应能提供足够的带宽以传输同步信号，且延迟应该尽可能小。
(4)软件控制：同步控制器的软件部分应能实现对两个传感器的精确控制。例如，它可以读取传感器的状态，以确定传感器是否准备好捕捉图像。它还应能调整同步信号的发送时间，以便在需要时微调传感器的同步性。
(5)错误检测和修复：如果发生同步错误(例如，一个传感器比另一个传感器提前或延后捕捉到图像)，同步控制器应能检测并修复这些错误。例如，它可以通过比较两个传感器捕捉的图像来检测同步错误。如果检测到同步错误，同步控制器可以通过调整同步信号的发送时间来修复错误。
同步控制器通过上述步骤，确保了在任何给定时间，两个传感器都能捕捉到同一物体的图像，这对于后续的图像处理步骤，如图像融合等，至关重要。
所述GIS设备监控系统还包括处理器101，该处理器101可以包括一个或者多个高性能的中央处理器或者图形处理器。
所述处理器101上运行用于图像融合的算法，该算法对于热成像传感器和可见光传感器接收到的不同图像进行图像融合。下面以小波变换的图像融合为例进行说明，分为以下步骤：
(1)预处理阶段：在开始图像融合之前，需要对两种图像(可见光图像和热成像图像)进行一些预处理。预处理可以包括图像校准、几何校正、亮度调整和对比度增强等步骤。
(2)图像配准：图像配准是对两种图像进行空间对齐的过程。配准可以通过一些传统的方法，如基于特征的配准方法(例如SIFT，SURF等)，或基于区域的配准方法(例如相互信息)等进行。
(3)对预处理并配准的可见光图像和热成像图像进行小波变换。小波变换可以将图像分解为多个频率带的分量，每个分量都包含了图像在某个特定频率带的信息。
(4)分量选择和融合：在这个步骤中，需要根据GIS设备的预计算热分布选择和合并分量。这个过程可以描述为以下的公式：
对于每个小波变换的分量，可以定义一个评分函数F(i,j)来度量分量的重要性，其中i表示图像的像素位置，j表示小波变换的频率带。这个评分函数可以结合可见光图像和热成像图像的信息，以及GIS设备预期的热分布，例如：
F_v(i,j)＝W1*abs(I_v(i,j))
F_t(i,j)＝W2*abs(I_t(i,j))+W3*abs(H(i)-T_t(i,j))
其中，F_v和F_t分别代表在像素位置i和频率带j上，可见光图像和热成像图像的评分，I_v(i,j)和I_t(i,j)分别表示可见光图像和热成像图像在该频率带上的小波分量，H(i)表示预期的热分布在位置i处的温度，T_t(i,j)表示热成像图像在位置i处的温度估计，W1,W2,W3是权重系数。
GIS设备预期的热分布可以由热传导方程描述：
其中，T是温度，t是时间，α是热扩散系数，Δ是拉普拉斯算子，表示空间的二阶微分。
热扩散系数α可以由材料的热导率λ、比热容c和密度ρ计算得出：
α＝λ/(ρ*c)
对于设备的电流分布，可以假设设备内部的每个点都会产生热量，产生的热量与该点的电流强度I和电阻R成正比，由焦耳定律给出：
Q＝I2*R
其中，Q是产生的热量。
上述两个方程联立，可以得到描述设备热分布的偏微分方程。然后，通过对该方程进行数值求解，例如使用有限元方法或有限差分方法，就可以得到预期的热分布H(i)。
该评分函数考虑了热成像图像的小波分量，以及其温度与预期热分布的差异。如果在某个位置，热成像图像的温度与预期热分布的温度差异较大，那么这个位置可能是一个异常区域，可以在融合图像时，给这个位置更高的权重。
融合过程如下：
对每个像素位置i和频率带j，分别计算F_v(i,j)和F_t(i,j)。这将给出每个像素位置和频率带的两个评分，分别表示在该位置和频率带上，可见光图像和热成像图像的相对重要性。
对每个像素位置i和频率带j，比较F_v(i,j)和F_t(i,j)的大小。如果F_v(i,j)>F_t(i,j)，那么就选择可见光图像的小波变换分量进行融合。否则，选择热成像图像的小波变换分量进行融合。
最后，可以通过逆小波变换将融合后的图像从频率空间转换回到空间域，得到最终的融合图像。
融合后的图像具有以下优势：
(1)更全面的信息：图像融合可以将来自不同源的信息整合到一张图像中，例如，融合可见光图像和热成像图像可以同时显示设备的物理状态和温度情况。这比单独查看每张图像能提供更全面的信息。
(2)更好的视觉效果：通过适当的图像融合算法，可以提高融合图像的视觉质量和可读性。例如，我们可以通过强调感兴趣的特征，抑制不相关的背景，或改善图像的对比度和亮度等，使得融合后的图像在视觉上更易于理解和解读。
(3)更高的检测和识别性能：在很多应用中，例如在GIS设备监控中，融合后的图像可以帮助运维人员更好地检测和识别可能的问题。例如，通过将可见光图像和热成像图像融合，可以强调可能的异常区域，如过热的部件，从而有助于早期发现和解决问题。
(4)更强的鲁棒性：通过结合来自不同源的信息，图像融合可以提高系统对各种环境变化和设备故障的鲁棒性。例如，如果一种图像(如热成像图像)受到环境温度变化的影响，另一种图像(如可见光图像)可能仍能提供有效的信息，从而保证整体系统的稳定性和可靠性。
在获得最终的融合图像后，可以进行进一步的处理，比如异常检测、预警，以优化GIS设备的管理和维护。
可以使用机器学习算法对融合图像进行分析，以便检测出与历史数据不一致的异常模式。例如，可以使用深度学习的自编码器模型来进行无监督异常检测。这个模型可以在正常运行的GIS设备的融合图像上进行训练，然后用它来对新的融合图像进行编码和解码。如果新的图像不能被模型有效地重构，那么就可以认为这个图像可能包含异常。
具体而言，所述自编码器模型接收从双模摄像头生成的融合图像作为输入，其中输入层接收大小为(256，256，3)的图像，然后通过卷积层和最大池化层进行特征提取和尺寸降维，之后通过全连接层将图像编码为一个低维编码，最后，通过反卷积层和反最大池化层组成的解码层将编码解码为重构图像，该重构图像作为模型的输出，输出层使用Sigmoid函数将像素值压缩到0和1之间。
下面结合图2，对于所述自编码器模型进行详细说明。所述自编码器模型具体包括：
输入层201：模型的输入是GIS设备的融合图像。假设融合图像的大小是256x256，有三个颜色通道(红、绿、蓝)，那么输入的形状就是(256,256,3)。
卷积层202：使用卷积层对输入的融合图像进行处理。这个卷积层有32个滤波器，滤波器的大小是3x3，步长为1，使用ReLU激活函数。这个卷积层可以提取图像的局部特征。
最大池化层203：使用最大池化层对卷积层的输出进行降维。这个最大池化层的池化窗口的大小是2x2，步长为2。这个最大池化层可以减少计算量，并且可以增加模型的平移不变性。
全连接层204：使用全连接层对最大池化层的输出进行处理。这个全连接层有128个节点，使用ReLU激活函数。这个全连接层可以处理全局的信息。
解码层205：最后，使用反卷积层和反最大池化层构成的解码层来对全连接层的输出进行解码。反卷积层的参数与前面的卷积层相对应，反最大池化层的参数与前面的最大池化层相对应。这些解码层可以将编码的结果还原为原始的图像大小。
输出层206：模型的输出是重构的图像。这个重构的图像的大小与输入的图像的大小相同，即(256,256,3)。在输出层，通常使用Sigmoid函数将像素值压缩到0和1之间。
针对所述自编码器模型的训练数据，可以从正常运行的GIS设备的融合图像中挑选出一部分作为训练数据。在挑选训练数据时，应该尽量选择那些能代表设备正常运行状态的图像，例如，可以选择设备在不同环境下、不同时间点下的图像。
针对所述自编码器模型的训练方式，可以使用均方误差作为损失函数，使得模型在训练过程中尽量让重构的图像与原图像尽可能接近。为了提高模型的泛化能力，还可以在训练过程中增加一些正则化项，例如，可以增加一个稀疏正则化项，使得模型的编码结果尽可能稀疏。
在训练完模型后，可以用它来对新的融合图像进行编码和解码，获得重构图像。然后，可以计算新的融合图像和重构图像之间的误差。如果误差大于一个阈值，就可以认为这个图像可能包含异常。
进而，在将所述新的融合图像判断为包含异常之后，向所述GIS设备的管理人员发出预警信息。
本实施例中，GIS设备监控系统还可以用来检测GIS设备的封闭性。GIS设备监控系统还包括超声波信号接收单元、超声波传感器以及超声波控制单元；所述超声波传感器固定在GIS设备的外壳上，该超声波传感器在所述超声波控制单元的控制下可以发送穿透GIS设备的外壳进入设备内部的超声波，并接收反射回来的信号，接收到的信号被发送到所述超声波信号接收单元；所述超声波信号接收单元将接收到的信号转换为数字形式并发送至处理器；所述处理器中使用信号处理算法对所述超声波信号接收单元发送的信号进行处理，生成超声波图像，进而对所述超声波图像进行分析，检测GIS设备的泄漏源。
下面对于所述声波控制单元对于超声波传感器的控制机制进行详细说明。
在监测热成像图像时，可以先为GIS设备的各部分设定正常工作温度的范围。然后，对于每个像素i，计算其在所有频率带j上的平均温度T_t(i)，并与预设的阈值进行比较。例如，如果T_t(i)超过了设定的上限或低于下限，那么就认为这个像素位置可能存在异常。
这个温度异常检测函数可以表示为：
A_t(i)＝1if T_t(i)>T_upper or T_t(i)<T_lower,else 0
其中，T_upper和T_lower分别表示温度的上限和下限，A_t(i)表示在位置i是否检测到温度异常。
对于可见光图像，可以计算每个像素的颜色或亮度的变化率。例如，可以首先计算图像在时间t和t-1时的像素值I_v(i,t)和I_v(i,t-1)，然后计算其变化率R(i,t)。
变化率可以定义为：
R(i,t)＝abs(I_v(i,t)-I_v(i,t-1))/I_v(i,t-1)
然后，如果R(i,t)超过了设定的阈值，那么就认为这个像素位置可能存在异常。
外观异常检测函数可以表示为：
A_v(i,t)＝1if R(i,t)>R_threshold,else 0
其中，R_threshold表示变化率的阈值，A_v(i,t)表示在时间t和位置i是否检测到外观变化异常。
本实施例提供的GIS设备异常判定，考虑包括更多的变量，例如异常的持续时间、历史异常记录、设备的重要性以及工作环境等。
异常的持续时间：如果一个异常在连续几个时间步长中都存在，那么它可能比一次性的异常更严重。可以定义一个函数D(i,t)，表示在位置i从时间t开始，连续检测到异常的时间步长。
历史异常记录：如果一个位置i在过去的时间段内频繁出现异常，那么也需要引起注意。可以定义一个函数H(i,t)，表示在时间t以前的一段时间内，位置i检测到异常的频率。
设备的重要性：对于重要的设备，可能需要更严格的异常判定。可以定义一个变量S(i)，表示位置i对应的设备的重要性。
工作环境是指GIS设备操作和工作的实际环境。它可以包括各种因素，比如温度、湿度、气压、噪声等。不同的工作环境可能会对GIS设备的运行产生影响，因此在对设备进行监控和异常检测时，需要考虑到工作环境的因素。
例如，如果一个GIS设备是在高温环境中运行的，那么设备的正常工作温度可能会比在常温环境下要高。如果使用常温环境下的温度阈值来判断设备是否正常，那么可能会产生误判，因为在高温环境下，设备的工作温度自然就会高一些。因此，在高温环境下，可能需要提高温度的阈值，以适应实际的工作环境。
在这个实施例中，定义了一个变量E(t)，它代表在时间t的工作环境。具体来说，这个变量可以是一个表示温度、湿度等环境因素的数值，也可以是一个包含多个环境因素的向量。在进行异常检测时，可以将E(t)作为一个输入，根据它来调整温度或其他的阈值，从而更准确地判断设备是否正常。
然后，可以将上述变量结合起来，定义一个GIS设备异常值A(i,t)判定公式：
A(i,t)＝W_1*A_t(i)+W_2*A_v(i,t)+W_3*D(i,t)+W_4*H(i,t)+W_5*S(i)+W_6*E(t)
其中，W_1到W_6是权重系数，可以通过实验进行优化。
最后，如果A(i,t)超过了设定的阈值，则所述处理器向所述超声波控制单元发出启动指令，所述超声波控制单元根据启动指令启动超声波传感器。
该超声波传感器启动后，可以发送穿透GIS设备的外壳进入设备内部的超声波，并接收反射回来的信号，接收到的信号被发送到所述超声波信号接收单元；所述超声波信号接收单元将接收到的信号转换为数字形式并发送至处理器；所述处理器中使用信号处理算法对所述超声波信号接收单元发送的信号进行处理，生成超声波图像，进而对所述超声波图像进行分析，检测GIS设备的泄漏源。
在对生成的超声波图像进行分析的过程中，通常会进行以下几个步骤：
(1)图像预处理：首先，可能需要对图像进行一些预处理操作，以改善图像的质量并准备进行后续的分析。这可能包括滤波去噪(例如，中值滤波器或高斯滤波器)以减少图像中的随机噪声，对比度增强以提高图像的可见度，以及可能的一些其他操作。
(2)特征检测和提取：在图像预处理之后，需要对图像进行特征检测和提取。边缘检测，如Sobel、Canny或Laplacian方法，有助于找出图像中的边界和轮廓，这些通常是对象和背景之间的显著区别。在超声波图像中，泄漏源可能会表现为不寻常的图像模式，这些模式可以被识别为边缘。还可以通过其他特征提取方法，如HOG(Histogram of OrientedGradients)或SIFT(Scale-Invariant Feature Transform)等来捕获图像的形状、纹理等信息。
(3)特征向量构建：提取的特征需要被转换为一个特征向量，以便于机器学习模型处理。特征向量可能包括边缘的数量、方向、长度、强度等信息，以及其他可能的图像特征。在构建特征向量时，需要确保所有的图像都有一个固定长度的特征向量，这可能需要进行一些标准化或者维度缩减的操作。
(4)机器学习模型训练和应用：有了特征向量，就可以训练一个机器学习模型来识别泄漏源。根据问题的性质，可以使用监督学习的分类模型，如支持向量机(SVM)或神经网络，也可以使用无监督学习的聚类模型，如K-means或者DBSCAN。这个模型需要在一个包含正常和泄漏条件的训练集上进行训练，然后在新的图像上应用，以识别和定位可能的泄漏源。
(5)评估和优化：最后，需要评估模型的性能，并进行必要的优化。这可能包括使用交叉验证来调整模型的参数，或者使用不同的特征、不同的预处理方法或不同的模型来改进性能。此外，还可以使用混淆矩阵、ROC曲线、精确度、召回率等度量标准来量化模型的性能。
上述过程可能需要反复迭代和试验，直到找到满足需求的最佳方法和模型。
这个方案的主要优点是，通过智能的图像分析和条件判断，可以有效地降低不必要的超声波检测，从而节省能源并延长超声波传感器的使用寿命。同时，也可以提高泄漏检测的准确性和及时性。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (10)

1.一种GIS设备监控系统，其特征在于，包括：
双模摄像头，包括热成像传感器和可见光传感器，所述热成像传感器和可见光传感器以同步的方式监控GIS设备，并且具有稳定的相对位置；
处理器，运行用于图像融合的算法，该算法接收由热成像传感器和可见光传感器生成的不同图像，并通过以下步骤进行图像融合：
对接收到的可见光图像和热成像图像进行小波变换，生成多个频率带的分量；
对于每个小波变换的分量，定义评分函数来度量分量的重要性，该评分函数公式为：
F_v(i,j)＝W1*abs(I_v(i,j))，以及
F_t(i,j)＝W2*abs(I_t(i,j))+W3*abs(H(i)-T_t(i,j))，其中，F_v和F_t分别代表在像素位置i和频率带j上，可见光图像和热成像图像的评分，I_v(i,j)和I_t(i,j)分别表示可见光图像和热成像图像在该频率带上的小波分量，H(i)表示预期的热分布在位置i处的温度，T_t(i,j)表示热成像图像在位置i处的温度估计，W1,W2,W3是权重系数；
对每个像素位置i和频率带j，比较F_v(i,j)和F_t(i,j)的大小，如果F_v(i,j)>F_t(i,j)，则选择可见光图像的小波变换分量进行融合，否则，选择热成像图像的小波变换分量进行融合；
通过逆小波变换将融合后的图像从频率空间转换回到空间域，得到最终的融合图像。
2.根据权利要求1所述的GIS设备监控系统，其特征在于，所述热成像传感器工作在长波红外范围内，以获得较好的温度灵敏度和空间分辨率。
3.根据权利要求1所述的GIS设备监控系统，其特征在于，所述双模摄像头还包括同步控制器，用于控制两个传感器的工作，使它们能够在同一时间捕捉到同一物体的两种图像。
4.根据权利要求1所述的GIS设备监控系统，其特征在于，还包括超声波信号接收单元、超声波传感器以及超声波控制单元；
所述超声波传感器固定在GIS设备的外壳上，该超声波传感器在所述超声波控制单元的控制下发送穿透GIS设备的外壳进入设备内部的超声波，并接收反射回来的信号，接收到的信号被发送到所述超声波信号接收单元；
所述超声波信号接收单元将接收到的信号转换为数字形式并发送至处理器；
所述处理器中使用信号处理算法对所述超声波信号接收单元发送的信号进行处理，生成超声波图像，进而对所述超声波图像进行分析，检测GIS设备的泄漏源。
5.根据权利要求4所述的GIS设备监控系统，其特征在于，所述处理器通过计算热成像图像中每个像素在所有频率带上的平均温度，并与预设的温度阈值进行比较来检测温度异常。
6.根据权利要求5所述的GIS设备监控系统，其特征在于，所述处理器通过计算可见光图像中每个像素的颜色或亮度的变化率来检测外观变化异常。
7.根据权利要求6所述的GIS设备监控系统，其特征在于，所述处理器运行如下的异常判定公式，获得GIS设备的运行异常值A(i,t)：
A(i,t)＝W_1*A_t(i)+W_2*A_v(i,t)+W_3*D(i,t)+W_4*H(i,t)+W_5*S(i)+W_6*E(t)，其中W_1到W_6是权重系数，A_t(i)像素i的温度异常值，A_v(i,t)为外观变化异常值，函数D(i,t)表示在位置i从时间t开始，连续检测到异常的时间步长，H(i,t)表示在时间t以前的一段时间内，位置i检测到异常的频率，S(i)表示位置i对应的设备的重要性，E(t)表示在时间t的工作环境；
所述处理器进而判断A(i,t)是否超过了设定的阈值，若是，则所述处理器向所述超声波控制单元发出启动指令，所述超声波控制单元根据启动指令启动超声波传感器。
8.根据权利要求1所述的GIS设备监控系统，其特征在于，还包括自编码器模型，该模型接收从双模摄像头生成的融合图像作为输入，其中输入层接收大小为(256，256，3)的图像，然后通过卷积层和最大池化层进行特征提取和尺寸降维，之后通过全连接层将图像编码为一个低维编码，最后，通过反卷积层和反最大池化层组成的解码层将编码解码为重构图像，该重构图像作为模型的输出，输出层使用Sigmoid函数将像素值压缩到0和1之间。
9.根据权利要求8所述的GIS设备监控系统，其特征在于，还包括异常检测模块，该模块接收第一融合图像和该第一融合图像经过所述自编码器模型处理后的重构图像作为输入，计算二者之间的差异，如果这个差异超过了预设的阈值，则将所述第一融合图像判断为包含异常。
10.根据权利要求9所述的GIS设备监控系统，其特征在于，在将所述第一融合图像判断为包含异常之后，异常检测模块向所述GIS设备的管理人员发出预警信息。
CN202311298167.6A 2023-10-09 2023-10-09 一种gis设备监控系统 Active CN117336573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311298167.6A CN117336573B (zh) 2023-10-09 2023-10-09 一种gis设备监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311298167.6A CN117336573B (zh) 2023-10-09 2023-10-09 一种gis设备监控系统

Publications (2)

Publication Number Publication Date
CN117336573A CN117336573A (zh) 2024-01-02
CN117336573B true CN117336573B (zh) 2024-07-02

Family

ID=89278729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311298167.6A Active CN117336573B (zh) 2023-10-09 2023-10-09 一种gis设备监控系统

Country Status (1)

Country Link
CN (1) CN117336573B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
CN108898569A (zh) * 2018-05-31 2018-11-27 安徽大学 一种针对于可见光和红外遥感影像的融合方法及其融合结果评价方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015536A1 (en) * 2000-04-24 2002-02-07 Warren Penny G. Apparatus and method for color image fusion
CN114742740A (zh) * 2022-03-22 2022-07-12 武汉智谱科技有限公司 一种多光谱图像融合双目光波导显示智能数字孪生眼镜
CN116343330A (zh) * 2023-03-07 2023-06-27 云南电网有限责任公司玉溪供电局 一种红外-可见光图像融合的异常行为识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830819A (zh) * 2018-05-23 2018-11-16 青柠优视科技（北京）有限公司 一种深度图像与红外图像的图像融合方法及装置
CN108898569A (zh) * 2018-05-31 2018-11-27 安徽大学 一种针对于可见光和红外遥感影像的融合方法及其融合结果评价方法

Also Published As

Publication number Publication date
CN117336573A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
EP1862941B1 (en) Method and apparatus for identifying properties of an object detected by a video surveillance camera
CN107767374B (zh) 一种gis盆式绝缘子内部导体局部过热智能诊断方法
CN105184779B (zh) 一种基于快速特征金字塔的车辆多尺度跟踪方法
CN105205818A (zh) 一种电气设备红外图像和可见光图像配准的方法
Liu et al. A night pavement crack detection method based on image‐to‐image translation
KR102478499B1 (ko) 공정 제어 방법 및 공정 제어 장치
Lile et al. Anomaly detection in thermal images using deep neural networks
KR102476048B1 (ko) 공정의 이상 여부를 감지하는 방법 및 공정의 이상 여부를 감지하는 장치
CN111199523A (zh) 电力设备识别方法、装置、计算机设备和存储介质
KR102477088B1 (ko) 검사 영역 조정 방법 및 검사 영역 조정 장치
CN115605746A (zh) 检查装置、单元选择装置、检查方法以及检查程序
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
EP3751245A1 (en) Smart sensor measurement system
CN117671396A (zh) 施工进度的智能监控预警系统及方法
KR102096576B1 (ko) 영상 합성 방법 및 장치
CN117336573B (zh) 一种gis设备监控系统
Skladchykov et al. Application of YOLOX deep learning model for automated object detection on thermograms
WO2022072875A1 (en) Systems and methods for smart boiling control
Shao et al. Hyper RPCA: joint maximum correntropy criterion and Laplacian scale mixture modeling on-the-fly for moving object detection
JP7372391B2 (ja) 入力データにおける異常を検知するための概念
CN115035466A (zh) 一种用于安全监视的红外全景雷达系统
Yumang et al. IoT-Based Monitoring of Temperature and Humidity Using Infrared Thermography for Cryptocurrency Mining Room
KR102477085B1 (ko) 공정의 모션 감지 방법 및 공정의 모션 감지 장치
Sathyan et al. Infrared Thermal Image Enhancement in Cold Spot Detection of Condenser Air Ingress.
KR102575675B1 (ko) 초분광 이미징 기반의 상수도 시설물 감시 분석 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant