CN116503347A - 电力系统渗漏油检测、模型训练方法、装置和计算机设备 - Google Patents

电力系统渗漏油检测、模型训练方法、装置和计算机设备 Download PDF

Info

Publication number
CN116503347A
CN116503347A CN202310450728.3A CN202310450728A CN116503347A CN 116503347 A CN116503347 A CN 116503347A CN 202310450728 A CN202310450728 A CN 202310450728A CN 116503347 A CN116503347 A CN 116503347A
Authority
CN
China
Prior art keywords
image set
polarized
visible light
fused
power system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310450728.3A
Other languages
English (en)
Inventor
高圣溥
饶竹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Power Supply Bureau Co Ltd
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN202310450728.3A priority Critical patent/CN116503347A/zh
Publication of CN116503347A publication Critical patent/CN116503347A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Examining Or Testing Airtightness (AREA)

Abstract

本申请涉及一种电力系统渗漏油检测、模型训练方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取渗漏油区域的偏振图像集和可见光图像集；对偏振图像集和可见光图像集进行标注，获得标注图像集；对偏振图像集进行转换，获取偏振度图像集和偏振角图像集；将偏振度图像集、偏振角图像集和可见光图像集输入编码‑解码模型，获取融合偏振图像集；将融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型。采用本方法能够训练出具有较好检测性能的模型，从而实现渗漏油区域的高效检测。

Description

电力系统渗漏油检测、模型训练方法、装置和计算机设备
技术领域
本申请涉及电力系统渗漏油区域检测领域，特别是涉及一种电力系统渗漏油检测、模型训练方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
电力系统中绝大部分器件都是充油设备，充油设备中的油称为变压器油，其具有多方面的重要作用。但由于长时间设备的老化，渗漏油的问题会严重影响电力设备的正常工作，甚至对设备造成损害。
然而，传统方法多直接对渗漏油图像或视频进行处理，准确性还不够高，加上变电站整体环境比较复杂，背景干扰比较严重，遭遇阴影乃至夜间等条件准确性就会大打折扣。
发明内容
基于此，有必要针对上述技术问题，提供一种能够轻易区分渗漏油与背景、提升检测性能的电力系统渗漏油检测、模型训练方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面，本申请提供了一种电力系统渗漏油检测模型的训练方法。该方法包括：
获取渗漏油区域的偏振图像集和可见光图像集；
对偏振图像集和可见光图像集进行标注，获得标注图像集；
对偏振图像集进行转换，获取偏振度图像集和偏振角图像集；
将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型，获取融合偏振图像集；
将融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型。
在一个实施例中，将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型，获取融合偏振图像集包括：
将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型；
对编码-解码模型进行训练，获得目标融合模型；目标融合模型包括编码器网络和解码器网络；
将偏振度图像集、偏振角图像集和可见光图像集输入编码器网络，获取偏振度图像集、偏振角图像集和可见光图像集相应的特征向量；
将特征向量进行融合，获取融合后的特征向量；
将融合后的特征向量输入所述解码器网络中，生成融合偏振图像集。
在一个实施例中，将融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型包括：
将融合偏振图像集和标注图像集输入目标检测模型，对融合偏振图像集和标注图像集进行拼接；
根据拼接后的融合偏振图像集和标注图像集训练目标检测模型，生成电力系统渗漏油检测模型。
在一个实施例中，对编码-解码模型进行训练，获得目标融合模型还包括：
采用均方误差损失和结构相似度损失相结合的方式，对编码-解码模型的训练过程进行约束。
第二方面，本申请还提供了一种电力系统渗漏油检测方法，该方法使用如第一方面提供的电力系统渗漏油检测模型，该方法包括：
获取实时偏振图像集和实时可见光图像集；
将实时偏振图像集和实时可见光图像集输入电力系统渗漏油检测模型，获取渗漏油的位置信息。
第三方面，本申请还提供了一种电力系统渗漏油检测模型的训练装置。该装置包括：
图像获取模块，用于获取渗漏油区域的偏振图像集和可见光图像集；
图像标注模块，用于对偏振图像集和可见光图像集进行标注，获得标注图像集；
图像转换模块，用于对偏振图像集进行转换，获取偏振度图像集和偏振角图像集；
图像融合模块，用于将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型，获取融合偏振图像集；
模型生成模块，用于将融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型。
第四方面，本申请还提供了一种电力系统渗漏油检测装置，该装置包括：
实时图像获取模块，用于获取实时偏振图像集和实时可见光图像集；
信息获取模块，用于将实时偏振图像集和实时可见光图像集输入电力系统渗漏油检测模型，获取渗漏油的位置信息。
第五方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的电力系统渗漏油检测模型的训练方法的步骤；或者，实现上述的电力系统渗漏油检测方法的步骤。
第六方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的电力系统渗漏油检测模型的训练方法的步骤；或者，实现上述的电力系统渗漏油检测方法的步骤。
第七方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的电力系统渗漏油检测模型的训练方法的步骤；或者，实现上述的电力系统渗漏油检测方法的步骤。
上述电力系统渗漏油检测、模型训练方法、装置、计算机设备、存储介质和计算机程序产品，获取渗漏油区域的偏振图像集和可见光图像集，其中采用偏振成像的方式能够对渗漏油区域以及周围背景区域进行区分。对偏振图像集和可见光图像集进行标注，获得标注图像集，再对偏振图像集进行转换，获取偏振度图像集和偏振角图像集，从而充分利用偏振度图像和偏振角图像包含的信息。将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型，获取融合偏振图像集，将偏振度图像、偏振角图像和可见光图像进行融合，结合了多模块的信息，实现了优势互补，更好地突出渗漏油目标区域的特征。将融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型，通过Transformer(一种利用注意力机制来提高模型训练速度的模型)的网络结构实现图像融合，重点发掘了图像非局部的特征信息，弥补了传统方法在非局部特征提取方面的缺失。
附图说明
图1为一个实施例中电力系统渗漏油检测模型的训练方法的流程示意图；
图2为一个实施例中电力系统渗漏油检测方法的方案流程图；
图3为另一个实施例中电力系统渗漏油检测方法的流程示意图；
图4为一个实施例中电力系统渗漏油检测模型的训练装置的装置示意图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
电力系统中绝大部分器件都是充油设备，充油设备中的油称为变压器油，具有多方面的重要作用。但由于长时间设备的老化，渗漏油的问题会严重影响电力设备的正常工作，甚至对设备造成损害。目前渗漏油的排查工作主要依靠人工巡检，流程繁琐，操作危险，巡检效率低下。
随着智能电网的推动，电力系统正经历从“安全监控化”到“监控智能化”的转变，采用人工智能的手段对监控视频进行分析，可以极大地提升巡检的效率以及准确性。然而，目前方法多直接对渗漏油图像或视频进行处理，准确性还不够高，加上变电站整体环境比较复杂，背景干扰比较严重，遭遇阴影乃至夜间等条件准确性就会大打折扣。
当前偏振成像已经广泛应用于水下探测、遥感探测等众多领域。偏振作为光的一种属性，可以获取物体表面的深层次的细节特征。光波照射到物体表面后偏振态会随之改变，受到物体表面特性的影响，所反射出来的光的偏振态也不同。因此，采用偏振成像可以轻易地区分渗漏油与周围环境的背景，极大地提升检测的性能。
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种电力系统渗漏油检测模型的训练方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取渗漏油区域的偏振图像集和可见光图像集。
其中，采用偏振相机和RGB相机在变电站环境下采集渗漏油区域的图像，通过偏振相机采集的图像即为偏振图像集，通过RGB相机采集的图像即为可见光图像集。可选地，偏振图像集和可见光图像集的内容还包括渗漏油区域的视频。进一步地，将偏振图像集和可见光图像集进行简单的配准，构建偏振-可见光数据集，其中偏振-可见光数据集中至少包括1000组图像。
步骤104，对偏振图像集和可见光图像集进行标注，获得标注图像集。
在其中一个实施例中，使用标注软件对偏振-可见光数据集中每一个场景中的渗漏油区域进行矩形框的标注，获得标注图像集。本实施例中选用labelme标注软件进行标注。
步骤106，对偏振图像集进行转换，获取偏振度图像集和偏振角图像集。
在其中一个实施例中，采用斯托克斯矢量公式对偏振图像集进行转换，其中偏振图像集包括不同场景获取到的四幅偏振角度图像，获得每一个场景对应的偏振度图像和偏振角图像，进而获取偏振度图像集和偏振角图像集。
具体地，为了更好地表征偏振特性，采用斯托克斯矢量stokes来描述光波的偏振态信息。斯托克斯矢量如公式(1)所示：
stokes＝(I,Q,U,V)T#(1)
其中I代表光强，Q代表水平和垂直线偏振方向辐射强度差，U代表对角线方向辐射强度差，V表示右旋圆偏振光强与左旋圆偏振光强之差，由于大气散射中的圆偏振光分量很少，一般V不予考虑。
进一步地，采用偏振相机拍摄场景图像获取的四幅图像为0°，45°，90°，135°四个角度的偏振图像，通过一定的换算关系，可以将斯托克斯矢量表示为公式(2)：
其中，I0表示偏振角为0°时偏振光的光强，I45表示偏振角为45°时偏振光的光强，I90表示偏振角为90°时偏振光的光强，I135表示偏振角为135°时偏振光的光强。
进一步地，可以解算得到常见偏振特征量偏振度图像以及偏振角图像，如公式(3)所示：
其中DOLP为偏振度图像，AOP为偏振角图像，Q代表水平和垂直线偏振方向辐射强度差，U代表对角线方向辐射强度差。
步骤108，将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型，获取融合偏振图像集。
具体地，将可见光图像、偏振度图像以及偏振角图像采用Transformer网络结构搭建的目标融合模型实现图像融合，获取融合偏振图像集。其中，可见光图像集包括RGB图像集。
步骤110，将融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型。
在其中一个实施例中，采用Yolov5目标检测模型对融合偏振图像集进行渗漏油区域目标的训练，将融合偏振图像集和标注图像集输入Yolov5目标检测模型，生成电力系统渗漏油检测模型。
上述电力系统渗漏油检测模型的训练方法中，获取渗漏油区域的偏振图像集和可见光图像集，对偏振图像集和可见光图像集进行标注，获得标注图像集，从而将偏振成像引入对渗漏油区域的检测，由于渗漏油表面特性与周围背景表面特性的不同，偏振成像可以轻易地区分渗漏油与背景，提升检测性能。对偏振图像集进行转换，获取偏振度图像集和偏振角图像集，这一步将拍摄获取的不同偏振角度图像采用斯托克斯矢量计算，从而得到对应场景的偏振度图像以及偏振角图像，将偏振度图像和偏振角图像与可见光图像进行融合，实现多模态信息特征的互补。将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型，获取融合偏振图像集，将融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型，采用Transformer的结构对待融合图像进行特征提取，弥补传统方法中在非局部特征提取方面的缺失，获得具有较好检测性能的网络模型。
在一个实施例中，将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型，获取融合偏振图像集包括：
将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型；对编码-解码模型进行训练，获得目标融合模型；目标融合模型包括编码器网络和解码器网络；将偏振度图像集、偏振角图像集和可见光图像集输入所述编码器网络，获取偏振度图像集、偏振角图像集和可见光图像集相应的特征向量；将特征向量进行融合，获取融合后的特征向量；将融合后的特征向量输入解码器网络中，生成融合偏振图像集。
在其中一个实施例中，融合模型的输入图像是偏振度图像集、偏振角图像集和可见光图像集，在训练阶段，输入的图像为数据集中的多源图像。其中，融合模型包括融合自编码器网络。数据集中的多源图像即为偏振度图像集、偏振角图像集和可见光图像集。本实施例中采用Transformer模型中的encoder(编码器)层和decoder(译码器)层作为融合模型的编码以及解码结构。
在其中一个实施例中，融合模型包括三个组成部分：编码器、融合策略以及解码器。在融合模型的训练阶段，暂时不引入融合策略，将偏振-可见光数据集生成的大量偏振度图像、偏振角图像以及可见光图像输入进搭建好的编码-解码模型中，经过训练，获得目标融合模型。其中，目标融合模型包括编码器网络和解码器网络，可见光图像包括RGB图像。
在测试阶段，在获取对应场景的三幅图像，即偏振度图像、偏振角图像、RGB图像后，将三者送进预训练好的编码器网络中，获得三个不同的特征向量，按照公式(4)采用简单的叠加平均的操作，得到融合后的特征向量。
其中，表示融合后的特征向量，/>表示RGB图像的特征向量，/>表示偏振度图像的特征向量，/>表示偏振角图像的特征向量。
将融合后的特征向量输入解码器网络中，生成融合后的图像，进而生成融合偏振图像集。
本实施例中，将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型，对编码-解码模型进行训练，获得目标融合模型，其中目标融合模型包括编码器网络和解码器网络。通过训练目标融合模型，为获取融合偏振图像做准备。将偏振度图像集、偏振角图像集和可见光图像集输入编码器网络，获取偏振度图像集、偏振角图像集和可见光图像集相应的特征向量，将特征向量进行融合，获取融合后的特征向量。将偏振度图像集、偏振角图像集和可见光图像集进行融合，从而实现多模态信息特征的互补。将融合后的特征向量输入解码器网络中，生成融合偏振图像集。由于目前基于深度学习的图像融合算法大都基于卷积神经网络搭建的自编码器学习图像的显著性特征以及细节特征，随着Transformer在计算机视觉领域的不断深入，大量视觉任务都证实了Transformer在视觉领域的优势。本实施例中采用Transformer的结构对待融合图像进行特征提取，弥补传统方法在非局部特征提取方面的缺失。
在一个实施例中，将融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型包括：
将融合偏振图像集和标注图像集输入目标检测模型，对融合偏振图像集和标注图像集进行拼接；根据拼接后的融合偏振图像集和标注图像集训练目标检测模型，生成电力系统渗漏油检测模型。
在其中一个实施例中，采用融合偏振图像集进行检测算法的训练。在训练阶段，将labelme标注好的标注图像集与融合偏振图像代入目标检测模型。具体地，目标检测模型包括Yolov5模型。在模型的输入部分采用了Mosaic(马赛克)数据增强的方式。将用于训练的融合偏振图像集和标注图像集采取随机缩放、随机裁剪、随机排布的方式进行拼接后输送进网络。
进一步地，Yolov5模型在主干网络部分使用了CSPNet(Cross Stage PartialNetwork，跨阶段局部网络)，基于Densenet(Densely Connected ConvolutionalNetworks，密集连接卷积网络)的思想，复制基础层的特征图，通过卷积操作送到下一个阶段。模型最后的Neck(颈)部分采用了FPN(Feature Pyramid Networks，特征金字塔)和PAN(Path Aggregation Network，路径聚合网络)的结构。其中，FPN是自顶向下，将高层的强语义特征传递下来，对整个特征金字塔进行增强，不过只增强了语义信息，对定位信息没有传递。PAN针对这一点，在FPN的后面添加一个自底向上的金字塔，对FPN补充，将低层的强定位特征传递上去。在输出段采用CIOU_Loss做Bounding box(边界框)的损失函数，并结合了加权NMS(Non maximum suppression，非极大抑制)的方式实现目标框的选取和预测，其中目标框的选取和预测即为获取渗漏油区域的位置信息。
本实施例中，将融合偏振图像集和标注图像集输入目标检测模型，对融合偏振图像集和标注图像集进行拼接，根据拼接后的融合偏振图像集和标注图像集训练目标检测模型，生成电力系统渗漏油检测模型。通过Yolov5目标检测模型对融合偏振图像集和标注图像集进行渗漏油区域目标的训练，从而获得具有较好检测性能的电力系统渗漏油检测模型，进而实现渗漏油区域检测的目的。其中模型在主干网络部分使用了CSPNet，基于Densenet的思想，复制基础层的特征图，通过卷积操作送到下一个阶段，这样可以有效缓解梯度消失问题，鼓励网络重复使用特征，从而减少网络参数数量。
在一个实施例中，对编码-解码模型进行训练，获得目标融合模型还包括：
采用均方误差损失和结构相似度损失相结合的方式，对编码-解码模型的训练过程进行约束。
具体地，在训练阶段，暂时不引入融合策略，将数据集生成的大量偏振度图像、偏振角图像以及可见光图像输入进搭建好的编码-解码模型中，并采用MSE(Mean SquareError，均方误差)损失和结构相似度损失相结合的方式，对训练过程进行约束。
在一个实施例中，提供一种电力系统渗漏油检测方法，该方法使用电力系统渗漏油检测模型，具体包括：
获取实时偏振图像集和实时可见光图像集；
将实时偏振图像集和实时可见光图像集输入电力系统渗漏油检测模型，获取渗漏油的位置信息。
具体地，在监测推理阶段，通过摄像头拍摄获取实时偏振图像集和实时可见光图像集，调用电力系统渗漏油检测模型，并将实时偏振图像集和实时可见光图像集输入电力系统渗漏油检测模型，获取渗漏油的位置信息。
在一个实施例中，如图2所示，提供一种电力系统渗漏油检测方法的方案流程图。首先采用偏振相机和RGB相机在变电站环境下采集渗漏油区域的图像，即偏振图像集和可见光图像集。其中，将偏振图像集中的四通道偏振图像通过斯托克斯矢量公式转换为偏振度图像集和偏振角图像集。具体地，四通道偏振图像包括0°、45°、90°、135°四个角度的偏振图像。将偏振度图像集、偏振角图像集和可见光图像集输入Transformer编码器网络，获取偏振度图像集、偏振角图像集和可见光图像集相应的特征向量，将特征向量进行融合，获取融合后的特征向量，将融合后的特征向量输入Transformer解码器网络中，生成融合偏振图像集。将融合偏振图像集和标注图像集输入目标检测模型，对融合偏振图像集和标注图像集进行拼接，根据拼接后的融合偏振图像集和标注图像集训练Yolov5检测模型，生成电力系统渗漏油检测模型。再获取实时偏振图像集和实时可见光图像集并输入电力系统渗漏油检测模型，从而实现对渗漏油区域的检测。
在另一个实施例中，如图3所示，提供一种电力系统渗漏油检测方法的流程示意图。
步骤302，获取渗漏油区域的偏振图像集和可见光图像集。
步骤304，对偏振图像集和可见光图像集进行标注，获得标注图像集。
步骤306，对偏振图像集进行转换，获取偏振度图像集和偏振角图像集。
步骤308，将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型。
步骤310，对编码-解码模型进行训练，获得目标融合模型；目标融合模型包括编码器网络和解码器网络。
步骤312，采用均方误差损失和结构相似度损失相结合的方式，对编码-解码模型的训练过程进行约束。
步骤314，将偏振度图像集、偏振角图像集和可见光图像集输入编码器网络，获取偏振度图像集、偏振角图像集和可见光图像集相应的特征向量。
步骤316，将特征向量进行融合，获取融合后的特征向量。
步骤318，将融合后的特征向量输入解码器网络中，生成融合偏振图像集。
步骤320，将融合偏振图像集和标注图像集输入目标检测模型，对融合偏振图像集和标注图像集进行拼接。
步骤322，根据拼接后的融合偏振图像集和标注图像集训练目标检测模型，生成电力系统渗漏油检测模型。
步骤324，获取实时偏振图像集和实时可见光图像集。
步骤326，将实时偏振图像集和实时可见光图像集输入电力系统渗漏油检测模型，获取渗漏油的位置信息。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的电力系统渗漏油检测模型的训练方法的电力系统渗漏油检测模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个电力系统渗漏油检测模型的训练装置实施例中的具体限定可以参见上文中对于电力系统渗漏油检测模型的训练方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种电力系统渗漏油检测模型的训练装置，包括：图像获取模块402、图像标注模块404、图像转换模块406、图像融合模块408和模型生成模块410，其中：
图像获取模块402，用于获取渗漏油区域的偏振图像集和可见光图像集；
图像标注模块404，用于对偏振图像集和可见光图像集进行标注，获得标注图像集；
图像转换模块406，用于对偏振图像集进行转换，获取偏振度图像集和偏振角图像集；
图像融合模块408，用于将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型，获取融合偏振图像集；
模型生成模块410，用于将融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型。
在一个实施例中，该装置还包括：
图像集输入模块，用于将偏振度图像集、偏振角图像集和可见光图像集输入编码-解码模型。
目标融合模型获取模块，用于对编码-解码模型进行训练，获得目标融合模型；目标融合模型包括编码器网络和解码器网络。
特征向量获取模块，用于将偏振度图像集、偏振角图像集和可见光图像集输入编码器网络，获取偏振度图像集、偏振角图像集和可见光图像集相应的特征向量。
特征向量融合模块，用于将特征向量进行融合，获取融合后的特征向量。
融合偏振图像获取模块，用于将融合后的特征向量输入解码器网络中，生成融合偏振图像集。
在一个实施例中，该装置还包括：
图像集拼接模块，用于将融合偏振图像集和标注图像集输入目标检测模型，对融合偏振图像集和标注图像集进行拼接。
电力系统渗漏油检测模型生成模块，用于根据拼接后的融合偏振图像集和标注图像集训练目标检测模型，生成电力系统渗漏油检测模型。
在一个实施例中，该装置还包括：
训练约束模块，用于采用均方误差损失和结构相似度损失相结合的方式，对编码-解码模型的训练过程进行约束。
上述电力系统渗漏油检测模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电力系统渗漏油检测装置，包括：实时图像获取模块和信息获取模块，其中：
实时图像获取模块，用于获取实时偏振图像集和实时可见光图像集；
信息获取模块，用于将实时偏振图像集和实时可见光图像集输入电力系统渗漏油检测模型，获取渗漏油的位置信息。
上述电力系统渗漏油检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种电力系统渗漏油检测模型的训练方法和一种电力系统渗漏油检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种电力系统渗漏油检测模型的训练方法，其特征在于，所述方法包括：
获取渗漏油区域的偏振图像集和可见光图像集；
对偏振图像集和可见光图像集进行标注，获得标注图像集；
对所述偏振图像集进行转换，获取偏振度图像集和偏振角图像集；
将所述偏振度图像集、偏振角图像集和所述可见光图像集输入编码-解码模型，获取融合偏振图像集；
将所述融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型。
2.根据权利要求1所述的方法，其特征在于，所述将所述偏振度图像集、偏振角图像集和所述可见光图像集输入编码-解码模型，获取融合偏振图像集包括：
将所述偏振度图像集、偏振角图像集和所述可见光图像集输入编码-解码模型；
对所述编码-解码模型进行训练，获得目标融合模型；所述目标融合模型包括编码器网络和解码器网络；
将所述偏振度图像集、偏振角图像集和所述可见光图像集输入所述编码器网络，获取偏振度图像集、偏振角图像集和可见光图像集相应的特征向量；
将所述特征向量进行融合，获取融合后的特征向量；
将所述融合后的特征向量输入所述解码器网络中，生成融合偏振图像集。
3.根据权利要求1所述的方法，其特征在于，所述将所述融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型包括：
将所述融合偏振图像集和标注图像集输入目标检测模型，对所述融合偏振图像集和标注图像集进行拼接；
根据所述拼接后的融合偏振图像集和标注图像集训练目标检测模型，生成电力系统渗漏油检测模型。
4.根据权利要求2所述的方法，其特征在于，所述对所述编码-解码模型进行训练，获得目标融合模型还包括：
采用均方误差损失和结构相似度损失相结合的方式，对所述编码-解码模型的训练过程进行约束。
5.一种电力系统渗漏油检测方法，其特征在于，所述方法使用如权利要求1所述的电力系统渗漏油检测模型，所述方法包括：
获取实时偏振图像集和实时可见光图像集；
将所述实时偏振图像集和实时可见光图像集输入电力系统渗漏油检测模型，获取渗漏油的位置信息。
6.一种电力系统渗漏油检测模型的训练装置，其特征在于，所述装置包括：
图像获取模块，用于获取渗漏油区域的偏振图像集和可见光图像集；
图像标注模块，用于对偏振图像集和可见光图像集进行标注，获得标注图像集；
图像转换模块，用于对所述偏振图像集进行转换，获取偏振度图像集和偏振角图像集；
图像融合模块，用于将所述偏振度图像集、偏振角图像集和所述可见光图像集输入编码-解码模型，获取融合偏振图像集；
模型生成模块，用于将所述融合偏振图像集和标注图像集输入目标检测模型，生成电力系统渗漏油检测模型。
7.一种电力系统渗漏油检测装置，其特征在于，所述装置包括：
实时图像获取模块，用于获取实时偏振图像集和实时可见光图像集；
信息获取模块，用于将所述实时偏振图像集和实时可见光图像集输入电力系统渗漏油检测模型，获取渗漏油的位置信息。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202310450728.3A 2023-04-20 2023-04-20 电力系统渗漏油检测、模型训练方法、装置和计算机设备 Pending CN116503347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310450728.3A CN116503347A (zh) 2023-04-20 2023-04-20 电力系统渗漏油检测、模型训练方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310450728.3A CN116503347A (zh) 2023-04-20 2023-04-20 电力系统渗漏油检测、模型训练方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN116503347A true CN116503347A (zh) 2023-07-28

Family

ID=87329717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310450728.3A Pending CN116503347A (zh) 2023-04-20 2023-04-20 电力系统渗漏油检测、模型训练方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN116503347A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704316A (zh) * 2023-08-03 2023-09-05 四川金信石信息技术有限公司 基于阴影图像重构的变电站渗漏油检测方法、系统及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704316A (zh) * 2023-08-03 2023-09-05 四川金信石信息技术有限公司 基于阴影图像重构的变电站渗漏油检测方法、系统及介质

Similar Documents

Publication Publication Date Title
Zhao et al. Pyramid global context network for image dehazing
Zheng et al. Component identification and defect detection in transmission lines based on deep learning
CN114936605A (zh) 基于知识蒸馏的神经网络训练方法、设备及存储介质
CN116503347A (zh) 电力系统渗漏油检测、模型训练方法、装置和计算机设备
CN112036265A (zh) 道路施工进度跟踪方法、装置、设备及存储介质
CN115984226A (zh) 绝缘子缺陷检测方法、设备、介质及程序产品
CN108268138A (zh) 增强现实的处理方法、装置及电子设备
CN115564995A (zh) 一种退役新能源动力电池识别方法及系统
Chu et al. DBFGAN: Dual branch feature guided aggregation network for remote sensing image
Xie et al. GAGCN: Generative adversarial graph convolutional network for non‐homogeneous texture extension synthesis
CN116503761A (zh) 高压线路异物检测方法、模型训练方法和装置
Ma et al. Learning across views for stereo image completion
CN116051438A (zh) 图像融合方法及装置、计算机设备和可读存储介质
Liu et al. CMLocate: A cross‐modal automatic visual geo‐localization framework for a natural environment without GNSS information
CN114898221A (zh) 一种杆塔倾斜检测方法、装置、电子设备及介质
Wang et al. Depth estimation from a single-shot fringe pattern based on DD-Inceptionv2-UNet
Wang et al. Salient object detection with high‐level prior based on Bayesian fusion
Novozámský et al. Extended IMD2020: a large‐scale annotated dataset tailored for detecting manipulated images
Chan et al. Regional contextual information modeling for Small Object Detection on highways
Wang et al. Image quality improvement algorithm in the process of film shooting under digital imaging technology
Jiao et al. MTHI‐former: Multilevel attention for two‐handed reconstruction from RGB image
Shen et al. Deep multi‐level up‐projection network for single image super‐resolution
Tang et al. Towards Training-free Open-world Segmentation via Image Prompting Foundation Models
Xiong et al. Self‐supervised depth completion with multi‐view geometric constraints
CN116091778B (zh) 一种数据的语义分割处理方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination