CN112183311A - 一种基于双模态数据融合的变电站设备故障检测方法 - Google Patents

一种基于双模态数据融合的变电站设备故障检测方法 Download PDF

Info

Publication number
CN112183311A
CN112183311A CN202011026708.6A CN202011026708A CN112183311A CN 112183311 A CN112183311 A CN 112183311A CN 202011026708 A CN202011026708 A CN 202011026708A CN 112183311 A CN112183311 A CN 112183311A
Authority
CN
China
Prior art keywords
power equipment
bimodal
temperature
visible light
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011026708.6A
Other languages
English (en)
Inventor
颜楠楠
朱皇儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Shanghai Electric Power Co Ltd
Original Assignee
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Shanghai Electric Power Co Ltd filed Critical State Grid Shanghai Electric Power Co Ltd
Priority to CN202011026708.6A priority Critical patent/CN112183311A/zh
Publication of CN112183311A publication Critical patent/CN112183311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R35/00—Testing or calibrating of apparatus covered by the other groups of this subclass
    • G01R35/02—Testing or calibrating of apparatus covered by the other groups of this subclass of auxiliary devices, e.g. of instrument transformers according to prescribed transformation ratio, phase angle, or wattage rating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Power Engineering (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双模态数据融合的变电站设备故障检测方法，拍摄作业点的电力设备场景的可见光与温度图双模态图像；基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，使用多模态目标检测与实例分割模型对双模态数据中的电力设备进行自动识别，对实例分割后的电力设备图像，使用基于温度图的规则判定电力设备是否出现故障。本发明中双模态数据融合的变电站设备故障检测方法同时利用电力场景的可见光与温度图双模态，综合利用可见光的成像高清晰度与温度图的温度特性这一互补信息完成更为准确的实例分割，从而更为精确地识别出场景中的电力设备并基于此完成基于温度分析地故障检测。

Description

一种基于双模态数据融合的变电站设备故障检测方法
技术领域
本发明涉及变电设备故障巡检技术领域，具体为一种基于双模态数据融合的变电站设备故障检测方法。
背景技术
传统的电力设备故障检测往往采用人工的形式，需要消耗大量的人力和物力。随着人工智能的发展，基于巡检机器人和计算机视觉的自动电力设备故障检测算法开始发展。之前常用的自动故障检测方法通常采用单模态的检测方法，即基于红外光模态完成对电力设备的目标检测，再基于红外光检测的结果完成基于温度的故障检测。由于红外光成像相对模糊，分辨率较低，因此难以保障红外光目标检测的准确率，从而影响故障检测的性能。
为此我们提出一种基于双模态数据融合的变电站设备故障检测方法用于解决上述问题。
发明内容
本发明的目的在于提供一种基于双模态数据融合的变电站设备故障检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于双模态数据融合的变电站设备故障检测方法，包括以下步骤：
S1：数据输入，在巡检开始前，将作业数据预先输入至巡检机器人中，使得巡检机器人到达一个作业点；
S2：拍摄所述作业点的电力设备场景的可见光与温度图双模态图像；
S3：基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，并将对齐得到的双模态数据输入到多模态目标检测与实例分割模型中；
S4：使用训练完成的、基于中端融合的所述多模态目标检测与实例分割模型对所述双模态数据中的电力设备进行自动识别，具体为：
S4.1：将温度图和可见光图像分别输入到训练完成的对应模态的骨干网络中、并提取特征；
S4.2：将两个模态的各个尺度特征通过拼接的方式进行融合；
S4.3：将融合后的特征输入到推荐候选框生成、推荐候选框分类以及分割预测模块中，完成对双模态数据的电力设备图像实例分割；
S5：对实例分割后的电力设备图像，使用基于温度图的规则判定所述电力设备是否出现故障；
S6：返回当前场景的故障检测结果。
优选的，所述作业数据包括变电站地图、每个电力设备的名称编号列表以及每个作业点信息。
优选的，所述可见光与温度图双模态图像采用巡检机器人的可见光与温度图双摄像头拍摄。
优选的，所述基于温度图的规则判定所述电力设备是否出现故障的具体步骤为：
通过设定的规则对所述电力设备包含的像素点的温度值进行判定，
若所述电力设备中的像素点温度值与规则不相符，则判定所述电力设备为故障设备，并将电力设备的名称编号、故障信息反馈给系统。
与现有技术相比，本发明的有益效果是：本发明中双模态数据融合的变电站设备故障检测方法同时利用电力场景的可见光与温度图双模态，综合利用可见光的成像高清晰度与温度图的温度特性这一互补信息完成更为准确的实例分割，从而更为精确地识别出场景中的电力设备并基于此完成基于温度分析地故障检测，提升了自动故障检测阶段的准确率，使得最终的检测结果有更高的置信度。
附图说明
图1为本发明中检测方法流程示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于双模态数据融合的变电站设备故障检测方法，包括以下步骤：
S1：在巡检开始前，将变电站地图、每个电力设备的名称编号列表以及每个作业点信息预先输入至巡检机器人中，使得巡检机器人到达一个作业点；
S2：使用可见光与温度图双摄像头拍摄所述作业点的电力设备场景的可见光与温度图双模态图像；此步骤中通过巡检机器人上的双摄像头相机拍摄当前待检测场景的可见光与温度图双模态图像。由于两个模态的镜头的成像方式有所差异，拍摄得到的双模态图像往往是未能对齐的，这会影响后续的实例分割与故障检测结果。
S3：为了解决上述问题，本发明采用基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，具体方法是：
使用SIFT算法提取两个模态的图像的特征点，并通过粒子群优化算法(PSO)对两个模态的特征点进行匹配，从而得到两个模态的图像进行配准所需的仿射变换系数，最后通过所述仿射变换系数对两个模态的图像进行仿射变换，从而实现双模态图像的像素级对齐。
然后，将对齐得到的双模态数据输入到多模态目标检测与实例分割模型中；
S4：使用训练完成的、基于中端融合的所述多模态目标检测与实例分割模型对所述双模态数据中的电力设备进行自动识别，具体为：
S4.1：将温度图和可见光图像分别输入到训练完成的对应模态的骨干网络中、并提取特征；
S4.2：将两个模态的各个尺度特征通过拼接的方式进行融合；
S4.3：将融合后的特征输入到推荐候选框生成、推荐候选框分类以及分割预测模块中，完成对双模态数据的电力设备图像实例分割；
S5：对实例分割后的电力设备图像，使用基于温度图的规则判定所述电力设备是否出现故障，具体是：
通过设定的规则对所述电力设备包含的像素点的温度值进行判定，
若所述电力设备中的像素点温度值与规则不相符，则判定所述电力设备为故障设备，并将电力设备的名称编号、故障信息反馈给系统。
对于所述规则，例如为：对于电压互感器设备，统计该设备中全部像素点的温度最大值T与最小值t，若T-t<2，则判定该设备正常，反之则判定该设备为故障设备。对故障设备，用红色标识框将其进行标注，并同时记录故障设备的详细信息，如设备名称、拍摄时间、温度值、故障位置、故障判断规则。
S6：返回当前场景的故障检测结果。
本发明中公开的检测方法主要用于变电站的变电设备故障巡检，以识别变电站每个设备是否有故障。该方法首先使用巡检机器人上的可见光与温度图双模态摄像机拍摄当前电力场景的双模态图像，并使用基于PSO(粒子群优化算法)与SIFT的配准技术进行双模态图像的像素级自动对齐。随后，使用基于中端融合(特征级融合)的Mask R-CNN算法利用对齐的温度图与可见光数据对场景进行更为精确的设备目标价测与实力分割以识别出场景中的电力设备位置。最后对每个检测出的电力设备，按照设备类别指定对应的故障检测规则，并通过该设备的像素级温度信息判别该电力设备是否出现故障，以此完成电力设备的自动故障检测。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于双模态数据融合的变电站设备故障检测方法，其特征在于，包括以下步骤：
S1：数据输入，在巡检开始前，将作业数据预先输入至巡检机器人中，使得巡检机器人到达一个作业点；
S2：拍摄所述作业点的电力设备场景的可见光与温度图双模态图像；
S3：基于SIFT和PSO算法完成对可见光与温度图双模态图像的像素级对齐，并将对齐得到的双模态数据输入到多模态目标检测与实例分割模型中；
S4：使用训练完成的、基于中端融合的所述多模态目标检测与实例分割模型对所述双模态数据中的电力设备进行自动识别，具体为：
S4.1：将温度图和可见光图像分别输入到训练完成的对应模态的骨干网络中、并提取特征；
S4.2：将两个模态的各个尺度特征通过拼接的方式进行融合；
S4.3：将融合后的特征输入到推荐候选框生成、推荐候选框分类以及分割预测模块中，完成对双模态数据的电力设备图像实例分割；
S5：对实例分割后的电力设备图像，使用基于温度图的规则判定所述电力设备是否出现故障；
S6：返回当前场景的故障检测结果。
2.根据权利要求1所述的检测方法，其特征在于：所述作业数据包括变电站地图、每个电力设备的名称编号列表以及每个作业点信息。
3.根据权利要求1所述的检测方法，其特征在于：所述可见光与温度图双模态图像采用巡检机器人的可见光与温度图双摄像头拍摄。
4.根据权利要求1所述的检测方法，其特征在于：所述基于温度图的规则判定所述电力设备是否出现故障的具体步骤为：
通过设定的规则对所述电力设备包含的像素点的温度值进行判定，
若所述电力设备中的像素点温度值与规则不相符，则判定所述电力设备为故障设备，并将电力设备的名称编号、故障信息反馈给系统。
CN202011026708.6A 2020-09-25 2020-09-25 一种基于双模态数据融合的变电站设备故障检测方法 Pending CN112183311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011026708.6A CN112183311A (zh) 2020-09-25 2020-09-25 一种基于双模态数据融合的变电站设备故障检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011026708.6A CN112183311A (zh) 2020-09-25 2020-09-25 一种基于双模态数据融合的变电站设备故障检测方法

Publications (1)

Publication Number Publication Date
CN112183311A true CN112183311A (zh) 2021-01-05

Family

ID=73944075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011026708.6A Pending CN112183311A (zh) 2020-09-25 2020-09-25 一种基于双模态数据融合的变电站设备故障检测方法

Country Status (1)

Country Link
CN (1) CN112183311A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819183A (zh) * 2021-01-29 2021-05-18 广州中科智巡科技有限公司 一种输配电线路发热缺陷智能判别的算法及系统
CN114239885A (zh) * 2022-01-11 2022-03-25 中国科学院深圳先进技术研究院 一种运行故障预测方法及装置
CN117893933A (zh) * 2024-03-14 2024-04-16 国网上海市电力公司 一种用于输变电设备的无人巡检故障检测方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617469A (zh) * 2013-12-18 2014-03-05 重庆大学 电力系统设备故障预测方法及系统
CN104253482A (zh) * 2014-08-08 2014-12-31 济南大学 基于图像数据库和巡检机器人的设备故障检测方法
CN105447869A (zh) * 2015-11-30 2016-03-30 四川华雁信息产业股份有限公司 基于粒子群优化算法的摄像机自标定方法及装置
CN107491781A (zh) * 2017-07-21 2017-12-19 国家电网公司 一种巡检机器人可见光与红外传感器数据融合方法
CN108320293A (zh) * 2018-01-26 2018-07-24 南京信息工程大学 一种结合改进粒子群算法的快速点云边界提取技术
CN108364003A (zh) * 2018-04-28 2018-08-03 国网河南省电力公司郑州供电公司 基于无人机可见光及红外图像融合的电力巡检方法及装置
CN108932721A (zh) * 2018-06-28 2018-12-04 上海电力学院 一种用于巡检机器人的红外图像分割与融合方法
CN111462128A (zh) * 2020-05-28 2020-07-28 南京大学 一种基于多模态光谱图像的像素级图像分割系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617469A (zh) * 2013-12-18 2014-03-05 重庆大学 电力系统设备故障预测方法及系统
CN104253482A (zh) * 2014-08-08 2014-12-31 济南大学 基于图像数据库和巡检机器人的设备故障检测方法
CN105447869A (zh) * 2015-11-30 2016-03-30 四川华雁信息产业股份有限公司 基于粒子群优化算法的摄像机自标定方法及装置
CN107491781A (zh) * 2017-07-21 2017-12-19 国家电网公司 一种巡检机器人可见光与红外传感器数据融合方法
CN108320293A (zh) * 2018-01-26 2018-07-24 南京信息工程大学 一种结合改进粒子群算法的快速点云边界提取技术
CN108364003A (zh) * 2018-04-28 2018-08-03 国网河南省电力公司郑州供电公司 基于无人机可见光及红外图像融合的电力巡检方法及装置
CN108932721A (zh) * 2018-06-28 2018-12-04 上海电力学院 一种用于巡检机器人的红外图像分割与融合方法
CN111462128A (zh) * 2020-05-28 2020-07-28 南京大学 一种基于多模态光谱图像的像素级图像分割系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819183A (zh) * 2021-01-29 2021-05-18 广州中科智巡科技有限公司 一种输配电线路发热缺陷智能判别的算法及系统
CN114239885A (zh) * 2022-01-11 2022-03-25 中国科学院深圳先进技术研究院 一种运行故障预测方法及装置
CN117893933A (zh) * 2024-03-14 2024-04-16 国网上海市电力公司 一种用于输变电设备的无人巡检故障检测方法和系统
CN117893933B (zh) * 2024-03-14 2024-05-24 国网上海市电力公司 一种用于输变电设备的无人巡检故障检测方法和系统

Similar Documents

Publication Publication Date Title
CN112183311A (zh) 一种基于双模态数据融合的变电站设备故障检测方法
CN110619623B (zh) 一种变电设备接头发热的自动识别方法
CN108334815A (zh) 电力二次设备的巡检方法、开关状态识别方法及系统
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN111259710B (zh) 采用停车位框线、端点的停车位结构检测模型训练方法
CN113077416A (zh) 一种基于图像处理的焊点焊接缺陷检测方法与系统
CN113505789A (zh) 一种基于crnn的电气设备铭牌文本识别方法
CN114494185A (zh) 一种基于rgb-t多尺度特征融合的电气设备故障检测方法
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN117670820B (zh) 一种塑料薄膜生产缺陷检测方法及系统
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
US11978189B2 (en) Defect detection method and apparatus
CN117252840A (zh) 一种光伏阵列缺陷消除评定方法、装置及计算机设备
CN116994068A (zh) 一种基于知识蒸馏的目标检测方法及装置
CN113449767B (zh) 一种多图像融合的变电站设备异常识别定位方法
CN115147591A (zh) 一种变电设备红外图像电压致热型缺陷诊断方法及系统
CN110956640B (zh) 一种异源图像边缘点检测与配准方法
CN112257514B (zh) 一种用于设备故障巡检的红外视觉智检的拍摄方法
CN112562008B (zh) 一种局部双目视觉测量中的靶标点匹配方法
Zhao et al. A hybrid CNN/Poisson fusion based power transformer external defect detecting method
Cao et al. Parameter identification and refinement for parallel PCB inspection in cyber–physical–social systems
Yan et al. Bimodal-based object detection and instance segmentation models for substation equipments
CN114092761A (zh) 一种基于双模态数据融合的变电站设备故障检测方法
Shanbin et al. Electrical cabinet wiring detection method based on improved yolov5 and pp-ocrv3
Li et al. RGB-Sonar Tracking Benchmark and Spatial Cross-Attention Transformer Tracker

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination