CN112734692A - 一种变电设备缺陷识别方法及装置 - Google Patents

一种变电设备缺陷识别方法及装置 Download PDF

Info

Publication number
CN112734692A
CN112734692A CN202011503738.1A CN202011503738A CN112734692A CN 112734692 A CN112734692 A CN 112734692A CN 202011503738 A CN202011503738 A CN 202011503738A CN 112734692 A CN112734692 A CN 112734692A
Authority
CN
China
Prior art keywords
image
equipment
data
abnormal
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011503738.1A
Other languages
English (en)
Other versions
CN112734692B (zh
Inventor
徐海青
廖逍
王维佳
陈是同
陶俊
李文璞
白景坡
汪舒
高亮
胡心颖
杨鲍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Original Assignee
Anhui Jiyuan Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Jiyuan Software Co Ltd filed Critical Anhui Jiyuan Software Co Ltd
Priority to CN202011503738.1A priority Critical patent/CN112734692B/zh
Publication of CN112734692A publication Critical patent/CN112734692A/zh
Application granted granted Critical
Publication of CN112734692B publication Critical patent/CN112734692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明提供了一种变电设备缺陷识别方法及装置，具体涉及数据分析处理技术领域，该方法可以包括：先构建红外与可见光的双视视觉系统获取被测变电设备的可见光图像和红外图像；再利用IHS变换和Contourtlet变换的图像融合算法进行融合，生成融合后的待识别图像；接着构建神经网络，对批量的原始视频数据进行特征提取，建立包括变电设备在不同状态下的异常数据的设备缺陷数据库；然后构建基于红外图像特征的迁移学习网络，得到设备区域的温度模式分析结果；最后利用多网络融合算法对待识别图像进行异常识别和缺陷判断。基于本发明提供的方案提升了变电设备故障检测的智能程度，并提高了故障检测的效率和准确率。

Description

一种变电设备缺陷识别方法及装置
技术领域
本发明涉及数据分析处理技术领域，具体涉及一种变电设备缺陷识别方法及装置。
背景技术
电力作为一种基础产业，电力的供应和稳定则是电力产业的重点关注部分。变电站设备是电力系统的重要组成部分，其安全稳定运行是确保供电可靠性的重要因素。由于变电设备长期处于运行状态且受到环境因素的影响，往往会出现各种各样的故障。因此对变电设备进行巡检，并根据其状态进行分析和诊断，是保障变电设备和电网可靠运行的重要手段之一。
红外热像检测技术是对电气设备进行热状态监控的有效手段，对发热异常的区域进行准确识别与诊断，可以及时而准确地发现、处理设备缺陷，确保设备在不停电、不停机的情况下完成诊断，同时具有非接触特性，能够在较大程度上保证操作人员的安全。
然而现阶段所采用的红外热成像技术对电力系统设备进行故障诊断大多仍以手持红外成像仪为主，依靠人工完成对红外图像的分析，从而对电气设备的热故障做出诊断，无法满足实时监测的智能化要求，而且这种检测方式对操作人员的经验和专业知识要求较高，效率较低并且容易出错。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种变电设备缺陷识别方法及装置，将设备的红外图像和可见光图像相融合并提出双视融合图像异常识别的技术，提升了变电设备故障检测的智能程度，并提高了故障检测的效率和准确率。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
根据本申请的一个方面，提供了一种变电设备缺陷识别方法，所述方法包括：
构建红外与可见光的双视视觉系统，基于所述双视视觉系统获取被测变电设备的可见光图像和红外图像；
利用IHS变换和Contourtlet变换的图像融合算法对所述可见光图像和红外图像进行融合，生成融合后的待识别图像；
构建神经网络，基于所述神经网络对批量的原始视频数据进行特征提取，建立包括变电设备在不同状态下的异常数据的设备缺陷数据库；
构建基于红外图像特征的迁移学习网络，将所述待识别图像输入训练后的所述迁移学习网络，结合所述设备缺陷数据库得到设备区域的温度模式分析结果；
利用多网络融合算法基于所述温度模式分析结果和所述设备缺陷数据库中的异常数据对所述待识别图像进行异常识别和缺陷判断。
可选地，所述双视视觉系统包括位于被测变电设备不同视角的多个图像采集设备组，每个所述图像采集设备组均包括可见光图像采集设备和红外图像采集设备；所述可见光图像采集设备和红外图像采集设备之间呈预设角度，并且所述可见光图像采集设备和红外图像采集设备之间设置有二向色镜；
所述基于双视视觉系统获取被测变电设备的可见光图像和红外图像，包括：
在各所述图像采集设备组中，获取经由所述被测变电设备反射的可见光经所述二向色镜透射至所述可见光图像采集设备的图像，作为可见光图像；
获取经由所述被测变电设备辐射的红外光经所述二向色镜反射进入所述红外图像采集设备的图像，作为红外图像；
对所述可见光图像和所述红外图像进行配准。
可选地，所述利用IHS变换和Contourtlet变换的图像融合算法对所述可见光图像和红外图像进行融合，生成融合后的待识别图像，包括：
对所述可见光图像进行IHS变换，得到所述可见光图像的第一亮度分量、色度分量和饱和度分量；
采用灰度增强法对所述红外图像进行图像增强，并结合所述第一亮度分量进行Contourlet变换，得到第二亮度分量；
将所述第二亮度分量、色度分量和饱和度分量进行IHS逆变换，生成融合后的待识别图像。
可选地，所述构建神经网络，基于所述神经网络对批量的原始视频数据进行特征提取，建立包括变电设备在不同状态下的异常数据的设备缺陷数据库，包括：
获取批量的原始视频数据；其中，所述原始视频数据中各视频帧具有标注信息，所述标注信息包括有缺陷的第一标注信息或无缺陷的第二标注信息；
对所述原始视频数据进行预处理操作，构建神经网络并提取经过所述预处理操作后的所述原始视频数据中的特征数据；其中，所述预处理操作包括去冗余操作、粗分类操作和/或数据扩充操作；
基于所述特征数据进行特征分析并确定异常阙值，建立异常信息判断标准；
依据所述异常信息判断标准在所述原始视频数据中筛选出异常数据；其中，所述异常数据包括温度异常数据、温差异常数据、温度场异常数据和/或图像异常数据；
对所述异常数据进行多级分类，并基于所述标注信息为经过多级分类后的异常数据对应添加异常标签；
依据具有异常标签的不同层级的不同类别异常类型建立设备缺陷数据库。
可选地，所述构建基于红外图像特征的迁移学习网络，将所述待识别图像输入训练后的所述迁移学习网络，结合所述设备缺陷数据库得到设备区域的温度模式分析结果，包括：
基于神经网络对所述待识别图像进行特征识别，提取所述待识别图像的位置信息和温度信息；
根据所述设备缺陷数据库对不同状态下的设备区域的温度模式进行横向分析和纵向分析，并根据分析结果建立异常状态的划分标准；其中，所述横向分析包括对不同状态设备温度、温差数据以及异常阈值的确定，所述纵向分析包括温度场信息和异常阈值的提取；
构建基于红外图像特征的迁移学习网络，将所述待识别图像的位置信息和温度信息输入所述迁移学习网络，将所述温度信息与对应的所述异常状态的划分标准进行比对，得出所述被测变电设备区域的温度模式分析结果；
将所述待识别图像的位置信息与所述温度模式分析结果相结合，按照时间顺序进行输出。
可选地，其特征在于，所述多网络融合算法是基于YOLO算法、SSD算法和Faster-RCNN算法进行融合的多网络融合异常识别算法。
可选地，所述利用多网络融合算法基于所述温度模式分析结果和所述设备缺陷数据库中的异常数据对所述待识别图像进行异常识别和缺陷判断，包括：
利用多网络融合算法，将所述设备缺陷数据库中的异常数据作为训练样本对所述多网络融合算法进行训练，得到训练后的以图像作为输入数据，异常目标作为输出数据的目标检测网络；
将所述温度模式分析结果输入所述目标检测网络，对所述待识别图像进行异常识别和缺陷判断。
根据本申请的另一个方面，提供了一种变电设备缺陷识别装置，所述装置包括：
图像获取模块，其配置成构建红外与可见光的双视视觉系统，基于所述双视视觉系统获取被测变电设备的可见光图像和红外图像；
图像融合模块，其配置成利用IHS变换和Contourtlet变换的图像融合算法对所述可见光图像和红外图像进行融合，生成融合后的待识别图像；
设备缺陷数据库建立模块，其配置成构建神经网络，基于所述神经网络对批量的原始视频数据进行特征提取，建立包括变电设备在不同状态下的异常数据的设备缺陷数据库；
温度分析模块，其配置成构建基于红外图像特征的迁移学习网络，将所述待识别图像输入训练后的所述迁移学习网络，结合所述设备缺陷数据库得到设备区域的温度模式分析结果；
图像识别模块，其配置成利用多网络融合算法基于所述温度模式分析结果和所述设备缺陷数据库中的异常数据对所述待识别图像进行异常识别和缺陷判断。
可选地，所述双视视觉系统包括位于被测变电设备不同视角的多个图像采集设备组，每个所述图像采集设备组均包括可见光图像采集设备和红外图像采集设备；所述可见光图像采集设备和红外图像采集设备之间呈预设角度，并且所述可见光图像采集设备和红外图像采集设备之间设置有二向色镜；
所述图像获取模块，其配置成：
在各所述图像采集设备组中，获取经由所述被测变电设备反射的可见光经所述二向色镜透射至所述可见光图像采集设备的图像，作为可见光图像；
获取经由所述被测变电设备辐射的红外光经所述二向色镜反射进入所述红外图像采集设备的图像，作为红外图像；
对所述可见光图像和所述红外图像进行配准。
可选地，所述图像融合模块，其配置成：
对所述可见光图像进行IHS变换，得到所述可见光图像的第一亮度分量、色度分量和饱和度分量；
采用灰度增强法对所述红外图像进行图像增强，并结合所述第一亮度分量进行Contourlet变换，得到第二亮度分量；
将所述第二亮度分量、色度分量和饱和度分量进行IHS逆变换，生成融合后的待识别图像。
可选地，所述设备缺陷数据库建立模块，其配置成：
获取批量的原始视频数据；其中，所述原始视频数据中各视频帧具有标注信息，所述标注信息包括有缺陷的第一标注信息或无缺陷的第二标注信息；
对所述原始视频数据进行预处理操作，构建神经网络并提取经过所述预处理操作后的所述原始视频数据中的特征数据；其中，所述预处理操作包括去冗余操作、粗分类操作和/或数据扩充操作；
基于所述特征数据进行特征分析并确定异常阙值，建立异常信息判断标准；
依据所述异常信息判断标准在所述原始视频数据中筛选出异常数据；其中，所述异常数据包括温度异常数据、温差异常数据、温度场异常数据和/或图像异常数据；
对所述异常数据进行多级分类，并基于所述标注信息为经过多级分类后的异常数据对应添加异常标签；
依据具有异常标签的不同层级的不同类别异常类型建立设备缺陷数据库。
可选地，所述温度分析模块，其配置成：
基于神经网络对所述待识别图像进行特征识别，提取所述待识别图像的位置信息和温度信息；
根据所述设备缺陷数据库对不同状态下的设备区域的温度模式进行横向分析和纵向分析，并根据分析结果建立异常状态的划分标准；其中，所述横向分析包括对不同状态设备温度、温差数据以及异常阈值的确定，所述纵向分析包括温度场信息和异常阈值的提取；
构建基于红外图像特征的迁移学习网络，将所述待识别图像的位置信息和温度信息输入所述迁移学习网络，将所述温度信息与对应的所述异常状态的划分标准进行比对，得出所述被测变电设备区域的温度模式分析结果；
将所述待识别图像的位置信息与所述温度模式分析结果相结合，按照时间顺序进行输出。
可选地，所述多网络融合算法是基于YOLO算法、SSD算法和Faster-RCNN算法进行融合的多网络融合异常识别算法。
可选地，所述图像识别模块，其配置成：
利用多网络融合算法，将所述设备缺陷数据库中的异常数据作为训练样本对所述多网络融合算法进行训练，得到训练后的以图像作为输入数据，异常目标作为输出数据的目标检测网络；
将所述温度模式分析结果输入所述目标检测网络，对所述待识别图像进行异常识别和缺陷判断。
根据本申请的另一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求任一项所述的方法。
根据本申请的另一个方面，提供了一种计算设备，所述计算设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求任一项所述的方法。
(三)有益效果
本发明提供了一种变电设备缺陷识别方法及装置。与现有技术相比，具备以下有益效果：
1、双视图像融合的增强方法可以有效去除变电设备缺陷图像中的噪点，从而提高图像质量，为缺陷识别提供高清晰度的图像。
2、深度学习方法大大提升了变电设备故障检测的智能程度，通过深度学习目标检测技术可以进行高精度温度异常分析、缺陷识别和故障设备分类。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种变电设备缺陷识别方法流程图；
图2是根据本申请实施例的双视视觉系统示意图；
图3是根据本申请实施例的基于HIS+Contourtlet变换图像融合算法流程图；
图4是根据本申请实施例的设备缺陷数据库构建示意图；
图5是根据本申请实施例的设备区域温度模式分析方法流程图；
图6是根据本申请实施例的多网络融合异常识别架构示意图；
图7是根据本申请实施例的可见光缺陷检测方法示意图；
图8是根据本申请实施例的可见光缺陷检测效果示意图；
图9是根据本申请实施例的一种变电设备缺陷识别装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近年来，随着大数据分析、云端信息融合、协同运维管控和服务决策支持等新一代信息技术与图像处理技术的深度融合，在变电设备缺陷识别上得到了广泛的应用。根据变电站巡检相关规范及标准，变电站重点针对变压器、断路器、隔离开关、互感器、避雷器、补偿装置和母线等变电设备进行巡视，传统人工作业方法包括：通过观察发现异常情况、通过听设备发出的声音判断设备的振动声音是否正常、通过一些设备进行辅助巡视。然而现阶段变电站作为可见光监控装置铺设的重点业务场景，已使用了大量可见光巡检终端(固定摄像头和巡检机器人)，但只有监视功能没有图像识别功能，缺乏对变电站电力设备的自动识别与分析能力。现阶段主要依靠值班人员去观察和分析采集的图像，从而判断电力设备的运行状态，巡检效率和智能化水平低，因此切实提高巡检终端可见光图像分析能力，成为迫切需要解决的问题。
将红外图像和可见光图像相融合可提高故障检测率，且采用深度学习方法可提升设备故障检测的智能程度。为此，本申请实施例通过提供一种变电设备缺陷识别方法及装置，面向变电站主体运行设备，构建可见光和红外设备缺陷数据库，制定设备区域温度模式分析方案，实现红外与可见光传感双视图像融合，并结合深度学习目标检测技术对融合图像进行高精度温度异常分析、缺陷识别与故障设备分类。
深度学习的概念源于人工神经网络的研究，是一种包含多隐层的多层感知器。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。与传统模式识别相比，深度学习最大的不同在于它是从大数据中自动学习特征。目前深度学习算法的训练数据普遍都是几十万、上百万级，一些IT巨头的训练数据量达到上千万、甚至上亿级别。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1是根据本申请实施例的一种变电设备缺陷识别方法流程图。参见图1所知，本申请实施例提供的一种变电设备缺陷识别方法可以包括：
步骤S101：构建红外与可见光的双视视觉系统，基于所述双视视觉系统获取被测变电设备的可见光图像和红外图像。
变电站设备红外图像在成像过程中会受到红外成像系统探测器阵列的像元数目和像元尺寸的限制以及外部环境的影响，通常获取的红外图像分辨率较低，容易出现退化现象，无法对故障设备进行精准识别与分割。
针对红外图像分辨率低、视觉效果差的基本特征，本申请实施例提供了一种双视视觉系统以同时采集红外图像和可见光图像，提高该红外图像的质量，改善可见光图像中某些不清晰甚至丢失的目标信息。
本发明实施例的双视视觉系统可以包括位于被测变电设备不同视角的多个图像采集设备组，每个图像采集设备组均包括可见光图像采集设备和红外图像采集设备；可见光图像采集设备和红外图像采集设备之间呈预设角度，并且可见光图像采集设备和红外图像采集设备之间设置有二向色镜。可选地，本实施例中的双视视觉系统可以包括两个图像采集设备组，如图2所示，其中，红外摄像机1和可见光摄像机1构成第一个图像采集设备组，红外摄像机2和可见光摄像机2构成第二个图像采集设备组。第一个图像采集设备组和第二个图像采集设备组还分别设置有二向色镜1和二向色镜2。
具体来讲，双视视觉系统由两台相机构成，能够较为有效的获取空间三维信息。“双视”立体视觉系统以传统的双视立体视觉系统结构为雏形，由于左右两视场需同时获取可见光波段与红外波段图像，每一视场的图像均由相机组采集获得。每组相机包括可见光与红外波段的相机各一台，为保证同组内的两台相机同时工作，且拍摄角度与视场范围尽量一致，在两互成角度的相机中间加入了二向色镜。由被测物反射的可见光以及辐射的红外光经二向色镜分成两束，红外辐射经二向色镜反射入红外相机，可见光经二向色镜透射至可见光相机。两不同波段的光通过各自相机成像，在确保成像质量的前提下，可有效地保证两相机视角一致，降低了图像配准的难度。
双视视觉系统，其获取红外图像和可见光图像时，可以通过各图像采集设备组获取经由被测变电设备反射的可见光经二向色镜透射至可见光图像采集设备的图像，作为可见光图像；获取经由被测变电设备辐射的红外光经二向色镜反射进入红外图像采集设备的图像，作为红外图像；进一步地，对可见光图像和红外图像进行配准。
步骤S102：利用IHS变换和Contourtlet变换的图像融合算法对可见光图像和红外图像进行融合，生成融合后的待识别图像。
IHS是计算机上定量处理色彩时通常采用RGB表色系统。IHS彩色坐标系统对颜色属性易于识别和量化，色彩的调整(数学变换)方便、灵活，因而往往进行RGB系统-IHS系统的彩色空间变换。所谓IHS彩色变换，是指将标准RGB图像有效地分离为代表变间信息的亮度(I)和代表波谱信息的色度(H)、饱和度(S)。IHS变换图像融合建立在IHS空间模型的基础上，其基本思想就是在IHS空间中，将低空间分辨率的多光谱图像的亮度分量用高空间分辨率的灰度图象替换。
Contourlet变换又称为塔型方向滤波器组，是一种离散图像的方向多尺度计算框架。Contourlet变换是一种新的图像二维表示方法，具有多分辨率、局部定位、多方向性、近邻界采样和各向异性等性质，其基函数分布于多尺度、多方向上，少量系数即可有效地捕捉图像中的边缘轮廓，而边缘轮廓正是自然图像中的主要特征。
Contourlet变换的基本思想是首先用一个类似小波的多尺度分解捕捉边缘奇异点，再根据方向信息将位置相近的奇异点汇集成轮廓段。选用拉普拉斯塔式滤波器结构(LP)对图像多分辨率分解来捕捉奇异点。LP分解首先产生原始信号的一个低通采样逼近及原始图像与低通预测图像之间的一个差值图像，对得到的低通图像继续分解得到下一层的低通图像和差值图像，如此逐步滤波得到图像的多分辨率分解。二维方向滤波器组(DFB)应用于LP分解得到的每一级高频分量上，在任意尺度上可分解得到2的n次方数目的方向子带。图像每次经LP子带分解产生的高通子带输入DFB，逐渐将点奇异连成线形结构，从而捕获图像中的轮廓。LP与DFB结合形成双层滤波器组结构，称为塔形方向滤波器组(PDFB)，由于该变换以轮廓段形式的基函数逼近原始图像，因此也称为离散Contourlet变换。IHS变换可以提高影像的地物纹理特性，增强其空间细节表现能量。
如图3所示，本申请实施例根据可见光图像与红外图像特点，采用IHS+Contourtlet变换的方式设计图像融合算法，对可见光图像进行IHS变换，得到可见光图像的第一亮度分量、色度分量和饱和度分量；再采用灰度增强法对红外图像进行图像增强，并结合第一亮度分量进行Contourlet变换，得到第二亮度分量；将第二亮度分量、色度分量和饱和度分量进行IHS逆变换，生成融合后的待识别图像。
具体流程如下：
S2-1：对经过可见光像积和红外相机配准的可见光图像进行IHS变换，得到I、H、S三个分量；
S2-2：采用灰度增强法对经过可见光像积和红外相机配准的红外图像进行图像增强，达到提高图像的对比度，突出红外目标的目的；
S2-3：对可见光图像变换得到的I分量和经过灰度变换的红外图像进行Contourtlet变换，分解层数选择3层，分解后得到各自的高频和低频分量；
S2-4：对Contourtlet变换后得到的方向子带采用基于区域能量的融合规则进行融合；
S2-5：对Contourtlet变换后得到的低通子带采用基于区域平均梯度取大法的融合规则；
S2-6：将新的图像进行Contourtlet逆变换，得到新的newI分量；
S2-7：将新的newI分量与S1中分解得到的H、S分量进行逆变换，得到融合后的图像。
利用融合图像不受光照影响、作用距离远、抗干扰能力强等特点，可进一步提升异常检出率、遗漏率等指标。
步骤S103：构建神经网络，基于神经网络对批量的原始视频数据进行特征提取，建立包括变电设备在不同状态下的异常数据的设备缺陷数据库，详细介绍如下：
S3-1，获取批量的原始视频数据。
其中，原始视频数据可以包括多个视频帧，可以为红外图像数据，也可以为可见光图像数据。各视频帧具有标注信息，标注信息包括有缺陷的第一标注信息或无缺陷的第二标注信息。即，获取到原始视频数据之后，可以对其进行标注，以确定是采集到的数据标注是否异常。
S3-2，对原始视频数据进行预处理操作，对原始视频数据进行预处理操作，构建神经网络并提取经过预处理操作后的原始视频数据中的特征数据。
进一步地，在获取到原始视频数据之后，还可以对原始视频数据进行预处理操作，构建神经网络提取经过预处理操作后的原始视频数据中的特征数据；其中，预处理操作包括去冗余操作、粗分类操作和/或数据扩充操作；并基于特征数据进行特征分析并确定异常阙值，建立异常信息判断标准。
视频图像数据量庞大，种类繁多，为降低后续算法计算量，确保算法的实时性，根据数据的关联性和信息散度，对视频图像数据进行去冗余操作。根据变电设备的类型、型号、规格、负载等参数，对数据进行粗分类。考虑到融合图像数据量较小，训练时易造成过拟合等问题，通过随机裁剪、放缩、镜像、翻转等方法进行数据扩充。
同时，考虑到不同状态下，设备异常状态的阈值不同，给出设备的致热类型，为下一步神经网络的训练提供充足的训练样本；提取红外视频数据中的温度、图像、温差等红外图像特征参数，对视频数据进行实时分析，获取温度与时间、负载等因素间的关系。在对传统卷积神经网络优化的基础上，结合强化学习的策略，通过训练和学习实现对红外数据特征的提取。
S3-3，基于特征数据进行特征分析并确定异常阙值，建立异常信息判断标准。
通过层次区别和维度交叉对神经网络提取的数据特征进行分析，确定温度、图像、温差、温度场等信息的异常阈值，建立异常信息判断标准。
S3-4，依据异常信息判断标准在原始视频数据中筛选出异常数据。
依据异常信息判断标准在原始视频数据中筛选出异常数据；其中，异常数据包括温度异常数据、温差异常数据、温度场异常数据和/或图像异常数据。
本发明实施例中，先进一步精细确定异常阈值；然后，根据确定的异常阈值，对已完成标定的样本进行筛选，同时考虑扩充数据与原始数据异常阈值的不同。最后，对数据进行人工筛选，去掉难以界定范围的脏数据，并对标注过程中产生的误标注进行进一步筛选，确保异常数据的纯净度，为数据库建立提供保障。
S3-5，对异常数据进行多级分类，并基于标注信息为经过多级分类后的异常数据对应添加异常标签。
S3-6，依据具有异常标签的不同层级的不同类别异常类型建立设备缺陷数据库。
首先，按照设备致热类型对标注样本进行一级分类，包括电流致热型、电压致热型和其他致热型设备。然后，在一级分类下，按照温度异常、温差异常、温度场异常、图像异常、正常数据来建立数据库的二级分类，根据标注信息，按照变电设备的类型、型号、规格、负载，使用时间对数据库的数据建立标签，完成异常数据库的初步构建。最后，将初步建立的异常数据库提交专业人员进行审查，通过专业人员的审核，确保数据库的准确性。整个数据库的构建流程如图4所示。
在红外异常信息提取以及缺陷数据库构建过程中，需要通过强化学习构建基于红外图像特征的深度神经学习网络，对采集到的红外数据进行统计分析，并进行人工标注，解决红外数据量小、易导致深度网络过拟合的问题。另外，需要确定异常阈值，筛选红外数据中的异常数据，构建异常数据库并扩充数据规模，为后续异常识别算法提供比对数据。
步骤S104：构建基于红外图像特征的迁移学习网络，将待识别图像输入训练后的迁移学习网络，结合设备缺陷数据库得到设备区域的温度模式分析结果。
对设备区域的温度进行分析时，首先基于神经网络对待识别图像进行特征识别，提取待识别图像的位置信息和温度信息；再根据设备缺陷数据库对不同状态下的设备区域的温度模式进行横向分析和纵向分析，并根据分析结果建立异常状态的划分标准；其中，横向分析包括对不同状态设备温度、温差数据以及异常阈值的确定，纵向分析包括温度场信息和异常阈值的提取。
然后构建基于红外图像特征的迁移学习网络，将待识别图像的位置信息和温度信息输入迁移学习网络，将温度信息与对应的异常状态的划分标准进行比对，得出被测变电设备区域的温度模式分析结果；
最后，将待识别图像的位置信息与温度模式分析结果相结合，按照时间顺序进行输出。
具体对温度模式进行分析时，如图5所示，分为以下步骤：
第一步：提取设备区域温度模式的横向和纵向数据
根据构建的异常数据库，对不同状态下设备区域的温度模式进行横向和纵向分析。再根据提取的信息建立异常状态的划分标准，具体分为正常、可能存在异常和异常三种类型，为工作人员的后续判断提供标准。
第二步：基于迁移学习的设备区域温度模式分析
首先，考虑到随机生成的初始参数会导致神经网络检测精度下降，在已有数据库上对网络进行预训练，得到神经网络的初始参数。先采用数据库中的相关数据集对网络进行前期训练，有助于减少网络训练时间，进一步提高网络的鲁棒性。
然后，为解决红外数据量较小的问题，基于迁移学习的思想，构建基于红外特征提取的深度神经网络，在已有的热传感器数据集上进行训练，可以有效防止数据过小导致的网络过拟合问题。同时基于Fine-Tuning的思想，通过巴氏距离衡量训练数据库和构建的异常数据库间的相似性，对神经网络的参数进行微调，从而达到知识迁移的效果，实现神经网络的设备区域温度模式分析能力。
最后，通过非极大值抑制NMS去除分析结果中的误检区域，进一步提高算法精度。
第三步：基于高阶阙值的数据后处理
研究利用异常数据阈值，对迁移学习得到的结果做进一步筛选，挑选出存在疑问的数据结果。
再利用分析数据时采用的强化学习网络，提取疑问数据的图像特征和温度特征，并将其与对应的异常状态阈值进行比对，确定其所属类型，给出设备区域的温度模式分析结果。
将位置信息与温度模式分析结果相结合，按照时间顺序，输出至报表中进行保存，以备工作人员查看。
也就是说，首先再采集数据，并使用的“卷积+强化”的神经网络框架对采集到的数据进行分析，构建异常数据库以及数据异常阈值。通过红外+可见光得到融合图像，对图像通过设备区域温度模式分析给出设备区域的温度模式分析结果，再将结果与异常数据库的数据输入到下文介绍的融合算法中，进行多网络融合异常识别，得到识别结果。
步骤S105：利用多网络融合算法基于温度模式分析结果和设备缺陷数据库中的异常数据对待识别图像进行异常识别和缺陷判断。
上文提及的多网络融合算法是基于YOLO算法、SSD算法和Faster-RCNN算法进行融合的多网络融合异常识别算法。
目标检测是对图像或视频中的目标进行分类，并且判断目标的位置。目前常用的目标检测框架包括Fast-RCNN，YOLO和SSD等。Faster R-CNN算法由RPN候选框提取模块和Fast R-CNN物体检测模块两部分组成。RPN模块以物体的坐标为回归目标训练网络，可实现第一步的候选项初步预测。而Fast R-CNN检测部分进行位置回归和类别判定，通过多任务回归，包括候选项位置及语义标签，实现候选项位置优化及类别预测。不同于Faster R-CNN需要依赖RPN网络生成候选框，YOLO则直接将图片分为S*S个区域作为候选区域进行回归便完成了位置和类别的判定。由于YOLO存在精确度不够的问题，YOLOv2提出了一种结合不同类型数据集进行训练的方法。YOLO9000实现了检测和分类的联合训练，并将其预测泛化能力扩展到未知的检测数据上。针对RPN对小物体检测效果很差的问题，SSD通过允许从CNN各个层次的特征矩阵预测检测结果，这样就能很好地适应不同尺度的物体。
针对融合图像异常目标的检测来说，在具体实施过程中，要考虑对红外与可见光特征的充分提取与利用，也要兼顾机器人平台应用的检测性能要求，单纯的采用已有的以上三种算法并不能有效地实现对融合图像异常设备区域的识别。因此综合考虑硬件条件，需构建具有红外图像特征学习能力的深度感知多网络融合算法，即基于YOLO算法、SSD算法和Faster-RCNN算法进行融合的多网络融合异常识别算法，发挥现有算法各自的优势，弥补其不足，有效且高速的识别出图像中的异常目标，从而提高融合图像的设备异常检出率、遗漏率等指标，达到工业检测的标准。
将异常数据库输入到融合后的神经网络中，通过抑制次数的Boosting融合策略，对网络进行训练，去除多次被分类错误的样本数据，避免过度拟合低权重数据而导致的识别精度降低。
目标检测网络是根据推演结果对三种算法进行融合，通过模型压缩和参数调整，使其能更好的提取融合图像特征，提高算法的效率，达到速度与精度的平衡。详细的步骤如图6所示：
S5-1：对融合后的待识别图像进行图像增强操作，并提取待识别图像的位置信息和温度信息。
在红外与可见光融合图像数据中，提取位置信息、温度信息，并采用基于多维度信息融合的图像增强算法，对融合图像进行预处理。
S5-2：将待识别图像的位置信息和温度信息输入区域温度模式分析引擎，对待识别图像进行实时分析，判断被测变电设备的温度信息的变化。
也就是说，将待识别图像的位置信息和温度信息输入区域温度模式分析引擎，结合区域温度模式分析引擎，计算设备间的相对温差，比较同组三相设备、同相设备之间及同类设备之间对应部位的温差，以降低小负荷电流致热型设备缺陷的漏检率，同时利用信息提取模型进行实时分析，判断设备温度随负载、时间等因素的变化。
基于红外数据量小，同类算法难以实时分析的问题，需构建基于红外图像特征的迁移学习网络，进行设备区域温度模式分析，有效实现红外数据异常类型的判断，给出设备区域的温度模式分析结果。
S5-3：将区域温度模式分析引擎的分析结果输入目标检测网络，对待识别图像进行异常识别和缺陷判断，并将结果保存至报表进行记录。
上文提及的变电站的4类主要可见光缺陷，包括设备渗漏油、硅胶变色、设备表面破损和锈蚀，通过基于图像增强的变电设备缺陷识别技术，可实现缺陷的精准检测与定位，基本流程如图7所示。
对上述缺陷进行分析时，首先根据异常数据库，实现变电站设备的缺陷分析建模，通过大量的数据统计与分析，得到主要变电设备在不同运行环境下常出现的缺陷，根据缺陷类型、设备型号对其进行分类，给出主要类别；然后，按照分类，针对不同类型的缺陷在可见光图像数据中采用不同符号进行标记，为后续的缺陷标注建立参考标准。
在对缺陷进行分析之后，实际应用中，可采用YOLO_v3目标检测框架进行可见光设备缺陷检测，本发明对此不作限定。
YOLO的基本思想是将输入图像分成S×S个格子，若某个物体Ground truth的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。下面主要从网络的输入、结构、输出三个方面来进行详细说明：
(1)网络输入
网络输入大小支持320*320、416*416、608*608。这个大小必须是32的整数倍数，yolo_v3有5次下采样，每次采样步长为2，所以网络的最大步幅(步幅指层的输入大小除以输出)为2^5＝32。
(2)网络结构
首先训练一个darknet-53，能在ImageNet有好的分类结果，学习到好的特征，并为后续检测模型做初始化。
Yolo_v3网络是一个全卷积网络，大量使用残差的跳层连接，使用了darknet-53的前面的52层(没有全连接层)，并采用步长为2的卷积来进行降采样。同时，网络中使用了上采样、route操作，在一个网络结构中进行3次检测。
(3)网络输出
网络的输出包括以下四类：
①网络输出特征层的大小。比如输入为320*320时，则输出为320/32＝10,因此输出为10*10大小的特征层(feature map)，此时有10*10＝100个cell；同理当输入为416*416时输出的特征层为13*13大小的特征层，13*13＝169个cell；输入为608*608时，输出的feature map大小为19*19，cell有19*19＝361个。进行每进行一次up-sample时，输出特征层扩大一倍。
②Anchor box大小。先验框不同于Faster-Rcnn和SSD人工设定，yolo_v3中，对图像中的object采用k-means聚类，然后确定Anchor box大小。
③feature map中的每一个cell都会预测3个边界框(bounding box)，每个bounding box都会预测三个东西：每个框的位置(4个值，中心坐标tx和ty，框的高度bh和宽度bw)；一个objectness prediction；N个类别，coco数据集80类，voc20类。因此对于coco数据集，在网络输入为416*416时，网络的输出大小为13*13(3*(4+1+80))＝43095。
④三次检测，每次对应的感受野不同，32倍降采样的感受野最大，适合检测大的目标，所以在输入为416*416时，每个cell的三个anchor box为(116,90)；(156,198)；(373,326)。16倍适合一般大小的物体，anchor box为(30,61)；(62,45)；(59,119)。8倍的感受野最小，适合检测小目标，因此anchor box为(10,13)；(16,30)；(33,23)。所以当输入为416*416时，实际总共有(52*52+26*26+13*13)*3＝10647个proposal box。效果图如图8所示。
基于同一发明构思，如图9所示，本申请实施例还提供了一种变电设备缺陷识别装置，包括：
根据本申请的另一个方面，提供了一种变电设备缺陷识别装置，装置包括：
图像获取模块910，其配置成构建红外与可见光的双视视觉系统，基于双视视觉系统获取被测变电设备的可见光图像和红外图像；
图像融合模块920，其配置成利用IHS变换和Contourtlet变换的图像融合算法对可见光图像和红外图像进行融合，生成融合后的待识别图像；
设备缺陷数据库建立模块930，其配置成构建神经网络，基于神经网络对批量的原始视频数据进行特征提取，建立包括变电设备在不同状态下的异常数据的设备缺陷数据库；
温度分析模块940，其配置成构建基于红外图像特征的迁移学习网络，将待识别图像输入训练后的迁移学习网络，结合设备缺陷数据库得到设备区域的温度模式分析结果；
图像识别模块950，其配置成利用多网络融合算法基于温度模式分析结果和设备缺陷数据库中的异常数据对待识别图像进行异常识别和缺陷判断。
在本发明一可选实施例中，双视视觉系统包括位于被测变电设备不同视角的多个图像采集设备组，每个图像采集设备组均包括可见光图像采集设备和红外图像采集设备；可见光图像采集设备和红外图像采集设备之间呈预设角度，并且可见光图像采集设备和红外图像采集设备之间设置有二向色镜；
图像获取模块910，其还可以配置成：
在各图像采集设备组中，获取经由被测变电设备反射的可见光经二向色镜透射至可见光图像采集设备的图像，作为可见光图像；
获取经由被测变电设备辐射的红外光经二向色镜反射进入红外图像采集设备的图像，作为红外图像；
对可见光图像和红外图像进行配准。
在本发明一可选实施例中，图像融合模块920，其还可以配置成：
对可见光图像进行IHS变换，得到可见光图像的第一亮度分量、色度分量和饱和度分量；
采用灰度增强法对所述红外图像进行图像增强，并结合第一亮度分量进行Contourlet变换，得到第二亮度分量；
将第二亮度分量、色度分量和饱和度分量进行IHS逆变换，生成融合后的待识别图像。
在本发明一可选实施例中，设备缺陷数据库建立模块930，其还可以配置成：
获取批量的原始视频数据；其中，原始视频数据中各视频帧具有标注信息，标注信息包括有缺陷的第一标注信息或无缺陷的第二标注信息；
对原始视频数据进行预处理操作，构建神经网络并提取经过预处理操作后的原始视频数据中的特征数据；其中，预处理操作包括去冗余操作、粗分类操作和/或数据扩充操作；
基于特征数据进行特征分析并确定异常阙值，建立异常信息判断标准；
依据异常信息判断标准在所述原始视频数据中筛选出异常数据；其中，异常数据包括温度异常数据、温差异常数据、温度场异常数据和/或图像异常数据；
对异常数据进行多级分类，并基于标注信息为经过多级分类后的异常数据对应添加异常标签；
依据具有异常标签的不同层级的不同类别异常类型建立设备缺陷数据库。
在本发明一可选实施例中，温度分析模块940，其还可以配置成：
基于神经网络对待识别图像进行特征识别，提取待识别图像的位置信息和温度信息；
根据设备缺陷数据库对不同状态下的设备区域的温度模式进行横向分析和纵向分析，并根据分析结果建立异常状态的划分标准；其中，横向分析包括对不同状态设备温度、温差数据以及异常阈值的确定，纵向分析包括温度场信息和异常阈值的提取；
构建基于红外图像特征的迁移学习网络，将待识别图像的位置信息和温度信息输入迁移学习网络，将温度信息与对应的异常状态的划分标准进行比对，得出被测变电设备区域的温度模式分析结果；
将待识别图像的位置信息与温度模式分析结果相结合，按照时间顺序进行输出。
在本发明一可选实施例中，多网络融合算法是基于YOLO算法、SSD算法和Faster-RCNN算法进行融合的多网络融合异常识别算法。
在本发明一可选实施例中，图像识别模块950，其还可以配置成：
利用多网络融合算法，将设备缺陷数据库中的异常数据作为训练样本对多网络融合算法进行训练，得到训练后的以图像作为输入数据，异常目标作为输出数据的目标检测网络；
将温度模式分析结果输入目标检测网络，对待识别图像进行异常识别和缺陷判断。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质用于存储程序代码，程序代码用于执行权利要求任一项所述的方法。
基于同一发明构思，本申请实施例还提供了一种计算设备，其特征在于，计算设备包括处理器以及存储器：
存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
处理器用于根据所述程序代码中的指令执行权利要求任一项所述的方法。
本申请实施例设计了一种基于图像增强的变电设备缺陷识别方法及装置，通过构建可见光和红外设备缺陷数据库，制定设备区域温度模式分析方案，实现红外与可见光传感双视图像融合，并结合深度学习目标检测技术对融合图像进行高精度温度异常分析、缺陷识别与故障设备分类。其中，首先基于IHS和Contourtlet变换设计可见光+红外双视融合图像增强算法，并制定双视视觉部署方案，通过图像融合增强算法，去除图像噪点，提高图像质量，为红外故障识别与设备分类提供数据基础。在此基础上，采用多深度感知的多网络融合算法，通过对网络参数、结构、反馈以及融合策略的设计，实现设备温度异常分析、缺陷识别与故障设备分类。
综上所述，与现有技术相比，具备以下有益效果：
1、提出可见光设备缺陷检测方法。构建可见光设备缺陷数据库，采用深度学习算法对设备渗漏油、硅胶变色、设备破损、锈蚀等表面可见缺陷进行识别。
2、提出基于IHS和Contourtlet变换的可见光+红外双视融合图像增强方法。通过制定双视视觉部署方案，研究图像融合增强算法，去除图像噪点，提高图像质量，为红外故障识别与设备分类提供数据基础。
3、提出双视融合图像异常识别技术。采用多深度感知的多网络融合算法，通过对网络参数、结构、反馈以及融合策略的设计，实现设备温度异常分析、缺陷识别与故障设备分类。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种变电设备缺陷识别方法，其特征在于，所述方法包括：
构建红外与可见光的双视视觉系统，基于所述双视视觉系统获取被测变电设备的可见光图像和红外图像；
利用IHS变换和Contourtlet变换的图像融合算法对所述可见光图像和红外图像进行融合，生成融合后的待识别图像；
构建神经网络，基于所述神经网络对批量的原始视频数据进行特征提取，建立包括变电设备在不同状态下的异常数据的设备缺陷数据库；
构建基于红外图像特征的迁移学习网络，将所述待识别图像输入训练后的所述迁移学习网络，结合所述设备缺陷数据库得到设备区域的温度模式分析结果；
利用多网络融合算法基于所述温度模式分析结果和所述设备缺陷数据库中的异常数据对所述待识别图像进行异常识别和缺陷判断。
2.根据权利要求1所述的方法，其特征在于，所述双视视觉系统包括位于被测变电设备不同视角的多个图像采集设备组，每个所述图像采集设备组均包括可见光图像采集设备和红外图像采集设备；所述可见光图像采集设备和红外图像采集设备之间呈预设角度，并且所述可见光图像采集设备和红外图像采集设备之间设置有二向色镜；
所述基于双视视觉系统获取被测变电设备的可见光图像和红外图像，包括：
在各所述图像采集设备组中，获取经由所述被测变电设备反射的可见光经所述二向色镜透射至所述可见光图像采集设备的图像，作为可见光图像；
获取经由所述被测变电设备辐射的红外光经所述二向色镜反射进入所述红外图像采集设备的图像，作为红外图像；
对所述可见光图像和所述红外图像进行配准。
3.根据权利要求1所述的方法，其特征在于，所述利用IHS变换和Contourtlet变换的图像融合算法对所述可见光图像和红外图像进行融合，生成融合后的待识别图像，包括：
对所述可见光图像进行IHS变换，得到所述可见光图像的第一亮度分量、色度分量和饱和度分量；
采用灰度增强法对所述红外图像进行图像增强，并结合所述第一亮度分量进行Contourlet变换，得到第二亮度分量；
将所述第二亮度分量、色度分量和饱和度分量进行IHS逆变换，生成融合后的待识别图像。
4.根据权利要求1所述的方法，其特征在于，所述构建神经网络，基于所述神经网络对批量的原始视频数据进行特征提取，建立包括变电设备在不同状态下的异常数据的设备缺陷数据库，包括：
获取批量的原始视频数据；其中，所述原始视频数据中各视频帧具有标注信息，所述标注信息包括有缺陷的第一标注信息或无缺陷的第二标注信息；
对所述原始视频数据进行预处理操作，构建神经网络并提取经过所述预处理操作后的所述原始视频数据中的特征数据；其中，所述预处理操作包括去冗余操作、粗分类操作和/或数据扩充操作；
基于所述特征数据进行特征分析并确定异常阙值，建立异常信息判断标准；
依据所述异常信息判断标准在所述原始视频数据中筛选出异常数据；其中，所述异常数据包括温度异常数据、温差异常数据、温度场异常数据和/或图像异常数据；
对所述异常数据进行多级分类，并基于所述标注信息为经过多级分类后的异常数据对应添加异常标签；
依据具有异常标签的不同层级的不同类别异常类型建立设备缺陷数据库。
5.根据权利要求1所述的方法，其特征在于，所述构建基于红外图像特征的迁移学习网络，将所述待识别图像输入训练后的所述迁移学习网络，结合所述设备缺陷数据库得到设备区域的温度模式分析结果，包括：
基于神经网络对所述待识别图像进行特征识别，提取所述待识别图像的位置信息和温度信息；
根据所述设备缺陷数据库对不同状态下的设备区域的温度模式进行横向分析和纵向分析，并根据分析结果建立异常状态的划分标准；其中，所述横向分析包括对不同状态设备温度、温差数据以及异常阈值的确定，所述纵向分析包括温度场信息和异常阈值的提取；
构建基于红外图像特征的迁移学习网络，将所述待识别图像的位置信息和温度信息输入所述迁移学习网络，将所述温度信息与对应的所述异常状态的划分标准进行比对，得出所述被测变电设备区域的温度模式分析结果；
将所述待识别图像的位置信息与所述温度模式分析结果相结合，按照时间顺序进行输出。
6.根据权利要求1所述的方法，其特征在于，所述多网络融合算法是基于YOLO算法、SSD算法和Faster-RCNN算法进行融合的多网络融合异常识别算法。
7.根据权利要求1所述的方法，其特征在于，所述利用多网络融合算法基于所述温度模式分析结果和所述设备缺陷数据库中的异常数据对所述待识别图像进行异常识别和缺陷判断，包括：
利用多网络融合算法，将所述设备缺陷数据库中的异常数据作为训练样本对所述多网络融合算法进行训练，得到训练后的以图像作为输入数据，异常目标作为输出数据的目标检测网络；
将所述温度模式分析结果输入所述目标检测网络，对所述待识别图像进行异常识别和缺陷判断。
8.一种变电设备缺陷识别装置，其特征在于，所述装置包括：
图像获取模块，其配置成构建红外与可见光的双视视觉系统，基于所述双视视觉系统获取被测变电设备的可见光图像和红外图像；
图像融合模块，其配置成利用IHS变换和Contourtlet变换的图像融合算法对所述可见光图像和红外图像进行融合，生成融合后的待识别图像；
设备缺陷数据库建立模块，其配置成构建神经网络，基于所述神经网络对批量的原始视频数据进行特征提取，建立包括变电设备在不同状态下的异常数据的设备缺陷数据库；
温度分析模块，其配置成构建基于红外图像特征的迁移学习网络，将所述待识别图像输入训练后的所述迁移学习网络，结合所述设备缺陷数据库得到设备区域的温度模式分析结果；
图像识别模块，其配置成利用多网络融合算法基于所述温度模式分析结果和所述设备缺陷数据库中的异常数据对所述待识别图像进行异常识别和缺陷判断。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的方法。
10.一种计算设备，其特征在于，所述计算设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的方法。
CN202011503738.1A 2020-12-17 2020-12-17 一种变电设备缺陷识别方法及装置 Active CN112734692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011503738.1A CN112734692B (zh) 2020-12-17 2020-12-17 一种变电设备缺陷识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011503738.1A CN112734692B (zh) 2020-12-17 2020-12-17 一种变电设备缺陷识别方法及装置

Publications (2)

Publication Number Publication Date
CN112734692A true CN112734692A (zh) 2021-04-30
CN112734692B CN112734692B (zh) 2023-12-22

Family

ID=75603070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011503738.1A Active CN112734692B (zh) 2020-12-17 2020-12-17 一种变电设备缺陷识别方法及装置

Country Status (1)

Country Link
CN (1) CN112734692B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344475A (zh) * 2021-08-05 2021-09-03 国网江西省电力有限公司电力科学研究院 基于序列模态分解的变压器套管缺陷识别方法及系统
CN113378818A (zh) * 2021-06-21 2021-09-10 中国南方电网有限责任公司超高压输电公司柳州局 电气设备缺陷确定方法、装置、电子设备及存储介质
CN113378967A (zh) * 2021-06-28 2021-09-10 哈尔滨工业大学 一种基于卷积神经网络与迁移学习的结构健康监测多元数据异常诊断方法
CN113504240A (zh) * 2021-07-07 2021-10-15 广东电力信息科技有限公司 基于分层编码和视觉感知的电力设备故障检测方法
CN113567466A (zh) * 2021-08-02 2021-10-29 大量科技（涟水）有限公司 一种微型芯片外观缺陷的智能识别系统及方法
CN113592798A (zh) * 2021-07-21 2021-11-02 山东理工大学 一种道路病害智能辨识方法、系统、终端及介质
CN113807364A (zh) * 2021-09-08 2021-12-17 国网内蒙古东部电力有限公司兴安供电公司 一种基于三光融合成像的电力设备缺陷检测方法及系统
CN114241727A (zh) * 2021-11-26 2022-03-25 国网新疆电力有限公司巴州供电公司 变电设备智能诊断预警系统、方法及装置
CN114494778A (zh) * 2022-01-25 2022-05-13 南方电网物资有限公司 用于电力设备远程监造的图像采集处理系统及其控制方法
CN114485947A (zh) * 2021-12-30 2022-05-13 北京联合永道软件股份有限公司 用于户外用电设备的安防监控方法
CN115115919A (zh) * 2022-06-24 2022-09-27 国网智能电网研究院有限公司 一种电网设备热缺陷识别方法及装置
TWI808009B (zh) * 2022-09-23 2023-07-01 國立勤益科技大學 智慧型檢測系統
CN116383757A (zh) * 2023-03-09 2023-07-04 哈尔滨理工大学 一种基于多尺度特征融合和迁移学习的轴承故障诊断方法
CN117147561A (zh) * 2023-09-01 2023-12-01 平湖市五星工贸有限公司 用于金属拉链的表面质量检测方法及系统
CN117333490A (zh) * 2023-12-01 2024-01-02 南京安盛电子有限公司 一种基于视觉识别的灌封变压器检测方法及系统
CN117470859A (zh) * 2023-12-25 2024-01-30 广州中科智巡科技有限公司 绝缘子内部缺陷检测方法和装置
CN117593301A (zh) * 2024-01-18 2024-02-23 深圳市奥斯珂科技有限公司 基于机器视觉的内存条损伤快速检测方法及系统
CN117635606A (zh) * 2024-01-23 2024-03-01 锐卡(常州)科技有限公司 激光切管机卡盘缺陷检测方法、装置、设备及存储介质
CN117593301B (zh) * 2024-01-18 2024-04-30 深圳市奥斯珂科技有限公司 基于机器视觉的内存条损伤快速检测方法及系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103674286A (zh) * 2013-11-20 2014-03-26 国网上海市电力公司 一种基于红外图像的站内通信设备故障诊断方法
CN105371957A (zh) * 2015-10-23 2016-03-02 国家电网公司 变电站设备红外温度配准定位系统及方法
CN107133592A (zh) * 2017-05-05 2017-09-05 国网江苏省电力公司无锡供电公司 电力变电站采用红外热成像及可见光成像技术融合的人体目标特征检测算法
CN107507172A (zh) * 2017-08-08 2017-12-22 国网上海市电力公司 融合红外可见光的特高压线路绝缘子串深度学习识别方法
US20180075594A1 (en) * 2016-09-14 2018-03-15 Kla-Tencor Corporation Convolutional Neural Network-based Mode Selection and Defect Classification for Image Fusion
CN108710910A (zh) * 2018-05-18 2018-10-26 中国科学院光电研究院 一种基于卷积神经网络的目标识别方法及系统
CN109785289A (zh) * 2018-12-18 2019-05-21 中国科学院深圳先进技术研究院 一种输电线路缺陷检测方法、系统及电子设备
CN109784348A (zh) * 2018-12-17 2019-05-21 中国科学院深圳先进技术研究院 一种红外电力设备识别和在线诊断方法及其系统
CN110288578A (zh) * 2019-06-24 2019-09-27 国网上海市电力公司 一种高识别率的电力设备缺陷红外图像识别系统
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110472698A (zh) * 2019-08-22 2019-11-19 四川大学 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN110598736A (zh) * 2019-08-06 2019-12-20 西安理工大学 一种电力设备红外图像故障定位、识别与预测方法
CN110889455A (zh) * 2019-12-02 2020-03-17 西安科技大学 一种化工园巡检机器人的故障检测定位及安全评估方法
CN111160652A (zh) * 2019-12-31 2020-05-15 安徽海螺信息技术工程有限责任公司 一种基于知识感知的设备异常状态综合判断及运维方法
CN111198040A (zh) * 2019-11-08 2020-05-26 深圳红电智能技术有限公司 电气设备状态监测及故障预警系统
CN111325748A (zh) * 2020-03-20 2020-06-23 哈尔滨工业大学 一种基于卷积神经网络的红外热像无损检测方法
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景（北京）科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN111784026A (zh) * 2020-05-28 2020-10-16 国网信通亿力科技有限责任公司 基于云边端协同感知的变电站电气设备全方位体检系统
CN111856357A (zh) * 2020-08-18 2020-10-30 广东工业大学 多传感器融合的超导体失超检测预警系统
CN112001260A (zh) * 2020-07-28 2020-11-27 国网湖南省电力有限公司 一种基于红外可见光图像融合的电缆沟故障检测方法
CN112085089A (zh) * 2020-09-03 2020-12-15 国网浙江省电力有限公司电力科学研究院 基于深度学习算法的变电站设备智能测温方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103674286A (zh) * 2013-11-20 2014-03-26 国网上海市电力公司 一种基于红外图像的站内通信设备故障诊断方法
CN105371957A (zh) * 2015-10-23 2016-03-02 国家电网公司 变电站设备红外温度配准定位系统及方法
US20180075594A1 (en) * 2016-09-14 2018-03-15 Kla-Tencor Corporation Convolutional Neural Network-based Mode Selection and Defect Classification for Image Fusion
CN107133592A (zh) * 2017-05-05 2017-09-05 国网江苏省电力公司无锡供电公司 电力变电站采用红外热成像及可见光成像技术融合的人体目标特征检测算法
CN107507172A (zh) * 2017-08-08 2017-12-22 国网上海市电力公司 融合红外可见光的特高压线路绝缘子串深度学习识别方法
CN108710910A (zh) * 2018-05-18 2018-10-26 中国科学院光电研究院 一种基于卷积神经网络的目标识别方法及系统
CN109784348A (zh) * 2018-12-17 2019-05-21 中国科学院深圳先进技术研究院 一种红外电力设备识别和在线诊断方法及其系统
CN109785289A (zh) * 2018-12-18 2019-05-21 中国科学院深圳先进技术研究院 一种输电线路缺陷检测方法、系统及电子设备
CN110288578A (zh) * 2019-06-24 2019-09-27 国网上海市电力公司 一种高识别率的电力设备缺陷红外图像识别系统
CN110334661A (zh) * 2019-07-09 2019-10-15 国网江苏省电力有限公司扬州供电分公司 基于深度学习的红外输变电异常发热点目标检测方法
CN110598736A (zh) * 2019-08-06 2019-12-20 西安理工大学 一种电力设备红外图像故障定位、识别与预测方法
CN110472698A (zh) * 2019-08-22 2019-11-19 四川大学 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN111198040A (zh) * 2019-11-08 2020-05-26 深圳红电智能技术有限公司 电气设备状态监测及故障预警系统
CN110889455A (zh) * 2019-12-02 2020-03-17 西安科技大学 一种化工园巡检机器人的故障检测定位及安全评估方法
CN111160652A (zh) * 2019-12-31 2020-05-15 安徽海螺信息技术工程有限责任公司 一种基于知识感知的设备异常状态综合判断及运维方法
CN111325748A (zh) * 2020-03-20 2020-06-23 哈尔滨工业大学 一种基于卷积神经网络的红外热像无损检测方法
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景（北京）科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN111784026A (zh) * 2020-05-28 2020-10-16 国网信通亿力科技有限责任公司 基于云边端协同感知的变电站电气设备全方位体检系统
CN112001260A (zh) * 2020-07-28 2020-11-27 国网湖南省电力有限公司 一种基于红外可见光图像融合的电缆沟故障检测方法
CN111856357A (zh) * 2020-08-18 2020-10-30 广东工业大学 多传感器融合的超导体失超检测预警系统
CN112085089A (zh) * 2020-09-03 2020-12-15 国网浙江省电力有限公司电力科学研究院 基于深度学习算法的变电站设备智能测温方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHU JIA YAN等: "Insulator Contamination Measurement Based on Infrared Thermal and Visible Image Information Fusion", 《2019 PHOTONICS & ELECTROMAGNETICS RESEARCH SYMPOSIUM - SPRING (PIERS-SPRING)》, pages 1006 - 1011 *
师颖: "红外图像和可见光图像融合方法及其在电力设备监测中的应用", 《小型微型计算机系统》 *
师颖: "红外图像和可见光图像融合方法及其在电力设备监测中的应用", 《小型微型计算机系统》, vol. 2018, no. 12, 15 December 2018 (2018-12-15), pages 4 *
林炜: "基于图像识别技术的变电设备红外监测", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, vol. 2018, no. 5, pages 042 - 76 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378818A (zh) * 2021-06-21 2021-09-10 中国南方电网有限责任公司超高压输电公司柳州局 电气设备缺陷确定方法、装置、电子设备及存储介质
CN113378967A (zh) * 2021-06-28 2021-09-10 哈尔滨工业大学 一种基于卷积神经网络与迁移学习的结构健康监测多元数据异常诊断方法
CN113378967B (zh) * 2021-06-28 2022-11-08 哈尔滨工业大学 一种基于卷积神经网络与迁移学习的结构健康监测多元数据异常诊断方法
CN113504240B (zh) * 2021-07-07 2022-06-21 广东电力信息科技有限公司 基于分层编码和视觉感知的电力设备故障检测方法
CN113504240A (zh) * 2021-07-07 2021-10-15 广东电力信息科技有限公司 基于分层编码和视觉感知的电力设备故障检测方法
CN113592798A (zh) * 2021-07-21 2021-11-02 山东理工大学 一种道路病害智能辨识方法、系统、终端及介质
CN113592798B (zh) * 2021-07-21 2023-08-15 山东理工大学 一种道路病害智能辨识方法、系统、终端及介质
CN113567466A (zh) * 2021-08-02 2021-10-29 大量科技（涟水）有限公司 一种微型芯片外观缺陷的智能识别系统及方法
CN113567466B (zh) * 2021-08-02 2022-10-28 大量科技（涟水）有限公司 一种微型芯片外观缺陷的智能识别方法
CN113344475B (zh) * 2021-08-05 2021-12-31 国网江西省电力有限公司电力科学研究院 基于序列模态分解的变压器套管缺陷识别方法及系统
CN113344475A (zh) * 2021-08-05 2021-09-03 国网江西省电力有限公司电力科学研究院 基于序列模态分解的变压器套管缺陷识别方法及系统
CN113807364A (zh) * 2021-09-08 2021-12-17 国网内蒙古东部电力有限公司兴安供电公司 一种基于三光融合成像的电力设备缺陷检测方法及系统
CN114241727A (zh) * 2021-11-26 2022-03-25 国网新疆电力有限公司巴州供电公司 变电设备智能诊断预警系统、方法及装置
CN114485947B (zh) * 2021-12-30 2024-04-02 北京联合永道软件股份有限公司 用于户外用电设备的安防监控方法
CN114485947A (zh) * 2021-12-30 2022-05-13 北京联合永道软件股份有限公司 用于户外用电设备的安防监控方法
CN114494778A (zh) * 2022-01-25 2022-05-13 南方电网物资有限公司 用于电力设备远程监造的图像采集处理系统及其控制方法
CN115115919A (zh) * 2022-06-24 2022-09-27 国网智能电网研究院有限公司 一种电网设备热缺陷识别方法及装置
CN115115919B (zh) * 2022-06-24 2023-05-05 国网智能电网研究院有限公司 一种电网设备热缺陷识别方法及装置
TWI808009B (zh) * 2022-09-23 2023-07-01 國立勤益科技大學 智慧型檢測系統
CN116383757A (zh) * 2023-03-09 2023-07-04 哈尔滨理工大学 一种基于多尺度特征融合和迁移学习的轴承故障诊断方法
CN116383757B (zh) * 2023-03-09 2023-09-05 哈尔滨理工大学 一种基于多尺度特征融合和迁移学习的轴承故障诊断方法
CN117147561A (zh) * 2023-09-01 2023-12-01 平湖市五星工贸有限公司 用于金属拉链的表面质量检测方法及系统
CN117147561B (zh) * 2023-09-01 2024-03-19 平湖市五星工贸有限公司 用于金属拉链的表面质量检测方法及系统
CN117333490B (zh) * 2023-12-01 2024-01-30 南京安盛电子有限公司 一种基于视觉识别的灌封变压器检测方法及系统
CN117333490A (zh) * 2023-12-01 2024-01-02 南京安盛电子有限公司 一种基于视觉识别的灌封变压器检测方法及系统
CN117470859A (zh) * 2023-12-25 2024-01-30 广州中科智巡科技有限公司 绝缘子内部缺陷检测方法和装置
CN117470859B (zh) * 2023-12-25 2024-03-22 广州中科智巡科技有限公司 绝缘子内部缺陷检测方法和装置
CN117593301A (zh) * 2024-01-18 2024-02-23 深圳市奥斯珂科技有限公司 基于机器视觉的内存条损伤快速检测方法及系统
CN117593301B (zh) * 2024-01-18 2024-04-30 深圳市奥斯珂科技有限公司 基于机器视觉的内存条损伤快速检测方法及系统
CN117635606A (zh) * 2024-01-23 2024-03-01 锐卡(常州)科技有限公司 激光切管机卡盘缺陷检测方法、装置、设备及存储介质
CN117635606B (zh) * 2024-01-23 2024-04-05 锐卡(常州)科技有限公司 激光切管机卡盘缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112734692B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN112734692B (zh) 一种变电设备缺陷识别方法及装置
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
Wang et al. Automatic fault diagnosis of infrared insulator images based on image instance segmentation and temperature analysis
CN112967243B (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN112379231B (zh) 一种基于多光谱图像的设备检测方法及装置
Davari et al. Intelligent diagnosis of incipient fault in power distribution lines based on corona detection in UV-visible videos
CN109308447A (zh) 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN112233073A (zh) 一种变电设备红外热成像异常实时检测方法
CN107767374B (zh) 一种gis盆式绝缘子内部导体局部过热智能诊断方法
CN112381784A (zh) 一种基于多光谱图像的设备检测系统
CN115294117B (zh) Led灯珠的缺陷检测方法及相关装置
CN113920097A (zh) 一种基于多源图像的电力设备状态检测方法及系统
Chen et al. Surface defect detection of electric power equipment in substation based on improved YOLOv4 algorithm
CN113344852A (zh) 一种电力场景通用物品的目标检测方法、装置及存储介质
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
Wu et al. An end-to-end learning method for industrial defect detection
Zhang et al. An effective framework using identification and image reconstruction algorithm for train component defect detection
CN112734637B (zh) 一种导线温度监测的热红外图像处理方法和系统
CN116519710A (zh) 一种用于复合绝缘子表面污秽状态的检测方法及系统
CN116580285A (zh) 铁路绝缘子夜间目标识别检测方法
Zhang et al. Pavement crack detection based on deep learning
CN116310274A (zh) 一种输变电设备的状态评估方法
Xia et al. A multi-target detection based framework for defect analysis of electrical equipment
Tang et al. Fault diagnosis of the external insulation infrared images based on Mask Region convolutional neural network and perceptual hash joint algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210712

Address after: 102200 4th floor, block C, State Grid Smart Grid Research Institute, North District of future science and Technology City, Changping District, Beijing

Applicant after: STATE GRID INFORMATION & TELECOMMUNICATION GROUP Co.,Ltd.

Applicant after: ANHUI JIYUAN SOFTWARE Co.,Ltd.

Address before: 230088 No. 1800, Xi you road, hi tech Zone, Hefei, Anhui.

Applicant before: ANHUI JIYUAN SOFTWARE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant