CN112184661A - 一种基于图像融合深度学习模型的电力设备缺陷识别方法 - Google Patents
一种基于图像融合深度学习模型的电力设备缺陷识别方法 Download PDFInfo
- Publication number
- CN112184661A CN112184661A CN202011031002.9A CN202011031002A CN112184661A CN 112184661 A CN112184661 A CN 112184661A CN 202011031002 A CN202011031002 A CN 202011031002A CN 112184661 A CN112184661 A CN 112184661A
- Authority
- CN
- China
- Prior art keywords
- image
- power equipment
- visible light
- infrared
- fused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007547 defect Effects 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 238000013136 deep learning model Methods 0.000 title claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000007689 inspection Methods 0.000 claims abstract description 9
- 238000001931 thermography Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 13
- 238000005315 distribution function Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract 1
- 238000001228 spectrum Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于图像融合深度学习模型的电力设备缺陷识别方法，包括采用可见光和红外热成像设备，包括电力巡检机器人在内的变电站电力设备双光谱图像的获取；采用离散小波变换方法，对可见光和红外图像进行融合，精准定位电力设备；运用CNN深度卷积神经网络模型，提取设备缺陷特征，对融合后的图像进行缺陷分类与识别。通过分析融合后的图像，可以有效提高电力设备图像的对比度、电力设备的识别率、电力设备的缺陷识别程度。
Description
技术领域
本发明涉及图像处理与深度学习领域领域，具体为一种基于图像融合深度学习模型的电力设备缺陷识别方法。
背景技术
传统的变电站故障检测主要通过人工检测。由于变电站设备多，因此需要大量专业人员，费时、费财力。红外热成像检测相比传统检测方法具有非接触、不停电、无损等优点，可以预测设备故障，并能实时检测设备过热缺陷。
随着人工智能的发展，国内外研究者开展了一些图像融合、缺陷识别的研究。有基于相关向量机进行设备分类与识别；有建立多个电力设备模板图像库，通过模板与图像的匹配度来确定目标区域的轮廓和位置；有结合阈值分割机制、像素分割算法等，快速将温度异常连通区域或设备进行分割；有采用卷积神经网络提取红外故障图像的特征，并进行训练学习。
现有的电力设备红外图像缺陷识别的研究还存在特征提取难、准确率低、识别率低、模型通用性差等缺点。基于可见光图像的物体检测得到广泛的应用，但是融合可见光和红外图像后的缺陷识别与检测在电力设备缺陷检测中没有研究和应用过。
为此我们提出一种基于图像融合深度学习模型的电力设备缺陷识别方法用于解决上述问题。
发明内容
本发明的目的在于提供一种基于图像融合深度学习模型的电力设备缺陷识别方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于图像融合深度学习模型的电力设备缺陷识别方法，采用可见光和红外热成像设备，获取电力设备的可见光和红外图像，包括：
S1：可见光和红外图像的融合：
S1.1：源图像获取，从电力巡检机器人的云台可见光相机中获取可见光图像；从电力巡检机器人的云台红外热成像相机中获取红外图像；
S1.2：图像分解，运用离散小波变换方法，把可见光图像分解成低频子图像、高频子图像；运用离散小波变换方法，把红外图像分解成低频子图像、高频子图像；
S1.3：图像融合，采用加权平均法，融合可见光低频系数L1,N(a,b)和红外光低频系数L2,N(a,b)；采用局部方差法，融合可见光高频系数H1,N(a,b)和红外光高频系数H2,N(a,b)；
S2：图像重构：运用小波逆变换，把融合后的低频图像和高频图像重构成融合后的图像；
S3：对融合后的图像采用CNN模型进行电力设备缺陷识别。
优选的，所述可见光和红外图像，采用离散小波变换方法，运用加权平均法对图像的低频分量进行融合，局部方差法对图像的高频分量进行融合，融合后的图像用于电力设备和缺陷的特征提取。
优选的，所述电力设备缺陷识别采用卷积神经网络，自动提取图像融合后的设备和缺陷特征。
优选的，所述CNN模型具有1个输入层、1个输出层、2个卷积层以及2个池化层。
优选的，所述CNN模型的权值采用高斯概率分布函数；卷积层是对融合后的图像进行特征映射；池化层采用均方根池化策略。
与现有技术相比，本发明的有益效果是：本发明提出首先对可见光和红外图像进行融合，精准定位电力设备；然后设计CNN模型，对融合后的图像进行在线缺陷识别；能有效提高电力设备图像的对比度和识别准确率；融合后的图像特征更丰富，缺陷识别率得到提升。
附图说明
图1为本发明可见光和红外图像融合流程图；
图2为本发明中深度卷积神经网络对融合后的图像进行缺陷识别流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种基于图像融合深度学习模型的电力设备缺陷识别方法，可见光和红外图像融合的流程如图1所示。
从图1中可以看出，可见光和红外图像融合的分为源图像获取、图像分解、图像融合、图像重构等4个步骤。
源图像获取：从电力巡检机器人的云台可见光相机中获取可见光图像；从电力巡检机器人的云台红外热成像相机中获取红外图像。
图像分解：运用离散小波变换方法，把可见光图像分解成低频子图像、高频子图像；运用离散小波变换方法，把红外图像分解成低频子图像、高频子图像。
其中a是尺度因子，b是平移参数，Ψ为小波变换算子。
图像融合：采用加权平均法，融合可见光低频系数L1,N(a,b)和红外光低频系数L2,N(a,b)；采用局部方差法，融合可见光高频系数H1,N(a,b)和红外光高频系数H2,N(a,b)。
LF,N(a,b)＝a1L1,N(a,b)+a2L2,N(a,b)
μ为方差均值。
其中，D1,N(a,b)和D2,N(a,b)分别为可见光图像、红外图像在各个方向上的局部方差。
图像重构：运用小波逆变换，把融合后的低频图像和高频图像重构成融合后的图像。
D＝Ψ-[LHF,N(Ψ{fi})]
D是可见光和红外图像融合后重构得到的图像，Ψ为小波变换算子，Ψ-为小波变换逆算子，LHF,N为融合算子，fi是第i幅图像。
深度卷积神经网络对融合后的图像进行缺陷识别的流程如图2所示。
从图2中可以看出，CNN模型拥有1个输入层、1个输出层、2个卷积层以及2个池化层。输入层用于接收可见光和红外图像融合后的图像；输出层用于输出设备的缺陷识别结果。
网络权值：CNN模型的权值采用高斯概率分布函数。
其中:矩阵P中每一元素的尺寸均为r×r；N表示卷积核的数量。
卷积层：对融合后的图像或前一池化层中的特征映射采取卷积操作，提取图像中的特征信息。
其中:Θ表示融合后的图像，P为权值。
池化层：采用均方根策略对池化层进行特征降解。
其中:Θ表示融合后的图像，e为池化邻域半径。
本专利的具体实施过程如下：
从电力巡检机器人的云台可见光相机中获取可见光源图像；
从电力巡检机器人的云台红外热成像相机中获取红外源图像；
运用离散小波变换方法，把可见光图像分解成低频子图像和高频子图像；
运用离散小波变换方法，把红外图像分解成低频子图像和高频子图像；
采用加权平均法融合可见光和红外光的低频分量；
采用局部方差法，融合可见光和红外图像的高频分量；
运用小波逆变换，把融合后的低频图像和高频图像重构成融合后的图像；
构建CNN模型，训练不同缺陷的可见光与红外融合图像；
采用高斯概率分布函数作为CNN网络权值；
对融合后的图像或前一池化层中的特征映射采取卷积操作，提取融合图像中的特征信息；
采用均方根策略对池化层进行特征降解；
采用神经网络对融合图像进行缺陷识别和分类。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于图像融合深度学习模型的电力设备缺陷识别方法，采用可见光和红外热成像设备，获取电力设备的可见光和红外图像，其特征在于，包括：
S1：可见光和红外图像的融合：
S1.1：源图像获取，从电力巡检机器人的云台可见光相机中获取可见光图像；从电力巡检机器人的云台红外热成像相机中获取红外图像；
S1.2：图像分解，运用离散小波变换方法，把可见光图像分解成低频子图像、高频子图像；运用离散小波变换方法，把红外图像分解成低频子图像、高频子图像；
S1.3：图像融合，采用加权平均法，融合可见光低频系数L1,N(a,b)和红外光低频系数L2,N(a,b)；采用局部方差法，融合可见光高频系数H1,N(a,b)和红外光高频系数H2,N(a,b)；
S2：图像重构：运用小波逆变换，把融合后的低频图像和高频图像重构成融合后的图像；
S3：对融合后的图像采用CNN模型进行电力设备缺陷识别。
2.根据权利要求1所述的一种基于图像融合深度学习模型的电力设备缺陷识别方法，其特征在于：所述可见光和红外图像，采用离散小波变换方法，运用加权平均法对图像的低频分量进行融合，局部方差法对图像的高频分量进行融合，融合后的图像用于电力设备和缺陷的特征提取。
3.根据权利要求1所述的一种基于图像融合深度学习模型的电力设备缺陷识别方法，其特征在于：所述电力设备缺陷识别采用卷积神经网络，自动提取图像融合后的设备和缺陷特征。
4.根据权利要求1所述的一种基于图像融合深度学习模型的电力设备缺陷识别方法，其特征在于：所述CNN模型具有1个输入层、1个输出层、2个卷积层以及2个池化层。
5.根据权利要求4所述的一种基于图像融合深度学习模型的电力设备缺陷识别方法，其特征在于：所述CNN模型的权值采用高斯概率分布函数；卷积层是对融合后的图像进行特征映射；池化层采用均方根池化策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011031002.9A CN112184661A (zh) | 2020-09-27 | 2020-09-27 | 一种基于图像融合深度学习模型的电力设备缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011031002.9A CN112184661A (zh) | 2020-09-27 | 2020-09-27 | 一种基于图像融合深度学习模型的电力设备缺陷识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112184661A true CN112184661A (zh) | 2021-01-05 |
Family
ID=73944065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011031002.9A Pending CN112184661A (zh) | 2020-09-27 | 2020-09-27 | 一种基于图像融合深度学习模型的电力设备缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184661A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160210A (zh) * | 2021-05-10 | 2021-07-23 | 深圳市水务工程检测有限公司 | 基于深度相机的排水管道缺陷检测方法及装置 |
| CN113792755A (zh) * | 2021-08-12 | 2021-12-14 | 上海理工大学 | 一种小波深度图像融合环境感知与目标识别方法 |
| CN113850803A (zh) * | 2021-11-29 | 2021-12-28 | 武汉飞恩微电子有限公司 | 基于集成学习的mems传感器缺陷的检测方法、装置及设备 |
| WO2022247794A1 (en) * | 2021-05-27 | 2022-12-01 | International Business Machines Corporation | Asset maintenance prediction using infrared and regular images |
| CN116205910A (zh) * | 2023-04-27 | 2023-06-02 | 四川省港奇电子有限公司 | 一种电源适配器用注塑温度自适应学习调控系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364003A (zh) * | 2018-04-28 | 2018-08-03 | 国网河南省电力公司郑州供电公司 | 基于无人机可见光及红外图像融合的电力巡检方法及装置 |
| CN109191413A (zh) * | 2018-08-21 | 2019-01-11 | 西京学院 | 一种基于改进型卷积神经网络的多聚焦图像融合方法 |
| CN110111581A (zh) * | 2019-05-21 | 2019-08-09 | 哈工大机器人（山东）智能装备研究院 | 目标识别方法、装置、计算机设备及存储介质 |
| CN110598736A (zh) * | 2019-08-06 | 2019-12-20 | 西安理工大学 | 一种电力设备红外图像故障定位、识别与预测方法 |
| CN110889455A (zh) * | 2019-12-02 | 2020-03-17 | 西安科技大学 | 一种化工园巡检机器人的故障检测定位及安全评估方法 |
-
2020
- 2020-09-27 CN CN202011031002.9A patent/CN112184661A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364003A (zh) * | 2018-04-28 | 2018-08-03 | 国网河南省电力公司郑州供电公司 | 基于无人机可见光及红外图像融合的电力巡检方法及装置 |
| CN109191413A (zh) * | 2018-08-21 | 2019-01-11 | 西京学院 | 一种基于改进型卷积神经网络的多聚焦图像融合方法 |
| CN110111581A (zh) * | 2019-05-21 | 2019-08-09 | 哈工大机器人（山东）智能装备研究院 | 目标识别方法、装置、计算机设备及存储介质 |
| CN110598736A (zh) * | 2019-08-06 | 2019-12-20 | 西安理工大学 | 一种电力设备红外图像故障定位、识别与预测方法 |
| CN110889455A (zh) * | 2019-12-02 | 2020-03-17 | 西安科技大学 | 一种化工园巡检机器人的故障检测定位及安全评估方法 |
Non-Patent Citations (1)
| Title |
|---|
| YU YAN ET AL.: "Image fusion algorithm based on region of interest and wavelet transform", 《MACHINE TOOL ＆ HYDＲAULICS》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160210A (zh) * | 2021-05-10 | 2021-07-23 | 深圳市水务工程检测有限公司 | 基于深度相机的排水管道缺陷检测方法及装置 |
| WO2022247794A1 (en) * | 2021-05-27 | 2022-12-01 | International Business Machines Corporation | Asset maintenance prediction using infrared and regular images |
| US11688059B2 (en) | 2021-05-27 | 2023-06-27 | International Business Machines Corporation | Asset maintenance prediction using infrared and regular images |
| GB2620703A (en) * | 2021-05-27 | 2024-01-17 | Ibm | Asset maintenance prediction using infrared and regular images |
| GB2620703B (en) * | 2021-05-27 | 2024-05-29 | Ibm | Asset maintenance prediction using infrared and regular images |
| CN113792755A (zh) * | 2021-08-12 | 2021-12-14 | 上海理工大学 | 一种小波深度图像融合环境感知与目标识别方法 |
| CN113792755B (zh) * | 2021-08-12 | 2024-05-14 | 上海理工大学 | 一种小波深度图像融合环境感知与目标识别方法 |
| CN113850803A (zh) * | 2021-11-29 | 2021-12-28 | 武汉飞恩微电子有限公司 | 基于集成学习的mems传感器缺陷的检测方法、装置及设备 |
| CN116205910A (zh) * | 2023-04-27 | 2023-06-02 | 四川省港奇电子有限公司 | 一种电源适配器用注塑温度自适应学习调控系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112184661A (zh) | 一种基于图像融合深度学习模型的电力设备缺陷识别方法 | |
| Xie et al. | Automatic detection and classification of sewer defects via hierarchical deep learning | |
| Gao et al. | A review on recent advances in vision-based defect recognition towards industrial intelligence | |
| CN107944396B (zh) | 一种基于改进深度学习的刀闸状态识别方法 | |
| CN112967243A (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| CN108564565A (zh) | 一种基于深度学习的电力设备红外图像多目标定位方法 | |
| Mujeeb et al. | Unsupervised surface defect detection using deep autoencoders and data augmentation | |
| CN109872317A (zh) | 一种基于电力设备缺陷识别学习模型的缺陷识别方法 | |
| CN113205039A (zh) | 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法 | |
| CN116309292A (zh) | 一种基于视觉转换层与实例分割的焊缝缺陷智能识别方法 | |
| Zhang et al. | Grasping point detection of randomly placed fruit cluster using adaptive morphology segmentation and principal component classification of multiple features | |
| Avola et al. | Real-time deep learning method for automated detection and localization of structural defects in manufactured products | |
| Lu et al. | Thermal Fault Diagnosis of Electrical Equipment in Substations Based on Image Fusion. | |
| Jianli et al. | Identification of fabric defects based on discrete wavelet transform and back-propagation neural network | |
| CN118294455A (zh) | 钕铁硼电镀毛坯的智能检测系统及方法 | |
| Ghamisi et al. | Anomaly detection in automated fibre placement: Learning with data limitations | |
| CN108537266A (zh) | 一种深度卷积网络的织物纹理疵点分类方法 | |
| CN117392565A (zh) | 一种无人机电力巡检缺陷自动识别方法 | |
| CN117036904A (zh) | 注意力引导的半监督玉米高光谱图像数据扩充方法 | |
| Huang et al. | Mango surface defect detection based on HALCON | |
| Tian et al. | Feature fusion–based preprocessing for steel plate surface defect recognition | |
| CN113643263B (zh) | 一种上肢骨定位与前臂骨融合畸形的识别方法及系统 | |
| CN115631154A (zh) | 一种电力设备状态监控分析方法与系统 | |
| CN113052799A (zh) | 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法 | |
| Li et al. | High-speed and Accurate Method for the Gear Defect Detection based on OpenCV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |