CN112651421A - 一种红外热成像输电线路防外破监测系统及其建模方法 - Google Patents
一种红外热成像输电线路防外破监测系统及其建模方法 Download PDFInfo
- Publication number
- CN112651421A CN112651421A CN202010919200.2A CN202010919200A CN112651421A CN 112651421 A CN112651421 A CN 112651421A CN 202010919200 A CN202010919200 A CN 202010919200A CN 112651421 A CN112651421 A CN 112651421A
- Authority
- CN
- China
- Prior art keywords
- module
- neural network
- transmission line
- infrared
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 33
- 238000012544 monitoring process Methods 0.000 title claims abstract description 28
- 238000001931 thermography Methods 0.000 title claims abstract description 19
- 230000002265 prevention Effects 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000000306 recurrent effect Effects 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/72—Investigating presence of flaws
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Radiation Pyrometers (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供了一种红外热成像输电线路防外破监测系统及其建模方法，包括：卷积神经网络模块，用于提取红外输电线路外破分割图像特征；双向循环神经网络模块，具有五个，位于所述卷积神经网络模块之后；解码器模块，用于将所述双向循环神经网络模块输出的特征图的分辨率逐渐恢复到输入图像的分辨率；以及模型训练模块，用于对所述防外破监控系统进行训练。本发明的一种红外热成像输电线路防外破监测系统及其建模方法，构建了基于深度卷积神经网络和双向循环神经网络的外破隐患分割网络模型，能够对前端巡检采集到的红外图像进行智能分析，定位输电线路外破隐患，保障了监控效果，极大降低了人员巡检的劳动成本。
Description
技术领域
本发明涉及输电线路检测技术领域，具体涉及一种红外热成像输电线路防外破监测系统及其建模方法。
背景技术
随着我国国民经济的增长和生活水平的提高，电力的需求也日益增加，电力系统电网规模的扩大和电力负荷的提高，使电力设备损坏、故障及严重时造成设备烧损等事故发生的可能性增加。为尽可能避免各类电力事故，减少事故导致的重大经济损失势在必行，刻不容缓。
通过人工方式巡检耗时耗力，可靠性低。通过通信技术和传感技术将实时监控图片或者视频传输到后台可以降低巡检工作量，但是仍需要后台工作人员肉眼判断是否存在外破隐患，工作量大且容易遗漏，没有实现监测的智能化。
发明内容
为了解决上述问题，本发明提供一种红外热成像输电线路防外破监测系统及其建模方法，构建了基于深度卷积神经网络和双向循环神经网络的外破隐患分割网络模型，能够对前端巡检采集到的红外图像进行智能分析，定位输电线路外破隐患，保障了监控效果，极大降低了人员巡检的劳动成本。
为了实现以上目的，本发明采取的一种技术方案是：
一种红外热成像输电线路防外破监测系统，包括：卷积神经网络模块，用于提取红外输电线路外破分割图像特征，包括两个DWBlock模块以及两个残差模块，红外图像依次输出至DWBlock模块、残差模块、DWBlock模块以及残差模块；
双向循环神经网络模块，具有五个，位于所述卷积神经网络模块之后；解码器模块，由若干层反卷积组成的上采样层，用于将所述双向循环神经网络模块输出的特征图的分辨率逐渐恢复到输入图像的分辨率；以及模型训练模块，所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述防外破监控系统进行训练。
进一步地，所述DWBlock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成，其中纵向卷积操作输入通道数量和卷积核数量相同。
进一步地，所述数据填充操融合特征值；作指将所述红外图像或所述可见光图像的边界进行扩充，针对每个输入xi所述批处理归一化过程为：xi＝(xi-u)/(sqrt((xi-v)2)+e)，其中，u为输入{x1,x2,x3,…,xn}的均值，v为输入{x1,x2,x3,…,xn}的方差，e是一个小小偏置，防止分母趋向于0。
进一步地，对所述批处理归一化的结果xi进行了scale加上shift操作，即xi＝scale*xi+shift，其中scale和shift通过学习得到。
进一步地，当输入为x时，所述残差模块输出为F(x)+x。
本发明还提供了一种基于以上所述的红外热成像输电线路防外破监测系统的建模方法，包括如下步骤：S10通过红外摄像机采集红外图像，标注红外输电线路外破分割样本集；S20构建卷积神经网络模块，将所述红外输电线路外破分割样本集输入至所述卷积神经网络模块，获得红外特征值；S30构建双向循环神经网络模块，将所述红外特征值输入至所述双向循环神经网络模块按列和行扫描，具体公式如下：
其中，f代表循环神经网络RNN，所述红外特征值被分割成i×j块，o是结果，z是之前的状态，p是特征块内的特征值；S40构建解码模块，将所述融合特征值输入所述解码模块，将所述解码模块输出至softmax层，完成建模。
本发明的上述技术方案相比现有技术具有以下优点：
本发明的一种红外热成像输电线路防外破监测系统及其建模方法，构建了基于深度卷积神经网络和双向循环神经网络的外破隐患分割网络模型，能够对前端巡检采集到的红外图像进行智能分析，定位输电线路外破隐患，保障了监控效果，极大降低了人员巡检的劳动成本。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。
图1所示为本发明一实施例的深度卷积神经网络模块结构图；
图2所示为本发明一实施例的残差块的结构图；
图3所示为本发明一实施例的红外热成像输电线路防外破监测系统的建模方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种红外热成像输电线路防外破监测系统，包括依次连接的卷积神经网络模块、双向循环神经网络模块、解码器模块以及模型训练模块。
如图1所示，所述卷积神经网络模块包括包括两个DWBlock模块以及两个残差模块，红外图像依次输出至DWBlock模块、残差模块、DWBlock模块以及残差模块，所述卷积神经网络模块用于提取红外输电线路外破分割图像特征。
所述DWBlock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成，其中纵向卷积操作输入通道数量和卷积核数量相同。所述数据填充操融合特征值；作指将所述红外图像或所述可见光图像的边界进行扩充，针对每个输入xi所述批处理归一化过程为：xi＝(xi-u)/(sqrt((xi-v)2)+e)，其中，u为输入{x1,x2,x3,…,xn}的均值，v为输入{x1,x2,x3,…,xn}的方差，e是一个小小偏置，防止分母趋向于0。对所述批处理归一化的结果xi进行了scale加上shift操作，即xi＝scale＊xi+shift，其中scale和shift通过学习得到。
当输入为x时，F(x)是隐藏层操作，那么一般神经网络的输出为H(x)＝F(x),而残差网络的输出为H(x)＝F(x)+x，具体结构如图2所示，残差块包含两个部分：快捷连接和残差部分。F(x)是残差，用上图左侧表示，图中weightlayer代表着卷积操作，weightlayer为3*3卷积层，将卷积后的特征图与x相加得到新的特征图。
所述双向循环神经网络模块，创建五个所述双向循环神经网络模块连接到所述卷积神经网络模块之后。双向循环神经网络(BRNN)的基本思想是提出每一个训练序列向前和向后分别是两个循环神经网络(RNN)，而且这两个都连接着一个输出层。这个结构提供给输出层输入序列中每一个点的完整的过去和未来的上下文信息。
所述解码器模块由若干层反卷积组成的上采样层，用于将所述双向循环神经网络模块输出的特征图的分辨率逐渐恢复到输入图像的分辨率。
所述解码器模块输出至所述模型训练模块，所述解码器模块的主要设计目的是得到和原始输入分辨率相同的密集预测。通过所述解码器模块，特征图的分辨率逐渐恢复到输入图像的分辨率。
所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述防外破监控系统进行训练。
本发明还提供了一种基于以上红外热成像输电线路防外破监测系统的建模方法，如图3所示，包括如下步骤：S10通过红外摄像机采集红外图像，标注红外输电线路外破分割样本集。S20构建卷积神经网络模块，将所述红外输电线路外破分割样本集输入至所述卷积神经网络模块，获得红外特征值。S30构建双向循环神经网络模块，将所述红外特征值输入至所述双向循环神经网络模块按列和行扫描，具体公式如下：
其中，f代表循环神经网络RNN，所述红外特征值被分割成i×j块，o是结果，z是之前的状态，p是特征块内的特征值。以及S40构建解码模块，将所述融合特征值输入所述解码模块，将所述解码模块输出至softmax层，完成建模。
其中yi代表softmax第i个输出值，i表示类别索引，C总的类别个数，vi表示解码模块的第i个输出。
以上所述仅为本发明的示例性实施例，并非因此限制本发明专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种红外热成像输电线路防外破监测系统，其特征在于，包括：
卷积神经网络模块，用于提取红外输电线路外破分割图像特征，包括两个DWBlock模块以及两个残差模块，红外图像依次输出至DWBlock模块、残差模块、DWBlock模块以及残差模块；
双向循环神经网络模块，具有五个，位于所述卷积神经网络模块之后；
解码器模块，由若干层反卷积组成的上采样层，用于将所述双向循环神经网络模块输出的特征图的分辨率逐渐恢复到输入图像的分辨率；以及
模型训练模块，所述解码器模块输出至所述模型训练模块，所述模型训练模块用于对所述防外破监控系统进行训练。
2.根据权利要求1所述的红外热成像输电线路防外破监测系统，其特征在于，所述DWBlock模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成，其中纵向卷积操作输入通道数量和卷积核数量相同。
3.根据权利要求2所述的红外热成像输电线路防外破监测系统，其特征在于，所述数据填充操融合特征值；作指将所述红外图像或所述可见光图像的边界进行扩充，针对每个输入xi所述批处理归一化过程为：xi＝(xi-u)/(sqrt((xi-v)2)+e)，其中，u为输入{x1,x2,x3,…,xn}的均值，v为输入{x1,x2,x3,…,xn}的方差，e是一个小小偏置，防止分母趋向于0。
4.根据权利要求3所述的红外热成像输电线路防外破监测系统，其特征在于，对所述批处理归一化的结果xi进行了scale加上shift操作，即xi＝scale＊xi+shift，其中scale和shift通过学习得到。
5.根据权利要求4所述的红外热成像输电线路防外破监测系统，其特征在于，当输入为x时，所述残差模块输出为F(x)+x。
6.根据权利要求5所述的红外热成像输电线路防外破监测系统的建模方法，其特征在于，包括如下步骤：
S10通过红外摄像机采集红外图像，标注红外输电线路外破分割样本集；
S20构建卷积神经网络模块，将所述红外输电线路外破分割样本集输入至所述卷积神经网络模块，获得红外特征值；
S30构建双向循环神经网络模块，将所述红外特征值输入至所述双向循环神经网络模块按列和行扫描，具体公式如下：
其中，f代表循环神经网络RNN，所述红外特征值被分割成i×j块，o是结果，z是之前的状态，p是特征块内的特征值；以及
S40构建解码模块，将所述融合特征值输入所述解码模块，将所述解码模块输出至softmax层，完成建模。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010919200.2A CN112651421B (zh) | 2020-09-04 | 一种红外热成像输电线路防外破监测系统及其建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010919200.2A CN112651421B (zh) | 2020-09-04 | 一种红外热成像输电线路防外破监测系统及其建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112651421A true CN112651421A (zh) | 2021-04-13 |
| CN112651421B CN112651421B (zh) | 2024-05-28 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862906A (zh) * | 2022-04-11 | 2022-08-05 | 中山大学 | 一种基于双向循环卷积神经网络的可见光定位跟踪方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993055A (zh) * | 2019-02-21 | 2019-07-09 | 北京以萨技术股份有限公司 | 一种基于神经网络的连续异常图像检测方法 |
| CN110335260A (zh) * | 2019-06-27 | 2019-10-15 | 华东送变电工程有限公司 | 一种基于轻卷积神经网络的电力电缆破损检测方法 |
| CN110418210A (zh) * | 2019-07-12 | 2019-11-05 | 东南大学 | 一种基于双向循环神经网络和深度输出的视频描述生成方法 |
| CN110852199A (zh) * | 2019-10-28 | 2020-02-28 | 中国石化销售股份有限公司华南分公司 | 一种基于双帧编码解码模型的前景提取方法 |
| CN111062395A (zh) * | 2019-11-27 | 2020-04-24 | 北京理工大学 | 一种实时的视频语义分割方法 |
| CN111091130A (zh) * | 2019-12-13 | 2020-05-01 | 南京邮电大学 | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 |
| AU2020101229A4 (en) * | 2020-07-02 | 2020-08-06 | South China University Of Technology | A Text Line Recognition Method in Chinese Scenes Based on Residual Convolutional and Recurrent Neural Networks |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993055A (zh) * | 2019-02-21 | 2019-07-09 | 北京以萨技术股份有限公司 | 一种基于神经网络的连续异常图像检测方法 |
| CN110335260A (zh) * | 2019-06-27 | 2019-10-15 | 华东送变电工程有限公司 | 一种基于轻卷积神经网络的电力电缆破损检测方法 |
| CN110418210A (zh) * | 2019-07-12 | 2019-11-05 | 东南大学 | 一种基于双向循环神经网络和深度输出的视频描述生成方法 |
| CN110852199A (zh) * | 2019-10-28 | 2020-02-28 | 中国石化销售股份有限公司华南分公司 | 一种基于双帧编码解码模型的前景提取方法 |
| CN111062395A (zh) * | 2019-11-27 | 2020-04-24 | 北京理工大学 | 一种实时的视频语义分割方法 |
| CN111091130A (zh) * | 2019-12-13 | 2020-05-01 | 南京邮电大学 | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 |
| AU2020101229A4 (en) * | 2020-07-02 | 2020-08-06 | South China University Of Technology | A Text Line Recognition Method in Chinese Scenes Based on Residual Convolutional and Recurrent Neural Networks |
Non-Patent Citations (1)
| Title |
|---|
| 佃松宜等: "基于双向循环神经网络的跌倒行为识别", 《计算机工程与设计》, vol. 41, no. 07, pages 1 - 6 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114862906A (zh) * | 2022-04-11 | 2022-08-05 | 中山大学 | 一种基于双向循环卷积神经网络的可见光定位跟踪方法 |
| CN114862906B (zh) * | 2022-04-11 | 2024-05-07 | 中山大学 | 一种基于双向循环卷积神经网络的可见光定位跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444924B (zh) | 一种病虫害检测及灾害等级分析方法及系统 | |
| CN112396635B (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
| CN114612937A (zh) | 基于单模态增强的红外与可见光融合行人检测方法 | |
| CN114359838A (zh) | 一种基于高斯交叉注意力网络的跨模态行人检测方法 | |
| CN116503318A (zh) | 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备 | |
| CN115311186A (zh) | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 | |
| CN111444923A (zh) | 自然场景下图像语义分割方法和装置 | |
| CN112785479B (zh) | 一种基于少样本学习的图像隐形水印通用检测方法 | |
| CN112651421A (zh) | 一种红外热成像输电线路防外破监测系统及其建模方法 | |
| CN112651421B (zh) | 一种红外热成像输电线路防外破监测系统及其建模方法 | |
| CN116740567A (zh) | 用于泡桐幼苗栽培的土壤含水率检测方法及系统 | |
| CN111985625B (zh) | 一种红外-可见光融合的深度神经网络及其建模方法 | |
| CN113901868B (zh) | 一种变电现场安全监控方法及系统 | |
| CN114582012A (zh) | 一种骨架人体行为识别方法、装置及设备 | |
| CN113763471A (zh) | 一种基于视觉的弹孔检测方法及系统 | |
| CN111402223A (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 | |
| CN117152646B (zh) | 无人电力巡检ai轻量大模型方法及系统 | |
| CN114758387B (zh) | 基于单帧rgb图像的轻量级人脸反欺诈方法及装置 | |
| CN117557775B (zh) | 基于红外和可见光融合的变电站电力设备检测方法及系统 | |
| CN116682172A (zh) | 一种基于多模态多层次信息融合的行为识别方法及系统 | |
| CN117351311A (zh) | 一种基于双模态数据融合的变电站设备检测方法及系统 | |
| CN111986425A (zh) | 一种基于红外热成像的输电通道预警系统及其预警方法 | |
| CN116629088A (zh) | 一种基于深度学习的压强效应场分布预测方法 | |
| Wei et al. | Research on efficient image semantic segmentation algorithm for glass transparent containers based on improved DeepLabV3+ | |
| CN117315234A (zh) | 一种基于ai图像识别的电力智能巡视点位自动化生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |