CN111524135B - 基于图像增强的输电线路细小金具缺陷检测方法及系统 - Google Patents

基于图像增强的输电线路细小金具缺陷检测方法及系统 Download PDF

Info

Publication number
CN111524135B
CN111524135B CN202010393944.5A CN202010393944A CN111524135B CN 111524135 B CN111524135 B CN 111524135B CN 202010393944 A CN202010393944 A CN 202010393944A CN 111524135 B CN111524135 B CN 111524135B
Authority
CN
China
Prior art keywords
image
identification area
hardware
network
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010393944.5A
Other languages
English (en)
Other versions
CN111524135A (zh
Inventor
陈是同
徐海青
陶俊
梁翀
廖逍
余江斌
浦正国
白景坡
胡心颖
李小宁
张晓航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Anhui Jiyuan Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, Anhui Jiyuan Software Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010393944.5A priority Critical patent/CN111524135B/zh
Publication of CN111524135A publication Critical patent/CN111524135A/zh
Application granted granted Critical
Publication of CN111524135B publication Critical patent/CN111524135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于图像增强的输电线路细小金具缺陷检测方法及系统，包括：将输电线路图像导入细小金具缺陷检测系统中；细小金具缺陷检测系统基于单图像超分辨率技术对输电线路图像进行图像增强处理，获得超分辨率图像；细小金具缺陷检测系统基于超分辨率图像进行特征图提取；细小金具缺陷检测系统基于特征图进行细小金具目标定位，用于确定包含细小金具的识别区域的位置和大小；细小金具缺陷检测系统对识别区域内的细小金具目标缺陷进行检测，本发明在对细小金具进行目标识别检测之前，采用增强型超分辨率生成对抗网络ESRGAN进行超分辨率重建，获取到图像数据的高分辨率图像，对图像数据进行增强，显著提升细小金具缺陷检测精度。

Description

基于图像增强的输电线路细小金具缺陷检测方法及系统
技术领域
本发明涉及输电线路检测领域，具体涉及基于图像增强的输电线路细小金具缺陷检测方法及系统。
背景技术
电力螺栓等细小金具应用于我们常见的输电配送线路，需要经受较长时间的野外作业腐蚀和强烈的碰撞摩擦，在电网中拥有庞大的数量，起到座基、线路设备等的稳固作用。但是由于细小金具所处的环境复杂恶劣，同时也是极易发生破损的元件。一旦破损，就会引起供电中断从而影响整个电网的安全运行。目前通过深度学习图像识别技术对螺栓缺销子、螺栓缺螺母等缺陷图片进行图像识别处理，从而形成缺陷诊断。
但目前由于细小金具类故障缺陷目标太小，细小金具类缺陷由于在无人机拍摄的高清图像中像素占比极小，占原图比例小于5％，传统的深度学习图像识别方法特征提取过程中小目标像素信息损失严重，导致像素信息和语义信息无法均衡获取，严重影响检测精度。
发明内容
针对上述现有技术存在的问题，本发明提供了基于图像增强的输电线路细小金具缺陷检测方法，本发明在对细小金具进行目标识别检测之前，采用超分辨率重建技术对图像数据进行数据增强，获取纹理更清晰的高分辨率图像，在此基础上，采用了FPN特征金字塔算法进行特征图提取，利用FPN特征金字塔中低层次特征图中小目标的表现力和每一层特征图丰富的语义信息，提高对小目标细小金具检测的准确性，具体包括：
将无人机飞行器航拍获取的输电线路图像导入细小金具缺陷检测系统中；
细小金具缺陷检测系统基于单图像超分辨率技术对输电线路图像进行图像增强处理，获得超分辨率图像；
细小金具缺陷检测系统基于超分辨率图像进行特征图提取；
细小金具缺陷检测系统基于特征图进行细小金具目标定位，用于确定包含细小金具的识别区域的位置和大小；
细小金具缺陷检测系统对识别区域内的细小金具目标缺陷进行检测。
作为上述方案的进一步优化，所述细小金具缺陷检测系统基于单图像超分辨率技术对输电线路图像进行图像增强处理，采用训练好的增强型超分辨率生成对抗网络ESRGAN，其中，ESRGAN模型训练时：
基于导入的训练图像进行下采样获取对应的低分辨率图像；
将低分辨率图像输入生成网络中获取超分辨率图像，以原始的训练图像为标签数据计算生成网络的损失函数值，当生成网络的损失函数值小于0.1时，停止生成网络的训练；
将超分辨率图像和原始的训练图像输入判别网络中获取原始的训练图像比超分辨率图像更真实的概率，当判别网络的损失函数值小于0.1时，停止判别网络的训练；
ESRGAN模型进行待检测图像增强处理时：将导入的输电线路图像输入到ESRGAN模型的生成网络中获得对应的超分辨率图像。
作为上述方案的进一步优化，所述ESRGAN模型的训练过程采用小批量随机梯度下降优化方式对损失函数值进行优化，对网络参数迭代更新。
作为上述方案的进一步优化，所述基于超分辨率图像进行特征图提取，采用FPN特征金字塔算法先通过卷积网络获得输入图像的多层尺度不同的特征图，并基于多层尺度不同的特征图进行特征信息融合获得多个融合特征图。
作为上述方案的进一步优化，所述基于特征图进行细小金具目标定位采用RPN网络；
其中，在RPN网络训练时，将输电线路图像上的细小金具用标注框标注；
对每一层特征图上增加两个1*1卷积层，分别用于确定识别区域内是否具有细小金具目标，以及包含细小金具目标的识别区域与标注框的位置偏移量；
当识别区域与标注框的重叠面积大于第一预设值时，将该识别区域作为训练数据的正样本，当识别区域与标注框的重叠面积小于第二预设值时，该识别区域作为训练数据的负样本；
样本输入RPN网络后，其中一个1*1卷积层获取识别区域内具有细小金具目标的概率值，并将概率值大于第三预设值的识别区域信息输出；
基于概率值大于第三预设值的识别区域信息，结合另一个1*1卷积层输出的识别区域与标注框的位置偏移量，过滤掉概率值小于第三预设值的识别区域，以及面积太小和超出边界的识别区域；
在采用RPN网络进行细小金具目标定位时，输出识别区域具有细小金具目标的概率值大于第三预设值的识别区域信息。
作为上述方案的进一步优化，所述识别区域与标注框的重叠面积大于第一预设值，为识别区域与标注框区域的交并比Iou大于0.7；所述识别区域与标注框的重叠面积大于第一预设值，为识别区域与标注框区域的交并比Iou小于0.3；所述第三预设值为0.5。
作为上述方案的进一步优化，所述细小金具缺陷检测系统对识别区域内的细小金具目标缺陷进行检测，基于RPN网络输出的识别区域信息，映射到top-down网络的对应层特征图上，以获取识别区域内的特征数据，并将识别区域内的特征数据输入两个网络分别获得识别区域内的细小金具目标是否具有缺陷、识别区域与标注框的位置偏移量；
网络模型训练时，训练数据携带包含细小金具目标的标注框位置信息和细小金具目标是否具有缺陷的标注信息，基于网络模型输出、携带的标注框位置信息和标注信息、以及预设的损失函数值和参数更新函数对网络模型进行训练，直至满足停止迭代条件。
基于上述基于图像增强的输电线路细小金具缺陷检测方法，本发明还提供了基于图像增强的输电线路细小金具缺陷检测系统，包括：
输电线路图像导入模块，用于将无人机飞行器航拍获取的输电线路图像导入细小金具缺陷检测系统中；
图像增强处理模块，基于单图像超分辨率技术对输电线路图像进行图像增强处理，获得超分辨率图像；
特征图提取模块，基于超分辨率图像进行特征图提取；
细小金具目标定位模块，基于特征图进行细小金具目标定位，用于确定包含细小金具的识别区域的位置和大小；
细小金具缺陷检测模块，用于对识别区域内的细小金具目标缺陷进行检测。
作为上述方案的进一步优化，所述图像增强处理模块，采用训练好的增强型超分辨率生成对抗网络ESRGAN。
作为上述方案的进一步优化，所述特征图提取模块，采用FPN特征金字塔算法先通过卷积网络获得输入图像的多层尺度不同的特征图，并基于多层尺度不同的特征图进行特征信息融合获得多个融合特征图。
本发明的基于图像增强的输电线路细小金具缺陷检测方法，具备如下有益效果：
1.本发明的基于图像增强的输电线路细小金具缺陷检测方法，对于输电线路细小金具的小目标的识别检测，在对细小金具进行目标识别检测之前，采用增强型超分辨率生成对抗网络ESRGAN进行超分辨率重建，获取到图像数据的高分辨率图像，对图像数据进行增强，提高输电线路图像的纹理细节和视觉质量，提高了对小目标检测的准确性。
2.本发明的基于图像增强的输电线路细小金具缺陷检测方法，基于超分辨率重建技术获取的高分辨率图像，采用FPN特征金字塔进行特征图提取，利用FPN特征金字塔对检测小目标的优势，将低分辨率、高语义信息的高层特征与高分辨率、低语义信息的低层特征结合在一起，使每一个尺度下的特征均拥有十分丰富的语义信息；通过采用FPN特征金字塔算法提高了输电线路图形中的低层特征图上包含的细小金具目标信息的表现力，极大提高了细小金具目标的检测效果。
3.本发明的基于图像增强的输电线路细小金具缺陷检测方法，采用RPN网络获取输电线路细小金具目标的识别区域，根据对识别区域具有细小金具目标的概率值进行判断，将概率值大于第三预设值的识别区域确定为包含细小金具并作为用于检测细小金具缺陷的识别区域，并且通过网络获得的识别区域偏移量进行第一次修正，获得较为精确的识别区域，减小了整张图识别检测的复杂度，且基于精确的识别区域进行细小金具缺陷检测，提高了细小金具缺陷检测的准确度。
附图说明
图1为本发明基于图像增强的输电线路细小金具缺陷检测方法的整体流程框图；
图2为本发明基于图像增强的输电线路细小金具缺陷检测方法，增强型超分辨率生成对抗网络的训练流程框图；
图3为本发明基于图像增强的输电线路细小金具缺陷检测方法，增强型超分辨率生成对抗网络ESRGAN模型的生成网络结构图；
图4为本发明基于图像增强的输电线路细小金具缺陷检测方法，增强型超分辨率生成对抗网络ESRGAN模型的判别网络结构图；
图5为本发明基于图像增强的输电线路细小金具缺陷检测方法，提取特征图的FPN特征金字塔算法中的resnet18网络结构图；
图6为本发明基于图像增强的输电线路细小金具缺陷检测方法，进行细小金具目标定位的RPN网络训练过程框图；
图7为本发明基于图像增强的输电线路细小金具缺陷检测方法，进行细小金具缺陷检测的方法流程图；
图8为本发明基于图像增强的输电线路细小金具缺陷检测方法，采用的FPN网络、RPN网络和进行缺陷检测的网络整体结构图；
图9为本发明基于图像增强的输电线路细小金具缺陷检测系统的整体结构框图。
具体实施方式
下面结合具体实施例和附图对本发明的技术方案进行说明。
针对输电线路细小金具类故障缺陷目标太小，检测精度不高，以及传统的深度学习图像识别方法特征提取过程中小目标像素信息损失严重，导致像素信息和语义信息无法均衡获取的问题，本发明提供了基于图像增强的输电线路细小金具缺陷检测方法，包括：
将无人机飞行器航拍获取的输电线路图像导入细小金具缺陷检测系统中；
细小金具缺陷检测系统基于单图像超分辨率技术对输电线路图像进行图像增强处理，具体的，采用训练好的增强型超分辨率生成对抗网络ESRGAN，获得超分辨率图像；其中，ESRGAN模型训练时：
建立生成网络和判别网络，并设置生成器损失函数、判别网络的损失函数、损失函数优化方法以及训练停止的条件；
基于导入的训练图像进行下采样获取对应的低分辨率图像；本实施例中将原始图片6000*4000大小进行四倍下采样获得1500*1000大小的低分辨率图像；
将低分辨率图像输入生成网络中获取超分辨率图像，以原始的训练图像为标签数据计算生成网络的损失函数值，当生成网络的损失函数值小于0.1时，停止生成网络的训练；其中，生成网络损失函数为：
将超分辨率图像和原始的训练图像输入判别网络中获取原始的训练图像比超分辨率图像更真实的概率，当判别网络的损失函数值小于0.1时，停止判别网络的训练；其中，判别网络的损失函数为：
本实施例中，ESRGAN模型的训练过程采用小批量随机梯度下降优化方式对损失函数值进行优化，学习率设置为0.005，对网络参数迭代更新。
ESRGAN模型进行待检测图像增强处理时：将导入的输电线路图像输入到ESRGAN模型的生成网络中获得对应的超分辨率图像。
上述ESRGAN模型的生成网络结构如图3所示，其中Basic Block模块采用RRDB残差块，相比于传统的残差块网络，RRDB残差块网络去除了BN层并结合了密集连接。
上述ESRGAN模型的判别网络结构如图4所示，采用8层卷积和2层全连接层构成，激活函数采用Leaky Relu函数。
本实施例中，对输电线路图像进行细小金具缺陷识别之前，先对图像进行低分辨率图像到高分辨率图像的数据增强处理，提高输电线路图像的纹理细节和视觉质量，从而提高了图像的小目标识别的准确度。
细小金具缺陷检测系统基于超分辨率图像进行特征图提取；本实施例中，采用FPN特征金字塔算法先通过卷积网络获得输入图像的多层尺度不同的特征图，并基于多层尺度不同的特征图进行特征信息融合获得多个融合特征图。
应用FPN特征金字塔算法进行输电线路的特征图提取过程包括：
第一步，输电线路图像输入底层网络resnet18中得到从下到上依次缩小的特征图，记为C2、C3、C4、C5层；
所述resnet18网络结构如图5所示，由8个残差块构成，每两个残差块输出一层，输出维度分别为(64，M，N)、(128，M/2，N/2)、(256，M/4，N/4)、(512，M/8，N/8)，使用统一的表示方式为其中n(n≥2)表示输出层序号。训练时采用ImageNet预训练权重。
第二步，在C5上附加一个1×1卷积层来生成低分辨率图P5；
第三步，将低分辨率图P5做2倍上采样(为了简单起见，使用最近邻上采样)，然后与C4层按元素相加，得到融合了多层特征信息的P4层，依次类推得到与C3，C2对应的P3，P2层，其中，为了减少上采样的混叠效应，在每个合并的图上附加一个3×3卷积来生成最终的特征映射。
具体的，从resnet下采样层抽出C1、C2、C3、C4、C5层，连接时去掉C1层，尺寸缩小2倍，C2层缩小4倍，C3层缩小8倍，C4层缩小16倍，C5层缩小32倍，把高层的低分辨强语义的feature最近邻上采样2倍相乘与低层语义相加，经过3×3卷积核之后，作为预测层，P6层为P5层的0.5倍降采，在P2至P6五个预测层上，分别独立的进行预测，最后将每层的预测结果进行连接，融合。
由于FPN特征金字塔算法自顶向下的路径通过对在空间上更抽象但语义更强高层特征图进行上采样来生成高分辨率的特征，随后通过侧向连接从底向上的路径，使得高层特征得到增强，将低分辨率、高语义信息的高层特征与高分辨率、低语义信息的低层特征结合在一起，使每一个尺度下的特征均拥有十分丰富的语义信息；
通过采用FPN特征金字塔算法提高了输电线路图形中的低层特征图上包含的细小金具目标信息的表现力，极大提高了细小金具目标的检测效果。
由于金字塔的所有层次都像传统的特征化图像金字塔一样使用共享分类器/回归器，因此我们在所有特征图中固定特征维度d＝256，因此所有额外的卷积层都有256个通道的输出。
细小金具缺陷检测系统基于特征图进行细小金具目标定位，用于确定包含细小金具的识别区域的位置和大小；本实施例中，采用RPN网络获取精准的包含细小金具目标的识别区域；
其中，在RPN网络训练时，将输电线路图像上的细小金具用标注框标注；
对每一层特征图上增加两个1*1卷积层，分别用于确定识别区域内是否具有细小金具目标，以及包含细小金具目标的识别区域与标注框的位置偏移量；
当识别区域与标注框的重叠面积大于第一预设值时，即识别区域与标注框区域的交并比Iou大于0.7时，将该识别区域作为训练数据的正样本，当识别区域与标注框的重叠面积小于第二预设值时，即识别区域与标注框区域的交并比Iou小于0.3时，该识别区域作为训练数据的负样本；
样本输入RPN网络后，其中一个1*1卷积层获取识别区域内具有细小金具目标的概率值，并将概率值大于第三预设值的识别区域信息输出；其中第三预设值为0.5，识别区域信息包括识别区域的中心坐标、高和宽数据、以及识别区域具有细小金具目标的概率值。
基于概率值大于第三预设值的识别区域信息，结合另一个1*1卷积层输出的识别区域与标注框的位置偏移量，过滤掉概率值小于第三预设值的识别区域，以及面积太小和超出边界的识别区域，输出图像中的识别区域位置，该识别区域位置包含细小金具并作为用于检测细小金具缺陷的识别区域，根据预设的RPN网络的损失函数、输出的识别区域位置和标注框的位置，判断输出的识别区域位置与真实的标注框的位置的差距，进行网络参数迭代更新，以使输出的识别区域位置与真实的标注框的位置差距逐渐减小。
在采用RPN网络进行细小金具目标定位时，获取识别区域具有细小金具目标的概率值大于第三预设值的识别区域信息，包括识别区域的中心坐标、高和宽数据、识别区域具有细小金具目标的概率值、以及识别区域与标注框的位置偏移量，并基于位置偏移量对概率值大于第三预设值的识别区域进行第一次修正。
在采用RPN网络进行细小金具目标定位后，即识别区域进行第一次修正后，输出较为准确的识别区域检测细小金具缺陷，将识别区域位置信息映射到原图上，获取该识别区域在原图的坐标位置，包括中心点位置和长宽，映射到top-down网络的对应层特征图上，并对特征图上的识别区域进行池化Pooling，确保识别区域大小均为7*7。
细小金具缺陷检测系统对识别区域内的细小金具目标缺陷进行检测，本实施例中，基于RPN网络输出的识别区域信息，映射到top-down网络的对应层特征图上，以获取识别区域内的特征数据，并将识别区域内的特征数据输入两个网络分别获得识别区域内的细小金具目标是否具有缺陷、识别区域与标注框的位置偏移量；
网络模型训练时，训练数据携带包含细小金具目标的标注框位置信息和细小金具目标是否具有缺陷的标注信息，基于网络模型输出、携带的标注框位置信息和标注信息、以及预设的损失函数值和参数更新函数对网络模型进行训练，直至满足停止迭代条件。
具体的，两个网络分别为分类网络和回归网络，本实施例中，基于池化后生成的7*7大小的特征图展开成一维，并分别接两个1024层的全连接层，其中一个全连接层后面接入一个分类网络，输出细小金具目标是否具有缺陷的概率值；另一个全连接层后面接入一个回归网络，输出为该识别区域的中心点偏移和长宽偏移值，以对识别区域进行第二次修正，获取精确的识别区域。
基于基于图像增强的输电线路细小金具缺陷检测方法，本发明中提供了基于图像增强的输电线路细小金具缺陷检测系统，包括：
输电线路图像导入模块，用于将无人机飞行器航拍获取的输电线路图像导入细小金具缺陷检测系统中；
图像增强处理模块，基于单图像超分辨率技术对输电线路图像进行图像增强处理，获得超分辨率图像；本实施例中采用训练好的增强型超分辨率生成对抗网络ESRGAN；
特征图提取模块，基于超分辨率图像进行特征图提取；本实施例中采用FPN特征金字塔算法先通过卷积网络获得输入图像的多层尺度不同的特征图，并基于多层尺度不同的特征图进行特征信息融合获得多个融合特征图。
细小金具目标定位模块，基于特征图进行细小金具目标定位，用于确定包含细小金具的识别区域的位置和大小；
细小金具缺陷检测模块，用于对识别区域内的细小金具目标缺陷进行检测。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。

Claims (5)

1.基于图像增强的输电线路细小金具缺陷检测方法，其特征在于：包括：
将无人机飞行器航拍获取的输电线路图像导入细小金具缺陷检测系统中；
细小金具缺陷检测系统基于单图像超分辨率技术对输电线路图像进行图像增强处理，获得超分辨率图像；
细小金具缺陷检测系统基于超分辨率图像进行特征图提取；
细小金具缺陷检测系统基于特征图进行细小金具目标定位，用于确定包含细小金具的识别区域的位置和大小；
细小金具缺陷检测系统对识别区域内的细小金具目标缺陷进行检测；
所述细小金具缺陷检测系统基于单图像超分辨率技术对输电线路图像进行图像增强处理，采用训练好的增强型超分辨率生成对抗网络ESRGAN，其中，
ESRGAN模型训练时：基于导入的训练图像进行下采样获取对应的低分辨率图像；将低分辨率图像输入生成网络中获取超分辨率图像，以原始的训练图像为标签数据计算生成网络的损失函数值，当生成网络的损失函数值小于0.1时，停止生成网络的训练；将超分辨率图像和原始的训练图像输入判别网络中获取原始的训练图像比超分辨率图像更真实的概率，当判别网络的损失函数值小于0.1时，停止判别网络的训练；
ESRGAN模型进行待检测图像增强处理时：将导入的输电线路图像输入到ESRGAN模型的生成网络中获得对应的超分辨率图像；
所述基于超分辨率图像进行特征图提取，采用FPN特征金字塔算法先通过卷积网络获得输入图像的多层尺度不同的特征图，并基于多层尺度不同的特征图进行特征信息融合获得多个融合特征图；
所述基于特征图进行细小金具目标定位采用RPN网络；其中，
在RPN网络训练时，将输电线路图像上的细小金具用标注框标注；对每一层特征图上增加两个1*1卷积层，分别用于确定识别区域内是否具有细小金具目标，以及包含细小金具目标的识别区域与标注框的位置偏移量；当识别区域与标注框的重叠面积大于第一预设值时，将该识别区域作为训练数据的正样本，当识别区域与标注框的重叠面积小于第二预设值时，该识别区域作为训练数据的负样本；样本输入RPN网络后，其中一个1*1卷积层获取识别区域内具有细小金具目标的概率值，并将概率值大于第三预设值的识别区域信息输出；基于概率值大于第三预设值的识别区域信息，结合另一个1*1卷积层输出的识别区域与标注框的位置偏移量，过滤掉概率值小于第三预设值的识别区域，以及面积太小和超出边界的识别区域；
在采用RPN网络进行细小金具目标定位时，输出识别区域具有细小金具目标的概率值大于第三预设值的识别区域信息。
2.根据权利要求1所述的基于图像增强的输电线路细小金具缺陷检测方法，其特征在于：所述ESRGAN模型的训练过程采用小批量随机梯度下降优化方式对损失函数值进行优化，对网络参数迭代更新。
3.根据权利要求1所述的基于图像增强的输电线路细小金具缺陷检测方法，其特征在于：所述识别区域与标注框的重叠面积大于第一预设值，为识别区域与标注框区域的交并比Iou大于0.7；所述识别区域与标注框的重叠面积大于第一预设值，为识别区域与标注框区域的交并比Iou小于0.3；所述第三预设值为0.5。
4.根据权利要求1所述的基于图像增强的输电线路细小金具缺陷检测方法，其特征在于：所述细小金具缺陷检测系统对识别区域内的细小金具目标缺陷进行检测，基于RPN网络输出的识别区域信息，映射到top-down网络的对应层特征图上，以获取识别区域内的特征数据，并将识别区域内的特征数据输入两个网络分别获得识别区域内的细小金具目标是否具有缺陷、识别区域与标注框的位置偏移量；
网络模型训练时，训练数据携带包含细小金具目标的标注框位置信息和细小金具目标是否具有缺陷的标注信息，基于网络模型输出、携带的标注框位置信息和标注信息、以及预设的损失函数值和参数更新函数对网络模型进行训练，直至满足停止迭代条件。
5.基于图像增强的输电线路细小金具缺陷检测系统，其特征在于：包括：
输电线路图像导入模块，用于将无人机飞行器航拍获取的输电线路图像导入细小金具缺陷检测系统中；
图像增强处理模块，基于单图像超分辨率技术对输电线路图像进行图像增强处理，获得超分辨率图像；
特征图提取模块，基于超分辨率图像进行特征图提取；
细小金具目标定位模块，基于特征图进行细小金具目标定位，用于确定包含细小金具的识别区域的位置和大小；
细小金具缺陷检测模块，用于对识别区域内的细小金具目标缺陷进行检测;
所述图像增强处理模块中，采用训练好的增强型超分辨率生成对抗网络ESRGAN，其中，
ESRGAN模型训练时：基于导入的训练图像进行下采样获取对应的低分辨率图像；将低分辨率图像输入生成网络中获取超分辨率图像，以原始的训练图像为标签数据计算生成网络的损失函数值，当生成网络的损失函数值小于0.1时，停止生成网络的训练；将超分辨率图像和原始的训练图像输入判别网络中获取原始的训练图像比超分辨率图像更真实的概率，当判别网络的损失函数值小于0.1时，停止判别网络的训练；
ESRGAN模型进行待检测图像增强处理时：将导入的输电线路图像输入到ESRGAN模型的生成网络中获得对应的超分辨率图像；
所述特征图提取模块中，基于超分辨率图像进行特征图提取，采用FPN特征金字塔算法先通过卷积网络获得输入图像的多层尺度不同的特征图，并基于多层尺度不同的特征图进行特征信息融合获得多个融合特征图；
所述细小金具目标定位模块中，基于特征图进行细小金具目标定位采用RPN网络；其中，
在RPN网络训练时，将输电线路图像上的细小金具用标注框标注；对每一层特征图上增加两个1*1卷积层，分别用于确定识别区域内是否具有细小金具目标，以及包含细小金具目标的识别区域与标注框的位置偏移量；当识别区域与标注框的重叠面积大于第一预设值时，将该识别区域作为训练数据的正样本，当识别区域与标注框的重叠面积小于第二预设值时，该识别区域作为训练数据的负样本；样本输入RPN网络后，其中一个1*1卷积层获取识别区域内具有细小金具目标的概率值，并将概率值大于第三预设值的识别区域信息输出；基于概率值大于第三预设值的识别区域信息，结合另一个1*1卷积层输出的识别区域与标注框的位置偏移量，过滤掉概率值小于第三预设值的识别区域，以及面积太小和超出边界的识别区域；
在采用RPN网络进行细小金具目标定位时，输出识别区域具有细小金具目标的概率值大于第三预设值的识别区域信息。
CN202010393944.5A 2020-05-11 2020-05-11 基于图像增强的输电线路细小金具缺陷检测方法及系统 Active CN111524135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010393944.5A CN111524135B (zh) 2020-05-11 2020-05-11 基于图像增强的输电线路细小金具缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010393944.5A CN111524135B (zh) 2020-05-11 2020-05-11 基于图像增强的输电线路细小金具缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN111524135A CN111524135A (zh) 2020-08-11
CN111524135B true CN111524135B (zh) 2023-12-26

Family

ID=71908728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010393944.5A Active CN111524135B (zh) 2020-05-11 2020-05-11 基于图像增强的输电线路细小金具缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN111524135B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967538B (zh) * 2020-09-25 2024-03-15 北京康夫子健康技术有限公司 应用于小目标检测的特征融合方法、装置、设备以及存储介质
CN112529859A (zh) * 2020-12-04 2021-03-19 广东电网有限责任公司佛山供电局 一种配电设备缺陷检测方法及系统
CN112419316A (zh) * 2020-12-14 2021-02-26 国网浙江省电力有限公司 一种跨设备可见光纹理缺陷检测方法及装置
CN112528971B (zh) * 2021-02-07 2021-06-04 北京智芯微电子科技有限公司 基于深度学习的输电线路异常目标检测方法及系统
CN113160050B (zh) * 2021-03-25 2023-08-25 哈尔滨工业大学 基于时空神经网络的小目标识别方法及系统
CN113159063B (zh) * 2021-03-30 2022-11-18 电子科技大学 一种基于改进的RetinaNet小目标检测方法
CN113284123B (zh) * 2021-06-01 2022-07-12 浙江工商大学 基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法
US11619593B2 (en) 2021-06-01 2023-04-04 Zhejiang Gongshang University Methods and systems for detecting a defect of a film
CN113533369B (zh) * 2021-06-21 2024-05-17 国网山东省电力公司鱼台县供电公司 一种输电线路巡检装置
CN113435407B (zh) * 2021-07-20 2023-01-24 广东电网有限责任公司 一种输电系统的小目标识别方法及装置
CN113436217A (zh) * 2021-07-23 2021-09-24 山东大学 基于深度学习的无人车环境检测方法
CN114092474B (zh) * 2022-01-19 2022-05-13 深圳市杰美特科技股份有限公司 一种手机外壳复杂纹理背景的加工缺陷检测方法及系统
CN114397306B (zh) * 2022-03-25 2022-07-29 南方电网数字电网研究院有限公司 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法
CN114596624B (zh) * 2022-04-20 2022-08-05 深圳市海清视讯科技有限公司 人眼状态检测方法、装置、电子设备及存储介质
CN115082775B (zh) * 2022-07-27 2022-12-02 中国科学院自动化研究所 基于图像分块的超分辨率增强小目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN110314854A (zh) * 2019-06-06 2019-10-11 苏州市职业大学 一种基于视觉机器人的工件检测分拣的装置及方法
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110827251A (zh) * 2019-10-30 2020-02-21 江苏方天电力技术有限公司 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN110826416A (zh) * 2019-10-11 2020-02-21 佛山科学技术学院 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065893B1 (ja) * 2006-12-04 2008-03-26 東京エレクトロン株式会社 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
US20140270347A1 (en) * 2013-03-13 2014-09-18 Sharp Laboratories Of America, Inc. Hierarchical image classification system
CN107704857B (zh) * 2017-09-25 2020-07-24 北京邮电大学 一种端到端的轻量级车牌识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192397A1 (zh) * 2018-04-04 2019-10-10 华中科技大学 一种任意形状的场景文本端到端识别方法
CN110314854A (zh) * 2019-06-06 2019-10-11 苏州市职业大学 一种基于视觉机器人的工件检测分拣的装置及方法
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110826416A (zh) * 2019-10-11 2020-02-21 佛山科学技术学院 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置
CN110827251A (zh) * 2019-10-30 2020-02-21 江苏方天电力技术有限公司 一种基于航拍图像的输电线路锁紧销缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
蔡彪 ; 沈宽 ; 付金磊 ; 张理泽 ; .基于Mask R-CNN的铸件X射线DR图像缺陷检测研究.仪器仪表学报.2020,(03),全文. *
韩明 ; 吴庆祥 ; 曾雄军 ; .基于深度学习的齿轮视觉微小缺陷检测.计算机系统应用.2020,(03),全文. *

Also Published As

Publication number Publication date
CN111524135A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111524135B (zh) 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
CN110264416B (zh) 稀疏点云分割方法及装置
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110570353A (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN112183203B (zh) 一种基于多尺度像素特征融合的实时交通标志检测方法
CN110738697A (zh) 基于深度学习的单目深度估计方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN110633661A (zh) 一种融合语义分割的遥感图像目标检测方法
CN110517306B (zh) 一种基于深度学习的双目深度视觉估计的方法和系统
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN106295613A (zh) 一种无人机目标定位方法及系统
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN111709307B (zh) 一种基于分辨率增强的遥感图像小目标检测方法
TW202225730A (zh) 基於深度學習之高效率光達物件偵測方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN116958782A (zh) 一种红外与可见光特征融合的弱小目标检测方法及装置
CN110633706A (zh) 一种基于金字塔网络的语义分割方法
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
CN112766381A (zh) 有限样本下属性引导的sar图像生成方法
CN117173412A (zh) 一种基于CNN和Transformer融合网络的医学图像分割方法
CN116523742A (zh) 基于双路对抗生成网络的卫星遥感图像超分辨重建技术
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant