CN114841972A - 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 - Google Patents

基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 Download PDF

Info

Publication number
CN114841972A
CN114841972A CN202210506022.XA CN202210506022A CN114841972A CN 114841972 A CN114841972 A CN 114841972A CN 202210506022 A CN202210506022 A CN 202210506022A CN 114841972 A CN114841972 A CN 114841972A
Authority
CN
China
Prior art keywords
image
transmission line
power transmission
resolution
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210506022.XA
Other languages
English (en)
Other versions
CN114841972B (zh
Inventor
杨强
徐昊
苏超
曹园
蒋迪
邱恺頔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210506022.XA priority Critical patent/CN114841972B/zh
Publication of CN114841972A publication Critical patent/CN114841972A/zh
Priority to US18/081,368 priority patent/US20230360390A1/en
Application granted granted Critical
Publication of CN114841972B publication Critical patent/CN114841972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，包括以下步骤。步骤1：对数据集进行数据清理和划分；步骤2：通过EL‑ESRGAN超分辨率增广算法，对输电线路小目标进行超分辨率图像生成；步骤3：通过构建嵌套U型网络，对数据集进行图像显著性检测；步骤4：通过Gridmask和随机擦除(Cut Out)算法，对数据集进行基于显著性图的数据增广，生成分类数据集；步骤5：通过深度语义嵌入的特征金字塔分类网络，利用ResNet34分类算法对的正常集和缺陷集进行图片分类。本发明将图像显著性检测和数据增广结合，通过深度语义嵌入的特征金字塔分类网络作为ResNet34分类的补充，用于无人机输电线路巡检图像中故障识别，具有较强的系统鲁棒性。

Description

基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别 方法
技术领域
本发明涉及输电线路巡检图像处理，尤其是涉及一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法。
背景技术
输电线路缺陷的识别在工业实践中经济性较好、识别速率较快的常用方法是依靠图像分类模型对输电线路进行目标检测后的输出图像进行分类，以区分部件是否存在故障。但是在实践中，大部分输电线路目标图像都是无缺陷图像，不能用于训练缺陷识别和分析的监督学习模型，这种有缺陷和无缺陷样本不平衡被称为长尾效应。为了解决此问题，可以在数据级别进行增广，采用重采样的方式为样本不足的类别生成新样本，这种方式将导致少数样本的过度采样从而导致模型过拟合，直接降低特征提取的模型性能。
本发明针对输电线路缺陷识别问题，提出了一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法。其创新性以及技术贡献主要体现在以下的几个方面：
(1)引入超分辨率对抗生成网络对输电线路小尺寸目标进行数据增广与语义信息扩充，解决了输电线路小尺寸目标边界不清、语义信息不足的问题；
(2)引入显著性图对图像的显著性进行标注，同时引导对非显著特征进行擦除，以最大限度的保留缺陷特征并得到更多的缺陷数据增广，解决随机擦除算法对缺陷图片中显著特征擦除，导致分类模型难以学习到缺陷特征问题；
(3)与现存的缺陷识别模型相比，本发明构建基于深度语义嵌入的增强特征金字塔分类网络，对输电线路目标物的正常数据集和缺陷数据集进行分类训练，更加贴合实际缺陷识别工作对实时性和准确性的需求。
实验结果表明，本发明提出的模型的精确度高、鲁棒性强、缺陷查全率高，能较好的解决输电线路缺陷识别问题。
发明内容
本发明的目的在于提供一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法。通过EL-ESRGAN超分辨率增广算法，对输电线路小目标进行超分辨率图像生成；通过构建嵌套U型网络，对缺陷数据集进行基于显著性图的图像显著性检测，并引导Gridmask和随机擦除(Cut Out)算法，对缺陷数据集进行基于显著性图的数据增广；通过构建深度语义嵌入的特征金字塔分类网络，在ResNet34分类算法的基础上对输电线路目标图像进行缺陷识别。
本发明公开了一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，包括以下步骤：
1)将输电线路目标图像作为数据集，根据输电线路是否有缺陷标记为正常集合和缺陷集合；根据目标图像的尺寸大小，按照给定阈值划分小目标集合和非小目标集合；
2)针对小目标集合，经过EL-ERSGAN超分辨率增广算法进行图像超分辨率拓展；将非小目标集合和经过图像超分辨率拓展后的小目标集合组合后，压缩成同一尺寸，并划分训练集和测试集；
3)通过嵌套显著性检测网络U2-Net生成训练集图像的显著性图，通过形态学膨胀算法保证目标关键区域的完整性，在显著性分数低于阈值部分随机生成擦除区域，并填充随机像素形成数据增广后的图像集合；
4)将数据增广后的图像及其标签输入到深度语义嵌入的特征金字塔分类网络进行训练，获得训练好的分类器；
5)实时获取输电线路巡检的目标图像数据，并作为训练好的分类器的输入，输出识别结果。
作为本发明的可选实施方案，步骤2)所述的经过EL-ERSGAN超分辨率增广算法进行图像超分辨率拓展，具体包括：
2.1)对EL-ERSGAN超分辨率增广模型的生成器和鉴别器的损失函数进行定义，其公式如下：
Figure BDA0003634771690000021
Figure BDA0003634771690000022
式中，
Figure BDA0003634771690000023
表示生成器的GAN损失函数，
Figure BDA0003634771690000024
表示鉴别器的GAN损失函数，DRa(xr,xf)代表鉴别图像比虚假图像更真实的概率，DRa(xf,xr)表示鉴别图像比真实图像更虚假的概率，
Figure BDA0003634771690000031
代表对处理批次中所有虚假数据进行的平均操作，xi代表输入GAN网络的低分辨率图像，xf表示GAN网络生成的判定为虚假的鉴别图像，xr表示GAN网络生成的判定为真实的鉴别图像；
2.2)使用输电线路非小目标集合训练超分辨率增广模型EL-ERSGAN的生成器得到一个二阶退化模型，并使用L1损失函数、感知损失函数和
Figure BDA0003634771690000032
所表示的GAN损失函数共同构建EL-ERSGAN的整体损失函数，训练得到EL-ERSGAN模型；
2.3)使用训练后的EL-ERSGAN模型对输电线路小目标集合进行超分辨率图像增广。
作为本发明的可选实施方案，所述步骤3)具体为：
3.1)以残差块网络结构为基础，构建U型残差块网络；
3.2)通过堆叠3.1)中所述U型残差块网络，构建11阶段组成的嵌套显著性检测网络U2-Net；
3.3)使用嵌套显著性检测网络U2-Net生成输电线路目标图像的显著分数，通过形态学膨胀的确保算法保证目标关键区域的完整性，生成图像掩膜区域；
3.4)随机选择GridMask和随机擦除算法在图像掩膜区域进行随机擦除，并填充随机像素。
作为本发明的可选实施方案，所述步骤4)采用的深度语义嵌入的特征金字塔分类网络，包括：
ResNet特征提取模块，其输入为输电线路目标图像，输出为该图像不同尺度的特征；
特征增强金字塔模块，其输入为ResNet特征提取模块生成的不同尺度的特征，输出为相邻尺度的融合特征；
深层语义嵌入模块(DSE)，其输入为特征增强金字塔模块生成的融合特征，输出为具有丰富语义信息的低分辨率特征和具有丰富位置信息的高分辨率特征；
深度特征融合模块(DFF)，其输入为深层语义嵌入模块生成的低分辨率特征与高分辨率特征，输出为高分辨率和低分辨率特征经过卷积、池化操作后的特征向量；
图像分类网络(OC)，其输入为深度特征融合模块生成的高分辨率特征和低分辨率特征的特征向量，输出为输电线路巡检目标是否存在故障的分类结果。
作为本发明的可选实施方案，所述步骤1)使用的数据集为输电线路绝缘子自爆数据集。
根据本发明的一个具体实施方案，以步骤2)中构建的输电线路绝缘子图像训练集训练得到深度语义嵌入的特征金字塔分类网络，用步骤2)中构建的输电线路绝缘子图像测试集测试分类网络，并以网络分类准确率和F2-Score作为分类效果评估指标。
在本发明的一个实施例中，所述步骤5)具体为：
(a)获得输电线路巡检图像中的绝缘子图像；
(b)将裁剪图像输入深度语义嵌入的特征金字塔分类网络；
(c)深度语义嵌入的特征金字塔分类网络输出绝缘子是否存在缺陷。
与现有技术相比，本发明所具有的有益效果有：
(1)本发明采用EL-ESRGAN超分辨率增广算法，克服了现有技术中小目标信息缺失、正负样本分类不平衡、缺陷目标数量不足的问题，从而增强了输电线路小目标数据集的图像清晰度和实例的可解释性，同时对复杂极端背景下的小目标数据增广提供了训练方案。
(2)本发明采用基于嵌套U型网络的图像显著性检测引导自适应缺陷数据增强的方法，克服了传统数据增广方法中可能导致的分类特征掩盖问题，节约了大量像素级别语义分割的标注工作量，从而实现对输电线路目标物中感兴趣区域的提取和对背景目标的随机遮挡。
(3)本发明采用基于深度语义嵌入的增强特征金字塔分类网络，克服了常规目标分类网络中全局图像级特征和局部目标级特征融合不佳，无法对高空间复杂度图像、类内形态学差异变化较大的输电线路缺陷目标进行识别的问题，从而有效提升了对输电线路缺陷识别能力和感知鲁棒性，为输电线路智能缺陷识别提供可行的实施路径。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图；
图2为EL-ESRGAN中生成器G的主体结构图；
图3为EL-ESRGAN中生成器G的密集连接的残差密集块(RRDB)结构图；
图4为EL-ESRGAN中带谱归一化的U-Net结构鉴别器D结构图；
图5为EL-ESRGAN对输电线路绝缘子图像的放大效果对比；
图6为嵌套U型网络中基本块U型残差块网络(RSU)结构图；
图7为嵌套U型网络U2-Net结构图；
图8为基于深度语义嵌入的增强特征金字塔分类网络结构图；
图9为基于深度语义嵌入的增强特征金字塔分类网络的增强特征金字塔(EFPN)结构图；
图10为基于深度语义嵌入的增强特征金字塔分类网络的深层语义嵌入模块(DSE)结构图；
图11为基于深度语义嵌入的增强特征金字塔分类网络的消缺实验中网络模型的精确率对比。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，针对输电线路缺陷识别数据增广和图像分类问题，本发明提供了一种输电线路小尺寸缺陷识别方法，其包括以下步骤：
1)将输电线路目标图像作为数据集，根据输电线路是否有缺陷标记为正常集合和缺陷集合；根据目标图像的尺寸大小，按照给定阈值划分小目标集合和非小目标集合；
2)针对小目标集合，经过EL-ERSGAN超分辨率增广算法进行图像超分辨率拓展；将非小目标集合和经过图像超分辨率拓展后的小目标集合组合后，压缩成同一尺寸，并划分训练集和测试集；
3)通过嵌套显著性检测网络U2-Net生成训练集图像的显著性图，通过形态学膨胀算法保证目标关键区域的完整性，在显著性分数低于阈值部分随机生成擦除区域，并填充随机像素形成数据增广后的图像集合；
4)将数据增广后的图像及其标签输入到深度语义嵌入的特征金字塔分类网络进行训练，获得训练好的分类器；
5)实时获取输电线路巡检的目标图像数据，并作为训练好的分类器的输入，输出识别结果。
在步骤2)中，EL-ESRGAN中生成器G的主体结构图参阅图2所示，使用密集连接的残差密集块(RRDB)作为网络基本块，其结构参阅图3所示。EL-ESRGAN中鉴别器D使用带谱归一化的U-Net结构，其结构参阅图4所示。带有跳过连接的U-Net网络设计，能生成精确的梯度反馈，输出每个像素的真实值，并可以向生成器提供详细的像素反馈。但是，U-Net网络结构和复杂的退化过程也极大的增加了训练的不稳定性。因此引入谱归一化来稳定训练动态，同时也有助于缓解GAN训练带来的超锐度和伪影，并在局部细节增强和伪影抑制之间实现良好的平衡。
参阅图5所示，对比原图和对抗生成图像，步骤2)中构建的EL-ERSGAN超分辨率增广算法能对不同类别的低分辨路输电线路目标进行有效的像素扩充与语义信息增广。
在步骤3)中，使用嵌套U型网络U2-Net结构生成图像的显著性分数，其结构参阅图7所示，该结构由11个阶段组成U型结构，每个阶段都配置一个U型残差块网络(RSU)。其中U型残差块网络(RSU)负责提取特征层内的多尺度特征，而大的U型结构负责聚合特征层间的多级特征。
U型残差块网络(RSU)的结构参阅图6所示，其中L是编码器层数(默认为7)，Cin和Cout分别是输入特征图和输出特征图的通道数，M表示隐藏层的通道数。在输入卷积层，将输入特征图转换为通道数为Cout的中间特征图，用于局部特征提取。将中间特征图输入U型对称编码解码器，学习提取和编码多尺度上下文信息，通过下采样的特征图提取多尺度特征，通过逐步的上采样、张量相加和卷积操作生成高分辨率的特征图，在一定程度的上减轻了大尺度直接上采样引起的细节损失，并通过张量相加的方式实现局部特征和多尺度特征的残差连接。
图7中编码器En1—En4分别使用U型残差块网络RSU-7、RSU-6、RSU-5和RSU-4四个不同高度的U型残差块网络(RSU)来对高分辨率特征图进行信息捕获。编码器En5和En6由于特征图分辨率较低，继续下采样将导致上下文信息丢失，因此将U型残差块网络(RSU)中的池化和上采样操作替换成扩张卷积操作以保持所有特征图和输入特征图分辨率一致,其结构命名为RSU-4F。每个解码器De阶段以上一阶段的上采样特征图和来自对称编码器的特征图，进行张量拼接后作为解码器的输入。每层解码器通过一个卷积核大小为3×3的卷积层和一个Sigmoid函数分离出中间层，在将中间层通过上采样扩展到输入图像大小，将6个中间层通过张量拼接后再通过一个卷积核大小为3×3的卷积层和一个Sigmoid函数，以生成最终的显著性图。
步骤3)使用嵌套U型网络U2-Net的显著性图引导图像增广，其算法的实现包含以下步骤：
a)算法的输入为目标图像img和由嵌套U型网络生成的显著性灰度图grayscale；
b)计算grayscale中的灰度值中值θ，和灰度图中像素(i,j)的显著性值grayscaleij，通过公式binary＝{grayscaleij≥θ}i∈width,j∈height计算其是否为识别目标；
c)对识别目标进行两次形态学膨胀计算
Figure BDA0003634771690000071
其中B为拓展保护区域的大小为5×5的结构元素，
Figure BDA0003634771690000072
为形态学膨胀计算符号；
d)随机选择GridMask和随机擦除算法，当掩膜集合非空：若选择GridMask算法，随机选择GridMask的网格编号d和网格中的信息保留比例rg，同时生成掩膜集合；若选择随机擦除算法，随机选择随机擦除的擦除区域比例s和擦除区域的纵横比rc，同时生成掩膜集合；
e)擦除原始图像中掩膜集合的像素信息，并填充随机像素，得到数据增广后的图像img。
步骤4)中基于深度语义嵌入的增强特征金字塔分类网络参阅图8所示。其中，以ResNet34作为残差网络，用于图像特征采集与传递；特征增强金字塔模块(EFPN)参阅图9所示，用于生成多层次多尺度的初始特征图；深层语义嵌入模块(DSE)参阅图10所示，用于生成具有丰富语义和高空间分辨率特征；深度特征融合模块(DFF)，用于分别处理高分辨率和低分辨率特征；图像分类网络(OC)，用于对输电线路巡检目标进行缺陷分类。
深度特征融合模块(DFF)中，高层特征图特征处理通过两个残差块和一个旁路连接组成，残差块的配置如表1所示，每层卷积后连接一个批归一化层和一个非线性变换的ReLU激活层。
表1
Figure BDA0003634771690000081
低层特征图特征处理结构与高层特征图特征处理类似，但使用空洞卷积残差块代替原有残差块，空洞卷积残差块配置如表2所示，每层卷积后连接一个批归一化层和一个非线性变换的ReLU激活层。
表2
Figure BDA0003634771690000082
以ResNet34作为基准，对本发明中各模块进行消缺实验，实验结果参阅图11所示，在整体分类准确率方面，本发明提出的网络结构比基准网络ResNet34高3.44％，并在缺陷集准确率上提升了14.33％，对缺陷集的分类提升效果显著。同时通过对比消缺实验，可以发现本发明提出的EFPN+DSE+DFF三模块组合方式，比其他模型在分类任务上表现更优异。三个模块中，增强特征金字塔模块(EFPN)的对模型准确率提升的效果最突出，通过加强各级特征图的语义，为目标分类和特征融合提供足够充分的信息。
在输电线路缺陷识别的工作中，需要在保证精确率的前提下提高召回率，以尽可能的发现故障，以减少对输电安全可能造成的隐患。因此引入F-Score作为衡量精确率和召回率的评估指标，定义为：
Figure BDA0003634771690000091
本发明中各模型的精确率、召回率与F-Score如表3所示：
表3
Figure BDA0003634771690000092
为尽量对输电线路缺陷进行查全，避免停电隐患，以召回率更高、更趋向于要求尽量查全所有隐患的F2-Score为评估指标，本发明提出的深度语义嵌入的增强特征金字塔分类网络能较好的查找到更多的隐患。
本发明中步骤2)和步骤3)的数据增广消缺实验结果如表4所示：
表4
Figure BDA0003634771690000093
由表4可知，数据增广手段对缺陷集的准确率提升更加有效，原因是数据增广手段将更多的背景因素与识别目标进行解耦，对分类准确率本来较低的缺陷集提升效果更明显。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，其特征在于包括以下步骤：
1)将输电线路目标图像作为数据集，根据输电线路是否有缺陷标记为正常集合和缺陷集合；根据目标图像的尺寸大小，按照给定阈值划分小目标集合和非小目标集合；
2)针对小目标集合，经过EL-ERSGAN超分辨率增广算法进行图像超分辨率拓展；将非小目标集合和经过图像超分辨率拓展后的小目标集合组合后，压缩成同一尺寸，并划分训练集和测试集；
3)通过嵌套显著性检测网络U2-Net生成训练集图像的显著性图，通过形态学膨胀算法保证目标关键区域的完整性，在显著性分数低于阈值部分随机生成擦除区域，并填充随机像素形成数据增广后的图像集合；
4)将数据增广后的图像及其标签输入到深度语义嵌入的特征金字塔分类网络进行训练，获得训练好的分类器；
5)实时获取输电线路巡检的目标图像数据，并作为训练好的分类器的输入，输出识别结果。
2.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，其特征在于，步骤2)所述的经过EL-ERSGAN超分辨率增广算法进行图像超分辨率拓展，具体包括：
2.1)对EL-ERSGAN超分辨率增广模型的生成器和鉴别器的损失函数进行定义，其公式如下：
Figure FDA0003634771680000011
Figure FDA0003634771680000012
式中，
Figure FDA0003634771680000013
表示生成器的GAN损失函数，
Figure FDA0003634771680000014
表示鉴别器的GAN损失函数，DRa(xr,xf)代表鉴别图像比虚假图像更真实的概率，DRa(xf,xr)表示鉴别图像比真实图像更虚假的概率，
Figure FDA0003634771680000015
代表对处理批次中所有虚假数据进行的平均操作，xi代表输入GAN网络的低分辨率图像，xf表示GAN网络生成的判定为虚假的鉴别图像，xr表示GAN网络生成的判定为真实的鉴别图像；
2.2)使用输电线路非小目标集合训练超分辨率增广模型EL-ERSGAN的生成器得到一个二阶退化模型，并使用L1损失函数、感知损失函数和
Figure FDA0003634771680000021
Figure FDA0003634771680000022
所表示的GAN损失函数共同构建EL-ERSGAN的整体损失函数，训练得到EL-ERSGAN模型；
2.3)使用训练后的EL-ERSGAN模型对输电线路小目标集合进行超分辨率图像增广。
3.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，其特征在于，所述步骤3)具体为：
3.1)以残差块网络结构为基础，构建U型残差块网络；
3.2)通过堆叠3.1)中所述U型残差块网络，构建11阶段组成的嵌套显著性检测网络U2-Net；
3.3)使用嵌套显著性检测网络U2-Net生成输电线路目标图像的显著分数，通过形态学膨胀的确保算法保证目标关键区域的完整性，生成图像掩膜区域；
3.4)随机选择GridMask和随机擦除算法在图像掩膜区域进行随机擦除，并填充随机像素。
4.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，其特征在于，所述步骤4)采用的深度语义嵌入的特征金字塔分类网络，包括：
ResNet特征提取模块，其输入为输电线路目标图像，输出为该图像不同尺度的特征；
特征增强金字塔模块，其输入为ResNet特征提取模块生成的不同尺度的特征，输出为相邻尺度的融合特征；
深层语义嵌入模块(DSE)，其输入为特征增强金字塔模块生成的融合特征，输出为具有丰富语义信息的低分辨率特征和具有丰富位置信息的高分辨率特征；
深度特征融合模块(DFF)，其输入为深层语义嵌入模块生成的低分辨率特征与高分辨率特征，输出为高分辨率和低分辨率特征经过卷积、池化操作后的特征向量；
图像分类网络(OC)，其输入为深度特征融合模块生成的高分辨率特征和低分辨率特征的特征向量，输出为输电线路巡检目标是否存在故障的分类结果。
5.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法，其特征在于，所述步骤1)使用的数据集为输电线路绝缘子自爆数据集。
CN202210506022.XA 2022-05-09 2022-05-09 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 Active CN114841972B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210506022.XA CN114841972B (zh) 2022-05-09 2022-05-09 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
US18/081,368 US20230360390A1 (en) 2022-05-09 2022-12-14 Transmission line defect identification method based on saliency map and semantic-embedded feature pyramid

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210506022.XA CN114841972B (zh) 2022-05-09 2022-05-09 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法

Publications (2)

Publication Number Publication Date
CN114841972A true CN114841972A (zh) 2022-08-02
CN114841972B CN114841972B (zh) 2024-08-02

Family

ID=82569392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210506022.XA Active CN114841972B (zh) 2022-05-09 2022-05-09 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法

Country Status (2)

Country Link
US (1) US20230360390A1 (zh)
CN (1) CN114841972B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115598138A (zh) * 2022-11-23 2023-01-13 惠州威尔高电子有限公司（Cn） 基于显著性检测的电源控制电路板瑕疵检测方法及系统
CN116309620A (zh) * 2023-03-15 2023-06-23 深圳康易世佳科技有限公司 基于人工智能的图像自适应分割方法和系统
CN116403212A (zh) * 2023-05-16 2023-07-07 西安石油大学 基于改进U-net网络的金相图像的像素中小颗粒识别方法
CN116486230A (zh) * 2023-04-21 2023-07-25 哈尔滨工业大学（威海） 基于半递归特征金字塔结构的图像检测方法及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237881B (zh) * 2023-11-16 2024-02-02 合肥中科类脑智能技术有限公司 三跨塔的绝缘子异常监测方法及装置、计算机设备
CN117830227B (zh) * 2023-12-11 2024-06-21 皖南医学院 一种基于病理和ct多模态模型的口腔癌肿瘤分期方法
CN117456291B (zh) * 2023-12-26 2024-04-16 苏州镁伽科技有限公司 缺陷分类方法和装置、电子设备以及存储介质
CN117876884A (zh) * 2024-01-09 2024-04-12 中国科学院自动化研究所 显著性信息引导的高分辨率可见光舰船检测方法及系统
CN117911908B (zh) * 2024-03-20 2024-05-28 湖北经济学院 一种无人机航拍图像的增强处理方法及系统
CN118195983B (zh) * 2024-05-17 2024-07-19 江西财经大学 基于显著性区域的图像光照增强方法及系统
CN118365645A (zh) * 2024-06-19 2024-07-19 中国科学院合肥物质科学研究院 一种偏滤器靶板缺陷检测方法、装置、设备及存储介质
CN118469356A (zh) * 2024-07-15 2024-08-09 江西省国土空间调查规划研究院 土地利用变更举证的核查系统
CN118570665A (zh) * 2024-07-31 2024-08-30 国网安徽省电力有限公司合肥供电公司 基于卫星遥感的高压输电线路施工安全监测系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524135A (zh) * 2020-05-11 2020-08-11 安徽继远软件有限公司 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN111524117A (zh) * 2020-04-20 2020-08-11 南京航空航天大学 一种基于特征金字塔网络的隧道表面缺陷检测方法
WO2020228739A1 (zh) * 2019-05-13 2020-11-19 京东方科技集团股份有限公司 光伏组件缺陷的检测方法和装置、分类器的训练方法、终端设备及非暂时性存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228739A1 (zh) * 2019-05-13 2020-11-19 京东方科技集团股份有限公司 光伏组件缺陷的检测方法和装置、分类器的训练方法、终端设备及非暂时性存储介质
CN111524117A (zh) * 2020-04-20 2020-08-11 南京航空航天大学 一种基于特征金字塔网络的隧道表面缺陷检测方法
CN111524135A (zh) * 2020-05-11 2020-08-11 安徽继远软件有限公司 基于图像增强的输电线路细小金具缺陷检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CONG WANG等: "Metal Surface Defect Detection Based on Weighted Fusion", 《2020 INTERNATIONAL CONFERENCE ON VIRTUAL REALITY AND VISUALIZATION (ICVRV)》, 15 July 2021 (2021-07-15) *
徐昊: "基于机器视觉的输电线路小目标检测和缺陷识别方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, 15 February 2023 (2023-02-15) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115598138A (zh) * 2022-11-23 2023-01-13 惠州威尔高电子有限公司（Cn） 基于显著性检测的电源控制电路板瑕疵检测方法及系统
CN116309620A (zh) * 2023-03-15 2023-06-23 深圳康易世佳科技有限公司 基于人工智能的图像自适应分割方法和系统
CN116486230A (zh) * 2023-04-21 2023-07-25 哈尔滨工业大学（威海） 基于半递归特征金字塔结构的图像检测方法及存储介质
CN116486230B (zh) * 2023-04-21 2024-02-02 哈尔滨工业大学（威海） 基于半递归特征金字塔结构的图像检测方法及存储介质
CN116403212A (zh) * 2023-05-16 2023-07-07 西安石油大学 基于改进U-net网络的金相图像的像素中小颗粒识别方法
CN116403212B (zh) * 2023-05-16 2024-02-02 西安石油大学 基于改进U-net网络的金相图像的像素中小颗粒识别方法

Also Published As

Publication number Publication date
US20230360390A1 (en) 2023-11-09
CN114841972B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN114841972B (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN104809443B (zh) 基于卷积神经网络的车牌检测方法及系统
CN113887459B (zh) 一种基于改进Unet++的露天矿区采场变化区域检测方法
CN112766195B (zh) 一种电气化铁路弓网燃弧视觉检测方法
CN111666842B (zh) 一种基于双流空洞卷积神经元网络的阴影检测方法
CN111080678B (zh) 一种基于深度学习的多时相sar图像变化检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN112288008A (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN110659550A (zh) 交通标志牌识别方法、装置、计算机设备和存储介质
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN112365451A (zh) 图像质量等级的确定方法、装置、设备及计算机可读介质
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN117437201A (zh) 一种基于改进YOLOv7的道路裂缝检测方法
CN112308040A (zh) 一种基于高清图像的河流排污口检测方法及系统
CN111462090A (zh) 一种多尺度图像目标检测方法
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN117455868A (zh) 基于显著融合差异图和深度学习的sar图像变化检测方法
CN112330562B (zh) 一种异构遥感图像变换方法及系统
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
CN117011168A (zh) 一种联合DeeplabV3+和LaMa模型的透明光滑物体高光去除方法及系统
CN115471755A (zh) 基于分割的图像目标快速检测方法
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant