CN112767351A - 一种基于敏感位置依赖分析的变电设备缺陷检测方法 - Google Patents

一种基于敏感位置依赖分析的变电设备缺陷检测方法 Download PDF

Info

Publication number
CN112767351A
CN112767351A CN202110066115.0A CN202110066115A CN112767351A CN 112767351 A CN112767351 A CN 112767351A CN 202110066115 A CN202110066115 A CN 202110066115A CN 112767351 A CN112767351 A CN 112767351A
Authority
CN
China
Prior art keywords
defect
network
image
feature map
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110066115.0A
Other languages
English (en)
Other versions
CN112767351B (zh
Inventor
孙杨
杨可军
张可
杨建旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Nanrui Jiyuan Power Grid Technology Co ltd
Original Assignee
Anhui Nanrui Jiyuan Power Grid Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Nanrui Jiyuan Power Grid Technology Co ltd filed Critical Anhui Nanrui Jiyuan Power Grid Technology Co ltd
Priority to CN202110066115.0A priority Critical patent/CN112767351B/zh
Publication of CN112767351A publication Critical patent/CN112767351A/zh
Application granted granted Critical
Publication of CN112767351B publication Critical patent/CN112767351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于敏感位置依赖分析的变电设备缺陷检测方法，与现有技术相比解决了变电设备缺陷检测率低的缺陷。本发明包括以下步骤：变电设备缺陷图像集的获取；缺陷检测网络的构建；缺陷检测网络的训练；待检测缺陷图像的获取；变电站设备缺陷问题的检测。本发明充分考虑变电设备图像里相关性高的像素之间的关联性，使得重组后的目标特征不仅仅是单纯的目标本身信息，关联包含了图像背景以及目标上下文依赖信息，更有利于检测识别。

Description

一种基于敏感位置依赖分析的变电设备缺陷检测方法
技术领域
本发明涉及变电设备图像处理技术领域，具体来说是一种基于敏感位置依赖分析的变电设备缺陷检测方法。
背景技术
随着人力成本的增加，变电站环境的需求，以及计算机模式识别技术的发展，巡检机器人已经成为了变电站日常巡检的主要设备。同时对应对电网智能化建设的迫切需要，利用变电站机器人巡检图像进行缺陷检测识别应用研究正逐步深入，近些年相关学者和电力系统单位在此领域进行了大量的工作并且取得了一定的成果。
基于变电设备缺陷而言，其缺陷的产生存在一定的关联。例如：鸟巢的出现与铁塔结构相关联、油污的出现与地面相关联等。但现有的分析方法中，未考虑相关因素之间的关联性，致使检测结果不准确、误检率高。
因此，如何利用变电设备缺陷之间的相关性进行有效检测分析已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中变电设备缺陷检测率低的缺陷，提供一种基于敏感位置依赖分析的变电设备缺陷检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于敏感位置依赖分析的变电设备缺陷检测方法，包括以下步骤：
变电设备缺陷图像集的获取：获取若干张变电站设备缺陷图像，形成变电站缺陷图像数据集，其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像；
缺陷检测网络的构建：构建缺陷检测网络，所述缺陷检测网络分为两部分，第一部分为全局特征提取网络、第二部分为局部缺陷检测网络；
缺陷检测网络的训练：将变电设备缺陷图像集输入缺陷检测网络，对缺陷检测网络的全局特征提取网络和局部缺陷检测网络进行端到端的训练；
待检测缺陷图像的获取：获取待检测的变电站设备缺陷图像；
变电站设备缺陷问题的检测：将待检测的变电站设备缺陷图像输入训练后的缺陷问题检测网络，检测出变电站设备缺陷类型。
所述缺陷检测网络的构建包括以下步骤：
设定缺陷检测网络的第一部分为全局特征提取网络，全局特征提取网络用于自动学习变电站设备缺陷图像空间到其特征空间的特征映射，该特征由骨干网络提取，输入是变电站设备缺陷图像I，输出是基于整张图像得到的全局特征图，全局特征图用于局部缺陷检测网络全局搜索所有潜在的缺陷目标位置；
设定缺陷检测网络的第二部分为局部缺陷检测网络，局部缺陷检测网络用于从全局特征图中全局搜索所有潜在的缺陷目标位置，找到对应缺陷目标的区域，描述每一个缺陷目标区域下的目标特征；
构建全局特征提取网络：构建全局特征提取网络包括骨干网络和特征金字塔网络；
骨干网络使用迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值，其包括卷积操作、池化操作、非线性激活操作、归一化操作；特征金字塔网络将骨干网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为全局特征图F；
构建局部缺陷检测网络。
所述缺陷问题检测网络的训练包括以下步骤：
将变电设备缺陷图像集输入缺陷检测网络的第一部分全局特征提取网络；
将骨干网络不同层级的输出输入特征金字塔网络，输出变电站设备缺陷图像的全局特征图F；
将变电站设备缺陷图像的全局特征图F输入局部缺陷检测网络的第一层缺陷区域初步定位网络，经过其512个通道和3x3卷积核大小的卷积层，使用1x1卷积核的并行卷积层，并行卷积层的通道数量取决于利用每个全局特征图上的点想寻找的目标区域数量，最终输出初步定位出的缺陷目标对应的局部特征图
Figure BDA0002904206780000031
N为自定义要寻找的初步缺陷数量；
将缺陷目标对应的局部特征图Flocal输入敏感位置依赖分析网络进行训练，得到敏感位置依赖分析后的特征图，敏感位置依赖分析后的特征图中每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合；
将敏感位置得到依赖分析后的特征图加到原特征图Fk∈s*s*C上获取最终的特征图输入缺陷分类定位网络，通过缺陷分类定位网络的定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量；
根据得到的缺陷位置利用SmoothL1损失函数反向传播误差，同时根据得到的类别概率向量利用softmax损失函数反向传播误差，对所有权重利用梯度下降法计算损失函数梯度，更新需要学习的权重。
所述构建局部缺陷检测网络包括以下步骤：
设定局部缺陷检测网络的第一层为缺陷区域初步定位网络、第二层为敏感位置依赖分析网络、第三层为缺陷分类定位网络；
设定缺陷区域初步定位网络为区域建议生成网络，用于在全局特征图上面产生多个初步缺陷感兴趣区域，用完全卷积的方式高效实现，使用感兴趣区域均值采样降维到固定大小的局部特征图；
缺陷区域初步定位网络用全局特征提取网络产生的全局特征图F作为输入,输出是缺陷目标对应的局部特征图
Figure BDA0002904206780000032
N为自定义要寻找的初步缺陷数量；
设定敏感位置依赖分析网络，获取像素点和其他所有位置像素点之间的相互关系，利用像素间的敏感性建立图像上相关性大的像素之间的联系，关系不敏感的像素之间赋予较低权重，关系敏感的像素之间赋予较大权重，敏感位置依赖分析网络输入的是缺陷目标对应的局部特征图Fk，输出的是敏感位置依赖分析特征图；
设定缺陷分类定位网络通过两个全连接层产生两个分支即定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量。
所述将缺陷目标对应的局部特征图输入敏感位置依赖分析网络进行训练包括以下步骤：
对缺陷目标对应的局部特征图中的
Figure BDA00029042067800000410
先进行s*s区域划分并取均值得到Fk∈s*s*C，Fk具有C个通道，每个通道特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应点的特征向量矩阵形式，
Figure BDA0002904206780000041
其中
Figure BDA0002904206780000042
表示第q个空间位置点的特征向量，
Figure BDA0002904206780000043
表示第q个空间位置点在第i个通道的特征值；
将三维局部特征图Fk∈s*s*C以f形式转换成对应点的特征向量矩阵形式，
Figure BDA0002904206780000044
其中
Figure BDA0002904206780000045
表示第m个空间位置点的特征向量，
Figure BDA0002904206780000046
其中
Figure BDA0002904206780000047
表示第m个空间位置点在第i个通道的特征值；
将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个点与其他空间位置像素点之间的关系，
Figure BDA0002904206780000048
表示第q个点和第m个点的相关系数，
Figure BDA0002904206780000049
获取权重矩阵W，对关系矩阵使用激活函数softmax使得像素位置之间的相关性变得稀疏且归类到[0,1]之间，wqm表示第q个空间位置点和第m的空间位置点的权重，
Figure BDA0002904206780000051
获取敏感位置依赖分析后的特征图，使用权重矩阵与原像素点相乘，即敏感位置依赖分析后的特征图里每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合，且权重是当前像素点和所有像素点的相关系数；
Figure BDA0002904206780000052
其中
Figure BDA0002904206780000053
表示第q个空间位置点的激活特征向量,是空间位置中所有像素点的组合，并且权重是第q个空间位置点和所有像素点的相关系数；
将矩阵
Figure BDA0002904206780000054
按照像素点空间位置和通道排列成三维特征图，即获取最终的敏感位置依赖分析后的特征图A；
敏感位置得到依赖分析之后加到原特征图Fk∈s*s*C上获取最终的特征图用于最终的缺陷区域分类和检测。
有益效果
本发明的一种基于敏感位置依赖分析的变电设备缺陷检测方法，与现有技术相比充分考虑变电设备图像里相关性高的像素之间的关联性，使得重组后的目标特征不仅仅是单纯的目标本身信息，关联包含了图像背景以及目标上下文依赖信息，更有利于检测识别。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于敏感位置依赖分析的变电设备缺陷检测方法，包括以下步骤：
第一步，电设备缺陷图像集的获取：获取若干张变电站设备缺陷图像，形成变电站缺陷图像数据集，其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像。
第二步，缺陷检测网络的构建：构建缺陷检测网络，所述缺陷检测网络分为两部分，第一部分为全局特征提取网络、第二部分为局部缺陷检测网络。
由于在实际应用中，电力行业主管部门与维保实施单位不同，其所获得的图像数据是全方位的，其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像等，在这众多图像中再去发现缺陷问题则较为困难。而所有变电设备缺陷的发生则伴随着其相关的其他元素，例如，绝缘子破裂则会有大空间背景(蓝天背景)、鸟巢则伴有杆塔背景、油污则伴有地面背景，因此如何利用这些关联性较高的元素进行整体分析将会大大提高检测精度。而本发明在此设计的局部缺陷检测网络中包含敏感位置依赖分析网络，充分考虑了变电设备图像里相关性高的像素之间的关联性，在原有的目标特征基础上包含了图像背景以及目标依赖物信息，更有利于检测识别。其具体步骤如下：
(1)设定缺陷检测网络的第一部分为全局特征提取网络，全局特征提取网络用于自动学习变电站设备缺陷图像空间到其特征空间的特征映射，该特征由骨干网络提取，输入是变电站设备缺陷图像I，输出是基于整张图像得到的全局特征图，全局特征图用于局部缺陷检测网络全局搜索所有潜在的缺陷目标位置。
(2)设定缺陷检测网络的第二部分为局部缺陷检测网络，局部缺陷检测网络用于从全局特征图中全局搜索所有潜在的缺陷目标位置，找到对应缺陷目标的区域，描述每一个缺陷目标区域下的目标特征。
(3)构建全局特征提取网络：构建全局特征提取网络包括骨干网络和特征金字塔网络；
骨干网络使用传统的迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值，其包括卷积操作、池化操作、非线性激活操作、归一化操作；利用现有的特征金字塔网络将骨干网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为全局特征图F。
骨干网络是一种大型的卷积神经网络的组合，主要包括AlexNet,VGG系列，Inception系列，残差网络系列，稠密连接网络系列等。骨干网络一般使用迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值，主要包括卷积操作，池化操作，非线性激活操作，归一化操作。特征金字塔网络是带有侧向跳跃连接的网络结构，简单讲就是骨干网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为全局特征图F。特征金字塔建立了一种侧向连接的层次结构，将高层级特征中的语义信息自上而下传到低层特征上。层级间特征融合结构可以和骨干网络相结合，作为骨干网络的优化机制，更有效地获得适合检测的全局特征图。
(4)构建局部缺陷检测网络。
A1)设定局部缺陷检测网络的第一层为缺陷区域初步定位网络、第二层为敏感位置依赖分析网络、第三层为缺陷分类定位网络；
A2)设定缺陷区域初步定位网络为区域建议生成网络，用于在全局特征图上面产生多个初步缺陷感兴趣区域，用完全卷积的方式高效实现，使用感兴趣区域均值采样降维到固定大小的局部特征图；
缺陷区域初步定位网络用全局特征提取网络产生的全局特征图F作为输入,输出是缺陷目标对应的局部特征图
Figure BDA0002904206780000081
N为自定义要寻找的初步缺陷数量；
A3)设定敏感位置依赖分析网络，获取像素点和其他所有位置像素点之间的相互关系，利用像素间的敏感性建立图像上相关性大的像素之间的联系，关系不敏感的像素之间赋予较低权重，关系敏感的像素之间赋予较大权重，敏感位置依赖分析网络输入的是缺陷目标对应的局部特征图Fk，输出的是敏感位置依赖分析特征图；
A4)设定缺陷分类定位网络通过两个全连接层产生两个分支即定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量。
第三步，缺陷检测网络的训练：将变电设备缺陷图像集输入缺陷检测网络，对缺陷检测网络的全局特征提取网络和局部缺陷检测网络进行端到端的训练，通过端到端训练不需要单独分开训练模型，节省时间的同时更利于交互学习。其具体步骤如下：
(1)将变电设备缺陷图像集输入缺陷检测网络的第一部分全局特征提取网络。
(2)将骨干网络不同层级的输出输入特征金字塔网络，输出变电站设备缺陷图像的全局特征图F。
(3)将变电站设备缺陷图像的全局特征图F输入局部缺陷检测网络的第一层缺陷区域初步定位网络，经过其512个通道和3x3卷积核大小的卷积层，使用1x1卷积核的并行卷积层，并行卷积层的通道数量取决于利用每个全局特征图上的点想寻找的目标区域数量，最终输出初步定位出的缺陷目标对应的局部特征图
Figure BDA0002904206780000091
N为自定义要寻找的初步缺陷数量。
(4)将缺陷目标对应的局部特征图Flocal输入敏感位置依赖分析网络进行训练，得到敏感位置依赖分析后的特征图，敏感位置依赖分析后的特征图中每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合。
敏感位置依赖分析网络考虑变电设备图像里相关性高的像素之间的关联性，使得重组后的目标特征不仅仅是单纯的目标本身信息，关联包含了图像背景以及目标相关依赖信息。在此，将缺陷目标对应的局部特征图输入敏感位置依赖分析网络进行训练包括以下步骤：
B1)对缺陷目标对应的局部特征图中的
Figure BDA0002904206780000098
先进行s*s区域划分并取均值得到Fk∈s*s*C，Fk具有C个通道，每个通道特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应点的特征向量矩阵形式，
Figure BDA0002904206780000092
其中
Figure BDA0002904206780000093
表示第q个空间位置点的特征向量，
Figure BDA0002904206780000094
表示第q个空间位置点在第i个通道的特征值；
B2)将三维局部特征图Fk∈s*s*C以f形式转换成对应点的特征向量矩阵形式，
Figure BDA0002904206780000095
其中
Figure BDA0002904206780000096
表示第m个空间位置点的特征向量，
Figure BDA0002904206780000097
其中
Figure BDA0002904206780000101
表示第m个空间位置点在第i个通道的特征值；
B3)将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个点与其他空间位置像素点之间的关系，
Figure BDA0002904206780000102
表示第q个点和第m个点的相关系数，
Figure BDA0002904206780000103
B4)获取权重矩阵W，对关系矩阵使用激活函数softmax使得像素位置之间的相关性变得稀疏且归类到[0,1]之间，wqm表示第q个空间位置点和第m的空间位置点的权重，
Figure BDA0002904206780000104
B5)获取敏感位置依赖分析后的特征图，使用权重矩阵与原像素点相乘，即敏感位置依赖分析后的特征图里每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合，且权重是当前像素点和所有像素点的相关系数；
Figure BDA0002904206780000111
其中
Figure BDA0002904206780000112
表示第q个空间位置点的依赖分析特征向量,是空间位置中所有像素点的组合，并且权重是第q个空间位置点和所有像素点的相关系数；
将矩阵
Figure BDA0002904206780000113
按照像素点空间位置和通道排列成三维特征图，即获取最终的敏感位置依赖分析后的特征图A；
B6)敏感位置得到依赖分析之后加到原特征图Fk∈s*s*C上获取最终的特征图用于最终的缺陷区域分类和检测。
(5)将敏感位置得到依赖分析后的特征图加到原特征图Fk∈s*s*C上获取最终的特征图输入缺陷分类定位网络，通过缺陷分类定位网络的定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量。
(6)根据得到的缺陷位置利用SmoothL1损失函数反向传播误差，同时根据得到的类别概率向量利用softmax损失函数反向传播误差，对所有权重利用梯度下降法计算损失函数梯度，更新需要学习的权重。
第四步，待检测缺陷图像的获取：获取待检测的变电站设备缺陷图像。
第五步，变电站设备缺陷问题的检测：将待检测的变电站设备缺陷图像输入训练后的缺陷问题检测网络，检测出变电站设备缺陷类型。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种基于敏感位置依赖分析的变电设备缺陷检测方法，其特征在于，包括以下步骤：
11)变电设备缺陷图像集的获取：获取若干张变电站设备缺陷图像，形成变电站缺陷图像数据集，其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像；
12)缺陷检测网络的构建：构建缺陷检测网络，所述缺陷检测网络分为两部分，第一部分为全局特征提取网络、第二部分为局部缺陷检测网络；
13)缺陷检测网络的训练：将变电设备缺陷图像集输入缺陷检测网络，对缺陷检测网络的全局特征提取网络和局部缺陷检测网络进行端到端的训练；
14)待检测缺陷图像的获取：获取待检测的变电站设备缺陷图像；
15)变电站设备缺陷问题的检测：将待检测的变电站设备缺陷图像输入训练后的缺陷问题检测网络，检测出变电站设备缺陷类型。
2.根据权利要求1所述的一种基于敏感位置依赖分析的变电设备缺陷检测方法，其特征在于，所述缺陷检测网络的构建包括以下步骤：
21)设定缺陷检测网络的第一部分为全局特征提取网络，全局特征提取网络用于自动学习变电站设备缺陷图像空间到其特征空间的特征映射，该特征由骨干网络提取，输入是变电站设备缺陷图像I，输出是基于整张图像得到的全局特征图，全局特征图用于局部缺陷检测网络全局搜索所有潜在的缺陷目标位置；
22)设定缺陷检测网络的第二部分为局部缺陷检测网络，局部缺陷检测网络用于从全局特征图中全局搜索所有潜在的缺陷目标位置，找到对应缺陷目标的区域，描述每一个缺陷目标区域下的目标特征；
23)构建全局特征提取网络：构建全局特征提取网络包括骨干网络和特征金字塔网络；
骨干网络使用迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值，其包括卷积操作、池化操作、非线性激活操作、归一化操作；特征金字塔网络将骨干网络不同层级的输出经过多次上采样并和当层级特征图融合，取融合后特征图作为全局特征图F；
24)构建局部缺陷检测网络。
3.根据权利要求1所述的一种基于敏感位置依赖分析的变电设备缺陷检测方法，其特征在于，所述缺陷问题检测网络的训练包括以下步骤：
31)将变电设备缺陷图像集输入缺陷检测网络的第一部分全局特征提取网络；
32)将骨干网络不同层级的输出输入特征金字塔网络，输出变电站设备缺陷图像的全局特征图F；
33)将变电站设备缺陷图像的全局特征图F输入局部缺陷检测网络的第一层缺陷区域初步定位网络，经过其512个通道和3x3卷积核大小的卷积层，使用1x1卷积核的并行卷积层，并行卷积层的通道数量取决于利用每个全局特征图上的点想寻找的目标区域数量，最终输出初步定位出的缺陷目标对应的局部特征图
Figure FDA0002904206770000021
N为自定义要寻找的初步缺陷数量；
34)将缺陷目标对应的局部特征图Flocal输入敏感位置依赖分析网络进行训练，得到敏感位置依赖分析后的特征图，敏感位置依赖分析后的特征图中每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合；
35)将敏感位置得到依赖分析后的特征图加到原特征图Fk∈s*s*C上获取最终的特征图输入缺陷分类定位网络，通过缺陷分类定位网络的定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量；
36)根据得到的缺陷位置利用SmoothL1损失函数反向传播误差，同时根据得到的类别概率向量利用softmax损失函数反向传播误差，对所有权重利用梯度下降法计算损失函数梯度，更新需要学习的权重。
4.根据权利要求2所述的一种基于敏感位置依赖分析的变电设备缺陷检测方法，其特征在于，所述构建局部缺陷检测网络包括以下步骤：
41)设定局部缺陷检测网络的第一层为缺陷区域初步定位网络、第二层为敏感位置依赖分析网络、第三层为缺陷分类定位网络；
42)设定缺陷区域初步定位网络为区域建议生成网络，用于在全局特征图上面产生多个初步缺陷感兴趣区域，用完全卷积的方式高效实现，使用感兴趣区域均值采样降维到固定大小的局部特征图；
缺陷区域初步定位网络用全局特征提取网络产生的全局特征图F作为输入,输出是缺陷目标对应的局部特征图
Figure FDA0002904206770000031
N为自定义要寻找的初步缺陷数量；
43)设定敏感位置依赖分析网络，获取像素点和其他所有位置像素点之间的相互关系，利用像素间的敏感性建立图像上相关性大的像素之间的联系，关系不敏感的像素之间赋予较低权重，关系敏感的像素之间赋予较大权重，敏感位置依赖分析网络输入的是缺陷目标对应的局部特征图Fk，输出的是敏感位置依赖分析特征图；
44)设定缺陷分类定位网络通过两个全连接层产生两个分支即定位层和分类层，定位出缺陷位置以及给出对应的类别概率向量。
5.根据权利要求3所述的一种基于敏感位置依赖分析的变电设备缺陷检测方法，其特征在于，所述将缺陷目标对应的局部特征图输入敏感位置依赖分析网络进行训练包括以下步骤：
51)对缺陷目标对应的局部特征图中的
Figure FDA0002904206770000032
先进行s*s区域划分并取均值得到Fk∈s*s*C，Fk具有C个通道，每个通道特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应点的特征向量矩阵形式，
Figure FDA0002904206770000033
其中
Figure FDA0002904206770000034
Figure FDA0002904206770000035
表示第q个空间位置点的特征向量，
Figure FDA0002904206770000036
表示第q个空间位置点在第i个通道的特征值；
52)将三维局部特征图Fk∈s*s*C以f形式转换成对应点的特征向量矩阵形式，
Figure FDA0002904206770000037
其中
Figure FDA0002904206770000038
表示第m个空间位置点的特征向量，
Figure FDA0002904206770000041
其中
Figure FDA0002904206770000042
表示第m个空间位置点在第i个通道的特征值；
53)将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个点与其他空间位置像素点之间的关系，
Figure FDA0002904206770000043
表示第q个点和第m个点的相关系数，
Figure FDA0002904206770000044
54)获取权重矩阵W，对关系矩阵使用依赖分析函数softmax使得像素位置之间的相关性变得稀疏且归类到[0,1]之间，wqm表示第q个空间位置点和第m的空间位置点的权重，
Figure FDA0002904206770000045
55)获取敏感位置依赖分析后的特征图，使用权重矩阵与原像素点相乘，即敏感位置依赖分析后的特征图里每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合，且权重是当前像素点和所有像素点的相关系数；
Figure FDA0002904206770000051
其中
Figure FDA0002904206770000052
表示第q个空间位置点的依赖分析特征向量,是空间位置中所有像素点的组合，并且权重是第q个空间位置点和所有像素点的相关系数；
将矩阵
Figure FDA0002904206770000053
按照像素点空间位置和通道排列成三维特征图，即获取最终的敏感位置依赖分析后的特征图A；
56)敏感位置得到依赖分析之后加到原特征图Fk∈s*s*C上获取最终的特征图用于最终的缺陷区域分类和检测。
CN202110066115.0A 2021-01-19 2021-01-19 一种基于敏感位置依赖分析的变电设备缺陷检测方法 Active CN112767351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110066115.0A CN112767351B (zh) 2021-01-19 2021-01-19 一种基于敏感位置依赖分析的变电设备缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110066115.0A CN112767351B (zh) 2021-01-19 2021-01-19 一种基于敏感位置依赖分析的变电设备缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112767351A true CN112767351A (zh) 2021-05-07
CN112767351B CN112767351B (zh) 2024-04-16

Family

ID=75702963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110066115.0A Active CN112767351B (zh) 2021-01-19 2021-01-19 一种基于敏感位置依赖分析的变电设备缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112767351B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469992A (zh) * 2021-07-16 2021-10-01 合肥中科融道智能科技有限公司 基于增强不同层次特征表示的电力设备图像缺陷检测方法
CN114972327A (zh) * 2022-07-12 2022-08-30 爱尔达电气有限公司 半导体封装测试系统及其测试方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145979A (zh) * 2018-08-15 2019-01-04 上海嵩恒网络科技股份有限公司 敏感图像鉴定方法及终端系统
CN110599455A (zh) * 2019-08-13 2019-12-20 武汉精立电子技术有限公司 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
CN111094952A (zh) * 2017-09-06 2020-05-01 科磊股份有限公司 用于缺陷检测及分类的统一神经网络
CN111401384A (zh) * 2020-03-12 2020-07-10 安徽南瑞继远电网技术有限公司 一种变电设备缺陷图像匹配方法
CN111402223A (zh) * 2020-03-12 2020-07-10 安徽南瑞继远电网技术有限公司 一种利用变电站视频图像的变电站缺陷问题检测方法
KR20200087297A (ko) * 2018-12-28 2020-07-21 이화여자대학교 산학협력단 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN111951212A (zh) * 2020-04-08 2020-11-17 北京交通大学 对铁路的接触网图像进行缺陷识别的方法
US20200394784A1 (en) * 2019-06-17 2020-12-17 RecognAIse Technologies Inc. Artificial intelligence-based process and system for visual inspection of infrastructure

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111094952A (zh) * 2017-09-06 2020-05-01 科磊股份有限公司 用于缺陷检测及分类的统一神经网络
CN109145979A (zh) * 2018-08-15 2019-01-04 上海嵩恒网络科技股份有限公司 敏感图像鉴定方法及终端系统
KR20200087297A (ko) * 2018-12-28 2020-07-21 이화여자대학교 산학협력단 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
US20200394784A1 (en) * 2019-06-17 2020-12-17 RecognAIse Technologies Inc. Artificial intelligence-based process and system for visual inspection of infrastructure
CN110599455A (zh) * 2019-08-13 2019-12-20 武汉精立电子技术有限公司 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
CN111401384A (zh) * 2020-03-12 2020-07-10 安徽南瑞继远电网技术有限公司 一种变电设备缺陷图像匹配方法
CN111402223A (zh) * 2020-03-12 2020-07-10 安徽南瑞继远电网技术有限公司 一种利用变电站视频图像的变电站缺陷问题检测方法
CN111951212A (zh) * 2020-04-08 2020-11-17 北京交通大学 对铁路的接触网图像进行缺陷识别的方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469992A (zh) * 2021-07-16 2021-10-01 合肥中科融道智能科技有限公司 基于增强不同层次特征表示的电力设备图像缺陷检测方法
CN113469992B (zh) * 2021-07-16 2022-02-18 合肥中科融道智能科技有限公司 基于增强不同层次特征表示的电力设备图像缺陷检测方法
CN114972327A (zh) * 2022-07-12 2022-08-30 爱尔达电气有限公司 半导体封装测试系统及其测试方法

Also Published As

Publication number Publication date
CN112767351B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN110136170B (zh) 一种基于卷积神经网络的遥感影像建筑物变化检测方法
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN112183414A (zh) 一种基于混合空洞卷积的弱监督遥感目标检测方法
CN110533086B (zh) 图像数据半自动标注方法
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN105825511A (zh) 一种基于深度学习的图片背景清晰度检测方法
CN112164038A (zh) 一种基于深度卷积神经网络的光伏热斑检测方法
CN109858414A (zh) 一种发票分块检测方法
CN116524361A (zh) 基于双孪生分支的遥感图像变化检测网络及检测方法
CN112767351B (zh) 一种基于敏感位置依赖分析的变电设备缺陷检测方法
CN112418351B (zh) 基于全局与局部上下文感知的零样本学习图像分类方法
CN111612051A (zh) 一种基于图卷积神经网络的弱监督目标检测方法
CN111008641B (zh) 一种基于卷积神经网络的输电线路杆塔外力破坏检测方法
CN114444757A (zh) 一种高原山地多模型多尺度新能源电站出力联合预测方法
CN115937774A (zh) 一种基于特征融合和语义交互的安检违禁品检测方法
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN115082798A (zh) 一种基于动态感受野的输电线路销钉缺陷检测方法
Fang et al. Scene change detection by differential aggregation network and class probability-based fusion strategy
CN112215301B (zh) 基于卷积神经网络的影像直线探测方法
Li et al. Adaptive fusion nestedUNet for change detection using optical remote sensing images
CN113052103A (zh) 一种基于神经网络的电气设备缺陷检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant