CN112767351B - 一种基于敏感位置依赖分析的变电设备缺陷检测方法 - Google Patents
一种基于敏感位置依赖分析的变电设备缺陷检测方法 Download PDFInfo
- Publication number
- CN112767351B CN112767351B CN202110066115.0A CN202110066115A CN112767351B CN 112767351 B CN112767351 B CN 112767351B CN 202110066115 A CN202110066115 A CN 202110066115A CN 112767351 B CN112767351 B CN 112767351B
- Authority
- CN
- China
- Prior art keywords
- defect
- network
- feature map
- image
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 203
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000004458 analytical method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 238000010586 diagram Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 7
- 235000005770 birds nest Nutrition 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005215 recombination Methods 0.000 claims description 6
- 230000006798 recombination Effects 0.000 claims description 6
- 235000005765 wild carrot Nutrition 0.000 claims description 6
- 239000012212 insulator Substances 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 4
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 4
- 239000002184 metal Substances 0.000 claims description 4
- 229910052751 metal Inorganic materials 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 239000000741 silica gel Substances 0.000 claims description 4
- 229910002027 silica gel Inorganic materials 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000001419 dependent effect Effects 0.000 abstract 1
- 230000001902 propagating effect Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于敏感位置依赖分析的变电设备缺陷检测方法,与现有技术相比解决了变电设备缺陷检测率低的缺陷。本发明包括以下步骤:变电设备缺陷图像集的获取;缺陷检测网络的构建;缺陷检测网络的训练;待检测缺陷图像的获取;变电站设备缺陷问题的检测。本发明充分考虑变电设备图像里相关性高的像素之间的关联性,使得重组后的目标特征不仅仅是单纯的目标本身信息,关联包含了图像背景以及目标上下文依赖信息,更有利于检测识别。
Description
技术领域
本发明涉及变电设备图像处理技术领域,具体来说是一种基于敏感位置依赖分析的变电设备缺陷检测方法。
背景技术
随着人力成本的增加,变电站环境的需求,以及计算机模式识别技术的发展,巡检机器人已经成为了变电站日常巡检的主要设备。同时对应对电网智能化建设的迫切需要,利用变电站机器人巡检图像进行缺陷检测识别应用研究正逐步深入,近些年相关学者和电力系统单位在此领域进行了大量的工作并且取得了一定的成果。
基于变电设备缺陷而言,其缺陷的产生存在一定的关联。例如:鸟巢的出现与铁塔结构相关联、油污的出现与地面相关联等。但现有的分析方法中,未考虑相关因素之间的关联性,致使检测结果不准确、误检率高。
因此,如何利用变电设备缺陷之间的相关性进行有效检测分析已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中变电设备缺陷检测率低的缺陷,提供一种基于敏感位置依赖分析的变电设备缺陷检测方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种基于敏感位置依赖分析的变电设备缺陷检测方法,包括以下步骤:
变电设备缺陷图像集的获取:获取若干张变电站设备缺陷图像,形成变电站缺陷图像数据集,其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像;
缺陷检测网络的构建:构建缺陷检测网络,所述缺陷检测网络分为两部分,第一部分为全局特征提取网络、第二部分为局部缺陷检测网络;
缺陷检测网络的训练:将变电设备缺陷图像集输入缺陷检测网络,对缺陷检测网络的全局特征提取网络和局部缺陷检测网络进行端到端的训练;
待检测缺陷图像的获取:获取待检测的变电站设备缺陷图像;
变电站设备缺陷问题的检测:将待检测的变电站设备缺陷图像输入训练后的缺陷问题检测网络,检测出变电站设备缺陷类型。
所述缺陷检测网络的构建包括以下步骤:
设定缺陷检测网络的第一部分为全局特征提取网络,全局特征提取网络用于自动学习变电站设备缺陷图像空间到其特征空间的特征映射,该特征由骨干网络提取,输入是变电站设备缺陷图像I,输出是基于整张图像得到的全局特征图,全局特征图用于局部缺陷检测网络全局搜索所有潜在的缺陷目标位置;
设定缺陷检测网络的第二部分为局部缺陷检测网络,局部缺陷检测网络用于从全局特征图中全局搜索所有潜在的缺陷目标位置,找到对应缺陷目标的区域,描述每一个缺陷目标区域下的目标特征;
构建全局特征提取网络:构建全局特征提取网络包括骨干网络和特征金字塔网络;
骨干网络使用迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值,其包括卷积操作、池化操作、非线性激活操作、归一化操作;特征金字塔网络将骨干网络不同层级的输出经过多次上采样并和当层级特征图融合,取融合后特征图作为全局特征图F;
构建局部缺陷检测网络。
所述缺陷问题检测网络的训练包括以下步骤:
将变电设备缺陷图像集输入缺陷检测网络的第一部分全局特征提取网络;
将骨干网络不同层级的输出输入特征金字塔网络,输出变电站设备缺陷图像的全局特征图F;
将变电站设备缺陷图像的全局特征图F输入局部缺陷检测网络的第一层缺陷区域初步定位网络,经过其512个通道和3x3卷积核大小的卷积层,使用1x1卷积核的并行卷积层,并行卷积层的通道数量取决于利用每个全局特征图上的点想寻找的目标区域数量,最终输出初步定位出的缺陷目标对应的局部特征图N为自定义要寻找的初步缺陷数量;
将缺陷目标对应的局部特征图Flocal输入敏感位置依赖分析网络进行训练,得到敏感位置依赖分析后的特征图,敏感位置依赖分析后的特征图中每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合;
将敏感位置得到依赖分析后的特征图加到原特征图Fk∈s*s*C上获取最终的特征图输入缺陷分类定位网络,通过缺陷分类定位网络的定位层和分类层,定位出缺陷位置以及给出对应的类别概率向量;
根据得到的缺陷位置利用SmoothL1损失函数反向传播误差,同时根据得到的类别概率向量利用softmax损失函数反向传播误差,对所有权重利用梯度下降法计算损失函数梯度,更新需要学习的权重。
所述构建局部缺陷检测网络包括以下步骤:
设定局部缺陷检测网络的第一层为缺陷区域初步定位网络、第二层为敏感位置依赖分析网络、第三层为缺陷分类定位网络;
设定缺陷区域初步定位网络为区域建议生成网络,用于在全局特征图上面产生多个初步缺陷感兴趣区域,用完全卷积的方式高效实现,使用感兴趣区域均值采样降维到固定大小的局部特征图;
缺陷区域初步定位网络用全局特征提取网络产生的全局特征图F作为输入,输出是缺陷目标对应的局部特征图N为自定义要寻找的初步缺陷数量;
设定敏感位置依赖分析网络,获取像素点和其他所有位置像素点之间的相互关系,利用像素间的敏感性建立图像上相关性大的像素之间的联系,关系不敏感的像素之间赋予较低权重,关系敏感的像素之间赋予较大权重,敏感位置依赖分析网络输入的是缺陷目标对应的局部特征图Fk,输出的是敏感位置依赖分析特征图;
设定缺陷分类定位网络通过两个全连接层产生两个分支即定位层和分类层,定位出缺陷位置以及给出对应的类别概率向量。
所述将缺陷目标对应的局部特征图输入敏感位置依赖分析网络进行训练包括以下步骤:
对缺陷目标对应的局部特征图中的先进行s*s区域划分并取均值得到Fk∈s*s*C,Fk具有C个通道,每个通道特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应点的特征向量矩阵形式,
其中表示第q个空间位置点的特征向量,/>表示第q个空间位置点在第i个通道的特征值;
将三维局部特征图Fk∈s*s*C以f形式转换成对应点的特征向量矩阵形式,
其中/>表示第m个空间位置点的特征向量,
其中表示第m个空间位置点在第i个通道的特征值;
将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个点与其他空间位置像素点之间的关系,表示第q个点和第m个点的相关系数,
获取权重矩阵W,对关系矩阵使用激活函数softmax使得像素位置之间的相关性变得稀疏且归类到[0,1]之间,wqm表示第q个空间位置点和第m的空间位置点的权重,
获取敏感位置依赖分析后的特征图,使用权重矩阵与原像素点相乘,即敏感位置依赖分析后的特征图里每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合,且权重是当前像素点和所有像素点的相关系数;
其中表示第q个空间位置点的激活特征向量,是空间位置中所有像素点的组合,并且权重是第q个空间位置点和所有像素点的相关系数;
将矩阵按照像素点空间位置和通道排列成三维特征图,即获取最终的敏感位置依赖分析后的特征图A;
敏感位置得到依赖分析之后加到原特征图Fk∈s*s*C上获取最终的特征图用于最终的缺陷区域分类和检测。
有益效果
本发明的一种基于敏感位置依赖分析的变电设备缺陷检测方法,与现有技术相比充分考虑变电设备图像里相关性高的像素之间的关联性,使得重组后的目标特征不仅仅是单纯的目标本身信息,关联包含了图像背景以及目标上下文依赖信息,更有利于检测识别。
附图说明
图1为本发明的方法顺序图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种基于敏感位置依赖分析的变电设备缺陷检测方法,包括以下步骤:
第一步,电设备缺陷图像集的获取:获取若干张变电站设备缺陷图像,形成变电站缺陷图像数据集,其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像。
第二步,缺陷检测网络的构建:构建缺陷检测网络,所述缺陷检测网络分为两部分,第一部分为全局特征提取网络、第二部分为局部缺陷检测网络。
由于在实际应用中,电力行业主管部门与维保实施单位不同,其所获得的图像数据是全方位的,其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像等,在这众多图像中再去发现缺陷问题则较为困难。而所有变电设备缺陷的发生则伴随着其相关的其他元素,例如,绝缘子破裂则会有大空间背景(蓝天背景)、鸟巢则伴有杆塔背景、油污则伴有地面背景,因此如何利用这些关联性较高的元素进行整体分析将会大大提高检测精度。而本发明在此设计的局部缺陷检测网络中包含敏感位置依赖分析网络,充分考虑了变电设备图像里相关性高的像素之间的关联性,在原有的目标特征基础上包含了图像背景以及目标依赖物信息,更有利于检测识别。其具体步骤如下:
(1)设定缺陷检测网络的第一部分为全局特征提取网络,全局特征提取网络用于自动学习变电站设备缺陷图像空间到其特征空间的特征映射,该特征由骨干网络提取,输入是变电站设备缺陷图像I,输出是基于整张图像得到的全局特征图,全局特征图用于局部缺陷检测网络全局搜索所有潜在的缺陷目标位置。
(2)设定缺陷检测网络的第二部分为局部缺陷检测网络,局部缺陷检测网络用于从全局特征图中全局搜索所有潜在的缺陷目标位置,找到对应缺陷目标的区域,描述每一个缺陷目标区域下的目标特征。
(3)构建全局特征提取网络:构建全局特征提取网络包括骨干网络和特征金字塔网络;
骨干网络使用传统的迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值,其包括卷积操作、池化操作、非线性激活操作、归一化操作;利用现有的特征金字塔网络将骨干网络不同层级的输出经过多次上采样并和当层级特征图融合,取融合后特征图作为全局特征图F。
骨干网络是一种大型的卷积神经网络的组合,主要包括AlexNet,VGG系列,Inception系列,残差网络系列,稠密连接网络系列等。骨干网络一般使用迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值,主要包括卷积操作,池化操作,非线性激活操作,归一化操作。特征金字塔网络是带有侧向跳跃连接的网络结构,简单讲就是骨干网络不同层级的输出经过多次上采样并和当层级特征图融合,取融合后特征图作为全局特征图F。特征金字塔建立了一种侧向连接的层次结构,将高层级特征中的语义信息自上而下传到低层特征上。层级间特征融合结构可以和骨干网络相结合,作为骨干网络的优化机制,更有效地获得适合检测的全局特征图。
(4)构建局部缺陷检测网络。
A1)设定局部缺陷检测网络的第一层为缺陷区域初步定位网络、第二层为敏感位置依赖分析网络、第三层为缺陷分类定位网络;
A2)设定缺陷区域初步定位网络为区域建议生成网络,用于在全局特征图上面产生多个初步缺陷感兴趣区域,用完全卷积的方式高效实现,使用感兴趣区域均值采样降维到固定大小的局部特征图;
缺陷区域初步定位网络用全局特征提取网络产生的全局特征图F作为输入,输出是缺陷目标对应的局部特征图N为自定义要寻找的初步缺陷数量;
A3)设定敏感位置依赖分析网络,获取像素点和其他所有位置像素点之间的相互关系,利用像素间的敏感性建立图像上相关性大的像素之间的联系,关系不敏感的像素之间赋予较低权重,关系敏感的像素之间赋予较大权重,敏感位置依赖分析网络输入的是缺陷目标对应的局部特征图Fk,输出的是敏感位置依赖分析特征图;
A4)设定缺陷分类定位网络通过两个全连接层产生两个分支即定位层和分类层,定位出缺陷位置以及给出对应的类别概率向量。
第三步,缺陷检测网络的训练:将变电设备缺陷图像集输入缺陷检测网络,对缺陷检测网络的全局特征提取网络和局部缺陷检测网络进行端到端的训练,通过端到端训练不需要单独分开训练模型,节省时间的同时更利于交互学习。其具体步骤如下:
(1)将变电设备缺陷图像集输入缺陷检测网络的第一部分全局特征提取网络。
(2)将骨干网络不同层级的输出输入特征金字塔网络,输出变电站设备缺陷图像的全局特征图F。
(3)将变电站设备缺陷图像的全局特征图F输入局部缺陷检测网络的第一层缺陷区域初步定位网络,经过其512个通道和3x3卷积核大小的卷积层,使用1x1卷积核的并行卷积层,并行卷积层的通道数量取决于利用每个全局特征图上的点想寻找的目标区域数量,最终输出初步定位出的缺陷目标对应的局部特征图N为自定义要寻找的初步缺陷数量。
(4)将缺陷目标对应的局部特征图Flocal输入敏感位置依赖分析网络进行训练,得到敏感位置依赖分析后的特征图,敏感位置依赖分析后的特征图中每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合。
敏感位置依赖分析网络考虑变电设备图像里相关性高的像素之间的关联性,使得重组后的目标特征不仅仅是单纯的目标本身信息,关联包含了图像背景以及目标相关依赖信息。在此,将缺陷目标对应的局部特征图输入敏感位置依赖分析网络进行训练包括以下步骤:
B1)对缺陷目标对应的局部特征图中的先进行s*s区域划分并取均值得到Fk∈s*s*C,Fk具有C个通道,每个通道特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应点的特征向量矩阵形式,
其中表示第q个空间位置点的特征向量,/>表示第q个空间位置点在第i个通道的特征值;
B2)将三维局部特征图Fk∈s*s*C以f形式转换成对应点的特征向量矩阵形式,
其中/>表示第m个空间位置点的特征向量,
其中表示第m个空间位置点在第i个通道的特征值;
B3)将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个点与其他空间位置像素点之间的关系,表示第q个点和第m个点的相关系数,
B4)获取权重矩阵W,对关系矩阵使用激活函数softmax使得像素位置之间的相关性变得稀疏且归类到[0,1]之间,wqm表示第q个空间位置点和第m的空间位置点的权重,
B5)获取敏感位置依赖分析后的特征图,使用权重矩阵与原像素点相乘,即敏感位置依赖分析后的特征图里每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合,且权重是当前像素点和所有像素点的相关系数;
其中表示第q个空间位置点的依赖分析特征向量,是空间位置中所有像素点的组合,并且权重是第q个空间位置点和所有像素点的相关系数;
将矩阵按照像素点空间位置和通道排列成三维特征图,即获取最终的敏感位置依赖分析后的特征图A;
B6)敏感位置得到依赖分析之后加到原特征图Fk∈s*s*C上获取最终的特征图用于最终的缺陷区域分类和检测。
(5)将敏感位置得到依赖分析后的特征图加到原特征图Fk∈s*s*C上获取最终的特征图输入缺陷分类定位网络,通过缺陷分类定位网络的定位层和分类层,定位出缺陷位置以及给出对应的类别概率向量。
(6)根据得到的缺陷位置利用SmoothL1损失函数反向传播误差,同时根据得到的类别概率向量利用softmax损失函数反向传播误差,对所有权重利用梯度下降法计算损失函数梯度,更新需要学习的权重。
第四步,待检测缺陷图像的获取:获取待检测的变电站设备缺陷图像。
第五步,变电站设备缺陷问题的检测:将待检测的变电站设备缺陷图像输入训练后的缺陷问题检测网络,检测出变电站设备缺陷类型。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (1)
1.一种基于敏感位置依赖分析的变电设备缺陷检测方法,其特征在于,包括以下步骤:
11)变电设备缺陷图像集的获取:获取若干张变电站设备缺陷图像,形成变电站缺陷图像数据集,其包括表计破损图像、绝缘子破裂图像、硅胶变色图像、油封破损图像、高空悬浮物图像、鸟巢图像、地面油污图像、金属锈蚀图像;
12)缺陷检测网络的构建:构建缺陷检测网络,所述缺陷检测网络分为两部分,第一部分为全局特征提取网络、第二部分为局部缺陷检测网络;
121)设定缺陷检测网络的第一部分为全局特征提取网络,全局特征提取网络用于自动学习变电站设备缺陷图像空间到其特征空间的特征映射,该特征由骨干网络提取,输入是变电站设备缺陷图像I,输出是基于整张图像得到的全局特征图,全局特征图用于局部缺陷检测网络全局搜索所有潜在的缺陷目标位置;
122)设定缺陷检测网络的第二部分为局部缺陷检测网络,局部缺陷检测网络用于从全局特征图中全局搜索所有潜在的缺陷目标位置,找到对应缺陷目标的区域,描述每一个缺陷目标区域下的目标特征;
123)构建全局特征提取网络:构建全局特征提取网络包括骨干网络和特征金字塔网络;
骨干网络使用迁移学习以ImageNet数据集上的预训练权重作为骨干网络的参数初始值,其包括卷积操作、池化操作、非线性激活操作、归一化操作;特征金字塔网络将骨干网络不同层级的输出经过多次上采样并和当层级特征图融合,取融合后特征图作为全局特征图F;
124)构建局部缺陷检测网络;
所述构建局部缺陷检测网络包括以下步骤:
1231)设定局部缺陷检测网络的第一层为缺陷区域初步定位网络、第二层为敏感位置依赖分析网络、第三层为缺陷分类定位网络;
1232)设定缺陷区域初步定位网络为区域建议生成网络,用于在全局特征图上面产生多个初步缺陷感兴趣区域,用完全卷积的方式实现,使用感兴趣区域均值采样降维到固定大小的局部特征图;
缺陷区域初步定位网络用全局特征提取网络产生的全局特征图F作为输入,输出是缺陷目标对应的局部特征图
Flocal=(F1,F2,...Fk1,...,FN),N为自定义要寻找的初步缺陷数量;
1233)设定敏感位置依赖分析网络,获取像素点和其他所有位置像素点之间的相互关系,利用像素间的敏感性建立图像上相关性大的像素之间的联系,关系不敏感的像素之间赋予较低权重,关系敏感的像素之间赋予较大权重,敏感位置依赖分析网络输入的是缺陷目标对应的局部特征图Fk,输出的是敏感位置依赖分析特征图;
1234)设定缺陷分类定位网络通过两个全连接层产生两个分支即定位层和分类层,定位出缺陷位置以及给出对应的类别概率向量;
13)缺陷检测网络的训练:将变电设备缺陷图像集输入缺陷检测网络,对缺陷检测网络的全局特征提取网络和局部缺陷检测网络进行端到端的训练;
所述缺陷检测网络的训练包括以下步骤:
131)将变电设备缺陷图像集输入缺陷检测网络的第一部分全局特征提取网络;
132)将骨干网络不同层级的输出输入特征金字塔网络,输出变电站设备缺陷图像的全局特征图F;
133)将变电站设备缺陷图像的全局特征图F输入局部缺陷检测网络的第一层缺陷区域初步定位网络,经过其512个通道和3x3卷积核大小的卷积层,使用1x1卷积核的并行卷积层,并行卷积层的通道数量取决于利用每个全局特征图上的点想寻找的目标区域数量,最终输出初步定位出的缺陷目标对应的局部特征图N为自定义要寻找的初步缺陷数量;
134)将缺陷目标对应的局部特征图Flocal输入敏感位置依赖分析网络进行训练,得到敏感位置依赖分析后的特征图,敏感位置依赖分析后的特征图中每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合;
所述将缺陷目标对应的局部特征图输入敏感位置依赖分析网络进行训练包括以下步骤:
1341)对缺陷目标对应的局部特征图中的Fk1先进行s*s区域划分并取均值得到Fk∈s*s*C,Fk具有C个通道,每个通道特征图大小为s*s,将三维局部特征图Fk以g形式转换成对应点的特征向量矩阵形式,
其中 表示第q个空间位置点的特征向量,/>表示第q个空间位置点在第i个通道的特征值;
1342)将三维局部特征图Fk∈s*s*C以f形式转换成对应点的特征向量矩阵形式,
其中/>表示第m个空间位置点的特征向量,
其中表示第m个空间位置点在第i个通道的特征值;
1343)将二维特征图Fg与二维特征图Ff中每个元素用类似矩阵乘法的元素选择操作规则计算元素间的相关系数得到每个点与其他空间位置像素点之间的关系,表示第q个点和第m个点的相关系数,
1344)获取权重矩阵W,对关系矩阵使用依赖分析函数softmax使得像素位置之间的相关性变得稀疏且归类到[0,1]之间,wqm表示第q个空间位置点和第m的空间位置点的权重,
1345)获取敏感位置依赖分析后的特征图,使用权重矩阵与原像素点相乘,即敏感位置依赖分析后的特征图里每一个像素点值是局部特征图Fk∈s*s*C所有像素点的重新组合,且权重是当前像素点和所有像素点的相关系数;
其中表示第q个空间位置点的依赖分析特征向量,是空间位置中所有像素点的组合,并且权重是第q个空间位置点和所有像素点的相关系数;
将矩阵按照像素点空间位置和通道排列成三维特征图,即获取最终的敏感位置依赖分析后的特征图A;
1346)敏感位置得到依赖分析之后加到原特征图Fk∈s*s*C上获取最终的特征图用于最终的缺陷区域分类和检测;
135)将敏感位置得到依赖分析后的特征图加到原特征图Fk∈s*s*C上获取最终的特征图输入缺陷分类定位网络,通过缺陷分类定位网络的定位层和分类层,定位出缺陷位置以及给出对应的类别概率向量;
136)根据得到的缺陷位置利用SmoothL1损失函数反向传播误差,同时根据得到的类别概率向量利用softmax损失函数反向传播误差,对所有权重利用梯度下降法计算损失函数梯度,更新需要学习的权重;
14)待检测缺陷图像的获取:获取待检测的变电站设备缺陷图像;
15)变电站设备缺陷问题的检测:将待检测的变电站设备缺陷图像输入训练后的缺陷检测网络,检测出变电站设备缺陷类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110066115.0A CN112767351B (zh) | 2021-01-19 | 2021-01-19 | 一种基于敏感位置依赖分析的变电设备缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110066115.0A CN112767351B (zh) | 2021-01-19 | 2021-01-19 | 一种基于敏感位置依赖分析的变电设备缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767351A CN112767351A (zh) | 2021-05-07 |
CN112767351B true CN112767351B (zh) | 2024-04-16 |
Family
ID=75702963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110066115.0A Active CN112767351B (zh) | 2021-01-19 | 2021-01-19 | 一种基于敏感位置依赖分析的变电设备缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767351B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113469992B (zh) * | 2021-07-16 | 2022-02-18 | 合肥中科融道智能科技有限公司 | 基于增强不同层次特征表示的电力设备图像缺陷检测方法 |
CN114972327B (zh) * | 2022-07-12 | 2023-01-06 | 爱尔达电气有限公司 | 半导体封装测试系统及其测试方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145979A (zh) * | 2018-08-15 | 2019-01-04 | 上海嵩恒网络科技股份有限公司 | 敏感图像鉴定方法及终端系统 |
CN110599455A (zh) * | 2019-08-13 | 2019-12-20 | 武汉精立电子技术有限公司 | 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质 |
CN111094952A (zh) * | 2017-09-06 | 2020-05-01 | 科磊股份有限公司 | 用于缺陷检测及分类的统一神经网络 |
CN111401384A (zh) * | 2020-03-12 | 2020-07-10 | 安徽南瑞继远电网技术有限公司 | 一种变电设备缺陷图像匹配方法 |
CN111402223A (zh) * | 2020-03-12 | 2020-07-10 | 安徽南瑞继远电网技术有限公司 | 一种利用变电站视频图像的变电站缺陷问题检测方法 |
KR20200087297A (ko) * | 2018-12-28 | 2020-07-21 | 이화여자대학교 산학협력단 | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 |
CN111583198A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 |
CN111951212A (zh) * | 2020-04-08 | 2020-11-17 | 北京交通大学 | 对铁路的接触网图像进行缺陷识别的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11361423B2 (en) * | 2019-06-17 | 2022-06-14 | RecognAIse Technologies Inc. | Artificial intelligence-based process and system for visual inspection of infrastructure |
-
2021
- 2021-01-19 CN CN202110066115.0A patent/CN112767351B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111094952A (zh) * | 2017-09-06 | 2020-05-01 | 科磊股份有限公司 | 用于缺陷检测及分类的统一神经网络 |
CN109145979A (zh) * | 2018-08-15 | 2019-01-04 | 上海嵩恒网络科技股份有限公司 | 敏感图像鉴定方法及终端系统 |
KR20200087297A (ko) * | 2018-12-28 | 2020-07-21 | 이화여자대학교 산학협력단 | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 |
CN110599455A (zh) * | 2019-08-13 | 2019-12-20 | 武汉精立电子技术有限公司 | 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质 |
CN111401384A (zh) * | 2020-03-12 | 2020-07-10 | 安徽南瑞继远电网技术有限公司 | 一种变电设备缺陷图像匹配方法 |
CN111402223A (zh) * | 2020-03-12 | 2020-07-10 | 安徽南瑞继远电网技术有限公司 | 一种利用变电站视频图像的变电站缺陷问题检测方法 |
CN111951212A (zh) * | 2020-04-08 | 2020-11-17 | 北京交通大学 | 对铁路的接触网图像进行缺陷识别的方法 |
CN111583198A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112767351A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110188685B (zh) | 一种基于双注意力多尺度级联网络的目标计数方法及系统 | |
CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
CN110533086B (zh) | 图像数据半自动标注方法 | |
CN112183414A (zh) | 一种基于混合空洞卷积的弱监督遥感目标检测方法 | |
CN112767351B (zh) | 一种基于敏感位置依赖分析的变电设备缺陷检测方法 | |
CN105825511A (zh) | 一种基于深度学习的图片背景清晰度检测方法 | |
CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
CN109858414A (zh) | 一种发票分块检测方法 | |
CN111612051A (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
CN116524361A (zh) | 基于双孪生分支的遥感图像变化检测网络及检测方法 | |
CN111008641B (zh) | 一种基于卷积神经网络的输电线路杆塔外力破坏检测方法 | |
CN114283120B (zh) | 一种基于领域自适应的端到端多源异质遥感影像变化检测方法 | |
CN111161224A (zh) | 基于深度学习的铸件内部缺陷分级评估系统及方法 | |
CN115937774A (zh) | 一种基于特征融合和语义交互的安检违禁品检测方法 | |
CN114444757A (zh) | 一种高原山地多模型多尺度新能源电站出力联合预测方法 | |
CN114782734A (zh) | 一种阀冷系统管道渗漏视觉检测方法及计算机与存储介质 | |
CN113052103A (zh) | 一种基于神经网络的电气设备缺陷检测方法及装置 | |
CN117557775B (zh) | 基于红外和可见光融合的变电站电力设备检测方法及系统 | |
CN111986193A (zh) | 一种遥感影像变化检测方法、电子设备及存储介质 | |
CN114283137A (zh) | 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法 | |
CN115830179A (zh) | 一种类别无关的遥感地物矢量拓扑结构提取方法 | |
CN111383273A (zh) | 一种基于改进结构推理网络的高铁接触网零部件定位方法 | |
Fang et al. | Scene change detection by differential aggregation network and class probability-based fusion strategy | |
CN112215301B (zh) | 基于卷积神经网络的影像直线探测方法 | |
CN117808739A (zh) | 用于检测管道缺陷的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |