CN115082798A - 一种基于动态感受野的输电线路销钉缺陷检测方法 - Google Patents

一种基于动态感受野的输电线路销钉缺陷检测方法 Download PDF

Info

Publication number
CN115082798A
CN115082798A CN202210793757.5A CN202210793757A CN115082798A CN 115082798 A CN115082798 A CN 115082798A CN 202210793757 A CN202210793757 A CN 202210793757A CN 115082798 A CN115082798 A CN 115082798A
Authority
CN
China
Prior art keywords
feature
feature layer
layer
transmission line
power transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210793757.5A
Other languages
English (en)
Inventor
谢成军
张震宇
杜健铭
张洁
李�瑞
陈红波
刘术娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Rongdao Intelligent Technology Co ltd
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Zhongke Rongdao Intelligent Technology Co ltd
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zhongke Rongdao Intelligent Technology Co ltd, Hefei Institutes of Physical Science of CAS filed Critical Hefei Zhongke Rongdao Intelligent Technology Co ltd
Priority to CN202210793757.5A priority Critical patent/CN115082798A/zh
Publication of CN115082798A publication Critical patent/CN115082798A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于动态感受野的输电线路销钉缺陷检测方法，与现有技术相比解决了输电线路销钉缺陷检测方法精度不高、鲁棒性较差的缺陷。本发明包括以下步骤：输电线路销钉缺陷样本的获取和预处理；输电线路销钉缺陷检测模型的构建；输电线路销钉缺陷检测模型的训练；待检测输电线路销钉图像的获得；输电线路销钉缺陷检测结果的获得。本发明在特征金字塔网络不同层融合过程中自适应的使用不同的感受野，充分融合了多通道的上下文信息，利用不同大小感受野和通道内信息；通过空间激活区域生成网络，增强感兴趣区域的信息获取，提高深层卷积网络的特征提取，保留更多的信息用于检测器最后的分类和回归，进一步提高销钉缺陷检测的精度和识别率。

Description

一种基于动态感受野的输电线路销钉缺陷检测方法
技术领域
本发明涉及输电线路图像分析技术领域，具体来说是一种基于动态感受野的输电线路销钉缺陷检测方法。
背景技术
随着无人机航拍技术的快速发展，通过航拍获得的输电线路图像，可以提供更多更全面的观测视角，高效的捕获输电线路视觉状态的同时还具备极高的安全性。根据国家电网标准，输电线路巡检中的缺陷主要包括杆塔缺陷，绝缘子缺陷和金具类缺陷等。相比之下，销钉体积较小，数量众多，广泛存在于杆塔，连接金具之上。销钉一般安装在输电线路各个部件的连接处，起到稳固结构的作用，由于受力较大，容易产生销钉脱落，销钉松动等问题，这些都容易造成电力系统大规模停电，影响输电安全。
但是目前提出的销钉缺陷检测方法存在的问题：(1)输电线路销钉缺陷场景复杂，无人机拍摄时远近高低变化都会使得销钉缺陷的尺寸发生变化；(2)随着网络深度的增加，缺陷特征会丢失很多的信息，网络产生的感兴趣区域也会受到影响。
因此，如何融合上下文信息，更好的提取销钉缺陷特征已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中输电线路销钉缺陷检测方法精度不高、鲁棒性较差的缺陷，提供一种基于动态感受野的输电线路销钉缺陷检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于动态感受野的输电线路销钉缺陷检测方法，包括以下步骤：
输电线路销钉缺陷样本的获取和预处理：获取输电线路销钉缺陷样本，对缺陷样本进行数据清洗、数据增强的预处理；
输电线路销钉缺陷检测模型的构建：构建由嵌入动态感受野模块融合上下文和通道间信息的特征提取网络、嵌入空间激活模块的区域生成网络和缺陷检测网络组成的输电线路销钉缺陷检测模型；
输电线路销钉缺陷检测模型的训练：将预处理后的输电线路销钉缺陷样本送入输电线路销钉缺陷检测模型进行训练；
待检测输电线路销钉图像的获得：获得待检测输电线路销钉图像，并进行预处理；
输电线路销钉缺陷检测结果的获得：将预处理后的待检测输电线路销钉图像输入训练后的输电线路销钉缺陷检测模型，得到输电线路销钉缺陷检测结果。
所述输电线路销钉缺陷检测模型的构建包括以下步骤：
基于特征金字塔构建结合不同大小动态感受野并融合上下文信息的特征提取网络；
特征金字塔的设定：设定特征金字塔包括自下而上、自上而下和横向连接3个部分；
设置动态感受野模块：设定动态感受野模块由两个分支组成，其为具有不同大小感受野并融合上下文和通道信息的大感受野分支、小感受野分支；
通过激活感兴趣区域的空间信息，构建空间激活的区域生成网络；
区域生成网络的设定：设定区域生成网络由两个分支组成，一个1*1*18卷积的分类分支使用softmax损失，一个1*1*36卷积的回归分支使用smooth-L1损失，经过两个分支产生感兴趣区域；
设定空间激活模块由两个分支组成，其放置在每一个感兴趣区域之后，进一步激活这些区域的空间信息，具体为一个分支将所有通道的特征图对应点的像素值取平均得到一张特征图，通过平均处理更好的获取特征层的全局信息，另一个分支将所有通道的特征图对应点的像素值取最大值得到另一张特征图，通过取最大值更好的获取特征层的纹理信息，然后将这两个特征图拼接起来，再经过一个3*3的卷积层和一个sigmoid非线性函数激活，产生热力图反馈到对应的感兴趣区域；
f(x)＝σ{c[mean(x)+max(x)]}*x，
其中，c为3*3卷积,σ为sigmoid激活函数，x为输入的感兴趣区域，f(x)为激活之后的感兴趣区域，max(x)为取最大值函数，mean(x)为取平均值函数；
构建缺陷检测网络：缺陷检测网络对空间激活之后的感兴趣区域进行最后的预测，包括2个分支，一个1*1*C卷积的分类分支使用softmax损失，一个1*1*4卷积的定位分支使用smooth-L1损失。
所述输电线路销钉缺陷检测模型的训练包括以下步骤：
设定输电线路销钉缺陷检测模型共训练24轮，把训练数据集图片H*W输入特征提取网络，其中，H为图片高度，W为图片宽度；
训练数据集图片H*W进入特征提取网络的自下而上部分：输入图片由5个卷积层组成，每一个卷积层由64通道的1*1卷积，64通道的3*3卷积和256通道的1*1卷积组成，分别产生C2特征层、C3特征层、C4特征层、C5四个特征层；
再进入特征提取网络的自上而下和横向连接部分：
具体为C5特征层先经过1*1卷积，得到M5特征层；M5先进行2倍上采样，再加上C4特征层经过1*1卷积的横向连接得到M4特征层；M4特征层先进行2倍上采样，再加上C3特征层经过1*1卷积的横向连接得到M3特征层；M3特征层先进行2倍上采样，再加上C2特征层经过1*1卷积的横向连接得到M2特征层；M2特征层、M3特征层、M4特征层、M5特征层再分别经过3*3卷积，得到最终的P2特征层、P3特征层、P4特征层、P5特征层；
将特征提取网络得到输出的P2特征层、P3特征层、P4特征层、P5特征层，输入嵌入空间激活模块的区域生成网络，分别在P2特征层、P3特征层、P4特征层、P5特征层四个特征层上产生感兴趣区域；
由嵌入空间激活模块的区域生成网络得到的感兴趣区域通过一个pooling层从P2特征层、P3特征层、P4特征层、P5特征层切出并输入到缺陷检测网络，缺陷检测网络全连接分支使用交叉熵损失，bounding box回归分支采用GIOU loss作为损失函数。
所述特征金字塔的设定包括以下步骤：
设定特征金字塔的自下而上部分经过5个卷积层，5个卷积层依次对应由步长2、4、8、16、32的卷积进行特征提取，产生C2特征层、C3特征层、C4特征层、C5四个特征层；
设定特征金字塔的自上而下及横向连接部分，为C5特征层先经过1x1卷积，得到M5特征层；M5特征层先进行2倍上采样，再加上C4特征层经过1*1卷积的横向连接得到M4特征层，M4特征层先进行2倍上采样，再加上C3特征层经过1*1卷积的横向连接得到M3特征层，M3特征层先进行2倍上采样，再加上C2特征层经过1*1卷积的横向连接得到M2特征层，M2特征层、M3特征层、M4特征层、M5特征层再分别经过3*3卷积，得到最终的P2特征层、P3特征层、P4特征层、P5特征层；其中，在自上而下部分将M2特征层、M3特征层、M4特征层、M5不同层之间横向连接之后嵌入动态感受野模块。
所述设置动态感受野模块包括以下步骤：
设定小感受野分支先经过一个3*3的卷积核，输入输出通道数不变，通过padding保持特征图的尺寸，然后经过两路处理：一路对其全局平均池化产生一个1*1*c的向量，用于在深层次上描述全局特征，产生其每个维度的激活因子，另一路则对其全局最大池化获取深层次的空间信息产生相应的激活因子，两路的激活因子维度相同，将其直接相加然后经过非线性激活函数relu和sigmoid再反馈到每个通道上；
y1＝relu(bn(c1(x)))
其中，x为特征金字塔M特征层横向连接之后的特征层，c1代表3*3卷积,relu为线性整流函数，bn为批归一化层，y1为输出层；
A1＝f2(relu(f1(avgpool(y1))))
B1＝f2(relu(f1(maxpool(y1))))
其中，f1、f2为全连接层，avgpool、maxpool分别代表全局平均池化和全局最大池化，A1为全局平均池化一路输出的一维向量，B1为全局最大池化一路输出的一维向量；
设定大感受野分支使用空洞卷积分支增大感受野，采用膨胀系数为2的3*3卷积核提高特征提取效果，输入输出通道数不变，通过padding保持特征图的尺寸，然后分别经过全局平均池化和全局最大池化获取到激活因子反馈到每个通道上，其表达式如下：
y2＝relu(bn(c2(x)))
其中，x为特征金字塔M特征层横向连接之后的特征层，c2代表空洞系数为2的3*3卷积，relu为线性整流函数，bn为批归一化层，y2为输出层；
A2＝f2(relu(f1(avgpool(y2))))
B2＝f2(relu(f1(maxpool(y2))))
其中，f1、f2为全连接层，avgpool、maxpool分别代表全局平均池化和全局最大池化，A2为全局平均池化一路输出的一维向量，B2为全局最大池化一路输出的一维向量；
f(x)＝σ(A1+B1)*y1+σ(A2+B2)*y2，
其中，relu、σ分别为线性整流函数和线性激活函数和sigmoid函数，A1、B1、y1和A2、B2、y2分别为两个分支经过不同的特征层激活，f(x)为经过大小感受野两个分支的输出特征层；
采用空洞卷积控制分支使用不同的感受野，小感受野分支、小感受野分支都分别经过全局平均池化和全局最大池化产生相应的激活因子从而充分融合上下文信息和各通道之间的信息，最后再反馈到特征提取网络之中；
output＝(input+2*padding-dilation*(kernel-1)-1)/stride+1，
其中，padding为填充系数，dilation为膨胀系数，kernel为卷积核尺寸，stride为步长，input为输入特征层的尺寸。
有益效果
本发明的一种基于动态感受野的输电线路销钉缺陷检测方法，与现有技术相比在特征金字塔网络不同层融合过程中自适应的使用不同的感受野，充分融合了多通道的上下文信息，利用不同大小感受野和通道内信息；通过空间激活区域生成网络，增强感兴趣区域的信息获取，提高深层卷积网络的特征提取，保留更多的信息用于检测器最后的分类和回归，进一步提高销钉缺陷检测的精度和识别率。
附图说明
图1为本发明的方法顺序图；
图2为利用本发明所述方法所检测出的输电线路销钉缺陷近图；
图3为利用本发明所述方法所检测出的输电线路销钉缺陷远图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于动态感受野的输电线路销钉缺陷检测方法，包括以下步骤：
第一步，输电线路销钉缺陷样本的获取和预处理：获取输电线路销钉缺陷样本，对缺陷样本进行数据清洗、数据增强的预处理。
在实际应用中，可以先对国网输电全景平台得到的大量原始销钉缺陷样本进行清洗，清除一部分质量较低的缺陷图片。针对数量较少的销钉缺陷类型的图片实施旋转、对比度比变化、尺寸放缩等方法进行数据增广。制作训练数据集的时控制销钉缺陷类别平衡，避免某一缺陷类型数量过多或过少影响模型的训练效果。
第二步，输电线路销钉缺陷检测模型的构建：构建由嵌入动态感受野模块融合上下文和通道间信息的特征提取网络、嵌入空间激活模块的区域生成网络和缺陷检测网络组成的输电线路销钉缺陷检测模型。采用动态感受野的检测模型可以适应实际场景下输电线路销钉缺陷由于拍摄角度造成的尺寸变化，大尺寸的缺陷用大感受野更有利，小尺寸的缺陷用小感受野更有利。传统的特征提取网络卷积层只采用单一的感受野，使得在特征提取网络中融合不同大小的感受野不易实现。
其具体步骤如下：
(1)基于特征金字塔构建结合不同大小动态感受野并融合上下文信息的特征提取网络。
A1)特征金字塔的设定：设定特征金字塔包括自下而上、自上而下和横向连接3个部分。
特征金字塔的设定包括以下步骤：
A11)设定特征金字塔的自下而上部分经过5个卷积层，5个卷积层依次对应由步长2、4、8、16、32的卷积进行特征提取，产生C2特征层、C3特征层、C4特征层、C5四个特征层；
A12)设定特征金字塔的自上而下及横向连接部分，为C5特征层先经过1x1卷积，得到M5特征层；M5特征层先进行2倍上采样，再加上C4特征层经过1*1卷积的横向连接得到M4特征层，M4特征层先进行2倍上采样，再加上C3特征层经过1*1卷积的横向连接得到M3特征层，M3特征层先进行2倍上采样，再加上C2特征层经过1*1卷积的横向连接得到M2特征层，M2特征层、M3特征层、M4特征层、M5特征层再分别经过3*3卷积，得到最终的P2特征层、P3特征层、P4特征层、P5特征层；其中，在自上而下部分将M2特征层、M3特征层、M4特征层、M5不同层之间横向连接之后嵌入动态感受野模块，进一步提升网络对特征信息的提取。
A2)设置动态感受野模块：设定动态感受野模块由两个分支组成，其为具有不同大小感受野并融合上下文和通道信息的大感受野分支、小感受野分支。随着网络深度的增加感受野也在不断增大，但是实际场景下的样本缺陷尺寸变化较大，经常会出现感受野过大或过小的情况不利于模型学习到销钉缺陷的特征信息。
所述设置动态感受野模块包括以下步骤：
A21)设定小感受野分支先经过一个3*3的卷积核，输入输出通道数不变，通过padding保持特征图的尺寸，然后经过两路处理：一路对其全局平均池化产生一个1*1*c的向量，用于在深层次上描述全局特征，产生其每个维度的激活因子，另一路则对其全局最大池化获取深层次的空间信息产生相应的激活因子，两路的激活因子维度相同，将其直接相加然后经过非线性激活函数relu和sigmoid再反馈到每个通道上；
y1＝relu(bn(c1(x)))
其中，x为特征金字塔M特征层横向连接之后的特征层，c1代表3*3卷积,relu为线性整流函数，bn为批归一化层，y1为输出层；
A1＝f2(relu(f1(avgpool(y1))))
B1＝f2(relu(f1(maxpool(y1))))
其中，f1、f2为全连接层，avgpool、maxpool分别代表全局平均池化和全局最大池化，A1为全局平均池化一路输出的一维向量，B1为全局最大池化一路输出的一维向量；
A22)设定大感受野分支使用空洞卷积分支增大感受野，采用膨胀系数为2的3*3卷积核提高特征提取效果，输入输出通道数不变，通过padding保持特征图的尺寸，然后分别经过全局平均池化和全局最大池化获取到激活因子反馈到每个通道上，其表达式如下：
y2＝relu(bn(c2(x)))
其中，x为特征金字塔M特征层横向连接之后的特征层，c2代表空洞系数为2的3*3卷积，relu为线性整流函数，bn为批归一化层，y2为输出层；
A2＝f2(relu(f1(avgpool(y2))))
B2＝f2(relu(f1(maxpool(y2))))
其中，f1、f2为全连接层，avgpool、maxpool分别代表全局平均池化和全局最大池化，A2为全局平均池化一路输出的一维向量，B2为全局最大池化一路输出的一维向量；
f(x)＝σ(A1+B1)*y1+σ(A2+B2)*y2，
其中，relu、σ分别为线性整流函数和线性激活函数和sigmoid函数，A1、B1、y1和A2、B2、y2分别为两个分支经过不同的特征层激活，f(x)为经过大小感受野两个分支的输出特征层；
A23)采用空洞卷积控制分支使用不同的感受野，小感受野分支、小感受野分支都分别经过全局平均池化和全局最大池化产生相应的激活因子从而充分融合上下文信息和各通道之间的信息，最后再反馈到特征提取网络之中；
output＝(input+2*padding-dilation*(kernel-1)-1)/stride+1，
其中，padding为填充系数，dilation为膨胀系数，kernel为卷积核尺寸，stride为步长，input为输入特征层的尺寸。
(2)通过激活感兴趣区域的空间信息，构建空间激活的区域生成网络。
B1)区域生成网络的设定：设定区域生成网络由两个分支组成，一个1*1*18卷积的分类分支使用softmax损失，一个1*1*36卷积的回归分支使用smooth-L1损失，经过两个分支产生感兴趣区域；
B2)设定空间激活模块由两个分支组成，其放置在每一个感兴趣区域之后，进一步激活这些区域的空间信息，具体为一个分支将所有通道的特征图对应点的像素值取平均得到一张特征图，通过平均处理更好的获取特征层的全局信息，另一个分支将所有通道的特征图对应点的像素值取最大值得到另一张特征图，通过取最大值更好的获取特征层的纹理信息，然后将这两个特征图拼接起来，再经过一个3*3的卷积层和一个sigmoid非线性函数激活，产生热力图反馈到对应的感兴趣区域；
f(x)＝σ{c[mean(x)+max(x)]}*x，
其中，c为3*3卷积,σ为sigmoid激活函数，x为输入的感兴趣区域，f(x)为激活之后的感兴趣区域，max(x)为取最大值函数，mean(x)为取平均值函数。
(3)构建缺陷检测网络：缺陷检测网络对空间激活之后的感兴趣区域进行最后的预测，包括2个分支，一个1*1*C卷积的分类分支使用softmax损失，一个1*1*4卷积的定位分支使用smooth-L1损失。
第三步，输电线路销钉缺陷检测模型的训练：将预处理后的输电线路销钉缺陷样本送入输电线路销钉缺陷检测模型进行训练。训练过程中随着模型网络深度逐渐增大，会学习到更多的语义信息，但是特征层由于多次经过池化分辨率也在逐渐降低，损失掉一部分的像素信息，因此训练过程中空间激活这些特征层可以提高模型对缺陷特征的学习，而常见的空间激活方式需要消耗大量的计算资源。
其具体步骤如下：
(1)设定输电线路销钉缺陷检测模型共训练24轮，把训练数据集图片H*W输入特征提取网络，其中，H为图片高度，W为图片宽度；
C1)训练数据集图片H*W进入特征提取网络的自下而上部分：输入图片由5个卷积层组成，每一个卷积层由64通道的1*1卷积，64通道的3*3卷积和256通道的1*1卷积组成，分别产生C2特征层、C3特征层、C4特征层、C5四个特征层；
C2)再进入特征提取网络的自上而下和横向连接部分：
具体为C5特征层先经过1*1卷积，得到M5特征层；M5先进行2倍上采样，再加上C4特征层经过1*1卷积的横向连接得到M4特征层；M4特征层先进行2倍上采样，再加上C3特征层经过1*1卷积的横向连接得到M3特征层；M3特征层先进行2倍上采样，再加上C2特征层经过1*1卷积的横向连接得到M2特征层；M2特征层、M3特征层、M4特征层、M5特征层再分别经过3*3卷积，得到最终的P2特征层、P3特征层、P4特征层、P5特征层。
(2)将特征提取网络得到输出层P2特征层、P3特征层、P4特征层、P5特征层，输入嵌入空间激活模块的区域生成网络，分别在P2特征层、P3特征层、P4特征层、P5特征层四个特征层上产生感兴趣区域。
(3)由嵌入空间激活模块的区域生成网络得到的感兴趣区域通过一个pooling层从P2特征层、P3特征层、P4特征层、P5特征层切出并输入到缺陷检测网络，缺陷检测网络全连接分支使用交叉熵损失，bounding box回归分支采用GIOU loss作为损失函数。
第四步，待检测输电线路销钉图像的获得：获得待检测输电线路销钉图像，并进行预处理。
第五步，输电线路销钉缺陷检测结果的获得：将预处理后的待检测输电线路销钉图像输入训练后的输电线路销钉缺陷检测模型，得到输电线路销钉缺陷检测结果。
如图2和图3所示，把训练得到的模型分别在山区架空线路、城市上方的输电线路场景下均取得了较好的效果，检测的召回率达到了78％。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种基于动态感受野的输电线路销钉缺陷检测方法，其特征在于，包括以下步骤：
11)输电线路销钉缺陷样本的获取和预处理：获取输电线路销钉缺陷样本，对缺陷样本进行数据清洗、数据增强的预处理；
12)输电线路销钉缺陷检测模型的构建：构建由嵌入动态感受野模块融合上下文和通道间信息的特征提取网络、嵌入空间激活模块的区域生成网络和缺陷检测网络组成的输电线路销钉缺陷检测模型；
13)输电线路销钉缺陷检测模型的训练：将预处理后的输电线路销钉缺陷样本送入输电线路销钉缺陷检测模型进行训练；
14)待检测输电线路销钉图像的获得：获得待检测输电线路销钉图像，并进行预处理；
15)输电线路销钉缺陷检测结果的获得：将预处理后的待检测输电线路销钉图像输入训练后的输电线路销钉缺陷检测模型，得到输电线路销钉缺陷检测结果。
2.根据权利要求1所述的一种基于动态感受野的输电线路销钉缺陷检测方法，其特征在于，所述输电线路销钉缺陷检测模型的构建包括以下步骤：
21)基于特征金字塔构建结合不同大小动态感受野并融合上下文信息的特征提取网络；
211)特征金字塔的设定：设定特征金字塔包括自下而上、自上而下和横向连接3个部分；
212)设置动态感受野模块：设定动态感受野模块由两个分支组成，其为具有不同大小感受野并融合上下文和通道信息的大感受野分支、小感受野分支；
22)通过激活感兴趣区域的空间信息，构建空间激活的区域生成网络；
221)区域生成网络的设定：设定区域生成网络由两个分支组成，一个1*1*18卷积的分类分支使用softmax损失，一个1*1*36卷积的回归分支使用smooth-L1损失，经过两个分支产生感兴趣区域；
222)设定空间激活模块由两个分支组成，其放置在每一个感兴趣区域之后，进一步激活这些区域的空间信息，具体为一个分支将所有通道的特征图对应点的像素值取平均得到一张特征图，通过平均处理更好的获取特征层的全局信息，另一个分支将所有通道的特征图对应点的像素值取最大值得到另一张特征图，通过取最大值更好的获取特征层的纹理信息，然后将这两个特征图拼接起来，再经过一个3*3的卷积层和一个sigmoid非线性函数激活，产生热力图反馈到对应的感兴趣区域；
f(x)＝σ{c[mean(x)+max(x)]}*x，
其中，c为3*3卷积,σ为sigmoid激活函数，x为输入的感兴趣区域，f(x)为激活之后的感兴趣区域，max(x)为取最大值函数，mean(x)为取平均值函数；
23)构建缺陷检测网络：缺陷检测网络对空间激活之后的感兴趣区域进行最后的预测，包括2个分支，一个1*1*C卷积的分类分支使用softmax损失，一个1*1*4卷积的定位分支使用smooth-L1损失。
3.根据权利要求1所述的一种基于动态感受野的输电线路销钉缺陷检测方法，其特征在于，所述输电线路销钉缺陷检测模型的训练包括以下步骤：
31)设定输电线路销钉缺陷检测模型共训练24轮，把训练数据集图片H*W输入特征提取网络，其中，H为图片高度，W为图片宽度；
311)训练数据集图片H*W进入特征提取网络的自下而上部分：输入图片由5个卷积层组成，每一个卷积层由64通道的1*1卷积，64通道的3*3卷积和256通道的1*1卷积组成，分别产生C2特征层、C3特征层、C4特征层、C5四个特征层；
312)再进入特征提取网络的自上而下和横向连接部分：
具体为C5特征层先经过1*1卷积，得到M5特征层；M5先进行2倍上采样，再加上C4特征层经过1*1卷积的横向连接得到M4特征层；M4特征层先进行2倍上采样，再加上C3特征层经过1*1卷积的横向连接得到M3特征层；M3特征层先进行2倍上采样，再加上C2特征层经过1*1卷积的横向连接得到M2特征层；M2特征层、M3特征层、M4特征层、M5特征层再分别经过3*3卷积，得到最终的P2特征层、P3特征层、P4特征层、P5特征层；
32)将特征提取网络得到输出的P2特征层、P3特征层、P4特征层、P5特征层，输入嵌入空间激活模块的区域生成网络，分别在P2特征层、P3特征层、P4特征层、P5特征层四个特征层上产生感兴趣区域；
33)由嵌入空间激活模块的区域生成网络得到的感兴趣区域通过一个pooling层从P2特征层、P3特征层、P4特征层、P5特征层切出并输入到缺陷检测网络，缺陷检测网络全连接分支使用交叉熵损失，bounding box回归分支采用GIOU loss作为损失函数。
4.根据权利要求2所述的一种基于动态感受野的输电线路销钉缺陷检测方法，其特征在于，所述特征金字塔的设定包括以下步骤：
41)设定特征金字塔的自下而上部分经过5个卷积层，5个卷积层依次对应由步长2、4、8、16、32的卷积进行特征提取，产生C2特征层、C3特征层、C4特征层、C5四个特征层；
42)设定特征金字塔的自上而下及横向连接部分，为C5特征层先经过1x1卷积，得到M5特征层；M5特征层先进行2倍上采样，再加上C4特征层经过1*1卷积的横向连接得到M4特征层，M4特征层先进行2倍上采样，再加上C3特征层经过1*1卷积的横向连接得到M3特征层，M3特征层先进行2倍上采样，再加上C2特征层经过1*1卷积的横向连接得到M2特征层，M2特征层、M3特征层、M4特征层、M5特征层再分别经过3*3卷积，得到最终的P2特征层、P3特征层、P4特征层、P5特征层；其中，在自上而下部分将M2特征层、M3特征层、M4特征层、M5不同层之间横向连接之后嵌入动态感受野模块。
5.根据权利要求2所述的一种基于动态感受野的输电线路销钉缺陷检测方法，其特征在于，所述设置动态感受野模块包括以下步骤：
51)设定小感受野分支先经过一个3*3的卷积核，输入输出通道数不变，通过padding保持特征图的尺寸，然后经过两路处理：一路对其全局平均池化产生一个1*1*c的向量，用于在深层次上描述全局特征，产生其每个维度的激活因子，另一路则对其全局最大池化获取深层次的空间信息产生相应的激活因子，两路的激活因子维度相同，将其直接相加然后经过非线性激活函数relu和sigmoid再反馈到每个通道上；
y1＝relu(bn(c1(x)))
其中，x为特征金字塔M特征层横向连接之后的特征层，c1代表3*3卷积,relu为线性整流函数，bn为批归一化层，y1为输出层；
A1＝f2(relu(f1(avgpool(y1))))
B1＝f2(relu(f1(maxpool(y1))))
其中，f1、f2为全连接层，avgpool、maxpool分别代表全局平均池化和全局最大池化，A1为全局平均池化一路输出的一维向量，B1为全局最大池化一路输出的一维向量；
52)设定大感受野分支使用空洞卷积分支增大感受野，采用膨胀系数为2的3*3卷积核提高特征提取效果，输入输出通道数不变，通过padding保持特征图的尺寸，然后分别经过全局平均池化和全局最大池化获取到激活因子反馈到每个通道上，其表达式如下：
y2＝relu(bn(c2(x)))
其中，x为特征金字塔M特征层横向连接之后的特征层，c2代表空洞系数为2的3*3卷积，relu为线性整流函数，bn为批归一化层，y2为输出层；
A2＝f2(relu(f1(avgpool(y2))))
B2＝f2(relu(f1(maxpool(y2))))
其中，f1、f2为全连接层，avgpool、maxpool分别代表全局平均池化和全局最大池化，A2为全局平均池化一路输出的一维向量，B2为全局最大池化一路输出的一维向量；
f(x)＝σ(A1+B1)*y1+σ(A2+B2)*y2，
其中，relu、σ分别为线性整流函数和线性激活函数和sigmoid函数，A1、B1、y1和A2、B2、y2分别为两个分支经过不同的特征层激活，f(x)为经过大小感受野两个分支的输出特征层；
53)采用空洞卷积控制分支使用不同的感受野，小感受野分支、小感受野分支都分别经过全局平均池化和全局最大池化产生相应的激活因子从而充分融合上下文信息和各通道之间的信息，最后再反馈到特征提取网络之中；
output＝(input+2*padding-dilation*(kernel-1)-1)/stride+1，
其中，padding为填充系数，dilation为膨胀系数，kernel为卷积核尺寸，stride为步长，input为输入特征层的尺寸。
CN202210793757.5A 2022-07-07 2022-07-07 一种基于动态感受野的输电线路销钉缺陷检测方法 Pending CN115082798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210793757.5A CN115082798A (zh) 2022-07-07 2022-07-07 一种基于动态感受野的输电线路销钉缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210793757.5A CN115082798A (zh) 2022-07-07 2022-07-07 一种基于动态感受野的输电线路销钉缺陷检测方法

Publications (1)

Publication Number Publication Date
CN115082798A true CN115082798A (zh) 2022-09-20

Family

ID=83257157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210793757.5A Pending CN115082798A (zh) 2022-07-07 2022-07-07 一种基于动态感受野的输电线路销钉缺陷检测方法

Country Status (1)

Country Link
CN (1) CN115082798A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115860271A (zh) * 2023-02-21 2023-03-28 杭州唛扑网络科技有限公司 艺术设计用方案管理系统及其方法
CN116468619A (zh) * 2023-03-01 2023-07-21 山东省人工智能研究院 一种基于多特征反馈融合的医学影像去噪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115860271A (zh) * 2023-02-21 2023-03-28 杭州唛扑网络科技有限公司 艺术设计用方案管理系统及其方法
CN116468619A (zh) * 2023-03-01 2023-07-21 山东省人工智能研究院 一种基于多特征反馈融合的医学影像去噪方法
CN116468619B (zh) * 2023-03-01 2024-02-06 山东省人工智能研究院 一种基于多特征反馈融合的医学影像去噪方法

Similar Documents

Publication Publication Date Title
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN109977921B (zh) 一种输电线路隐患检测方法
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN115082798A (zh) 一种基于动态感受野的输电线路销钉缺陷检测方法
CN113392960B (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN111524135A (zh) 基于图像增强的输电线路细小金具缺陷检测方法及系统
CN109741320A (zh) 一种基于航拍图像的风电叶片故障检测方法
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
CN111127538A (zh) 一种基于卷积循环编码-解码结构的多视影像三维重建方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN112766409A (zh) 一种遥感图像目标检测的特征融合方法
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和系统
CN116503318A (zh) 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备
CN114283137A (zh) 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法
CN113011308A (zh) 一种引入注意力机制的行人检测方法
CN115147383A (zh) 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法
CN114782298A (zh) 一种具有区域注意力的红外与可见光图像融合方法
CN117079163A (zh) 一种基于改进yolox-s的航拍图像小目标检测方法
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
CN111680640B (zh) 一种基于领域迁移的车型识别方法及系统
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
CN111104532B (zh) 一种基于双流网络的rgbd图像联合恢复方法
CN112418229A (zh) 一种基于深度学习的无人船海上场景图像实时分割方法
CN117152435A (zh) 一种基于U-Net3+的遥感语义分割方法
CN116580184A (zh) 一种基于YOLOv7的轻量化模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination