CN112364754B - 螺栓缺陷检测方法及系统 - Google Patents

螺栓缺陷检测方法及系统 Download PDF

Info

Publication number
CN112364754B
CN112364754B CN202011239081.2A CN202011239081A CN112364754B CN 112364754 B CN112364754 B CN 112364754B CN 202011239081 A CN202011239081 A CN 202011239081A CN 112364754 B CN112364754 B CN 112364754B
Authority
CN
China
Prior art keywords
feature
bolt
initial
defect detection
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011239081.2A
Other languages
English (en)
Other versions
CN112364754A (zh
Inventor
刘武能
刘丽龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Diqing Power Supply Bureau of Yunnan Power Grid Co Ltd
Original Assignee
Diqing Power Supply Bureau of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diqing Power Supply Bureau of Yunnan Power Grid Co Ltd filed Critical Diqing Power Supply Bureau of Yunnan Power Grid Co Ltd
Priority to CN202011239081.2A priority Critical patent/CN112364754B/zh
Publication of CN112364754A publication Critical patent/CN112364754A/zh
Application granted granted Critical
Publication of CN112364754B publication Critical patent/CN112364754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种螺栓缺陷检测方法及系统，所述方法应用于螺栓缺陷检测系统，所述螺栓缺陷检测系统包括螺栓缺陷检测模型；所述检测方法包括：获取待检测螺栓数据；对待检测螺栓数据进行特征提取，获取初始特征；对初始特征进行上采样，并且对其赋予权重，获取选择特征；将初始特征和所述选择特征进行融合，获取融合特征；对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果。采用前述的方案，通过增加特征选择层，促进不同层次特征的选择与融合，最后通过特征融合将特征金字塔的各层输出进行融合，从而得到相较于传统CNN更为优异和精确的检测结果。解决了传统CNN方法很难将螺栓的图像进行精确定位、识别，进而很难检测螺栓缺陷的问题。

Description

螺栓缺陷检测方法及系统
技术领域
本申请涉及输配电缺陷检测技术领域，尤其涉及一种螺栓缺陷检测方法及系统。
背景技术
在输电线路中，螺栓作为一种紧固件，广泛应用于输电线路各个部件之间的连接部位，从而使整体结构稳定。但是由于工作环境复杂，它们容易损坏，例如：一些销钉会缺失，这可能导致大面积的输电线路故障，严重威胁电网的安全性和稳定性。因此，需要定期对螺栓进行检测，找出缺陷，及时替换，及时止损。
现有技术中，通常利用传统的机器学习方法对螺栓的特征进行提取，识别，判断缺陷，传统机器学习方法通常需要手动选取对象特征，因此，通常需要依靠经验设计对象特征，当被处理的图像特征比较复杂时，通常很难保证检测精度的稳定性。电力设备图像不仅背景复杂，而且由于设备和支架之间的相互遮挡以及拍摄距离和角度导致的尺度差异，使得传统特征提取方法对螺栓的识别，无法获得较好效果。
随着卷积神经网络(CNN)的出现，CNN通过其特有的卷积层和采样层等功能层的交替使用，可以充分学习原始图像中待识别物体的各项特征，并将特征储存在网络中，最终通过最末端的分类器，判断图像类别。由于CNN较强的特征学习能力，目前广泛应用于各类目标检测中，并获得了良好的检测效果，解决了传统机器学习的缺陷。传统CNN可以通过网络对大量图像的学习，获取待测对象的特征并进行检测。虽然训练时间较长，但一旦网络训练结束，该网络不仅储存了训练集中大量的图片特征，而且在测试环节中仅需要进行单向运算，检测时间短，识别准确率高，抗干扰能力强。
但是，传统CNN方法对于电力设备图像的识别仍然具有局限性，由于大量电力设备分布在电力系统各处，在图像中尺度跨度大，最大设备的长宽尺度，可能为最小设备的数倍，而且图像中环境复杂，设备相互遮档严重，加之螺栓的体积较小。因此，传统CNN方法很难将电力设备图像进行精确定位、识别，进而不能准确是识别出螺栓的缺陷。
发明内容
本申请提供了螺栓缺陷检测方法及系统，以解决传统CNN方法很难将电力设备图像进行精确定位、识别，进而不能准确是识别出螺栓的缺陷的问题。
第一方面，本申请实施例提供一种螺栓缺陷检测方法，所述方法应用于螺栓缺陷检测系统，所述螺栓缺陷检测系统包括螺栓缺陷检测模型；所述检测方法包括：
获取待检测螺栓数据；
对所述待检测螺栓数据进行特征提取，获取初始特征；
对所述初始特征进行上采样，并且对其赋予权重，获取选择特征；
将所述初始特征和所述选择特征进行融合，获取融合特征；
对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果。
结合第一方面，在一种实现方式中，对所述螺栓数据进行特征提取，获取初始特征，包括：
利用所述螺栓缺陷检测系统中至少四层网络结构对所述螺栓数据进行前向特征提取，获取对应的至少4层初始特征层，至少4层初始特征层形成初始特征。
结合第一方面，在一种实现方式中，对所述初始特征进行上采样，并且对其赋予权重，获取选择特征，包括：
对各层初始特征层分别进行卷积运算，变换通道；
变换通道之后，在每一层未进行上采样的初始特征层进行上采样，获得权重，赋予权重进行加权；将加权后的特征作为选择特征。
结合第一方面，在一种实现方式中，将所述初始特征和所述选择特征进行融合，获取融合特征，包括：
将所述初始特征和所述选择特征进行合并，对合并后的特征分别进行卷积核大小为3*3，输出通道为256的卷积运算输出融合特征。
结合第一方面，在一种实现方式中，对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果，包括：
对所述融合特征进行回归和分类运算，获取输电线路中的螺栓的坐标位置，通过绘制矩形框方式对输电线螺栓的坐标位置进行标注，以实现对螺栓的缺陷检测。
结合第一方面，在一种实现方式中，所述检测方法还包括：
对所述螺栓缺陷检测模型进行训练，训练过程为标注螺栓图像得到训练数据集，将所述训练数据集输入模型，迭代调整模型参数，获得模型。
第二方面，本申请实施例部分提供了一种螺栓缺陷检测系统，所述螺栓缺陷检测系统包括：螺栓数据获取模块，螺栓缺陷检测模型，所述螺栓缺陷检测模型包括：特征提取模块、特征选择模块、特征融合模块和运算模块；
所述螺栓数据获取模块，用于获取待检测螺栓数据；
所述特征提取模块，用于提取模块对所述待检测螺栓数据进行特征提取，获取初始特征；
所述特征选择模块，用于对所述初始特征进行上采样，并且对其赋予权重，获取选择特征；
所述特征融合模块，用于将所述初始特征和所述选择特征进行融合，获取融合特征；
所述运算模块，用于对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果。
结合第二方面，在一种实现方式中，特征选择模块包括卷积注意力单元和残差注意力单元；卷积注意力单元包括通道注意力和空间注意力；
所述卷积注意力单元用于通过训练学习权重，获取权重，赋予权重进行加权；
所述残差注意力单元用于将加权后和加权前的特征同时输入下一层。
结合第二方面，在一种实现方式中，对所述螺栓数据进行特征提取，获取初始特征，包括：
利用所述螺栓缺陷检测系统中至少四层网络结构对所述螺栓数据进行前向特征提取，获取对应的至少4层初始特征层，至少4层初始特征层形成初始特征。
结合第二方面，在一种实现方式中，将所述初始特征和所述选择特征进行融合，获取融合特征，包括：
将所述初始特征和所述选择特征进行合并，对合并后的特征分别进行卷积核大小为3*3，输出通道为256的卷积运算输出融合特征。
本申请提供了螺栓缺陷检测方法及系统，所述方法应用于螺栓缺陷检测系统，所述螺栓缺陷检测系统包括螺栓缺陷检测模型；所述检测方法包括：获取待检测螺栓数据；对所述待检测螺栓数据进行特征提取，获取初始特征；对所述初始特征进行上采样，并且对其赋予权重，获取选择特征；将所述初始特征和所述选择特征进行融合，获取融合特征；对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果。采用前述的方案，通过增加特征选择层，促进不同层次特征的选择与融合，最后通过特征融合将特征金字塔的各层输出进行融合，从而得到相较于传统CNN更为优异和精确的检测结果。解决了传统CNN方法很难将螺栓的图像进行精确定位、识别，进而很难检测螺栓缺陷的问题。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种螺栓缺陷检测系统的结构示意图；
图2是本申请实施例提供的一种螺栓缺陷检测方法的流程示意图；
图3是本申请一个实施例中螺栓数据集的标注和未标注图像；
图4是本申请一个实施例中特征选择模块CBAM的结构示意图；
图5是本申请一个实施例中特征选择模块RAM的结构示意图；
图6是本申请实施例的检测结果的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
由背景技术的描述可知，现有技术中通常使用传统的CNN对含螺栓的图片进行识别，但是传统的CNN方法对于电力设备图像的识别仍然具有局限性：大量电力设备分布在电力系统各处，在图像中尺度跨度大，最大设备的长宽尺度，可能为最小设备的数倍，而且图像中环境复杂，设备相互遮档严重。因此，传统CNN方法很难将螺栓的图像进行精确定位、识别，进而很难检测螺栓缺陷。
为解决上述问题，本申请实施例公开了一种螺栓缺陷检测方法，所述方法应用于螺栓缺陷检测系统，所述螺栓缺陷检测系统包括螺栓缺陷检测模型。
本申请的系统结构图如图1所示，图1为本申请实施例提供的一种螺栓缺陷检测系统的结构示意图，本申请的螺栓缺陷检测系统是基于FPN(Feature Pyramid Networks，特征金字塔网络)结构的一种改进结构，FPN是一种为解决物体检测中的小目标检测提出的应对方案，通过在特征图的输出位置添加网络连接改变特征图内容以对目标进行多尺度特征提取，大幅度提升小目标检测的效果，基本不增加模型计算量，FPN利用卷积网络已经计算过的不同尺度的特征映射，把深层的低分辨的特征映射融合进来，让浅层的高分辩特征映射具有很强的语义。FPN网络对常规的特征提取网络进行修改，每层的特征图引入下一层特征图缩放两倍的特征映射做逐元素相加操作。这种连接使每一层最终输出的特征图都融合了不同分辨率、不同语义强度的特征，保证了模型检测不同分辨率大小的目标都能获得合适的特征；同时，该结构仅在原网络基础上增加了跨层连接，几乎不额外增加计算量。FPN网络的前向传播是自底向上的下采样结构，在前向过程中，将特征图大小相同的层整合成同一阶段，每个阶段最后输出的特征大小发生变化，不同大小的特征构成特征金字塔。自顶向下的结构采用双线性差值进行上采样，横向连接结构将下采样得到的特征图与对应大小的上采样生成的特征图进行逐元素相加。
本申请是在FPN结构中添加特征选择模块以及特征融合模块形成的螺栓缺陷检测系统，一个FPN与一组特征选择模块组成，这些特征选择模块与FPN相连。特征选择模块对FPN各层的特征输出应用注意力机制，以选择对螺栓检测有用的合适特征。这样，可以将注意力模块视为来自FPN的特征选择器，这些特征选择器以端到端的方式自动学习。
因此，本申请通过在特征金字塔的各层之间增加特征选择层，促进不同层次特征的选择与融合，最后将特征金字塔的各层输出进行融合，从而得到相较于普通CNN更为优异和精确的检测结果。
参照图2，所述检测方法包括：
S11，获取待检测螺栓数据。
本申请中的螺栓数据来源是由无人机航拍图像，采集部位为塔架连接处部件，使用标注软件辅助标记航拍图像中所有螺栓。螺栓标注分为三类，普通螺栓头部，普通螺栓尾部，缺销钉螺栓。螺栓数据标记工作完成后，与未标记的螺栓数据组成螺栓数据集，其中，未标记的螺栓数据就是待检测螺栓数据。该螺栓数据集用于完成螺栓缺陷检测模型的训练和检测，以完成销钉缺失的缺陷识别。图3中a为标注前图像，即未标注图像，b为已标注图像。图3中，screw_norm表示普通螺栓头部，screw_norm_tail表示普通螺栓尾部，lack_pin表示有缺陷螺栓。
S12，对所述待检测螺栓数据进行特征提取，获取初始特征。
本步骤中是利用螺栓缺陷检测模型中的特征提取模块对所述待检测螺栓数据进行特征提取，获取初始特征，具体是利用所述螺栓缺陷检测模型中至少四层网络结构对所述螺栓数据进行前向特征提取，获取对应的至少4层初始特征层，至少4层初始特征层形成初始特征。
如图1所示，本申请的特征提取模块(特征提取网络)以ResNet-50为基础，图1中特征提取网络有4层，C2、C3、C4和C5即为提取出来的初始特征，也可称为特征图。
S13，对所述初始特征进行上采样，并且对其赋予权重，获取选择特征。
本步骤中是利用螺栓缺陷检测模型中的特征选择模块对步骤S12提取的初始特征进一步选择，获取选择特征。
其中，本申请使用到的特征选择模块有两种，一种是CBAM(卷积注意力模块)，另一种是RAM(残差注意力模块)。
如图4所示，CBAM由CA模块和SA模块两部分组成。CA模块(通道注意力)：输入特征图F取每个通道最大池化和平均池化的结果，然后分别送入一个三层感知机，将输出结果相加然后通过ReLU函数激活，得到CA模块的特征图Mc；SA模块(空间注意力)：在CA模块执行完后，中间结果特征图会被送入SA模块继续处理。首先在通道域上进行平均池化和最大池化操作，将它们连接成一个有效的特征，然后用传统卷积处理一次，使用Sigmoid激活得到SA模块的特征图Ms。
以中间特征图F∈RC×H×W作为输入，CBAM依次推理出1维通道注意力图MC∈RC×1×1和2维空间注意力图MS∈R1×H×W，整个注意力过程可以描述为：
其中表示逐元素乘法，F″是最终的精确结果。
如图5所示，残差注意力模块分为Mask分支和Trunk分支两部分。
Trunk分支进行特征提取，可以使用任何一种网络模型。定义其输入为x，输出为T(x)，Mask分支包含上采样层和下采样层结构来学习得到相同大小的mask，记为M(x)，作为T(x)的权重分量。下采样和上采样结构模仿快速前向和反向注意力的过程，输出的mask作为参数来控制trunk分支。与残差学习的思想类似，Mask内部为恒等映射结构，调整注意力模块的输出H为：
H(x)＝(1+M(x))·T(x) (2)；
其中M(x)在(0,1]范围内，如果M(x)接近0，那么H(x)接近于T(x)。
具体的，特征选择模块的工作过程如下：参见图1，首先对C2-C4进行卷积核大小为1*1的卷积运算把通道全部变换到256；然后在每一个未进行上采样的特征图上添加注意力模块作为特征选择模块，CBAM模块通过训练学习新的权重，使模型学到螺栓图像中需要关注的区域(例如，螺栓的细节图)；RAM把加权后和加权前的特征张量同时输入下一层；接着自顶向下(从P5开始)将当前层进行双线性差值2倍上采样，将采样的选择特征图与下一层特征图(若当前层为P5，则下一层为C4)进行像素间相加，相加之后的选择特征图P4作为当前层进行下一步迭代直至没有下一层。
S14，将所述初始特征和所述选择特征进行融合，获取融合特征。
本步骤中是利用螺栓缺陷检测模型中的特征融合模块将步骤S12获取的初始特征和步骤S13获取的选择特征进行融合，得到融合特征。
具体是将合并之后的四层特征分别进行卷积核大小为3*3，输出通道为256的卷积运算输出P5、P4、P3和P2，P5、P4、P3和P2即为融合后的融合特征。
S15，对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果。
本步骤中是利用螺栓缺陷检测模型中的运算模块对步骤S14获得的融合特征进行回归和分类计算，获得最终的螺栓缺陷检测结果。
具体的，在上述获得融合特征P5、P4、P3和P2之后，可以在上面利用滑动窗生成anchor(锚)，并进行前背景置信度预测和边框回归。加入FPN的Faster R-CNN在P2，P3，P4，P5层分别生成32*32，64*64，128*128，256*256四种大小的anchor，每一层的anchor同样对应0.5，1，2三种宽高比。基于FPN的Faster R-CNN每一个特征层生成三种不同比例的anchor，四层一共生成12种不同大小的anchor。
加入了FPN后RPN(Region Proposal Network，区域生成网络)层的预测前景置信度和边框回归与原来一样，RPN训练过程中稍有改变的是加入FPN后，RPN的分类loss为4层分类loss之和，同样RPN的回归loss为4层边框回归loss之和。在预测阶段，先将P2-P5层的预测边框汇总，再对所有的预测边框做NMS(Non-Maximum Suppression，非极大值抑制)生成最后的ROI(Region ofInterest，特征图上的框)。生成ROI之后，利用ROI的特征进行最后的分类和边框修正，使用以下公式(3)映射策略将ROI映射到对应尺寸的特征层(P2-P5)上。
公式(3)中k代表该ROI会分配到Pk层上，s是预训练图片的尺寸大小，k0代表尺寸为s×s的ROI应该分配到的层索引(Faster R-CNN中是在C4上预测，所以这里k0等于4)，w，h分别表示ROI的宽和高。公式(3)可以得到尺寸为w，h的ROI应该映射到的特征图索引k，将ROI映射到Pk层就可以获得ROI的特征。得到ROI的特征之后的部分同FRCNN没有区别，即经过ROI池化到同一尺寸再进行分类和边框回归，得到螺栓缺陷检测结果。
在所述螺栓缺陷检测模型使用之前，需要对所述螺栓缺陷检测模型进行训练，训练过程为标注螺栓图像得到训练数据集，将所述训练数据集输入模型，迭代调整模型参数，获得模型。在训练过程中针对螺栓数据样本不平衡的传统做法往往只顾及到不同类别样本数目不平衡，或者难易样本不平衡中的某一方面，并且处理方式存在欠采样造成数据缺失、过采样占用太多空间等问题，这些问题在一定程度上降低了算法的实用性。本申请借鉴focal loss(损失函数)的做法，对RPN的训练过程进行优化。
FL(pt)＝-αt(1-pt)γlog(pt) (4)；
其中，p取值范围为0～1，代表模型预测样本为正类的概率。-log(pt)为交叉熵损失，αt为权重因子，取值范围0～1。通过调整因子(1-pt)γ来处理难易样本的问题，参数γ为非负数。
(1-Pt)代表模型预测概率与标注的差值，是一个范围在0～1的数，并且概率预测得越准，这个数的绝对值就越接近0，样本损失缩放的程度就越大；概率预测得越不准这个数的绝对值就越靠近1，样本损失缩放的程度就越小。例如当γ等于2时，若某正样本的预测概率Pt为0.9，相比修正前的损失会有100倍的缩小；若Pt为0.968则会有1024倍的缩小。从另一种角度来看就是减小了简单样本损失以增加困难样本损失对总体损失的影响。
下述为本发明系统实施例，可以用于执行本发明方法实施例。对于本发明系统实施例中未披露的细节，请参照本发明方法实施例。
本申请实施例部分提供了一种螺栓缺陷检测系统，所述螺栓缺陷检测系统包括：螺栓数据获取模块，螺栓缺陷检测模型，所述螺栓缺陷检测模型包括：特征提取模块、特征选择模块、特征融合模块和运算模块；
所述螺栓数据获取模块，用于获取待检测螺栓数据；
所述特征提取模块，用于提取模块对所述待检测螺栓数据进行特征提取，获取初始特征；
所述特征选择模块，用于对所述初始特征进行上采样，并且对其赋予权重，获取选择特征；
所述特征融合模块，用于将所述初始特征和所述选择特征进行融合，获取融合特征；
所述运算模块，用于对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果。
结合第二方面，在一种实现方式中，特征选择模块包括卷积注意力单元和残差注意力单元；卷积注意力单元包括通道注意力和空间注意力；
所述卷积注意力单元用于通过训练学习权重，获取权重，赋予权重进行加权；
所述残差注意力单元用于将加权后和加权前的特征同时输入下一层。
结合第二方面，在一种实现方式中，对所述螺栓数据进行特征提取，获取初始特征，包括：
利用所述螺栓缺陷检测系统中至少四层网络结构对所述螺栓数据进行前向特征提取，获取对应的至少4层初始特征层，至少4层初始特征层形成初始特征。
结合第二方面，在一种实现方式中，将所述初始特征和所述选择特征进行融合，获取融合特征，包括：
将所述初始特征和所述选择特征进行合并，对合并后的特征分别进行卷积核大小为3*3，输出通道为256的卷积运算输出融合特征。
为了使进一步了解本申公开的一种螺栓缺陷检测方法及系统的检测效果，本申请还公开了具体实施例。
实施例
1、螺栓数据集
缺陷检测系统中有2411个航拍图像，总共包括5745个普通螺栓头部，2924个普通螺栓尾部，1188个缺销钉螺栓。螺栓数据是由无人机从输电线路多个位置捕获的。训练数据与测试数据的比率设置为8.5：1.5，使用2049张图像进行训练，362张图像进行测试。表1中列出了训练和测试过程中使用的对象数。
表1螺栓数据集组成
图片数/个 普通螺栓头部/个 普通螺栓尾部/个 缺陷/个
训练 2049 4850 2454 1008
测试 362 895 470 180
总数 2411 5745 2924 1188
2、服务器配置
本申请提出的实施例的GPU服务器环境配置如下：Ubuntu 16.04操作系统，TensorFlow框架；2.10GHz的E5-2620 v4 CPU，128GB内存，2块12GB显存的GeForce RTX2080Ti。
3、训练设置
在模型训练过程中采用动量优化方法，并设置了衰减学习率。初始学习速率为0.001，学习速率在6w，8w分别衰减，衰减系数为0.1，并且总共进行了10w次迭代。动量设置为0.9，RPN的IOU(Intersection over Union，交并比)阈值正负样本阈值为0.7和0.3，应用于RPN的NMS阈值设置为0.7。整个训练过程模型的收敛性能由总损失表示，可以通过公式(6)计算。
total_loss＝rpn_total_loss+fastrcnn_total_loss+weight_decay_loss (6)；
4、评估标准
本申请使用准确率和召回率来评估模型性能。IOU是评估目标检测任务中一个很重要的概念，对于目标检测来说，检测框与groundtruth(标注框)的IOU决定了预测结果。检测结果可分为四种情况：真正例(TP)、假正例(FP)、真负例(TN)、假负例(FN)。
各情况的定义如下：
1)真正例(TP)：检测正确。检测框和标注框的IOU大于等于设定的阈值。
2)假正例(FP)：检测错误。检测框和标注框的IOU小于设定的阂值。
3)真负例(TN)：真负例在目标检测中不具有实际意义，所以目标检测中不采用这个指标。
4)假负例(FN)：漏检了标注框。
准确率(Precision)和召回率(Recall)是目标检测任务中的两个基本指标。准确率代表了算法检测出来的正样本中，确实是标注框的概率。准确率越高，预测出来的边框中是目标的可能性就越高。准确率计算公式如下：
召回率代表了算法漏掉检测目标的程度。算法的召回率越高，检出覆盖率越高，漏检的可能性就越小，目标更多地包含在检测结果中。召回率计算公式如下：
5、结果与分析
普通螺栓头部、普通螺栓尾部、缺销钉螺栓特征比较相似，需要细粒度区分。本申请在常规FPN的基础上，添加了CBAM和RAM两种注意力模块。针对两种注意力模块，设计了以下消融实验：正常FPN；在resnet每个阶段最后的特征图加CBAM；在得到感兴趣区域ROI后，ROI映射到每层的feature得到ROI feature，进行ROI_pooling时，在每个ROI feature加CBAM；在resnet每个阶段最后的特征图加RAM；在resnet特征图加RAM并在ROI feature加CBAM。
1)训练损失：由于进行了多次实验，其损失图像类似，这里列出CBAM与RAM同时添加时网络的训练损失。其损失曲线整个收敛过程伴随着剧烈的变化。由于正常螺栓和销钉缺失螺栓之间的区别很小，拍摄角度、背景复杂、模糊等因素也给分类器带来很大压力，导致分类器的损失产生抖动。
2)测试结果：为了更深入地验证注意力模块在网络优化的有效性，在检测网络上设计不同位置进行了消融实验。实验结果列于表2，表格的左侧代表所使用的注意力机制模块，右侧分别为训练时长、损失、召回率、准确率。实验结果表明了不同策略对螺栓检测网络的影响，其中只使用CBAM模块时准确率63％最高，同时使用CBAM和RAM时螺栓缺陷检测召回率57.5％最高。使用了注意力模块的网络结构测试召回率均高于未使用注意力模块的网络，验证了注意力机制对模型优化的有效性。
表2测试结果对比
3)实例效果
图6为本实施例的检测结果，使用本申请公开的一种螺栓缺陷检测方法及系统准确的检出了均压环，参见图6中的a图，以及挂板部件的螺栓销钉缺失，参见图6中的b图。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见系统实施例中的说明即可。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

Claims (10)

1.一种螺栓缺陷检测方法，其特征在于，所述方法应用于螺栓缺陷检测系统，所述螺栓缺陷检测系统包括螺栓缺陷检测模型；所述检测方法包括：
获取待检测螺栓数据；
对所述待检测螺栓数据进行特征提取，获取初始特征；
分别对初始特征层进行卷积运算，在每一层未进行上采样的初始特征层添加注意力模块进行加权学习，将加权前的特征张量和加权后的特征张量同时输入到下一层，从上到下对当前层进行上采样，将采样的选择特征图与下一层特征图进行相加作为当前特征层进行迭代处理，获得选择特征；
将所述初始特征和所述选择特征进行融合，获取融合特征；
对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，对所述螺栓数据进行特征提取，获取初始特征，包括：
利用所述螺栓缺陷检测系统中至少四层网络结构对所述螺栓数据进行前向特征提取，获取对应的至少4层初始特征层，至少4层初始特征层形成初始特征。
3.根据权利要求2所述的方法，其特征在于，对所述初始特征进行上采样，并且对其赋予权重，获取选择特征，包括：
对各层初始特征层分别进行卷积运算，变换通道；
变换通道之后，在每一层未进行上采样的初始特征层进行上采样，获得权重，赋予权重进行加权；将加权后的特征作为选择特征。
4.根据权利要求1-3任一项所述的方法，其特征在于，将所述初始特征和所述选择特征进行融合，获取融合特征，包括：
将所述初始特征和所述选择特征进行合并，对合并后的特征分别进行卷积核大小为3*3，输出通道为256的卷积运算输出融合特征。
5.根据权利要求1所述的方法，其特征在于，对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果，包括：
对所述融合特征进行回归和分类运算，获取输电线路中的螺栓的坐标位置，通过绘制矩形框方式对输电线螺栓的坐标位置进行标注，以实现对螺栓的缺陷检测。
6.根据权利要求1所述的方法，其特征在于，所述检测方法还包括：
对所述螺栓缺陷检测模型进行训练，训练过程为标注螺栓图像得到训练数据集，将所述训练数据集输入模型，迭代调整模型参数，获得模型。
7.一种螺栓缺陷检测系统，其特征在于，所述螺栓缺陷检测系统包括：螺栓数据获取模块，螺栓缺陷检测模型，所述螺栓缺陷检测模型包括：特征提取模块、特征选择模块、特征融合模块和运算模块；
所述螺栓数据获取模块，用于获取待检测螺栓数据；
所述特征提取模块，用于提取模块对所述待检测螺栓数据进行特征提取，获取初始特征；
所述特征选择模块，用于分别对初始特征层进行卷积运算，在每一层未进行上采样的初始特征层添加注意力模块进行加权学习，将加权前的特征张量和加权后的特征张量同时输入到下一层，从上到下对当前层进行上采样，将采样的选择特征图与下一层特征图进行相加作为当前特征层进行迭代处理，获得选择特征；
所述特征融合模块，用于将所述初始特征和所述选择特征进行融合，获取融合特征；
所述运算模块，用于对所述融合特征进行回归和分类运算，获得螺栓缺陷检测结果。
8.根据权利要求7所述的系统，其特征在于，特征选择模块包括卷积注意力单元和残差注意力单元；卷积注意力单元包括通道注意力和空间注意力；
所述卷积注意力单元用于通过训练学习权重，获取权重，赋予权重进行加权；所述残差注意力单元用于将加权后和加权前的特征同时输入下一层。
9.根据权利要求8所述的系统，其特征在于，对所述螺栓数据进行特征提取，获取初始特征，包括：
利用所述螺栓缺陷检测系统中至少四层网络结构对所述螺栓数据进行前向特征提取，获取对应的至少4层初始特征层，至少4层初始特征层形成初始特征。
10.根据权利要求8或9所述的系统，其特征在于，将所述初始特征和所述选择特征进行融合，获取融合特征，包括：
将所述初始特征和所述选择特征进行合并，对合并后的特征分别进行卷积核大小为3*3，输出通道为256的卷积运算输出融合特征。
CN202011239081.2A 2020-11-09 2020-11-09 螺栓缺陷检测方法及系统 Active CN112364754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011239081.2A CN112364754B (zh) 2020-11-09 2020-11-09 螺栓缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011239081.2A CN112364754B (zh) 2020-11-09 2020-11-09 螺栓缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN112364754A CN112364754A (zh) 2021-02-12
CN112364754B true CN112364754B (zh) 2024-05-14

Family

ID=74509905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011239081.2A Active CN112364754B (zh) 2020-11-09 2020-11-09 螺栓缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN112364754B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012115B (zh) * 2021-03-03 2023-02-14 珠海迪沃航空工程有限公司 一种螺栓立体成像检测系统及方法
CN113157556A (zh) * 2021-03-09 2021-07-23 金陵科技学院 一种基于选择主成分识别的行业建筑软件缺陷管理方法
CN113344857B (zh) * 2021-05-13 2022-05-03 深圳市华汉伟业科技有限公司 缺陷检测网络的训练方法、缺陷检测方法和存储介质
CN113344886A (zh) * 2021-06-11 2021-09-03 长江存储科技有限责任公司 晶圆表面缺陷检测方法和设备
CN115346068A (zh) * 2022-08-02 2022-11-15 哈尔滨市科佳通用机电股份有限公司 一种铁路货运列车螺栓丢失故障图像自动生成方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN107633267A (zh) * 2017-09-22 2018-01-26 西南交通大学 一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法
CN109711401A (zh) * 2018-12-03 2019-05-03 广东工业大学 一种基于Faster Rcnn的自然场景图像中的文本检测方法
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110232687A (zh) * 2019-06-21 2019-09-13 华北电力大学（保定） 一种电力巡检图像中带销螺栓缺陷的检测方法
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、系统及电子设备
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111444939A (zh) * 2020-02-19 2020-07-24 山东大学 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN111539428A (zh) * 2020-05-06 2020-08-14 中国科学院自动化研究所 基于多尺度特征整合和注意力机制的旋转目标检测方法
CN111783590A (zh) * 2020-06-24 2020-10-16 西北工业大学 一种基于度量学习的多类别小目标检测方法
WO2020221990A1 (en) * 2019-04-30 2020-11-05 Huawei Technologies Co., Ltd. Facial localisation in images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504233A (zh) * 2016-10-18 2017-03-15 国网山东省电力公司电力科学研究院 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统
CN107633267A (zh) * 2017-09-22 2018-01-26 西南交通大学 一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法
CN109711401A (zh) * 2018-12-03 2019-05-03 广东工业大学 一种基于Faster Rcnn的自然场景图像中的文本检测方法
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
WO2020221990A1 (en) * 2019-04-30 2020-11-05 Huawei Technologies Co., Ltd. Facial localisation in images
CN110232687A (zh) * 2019-06-21 2019-09-13 华北电力大学（保定） 一种电力巡检图像中带销螺栓缺陷的检测方法
CN110532955A (zh) * 2019-08-30 2019-12-03 中国科学院宁波材料技术与工程研究所 基于特征注意力和子上采样的实例分割方法和装置
CN110599469A (zh) * 2019-08-30 2019-12-20 中国铁道科学研究院集团有限公司 一种动车组关键部位的缺陷检测方法、系统及电子设备
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法
CN111444939A (zh) * 2020-02-19 2020-07-24 山东大学 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN111539428A (zh) * 2020-05-06 2020-08-14 中国科学院自动化研究所 基于多尺度特征整合和注意力机制的旋转目标检测方法
CN111783590A (zh) * 2020-06-24 2020-10-16 西北工业大学 一种基于度量学习的多类别小目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Improved Faster R-CNN for High-Speed Railway Dropper Detection;Q. Guo等;《IEEE Access》;第8卷;105622-105633 *
MultiResolution attention extractor for small object detection;Zhang F等;《arXiv:2006.05941v1 [cs.CV] 》;1-11 *
基于改进Faster-RCNN的无人机巡检架空线路销钉缺陷检测;顾超越等;《高电压技术》;第46卷(第9期);3089-3096 *
深度学习在输电线路中部件识别与缺陷检测的研究;汤踊等;《电子测量技术》;第41卷(第6期);60-65 *

Also Published As

Publication number Publication date
CN112364754A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112364754B (zh) 螺栓缺陷检测方法及系统
CN109359559B (zh) 一种基于动态遮挡样本的行人再识别方法
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN111582141B (zh) 人脸识别模型训练方法、人脸识别方法及装置
US20190147283A1 (en) Deep convolutional neural networks for crack detection from image data
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN106570464A (zh) 一种快速处理人脸遮挡的人脸识别方法及装置
CN107292875A (zh) 一种基于全局‑局部特征融合的显著性检测方法
CN113807276B (zh) 基于优化的YOLOv4模型的吸烟行为识别方法
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN114241422A (zh) 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法
CN111898566B (zh) 姿态估计方法、装置、电子设备和存储介质
CN109345559B (zh) 基于样本扩充和深度分类网络的运动目标跟踪方法
CN110135446A (zh) 文本检测方法及计算机存储介质
CN116092179A (zh) 一种改进的yolox跌倒检测系统
CN116092178A (zh) 一种面向移动端的手势识别和跟踪方法及系统
Guo et al. Scale region recognition network for object counting in intelligent transportation system
Tang et al. HIC-YOLOv5: Improved YOLOv5 For Small Object Detection
CN113706408A (zh) 一种基于降噪卷积神经网络的鬼成像去噪方法及设备
CN112560668A (zh) 一种基于场景先验知识的人体行为识别方法
Feng et al. Improved Pedestrian Fall Detection Model Based on YOLOv5
CN112149528A (zh) 一种全景图目标检测方法、系统、介质及设备
WO2024011853A1 (zh) 人体图像质量检测方法、装置、电子设备及存储介质
Zhu et al. Application of pornographic images recognition based on depth learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant