CN113313070A - 架空输电线路缺陷检测方法、装置及电子设备 - Google Patents

架空输电线路缺陷检测方法、装置及电子设备 Download PDF

Info

Publication number
CN113313070A
CN113313070A CN202110708244.5A CN202110708244A CN113313070A CN 113313070 A CN113313070 A CN 113313070A CN 202110708244 A CN202110708244 A CN 202110708244A CN 113313070 A CN113313070 A CN 113313070A
Authority
CN
China
Prior art keywords
feature
network
image
sub
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110708244.5A
Other languages
English (en)
Inventor
李捷
冯宇
郑洁雪
刘德凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayan Intelligent Technology Group Co ltd
Original Assignee
Huayan Intelligent Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huayan Intelligent Technology Group Co ltd filed Critical Huayan Intelligent Technology Group Co ltd
Priority to CN202110708244.5A priority Critical patent/CN113313070A/zh
Publication of CN113313070A publication Critical patent/CN113313070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供架空输电线路缺陷检测方法、装置及电子设备，涉及目标检测领域。方法包括：通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图；对不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图，并利用融合后的多级特征图生成目标候选区域；根据目标候选区域确定最终检测结果。本发明实施例的架空输电线路缺陷检测方法、装置及电子设备通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，在对复杂检测环境下的架空输电线路进行缺陷检测时，这种特征提取方式能够保证对网络深层阶段的小目标的空间分辨率，提升对小目标的缺陷目标检测能力和定位能力，从而节省人力成本和物力成本。

Description

架空输电线路缺陷检测方法、装置及电子设备
技术领域
本发明涉及目标检测技术领域，尤其是涉及一种架空输电线路缺陷检测方法、装置及电子设备。
背景技术
目前，常用于输电线路缺陷检测的深度学习算法包括two-stage检测器和one-stage检测器，其中，two-stage检测器的检测流程一般为：1、将待检测目标图像输入到骨干网络中进行图像的特征提取，得到特征图；2、将从骨干网络中提取的特征图输入到候选区域提议网络中进行分类和回归，得到一系列候选框；3、利用分类回归网络进行二次检测，对一系列候选框进行位置回归和类别概率打分的计算，并对所得到的预测框进行非极大值抑制，从而输出最终的检测结果。one-stage检测器的检测流程与two-stage检测器类似，但其不需要将特征图输入到候选区域提议网络中，而是直接利用从骨干网络提取到的特征图进行目标框的分类和回归。
然而，不管是one-stage检测器还是two-stage检测器，在应用于架空输电线路缺陷检测时，两种检测器使用的骨干网络通常是基于为分类任务设计和训练的骨干网络，而仅使用基于分类任务的骨干网络，会对提升目标检测器对缺陷目标的定位能力方面带来阻碍，同时，one-stage检测器和two-stage检测器通常在骨干网络后加入特征金字塔网络，而one-stage检测器或two-stage检测器加特征金字塔网络的方法在小目标的缺陷检测方面仍然有进一步的提升空间。
发明内容
有鉴于此，本发明的目的在于提供一种架空输电线路缺陷检测方法、装置及电子设备，以改善上述技术问题。
第一方面，本发明实施例提供了一种架空输电线路缺陷检测方法，所述方法包括以下步骤：
通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图；
其中，所述骨干网络包括下采样网络和瓶颈结构网络，所述下采样网络用于基于注意力机制对所述待检图像逐级进行下采样，所述瓶颈结构网络用于基于空洞卷积保持对经下采样的特征图的空间分辨率；
对所述不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图，并利用所述融合后的多级特征图生成目标候选区域；
根据所述目标候选区域确定最终检测结果。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述骨干网络包括顺次连接的4个下采样网络和2个瓶颈结构网络；
所述通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，包括：
将所述待检图像输入到所述骨干网络中；
通过所述骨干网络中的下采样网络中包含的注意力机制对所述待检图像进行特征提取和通道间特征融合，得到子特征图；
对所述子特征图进行重组，得到特征图，并将所述特征图输入到包含有空洞卷积的瓶颈结构网络中进行空间分辨率保持；
其中，除所述下采样网络中的第一个下采样网络之外的其余下采样网络和所述瓶颈结构网络分别提取出所述待检图像在各个阶段的特征图。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述通过所述骨干网络中的下采样网络中包含的注意力机制对所述待检图像进行特征提取和通道间特征融合，得到子特征图，包括：
通过所述注意力机制将所述待检图像沿通道维度分为多个子待检图像，并将每个所述子待检图像分成通道注意力单元和空间注意力单元；
通过所述通道注意力单元提取每个所述子待检图像的通道间特征依赖关系，并通过所述空间注意力单元提取每个所述子待检图像的空间特征依赖关系；
对每个所述子待检图像的特征图关系和特征依赖关系进行通道间特征融合，得到子特征图。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述通过所述通道注意力单元提取每个所述子待检图像的通道间特征依赖关系，包括：
利用全局均值池化算法通过所述通道注意力单元对每个所述子待检图像进行特征压缩，得到一维特征向量；
利用sigmoid激活函数提取所述一维特征向量中的通道间特征依赖关系。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述通过所述空间注意力单元提取每个所述子待检图像的空间特征依赖关系，包括：
利用组归一化算法通过所述空间注意力单元获取每个所述子待检图像在空间方向上的特征统计量；
利用sigmoid激活函数提取所述特征统计量中的空间特征依赖关系。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述对所述子特征图进行重组，得到特征图，包括：
利用通道拼接算法对所述子特征图进行重组，得到特征图。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述对所述不同尺度的特征图逐级进行特征融合，包括：
利用特征金字塔网络对骨干网络中的下采样网络和瓶颈结构中的相邻两个网络输出的特征图逐级进行特征融合。
第二方面，本发明实施例还提供一种架空输电线路缺陷检测装置，所述装置包括：
特征图获取模块，用于通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图；
其中，所述骨干网络包括下采样网络和瓶颈结构网络，所述下采样网络用于基于注意力机制对所述待检图像逐级进行下采样，所述瓶颈结构网络用于基于空洞卷积保持对经下采样的特征图的空间分辨率；
特征融合模块，用于对所述不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图，并利用所述融合后的多级特征图生成目标候选区域；
输出结果过滤模块，用于根据所述目标候选区域确定最终检测结果。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上文所述的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现上文所述的方法。
本发明实施例带来了以下有益效果：本发明实施例提供的一种架空输电线路缺陷检测方法、装置及电子设备，首先通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图，然后对该不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图，并利用所述融合后的多级特征图生成目标候选区域；根据目标候选区域得到最终检测结果。本发明实施例提供的架空输电线路缺陷检测方法、装置及电子设备，通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，该骨干网络包括基于注意力机制的下采样网络和基于空洞卷积的瓶颈结构网络，在对复杂检测环境下的架空输电线路进行缺陷检测时，Det-SANet骨干网络的设计不仅保持了深层网络在特征图上的高分辨率，还保持了对输入图像的高感受野，同时提升了检测网络对小目标的检测能力和大目标的定位能力，从而节省人力成本和物力成本。
本发明的其他特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构中实现和获得。
为使本发明的上述目的、特征和优点能够更加明显易懂，下文特举优选实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明的具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图进行简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种架空输电线路缺陷检测方法的流程图；
图2为本发明实施例提供的一种检测网络的结构图；
图3为本发明实施例提供的两种带有空洞卷积的瓶颈结构网络的结构框图；
图4为本发明实施例提供的另一种架空输电线路缺陷检测方法的流程图；
图5本发明实施例提供的一种架空输电线路缺陷检测装置的结构框图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，常用于输电线路缺陷检测的深度学习算法包括two-stage检测器和one-stage检测器，然而，两者在在应用于架空输电线路缺陷检测时，两种检测器使用的骨干网络通常是基于为分类任务设计和训练的骨干网络，而仅使用基于分类任务的骨干网络，会对提升目标检测器对缺陷目标的定位能力方面带来阻碍，同时，one-stage检测器和two-stage检测器通常在骨干网络后加入特征金字塔网络，而one-stage检测器或two-stage检测器加特征金字塔网络的方法在小目标的缺陷检测方面仍然有进一步的提升空间。基于此，本发明实施例提供了一种架空输电线路缺陷检测方法、装置及电子设备，以缓解上述问题。
为了便于对本实施例进行理解，首先对本发明实施例所公开的一种架空输电线路缺陷检测方法进行详细介绍。
本发明实施例提供了一种架空输电线路缺陷检测方法，该方法可以由具有数据处理能力的电子设备执行，该电子设备可以是台式机、笔记本电脑、掌上电脑、平板电脑或手机等。参见图1所示的一种架空输电线路缺陷检测方法的流程图，该方法主要包括以下步骤：
步骤S102：通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图。
本发明实施例的检测网络是基于DetNet改进的深度学习目标检测网络Det-SA(Shuffle Attenion，“洗牌”型注意力机制)Net，其结构如图2所示，从图2中能够看出，该Det-SANet结构分为三层：第一层为基于ResNet-50改进的骨干网络，用于对架空输电线路的待检图像进行特征提取；第二层为特征融合模块，用于融合不同尺度的信息；第三层为特征图处理模块，用于对融合后的不同尺度的信息进行处理，进而得到最终的检测结果。
其中，上述骨干网络包括下采样网络和瓶颈结构网络，该下采样网络用于基于注意力机制对待检图像逐级进行下采样，该瓶颈结构网络用于基于空洞卷积保持对经下采样的特征图的空间分辨率。
空洞卷积是在标准卷积中注入空洞，以增加网络的感受野，相比于标准卷积，空洞卷积引入了一个称为“空洞率”的新参数，该参数定义了卷积核处理数据时各卷积核之间的间距，当空洞率为1时即为标准卷积。
其中，两种带有空洞卷积的瓶颈结构网络的结构框图如图3所示，瓶颈结构网络A、B带有空洞率为2的3x3空洞卷积，相比于原本3x3的普通卷积，在保持大的感受野的最终检测结果的同时，也避免了在深层网络堆叠普通卷积层所耗费的内存和计算时间上的成本。
需要说明的是，该骨干网络包括顺次连接的4个下采样网络和2个瓶颈结构网络，即，4个下采样网络之间顺序连接，瓶颈结构网络顺序连接在下采样网络之后且其数量为2。
本发明实施例中的检测网络的骨干网络是基于ResNet(Residual NeuralNetwork，残差神经网络)-50改进的网络结构。不同于ResNet-50网络，为了保持网络深层阶段的空间分辨率以提升对小目标的检测能力，同时为了降低高分辨率带来的内存和时间上的成本，本发明实施例中的Det-SANet的骨干网络的第5个stage是以带空洞卷积的瓶颈结构堆叠而成，同时，如图2所示，不同于ResNet-50的5个stage数量，本实施例在stage5后增加了同其结构完全相同的stage6，两者均包含三个形式为B-A-A的瓶颈结构网络，以增加该检测网络的深度，进而提升检测网络的特征提取能力。
步骤S104：对上述不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图，并利用该融合后的多级特征图生成目标候选区域。
本发明实施例中的检测网络的特征融合模块采用FPN(Feature PyramidNetwork，特征金字塔网络)，其对不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图。该FPN是一种特征金字塔网络结构，主要解决目标检测在处理多尺度变化问题时的不足，在采用FPN时，stage6能够直接用作FPN网络的p6层。
步骤S106：根据上述目标候选区域确定最终检测结果。
本发明实施例中的检测网络的特征图处理模块进行候选区域生成、分类回归以及目标框过滤。
其中，候选区域生成使用RPN(Region Proposal Network，候选区域提议网络)来实现，该RPN用于将从FPN输出的融合后的多级特征图生成目标候选区域。分类回归使用RCNN(分类与边框位置回归网络)来实现，RCNN网络由两条并行的全连接网络组成，其将经过池化后统一大小的RPN生成的目标候选区域特征向量进行分类和位置回归。输入的特征向量分别经由一条全连接网络支路得到各类目标的概率，和并行的另一条全卷积网络对目标框的准确位置进行修正。目标框过滤使用NMS(Non-Maximum Suppression，非极大值抑制)算法来实现，用于过滤掉网络输出重叠的目标框，以得到最终的检测结果，该检测结果包括过滤后的目标框，以及目标框内对象所属类型的概率值。
本发明实施例带来了以下有益效果：本发明实施例通过一种架空输电线路缺陷检测方法，首先通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图，然后对该不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图，并利用融合后的多级特征图生成目标候选区域；根据目标候选区域得到最终检测结果。本发明实施例提供的架空输电线路缺陷检测方法、装置及电子设备，通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，该骨干网络包括基于注意力机制的下采样网络和基于空洞卷积的瓶颈结构网络，在对复杂检测环境下的架空输电线路进行缺陷检测时，Det-SANet骨干网络的设计不仅保持了深层网络在特征图上的高分辨率，还保持了对输入图像的高感受野，同时提升了检测网络对小目标的检测能力和大目标的定位能力，从而节省人力成本和物力成本。
为了便于对图1中的方法的理解，参照图4所示的另一种架空输电线路缺陷检测方法的流程图，在实际使用时，该方法还可以通过以下步骤实现：
步骤S402：将待检图像输入到骨干网络中。
步骤S404：通过注意力机制将上述待检图像沿通道维度分为多个子待检图像，并将每个子待检图像分成通道注意力单元和空间注意力单元。
本发明实施例中在检测网络的骨干网络中的stage2、stage3、stage4中引入一种新的注意力机制模型—Shuffle Attenion(SA)模型，SA模型融合了通道注意力模块和空间注意力模块，同时捕获了特征层内的通道间特征依赖关系和空间特征依赖关系，大大提升了网络提取图像特征的能力。
步骤S406：利用全局均值池化算法通过通道注意力单元对每个子待检图像进行特征压缩，得到一维特征向量，利用sigmoid激活函数提取该一维特征向量中的通道间特征依赖关系；利用组归一化算法通过空间注意力单元获取每个子待检图像在空间方向上的特征统计量；利用sigmoid激活函数提取特征统计量中的空间特征依赖关系。
其中，SA模型首先对输入的多通道特征层沿通道维度进行分组，得到多个子待检图像，然后对每个多个子待检图像分为通道注意力单元分支和空间注意力单元分支并行地进行特征融合和提取，最后利用通道拼接算法对拼接处理后的两个通道的输出进行重组，得到不同尺度的特征图，然后输入到包含有空洞卷积的瓶颈结构网络中进行空间分辨率保持。
该SA模型首先将待检图像沿通道分为多个组，然后对每个组采用通道注意力单元和空间注意力单元进行并行处理，具体来说，对于多个组中的每一组
Figure BDA0003131157480000101
c、h，w分别表示特征图的通道数量，沿通道维等分为
Figure BDA0003131157480000102
和
Figure BDA0003131157480000103
以分别输入通道注意力单元和空间注意力单元。
对于通道注意力机制单元，首先对Xk1采用全局均值池化对待检图像中的特征进行压缩生成一维特征向量
Figure BDA0003131157480000104
该操作可使用如下式(1)表示：
Figure BDA0003131157480000105
其中，全局平均池化算法将特征图的维数从3D降低到1D，即其对每个特征映射均输出1D的特征响应。该算法优势在于在其中没有参数需要调节，因此避免了过拟合问题，且该算法汇总了空间信息，因此对输入的空间转换更为鲁棒。
对于池化后得到的一维特征向量s，利用sigmoid激活函数提取上述一维特征向量中的通道间特征依赖关系，最后通过点乘逐通道加权到先前的特征上以得到输出X′k1，完成在通道维度上的对待检图像的特征的重标定，使输入特征具有全局感受野，该具体操作可用如下式(2)表示：
X′k1＝sigmoid(W1s+b1)·Xk1 (2)
上式(2)中
Figure BDA0003131157480000111
和
Figure BDA0003131157480000112
为初始化为全1和全0的张量参数。
对于空间注意力机制单元，首先对用Xkz采用组归一化得到在空间方向上的特征统计量GN(Xk2〕，利用sigmoid激活函数提取上述特征统计量中的空间特征依赖关系，最后通过点乘逐通道加权到先前的特征图上以得到特征输出X′kz，该操作可使用如下式(3)表示：
X′k2＝sigmoid〔W2·GN〔Xk2)+b2)·Xk2 (3)
其中，组归一化算法是批归一化的一种改进算法，其将信号通道分成多个组别，并在每个组别内计算归一化的均值和方差，以进行归一化处理。该算法的计算与批量大小无关，而且在批次大小大幅变化时，精度依然稳定。
上式(3)中
Figure BDA0003131157480000113
同式(2)，为初始化为全1和全0的张量参数。空间注意力单元作为对通道注意力单元的补充，捕获了特征空间层面上的依赖关系，提升了网络对目标的显著性。然后，沿通道维拼接X′k1和X′k2得到子特征图
Figure BDA0003131157480000114
最后，利用通道拼接算法对子特征图进行重组，得到特征图。
步骤S408：对每个子待检图像的特征图关系和特征依赖关系进行通道间特征融合，得到子特征图。
步骤S410：利用通道拼接算法对上述子特征图进行重组，得到特征图，并将该特征图输入到包含有空洞卷积的瓶颈结构网络中进行空间分辨率保持。
步骤S412：利用特征金字塔网络对骨干网络中的下采样网络和瓶颈结构中的相邻两个网络输出的特征图逐级进行特征融合，得到融合后的多级特征图，并利用该融合后的多级特征图生成目标候选区域。
步骤S414：根据上述目标候选区域确定最终检测结果。
综上所述，本发明的架空输电线路缺陷检测方法、装置及电子设备，首先通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图，然后对该不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图，并利用所述融合后的多级特征图生成目标候选区域；根据目标候选区域得到最终检测结果。本发明实施例提供的架空输电线路缺陷检测方法、装置及电子设备，通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，该骨干网络包括基于注意力机制的下采样网络和基于空洞卷积的瓶颈结构网络，在对复杂检测环境下的架空输电线路进行缺陷检测时，Det-SANet骨干网络的设计不仅保持了深层网络在特征图上的高分辨率，还保持了对输入图像的高感受野，同时提升了检测网络对小目标的检测能力和大目标的定位能力，从而节省人力成本和物力成本。
对应于上述实施方式提供的架空输电线路缺陷检测方法，本发明实施例还提供了一种架空输电线路缺陷检测装置，图5本发明实施例提供的一种架空输电线路缺陷检测装置的结构框图。如图5所示，该装置包括：
特征获取模块501，用于通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图；
其中，上述骨干网络包括下采样网络和瓶颈结构网络，该下采样网络用于基于注意力机制对待检图像逐级进行下采样，该瓶颈结构网络用于基于空洞卷积保持对经下采样的特征图的空间分辨率；
特征融合模块502，用于对不同尺度的特征图逐级进行特征融合，得到经融合的多级特征图，并利用该经融合的多级特征图生成目标候选区域；
输出结果过滤模块503，用于根据所述目标候选区域确定最终检测结果。
本发明实施例提供的架空输电线路缺陷检测装置，与上述实施例提供的架空输电线路缺陷检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供了一种电子设备。
参见图6，图6为本发明实施例提供的一种电子设备600的结构示意图电子设备600包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。
其中，存储器61可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory，简称NVM)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线62可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器61用于存储程序，所述处理器60在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。
另外，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上文所述的方法。
本发明实施例所提供的架空输电线路缺陷检测方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，ReaD-Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种架空输电线路缺陷检测方法，其特征在于，所述方法包括以下步骤：
通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图；
其中，所述骨干网络包括下采样网络和瓶颈结构网络，所述下采样网络用于基于注意力机制对所述待检图像逐级进行下采样，所述瓶颈结构网络用于基于空洞卷积保持对经下采样的特征图的空间分辨率；
对所述不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图，并利用所述融合后的多级特征图生成目标候选区域；
根据所述目标候选区域确定最终检测结果。
2.根据权利要求1所述的方法，其特征在于，所述骨干网络包括顺次连接的4个下采样网络和2个瓶颈结构网络；
所述通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，包括：
将所述待检图像输入到所述骨干网络中；
通过所述骨干网络中的下采样网络中包含的注意力机制对所述待检图像进行特征提取和通道间特征融合，得到子特征图；
对所述子特征图进行重组，得到特征图，并将所述特征图输入到包含有空洞卷积的瓶颈结构网络中进行空间分辨率保持；
其中，除所述下采样网络中的第一个下采样网络之外的其余下采样网络和所述瓶颈结构网络分别提取出所述待检图像在各个阶段的特征图。
3.根据权利要求2所述的方法，其特征在于，所述通过所述骨干网络中的下采样网络中包含的注意力机制对所述待检图像进行特征提取和通道间特征融合，得到子特征图，包括：
通过所述注意力机制将所述待检图像沿通道维度分为多个子待检图像，并将每个所述子待检图像分成通道注意力单元和空间注意力单元；
通过所述通道注意力单元提取每个所述子待检图像的通道间特征依赖关系，并通过所述空间注意力单元提取每个所述子待检图像的空间特征依赖关系；
对每个所述子待检图像的特征图关系和特征依赖关系进行通道间特征融合，得到子特征图。
4.根据权利要求3所述的方法，其特征在于，所述通过所述通道注意力单元提取每个所述子待检图像的通道间特征依赖关系，包括：
利用全局均值池化算法通过所述通道注意力单元对每个所述子待检图像进行特征压缩，得到一维特征向量；
利用sigmoid激活函数提取所述一维特征向量中的通道间特征依赖关系。
5.根据权利要求3所述的方法，其特征在于，所述通过所述空间注意力单元提取每个所述子待检图像的空间特征依赖关系，包括：
利用组归一化算法通过所述空间注意力单元获取每个所述子待检图像在空间方向上的特征统计量；
利用sigmoid激活函数提取所述特征统计量中的空间特征依赖关系。
6.根据权利要求2所述的方法，其特征在于，所述对所述子特征图进行重组，得到特征图，包括：
利用通道拼接算法对所述子特征图进行重组，得到特征图。
7.根据权利要求2所述的方法，其特征在于，所述对所述不同尺度的特征图逐级进行特征融合，包括：
利用特征金字塔网络对骨干网络中的下采样网络和瓶颈结构中的相邻两个网络输出的特征图逐级进行特征融合。
8.一种架空输电线路缺陷检测装置，其特征在于，所述装置包括：
特征图获取模块，用于通过检测网络的骨干网络对架空输电线路的待检图像逐级进行特征提取，得到不同尺度的特征图；
其中，所述骨干网络包括下采样网络和瓶颈结构网络，所述下采样网络用于基于注意力机制对所述待检图像逐级进行下采样，所述瓶颈结构网络用于基于空洞卷积保持对经下采样的特征图的空间分辨率；
特征融合模块，用于对所述不同尺度的特征图逐级进行特征融合，得到融合后的多级特征图，并利用所述融合后的多级特征图生成目标候选区域；
输出结果过滤模块，用于根据所述目标候选区域确定最终检测结果。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现权利要求1-7中任一项所述的方法。
CN202110708244.5A 2021-06-24 2021-06-24 架空输电线路缺陷检测方法、装置及电子设备 Pending CN113313070A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110708244.5A CN113313070A (zh) 2021-06-24 2021-06-24 架空输电线路缺陷检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110708244.5A CN113313070A (zh) 2021-06-24 2021-06-24 架空输电线路缺陷检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113313070A true CN113313070A (zh) 2021-08-27

Family

ID=77379962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110708244.5A Pending CN113313070A (zh) 2021-06-24 2021-06-24 架空输电线路缺陷检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113313070A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092820A (zh) * 2022-01-20 2022-02-25 城云科技（中国）有限公司 目标检测方法及应用其的移动目标跟踪方法
CN114529825A (zh) * 2022-04-24 2022-05-24 城云科技（中国）有限公司 用于消防通道占用目标检测的目标检测模型、方法及应用
CN114743108A (zh) * 2022-04-24 2022-07-12 中国农业科学院农业信息研究所 一种基于深度学习模型的草原鼠情识别与量化方法和鼠情记录仪

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092820A (zh) * 2022-01-20 2022-02-25 城云科技（中国）有限公司 目标检测方法及应用其的移动目标跟踪方法
CN114092820B (zh) * 2022-01-20 2022-04-22 城云科技（中国）有限公司 目标检测方法及应用其的移动目标跟踪方法
CN114529825A (zh) * 2022-04-24 2022-05-24 城云科技（中国）有限公司 用于消防通道占用目标检测的目标检测模型、方法及应用
CN114743108A (zh) * 2022-04-24 2022-07-12 中国农业科学院农业信息研究所 一种基于深度学习模型的草原鼠情识别与量化方法和鼠情记录仪
CN114529825B (zh) * 2022-04-24 2022-07-22 城云科技（中国）有限公司 用于消防通道占用目标检测的目标检测模型、方法及应用

Similar Documents

Publication Publication Date Title
CN109255352B (zh) 目标检测方法、装置及系统
CN113313070A (zh) 架空输电线路缺陷检测方法、装置及电子设备
CN109740534B (zh) 图像处理方法、装置及处理设备
CN109829506B (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN110619618A (zh) 一种表面缺陷检测方法、装置及电子设备
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN112561080B (zh) 样本筛选方法、样本筛选装置及终端设备
EP3767551A1 (en) Inspection system, image recognition system, recognition system, discriminator generation system, and learning data generation device
KR20180104609A (ko) 다수의 이미지 일치성을 바탕으로 보험클레임 사기 방지를 실현하는 방법, 시스템, 기기 및 판독 가능 저장매체
CN109740617A (zh) 一种图像检测方法及装置
CN112597918A (zh) 文本检测方法及装置、电子设备、存储介质
US20220114383A1 (en) Image recognition method and image recognition system
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
CN115546586A (zh) 红外弱小目标的检测方法、装置、计算设备及存储介质
CN114299358A (zh) 图像质量评估方法、装置、电子设备及机器可读存储介质
CN113822871A (zh) 基于动态检测头的目标检测方法、装置、存储介质及设备
CN117237359B (zh) 传送带撕裂检测方法、装置、存储介质和电子设备
JP2022537542A (ja) 動的な画像解像度評価
US20230410465A1 (en) Real time salient object detection in images and videos
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN117274689A (zh) 用于包装盒缺陷检测的检测方法及其系统
CN108875901A (zh) 神经网络训练方法以及通用物体检测方法、装置和系统
CN111353428B (zh) 动作信息识别方法、装置、电子设备及存储介质
CN112613383A (zh) 关节点检测方法、姿态识别方法及装置
CN111291767A (zh) 一种细粒度识别方法、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination