CN117830959A - 基于全局上下文增强的稀疏卷积输电线路防外破检测方法 - Google Patents
基于全局上下文增强的稀疏卷积输电线路防外破检测方法 Download PDFInfo
- Publication number
- CN117830959A CN117830959A CN202410245047.8A CN202410245047A CN117830959A CN 117830959 A CN117830959 A CN 117830959A CN 202410245047 A CN202410245047 A CN 202410245047A CN 117830959 A CN117830959 A CN 117830959A
- Authority
- CN
- China
- Prior art keywords
- module
- transmission line
- convolution
- layer
- pconv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 89
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 230000002265 prevention Effects 0.000 title claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000010276 construction Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 5
- 238000013461 design Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于全局上下文增强的稀疏卷积输电线路防外破检测方法,包括构建输电线路防外力破坏样本数据集、构建输电线路防外破检测神经网络,利用数据集训练神经网络得到输电线路防外破检测模型。本发明基于融入高效注意力机制的ECA‑PConv模块构建骨干网络;基于ECA‑PConv模块构建C3_Faster模块和特征融合网络。基于稀疏卷积以及BN+单元构建SC+模块,构建SC+Net网络,然后完成构建轻量级输电线路防外破检测网络。本发明有效克服当前轻量级目标检测模型在输电线路巡检场景中存在的模型精度不足和推理速度慢等问题,并且在边缘端设备上实现高效的目标检测,能灵活、高效地应对输电线路安全的挑战。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及基于全局上下文增强的稀疏卷积输电线路防外破检测方法。
背景技术
随着输电线路外部环境的变化,线路遭受外力破坏的事件频频发生,输电线路的巡检防护工作对于确保电力系统安全运行至关重要。近年来,深度学习的迅猛发展推动了通用目标检测算法在搭载高清摄像器的无人机等边缘端设备上的广泛应用,已成为输电线路巡检的主要手段之一。然而,边缘端设备的存储和计算资源受限,因此需要对目标检测模型进行轻量化设计,以满足在边缘端设备上部署的要求。
在轻量化目标检测模型的研究中,学者们主要通过采用MobileNet、ShuffleNet、GhostNet等轻量级网络来替代目标检测算法中的骨干网络。这些轻量级网络利用深度卷积(DWConv)或组卷积(GConv)等计算成本较低的操作来提取输入图像的特征,以达到减小模型参数量和浮点数运算量的目的。尽管上述轻量化方法在减小模型规模方面取得了显著效果,但却面临模型精度损失较大的挑战。此外,尽管浮点数运算量减少,但模型的检测速度并未得到相应程度的提升,甚至可能出现下降。这主要是因为在减小浮点数运算量的过程中,卷积算子常常会受到内存访问增加的副作用的影响,从而导致模型的检测速度下降。并且,对于部署在边缘端的小型模型来说,上述轻量级网络附带的级联、通道混洗和池化等额外的数据操作会进一步增加模型的运行时间。
发明内容
本发明针对现有技术中在输电线路防外力破坏巡检场景中,当前边缘端设备上部署的目标检测算法存在的检测精度不足、推理速度慢等问题,提出基于全局上下文增强的稀疏卷积输电线路防外破检测方法,通过深度学习和轻量化设计相结合,本发明中提出一种高效的目标检测模型,以在输电线路防外力破坏巡检场景中取得更为优越的性能。
克服轻量化过程中可能引起的性能降低,以确保在实际应用中能够有效地应对输电线路安全的威胁。
为解决以上技术问题,本发明提供如下技术方案:基于全局上下文增强的稀疏卷积输电线路防外破检测方法,包括如下步骤:
S1、构建输电线路防外力破坏样本数据集,包括若干输电线路零部件损坏图像和输电通道下施工机械隐患图像、以及输电线路零部件损坏图像和输电通道下施工机械隐患图像分别对应的类别标签;
S2、构建输电线路防外破检测神经网络,以输电线路防外力破坏样本数据集为输入训练输电线路防外破检测神经网络,得到轻量级输电线路防外破检测模型;其中,输电线路防外破检测神经网络构建过程如下:
S201、构建融入高效注意力机制的ECA-PConv模块:以PConv层作为ECA-PConv模块的输入端;在PConv层后顺序连接第一PWConv层、高效通道注意力机制ECA、BN层、ReLU激活函数、第二PWConv层;并且添加残差结构接收初始输入特征图、以及第二PWConv层的输出特征图,作为ECA-PConv模块的输出;
然后利用ECA-PConv模块构建输电线路防外破检测神经网络的骨干网络,用于提取输入图像的特征信息;
S202、利用步骤S201的ECA-PConv模块构建C3_Faster模块,基于C3_Faster模块构建输电线路防外破检测神经网络中的特征融合网络,用于对骨干网络输出的特征图进行融合;
S203、基于稀疏卷积以及BN+单元构建具有全局上下文增强的SC+模块,用于获取上下文增强特征,然后基于SC+模块构建基于全局上下文增强的稀疏卷积网络SC+Net,最后利用稀疏卷积网络SC+Net构建输电线路防外破检测神经网络中的检测网络,用于对特征融合网络输出的特征图完成分类与回归任务;
S3、利用输电线路防外破检测模型对电网中输电线路零部件情况与输电通道下施工机械隐患情况进行检测,得到输电线路零部件损坏与输电通道下施工机械隐患的实时图像,用于后续输电线路安全隐患的预防以及修缮处理。
进一步地,前述的步骤S201中的骨干网络具体是:以嵌入层为输入端,接收输电线路防外力破坏样本图像,所述嵌入层后顺序连接第一ECA-PConv模块、第一合并层、2个顺序连接的第二ECA-PConv模块、第二合并层、8个顺序连接的第三ECA-PConv模块、第三合并层、2个顺序连接的第四ECA-PConv模块、金字塔池化SPPF模块;
以2个顺序连接的第二ECA-PConv模块的输出、8个顺序连接的第三ECA-PConv模块的输出、以及金字塔池化SPPF模块的输出分别作为骨干网络的输出。
SPPF模块包括顺序连接的第八Conv_BN_SiLU卷积块、池化块模块、第六连接层、以及第九Conv_BN_SiLU卷积块;其中第八Conv_BN_SiLU卷积块作为SPPF模块的输入端,第九Conv_BN_SiLU卷积块作为SPPF模块的输出端;其中,第八Conv_BN_SiLU卷积块的输出端与第六连接层的输入端相连;池化模块包括三个顺序连接的最大池化层,每个池化层的输出端分别与第六连接层的输入端连接。
进一步地,前述的步骤S202中的C3_Faster模块包括:第一Conv_BN_SiLU卷积块、第二Conv_BN_SiLU卷积块、第三Conv_BN_SiLU卷积块、第五ECA-PConv模块、第一连接层;
以第一Conv_BN_SiLU卷积块、第二Conv_BN_SiLU卷积块作为C3_Faster模块的输入端;第一Conv_BN_SiLU卷积块后顺序连接第五ECA-PConv模块,将第五ECA-PConv模块与第二Conv_BN_SiLU卷积块的输出特征图输入到第一连接层中进行拼接,然后将拼接后的特征图输入到第三Conv_BN_SiLU卷积块,经过第三Conv_BN_SiLU卷积块处理后的特征图作为C3_Faster模块的输出。
进一步地,前述的特征融合网络包括:第二连接层、第三连接层、第四连接层、第五连接层、第一上采样单元、第二上采样单元、第四Conv_BN_SiLU卷积块、第五Conv_BN_SiLU卷积块、第六Conv_BN_SiLU卷积块、第七Conv_BN_SiLU卷积块、第一C3_Faster模块、第二C3_Faster模块、第三C3_Faster模块、第四C3_Faster模块;
以第二连接层、第三连接层、以及第五Conv_BN_SiLU卷积块作为特征融合网络的输入端,分别对应接收2个顺序连接的第二ECA-PConv模块的输出、8个顺序连接的第三ECA-PConv模块的输出、以及金字塔池化SPPF模块的输出;
第五Conv_BN_SiLU卷积块与第二上采样单元、第三连接层、第一C3_Faster模块、第四Conv_BN_SiLU卷积块、第一上采样单元、第二连接层顺序连接;
第二C3_Faster模块与第六Conv_BN_SiLU卷积块、第四连接层、第三C3_Faster模块、第七Conv_BN_SiLU卷积块、第五连接层、第四C3_Faster模块顺序连接;
第二连接层的输出作为第二C3_Faster模块的输入;第四Conv_BN_SiLU卷积块的输出作为第四连接层的输入;第五Conv_BN_SiLU卷积块的输出作为第五连接层的输入;
第二C3_Faster模块的输出、第三C3_Faster模块的输出、第四C3_Faster模块的输出分别作为特征融合网络的输出。
进一步地,前述的步骤S203中的SC+模块,被配置执行如下动作:
基于特征融合网络中输出的初级特征图X i 作为SC+模块的输入特征图X i, j 、二元掩码矩阵,以及全局特征/>,利用二元掩码矩阵H i 对对SC+模块的输入特征图X i, j 进行指导,并应用稀疏卷积后得到中间特征L i, j ,再输入至BN+层,BN+层采用全局特征G i 的标准值和标准差进行归一化,得到上下文增强特征F i, j ,如下式:
,
其中,b、c、h、w分别表示特征图的批量大小、通道数量、高度和宽度,mean[•]和std[•]分别表示平均差和标准差,α和β是可学习的参数。
进一步地,前述的基于全局上下文增强的稀疏卷积输电线路防外破检测方法,对SC+模块的输入特征图X i, j 应用稀疏卷积时同时保留正常的标准卷积,生成在全输入特征图上卷积后的特征C i,j ;利用C i, j 通过优化均方误差损失MSE进一步增强BN+层获得的上下文增强特征F i, j ,最后在激活层之前采用残差结构,将全局特征G i 添加到由BN+层获得的上下文增强特征F i, j 中,即F i, j +=G i ,损失函数公式如下:
,
其中,n表示PAN网络的层数,H i 是二元掩码矩阵。
进一步地,前述的步骤S203中,SC+Net检测网络包括两个分支,每个分支分别处理分类和回归任务,每个分支包括三个并行层;
第一并行层为:对初级特征图X i 应用1×1的标准卷积生成全局特征;
第二并行层为:掩码生成层,基于稀疏卷积应用的共享核对初级特征图X i 应用标准卷积,得到一个中间特征/>,然后利用Gumbel-Softmax方法将S i 转化为二元掩码矩阵/>,如下式:
,
其中,表示两个随机的Gumbel噪声,σ是sigmoid函数:;在训练阶段中采用上行的公式,推理阶段采用下行的公式;在推理阶段只对掩码值为1的区域进行卷积;
第三并行层为:分类分支与回归分支分别将初级特征图X i 、二元掩码矩阵H i 和全局特征G i 输入至4个顺序连接的SC+模块中,将得到的全局增强特征F i, j 输入至1个稀疏卷积中处理,最终得到分类与回归结果。
相较于现有技术,本发明采用以上技术方案的有益技术效果如下:
本发明提出了一种基于全局上下文增强的稀疏卷积输电线路防外力破坏检测方法,所具有的收益如下。在轻量化目标检测模型的研究中,学者们主要通过采用MobileNet、ShuffleNet、GhostNet等轻量级网络来替代目标检测算法中的骨干网络。这些轻量级网络利用深度卷积(DWConv)或组卷积(GConv)等计算成本较低的操作来提取输入图像的特征,虽然达到了减小模型参数量和浮点数运算量的目的,但是模型的检测速度并未得到相应程度的提升,甚至出现下降。本发明基于PConv卷积算子构建ECA-FasterNet骨干网络,在检测精度保持一致的情况下,通过减少了内存访问次数,显著提升了模型的检测速度。基于ECA-PConv模块构建的C3_Faster模块,通过对通道间的关系建模,自适应地校准通道方向上的特征响应,捕获跨通道的交互信息,增强模型的特征表达能力,并进一步减少模型的参数量和浮点数运算量。基于模块构建的稀疏卷积网络SC+Net,设计分类回归解耦策略,通过利用具有全局上下文增强的稀疏卷积模块SC+捕获全局上下文线索,增强前景焦点特征,稳定前景区域的分布,显著提高了模型的检测精度。在专业的输电线路防外力破坏数据集的实验表明,本发明在检测精度、推理速度和模型规模三个方面性能做到了有效平衡,更符合输电线路巡检以及边缘端设备部署的要求。
附图说明
图1本发明流程图。
图2本发明网络结构图。
图3为本发明中的融入高效注意力机制的ECA-PConv模块结构图。
图4为本发明的具有全局上下文增强的稀疏卷积模块SC+结构图。
图5为本发明中的基于全局上下文增强的稀疏卷积网络SC+Net结构图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
在本发明中参照附图来描述本发明的各方面,附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解,本发明通过上面介绍的多种构思和实施例,以及下面详细描述的构思和实施方式中的任意一种来实现,这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
参考图1,本发明基于全局上下文增强的稀疏卷积输电线路防外破检测方法,包括以下步骤:
S1、构建输电线路防外力破坏样本数据集,包括若干输电线路零部件损坏图像和输电通道下施工机械隐患图像、以及输电线路零部件损坏图像和输电通道下施工机械隐患图像分别对应的类别标签;
S2、构建输电线路防外破检测神经网络,以输电线路防外力破坏样本数据集为输入、训练输电线路防外破检测神经网络,得到轻量级输电线路防外破检测模型;
参考图2,输电线路防外破检测神经网络主要包括三个部分,即骨干网络、特征融合网络、检测网络。骨干网络,负责输入图像的特征提取,由ECA-FasterNet网络和空间金字塔池化模块(Spatial Pyramid Pooling-Fast, SPPF)组成;特征融合网络,由特征金字塔网络(Feature Pyramid Network, FPN)和路径聚合网络(Path Aggregation Network,PAN)组成,结合不同层次的特征图进行自顶向下与自底向上的联合特征融合,获取丰富的上下文信息,增强多个尺度的语义表达和定位能力;检测网络,由基于全局上下文增强的稀疏卷积网络SC+Net组成,设计了分类和回归解耦策略,通过捕获全局上下文线索来增强前景焦点特征,显著提高模型的检测精度。
S3、利用输电线路防外破检测模型对电网中输电线路零部件情况与输电通道下施工机械隐患情况进行检测,得到输电线路零部件损坏与输电通道下施工机械隐患的实时图像,用于后续输电线路安全隐患的预防以及修缮处理。
输电线路防外破检测神经网络构建过程如下:
S201、构建融入高效注意力机制的ECA-PConv模块,如图3所示,以PConv层作为ECA-PConv模块的输入端;在PConv层后顺序连接第一PWConv层、高效通道注意力机制ECA、BN层、ReLU激活函数、第二PWConv层;并且添加残差结构接收初始输入特征图、以及第二PWConv层的输出特征图,作为ECA-PConv模块的输出;
然后利用ECA-PConv模块构建输电线路防外破检测神经网络的骨干网络,用于提取输入图像的特征信息。
如图2所示,骨干网络共有四个阶段,每个阶段都有若干个ECA-PConv模块,数量分别是1、2、8、2。除了第一个阶段前是一个嵌入层,即一个步长为4,尺寸为4×4的标准卷积外,其余三个阶段前均有一个合并层,合并层为:一个步长为2,尺寸为2×2的标准卷积,用来空间下采样和通道数扩展。该骨干网络具体结构为:以嵌入层为输入端,接收输电线路防外力破坏样本图像,所述嵌入层后顺序连接第一ECA-PConv模块、第一合并层、2个顺序连接的第二ECA-PConv模块、第二合并层、8个顺序连接的第三ECA-PConv模块、第三合并层、2个顺序连接的第四ECA-PConv模块、金字塔池化SPPF模块;
本发明是以Yolov5模型为基准,以2个顺序连接的第二ECA-PConv模块的输出、8个顺序连接的第三ECA-PConv模块的输出、以及金字塔池化SPPF模块的输出分别作为骨干网络的输出。
SPPF模块包括顺序连接的第八Conv_BN_SiLU卷积块、池化模块、第六连接层、以及第九Conv_BN_SiLU卷积块;其中第八Conv_BN_SiLU卷积块作为SPPF模块的输入端,第九Conv_BN_SiLU卷积块作为SPPF模块的输出端;其中,第八Conv_BN_SiLU卷积块的输出端与第六连接层的输入端相连;池化模块包括三个顺序连接的最大池化层,每个最大池化层的输出端分别与第六连接层的输入端连接。
S202、利用步骤S201的ECA-PConv模块构建C3_Faster模块,基于C3_Faster模块构建输电线路防外破检测神经网络中的特征融合网络,用于对骨干网络输出的特征图进行融合。
C3_Faster模块包括:第一Conv_BN_SiLU卷积块、第二Conv_BN_SiLU卷积块、第三Conv_BN_SiLU卷积块、第五ECA-PConv模块、第一连接层;以第一Conv_BN_SiLU卷积块、第二Conv_BN_SiLU卷积块作为C3_Faster模块的输入端;第一Conv_BN_SiLU卷积块后顺序连接第五ECA-PConv模块,将第五ECA-PConv模块与第二Conv_BN_SiLU卷积块的输出特征图输入到第一连接层中进行拼接,然后将拼接后的特征图输入到第三Conv_BN_SiLU卷积块,经过第三Conv_BN_SiLU卷积块处理后的特征图作为C3_Faster模块的输出。
S203、基于稀疏卷积以及BN+单元构建具有全局上下文增强的SC+模块,用于获取上下文增强特征,然后基于SC+模块构建基于全局上下文增强的稀疏卷积网络SC+Net网络,最后利用SC+Net网络构建输电线路防外破检测神经网络中的检测网络,用于对特征融合网络输出的特征图完成分类与回归任务。
如图4所示,SC+模块以Yolov5模型Neck层中PAN网络第i层输出初级特征图X i 作为SC+模块的输入特征图X i, j 、二元掩码矩阵H i 和全局特征G i 作为输入,其中,,,/>。首先利用二元掩码矩阵H i 对SC+模块的输入特征图X i, j 进行指导,并应用稀疏卷积后得到中间特征L i, j ,再输入到BN+层中,然后该层通过采用G i 的平均值和标准差进行归一化,以补偿稀疏卷积损失的上下文信息。最后在激活层之前采用残差结构,将G i 添加到由BN+层获得的上下文增强特征F i, j 中,即F i, j +=G i ,以此来加强上下文信息的保存。下文增强特征F i, j ,如下式:
,
其中,其中j表示第j个SC+模块,b、c、h、w分别表示特征图的批量大小、通道数量、高度和宽度,mean[•]和std[•]分别表示平均差和标准差,α和β是可学习的参数。
为了进一步减少在进行稀疏卷积时造成的信息损失,使训练过程更加稳定,本发明在训练过程中除了稀疏卷积之外,还保留了正常的标准卷积,生成在全输入特征图上卷积后的特征C i, j 。然后利用C i, j 通过优化均方误差损失(Mean Square Error, MSE)来进一步增强BN+层获得的上下文增强特征F i, j ,损失函数公式如下:
,
其中,n表示PAN网络的层数。
如图5所示,基于SC+模块构建稀疏卷积网络SC+Net网络,该网络以Neck层中PAN网络第i层的输出初级特征图作为输入,将其分为两个分支,采用基检测器分类和回归任务独立进行的解耦策略,每个分支分别处理分类和回归任务。
两个分支结构均包含三个并行层,首先对X i 通过1×1的标准卷积生成全局特征G i ,然后对X i 应用共享卷积核W mask 并利用Gumbel-Softmax方法生成二元掩码矩阵H i ,最后将初级特征图X i 、二元掩码矩阵H i 和全局特征G i 输入到SC+模块中,经过4轮SC+模块的处理,将输出特征图应用稀疏卷积完成分类与回归任务。
第一并行层为:对初级特征图X i 应用1×1的标准Conv生成全局特征G i 。
第二并行层为:掩码生成层,基于稀疏卷积应用的共享核对初级特征图X i 应用标准卷积,得到一个中间特征/>,然后利用Gumbel-Softmax方法将S i 转化为二元掩码矩阵/>,如下式:
,
其中,表示两个随机的Gumbel噪声,σ是sigmoid函数:;在训练阶段中采用上行的公式,推理阶段采用下行的公式;在推理阶段只对掩码值为1的区域进行卷积。
第三并行层为:分类分支与回归分支分别将初级特征图X i 、二元掩码矩阵H i 和全局特征G i 输入至4个顺序连接的SC+模块中,将得到的全局增强特征F i, j 输入至1个稀疏卷积中处理,最终得到分类与回归结果。
本发明构建了融入高效注意力机制的ECA-PConv模块,自适应地重新校准通道方向上的特征响应,捕获跨通道的上下文信息。同时基于ECA-PConv模块设计了ECA-FasterNet作为Yolov5模型的骨干网络,该网络通过新型卷积算子PConv解决模型轻量化过程中浮点数运算量减少,但是内存访问量增加导致模型检测速度减慢的问题。此外,基于ECA-PConv模块构建了C3_Faster模块,增强Neck层提取通道维度上全局上下文信息的能力,进一步丰富不同层次特征的语义信息,显著提升模型的特征融合能力。
并且,本发明设计了具有上下文增强的稀疏卷积网络SC+Net作为Yolov5模型的检测层网络,该网络采取基检测器分类和回归任务独立进行的解耦策略,通过利用具有全局上下文增强的稀疏卷积模块SC+捕获全局上下文线索,增强前景焦点特征,稳定前景区域的分布,增强模型整体的检测能力。
因此,本发明致力于在轻量化目标检测模型的设计中引入全局上下文线索,设计一种稀疏卷积输电线路防外力破坏检测方法,以有效克服当前轻量级目标检测模型中存在的模型精度不足和推理速度慢等问题,确保该方法在边缘端设备上实现高效的目标检测,以在实际应用中灵活、高效地应对输电线路安全的挑战。
虽然本发明已以较佳实施例阐述如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。
Claims (7)
1.基于全局上下文增强的稀疏卷积输电线路防外破检测方法,其特征在于,包括如下步骤:
S1、构建输电线路防外力破坏样本数据集,包括若干输电线路零部件损坏图像和输电通道下施工机械隐患图像、以及输电线路零部件损坏图像和输电通道下施工机械隐患图像分别对应的类别标签;
S2、构建输电线路防外破检测神经网络,以输电线路防外力破坏样本数据集为输入训练输电线路防外破检测神经网络,得到轻量级输电线路防外破检测模型;其中,输电线路防外破检测神经网络构建过程如下:
S201、构建融入高效注意力机制的ECA-PConv模块:以PConv层作为ECA-PConv模块的输入端;在PConv层后顺序连接第一PWConv层、高效通道注意力机制ECA、BN层、ReLU激活函数、第二PWConv层;并且添加残差结构接收初始输入特征图、以及第二PWConv层的输出特征图,作为ECA-PConv模块的输出;
然后利用ECA-PConv模块构建输电线路防外破检测神经网络的骨干网络,用于提取输入图像的特征信息;
S202、利用步骤S201的ECA-PConv模块构建C3_Faster模块,基于C3_Faster模块构建输电线路防外破检测神经网络中的特征融合网络,用于对骨干网络输出的特征图进行融合;
S203、基于稀疏卷积以及BN+单元构建具有全局上下文增强的SC+模块,用于获取上下文增强特征,然后基于SC+模块构建基于全局上下文增强的稀疏卷积网络SC+Net,最后利用稀疏卷积网络SC+Net构建输电线路防外破检测神经网络中的检测网络,用于对特征融合网络输出的特征图完成分类与回归任务;
S3、利用输电线路防外破检测模型对电网中输电线路零部件情况与输电通道下施工机械隐患情况进行检测,得到输电线路零部件损坏与输电通道下施工机械隐患的实时图像,用于后续输电线路安全隐患的预防以及修缮处理。
2.根据权利要求1所述的基于全局上下文增强的稀疏卷积输电线路防外破检测方法,其特征在于,步骤S201中的骨干网络具体是:以嵌入层为输入端,接收输电线路防外力破坏样本图像,所述嵌入层后顺序连接第一ECA-PConv模块、第一合并层、2个顺序连接的第二ECA-PConv模块、第二合并层、8个顺序连接的第三ECA-PConv模块、第三合并层、2个顺序连接的第四ECA-PConv模块、金字塔池化SPPF模块;
以2个顺序连接的第二ECA-PConv模块的输出、8个顺序连接的第三ECA-PConv模块的输出、以及金字塔池化SPPF模块的输出分别作为骨干网络的输出。
3.根据权利要求2所述的基于全局上下文增强的稀疏卷积输电线路防外破检测方法,其特征在于,步骤S202中的C3_Faster模块包括:第一Conv_BN_SiLU卷积块、第二Conv_BN_SiLU卷积块、第三Conv_BN_SiLU卷积块、第五ECA-PConv模块、第一连接层;
以第一Conv_BN_SiLU卷积块、第二Conv_BN_SiLU卷积块作为C3_Faster模块的输入端;第一Conv_BN_SiLU卷积块后顺序连接第五ECA-PConv模块,将第五ECA-PConv模块与第二Conv_BN_SiLU卷积块的输出特征图输入到第一连接层中进行拼接,然后将拼接后的特征图输入到第三Conv_BN_SiLU卷积块,经过第三Conv_BN_SiLU卷积块处理后的特征图作为C3_Faster模块的输出。
4.根据权利要求3所述的基于全局上下文增强的稀疏卷积输电线路防外破检测方法,其特征在于,特征融合网络包括:第二连接层、第三连接层、第四连接层、第五连接层、第一上采样单元、第二上采样单元、第四Conv_BN_SiLU卷积块、第五Conv_BN_SiLU卷积块、第六Conv_BN_SiLU卷积块、第七Conv_BN_SiLU卷积块、第一C3_Faster模块、第二C3_Faster模块、第三C3_Faster模块、第四C3_Faster模块;
以第二连接层、第三连接层、以及第五Conv_BN_SiLU卷积块作为特征融合网络的输入端,分别对应接收2个顺序连接的第二ECA-PConv模块的输出、8个顺序连接的第三ECA-PConv模块的输出、以及金字塔池化SPPF模块的输出;
第五Conv_BN_SiLU卷积块与第二上采样单元、第三连接层、第一C3_Faster模块、第四Conv_BN_SiLU卷积块、第一上采样单元、第二连接层顺序连接;
第二C3_Faster模块与第六Conv_BN_SiLU卷积块、第四连接层、第三C3_Faster模块、第七Conv_BN_SiLU卷积块、第五连接层、第四C3_Faster模块顺序连接;
第二连接层的输出作为第二C3_Faster模块的输入;第四Conv_BN_SiLU卷积块的输出作为第四连接层的输入;第五Conv_BN_SiLU卷积块的输出作为第五连接层的输入;
第二C3_Faster模块的输出、第三C3_Faster模块的输出、第四C3_Faster模块的输出分别作为特征融合网络的输出。
5.根据权利要求1所述的基于全局上下文增强的稀疏卷积输电线路防外破检测方法,其特征在于,步骤S203中的SC+模块,被配置执行如下动作:
基于特征融合网络中输出的初级特征图X i 作为SC+模块的输入特征图X i, j 、二元掩码矩阵,以及全局特征/>,利用二元掩码矩阵H i 对SC+模块的输入特征图X i, j 进行指导,并应用稀疏卷积后得到中间特征L i, j ,再输入至BN+层,BN+层采用全局特征G i 的标准值和标准差进行归一化,得到上下文增强特征F i, j ,如下式:
,
其中,b、c、h、w分别表示特征图的批量大小、通道数量、高度和宽度;mean[•]和std[•]分别表示平均差和标准差,α和β是可学习的参数。
6.根据权利要求5所述的基于全局上下文增强的稀疏卷积输电线路防外破检测方法,其特征在于,对SC+模块的输入特征图X i, j 应用稀疏卷积时同时保留正常的标准卷积,生成在全输入特征图上卷积后的特征C i,j ;利用C i, j 通过优化均方误差损失MSE进一步增强BN+层获得的上下文增强特征F i, j ,最后在激活层之前采用残差结构,将全局特征G i 添加到由BN+层获得的上下文增强特征F i, j 中,即F i, j +=G i ,损失函数公式如下:
,
其中,n表示PAN网络的层数,H i 是二元掩码矩阵。
7.根据权利要求6所述的基于全局上下文增强的稀疏卷积输电线路防外破检测方法,其特征在于,步骤S203中,检测网络包括两个分支,每个分支分别处理分类和回归任务,每个分支包括三个并行层;
第一并行层为:对初级特征图X i 应用1×1的标准卷积生成全局特征;
第二并行层为:掩码生成层,基于稀疏卷积应用的共享核对初级特征图X i 应用标准卷积,得到一个中间特征/>,然后利用Gumbel-Softmax方法将S i 转化为二元掩码矩阵/>,如下式:
,
其中,表示两个随机的Gumbel噪声,σ是sigmoid函数:/>;在训练阶段中采用上行的公式,推理阶段采用下行的公式;在推理阶段只对掩码值为1的区域进行卷积;
第三并行层为:分类分支与回归分支分别将初级特征图X i 、二元掩码矩阵H i 和全局特征G i 输入至4个顺序连接的SC+模块中,将得到的全局增强特征F i, j 输入至1个稀疏卷积中处理,最终得到分类与回归结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410245047.8A CN117830959B (zh) | 2024-03-05 | 2024-03-05 | 基于全局上下文增强的稀疏卷积输电线路防外破检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410245047.8A CN117830959B (zh) | 2024-03-05 | 2024-03-05 | 基于全局上下文增强的稀疏卷积输电线路防外破检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117830959A true CN117830959A (zh) | 2024-04-05 |
CN117830959B CN117830959B (zh) | 2024-05-10 |
Family
ID=90513814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410245047.8A Active CN117830959B (zh) | 2024-03-05 | 2024-03-05 | 基于全局上下文增强的稀疏卷积输电线路防外破检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117830959B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308019A (zh) * | 2020-11-19 | 2021-02-02 | 中国人民解放军国防科技大学 | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 |
CN113221874A (zh) * | 2021-06-09 | 2021-08-06 | 上海交通大学 | 基于Gabor卷积和线性稀疏注意力的文字识别系统 |
US20220397874A1 (en) * | 2021-06-07 | 2022-12-15 | Zhejiang University | Non-Intrusive Load Decomposition Method Based on Informer Model Coding Structure |
-
2024
- 2024-03-05 CN CN202410245047.8A patent/CN117830959B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112308019A (zh) * | 2020-11-19 | 2021-02-02 | 中国人民解放军国防科技大学 | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 |
US20220397874A1 (en) * | 2021-06-07 | 2022-12-15 | Zhejiang University | Non-Intrusive Load Decomposition Method Based on Informer Model Coding Structure |
CN113221874A (zh) * | 2021-06-09 | 2021-08-06 | 上海交通大学 | 基于Gabor卷积和线性稀疏注意力的文字识别系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117830959B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111626300B (zh) | 基于上下文感知的图像语义分割模型的图像分割方法及建模方法 | |
US20200218948A1 (en) | Thundernet: a turbo unified network for real-time semantic segmentation | |
CN110717527A (zh) | 结合空洞空间金字塔结构的目标检测模型确定方法 | |
CN111915660A (zh) | 基于共享特征和注意力上采样的双目视差匹配方法及系统 | |
CN111241924B (zh) | 基于尺度估计的人脸检测及对齐方法、装置、存储介质 | |
CN113763327B (zh) | 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法 | |
CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
CN113034391B (zh) | 一种多模式融合水下图像增强方法、系统及应用 | |
CN110503149B (zh) | 一种图像中局部特征分类方法及系统 | |
CN113076957A (zh) | 一种基于跨模态特征融合的rgb-d图像显著性目标检测方法 | |
CN113901928A (zh) | 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统 | |
CN114863539A (zh) | 一种基于特征融合的人像关键点检测方法及系统 | |
CN110930306A (zh) | 一种基于非局部感知的深度图超分辨率重建网络构建方法 | |
CN114429208A (zh) | 基于残差结构剪枝的模型压缩方法、装置、设备及介质 | |
CN113988164B (zh) | 一种面向代表点自注意力机制的轻量级点云目标检测方法 | |
CN114677357A (zh) | 航拍绝缘子自爆缺陷的检测模型、方法、设备及存储介质 | |
CN114359554A (zh) | 一种基于多感受野上下文语义信息的图像语义分割方法 | |
CN117830959B (zh) | 基于全局上下文增强的稀疏卷积输电线路防外破检测方法 | |
CN114494006A (zh) | 图像重建模型的训练方法、装置、电子设备及存储介质 | |
CN116468902A (zh) | 图像的处理方法、装置和非易失性计算机可读存储介质 | |
CN116823610A (zh) | 一种基于深度学习的水下图像超分辨率生成方法和系统 | |
CN111915533B (zh) | 一种基于低动态范围的高精图像信息提取方法 | |
CN114612758A (zh) | 一种基于深度分组可分离卷积的目标检测方法 | |
CN114331931A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
CN115239954B (zh) | 一种用于点云全景分割的系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |