CN113569672A - 轻量级目标检测与故障识别方法、装置及系统 - Google Patents

轻量级目标检测与故障识别方法、装置及系统 Download PDF

Info

Publication number
CN113569672A
CN113569672A CN202110803857.7A CN202110803857A CN113569672A CN 113569672 A CN113569672 A CN 113569672A CN 202110803857 A CN202110803857 A CN 202110803857A CN 113569672 A CN113569672 A CN 113569672A
Authority
CN
China
Prior art keywords
module
feature
fusion
feature extraction
fault identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110803857.7A
Other languages
English (en)
Inventor
李洋
蒋元晨
郝悍勇
龚亮亮
胡阳
周子纯
袁逸凡
丁忠林
吕超
张影
汤亿则
冯宝
张铖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Southeast University
State Grid Zhejiang Electric Power Co Ltd
Nari Information and Communication Technology Co
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
State Grid Electric Power Research Institute
Original Assignee
State Grid Corp of China SGCC
Southeast University
State Grid Zhejiang Electric Power Co Ltd
Nari Information and Communication Technology Co
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
State Grid Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Southeast University, State Grid Zhejiang Electric Power Co Ltd, Nari Information and Communication Technology Co, Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd, State Grid Electric Power Research Institute filed Critical State Grid Corp of China SGCC
Priority to CN202110803857.7A priority Critical patent/CN113569672A/zh
Publication of CN113569672A publication Critical patent/CN113569672A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轻量级目标检测与故障识别方法、装置及系统，所述方法包括获取原始轻量级目标检测与故障识别网络模型；对所述原始轻量级目标检测与故障识别网络模型进行参数优化，获得优化轻量级目标检测与故障识别网络模型；利用所述优化轻量级目标检测与故障识别网络模型对接收到的电力巡检图像数据进行目标检测与故障识别。本发明实现网络的轻量化设计，以取得检测速率与检测精度的良好折中。

Description

轻量级目标检测与故障识别方法、装置及系统
技术领域
本发明属于应用于电力巡检图像识别与故障检测技术领域，具体涉及一种轻量级目标检测与故障识别方法、装置及系统。
背景技术
随着国民经济的发展和人民生活水平的不断提高，电网规模不断扩大，电网线路和电网设备的可靠运行直接影响到电力企业的生产安全和社会效益。无人机电力巡检作业逐渐代替人工巡检作业，大大提高了巡检效率并节省了人力成本。
传统的无人机巡检目标检测与故障识别方法一般分为两个步骤，一是基于人工预先定义的特征提取方法，在对原始数据进行抽象和分析后，提取出用以表达原始数据主要信息的特征，如纹理特征、颜色特征、轮廓特征、梯度特征、运动特征等；二是对提取的特征使用机器学习方法，如随机森林、支持向量机、Boosting等方法。但是人工定义的特征表达常常存在一些缺点和问题，难以表达过于复杂的数据结构，并且可能无法表达出原始信息中的关键信息，导致准确率较低。深度学习不同于传统的机器学习方法，用计算机自主学习对数据的抽象方法代替了人工指定数据的抽象表示，提升了准确率。卷积神经网络作为深度学习的典型工具，广泛应用于目标检测与识别领域。卷积神经网络的网络结构复杂且参数量多，模型大小一般达到几十兆甚至几百兆，难以在轻量级设备上应用。为此急需一种可以同时保证轻量级和检测准确率的目标检测与故障识别方法。
发明内容
针对上述问题，本发明提出一种轻量级目标检测与故障识别方法、装置及系统，能够同时保证轻量级和检测准确率，且能够方便调度人员了解输电线路状态并进行故障排查。
为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
第一方面，本发明提供了一种轻量级目标检测与故障识别方法，包括：
获取原始轻量级目标检测与故障识别网络模型；
对所述原始轻量级目标检测与故障识别网络模型进行参数优化，获得优化轻量级目标检测与故障识别网络模型；
利用所述优化轻量级目标检测与故障识别网络模型对接收到的电力巡检图像数据进行目标检测与故障识别。
可选地，所述轻量级目标检测与故障识别网络模型包括依次设置的特征提取网络、多尺度融合网络以及多尺度检测头；
所述特征提取网络对接收到的图像进行提取特征，形成特征图；
所述多尺度融合网络对特征提取网络输出的特征图进行融合，形成融合后的特征图；
所述多尺度检测头将融合后的特征图输出。
可选地，所述特征提取网络包括Focus模块、N个顺次设置的特征提取块和下采样卷积层；
所述Focus模块对接收到的图像进行尺度缩小和通道数扩展；
各特征提取块依次对输入特征图进行特征提取，形成输出特征图，其中，第1，2……N-1个特征提取块均包括依次设置的3×3卷积和ShuffleCSP，第N个特征提取块包括依次设置的3×3卷积、SPP多尺度融合模块和ShuffleCSP，所述3×3卷积用于进行下采样，所述ShuffleCSP用于进行特征提取；所述SPP多尺度融合模块用于进行多尺度融合；
所述下采样卷积层对特征提取块输出的输出特征图使用3×3卷积核进行特征提取，得到输出特征图。
可选地，所述ShuffleCSP包括两个分立设置的Shuffle分支、CSP分支，以及融合模块；
所述输入特征图经过CSP分支改变通道数；
所述Shuffle分支包括若干个堆叠的ShuffleBlock；所述ShuffleBlock包括分立设置的单元映射模块和特征提取模块，以及特征融合模块；所述单元映射模块用于进行单元映射；所述特征提取模块将输入特征图依次通过1x1分组卷积改变通道数，通过channelshuffle打乱通道特征，再通过3x3深度卷积提取特征，最后通过1x1分组卷积改变通道数，所述特征融合模块将单元映射模块和特征提取模块的结果相加后输出；
所述融合模块将Shuffle分支和CSP分支的结果进行融合。
可选地，所述SPP多尺度融合模块先通过一个1×1卷积减少通道数，再对图像进行数次不同尺度的池化，然后将池化特征图与输入特征图进行拼接融合，完成池化的局部特征以及输入的全局特征的结合，最后通过1×1卷积改变通道数。
可选地，所述多尺度融合网络模块包括up模块和down模块；
所述up模块包含两个级联的上采样模块，每个上采样模块依次进行卷积、上采样、拼接融合以及ShuffleCSP特征提取操作；
所述down模块包括两个级联的下采样模块，每个下采样模块依次进行3×3卷积、Fuse融合、ShuffleCSP特征提取操作；
所述多尺度融合网络模块的输入是特征提取网络输出的特征图，该特征图先通过up模块进行2次上采样得到3种不同尺度的特征图，up模块每次上采样之后会将当前特征图与特征提取网络中的同尺度特征图进行拼接融合；再通过down模块进行2次下采样得到多尺度特征图作为输出，两次下采样操作是通过步长为2的3×3卷积实现的，down模块每次下采样之后会将当前特征图与up模块中的同尺度特征图进行Fuse融合。
可选地，所述Fuse融合具体为：
对不同阶段的特征图赋予不同的权重，再进行逐元素相加融合。
可选地，所述多尺度检测头对多尺度融合网络模块输出的特征图分别使用1×1卷积，将通道数转变为所需的输出特征通道数，最后将各尺度的检测结果综合起来，采用非极大值抑制NMS进行筛选，即得到最终的检测结果。
第二方面，本发明提供了一种轻量级目标检测与故障识别装置，包括：
获取模块，用于获取原始轻量级目标检测与故障识别网络模型；
优化模块，用于对所述原始轻量级目标检测与故障识别网络模型进行参数优化，获得优化轻量级目标检测与故障识别网络模型；
检测和识别模块，用于利用所述优化轻量级目标检测与故障识别网络模型对接收到的电力巡检图像数据进行目标检测与故障识别。
第三方面，本发明提供了一种轻量级目标检测与故障识别系统，包括存储介质和处理器；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述的方法。
与现有技术相比，本发明的有益效果：
1)本发明实现了一种轻量级目标检测与故障识别方法，模型中设计了ShuffleCSP模块，因为设置了该模块，所以本发明具备降低模型参数量同时保证检测性能的效果。
2)本发明设计的Fuse融合实现了加权融合特征图，所以网络具备准确衡量特征图重要性并提高检测性能的效果。
3)本发明中的轻量级目标检测与故障识别网络模型最终参数量仅有5.5M，在构建的电力巡检数据集上最高可达到40.6的mAP，因为本发明设计了可以保证性能的轻量化目标检测与故障识别方法，所以可以将电力巡检任务轻松部署于只含CPU的轻量级设备，无需GPU加持，具有较高的工程应用价值。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明一种实施例的轻量级目标检测与故障识别方法的流程示意图；
图2是本发明的网络结构图；
图3是特征提取网络Backbone结构示意图；
图4是ShuffleCSP模块结构示意图；
图5是多尺度融合网络Neck结构示意图；
图6是Fuse模块示意图；
图7是多尺度检测头Head结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。
下面结合附图对本发明的应用原理作详细的描述。
实施例1
本发明实施例中提供了一种轻量级目标检测与故障识别方法，能够面向智能电网电力巡检场景，包括以下步骤：
步骤(1)获取原始轻量级目标检测与故障识别网络模型；
步骤(2)对所述原始轻量级目标检测与故障识别网络模型进行参数优化，获得优化轻量级目标检测与故障识别网络模型；
步骤(3)利用所述优化轻量级目标检测与故障识别网络模型对接收到的电力巡检图像数据进行目标检测与故障识别。
在本发明实施例的一种具体实施方式中，在所述步骤(1)之前还包括以下步骤：
获取电力巡检场景图像作为原始数据集，所述电力巡检场景图像具体为无人机电力巡检拍摄的多场景、多角度的输电线路图像，包含连接器、绝缘子、杆塔、防震锤、避雷器、夹子、间隔棒、人等8类检测类别，并通过人工构建异常情况下的巡检数据来扩充原始数据集，包含鸟巢异常、鸟类异常、绝缘子断裂异常等3类异常检测类别，并进行人工标注形成完整的电力巡检数据集。
在本发明实施例的一种具体实施方式中，如图2所示，所述轻量级目标检测与故障识别网络模型包括顺次设置的特征提取网络Backbone、多尺度融合网络Neck以及多尺度检测头Head；其中，所述特征提取网络对接收到的图像进行提取特征，形成特征图；所述多尺度融合网络对特征提取网络输出的特征图进行融合，形成融合后的特征图；所述多尺度检测头将融合后的特征图输出。
如图3所示，所述特征提取网络Backbone包括Focus模块、N个顺次设置的特征提取块和下采样卷积层；
所述Focus模块对接收到的图像进行尺度缩小和通道数扩展；在具体实施过程中，所述Focus模块通过将相邻特征堆叠到不同通道，实现了一个下采样的功能，将图像尺度减小一倍的同时将通道数变为原来的4倍；
各特征提取块依次对输入特征图进行特征提取，形成输出特征图，其中，第1，2……N-1个特征提取块均包括依次设置的3×3卷积和ShuffleCSP，第N个特征提取块包括依次设置的3×3卷积、SPP多尺度融合模块和ShuffleCSP，所述3×3卷积设置stride为2，用于进行下采样，所述ShuffleCSP用于进行特征提取，能够实现轻量化且高效地提取特征；所述SPP多尺度融合模块用于进行多尺度融合，提取到更加丰富的特征；
所述下采样卷积层对输入特征图使用3×3卷积核进行特征提取得到输出特征图；
综上可见，特征提取网络Backbone中共下采样5次，stride为32。
如图4所示，所述ShuffleCSP包括两个分立设置的Shuffle分支、CSP分支和融合模块；
所述输入特征图经过CSP分支改变通道数；
所述Shuffle分支包括若干个堆叠的ShuffleBlock，所述ShuffleBlock包括分立设置的单元映射模块、特征提取模块和特征融合模块，所述单元映射模块用于进行单元映射；所述特征提取模块将输入特征图依次通过1x1分组卷积改变通道数，通过channelshuffle打乱通道特征，再通过3x3深度卷积提取特征，最后通过1x1分组卷积改变通道数，所述特征融合模块将单元映射模块和特征提取模块的结果相加后输出；
所述融合模块将Shuffle分支和CSP分支的结果进行融合。
所述SPP多尺度融合模块先通过一个1×1卷积减少通道数，再对图像进行数次不同尺度的池化，然后将池化特征图与输入特征图进行拼接融合，从而实现池化的局部特征以及输入的全局特征的结合，最后通过1×1卷积改变通道数。
如图5所示，所述多尺度融合网络模块包括up模块和down模块；
所述up模块包含两个级联的上采样模块，每个上采样模块依次进行卷积、上采样、拼接融合以及ShuffleCSP特征提取操作；
所述down模块包括两个级联的下采样模块，每个下采样模块依次进行3×3卷积、Fuse融合、ShuffleCSP特征提取操作；
多尺度融合网络模块的输入是特征提取网络输出的特征图，该特征图先通过up模块进行2次上采样得到3种不同尺度的特征图，up模块每次上采样之后会将当前特征图与特征提取网络中的同尺度特征图进行拼接融合；再通过down模块进行2次下采样得到多尺度特征图作为输出，两次下采样操作是通过步长为2的3×3卷积实现的，down模块每次下采样之后会将当前特征图与up模块中的同尺度特征图进行Fuse融合。
Fuse融合是通过Fuse模块来实现的，如图6所示，所述Fuse模块对不同阶段的特征图赋予不同的权重，再进行逐元素相加融合，Fuse模块从全局的角度出发，对每个特征图学习一个权值，即视每个特征图的所有通道特征为同等重要。Fuse相当于对每个阶段的特征图中的所有细节都予以相同程度的注意力，而对不同阶段的特征图予以不同程度的注意力，以更好地融合不同阶段和不同层次的特征，更好地结合图像中地位置信息和语义信息。
如图7所示，所述多尺度检测头Head对多尺度融合网络模块输出的特征图分别使用1×1卷积，将通道数转变为所需的输出特征通道数，最后将各尺度的检测结果综合起来，采用非极大值抑制NMS进行筛选，即得到最终的检测结果。在具体实施过程中，如图7所示，所述多尺度检测头Head的输入由Neck模块引出的stride分别为8、16、32的3个不同尺度的特征图组成，形成多尺度检测头。对3个特征图分别使用1×1卷积，将通道数转变为输出维度，从而完成每个尺度的检测，最后将各尺度的检测结果综合起来，采用NMS进行筛选，即得到最终的检测结果。
在本发明实施例的一种具体实施方式中，所述步骤(2)具体包括以下步骤：
步骤S21：对完整的电力巡检数据集进行数据增强等预处理操作，包括：水平翻转、随机缩放、HSV颜色空间转换以及mosaic数据增强。其中，mosaic数据增强是对4张不同的图像进行缩放翻转等处理，再组合在一起输入网络，通过mosaic数据增强一个batch可以同时训练4张图片，仅采用较小的batch size就能达到每批训练较多图像的效果，实验中设置batch size为16，输入图像大小为640。
步骤S22：先在微软公开的COCO 2017数据集上进行预训练，给网络参数一个较好的初始分布，再基于预训练模型在完整的电力巡检数据集上进行针对性训练。网络在COCO预训练300个epoch，再在电力巡检数据集上训练300个epoch。训练时使用的优化器是带动量的随机梯度下降(SGDM)，动量设置为0.937，学习策略为余弦退火衰减，初始学习率为0.01，最大学习率为0.2。网络的损失函数是L＝liou+lobj+lcls，其中lobj和lcls分别表示置信度损失和分类损失，均采用二值交叉熵损失计算；liou表示定位损失，采用GIOU计算。计算得到网络总体损失，再利用梯度下降法将损失进行反向传播，从而对网络中的参数进行更新优化，得到最优的参数设置。
步骤S23：为了更好地针对电力巡检场景进行目标检测任务，在完整的电力巡检数据集上通过对标注的目标框进行聚类得到9个不同尺度先验anchor。设置每3个anchor为一组，分为大、中、小三种尺度，大尺度anchor分配给小尺度特征图以检测大物体，小尺度anchor分配给大尺度特征图以检测小物体。
下面通过实验对本发明实施例中的网络特征提取网络Backbone、多尺度融合网络Neck以及融合方式进行效果验证。
步骤A：对比实验中使用的评估指标定义如下：
TP是预测正确的框的数量，FN表示漏检的框的数量，FP表示检测错误的框的数量。
Precision(P)：准确率，公式为：
Figure BDA0003165590830000071
Recall(R)：召回率，公式为：
Figure BDA0003165590830000072
PR曲线：Precision-Recall曲线，纵坐标是准确率Precision，横坐标是召回率Recall，随着召回率的上升，准确率下降
AP是PR曲线下的面积，mAP是各类别AP均值，衡量的是在所有类别上的平均好坏程度。Params和FLOPs分别表示参数量和浮点数运算次数，用来衡量网络的复杂度。
步骤B：针对ShuffleCSP和BottleneckCSP进行了对比实验，结果如表1所示。
表1 Backbone实验对比
Backbone mAP AP<sub>50</sub> P R Params FLOPs
Shuffle 39.5 74.0 68.0 75.8 5.5M 12.8G
Bottleneck 39.0 76.9 59.2 78.6 7.6M 17.6G
由表1对比结果发现ShuffleCSP搭建网络特征提取网络Backbone能够得到更轻量化的模型，且实现了更好的性能。
步骤C:本发明主要考虑了3种常用的多尺度融合模块，即SPP、PPM、ASPP，并对它们的性能进行了测试和对比，结果如表2所示。
表2多尺度融合模块性能对比
Module mAP AP<sub>50</sub> P R Params FLOPs
SPP 40.6 76.8 66.5 75.7 5.5M 12.8G
PPM 39.4 75.8 66.8 75.7 6.1M 14.2G
ASPP 40.3 74.8 62.0 77.7 13.8M 19.3G
由表2的对比结果发现，SPP作为多尺度模块的网络的mAP最高，且参数量和计算量最小；ASPP的mAP仅比SPP低了0.3，但参数量和计算量分别为SPP的2.5倍和1.5倍；PPM的mAP比SPP低了1.2，且参数量和计算量都有所上升。基于以上实验，本项目采用SPP作为本发明网络最终的多尺度融合模块。
步骤D：本发明中，设计了3种不同的PAN融合方式，分别为Fuse、SEFuse、GroupFuse。这三种融合方式都是在普通的拼接融合或逐元素相加融合的基础上引入了自适应学习的融合方式，形成自适应的融合方法。PAN的每个融合操作中，特征图均是来自于Backbone、FPN上采样阶段、PAN下采样阶段的同尺度特征图。
步骤D1:Fuse通过对不同阶段的特征图赋予不同的权重，再进行逐元素相加融合。Fuse从全局的角度出发，对每个特征图学习一个权值，即视每个特征图的所有通道特征为同等重要。Fuse相当于对每个阶段的特征图中的所有细节都予以相同程度的注意力，而对不同阶段的特征图予以不同程度的注意力，以更好地融合不同阶段和不同层次的特征，更好地结合图像中地位置信息和语义信息。
步骤D2:SEFuse对每个通道特征赋予不同的权重，权重均可学习。SEFuse的具体实现是对不同阶段的特征图使用SEBlock通道注意力模块来提取加权通道特征，再将加权后的通道特征进行拼接融合。
步骤D3：GroupFuse将每个阶段的特征图分为数组，对每一组特征图学习一个权重，组数是人工设定的。GFuse的具体实现是对不同阶段的特征图使用GroupAttention分组通道注意力模块来提取加权分组通道特征，再进行拼接融合。GroupAttention考虑到通道特征之间的相互依赖关系，从通道角度出发，引入分组概念，对特征图的通道进行分组，如果组数为g，那么就对这个特征图学习g个权值参数，这g个参数分别对应g个组，每组中的通道特征均共享一个参数，有利于特征之间相互通信，也能在一定程度上减少参数量。
步骤D4：本发明基于相同的网络结构设置，在相同实验环境下对所设计的三种PAN融合模块进行了对比实验，对比结果如表3所示。
表3 PAN融合方式性能对比
Module mAP AP50 P R Params FLOPs
Fuse 40.6 76.8 66.5 75.7 5.5M 12.8G
SEFuse 39.9 75.9 64.9 75.8 6.1M 13.6G
GroupFuse 40.1 75.2 63.9 76.1 6.2M 13.6G
通过对比实验发现，采用Fuse模块作为PAN模式方式效果最好，mAP达到40.6，且参数量和计算量都最小，分别为5.5M和12.8G；采用SEFuse模块的mAP比Fuse低了0.7，且参数量和计算量均比Fuse略高一些；采用GroupFuse模块的mAP与Fuse差不多，但参数量和计算量也比Fuse略高。综合以上实验，采用Fuse作为最终的PAN融合方式可以兼顾较高的准确率和较少的参数量及计算量，符合轻量化的要求。
实施例2
基于与实施例1相同的发明构思，本发明实施例中提供了一种轻量级目标检测与故障识别装置，包括：
获取模块，用于获取原始轻量级目标检测与故障识别网络模型；
优化模块，用于对所述原始轻量级目标检测与故障识别网络模型进行参数优化，获得优化轻量级目标检测与故障识别网络模型；
检测和识别模块，用于利用所述优化轻量级目标检测与故障识别网络模型对接收到的电力巡检图像数据进行目标检测与故障识别。
其余部分均与实施例1相同。
实施例3
本发明实施例中提供了一种轻量级目标检测与故障识别系统，包括存储介质和处理器；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1中任一项所述的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种轻量级目标检测与故障识别方法，其特征在于，包括：
获取原始轻量级目标检测与故障识别网络模型；
对所述原始轻量级目标检测与故障识别网络模型进行参数优化，获得优化轻量级目标检测与故障识别网络模型；
利用所述优化轻量级目标检测与故障识别网络模型对接收到的电力巡检图像数据进行目标检测与故障识别。
2.根据权利要求1所述的一种轻量级目标检测与故障识别方法，其特征在于，所述原始轻量级目标检测与故障识别网络模型包括依次设置的特征提取网络、多尺度融合网络以及多尺度检测头；
所述特征提取网络对接收到的图像进行提取特征，形成特征图；
所述多尺度融合网络对特征提取网络输出的特征图进行融合，形成融合后的特征图；
所述多尺度检测头将融合后的特征图输出。
3.根据权利要求2所述的一种轻量级目标检测与故障识别方法，其特征在于：所述特征提取网络包括Focus模块、N个顺次设置的特征提取块和下采样卷积层；
所述Focus模块对接收到的图像进行尺度缩小和通道数扩展；
各特征提取块依次对输入特征图进行特征提取，形成输出特征图，其中，第1，2……N-1个特征提取块均包括依次设置的3×3卷积和ShuffleCSP，第N个特征提取块包括依次设置的3×3卷积、SPP多尺度融合模块和ShuffleCSP，所述3×3卷积用于进行下采样，所述ShuffleCSP用于进行特征提取；所述SPP多尺度融合模块用于进行多尺度融合；
所述下采样卷积层对特征提取块输出的输出特征图使用3×3卷积核进行特征提取，得到输出特征图。
4.根据权利要求3所述的一种轻量级目标检测与故障识别方法，其特征在于：所述ShuffleCSP包括两个分立设置的Shuffle分支、CSP分支，以及融合模块；
所述输入特征图经过CSP分支改变通道数；
所述Shuffle分支包括若干个堆叠的ShuffleBlock；所述ShuffleBlock包括分立设置的单元映射模块和特征提取模块，以及特征融合模块；所述单元映射模块用于进行单元映射；所述特征提取模块将输入特征图依次通过1x1分组卷积改变通道数，通过channelshuffle打乱通道特征，再通过3x3深度卷积提取特征，最后通过1x1分组卷积改变通道数，所述特征融合模块将单元映射模块和特征提取模块的结果相加后输出；
所述融合模块将Shuffle分支和CSP分支的结果进行融合。
5.根据权利要求2所述的一种轻量级目标检测与故障识别方法，其特征在于：所述SPP多尺度融合模块先通过一个1×1卷积减少通道数，再对图像进行数次不同尺度的池化，然后将池化特征图与输入特征图进行拼接融合，完成池化的局部特征以及输入的全局特征的结合，最后通过1×1卷积改变通道数。
6.根据权利要求1所述的一种轻量级目标检测与故障识别方法，其特征在于：所述多尺度融合网络模块包括up模块和down模块；
所述up模块包含两个级联的上采样模块，每个上采样模块依次进行卷积、上采样、拼接融合以及ShuffleCSP特征提取操作；
所述down模块包括两个级联的下采样模块，每个下采样模块依次进行3×3卷积、Fuse融合、ShuffleCSP特征提取操作；
所述多尺度融合网络模块的输入是特征提取网络输出的特征图，该特征图先通过up模块进行2次上采样得到3种不同尺度的特征图，up模块每次上采样之后会将当前特征图与特征提取网络中的同尺度特征图进行拼接融合；再通过down模块进行2次下采样得到多尺度特征图作为输出，两次下采样操作是通过步长为2的3×3卷积实现的，down模块每次下采样之后会将当前特征图与up模块中的同尺度特征图进行Fuse融合。
7.根据权利要求6所述的一种轻量级目标检测与故障识别方法，其特征在于：所述Fuse融合具体为：
对不同阶段的特征图赋予不同的权重，再进行逐元素相加融合。
8.根据权利要求1所述的一种轻量级目标检测与故障识别方法，其特征在于：所述多尺度检测头对多尺度融合网络模块输出的特征图分别使用1×1卷积，将通道数转变为所需的输出特征通道数，最后将各尺度的检测结果综合起来，采用非极大值抑制NMS进行筛选，即得到最终的检测结果。
9.一种轻量级目标检测与故障识别装置，其特征在于，包括：
获取模块，用于获取原始轻量级目标检测与故障识别网络模型；
优化模块，用于对所述原始轻量级目标检测与故障识别网络模型进行参数优化，获得优化轻量级目标检测与故障识别网络模型；
检测和识别模块，用于利用所述优化轻量级目标检测与故障识别网络模型对接收到的电力巡检图像数据进行目标检测与故障识别。
10.一种轻量级目标检测与故障识别系统，其特征在于，包括存储介质和处理器；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-8中任一项所述的方法。
CN202110803857.7A 2021-07-16 2021-07-16 轻量级目标检测与故障识别方法、装置及系统 Pending CN113569672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110803857.7A CN113569672A (zh) 2021-07-16 2021-07-16 轻量级目标检测与故障识别方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110803857.7A CN113569672A (zh) 2021-07-16 2021-07-16 轻量级目标检测与故障识别方法、装置及系统

Publications (1)

Publication Number Publication Date
CN113569672A true CN113569672A (zh) 2021-10-29

Family

ID=78165081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110803857.7A Pending CN113569672A (zh) 2021-07-16 2021-07-16 轻量级目标检测与故障识别方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113569672A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299359A (zh) * 2021-12-22 2022-04-08 山东浪潮科学研究院有限公司 一种检测输电线路故障的方法、设备及存储介质
CN114462555A (zh) * 2022-04-13 2022-05-10 国网江西省电力有限公司电力科学研究院 基于树莓派的多尺度特征融合配电网设备识别方法
CN114529798A (zh) * 2022-02-21 2022-05-24 山东浪潮科学研究院有限公司 基于TinyML的生产线产品质检实现方法及辅助系统
CN114821194A (zh) * 2022-05-30 2022-07-29 深圳市科荣软件股份有限公司 一种设备运行状态识别方法及装置
CN114882336A (zh) * 2022-05-18 2022-08-09 湖北工业大学 列车制动系统故障图像的端到端实时检测方法
CN114299359B (zh) * 2021-12-22 2024-05-10 山东浪潮科学研究院有限公司 一种检测输电线路故障的方法、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569843A (zh) * 2019-09-09 2019-12-13 中国矿业大学(北京) 一种矿井目标智能检测与识别方法
CN111860693A (zh) * 2020-07-31 2020-10-30 元神科技(杭州)有限公司 一种轻量级视觉目标检测方法及系统
CN111915558A (zh) * 2020-06-30 2020-11-10 成都思晗科技股份有限公司 一种高压输电线销钉状态检测方法
CN112036327A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd的轻量化安全帽检测方法
CN112115986A (zh) * 2020-08-31 2020-12-22 南京航空航天大学 一种基于轻量级神经网络的输电线路场景分类方法
CN112990325A (zh) * 2021-03-24 2021-06-18 南通大学 一种面向嵌入式实时视觉目标检测的轻型网络构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569843A (zh) * 2019-09-09 2019-12-13 中国矿业大学(北京) 一种矿井目标智能检测与识别方法
CN111915558A (zh) * 2020-06-30 2020-11-10 成都思晗科技股份有限公司 一种高压输电线销钉状态检测方法
CN111860693A (zh) * 2020-07-31 2020-10-30 元神科技(杭州)有限公司 一种轻量级视觉目标检测方法及系统
CN112115986A (zh) * 2020-08-31 2020-12-22 南京航空航天大学 一种基于轻量级神经网络的输电线路场景分类方法
CN112036327A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd的轻量化安全帽检测方法
CN112990325A (zh) * 2021-03-24 2021-06-18 南通大学 一种面向嵌入式实时视觉目标检测的轻型网络构建方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299359A (zh) * 2021-12-22 2022-04-08 山东浪潮科学研究院有限公司 一种检测输电线路故障的方法、设备及存储介质
CN114299359B (zh) * 2021-12-22 2024-05-10 山东浪潮科学研究院有限公司 一种检测输电线路故障的方法、设备及存储介质
CN114529798A (zh) * 2022-02-21 2022-05-24 山东浪潮科学研究院有限公司 基于TinyML的生产线产品质检实现方法及辅助系统
CN114462555A (zh) * 2022-04-13 2022-05-10 国网江西省电力有限公司电力科学研究院 基于树莓派的多尺度特征融合配电网设备识别方法
US11631238B1 (en) 2022-04-13 2023-04-18 Iangxi Electric Power Research Institute Of State Grid Method for recognizing distribution network equipment based on raspberry pi multi-scale feature fusion
CN114882336A (zh) * 2022-05-18 2022-08-09 湖北工业大学 列车制动系统故障图像的端到端实时检测方法
CN114882336B (zh) * 2022-05-18 2024-04-26 湖北工业大学 列车制动系统故障图像的端到端实时检测方法
CN114821194A (zh) * 2022-05-30 2022-07-29 深圳市科荣软件股份有限公司 一种设备运行状态识别方法及装置
CN114821194B (zh) * 2022-05-30 2023-07-25 深圳市科荣软件股份有限公司 一种设备运行状态识别方法及装置

Similar Documents

Publication Publication Date Title
CN113569672A (zh) 轻量级目标检测与故障识别方法、装置及系统
CN110046550B (zh) 基于多层特征学习的行人属性识别系统及方法
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN113158909B (zh) 基于多目标跟踪的行为识别轻量化方法、系统、设备
CN112954399B (zh) 一种图像处理方法、装置以及计算机设备
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN110992307A (zh) 基于yolo的绝缘子定位识别方法及装置
CN116152611B (zh) 一种多级多尺度点云补全方法、系统、设备及存储介质
CN116740538A (zh) 一种基于YOLOv8改进的轻量化目标检测方法及系统
CN113298817A (zh) 一种准确率高的遥感图像语义分割方法
CN115861861B (zh) 一种基于无人机配电线路巡检的轻量级验收方法
CN117132910A (zh) 一种用于无人机的车辆检测方法、装置及存储介质
CN116912483A (zh) 目标检测方法、电子设备以及存储介质
CN115719475B (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及系统
CN116523881A (zh) 一种电力设备异常温度检测方法及装置
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN115100592A (zh) 一种输电通道外破隐患识别方法、装置及存储介质
Zhou et al. ASSD-YOLO: a small object detection method based on improved YOLOv7 for airport surface surveillance
CN110705695A (zh) 搜索模型结构的方法、装置、设备和存储介质
CN117557775B (zh) 基于红外和可见光融合的变电站电力设备检测方法及系统
CN117541587B (zh) 太阳能电池板缺陷检测方法、系统、电子设备及存储介质
Liao et al. An acceleration and optimization method of edge computing using filter level pruning
CN116091789A (zh) 一种电动汽车充电场异常行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination