CN110634127A - 一种输电线路防震锤目标检测与缺陷识别方法及装置 - Google Patents

一种输电线路防震锤目标检测与缺陷识别方法及装置 Download PDF

Info

Publication number
CN110634127A
CN110634127A CN201910671015.3A CN201910671015A CN110634127A CN 110634127 A CN110634127 A CN 110634127A CN 201910671015 A CN201910671015 A CN 201910671015A CN 110634127 A CN110634127 A CN 110634127A
Authority
CN
China
Prior art keywords
picture
module
feature
vibration damper
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910671015.3A
Other languages
English (en)
Inventor
杨建旭
黄前华
李程启
郑文杰
黄文礼
童旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Nari Jiyuan Power Grid Technology Co Ltd
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Original Assignee
Anhui Nari Jiyuan Power Grid Technology Co Ltd
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Nari Jiyuan Power Grid Technology Co Ltd, State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd filed Critical Anhui Nari Jiyuan Power Grid Technology Co Ltd
Priority to CN201910671015.3A priority Critical patent/CN110634127A/zh
Publication of CN110634127A publication Critical patent/CN110634127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种输电线路防震锤目标检测与缺陷识别方法，包括以下步骤：通过图像采集装置获取防震锤图片；对防震锤图片进行预处理得到预处理图片；构建特征提取模块、特征增强模块和像素级预测模块；对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。本发明还提出一种输电线路防震锤目标检测与缺陷识别装置。本发明极大的提高高分辨率图片的检测速度；一定程度减少计算，实现快速且精准的防震锤目标检测与缺陷识别，提高电力巡检工作的效率。

Description

一种输电线路防震锤目标检测与缺陷识别方法及装置
技术领域
本发明涉及架空输电线路安全技术领域，尤其涉及一种输电线路防震锤目标检测与缺陷识别方法及装置。
背景技术
在架空输电线路中，输电线随风振动，长时间周期性的振动容易导致线路断股，严重威胁到架空输电线路的安全可靠运行。防震锤是架空输电线路中的重要器件，可以起到减少架空输电线路震动损伤的作用。但是架空输电线路实施远距离电力传输，期间必然会跨越不同的自然环境。在经历长时间风吹日晒后，防震锤会产生各种缺陷，导致防震锤不能发挥原本的作用。所以在架空输电线路的巡检过程中，防震锤的缺陷检测是巡检的重要工作。
目前的架空输电线路的巡检过程中，人工巡检非常耗时，且巡检人员的工作存在一定的安全性。近年来，随着无人机技术的快速发展，以及高效稳定的无人机在其他领域的应用。国内许多电力公司开始陆续采用无人机来辅助巡检工作。但是无人机所拍摄的图片，具有数据量大、背景复杂、相对于防震锤角度多变、电力设备相互遮挡、且分辨率高等特点。而如果仅仅靠巡检人员来分析图片中电力设备的缺陷，则很容易导致误检和误判，从而会加大检修的成本，这反而没有从引入无人机技术来获利。随着目前深度学习技术的发展，如何快速地、精确地检测出无人机拍摄的架空输电线路图像中防震锤缺陷已成为一个热门问题。
在当前的目标检测领域，卷积神经网络的应用使得目标检测的性能有了一个极大的飞跃。目标检测模型分为两类：一类是两阶段检测器，将预测分为两个步骤，分别完成，这一类的典型代表是R-CNN, Fast R-CNN, Faster-RCNN家族，他们识别错误率低，漏识别率也较低，但速度较慢，不能满足实时检测场景；另一类方式称为单阶段检测器, 典型代表是YOLO, SSD, YoloV2、v3等，虽然速度很快但是检测精度还有待提升。就无人拍摄的输电线路图片来说，图片的分辨率很高，基本都在8000×6000的水平，而防震锤大小平均都在255×125水平，利用SSD和YOLO在实验中发现漏检率非常高，而在实际工程应用中待检测目标占图像比例较小的情况更为普遍。且测试高分辨率的图片时速度并没有比Faster-RCNN有更突出的优势。
目前所有主流的检测器，如Faster R-CNN、SSD、YOLOv2、v3都依赖于一组预定义的锚盒，长期以来人们认为锚盒的使用是检测器成功的关键。尽管它们取得了巨大的成功，但值得注意的是，基于锚的检测器存在一些缺陷：
1.需要在基于锚的检测器中仔细调整这些锚的尺寸、纵横比和数量这些超参数。
2.预定义的锚需要在具有不同物体尺寸或纵横比的新检测器任务上进行重新设计。
3.为了实现高查全率，需要基于锚点的检测器在输入图像上密集地放置锚盒。大多数这些锚在训练期间被标记为阴性样本。过多的阴性样本加剧了训练中阳性和阴性样本之间的不平衡。
4.在训练期间计算所有锚和真值框之间的交并比（IOU）时，过多的锚也会显着增加计算量和内存占用量。
但网络结构较复杂参数相对较多，因此计算速度会稍慢、对内存空间的占用也较多，无法满足一些计算资源有限或者对实时性要求较高的场合。在防震锤以及其缺陷的检测精度与效率上均还存在一定的差距，投入到实际应用中，存在的问题就更加明显。
发明内容
针对上述现有技术存在不足，本发明提供一种输电线路防震锤目标检测与缺陷识别方法及装置，通过经过模型约简的特征提取模块和为了提高特征表达的特征增强模块以及最后的预测模块，可以在资源有限的情况下，实现快速高效的防震锤目标检测。
本发明采用的技术方案为：
一种输电线路防震锤目标检测与缺陷识别方法，包括以下步骤：
通过图像采集装置获取防震锤图片；
对防震锤图片进行预处理得到预处理图片；
构建特征提取模块、特征增强模块和像素级预测模块；
对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
作为本发明的进一步技术方案为：所述通过图像采集装置获取防震锤图片，具体包括：采用无人机和摄像装置相结合的拍摄方式，对输电线路上的防震锤进行拍摄得到防震锤图片。
作为本发明的进一步技术方案为：所述对防震锤图片进行预处理得到预处理图片；具体包括：对防震锤图片进行裁剪、旋转和缩放得到预处理图片。
作为本发明的进一步技术方案为：还包括，建立图片数据库，所述图片数据库为根据防震锤的缺陷规则建立图片数据库；其中防震锤的缺陷规则分为防震锤正常、防震锤锈蚀、防震锤锈蚀且破损；并且通过labelimg标注工具进行目标的标注；并将图片数据库中的数据集，分为训练集、测试集和验证集。
作为本发明的进一步技术方案为：所述构建特征提取模块；具体包括：
结合深度可分离卷积，分组卷积和深度可分离通道卷积的概念，提出分组模块和分组通道模块，将两个分组通道模块和一个分组模块进行组合，得到轻量型特征提取网络；输入图像经过特征提取网络，构建多尺度的特征融合结构；多尺度特征融合结构和轻量型特征提取网络共同构建特征提取模块。
作为本发明的进一步技术方案为：所述构建特征增强模块，包括通道增强模块和空间增强模块，将通道增强模块和空间增强模块通过串联的方式来组合成一个特征增强模块。
作为本发明的进一步技术方案为：所述构建像素级预测模块；将特征增强模块的增强特征经过两个并行的卷积分支，分别形成分类函数和回归函数，其中分类函数用于预测图片的每个像素点的分类结果，回归函数用于预测每个像素点到边界框的参数。
作为本发明的进一步技术方案为：所述对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；具体包括：
把特征提取模块、特征增强模块和预测模块进行连接；
将预处理图片的数据信息输入至训练模型中，得到对应图片的防震锤边界框及分类信息；
为预测值设置目标函数；
利用训练数据输进网络通过对目标函数进行优化；实现端对端的训练。
作为本发明的进一步技术方案为：所述对训练模型进行测试，实现对预处理图片中防震锤的目标检测和识别，具体包括：
利用Tensorflow训练模型，并将训练模型固化，去除多余的参数，通过固化后的模型对预处理图片进行目标检测和缺陷识别。
本发明还提出一种输电线路防震锤目标检测与缺陷识别装置，包括：
图像采集单元，用于获取防震锤图片；
图像预处理单元，用于对防震锤图片进行预处理得到预处理图片；
模块构建单元，用于构建特征提取模块、特征增强模块和像素级预测模块；
训练模型单元，用于对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
检测识别单元，用于将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
本发明的有益效果为：
本发明提供一种基于参数约简和特征增强的输电线路防震锤目标检测与缺陷识别方法，采用的模型压缩手段，通过使用一种分组通道卷积实现防震锤的目标检测与缺陷识别；本发明可以在不损失精度的同时，极大的提高高分辨率图片的检测速度；通过提供一种特征增强模块，可以极大的提高特征的表达能力；通过像素级预测模块，不使用预先设定的锚，可以一定程度减少计算，且精度没有丝毫影响；通过三者的结合，实现快速且精准的防震锤目标检测与缺陷识别，提高电力巡检工作的效率，使得电力巡检工作向智能化迈进。
附图说明
图1为本发明提出的一种输电线路防震锤目标检测与缺陷识别方法流程图；
图2a为本发明提出的所述轻量型网络中分组模块流程图；
图2b为本发明提出的所述分组通道模块流程图；
图3为本发明提出的所述特征增强模块示意图；
图4为本发明提出的所述像素级预测模块示意图；
图5为本发明提出的一种输电线路防震锤目标检测与缺陷识别装置结构图。
具体实施方式
本发明提供一种输电线路防震锤目标检测与缺陷识别方法，采用全卷积的单级目标检测器，以每像素预测的方式解决目标检测问题，类似于语义分割。其中单极检测器是不需要人为预先定义锚的。通过消除预定义的锚，本发明完全避免了与锚相关的复杂计算，大大减少了训练内存占用、同时避免了与锚相关的所有超参数，这些超参数通常对最终检测性能非常敏感。
本发明中引入了两个简单而有效的网络单元，空间关系模块和通道关系模块，用于学习和推理任意两个空间位置或特征图之间的全局关系，生成关系增强的特征表示。最终送入后续网络做预测。可以避免使用卷积运算与局部感受导致的无法构建上下文空间关系。
本发明通过模型约简的方式来提高防震锤缺陷检测的速度，同时很好的保证其精度，实现速度和精度的均衡。本发明采用的模型压缩手段是通过使用一种分组通道卷积的方式来实现防震锤的目标检测与缺陷识别，可以在不损失精度的同时，极大的提高高分辨率图片的检测速度。
本发明提供的技术方案总体思路如下：
本发明提供一种输电线路防震锤目标检测与缺陷识别方法，包括以下步骤：通过图像采集装置获取防震锤图片；对防震锤图片进行预处理得到预处理图片；构建特征提取模块、特征增强模块和像素级预测模块；对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
以上是本申请的核心思想，为了使本技术领域的人员更好地理解本申请方案，下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
实施例一
如图1所示，为本发明提出的一种输电线路防震锤目标检测与缺陷识别方法流程图。
参照图1，一种输电线路防震锤目标检测与缺陷识别方法，包括以下步骤：
步骤100，通过图像采集装置获取防震锤图片；
步骤200，对防震锤图片进行预处理得到预处理图片；
步骤300，构建特征提取模块、特征增强模块和像素级预测模块；
步骤400，对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
步骤500，将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
本发明提供一种基于参数约简和特征增强的输电线路防震锤目标检测与缺陷识别方法，采用的模型压缩手段，通过使用一种分组通道卷积实现防震锤的目标检测与缺陷识别；本发明可以在不损失精度的同时，极大的提高高分辨率图片的检测速度；通过提供一种特征增强模块，可以极大的提高特征的表达能力；通过像素级预测模块，不使用预先设定的锚，可以一定程度减少计算，且精度没有丝毫影响；通过三者的结合，实现快速且精准的防震锤目标检测与缺陷识别，提高电力巡检工作的效率，使得电力巡检工作向智能化迈进。
在步骤100中，所述通过图像采集装置获取防震锤图片，具体包括：采用无人机和摄像装置相结合的拍摄方式，对输电线路上的防震锤进行拍摄得到防震锤图片。
具体为，通过无人机拍摄不同背景下、不同角度下的输电线路图片，增加样本的多样性，从而更好的提高模型的泛化能力。对于拍摄的图片进行筛选，删除不含有防震锤的图片。
在步骤200中，所述对防震锤图片进行预处理得到预处理图片；具体包括：对防震锤图片进行裁剪、旋转和缩放得到预处理图片。
由于通过图像采集装置采集的防震锤图片的分辨率很高，有的能达到8000×6000，如果直接送进网络不仅检测速度很慢而且对于防震锤这种小目标来说检测的精度会很低，所以需要对于图片进行裁剪；同时为了增强模型的泛化能力，需要对数据进行数据增强，包含对于图片的裁剪、翻转/旋转、尺度变化、mixup等一些数据增强手段。
具体为，对图像采集装置获得高分辨率的图片进行裁剪，裁剪策略采用分块有重叠的裁剪；裁剪之后图片的大小在1300×1000左右；然后进行图片数据的增强，主要是对于图片进行旋转，旋转角度为60度，最后把图片进行缩小或者放大，完成数据集的前期的扩充以及增强的工作。
本发明实施例中，还包括，建立图片数据库，所述图片数据库为根据防震锤的缺陷规则建立图片数据库；其中防震锤的缺陷规则分为防震锤正常、防震锤锈蚀、防震锤锈蚀且破损；并且通过labelimg标注工具进行目标的标注；并将图片数据库中的数据集，分为训练集、测试集和验证集。
根据防震锤的缺陷规则，防震锤的检测主要分为防震锤正常、防震锤锈蚀、防震锤锈蚀且破损。上述对防震锤图片进行预处理后形成预处理图片，通过labelimg标注工具进行目标的标注。一张图片标注完成后会生成一个xml文件，里面包含标注目标的标签目标的左上角和右下角坐标，保存所有图片的xml文件；
然后分别放在两个文件夹下；xml文件的名字和图片的名字除了后缀名字是一一对应的；把建立好的数据集，分为训练集33%和测试集33%还有验证集33%三个数据集不能有重复数据。
参见图2a和图2b，其中图2a为本发明提出的所述轻量型网络中分组模块流程图；图2b为本发明提出的所述分组通道模块流程图；
如图2a和图2b所示，所述构建特征提取模块；具体包括：
结合深度可分离卷积，分组卷积和深度可分离通道卷积的概念，提出分组模块和分组通道模块，将两个分组通道模块和一个分组模块进行组合，得到轻量型特征提取网络；输入图像经过特征提取网络，构建多尺度的特征融合结构；多尺度特征融合结构和轻量型特征提取网络共同构建特征提取模块。
输入图像经过特征提取网络后，保留网络第三层、第四层和第五层输出的具有不同语义和分辨率的特征；构建多尺度的特征融合结构，第五层的特征经过上采样到与第四层特征相同尺寸之后与之合并，同样再上采样到与第三层特征尺寸相同之后与之合并，假设第三层、第四层和第五层分别表示为F3，F4，F5，则经过融合后的对应特征则为M3，M4，M5；多尺度特征融合结构和轻量型特征提取网络共同构建特征提取模块；此模块在大型分类数据集ImageNet上进行预训练。
由于深度可分离卷积的提出，深度可分离卷积可以将标准的卷积分解为一个深度卷积加上一个 1×1的卷积；假设输入特征图大小为 M_F×M_F×I，输出特征图大小为 M_F×M_F×J，卷积核大小为 D_K×D_K，则标准卷积的计算量为：D_K×D_K×I×J×M_F×M_F；深度可分离卷积的计算量：D_K×D_K×I×M_F×M_F+I×J×M_F×M_F；带入具体数据可以发现在保证准确率的条件下,计算时间减少为原来的1/9，计算参数减少为原来的1/7。在结合分组卷积的思想；提出一种深度可分离通道卷积的概念。
通过上述的深度可分离通道卷积的概念，提出分组模块和分组通道模块，其中分组模块的结构是：首先最初的特征映射这里我们假设为F0，F0经过一个3×3深度卷积接着一个1×1分组卷积然后通过批归一化和激活函数，再接一相同结构最后得到一个特征图我们假设为F1，然后把F1与F0进行相加；最后输出特征图设为F2。这就构造一个分组模块。我们把3×3深度卷积表示DW，分组卷积表示为GC，批归一化表示BN，激活函数表示ReLu，所以分组模块的结构具体描述是：F0—>DW—>GC—>BN、ReLu6—>DW—>GC—>BN、ReLu6—>F1—>F2（F1+F0）；接着构建分组通道模块，只需在提到的分组模块中添加一个分组通道卷积并且把第二个1×1分组卷积换成1×1卷积即可；这里可以把分组通道卷积表示成GCWC；所以分组通道模块的具体结构是：F0—>DW—>GC—>BN、ReLu6—>DW—>1×1卷积—BN、ReLu6—>F1—>GCWC—>F2（F1+F0）。
通过如上步骤的两个模块，利用两个分组通道模块和一个分组模块进行方式进行堆叠，提出一种新的轻量型特征提取网络。
特征提取模块中多尺度的结构具体为通过特征提取网络实时保存下来的三层特征图设为第三层（F3）、第四层（F4）、第五层（F5）；第五层的特征映射做2倍上采样到与第四层特征相同尺寸之后按元素相加，同样再做2倍上采样到与第三层特征尺寸相同之后按元素相加，则经过融合后的对应特征则为M3、M4、M5，与F3、F4、F5一一对应且对应具有相同尺寸；为了开始迭代，只需在F5上附加一个1×1卷积层来生成低分辨率图M5；最后，在每个合并的图上附加一个3×3卷积来生成最终的特征映射，这是为了减少上采样的混叠效应；这个最终的特征映射集称为{F3，F4，F5}，分别对应于{M3，M4，M5}。此处特征映射的通道数是256。
参见图3为本发明提出的所述特征增强模块示意图；
如图3所示，构建特征增强模块，包括通道增强模块和空间增强模块，将通道增强模块和空间增强模块通过串联的方式来组合成一个特征增强模块。
通过考虑特征中通道的潜在关系以及特征的上下文空间关系，发明一种通道增强模块和空间增强模块，让通道增强模块和空间增强模块通过串联的方式来组合成一个特征增强模块。通过此模块把步骤S4中输出的M3，M4，M5三个尺寸的特征分别进行增强。
假设增强后的特征图分别为AM3，AM4，AM5；增强后的特征AM3，AM4，AM5会经过两个并行的卷积分支，单个卷积分支由4个卷积层组成。其中一个分支用来分类，另一个用来回归。其中分类分支又包含两个分支一个是分类，另一个是中心度预测分支，分类分支最后输出一个W×H×C维的向量，来预测该特征图的每个像素点的分类结果。而中心度预测分支输出一个H×W×1的向量，以预测一个位置的“中心”(即为该位置到所属对象中心的距离)。中心度预测分支主要用来抑制检测到的低质量边界框，而不引入任何超参数。同样，回归分支最后会输出W×H×4的向量，以预测每个像素点预测到的边界框相关参数。其中W代表图片的宽，H代表图片的高，C为分类的类别数。
本实施例中，充分考虑到特征映射中通道以及空间上下文的关系，利用一个通道增强模块和空间增强模块串联的方式来强化特征映射的表达能力，对特征映射做进一步的增强。
首先构建一个空间增强模块，为了能捕获特征图的全局空间关系我们采用一种空 间增强模块，空间增强模块的用公式定义如下：
Figure 916207DEST_PATH_IMAGE001
这里假设整个特征图用
Figure 3
来表示，其中
Figure 684760DEST_PATH_IMAGE003
和
Figure 735893DEST_PATH_IMAGE004
表示特征映射中的单个向量； 可以理解成特征图中每个通道相同位置的值组成的一个向量，单个向量的大小是C×1×1；
其中
这里、
Figure 823114DEST_PATH_IMAGE006
；
Figure 87874DEST_PATH_IMAGE007
和
Figure 309908DEST_PATH_IMAGE008
是在网络训练阶段可以学习的权重矩阵。
Figure 456855DEST_PATH_IMAGE009
的具体实施步骤是：首先特征映射X分别通过一个1×1的卷积生成
Figure 422537DEST_PATH_IMAGE010
和
Figure 535943DEST_PATH_IMAGE011
，接着
Figure 991196DEST_PATH_IMAGE012
和
Figure 828702DEST_PATH_IMAGE013
经过形状转换和转置操作分别生成
Figure 332495DEST_PATH_IMAGE014
和
Figure 306267DEST_PATH_IMAGE015
两个矩 阵；最后上面两个矩阵经过矩阵相乘操作生成尺寸为
Figure 870104DEST_PATH_IMAGE016
的矩阵；然后再转换成
Figure 991644DEST_PATH_IMAGE017
形状的矩阵；
Figure 299128DEST_PATH_IMAGE018
操作完成；
Figure 392986DEST_PATH_IMAGE018
操作完成后，生成一个
Figure 127724DEST_PATH_IMAGE019
形状的矩阵；然后经过一个ReLu激活函数；至此 完成空间特征增强模块定义的公式中
Figure 674243DEST_PATH_IMAGE020
全部操作。
由于仅仅依靠空间关系会导致片面的判断，因此，进一步将空间关系特征映射与 原始特征映射X融合如下:
Figure 519839DEST_PATH_IMAGE021
；这里只使用一个按通道方向的连接操作，即， [·，·]，用空间关系增强原有特征；这样，输出特征不仅拥有丰富的全局空间关系，同时保 留了高级语义特征；最后得到
Figure 530521DEST_PATH_IMAGE022
。
在构建通道增强模块中，是通过以下公式来定义通道增强的操作：
Figure 436160DEST_PATH_IMAGE023
里面的
Figure 407658DEST_PATH_IMAGE024
代表输入的特征图，
Figure 56945DEST_PATH_IMAGE025
和
Figure 63078DEST_PATH_IMAGE026
分别代表X中的第i个和第j个通道的 特征映射。
被定义如下：
Figure 157197DEST_PATH_IMAGE027
其中的GAP（）操作是加在每个通道上的全局平均池化，主要为了捕捉特征映射的全局 关系；当有C个通道的特征映射经过全局平均池化后，尺寸变成C×1×1.相当于每个通道保 存一个实数，我们可以把这个实数理解为这个通道的一个描述符；
Figure 412729DEST_PATH_IMAGE028
的具体实施步骤是： 首先特征映射X经过一个全局平局池化GAP（），尺寸变成C×1×1；分别通过一个1×1的卷积 生成
Figure 865707DEST_PATH_IMAGE029
和
Figure 850980DEST_PATH_IMAGE030
，接着
Figure 98422DEST_PATH_IMAGE031
和
Figure 841250DEST_PATH_IMAGE032
经过向量叉乘生成
Figure 894657DEST_PATH_IMAGE033
一个矩阵；
Figure 672120DEST_PATH_IMAGE028
操作完成；
Figure 90463DEST_PATH_IMAGE028
操作完成后，生成一个形状的矩阵；然后经过一个softmax激活函数；至此完成通 道特征增强模块定义的公式中全部操作。
将通道特征增强后的特征映射与原始特征映射X融合策略：首先将形状转换成，然 后利用公式进行融合得到最后的
Figure 1
。
将构建的通道增强模块和构建的空间增强模块进行串联。串联规则是将空间特征 增强模块串联在通道特征增强模块，所以在通道增强模块中输出的
Figure 2
会作为空间特征增 强模块的输入；最后输出空间特征增强模块中所述的
Figure 381898DEST_PATH_IMAGE037
。然后对M3、M4、M5特征图分别进行 增强。得到AM3、AM4、AM。
图4为本发明提出的所述像素级预测模块示意图；
如图4所示，本发明实施例中，所述构建像素级预测模块；将特征增强模块的增强特征经过两个并行的卷积分支，分别形成分类函数和回归函数，其中分类函数用于预测图片的每个像素点的分类结果，回归函数用于预测每个像素点到边界框的参数。
通过增强后的特征AM3，AM4，AM5会经过两个并行的卷积分支，单个卷积分支由4个卷积层组成。其中一个分支用来分类，另一个用来回归；其中分类分支又包含两个分支一个是分类，另一个是中心度预测分支，分类分支最后输出一个W×H×C维的矩阵（这里的C表示类别数），来预测该特征图的每个像素点的分类结果；而中心度预测分支输出一个H×W×1的矩阵，以预测一个位置的“中心”(即为该位置到所属对象中心的距离)。中心度预测分支主要用来抑制检测到的低质量边界框，而不引入任何超参数；同样，回归分支最后会输出W×H×4的矩阵，以预测每个像素点预测到的边界框相关参数；其中W代表图片的宽，H代表图片的高。
利用像素级预测模块进行测试时，会直接得到每个输入进来的特征映射上的每一 个点的分类得分，这里设为
Figure 714791DEST_PATH_IMAGE038
；测试时，将中心度预测分支输出的中心度与相应的分类分 数相乘，计算最终得分(用于对检测到的边界框进行排序)；同时回归分支会为每个像素预 测一个
Figure 466846DEST_PATH_IMAGE039
=(l, t, r, b)参数，其中的四个参数分别表示像素点（x,y）四个边框的距离；通 过如下公式进行转换即可得到最后的矩形框：
Figure 226992DEST_PATH_IMAGE040
其中（x,y）表示像素点的坐标，
Figure 494025DEST_PATH_IMAGE041
表示最后预测的矩形框的左上角坐标，同理表示左下角坐标；通过这两个坐标得到最后的矩形预测结果。
在步骤400中，所述对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；具体包括：
步骤401，把特征提取模块、特征增强模块和预测模块进行连接；
步骤402，将预处理图片的数据信息输入至训练模型中，得到对应图片的防震锤边界框及分类信息；
步骤403，为预测值设置目标函数；
步骤404，利用训练数据输进网络通过对目标函数进行优化，实现端对端的训练。
其中，将预处理图片的训练数据，输进经过构建的神经网络模型，最后得到关于该图像缺陷防震锤和防震锤的边界框及分类的信息；具体为：
为预测值设立目标函数，在反向传播的过程中，最小化损失函数；将训练分类和回归损 失函数定义为：
Figure 237170DEST_PATH_IMAGE043
Figure 162357DEST_PATH_IMAGE044
代表分类损失，
Figure 854370DEST_PATH_IMAGE045
代表回归损失，表示正样本的数量，
Figure 318029DEST_PATH_IMAGE047
在这里取1；
Figure 419978DEST_PATH_IMAGE048
是 个指标函数，当
Figure 661603DEST_PATH_IMAGE049
>0，函数取1，否则取0；对于预测中心度的损失函数，采用公式：
Figure 139989DEST_PATH_IMAGE050
；
这个损失函数被加到分类和回归的损失上一起做优化，实现整体端到端的训练。
在步骤500中，所述对训练模型进行测试，实现对预处理图片中防震锤的目标检测和识别，具体包括：利用Tensorflow训练模型，并将训练模型固化，去除多余的参数，通过固化后的模型对预处理图片进行目标检测和缺陷识别。
本实施例中，利用Tensorflow训练模型。训练好之后使用官方模型固化工具，把模型固化，去除多余的参数。之后封装在windows10下使用。高效准确的实现高分辨率输电线路防震锤目标检测以及缺陷识别。
实施例二
基于与前述实施例中一种输电线路防震锤目标检测与缺陷识别方法同样的发明构思，本发明还提供一种输电线路防震锤目标检测与缺陷识别装置。
参见图5，一种输电线路防震锤目标检测与缺陷识别装置，包括：
图像采集单元601，用于获取防震锤图片；
图像预处理单元602，用于对防震锤图片进行预处理得到预处理图片；
模块构建单元603，用于构建特征提取模块、特征增强模块和像素级预测模块；
训练模型单元604，用于对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
检测识别单元605，用于将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
实施例一中的一种输电线路防震锤目标检测与缺陷识别方法的各种变化方式和具体实例同样适用于本实施例的一种输电线路防震锤目标检测与缺陷识别装置，通过前述对一种输电线路防震锤目标检测与缺陷识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种输电线路防震锤目标检测与缺陷识别装置，所以为了说明书的简洁，在此不再详述。
上述实施例为本发明的经典案例，但本发明的实施方式并不受上述实施例的限制。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化等，均应为等效的置换方式，都包含在本发明的保护范围之内。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (10)

1.一种输电线路防震锤目标检测与缺陷识别方法，其特征在于，包括以下步骤：
通过图像采集装置获取防震锤图片；
对防震锤图片进行预处理得到预处理图片；
构建特征提取模块、特征增强模块和像素级预测模块；
对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
2.根据权利要求1所述的方法，其特征在于，所述通过图像采集装置获取防震锤图片，具体包括：采用无人机和摄像装置相结合的拍摄方式，对输电线路上的防震锤进行拍摄得到防震锤图片。
3.根据权利要求1所述的方法，其特征在于，所述对防震锤图片进行预处理得到预处理图片；具体包括：对防震锤图片进行裁剪、旋转和缩放得到预处理图片。
4.根据权利要求1所述的方法，其特征在于，还包括，建立图片数据库，所述图片数据库为根据防震锤的缺陷规则建立图片数据库；其中防震锤的缺陷规则分为防震锤正常、防震锤锈蚀、防震锤锈蚀且破损；并且通过labelimg标注工具进行目标的标注；并将图片数据库中的数据集，分为训练集、测试集和验证集。
5.根据权利要求1所述的方法，其特征在于，所述构建特征提取模块；具体包括：
结合深度可分离卷积，分组卷积和深度可分离通道卷积的概念，提出分组模块和分组通道模块，将两个分组通道模块和一个分组模块进行组合，得到轻量型特征提取网络；输入图像经过特征提取网络，构建多尺度的特征融合结构；多尺度特征融合结构和轻量型特征提取网络共同构建特征提取模块。
6.根据权利要求1所述的方法，其特征在于，所述构建特征增强模块，包括通道增强模块和空间增强模块，将通道增强模块和空间增强模块通过串联的方式来组合成一个特征增强模块。
7.根据权利要求1所述的方法，其特征在于，所述构建像素级预测模块；将特征增强模块的增强特征经过两个并行的卷积分支，分别形成分类函数和回归函数，其中分类函数用于预测图片的每个像素点的分类结果，回归函数用于预测每个像素点到边界框的参数。
8.根据权利要求1所述的方法，其特征在于，所述对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；具体包括：
把特征提取模块、特征增强模块和预测模块进行连接；
将预处理图片的数据信息输入至训练模型中，得到对应图片的防震锤边界框及分类信息；
为预测值设置目标函数；
利用训练数据输进网络通过对目标函数进行优化；实现端对端的训练。
9.根据权利要求1所述的方法，其特征在于，所述对训练模型进行测试，实现对预处理图片中防震锤的目标检测和识别，具体包括：
利用Tensorflow训练模型，并将训练模型固化，去除多余的参数，通过固化后的模型对预处理图片进行目标检测和缺陷识别。
10.根据权利要求1-9中任一所述的方法提出一种输电线路防震锤目标检测与缺陷识别装置，其特征在于，包括：
图像采集单元，用于获取防震锤图片；
图像预处理单元，用于对防震锤图片进行预处理得到预处理图片；
模块构建单元，用于构建特征提取模块、特征增强模块和像素级预测模块；
训练模型单元，用于对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
检测识别单元，用于将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
CN201910671015.3A 2019-07-24 2019-07-24 一种输电线路防震锤目标检测与缺陷识别方法及装置 Pending CN110634127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910671015.3A CN110634127A (zh) 2019-07-24 2019-07-24 一种输电线路防震锤目标检测与缺陷识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910671015.3A CN110634127A (zh) 2019-07-24 2019-07-24 一种输电线路防震锤目标检测与缺陷识别方法及装置

Publications (1)

Publication Number Publication Date
CN110634127A true CN110634127A (zh) 2019-12-31

Family

ID=68969257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910671015.3A Pending CN110634127A (zh) 2019-07-24 2019-07-24 一种输电线路防震锤目标检测与缺陷识别方法及装置

Country Status (1)

Country Link
CN (1) CN110634127A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111211518A (zh) * 2020-02-20 2020-05-29 云南电网有限责任公司电力科学研究院 防震锤检修机器人
CN111401146A (zh) * 2020-02-26 2020-07-10 长江大学 一种无人机电力巡检方法、设备及存储介质
CN116229278A (zh) * 2023-05-10 2023-06-06 广东电网有限责任公司珠海供电局 一种输电线路防震锤锈蚀缺陷检测方法和系统
CN116342607A (zh) * 2023-05-30 2023-06-27 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
US20230238156A1 (en) * 2022-01-26 2023-07-27 North China Electric Power University Method and system for detecting typical object of transmission line based on unmanned aerial vehicle (uav) federated learning

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111211518A (zh) * 2020-02-20 2020-05-29 云南电网有限责任公司电力科学研究院 防震锤检修机器人
CN111401146A (zh) * 2020-02-26 2020-07-10 长江大学 一种无人机电力巡检方法、设备及存储介质
US20230238156A1 (en) * 2022-01-26 2023-07-27 North China Electric Power University Method and system for detecting typical object of transmission line based on unmanned aerial vehicle (uav) federated learning
CN116229278A (zh) * 2023-05-10 2023-06-06 广东电网有限责任公司珠海供电局 一种输电线路防震锤锈蚀缺陷检测方法和系统
CN116229278B (zh) * 2023-05-10 2023-08-04 广东电网有限责任公司珠海供电局 一种输电线路防震锤锈蚀缺陷检测方法和系统
CN116342607A (zh) * 2023-05-30 2023-06-27 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质
CN116342607B (zh) * 2023-05-30 2023-08-08 尚特杰电力科技有限公司 输电线缺陷的识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110378222B (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN110634127A (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
Chen et al. DenseLightNet: A light-weight vehicle detection network for autonomous driving
CN107392214B (zh) 一种基于全卷积分裂网络的目标检测方法
CN113392960A (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
CN110633738B (zh) 一种用于工业零件图像的快速分类方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN112270383B (zh) 一种基于全卷积神经网络的隧道大规模铆钉孔提取方法
CN112508099A (zh) 一种实时目标检测的方法和装置
CN112990325A (zh) 一种面向嵌入式实时视觉目标检测的轻型网络构建方法
CN114821408A (zh) 基于旋转目标检测的包裹位置实时检测方法、装置、设备和介质
CN117541587B (zh) 太阳能电池板缺陷检测方法、系统、电子设备及存储介质
CN114972780A (zh) 一种基于改进YOLOv5的轻量化目标检测网络
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN114170581B (zh) 基于深度监督的Anchor-Free交通标志检测方法
CN116030050A (zh) 基于无人机与深度学习的风机表面缺陷在线检测分割方法
Ouyang et al. Aerial target detection based on the improved YOLOv3 algorithm
CN118279272A (zh) 一种基于改进YOLOv8的钢板表面缺陷检测方法
Li et al. Object detection for uav images based on improved yolov6
CN113902793A (zh) 基于单视觉遥感影像端到端建筑物高度预测方法、系统和电子设备
CN117576591A (zh) 基于海面救援的无人机图像小目标检测算法
CN114494703B (zh) 一种智能车间场景目标轻量级语义分割方法
Huang et al. Real-time traffic sign detection model based on multi-branch convolutional reparameterization
Zhang et al. AE-FPN: adaptive enhance feature learning for detecting wire defects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191231

WD01 Invention patent application deemed withdrawn after publication