CN112287740B - 基于YOLOv3-tiny实现的输电线路的目标检测方法、装置、无人机 - Google Patents

基于YOLOv3-tiny实现的输电线路的目标检测方法、装置、无人机 Download PDF

Info

Publication number
CN112287740B
CN112287740B CN202010450441.7A CN202010450441A CN112287740B CN 112287740 B CN112287740 B CN 112287740B CN 202010450441 A CN202010450441 A CN 202010450441A CN 112287740 B CN112287740 B CN 112287740B
Authority
CN
China
Prior art keywords
image
detection
target
prediction result
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010450441.7A
Other languages
English (en)
Other versions
CN112287740A (zh
Inventor
史永祥
杨桂生
黄雍晫
蒋斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010450441.7A priority Critical patent/CN112287740B/zh
Publication of CN112287740A publication Critical patent/CN112287740A/zh
Application granted granted Critical
Publication of CN112287740B publication Critical patent/CN112287740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于YOLOv3‑tiny实现的输电线路的目标检测的方法、装置、无人机，获取输电线路的待检测的原始图像，原始图像中包含多个待检测的不同目标，原始图像由无人机巡检拍摄得到；按预设间隔剔除待检测的原始图像中行和/或列的像素数据得到输入图像；将输入图像输入YOLOv3‑tiny神经网络模型，YOLOv3‑tiny神经网络模型被配置为第一检测通路和第二检测通路；通过预设的、不同尺寸的先验框对第一检测通路、第二检测通路输出的特征图像进行预测评分得到第二预测结果；对目标性评分最高的先验框进行分类预测，得到目标性评分最高的先验框包含多个目标中各个目标的概率的预测结果，完成目标检测。实现了多目标检测，提高了检测精度。

Description

基于YOLOv3-tiny实现的输电线路的目标检测方法、装置、无 人机
技术领域
本发明涉及图像检测技术领域，具体涉及一种基于YOLOv3-tiny实现的输电线路的目标检测的方法、装置、无人机和计算机存储介质。
背景技术
对输电线路进行定期巡视检查，随时掌握和了解输电线路的运行情况以及线路周围环境和线路保护区的变化情况，是供电企业一项繁重的日常工作。人工巡检是一种传统的巡检方式，也是目前输电线路巡检的主要方式。由于输电线路走廊地形环境复杂，在一些条件恶劣如跨江跨河或高山峻岭地区，沿线部分区段几乎没有巡视道路，这种巡检方式劳动强度大、工作条件艰苦，输电线路的运行情况得不到及时反馈。
无人机巡检作为一种使用可见光及红外热像仪等巡检设备对输电线路进行巡视检查的全新巡检技术，具有迅速快捷、工作效率高、不受地域影响、巡检质量高、安全性高等优点。因此，无人机的应用是线路巡检智能化发展的有效解决方案。
然而，由于无人机所搭载的硬件设备处理能力的限制，无人机巡检很难实现实时性检测与多目标检测功能。现有的无人机巡检算法大多数针对单种目标，可以完成对绝缘子等较大目标的检测，对防震锤和耐张线夹等此类小目标的检测效果不佳。并且，在采用高级算法进行检测时，会增加硬件设备的数据处理量，导致检测效率低下。
因此，如何减小无人机硬件设备的数据处理量的同时，实现多目标检测，并保证检测精度成为亟待解决的技术问题。
发明内容
基于上述现状，本发明的主要目的在于提供一种基于YOLOv3-tiny实现的输电线路多目标检测的方法、装置、无人机和计算机存储介质，以减小硬件设备的数据处理量的同时，实现多目标检测，并保证检测精度。
为实现上述目的，本发明采用的技术方案如下：
根据第一方面，本发明实施例公开了一种基于YOLOv3-tiny实现的输电线路多目标检测方法，用于航拍无人机，该方法包括：
步骤S100，获取输电线路的待检测的原始图像，原始图像中包含多个待检测的不同目标，原始图像由无人机巡检拍摄得到；步骤S200，按预设间隔剔除待检测的原始图像中行和/或列的像素数据得到输入图像，其中，每个被剔除的行和/或列的像素数据有至少部分特征与相邻的未被剔除的行和/或列的像素数据特征关联；步骤S300，将输入图像输入YOLOv3-tiny神经网络模型，YOLOv3-tiny神经网络模型被配置为第一检测通路和第二检测通路，其中，第一检测通路用于检测全局特征，第二检测通路用于检测局部特征；全局特征的尺寸小于局部特征的尺寸，第一检测通路的预设位置通过上采样模块连接至第二检测通路的输入端，上采样模块用于将预设位置的特征图像变换为符合第二检测通路检测尺寸的特征图像；步骤S400，通过预设的、不同尺寸的先验框对第一检测通路输出的特征图像进行预测评分得到第一预测结果；通过预设的、不同尺寸的先验框对第二检测通路输出的特征图像进行预测评分得到第二预测结果；第一预测结果和第二预测结果表示各个先验框包含多个目标中一个目标的目标性评分；步骤S500，对目标性评分最高的先验框进行分类预测，得到目标性评分最高的先验框包含多个目标中各个目标的概率的预测结果，基于预测结果得到目标性评分最高的先验框所包含的目标，将先验框所包含的目标确定为检测出的目标，完成目标检测。
可选地，在步骤S300和步骤S400之间，还包括：步骤S310，通过第一组卷积层和池化层提取输入图像的初始输入特征图像，初始输入特征图像的尺寸为44*44；步骤S320，通过第二组卷积层和池化层提取原始输入特征图像的特征得到压缩后的输入特征图像，压缩后的输入特征图像的尺寸为22*22；步骤S330，将压缩后的输入特征图像送入第一检测通路，得到第一预测结果；步骤S340，将压缩后的输入特征图像通过上采样变换为44*44的尺寸大小的图像，并与原始输入特征图像连接后，送入第二检测通路，得到第二预测结果。
可选地，步骤S200包括：剔除待检测图像中所有奇数行和奇数列的像素数据得到输入图像；或者，剔除待检测图像中所有偶数行和偶数列的像素数据得到输入图像。
可选地，多目标的数目为3个；步骤S400包括：通过3种不同尺寸的先验框对第一检测通路输出的特征图像进行预测评分得到第一预测结果，第一预测结果为3种不同尺寸的先验框中各个先验框的目标性评分；通过另外3种不同尺寸的先验框对第二检测通路输出的特征图像进行预测评分得到第二预测结果，第二预测结果为另外3种不同尺寸的先验框中各个先验框的目标性评分。
可选地，在步骤S400中，第一预测结果为先验框在第一检测通路输出的特征图像中的位置坐标和尺寸大小；第二预测结果为先验框在第二检测通路输出的特征图像中的位置坐标和尺寸大小；
可选地，多目标包括：绝缘子、耐张线夹和防震锤。
可选地，步骤S500包括：分别计算目标性评分最高的先验框属于绝缘子、耐张线夹和防震锤的预测概率；将预测概率最高的目标确定为目标性评分最高的先验框所属的目标，完成多目标检测。
根据第二方面，本发明实施例公开了一种基于YOLOv3-tiny实现的输电线路多目标检测装置，用于航拍无人机，多目标检测装置包括：
原始图像获取模块，用于获取输电线路的待检测的原始图像，原始图像中包含多个待检测的不同目标，原始图像由无人机巡检拍摄得到；图像剔除模块，用于按预设间隔剔除待检测的原始图像中行和/或列的像素数据得到输入图像，其中，每个被剔除的行和/或列的像素数据有至少部分特征与相邻的未被剔除的行和/或列的像素数据特征关联；输入模块，用于将输入图像输入YOLOv3-tiny神经网络模型，YOLOv3-tiny神经网络模型被配置为第一检测通路和第二检测通路，其中，第一检测通路用于检测全局特征，第二检测通路用于检测局部特征；全局特征的尺寸大于局部特征的尺寸，第一检测通路的预设位置通过上采样模块连接至第二检测通路的输入端，上采样模块用于将预设位置的特征图像变换为符合第二检测通路检测尺寸的特征图像；预测评分模块，用于通过预设的、不同尺寸的先验框对第一检测通路输出的特征图像进行预测评分得到第一预测结果；通过预设的、不同尺寸的先验框对第二检测通路输出的特征图像进行预测评分得到第二预测结果；第一预测结果和第二预测结果表示各个先验框包含多目标中一个目标的目标性评分；预测分类模块，用于对目标性评分最高的先验框进行分类预测，得到目标性评分最高的先验框包含多目标中各个目标的概率的预测结果，以基于预测结果确定目标性评分最高的先验框所包含的目标；其中，预测结果为先验框包含多个目标中各个目标的概率。
根据第三方面，本发明实施例公开了一种航拍无人机，包括：
图像采集设备，用于对输电线路采集图像得到待检测的原始图像；处理器，与图像采集设备连接，用于执行程序实现上述第一方面任意公开的方法。
根据第四方面，本发明实施例公开了一种计算机存储介质，其上存储有计算机程序，计算机程序用于被执行实现上述第一方面任意公开的方法。
依据本发明实施例公开的一种基于YOLOv3-tiny实现的输电线路目标检测的方法、装置、无人机和计算机存储介质，在获取待检测的原始图像后，按预设间隔剔除待检测图像中行和/或列的像素数据得到输入图像，从而减小了多目标检测的数据处理量，也就是减小硬件设备的数据处理量；而每个被剔除的行和/或列的像素数据有至少部分特征与相邻的未被剔除的行和/或列的像素数据特征相关，因此，能够基于相邻的像素数据来获得被剔除的像素数据特征，在减小数据处理量的同时，数据信息尽可能少地丢失，从而保证检测精度；并且，YOLOv3-tiny神经网络模型被配置为第一检测通路和第二检测通路，第一检测通路用于检测全局特征，第二检测通路用于检测局部特征，而第一检测通路的预设位置通过上采样模块连接至第二检测通路的输入端，使得第二检测通入能够融合全局特征，因此，在将输入图像输入YOLOv3-tiny神经网络模型后，一方面能够通过第一检测通路检测全局特征，另一方面，第二检测通路在进行局部特征检测时，也融合了全局特征，使得在通过不同先验框预测评分以及分类预测时，能够综合全局特征和局部特征来确定各个目标，实现了多目标检测，提高了检测精度。
作为可选的方案，通过不同组的卷积层和池化层来提取输入图像的输入特征图像，可以进一步压缩检测图像的尺寸，减小数据处理量。
作为可选的方案，剔除待检测图像中所有奇数行和奇数列的像素数据得到输入图像；或者，剔除待检测图像中所有偶数行和偶数列的像素数据得到输入图像。可以将数据处理量减小一半左右。
作为可选的方案，通过3种不同尺寸的先验框对第一检测通路输出的特征图像进行预测评分得到第一预测结果，通过另外3种不同尺寸的先验框对第二检测通路输出的特征图像进行预测评分得到第二预测结果，从而实现了多目标的全局特征、局部特征的预测评分，也就是能够实现多目标的检测。
本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
以下将参照附图对根据本发明实施例进行描述。图中：
图1为本实施例公开的一种基于YOLOv3-tiny实现的输电线路多目标检测方法流程图；
图2为本实施例公开的一种YOLOv3-tiny神经网络模型结构示意图；
图3为本实施例公开的一种sigmoid函数的取值示意图；
图4为本实施例公开的一种神经网络训练的输入样本示意图。
具体实施方式
为了减小硬件设备的数据处理量的同时，实现多目标检测，本实施例公开了一种基于YOLOv3-tiny实现的输电线路多目标检测方法，用于航拍无人机，请参考图1，为本实施例公开的一种基于YOLOv3-tiny实现的输电线路多目标检测方法流程图，该多目标检测方法包括：
步骤S100，获取输电线路的待检测的原始图像。本实施例中，原始图像中包含多个待检测的不同目标，所称待检测的原始图像由无人机针对输电线路巡检拍摄得到。在具体实施过程中，无人机可以使用可见光及红外热像仪等巡检设备对输电线路进行巡视，拍摄得到包含多个目标的待检测的原始图像。本实施例中，待检测的原始图像所包含的多个目标可以是绝缘子、耐张线夹和防震锤，其中，绝缘子为较大的目标部件，防震锤和耐张线夹为小目标部件。
在具体实施例中，在采集到原始图像后、输入YOLOv3-tiny神经网络模型之前，可以对图像进行缩放，以减少图像数据处理量，举例而言，无论无人机巡检拍摄到的原始图像的尺寸为多少，在进行特征提取之前，模型可根据设定的图像尺寸修改需求，将原始图像按照纵横比缩放为1024×1024。缩放规则为将原始图像的较长边缩放为需要的输入尺寸1024，短边则按同比例进行缩放，从而使图像在缩放前后不会发生扭曲，而后将剩下的区域进行填充，保证缩放后的图像尺寸为1024×1024固定大小。例如本模型所用原始图像的尺寸为2048×2048，则原图缩放后宽高尺寸为1024×857，为了将其构造为1024×1024尺寸大小，剩下的灰色区域将用(128,128,128)进行填充，保证输入图像尺寸为1024×1024固定大小。
步骤S200，按预设间隔剔除待检测的原始图像中行和/或列的像素数据得到输入图像。通过剔除待检测图像中行和/或列的像素数据得到输入图像，可以使得输入YOLOv3-tiny神经网络模型的数据量减小，由此，减小硬件设备的数据处理量。因为每个被剔除的行和/或列的像素数据有至少部分特征与相邻的未被剔除的行和/或列的像素数据特征关联，减小了因被剔除的行和/或列的像素数据的特征丢失所带来的影响。
在可选的实施例中，可以剔除待检测图像中所有奇数行和奇数列的像素数据得到输入图像；或者，剔除待检测图像中所有偶数行和偶数列的像素数据得到输入图像。具体地，使用高斯金字塔进行图像下采样，首先对图像进行高斯内核卷积，然后将所有偶数(也可以是奇数)行和列去除，也就是采用高斯下采样。使用高斯下采样能够在降低图像分辨率的同时对图像轮廓细节有较少的损失。卷积神经网络的预测准确度与训练图像尺寸大小以及卷积感受野(即卷积核)大小有很强的联系。输入图像越大，提取特征所需要的卷积层以及池化层就越多，网络模型也就越庞大。经过本发明人的实验证明，输入图像尺寸为2048×2048时输出精度反而不如输入图像尺寸为1024×1024时高，而且运算所占用显存明显增加。本实施例中，一方面减少特征提取的卷积层数量，另一方面，通过提升卷积核感受野来使得降低图像的尺寸对于特征提取没有影响，也就是通过更广范围的特征来弥补卷积层数量的减少。
步骤S300，将输入图像输入YOLOv3-tiny神经网络模型。请参考图2，为本实施例公开的一种YOLOv3-tiny神经网络模型结构示意图，本实施例中，YOLOv3-tiny神经网络模型被配置为第一检测通路和第二检测通路，其中，第一检测通路用于检测全局特征，第二检测通路用于检测局部特征。全局特征的尺寸大于局部特征的尺寸，第一检测通路的预设位置通过上采样模块连接至第二检测通路的输入端，上采样模块用于将预设位置的特征图像变换为符合第二检测通路检测尺寸的特征图像。请参考图2，第一检测通路的输出Scale_1的尺寸为22*22，第二检测通路的输出Scale_2的尺寸为44*44。具体地，通过改进YOLOv3-tiny为二尺度输出网络，采用多尺度对不同尺寸的目标进行检测。其主干网络为7层卷积层和6层池化层交替构建的网络，用于特征提取。其中卷积层使用卷积核尺寸为3×3和1×1。池化层为最大池化操作，尺寸均为2×2，除最后一层池化层的步长为1之外，其余5层池化层的步长为2，每经过一次步长为2的池化层，特征图边长尺寸会变为原来的二分之一。模型使用上采样(Upsample)方式来实现二尺度输出特征图，对于22×22和44×44两种尺度的特征图在拼接(Concat)之前，通过上采样来保证拼接张量相同。因此，最终的特征图输出为两种尺度，图2为模型训练过程中，输入尺寸为704×704情况下的模型结构图，二尺度输出为22×22和44×44。在图像检测情况下，输入尺寸为1024×1024，二尺度输出尺寸为32×32和64×64。本实施例中，通过第一检测通路的输出Scale_1可以进行较大目标的先验框预测，通过第二检测通路的输出Scale_2可以进行较小目标的先验框预测。
步骤S400，通过预设的、不同尺寸的先验框对第一检测通路输出的特征图像进行预测评分得到第一预测结果；通过预设的、不同尺寸的先验框对第二检测通路输出的特征图像进行预测评分得到第二预测结果。本实施例中，第一预测结果和第二预测结果表示各个先验框包含多个目标中一个目标的目标性评分。
在具体实施例中，多目标的数目为3个；通过3种不同尺寸的先验框对第一检测通路输出的特征图像进行预测评分得到第一预测结果，第一预测结果为3种不同尺寸的先验框中各个先验框的目标性评分；通过另外3种不同尺寸的先验框对第二检测通路输出的特征图像进行预测评分得到第二预测结果，第二预测结果为另外3种不同尺寸的先验框中各个先验框的目标性评分。具体而言，在每种尺度下进行边框(bounding box)预测，每种特征图的每个网格针对3种不同尺寸的先验框进行预测，二尺度情况下总共会生成6种预测结果。
步骤S500，对目标性评分最高的先验框进行分类预测。本实施例中，通过对目标性评分最高的先验框进行分类预测，来得到目标性评分最高的先验框包含多个目标中各个目标的概率的预测结果，由此，可以基于预测结果确定目标性评分最高的先验框所包含的目标，从而完成多目标检测。本实施例中，预测结果为先验框包含多个目标中各个目标的概率。
在具体实施例中，分别计算目标性评分最高的先验框属于绝缘子、耐张线夹和防震锤的预测概率；将预测概率最高的目标确定为目标性评分最高的先验框所属的目标，完成目标检测。
请参考图1和图2，在可选的实施例中，在步骤S300和步骤S400之间，还包括：
步骤S310，通过第一组卷积层和池化层提取输入图像的初始输入特征图像，初始输入特征图像的尺寸为44*44。
步骤S320，通过第二组卷积层和池化层提取原始输入特征图像的特征得到压缩后的输入特征图像，压缩后的输入特征图像的尺寸为22*22。
步骤S330，将压缩后的输入特征图像送入第一检测通路，得到第一预测结果。具体地，请参考图2，在压缩得到尺寸为22*22的输入特征图像后，可以将该输入特征图像直接送入第一检测通路，通过第一检测通路对尺寸为22*22的输入特征图像进行先验预测得到第一预测结果。
步骤S340，将压缩后的输入特征图像通过上采样变换为44*44的尺寸大小的图像，并与初始输入特征图像连接后，送入第二检测通路，得到第二预测结果。
在具体实施例中，在步骤S400中，第一预测结果为先验框在第一检测通路输出的特征图像中的位置坐标和尺寸大小；第二预测结果为先验框在第二检测通路输出的特征图像中的位置坐标和尺寸大小。
为便于本领域技术人员理解，以下具体描述预测评分、分类预测的过程，具体地，可以采用如下边框预测公式来直接预测相对位置：
bx＝σ(tx)+cx
by＝σ(ty)+cy
Figure BDA0002507497460000081
Figure BDA0002507497460000082
其中，bx、by、bw、bh为预测框相对于特征图的位置坐标和尺寸大小；σ()为Sigmod函数；tx、ty、tw、th为模型训练时的预测输出，在模型训练过程中用真实框来求这4个坐标。cx、cy表示网格在特征图上相对于左上角的坐标，每个网格在特征图中的宽和高均为1。pw、ph表示先验框的宽和高。
其中预选的6个先验框使用k-means聚类方法生成，k-means聚类的具体方法为：
1.从标注完成训练集数据中随机选取6个聚类中心点，聚类中心的格式为(wi,hi)，其中(wi,hi)分别为第i个先验框的宽和高；
2.使用距离公式计算每个标注框到聚类中心点的距离，将其归并到距离最近的聚类中心，直至所有标注框完成簇的划分；
3.计算每个簇中所有所属标注框的宽和高的平均值，作为新的聚类中心点，将新的聚类中心点与原聚类中心点进行差值比较；
4.重复执行2、3步操作，直至聚类中心点的差值小于设定阈值。
k-means聚类的距离公式为：
d(box,centroid)＝1-IOU(box,centroid)
IOU(box,centroid)指标注框与聚类中心点的交并比，此距离公式保证了标注框与聚类中心点的距离越小，交并比越大，满足聚类的目的。本实施例中，使用交并比对每个先验框包围的部分进行目标性评分，也就是，求先验框与真实框的交并比，交并比越大，评分越大，由此，可以从6个先验框中选出目标性评分最高的那个先验框。
对目标性评分最高的先验框进行类别预测，完成多类别同步检测任务，最后输出检测结果。
通过在网络中的两个不同尺度的特征图上应用检测网格来实现目标检测。每个检测网格需要预测(B×(C+5))个信息值，这里B是特征检测图网格预设的先验框个数，即每个网格可以预测目标物体边界框的数量，B在本实例中为3。“5”表示4个边界框属性x,y,w,h和目标物体置信度。C是所有目标物体类别的数量，每个网格都要预测C个目标物体的概率：Pr(classi|object)，即在一个网格包含目标物体(object)的前提下，它属于某个类别classi的概率，即需要对每个类别都进行相应的概率计算，从而实现多个类别的同时预测。本实例是针对绝缘子、耐张线夹和防震锤3类目标的检测，因此C在本实例中为3。
具体地，可以采用Logistic回归来计算Pr(classi|object)，Logistic回归用到sigmoid函数，公式为：
Figure BDA0002507497460000101
请参考图3，为本实施例公开的一种sigmoid函数的取值示意图，由图3可知sigmoid函数的取值在[0，1]之间，在远离0的地方函数的值会很快接近0或者1，这个特性对其解决二分类问题十分重要。
需要说明的是，在模型进行图像检测之前，需要使用标注数据集对改进后模型进行训练，使模型具备对绝缘子、耐张线夹和防震锤3类部件的检测功能。本发明实施例为针对输电线路上的绝缘子、耐张线夹和防震锤3类目标进行检测，图像输入为无人机巡检获取的图像。改进YOLOv3-tiny模型的训练步骤为：
1)获取巡检无人机历史采集图像，对图像进行数据增强，使用LabelImg标注工具对输电线路上的多类部件进行手工标注，制作数据集；
2)搭建YOLOv3-tiny模型并对模型进行针对性改进；
3)设置合理的模型训练迭代次数以及学习率，初始化模型参数，导入数据集对改进后的YOLOv3-tiny模型进行训练；
步骤1)中，获取巡检无人机历史采集图像908张，制作用于模型训练的数据集。对图像进行数据增强的主要操作为：翻转、旋转、缩放、对比度增强。使用LabelImg标注工具对绝缘子、耐张线夹和防震锤3类部件进行手工标注，得到标注数据格式为xml格式，将数据集图像及对应的xml文件按照PascalVOC数据集格式进行组织存放，然后根据数据集情况，构建合理的训练集和测试集，如图4所示，图4为本实施例公开的一种神经网络训练的输入样本示意图。
步骤2)中，改进的YOLOv3-tiny模型的网络结构如图2所示，训练过程中，模型输入尺寸为704×704，输出为二尺度。此网络结构是为3类部件检测的结构例图，根据输出张量的计算公式为N×N×[3×(5+class)]，因此二尺度输出张量分别为22×22×24及44×44×24。
步骤3)中，在本实施例中，设置的训练迭代次数为1000次，学习率设置为0.001，初始化模型参数后，导入训练集对改进后的YOLOv3-tiny模型进行训练。
依据本发明实施例公开的一种基于YOLOv3-tiny实现的输电线路多目标检测方法，在获取待检测的原始图像后，按预设间隔剔除待检测图像中行和/或列的像素数据得到输入图像，从而减小了多目标检测的数据处理量，也就是减小硬件设备的数据处理量；而被剔除的行和/或列的像素数据至少有部分特征与相邻的未被剔除的行和/或列的像素数据特征相关，因此，能够基于相邻的像素数据来获得被剔除的像素数据特征；并且，YOLOv3-tiny神经网络模型被配置为第一检测通路和第二检测通路，第一检测通路用于检测全局特征，第二检测通路用于检测局部特征，而第一检测通路的预设位置通过上采样模块连接至第二检测通路的输入端，使得第二检测通入能够融合全局特征，因此，在将输入图像输入YOLOv3-tiny神经网络模型后，一方面能够通过第一检测通路检测全局特征，另一方面，第二检测通路在进行局部特征检测时，也融合了全局特征，使得在通过不同先验框预测评分以及分类预测时，能够综合全局特征和局部特征来确定各个目标，实现了多目标检测，提高了检测精度。
本实施例还公开了一种基于YOLOv3-tiny实现的输电线路多目标检测装置，用于航拍无人机，多目标检测装置包括：原始图像获取模块101图像剔除模块103输入模块105预测评分模块107和预测分类模块109，其中：
原始图像获取模块101用于获取输电线路的待检测的原始图像，原始图像中包含多个待检测的不同目标，原始图像由无人机巡检拍摄得到；图像剔除模块103用于按预设间隔剔除待检测的原始图像中行和/或列的像素数据得到输入图像，其中，每个被剔除的行和/或列的像素数据有至少部分特征与相邻的未被剔除的行和/或列的像素数据特征关联；输入模块105用于将输入图像输入YOLOv3-tiny神经网络模型，YOLOv3-tiny神经网络模型被配置为第一检测通路和第二检测通路，其中，第一检测通路用于检测全局特征，第二检测通路用于检测局部特征；全局特征的尺寸大于局部特征的尺寸，第一检测通路的预设位置通过上采样模块连接至第二检测通路的输入端，上采样模块用于将预设位置的特征图像变换为符合第二检测通路检测尺寸的特征图像；预测评分模块107用于通过预设的、不同尺寸的先验框对第一检测通路输出的特征图像进行预测评分得到第一预测结果；通过预设的、不同尺寸的先验框对第二检测通路输出的特征图像进行预测评分得到第二预测结果；第一预测结果和第二预测结果表示各个先验框包含多个目标中一个目标的目标性评分；预测分类模块109用于对目标性评分最高的先验框进行分类预测，得到目标性评分最高的先验框包含多目标中各个目标的概率的预测结果，以基于预测结果确定目标性评分最高的先验框所包含的目标；其中，预测结果为先验框包含多个目标中各个目标的概率。
本实施例还公开了一种无人机，包括：图像采集设备和处理器，其中：
图像采集设备用于对输电线路采集图像得到待检测的原始图像；处理器与图像采集设备连接，用于实现上述任意实施例公开的多目标检测方法。
本实施例还公开了一种计算机存储介质，其上存储有计算机程序，计算机程序用于被执行实现上述任意实施例公开的多目标检测方法。
依据本发明实施例公开的一种基于YOLOv3-tiny实现的输电线路目标检测的方法、装置、无人机和计算机存储介质，在获取待检测的原始图像后，按预设间隔剔除待检测图像中行和/或列的像素数据得到输入图像，从而减小了多目标检测的数据处理量，也就是减小硬件设备的数据处理量；而每个被剔除的行和/或列的像素数据有至少部分特征与相邻的未被剔除的行和/或列的像素数据特征相关，因此，能够基于相邻的像素数据来获得被剔除的像素数据特征，在减小数据处理量的同时，数据信息尽可能少地丢失，从而保证检测精度；并且，YOLOv3-tiny神经网络模型被配置为第一检测通路和第二检测通路，第一检测通路用于检测全局特征，第二检测通路用于检测局部特征，而第一检测通路的预设位置通过上采样模块连接至第二检测通路的输入端，使得第二检测通入能够融合全局特征，因此，在将输入图像输入YOLOv3-tiny神经网络模型后，一方面能够通过第一检测通路检测全局特征，另一方面，第二检测通路在进行局部特征检测时，也融合了全局特征，使得在通过不同先验框预测评分以及分类预测时，能够综合全局特征和局部特征来确定各个目标，实现了多目标检测，提高了检测精度。
本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。
应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。

Claims (10)

1.一种基于YOLOv3-tiny实现的输电线路的目标检测方法，用于航拍无人机，其特征在于，所述方法包括：
步骤S100，获取输电线路的待检测的原始图像，所述原始图像中包含多个待检测的不同目标，所述原始图像由无人机巡检拍摄得到；
步骤S200，按预设间隔剔除所述待检测的原始图像中行和/或列的像素数据得到输入图像，其中，每个被剔除的行和/或列的像素数据有至少部分特征与相邻的未被剔除的行和/或列的像素数据特征关联；
步骤S300，将所述输入图像输入YOLOv3-tiny神经网络模型，所述YOLOv3-tiny神经网络模型被配置为第一检测通路和第二检测通路，其中，所述第一检测通路用于检测全局特征，所述第二检测通路用于检测局部特征；所述全局特征的尺寸大于所述局部特征的尺寸，所述第一检测通路的预设位置通过上采样模块连接至所述第二检测通路的输入端，所述上采样模块用于将所述预设位置的特征图像变换为符合所述第二检测通路检测尺寸的特征图像；
步骤S400，通过预设的、不同尺寸的先验框对所述第一检测通路输出的特征图像进行预测评分得到第一预测结果；通过预设的、不同尺寸的先验框对所述第二检测通路输出的特征图像进行预测评分得到第二预测结果；所述第一预测结果和第二预测结果表示各个先验框包含多个目标中一个目标的目标性评分；
步骤S500，对所述目标性评分最高的先验框进行分类预测，得到所述目标性评分最高的先验框包含所述多个目标中各个目标的概率的预测结果，基于所述预测结果得到所述目标性评分最高的先验框所包含的目标，将所述先验框所包含的目标确定为检测出的目标，完成所述目标检测。
2.如权利要求1所述的目标检测方法，其特征在于，在所述步骤S300和步骤S400之间，还包括：
步骤S310，通过第一组卷积层和池化层提取所述输入图像的初始输入特征图像，所述初始输入特征图像的尺寸为44*44；
步骤S320，通过第二组卷积层和池化层提取所述初始输入特征图像的特征得到压缩后的输入特征图像，所述压缩后的输入特征图像的尺寸为22*22；
步骤S330，将所述压缩后的输入特征图像送入所述第一检测通路；
步骤S340，将所述压缩后的输入特征图像通过上采样模块变换为44*44的尺寸大小的图像，并与所述初始输入特征图像连接后，送入所述第二检测通路。
3.如权利要求1所述的目标检测方法，其特征在于，所述步骤S200包括：
剔除所述待检测图像中所有奇数行和奇数列的像素数据得到所述输入图像；或者，
剔除所述待检测图像中所有偶数行和偶数列的像素数据得到所述输入图像。
4.如权利要求1所述的目标检测方法，其特征在于，所述多个目标的数目为3个；
所述步骤S400包括：
通过3种不同尺寸的先验框对所述第一检测通路输出的特征图像进行预测评分得到第一预测结果，所述第一预测结果为所述3种不同尺寸的先验框中各个先验框的目标性评分；
通过另外3种不同尺寸的先验框对所述第二检测通路输出的特征图像进行预测评分得到第二预测结果，所述第二预测结果为所述另外3种不同尺寸的先验框中各个先验框的目标性评分。
5.如权利要求1所述的目标检测方法，其特征在于，在所述步骤S400中，
所述第一预测结果为先验框在所述第一检测通路输出的特征图像中的位置坐标和尺寸大小；
所述第二预测结果为先验框在所述第二检测通路输出的特征图像中的位置坐标和尺寸大小。
6.如权利要求1-5任意一项所述的目标检测方法，其特征在于，所述多个目标包括：绝缘子、耐张线夹和防震锤。
7.如权利要求6所述的目标检测方法，其特征在于，所述步骤S500包括：
分别计算所述目标性评分最高的先验框属于绝缘子、耐张线夹和防震锤的预测概率；
将所述预测概率最高的目标确定为所述目标性评分最高的先验框所属的目标，完成所述目标检测。
8.一种基于YOLOv3-tiny实现的输电线路的目标检测装置，用于航拍无人机，其特征在于，所述目标检测装置包括：
原始图像获取模块(101)，用于获取输电线路的待检测的原始图像，所述原始图像中包含多个待检测的不同目标，所述原始图像由无人机巡检拍摄得到；
图像剔除模块(103)，用于按预设间隔剔除所述待检测的原始图像中行和/或列的像素数据得到输入图像，其中，每个被剔除的行和/或列的像素数据有至少部分特征与相邻的未被剔除的行和/或列的像素数据特征关联；
输入模块(105)，用于将所述输入图像输入YOLOv3-tiny神经网络模型，所述YOLOv3-tiny神经网络模型被配置为第一检测通路和第二检测通路，其中，所述第一检测通路用于检测全局特征，所述第二检测通路用于检测局部特征；所述全局特征的尺寸大于所述局部特征的尺寸，所述第一检测通路的预设位置通过上采样模块连接至所述第二检测通路的输入端，所述上采样模块用于将所述预设位置的特征图像变换为符合所述第二检测通路检测尺寸的特征图像；
预测评分模块(107)，用于通过预设的、不同尺寸的先验框对所述第一检测通路输出的特征图像进行预测评分得到第一预测结果；通过预设的、不同尺寸的先验框对所述第二检测通路输出的特征图像进行预测评分得到第二预测结果；所述第一预测结果和第二预测结果表示各个先验框包含多个目标中一个目标的目标性评分；
预测分类模块(109)，用于对所述目标性评分最高的先验框进行分类预测，得到所述目标性评分最高的先验框包含所述多个目标中各个目标的概率的预测结果，以基于所述预测结果确定所述目标性评分最高的先验框所包含的目标；其中，所述预测结果为先验框包含所述多个目标中各个目标的概率。
9.一种无人机，其特征在于，包括：
图像采集设备，用于对输电线路采集图像得到待检测的原始图像；
处理器，与所述图像采集设备连接，用于实现如权利要求1-7任意一项所述的方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于被执行实现如权利要求1-7任意一项所述的方法。
CN202010450441.7A 2020-05-25 2020-05-25 基于YOLOv3-tiny实现的输电线路的目标检测方法、装置、无人机 Active CN112287740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450441.7A CN112287740B (zh) 2020-05-25 2020-05-25 基于YOLOv3-tiny实现的输电线路的目标检测方法、装置、无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450441.7A CN112287740B (zh) 2020-05-25 2020-05-25 基于YOLOv3-tiny实现的输电线路的目标检测方法、装置、无人机

Publications (2)

Publication Number Publication Date
CN112287740A CN112287740A (zh) 2021-01-29
CN112287740B true CN112287740B (zh) 2022-08-30

Family

ID=74419674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450441.7A Active CN112287740B (zh) 2020-05-25 2020-05-25 基于YOLOv3-tiny实现的输电线路的目标检测方法、装置、无人机

Country Status (1)

Country Link
CN (1) CN112287740B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740463A (zh) * 2018-12-21 2019-05-10 沈阳建筑大学 一种车载环境下的目标检测方法
CN110852190A (zh) * 2019-10-23 2020-02-28 华中科技大学 一种融合目标检测与手势识别的驾驶行为识别方法及系统
CN110991311A (zh) * 2019-11-28 2020-04-10 江南大学 一种基于密集连接深度网络的目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740463A (zh) * 2018-12-21 2019-05-10 沈阳建筑大学 一种车载环境下的目标检测方法
CN110852190A (zh) * 2019-10-23 2020-02-28 华中科技大学 一种融合目标检测与手势识别的驾驶行为识别方法及系统
CN110991311A (zh) * 2019-11-28 2020-04-10 江南大学 一种基于密集连接深度网络的目标检测方法

Also Published As

Publication number Publication date
CN112287740A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN109522966B (zh) 一种基于密集连接卷积神经网络的目标检测方法
CN111145174B (zh) 基于图像语义特征进行点云筛选的3d目标检测方法
CN111161349B (zh) 物体姿态估计方法、装置与设备
CN111797829A (zh) 一种车牌检测方法、装置、电子设备和存储介质
CN111738206B (zh) 基于CenterNet的用于无人机巡检的挖掘机检测方法
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
CN113759338B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114548606B (zh) 一种气旋强度预测模型的构建方法及气旋强度预测方法
CN115546223A (zh) 一种列车车下设备紧固螺栓的缺失检测方法和系统
CN115984537A (zh) 图像处理方法、装置及相关设备
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN117495735B (zh) 一种基于结构引导的建筑物立面纹理自动修复方法及系统
CN111914596A (zh) 车道线检测方法、装置、系统及存储介质
CN116503398B (zh) 绝缘子污闪检测方法、装置、电子设备及存储介质
CN112287740B (zh) 基于YOLOv3-tiny实现的输电线路的目标检测方法、装置、无人机
CN114913519B (zh) 一种3d目标检测方法、装置、电子设备及存储介质
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
JP4963824B2 (ja) 変化領域抽出装置及び変化領域抽出方法
CN114821165A (zh) 一种轨道检测图像采集分析方法
CN114882490A (zh) 一种基于点引导定位的无受限场景车牌检测分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210508

Address after: No.27, junqian street, Changzhou City, Jiangsu Province, 213000

Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. CHANGZHOU POWER SUPPLY BRANCH

Applicant after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

Applicant after: STATE GRID CORPORATION OF CHINA

Address before: No.27, junqian street, Changzhou City, Jiangsu Province, 213000

Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. CHANGZHOU POWER SUPPLY BRANCH

Applicant before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd.

Applicant before: STATE GRID CORPORATION OF CHINA

Applicant before: CHANGZHOU CAMPUS OF HOHAI University

GR01 Patent grant
GR01 Patent grant