CN113537119B - 基于改进Yolov4-tiny的输电线路连接部件检测方法 - Google Patents

Abstract

本发明公开了一种基于改进Yolov4‑tiny的输电线路连接部件检测方法，采集输电线路无人机航拍图像的原始数据集，进行预处理，建立目标数据集；对目标数据集进行K‑means聚类分析，得到重新聚类的预设锚框值；改进Yolov4‑tiny网络，加入ResNet‑D模块和Res‑CBAM模块；结合现有的Yolov4‑tiny方法，采用ResNet‑D模块替换CSPOSABlock模块，在改进的主干网络以残差连接方式结合设计的Res‑CBAM模块，以保证模型识别的准确性和高效性。利用目标数据集以及重新聚类的预设锚框值，对改进Yolov4‑tiny网络进行训练。结合实际电力巡检场景收集的大量图像，对本发明方法识别速度和精度进行测试验证，实验结果表明，本发明检测方法能达到现有Yolov4‑tiny模型的检测效果，且在识别速度上快约13％，在GPU性能较弱的边缘设备上能够做到实时的效果。

Description

基于改进Yolov4-tiny的输电线路连接部件检测方法

技术领域

本发明属于输变电设备图像检测领域，具体涉及一种基于改进Yolov4-tiny的输电线路连接部件检测方法。

背景技术

电力系统作为关系国计民生的基础设施，其安全与可靠性对于现代社会是十分重要的。检测电力部件的工作状态是一项十分重要的工作，传统的人工检测方法需要人眼长期工作，且与相关人员的经验和工作时的工作状态有关，不能够实现持续监测和识别，系统的可靠性较差。为了维护电力设备的正常运行，不断提高电力系统的安全和可靠性，计算机视觉的相关算法已经开始广泛应用于电力行业中。

在电力场景中，巡检图像背景复杂，并且有较高的时效性要求。传统的目标检测算法主要采用人工设计的特征，如：Haar分类器、级联分类器(Cascade Classifier)、SIFT(Scale-invariant feature transform)、HOG(Histogram of Oriented Gradients)、DPM(Deformable Parts Model)、SVM(Support Vector Machines)等，或者将它们结合起来，手动选取的特征对于复杂实际应用场景中的变化没有很好的鲁棒性，而其基于滑动窗口的区域选择策略没有针对性，时间复杂度高且存在窗口冗余，影响了识别的精度和速度。

随着神经网络和人工智能技术的快速发展，传统的人工提取过程可以由深度学习实现。目前大多数深度学习的应用，都是通过构建海量标注训练数据和设计复杂的神经网络模型结构，通过模型结构的优化来提取更有用的特征，最终提高预测的准确性。其在语音识别、机器翻译、图像分类、语义分割、目标检测等任务都表现出了比较高的准确性。

在实际业务中，已经有大量基于深度学习的目标检测算法应用于电力巡检，比较流行的可以分为两大类，一类是two-stage的，即先搜寻目标框再进行分类和回归，如基于Region Proposal的R-CNN系算法，包括R-CNN，Fast R-CNN，Faster R-CNN等，精度比较高但是速度慢。另一类是one-stage的，仅仅使用一个CNN网络直接预测不同目标的类别和位置，如SSD、RetinaNet、RefineDet、YOLO(You Only Look Once)系列，虽然损失了一些精度但是能够做到实时检测。

传统的图像目标检测算法，不能有效的对电力部件进行定位，同时在干扰物较多的场景下识别准确率较低。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种基于改进Yolov4-tiny的输电线路连接部件检测方法，基于现有的Yolov4-tiny方法，针对应用场景更改预设锚框的大小，加入ResNet-D模块和Res-CBAM模块，最后在结果输出时，对预设锚框进行合并操作，优化模型的显示效果。

本发明采用如下的技术方案。

一种基于改进Yolov4-tiny的输电线路连接部件检测方法，所述检测方法包括步骤：

步骤1，采集输电线路无人机航拍图像的原始数据集，进行预处理，建立目标数据集；

步骤2，对目标数据集进行K-means聚类分析，得到重新聚类的预设锚框值；

步骤3，改进Yolov4-tiny网络，加入ResNet-D模块和Res-CBAM模块；

步骤4，利用目标数据集以及重新聚类的预设锚框值，对改进Yolov4-tiny网络进行训练；

步骤5，采用训练后的改进Yolov4-tiny网络，对输电线路连接部件进行检测。

进一步地，所述步骤1具体包括步骤：

步骤1.1，采集输电线路无人机航拍图像的原始数据集；

步骤1.2，对原始数据集中输电线路连接部件进行标注，得到目标图片；

步骤1.3，对目标图片进行裁剪和缩放预处理，得到目标数据集。

进一步地，所述步骤1.3中，

假设设定的最大边长尺寸为l，原目标图片的宽高为w和h，则缩放后的目标图片的宽高w_new和h_new为：

w_new＝w*min(l/w,l/h)

h_new＝h*min(l/w,l/h)。

进一步地，所述步骤3具体包括步骤：

步骤3.1，设计ResNet-D网络结构；

步骤3.2，设计Res-CBAM网络结构；

步骤3.3，改进主干网络结构，得到改进Yolov4-tiny网络。

进一步地，ResNet-D网络结构，包括输入层，输入层往下分为两条路径；一条路径中，包括一1×1卷积层，一3×3卷积层，一1×1卷积层；另一条路径中，包括一2×2平均值池化下采样层，一1×1卷积层；最后两条路径合并输出。

进一步地，Res-CBAM网络结构，在CBAM架构基础上，用平均值池化上采样替换通道注意力，并将特征层融合方式由点乘变为堆叠拼接，并加入残差连接。

进一步地，Res-CBAM网络结构，包括输入层，两个输入卷积层，堆叠拼接的平均值池化上采样和空间注意力层，一个输出卷积层，输出层；其中，输入卷积层与输出卷积层通过残差连接得到输出层。

进一步地，改进Yolov4-tiny网络，在原Yolov4-tiny网络架构基础上，采用ResNet-D模块替换CSPOSABlock模块，并以残差连接方式附加设计的Res-CBAM模块。

进一步地，改进Yolov4-tiny网络，包括输入层，两个输入卷积层，两个ResNet-D模块，CSPOSANet模块，一个输出卷积层，输出层；

在主干网络上ResNet-D模块处通过残差连接附加Res-CBAM模块；具体地，在第一个ResNet-D模块与第二个ResNet-D模块间通过残差连接一个附加Res-CBAM模块，在第二个ResNet-D模块与CSPOSANet模块间通过残差连接附加Res-CBAM模块和最大值池化层。

本发明的有益效果在于，与现有技术相比，

本发明基于改进Yolov4-tiny的输电线路连接部件检测方法，结合现有的Yolov4-tiny方法，针对应用场景更改预设锚框的大小，加入ResNet-D模块和Res-CBAM模块，最后在结果输出时，对预设锚框进行合并操作，优化模型的显示效果，在保证准确度的同时大大提高检测速度。

结合实际电力巡检场景收集得到大量图片和视频，对本发明方法的识别速度和精度进行大量的测试验证，实验结果表明，本发明提出的检测方法能达到现有Yolov4-tiny模型的检测效果，且在识别速度上快约13％，在GPU性能较弱的边缘设备上能够做到实时的效果。

附图说明

图1为基于改进Yolov4-tiny的输电线路连接部件检测方法流程图；

图2为ResNet-D网络结构；

图3为Res-CBAM网络结构；

图4为改进的Yolov4-tiny网络结构。

具体实施方式

下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。

如图1所示，本发明所述的基于改进Yolov4-tiny的输电线路连接部件检测方法，具体包括以下步骤：

步骤1，采集输电线路无人机航拍图像的原始数据集，进行预处理，建立目标数据集；

本发明的原始数据集来自于实际电力线路巡检中输电线路无人机航拍图像，共计57134张，其中训练集53675张，验证集3459张。

无人机航拍图像分辨率较高，拍摄角度具有一定的多样性和随机性，另外对于视频还具有视频转场较快的特点。

对原始数据集中输电线路的关键连接部件进行标注，得到目标图片；关键连接部件包括导线连接杆塔(dx_gt)，杆塔连接绝缘子(gt_jyz)，绝缘子连接导线(jyz_dx)这三大类别。标注时，尽可能将标注框覆盖目标区域，并同时减少标注框内其他背景信息。

考虑到数据训练时的IO瓶颈，对目标图片进行一定的预处理，进行以目标图片为基准的裁剪和缩放，以减少数据训练时输入图片的尺寸。

对于缩放，假设设定的最大边长尺寸为l，原图片的宽高为w和h，则缩放后的目标图片的宽高w_new和h_new为：

w_new＝w*min(l/w,l/h)

h_new＝h*min(l/w,l/h)

根据裁剪和缩放后的目标图片，建立目标数据集，分为训练集和验证集。

步骤2，对目标数据集进行K-means聚类分析，得到重新聚类的预设锚框的长宽比；

YOLO默认的预设锚框的长宽比是在COCO数据集上通过k-means聚类得到的一个经验预设值。而将此预设值直接用于实际场景下的数据集，可能会影响模型的收敛速度和精度。

COCO(Common Objects in Context)是微软团队提供的一个可以用来进行图像识别的数据集。COCO数据集中的图像分为训练集、验证集和测试集。

因此，对目标数据集进行k-means聚类分析，得到重新聚类的预设锚框的长宽比。

本发明选用Yolov4-tiny，其在输入尺寸为608×608时得到两种不同尺度的特征图，分别为19×19和38×38，每种尺度的特征图对应于三个锚框值，一共6个锚框值。

预设值和重新聚类后的结果值，如下表1所示：

表1

序号	1	2	3	4	5	6
							预设值	10,14	23,27	37,58	81,82	135,169	344,319
结果值	19,25	45,57	68,150	120,88	159,242	326,380

19×19的特征图对应的感受野更大，因此对应于大尺度的锚框，而38×38的特征图对应的感受野更小，因此对应于小尺度的锚框。这里19×19的特征图对应于序号为4、5、6的锚框，38×38的特征图对应于1、2、3的锚框。

步骤3，改进Yolov4-tiny网络，包含如下步骤：

步骤3.1，设计ResNet-D网络模块，ResNet-D网络结构如图2所示；

ResNet-D是ResNet架构的一种修改，利用平均值池化以进行向下采样。其动机是，在未经修改的ResNet中，当下采样为步长为2的1×1卷积，会忽略3/4的输入特征图。

因此，对此进行修改，在一条路径中进行一个3×3卷积，并在另一条路径中进行平均值池化下采样，避免了因1×1卷积和步长2同时发生而导致的信息丢失。

具体地，ResNet-D网络结构，包括输入层，输入层往下分为两条路径，一条路径中，包括一层1×1卷积，一层3×3卷积，步长为2，一层1×1卷积；另一条路径中，包括一层2×2平均值池化下采样，步长为2，一层1×1卷积；最后两条路径综合输出。

步骤3.2，设计Res-CBAM网络模块，Res-CBAM的网络结构如图3所示；

参考CBAM模块的设计，将CBAM模块中特征层融合方式由点乘替换为堆叠拼接，并加入残差连接，由此构建Res-CBAM模块。

本发明设计Res-CBAM模块，用平均值池化上采样(Avgpool+Upsample)替换通道注意力(channel attention)，并将特征层融合方式由点乘变为堆叠拼接，见公式：

其中，

为同位元素堆叠拼接(element wise multiplication)，首先将平均值池化上采样特征图(Avgpool+Upsample map)与输入特征图(input map)堆叠拼接得到F′，之后计算F′的空间注意力图(spatial attention map)，并将两者堆叠拼接得到输出F″。

为了将使调整后CBAM模块提取的特征层能够结合在一起并防止网络模块过深造成的梯度爆炸，分别在模块前后加上两次卷积和一次卷积操作，并使用残差方式连接起来。

具体地，Res-CBAM网络结构，包括输入层，两个输入卷积层，堆叠拼接的平均值池化上采样和空间注意力层，一个输出卷积层，输出层。将输入卷积层与输出卷积层通过残差连接得到输出层。

步骤3.3，提出改进的主干模型网络结构，获取改进的Yolov4-tiny网络；

基于前两步的改进，本发明提出改进的主干模型网络结构，进而得到改进后的Yolov4-tiny网络结构，如图4所示。

本发明分析ResNet-D模块的参数量，并采用ResNet-D模块替换原Yolov4-tiny模型中的CSPOSABlock模块，以提高模型的速度；在改进的Yolov4-tiny模型的主干网络以残差连接方式附加设计的Res-CBAM模块，以保证模型识别的准确性。

如图4所示，改进的主干模型网络结构，包括输入层，两个输入卷积层，两个ResNet-D模块，CSPOSANet模块，一个输出卷积层，输出层。进一步地，在主干网络上ResNet-D模块处通过残差连接附加Res-CBAM模块，在第一个ResNet-D模块与第二个ResNet-D模块间通过残差连接一个附加Res-CBAM模块，在第二个ResNet-D模块与CSPOSANet模块间通过残差连接附加Res-CBAM模块和最大值池化层。

步骤4，利用目标数据集中的训练集，以及重新聚类的预设锚框值，对改进的Yolov4-tiny网络进行训练；

训练过程中，学习率设置策略如下：假设基础学习率为l_r，初始学习率变化节点为b_n，初始学习率变化系数为n(n＝4)，最大迭代次数max_step，学习率变化节点为s1，s2(s1、s2＝0.8*max_step、0.9*max_step)，则第x步迭代的学习率l可以表示如下：

在训练过程中，采用数据在线增强策略mosaic，gaussian_noise；其中，mosaic策略为将多张图片拼合在一起以丰富目标信息并检测物体的背景；gaussian_noise为添加高斯噪声。

步骤5，采用目标数据集中的验证集，对训练后的改进的Yolov4-tiny网络进行验证；即，基于改进的Yolov4-tiny网络对输电线路连接部件进行检测。

验证结果表明，改进Yolov4-tiny的检测方法能达到现有Yolov4-tiny模型的检测效果，且在识别速度上快约13％。

本发明的有益效果在于，与现有技术相比，

本发明基于改进Yolov4-tiny的输电线路连接部件检测方法，结合现有的Yolov4-tiny方法，针对应用场景更改预设锚框的大小，加入ResNet-D模块和Res-CBAM模块，最后在结果输出时，对预设锚框进行合并操作，优化模型的显示效果，在保证准确度的同时大大提高检测速度。

结合实际电力巡检场景收集得到大量图片和视频，对本发明方法的识别速度和精度进行大量的测试验证，实验结果表明，本发明提出的检测方法能达到现有Yolov4-tiny模型的检测效果，且在识别速度上快约13％，在GPU性能较弱的边缘设备上能够做到实时的效果。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (8)

1.一种基于改进Yolov4-tiny的输电线路连接部件检测方法，其特征在于，所述检测方法包括步骤：

步骤1，采集输电线路无人机航拍图像的原始数据集，进行预处理，建立目标数据集；

步骤2，对目标数据集进行K-means聚类分析，得到重新聚类的预设锚框值；

步骤3，改进Yolov4-tiny网络，加入ResNet-D模块和Res-CBAM模块；在原Yolov4-tiny网络架构基础上，采用ResNet-D模块替换CSPOSABlock模块，并以残差连接方式附加设计的Res-CBAM模块；

步骤4，利用目标数据集以及重新聚类的预设锚框值，对改进Yolov4-tiny网络进行训练；

步骤5，采用训练后的改进Yolov4-tiny网络，对输电线路连接部件进行检测。

2.根据权利要求1所述的基于改进Yolov4-tiny的输电线路连接部件检测方法，其特征在于，所述步骤1具体包括步骤：

步骤1.1，采集输电线路无人机航拍图像的原始数据集；

步骤1.2，对原始数据集中输电线路连接部件进行标注，得到目标图片；

步骤1.3，对目标图片进行裁剪和缩放预处理，得到目标数据集。

3.根据权利要求2所述的基于改进Yolov4-tiny的输电线路连接部件检测方法，其特征在于，所述步骤1.3中，

假设设定的最大边长尺寸为l，原目标图片的宽高为w和h，则缩放后的目标图片的宽高w_new和h_new为：

w_new＝w*min(l/w,l/h)

h_new＝h*min(l/w,l/h)。

4.根据权利要求1所述的基于改进Yolov4-tiny的输电线路连接部件检测方法，其特征在于，所述步骤3具体包括步骤：

步骤3.1，设计ResNet-D网络结构；

步骤3.2，设计Res-CBAM网络结构；

步骤3.3，改进主干网络结构，得到改进Yolov4-tiny网络。

5.根据权利要求4所述的基于改进Yolov4-tiny的输电线路连接部件检测方法，其特征在于，

ResNet-D网络结构，包括输入层，输入层往下分为两条路径；一条路径中，包括一1×1卷积层，一3×3卷积层，一1×1卷积层；另一条路径中，包括一2×2平均值池化下采样层，一1×1卷积层；最后两条路径合并输出。

6.根据权利要求5所述的基于改进Yolov4-tiny的输电线路连接部件检测方法，其特征在于，

Res-CBAM网络结构，在CBAM架构基础上，用平均值池化上采样替换通道注意力，并将特征层融合方式由点乘变为堆叠拼接，并加入残差连接。

7.根据权利要求6所述的基于改进Yolov4-tiny的输电线路连接部件检测方法，其特征在于，

Res-CBAM网络结构，包括输入层，两个输入卷积层，堆叠拼接的平均值池化上采样和空间注意力层，一个输出卷积层，输出层；其中，输入卷积层与输出卷积层通过残差连接得到输出层。

8.根据权利要求7所述的基于改进Yolov4-tiny的输电线路连接部件检测方法，其特征在于，

改进Yolov4-tiny网络，包括输入层，两个输入卷积层，两个ResNet-D模块，CSPOSANet模块，一个输出卷积层，输出层；

在主干网络上ResNet-D模块处通过残差连接附加Res-CBAM模块；具体地，在第一个ResNet-D模块与第二个ResNet-D模块间通过残差连接一个附加Res-CBAM模块，在第二个ResNet-D模块与CSPOSANet模块间通过残差连接附加Res-CBAM模块和最大值池化层。

Images