CN115861853A - 基于改进yolox算法的复杂环境下输电线路鸟巢检测方法 - Google Patents

Abstract

本发明公开了一种基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，具体按照以下步骤实施：步骤1、采集鸟巢图像数据，标注并划分数据集为训练集、验证集和测试集；步骤2、建立改进yolox算法网络模型，采用深度通道注意力模块和损失函数对yolox目标检测算法进行改进；步骤3、将训练集中图像输入改进yolox算法网络模型进行训练，通过训练得到优化的yolox算法网络模型；步骤4、将测试集中图像输入优化的yolox模型进行检测，获得鸟巢检测结果图。本发明解决了现有技术中存在的复杂环境下鸟巢检测精度低的问题。

Description

基于改进yolox算法的复杂环境下输电线路鸟巢检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于改进yolox算法的复杂环境下输电线路鸟巢检测方法。

背景技术

为了确保国家电力能源供给的稳定可靠，以特高压技术为代表的新一代高能效、远距离、智能化电网新型基础设施建设，已成为未来我国发展的重要方向。由于我国幅员辽阔，在目前电力的远距离传输过程中，由鸟类活动引起的重大电力故障时有发生。常见鸟害导致的典型故障包括鸟类直接触电短路、鸟类筑巢活动导致的短路以及鸟粪覆盖绝缘器件引起的闪络等。分析故障原因，鸟类的筑巢习性导致大量鸟类长期活动在电力塔架及线路附近，这给长距离输电埋下了重大隐患。同时由于各种复杂环境下，更加难以通过传统的算法检测到因鸟巢而引起的故障。

为避免此类故障，输电的运行与维护规范要求电力检修部门指派巡检员定期对固定线路进行人工巡线检查。由于输电线路常架设于地形复杂且位置偏僻的森林及山区，而鸟类筑巢又常位于塔顶及塔架等不易观测的角落位置，这导致人工巡线对鸟巢检测的成本高且效率低。近年来，输电线路的常规巡检已逐步摆脱人工方式，基于无人机视频的巡检方式极大地改善了电力巡检作业的难度。日前，基于无人机巡检视频的智能故障检测与识别技术已成为推动智能电网应用的研究热点。受光照条件、拍照角度、拍摄距离、巡线飞行速度以及复杂地形背景的影响，基于无人机巡检视频的相关自动检测仍面临检测算法精度与鲁棒性的挑战。

由于无人机巡检过程中成像端与目标物的距离随拍摄机位变化而变化，故鸟巢部分细节特征随距离变化表现出不同的尺度特征。为了对输电线路鸟巢进行准确检测，本文提出一种基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，实现了对输电线路鸟巢的准确检测。该算法的特点在于，首先利用航拍获得输电线路鸟巢图像，再利用图像预处理方法对图像进行处理，将处理后的图像分为训练集、验证集和测试集，最后利用深度学习网络(yolox算法模型)提取鸟巢的特征信息，利用所提取的特征信息进行准确预测，实现在复杂环境下对输电线路鸟巢的高效检测。

发明内容

本发明的目的是提供一种基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，解决了现有技术中存在的复杂环境下鸟巢检测精度低的问题。

本发明所采用的技术方案是，基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，具体按照以下步骤实施：

步骤1、采集鸟巢图像数据，标注并划分数据集为训练集、验证集和测试集；

步骤2、建立改进yolox算法网络模型，采用深度通道注意力模块和损失函数对yolox目标检测算法进行改进；

步骤3、将训练集中图像输入改进yolox算法网络模型进行训练，通过训练得到优化的yolox算法网络模型；

步骤4、将测试集中图像输入优化的yolox模型进行检测，获得鸟巢检测结果图。

本发明的特点还在于，

步骤1具体按照以下步骤实施：

步骤1.1、通过无人机搭载的高清摄像头拍摄大量的巡检视频，包括各种复杂背景下的输电线路鸟巢图像，以及远景、近景和特写的输电线路鸟巢图像，并保持每个类型的输电线路鸟巢图像数量一致；

步骤1.2、将步骤1.1中获得的鸟巢图像进行旋转、翻转、缩放、任意裁剪，从而得到扩充鸟巢图像；

步骤1.3、将步骤1.1中获得的鸟巢图像和步骤1.2中获得的扩充鸟巢图像总和作为鸟巢样本图像库，对鸟巢样本图像库中的每一图像样本制作对应的标签文件，对应的标签文件中含有鸟巢的类别标签，鸟巢的类别标签为nest，标签文件满足PascalVOC格式的xml标签文件标准，xml标签文件包括图像ID、图像路径、图像名称、图像的像素高度及宽度，其中图像的像素高度和宽度通过一个矩形框的四个坐标表示，包括x_min，y_min，x_max，y_max，其中(x_min，y_min)是矩形框的左上顶点的坐标，(x_max,y_max)是矩形框右下顶点的坐标。

步骤1.4、按照8:1:1的比例将鸟巢样本图像库划分为训练集、验证集和测试集；

步骤2具体按照以下步骤实施：

步骤2.1、改进yolox算法网络模型保持原yolox网络的Focus层、SPP层、CBS层、Neck层和prediction层的组合网络不变；主干网络Backbone中CSP1_X层添加深度通道注意力模块，；

步骤2.2、深度通道注意力模块结构如下：

对于输入的特征图X(X_1in、X_2in、X_3in)，X∈R^CxWxH，C为通道数，W和H为特征图的高和宽；

首先，利用最大池化和平均池化从两个角度提取第一分支输入特征图X_1in的特征：

X_max1＝f_maxpool(X_1in) (1)

X_avg1＝f_avgpool(X_1in) (2)

其中，X_1in表示第一分支输入特征图，f_maxpool表示进行最大池化，f_avgpool表示进行平均池化，X_max1表示最大池化的结果并且X_max1∈R^C×H/2×W/2，X_avg1表示平均的结果并且X_avg1∈R^{C ×H/2×W/2}；采用最大池提取输入特征图的重要信息，采用平均池提取输入特征图全局信息，将最大池化与平均池化的结果进行堆叠，通过Sigmoid函数输出：

A_c＝σ[Z_concat(X_max1+X_avg1)] (3)

其中，σ表示Sigmoid函数，Z_concat表示将最大池化与平均池化的结果进行堆叠，A_c表示经过Sigmoid函数的输出结果并且A_c∈R^C×1×1，A_c中的每个元素都表示其对应通道的重要性级别；

其次，将输入特征图X_1in分为两个路径，一个路径与Sigmoid函数输出进行融合；另一个路径先进行3x3的卷积后，通过深度可分离卷积之后经过Relu函数输出：

X_1-1＝A_c*X_1in

X_1-2＝f_conv3(X_1in)

X_1-3＝Relu[f_conv3×3(X_1-2)+f_conv1×1(X_1-2)] (₄)

其中X_1-1表示输入特征图X_1in与Sigmoid函数输出A_c融合的结果，f_conv3表示进行3x3的卷积运算，X_1-2表示3x3的卷积运算的结果，f_conv3x3表示逐通道卷积，f_conv1x1表示逐点卷积，逐通道卷积f_conv3x3和逐点卷积f_conv1x1合称为深度可分离卷积，Relu表示进行Relu激活运算，X_1-3表示进行Relu激活运算的结果；

最后，将X_1-1与X_1-3进行堆叠输出：

X_1-out＝X_1-1+X_1-3 (5)

其中，X_1-out表示X_1-1和X_1-3进行堆叠的结果，以上提取特征过程即为深度提取，

深度通道注意力模块的第二分支输入特征图X_2in的宽和高进行2倍上采样和第三分支输入特征图X_3in的宽和高进行4倍上采样之后都输入到深度提取中提取特征；第二分支输入特征图X_2in在深度提取特征后经过最大池化输出得到X_2-out和第三分支输入特征图X_3in在深度提取特征后经过平均池化输出得到X_3-out：

X_2-out＝f_{max pool}[F_DM(UP₂(X_2in))] (6)

X_3-out＝f_avgpool[F_DM(UP₄(X_3in))] (7)

其中X_2in表示第二分支输入特征图，X_3in表示第三分支输入特征图，UP₂表示对第二分支输入特征图X_2in的宽和高进行2倍上采样，UP₄表示对第三分支输入特征图X_3in的宽和高进行4倍上采样，F_DM表示把上采样后的特征图输入到深度提取中提取特征，X_2-out表示经过最大池化后的第二分支输出结果，X_3-out表示经过平均池化后的第三分支输出结果；

深度通道注意力模块的最后部分是将输入特征图X的三个分支输出结果X_1-out、X_2-out、X_3-out进行堆叠，再与输入特征图X进行加权融合得到目标的权重，输出新特征图：

X′＝X×(X_1-out+X_2-out+X_3-out) (8)

其中X’表示三个分支输出结果X_1-out、X_2-out、X_3-out进行加权融合后的新特征图；

步骤2.3、在Resunit层的两个CBS结构之间加入深度通道注意力模块，将改进后的Resunit层命名为Resunit*层，同时将Resunit*层引进CSP1_X层中进行提取目标，将改进后的CSP1_X层命名为CSP1_X*层，将CSP1_X*层引入yolox算法中得到改进yolox算法网络模型，

步骤2.4、在预测层选择现阶段表现最好的EIoU损失函数替换原IoU损失函数，EIOU损失函数计算公式如下:

/>

其中，IoU表示真实框A与预测框B的交集与并集之比，b和b^gt分别为预测框和真实框的中心点，c为能够同时包含预测框和真实框的最小闭合区域的对角线距离。p为两个中心点之间的欧式距离，α为权重因子，v为纵横比的相似度，w^gt表示真实框的宽度，h^gt表示真实框的高度，w表示预测帧的宽度，h表示预测帧的高度，Loss_CIoU表示CIoU函数的损失，Loss_EIoU表示EIoU函数的损失；Loss_EIoU损失函数包含三个部分：重叠损失1-IoU，中心距离损失

宽高损失/>

前两部分延续CIOU中的方法，但是Loss_EIoU损失函数的宽高损失直接使目标框与预测框的宽度和高度之差最小，使得收敛速度更快；

在EIOU的基础上结合损失函数Focal Loss提出一种Focal EIOU Loss，从梯度的角度出发，把高质量的锚框和低质量的锚框分开，公式如下：

L_Focal-EIoU＝IoU^γLoss_EIoU (15)

其中，y为控制异常值抑制程度的参数，IoU表示真实框A与预测框B的交集与并集之比，L_Focal-EIoU表示提出的Focal EIOU Loss，得到改进yolox算法网络模型。

步骤3具体按照以下步骤实施：

步骤3.1、将步骤1.4中划分的训练集图像输入到所述步骤3得到的改进yolox算法网络模型进行训练，设置batch_size为64，使用动量为0.9的随机梯度下降，训练300轮，得到训练结果；

步骤3.2、使用验证集对改进yolox算法网络模型进行验证，得到验证结果，分析训练结果和验证结果的差异，如是否过拟合、欠拟合；如果出现过拟合说明模型在训练集上表现很好，到了验证集就很差，即模型的泛化能力很差，需通过增加训练集图像数量、降低模型的复杂度、微调超参数等方法解决；若出现欠拟合说明模型在训练集、验证集表现都不佳，需通过提高模型复杂度、微调超参数、增加更多的目标特征等方法解决。

步骤3.3、通过在验证集上微调改进yolox算法网络模型的超参数，将学习率微调到0.003，以获得更好的鲁棒性，设置batch_size为32，得到优化的yolox模型。

步骤4具体按照以下步骤实施：

步骤4.1、将测试集输入所述步骤3.3得到优化的yolox模型，优化具体过程为：yolox超参数设置：输入图像像素尺寸640*640，冻结训练100轮batch_size32，解冻训练200轮batch_size4，num_workers2，Adam优化器，衰减权重系数5*10-4初始学习率1*10-5，测试集测试的时候设置IoU阈值为0.5进行试验，在验证时，将学习率微调到0.003，以获得更好的鲁棒性，设置batch_size为32，前100轮冻结训练，损失下降速度快，后200轮解冻训练，网络不断微调，在总的300轮中150轮后验证集的损失变化逐渐减小，得到优化的yolox模型。

步骤4.2、采用测试集测试优化的yolox模型性能，获得检测结果。

本发明的有益效果是，一种基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，针对于样本数据集不足的问题，扩充样本数据库；利用改进的yolox算法对输电线路鸟巢进行检测，提高了检测精度与效率，首先引入深度通道注意力模块(Deep ChannelsAttention Module)用于感知特征图中各信道的重要性水平，增强重要通道，抑制冗余通道，这对于提高目标检测的准确性具有重要的意义；其次将EIoU损失函数替换yolox算法的原IoU损失函数，提高检测速度。本文所提方法能够提高鸟巢检测算法的精度和识别效率，降低计算量，具有较强的实用性。

附图说明

图1是本发明基于改进yolox算法的复杂环境下输电线路鸟巢检测方法流程图；

图2是本发明基于改进yolox算法的复杂环境下输电线路鸟巢检测方法中yolox目标检测算法网络结构示意图；其中，图2(a)是输入端(Input)和网络主干模块(Backbone)的结构示意图；图2(b)是特征增强模块层(Neck)结构示意图；图2(c)是预测模块(Prediction)结构示意图；图2(d)是网络主干模块Backbone层中的SPP结构示意图；图2(e)是网络主干模块(Backbone)、特征增强模块层(Neck)以及预测模块(Prediction)结构中的CBS结构示意图；图2(f)是网络主干模块(Backbone)、特征增强模块层(Neck)以及预测模块(Prediction)结构中的Resunit结构示意图；图2(g)是网络主干模块Backbone层中的CSP1_X结构示意图；图2(h)是输入端(Input)和网络主干模块(Backbone)层中的CSP2_X结构示意图；图2(i)网络主干模块Backbone层中的Focus结构示意图；图2(j)是引入的深度通道注意力模块(Deep Channels Attention Module)结构示意图；图2(k)是改进Resunit*结构示意图；图2(l)是改进CSP1_X*结构示意图；

图3是本发明基于改进yolox算法的复杂环境下输电线路鸟巢检测方法中输电线路鸟巢图像数据库样例示意图；

图4是本发明基于改进yolox算法的复杂环境下输电线路鸟巢检测方法中对输电线路鸟巢图像数据库样例进行旋转以实现扩容的示意图；

图5是本发明基于改进yolox算法的复杂环境下输电线路鸟巢检测方法中鸟巢检测结果图，其中，图5(a)是在居住环境下的输电线路鸟巢检测结果图，图5(b)是在复杂树木背景下的输电线路鸟巢检测结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，流程图如图1所示，具体按照以下步骤实施：

步骤1、采集鸟巢图像数据，标注并划分数据集为训练集、验证集和测试集；

步骤1具体按照以下步骤实施：

步骤1.1、通过无人机搭载的高清摄像头拍摄大量的巡检视频，包括各种复杂背景下的输电线路鸟巢图像如图3所示，以及远景、近景和特写的输电线路鸟巢图像，并保持每个类型的输电线路鸟巢图像数量一致；

步骤1.2、将步骤1.1中获得的鸟巢图像进行旋转(180°至-180°)、翻转(水平翻转和垂直翻转)、缩放、任意裁剪，从而得到扩充鸟巢图像如4所示；

步骤1.3、将步骤1.1中获得的鸟巢图像和步骤1.2中获得的扩充鸟巢图像总和作为鸟巢样本图像库，对鸟巢样本图像库中的每一图像样本制作对应的标签文件，对应的标签文件中含有鸟巢的类别标签，鸟巢的类别标签为nest，标签文件满足Pascal VOC格式的xml标签文件标准，xml标签文件包括图像ID、图像路径、图像名称、图像的像素高度及宽度，其中图像的像素高度和宽度通过一个矩形框的四个坐标表示，包括x_min，y_min，x_max，y_max，其中(x_min，y_min)是矩形框的左上顶点的坐标，(x_max,y_max)是矩形框右下顶点的坐标。

步骤1.4、按照8:1:1的比例将鸟巢样本图像库划分为训练集、验证集和测试集；

步骤2、建立改进yolox算法网络模型，采用深度通道注意力模块(Deep ChannelsAttention Module)和损失函数对yolox目标检测算法进行改进，提高检测的准确率；图2是本发明基于改进yolox算法的复杂环境下输电线路鸟巢检测方法中yolox目标检测算法网络结构示意图；yolox算法网络结构主要由四部分构成，分别为输入端、网络主干模块、特征增强模块层与预测模块，即图2(a)是输入端(Input)和网络主干模块(Backbone)的结构示意图；图2(b)是特征增强模块层(Neck)结构示意图；图2(c)是预测模块(Prediction)结构示意图；图2(d)是网络主干模块Backbone层中的SPP结构示意图；图2(e)是网络主干模块(Backbone)、特征增强模块层(Neck)以及预测模块(Prediction)结构中的CBS结构示意图；图2(f)是网络主干模块(Backbone)、特征增强模块层(Neck)以及预测模块(Prediction)结构中的Resunit结构示意图；图2(g)是网络主干模块Backbone层中的CSP1_X结构示意图；图2(h)是输入端(Input)和网络主干模块(Backbone)层中的CSP2_X结构示意图；图2(i)网络主干模块Backbone层中的Focus结构示意图；图2(j)是引入的深度通道注意力模块(DeepChannels Attention Module)结构示意图；图2(k)是改进Resunit*结构示意图；图2(l)是改进CSP1_X*结构示意图；

步骤2具体按照以下步骤实施：

步骤2.1、改进yolox算法网络模型保持原yolox网络的Focus层如图2(i)所示、SPP层如图2(d)所示、CBS层如图2(e)所示、Neck层如图2(b)所示、CSP2_X层如图2(h)所示和prediction层如图2(c)所示的组合网络不变；主干网络Backbone(如图2(a)所示)中Resunit层(如图2(f)所示)添加深度通道注意力模块，引入到CSP1_X层(如图2(g)所示)中，可以增强特征图的表征能力，抑制无关图像中检测对象的背景噪声，增强目标物体的通道信息；

步骤2.2、本文提出的深度通道注意力模块(Deep Channels Attention Module)，结构如图2(j)所示。结构如下：

对于输入的特征图X(X_1in、X_2in、X_3in)，X∈R^CxWxH，C为通道数，W和H为特征图的高和宽；

首先，利用最大池化和平均池化从两个角度提取第一分支输入特征图X_1in的特征：

X_max1＝f_{max pool}(X_1in) (1)

X_avg1＝f_avgpool(X_1in) (2)

其中，X_1in表示第一分支输入特征图，f_maxpool表示进行最大池化，f_avgpool表示进行平均池化，X_max1表示最大池化的结果并且X_max1∈R^C×H/2×W/2，X_avg1表示平均的结果并且X_avg1∈R^{C ×H/2×W/2}；采用最大池提取输入特征图的重要信息，采用平均池提取输入特征图全局信息，将最大池化与平均池化的结果进行堆叠(Concat)，通过Sigmoid函数输出：

A_c＝σ[Z_concat(X_max1+X_avg1)] (3)

其中，σ表示Sigmoid函数，Z_concat表示将最大池化与平均池化的结果进行堆叠，A_c表示经过Sigmoid函数的输出结果并且A_c∈R^C×1×1，A_c中的每个元素都表示其对应通道的重要性级别；

其次，将输入特征图X_1in分为两个路径，一个路径与Sigmoid函数输出进行融合；另一个路径先进行3x3的卷积后，通过深度可分离卷积(Depth wise convolution)之后经过Relu函数输出：

X_1-1＝A_c*X_1in

X_1-2＝f_conv3(X_1in)

X_1-3＝Relu[f_conv3×3(X_1-2)+f_conv1×1(X_1-2)] (4)

其中X_1-1表示输入特征图X_1in与Sigmoid函数输出A_c融合的结果，f_conv3表示进行3x3的卷积运算，X_1-2表示3x3的卷积运算的结果，f_conv3x3表示逐通道卷积，f_conv1x1表示逐点卷积，逐通道卷积f_conv3x3和逐点卷积f_conv1x1合称为深度可分离卷积(Depth wise convolution)，有效减小参数数量和计算量，Relu表示进行Relu激活运算，X_1-3表示进行Relu激活运算的结果；

最后，将X_1-1与X_1-3进行堆叠输出：

X_1-out＝X_1-1+X_1-3 (5)

其中，X_1-out表示X_1-1和X_1-3进行堆叠的结果，以上提取特征过程即为深度提取(Deepextraction Module)，

深度通道注意力模块(Deep Channels Attention Module)的第二分支输入特征图X_2in的宽和高进行2倍上采样和第三分支输入特征图X_3in的宽和高进行4倍上采样之后都输入到深度提取(Deep extraction Module)中提取特征；第二分支输入特征图X_2in在深度提取结构(Deep extraction Module)提取特征后经过最大池化输出得到X_2-out和第三分支输入特征图X_3in在深度提取结构(Deep extraction Module)提取特征后经过平均池化输出得到X_3-out：

X_2-out＝f_{max pool}[F_DM(UP₂(X_2in))] (6)

X_3-out＝f_avgpool[F_DM(UP₄(X_3in))] (7)

其中X_2in表示第二分支输入特征图，X_3in表示第三分支输入特征图，UP₂表示对第二分支输入特征图X_2in的宽和高进行2倍上采样，UP₄表示对第三分支输入特征图X_3in的宽和高进行4倍上采样，F_DM表示把上采样后的特征图输入到深度提取(Deep extraction Module)中提取特征，X_2-out表示经过最大池化后的第二分支输出结果，X_3-out表示经过平均池化后的第三分支输出结果；

深度通道注意力模块(Deep Channels Attention Module)的最后部分是将输入特征图X的三个分支输出结果X_1-out、X_2-out、X_3-out进行堆叠，再与输入特征图X进行加权融合得到目标的权重，输出新特征图：

X'＝X×(X_1-out+X_2-out+X_3-out) (8)

其中X’表示三个分支输出结果X_1-out、X_2-out、X_3-out进行加权融合后的新特征图；深度通道注意力模块(Deep Channels Attention Module)使用多个深度可分离卷积、最大池化和平均池化来获得输入通道的更深层次的特征，可以在保持相对较少的参数数量的同时，增强目标物体的通道信息。

步骤2.3、在目标检测任务中，通过不同的卷积通道提取目标的不同特征，会导致过多的训练资源投入到非目标区域，从而导致网络的训练效率低下。为了解决这一问题，在Resunit层的两个CBS结构之间加入深度通道注意力模块，将改进后的Resunit层命名为Resunit*层，结构如图2(k)所示；同时将Resunit*层引进CSP1_X层中进行提取目标，将改进后的CSP1_X层命名为CSP1_X*层，结构如图2(l)所示。将CSP1_X*层引入yolox算法中得到改进yolox算法网络模型，该网络模型可以在保持相对较少的参数数量的同时，增强目标物体的通道信息，同时提高通道重要性级别，高效检测鸟巢；

步骤2.4、在预测层(prediction)的损失函数选择现阶段表现最好的EIoU损失函数替换原IoU损失函数，EIOU损失函数计算公式如下:

其中，IoU表示真实框A与预测框B的交集与并集之比，b和b^gt分别为预测框和真实框的中心点，c为能够同时包含预测框和真实框的最小闭合区域的对角线距离。p为两个中心点之间的欧式距离，α为权重因子，v为纵横比的相似度，w^gt表示真实框的宽度，h^gt表示真实框的高度，w表示预测帧的宽度，h表示预测帧的高度，Loss_CIoU表示CIoU函数的损失，Loss_EIoU表示EIoU函数的损失；Loss_EIoU损失函数包含三个部分：重叠损失1-IoU，中心距离损失

宽高损失/>

前两部分延续CIOU中的方法，但是Loss_EIoU损失函数的宽高损失直接使目标框与预测框的宽度和高度之差最小，使得收敛速度更快；

考虑到目标框与预测框回归中也存在训练样本不平衡的问题，即在一张图像中回归误差小的高质量锚框的数量远少于误差大的低质量样本，质量较差的样本会产生过大的梯度影响训练过程。在EIOU的基础上结合损失函数Focal Loss提出一种Focal EIOU Loss，从梯度的角度出发，把高质量的锚框和低质量的锚框分开，公式如下：

L_Focal-EIoU＝IoU^γLoss_EIoU (15)

其中，y为控制异常值抑制程度的参数，IoU表示真实框A与预测框B的交集与并集之比，L_Focal-EIoU表示提出的Focal EIOU Loss，该损失中的Focal与传统的Focal Loss有一定的区别，传统的Focal Loss针对越困难的样本损失越大，起到的是对困难样本进行挖掘的作用；而根据上述公式：IOU越高的损失越大，相当于加权作用，给越好的目标框与预测框回归目标一个越大的损失，加速收敛并且提高了回归精度。引入了Focal EIOU Loss优化了目标框与预测框回归任务中的样本不平衡问题，即减少与目标框重叠较少的大量锚框，使回归过程专注于高质量锚框，得到改进yolox算法网络模型。

步骤3、将训练集中图像输入改进yolox算法网络模型进行训练，通过训练得到优化的yolox算法网络模型；

步骤3具体按照以下步骤实施：

步骤3.1、将步骤1.4中划分的训练集图像输入到所述步骤3得到的改进yolox算法网络模型进行训练，设置batch_size为64，使用动量为0.9的随机梯度下降(SGD)，训练300轮，得到训练结果；

步骤3.2、使用验证集对改进yolox算法网络模型进行验证，得到验证结果，分析训练结果和验证结果的差异，如是否过拟合、欠拟合；如果出现过拟合说明模型在训练集上表现很好，到了验证集就很差，即模型的泛化能力很差，需通过增加训练集图像数量、降低模型的复杂度、微调超参数等方法解决；若出现欠拟合说明模型在训练集、验证集表现都不佳，需通过提高模型复杂度、微调超参数、增加更多的目标特征等方法解决。

步骤3.3、通过在验证集上微调改进yolox算法网络模型的超参数，将学习率微调到0.003，以获得更好的鲁棒性，设置batch_size为32，得到优化的yolox模型。

步骤4、将测试集中图像输入优化的yolox模型进行检测，获得鸟巢检测结果图。

步骤4具体按照以下步骤实施：

步骤4.1、将测试集输入步骤3.3得到优化的yolox模型，优化具体过程为：yolox超参数设置：输入图像像素尺寸640*640，冻结训练100轮batch_size32，解冻训练200轮batch_size4，num_workers2，Adam优化器，衰减权重系数5*10-4初始学习率1*10-5，测试集测试的时候设置IoU阈值为0.5进行试验，在训练时，运用迁移学习的思想，因为改进yolox算法主干网络Backbone所提取到的特征是通用的，冻结起来训练可以加快训练效率，也可以防止权值被破坏。在冻结阶段，模型的主干权重被冻结了，特征提取网络不发生改变，占用的显存较小，仅对网络进行微调。在解冻阶段，模型的主干权重不被冻结了，特征提取网络会发生改变。占用的显存较大，网络所有的参数都会发生改变。在验证时，将学习率微调到0.003，以获得更好的鲁棒性，设置batch_size为32，前100轮冻结训练，损失下降速度快，后200轮解冻训练，网络不断微调，在总的300轮中150轮后验证集的损失变化逐渐减小，得到优化的yolox模型。

步骤4.2、采用测试集测试优化的yolox模型性能，获得检测结果：将居住环境下的输电线路鸟巢测试图输入优化的yolox模型，得出如图图5(a)所示的鸟巢图像检测结果；将复杂树木背景下的输电线路鸟巢测试图输入优化的yolox模型，得出如图5(b)所示的鸟巢图像检测结果。

Claims (5)

1.基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，其特征在于，具体按照以下步骤实施：

步骤1、采集鸟巢图像数据，标注并划分数据集为训练集、验证集和测试集；

步骤2、建立改进yolox算法网络模型，采用深度通道注意力模块和损失函数对yolox目标检测算法进行改进；

步骤3、将训练集中图像输入改进yolox算法网络模型进行训练，通过训练得到优化的yolox算法网络模型；

步骤4、将测试集中图像输入优化的yolox模型进行检测，获得鸟巢检测结果图。

2.根据权利要求1所述的基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，其特征在于，所述步骤1具体按照以下步骤实施：

步骤1.1、通过无人机搭载的高清摄像头拍摄大量的巡检视频，包括各种复杂背景下的输电线路鸟巢图像，以及远景、近景和特写的输电线路鸟巢图像，并保持每个类型的输电线路鸟巢图像数量一致；

步骤1.2、将步骤1.1中获得的鸟巢图像进行旋转、翻转、缩放、任意裁剪，从而得到扩充鸟巢图像；

步骤1.3、将步骤1.1中获得的鸟巢图像和步骤1.2中获得的扩充鸟巢图像总和作为鸟巢样本图像库，对鸟巢样本图像库中的每一图像样本制作对应的标签文件，对应的标签文件中含有鸟巢的类别标签，鸟巢的类别标签为nest，标签文件满足Pascal VOC格式的xml标签文件标准，xml标签文件包括图像ID、图像路径、图像名称、图像的像素高度及宽度，其中图像的像素高度和宽度通过一个矩形框的四个坐标表示，包括x_min，y_min，x_max，y_max，其中(x_min，y_min)是矩形框的左上顶点的坐标，(x_max,y_max)是矩形框右下顶点的坐标；

步骤1.4、按照8:1:1的比例将鸟巢样本图像库划分为训练集、验证集和测试集。

3.根据权利要求2所述的基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，其特征在于，所述步骤2具体按照以下步骤实施：

步骤2.1、改进yolox算法网络模型保持原yolox网络的Focus层、SPP层、CBS层、Neck层和prediction层的组合网络不变；主干网络Backbone中CSP1_X层添加深度通道注意力模块，；

步骤2.2、深度通道注意力模块结构如下：

对于输入的特征图X(X_1in、X_2in、X_3in)，X∈R^CxWxH，C为通道数，W和H为特征图的高和宽；

首先，利用最大池化和平均池化从两个角度提取第一分支输入特征图X_1in的特征：

X_max1＝f_maxpool(X_1in) (1)

X_avg1＝f_avgpool(X_1in) (2)

其中，X_1in表示第一分支输入特征图，f_maxpool表示进行最大池化，f_avgpool表示进行平均池化，X_max1表示最大池化的结果并且X_max1∈R^C×H/2×W/2，X_avg1表示平均的结果并且X_avg1∈R^{C ×H/2×W/2}；采用最大池提取输入特征图的重要信息，采用平均池提取输入特征图全局信息，将最大池化与平均池化的结果进行堆叠，通过Sigmoid函数输出：

A_c＝σ[Z_concot(X_max1+X_avg1)] (3)

其中，σ表示Sigmoid函数，Z_concot表示将最大池化与平均池化的结果进行堆叠，A_c表示经过Sigmoid函数的输出结果并且A_c∈R^C×1×1，A_c中的每个元素都表示其对应通道的重要性级别；

其次，将输入特征图X_lin分为两个路径，一个路径与Sigmoid函数输出进行融合；另一个路径先进行3x3的卷积后，通过深度可分离卷积之后经过Relu函数输出：

X_1-1＝A_c*X_lin

X_1-2＝f_conv3(X_lin)

X_1-3＝Relu[f_conv3×3(X_1-2)+f_convl×1(X_1-2)] (4)

其中X_1-1表示输入特征图X_lin与Sigmoid函数输出A_c融合的结果，f_conv3表示进行3x3的卷积运算，X_1-2表示3x3的卷积运算的结果，f_conv3x3表示逐通道卷积，f_convlx1表示逐点卷积，逐通道卷积f_conv3x3和逐点卷积f_convlxl合称为深度可分离卷积，Relu表示进行Relu激活运算，X_1-3表示进行Relu激活运算的结果；

最后，将X_1-1与X_1-3进行堆叠输出：

X_1-out＝X_1-1+X_1-3 (5)

其中，X_l-out表示X_1-1和X_1-3进行堆叠的结果，以上提取特征过程即为深度提取，

深度通道注意力模块的第二分支输入特征图X_2in的宽和高进行2倍上采样和第三分支输入特征图X_3in的宽和高进行4倍上采样之后都输入到深度提取中提取特征；第二分支输入特征图X_2in在深度提取特征后经过最大池化输出得到X_2-out和第三分支输入特征图X_3in在深度提取特征后经过平均池化输出得到X_3-out：

X_2-out＝f_maxpool[F_DM(UP₂(X_2in))] (6)

X_3-out＝f_avgpool[F_DM(UP₄(X_3in))] (7)

其中X_2in表示第二分支输入特征图，X_3in表示第三分支输入特征图，UP₂表示对第二分支输入特征图X_2in的宽和高进行2倍上采样，UP₄表示对第三分支输入特征图X_3in的宽和高进行4倍上采样，F_DM表示把上采样后的特征图输入到深度提取中提取特征，X_2-out表示经过最大池化后的第二分支输出结果，X_3-out表示经过平均池化后的第三分支输出结果；

深度通道注意力模块的最后部分是将输入特征图X的三个分支输出结果X_1-out、X_2-out、X_3-out进行堆叠，再与输入特征图X进行加权融合得到目标的权重，输出新特征图：

X'＝X×(X_1-out+X_2-out+X_3-out) (8)

其中X’表示三个分支输出结果X_1-out、X_2-out、X_3-out进行加权融合后的新特征图；

步骤2.3、在Resunit层的两个CBS结构之间加入深度通道注意力模块，将改进后的Resunit层命名为Resunit*层，同时将Resunit*层引进CSP1_X层中进行提取目标，将改进后的CSP1_X层命名为CSP1_X*层，将CSP1_X*层引入yolox算法中得到改进yolox算法网络模型，

步骤2.4、在预测层选择现阶段表现最好的EIoU损失函数替换原IoU损失函数，EIOU损失函数计算公式如下:

/>

其中，IoU表示真实框A与预测框B的交集与并集之比，b和b^gt分别为预测框和真实框的中心点，c为能够同时包含预测框和真实框的最小闭合区域的对角线距离；p为两个中心点之间的欧式距离，α为权重因子，v为纵横比的相似度，w^gt表示真实框的宽度，h^gt表示真实框的高度，w表示预测帧的宽度，h表示预测帧的高度，Loss_CIoU表示CIoU函数的损失，Loss_EIoU表示EIoU函数的损失；Loss_EIoU损失函数包含三个部分：重叠损失1-IoU，中心距离损失

宽高损失/>

前两部分延续CIOU中的方法，但是Loss_EIoU损失函数的宽高损失直接使目标框与预测框的宽度和高度之差最小，使得收敛速度更快；

在EIOU的基础上结合损失函数Focal Loss提出一种Focal EIOU Loss，从梯度的角度出发，把高质量的锚框和低质量的锚框分开，公式如下：

L_Focal-EIoU＝IoU^γLoss_EIoU (15)

其中，γ为控制异常值抑制程度的参数，IoU表示真实框A与预测框B的交集与并集之比，L_Focal-EIoU表示提出的Focal EIOU Loss，得到改进yolox算法网络模型。

4.根据权利要求3所述的基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，所述步骤3具体按照以下步骤实施：

步骤3.1、将步骤1.4中划分的训练集图像输入到所述步骤3得到的改进yolox算法网络模型进行训练，设置batch_size为64，使用动量为0.9的随机梯度下降，训练300轮，得到训练结果；

步骤3.2、使用验证集对改进yolox算法网络模型进行验证，得到验证结果，分析训练结果和验证结果的差异，如是否过拟合、欠拟合；如果出现过拟合说明模型在训练集上表现很好，到了验证集就很差，即模型的泛化能力很差，需通过增加训练集图像数量、降低模型的复杂度、微调超参数等方法解决；若出现欠拟合说明模型在训练集、验证集表现都不佳，需通过提高模型复杂度、微调超参数、增加更多的目标特征等方法解决；

步骤3.3、通过在验证集上微调改进yolox算法网络模型的超参数，将学习率微调到0.003，以获得更好的鲁棒性，设置batch_size为32，得到优化的yolox模型。

5.根据权利要求4述的基于改进yolox算法的复杂环境下输电线路鸟巢检测方法，其特征在于，所述步骤4具体按照以下步骤实施：

步骤4.1、将测试集输入所述步骤3.3得到优化的yolox模型，优化具体过程为：yolox超参数设置：输入图像像素尺寸640*640，冻结训练100轮batch_size32，解冻训练200轮batch_size 4，num_workers2，Adam优化器，衰减权重系数5*10-4初始学习率1*10-5，测试集测试的时候设置IoU阈值为0.5进行试验，在验证时，将学习率微调到0.003，以获得更好的鲁棒性，设置batch_size为32，前100轮冻结训练，损失下降速度快，后200轮解冻训练，网络不断微调，在总的300轮中150轮后验证集的损失变化逐渐减小，得到优化的yolox模型；

步骤4.2、采用测试集测试优化的yolox模型性能，获得检测结果。

Images