CN117495825A - 一种变电站塔杆异物检测方法 - Google Patents

Abstract

本发明涉及一种变电站塔杆异物检测方法，包括如下步骤：(1)、构建变电站塔杆异物图像数据集，并将数据集划分为训练集、验证集和测试集；而后对每个类别训练所需的正负样本数量进行粗略估计；(2)、对变电站塔杆异物图像进行数据增强，改善图像数据的质量和多样性；(3)、用训练集对深度学习网络结构模型进行训练，得到训练模型及权重；(4)、根据训练网络结构模型输出检测的变电站塔杆异物图像，对标记有变电站塔杆异物的图像进行评价。本发明利用了一种新的深度学习网络结构模型，其极大的提高了异物的发现率及增强了识别的准确性。

Description

一种变电站塔杆异物检测方法

技术领域

本发明属于智能电力巡检技术领域，具体涉及一种变电站塔杆异物检测方法。

背景技术

随着电力需求的持续增长，变电站塔杆面临着越来越大的挑战。变电站塔杆上常常出现鸟巢、气球、风筝等异物，这些异物可能对塔杆和电力系统的正常运行构成潜在威胁。如果未能及时检测和处理这些异物，它们可能引发电力系统的故障，导致电力中断，甚至对鸟类和环境造成不良影响。为了确保电力系统的可靠性和安全性，电力部门迫切需要一种快速而准确的方法来检测和排除变电站塔杆上的异物隐患，以应对日益增加的挑战。目前，变电站塔杆异物检测通常采用一阶段或多阶段的检测算法，但由于鸟巢、气球、风筝等异物的种类繁多，数量众多，传统检测方法往往难以满足准确性和效率的要求。这些异物往往具有小目标、占比较小的特点，直接采用传统检测算法可能导致低的发现率和高的误报率。因此，为了提高变电站塔杆异物检测的性能，需要研究和开发创新的检测技术和方法，以确保及时发现和处理这些异物，维护电力系统的安全和可靠性。

发明内容

本发明的目的在于解决变电站塔杆多种异物难以同时识别，识别精度较低，且神经网络网络模型训练过程效率低下的问题。提出了一种变电站塔杆异物检测方法，能够有效识别收集到的塔杆图像数据中存在的异物，通过关键点检测模型实现塔杆异物的精准判断，最终实现高速度高精度的塔杆多种异物识别功能，提高对变电站塔杆异物检查的效率。

为了达到上述目的，本发明解决其技术问题所采用的技术方案是：一种变电站塔杆异物检测方法，包括如下步骤：

(1)、构建变电站塔杆异物图像数据集，并将数据集划分为训练集、验证集和测试集；而后对每个类别训练所需的正负样本数量进行粗略估计；

(2)、对变电站塔杆异物图像进行数据增强，改善图像数据的质量和多样性；

(3)、用训练集对深度学习网络结构模型进行训练，得到训练模型及权重；

(4)、根据训练网络结构模型输出检测的变电站塔杆异物图像，对标记有变电站塔杆异物的图像进行评价。

步骤(1)中的变电站塔杆异物图像数据集分为：鸟巢、气球、风筝和其他；变电站塔杆异物图像数据集按8:1:1的比例划分为训练集、验证集和测试集。

所述的正负样本数量粗略估计方法具体如下：

针对每个异物类别，分别计算其在图像数据集中的标签总次数和平均预测框大小，每个异物类别训练所需的正负样本数量计算公式如下：

其中N_all为图像数据集总数，为一个异物类别训练所需的正样本数量，/>为一个异物类别训练所需的负数样本数量，N_class为多个类别出现在同一张图像的次数，和/>分别为一个异物类别的标签总次数和平均预测框大小。α，β和λ是比例参数，α值和β值范围在[0,1]，λ值范围在[3,10]

所述步骤(2)中数据增强包括：1)根据历史收集的变电站塔杆异物数据集图像特征，对变电站塔杆异物数据集进行几何变化增强、2)改变塔杆异物数据集图像的亮度和对比度、对塔杆异物数据集图像添加云，雾，雨等天气、3)对塔杆异物数据集图像进行马赛克图像预处理。

所述步骤(3)中深度学习网络结构模型包括骨干部分、颈部部分及预测头部，所述骨干部分包括使用Conv_bn_silu、EMA，CSPLayer和SPPF模块构建的特征提取网络，其中采用普通卷积、批量归一化操作以及SiLU激活函数构建的Conv_bn_silu模块，所述骨干部分还设置了一种具有跨空间学习的高效多尺度注意力模块，所述模块突出变电站塔杆异物与背景的差异性，同时保持对变电站塔杆异物特征的关注，然后通过构建的CSPLayer层，以此三次循环获取三个不同尺度的有效特征层，传入用于特征融合的颈部部分；

所述颈部部分采用FPN金字塔结构，颈部部分将高层特征通过上采样和低层特征做融合得到进行预测的特征图。

所述的预测头部引入了解耦头结构，其包括两个Conv_bn_silu模块，再通过一个动态维度卷积ODConv，最后分别算出classifcation loss和Bbox loss，选用EIOU损失函数作为新的边界损失函数；

EIOU损失函数由IoU Loss和EIOU Loss两个损失组成部分，所述的IoU Loss用于衡量预测框和真实框之间的重叠程度，所述的EIOU Loss用于平滑化边界框回归的过程；

所述的EIOU损失函数如下所示：

式中，A表示预测框面积，B表示真实框面积，b表示预测框的中心点，b^gt表示真实框的中心点，w表示预测框的宽中点，w^gt表示真实框的宽中点，h表示预测框的长中点，h^gt表示真实框的长中点，ρ表示计算两点的欧式距离，c_w表示覆盖预测框和真实框的最小外接框的宽度，c_h表示覆盖预测框和真实框的最小外接框的长度；

所述步骤(3)中，用训练集对新的深度学习网络结构模型进行训练，得到训练模型及权重；训练次数为300次，批次大小为16次，学习率0.01，获取模型的训练参数，取平均精确值(mAP)最大的训练权重。

所述步骤(4)中，网络结构模型通过矩形的预测框标记这些异物，并给出相应的预测框坐标、标签和交并比IOU，所述的变电站塔杆异物图像评估方法步骤具体如下：步骤如下：

S1：根据每个预测框的置信度，将这些框分为不同的类别子集合，其中包括一个背景类别；

S2：在每个子类别集合内，按照预测框的置信度进行降序排列，得到一个降序排列的列表；

S3：从降序列表中选择具有最高置信度的预测框，然后计算它与其他预测框的IOU，如果某个预测框与当前最高置信度的预测框的IOU超过设定的阈值0.7，则将其置信度值降低0.3，若降低后的置信度小于临界值0.2，则移除此预测框，而后重新对列表进行降序排列，选择第二高置信度的预测框，继续进行IOU比较和筛选，以此类推，直到降序列表中的所有预测框都完成筛选。

S4：对每个类别子集合的降序列表，重复S3的操作，确保所有子类别的预测框都经过了筛选，输出最准确的异物图像检测框。

本发明利用了一种新的深度学习网络结构模型，该骨干部分设计并增加一种具有跨空间学习的高效多尺度注意力模块；预测头部引入了解耦头结构，利用动态维度卷积替换普通卷积；选用EIOU损失函数作为新的边界损失函数，且将检测到的变电站塔杆异物图像通过自学习过程补充到数据库，其极大的提高了异物的发现率及增强了识别的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍。

图1为本发明的一种变电站塔杆异物检测方法的流程图。

图2为本发明提供的深度学习网络结构模型图。

图3为本发明提供的一种具有跨空间学习的高效多尺度注意力模块结构模型图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参阅图1所示，本发明提供的一种变电站塔杆异物检测方法，具体包括如下步骤：

1)构建变电站塔杆异物图像数据集，根据所收集图像是否包含塔杆异物，对图像进行筛选，使得多种塔杆的异物数量大致相当。使用图像标注工具，对初步筛选后的图像进行标注，主要标注出多种塔杆的异物位置信息和分类信息，按8:1:1比例，将标注后的数据划分为训练集、验证集和测试集。在变电站塔杆异物图像数据集的构建过程中，所述的正负样本数量粗略估计方法具体如下：

针对每个异物类别，分别计算其在图像数据集中的标签总次数和平均预测框大小，每个异物类别训练所需的正负样本数量计算公式如下：

其中N_all为图像数据集总数，为一个异物类别训练所需的正样本数量，/>为一个异物类别训练所需的负数样本数量，N_vl1ss为多个类别出现在同一张图像的次数，和/>分别为一个异物类别的标签总次数和平均预测框大小，α，β和λ是比例参数，α值和β值范围在[0,1]，λ值范围在[3,10]

2)对变电站塔杆异物图像进行数据增强，根据历史收集的变电站塔杆异物数据集图像的特征，对变电站塔杆异物数据集进行几何变化增强，如旋转、镜像、缩放和裁剪等，模拟拍摄时不同角度对目标形状和大小的影响；改变塔杆异物数据集图像的亮度和对比度，模拟不同光照条件下的图像；对塔杆异物数据集图像添加云，雾，雨等天气，使得数据集图像更加贴近真实情景；塔杆异物数据集图像进行马赛克图像预处理技术，在训练过程中一次性传入四张图像进行学习，增加单次训练样本数量及目标多样性，提升网络训练收敛速度以及检测精确度，并且把大样本随机缩减成了小样本，增加了小尺度目标的数量。多种数据增强方法有效地增加了图像的丰富度，缓解了过拟合的问题，保证了输出图像必须包含足够的有效信息，有效提高了小目标的检测效果；

3)提出一种新的深度学习网络结构模型，该模型由用于特征提取的骨干部分、用于特征融合的颈部部分和预测头部组成。创新点在于：骨干部分设计并增加一种具有跨空间学习的高效多尺度注意力模块；预测头部引入了解耦头结构，提出一种动态维度卷积替换普通卷积；选用EIOU损失函数作为新的边界损失函数。

具体结构如图2：

(a)、骨干部分利用Conv_bn_silu、EMA，CSPLayer以及SPPF模块构建特征提取网络。采用普通卷积、批量归一化操作以及SiLU激活函数构建Conv_bn_silu模块，并将输入图片在骨干部分设计并增加一种具有跨空间学习的高效多尺度注意力模块，能够突出变电站塔杆异物与背景的差异性，同时保持对变电站塔杆异物特征的关注，然后通过构建的CSPLayer层，以此三次循环获取三个不同尺度的有效特征层，传入用于特征融合的颈部部分。具有跨空间学习的高效多尺度注意力模块如图3所示，首先将任意给定的输入特征图(尺寸为H×W×C)沿着通道维度方向划分为两个子特征以学习不同的语义，学习到的注意力权重描述符将被用来加强每个子特征中感兴趣区域的特征表示；接着对一个子特征进行分组，重新排列张量的维度，实现捕获局部跨通道交互以扩大特征空间；然后分别通过不同卷积核的卷积，获取图像中的不同特征、纹理和结构，扩充图像的视野；其次将分组的模块堆叠在一起以创建一个新维度的子特征，并且再恢复到原来维度的子特征，使得其能够与另一个子特征进行残差格式的串联，保证通道数的一致；最后再进行一个卷积核为1的卷积，使得不同通道之间的特征进行信息交互，改善模型的表示能力，使其更好地捕获输入数据的关联性。其中'bs'代表批次大小、'c'代表通道数、'g'代表组数，'h'和'w'代表高与宽。

(b)、颈部部分采用FPN金字塔结构，FPN金字塔结构是先下采样，然后再上采样，上采样和下采样的这两个分支之间还有两个跨层融合连接，将高层的强语义特征传递下来，对整个金字塔进行增强，将高层特征通过上采样和低层特征做融合得到进行预测的特征图。

(c)、预测头部引入了解耦头结构，先分成通过两个Conv_bn_silu模块，再通过一个动态维度卷积(ODConv),最后分别算出classifcation loss和Bbox loss，选用EIOU损失函数作为新的边界损失函数。

EIOU损失函数由IoU Loss和EIOU Loss两个损失组成部分，所述的IoU Loss用于衡量预测框和真实框之间的重叠程度，所述的EIOU Loss用于平滑化边界框回归的过程；

所述的EIOU损失函数如下所示：

式中，A表示预测框面积，B表示真实框面积，b表示预测框的中心点，b^gt表示真实框的中心点，w表示预测框的宽中点，w^gt表示真实框的宽中点，h表示预测框的长中点，h^gt表示真实框的长中点，ρ表示计算两点的欧式距离，c_w表示覆盖预测框和真实框的最小外接框的宽度，c_h表示覆盖预测框和真实框的最小外接框的长度；

4)用训练集对新的深度学习网络结构模型进行训练，得到训练模型及权重；训练次数为300次，批次大小为16次，学习率0.01，获取模型的训练参数，取平均精确值(mAP)最大的训练权重。

5)网络结构模型通过矩形的预测框标记这些异物，并给出相应的预测框坐标、标签和交并比IOU，所述的变电站塔杆异物图像评估方法步骤具体如下：

S1：根据每个预测框的置信度，将这些框分为不同的类别子集合，其中包括一个背景类别；

S2：在每个子类别集合内，按照预测框的置信度进行降序排列，得到一个降序排列的列表；

S3：从降序列表中选择具有最高置信度的预测框，然后计算它与其他预测框的IOU，如果某个预测框与当前最高置信度的预测框的IOU超过设定的阈值0.7，则将其置信度值降低0.3，若降低后的置信度小于临界值0.2，则移除此预测框，而后重新对列表进行降序排列，选择第二高置信度的预测框，继续进行IOU比较和筛选，以此类推，直到降序列表中的所有预测框都完成筛选。

S4：对每个类别子集合的降序列表，重复S3的操作，确保所有子类别的预测框都经过了筛选，输出最准确的异物图像检测框。

以上公开的本发明优选实施例只是用于帮助阐述本发明，优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。

Claims (6)

1.一种变电站塔杆异物检测方法，其特征在于：包括如下步骤：

(1)、构建变电站塔杆异物图像数据集，并将数据集划分为训练集、验证集和测试集；而后对每个类别训练所需的正负样本数量进行粗略估计；

(2)、对变电站塔杆异物图像进行数据增强，改善图像数据的质量和多样性；

(3)、用训练集对深度学习网络结构模型进行训练，得到训练模型及权重；

(4)、根据训练网络结构模型输出检测的变电站塔杆异物图像，对标记有变电站塔杆异物的图像进行评价。

2.根据权利要求1所述一种变电站塔杆异物检测方法，其特征在于，步骤(1)中的变电站塔杆异物图像数据集分为：鸟巢、气球、风筝和其他；变电站塔杆异物图像数据集按8:1:1的比例划分为训练集、验证集和测试集；

所述的正负样本数量粗略估计方法具体如下：

针对每个异物类别，分别计算其在图像数据集中的标签总次数和平均预测框大小，每个异物类别训练所需的正负样本数量计算公式如下：

其中N_all为图像数据集总数，为一个异物类别训练所需的正样本数量，/>为一个异物类别训练所需的负数样本数量，N_class为多个类别出现在同一张图像的次数，/>和/>分别为一个异物类别的标签总次数和平均预测框大小，α，β和λ是比例参数，α值和β值范围在[0,1]，λ值范围在[3,10]。

3.根据权利要求1所述一种变电站塔杆异物检测方法，其特征在于，所述步骤(2)中数据增强包括：1)根据历史收集的变电站塔杆异物数据集图像的特征，对变电站塔杆异物数据集进行几何变化增强、2)改变塔杆异物数据集图像的亮度和对比度、对塔杆异物数据集图像添加云，雾，雨等天气、3)对塔杆异物数据集图像进行马赛克图像预处理。

4.根据权利要求1所述一种变电站塔杆异物检测方法，其特征在于，所述步骤(3)中深度学习网络结构模型包括骨干部分、颈部部分及预测头部，所述骨干部分包括使用Conv_bn_silu、EMA，CSPLayer和SPPF模块构建的特征提取网络，其中采用普通卷积、批量归一化操作以及SiLU激活函数构建的Conv_bn_silu模块，所述骨干部分还设置了一种具有跨空间学习的高效多尺度注意力模块，所述模块突出变电站塔杆异物与背景的差异性，同时保持对变电站塔杆异物特征的关注，然后通过构建的CSPLayer层，以此三次循环获取三个不同尺度的有效特征层，传入用于特征融合的颈部部分；

所述颈部部分采用FPN金字塔结构，颈部部分将高层特征通过上采样和低层特征做融合得到进行预测的特征图。

所述的预测头部引入了解耦头结构，其包括两个Conv_bn_silu模块，再通过一个动态维度卷积ODConv，最后分别算出classifcation loss和Bboxloss，选用EIOU损失函数作为新的边界损失函数；

EIOU损失函数由IoU Loss和EIOU Loss两个损失组成部分，所述的IoU Loss用于衡量预测框和真实框之间的重叠程度，所述的EIOU Loss用于平滑化边界框回归的过程；

所述的EIOU损失函数如下所示：

式中，A表示预测框面积，B表示真实框面积，b表示预测框的中心点，b^gt表示真实框的中心点，w表示预测框的宽中点，w^gt表示真实框的宽中点，h表示预测框的长中点，h^gt表示真实框的长中点，ρ表示计算两点的欧式距离，c_w表示覆盖预测框和真实框的最小外接框的宽度，c_h表示覆盖预测框和真实框的最小外接框的长度。

5.根据权利要求1所述一种变电站塔杆异物检测方法，其特征在于，所述步骤(3)中，用训练集对深度学习网络结构模型进行训练，得到训练模型及权重；训练次数为300次，批次大小为16次，学习率0.01，获取模型的训练参数，取平均精确值(mAP)最大的训练权重。

6.根据权利要求1所述一种变电站塔杆异物检测方法，其特征在于，所述步骤(4)中，所述网络结构模型通过矩形的预测框标记这些异物，并给出相应的预测框坐标、标签和交并比IOU，所述的变电站塔杆异物图像评估方法步骤具体如下：

S1：根据每个预测框的置信度，将这些框分为不同的类别子集合，其中包括一个背景类别；

S2：在每个子类别集合内，按照预测框的置信度进行降序排列，得到一个降序排列的列表；

S3：从降序列表中选择具有最高置信度的预测框，然后计算它与其他预测框的IOU，如果某个预测框与当前最高置信度的预测框的IOU超过设定的阈值0.7，则将其置信度值降低0.3，若降低后的置信度小于临界值0.2，则移除此预测框，而后重新对列表进行降序排列，选择第二高置信度的预测框，继续进行IOU比较和筛选，以此类推，直到降序列表中的所有预测框都完成筛选。

S4：对每个类别子集合的降序列表，重复S3的操作，确保所有子类别的预测框都经过了筛选，输出最准确的异物图像检测框。