CN114386478A - 电力设备自动监测多目标检测网络的构建方法 - Google Patents

Abstract

一种电力设备自动监测多目标检测网络的构建方法，把YOLOv3网络作为基础网络，对该网络进行优化，主要针对电力设备智能巡检中由待检测目标较小，当拍摄角度倾斜并且光线条件差时导致的检测精度下降问题，用K‑means聚类初始目标边框，TSE损失函数和自适应特征融合的方式提升网络检测精度，解决目前常见的网络检测精度低的问题。本发明构建的改进的YOLOv3网络模型比原模型检测准确率上有提高。本方法使网络适应电力设备中小物体和具有更高的鲁棒性和实时性。

Description

电力设备自动监测多目标检测网络的构建方法

技术领域

本发明涉及应用YOLOv3检测网络的多目标检测既技术领域，具体是一种电力设备自动监测多目标检测网络的构建方法。

技术背景

智能时代已经到来，电力设备的智能巡检需求与日俱增，朝着无人值守的方向发展。

目前，用深度学习方法对电力设备上待检测物体(高压开关柜上的状态指示灯、各种数字仪表及指针式仪表、高压隔离开关)的位置和类别进行检测是实现自动监测的重要步骤，同样也是待解决的问题之一。

在工程实现中，由于设备的种类也很多，在巡检设备拍摄图像定位时都会带来或多或少的偏差，而且待检测物体大小形状各异，不管是用何种设备、何种监测方式巡检，这都会给检测结果带来一些误差。

目前根据许多目标识别研究的结果表明：很多对大型数据集(如COCO、 ImageNet、VOC等)验证的速度快、准确率高的目标检测模型(如YOLOv3模型) 在针对电力设备上的高压开关柜仪表、分合指示灯和高压隔离开关等特定识别目标进行检测时，由于这些待检测物体中有很多小物体，而且会被环境变换影响，并没有表现出很高的检测准确率和鲁棒性。

发明内容

为了解决上述技术问题，本发明提出一种电力设备自动监测多目标检测网络的构建方法，本发明把YOLOv3网络作为基础网络，对该网络进行优化，主要针对电力设备智能巡检中由待检测目标较小，当拍摄角度倾斜并且光线条件差时导致的检测精度下降问题，用K-means聚类初始目标边框，TSE损失函数和自适应特征融合的方式提升网络检测精度，解决目前常见的网络检测精度低的问题。

在使用相同的自制数据集和开源数据集结合的数据集上，对发明修改后的网络和原网络及其他传统目标检测网络进行训练对比，本发明构建的改进的 YOLOv3网络模型比原模型检测准确率上有提高。本方法使网络适应电力设备中小物体和具有更高的鲁棒性和实时性。

附图说明

图1(a)～图1(f)是K-means算法图解；

图2是自适应空间特征融合方式示意图；

图3是TSE导数和SSE导数曲线图；

图4是Sigmoid函数及其导数曲线图；

图5是TSE与SSE导数的梯度变化图；

图6是数据增强前后检测效果对比图；

图7(a)和图7(b)是改变特征融合方式前后结果对比图；

图8是β取不同值时，目标检测的mA对比图。

具体实施方式

下面结合附图与具体实施方式对本案进一步说明。

对于巡检摄像机采集到的图像数据，本发明采用数据增强的方法，对样本进行数据增；利用K-means算法对先验框进行调整；在检测网络中加入自适应特征融合模块；优化loss损失函数，使用改进版的TES损失函数。具体如下：

一：扩增数据集

检测准确率的高低需要依靠数据集的质量，并且数据集的数量同样会对检测准确率有影响。为避免网络由于数据太少会产生过拟合现象，本文对样本进行了数据增广，包括缩放、镜像、裁剪和高斯噪声变化。同时，用了一些数据增强的技巧。比如：为了模拟出现遮挡或者拍摄模糊的情况，采用了Cutout方式，该方法是将样本中的部分区域随机剪掉，并且用0像素值进行填充，分类的结果不变；为了丰富检测物体的背景，减少计算量，使BN计算的时候一次会计算四张图片的数据，该方法是Mosice(利用了四张图片进行拼接)；为了模拟在反光场景或者昏暗场景，采用了HSV变换方式(将图片变的或亮或暗)。

二：K-means结合先验设置anchor box

Anchor box表示在样本中把标注的所有物体框聚类到几个大小不一样的框，目的是需要把目标的预测框控制在一定范围中，同时对尺寸进行先验，使得网络可以多尺度学习，这么做也使得模型训练时不用漫无目的的找目标，可以使模型收敛的更快。原始YOLOv3中就是使用该方法，K-means聚类是迭代的过程，具体步骤如下：

1、需要设k值，这个k值表示聚类后的数据集可分为k个集合。

2、确定质心：在数据集中随意设定k个点，这几个点就是最初的质心。

3、划分集合：数据集中每个点都需要计算这个点与各个质心的距离(如欧式距离)，算出距离后看哪个距离与质心最近。则把这个点划分到该质心属于的那个集合中。

4、所有的数据点都被计算后会得到k个集合，随后再一次对每一个新的集合计算一遍质心的位置。

5、如果重新计算得出的质心与原质心距离与设置的阈值差别较大，则需要重复3～4步。

算法图解如图1(a)～图1(f)，其中：

图1(a)表示最开始的数据集用圆点表示样本，并且将k的值设置为2。

在图1(b)中，根据步骤2，左上角的点(用×表示)和右下角的点(用×表示)就是这两个质心，之后根据样本中其它原圆点的位置分别计算与左上角的点和右下角的点的距离。

如图1(c)所示，经过计算后，距离左上角的点近的圆点被标记为第一类，距离右下角的点近的圆点被标记为第二类。在第一类圆点聚集的地方有部分第二类圆点，在第二类圆点聚集的地方有部分第一类圆点。

如图1(d)所示，被重新划分后的样本重新求取两个集合的质心，则两个新的质心发生了变化(原左上角的用×表示的点与第一类圆点聚集，原右下角的用×表示的点与第二类圆点聚集)。

图1(e)和图1(f)的过程就是继续做图1(c)和图1(d)的过程，即将所有点的类别标记为距离最近的质心的类别并求新的质心。

图1(f)中是最终结果，在该图中聚集的圆点被归为同一类，即右上角位置的所有圆点被归为第二类，左下角位置的所有圆点被归为第一类。

在得出符合原数据集中物体大小的锚框后，就需要确定锚框的数量，但是具体数量是通过原始YOLOv3实验后得出，实验发现，通过比较不同数量间的召回率发现，当锚框取9个的时候召回率最高，这9个锚框大小为：[10×13]，[16 ×30]，[33×23]，[30×61]，[62×45]，[59×119]，[116×90]，[156×198]，[373 ×326]。但是针对电力设备上的物体，YOLOv3原始数据集的Anchor差距很大，其中包括很大的Anchor框，这对于电力设备上的小目标来说并不合适。

为了更好更快的收敛，并且提高检测准确率，本方法重新根据K-means算法重新设计了一组适合于本方法所用到自制数据集的Anchor框，经实验得具体参数为[10×17]，[16×27]，[17×31]，[17×75]，[18×31]，[27×34]，[31×53]， [40×65]，[71×75]，并且通过重新聚类后的结果与原始YOLOv3中设置的Anchor 框进行对比，发现用本方法的数据集聚类的准确率比用原始YOLOv3的准确率提高了约10％。说明针对电力设备场景下的数据集本方法的Anchor框效果更好。

三：自适应特征融合(ASFF)

检测小目标时，如果使用网络的低层次特征信息来预测会导致分类结果不理想，因为检测小目标需要高层次特征信息。也就是说SSD网络没有将低层和高层的特征信息利用完全，所以为了解决这个问题，使得网络能够学习到更多特征，研究出了特征融合的方法，把低层和高层的特征信息结合起来，让分类任务和回归任务输入的多尺度特征图带有更多的特征信息，提高检测准确率。

因此，多尺度特征网络融合技术迅速发展，即利用不同阶段的不同尺度特征图识别大小不一样的目标。原始YOLOv3中是采用的FPN自上而下特征融合方式。与其他特征融合不一样的是它的预测是在不同特征层独立进行的，但是这种融合方式多用concatenation直接衔接的方式，这么衔接不能将不同尺寸的特征充分的利用起来。

由于本方法目标检测应用的场景下的待检测物体大小各有不同，差异较大，所以本方法用图2所示的自适应空间特征融合(ASFF)的融合方式来替代直接衔接的方式。

现有的融合大多数是依靠元素的特征融合方法和依靠互相级联的不同层次的特征融合方法，自适应特征融合是一种新的依靠不同数据之间关系的金字塔式的特征融合。其思想是可以自己适应并且学习不同尺度的空间权重的图融合，它分为两个步骤：

1.调整尺寸：因为YOLOv3中需要融合的三个卷积层之间的分辨率和通道数不同，所以修改不同层的上采样和下采样的参数，使。

2.自适应融合：以S3为例，自适应融合公式如下所示：

其中j表示第几层，i表示第几个神经元，X^1→l，X^2→l，X^3→l分别为来自B3，B4，B5的特征，如果想得到特征融合后的特征S3，则需要将这些特征乘上来自不同层的权重参数α³，β³和γ³，最后相加。需要注意的是相加的条件为不仅B3～B5层输出的特征大小相同，而且通道数也要相同，这就需要对不同层的特征图做上采样或下采样进行调整通道数。经过调整后的B3～B5的特征图通过1×1卷积得到权值参数α、β和γ：

通过自适应空间特征融合方式可以看出，对于小物体更需要底层特征中的细粒。

四：改进TSE损失函数

随着卷积层的加深，损失函数的作用越来越重要。如果损失函数选择合适的话，模型收敛的自然会更快；如果选择不合适就会导致网络模型收敛效果不。原始的YOLOv3网络的输出最后都会通过Sigmoid函数，然后采用SSE(Sum Squared Error)和方差损失函数计算得出。由于在YOLOv3网络中存在正负样本不均衡情况，刚开始训练时很容易出现网络的输出都是0，这时候误差很大的部分就是真实值为1的部分，误差接近零的部分是负样本的真实值是0的部分，对于预测值x和预测值y来说，差值范围更是–1～1之间，而不是正常的范围0～1 之间，因此YOLOv3使用平方损失函数进行计算,同时直接使用下面的公式计算梯度值。

grad＝t_x-pred_x

该公式正好是平方损失函数的导数形式，其中t_x为真实值，pred_x为预测值，根据这样的思路，在本文需要的网络中，由于电力设备中物体特征相似性比较高，存在正负样本不均衡的情况更加明显，使用SSE损失函数不能很好的适应于本文的目标检测算法，因此选择用TSE(Tan-Squared Error)损失函数代替SSE损失函数。TSE导数形式如下公式所示：

在YOLOv3中，t-σ(z)∈(-1，1)，z＝wx+b，z表示神经网络未经激活函数后的输出值，w表示神经网路的权重参数，x表示神经网络的输入源、b表示神经网络的权重偏置参数。

由于t也是不定项，此差值与σ(z)本身的取值无关，令x＝t-σ(z)，作出函数图像(如图3)。

通过图3的坐标图可以发现，两个函数的导数的y值范围均为–1～1，并且和平方损失函数的导数的绝对值肯定是要大于Tan方损失函数的导数绝对值，当出现真实值和预测值的结果误差差别很大的时候，可以通过它缩小误差，由 sigmoid函数和其导数(如图4)可知，如果结果经过sigmoid函数，可以使w 的偏导数和b的偏导数可以慢慢的增大，这样既增加了开始实验时的收敛速度，同时也将削弱梯度消失带来的问题。因为和平方损失函数的值要稍微大于Tan 方损失函数的值，对于真实值和预测值之间的误差接近0的情况，为了模型得到更好收敛，可以使输出层权重的调整幅度更小。这样可以更好的解决训练模型不收敛和训练过程中结果发散的情况，可以使调整幅度控制在很小范围内。Sigmoid 函数公式与对x的导数公式如下：

图4所示为Sigmoid函数及其导数。

虽然使用TSE损失函数在电力设备场景下目标检测的效果比用SSE损失函数有所提高，但是使用该损失函数同样不能达到电力设备下要求达到的检测准确率，所以在此基础上，认为TSE损失函数还有改进的空间。

由于TSE损失函数分母是个常数，因此考虑再增加一个常数因子β，使损失函数更加灵活，通过β的取值，让TSE损失函数更能适应电力设备场景下的目标检测任务，实验证明改变TSE损失函数分母的取值确实可以缩小真实值和预测值之间的误差，β的具体取值由后面实验分析得出，改变后的TSE导数形式如公式如下：

由于网络的加深，很容易出现梯度消失的情况，但是由图5可以看出，TSE 导数的梯度最小值为0.6左右，如果误差很大，那么梯度也不会出现为零的情况，这样就不会梯度消失。并且TSE损失函数导数的梯度不是常数，而是根据误差大小变化的，由图5可以看出，误差增大时，梯度值也随之增加，同时加大对权重的调整；误差减小时，梯度值也随之减小，可以通过更小的变化率调整权重。这样会让神经网络模型更好的收敛，并且对连续变量预测值x和预测值y，TSE 比SSE更具有优势。

五、改进前后检测结果分析

本发明设计了针对目前电力设备自动监测技术中目标检测算法，该算法延用了YOLOv3的整体框架，对其中的先验框、特征融合、损失函数部分做了有针对性的改进，使该算法适应电力设备场景下的检测，下面对每一项改进后的效果进行分析，以mAP作为衡量检测效果，mAP表示衡量模型在所有类别上的好坏， AP则表示衡量的是学出来的模型在每个类别上的好坏。

1.数据增强效果对比：

参考图6，加入数据增强后，HSV变换解决了反光带来的影响，而Cutout 解决了由于拍摄角度问题导致的物体不完整问题，通过图6可以看出，数据增强后的网络对每一小类的检测准确率(横坐标AP：表示衡量的是学出来的模型在每个类别上的好坏)都比数据增强前高很多，因此数据增强技术确实可以在复杂环境下提高检测成功率。

2.自适应特征融合效果分析：

在图7(a)和图7(b)中，图7(a)的图片是用原YOLOv3网络在新建数据集下检测后得出的结果，可以看出原YOLOv3网络检测不到在图片上仅有十几像素的物体。如图7(b)是在采用自适应特征融合后，这些小物体可以被检测出，并且基本上没有误检和漏检的情况，这充分说明自适应特征融合在电力设备自动监测网络中是有效的。

3.TSE损失函数加入常数因子β的效果分析：

图8中的横坐标表示β的不同取值，纵坐标表示目标检测的mAP。图8表示在原YOLOv3网络中将TSE损失函数代替SSE损失函数后，为了让带常数因子β的TSE导数形式适应各种环境下的检测，本发明在摄像机正常、倾斜、反光和昏暗的拍摄情况下分别进行了实验，并且用原始TSE导数形式与β取0.25、 0.5、0.75和1时(不考虑大于1的情况)分别比较，可以看出，不管在哪种情况下，β取0.25时目标检测的mAP都最高，正常拍摄情况下比原始TSE导数形式的目标检测mAP高约4％，其他情况下也略有提升，因此把β常数因子取值0.25。

4.数据增强、先验框、损失函数和特征融合网络每一步的效果分析：

由表可以看出，本发明采用电力设备专用数据集对改进之后YOLOv3的算法检测得出mAP为82.2％，比原YOLOv3的mAP提高了10.3％。

首先，其中用了数据增强之后的mAP比原模型提高了2.2％，对每种类型的物体检测率都有提高；

其次，在用了自适应特征融合之后，发现总的mAP下降了0.2％，从每一类的AP可以看出，对指示灯、计数器这种小目标检测的准确率略有提高，但是对其他大目标的检测准确率有所下降。

所以可以得出用了自适应特征融合之后算法模型对小目标检测有作用，但是整体上看mAP并没有提高；然后，在电力设备专用数据集上重新设计符合该数据集的新先验框后，不管是哪一类物体的AP都有提高，所以使模型的整体mAP 有明显的提高；

最后，用了添加常数因子的TSE损失函数之后，模型整体mAP略有提高，但是提高的不是很明显。因此，由表1结果表明：本方法在检测准确度方面实现了较大程度的提升，虽然检测速度有下降，但是同样可以满足电力设备场景下实时监测的需求，因此验证了该网络框架的有效性。

表1改进后的New-YOLOv3与原YOLOv3性能对比

总结

本发明把YOLOv3网络作为基础网络，对该网络进行优化，主要针对电力设备智能巡检中由待检测目标较小，当拍摄角度倾斜并且光线条件差时导致的检测精度下降问题，用K-means聚类初始目标边框，TSE损失函数和自适应特征融合的方式提升网络检测精度，解决目前常见的网络检测精度低的问题。

在使用相同的自制数据集和开源数据集结合的数据集上，对发明修改后的网络和原网络及其他传统目标检测网络进行训练对比，改进后的YOLOv3算法模型比原模型检测准确率上有提高，证明本方法可行。

Claims (4)

1.一种电力设备自动监测多目标检测网络的构建方法，首先由巡检摄像机拍摄电力设备操作面板以及控制面板的图像样本；然后采用YOLOv3网络对图像样本进行处理，步骤包括：

1)扩增数据集；

对样本进行了数据增广，包括缩放、镜像、裁剪和高斯噪声变化；

2)在YOLOv3中采用K-means聚类算法对先验框进行调整；

在YOLOv3中采用K-means聚类步骤包括：

2.1)设k值，k值表示聚类后的数据集分为k个集合；

2.2)确定质心：在数据集中随意设定k个点，这几个点就是最初的质心。

2.3)划分集合：数据集中每个点都要计算这个点与各个质心的距离，算出距离后把距离与质心最近的点划分到该质心所属的集合中；

2.4)所有数据点经计算后得到k个集合，随后再一次对每一个新的集合计算一遍质心的位置；

2.5)如果重新计算得出的质心与原质心距离与设置的阈值差别较大，则重复步骤2.3)～2.4)；

3)使用自适应特征融合ASFF模块，对YOLOv3的三个卷积层输出的特征分别乘上相应的权重参数后，使输出的特征大小和通道数相同，再相加；

4)使用改进的TSE损失函数：

在TSE损失函数中加入常数因子β，则改变后的TSE导数形式公式为：

式中，t-σ(z)∈(-1，1)，z＝wx+b，z表示神经网络未经激活函数后的输出值，w表示神经网路的权重参数，x表示神经网络的输入源、b表示神经网络的权重偏置参数。

2.根据权利要求1所述的电力设备自动监测多目标检测网络的构建方法，其特征是所述步骤1)中：

采用Cutout方法将样本中的部分区域随机剪掉，并且用0像素值进行填充，分类的结果不变；

采用Mosice方法把四张图片进行拼接；

采用HSV变换方法把图片变得或亮或暗。

3.根据权利要求1所述的电力设备自动监测多目标检测网络的构建方法，其特征是所述步骤2)中，设置先验框即锚框的参数为[10×17]，[16×27]，[17×31]，[17×75]，[18×31]，[27×34]，[31×53]，[40×65]，[71×75]。

4.根据权利要求1所述的电力设备自动监测多目标检测网络的构建方法，其特征是所述步骤4)中，常数因子β取值是0.25。

Images