CN110097053B - 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于改进Faster‑RCNN的电力设备外观缺陷检测方法，包括以下步骤：采集电力设备图像，建立电力设备外观图像库，包括训练集和测试集；构建改进Faster‑RCNN模型，该模型中，利用特征融合技术将不同层卷积神经网络的特征图进行融合，且区域提取网络RPN基于改进锚框进行区域提取；使用训练集训练改进Faster‑RCNN模型，在训练过程中增加一条训练支路；使用测试集测试改进Faster‑RCNN模型的性能，然后将改进Faster‑RCNN模型用于电力设备外观缺陷检测。与现有技术相比，本发明在在训练速度、检测准确率方面优于Faster‑RCNN，具有一定的应用价值。

Description

一种基于改进Faster-RCNN的电力设备外观缺陷检测方法

技术领域

本发明涉及一种电力设备检测领域，尤其是涉及一种基于改进Faster-RCNN的电力设备外观缺陷检测方法。

背景技术

随着计算机技术和自动化技术的发展，利用电力巡检机器人对电力设备进行巡检成为推进少人或无人智能电站进程的重要手段。该巡检方式可有效解决人工巡检存在的缺陷或隐患。电力设备如变压器、电容器、绝缘子等在工作过程中受机械压力、强电场等的影响，极易产生破损、污秽、裂纹等缺陷，这些缺陷会增加用电事故发生概率，如果不及时检测出并更换，会导致严重的事故和巨大的经济损失，因而电力设备外观缺陷检测显得尤为重要。

传统外观缺陷检测方法有激光多普勒振动法、超声波检测法、红外测温法等，近年来随着图形处理技术的发展，一些研究人员提出基于图像的策略来进行缺陷识别和定位，虽然在一定程度上可以检测出外观缺陷，但是在精度和速度上并没有达到理想要求。大数据时代的到来，使连接主义的深度学习开始兴起。由于深度学习的数学模型具有比浅层网络更优越的非线性逼近能力和泛化性能，在图像识别分析、语音识别、自然语言处理、机器人等高级领域都得到了广泛应用。其中包含卷积计算并且具有深度结构的前馈神经网络的卷积神经网络就是一种深度的监督学习下的机器学习模型，卷积神经网络仿造生物的视知觉机制构建，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，在图像目标检测与识别领域表现出很大的优势，近年来越来越多的学者在研究中对卷积神经网络进行改进，提出了区域卷积神经网络，其分为产生候选区域、提取特征信息和进行图像分类三个彼此分离的过程，因而检测过程复杂，花费时间较长不易优化，后来又相继提出了快速区域卷积神经网络，更快速区域卷积神经网络(Faster-Region based Convolutional Neural Network，Faster-RCNN)和YOLO(You OnlyLook Once)检测算法。其中Faster-RCNN是在精度上表现良好，在人脸检测、车牌识别等领域已有成熟的应用，YOLO是一种全新的端到端的检测算法，使用单一的卷积神经网络在检测图像上同时完成边界框和类别概率预测，在速度上又很大提升但是准确率并不是很高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于改进Faster-RCNN的电力设备外观缺陷检测方法。

本发明的目的可以通过以下技术方案来实现：

一种基于改进Faster-RCNN的电力设备外观缺陷检测方法，包括以下步骤：

S1.采集电力设备图像，建立电力设备外观图像库，包括训练集和测试集；

S2.构建改进Faster-RCNN模型，该模型中，利用特征融合技术将不同层卷积神经网络的特征图进行融合，且区域提取网络RPN基于改进锚框进行区域提取；

S3.使用训练集训练改进Faster-RCNN模型，在训练过程中增加一条训练支路；

S4.使用测试集测试改进Faster-RCNN模型的性能，然后将改进Faster-RCNN模型用于电力设备外观缺陷检测。

进一步地，所述的改进锚框根据电力设备目标区域的像素特征设置。

进一步地，所述的改进锚框尺寸为[8,16,32,64]，生成的候选窗口为12个。

进一步地，所述步骤S2中，利用特征融合技术将不同层卷积神经网络的特征图进行融合的具体步骤如下：

A1.将区域提取网络RPN生成的候选区域分别映射到卷积神经网络最后三层的输出特征图上；

A2.将映射后的特征图进行ROI Pooling，使它们输出相同的尺寸，并且进行L2归一化；

A3.将归一化后的特征图进行融合后输入至全连接层。

进一步地，将归一化后输出的特征图扩大1000倍，用1*1的卷积核处理，然后进行融合。

进一步地，所述的L2归一化公式为：

式中，I表示归一化之前的特征图像素点强度，I_norm表示经过特征图归一化后像素点的强度，w和h分别表示特征图的宽和高。

进一步地，所述步骤S3中的训练支路在第三层卷积层之后加入，只有一个卷积层和两个全连接层。

进一步地，训练过程中的损失函数表达式为：

式中，其中y是对应样本x的期望输出，W,b是卷积神经网络的权值和偏置，l1_W,b(xⁱ)是输入xⁱ时主线路的输出，l2_W,b(xⁱ)是输入xⁱ时训练分支的输出，ω是主线路对网络参数的调整权重。

与现有技术相比，本发明具有以下优点：

1、本发明通过改进Faster-RCNN的网络模型并优化训练方法来优化神经网络的参数以适应电力设备外观数据集，提高检测精度。本发明将候选区域分别映射在卷积层最后三层卷积层的输出特征图上并将特征图后再输入全连接层，是因为传统Faster-RCNN直接将候选区域映射到最后一层卷积的输出特征图上，由于在卷积过程中池化层的作用，越后面的卷积层获得的特征图分辨率越低，所以传统方法容易导致边框回归不准确，在目标较小的情况下容易丢失目标，本发明在特征图获得较深层次的细节信息的同时兼顾了特征图的分辨率，具有更好的准确性。

2、本发明中，根据实验数据集的像素统计情况对锚框尺度进行了改进，改进后的锚框更适合电力设备缺陷检测的数据集，减少了因锚框不合适而导致的目标丢失的问题。

3、本发明在训练过程中增加了一条训练支路，提高了训练过程中网络的收敛速度，极大提高了模型的训练速度。

4、本发明针对电力设备外观缺陷检测中遇到的问题，采用python语言利用Caffe深度学习框架编程实现，同时易于拓展和使用，在实际电力设备外观缺陷检测中具有一定的实际应用价值。

附图说明

图1为电力设备外观缺陷检测的整体流程示意图；

图2为模型改进的框架示意图；

图3为池化示意图；

图4为锚框改进方案示意图；

图5为待检测数据集目标区域像素的统计图；

图6为部分原始数据集；

图7为部分设备缺陷检测例图；

图8目标检测交互比示意图；

图9改进前后对于数据集的P-R曲线；

图10a为单loss结构训练过程收敛示意图；

图10b为双loss结构训练过程收敛示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实例提供一种基于改进Faster-RCNN的电力设备外观缺陷检测方法，对电力设备外观缺陷进行精确定位与识别。该方法利用特征融合技术将不同层卷积神经网络的特征图进行融合，提高特征图像的分辨率并根据电力设备目标区域的像素特征改进锚框；训练时增加一条支路，训练过程中通过两个分支的反向传播调整网络参数，加快网络训练的速度。本方法具体如下：

一、采集电力设备图像，建立电力设备外观图像库，包括训练集和测试集。

二、对Faster-RCNN模型结构进行改进，改进部分包括利用特征融合技术将不同层卷积神经网络的特征图进行融合，提高特征图像的分辨率。

本发明使用的神经网络框架如图2所示，是一个基于深度卷积神经网络模型VGGNet-16模型的改进Faster-RCNN框架。

图像首先送入VGG16网络进行特征提取，网络配置如表1所示。

表1.神经网络配置表

最后一层的卷积层输出送入改进的区域提取网RPN(Region Proposal Network)提取候选区域，将候选区域分别映射在卷积层Conv3_3、Conv4_3、Conv5_3的输出特征图上并将特征图后再输入全连接层。前两层全连接层与VGGNet-16网络结构一致，最后一层根据任务需要设置两个全连接层，分别对应两个不同的任务，分类和定位回归。在改进框架中，分类一共有变形、破损、裂纹和污垢4类，加上背景共5类，所以分类任务所用的全连接层有5个神经元，回归任务每类包含4个坐标，所以用于定位回归得到神经元有20个。为了提高训练速度，在训练时增加一条支路Loss2来加快训练速度。

训练数据集首先被送入卷积层，在VGG Net-16网络中共有5个卷积层，卷积层整体能够将上一层特征图与多个卷积核进行卷积操作产生不同输出，具体公式如下式：

其中，

为卷积神经网络第l层第j个神经元，使通过对前一层输出的特征图x^l-1进行卷积求和然后加上偏置

生成的。

是卷积层第l层第j个通道的输出结果。f(.)为激活函数，M_j用于计算

的输入特征图子集，

是卷积核矩阵，

是偏置值。

每一层卷积层后面都有一个池化层，本发明采用最大值池化，即将某个区域的所有像素点用该区域的像素最大值压缩为一个像素点。如图3所示是本发明采用步长为2的2*2池化区域池化的示意图。由图3可知，池化操作会降低特征图的分辨率，在本发明中每经过一层池化层，特征图降低两倍。在候选区域提取的过程中，Faster-RCNN提出了用区域建议网络RPN替代传统选择性搜索的方法，加快了候选区域提取的速度，大大提高了网络的性能。但是网络直接使用了最后一层的卷积神经网络即Conv5_3得到的卷积特征图进行感兴趣区域池化即ROI(Region of interest)Pooling并进行ROI分类，Conv5_3的输出经过了四次步长为2的最大池化，所以特征图分辨率较输入图像降低了16倍，容易导致边框回归不准确，在目标较小的情况下容易丢失目标。

在卷积神经网络中，较浅的层一般学习边缘信息，较深的层学习边缘中的图案，以及更复杂的形状等信息。所以层数越深，特征图获得的信息越深，但是分辨率越低。为了在特征图获得较深层次的细节信息的同时兼顾特征图的分辨率，本发明将RPN生成的候选区域分别映射到Conv3_3、Conv4_3、Conv5_3的输出特征图上，并将映射后的特征图进行融合后再送入全连接层，在一定程度上加大了特征图的分辨率。但是由于这三层输出特征图的尺寸(分辨率)不一样，所以先要对这三种图的尺寸进行归一化，借鉴ROI Pooling的最大池化的窗口尺度可随感兴趣区域的尺寸变化的特性，如图2中improved-1部分所示，先把这三层的特征图进行ROI Pooling，使它们输出相同的尺寸，然后再将这三层特征图进行L2归一化，解决因输出特征数量级不一致而造成的学习过程缓慢或不收敛的情况，归一化公式为：

式中，I表示归一化之前的特征图像素点强度，I_norm表示经过特征图归一化后像素点的强度，w和h分别表示特征图的宽和高。

通过L2归一化后输出的特征图比原来Conv5_3的输出其特征的数量级缩小了约1000倍，为了减小在用ImageNet进行预训练时因特征数量级不同而造成的影响，先将特征图扩大1000倍，再用1*1的卷积核处理，确保改进之后的全连接层的输入与改进之前维度一致。

三、根据电力设备目标区域的像素特征改进锚框。

卷积层完成对图像的特征提取，RPN网络在最后一层卷积输出的特征图用n×n的窗口进行滑窗处理，窗口内的元素被d个大小为n×n，步长为1的卷积核组成的卷积层映射为d维特征向量作为两个全连接层的输入。

RPN中提出了锚框的概念，锚框就是人为假定的候选区域。滑动窗口在特征图上进行滑动时，每一个位置在原始图片上都对应k(Faster-RCNN中k＝9)个不同的锚框。

但是在电力设备缺陷检测的研究中发现，设备缺陷不同于动植物、车辆等目标，使用原始的锚框会导致漏检的情况。如图5所示是待检测数据集目标区域像素的统计图，横轴是目标图片的数量，纵轴是目标区域的像素数目。对图像进行预处理后目标图片的数量是750张，从曲线中可以看出目标区域像素数在1500以下，所以目标像素区域在35×35左右。

为了使锚框尽量多地覆盖所有目标缺陷，本发明将原来的尺寸修改为[8,16,32,64]，所以生成的候选窗口由9个变为12个，改进后的锚框既可以覆盖目标缺陷的平均尺寸，又能够满足一些相对较大或较小的缺陷的尺寸要求。改进后的锚框如图4所示。

四、使用训练集训练改进Faster-RCNN模型。

大量的训练数据和加大的网络层数往往造成训练速度过慢的问题。卷积神经网络的收敛过程依靠网络的反向传播，因此提高反向传播效率可以提高收敛速度。如图2中improved-2部分所示，在训练时在网络中增加了一个新的损失层(Loss层)结构作为网络的第二分支，将主线路Loss层作为第一分支。该第二分支在第三层卷积层之后加入，只有一个卷积层和两个全连接层，这个分支只在网络训练时加入，不参与分类工作，旨在提高网络的训练速度，因为这个网络很短，相比VGG16的长度来说这个分支对参数的影响很小，对训练时间的影响不大。具体参数设置如表2所示。

表2.Loss2分支参数设置

对网络进行改进后：假设训练样本是{(x¹,y¹),(x²,y²),(x³,y³)...(xⁿ,yⁿ)}，其中yⁿ是对应样本xⁿ的期望输出，那么改进后的卷积神经网络中前向运算时最后产生的损失函数可以用J(W,b)表示，数学表达式为：

其中，W,b是卷积神经网络的权值和偏置，l1_W,b(xⁱ)是输入xⁱ时第一条分支的输出，l2_W,b(xⁱ)是输入xⁱ时第二条分支的输出，ω是第一条分支对网络参数的调整权重，这里取0.6，所以第二条分支的调整权重为0.4。神经网络在训练过程中采用梯度下降的反向传播算法来调整神经网络的权值和偏置，即求解损失函数对于网络连接权重的梯度，权重向梯度相反方向修改使损失函数的值不断减小，从而求得所需要的正确的网络模型，设定学习速率为α，则权值的调整公式如下式所示：

其中，

表示卷积神经网络模型的第l层中的第i输入与第j神经元连接的权值大小，

表示卷积神经网络的第第l层中的第i神经元的偏置项。由权值调整公式可知，改变后的网络参数调整的过程中受到两个分支的调控，而且加入的分支很短，对整个网络的影响远远小于原来的网络。

五、使用测试集测试模型性能，将改进Faster-RCNN模型用于电力设备外观缺陷检测中。

训练数据和测试数据统计情况如表3所示。部分原始数据集如图6所示。

表3.电力设备缺陷样本训练集和测试集统计表

网络在训练过程中只对缺陷特征进行学习，不对设备进行分类，输出结果包括缺陷类型和位置，设备信息可直接由测试图片获得。如图7是部分设备缺陷检测结果图。

为测试改进算法在精度上的有效性，采用PASCAL目标检测协议来评价检测精度。引入交叠率IOU的概念，IOU即为算法形成的矩形框(DR)面积和人工标注的矩形框(GT)面积交并比，如图8所示，计算表达式为：

记结果的交叠率为IOU_result，设定其阈值为0.5，当IOU_result＞0.5时认为检测到目标。通过描绘精确度R_prec和召回率R_recall曲线来显示算法精度，精度和召回率的计算公式如下：

其中，True Positive表示正确检测到缺陷的设备数量，False Positive表示错误检测的设备数量，False Negative表示未检测到的设备数量。

以召回率R_recall为横轴，精确度R_prec为纵轴可以得到一条P-R曲线，这条曲线下的面积即为平均精度AP(Average Precision)。每一种缺陷都会得到一个AP，进而可以计算出改进算法对于所有缺陷目标检测的平均精度mAP(mean Average Precision,用于衡量一个检测算法的精度。用本发明的算法和传统Faster-RCNN算法对本数据集分别进行检测并画出每种缺陷的P-R曲线对比图，如图9所示，是改进后的算法和传统Faster-RCNN算法对于本数据集的检测结果的P-R曲线对比图。图中上方曲线是本方法的P-R曲线，下方曲线是传统Faster-RCNN的P-R曲线，改进后的方法P-R曲线位于未改进的上方，说明改进后的方法对于本数据集的检测精度更高。

为了验证改进后网络在速度上的有效性，实验绘制了训练过程的收敛示意图，图10a是现有单loss结构的训练收敛示意图，图10b是本发明的单loss结构的训练收敛示意图，横轴是迭代次数，纵轴是loss值。从图中可以看出较之前的20000次迭代，改进后的网络在迭代5000次的时候Loss已经基本低于0.2，收敛速度提升了约4倍。网络改进后，训练迭代5000次需要7分钟，未改进前需要43分钟进行3万次迭代才能完成收敛，训练速度提升速度约6倍。

最后将本发明提出的方法和Fast-RCNN、Faster-RCNN、YOLO三种方法分别对本数据集进行检测，然后将平均检测精度和平均检测时间记录并汇总如表4所示。

表4.四种检测算法平均精度和平均时间对比统计表

从表中可以看出，较传统Faster-RCNN，本发明提出的改进方法在本数据集上的检测精度提高了6个百分点，而且在检测时间上减少了近两倍，Fast-RCNN在精度和时间上都不具有优势，YOLO虽然在检测时间上可以达到实时性的要求，但是检测精度较差，所以综合来说，本发明提出的方法在本数据集上都具有一定的优势。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (1)

1.一种基于改进Faster-RCNN的电力设备外观缺陷检测方法，其特征在于，包括以下步骤：

S1.采集电力设备图像，建立电力设备外观图像库，包括训练集和测试集；

S2.构建改进Faster-RCNN模型，该模型中，利用特征融合技术将不同层卷积神经网络的特征图进行融合，且区域提取网络RPN基于改进锚框进行区域提取；所述改进锚框尺寸为[8,16,32,64]，生成的候选窗口为12个；

利用特征融合技术将不同层卷积神经网络的特征图进行融合的具体步骤如下：

A1.将区域提取网络RPN生成的候选区域分别映射到卷积神经网络最后三层的输出特征图上；

A2.将映射后的特征图进行ROI Pooling，使它们输出相同的尺寸，并且进行L2归一化；L2归一化公式为：

式中，I表示归一化之前的特征图像素点强度，I_norm表示经过特征图归一化后像素点的强度，w和h分别表示特征图的宽和高，p和q分别为特征图的横坐标和纵坐标；

A3.将归一化后的特征图进行融合后输入至全连接层；将归一化后输出的特征图扩大1000倍，用1*1的卷积核处理，然后进行融合；

S3.使用训练集训练改进Faster-RCNN模型，在训练过程中增加一条训练支路；训练支路在第三层卷积层之后加入，只有一个卷积层和两个全连接层；

训练过程中的损失函数表达式为：

式中，其中yⁱ是训练过程中对应样本xⁱ的期望输出，n是训练样本个数，W,b是卷积神经网络的权值和偏置，l1_W,b(xⁱ)是输入xⁱ时主线路的输出，l2_W,b(xⁱ)是输入xⁱ时训练分支的输出，ω是主线路对网络参数的调整权重；

S4.使用测试集测试改进Faster-RCNN模型的性能，然后将改进Faster-RCNN模型用于电力设备外观缺陷检测。

Images