CN110008877B - 一种基于Faster RCNN的变电站隔离开关检测识别方法 - Google Patents

Abstract

本发明公开了一种基于Faster RCNN的变电站隔离开关检测识别方法，包括以下步骤：获取变电站的监测图像；将所述监测图像输入Faster RCNN判断模型，获取隔离开关的可能目标窗口；通过分类识别网络从所述可能目标窗口中获取隔离开关窗口。本发明通过深度神经网络对变电站监测图像进行特征提取，减少人工参与程度，避免传统图像处理方法带来的误判问题，避免了传统手工提取特征的误差和不全面性，且利用CNN网络提取的隔离开关特征具备较强的鲁棒性，在检索图像背景复杂或监测角度变化时，仍能保持较好的检索精度，将隔离开关的定位和识别放在同一模型中进行，很大程度上提高关键设备检索效率。

Description

一种基于Faster RCNN的变电站隔离开关检测识别方法

技术领域

本发明涉及到变电站关键设备检测识别领域，具体是一种基于Faster RCNN的变电站隔离开关检测识别方法。

背景技术

变电站内高压隔离开关的作用是将停电的设备和线路与运行系统的带电部分进行明显可见的安全隔离，确保检修人员和停电设备的人身安全和设备安全。根据有关资料的统计数据，隔离开关分合闸操作异常占到了隔离开关所有危急和严重缺陷的20％以上，而隔离开关故障频发将严重威胁电网安全稳定运行。传统的人工方法对变电站进行实时监测，耗费大量的人力资源，切工作人员劳动强度较大，人工误检率较高，变电站运检的维护成本较大。

本申请部分英文术语：卷积神经网络(Convolutional Neural Network,CNN)是深度学习技术中极具代表的网络结构之一。Faster R-CNN(Fast region proposals&CNN)属于快速目标检测技术。Region Proposal Network(RPN)，RPN属于一种卷积网络，Region OfInterest(ROI)图像尺寸处理技术。

发明内容

为解决上述背景技术中提出的问题，本发明提供一种基于Faster RCNN模型的变电站隔离开关检测识别方法，利用深度神经网络对检测图像进行隔离开关的特征进行提取并分析，能够有效提高隔离开关检测识别的识别精度和检测速度，并且具备较强的鲁棒性。

本发明提供一种基于Faster RCNN的变电站隔离开关检测识别方法，包括以下步骤：获取变电站的监测图像；将所述监测图像输入Faster RCNN判断模型，获取隔离开关的可能目标窗口；通过分类识别网络从所述可能目标窗口中获取隔离开关窗口。

作为一种可选方案，所述方法还包括：对所述监测图像进行预处理，所述预处理包括图像噪声处理或/和图像增强处理或/和图像尺寸处理。

作为一种可选方案，所述方法还包括：建立Faster RCNN模型训练图像库，通过所述图像库对所述Faster RCNN判断模型进行隔离开关识别训练；所述图像库包括含有隔离开关的图像以及不含隔离开关的背景图像，图像库的图像为经过图像预处理后的图像，所述含有隔离开关的图像对隔离开关进行标定。

作为一种可选方案，所述通过所述图像库对所述Faster RCNN判断模型进行隔离开关识别训练具体为：利用截断CNN结构提取图像的卷积特征，在所述卷积特征上进行逐个像素点的窗口扫描，获取样本窗口；根据所述样本窗口与真实隔离开关窗口之间的重叠部分，获取训练RPN网络的正样本和负样本；利用所述正样本和负样本训练RPN网络。

作为一种可选方案，所述根据所述样本窗口与真实隔离开关窗口之间的重叠部分，确定训练RPN的有隔离开关的窗口样本和背景窗口样本具体为：若重叠部分超过70％则定义所述窗口样本为正样本，若重叠部分小于30％则定义为所述窗口样本负样本。

作为一种可选方案，所述正样本为含有隔离开关的图像，所述负样本为不含隔离开关的背景图像；所述利用正样本和负样本训练RPN之后还包括：将RPN处理得到的有隔离开关的窗口样本数据输入Faster RCNN判断模型的多分类网络，通过样本的状态标注信息计算分类网络的误差rpn_cls_loss，并根据所述误差反向调整多分类网络。

作为一种可选方案，所述将所述监测图像输入Faster RCNN判断模型，获取隔离开关的可能目标窗口具体为：通过RPN网络的CNN结构提取监测图像的卷积特征块，以卷积特征块上的每个像素点为中心构造9个可能目标窗口。

作为一种可选方案，所述对隔离开关进行标定包括标定隔离开关的位置和开合状态，所述开合状态包括开、合、中间。

作为一种可选方案，所述获取训练RPN网络的正样本和负样本之后还包括：利用ROI池化方法进行特征池化和维度统一化。

本发明的优点在于：本发明通过深度神经网络对变电站监测图像进行特征提取，减少人工参与程度，避免传统图像处理方法带来的误判问题，避免了传统手工提取特征的误差和不全面性，且利用CNN网络提取的隔离开关特征具备较强的鲁棒性，在检索图像背景复杂或监测角度变化时，仍能保持较好的检索精度，将隔离开关的定位和识别放在同一模型中进行，很大程度上提高关键设备检索效率。

附图说明

图1为本发明实施例提供的基于Faster RCNN的隔离开关检测识别方法框架图；

图2为本发明实施例提供的基于Faster RCNN的隔离开关检测识别方法另一框架图；

图3为本发明实施例提供的图像标注过程；

图4为本发明实施例提供的Faster RCNN模型框架图。

具体实施方式

下面参照附图并结合具体的实施例，对本发明作进一步的详细说明。

请参照图1至4，本发明实施例提供一种基于Faster RCNN的变电站隔离开关检测识别方法，包括以下步骤：获取变电站的监测图像；将所述监测图像输入Faster RCNN判断模型，获取隔离开关的可能目标窗口；通过分类识别网络从所述可能目标窗口中获取隔离开关窗口。

本实施例通过深度神经网络对变电站监测图像进行特征提取，减少人工参与程度，避免传统图像处理方法带来的误判问题，避免了传统手工提取特征的误差和不全面性。

本实施例主要分为下列几个部分：

图像采集和图像预处理部分：采集大量变电站监测隔离开关的图像，然后对这些图像进行预处理，首先对原始变电站监测图像进行高斯滤波去噪，减轻噪声对隔离开关检测精度的影响。然后按比例对监测图像进行放缩，使得最终的训练图像数据均为统一的600x800尺寸。针对图像数据中存在的横图和竖图问题，在统一图像尺寸之前，需要将所有监测图像中的竖图先按顺时针旋转90度。

图像标定对已有监测图像数据中每张图像进行标定，首先利用selective search的方法，通过对色块的融合达到对突出目标物的标定目的。然后利用LabelImg标定工具将图像中隔离开关设备的精确位置和开合状态进行标定，整个标定过程见图3。在标注图像时，隔离开关的状态分为“开”、“合”和“中间”三种状态，分别代表隔离开关的完全打开状态，完全闭合状态和中间状态。标定过程将保留图像上目标物体的定位信息和该目标窗口的状态信息，并以XML文件的形式存在，从而形成一个标定信息库。

模型训练部分：利用标定信息和训练图像对Faster RCNN模型进行训练，该训练分为三个部分进行，首先是模型的共享阶段CNN网络，该网络能够直接提取监测图像的卷积特征；然后是模型的区域推荐网络(Region Proposal Network,RPN),该网络通过标定信息的监督训练，输出图像中隔离开关可能存在的位置；最后是模型的多分类网络，该网络对RPN输出的目标图像块进行分类，分为“开”状态隔离开关、“合”状态隔离开关、“中间”状态隔离开关和背景图像四个类别。

在模型在训练阶段，只需要将训练图像和标注数据输入到Faster RCNN中，首先利用RPN网络选择出可能包含目标的候选窗口，然后对候选窗口进行分类识别，利用网络输出的定位检测结果与真实结果之间的误差调整整个模型的参数。模型主要由四个结构组成，首先是截断的CNN网络，其作用是提取图像的卷积块特征；其次是ROI池化层，主要是用来池化不同尺寸的目标窗口卷积特征，将它们统一为相同纬度的一维特征；然后是RPN网络，该网络能自动遍历图像，检索图像中隔离开关的候选窗口位置；最后就是多分类网络，这个网络结构将对RPN输出的候选隔离开关窗口图像进行状态识别和位置精修。

具体的，模型训练可分为以下四个步骤进行：

1.截断CNN结构

本模型利用上述的截断CNN结构提取输入图像的卷积特征，然后在特征图像的每一个像素点处考虑9个可能的候选窗口，这9个窗口由三种面积和三种窗口长宽比例随机组合而成。由于隔离开关在图像中大部分形状均为类似正方形的矩形边缘框，因此遍历窗口的长宽比例参数设置为[1:1.5,1:1,1.5:1]。在图像卷积特征上遍历得到的大量窗口之后，需要在每个窗口坐标前面乘上一个放缩系数，从而将特征尺寸映射还原到原图像中。该放缩系数相当于是输入图像和图像卷积特征尺寸之间的对应放缩系数，可以直接根据两尺寸之间的比例确定。将窗口样本与真实隔离开关窗口重叠部分超过70％的标定为正样本，重叠小于30％的定为负样本，其余既不是正样本也不是负样本的候选框，以及跨越图像边界的候选框直接舍弃。得到了大量的正负样本之后，便可以利用Region Of Interest(ROI)池化方法进行特征池化和维度统一化。

2.ROI池化

ROI池化的主要目的是解决输出数据尺寸完全不一致的现象，其主要思想是通过图像分割和最大化池化的方法统一特征尺寸。其操作是将输入数据按其原始尺寸等分为n×m个网格块，然后对每个网格块进行最大化池化，最终得到拥有n×m个元素的一维特征。所以将上述不同尺寸的正负样本卷积特征通过ROI池化，得到同一尺寸的窗口ROI特征。

3.RPN网络

得到正负样本的ROI池化特征之后，需要利用这些数据和其本身的标签来训练一个可以分辨窗口中是否含有隔离开关的模型。为了提高整个模型的训练效率，本方法将原本RPN网络中的多层全连接层网络替换为SVM分类器，通过直接对SVM的二分类完成窗口样本的筛选。利用正负样本训练SVM分类器，得到其分类误差rpn_cls_loss(x)。最后，为了使得RPN网络最终提取的目标窗口更加精确，RPN网络还添加了窗口精修的回归损失函数，该函数的主要目的是对候选的目标窗口进行微调。窗口精修的主要步骤是先获取候选窗口的坐标P＝(P_x,P_y,P_w,P_h)，然后设通过网络的回归得到了精调需要的评析量和尺度放缩量，则实际精调后的坐标为则调整过程如下：

所以在对窗口利用神经网络进行回归时，网络的输入是候选窗口的坐标，网络的输出是调整后的坐标，而中间的平移量和放缩量作为网络的输出。若真实的变换量和实际输出的变换量之间的误差为reg_loss，则可以利用该误差实现对该窗口回归网络接口进行训练。在处理窗口回归误差函数时，还需要利用Smooth函数对误差函数进行平滑，其处理公式为：

rpn_reg_loss＝smooth_L1(reg_loss)+λ||W^T||²

且为了防止网络的过拟合，还在回归的误差函数中加入了一个L2正则项，所以整个RPN的最终误差为rpn_loss＝rpn_cls_loss+rpn_reg_loss。

4.多分类网络

训练完成RPN网络之后，还需按照图1所示的形式，将RPN网络输出的所有样本窗口重新输入共享CNN结构，得到样本窗口的卷积特征，并对它们进行ROI池化，然后再将ROI池化特征输入分类网络中做识别分类。分类网络将输入窗口分为“开”、“关”、“中间”和背景4个类别，其中根据样本窗口与真实窗口重叠情况确定样本窗口的类别标签，并将负样本窗口分为背景类。通过这种训练方式，可以使多分类网络具备识别隔离开关的开合状态以及进一步筛选目标窗口的能力。最后，为了更加精确窗口对隔离开关定位，还需要将这些ROI池化特征输入一个窗口回归函数，重新进行窗口精修。

变电站隔离开关检测识别

将需要测试的监测图像按照上述图像预处理，然后将其输入训练好的FasterRCNN模型，通过模型的RPN网络识别出图像上隔离开关的可能候选窗口，然后将得到的候选窗口输入模型的分类识别网络，得到准确的隔离开关窗口和其对应的开合状态。

由于对变电站中隔离开关进行检测识别时，只需要考虑候选的目标窗口是隔离开关或者是背景这两种状态，因此本方法将原本模型中的RPN网络输出层更改为SVM分类器。利用大量的正负样本直接对SVM分类器进行训练，得到能判断目标是否为隔离开关的SVM分类器。

训练完RPN网络之后，将其输出的候选正样本窗口输入分类网络，根据窗口的状态标签和实际分类结果之间的误差调整整个分类网络，使得分类网络能够识别窗口中隔离开关的状态和该状态的置信度。

本实施例提供的基于Faster RCNN的变电站隔离开关检测识别方法，一旦检测识别模型训练成形，变电站其他设备通过参数调整之后，均可使用本发明提出的方法进行检测识别。当选定待检测识别的变电站内监测图像之后，通过本方法，可以直接检测得到图像中隔离开关设备的目标窗口，同时还自动识别每个目标窗口中隔离开关的状态以及置信度。

本发明实施例提供的上述技术方案及附图，用于对本发明的进一步说明而非限制，另外应当说明的是，本领域普通技术人员应当知晓，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明技术方案的范围。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (4)

1.一种基于Faster RCNN的变电站隔离开关检测识别方法，其特征在于，包括以下步骤：

获取变电站的监测图像；

将所述监测图像输入Faster RCNN判断模型，获取隔离开关的可能目标窗口；

通过分类识别网络从所述可能目标窗口中获取隔离开关窗口；

所述方法还包括：

对所述监测图像进行预处理，所述预处理包括图像噪声处理或/和图像增强处理或/和图像尺寸处理；

所述方法还包括：

建立Faster RCNN模型训练图像库，通过所述图像库对所述Faster RCNN判断模型进行隔离开关识别训练；

所述图像库包括含有隔离开关的图像以及不含隔离开关的背景图像，图像库的图像为经过图像预处理后的图像，所述含有隔离开关的图像对隔离开关进行标定；

所述通过所述图像库对所述Faster RCNN判断模型进行隔离开关识别训练具体为：

利用截断CNN结构提取图像的卷积特征，在所述卷积特征上进行逐个像素点的窗口扫描，获取样本窗口；

根据所述样本窗口与真实隔离开关窗口之间的重叠部分，获取训练RPN网络的正样本和负样本；

利用所述正样本和负样本训练RPN网络；

所述根据所述样本窗口与真实隔离开关窗口之间的重叠部分，确定训练RPN的有隔离开关的窗口样本和背景窗口样本具体为：

若重叠部分超过70％则定义所述窗口样本为正样本，若重叠部分小于30％则定义为所述窗口样本负样本；

所述正样本为含有隔离开关的图像，所述负样本为不含隔离开关的背景图像；

所述利用正样本和负样本训练RPN之后还包括：

将RPN处理得到的有隔离开关的窗口样本数据输入Faster RCNN判断模型的多分类网络，通过样本的状态标注信息计算分类网络的误差rpn_cls_loss，并根据所述误差反向调整多分类网络。

2.根据权利要求1所述的一种基于Faster RCNN的变电站隔离开关检测识别方法，其特征在于，所述将所述监测图像输入Faster RCNN判断模型，获取隔离开关的可能目标窗口具体为：

通过RPN网络的CNN结构提取监测图像的卷积特征块，以卷积特征块上的每个像素点为中心构造9个可能目标窗口。

3.根据权利要求1所述的一种基于Faster RCNN的变电站隔离开关检测识别方法，其特征在于，所述对隔离开关进行标定包括标定隔离开关的位置和开合状态，所述开合状态包括开、合、中间。

4.根据权利要求1所述的一种基于Faster RCNN的变电站隔离开关检测识别方法，其特征在于，所述获取训练RPN网络的正样本和负样本之后还包括：

利用ROI池化方法进行特征池化和维度统一化。