CN109712118A - 一种基于Mask RCNN的变电站隔离开关检测识别方法 - Google Patents

Abstract

本发明属于变电站设备检测识别技术领域，公开了一种基于MaskRCNN的变电站隔离开关检测识别方法，对监测图像进行预处理，利用标定工具对预处理图像中隔离开关的状态和轮廓进行标定，将标定的图像数据输入Mask RCNN网络模型中，训练网络模型同时不断的调整参数，使网络模型自主的学习隔离开关状态的掩膜；利用训练好的模型对监测图像中的隔离开关进行检测定位与状态识别，输出预测的隔离开关的检测框和目标的前景；训练好的网络模型在检测隔离开关的位置同时具有分类能力，即能识别隔离开关“开”、“合”与“中间”状态；本发明提供的这种方法实现对目标像素级识别的同时，还对每个目标进行分割，较好的区别了目标的前景和背景，并具有极强的鲁棒性和旋转不变性。

Description

一种基于Mask RCNN的变电站隔离开关检测识别方法

技术领域

本发明属于变电站设备检测识别技术领域，具体涉及一种基于Mask RCNN(MaskRegion-based Convolutional Neural Network，Mask RCNN)的变电站隔离开关检测识别方法。

背景技术

高压隔离开关是发电厂和变电站电气系统中重要的开关电器，也是电力系统中使用流量最大、应用比较广泛的高压电气设备，它能保证高压电器及装置在检修过程中的安全。由于变电站的隔离开关多为户外式，其机械转动直接暴露在空气中经受日晒雨淋，受环境影响较大。而且被操作的次数较少，轴承等转动部位缺乏润滑，容易发生腐蚀生锈等情况。隔离开关的分合闸操作异常对变电站的安全性有严重的影响，将给设备运行和维护造成极大的困扰。目前电力公司对电力设备的监测主要是基于在线的可见光与红外图像进行人工分析，这种检测方式会浪费大量的人工成本。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于Mask RCNN网络模型的变电站隔离开关检测识别方法，有效提高隔离开关检测速度以及识别精度。

为实现上述目的，按照本发明的一个方面，提供了一种基于Mask RCNN网络模型的变电站隔离开关检测识别方法，将隔离开关图像输入到训练好的深度神经网络中，该图像在深度神经网络网络层不断地被卷积、池化，提取特征信息并分析，输出检测结果和类别以及实例分割结果。

优选地，上述变电站隔离开关检测识别方法，具体包括如下步骤：

(1)数据预处理：对变电站监测图像进行去噪以及归一化处理，形成样本图像库；

(2)图像标定：对样本图像库中的图像进行标定，框出隔离开关的位置，并将标定的隔离开关像素级坐标和开合状态进行标定，隔离开关的状态包括“开”、“合”、“中间”类型；将标定结果存储为图像文件夹和与图像对应的文本标定文件夹，该标定文本文件中含有隔离开关轮廓相应的坐标点，进而使用相关代码生成轮廓部分的Mask掩膜图；

本步骤采用的标定方式是基于语义分割的，通过将标定图像需要分类目标的像素划定到固定的类别，标定隔离开关的状态类型；

(3)模型训练：将标定的样本图像和对应的文本文件输入到Mask RCNN检测识别模型中，该模型首先利用权值共享阶段CNN网络模型进行训练，并在卷积层提取图像特征信息；

在图像特征上进行像素点扫描，得到多个样本窗口，根据样本与隔离开关的真实标签之间重叠部分的IOU(Intersection Over Union，IOU)值训练RPN(Region ProposalNetwork，RPN)网络，得到多个候选窗口；将候选窗口输入到检测分类网络中得到图像的定位信息和分类结果，并生成Mask掩膜；

(4)去除冗余的检测框：将监测图像输入到Mask RCNN网络结构中，检测隔离开关的坐标并对分类的结果进行打分，一个隔离开关可能会产生很多不同大小的框，使用非极大值抑制算法NMS(Non-maximum suppression)来选取那些领域里分数最高的检测框，以去除冗余的检测框；

(5)变电站隔离开关检测识别：将预处理后的监测图像输入到训练好的Mask RCNN模型，识别出图像上可能是隔离开关的候选框，将得到的候选窗口输入到网络模型中进行实例分割，得到准确的目标分类框和对应的目标状态以及实例分割的结果，输出隔离开关目标框、对应的开合状态、置信度信息以及目标的掩膜部分前景图。

优选地，上述基于Mask RCNN网络模型的变电站隔离开关检测识别方法，在图像标定中：通过开源的图像标定工具对样本图像库进行图像像素级的标定。

优选地，上述基于Mask RCNN网络模型的变电站隔离开关检测识别方法，MaskRCNN模型的损失函数包括检测、分类和Mask掩膜；网络训练的过程就是不断收敛损失函数的过程；当损失函数值较低且损失曲线趋于水平时，认为该网络收敛的较好，模型的检测分类精度就较高。

优选地，上述的变电站隔离开关检测识别方法，模型训练过程具体如下：

(3.1)在图像卷积特征上遍历得到的大量窗口之后，在每个窗口坐标(x₁,y₁,x₂,y₂)前面乘上一个放缩系数，从而将特征尺寸映射还原到原图像中；

(3.2)根据扫描窗口与真实目标窗口重叠部分的大小标定正负样本；

(3.3)采用ROIAlign池化方法进行图像特征提取。

优选地，上述的变电站隔离开关检测识别方法，ROIAlign池化方法具体为：

遍历每一个候选区域，保持浮点数组边界不做量化；将候选区域分割成m×m个单元，在每个单元中计算固定四个坐标位置，用双线性内插法计算这四个位置的值，然后进行最大池化操作；其中，m＜10。

与现有方法简单的补充出候选区域边界上的坐标点然后将这些坐标点进行池化相比，本发明的方法，通过使用双线性内插法计算每个单元的四个位置值，使用不同池化方式进行池化，具有减少邻域误差、均值偏移误差、保留图像背景纹理信息的效果。

优选地，上述的变电站隔离开关检测识别方法，步骤(3)中，以卷积特征图上的每个像素点为中心构造9个可能的候选窗口，这9个候选窗口由三种面积和三种窗口长宽比例随机组合而成；对监测图像进行遍历，得到所有候选窗口；根据候选窗口与真实的隔离开关部件窗口之间的IOU来确定正负样本。

优选地，上述的变电站隔离开关检测识别方法，构造窗口时采用的窗口长宽比例为1:1.5、1:1或1.5:1。

优选地，上述的变电站隔离开关检测识别方法，训练完RPN网络之后，将其输出的候选窗口输入分类网络，根据候选窗口的状态标签与实际分类结果之间的误差调整分类网络，使得分类网络能够识别窗口中隔离开关的状态和该状态的置信度。

优选地，上述的变电站隔离开关检测识别方法，步骤(5)中，监测图像输入到MaskRCNN网络后经过RPN网络结构产生图像的隔离开关目标的候选区域，利用Mask RCNN的卷积层提取出监测图像的整体特征，得到图像中每个ROI(Region of Interest)区域的特征图，同时对ROI区域使用ROIAlign进行像素校正；

将校正后的ROI候选区域输入到网络中进行预测，得到分割结果，输出隔离开关目标框、对应的开合状态和置信度信息以及目标的掩膜部分前景图。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的基于Mask RCNN网络模型的变电站隔离开关检测识别方法，通过深度神经网络对变电站监测图像进行特征提取，减少了人工劳动成本，避免了传统手工提取特征的误差和不全面性；

(2)本发明提供的基于Mask RCNN网络模型的变电站隔离开关检测识别方法，利用RCNN网络提取的隔离开关特征具备较强的鲁棒性，在复杂背景或者监测角度发生变化时，该网络模型仍能保持较高的检测识别精度；

(3)本发明提供的基于Mask RCNN网络模型的变电站隔离开关检测识别方法，与现有目标检测标定标记为矩形框不同的是，本发明中的标定方式是基于语义分割的，也就是将标定图像需要分类目标的像素划定到固定的类别；基于该种标定方式标定隔离开关的三种类型，即“开”、“合”和“中间”三种状态；将标定的图像数据输入Mask RCNN网络模型中，训练网络同时不断的调整参数，使其能自主的学习三种隔离开关状态的掩膜(目标的前景)，网络在检测定位隔离开关的位置同时具有分类能力，即是识别隔离开关“开”、“合”与“中间”状态的能力；克服了传统特征提取方法不具备语义表达所导致的在隔离开关拍摄角度或者尺度变化时，检测系统无法检测到设备或者判断失误的问题；另一方面，将隔离开关的定位识别和实例分割放在同一模型中进行，极大程度上提高了检测效率。

附图说明

图1是实施例提供的基于Mask RCNN的变电站隔离开关检测识别方法架构图；

图2为实施例采用的Mask RCNN模型框架图；

图3为残差网络结构；

图4为实施例中的RPN网络结构；

图5为实施例中图像检测识别流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

参照图1～5来具体阐述本发明实施例提供的于Mask RCNN的变电站隔离开关检测识别方法。实施例中使用预训练好的ResNet网络，图像通过ResNet网络的网络层被提取特征，进而输入到RPN网络进行检测，定位候选框。将若干个候选框输入到ROIAlign层提取候选特征图并固定尺寸大小，然后送到分类网络做定位分类和实例分割。具体包括如下的步骤：

(1)图像预处理

对变电站监测图像进行高斯滤波去噪，以最大程度上抑制噪声对隔离开关检测结果的影响；然后按比例对去噪后的图像进行归一化处理，实施例中是缩放到600x800的尺寸，并将图像旋转180度。

(2)图像标定

对预处理后的监测图像中的每张图像进行标定，实施例中是使用开源的标定工具将图像中隔离开关设备的像素级坐标和开合的状态进标定。在标定阶段，使用鼠标勾勒出隔离开关的轮廓，并标定出隔离开关对应“开”、“合”和“中间”三种状态，每个图像标注完成后，将标定的信息以文本的形式保存，标定结束后得到完整的标定文件，该文件中含有隔离开关轮廓相应的坐标点，进而生成轮廓部分的Mask掩膜图。

(3)模型训练

将预处理后的监测图像文件和标定文件输入到Mask RCNN中；监测图像经过卷积层提取边缘纹理信息；随着网络的加深，逐渐提取更高阶的抽象表达，最终得到图像卷积特征图；以该特征图上的每个像素点为中心，分别构造三种窗口比例大小的窗口，实施例中选取窗口的比例大小为1:1.5、1:1、1.5:1三种类型，完成对整幅图像的遍历。

利用RPN网络进行有监督训练，计算这些遍历窗口与标定的真实隔离开关之间的交并比IOU，从而确定正负样本窗口。Mask RCNN网络结构整体框架参照图2，包括四个部分：首先是共享卷积层；其次是ROIAlign，该部分用于池化不同大小的特征图；然后是RPN网络，RPN网络能遍历图像，并给出认为有可能含有隔离开关的候选框，最后是多分类网络，这个网络将RPN网络中输出的候选框做进一步的精修，检测识别隔离开关的位置，同时输出分类的掩膜。Mask RCNN中增加了掩膜网络部分，也就是增加了一个约束损失函数，该约束项能够使网络在反向传播时优化参数，从而得到更好的检测识别结果。

对Mask RCNN模型训练包括：

获取正负样本：在共享CNN网络部分使用了强化的基础网络，即图3示意的ResNet残差网络，该网络拥有更强的表达能力；它对每层的输入数据做了一个相关性学习，形成残差函数。该残差函数更容易优化，能够使网络层数大大加深。在深度神经模型中，随着网络层数的加深，容易导致梯度爆炸的问题，从而无法收敛。ResNet学习的是残差函数F(x)＝H(x)-x，如果F(x)＝0，那么该网络就是一个恒等映射。ResNet就是恒等映射的特殊情况，它没有引入额外的计算量。假如目标函数是逼近一个恒等映射，而不是0映射，那么学习找到对恒等映射的扰动会比重新学习一个映射函数容易的多。

利用残差网络结构提取输入图像的卷积特征，然后在卷积特征图像的每一个像素点处生成9个可能的候选窗口，这9个窗口由三种面积和三种窗口长宽比例随机组合而成。由于隔离开关在图像中大部分是类似正方形的矩形框，因此，遍历窗口参数设置为1:1.5,1:1,1.5:1三种类型。得到大量的窗口后，需要在每个窗口坐标前面乘上一个放缩系数，从而将特征尺寸映射还原到原图像中。该放缩系数相当于是输入图像和图像卷积特征尺寸之间的对应放缩系数，可以直接根据两尺寸之间的比例确定。将窗口样本与真实隔离开关窗口重叠部分超过70％的标定为正样本，重叠小于30％的定为负样本，其余的候选框直接舍弃。

特征池化：得到了大量的正负样本之后，利用ROIAlign池化方法进行特征池化和维度统一化。ROI池化的主要目的是解决输出数据尺寸不一致的现象，其主要思想是通过图像分割和最大化池化的方法统一特征尺寸。其操作是将不同输入尺寸的ROI特征图通过分块池化的方法得到固定尺寸的输出。

将上述不同尺寸的正负样本卷积特征通过ROI池化，得到统一尺寸的窗口ROI特征。实施例中池化网络使用的是ROIAlign，从原图到特征图直接的ROI映射使用双线性插值，充分利用原图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，即可以将浮点型数据虚拟的位置点对应的像素值估计出来，整个过程中没有用到量化操作，没有引入误差，即原图中的像素和特征图中的像素是完全对齐的，没有偏差，这不仅会提高检测的精度，同时也有利于实例分割。

RPN网络训练：参照图4，RPN网络分为两个部分，第一部分通向SVM(SupportVector Machine，SVM)分类候选框获得前景和背景，第二部分用于计算候选框的回归边界框的偏移量以获得精确的选择框。为了提高整个模型的训练效率，本发明将RPN网络中的Softmax分类器替换为SVM分类器，通过直接对SVM的二分类完成窗口样本的筛选。利用正负样本训练SVM分类器，得到分类误差rpn_cls_loss(x)。其处理公式为：

rpn_cls_loss＝-logp_u

其中，损失函数由真实分类u对应的概率决定。

在分类时得到的每个类别会有一个Mask掩膜损失函数，所以本发明提供的方法在标定阶段，不仅标定隔离开关的坐标及类别，还标出每个类别的Mask掩膜。为了使得RPN网络最终提取的目标窗口更加精确，RPN网络还添加了窗口精修的回归损失函数，主要目的是对候选的目标窗口进行微调。在处理窗口回归误差函数时，利用Smooth函数对误差函数进行平滑，其处理公式为：

rpn_reg_loss＝smooth_L1(reg_loss)+λ||W^T||²

RPN的最终误差为：

rpn_loss＝rpn_cls_loss+rpn_reg_loss

实例分割：训练完成RPN网络之后，将RPN网络输出的所有样本窗口重新输入共享CNN结构，得到样本窗口的卷积特征，并对它们进行RoiAlign池化，然后再将特征图输入分类网络中做检测识别分类，以及通过分类的结果预测Mask掩膜。分类网络将输入窗口分为“开”、“关”、“中间”和“背景”4类。根据样本窗口与真实窗口重叠情况确定样本窗口的类别标签，并将负样本窗口分为背景类。通过这种训练方式，可以使分类网络具备识别隔离开关的开合状态以及进一步筛选目标窗口的能力，整个Mask RCNN的最终误差为：

rpn_loss＝rpn_cls_loss+rpn_reg_loss+rpn_mask_loss

其中，rpn_cls_loss是指分类误差，rpn_reg_loss是指回归误差，Mask误差rpn_mask_loss只定义了Mask损失，在Mask分支中对每个ROI的输出是K×m×m，表示K个尺寸是m×m的二值Mask，K是物体的类别数目，m×m是小的特征图尺寸，m＜10。

(4)变电站隔离开关检测识别

将待测的监测图像按照上述步骤(1)进行预处理后输入到训练好的Mask RCNN模型，通过模型的RPN网络识别出图像上隔离开关的可能候选窗口，候选窗口输入模型的多任务网络，得到准确的隔离开关检测框和其对应的开合状态以及像素级实例分割结果。

参照图5是最终的面向对象处理窗口。通过对深度神经网络模型训练和调整变电站设备参数后，变电站图像均可使用本发明提出的方法进行检测识别。通过本方法，对选定的变电站监测图像可以直接检测得到图像中隔离开关设备的目标窗口，还自动识别每个目标窗口中隔离开关的状态以及置信度。

本发明提供的变电站隔离开关检测识别方法，通过深度学习网络对变电站图像进行特征提取，克服了传统手工提取特征的误差和不全面性，降低了劳动成本；在监测图像背景产生变化或者角度变化时，本方法中的模型仍具有较强的泛化能力、保持较高的精度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于Mask RCNN网络模型的变电站隔离开关检测识别方法，其特征在于，将隔离开关监测图像输入到训练好的Mask RCNN神经网络中，监测图像在深度神经网络网络层不断地被卷积、池化，提取特征信息并分析，输出检测结果和类别以及实例分割结果。

2.如权要求1所述的变电站隔离开关检测识别方法，其特征在于，具体包括如下步骤：

(1)对变电站监测图像进行去噪以及归一化预处理，形成样本图像库；

(2)对样本图像库中的图像进行标定，框出隔离开关的位置，并将标定的隔离开关像素级坐标和开合状态进行标定，隔离开关的状态包括“开”、“合”、“中间”类型；将标定结果存储为图像文件夹和与图像对应的文本标定文件夹，该标定文本中含有隔离开关轮廓相应的坐标点，进而使用相关代码生成轮廓部分的Mask掩膜图；

(3)将标定的样本图像和对应的文本文件输入到Mask RCNN检测识别模型中，该模型首先利用权值共享阶段CNN网络模型进行训练，并在卷积层提取图像特征；

在图像特征上进行像素点扫描，得到多个样本窗口，根据样本与隔离开关的真实标签之间重叠部分的IOU值训练RPN网络，得到多个候选窗口；将候选窗口输入到检测分类网络中得到图像的定位信息和分类结果，并生成Mask掩膜；

(4)将监测图像输入到Mask RCNN网络结构中，检测隔离开关的坐标并对分类的结果进行打分，使用非极大值抑制算法来选取分数最高的检测框；

(5)将待检测图像预处理后输入到训练好的Mask RCNN模型，识别出图像上可能是隔离开关的候选窗口，将候选窗口输入到网络模型中进行分割，得到准确的目标分类框和对应的目标状态以及实例分割的结果，输出隔离开关目标框、对应的开合状态、置信度信息以及目标的掩膜部分前景图。

3.如权要求1或2所述的变电站隔离开关检测识别方法，其特征在于，通过开源的图像标定工具对样本图像库进行图像像素级的标定。

4.如权要求1或2所述的变电站隔离开关检测识别方法，其特征在于，Mask RCNN模型的损失函数包括检测、分类和Mask掩膜。

5.如权要求1或2所述的变电站隔离开关检测识别方法，其特征在于，步骤(3)包括如下子步骤：

(3.1)在图像卷积特征上遍历得到的大量窗口之后，在每个窗口坐标前面乘上一个放缩系数，从而将特征尺寸映射还原到原图像中；

(3.2)根据扫描窗口与真实目标窗口重叠部分的大小标定正负样本；

(3.3)采用ROIAlign池化方法进行图像特征提取。

6.如权要求5所述的变电站隔离开关检测识别方法，其特征在于，步骤(3)中，以卷积特征图上的每个像素点为中心构造9个候选窗口，这9个候选窗口由三种面积和三种窗口长宽比例随机组合而成；对监测图像进行遍历，得到所有候选窗口；根据候选窗口与真实的隔离开关部件窗口之间的IOU值来确定正负样本。

7.如权要求6所述的变电站隔离开关检测识别方法，其特征在于，构造窗口时采用的窗口长宽比例为1:1.5、1:1或1.5:1。

8.如权要求2所述的变电站隔离开关检测识别方法，其特征在于，训练完RPN网络之后，将其输出的候选窗口输入分类网络，根据候选窗口的状态标签与实际分类结果之间的误差调整分类网络，使得分类网络能够识别窗口中隔离开关的状态和该状态的置信度。

9.如权要求2所述的变电站隔离开关检测识别方法，其特征在于，步骤(5)中，监测图像输入到Mask RCNN网络后经过RPN网络结构产生图像的隔离开关目标的候选区域，利用MaskRCNN的卷积层提取出监测图像的整体特征，得到图像中每个ROI区域的特征图，同时对ROI区域使用ROIAlign进行像素校正；

将校正后的ROI候选区域输入到网络中进行预测，得到分割结果，输出隔离开关目标框、对应的开合状态和置信度信息以及目标的掩膜部分前景图。