CN112329863B - 一种牵引变电所内隔离开关状态识别方法 - Google Patents

Abstract

本发明提供一种牵引变电所内隔离开关状态识别方法，涉及铁路牵引变电所智能监测技术领域。该方法通过构建多任务学习网络进行隔离开关分割和状态识别，主要由两个阶段构成，第一阶段隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层，其中解码层和特征融合模块中的条形池化模块和金字塔池化模块能够有效提取隔离开关的旋转闸刀和其他不规则形状的特征，并准确分割隔离开关；第二阶段隔离开关识别网络包含输入层、特征提取层、全连接层和输出层，其中特征提取层的全局上下文模块能够有效提取隔离开关图像的全局上下文信息，从而准确识别“开”、“半开”、“闭”隔离开关的三种状态。

Description

一种牵引变电所内隔离开关状态识别方法

技术领域

本发明涉及铁路牵引变电所智能监测技术领域。

背景技术

隔离开关作为电网系统中使用最广泛，安装量最大的设备，其运行状态是决定变电站能否安全运行的关键因素之一。隔离开关一旦发生故障,将会造成严重的故障和经济损失。因此，在巡检的过程中,隔离开关是否正常工作是重要的检查任务。传统的电力巡检方法主要靠人工巡检，该方式耗费时力、巡检周期长、且易受到巡检人员主观判断等影响。寻找一种可减少人力资源，方便高效率的隔离开关状态识别方法便具有重大的意义。无人机与高清摄像头的出现，使得拍摄隔离开关图像代替原始的目视检查成为可能。通过智能设备进行巡检的方式相较于传统的方式具有安全性高、便于实施、效率高等优点，使用摄像设备拍摄隔离开关的图像，进行分析和处理，提高了数据的利用效率，为整个智能化系统的实现提供了数据支撑，同时，机器学习和深度学习的发展，使得计算机视觉技术方法突飞猛进，无论是实现速度还是准确度都得到了极大的提升，为整个智能化系统的实现提供了技术支撑。因此，利用目前先进的计算机视觉技术对隔离开关的状态进行识别是变电站智能化的重要一步，具有重大的意义。2007年，石延辉等通过提取高压隔离开关的具体图像特征，实现了局部边缘检测算法。2012年，陈安伟等利用SIFT和Hough变换对隔离开关的位置信息和状态信息进行建模，实现自动识别。2016年，邵剑雄等提取了Lab颜色特征、轮廓特征和方向梯度直方图(HOG)，并应用霍夫森林训练状态识别模型来识别隔离开关状态。2017年，Wang J.等提出了一种基于经典机器学习的刀闸位置检测与跟踪的隔离开关识别方法，提取了SIFT和轮廓特征，并利用开关两臂之间的距离来确定隔离开关的“开”或“关”状态。

然而，使用手动的特征学习很难确保准确性、健壮性和灵活性。特别是，手动提取的特征必须与SVM和随机森林等分类器结合使用。如HOG对目标或背景的任意变化非常敏感，而SIFT特征对于平滑边缘几乎没有效果，当目标不够清晰时，HOG特征的检测率下降。因此，上述传统方法需要改进。

发明内容

本发明的目的是提供一种牵引变电所内隔离开关状态识别方法，它能有效地解决隔离开关状态识别确保准确性、健壮性和灵活性的技术问题。

本发明的目的是通过以下技术方案来实现的：一种牵引变电所内隔离开关状态识别方法，包括如下步骤：

步骤一、获取与制作隔离开关数据集

隔离开关数据集的获取:首先，将牵引变电所内杆塔搭载的监控摄像头拍摄的图像构成图像库，共10000张，图像尺寸大小为1920×1080×3像素，对这些源图像进行尺度归一化处理，处理后的图像统一为256×256×3像素大小；然后是隔离开关数据集的制作，制作分为两个部分，其一是隔离开关真实标签分割图的标注任务，使用LabelMe标注出图像中的隔离开关区域，得到隔离开关的真实标签分割图；另一个是隔离开关状态标注任务，对所有图像分别标注为“开”、“半开”、“闭”三种状态，所有图像及其标注结果共同构成隔离开关数据集；

步骤二、多任务学习网络构建

该多任务学习网络由第一阶段的隔离开关分割网络与第二阶段的隔离开关状态识别网络构成，其中，隔离开关分割网络实现隔离开关的精确分割，隔离开关状态识别网络实现隔离开关的状态识别；

第一阶段的隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层，，将输入图像和256×256×3像素的隔离开关真实标签分割图同时输入隔离开关分割网络，构成输入层，其中，输入图像为256×256×3像素的三维矩阵；编码层一共分为五层，除了第五层只有一个卷积层外，其余每个编码层包含一个卷积层和池化层；其中，第一层卷积层和池化层分别输出包含256×256×64像素、128×128×64像素的两组特征图，第二层卷积层和池化层分别输出包含128×128×128像素、64×64×128像素的两组特征图，第三层卷积层和池化层分别输出包含64×64×256像素、32×32×256像素的两组特征图，第四层卷积层和池化层分别输出包含32×32×512像素、16×16×512像素的两组特征图，第五层卷积层输出16×16×1024像素的特征图；解码层也分为五层，除了第十层只有一个卷积层外，其余每个解码层包含一个卷积层、一个条形池化层和一个反卷积层；其中，第六层的卷积层、条形池化层和反卷积层分别输出包含16×16×1024像素、16×16×1024像素、32×32×512像素的三组特征图，第六层反卷积层的输出结果和第四层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为32×32×1024像素；第七层卷积层、条形池化层和反卷积层分别输出32×32×512像素、32×32×512像素、64×64×256像素的三组特征图，第七层反卷积层的输出结果和第三层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为64×64×512像素；第八层卷积层、条形池化层和反卷积层分别输出64×64×256像素、64×64×256像素、128×128×128像素的三组特征图，第八层反卷积层的输出结果和第二层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为128×128×256像素；第九层卷积层、条形池化层和反卷积层分别输出128×128×128像素、128×128×128像素、256×256×64像素的三组特征图，第九层反卷积层的输出结果和第一层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为256×256×128像素；第十层卷积层输出256×256×64像素的特征图；特征融合模块一共分为四个步骤，首先，将解码器得到的256×256×64像素的特征图输入通道注意力模块得到256×256×64像素的新的特征图，接着经过金字塔池化模块、条形池化模块分别得到256×256×64像素、256×256×64像素的特征图，再将金字塔池化模块的输出结果和条形池化模块的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为256×256×128像素；最后经过一层卷积层输出256×256×3像素的隔离开关分割图，输出层直接提取隔离开关分割图作为输出；

第二阶段的隔离开关识别包含输入层、特征提取层、全连接层和输出层；其中输入层分为三个部分，第一个部分由隔离开关分割网络中的通过通道注意力模块得到的256×256×64像素的特征图和输出层得到的256×256×3像素的隔离开关分割图在第三个维度上拼接构成，形成256×256×67像素新的特征图；第二个部分是256×256×3像素的隔离开关分割图通过尺寸变换为65536×3像素的特征图，再分别通过取平均和取最大值操作，得到二个3×1像素的特征图；第三个部分是隔离开关状态真实的标签值；特征提取层一共分为六层，由输入层的第一个部分作为输入，前二层分别包含一个最大池化层和一个卷积层，即第一层的最大池化层和卷积层分别输出128×128×67像素、128×128×8像素的两组特征图，第二层最大池化层和卷积层分别输出64×64×8像素、64×64×16像素的两组特征图，第三层卷积层输出64×64×32像素的特征图，第四层为全局上、下文模块，输出64×64×32像素的特征图；第五层为通过尺寸变换得到4096×32像素的特征图，再分别通过取平均和取最大值操作，输出得到二个32×1像素的特征图，第六层将输入层的第二个部分和第五层输出的二个特征图在第一个维度上拼接，得到70×1像素的特征图；再经过神经元个数为三的全连接层，最后由Softmax函数输出“开”、“半开”、“闭”三种状态的得分；输出层提取其中得分最大的一个状态作为输出；

步骤三、多任务学习网络训练

多任务学习网络构建完成后，使用步骤一中的隔离开关数据集对多任务学习网络进行训练，训练采用分阶段按顺序训练策略，具体是，先训练隔离开关分割网络，再训练隔离开关状态识别网络；训练方法均采用目前广泛使用的Adam方法，训练时隔离开关分割网络的损失函数设置为

n表示隔离开关数据集的数量，y_i代表隔离开关的真实标签分割图，

代表隔离开关分割网络输出的分割图；隔离开关状态识别网络的损失函数设置为

k代表隔离开关状态类别的数量，这里的隔离开关状态类别一共为三类，分别是“开”、“半开”、“闭”三种状态状态，所以k＝3，y_i,k代表隔离开关的真实状态，p_i,k代表隔离开关状态识别网络输出的隔离开关状态，训练完成后，隔离开关分割网络具备对隔离开关分割的能力，隔离开关状态识别网络具备对隔离开关状态识别的能力；

步骤四、图像输入

在实时处理情况下，提取牵引变电所内摄像头采集并保存在存储区的原始隔离开关视频图像，作为待进行隔离开关状态识别的输入图像；在离线处理情况下，将已釆集的隔离开关视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，将输入图像尺度归一化为256×256×3像素大小的图像，如果输入图像为空，则整个流程中止；

步骤五、隔离开关分割与状态识别

使用步骤三训练得到的多任务学习网络对步骤四中输入的隔离开关图像进行分割和状态识别，输入图像在经过第一阶段的隔离开关分割网络正向处理之后，得到隔离开关的分割图，然后经过第二阶段的隔离开关状态识别网络，得到隔离开关状态结果，当隔离开关的分割图与真实标签分割图的交并比大于0.9且状态识别正确，跳转到步骤四，否则，认为当前输入图像分割和状态识别不准确，跳转到步骤六；

步骤六、多任务学习网络在线学习

将未分割的隔离开关图像以及状态识别不准确的输入图像重新人工制作真实标签分割图和状态类别，将输入图像及其重新标记的真实标签分割图和状态类别作为在线训练集，并对多任务学习网络进行在线学习，然后跳转到步骤四。

本发明的优点和积极效果：

本发明提出一种牵引变电所内隔离开关状态识别方法。该方法通过构建多任务学习网络进行隔离开关分割和状态识别，主要由两个阶段构成，第一阶段隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层，其中解码层和特征融合模块中的条形池化模块和金字塔池化模块能够有效提取隔离开关的旋转闸刀和其他不规则形状的特征，并准确分割隔离开关；第二阶段隔离开关识别网络包含输入层、特征提取层、全连接层和输出层，其中特征提取层的全局上下文模块能够有效提取隔离开关图像的全局上下文信息，从而准确识别“开”、“半开”、“闭”隔离开关的三种状态。训练完成后，该多任务学习网络能够准确分割出隔离开关图像，并识别隔离开关状态，能够满足牵引变电所内电力巡检智能化的要求。

此外，本发明方法对不同的牵引变电所的隔离开关均可以处理，在实际应用过程中只要根据实际情况对隔离开关数据集进行改造，适当配置相关参数，即可实现对隔离开关的状态识别，具有较强的鲁棒性和场景适应能力。

附图说明

图1为本发明的技术流程图

具体实施方式

本发明的方法可用于不同的牵引变电所的隔离开关，能够对各种变电所的隔离开关监控视频图像进行隔离开关状态的准确识别。

具体为，采用本发明方法对隔离开关进行状态识别时，首先采用牵引变电所内的固定摄像头或无人机摄像设备拍摄的隔离开关图像构成隔离开关图像库，并将隔离开关图像尺寸归一化为256×256×3像素大小，然后利用标注软件对隔离开关进行分割区域和状态标注，隔离开关图像与标注结果共同构成隔离开关数据集。将该数据集输入多任务学习网络进行隔离开关分割和状态识别，该主要由两个阶段构成，第一阶段隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层，其中解码层和特征融合模块中的条形池化模块和金字塔池化模块能够有效提取隔离开关的旋转闸刀和其他不规则形状的特征，并准确分割隔离开关；第二阶段隔离开关识别网络包含输入层、特征提取层、全连接层和输出层，其中特征提取层的全局上下文模块能够有效提取隔离开关图像的全局上下文信息，从而准确识别“开”、“半开”、“闭”隔离开关的三种状态。训练完成后，该多任务学习网络能够准确分割出隔离开关图像，并识别隔离开关状态，同时通过对未正常分割和状态识别的隔离开关图像进行在线学习，能够提高多任务学习网络的泛化能力。此外，本发明方法对不同的牵引变电所的隔离开关均可以处理，在实际应用过程中只要根据实际情况对隔离开关数据集进行改造，适当配置相关参数，即可实现对隔离开关的分割和状态识别，具有较强的鲁棒性和场景适应能力。

本发明方法可通过任何计算机程序设计语言(如Python语言)编程实现，基于本方法的检测系统软件可在任何PC或者嵌入式系统中实现实时隔离开关状态识别应用。

Claims (1)

1.一种牵引变电所内隔离开关状态识别方法，包括如下步骤：

步骤一、获取与制作隔离开关数据集

隔离开关数据集的获取:首先，将牵引变电所内杆塔搭载的监控摄像头拍摄的图像构成图像库，共10000张，图像尺寸大小为1920×1080×3像素，对这些源图像进行尺度归一化处理，处理后的图像统一为256×256×3像素大小；然后是隔离开关数据集的制作，制作分为两个部分，其一是隔离开关真实标签分割图的标注任务，使用LabelMe标注出图像中的隔离开关区域，得到隔离开关的真实标签分割图；另一个是隔离开关状态标注任务，对所有图像分别标注为“开”、“半开”、“闭”三种状态，所有图像及其标注结果共同构成隔离开关数据集；

步骤二、多任务学习网络构建

该多任务学习网络由第一阶段的隔离开关分割网络与第二阶段的隔离开关状态识别网络构成，其中，隔离开关分割网络实现隔离开关的精确分割，隔离开关状态识别网络实现隔离开关的状态识别；

第一阶段的隔离开关分割网络包含输入层、编码层、解码层、特征融合模块和输出层，将输入图像和256×256×3像素的隔离开关真实标签分割图同时输入隔离开关分割网络，构成输入层，其中，输入图像为256×256×3像素的三维矩阵；编码层一共分为五层，除了第五层只有一个卷积层外，其余每个编码层包含一个卷积层和池化层；其中，第一层卷积层和池化层分别输出包含256×256×64像素、128×128×64像素的两组特征图，第二层卷积层和池化层分别输出包含128×128×128像素、64×64×128像素的两组特征图，第三层卷积层和池化层分别输出包含64×64×256像素、32×32×256像素的两组特征图，第四层卷积层和池化层分别输出包含32×32×512像素、16×16×512像素的两组特征图，第五层卷积层输出16×16×1024像素的特征图；解码层也分为五层，除了第十层只有一个卷积层外，其余每个解码层包含一个卷积层、一个条形池化层和一个反卷积层；其中，第六层的卷积层、条形池化层和反卷积层分别输出包含16×16×1024像素、16×16×1024像素、32×32×512像素的三组特征图，第六层反卷积层的输出结果和第四层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为32×32×1024像素；第七层卷积层、条形池化层和反卷积层分别输出32×32×512像素、32×32×512像素、64×64×256像素的三组特征图，第七层反卷积层的输出结果和第三层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为64×64×512像素；第八层卷积层、条形池化层和反卷积层分别输出64×64×256像素、64×64×256像素、128×128×128像素的三组特征图，第八层反卷积层的输出结果和第二层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为128×128×256像素；第九层卷积层、条形池化层和反卷积层分别输出128×128×128像素、128×128×128像素、256×256×64像素的三组特征图，第九层反卷积层的输出结果和第一层卷积层的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为256×256×128像素；第十层卷积层输出256×256×64像素的特征图；特征融合模块一共分为四个步骤，首先，将解码器得到的256×256×64像素的特征图输入通道注意力模块得到256×256×64像素的新的特征图，接着经过金字塔池化模块、条形池化模块分别得到256×256×64像素、256×256×64像素的特征图，再将金字塔池化模块的输出结果和条形池化模块的输出结果在第三个维度上拼接在一起构成新的特征图，其维度为256×256×128像素；最后经过一层卷积层输出256×256×3像素的隔离开关分割图，输出层直接提取隔离开关分割图作为输出；

第二阶段的隔离开关识别包含输入层、特征提取层、全连接层和输出层；其中输入层分为三个部分，第一个部分由隔离开关分割网络中的通过通道注意力模块得到的256×256×64像素的特征图和输出层得到的256×256×3像素的隔离开关分割图在第三个维度上拼接构成，形成256×256×67像素新的特征图；第二个部分是256×256×3像素的隔离开关分割图通过尺寸变换为65536×3像素的特征图，再分别通过取平均和取最大值操作，得到二个3×1像素的特征图；第三个部分是隔离开关状态真实的标签值；特征提取层一共分为六层，由输入层的第一个部分作为输入，前二层分别包含一个最大池化层和一个卷积层，即第一层的最大池化层和卷积层分别输出128×128×67像素、128×128×8像素的两组特征图，第二层最大池化层和卷积层分别输出64×64×8像素、64×64×16像素的两组特征图，第三层卷积层输出64×64×32像素的特征图，第四层为全局上、下文模块，输出64×64×32像素的特征图；第五层为通过尺寸变换得到4096×32像素的特征图，再分别通过取平均和取最大值操作，输出得到二个32×1像素的特征图，第六层将输入层的第二个部分和第五层输出的二个特征图在第一个维度上拼接，得到70×1像素的特征图；再经过神经元个数为三的全连接层，最后由Softmax函数输出“开”、“半开”、“闭”三种状态的得分；输出层提取其中得分最大的一个状态作为输出；

步骤三、多任务学习网络训练

多任务学习网络构建完成后，使用步骤一中的隔离开关数据集对多任务学习网络进行训练，训练采用分阶段按顺序训练策略，具体是，先训练隔离开关分割网络，再训练隔离开关状态识别网络；训练方法均采用目前广泛使用的Adam方法，训练时隔离开关分割网络的损失函数设置为

n表示隔离开关数据集的数量，y_i代表隔离开关的真实标签分割图，

代表隔离开关分割网络输出的分割图；隔离开关状态识别网络的损失函数设置为

k代表隔离开关状态类别的数量，这里的隔离开关状态类别一共为三类，分别是“开”、“半开”、“闭”三种状态状态，所以k＝3，y_i,k代表隔离开关的真实状态，p_i,k代表隔离开关状态识别网络输出的隔离开关状态，训练完成后，隔离开关分割网络具备对隔离开关分割的能力，隔离开关状态识别网络具备对隔离开关状态识别的能力；

步骤四、图像输入

在实时处理情况下，提取牵引变电所内摄像头采集并保存在存储区的原始隔离开关视频图像，作为待进行隔离开关状态识别的输入图像；在离线处理情况下，将已釆集的隔离开关视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，将输入图像尺度归一化为256×256×3像素大小的图像，如果输入图像为空，则整个流程中止；

步骤五、隔离开关分割与状态识别

使用步骤三训练得到的多任务学习网络对步骤四中输入的隔离开关图像进行分割和状态识别，输入图像在经过第一阶段的隔离开关分割网络正向处理之后，得到隔离开关的分割图，然后经过第二阶段的隔离开关状态识别网络，得到隔离开关状态结果，当隔离开关的分割图与真实标签分割图的交并比大于0.9且状态识别正确，跳转到步骤四，否则，认为当前输入图像分割和状态识别不准确，跳转到步骤六；

步骤六、多任务学习网络在线学习

将未分割的隔离开关图像以及状态识别不准确的输入图像重新人工制作真实标签分割图和状态类别，将输入图像及其重新标记的真实标签分割图和状态类别作为在线训练集，并对多任务学习网络进行在线学习，然后跳转到步骤四。

Images