CN110533090B - 开关刀闸状态检测方法及装置 - Google Patents

Abstract

本发明公开了一种开关刀闸状态检测方法及装置，该方法在刀闸目标检测阶段，采用性能优异的RefineDet方法自动定位图像中刀闸的位置，裁剪刀闸区域图像，克服复杂环境对刀闸目标检测的影响；在刀闸状态检测阶段，提出优化VGG16网络，提取细节丰富的刀闸图像特征，实现高精度的刀闸状态识别；同时，优化VGG16网络的泛化能力更强，可以适应复杂环境的变化。

Description

开关刀闸状态检测方法及装置

技术领域

本发明属于电气设备智能检测领域，尤其涉及一种开关刀闸状态检测方法及装置。

背景技术

刀闸是一种手动控制的电力设备开关，能够在检修设备与带电设备之间形成分闸点，保障电力设备检修施工人员的人身安全。在实际施工过程中，施工人员需要准确判断开关刀闸的“连接”或“断开”状态，以保障安全。

目前，刀闸状态检测主要有两种方法，一种是在开关刀闸上增加传感器或其他装置，如专利《一种刀闸分合状态检测装置》公开了一种刀闸分合状态检测装置，设计了合闸位置检测机构和分闸位置检测机构，所述合闸位置检测机构包括第一光线发射模块和第一光线接收模块，当刀闸动触头处于合闸止点位置时，由所述第一光线发射模块发出的光线被所述刀片遮挡，所述第一光线接收模块无法接收到由所述第一光线发射模块发出的光线，此时，所述第一光线接收模块报告刀闸处于合闸止点位置；所述分闸位置检测机构包括第二光线发射模块和第二光线接收模块，当刀闸动触头处于分闸止点位置时，由所述第二光线发射模块发出的光线被所述刀片挡柱，所述第二光线接收模块无法接收到由所述第二光线发射模块发出的光线，此时，所述第二光线接收模块报告刀闸处于分闸止点位置；其余时间，所述第一光线接收模块能够接收到由所述第一光线发射模块发出的光线；所述第二光线接收模块也能够接收到由所述第二光线发射模块发出的光线，所述第一光线接收模块和第二光线接收模块均报告刀闸动作不到位。但许多场合，在开关刀闸上增加装置并不现实，而且还要担心新增装置故障可能引发的误检问题。

另一种是基于计算机视觉技术自动检测刀闸状态，这种方法不需要对开关刀闸进行改造，只要增加摄像机采集刀闸图像，然后采用计算机视觉技术自动判断刀闸状态，是目前研究的热点。如专利《一种基于图像模式识别的刀闸分合可靠性识别方法》公开了一种基于图像模式识别的刀闸分合可靠性识别方法，1)建立模板信息获取刀闸设备图像，人工标定图像中刀闸设备区域以及刀闸合位可靠时刀闸臂的方向信息，以此作为该刀闸合闸到位的模板信息；2)利用移动机器人采集的实时图像和模板图像进行SURF特征点提取和匹配，检测刀闸设备；3)通过将实时采集到的图像中刀闸臂方向和模板中的刀闸臂方向进行对比，判断刀闸是否分合到位。但是，这种传统的特征提取、模板匹配等图像处理方法容易受到复杂环境的干扰，可靠性不高。

随着深度学习技术的发展，采用深度学习技术可以从大规模图像数据集中自动学习最优特征提取的网络模型，实现端到端的分类。这种技术通过增大训练数据集来提高模型的泛化能力，以适应复杂环境的干扰。如专利《一种基于改进深度学习的刀闸状态识别方法与流程》通过图像滤波、直方图均衡、边缘提取等传统图像处理技术定位刀闸区域，然后设计六层卷积神经网络模型实现刀闸状态检测。与传统图像处理方法相比，受环境干扰较小。但是，刀闸目标定位仍受环境因素影响，刀闸目标特征提取的网络模型深度不够，卷积层提取特征细节信息不丰富，刀闸状态检测性能还有待进一步提高。

发明内容

发明目的：针对以上问题，本发明提出一种开关刀闸状态检测方法及装置，实现复杂环境下基于计算机视觉技术的开关刀闸状态可靠检测。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种开关刀闸状态检测方法，包括步骤：

(1)采用RefineDet卷积神经网络模型对输入图像进行刀闸目标区域检测，检测得到刀闸目标区域图像；

(2)裁剪刀闸目标区域图像；

(3)采用双线性插值方法进行刀闸目标区域图像尺寸归一化处理；

(4)采用优化VGG16网络模型提取归一化后的刀闸目标区域图像的图像特征；

(5)采用softmax函数进行分类，输出值不小于预设值时判定为“连接”状态，否则判定为“断开”状态，并输出刀闸状态检测结果。

进一步地，所述步骤4包括：

(4.1)优化VGG16网络模型以归一化后的刀闸目标区域图像作为输入数据，采用级联卷积层对输入数据进行运算；

(4.2)采用随机空间采样池化法对卷积特征向量进行采样。

进一步地，所述步骤4.1中，采用级联卷积层对输入数据进行运算，具体包括：首先执行经典卷积层的三个运算步骤；然后，将经典卷积层运算的输出结果与原始输入数据进行求和运算；最后，再对求和的数据执行经典卷积层的三个运算步骤，得到最终的输出。

进一步地，所述步骤4.2中，采用随机空间采样池化法对卷积特征向量进行采样，具体包括：随机空间采样池化法是按照概率的方式从池化窗口的各个元素中随机选择某一元素作为该池化窗口的输出值，随机空间采样池化时元素值越大被选中的概率越大。

进一步地，所述优化VGG16网络模型中，卷积层采用CReLU激活函数：

CReLU(x)＝[ReLU(x),ReLU(-x)]。

进一步地，所述RefineDet卷积神经网络模型和优化VGG16网络模型，采用Caffe工具训练网络模型。

进一步地，所述优化VGG16网络模型包括五个卷积层、五个池化层和一个全连接层的。

一种开关刀闸状态检测装置，包括刀闸目标区域检测模块、图像裁剪模块、归一化处理模块、图像特征提取模块、检测判定模块；所述刀闸目标区域检测模块采用RefineDet卷积神经网络模型对输入图像进行刀闸目标区域检测，将得到的刀闸目标区域图像送到图像裁剪模块进行裁剪刀闸目标区域图像，然后送到归一化处理模块采用双线性插值方法进行刀闸目标区域图像尺寸归一化处理，归一化后的刀闸目标区域图像作为图像特征提取模块的输入数据，采用优化VGG16网络模型提取图像特征，最后检测判定模块采用softmax函数进行分类，并判定刀闸状态，输出值不小于预设值时判定为“连接”状态，否则判定为“断开”状态。

所述图像特征提取模块包括卷积计算模块和特征采样模块，所述卷积计算模块采用优化VGG16网络模型，以归一化后的刀闸目标区域图像作为输入数据，采用级联卷积层对输入数据进行运算，输出卷积特征向量；所述特征采样模块采用随机空间采样池化法对卷积特征向量进行采样。

所述优化VGG16网络模型包括五个卷积层、五个池化层和一个全连接层。

有益效果：本发明采用性能优异的RefineDet方法自动检测图像中的刀闸目标，实现复杂环境下刀闸目标的高精度检测；提出泛化能力更强的优化VGG16网络模型，实现复杂环境下开关刀闸状态的可靠检测。

附图说明

图1是本发明方法流程图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明提供基于RefineDet和优化VGG16网络的开关刀闸状态检测方法，在刀闸目标检测阶段，采用性能优异的RefineDet方法自动定位图像中刀闸的位置，裁剪刀闸区域图像，克服复杂环境对刀闸目标检测的影响；在刀闸状态检测阶段，提出优化VGG16网络，提取细节丰富的刀闸图像特征，实现高精度的刀闸状态识别。同时，优化VGG16网络的泛化能力更强，可以适应复杂环境的变化。

如图1所示，本发明所述方法的实现流程具体步骤如下：

(1)刀闸目标检测，对摄像头采集到的每一帧刀闸图像，采用RefineDet方法检测图像中的刀闸目标区域；

对摄像头采集到的刀闸图像，本发明采用RefineDet方法进行刀闸目标检测，RefineDet方法出自2018年CVPR会议上的论文《Single-Shot Refinement Neural Networkfor Object Detection》，是目前目标检测领域性能优异的方法。

其主要思想是：1)引入两层目标检测思想，对包围盒进行由粗到细的回归，先通过区域推荐网络(RPN)得到粗粒度的包围盒信息，再通过常规的回归支路进一步回归得到更加精确的框信息；2)在检测网络中引入特征融合操作，提高小目标检测效果。

在本发明中，待检测目标只有刀闸一种目标，因此，模型训练时的目标类别数设置为1。

(2)裁剪刀闸目标区域图像，在输入图像中检测到刀闸目标区域的包围盒之后，裁剪该区域的图像，作为后续处理的输入图像；

(3)图像尺寸归一化，原图像中检测到的刀闸目标尺寸是不统一的，为了便于处理，本发明采用双线性插值方法，将刀闸目标区域图像尺寸缩放到224×224，其颜色通道数仍为3；

(4)采用优化VGG16网络模型提取归一化图像的特征；

(5)采用softmax函数进行分类，输出值不小于0.5时判定为“连接”状态，否则判定为“断开”状态，最后输出检测到的开关刀闸状态。

VGG16网络是牛津大学在2014年提出来的深度学习网络模型，具有简洁性和实用性的优点，在图像分类和目标检测任务中都表现出非常好的性能，是一种流行的卷积神经网络模型。但在刀闸状态检测应用中，该网络提取的特征区分能力还不够强。

因此，本发明提出一种优化VGG16网络，其与经典VGG16网络的差异如表1所示。其中，“convX-Y”中“conv”表示卷积，“X”表示感受野尺寸，“Y”表示通道数。譬如：“conv3-64”表示卷积运算感受野的尺寸为3×3，通道数为64；“○+”表示级联；“FC-Z”中“FC”表示全连接，“Z”表示通道数；“maxpool”表示最大池，“S3Pool”表示随机空间采样池，“softmax”指采用softmax函数(归一化指数函数)进行分类。

表1

步骤4中优化VGG16网络模型的主要优化内容包括三个方面：

第一，在五个卷积层，优化VGG16网络采用级联卷积代替经典卷积。

经典卷积层的运算步骤是：对输入数据先进行卷积运算，再采用BN(BatchNormalization)算法对数据进行归一化处理，最后采用ReLU激活函数进行激活运算。本发明采用的级联卷积层的运算步骤是：对输入数据，先执行经典卷积层的三个运算步骤；然后，将经典卷积层运算的输出结果与原始输入数据进行求和运算；最后，再对求和的数据执行经典卷积层的三个运算步骤，得到最终的输出。采用级联卷积层的优势在于：可以降低卷积过程中原始细节特征丢失的概率，对可靠判断电力开关刀闸的“连接”或“断开”状态具有增益效果。同时，通过级联增加了网络深度，有助于加强目标特征的提取并改善识别性能，且由于使用了权重共享，增加网络深度的过程中并不需要计算额外的参数，从而有效避免了过拟合等深度训练问题。

此外，经典卷积层采用ReLU激活函数，本发明中采用CReLU激活函数替代ReLU激活函数，与ReLU相比，CReLU可以同时捕获网络中正负相位的信息，而不像ReLU那样丢失负相位信息，从而降低卷积核的冗余计算，更好地规范深层网络的训练过程。

ReLU(x)＝max(0，x)

CReLU(x)＝[ReLU(x),ReLU(-x)]

第二，在五个池化层，优化VGG16网络采用“随机空间采样池”代替“最大池”。

为了降低卷积层输出的特征向量维度，同时避免维度过大引起的过拟合现象，经典VGG16网络采用最大池化方法对卷积特征向量进行采样。由于池化窗口不重叠以及空间大小的快速减少，最大池化对复杂数据的泛化能力有限。随机空间采样池化是按照概率的方式从池化窗口的各个元素中随机选择某一元素作为该池化窗口的输出值，与最大池化时直接选中最大值输出不同，随机空间采样池化时元素值越大被选中的概率越大，这种随机性在特征映射过程中引入失真，从而隐式地增加了训练数据，提高了泛化能力。

第三，优化VGG16网络中，全连接层的最后一个全连接的通道数为2，因为本发明用于检测电力开关刀闸的状态，而电力开关刀闸只有“连接”和“断开”两个状态。

本发明采用Caffe工具训练网络模型，总共需要训练两个模型：

一是刀闸目标检测阶段采用的RefineDet方法的卷积神经网络模型，训练数据集采用自建的图像数据集，数据集中的刀闸图像的尺寸统一为320×320，图像格式为3通道的RGB图像，图像中刀闸的位置采用人工标记方式生成，目标类别数为1，训练过程参考论文《Single-Shot Refinement Neural Network for Object Detection》；

二是刀闸特征提取阶段采用的优化VGG16网络模型，训练数据集仍采用自建数据集，数据集中刀闸图像的尺寸统一为224×224，图像格式为3通道的RGB图像，正样本为“连接”状态的刀闸图像，负样本为“断开”状态的刀闸图像。训练过程采用随机梯度下降算法，初始学习率为0.1，权重衰减值为0.0001，动量值固定为0.9。

本发明采用性能优异的RefineDet方法自动检测图像中的刀闸目标，实现复杂环境下刀闸目标的高精度检测；提出一种泛化能力更强的优化VGG16网络模型，实现复杂环境下开关刀闸状态的可靠检测。综合这两个方面的有益效果，最终实现复杂环境下基于计算机视觉技术的开关刀闸状态可靠检测。

本发明还包括一种开关刀闸状态检测装置，包括刀闸目标区域检测模块、图像裁剪模块、归一化处理模块、图像特征提取模块、检测判定模块；所述刀闸目标区域检测模块采用RefineDet卷积神经网络模型对输入图像进行刀闸目标区域检测，将得到的刀闸目标区域图像送到图像裁剪模块进行裁剪刀闸目标区域图像，然后送到归一化处理模块采用双线性插值方法进行刀闸目标区域图像尺寸归一化处理，归一化后的刀闸目标区域图像作为图像特征提取模块的输入数据，采用优化VGG16网络模型提取图像特征，最后检测判定模块采用softmax函数进行分类，并判定刀闸状态，输出值不小于预设值时判定为“连接”状态，否则判定为“断开”状态。

图像特征提取模块包括卷积计算模块和特征采样模块，卷积计算模块采用优化VGG16网络模型，以归一化后的刀闸目标区域图像作为输入数据，采用级联卷积层对输入数据进行运算，输出卷积特征向量；特征采样模块采用随机空间采样池化法对卷积特征向量进行采样。优化VGG16网络模型包括五个卷积层、五个池化层和一个全连接层。

卷积计算模块中优化VGG16网络模型采用级联卷积层对输入数据进行运算，具体计算过程包括：首先执行经典卷积层的三个运算步骤；然后，将经典卷积层运算的输出结果与原始的输入数据进行求和运算；最后，再对求和的数据执行经典卷积层的三个运算步骤，得到最终的输出。

优化VGG16网络模型中，卷积层采用CReLU激活函数：

CReLU(x)＝[ReLU(x),ReLU(-x)]。

特征采样模块采用随机空间采样池化法对卷积特征向量进行采样，具体包括：随机空间采样池化法是按照概率的方式从池化窗口的各个元素中随机选择某一元素作为该池化窗口的输出值，随机空间采样池化时元素值越大被选中的概率越大。

RefineDet卷积神经网络模型和优化VGG16网络模型，采用Caffe工具训练网络模型。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (4)

1.一种开关刀闸状态检测方法，其特征在于，包括步骤：

(1)采用RefineDet卷积神经网络模型对输入图像进行刀闸目标区域检测，检测得到刀闸目标区域图像；

(2)裁剪刀闸目标区域图像；

(3)采用双线性插值方法进行刀闸目标区域图像尺寸归一化处理；

(4)采用优化VGG16网络模型提取归一化后的刀闸目标区域图像的图像特征；

(5)采用softmax函数进行分类，输出值不小于预设值时判定为“连接”状态，否则判定为“断开”状态，并输出刀闸状态检测结果；

所述的优化VGG16网络模型包括五个卷积层、五个池化层和一个全连接层，该全连接层具有的三个全连接，最后一个全连接的通道数为2；

所述步骤4包括：

(4.1)优化VGG16网络模型以归一化后的刀闸目标区域图像作为输入数据，采用级联卷积层对输入数据进行运算；

(4.2)采用随机空间采样池化法对卷积特征向量进行采样；

所述步骤4.1中，采用级联卷积层对输入数据进行运算，具体包括：

首先执行经典卷积层的三个运算步骤；然后，将经典卷积层运算的输出结果与原始的输入数据进行求和运算；最后，再对求和的数据执行经典卷积层的三个运算步骤，得到最终的输出；

所述步骤4.2中，采用随机空间采样池化法对卷积特征向量进行采样，具体包括：

随机空间采样池化法是按照概率的方式从池化窗口的各个元素中随机选择某一元素作为该池化窗口的输出值，随机空间采样池化时元素值越大被选中的概率越大。

2.根据权利要求1所述的开关刀闸状态检测方法，其特征在于，所述优化VGG16网络模型中，卷积层采用CReLU激活函数：

CReLU(x)＝[ReLU(x),ReLU(-x)]。

3.根据权利要求1所述的开关刀闸状态检测方法，其特征在于，所述RefineDet卷积神经网络模型和优化VGG16网络模型，采用Caffe工具训练网络模型。

4.一种开关刀闸状态检测装置，其特征在于，包括刀闸目标区域检测模块、图像裁剪模块、归一化处理模块、图像特征提取模块、检测判定模块；所述刀闸目标区域检测模块采用RefineDet卷积神经网络模型对输入图像进行刀闸目标区域检测，将得到的刀闸目标区域图像送到图像裁剪模块进行裁剪刀闸目标区域图像，然后送到归一化处理模块采用双线性插值方法进行刀闸目标区域图像尺寸归一化处理，归一化后的刀闸目标区域图像作为图像特征提取模块的输入数据，采用优化VGG16网络模型提取图像特征，最后检测判定模块采用softmax函数进行分类，并判定刀闸状态，输出值不小于预设值时判定为“连接”状态，否则判定为“断开”状态；

所述图像特征提取模块包括卷积计算模块和特征采样模块，所述卷积计算模块采用优化VGG16网络模型，以归一化后的刀闸目标区域图像作为输入数据，采用级联卷积层对输入数据进行运算，输出卷积特征向量；所述特征采样模块采用随机空间采样池化法对卷积特征向量进行采样，具体包括：随机空间采样池化法是按照概率的方式从池化窗口的各个元素中随机选择某一元素作为该池化窗口的输出值，随机空间采样池化时元素值越大被选中的概率越大；所述采用级联卷积层对输入数据进行运算，具体包括：首先执行经典卷积层的三个运算步骤；然后，将经典卷积层运算的输出结果与原始的输入数据进行求和运算；最后，再对求和的数据执行经典卷积层的三个运算步骤，得到最终的输出；

所述优化VGG16网络模型包括五个卷积层、五个池化层和一个全连接层；该全连接层具有的三个全连接，最后一个全连接的通道数为2。

Images