CN116012363A - 一种变电站刀闸开合识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种变电站刀闸开合识别方法、装置、设备及存储介质。获取图像采集设备采集的包含变电站刀闸的待识别图像，将待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图，采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图，将多个不同尺寸的融合特征图进行融合，并输入检测头中进行处理，得到识别结果。本发明基于协调注意力机制的特征提取，可以减少计算中的开销，并提高识别准确度。本发明采用双向特征金字塔对多个不同尺度的特征图进行特征融合，能够在相同层级融合更多的特征，实现更高层次的特征融合，提高识别准确度。

Description

一种变电站刀闸开合识别方法、装置、设备及存储介质

技术领域

本发明涉及计算机图像处理技术，尤其涉及一种变电站刀闸开合识别方法、装置、设备及存储介质。

背景技术

刀闸，又称高压隔离开关，是变电站的一种主要设备，其状态的自动识别对于电网智能化设备状态巡视、设备告警联动等电网生产运行监控具有重要意义。

远程遥控刀闸分合逐步取代人工现场遥控分合，对于无人值守站来说，将来遥控操作刀闸，人工确认的需求也将逐步降低，直到完全不需要人工现场确认。传统隔离开关分合位置确定除受观测者主观影响的人为肉眼识别外，还依靠基于机械原理的辅助开关定位功能，实现监控后台刀闸位置信息展示。当刀闸机械出现磨损时，这种定位将会产生较大的偏差，从而导致对刀闸分合状态的判断失误。

发明内容

本发明提供一种变电站刀闸开合识别方法、装置、设备及存储介质，以实现减少计算中的开销，并提高识别准确度。

第一方面，本发明提供了一种变电站刀闸开合识别方法，包括：

获取图像采集设备采集的包含变电站刀闸的待识别图像；

将所述待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图；

采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图；

将多个不同尺寸的融合特征图进行融合，并输入检测头中进行处理，得到识别结果。

可选的，将所述待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图，包括：

采用Focus层对所述待识别图像进行切片处理，将所述待识别图像的平面上的信息转换到通道维度，得到第一特征图；

采用具有多个卷积块的卷积网络对所述第一特征图进行特征提取，得到第一尺度特征图和第二尺度特征图；

对所述第二尺度特征图进行卷积和池化处理，得到卷积特征；

采用协调注意力机制对所述卷积特征进行处理，得到第三尺度特征图。

可选的，采用协调注意力机制对所述卷积特征进行处理，得到第三尺度特征图，包括：

将所述卷积特征输入残差网络中进行处理，得到第一特征；

采用横向池化核和纵向池化核分别对第一特征沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到横向编码和纵向编码；

级联所述横向编码和所述纵向编码，得到级联特征；

对所述级联特征进行卷积处理，得到第二特征；

沿空间维度将所述第二特征切分为第三特征和第四特征；

采用两个1×1的卷积分别将所述第三特征和所述第四特征变换到和所述卷积特征同样的通道数，得到第五特征和第六特征；

采用非线性激活函数分别对所述第五特征和所述第六特征进行激活，得到注意力权重；

将所述卷积特征乘以所述注意力权重，得到第三尺度特征图。

可选的，采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图，包括：

对所述第三尺度特征图进行卷积处理，得到第七特征；

对所述第七特征进行上采样处理，得到与所述第二尺度特征图维度相同的第八特征；

采用双向特征金字塔融合所述第八特征与所述第二尺度特征，得到第九特征；

对所述第九特征进行卷积处理，得到第十特征；

对所述第十特征进行上采样处理，得到与所述第一尺度特征图维度相同的第十一特征；

采用双向特征金字塔融合所述第十一特征与所述第一尺度特征，得到第十二特征；

对所述第十二特征进行卷积处理，得到第一尺度融合特征；

采用双向特征金字塔融合所述第一尺度融合特征、所述第九特征和所述第二尺度特征，得到第十三特征；

对所述第十三特征进行卷积处理，得到第二尺度融合特征；

对所述第二尺度融合特征进行卷积处理，得到第十四特征；

采用双向特征金字塔融合所述第十四特征得到第十五特征；

对所述第十五特征进行卷积处理，得到第三尺度融合特征。

可选的，所述上采样的方式包括转置卷积、插值。

可选的，在获取图像采集设备采集的包含变电站刀闸的待识别图像之前，还包括：

获取样本图像；

利用所述样本图像对变电站刀闸开合识别模型进行训练，得到训练好的变电站刀闸开合识别模型。

可选的，基于PIoU计算模型训练的损失，损失函数为：

其中，b表示预测框，b′表示基准框，M表示预测框和基准框的匹配集合，当预测框和基准框的PIoU大于0.5时认为匹配，S_b∩b′为预测框和基准框的交集面积，S_b∪b′为预测框和基准框的并集面积。

第二方面，本发明还提供了一种变电站刀闸开合识别装置，包括：

图像获取模块，用于获取图像采集设备采集的包含变电站刀闸的待识别图像；

特征提取模块，用于将所述待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图；

特征融合模块，用于采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图；

结果识别模块，用于将多个不同尺寸的融合特征图进行融合，并输入检测头中进行处理，得到识别结果。

第三方面，本发明还提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的变电站刀闸开合识别方法。

第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如本发明第一方面提供的变电站刀闸开合识别方法。

本发明提供的变电站刀闸开合识别方法，包括：获取图像采集设备采集的包含变电站刀闸的待识别图像，将待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图，采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图，将多个不同尺寸的融合特征图进行融合，并输入检测头中进行处理，得到识别结果。本发明基于协调注意力机制的特征提取，能够具体位置信息加入通道注意力中，给网络提供额外注意力信息，能更快地发现图中的有效特征，可以减少计算中的开销，并提高识别准确度。本发明采用双向特征金字塔对多个不同尺度的特征图进行特征融合，能够在相同层级融合更多的特征，实现更高层次的特征融合，提高识别准确度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种变电站刀闸开合识别方法的流程图；

图2为本发明实施例提供的一种变电站刀闸开合识别模型的结构示意图；

图3为协调注意力机制的处理流程图；

图4为双向金字塔的融合过程图；

图5为变电站刀闸合闸识别结果图；

图6为变电站刀闸开闸识别结果图；

图7为本发明实施例提供的一种变电站刀闸开合识别装置的结构示意图；

图8为本发明的实施例提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1为本发明实施例提供的一种变电站刀闸开合识别方法的流程图，本实施例可适用于远程精确识别变电站刀闸开合状态的情况，该方法可以由本发明实施例提供的变电站刀闸开合识别装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于电子设备中，如图1所示，变电站刀闸开合识别方法具体包括如下步骤：

S101、获取图像采集设备采集的包含变电站刀闸的待识别图像。

在本发明实施例中，图像采集设备可以是摄像头，例如，单目摄像头、双目摄像头、红外摄像头等，本发明实施例在此不做限定。图像采集设备设置于变电站现场，用于采集包含变电站刀闸的图像作为待识别图像。

S102、将待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图。

在本发明实施例中，采用YOLO V5-ATT模型作为变电站刀闸开合识别模型，对待识别图像进行处理。图2为本发明实施例提供的一种变电站刀闸开合识别模型的结构示意图，如图2所示，变电站刀闸开合识别模型包括主干网络(Backbone)、颈部网络(Neck)和检测头(Detect head)。主干网络包括多个卷积块和协调注意力模块(ATT)。

注意力机制是人类视觉所特有的大脑信号处理机制。通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。

本发明中采用协调注意力机制，这种注意力机制通过将具体位置信息加入通道注意力中，给网络提供额外注意力信息。与通过2D全局池化将特征张量转换为单个特征向量的通道注意力不同，坐标注意力将通道注意力分解为两个一维特征编码过程，分别沿两个空间方向聚合特征。通过这种方式，可以沿一个空间方向捕获远程依赖关系，同时可以沿另一个空间方向保留精确的位置信息。在协调注意力机制中，特征图的处理由两部分组成，分别是X方向处理和Y方向处理。两个方向的输出经过非线性变换和分离，可以通过映射函数进行分割和传输。为了减少全局池化对位置信息的损失，非线性层将特征图分割成两个平行的单维特征，并让被检测对象的坐标信息嵌入特征图中，使特征融合能更快地发现图中的有效特征，可以减少计算中的开销，并提高识别准确度。

示例性的，如图2所示，主干网络的处理过程为：

1、采用Focus层对待识别图像进行切片处理，将待识别图像的平面上的信息转换到通道维度，得到第一特征图。

Focus是一种数据前处理模式，是图片进入backbone(骨干网)前，对图片进行切片操作，具体操作是在一张图片中每隔一个像素拿到一个值，类似于邻近下采样，这样就拿到了四张图片，四张图片互补，长的差不多，但是没有信息丢失，这样一来，将宽W和高H信息就集中到了通道维度，输入通道扩充了4倍，即拼接起来的图片相对于原先的RGB三通道模式变成了12个通道，最后将得到的新图片再经过卷积操作，最终得到了没有信息丢失情况下的二倍下采样特征图。

示例性的，原始的640×640×3的图像输入Focus结构，采用切片操作，先变成320×320×12的特征图，再经过一次卷积操作，最终变成320×320×32的特征图。

Focus操作后的好处就是整体的计算量变小，从而达到加速的目的。

在卷积神经网络对图片进行卷积操作后，会经过优化器(一种非线性函数)进行激活。YOLOv5提供了两种优化器，Adam和SGD，都预设了匹配的训练超参数。我们使用到的是SGD优化器，SGD是随机梯度下降，在一般情况下，机器学习训练模型的目标都是最小化损失函数，SGD的方式就是对损失函数求梯度，并且同时找到梯度最小的点，也就是收敛后的最优解。

2、采用具有多个卷积块的卷积网络对第一特征图进行特征提取，得到第一尺度特征图和第二尺度特征图。

示例性的，如图2所示，图中Conv模块为卷积模块，用于对输入的特征做卷积处理，C3模块为多个卷积模块的类似shortcut的结构组合，SPP为空间金字塔池化，保证网络可以处理任意尺寸的图片。第一特征图依次经过Conv模块、C3模块、Conv模块、C3模块进行特征提取，得到第一尺度特征图，然后经过Conv模块和C3模块进行特征提取，得到第二尺度特征图。

3、对第二尺度特征图进行卷积和池化处理，得到卷积特征。

如图2所示，第二尺度特征图依次经过Conv模块、SPP模块、C3模块进行卷积和池化处理，得到卷积特征。

4、采用协调注意力机制对卷积特征进行处理，得到第三尺度特征图。

如图2所示，ATT模块基于协调注意力机制对卷积特征进行处理，得到第三尺度特征图。

示例性的，图3为协调注意力机制的处理流程图，如图3所示，协调注意力机制的处理流程分为坐标信息嵌入(coordinate information embedding)和坐标注意力生成(coordinate attention generation)，具体过程如下：

1、将卷积特征输入残差网络(Residual)中进行处理，得到第一特征。

2、采用横向池化核和纵向池化核分别对第一特征沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到横向编码和纵向编码。

全局池化常用于通道注意力中来全局编码空间信息为通道描述符，因此难以保存位置信息。为了促进注意力模块能够捕获具有精确位置信息的空间长程依赖，将全局池化分解为一对一维特征编码操作。具体而言，对输入X，先使用尺寸(H,1)和(1,W)的池化核XAvg Pool和Y Avg Pool沿着水平坐标方向和竖直坐标方向对每个通道进行编码，分别得到横向编码和纵向编码。

3、级联横向编码和纵向编码，得到级联特征。

级联可以是将横向编码和纵向编码融合(Concat)，得到级联特征。

4、对级联特征进行卷积处理，得到第二特征。

使用一个共享的1x1卷积进行变换，得到对空间信息在水平方向和竖直方向的第二特征。

在本发明的一些实施例中，还可以对第二特征进行归一化处理(BatchNorm)和非线性变换(non-linear)，以提高数据处理效率。

5、沿空间维度将第二特征切分为第三特征和第四特征。

沿着空间维度将f切分为两个单独的张量，分别为第三特征和第四特征。

6、采用两个1×1的卷积分别将第三特征和第四特征变换到和卷积特征同样的通道数，得到第五特征和第六特征。

采用两个1×1的卷积Conv分别将第三特征和第四特征变换到和卷积特征同样的通道数，得到第五特征和第六特征。

7、采用非线性激活函数分别对第五特征和第六特征进行激活，得到注意力权重。

采用非线性激活函数Sigmoid分别对第五特征和第六特征进行激活，得到注意力权重(Re-weight)。

8、将卷积特征乘以注意力权重，得到第三尺度特征图。

S103、采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图。

在本发明实施例中，颈部网络采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图，其目的是获取更多更充分的，不同尺度的特征。在尺度更大的特征图上，检测小目标(因为小目标在大图上更明显)；在尺度小的特征图上，检测大目标，从而可以提高识别准确度。

示例性的，如图2所示，颈部网络的处理过程如下：

1、对第三尺度特征图进行卷积处理，得到第七特征。

ATT模块输出的第三尺度特征图经过Conv模块卷积处理，得到第七特征。

2、对第七特征进行上采样处理，得到与第二尺度特征图维度相同的第八特征。

对第七特征进行上采样处理，得到与第二尺度特征图维度相同的第八特征。上采样的方式包括转置卷积、插值等，本发明实施例在此不做限定。示例性，如图2所示，转置卷积模块(Trans-Conv)对第七特征进行上采样处理。

3、采用双向特征金字塔融合第八特征与第二尺度特征，得到第九特征。

采用双向特征金字塔(BiFPN-Concat)融合卷积模块输出的第八特征与第二尺度特征，得到第九特征。

传统的自上而下的FPN只有自上而下的单向信息流，Yolov5 Baseline中使用的PANet增加了自下而上的信息流，但对于相似度较高的目标检测，现有的特征是不够的，导致无法区分，造成分类错误和定位错误。为了解决这个问题，本发明将Baseline的PANet结构替换为BiFPN特征融合。图4为双向金字塔的融合过程图，如图4所示，首先，BiFPN删除那些只有一个输入边的节点。因为如果一个节点只有一条输入边而没有特征融合，那么它对融合不同特征的特征网络的贡献就会更小。所以我们移除了PANet中P3,P7的中间结点，使得网络变换为了一个简化的双向网络；其次，再添加一个跳跃连接，在同一尺度的输入节点到输出节点之间加一个跳跃连接，因为它们在相同层，在不增加太多计算成本的同时，融合了更多的特征。最后，与PANet仅有一个自顶向下和一个自底向上的路径不同，BiFPN将每个双向(自顶向下和自底向上)路径看作一个特征网络层(repeated blocks)，并多次重复同一层，以实现更高层次的特征融合。

4、对第九特征进行卷积处理，得到第十特征。

第九特征依次经过C3模块和Conv模块卷积处理，得到第十特征。

5、对第十特征进行上采样处理，得到与第一尺度特征图维度相同的第十一特征。

采用转置卷积(Trans-Conv)对第十特征进行上采样处理，得到与第一尺度特征图维度相同的第十一特征。

6、采用双向特征金字塔融合所述第十一特征与所述第一尺度特征，得到第十二特征。

采用双向特征金字塔融合第十一特征与所述第一尺度特征，得到第十二特征。

7、对第十二特征进行卷积处理，得到第一尺度融合特征。

第十二特征经过C3模块卷积处理，得到第一尺度融合特征。

8、采用双向特征金字塔融合第一尺度融合特征、第九特征和第二尺度特征，得到第十三特征。

9、对第十三特征进行卷积处理，得到第二尺度融合特征。

第十三特征经过C3模块卷积处理，得到第二尺度融合特征。

10、对第二尺度融合特征进行卷积处理，得到第十四特征。

第二尺度融合特征经过Conv模块进行卷积处理，得到第十四特征。

11、采用双向特征金字塔融合第十四特征得到第十五特征。

12、对第十五特征进行卷积处理，得到第三尺度融合特征。

第十五特征经过C3模块卷积处理，得到第三尺度融合特征。

S104、将多个不同尺寸的融合特征图进行融合，并输入检测头中进行处理，得到识别结果。

将多个不同尺寸的融合特征图进行融合，在这个过程中，网络可以更加充分的得到并获得上下文信息，从而对小目标以及难判别的目标进行检测。最后送入特征检测头(head)中进行处理，得到识别结果。

在模型应用之前，还包括对变电站刀闸开合识别模型进行训练，具体的，获取样本图像，将样本图像划分为训练接和验证集，利用训练接和验证集对变电站刀闸开合识别模型进行训练，得到训练好的变电站刀闸开合识别模型。具体的，在训练阶段，图片会先经过骨干网提取特征，随后将提取出的特征图送到neck层进行特征融合，其目的是让网络可以学习到更多的有效特征，在多尺度的特征图进行融合之后，将其传入检测器中进行分格检测，判断损失函数是否收敛，如果损失函数梯度已经收敛，说明网络已经学习到了一套比较合理的参数，能够正确的检测出图中目标。如果没有收敛，则需要继续进行迭代训练，更新参数。

在刀闸任务中，由于刀闸设备在运行中经常旋转，因此需要更多的精确定位。现有的基于区域的旋转目标检测通常会回归五个参数(中心点的坐标，宽度，高度，旋转角度)描述旋转边界框，并使用L1作为损失函数。但是，这种方法在实践中存在两个基本问题：角度参数引起损失不连续性，参数单位不同影响网络性能。针对这个问题，本发明引入了旋转损失函数PIoU来帮助网络对旋转时的目标进行回归。

旋转损失函数为：

其中，

b表示预测框，b′表示基准框，M表示预测框和基准框的匹配集合，当预测框和基准框的PIoU大于0.5时认为匹配，S_b∩b′为预测框和基准框的交集面积，S_b∪b′为预测框和基准框的并集面积。

图5为变电站刀闸合闸识别结果图，图6为变电站刀闸开闸识别结果图，如图5、6所述，使用本发明提出的算法，可以较好的对刀闸开合旋转进行检测。

本发明实施例提供的变电站刀闸开合识别方法，包括：获取图像采集设备采集的包含变电站刀闸的待识别图像，将待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图，采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图，将多个不同尺寸的融合特征图进行融合，并输入检测头中进行处理，得到识别结果。本发明基于协调注意力机制的特征提取，能够具体位置信息加入通道注意力中，给网络提供额外注意力信息，能更快地发现图中的有效特征，可以减少计算中的开销，并提高识别准确度。本发明采用双向特征金字塔对多个不同尺度的特征图进行特征融合，能够在相同层级融合更多的特征，实现更高层次的特征融合，提高识别准确度。

本发明实施例还提供了一种变电站刀闸开合识别装置，图7为本发明实施例提供的一种变电站刀闸开合识别装置的结构示意图，如图7所示，变电站刀闸开合识别装置包括：

图像获取模块201，用于获取图像采集设备采集的包含变电站刀闸的待识别图像；

特征提取模块202，用于将所述待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图；

特征融合模块203，用于采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图；

结果识别模块204，用于将多个不同尺寸的融合特征图进行融合，并输入检测头中进行处理，得到识别结果。

在本发明的一些实施例中，特征提取模块202包括：

切片子模块，用于采用Focus层对所述待识别图像进行切片处理，将所述待识别图像的平面上的信息转换到通道维度，得到第一特征图；

特征提取子模块，用于采用具有多个卷积块的卷积网络对所述第一特征图进行特征提取，得到第一尺度特征图和第二尺度特征图；

第一卷积子模块，用于对所述第二尺度特征图进行卷积和池化处理，得到卷积特征；

注意力子模块，用于采用协调注意力机制对所述卷积特征进行处理，得到第三尺度特征图。

在本发明的一些实施例中，注意力子模块包括：

残差单元，用于将所述卷积特征输入残差网络中进行处理，得到第一特征；

编码单元，用于采用横向池化核和纵向池化核分别对第一特征沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到横向编码和纵向编码；

级联单元，用于级联所述横向编码和所述纵向编码，得到级联特征；

卷积单元，用于对所述级联特征进行卷积处理，得到第二特征；

切分单元，用于沿空间维度将所述第二特征切分为第三特征和第四特征；

变换单元，用于采用两个1×1的卷积分别将所述第三特征和所述第四特征变换到和所述卷积特征同样的通道数，得到第五特征和第六特征；

非线性激活单元，用于采用非线性激活函数分别对所述第五特征和所述第六特征进行激活，得到注意力权重；

权重单元，用于将所述卷积特征乘以所述注意力权重，得到第三尺度特征图。

在本发明的一些实施例中，特征融合模块203包括：

第二卷积子模块，对所述第三尺度特征图进行卷积处理，得到第七特征；

第一上采样子模块，用于对所述第七特征进行上采样处理，得到与所述第二尺度特征图维度相同的第八特征；

第一融合子模块，用于采用双向特征金字塔融合所述第八特征与所述第二尺度特征，得到第九特征；

第三卷积子模块，用于对所述第九特征进行卷积处理，得到第十特征；

第二上采样子模块，用于对所述第十特征进行上采样处理，得到与所述第一尺度特征图维度相同的第十一特征；

第二融合子模块，用于采用双向特征金字塔融合所述第十一特征与所述第一尺度特征，得到第十二特征；

第四卷积子模块，用于对所述第十二特征进行卷积处理，得到第一尺度融合特征；

第三融合子模块，用于采用双向特征金字塔融合所述第一尺度融合特征、所述第九特征和所述第二尺度特征，得到第十三特征；

第五卷积子模块，用于对所述第十三特征进行卷积处理，得到第二尺度融合特征；

第六卷积子模块，用于对所述第二尺度融合特征进行卷积处理，得到第十四特征；

第四融合子模块，用于采用双向特征金字塔融合所述第十四特征得到第十五特征；

第七卷积子模块，用于对所述第十五特征进行卷积处理，得到第三尺度融合特征。

在本发明的一些实施例中，所述上采样的方式包括转置卷积、插值。

在本发明的一些实施例中，变电站刀闸开合识别装置还包括：

样本获取模块，用于在获取图像采集设备采集的包含变电站刀闸的待识别图像之前，获取样本图像；

模型训练模块，用于利用所述样本图像对变电站刀闸开合识别模型进行训练，得到训练好的变电站刀闸开合识别模型。

在本发明的一些实施例中，基于PIoU计算模型训练的损失，损失函数为：

其中，b表示预测框，b′表示基准框，M表示预测框和基准框的匹配集合，当预测框和基准框的PIoU大于0.5时认为匹配，S_b∩b′为预测框和基准框的交集面积，S_b∪b′为预测框和基准框的并集面积。

上述变电站刀闸开合识别装置可执行本申请任意实施例所提供的变电站刀闸开合识别方法，具备执行变电站刀闸开合识别方法相应的功能模块和有益效果。

图8为本发明的实施例提供的一种电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如变电站刀闸开合识别方法。

在一些实施例中，变电站刀闸开合识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的变电站刀闸开合识别方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行变电站刀闸开合识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

本发明实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如本申请任意实施例所提供的变电站刀闸开合识别方法。

计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种变电站刀闸开合识别方法，其特征在于，包括：

获取图像采集设备采集的包含变电站刀闸的待识别图像；

将所述待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图；

采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图；

将多个不同尺寸的融合特征图进行融合，并输入检测头中进行处理，得到识别结果。

2.根据权利要求1所述的变电站刀闸开合识别方法，其特征在于，将所述待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图，包括：

采用Focus层对所述待识别图像进行切片处理，将所述待识别图像的平面上的信息转换到通道维度，得到第一特征图；

采用具有多个卷积块的卷积网络对所述第一特征图进行特征提取，得到第一尺度特征图和第二尺度特征图；

对所述第二尺度特征图进行卷积和池化处理，得到卷积特征；

采用协调注意力机制对所述卷积特征进行处理，得到第三尺度特征图。

3.根据权利要求1所述的变电站刀闸开合识别方法，其特征在于，采用协调注意力机制对所述卷积特征进行处理，得到第三尺度特征图，包括：

将所述卷积特征输入残差网络中进行处理，得到第一特征；

采用横向池化核和纵向池化核分别对第一特征沿着水平坐标方向和竖直坐标方向对每个通道进行编码，得到横向编码和纵向编码；

级联所述横向编码和所述纵向编码，得到级联特征；

对所述级联特征进行卷积处理，得到第二特征；

沿空间维度将所述第二特征切分为第三特征和第四特征；

采用两个1×1的卷积分别将所述第三特征和所述第四特征变换到和所述卷积特征同样的通道数，得到第五特征和第六特征；

采用非线性激活函数分别对所述第五特征和所述第六特征进行激活，得到注意力权重；

将所述卷积特征乘以所述注意力权重，得到第三尺度特征图。

4.根据权利要求1-3任一所述的变电站刀闸开合识别方法，其特征在于，采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图，包括：

对所述第三尺度特征图进行卷积处理，得到第七特征；

对所述第七特征进行上采样处理，得到与所述第二尺度特征图维度相同的第八特征；

采用双向特征金字塔融合所述第八特征与所述第二尺度特征，得到第九特征；

对所述第九特征进行卷积处理，得到第十特征；

对所述第十特征进行上采样处理，得到与所述第一尺度特征图维度相同的第十一特征；

采用双向特征金字塔融合所述第十一特征与所述第一尺度特征，得到第十二特征；

对所述第十二特征进行卷积处理，得到第一尺度融合特征；

采用双向特征金字塔融合所述第一尺度融合特征、所述第九特征和所述第二尺度特征，得到第十三特征；

对所述第十三特征进行卷积处理，得到第二尺度融合特征；

对所述第二尺度融合特征进行卷积处理，得到第十四特征；

采用双向特征金字塔融合所述第十四特征得到第十五特征；

对所述第十五特征进行卷积处理，得到第三尺度融合特征。

5.根据权利要求4所述的变电站刀闸开合识别方法，其特征在于，所述上采样的方式包括转置卷积、插值。

6.根据权利要求1-3所述的变电站刀闸开合识别方法，其特征在于，在获取图像采集设备采集的包含变电站刀闸的待识别图像之前，还包括：

获取样本图像；

利用所述样本图像对变电站刀闸开合识别模型进行训练，得到训练好的变电站刀闸开合识别模型。

7.根据权利要求6所述的变电站刀闸开合识别方法，其特征在于，基于PIoU计算模型训练的损失，损失函数为：

其中，b表示预测框，b′表示基准框，M表示预测框和基准框的匹配集合，当预测框和基准框的PIoU大于0.5时认为匹配，S_b∩b′为预测框和基准框的交集面积，S_b∪b′为预测框和基准框的并集面积。

8.一种变电站刀闸开合识别装置，其特征在于，包括：

图像获取模块，用于获取图像采集设备采集的包含变电站刀闸的待识别图像；

特征提取模块，用于将所述待识别图像输入包括协调注意力机制的主干网络中进行处理，得到多个不同尺度的特征图；

特征融合模块，用于采用双向特征金字塔对多个不同尺度的特征图进行特征融合，得到多个不同尺寸的融合特征图；

结果识别模块，用于将多个不同尺寸的融合特征图进行融合，并输入检测头中进行处理，得到识别结果。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的变电站刀闸开合识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的变电站刀闸开合识别方法。

Images