CN115830302A - 一种多尺度特征提取融合配电网设备定位识别方法 - Google Patents

Abstract

本发明涉及一种多尺度特征提取融合配电网设备定位识别方法，具体步骤如下:获取不同场景下配电网设备图像并进行预处理，并划分训练集、验证集及测试集；构建由多尺度Transformer特征提取主干网络、金字塔多尺度特征融合模块、分类检测预测层构成的目标检测网络；经过训练集的权重参数的学习，和经过验证集的进一步优化调整，最终由测试集得完成对于配电网设备的识别与分类，确定最终的检测结果。本发明可以适应各种实际场景下采集的实时图像中实现各类目标设备精准识别定位，高效的解决了以往方法中由于设备定位识别误差造成的巡检任务错误的问题，提高了巡检工作的效率与质量。

Description

一种多尺度特征提取融合配电网设备定位识别方法

技术领域

本发明属于配电网工程巡检现场的图像识别技术领域，具体涉及一种多尺度特征提取融合配电网设备定位识别方法。

背景技术

在配电网工程巡检现场，普遍存在着现场场景复杂性高，并且工程现场之间相距较远，传统在执行巡检任务时，主要是依靠检测人员视觉识别，需要消耗大量的人力、物力和财力；人工检测识别的方式，严重依赖于检测人员的工作经验，需要耗费大量的人力资源且效率低下，并且在长时间的工作后，会导致识别误差率提高，进一步降低巡检任务的效率。

随着数字化和自动化水平的提升，基于计算机视觉的检测算法得到飞速的发展。由于深度学习的广泛应用，大量的目标检测算法开始涌现出来，为解决配电网设备的监管提供了高效的途径。现有的基于深度学习的目标检测算法分为两阶段和一阶段两大类：前者是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类和位置的微调；而后者是一个端到端的框架，输入图片后即可直接输出目标类别和对应的位置，将目标边框定位的问题转化为回归问题处理。

但是配电网工程场景图片复杂性高，图像中待检测设备种类繁多，背景冗余信息较多且复杂，关键目标信息不易被精准检测。为此，需提出一种高效配电网设备识别检测的方法，以适应不同复杂场景下，对各类配电网设备进行高稳定性和准确性的自动识别检测。

发明内容

为了克服上述所述的不足，本发明的目的是提供一种多尺度特征提取融合配电网设备定位识别方法，本发明实现了配电网工程不同场景的目标设备的识别检测，有效提升巡检任务的效率，得到更高可靠性的检测结果。

本发明解决其技术问题的技术方案是：一种多尺度特征提取融合配电网设备定位识别方法，包括如下步骤：

步骤S1、采集获取各种场景下配电网设备图像数据，并进行预处理，并划分训练集、验证集及测试集；

步骤S2、构建由多尺度Transformer特征提取主干网络、金字塔多尺度特征融合模块、分类检测预测层构成的目标检测网络；

所述多尺度Transformer特征提取主干网络由一个stem模块和四个特征提取阶段模块组成，四个特征提取阶段模块依次为第一特征提取阶段模块、第二特征提取阶段模块、第三特征提取阶段模块、第四特征提取阶段模块；

第一特征提取阶段模块依次包括Patch Embedding模块、Swin Transformer-Encoder模块和下采样层，Patch Embedding模块的输入为stem模块的输出，SwinTransformer-Encoder模块获取Patch Embedding模块的输出，Swin Transformer-Encoder模块处理后的特征经下采样层处理得到第一特征图M1；

第二特征提取阶段模块包括Swin Transformer-Encoder模块和下采样层；其SwinTransformer-Encoder模块的输入为第一特征提取阶段模块得到的第一特征图M1；

第三特征提取阶段模块包括Swin Transformer-Encoder模块和下采样层；其SwinTransformer-Encoder模块的输入为第二特征提取阶段模块得到的第二特征图M2；

第四特征提取阶段模块包括Swin Transformer-Encoder模块和下采样层；其SwinTransformer-Encoder模块的输入为第三特征提取阶段模块得到的第三特征图M3；第四特征提取阶段模块输出第四特征图M4；

所述金字塔多尺度特征融合模块将第一特征提取阶段模块输出的第一特征图M1和第二特征提取阶段模块输出的第二特征图M2融合得到第一次融合特征图M2′；第一次融合特征图M2′经下采样层后与第三特征提取阶段模块输出的第三特征图M3融合得到第二次融合特征图M3′；第二次融合特征图M3′经下采样层后与第四特征提取阶段模块输出的第四特征图M4融合得到第三次融合特征图M4′，第三次融合特征图M4′经下采样层后得到第五特征图M5；将第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′、第五特征图M5输入分类检测预测层；

分类检测预测层使用两个卷积层级联而成，输出分类结果及目标位置；

步骤S3、将训练集送入目标检测网络进行训练：由多尺度Transformer特征提取主干网络进行特征提取，金字塔多尺度特征融合模块进行尺度的融合，把得到的融合后特征图输入到分类检测预测层，分类检测预测层完成最后的预测框坐标及类别的输出，分析检测结果；在训练过程中对训练误差进行梯度下降，完成可训练的权重参数学习，得到训练完成的目标检测模型；

步骤S4、将验证集送入步骤S3训练完成的目标检测模型，进一步的估计泛化误差，调整模型的超参数；

步骤S5、使用超参数调整优化完成后的目标检测模型检测测试集，完成配电网设备识别和分类，评价测试结果，然后用测试合格的目标检测模型检测待测配电网设备图像。

进一步优选，所述Patch Embedding模块将配电网设备图像裁成一个个“图像块”*“图像块”的窗口大小，然后进行嵌入，所述Patch Embedding模块包括一个下采样层和一个1×1卷积，调整通道维度为原来的两倍。这里是通过二维卷积层，将卷积核和步距均设置为“图像块”大小。设定输出通道来确定嵌入向量的大小。最后将高（H），宽（W）维度展开，并移动到第一维度，进而生成一系列的“图像块”。

进一步优选，所述Swin Transformer-Encoder模块由两个连续的SwinTransformer Block所组成，依次经过归一化层后送入窗口自注意力机制（W-MSA），送入归一化层后输入给MLP模块；再经过归一化层后送入偏移窗口自注意力机制（SW-MSA），送入归一化层后输入给MLP模块，其中在自注意力机制和MLP模块后均有残差链接。

进一步优选，所述stem模块实质为一个7×7的卷积层，步距为2。

进一步优选，所述下采样层均为卷积核大小为1×1，步距为2的卷积。

进一步优选，第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′和第五特征图M5设置不同的先验框，先验框数量的设置[3，4，4，4]，先验框的设置，包括尺度和长宽比两个方面。使用K-Means聚类算法得到不同尺寸的先验框，对于第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′和第五特征图M5，根据先验框数量设置的不同，通过聚类算法，总共可以得到15个先验框，使用逻辑回归确定用来预测的回归框。

进一步优选，第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′和第五特征图M5输入到分类检测预测层生成预测框，又将预测框和每个网格中心建立多个先验框对比验证，判断所选中的区域是否包含最终识别的配电网设备目标，以及目标设备的类别；经过先验框和预测框之间连续的调整，微调区域边缘进而得到精确的边界框。

进一步优选，分类检测预测层生成的预测框经过调整后得到精确的边界框，设置置信度阈值，对每种类别进行判断，输出置信度得分大于阈值的结果，包括预测框和得分；通过非极大值抑制算法找到局部极大值，并筛除邻域内其余的值，使用非极大值抑制从堆叠的边框中选出得分最高的预测框，产生最终的检测结果，包括预测框坐标位置、置信度和类别概率。

本发明与现有技术相比，具有以下优点及有益效果：面对传统人工配电网巡检任务耗时耗力，工作任务重，工作强度大和效率低等问题，本发明从深度学习的目标检测出发，基于Transformer的多尺度特征提取融合，实现了配电网工程不同场景的目标设备的识别检测，有效提升巡检任务的效率，得到更高可靠性的检测结果。本发明具有以下特点：

1.本发明的特征提取网络采用多尺度Transformer特征提取主干网络，以层级的形式灵活的提供各种尺度的信息，通过自注意力机制对多尺度特征建立长期依赖性的模型，对配电网场景待测图片进行特征提取，得到更详细的特征信息。

2.本发明保留各种尺度得特征，为配电网多种复杂场景下得不同大小的待测设备得定位和检测提供了可能，提高检测结果得准确性，加速设备监管的智能化进程。

附图说明

图1为本发明的流程图。

图2为本发明的目标检测网络示意图。

图3为Swin Transformer-Encoder模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1，本发明的多尺度特征提取融合配电网设备定位识别的方法，包括如下步骤：

步骤S1、采集获取各种场景下配电网设备图像数据，并进行预处理，并划分训练集、验证集及测试集；

对配电网设备图像数据进行预处理：图像格式和尺度的统一化调整和图像归一化处理；对预处理好后的配电网设备图像数据进行数据集划分，划分为训练集、验证集及测试集（比例为6：2：2），其中的每种类别的配电网设备图像数据越接近，训练效果越好。

步骤S2、构建由多尺度Transformer（自注意力模型）特征提取主干网络、金字塔多尺度特征融合模块、分类检测预测层构成的目标检测网络（参照图2）；

所述多尺度Transformer（自注意力模型）特征提取主干网络由一个stem（茎）模块和四个特征提取阶段（Stage）模块组成，四个特征提取阶段（Stage）模块依次为第一特征提取阶段（Stage1）模块、第二特征提取阶段（Stage2）模块、第三特征提取阶段（Stage3）模块、第四特征提取阶段（Stage4）模块；

第一特征提取阶段（Stage1）模块依次包括Patch Embedding(块嵌入)模块、SwinTransformer-Encoder(窗口自注意力模型编码器)模块和下采样层，Patch Embedding模块的输入为stem模块的输出，Swin Transformer-Encoder模块获取Patch Embedding模块的输出，Swin Transformer-Encoder模块处理后的特征经下采样层处理得到第一特征图M1；

第二特征提取阶段（Stage2）模块包括Swin Transformer-Encoder模块和下采样层；其Swin Transformer-Encoder模块的输入为第一特征提取阶段（Stage1）模块得到的第一特征图M1；

第三特征提取阶段（Stage3）模块包括Swin Transformer-Encoder模块和下采样层；其Swin Transformer-Encoder模块的输入为第二特征提取阶段（Stage2）模块得到的第二特征图M2；

第四特征提取阶段（Stage4）模块包括Swin Transformer-Encoder模块和下采样层；其Swin Transformer-Encoder模块的输入为第三特征提取阶段（Stage3）模块得到的第三特征图M3；第四特征提取阶段（Stage4）模块输出第四特征图M4；

所述金字塔多尺度特征融合模块将第一特征提取阶段（Stage1）模块输出的第一特征图M1和第二特征提取阶段（Stage2）模块输出的第二特征图M2融合得到第一次融合特征图M2′；第一次融合特征图M2′经下采样层后与第三特征提取阶段（Stage3）模块输出的第三特征图M3融合得到第二次融合特征图M3′；第二次融合特征图M3′经下采样层后与第四特征提取阶段（Stage4）模块输出的第四特征图M4融合得到第三次融合特征图M4′，第三次融合特征图M4′经下采样层后得到第五特征图M5；将第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′、第五特征图M5输入分类检测预测层；

分类检测预测层使用两个卷积层级联而成，输出分类结果及目标位置。

步骤S3、将训练集送入目标检测网络进行训练：由多尺度Transformer特征提取主干网络进行特征提取，金字塔多尺度特征融合模块进行尺度的融合，把得到的融合后特征图输入到分类检测预测层，分类检测预测层完成最后的预测框坐标及类别的输出，分析检测结果；在训练过程中对训练误差进行梯度下降，完成可训练的权重参数学习，得到训练完成的目标检测模型。

步骤S4、将验证集送入步骤S3训练完成的目标检测模型，进一步的估计泛化误差，调整模型的超参数。

步骤S5、使用超参数调整优化完成后的目标检测模型检测测试集，完成配电网设备识别和分类，评价测试结果，然后用测试合格的目标检测模型检测待测配电网设备图像。

本发明中，所述Patch Embedding模块将配电网设备图像裁成一个个“图像块”*“图像块”的窗口大小，然后进行嵌入，所述Patch Embedding模块主要包括一个下采样层和一个1×1卷积，调整通道维度为原来的两倍。这里是通过二维卷积层，将卷积核和步距均设置为“图像块”大小。设定输出通道来确定嵌入向量的大小。最后将高（H），宽（W）维度展开，并移动到第一维度，进而生成一系列的“图像块”。

本发明中，第一特征提取阶段（Stage1）模块感受野比较小，通过 stem模块处理输入的配电网设备图像，有利于训练的稳定，所述stem模块实质为一个7×7的卷积层，步距为2。

参照图3，所述Swin Transformer-Encoder模块由两个连续的Swin TransformerBlock所组成，依次经过归一化层后送入窗口自注意力机制（W-MSA），送入归一化层后输入给MLP模块；再经过归一化层后送入偏移窗口自注意力机制（SW-MSA），送入归一化层后输入给MLP模块，其中在自注意力机制和MLP模块后均有残差链接。

本发明中，所述下采样（Downsample）层均为卷积核大小为1×1，步距为2的卷积。

每一次降采样后都与对应的特征提取网络提取相同尺度的特征图进行融合，多尺度特征融合选取第一个特征提取阶段模块、 第二个特征提取阶段模块、 第三个特征提取阶段模块、第四个特征提取阶段模块输出的四个特征图进行多尺度特征融合主干网络和下采样层生成有效的特征图，具体操作：假设原特征图 W ×H ×C （W、H、C分别代表宽、高和通道数量），送入第一特征提取阶段（Stage1）模块得到第一特征图M1 W/2 ×H/2 ×2C，同时第一特征图M1成为金字塔多尺度特征融合模块的输入，经过一个下采样层，第一特征图M1就降采样为W/4 ×H/4 ×4C；第一特征图M1经过第二特征提取阶段（Stage2）模块也降采样为第二特征图M2 W/4 ×H/4 ×4C，第一特征图M1降采样后和第二特征图M2进行融合得到第一融合特征图M2＇，具体的融合方式就是加和操作；第一融合特征图M2＇降采样后与第三特征图M3融合得到第二融合特征图M3＇，第二融合特征图M3＇降采样后与第四特征图M4融合得到第二融合特征图M4＇，这种操作能保留更详尽的特征信息，增加特征图的表征能力。深层的特征图下采样倍数高，具有较大的感受野，适用于检测识别大目标设别，而浅层的特征图具有较小的感受野，所以适合较小目标的检测与识别。

本发明中，第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′和第五特征图M5设置不同的先验框，先验框数量的设置[3，4，4，4]，先验框的设置，包括尺度和长宽比两个方面。使用K-Means聚类算法得到不同尺寸的先验框，对于第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′和第五特征图M5，根据先验框数量设置的不同，通过聚类算法，总共可以得到15个先验框，使用逻辑回归确定用来预测的回归框。

第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′和第五特征图M5输入到分类检测预测层生成预测框，又将预测框和每个网格中心建立多个先验框对比验证，判断所选中的区域是否包含最终识别的配电网设备目标，以及目标设备的类别；经过先验框和预测框之间连续的调整，微调区域边缘进而得到精确的边界框。

分类检测预测层生成的预测框经过调整后得到精确的边界框，设置置信度阈值，对每种类别进行判断，输出置信度得分大于阈值的结果，包括预测框和得分；通过非极大值抑制算法找到局部极大值，并筛除（抑制）邻域内其余的值，使用非极大值抑制从堆叠的边框中选出得分最高的预测框，产生最终的检测结果，包括预测框坐标位置、置信度和类别概率。

最后应当说明的是:以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制, 尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本发明后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。

Claims (8)

1.一种多尺度特征提取融合配电网设备定位识别方法，其特征是，包括如下步骤：

步骤S1、采集获取各种场景下配电网设备图像数据，并进行预处理，并划分训练集、验证集及测试集；

步骤S2、构建由多尺度Transformer特征提取主干网络、金字塔多尺度特征融合模块、分类检测预测层构成的目标检测网络；

所述多尺度Transformer特征提取主干网络由一个stem模块和四个特征提取阶段模块组成，四个特征提取阶段模块依次为第一特征提取阶段模块、第二特征提取阶段模块、第三特征提取阶段模块、第四特征提取阶段模块；

第一特征提取阶段模块依次包括Patch Embedding模块、Swin Transformer-Encoder模块和下采样层，Patch Embedding模块的输入为stem模块的输出，Swin Transformer-Encoder模块获取Patch Embedding模块的输出，Swin Transformer-Encoder模块处理后的特征经下采样层处理得到第一特征图M1；

第二特征提取阶段模块包括Swin Transformer-Encoder模块和下采样层；其SwinTransformer-Encoder模块的输入为第一特征提取阶段模块得到的第一特征图M1；

第三特征提取阶段模块包括Swin Transformer-Encoder模块和下采样层；其SwinTransformer-Encoder模块的输入为第二特征提取阶段模块得到的第二特征图M2；

第四特征提取阶段模块包括Swin Transformer-Encoder模块和下采样层；其SwinTransformer-Encoder模块的输入为第三特征提取阶段模块得到的第三特征图M3；第四特征提取阶段模块输出第四特征图M4；

所述金字塔多尺度特征融合模块将第一特征提取阶段模块输出的第一特征图M1和第二特征提取阶段模块输出的第二特征图M2融合得到第一次融合特征图M2′；第一次融合特征图M2′经下采样层后与第三特征提取阶段模块输出的第三特征图M3融合得到第二次融合特征图M3′；第二次融合特征图M3′经下采样层后与第四特征提取阶段模块输出的第四特征图M4融合得到第三次融合特征图M4′，第三次融合特征图M4′经下采样层后得到第五特征图M5；将第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′、第五特征图M5输入分类检测预测层；

分类检测预测层使用两个卷积层级联而成，输出分类结果及目标位置；

步骤S3、将训练集送入目标检测网络进行训练：由多尺度Transformer特征提取主干网络进行特征提取，金字塔多尺度特征融合模块进行尺度的融合，把得到的融合后特征图输入到分类检测预测层，分类检测预测层完成最后的预测框坐标及类别的输出，分析检测结果；在训练过程中对训练误差进行梯度下降，完成可训练的权重参数学习，得到训练完成的目标检测模型；

步骤S4、将验证集送入步骤S3训练完成的目标检测模型，进一步的估计泛化误差，调整模型的超参数；

步骤S5、使用超参数调整优化完成后的目标检测模型检测测试集，完成配电网设备识别和分类，评价测试结果，然后用测试合格的目标检测模型检测待测配电网设备图像。

2.根据权利要求1所述的多尺度特征提取融合配电网设备定位识别方法，其特征是，所述Patch Embedding模块将配电网设备图像裁成一个个“图像块”*“图像块”的窗口大小，然后进行嵌入，所述Patch Embedding模块包括一个下采样层和一个1×1卷积。

3.根据权利要求1所述的多尺度特征提取融合配电网设备定位识别方法，其特征是，所述Swin Transformer-Encoder模块由两个连续的Swin Transformer Block所组成，依次经过归一化层后送入窗口自注意力机制，送入归一化层后输入给MLP模块；再经过归一化层后送入偏移窗口自注意力机制，送入归一化层后输入给MLP模块，其中在自注意力机制和MLP模块后均有残差链接。

4.根据权利要求1所述的多尺度特征提取融合配电网设备定位识别方法，其特征是，所述stem模块实质为一个7×7的卷积层，步距为2。

5.根据权利要求1所述的多尺度特征提取融合配电网设备定位识别方法，其特征是，所述下采样层均为卷积核大小为1×1，步距为2的卷积。

6.根据权利要求1所述的多尺度特征提取融合配电网设备定位识别方法，其特征是，第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′和第五特征图M5设置不同的先验框，先验框数量的设置[3，4，4，4]，先验框的设置，包括尺度和长宽比两个方面；使用K-Means聚类算法得到不同尺寸的先验框，对于第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′和第五特征图M5，根据先验框数量设置的不同，通过聚类算法，总共可以的到15个先验框，使用逻辑回归确定用来预测的回归框。

7.根据权利要求6所述的多尺度特征提取融合配电网设备定位识别方法，其特征是，第一次融合特征图M2′、第二次融合特征图M3′、第三次融合特征图M4′和第五特征图M5输入到分类检测预测层生成预测框，又将预测框和每个网格中心建立多个先验框对比验证，判断所选中的区域是否包含最终识别的配电网设备目标，以及目标设备的类别；经过先验框和预测框之间连续的调整，微调区域边缘进而得到精确的边界框。

8.根据权利要求7所述的多尺度特征提取融合配电网设备定位识别方法，其特征是，分类检测预测层生成的预测框经过调整后得到精确的边界框，设置置信度阈值，对每种类别进行判断，输出置信度得分大于阈值的结果，包括预测框和得分；通过非极大值抑制算法找到局部极大值，并筛除邻域内其余的值，使用非极大值抑制从堆叠的边框中选出得分最高的预测框，产生最终的检测结果，包括预测框坐标位置、置信度和类别概率。

Images