CN111401384A - 一种变电设备缺陷图像匹配方法 - Google Patents

Abstract

本发明涉及一种变电设备缺陷图像匹配方法，与现有技术相比解决了难以有效对变电设备缺陷图像进行匹配的缺陷。本发明包括以下步骤：变电站设备正常图像数据集的获取；变电站设备缺陷图像数据集的获取；构建缺陷图像匹配网络；缺陷图像匹配网络的训练；待匹配图像的获取；变电设备缺陷图像匹配结果的获得。本发明能够充分利用所有卷积层的尺度特征，并在多尺度特征映射图基础上构造关键点检测器与描述器，设计新的图像匹配与检测学习函数，最终实现变电设备缺陷图像的快速准确匹配。

Description

一种变电设备缺陷图像匹配方法

技术领域

本发明涉及变电设备技术领域，具体来说是一种变电设备缺陷图像匹配方法。

背景技术

准确分析与理解图像之间的相关性是计算机视觉领域极具挑战性的一项任务，图像匹配是其中重要的分支，在图像检索、识别与视频分析中均有重要应用。图像匹配的核心问题是将图像中出现同一目标区域在不同分辨率、不同光照、不同位姿情况下所成的像相对应。一般而言，一个典型基于特征的图像匹配与检测框架包括两个主要部分：一是检测图像中关键点，即关键点检测器；二是关键点附加详细的尺度、方向等信息描述，也就是所谓的描述器。

SIFT、SURF等特征提取方法在计算机视觉中起着至关重要的作用，也成为图像匹配的标准。时至今日SIFT、SURF等在众多计算机视觉应用场景中仍然有着重要的应用。近些年，基于计算机视觉技术在变电站设备监测维护中得到了广泛应用。

程攀提出一种基于灰度图编码的变压器进行检测与识别方法。所提方法首先将图像划分N个大小相关的子图像块，然后对每个子图像块进行灰度图编码，最后通过模板匹配算法计算相似度，该方法减少了密集模板匹配过程中的计算量，同时提高了变电站设备识别与定位的准确率。文献中也有提出一种基于SIFT与图像的稀疏表示相结合的特征表示算法，并应用到变电站设备的检测与识别中。首先对变电站设备图像的SIFT进行特征提取；其次，采用 K-means聚类方法实现特征聚类。接下来应用BOF(Bag-of-Features)进行特征的稀疏编码；最后将稀疏编码作为特征输入SVM分类器进行特征学习，实现对变电站设备图像的检测与识别。针对变电站绝缘子设备故障的智能化诊断，姚楠等利用激光扫描进行图像获取，后采用图像分割、信息增强以及直方图等融合方法实现对变电站设备绝缘子破裂裂纹进行检测，仿真试验表明所提方法对变电站绝缘子破裂的检测与识别有着较好的效果。

SIFT、SURF等这类人工构造的特征提取方法，通常利用人类先验知识来建立特征提取模型，它主要针对某一特定任务场景设计，往往无法适应复杂自然场景，且计算复杂度高，无法应用到实时变电站设备缺陷图像的快速匹配与检测。

为了提高传统特征检测算法计算速度，有文献提出ORB(Oriented FAST andRotated BRIEF)，一种快速特征点提取和描述的算法。通过构造空间金字塔特征提取，并将一定半径内像素的质心作为描述子的坐标系，使得特征描述具有尺度和旋转不变性。实验结果表明，ORB算法的速度是SIFT的100 倍，是SURF的10倍。为了减轻光照、变形等因素带来的图像匹配难度，有技术从数据增强角度出发，提出一种新的图像增强方法，在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，可以对各种不同类型的图像进行自适应的增强。进一步，从图像模板匹配角度出发，提出新的一类图像模板匹配方法，在不同的应用图像数据集上获得了令人满意的实验结果。

与传统方法在特征提取方法上所不同的是，深度学习技术的大力发展，基于卷积神经网络特征学习与提取方式逐步取代了传统人工设计特征的过程，同时特征学习能够端到端的训练，计算效率高，可移植性好。现有基于卷积神经网络的图像匹配方法大多数聚焦在对描述器的设计与构造上。Wang 等人联合应用孪生网络和Deepcompare学习图像间非线性距离矩阵，实现特征匹配。LIFT第一个尝试通过可微运算方式将检测器、方向估计器和描述器三个部分组合起来，训练一个端到端的图像匹配网络。SuperPoint训练一个由共享的特征编码器和两个解码器组成全卷积的神经网络，分别用于特征检测和描述，最后联合两个学习的编码器实现图像匹配与检测。

传统的匹配算法往往是直接提取角点或边缘，对不同光照、不同位姿等情况下的鲁棒性较差。现有很多方法侧重于单独构建、训练关键点检测器或特征描述器来解决上述问题。然而，直接将关键点检测器与特征描述器单独集成到图像匹配检测框架时，结果可能不会获得较大提升。因此，联合训练检测器和描述器，使它们之间优势互补。但是，训练这样一个联合模型是困难的，因为关键点检测器与特征描述器均有各自不同的优化目标函数。

现有技术中，有方法直接将关键点检测器与特征描述器单独集成到图像匹配检测框架，然而，所提方法依然依赖于尺度不变特征(Scale-Invariant Feature Transform,SIFT)检测器的输出来初始化训练，因此所构建关键点检测器与SIFT检测器效果类似。与传统人工构造的特征如，SIFT、加速健壮特征(Speeded-up Robust Features,SURF)不同的是，基于卷积神经网络 (Convolutional Neural Networks，CNNs)特征，LF-Net通过孪生网络 (Siamese network)来训练整个图像匹配网络，在获得较好的图像匹配效果的同时，由于该方法忽视了卷积神经网络特征检测的多尺度性，因此依然不能在多种复杂场景中得到令人满意的图像匹配与检测结果，特别是在变电设备缺陷图像匹配与检测中。

发明内容

本发明的目的是为了解决现有技术中难以有效对变电设备缺陷图像进行匹配的缺陷，提供一种变电设备缺陷图像匹配方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种变电设备缺陷图像匹配方法，包括以下步骤：

11)变电站设备正常图像数据集的获取：获取变电站设备正常图像数据集；

12)变电站设备缺陷图像数据集的获取：获取变电站设备缺陷图像数据集；

13)构建缺陷图像匹配网络：设定缺陷图像匹配网络包括多尺度特征提取网络、关键点检测器和描述器网络；

构建多尺度特征提取网络：利用ResNet残差特征学习，构建多尺度特征提取网络；关键点检测器的分析：将高响应特征的像素作为关键点，通过使用特征响应图计算图像中每个像素的关键点分值；描述器网络用于对图像I_i与图像I_j关键点周围进行密集图像块采样，组成图像块p_i与p_j，通过对图像I_i与图像I_j特征描述的计算，得到两幅图匹配结果；

14)缺陷图像匹配网络的训练：利用变电站设备正常图像数据集和变电站设备缺陷图像数据集对缺陷图像匹配网络进行训练；

15)待匹配图像的获取：获取正常图像以及待匹配的变电设备缺陷图像；

16)变电设备缺陷图像匹配结果的获得：将正常图像和待匹配的变电设备缺陷图像输入训练后的缺陷图像匹配网络，得到变电设备缺陷图像的匹配结果。

所述构建多尺度特征提取网络包括以下步骤：

21)设定深度残差网络ResNet构建多尺度特征提取网络；

22)将残差单元表示为：

y_l＝h(x_l)+F(x_l,W_l),x_l+1＝f(y_l)，

其中，x_l和x_l+1分别表示的是第l个残差单元的输入和输出，F是残差函数， h(x_l)表示学习到的残差，而h(x_l)＝x_l表示恒等映射,f(g)是ReLU激活函数；

浅层l到深层L的学习特征为：

23)设定使用Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x的每个阶段最后残差块的特征激活输出x_l+1，对应的特征图表示为 {C1,C2,C3,C4,C5}。

所述变电站设备正常图像进行多尺度映射特征图的提取包括以下步骤：

31)定义多特征多尺度特征响应图

这里5≤n≤N,N表示卷积神经网络的层数；

32)针对特征图{C1,C2,C3,C4,C5}，使用N层卷积层来产生特征映射 {Qn}，这里Qn中的每个响应描述了从图像的某一区域提取的特征；

33)将空间分辨率上采样2倍，通过逐元素相加将上采样的特征图与从下而上的特征图进行融合；

34)迭代32)步骤，逐步生成精细的分辨率特征图，迭代过程中，把C5 层上附加1x1卷积层来产生粗糙的分辨率特征图；

35)在每一个融合图上添加一个3x3的卷积来生成最终的多尺度空间上的特征图

所述关键点检测器的分析包括以下步骤：

41)针对多尺度空间上的特征图

通过卷积方式在11×11×N滑动窗口上执行softmax运算，从而生成N个更清晰不同尺度的特征响应图

42)通过上采样方式将每个尺度的

调整到原始图像尺寸大小；

43)整合所有不同尺度上的

通过softmax来计算最终的图像关键点分值映射图F；其表达式如下：

这里e表示哈达玛积，

表示图像中每个像素属于关键点的概率；

基于每个像素关键点概率

分别计算方向O与尺度映射图S，

这里

是多尺度方向映射图，即在{Qn}应用1x1卷积核生成，

表示在多尺度特征响应图

上感受野的大小。

所述描述器网络的构建包括以下步骤：

51)从得分图F中选择T个得分最高的特征点及图像位置(x,y)，通过对其方向映射图与尺度映射图的计算，描述定义为：P^T＝{x,y,O,S}^T；

52)从选择的T个关键点周围根据关键点的位置(x,y)、方向O、尺度S进行图像块标准化裁剪，并将所获取的图像块正则化操作后，重新缩放操作至 32x32大小；

53)对获得的图像块批量输入到描述器网络，描述器网络由7个卷积层组成，每个卷积层均连接着一个正则化和ReLU操作，网络最后一层L2正则化的输出作为描述符D，其维数为128。

所述缺陷图像匹配网络的训练包括以下步骤：

61)训练图像级分值损失函数：

611)将变电设备正常图像I_i和变电设备缺陷图像I_j送入网络以产生关键点分值映射图F_i和F_j后，进一步对F_j进行处理以产生真实场景下G_j；

612)从分值映射图F_j中选择T个关键点，并将其表示为操作o；

613)在给定真实场景投影矩阵的情况下，对于图像所发生扭曲、旋转，应用投影转化操作w完成；

614)通过在这些位置上进行高斯操作g生成新的真实场景下得分映射图 G_i，这里高斯核标准偏差σ＝0.5；

615)图像级训练损失函数被定义为：

G_i＝g(o(w(F_j)))，

loss_sim(F_i,F_j)＝|F_i-G_i|²；

62)训练图像块级损失函数：

621)从I_i中选择了T个关键点，并将它们的空间坐标投影变化到I_j，类似图像级损失函数计算的逆过程；

622)抽取图像块对应区域的描述P_i ^T＝{x_i,y_i,O_i,S_i}^T，P_j ^T＝{x_j,y_j,O_j,S_j}^T；

623)利用这些图像块及对应组成的描述符

定义图像块级训练损失函数如下：

训练时考虑变电设备正常图像I_i和变电设备缺陷图像I_j中那些对应非匹配的图像块，对于那些不匹配的图像块，采用渐进式方式获取更多非匹配样本块组成来负样本参与训练；带着这些匹配与非匹配的图像块，定义所需的图像块级训练损失如下：

这里

是最接近

的不匹配描述符，

是最接近

不匹配描述符；

63)将整个变电设备缺陷图像匹配与检测的训练网络定义如下：

loss_dec＝λloss_sim+(1-λ)loss_patches；

64)利用随机梯度下降法进行损失函数的回传。

有益效果

本发明的一种变电设备缺陷图像匹配方法，与现有技术相比能够充分利用所有卷积层的尺度特征，并在多尺度特征映射图基础上构造关键点检测器与描述器，设计新的图像匹配与检测学习函数，最终实现变电设备缺陷图像的快速准确匹配。

本发明通过深度残差网络的卷积层提取变电设备缺陷图像特征映射图；其次，通过多尺度特征聚合方法构建变电设备图像特征响应图；然后，应用所生成的多尺度图像特征响应图设计缺陷图像关键点匹配模型；最后，通过集联图像中关键匹配点实现缺陷区域检测。本发明设计的方法在结构上增强了对变电缺陷图像多尺度特征的提取，充分利用多尺度特征映射图学习到更具辨识力的特征，设计了新的匹配与检测损失函数，提出了联合图像关键点检测器与描述器新的图像匹配与检测训练方法，提高模型的泛化能力，增强缺陷图像检测的鲁棒性和迁移学习能力。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种变电设备缺陷图像匹配方法，包括以下步骤：

第一步，变电站设备正常图像数据集的获取：获取变电站设备正常图像数据集。

第二步，变电站设备缺陷图像数据集的获取：获取变电站设备缺陷图像数据集。

第三步，构建缺陷图像匹配网络：整个变电设备缺陷图像匹配与检测网络框架分为三个部分，分别是：ResNet多尺度特征提取，关键点检测器与描述器。首先，应用ResNet网络分别对变电站正常与异常设备图像进行多尺度映射图特征提取；其次，将对应的特征映射图进行相似度匹配，计算两幅匹配图之间相似度分值；接下计算对应图像块方向与尺度上的特征映射图，实现所匹配图像关键点检测；最后，联合关键点检测与描述器实现变电站设备缺陷图像匹配与检测。

设定缺陷图像匹配网络包括多尺度特征提取网络、关键点检测器和描述器网络。本发明在多尺度特征映射图基础上构造关键点检测器与描述器，设计新的图像匹配与检测学习函数。

其中，构建多尺度特征提取网络：利用ResNet残差特征学习，构建多尺度特征提取网络。

关键点检测器的分析：将高响应特征的像素作为关键点，通过使用特征响应图计算图像中每个像素的关键点分值。

描述器网络用于对图像I_i与图像I_j关键点周围进行密集图像块采样，组成图像块p_i与p_j，通过对图像I_i与图像I_j特征描述的计算，得到两幅图匹配结果。

构建多尺度特征提取网络，通过变电站异常图像的多尺度特征提取，将底层小尺度特征和高层大尺度特征相有效结合，提高网络模型的表达能力。同时，传统的卷积网络在进行特征信息传递过程中，会存在特征信息丢失问题，同时伴随出现梯度消失或梯度爆炸，导致深度网络无法训练。深度残差网络ResNet在一定程度上解决了这个问题，其主要思想是在网络中增加直连通道，并保留传统网络层一定比例的输出，允许原始输入特征直接传到后面的层中，这种网络学习方式规避直接去学习整个网络的输出，而是学习上一个网络输出的残差来获得更有效的特征表示。其包括以下步骤：

(1)设定深度残差网络ResNet构建多尺度特征提取网络；

(2)将残差单元表示为：

y_l＝h(x_l)+F(x_l,W_l),x_l+1＝f(y_l)，

其中，x_l和x_l+1分别表示的是第l个残差单元的输入和输出，F是残差函数， h(x_l)表示学习到的残差，而h(x_l)＝x_l表示恒等映射,f(g)是ReLU激活函数；

浅层l到深层L的学习特征为：

(3)设定使用Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x的每个阶段最后残差块的特征激活输出x_l+1，对应的特征图表示为 {C1,C2,C3,C4,C5}。

ResNet特征中的每个响应图，均代表着从图像中的大区域提取的高层特征，而不提取低层次特征。本发明的方法是在构建响应映射图时保留高层次和低层次特征，并使用在不同尺度上映射提供不同尺度的特征响应图，从而创建多尺度特征响应图。

变电站设备正常图像进行多尺度映射特征图的提取包括以下步骤：

(1)为了构建多尺度上特征图，在此定义多特征多尺度特征响应图

这里5≤n≤N,N表示卷积神经网络的层数；

(2)针对特征图{C1,C2,C3,C4,C5}，使用N层卷积层来产生特征映射 {Qn}，这里Qn中的每个响应描述了从图像的某一区域提取的特征；

(3)将空间分辨率上采样2倍，通过逐元素相加将上采样的特征图与从下而上的特征图进行融合；

(4)迭代以上(2)步骤，逐步生成精细的分辨率特征图，迭代过程中，把C5层上附加1x1卷积层来产生粗糙的分辨率特征图；

(5)在每一个融合图上添加一个3x3的卷积来生成最终的多尺度空间上的特征图

在关键点检测器的分析中，受LIFT方法的启发，在此选择高响应特征的像素作为关键点，这里用

表示像素在多尺度上的特征响应图，通过使用特征响应图计算图像中每个像素的关键点分值。并根据图像中关键点分值，从方向和尺度两个方面设计本文的关键点检测器。其包括以下步骤：

(1)针对多尺度空间上的特征图

通过卷积方式在11×11×N滑动窗口上执行softmax运算，从而生成N个更清晰不同尺度的特征响应图

(2)通过上采样方式将每个尺度的

调整到原始图像尺寸大小；

(3)整合所有不同尺度上的

通过softmax来计算最终的图像关键点分值映射图F；其表达式如下：

这里e表示哈达玛积，

表示图像中每个像素属于关键点的概率；

基于每个像素关键点概率

分别计算方向O与尺度映射图S，

这里

是多尺度方向映射图，即在{Qn}应用1x1卷积核生成，

表示在多尺度特征响应图

上感受野的大小。

本发明结合残差网络特征映射图抽取思想，提出了一种多尺度特征映射图提取方法，该方法能够充分利用所有卷积层的多个尺度上特征，通过多尺度特征聚合方法构建变电设备图像特征响应图，实现有效的关键点检测。

所述描述器网络的构建，从得分图F中选择T个得分最高的特征点及图像位置，并通过对其方向映射图与尺度映射图的计算，最终得到描述器，定义为：P^T＝{x,y,O,S}^T。其包括以下步骤：

(1)从得分图F中选择T个得分最高的特征点及图像位置(x,y)，通过对其方向映射图与尺度映射图的计算，得到描述器，定义为：P^T＝{x,y,O,S}^T；

(2)从选择的T个关键点周围根据关键点的位置(x,y)、方向O、尺度S 进行图像块标准化裁剪，并将所获取的图像块正则化操作后，重新缩放操作至32x32大小；

(3)对获得的图像块批量输入到描述器网络，描述器网络由7个卷积层组成，每个卷积层均连接着一个正则化和ReLU操作，网络最后一层L2正则化的输出作为描述符D，其维数为128。

第四步，缺陷图像匹配网络的训练：利用变电站设备正常图像数据集和变电站设备缺陷图像数据集对缺陷图像匹配网络进行训练。

本发明所提缺陷图像匹配网络通过两个分支网络共同决定网络框架学习，这两个分支网络将同一场景的变电设备正常图像I_i和变电设备缺陷图像I_j作为网络输入，并分别计算它们各自的深度特征图。由于关键点检测不仅需要对整个图像计算，并且会受到图像块提取位置的影响，因此，我们同时使用图像级得分损失和图像块级的损失函数来共同参与训练，整个框架训练目标被设定为两种损失函数的组合：整体图像级分值损失loss_sim和图像块级损失 loss_patch。其具体步骤如下：

(1)训练图像级分值损失函数，在图像特征匹配问题中，由于不清楚哪些关键点是重要的，因此我们也就无法通过人工标注生成真实的分值映射图。当图像经过旋转、光照等变化时，一个鲁棒性好的图像特征检测器应该能够找到对应的特征关键点。

A1)将变电设备正常图像I_i和变电设备缺陷图像I_j送入网络以产生关键点分值映射图F_i和F_j后，进一步对F_j进行处理以产生真实场景下G_j；

A2)从分值映射图F_j中选择T个关键点，并将其表示为操作o；

A3)在给定真实场景投影矩阵的情况下，对于图像所发生扭曲、旋转，应用投影转化操作w完成；

A4)通过在这些位置上进行高斯操作g生成新的真实场景下得分映射图 G_i，这里高斯核标准偏差σ＝0.5；

A5)图像级训练损失函数被定义为：

G_i＝g(o(w(F_j)))，

loss_sim(F_i,F_j)＝|F_i-G_i|²。

(2)训练图像块级损失函数，关键点的方向和比例会影响从图像中裁剪的图像块，同时图像块中提取的描述符也进一步影响图像匹配精度。为此定义了图像块级损失函数来优化特征检测器，以便检测器所检测的关键点与我们从相应位置裁剪图像块尽可能的保持高度的一致。

A1)从I_i中选择了T个关键点，并将它们的空间坐标投影变化到I_j，类似图像级损失函数计算的逆过程；

A2)抽取图像块对应区域的描述P_i ^T＝{x_i,y_i,O_i,S_i}^T，P_j ^T＝{x_j,y_j,O_j,S_j}^T；

A3)利用这些图像块及对应组成的描述符

定义图像块级训练损失函数如下：

训练时考虑变电设备正常图像I_i和变电设备缺陷图像I_j中那些对应非匹配的图像块，对于那些不匹配的图像块，采用渐进式方式获取更多非匹配样本块组成来负样本参与训练；带着这些匹配与非匹配的图像块，定义所需的图像块级训练损失如下：

这里

是最接近

的不匹配描述符，

是最接近

不匹配描述符。

(3)将整个变电设备缺陷图像匹配与检测的训练网络定义如下：

loss_dec＝λloss_sim+(1-λ)loss_patches；

(4)利用随机梯度下降法进行损失函数的回传。

第五步，待匹配图像的获取：获取正常图像以及待匹配的变电设备缺陷图像。

第六步，变电设备缺陷图像匹配结果的获得：将正常图像以及待匹配的变电设备缺陷图像输入训练后的缺陷图像匹配网络，得到变电设备缺陷图像的匹配结果。

针对传统的图像匹配与检测算法缺乏对卷积神经网络多尺度特征的充分利用的问题，本发明提出了一种基于深度多尺度特征图的变电设备缺陷图像匹配与检测架构。本发明提出：1)改进了卷积神经网络方式，提出了深度卷积神经网络多尺度特征提取，增强了神经网络对变电缺陷图像多尺度特征表示能力；2)基于卷积神经网络多尺度特征提取，设计新的关键点检测器与描述器表示方法，增强了缺陷图像检测的鲁棒性和迁移学习能力；3)提出了联合图像关键点检测器与描述器新的图像匹配与检测训练方法，整个训练框架目标被设定为两种损失函数的联合，即图像级得分损失和图像块级的损失函数，提高模型的泛化能力。

通过在真实场景变电设备缺陷数据集上定性与定量的实验结果表明，所提框架算法优于多数传统算法以及基于卷积神经网络方法，并显著地提高了变电设备缺陷图像匹配的准确率。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种变电设备缺陷图像匹配方法，其特征在于，包括以下步骤：

11)变电站设备正常图像数据集的获取：获取变电站设备正常图像数据集；

12)变电站设备缺陷图像数据集的获取：获取变电站设备缺陷图像数据集；

13)构建缺陷图像匹配网络：设定缺陷图像匹配网络包括多尺度特征提取网络、关键点检测器和描述器网络；

构建多尺度特征提取网络：利用ResNet残差特征学习，构建多尺度特征提取网络；关键点检测器的分析：将高响应特征的像素作为关键点，通过使用特征响应图计算图像中每个像素的关键点分值；描述器网络用于对图像I_i与图像I_j关键点周围进行密集图像块采样，组成图像块p_i与p_j，通过对图像I_i与图像I_j特征描述的计算，得到两幅图匹配结果；

14)缺陷图像匹配网络的训练：利用变电站设备正常图像数据集和变电站设备缺陷图像数据集对缺陷图像匹配网络进行训练；

15)待匹配图像的获取：获取正常图像以及待匹配的变电设备缺陷图像；

16)变电设备缺陷图像匹配结果的获得：将正常图像和待匹配的变电设备缺陷图像输入训练后的缺陷图像匹配网络，得到变电设备缺陷图像的匹配结果。

2.根据权利要求1所述的一种变电设备缺陷图像匹配方法，其特征在于，所述构建多尺度特征提取网络包括以下步骤：

21)设定深度残差网络ResNet构建多尺度特征提取网络；

22)将残差单元表示为：

y_l＝h(x_l)+F(x_l,W_l),x_l+1＝f(y_l)，

其中，x_l和x_l+1分别表示的是第l个残差单元的输入和输出，F是残差函数，h(x_l)表示学习到的残差，而h(x_l)＝x_l表示恒等映射,f(g)是ReLU激活函数；

浅层l到深层L的学习特征为：

23)设定使用Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x的每个阶段最后残差块的特征激活输出x_l+1，对应的特征图表示为{C1,C2,C3,C4,C5}。

3.根据权利要求1所述的一种变电设备缺陷图像匹配方法，其特征在于，所述变电站设备正常图像进行多尺度映射特征图的提取包括以下步骤：

31)定义多特征多尺度特征响应图

这里5≤n≤N,N表示卷积神经网络的层数；

32)针对特征图{C1,C2,C3,C4,C5}，使用N层卷积层来产生特征映射{Qn}，这里Qn中的每个响应描述了从图像的某一区域提取的特征；

33)将空间分辨率上采样2倍，通过逐元素相加将上采样的特征图与从下而上的特征图进行融合；

34)迭代32)步骤，逐步生成精细的分辨率特征图，迭代过程中，把C5层上附加1x1卷积层来产生粗糙的分辨率特征图；

35)在每一个融合图上添加一个3x3的卷积来生成最终的多尺度空间上的特征图

4.根据权利要求1所述的一种变电设备缺陷图像匹配方法，其特征在于，所述关键点检测器的分析包括以下步骤：

41)针对多尺度空间上的特征图

通过卷积方式在11×11×N滑动窗口上执行softmax运算，从而生成N个更清晰不同尺度的特征响应图

42)通过上采样方式将每个尺度的

调整到原始图像尺寸大小；

43)整合所有不同尺度上的

通过softmax来计算最终的图像关键点分值映射图F；其表达式如下：

这里e表示哈达玛积，

表示图像中每个像素属于关键点的概率；

基于每个像素关键点概率

分别计算方向O与尺度映射图S，

这里

是多尺度方向映射图，即在{Qn}应用1x1卷积核生成，

表示在多尺度特征响应图P_n ^s上感受野的大小。

5.根据权利要求1所述的一种变电设备缺陷图像匹配方法，其特征在于，所述描述器网络的构建包括以下步骤：

51)从得分图F中选择T个得分最高的特征点及图像位置(x,y)，通过对其方向映射图与尺度映射图的计算，描述定义为：P^T＝{x,y,O,S}^T；

52)从选择的T个关键点周围根据关键点的位置(x,y)、方向O、尺度S进行图像块标准化裁剪，并将所获取的图像块正则化操作后，重新缩放操作至32x32大小；

53)对获得的图像块批量输入到描述器网络，描述器网络由7个卷积层组成，每个卷积层均连接着一个正则化和ReLU操作，网络最后一层L2正则化的输出作为描述符D，其维数为128。

6.根据权利要求1所述的一种变电设备缺陷图像匹配方法，其特征在于，所述缺陷图像匹配网络的训练包括以下步骤：

61)训练图像级分值损失函数：

611)将变电设备正常图像I_i和变电设备缺陷图像I_j送入网络以产生关键点分值映射图F_i和F_j后，进一步对F_j进行处理以产生真实场景下G_j；

612)从分值映射图F_j中选择T个关键点，并将其表示为操作o；

613)在给定真实场景投影矩阵的情况下，对于图像所发生扭曲、旋转，应用投影转化操作w完成；

614)通过在这些位置上进行高斯操作g生成新的真实场景下得分映射图G_i，这里高斯核标准偏差σ＝0.5；

615)图像级训练损失函数被定义为：

G_i＝g(o(w(F_j)))，

loss_sim(F_i,F_j)＝|F_i-G_i|²；

62)训练图像块级损失函数：

621)从I_i中选择了T个关键点，并将它们的空间坐标投影变化到I_j，类似图像级损失函数计算的逆过程；

622)抽取图像块对应区域的描述P_i ^T＝{x_i,y_i,O_i,S_i}^T，P_j ^T＝{x_j,y_j,O_j,S_j}^T；

623)利用这些图像块及对应组成的描述符

定义图像块级训练损失函数如下：

训练时考虑变电设备正常图像I_i和变电设备缺陷图像I_j中那些对应非匹配的图像块，对于那些不匹配的图像块，采用渐进式方式获取更多非匹配样本块组成来负样本参与训练；带着这些匹配与非匹配的图像块，定义所需的图像块级训练损失如下：

这里

是最接近

的不匹配描述符，

是最接近

不匹配描述符；

63)将整个变电设备缺陷图像匹配与检测的训练网络定义如下：

loss_dec＝λloss_sim+(1-λ)loss_patches；

64)利用随机梯度下降法进行损失函数的回传。

Images