CN112288694A - 一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法 - Google Patents

Abstract

本发明提出了一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法。本发明通过变电站视频设备采集变电设备图像，将采集的变电设备图像通过对抗生成网络方法得到变电设备图像数据集；对变电设备图像数据集中每幅变电设备图像依次进行人工标定，得到每幅变电设备图像中多个缺陷标定框以及多个缺陷类型，并得到人工标定后变电设备图像数据集；构建掩膜区域卷积神经网络，将人工标定后变电设备图像数据集作为训练集，对掩膜区域卷积神经网络进行训练得到训练后掩膜区域卷积神经网络。本发明提高了变电设备的运维巡检效率以及变电设备及其缺陷识别的模型精度，且本发明方法识别精度高、缺陷识别效率高。

Description

一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法

技术领域

本发明属于电力设备检测技术领域,尤其涉及一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法。

背景技术

变电设备的正常运行是保障电力系统连续稳定运行的必要条件，安全可靠、先进有效的变电设备缺陷识别方法有助于实现变电站设备的高效管理，提高变电设备的运维效率，及时消除由于变电设备缺陷对电网安全稳定运行产生的安全威胁，确保电网可靠供电。

现有的变电设备运维巡检主要依靠人工，由于运维巡检方式的约束，无法做到有效对变电设备及其缺陷进行监测，存在误检、漏检、监测效率低等缺点。

发明内容

本发明的目的是，为了解决现有人工变电设备运维巡检中存在的误检、漏检、监测效率低等缺点，利用深度学习卷积神经网络，提出一种基于掩膜区域卷积神经网络的变电设备及缺陷识别的方法。

本发明的技术方案如下，一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法，其特征在于包括以下步骤：

步骤1：通过变电站视频设备采集变电设备图像，将采集的变电设备图像通过对抗生成网络方法得到变电设备图像数据集；

步骤2：对变电设备图像数据集中每幅变电设备图像依次进行人工标定，得到每幅变电设备图像中多个缺陷标定框以及多个缺陷类型，并得到人工标定后变电设备图像数据集；

步骤3：构建掩膜区域卷积神经网络，将步骤2所述的人工标定后变电设备图像数据集作为训练集，对掩膜区域卷积神经网络进行训练得到训练后掩膜区域卷积神经网络；

作为优选，步骤1所述变电设备图像数据集为：

data_k(x，y)

其中，data_k(x，y)为变电设备图像数据集中第k幅变电设备图像中第x行第y列点的像素值，k∈[1,L]，x∈[1,M]，y∈[1,N]，L为变电设备图像数据集中图像的数量，M为图像的行数，N为图像的列数；

作为优选，步骤2所述每幅变电设备图像中多个缺陷标定框为：

缺陷标定框左上角坐标为：(left_u_k，i，left_v_k，i)；

缺陷标定框右下角坐标为:(left_u_k，i，left_v_k，i)；

其中，k∈[1,L]，L为变电设备图像数据集中图像的数量，i∈[1,H_k]，H_k表示变电设备图像数据集中第k幅图像中变电设备缺陷标定框的数量，left_u_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框左上角坐标的像素行数，left_v_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框左上角坐标的像素列数，right_u_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框右下角坐标的像素行数，right_v_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框右下角坐标的像素列数；

步骤2所述每幅变电设备图像中多个缺陷类型为：

TYPE_k，i

其中，k∈[1,L]，L为变电设备图像数据集中图像的数量即变电设备缺陷标定框的数量，i∈[1,H_k]，H_k表示变电设备图像数据集中第k幅图像中包含的变电设备缺陷数量即缺陷标定框的数量，TYPE_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框中缺陷的类型，TYPE_k，i∈[1,NUM]，NUM为缺陷类型的数量；

步骤2所述人工标定后变电设备图像数据集为：

{data_k(x，y)，(left_u_k，i，left_v_k，i)，(left_u_k，i，left_v_k，i)，TYPE_k，i}

作为优选，步骤3所述掩膜区域卷积神经网络包括：

改进特征金字塔网络层、区域建议网络层、感兴趣区域校准层、全连接层；

所述改进特征金字塔网络层用于对人工标定后变电设备数据集中图像进行下采样卷积得C₁层，在C₁层基础上进行下采样卷积得到C₂层，依次串联下采样卷积得C_z层，z为正整数表示下采样卷积层的数量；

计C_z-1层到C_z层卷积核为

卷积核内参数表示为

表示下采样卷积过程中第z层卷积核第q行第w列数值；

通过梯度下降和反向传播完成

的参数更新，q,w∈[2,e-1]，e为P₁层像素矩阵行列数；

基于C_z层开始上采样卷积得P_z层，在P_z层基础上进行上采样卷积P_z-1层，依次串联下采样卷积得至得到P₁层，计P_z-1层到P_z层卷积核为

卷积核内参数表示为

表示上采样卷积过程中第z层卷积核第q行第w列数值；

通过梯度下降和反向传播完成

的参数更新q,w∈[2,e-1]，e为P₁层像素矩阵行列数；

将P_z层特征图谱、P_z-1层特征图谱……P₂层特征图谱按P₁层特征图谱的像素矩阵大小依次进行图像像素周边补零操作，将补零后的P_z层、P_z-1层……P₂层与P₁层相叠加形成z通道特征图谱；

所述P₁层特征图谱的像素矩阵表示为：

其中，e为P₁层像素矩阵行列数，P_{1_e，e}表示P₁层第e行第e列像素。

补零后P_s层像素矩阵表示为，s∈[2,z]：

其中，P_{s_o，o}表示P_s层第o行第o列像素，o表示P_s层像素矩阵行列数，o∈[1,e-z-1]，e为P₁层像素矩阵行列数，z为正整数表示下采样卷积层的数量；

将得到的z通道特征图谱进行1×1卷积降维后得到单通道NP₀层，由NP₀层进行t×t卷积得到NP₁层，依次串联进行t×t卷积得到NP₂层……NP_z-1层、NP_z层，t∈[2,5]；

将NP_z层作为新特征图谱输入至区域建议网络；

所述区域建议网络通过特征图谱生成候选区域，具体为：

所述区域建议网络利用改进金字塔网络生成的新特征图谱作为输入，其输入为NPz_data_k(x，y)的M×N的像素矩阵，NPz_data_k(x，y)表示变电设备图像数据集中第k幅变电设备图像经过特征金字塔网络得到的特征图谱第x行第y列像素值，通过在特征图谱滑动窗口输出以(left_sug_k，g，left_sug_k，g)为左上角，(right_sug_k，g,right_sug_k，g)为右下角的区域建议框；

步骤3所述每幅变电设备图像中多个区域建议框为：

区域建议框左上角坐标为:(left_sug_k，g，left_sug_k，g)；

区域建议框右下角坐标为:(right_sug_k，g，right_sug_k，g)；

其中，k∈[1,L]，L为变电设备图像数据集中图像的数量，g∈[1,H_k]，H_k表示变电设备图像数据集中第k幅图像中变电设备缺陷标定框的数量，left_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框左上角坐标的像素行数，left_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框左上角坐标的像素列数，right_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框右下角坐标的像素行数，right_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框右下角坐标的像素列数；

记由区域建议框左上及右下角坐标形成的矩形[(left_sug_k，g，left_sug_k，g),(right_sug_k，g，right_sug_k，g)]中像素值为θ_{k，g_σ，ρ},其中θ_{k，g_σ，ρ}代表第k幅图像形成的第g个区域建议框中第σ行第ρ列像素值，所述区域掩膜神经网络对区域建议框内θ_{k，g_σ，ρ}进行掩膜计算，输出为

其中

表示第k幅图像形成的第g个区域建议框中第σ行第ρ列掩膜计算二进制值；

所述感兴趣区域校准层用于对区域建议框的图像进行特征提取，遍历每一个候选区域，保持浮点数边界不做量化，将候选区域切分成2×2个单元格，将每个单元格均分为分割成c×c个单元，c为采样点数，c∈[2,∞]，被均分单元定义为

表示变电设备图像数据集中第k幅变电设备图像中第g个区域建议框第b个单元格中第j个单元，b∈[1,2]，j∈[1,c²]；

对每个单元使用双线性插值方法计算浮点坐标的像素值，得到每个单元浮点坐标像素值

对4个单元格中像素值分别进行最大值池化操作得特征像素矩阵：

其中，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第1个单元格中池化操作后的像素值，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第2个单元格中池化操作后的像素值，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第3个单元格中池化操作后的像素值，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第4个单元格中池化操作后的像素值；

将经过最大值池化操作提取的特征值矩阵转化为列向量

作为全连接层的输入，由全连接神经元完成对候选框中变电设备缺陷的类型识别及对应概率输出模型训练；

掩膜区域卷积神经网络损失函数为：

L＝L_class+L_box+L_mask

其中，L_class表示网络分类损失函数，L_box表示网络定位损失函数，L_mask表示掩膜计算损失函数；

L_class为二分类交叉熵函数，定义全连接层完成第k幅图像第g个缺陷锚框分类时用柔性最大值传输函数输出的概率为p_k，g，L_class(p_k,g,p_k,g*)＝-log[p_k,g*p_k,g+(1-p_k,g)(1-p_k,g*)，其中p_k，g*定义为全连接层完成第k幅图像第g个缺陷锚框分类时的概率二分类输出；

所述概率二分类输出为：

p_k，g大于0.7取值为1、小于0.7时取值为0时的二进制输出；

L_box为回归损失函数，记

h_k,g＝{(left_u_k,i,left_v_k,i),(right_u_k,i,right_v_k,i)},h_k,g表示第k幅图像第g个缺陷锚框区域建议网络预测偏移量，

其中h_k,g*表示第k幅图像第g个缺陷锚框区域建议网络实际偏移量；

函数定义如下：

L_mask为掩膜计算损失函数，表达式如下：

其中，1^z表示z通道对应目标的真实类别时为1、否则为0，

表示第k幅图像形成的第g个区域建议框中第σ行第ρ列输出像素值经过sigmoid函数后输出结果；

sigmoid定义如下：

由步骤1中已完成标定的数据集置入网络进行训练，依据损失函数的反向传播及梯度下降原理迭代更新

和

其中

表示上采样卷积过程中第z层卷积核第q行第w列数值，

表示全连接层第m层第n个神经元权重，m∈[1,∞],n∈[1,∞]，得到优化后采样卷积过程中第z层卷积核第q行第w列数值即

优化后全连接层第m层第n个神经元权重即

以构建掩膜区域卷积神经网络。

本发明优点在于：

本发明通过基于深度学习中掩膜区域卷积神经网的方法对变电设备及其缺陷进行图像识别，提高了变电设备的运维巡检效率。

本发明通过使用生成对抗网络进行变电设备及其缺陷数据集的补充，利用改进特征金字塔网络训练模型，提高了变电设备及其缺陷识别的模型精度。

本发明方法相比于现有的变电设备人工运维巡检方法，本发明方法具有识别精度高、缺陷识别效率高、有效降低运维成本等优点。

附图说明

图1：为变电设备及其缺陷识别流程框架图；

图2：为生成对抗网络补充变电设备及缺陷数据集流程框架图；

图3：本实施例变压器及缺陷识别模型框架图；

图4：为变电设备及其缺陷图像的特征金字塔网络图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。对于需要实际情况分析的参数，我们在上文已注明参数设定方法在此不做赘述。

本实施例以变压器为例，为代表被监测的变电设备对象。

如图1所示，为变电设备及其缺陷识别流程的基本框架图，包括变电设备图像获取、人工标定建立训练集、掩膜区域神经网训练、结果识别。

如图2所示，为生成对抗网络补充变电设备及其缺陷数据集方法图。

如图3所示，为变压器及其缺陷识别流程图。

如图4所示，为变电设备及其缺陷图像的特征金字塔网络图。

下面结合图1至图4介绍本发明的具体实施方式为一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法，具体包括以下步骤：

步骤1：通过变电站视频设备采集变电设备图像，将采集的变电设备图像通过对抗生成网络方法得到变电设备图像数据集；

步骤1所述变电设备图像数据集为：

data_k(x，y)

其中，data_k(x，y)为变电设备图像数据集中第k幅变电设备图像中第x行第y列点的像素值，k∈[1,L]，x∈[1,M]，y∈[1,N]，L为变电设备图像数据集中图像的数量，M为图像的行数，N为图像的列数；

步骤2：对变电设备图像数据集中每幅变电设备图像依次进行人工标定，得到每幅变电设备图像中多个缺陷标定框以及多个缺陷类型，并得到人工标定后变电设备图像数据集；

步骤2所述每幅变电设备图像中多个缺陷标定框为：

缺陷标定框左上角坐标为：(left_u_k，i，left_v_k，i)；

缺陷标定框右下角坐标为:(right_u_k，i，right_v_k，i)；

其中，k∈[1,L]，L为变电设备图像数据集中图像的数量，i∈[1,H_k]，H_k表示变电设备图像数据集中第k幅图像中变电设备缺陷标定框的数量，left_u_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框左上角坐标的像素行数，left_v_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框左上角坐标的像素列数，right_u_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框右下角坐标的像素行数，right_v_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框右下角坐标的像素列数；

步骤2所述每幅变电设备图像中多个缺陷类型为：

TYPE_k，i

其中，k∈[1,L]，L为变电设备图像数据集中图像的数量即变电设备缺陷标定框的数量，i∈[1,H_k]，H_k表示变电设备图像数据集中第k幅图像中包含的变电设备缺陷数量即缺陷标定框的数量，TYPE_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框中缺陷的类型，TYPE_k，i∈[1,NUM]，NUM为缺陷类型的数量；

步骤2所述人工标定后变电设备图像数据集为：

{data_k(x，y)，(left_u_k，i，left_v_k，i)，(right_u_k，i，right_v_k，i)，TYPE_k，i}

步骤3：构建掩膜区域卷积神经网络，将步骤2所述的人工标定后变电设备图像数据集作为训练集，对掩膜区域卷积神经网络进行训练得到训练后掩膜区域卷积神经网络；

步骤3所述掩膜区域卷积神经网络包括：

改进特征金字塔网络层、区域建议网络层、感兴趣区域校准层、全连接层；

所述改进特征金字塔网络层用于对人工标定后变电设备数据集中图像进行下采样卷积得C₁层，在C₁层基础上进行下采样卷积得到C₂层，依次串联下采样卷积得C_z层，z为正整数表示下采样卷积层的数量，z＝5时取值模型较优；

计C_z-1层到C_z层卷积核为

卷积核内参数表示为

表示下采样卷积过程中第z层卷积核第q行第w列数值；

通过梯度下降和反向传播完成

的参数更新，q,w∈[2,e-1]，e为P₁层像素矩阵行列数；

基于C_z层开始上采样卷积得P_z层，在P_z层基础上进行上采样卷积P_z-1层，依次串联下采样卷积得至得到P₁层，计P_z-1层到P_z层卷积核为

卷积核内参数表示为

表示上采样卷积过程中第z层卷积核第q行第w列数值；

通过梯度下降和反向传播完成

的参数更新q,w∈[2,e-1]，e为P₁层像素矩阵行列数；

将P_z层特征图谱、P_z-1层特征图谱……P₂层特征图谱按P₁层特征图谱的像素矩阵大小依次进行图像像素周边补零操作，将补零后的P_z层、P_z-1层……P₂层与P₁层相叠加形成z通道特征图谱；

所述P₁层特征图谱的像素矩阵表示为：

其中，e为P₁层像素矩阵行列数，P_{1_e，e}表示P₁层第e行第e列像素。

补零后P_s层像素矩阵表示为，s∈[2,z]：

其中，P_{s_o，o}表示P_s层第o行第o列像素，o表示P_s层像素矩阵行列数，o∈[1,e-z-1]，e为P₁层像素矩阵行列数，z为正整数表示下采样卷积层的数量；

将得到的z通道特征图谱进行1×1卷积降维后得到单通道NP₀层，由NP₀层进行t×t卷积得到NP₁层，依次串联进行t×t卷积得到NP₂层……NP_z-1层、NP_z层，t∈[2,5]，t＝3时模型训练较优；

将NP_z层作为新特征图谱输入至区域建议网络；

所述区域建议网络通过特征图谱生成候选区域，具体为：

所述区域建议网络利用改进金字塔网络生成的新特征图谱作为输入，其输入为NPz_data_k(x，y)的M×N的像素矩阵，NPz_data_k(x，y)表示变电设备图像数据集中第k幅变电设备图像经过特征金字塔网络得到的特征图谱第x行第y列像素值，通过在特征图谱滑动窗口输出以(left_sug_k，g，left_sug_k，g)为左上角，(right_sug_k，g，righ_sug_k，g)为右下角的区域建议框；

步骤3所述每幅变电设备图像中多个区域建议框为：

区域建议框左上角坐标为：(left_sug_k，g，left_sug_k，g)；

区域建议框右下角坐标为:(right_su_k，g，right_sug_k，g)；

其中，k∈[1,L]，L为变电设备图像数据集中图像的数量，g∈[1,H_k]，H_k表示变电设备图像数据集中第k幅图像中变电设备缺陷标定框的数量，left_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框左上角坐标的像素行数，left_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框左上角坐标的像素列数，right_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框右下角坐标的像素行数，right_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框右下角坐标的像素列数；

记由区域建议框左上及右下角坐标形成的矩形[(left_sug_k，g，left_sug_k，g),(right_sug_k，g，right_sug_k，g)]中像素值为θ_{k，g_σ，ρ},其中θ_{k，g_σ，ρ}代表第k幅图像形成的第g个区域建议框中第σ行第ρ列像素值，所述区域掩膜神经网络对区域建议框内θ_{k，g_σ，ρ}进行掩膜计算，输出为

其中

表示第k幅图像形成的第g个区域建议框中第σ行第ρ列掩膜计算二进制值；

所述感兴趣区域校准层用于对区域建议框的图像进行特征提取，遍历每一个候选区域，保持浮点数边界不做量化，将候选区域切分成2×2个单元格，将每个单元格均分为分割成c×c个单元，c为采样点数，c∈[2,∞]，一般取c＝4，被均分单元定义为

表示变电设备图像数据集中第k幅变电设备图像中第g个区域建议框第b个单元格中第j个单元，b∈[1,2]，j∈[1,c²]；

对每个单元使用双线性插值方法计算浮点坐标的像素值，得到每个单元浮点坐标像素值

对4个单元格中像素值分别进行最大值池化操作得特征像素矩阵：

其中，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第1个单元格中池化操作后的像素值，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第2个单元格中池化操作后的像素值，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第3个单元格中池化操作后的像素值，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第4个单元格中池化操作后的像素值；

将经过最大值池化操作提取的特征值矩阵转化为列向量

作为全连接层的输入，由全连接神经元完成对候选框中变电设备缺陷的类型识别及对应概率输出模型训练；

掩膜区域卷积神经网络损失函数为：

L＝L_class+L_box+L_mask

其中，L_class表示网络分类损失函数，L_box表示网络定位损失函数，L_mask表示掩膜计算损失函数；

L_class为二分类交叉熵函数，定义全连接层完成第k幅图像第g个缺陷锚框分类时用柔性最大值传输函数输出的概率为p_k，g，L_class(p_k,g,p_k,g*)＝-log[p_k,g*p_k,g+(1-p_k,g)(1-p_k,g*)，其中p_k，g*定义为全连接层完成第k幅图像第g个缺陷锚框分类时的概率二分类输出；

所述概率二分类输出为：

p_k，g大于0.7取值为1、小于0.7时取值为0时的二进制输出；

L_box为回归损失函数，记

h_k,g＝{(left_u_k,i,left_v_k,i),(right_u_k,i,right_v_k,i)},h_k,g表示第k幅图像第g个缺陷锚框区域建议网络预测偏移量，

其中h_k,g*表示第k幅图像第g个缺陷锚框区域建议网络实际偏移量；

函数定义如下：

L_mask为掩膜计算损失函数，表达式如下：

其中，1^z表示z通道对应目标的真实类别时为1、否则为0，

表示第k幅图像形成的第g个区域建议框中第σ行第ρ列输出像素值经过sigmoid函数后输出结果；

sigmoid定义如下：

由步骤1中已完成标定的数据集置入网络进行训练，依据损失函数的反向传播及梯度下降原理迭代更新

和

其中

表示上采样卷积过程中第z层卷积核第q行第w列数值，

表示全连接层第m层第n个神经元权重，m∈[1,∞],n∈[1,∞]，得到优化后采样卷积过程中第z层卷积核第q行第w列数值即

优化后全连接层第m层第n个神经元权重即

以构建训练后掩膜区域卷积神经网络。

步骤4：根据训练后掩膜区域卷积神经网络生成的变电设备缺陷图像识别模型，变电设备巡检过程中经由自动化监控、巡检设备采集的图像置入图像识别模型后得到变电设备缺陷识别结果，完成变电设备巡检工作。

应当理解的是，本申请书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本申请专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本申请权利要求所保护的范围情况下，还可以做出替换或变形，均落入本申请的保护范围之内，本申请的请求保护范围应以所附权利要求为准。

Claims (4)

1.一种基于掩膜区域卷积神经网的变电设备缺陷识别的方法，其特征在于包括以下步骤：

步骤1：通过变电站视频设备采集变电设备图像，将采集的变电设备图像通过对抗生成网络方法得到变电设备图像数据集；

步骤2：对变电设备图像数据集中每幅变电设备图像依次进行人工标定，得到每幅变电设备图像中多个缺陷标定框以及多个缺陷类型，并得到人工标定后变电设备图像数据集；

步骤3：构建掩膜区域卷积神经网络，将步骤2所述的人工标定后变电设备图像数据集作为训练集，对掩膜区域卷积神经网络进行训练得到训练后掩膜区域卷积神经网络。

2.根据权利要求1所述的基于掩膜区域卷积神经网的变电设备缺陷识别的方法，其特征在于：

步骤1所述变电设备图像数据集为：

data_k(x，y)

其中，data_k(x，y)为变电设备图像数据集中第k幅变电设备图像中第x行第y列点的像素值，k∈[1，L]，x∈[1，M]，y∈[1，N]，L为变电设备图像数据集中图像的数量，M为图像的行数，N为图像的列数。

3.根据权利要求1所述的基于掩膜区域卷积神经网的变电设备缺陷识别的方法，其特征在于：

步骤2所述每幅变电设备图像中多个缺陷标定框为：

缺陷标定框左上角坐标为：(left_u_k，i，left_v_k，i)；

缺陷标定框右下角坐标为：(right_u_k，i，right_v_k，i)；

其中，k∈[1，L]，L为变电设备图像数据集中图像的数量，i∈[1，H_k]，H_k表示变电设备图像数据集中第k幅图像中变电设备缺陷标定框的数量，left_u_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框左上角坐标的像素行数，left_v_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框左上角坐标的像素列数，right_u_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框右下角坐标的像素行数，right_v_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框右下角坐标的像素列数；

步骤2所述每幅变电设备图像中多个缺陷类型为：

TYPE_k，i

其中，k∈[1，L]，L为变电设备图像数据集中图像的数量即变电设备缺陷标定框的数量，i∈[1，H_k]，H_k表示变电设备图像数据集中第k幅图像中包含的变电设备缺陷数量即缺陷标定框的数量，TYPE_k，i表示变电设备图像数据集中第k幅图像中第i个缺陷标定框中缺陷的类型，TYPE_k，i∈[1，NUM]，NUM为缺陷类型的数量；

步骤2所述人工标定后变电设备图像数据集为：

{data_k(x，y)，(left_u_k，i，left_v_k，i)，(right_u_k，i，right_vk，_i)，TYPE_k，i。

4.根据权利要求1所述的基于掩膜区域卷积神经网的变电设备缺陷识别的方法，其特征在于：

步骤3所述掩膜区域卷积神经网络包括：

改进特征金字塔网络层、区域建议网络层、感兴趣区域校准层、全连接层；

所述改进特征金字塔网络层用于对人工标定后变电设备数据集中图像进行下采样卷积得C₁层，在C₁层基础上进行下采样卷积得到C₂层，依次串联下采样卷积得C_z层，z为正整数表示下采样卷积层的数量；

计C_z-1层到C_z层卷积核为

卷积核内参数表示为

表示下采样卷积过程中第z层卷积核第q行第w列数值；

通过梯度下降和反向传播完成

的参数更新，q，w∈[2，e-1]，e为P₁层像素矩阵行列数；

基于C_z层开始上采样卷积得P_z层，在P_z层基础上进行上采样卷积P_z-1层，依次串联下采样卷积得至得到P₁层，计P_z-1层到P_z层卷积核为

卷积核内参数表示为

表示上采样卷积过程中第z层卷积核第q行第w列数值；

通过梯度下降和反向传播完成

的参数更新q，w∈[2，e-1]，e为P₁层像素矩阵行列数；

将P_z层特征图谱、P_z-1层特征图谱……P₂层特征图谱按P₁层特征图谱的像素矩阵大小依次进行图像像素周边补零操作，将补零后的P_z层、P_z-1层……P₂层与P₁层相叠加形成z通道特征图谱；

所述P₁层特征图谱的像素矩阵表示为：

其中，e为P₁层像素矩阵行列数，P_{1_e，e}表示P₁层第e行第e列像素；

补零后P_s层像素矩阵表示为，s∈[2，z]：

其中，P_{s_o，o}表示P_s层第o行第o列像素，o表示P_s层像素矩阵行列数，o∈[1，e-z-1]，e为P₁层像素矩阵行列数，z为正整数表示下采样卷积层的数量；

将得到的z通道特征图谱进行1×1卷积降维后得到单通道NP₀层，由NP₀层进行t×t卷积得到NP₁层，依次串联进行t×t卷积得到NP₂层……NP_z-1层、NP_z层，t∈[2，5]；

将NP_z层作为新特征图谱输入至区域建议网络；

所述区域建议网络通过特征图谱生成候选区域，具体为：

所述区域建议网络利用改进金字塔网络生成的新特征图谱作为输入，其输入为NPz_data_k(x，y)的M×N的像素矩阵，NPz_data_k(x，y)表示变电设备图像数据集中第k幅变电设备图像经过特征金字塔网络得到的特征图谱第x行第y列像素值，通过在特征图谱滑动窗口输出以(left_sug_k，g，left_sug_k，g)为左上角，(right_sug_k，g，right_sug_k，g)为右下角的区域建议框；

步骤3所述每幅变电设备图像中多个区域建议框为：

区域建议框左上角坐标为：(left_sug_k，g，left_sug_k，g)；

区域建议框右下角坐标为：(right_sug_k，g，right_sug_k，g)；

其中，k∈[1，L]，L为变电设备图像数据集中图像的数量，g∈[1，H_k]，H_k表示变电设备图像数据集中第k幅图像中变电设备缺陷标定框的数量，left_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框左上角坐标的像素行数，left_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框左上角坐标的像素列数，right_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框右下角坐标的像素行数，right_sug_k，g表示变电设备图像数据集中第k幅图像中第g个区域建议框右下角坐标的像素列数；

记由区域建议框左上及右下角坐标形成的矩形[(left_sug_k，g，left_sug_k，g)，(right_sug_k，g，right_sug_k，g)]中像素值为θ_{k，g_σ，ρ}，其中θ_{k，g_σ，ρ}代表第k幅图像形成的第g个区域建议框中第σ行第ρ列像素值，所述区域掩膜神经网络对区域建议框内θ_{k，g_σ，ρ}进行掩膜计算，输出为out_mask＝θ_{k，g_σ，ρ}&Γ_{k，g_σ，ρ}，其中Γ_{k，g_σ，ρ}表示第k幅图像形成的第g个区域建议框中第σ行第ρ列掩膜计算二进制值；

所述感兴趣区域校准层用于对区域建议框的图像进行特征提取，遍历每一个候选区域，保持浮点数边界不做量化，将候选区域切分成2×2个单元格，将每个单元格均分为分割成c×c个单元，c为采样点数，c∈[2，∞]，被均分单元定义为

表示变电设备图像数据集中第k幅变电设备图像中第g个区域建议框第b个单元格中第j个单元，b∈[1，2]，j∈[1，c²]；

对每个单元使用双线性插值方法计算浮点坐标的像素值，得到每个单元浮点坐标像素值

对4个单元格中像素值分别进行最大值池化操作得特征像素矩阵：

其中，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第1个单元格中池化操作后的像素值，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第2个单元格中池化操作后的像素值，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第3个单元格中池化操作后的像素值，

表示由第k幅图像经过上述网络层得到的第g个区域建议框的第4个单元格中池化操作后的像素值；

将经过最大值池化操作提取的特征值矩阵转化为列向量

作为全连接层的输入，由全连接神经元完成对候选框中变电设备缺陷的类型识别及对应概率输出模型训练；

掩膜区域卷积神经网络损失函数为：

L＝L_class+L_box-L_mask

其中，L_class表示网络分类损失函数，L_box表示网络定位损失函数，L_mask表示掩膜计算损失函数；

L_class为二分类交叉熵函数，定义全连接层完成第k幅图像第g个缺陷锚框分类时用柔性最大值传输函数输出的概率为p_k，g，L_class(p_k，g，p_k，g*)＝-log[p_k，g*p_k，g+(1-p_k，g)(1-p_k，g*)，其中p_k，g*定义为全连接层完成第k幅图像第g个缺陷锚框分类时的概率二分类输出；

所述概率二分类输出为：

p_k，g大于0.7取值为1、小于0.7时取值为0时的二进制输出；

L_box为回归损失函数，记

h_k，g＝{(left_u_k，i，left_v_k，i)，(right_u_k，i，right_v_k，i)}，h_k，g表示第k幅图像第g个缺陷锚框区域建议网络预测偏移量，

其中h_k，g*表示第k幅图像第g个缺陷锚框区域建议网络实际偏移量；

函数定义如下：

L_mask为掩膜计算损失函数，表达式如下：

其中，1^z表示z通道对应目标的真实类别时为1、否则为0，sigmoid(θ_{k，g_σ，ρ})表示第k幅图像形成的第g个区域建议框中第σ行第ρ列输出像素值经过sigmoid函数后输出结果；

sigmoid定义如下：

由步骤1中已完成标定的数据集置入网络进行训练，依据损失函数的反向传播及梯度下降原理迭代更新

和

其中

表示上采样卷积过程中第z层卷积核第q行第w列数值，

表示全连接层第m层第n个神经元权重，m∈[1，∞]，n∈[1，∞]，得到优化后采样卷积过程中第z层卷积核第q行第w列数值即

优化后全连接层第m层第n个神经元权重即

以构建掩膜区域卷积神经网络。

Images