CN114565038A - 一种基于改进胶囊网络的智能电表故障诊断方法 - Google Patents

Abstract

本发明提供一种基于改进胶囊网络的智能电表故障诊断方法，所述方法首先通过统计故障样本分布、筛选故障类型、选择故障特征属性、预处理样本数据、划分数据集来提高数据质量以满足构建故障诊断模型的需求，利用欠采样和过采样相结合的混合采样方式来解决故障样本分布不平衡的问题，采取One‑Hot编码方式解决数据集中包含较多离散无序型特征属性的问题；然后利用深度信念网络(Deep Belief Network，DBN)进一步优化胶囊网络(Capsule Network，CapsNet)的特征提取单元，搭建DBN‑CapsNet智能电表故障诊断模型，利用训练集和验证集完成模型的训练；最后利用测试集评估训练好的模型的诊断性能。本发明可以针对智能电表的多种故障类型进行故障诊断，提高故障诊断性能，还有助于提高智能电表的检修效率。

Description

一种基于改进胶囊网络的智能电表故障诊断方法

技术领域

本发明涉及一种基于改进胶囊网络的智能电表故障诊断方法。

背景技术

智能电表的故障类型复杂多样，当故障发生时，要求检修人员能迅速维护，然而实际操作中，运维系统因无法快速准确判断具体故障类型而导致故障电表维修不及时。因此智能电表快速、准确的故障诊断，是提高智能电表检修效率的一个关键。传统的故障排查方法主要采用人工事后排查，该方法虽然可以达到故障检测的目的，但是对于有上千万个用户的用电信息采集系统需要投入大量的人力资源，同时排查结果严重滞后。因此，需要采取在线且高效的方法替代人力实现对智能电表的故障诊断，对用电企业、电网公司及家庭用户的切身利益都具有极其重要的意义。

目前有提出基于在线和离线两种模式的载波模块故障检测及其判别方法以及现场表计和集中器通信端口故障检测及其判别方法；基于超状态隐马尔可夫模型(Super-State Hidden Markov Model，SSHMM)对故障电表进行非侵入式远程检测与定位；基于PLC完成智能电表控制程序的编写,实现智能电表运行故障的监控及诊断；基于深度信念网络的计量装置故障溯源模型，实现对计量装置运行状态正常与否的判断。以上研究仅针对智能电表电量丢失和数据突变等典型的计量故障进行诊断，并不能广泛应用于智能电表故障的诊断。随着数据挖掘技术的发展，应用深度学习手段开展故障诊断日益增多，这也为智能电表故障诊断的发展带来新契机。胶囊网络(Capsule Network，CapsNet)是在卷积神经网络(convolutional neural network，CNN)基础上提出的网络结构，将神经元标量输入输出改为向量形式，网络结构保留空间位置等信息，舍弃池化层结构，通过卷积层和胶囊层对样本特征进行有效的学习，一定程度上避免了CNN池化层丢失部分有用信息，全连接层的参数过多导致易发生过拟合现象等一系列问题，从而获得强大的判别能力。

CapsNet在故障诊断方面有较好的应用，但鲜见将CapsNet应用于智能电表故障诊断方面。传统胶囊网络特征提取部分仅采用单层卷积，从原始图像数据中进一步提取特征的能力有待提高。深度信念网络((Deep Belief Network，DBN)具有强大的特征提取能力，且与其他算法兼容性好，可以充分映射隐藏在原始信号中的故障信息。本发明为进一步提高胶囊网络的特征提取能力，利用DBN改进胶囊网络特征提取单元的单一卷积结构。针对电网系统采集的智能电表历史故障数据信息，本发明利用欠采样与过采样相结合的混合采样方法解决智能电表故障数据集中各类故障样本数据不平衡的问题，采取One-Hot编码方式解决故障数据集中包含较多离散无序型特征属性的问题。本发明可实现智能电表基于故障信息的故障诊断，利用DBN较强的自适应特征提取能力和非线性映射能力来改进胶囊网络单一的卷积层特征提取部分，从而建立DBN-CapsNet故障诊断模型，可针对智能电表多种故障类型进行故障诊断，提高故障诊断性能，还有助于提高智能电表的检修效率。

发明内容

本发明的目的在于提供一种在线且高效的智能电表故障诊断模型，以实现在运行中的智能电表发生故障时，将该电表的相关信息输入到该模型中，便可得到最有可能的故障类型诊断，并根据此结果快速匹配具备相关维修技能的工作人员，从而提高故障电表的检修效率，可降低国家电网在智能电表运维方面的人力成本和资源成本。

本发明采用的技术方案是：

本发明包括如下步骤：

步骤1：采集智能电表故障数据信息，目前电网系统的数据中心每天采集智能电表的运行数据，其中的故障数据信息中包含故障电表的生产厂家、设备类型、资产编号、投运日期、设备状态、故障发现日期、故障来源、工作时长、供电单位、设备规格、通信方式等相关属性。

步骤2：对故障样本数据进行预处理，进行预处理的步骤如下：

(1)删除存在缺失值、异常值的故障样本；

(2)判断各属性是否可以作为故障诊断模型的输入；

(3)对样本的故障类型进行统计分析，筛选故障类型；

(4)对离散无序的特征属性进行One-Hot编码。

步骤3：进行不平衡数据采样和数据集的划分，采用过采样与欠采样结合的混合采样方式，采样步骤如下：

(1)统计数据集中每种故障类型对应的样本数，假设经过预处理后的智能电表故障数据集共有M种故障类型，N_i表示类型i采样前的样本数；

(2)确定各故障类型的采样方式，N_med表示采样前所有类型的样本数的中位数，若N_i大于N_med则采取欠采样方式，采样标记为0，反之采取过采样方式，采样标记为1；

(3)确定各故障类型采样后的理论样本数，对于需要欠采样的故障类型进行随机采样，对于需要过采样的故障类型进行SMOTE采样，确定各故障类型采样后的理论样本数的公式如式(1)所示：

N_new_i表示类型i采样后的样本数，a表示采样平衡系数，此处取a＝0.5。

将数据集以8:2的比例划分为训练集和测试集，在利用训练集进行模型训练时采用分层十折交叉验证，随机抽取出训练集的10％作为验证集，其主要目的是为了防止模型出现过度拟合训练样本，而失去对其他数据的拟合和预测能力，保证所得分类模型结果的可靠性，训练集和验证集用于训练DBN-CapsNet模型的参数，测试集用于评估DBN-CapsNet故障诊断模型的性能。

步骤4：构建DBN结构并设置网络参数，实现故障特征提取。

步骤5：构建初始胶囊和基于动态路由算法的数字胶囊。

步骤6：利用训练集和验证集训练建立好的DBN-CapsNet模型，将建立的DBN网络与初级胶囊和数字胶囊连接起来，利用反向传播算法来完成DBN-CapsNet的训练。

步骤7：利用测试集评估DBN-CapsNet模型的诊断性能，绘制诊断结果的混淆矩阵，混淆矩阵是对分类模型进行性能评价的重要工具，通过它可以计算准确率S、精确率P、召回率R和F值等各种评价指标，在混淆矩阵里，假设共有k个故障类型，n_ij表示把类型i诊断为类型j的样本个数，则有：

F_i＝2P_iR_i/(P_i+R_i) (5)

本发明以准确率和Macro F1作为模型诊断性能的评价指标。

本发明在传统胶囊网络特征提取单元添加了双隐层的DBN网络结构。

本发明所述步骤5中构建初始胶囊和数字胶囊，胶囊网络是一种具有高性能的神经网络分类器，它主要由初级胶囊层和数字胶囊层组成，初级胶囊层又包括卷积层和主胶囊层，胶囊网络在构建初级胶囊时，将卷积层提取出的标量故障特征排列为向量故障特征，并生成初级胶囊u_i，其中i表示第i个故障特征胶囊，数字胶囊层与初级胶囊层之间通过动态路由实现信息通讯，动态路由的传递过程如下：

(1)将初级胶囊和权重矩阵相乘得到实例预测胶囊，其数学计算式如下：

^u_j/i＝w_iju_i (7)

式(7)中i表示初级胶囊标号，j为数字胶囊标号，u_i为初级胶囊层输出的第i个初级胶囊，^u_j|i为实例预测胶囊，w_ij为权值矩阵；

(2)通过式(8)计算实例预测胶囊与数字胶囊之间的耦合系数，并对所有实例预测胶囊进行加权求和得到数字胶囊；

c_ij＝exp(b_ij)/∑_jexp(b_ij) (8)

s_j＝∑_ic_ij^u_j/i (9)

式(8)中c_ij和b_ij分别表示实例预测胶囊^u_j/i和数字胶囊s_j之间的耦合系数和先验连接权重，且b_ij的初始值都为0，并计算c_ij，且∑c_ij＝1；

(3)利用式(10)的squash函数将数字胶囊s_j的模长压缩至[0,1]，并得到数字胶囊层，最终输出数字胶囊v_j，根据式(11)更新先验连接权重b_ij；

b_ij←b_ij+^u_j/i·v_j (11)

动态路由实现低层胶囊结构与高层胶囊之间的向量式传递，通过二者标量积来度量相关性，向量的模长代表实体的存在性，构建了空间位置等关键特征。

本发明所述步骤6中利用反向传播算法来完成DBN-CapsNet的训练，包括前向激励传播和反向权重更新2个过程：

(1)在前向激励传播过程中，输入的特征经过DBN层、卷积层和胶囊层的处理后传递到输出层，通过诊断结果和实际结果计算损失值(误差)；

(2)在反向权重更新过程中，首先利用链式法则将误差从输出层往中间层传递，然后通过梯度下降法来更新每一层的权重，当达到预定的迭代次数时，停止训练。

由于胶囊网络允许多个分类同时存在，所以采用间隔损失(margin loss)函数，间隔损失表示为：

L_k＝T_k·max(0,m⁺-||v_k|)²+λ(1-T_k)max(0,||v_k|-m^-)² (12)

k是分类数，v_k表示类别k的输出向量，L_k表示类别k的损失，T_k是分类的指示函数(存在为1,不存在为0)；m⁺为上界，惩罚假阳性，即预测k类存在但真实不存在；m^-为下界，惩罚假阴性，即预测k类不存在但真实存在；λ比例系数，调整两者比重，本发明取m⁺＝0.9,m^-＝0.1,λ＝0.5。

重构的意思是用预测的类别构建出该类别的实际数据，重构损失计算方法为胶囊层后构造出3层全连接层，得到重构后的输出数据，将原数据与输出数据距离平方和作为损失值，总体损失＝间隔损失+α·重构损失，本发明取α＝0.01，间隔损失占主导地位。

本发明具有的有益效果是：本发明为进一步提高胶囊网络的特征提取能力，利用DBN改进胶囊网络特征提取单元的单一卷积结构。本发明可实现智能电表基于故障信息的故障诊断，利用DBN较强的自适应特征提取能力和非线性映射能力来改进胶囊网络单一的卷积层特征提取部分，从而建立DBN-CapsNet智能电表故障诊断模型，相较于传统的胶囊网络，故障诊断性能有所提高，并且大幅度缩短模型训练时间，还有助于提高智能电表的检修效率。

附图说明

图1是本发明的DBN-CapsNet模型的智能电表故障诊断流程图。

图2是本发明的DBN-CapsNet故障诊断模型图。

图3是经过故障类型筛选后的不同故障类型样本数分布图。

图4是训练过程中DBN-CapsNet的损失值变化图。

图5是DBN-CapsNet诊断结果的混淆矩阵图。

图6是传统胶囊网络诊断结果的混淆矩阵图。

具体实施方式

下面结合附图和实施案例对本发明作进一步说明。

如图2展示了本发明构建的DBN-CapsNet故障诊断模型的网络结构，DBN-CapsNet的输入数据为电表的历史故障数据信息，网络前端采用双隐层的DBN结构配合卷积层进行特征提取，格式转换层是将DBN的输出转换成适用于卷积层的输入，保证信息提取的充分性，特征采集作用明显；后端采用胶囊结构构造向量神经元，主胶囊储存低级别特征，数字胶囊储存高级别特征,主胶囊到数字胶囊的传播依靠动态路由算法，通过动态路由进行特征传递，实现故障诊断；数字胶囊的向量个数为电表故障类型个数，数字胶囊各向量的模组成输出向量，对应不同故障类型出现的概率，取模值最大的向量对应的故障类型为最后的诊断结果。如图1所示的DBN-CapsNet故障诊断流程，基于改进胶囊网络的智能电表故障诊断方法的具体实现如下：

步骤1：采集智能电表故障数据。目前电网系统的数据中心每天采集智能电表的运行数据，其中的故障数据信息中包含故障电表的生产厂家、设备类型、资产编号、投运日期、设备状态、故障发现日期、故障来源、工作时长、供电单位、设备规格、通信方式等相关属性。由于智能电表供应商较多，不同智能电表的内部设计和零件也有所区别，因此智能电表故障往往呈现出家族性缺陷，同一厂家同一批次的电表发生相同类型的故障可能性较大。运行时长的增加会使电表的运行可靠性下降，电表有一定的预期寿命，随着运行时长的增加，其零部件的老化和电池的损耗都会导致电表更容易发生故障。例如误差超差、电容损坏、电池损坏等硬件部分的损坏。

步骤2：对故障样本数据进行预处理。

(1)删除存在缺失值、异常值的故障样本。

(2)判断各属性是否可以作为故障诊断模型的输入。将数据集中明显与故障类型无关的属性删除，并将目前属性整合处理，最后保留对故障类型有影响的属性，其中包括设备类型、设备状态、设备规格、通信方式、生产厂家、供电单位、故障来源、投运月份、故障月份和正常运行时长共10种属性。

(3)对样本的故障类型进行统计分析，筛选故障类型。样本的装置故障共有24种故障类型。每种故障类型的具体名称和对应的样本数见表1。从表1可看出前15种故障类型样本数太少，故不作深入研究，将其相关样本数据删除。

表1.不同故障类型对应的样本量

(4)对离散无序的特征属性值进行One-Hot编码。在剩余的样本数据中，存在如设备类型、设备状态、生产厂家等离散的、无序的特征变量，本发明采用One-Hot编码方式将离散无序的特征数字化，以更好的进行接下来的深度学习。

步骤3：进行不平衡数据采样和数据集的划分。采用过采样与欠采样结合的混合采样方式，采样步骤如下：

(1)统计数据集中每种故障类型对应的样本数。假设经过预处理后的智能电表故障数据集共有M种故障类型，N_i表示类型i采样前的样本数。绘制故障样本数量分布图，如图3所示，从种可知各个故障类型样本数量占比不均衡，其中6～8类故障占比较大，总计近80％，而0～2类故障占比较小，只占约3％。样本数量不平衡会影响故障诊断的结果及分类模型的准确度，因此本文采用过采样与欠采样相结合的混合采样方式，对于需要欠采样的故障类型进行随机采样，对于需要过采样的故障类型进行SMOTE采样。

(2)确定各故障类型的采样方式。N_med表示采样前所有类型的样本数量的中位数，若N_i大于N_med采取欠采样方式，采样标记为0；反之采取过采样方式，采样标记为1。

(3)确定各故障类型采样后的理论样本数。对于需要欠采样的故障类型进行随机采样，对于需要过采样的故障类型进行SMOTE采样，确定各故障类型采样后的理论样本数的公式如式(1)所示：

N_new_i表示类型i采样后的样本数，a表示采样平衡系数，此处取a＝0.5。

对不平衡数据进行混合采样后的样本数见表2。

表2.采样后的样本数

将处理后的数据集以8:2的比例划分为训练集和测试集。在利用训练集进行模型训练时采用分层十折交叉验证，随机抽取出训练集的10％作为验证集，其主要目的是为了防止模型出现过度拟合训练样本，而失去对其他数据的拟合和预测能力，保证所得分类模型结果的可靠性。训练集和验证集用于训练DBN-CapsNet模型的参数，测试集用于评估DBN-CapsNet故障诊断模型的性能。

步骤4：构建DBN结构并设置网络参数，实现故障特征提取。DBN是由多个受限玻尔兹曼机(restricted Boltzmann Machine，RBM)堆叠组成的神经网络模型。经数据处理和One-Hot编码后，输入层是1×136的向量，建立由RBM1和RBM2组成的双隐含层DBN网络结构，具体结构及参数设置见表3。

表3.DBN-CapsNet的网络结构及参数设置

步骤5：构建初始胶囊和基于动态路由算法的数字胶囊。数字胶囊层与初级胶囊层之间通过动态路由实现信息通讯。动态路由的传递过程如下：

(1)将初级胶囊和权重矩阵相乘得到实例预测胶囊，其数学计算式如下：

^u_j|i＝w_iju_i (2)

式(2)中i表示初级胶囊标号，j为数字胶囊标号，u_i为初级胶囊层输出的第i个初级胶囊，^u_j|i为实例预测胶囊，w_ij为权值矩阵。

(2)通过式(3)计算实例预测胶囊与数字胶囊之间的耦合系数，并对所有实例预测胶囊进行加权求和得到数字胶囊。

c_ij＝exp(b_ij)/∑_jexp(b_ij) (3)

s_j＝∑_ic_ij^u_j|i (4)

式(3)中c_ij和b_ij分别表示实例预测胶囊^u_j|i和数字胶囊s_j之间的耦合系数和先验连接权重，且b_ij的初始值都为0，并计算c_ij，且∑c_ij＝1。

(3)利用式(5)的squash函数将数字胶囊s_j的模长压缩至[0,1]，并得到数字胶囊层，最终输出数字胶囊v_j；根据式(6)更新先验连接权重b_ij。

b_ij←b_ij+^u_j|i·v_j (6)

本发明建立了包含一个卷积层和一个胶囊层的胶囊网络，由于研究的智能电表故障类型有9个，所以输出层是1×9的向量，表示输入样本的故障类型。网络训练的迭代次数epoch为500，训练时单次读入的数据量batchsize为200，优化器选择Adam算法，学习率为0.008，动态路由的迭代次数设置为3，具体的DBN-CapsNet网络结构和参数设置见表3。

步骤6：利用训练集和验证集训练建立好的DBN-CapsNet模型。将建立的DBN网络与初级胶囊和数字胶囊连接起来，利用反向传播算法来完成DBN-CapsNet的训练，包括前向激励传播和反向权重更新2个过程。

(1)在前向激励传播过程中，输入的特征经过DBN层、卷积层和胶囊层的处理后传递到输出层，通过诊断结果和实际结果计算损失值(误差)。

(2)在反向权重更新过程中，首先利用链式法则将误差从输出层往中间层传递，然后通过梯度下降法来更新每一层的权重。当达到预定的迭代次数时，停止训练。

由于胶囊网络允许多个分类同时存在，所以采用的是用间隔损失(margin loss)函数，间隔损失表示为：

L_k＝T_k·max(0,m⁺-||v_k|)²+λ(1-T_k)max(0,||v_k|-m^-)² (7)

k是分类数，v_k表示类别k的输出向量，L_k表示类别k的损失，T_k是分类的指示函数(存在为1,不存在为0)；m⁺为上界，惩罚假阳性，即预测k类存在但真实不存在；m^-为下界，惩罚假阴性，即预测k类不存在但真实存在；λ比例系数，调整两者比重。本发明取m⁺＝0.9,m^-＝0.1,λ＝0.5。

重构的意思就是用预测的类别构建出该类别的实际数据，重构损失计算方法为胶囊层后构造出3层全连接层，得到重构后的输出数据，计算原数据与输出数据距离平方和，作为损失值。总体损失＝间隔损失+α·重构损失。本发明取α＝0.01，间隔损失占主导地位。

所提方法均在PyCharm软件下运行，深度学习的框架采用TensorFlow 2.6.0和Keras2.6.0。计算机硬件配置为AMD Ryzen 7 4800U with Radeon Graphics(16CPUs),1.8GHz。模型训练时的损失值变化如图4所示。

步骤7：利用测试集评估DBN-CapsNet模型的诊断性能，绘制诊断结果的混淆矩阵。混淆矩阵是对分类模型进行性能评价的重要工具，通过它可以计算准确率S、精确率P、召回率R和F值等各种评价指标。共有k个故障类型，n_ij表示把类型i诊断为类型j的样本个数。则有

F_i＝2P_iR_i/(P_i+R_i) (11)

本发明以准确率和Macro F1作为模型诊断性能的评价指标。

将智能电表历史故障测试集的数据输入训练好的DBN-CapsNet故障诊断模型中，获得如图5所示的混淆矩阵，计算各故障类型的精确率和召回率，结果如表4所示。

表4.DBN-CapsNet诊断结果的精确率和召回率

从表4可以看出，DBN-CapsNet对编号0、1、2、3类型的故障有较好的诊断效果，精确率和召回率都在0.67以上，编号为4、6、7的故障类型次之，从诊断结果的混淆矩阵可以看出，数据异常故障、显示屏故障、电气故障烧毁都易被误诊为电气机械故障，主要是由于这些故障的外在表现形式有所相似，很难通过故障数据集的特征属性直接精准判断，需要检修人员对故障电表进一步的专业诊断。整个诊断结果的平均精确率为0.62，平均召回率为0.62。

为证明本发明提出的DBN-CapsNet方法在用于智能电表故障诊断时的有效性，作为对比实验，采用传统胶囊网络方法对智能电表历史故障数据进行学习。传统胶囊网络相较于DBN-CapsNet没有DBN网络结构，其余网络结构和设置参数与DBN-CapsNet一样。对传统胶囊网络进行多次训练，得到图6所示结果。根据图6计算相应算法的准确率和Macro F1指标值，对比两种算法的故障诊断效果，得到如表5所示的结果。

表5.不同算法的结果对比

从表5中看出，DBN-CapsNet是对CapsNet特征提取部分的进一步优化，相较于CapsNet，DBN-CapsNet诊断结果的准确率和Macro F1值分别提高了3％和4％，训练时长也明显缩短。这也说明DBN改进后的胶囊网络能捕捉更加全面有效的特征信息，提升网络训练效率，提高故障诊断性能,为当前智能电表基于故障信息的故障诊断提供了一种新思路。

Claims (4)

1.一种基于改进胶囊网络的智能电表故障诊断方法，其特征在于，包括以下步骤：

步骤1：采集智能电表故障数据信息，目前电网系统的数据中心每天采集智能电表的运行数据，其中的故障数据信息中包含故障电表的生产厂家、设备类型、资产编号、投运日期、设备状态、故障发现日期、故障来源、工作时长、供电单位、设备规格、通信方式等相关属性；

步骤2：对故障样本数据进行预处理，进行预处理的步骤如下：

(1)删除存在缺失值、异常值的故障样本；

(2)判断各属性是否可以作为故障诊断模型的输入；

(3)对样本的故障类型进行统计分析，筛选故障类型；

(4)对离散无序的特征属性进行One-Hot编码；

步骤3：进行不平衡数据采样和数据集的划分，采用过采样与欠采样结合的混合采样方式，采样步骤如下：

(1)统计数据集中每种故障类型对应的样本数，假设经过预处理后的智能电表故障数据集共有M种故障类型，N_i表示类型i采样前的样本数；

(2)确定各故障类型的采样方式，N_med表示采样前所有类型的样本数的中位数，若N_i大于N_med则采取欠采样方式，采样标记为0，反之采取过采样方式，采样标记为1；

(3)确定各故障类型采样后的理论样本数，对于需要欠采样的故障类型进行随机采样，对于需要过采样的故障类型进行SMOTE采样，确定各故障类型采样后的理论样本数的公式如式(1)所示：

N_new_i表示类型i采样后的样本数，a表示采样平衡系数，此处取a＝0.5；

将数据集以8:2的比例划分为训练集和测试集，在利用训练集进行模型训练时采用分层十折交叉验证，随机抽取出训练集的10％作为验证集，其主要目的是为了防止模型出现过度拟合训练样本，而失去对其他数据的拟合和预测能力，保证所得分类模型结果的可靠性，训练集和验证集用于训练DBN-CapsNet模型的参数，测试集用于评估DBN-CapsNet故障诊断模型的性能；

步骤4：构建DBN结构并设置网络参数，实现故障特征提取；

步骤5：构建初始胶囊和基于动态路由算法的数字胶囊；

步骤6：利用训练集和验证集训练建立好的DBN-CapsNet模型，将建立的DBN网络与初级胶囊和数字胶囊连接起来，利用反向传播算法来完成DBN-CapsNet的训练；

步骤7：利用测试集评估DBN-CapsNet模型的诊断性能，绘制诊断结果的混淆矩阵，混淆矩阵是对分类模型进行性能评价的重要工具，通过它可以计算准确率S、精确率P、召回率R和F值等各种评价指标，在混淆矩阵里，假设共有k个故障类型，n_ij表示把类型i诊断为类型j的样本个数，则有：

F_i＝2P_iR_i/(P_i+R_i) (5)

本发明以准确率和Macro F1作为模型诊断性能的评价指标。

2.根据权利要求1所述的基于改进胶囊网络的智能电表故障诊断方法，其特征在于，在传统胶囊网络特征提取单元添加了双隐层的DBN网络结构。

3.根据权利要求1所述的基于改进胶囊网络的智能电表故障诊断方法，其特征在于，所述步骤5中构建初始胶囊和数字胶囊，胶囊网络是一种具有高性能的神经网络分类器，它主要由初级胶囊层和数字胶囊层组成，初级胶囊层又包括卷积层和主胶囊层，胶囊网络在构建初级胶囊时，将卷积层提取出的标量故障特征排列为向量故障特征，并生成初级胶囊u_i，其中i表示第i个故障特征胶囊，数字胶囊层与初级胶囊层之间通过动态路由实现信息通讯，动态路由的传递过程如下：

(1)将初级胶囊和权重矩阵相乘得到实例预测胶囊，其数学计算式如下：

式(7)中i表示初级胶囊标号，j为数字胶囊标号，u_i为初级胶囊层输出的第i个初级胶囊，

为实例预测胶囊，w_ij为权值矩阵；

(2)通过式(8)计算实例预测胶囊与数字胶囊之间的耦合系数，并对所有实例预测胶囊进行加权求和得到数字胶囊；

c_ij＝exp(b_ij)/∑_jexp(b_ij) (8)

式(8)中c_ij和b_ij分别表示实例预测胶囊

和数字胶囊s_j之间的耦合系数和先验连接权重，且b_ij的初始值都为0，并计算c_ij，且∑c_ij＝1；

(3)利用式(10)的squash函数将数字胶囊s_j的模长压缩至[0,1]，并得到数字胶囊层，最终输出数字胶囊v_j，根据式(11)更新先验连接权重b_ij；

动态路由实现低层胶囊结构与高层胶囊之间的向量式传递，通过二者标量积来度量相关性，向量的模长代表实体的存在性，构建了空间位置等关键特征。

4.根据权利要求1所述的基于改进胶囊网络的智能电表故障诊断方法，其特征在于，所述步骤6中利用反向传播算法来完成DBN-CapsNet的训练，包括前向激励传播和反向权重更新2个过程：

(1)在前向激励传播过程中，输入的特征经过DBN层、卷积层和胶囊层的处理后传递到输出层，通过诊断结果和实际结果计算损失值(误差)；

(2)在反向权重更新过程中，首先利用链式法则将误差从输出层往中间层传递，然后通过梯度下降法来更新每一层的权重，当达到预定的迭代次数时，停止训练；

由于胶囊网络允许多个分类同时存在，所以采用间隔损失(margin loss)函数，间隔损失表示为：

L_k＝T_k·max(0,m⁺-‖v_k‖)²+λ(1-T_k)max(0,‖v_k‖-m^-)² (12)

k是分类数，v_k表示类别k的输出向量，L_k表示类别k的损失，T_k是分类的指示函数(存在为1,不存在为0)；m⁺为上界，惩罚假阳性，即预测k类存在但真实不存在；m^-为下界，惩罚假阴性，即预测k类不存在但真实存在；λ比例系数，调整两者比重，本发明取m⁺＝0.9,m^-＝0.1,λ＝0.5；

重构的意思是用预测的类别构建出该类别的实际数据，重构损失计算方法为胶囊层后构造出3层全连接层，得到重构后的输出数据，将原数据与输出数据距离平方和作为损失值，总体损失＝间隔损失+α·重构损失，本发明取α＝0.01，间隔损失占主导地位。

Images