CN111737749A - 基于联邦学习的计量装置告警预测方法及设备 - Google Patents

Abstract

本发明公开了一种基于联邦学习的计量装置告警预测方法及设备，方法包括：在多个本地计量数据上设置具有相同结构的故障预测模型；对多个本地计量数据进行特征维度上的对齐与加密；本地模型训练以及中间训练参数上传到训练协作者；训练协作者融合上传参数并回传给各本地模型进行更新以完成共享模型的训练。本发明可以在保护计量数据信息安全的前提下，通过利用多个数据源来提升电力计量装置告警预测能力。本发明还公开了一种基于联邦学习的电力计量装置告警预测对应的计算装置和存储设备。

Description

基于联邦学习的计量装置告警预测方法及设备

技术领域

本发明涉及电力系统中计量装置告警预测的技术领域，特别是设计一种基于联邦学习框架的电力计量装置告警预测方法以及相关的设备。

背景技术

在当今大数据技术蓬勃发展的趋势下，各行各业都将这一技术应用到自身的业务扩展中，以期望能够利用大数据技术去挖掘更丰富的数据资源以及分析各种数据间进一步深入的关系。而大数据时代下一个不可忽视的问题就是企业信息安全以及用户数据隐私，为了避免这些问题而让数据与数据之间产生了信息孤岛；而为了提升业务模型，这些数据又要通过打破数据孤岛来进行整合。这一热点问题引发出了许多相关的科学研究课题。

针对电力系统计量装置告警问题，传统的方法是利用自动化检测系统对所覆盖检测区域的设备进行运行状态跟踪，通过设定好的判断规则对数据进行检测并及时发现问题以发出告警信息。而使用传统机器学习方法来处理这些数据时，首先需要建立中心化的数据样本集，之后才能训练模型。这些单机方法可能会导致信息安全问题，尤其是在数据处理阶段。

综上所述，考虑到在处理计量装置告警预测时各个计量数据间存在由隐私保护而产生的数据壁垒问题，以及传统模型训练方式下数据整合而产生数据安全问题，充分利用数据以及有效地保护信息安全成为了目前本领域需要解决的问题。

发明内容

本发明提出了一种基于联邦学习的计量装置告警预测方法及设备，其目的是：(1)保护各电力计量数据的企业信息安全和客户隐私安全，基于去中心化的分布式数据对告警预测模型进行训练；(2)利用带加密的参数完成全局共享模型的优化；(3)利用预测方法对潜在告警风险进行分析，以提高系统对计量系统运行的鲁棒性；(4)提供了一套与预测方法对应的计算设备和存储介质。

本发明技术方案如下：

一种基于联邦学习的计量装置告警预测方法，包括：

设置运行在本地数据集上的告警预测模型；

本发明专利所述的基于联邦学习的计量装置告警预测方法，是基于联邦学习概念的创新解决方案。首先明确业务目标并设置数学模型。本发明专利所述的告警预测模型是基于联邦学习模式的回归预测神经网络，联邦学习框架下的各参与者设置运行于本地数据的告警预测模型。神经网络模型包括输入层，多个隐含层以及输出层；

本地数据在特征维度对齐；

在本发明所述的模型结构中，各本地数据不需整合与存储在同一个地方。根据设置运行在本地数据源上的告警预测模型这一步中所述的本地模型，训练用数据直接保存在各参与者本地数据存储介质上，并直接从本地存储上载入训练样本进行训练；

本地模型训练过程；

针对计量装置告警预测神经网络模型的训练，各本地模型按照传统单机神经网络的训练方式设置相同的迭代次数、学习速度等参数。

中间参数上传过程；

该过程需要用到网络信道，具体包括：

各本地模型在一次迭代完成之后，需要把中间参数上传给训练协作者，之后由它汇总并计算所有参与者发送过来的中间参数；

参数融合与回传；

该过程是训练协作者在汇总所有模型上传的参数之后，基于联合损失函数的计算，将得出的网络更新参数分发回各本地模型以进行更新；

经过上述步骤之后完成共享模型训练，具体包括两部分：

第一是训练最终收敛：确认联合损失函数收敛到最优，各本地模型停止参数上传，以及协作者停止利用网络信道进行更新参数的传输。

第二是告警预测步骤：共享模型即各本地模型最终得到的最优模型是基于联合数据训练得到，在预测试时加载待测数据即可。

模型建立时，将联邦学习框架下的本地数据作为参与者，设置用于告警预测任务的神经网络模型，包括：各数据方即电力计量公司以独立参与者使用自己的本地数据；本地数据的贡献表现为对共享模型训练的提升；基于预测神经网络模型构建电力计量装置告警预测模型，用于预测潜在的告警发生概率；输入自己本地的数据对各模型进行训练，且训练样本的特征为所有数据集重叠部分。

进一步的，训练过程不进行本地存储器到训练协作者存储器的数据传输；训练参数的传输通过协作者提供的密钥进行加密；构成的联邦学习数据集为在各本地数据互相隔离状态下提取的公共特征与不同用户群体的联合数据。

进一步的，数据在进行提取特征交集以及联合用户群体之后，各本地模型的训练还包括：每次迭代过程包括模型训练与参数上传两个步骤；其中，模型训练过程为加载本地数据集中的训练样本批次；参数上传过程是将每轮训练过程中的损失函数、梯度等神经网络训练中的参数以加密形式发送到训练协作者的本地机器上。

进一步的，整个训练过程要利用训练协作者协调各本地模型的训练，具体为将参数进行汇总，包括：汇总各参与者发送过来的损失函数和梯度信息，完成梯度信息的融合，生成全局损失函数，以保证整体训练在向着收敛的方向不断优化。

进一步的，共享模型以全局优化函数为目标进行训练，每一轮通信使用训练协作者提供的更新参数，整个过程在电力系统内部网络进行。

一种上述基于联邦学习的计量装置告警预测方法所对应的计算设备包括：

处理器：具有支持使用GPU/CPU加速训练联邦学习框架的计算设备，用于运行基于联邦学习的计量装置告警预测模型对应的程序；

存储器：具有可读存储功能的计算机存储设备，用于存储基于联邦学习的计量装置告警预测模型对应的程序文件以及存储待检测的计量数据样本。

相对于现有技术，本发明具有以下有益效果：应用本发明实施所提供的方法，训练过程需要将数据的特征进行确认与联合，并将计量装置告警预测模型的程序设置于各个本地设备。各个本地设备上运行程序代码以及上传中间训练参数到联邦学习框架中的训练协作者处，在该处完成参数融合和回传。各个本地模型完成模型的权重更新。检测过程则利用训练好的共享模型直接对输入的计量装置样本进行告警预测。

附图说明

图1为本发明方法的实施流程图；

图2为本发明方法的神经网络结构图；

图3为本发明方法的协作训练实施流程图；

图4为本发明的计算设备与存储介质的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例中一种基于联邦学习的计量装置告警预测方法的一种实施流程图，该实施流程基于数据信息安全保护机制来进行共享模型训练，通过最大限度地联合各本地计量数据，建立处理计量装置告警预测问题的模型。

该框架确保了各参与者(拥有计量数据的电力业务公司)在本地保留自己原始数据，并通过禁止彼此间交换原始数据的方法来完全隔离各本地数据。该方法可以包括以下步骤：

图1中步骤1：各参与者(电力计量公司)设置本地模型，并使用本地数据集对模型进行训练，该模型的结构为回归预测神经网络。本发明专利所述的一种基于联邦学习框架的电力计量告警预测方法要求所有参与者在本地部署相同结构的神经网络。其具体结构在对图2进行具体实施过程阐述时描述。

图1中步骤2：对各本地数据进行样本对齐，本地计量数据在特征维度上有较大重叠部分(即所有本地计量数据的公共特征基本一致)而在用户群体上各有差异(不同计量公司管理的用户范围不一样)。计量装置原始数据有n维特征，网级数据中心得到经加工统计后的数据有m维特征，这两类数据又具有相异的特征与相同的用户群体，因此采用横向的数据联合方式进行数据联合。

图1中步骤3：每个本地模型迭代优化过程中，采用随机梯度下降法进行模型的收敛优化。

图1步骤4、5：所有本地模型进行中间参数的融合和回传，利用已有的电网内网络进行传输。训练协作者处理完汇总过来的参数后，回传更新矩阵给各本地模型。该过程具体在图3中进行阐述。

图1步骤6：经过一定迭代次数之后模型的全局目标函数达到收敛。此时完成针对告警问题预测的神经网络的训练。

图2为本发明专利在具体实施流程1(图1)中步骤1所对应的基于回归神经网络的计量装置告警预测模型的具体实施过程：

本发明专利所述的基于联邦学习的计量装置告警预测神经网络模型，首先采用PCA方法对数据进行降维处理。数据中心的数据包括了用电单位，总客户数，覆盖客户数，影响客户数，告警事件统计数等很多种类的计量数据。进行告警预测时，为了充分利用数据的有效特征，需要将数据的维度从高维映射到低维，保留主要特征且滤掉冗余的特征。计量设备事件信息、用电信息、运行状态数据这三类数据中，设备信息具有较高的维度，而编号、名称等字符信息没有用因而直接剔除，电量、电压等数值信息则需要归一化处理将其规范在相同尺度下。整理来说，构建n维数据集X＝{x1,x2,x3,…,xn}，之后对其进行去中心化并计算协方差矩阵，最后对特征值排序选取排序靠前的k个新特征，重新映射后的新特征不再对应电压、电量等具体数据，降维处理后的新特征供后续分析算法使用。

本发明所述的一种基于联邦学习框架的计量装置告警预测方法，其回归预测模型采用带有多个隐含层的逻辑回归神经网络。逻辑回归神经网络可以自动学习样本特征并进行拟合计算得出潜在的告警信息，将输出结果用yes/no(0/1)来表示。对于带标签的训练数据，从终端计量装置获取的历史告警信息，利用逻辑回归网络进行分析。Logistic输出单元以串联的形式对经过多个隐含层计算之后的输出进行数值到二值的映射。在本发明行所述的计量装置告警预测中，对于计量装置域的终端采集数据采用该网络进行检测，首先该数据域包含运行终端数据、负控参数、终端配置参数、抄表参数等数据表，进而映射到计量终端存在的告警问题，本发明专利所述方法从上述数据表中的数据分析出结果，利用logistic回归网络自动学习内在关联，输出告警信息。

关于Logistic函数的定义如下所示：

g()为神经网络的输出，e^-z为对于经过多个隐含层计算之后的输出的指数运算。这里z＝W^TX，其中的X则是输入样本，而W则是隐层的权值矩阵。

图3为本发明专利在具体实施流程1(图1)中步骤4、5所对应的模型-用于计量装置告警预测神经网络的联邦学习训练协作者具体实施过程：

电网体系中包含了子公司与网级数据中心。参与者子公司获取用户数据之后对数据进行二次加工，二次统计数据包含表码信息、功率信息、错误告警信息等。数据中心得到这些二次统计数据，该过程由子公司通过消息队列的形式将档案数据上传到网级数据中心。数据中心和子公司在用户群体上重合度较高，但数据分为原始采集数据和二次加工数据(汇总数据)，因此特征维度上存在差异。因此联邦学习框架可以在保证网级数据中心与子公司不相互交换原始数据的前提下，利用协作训练机制消除计量数据间存在的信息壁垒。

该实施过程具体包括：

1)同态加密过程：

联邦学习利用同态加密方法保证训练时数据信息不受侵犯。在整个训练中一个本地神经网络的络结构定义为如下公式，

其中网络的输出为

激活函数f对前一层的输入进行计算，包括隐含层和sigmoid激活函数。权值矩阵α₀，α₁，α₂则可以与输入特征向量X进行矩阵相乘运算。对于本地训练来说，会产生两次中间计算结果和一次最终结果，可表示如下公式，且在输入层中temp₀＝X。

temp_i＝f_a(α_itemp_i-1+b_i)

联邦学习在训练中所有模型的中间计算结果保存在本地。样本告警发生标签y_i在数据中心，则N个子公司和数据中心构成的联合神经网络模型可定义如下的目标函数：

同时，为了方便叙述这里将

简单记作

函数h是本地神经网络的输出(N表示子公司，C表示数据中心)。Θ则表示每个本地神经网络的权值所对应的特征空间，该项的设置是为了防止计算过拟合问题而使用的L2正则化函数，与函数h对应的对象一致。使用全连接的简单网络结构可以减小在分布式环境下整体关于目标函数和梯度的计算开销。训练目标定义为使函数J最小化，即在多个本地数据模型协作下，求解min(J(Θ))。对于本地模型的更新，反向传播算法更新权值Θ的方法如下：

本发明专利所属的基于联邦学习计量装置告警预测方法模型，需要通过同态加密方法来对各子公司和数据中心进行训练参数的交换。设加密函数为Enc()，则N个子公司和数据中心C的加密损失函数表示为：

因此同态加密中的加法运算表示为如下：

对任意一个本地模型j∈N或者j＝C有：

其中公式Enc(l_j∈N)为子公司的同态加密损失函数，公式Enc(l_j＝C)为数据中心的同态加密损失函数，其中数据中心增加了告警发生所对应的标签项(这里指代了告警信息对应的二值化数值即0＝无告警发生、1＝有告警发生)。因此子公司和数据中心的联合损失函数定义为公式Enc(l_NC)，由此得到总同态加密损失函数表示为：

Enc(L)＝Enc(l_j∈N)+Enc(l_j＝c)+∑Enc(l_NC)

进而计算各本地模型的梯度为：

其中，当j＝N时表示子公司本地模型的同态加密梯度，j＝C时表示在网级数据中心本地模型所需要的同态加密梯度。根据上述公式所描述的同态加密计算方法，本实验对各个本地模型权值矩阵利用

进行更新。

2)训练调度过程：

如图3所示，为本研究内容中训练调度方法。其中从本地模型到调度组件为加密梯度

的上传过程，从调度组件到各个本地模型为加密梯度反馈。在图3中由双向箭头③表示。

子公司1在完成本地训练之后，其损失函数Enc(l₁)和预测值

经加密后上传到训练协作者，数据中心则将Enc(l_j＝C)和

上传于此。所有本地模型在获得全局损失函数前不进行下一步更新，而训练协作者获取各本地模型的参数后便能计算出带有同态加密的联合损失函数Enc(L)，并根据损失函数将

专给各个本地模型进行Θ的更新。数据中心的业务模型依赖于子公司的本地模型更新，本地模型同样需要数据中心的加密参数

因此本发明专利采用了联邦学习中定义的协同训练机制来控制参数的计算。

本专利提出的基于联邦学习的计量装置告警预测，其利用联邦机制使得各参与者的数据在特征维度上保持了一致，而覆盖了更广的样本群体。数据中心与其他子公司在整个机制下具有同等地位并贡献业务所需要的告警发生标签与不重叠的原始数据。

通过上述的协作机制，信息安全问题可以得到保障。首先，在各本地模型的训练过程中是绝不会将自己的模型和训练数据集发送给训练协作者组件，因而其他参与者无法获取原始数据。其次，由于同态加密保证了运算结果不变，使得损失函数和模型的输出值在加密过后仍然可以与未加密前产生相同的计算结果，这也是协作者能够获取各个参与者的损失函数Enc(l)和预测值H的原因。最后，所有参与者上传的内容都是经过同态加密的且无法知道自己以外的其他参与者的内容，训练协作者将整体的损失函数反馈给各个参与者，该内容本身不会揭示出本地参与者的模型和数据内容，因此是安全的。

相应于上面的方法实施例，图4为本发明所提供的一种基于联邦学习的计量装置告警预测方法所对应的计算和存储设备，该设备可以包括：

处理器，用于执行图4中训练协作者和本机参与者的计量装置告警预测模型所对应的计算机程序。包括：加载存储本地数据；利用本地数据对神经网络进行训练；将中间训练参数通过本机所处的内部通信网络上传到训练协作者；训练协作者执行自己本地的模型和融合所有上传的参数，同时将更新参数通过其所处的内部通信网络回传给各个本地计算设备。

存储设备包括：移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)等能够存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种基于联邦学习的计量装置告警预测方法，其特征在于步骤为：在多个本地计量数据上设置具有相同结构的故障预测模型；对多个本地计量数据进行特征维度上的对齐与加密；训练本地模型；将中间训练参数上传到训练协作者；训练协作者融合上传参数并回传给各本地模型进行更新以完成共享模型的训练；

模型建立时，将联邦学习框架下的本地数据作为参与者，设置用于告警预测任务的神经网络模型，包括：各数据方即电力计量公司以独立参与者使用自己的本地数据；本地数据的贡献表现为对共享模型训练的提升；基于预测神经网络模型构建电力计量装置告警预测模型，用于预测潜在的告警发生概率；输入自己本地的数据对各模型进行训练，且训练样本的特征为所有数据集重叠部分。

2.如权利要求1所述的基于联邦学习的计量装置告警预测方法，其特征在于：训练过程不进行本地存储器到训练协作者存储器的数据传输；训练参数的传输通过协作者提供的密钥进行加密；构成的联邦学习数据集为在各本地数据互相隔离状态下提取的公共特征与不同用户群体的联合数据。

3.如权利要求1所述的基于联邦学习的计量装置告警预测方法，其特征在于：数据在进行提取特征交集以及联合用户群体之后，各本地模型的训练还包括：每次迭代过程包括模型训练与参数上传两个步骤；其中，模型训练过程为加载本地数据集中的训练样本批次；参数上传过程是将每轮训练过程中的损失函数、梯度等神经网络训练中的参数以加密形式发送到训练协作者的本地机器上。

4.如权利要求3所述的基于联邦学习的计量装置告警预测方法，其特征在于：整个训练过程要利用训练协作者协调各本地模型的训练，具体为将参数进行汇总，包括：汇总各参与者发送过来的损失函数和梯度信息，完成梯度信息的融合，生成全局损失函数，以保证整体训练在向着收敛的方向不断优化。

5.如权利要求4所述的基于联邦学习的计量装置告警预测方法，其特征在于：共享模型以全局优化函数为目标进行训练，每一轮通信使用训练协作者提供的更新参数，整个过程在电力系统内部网络进行。

6.用于实施如权利要求1至5任一所述的基于联邦学习的计量装置告警预测方法的设备，其特征在于，本地模型计算设备包含：

处理器，用于读写数据，还具备电力系统内网通信功能；

数据存储模块，用于进行本地训练数据的存储/读写操作、保存模型数据、保存训练参数；

本地网络通信模块，用于承担训练过程的参数上传任务，将数据通过电网内网进行传输；

联邦学习协作者的本地设备同样具有存储装置，用来存储汇总信息。

Images