CN117171686A - 一种基于联邦学习的智能电网异常数据的检测方法及系统 - Google Patents
一种基于联邦学习的智能电网异常数据的检测方法及系统 Download PDFInfo
- Publication number
- CN117171686A CN117171686A CN202311136707.0A CN202311136707A CN117171686A CN 117171686 A CN117171686 A CN 117171686A CN 202311136707 A CN202311136707 A CN 202311136707A CN 117171686 A CN117171686 A CN 117171686A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- formula
- cloud server
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000002776 aggregation Effects 0.000 claims abstract description 18
- 238000004220 aggregation Methods 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 49
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 230000007246 mechanism Effects 0.000 claims description 19
- 239000004698 Polyethylene Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- -1 polyethylene Polymers 0.000 claims description 3
- 229920000573 polyethylene Polymers 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000002547 anomalous effect Effects 0.000 claims description 2
- 230000006854 communication Effects 0.000 abstract description 13
- 238000004891 communication Methods 0.000 abstract description 12
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于联邦学习的智能电网异常数据的检测方法及系统，包括：智能电网数据的检测：在电力系统的每个节点上设置一个边缘节点检测器，直接对智能电网数据进行采集、存储和检测；智能电网数据的聚合：使用联邦学习算法，利用所有节点的本地数据协同训练基于Transformer模型的检测模型；在训练过程中，云服务器先给所有节点下发初始化全局模型，节点利用该初始化全局模型与本地数据进行检测，并将检测结果发送到云服务器进行聚合，得到更新的全局模型，云服务器将更新的全局模型反馈给节点，如此迭代直至达到理想的效果；本发明避免了各节点与调度中心之间传输数据造成的通信延迟，实现了高效的数据检测。
Description
技术领域
本发明属于无线通信网络技术领域，尤其涉及一种基于联邦学习的智能电网异常数据的检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
智能电网是建立在集成的、高速双向通信网络的基础上，通过先进的传感和测量技术、先进的设备技术、控制方法以及决策支持系统技术的应用，实现电网的可靠、安全、经济、高效、环境友好和使用安全的目标，并由此解决了传统电网覆盖范围小、输电巡检难、配电忙调、新能源难以并网等问题。
传统的集中检测方法要求将网络中每个节点的所有数据传输到数据中心进行检查，这依赖于具有强大计算和存储能力的中央工作站。然而随着智能电网的发展，电力系统的规模越来越大，产生的数据越来越多，传统的集中处理方法已无法应对智能电网中数据量的爆炸式增长，有限的通信和存储资源使得网络实时处理数据的能力下降，这可能导致一些关键操作不能及时执行。同时，数据信息往往包含大量私人信息，考虑到隐私保护问题，数据存储在中央工作站的方式容易导致数据泄露和网络攻击。
智能电网中涉及数据检测的节点数量往往相当大，因此要求数据检测任务的计算和通信开销尽可能低，以满足实际需求。考虑到分布式方法具有鲁棒性强、计算成本低、易于实现等优点，人们研究了越来越多的分布式算法来解决智能电网的数据检测问题。
Transformer作为一种前沿的深度学习模型，于2017年首次提出，近年来在语言识别领域取得了巨大的成功。与目前大多数基于复杂神经网络递归或神经网络卷积的主要序列转导模型不同，Transformer避开递归和卷积，利用注意机制和神经网络形成其网络结构。此外，传统的深度学习(Deep Learning,DL)模型基于数据的顺序进行特征提取，而Transformer更侧重于全局数据特征关系，这使得它更适合处理智能电网数据检测问题。
联邦学习(Federated Learning,FL)作为新一代隐私保护技术的前沿领域，通过源数据不外发本地，只进行交互模型更新来保护用户敏感数据，开创了数据安全的新范式。理想情况下，在联邦学习中，客户端通过训练源数据上传本地模型，服务器只负责聚合和分发每次迭代形成的全局模型。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于联邦学习的智能电网异常数据的检测方法及系统，其通过建立基于Transformer模型的检测器，利用自注意机制充分提取数据特征。同时将训练数据保存在本地，利用所有节点的数据协作训练检测模型。既能保护电力系统中各节点的数据隐私，同时还能避免各节点与调度中心之间传输数据造成的通信延迟，实现高效的数据检测。
术语解释：
1、电力系统，电能生产与消费系统；
2、FedAvg算法，联邦平均算法；
3、SGD，随机梯度下降；
4、DL是指深度学习；
5、FL是指联邦学习；
6、CNN是指卷积神经网络。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于联邦学习的智能电网异常数据的检测方法。
一种基于联邦学习的智能电网异常数据的检测方法，通过客户端和云服务器的交互实现，包括：
智能电网数据的检测：在电力系统的每个节点上设置一个边缘节点检测器，直接对智能电网数据进行采集、存储和检测；智能电网数据是指智能电网中电力用户的用电数据；
边缘节点检测器为基于Transformer模型的边缘节点检测器，通过自注意机制充分提取数据特征；
智能电网数据的聚合：使用联邦学习算法，利用所有节点的本地数据协同训练基于Transformer模型的检测模型；在训练过程中，云服务器先给所有节点下发初始化全局模型，节点利用该初始化全局模型与本地数据进行检测，并将检测结果发送到云服务器进行聚合，得到更新的全局模型，云服务器将更新的全局模型反馈给节点，如此迭代直至达到理想的效果；训练过程中将数据保存在本地。
根据本发明优选的，Transformer模型包括位置编码模块、多头注意力模块、Addand Norm层、前馈神经网络模块以及分类器模块；
所述位置编码模块用于：记录每个特征量在数据样本中的位置信息；多头注意力模块用于：采用点乘来计算一个特征通道与其他通道之间的相关性，充分挖掘数据之间的潜在关系；Add and Norm层用于：防止深层网络训练产生退化；前馈神经网络模块是一种全连接的神经网络，前馈神经网络模块用于对每个编码器的每个位置都进行非线性变换，在自注意力机制的基础上进一步提取局部特征；分类器模块包括两个全连接层，Sigmoid函数为最后一个全连接层的激活函数，用于将Transformer的输出映射到分类结果。
进一步优选的，为记录每个特征量在数据样本中的位置信息，在数据向量内的不同位置交替使用正弦函数和余弦函数，如式(I)、式(II)所示：
PE(φ,2k)＝sin(φ/100002k/d) (I)
PE(φ,2k+1)＝cos(φ/100002k/d) (II)
式(I)、式(II)中，PE(φ,2k)表示在输入数据向量的偶数位置添加sin编码；PE(φ,2k+1)分别表示在输入数据向量的奇数位置添加cos编码；2k和2k+1分别表示偶数维数和奇数维数，d是输入数据样本的维度，k是输入数据向量的第k维，φ表示当前的绝对位置。
进一步优选的，多头注意力模块采用点乘来计算一个特征通道与其他特征通道之间的相关性，包括：
输入数据首先沿着空间特征维度进行线性变换，得到维度为dk的向量，分别记作Q、K、V，Q、K、V分别代表Query、Keys、Values，如式(III)所示：
式(III)中，dk是Q、K矩阵的列数，即向量维度，使用进行调节，并采用softmax函数，将输出映射到[0,1]之间；
多头注意力机制的输入Xmha通过采用多组线性变换矩阵WQ、WK、WV得到多组Q、K、V，分别记作：Q＝{Q1,…,Qh…,QH}，K＝{K1,…,Kh…,KH},V＝{V1,…,Vh…,VH}；H是指子空间的总数；
在第h个子空间中，对Q、K、V进行h次自注意力运算，如式(IV)所示：
得到h个自注意力结果并进行矩阵的纵向拼接，如式(V)所示：
MultiHead(Q,K,V)＝Concat(head1,....,headh,....,headH) (V)。
进一步优选的，Add and Norm层的操作如式(VI)、式(VII)所示：
Lmha＝LayerNorm(Xmha+MultiHeadAttention(Xmha)) (VI)
Lffd＝LayerNorm(Xffd+FeedForward(Xffd)) (VII)
式(VI)、式(VII)中，Lmha为第一个Add and Norm层的输出，LayerNorm()为层归一化函数，将每一层神经元的输入都转化为均值方差相等的形式，加快收敛，Xmha为多头自注意力模块的输入、MultiHeadAttention()为多头注意力机制模块函数表示，Lffd为第二个Add and Norm层的输出，Xffd为前馈神经网络模块的输入，FeedForward()为前馈神经网络模块的函数表示，Xmha和Xffd分别是多头自注意力模块和前馈神经网络模块的输入。
进一步优选的，前馈神经网络模块包括两层全连接层和dropout层，用于增强模型的表达能力，如式(VIII)所示：
FeedForward(Lmha)＝max(0,W1Lmha+b1)W2+b2 (VIII)
式(VIII)中，Lmha表示经过层归一化的输出，前馈神经网络模块最终得到一个维度与原始输入一致的输出矩阵；W1、b1和W2、b2分别为两层全连接层的权重和偏置矩阵。
进一步优选的，分类器模块包括两个全连接层，Sigmoid函数是最后一个全连接层的激活函数，用于将Transformer的输出映射到分类结果。
根据本发明优选的，对智能电网数据进行检测，包括：
采用基于残差测试的异常数据检测方法，其中，残差r定义为式(IX)：
‖r‖2＝||z-h(x)||2 (IX)
式(IX)中，z为电力数据的测量向量，x＝{x1,x2,…,xJ}为状态向量，h(x)为x的测量函数；将残差欧氏范数与阈值τ进行比较，若存在异常数据则满足以下不等式式(X)：
‖r‖2>τ (X)
将异常数据检测建模成一个带有检测指标β的二值分类问题，用式(XI)表示：
检测过程中，将包括电量信息的测量向量z作为基于Transformer模型的边缘节点检测器的输入，使用β＝0和β＝1标记是否存在异常数据。
根据本发明优选的，智能电网数据的聚合，包括：
云服务器给所有客户端下发初始化全局模型的参数θt；
从电力用户中随机抽样得到客户端子集St，将属于客户端子集St的客户端进行更新，得到更新参数并上传至云服务器进行平均；
不属于客户端子集St的客户端的更新参数由云服务器下发的初始化全局模型的参数θt代替；
云服务器根据从各个客户端接收到的全局模型的参数，通过FedAvg算法进行聚合产生新的全局参数θt+1，如式(XII)所示：
式(XII)中，ni是第i个客户端的数据量，M是所有客户端的数据总量；
损失函数计算：FedAvg算法最终取Li(θ)的加权平均值，检测模型最终的优化目标为最小化损失函数，如式(XIII)所示：
式(XIII)中，pi表示权重，表示为
云服务器将聚合后的检测模型发送回各个客户端；
局部模型更新：各客户端对局部模型进行更新以获得更新后的检测模型参数；通过SGD来对局部模型的参数进行优化，如式(XIV)所示：
式(XIV)中，β是局部模型的学习率，是局部模型的梯度；
如此迭代，直至交叉熵损失函数收敛。
本发明的第二个方面提供一种基于联邦学习的智能电网异常数据的检测系统。
一种基于联邦学习的智能电网异常数据的检测系统，包括：
智能电网数据检测模块，被配置为：在电力系统的每个节点上设置一个边缘节点检测器，直接对智能电网数据进行采集、存储和检测；边缘节点检测器为基于Transformer模型的边缘节点检测器，通过自注意机制充分提取数据特征；
智能电网数据聚合模块，被配置为：使用联邦学习算法，利用所有节点的本地数据协同训练检测模型，在训练过程中，云服务器先给所有节点下发初始化全局模型，节点利用该初始化全局模型与本地数据进行检测，并将检测结果发送到云服务器进行聚合，得到更新的全局模型，云服务器将更新的全局模型反馈给节点，如此迭代直至达到理想的效果；训练过程中将数据保存在本地。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于联邦学习的智能电网异常数据的检测方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于联邦学习的智能电网异常数据的检测方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明针对智能电网中的数据检测与聚合问题，我们在python的基础上开发了用于智能电网中数据检测与聚合的程序。通过在训练期间将数据保存在本地，该方法保护了电力系统中每个节点的数据隐私，同时利用来自所有节点的数据协作训练检测模型。此外，由于检测模型部署在各节点本地，在线检测时避免了各节点与调度中心之间传输数据造成的通信延迟，实现了高效的数据检测。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明基于联邦学习的数据检测与聚合场景示意图；
图2为本发明联邦学习算法的流程示意图；
图3为本发明Transformer模型的架构图；
图4为本发明中基于联邦学习的智能电网异常数据的检测方法流程图示意图；
图5为本发明弱攻击下的检测概率对比示意图；
图6为本发明强攻击下的检测概率对比示意图。
具体实施方式
下面结合说明书附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
实施例1
一种基于联邦学习的智能电网异常数据的检测方法，如图1所示，通过客户端和云服务器的交互实现，云服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。客户端可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。客户端以及云服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。如图4所示，包括：
智能电网数据的检测：将传统的集中式检测方法转变为分布式检测方法。在电力系统的每个节点上设置一个边缘节点检测器，直接对智能电网数据进行采集、存储和检测；智能电网数据是指智能电网中电力用户的用电数据；
边缘节点检测器为基于Transformer模型的边缘节点检测器，通过自注意机制充分提取数据特征；
智能电网数据的聚合：使用联邦学习算法，利用所有节点的本地数据协同训练基于Transformer模型的检测模型；如图2所示，在训练过程中，云服务器先给所有节点下发初始化全局模型，节点利用该初始化全局模型与本地数据进行检测，并将检测结果发送到云服务器进行聚合，得到更新的全局模型，云服务器将更新的全局模型反馈给节点，如此迭代直至达到理想的效果；训练过程中将数据保存在本地。以此来保护数据隐私。
云服务器通常是一个云聚合器，具有强大的计算能力和丰富的计算资源，可以利用来自所有客户端的数据来协同训练检测模型，同时在训练期间将数据保存在本地以保护数据隐私。云聚合器的主要功能如下：
(1)在全局模型首次运行前初始化全局模型；
(2)在每一轮通信后将全局模型发送给所有客户端；
(3)对客户端上传的权重进行汇总，直到模型收敛。
值得注意的是，云服务器本身并不训练模型，全局模型的权重知识是通过汇总每个局部模型的权重来获得的。
客户端通常为智能电网中的各个用户或组织机构，客户端上部署有本地检测器，负责为基于Transformer的本地检测器建模，该检测器基于其代表每个客户端收集的测量数据(SCADA在每个节点收集的时间段电气数据)，并通过与云服务器重复互操作来帮助更新检测器的权重，直到检测器汇聚。
检测模型，Transformer作为部署在边缘客户端的探测器，利用其多头注意力机制提取数据特征，深入研究各个电量之间的联系。在电力系统的每个节点上设置一个边缘节点检测器，代替原有的中央工作站直接采集、存储和检测数据。
实施例2
根据实施例1所述的一种基于联邦学习的智能电网异常数据的检测方法，其区别在于：
初始化：初始化每个客户端的模型参数，如编码器块数Nenc、通信轮数R、局部epoch数E、小批量大小B、学习率lr、损失函数L、初始权值w0、通信轮指数R、时间步长E、第一矩向量f、第二矩向量s、矩估计α1和α2的指数衰减率。用于数值稳定的一个小常数ε。
在每一轮迭代中，下发当前全局模型参数θt，并对客户端进行统一抽样；
局部模型训练：初始化后，对随机选择参与的客户端子集St进行本地训练，训练部署在每个客户端的本地模型，每个客户端使用各自的本地数据本地训练一个Transformer模型。如图3所示，Transformer模型包括位置编码模块、多头注意力模块、Add and Norm层、前馈神经网络模块以及分类器模块；位置编码模块用于：记录每个特征量在数据样本中的位置信息；多头注意力模块用于：采用点乘来计算一个特征通道与其他通道之间的相关性，充分挖掘数据之间的潜在关系；以识别智能电网中的真实或虚假数据。Add and Norm层用于：设置在多头注意力模块和前馈神经网络模块之后。主要用于防止深层网络训练产生退化；提高训练速度和稳定性；前馈神经网络模块是一种全连接的神经网络，前馈神经网络模块用于对每个编码器的每个位置都进行非线性变换，在自注意力机制的基础上进一步提取局部特征；提高Transformer模型的表达能力。分类器模块包括两个全连接层，Sigmoid函数为最后一个全连接层的激活函数，用于将Transformer的输出映射到分类结果。
为记录每个特征量在数据样本中的位置信息，在数据向量内的不同位置(即不同的维度)交替使用正弦函数和余弦函数，如式(I)、式(II)所示：
PE(φ,2k)＝sin(φ/100002k/d) (I)
PE(φ,2k+1)＝cos(φ/100002k/d) (II)
式(I)、式(II)中，PE(φ,2k)表示在输入数据向量的偶数位置添加sin编码；PE(φ,2k+1)分别表示在输入数据向量的奇数位置添加cos编码；2k和2k+1分别表示偶数维数和奇数维数，d是输入数据样本的维度，k是输入数据向量的第k维，φ表示当前的绝对位置。
利用自注意力机制充分挖掘数据之间的潜在关系，以识别智能电网中的真实或虚假数据。自注意力采用点乘来计算一个特征通道与其他特征通道之间的相关性，输入数据首先沿着空间特征维度进行线性变换，得到维度为dk的向量，分别记作Q、K、V，Q、K、V分别代表Query、Keys、Values，如式(III)所示：
式(III)中，dk是Q、K矩阵的列数，即向量维度，为防止内积过大，使用进行调节，并采用softmax函数，将输出映射到[0,1]之间；
多头注意力机制的输入Xmha通过采用多组线性变换矩阵WQ、WK、WV得到多组Q、K、V，分别记作：Q＝{Q1,…,Qh…,QH}，K＝{K1,…,Kh…,KH},V＝{V1,…,Vh…,VH}；H是指子空间的总数；
在第h个子空间中，对Q、K、V进行h次自注意力运算，如式(IV)所示：
得到h个自注意力结果并进行矩阵的纵向拼接，如式(V)所示：
MultiHead(Q,K,V)＝Concat(head1,....,headh,....,headH) (V)。
Add and Norm层的操作如式(VI)、式(VII)所示：
Lmha＝LayerNorm(Xmha+MultiHeadAttention(Xmha)) (VI)
Lffd＝LayerNorm(Xffd+FeedForward(Xffd)) (VII)
式(VI)、式(VII)中，Lmha为第一个Add and Norm层的输出，LayerNorm()为层归一化函数，将每一层神经元的输入都转化为均值方差相等的形式，加快收敛，Xmha为多头自注意力模块的输入、MultiHeadAttention()为多头注意力机制模块函数表示，Lffd为第二个Add and Norm层的输出，Xffd为前馈神经网络模块的输入，FeedForward()为前馈神经网络模块的函数表示，Xmha和Xffd分别是多头自注意力模块和前馈神经网络模块的输入。
前馈神经网络模块包括两层全连接层和dropout层，用于增强模型的表达能力，如式(VIII)所示：
FeedForward(Lmha)＝max(0,W1Lmha+b1)W2+b2 (VIII)
式(VIII)中，Lmha表示经过层归一化的输出，前馈神经网络模块最终得到一个维度与原始输入一致的输出矩阵；W1、b1和W2、b2分别为两层全连接层的权重和偏置矩阵。dropout层应用于前馈神经网络模块的输出，主要作用是防止模型过拟合。
分类器模块包括两个全连接层，Sigmoid函数是最后一个全连接层的激活函数，用于将Transformer的输出映射到分类结果；
为了便于分析，本实施例做了以下三个假设:
(1)假设所有客户端使用相同的初始全局框架来训练它们的Transformer模型；
(2)假设所有局部模型具有相同的超参数和相同的优化算法；
(3)假设每个客户端的计算能力相似。
智能电网数据的聚合，包括：
云服务器给所有客户端下发初始化全局模型的参数θt；
从电力用户中随机抽样得到客户端子集St，将属于客户端子集St的客户端进行更新，得到更新参数θi t+1，并上传至云服务器进行平均；
不属于客户端子集St的客户端的更新参数由云服务器下发的初始化全局模型的参数θt代替；数据聚合时云服务器需要获取所有客户端的模型参数，若该客户端属于子集St，则上传更新后的参数，若该客户端不属于子集St，则上传未更新的模型参数，即全局模型下发的参数；
云服务器根据从各个客户端接收到的全局模型的参数，通过FedAvg算法进行聚合产生新的全局参数θt+1，如式(XII)所示：
式(XII)中，ni是第i个客户端的数据量，M是所有客户端的数据总量；
损失函数计算：FedAvg算法最终取Li(θ)的加权平均值，检测模型最终的优化目标为最小化损失函数，如式(XIII)所示：
式(XIII)中，pi表示权重，表示为
云服务器将聚合后的检测模型发送回各个客户端；
局部模型更新：各客户端对局部模型进行更新以获得更新后的检测模型参数；通过SGD来对局部模型的参数进行优化，如式(XIV)所示：
式(XIV)中，β是局部模型的学习率，是局部模型的梯度；
如此迭代，直至交叉熵损失函数收敛。
本实施例中采用本发明方法与CNN算法进行对比，得到弱攻击和强攻击下的检测精度如图5、图6所示。图5、图6中，横坐标为联邦学习的训练次数，纵坐标为异常数据检测的准确度，从图5、图6中可以看出，与传统的CNN方法相比，所提出的算法检测异常数据时，在准确度方面有明显的提升。
实施例3
根据实施例1或2所述的一种基于联邦学习的智能电网异常数据的检测方法，其区别在于：
对智能电网数据进行检测，包括：
从现场采集到传输到电力控制中心数据库的整个过程中，每一步都可能受到随机干扰而产生误差，如传感器偏移、通信过程中的干扰、人为误差等。这些误差会导致一些测量数据偏离真实值，使其与正常数据有明显差异，这种测量数据被称为异常数据。采用基于残差测试的异常数据检测方法，其中，残差r定义为式(IX)：
‖r‖2＝||z-h(x)||2 (IX)
式(IX)中，z为电力数据的测量向量，x＝{x1,x2,…,xJ}为状态向量，h(x)为x的测量函数；
为了检测测量数据中是否存在异常数据，将残差欧氏范数与阈值τ进行比较，若存在异常数据则满足以下不等式式(X)：
‖r‖2>τ (X)
将异常数据检测建模成一个带有检测指标β的二值分类问题，用式(XI)表示：
检测过程中，将包括电量信息的测量向量z作为基于Transformer模型的边缘节点检测器的输入，使用β＝0和β＝1标记是否存在异常数据。
实施例4
一种基于联邦学习的智能电网异常数据的检测系统，包括：
智能电网数据检测模块，被配置为：在电力系统的每个节点上设置一个边缘节点检测器，直接对智能电网数据进行采集、存储和检测；边缘节点检测器为基于Transformer模型的边缘节点检测器，通过自注意机制充分提取数据特征；
智能电网数据聚合模块，被配置为：使用联邦学习算法，利用所有节点的本地数据协同训练基于Transformer模型的检测模型；在训练过程中，云服务器先给所有节点下发初始化全局模型，节点利用该初始化全局模型与本地数据进行检测，并将检测结果发送到云服务器进行聚合，得到更新的全局模型，云服务器将更新的全局模型反馈给节点，如此迭代直至达到理想的效果；训练过程中将数据保存在本地。
实施例5
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1-3任一所述的基于联邦学习的智能电网异常数据的检测方法中的步骤。
实施例6
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1-3任一所述的基于联邦学习的智能电网异常数据的检测方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于联邦学习的智能电网异常数据的检测方法，其特征在于，通过客户端和云服务器的交互实现，包括：
智能电网数据的检测：在电力系统的每个节点上设置一个边缘节点检测器，直接对智能电网数据进行采集、存储和检测；智能电网数据是指智能电网中电力用户的用电数据；
边缘节点检测器为基于Transformer模型的边缘节点检测器，通过自注意机制充分提取数据特征；
智能电网数据的聚合：使用联邦学习算法，利用所有节点的本地数据协同训练基于Transformer模型的检测模型；在训练过程中，云服务器先给所有节点下发初始化全局模型，节点利用该初始化全局模型与本地数据进行检测，并将检测结果发送到云服务器进行聚合，得到更新的全局模型，云服务器将更新的全局模型反馈给节点，如此迭代直至达到理想的效果；训练过程中将数据保存在本地。
2.根据权利要求1所述的一种基于联邦学习的智能电网异常数据的检测方法，其特征在于，Transformer模型包括位置编码模块、多头注意力模块、Add and Norm层、前馈神经网络模块以及分类器模块；
所述位置编码模块用于：记录每个特征量在数据样本中的位置信息；多头注意力模块用于：采用点乘来计算一个特征通道与其他通道之间的相关性，充分挖掘数据之间的潜在关系；Add and Norm层用于：防止深层网络训练产生退化；前馈神经网络模块是一种全连接的神经网络，前馈神经网络模块用于对每个编码器的每个位置都进行非线性变换，在自注意力机制的基础上进一步提取局部特征；分类器模块包括两个全连接层，Sigmoid函数为最后一个全连接层的激活函数，用于将Transformer的输出映射到分类结果。
3.根据权利要求2所述的一种基于联邦学习的智能电网异常数据的检测方法，其特征在于，为记录每个特征量在数据样本中的位置信息，在数据向量内的不同位置交替使用正弦函数和余弦函数，如式(I)、式(II)所示：
PE(φ,2k)＝sin(φ/100002k/d) (I)
PE(φ,2k+1)＝cos(φ/100002k/d) (II)
式(I)、式(II)中，PE(φ,2k)表示在输入数据向量的偶数位置添加sin编码；PE(φ,2k+1)分别表示在输入数据向量的奇数位置添加cos编码；2k和2k+1分别表示偶数维数和奇数维数，d是输入数据样本的维度，k是输入数据向量的第k维，φ表示当前的绝对位置；
进一步优选的，多头注意力模块采用点乘来计算一个特征通道与其他特征通道之间的相关性，包括：
输入数据首先沿着空间特征维度进行线性变换，得到维度为dk的向量，分别记作Q、K、V，Q、K、V分别代表Query、Keys、Values，如式(III)所示：
式(III)中，dk是Q、K矩阵的列数，即向量维度，使用进行调节，并采用softmax函数，将输出映射到[0,1]之间；
多头注意力机制的输入Xmha通过采用多组线性变换矩阵WQ、WK、WV得到多组Q、K、V，分别记作：Q＝{Q1,…,Qh…,QH}，K＝{K1,…,Kh…,KH},V＝{V1,…,Vh…,VH}；H是指子空间的总数；
在第h个子空间中，对Q、K、V进行h次自注意力运算，如式(IV)所示：
得到h个自注意力结果并进行矩阵的纵向拼接，如式(V)所示：
MultiHead(Q,K,V)＝Concat(head1,....,headh,....,headH) (V)。
4.根据权利要求2所述的一种基于联邦学习的智能电网异常数据的检测方法，其特征在于，Add and Norm层的操作如式(VI)、式(VII)所示：
Lmha＝LayerNorm(Xmha+MultiHeadAttention(Xmha)) (VI)
Lffd＝LayerNorm(Xffd+FeedForward(Xffd)) (VII)
式(VI)、式(VII)中，Lmha为第一个Add and Norm层的输出，LayerNorm()为层归一化函数，将每一层神经元的输入都转化为均值方差相等的形式，加快收敛，Xmha为多头自注意力模块的输入、MultiHeadAttention()为多头注意力机制模块函数表示，Lffd为第二个Addand Norm层的输出，Xffd为前馈神经网络模块的输入，FeedForward()为前馈神经网络模块的函数表示，Xmha和Xffd分别是多头自注意力模块和前馈神经网络模块的输入。
5.根据权利要求2所述的一种基于联邦学习的智能电网异常数据的检测方法，其特征在于，前馈神经网络模块包括两层全连接层和dropout层，用于增强模型的表达能力，如式(VIII)所示：
FeedForward(Lmha)＝max(0,W1Lmha+b1)W2+b2 (VIII)
式(VIII)中，Lmha表示经过层归一化的输出，前馈神经网络模块最终得到一个维度与原始输入一致的输出矩阵；W1、b1和W2、b2分别为两层全连接层的权重和偏置矩阵；
进一步优选的，分类器模块包括两个全连接层，Sigmoid函数是最后一个全连接层的激活函数，用于将Transformer的输出映射到分类结果。
6.根据权利要求1所述的一种基于联邦学习的智能电网异常数据的检测方法，其特征在于，对智能电网数据进行检测，包括：
采用基于残差测试的异常数据检测方法，其中，残差r定义为式(IX)：
‖r‖2＝||z-h(x)||2 (IX)
式(IX)中，z为电力数据的测量向量，x＝{x1,x2,…,xJ}为状态向量，h(x)为x的测量函数；
将残差欧氏范数与阈值τ进行比较，若存在异常数据则满足以下不等式式(X)：
‖r‖2>τ (X)
将异常数据检测建模成一个带有检测指标β的二值分类问题，用式(XI)表示：
检测过程中，将包括电量信息的测量向量z作为基于Transformer模型的边缘节点检测器的输入，使用β＝0和β＝1标记是否存在异常数据。
7.根据权利要求1所述的一种基于联邦学习的智能电网异常数据的检测方法，其特征在于，智能电网数据的聚合，包括：
云服务器给所有客户端下发初始化全局模型的参数θt；
从电力用户中随机抽样得到客户端子集St，将属于客户端子集St的客户端进行更新，得到更新参数并上传至云服务器进行平均；
不属于客户端子集St的客户端的更新参数由云服务器下发的初始化全局模型的参数θt代替；
云服务器根据从各个客户端接收到的全局模型的参数，通过FedAvg算法进行聚合产生新的全局参数θt+1，如式(XII)所示：
式(XII)中，ni是第i个客户端的数据量，M是所有客户端的数据总量；
损失函数计算：FedAvg算法最终取Li(θ)的加权平均值，检测模型最终的优化目标为最小化损失函数，如式(XIII)所示：
式(XIII)中，pi表示权重，表示为
云服务器将聚合后的检测模型发送回各个客户端；
局部模型更新：各客户端对局部模型进行更新以获得更新后的检测模型参数；通过SGD来对局部模型的参数进行优化，如式(XIV)所示：
式(XIV)中，β是局部模型的学习率，是局部模型的梯度；
如此迭代，直至交叉熵损失函数收敛。
8.一种基于联邦学习的智能电网异常数据的检测系统，其特征在于，包括：
智能电网数据检测模块，被配置为：在电力系统的每个节点上设置一个边缘节点检测器，直接对智能电网数据进行采集、存储和检测；边缘节点检测器为基于Transformer模型的边缘节点检测器，通过自注意机制充分提取数据特征；
智能电网数据聚合模块，被配置为：使用联邦学习算法，利用所有节点的本地数据协同训练检测模型，在训练过程中，云服务器先给所有节点下发初始化全局模型，节点利用该初始化全局模型与本地数据进行检测，并将检测结果发送到云服务器进行聚合，得到更新的全局模型，云服务器将更新的全局模型反馈给节点，如此迭代直至达到理想的效果；训练过程中将数据保存在本地。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任一所述的基于联邦学习的智能电网异常数据的检测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任一所述的基于联邦学习的智能电网异常数据的检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311136707.0A CN117171686A (zh) | 2023-09-05 | 2023-09-05 | 一种基于联邦学习的智能电网异常数据的检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311136707.0A CN117171686A (zh) | 2023-09-05 | 2023-09-05 | 一种基于联邦学习的智能电网异常数据的检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117171686A true CN117171686A (zh) | 2023-12-05 |
Family
ID=88934803
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311136707.0A Pending CN117171686A (zh) | 2023-09-05 | 2023-09-05 | 一种基于联邦学习的智能电网异常数据的检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117171686A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117527450A (zh) * | 2024-01-05 | 2024-02-06 | 南京邮电大学 | 一种配电网虚假数据注入攻击检测方法、系统及存储介质 |
-
2023
- 2023-09-05 CN CN202311136707.0A patent/CN117171686A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117527450A (zh) * | 2024-01-05 | 2024-02-06 | 南京邮电大学 | 一种配电网虚假数据注入攻击检测方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111537945B (zh) | 基于联邦学习的智能电表故障诊断方法及设备 | |
| CN114362367B (zh) | 面向云边协同的输电线路监测系统和方法、识别系统和方法 | |
| Huang et al. | Real-time fault detection for IIoT facilities using GBRBM-based DNN | |
| US20230205955A1 (en) | Computational framework for modeling of physical process | |
| CN111861756B (zh) | 一种基于金融交易网络的团伙检测方法及其实现装置 | |
| He et al. | An efficient and accurate nonintrusive load monitoring scheme for power consumption | |
| CN117171686A (zh) | 一种基于联邦学习的智能电网异常数据的检测方法及系统 | |
| CN113657607B (zh) | 一种面向联邦学习的连续学习方法 | |
| Yuan et al. | Learning latent interactions for event classification via graph neural networks and PMU data | |
| CN109948649A (zh) | 面向数据开放共享的软件访问行为数据特征表示方法 | |
| CN112364889A (zh) | 一种基于云平台的制造资源智能匹配系统 | |
| CN117391188A (zh) | 基于联邦ai计算的物联网模型训练方法 | |
| CN116128164A (zh) | 一种基于隐私保护的电力负荷短期预测系统及方法 | |
| CN116612595A (zh) | 一种基于联邦学习的森林火灾预测方法及系统 | |
| Chen et al. | Industrial edge intelligence: Federated-meta learning framework for few-shot fault diagnosis | |
| CN112653684B (zh) | 一种基于多路特征感知长短期记忆的异常流量检测方法 | |
| CN112487406B (zh) | 一种基于机器学习的网络行为分析方法 | |
| CN116244484B (zh) | 一种面向不平衡数据的联邦跨模态检索方法及系统 | |
| Yang | Optimized and Automated Machine Learning Techniques towards IoT Data Analytics and Cybersecurity | |
| Su et al. | KPI anomaly detection method for Data Center AIOps based on GRU-GAN | |
| Zhang | Network public opinion data mining model of hierarchical multi level | |
| Zhao et al. | Knowledge representation model for evolution of crowd evacuation stability | |
| CN114238045A (zh) | 一种电网多源量测数据完整性判断及自动修复系统和方法 | |
| Zhu et al. | Software defect prediction model based on stacked denoising auto-encoder | |
| Guan et al. | A distributed class-incremental learning method based on neural network parameter fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |