CN113392919B - 一种注意力机制的深度信念网络dbn检测方法 - Google Patents

Abstract

本发明公开了一种注意力机制的深度信念网络DBN检测方法，包括：多个智能电表，用于收集电力数据；多个集中器，每一个集中器与管辖的多个智能电表通信连接，用于获取来自对应智能电表的电力数据，并使用带注意力机制的DBN训练模型对电力数据进行训练得到训练参数；数据中心，与所有集中器通信连接，用于获取来自每一个集中器的训练参数，对训练参数进行联邦平均聚合，根据集中器的资源分配DBN训练模型到集中器，以及将联邦平均聚合的结果发送到下一轮集中器，以使集中器将DBN训练模型训练至收敛。能够有效提升联邦学习的效率，提高模型训练精度，提升数据隐私的安全性。

Description

一种注意力机制的深度信念网络DBN检测方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种注意力机制的深度信念网络DBN检测方法。

背景技术

智能电网的信息安全越来越重要，高级量测体系AMI是智能电网的重要组成部分，高级计量系统的安全问题是智能电网安全急需解决的紧急问题。由于AMI是智能电网的关键体系，容易遭受网络攻击，并且其中的智能电表收集用户的用电信息数据具有敏感性，可能会造成隐私泄露，相关技术的检测模型通常存在“学习效率低”、“模型训练精度不高”和“隐私泄露”等技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种基于客户端选择的联邦注意力DBN协同检测系统，能够有效提升联邦学习的效率，减少需要训练的集中器的数量，减少集中器与数据中心的通信开销以及计算开销，提高模型训练精度，提升数据隐私的安全性。

本发明还提出一种注意力机制的DBN检测方法。

本发明还提出一种具有上述注意力机制的DBN检测方法的基于客户端选择的联邦注意力DBN协同检测设备。

本发明还提出一种计算机可读存储介质。

第一方面，本实施例提供了一种基于客户端选择的联邦注意力DBN协同检测系统，包括：

多个智能电表，用于收集电力数据；

多个集中器，每一个所述集中器与管辖的多个所述智能电表通信连接，用于获取来自对应所述智能电表的所述电力数据，并使用带注意力机制的DBN训练模型对所述电力数据进行训练得到训练参数；

数据中心，与所有所述集中器通信连接，根据所述集中器的资源分配所述DBN训练模型到所述集中器，用于获取来自每一个所述集中器的所述训练参数，对所述训练参数进行联邦平均聚合，以及将所述联邦平均聚合的结果发送到下一轮选择的所述集中器，以使所述集中器将所述DBN训练模型训练至收敛。

根据本发明实施例的基于客户端选择的联邦注意力DBN协同检测系统，至少具有如下有益效果：

基于客户端选择的联邦注意力DBN协同检测系统包括多个智能电表、集中器和数据中心，在智能电表上收集大量的电力数据，再将电力数据存储到集中器上，由于智能电网高级量测体系(Adavanced Metering Infrastructure,AMI)常常会有网络攻击，而电力数据的隐私性和安全性的要求较高，在集中器上使用带注意力机制的DBN训练模型对所述电力数据进行训练得到训练参数，而且各个集中器之间不直接进行通信，就能较好地提升电力数据的安全性，数据中心与所述集中器连接，获取所述训练参数，对所述训练参数进行联邦平均聚合，根据所述集中器的资源分配所述DBN训练模型到所述集中器，集中器资源包括通信质量、空闲CPU、GPU，将所述联邦平均聚合的结果发送到下一轮选择的集中器，以使所述集中器对所述电力数据继续训练直至所述DBN训练模型收敛。

本实施例提供的基于客户端选择的联邦注意力DBN协同检测系统能够大幅缩短训练时间，也能达到接近于集中式方法的准确性；与分布式检测模型相比，优于分布式的未聚合的设备上的训练模型，同时很好地保护了数据隐私。

根据本发明的一些实施例，所述集中器包括数据采集模块、数据处理模块、攻击检测模块，所述数据采集模块与所述数据处理模块通信连接，所述数据采集模块与所述攻击检测模块通信连接。

第二方面，本实施例提供了一种注意力机制的DBN检测方法，应用于数据中心，包括以下步骤：

初始化带注意力机制的DBN训练模型；

根据集中器资源选择参与训练的集中器，并向所述集中器下发所述DBN训练模型；

接收来着所述集中器训练得到的训练参数，所述训练参数由所述集中器使用带注意力机制的DBN训练模型对电力数据进行训练得到；

对所述训练参数进行联邦平均拟合，将所述联邦平均聚合的结果发送到下一轮选择的所述集中器，以使所述集中器对所述电力数据继续训练直至所述DBN训练模型收敛。

根据本发明实施例的注意力机制的DBN检测方法，至少具有如下有益效果：

首先在数据中心上初始化带注意力机制的DBN训练模型，根据集中器资源选择参与训练的集中器，并向所述集中器下发所述DBN训练模型，集中器使用所述DBN训练模型对所述电力数据进行训练得到训练参数，数据中心再对所述训练参数进行联邦平均拟合，将所述联邦平均聚合的结果发送到下一轮选择的所述集中器，以使所述集中器对所述电力数据继续训练直至所述DBN训练模型收敛。

本实施例提供的注意力机制的DBN检测方法与集中式检测模型相比，能够有效缩短训练时间，具有接近于集中式方法的准确性；与分布式检测模型相比，优于分布式的未聚合的设备上的训练模型，同时很好地保护了数据隐私。

根据本发明的一些实施例，所述注意力机制的输入矩阵包括键矩阵、值矩阵和查询矩阵，所述注意力机制的输出矩阵包括上下文矩阵。

第三方面，本实施例提供了一种注意力机制的DBN检测方法，应用于集中器，包括以下步骤：

接收来自数据中心的带注意力机制的DBN训练模型，获取智能电表收集的电力数据；

使用所述DBN训练模型对所述电力数据进行训练得到训练参数；

将所述训练参数发送到数据中心，以使所述数据中心对所述训练参数进行联邦平均聚合；

接收来自所述数据中心的联邦平均聚合的结果，根据所述联邦平均聚合的结果，对所述电力数据继续训练直至所述DBN训练模型收敛。

根据本发明实施例的注意力机制的DBN检测方法，至少具有如下有益效果：

集中器接收自数据中心的带注意力机制的DBN训练模型，获取智能电表收集的电力数据并保留在所述集中器，使用所述DBN训练模型对所述电力数据进行训练得到训练参数，将所述训练参数发送到数据中心，接收来自所述数据中心的联邦平均聚合的结果，根据所述联邦平均聚合的结果在所述集中器对所述电力数据继续训练直至所述DBN训练模型收敛。

本实施例提供的注意力机制的DBN检测方法与集中式检测模型相比，能够有效缩短训练时间，具有接近于集中式方法的准确性；与分布式检测模型相比，优于分布式的未聚合的设备上的训练模型，同时很好地保护了数据隐私。

根据本发明的一些实施例，所述使用所述DBN训练模型对所述电力数据进行训练得到训练参数，包括步骤：

步骤S1、将所述电力数据输入到第一层RBM进行预训练得到训练结果；

步骤S2、将所述训练结果输入到第二层RBM进行训练；

步骤S3、重复所述步骤S1、所述步骤S2直至迭代带最大迭代次数；

步骤S4、使用softmax层进行反向传播，对整个DBN网络进行权值微调。

根据本发明的一些实施例，所述RBM包括可视层和隐藏层，还包括步骤：对所述RBM进行逐层训练，使用激活函数计算所述可视层和所述隐藏层的激活概率。

第四方面，本实施例提供了一种基于客户端选择的联邦注意力DBN协同检测设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二方面、第三方面所述的注意力机制的DBN检测方法。

第五方面，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第二方面、第三方面所述的注意力机制的DBN检测方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中摘要附图要与说明书附图的其中一幅完全一致：

图1是本发明一个实施例提供的注意力机制的DBN检测方法的流程图；

图2是本发明另一个实施例提供的注意力机制的DBN检测方法的流程图；

图3是本发明另一个实施例提供的注意力机制的DBN检测方法的基于注意力机制的DBN模型图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

智能电网的安全越来越重要，高级量测体系AMI是智能电网的重要组成部分，由于AMI是智能电网的关键体系，容易遭受网络攻击，并且其中的智能电表收集用户的用电信息数据具有敏感性，可能会造成隐私泄露。

深度学习由于强大的特征提取能力广泛用于解决智能电网的安全问题，但是，数据都是通过集中式训练数据来建立模型，可能会泄露数据隐私。相关技术中提出了联邦学习，提出让用户在本地训练自己的模型，在保护用户隐私的前提下整合用户的训练参数，再通过云端模型进行参数回传来更新本地用户模型。检测模型的性能与数据量有关，数据量越大，训练的模型性能越好；AMI的隐私泄露会造成严重的影响，大多数传统的AMI机器学习检测算法集中局部数据进行训练。在此过程中，大量的数据向数据中心传输，各方数据中所包含隐私内容均或多或少地被暴露出来。因此，在检测模型的性能和局部数据隐私之间存在矛盾，显示联邦学习框架和LSTM结合可以实现攻击检测，同时保护数据隐私。本发明提出基于集中器选择的联邦学习框架，提高联邦学习效率，然后部署基于注意力机制的DBN算法进行检测模型的训练，关注更重要的特征，提高检测模型的检测精度。在联邦学习和注意力机制的DBN协同检测过程中，原始数据不进行交换和传输，但又整合了各方数据，使得检测模型性能较单一局部数据集有所提高，并且减少了用户数据隐私泄露的风险。

联邦学习(Federated Learning)是一种新兴的人工智能基础技术，在2016年由谷歌最先提出，最初是用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习，联邦学习可以很好地改善本地数据的隐私保护问题。

深度信念网络(Deep Belief Networks，DBN)是一种概率生成模型，是多个受限玻尔兹曼机(Restricted Boltzmann Machines，RBM)的堆叠，随着RB M隐层节点数的增加，在一定条件下可以拟合任意的数据分布。其中每个RBM层包括一个可见层和隐藏层，任意层内的单元不相互连接，不同层之间相互连接。除了第一层和最后一层之外，RBM的每一层都有两个作用：作为前一层的隐藏层，或者作为后一层的输入(可视层)。DBN训练包括两个步骤，预训练和权值微调，将原始数据输入第一层的RBM进行训练，训练后的结果作为下一层R BM的输入进行训练，重复训练直至迭代到最大迭代次数。最后利用BP算法进行反向传播，调整DBN网络，避免陷入局部最优。

本发明提供了一种基于客户端选择的联邦注意力DBN协同检测系统、方法，能够大幅缩短训练时间，也能达到接近于集中式方法的准确性；与分布式检测模型相比，优于分布式的未聚合的设备上的训练模型，同时很好地保护了数据隐私。

下面结合附图，对本发明实施例作进一步阐述。

在一实施例中，基于客户端选择的联邦注意力DBN协同检测系统包括多个智能电表、集中器和数据中心，在智能电表上收集大量的电力数据，再将电力数据存储到集中器上，由于智能电网高级量测体系(Adavanced Metering Infrastru cture,AMI)常常会有网络攻击，而电力数据的隐私性和安全性的要求较高，在集中器上使用带注意力机制的DBN训练模型对所述电力数据进行训练得到训练参数，而且各个集中器之间不直接进行通信，就能较好地提升电力数据的安全性，数据中心与所述集中器连接，获取所述训练参数，对所述训练参数进行联邦平均聚合，根据所述集中器的资源分配所述DBN训练模型到所述集中器，将所述联邦平均聚合的结果发送到下一轮选择的所述集中器，以使所述集中器对所述电力数据继续训练直至所述DBN训练模型收敛。本实施例提供的基于客户端选择的联邦注意力DBN协同检测系统能够大幅缩短训练时间，也能达到接近于集中式方法的准确性；与分布式检测模型相比，优于分布式的未聚合的设备上的训练模型，同时很好地保护了数据隐私。

在一实施例中，集中器包括数据采集模块、数据处理模块、攻击检测模块，所述数据采集模块与所述数据处理模块通信连接，所述数据采集模块与所述攻击检测模块通信连接。

参照图1，图1是本发明一个实施例提供的注意力机制的DBN检测方法的流程图，注意力机制的DBN检测方法包括但不仅限于步骤S110至步骤S140。

步骤S110，初始化带注意力机制的DBN训练模型；

步骤S120，根据集中器资源选择参与训练的集中器，并向集中器下发DBN训练模型；

步骤S130，接收来着集中器训练得到的训练参数，训练参数由集中器使用带注意力机制的DBN训练模型对电力数据进行训练得到；

步骤S140，对训练参数进行联邦平均拟合，将联邦平均聚合的结果发送到下一轮选择的集中器，以使集中器对电力数据继续训练直至DBN训练模型收敛。

在一实施例中，首先在数据中心上初始化带注意力机制的DBN训练模型，根据客户集中器使用所述DBN训练模型对所述电力数据进行训练得到训练参数，数据中心再对所述训练参数进行联邦平均拟合，将所述联邦平均聚合的结果发送到对应的每一个所述的集中器，以使所述集中器对所述电力数据继续训练直至所述DBN训练模型收敛。本实施例提供的注意力机制的DBN检测方法与集中式检测模型相比，能够有效缩短训练时间，具有接近于集中式方法的准确性；与分布式检测模型相比，优于分布式的未聚合的设备上的训练模型，同时很好地保护了数据隐私。

注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一，其目标是从杂乱的信息中选取对当前任务有关的信息，减少噪声对结果的影响。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。

在一实施例中，注意力机制的输入矩阵包括键矩阵、值矩阵和查询矩阵，注意力机制的输出矩阵包括上下文矩阵。

注意力模块有三个输入矩阵：键矩阵K_TXh，值矩阵V_TXh和查询矩阵Q_TXh，输出是上下文矩阵C_TXh，计算公式如下：

首先计算键与查询的相似性，

是对Q*K^T获得的分数进行归一化，再经过softmax函数，将获得的分数转换成[0，1]之间的概率分布。根据每个特征向量获得的概率分布，然后乘上相应的Values值，就得到了Attention的结果，代表每个向量属性与查询矩阵Q的相似程度。这里的K和V来自输入X_RBM(K＝V＝X_RBM)，Q可以训练参数，在训练阶段被随机初始化和学习，而且在注意力机制模块上应用了一个残差连接，然后进行标准化：

X_Atten＝Norm(Q+Attention(X_RBM，X_RBM，Q))

参照图2，图2是本发明另一个实施例提供的注意力机制的DBN检测方法的流程图，注意力机制的DBN检测方法包括但不仅限于步骤S210至步骤S240。

步骤S210，接收来自数据中心的带注意力机制的DBN训练模型，获取智能电表收集的电力数据；

步骤S220，使用DBN训练模型对电力数据进行训练得到训练参数；

步骤S230，将训练参数发送到数据中心，以使数据中心对训练参数进行联邦平均聚合；

步骤S240，接收来自数据中心的联邦平均聚合的结果，根据联邦平均聚合的结果对电力数据继续训练直至DBN训练模型收敛。

在一实施例中，集中器接收自数据中心的带注意力机制的DBN训练模型，获取智能电表收集的电力数据并保留在所述集中器，使用所述DBN训练模型对所述电力数据进行训练得到训练参数，将所述训练参数发送到数据中心，接收来自所述数据中心的联邦平均聚合的结果，根据所述联邦平均聚合的结果在所述集中器对所述电力数据继续训练直至所述DBN训练模型收敛。本实施例提供的注意力机制的DBN检测方法与集中式检测模型相比，能够有效缩短训练时间，具有接近于集中式方法的准确性；与分布式检测模型相比，优于分布式的未聚合的设备上的训练模型，同时很好地保护了数据隐私。

在一实施例中，使用DBN训练模型对电力数据进行训练得到训练参数，包括步骤：

步骤S1、将电力数据输入到第一层RBM进行预训练得到训练结果；

步骤S2、将训练结果输入到第二层RBM进行训练；

步骤S3、重复步骤S1、步骤S2直至迭代带最大迭代次数；

步骤S4、使用softmax层进行反向传播，对整个DBN网络进行权值微调。

在一实施例中，RBM包括可视层和隐藏层，还包括步骤：对RBM进行逐层训练，使用激活函数计算可视层和隐藏层的激活概率。

参照图3，图3是本发明另一个实施例提供的注意力机制的DBN检测方法的基于注意力机制的DBN模型图。

在一实施例中，使用更大比例的集中器能够提高模型的性能，增强模型的检测精度。如果采用贪婪方案，每一轮目标函数可以达到最小化，但是安全风险低、计算能力低、通信质量差的集中器被选训练的机会就少，这就意味着这些集中器的本地数据对全局模型的贡献很小。随着集中器选择的偏差，全局模型的泛化能力会降低，所以集中器选择的公平性也是集中器选择要考虑的一个因素。目标是在集中器综合考虑安全风险、计算能力、通信质量和公平性的条件下，选择尽可能多的集中器进行模型的训练。

1.安全风险评估

网络攻击风险指的是网络攻击发生的可能性与网络攻击造成的后果，公式形式如下：

R＝P*C

P指的是网络攻击成功概率，C指的是网络攻击造成的后果。

集中器负责模型的训练和攻击的检测，所以数据从产生到集中器的这一段传输过程都会存在攻击，其中的智能电表容易遭受网络攻击，智能电表到集中器的数据传输也容易遭受攻击，所以需要考虑设备的攻击风险和通信链路的攻击风险。

对于设备攻击风险，假设攻击者随机选取攻击目标，根据设备攻击成功的可能性与其防御程度有关，防御越弱，攻击者越容易攻击去攻击它。假设集中器k负责的智能电表数量为M_k，并且一个集中器上的所有智能电表防御程度一样,设智能电表M_k的防御资源为

(指防护措施，比如防火墙、人员安全、加密等)，智能电表的防御效果表达式如下：

集中器的防御效果

根据防御效果函数值和评定模型得到集中器k上的智能电表遭受攻击概率为：

针对通信链路的攻击可能性，假设每个智能电表只与一个集中器通信，且智能电表与集中器的每一条通信链路的攻击可能性相同，那么集中器k上的链路遭受攻击概率为：

由于集中器数量K比较多，并且每个集中器连接的智能电表数量几乎相同，所以，定义集中器遭受攻击的概率为：

对于网络攻击产生的影响，假设当攻击产生时，对集中器造成的后果是一样的C_k＝1。那么集中器k的遭受网络攻击的风险为

R_k＝P_K*C_k＝p_k

2.集中器选择模型

在智能电网AMI系统集中器上进行本地训练，需要考虑到集中器资源情况，比如集中器与智能电表、数据中心的无线通信状态质量Comm^k，集中器的计算能力Comp^k，集中器上的资源情况，然后还需要集中器选择的公平性和集中器遭受攻击的风险R_k。

t轮参与训练的集中器k的权重如下：

考虑到集中器选择的公平性，引入针对集中器的长期公平约束条件：

β表示选择集中器的期望率。

参与训练的集中器数量如果保持递增规律，与每轮相同集中器数量和集中器数量递减情况相比，生成的模型性能更好。目的是在确保每个集中器长期平均选择率大于β时，保证每一轮的集中器的平均权重尽可能大，每轮选择的集中器数量至少为m。

在一实施例中，使用DBN神经网络，采用点乘的注意力模块和DBN模块，本实施例没有对原始数据进行位置编码，这些模块与transformer的模块一样，但是进行了不同的组合，输入数据通过位置编码和输入编码进行转换，然后输入SDA、DBN模块中，最后输出，模型每次输出是一个时隙的预测值。

1.输入编码

注意力机制的DBN模型首先对输入数据进行输入编码，输入的数据每一行是一个时间点的特征向量，输入编码使原始数据进行线性转换：

W_in是线性转换矩阵，b_in是偏置，W_in是随机初始化的，在训练过程中与其他参数一起更新。

本实施例没有对输入数据进行位置编码，对进行位置编码做出了解释，因为对于机器翻译来说，句子的前后关系对翻译有重要的影响。NSL数据属性的相互关系联系没有那么紧密，并且属性的顺序对于数据的类别影响不大，所以不对输入数据进行位置编码。

2.DBN模块

经过输入编码后的数据输入DBN的RBM中，这里只用到DBN的RBM进行输入数据的训练输出隐藏状态。传统的RBM只能接受二进制输入，容易导致数据丢失，本实施例的输入数据包括连续的数据，所以为了能够处理这些连续分布的实值数据，在传统RBM的基础上，将输入节点由二进制变量节点扩展为连续输入的实值变量节点。隐藏节点仍然是二值节点。

3.注意力模块

注意力模块有三个输入矩阵：键矩阵K_TXh，值矩阵V_TXh和查询矩阵Q_TXh，输出是上下文矩阵C_TXh，计算公式如下：

首先计算键与查询的相似性，

是对Q*K^T获得的分数进行归一化，再经过sofimax函数，将获得的分数转换成[0，1]之间的概率分布。根据每个特征向量获得的概率分布，然后乘上相应的Values值，就得到了Attention的结果，代表每个向量属性与查询矩阵Q的相似程度。这里的K和V来自输入X_RBM(K＝V＝X_RBM)，Q可以训练参数，在训练阶段被随机初始化和学习，而且在注意力机制模块上应用了一个残差连接，然后进行标准化：

X_Atten＝Norm(Q+Attention(X_RBM、X_RBM，Q))

4.全连接层和输出层

DBN模块输出的数据经过一个全连接层和softmax激活函数，该层输出分类结果。

y＝softmax(W_ouX_atten+b_ou)

假设第一个输出代表正常，第二个输出代表dos攻击，第三个类别代表probing攻击，第四个类别代表R2L，第五个类别代表U2R，输出层输出五个概率值，对应的最大概率值就是对应的类别。

这里使用损失函数为均方差函数。全局模型利用adam优化器进行网络结构的优化。

本发明提供了一种基于客户端选择的联邦注意力DBN协同检测设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的注意力机制的DBN检测方法。

此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，控制处理器能够执行图1中的方法步骤S110至步骤S140、图2中的方法步骤S210至步骤S240。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (9)

1.一种注意力机制的深度信念网络DBN检测方法，应用于数据中心，其特征在于，包括以下步骤：

初始化带注意力机制的DBN训练模型；

根据集中器资源选择参与训练的集中器，并向所述集中器下发所述DBN训练模型，具体包括：

根据集中器的安全风险、计算能力、通信质量和公平性，选择多个集中器进行模型的训练，其中：

根据所述集中器资源选择t轮参与训练的每个集中器k的权重如下：

其中，

表示所述t轮参与训练的每个集中器k的通信质量，

表示所述t轮参与训练的每个集中器k的计算能力，R_k表示所述集中器的安全风险；

所述集中器的公平性约束条件为：

其中，β_value表示所述集中器的期望率；

接收来自所述集中器训练得到的训练参数，所述训练参数由所述集中器使用带注意力机制的DBN训练模型对电力数据进行训练得到；

对所述训练参数进行联邦平均聚合，将所述联邦平均聚合的结果发送到下一轮选择的所述集中器，以使所述集中器对所述电力数据继续训练直至所述DBN训练模型收敛。

2.根据权利要求1所述的注意力机制的深度信念网络DBN检测方法，其特征在于，所述注意力机制的输入矩阵包括键矩阵、值矩阵和查询矩阵，所述注意力机制的输出矩阵包括上下文矩阵。

3.一种注意力机制的深度信念网络DBN检测方法，应用于集中器，其特征在于，包括以下步骤：

接收来自数据中心的带注意力机制的DBN训练模型，获取智能电表收集的电力数据；

使用所述DBN训练模型对所述电力数据进行训练得到训练参数；

将所述训练参数发送到数据中心，以使所述数据中心对所述训练参数进行联邦平均聚合；

接收来自所述数据中心的联邦平均聚合的结果，根据所述联邦平均聚合的结果，对所述电力数据继续训练直至所述DBN训练模型收敛，其中，模型训练包括：

根据集中器的安全风险、计算能力、通信质量和公平性，选择多个集中器进行模型的训练，其中：

根据所述集中器资源选择t轮参与训练的每个集中器k的权重如下：

其中，

表示所述t轮参与训练的每个集中器k的通信质量，

表示所述t轮参与训练的每个集中器k的计算能力，R_k表示所述集中器的安全风险；

所述集中器的公平性约束条件为：

其中，β_value表示所述集中器的期望率。

4.根据权利要求3所述的注意力机制的深度信念网络DBN检测方法，其特征在于，所述使用所述DBN训练模型对所述电力数据进行训练得到训练参数，包括步骤：

步骤S1、将所述电力数据输入到第一层受限玻尔兹曼机RBM进行预训练得到训练结果；

步骤S2、将所述训练结果输入到第二层受限玻尔兹曼机RBM进行训练；

步骤S3、重复所述步骤S1、所述步骤S2直至迭代带最大迭代次数；

步骤S4、使用softmax层进行反向传播，对整个DBN网络进行权值微调。

5.根据权利要求4所述的注意力机制的深度信念网络DBN检测方法，其特征在于，所述RBM包括可视层和隐藏层，还包括步骤：

对所述RBM进行逐层训练，使用激活函数计算所述可视层和所述隐藏层的激活概率。

6.一种基于客户端选择的联邦注意力深度信念网络DBN协同检测系统，其特征在于，包括：

多个智能电表，用于收集电力数据；

多个集中器，每一个所述集中器与管辖的多个所述智能电表通信连接，用于获取来自对应所述智能电表的所述电力数据，并使用带注意力机制的DBN训练模型对所述电力数据进行训练得到训练参数；

数据中心，与所有所述集中器通信连接，根据所述集中器的资源分配所述DBN训练模型到所述集中器，用于获取来自每一个所述集中器的所述训练参数，对所述训练参数进行联邦平均聚合，以及将所述联邦平均聚合的结果发送到下一轮选择的所述集中器，以使所述集中器将所述DBN训练模型训练至收敛，其中，模型训练包括：

根据集中器的安全风险、计算能力、通信质量和公平性，选择多个集中器进行模型的训练，其中：

根据所述集中器资源选择t轮参与训练的每个集中器k的权重如下：

其中，

表示所述t轮参与训练的每个集中器k的通信质量，

表示所述t轮参与训练的每个集中器k的计算能力，R_k表示所述集中器的安全风险；

所述集中器的公平性约束条件为：

其中，β_value表示所述集中器的期望率。

7.根据权利要求6所述的基于客户端选择的联邦注意力深度信念网络DBN协同检测系统，其特征在于，所述集中器包括数据采集模块、数据处理模块、攻击检测模块，所述数据采集模块与所述数据处理模块通信连接，所述数据采集模块与所述攻击检测模块通信连接。

8.一种基于客户端选择的联邦注意力深度信念网络DBN协同检测设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的注意力机制的深度信念网络DBN检测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任意一项所述的注意力机制的深度信念网络DBN检测方法。

Images