CN113449329A - 基于安全分享的联邦学习场景下的能源数据融合计算方法 - Google Patents

Abstract

本发明提供基于安全分享的联邦学习场景下的能源数据融合计算方法，包括：对多元能源数据进行数据预处理，得到预处理后的能源数据；在客户端与中心参数服务器之间基于反向补偿机制选取安全通信通道，确定在安全通信通道中使用的联邦学习参数；在中心参数服务器处生成初始模型，将生成的初始模型向每个客户端分发，每个客户端在接收到初始模型后结合预处理后的能源数据进行安全联邦训练利用联邦学习技术在能源隐私数据不出数据源的情况下进行多元融合计算，同时利用安全分享的安全技术对联邦学习过程传递的梯度信息进行安全保障，实现对能源数据安全、高效、的多元融合计算分析。

Description

基于安全分享的联邦学习场景下的能源数据融合计算方法

技术领域

本发明涉及能源产业的融合计算和信息安全领域，尤其涉及基于安全分享的联邦学习场景下的能源数据融合计算方法。

背景技术

随着大数据时代的到来，海量的用户数据成为数据建模分析的宝贵财富。但是，由于行业竞争、隐私安全、整合代价高昂、行政手续复杂等问题，即使是同一个公司的不同部门，实现数据整合也往往面临重重阻力。因此，在现实情况下，不同行业、不同部门的数据大多以数据孤岛的形式存在。

在这样的背景下，多元数据融合技术以其能够通过综合不同数据源的多方信息，吸收各领域的数据特点，获取比单一数据更好、更丰富的知识的优势成为诸多数据分析领域的重要技术手段之一。由于能源数据范围广泛，不同的能源数据（电力、煤炭、天然气等）之间既相互关联又有所区别。因此，近年来，多元数据融合技术在能源数据分析领域获得了广泛的研究和应用。然而，目前已有的多元数据融合技术多以融合数据为主，这不可避免地涉及数据的共享和泄露。同时，不同能源部门的数据涉及用户的隐私和部门的机密而难以得到共享。

发明内容

针对能源数据多元化、多模态、隐私性等特点、考虑现有能源数据融合计算的局限和不足，本发明提供一种基于联邦学习的跨部门多元能源数据融合计算的方法，利用联邦学习技术在能源隐私数据不出数据源的情况下进行多元融合计算，同时利用安全分享的安全技术对联邦学习过程传递的梯度信息进行安全保障，实现对能源数据安全、高效、的多元融合计算分析。

本发明提供了如下技术方案：

基于安全分享的联邦学习场景下的能源数据融合计算方法，包括：

S1，对能源数据进行数据预处理，得到预处理后的能源数据；

S2，在客户端与中心参数服务器之间基于反向补偿机制选取安全通信信道，确定在安全通信信道中使用的联邦学习参数；

S3，在中心参数服务器处生成初始模型，将生成的初始模型向每个客户端分发，每个客户端在接收到初始模型后结合预处理后的能源数据进行安全联邦训练，将获取到的能源数据代入训练后的模型完成能源数据融合计算；

所述S2，包括：

S21，在中心参数服务器处的存储有预设的安全参数值；

S22，根据预设的安全等级评定函数，计算等待与中心参数服务器进行通信的每个客户端处的安全环境值；

S23，基于每个客户端的安全环境值与安全参数值计算每个客户端的安全等级指数，根据得到的安全等级指数进行反向补偿，结合预设的安全通信等级选取适用于每个客户端的安全通信信道。

可选的，所述S1包括：

S11，使用PSI算法对多元能源数据进行交集计算；

S12，对计算后的能源数据进行数据清洗和数据对齐。

可选的，所述S12，包括：

S121，确定包含数据校验位的数据格式，获取每类数据格式中允许存储的最大数据长度；

S122，根据最大数据长度对能源数据进行数据清洗，得到数据清洗后的能源数据；

S123，结合能源数据来源编号以及时间戳计算对应每个能源数据的验证码，将清洗后的能源数据按奇偶位依次进行填充，其中奇数位用于存储能源数据的数值，偶数位用于存储对应奇数位数值的验证码。

可选的，所述确定在安全通信信道中使用的联邦学习参数，包括：

S24，根据参与的客户端数量确定算法所需的参数w、t；

S25，每个客户端在本地选择模数p和待进行保密的秘密G，G为每个客户端对能源数据计算得到的梯度信息；

S26，在每个客户端中秘密选择t-1个小于p的不同随机数，作为对应各客户端的秘密份额；

S27，每个客户端将得到的秘密份额进行分享，由各个客户端上传至中心参数服务器。

可选的，所述S3中的安全联邦学习训练具体包括：

S31，客户端根据预设阈值对预处理后的能源数据进行二次数据对齐，得到处理后的能源数据；

S32，客户端使用接收的初始模型对筛选后的能源数据进行本地模型训练，并计算训练后本地模型的模型梯度；

S33，客户端调用安全分享方法，对本地训练所得的梯度进行份额划分，每个客户端将对应的索引信息和梯度份额上传至中心参数服务器；

S34，中心参数服务器依据索引信息，对已上传的梯度进行安全聚合；

S35，客户端从中心服务器下载聚合梯度的分享份额进行秘密恢复；

S36，持续S32至S36，直至达到训练终止条件；

S37，将获取到的能源数据代入训练后的模型完成能源数据融合计算。

与现有技术相比，本发明的有益效果为：

针对能源数据多元化、多模态、隐私性等特点、考虑现有能源数据融合计算的局限和不足，本发明提供一种基于联邦学习的跨部门多元能源数据融合计算的方法，使用安全分享的机制对各部门隐私梯度数据进行安全保护，并通过垂直联邦学习对分布在不同部门的数据进行联合训练，利用联邦学习技术在能源隐私数据不出数据源的情况下进行多元融合计算，同时利用安全分享的安全技术对联邦学习过程传递的梯度信息进行安全保障，实现对能源数据安全、高效、的多元融合计算分析。

附图说明

图1为本申请实施例提出的基于安全分享的联邦学习场景下的多元能源数据融合计算方法的流程示意图；

图2为本申请提出的清洗后能源数据的数据格式示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本申请实施例提出了基于安全分享的联邦学习场景下的能源数据融合计算方法，如图1所示，包括：

S1，对能源数据进行数据预处理，得到预处理后的能源数据；

S2，在客户端与中心参数服务器之间基于反向补偿机制选取安全通信信道，确定在安全通信信道中使用的联邦学习参数；

S3，在中心参数服务器处生成初始模型，将生成的初始模型向每个客户端分发，每个客户端在接收到初始模型后结合预处理后的能源数据进行安全联邦训练，将获取到的能源数据代入训练后的模型完成能源数据融合计算。

在实施中，为了实现对能源数据的融合计算，本申请提出了基于安全分享机制的联邦学习场景下的能源数据融合计算方法，一方面根据客户端与中心参数服务器之间的网络状态建立安全通信信道，以提升数据传输的安全性；另一方面则是通过向客户端发送初始模型以便实现每个客户端进行数据计算时的一致性。

整个方法流程可以分为三部分：数据预处理、算法协商和联邦学习。

数据预处理：客户端使用Crypten对本地能源数据标识（数据ID/数据所有者/公司等）进行加密，并上传至中心参数服务器，中心参数服务器根据收集到的加密信息对数据进行对齐匹配，并将加密数据的交集范围发送至客户端。客户端根据数据ID的交集筛选参与此次联邦学习训练的能源数据，并进行数据清洗等操作。

算法协商：客户端将统一秘密分享算法和联邦学习模型，并协商好需要固定的参数：如训练的batch、local epoch等，并生成相应的参数，以备后续的秘密分享算法使用。

联邦学习：使用的是垂直联邦学习，在进行联邦学习的过程中，各参与客户端首先会从中心参数服务器下载初始化模型，并利用本地能源数据和算力进行模型优化，之后利用秘密分享将训练所得到的梯度数据进行划分并分享，之后所有客户端将自己所持有的梯度份额上传至中心参数服务器，由服务器进行参数聚合得到新一轮的模型，如此反复，直至模型收敛或达到停止训练的条件，获得支持多元数据融合的联邦学习计算模型。

具体的，为了完成能源数据融合计算，首先需要对收集到的多源能源数据进行预处理，预处理过程如下，所述S1包括：

S11，使用PSI算法对多元能源数据进行交集计算；

S12，对计算后的能源数据进行数据清洗和数据对齐。

在实施中，隐私集合求交（Private Set Intersection，PSI）算法是指参与双方在不泄露任何额外信息的情况下，得到双方持有数据的交集，额外的信息指的是除了双方的数据交集以外的任何信息。

在本步骤中，PSI在纵向联邦学习中主要用于实现数据对齐。这里采用的是朴素哈希算法进行隐私集合求交，针对参与双方A、B，使用同一个哈希函数H，计算他们数据的哈希值，再将哈希过的数据互相发送给对方，根据发送后的数据即可获取数据的交集。

在此阶段，使用Crypten学习框架对本地能源数据标识（例如：数据ID/数据所有者/公司等）进行加密，并上传至中心参数服务器，中心参数服务器根据收集到的加密信息对数据进行对齐匹配，并将加密数据的交集范围告知各部门。各部门根据数据ID的交集筛选参与此次联邦学习训练的能源数据，并进行数据清洗操作，从而提高数据质量。

针对步骤S12提出的数据处理操作，包括：

S121，确定包含数据校验位的数据格式，获取每类数据格式中允许存储的最大数据长度；

S122，根据最大数据长度对能源数据进行数据清洗，得到数据清洗后的能源数据；

S123，结合能源数据来源编号以及时间戳计算对应每个能源数据的验证码，将清洗后的能源数据按奇偶位依次进行填充，其中奇数位用于存储能源数据的数值，偶数位用于存储对应奇数位数值的验证码。

在实施中，本步骤中的数据清洗的操作，主要是根据当前数据格式允许的最大数据长度对超长数据的过滤操作。由于每类数据格式的内容不同，对应的每类允许存储的最大数据长度也会存在差异。在根据最大数据长度进行数据清洗的操作完成后，得到数据清洗后的能源数据。

接着在进行数据对齐操作时，需要根据每项能源数据对应的能源编号和表征数据生成时间的时间戳来计算对应该项能源数据的验证码，验证码中每一位数据表述的含义均是对应清洗后能源数据当前位置的数值可靠性，例如位置2上的验证码用于描述位置1上数值的可靠性，因此最终生成的该验证码长度与清洗后能源数据的长度相同，清洗后数据的数据格式如图2所示。

之后在用于存储清洗数据的数据结构中的奇数位存储清洗后的能源数据，偶数位存储的是对应奇数位数值可靠性的验证码，例如，位置1存储的是能源数据中的第一位数字，位置2存储的验证码是用于描述位置1数字可靠性的验证码。

进一步的，前述步骤中执行的基于反向补偿机制建立安全通信信道的操作S2，具体包括：

S21，在中心参数服务器处的存储有预设的安全参数值；

S22，根据预设的安全等级评定函数，计算等待与中心参数服务器进行通信的每个客户端处的安全环境值；

S23，基于每个客户端的安全环境值与安全参数值计算每个客户端的安全等级指数，根据得到的安全等级指数进行反向补偿，结合预设的安全通信等级选取适用于每个客户端的安全通信信道。

在实施中，建立安全通信信道的必要步骤是获取能够用于描述客户端与中心参数服务器通信信道环境质量的安全环境值，该安全环境值计算通过采集网络传输参数并输入至安全等级评定函数中计算得到，常用的网络传输参数包括实时网速、网络延迟、当前带宽、历史丢包率等参数。由此构建的安全等级评定参数如下：

安全等级=[（实时网速-网络延迟+当前带宽/8-历史丢包率）/1000]；

其中，外部的[*]运算符代表取整运算，取整后的结果对应当前客户端所处的安全环境值，实时网速的数值单位为MB/s，网络延迟的数值单位为ms，当前带宽的数值单位为Mb/s，历史丢包率的数值单位为每万个数据包的丢包值。例如实时网速取值150MB/s、网络延迟取值35ms、带宽1000Mb/s、历史丢包率30，代入上述公式为（150-35+1000/8-30）/100=2.1，取整得到结果为2。

在计算得到整数结果的安全环境值后，还需要与存储在中心参数服务器处的安全参数值做减法运算得到安全等级指数，由于安全环境值跟网络环境紧密相关，导致安全环境值相对于安全参数值的大小也存在差异，因此计算得到的安全等级指数可能为正值也可能为负值，相应的基于安全等级指数的反向补偿措施也会存在两种情况，具体的反向补偿措施如下：

当安全环境值大于或等于安全参数值，表明当前网络通信状态较好，计算得到的安全等级指数必然为非负值，此时为降低中心参数服务器的通信占用率，保证其他客户端与中心参数服务器的通信质量稳定，需对该安全环境值对应的客户端所处的通信线路进行降低带宽处理，确定较低的安全通信等级，会选取带宽较低的通信信道作为当前客户端的安全通信信道。

当安全环境值小于安全参数值，表明当前网络通信状态较好，计算得到的安全等级指数必然为负值，此时为保证该客户端与中心参数服务器的通信质量稳定，需对当前安全环境值对应的客户端所处的通信线路进行提速处理，确定较高的安全通信等级，会选取带宽较高的通信信道作为当前客户端的安全通信信道。

需要注意的是，步骤S2中还包括确定在安全通信信道中使用的联邦学习参数，包括：

S24，根据参与的客户端数量确定算法所需的参数w、t；

S25，每个客户端在本地选择模数p和待进行保密的秘密G，G为每个客户端对能源数据计算得到的梯度信息；

S26，在每个客户端中秘密选择t-1个小于p的不同随机数，作为对应各客户端的秘密份额；

S27，每个客户端将得到的秘密份额进行分享，由各个客户端上传至中心参数服务器。

在实施中，本步骤采用联邦学习的目的是为了确保将数据分割后，至少需要一定数量的数据才能够进行完整数据的还原，对应上述参数，w为数据分割的份数，参数t表示需要还原数据的最低数据份数，步骤S27中计算秘密份额的公式如下：

，

式中，p为已知的素数，G的取值小于p，取t-1个

代入公式分割为w份，公开p的取 值，每个客户端仅负责保密自身的

数据即可。

可选的，所述S3中的安全联邦学习训练具体包括：

S31，客户端根据预设阈值对预处理后的能源数据进行二次数据对齐，得到处理后的能源数据；

S32，客户端使用接收的初始模型对筛选后的能源数据进行本地模型训练，并计算训练后本地模型的模型梯度；

S33，客户端调用安全分享方法，对本地训练所得的梯度进行份额划分，每个客户端将对应的索引信息和梯度份额上传至中心参数服务器；

S34，中心参数服务器依据索引信息，对已上传的梯度进行安全聚合；

S35，客户端从中心服务器下载聚合梯度的分享份额进行秘密恢复；

S36，持续S32至S36，直至达到训练终止条件；

S37，将获取到的能源数据代入训练后的模型完成能源数据融合计算。

在实施中，本发明使用的是垂直联邦学习，在进行联邦学习的过程中，各参与客户端首先会从中心参数服务器下载初始化模型，并利用本地能源数据和算力进行模型优化，之后利用秘密分享将训练所得到的梯度数据进行划分并分享，之后所有客户端将自己所持有的梯度份额上传至中心参数服务器，由服务器进行参数聚合得到新一轮的模型，如此反复，直至模型收敛或达到停止训练的条件，获得支持多元数据融合的联邦学习计算模型。

本步骤涉及到的垂直联邦学习是以共同用户为数据的对齐导向，取出参与方用户相同而特征不完全相同的部分进行联合训练。因此需要先对各参与方数据进行二次数据对齐，获得用户重叠的数据，然后各自在被选出的数据集上进行训练。

步骤S34中对梯度进行安全聚合时采用的索引信息，是在前述步骤S2中将能源数据分割时针对每个份额的顺序所建立的对应关系表，此时可根据分割时的数据前后关系进行聚合，得到完整的梯度数据。另外，训练过程主要使用随机梯度下降（StochasticGradient Descent, SGD）更新网络参数，学习率（learning rate）初始时为0.00001，各参与客户端的Local epoch设置为40轮。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于安全分享的联邦学习场景下的能源数据融合计算方法，其特征在于，包括：

S1，对能源数据进行数据预处理，得到预处理后的能源数据；

S2，在客户端与中心参数服务器之间基于反向补偿机制选取安全通信信道，确定在安全通信信道中使用的联邦学习参数；

S3，在中心参数服务器处生成初始模型，将生成的初始模型向每个客户端分发，每个客户端在接收到初始模型后结合预处理后的能源数据进行安全联邦训练，将获取到的能源数据代入训练后的模型完成能源数据融合计算；

所述S2，包括：

S21，在中心参数服务器处的存储有预设的安全参数值；

S22，根据预设的安全等级评定函数，计算等待与中心参数服务器进行通信的每个客户端处的安全环境值；

S23，基于每个客户端的安全环境值与安全参数值计算每个客户端的安全等级指数，根据得到的安全等级指数进行反向补偿，结合预设的安全通信等级选取适用于每个客户端的安全通信信道。

2.根据权利要求1所述的基于安全分享的联邦学习场景下的能源数据融合计算方法，其特征在于，所述S1包括：

S11，使用PSI算法对多元能源数据进行交集计算；

S12，对计算后的能源数据进行数据清洗和数据对齐。

3.根据权利要求2所述的基于安全分享的联邦学习场景下的能源数据融合计算方法，其特征在于，所述S12，包括：

S121，确定包含数据校验位的数据格式，获取每类数据格式中允许存储的最大数据长度；

S122，根据最大数据长度对能源数据进行数据清洗，得到数据清洗后的能源数据；

S123，结合能源数据来源编号以及时间戳计算对应每个能源数据的验证码，将清洗后的能源数据按奇偶位依次进行填充，其中奇数位用于存储能源数据的数值，偶数位用于存储对应奇数位数值的验证码。

4.根据权利要求1所述的基于安全分享的联邦学习场景下的能源数据融合计算方法，其特征在于，所述S2中确定在安全通信信道中使用的联邦学习参数，包括：

S24，根据参与的客户端数量确定算法所需的参数w、t；

S25，每个客户端在本地选择模数p和待进行保密的秘密G，G为每个客户端对能源数据计算得到的梯度信息；

S26，在每个客户端中秘密选择t-1个小于p的不同随机数，作为对应各客户端的秘密份额；

S27，每个客户端将得到的秘密份额进行分享，由各个客户端上传至中心参数服务器。

5.根据权利要求1所述的基于安全分享的联邦学习场景下的能源数据融合计算方法，其特征在于，所述S3中的安全联邦学习训练具体包括：

S31，客户端根据预设阈值对预处理后的能源数据进行二次数据对齐，得到处理后的能源数据；

S32，客户端使用接收的初始模型对筛选后的能源数据进行本地模型训练，并计算训练后本地模型的模型梯度；

S33，客户端调用安全分享方法，对本地训练所得的梯度进行份额划分，每个客户端将对应的索引信息和梯度份额上传至中心参数服务器；

S34，中心参数服务器依据索引信息，对已上传的梯度进行安全聚合；

S35，客户端从中心服务器下载聚合梯度的分享份额进行秘密恢复；

S36，持续S32至S36，直至达到训练终止条件；

S37，将获取到的能源数据代入训练后的模型完成能源数据融合计算。

Images