CN116402169A - 一种联邦建模验证方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种联邦建模验证方法、装置、设备及存储介质，涉及隐私计算技术领域，包括：通过参与节点联邦建模训练，完成本轮计算并获取模型参数梯度信息；通过参与节点与令牌持有节点生成共享密钥，通过令牌持有节点对目标数据进行加密，以便参与节点基于加密后目标数据生成本轮计算验证向量；通过参与节点将本轮计算验证向量进行加密及计算MAC值的操作，完成全部参与节点的向量验证，得到目标密文数据，以便令牌持有节点确定目标密文数据与目标参数梯度位置的聚合值的差值；通过令牌持有节点基于差值与预设计算验证阈值的关系确定本轮计算验证结果，并进行迭代，直至联邦建模训练的模型参数收敛。本申请能高效可信地验证联邦建模的计算。

Description

一种联邦建模验证方法、装置、设备及存储介质

技术领域

本发明涉及隐私计算技术领域，特别涉及一种联邦建模验证方法、装置、设备及存储介质。

背景技术

随着大数据时代的到来，数据已经成为现代社会最宝贵的财富之一。在许多应用场景下，需要对大量的数据进行处理和分析，以提取有价值的信息和知识，数据的处理和分析已经成为现代社会中一项至关重要的任务。然而，由于隐私和安全等问题的存在，许多数据是分散在不同的地方和不同的组织中，难以集中存储和管理。而且，由于法律法规和商业政策的限制，这些数据不容易共享和利用。

为了解决这些问题，联邦学习逐渐成为了一种新兴的数据处理和分析方法。联邦学习是一种分布式机器学习方法，它允许在多个设备或组织之间共享和分析数据，同时保护数据隐私和安全。联邦学习的核心思想是将机器学习算法下放到本地设备中，让设备在本地计算，并将计算结果汇总到中央服务器上进行聚合。这种方法不需要将原始数据共享给第三方，因此可以保护数据隐私。

然而，联邦学习面临着一个严重的问题，如何保证联邦建模的计算过程是可信的。由于计算是分散在多个设备和组织之间进行的，因此难以确保计算的正确性和完整性。这个问题可能会导致联邦建模的结果出现错误，从而影响系统的可靠性和准确性。传统的验证方法主要是基于可信第三方的方式，但是这种方法会造成一定的安全隐患和数据隐私泄露的问题。在这种情况下，如何有效利用同态加密等隐私计算技术，形成高效可信的建模验证方法来验证联邦建模的计算过程，保证计算结果的正确性和可靠性成为亟需解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种联邦建模验证方法、装置、设备及存储介质，能够利用同态加密等隐私计算技术，形成高效可信的建模验证方法来验证联邦建模的计算过程，保证计算结果的正确性和可靠性。其具体方案如下：

第一方面，本申请公开了一种联邦建模验证方法，包括：

通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练，以完成本轮计算并获取模型参数梯度信息；

通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，并将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量；所述令牌持有节点为当前持有令牌的参与节点；

通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，将所述目标密文数据发送至所述令牌持有节点，以便所述令牌持有节点基于聚合算法确定所述目标密文数据与目标参数梯度位置的聚合值之间的差值；

通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，并重新跳转至所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练的步骤，直至所述联邦建模训练的模型参数收敛。

可选的，所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练之前，还包括：

通过聚合节点将待训练的初始模型以及所述预设的联邦建模任务的相关参数发送至所述参与节点。

可选的，所述通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，包括：

通过所述参与节点与令牌持有节点基于椭圆曲线密码体制的密钥交换算法进行密钥协商，获取所述共享密钥；

通过所述令牌持有节点获取所述目标数据，并利用所述令牌持有节点基于所述共享密钥对所述目标数据进行加密；所述目标数据包括基于所述同态加密算法生成的同态加密密钥对、随机生成的本轮计算验证ID以及基于所述模型参数梯度信息确定的所述目标参数梯度位置。

可选的，所述将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量，包括：

通过所述令牌持有节点将所述加密后目标数据发送至所述参与节点，以便所述参与节点基于所述目标参数梯度位置确定模型参数，基于所述模型参数以及预设分组规则进行加法求和，以生成所述本轮计算验证向量。

可选的，所述通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，包括：

通过所述参与节点利用同态加密公钥将所述本轮计算验证向量进行加密，得到当前参与节点对应的第一密文数据，并利用所述共享密钥计算所述第一密文数据对应的所述MAC值；

利用当前参与节点获取上一参与节点发送的与所述上一参与节点对应的第二密文数据，并验证所述第二密文数据对应的MAC值，基于所述第一密文数据以及所述第二密文数据确定第三密文数据，并将所述第三密文数据发送至下一参与节点，直至所述全部参与节点完成向量验证，以得到所述目标密文数据。

可选的，所述通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，包括：

若所述差值小于或等于所述预设计算验证阈值，则判定本轮计算无误，并将进行所述联邦建模训练后的联邦建模模型、基于所述目标参数梯度位置计算的哈希值、本轮计算验证ID以及验证结果记录至区块链基础设施；

若所述差值大于所述预设计算验证阈值，则判定本轮计算有误，通知其他参与节点进行问题排查，并将进行所述联邦建模训练后的联邦建模模型、基于所述目标参数梯度位置计算的哈希值、所述差值对应的哈希值、本轮计算验证ID以及验证结果记录至区块链基础设施。

可选的，所述方法，还包括：

通过所述参与节点根据令牌传递协议参数以及传递规则确定所述令牌持有节点。

第二方面，本申请公开了一种联邦建模验证装置，包括：

梯度信息获取模块，用于通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练，以完成本轮计算并获取模型参数梯度信息；

验证向量获取模块，用于通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，并将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量；所述令牌持有节点为当前持有令牌的参与节点；

差值确定模块，用于通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，将所述目标密文数据发送至所述令牌持有节点，以便所述令牌持有节点基于聚合算法确定所述目标密文数据与目标参数梯度位置的聚合值之间的差值；

计算验证模块，用于通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，并重新跳转至所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练的步骤，直至所述联邦建模训练的模型参数收敛。

第三方面，本申请公开了一种电子设备，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序以实现前述的联邦建模验证方法。

第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的联邦建模验证方法。

由上可知，本申请在进行联邦建模计算的验证时，首先通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练，以完成本轮计算并获取模型参数梯度信息；通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，并将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量；所述令牌持有节点为当前持有令牌的参与节点；之后通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，将所述目标密文数据发送至所述令牌持有节点，以便所述令牌持有节点基于聚合算法确定所述目标密文数据与目标参数梯度位置的聚合值之间的差值；最后通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，并重新跳转至所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练的步骤，直至所述联邦建模训练的模型参数收敛。可见，本申请通过采用令牌传递协议，各个联邦建模参与节点轮流主导计算过程验证，并通过同态加密、消息认证码MAC来完成聚合计算的验证，相较于传统的建模方式，采用半同态加密方法在保证其安全性的前提下，能满足联邦建模计算效率的要求，同时采用动态调整参数选择和随机选择模型部分参数等方法进行联合验证，减少了计算量和通信量，确保验证计算过程不影响联邦建模原有过程，特别适用于模型参数较大的复杂模型场景。采用协商密钥以及消息验证码等算法，保证传输数据的安全性和完整性，增强节点间安全，同时充分考虑到联邦建模泛化能力，设定计算差值阈值，提升了联邦建模聚合过程容错性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种联邦建模验证方法流程图；

图2为本申请公开的一种联邦建模验证节点组成示意图；

图3为本申请公开的一种同态加密参数计算示意图；

图4为本申请公开的一种具体的联邦建模验证方法流程图；

图5为本申请公开的一种模型参数选择分组计算示意图；

图6为本申请公开的一种联邦建模计算验证过程的追溯方法流程图；

图7为本申请公开的一种联邦建模验证装置结构示意图；

图8为本申请公开的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中，传统的验证方法主要是基于可信第三方的方式，但是这种方法会造成一定的安全隐患和数据隐私泄露的问题。为了解决上述技术问题，本申请公开了一种联邦建模验证方法，能够利用同态加密等隐私计算技术，形成高效可信的建模验证方法来验证联邦建模的计算过程，保证计算结果的正确性和可靠性。

参见图1所示，本发明实施例公开了一种联邦建模验证方法，包括：

步骤S11、通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练，以完成本轮计算并获取模型参数梯度信息。

本实施例中，首先要根据联邦可信建模任务的需求，确定数据集、联邦建模算法、联邦模型结构、目标函数、学习率等参数。其中，联邦可信建模任务是由多方合作共同建模的任务，各个参与节点均拥有自己的数据集和算力资源，在数据隐私保护前提下共同训练模型，同时保证其计算过程可验证和追溯。联邦建模模型是利用FedAvg、FedProx、SCAFFOLD等各种纵向和横向联邦聚合算法，由多方联邦建模训练得到的模型，其主体结构是深度学习神经网络模型，由多层网络结构构成。并需要选定参与联邦建模的各方节点以及聚合节点，构建联盟链或者使用各参与节点共同认可的区块链基础设施，所述的聚合节点是根据联邦建模算法采用的聚合方法进行梯度聚合或者参数聚合，完成分发每轮训练的更新模型，并记录计算结果摘要信息到区块链基础设施；所述的区块链基础设施是各方构建联盟链或者使用各参与节点共同认可的区块链基础设施，实现节点共识、记账、验证、查询等链上操作。之后，提前设定建模计算验证参数，包括同态加密算法、消息认证码算法、令牌传递协议、计算验证阈值等，确定参数聚合规则及令牌传递规则。且聚合节点将所述的联邦建模模型初始模型以及联邦建模任务的相关参数，分发给所述的参与可信联邦建模训练的参与节点。如图2所示，联邦建模验证节点组成包括参与节点、聚合节点以及令牌持有节点。所述的参与可信联邦建模训练的参与节点是分布在各个合作方中，拥有计算、存储、网络资源，执行联邦建模的节点本地计算任务，同时提供可信建模计算验证服务。所述的可信建模计算验证服务主要由模型参数选择聚合模块、同态加密MPC模块、区块链存证模块以及令牌协议执行模块等模块构成，完成联邦建模的计算过程验证；所述的模型参数选择聚合模块是根据联邦模型各层的参数情况、一轮计算验证所消耗的时间以及联邦聚合算法，进行分层随机筛选参数或者梯度，分组求和组装聚合形成向量；所述的同态加密MPC模块是利用同态加密Paillier等半同态算法实现多方安全计算，包括准备Setup、密钥生成KeyGen、加密ENC、解密DEC、计算EVAL等基础服务；所述的区块链存证模块是将本地验证计算信息数据存储到所述的区块链基础设施中。参与可信联邦建模训练的参与节点根据令牌传递协议参数及传递规则，选定令牌持有方节点。令牌传递协议，就是由各个参与建模节点构成令牌环网络，轮流拥有令牌主导计算过程验证。在做好这些前期准备工作后，参与可信联邦建模训练的参与节点根据所述的联邦可信建模任务，利用节点本地数据集执行联邦建模客户端训练，完成一轮计算任务，获得模型参数梯度。就是对模型进行训练，得到模型参数梯度，且参与可信联邦建模训练的参与节点根据联邦聚合算法将本轮的计算结果汇聚到所述的聚合节点。

步骤S12、通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，并将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量；所述令牌持有节点为当前持有令牌的参与节点。

本实施例中，基于上述步骤可知本轮计算中已经获得了训练好的模型，以及模型参数梯度，现在对当前模型的计算过程进行验证，首先就是需要参与节点与令牌持有节点基于预设算法生成共享密钥，这样所述令牌持有节点便可以根据这个共享密钥、同态加密算法以及上一步骤获得的所述模型参数梯度信息对目标数据进行加密，将加密后的目标数据发送给其他的参与节点，这样本轮目标参与节点便能够根据接收到的数据，生成本轮计算的验证向量。需要指出的是，在获得验证向量之后，参与节点计算本轮训练用到的样本数据、训练后模型参数、输出标签的Hash值，联合本轮的计算验证ID、以及本轮计算验证向量的哈希值，并记录到所述的区块链基础设施中，这样一来，将加密计算结果和计算过程的验证信息记录在区块链基础设施中，保证计算过程的正确性和完整性。

步骤S13、通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，将所述目标密文数据发送至所述令牌持有节点，以便所述令牌持有节点基于聚合算法确定所述目标密文数据与目标参数梯度位置的聚合值之间的差值。

本实施例中，获取了本轮计算的验证向量之后，便通过所述参与节点利用同态加密公钥将所述本轮计算验证向量进行加密，得到当前参与节点对应的第一密文数据，并利用所述共享密钥计算所述第一密文数据对应的所述MAC值；利用当前参与节点获取上一参与节点发送的与所述上一参与节点对应的第二密文数据，并验证所述第二密文数据对应的MAC值，基于所述第一密文数据以及所述第二密文数据确定第三密文数据，并将所述第三密文数据发送至下一参与节点，直至所述全部参与节点完成向量验证，以得到所述目标密文数据。如图3所示，同态加密参数计算过程为，参与可信联邦建模训练的参与节点i将计算验证向量Vi使用同态加密公钥进行加密ENC（Vi），并使用共享密钥Key计算其MAC值，保证其完整性；所述的参与可信联邦建模训练的参与节点i根据收到的数据ENC(V)，验证其MAC值，计算ENC(Vi)+ENC(V)，并传递给下一个节点，直至所有节点完成验证向量的同态加法，得到ENC（V）；之后，将所述目标密文数据发送至所述令牌持有节点，令牌持有方节点x接收到ENC（V），验证其MAC值，根据聚合算法的要求，计算ENC（V）与本轮训练后聚合模型指定位置参数聚合值V’之间的差值d。

步骤S14、通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，并重新跳转至所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练的步骤，直至所述联邦建模训练的模型参数收敛。

本实施例中，通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，若所述差值小于或等于所述预设计算验证阈值，则判定本轮计算无误，也就是本轮计算验证成功，并将进行所述联邦建模训练后的联邦建模模型、基于所述目标参数梯度位置计算的哈希值、本轮计算验证ID以及验证结果记录至区块链基础设施；若所述差值大于所述预设计算验证阈值，则判定本轮计算有误，通知其他参与节点进行问题排查，就是本轮计算过程存在一定的问题，通知其他所述的参与可信联邦建模训练的参与节点，进行后续问题排查，并将进行所述联邦建模训练后的联邦建模模型、基于所述目标参数梯度位置计算的哈希值、所述差值对应的哈希值、本轮计算验证ID以及验证结果记录至区块链基础设施。在获取验证结果并将相关参数记录到区块链基础设施之后，本轮计算已经完成，需要根据上述的步骤流程进行下一轮联邦建模训练和计算过程验证，直至联邦建模模型参数收敛。

由上可知，本申请在进行联邦建模计算的验证时，首先通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练，以完成本轮计算并获取模型参数梯度信息；通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，并将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量；所述令牌持有节点为当前持有令牌的参与节点；之后通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，将所述目标密文数据发送至所述令牌持有节点，以便所述令牌持有节点基于聚合算法确定所述目标密文数据与目标参数梯度位置的聚合值之间的差值；最后通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，并重新跳转至所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练的步骤，直至所述联邦建模训练的模型参数收敛。可见，本申请通过采用令牌传递协议，各个联邦建模参与节点轮流主导计算过程验证，并通过同态加密、消息认证码MAC来完成聚合计算的验证，相较于传统的建模方式，采用半同态加密方法在保证其安全性的前提下，能满足联邦建模计算效率的要求，同时采用动态调整参数选择和随机选择模型部分参数等方法进行联合验证，减少了计算量和通信量，确保验证计算过程不影响联邦建模原有过程，特别适用于模型参数较大的复杂模型场景。采用协商密钥以及消息验证码等算法，保证传输数据的安全性和完整性，增强节点间安全，同时充分考虑到联邦建模泛化能力，设定计算差值阈值，提升了联邦建模聚合过程容错性。

参见图4所示，本发明实施例公开了一种具体的联邦建模验证方法，包括：

步骤S21、通过参与节点与令牌持有节点基于椭圆曲线密码体制的密钥交换算法进行密钥协商，获取共享密钥。

本实施例中，在获得了训练好的模型以及模型参数梯度之后，对当前模型的计算过程进行验证，首先令牌持有方与其他所述的参与可信联邦建模训练的参与节点使用ECDH（基于椭圆曲线密码体制的密钥交换算法）算法进行密钥协商，得到共享密钥Key。采用协商密钥等算法，保证传输数据的安全性和完整性，增强节点间安全。

步骤S22、通过所述令牌持有节点获取目标数据，并利用所述令牌持有节点基于所述共享密钥对所述目标数据进行加密；所述目标数据包括基于同态加密算法生成的同态加密密钥对、随机生成的本轮计算验证ID以及基于模型参数梯度信息确定的目标参数梯度位置。

本实施例中，令牌持有方节点获取目标数据，并利用同态加密算法生成同态加密密钥对，随机生成本轮计算验证ID，并指定本轮的模型参数挑选策略，包括分组聚合数量参数Y以及联邦建模模型N层随机选择的参数或者梯度位置RS[1…N][0…Y]，就是获取目标参数梯度位置。

步骤S23、通过所述令牌持有节点将所述加密后目标数据发送至所述参与节点，以便所述参与节点基于所述目标参数梯度位置确定模型参数，基于所述模型参数以及预设分组规则进行加法求和，以生成所述本轮计算验证向量。

本实施例中，令牌持有方节点利用共享密钥Key将本轮的计算验证ID、同态加密公钥以及参数位置数据RS[1…N][0…Y]加密发送给其他所述的参与可信联邦建模训练的参与节点；参与可信联邦建模训练的参与节点i接收到数据，根据参数位置数据选择出模型参数，并按照分组策略进行加法求和，其中关于模型参数选择分组计算如图5所示，生成本轮计算验证向量Vi，之后，参与可信联邦建模训练的参与节点i计算本轮训练用到的样本数据、训练后模型参数、输出标签的Hash值，联合本轮的计算验证ID、以及本轮计算验证向量Vi的哈希值，并记录到所述的区块链基础设施中。

由上可知，本申请通过采用令牌传递协议，各个联邦建模参与节点轮流主导计算过程验证，通过同态加密来完成聚合计算的验证，并将加密计算结果和计算过程的验证信息记录在区块链基础设施中，保证计算过程的正确性和完整性。在联邦建模计算验证过程中，选择联邦模型部分参数用于聚合计算验证，减少计算量和通信量，确保验证计算过程不影响联邦建模原有过程。

基于上述实施例可知，本申请可以将验证信息记录在区块链基础设施中。接下来，将针对将验证信息记录在区块链基础设施中来计算追溯以及各方建模贡献量的评估的过程进行具体的描述。参见图6所示，本申请公开了一种联邦可信建模计算验证过程的追溯方法，包括：

本实施例中，由上述实施例可知，参与可信联邦建模训练的参与节点i计算本轮训练用到的样本数据、训练后模型参数、输出标签的Hash值，联合本轮的计算验证ID、以及本轮计算验证向量Vi的哈希值记录在所述的区块链基础设施中，进行所述联邦建模训练后的联邦建模模型、基于所述目标参数梯度位置计算的哈希值、本轮计算验证ID以及验证结果也记录在区块链基础设施中。

对联邦可信建模计算验证的过程进行追溯，首先根据本轮的计算验证ID，从所述的区块链基础设施中进行检索，获取所有相关记录数据；之后根据保存的验证信息，由各参与方提供原始数据，进行验证；若确认验证结果一致，则表示各方参与建模按照协议内容执行；这样便完成了对联邦建模计算过程的追溯。同时，根据提供的数据，通过区块链验证以及计算过程的验证，可以作为有效数据来衡量各方建模贡献量。

由上可知，区块链基础设施是各方构建联盟链或者使用各参与节点共同认可的区块链基础设施，实现节点共识、记账、验证、查询等链上操作；通过将本地验证计算信息数据存储到所述的区块链基础设施中，能够实现计算追溯以及各方建模贡献量的评估。

参见图7所示，本发明实施例公开了一种联邦建模验证装置，包括：

梯度信息获取模块11，用于通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练，以完成本轮计算并获取模型参数梯度信息；

验证向量获取模块12，用于通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，并将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量；所述令牌持有节点为当前持有令牌的参与节点；

差值确定模块13，用于通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，将所述目标密文数据发送至所述令牌持有节点，以便所述令牌持有节点基于聚合算法确定所述目标密文数据与目标参数梯度位置的聚合值之间的差值；

计算验证模块14，用于通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，并重新跳转至所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练的步骤，直至所述联邦建模训练的模型参数收敛。

由上可知，本申请在进行联邦建模计算的验证时，首先通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练，以完成本轮计算并获取模型参数梯度信息；通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，并将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量；所述令牌持有节点为当前持有令牌的参与节点；之后通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，将所述目标密文数据发送至所述令牌持有节点，以便所述令牌持有节点基于聚合算法确定所述目标密文数据与目标参数梯度位置的聚合值之间的差值；最后通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，并重新跳转至所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练的步骤，直至所述联邦建模训练的模型参数收敛。可见，本申请通过采用令牌传递协议，各个联邦建模参与节点轮流主导计算过程验证，并通过同态加密、消息认证码MAC来完成聚合计算的验证，相较于传统的建模方式，采用半同态加密方法在保证其安全性的前提下，能满足联邦建模计算效率的要求，同时采用动态调整参数选择和随机选择模型部分参数等方法进行联合验证，减少了计算量和通信量，确保验证计算过程不影响联邦建模原有过程，特别适用于模型参数较大的复杂模型场景。采用协商密钥以及消息验证码等算法，保证传输数据的安全性和完整性，增强节点间安全，同时充分考虑到联邦建模泛化能力，设定计算差值阈值，提升了联邦建模聚合过程容错性。

在一些具体的实施例中，所述梯度信息获取模块11，还可以包括：

模型及参数发送单元，用于通过聚合节点将待训练的初始模型以及所述预设的联邦建模任务的相关参数发送至所述参与节点。

在一些具体的实施例中，所述验证向量获取模块12，具体可以包括：

共享密钥获取单元，用于通过所述参与节点与令牌持有节点基于椭圆曲线密码体制的密钥交换算法进行密钥协商，获取所述共享密钥；

参数梯度位置确定单元，用于通过所述令牌持有节点获取所述目标数据，并利用所述令牌持有节点基于所述共享密钥对所述目标数据进行加密；所述目标数据包括基于所述同态加密算法生成的同态加密密钥对、随机生成的本轮计算验证ID以及基于所述模型参数梯度信息确定的所述目标参数梯度位置。

在一些具体的实施例中，所述验证向量获取模块12，具体可以包括：

计算验证向量生成单元，用于通过所述令牌持有节点将所述加密后目标数据发送至所述参与节点，以便所述参与节点基于所述目标参数梯度位置确定模型参数，基于所述模型参数以及预设分组规则进行加法求和，以生成所述本轮计算验证向量。

在一些具体的实施例中，所述差值确定模块13，具体可以包括：

计算单元，用于通过所述参与节点利用同态加密公钥将所述本轮计算验证向量进行加密，得到当前参与节点对应的第一密文数据，并利用所述共享密钥计算所述第一密文数据对应的所述MAC值；

目标密文数据获取单元，用于利用当前参与节点获取上一参与节点发送的与所述上一参与节点对应的第二密文数据，并验证所述第二密文数据对应的MAC值，基于所述第一密文数据以及所述第二密文数据确定第三密文数据，并将所述第三密文数据发送至下一参与节点，直至所述全部参与节点完成向量验证，以得到所述目标密文数据。

在一些具体的实施例中，所述计算验证模块14，具体可以包括：

第一判定单元，用于若所述差值小于或等于所述预设计算验证阈值，则判定本轮计算无误，并将进行所述联邦建模训练后的联邦建模模型、基于所述目标参数梯度位置计算的哈希值、本轮计算验证ID以及验证结果记录至区块链基础设施；

第二判定单元，用于若所述差值大于所述预设计算验证阈值，则判定本轮计算有误，通知其他参与节点进行问题排查，并将进行所述联邦建模训练后的联邦建模模型、基于所述目标参数梯度位置计算的哈希值、所述差值对应的哈希值、本轮计算验证ID以及验证结果记录至区块链基础设施。

在一些具体的实施例中，所述装置，还可以包括：

令牌持有节点确定单元，用于通过所述参与节点根据令牌传递协议参数以及传递规则确定所述令牌持有节点。

进一步的，本申请实施例还公开了一种电子设备，图8是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图8为本申请实施例提供的一种电子设备20的结构示意图。该电子设备 20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的联邦建模验证方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵 循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进 行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、 磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222 等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算 机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的联邦建模验证方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的联邦建模验证方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种联邦建模验证方法，其特征在于，包括：

通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练，以完成本轮计算并获取模型参数梯度信息；

通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，并将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量；所述令牌持有节点为当前持有令牌的参与节点；

通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，将所述目标密文数据发送至所述令牌持有节点，以便所述令牌持有节点基于聚合算法确定所述目标密文数据与目标参数梯度位置的聚合值之间的差值；

通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，并重新跳转至所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练的步骤，直至所述联邦建模训练的模型参数收敛。

2.根据权利要求1所述的联邦建模验证方法，其特征在于，所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练之前，还包括：

通过聚合节点将待训练的初始模型以及所述预设的联邦建模任务的相关参数发送至所述参与节点。

3.根据权利要求1所述的联邦建模验证方法，其特征在于，所述通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，包括：

通过所述参与节点与令牌持有节点基于椭圆曲线密码体制的密钥交换算法进行密钥协商，获取所述共享密钥；

通过所述令牌持有节点获取所述目标数据，并利用所述令牌持有节点基于所述共享密钥对所述目标数据进行加密；所述目标数据包括基于所述同态加密算法生成的同态加密密钥对、随机生成的本轮计算验证ID以及基于所述模型参数梯度信息确定的所述目标参数梯度位置。

4.根据权利要求1所述的联邦建模验证方法，其特征在于，所述将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量，包括：

通过所述令牌持有节点将所述加密后目标数据发送至所述参与节点，以便所述参与节点基于所述目标参数梯度位置确定模型参数，基于所述模型参数以及预设分组规则进行加法求和，以生成所述本轮计算验证向量。

5.根据权利要求1所述的联邦建模验证方法，其特征在于，所述通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，包括：

通过所述参与节点利用同态加密公钥将所述本轮计算验证向量进行加密，得到当前参与节点对应的第一密文数据，并利用所述共享密钥计算所述第一密文数据对应的所述MAC值；

利用当前参与节点获取上一参与节点发送的与所述上一参与节点对应的第二密文数据，并验证所述第二密文数据对应的MAC值，基于所述第一密文数据以及所述第二密文数据确定第三密文数据，并将所述第三密文数据发送至下一参与节点，直至所述全部参与节点完成向量验证，以得到所述目标密文数据。

6.根据权利要求1所述的联邦建模验证方法，其特征在于，所述通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，包括：

若所述差值小于或等于所述预设计算验证阈值，则判定本轮计算无误，并将进行所述联邦建模训练后的联邦建模模型、基于所述目标参数梯度位置计算的哈希值、本轮计算验证ID以及验证结果记录至区块链基础设施；

若所述差值大于所述预设计算验证阈值，则判定本轮计算有误，通知其他参与节点进行问题排查，并将进行所述联邦建模训练后的联邦建模模型、基于所述目标参数梯度位置计算的哈希值、所述差值对应的哈希值、本轮计算验证ID以及验证结果记录至区块链基础设施。

7.根据权利要求1至6任一项所述的联邦建模验证方法，其特征在于，还包括：

通过所述参与节点根据令牌传递协议参数以及传递规则确定所述令牌持有节点。

8.一种联邦建模验证装置，其特征在于，包括：

梯度信息获取模块，用于通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练，以完成本轮计算并获取模型参数梯度信息；

验证向量获取模块，用于通过所述参与节点与令牌持有节点基于预设算法生成共享密钥，并通过所述令牌持有节点基于所述共享密钥、同态加密算法以及所述模型参数梯度信息对目标数据进行加密，并将加密后目标数据发送至所述参与节点，以便所述参与节点基于所述加密后目标数据生成本轮计算验证向量；所述令牌持有节点为当前持有令牌的参与节点；

差值确定模块，用于通过所述参与节点将所述本轮计算验证向量进行加密以及计算MAC值的操作，并基于预设规则完成全部参与节点的向量验证，以得到相应的目标密文数据，将所述目标密文数据发送至所述令牌持有节点，以便所述令牌持有节点基于聚合算法确定所述目标密文数据与目标参数梯度位置的聚合值之间的差值；

计算验证模块，用于通过所述令牌持有节点基于所述差值与预设计算验证阈值之间的关系确定本轮计算验证结果，根据所述本轮计算验证结果执行相应的操作，并重新跳转至所述通过参与联邦建模训练的参与节点基于预设的联邦建模任务以及预设的数据集进行所述联邦建模训练的步骤，直至所述联邦建模训练的模型参数收敛。

9.一种电子设备，其特征在于，包括：

存储器，用于保存计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的联邦建模验证方法。

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的联邦建模验证方法。

Images