CN113505882A - 基于联邦神经网络模型的数据处理方法、相关设备及介质 - Google Patents

Abstract

本申请公开一种基于联邦神经网络模型的数据处理方法、相关设备及介质；联邦神经网络模型中的交互层网络的模型权重被划分成：由第一参与方持有的第一权重，由第二参与方持有的第二权重；第一参与方还持有：第二权重的权重密文。方法包括：接收第一参与方发送的特征密文，特征密文是对采用第一权重对第一数据特征进行加权得到的第一加权特征，和采用权重密文对第一数据特征进行加权得到的第二加权特征进行整合得到的；对特征密文进行解密，得到目标数据特征；融合目标数据特征以及第二数据特征，得到融合数据特征；对融合数据特征进行前向计算，得到目标数据标识所对应的目标处理结果。可减少通信交互的次数，节省通信资源，提升数据处理效率。

Description

基于联邦神经网络模型的数据处理方法、相关设备及介质

技术领域

本申请涉及互联网技术领域，具体涉及计算机技术领域，尤其涉及一种基于联邦神经网络模型的数据处理方法、一种基于联邦神经网络模型的数据处理装置、一种计算机设备及一种计算机存储介质。

背景技术

在人工智能时代，机器学习/深度学习模型的训练任务或推理任务，通常需要大量的特征数据作为前提。但是在很多业务场景中，模型所需的特征数据往往分散在各个不同的业务团队、部门、甚至是不同的公司内；由于数据隐私，这些特征数据通常无法直接使用，形成了所谓的“数据孤岛”。

为解决该“数据孤岛”的问题，联邦学习(Federated Learning)技术被提出。所谓的联邦学习技术是指：在不需要数据出域的情况下，通过至少两个参与方协作完成神经网络模型的训练任务或推理任务的技术；其可在保护各个参与方的数据隐私和数据安全的同时，解决“数据孤岛”的问题。目前，在神经网络模型的训练或推理过程中，通常需要参与方之间进行多轮的通信交互；这样不仅会导致数据处理效率较低，还会消耗大量的通信资源，如网络带宽开销。

发明内容

本申请实施例提供了一种基于联邦神经网络模型的数据处理方法、相关设备及介质，可有效减少通信交互的次数，节省通信资源，且提升数据处理效率。

一方面，本申请实施例提供了一种基于联邦神经网络模型的数据处理方法，所述联邦神经网络模型包括交互层网络；所述交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；所述第一参与方还持有：对所述第二权重进行同态加密所得到的权重密文；所述方法由第二参与方执行，所述方法包括：

接收所述第一参与方发送的特征密文，所述特征密文是对第一加权特征和第二加权特征进行整合得到的；所述第一加权特征是采用所述第一权重对目标数据标识关联的第一数据特征进行加权得到的，所述第二加权特征是采用所述第二权重的权重密文对所述第一数据特征进行加权得到的；

对所述特征密文进行解密，得到目标数据特征；所述目标数据特征与采用所述模型权重对所述第一数据特征进行加权后的特征相同；

融合所述目标数据特征以及所述目标数据标识关联的第二数据特征，得到融合数据特征；

对所述融合数据特征进行前向计算，得到所述目标数据标识所对应的目标处理结果。

另一方面，本申请实施例提供了一种基于联邦神经网络模型的数据处理方法，所述联邦神经网络模型包括交互层网络；所述交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；所述第一参与方还持有：对所述第二权重进行同态加密所得到的权重密文；所述方法由第一参与方执行，所述方法包括：

采用所述第一权重对目标数据标识关联的第一数据特征进行加权处理，得到第一加权特征；

采用所述第二权重的所述权重密文对所述第一数据特征进行加权处理，得到第二加权特征；

对所述第一加权特征和所述第二加权特征进行整合，得到特征密文；

将所述特征密文发送至所述第二参与方，使所述第二参与方根据所述特征密文以及所述目标数据标识关联的第二数据特征，计算所述目标数据标识对应的目标处理结果。

另一方面，本申请实施例提供了一种基于联邦神经网络模型的数据处理装置，所述联邦神经网络模型包括交互层网络；所述交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；所述第一参与方还持有：对所述第二权重进行同态加密所得到的权重密文；所述装置运行于第二参与方中，所述装置包括：

第二通信单元，用于接收所述第一参与方发送的特征密文，所述特征密文是对第一加权特征和第二加权特征进行整合得到的；所述第一加权特征是采用所述第一权重对目标数据标识关联的第一数据特征进行加权得到的，所述第二加权特征是采用所述第二权重的权重密文对所述第一数据特征进行加权得到的；

第二处理单元，用于对所述特征密文进行解密，得到目标数据特征；所述目标数据特征与采用所述模型权重对所述第一数据特征进行加权后的特征相同；

所述第二处理单元，还用于融合所述目标数据特征以及所述目标数据标识关联的第二数据特征，得到融合数据特征；

所述第二处理单元，还用于对所述融合数据特征进行前向计算，得到所述目标数据标识所对应的目标处理结果。

另一方面，本申请实施例提供了一种基于联邦神经网络模型的数据处理装置，所述联邦神经网络模型包括交互层网络；所述交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；所述第一参与方还持有：对所述第二权重进行同态加密所得到的权重密文；所述装置运行于第一参与方中，所述装置包括：

第一处理单元，用于采用所述第一权重对目标数据标识关联的第一数据特征进行加权处理，得到第一加权特征；

所述第一处理单元，还用于采用所述第二权重的所述权重密文对所述第一数据特征进行加权处理，得到第二加权特征；

所述第一处理单元，还用于对所述第一加权特征和所述第二加权特征进行整合，得到特征密文；

第一通信单元，用于将所述特征密文发送至所述第二参与方，使所述第二参与方根据所述特征密文以及所述目标数据标识关联的第二数据特征，计算所述目标数据标识对应的目标处理结果。

再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括输入接口和输出接口，所述计算机设备还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述所提及的由第二参与方所执行的方法；或者所述一条或多条指令适于由所述处理器加载并执行上述所提及的由第一参与方所执行的方法。

再一方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行上述所提及的由第二参与方所执行的方法；或者所述一条或多条指令适于由所述处理器加载并执行上述所提及的由第一参与方所执行的方法。

本申请实施例通过将交互层网络的模型权重划分成第一权重和第二权重，并将第一权重和第二权重分别存储于第一参与方和第二参与方中，且第一参与方和第二参与方之间互不披露各自持有的权重，这样可有效提升模型权重的安全性。另外，由于第一参与方还持有第二权重的权重密文，因此在模型推理或模型训练的前向计算过程中，第一参与方可采用第一权重和第二权重的权重密文分别对第一数据特征进行加权，得到第一加权特征和第二加权特征；并将通过整合第一加权特征和第二加权特征所得到的特征密文发送给第二参与方，使第二参与方对该特征密文进行解密，并根据解密得到的目标数据特征计算目标数据标识所对应的目标处理结果。由于第二权重的权重密文是通过对第二权重进行同态加密所得到的，因此借助加法同态加密的性质，可使得第二参与方解密该特征密文所得到的目标数据特征与采用模型权重对第一数据特征进行加权后的特征相同。可见，通过借助同态加密技术在第一参与方中存储第二权重的权重密文，可实现在不向第一参与方披露第二权重的情况下，获取到第二权重作用于第一数据特征后的结果，从而有效提升目标数据特征的信息全面性，进而提升目标处理结果的准确性。在整个处理过程中，第一参与方和第二参与方可进行一次通信交互，这样可有效较少通信交互的次数，从而有效减少通信资源，如网络带宽开销；且随着通信交互的次数较少，还可有效缩短整个处理过程所需的时长，从而有效提升数据处理效率。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的一种横向联邦学习的相关示意图；

图1b是本申请实施例提供的一种纵向联邦学习的相关示意图；

图1c是本申请实施例提供的一种联邦神经网络模型的模型结构示意图；

图1d是本申请实施例提供的一种各参与方之间进行通信的示意图；

图1e是本申请实施例提供的一种第一参与方和第二参与方进行通信交互的示意图；

图1f是本申请实施例提供的另一种第一参与方和第二参与方进行通信交互的示意图；

图2是本申请实施例提供的一种基于联邦神经网络模型的数据处理方法的流程示意图；

图3a是本申请实施例提供的一种区块链的结构示意图；

图3b是本申请实施例提供的一种将目标处理结果上传至区块链的示意图；

图3c是本申请实施例提供的另一种第一参与方和第二参与方进行通信交互的示意图；

图4a是本申请实施例提供的一种第一参与方和第二参与方所持有的相关数据的示意图；

图4b是本申请另一实施例提供的一种基于联邦神经网络模型的数据处理方法的流程示意图；

图4c是本申请实施例提供的一种联邦神经网络模型的后向传播过程的流程示意图；

图5是本申请实施例提供的一种基于联邦神经网络模型的数据处理装置的结构示意图；

图6是本申请另一实施例提供的一种基于联邦神经网络模型的数据处理装置的结构示意图；

图7是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

人工智能(Artificial Intelligence，AI)技术是指：利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术；其主要通过了解智能的实质，生产出一种新的能以人类智能相似的方式做出反应的智能机器，使得智能机器具有感知、推理与决策等多种功能。相应的，AI技术是一门综合学科，其主要包括计算机视觉技术(Computer Vision，CV)、语音处理技术、自然语言处理技术以及机器学习(Machine Learning，ML)/深度学习等几大方向。

其中，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心，是使计算机设备具有智能的根据途径；所谓的机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科；其专门研究计算机设备怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。而深度学习则是一种利用深层神经网络系统，进行机器学习的技术；机器学习/深度学习通常可包括人工神经网络、强化学习(Reinforcement Learning，RL)、联邦学习等多种技术。

所谓的联邦学习又可称为联合学习，其通过至少两个参与方协作完成神经网络模型的模型训练任务或模型推理服务；能够在模型训练或模型推理的过程中，保护数据隐私和数据安全的前提下实现数据的“可用而不可见”。也就是说，联邦学习可理解成是一种特殊的机器学习；与普通机器学习的核心区别之一在于：模型的参与方从一方变为了两方甚至多方。从分类上来说，基于数据的分布特征，联邦学习可划分为如下几类：横向联邦学习(Horizontal Federated Learning)、纵向联邦学习(Vertical Federated Learning)和联邦迁移学习(Federated Transfer Learning)。

其中，横向联邦学习又称为特征对齐的联邦学习，其通过联合至少两个参与方的具有相同特征的不同数据进行学习，适用于各参与方的数据集共享相同特征空间但数据空间不同的情况；纵向联邦学习又称为样本对齐的联邦学习，其通过联合至少两个参与方的同一个数据标识的不同数据特征进行学习，适用于各参与方的数据集共享相同数据空间但特征空间不同的情况；联邦迁移学习则适用于各参与方的数据集不仅在数据空间上不同，而且在特征空间上也不同的情况。例如，采用数据矩阵表示数据集，数据矩阵的横向的一行表示一条数据，纵向的一列表示一个数据特征或标签；设总共两个参与方，且采用10标识一个参与方的数据集，采用11标识另一个参与方的数据集，那么横向联邦学习所使用的数据可参见图1a中的虚线框13所示，纵向联邦学习所使用的数据可参见图1b中的虚线框14所示。

基于上述所提及的纵向联邦学习的相关描述，本申请实施例提出了一种优化通信交互的纵向联邦学习方案。该纵向联邦学习方案可支持两个或者两个以上的参与方共同参与联邦神经网络模型的模型训练或模型推理，并在模型推理或模型训练的过程中，减少参与方之间的通信交互次数，从而节省通信资源以及提升数据处理效率。其中，联邦神经网络模型可以是基于纵向联邦学习技术搭建的任意神经网络模型；例如，纵向联邦线性回归(inear Regression，LR)模型，逻辑回归(Logistic Regression，LogR)模型、支持向量机(Support Vector Machine，SVM)模型、类别预测模型、对象识别模型、表情识别模型、风险评估模型、信息推荐模型，等等。特别地，常用的纵向联邦线性回归和逻辑回归模型是特殊的神经网络模型，其是一种只有一层神经元的神经网络模型。

具体的，基于纵向联邦学习技术搭建的联邦神经网络模型可至少包括：M(M≥2)个参与方各自维护的下层子模型(bottom model)，交互层网络(cut layer)，以及位于交互层网络之上的上层子模型(top model)。其中，上层子模型是一个可对交互层网络的输出结果进行前向计算，从而得到联邦神经网络模型的输出结果的神经网络模型。该上层子模型可以是位于M个参与方中的其中一个参与方中，此情况下的联邦神经网络模型的模型结构可参见图1c所示；或者，该上层子模型也可以位于M个参与方以外的某个参与方中，此情况下的参与方的总数量为M+1个，本申请实施例对此不作限定。为便于阐述，本申请实施例后续均以图1c所示的联邦神经网络模型为例进行说明。并且，将至少M个参与方中不具有上层子模型的各个参与方均称作第一参与方，将M个参与方中具有上层子模型的参与方称为第二参与方；以及将第一参与方中的下层子模型称作第一子模型，将第二参与方中的下层子模型称作第二子模型。

上述所提及的各个参与方(采用14进行标识)之间可通过网络进行通信，如图1d所示。需说明的是：①支持各个参与方进行通信的网络可以是有线网络，也可以是无线网络，对此不作限定。②各个参与方可以是任意计算机设备，如终端或服务器，对此不作限定；此处所提及的终端可以包括但不限于：智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、智能电视等；此处所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。③各个参与方可以位于区块链网络外，也可以位于区块链网络内，对此不作限定；所谓的区块链网络是一种由点对点网络(P2P网络)和区块链所构成的网络，而区块链则是指一种分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式，其本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块(或称为区块)。

在具体实现中，本申请实施例所提出的纵向联邦学习方案可通过借助同态加密技术来保证各参与方的数据隐私信息，提升数据安全性。其中，同态加密具有如下性质：对经过同态加密的数据进行处理得到一个密文，若将这一密文进行解密，则解密得到的结果与用同一方法处理未加密的原始数据所得到的结果是一样的。例如，设经过同态加密的数据为数据[A]；采用某个数值B对权重密文[A]进行乘法运算处理，得到密文B[A]，则对该密文B[A]进行解密所得到的结果为BA，即等于对未加密的数据A和数值B进行乘法运算处理所得到的结果。又如，采用某个数值C对权重密文[A]进行加法运算处理，得到密文[A]+C，则对该密文[A]+C进行解密所得到的结果为A+C，即等于对未加密的数据A和数值C进行加法运算处理所得到的结果。再如，采用某个数值B对权重密文[A]进行乘法运算处理，并再采用数值C对乘法运算结果进行加法运算处理，得到密文B[A]+C，则对该密文B[A]+C进行解密所得到的结果为BA+C，即等于在对未加密的数据A和数值B进行乘法运算处理后，再采用数值C进行加法运算处理所得到的结果。

为便于阐述，下面以两个参与方(即一个第一参与方和一个第二参与方)为例，对本申请实施例所提出的纵向联邦学习方案进行阐述；具体的，该纵向联邦学习方案的大致原理可包括如下两部分：

1)初始化过程：首先，可将联邦神经网络模型的交互层网络的模型权重W～划分成第一权重R和第二权重W(即W～＝R+W)；并由第一参与方储存第一权重R，由第二参与方存储第二权重W，从而实现第一参与方和第二参与方以秘密分享的安全技术手段来共同存储交互层网络的模型权重。其次，第二参与方可创建同态加密的密钥对，该密钥对中包括私钥(secret key，sk)和公钥(public key，pk)；并将公钥pk发送给第一参与方，该公钥pk用于加密模型训练过程或模型推理过程中的中间计算结果。然后，第二参与方可采用私钥sk对第二权重W进行同态加密，得到第二权重W的权重密文[W]，并将该权重密文发送给第一参与方进行存储，如图1e所示。可见，通过初始化过程可使得：第一参与方维护第一权重R和第二权重W的权重密文[W]，第二参与方维护第二权重W。需说明的是：第二参与方不向第一参与方披露私钥sk；且第一权重R和第二权重W分别存储于第一参与方与第二参与方中，不互相披露。需说明的是，本申请实施例所提及的同态加密，均可通过加法同态加密算法实现，如Paillier同态加密算法，Okamoto-Uchiyama同态加密算法，RIAC同态加密算法，等等。

2)数据处理过程：第一参与方可获取目标数据标识所关联的第一特征数据，并将自身所持有的第一特征数据输入至第一子模型中，由第一子模型对第一特征数据进行特征处理，得到第一数据特征X。同理，第二参与方可将自身所持有的第二特征数据输入至第二子模型中，由第二子模型对第二特征数据进行特征处理，得到第二数据特征Z_B。另外，第一参与方可借助第二权重的权重密文的同态运算性质，计算特征密文[Z_A]＝X[W]+XR，并将该特征密文[Z_A]发送给第二参与方。相应的，第二参与方在接收到该特征密文[Z_A]后，可解密该特征密文，从而得到目标数据特征Z_A＝XW+XR＝X(W+R)＝XW～。然后，第二参与方可将Z_A和Z_B以某种方式进行融合，得到融合数据特征Z，并调用上层子模型对该融合数据特征Z进行前向计算，从而得到目标数据标识所对应的目标处理结果(即整个联邦神经网络模型的输出结果)，如图1f所示。

本申请实施例通过联合各个参与方实现对联邦神经网络模型的学习，可显著扩展联邦神经网络模型可学习的数据特征，从而提升目标处理结果的准确性。例如，第一参与方(例如，某广告公司)和第二参与方(例如，某社交网络平台)联合；且第一参与方拥有的第一数据特征包括40维数据特征，如(K1，K2，…，K40)，第二参与方拥有的第二数据特征包括60维数据特征，如(K41，K42，…，K100)；那么第一参与方和第二参与方联合起来，就可拥有了更多的数据特征，即100维数据特征，因此可显著扩展联邦神经网络模型所学习的数据特征的特征维度。

需说明的是，上述2)数据处理过程可以是联邦神经网络模型的模型推理过程，也可以是联邦神经网络模型的模型训练所涉及的前向计算过程，对此不作限定。当上述2)数据处理过程是联邦神经网络模型的模型训练所涉及的前向计算过程时，第二参与方中还可拥有目标数据标识的数据标签信息；在此情况下，第二参与方在得到目标数据标识所对应的目标处理结果后，还可继续执行模型训练所涉及的后向传播过程，以基于目标处理结果和数据标签信息之间的差异，反向传播梯度，从而更新联邦神经网络模型的模型参数，以达到模型训练的目的。还需说明的是，上述所提及的内容均只是示例性地阐述本申请实施例所提出的纵向联邦学习方案的大致原理，并不对此进行限定。例如，上述所提及的内容是以第二参与方具有目标数据标识所关联的第二特征数据为例进行说明的；例如在实际的联邦神经网络模型的前向计算过程中，第二参与方中也可能没有目标数据标识所关联的第二特征数据，此时可认为第二数据特征Z_B为空。

基于上述纵向联邦学习方案的相关描述，本申请实施例提出一种基于联邦神经网络模型的数据处理方法，该基于联邦神经网络模型的数据处理方法可由第二参与方和一个第一参与方共同执行。在本申请实施例中，联邦神经网络模型可包括交互层网络，该交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；并且，第一参与方还持有：对第二权重进行同态加密所得到的权重密文。请参见图2，该基于联邦神经网络模型的数据处理方法可包括以下步骤S201-S207：

S201，第一参与方采用第一权重对目标数据标识关联的第一数据特征进行加权处理，得到第一加权特征。

其中，第一参与方中可存储有第一数据集，该第一数据集中可包括一个或多个数据标识以及每个数据标识所关联的特征数据；同理，第二参与方中也可存储有第二数据集，该第二数据集中可包括一个或多个数据标识以及每个数据标识所关联的特征数据。其中，此处的数据标识可以是用于标识用户身份的标识，如社交账号、手机号、身份证号等等；特征数据是指可用于反映用户特征的数据，如可用于反映用户的外形特征的外形数据、可用于反映用户的兴趣爱好特征的用户画像数据、可用于反映用户的消费能力特征的消费记录数据、可用于反映用户的信誉特征的征信报告数据，等等。

其中，目标数据标识是指第一数据集和第二数据集中均包括的数据标识。例如，第一数据集中包括：数据标识a、数据标识b以及数据标识c；第二数据集中包括：数据标识a、数据标识e、数据标识f以及数据标识j；那么，目标数据标识便为数据标识a。由前述可知，联邦神经网络模型还可包括：位于第一参与方中的第一子模型；那么相应的，目标数据标识所关联的第一数据特征是由第一参与方调用第一子模型，对目标数据标识关联的第一特征数据进行特征处理后得到的。此处所提及的特征处理可以是任意类型的处理，例如当第一子模型仅由一层输入层构成时，该第一子模型所执行的可以是针对第一特征数据的特征输入处理，即直接将输入的第一特征数据作为第一数据特征的处理；当第一子模型还包括特征提取层时，该第一子模型所执行的特征处理可以是针对第一特征数据的特征提取处理。

也就是说，在具体实现中，第一参与方可先从第一数据集中获取目标数据标识所关联的第一特征数据；其次，可调用第一子模型对第一特征数据进行特征处理，得到目标数据标识关联的第一数据特征(后续采用X表示)。然后，可从存储空间中读取第一权重(后续采用R表示)；并通过步骤S201采用第一权重R对目标数据标识关联的第一数据特征X进行加权处理，得到第一加权特征XR。其中，此处的加权处理可理解成：采用第一权重R对第一数据特征X进行的线性处理。

S202，第一参与方采用第二权重的权重密文对第一数据特征进行加权处理，得到第二加权特征。与步骤S201的具体实施方式类似，记第二权重的权重密文为[W]，则通过步骤S202所得到的第二加权特征可以表示为X[W]。

S203，第一参与方对第一加权特征和第二加权特征进行整合，得到特征密文。

在具体实现中，由于第一加权特征是采用第一权重对目标数据标识关联的第一数据特征进行加权得到的，第二加权特征是采用第二权重的权重密文对第一数据特征进行加权得到的，且第二权重的权重密文是通过同态加密得到的。因此，第一参与方可借助同态加密的性质，对第一加权特征和第二加权特征进行求和运算，以实现对第一加权特征和第二加权特征的整合，得到特征密文；采用[Z_A]表示特征密文，则[Z_A]＝X[W]+XR。这样的整合方式，可使得该特征密文[Z_A]的解密结果Z_A(即Z_A＝XW+XR)与：对采用第一权重对第一数据特征进行加权所得到的第一加权特征XR，和采用第二权重对第一数据特征进行加权所得到的特征XW，进行求和运算所得到的结果(XR+XW)相等同。

S204，第一参与方将特征密文发送至第二参与方，使第二参与方根据特征密文以及目标数据标识关联的第二数据特征，计算目标数据标识对应的目标处理结果。

相应的，第二参与方可接收第一参与方发送的特征密文，特征密文是对第一加权特征和第二加权特征进行整合得到的；且第一加权特征是采用第一权重对目标数据标识关联的第一数据特征进行加权得到的，第二加权特征是采用第二权重的权重密文对第一数据特征进行加权得到的。

S205，第二参与方对特征密文进行解密，得到目标数据特征。

具体的，第二参与方可采用密钥对中的私钥对特征密文进行解密，并将特征密文的解密结果Z_A作为目标数据特征。由于特征密文[Z_A]的解密结果Z_A(即目标数据特征)为XR+XW，而XR+XW＝X(R+W)＝XW～，此处的W～表示交互层网络的模型权重；因此可知，目标数据特征与采用模型权重W～对第一数据特征X进行加权后的特征相同。

S206，第二参与方融合目标数据特征以及目标数据标识关联的第二数据特征，得到融合数据特征。

其中，目标数据标识所关联的第二数据特征是由第二参与方调用第二子模型，对目标数据标识关联的第二特征数据进行特征处理后得到的。此处所提及的特征处理可以是任意类型的处理，例如当第二子模型仅由一层输入层构成时，该第二子模型所执行的特征处理可以是针对第二特征数据的特征输入处理，即直接将输入的第二特征数据作为第二数据特征的处理；当第二子模型还包括特征提取层时，该第二子模型所执行的特征处理可以是针对第二特征数据的特征提取处理。

也就是说，在具体实现中，第二参与方可先从第二数据集中获取目标数据标识所关联的第二特征数据；其次，可调用第二子模型对第二特征数据进行特征处理，得到目标数据标识关联的第二数据特征(后续采用Z_B表示)。然后，第二参与方可通过步骤S206融合目标数据特征Z_A以及目标数据标识关联的第二数据特征Z_B，得到融合数据特征(后续采用Z表示)。需要说明的是，本申请实施例所提及的任一数据特征(如目标数据特征、第一数据特征、第二数据特征等)，本质上均是一个向量；第二参与方可采用任意的向量融合方式，对目标数据特征和第二数据特征进行融合处理，得到融合数据特征Z，即本申请实施例对该向量融合方式不作限定。例如，第二参与方可采用向量拼接融合的方式，对目标数据特征Z_A以及第二数据特征Z_B进行融合处理，得到融合数据特征Z；即第二参与方可直接在目标数据特征Z_A之后或之前，拼接第二数据特征Z_B，得到融合数据特征Z。又如，第二参与方也可采用加权平均融合的方式，对目标数据特征Z_A以及第二数据特征Z_B进行融合处理，得到融合数据特征Z；即第二参与方可获取目标数据特征的权重值，以及第二数据特征的权重值，并基于获取到的权重值对目标数据特征和第二数据特征进行加权求和，得到融合数据特征Z。

还需说明的是，本申请实施例所提及的第一数据特征和第二数据特征是指同一个用户在不同维度下的用户特征；两者可完全不同或者部分不同，对此不作限定。例如，设第一数据特征可以包括用户的年龄特征、职业特征、兴趣爱好特征等用户特征；若第二数据特征可以包括用户的年龄特征、消费能力特征等用户特征，则此时的第一数据特征和第二数据特征为部分不同；若第二数据特征包括用户的消费能力特征、信誉特征等用户特征，则此时的第一数据特征和第二数据特征为完全不同。并且，第一数据特征和第二数据特征可以是用于对联邦神经网络模型进行模型训练的样本数据特征，那么此情况下的步骤S201-S207所对应的处理过程，可理解成是联邦神经网络模型的模型训练过程中所涉及的前向计算过程。或者，第一数据特征和第二数据特征可以是联邦神经网络模型在模型推理过程中所涉及的实际数据特征，那么此情况下的步骤S201-S207所对应的处理过程，可理解成是联邦神经网络模型的模型推理过程。

S207，第二参与方对融合数据特征进行前向计算，得到目标数据标识所对应的目标处理结果。

在具体实现中，第二参与方可调用自身所拥有的上层子模型对融合数据进行前向计算，得到目标数据标识所对应的目标处理结果。其中，上层子模型可以具有任意网络结构的神经网络模型，该上层子模型的网络结构可以根据联邦神经网络模型的模型功能来确定；例如，若联邦神经网络模型是一个类别预测模型，即联邦神经网络模型的模型功能是类别预测功能，则上层子模型可至少包括用于实现类别预测的分类器和输出层。又如，若联邦神经网络模型是一个常用的纵向联邦线性回归模型或逻辑回归模型，即联邦神经网络模型的模型功能是线性回归或逻辑回归功能，则上层子模型可包括一个输出层。应理解的是，以上只是示例性地说明上层子模型的模型结构，并非穷举。

可见，联邦神经网络模型的模型功能主要是通过上层子模型来实现的；随着联邦神经网络模型的模型功能的不同，通过该上层子模型所得到的目标数据标识的目标处理结果也不同。例如，若联邦神经网络模型的模型功能是类别预测功能，则目标数据标识的目标处理结果可包括：基于融合数据特征所预测得到的预测类别标签。又如，若联邦神经网络模型的模型功能是线性回归或逻辑回归功能，则目标数据标识的目标处理结果可包括：基于融合数据特征所输出的线性回归或逻辑回归结果。再如，若联邦神经网络模型的模型功能是对象识别功能，则目标数据标识的目标处理结果可包括：基于融合数据特征所识别出的目标对象的对象标识。应理解的是，以上只是示例性地说明目标处理结果的具体内容，并非穷举。

由前述可知，上述步骤S201-S207所对应的处理过程，可以是联邦神经网络模型的模型训练过程中所涉及的前向计算过程，也可以是联邦神经网络模型的模型推理过程。当上述步骤S201-S207所对应的处理过程是联邦神经网络模型的前向计算过程时，第二参与方在得到目标处理结果后，还可采用目标处理结果对联邦神经网络模型进行模型训练；当上述步骤S201-S207所对应的处理过程是联邦神经网络模型的模型推理过程时，第二参与方在得到目标处理结果后，可直接输出该目标处理结果。

可选的，第二参与方还可将目标数据标识所对应的目标处理结果上传至区块链，以防止目标处理结果被篡改。其中，区块链由多个区块组成，如图3a所示；创始块中包括区块头和区块主体，区块头中存储有输入信息特征值、版本号、时间戳和难度值，区块主体中存储有输入信息；创始块的下一区块以创始块为父区块，下一区块中同样包括区块头和区块主体，区块头中存储有当前区块的输入信息特征值、父区块的区块头特征值、版本号、时间戳和难度值，并以此类推，使得区块链中每个区块中存储的区块数据均与父区块中存储的区块数据存在关联，保证了区块中输入信息的安全性。基于此，将目标数据标识所对应的目标处理结果上传至区块链中的具体实施方式可以是：

若第二参与方位于区块链网络内，则先可将目标数据标识所对应的目标处理结果添加至目标区块的区块主体中，并对区块主体中的目标处理结果进行哈希运算，得到默克尔哈希值。其次，可采用随机算法生成一个随机数，并采用计算得到的默克尔哈希值、随机数、版本号、上一区块哈希值、当前时间戳以及当前难度值组成目标区块的区块头部，如图3b所示。其中，版本号是指区块链中相关区块协议的版本信息；上一区块哈希值是指上一区块的区块头部的特征值；当前时间戳是指组成区块头部时的系统时间；当前难度值是指计算的难度值，该难度值在固定时间段内为定值，并在超出固定时间段后再次进行确定。然后，可采用特征值算法(如SHA256算法)对区块头部所包含的内容进行一次或多次哈希运算，得到目标区块的区块头部的特征值；此处的哈希运算的次数可根据计算难度确定，计算难度越大，哈希运算的次数越多。在基于上述步骤得到目标区块后，可将该目标区块广播给区块链网络中的各个共识节点进行共识处理；在通过共识处理后，将目标区块添加至区块链上。应理解的是，若第二参与方未位于区块链网络内，则可将目标处理结果发送给区块链网络中的任一共识节点，由该任一共识节点执行上述步骤，以将该目标处理结果存储至区块链中。

可选的，第二参与方还可采用云技术对目标数据标识所对应的目标处理结果进行云存储处理。其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。相应的，云存储(cloudstorage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。

本申请实施例通过将交互层网络的模型权重划分成第一权重和第二权重，并将第一权重和第二权重分别存储于第一参与方和第二参与方中，且第一参与方和第二参与方之间互不披露各自持有的权重，这样可有效提升模型权重的安全性。另外，由于第一参与方还持有第二权重的权重密文，因此在模型推理或模型训练的前向计算过程中，第一参与方可采用第一权重和第二权重的权重密文分别对第一数据特征进行加权，得到第一加权特征和第二加权特征；并将通过整合第一加权特征和第二加权特征所得到的特征密文发送给第二参与方，使第二参与方对该特征密文进行解密，并根据解密得到的目标数据特征计算目标数据标识所对应的目标处理结果。由于第二权重的权重密文是通过对第二权重进行同态加密所得到的，因此借助加法同态加密的性质，可使得第二参与方解密该特征密文所得到的目标数据特征与采用模型权重对第一数据特征进行加权后的特征相同。可见，通过借助同态加密技术在第一参与方中存储第二权重的权重密文，可实现在不向第一参与方披露第二权重的情况下，获取到第二权重作用于第一数据特征后的结果，从而有效提升目标数据特征的信息全面性，进而提升目标处理结果的准确性。在整个处理过程中，第一参与方和第二参与方可进行一次通信交互，这样可有效较少通信交互的次数，从而有效减少通信资源，如网络带宽开销；且随着通信交互的次数较少，还可有效缩短整个处理过程所需的时长，从而有效提升数据处理效率。

需要说明的是，上述图2所示的方法实施例是以第二参与方和一个第一参与方进行通信交互为例进行说明的；但在实际应用中，图2所示的基于联邦神经网络模型的数据处理方法，也可适用于第二参与方和N个第一参与方进行通信交互的场景；N为大于1的整数，N个第一参与方可依次记为：A₁，A₂，…，A_N。在此场景下，联邦神经网络模型的交互层网络可具有N个模型权重，一个模型权重被划分成一个第一权重和一个第二权重；且任一模型权重所对应的的第一权重由一个第一参与方持有，任一模型权重所对应的第二权重由第二参与方持有。在具体实现中，第二参与方可采用并行通信方式，和各个第一参与方进行通信交互，以获取到N个目标数据特征；即第二参与方和采用并行通信方式，接收每个第一参与方发送的特征密文，并异步地对各个特征密文进行解密，从而得到N个目标数据特征。

相应的，在此情况下，上述方法实施例中所提及的步骤S206的具体实施方式可以是：可对N个目标数据特征和第二数据特征进行融合，得到融合数据特征。第二参与方在得到融合数据特征后，可通过步骤S207对融合数据特征进行前向计算，得到目标数据标识所对应的目标处理结果。也就是说，当第一参与方的数量为N时，第二参与方和第一参与方A_i分别两两进行通信交互(i＝1，2，…，N)。例如，参见图3c所示：第二参与方和第一参与方A_i分别两两进行联邦计算，从而得到

然后，第二参与方可采用某种融合方式对

以及Z_B进行融合处理，得到融合数据特征Z。然后，第二参与方可调用上层子模型对融合数据特征Z进行前向计算，得到目标数据标识所对应的目标处理结果。

在本申请实施例中，由于第二参与方与其他N个第一参与方可以并行地进行通信交互，这样可使得模型训练所涉及的前向计算过程或模型推理过程所需的时间并不随着N的增加而增加，可以有效提升多方联邦学习的模型训练或模型推理的效率。

基于上述描述，本申请实施例还提供另一种基于联邦神经网络模型的数据处理方法的流程示意图，该基于联邦神经网络模型的数据处理方法可由第二参与方和一个第一参与方共同执行。在本申请实施例中，联邦神经网络模型可包括交互层网络，该交互层网络的模型权重W～被划分成：由第一参与方持有的第一权重R，以及由第二参与方持有的第二权重W；并且，第一参与方还持有：对第二权重进行同态加密所得到的权重密文[W]。另外，第二参与方中还可拥有目标数据标识的数据标签信息，以及联邦神经网络模型的损失函数等信息，如图4a中的白色实线框所示。

需说明的是，本申请实施例主要以第一数据特征和第二数据特征是用于对联邦神经网络模型进行模型训练的样本数据特征为例进行说明，即本申请实施例主要对联邦神经网络模型的模型训练过程进行阐述。本申请实施例可采用随机梯度下降(StochasticGradient Descent，SGD)法对联邦神经网络模型进行模型训练。基于SGD的模型训练方法需要进行多次梯度下降迭代，每一次迭代可分为两个阶段：(i)前向计算联邦神经网络模型的输出结果；(ii)后向传播并计算联邦神经网络模型的模型损失值以及相关梯度，并使用所计算的相关梯度更新模型参数。上述迭代重复执行，直到满足停止条件；此处的停止条件可包括以下任一项：联邦神经网络模型达到收敛(损失值不再减小，或损失值的减小幅度小于幅度阈值等)、达到所允许最大迭代次数、达到最大的模型训练时间，等等。还需说明的是，为了减少计算量和获得更好的训练效果，通常每一次SGD迭代中只处理一个小批量(mini-batch)的训练数据，例如，每个小批量包括128个训练样本。这种情况下，需要第一参与方和第二参与方协调进行训练样本的分批和小批量的选择，以便各个参与方在每次迭代所选择的小批次中的训练样本是对齐的。

下面结合图4b所示的流程图，对本申请实施例所提出的基于联邦神经网络模型的数据处理方法进行阐述；应理解的是，图4b所示的流程为模型训练过程中的一次迭代过程。请参见图4b，该基于联邦神经网络模型的数据处理方法可包括以下步骤S401-S409：

S401，第一参与方采用第一权重R对目标数据标识关联的第一数据特征进行加权处理，得到第一加权特征XR。

需要说明的是，步骤S401-S407的具体实施方式可参见上述方法实施例中的步骤S201-S207的相关描述，在此不再赘述。另外，在执行步骤S401之前，第一参与方和第二参与方之间可进行加密样本对齐处理，以确定出目标数据标识。此处所提及的加密样本对齐处理是指：以加密的方式，筛选出各个参与方各自拥有的数据集中的数据标识的交集部分，即求第一参与方的第一数据集和第二参与方的第二数据集中的相同数据标识，且不能泄露非交集部分的数据标识的处理。在具体实现中，第一参与方和第二参与方可基于Freedman协议(一种通信协议)的算法实现加密样本对齐处理，从而确定出目标数据标识，该目标数据标识是指第一数据集和第二数据集中均包括的数据标识。

S402，第一参与方采用第二权重的权重密文对第一数据特征进行加权处理，得到第二加权特征X[W]。

S403，第一参与方对第一加权特征和第二加权特征进行整合，得到特征密文[Z_A]，[Z_A]＝X[W]+XR。

S404，第一参与方将特征密文发送至第二参与方。

S405，第二参与方对特征密文进行解密，得到目标数据特征Z_A。

S406，第二参与方融合目标数据特征以及目标数据标识关联的第二数据特征Z_B，得到融合数据特征Z。

S407，第二参与方对融合数据特征进行前向计算，得到目标数据标识所对应的目标处理结果。

S408，第二参与方获取目标数据标识对应的数据标签信息，并根据数据标签信息和目标处理结果之间的差异，计算联邦神经网络模型的模型损失值。

其中，目标数据标识所对应的数据标签信息可根据联邦神经网络模型的模型功能确定。例如，当联邦神经网络模型的模型功能为类别预测功能时，目标数据标识所对应的数据标签信息可包括：目标数据标识所对应的标注类别标签；又如，当联邦神经网络模型的模型功能为对象识别功能时，目标数据标识所对应的数据标签信息可包括：目标数据标识所对应的标注对象的对象标识；再如，当联邦神经网络模型的模型功能为线性回归或逻辑回归功能时，目标数据标识所对应的数据标签信息可包括：目标数据标识所对应的标注回归结果。应理解的是，以上只是示例性地说明目标数据标识对应的数据标签信息的具体内容，并非穷举。

第二参与方在获取到目标数据标识对应的数据标签信息后，可采用第二参与方所持有的损失函数，根据数据标签信息和目标处理结果之间的差异，计算联邦神经网络模型的模型损失值。其中，数据标签信息和目标处理结果之间的差异，与模型损失值成正比；即数据标签信息和目标处理结果之间的差异越大，则模型损失值越大。其中，联邦神经网络模型的损失函数可根据联邦神经网络模型的模型功能确定，本申请实施例对联邦神经网络模型的损失函数不作限定。例如，当联邦神经网络模型的模型功能是类别预测功能时，该损失函数可以是交叉熵损失函数，指示函数、Hinge损失函数(0-1损失的代理损失函数)、或者Logistic损失函数，等等。当联邦神经网络模型的模型功能是线性回归或逻辑回归时，该损失函数可以是平方损失函数(或称为均值回归函数)、或者绝对损失函数(或称为中值回归函数)，等等。应理解的是，以上只是示例性地说明损失函数的具体内容，并非穷举。

S409，第二参与方基于模型损失值，更新联邦神经网络模型。

其中，第二参与方在“更新联邦神经网络模型”时，可包括以下至少一项：更新交互层网络的第二权重、协同第一参与方更新第一子模型的模型参数、更新第二子模型的模型参数，以及更新上层子模型的模型参数，等等。基于此，在具体实现中，步骤S409可包括以下至少一种实施方式：

①关于更新上层子模型的模型参数的实施方式：第二参与方可基于模型损失值计算上层子模型的参数梯度；然后，根据参数梯度更新上层子模型的模型参数。

②关于更新交互层网络的第二权重的实施方式：第二参与方可根据模型损失值，计算目标数据特征Z_A产生的目标特征梯度(采用

表示)；并对目标特征梯度进行同态加密，得到第一梯度密文(采用

表示)。然后，第二参与方可将第一梯度密文发送至第一参与方，使第一参与方在根据第一梯度密文、第一数据特征以及第一噪声参数，生成并返回权重梯度密文。

相应的，第一参与方可接收第二参与方发送的第一梯度密文，该第一梯度密文是对目标数据特征的目标特征梯度进行同态加密得到的。然后，第一参与方可根据第一梯度密文、第一数据特征以及第一噪声参数，生成权重梯度密文；并向第二参与方返回权重梯度密文，使第二参与方在解密权重梯度密文得到噪声权重梯度后，可根据噪声权重梯度更新第二权重。

其中，根据第一梯度密文

第一数据特征X以及第一噪声参数φ，生成权重梯度密文的具体方式如下：由前述可知，

因此可得

X^T表示第一数据特征的转置矩阵；通过此关系可得交互层网络的模型权重

的权重梯度

和目标特征梯度

之间的关系为：

基于此，第一参与方可借助密文的同态运算性质计算第一数据特征的转置矩阵X^T和第一梯度密文

之间的乘积，得到

由于第二参与方已知目标数据特征Z_A，因此若第一参与方直接将

作为模型权重的权重梯度密文发送给第二参与方，则会使得第二参与方反推出第一数据特征X，这样会导致数据安全性较低；基于此，第一参与方还可采用第一噪声参数φ对

进行加噪处理，得到权重梯度密文；例如，第一参与方可对

和第一噪声参数φ进行差值运算，将差值运算结果作为权重梯度密文，即权重梯度密文的计算公式为：

即权重梯度密文可表示为

相应的，第二参与方在接收到权重梯度密文后，可对权重梯度密文进行解密处理，得到噪声权重梯度；由于权重梯度密文为

因此由前述所提及的同态加密的性质可知，噪声权重梯度为

可见，该噪声权重梯度与采用第一噪声参数对模型权重的权重梯度进行加噪处理后的梯度相同。然后，第二参与方可根据噪声权重梯度更新第二权重；具体的，第二权重R的更新公式可以是：

η表示预设的学习率；即可先计算学习率和噪声权重梯度的乘积

然后对第二权重W和该乘积

进行差值运算，将差值运算的结果作为更新后的第二权重W。

③关于协同第一参与方更新第一子模型的模型参数的实施方式：第一参与方可根据第一梯度密文

第一权重R以及第二噪声参数(采用ε表示)，生成参考梯度密文；具体的，与前述所提及的权重梯度密文的计算方式类似，参考梯度密文的计算公式可以是：

即参考梯度密文可表示为

通过采用第二噪声参数ε对

进行加噪处理，可防止第二参与方计算出

从而反推出R的取值，这样可有效保证第一权重的隐私安全。在生成参考梯度密文后，第一参与方可将参考梯度密文发送至第二参与方，使第二参与方可根据参考梯度密文、第二权重以及目标特征梯度，计算并返回噪声特征梯度。

相应的，第二参与方可接收第一参与方发送的参考梯度密文，该参考梯度密文是根据第一梯度密文、第一权重以及第二噪声参数生成的。其次，第二参与方可对参考梯度密文进行解密处理，得到参考特征梯度；具体的，由前述所提及的同态加密的性质可知，参考特征梯度可表示为

可见，该参考特征梯度用于反映：目标特征梯度、第一权重，和第二噪声参数的融合结果。然后，第二参与方可根据参考特征梯度、第二权重以及目标特征梯度，计算噪声特征梯度。具体的，第二参与方可根据第二权重W和目标特征梯度

计算基准特征梯度

然后，对基准特征梯度

和参考特征梯度

进行求和处理，得到关于第一数据特征的噪声特征梯度

由于

而

可理解成是第一数据特征产生的第一特征梯度

因此噪声特征梯度可表示为

由此可见，该噪声特征梯度与采用第二噪声参数ε对第一数据特征产生的第一特征梯度

进行加噪处理后的梯度相同；第一特征梯度是指：根据第一权重、第二权重和目标特征梯度计算出的梯度。在计算出噪声特征梯度后，第二参与方可将噪声特征梯度发送至第一参与方，使第一参与方在根据噪声特征梯度和第二噪声参数，更新第一子模型的模型参数。

相应的，第一参与方在接收到噪声特征梯度后，可采用第二噪声参数对噪声特征梯度进行去噪处理，得到第一数据特征产生的第一特征梯度。具体的，由于噪声特征梯度为

因此第一参与方可对噪声特征梯度和第二噪声参数进行差值运算，以实现对噪声特征梯度的去噪处理，从而得到第一特征梯度；也就是说，第一特征梯度的计算公式可以是：

然后，第一参与方可根据第一数据特征产生的第一特征梯度，计算第一子模型的第一参数梯度；具体的，第一参与方可直接将第一特征梯度作为第一参数梯度，或者对第一特征梯度继续反向传播，得到第一参数梯度。在得到第一参数梯度后，第一参与方可根据第一参数梯度更新第一子模型的模型参数。

④关于更新第二子模型的模型参数的实施方式：第二参与方可根据模型损失值，计算第二数据特征产生的第二特征梯度(采用

表示)；然后，第二参与方可对第二特征梯度进行反向传播，得到第二子模型的第二参数梯度；并根据第二参数梯度更新第二子模型的模型参数。可选的，在其他实施例中，第二参与方也可直接将第二特征梯度作为第二参数梯度，从而更新第二子模型的模型参数。

需说明的是，除了可由第二参与方通过上述实施方式①-④，更新对联邦神经网络模型中的交互层网络的第二权重、第一子模型、第二子模型以及上层子模型的模型参数以外，联邦神经网络模型中的交互层网络的第一权重以及第二权重的权重密文，还可由第一参与方进行更新。例如，第一参与方可获取预设的学习率，以及第一噪声参数；然后，第二参与方可采用该学习率和第一噪声参数，更新第一参与方所持有的第一权重。具体的，采用η表示学习率，采用φ表示第一噪声参数，则第一权重R的更新公式可以是：R-ηφ→R；即可先计算学习率和第一噪声参数的乘积ηφ，然后对第一权重R和该乘积ηφ进行差值运算，将差值运算的结果作为更新后的第一权重。再如，第一参与方可根据噪声权重梯度，更新第二权重的权重密文；具体的，更新第二权重的权重密文[W]的更新公式可以是：

即可先计算学习率和噪声权重梯度的乘积

然后对第二权重的权重密文[W]和该乘积

进行差值运算，将差值运算的结果作为更新后的权重密文。

基于上述步骤S408-S409的相关描述，下面结合图4c对联邦神经网络模型的后向传播过程作进一步阐述：

Step1：第二参与方根据目标处理结果和数据标签信息，计算联邦神经网络模型的模型损失值；第二参与方根据该模型损失值计算联邦神经网络模型中的上层子模型的参数梯度，并根据该参数梯度更新上层子模型的模型参数。

Step2：第二参与方根据该模型损失值，分别计算Z_A和Z_B的梯度

和

使用同态加密技术对

进行同态加密，得到第一梯度密文

并将第一梯度密文

发给第一参与方。

Step3：第一参与方生成第一噪声参数φ和第二噪声参数ε，计算权重梯度密文：

参考梯度密文：

并将权重梯度密文

和参考梯度密文

发送给第二参与方，使得第二参与方分别解密权重梯度密文和参考梯度密文，得到噪声权重梯度

和参考特征梯度

Step4：第二参与方计算噪声特征梯度：

并将噪声特征梯度

发送给第一参与方，使得第一参与方可根据该噪声特征梯度计算出第一数据特征产生的第一特征梯度：

Step5:第一参与方更新第一权重：R-ηφ→R，以及更新第二权重的权重密文：

第二参与方更新第二权重：

Step6：第一参与方和第二参与方分别使用

和

继续反向传播，以及更新各自的下层子模型的模型参数(即第一子模型的模型参数，和第二子模型的模型参数)。

需要说明的是，尽管交互层网络的模型参数

始终以秘密分享形式分别存储于参与方A与参与方B，即

前向计算与反向传播总是能得到正确的结果。如前向计算总是能得到正确的模型输出，

同样地，反向传播总是能正确地更新模型，即R-ηφ→R与

等价于

以及

可选的，在基于图4b所示的方法实施例，训练得到一个优化的联邦神经网络模型后，还可将该优化的联邦神经网络模型上传至区块链进行存储，以防止该优化的联邦神经网络模型被篡改。其中，将优化的联邦神经网络模型存储至区块链的具体实施方式，与前述所提及的将目标处理结果存储至区块链的具体实施方式类似，在此不再赘述。或者，还可采用云技术对该优化后的联邦神经网络模型进行云存储处理，以将优化后的联邦神经网络模型存储于云端存储器中；这样可使得在后续需使用该联邦神经网络模型时，可以直接从云端存储器中获取到该联邦神经网络模型进行模型推理，无需对联邦神经网络模型进行再次训练，提升数据处理的效率。

本申请实施例可在联邦神经网络模型的模型训练过程，通过基于同态加密和秘密分享的技术的隐私保护协议来保护参与方的数据隐私信息。通过本申请实施例可使得在前向计算过程中，第一参与方和第二参与方之间进行一轮通信交互；在后向传播过程中，第一参与方和第二参与方之间进行三轮通信交互。可见，本申请实施例可有效减少参与方之间的通信次数，适用于大规模的联邦神经网络模型的训练任务。进一步的，随着通信轮数的减少，使得通信总量也随之减少，从而可减少联邦学习里由于通信交互造成的网络带宽开销。

基于上述基于联邦神经网络模型的数据处理方法的相关实施例的描述，本申请实施例还提出了一种基于联邦神经网络模型的数据处理装置，该数据处理装置可以是运行于第一参与方中的一个计算机程序(包括程序代码)。所述联邦神经网络模型包括交互层网络；所述交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；所述第一参与方还持有：对所述第二权重进行同态加密所得到的权重密文；所述装置运行于第一参与方中。具体的，该数据处理装置可以执行图2或图4b所示的数据处理方法中的部分方法步骤；请参见图5，所述数据处理装置可以运行如下单元：

第一处理单元501，用于采用所述第一权重对目标数据标识关联的第一数据特征进行加权处理，得到第一加权特征；

所述第一处理单元501，还用于采用所述第二权重的所述权重密文对所述第一数据特征进行加权处理，得到第二加权特征；

所述第一处理单元501，还用于对所述第一加权特征和所述第二加权特征进行整合，得到特征密文；

第一通信单元502，用于将所述特征密文发送至所述第二参与方，使所述第二参与方根据所述特征密文以及所述目标数据标识关联的第二数据特征，计算所述目标数据标识对应的目标处理结果。

在一种实施方式中，所述第一数据特征和所述第二数据特征是用于对所述联邦神经网络模型进行模型训练的样本数据特征；相应的，第一处理单元501还可用于：

接收所述第二参与方发送的第一梯度密文，所述第一梯度密文是对所述目标数据特征的目标特征梯度进行同态加密得到的；

根据所述第一梯度密文、所述第一数据特征以及第一噪声参数，生成权重梯度密文；

向所述第二参与方返回所述权重梯度密文，使所述第二参与方在解密所述权重梯度密文得到噪声权重梯度后，根据所述噪声权重梯度更新所述第二权重。

另一种实施方式中，第一处理单元501还可用于：

根据所述噪声权重梯度，更新所述第二权重的权重密文。

另一种实施方式中，所述联邦神经网络模型还包括：位于所述第一参与方中的第一子模型，所述第一数据特征是由所述第一参与方调用所述第一子模型，对所述目标数据标识关联的第一特征数据进行特征处理后得到的；相应的：

第一处理单元501，还可用于根据所述第一梯度密文、所述第一权重以及第二噪声参数，生成参考梯度密文；

第一通信单元502，还可用于将所述参考梯度密文发送至所述第二参与方，使所述第二参与方根据所述参考梯度密文、所述第二权重以及所述目标特征梯度，计算并返回噪声特征梯度；所述噪声特征梯度与采用所述第二噪声参数对所述第一数据特征产生的第一特征梯度进行加噪处理后的梯度相同；

第一处理单元501，还可用于在接收到所述噪声特征梯度后，采用所述第二噪声参数对所述噪声特征梯度进行去噪处理，得到所述第一数据特征产生的第一特征梯度；

第一处理单元501，还可用于根据所述第一数据特征产生的第一特征梯度，计算所述第一子模型的第一参数梯度；并根据所述第一参数梯度更新所述第一子模型的模型参数。

根据本申请的一个实施例，图2或图4b所示的方法所涉及的部分方法步骤可以是由图5所示的数据处理装置中的各个单元来执行的。例如，图2中所示的步骤S201-步骤S203均可由图5中所示的第一处理单元501执行，步骤S204可由图5中所示的第一通信单元502执行。又如，图4b中所示的步骤S401-步骤S403均可由图5中所示的第一处理单元501执行，步骤S404可由图5中所示的第一通信单元502执行，等等。

根据本申请的另一个实施例，图5所示的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4b中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图5中所示的数据处理装置设备，以及来实现本申请实施例的数据处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

本申请实施例通过将交互层网络的模型权重划分成第一权重和第二权重，并将第一权重和第二权重分别存储于第一参与方和第二参与方中，且第一参与方和第二参与方之间互不披露各自持有的权重，这样可有效提升模型权重的安全性。另外，由于第一参与方还持有第二权重的权重密文，因此在模型推理或模型训练的前向计算过程中，第一参与方可采用第一权重和第二权重的权重密文分别对第一数据特征进行加权，得到第一加权特征和第二加权特征；并将通过整合第一加权特征和第二加权特征所得到的特征密文发送给第二参与方，使第二参与方对该特征密文进行解密，并根据解密得到的目标数据特征计算目标数据标识所对应的目标处理结果。由于第二权重的权重密文是通过对第二权重进行同态加密所得到的，因此借助加法同态加密的性质，可使得第二参与方解密该特征密文所得到的目标数据特征与采用模型权重对第一数据特征进行加权后的特征相同。可见，通过借助同态加密技术在第一参与方中存储第二权重的权重密文，可实现在不向第一参与方披露第二权重的情况下，获取到第二权重作用于第一数据特征后的结果，从而有效提升目标数据特征的信息全面性，进而提升目标处理结果的准确性。在整个处理过程中，第一参与方和第二参与方可进行一次通信交互，这样可有效较少通信交互的次数，从而有效减少通信资源，如网络带宽开销；且随着通信交互的次数较少，还可有效缩短整个处理过程所需的时长，从而有效提升数据处理效率。

基于上述基于联邦神经网络模型的数据处理方法的相关实施例的描述，本申请实施例还提出了一种基于联邦神经网络模型的数据处理装置，该数据处理装置可以是运行于第一参与方中的一个计算机程序(包括程序代码)。所述联邦神经网络模型包括交互层网络；所述交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；所述第一参与方还持有：对所述第二权重进行同态加密所得到的权重密文；所述装置运行于第二参与方中。具体的，该数据处理装置可以执行图2或图4b所示的数据处理方法中的部分方法步骤；请参见图6，所述数据处理装置可以运行如下单元：

第二通信单元601，用于接收所述第一参与方发送的特征密文，所述特征密文是对第一加权特征和第二加权特征进行整合得到的；所述第一加权特征是采用所述第一权重对目标数据标识关联的第一数据特征进行加权得到的，所述第二加权特征是采用所述第二权重的权重密文对所述第一数据特征进行加权得到的；

第二处理单元602，用于对所述特征密文进行解密，得到目标数据特征；所述目标数据特征与采用所述模型权重对所述第一数据特征进行加权后的特征相同；

所述第二处理单元602，还用于融合所述目标数据特征以及所述目标数据标识关联的第二数据特征，得到融合数据特征；

所述第二处理单元602，还用于对所述融合数据特征进行前向计算，得到所述目标数据标识所对应的目标处理结果。

在一种实施方式中，所述第一数据特征和所述第二数据特征是用于对所述联邦神经网络模型进行模型训练的样本数据特征；相应的，第二处理单元602还可用于：

获取所述目标数据标识对应的数据标签信息；

根据所述数据标签信息和所述目标处理结果之间的差异，计算所述联邦神经网络模型的模型损失值；

基于所述模型损失值，更新所述联邦神经网络模型。

另一种实施方式中，第二处理单元602在用于基于所述模型损失值，更新所述联邦神经网络模型时，可具体用于：

根据所述模型损失值，计算所述目标数据特征产生的目标特征梯度；并对所述目标特征梯度进行同态加密，得到第一梯度密文；

将所述第一梯度密文发送至所述第一参与方，使所述第一参与方在根据所述第一梯度密文、所述第一数据特征以及第一噪声参数，生成并返回权重梯度密文；

在接收到所述权重梯度密文后，对所述权重梯度密文进行解密处理，得到噪声权重梯度；所述噪声权重梯度与采用所述第一噪声参数对所述模型权重的权重梯度进行加噪处理后的梯度相同；

根据所述噪声权重梯度更新所述第二权重。

另一种实施方式中，所述联邦神经网络模型还包括：位于所述第一参与方中的第一子模型，所述第一数据特征是由所述第一参与方调用所述第一子模型，对所述目标数据标识关联的第一特征数据进行特征处理后得到的；相应的，第二处理单元602在用于基于所述模型损失值，更新所述联邦神经网络模型时，还可具体用于：

接收所述第一参与方发送的参考梯度密文，所述参考梯度密文是根据所述第一梯度密文、所述第一权重以及第二噪声参数生成的；

对所述参考梯度密文进行解密处理，得到参考特征梯度，所述参考特征梯度用于反映：所述目标特征梯度、所述第一权重，和所述第二噪声参数的融合结果；

根据所述参考特征梯度、所述第二权重以及所述目标特征梯度，计算噪声特征梯度；所述噪声特征梯度与采用所述第二噪声参数对所述第一数据特征产生的第一特征梯度进行加噪处理后的梯度相同；所述第一特征梯度是指：根据所述第一权重、所述第二权重和所述目标特征梯度计算出的梯度；

将所述噪声特征梯度发送至所述第一参与方，使所述第一参与方在根据所述噪声特征梯度和所述第二噪声参数，更新所述第一子模型的模型参数。

另一种实施方式中，第二处理单元602在用于根据所述参考特征梯度、所述第二权重以及所述目标特征梯度，计算噪声特征梯度时，还可具体用于：

根据所述第二权重和所述目标特征梯度，计算基准特征梯度；

对所述基准特征梯度和所述参考特征梯度进行求和处理，得到噪声特征梯度。

另一种实施方式中，所述联邦神经网络模型还包括：位于所述第二参与方中的第二子模型，所述第二数据特征是由所述第二参与方调用所述第二子模型，对所述目标数据标识关联的第二特征数据进行特征处理后得到的；相应的，第二处理单元602在用于基于所述模型损失值，更新所述联邦神经网络模型时，可具体用于：

根据所述模型损失值，计算所述第二数据特征产生的第二特征梯度；

对所述第二特征梯度进行反向传播，得到所述第二子模型的第二参数梯度；并根据所述第二参数梯度更新所述第二子模型的模型参数。

另一种实施方式中，所述联邦神经网络模型还包括：位于所述交互层网络之上的上层子模型，所述目标处理结果是调用所述上层子模型对所述融合数据特征进行前向计算所得到的；相应的，第二处理单元602在用于基于所述模型损失值，更新所述联邦神经网络模型时，可具体用于：

基于所述模型损失值计算所述上层子模型的参数梯度；

根据所述参数梯度更新所述上层子模型的模型参数。

另一种实施方式中，当所述第一参与方的数量为N时，所述交互层网络具有N个模型权重，N为大于1的整数；其中，一个模型权重被划分成一个第一权重和一个第二权重；任一模型权重所对应的的第一权重由一个第一参与方持有，所述任一模型权重所对应的第二权重由所述第二参与方持有；

所述第二参与方采用并行通信方式，和各个第一参与方进行通信交互，以获取到N个目标数据特征；

相应的，第二处理单元602在用于对所述目标数据特征和所述第二数据特征进行融合，得到融合数据特征时，可具体用于：对N个目标数据特征和所述第二数据特征进行融合，得到融合数据特征。

根据本申请的一个实施例，图2或图4b所示的方法所涉及的部分方法步骤可以是由图6所示的数据处理装置中的各个单元来执行的。例如，图2中所示的步骤S205-步骤S207均可由图6中所示的第二处理单元602执行。又如，图4b中所示的步骤S405-步骤S409均可由图6中所示的第二处理单元602执行，等等。

根据本申请的另一个实施例，图6所示的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于数据处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4b中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的数据处理装置设备，以及来实现本申请实施例的数据处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

本申请实施例通过将交互层网络的模型权重划分成第一权重和第二权重，并将第一权重和第二权重分别存储于第一参与方和第二参与方中，且第一参与方和第二参与方之间互不披露各自持有的权重，这样可有效提升模型权重的安全性。另外，由于第一参与方还持有第二权重的权重密文，因此在模型推理或模型训练的前向计算过程中，第一参与方可采用第一权重和第二权重的权重密文分别对第一数据特征进行加权，得到第一加权特征和第二加权特征；并将通过整合第一加权特征和第二加权特征所得到的特征密文发送给第二参与方，使第二参与方对该特征密文进行解密，并根据解密得到的目标数据特征计算目标数据标识所对应的目标处理结果。由于第二权重的权重密文是通过对第二权重进行同态加密所得到的，因此借助加法同态加密的性质，可使得第二参与方解密该特征密文所得到的目标数据特征与采用模型权重对第一数据特征进行加权后的特征相同。可见，通过借助同态加密技术在第一参与方中存储第二权重的权重密文，可实现在不向第一参与方披露第二权重的情况下，获取到第二权重作用于第一数据特征后的结果，从而有效提升目标数据特征的信息全面性，进而提升目标处理结果的准确性。在整个处理过程中，第一参与方和第二参与方可进行一次通信交互，这样可有效较少通信交互的次数，从而有效减少通信资源，如网络带宽开销；且随着通信交互的次数较少，还可有效缩短整个处理过程所需的时长，从而有效提升数据处理效率。

基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种计算机设备，该计算机设备可以是前述所提及的第一参与方或者第二参与方。请参见图7，该计算机设备至少包括处理器701、输入接口702、输出接口703以及计算机存储介质704。其中，计算机设备内的处理器701、输入接口702、输出接口703以及计算机存储介质704可通过总线或其他方式连接。计算机存储介质704可以存储在计算机设备的存储器中，所述计算机存储介质704用于存储计算机程序，所述计算机程序包括程序指令，所述处理器701用于执行所述计算机存储介质704存储的程序指令。处理器701(或称CPU(Central Processing Unit，中央处理器))是计算机设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。

在一个实施例中，当计算机设备为第一参与方时，本申请实施例所述的处理器701可以用于进行如下的一系列数据处理，具体包括：采用所述第一权重对目标数据标识关联的第一数据特征进行加权处理，得到第一加权特征；采用所述第二权重的所述权重密文对所述第一数据特征进行加权处理，得到第二加权特征；对所述第一加权特征和所述第二加权特征进行整合，得到特征密文；将所述特征密文发送至所述第二参与方，使所述第二参与方根据所述特征密文以及所述目标数据标识关联的第二数据特征，计算所述目标数据标识对应的目标处理结果，等等。

另一个实施例中，当计算机设备为第一参与方时，本申请实施例所述的处理器701可以用于进行如下的一系列数据处理，具体包括：接收所述第一参与方发送的特征密文，所述特征密文是对第一加权特征和第二加权特征进行整合得到的；所述第一加权特征是采用所述第一权重对目标数据标识关联的第一数据特征进行加权得到的，所述第二加权特征是采用所述第二权重的权重密文对所述第一数据特征进行加权得到的；对所述特征密文进行解密，得到目标数据特征；所述目标数据特征与采用所述模型权重对所述第一数据特征进行加权后的特征相同；融合所述目标数据特征以及所述目标数据标识关联的第二数据特征，得到融合数据特征；对所述融合数据特征进行前向计算，得到所述目标数据标识所对应的目标处理结果，等等。

本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机存储介质。

在一个实施例中，可由处理器加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2或图4b所示的数据处理方法实施例中的方法的相应步骤；具体实现中，计算机存储介质中的一条或多条指令由处理器加载并执行如下步骤：

接收所述第一参与方发送的特征密文，所述特征密文是对第一加权特征和第二加权特征进行整合得到的；所述第一加权特征是采用所述第一权重对目标数据标识关联的第一数据特征进行加权得到的，所述第二加权特征是采用所述第二权重的权重密文对所述第一数据特征进行加权得到的；

对所述特征密文进行解密，得到目标数据特征；所述目标数据特征与采用所述模型权重对所述第一数据特征进行加权后的特征相同；

融合所述目标数据特征以及所述目标数据标识关联的第二数据特征，得到融合数据特征；

对所述融合数据特征进行前向计算，得到所述目标数据标识所对应的目标处理结果。

在一种实施方式中，所述第一数据特征和所述第二数据特征是用于对所述联邦神经网络模型进行模型训练的样本数据特征；相应的，所述一条或多条指令还可由处理器加载并具体执行：

获取所述目标数据标识对应的数据标签信息；

根据所述数据标签信息和所述目标处理结果之间的差异，计算所述联邦神经网络模型的模型损失值；

基于所述模型损失值，更新所述联邦神经网络模型。

另一种实施方式中，在基于所述模型损失值，更新所述联邦神经网络模型时，所述一条或多条指令可由处理器加载并具体执行：

根据所述模型损失值，计算所述目标数据特征产生的目标特征梯度；并对所述目标特征梯度进行同态加密，得到第一梯度密文；

将所述第一梯度密文发送至所述第一参与方，使所述第一参与方在根据所述第一梯度密文、所述第一数据特征以及第一噪声参数，生成并返回权重梯度密文；

在接收到所述权重梯度密文后，对所述权重梯度密文进行解密处理，得到噪声权重梯度；所述噪声权重梯度与采用所述第一噪声参数对所述模型权重的权重梯度进行加噪处理后的梯度相同；

根据所述噪声权重梯度更新所述第二权重。

另一种实施方式中，所述联邦神经网络模型还包括：位于所述第一参与方中的第一子模型，所述第一数据特征是由所述第一参与方调用所述第一子模型，对所述目标数据标识关联的第一特征数据进行特征处理后得到的；相应的，在基于所述模型损失值，更新所述联邦神经网络模型时，所述一条或多条指令可由处理器加载并具体执行：

接收所述第一参与方发送的参考梯度密文，所述参考梯度密文是根据所述第一梯度密文、所述第一权重以及第二噪声参数生成的；

对所述参考梯度密文进行解密处理，得到参考特征梯度，所述参考特征梯度用于反映：所述目标特征梯度、所述第一权重，和所述第二噪声参数的融合结果；

根据所述参考特征梯度、所述第二权重以及所述目标特征梯度，计算噪声特征梯度；所述噪声特征梯度与采用所述第二噪声参数对所述第一数据特征产生的第一特征梯度进行加噪处理后的梯度相同；所述第一特征梯度是指：根据所述第一权重、所述第二权重和所述目标特征梯度计算出的梯度；

将所述噪声特征梯度发送至所述第一参与方，使所述第一参与方在根据所述噪声特征梯度和所述第二噪声参数，更新所述第一子模型的模型参数。

另一种实施方式中，在根据所述参考特征梯度、所述第二权重以及所述目标特征梯度，计算噪声特征梯度时，所述一条或多条指令还可由处理器加载并具体执行：

根据所述第二权重和所述目标特征梯度，计算基准特征梯度；

对所述基准特征梯度和所述参考特征梯度进行求和处理，得到噪声特征梯度。

另一种实施方式中，所述联邦神经网络模型还包括：位于所述第二参与方中的第二子模型，所述第二数据特征是由所述第二参与方调用所述第二子模型，对所述目标数据标识关联的第二特征数据进行特征处理后得到的；相应的，在基于所述模型损失值，更新所述联邦神经网络模型时，所述一条或多条指令可由处理器加载并具体执行：

根据所述模型损失值，计算所述第二数据特征产生的第二特征梯度；

对所述第二特征梯度进行反向传播，得到所述第二子模型的第二参数梯度；并根据所述第二参数梯度更新所述第二子模型的模型参数。

另一种实施方式中，所述联邦神经网络模型还包括：位于所述交互层网络之上的上层子模型，所述目标处理结果是调用所述上层子模型对所述融合数据特征进行前向计算所得到的；相应的，在基于所述模型损失值，更新所述联邦神经网络模型时，所述一条或多条指令可由处理器加载并具体执行：

基于所述模型损失值计算所述上层子模型的参数梯度；

根据所述参数梯度更新所述上层子模型的模型参数。

另一种实施方式中，当所述第一参与方的数量为N时，所述交互层网络具有N个模型权重，N为大于1的整数；其中，一个模型权重被划分成一个第一权重和一个第二权重；任一模型权重所对应的的第一权重由一个第一参与方持有，所述任一模型权重所对应的第二权重由所述第二参与方持有；

所述第二参与方采用并行通信方式，和各个第一参与方进行通信交互，以获取到N个目标数据特征；

相应的，在对所述目标数据特征和所述第二数据特征进行融合，得到融合数据特征时，所述一条或多条指令可由处理器加载并具体执行：对N个目标数据特征和所述第二数据特征进行融合，得到融合数据特征。

或者，计算机存储介质中的一条或多条指令由处理器加载并执行如下步骤：

采用所述第一权重对目标数据标识关联的第一数据特征进行加权处理，得到第一加权特征；

采用所述第二权重的所述权重密文对所述第一数据特征进行加权处理，得到第二加权特征；

对所述第一加权特征和所述第二加权特征进行整合，得到特征密文；

将所述特征密文发送至所述第二参与方，使所述第二参与方根据所述特征密文以及所述目标数据标识关联的第二数据特征，计算所述目标数据标识对应的目标处理结果。

在一种实施方式中，所述第一数据特征和所述第二数据特征是用于对所述联邦神经网络模型进行模型训练的样本数据特征；相应的，所述一条或多条指令可由处理器加载并具体执行：

接收所述第二参与方发送的第一梯度密文，所述第一梯度密文是对所述目标数据特征的目标特征梯度进行同态加密得到的；

根据所述第一梯度密文、所述第一数据特征以及第一噪声参数，生成权重梯度密文；

向所述第二参与方返回所述权重梯度密文，使所述第二参与方在解密所述权重梯度密文得到噪声权重梯度后，根据所述噪声权重梯度更新所述第二权重。

另一种实施方式中，所述一条或多条指令可由处理器加载并具体执行：

根据所述噪声权重梯度，更新所述第二权重的权重密文。

另一种实施方式中，所述联邦神经网络模型还包括：位于所述第一参与方中的第一子模型，所述第一数据特征是由所述第一参与方调用所述第一子模型，对所述目标数据标识关联的第一特征数据进行特征处理后得到的；相应的，所述一条或多条指令可由处理器加载并具体执行：

根据所述第一梯度密文、所述第一权重以及第二噪声参数，生成参考梯度密文；

将所述参考梯度密文发送至所述第二参与方，使所述第二参与方根据所述参考梯度密文、所述第二权重以及所述目标特征梯度，计算并返回噪声特征梯度；所述噪声特征梯度与采用所述第二噪声参数对所述第一数据特征产生的第一特征梯度进行加噪处理后的梯度相同；

在接收到所述噪声特征梯度后，采用所述第二噪声参数对所述噪声特征梯度进行去噪处理，得到所述第一数据特征产生的第一特征梯度；

根据所述第一数据特征产生的第一特征梯度，计算所述第一子模型的第一参数梯度；并根据所述第一参数梯度更新所述第一子模型的模型参数。

本申请实施例通过将交互层网络的模型权重划分成第一权重和第二权重，并将第一权重和第二权重分别存储于第一参与方和第二参与方中，且第一参与方和第二参与方之间互不披露各自持有的权重，这样可有效提升模型权重的安全性。另外，由于第一参与方还持有第二权重的权重密文，因此在模型推理或模型训练的前向计算过程中，第一参与方可采用第一权重和第二权重的权重密文分别对第一数据特征进行加权，得到第一加权特征和第二加权特征；并将通过整合第一加权特征和第二加权特征所得到的特征密文发送给第二参与方，使第二参与方对该特征密文进行解密，并根据解密得到的目标数据特征计算目标数据标识所对应的目标处理结果。由于第二权重的权重密文是通过对第二权重进行同态加密所得到的，因此借助加法同态加密的性质，可使得第二参与方解密该特征密文所得到的目标数据特征与采用模型权重对第一数据特征进行加权后的特征相同。可见，通过借助同态加密技术在第一参与方中存储第二权重的权重密文，可实现在不向第一参与方披露第二权重的情况下，获取到第二权重作用于第一数据特征后的结果，从而有效提升目标数据特征的信息全面性，进而提升目标处理结果的准确性。在整个处理过程中，第一参与方和第二参与方可进行一次通信交互，这样可有效较少通信交互的次数，从而有效减少通信资源，如网络带宽开销；且随着通信交互的次数较少，还可有效缩短整个处理过程所需的时长，从而有效提升数据处理效率。

需要说明的是，根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图4b所示的数据处理方法实施例方面的各种可选方式中提供的方法。

并且，应理解的是，以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (15)

1.一种基于联邦神经网络模型的数据处理方法，其特征在于，所述联邦神经网络模型包括交互层网络；所述交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；所述第一参与方还持有：对所述第二权重进行同态加密所得到的权重密文；所述方法包括：

接收所述第一参与方发送的特征密文，所述特征密文是对第一加权特征和第二加权特征进行整合得到的；所述第一加权特征是采用所述第一权重对目标数据标识关联的第一数据特征进行加权得到的，所述第二加权特征是采用所述第二权重的权重密文对所述第一数据特征进行加权得到的；

对所述特征密文进行解密，得到目标数据特征；所述目标数据特征与采用所述模型权重对所述第一数据特征进行加权后的特征相同；

融合所述目标数据特征以及所述目标数据标识关联的第二数据特征，得到融合数据特征；

对所述融合数据特征进行前向计算，得到所述目标数据标识所对应的目标处理结果。

2.如权利要求1所述的方法，其特征在于，所述第一数据特征和所述第二数据特征是用于对所述联邦神经网络模型进行模型训练的样本数据特征；所述方法还包括：

获取所述目标数据标识对应的数据标签信息；

根据所述数据标签信息和所述目标处理结果之间的差异，计算所述联邦神经网络模型的模型损失值；

基于所述模型损失值，更新所述联邦神经网络模型。

3.如权利要求2所述的方法，其特征在于，所述基于所述模型损失值，更新所述联邦神经网络模型，包括：

根据所述模型损失值，计算所述目标数据特征产生的目标特征梯度；并对所述目标特征梯度进行同态加密，得到第一梯度密文；

将所述第一梯度密文发送至所述第一参与方，使所述第一参与方在根据所述第一梯度密文、所述第一数据特征以及第一噪声参数，生成并返回权重梯度密文；

在接收到所述权重梯度密文后，对所述权重梯度密文进行解密处理，得到噪声权重梯度；所述噪声权重梯度与采用所述第一噪声参数对所述模型权重的权重梯度进行加噪处理后的梯度相同；

根据所述噪声权重梯度更新所述第二权重。

4.如权利要求3所述的方法，其特征在于，所述联邦神经网络模型还包括：位于所述第一参与方中的第一子模型，所述第一数据特征是由所述第一参与方调用所述第一子模型，对所述目标数据标识关联的第一特征数据进行特征处理后得到的；

所述基于所述模型损失值，更新所述联邦神经网络模型，还包括：

接收所述第一参与方发送的参考梯度密文，所述参考梯度密文是根据所述第一梯度密文、所述第一权重以及第二噪声参数生成的；

对所述参考梯度密文进行解密处理，得到参考特征梯度，所述参考特征梯度用于反映：所述目标特征梯度、所述第一权重，和所述第二噪声参数的融合结果；

根据所述参考特征梯度、所述第二权重以及所述目标特征梯度，计算噪声特征梯度；所述噪声特征梯度与采用所述第二噪声参数对所述第一数据特征产生的第一特征梯度进行加噪处理后的梯度相同；所述第一特征梯度是指：根据所述第一权重、所述第二权重和所述目标特征梯度计算出的梯度；

将所述噪声特征梯度发送至所述第一参与方，使所述第一参与方在根据所述噪声特征梯度和所述第二噪声参数，更新所述第一子模型的模型参数。

5.如权利要求4所述的方法，其特征在于，所述根据所述参考特征梯度、所述第二权重以及所述目标特征梯度，计算噪声特征梯度，包括：

根据所述第二权重和所述目标特征梯度，计算基准特征梯度；

对所述基准特征梯度和所述参考特征梯度进行求和处理，得到噪声特征梯度。

6.如权利要求2所述的方法，其特征在于，所述联邦神经网络模型还包括：位于所述第二参与方中的第二子模型，所述第二数据特征是由所述第二参与方调用所述第二子模型，对所述目标数据标识关联的第二特征数据进行特征处理后得到的；

所述基于所述模型损失值，更新所述联邦神经网络模型，包括：

根据所述模型损失值，计算所述第二数据特征产生的第二特征梯度；

对所述第二特征梯度进行反向传播，得到所述第二子模型的第二参数梯度；并根据所述第二参数梯度更新所述第二子模型的模型参数。

7.如权利要求2所述的方法，其特征在于，所述联邦神经网络模型还包括：位于所述交互层网络之上的上层子模型，所述目标处理结果是调用所述上层子模型对所述融合数据特征进行前向计算所得到的；

所述基于所述模型损失值，更新所述联邦神经网络模型，包括：

基于所述模型损失值计算所述上层子模型的参数梯度；

根据所述参数梯度更新所述上层子模型的模型参数。

8.如权利要求1-7任一项所述的方法，其特征在于，当所述第一参与方的数量为N时，所述交互层网络具有N个模型权重，N为大于1的整数；其中，一个模型权重被划分成一个第一权重和一个第二权重；任一模型权重所对应的的第一权重由一个第一参与方持有，所述任一模型权重所对应的第二权重由所述第二参与方持有；

所述第二参与方采用并行通信方式，和各个第一参与方进行通信交互，以获取到N个目标数据特征；

所述对所述目标数据特征和所述第二数据特征进行融合，得到融合数据特征，包括：

对N个目标数据特征和所述第二数据特征进行融合，得到融合数据特征。

9.一种基于联邦神经网络模型的数据处理方法，其特征在于，所述联邦神经网络模型至少包括交互层网络；所述交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；所述第一参与方还持有：对所述第二权重进行同态加密所得到的权重密文；所述方法包括：

采用所述第一权重对目标数据标识关联的第一数据特征进行加权处理，得到第一加权特征；

采用所述第二权重的所述权重密文对所述第一数据特征进行加权处理，得到第二加权特征；

对所述第一加权特征和所述第二加权特征进行整合，得到特征密文；

将所述特征密文发送至所述第二参与方，使所述第二参与方根据所述特征密文以及所述目标数据标识关联的第二数据特征，计算所述目标数据标识对应的目标处理结果。

10.如权利要求9所述的方法，其特征在于，所述第一数据特征和所述第二数据特征是用于对所述联邦神经网络模型进行模型训练的样本数据特征；所述方法还包括：

接收所述第二参与方发送的第一梯度密文，所述第一梯度密文是对所述目标数据特征的目标特征梯度进行同态加密得到的；

根据所述第一梯度密文、所述第一数据特征以及第一噪声参数，生成权重梯度密文；

向所述第二参与方返回所述权重梯度密文，使所述第二参与方在解密所述权重梯度密文得到噪声权重梯度后，根据所述噪声权重梯度更新所述第二权重。

11.如权利要求10所述的方法，其特征在于，所述方法还包括：

根据所述噪声权重梯度，更新所述第二权重的权重密文。

12.如权利要求10所述的方法，其特征在于，所述联邦神经网络模型还包括：位于所述第一参与方中的第一子模型，所述第一数据特征是由所述第一参与方调用所述第一子模型，对所述目标数据标识关联的第一特征数据进行特征处理后得到的；所述方法还包括：

根据所述第一梯度密文、所述第一权重以及第二噪声参数，生成参考梯度密文；

将所述参考梯度密文发送至所述第二参与方，使所述第二参与方根据所述参考梯度密文、所述第二权重以及所述目标特征梯度，计算并返回噪声特征梯度；所述噪声特征梯度与采用所述第二噪声参数对所述第一数据特征产生的第一特征梯度进行加噪处理后的梯度相同；

在接收到所述噪声特征梯度后，采用所述第二噪声参数对所述噪声特征梯度进行去噪处理，得到所述第一数据特征产生的第一特征梯度；

根据所述第一数据特征产生的第一特征梯度，计算所述第一子模型的第一参数梯度；并根据所述第一参数梯度更新所述第一子模型的模型参数。

13.一种基于联邦神经网络模型的数据处理方法，其特征在于，所述联邦神经网络模型包括交互层网络；所述交互层网络的模型权重被划分成：由第一参与方持有的第一权重，以及由第二参与方持有的第二权重；所述第一参与方还持有：对所述第二权重进行同态加密所得到的权重密文；所述方法包括：

所述第一参与方采用所述第一权重对目标数据标识关联的第一数据特征进行加权处理，得到第一加权特征；以及采用所述第二权重的所述权重密文对所述第一数据特征进行加权处理，得到第二加权特征；

所述第一参与方对所述第一加权特征和所述第二加权特征进行整合，得到特征密文，并将所述特征密文发送至所述第二参与方；

所述第二参与方接收所述第一参与方发送的特征密文，并对所述特征密文进行解密，得到目标数据特征；所述目标数据特征与采用所述模型权重对所述第一数据特征进行加权后的特征相同；

所述第二参与方融合所述目标数据特征以及所述目标数据标识关联的第二数据特征，得到融合数据特征；并对所述融合数据特征进行前向计算，得到所述目标数据标识所对应的目标处理结果。

14.一种计算机设备，包括输入接口和输出接口，其特征在于，还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-8任一项所述的方法；或者，所述一条或多条指令适于由所述处理器加载并执行如权利要求9-12任一项所述的方法。

15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-12任一项所述的方法。

Images