CN110874484A - 基于神经网络和联邦学习的数据处理方法和系统 - Google Patents

Abstract

本发明实施例提供一种基于神经网络和联邦学习的数据处理方法和系统。该方法包括：根据联合建模任务确定加密解密神经网络，加密解密神经网络包括M个加密神经网络和一个解密神经网络；根据随机生成的训练数据对加密解密神经网络进行训练直至加密解密神经网络收敛；将M个训练好的加密神经网络发送至M个客户端，以使各客户端将拥有的本地数据以及联合建模任务的模型参数作为各个加密神经网络的输入数据，确定加密数据；接收各个客户端加密神经网络输出的加密数据，将加密数据输入解密神经网络，确定模型参数的梯度更新数据。本发明实施例的方法，在保证数据隐私的同时，实现了联合建模，且操作简便，提高了数据处理的效率。

Description

基于神经网络和联邦学习的数据处理方法和系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于神经网络和联邦学习的数据处理方法和系统。

背景技术

各数据公司的数据是以孤岛的形式存在的，解决数据孤岛最直接的方式就是将数据整合进行集中式处理，例如一种典型的数据处理模式为一方收集数据，再转移到另一方进行处理、清洗并建模，最后把模型出售给第三方。在金融、互联网等领域，用户数据往往涉及用户隐私，对数据进行集中式处理将面临泄露隐私的风险。联邦学习是一种能够打破数据孤岛且能够保护用户数据隐私的有效手段。

联邦学习包括水平联邦学习、垂直联邦学习和迁移联邦学习。在水平联邦学习中，各数据公司拥有的本地数据包括每个样本完整的特征和标签，可以独立训练出模型参数，因此各数据公司只需要根据各自拥有的本地数据对待训练模型分别进行独立训练，然后交互梯度更新数据或者加密后的梯度更新数据，最后通过对梯度更新数据进行聚合即可完成一次迭代。然而在垂直联邦学习和迁移联邦学习中，各数据公司拥有的本地数据中不一定拥有每个样本完整的特征或标签，因此无法独立完成模型训练。

目前通常采用对样本特征进行补全的方法来解决垂直联邦学习和迁移联邦学习中数据特征不全的问题。例如在申请号为CN201811620130.X，发明名称为《基于联邦学习的模型参数训练方法、终端、系统及介质》的专利申请中，通过确定第一终端的第一样本与第二终端的第二样本的特征交集，根据特征交集分别对第一样本和第二样本中缺失的特征部分进行预测，以获得第一补全样本和第二补全样本，第一终端和第二终端分别采用第一补全样本和第二补全样本对待训练模型进行独立训练，然后交互损失值以实现联合建模。通过对样本特征进行补全，虽然能够解决垂直联邦学习和迁移联邦学习中数据特征不全的问题，实现联合建模，但是该方法操作复杂、效率低，亟需一种针对垂直联邦学习和迁移联邦学习的高效的数据处理方法。

发明内容

本发明实施例提供一种基于神经网络和联邦学习的数据处理方法和系统，用以解决垂直联邦学习和迁移联邦学习中的问题。

根据第一方面，一种实施例中提供一种基于神经网络和联邦学习的数据处理方法，包括：

根据联合建模任务确定加密解密神经网络，加密解密神经网络包括M个加密神经网络和一个解密神经网络，M为参与联合建模的客户端的数量，M≥2；

根据随机生成的训练数据对加密解密神经网络进行训练直至加密解密神经网络收敛；

将M个训练好的加密神经网络发送至M个客户端，以使各客户端将拥有的本地数据以及联合建模任务的模型参数作为各个加密神经网络的输入数据，确定加密数据；

接收各个客户端加密神经网络输出的加密数据，将加密数据输入解密神经网络，确定模型参数的梯度更新数据。

一实施例中，所述方法还包括：

根据梯度更新数据对模型参数进行更新；

或者，

将梯度更新数据发送至M个客户端，以使各客户端根据梯度更新数据对模型参数进行更新。

一实施例中，根据梯度更新数据对模型参数进行更新包括：

若梯度更新数据的取值在预设区间内，则根据如下公式对模型参数进行更新：

w′＝w+γδw；

其中，w′表示更新后的模型参数，w表示更新前的模型参数，γ表示学习率，δw表示梯度更新数据。

一实施例中，所述方法还包括：对所述模型参数进行迭代更新，直至收敛。

一实施例中，根据随机生成的训练数据对加密解密神经网络进行训练包括：

随机生成训练数据D＝{D₁，D₂，...，D_M}，D_i与第i个客户端中的本地数据具有相同的特征维度，1≤i≤M；

根据联合建模任务对训练数据D进行融合处理，并根据融合处理后的训练数据确定与之相对应的模型参数的梯度更新数据；

以D_i作为第l个加密神经网络的输入，以与训练数据D相对应的梯度更新数据作为解密神经网络的期望输出，以解密神经网络的实际输出与期望输出的均方根误差作为损失函数，对加密解密神经网络进行训练。

一实施例中，第i个加密神经网络输出数据的维度与第i个客户端中本地数据的维度之比小于预设值。

一实施例中，加密神经网络为共享权值和全局池化的卷积神经网络。

根据第二方面，一种实施例中提供一种基于神经网络和联邦学习的数据处理系统，包括：

服务器和M个客户端，M≥2；

服务器包括：

确定模块，用于根据联合建模任务确定加密解密神经网络，加密解密神经网络包括M个加密神经网络和一个解密神经网络；

训练模块，用于根据随机生成的训练数据对加密解密神经网络进行训练直至加密解密神经网络收敛；

发送模块，用于将M个训练好的加密神经网络发送至M个客户端；

更新模块，用于接收各个客户端加密神经网络输出的加密数据，将加密数据输入解密神经网络，确定模型参数的梯度更新数据；

客户端包括：

接收模块，用于接收服务器发送的训练好的加密神经网络；

加密模块，用于将客户端拥有的本地数据以及联合建模任务的模型参数作为加密神经网络的输入数据，确定加密数据；

发送模块，用于将加密数据发送至服务器。

根据第三方面，一种实施例中提供一种服务器，包括：

至少一个处理器和存储器；

存储器存储计算机执行指令；

至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面任一项所述的基于神经网络和联邦学习的数据处理方法。

根据第四方面，一种实施例中提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项所述的基于神经网络和联邦学习的数据处理方法。

本发明实施例提供的基于神经网络和联邦学习的数据处理方法和系统，通过构建并训练包括M个加密神经网络和一个解密神经网络的加密解密神经网络，各客户端通过加密神经网络对本地数据进行加密和压缩，输出加密数据，服务器接收各客户端输出的加密数据，并通过解密神经网络确定模型参数的梯度更新数据，操作简便、效率高。加密解密神经网络的训练不依赖于本地数据，且无法通过加密数据重构本地数据，确保了数据隐私；客户端无需对模型参数进行独立训练，既降低了客户端的运算负荷，又削弱了对本地数据的要求，适用范围更广。综上所述，本发明实施例提供的方法能够在确保数据隐私的前提下，对数据进行高效处理，实现联合建模。

附图说明

图1为一种实施例的基于神经网络和联邦学习的数据处理方法的流程图；

图2为一种实施例的加密神经网络的结构示意图；

图3为一种实施例的加密解密神经网络的部署示意图；

图4为一种实施例的基于神经网络和联邦学习的数据处理系统的结构示意图；

图5为一种实施例的服务器的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

单个数据公司所拥有的数据通常较为有限，为了更好地训练模型，往往需要将多个数据公司的数据联合起来进行模型训练。然而在许多领域，例如金融、互联网等领域中，数据往往会涉及用户隐私，因此如何在保证数据隐私的前提下实现联合建模备受关注。

图1为一种实施例的基于神经网络和联邦学习的数据处理方法的流程图。该方法可以应用于服务器。如图1所示，本实施例中提供的基于神经网络和联邦学习的数据处理方法，可以包括：

S101、根据联合建模任务确定加密解密神经网络，加密解密神经网络包括M个加密神经网络和一个解密神经网络，M为参与联合建模的客户端的数量，M≥2。

本实施例中的联合建模任务可以根据待解决的问题确定，例如联合建模任务可以为根据M个客户端的本地数据确定风险评估模型的模型参数，风险评估模型为联合建模中的待训练模型。

本实施例中的加密解密神经网络可以包括M个加密神经网络和一个解密神经网络。M个加密神经网络可以采用相同、部分相同、或者不同的结构，本实施例对比不做限制。加密神经网络和解密神经网络例如可以采用vgg，resnet，densenet，inception，senet等网络结构。当以各客户端的本地数据作为加密解密神经网络的输入数据时，加密解密神经网络将输出待训练模型的模型参数或者模型参数的梯度更新数据。

S102、根据随机生成的训练数据对加密解密神经网络进行训练直至加密解密神经网络收敛。

本实施例中在确定加密解密神经网络之后，则根据随机生成的训练数据对加密解密神经网络进行训练。采用随机生成的训练数据，不依赖于客户端的本地数据，能够有效保障数据隐私。

在一种可能的实现方式中，根据随机生成的训练数据对加密解密神经网络进行训练具体可以包括：随机生成训练数据D＝{D₁，D₂，...，D_M}，D_i与第i个客户端中的本地数据具有相同的特征维度，1≤i≤M；根据联合建模任务对训练数据D进行融合处理，并根据融合处理后的训练数据确定与之相对应的模型参数的梯度更新数据；以D_i作为第i个加密神经网络的输入，以与训练数据D相对应的梯度更新数据作为解密神经网络的期望输出，以解密神经网络的实际输出与期望输出的均方根误差作为损失函数，对加密解密神经网络进行训练。当损失函数的取值满足预设收敛条件时，判定加密解密神经网络收敛，停止对加密解密神经网络的训练。

在生成训练数据之前，服务器可以获取各客户端中的本地数据的特征维度。需要说明的是，仅获取特征维度，而不涉及具体的本地数据，因此不会涉及数据隐私。然后根据获取到的特征维度，随机生成与各客户端中的本地数据具有相同特征维度的训练数据，例如可以按照高斯分布随机生成训练数据。

可选的，为了提高数据传输效率，可以通过加密神经网络对客户端中的本地数据进行压缩，具体的，可以使加密神经网络输出数据的维度小于相应客户端中本地数据的维度，以降低数据传输量。为了进一步提高数据传输效率，可以使加密神经网络输出数据的维度远小于本地数据的维度，以增大加密神经网络的数据压缩率，具体的，可以使第i个加密神经网络输出数据的维度与第i个客户端中本地数据的维度之比小于预设值，预设值可以根据实际需要进行设置，预设值越小，压缩率越大。通过加密神经网络输出的数据无法重构客户端的本地数据。综上所述，加密神经网络在对数据加密的同时也对数据进行了高压缩率的压缩，在确保数据隐私的同时提高了数据传输效率。

在实际应用中，各客户端所拥有的本地数据中的样本数量通常是可变的。为了便于处理可变样本数量的本地数据，本实施例中加密神经网络为共享权值和全局池化的卷积神经网络。通过在卷积神经网络中采用共享权值和全局池化的方法可以保证加密神经网络输出维度的统一，能够有效处理样本数量可变的本地数据。

S103、将M个训练好的加密神经网络发送至M个客户端，以使各客户端将拥有的本地数据以及联合建模任务的模型参数作为各个加密神经网络的输入数据，确定加密数据。

训练好的加密神经网络部署在客户端，而训练好的解密神经网络部署在服务器端。本实施例中由服务器对加密解密神经网络进行训练，因此在完成对加密解密神经网络的训练之后，将M个训练好的加密神经网络发送至M个客户端。由服务器训练加密解密神经网路可以有效减少各个客户端的计算负荷，且相较于客户端来说服务器通常拥有更多资源，由服务器来训练加密解密神经网路可以提高数据处理效率。

客户端在接收到加密神经网络之后，将联合建模任务的模型参数和所拥有的本地数据输入加密神经网络，然后将加密神经网络的输出数据发送至服务器。本实施例中客户端无需针对联合建模任务的待训练模型进行独立训练，因此并不要求客户端本地数据中的样本一定要具有完整的特征和标签，也就是说，本申请的方法适用于水平联邦学习、垂直联邦学习和迁移联邦学习。即使对于数据特征不全的本地数据，也无需再进行样本特征补全，操作简便，效率更高。

一方面，通过加密神经网络输出的加密数据无法重构本地数据，确保了数据隐私；另一方面，加密数据的维度小于本地数据维度，实现了数据压缩，提高了数据传输效率。

S104、接收各个客户端加密神经网络输出的加密数据，将加密数据输入解密神经网络，确定模型参数的梯度更新数据。

本实施例中服务器在接收到各个客户端发送的加密数据之后，可以根据预设规则对加密数据进行拼接，具体的如可以根据客户端的编号顺序进行拼接。将拼接后的加密数据输入解密神经网络，解密神经网络将输出模型参数的梯度更新数据。模型参数的梯度更新数据后续可以用于模型参数的更新。

本实施例提供的基于神经网络和联邦学习的数据处理方法，通过构建并训练包括M个加密神经网络和一个解密神经网络的加密解密神经网络，各客户端通过加密神经网络对本地数据进行加密和压缩，输出加密数据，服务器接收各客户端输出的加密数据，并通过解密神经网络确定模型参数的梯度更新数据，操作简便、效率高。加密解密神经网络的训练不依赖于本地数据，且无法通过加密数据重构本地数据，确保了数据隐私；客户端无需对模型参数进行独立训练，既降低了客户端的运算负荷，又削弱了对本地数据的要求，适用范围更广。综上所述，本实施例提供的方法能够在确保数据隐私的前提下，对数据进行高效处理，实现联合建模。

在上述实施例的基础上，还可以进一步对获取到的梯度更新数据进行处理，以获取联合建模任务待训练模型的模型参数。在上述实施例的基础上，本实施例提供的方法还可以包括：根据梯度更新数据确定模型参数。具体可以通过以下两种方式确定模型参数：

在一种可能的实现方式中，服务器在确定模型参数的梯度更新数据之后，根据梯度更新数据对模型参数进行更新，并判断更新后的模型参数是否收敛，若收敛，则将收敛的模型参数确定为联合建模任务最终的模型参数，否则将更新后的模型参数发送至各个客户端，继续使用加密解密神经网络对本地数据及更新后的模型参数进行处理，直至模型参数收敛。

在一种可能的实现方式中，服务器在确定模型参数的梯度更新数据之后，将梯度更新数据发送至M个客户端，以使各客户端根据梯度更新数据对模型参数进行更新。重复执行该处理过程，直至模型参数收敛。

为避免因某次迭代重构误差较大而导致模型参数不能收敛，本实施例中可以对梯度更新数据进行截取。本实施例中根据梯度更新数据对模型参数进行更新具体可以包括：

若梯度更新数据的取值在预设区间内，则根据如下公式对模型参数进行更新：

w′＝w+γδw；

其中，w′表示更新后的模型参数，w表示更新前的模型参数，γ表示学习率，δw表示梯度更新数据。

本实施例通过将梯度更新数据限制在预设区间内，可以有效避免错误的引入，提高准确率。其中，预设区间的取值可以根据实际需要进行设置。

下面通过一个具体的示例来详细说明本发明实施例提供的方法。以客户端A和客户端B联合建模为例。联合建模任务为确定待训练模型y＝f(x₁，x₂，w)的模型参数w，其中，x₁为客户端A中本地数据所具备的特征，x₂，y分别为客户端B中本地数据所具备的特征和标签，f为待训练模型的机器学习函数，包括但不限于线性回归、逻辑回归、神经网络等函数。

根据联合建模任务可以确定加密解密神经网络包括加密神经网络A、加密神经网络B和解密神经网络。其中，加密神经网络A和加密神经网络B使用卷积神经网络中的共享权值和全局池化来保证输出维度的统一，解密神经网络包括若干个全连接层和激活层的堆叠。两个加密神经网络可以采用相同的结构或者不同的结构。

在一种可能的实现方式中，加密神经网络A可以采用如图2所示的结构。图2为一种实施例的加密神经网络的结构示意图。如图2所示，按照加密神经网络中数据的流向，该加密神经网络依次包括：第一卷积层、第一激活层、第二卷积层、第二激活层、全局池化层、第一全连接层、第三激活层、拼接层、数据整形层、第二全连接层和第四激活层。其中，拼接层用于对全局池化层和第三激活层的输出数据进行拼接；第一卷积层卷积核的维度为(1，M，P₁)，第二卷积层卷积核的维度为(1，1，P_k)。

该加密神经网络通过共享权值和全局池化保证了输出维度的统一，具体的：将N*M*1维的数据输入第一卷积层，经过第一卷积层和第一激活层，将输出N*1*P₁维的数据，继续经过第二卷积层和第二激活层处理将输出N*1*P_k维的数据，N*1*P_k维的数据经全局池化层处理后将输出1*1*P_k维的数据；将1*1*T₀维的数据输入第一全连接层，经过第一全连接层和第三激活层处理将输出1*1*T_k维的数据；将第三激活层以及全局池化层的输出数据输入拼接层，经拼接层对数据进行拼接将输出1*1*(P_k+T_k)维的数据，数据整形层将1*1*(P_k+T_k)维的数据Reshape为(Pk+Tk)维的数据，经第二全连接层和第四激活层处理后输出Q维的加密数据。加密神经网络最终输出的加密结果维度为Q，且满足Q＜＜M*N。

分别获取x₁，x₂，y的特征维度，随机生成均值和标准差，以高斯分布随机生成与x₁具有相同特征维度的训练数据T₁，以高斯分布随机生成与x₂，y具有相同特征维度的训练数据T₂，l，随机初始化模型参数w。对随机生成的训练数据进行融合处理，根据融合数据(w，T₁，T₂，l)计算梯度更新数据

将(w，T₁)输入加密神经网络A，将(w，T₂，l)输入加密神经网络B，将加密神经网络A和加密神经网络B的输出数据输入解密神经网络，获得加密解密神经网络的实际输出，将根据融合数据(w，T₁，T₂，l)计算出的梯度更新数据

作为加密解密神经网络的期望输出，以实际输出与期望输出的均方根误差(RootMean SquaredError，简称：RMSE)作为损失函数对加密解密神经网络进行端到端的训练，直至加密解密神经网络收敛。

对训练好的加密解密神经网络进行部署，其中加密神经网络A部署在客户端A中，加密神经网络B部署在客户端B中，解密神经网络部署在服务器中。图3为一种实施例的加密解密神经网络的部署示意图。如图3所示，加密网络A部署在客户端A中，可以根据客户端A中的本地数据生成加密数据E1，加密网络部署在客户端B中，可以根据客户端B中的本地数据生成加密数据E2，解密网络部署在服务器中，可以根据加密数据E1和加密数据E2生成梯度更新数据。

使用客户端A和客户端B中的本地数据，采用训练好的加密解密神经网络联合建模。将客户端A中的本地数据针对N个样本对x₁依样本堆叠得到的矩阵X₁，将客户端B中的本地数据针对N个样本对x₂依样本堆叠得到的矩阵X₂和标签向量y，并假设样本间ID已经对齐。将(w，X₁)输入训练好的加密神经网络A，获得加密数据E₁，客户端A将E₁发送至服务器；将(w，X₂，y)输入训练好的加密神经网络B，获得加密数据E₂，客户端B将E₂发送至服务器；服务器对加密数据E₁和E₂进行拼接，将拼接后的加密数据输入解密神经网络获得梯度更新数据

为保证最终得到的模型参数w的精度，对获得的梯度更新数据

进行截取，以避免因某次迭代重构误差较大导致模型参数不能收敛的问题。本实施例可以将

范围限制在预设区间[a，b]内，其中a和b的具体取值可以根据待训练模型按需设置，此处不做限制。对于在预设区间[a，b]内的梯度更新数据

服务器将梯度更新数据

分别回传给客户端A和客户端B，客户端A和客户端B根据随机梯度下降SGD优化方法对模型参数w进行更新，直到w收敛。具体可以根据公式

更新模型参数，其中，λ为学习率。

图4为一种实施例的基于神经网络和联邦学习的数据处理系统的结构示意图。如图4所示，本实施例提供的基于神经网络和联邦学习的数据处理系统可以包括：服务器41和M个客户端42，M≥2。其中，服务器41可以包括确定模块411、训练模块412、发送模块413和更新模块414；客户端42可以包括接收模块421、加密模块422和发送模块423。

确定模块411，用于根据联合建模任务确定加密解密神经网络，加密解密神经网络包括M个加密神经网络和一个解密神经网络；

训练模块412，用于根据随机生成的训练数据对加密解密神经网络进行训练直至加密解密神经网络收敛；

发送模块413，用于将M个训练好的加密神经网络发送至M个客户端；

更新模块414，用于接收各个客户端加密神经网络输出的加密数据，将加密数据输入解密神经网络，确定模型参数的梯度更新数据；

接收模块421，用于接收服务器发送的训练好的加密神经网络；

加密模块422，用于将客户端拥有的本地数据以及联合建模任务的模型参数作为加密神经网络的输入数据，确定加密数据；

发送模块423，用于将加密数据发送至服务器。

需要说明的是，本实施例中服务器41可以与客户端42通过有线和/或无线的方式进行通信连接，以便部署加密解密神经网络和进行模型参数更新。

本发明实施例还提供一种服务器，请参见图5所示，本发明实施例仅以图5为例进行说明，并不表示本发明仅限于此。图5为一种实施例的服务器的结构示意图。如图5所示，本实施例提供的服务器50可以包括：存储器501、处理器502和总线503。其中，总线503用于实现各元件之间的连接。

存储器501中存储有计算机程序，计算机程序被处理器502执行时可以实现上述任一方法实施例的技术方案。

其中，存储器501和处理器502之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线503连接。存储器501中存储有实现基于神经网络和联邦学习的数据处理方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器501中的软件功能模块，处理器502通过运行存储在存储器501内的软件程序以及模块，从而执行各种功能应用以及数据处理。

存储器501可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器501用于存储程序，处理器502在接收到执行指令后，执行程序。进一步地，上述存储器501内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。

处理器502可以是一种集成电路芯片，具有信号的处理能力。上述的处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图5的结构仅为示意，还可以包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件和/或软件实现。

需要说明的是本实施例提供的服务器包括但不限于单个服务器、多个服务器组成的服务器组或基于云计算的由大量计算机或服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。

本实施例提供的服务器可用于执行上述任一方法实施例对应的技术方案，其实现原理和技术效果类似，此处不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一方法实施例提供的基于神经网络和联邦学习的数据处理方法。本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种基于神经网络和联邦学习的数据处理方法，其特征在于，包括：

根据联合建模任务确定加密解密神经网络，所述加密解密神经网络包括M个加密神经网络和一个解密神经网络，M为参与联合建模的客户端的数量，M≥2；

根据随机生成的训练数据对所述加密解密神经网络进行训练直至所述加密解密神经网络收敛；

将M个训练好的加密神经网络发送至M个客户端，以使各客户端将拥有的本地数据以及联合建模任务的模型参数作为各个加密神经网络的输入数据，确定加密数据；

接收各个客户端加密神经网络输出的加密数据，将所述加密数据输入所述解密神经网络，确定所述模型参数的梯度更新数据。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述梯度更新数据对所述模型参数进行更新；

或者，

将所述梯度更新数据发送至M个客户端，以使各客户端根据所述梯度更新数据对所述模型参数进行更新。

3.如权利要求2所述的方法，其特征在于，所述根据所述梯度更新数据对所述模型参数进行更新包括：

若所述梯度更新数据的取值在预设区间内，则根据如下公式对模型参数进行更新：

w′＝w+γδw；

其中，w′表示更新后的模型参数，w表示更新前的模型参数，γ表示学习率，δw表示梯度更新数据。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

对所述模型参数进行迭代更新，直至收敛。

5.如权利要求1所述的方法，其特征在于，所述根据随机生成的训练数据对所述加密解密神经网络进行训练包括：

随机生成训练数据D＝{D₁，D₂，…，D_M}，D_i与第i个客户端中的本地数据具有相同的特征维度，1≤i≤M；

根据所述联合建模任务对所述训练数据D进行融合处理，并根据融合处理后的训练数据确定与之相对应的模型参数的梯度更新数据；

以D_i作为第i个加密神经网络的输入，以与训练数据D相对应的梯度更新数据作为解密神经网络的期望输出，以解密神经网络的实际输出与所述期望输出的均方根误差作为损失函数，对所述加密解密神经网络进行训练。

6.如权利要求5所述的方法，其特征在于，第i个加密神经网络输出数据的维度与第i个客户端中本地数据的维度之比小于预设值。

7.如权利要求1-6任一项所述的方法，其特征在于，所述加密神经网络为共享权值和全局池化的卷积神经网络。

8.一种基于神经网络和联邦学习的数据处理系统，其特征在于，包括：

服务器和M个客户端，M≥2；

所述服务器包括：

确定模块，用于根据联合建模任务确定加密解密神经网络，所述加密解密神经网络包括M个加密神经网络和一个解密神经网络；

训练模块，用于根据随机生成的训练数据对所述加密解密神经网络进行训练直至所述加密解密神经网络收敛；

发送模块，用于将M个训练好的加密神经网络发送至M个客户端；

更新模块，用于接收各个客户端加密神经网络输出的加密数据，将所述加密数据输入所述解密神经网络，确定所述模型参数的梯度更新数据；

所述客户端包括：

接收模块，用于接收所述服务器发送的训练好的加密神经网络；

加密模块，用于将所述客户端拥有的本地数据以及联合建模任务的模型参数作为加密神经网络的输入数据，确定加密数据；

发送模块，用于将所述加密数据发送至所述服务器。

9.一种服务器，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的基于神经网络和联邦学习的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的基于神经网络和联邦学习的数据处理方法。

Images