CN110428058A - 联邦学习模型训练方法、装置、终端设备及存储介质 - Google Patents

Abstract

本发明公开了一种联邦学习模型训练方法、装置、终端设备及存储介质，该联邦学习模型训练方法包括：获取各所述客户端所拥有的训练数据的数据特征；根据所述数据特征在各所述客户端生成相同特征维度的代用数据；基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。本发明解决了纵向联邦学习对联邦学习模型进行模型训练时，整体计算复杂度高，并且各参与者之间通信开销大，从而造成联邦学习的应用场景受限的技术问题。

Description

联邦学习模型训练方法、装置、终端设备及存储介质

技术领域

本发明涉及Fintech(金融科技)技术领域，尤其涉及一种联邦学习模型训练方法、装置、终端设备及存储介质。

背景技术

伴随着金融科技，尤其是互联网金融科技的快速发展，已经有越来越多的技术应用于金融领域，其中，联邦学习技术基于对用户隐私和数据的安全保障，正逐渐受到越来越多的重视。

联邦学习(federated learning)是指，通过联合不同的参与者(participant，或者party，也称为数据拥有者(data owner)、或者客户(client))进行机器学习建模的方法。在联邦学习中，参与者不需要向其它参与者和协调者(coordinator，也称为服务器(server)，参数服务器(parameter server)，或者聚合服务器(aggregation server))暴露自己所拥有的数据，因而联邦学习可以很好的保护用户隐私和保障数据安全，并可以解决数据孤岛问题。

然而，在现有的纵向的联邦学习(纵向联邦学习是在参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合机器学习训练)中，因为不同参与者之间拥有的是不相同数据特征的数据，因此在各参与者每进行一次本地的模型训练之后，都需要各参与者交换各自的中间计算结果，特别是需要交换关于梯度信息的中间计算结果，由于在纵向联邦学习中，交换梯度信息等中间计算结果的步骤是必须的，而且会显著增加纵向联邦学习模型训练的计算复杂度和通信开销，如此便限制了纵向联邦学习的应用场景。

发明内容

本发明的主要目的在于提供一种联邦学习模型训练方法、装置、终端设备及存储介质，旨在解决，纵向联邦学习对联邦学习模型进行模型训练时，计算复杂度高，并且通信开销大，从而造成联邦学习的应用场景受限的技术问题。

为实现上述目的，本发明提供一种联邦学习模型训练方法，所述联邦学习模型训练方法应用于联邦学习系统，所述联邦学习系统包括多个客户端，所述联邦学习模型训练方法包括以下步骤：

获取各所述客户端所拥有的训练数据的数据特征；

根据所述数据特征在各所述客户端生成相同特征维度的代用数据；

基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。

可选地，所述根据所述数据特征在各所述客户端生成相同特征维度的代用数据的步骤，包括：

检测全部所述训练数据的所述数据特征中，不同于当前所述客户端所拥有训练数据的第一数据特征的第二数据特征；

根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据。

可选地，所述根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据的步骤，包括：

在当前所述客户端，调用数据生成模型生成与所述第二数据特征对应的待确认数据；

在拥有所述第二数据特征对应训练数据的所述客户端，调用数据判别模型将所述待确认数据确定为与所述第二特征维度对应的代用数据。

可选地，所述调用数据判别模型，将所述待确认数据确定为与所述第二特征维度对应的代用数据的步骤，包括：

调用所述数据判别模型检测所述待确认数据是否符合预设要求；

在检测到所述待确认数据符合预设要求时，将所述待确认数据确定为与所述第二特征维度对应的代用数据。

可选地，所述根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据的步骤，还包括：

调用数据生成模型，生成与全部所述训练数据相同特征维度的全部所述待确认数据；

调用数据判别模型，将生成的全部所述待确认数据确定为与所述第二特征维度对应的代用数据。

可选地，所述基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练的步骤，包括：

调用当前所述客户端所拥有的所述训练数据以及所述代用数据进行联邦学习模型训练，获得模型参数更新。

此外，本发明还提供一种联邦学习模型训练装置，所述联邦学习模型训练方法应用于联邦学习系统，所述联邦学习系统包括多个客户端，所述联邦学习模型训练装置包括：

获取模块，用于获取各所述客户端所拥有的训练数据的数据特征；

数据生成模块：用于根据所述数据特征在各所述客户端生成相同特征维度的代用数据；

模型训练模块，用于基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。

可选地，所述数据生成模块，包括：

检测单元，用于检测全部所述训练数据的所述数据特征中，不同于当前所述客户端所拥有训练数据的第一数据特征的第二数据特征；

生成单元，用于根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据。

本发明提出的联邦学习模型训练装置各个模块运行时实现如上所述的联邦学习模型训练方法的步骤，在此不再赘述。

此外，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习模型训练程序，所述联邦学习模型训练程序被所述处理器执行时实现如上所述的联邦学习模型训练方法的步骤。

此外，本发明还提供一种存储介质，应用于计算机，所述存储介质上存储有联邦学习模型训练程序，所述联邦学习模型训练程序被处理器执行时实现如上所述的联邦学习模型训练方法的步骤。

本发明通过检测各所述客户端所拥有的训练数据的数据特征；根据所述数据特征在各所述客户端生成相同特征维度的代用数据；基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。在联邦学习系统中，当包含的多个参与者(即客户端)各自拥有不同数据特征的训练数据时，通过检测确定各客户端各自所拥有的训练数据的数据特征，在检测到各客户端的数据特征之后，调用现有的任意数据生成模型，并参照各数据特征在联邦学习系统中的各客户端生成与其他客户端所拥有的训练数据具有相同特征维度的代用数据，从而使得联邦学习系统中的各客户端能够基于自身所拥有的训练数据以及生成的代用数据，对联邦学习模型进行模型训练。

本发明实现了，在纵向的联邦学习中，即当联邦学习系统中的各客户端拥有不同数据特征的训练数据时，通过在各客户端生成与其他客户端所拥有的训练数据具有相同特征维度的代用数据，以供各客户端基于各自拥有的训练数据和生成的代用数据进行模型训练，从而避免了各客户端在每进行一次本地的模型训练之后，都需要各参与者交换各自的中间计算结果导致的联邦学习整体计算复杂度高和通信开销大的技术问题，提升了当联邦学习系统中的各客户端拥有不同数据特征的训练数据时，客户端进行模型训练的效率，从而拓展了联邦学习的应用场景。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明联邦学习模型训练方法第一实施例的流程示意图；

图3为本发明联邦学习模型训练方法一实施例中步骤S200的细化流程示意图；

图4为本发明联邦学习模型训练方法一实施例中应用场景示意图；

图5为本发明联邦学习模型训练装置的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。

需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。本发明实施例终端设备可以是PC，便携计算机等终端设备。

如图1所示，该终端设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及联邦学习模型训练程序。其中，操作系统是管理和控制样本终端设备硬件和软件资源的程序，支持联邦学习模型训练程序以及其它软件或程序的运行。

图1所示的终端设备，与其他终端共同组建成联邦学习系统，该联邦学习系统中至少包含一个服务端和多个客户端，在图1所示的终端设备中，用户接口1003主要用于与各个终端进行数据通信；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的联邦学习模型训练程序，并执行以下操作：

获取各所述客户端所拥有的训练数据的数据特征；

根据所述数据特征在各所述客户端生成相同特征维度的代用数据；

基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。

进一步地，处理器1001还可以用于调用存储器1005中存储的联邦学习模型训练程序，并执行以下步骤：

检测全部所述训练数据的所述数据特征中，不同于当前所述客户端所拥有训练数据的第一数据特征的第二数据特征；

根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据。

进一步地，处理器1001还可以用于调用存储器1005中存储的联邦学习模型训练程序，并执行以下步骤：

在当前所述客户端，调用数据生成模型生成与所述第二数据特征对应的待确认数据；

在拥有所述第二数据特征对应训练数据的所述客户端，调用数据判别模型将所述待确认数据确定为与所述第二特征维度对应的代用数据。

进一步地，处理器1001还可以用于调用存储器1005中存储的联邦学习模型训练程序，并执行以下步骤：

调用所述数据判别模型检测所述待确认数据是否符合预设要求；

在检测到所述待确认数据符合预设要求时，将所述待确认数据确定为与所述第二特征维度对应的代用数据。

进一步地，处理器1001还可以用于调用存储器1005中存储的联邦学习模型训练程序，并执行以下步骤：

调用数据生成模型，生成与全部所述训练数据相同特征维度的全部所述待确认数据；

调用数据判别模型，将生成的全部所述待确认数据确定为与所述第二特征维度对应的代用数据。

进一步地，处理器1001还可以用于调用存储器1005中存储的联邦学习模型训练程序，并执行以下步骤：

调用当前所述客户端所拥有的所述训练数据以及所述代用数据进行联邦学习模型训练，获得模型参数更新。

基于上述的结构，提出本发明联邦学习模型训练方法的各个实施例。

请参照图2，图2为本发明联邦学习模型训练方法第一实施例的流程示意图。

本发明实施例提供了联邦学习模型训练方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例联邦学习模型训练方法应用于上述终端设备，本发明实施例终端设备可以是PC，便携计算机等终端设备，在此不做具体限制，进一步地，本发明联邦学习模型训练方法应用于联邦学习系统，如图4所示为本实例中联邦学习系统适用本发明联邦学习模型训练方法的其中一个应用场景，该场景所示的联邦学习系统包括多个客户端。

本实施例联邦学习模型训练方法包括：

步骤S100，获取各所述客户端所拥有的训练数据的数据特征。

获取当前联邦学习系统中，全部客户端各自所拥有的训练数据的数据特征。

例如，在如图4所述的联邦学习系统适用联邦学习模型训练方法的一个应用场景中，客户端1为当前联邦学习系统中的一家银行参与者，客户端2为当前联邦学习系统中的一家电商参与者，客户端3为当前联邦学习系统中的一家支付平台，该银行参与者、该电商参与者与该支付平台属于同一地区，因此两参与者所拥有的客户大致相同，但是由于银行参与者与电商参与者对于相同客户所提供的服务业务不相同，因此两参与者所记录的相同客户的客户数据(即客户端1、客户端2和客户端3各自拥有的训练数据)，其数据特征是不相同的，在特殊情况下，客户端1、客户端2和客户端3各自拥有的训练数据的数据特征可能是互补的，则在检测到当前联邦系统中的客户端1、客户端2和客户端3所拥有的训练数据属于相同客户，但数据特征不同时，随即获取客户端1所拥有训练数据的数据特征(以X3、X4和X5表示)、客户端2所拥有训练数据的数据特征(以X1、X2和数据标签Y表示)和客户端3所拥有训练数据的数据特征(以X6和X7表示)。

步骤S200，根据所述数据特征在各所述客户端生成相同特征维度的代用数据。

在获取到当前联邦学习系统中，各客户端所拥有训练数据的数据特征之后，基于各客户端之间相互拥有的不同数据特征的训练数据，生成与各客户端所拥有的训练数据具有相同特征维度的代用数据。

例如，在如图4所述的联邦学习系统适用联邦学习模型训练方法的应用场景中，当获取到当前联邦系统中拥有相同客户，但拥有不同客户数据的客户端1所拥有的训练数据的数据特征：X3、X4和X5，和客户端2所拥有的训练数据的数据特征：X1、X2和数据标签Y以及客户端3所拥有训练数据的数据特征(以X6和X7之后，分别在客户端1以及客户端2上，调用现有的数据生成模型(如GAN(generative adversarial network：生成对抗网络)模型、VAE(variational autoencoder：变分自编码器)模型或者Pixel-CNN(基于卷积神经网络的图像生成)模型等)，以客户端2和客户端3所拥有的训练数据为基础，在客户端1上生成具有客户端2和客户端3所拥有训练数据相同特征维度的代用数据，或者以客户端1和客户端3所拥有的训练数据为基础，在客户端2生成具有客户端1和客户端3所拥有训练数据相同特征维度的代用数据，并按照如此方式在各客户端对应生成具有各其他客户所拥有训练数据相同特征维度的代用数据。

进一步地，请参照图3，图3为本发明联邦学习模型训练方法一实施例中步骤S200的细化流程示意图，步骤S200，包括：

步骤S201，检测全部所述训练数据的所述数据特征中，不同于当前所述客户端所拥有训练数据的第一数据特征的第二数据特征。

在获取到当前联邦学习系统中，各客户端所拥有训练数据的全部数据特征之后，逐一检测该全部数据特征中，不同于当前客户端所拥有训练数据第一数据特征的第二数据特征。

例如，在当获取到当前联邦系统中拥有相同客户，但拥有不同客户数据的客户端1所拥有的训练数据的数据特征：X3、X4和X5，和客户端2所拥有的训练数据的数据特征：X1、X2和数据标签Y以及客户端3所拥有训练数据的数据特征(以X6和X7之后，逐一检测当前全部数据特征：X1、X2、X3、X4、X5、X6和X7，以及数据标签Y中，与当前客户端1所拥有训练数据的第一数据特征：X3、X4和X5不相同的第二数据特征：X1、X2、X6、X7和数据标签Y，并基于相同操作，在当前客户端为客户端2时，即检测当前全部数据特征中，与当前客户端2所拥有训练数据的第一数据特征：X1、X2和数据标签Y不相同的第二数据特征：X3、X4、X5、X6和X7。

步骤S202，根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据。

待检测到当前联邦学习系统中全部客户端所拥有训练数据的全部数据特征中，不同于各当前客户端所拥有训练数据第一数据特征的第二数据特征之后，随即利用各第二数据特征所对应训练数据为各当前客户端生成与各第二数据特征所对应训练数据具有相同特征维度的代用数据。

例如，当从当前联邦学习系统中客户端1、客户端2和客户端3全部所拥有训练数据的全部数据特征X1、X2、X3、X4、X5、X6和X7，以及数据标签Y中，检测出与当前客户端1所拥有训练数据的第一数据特征：X3、X4和X5不相同的第二数据特征：X1、X2、X6、X7和数据标签Y之后，调用现有的数据生成模型—GAN模型，基于当前第二数据特征X1、X2、X6、X7和数据标签Y，为当前客户端1生成与各数据特征X1、X2、X6、X7和数据标签Y所对应训练数据(客户端2所拥有的训练数据)具有相同特征维度的代用数据；并在检测出与当前客户端2所拥有训练数据的第一数据特征：X1、X2和数据标签Y不相同的第二数据特征：X3、X4、X5、X6、X7之后，调用GAN模型，基于当前第二数据特征X3、X4X5、X6和X7，为当前客户端1生成与各数据特征X3、X4和X5、X6和X7所对应训练数据(客户端1所拥有的训练数据)具有相同特征维度的代用数据。

进一步地，步骤S202，包括：

步骤A，在当前所述客户端，调用数据生成模型生成与所述第二数据特征对应的待确认数据。

在当前联邦学习系统中各客户端所拥有的全部训练数据中，依次获取不同于各当前客户端所拥有训练数据第一数据特征的第二数据特征，所对应的目标训练数据，并在当前客户端上，调用现有的数据生成模型，将获取到的不同于各当前客户端所拥有训练数据第一数据特征的第二数据特征所对应的目标训练数据作为输入，从而生成待确认数据。

例如，在如图4所述的联邦学习系统适用联邦学习模型训练方法的应用场景中，若当前客户端为客户端1时，则从当前联邦学习系统中客户端1以及客户端2所拥有的全部训练数据中，获取与当前客户端1所拥有训练数据的第一数据特征：X3、X4和X5不相同的第二数据特征：X1、X2、X6、X7和数据标签Y所对应的客户端2所拥有的训练数据作为目标训练数据；同样的，若当前客户端为客户端2时，则从当前联邦学习系统的全部训练数据中，获取与当前客户端2所拥有训练数据的第一数据特征：X1、X2和数据标签不相同的第二数据特征：YX3、X4、X5、X6和X7所对应的客户端1所拥有的训练数据作为目标训练数据，并在客户端1上调用现有的GAN模型，将从当前联邦学习系统中的全部训练数据中，获取到的目标训练数据，即与当前客户端1所拥有训练数据的第一数据特征：X3、X4和X5不相同的第二数据特征：X1、X2、X6、X7和数据标签Y所对应的客户端2所拥有的训练数据，输入至当前GAN模型，从而基于GAN模型输出生成待确认数据。

进一步地，在另一个实施例中，步骤S202，根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据，还包括：

步骤B，在拥有所述第二数据特征对应训练数据的所述客户端，调用数据判别模型将所述待确认数据确定为与所述第二特征维度对应的代用数据。

在当前客户端上调用现有的数据生成模型，将获取到的当前联邦学习系统全部客户端所拥有的全部训练数据作为输入，从而生成待确认数据。

例如，在当前客户端1上调用GAN模型，将当前联邦学习系统中，将客户端1所拥有的训练数据和客户端2所拥有的训练数据，全部输入至当前GAN模型，从而基于GAN模型输出生成待确认数据。

步骤C，在拥有所述第二数据特征对应训练数据的所述客户端，调用数据判别模型将所述待确认数据确定为与所述第二特征维度对应的代用数据。

在当前联邦学习系统中拥有所述第二数据特征对应训练数据的客户端上，调用数据判别模型对生成的待确认数据进行判定，从而将调用数据生成模型基于第二数据特征所对应训练数据生成的待确认数据，确定为当前客户端的代用数据。

进一步地，步骤B，包括：

步骤B1，调用所述数据判别模型检测所述待确认数据是否符合预设要求。

步骤B2，在检测到所述待确认数据符合预设要求时，将所述待确认数据确定为与所述第二特征维度对应的代用数据。

在当前联邦学习系统中拥有所述第二数据特征对应训练数据的客户端上，调用数据判别模型检测客户端生成的待确认数据，并在检测到基于第二数据特征所对应训练数据生成的待确认数据符合预设要求之后，便将当前生成的带确认数据确定为属于当前客户端且与第二数据特征所对应训练数据具有相同特征维度的代用数据。

本实施例中，预设要求为现有的数据判别模型，基于自身所拥有的判别源数据和依据源数据为生成的生成数据之间相似度的判别标准，检测生成数据是否满足该标准。

例如，在如图4所述的联邦学习系统适用联邦学习模型训练方法的应用场景中，当客户端1调用现有的GAN模型，在基于与当前客户端1所拥有训练数据的第一数据特征：X3、X4和X5不相同的第二数据特征：X1、X2、X6、X7和数据标签Y所对应的客户端2和客户端3所拥有的训练数据，生成待确认数据数据之后，若在客户端2上调用的数据判别模型基于自身所拥有的判别源数据(客户端2所拥有的训练数据)和依据源数据为生成的生成数据(待确认数据数据)之间相似度的判别标准，检测到该待确认数据符合标准(即生成的待确认数据与客户端2所拥有的训练数据足够相似)之后，将客户端1生成的待确认数据确定为属于客户端1且与客户端2所拥有的训练数据具有相同特征维度的代用数据，并标记生成的客户端1的代用数据的数据特征为X1’、X2’以及数据标签Y’，同样的若在客户端3上调用的数据判别模型基于自身所拥有的判别源数据(客户端3所拥有的训练数据)和依据源数据为生成的生成数据(待确认数据数据)之间相似度的判别标准，检测到该待确认数据符合标准(即生成的待确认数据与客户端3所拥有的训练数据足够相似)之后，将客户端1生成的待确认数据确定为属于客户端1且与客户端3所拥有的训练数据具有相同特征维度的代用数据，并标记生成的客户端1的代用数据的数据特征为X6’、X7’。

步骤S300，基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。

在当前联邦学习系统中，利用各当前客户端各自所拥有的训练数据以及基于其他各客户端所拥有训练数据而生成的代用数据，对当前联邦学习系统的联邦学习模型进行模型训练。

进一步地，步骤S300，包括：

步骤S301，调用当前所述客户端所拥有的所述训练数据以及所述代用数据进行联邦学习模型训练，获得模型参数更新。

在当前联邦学习模型中，将各当前客户端各自所拥有的训练数据标记为各当前客户端的第一训练数据，从而将各当前客户端的第一训练数据和基于其他各客户端所拥有训练数据而生成的目标代用数据，作为对各当前客户端的本地联邦学习模型进行模型训练的模型参数，并对该模型参数进行更新处理，将经过更新处理之后的模型参数，输入各当前客户端的本地联邦学习模型，以进行模型训练。

例如，在如图4所述的联邦学习系统适用联邦学习模型训练方法的应用场景中，将当前联邦学习系统中，客户端1和客户端2自身所拥有的训练数据标记为客户端1和客户端2的第一训练数据，并将第一训练数据连同基于客户端1、2所拥有的训练数据生成的目标代用数据，作为对当前客户端1、2的各本地联邦学习模型进行模型训练的模型参数，并对该模型参数进行参数加权平均等更新处理。

进一步地，在另一个实施例中，将经过更新处理之后的所述模型参数分发至各所述客户端，以供各所述客户端将所述模型参数输入所述联邦学习模型以进行模型训练。

例如，将经过加权平均更新处理之后的全部模型参数(包括经过加权平均处理后的客户端1、2自身拥有的训练数据、基于客户端1、2所拥有训练数据生成的代用数据)，通过联邦学习系统中的服务端(协调者)或者仅通过当前客户端1，将该全部模型参数中，经过加权平均处理后的客户端1自身拥有的训练数据和基于客户端2所拥有训练数据生成的代用数据，分发至当前客户端1，将经过加权平均处理后的客户端2自身拥有的训练数据和基于客户端1所拥有训练数据生成的代用数据，分发至当前客户端2，以供客户端1和客户端2各自基于分发的模型参数对各自的本地联邦学习模型进行模型训练。

本发明通过获取当前联邦学习系统中，全部客户端各自所拥有的训练数据的数据特征，在获取到当前联邦学习系统中，各客户端所拥有训练数据的全部数据特征之后，逐一检测该全部数据特征中，不同于客户端所拥有训练数据第一数据特征的第二数据特征，待检测到当前联邦学习系统中全部客户端所拥有训练数据的全部数据特征中，不同于各客户端所拥有训练数据第一数据特征的第二数据特征之后，随即利用各第二数据特征所对应训练数据在各客户端生成与各第二数据特征所对应训练数据具有相同特征维度的代用数据，在当前联邦学习模型中，将各客户端各自所拥有的训练数据标记为各客户端的第一训练数据，从而将各客户端的第一训练数据和基于其他各客户端所拥有训练数据而生成的目标代用数据，作为对各客户端的本地联邦学习模型进行模型训练的模型参数，并对该模型参数进行更新处理，以供各客户端基于更新处理之后的模型参数对各自的本地联邦学习模型进行模型训练。

实现了，当联邦学习系统中的各客户端拥有不同数据特征的训练数据时，通过在各客户端生成与其他客户端所拥有的训练数据具有相同特征维度的代用数据，以供各客户端基于各自拥有的训练数据和生成的代用数据进行模型训练，从而避免了各客户端在每进行一次本地的模型训练之后，都需要各参与者交换各自的中间计算结果导致的联邦学习整体计算复杂度高和通信开销大的技术问题，提升了当联邦学习系统中的各客户端拥有不同数据特征的训练数据时，客户端进行模型训练的效率，从而拓展了联邦学习的应用场景，并通过对训练数据与生成的代用数据进行模型参数更新处理，从而基于联邦学习的模型平均效应，充分利用了训练数据来减少利用生成代用数据对联邦学习模型带来的误差影响，从而获得了更佳的模型性能。

进一步地，提出本发明联邦学习模型训练方法的第二实施例。

基于上述联邦学习模型训练方法第一实施例，本实施例中，上述步骤S200，根据所述数据特征为各所述客户端生成相同特征维度的代用数据，还包括：

步骤S203，调用数据生成模型生成与全部所述本地数据相同特征维度的全部代用数据。

在当前联邦学习系统中，调用现有的数据生成模型，生成与各客户端所拥有全部本地数据具有相同特征维度的全部代用数据。

例如，调用GAN模型，将当前联邦学习系统中，基于客户端1所拥有的本地数据、客户端2所拥有的本地数据和客户端3所拥有的本地数据，均GAN模型的输入以生成与全部训练数据具有相同特征维度的代用数据，即生成与客户端1所拥有训练数据的数据特征：X3、X4和X5相应的数据特征为X3’、X4’和X5’的代用数据，生成与客户端2所拥有训练数据的数据特征：X1、X2和数据标签Y相应的数据特征为X1’、X2’以及数据标签Y’的代用数据，生成与客户端2所拥有训练数据的数据特征：X6、X7相应的数据特征为X6’、X7’的代用数据。

步骤S204，从全部所述代用数据中，基于各所述客户端所拥有的训练数据提取目标代用数据。

根据各当前客户端所拥有的训练数据，从生成的与各客户端所拥有全部训练数据具有相同特征维度的全部代用数据中，提取目标代用数据。

进一步地，步骤S204，包括：

步骤C，检测全部所述训练数据中，不同于当前所述客户端所拥有的第一训练数据的第二训练数据。

在当前联邦学习系统全部客户端所拥有的全部训练数据中，检测各客户端除各自身所拥有的第一训练数据之外的第二训练数据。

例如，将当前联邦学习系统中，客户端1、客户端2和客户端3自身所拥有的训练数据标记为客户端1、客户端2和客户端3的第一训练数据，从而，在当前联邦学习系统的客户端1、客户端2和客户端3所拥有的全部训练数据中，检测当前客户端1的除第一训练数据之外的第二训练数据(即客户端2和客户端3所拥有的训练数据)，并检测当前客户端2的除第一训练数据之外的第二训练数据(即客户端1和客户端3自身所拥有的训练数据)，并检测当前客户端3的除第一训练数据之外的第二训练数据(即客户端1和客户端2自身所拥有的训练数据)。

步骤D，从生成的全部所述代用数据中，提取与所述第二训练数据相同特征维度的目标代用数据。

在基于数据生成模型生成的与各客户端所拥有全部训练数据具有相同特征维度的全部代用数据中，依次提取出特征维度与各当前客户端的第二训练数据相同的目标代用数据，从而各当前客户端基于该提取的目标代用数据对本地联邦学习模型进行模型训练。

例如，在调用GAN模型生成的与全部训练数据具有相同特征维度的代用数据中，即在生成的与客户端1所拥有训练数据的数据特征：X3、X4和X5相应的数据特征为X3’、X4’和X5’的代用数据，生成的与客户端2所拥有训练数据的数据特征：X1、X2和数据标签Y相应的数据特征为X1’、X2’以及数据标签Y’的代用数据，和生成的与客户端3所拥有训练数据的数据特征：X6、X7相应的数据特征为X6’、X7’中，依次提取出与当期客户端1的第二训练数据(客户端2和客户端3所拥有训练数据)具有相同特征维度的目标代用数据，即全部代用数据中数据特征为X1’、X2’、X6’、X7’以及数据标签Y’的代用数据，以供客户端1基于其自身所拥有的训练数据以及提取出的目标代用数据进行模型训练，同样的，将全部代用数据中，提取数据特征为X3’、X4’、X5’、X6’和X7’的目标代用数据，以供客户端2基于其自身所拥有的训练数据以及提取出的目标代用数据进行模型训练，将全部代用数据中，提取数据特征为X1’、X2’、X3’、X4’和X5’以及数据标签Y’的目标代用数据，以供客户端2基于其自身所拥有的训练数据以及提取出的目标代用数据进行模型训练。

本发明通过在当前联邦学习系统中，调用现有的数据生成模型，生成与各客户端所拥有全部训练数据具有相同特征维度的全部代用数据，在当前联邦学习系统全部客户端所拥有的全部训练数据中，检测各客户端除各自身所拥有的第一训练数据之外的第二训练数据，在基于数据生成模型生成的与各客户端所拥有全部训练数据具有相同特征维度的全部代用数据中，依次提取出特征维度与各当前客户端的第二训练数据相同的目标代用数据，以供各当前客户端基于提取出的目标代用数据以及自身所拥有的训练数据对本地联邦学习模型进行模型训练。

从而，增加了联邦学习系统中的各客户端生成利用代用数据进行方式，提升了当联邦学习系统中的各客户端拥有不同数据特征的训练数据时，各客户端进行模型训练灵活性，从而进一步提升了在各客户端拥有不同数据特征的训练数据时，对联邦学习模型进行训练的效率。

此外，请参照图5，本发明实施例还提出一种联邦学习模型训练装置，所述联邦学习模型训练装置应用于联邦学习系统，所述联邦学习系统包括多个客户端，所述联邦学习模型训练装置包括：

获取模块，用于获取各所述客户端所拥有的训练数据的数据特征；

数据生成模块：用于根据所述数据特征在各所述客户端生成相同特征维度的代用数据；

模型训练模块，用于基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。

优选地，数据生成模块，包括：

第一检测单元，用于检测全部所述训练数据的所述数据特征中，不同于当前所述客户端所拥有训练数据的第一数据特征的第二数据特征；

生成单元，用于根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据。

优选地，生成单元，包括：

第一调用单元，用于在当前所述客户端，调用数据生成模型生成与所述第二数据特征对应的待确认数据；

所述第一调用单元，还用于在拥有所述第二数据特征对应训练数据的所述客户端，调用数据判别模型将所述待确认数据确定为与所述第二特征维度对应的代用数据。

优选地，第一调用单元，包括：

检测子单元，用于调用所述数据判别模型检测所述待确认数据是否符合预设要求；

确定单元，用于在检测到所述待确认数据符合预设要求时，将所述待确认数据确定为与所述第二特征维度对应的代用数据。

优选地，生成单元，还包括：

第二调用单元，用于调用数据生成模型，生成与全部所述训练数据对应的全部所述待确认数据。

优选地，模型训练模块，用于调用当前所述客户端所拥有的所述训练数据以及所述代用数据进行联邦学习模型训练，获得模型参数更新。

本实施例提出的联邦学习模型训练装置各个模块运行时实现如上所述的联邦学习模型训练方法的步骤，在此不再赘述。

此外，本发明实施例还提出一种存储介质，应用于计算机，即所述存储介质为计算机可读存储介质，所述介质上存储有联邦学习模型训练程序，所述联邦学习模型训练程序被处理器执行时实现如上所述的联邦学习模型训练方法的步骤。

其中，在所述处理器上运行的联邦学习模型训练程序被执行时所实现的方法可参照本发明基于联邦学习模型训练方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种联邦学习模型训练方法，其特征在于，所述联邦学习模型训练方法应用于联邦学习系统，所述联邦学习系统包括多个客户端，所述联邦学习方法包括：

获取各所述客户端所拥有的训练数据的数据特征；

根据所述数据特征在各所述客户端生成相同特征维度的代用数据；

基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。

2.如权利要求1所述的联邦学习模型训练方法，其特征在于，所述根据所述数据特征在各所述客户端生成相同特征维度的代用数据的步骤，包括：

检测全部所述训练数据的所述数据特征中，不同于当前所述客户端所拥有训练数据的第一数据特征的第二数据特征；

根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据。

3.如权利要求2所述的联邦学习模型训练方法，其特征在于，所述根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据的步骤，包括：

在当前所述客户端，调用数据生成模型生成与所述第二数据特征对应的待确认数据；

在拥有所述第二数据特征对应训练数据的所述客户端，调用数据判别模型将所述待确认数据确定为与所述第二特征维度对应的代用数据。

4.如权利要求3所述的联邦学习模型训练方法，其特征在于，所述调用数据判别模型，将所述待确认数据确定为与所述第二特征维度对应的代用数据的步骤，包括：

调用所述数据判别模型检测所述待确认数据是否符合预设要求；

在检测到所述待确认数据符合预设要求时，将所述待确认数据确定为与所述第二特征维度对应的代用数据。

5.如权利要求1至4所述的联邦学习模型训练方法，其特征在于，所述根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据的步骤，还包括：

调用数据生成模型，生成与全部所述训练数据对应的全部所述待确认数据。

6.如权利要求1所述的联邦学习模型训练方法，其特征在于，所述基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练的步骤，包括：

调用当前所述客户端所拥有的所述训练数据以及所述代用数据进行联邦学习模型训练，获得模型参数更新。

7.一种联邦学习模型训练装置，其特征在于，所述联邦学习模型训练方法应用于联邦学习系统，所述联邦学习系统包括多个客户端，所述联邦学习模型训练装置包括：

获取模块，用于获取各所述客户端所拥有的训练数据的数据特征；

数据生成模块：用于根据所述数据特征在各所述客户端生成相同特征维度的代用数据；

模型训练模块，用于基于各所述客户端所拥有的所述训练数据与所述代用数据进行联邦学习模型训练。

8.如权利要求7所述的联邦学习模型训练方法，其特征在于，所述数据生成模块，包括：

第一检测单元，用于检测全部所述训练数据的所述数据特征中，不同于当前所述客户端所拥有训练数据的第一数据特征的第二数据特征；

生成单元，用于根据所述第二数据特征在当前所述客户端生成与所述第二数据特征所对应的代用数据。

9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习模型训练程序，所述联邦学习模型训练程序被所述处理器执行时实现如权利要求1至6中任一项所述的联邦学习模型训练方法的步骤。

10.一种存储介质，其特征在于，应用于计算机，所述存储介质上存储有联邦学习模型训练程序，所述联邦学习模型训练程序被处理器执行时实现如权利要求1至6中任一项所述的联邦学习模型训练方法的步骤。