CN112633513A - 数据处理方法、系统、装置及计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种数据处理方法、系统、装置及计算机可读存储介质，涉及人工智能技术领域。其中数据处理方法包括：客户端预测本地数据包含的数据类别；客户端确定对应的边缘数据中心；客户端利用本地数据训练联邦学习模型，并将训练得到的参数发送至对应的边缘数据中心；边缘数据中心对多个客户端发送的联邦学习模型参数进行整合；边缘数据中心利用包含所有数据类别的训练数据集，对整合后的联邦学习模型进行训练；边缘数据中心将二次训练后的联邦学习模型参数发送至总数据中心；总数据中心对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行整合。本公开能够提升联邦学习模型的预测性能。

Description

数据处理方法、系统、装置及计算机可读存储介质

技术领域

本公开涉及人工智能技术领域，特别涉及一种数据处理方法、系统、装置及计算机可读存储介质。

背景技术

不同于传统机器学习模型需要将训练数据集中在云端进行训练的方法，谷歌提出了在客户端做端侧训练的联邦学习算法。联邦学习和分布式机器学习算法中的数据并行原理非常相似，但是运行算法的环境变得更复杂，由数台客户端完成模型训练的运算。联邦学习算法用同步执行的方法控制通信轮之间的运算。简而言之，在云端的服务器需要收集够一定数量的客户端数据更新，才可以进行下一步更新共享模型参数的运算。然后，再把更新后的共享模型分发到各台客户端设备。

图1示出了谷歌提出的联邦学习算法的流程示意图。如图1所示，客户端1/客户端2从云端下载最近更新的共享模型后，用本地数据训练共享模型。然后，客户端1/客户端2将更新后的共享模型更新上传至云端的数据中心。最终，数据中心利用收集到的共享模型整合出一个新的共享模型，然后下发给客户端1/客户端2。以上步骤可以不断重复，以实现共享模型的不断更新。

联邦学习意味着将训练数据留在客户端本地，不需要将用户的原始训练数据上传、存储到云端，这一做法能够大幅减少个人敏感信息泄漏的风险，保护用户隐私数据。

发明内容

发明人研究发现，联邦学习技术中的训练数据来自于用户的日常生活，会跟用户的习惯、爱好等因素密切相关。所以，在实际情况下运用联邦学习算法，训练数据会呈现大规模分布、不独立同分布、数据量不平均等属性。所谓大规模分布，是指训练数据存储在多台客户端设备当中，参与训练的训练数据一定会大于平均到一台客户端设备上的训练数据。所谓不独立同分布，是指客户端本地的训练数据主要来源于用户的日常生活，会受到用户喜好、使用频率、使用习惯等因素影响，因此每个客户端的训练数据并不符合相同的分布。所谓数据量不平均，是指各台客户端设备的数据存储数量可能千差万别，导致了各台客户端设备的训练数据量不一致。这些训练数据的属性，会导致现有的联邦学习技术中，每个客户端训练得到的模型参数差异较大，使得服务器整合后的联邦学习模型的预测性能较差，具体体现在稳定性低、分类准确度低、预测准确度低等等。

本公开解决的技术问题是，如何提升联邦学习模型的预测性能。

根据本公开实施例的一个方面，提供了一种数据处理方法，包括：客户端利用联邦学习模型预测本地数据包含的数据类别；客户端根据本地数据包含的数据类别，确定对应的边缘数据中心；客户端利用本地数据训练联邦学习模型，并将训练得到的联邦学习模型参数发送至对应的边缘数据中心；边缘数据中心对多个客户端发送的联邦学习模型参数进行整合，得到整合后的联邦学习模型；边缘数据中心利用包含所有数据类别的训练数据集，对整合后的联邦学习模型进行训练，得到二次训练后的联邦学习模型参数；边缘数据中心将二次训练后的联邦学习模型参数发送至总数据中心；总数据中心对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行整合，得到二次整合后的联邦学习模型。

在一些实施例中，还包括：客户端从对应的边缘数据中心下载整合后的联邦学习模型，并重新执行前述的数据处理方法。

在一些实施例中，客户端根据本地数据包含的数据类别，确定对应的边缘数据中心包括：客户端获取各个边缘数据中心的数据类别标签，数据类别标签中包含数据类别；客户端从各个边缘数据中心的数据类别标签中，选择所包含数据类别与本地数据包含的数据类别最接近的数据类别标签；客户端将最接近的数据类别标签所属的边缘数据中心，确定为对应的边缘数据中心。

在一些实施例中，训练数据集中各个数据类别的训练数据相同，且训练数据集的训练数据数量小于客户端的本地数据量。

在一些实施例中，边缘数据中心对多个客户端发送的联邦学习模型参数进行加权平均，得到整合后的联邦学习模型；总数据中心对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行加权平均，得到二次整合后的联邦学习模型。

根据本公开实施例的另一个方面，提供了一种数据处理系统，包括：客户端，被配置为：利用联邦学习模型预测本地数据包含的数据类别；根据本地数据包含的数据类别，确定对应的边缘数据中心；利用本地数据训练联邦学习模型，并将训练得到的联邦学习模型参数发送至对应的边缘数据中心；边缘数据，被配置为：中心对多个客户端发送的联邦学习模型参数进行整合，得到整合后的联邦学习模型；利用包含所有数据类别的训练数据集，对整合后的联邦学习模型进行训练，得到二次训练后的联邦学习模型参数；将二次训练后的联邦学习模型参数发送至总数据中心；总数据中心，被配置为：对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行整合，得到二次整合后的联邦学习模型。

在一些实施例中，客户端还被配置为：从对应的边缘数据中心下载整合后的联邦学习模型；数据处理系统被配置为：重新执行前述的数据处理方法。

在一些实施例中，客户端被配置为：获取各个边缘数据中心的数据类别标签，数据类别标签中包含数据类别；从各个边缘数据中心的数据类别标签中，选择所包含数据类别与本地数据包含的数据类别最接近的数据类别标签；将最接近的数据类别标签所属的边缘数据中心，确定为对应的边缘数据中心。

在一些实施例中，训练数据集中各个数据类别的训练数据相同，且训练数据集的训练数据数量小于客户端的本地数据量。

在一些实施例中，边缘数据中心被配置为：对多个客户端发送的联邦学习模型参数进行加权平均，得到整合后的联邦学习模型；总数据中心被配置为：对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行加权平均，得到二次整合后的联邦学习模型。

根据本公开实施例的又一个方面，提供了一种数据处理装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述的数据处理方法。

根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现前述的数据处理方法。

本公开能够提升联邦学习模型的预测性能。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了联邦学习算法的流程示意图。

图2示出了本公开数据处理方法的一些实施例的流程示意图。

图3示出了采用分级部署边缘数据中心对联邦学习模型参数进行整合的流程示意图。

图4示出了采用分级部署边缘数据中心以实现数据处理方法的流程示意图。

图5示出了客户端确定对应的边缘数据中心的一些实施例的流程示意图。

图6示出了本公开一些实施例的数据处理系统的结构示意图。

图7示出了本公开一些实施例的数据处理装置的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

首先结合图2描述本公开数据处理方法的一些实施例。

图2示出了本公开数据处理方法的一些实施例的流程示意图。如图2所示，本实施例中数据处理方法包括步骤S201～步骤S204。

在步骤S201中，客户端利用联邦学习模型预测本地数据包含的数据类别。

例如，各个客户端分别从云端下载最近更新的联邦学习模型。然后，各个客户端将本地存储的图片数据输入具有图片分类功能的联邦学习模型，推断得到本地数据包含的数据类别。假设所有图片的分类包括类别1、类别2、……类别10共10类，其中客户端1推断得到本地数据包含的数据类别可以为类别1、类别2、类别3、类别4。

在步骤S202中，客户端根据本地数据包含的数据类别，确定对应的边缘数据中心。

例如，客户端1根据本地数据包含的数据类别为类别1、类别2、类别3、类别4寻找边缘数据中心1，该边缘数据中心1负责整合由类别1、类别2、类别3、类别4的训练数据训练出的联邦学习模型参数。各个客户端根据本地数据包含的数据类别，都可以确定对应的边缘数据中心。

在步骤S203中，客户端利用本地数据训练联邦学习模型，并将训练得到的联邦学习模型参数发送至对应的边缘数据中心。

例如，各个客户端利用本地数据训练联邦学习模型后，可以向云端对应的边缘数据中心发送共享模型更新请求，以发送训练得到的联邦学习模型权重，并标记对应的边缘数据中心。

在步骤S204中，边缘数据中心对多个客户端发送的联邦学习模型参数进行整合，得到整合后的联邦学习模型。

例如，边缘数据中心收到多个客户端发送的联邦学习模型参数后，可以对多个客户端发送的联邦学习模型参数进行加权平均，得到整合后的联邦学习模型。

在步骤S205中，边缘数据中心利用包含所有数据类别的训练数据集，对整合后的联邦学习模型进行训练，得到二次训练后的联邦学习模型参数。

在一些实施例中，该训练数据集中各个数据类别的训练数据相同，且该训练数据集的训练数据数量小于客户端的本地数据量。例如，在该训练数据集的训练数据数量与单个客户端的本地数据量的总和中，该训练数据集的训练数据数量占比约为10％。

在步骤S206中，边缘数据中心将二次训练后的联邦学习模型参数发送至总数据中心。

本领域技术人员应理解，边缘数据中心可以采用分级部署的方式。下级边缘数据中心可以逐层将二次训练后的联邦学习模型参数发送至上一级边缘数据中心进行整合，直至发送至总数据中心进行整合。图3示出了采用分级部署边缘数据中心对联邦学习模型参数进行整合的流程示意图。

在步骤S207中，总数据中心对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行整合，得到二次整合后的联邦学习模型。

例如，总数据中心可以对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行加权平均，得到二次整合后的联邦学习模型。总数据中心可以二次整合后的联邦学习模型下发给客户端1～客户端n，并重新执行步骤S201～步骤S207，以实现联邦学习模型的不断更新。

本实施例采用了边缘计算的思想，根据客户端本地数据包含的数据类别，选择对应的边缘数据中心对客户端上传的联邦学习模型参数进行整合，然后利用包含所有数据类别的训练数据集进行再次训练。因此，本实施例能够减小因客户端本地存储的训练数据具有大规模分布、不独立同分布、数据量不平均导致的模型参数差异，提高整合后的联邦学习模型的预测性能。

本领域技术人员应理解，本实施例不仅可以应用于云端和客户端之间的交互，也可以应用于云端服务器之间的交互。

在一些实施例中，数据处理方法还包括步骤S208。

在步骤S208中，客户端从对应的边缘数据中心下载整合后的联邦学习模型，并重新执行步骤S201～步骤S207。图4示出了采用分级部署边缘数据中心以实现数据处理方法的流程示意图。

由于客户端对应的边缘数据中心存有适应于客户端的个性化联邦学习模型，客户端直接利用对应的边缘数据中心的联邦学习模型进行参数更新，能够提高更新联邦学习模型的效率，并进一步提高整合后的联邦学习模型的预测性能。

下面结合图5描述客户端如何确定对应的边缘数据中心。

图5示出了客户端确定对应的边缘数据中心的一些实施例的流程示意图。如图5所示，本实施例包括步骤S5021～步骤S5024。

在步骤S5021中，客户端获取各个边缘数据中心的数据类别标签，数据类别标签中包含数据类别。

各个边缘数据中心的数据类别标签是预先进行标注的。例如，边缘数据中心1的数据类别标签为类别1、类别2、类别3、类别4，边缘数据中心2的数据类别标签为类别2、类别3、类别4等等。随着不同用户的使用习惯、爱好、地域、文化不同，不同边缘数据中心标注的数据类别标签也不同。

在步骤S5022中，客户端从各个边缘数据中心的数据类别标签中，选择所包含数据类别与本地数据包含的数据类别最接近的数据类别标签。

假设客户端3本地数据包含的数据类别为类别2、类别3、类别4。客户端3求取其包含数据类别与各个边缘数据中心的数据类别标签之间的相似度。该相似度的计算方法例如可以为客户端的数据类别与边缘数据中心的数据类别标签之间的交集与并集之比。客户端3得到与本地数据包含的数据类别最接近的数据类别标签为类别2、类别3、类别4。

在步骤S5023中，客户端将最接近的数据类别标签所属的边缘数据中心，确定为对应的边缘数据中心。

例如，边缘数据中心2的数据类别标签为类别2、类别3、类别4。那么，客户端3将边缘数据中心2确定为对应的边缘数据中心。

本实施例能够使客户端确定出对应的边缘数据中心，以便边缘数据中心收集和整合由具有类似数据分布的客户端训练出的联邦学习模型参数，从而减小因客户端本地存储的训练数据具有大规模分布、不独立同分布、数据量不平均导致的模型参数差异，提高整合后的联邦学习模型的预测性能。

下面结合图6描述本公开数据处理系统的一些实施例。

图6示出了本公开一些实施例的数据处理系统的结构示意图。如图6所示，本实施例中的数据处理系统60包括：

客户端602，被配置为：利用联邦学习模型预测本地数据包含的数据类别；根据本地数据包含的数据类别，确定对应的边缘数据中心；利用本地数据训练联邦学习模型，并将训练得到的联邦学习模型参数发送至对应的边缘数据中心；

边缘数据中心604，被配置为：中心对多个客户端发送的联邦学习模型参数进行整合，得到整合后的联邦学习模型；利用包含所有数据类别的训练数据集，对整合后的联邦学习模型进行训练，得到二次训练后的联邦学习模型参数；将二次训练后的联邦学习模型参数发送至总数据中心；

总数据中心606，被配置为：对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行整合，得到二次整合后的联邦学习模型。

本实施例采用了边缘计算的思想，根据客户端本地数据包含的数据类别，选择对应的边缘数据中心对客户端上传的联邦学习模型参数进行整合，然后利用包含所有数据类别的训练数据集进行再次训练。因此，本实施例能够减小因客户端本地存储的训练数据具有大规模分布、不独立同分布、数据量不平均导致的模型参数差异，提高整合后的联邦学习模型的预测性能。

在一些实施例中，客户端602还被配置为：从对应的边缘数据中心下载整合后的联邦学习模型；数据处理系统60被配置为：重新执行前述的数据处理方法。

由于客户端对应的边缘数据中心存有适应于客户端的个性化联邦学习模型，客户端直接利用对应的边缘数据中心的联邦学习模型进行参数更新，能够提高更新联邦学习模型的效率，并进一步提高整合后的联邦学习模型的预测性能。

在一些实施例中，客户端602被配置为：获取各个边缘数据中心的数据类别标签，数据类别标签中包含数据类别；从各个边缘数据中心的数据类别标签中，选择所包含数据类别与本地数据包含的数据类别最接近的数据类别标签；将最接近的数据类别标签所属的边缘数据中心，确定为对应的边缘数据中心。

本实施例能够使客户端确定出对应的边缘数据中心，以便边缘数据中心收集和整合由具有类似数据分布的客户端训练出的联邦学习模型参数，从而减小因客户端本地存储的训练数据具有大规模分布、不独立同分布、数据量不平均导致的模型参数差异，提高整合后的联邦学习模型的预测性能。

在一些实施例中，训练数据集中各个数据类别的训练数据相同，且训练数据集的训练数据数量小于客户端的本地数据量。

在一些实施例中，边缘数据中心604被配置为：对多个客户端发送的联邦学习模型参数进行加权平均，得到整合后的联邦学习模型；总数据中心606被配置为：对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行加权平均，得到二次整合后的联邦学习模型。

下面结合图7描述本公开数据处理装置的一些实施例。

图7示出了本公开一些实施例的数据处理装置的结构示意图。如图7所示，该实施例的数据处理装置70包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行前述任意一些实施例中的数据处理方法。

其中，存储器710例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

数据处理装置70还可以包括输入输出接口730、网络接口740、存储接口750等。这些接口730、740、750以及存储器710和处理器720之间例如可以通过总线760连接。其中，输入输出接口730为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口740为各种联网设备提供连接接口。存储接口750为SD卡、U盘等外置存储设备提供连接接口。

本公开还包括一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现前述任意一些实施例中的数据处理方法。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (12)

1.一种数据处理方法，包括：

客户端利用联邦学习模型预测本地数据包含的数据类别；

客户端根据本地数据包含的数据类别，确定对应的边缘数据中心；

客户端利用本地数据训练联邦学习模型，并将训练得到的联邦学习模型参数发送至对应的边缘数据中心；

边缘数据中心对多个客户端发送的联邦学习模型参数进行整合，得到整合后的联邦学习模型；

边缘数据中心利用包含所有数据类别的训练数据集，对整合后的联邦学习模型进行训练，得到二次训练后的联邦学习模型参数；

边缘数据中心将二次训练后的联邦学习模型参数发送至总数据中心；

总数据中心对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行整合，得到二次整合后的联邦学习模型。

2.如权利要求1所述的数据处理方法，还包括：

客户端从对应的边缘数据中心下载整合后的联邦学习模型，并重新执行如权利要求1所述的数据处理方法。

3.如权利要求1所述的数据处理方法，其中，所述客户端根据本地数据包含的数据类别，确定对应的边缘数据中心包括：

客户端获取各个边缘数据中心的数据类别标签，所述数据类别标签中包含数据类别；

客户端从各个边缘数据中心的数据类别标签中，选择所包含数据类别与本地数据包含的数据类别最接近的数据类别标签；

客户端将所述最接近的数据类别标签所属的边缘数据中心，确定为对应的边缘数据中心。

4.如权利要求1所述的数据处理方法，其中，所述训练数据集中各个数据类别的训练数据相同，且所述训练数据集的训练数据数量小于客户端的本地数据量。

5.如权利要求1所述的数据处理方法，其中，

边缘数据中心对多个客户端发送的联邦学习模型参数进行加权平均，得到整合后的联邦学习模型；

总数据中心对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行加权平均，得到二次整合后的联邦学习模型。

6.一种数据处理系统，包括：

客户端，被配置为：利用联邦学习模型预测本地数据包含的数据类别；根据本地数据包含的数据类别，确定对应的边缘数据中心；利用本地数据训练联邦学习模型，并将训练得到的联邦学习模型参数发送至对应的边缘数据中心；

边缘数据，被配置为：中心对多个客户端发送的联邦学习模型参数进行整合，得到整合后的联邦学习模型；利用包含所有数据类别的训练数据集，对整合后的联邦学习模型进行训练，得到二次训练后的联邦学习模型参数；将二次训练后的联邦学习模型参数发送至总数据中心；

总数据中心，被配置为：对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行整合，得到二次整合后的联邦学习模型。

7.如权利要求6所述的数据处理系统，其中，所述客户端还被配置为：从对应的边缘数据中心下载整合后的联邦学习模型；

所述数据处理系统被配置为：重新执行如权利要求1所述的数据处理方法。

8.如权利要求6所述的数据处理系统，其中，所述客户端被配置为：

获取各个边缘数据中心的数据类别标签，所述数据类别标签中包含数据类别；从各个边缘数据中心的数据类别标签中，选择所包含数据类别与本地数据包含的数据类别最接近的数据类别标签；将所述最接近的数据类别标签所属的边缘数据中心，确定为对应的边缘数据中心。

9.如权利要求6所述的数据处理系统，其中，所述训练数据集中各个数据类别的训练数据相同，且所述训练数据集的训练数据数量小于客户端的本地数据量。

10.如权利要求6所述的数据处理系统，其中，

所述边缘数据中心被配置为：对多个客户端发送的联邦学习模型参数进行加权平均，得到整合后的联邦学习模型；

所述总数据中心被配置为：对所有边缘数据中心发送的二次训练后的联邦学习模型参数进行加权平均，得到二次整合后的联邦学习模型。

11.一种数据处理装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至5中任一项所述的数据处理方法。

12.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至5中任一项所述的数据处理方法。

Images