CN114266357A - 联邦学习模型构建方法、装置、中心服务器以及客户端 - Google Patents

Abstract

本发明实施例涉及一种联邦学习模型构建方法、装置、中心服务器以及客户端，该方法包括：接收至少两个异构资源客户端发送的请求；根据异构资源客户端对应的数据元素，对至少两个异构资源客户端进行排序；将初始联邦学习模型按照排序顺序，分发至不同的异构资源客户端；接收每一个异构资源客户端对初始联邦学习模型进行训练后，上传的训练结果；综合训练结果，创建新的联邦学习模型；当新的联邦学习模型未达到预设要求时，将新的联邦学习模型再次发送至异构资源客户端进行迭代训练，直至最终获取的联邦学习模型达到预设要求，停止训练，完成联邦学习模型构建。通过该种方式，解决客户端选择问题的约束，提升联邦学习训练模型构建效率。

Description

联邦学习模型构建方法、装置、中心服务器以及客户端

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种联邦学习模型构建方法、装置、中心服务器以及客户端。

背景技术

联邦学习协议迭代地要求随机客户端从服务器下载可训练的模型，用自己的数据更新模型，并将更新后的模型上传到服务器，同时要求服务器聚合多个客户端更新以进一步改进模型。虽然此协议中的客户端不需要公开自己的私有数据，可以保证客户端隐私。但当某些客户端可能会出现训练效率低的问题时，整个邻邦学习训练模型的训练过程将停滞不前，直至该客户端训练完成才可以执行后续动作。而具体采用哪些客户端，并不是联邦学习模型自身所能决定，而是随机选择的，基于这种情景，当某些客户端具有限的计算资源(即，需要较长的更新时间)或在无线信道条件差的情况(较长的上传时间)下，整体的训练过程会变得低效，进而影响后续应用进程。

发明内容

鉴于此，为解决现有技术中上述技术问题，本发明实施例提供一种联邦学习模型构建方法、装置、中心服务器以及客户端。

第一方面，本发明实施例提供一种联邦学习模型构建方法，该方法由中心服务器执行，该方法包括：

接收至少两个异构资源客户端发送的请求，请求中包括异构资源客户端对应的数据元素；

根据异构资源客户端对应的数据元素，对至少两个异构资源客户端进行排序；

将预构建的初始联邦学习模型按照至少两个异构资源客户端的排序顺序，依次分发至不同的异构资源客户端；

接收至少两个异构资源客户端中的每一个异构资源客户端对初始联邦学习模型进行训练后，上传的训练结果；

综合训练结果，创建新的联邦学习模型；

当新的联邦学习模型未达到预设要求时，将新的联邦学习模型再次发送至不同的异构资源客户端进行迭代训练，直至最终获取的联邦学习模型达到预设要求时，停止训练，完成联邦学习模型构建。

在一个可能的实施方式中，根据异构资源客户端对应的数据元素，对至少两个异构资源客户端进行排序，具体包括：

按照第一预设规则，从至少两个异构资源客户端对应的数据元素所组成的数组中选择第一基准数据元素；

基于第一基准数据元素，将数组分为两组；

当任一分组中数据元素的数量大于1时，重复执行按照第一预设规则，在分组中选择第二基准数据元素；

并基于第二基准数据元素，对分组进一步分为两组，直至每一个分组中数据元素的数量均为1时，停止分组；

基于每一次分组结果，对至少两个异构资源客户端进行排序，直至对所有异构资源客户端进行排序完成。

在一个可能的实施方式中，基于基准数据元素，将数组分为两组，具体包括：

当第一异构资源客户端对应的数据元素大于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第一分组；

或者，当第一异构资源对应的数据元素小于或等于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第二分组，其中，基准数据元素包括第一基准数据元素和第二基准数据元素，第一异构资源客户端为至少两个异构资源客户端中的任一个。

在一个可能的实施方式中，综合训练结果，创建新的联邦学习模型，具体包括：

按照第二预设规则，对每一个训练结果分配权重；

根据每一个训练结果，以及每一个训练结果对应的权重，创建新的联邦学习模型。

在一个可能的实施方式中，基准数据元素为基准数据元素所属数组中的首个数据元素。

第二方面，本发明实施例提供一种联邦学习模型构建方法，该方法由异构资源客户端执行，包括：

向中心服务器发送请求信息，请求信息中携带异构资源客户端对应的数据元素，以便中心服务器根据数据元素，对至少两个异构资源客户端进行排序；

接收中心服务器反馈的联邦学习模型，其中联邦学习模型为初始联邦学习模型，或者是经过中心服务器调整后的联邦学习模型；

基于预存储的样本数据对联邦学习模型进行训练；

将训练结果反馈至中心服务器。

在一个可能的实施方式中，预存储的样本数据为根据用户采取的行动差异生成的训练数据。

第三方面，本发明实施例提供一种联邦学习模型构建装置，该装置包括：

接收单元，用于接收至少两个异构资源客户端发送的请求，请求中包括异构资源客户端对应的数据元素；

排序单元，用于根据异构资源客户端对应的数据元素，对至少两个异构资源客户端进行排序；

发送单元，用于将预构建的初始联邦学习模型按照至少两个异构资源客户端的排序顺序，依次分发至不同的异构资源客户端；

接收单元，还用于接收至少两个异构资源客户端中的每一个异构资源客户端对初始联邦学习模型进行训练后，上传的训练结果；

创建单元，用于综合训练结果，创建新的联邦学习模型；

处理单元，用于确定新的联邦学习模型是否达到预设要求；

发送单元，还用于当处理单元确定新的联邦学习模型未达到预设要求时，将新的联邦学习模型再次发送至不同的异构资源客户端进行迭代训练，直至处理单元确定最终获取的联邦学习模型达到预设要求时，停止训练。

在一个可能的实施方式中，排序单元具体用于，按照第一预设规则，从至少两个异构资源客户端对应的数据元素所组成的数组中选择第一基准数据元素；

基于第一基准数据元素，将数组分为两组；

当任一分组中数据元素的数量大于1时，重复执行按照第一预设规则，在分组中选择第二基准数据元素；

并基于第二基准数据元素，对分组进一步分为两组，直至每一个分组中数据元素的数量均为1时，停止分组；

基于每一次分组结果，对至少两个异构资源客户端进行排序，直至对所有异构资源客户端进行排序完成。

在一个可能的实施方式中，排序单元具体用于，当第一异构资源客户端对应的数据元素大于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第一分组；

或者，当第一异构资源对应的数据元素小于或等于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第二分组，其中，基准数据元素包括第一基准数据元素和第二基准数据元素，第一异构资源客户端为至少两个异构资源客户端中的任一个。

第四方面，本发明实施例提供一种联邦学习模型构建装置，该装置包括：

发送单元，用于向中心服务器发送请求信息，请求信息中携带异构资源客户端对应的数据元素，以便中心服务器根据数据元素，对至少两个异构资源客户端进行排序；

接收单元，用于接收中心服务器反馈的联邦学习模型，其中联邦学习模型为初始联邦学习模型，或者是经过中心服务器调整后的联邦学习模型；

训练单元，用于基于预存储的样本数据对联邦学习模型进行训练；

发送单元，还用于将训练结果反馈至中心服务器。

第五方面，本发明实施例提供一种中心服务器，该中心服务器包括：

至少一个处理器和存储器；

处理器用于执行存储器中存储的联邦学习模型构建程序，以实现第一方面任一实施方式所介绍的联邦学习模型构建方法。

第六方面，本发明实施例提供一种客户端，该客户端包括：

至少一个处理器和存储器；

处理器用于执行存储器中存储的联邦学习模型构建程序，以实现第二方面任一实施方式所介绍的联邦学习模型构建方法。

第七方面，本发明实施例提供一种计算机存储介质，该计算机存储介质存储有一个或者多个程序，一个或者多个程序可被如第五方面所介绍的中心服务器执行，以实现如第一方面任一实施方式所介绍的联邦学习模型构建方法。

第八方面，本发明实施例提供一种计算机存储介质，该计算机存储介质存储有一个或者多个程序，一个或者多个程序可被如第六方面所介绍的客户端执行，以实现如第二方面任一实施方式所介绍的联邦学习模型构建方法。

本发明实施例提供的一种联邦学习模型构建方法，中心服务器可以根据不同异构资源客户端的资源状况，积极管理客户端。尽可能多的聚合不同异构资源客户端反馈的训练结果，并根据训练结果创建新的联邦学习模型。解决了客户端选择问题的约束的同时，还可以保证不同客户端之间的隐私数据不被泄露，大大提升联邦学习训练模型构建的效率。而且，将模型训练过程配置在边缘客户端，计算边缘化，还可以弥补云计算在实时计算效率、终端数据处理方面的不足，极大地减轻了从设备到云端的数据和网络流量的压力。

附图说明

图1为本发明实施例提供的一种联邦学习模型构建方法流程示意图；

图2为本发明提供的对异构资源客户端对应的数据元素进行排序的流程框图；

图3为本发明实施例提供的另一种联邦学习模型构建方法流程示意图；

图4为本发明实施例提供的一种联邦学习模型构建装置结构示意图；

图5为本发明实施例提供的另一种联邦学习模型构建装置结构示意图；

图6为本发明实施例提供一种中心服务器结构示意图；

图7为本发明实施例提供一种客户端结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

图1为本发明实施例提供的一种联邦学习模型构建方法流程示意图，如图1所示，该方法由中心服务器执行，包括：

步骤110，接收至少两个异构资源客户端发送的请求，请求中包括异构资源客户端对应的数据元素。

具体的，该数据元素主要是一种与客户端之间建立标识关系的元素，例如是一种编号信息。具体的编号信息可以根据客户端的训练效率生成的，例如训练效率高的客户端其对应的编号越小，排序越靠前，方便后续中心服务器优先分配联邦学习训练模型供其进行训练。可选的，客户端的编号信息也可以是人为设定的，例如工作人员根据实际需求为客户端进行编号。具体如何操作完全可以根据实际情况设定，这里不做过多限定。

步骤120，根据异构资源客户端对应的数据元素，对至少两个异构资源客户端进行排序。

可选的，在对至少两个异构资源客户端进行排序时，可采用如下方式：

例如按照第一预设规则，从至少两个异构资源客户端对应的数据元素所组成的数组中选择第一基准数据元素；

基于第一基准数据元素，将数组分为两组；

当任一分组中数据元素的数量大于1时，重复执行按照第一预设规则，在分组中选择第二基准数据元素；

并基于第二基准数据元素，对分组进一步分为两组，直至每一个分组中数据元素的数量均为1时，停止分组；

基于每一次分组结果，对至少两个异构资源客户端进行排序，直至对所有异构资源客户端进行排序完成。

在一个具体的例子中，第一预设规则可以是有工作人员预先配置好的。例如，将所有异构资源客户端对应的数据元素全部加入到一个集合中，构成一个数组。然后选取数组(如果是分组后，则选择子分组)中的第一个数据元素作为排序基准，也即是基准数据元素。

例如，首次对数据进行划分时，则将整个数组中的第一个数据元素作为第一基准数据元素，将数组分为两组。

进一步可选的，在按照第一基准数据元素将数组进行分组时，可以将大于第一基准数据元素的数据元素划分到一个分组。将小于或者等于第一基准数据元素的数据元素划分到一个分组。

在将总的数组进行划分后，在执行进一步的划分，如果两个分组中，每一个分组中的数据元素的数量都大于1时，就将每一个分组分别作为一个整体数组进行进一步的划分，划分为两个子分组。

也即是，当第一异构资源客户端对应的数据元素大于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第一分组；

或者，当第一异构资源对应的数据元素小于或等于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第二分组，其中，基准数据元素包括第一基准数据元素和第二基准数据元素，第一异构资源客户端为至少两个异构资源客户端中的任一个。

直至最终分出的每一个数组中数据元素的数量为1，此时停止分组。

然后，基于每一次分组结果，对至少两个异构资源客户端进行排序，直至对所有异构资源客户端进行排序完成后结束。其实，也即是，数据元素的排序顺序映射为异构资源的排序顺序。

通过上述过程，则可以将所有的异构资源客户端按照其对应的数据元素，依次进行排序了。

具体操作流程还可参见图2所示，图2示出利用上述方法对异构资源客户端对应的数据元素进行排序的流程框图。

步骤130，将预构建的初始联邦学习模型按照至少两个异构资源客户端的排序顺序，依次分发至不同的异构资源客户端。

具体的，在对至少两个异构资源客户端进行排序后，中心服务器则可以按照排序顺序，依次将预构建的初始联邦学习模型发送至不同的异构资源客户端，由这些异构资源客户端对初始联邦学习模型进行训练。然后再接收不同异构资源客户端反馈的训练结果，即执行步骤140。

步骤140，接收至少两个异构资源客户端中的每一个异构资源客户端对初始联邦学习模型进行训练后，上传的训练结果。

步骤150，综合训练结果，创建新的联邦学习模型。

具体的，中心服务器可以尽可能的聚合不同异构资源客户端反馈的训练结果，也即是不同异构资源客户端反馈的经过训练后的联邦学习模型，然后对这些联邦学习模型分配不同的权重，进而创建一个新的联邦学习模型。具体分配权重的过程可以是预先配置的，例如由工作人员进行配置。也可以是中心服务器自行根据预设标准为不同客户端上传的联邦学习模型进行分配。例如，异构资源客户端反馈的联邦学习模型的时间越早，其对应的权重越高。或者，异构资源客户端反馈的联邦学习模型更加贴近目标模型，其配置的权重越高。具体的权重数值，则根据预先配置的数值确定。又或者根据其他方式配置，这里不做过多限定。不同异构资源客户端侧的样本数据不同，其训练结果自然也不同。中心服务器刚好可以收集不同的训练结果，进行综合后得到新的联邦学习训练模型，使得最终获取的联邦学习训练模型更加优化。

步骤160，当新的联邦学习模型未达到预设要求时，将新的联邦学习模型再次发送至不同的异构资源客户端进行迭代训练，直至最终获取的联邦学习模型达到预设要求时，停止训练，完成联邦学习模型构建。

即，联邦学习模型很大的可能性是，不会一次性达到训练要求，而是要经过多次迭代训练，才能够达到工作人员预先设定的要求。因此，需要不断的循环训练，也即是中心服务器创建新的联邦学习模型后，需要将这个新的联邦学习模型依次分发至不同的异构资源客户端，然后由异构资源客户端进行训练后，反馈训练结果。中心服务器尽可能多的综合异构资源客户端反馈的训练结果，进一步创建新的联邦学习模型，直至达到预设要求，结束训练，完成联邦学习模型的构建。

本发明实施例提供的联邦学习模型构建方法，从异构资源客户端发送的请求中获取数据元素，然后根据数据元素对异构资源客户端进行排序。根据排序方式，将初始两帮学习模型依次分发至不同的异构资源客户端。即，不再通过随机选择方式选择异构资源客户端，而是尽可能多的将初始联邦模型分发至不同的异构资源客户端，任一个异构资源客户端完成训练后，都将训练结果上传至中心服务器。因此，中心服务器可尽可能多的聚合不同异构资源客户端的训练结果，然后进行综合，进一步改进联邦学习模型，直至联邦学习模型达到预设要求，停止训练。

通过该种方式，中心服务器可以根据不同异构资源客户端的资源状况，积极管理客户端。尽可能多的聚合不同异构资源客户端反馈的训练结果，并根据训练结果创建新的联邦学习模型。解决了客户端选择问题的约束的同时，还可以保证不同客户端之间的隐私数据不被泄露，大大提升联邦学习训练模型构建的效率。而且，将模型训练过程配置在边缘客户端，计算边缘化，还可以弥补云计算在实时计算效率、终端数据处理方面的不足，极大地减轻了从设备到云端的数据和网络流量的压力。

图3为本发明实施例提供的另一种联邦学习模型构建方法流程示意图，如图3所示，该方法由异构资源客户端执行，该方法包括：

步骤310，向中心服务器发送请求信息。

具体的，请求信息中携带异构资源客户端对应的数据元素，以便中心服务器根据数据元素，对至少两个异构资源客户端进行排序。

步骤320，接收中心服务器反馈的联邦学习模型，其中联邦学习模型为初始联邦学习模型，或者是经过中心服务器调整后的联邦学习模型。

步骤330，基于预存储的样本数据对联邦学习模型进行训练。

具体的，训练过程同现有技术，这里不再过多介绍。但是需要说明的是，预存储的样本数据，可以是根据用户采取的行动差异生成的训练数据，即用户在自身持有的客户端一侧采取不同的操作，客户端基于用户一侧执行的不同操作生成相应的数据。不同用户根据自己的不同操作方式或者不同的选择，就会生成存在一定差异性的数据，而这些数据既可作为训练数据对联邦学习模型进行训练。

步骤340，将训练结果反馈至中心服务器。

本实施例提供的联邦学习模型构建方法中各方法步骤详细细节均已在图1对应的实施例中做了详细介绍，因此这里不再赘述。

本发明实施例提供的联邦学习模型构建方法，首先向中心服务器发送请求信息，请求信息中携带异构资源客户端对应的数据元素，以便中心服务器根据数据元素，对至少两个异构资源客户端进行排序，然后接受中心服务器反馈的联邦学习模型。接收中心服务器反馈的联邦学习模型后，可以基于预存储的样本数据对联邦学习模型进行训练，然后将训练结果反馈至中心服务器，以便中心服务器根据不同异构资源客户端反馈的训练结果进行综合后，创建新的联邦学习模型。通过该过程，中心服务器可尽可能多的聚合不同异构资源客户端的训练结果，然后进行综合，进一步改进联邦学习模型，直至联邦学习模型达到预设要求，停止训练。

通过该种方式，中心服务器可以根据不同异构资源客户端的资源状况，积极管理客户端。尽可能多的聚合不同异构资源客户端反馈的训练结果，并根据训练结果创建新的联邦学习模型。解决了客户端选择问题的约束的同时，还可以保证不同客户端之间的隐私数据不被泄露，大大提升联邦学习训练模型构建的效率。而且，将模型训练过程配置在边缘客户端，计算边缘化，还可以弥补云计算在实时计算效率、终端数据处理方面的不足，极大地减轻了从设备到云端的数据和网络流量的压力。

图4为本发明实施例提供的一种联邦学习模型构建装置，该装置包括：接收单元401、排序单元402、发送单元403、创建单元404和处理单元405。

接收单元401，用于接收至少两个异构资源客户端发送的请求，请求中包括异构资源客户端对应的数据元素；

排序单元402，用于根据异构资源客户端对应的数据元素，对至少两个异构资源客户端进行排序；

发送单元403，用于将预构建的初始联邦学习模型按照至少两个异构资源客户端的排序顺序，依次分发至不同的异构资源客户端；

接收单元401，还用于接收至少两个异构资源客户端中的每一个异构资源客户端对初始联邦学习模型进行训练后，上传的训练结果；

创建单元404，用于综合训练结果，创建新的联邦学习模型；

处理单元405，用于确定新的联邦学习模型是否达到预设要求；

发送单元403，还用于当处理单元405确定新的联邦学习模型未达到预设要求时，将新的联邦学习模型再次发送至不同的异构资源客户端进行迭代训练，直至处理单元405确定最终获取的联邦学习模型达到预设要求时，停止训练。

可选的，排序单元402具体用于，按照第一预设规则，从至少两个异构资源客户端对应的数据元素所组成的数组中选择第一基准数据元素；

基于第一基准数据元素，将数组分为两组；

当任一分组中数据元素的数量大于1时，重复执行按照第一预设规则，在分组中选择第二基准数据元素；

并基于第二基准数据元素，对分组进一步分为两组，直至每一个分组中数据元素的数量均为1时，停止分组；

基于每一次分组结果，对至少两个异构资源客户端进行排序，直至对所有异构资源客户端进行排序完成。

可选的，排序单元402具体用于，当第一异构资源客户端对应的数据元素大于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第一分组；

或者，当第一异构资源对应的数据元素小于或等于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第二分组，其中，基准数据元素包括第一基准数据元素和第二基准数据元素，第一异构资源客户端为至少两个异构资源客户端中的任一个。

可选的，基准数据元素为基准数据元素所属数组中的首个数据元素。

可选的，创建单元404具体用于，按照第二预设规则，对每一个训练结果分配权重；

根据每一个训练结果，以及每一个训练结果对应的权重，创建新的联邦学习模型。

本实施例提供的联邦学习模型构建装置中各功能部件所执行的功能均已在图1对应的实施例中做了详细介绍，因此这里不再赘述。

本发明实施例提供的一种联邦学习模型构建装置，从异构资源客户端发送的请求中获取数据元素，然后根据数据元素对异构资源客户端进行排序。根据排序方式，将初始两帮学习模型依次分发至不同的异构资源客户端。即，不再通过随机选择方式选择异构资源客户端，而是尽可能多的将初始联邦模型分发至不同的异构资源客户端，任一个异构资源客户端完成训练后，都将训练结果上传至中心服务器。因此，中心服务器可尽可能多的聚合不同异构资源客户端的训练结果，然后进行综合，进一步改进联邦学习模型，直至联邦学习模型达到预设要求，停止训练。

通过该种方式，中心服务器可以根据不同异构资源客户端的资源状况，积极管理客户端。尽可能多的聚合不同异构资源客户端反馈的训练结果，并根据训练结果创建新的联邦学习模型。解决了客户端选择问题的约束的同时，还可以保证不同客户端之间的隐私数据不被泄露，大大提升联邦学习训练模型构建的效率。而且，将模型训练过程配置在边缘客户端，计算边缘化，还可以弥补云计算在实时计算效率、终端数据处理方面的不足，极大地减轻了从设备到云端的数据和网络流量的压力。

图5为本发明实施例提供的另一种联邦学习模型构建装置，该装置包括：发送单元501、接收单元502以及训练单元503。

发送单元501，用于向中心服务器发送请求信息，请求信息中携带异构资源客户端对应的数据元素，以便中心服务器根据数据元素，对至少两个异构资源客户端进行排序；

接收单元502，用于接收中心服务器反馈的联邦学习模型，其中联邦学习模型为初始联邦学习模型，或者是经过中心服务器调整后的联邦学习模型；

训练单元503，用于基于预存储的样本数据对联邦学习模型进行训练；

发送单元501，还用于将训练结果反馈至中心服务器。

可选的，预存储的样本数据为根据用户采取的行动差异生成的训练数据。

本实施例提供的联邦学习模型构建装置中各功能部件所执行的功能均已在图3对应的实施例中做了详细介绍，因此这里不再赘述。

本发明实施例提供的一种联邦学习模型构建装置，首先向中心服务器发送请求信息，请求信息中携带异构资源客户端对应的数据元素，以便中心服务器根据数据元素，对至少两个异构资源客户端进行排序，然后接受中心服务器反馈的联邦学习模型。接收中心服务器反馈的联邦学习模型后，可以基于预存储的样本数据对联邦学习模型进行训练，然后将训练结果反馈至中心服务器，以便中心服务器根据不同异构资源客户端反馈的训练结果进行综合后，创建新的联邦学习模型。通过该过程，中心服务器可尽可能多的聚合不同异构资源客户端的训练结果，然后进行综合，进一步改进联邦学习模型，直至联邦学习模型达到预设要求，停止训练。

通过该种方式，中心服务器可以根据不同异构资源客户端的资源状况，积极管理客户端。尽可能多的聚合不同异构资源客户端反馈的训练结果，并根据训练结果创建新的联邦学习模型。解决了客户端选择问题的约束的同时，还可以保证不同客户端之间的隐私数据不被泄露，大大提升联邦学习训练模型构建的效率。而且，将模型训练过程配置在边缘客户端，计算边缘化，还可以弥补云计算在实时计算效率、终端数据处理方面的不足，极大地减轻了从设备到云端的数据和网络流量的压力。

图6为本发明实施例提供的一种中心服务器的结构示意图，图6所示的中心服务器600包括：至少一个处理器601、存储器602、至少一个网络接口603和其他用户接口604。联邦学习模型构建中心服务器600中的各个组件通过总线系统605耦合在一起。可理解，总线系统605用于实现这些组件之间的连接通信。总线系统605除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统605。

其中，用户接口604可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本发明实施例中的存储器602可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器602存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统6021和应用程序6022。

其中，操作系统6021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序6022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序6022中。

在本发明实施例中，通过调用存储器602存储的程序或指令，具体的，可以是应用程序6022中存储的程序或指令，处理器601用于执行各方法实施例所提供的方法步骤，例如包括：

接收至少两个异构资源客户端发送的请求，请求中包括异构资源客户端对应的数据元素；

根据异构资源客户端对应的数据元素，对至少两个异构资源客户端进行排序；

将预构建的初始联邦学习模型按照至少两个异构资源客户端的排序顺序，依次分发至不同的异构资源客户端；

接收至少两个异构资源客户端中的每一个异构资源客户端对初始联邦学习模型进行训练后，上传的训练结果；

综合训练结果，创建新的联邦学习模型；

当新的联邦学习模型未达到预设要求时，将新的联邦学习模型再次发送至不同的异构资源客户端进行迭代训练，直至最终获取的联邦学习模型达到预设要求时，停止训练，完成联邦学习模型构建。

可选的，按照第一预设规则，从至少两个异构资源客户端对应的数据元素所组成的数组中选择第一基准数据元素；

基于第一基准数据元素，将数组分为两组；

当任一分组中数据元素的数量大于1时，重复执行按照第一预设规则，在分组中选择第二基准数据元素；

并基于第二基准数据元素，对分组进一步分为两组，直至每一个分组中数据元素的数量均为1时，停止分组；

基于每一次分组结果，对至少两个异构资源客户端进行排序，直至对所有异构资源客户端进行排序完成。

可选的，当第一异构资源客户端对应的数据元素大于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第一分组；

或者，当第一异构资源对应的数据元素小于或等于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第二分组，其中，基准数据元素包括第一基准数据元素和第二基准数据元素，第一异构资源客户端为至少两个异构资源客户端中的任一个。

可选的，基准数据元素为基准数据元素所属数组中的首个数据元素。

可选的，按照第二预设规则，对每一个训练结果分配权重；

根据每一个训练结果，以及每一个训练结果对应的权重，创建新的联邦学习模型。

上述本发明实施例揭示的方法可以应用于处理器601中，或者由处理器601实现。处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文功能的单元来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本实施例提供的中心服务器可以是如图6中所示的中心服务器，可执行如图1中联邦学习模型构建方法的所有步骤，进而实现图1所示联邦学习模型构建方法的技术效果，具体请参照图1相关描述，为简洁描述，在此不作赘述。

图7为本发明实施例提供的一种客户端的结构示意图，图7所示的客户端700包括：至少一个处理器701、存储器702、至少一个网络接口703和其他用户接口704。联邦学习模型构建客户端700中的各个组件通过总线系统705耦合在一起。可理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统705。

其中，用户接口704可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

可以理解，本发明实施例中的存储器702可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器702存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统7021和应用程序7022。

其中，操作系统7021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序7022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序7022中。

在本发明实施例中，通过调用存储器702存储的程序或指令，具体的，可以是应用程序7022中存储的程序或指令，处理器701用于执行各方法实施例所提供的方法步骤，例如包括：

向中心服务器发送请求信息，请求信息中携带异构资源客户端对应的数据元素，以便中心服务器根据数据元素，对至少两个异构资源客户端进行排序；

接收中心服务器反馈的联邦学习模型，其中联邦学习模型为初始联邦学习模型，或者是经过中心服务器调整后的联邦学习模型；

基于预存储的样本数据对联邦学习模型进行训练；

将训练结果反馈至中心服务器。

可选的，预存储的样本数据为根据用户采取的行动差异生成的训练数据。

上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文功能的单元来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本实施例提供的客户端可以是如图7中所示的客户端，可执行如图1中联邦学习模型构建方法的所有步骤，进而实现图3所示联邦学习模型构建方法的技术效果，具体请参照图3相关描述，为简洁描述，在此不作赘述。

本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。

当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在中心服务器侧执行的联邦学习模型构建方法。

处理器用于执行存储器中存储的联邦学习模型构建程序，以实现以下在中心服务器侧执行的联邦学习模型构建方法的步骤：

接收至少两个异构资源客户端发送的请求，请求中包括异构资源客户端对应的数据元素；

根据异构资源客户端对应的数据元素，对至少两个异构资源客户端进行排序；

将预构建的初始联邦学习模型按照至少两个异构资源客户端的排序顺序，依次分发至不同的异构资源客户端；

接收至少两个异构资源客户端中的每一个异构资源客户端对初始联邦学习模型进行训练后，上传的训练结果；

综合训练结果，创建新的联邦学习模型；

当新的联邦学习模型未达到预设要求时，将新的联邦学习模型再次发送至不同的异构资源客户端进行迭代训练，直至最终获取的联邦学习模型达到预设要求时，停止训练，完成联邦学习模型构建。

可选的，按照第一预设规则，从至少两个异构资源客户端对应的数据元素所组成的数组中选择第一基准数据元素；

基于第一基准数据元素，将数组分为两组；

当任一分组中数据元素的数量大于1时，重复执行按照第一预设规则，在分组中选择第二基准数据元素；

并基于第二基准数据元素，对分组进一步分为两组，直至每一个分组中数据元素的数量均为1时，停止分组；

基于每一次分组结果，对至少两个异构资源客户端进行排序，直至对所有异构资源客户端进行排序完成。

可选的，当第一异构资源客户端对应的数据元素大于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第一分组；

或者，当第一异构资源对应的数据元素小于或等于基准数据元素时，将第一异构资源客户端对应的数据元素分配至第二分组，其中，基准数据元素包括第一基准数据元素和第二基准数据元素，第一异构资源客户端为至少两个异构资源客户端中的任一个。

可选的，按照第二预设规则，对每一个训练结果分配权重；

根据每一个训练结果，以及每一个训练结果对应的权重，创建新的联邦学习模型。

本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。

当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在客户端侧执行的联邦学习模型构建方法。

处理器用于执行存储器中存储的联邦学习模型构建程序，以实现以下在客户端侧执行的联邦学习模型构建方法的步骤：

向中心服务器发送请求信息，请求信息中携带异构资源客户端对应的数据元素，以便中心服务器根据数据元素，对至少两个异构资源客户端进行排序；

接收中心服务器反馈的联邦学习模型，其中联邦学习模型为初始联邦学习模型，或者是经过中心服务器调整后的联邦学习模型；

基于预存储的样本数据对联邦学习模型进行训练；

将训练结果反馈至中心服务器。

可选的，预存储的样本数据为根据用户采取的行动差异生成的训练数据。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种联邦学习模型构建方法，其特征在于，所述方法由中心服务器执行，所述方法包括：

接收至少两个异构资源客户端发送的请求，所述请求中包括所述异构资源客户端对应的数据元素；

根据所述异构资源客户端对应的数据元素，对至少两个所述异构资源客户端进行排序；

将预构建的初始联邦学习模型按照至少两个所述异构资源客户端的排序顺序，依次分发至不同的异构资源客户端；

接收至少两个所述异构资源客户端中的每一个所述异构资源客户端对所述初始联邦学习模型进行训练后，上传的训练结果；

综合所述训练结果，创建新的联邦学习模型；

当所述新的联邦学习模型未达到预设要求时，将所述新的联邦学习模型再次发送至不同的异构资源客户端进行迭代训练，直至最终获取的联邦学习模型达到预设要求时，停止训练，完成联邦学习模型构建。

2.根据权利要求1所述的方法，其特征在于，所述根据所述异构资源客户端对应的数据元素，对至少两个所述异构资源客户端进行排序，具体包括：

按照第一预设规则，从至少两个所述异构资源客户端对应的数据元素所组成的数组中选择第一基准数据元素；

基于所述第一基准数据元素，将所述数组分为两组；

当任一分组中数据元素的数量大于1时，重复执行按照第一预设规则，在所述分组中选择第二基准数据元素；

并基于所述第二基准数据元素，对所述分组进一步分为两组，直至每一个分组中数据元素的数量均为1时，停止分组；

基于每一次分组结果，对至少两个所述异构资源客户端进行排序，直至对所有异构资源客户端进行排序完成。

3.根据权利要求2所述的方法，其特征在于，基于基准数据元素，将所述数组分为两组，具体包括：

当第一异构资源客户端对应的数据元素大于基准数据元素时，将所述第一异构资源客户端对应的数据元素分配至第一分组；

或者，当所述第一异构资源对应的数据元素小于或等于所述基准数据元素时，将所述第一异构资源客户端对应的数据元素分配至第二分组，其中，所述基准数据元素包括第一基准数据元素和第二基准数据元素，所述第一异构资源客户端为至少两个所述异构资源客户端中的任一个。

4.根据权利要求3所述的方法，其特征在于，所述基准数据元素为所述基准数据元素所属数组中的首个数据元素。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述综合所述训练结果，创建新的联邦学习模型，具体包括：

按照第二预设规则，对每一个训练结果分配权重；

根据每一个所述训练结果，以及每一个所述训练结果对应的权重，创建新的联邦学习模型。

6.一种联邦学习模型构建方法，其特征在于，所述方法由异构资源客户端执行，所述方法包括：

向中心服务器发送请求信息，所述请求信息中携带异构资源客户端对应的数据元素，以便所述中心服务器根据所述数据元素，对至少两个所述异构资源客户端进行排序；

接收所述中心服务器反馈的联邦学习模型，其中所述联邦学习模型为初始联邦学习模型，或者是经过所述中心服务器调整后的联邦学习模型；

基于预存储的样本数据对所述联邦学习模型进行训练；

将所述训练结果反馈至所述中心服务器。

7.根据权利要求6所述的方法，其特征在于，所述预存储的样本数据为根据用户采取的行动差异生成的训练数据。

8.一种联邦学习模型构建装置，其特征在于，所述装置包括：

接收单元，用于接收至少两个异构资源客户端发送的请求，所述请求中包括所述异构资源客户端对应的数据元素；

排序单元，用于根据所述异构资源客户端对应的数据元素，对至少两个所述异构资源客户端进行排序；

发送单元，用于将预构建的初始联邦学习模型按照所述至少两个异构资源客户端的排序顺序，依次分发至不同的异构资源客户端；

所述接收单元，还用于接收至少两个所述异构资源客户端中的每一个所述异构资源客户端对所述初始联邦学习模型进行训练后，上传的训练结果；

创建单元，用于综合所述训练结果，创建新的联邦学习模型；

处理单元，用于确定所述新的联邦学习模型是否达到预设要求；

所述发送单元，还用于当所述处理单元确定所述新的联邦学习模型未达到预设要求时，将所述新的联邦学习模型再次发送至不同的异构资源客户端进行迭代训练，直至所述处理单元确定最终获取的联邦学习模型达到预设要求时，停止训练。

9.根据权利要求8所述的装置，其特征在于，所述排序单元具体用于，

按照第一预设规则，从所述至少两个所述异构资源客户端对应的数据元素所组成的数组中选择第一基准数据元素；

基于所述第一基准数据元素，将所述数组分为两组；

当任一分组中数据元素的数量大于1时，重复执行按照第一预设规则，在所述分组中选择第二基准数据元素；

并基于所述第二基准数据元素，对所述分组进一步分为两组，直至每一个分组中数据元素的数量均为1时，停止分组；

基于每一次分组结果，对至少两个所述异构资源客户端进行排序，直至对所有异构资源客户端进行排序完成。

10.根据权利要求9所述的装置，其特征在于，所述排序单元具体用于，当第一异构资源客户端对应的数据元素大于基准数据元素时，将所述第一异构资源客户端对应的数据元素分配至第一分组；

或者，当所述第一异构资源对应的数据元素小于或等于所述基准数据元素时，将所述第一异构资源客户端对应的数据元素分配至第二分组，其中，所述基准数据元素包括第一基准数据元素和第二基准数据元素，所述第一异构资源客户端为至少两个所述异构资源客户端中的任一个。

11.一种联邦学习模型构建装置，其特征在于，所述装置包括：

发送单元，用于向中心服务器发送请求信息，所述请求信息中携带异构资源客户端对应的数据元素，以便所述中心服务器根据所述数据元素，对至少两个所述异构资源客户端进行排序；

接收单元，用于接收所述中心服务器反馈的联邦学习模型，其中所述联邦学习模型为初始联邦学习模型，或者是经过所述中心服务器调整后的联邦学习模型；

训练单元，用于基于预存储的样本数据对所述联邦学习模型进行训练；

所述发送单元，还用于将所述训练结果反馈至所述中心服务器。

12.一种中心服务器，其特征在于，所述中心服务器包括：至少一个处理器和存储器；

所述处理器用于执行所述存储器中存储的联邦学习模型构建程序，以实现权利要求1～5中任一项所述的联邦学习模型构建方法。

13.一种客户端，其特征在于，所述客户端包括：至少一个处理器和存储器；

所述处理器用于执行所述存储器中存储的联邦学习模型构建程序，以实现权利要求6或7任一项所述的联邦学习模型构建方法。

14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被如权利要求12所述的中心服务器执行，以实现权利要求1～5中任一项所述的联邦学习模型构建方法。

15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被如权利要求13所述的客户端执行，以实现权利要求6或7所述的联邦学习模型构建方法。

Images