CN110992936A - 使用私有数据来进行模型训练的方法及装置 - Google Patents

Abstract

本说明书实施例提供了一种使用私有数据来进行模型训练的方法及装置。该方法可以由服务端设备执行，服务端执行以下循环过程，直至满足循环结束条件：将当前全局模型下发给多个客户端设备，每个客户端设备使用本地私有数据作为训练数据对当前全局模型进行训练，以得到当前全局模型的模型参数调整量，从多个客户端设备中的各个客户端设备接收当前全局模型的模型更新量，以及基于所接收的各个模型更新量来对当前全局模型进行模型更新。

Description

使用私有数据来进行模型训练的方法及装置

技术领域

本说明书实施例涉及机器学习技术领域，具体地，涉及使用私有数据来进行模型训练的方法及装置。

背景技术

随着科技的发展，用户拥有的电子产品越来越多，这些电子产品作为客户端设备在使用过程中会采集用户的数据，并将数据存储在本地。这些客户端设备与服务提供商的服务端设备通信连接，当服务端设备需要基于机器学习的方法来训练一个模型时，需要大量的训练数据，在保护用户隐私的前提下可以通过联邦学习机制使用客户端设备存储的数据作为训练数据进行模型训练。

以语音识别为例，语音识别技术是智能设备的一项重要功能，服务端设备训练一个高精度的语音识别模型，可以通过联邦学习机制利用各个客户端设备的语音数据作为训练数据来训练语音识别模型。

发明内容

鉴于上述，本说明书实施例提供了一种使用私有数据来进行模型训练的方法及装置。该方法可以由服务端设备执行，服务端执行以下循环过程，直至满足循环结束条件：将当前全局模型下发给多个客户端设备，每个客户端设备使用本地私有数据作为训练数据对当前全局模型进行训练，以得到当前全局模型的模型参数调整量；从多个客户端设备中的各个客户端设备接收当前全局模型的模型更新量；以及基于所接收的各个模型更新量来对当前全局模型进行模型更新。在该方法中，在不移动客户端设备本地私有数据的情况下，联合多个移动客户端设备的本地私有数据对服务端设备中的全局模型进行训练，保护了用户隐私。

根据本说明书实施例的一个方面，提供了一种使用私有数据来进行模型训练的方法，所述方法由服务端设备执行，所述服务端设备具有待训练的全局模型，所述方法包括：执行以下循环过程，直至满足循环结束条件：将当前全局模型下发给多个客户端设备，每个客户端设备使用本地私有数据作为训练数据对所述当前全局模型进行训练，以得到所述当前全局模型的模型参数调整量；从所述多个客户端设备中的各个客户端设备接收所述当前全局模型的模型更新量；以及基于所接收的各个模型更新量来对所述当前全局模型进行模型更新，其中，在未满足所述循环结束条件时，所述更新后的全局模型充当下一循环过程中的当前全局模型。

可选地，在上述方面的一个示例中，基于所接收的各个模型更新量来对所述当前全局模型进行模型更新包括：从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量；以及基于所确定的模型更新量来对所述当前全局模型进行模型更新。

可选地，在上述方面的一个示例中，从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量包括：使用本地存储的测试数据集，从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量。

可选地，在上述方面的一个示例中，从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量包括：从所述多个客户端设备中的各个客户端设备接收每个模型更新量对应的性能指标值，每个性能指标值是对应客户端设备使用本地存储的测试数据集得到的，各个客户端设备本地存储的测试数据集相同；以及基于所接收的性能指标值确定出具有最佳性能优化效果的模型更新量。

可选地，在上述方面的一个示例中，基于所接收的各个模型更新量来对所述当前全局模型进行模型更新包括：计算所接收的各个模型更新量的均值；以及基于所计算出的均值来对所述当前全局模型进行模型更新。

可选地，在上述方面的一个示例中，计算所接收的各个模型更新量的均值包括：从所接收的各个模型更新量中确定出指定数量的最佳性能优化效果的模型更新量；以及计算所确定的各个模型更新量的均值。

可选地，在上述方面的一个示例中，各个客户端设备处的私有数据包括图像数据、语音数据以及文本数据中的至少一种。

可选地，在上述方面的一个示例中，还包括：将训练好的全局模型下发给所述多个客户端设备，以供各个客户端设备在本地应用。

可选地，在上述方面的一个示例中，所述服务端设备和所述多个客户端设备为物联网设备。

可选地，在上述方面的一个示例中，所述循环结束条件包括：达到预定循环次数；或者，所接收的当前全局模型被判定为无需训练的客户端设备的数量达到指定阈值。

根据本说明书实施例的另一方面，还提供一种使用私有数据来进行模型训练的方法，所述方法由客户端设备执行，所述方法包括：执行以下循环过程，直至满足循环结束条件：从服务端设备接收当前全局模型；使用所述客户端设备的本地私有数据作为训练数据对所述当前全局模型进行训练，以得到所述当前全局模型的模型参数调整量；以及将所得到的所述当前全局模型的模型更新量发送给所述服务端设备，其中，所述服务端设备使用来自多个客户端设备的所述当前全局模型的模型更新量来进行模型更新，以及在未满足所述循环结束条件时，所述更新后的全局模型被下发给各个客户端设备以充当下一循环过程中的当前全局模型。

根据本说明书实施例的另一方面，还提供一种使用私有数据来进行模型训练的装置，所述装置由服务端设备执行，所述服务端设备具有待训练的全局模型，所述装置包括：模型发送单元，将当前全局模型下发给多个客户端设备，每个客户端设备使用本地私有数据作为训练数据对所述当前全局模型进行训练，以得到所述当前全局模型的模型参数调整量；更新量接收单元，从所述多个客户端设备中的各个客户端设备接收所述当前全局模型的模型更新量；以及模型更新单元，基于所接收的各个模型更新量来对所述当前全局模型进行模型更新，其中，在未满足循环结束条件时，所述更新后的全局模型充当下一循环过程中的当前全局模型，其中，所述模型发送单元、所述更新量接收单元和所述模型更新单元循环操作，直到满足所述循环结束条件。

可选地，在上述方面的一个示例中，所述模型更新单元包括：更新量确定模块，确定针对所述当前全局模型的模型更新量；以及模型更新模块，基于所确定出的模型更新量来对所述当前全局模型进行模型更新。

可选地，在上述方面的一个示例中，所述更新量确定模块，计算所接收的各个模型更新量的均值；以及所述模型更新模块，基于所计算出的均值来对所述当前全局模型进行模型更新。

可选地，在上述方面的一个示例中，所述更新量确定模块，从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量；以及所述模型更新模块，基于所确定的模型更新量来对所述当前全局模型进行模型更新。

可选地，在上述方面的一个示例中，所述模型发送单元将训练好的全局模型下发给所述多个客户端设备，以供各个客户端设备在本地应用。

根据本说明书实施例的另一方面，还提供一种使用私有数据来进行模型训练的装置，所述装置由客户端设备执行，所述装置包括：模型接收单元，从服务端设备接收当前全局模型；模型训练单元，使用所述客户端设备的本地私有数据作为训练数据对所述当前全局模型进行训练，以得到所述当前全局模型的模型参数调整量；以及更新量发送单元，将所得到的所述当前全局模型的模型更新量发送给所述服务端设备，其中，所述服务端设备使用来自多个客户端设备的所述当前全局模型的模型更新量来进行模型更新，以及在未满足循环结束条件时，所述更新后的全局模型被下发给各个客户端设备以充当下一循环过程中的当前全局模型，其中，所述模型接收单元、所述模型训练单元和所述更新量发送单元循环操作，直到满足所述循环结束条件。

根据本说明书实施例的另一方面，还提供一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的由服务端设备执行的使用私有数据来进行模型训练的方法。

根据本说明书实施例的另一方面，还提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的由服务端设备执行的使用私有数据来进行模型训练的方法。

根据本说明书实施例的另一方面，还提供一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的由客户端设备执行的使用私有数据来进行模型训练的方法。

根据本说明书实施例的另一方面，还提供一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的由客户端设备执行的使用私有数据来进行模型训练的方法。

附图说明

通过参照下面的附图，可以实现对于本说明书内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。附图是用来提供对本说明书实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本说明书的实施例，但并不构成对本说明书的实施例的限制。在附图中：

图1示出了本说明书的实施例的服务端设备和客户端设备作为物联网设备连接的一个示例的示意图；

图2示出了本说明书的一种实施例的使用私有数据来进行模型训练的方法的流程图；

图3示出了本说明书的实施例的服务端设备进行模型更新的一个示例的流程图；

图4示出了本说明书的实施例的服务端设备进行模型更新的另一个示例的流程图；

图5示出了本说明书的一个实施例的使用私有数据来进行模型训练的装置的方框图；

图6示出了本说明书的另一个实施例的使用私有数据来进行模型训练的装置的方框图；

图7示出了本说明书的一个实施例的实现使用私有数据来进行模型训练的方法的电子设备的方框图；和

图8示出了本说明书的另一个实施例的实现使用私有数据来进行模型训练的方法的电子设备的方框图。

具体实施方式

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

在本说明书中，术语“联邦学习机制”是在保护数据隐私安全及合法合规的基础上，联合多个数据孤岛(个人或者机构)中的数据共同训练人工智能模型。

随着科技的发展，用户拥有的电子产品越来越多，这些电子产品作为客户端设备在使用过程中会采集用户的数据，并将数据存储在本地。这些客户端设备与服务提供商的服务端设备通信连接，当服务端设备需要基于机器学习的方法来训练一个模型时，需要大量的训练数据，在保护用户隐私的前提下可以通过联邦学习机制使用客户端设备存储的数据作为训练数据进行模型训练。

以语音识别为例，语音识别技术是智能设备的一项重要功能，对于服务端设备来说，为了训练一个高精度的语音识别模型，因为不同用户的口音会存在差异，因此需要大量的不同用户的语音数据，以此来个性化训练语音识别模型。

为了防止用户隐私被泄露，服务端设备不能直接采集各个客户端设备本地的语音数据，目前通过联邦学习机制利用各个客户端设备的语音数据作为训练数据来训练语音识别模型。

然而，基于目前的模型训练方法中，在客户端设备之间会对部分数据进行交换，或者对部分同态加密后的数据进行交换。即使经过了同态加密，还是存在数据隐私被泄露的风险。

为了解决上述存在数据隐私被泄露的风险的问题，本说明书实施例提供了一种使用私有数据来进行模型训练的方法及装置。该方法可以由服务端设备执行，服务端执行以下循环过程，直至满足循环结束条件：将当前全局模型下发给多个客户端设备，每个客户端设备使用本地私有数据作为训练数据对当前全局模型进行训练，以得到当前全局模型的模型参数调整量；从多个客户端设备中的各个客户端设备接收当前全局模型的模型更新量；以及基于所接收的各个模型更新量来对当前全局模型进行模型更新。在该方法中，在不移动客户端设备本地私有数据的情况下，联合多个移动客户端设备的本地私有数据对服务端设备中的全局模型进行训练，保护了用户隐私。

下面将结合附图来详细描述根据本说明书实施例的使用私有数据来进行模型训练的方法及装置。

本说明书实施例提供的使用私有数据来进行模型训练的方法可以由服务端设备执行，服务端设备可以与多个客户端设备通信连接。客户端设备可以包括智能音响、手机、平板电脑、智能眼镜以及智能手表等。服务端设备可以包括云服务器、服务器等。

在一个示例中，服务端设备和多个客户端设备为物联网设备。

图1示出了本说明书的实施例的服务端设备和客户端设备作为物联网设备连接的一个示例的示意图。如图1所示，服务端设备110分别与三个客户端设备120通信连接，服务端设备110与每个客户端设备120之间都可以进行数据传输。

图2示出了本说明书的一种实施例的使用私有数据来进行模型训练的方法的流程图。

如图2所示，在块202，服务端设备将当前全局模型下发给多个客户端设备。

在本说明书实施例中，全局模型是待训练的模型，全局模型存储于服务端设备。服务端设备可以对全局模型进行模型训练，对全局模型的模型训练是一个循环过程，每次循环过程都会对全局模型进行更新，生成更新后的全局模型。在每次模型训练过程中，服务端设备存储最新更新的全局模型。

在一个示例中，全局模型的初始模型可以是使用开源数据训练得到的。例如，开源数据可以是benchmark语音数据。在该示例中，使用开源数据进行初始化的训练，可以在训练过程中学习到一些共性特征，这样可以加快使用私有数据的模型训练过程。

需要说明的是，图2中示出的两个客户端设备仅作为一个示例，服务端设备还可以将当前全局模型下发给3个、4个或者10个等多个客户端设备。

在服务端设备将当前全局模型下发给多个客户端设备后，对于每个客户端设备，存储有相同的全局模型，即当前全局模型。在块204，每个客户端设备可以使用本地私有数据作为训练数据对当前全局模型进行训练，以得到当前全局模型的模型参数调整量。

在一个示例中，各个客户端设备处的私有数据可以包括图像数据、语音数据以及文本数据中的至少一种数据类型。例如，待训练的全局模型是语音识别模型，各个客户端设备处的私有数据包括语音数据。

每种类型的私有数据可以按照不同指标进一步进行划分为多种子类型。以语音数据为例，语音数据可以根据口音来划分，比如，广东口音的语音数据，北京口音的语音数据；还可以根据语种来划分，比如，英语的语音数据，中文的语音数据等。

不同的客户端设备本地存储的私有数据会存在差异，例如，摄影爱好者所使用的客户端设备本地主要是图像数据，电话、语音信息较多的用户所使用的客户端设备本地主要是语音数据。对于不同客户端设备，针对同一类型的私有数据也会存在差异。例如，客户端设备是手机，广东口音的用户使用的手机本地主要是广东口音的语音数据，而北京口音的用户使用的手机本地主要是北京口音的语音数据。

对于每个客户端设备来说，可以使用训练迭代次数或者损失函数等指定训练结束条件来判断针对当前全局模型的训练是否结束。不同的客户端设备可以采用不同的训练结束条件。

每个客户端设备使用本地私有数据作为训练数据进行训练，不同的客户端设备本地的私有数据会不同，则每个客户端设备所使用的训练数据可以不同，这样在训练完成后各个客户端设备得到的全局模型可以不同，全局模型的差异可以用模型参数调整量来表征。

每次得到的模型参数调整量对应一次循环过程，在每次循环过程中，每个客户端设备针对当前全局模型完成一次训练，相应地，会得到针对该循环过程的模型参数调整量。

模型参数调整量是在对应的循环过程中当前全局模型在训练之前的模型参数与训练完成后对应的模型参数之间的差值。例如，全局模型的模型参数a在训练之前的数值为10，而在此次的循环过程中训练完成后，该模型参数a的数值调整为15，则针对该模型参数a的模型参数调整量为5。

模型参数调整量可以包括正调整量和负调整量，当模型参数调整量为正调整量时表示对模型参数的调整是增加方式，当模型参数调整量为负调整量时表示对模型参数的调整是减少方式。

每个客户端设备得到的模型参数调整量可以包括针对多个模型参数的调整量，不同的客户端设备所得到的模型参数调整量所针对的模型参数可以不同，不同的客户端设备针对相同模型参数的调整量可以不同。

例如，客户端设备a对当前全局模型进行训练后，调整的模型参数包括模型参数1和模型参数2，其中，模型参数1的调整量为5，模型参数2的调整量为8，则该客户端设备a得到的模型参数调整量包括针对模型参数1和模型参数2的调整量。客户端设备b对当前全局模型进行训练后，调整的模型参数包括模型参数1、模型参数2和模型参数3，其中，模型参数1的调整量为5，模型参数2的调整量为10，模型参数3的调整量为15，则该客户端设备b得到的模型参数调整量包括针对模型参数1、模型参数2和模型参数3的调整量。

在一个示例中，各个客户端设备处的私有数据可以包括标签数据，每个私有数据对应有一个标签。在一个示例中，标签数据的标签用来表征私有数据是否被正确识别，比如，针对语音识别，每个客户端的私有数据包括语音数据，客户端在每次采集语音数据时，可以确定所采集的语音数据是否被正确识别，如果识别错误，则该语音数据的标签表示该语音数据被错误识别，如果识别正确，则该语音数据的标签表示该语音数据被正确识别。

在块206，服务端设备从多个客户端设备中的各个客户端设备接收当前全局模型的模型更新量。

在本说明书实施例中，每个客户端设备发送的模型更新量包括该客户端设备得到的模型参数调整量。

在块208，服务端设备基于所接收的各个模型更新量来对当前全局模型进行模型更新。

服务端设备可以基于所接收到的所有模型更新量来对当前全局模型进行模型更新，还可以基于所接收到的部分模型更新量来对当前全局模型进行模型更新。

针对不同的循环过程，服务端设备可以采用不同方式来对各自对应的当前全局模型进行模型更新。例如，在第一次循环过程中可以基于所接收到的所有模型更新量对当前全局模型进行模型更新，在第二次循环过程中可以基于所接收到的部分模型更新量来对当前全局模型进行模型更新。

在块210，服务端设备判断是否满足循环结束条件。如果是，结束训练；如果否，流程进行到块212。

循环结束条件可以是指定的。在一个示例中，循环结束条件可以包括达到预定循环次数。在另一个示例中，循环结束条件可以包括所接收的当前全局模型被判定为无需训练的客户端设备的数量达到指定阈值。其中，指定阈值可以是数量阈值，比如，指定阈值是10个。指定阈值还可以是百分比阈值，比如，指定阈值是80％。

当前全局模型是否需要训练的判断指标可以是指定的，比如，当前全局模型是语音识别模型，私有数据是语音数据，客户端设备将本地语音数据输入至语音识别模型，语音识别模型输出针对各个语音数据的识别结果，当识别的准确率达到指定准确率阈值时，则可以判定当前的语音识别模型无需训练，否则需要继续训练。

每个客户端设备在接收到服务端设备发送的当前全局模型后，对该当前全局模型进行第一轮训练过程中，可以基于第一轮中该当前全局模型的输出结果来判断该当前全局模型是否需要训练。

在块212，服务端设备将更新后的全局模型确定为下一循环过程中的当前全局模型，并返回执行块202的操作。

在本说明书实施例中，服务端设备可以将更新后的全局模型存储至本地，并覆盖当前全局模型。这样使得服务端设备本地存储的全局模型是最新的。

在本说明书的一个示例中，服务端设备在训练好全局模型后，可以将训练好的全局模型下发给所述多个客户端设备，以供各个客户端设备在本地应用。

例如，全局模型为语音识别模型，客户端设备本地存储训练好的语音识别模型。用户使用客户端设备的语音识别功能时，客户端设备本地存储的语音识别模型对用户语音进行识别，客户端设备根据识别结果来进行响应操作。

图3示出了本说明书的实施例的服务端设备进行模型更新的一个示例的流程图。

如图3所示，在块310，服务端设备可以从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量。

在一个示例中，服务端设备可以使用本地存储的测试数据集，从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量。

在该示例中，服务端设备本地存储有测试数据集，该测试数据集用于对全局模型进行测试以确定全局模型的性能。测试数据集包括多个测试数据，该多个测试数据包括有与各个客户端设备本地私有数据的类型相同的数据。

例如，客户端设备本地私有数据包括语音数据，其中，包括针对北京口音的语音数据，针对上海口音的语音数据以及针对广东口音的语音数据。则测试数据集包括有多个语音测试数据，该多个语音测试数据包括针对北京口音、上海口音以及广东口音的语音测试数据。

服务端设备在接收到各个模型更新量之后，基于每个模型更新量对当前全局模型进行更新可以得到该模型更新量对应的全局模型，每个模型更新量对应有一个更新后的全局模型。使用测试数据集来对每个全局模型进行测试，可以对应得到针对每个全局模型的性能指标值(比如准确率等)，性能指标值可以反映全局模型的性能好坏。例如，性能指标是识别正确率，当识别正确率越大表示对应的全局模型被训练的越好，相应地性能优化效果越好。性能指标值与模型更新量是一一对应的，性能指标值越优，相应地模型更新量的性能优化效果越佳。

在另一个示例中，服务端设备可以从多个客户端设备中的各个客户端设备接收每个模型更新量对应的性能指标值。

在该示例中，每个客户端设备本地存储有测试数据集，每个性能指标值是对应客户端设备使用本地存储的测试数据集得到的，各个客户端设备本地的测试数据集相同。测试数据集包括与各个客户端设备本地私有数据的类型相同的数据。

对于每个客户端设备来说，在对当前全局模型进行训练并得到模型参数调整量后，可以使用本地的测试数据集对训练好的全局模型进行测试，以得到相应的性能指标值。客户端设备将模型更新量和性能指标值发送给服务端设备，模型更新量与性能指标值是对应的。

服务端设备从各个客户端设备接收到模型更新量和性能指标值后，从所接收到的性能指标值中确定出具有最佳性能优化效果的性能指标值，并确定该性能指标值对应的模型更新量。

在确定出具有最佳性能优化效果的模型更新量后，在块320，服务端设备可以基于所确定的模型更新量来对当前全局模型进行模型更新

在该示例中，通过选取最佳性能优化效果的模型更新量来进行模型更新，可以提高全局模型的训练效率，并且摒弃那些性能优化效果较差的模型更新量，减小计算量。

图4示出了本说明书的实施例的服务端设备进行模型更新的另一个示例的流程图。

如图4所示，在块410，计算所接收的各个模型更新量的均值。

针对各个模型更新量中的每个模型参数，计算该模型参数的调整量之和，再基于调整量之和以及所接收到的模型更新量中该模型参数的个数来计算针对该模型参数的更新量均值。

例如，分别从客户端设备1、客户端设备2以及客户端设备3接收到相应的模型更新量1、模型更新量2以及模型更新量3，其中，模型更新量1中针对模型参数a的调整量为5，模型更新量2中针对模型参数a的调整量为15，模型更新量3中针对模型参数a的调整量为1。针对该模型参数a的调整量之和为21，所接收到的三个模型更新量中包括有3个模型参数a，则针对该模型参数a的更新量均值为7。

在一个示例中，可以计算所接收的所有的模型更新量的均值。在另一个示例中，可以从所接收的各个模型更新量中确定出指定数量的最佳性能优化效果的模型更新量，计算所确定的各个模型更新量的均值。

例如，指定数量是3，若有6个客户端设备，每个客户端设备各自发送一个模型更新量。服务端设备可以从所接收的6个模型更新量中确定出最佳性能优化效果的3个模型更新量，并计算该3个模型更新量的均值。

在计算出均值后，在块420，可以基于所计算出的均值来对当前全局模型进行模型更新。

在一个示例中，将当前全局模型中的各个模型参数对应加上对应的均值，增加均值后的全局模型即为更新后的全局模型。其中，均值可以是正值或者负值，当均值为正值时对相应的模型参数进行增加处理，当均值为负值时对相应的模型参数进行减少处理。

在该示例中，所计算的均值是基于各个客户端设备的本地私有数据，保证私有数据的多样性。这样基于均值所进行的模型更新也是基于多样性的私有数据，所得到的模型可以适用更多的应用场景。

图5示出了本说明书的一个实施例的使用私有数据来进行模型训练的装置(以下称为模型训练装置500)的方框图。

模型训练装置500应用于服务端设备，服务端设备具有待训练的全局模型。如图5所示，模型训练装置500包括模型发送单元510，更新量接收单元520以及模型更新单元530。

模型发送单元510将当前全局模型下发给多个客户端设备，每个客户端设备使用本地私有数据作为训练数据对当前全局模型进行训练，以得到当前全局模型的模型参数调整量。在本说明书的一个示例中，模型发送单元510将训练好的全局模型下发给多个客户端设备，以供各个客户端设备在本地应用。

更新量接收单元520从多个客户端设备中的各个客户端设备接收当前全局模型的模型更新量。

模型更新单元530基于所接收的各个模型更新量来对当前全局模型进行模型更新，其中，在未满足循环结束条件时，更新后的全局模型充当下一循环过程中的当前全局模型，其中，模型发送单元510、更新量接收单元520和模型更新单元530循环操作，直到满足循环结束条件。

在本说明书的一个示例中，模型更新单元530可以包括更新量确定模块和模型更新模块。更新量确定模块可以确定针对当前全局模型的模型更新量；以及模型更新模块可以基于所确定出的模型更新量来对当前全局模型进行模型更新。

在本说明书的一个示例中，更新量确定模块计算所接收的各个模型更新量的均值；以及模型更新模块基于所计算出的均值来对当前全局模型进行模型更新。

在本说明书的一个示例中，更新量确定模块从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量；以及模型更新模块，基于所确定的模型更新量来对当前全局模型进行模型更新。

图6示出了本说明书的另一个实施例的使用私有数据来进行模型训练的装置(以下称为模型训练装置600)的方框图。

模型训练装置600应用于客户端设备，如图6所示，模型训练装置600包括模型接收单元610，模型训练单元620以及更新量发送单元630。

模型接收单元610从服务端设备接收当前全局模型。

模型训练单元620使用客户端设备的本地私有数据作为训练数据对当前全局模型进行训练，以得到当前全局模型的模型参数调整量。

更新量发送单元630将所得到的当前全局模型的模型更新量发送给服务端设备，其中，服务端设备使用来自多个客户端设备的当前全局模型的模型更新量来进行模型更新，以及在未满足循环结束条件时，更新后的全局模型被下发给各个客户端设备以充当下一循环过程中的当前全局模型。

其中，模型接收单元610、模型训练单元620和更新量发送单元630循环操作，直到满足循环结束条件。

以上参照图1到图6，对根据本说明书实施例的使用私有数据来进行模型训练的方法及装置的实施例进行了描述。

本说明书实施例的使用私有数据来进行模型训练的装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本说明书实施例中，使用私有数据来进行模型训练的装置例如可以利用电子设备实现。

图7示出了本说明书的一个实施例的实现使用私有数据来进行模型训练的方法的电子设备700的方框图。

如图7所示，电子设备700可以包括至少一个处理器710、存储器(例如，非易失性存储器)720、内存730和通信接口740，并且至少一个处理器710、存储器720、内存730和通信接口740经由总线750连接在一起。至少一个处理器710执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器710：执行以下循环过程，直至满足循环结束条件：将当前全局模型下发给多个客户端设备，每个客户端设备使用本地私有数据作为训练数据对当前全局模型进行训练，以得到当前全局模型的模型参数调整量；从多个客户端设备中的各个客户端设备接收当前全局模型的模型更新量；以及基于所接收的各个模型更新量来对当前全局模型进行模型更新，其中，在未满足循环结束条件时，更新后的全局模型充当下一循环过程中的当前全局模型。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器710进行本说明书的各个实施例中以上结合图1-6描述的各种操作和功能。

图8示出了本说明书的另一个实施例的实现使用私有数据来进行模型训练的方法的电子设备800的方框图。

如图8所示，电子设备800可以包括至少一个处理器810、存储器(例如，非易失性存储器)820、内存830和通信接口840，并且至少一个处理器810、存储器820、内存830和通信接口840经由总线850连接在一起。至少一个处理器810执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器810：执行以下循环过程，直至满足循环结束条件：从服务端设备接收当前全局模型；使用客户端设备的本地私有数据作为训练数据对当前全局模型进行训练，以得到当前全局模型的模型参数调整量；以及将所得到的当前全局模型的模型更新量发送给服务端设备，其中，服务端设备使用来自多个客户端设备的当前全局模型的模型更新量来进行模型更新，以及在未满足循环结束条件时，更新后的全局模型被下发给各个客户端设备以充当下一循环过程中的当前全局模型。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器810进行本说明书的各个实施例中以上结合图1-6描述的各种操作和功能。

根据一个实施例，提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-6描述的各种操作和功能。

具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本说明书实施例的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

以上结合附图详细描述了本说明书的实施例的可选实施方式，但是，本说明书的实施例并不限于上述实施方式中的具体细节，在本说明书的实施例的技术构思范围内，可以对本说明书的实施例的技术方案进行多种简单变型，这些简单变型均属于本说明书的实施例的保护范围。

本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说，对本说明书内容进行的各种修改是显而易见的，并且，也可以在不脱离本说明书内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本说明书内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (20)

1.一种使用私有数据来进行模型训练的方法，所述方法由服务端设备执行，所述服务端设备具有待训练的全局模型，

所述方法包括：

执行以下循环过程，直至满足循环结束条件：

将当前全局模型下发给多个客户端设备，每个客户端设备使用本地私有数据作为训练数据对所述当前全局模型进行训练，以得到所述当前全局模型的模型参数调整量；

从所述多个客户端设备中的各个客户端设备接收所述当前全局模型的模型更新量；以及

基于所接收的各个模型更新量来对所述当前全局模型进行模型更新，

其中，在未满足所述循环结束条件时，所述更新后的全局模型充当下一循环过程中的当前全局模型。

2.如权利要求1所述的方法，其中，基于所接收的各个模型更新量来对所述当前全局模型进行模型更新包括：

从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量；以及

基于所确定的模型更新量来对所述当前全局模型进行模型更新。

3.如权利要求2所述的方法，其中，从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量包括：

使用本地存储的测试数据集，从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量。

4.如权利要求2所述的方法，其中，从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量包括：

从所述多个客户端设备中的各个客户端设备接收每个模型更新量对应的性能指标值，每个性能指标值是对应客户端设备使用本地存储的测试数据集得到的，各个客户端设备本地存储的测试数据集相同；以及

基于所接收的性能指标值确定出具有最佳性能优化效果的模型更新量。

5.如权利要求1所述的方法，其中，基于所接收的各个模型更新量来对所述当前全局模型进行模型更新包括：

计算所接收的各个模型更新量的均值；以及

基于所计算出的均值来对所述当前全局模型进行模型更新。

6.如权利要求5所述的方法，其中，计算所接收的各个模型更新量的均值包括：

从所接收的各个模型更新量中确定出指定数量的最佳性能优化效果的模型更新量；以及

计算所确定的各个模型更新量的均值。

7.如权利要求1所述的方法，其中，各个客户端设备处的私有数据包括图像数据、语音数据以及文本数据中的至少一种。

8.如权利要求1所述的方法，还包括：

将训练好的全局模型下发给所述多个客户端设备，以供各个客户端设备在本地应用。

9.如权利要求1所述的方法，其中，所述服务端设备和所述多个客户端设备为物联网设备。

10.如权利要求1所述的方法，其中，所述循环结束条件包括：

达到预定循环次数；或者

所接收的当前全局模型被判定为无需训练的客户端设备的数量达到指定阈值。

11.一种使用私有数据来进行模型训练的方法，所述方法由客户端设备执行，所述方法包括：

执行以下循环过程，直至满足循环结束条件：

从服务端设备接收当前全局模型；

使用所述客户端设备的本地私有数据作为训练数据对所述当前全局模型进行训练，以得到所述当前全局模型的模型参数调整量；以及

将所得到的所述当前全局模型的模型更新量发送给所述服务端设备，其中，所述服务端设备使用来自多个客户端设备的所述当前全局模型的模型更新量来进行模型更新，以及在未满足所述循环结束条件时，所述更新后的全局模型被下发给各个客户端设备以充当下一循环过程中的当前全局模型。

12.一种使用私有数据来进行模型训练的装置，所述装置由服务端设备执行，所述服务端设备具有待训练的全局模型，所述装置包括：

模型发送单元，将当前全局模型下发给多个客户端设备，每个客户端设备使用本地私有数据作为训练数据对所述当前全局模型进行训练，以得到所述当前全局模型的模型参数调整量；

更新量接收单元，从所述多个客户端设备中的各个客户端设备接收所述当前全局模型的模型更新量；以及

模型更新单元，基于所接收的各个模型更新量来对所述当前全局模型进行模型更新，其中，在未满足循环结束条件时，所述更新后的全局模型充当下一循环过程中的当前全局模型，

其中，所述模型发送单元、所述更新量接收单元和所述模型更新单元循环操作，直到满足所述循环结束条件。

13.如权利要求12所述的装置，其中，所述模型更新单元包括：

更新量确定模块，确定针对所述当前全局模型的模型更新量；以及

模型更新模块，基于所确定出的模型更新量来对所述当前全局模型进行模型更新。

14.如权利要求13所述的装置，其中，所述更新量确定模块，计算所接收的各个模型更新量的均值；以及

所述模型更新模块，基于所计算出的均值来对所述当前全局模型进行模型更新。

15.如权利要求13所述的装置，其中，所述更新量确定模块，从所接收到的各个模型更新量中确定出具有最佳性能优化效果的模型更新量；以及

所述模型更新模块，基于所确定的模型更新量来对所述当前全局模型进行模型更新。

16.一种使用私有数据来进行模型训练的装置，所述装置由客户端设备执行，所述装置包括：

模型接收单元，从服务端设备接收当前全局模型；

模型训练单元，使用所述客户端设备的本地私有数据作为训练数据对所述当前全局模型进行训练，以得到所述当前全局模型的模型参数调整量；以及

更新量发送单元，将所得到的所述当前全局模型的模型更新量发送给所述服务端设备，

其中，所述服务端设备使用来自多个客户端设备的所述当前全局模型的模型更新量来进行模型更新，以及在未满足循环结束条件时，所述更新后的全局模型被下发给各个客户端设备以充当下一循环过程中的当前全局模型，

其中，所述模型接收单元、所述模型训练单元和所述更新量发送单元循环操作，直到满足所述循环结束条件。

17.一种电子设备，包括：

至少一个处理器，以及

与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1到10中任一所述的方法。

18.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到10中任一所述的方法。

19.一种电子设备，包括：

至少一个处理器，以及

与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求11所述的方法。

20.一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求11所述的方法。

Images