CN113094735A - 隐私模型训练的方法 - Google Patents

Abstract

本申请涉及一种隐私模型训练的方法、装置、计算机设备和存储介质。一个实施例的方法包括：基于待训练模型发布模型训练任务；接收各用户终端发送的训练加入请求，根据各用户终端的训练加入请求的请求时间，生成用户集合发送给各用户终端；将用户集合中的用户划分用户分组；在任何一次迭代训练过程中，接收用户集合内的各用户终端发送的携带用户端密文、模型参数密文及训练迭代次数的模型训练密文；基于各用户终端所属的用户分组，对各用户终端的用户端密文进行密钥聚合处理，获得密钥聚合处理结果；在密钥聚合处理结果验证通过时，对各用户终端的模型参数密文进行模型聚合处理，获得模型聚合结果。采用本方法能够提高模型训练时的安全性和稳定性。

Description

隐私模型训练的方法

技术领域

本申请涉及计算机技术领域，特别是涉及一种隐私模型训练的方法、装置、计算机设备和存储介质。

背景技术

随着计算机领域的技术的发展，通过机器学习模型来进行相关处理日益成为计算机技术中的重要内容。在采用机器学习模型进行处理之前，需要提供样本集，并针对样本集执行模型训练过程以获得最终的机器学习模型。在传统的模型训练过程中，都是由某个独立的设备，例如终端或服务器来完成整个的训练过程，这种单一训练方式，容易导致样本集的数据的泄露，影响数据安全性。为此，出现了分布式学习的技术，其将用以进行训练的样本集分布在多个设备上，在每次训练过程中，由多个设备分别基于自身的数据集进行模型训练，并将模型训练的训练结果发送至训练服务器，由训练服务器对各设备的训练结果进行融合，获得当次的整体的模型训练结果，再将单词模型训练的结果给到各设备，重复下一次的迭代训练过程，直至训练结束。然而，传统的这种分布式训练模型的方式，存在安全性问题。

发明内容

基于此，有必要针对上述技术问题，提供一种隐私模型训练的方法、装置、计算机设备和存储介质。

一种隐私模型训练的方法，所述方法包括：

基于待训练模型发布模型训练任务；

接收各用户终端发送的训练加入请求，并根据各用户终端的训练加入请求的请求时间，生成用户集合，并将所述用户集合发送给各所述用户终端；

将所述用户集合中的用户划分为两个以上的用户分组；

在任何一次迭代训练过程中，接收用户集合内的各用户终端发送的模型训练密文，所述模型训练密文携带用户端密文、模型参数密文以及训练迭代次数；

基于各所述用户终端所属的用户分组，对各所述用户终端的用户端密文进行密钥聚合处理，获得密钥聚合处理结果；

在所述密钥聚合处理结果验证通过时，对各所述用户终端的模型参数密文进行模型聚合处理，获得模型聚合结果。

一些实施例中，根据各用户终端的训练加入请求的请求时间，生成用户集合，包括：

根据各用户终端的训练加入请求的请求时间，对各用户终端进行排序；

根据请求时间最早的第二预定数目个用户终端的用户，生成用户集合，所述用户集合中，包含各所述用户终端的排序信息。

一些实施例中，获取所述用户集合中的第一预定数目的用户，包括：根据用户集合中的各用户的排列顺序，依序获取用户集合中的第一预定数目的用户。

一些实施例中，将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组，还包括：

当最后一个用户分组中的用户小于第一预定数目时，按照预定规则从其他用户分组中分别选取一个用户加入到所述最后一个用户分组，直至任意一个用户分组中都包含第一预定数目个用户、用户集合中的任意一个用户都加入了至少一个用户分组、且所述用户集合中的任意一个用户最多加入两个用户分组。

一些实施例中，采用如下公式，对所述第一聚合密文、第二聚合密文、第三聚合密文和所述第四聚合密文进行聚合处理，获得第一密钥聚合结果：

其中，

为第一密钥聚合结果，e为双线性映射运算函数，

为第四聚合密文，

为第三聚合密文，

为第一聚合密文，u为第一训练服务器私钥，

为第二聚合密文，v为第二训练服务器私钥，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，β为第一选定随机数，x_r为第二选定随机数，m为分组数目。

一些实施例中，采用如下公式，对所述第一聚合密文、第二聚合密文、第五聚合密文和所述第六聚合密文进行聚合处理，获得第二密钥聚合结果；

其中，

为第一密钥聚合结果，e为双线性映射运算函数，

为第六聚合密文，

为第五聚合密文，

为第一聚合密文，u为第一训练服务器私钥，

为第二聚合密文，v为第二训练服务器私钥，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，β为第一选定随机数，x_r为第二选定随机数，m为分组数目。

一种隐私模型训练的方法，所述方法包括：

基于获取训练服务器发布的待训练模型的模型训练任务，发送训练接入请求；

接收所述训练服务器返回的用户集合，并将所述用户集合中的用户划分为两个以上的用户分组；

基于所属的用户分组，生成用户端密文；

在任何一次迭代训练过程中，对所述待训练模型进行模型训练，获得模型迭代训练结果；

对所述模型迭代训练结果进行加密，获得模型参数密文；

向训练服务器发送模型训练密文，所述模型训练密文携带所述用户端密文、所述模型参数密文以及训练迭代次数。

一些实施例中，将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组，包括：

获取所述用户集合中的第一预定数目的用户，将该第一预定数目的用户加入一个用户分组后，获取下一批第一预定数目的用户加入下一个用户分组，直至所述用户集合中的任意一个用户都加入了一个用户分组。

获取所述用户集合中的第一预定数目的用户，包括：所述用户集合中的各用户的排列顺序，依序获取所述用户集合中的第一预定数目的用户。

一些实施例中，将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组，还包括：

当最后一个用户分组中的用户小于第一预定数目时，按照预定规则从其他用户分组中分别选取一个用户加入到最后一个用户分组，直至任意一个用户分组中都包含第一预定数目个用户、用户集合中的任意一个用户都加入了至少一个用户分组、且用户集合中的任意一个用户最多加入两个用户分组。

一些实施例中，通过如下公式获得所述第三密文部分：

其中，c_i，3表示所述第三密文部分，s_i，1为第一共享密钥，g为双线性映射时所选用的曲线上的点，r_i为第一随机数，A_i为分组用户信息，t_i，1为第三随机数，t_i，2为第四随机数。

一些实施例中，通过如下公式获得所述第四密文部分：

其中，c_i，4为第四密文部分，s_i，2为第二共享密钥，A_i为分组用户信息，e为双线性映射运算函数，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，r_i为第一随机数，g₁为第一训练服务器公钥，g₂为第二训练服务器公钥，k_i为密钥聚合参数。

一些实施例中，通过如下公式获得所述第五密文部分：

其中，c_i，5为第五密文部分，s_i，1为第一共享密钥，g为双线性映射时所选用的曲线上的点，r′_i为第二随机数，A_i为分组用户信息，t_i，1为第三随机数，t_i，2为第四随机数。

一些实施例中，通过如下公式获得所述第六密文部分：

其中，c_i，6为第六密文部分，s_i，2为第二共享密钥，A_i为分组用户信息，e为双线性映射运算函数，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，r′_i为第二随机数，g₁为第一训练服务器公钥，g₂为第二训练服务器公钥，k′_i为密钥聚合验证参数。

一种隐私模型训练的装置，所述装置包括：

任务发布模块，用于基于待训练模型发布模型训练任务；

用户集合确定模块，用于接收各用户终端发送的训练加入请求，并根据各用户终端的训练加入请求的请求时间，生成用户集合，并将所述用户集合发送给各所述用户终端；

服务端分组模块，用于将用户集合中的用户划分为两个以上的用户分组；

训练结果接收模块，用于在任何一次迭代训练过程中，接收所述用户集合内的各所述用户终端发送的模型训练密文，所述模型训练密文携带用户端密文、模型参数密文以及训练迭代次数；

密钥聚合模块，用于基于各用户终端所属的用户分组，对各用户终端的用户端密文进行密钥聚合处理，获得密钥聚合处理结果，并对密钥聚合处理结果验证；

模型聚合模块，用于在所述密钥聚合处理结果验证通过时，对各所述用户终端的模型参数密文进行模型聚合处理，获得模型聚合结果。

一种隐私模型训练的装置，所述装置包括：

训练请求模块，用于基于获取训练服务器发布的待训练模型的模型训练任务，发送训练接入请求；

终端分组模块，用于接收所述训练服务器返回的用户集合，并将所述用户集合中的用户划分为两个以上的用户分组；

用户端密文生成模块，用于基于所属的用户分组，生成用户端密文；

模型训练模块，用于在任何一次迭代训练过程中，对所述待训练模型进行模型训练，获得模型迭代训练结果；

训练结果加密模块，用于对模型迭代训练结果进行加密，获得模型参数密文；

训练结果发送模块，用于向训练服务器发送模型训练密文，所述模型训练密文携带所述用户端密文、所述模型参数密文以及训练迭代次数。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现如上所述的任一实施例中的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的任一实施例中的方法的步骤。

上述隐私模型训练的方法、装置、计算机设备和存储介质，其在进行分布式模型训练的过程中，对确定的模型训练的用户集合中的用户，将其划分为两个以上的用户分组，且在每次迭代训练结束后，是基于所属的用户分组生成用户端密文，将该用户端密文与对模型迭代训练结果进行加密得到的模型参数密文一起携带在模型参数密文中发送给训练服务器，从而大大有助于提高模型训练时的安全性和稳定性。

附图说明

图1-1、1-2为一个实施例中隐私模型训练的方法的应用环境图；

图2为一个实施例中隐私模型训练的方法的流程示意图；

图3为另一个实施例中隐私模型训练的方法的流程示意图；

图4为一个实施例中的隐私模型训练的装置的结构框图；

图5为另一个实施例中的隐私模型训练的装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的隐私模型训练的方法，可以应用于如图1所示的应用环境中。其中，训练服务器10与多个用户终端20通过网络。训练服务器10基于待训练模型发布模型训练任务，各用户终端20接收到各模型训练任务之后，要参与该模型训练任务时，发送训练接入请求。训练服务器10基于各用户终端的训练加入请求，选择加入训练的各用户终端。在模型训练过程中，训练服务器10将上一次训练后融合的训练结果M^(t)(首次开始训练时，t＝0，即发送的是初始模型M⁽⁰⁾)发送给各用户终端20，各用户终端20基于自身产生的样本集进行模型训练，并将模型训练的结果

发送给训练服务器10，训练服务器10基于各用户终端20的模型训练的结果进行融合，获得一次迭代训练的结果，然后将融合后的模型训练结果发送给各用户终端，进行下一次的模型迭代训练过程。其中，该应用环境还涉及模型服务商30，该模型服务商30作为提出训练需求的机构，用以提供待训练模型的初始模型M⁽⁰⁾，并用以确定用以发布模型训练需求的训练服务器10。训练服务器10训练获得最终的模型M^(T)之后，会将最终获得的模型M^(T)反馈给模型服务商30。其中，该应用环境还涉及可信机构40，该可信机构为模型服务商30、训练服务器10以及各用户终端分配数字证书。其中，终端20可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备、车载终端等设备，服务器10可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种隐私模型训练的方法，以该方法应用于图1中的训练服务器10为例进行说明，包括以下步骤S201至步骤S206。

步骤S201：基于待训练模型发布模型训练任务。其中，待训练模型可以是由模型服务商提供给训练服务器，是用以进行训练的模型对象。

步骤S202：接收各用户终端发送的训练加入请求，并根据各用户终端的训练加入请求的请求时间，生成用户集合，并将用户集合发送给各用户终端。

在接收到训练服务器发布的模型训练任务之后，若需要加入该模型训练任务，则用户终端发送训练加入请求，该训练加入请求中同时包含有请求时间。

一个实施例中，根据各用户终端的训练加入请求的请求时间，生成用户集合，具体可以是根据各用户终端的训练加入请求的请求时间，对各用户终端进行排序；然后根据请求时间最早的第二预定数目个用户终端的用户，生成用户集合，所述用户集合中，包含各所述用户终端的排序信息。其中，第二预定数目，可以结合实际技术需要，例如训练需求进行设定。

从而，训练服务器在接收到各个用户的训练加入请求后，可根据训练加入请求的接收时间对各用户进行的排序，该排序也可以认为是各用户的回复次序，例如，最早接收到的用户的排序越靠前。然后根据各用户的回复次序，训练服务器生成包含第二预定数目n个用户的集合：U＝{(1，x₁)，(2，x₂)，...，(n，x_n)}。其中，(1，x₁)表示用户x₁的排序为第1位，(2，x₂)表示用户x₂的排序为第2位，其他的以此类推。同时，训练服务器将用户集合U发送至集合中的所有用户{x₁，x₂，...，x_n}。可以理解，训练服务器将该用户集合U发送给所有用户的同时，同时将所有用户的排序发送给了这些用户。

步骤S203：将所述用户集合中的用户划分为两个以上的用户分组。

可以采用各种可能的方式进行分组的划分。一个实施例中，将所述用户集合中的用户划分为两个以上的用户分组，包括如下步骤S2031和步骤S2032。

步骤S2031：将第二预定数目与第一预定数目的比值向上取整，获得用户分组数，所述第二预定数目为所述用户集合中的用户的数目，所述第一预定数目为预先设定的用户分组中需要包含的用户的数目。

记第一预定数目为w，第二预定数目为n，一个实施例中，可以将第二预定数目与第一预定数目的比值向上取整，作为用户分组数，即用户分组数为

其中，第一预定数目w，表示任意一个分组中至少包括有第一预定数目w个用户。从而，通过将预定第二预定数目与第一预定数目的比值向上取整的数目作为用户分组数，可以确保用户集合中的每个用户都至少被划分到一个用户分组中。

步骤S2032：将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组。

其中，将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组，包括：

获取所述用户集合中的第一预定数目的用户，将该第一预定数目的用户加入一个用户分组后，获取下一批第一预定数目的用户加入下一个用户分组，直至所述用户集合中的任意一个用户都加入了一个用户分组。

其中，获取所述用户集合中的第一预定数目的用户，可以是按照预定规则选取第一预定数目的用户，只要每一次选取的第一预定数目的用户不相同即可。在一个具体示例中，可以是根据所述用户集合中的各用户的排列顺序，依序获取所述用户集合中的第一预定数目的用户。

其中，在依序获取所述用户集合中的第一预定数目的用户来加入用户分组时，当最后一个用户分组中的用户小于所述第一预定数目时，按照预定规则从其他用户分组中分别选取一个用户加入到最后一个用户分组，直至任意一个用户分组中都包含第一预定数目个用户、用户集合中的任意一个用户都加入了至少一个用户分组、且所述用户集合中的任意一个用户最多加入两个用户分组。

在一个具体示例中，一个实施例中，在对用户集合U进行分组时，可以是按照用户集合中各用户的排序，将各用户划分到对应的分组。例如，假设用户集合为U＝{(1，x₁)，(2，x₂)，...(，x_w)，(w+1，x_w+1)，......(2w，x_2w)，......，(n，x_n)}，此时，可以将用户{x₁，x₂...，x_w}划分为一个用户分组，并将各用户{x_w+1，x_w+2，...，x_2w}划分为一个用户分组，其他的以此类推，直至任何一个用户都划分到一个用户分组。可以理解的是，在某些情况下，可能回复的用户数目n并不能被分组中的用户数w整除，即最后一个分组中的用户数不足第一预定数目w，此时，可以从已分组的其他用户中，按照确定的规则选择不足的数量的用户加入该最后一个分组，以确保每个分组中的用户都能够达到该第一预定数目w。其中，这里的确定规则，本申请实施例不做的具体限定，只要能确保每个分组都有第一预定数目w，且每个用户最多只能加入两个分组即可。

在其他实施例中，训练服务器ID_f在对用户集合U进行分组时，也可以采用其他的方式进行分组，只要能够确保训练服务器ID_f和各用户x_i所得到的分组结果相同、且每个分组中至少包含第一预定数目w个用户、且每个用户至少加入了其中一个分组且最多只能加入两个分组即可。

步骤S204：在任何一次迭代训练过程中，接收用户集合内的各用户终端发送的模型训练密文，模型训练密文携带用户端密文、模型参数密文以及训练迭代次数。

其中，用户端密文，可以是用户终端基于第一训练服务器公钥、第二训练服务器公钥、第一共享密钥、第二共享密钥、第一服务商参数、密钥聚合参数和密钥聚合验证参数，获得的用户端密文。模型参数密文，是用户终端对迭代训练获得的模型迭代训练结果进行加密获得的模型参数密文。训练迭代次数，是用户终端在模型训练过程中的迭代次数。

步骤S205：基于各所述用户终端所属的用户分组，对各所述用户终端的用户端密文进行密钥聚合处理，获得密钥聚合处理结果。

一个实施例中，基于各所述用户终端所属的用户分组，对各所述用户终端的用户端密文进行密钥聚合处理，获得密钥聚合处理结果，可以包括如下步骤S2051至步骤S2059。

步骤S2051：对各所述用户终端的用户端密文中的第一密文部分进行聚合，获得第一聚合密文，所述第一密文部分为用户终端采用第一训练服务器公钥对第三随机数进行加密获得的密文结果。

一个实施例中，可以是对用户集合中的各用户的第一密文部分进行的聚合处理，具体可以是乘积处理。用公式可以表示为：

其中，

表示第一聚合密文，c_i，1表示第i个用户终端的第一密文部分。

步骤S2052：对各所述用户终端的用户端密文中的第二密文部分进行聚合，获得第二聚合密文，所述第二密文部分为用户终端采用第二训练服务器公钥对第四随机数进行加密获得的密文结果。

一个实施例中，可以是对用户集合中的各用户的第二密文部分进行的聚合处理，具体可以是乘积处理。用公式可以表示为：

其中，

表示第二聚合密文，c_i，2表示第i个用户终端的第二密文部分。

步骤S2053：对各用户终端的用户端密文中的第三密文部分进行聚合，获得第三聚合密文，第三密文部分为用户终端基于第一共享密钥对第一随机数、所述第三随机数、所述第四随机数以及分组用户信息进行加密，获得的密文结果。

其中，对用户集合中的各用户的第三密文部分进行的聚合处理，具体可以是乘积处理。用公式可以表示为：

其中，

表示第三聚合密文，c_i，3表示第i个用户终端的第三密文部分。

步骤S2054：对各所述用户端的用户端密文中的第四密文部分进行聚合，获得第四聚合密文，第四密文部分为用户终端基于第一训练服务器公钥、第二训练服务器公钥、第二共享密钥、第一服务商参数、所述第一随机数和密钥聚合参数进行加密，获得的密文结果。

一个实施例中，对用户集合中的各用户的第四密文部分进行的聚合处理，具体可以是乘积处理，用公式可以表示为：

其中，

表示第四聚合密文，c_i，4表示第i个用户终端的第四密文部分。

步骤S2055：对各所述用户端的用户端密文中的第五密文部分进行聚合，获得第五聚合密文，第五密文部分为用户终端基于第一共享密钥对第二随机数、第三随机数、第四随机数以及所述分组用户信息进行加密，获得的密文结果。

一个实施例中，对用户集合中的各用户的第五密文部分进行的聚合处理，具体可以是乘积处理，用公式可以表示为：

其中，

表示第五聚合密文，c_i，5表示第i个用户终端的第五密文部分。

步骤S2056：对各所述用户端的用户端密文中的第六密文部分进行聚合，获得第六聚合密文，所述第六密文部分为用户终端基于所述第一训练服务器公钥、所述第二训练服务器公钥、所述第二共享密钥、所述第一服务商参数、所述第二随机数和密钥聚合验证参数进行加密，获得的密文结果。

一个实施例中，对用户集合中的各用户的第五密文部分进行的聚合处理，具体可以是乘积处理，用公式可以表示为：

其中，

表示第六聚合密文，c_i，6表示第i个用户终端的第六密文部分。

步骤S2057：对所述第一聚合密文、第二聚合密文、第三聚合密文和所述第四聚合密文进行聚合处理，获得第一密钥聚合结果。

一个实施例中，可以利用训练服务器私钥，结合第一服务商参数和第二服务商参数，对第一聚合密文、第二聚合密文、第三聚合密文、第四聚合密文进行聚合解密，获得第一密钥聚合结果。一个具体示例中，可以采用如下公式，对所述第一聚合密文、第二聚合密文、第三聚合密文和所述第四聚合密文进行聚合处理，获得第一密钥聚合结果：

其中，

为第一密钥聚合结果，e为双线性映射运算函数，

为第四聚合密文，

为第三聚合密文，

为第一聚合密文，u为第一训练服务器私钥，

为第二聚合密文，v为第二训练服务器私钥，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，β为第一选定随机数，x_r为第二选定随机数，m为分组数目。

步骤S2058：对所述第一聚合密文、第二聚合密文、第五聚合密文和所述第六聚合密文进行聚合处理，获得第二密钥聚合结果。

一个实施例中，可以利用训练服务器私钥，结合第一服务商参数和第二服务商参数，对第一聚合密文、第二聚合密文、第五聚合密文、第六聚合密文进行聚合解密，获得第二密钥聚合结果。一个具体示例中，可以采用如下公式，对所述第一聚合密文、第二聚合密文、第五聚合密文和所述第六聚合密文进行聚合处理，获得第二密钥聚合结果；

其中，

为第一密钥聚合结果，e为双线性映射运算函数，

为第六聚合密文，

为第五聚合密文，

为第一聚合密文，u为第一训练服务器私钥，

为第二聚合密文，v为第二训练服务器私钥，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，β为第一选定随机数，x_r为第二选定随机数，m为分组数目。

步骤S2059：在所述第一密钥聚合结果对所述第二密钥聚合结果验证通过时，将所述第二密钥聚合结果作为密钥聚合处理结果。

在采用第一密钥聚合结果对第二密钥聚合结果进行验证时，可以采用任何可能的方式进行验证。一些实施例中，可以是在第一密钥聚合结果与第二密钥聚合结果相同时，可以确定第二密钥聚合结果验证通过。

步骤S206：在所述密钥聚合处理结果验证通过时，对各所述用户终端的模型参数密文进行模型聚合处理，获得模型聚合结果。

一个实施例中，对各所述用户终端的模型参数密文进行的模型聚合处理具体可以是对各所述用户终端的模型参数密文进行求和处理。

在一个实施例中，如图3所示，提供了一种隐私模型训练的方法，以该方法应用于图1中的用户终端20为例进行说明，包括以下步骤S301至步骤S306。

步骤S301：基于获取训练服务器发布的待训练模型的模型训练任务，发送训练接入请求。

训练服务器在获得需要进行训练的初始模型，即待训练模型之后，会发布模型训练任务。在获得训练服务器发布的模型训练任务之后，如果该用户想要加入到训练过程中，该用户向训练服务器发送训练加入请求，该训练加入请求中包含有请求时间，还可以包含该用户的身份信息。

步骤S302：接收所述训练服务器返回的用户集合，并将所述用户集合中的用户划分为两个以上的用户分组。

其中，用户终端对用户集合划分用户分组的方式，与上述训练服务器划分用户分组的方式相同，即训练服务器和各用户终端划分得到的用户分组相同。

步骤S303：基于所属的用户分组，生成用户端密文。

其中，生成用户端密文时，可以是基于第一训练服务器公钥、第二训练服务器公钥、第一共享密钥、第二共享密钥、第一服务商参数、所述密钥聚合参数和所述密钥聚合验证参数，获得用户端密文。

一个实施例中，获得用户端密文的方式，可以包括步骤S3031至步骤S3037。

步骤S3031：生成第一随机数对和第二随机数对，所述第一随机数对包含第一随机数和第二随机数，所述第二随机数对包含第三随机数和第四随机数。

用户可以生成两对随机数，每对随机数包含两个随机数，分别记为第一随机数r_i、第二随机数r′_i、第三随机数t_i，1和第四随机数t_i，2，即

其中，

指从两个随机数选择集合中分别选择随机数r_i，r′_i，

指从两个随机数选择集合中分别选择随机数t_i，1，t_i，2。

步骤S3032：采用第一训练服务器公钥对第三随机数进行加密，获得第一密文部分。

一个实施例中，用第一训练服务器公钥g₁对第三随机数t_i，1进行加密获得的第一密文部分c_i，1，用公式可表示为：

步骤S3033：采用第二训练服务器公钥对第四随机数进行加密，获得第二密文部分。

一个实施例中，用第二训练服务器公钥g₂对第四随机数t_i，2进行加密获得的第二密文部分c_i，2，用公式可表示为：

步骤S3034：基于第一共享密钥对第一随机数、第三随机数、第四随机数以及分组用户信息进行加密，获得第三密文部分，其中，用户分组信息基于所属的用户分组中，与该用户分组内的其他用户之间的身份信息的差值确定。

一个实施例中，可以通过如下公式获得所述第三密文部分：

其中，c_i，3表示第三密文部分，s_i，1为第一共享密钥，g为双线性映射时所选用的曲线上的点，r_i为第一随机数，A_i为分组用户信息，t_i，1为第三随机数，t_i，2为第四随机数。

其中，分组用户信息A_i可以基于该用户x_i所属的用户分组U_k中，该用户x_i与其他分组内用户x_j之间的身份信息的差值来确定，用公式可表示为：

其中，在该公式中，x_i表示用户x_i的身份信息，x_j表示分组U_k中用户x_j的身份信息。

步骤S3035：基于第一训练服务器公钥、第二训练服务器公钥、第二共享密钥、第一服务商参数、第一随机数和密钥聚合参数进行加密，获得第四密文部分。

一些实施例中，可以通过如下公式获得所述第四密文部分：

其中，c_i，4为第四密文部分，s_i，2为第二共享密钥，A_i为分组用户信息，e为双线性映射运算函数，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，r_i为第一随机数，g₁为第一训练服务器公钥，g₂为第二训练服务器公钥，k_i为密钥聚合参数。

步骤S3036：基于所述第一共享密钥对所述第二随机数、所述第三随机数、所述第四随机数以及所述分组用户信息进行加密，获得第五密文部分。

一些实施例中，可以通过如下公式获得所述第五密文部分：

其中，c_i，5为第五密文部分，s_i，1为第一共享密钥，g为双线性映射时所选用的曲线上的点，r′_i为第二随机数，A_i为分组用户信息，t_i，1为第三随机数，t_i，2为第四随机数。

步骤S3037：基于第一训练服务器公钥、第二训练服务器公钥、第二共享密钥、第一服务商参数、第二随机数和密钥聚合验证参数进行加密，获得第六密文部分。

一些实施例中，可以通过如下公式获得所述第六密文部分：

其中，c_i，6为第六密文部分，s_i，2为第二共享密钥，A_i为分组用户信息，e为双线性映射运算函数，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，r′_i为第二随机数，g₁为第一训练服务器公钥，g₂为第二训练服务器公钥，k′_i为密钥聚合验证参数。

上述获得的用户端密文，包括第一密文部分、所述第二密文部分、所述第三密文部分、所述第四密文部分、所述第五密文部分以及所述第六密文部分。

步骤S304：在任何一次迭代训练过程中，对所述待训练模型进行模型训练，获得模型迭代训练结果。其中，对待训练模型进行模型训练的过程，可以与任何可能的模型训练方式进行，本申请实施例不做具体限定。

步骤S305：对所述模型迭代训练结果进行加密，获得模型参数密文。

一个实施例中，模型迭代训练结果包括模型迭代训练之后的各维度的模型参数。此时，对模型迭代训练结果进行加密，获得模型参数密文，具体可以是对各维度的模型参数，分别进行加密，获得模型参数密文。即获得的模型参数密文，包括对模型迭代训练之后的各维度的模型参数进行加密获得的密文。

步骤S306：向训练服务器发送模型训练密文，所述模型训练密文携带所述用户端密文、所述模型参数密文以及训练迭代次数。

其中，训练迭代次数，是对待训练模型进行模型训练过程中的迭代次数。

一些实施例中，向训练服务器发送模型训练密文之后，训练服务器基于各用户发送的模型训练密文进行模型融合，获得最终的模型训练结果之后，会将最终的模型训练结果发送给各用户终端，从而各用户终端会进入下一个模型训练过程。

基于如上所述的实施例，以下结合一个具体的应用示例进行详细说明，本申请实施例方案在具体应用实施时，可以包含四个部分：系统初始化、训练任务发布、模型密文生成以及模型密文聚合。

系统初始化时，涉及可信机构的初始化、边缘服务器(即训练服务器)的初始化以及模型服务商使用的设备(例如终端设备或者服务器，以下实施例中简称为模型服务商)的初始化。

其中，可信机构在进行初始化时，可以基于一个给定的安全参数k来进行加密系统的初始化。具体地，可信机构基于该给定的安全参数k生成双线性参数：(p，G，G_T，e，g)，其中p是与给定的安全参数k相关的质数，且|p|＝k，参数g∈G，G为选用的曲线，例如椭圆曲线，g为曲线G上的一个点，e为双线性映射运算，且满足条件：e：G×G→G_T。同时，可信机构生成可信机构的公私钥对(sk，pk)。其中，可信机构可以选择一个随机数s∈Z_p作为可信机构私钥sk，即sk＝s∈Z_p，其中，Z_p是随机数选择集合。然后在生成的可信机构私钥sk的基础上生成相应的公钥pk，用公式可表示为pk＝g^s∈G。即初始化之后，可信机构持有可信机构私钥sk、可信机构公钥pk，该可信机构公钥pk可以进行发布。

训练服务器ID_f初始化的过程中，生成训练服务器的公私钥对，在该具体示例中，可以生成两对公私钥对，其中一对公私钥对可用于进行数据聚合，另一对公私钥对可用于对数据聚合结果进行验证。其中，训练服务器ID_f可以选择两个随机数分别作为两个私钥，记为第一训练服务器私钥u和第二训练服务器私钥v，即训练服务器ID_f的训练服务器私钥SK_f满足

其中，Z_p指随机数选择集合，

指从两个随机数选择集合中分别选择随机数u，v。训练服务器ID_f在生成的训练服务器私钥SK_f的基础上，生成相应的训练服务器公钥，分别记为第一训练服务器公钥g₁、第二训练服务器公钥g₂，用公式可表示为PK_f＝(g₁＝g^1/u，g₂＝g^1/v)∈G²。

模型服务商ID_c在进行初始化时，基于第一预定数目w，选择第一预定数目加1个随机数，即选择w+1个随机数

其中，Z_p指随机数选择集合，

指从w+1个随机数选择集合中分别选择随机数α₁，α₂，...，α_w-1，β，x_r。然后，基于其中的两个随机数：第一选定随机数β，第二选定随机数x_r，计算第一服务商参数

和第二服务商参数

获得

此外，在初始化过程中，可信机构还为任意一个用户x_i∈Z_p，生成基于该用户的用户身份的用户私钥

其中，s是可信机构与用户之间的共享密钥，x_i是用户x_i的用户信息。模型服务商ID_c还基于w+1个随机数

为该用户x_i生成共享密钥对(s_i，1，s_i，2)，该共享密钥对(s_i，1，s_i，2)包括第一共享密钥s_i，1和第二共享密钥s_i，2，生成的共享密钥对(s_i，1，s_i，2)会发送至用户x_i。其中，第一共享密钥s_i，1可以基于上述第一预定数目加1个随机数中，除了第二选定随机数x_r之外的其他随机数生成，第二共享密钥s_i，2可以基于第一服务商参数

生成，用公式可以表示为：

其中，s_i为随机数，s_i∈Z_p。

在完成上述初始化过程之后，即可进入后续的训练任务发布阶段。

在训练任务发布阶段，模型服务商ID_c确定导航模型训练的训练时间和训练空间，并通过指定或者其他方式确定相应的训练服务器ID_f，并将需要进行训练的初始模型M⁽⁰⁾发送至训练服务器ID_f，训练服务器ID_f发布训练任务。

在训练服务器ID_f发布训练任务之后，如果一个用户x_i想要加入到训练过程中，用户x_i向训练服务器ID_f发送训练加入请求，该训练加入请求中包含该用户x_i的身份信息，同时还可以包含有请求时间。

训练服务器ID_f接收到各个用户的训练加入请求后，根据训练加入请求的接收时间对各用户进行排序，生成包含第二预定数目n个用户的集合：U＝{(1，x₁)，(2，x₂)，...，(n，x_n)}，并将用户集合U发送至所有的用户{x₁，x₂，...，x_n}。

基于生成的用户集合U，训练服务器ID_f对用户集合U进行分组，从而将n个用户划分为

个用户分组。同时，各用户x_i接收到训练服务器ID_f发送的用户集合U后，采用与训练服务器ID_f同样的方式，将这n个用户划分为

个用户分组。由于各用户x_i知晓用户集合以及用户集合中的各用户的排序，因此，训练服务器ID_f以及各用户x_i对用户集合进行分组的结果会是相同的。

一个具体示例中，训练服务器ID_f和各用户x_i可以利用如下程序Algorithm 1、Algorithm 2和Algorithm 3来实现用户分组的划分。

在用户分组划分完成后，各用户x_i即可进入模型训练过程，在模型训练过程中，在每一次完成模型训练的迭代过程，获得模型迭代训练结果后，会向训练服务器ID_f发送模型迭代训练后得到的模型参数。其中，在将训练得到的模型参数发送给训练服务器ID_f时，用户x_i对该训练得到的模型参数进行加密和/或签名处理，再发送给训练服务器ID_f。

为了能够对训练得到的模型参数进行加密，用户x_i需要生成用户端密文。针对任意一个划分至用户分组U_k的用户x_i，可以通过下述过程来生成用户端密文。

用户x_i生成密钥聚合参数k_i和密钥聚合验证参数k′_j，并基于训练服务器公钥PK_f＝(g₁，g₂)、用户x_i的共享密钥对(s_i，1，s_i，2)、第一服务商参数

以及密钥聚合参数k_i和密钥聚合验证参数k′_i，获得用户端密文。其中，密钥聚合参数k_i和密钥聚合验证参数k′_i可以基于用户分组数来确定，例如用户x_i基于用户分组数，选择两个不大于用户分组数的数值，分别作为密钥聚合参数k_i和密钥聚合验证参数k′_i，从而有

在获得用户端密文时，用户x_i可以同时结合两对随机数来生成，每对随机数包含两个随机数，分别记为第一随机数r_i、第二随机数r′_i、第三随机数t_i，1和第四随机数t_i，2，即

基于如上信息生成的用户端密文，包含六个部分(c_i，1，c_i，2，c_i，3，c_i，4，c_i，5，c_i，6)：

第一部分c_i，1是用第一训练服务器公钥g₁对第三随机数t_i，1进行加密获得的第一密文部分c_i，1，用公式可表示为：

第二部分c_i，2是用第二训练服务器公钥g₂对第四随机数t_i，2进行加密获得的第二密文部分c_i，2，用公式可表示为：

第三部分c_i，3是用第一共享密钥s_i，1对第一随机数r_i、第三随机数t_i，1、第四随机数t_i，2、分组用户信息进行加密获得的第三密文部分c_i，3，一个实施例中，第三密文部分用公式可表示为

第四部分c_i，4是用第二共享密钥s_i，2和训练服务器公钥(g₁，g₂)，对第一服务商参数

第一随机数r_i、和密钥聚合参数k_i进行加密获得的第四密文部分c_i，4，一个实施例中用公式可表示为

第五部分c_i，5是用第一共享密钥s_i，1对第二随机数r′_i、第三随机数t_i，1、第四随机数t_i，2以及分组用户信息进行加密获得的第五密文部分c_i，5，一个实施例中用公式可表示为

第六部分c_i，6是用第二共享密钥s_i，2和训练服务器公钥(g₁，g₂)，对第一服务商参数

第二随机数r′_i、和密钥聚合验证参数k′_i进行加密获得的第六密文部分c_i，6，一个实施例中用公式可表示为

其中，分组用户信息A_i可以基于该用户x_i所属的用户分组U_k中，该用户x_i与其他分组内用户x_j之间的身份信息的差值来确定，用公式可表示为：

其中，在该公式中，x_i表示用户x_i的身份信息，x_j表示分组U_k中用户x_j的身份信息。

如上所述，在将训练得到的模型参数发送给训练服务器ID_f时，用户x_i对该训练得到的模型参数进行签名处理，再发送给训练服务器ID_f。为了进行签名，用户x_i需要先生成对应的签名，具体可以是生成签名对(σ_i，1，σ_i，2)，该签名对中包含第一用户签名σ_i，1和第二用户签名σ_i，2。

一个具体示例中，用户x_i可以通过选择一个随机数

来生成签名对，具体可以结合用户私钥sk_i、密钥聚合验证参数k′_i、以及所选择的随机数

以及第一训练服务器公钥g₁来计算获得，一个实施例中用公式可表示为：

对用户x_i，记其在第t次迭代第e个维度的模型参数是

那么其基于密钥聚合参数k_i对各模型参数

进行加密后获得的相应的模型参数密文是

其中

是服从拉普拉斯分布的有界噪声。

对各个维度的模型参数均采用密钥聚合参数k_i进行加密，从而可以获得各个维度的模型参数密文。

在获得各个维度的模型参数密文后，从而可以结合获得的各模型维度的模型参数密文、上述用户端密文(c_i，1，c_i，2，c_i，3，c_i，4，c_i，5，c_i，6)、用户身份信息x_i以及当前迭代次数t发送给训练服务器ID_f，在发送之前，还可以基于签名对(σ_i，1，σ_i，2)进行签名处理，从而最终发送给训练服务器ID_f的签名和加密后的信息可记为：

在模型训练过程中，训练服务器ID_f获得各用户发送的密文信息msg_i后，可获得n组密文信息，因此需要对这n组密文信息进行聚合处理。在进行聚合处理之前，对n个用户的用户端密文(c_i，1，c_i，2，c_i，3，c_i，4，c_i，5，c_i，6)进行密钥聚合处理，以验证共享密钥的准确性。

一个实施例中，训练服务器ID_f进行密钥聚合处理时，可采用下述方式进行：

对用户集合中的各用户的第一密文部分c_i，1进行聚合处理，具体可以是乘积处理，获得第一聚合密文

用公式可以表示为：

对用户集合中的各用户的第二密文部分c_i，2进行聚合处理，具体可以是乘积处理，获得第二聚合密文

用公式可以表示为：

对用户集合中的各用户的第三密文部分c_i，3进行聚合处理，具体可以是乘积处理，获得第三聚合密文

用公式可以表示为：

对用户集合中的各用户的第四密文部分c_i，4进行聚合处理，具体可以是乘积处理，获得第四聚合密文

用公式可以表示为：

对用户集合中的各用户的第五密文部分c_i，5进行聚合处理，具体可以是乘积处理，获得第五聚合密文

用公式可以表示为：

对用户集合中的各用户的第六密文部分c_i，6进行聚合处理，具体可以是乘积处理，获得第六聚合密文

用公式可以表示为：

随后，训练服务器ID_f利用训练服务器私钥SK_f＝(u，v)，结合第一服务商参数

和第二服务商参数

对第一聚合密文

第二聚合密文

第三聚合密文

第四聚合密文

进行聚合解密，获得第一密钥聚合结果∑_i∈Uk_i，用公式可记为：

然后，训练服务器ID_f利用训练服务器私钥SK_f＝(u，v)，结合第一服务商参数

和第二服务商参数

对第一聚合密文

第二聚合密文

第五聚合密文

第六聚合密文

进行聚合解密，获得第二密钥聚合结果∑_i∈Uk‘_i，用公式可记为：

随后，训练服务器ID_f利用第一密钥聚合结果

对第二密钥聚合结果

进行验证，并在验证通过时，如第一密钥聚合结果与第二密钥聚合结果相同时，将所述第二密钥聚合结果作为密钥聚合处理结果。

随后，训练服务器ID_f基于各用户的第一用户签名、第二用户签名，验证第二密钥聚合结果∑_i∈Uk‘_i的正确性，验证过程用公式可表示为：

如果验证结果为验证通过或者说验证正确，则训练服务器ID_f基于各用户的模型参数密文，进行模型参数密文的聚合操作，获得模型参数密文聚合结果

用公式可记为：

基于模型参数密文聚合结果，对其进行解密，可获得模型参数聚合结果，用公式可表示为：

如上所述的本申请实施例的方案，还可以支持用户的离开，在检测到用户离开时，可以将该用户从用户集合中删除，一个实施例中，可以利用如下Algorithm 4的相关代码来实现用户离开的处理。

如上所述的本申请实施例的方案，可以用于各种分布式训练模型的场景，例如基于大数据的车辆定位系统。在基于大数据的车辆定位系统中，若公开发布利用车载传感器收集到的数据并进行训练的模型，会导致采集数据的泄露，进而导致客户的位置和身份的隐私暴露。基于本申请实施例的方案，模型训练方案在保障客户隐私的前提下进行，而且动态支持客户的加入和离开。而且，在实施过程中，还可以对恶意客户进行检测，针对检测到的恶意客户不加入训练过程，不加入用户集合，以降低恶意客户对系统性能的影响。具体检测恶意用户的方式，可以采用任何可能的方式进行，本申请实施例不做具体限定。

如上所述的本申请实施例的方案，为了实现基于传感器数据的生成模型的隐私保护和数据聚合，利用了基于秘密共享机制的加密算法，达到了安全和可验证的模型聚合的目的。同时，根据模型聚合结果，仍可以反映指定区域的车辆定位功能。而且，利用跳表技术对参与客户进行分组，通过进行客户分组，可以降低客户加入/离开联邦训练的过程中，对系统的性能所带来的影响；同时，在恶意客户存在的场景下，减少对可用的客户模型数目的影响，并降低相应的计算复杂度。

应该理解的是，虽然如上所述的各实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，这些流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

一个实施例中，如图4所示，提供了一种隐私模型训练的装置，所述装置可以设置于图1所示的训练服务器10上，所述装置包括：

任务发布模块401，用于基于待训练模型发布模型训练任务；

用户集合确定模块402，用于接收各用户终端发送的训练加入请求，根据各用户终端的训练加入请求的请求时间，生成用户集合，并将用户集合发送给各用户终端；

服务端分组模块403，用于将用户集合中的用户划分为两个以上的用户分组；

训练结果接收模块404，用于在任何一次迭代训练过程中，接收所述用户集合内的各所述用户终端发送的模型训练密文，所述模型训练密文携带用户端密文、模型参数密文以及训练迭代次数；

密钥聚合模块405，用于基于各所述用户终端所属的用户分组，对各所述用户终端的用户端密文进行密钥聚合处理，获得密钥聚合处理结果，并对所述密钥聚合处理结果验证通过；

模型聚合模块406，用于在所述密钥聚合处理结果验证通过时，对各所述用户终端的模型参数密文进行模型聚合处理，获得模型聚合结果。

一些实施例中，用户集合确定模块402，根据各用户终端的训练加入请求的请求时间，对各用户终端进行排序；根据请求时间最早的第二预定数目个用户终端的用户，生成用户集合，用户集合中包含各所述用户终端的排序信息。

一些实施例中，服务端分组模块403，包括：

服务端分组数确定模块，用于将第二预定数目与第一预定数目的比值向上取整，获得用户分组数，所述第二预定数目为所述用户集合中的用户的数目，所述第一预定数目为预先设定的用户分组中需要包含的用户的数目；

服务端分组划分模块，用于将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组。

一些实施例中，服务端分组划分模块，获取用户集合中的第一预定数目的用户，将该第一预定数目的用户加入一个用户分组后，获取下一批第一预定数目的用户加入下一个用户分组，直至用户集合中的任意一个用户都加入了一个用户分组。

一些实施例中，服务端分组划分模块，按照所述用户集合中的各用户的排列顺序，依序获取所述用户集合中的第一预定数目的用户。

一些实施例中，服务端分组划分模块，还用于在最后一个用户分组中的用户小于所述第一预定数目时，按照预定规则从其他用户分组中分别选取一个用户加入到最后一个用户分组，直至任意一个用户分组中都包含第一预定数目个用户、用户集合中的任意一个用户都加入了至少一个用户分组、且用户集合中的任意一个用户最多加入两个用户分组。

一些实施例中，密钥聚合模块405，包括：

第一密文聚合子模块，用于对各所述用户终端的用户端密文中的第一密文部分进行聚合，获得第一聚合密文，所述第一密文部分为用户终端采用第一训练服务器公钥对第三随机数进行加密获得的密文结果；

第二密文聚合子模块，用于对各所述用户终端的用户端密文中的第二密文部分进行聚合，获得第二聚合密文，所述第二密文部分为用户终端采用第二训练服务器公钥对第四随机数进行加密获得的密文结果；

第三密文聚合子模块，用于对各用户终端的用户端密文中的第三密文部分进行聚合，获得第三聚合密文，第三密文部分为用户终端基于第一共享密钥对第一随机数、第三随机数、第四随机数以及分组用户信息进行加密，获得的密文结果；

第四密文聚合子模块，用于对各用户端的用户端密文中的第四密文部分进行聚合，获得第四聚合密文，所述第四密文部分为用户终端基于第一训练服务器公钥、第二训练服务器公钥、第二共享密钥、第一服务商参数、所述第一随机数和密钥聚合参数进行加密，获得的密文结果；

第五密文聚合子模块，用于对各用户端的用户端密文中的第五密文部分进行聚合，获得第五聚合密文，第五密文部分为用户终端基于第一共享密钥对第二随机数、第三随机数、第四随机数以及分组用户信息进行加密，获得的密文结果；

第六密文聚合子模块，用于对各所述用户端的用户端密文中的第六密文部分进行聚合，获得第六聚合密文，所述第六密文部分为用户终端基于所述第一训练服务器公钥、所述第二训练服务器公钥、所述第二共享密钥、所述第一服务商参数、所述第二随机数和密钥聚合验证参数进行加密，获得的密文结果；

第一密钥聚合子模块，对所述第一聚合密文、第二聚合密文、第三聚合密文和所述第四聚合密文进行聚合处理，获得第一密钥聚合结果；

第二密钥聚合子模块，对所述第一聚合密文、第二聚合密文、第五聚合密文和所述第六聚合密文进行聚合处理，获得第二密钥聚合结果；

聚合结果确定模块，在所述第一密钥聚合结果对所述第二密钥聚合结果验证通过时，将所述第二密钥聚合结果作为密钥聚合处理结果。

一些实施例中，第一密钥聚合子模块，采用如下公式对所一聚合密文、第二聚合密文、第三聚合密文和第四聚合密文进行聚合处理，获得第一密钥聚合结果：

其中，

为第一密钥聚合结果，e为双线性映射运算函数，

为第四聚合密文，

为第三聚合密文，

为第一聚合密文，u为第一训练服务器私钥，

为第二聚合密文，v为第二训练服务器私钥，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，β为第一选定随机数，x_r为第二选定随机数，m为分组数目。

一些实施例中，第二密钥聚合子模块，采用如下公式对第一聚合密文、第二聚合密文、第五聚合密文和第六聚合密文进行聚合处理，获得第二密钥聚合结果：

其中，

为第一密钥聚合结果，e为双线性映射运算函数，

为第六聚合密文，

为第五聚合密文，

为第一聚合密文，u为第一训练服务器私钥，

为第二聚合密文，v为第二训练服务器私钥，

为第一服务商参数，g为双线性映射时所选用的曲线上的点，β为第一选定随机数，x_r为第二选定随机数，m为分组数目。

一些实施例中，模型聚合模块，对各所述用户终端的模型参数密文进行求和处理，获得模型聚合结果。

在一个实施例中，如图5所示，提供了一种隐私模型训练的装置，所述装置可以设置于图2所示的用户终端10上，所述装置包括：

训练请求模块501，用于基于获取训练服务器发布的待训练模型的模型训练任务，发送训练接入请求；

终端分组模块502，用于接收所述训练服务器返回的用户集合，并将所述用户集合中的用户划分为两个以上的用户分组；

用户端密文生成模块503，用于基于所属的用户分组，生成用户端密文；

模型训练模块504，用于在任何一次迭代训练过程中，对所述待训练模型进行模型训练，获得模型迭代训练结果；

训练结果加密模块505，用于对模型迭代训练结果进行加密，获得模型参数密文；

训练结果发送模块506，用于向训练服务器发送模型训练密文，所述模型训练密文携带所述用户端密文、所述模型参数密文以及训练迭代次数。

一些实施例中，终端分组模块502，包括：

终端分组数确定模块，将第二预定数目与第一预定数目的比值向上取整，获得用户分组数，所述第二预定数目为所述用户集合中的用户的数目，所述第一预定数目为预先设定的用户分组中需要包含的用户的数目；

终端分组划分模块，用于将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组。

一些实施例中，终端分组划分模块，获取用户集合中的第一预定数目的用户，将该第一预定数目的用户加入一个用户分组后，获取下一批第一预定数目的用户加入下一个用户分组，直至用户集合中的任意一个用户都加入了一个用户分组。

一些实施例中，终端分组划分模块，根据用户集合中的各用户的排列顺序，依序获取所述用户集合中的第一预定数目的用户。

一些实施例中，终端分组划分模块，还在最后一个用户分组中的用户小于所述第一预定数目时，按照预定规则从其他用户分组中分别选取一个用户加入到所述最后一个用户分组，直至任意一个用户分组中都包含所述第一预定数目个用户、所述用户集合中的任意一个用户都加入了至少一个用户分组、且所述用户集合中的任意一个用户最多加入两个用户分组。

一些实施例中，用户端密文生成模块503，基于第一训练服务器公钥、第二训练服务器公钥、第一共享密钥、第二共享密钥、第一服务商参数、所述密钥聚合参数和所述密钥聚合验证参数，获得用户端密文。

一些实施例中，用户端密文生成模块503，包括：

第一密文部分生成模块，用于采用所述第一训练服务器公钥对所述第三随机数进行加密，获得第一密文部分；

第二密文部分生成模块，用于采用所述第二训练服务器公钥对所述第四随机数进行加密，获得第二密文部分；

第三密文部分生成模块，用于基于所述第一共享密钥对所述第一随机数、所述第三随机数、所述第四随机数以及分组用户信息进行加密，获得第三密文部分，所述用户分组信息基于所属的用户分组中，与该用户分组内的其他用户之间的身份信息的差值确定；

第四密文部分生成模块，用于基于所述第一训练服务器公钥、所述第二训练服务器公钥、所述第二共享密钥、所述第一服务商参数、所述第一随机数和所述密钥聚合参数进行加密，获得第四密文部分；

第五密文部分生成模块，用于基于所述第一共享密钥对第二随机数、第三随机数、第四随机数以及所述分组用户信息进行加密，获得第五密文部分；

第五密文部分生成模块，用于基于所述第一训练服务器公钥、所述第二训练服务器公钥、所述第二共享密钥、所述第一服务商参数、所述第二随机数和所述密钥聚合验证参数进行加密，获得第六密文部分；

所述用户端密文，包括所述第一密文部分、所述第二密文部分、所述第三密文部分、所述第四密文部分、所述第五密文部分以及所述第六密文部分。

一些实施例中，训练结果加密模块505，用于对各维度的所述模型参数，分别进行加密，获得所述模型参数密文。

关于训练模型的装置的具体实现方式，可以参见上文中对于训练模型的方法的实施例中的说明，在此不再赘述。上述训练模型的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构可以包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型训练过程中的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种隐私模型训练的方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构可以包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种隐私模型训练的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，如上所述的计算机设备的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现如上所述的任一实施例中的训练模型的方法的步骤。

一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的任一实施例中的训练模型的方法的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种隐私模型训练的方法，其特征在于，所述方法包括：

基于待训练模型发布模型训练任务；

接收各用户终端发送的训练加入请求，并根据各用户终端的训练加入请求的请求时间，生成用户集合，并将所述用户集合发送给各所述用户终端；

将所述用户集合中的用户划分为两个以上的用户分组；

在任何一次迭代训练过程中，接收所述用户集合内的各所述用户终端发送的模型训练密文，所述模型训练密文携带用户端密文、模型参数密文以及训练迭代次数；

基于各所述用户终端所属的用户分组，对各所述用户终端的用户端密文进行密钥聚合处理，获得密钥聚合处理结果；

在所述密钥聚合处理结果验证通过时，对各所述用户终端的模型参数密文进行模型聚合处理，获得模型聚合结果。

2.根据权利要求1所述的方法，其特征在于，将所述用户集合中的用户划分为两个以上的用户分组，包括：

将第二预定数目与第一预定数目的比值向上取整，获得用户分组数，所述第二预定数目为所述用户集合中的用户的数目，所述第一预定数目为预先设定的用户分组中需要包含的用户的数目；

将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组。

3.根据权利要求2所述的方法，其特征在于，将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组，包括：

获取所述用户集合中的第一预定数目的用户，将该第一预定数目的用户加入一个用户分组后，获取下一批第一预定数目的用户加入下一个用户分组，直至所述用户集合中的任意一个用户都加入了一个用户分组。

4.根据权利要求1所述的方法，其特征在于，基于各所述用户终端所属的用户分组，对各所述用户终端的用户端密文进行密钥聚合处理，获得密钥聚合处理结果，包括：

对各所述用户终端的用户端密文中的第一密文部分进行聚合，获得第一聚合密文，所述第一密文部分为用户终端采用第一训练服务器公钥对第三随机数进行加密获得的密文结果；

对各所述用户终端的用户端密文中的第二密文部分进行聚合，获得第二聚合密文，所述第二密文部分为用户终端采用第二训练服务器公钥对第四随机数进行加密获得的密文结果；

对各所述用户终端的用户端密文中的第三密文部分进行聚合，获得第三聚合密文，所述第三密文部分为用户终端基于第一共享密钥对第一随机数、所述第三随机数、所述第四随机数以及分组用户信息进行加密，获得的密文结果；

对各所述用户端的用户端密文中的第四密文部分进行聚合，获得第四聚合密文，所述第四密文部分为用户终端基于第一训练服务器公钥、第二训练服务器公钥、第二共享密钥、第一服务商参数、所述第一随机数和密钥聚合参数进行加密，获得的密文结果；

对各所述用户端的用户端密文中的第五密文部分进行聚合，获得第五聚合密文，所述第五密文部分为用户终端基于第一共享密钥对第二随机数、所述第三随机数、所述第四随机数以及所述分组用户信息进行加密，获得的密文结果；

对各所述用户端的用户端密文中的第六密文部分进行聚合，获得第六聚合密文，所述第六密文部分为用户终端基于所述第一训练服务器公钥、所述第二训练服务器公钥、所述第二共享密钥、所述第一服务商参数、所述第二随机数和密钥聚合验证参数进行加密，获得的密文结果；

对所述第一聚合密文、第二聚合密文、第三聚合密文和所述第四聚合密文进行聚合处理，获得第一密钥聚合结果；

对所述第一聚合密文、第二聚合密文、第五聚合密文和所述第六聚合密文进行聚合处理，获得第二密钥聚合结果；

在所述第一密钥聚合结果对所述第二密钥聚合结果验证通过时，将所述第二密钥聚合结果作为密钥聚合处理结果。

5.根据权利要求1所述的方法，其特征在于，对各所述用户终端的模型参数密文进行模型聚合处理，获得模型聚合结果，包括：

对各所述用户终端的模型参数密文进行求和处理，获得模型聚合结果。

6.一种隐私模型训练的方法，其特征在于，所述方法包括：

基于获取训练服务器发布的待训练模型的模型训练任务，发送训练接入请求；

接收所述训练服务器返回的用户集合，并将所述用户集合中的用户划分为两个以上的用户分组；

基于所属的用户分组，生成用户端密文；

在任何一次迭代训练过程中，对所述待训练模型进行模型训练，获得模型迭代训练结果；

对所述模型迭代训练结果进行加密，获得模型参数密文；

向训练服务器发送模型训练密文，所述模型训练密文携带所述用户端密文、所述模型参数密文以及训练迭代次数。

7.根据权利要求6所述的方法，其特征在于，将所述用户集合中的用户划分为两个以上的用户分组，包括：

将第二预定数目与第一预定数目的比值向上取整，获得用户分组数，所述第二预定数目为所述用户集合中的用户的数目，所述第一预定数目为预先设定的用户分组中需要包含的用户的数目；

将所述用户集合中的各用户，按照预定规则加入对应的用户分组，获得划分后的各用户分组。

8.根据权利要求6所述的方法，其特征在于，所述生成用户端密文，包括：

基于第一训练服务器公钥、第二训练服务器公钥、第一共享密钥、第二共享密钥、第一服务商参数、密钥聚合参数和密钥聚合验证参数，获得用户端密文。

9.根据权利要求8所述的方法，其特征在于，基于第一训练服务器公钥、第二训练服务器公钥、第一共享密钥、第二共享密钥、第一服务商参数、所述密钥聚合参数和所述密钥聚合验证参数，获得用户端密文，包括：

生成第一随机数对和第二随机数对，所述第一随机数对包含第一随机数和第二随机数，所述第二随机数对包含第三随机数和第四随机数；

采用所述第一训练服务器公钥对所述第三随机数进行加密，获得第一密文部分；

采用所述第二训练服务器公钥对所述第四随机数进行加密，获得第二密文部分；

基于所述第一共享密钥对所述第一随机数、所述第三随机数、所述第四随机数以及分组用户信息进行加密，获得第三密文部分，所述用户分组信息基于所属的用户分组中，与该用户分组内的其他用户之间的身份信息的差值确定；

基于所述第一训练服务器公钥、所述第二训练服务器公钥、所述第二共享密钥、所述第一服务商参数、所述第一随机数和所述密钥聚合参数进行加密，获得第四密文部分；

基于所述第一共享密钥对所述第二随机数、所述第三随机数、所述第四随机数以及所述分组用户信息进行加密，获得第五密文部分；

基于所述第一训练服务器公钥、所述第二训练服务器公钥、所述第二共享密钥、所述第一服务商参数、所述第二随机数和所述密钥聚合验证参数进行加密，获得第六密文部分；

所述用户端密文，包括所述第一密文部分、所述第二密文部分、所述第三密文部分、所述第四密文部分、所述第五密文部分以及所述第六密文部分。

10.根据权利要求6所述的方法，其特征在于，所述模型迭代训练结果包括模型迭代训练之后的各维度的模型参数；

对所述模型迭代训练结果进行加密，获得模型参数密文，包括：

对各维度的所述模型参数，分别进行加密，获得所述模型参数密文。

Images