CN112149141A

CN112149141A - 模型训练方法、装置、设备和介质

Info

Publication number: CN112149141A
Application number: CN201910579016.5A
Authority: CN
Inventors: 周旭辉; 任兵; 杨胜文; 刘立萍
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-06-28
Filing date: 2019-06-28
Publication date: 2020-12-29
Anticipated expiration: 2039-06-28
Also published as: CN112149141B

Abstract

本发明实施例公开了一种模型训练方法、装置、设备和介质。该方法包括：对拥有的标签数据添加扰动值，得到扰动标签数据；根据扰动标签数据和从第二方获取的第二方预测结果，确定残差原文；对残差原文进行同态加密，得到残差密文；向第二方发送残差密文，供第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；对从第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；向第二方发送第二方梯度原文，供第二方根据第二方梯度原文继续对第二方的网络模型进行训练。本发明实施例通过为标签数据添加扰动值，提高扰动标签数据数量，从而提高残差密文数量，避免了第二方通过统计残差密文的分布反解标签数据，造成标签数据泄露。

Description

模型训练方法、装置、设备和介质

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、设备和介质。

背景技术

人工智能领域的核心是算法、算力和数据。然而，除了少数行业，大多数行业只有有限的数据或质量较差的数据，使得人工智能技术的实现比我们想象的更加困难。

一个热门的研究方向是联邦学习，联邦学习用于建立基于分布在多个设备上的数据集的机器学习模型，在模型训练过程中须防止数据泄漏。联邦学习的最大特点是数据不出本地，通过传递不可反解的参数完成模型训练，在数据价值共享的同时，防止数据泄漏。

然而，目前基于联邦学习训练分类模型过程中，第二方可能通过统计第一方传递的模型参数例如残差密文的比例，反解得到第一方的标签数据，造成第一方标签数据泄露。

发明内容

本发明实施例提供一种模型训练方法、装置、设备和介质，以解决联邦学习过程中标签数据泄露的问题。

第一方面，本发明实施例提供了一种模型训练方法，由第一方执行，所述方法包括：

对拥有的标签数据添加扰动值，得到扰动标签数据；

根据所述扰动标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；

对所述残差原文进行同态加密，得到残差密文；

向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；

对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；

向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。

第二方面，本发明实施例提供了一种模型训练装置，配置于第一方，所述装置包括：

扰动标签数据生成模块，用于对拥有的标签数据添加扰动值，得到扰动标签数据；

残差原文确定模块，用于根据所述扰动标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；

残差密文获取模块，用于对所述残差原文进行同态加密，得到残差密文；

残差密文发送模块，用于向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；

第二方梯度原文获取模块，用于对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；

第二方梯度原文发送模块，用于向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。

第三方面，本发明实施例提供了一种设备，所述设备还包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的一种模型训练方法。

第四方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种模型训练方法。

本发明实施例通过为第一方标签数据添加扰动值，提高扰动标签数据的数量，从而提高残差密文的数量，避免了第二方反解得到第一方的标签数据，造成第一方标签数据泄露。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一提供的一种模型训练方法的流程图；

图2是本发明实施例二提供的一种模型训练方法的流程图；

图3为本发明实施例三提供的一种模型训练装置的结构示意图；

图4为本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种模型训练方法的流程图。本实施例适用于通过联邦学习，基于第一方以及第二方中的数据对网络模型进行训练的情况，该方法可以由本发明实施例提供的配置于第一方的模型训练装置来执行，该装置可以采用软件和/或硬件的方式实现。在本实施例中第一方表示具有标签数据的设备，第一方也可以拥有特征数据；第二方表示仅具有特征数据而没有标签数据的设备。如图1所示，该方法可以包括：

S101、对拥有的标签数据添加扰动值，得到扰动标签数据。

其中，标签数据用于根据特征数据的某一特征，将特征数据进行分类，例如在金融领域，标签数据可以是用户的信用；在营销领域，标签数据可以是用户的购买愿望；在教育领域，标签数据可以是学生掌握知识的程度等。

在分类模型中标签数据取值是很少的，尤其是二分类模型中第一方标签数据取值只有0和1这两个值，在模型参数传递过程中，若第二方找到第一方仅有标签数据没有特征数据的样本，并针对这些样本故意构造部分预测结果为0的特征数据，那么第二方从第一方获取的残差密文即等于第一方的标签数据密文，并且基于业务场景，第二方可以知道标签数据取值0和1的比例，进而第二方可以通过统计残差密文的比例，反解得到第一方的标签数据。

具体的，为了防止第一方标签数据的泄露，对第一方每个标签数据中添加扰动值，得到扰动标签数据，以增加扰动标签数据的数量。

可选的S101包括：

A、针对拥有的每一标签数据，确定该标签数据的扰动值。

其中，不同标签数据的扰动值不同。

B、对该标签数据添加该扰动值，得到该标签数据的扰动标签数据。

通过对二分类模型拥有的标签数据添加扰动值，由于每一个标签数据对应的扰动值不相同，则第一方的扰动标签数据数量很多，而不是只有“0”和“1”两个，从而使得第二方无法通过统计残差密文的比例，反解得到第一方的标签数据。

S102、根据所述扰动标签数据和从第二方获取的第二方预测结果，确定残差原文。

其中，第二方预测结果由第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的，业务需求不同则待训练的网络模型不同，相应的第二方预测结果也不同，可选的第二方预测结果包括预测的部分标签数据。残差原文表示第一方与第二方预测结果与样本的实际结果之间的差值，该差值未经加密处理。

具体的，由于第一方与第二方之间的数据不尽相同，为了能够在数据不出本地的前提下，利用对方数据训练本地的网络模型，则需要获取第一方与第二方网络模型残差，而残差的计算又依赖于第一方与第二方基于各自网络模型的预测结果。

可选的，S102包括：

A、基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果。

B、根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果。

C、根据所述扰动标签数据和所述综合预测结果，确定残差原文。

通过根据扰动标签数据和从第二方获取的第二方预测结果，确定残差原文，为后续确定第一方梯度原文以及第二方梯度原文奠定了基础。

S103、对所述残差原文进行同态加密，得到残差密文。

若当第一方将未加密的残差原文发送给第二方，则第二方得到未加密的残差原文后，很容易进行反推得到第一方的标签数据，造成标签数据泄露。为了避免标签数据泄露，可选的通过同态加密技术对残差原文进行加密。

其中，同态加密是允许人们对密文进行特定的代数运算得到仍然是加密的结果，将其解密所得到的结果与对明文进行同样的运算结果一样。经过同态加密后的残差原文即是残差密文。

在本实施例中，同态加密可以是同态加法加密或全同态加密。由于全同态加密的处理效率低，而同态加法加密相比于全同态加密计算时间更快，在模型训练中非常有意义。因此可选的，对所述残差原文进行同态加密，包括对所述残差原文进行同态加法加密。

具体的，第一方通过包括密钥生成函数来生成加密残差原文所用的密钥Key，并通过包括加密函数来利用获取的密钥Key对残差原文进行同态加法加密，得到残差密文。通过对残差原文进行同态加密，使得第二方无法基于残差原文反解第一方拥有的标签数据，同时也不影响第二方的后续计算。

S104、向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文。

其中，第二方梯度密文是第二方梯度原文被同态加密后的形式，而第二方梯度原文是用来训练第二方待训练网络模型的模型参数。

具体的，对残差原文的加密是由第一方执行的，仅第一方具有加密密钥Key以及对应的解密函数，因此第二方无法对获取的残差密文进行解密，但由于同态加密的特性，第二方在不解密残差密文的前提下同样可以根据残差密文和第二方拥有的特征数据，确定第二方梯度密文。

通过确定第二方梯度密文，为后续解密得到第二方梯度原文奠定了基础。

S105、对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文。

具体的，第一方根据对残差原文进行加密利用的加密函数，确定其唯一对应的解密函数，并通过解密函数对获取的第二方梯度密文进行同态解密，得到第二方梯度原文。

通过对第二方梯度密文进行同态解密，得到第二方梯度原文，为第二方根据所述第二方梯度原文进行网络模型训练奠定了基础。

S106、向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。

通过向第二方发送第二方梯度原文，供第二方根据第二方梯度原文继续对第二方的网络模型进行训练，实现了完善第二方网络模型功能的效果。

本发明实施例提供的技术方案，通过第一方基于同态加密对确定的残差原文进行加密得到残差密文，并向第二方提供残差密文，使得第二方得到残差密文，从而无法基于残差原文反解第一方拥有的标签数据，提高了标签数据的安全性。

在上述实施例的基础上，S102之后还包括：根据残差原文和第一方拥有的特征数据，确定第一方梯度原文；根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。

通过确定第一方梯度原文，并根据第一方梯度原文对第一方中的网络模型进行训练，实现了完善第一方网络模型功能的效果。

实施例二

图2为本发明实施例二提供的一种模型训练方法的流程图。本实施例为上述实施例一提供了一种具体实现方式，如图2所示，该方法可以包括：

S201、针对拥有的每一标签数据，确定该标签数据的扰动值，并对该标签数据添加该扰动值，得到该标签数据的扰动标签数据。

可选的，对第一方每一标签数据分配可正可负的不同扰动值，将第一方拥有的标签数据转化为浮点值表示，并将转化为浮点值后的标签数据与对应的扰动值相加，即得到第一方的扰动标签数据。

扰动标签数据的获取可以由下述公式表示：

y＇＝y+s

其中，y＇表示扰动标签数据，y表示标签数据，s表示扰动值。

为了使得添加扰动值后的扰动标签数据不影响后续第一方以及第二方各自网络模型的训练，可选的，扰动值的绝对值小于扰动阈值。

通过为不同的标签数据添加不同的扰动值，提高了扰动标签数据的数量，进而提高后续残差密文的数量，使得二分类模型中第一方标签数据取值不仅只有“0”和“1”这两个值，从而第二方无法通过统计残差密文的比例，反解得到第一方的标签数据。

S202、基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果。

其中，第一方预测结果由第一方基于待训练的网络模型对第一方拥有的特征数据进行预测得到的，业务需求不同则待训练的网络模型不同，相应的第一方预测结果也不同，可选的第一方预测结果包括预测的标签数据。

具体的，第一方待训练网络模型的训练依赖于第一方梯度原文，而第一方预测结果又是根据第一方待训练网络模型预测得到的，因此历史第一方梯度原文内容，会影响后续第一方预测结果。第一方预测结果可以抽象概括成第一方的特征数据x^A与第一方待训练网络模型预测参数θ^A的乘积，即θ^Ax^A。

S203、根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果。

具体的，第二方预测结果可以抽象概括成第二方的特征数据x^B与第一方待训练网络模型预测参数θ^B的乘积，即θ^Bx^B。

可选的，通过包括将第一方预测结果与第二方预测结果的和，输入到sigmoid函数中，其运算结果作为综合预测结果，即sigmoid(θ^Ax^A+θ^Bx^B)。

其中，sigmoid函数是机器学习中的一个比较常用的函数，其作用是将预测结果限制在(0,1)之间，因此当第一方的标签数据是二分类时，sigmoid函数会起到很好的效果。

S204、根据所述扰动标签数据和所述综合预测结果，确定残差原文。

具体的，将扰动标签数据y'与综合预测结果的差值，作为残差原文δ，即：

δ＝y'-sigmoid(θ^Ax^A+θ^Bx^B)

S205、采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密，得到残差放大密文。

具体的，当第一方的标签数据y是二分类时，如果第二方获取到未加密的残差原文，其可以反推出第一方的标签数据y，因为：

残差原文δ＝y'-sigmoid(θ^Ax^A+θ^Bx^B)，第二方可以找到第一方仅有标签数据y而没有特征数据x^A的样本，进而针对这些样本故意构造第二方预测结果θ^Bx^B为0的特征数据，此时sigmoid(θ^Ax^A+θ^Bx^B)＝0，则δ＝y'，由于扰动标签数据y'是在标签数据y的基础上添加了一个很小的扰动值，因此第二方可以根据扰动标签数据y'是趋于“0”还是趋于“1”来确定扰动标签数据y'对应的标签数据y是“0”或是“1”，从而导致了第一方标签数据y的泄露。

可见，为了防止第二方基于残差原文反解第一方拥有的标签数据，同时不影响第二方的后续计算，需要对残差原文进行同态加密。

具体的，由于同态加密只能用于整数的计算，但是当第一方的标签数据是二分类时，残差原文δ可能会是一个小数，因此需要将残差原文δ乘以一个固定放大系数MAG，使得放大残差MAG*δ成为一个整数，进而可以利用同态加密方法进行加密。

通过采用放大系数对所述残差原文进行放大，得到放大残差，使得当第一方的标签数据是二分类时，可以通过同态加密技术对放大残差进行加密。

S206、向所述第二方发送所述残差放大密文，供所述第二方根据残差放大密文和第二方拥有的特征数据，确定第二方梯度密文。

具体的，由于同态加密的特性，第二方在不解密残差放大密文的前提下同样可以根据残差放大密文和第二方拥有的特征数据，确定第二方梯度密文。

可选的，第二方梯度密文[[G_B]]通过如下公式来确定：

其中，

表示第二方中的第i个特征数据，i∈(1，n)，[[MAG*δ]]表示残差放大密文，MAG为放大系数。

根据同态加密的特性：n*[[u]]＝[[n*u]]，其中n表示一个明文，[[u]]表示一个密文。因此

转化为

即可得到第二方梯度密文[[G_B]]。

S207、采用放大系数，对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文。

由于第二方拥有的特征数据x^B可能会是一个小数，因此需要将第二方拥有的特征数据x^B乘以一个固定放大系数MAG₁；而在第一方的标签数据是二分类时，残差原文δ可能会是一个小数，因此需要将残差原文δ乘以一个固定放大系数MAG₂，从而使得特征放大数据和放大残差都为整数，满足同态加密的特性。

因此可选的，第一方对第二方梯度密文进行同态解密得到第二方梯度原文时，为了保证最终得到的第二方梯度原文的精度是正常精度，对第二方梯度密文进行同态解密时，需要除以固定放大系数MAG₁以及固定放大系数MAG₂。

可选的，对从第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文G_B可以包括如下过程：

S208、向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。

本发明实施例提供的技术方案，通过第一方基于同态加密对确定的残差原文进行放大，再进行加密得到残差放大密文，并向第二方提供残差放大密文，使得第二方得到残差放大密文，从而无法基于残差原文反解第一方拥有的标签数据，提高了数据的安全性。

在上述实施例的基础上，S204之后还包括：

A、根据残差原文和第一方拥有的特征数据，确定第一方梯度原文。

可选的，根据残差原文δ和第一方拥有的特征数据x^A，确定第一方梯度原文G_A，包括如下过程：

其中，

表示第一方中的第i个特征数据，i∈(1，n)。

B、根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。

实施例三

图3为本发明实施例三提供的一种模型训练装置的结构示意图，该装置配置于第一方，可执行本发明任一实施例所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。如图3所示，该装置可以包括：

扰动标签数据生成模块31，用于对拥有的标签数据添加扰动值，得到扰动标签数据；

残差原文确定模块32，用于根据所述扰动标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；

残差密文获取模块33，用于对所述残差原文进行同态加密，得到残差密文；

残差密文发送模块34，用于向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；

第二方梯度原文获取模块35，用于对从所述第二方获取的第二方梯度密文进行同态解密，得到第二方梯度原文；

第二方梯度原文发送模块36，用于向第二方发送所述第二方梯度原文，供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。

在上述实施例的基础上，所述扰动标签数据生成模块31，具体用于：

针对拥有的每一标签数据，确定该标签数据的扰动值；其中，不同标签数据的扰动值不同；

对该标签数据添加该扰动值，得到该标签数据的扰动标签数据。

在上述实施例的基础上，所述扰动值的绝对值小于扰动阈值。

在上述实施例的基础上，所述残差原文确定模块32，具体用于：

基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果；

根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果；

根据所述扰动标签数据和所述综合预测结果，确定残差原文。

在上述实施例的基础上，所述残差密文获取模块33，具体用于：

对所述残差原文进行同态加法加密。

在上述实施例的基础上，所述残差密文获取模块33，具体还用于：

采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密。

在上述实施例的基础上，所述第二方梯度原文获取模块35，具体用于：

采用放大系数，对从所述第二方获取的第二方梯度密文进行同态解密。

在上述实施例的基础上，所述装置还包括第一方网络模型训练模块，具体用于：

根据残差原文和第一方拥有的特征数据，确定第一方梯度原文；

根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。

本发明实施例所提供的一种模型训练装置，可执行本发明任一实施例所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任一实施例所提供的一种模型训练方法。

实施例四

图4为本发明实施例四提供的一种服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器400的框图。图4显示的服务器400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，服务器400以通用计算服务器的形式表现。服务器400的组件可以包括但不限于：一个或者多个处理器或者处理单元401，系统存储器402，连接不同系统组件(包括系统存储器402和处理单元401)的总线403。

总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

服务器400典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器400访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器402可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)404和/或高速缓存存储器405。服务器400可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统406可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块407的程序/实用工具408，可以存储在例如存储器402中，这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。

服务器400也可以与一个或多个外部服务器409(例如键盘、指向服务器、显示器410等)通信，还可与一个或者多个使得用户能与该服务器400交互的服务器通信，和/或与使得该服务器400能与一个或多个其它计算服务器进行通信的任何服务器(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且，服务器400还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器412通过总线403与服务器400的其它模块通信。应当明白，尽管图中未示出，可以结合服务器400使用其它硬件和/或软件模块，包括但不限于：微代码、服务器驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元401通过运行存储在系统存储器402中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种模型训练方法，包括：

对拥有的标签数据添加扰动值，得到扰动标签数据；

对所述残差原文进行同态加密，得到残差密文；

实施例五

本发明实施例五还提供了一种计算机可读存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种模型训练方法，该方法包括：

对拥有的标签数据添加扰动值，得到扰动标签数据；

对所述残差原文进行同态加密，得到残差密文；

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种模型训练方法中的相关操作。本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种模型训练方法，其特征在于，由第一方执行，所述方法包括：

对拥有的标签数据添加扰动值，得到扰动标签数据；

对所述残差原文进行同态加密，得到残差密文；

2.根据权利要求1所述的方法，其特征在于，对拥有的标签数据添加扰动值，得到扰动标签数据，包括：

3.根据权利要求1或权利要求2所述的方法，其特征在于，所述扰动值的绝对值小于扰动阈值。

4.根据权利要求1所述的方法，其特征在于，根据所述扰动标签数据和从第二方获取的第二方预测结果，确定残差原文，包括：

5.根据权利要求1所述的方法，其特征在于，对所述残差原文进行同态加密，包括：

对所述残差原文进行同态加法加密。

6.根据权利要求1所述的方法，其特征在于，对所述残差原文进行同态加密，包括：采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密；

相应地，对从所述第二方获取的第二方梯度密文进行同态解密，包括：

7.根据权利要求1所述的方法，其特征在于，根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文之后，还包括：

8.一种模型训练装置，其特征在于，配置于第一方，所述装置包括：

9.根据权利要求8所述的装置，其特征在于，所述扰动标签数据生成模块，具体用于：

10.根据权利要求8或权利要求9所述的装置，其特征在于，所述扰动值的绝对值小于扰动阈值。

11.根据权利要求8所述的装置，其特征在于，所述残差原文确定模块，具体用于：

12.根据权利要求8所述的装置，其特征在于，所述残差密文获取模块，具体用于：

对所述残差原文进行同态加法加密。

13.根据权利要求8所述的装置，其特征在于，所述残差密文获取模块，具体还用于：

采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密；

相应的，所述第二方梯度原文获取模块，具体用于：

14.一种设备，其特征在于，所述设备还包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的一种模型训练方法。

15.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的一种模型训练方法。