CN112149706B - 模型训练方法、装置、设备和介质 - Google Patents
模型训练方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN112149706B CN112149706B CN201910579010.8A CN201910579010A CN112149706B CN 112149706 B CN112149706 B CN 112149706B CN 201910579010 A CN201910579010 A CN 201910579010A CN 112149706 B CN112149706 B CN 112149706B
- Authority
- CN
- China
- Prior art keywords
- party
- ciphertext
- gradient
- disturbance
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000003321 amplification Effects 0.000 claims description 25
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- MGIUUAHJVPPFEV-ABXDCCGRSA-N magainin ii Chemical compound C([C@H](NC(=O)[C@H](CCCCN)NC(=O)CNC(=O)[C@@H](NC(=O)CN)[C@@H](C)CC)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CC=1NC=NC=1)C(=O)N[C@@H](CO)C(=O)N[C@@H](C)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)NCC(=O)N[C@@H](CCCCN)C(=O)N[C@@H](C)C(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)N[C@@H](C(C)C)C(=O)NCC(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CO)C(O)=O)C1=CC=CC=C1 MGIUUAHJVPPFEV-ABXDCCGRSA-N 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种模型训练方法、装置、设备和介质。该方法包括：基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；向第一方发送第二方预测结果；根据从第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；为第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；向第一方发送第二方扰动梯度密文，供第一方对第二方扰动梯度密文进行同态解密得到第二方扰动梯度；根据从第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。本发明实施例通过为第二方梯度密文添加扰动数据得到第二方扰动梯度密文，提高了特征数据求解方程的未知数数量，使得特征数据无法求解，避免第二方特征数据泄露。
Description
技术领域
本发明实施例涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、设备和介质。
背景技术
人工智能领域的核心是算法、算力和数据。然而，除了少数行业，大多数行业只有有限的数据或质量较差的数据，使得人工智能技术的实现比我们想象的更加困难。
一个热门的研究方向是联邦学习，联邦学习用于建立基于分布在多个设备上的数据集的机器学习模型，在模型训练过程中须防止数据泄漏。联邦学习的最大特点是数据不出本地，通过传递不可反解的参数完成模型训练，在数据价值共享的同时，防止数据泄漏。
然而，目前基于联邦学习训练分类模型过程中，第一方可能根据传递的模型参数例如残差原文和梯度密文等，构建第二方特征数据的求解方程，并通过迭代增加方程数量。当方程数量大于未知数数量时，即可解出第二方的特征数据，造成第二方的特征数据泄露。
发明内容
本发明实施例提供一种模型训练方法、装置、设备和介质，以解决联邦学习过程中特征数据泄露的问题。
第一方面，本发明实施例提供了一种模型训练方法，由第二方执行，所述方法包括：
基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；
向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度；
根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。
第二方面，本发明实施例提供了一种模型训练方法，由第一方执行，所述方法包括：
根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
对所述残差原文进行同态加密，得到残差密文；
向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度，其中，所述第二方扰动梯度密文由所述第二方为所述第二方梯度密文添加扰动数据得到；
向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。
第三方面，本发明实施例提供了一种模型训练装置，配置于第二方，所述装置包括：
第二方预测结果确定模块，用于基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
第二方预测结果发送模块，用于向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
第二方梯度密文确定模块，用于根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方扰动梯度密文确定模块，用于为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；
第二方扰动梯度密文发送模块，用于向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度；
第二方网络模型训练模块，用于根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。
第四方面，本发明实施例提供了一种模型训练装置，配置于第一方，所述装置包括：
残差原文确定模块，用于根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
残差密文获取模块，用于对所述残差原文进行同态加密，得到残差密文；
残差密文发送模块，用于向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方扰动梯度获取模块，用于对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度，其中，所述第二方扰动梯度密文由所述第二方为所述第二方梯度密文添加扰动数据得到；
第二方扰动梯度发送模块，用于向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。
第五方面，本发明实施例提供了一种设备，所述设备还包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的一种模型训练方法。
第六方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种模型训练方法。
本发明实施例通过第二方为第二方梯度密文添加扰动数据得到第二方扰动梯度密文，并将第二方扰动梯度密文发送给第一方，由于第二方扰动梯度密文添加了扰动数据，从而增加了特征数据求解方程的未知数数量，使得未知数数量大于方程数量，因此第一方无法求解出特征数据求解方程的解，从而避免第二方的特征数据泄露，提高了标签数据的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一提供的一种模型训练方法的流程图；
图2为本发明实施例二提供的一种模型训练方法的流程图；
图3是本发明实施例三提供的一种模型训练方法的流程图；
图4是本发明实施例四提供的一种模型训练方法的流程图；
图5为本发明实施例五提供的一种模型训练装置的结构示意图；
图6为本发明实施例六提供的一种模型训练装置的结构示意图；
图7为本发明实施例七提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种模型训练方法的流程图。本实施例适用于对联邦学习中第一方以及第二方的网络模型进行训练的情况，该方法可以由本发明实施例提供的配置于第二方的模型训练装置来执行，该装置可以采用软件和/或硬件的方式实现，在本实施例中第一方表示具有标签数据以及特征数据的客体，第二方表示仅具有特征数据的客体。如图1所示，该方法可以包括：
S101、基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果。
其中，特征数据表示客体某个特征的数据信息，例如“月收入一万元”是一个特征数据，“本科学历”是一个特征数据，“年龄40岁”也是一个特征数据。第二方预测结果由第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的，业务需求不同则待训练的网络模型不同，相应的第二方预测结果也不同，可选的第二方预测结果包括预测的标签数据。
S102、向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文。
其中，标签数据用于根据特征数据的某一特征，将特征数据进行分类，例如在金融领域，标签数据可以是用户的信用；在营销领域，标签数据可以是用户的购买愿望；在教育领域，标签数据可以是学生掌握知识的程度等。残差原文表示第一方与第二方预测结果与样本的实际结果之间的差值，该差值未经加密处理，而经过加密处理后的残差原文即是残差密文。
S103、根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文。
其中，第二方梯度密文是第二方梯度原文被同态加密后的形式，而第二方梯度原文是用来训练第二方待训练网络模型的模型参数。
具体的，对残差原文的加密是由第一方执行的，仅第一方具有加密密钥Key以及对应的解密函数，因此第二方无法对获取的残差密文进行解密，但由于同态加密的特性，第二方在不解密残差密文的前提下同样可以根据残差密文和第二方拥有的特征数据，确定第二方梯度密文。
通过确定第二方梯度密文，为后续解密得到第二方梯度原文奠定了基础。
S104、为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文。
若当第二方将原始的第二方梯度密文发送给第一方，则第一方得到原始的第二方梯度密文后，可以通过根据第二方梯度密文以及残差原文构建第二方特征数据的求解方程，并通过迭代增加方程数量。当方程数量大于未知数数量时，即可解出第二方的特征数据。为了避免第二方的特征数据泄露，可选的为第二方梯度密文添加扰动数据。
通过为第二方梯度密文添加扰动数据，得到第二方扰动梯度密文，使得若第一方通过根据第二方扰动梯度密文以及残差原文构建第二方特征数据的求解方程，并通过迭代增加方程数量，此时由于扰动数据的存在，使得求解方程的未知数数量大于方程数量，无法解出第二方的特征数据，防止了特征数据的泄露。
S105、向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度。
具体的，第二方扰动梯度是第一方根据对残差原文进行加密利用的加密函数，确定其唯一对应的解密函数，并通过解密函数对获取的第二方扰动梯度密文进行同态解密得到的。
S106、根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。
具体的，由于第二方为第二方梯度密文添加了扰动数据，因此根据从第一方获取的第二方扰动梯度并不能直接用于第二方的网络模型的训练。
可选的，S106包括：
A、根据所述扰动原始值，对从所述第二方获取的第二方扰动梯度进行同态解密，得到第二方梯度原文。
B、根据所述第二方梯度原文，继续对第二方的网络模型进行训练。
通过根据从第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练，实现了完善第二方网络模型功能的效果。
本发明实施例提供的技术方案，通过第二方为第二方梯度密文添加扰动数据得到第二方扰动梯度密文，并将第二方扰动梯度密文发送给第一方，由于第二方扰动梯度密文添加了扰动数据，从而增加了特征数据求解方程的未知数数量，使得未知数数量大于方程数量，因此第一方无法求解出特征数据求解方程的解，从而避免第二方的特征数据泄露，提高了标签数据的安全性。
实施例二
图2为本发明实施例二提供的一种模型训练方法的流程图。本实施例为上述实施例一提供了一种具体实现方式，如图2所示，该方法可以包括：
S201、基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果，并向第一方发送所述第二方预测结果。
具体的，第二方待训练网络模型的训练依赖于第二方梯度原文，而第二方预测结果又是根据第二方待训练网络模型预测得到的，因此历史第二方梯度原文内容，会影响后续第二方预测结果。第二方预测结果可以抽象概括成第二方的特征数据xB与第二方待训练网络模型预测参数θB的乘积，即θBxB。
S202、采用放大系数对第二方拥有的特征数据进行放大，得到特征放大数据，并根据从所述第一方获取的残差密文和所述特征放大数据，确定第二方梯度密文。
由于同态加密只能用于整数的计算，但第二方拥有的特征数据xB可能会是一个小数，因此需要将第二方拥有的特征数据xB乘以一个固定放大系数MAG，使得特征放大数据成为一个整数。
具体的，第二方梯度密文[[GB]]通过如下公式来确定：
其中，表示第二方中的第i个特征数据，i∈(1，n)，/>表示特征放大数据，MAG为放大系数，[[δ]]为残差密文。
根据同态加密的特性：n*[[u]]＝[[n*u]]，其中n表示一个明文，[[u]]表示一个密文。因此转化为/>即可得到第二方梯度密文[[GB]]。
S203、为所述第二方梯度密文确定扰动原始值，并对所述扰动原始值进行同态加密，得到扰动密文。
若当第二方将原始的第二方梯度密文发送给第一方，则第一方得到原始的第二方梯度密文后，可以通过构建特征数据的求解方程来计算第二方的特征数据，具体过程示例性如下：
假设第二方具有n个特征数据，每个特征数据是m维向量，根据特征数据与第二方梯度密文之间的关系，可知第二方梯度密文也是m维向量，因而一轮迭代可以构造关于第二方特征数据的m个方程，每个方程含有n×m个未知数，每迭代一次，可以增加m个方程，而未知数的数量固定为n×m个，因而迭代r次，共有r×m个方程，n×m个未知数。若r≥n，则第一方可以求解得到第二方的特征数据。
为了避免第二方特征数据的泄露，第二方产生一个扰动原始值RB，并利用同态加密技术对扰动原始值RB进行加密，得到扰动密文[[RB]]。
其中，同态加密是允许人们对密文进行特定的代数运算得到仍然是加密的结果，将其解密所得到的结果与对明文进行同样的运算结果一样。扰动原始值是由第二方自行设定产生的与第二方梯度密文维度相同的向量，其既可是正向量也可是负向量，并且每次产生的扰动原始值并不相同。
具体的，第二方通过包括密钥生成函数来生成加密扰动原始值所用的密钥Key，并通过包括加密函数来利用获取的密钥Key对扰动原始值RB进行同态加法加密，得到扰动密文[[RB]]。
为了避免扰动原始值过大影响数据的传输，可选的，扰动原始值的绝对值小于扰动阈值。通过对扰动原始值进行同态加密，得到扰动密文，为后续确定第二方扰动梯度密文奠定了基础。
S204、根据所述第二方梯度密文和所述扰动密文，确定第二方扰动梯度密文。
根据同态加密的特性：[[u]]+[[v]]＝[[u+v]]，其中[[u]]和[[v]]分别代表两个密文。
因此确定第二方扰动梯度密文[[GB']]，可以通过如下过程表示：
[[GB']]＝[[GB]]+[[RB]]＝[[GB+RB]]
其中，[[GB]]和[[RB]]分别代表第二方梯度密文和扰动密文。
由于[[RB]]与[[GB]]是同维度的，示例性的，假设[[RB]]与[[GB]]都为m维向量，[[GB]]中包含n个特征数据，因而对特征数据求解方程的一轮迭代可以构造关于第二方特征数据的m个方程，每个方程含有n×m+m个未知数，每迭代一次，可以增加m个方程，由于每次产生的[[RB]]并不相同，则每迭代一次，未知数数量增加m个，因而迭代r次，共有r×m个方程，n×m+r×m＝(n+r)×m个未知数，而(n+r)×m＞r×m，此时第一方无法通过迭代求解方程来求解第二方的特征数据。
通过根据第二方梯度密文和扰动密文，确定第二方扰动梯度密文，避免第二方的特征数据泄露，提高了标签数据的安全性。
S205、向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度。
具体的，由于第一方只拥有残差密文对应的解密函数，但并不拥有扰动密文对应的解密函数，因此第一方对第二方扰动梯度密文进行同态解密得到的第二方扰动梯度，并不能直接用于第二方待训练网络模型的训练，其需要被第二方进一步解密。
S206、根据所述扰动原始值，对从所述第二方获取的第二方扰动梯度进行同态解密，得到第二方梯度原文，并根据所述第二方梯度原文，继续对第二方的网络模型进行训练。
具体的，第二方通过扰动密文对应的解密函数对第二方扰动梯度进行同态解密，将得到的解密结果减去扰动原始值，即可得到第二方梯度原文，将第二方梯度原文作为训练模型的参数，对第二方的网络模型进行训练。
本发明实施例提供的技术方案，通过为第二方梯度密文确定扰动原始值，并对扰动原始值进行同态加密，得到扰动密文，进而根据第二方梯度密文和扰动密文，确定第二方扰动梯度密文，最终发送给第一方，使得对特征数据求解方程多次迭代后的未知数数量始终大于方程数量，因此第一方无法求解出特征数据求解方程的解，从而避免第二方的特征数据泄露，提高了标签数据的安全性。
实施例三
图3是本发明实施例三提供的一种模型训练方法的流程图。本实施例适用于通过联邦学习，基于第一方以及第二方中的数据对网络模型进行训练的情况，该方法可以由本发明实施例提供的配置于第一方的模型训练装置来执行，该装置可以采用软件和/或硬件的方式实现。在本实施例中第一方表示具有标签数据的设备，第一方也可以拥有特征数据；第二方表示仅具有特征数据而没有标签数据的设备。如图1所示，该方法可以包括：
S301、根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文。
具体的，由于第一方与第二方之间的数据不尽相同，为了能够在数据不出本地的前提下，利用对方数据训练本地的网络模型，则需要获取第一方与第二方网络模型残差，而残差的计算又依赖于第一方与第二方基于各自网络模型的预测结果。
可选的，S301包括：
A、基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果。
B、根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果。
C、根据拥有的标签数据和所述综合预测结果，确定残差原文。
通过根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文，为后续确定第一方梯度原文以及第二方梯度原文奠定了基础。
S302、对所述残差原文进行同态加密，得到残差密文。
若当第一方将未加密的残差原文发送给第二方，则第二方得到未加密的残差原文后，很容易进行反推得到第一方的标签数据，造成标签数据泄露。为了避免标签数据泄露，可选的通过同态加密技术对残差原文进行加密。
其中，同态加密是允许人们对密文进行特定的代数运算得到仍然是加密的结果，将其解密所得到的结果与对明文进行同样的运算结果一样。经过同态加密后的残差原文即是残差密文。
在本实施例中，同态加密可以是同态加法加密或全同态加密。由于全同态加密的处理效率低，而同态加法加密相比于全同态加密计算时间更快，在模型训练中非常有意义。因此可选的，对所述残差原文进行同态加密，包括对所述残差原文进行同态加法加密。
具体的，第一方通过包括密钥生成函数来生成加密残差原文所用的密钥Key，并通过包括加密函数来利用获取的密钥Key对残差原文进行同态加法加密，得到残差密文。通过对残差原文进行同态加密，使得第二方无法基于残差原文反解第一方拥有的标签数据，同时也不影响第二方的后续计算。
S303、向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文。
其中，第二方梯度密文是第二方梯度原文被同态加密后的形式，而第二方梯度原文是用来训练第二方待训练网络模型的模型参数。
具体的，对残差原文的加密是由第一方执行的，仅第一方具有加密密钥Key以及对应的解密函数，因此第二方无法对获取的残差密文进行解密，但由于同态加密的特性，第二方在不解密残差密文的前提下同样可以根据残差密文和第二方拥有的特征数据，确定第二方梯度密文。
通过确定第二方梯度密文，为后续解密得到第二方扰动梯度奠定了基础。
S304、对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度，其中，所述第二方扰动梯度密文由所述第二方为所述第二方梯度密文添加扰动数据得到。
具体的，第一方根据对残差原文进行加密利用的加密函数，确定其唯一对应的解密函数，并通过解密函数对获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度。
通过对第二方梯度密文进行同态解密，得到第二方扰动梯度，为第二方根据所述第二方扰动梯度进行网络模型训练奠定了基础。
S305、向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。
通过向第二方发送第二方扰动梯度，供第二方根据第二方扰动梯度继续对第二方的网络模型进行训练，实现了完善第二方网络模型功能的效果。
本发明实施例提供的技术方案，通过第一方基于同态加密对确定的残差原文进行加密得到残差密文，并向第二方提供残差密文，使得第二方得到残差密文，从而无法基于残差原文反解第一方拥有的标签数据，提高了标签数据的安全性。
在上述实施例的基础上，S301之后还包括：根据残差原文和第一方拥有的特征数据，确定第一方梯度原文；根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。
通过确定第一方梯度原文，并根据第一方梯度原文对第一方中的网络模型进行训练，实现了完善第一方网络模型功能的效果。
实施例四
图4为本发明实施例四提供的一种模型训练方法的流程图。本实施例为上述实施例三提供了一种具体实现方式，如图4所示，该方法可以包括：
S401、基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果。
其中，第一方预测结果由第一方基于待训练的网络模型对第一方拥有的特征数据进行预测得到的，业务需求不同则待训练的网络模型不同，相应的第一方预测结果也不同，可选的第一方预测结果包括预测的标签数据。
具体的，第一方待训练网络模型的训练依赖于第一方梯度原文，而第一方预测结果又是根据第一方待训练网络模型预测得到的，因此历史第一方梯度原文内容，会影响后续第一方预测结果。第一方预测结果可以抽象概括成第一方的特征数据xA与第一方待训练网络模型预测参数θA的乘积，即θAxA。
S402、根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果。
具体的，第二方预测结果可以抽象概括成第二方的特征数据xB与第一方待训练网络模型预测参数θB的乘积，即θBxB。
可选的，通过包括将第一方预测结果与第二方预测结果的和，输入到sigmoid函数中，其运算结果作为综合预测结果，即sigmoid(θAxA+θBxB)。
其中，sigmoid函数是机器学习中的一个比较常用的函数，其作用是将预测结果限制在(0,1)之间，因此当第一方的标签数据是二分类时，sigmoid函数会起到很好的效果。
S403、根据拥有的标签数据和所述综合预测结果，确定残差原文。
具体的，将标签数据y与综合预测结果的差值，作为残差原文δ，即：
δ＝y-sigmoid(θAxA+θBxB)
若将上述δ作为残差原文，则当第一方将δ加密后发送给第二方，第二方可以找到第一方仅有标签数据y而没有特征数据xA的样本，进而针对这些样本故意构造部分预测结果θBxB为0的特征数据，此时[[δ]]＝[[y]]，[[δ]]为残差密文，在分类模型中标签数据取值是很少的，尤其是二分类模型中标签取值只有0和1这两个值，并且基于业务场景，第二方可以知道标签数据取值0和1的比例，进而第二方可以通过统计残差密文的比例，反解得到第一方的标签数据y。
为了防止第一方标签数据y的泄露，可选的S403包括：
A、对拥有的标签数据添加扰动值，得到扰动标签数据；
其中，每一个标签数据对应的扰动值不相同。
B、根据所述扰动标签数据和从第二方获取的第二方预测结果，确定残差原文。
具体的，根据确定的扰动标签数据和获取的综合预测结果，确定残差原文。
通过对二分类模型拥有的标签数据添加扰动值，由于每一个标签数据对应的扰动值不相同，则第一方的扰动标签数据数量很多，而不是只有两个，从而使得第二方无法通过统计残差密文的比例，反解得到第一方的标签数据y。
S404、采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密，得到残差放大密文。
具体的，当第一方的标签数据y是二分类时，如果第二方获取到未加密的残差原文，其可以反推出第一方的标签数据y，因为：
残差原文δ＝y-sigmoid(θAxA+θBxB)，其中sigmoid(θAxA+θBxB)的数值在区间(0,1)中，当第一方的标签数据y是二分类时，y的值只有“0”或者“1”，如果y＝1，则δ＝1-sigmoid(θAxA+θBxB)，恒为正值；如果y＝0，则δ＝0-sigmoid(θAxA+θBxB)，恒为负值，因此第二方可以根据获取残差原文的正负性来反推第一方的标签数据y。
可见，为了防止第二方基于残差原文反解第一方拥有的标签数据，同时不影响第二方的后续计算，需要对残差原文进行同态加密。
具体的，由于同态加密只能用于整数的计算，但是当第一方的标签数据是二分类时，残差原文δ可能会是一个小数，因此需要将残差原文δ乘以一个固定放大系数MAG，使得放大残差MAG*δ成为一个整数，进而可以利用同态加密方法进行加密。
通过采用放大系数对所述残差原文进行放大，得到放大残差，使得当第一方的标签数据是二分类时，可以通过同态加密技术对放大残差进行加密。
S405、向所述第二方发送所述残差放大密文，供所述第二方根据残差放大密文和第二方拥有的特征数据，确定第二方梯度密文。
S406、采用放大系数，对从所述第二方获取的第二方扰动梯度进行同态解密，得到第二方扰动梯度。
由于第二方拥有的特征数据xB可能会是一个小数，因此需要将第二方拥有的特征数据xB乘以一个固定放大系数MAG1；而在第一方的标签数据是二分类时，残差原文δ可能会是一个小数，因此需要将残差原文δ乘以一个固定放大系数MAG2，从而使得特征放大数据和放大残差都为整数，满足同态加密的特性。
因此可选的，第一方对第二方扰动梯度密文进行同态解密得到第二方扰动梯度时，为了保证最终得到的第二方扰动梯度的精度是正常精度，对第二方扰动梯度进行同态解密时，需要除以固定放大系数MAG1以及固定放大系数MAG2。
通过采用放大系数，对从第二方获取的第二方扰动梯度进行同态解密，使得得到的第二方扰动梯度得精度为正常精度。
S407、向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。
通过向第二方发送第二方扰动梯度，供第二方根据第二方扰动梯度继续对第二方的网络模型进行训练，实现了完善第二方网络模型功能的效果。
本发明实施例提供的技术方案，通过第一方基于同态加密对确定的残差原文进行放大，再进行加密得到残差放大密文，并向第二方提供残差放大密文，使得第二方得到残差放大密文，从而无法基于残差原文反解第一方拥有的标签数据，提高了数据的安全性。
在上述实施例的基础上，S403之后还包括：
A、根据残差原文和第一方拥有的特征数据，确定第一方梯度原文。
可选的，根据残差原文δ和第一方拥有的特征数据xA，确定第一方梯度原文GA，包括如下过程：
其中，表示第一方中的第i个特征数据，i∈(1，n)。
B、根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。
通过确定第一方梯度原文，并根据第一方梯度原文对第一方中的网络模型进行训练，实现了完善第一方网络模型功能的效果。
实施例五
图5为本发明实施例五提供的一种模型训练装置的结构示意图，该装置配置于第二方，可执行本发明实施例一和/或实施例二所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置可以包括：
第二方预测结果确定模块51，用于基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
第二方预测结果发送模块52，用于向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
第二方梯度密文确定模块53，用于根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方扰动梯度密文确定模块54，用于为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；
第二方扰动梯度密文发送模块55，用于向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度；
第二方网络模型训练模块56，用于根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。
在上述实施例的基础上，所述第二方扰动梯度密文确定模块54，具体用于：
为所述第二方梯度密文确定扰动原始值；
对所述扰动原始值进行同态加密，得到扰动密文；
根据所述第二方梯度密文和所述扰动密文，确定第二方扰动梯度密文。
在上述实施例的基础上，所述第二方网络模型训练模块56，具体用于：
根据所述扰动原始值，对从所述第二方获取的第二方扰动梯度进行同态解密，得到第二方梯度原文；
根据所述第二方梯度原文，继续对第二方的网络模型进行训练。
在上述实施例的基础上，所述扰动原始值的绝对值小于扰动阈值。
在上述实施例的基础上，第二方梯度密文确定模块53，具体用于：
采用放大系数对第二方拥有的特征数据进行放大，得到特征放大数据；
根据从所述第一方获取的残差密文和所述特征放大数据，确定第二方梯度密文。
本发明实施例所提供的一种模型训练装置，可执行本发明实施例一和/或实施例二所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例一和/或实施例二提供的一种模型训练方法。
实施例六
图6为本发明实施例六提供的一种模型训练装置的结构示意图，该装置配置于第一方，可执行本发明实施例三和/或实施例四所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。如图6所示，该装置可以包括：
残差原文确定模块61，用于根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
残差密文获取模块62，用于对所述残差原文进行同态加密，得到残差密文；
残差密文发送模块63，用于向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方扰动梯度获取模块64，用于对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度，其中，所述第二方扰动梯度密文由所述第二方为所述第二方梯度密文添加扰动数据得到；
第二方扰动梯度发送模块65，用于向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。
在上述实施例的基础上，所述残差原文确定模块61，具体用于：
基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果；
根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果；
根据拥有的标签数据和所述综合预测结果，确定残差原文。
在上述实施例的基础上，所述残差密文获取模块62，具体用于：
对所述残差原文进行同态加法加密。
在上述实施例的基础上，所述残差密文获取模块62，具体还用于：
采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密。
在上述实施例的基础上，所述第二方扰动梯度获取模块64，具体用于：
采用放大系数，对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度。
在上述实施例的基础上，所述装置还包括第一方网络模型训练模块，具体用于：
根据残差原文和第一方拥有的特征数据，确定第一方梯度原文；
根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。
在上述实施例的基础上，所述残差原文确定模块61，具体还用于：
对拥有的标签数据添加扰动值，得到扰动标签数据；
根据所述扰动标签数据和从第二方获取的第二方预测结果，确定残差原文。
本发明实施例所提供的一种模型训练装置，可执行本发明实施例三和/或实施例四所提供的一种模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例三和/或实施例四提供的一种模型训练方法。
实施例七
图7为本发明实施例七提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备700的框图。图7显示的设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，设备700以通用计算设备的形式表现。设备700的组件可以包括但不限于：一个或者多个处理器或者处理单元701，系统存储器702，连接不同系统组件(包括系统存储器702和处理单元701)的总线703。
总线703表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备700典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备700访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器702可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)704和/或高速缓存存储器705。设备700可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统706可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线703相连。存储器702可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块707的程序/实用工具708，可以存储在例如存储器702中，这样的程序模块707包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块707通常执行本发明所描述的实施例中的功能和/或方法。
设备700也可以与一个或多个外部设备709(例如键盘、指向设备、显示器710等)通信，还可与一个或者多个使得用户能与该设备700交互的设备通信，和/或与使得该设备700能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口711进行。并且，设备700还可以通过网络适配器712与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器712通过总线703与设备700的其它模块通信。应当明白，尽管图中未示出，可以结合设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元701通过运行存储在系统存储器702中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的模型训练方法，包括：
基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；
向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度；
根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。和/或；
根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
对所述残差原文进行同态加密，得到残差密文；
向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度，其中，所述第二方扰动梯度密文由所述第二方为所述第二方梯度密文添加扰动数据得到；
向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。
实施例八
本发明实施例八还提供了一种计算机可读存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行模型训练方法，该方法包括：
基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；
向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度；
根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。和/或；
根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
对所述残差原文进行同态加密，得到残差密文；
向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度，其中，所述第二方扰动梯度密文由所述第二方为所述第二方梯度密文添加扰动数据得到；
向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种模型训练方法中的相关操作。本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种模型训练方法，其特征在于，由第二方执行，所述方法包括：
基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；
向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度；
根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。
2.根据权利要求1所述的方法，其特征在于，为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文，包括：
为所述第二方梯度密文确定扰动原始值；
对所述扰动原始值进行同态加密，得到扰动密文；
根据所述第二方梯度密文和所述扰动密文，确定第二方扰动梯度密文。
3.根据权利要求2所述的方法，其特征在于，根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练，包括：
根据所述扰动原始值，对从所述第二方获取的第二方扰动梯度进行同态解密，得到第二方梯度原文；
根据所述第二方梯度原文，继续对第二方的网络模型进行训练。
4.根据权利要求2所述的方法，其特征在于，所述扰动原始值的绝对值小于扰动阈值。
5.根据权利要求1所述的方法，其特征在于，根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文，包括：
采用放大系数对第二方拥有的特征数据进行放大，得到特征放大数据；
根据从所述第一方获取的残差密文和所述特征放大数据，确定第二方梯度密文。
6.一种模型训练方法，其特征在于，由第一方执行，所述方法包括：
根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
对所述残差原文进行同态加密，得到残差密文；
向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度，其中，所述第二方扰动梯度密文由所述第二方为所述第二方梯度密文添加扰动数据得到；
向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。
7.根据权利要求6所述的方法，其特征在于，根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文，包括：
基于待训练的网络模型对第一方拥有的特征数据进行预测，得到第一方预测结果；
根据所述第一方预测结果和从第二方获取的第二方预测结果，确定综合预测结果；
根据拥有的标签数据和所述综合预测结果，确定残差原文。
8.根据权利要求6所述的方法，其特征在于，对所述残差原文进行同态加密，包括：
对所述残差原文进行同态加法加密。
9.根据权利要求6所述的方法，其特征在于，对所述残差原文进行同态加密，包括：采用放大系数对所述残差原文进行放大，得到放大残差；对所述放大残差进行同态加密；
相应地，对从所述第二方获取的第二方扰动梯度密文进行同态解密，包括：
采用放大系数，对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度。
10.根据权利要求6所述的方法，其特征在于，根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文之后，还包括：
根据残差原文和第一方拥有的特征数据，确定第一方梯度原文；
根据所述第一方梯度原文，继续对第一方中的网络模型进行训练。
11.根据权利要求6所述的方法，其特征在于，根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文，包括：
对拥有的标签数据添加扰动值，得到扰动标签数据；
根据所述扰动标签数据和从第二方获取的第二方预测结果，确定残差原文。
12.一种模型训练装置，其特征在于，配置于第二方，所述装置包括：
第二方预测结果确定模块，用于基于待训练的网络模型对第二方拥有的特征数据进行预测得到第二方预测结果；
第二方预测结果发送模块，用于向第一方发送所述第二方预测结果，供第一方执行如下：根据拥有的标签数据和所述第二方预测结果确定残差原文，并对所述残差原文进行同态加密得到残差密文；
第二方梯度密文确定模块，用于根据从所述第一方获取的残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方扰动梯度密文确定模块，用于为所述第二方梯度密文添加扰动数据，得到第二方扰动梯度密文；
第二方扰动梯度密文发送模块，用于向第一方发送所述第二方扰动梯度密文，供第一方对所述第二方扰动梯度密文进行同态解密得到第二方扰动梯度；
第二方网络模型训练模块，用于根据从所述第一方获取的第二方扰动梯度，继续对第二方的网络模型进行训练。
13.一种模型训练装置，其特征在于，配置于第一方，所述装置包括：
残差原文确定模块，用于根据拥有的标签数据和从第二方获取的第二方预测结果，确定残差原文；其中，所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的；
残差密文获取模块，用于对所述残差原文进行同态加密，得到残差密文；
残差密文发送模块，用于向所述第二方发送所述残差密文，供所述第二方根据残差密文和第二方拥有的特征数据，确定第二方梯度密文；
第二方扰动梯度获取模块，用于对从所述第二方获取的第二方扰动梯度密文进行同态解密，得到第二方扰动梯度，其中，所述第二方扰动梯度密文由所述第二方为所述第二方梯度密文添加扰动数据得到；
第二方扰动梯度发送模块，用于向第二方发送所述第二方扰动梯度，供第二方根据所述第二方扰动梯度继续对第二方的网络模型进行训练。
14.一种设备，其特征在于，所述设备还包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5或权利要求6-11中任一所述的一种模型训练方法。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5或权利要求6-11中任一所述的一种模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910579010.8A CN112149706B (zh) | 2019-06-28 | 2019-06-28 | 模型训练方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910579010.8A CN112149706B (zh) | 2019-06-28 | 2019-06-28 | 模型训练方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112149706A CN112149706A (zh) | 2020-12-29 |
| CN112149706B true CN112149706B (zh) | 2024-03-15 |
Family
ID=73891197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910579010.8A Active CN112149706B (zh) | 2019-06-28 | 2019-06-28 | 模型训练方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149706B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112799708B (zh) * | 2021-04-07 | 2021-07-13 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及系统 |
| CN113537516B (zh) | 2021-09-15 | 2021-12-14 | 北京百度网讯科技有限公司 | 分布式机器学习模型的训练方法、装置、设备和介质 |
| CN114186256B (zh) * | 2021-12-10 | 2023-09-19 | 北京百度网讯科技有限公司 | 神经网络模型的训练方法、装置、设备和存储介质 |
| CN114186669B (zh) * | 2021-12-10 | 2023-08-18 | 北京百度网讯科技有限公司 | 神经网络模型的训练方法、装置、设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615044A (zh) * | 2016-12-12 | 2018-10-02 | 腾讯科技（深圳）有限公司 | 一种分类模型训练的方法、数据分类的方法及装置 |
| CN109165515A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数获取方法、系统及可读存储介质 |
| CN109165725A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于迁移学习的神经网络联邦建模方法、设备及存储介质 |
| CN109684855A (zh) * | 2018-12-17 | 2019-04-26 | 电子科技大学 | 一种基于隐私保护技术的联合深度学习训练方法 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN112149834A (zh) * | 2019-06-28 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
| CN112149174A (zh) * | 2019-06-28 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
| CN112149141A (zh) * | 2019-06-28 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3203679A1 (en) * | 2016-02-04 | 2017-08-09 | ABB Schweiz AG | Machine learning based on homomorphic encryption |
| US11295208B2 (en) * | 2017-12-04 | 2022-04-05 | International Business Machines Corporation | Robust gradient weight compression schemes for deep learning applications |
-
2019
- 2019-06-28 CN CN201910579010.8A patent/CN112149706B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108615044A (zh) * | 2016-12-12 | 2018-10-02 | 腾讯科技（深圳）有限公司 | 一种分类模型训练的方法、数据分类的方法及装置 |
| CN109165515A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数获取方法、系统及可读存储介质 |
| CN109165725A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于迁移学习的神经网络联邦建模方法、设备及存储介质 |
| CN109684855A (zh) * | 2018-12-17 | 2019-04-26 | 电子科技大学 | 一种基于隐私保护技术的联合深度学习训练方法 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN112149834A (zh) * | 2019-06-28 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
| CN112149174A (zh) * | 2019-06-28 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
| CN112149141A (zh) * | 2019-06-28 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
Non-Patent Citations (4)
| Title |
|---|
| Nilsson, Adrian等.A Performance Evaluation of Federated Learning Algorithms.《 DIDL'18: PROCEEDINGS OF THE SECOND WORKSHOP ON DISTRIBUTED INFRASTRUCTURES FOR DEEP LEARNING》.2018,全文. * |
| 一种处理隐私保护数据的神经网络;王启正;高玲;;密码学报;20190415(第02期);全文 * |
| 基于生成对抗网络的迁移学习算法研究;臧文华;《》中国优秀硕士学位论文全文数据库（信息科技辑）;20180915(第9期);全文 * |
| 网络人工智能关键技术与应用研究;徐晓青;武娟;刘晓军;;广东通信技术;20190415(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112149706A (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112149706B (zh) | 模型训练方法、装置、设备和介质 | |
| US11886989B2 (en) | System for measuring information leakage of deep learning models | |
| CN112149174B (zh) | 模型训练方法、装置、设备和介质 | |
| CN113505894B (zh) | 纵向联邦学习线性回归和逻辑回归模型训练方法及装置 | |
| CN111027870A (zh) | 用户风险评估方法及装置、电子设备、存储介质 | |
| CN111563267B (zh) | 用于联邦特征工程数据处理的方法和装置 | |
| CN112149141B (zh) | 模型训练方法、装置、设备和介质 | |
| CN112149834B (zh) | 模型训练方法、装置、设备和介质 | |
| CN117094008A (zh) | 神经网络模型加密方法、解密方法、装置、设备及介质 | |
| CN114186256A (zh) | 神经网络模型的训练方法、装置、设备和存储介质 | |
| Ibarrondo et al. | Banners: Binarized neural networks with replicated secret sharing | |
| CN114881247A (zh) | 基于隐私计算的纵向联邦特征衍生方法、装置、介质 | |
| CN115150063A (zh) | 模型加密的方法、装置及电子设备 | |
| CN116094686B (zh) | 用于量子卷积计算的同态加密方法、系统、设备及终端 | |
| WO2024051456A1 (zh) | 多方协同模型训练方法、装置、设备和介质 | |
| CN115277197B (zh) | 模型所有权验证方法、电子设备、介质及程序产品 | |
| CN114595474A (zh) | 联邦学习建模优化方法、电子设备、介质及程序产品 | |
| CN112149140B (zh) | 预测方法、装置、设备及存储介质 | |
| CN115205089A (zh) | 图像加密方法、网络模型的训练方法、装置及电子设备 | |
| CN111435452B (zh) | 模型训练方法、装置、设备和介质 | |
| CN113537361B (zh) | 联邦学习系统中的跨样本特征选择方法及联邦学习系统 | |
| CN115758368B (zh) | 恶意破解软件的预测方法、装置、电子设备和存储介质 | |
| Chen et al. | EVFLR: Efficient Vertical Federated Logistic Regression Based on Batch Operations | |
| CN117436554A (zh) | 跨特征联邦中参与方贡献度评估方法、系统、设备及介质 | |
| Bian et al. | VMMP: Verifiable privacy-preserving multi-modal multi-task prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |