CN113704779A - 加密的分布式机器学习训练方法 - Google Patents
加密的分布式机器学习训练方法 Download PDFInfo
- Publication number
- CN113704779A CN113704779A CN202110803353.5A CN202110803353A CN113704779A CN 113704779 A CN113704779 A CN 113704779A CN 202110803353 A CN202110803353 A CN 202110803353A CN 113704779 A CN113704779 A CN 113704779A
- Authority
- CN
- China
- Prior art keywords
- training
- machine learning
- data
- encrypted
- witness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 78
- 238000010801 machine learning Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Abstract
本申请公开了一种加密的分布式机器学习训练方法，包括：S1见证方设备创建加密数据，将加密数据中的公钥分别发送至第一训练方设备和第二训练方设备；S2第一训练方设备和第二训练方设备分别在本地进行机器学习模型的训练，得到它们各自的梯度参数数据和损失参数数据并发送至见证方设备；S3见证方设备利用加密数据进行解密，并将第一训练方设备和第二训练方设备的梯度参数数据和损失参数数据合并，然后再次加密后发分别送至第一训练方设备和第二训练方设备；S4重复以上步骤S2、S3直至机器学习模型训练完毕。本申请的有益之处在于提供一种可以基于多方协助进行模型训练的同时又能保证数据隐私安全的加密的分布式机器学习训练方法。
Description
技术领域
本申请涉及机器学习领域，具体而言，涉及一种加密的分布式机器学习训练方法。
背景技术
不久的将来医疗行业将融入更多人工智能、传感技术等高科技，使医疗服务走向真正意义的智能化，推动医疗事业的繁荣发展。在中国新医改的大背景下，智慧医疗正在走进寻常百姓的生活。医疗行业数据存在隐私保护的需要，因此将人工智能应用于医疗领域进行研究、模型训练和数据预测时，往往需要多个医疗机构通过联网和数据协同的方式进行。
但是现有技术方案并无法保证模型和数据的隐私性。
发明内容
为了解决现有技术的不足之处，本申请提供了一种加密的分布式机器学习训练方法，该方法包括如下步骤：S1见证方设备创建加密数据，将加密数据中的公钥分别发送至第一训练方设备和第二训练方设备；S2所述第一训练方设备和所述第二训练方设备分别在本地进行机器学习模型的训练，得到它们各自的梯度参数数据和损失参数数据并利用所述公钥进行加密后发送至所述见证方设备；S3所述见证方设备利用所述加密数据进行解密，并将所述第一训练方设备和所述第二训练方设备的梯度参数数据和损失参数数据合并，然后再次加密后发分别送至所述第一训练方设备和所述第二训练方设备；S4重复以上步骤S2、S3直至所述机器学习模型训练完毕。
进一步地，所述机器学习模型训练完毕的条件为所述见证方法设备中的所述机器学习模型收敛。
进一步地，所述见证方设备创建加密数据时生成私钥并存储以解密回转的梯度参数数据和损失参数数据。
进一步地，所述见证方设备创建加密数据对其存储的机器学习模型的模板和参数进行加密。
进一步地，所述见证方设备将加密后的机器学习模型的模板和参数分别发送到所述第一训练方设备和第二训练方设备。
进一步地，所述见证方设备分别为所述第一训练方设备和第二训练方设备生成相异的加密数据。
进一步地，所述见证方设备每次向所述第一训练方设备发送数据均会生成唯一的加密数据。
进一步地，所述见证方设备每次向所述第二训练方设备发送数据均会生成唯一的加密数据。
进一步地，所述第一训练方通过所述见证方设备向所述第二训练方发起协助训练的请求。
进一步地，所述加密数据的加密方法为paillier加密算法。
本申请的有益之处在于：提供一种可以基于多方协助进行模型训练的同时又能保证数据隐私安全的加密的分布式机器学习训练方法。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请一种实施例的加密的分布式机器学习训练方法的步骤示意图框图；
图2是根据本申请一种实施例的加密的分布式机器学习训练方法所适用系统的架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参照图1和图2所示，本申请的加密的分布式机器学习训练方法，该方法包括如下步骤：S1见证方设备创建加密数据，将加密数据中的公钥分别发送至第一训练方设备和第二训练方设备；S2第一训练方设备和第二训练方设备分别在本地进行机器学习模型的训练，得到它们各自的梯度参数数据和损失参数数据并利用公钥进行加密后发送至见证方设备；S3见证方设备利用加密数据进行解密，并将第一训练方设备和第二训练方设备的梯度参数数据和损失参数数据合并，然后再次加密后发分别送至第一训练方设备和第二训练方设备；S4重复以上步骤S2、S3直至机器学习模型训练完毕。
具体而言，机器学习模型训练完毕的条件为见证方法设备中的机器学习模型收敛。
具体而言，见证方设备创建加密数据时生成私钥并存储以解密回转的梯度参数数据和损失参数数据。见证方设备创建加密数据对其存储的机器学习模型的模板和参数进行加密。
具体而言，见证方设备将加密后的机器学习模型的模板和参数分别发送到第一训练方设备和第二训练方设备。
具体而言，见证方设备分别为第一训练方设备和第二训练方设备生成相异的加密数据。见证方设备每次向第一训练方设备发送数据均会生成唯一的加密数据。见证方设备每次向第二训练方设备发送数据均会生成唯一的加密数据。这样可以提高加密的安全性。作为更进一步地方案，加密数据的加密方法为paillier加密算法。
作为扩展方案，第一训练方设备通过见证方设备向第二训练方设备发起协助训练的请求。这样可以将见证方设备构造成一个服务器从而实现一个实现以上方法的系统平台。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种加密的分布式机器学习训练方法，其特征在于：
所述加密的分布式机器学习训练方设备法包括如下步骤：
S1见证方设备创建加密数据，将加密数据中的公钥分别发送至第一训练方设备和第二训练方设备；
S2所述第一训练方设备和所述第二训练方设备分别在本地进行机器学习模型的训练，得到它们各自的梯度参数数据和损失参数数据并利用所述公钥进行加密后发送至所述见证方设备；
S3所述见证方设备利用所述加密数据进行解密，并将所述第一训练方设备和所述第二训练方设备的梯度参数数据和损失参数数据合并，然后再次加密后发分别送至所述第一训练方设备和所述第二训练方设备；
S4重复以上步骤S2、S3直至所述机器学习模型训练完毕。
2.根据权利要求1所述的加密的分布式机器学习训练方法，其特征在于：
所述机器学习模型训练完毕的条件为所述见证方法设备中的所述机器学习模型收敛。
3.根据权利要求2所述的加密的分布式机器学习训练方法，其特征在于：
所述见证方设备创建加密数据时生成私钥并存储以解密回转的梯度参数数据和损失参数数据。
4.根据权利要求3所述的加密的分布式机器学习训练方法，其特征在于：
所述见证方设备创建加密数据对其存储的机器学习模型的模板和参数进行加密。
5.根据权利要求4所述的加密的分布式机器学习训练方法，其特征在于：
所述见证方设备将加密后的机器学习模型的模板和参数分别发送到所述第一训练方设备和第二训练方设备。
6.根据权利要求5所述的加密的分布式机器学习训练方法，其特征在于：
所述见证方设备分别为所述第一训练方设备和第二训练方设备生成相异的加密数据。
7.根据权利要求6所述的加密的分布式机器学习训练方法，其特征在于：
所述见证方设备每次向所述第一训练方设备发送数据均会生成唯一的加密数据。
8.根据权利要求7所述的加密的分布式机器学习训练方法，其特征在于：
所述见证方设备每次向所述第二训练方设备发送数据均会生成唯一的加密数据。
9.根据权利要求8所述的加密的分布式机器学习训练方法，其特征在于：
所述第一训练方通过所述见证方设备向所述第二训练方发起协助训练的请求。
10.根据权利要求9所述的加密的分布式机器学习训练方法，其特征在于：
所述加密数据的加密方法为paillier加密算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110803353.5A CN113704779A (zh) | 2021-07-16 | 2021-07-16 | 加密的分布式机器学习训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110803353.5A CN113704779A (zh) | 2021-07-16 | 2021-07-16 | 加密的分布式机器学习训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113704779A true CN113704779A (zh) | 2021-11-26 |
Family
ID=78648751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110803353.5A Pending CN113704779A (zh) | 2021-07-16 | 2021-07-16 | 加密的分布式机器学习训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113704779A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492420A (zh) * | 2018-12-28 | 2019-03-19 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、终端、系统及介质 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN110245510A (zh) * | 2019-06-19 | 2019-09-17 | 北京百度网讯科技有限公司 | 用于预测信息的方法和装置 |
| CN111414636A (zh) * | 2020-03-20 | 2020-07-14 | 深圳前海微众银行股份有限公司 | 识别模型的更新方法、装置、设备及存储介质 |
| CN111507481A (zh) * | 2020-04-17 | 2020-08-07 | 腾讯科技（深圳）有限公司 | 一种联邦学习系统 |
| CN111859360A (zh) * | 2020-07-10 | 2020-10-30 | 深圳市洞见智慧科技有限公司 | 一种安全的多设备联合数据计算系统、方法及装置 |
| CN111935156A (zh) * | 2020-08-12 | 2020-11-13 | 科技谷（厦门）信息技术有限公司 | 一种联邦学习的数据隐私保护方法 |
| CN112199702A (zh) * | 2020-10-16 | 2021-01-08 | 鹏城实验室 | 一种基于联邦学习的隐私保护方法、存储介质及系统 |
| CN112257873A (zh) * | 2020-11-11 | 2021-01-22 | 深圳前海微众银行股份有限公司 | 机器学习模型的训练方法、装置、系统、设备及存储介质 |
| CN112347500A (zh) * | 2021-01-11 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 分布式系统的机器学习方法、装置、系统、设备及存储介质 |
| CN112383396A (zh) * | 2021-01-08 | 2021-02-19 | 索信达(北京)数据技术有限公司 | 一种联邦学习模型训练方法及系统 |
-
2021
- 2021-07-16 CN CN202110803353.5A patent/CN113704779A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492420A (zh) * | 2018-12-28 | 2019-03-19 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、终端、系统及介质 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN110245510A (zh) * | 2019-06-19 | 2019-09-17 | 北京百度网讯科技有限公司 | 用于预测信息的方法和装置 |
| CN111414636A (zh) * | 2020-03-20 | 2020-07-14 | 深圳前海微众银行股份有限公司 | 识别模型的更新方法、装置、设备及存储介质 |
| CN111507481A (zh) * | 2020-04-17 | 2020-08-07 | 腾讯科技（深圳）有限公司 | 一种联邦学习系统 |
| CN111859360A (zh) * | 2020-07-10 | 2020-10-30 | 深圳市洞见智慧科技有限公司 | 一种安全的多设备联合数据计算系统、方法及装置 |
| CN111935156A (zh) * | 2020-08-12 | 2020-11-13 | 科技谷（厦门）信息技术有限公司 | 一种联邦学习的数据隐私保护方法 |
| CN112199702A (zh) * | 2020-10-16 | 2021-01-08 | 鹏城实验室 | 一种基于联邦学习的隐私保护方法、存储介质及系统 |
| CN112257873A (zh) * | 2020-11-11 | 2021-01-22 | 深圳前海微众银行股份有限公司 | 机器学习模型的训练方法、装置、系统、设备及存储介质 |
| CN112383396A (zh) * | 2021-01-08 | 2021-02-19 | 索信达(北京)数据技术有限公司 | 一种联邦学习模型训练方法及系统 |
| CN112347500A (zh) * | 2021-01-11 | 2021-02-09 | 腾讯科技（深圳）有限公司 | 分布式系统的机器学习方法、装置、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109165725B (zh) | 基于迁移学习的神经网络联邦建模方法、设备及存储介质 | |
| CN111259443B (zh) | 一种基于psi技术保护联邦学习预测阶段隐私的方法 | |
| CN108055235B (zh) | 一种智能锁的控制方法、相关设备及系统 | |
| CN107171805A (zh) | 一种物联网终端数字证书签发系统和方法 | |
| CN107370600B (zh) | 一种生成核心身份数字证书和身份侧面数字证书的方法 | |
| US9894043B2 (en) | Cryptographically secure cross-domain information sharing | |
| CN112003886A (zh) | 一种基于区块链的物联网数据共享系统和方法 | |
| CN107113315A (zh) | 一种身份认证方法、终端及服务器 | |
| CN110944011B (zh) | 一种基于树模型的联合预测方法和系统 | |
| CN110969264B (zh) | 模型训练方法、分布式预测方法及其系统 | |
| CN104335214B (zh) | 电子设备以及用于认证电子设备的系统和服务器 | |
| CN107274532A (zh) | 加密参数动态更新的临时密码门禁系统 | |
| TWI536790B (zh) | Communication method using fingerprint information authentication | |
| CN104468126B (zh) | 一种安全通信系统及方法 | |
| CN112101531B (zh) | 基于隐私保护的神经网络模型训练方法、装置及系统 | |
| WO2016179923A1 (zh) | 一种加密通话的处理方法、装置、终端及kmc | |
| CN113609508A (zh) | 一种基于区块链的联邦学习方法、装置、设备及存储介质 | |
| CN112651049B (zh) | 一种基于区块链的隐私数据分享方法及系统 | |
| CN108959891A (zh) | 基于秘密共享的脑电身份认证方法 | |
| CN112308021A (zh) | 基于隐私保护的加密人脸特征匹配方法 | |
| CN105337741A (zh) | 基于非对称算法的信任设备自主注册方法 | |
| CN106875532A (zh) | 一种智能门锁及控制设备及系统及远程控制开锁方法 | |
| CN105471896B (zh) | 基于ssl的代理方法、装置及系统 | |
| CN116502732B (zh) | 基于可信执行环境的联邦学习方法以及系统 | |
| CN113704779A (zh) | 加密的分布式机器学习训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |