CN110674528A - 联邦学习隐私数据处理方法、设备、系统及存储介质 - Google Patents
联邦学习隐私数据处理方法、设备、系统及存储介质 Download PDFInfo
- Publication number
- CN110674528A CN110674528A CN201910892806.9A CN201910892806A CN110674528A CN 110674528 A CN110674528 A CN 110674528A CN 201910892806 A CN201910892806 A CN 201910892806A CN 110674528 A CN110674528 A CN 110674528A
- Authority
- CN
- China
- Prior art keywords
- mask
- model parameter
- update
- participating
- updating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 21
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 61
- 238000004891 communication Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000007246 mechanism Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 21
- 230000004927 fusion Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 238000003062 neural network model Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Storage Device Security (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种联邦学习隐私数据处理方法、设备、系统及存储介质，所述方法包括：接收参与设备的带掩码的模型参数更新，参与设备基于第一掩码对训练得到的模型参数更新添加掩码，得到带掩码的模型参数更新；在TEE模块中生成与第一掩码相同的第二掩码，基于第二掩码对带掩码的模型参数更新去除掩码得到模型参数更新；在TEE模块中采用生成的第三掩码对全局模型参数更新添加掩码得到带掩码的全局模型参数更新；将带掩码的全局模型参数更新发送给参与设备，参与设备基于与第三掩码相同的第四掩码对带掩码的全局模型参数更新去除掩码得到全局模型参数更新。本发明实现了一种安全机制，使得参与设备的信息不会泄露给协调设备，并不会造成显著增加通信带宽要求。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种联邦学习隐私数据处理方法、设备、系统及存储介质。
背景技术
随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。
在实际应用横向联邦学习的场景中，参与者向协调设备发送的本地模型参数更新(例如，神经网络模型权值，或者梯度信息)会被协调者获得，在不能保证协调者可靠性的场景，可能会泄露参与者的隐私、数据信息、所训练的机器学习模型给协调者。目前，为了保证不向协调者泄露参与者的隐私信息，参与者可通过加密的方式，例如，使用同态加密(homomorphic encryption)技术、秘密分享(secret sharing)技术或者差分隐私(differential privacy)技术，向协调者发送模型参数更新，协调者不能解密的情况下不能获得模型权值或者梯度信息，进而保证了不会向协调者泄露任何信息。
但是，使用加密技术会显著增加需要传输的信息的长度，例如，使用同态加密技术，使用最常用的Paillier算法，获得的密文(用比特数衡量)的长度至少是明文长度的2倍，即加密比不加密至少增加了一倍的通信带宽要求。在一些实际应用中，例如，IoT、移动互联网、遥感和商业卫星通信链路中，通信带宽严重受限，参与者加密操作带来的额外的通信带宽要求很可能不能被满足，或者至少会显著增加通信的延迟。
发明内容
本发明的主要目的在于提供一种联邦学习隐私数据处理方法、设备、系统及存储介质，旨在实现一种安全机制，使得参与者的信息不会泄露给协调者，并不会造成显著增加通信带宽要求。
为实现上述目的，本发明提供一种联邦学习隐私数据处理方法，所述联邦学习隐私数据处理方法应用于协调设备，协调设备中包括可信执行环境TEE模块，协调设备与多个参与设备通信连接，所述联邦学习隐私数据处理方法包括以下步骤：
接收各参与设备发送的带掩码的模型参数更新，其中，各参与设备基于各自生成的第一掩码对各自训练得到的模型参数更新添加掩码，得到各自带掩码的模型参数更新；
在TEE模块中，生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新；
在TEE模块中，融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新；
将带掩码的全局模型参数更新发送给各参与设备，以供各参与设备基于各自生成的与第三掩码相同的第四掩码，对带掩码的全局模型参数更新去除掩码得到全局模型参数更新。
可选地，所述生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新的步骤包括：
至少根据本次模型更新的迭代索引，采用第一预设掩码生成器生成第二掩码；
基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新，其中，各参与设备至少根据本次模型更新的迭代索引，采用各自本地的第二预设掩码生成器生成第一掩码，第一预设掩码生成器与第二预设掩码生成器相同。
可选地，所述生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新的步骤包括：
至少根据本次模型更新的迭代索引和各参与设备的设备编号，采用第一预设掩码生成器生成与各参与设备对应的各第二掩码；
分别基于每个参与设备对应的第二掩码，对每个参与设备发送的各带掩码的模型参数更新去除掩码，得到各模型参数更新，其中，各参与设备至少根据本次模型更新的迭代索引和各自的设备编号，采用各自本地的第二预设掩码生成器生成各自的第一掩码，第一预设掩码生成器与第二预设掩码生成器相同。
可选地，当第三掩码的长度小于模型参数更新的长度时，所述融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新的步骤包括：
融合各模型参数更新得到全局模型参数更新，并采用第三预设掩码生成器生成第三掩码；
通过预设补全方法对第三掩码进行补全，采用补全后的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新，其中，补全后的第三掩码的长度与模型参数更新的长度相同。
可选地，所述融合各模型参数更新得到全局模型参数更新的步骤之后，还包括：
在TEE模块中根据全局模型参数更新判断联邦学习的待训练模型是否收敛；
若待训练模型收敛则结束对待训练模型的训练，或者若迭代次数达到预设最大迭代次数则结束对待训练模型的训练，或者若训练时间达到最大训练时间则结束对待训练模型的训练。
为实现上述目的，本发明还提供一种联邦学习隐私数据处理方法，所述联邦学习隐私数据处理方法应用于参与设备，参与设备与协调设备通信连接，所述联邦学习隐私数据处理方法包括以下步骤：
接收协调设备发送的本次模型更新的带掩码的全局模型参数更新；
对带掩码的全局模型参数更新去除掩码得到全局模型参数更新；
根据参与设备本地的训练数据和全局模型参数更新对联邦学习的待训练模型进行本地训练，得到模型参数更新；
采用本地生成的本次模型更新的第一掩码对模型参数更新添加掩码，得到带掩码的模型参数更新并发送给协调设备。
可选地，协调设备中包括可信执行环境TEE模块，
所述对带掩码的全局模型参数更新去除掩码得到全局模型参数更新的步骤包括：
生成与协调设备的第三掩码相同的第四掩码；
采用第四掩码对带掩码的全局模型参数更新去除掩码得到全局模型参数更新，其中，协调设备在上一次模型更新中，接收各参与设备发送的带掩码的模型参数更新，并在TEE模块中生成与各参与设备上一次模型更新的第一掩码相同的第二掩码，基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新，融合各模型参数更新得到全局模型参数更新，采用生成的第三掩码对全局模型参数更新添加掩码，得到本次模型更新的带掩码的全局模型参数更新。
可选地，所述对带掩码的全局模型参数更新去除掩码得到全局模型参数更新的步骤包括的步骤包括：
采用上一次模型更新中的第一掩码对带掩码的全局模型参数更新去除掩码，得到全局模型参数更新，其中，协调设备在上一次模型更新中，接收各参与设备发送的带掩码的模型参数更新，并融合各带掩码的模型参数更新得到带掩码的全局模型参数更新。
为实现上述目的，本发明还提供一种设备，所述设备为协调设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习隐私数据处理程序，所述联邦学习隐私数据处理程序被所述处理器执行时实现如上所述的联邦学习隐私数据处理方法的步骤。
为实现上述目的，本发明还提供一种设备，所述设备为参与设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习隐私数据处理程序，所述联邦学习隐私数据处理程序被所述处理器执行时实现如上所述的联邦学习隐私数据处理方法的步骤。
为实现上述目的，本发明还提供一种联邦学习隐私数据处理系统，所述联邦学习隐私数据处理系统包括：至少一个如上所述的协调设备和至少一个如上所述的参与设备。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有联邦学习隐私数据处理程序，所述联邦学习隐私数据处理程序被处理器执行时实现如上所述的联邦学习隐私数据处理方法的步骤。
本发明中，通过各参与设备基于各自生成的第一掩码对各自训练得到的模型参数更新添加掩码，得到各自带掩码的模型参数更新；协调设备接收各参与设备发送的带掩码的模型参数更新，在TEE模块中，生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新；在TEE模块中，融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新；将带掩码的全局模型参数更新发送各参与设备，以供各参与设备基于各自生成的与第三掩码相同的第四掩码，对带掩码的全局模型参数更新去除掩码得到全局模型参数更新。本实施例中，通过融合掩码技术和TEE技术，使得协调设备无法获得各参与设备的模型参数更新和全局模型参数更新，但能够在TEE模块中得到参与设备的模型参数更新并进行融合操作，实现了在不泄露给协调设备隐私的情况下，完成联邦学习的模型更新过程；并通过掩码技术，使得模型参数更新和全局模型参数更新既能够安全传输，又不会增加通信带宽要求；并且，通过协调设备和参与设备各自在本地生成掩码，保证生成用于添加掩码操作和去除掩码操作的掩码相同，使得参与设备与协调设备之间、参与设备和参与设备之间、或参与设备与第三方服务器之间，无需增加额外的通信开销去协商掩码的一致性，特别是在每一次模型更新中都更换掩码的场景，极大地降低了通信开销和电量开销。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明联邦学习隐私数据处理方法第一实施例的流程示意图；
图3为本发明实施例涉及一种协调设备中可见内容示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
需要说明的是，本发明实施例设备是协调设备，协调设备可以是智能手机、个人计算机和服务器等设备，在此不做具体限制。
如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及联邦学习隐私数据处理程序，还包括TEE(Trusted executionenvironment，可信执行环境)模块。其中，操作系统是管理和控制设备硬件和软件资源的程序，支持联邦学习隐私数据处理程序以及其它软件或程序的运行。TEE是主处理器内的安全区域，运行在一个独立的环境中且与操作系统并行运行，它确保TEE中加载的代码和数据的机密性和完整性都得到保护。TEE中运行的受信任应用程序可以访问设备主处理器和内存的全部功能，而硬件隔离保护这些组件不受主操作系统中运行的用户安装应用程序的影响。在本实施例中，TEE模块的实现方式可以有多种，如基于Intel的Software GuardExtensions(软件保护扩展，SGX)、AMD的Secure Encrypted Virtualization(安全虚拟化加密，SEV)、ARM的Trust Zone或MIT的Sanctum。对TEE模块的认证和鉴权，可以通过第三方安全服务器来完成。例如，当TEE是使用Intel的SGX时，可以通过Intel的安全服务器对所述TEE进行认证，即保证所述TEE的安全。
在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与各参与设备建立通信连接；而处理器1001可以用于调用存储器1005中存储的联邦学习隐私数据处理程序，并执行以下操作：
接收各参与设备发送的带掩码的模型参数更新，其中，各参与设备基于各自生成的第一掩码对各自训练得到的模型参数更新添加掩码，得到各自带掩码的模型参数更新；
在TEE模块中，生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新；
在TEE模块中，融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新；
将带掩码的全局模型参数更新发送各参与设备，以供各参与设备基于各自生成的与第三掩码相同的第四掩码，对带掩码的全局模型参数更新去除掩码得到全局模型参数更新。
进一步地，所述生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新的步骤包括：
至少根据本次模型更新的迭代索引，采用第一预设掩码生成器生成第二掩码；
基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新，其中，各参与设备至少根据本次模型更新的迭代索引，采用各自本地的第二预设掩码生成器生成第一掩码，第一预设掩码生成器与第二预设掩码生成器相同。
进一步地，所述生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新的步骤包括：
至少根据本次模型更新的迭代索引和各参与设备的设备编号，采用第一预设掩码生成器生成与各参与设备对应的各第二掩码；
分别基于每个参与设备对应的第二掩码，对每个参与设备发送的各带掩码的模型参数更新去除掩码，得到各模型参数更新，其中，各参与设备至少根据本次模型更新的迭代索引和各自的设备编号，采用各自本地的第二预设掩码生成器生成各自的第一掩码，第一预设掩码生成器与第二预设掩码生成器相同。
进一步地，当第三掩码的长度小于模型参数更新的长度时，所述融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新的步骤包括：
融合各模型参数更新得到全局模型参数更新，并采用第三预设掩码生成器生成第三掩码；
通过预设补全方法对第三掩码进行补全，采用补全后的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新，其中，补全后的第三掩码的长度与模型参数更新的长度相同。
进一步地，所述融合各模型参数更新得到全局模型参数更新的步骤之后，处理器1001还可以用于调用存储器1005中存储的联邦学习隐私数据处理程序，并执行以下步骤：
在TEE模块中根据全局模型参数更新判断联邦学习的待训练模型是否收敛；
若待训练模型收敛则结束对待训练模型的训练，或者若迭代次数达到预设最大迭代次数则结束对待训练模型的训练，或者若训练时间达到最大训练时间则结束对待训练模型的训练。
此外，本发明实施例还提出一种参与设备，参与设备与协调设备通信连接，所述参与设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习隐私数据处理程序，所述联邦学习隐私数据处理程序被所述处理器执行时实现如下所述的联邦学习隐私数据处理方法的步骤：
接收协调设备发送的本次模型更新的带掩码的全局模型参数更新；
对带掩码的全局模型参数更新去除掩码得到全局模型参数更新；
根据参与设备本地的训练数据和全局模型参数更新对联邦学习的待训练模型进行本地训练，得到模型参数更新；
采用本地生成的本次模型更新的第一掩码对模型参数更新添加掩码，得到带掩码的模型参数更新并发送给协调设备。
进一步地，协调设备中包括可信执行环境TEE模块，
所述对带掩码的全局模型参数更新去除掩码得到全局模型参数更新的步骤包括：
生成与协调设备的第三掩码相同的第四掩码；
采用第四掩码对带掩码的全局模型参数更新去除掩码得到全局模型参数更新，其中，协调设备在上一次模型更新中，接收各参与设备发送的带掩码的模型参数更新，并在TEE模块中生成与各参与设备上一次模型更新的第一掩码相同的第二掩码，基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新，融合各模型参数更新得到全局模型参数更新，采用生成的第三掩码对全局模型参数更新添加掩码，得到本次模型更新的带掩码的全局模型参数更新。
进一步地，所述对带掩码的全局模型参数更新去除掩码得到全局模型参数更新的步骤包括的步骤包括：
采用上一次模型更新中的第一掩码对带掩码的全局模型参数更新去除掩码，得到全局模型参数更新，其中，协调设备在上一次模型更新中，接收各参与设备发送的带掩码的模型参数更新，并融合各带掩码的模型参数更新得到带掩码的全局模型参数更新。
此外，本发明实施例还提出一种联邦学习隐私数据处理系统，所述联邦学习隐私数据处理系统包括至少一个如上所述的协调设备、至少一个如上所述的参与设备。
此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有联邦学习隐私数据处理程序，所述联邦学习隐私数据处理程序被处理器执行时实现如下所述的联邦学习隐私数据处理方法的步骤。
本发明协调设备、参与设备、联邦学习隐私数据处理系统和计算机可读存储介质的各实施例，均可参照本发明联邦学习隐私数据处理方法各个实施例，此处不再赘述。
基于上述的结构，提出联邦学习隐私数据处理方法的各个实施例。
参照图2，图2为本发明联邦学习隐私数据处理方法第一实施例的流程示意图。
本发明实施例提供了联邦学习隐私数据处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明第一实施例联邦学习隐私数据处理方法应用于协调设备，协调设备与多个参与设备通信连接，协调设备中包括TEE模块，本发明实施例协调设备和参与设备可以是智能手机、个人计算机和服务器等设备，参与设备可支持联邦学习模型的训练，在此不做具体限制。在本实施例中，联邦学习隐私数据处理方法包括：
步骤S10，接收各参与设备发送的带掩码的模型参数更新，其中，各参与设备基于各自生成的第一掩码对各自训练得到的模型参数更新添加掩码，得到各自带掩码的模型参数更新；
在以下各实施例中，采用掩码(mask)技术对数据进行安全处理，掩码也称为摄动(perturbation)。掩码可以是一个向量，向量的元素可以是一个或多个，元素类型可以是整型或浮点型，掩码可以是随机生成的，即随机生成向量中的各元素。对数据添加掩码的过程可以是：对于一个待添加掩码的目标向量(目标向量中元素个数与掩码中元素个数相同时，即目标向量的长度与掩码长度相同时)，将其中每一个元素，加上或减去掩码中对应位置的元素，得到带掩码的目标向量。对数据去除掩码的过程可以是：对于带掩码的目标向量，将其中每一个元素，减去或加上掩码中对应位置的元素，得到目标向量。对目标向量进行添加掩码和去除掩码操作后，得到的仍然是原来的目标向量，并且对目标向量添加掩码增加目标向量的长度，在只获得带掩码的目标向量的情况下，无法获知原始的目标向量，从而保障了数据的安全性。
需要说明的是，如果操作对象是整数，即在整数域里进行运算，那么上述添加掩码和去除掩码的操作中，还可以包括取模操作。取模操作可以保证所述运算结果停留在一个有限的整数域里。
在本实施例中，协调设备与各参与设备可通过握手、身份认证预先建立通信连接，并确定本次联邦学习的待训练模型，待训练模型可以是机器学习模型，如神经网络模型。在联邦学习过程中，协调设备与参与设备通过相互配合，对待训练模型进行多次迭代更新，得到最终收敛的待训练模型，即可结束对待训练模型的训练过程。在一次模型更新中，各参与设备根据本次模型更新的全局模型参数更新和各自本地拥有的本地训练数据，对待训练模型分别进行本地训练，得到各自本地的模型参数更新，并在各自本地生成第一掩码，对各自的模型参数更新添加掩码，得到带掩码的模型参数更新，并将带掩码的模型参数更新发送给协调设备。
其中，模型参数更新可以是神经网络的节点之间连接的权重参数，或者模型参数更新也可以是联邦学习模型的梯度信息，例如，神经网络梯度下降算法中的梯度信息，梯度信息可以是梯度值或压缩后的梯度值；模型参数更新是一个向量，包括多个元素，如模型参数更新是权重参数时，向量中的元素是各个权重参数，向量中元素的个数即模型参数更新的长度；参与设备可以是每一次模型更新都生成不同的第一掩码，各个参与设备生成的第一掩码可以相同也可以不相同；各个参与设备可通过预设的掩码生成方式生成各自的第一掩码，其中，预设的掩码生成方式可以是预先根据需要进行设置，如采用掩码生成器，掩码生成器可以是采用常用的伪随机数生成器，如ANSI X9.17或采用线性同于法的伪随机数生成器等，或者根据特定分布生成随机掩码，例如，生成符合高斯分布的随机掩码；各个参与设备生成的第一掩码的长度可以相同也可以不相同，可以预先设置各个参与设备的第一掩码的长度，长度可以小于或者等于模型参数更新的长度，以降低生成掩码的计算复杂度。
协调设备接收各个参与设备发送的带掩码的模型参数更新。
步骤S20，在TEE模块中，生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新；
协调设备在TEE模块中生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新。需要说明的是，若各参与设备各自生成的第一掩码相同，则协调设备生成一个与该第一掩码相同的第二掩码即可，若参与设备各自生成的第一掩码不相同，则协调设备生成多个第二掩码，分别与各个参与设备的第一掩码对应相同。若各参与设备每一次模型更新生成不相同第一掩码，即一个参与设备上次模型更新生成的第一掩码与本次模型更新生成的第一掩码不相同，则协调设备生成与参与设备本次模型更新中生成的第一掩码相同的第二掩码。协调设备的TEE模块中可预置与各参与设备相同的掩码生成方式，使得协调设备在TEE模块中生成的第二掩码与第一掩码相同。
由于协调设备在TEE模块中采用与第一掩码相同的第二掩码对带掩码的模型参数更新进行去除掩码操作，因此，能够还原得到各参与设备的原始模型参数更新。并且，由于是在协调设备的TEE模块中进行去除掩码操作，去除掩码得到的模型参数更新只在TEE模块中可见，协调设备只能获得带掩码的模型参数更新，无法获得各参与设备的模型参数更新，从而不会窃取参与设备的隐私，保证了参与设备的隐私不会泄露给协调设备。
步骤S30，在TEE模块中，融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新；
协调设备在TEE模块中，融合各模型参数更新得到全局模型参数更新，并生成第三掩码，采用第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新。其中，融合各模型参数更新得到全局模型参数更新，可以是通过融合函数对各个模型参数更新进行融合，融合函数可以是进行加权平均操作的函数。协调设备可以是每一次模型更新中都生成不同的第三掩码，若每一次模型更新中都生成不同的第三掩码，由于融合得到的全局模型参数更新用于下一次的模型更新，因此，协调设备生成的第三掩码对应下一次模型更新。协调设备的TEE模块中可采用与生成第二掩码相同的掩码生成方式生成第三掩码；第三掩码的长度也可以是预先进行设置，可以与第一掩码的长度相同，也可以不相同，同样地，为了降低生成掩码的计算复杂度，第三掩码的长度可以小于或等于全局模型参数更新的长度。
步骤S40，将带掩码的全局模型参数更新发送给各参与设备，以供各参与设备基于各自生成的与第三掩码相同的第四掩码，对带掩码的全局模型参数更新去除掩码得到全局模型参数更新。
协调设备从TEE模块中获取带掩码的全局模型参数更新，将带掩码的全局模型参数更新发送给各个参与设备。若协调设备在本次模型更新中检测到待训练模型收敛，则可以将带掩码的全局模型参数更新发送给各个参与设备，供各个参与设备根据带掩码的全局模型参数更新确定待训练模型的最终参数，结束本次联邦学习。若协调设备在本次模型更新中检测到待训练模型收敛，则可以将带掩码的全局模型参数更新发送给各个参与设备，各个参与设备根据带掩码的全局模型参数更新进行下一次模型更新；各参与设备在接收到协调设备发送的带掩码的全局模型参数更新后，各自本地生成与协调设备的第三掩码相同的第四掩码，采用第四掩码，对带掩码的全局模型参数更新进行去除掩码操作，得到全局模型参数更新。各参与设备中可预置掩码生成方式，该掩码生成方式与协调设备中生成第三掩码的掩码生成方式相同，以使得参与设备生成的第四掩码与协调设备的第三掩码相同。
由于参与设备是采用与协调设备的第三掩码相同的第四掩码对带掩码的全局模型参数更新进行去除掩码操作，因此，参与设备能够还原得到协调设备TEE模块中的原始全局模型参数更新，从而保证了参与设备获取到准确的全局模型参数更新，不会造成数据的偏差；并且，由于协调设备是从TEE模块中获取带掩码的全局模型参数更新，而原始的全局模型参数更新只能在TEE模块中可见，因此，协调设备无法获知原始的全局模型参数更新，从而无法窃取各个参与设备的隐私数据。
在本实施例中，通过各参与设备基于各自生成的第一掩码对各自训练得到的模型参数更新添加掩码，得到各自带掩码的模型参数更新；协调设备接收各参与设备发送的带掩码的模型参数更新，在TEE模块中，生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新；在TEE模块中，融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新；将带掩码的全局模型参数更新发送各参与设备，以供各参与设备基于各自生成的与第三掩码相同的第四掩码，对带掩码的全局模型参数更新去除掩码得到全局模型参数更新。本实施例中，通过融合掩码技术和TEE技术，使得协调设备无法获得各参与设备的模型参数更新和全局模型参数更新，但能够在TEE模块中得到参与设备的模型参数更新并进行融合操作，实现了在不泄露给协调设备隐私的情况下，完成联邦学习的模型更新过程；并通过掩码技术，使得模型参数更新和全局模型参数更新既能够安全传输，又不会增加通信带宽要求；并且，通过协调设备和参与设备各自在本地生成掩码，保证生成用于添加掩码操作和去除掩码操作的掩码相同，使得参与设备与协调设备之间、参与设备和参与设备之间、或参与设备与第三方服务器之间，无需增加额外的通信开销去协商掩码的一致性，特别是在每一次模型更新中都更换掩码的场景，极大地降低了通信开销和电量开销。
进一步地，若协调设备根据全局模型参数更新来确定待训练模型是否收敛，则协调设备判断待训练模型是否收敛的操作也在TEE模块中执行，具体地，步骤S30之后，还包括：
步骤S301，在TEE模块中根据全局模型参数更新判断联邦学习的待训练模型是否收敛；
步骤S302，若待训练模型收敛则结束对待训练模型的训练，或者若迭代次数达到预设最大迭代次数则结束对待训练模型的训练，或者若训练时间达到最大训练时间则结束对待训练模型的训练。
协调设备在TEE模块中得到全局模型参数更新后，继续在TEE模块中根据全局模型参数更新判断待训练模型是否收敛。具体地，可判断本次模型更新得到的全局模型参数更新与上一次模型更新得到的联合模型之间的差值是否小于预设差值，若小于预设差值，则确定待训练模型已收敛，若不小于预设差值，则确定待训练模型未收敛。
若确定待训练模型收敛，则协调设备可结束对待训练模型的训练，也即，将在TEE模块中获取到的本次模型更新得到的带掩码的全局模型参数更新，作为待训练模型最终的参数发送给各个参与设备。若确定待训练模型未收敛，则协调设备将在TEE模块中获取到的本地模型更新得到的带掩码的全局模型参数更新，作为新一次模型更新的全局模型参数更新，发送给各个参与设备，各个参与设备根据带掩码的全局模型参数更新进行新一次模型更新。循环迭代直到协调设备在TEE模块中确定待训练模型已收敛为止。
或者，若协调设备在TEE模块中检测到迭代次数达到预设最大迭代次数则结束对待训练模型的训练，或者在TEE模块中检测到若训练时间达到最大训练时间则结束对待训练模型的训练。
在本实施例中，由于协调设备在TEE模块中根据全局模型参数更新来判断待训练模型是否收敛，使得全局模型参数更新只在TEE模块中可见，协调设备无法获知全局模型参数更新，从而保证参与设备的隐私数据不会泄露给协调设备，也保证联邦学习的正常进行。
进一步地，在一实施例中，待训练模型可以是用于信贷风险预估的神经网络模型，神经网络模型的输入可以是用户的特征数据，输出可以是对用户的风险评分，参与设备可以是多家银行的设备，各自在本地拥有多个用户的样本数据，协调设备是独立于多家银行的第三方服务器。协调设备与各个参与设备按照上述实施例中联邦学习的过程进行待训练模型的训练，得到最终收敛用于信贷风险预估的神经网络模型。各家银行可采用训练得到的神经网络模型来对用户的信贷风险进行预估，将用户的特征数据输入训练好的模型中，得到该用户的风险评分。由于协调设备和各参与设备按照在联邦学习过程中，通过融合掩码技术和TEE技术，使得协调设备无法获得各个银行的用户隐私数据；并通过掩码技术，使得模型参数更新和全局模型参数更新既能够安全传输，又不会增加通信带宽要求，从而降低了各家银行在设备部署上的成本；并且，通过协调设备和参与设备各自在本地生成掩码，保证生成用于添加掩码操作和去除掩码操作的掩码相同，使得银行设备与协调设备之间，无需增加额外的通信开销去协商掩码的一致性，特别是在每一次模型更新中都更换掩码的场景，极大地降低了通信开销和电量开销，而降低了各家银行在设备部署上的成本。
需要说明的是，待训练模型还可以是用于除信贷风险预估以外其他的应用场景，如还可以应用于绩效等级预测，论文价值评价等，本发明实施例在此不做限定。
进一步地，基于上述第一实施例，提出本发明联邦学习隐私数据处理方法第二实施例，在本发明联邦学习隐私数据处理方法第二实施例中，所述步骤S20包括：
步骤S201，至少根据本次模型更新的迭代索引，采用第一预设掩码生成器生成第二掩码；
步骤S202，基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新，其中，各参与设备至少根据本次模型更新的迭代索引，采用各自本地的第二预设掩码生成器生成第一掩码，第一预设掩码生成器与第二预设掩码生成器相同。
迭代索引是指模型更新的编号，标识是第几次模型更新。协调设备可对每次模型更新进行编号，作为迭代索引，并可在向各参与设备发送带掩码的全局模型参数更新以开启新一次的模型更新时，将迭代索引发送给各个参与设备，各个参与设备可在返回这一次模型更新的模型参数更新时携带这一次的迭代索引，从而保证协调设备与参与设备更新次数上的同步。
各参与设备在根据本次模型更新的全局模型参数更新，以及本地训练数据对待训练模型进行本地训练，得到各自的模型参数更新后，可至少根据本次模型更新的迭代索引，采用各自本地的第二预设掩码生成器，生成第一掩码。每个参与设备中的第二预设掩码生成器相同。各参与设备将迭代索引输入第二预设掩码生成器，由第二预设掩码生成器以迭代索引作为基数，生成第一掩码。可预先通过配置第二预设掩码生成器的参数，设置第一掩码的长度，即通过设置第二预设掩码生成器的参数，设置第一掩码的元素的个数。由于各个参与设备在同一次模型更新中的迭代索引相同，采用的掩码生成器相同，因此，各参与设备生成的第一掩码是相同的；但是对于一个参与设备来说，由于迭代索引不同，该参与设备每一次模型更新生成的第一掩码不同，使得协调设备无法根据参与设备相邻两次带掩码的模型参数更新，推断出原始的模型参数更新，从而进一步地提高了对参与设备的隐私数据的保护力度。
各参与设备采用生成的第一掩码对各自的模型参数更新进行添加掩码操作，并将得到的带掩码的模型参数更新发送给协调设备。
协调设备在TEE模块中执行以下操作(也即以下操作只在TEE模块中可见)：
至少根据本次模型更新的迭代索引，采用第一预设掩码生成器生成第二掩码。其中，第一预设掩码生成器可以是预先设置的掩码生成器，如ANSI X9.17，且第一预设掩码生成器与第二预设掩码生成器相同。具体地，将本次模型更新的迭代索引将迭代索引输入第一预设掩码生成器，由第一预设掩码生成器以迭代索引作为基数，生成第二掩码。可通过预先配置掩码生成器的参数，使得掩码生成器生成的第二掩码的长度与第一掩码相同。
由于采用与参与设备中的掩码生成器相同的掩码生成器，且以相同的迭代索引作为掩码生成器的输入，使得生成的第二掩码与第一掩码相同。
根据第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新。由于带掩码的模型参数更新是采用第一掩码进行的添加掩码操作，因此，采用与第一掩码相同的第二掩码对带掩码的模型参数更新进行去除掩码操作，能够得到原始的模型参数更新。并且，协调设备是在TEE模块中进行的上述操作，因此，协调设备只能获得带掩码的模型参数更新，而无法获得原始的模型参数更新，因此不会造成参与设备的隐私泄露给协调设备；且协调设备的TEE模块能够获得各参与设备的模型参数更新，并对模型参数更新进行融合，保证了联邦学习的正常进行。并且协调设备与各参与设备均在各自本地生成对应相同的掩码，不需要额外增加通信开销协商掩码的一致性，极大地降低了通信开销和电量开销。
进一步地，协调设备还可在TEE模块中执行一下操作：对得到的各个参与设备的模型参数更新进行融合操作，得到全局模型参数更新。采用第三预设掩码生成器，根据下一次模型更新的迭代索引生成第三掩码。其中，第三预设掩码生成器可以是预先设置的掩码生成器，可以与第一预设掩码生成器相同，也可以不相同。根据第三掩码对全局模型参数更新更新进行添加掩码操作，得到带掩码的全局模型参数更新。
协调设备将带掩码的全局模型参数更新发送给各个参与设备，并可携带下一次模型更新的迭代索引，以开启下一次的模型更新。
各个参与设备在接收到新一次模型更新的带掩码的全局模型参数更新后，根据消息中携带的本次模型更新的迭代索引，采用第四预设掩码生成器生成第四掩码，并采用第四掩码对带掩码的全局模型参数更新进行去除掩码操作，得到全局模型参数更新，根据全局模型参数更新进行本次模型更新的本地训练。其中，各个参与设备中的第四预设掩码生成器设置得相同，且均与协调设备的第三预设掩码器设置得相同。由于各个参与设备与协调设备根据相同的迭代索引，采用相同的掩码生成器生成掩码，因此第四掩码和第三掩码相同。由于带掩码的全局模型参数更新是采用第三掩码进行添加掩码操作得到的，因此，参与设备采用与第三掩码相同的第四掩码对带掩码的全局模型参数更新新进行去除掩码操作，能够得到原始的全局模型参数更新，从而在保证参与设备的隐私不泄露给协调设备的情况下，能够保证联邦学习的正常进行。
以下举一具体例子进行详细说明：
1、协调设备与K个参与设备在进行联邦学习之前，确定掩码的长度为L，L小于等于模型参数更新和全局模型参数更新的长度N。t是模型更新的迭代索引，标识是第几次模型更新。
2、在第t次模型更新中，第k个参与设备训练得到模型参数更新w(k，t)，并生成掩码m(t)，得到带掩码的模型参数更新v(k，t)＝w(k，t)+m(t)，发送给协调设备。
3、协调设备在TEE模块中生成与参与设备相同的掩码m(k,t)，采用m(k,t)对v(k，t)去除掩码，得到w(k，t)。协调设备继续在TEE模块中对多个参与设备送来的{w(k，t)进行融合，得到全局模型参数更新w(t)，并生成掩码p(t)，得到带掩码的全局模型参数更新u(t)＝w(t)+p(t)。协调设备将u(t)发送给各个参与设备。由于w(k，t)和w(t)都是在TEE模块中获得的，协调设备无法获知w(k，t)和w(t)。并且掩码m(t)和p(t)也是在TEE模块中生成的，协调设备也无法根据v(k，t)和u(t)来推断w(k，t)和w(t)。
4、第k个参与设备生成与协调设备TEE模块中相同的p(t)，采用p(t)对u(t)去除掩码，得到w(t)＝u(t)－p(t)。
进一步地，基于上述第一实施例，提出本发明联邦学习隐私数据处理方法第三实施例，在本发明联邦学习隐私数据处理方法第三实施例中，所述步骤S20包括：
步骤S203，至少根据本次模型更新的迭代索引和各参与设备的设备编号，采用第一预设掩码生成器生成与各参与设备对应的各第二掩码；
步骤S204，分别基于每个参与设备对应的第二掩码，对每个参与设备发送的各带掩码的模型参数更新去除掩码，得到各模型参数更新，其中，各参与设备至少根据本次模型更新的迭代索引和各自的设备编号，采用各自本地的第二预设掩码生成器生成各自的第一掩码，第一预设掩码生成器与第二预设掩码生成器相同。
协调设备和各个参与设备在开始联邦学习的模型训练之前，协调设备可对参与联邦学习的各个参与设备分配设备编号，可以采用数字编号、字母编号等，也可以是预先与各个参与设备协商的不同标识，并将各个参与设备的设备编号分别发送给各个参与设备，对于在联邦学习的模型训练过程中新加入的参与设备，协调设备可给该参与设备分配一个编号，以保证每个参与设备的编号不同，从而实现联邦学习过程中协调设备对各个参与设备的管理。
各个参与设备在根据本次模型更新的全局模型参数更新，以及本地训练数据对待训练模型进行本地训练，得到各自的模型参数更新后，可至少根据本次模型更新的迭代索引和各自的设备编号，采用各自本地的第二预设掩码生成器，生成第一掩码。每个参与设备中的第二预设掩码生成器相同。各参与设备将迭代索引和各自的设备编号输入第二预设掩码生成器，由第二预设掩码生成器以迭代索引和设备编号作为基数，生成第一掩码。可预先通过配置第二预设掩码生成器的参数，设置第一掩码的长度，即通过设置第二预设掩码生成器的参数，设置第一掩码的元素的个数。由于各个参与设备的设备编号不相同，因此各个参与设备生成的第一掩码不相同。
各参与设备采用生成的第一掩码对各自的模型参数更新进行添加掩码操作，并将得到的带掩码的模型参数更新发送给协调设备。
协调设备在TEE模块中执行以下操作(也即以下操作只在TEE模块中可见)：
至少根据本次模型更新的迭代索引和各个参与设备的设备编号，采用第一预设掩码生成器生成与各个参与设备对应的第二掩码。具体地，由于各个参与设备的第一掩码不相同，所以对于每个参与设备，根据迭代索引和该参与设备的设备编号，采用第一预设掩码生成器生成与该参与设备对应的第二掩码。其中，第一预设掩码生成器可以是预先设置的掩码生成器，如ANSI X9.17，且第一预设掩码生成器与第二预设掩码生成器相同。具体地，对于每个参与设备，将本次模型更新的迭代索引和该参与设备的设备编号输入第一预设掩码生成器，由第一预设掩码生成器以迭代索引和设备编号作为基数，生成与该参与设备对应的第二掩码。可通过预先配置掩码生成器的参数，使得掩码生成器生成的第二掩码的长度与第一掩码相同。
由于采用与参与设备中的掩码生成器相同的掩码生成器，且以相同的迭代索引和设备编号作为掩码生成器的输入，使得生成的每个参与设备对应的第二掩码与该参与设备的第一掩码相同。
分别根据每个参与设备对应的第二掩码对该参与设备发送的带掩码的模型参数更新去除掩码，得到各参与设备的模型参数更新。由于带掩码的模型参数更新是采用第一掩码进行的添加掩码操作，因此，采用与第一掩码相同的第二掩码对带掩码的模型参数更新进行去除掩码操作，能够得到原始的模型参数更新。并且，协调设备是在TEE模块中进行的上述操作，因此，协调设备只能获得带掩码的模型参数更新，而无法获得原始的模型参数更新，因此不会造成参与设备的隐私泄露给协调设备；且协调设备的TEE模块能够获得各参与设备的模型参数更新，并对模型参数更新进行融合，保证了联邦学习的正常进行。并且协调设备与各参与设备均在各自本地生成对应相同的掩码，不需要额外增加通信开销协商掩码的一致性，极大地降低了通信开销和电量开销。
进一步地，协调设备还可在TEE模块中执行一下操作：对得到的各个参与设备的模型参数更新进行融合操作，得到全局模型参数更新。采用第三预设掩码生成器，根据下一次模型更新的迭代索引和各个参与设备的设备编号，生成与各个参与设备对应的第三掩码。其中，第三预设掩码生成器可以是预先设置的掩码生成器，可以与第一预设掩码生成器相同，也可以不相同。根据第三掩码对全局模型参数更新更新进行添加掩码操作，得到带掩码的全局模型参数更新。
协调设备将带掩码的全局模型参数更新发送给各个参与设备，并可携带下一次模型更新的迭代索引，以开启下一次的模型更新。
各个参与设备在接收到新一次模型更新的带掩码的全局模型参数更新后，根据消息中携带的本次模型更新的迭代索引，和各自的设备编号，采用第四预设掩码生成器生成第四掩码；并采用第四掩码对带掩码的全局模型参数更新进行去除掩码操作，得到全局模型参数更新；根据全局模型参数更新进行本次模型更新的本地训练。其中，各个参与设备中的第四预设掩码生成器设置得相同，且均与协调设备的第三预设掩码器设置得相同。由于各个参与设备与协调设备根据相同的迭代索引和设备编号，采用相同的掩码生成器生成掩码，因此每个参与设备生成的第四掩码，和与该参与设备对应的第三掩码相同。由于带掩码的全局模型参数更新是采用第三掩码进行添加掩码操作得到的，因此，参与设备采用与第三掩码相同的第四掩码对带掩码的全局模型参数更新新进行去除掩码操作，能够得到原始的全局模型参数更新，从而在保证参与设备的隐私不泄露给协调设备的情况下，能够保证联邦学习的正常进行。
以下举一具体例子进行详细说明：
1、协调设备与K个参与设备在进行联邦学习之前确定掩码的长度为L，L小于等于模型参数更新和全局模型参数更新的长度N。t是模型更新的迭代索引，标识是第几次模型更新。
2、在第t次模型更新中，第k个参与设备训练得到模型参数更新w(k，t)，并生成掩码m(k，t)，得到带掩码的模型参数更新v(k，t)＝w(k，t)+m(k，t)，发送给协调设备。
3、协调设备在TEE模块中生成与参与设备相同的掩码m(k，t)，采用m(k，t)对v(k，t)去除掩码，得到w(k，t)。协调设备继续在TEE模块中对多个参与设备发送的w(k，t)进行融合，得到全局模型参数更新w(t)，并生成掩码p(k，t)，得到带掩码的全局模型参数更新u(k，t)＝w(t)+p(k，t)。协调设备将u(k，t)发送给第k个参与设备。
如图3，示出了TEE模块和协调设备中其他部分分别可见的内容。由于w(k，t)和w(t)都是在TEE模块中获得的，协调设备无法获知w(k，t)和w(t)。并且掩码m(k，t)和p(k，t)也是在TEE模块中生成的，协调设备也无法根据v(k，t)和u(k，t)来推断w(k，t)和w(t)。
4、第k个参与设备生成与协调设备TEE模块中相同的p(k，t)，采用p(k，t)对u(k，t)去除掩码，得到w(t)＝u(k，t)－p(k，t)。
特别的，当对不同的参与设备使用不同的第三掩码时，本发明的技术方案也适用于纵向联邦学习的场景，即适用于各参与设备训练的机器学习模型结构可能不同的场景，例如，各参与设备训练不同的神经网络模型。
进一步地，当第三掩码的长度小于模型参数更新的长度时，步骤S30包括：
步骤S301，融合各模型参数更新得到全局模型参数更新，并采用第三预设掩码生成器生成第三掩码；
步骤S302，通过预设补全方法对第三掩码进行补全，采用补全后的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新，其中，补全后的第三掩码的长度与模型参数更新的长度相同。
当预先设置的第三掩码的长度小于模型参数更新的长度时，协调设备在TEE模块中得到各参与设备的模型参数更新后，还可在TEE模块中执行以下操作：
融合各模型参数更新得到全局模型参数更新，并采用第三预设掩码生成器生成第三掩码。通过预设补全方法对第三掩码进行补全，采用补全后的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新，补全后的第三掩码的长度与模型模型参数更新的长度相同。其中，预设补全方法可以是预先设置，如采用补零方法，对第三掩码长度不够的部分，采用补零的方式，使得第三掩码的长度与模型参数更新的长度相同，如模型参数更新的长度是100，第三掩码的长度是90，则可给第三掩码补充10个值为零的元素，使得第三掩码的长度为100。通过补全掩码的方式，使得掩码的长度可以小于模型参数更新的长度，从而进一步降低了掩码的计算复杂度。并且，掩码的长度只能在协调设备的TEE模块中可见，从而避免的协调设备根据掩码的长度推断补全的部分，根据补全的部分推断全局模型参数更新，保证了参与设备的隐私数据不会泄露给协调设备。
以及同样的补全原理，当第一掩码长度小于模型参数更新的长度时，参与设备可对第一掩码进行补全，采用补全后的第一掩码对模型参数更新进行去除掩码操作，得到带掩码的模型参数更新。
进一步地，提出本发明联邦学习隐私数据处理方法第三实施例，在本实施例中，所述联邦学习隐私数据处理方法应用于参与设备，参与设备与协调设备通信连接，本发明实施例协调设备和参与设备可以是智能手机、个人计算机和服务器等设备，参与设备可支持联邦学习模型的训练，在此不做具体限制。在本实施例中，联邦学习隐私数据处理方法包括以下步骤：
步骤A10，接收协调设备发送的本次模型更新的带掩码的全局模型参数更新；
在本实施例中，协调设备与各参与设备可通过握手、身份认证预先建立通信连接，并确定本次联邦学习的待训练模型。在联邦学习过程中，协调设备与参与设备通过相互配合，对待训练模型进行多次迭代更新，得到最终收敛的待训练模型，即可结束对待训练模型的训练过程。在一次模型更新中，协调设备向各个参与设备发送本次模型更新的带掩码的全局模型参数更新，各个参与设备接收协调设备发送各本次模型更新的带掩码的全局模型参数更新。
步骤A20，对带掩码的全局模型参数更新去除掩码得到全局模型参数更新；
参与设备对带掩码的全局模型参数更新去除掩码得到全局模型参数更新。具体地，参与设备可采用上一次模型更新过程中，本地生成的对模型参数更新进行添加掩码操作的第一掩码，对带掩码的全局模型参数更新进行去除掩码操作。
步骤A30，根据参与设备本地的训练数据和全局模型参数更新对联邦学习的待训练模型进行本地训练，得到模型参数更新；
参与设备本地存储有用于对待训练模型进行本地训练的训练数据，根据本地的训练数据和全局模型参数更新，对联邦学习的待训练模型进行本地训练，得到模型参数更新。具体的本地训练过程与现有的联邦学习中参与设备采用本地数据训练待训练模型的过程相同，在此不进行详细赘述。
步骤A40，采用本地生成的本次模型更新的第一掩码对模型参数更新添加掩码，得到带掩码的模型参数更新并发送给协调设备。
参与设备生成本次模型更新的第一掩码，采用第一掩码对模型参数更新进行添加掩码操作，得到带掩码的模型参数更新，并将带掩码的模型参数更新发送给协调设备。参与设备可以是每一次模型更新都生成不同的第一掩码，各个参与设备生成的第一掩码可以相同也可以不相同；各个参与设备可通过预设的掩码生成方式生成各自的第一掩码，其中，预设的掩码生成方式可以是预先根据需要进行设置；各个参与设备生成的第一掩码的长度可以相同也可以不相同，可以预先设置各个参与设备的第一掩码的长度，长度可以小于或者等于模型参数更新的长度，以降低生成掩码的计算复杂度。
由于参与设备向协调设备发送的是带掩码的模型参数更新，且协调设备中无法获知参与设备的第一掩码，也无法获知参与设备的掩码生成方式，从而无法获知参与设备的模型参数更新，因此，参与设备的隐私数据不会泄露给协调设备。并且，各个参与设备之间各自在本地生成第一掩码，使得不用增加额外的通信开销来协商参与设备之间掩码的一致性，从而降低了通信开销和电量开销。
进一步地，在一实施例中，若各个参与设备在同一次的模型更新中生成的第一掩码都相同，则步骤A20可包括：
步骤A201，采用上一次模型更新中的第一掩码对带掩码的全局模型参数更新去除掩码，得到全局模型参数更新，其中，协调设备在上一次模型更新中，接收各参与设备发送的带掩码的模型参数更新，并融合各带掩码的模型参数更新得到带掩码的全局模型参数更新。
协调设备可以是在一次模型更新中，接收各个参与设备发送的带掩码的模型参数更新，并直接对各个带掩码的模型参数更新进行融合操作，由于协调设备对带掩码的模型参数更新进行融合操作，因此，融合得到的是带掩码的全局模型参数更新。协调设备将得到的带掩码的全局模型参数更新发送给各个参与设备，以使各个参与设备依据该带掩码的全局模型参数更新开始新一次的模型更新。
各个参与设备在接收到带掩码的全局模型参数更新后，开始本次模型更新。具体地，参与设备采用上一次模型参数更新中的第一掩码对带掩码的全局模型参数更新进行去除掩码，得到全局模型参数更新。由于各个参与设备在同一次模型更新中的第一掩码相同，因此，各个参与设备可采用各自的第一掩码对带掩码的全局模型参数更新进行去除掩码，所得到的全局模型参数更新，与直接对各个参与设备的模型参数更新进行融合操作得到的全局模型参数更新相同，原理是：假设参与设备有两个，分别是设备1和设备2，设备1与设备2在上次模型更新时，分别得到了模型参数更新w1和w2，并分别各自产生相同的第一掩码m，分别采用m对w1和w1进行添加掩码操作，得到带掩码的模型参数更新v1＝w1+m和v2＝w1+m发送给协调设备；协调设备对v1和v2进行融合操作，如平均，得到带掩码的全局模型参数更新u＝(w1+w2)/2+m，发送给设备1和设备2；设备1和设备2分别采用上一次模型更新时的第一掩码m，对u进行去掩码操作w＝u－m，得到全局模型参数更新w＝(w1+w2)/2；而直接对w1和w2进行融合操作，如平均，得到的结果也是(w1+w2)/2。
基于上述原理，在本实施例中，可实现在协调设备不能获知参与设备的模型参数更新的情况下，即参与设备的隐私数据不泄露给协调设备的情况下，协调设备能够对参与设备的模型参数更新进行融合处理，保证联邦学习的正常进行。并且，带掩码的模型参数更新的长度并不会增加，因此，不会造成额外的通信带宽要求。并且，各个参与设备在各自本地生成同态的掩码，无需增加额外的通信开销来协商各个参与设备之间掩码的一致性，极大地降低了通信开销和电量开销。
进一步地，基于上述第三实施例，提出本发明联邦学习隐私数据处理方法第四实施例，在本发明联邦学习隐私数据处理方法第四实施例中，提出一种与上述步骤A201中不同的方案，以实现参与设备的隐私数据不会泄露给协调设备。具体地，协调设备中包括TEE模块，所述步骤A20包括：
步骤A203，生成与协调设备的第三掩码相同的第四掩码；
步骤A204，采用第四掩码对带掩码的全局模型参数更新去除掩码得到全局模型参数更新，其中，协调设备在上一次模型更新中，接收各参与设备发送的带掩码的模型参数更新，并在TEE模块中生成与各参与设备上一次模型更新的第一掩码相同的第二掩码，基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新，融合各模型参数更新得到全局模型参数更新，采用生成的第三掩码对全局模型参数更新添加掩码，得到本次模型更新的带掩码的全局模型参数更新。
协调设备在一次模型参数更新中，接收各个参与设备发送的带掩码的模型参数更新，并在TEE模块中，生成与本次模型更新中各个参与设备的第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新。需要说明的是，若各参与设备各自生成的第一掩码相同，则协调设备生成一个与该第一掩码相同的第二掩码即可，若参与设备各自生成的第一掩码不相同，则协调设备生成多个第二掩码，分别与各个参与设备的第一掩码对应相同。协调设备的TEE模块中可预置与各参与设备相同的掩码生成方式，使得协调设备在TEE模块中生成的第二掩码与第一掩码相同。
由于协调设备在TEE模块中采用与第一掩码相同的第二掩码对带掩码的模型参数更新进行去除掩码操作，因此，能够还原得到各参与设备的原始模型参数更新。并且，由于是在协调设备的TEE模块中进行去除掩码操作，去除掩码得到的模型参数更新只在TEE模块中可见，协调设备只能获得带掩码的模型参数更新，无法获得各参与设备的模型参数更新，从而不会窃取参与设备的隐私，保证了参与设备的隐私不会泄露给协调设备。
协调设备在TEE模块中，融合各模型参数更新得到全局模型参数更新，并生成第三掩码，采用第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新。其中，融合各模型参数更新得到全局模型参数更新，可以是通过融合函数对各个模型参数更新进行融合，融合函数可以是进行加权平均操作的函数。协调设备可以是每一次模型更新中都生成不同的第三掩码，若每一次模型更新中都生成不同的第三掩码，由于融合得到的全局模型参数更新用于下一次的模型更新，因此，协调设备生成的第三掩码对应下一次模型更新。协调设备的TEE模块中可采用与生成第二掩码相同的掩码生成方式生成第三掩码；第三掩码的长度也可以是预先进行设置，可以与第一掩码的长度相同，也可以不相同，同样地，为了降低生成掩码的计算复杂度，第三掩码的长度可以小于或等于全局模型参数更新的长度。
协调设备从TEE模块中获取带掩码的全局模型参数更新，将带掩码的全局模型参数更新发送给各个参与设备。若协调设备在本次模型更新中检测到待训练模型收敛，则可以将带掩码的全局模型参数更新发送给各个参与设备，供各个参与设备根据带掩码的全局模型参数更新确定待训练模型的最终参数，结束本次联邦学习。若协调设备在本次模型更新中检测到待训练模型收敛，则可以将带掩码的全局模型参数更新发送给各个参与设备，各个参与设备根据带掩码的全局模型参数更新进行下一次模型更新；各参与设备在接收到协调设备发送的带掩码的全局模型参数更新后，各自本地生成与协调设备的第三掩码相同的第四掩码，采用第四掩码，对带掩码的全局模型参数更新进行去除掩码操作，得到全局模型参数更新。各参与设备中可预置掩码生成方式，该掩码生成方式与协调设备中生成第三掩码的掩码生成方式相同，以使得参与设备生成的第四掩码与协调设备的第三掩码相同。
由于参与设备是采用与协调设备的第三掩码相同的第四掩码对带掩码的全局模型参数更新进行去除掩码操作，因此，参与设备能够还原得到协调设备TEE模块中的原始全局模型参数更新，从而保证了参与设备获取到准确的全局模型参数更新，不会造成数据的偏差；并且，由于协调设备是从TEE模块中获取带掩码的全局模型参数更新，而原始的全局模型参数更新只能在TEE模块中可见，因此，协调设备无法获知原始的全局模型参数更新，从而无法窃取各个参与设备的隐私数据。
在本实施例中，通过各参与设备基于各自生成的第一掩码对各自训练得到的模型参数更新添加掩码，得到各自带掩码的模型参数更新；协调设备接收各参与设备发送的带掩码的模型参数更新，在TEE模块中，生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新；在TEE模块中，融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新；将带掩码的全局模型参数更新发送各参与设备，各参与设备基于各自生成的与第三掩码相同的第四掩码，对带掩码的全局模型参数更新去除掩码得到全局模型参数更新。本实施例中，通过融合掩码技术和TEE技术，使得协调设备无法获得各参与设备的模型参数更新和全局模型参数更新，但能够在TEE模块中得到参与设备的模型参数更新并进行融合操作，实现了在不泄露给协调设备隐私的情况下，完成联邦学习的模型更新过程；并通过掩码技术，使得模型参数更新和全局模型参数更新既能够安全传输，又不会增加通信带宽要求；并且，通过协调设备和参与设备各自在本地生成掩码，保证生成用于添加掩码操作和去除掩码操作的掩码相同，使得参与设备与协调设备之间、参与设备和参与设备之间、或参与设备与第三方服务器之间，无需增加额外的通信开销去协商掩码的一致性，特别是在每一次模型更新中都更换掩码的场景，极大地降低了通信开销和电量开销。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (12)
1.一种联邦学习隐私数据处理方法，其特征在于，所述联邦学习隐私数据处理方法应用于协调设备，协调设备中包括可信执行环境TEE模块，协调设备与多个参与设备通信连接，所述联邦学习隐私数据处理方法包括以下步骤：
接收各参与设备发送的带掩码的模型参数更新，其中，各参与设备基于各自生成的第一掩码对各自训练得到的模型参数更新添加掩码，得到各自带掩码的模型参数更新；
在TEE模块中，生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新；
在TEE模块中，融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新；
将带掩码的全局模型参数更新发送给各参与设备，以供各参与设备基于各自生成的与第三掩码相同的第四掩码，对带掩码的全局模型参数更新去除掩码得到全局模型参数更新。
2.如权利要求1所述的联邦学习隐私数据处理方法，其特征在于，所述生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新的步骤包括：
至少根据本次模型更新的迭代索引，采用第一预设掩码生成器生成第二掩码；
基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新，其中，各参与设备至少根据本次模型更新的迭代索引，采用各自本地的第二预设掩码生成器生成第一掩码，第一预设掩码生成器与第二预设掩码生成器相同。
3.如权利要求1所述的联邦学习隐私数据处理方法，其特征在于，所述生成与第一掩码相同的第二掩码，并基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新的步骤包括：
至少根据本次模型更新的迭代索引和各参与设备的设备编号，采用第一预设掩码生成器生成与各参与设备对应的各第二掩码；
分别基于每个参与设备对应的第二掩码，对每个参与设备发送的各带掩码的模型参数更新去除掩码，得到各模型参数更新，其中，各参与设备至少根据本次模型更新的迭代索引和各自的设备编号，采用各自本地的第二预设掩码生成器生成各自的第一掩码，第一预设掩码生成器与第二预设掩码生成器相同。
4.如权利要求1至3任一项所述的联邦学习隐私数据处理方法，其特征在于，当第三掩码的长度小于模型参数更新的长度时，所述融合各模型参数更新得到全局模型参数更新，并采用生成的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新的步骤包括：
融合各模型参数更新得到全局模型参数更新，并采用第三预设掩码生成器生成第三掩码；
通过预设补全方法对第三掩码进行补全，采用补全后的第三掩码对全局模型参数更新添加掩码，得到带掩码的全局模型参数更新，其中，补全后的第三掩码的长度与模型参数更新的长度相同。
5.如权利要求1至3任一项所述的联邦学习隐私数据处理方法，其特征在于，所述融合各模型参数更新得到全局模型参数更新的步骤之后，还包括：
在TEE模块中根据全局模型参数更新判断联邦学习的待训练模型是否收敛；
若待训练模型收敛则结束对待训练模型的训练，或者若迭代次数达到预设最大迭代次数则结束对待训练模型的训练，或者若训练时间达到最大训练时间则结束对待训练模型的训练。
6.一种联邦学习隐私数据处理方法，其特征在于，所述联邦学习隐私数据处理方法应用于参与设备，参与设备与协调设备通信连接，所述联邦学习隐私数据处理方法包括以下步骤：
接收协调设备发送的本次模型更新的带掩码的全局模型参数更新；
对带掩码的全局模型参数更新去除掩码得到全局模型参数更新；
根据参与设备本地的训练数据和全局模型参数更新对联邦学习的待训练模型进行本地训练，得到模型参数更新；
采用本地生成的本次模型更新的第一掩码对模型参数更新添加掩码，得到带掩码的模型参数更新并发送给协调设备。
7.如权利要求6所述的联邦学习隐私数据处理方法，其特征在于，协调设备中包括可信执行环境TEE模块，
所述对带掩码的全局模型参数更新去除掩码得到全局模型参数更新的步骤包括：
生成与协调设备的第三掩码相同的第四掩码；
采用第四掩码对带掩码的全局模型参数更新去除掩码得到全局模型参数更新，其中，协调设备在上一次模型更新中，接收各参与设备发送的带掩码的模型参数更新，并在TEE模块中生成与各参与设备上一次模型更新的第一掩码相同的第二掩码，基于第二掩码对各带掩码的模型参数更新去除掩码，得到各模型参数更新，融合各模型参数更新得到全局模型参数更新，采用生成的第三掩码对全局模型参数更新添加掩码，得到本次模型更新的带掩码的全局模型参数更新。
8.如权利要求6所述的联邦学习隐私数据处理方法，其特征在于，所述对带掩码的全局模型参数更新去除掩码得到全局模型参数更新的步骤包括的步骤包括：
采用上一次模型更新中的第一掩码对带掩码的全局模型参数更新去除掩码，得到全局模型参数更新，其中，协调设备在上一次模型更新中，接收各参与设备发送的带掩码的模型参数更新，并融合各带掩码的模型参数更新得到带掩码的全局模型参数更新。
9.一种设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习隐私数据处理程序，所述联邦学习隐私数据处理程序被所述处理器执行时实现如权利要求1至5中任一项所述的联邦学习隐私数据处理方法的步骤。
10.一种设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习隐私数据处理程序，所述联邦学习隐私数据处理程序被所述处理器执行时实现如权利要求6至8中任一项所述的联邦学习隐私数据处理方法的步骤。
11.一种联邦学习隐私数据处理系统，其特征在于，所述联邦学习隐私数据处理系统包括：至少一个协调设备和至少一个参与设备，所述协调设备为权利要求9所述的设备，所述参与设备为权利要求10所述的设备。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有联邦学习隐私数据处理程序，所述联邦学习隐私数据处理程序被处理器执行时实现如权利要求1至8中任一项所述的联邦学习隐私数据处理方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910892806.9A CN110674528B (zh) | 2019-09-20 | 2019-09-20 | 联邦学习隐私数据处理方法、设备、系统及存储介质 |
| PCT/CN2019/119237 WO2021051629A1 (zh) | 2019-09-20 | 2019-11-18 | 联邦学习隐私数据处理方法、设备、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910892806.9A CN110674528B (zh) | 2019-09-20 | 2019-09-20 | 联邦学习隐私数据处理方法、设备、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110674528A true CN110674528A (zh) | 2020-01-10 |
| CN110674528B CN110674528B (zh) | 2024-04-09 |
Family
ID=69077085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910892806.9A Active CN110674528B (zh) | 2019-09-20 | 2019-09-20 | 联邦学习隐私数据处理方法、设备、系统及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110674528B (zh) |
| WO (1) | WO2021051629A1 (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291416A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护对业务模型进行数据预处理的方法及装置 |
| CN111340453A (zh) * | 2020-02-28 | 2020-06-26 | 深圳前海微众银行股份有限公司 | 联邦学习开发方法、装置、设备及存储介质 |
| CN111861099A (zh) * | 2020-06-02 | 2020-10-30 | 光之树(北京)科技有限公司 | 联邦学习模型的模型评估方法及装置 |
| CN112016932A (zh) * | 2020-09-04 | 2020-12-01 | 中国银联股份有限公司 | 测试方法、装置、服务器及介质 |
| CN112100642A (zh) * | 2020-11-13 | 2020-12-18 | 支付宝(杭州)信息技术有限公司 | 在分布式系统中保护隐私的模型训练方法及装置 |
| CN112149160A (zh) * | 2020-08-28 | 2020-12-29 | 山东大学 | 基于同态伪随机数的联邦学习隐私保护方法及系统 |
| CN112287377A (zh) * | 2020-11-25 | 2021-01-29 | 南京星环智能科技有限公司 | 基于联邦学习的模型训练方法、计算机设备及存储介质 |
| CN112560088A (zh) * | 2020-12-11 | 2021-03-26 | 同盾控股有限公司 | 基于知识联邦的数据安全交换方法、装置及存储介质 |
| CN112699386A (zh) * | 2020-12-22 | 2021-04-23 | 杭州趣链科技有限公司 | 隐私数据交集的获取方法、设备、电子装置和存储介质 |
| CN112800468A (zh) * | 2021-02-18 | 2021-05-14 | 支付宝(杭州)信息技术有限公司 | 一种基于隐私保护的数据处理方法、装置及设备 |
| CN113033826A (zh) * | 2021-05-25 | 2021-06-25 | 北京百度网讯科技有限公司 | 基于区块链的模型联合训练方法、装置、设备和介质 |
| CN113312169A (zh) * | 2020-02-27 | 2021-08-27 | 香港理工大学深圳研究院 | 一种计算资源的分配方法及装置 |
| CN113379062A (zh) * | 2020-03-10 | 2021-09-10 | 百度在线网络技术（北京）有限公司 | 用于训练模型的方法和装置 |
| CN113449872A (zh) * | 2020-03-25 | 2021-09-28 | 百度在线网络技术（北京）有限公司 | 基于联邦学习的参数处理方法、装置和系统 |
| WO2021244035A1 (en) * | 2020-06-03 | 2021-12-09 | Huawei Technologies Co., Ltd. | Methods and apparatuses for defense against adversarial attacks on federated learning systems |
| CN114186694A (zh) * | 2021-11-16 | 2022-03-15 | 浙江大学 | 一种高效安全，低通信的纵向联邦学习方法 |
| CN114492846A (zh) * | 2022-04-06 | 2022-05-13 | 天聚地合(苏州)科技股份有限公司 | 基于可信执行环境的跨域联邦学习方法及系统 |
| CN114662155A (zh) * | 2022-05-23 | 2022-06-24 | 广州中平智能科技有限公司 | 面向联邦学习的数据隐私安全机制评估方法、设备及介质 |
| WO2022158678A1 (ko) * | 2021-01-22 | 2022-07-28 | 삼성전자 주식회사 | 하드웨어 보안 아키텍쳐를 이용하여 연합 학습을 수행하는 전자 장치 및 이를 이용한 연합 학습 방법 |
| US11842260B2 (en) | 2020-09-25 | 2023-12-12 | International Business Machines Corporation | Incremental and decentralized model pruning in federated machine learning |
| CN112699386B (zh) * | 2020-12-22 | 2024-06-11 | 杭州趣链科技有限公司 | 隐私数据交集的获取方法、设备、电子装置和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150324690A1 (en) * | 2014-05-08 | 2015-11-12 | Microsoft Corporation | Deep Learning Training System |
| CN107871160A (zh) * | 2016-09-26 | 2018-04-03 | 谷歌公司 | 通信高效联合学习 |
| CN108701468A (zh) * | 2016-02-16 | 2018-10-23 | 日本电信电话株式会社 | 掩码估计装置、掩码估计方法以及掩码估计程序 |
| CN109308418A (zh) * | 2017-07-28 | 2019-02-05 | 阿里巴巴集团控股有限公司 | 一种基于共享数据的模型训练方法及装置 |
| CN109416721A (zh) * | 2016-06-22 | 2019-03-01 | 微软技术许可有限责任公司 | 隐私保护机器学习 |
| CN109753820A (zh) * | 2019-01-10 | 2019-05-14 | 贵州财经大学 | 数据开放共享的方法、装置及系统 |
| CN109871702A (zh) * | 2019-02-18 | 2019-06-11 | 深圳前海微众银行股份有限公司 | 联邦模型训练方法、系统、设备及计算机可读存储介质 |
| US20190227980A1 (en) * | 2018-01-22 | 2019-07-25 | Google Llc | Training User-Level Differentially Private Machine-Learned Models |
| CN110263936A (zh) * | 2019-06-14 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 横向联邦学习方法、装置、设备及计算机存储介质 |
| CN110263908A (zh) * | 2019-06-20 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 联邦学习模型训练方法、设备、系统及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3602422B1 (en) * | 2017-03-22 | 2022-03-16 | Visa International Service Association | Privacy-preserving machine learning |
-
2019
- 2019-09-20 CN CN201910892806.9A patent/CN110674528B/zh active Active
- 2019-11-18 WO PCT/CN2019/119237 patent/WO2021051629A1/zh active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150324690A1 (en) * | 2014-05-08 | 2015-11-12 | Microsoft Corporation | Deep Learning Training System |
| CN108701468A (zh) * | 2016-02-16 | 2018-10-23 | 日本电信电话株式会社 | 掩码估计装置、掩码估计方法以及掩码估计程序 |
| CN109416721A (zh) * | 2016-06-22 | 2019-03-01 | 微软技术许可有限责任公司 | 隐私保护机器学习 |
| CN107871160A (zh) * | 2016-09-26 | 2018-04-03 | 谷歌公司 | 通信高效联合学习 |
| CN109308418A (zh) * | 2017-07-28 | 2019-02-05 | 阿里巴巴集团控股有限公司 | 一种基于共享数据的模型训练方法及装置 |
| US20190227980A1 (en) * | 2018-01-22 | 2019-07-25 | Google Llc | Training User-Level Differentially Private Machine-Learned Models |
| CN109753820A (zh) * | 2019-01-10 | 2019-05-14 | 贵州财经大学 | 数据开放共享的方法、装置及系统 |
| CN109871702A (zh) * | 2019-02-18 | 2019-06-11 | 深圳前海微众银行股份有限公司 | 联邦模型训练方法、系统、设备及计算机可读存储介质 |
| CN110263936A (zh) * | 2019-06-14 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 横向联邦学习方法、装置、设备及计算机存储介质 |
| CN110263908A (zh) * | 2019-06-20 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 联邦学习模型训练方法、设备、系统及存储介质 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312169B (zh) * | 2020-02-27 | 2023-12-19 | 香港理工大学深圳研究院 | 一种计算资源的分配方法及装置 |
| CN113312169A (zh) * | 2020-02-27 | 2021-08-27 | 香港理工大学深圳研究院 | 一种计算资源的分配方法及装置 |
| CN111340453A (zh) * | 2020-02-28 | 2020-06-26 | 深圳前海微众银行股份有限公司 | 联邦学习开发方法、装置、设备及存储介质 |
| CN113379062A (zh) * | 2020-03-10 | 2021-09-10 | 百度在线网络技术（北京）有限公司 | 用于训练模型的方法和装置 |
| CN113449872B (zh) * | 2020-03-25 | 2023-08-08 | 百度在线网络技术（北京）有限公司 | 基于联邦学习的参数处理方法、装置和系统 |
| CN113449872A (zh) * | 2020-03-25 | 2021-09-28 | 百度在线网络技术（北京）有限公司 | 基于联邦学习的参数处理方法、装置和系统 |
| CN111291416A (zh) * | 2020-05-09 | 2020-06-16 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护对业务模型进行数据预处理的方法及装置 |
| CN111861099A (zh) * | 2020-06-02 | 2020-10-30 | 光之树(北京)科技有限公司 | 联邦学习模型的模型评估方法及装置 |
| US11651292B2 (en) | 2020-06-03 | 2023-05-16 | Huawei Technologies Co., Ltd. | Methods and apparatuses for defense against adversarial attacks on federated learning systems |
| WO2021244035A1 (en) * | 2020-06-03 | 2021-12-09 | Huawei Technologies Co., Ltd. | Methods and apparatuses for defense against adversarial attacks on federated learning systems |
| CN112149160A (zh) * | 2020-08-28 | 2020-12-29 | 山东大学 | 基于同态伪随机数的联邦学习隐私保护方法及系统 |
| CN112149160B (zh) * | 2020-08-28 | 2022-11-01 | 山东大学 | 基于同态伪随机数的联邦学习隐私保护方法及系统 |
| CN112016932B (zh) * | 2020-09-04 | 2024-05-17 | 中国银联股份有限公司 | 测试方法、装置、服务器及介质 |
| CN112016932A (zh) * | 2020-09-04 | 2020-12-01 | 中国银联股份有限公司 | 测试方法、装置、服务器及介质 |
| US11842260B2 (en) | 2020-09-25 | 2023-12-12 | International Business Machines Corporation | Incremental and decentralized model pruning in federated machine learning |
| CN112100642A (zh) * | 2020-11-13 | 2020-12-18 | 支付宝(杭州)信息技术有限公司 | 在分布式系统中保护隐私的模型训练方法及装置 |
| CN112287377A (zh) * | 2020-11-25 | 2021-01-29 | 南京星环智能科技有限公司 | 基于联邦学习的模型训练方法、计算机设备及存储介质 |
| CN112560088A (zh) * | 2020-12-11 | 2021-03-26 | 同盾控股有限公司 | 基于知识联邦的数据安全交换方法、装置及存储介质 |
| CN112560088B (zh) * | 2020-12-11 | 2024-05-28 | 同盾控股有限公司 | 基于知识联邦的数据安全交换方法、装置及存储介质 |
| CN112699386B (zh) * | 2020-12-22 | 2024-06-11 | 杭州趣链科技有限公司 | 隐私数据交集的获取方法、设备、电子装置和存储介质 |
| CN112699386A (zh) * | 2020-12-22 | 2021-04-23 | 杭州趣链科技有限公司 | 隐私数据交集的获取方法、设备、电子装置和存储介质 |
| WO2022158678A1 (ko) * | 2021-01-22 | 2022-07-28 | 삼성전자 주식회사 | 하드웨어 보안 아키텍쳐를 이용하여 연합 학습을 수행하는 전자 장치 및 이를 이용한 연합 학습 방법 |
| CN112800468A (zh) * | 2021-02-18 | 2021-05-14 | 支付宝(杭州)信息技术有限公司 | 一种基于隐私保护的数据处理方法、装置及设备 |
| CN112800468B (zh) * | 2021-02-18 | 2022-04-08 | 支付宝(杭州)信息技术有限公司 | 一种基于隐私保护的数据处理方法、装置及设备 |
| CN113033826B (zh) * | 2021-05-25 | 2021-09-10 | 北京百度网讯科技有限公司 | 基于区块链的模型联合训练方法、装置、设备和介质 |
| CN113033826A (zh) * | 2021-05-25 | 2021-06-25 | 北京百度网讯科技有限公司 | 基于区块链的模型联合训练方法、装置、设备和介质 |
| CN114186694A (zh) * | 2021-11-16 | 2022-03-15 | 浙江大学 | 一种高效安全，低通信的纵向联邦学习方法 |
| CN114186694B (zh) * | 2021-11-16 | 2024-06-11 | 浙江大学 | 一种高效安全，低通信的纵向联邦学习方法 |
| CN114492846A (zh) * | 2022-04-06 | 2022-05-13 | 天聚地合(苏州)科技股份有限公司 | 基于可信执行环境的跨域联邦学习方法及系统 |
| CN114662155B (zh) * | 2022-05-23 | 2022-09-02 | 广州中平智能科技有限公司 | 面向联邦学习的数据隐私安全机制评估方法、设备及介质 |
| CN114662155A (zh) * | 2022-05-23 | 2022-06-24 | 广州中平智能科技有限公司 | 面向联邦学习的数据隐私安全机制评估方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110674528B (zh) | 2024-04-09 |
| WO2021051629A1 (zh) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110674528B (zh) | 联邦学习隐私数据处理方法、设备、系统及存储介质 | |
| CN110263936B (zh) | 横向联邦学习方法、装置、设备及计算机存储介质 | |
| CN109165725B (zh) | 基于迁移学习的神经网络联邦建模方法、设备及存储介质 | |
| CN110601814B (zh) | 联邦学习数据加密方法、装置、设备及可读存储介质 | |
| CN109325584B (zh) | 基于神经网络的联邦建模方法、设备及可读存储介质 | |
| CN110633805B (zh) | 纵向联邦学习系统优化方法、装置、设备及可读存储介质 | |
| CN109886417B (zh) | 基于联邦学习的模型参数训练方法、装置、设备及介质 | |
| CN106899410B (zh) | 一种设备身份认证的方法及装置 | |
| CN105933353B (zh) | 安全登录的实现方法及系统 | |
| CN110099048B (zh) | 一种云存储方法及设备 | |
| CN110198296B (zh) | 鉴权方法和装置、存储介质及电子装置 | |
| WO2006033065A1 (en) | Sharing a secret by using random function | |
| CN108768928B (zh) | 一种信息获取方法、终端及服务器 | |
| CN116992458A (zh) | 基于可信执行环境的可编程数据处理方法以及系统 | |
| CN116502732B (zh) | 基于可信执行环境的联邦学习方法以及系统 | |
| US11101975B2 (en) | Ciphertext matching system and ciphertext matching method | |
| US11528134B2 (en) | Authentication using transformation verification | |
| CN111628985A (zh) | 安全访问控制方法、装置、计算机设备和存储介质 | |
| CN105743859B (zh) | 一种轻应用认证的方法、装置及系统 | |
| Rajkumar et al. | Deep learning-based key transmission (DLKT) protocol for secured group communication in cloud | |
| CN107193884B (zh) | 一种匹配数据的方法和装置 | |
| CN113055345B (zh) | 基于区块链的数据安全认证方法及装置 | |
| CN109889345B (zh) | 数据处理方法、装置、用户终端、管理平台和服务设备 | |
| CN115037549B (zh) | 应用防护方法、装置及存储介质 | |
| Sudha et al. | Merkle hash tree improved strongly constrained discrete hashing function-based authentication scheme for enabling security for smart home IoT applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |