CN112288097A - 联邦学习数据处理方法、装置、计算机设备及存储介质 - Google Patents
联邦学习数据处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112288097A CN112288097A CN202011183893.XA CN202011183893A CN112288097A CN 112288097 A CN112288097 A CN 112288097A CN 202011183893 A CN202011183893 A CN 202011183893A CN 112288097 A CN112288097 A CN 112288097A
- Authority
- CN
- China
- Prior art keywords
- terminals
- gradient
- model parameters
- data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000003860 storage Methods 0.000 title claims description 17
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000013139 quantization Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 9
- 238000010801 machine learning Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008520 organization Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 210000004899 c-terminal region Anatomy 0.000 description 3
- 238000007667 floating Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了联邦学习数据处理方法,包括控制多个终端通过本地数据和模型参数分别执行联邦学习训练得到多个梯度值,梯度值的单位为第一数据量单位;对多个梯度值进行三值量化梯度计算得到多个三值梯度,三值梯度的单位为小于第一数据量单位的第二数据量单位;控制中心端随机接收多个终端的三值梯度;融合多个终端的三值梯度更新模型参数;多个终端基于接收到的更新后的模型参数得到产品推荐模型,并基于产品推荐模型处理本地用户数据,得到目标产品推荐数据。本发明通过在不同的终端设备进行梯度同步时,对梯度采用三值量化,减少需要传输的梯度大小,减少梯度传输的耗时,在更好的保护用户隐私的前提下快速实现模型的训练数据处理。
Description
技术领域
本发明涉及机器学习领域,尤其涉及一种联邦学习数据处理方法、装置、计算机设备及存储介质。
背景技术
人工智能由于深度学习技术的突破得到了快速的发展,深度学习技术能快速发展的一大主要的原因就是数据,数据是深度学习技术的核心驱动力,但是获取数据通常面临隐私保护问题,尤其是在金融、保险、银行等数据敏感行业应用中。
联邦学习技术的出现解决了数据隐私保护的问题,即在不批露底层数据的情况下实现人工智能模型的协同训练。联邦学习技术是一种多端协同的分布式加密机器学习技术,联邦学习中往往存在一个服务中心端和多个终端。随着目前深度学习模型的参数量越来越大,即使经过神经网络模型压缩技术压缩后的参数量也远远大于传统的机器学习模型的参数量,在不同的终端设备需要进行梯度同步的时候,如果一端在基于本地隐私数据得到的训练梯度需要同步到中心端,而且会面临传输时长过久,网络延迟太大等问题。
发明内容
有鉴于此,本发明提出一种联邦学习数据处理方法、装置、计算机设备及存储介质,用于解决现有技术中基于联邦学习的机器学习过程中,不同设备同步梯度数据传输时长久,延迟大的问题。
首先,为实现上述目的,本发明提出一种联邦学习数据处理方法,所述方法包括:
控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值,所述梯度值的单位为第一数据量单位;
对所述多个梯度值进行三值量化梯度计算以得到多个三值梯度,所述三值梯度的单位为第二数据量单位,所述第二数据量单位小于所述第一数据量单位;
控制中心端随机接收多个终端发送的对应的三值梯度;
控制所述中心端融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端;
控制所述多个终端根据更新后的所述模型参数得到产品推荐模型,并将多个终端接收到的本地用户数据输入至产品推荐模型中处理以得到目标产品推荐数据,将所述目标产品推荐数据传回所述多个终端。
优选的,所述本地数据为结构化数据,所述结构化数据包括文字或图片,所述控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值之前还包括:
控制所述多个终端收集所述本地数据;
向所述中心端请求初始模型参数。
优选的,所述控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值包括:
控制每个终端通过梯度下降法通过所述初始模型参数对所述本地数据执行t轮联邦学习训练迭代后得到模型参数;
通过所述模型参数对所述本地数据执行哈密顿算子运算得到每个终端对应的梯度值。
优选的,所述对所述多个梯度值进行三值量化梯度计算以得到多个三值梯度包括:
对所述多个梯度值中的每个梯度值进行三值转换;
当所述梯度值等于0时,将对应的三值梯度赋值为数值0;
当所述梯度值大于0时,将对应的三值梯度赋值为数值1;
当所述梯度值小于0时,将对应的三值梯度赋值为数值-1。
优选的,所述融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端包括:
融合所述多个终端对应的三值梯度以得到融合后的三值梯度;
根据融合后的三值梯度和中心端学习率更新所述模型参数得到更新后的模型参数。
优选的,所述融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端之后包括:
控制所述多个终端通过所述模型参数执行新的联邦学习训练,并在所述模型参数更新预设次数后停止训练。
优选的,所述控制所述多个终端通过所述模型参数执行新的联邦学习训练,并在所述模型参数更新预设次数后停止训练之后还包括:
将所述模型参数上传至区块链中。
为实现上述目的,本发明还提供一种联邦学习数据处理装置,所述装置包括:
训练模块,控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值,所述梯度值的单位为第一数据量单位;
优化模块,用于对所述多个梯度值进行三值量化梯度计算以得到多个三值梯度,所述三值梯度的单位为第二数据量单位,所述第二数据量单位小于所述第一数据量单位;
接收模块,用于控制中心端随机接收多个终端发送的对应的三值梯度;
更新模块,用于控制所述中心端融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端;
处理模块,用于控制所述多个终端根据更新后的所述模型参数得到产品推荐模型,并将多个终端接收到的本地用户数据输入至产品推荐模型中处理以得到目标产品推荐数据,将所述目标产品推荐数据传回所述多个终端。
为实现上述目的,本发明还提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
为实现上述目的,本发明还提供计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
相较于传统技术,本发明实施例的联邦学习数据处理方法、装置、计算机设备及存储介质,通过在不同的终端设备进行梯度同步时,通过对梯度采用三值量化,减少需要传输的梯度大小,大大减少梯度传输所需要的时间,在更好的保护用户隐私的前提下快速实现模型的训练数据处理。
附图说明
图1为本发明实施例的应用环境示意图;
图2为本发明实施例一的联邦学习数据处理方法的流程示意图;
图3为图2中控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值的流程示意图;
图4为图2中融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端的流程示意图;
图5为本发明计算机设备之实施例三的联邦学习数据处理装置结构示意图;
图6为本发明计算机设备之实施例四的硬件结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
请参阅图1,示出了本发明实施例的实施环境示意图。该实施环境包括:终端1,2…n和中心端。
终端是具有网络访问功能的电子设备,该设备可以是智能手机、平板电脑或者个人计算机等。
其中,终端安装有可以访问中心端的程序11,用户在程序11通过账号和密码登录访问中心端后,即可对中心端执行特定操作和输入。
中心端是一台服务器、若干服务器构成的服务器集群或者云计算中心。中心端中存储了程序21,程序21包括前端模块和后端模块,前端模块和后端模块可通过接口互相调用,用户在程序11通过账号和密码登录或者通过账号和密码登录访问中心端的程序21后,即可对程序21执行特定操作和输入。
在本实施例中,中心端中存储有数据库和数据表。不同的数据库可以通过用户的触发指令获取数据库中的数据。
在其他实施例中,数据库也可以存储在中心端集群中的不同服务器,或者通过网络连接的不同网络节点中,或者存储在用户端本地。
终端和中心端通过网络连接,网络中可包括网络节点,网络可以是互联网,局域网或者区块链网络。
本发明实施例的联邦学习数据处理方法可单独应用于程序11或程序21中,也可以分布式的同时应用于程序11和程序21中,或者以区块链形式存储于网络的节点中。
其中,每次终端传递的是三值梯度g,中心端传回的是模型参数w。
本实施例一种基于联邦学习的训练数据处理方法,可以应用于以下场景中,银行1,银行2…银行n由于其业务比较同质化,但是每个银行具有各自的用户,一个用户也可能在多个银行开户,所以不同银行之间的用户可能存在重叠部分和独有部分。
由于银行的业务类型比较同质化,所以不同银行可以联合训练一个基于大量用户的针对银行某业务类型的机器学习模型,以获得对于业务的机器学习特征,但是由于数据隐私,商业秘密等考虑,每个银行之间不能直接交换各自的本地用户数据。
为了确保训练过程中数据的保密性,因此引入了第三方合作者,即对应上图中的中心端,终端1,终端2…终端n对应银行1,银行2…银行n。
由于不同银行的用户不同,首先使用基于加密的用户ID对齐技术,来确认不同银行的共同用户,而每个银行都不会暴露各自的数据。在实体对齐过程中,系统不会公开彼此不重叠的用户。
在确定了公共实体之后,我们可以使用这些重叠的数据来训练机器学习模型来得到对应样本特征。
实施例一
本实施例的一种联邦学习数据处理方法,通过在不同的终端设备进行梯度同步时,通过对梯度采用三值量化,减少需要传输的梯度大小,大大减少梯度传输所需要的时间,在更好的保护用户隐私的前提下快速实现模型的训练数据处理。
请参考图2,本实施例的一种联邦学习数据处理方法,包括以下步骤:
步骤S100,控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值,所述梯度值的单位为第一数据量单位;
具体的,控制n个终端通过本地数据和模型参数分别执行联邦学习训练以得到n个梯度值;
首先选择符合预设条件的终端为执行初始联邦学习的训练终端;
例如,如果终端是手机,可以选择有wifi、空闲和连接了电源的终端作为训练终端,以避免影响用户对客户端的使用。
其中,步骤100:控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值之前还包括:
控制所述多个终端收集所述本地数据,然后向所述中心端请求初始模型参数W0。
首先通过终端1、终端2…终端n收集得到共同本地用户数据。这里的数据可以本地用户数据对应是图片,例如头像,文本或者已处理好的结构化数据,例如购买理财产品记录等。
多个终端和中心端组成联邦学习网络组织,联邦学习网络组织是通过多端协同进行分布式机器学习的,即多个终端可以在联邦学习网络组织中联合训练一个基于大量用户的针对某个业务类型的机器学习模型。因此,在每个终端开始训练数据之前,每个终端向中心服务端请求初始化模型参数。每个终端获取本地数据是因为每个终端对应的用户不同,每个终端具有对应的本地数据,因此,每个终端在联邦学习网络组织中均会获取对应的本地数据结合初始化模型参数进行训练,以满足每个终端对于模型的实际应用需求。
具体的,请参考图3,步骤S100包括:
步骤S120:通过所述模型参数对所述本地数据执行哈密顿算子运算得到每个终端对应的梯度值。
具体的,输入三个超参数:C(每次梯度融合获取C个终端的梯度)、B(终端上模型每次输入的批量大小)、E(每次梯度融合,每次终端训练的轮次数),中心端的学习率α,终端的学习率β。
步骤S200,对所述多个梯度值进行三值量化梯度计算以得到多个三值梯度,所述三值梯度的单位为第二数据量单位,所述第二数据量单位小于所述第一数据量单位;
具体的,对所述n个梯度值进行三值量化梯度计算以得到n个三值梯度。
具体的,通过三值量化算子模块,得到更轻量的梯度信息,即优化的梯度信息,推送该优化的梯度信息到中心端。
其中,三值量化梯度算子模块主要应用在加入联邦学习网络组织的终端(简称客户端)。在深度学习模型中,为了保证模型能够收敛和最终模型效果,模型的权重和反向传播的梯度均采用32位浮点数表示。每个加入联邦学习网络的终端在完成模型的前向传播、得到梯度后,需要通过深度学习框架的通信技术或者基于Http(HyperText TransferProtocol,超文本传输协议)实现通信。
具体的,步骤S200包括:
对所述多个梯度值中的每个梯度值进行三值转换;
当所述梯度值等于0时,将对应的三值梯度赋值为数值0;
当所述梯度值大于0时,将对应的三值梯度赋值为数值1;
当所述梯度值小于0时,将对应的三值梯度赋值为数值-1。
具体的,三值量化算子计算方法如下公式2所示:
通过公式2计算得到每个终端对应的三值梯度其中,sign(gt)是一个符号函数,当gt>0时,sign(gt)=1,当gt=0时,sign(gt)=0,当gt<0时,sign(gt)=-1,max(abc(gt))为张量,at为伯努利概率分布的采样数据,°为哈达玛乘积。
其中,at的每个元素通过以下公式3采样得到,采用的分布是伯努利概率分布。
公式3:
伯努利概率分布又叫做0-1分布,指一次随机试验,结果只有两种。也就是一个随机变量的取值只有0和1。
伯努利概率分布记为0-1分布或B(1,p),其中p表示一次伯努利实验中结果为正或为1的概率,其中k表示发生k次的概率。
综上,经过以上公式可以计算得到三值化后的优化的梯度信息。
步骤S300,控制中心端随机接收多个终端发送的对应的三值梯度;
具体的,将所述n个三值梯度发送至中心端,控制中心端随机选择接收c个终端发送的对应的三值梯度,其中c小于等于n;
当网络中的终端数量有限,此时中心端需要获取每个终端的梯度,此时c=n,当网络中的终端数量很多,此时中心端不需要获取每个终端的梯度,为了提高效率和进一步节约网络传输时间,则随机选择接收c个终端对应的三值梯度,此时c小于n。
具体的,请参考图4,步骤S300,包括:
步骤S310,融合所述多个终端对应的三值梯度以得到融合后的三值梯度gt+1;
步骤S320,根据融合后的三值梯度和中心端学习率更新所述模型参数wt得到更新后的模型参数wt+1;
具体的,通过公式wt+1=wt-αgt+1得到更新后的所述初始模型参数wt+1,其中α为中心端学习率,wt为中心端的模型参数。
具体的,中心端首先从加入联邦网络中随机选择C个终端{1,…,C}进行梯度的获取,中心端得到C个终端推送的梯度后,依次按照以上公式得到参数。
步骤S400,控制所述中心端融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端。
具体的,融合所述c个终端对应的三值梯度以更新所述初模型参数,并将更新后的所述模型参数传回所述n个终端。
中心端完成梯度的聚合和模型参数的更新后,将模型参数重新推送回终端,完成一次训练的迭代。
联邦学习网络组织是通过多端协同进行分布式机器学习的,中心端将获取到的多个终端的三值梯度融合后,再通过融合后的三值梯度得到中心端的更新后的模型参数,相当于中心端融合了多个终端的模型参数,有助于中心端对模型的整合与优化训练。
在本实施例中,步骤S400,融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端之后还包括:
控制所述多个终端通过所述更新后的模型参数wt+1执行新的联邦学习训练,并在所述更新后的模型参数wt+1更新预设次数后停止训练。
终端通过所述模型参数执行新的联邦学习训练得到新的梯度,通过上述步骤进行迭代,迭代预设次数后,模型的损失函数收敛,停止训练数据的处理。
步骤S500,控制所述多个终端根据更新后的所述模型参数得到产品推荐模型,并将多个终端接收到的本地用户数据输入至产品推荐模型中处理以得到目标产品推荐数据,将所述目标产品推荐数据传回所述多个终端。
在本申请另外的实施例中,还包括加密所述梯度信息和所述c个终端对应的梯度的步骤,以及解密所述梯度信息和所述c个终端对应的梯度的步骤。
具体的,通过同态加密的方法,通过加密机制下的参数交换来保护本地用户数据隐私。同态加密时,数据和模型本身不会被传输,也不能通过另一方的数据对其进行推测。因此,原始数据级别的泄漏可能性很小。通过加密解密可以提高数据处理时的安全性,进一步防止终端中的隐私数据被泄露。
在本实施例中,步骤S400之后还包括:
将根据所述模型参数wt+1上传至区块链中。
所述模型参数得到对应的摘要信息,具体来说,摘要信息由模型参数进行散列处理得到,比如利用sha256s算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。用户设备可以从区块链中下载得该摘要信息,以便查证模型参数是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例提供的联邦学习数据处理方法、装置、计算机设备及存储介质,通过在不同的终端设备进行梯度同步时,通过对梯度采用三值量化,减少需要传输的梯度大小,大大减少梯度传输所需要的时间,在更好的保护用户隐私的前提下快速实现模型的训练数据处理。
其中,现有方法直接使用浮点数的32比特进行梯度的通信,在现实落地的场景往往无法得到很好的效果。为了解决这一问题,本提案通过对梯度采用三值量化的技术减少需要传输的梯度大小,三值量化即将32位浮点数表示为{-1,0,1}三个值,这样便只用2个bit便可以实现梯度的传输的目的,大大减少梯度传输所需要的时间,在更好的保护用户隐私的前提下快速实现模型的训练,加快人工智能在金融、保险、银行等数据敏感行业的落地和应用。
实施例二
请继续参阅图5,示出了本发明知识图谱的推荐装置的程序模块示意图。在本实施例中,联邦学习数据处理装置20可以包括或被分割成一个或程序模块,一个或者程序模块被存储于存储介质中,并由一个或处理器所执行,以完成本发明,并可实现上述联邦学习数据处理方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述联邦学习数据处理装置20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能:
训练模块201,用于控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值,所述梯度值的单位为第一数据量单位;
优化模块202,用于对所述多个梯度值进行三值量化梯度计算以得到多个三值梯度,所述三值梯度的单位为第二数据量单位,所述第二数据量单位小于所述第一数据量单位;
接收模块203,用于控制所述中心端随机接收多个终端发送的对应的三值梯度;
更新模块204,用于控制所述中心端融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端;
处理模块205,用于控制所述多个终端根据更新后的所述模型参数得到产品推荐模型,并将多个终端接收到的本地用户数据输入至产品推荐模型中处理以得到目标产品推荐数据,将所述目标产品推荐数据传回所述多个终端。
实施例三
参阅图6,是本发明实施例三之计算机设备的硬件架构示意图。本实施例中,所述计算机设备2是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者服务器所组成的服务器集群)等。如图6所示,所述计算机设备2至少包括,但不限于,可通过系统总线相互通信连接存储器21、处理器22、网络接口23、以及联邦学习数据处理装置20。其中:
本实施例中,存储器21至少包括一种类型的计算机可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器21可以是计算机设备2的内部存储单元,例如该计算机设备2的硬盘或内存。在另一些实施例中,存储器21也可以是计算机设备2的外部存储设备,例如该计算机设备2上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中,存储器21通常用于存储安装于计算机设备2的操作系统和各类应用软件,例如上述实施例所述的联邦学习数据处理装置20的程序代码等。此外,存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中,处理器22用于运行存储器21中存储的程序代码或者处理数据,例如运行联邦学习数据处理装置20,以实现上述实施例的联邦学习数据处理方法。
所述网络接口23可包括无线网络接口或有线网络接口,该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如,所述网络接口23用于通过网络将所述计算机设备2与外部终端相连,在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,GSM)、宽带码分多址(WidebandCode Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图6仅示出了具有部件20-23的计算机设备2,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器21中的联邦学习数据处理装置20还可以被分割为一个或者程序模块,所述一个或者程序模块被存储于存储器21中,并由一个或处理器(本实施例为处理器22)所执行,以完成本发明。
实施例四
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储联邦学习数据处理装置20,被处理器执行时实现上述实施例所述的联邦学习数据处理方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种联邦学习数据处理方法,其特征在于,所述方法包括:
控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值,所述梯度值的单位为第一数据量单位;
对所述多个梯度值进行三值量化梯度计算以得到多个三值梯度,所述三值梯度的单位为第二数据量单位,所述第二数据量单位小于所述第一数据量单位;
控制中心端随机接收多个终端发送的对应的三值梯度;
控制所述中心端融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端;
控制所述多个终端根据更新后的所述模型参数得到产品推荐模型,并将多个终端接收到的本地用户数据输入至产品推荐模型中处理以得到目标产品推荐数据,将所述目标产品推荐数据传回所述多个终端。
2.如权利要求1所述的联邦学习数据处理方法,其特征在于,所述本地数据为结构化数据,所述结构化数据包括文字或图片,所述控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值之前还包括:
控制所述多个终端收集所述本地数据;
向所述中心端请求初始模型参数。
3.如权利要求2所述的联邦学习数据处理方法,其特征在于,所述控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值包括:
控制每个终端通过梯度下降法通过所述初始模型参数对所述本地数据执行t轮联邦学习训练迭代后得到模型参数;
通过所述模型参数对所述本地数据执行哈密顿算子运算得到每个终端对应的梯度值。
4.如权利要求3所述的联邦学习数据处理方法,其特征在于,所述对所述多个梯度值进行三值量化梯度计算以得到多个三值梯度包括:
对所述多个梯度值中的每个梯度值进行三值转换;
当所述梯度值等于0时,将对应的三值梯度赋值为数值0;
当所述梯度值大于0时,将对应的三值梯度赋值为数值1;
当所述梯度值小于0时,将对应的三值梯度赋值为数值-1。
5.如权利要求4所述的联邦学习数据处理方法,其特征在于,所述融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端包括:
融合所述多个终端对应的三值梯度以得到融合后的三值梯度;
根据融合后的三值梯度和中心端学习率更新所述模型参数得到更新后的模型参数。
6.如权利要求5所述的联邦学习数据处理方法,其特征在于,所述融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端之后包括:
控制所述多个终端通过所述模型参数执行新的联邦学习训练,并在所述模型参数更新预设次数后停止训练。
7.如权利要求6所述的联邦学习数据处理方法,其特征在于,所述控制所述多个终端通过所述模型参数执行新的联邦学习训练,并在所述模型参数更新预设次数后停止训练之后还包括:
将所述模型参数上传至区块链中。
8.一种联邦学习数据处理装置,其特征在于,所述装置包括:
训练模块,用于控制多个终端通过本地数据和模型参数分别执行联邦学习训练以得到多个梯度值,所述梯度值的单位为第一数据量单位;
优化模块,用于对所述多个梯度值进行三值量化梯度计算以得到多个三值梯度,所述三值梯度的单位为第二数据量单位,所述第二数据量单位小于所述第一数据量单位;
接收模块,用于控制中心端随机接收多个终端发送的对应的三值梯度;
更新模块,用于控制所述中心端融合所述多个终端对应的三值梯度以更新所述模型参数,并将更新后的所述模型参数传回所述多个终端;
处理模块,用于控制所述多个终端根据更新后的所述模型参数得到产品推荐模型,并将多个终端接收到的本地用户数据输入至产品推荐模型中处理以得到目标产品推荐数据,将所述目标产品推荐数据传回所述多个终端。
9.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述联邦学习数据处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至7任一项所述联邦学习数据处理方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011183893.XA CN112288097B (zh) | 2020-10-29 | 2020-10-29 | 联邦学习数据处理方法、装置、计算机设备及存储介质 |
PCT/CN2021/084269 WO2021204040A1 (zh) | 2020-10-29 | 2021-03-31 | 联邦学习数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011183893.XA CN112288097B (zh) | 2020-10-29 | 2020-10-29 | 联邦学习数据处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112288097A true CN112288097A (zh) | 2021-01-29 |
CN112288097B CN112288097B (zh) | 2024-04-02 |
Family
ID=74352534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011183893.XA Active CN112288097B (zh) | 2020-10-29 | 2020-10-29 | 联邦学习数据处理方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112288097B (zh) |
WO (1) | WO2021204040A1 (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112799708A (zh) * | 2021-04-07 | 2021-05-14 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及系统 |
CN112817940A (zh) * | 2021-02-07 | 2021-05-18 | 上海嗨普智能信息科技股份有限公司 | 基于梯度压缩的联邦学习数据处理系统 |
CN113052334A (zh) * | 2021-04-14 | 2021-06-29 | 中南大学 | 一种联邦学习实现方法、系统、终端设备及可读存储介质 |
CN113065143A (zh) * | 2021-03-17 | 2021-07-02 | 四川大学 | 基于区块链的工业数据安全共享 |
CN113077366A (zh) * | 2021-04-06 | 2021-07-06 | 上海网梯数码科技有限公司 | 一种基于区块链的学分管理方法 |
CN113095510A (zh) * | 2021-04-14 | 2021-07-09 | 深圳前海微众银行股份有限公司 | 一种基于区块链的联邦学习方法及装置 |
CN113178191A (zh) * | 2021-04-25 | 2021-07-27 | 平安科技(深圳)有限公司 | 基于联邦学习的语音表征模型训练方法、装置、设备及介质 |
CN113467928A (zh) * | 2021-05-20 | 2021-10-01 | 杭州趣链科技有限公司 | 基于区块链去中心化的联邦学习成员推理攻击防御方法和装置 |
WO2021204040A1 (zh) * | 2020-10-29 | 2021-10-14 | 平安科技(深圳)有限公司 | 联邦学习数据处理方法、装置、设备及存储介质 |
CN113762328A (zh) * | 2021-06-16 | 2021-12-07 | 京东科技控股股份有限公司 | 基于联邦学习的模型训练方法、装置、设备以及存储介质 |
CN113971090A (zh) * | 2021-10-21 | 2022-01-25 | 中国人民解放军国防科技大学 | 分布式深度神经网络的分层联邦学习方法及装置 |
CN114584436A (zh) * | 2022-05-06 | 2022-06-03 | 北京理工大学 | 一种单次握手的并发通信网络中的消息聚合系统及方法 |
CN114741611A (zh) * | 2022-06-08 | 2022-07-12 | 杭州金智塔科技有限公司 | 联邦推荐模型训练方法以及系统 |
WO2022218231A1 (zh) * | 2021-04-12 | 2022-10-20 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及装置 |
CN115278709A (zh) * | 2022-07-29 | 2022-11-01 | 南京理工大学 | 一种基于联邦学习的通信优化方法 |
CN116070719A (zh) * | 2023-03-20 | 2023-05-05 | 鹏城实验室 | 一种跨计算节点分布式训练高效通信方法及系统 |
CN117788983A (zh) * | 2024-02-28 | 2024-03-29 | 青岛海尔科技有限公司 | 基于大模型的图像数据处理方法及装置、存储介质 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114125070B (zh) * | 2021-11-10 | 2023-06-13 | 深圳大学 | 一种量化压缩的通信方法、系统、电子装置及存储介质 |
CN114339252B (zh) * | 2021-12-31 | 2023-10-31 | 深圳大学 | 一种数据压缩方法及装置 |
CN114330673A (zh) * | 2022-03-15 | 2022-04-12 | 支付宝(杭州)信息技术有限公司 | 一种对业务预测模型进行多方联合训练的方法及装置 |
CN114627648B (zh) * | 2022-03-16 | 2023-07-18 | 中山大学·深圳 | 一种基于联邦学习的城市交通流诱导方法及系统 |
CN114626615B (zh) * | 2022-03-21 | 2023-02-03 | 江苏仪化信息技术有限公司 | 一种生产过程监控管理方法及系统 |
CN114841361A (zh) * | 2022-03-26 | 2022-08-02 | 华为技术有限公司 | 一种模型训练方法及其相关设备 |
CN114580087B (zh) * | 2022-05-06 | 2022-08-02 | 山东大学 | 一种船载设备的联邦剩余使用寿命预测方法、装置及系统 |
CN115150288B (zh) * | 2022-05-17 | 2023-08-04 | 浙江大学 | 一种分布式通信系统和方法 |
CN114707430B (zh) * | 2022-06-02 | 2022-08-26 | 青岛鑫晟汇科技有限公司 | 一种基于多用户加密的联邦学习可视化系统与方法 |
CN115391734B (zh) * | 2022-10-11 | 2023-03-10 | 广州天维信息技术股份有限公司 | 一种基于联邦学习的客户满意度分析系统 |
CN115907041A (zh) * | 2022-11-02 | 2023-04-04 | 华为技术有限公司 | 一种模型训练方法及装置 |
CN116109608A (zh) * | 2023-02-23 | 2023-05-12 | 智慧眼科技股份有限公司 | 一种肿瘤分割方法、装置、设备及存储介质 |
CN116032663B (zh) * | 2023-03-27 | 2023-06-02 | 湖南红普创新科技发展有限公司 | 基于边缘设备的隐私数据处理系统、方法、设备及介质 |
CN116542342A (zh) * | 2023-05-16 | 2023-08-04 | 江南大学 | 一种可防御拜占庭攻击的异步联邦优化方法 |
CN116578674B (zh) * | 2023-07-07 | 2023-10-31 | 北京邮电大学 | 联邦变分自编码主题模型训练方法、主题预测方法及装置 |
CN117575291B (zh) * | 2024-01-15 | 2024-05-10 | 湖南科技大学 | 基于边缘参数熵的联邦学习的数据协同管理方法 |
CN117791877B (zh) * | 2024-02-23 | 2024-05-24 | 北京智芯微电子科技有限公司 | 配电物联网控制方法、装置、设备及介质 |
CN117808125B (zh) * | 2024-02-29 | 2024-05-24 | 浪潮电子信息产业股份有限公司 | 模型聚合方法、装置、设备、联邦学习系统及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110069715A (zh) * | 2019-04-29 | 2019-07-30 | 腾讯科技(深圳)有限公司 | 一种信息推荐模型训练的方法、信息推荐的方法及装置 |
WO2020059446A1 (ja) * | 2018-09-20 | 2020-03-26 | 富士フイルム株式会社 | 学習装置及び学習方法 |
CN111582505A (zh) * | 2020-05-14 | 2020-08-25 | 深圳前海微众银行股份有限公司 | 联邦建模方法、装置、设备及计算机可读存储介质 |
CN111582504A (zh) * | 2020-05-14 | 2020-08-25 | 深圳前海微众银行股份有限公司 | 联邦建模方法、装置、设备及计算机可读存储介质 |
US20200271720A1 (en) * | 2020-05-09 | 2020-08-27 | Hefei University Of Technology | Method for diagnosing analog circuit fault based on vector-valued regularized kernel function approximation |
US10776721B1 (en) * | 2019-07-25 | 2020-09-15 | Sas Institute Inc. | Accelerating configuration of machine-learning models |
CN111814985A (zh) * | 2020-06-30 | 2020-10-23 | 平安科技(深圳)有限公司 | 联邦学习网络下的模型训练方法及其相关设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046433B (zh) * | 2019-12-13 | 2021-03-05 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习的模型训练方法 |
CN112288097B (zh) * | 2020-10-29 | 2024-04-02 | 平安科技(深圳)有限公司 | 联邦学习数据处理方法、装置、计算机设备及存储介质 |
-
2020
- 2020-10-29 CN CN202011183893.XA patent/CN112288097B/zh active Active
-
2021
- 2021-03-31 WO PCT/CN2021/084269 patent/WO2021204040A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020059446A1 (ja) * | 2018-09-20 | 2020-03-26 | 富士フイルム株式会社 | 学習装置及び学習方法 |
CN110069715A (zh) * | 2019-04-29 | 2019-07-30 | 腾讯科技(深圳)有限公司 | 一种信息推荐模型训练的方法、信息推荐的方法及装置 |
US10776721B1 (en) * | 2019-07-25 | 2020-09-15 | Sas Institute Inc. | Accelerating configuration of machine-learning models |
US20200271720A1 (en) * | 2020-05-09 | 2020-08-27 | Hefei University Of Technology | Method for diagnosing analog circuit fault based on vector-valued regularized kernel function approximation |
CN111582505A (zh) * | 2020-05-14 | 2020-08-25 | 深圳前海微众银行股份有限公司 | 联邦建模方法、装置、设备及计算机可读存储介质 |
CN111582504A (zh) * | 2020-05-14 | 2020-08-25 | 深圳前海微众银行股份有限公司 | 联邦建模方法、装置、设备及计算机可读存储介质 |
CN111814985A (zh) * | 2020-06-30 | 2020-10-23 | 平安科技(深圳)有限公司 | 联邦学习网络下的模型训练方法及其相关设备 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021204040A1 (zh) * | 2020-10-29 | 2021-10-14 | 平安科技(深圳)有限公司 | 联邦学习数据处理方法、装置、设备及存储介质 |
CN112817940A (zh) * | 2021-02-07 | 2021-05-18 | 上海嗨普智能信息科技股份有限公司 | 基于梯度压缩的联邦学习数据处理系统 |
CN113065143A (zh) * | 2021-03-17 | 2021-07-02 | 四川大学 | 基于区块链的工业数据安全共享 |
CN113077366A (zh) * | 2021-04-06 | 2021-07-06 | 上海网梯数码科技有限公司 | 一种基于区块链的学分管理方法 |
CN112799708A (zh) * | 2021-04-07 | 2021-05-14 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及系统 |
CN112799708B (zh) * | 2021-04-07 | 2021-07-13 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及系统 |
WO2022218231A1 (zh) * | 2021-04-12 | 2022-10-20 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及装置 |
CN113052334B (zh) * | 2021-04-14 | 2023-09-29 | 中南大学 | 一种联邦学习实现方法、系统、终端设备及可读存储介质 |
CN113095510A (zh) * | 2021-04-14 | 2021-07-09 | 深圳前海微众银行股份有限公司 | 一种基于区块链的联邦学习方法及装置 |
CN113052334A (zh) * | 2021-04-14 | 2021-06-29 | 中南大学 | 一种联邦学习实现方法、系统、终端设备及可读存储介质 |
WO2022217914A1 (zh) * | 2021-04-14 | 2022-10-20 | 深圳前海微众银行股份有限公司 | 一种基于区块链的联邦学习方法及装置 |
CN113095510B (zh) * | 2021-04-14 | 2024-03-01 | 深圳前海微众银行股份有限公司 | 一种基于区块链的联邦学习方法及装置 |
CN113178191A (zh) * | 2021-04-25 | 2021-07-27 | 平安科技(深圳)有限公司 | 基于联邦学习的语音表征模型训练方法、装置、设备及介质 |
WO2022227212A1 (zh) * | 2021-04-25 | 2022-11-03 | 平安科技(深圳)有限公司 | 基于联邦学习的语音表征模型训练方法、装置、设备及介质 |
CN113467928A (zh) * | 2021-05-20 | 2021-10-01 | 杭州趣链科技有限公司 | 基于区块链去中心化的联邦学习成员推理攻击防御方法和装置 |
CN113762328A (zh) * | 2021-06-16 | 2021-12-07 | 京东科技控股股份有限公司 | 基于联邦学习的模型训练方法、装置、设备以及存储介质 |
CN113762328B (zh) * | 2021-06-16 | 2023-09-26 | 京东科技控股股份有限公司 | 基于联邦学习的模型训练方法、装置、设备以及存储介质 |
CN113971090B (zh) * | 2021-10-21 | 2022-09-13 | 中国人民解放军国防科技大学 | 分布式深度神经网络的分层联邦学习方法及装置 |
CN113971090A (zh) * | 2021-10-21 | 2022-01-25 | 中国人民解放军国防科技大学 | 分布式深度神经网络的分层联邦学习方法及装置 |
CN114584436A (zh) * | 2022-05-06 | 2022-06-03 | 北京理工大学 | 一种单次握手的并发通信网络中的消息聚合系统及方法 |
CN114584436B (zh) * | 2022-05-06 | 2022-07-01 | 北京理工大学 | 一种单次握手的并发通信网络中的消息聚合系统及方法 |
CN114741611A (zh) * | 2022-06-08 | 2022-07-12 | 杭州金智塔科技有限公司 | 联邦推荐模型训练方法以及系统 |
CN115278709A (zh) * | 2022-07-29 | 2022-11-01 | 南京理工大学 | 一种基于联邦学习的通信优化方法 |
CN115278709B (zh) * | 2022-07-29 | 2024-04-26 | 南京理工大学 | 一种基于联邦学习的通信优化方法 |
CN116070719A (zh) * | 2023-03-20 | 2023-05-05 | 鹏城实验室 | 一种跨计算节点分布式训练高效通信方法及系统 |
CN117788983A (zh) * | 2024-02-28 | 2024-03-29 | 青岛海尔科技有限公司 | 基于大模型的图像数据处理方法及装置、存储介质 |
CN117788983B (zh) * | 2024-02-28 | 2024-05-24 | 青岛海尔科技有限公司 | 基于大模型的图像数据处理方法及装置、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021204040A1 (zh) | 2021-10-14 |
CN112288097B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112288097B (zh) | 联邦学习数据处理方法、装置、计算机设备及存储介质 | |
KR102215773B1 (ko) | 영-지식 증명을 갖는 계정 노트 모델에 기초한 블록체인 데이터 보호 | |
CN110147994B (zh) | 一种基于同态加密的区块链的即时执行方法 | |
KR102215245B1 (ko) | 준동형 암호화를 사용하는 블록체인 데이터 보호 | |
US20210073678A1 (en) | Method, apparatus and system for secure vertical federated learning | |
CN110110229B (zh) | 一种信息推荐方法及装置 | |
CN110990871B (zh) | 基于人工智能的机器学习模型训练方法、预测方法及装置 | |
CN110189192B (zh) | 一种信息推荐模型的生成方法及装置 | |
WO2021068444A1 (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN113159327B (zh) | 基于联邦学习系统的模型训练方法、装置、电子设备 | |
CN111490878B (zh) | 密钥生成方法、装置、设备及介质 | |
CN116561789B (zh) | 隐私数据的处理方法、装置、电子设备及可读存储介质 | |
CN110519297A (zh) | 一种基于区块链私钥的数据处理方法以及设备 | |
CN110149323B (zh) | 一种具有千万级tps合约处理能力的处理装置 | |
CN112184444B (zh) | 基于信息的特征进行信息处理的方法、装置、设备及介质 | |
CN112818369A (zh) | 一种联合建模方法及装置 | |
EP4198783A1 (en) | Federated model training method and apparatus, electronic device, computer program product, and computer-readable storage medium | |
CN112597542B (zh) | 目标资产数据的聚合方法及装置、存储介质、电子装置 | |
CN116502732B (zh) | 基于可信执行环境的联邦学习方法以及系统 | |
US20140090040A1 (en) | System and method for real time secure image based key generation using partial polygons assembled into a master composite image | |
CN113434906B (zh) | 数据查询方法、装置、计算机设备及存储介质 | |
CN113254989B (zh) | 目标数据的融合方法、装置和服务器 | |
Bai et al. | Decentralized Identity Management: Prerequisiteof Web3 Identity Model | |
CN116743377B (zh) | 基于区块链密钥的数据处理方法、装置、设备及存储介质 | |
US20240089091A1 (en) | Secure cryptographic transfer using multiparty computation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |