CN112966832A - 基于多服务器的联邦学习系统 - Google Patents
基于多服务器的联邦学习系统 Download PDFInfo
- Publication number
- CN112966832A CN112966832A CN202110348333.3A CN202110348333A CN112966832A CN 112966832 A CN112966832 A CN 112966832A CN 202110348333 A CN202110348333 A CN 202110348333A CN 112966832 A CN112966832 A CN 112966832A
- Authority
- CN
- China
- Prior art keywords
- server
- global model
- local
- model parameter
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000003780 insertion Methods 0.000 claims description 22
- 230000037431 insertion Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种基于多服务器的联邦学习系统,实现步骤S1、构建环形哈希空间;S2、在环形哈希空间为第s服务器划分对应的全局模型参数范围;S3、向每一客户端广播每一服务器对应的全局模型参数范围,控制每一服务器初始化对应的全局模型参数;S4、在第t轮训练中,第k参与客户端从每一服务器获取对应的全局模型参数;S5、每一客户端进行本地训练,根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和本地数据量;S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和本地数据量更新对应的本轮全局模型参数;S7、判断模型是否收敛,若收敛,则结束,否则,令t=t+1,返回S4。本发明提高了联邦学习模型训练的效率。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于多服务器的联邦学习系统。
背景技术
联邦学习是一种分布式的机器学习算法,并且在一般分布式机器学习的基础上考虑了隐私保护的相关问题。联邦学习可以分为跨设备的联邦学习和跨数据中心的联邦学习。当数据分散于个人用户中时,可以利用跨设备的联邦学习,聚合用户设备中的数据,更高效地训练机器学习模型。而几个不同的参与方想用结合各方数据更好地训练模型,同时又希望不公开各方数据时,则可以使用跨数据中心的联邦学习。这两种联邦学习的区别主要表现为,网络连接的强弱不同、客户端的性能不同。本申请主要针对跨设备的联邦学习进行改进,现有的跨设备的联邦学习算法通常只有一个中心服务器节点用于参数更新和聚合,但当客户端较多时,中心服务器则会出现处理性能弱、存储性能低和网络带宽需求大的情况,从而延长了训练轮次间的等待时间,模型训练效率低。
发明内容
本发明目的在于,提供一种基于多服务器的联邦学习系统,提高联邦学习模型训练的效率。
根据本发明第一方面,提供了一种基于多服务器的联邦学习系统,包括S个服务器、K个客户端、全局模型参数key-value映射表,处理器和存储有计算及程序的存储器,其中,S和K均为大于等于2的整数,所述处理器在执行所述计算机程序时,实现以下步骤:
步骤S1、采用预设的哈希函数基于所述全局模型参数key-value映射表将所有全局模型参数映射到0-M的哈希空间内,再将哈希空间第0位定义为第M位的下一位,构建环形哈希空间;
步骤S2、根据第s服务器对应的预设全局模型参数范围数量ns,在所述环形哈希空间中设置ns个第s插入点,将每一第s插入点到下一插入点之间的全局模型参数范围划分为所述第s服务器对应的全局模型参数范围,s=1,2…S;
步骤S3、向每一客户端广播每一服务器对应的全局模型参数范围,并控制每一服务器初始化对应的全局模型参数,将t初始化为1;
步骤S4、在第t轮训练中,选择M个参与客户端,向每一参与客户端发送训练指令,第k参与客户端按照每一服务器对应的参数范围从每一服务器获取对应的全局模型参数,k=1,2,…M;
步骤S5、每一客户端基于获取的所有服务器对应的全局模型参数和本地数据进行本地训练,根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和客户端对应的本地数据量;
步骤S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和客户端对应的本地数据量更新对应的本轮全局模型参数;
步骤S7、判断模型是否收敛,若收敛,则结束模型训练,否则,令t=t+1,返回执行步骤S4。
本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案,本发明提供的一种基于多服务器的联邦学习系统可达到相当的技术进步性及实用性,并具有产业上的广泛利用价值,其至少具有下列优点:
本发明所述系统基于多个服务器,并为每一服务器划分对应的全局模型参数范围,进行联邦学习模型训练,提高了服务器的处理性能和存储性能,且能够根据具体需求增删服务器,即便客户端数量大,也能够提供足够的网络带宽,减少了训练轮次间的等待时间,提高了模型训练效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1为本发明实施例提供的基于多服务器的联邦学习系统示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于多服务器的联邦学习系统的具体实施方式及其功效,详细说明如后。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
本发明实施例提供了一种基于多服务器的联邦学习系统,如图1所示,包括S个服务器、K个客户端、全局模型参数key-value映射表,处理器和存储有计算及程序的存储器,其中,S和K均为大于等于2的整数,每一全局模型参数在全局模型参数key-value映射表中对应一组全局模型参数key-value映射表,每一个全局模型参数值,都可以通过一个key进行访问。需要说明的是,所述全局模型参数key-value映射表,处理器和存储器可以直接设置在S个服务器中,也可以设置在一个单独设置的调度服务中,如图1所示示例。所述处理器在执行所述计算机程序时,实现以下步骤:
步骤S1、采用预设的哈希函数基于所述全局模型参数key-value映射表将所有全局模型参数映射到0-M的哈希空间内,再将哈希空间第0位定义为第M位的下一位,构建环形哈希空间;
其中M具体可根据服务器、客户端、全局模型参数的数量等参数来具体确定。作为示例,M可取值为232-1,将哈希空间第0位定义为第M位的下一位,这样便使得整个哈希空间首尾连接,形成环形哈希空间。
步骤S2、根据第s服务器对应的预设全局模型参数范围数量ns,在所述环形哈希空间中设置ns个第s插入点,将每一第s插入点到下一插入点之间的全局模型参数范围划分为所述第s服务器对应的全局模型参数范围,s=1,2…S;
其中,服务器对应的预设全局模型参数范围数量可以相等,也可以不相等,作为一种优选实施例,每一服务器对应的预设全局模型参数范围数量相等,这样能够将全局模型参数均匀划分至多个服务器上,进一步提升模型训练的效率。
可以理解的是,可以在所述环形哈希空间中随机设置ns个第s插入点,这样可以使得每个服务器间隔地负责ns个参数范围,将整个环形哈希空间划分成S*ns个全局模型参数范围。
步骤S3、向每一客户端广播每一服务器对应的全局模型参数范围,并控制每一服务器初始化对应的全局模型参数,将t初始化为1;
步骤S4、在第t轮训练中,选择M个参与客户端,向每一参与客户端发送训练指令,第k参与客户端按照每一服务器对应的参数范围从每一服务器获取对应的全局模型参数,k=1,2,…M;
步骤S5、每一客户端基于获取的所有服务器对应的全局模型参数和本地数据进行本地训练,根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和客户端对应的本地数据量;
步骤S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和客户端对应的本地数据量更新对应的本轮全局模型参数;
步骤S7、判断模型是否收敛,若收敛,则结束模型训练,否则,令t=t+1,返回执行步骤S4。
需要说明的是,步骤S7具体可采用现有的判断模型收敛的方法来执行,在此不再展开描述。
本发明实施例所述系统基于多个服务器,并为每一服务器划分对应的全局模型参数范围,进行联邦学习模型训练,提高了服务器的处理性能和存储性能,且能够根据具体需求增删服务器,即便客户端数量大,也能够提供足够的网络带宽,减少了训练轮次间的等待时间,提高了模型训练效率。
作为一种实施例,本发明实施例具体可采用异步模型训练的方式进行,既提高了模型训练效率,由提高了模型训练精确度。具体的,所述步骤S5可包括:
其中,随着第k参与客户端本地模型训练而更新,的初始值为←表示将箭头右侧的值更新给箭头左侧的参数,为第k参与客户端基于所获取的所有服务器对应的全局模型参数的总和,η为预设的学习率,Dk表示第k参与客户端的本地数据,表示在Dk上的损失函数值;
作为一种优选实施例,所述步骤S51还可包括:
其中,表示在Dk上的评价函数值,为正则项,表示在Dk上的评价函数值,需要说明的是,评价函数具体为现有评价函数,在此不再展开描述,通过加入正则项可以避免异步训练带来的模型不一致问题,提高模型训练的效率和准确度。γ的取值范围可设置为(0,1),具体优选数值可采用有限次实验来确定。
作为一种实施例,所述步骤S6包括:
步骤S62、判断第s服务器是否已接收到本轮所有参与客户端发送的本地模型参数和本地数据量,若是,则将当前的确定为第s服务器最终的本轮全局模型参数,否则,等待所有第s服务器接收到本轮所有参与客户端发送的本地模型参数和本地数据量并更新后,将当前的确定为第s服务器最终的本轮全局模型参数;
步骤S63、当所有服务器得到最终的本轮全局模型参数后,本轮训练完成,执行步骤S7。
可以理解的是,通过步骤S61-步骤S63可以基于每一客户端上传的本地模型参数更新服务器的模型参数,实现了异步更新,无需等待所有客户端上传后再统一更新,进一步的,在其他客户端等待时间内,可以基于当前模型参数再次进行更新,从而进一步提高模型训练的准确性,具体的,所述步骤S62还可包括:
步骤S621、当第s服务器还未接收到本轮所有参与客户端发送的本地模型参数和本地数据量时,判断第k客户端发送给第s服务器对应的本地模型参数和本地数据量nk的次数是否超过预设次数阈值,若未超过,则将当前发送给第k客户端进行再次本地训练,并将再次训练得到的第s服务器对应的本地模型参数和本地数据量再次发送给第s服务器,直至第s服务器接收到本轮所有参与客户端发送的本地模型参数和本地数据量并更新
本发明实施例可以根据具体应用需求增加或删除服务器,作为一种实施例,当所述系统中新增E个服务器时,所述处理器在执行所述计算机程序时,还实现以下步骤:
步骤S10、根据第e新增服务器对应的预设全局模型参数范围数量ne,在所述环形哈希空间中设置ne个第e插入点,将每一第e插入点到下一插入点之间的全局模型参数范围划分为所述第e新增服务器对应的全局模型参数范围,e=1,2…E;
步骤S20、将第e新增服务器对应的全局模型参数范围对应的原服务器所对应的全局模型参数发送给第e新增服务器,并更新原服务器所对应的全局模型参数范围;
步骤S30、向每一客户端广播每一原服务器和新增服务器当前对应的全局模型参数范围。
例如,在加入新服务器a时,在环形哈希空间指定na个位置。将从每一个被指定的位置,到下一个已经被指定的位置之间的范围分配给新服务器a。并向参数范围发生变更的服务器发送消息,同时通知新服务器a负责的参数范围。由参数发生变更的旧服务器直接向新服务器a发送需要移交的全局模型参数。向所有客户端广播每个服务器的参数范围。
作为一种实施例,当所述系统中删除V个服务器时,所述处理器在执行所述计算机程序时,还实现以下步骤:
步骤S100、取消第v删除服务器在所述环形哈希空间上的插入点,将第v删除服务器每一的插入点对应的全局模型参数范围划分给该插入点之前的一个插入点对应的服务器,并将对应的全局模型参数发送给该服务器,v=1,2,…V;
步骤S200、向每一客户端广播删除V个服务器后每一服务器当前对应的全局模型参数范围。
例如,删除服务器b时,查找服务器b在环形哈希空间上的位置,并取消这些插入点,同时通知这些插入点之前的一个插入点对应的服务器接收服务器b负责的参数范围。由服务器b向对应的服务器发送对应的全局模型参数,向所有客户端广播每个服务器的参数范围。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (9)
1.一种基于多服务器的联邦学习系统,其特征在于,
包括S个服务器、K个客户端、全局模型参数key-value映射表,处理器和存储有计算及程序的存储器,其中,S和K均为大于等于2的整数,所述处理器在执行所述计算机程序时,实现以下步骤:
步骤S1、采用预设的哈希函数基于所述全局模型参数key-value映射表将所有全局模型参数映射到0-M的哈希空间内,再将哈希空间第0位定义为第M位的下一位,构建环形哈希空间;
步骤S2、根据第s服务器对应的预设全局模型参数范围数量ns,在所述环形哈希空间中设置ns个第s插入点,将每一第s插入点到下一插入点之间的全局模型参数范围划分为所述第s服务器对应的全局模型参数范围,s=1,2…S;
步骤S3、向每一客户端广播每一服务器对应的全局模型参数范围,并控制每一服务器初始化对应的全局模型参数,将t初始化为1;
步骤S4、在第t轮训练中,选择M个参与客户端,向每一参与客户端发送训练指令,第k参与客户端按照每一服务器对应的参数范围从每一服务器获取对应的全局模型参数,k=1,2,…M;
步骤S5、每一客户端基于获取的所有服务器对应的全局模型参数和本地数据进行本地训练,根据每一服务器对应的全局模型参数范围向每一服务器发送对应的本地模型参数和客户端对应的本地数据量;
步骤S6、每一服务器基于本轮M个参与客户端发送的本地更新参数和客户端对应的本地数据量更新对应的本轮全局模型参数;
步骤S7、判断模型是否收敛,若收敛,则结束模型训练,否则,令t=t+1,返回执行步骤S4。
4.根据权利要求3所述的联邦学习系统,其特征在于,
优选的,γ的取值范围为(0,1)。
5.根据权利要求1所述的联邦学习系统,其特征在于,
所述步骤S6包括:
步骤S62、判断第s服务器是否已接收到本轮所有参与客户端发送的本地模型参数和本地数据量,若是,则将当前的确定为第s服务器最终的本轮全局模型参数,否则,等待所有第s服务器接收到本轮所有参与客户端发送的本地模型参数和本地数据量并更新后,将当前的确定为第s服务器最终的本轮全局模型参数;
步骤S63、当所有服务器得到最终的本轮全局模型参数后,本轮训练完成,执行步骤S7。
7.根据权利要求1所述的联邦学习系统,其特征在于,
当所述系统中新增E个服务器时,所述处理器在执行所述计算机程序时,还实现以下步骤:
步骤S10、根据第e新增服务器对应的预设全局模型参数范围数量ne,在所述环形哈希空间中设置ne个第e插入点,将每一第e插入点到下一插入点之间的全局模型参数范围划分为所述第e新增服务器对应的全局模型参数范围,e=1,2…E;
步骤S20、将第e新增服务器对应的全局模型参数范围对应的原服务器所对应的全局模型参数发送给第e新增服务器,并更新原服务器所对应的全局模型参数范围;
步骤S30、向每一客户端广播每一原服务器和新增服务器当前对应的全局模型参数范围。
8.根据权利要求1所述的联邦学习系统,其特征在于,
当所述系统中删除V个服务器时,所述处理器在执行所述计算机程序时,还实现以下步骤:
步骤S100、取消第v删除服务器在所述环形哈希空间上的插入点,将第v删除服务器每一的插入点对应的全局模型参数范围划分给该插入点之前的一个插入点对应的服务器,并将对应的全局模型参数发送给该服务器,v=1,2,…V;
步骤S200、向每一客户端广播删除V个服务器后每一服务器当前对应的全局模型参数范围。
9.根据权利要求1所述的联邦学习系统,其特征在于,
每一服务器对应的预设全局模型参数范围数量相等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110348333.3A CN112966832B (zh) | 2021-03-31 | 2021-03-31 | 基于多服务器的联邦学习系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110348333.3A CN112966832B (zh) | 2021-03-31 | 2021-03-31 | 基于多服务器的联邦学习系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112966832A true CN112966832A (zh) | 2021-06-15 |
CN112966832B CN112966832B (zh) | 2022-10-11 |
Family
ID=76280564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110348333.3A Active CN112966832B (zh) | 2021-03-31 | 2021-03-31 | 基于多服务器的联邦学习系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112966832B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516249A (zh) * | 2021-06-18 | 2021-10-19 | 重庆大学 | 基于半异步的联邦学习方法、系统、服务器及介质 |
CN113780572A (zh) * | 2021-08-19 | 2021-12-10 | 支付宝(杭州)信息技术有限公司 | 建立个性化模型的方法和装置 |
CN114362940A (zh) * | 2021-12-29 | 2022-04-15 | 华东师范大学 | 一种数据隐私保护的无服务器异步联邦学习方法 |
CN115080801A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3660754A1 (en) * | 2016-09-26 | 2020-06-03 | Google LLC | Communication efficient federated learning |
CN111461874A (zh) * | 2020-04-13 | 2020-07-28 | 浙江大学 | 一种基于联邦模式的信贷风险控制系统及方法 |
CN111552986A (zh) * | 2020-07-10 | 2020-08-18 | 鹏城实验室 | 基于区块链的联邦建模方法、装置、设备及存储介质 |
CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
-
2021
- 2021-03-31 CN CN202110348333.3A patent/CN112966832B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3660754A1 (en) * | 2016-09-26 | 2020-06-03 | Google LLC | Communication efficient federated learning |
CN111461874A (zh) * | 2020-04-13 | 2020-07-28 | 浙江大学 | 一种基于联邦模式的信贷风险控制系统及方法 |
CN111552986A (zh) * | 2020-07-10 | 2020-08-18 | 鹏城实验室 | 基于区块链的联邦建模方法、装置、设备及存储介质 |
CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
NICOLAS KOURTELLIS: "FLaaS: Federated Learning as a Service", 《ARXIV》 * |
史鼎元: "面向企业数据孤岛的联邦排序学习", 《软件学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516249A (zh) * | 2021-06-18 | 2021-10-19 | 重庆大学 | 基于半异步的联邦学习方法、系统、服务器及介质 |
CN113780572A (zh) * | 2021-08-19 | 2021-12-10 | 支付宝(杭州)信息技术有限公司 | 建立个性化模型的方法和装置 |
CN114362940A (zh) * | 2021-12-29 | 2022-04-15 | 华东师范大学 | 一种数据隐私保护的无服务器异步联邦学习方法 |
CN114362940B (zh) * | 2021-12-29 | 2023-09-29 | 华东师范大学 | 一种数据隐私保护的无服务器异步联邦学习方法 |
CN115080801A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
CN115080801B (zh) * | 2022-07-22 | 2022-11-11 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112966832B (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112966832B (zh) | 基于多服务器的联邦学习系统 | |
CN111382844B (zh) | 一种深度学习模型的训练方法及装置 | |
US11423085B2 (en) | Graph database super vertex partitioning | |
US20180239800A1 (en) | Data query method and apparatus | |
CN110737658A (zh) | 数据分片存储方法、装置、终端及可读存储介质 | |
US10223437B2 (en) | Adaptive data repartitioning and adaptive data replication | |
US20160323385A1 (en) | Distributed Data Storage Method, Apparatus, and System | |
CN110728376B (zh) | 一种基于树状拓扑结构的联邦学习方法及装置 | |
WO2015196686A1 (zh) | 一种数据存储方法以及一种数据存储管理服务器 | |
US11212342B2 (en) | Merge trees for collaboration | |
WO2019019649A1 (zh) | 投资组合产品的生成方法、装置、存储介质和计算机设备 | |
US11238046B2 (en) | Information management device, information management method, and information management program | |
US10972296B2 (en) | Messaging to enforce operation serialization for consistency of a distributed data structure | |
US10296394B2 (en) | Consistent hashing | |
CN111008873B (zh) | 一种用户确定方法、装置、电子设备及存储介质 | |
CN112817940A (zh) | 基于梯度压缩的联邦学习数据处理系统 | |
CN116050540A (zh) | 一种基于联合双维度用户调度的自适应联邦边缘学习方法 | |
CN110659286B (zh) | 基于弱平衡空间树动态空间索引方法及其存储介质、装置 | |
CN111539517A (zh) | 基于图结构矩阵特征向量的图卷积神经网络生成方法 | |
CN108521376B (zh) | 软件定义网络中基于属性相似性的流表设计方法 | |
CN114386622A (zh) | 梯度压缩方法、装置、设备及存储介质 | |
CN112307230B (zh) | 一种数据存储的方法、及其数据获取方法、装置 | |
CN111382200A (zh) | 信息加载方法、装置、服务器及存储介质 | |
CN103514285A (zh) | 最优记录数据的生成系统和生成方法 | |
CN109710610B (zh) | 数据处理方法、装置及计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |