CN111695701B - 基于联邦学习实现数据集构建处理的系统及其构建生成方法 - Google Patents

基于联邦学习实现数据集构建处理的系统及其构建生成方法 Download PDF

Info

Publication number
CN111695701B
CN111695701B CN202010535169.2A CN202010535169A CN111695701B CN 111695701 B CN111695701 B CN 111695701B CN 202010535169 A CN202010535169 A CN 202010535169A CN 111695701 B CN111695701 B CN 111695701B
Authority
CN
China
Prior art keywords
data set
data
generation
construction
continuing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010535169.2A
Other languages
English (en)
Other versions
CN111695701A (zh
Inventor
伊世林
曾维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fudata Technology Co ltd
Original Assignee
Shanghai Fudata Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fudata Technology Co ltd filed Critical Shanghai Fudata Technology Co ltd
Priority to CN202010535169.2A priority Critical patent/CN111695701B/zh
Publication of CN111695701A publication Critical patent/CN111695701A/zh
Application granted granted Critical
Publication of CN111695701B publication Critical patent/CN111695701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于联邦学习实现数据集构建处理的系统，包括数据集管理模块，与历史数据集相连接，用于导出和管理数据集；数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点。本发明还涉及一种基于联邦学习实现数据集构建的生成方法。采用了本发明的基于联邦学习实现数据集构建处理的系统及其构建生成方法，不同于之前联邦学习需要依靠自有样本集进行训练和使用，联邦学习数据集构建系统提供了多规则、多方式的仿真数据生成模式，为联邦学习各节点的学习训练提供所需数据集，可以有效的扩展数据使用链路，覆盖多种使用场景。

Description

基于联邦学习实现数据集构建处理的系统及其构建生成方法
技术领域
本发明涉及数据处理领域，尤其涉及人工智能领域，具体是指一种基于联邦学习实现数据集构建处理的系统及其构建生成方法。
背景技术
联邦学习(Federated Learning)是一种新兴的人工智能基础技术，在2016年由谷歌最先提出,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。联邦学习在训练和模型评估阶段都需要大量的数据集，但是实际使用过程中，数据集往往是稀缺资源，特别是在系统验收阶段，现有的数据集往往不能覆盖算法的各种训练和使用场景。为此，提出一种联邦学习数据集构建方案，便于生成不同场景下的联邦学习所需要的数据。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种满足操作简便、适用范围较为广泛的基于联邦学习实现数据集构建处理的系统及其构建生成方法。
为了实现上述目的，本发明的基于联邦学习实现数据集构建处理的系统及其构建生成方法如下：
该基于联邦学习实现数据集构建处理的系统，其主要特点是，所述的系统包括：
数据集管理模块，与历史数据集相连接，用于导出和管理数据集；
数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点。
较佳地，所述的数据集管理模块包括：
数据集上传单元，与历史数据集相连接，用于上传数据集进行有依赖的初始化；
数据集导出单元，与数据集上传单元和数据集生成模块相连接，用于本地导出和保存生成的数据集。
较佳地，所述的数据集生成规则包含初始化规则和数据变异规则，所述的初始化规则包含无依赖的初始化和有依赖的初始化。
较佳地，所述的无依赖的初始化在无数据的基础上，根据特征名生成规则、特征类型生成规则和数据生成规则，构建出一组原始数据集。
较佳地，所述的有依赖的初始化是在历史数据的基础上，增加历史数据函数式变化和历史数据乱序，提取新的生成规则。
较佳地，所述的数据生成规则包含数据单调性构建、常数构建、数据边界构建、函数构建、数据集合构建和数据周期性构建。
较佳地，所述的联邦学习数据集的生成方式分为单机生成模式和分布式生成模式，所述的单机生成模式中主节点根据数据集生成规则生成数据集，分发给参与节点。
较佳地，所述的单机生成模式的分发过程包含公平分发和非公平分发两种分发方式。
该利用上述系统实现基于联邦学习的数据集构建生成的方法，其主要特点是，所述的方法包括以下步骤：
(1)判断是否依赖初始化，如果是，则继续上传历史数据样本集；否则，继续步骤(2)；
(2)使用规则生成器生成数据集规则；
(3)判断是否分布式分发，如果是，则继续步骤(4)；否则，继续步骤(6)；
(4)发送数据集规则给参与节点，判断是否有依赖初始化，如果是，则继续步骤(5)；否则，参与节点根据数据集规则生产数据集，继续步骤(8)；
(5)发送历史数据集给参与节点，参与节点根据数据集规则和历史数据集生产数据集，继续步骤(8)；
(6)判断是否有依赖初始化，如果是，则拉取数据集；否则，继续步骤(7)；
(7)生成数据集，判断是否公平分发，如果是，则公平分发到参与节点，继续步骤(8)；否则，根据权重分发数据到参与节点，继续步骤(8)；
(8)进行状态汇总。
较佳地，所述的方法包括按行公平分发以及按特征公平分发的单机生成步骤，具体包括以下处理过程：
(1-1)计算待生成节点数量n；
(1-2)数据行或者列的长度除以待生成节点数量n，平均分配给每个节点；
(1-3)通过网络传输，分发每个参与联邦学习的节点。
较佳地，所述的方法包括非公平分发的单机生成步骤，具体为非公平分发根据各参与节点自身权重，分发给各参与节点不同的数据集。
较佳地，所述的非公平分发具体包括以下处理过程：
(2-1)给定节点权重；
(2-2)对节点进行归一化；
(2-3)根据权重为每个节点分配数据量。
采用了本发明的基于联邦学习实现数据集构建处理的系统及其构建生成方法，不同于之前联邦学习需要依靠自有样本集进行训练和使用，联邦学习数据集构建系统提供了多规则、多方式的仿真数据生成模式，为联邦学习各节点的学习训练提供所需数据集，可以有效的扩展数据使用链路，覆盖多种使用场景。
附图说明
图1为本发明的基于联邦学习实现数据集构建处理的系统的结构示意图。
图2为本发明的实现基于联邦学习的数据集构建生成的方法的联邦学习数据集规则生成器示意图。
图3为本发明的实现基于联邦学习的数据集构建生成的方法的流程图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
本发明的该基于联邦学习实现数据集构建处理的系统，其中包括：
数据集管理模块，与历史数据集相连接，用于导出和管理数据集；
数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点。
作为本发明的优选实施方式，所述的数据集管理模块包括：
数据集上传单元，与历史数据集相连接，用于上传数据集进行有依赖的初始化；
数据集导出单元，与数据集上传单元和数据集生成模块相连接，用于本地导出和保存生成的数据集。
作为本发明的优选实施方式，所述的数据集生成规则包含初始化规则和数据变异规则，所述的初始化规则包含无依赖的初始化和有依赖的初始化。
作为本发明的优选实施方式，所述的无依赖的初始化在无数据的基础上，根据特征名生成规则、特征类型生成规则和数据生成规则，构建出一组原始数据集。
作为本发明的优选实施方式，所述的有依赖的初始化是在历史数据的基础上，增加历史数据函数式变化和历史数据乱序，提取新的生成规则。
作为本发明的优选实施方式，所述的数据生成规则包含数据单调性构建、常数构建、数据边界构建、函数构建、数据集合构建和数据周期性构建。
作为本发明的优选实施方式，所述的联邦学习数据集的生成方式分为单机生成模式和分布式生成模式，所述的单机生成模式中主节点根据数据集生成规则生成数据集，分发给参与节点。
作为本发明的优选实施方式，所述的单机生成模式的分发过程包含公平分发和非公平分发两种分发方式。
本发明的该利用上述系统实现基于联邦学习的数据集构建生成的方法，其中包括以下步骤：
(1)判断是否依赖初始化，如果是，则继续上传历史数据样本集；否则，继续步骤(2)；
(2)使用规则生成器生成数据集规则；
(3)判断是否分布式分发，如果是，则继续步骤(4)；否则，继续步骤(6)；
(4)发送数据集规则给参与节点，判断是否有依赖初始化，如果是，则继续步骤(5)；否则，参与节点根据数据集规则生产数据集，继续步骤(8)；
(5)发送历史数据集给参与节点，参与节点根据数据集规则和历史数据集生产数据集，继续步骤(8)；
(6)判断是否有依赖初始化，如果是，则拉取数据集；否则，继续步骤(7)；
(7)生成数据集，判断是否公平分发，如果是，则公平分发到参与节点，继续步骤(8)；否则，根据权重分发数据到参与节点，继续步骤(8)；
(8)进行状态汇总。
所述的方法包括按行公平分发以及按特征公平分发的单机生成步骤，具体包括以下处理过程：
(1-1)计算待生成节点数量n；
(1-2)数据行或者列的长度除以待生成节点数量n，平均分配给每个节点；
(1-3)通过网络传输，分发每个参与联邦学习的节点；
所述的非公平分发具体包括以下处理过程：
(2-1)给定节点权重；
(2-2)对节点进行归一化；
(2-3)根据权重为每个节点分配数据量。
作为本发明的优选实施方式，所述的方法包括非公平分发的单机生成步骤，具体为非公平分发根据各参与节点自身权重，分发给各参与节点不同的数据集。
本发明的具体实施方式中，在联邦学习过程中，每个参与节点拥有自己的数据集，在各自的数据集的基础上，以横向融合或纵向融合的方式生成一个虚拟的融合数据集，再使用融合数据集进行学习建模。横向融合为将多节点的数据集，以匹配字段为中心，进行数据集的补充合并，使得原本分散的数据产生新的融合价值。纵向融合为将多节点的数据集，以字段含义为中心，进行数据集的拓展延伸，有利于拓展数据价值。而在实际的使用过程中，自有数据集往往存在多种限制，难以满足实际需求。一个可以动态设置数据集生成规则的联邦学习数据集的构建系统，可以有效的扩展数据使用链路，覆盖多种使用场景。
基于联邦学习实现数据集构建处理的系统架构如图1所示，其中数据集管理模块的数据集上传用于上传一个数据集做有依赖的初始化，数据集导出用于生成数据集本地导出和保存。
联邦学习数据集分法的方式不同于之前联邦学习需要依靠自有样本集进行训练和使用，联邦学习数据集构建系统提供了多规则、多方式的仿真数据生成模式，为联邦学习各节点的学习训练提供所需数据集。
联邦学习仿真数据集的生成规则包含初始化规则和数据变异规则。初始化是指原始数据的生成。初始化规则又细分为无依赖的初始化和有依赖的初始化。
1、无依赖的初始化：
无依赖的初始化，可以在无数据的基础上，根据特征名生成规则、特征类型生成规则、数据生成规则，构建出一组原始数据集。其中数据生成规则包含数据单调性构建、常数构建、数据边界构建、函数构建、数据集合构建、数据周期性构建等。通过以上的构建规则，可以生成一份无依赖的初始化规则。
2、有依赖的初始化：
有依赖的初始化是指在历史数据的基础上，增加历史数据函数式变化、历史数据乱序等，提取新的生成规则。
数据变异是指在原始数据集的基础上，通过随机修改、随机替换、随机置空、跳出边界、随机移除、同类型变异等方式，丰富数据真实性。
联邦学习数据集生成方式如下：
数据集的生成和构建方式，根据数据生成方式和分发方式的差异一般分为两种，单机生成模式和分布式生成模式。在单机生成模式中，主节点根据数据集生成规则生成数据集，分发给参与节点，分发的过程我们提出两种分发方式：公平分发和非公平分发。
1、按行公平分发和按特征公平分法的分发步骤如下：
a.计算待生成节点数量n；
b.数据行或者列的长度除以n，比如数据集行号是1001，1002，1003，1004，长度为4，平均分配给每个3个节点，每个节点获得的数据是[1001]，[1002]，[1003，1004]，无法整除的时候，最后一个节点会多分配一些数据；
c.如果是按列来公平分法类似，只是分割字段从行号变为列编号；
d.通过网络传输，数据分法给每个参与联邦学习的节点。
2、非公平分发的分发步骤如下：
依据各参与节点自身权重，分发给各参与节点不同的数据集。
a.给定节点权重，比如3个节点权重分别为3，6，1；
b.进行归一化，得到0.3，0.6，0.1；
c.数据长度为10，那么每个节点分配的数据量是3，6，1个，计算过程的小数向下取整，并且保证没有被分配的数据都给到最后一个节点。
在分布式生成模式中，参与节点根据数据生成规则，各自完成本节点数据集的生成，并反馈状态给中心节点。分布式生成模式能够合理使用多节点的机器资源，数据构建效率更高。
采用了本发明的基于联邦学习实现数据集构建处理的系统及其构建生成方法，不同于之前联邦学习需要依靠自有样本集进行训练和使用，联邦学习数据集构建系统提供了多规则、多方式的仿真数据生成模式，为联邦学习各节点的学习训练提供所需数据集，可以有效的扩展数据使用链路，覆盖多种使用场景。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (11)

1.一种基于联邦学习实现数据集构建处理的系统，其特征在于，所述的系统包括：
数据集管理模块，与历史数据集相连接，用于导出和管理数据集；
数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点；
所述的数据集管理模块包括：
数据集上传单元，与历史数据集相连接，用于上传数据集进行有依赖初始化；
数据集导出单元，与数据集上传单元和数据集生成模块相连接，用于本地导出和保存生成的数据集；
所述的系统进行以下处理：
(1)判断是否依赖初始化，如果是，则继续上传历史数据样本集；否则，继续步骤(2)；
(2)使用规则生成器生成数据集规则；
(3)判断是否分布式分发，如果是，则继续步骤(4)；否则，继续步骤(6)；
(4)发送数据集规则给参与节点，判断是否有依赖初始化，如果是，则继续步骤(5)；否则，参与节点根据数据集规则生产数据集，继续步骤(8)；
(5)发送历史数据集给参与节点，参与节点根据数据集规则和历史数据集生产数据集，继续步骤(8)；
(6)判断是否有依赖初始化，如果是，则拉取数据集；否则，继续步骤(7)；
(7)生成数据集，判断是否公平分发，如果是，则公平分发到参与节点，继续步骤(8)；否则，根据权重分发数据到参与节点，继续步骤(8)；
(8)进行状态汇总。
2.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的数据生成规则包含初始化规则和数据变异规则，所述的初始化规则包含无依赖初始化和有依赖初始化。
3.根据权利要求2所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的无依赖初始化在无数据的基础上，根据特征名生成规则、特征类型生成规则和数据生成规则，构建出一组原始数据集。
4.根据权利要求2所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的有依赖初始化是在历史数据的基础上，增加历史数据函数式变化和历史数据乱序，提取新的生成规则。
5.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的数据生成规则包含数据单调性构建、常数构建、数据边界构建、函数构建、数据集合构建和数据周期性构建。
6.根据权利要求1所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的数据集的生成方式分为单机生成模式和分布式生成模式，所述的单机生成模式中主节点根据数据集生成规则生成数据集，分发给参与节点。
7.根据权利要求6所述的基于联邦学习实现数据集构建处理的系统，其特征在于，所述的单机生成模式的分发过程包含公平分发和非公平分发两种分发方式。
8.一种实现基于联邦学习的数据集构建生成的方法，所述的方法利用基于联邦学习实现数据集构建处理的系统，所述的系统包括：
数据集管理模块，与历史数据集相连接，用于导出和管理数据集；
数据集生成模块，与所述的数据集管理模块相连接，用于参与节点根据数据生成规则各自完成本节点数据集的生成，并反馈状态至中心节点；
所述的数据集管理模块包括：
数据集上传单元，与历史数据集相连接，用于上传数据集进行有依赖初始化；
数据集导出单元，与数据集上传单元和数据集生成模块相连接，用于本地导出和保存生成的数据集；
其特征在于，所述的方法包括以下步骤：
(1)判断是否依赖初始化，如果是，则继续上传历史数据样本集；否则，继续步骤(2)；
(2)使用规则生成器生成数据集规则；
(3)判断是否分布式分发，如果是，则继续步骤(4)；否则，继续步骤(6)；
(4)发送数据集规则给参与节点，判断是否有依赖初始化，如果是，则继续步骤(5)；否则，参与节点根据数据集规则生产数据集，继续步骤(8)；
(5)发送历史数据集给参与节点，参与节点根据数据集规则和历史数据集生产数据集，继续步骤(8)；
(6)判断是否有依赖初始化，如果是，则拉取数据集；否则，继续步骤(7)；
(7)生成数据集，判断是否公平分发，如果是，则公平分发到参与节点，继续步骤(8)；否则，根据权重分发数据到参与节点，继续步骤(8)；
(8)进行状态汇总。
9.根据权利要求8所述的实现基于联邦学习的数据集构建生成的方法，其特征在于，所述的方法包括按行公平分发以及按特征公平分发的单机生成步骤，具体包括以下处理过程：
(1-1)计算待生成节点数量n；
(1-2)数据行或者列的长度除以待生成节点数量n，平均分配给每个节点；
(1-3)通过网络传输，分发每个参与联邦学习的节点。
10.根据权利要求8所述的实现基于联邦学习的数据集构建生成的方法，其特征在于，所述的方法包括非公平分发的单机生成步骤，具体为非公平分发根据各参与节点自身权重，分发给各参与节点不同的数据集。
11.根据权利要求10所述的实现基于联邦学习的数据集构建生成的方法，其特征在于，所述的非公平分发具体包括以下处理过程：
(2-1)给定节点权重；
(2-2)对节点进行归一化；
(2-3)根据权重为每个节点分配数据量。
CN202010535169.2A 2020-06-12 2020-06-12 基于联邦学习实现数据集构建处理的系统及其构建生成方法 Active CN111695701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010535169.2A CN111695701B (zh) 2020-06-12 2020-06-12 基于联邦学习实现数据集构建处理的系统及其构建生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010535169.2A CN111695701B (zh) 2020-06-12 2020-06-12 基于联邦学习实现数据集构建处理的系统及其构建生成方法

Publications (2)

Publication Number Publication Date
CN111695701A CN111695701A (zh) 2020-09-22
CN111695701B true CN111695701B (zh) 2021-08-13

Family

ID=72480575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010535169.2A Active CN111695701B (zh) 2020-06-12 2020-06-12 基于联邦学习实现数据集构建处理的系统及其构建生成方法

Country Status (1)

Country Link
CN (1) CN111695701B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162959B (zh) * 2020-10-15 2023-10-10 深圳技术大学 一种医疗数据共享方法及装置
CN113486378A (zh) * 2021-07-22 2021-10-08 杭州煋辰数智科技有限公司 基于联邦学习实现数据集构建处理的系统及其生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108122027A (zh) * 2016-11-29 2018-06-05 华为技术有限公司 一种神经网络模型的训练方法、装置及芯片
CN110297848A (zh) * 2019-07-09 2019-10-01 深圳前海微众银行股份有限公司 基于联邦学习的推荐模型训练方法、终端及存储介质
CN110309587A (zh) * 2019-06-28 2019-10-08 京东城市(北京)数字科技有限公司 决策模型构建方法、决策方法与决策模型
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器
CN110942154A (zh) * 2019-11-22 2020-03-31 深圳前海微众银行股份有限公司 基于联邦学习的数据处理方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140585A (zh) * 2007-09-24 2008-03-12 腾讯科技（深圳）有限公司 用户词库管理系统和管理方法
US9471696B2 (en) * 2010-11-12 2016-10-18 Yahoo! Inc. Methods and systems for pathing analysis
WO2019125801A1 (en) * 2017-12-19 2019-06-27 Exxonmobil Research And Engineering Company Data analysis platform
CN111222646B (zh) * 2019-12-11 2021-07-30 深圳逻辑汇科技有限公司 联邦学习机制的设计方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108122027A (zh) * 2016-11-29 2018-06-05 华为技术有限公司 一种神经网络模型的训练方法、装置及芯片
CN110309587A (zh) * 2019-06-28 2019-10-08 京东城市(北京)数字科技有限公司 决策模型构建方法、决策方法与决策模型
CN110297848A (zh) * 2019-07-09 2019-10-01 深圳前海微众银行股份有限公司 基于联邦学习的推荐模型训练方法、终端及存储介质
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器
CN110942154A (zh) * 2019-11-22 2020-03-31 深圳前海微众银行股份有限公司 基于联邦学习的数据处理方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Adaptive Federated Learning in Resource Constrained Edge Computing Systems;Shiqiang Wang等;《arXiv》;20190219;第1-20页 *
Federated Optimization: Distributed Machine Learning for On-Device Intelligence;Jakub Konecny等;《arXiv》;20161011;第1-38页 *
基于联邦学习和卷积神经网络的入侵检测方法;王蓉等;《信息网络安全》;20200430(第4期);第47-54页 *
面向个性化搜索的交互式分布估计算法;陈杨;《中国博士学位论文全文数据库 信息科技辑》;20190915(第09期);第I138-54页 *

Also Published As

Publication number Publication date
CN111695701A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN110084377B (zh) 用于构建决策树的方法和装置
CN104951425B (zh) 一种基于深度学习的云服务性能自适应动作类型选择方法
CN110533183B (zh) 流水线分布式深度学习中异构网络感知的任务放置方法
CN114417417B (zh) 一种基于联邦学习的工业物联网隐私保护系统及方法
CN108460457A (zh) 一种面向卷积神经网络的多机多卡混合并行异步训练方法
CN111695701B (zh) 基于联邦学习实现数据集构建处理的系统及其构建生成方法
CN104199820A (zh) 云平台MapReduce工作流调度优化方法
CN112541584A (zh) 深度神经网络模型并行模式选择方法
CN109857810A (zh) 基于区块链的数据同步装置及方法
CN104536831B (zh) 一种基于多目标优化的多核SoC软件映射方法
CN106911777A (zh) 一种数据处理方法及服务器
CN116644804A (zh) 分布式训练系统、神经网络模型训练方法、设备和介质
Zainab et al. Distributed tree-based machine learning for short-term load forecasting with apache spark
Abdullah et al. Modular Platforms based on Clouded Web Technology and Distributed Deep Learning Systems
CN112036831B (zh) 人力管理系统控制方法、装置、可读存储介质及终端设备
CN110110863A (zh) 一种基于celery的分布式机器学习调参系统
CN109753501A (zh) 一种离线状态的数据显示方法、装置、设备和存储介质
Jiang et al. 2D-HRA: Two-dimensional hierarchical ring-based all-reduce algorithm in large-scale distributed machine learning
Hering et al. Hierarchical strategy of model partitioning for VLSI-design using an improved mixture of experts approach
CN115865943A (zh) 自适应动态跨链共识机制选择的方法
CN104507150A (zh) 一种基带池内虚拟资源分簇方法
CN104978382A (zh) MapReduce平台上基于本地密度的聚类方法
CN114611721A (zh) 一种基于分片区块链的联邦学习方法、装置、设备及介质
CN114745288A (zh) 基于区块链和动态赋权的复杂网络抗毁性模型量化方法
CN110796546A (zh) 一种基于区块链的分布式聚类算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant