CN113240127A - 基于联邦学习的训练方法、装置、电子设备及存储介质 - Google Patents
基于联邦学习的训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113240127A CN113240127A CN202110373120.6A CN202110373120A CN113240127A CN 113240127 A CN113240127 A CN 113240127A CN 202110373120 A CN202110373120 A CN 202110373120A CN 113240127 A CN113240127 A CN 113240127A
- Authority
- CN
- China
- Prior art keywords
- training
- private
- data set
- models
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 343
- 238000000034 method Methods 0.000 title claims abstract description 60
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 18
- 238000012163 sequencing technique Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004821 distillation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011423 initialization method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供一种基于联邦学习的训练方法、装置、电子设备及存储介质，包括：确定公共数据集和M个训练参与方；其中，每个训练参与方分别对应一个私有模型；按照预定排序方式对M个训练参与方进行排序；利用预先获取的训练集对全部私有模型进行循环训练；其中，每轮训练中，利用M个私有模型对公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将M个预测结果按序传递至下一个训练参与方对应的私有模型，并将公共数据集和传递后的M个预测结果作为下一个训练参与方对应的私有模型的训练集，将预测结果作为公共数据集的样本软标签；响应于全部私有模型满足预设终止条件，完成私有模型的训练。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及一种基于联邦学习的训练方法、装置、电子设备及存储介质。
背景技术
相关技术中通常需要各个参与方将部分本地无标签数据上传至第三方服务器，汇总后作为公共数据集用于训练中心模型，并且利用第三方服务器对模型的预测结果进行融合。当公共数据集不充分或不存在时，相关技术中的方法无法对本地模型进行训练，并且对于实际应用中常见的数据类别不平衡的问题，相关技术中的联邦学习算法的训练性能较低。
发明内容
有鉴于此，本公开提出了一种基于联邦学习的训练方法、装置、电子设备及存储介质。
基于上述目的，本公开提供了一种基于联邦学习的训练方法，包括：
确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；
按照预定排序方式对所述M个训练参与方进行排序；
利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；以及，
响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。
可选的，每个所述训练参与方，包括：私有数据集；所述公共数据集，包括：伪样本公共数据集；
所述确定公共数据集和M个训练参与方，进一步包括：
根据M个所述训练参与方随机生成与所述私有数据集统计特性相同的伪样本；
根据所述伪样本生成所述伪样本公共数据集以确定所述公共数据集。
可选的，所述确定公共数据集和M个训练参与方，之后还包括：
利用M个所述训练参与方分别对与其对应的M个所述私有模型进行初始化操作。
可选的，所述利用预先获取的训练集对全部所述私有模型进行循环训练，之前还包括：
利用M个所述训练参与方的所述私有数据集分别训练与所述M个所述训练参与方对应的M个所述私有模型。
可选的，所述利用预先获取的训练集对全部所述私有模型进行循环训练，进一步包括：
在第一轮训练中，通过利用所述私有数据集预先训练好的M个所述私有模型对所述公共数据集进行预测以确定M个第一轮的预测结果；
按序依次将每个所述第一轮的预测结果传递至下一个所述训练参与方对应的所述私有模型；
将所述公共数据集和传递后的所述M个第一轮的预测结果作为下一个训练参与方对应的所述私有模型的所述训练集；
利用所述训练集对所述M个私有模型进行训练以得到与M个私有模型对应的M个第一轮模型更新参数；
利用所述M个第一轮模型更新参数分别更新所述M个私有模型。
可选的，所述按序依次将每个所述第一轮的预测结果传递至下一个所述训练参与方对应的所述私有模型，进一步包括：
将根据第M个训练参与方对应的所述私有模型确定的所述第一轮的预测结果传递至第1个训练参与方对应的所述私有模型。
可选的，所述利用预先获取的训练集对全部所述私有模型进行循环训练，进一步包括：
所述利用预先获取的训练集对全部所述私有模型进行循环训练，进一步包括：
在第i-1轮训练中，利用第i-1轮模型更新参数分别更新M个私有模型；
在第i轮训练中，通过利用更新后的M个所述私有模型对所述公共数据集的样本进行预测，并将样本的预测概率作为预测结果；
按序依次将每个训练参与方对应的私有模型的所述第i轮的预测结果传递至下一个训练参与方；
将所述公共数据集和传递后的所述M个第i轮的预测结果作为下一个训练参与方对应的所述私有模型的所述训练集；
利用所述训练集对所述M个私有模型进行训练以得到与M个私有模型对应的M个第i轮模型更新参数；
利用所述M个第i轮模型更新参数分别更新所述M个私有模型。
基于同一发明构思，本公开还提供了一种基于联邦学习的训练装置，包括：
确定模块，被配置为确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；
排序模块，被配置为按照预定排序方式对所述M个训练参与方进行排序；
训练模块，被配置为利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；
执行模块，被配置为响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。
基于同一发明构思，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述的基于联邦学习的训练方法。
基于同一发明构思，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储电子装置的一组指令，该组指令用于使所述电子装置执行上述任意一项所述的基于联邦学习的训练方法。
从上面所述可以看出，本公开提供的一种基于联邦学习的训练方法、装置、电子设备及存储介质，包括：确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；按照预定排序方式对所述M个训练参与方进行排序；利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；以及，响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。本公开提供的方法针对实际应用中常见的数据样本类型不平衡问题，确定多个各自拥有私有数据集的训练参与方，且各个训练参与方的私有数据集不共享，保证了数据的安全；多个训练参与方相互独立的本地模型通过协作，进行预测结果的传递，考虑了多个训练参与方拥有的私有数据集不仅样本数量少从而不足以单独训练本地模型收敛，同时私有数据集之间的样本类型可能极端不平衡，不同的私有数据集中包含的数据类型存在不重合、不完整情况，克服数据不平衡带来的模型性能下降的问题，模型性能逼近集中式机器学习的性能。且多个训练参与方的地位相同，无需第三方服务器或中心处理单元对预测结果进行整合，可实现无中心化的联邦学习，通过多个训练参与方的本地模型的预测结果的传递共享，进行多方协同的循环训练，减少数据样本类型极端不平衡带来的性能下降，大大提高了训练机器学习模型时的性能。
附图说明
为了更清楚地说明本说明书一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例所提供的一种基于联邦学习的训练的示例性方法的流程示意图。
图2为本公开实施例的一种基于联邦学习的训练方法中示例性的循环训练算法的示意图。
图3为本公开实施例的一种基于联邦学习的训练装置的结构示意图；
图4为本公开实施例的一种示例性电子设备的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
部分名词在本公开中的解释：
训练参与方：训练参与方是指参与私有模型训练且拥有私有数据集的用户，其物理实体可以是单位、个人，也可以是服务器、网元；
私有数据集：私有数据集是指训练参与方拥有的不与其他训练参与方共享的数据集；
公共数据集：公共数据集是指所有M个训练参与方共享的数据样本集，可以是各个训练参与方贡献的，也可以是所有训练参与方认可的第三方数据集；
虚拟数据集：虚拟数据集是指由训练参与方提供的伪样本，即这些样本并不是训练参与方拥有的真实数据样本，而是训练参与方根据私有数据集的统计特征而伪造的数据样本，并上传形成公共数据集，被所有训练参与方共享；
私有模型：本地模型是指每个训练参与方设计的机器学习模型，不同的训练参与方的模型相互独立，可以是相同类型的模型，也可以是完全不同类型的模型。
如背景技术部分所述，联邦学习是一种新型的机器学习框架，在多个参与方不共享数据条件下联合训练机器学习模型，从而在保护用户数据的隐私与安全的同时，共享数据价值但不共享数据，解决了数据孤岛问题，并降低了通信带宽，提高了机器学习模型的训练效率。当所有参与方的数据特征空间与优化目标一致而仅数据ID不一致时，采用横向联邦学习方法。如果参与方通过联邦学习方法训练同一个机器学习模型时，通常采用梯度信息传递的方法以获得更优的性能；当参与方使用相互独立的本地机器学习模型时，只能传递预测信息等不涉及模型参数的信息。
申请人通过研究发现在只是蒸馏的联邦学习框架中，数据集包括参与方的本地私有数据集以及一个公开数据集，参与方用私有数据集训练本地模型后对公开数据集进行预测，并将预测结果传递给第三方服务器。第三方服务器对预测结果进行融合后分发给各参与方，作为公共数据集的标注结果重新训练本地模型。而在融合蒸馏学习的联邦学习算法中，各个参与方将部分本地无标签数据上传至第三方服务器，汇总后作为公共数据集用于训练中心模型。各参与方用本地数据集训练本地模型后，对公共数据集进行预测，并上传预测结果。第三方服务器对预测结果进行融合，得到一个全局共识作为公共数据集的标签，然后用该标签标注的公共数据集训练中心模型，最终得到一个中心模型。
申请人研究发下相关技术中至少存在着以下问题：需要第三方服务器进行数据与信息的汇聚融合工作；需要有公共数据集，当不存在公共数据集时，需要共享部分私有数据集；当私有数据集存在严重的数据类型不平衡时，联邦学习性能急剧下降。
有鉴于此，本公开实施例提供了一种基于联邦学习的训练方法、装置、电子设备及存储介质，所述方法包括：确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；按照预定排序方式对所述M个训练参与方进行排序；利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；以及，响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。
本公开实施例提供的一种基于联邦学习的训练方法、装置、电子设备及存储介质，针对实际应用中常见的数据样本类型不平衡问题，确定多个各自拥有私有数据集的训练参与方，且各个训练参与方的私有数据集不共享，保证了数据的安全；多个训练参与方相互独立的本地模型通过协作，进行预测结果的传递，考虑了多个训练参与方拥有的私有数据集不仅样本数量少从而不足以单独训练本地模型收敛，同时私有数据集之间的样本类型可能极端不平衡，不同的私有数据集中包含的数据类型存在不重合、不完整情况，克服数据不平衡带来的模型性能下降的问题，模型性能逼近集中式机器学习的性能。且多个训练参与方的地位相同，无需第三方服务器或中心处理单元对预测结果进行整合，可实现无中心化的联邦学习，通过多个训练参与方的本地模型的预测结果的传递共享，进行多方协同的循环训练，减少数据样本类型极端不平衡带来的性能下降，大大提高了训练机器学习模型时的性能。
以下，通过具体的实施例进一步详细说明本公开的技术方案。
参考图1，因此本公开实施例提供的一种基于联邦学习的训练方法，具体包括以下步骤：
S101：确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型。
S102：按照预定排序方式对所述M个训练参与方进行排序。
S103：利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签。
S104：响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。
针对于步骤S101，在一些实施例中，私有模型可以是任意一种机器学习模型，不同的训练参与方的私有模型是相互独立的，可以是相同类型的模型，也可以是完全不同类型的模型。训练参与方可以为各自拥有私有数据集的参与方，能够在本地对本地模型进行训练。其中，训练参与方是指参与本地模型训练且拥有数据的用户，其物理实体可以是单位、个人，也可以是服务器或网元。其中，各个训练参与方所拥有的私有数据集不能完全重合或完全不重合，例如，手写体识别应用场景中，训练参与方A只有数字0-4这5种数字的样本，而训练参与方B只有数字5-9这5种数字的样本，则说明训练参与方A和B之间的样本类型完全不重合。
在一些实施例中，在确定M个训练参与方之后，可以在每个训练参与方处均对本地模型进行初始化。也就是说，M个训练参与方各自对本地模型进行初始化，其中，对本地模型的初始化通常是指对本地模型的参数进行初始化。例如，可以对本地模型的权重使用高斯分布进行随机化设置，具体的初始化方法可以为相关技术中任意一种已知的模型初始化方法。例如对于MLP、CNN、LSTM/GRU类型的模型可以用高斯分布随机数初始化模型参数。
在一些实施例中，每个训练参与方都包括其自身拥有的私有数据集，公共数据集包括伪样本公共数据集。当能够直接获取公共数据集时，则可以利用直接获取的公共数据集进行模型的循环训练；而当不能够直接获取公共数据集或获取的公共数据集中的样本数量不足时，可以根据M个训练参与方随机生成与私有数据集统计特性相同的伪样本，之后，根据伪样本生成伪样本公共数据集，形成数量更大的公共数据集。
针对于步骤S102，在一些实施例中，所述的预定排序方式，可以是对每个训练参与方生成随机数；根据随机数的大小对训练参与方从大至小依次进行排序。也就是说，M个训练参与方在本地产生随机数，依据随机数的大小进行从大至小的排序。以3个训练参与方为例，训练参与方A产生的随机数为5，训练参与方B产生的随机数为10，训练参与方C产生的随机数为8，则训练参与方的排序结果为BCA。
针对于步骤S103，参考图2，在一些实施例中，在模型训练阶段，私有样本集上的模型训练过程包括：各参与方的本地模型fm以
为起点，在本地数据集Dm上对模型fm进行训练，更新得到本地模型参数
公共样本集上的样本预测过程包括：各参与方对公开数据集数据进行预测，得到未标注的公开数据集的标签
预测结果传递过程包括：第m个参与方将其对公开数据集的预测结果
传递至第m+1个参与方并替换其预测标签
本地模型更新过程包括：各参与方的本地模型fm以
为起点，在公开数据集及其预测的标签上训练模型fm，得到本地模型fm的参数更新
可以重复过程M次，迭代更新私有模型。其中，可以将预测结果作为公共数据集的软标签。需要说明的是，软标签可以是，例如[0.3，0.7]，对于输出为0或1的模型，该软标签表示输出0的概率为0.3，而输出1的概率为0.7。而对于硬标签而言，硬标签是给出[0，1]，而不是输出值的概率。
需要说明的是，循环训练可以进行至少一轮，每轮训练中都包括M次模型训练和M次预测结果传递过程。
在一些实施例中，在利用预先获取的训练集对全部私有模型进行循环训练之前，M个训练参与方分别利用各自的私有数据集对各自对应的M个私有模型进行训练，此过程也可称为初始训练。
在一些实施例中，在第一轮训练中，M个训练参与方分别利用各自进行过初始训练后的M个私有模型{fm}对无标签的公共数据集XP进行预测，从而确定M个第一轮的预测结果并将第一轮的预测结果作为未标注的公开数据集的标签
其次，按序依次将每个第一轮的预测结果，即标签
传递至下一个训练参与方对应的私有模型{fm}，并将各个训练参与方的标签进行替换；再次，将无标签的公共数据集XP和传递后的所述M个第一轮的预测结果
作为下一个训练参与方对应的私有模型{fm}的训练集；利用M个训练集和替换后的M个第一轮标签
对M个私有模型{fm}进行训练以得到与M个私有模型{fm}对应的M个第一轮模型更新参数
具体地，以3个训练参与方A、B、C为例，训练参与方A对应的私有模型为fA，训练参与方B对应的私有模型为fB，训练参与方C对应的私有模型为fC。在第一轮训练中，训练参与方A、B、C分别利用私有模型fA、fB、fC对无标签的公共数据集XP进行预测，分别得到预测结果
接着，训练参与方A将其预测结果
传递至训练参与方B对应的私有模型fB，训练参与方B将其预测结果
传递至训练参与方C对应的私有模型fC，训练参与方C将其预测结果
传递至训练参与方A对应的私有模型fA；对于训练参与方A，将无标签的公共数据集XP和预测结果
作为训练集，对私有模型fA进行训练，得到私有模型fA对应的第一轮模型更新参数
对于训练参与方B，将无标签的公共数据集XP和预测结果
作为训练集，对私有模型fB进行训练，得到私有模型fB对应的第一轮模型更新参数
对于训练参与方C，将无标签的公共数据集XP和预测结果
作为训练集，对私有模型fC进行训练，得到私有模型fC对应的第一轮模型更新参数
其中，预测结果
分别作为无标签的公共数据集XP的软标签，从而使得公共数据集拥有标签，实现有监督的训练。
进一步地，在第二轮训练中，训练参与方A、B、C分别根据第一轮模型更新参数
对私有模型fA、fB、fC进行更新，然后利用更新后的私有模型
对公共数据集XP进行预测，分别得到预测结果
接着，依次按序将预测结果
向下一个训练参与方传递；对于训练参与方A，将公共数据集XP和预测结果
作为训练集，对私有模型fA进行训练，得到私有模型fA对应的第二轮模型更新参数
对于训练参与方B，将无标签的公共数据集XP和预测结果
作为训练集，对私有模型fB进行训练，得到私有模型fB对应的第二轮模型更新参数
对于训练参与方C，将无标签的公共数据集XP和预测结果
作为训练集，对私有模型fC进行训练，得到私有模型fC对应的第二轮模型更新参数
后续训练过程中可以重复上述步骤。
在一些实施例中，在第i-1轮训练中，利用第i-1轮模型更新参数分别更新M个私有模型；在第i轮训练中，通过利用更新后的M个所述私有模型对所述公共数据集进行预测以确定M个第i轮的预测结果；按序依次将每个训练参与方对应的私有模型的所述第i轮的预测结果传递至下一个训练参与方；将所述公共数据集和传递后的所述M个第i轮的预测结果作为下一个训练参与方对应的所述私有模型的所述训练集；利用所述训练集对所述M个私有模型进行训练以得到与M个私有模型对应的M个第i轮模型更新参数；利用所述M个第i轮模型更新参数分别更新所述M个私有模型。
针对于步骤S104，训练终止条件可以为经检测后，本地模型达到预定的性能指标，也可以是达到了预定的训练次数。
在一些实施例中，若至少有一个私有模型不满足预设终止条件，则重复执行步骤S103。
为了进一步证明本公开提供的方法的效果，发明人进行了以下实验，进行效果验证。
使用的样本数据集为MNIST手写数字集，两个训练参与方A与B。
在本公开提供的方法中，训练参与方A拥有数字2、3、4的手写体图片各500张作为训练集Dataset1_mnsit，训练参与方B拥有200张数字5、6、7的手写体图片各五百张作为训练集Dataset2_mnist。测试集Dataset_test_mnist有2、3、4、5、6、7的图片各200张。测试集与训练集数据不重叠。相对应的集中式机器学习拥有训练参与方A和B的所有训练数据作为训练集。
在第一种对比算法，即FedSPre算法中，FedSPre算法使用与本公开的方法相同的数据集，并额外拥有与各训练集、测试集不重叠的无标签的数字2、3、4、5、6、7的灰度图片各200张作为公共数据集。
在第二种对比算法，即集中式机器学习算法中，将参与方A和B的所有训练数据集中处理作为训练集。
参考表1，利用三种不同方法训练后的预测模型的预测效果对比明显。由上述结果可见，在数据类型极端不平衡的情况下，FedAvg算法性能显著下降：与集中式机器学习相比，分类准确率下降12.1％，损失值增加0.344；而本公开提供的方法只有轻微的性能下降。
表1三种方法的损失值和准确度对比
| 性能 | 集中式机器学习算法 | FedAvg算法 | 本算法 |
| 准确度 | 92.8％ | 80.7％ | 92.3％ |
| 损失值 | 0.240 | 0.584 | 0.272 |
本公开提供的方法至少具有以下优势：
数据安全：M个训练参与方各自拥有的私有数据样本不共享，保证了数据的安全；
异构的机器学习模型的收敛性：M个训练参与方相互独立的私有模型(同构或异构的模型)，通过协作，克服数据不平衡带来的模型性能下降问题，模型性能逼近集中式机器学习的性能；
公共数据集扩充：不共享本地数据集，而产生伪样本，生成伪样本公共数据集，既保护数据安全，同时通过增加训练样本而提高模型性能；
去中心化：M个训练参与方地位相同，无需第三方或中心处理单元。
从上面所述可以看出，本公开提供的一种基于联邦学习的训练方法、装置、电子设备及存储介质，包括：确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；按照预定排序方式对所述M个训练参与方进行排序；利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；以及，响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。本公开提供的方法针对实际应用中常见的数据样本类型不平衡问题，确定多个各自拥有私有数据集的训练参与方，且各个训练参与方的私有数据集不共享，保证了数据的安全；多个训练参与方相互独立的本地模型通过协作，进行预测结果的传递，考虑了多个训练参与方拥有的私有数据集不仅样本数量少从而不足以单独训练本地模型收敛，同时私有数据集之间的样本类型可能极端不平衡，不同的私有数据集中包含的数据类型存在不重合、不完整情况，克服数据不平衡带来的模型性能下降的问题，模型性能逼近集中式机器学习的性能。且多个训练参与方的地位相同，无需第三方服务器或中心处理单元对预测结果进行整合，可实现无中心化的联邦学习，通过多个训练参与方的本地模型的预测结果的传递共享，进行多方协同的循环训练，减少数据样本类型极端不平衡带来的性能下降，大大提高了训练机器学习模型时的性能。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种基于联邦学习的训练装置。
参考图3，所述基于联邦学习的训练装置，包括：
确定模块，被配置为确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；
排序模块，被配置为按照预定排序方式对所述M个训练参与方进行排序；
训练模块，被配置为利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；
执行模块，被配置为响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的基于联邦学习的训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的基于联邦学习的训练方法。
图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器410、存储器420、输入/输出接口430、通信接口440和总线450。其中处理器410、存储器420、输入/输出接口430和通信接口440通过总线450实现彼此之间在设备内部的通信连接。
处理器410可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器420可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器420可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器420中，并由处理器410来调用执行。
输入/输出接口430用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口440用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线450包括一通路，在设备的各个组件(例如处理器410、存储器420、输入/输出接口430和通信接口440)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器410、存储器420、输入/输出接口430、通信接口440以及总线450，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的基于联邦学习的训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的基于联邦学习的训练方法。
本实施例的非暂态计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的基于联邦学习的训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
上述对本公开特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于联邦学习的训练方法，包括：
确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；
按照预定排序方式对所述M个训练参与方进行排序；
利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；以及，
响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。
2.根据权利要求1所述的方法，其中，每个所述训练参与方，包括：私有数据集；所述公共数据集，包括：伪样本公共数据集；
所述确定公共数据集和M个训练参与方，进一步包括：
根据M个所述训练参与方随机生成与所述私有数据集统计特性相同的伪样本；
根据所述伪样本生成所述伪样本公共数据集以确定所述公共数据集。
3.根据权利要求1所述的方法，其中，所述确定公共数据集和M个训练参与方，之后还包括：
利用M个所述训练参与方分别对与其对应的M个所述私有模型进行初始化操作。
4.根据权利要求2所述的方法，其中，所述利用预先获取的训练集对全部所述私有模型进行循环训练，之前还包括：
利用M个所述训练参与方的所述私有数据集分别训练与所述M个所述训练参与方对应的M个所述私有模型。
5.根据权利要求4所述的方法，其中，所述利用预先获取的训练集对全部所述私有模型进行循环训练，进一步包括：
在第一轮训练中，通过利用所述私有数据集预先训练好的M个所述私有模型对所述公共数据集进行预测以确定M个第一轮的预测结果；
按序依次将每个所述第一轮的预测结果传递至下一个所述训练参与方对应的所述私有模型；
将所述公共数据集和传递后的所述M个第一轮的预测结果作为下一个训练参与方对应的所述私有模型的所述训练集；
利用所述训练集对所述M个私有模型进行训练以得到与M个私有模型对应的M个第一轮模型更新参数；
利用所述M个第一轮模型更新参数分别更新所述M个私有模型。
6.根据权利要求5所述的方法，其中，所述按序依次将每个所述第一轮的预测结果传递至下一个所述训练参与方对应的所述私有模型，进一步包括：
将根据第M个训练参与方对应的所述私有模型确定的所述第一轮的预测结果传递至第1个训练参与方对应的所述私有模型。
7.根据权利要求5所述的方法，其中，所述利用预先获取的训练集对全部所述私有模型进行循环训练，进一步包括：
在第i-1轮训练中，利用第i-1轮模型更新参数分别更新M个私有模型；
在第i轮训练中，通过利用更新后的M个所述私有模型对所述公共数据集的样本进行预测，并将样本的预测概率作为预测结果；
按序依次将每个训练参与方对应的私有模型的所述第i轮的预测结果传递至下一个训练参与方；
将所述公共数据集和传递后的所述M个第i轮的预测结果作为下一个训练参与方对应的所述私有模型的所述训练集；
利用所述训练集对所述M个私有模型进行训练以得到与M个私有模型对应的M个第i轮模型更新参数；
利用所述M个第i轮模型更新参数分别更新所述M个私有模型。
8.一种基于联邦学习的训练装置，包括：
确定模块，被配置为确定公共数据集和M个训练参与方；其中，每个所述训练参与方分别对应一个私有模型；
排序模块，被配置为按照预定排序方式对所述M个训练参与方进行排序；
训练模块，被配置为利用预先获取的训练集对全部所述私有模型进行循环训练；其中，每轮训练中，利用M个所述私有模型对所述公共数据集的样本进行预测得到样本的预测概率以确定M个预测结果，依次将所述M个预测结果按序传递至下一个训练参与方对应的所述私有模型，并将所述公共数据集和传递后的所述M个预测结果作为下一个训练参与方对应的所述私有模型的所述训练集，将所述预测结果作为所述公共数据集的样本软标签；
执行模块，被配置为响应于全部所述私有模型满足预设终止条件，完成所述私有模型的训练。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储电子装置的一组指令，该组指令用于使所述电子装置执行权利要求1至7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110373120.6A CN113240127A (zh) | 2021-04-07 | 2021-04-07 | 基于联邦学习的训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110373120.6A CN113240127A (zh) | 2021-04-07 | 2021-04-07 | 基于联邦学习的训练方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113240127A true CN113240127A (zh) | 2021-08-10 |
Family
ID=77131108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110373120.6A Pending CN113240127A (zh) | 2021-04-07 | 2021-04-07 | 基于联邦学习的训练方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113240127A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744037A (zh) * | 2021-08-16 | 2021-12-03 | 同盾科技有限公司 | 知识联邦中参与方通信方法、装置、电子设备及存储介质 |
| CN113762530A (zh) * | 2021-09-28 | 2021-12-07 | 北京航空航天大学 | 面向隐私保护的精度反馈联邦学习方法 |
| CN113902473A (zh) * | 2021-09-29 | 2022-01-07 | 支付宝(杭州)信息技术有限公司 | 业务预测系统的训练方法及装置 |
| CN114676845A (zh) * | 2022-02-18 | 2022-06-28 | 支付宝(杭州)信息技术有限公司 | 模型训练方法和装置、业务预测方法和装置 |
| WO2024036453A1 (zh) * | 2022-08-15 | 2024-02-22 | 华为技术有限公司 | 一种联邦学习方法及相关装置 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190042763A1 (en) * | 2017-08-02 | 2019-02-07 | Alibaba Group Holding Limited | Model training method and apparatus based on data sharing |
| US20190303666A1 (en) * | 2018-03-30 | 2019-10-03 | Atlassian Pty Ltd | Automatic detection of duplicate tickets in federated collaboration systems |
| CN110472745A (zh) * | 2019-08-06 | 2019-11-19 | 深圳前海微众银行股份有限公司 | 一种联邦学习中的信息传输方法及装置 |
| CN110610242A (zh) * | 2019-09-02 | 2019-12-24 | 深圳前海微众银行股份有限公司 | 一种联邦学习中参与者权重的设置方法及装置 |
| CN110647765A (zh) * | 2019-09-19 | 2020-01-03 | 济南大学 | 协同学习框架下基于知识迁移的隐私保护方法及系统 |
| US20200050951A1 (en) * | 2018-08-09 | 2020-02-13 | International Business Machines Corporation | Collaborative distributed machine learning |
| CN110990871A (zh) * | 2019-11-29 | 2020-04-10 | 腾讯云计算（北京）有限责任公司 | 基于人工智能的机器学习模型训练方法、预测方法及装置 |
| CN111310938A (zh) * | 2020-02-10 | 2020-06-19 | 深圳前海微众银行股份有限公司 | 基于半监督的横向联邦学习优化方法、设备及存储介质 |
| CN111340247A (zh) * | 2020-02-12 | 2020-06-26 | 深圳前海微众银行股份有限公司 | 纵向联邦学习系统优化方法、设备及可读存储介质 |
| CN111428881A (zh) * | 2020-03-20 | 2020-07-17 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及可读存储介质 |
| CN111428887A (zh) * | 2020-03-19 | 2020-07-17 | 腾讯云计算（北京）有限责任公司 | 一种基于多个计算节点的模型训练控制方法、装置及系统 |
| CN111813869A (zh) * | 2020-08-21 | 2020-10-23 | 支付宝(杭州)信息技术有限公司 | 一种基于分布式数据的多任务模型训练方法及系统 |
| CN112015749A (zh) * | 2020-10-27 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护更新业务模型的方法、装置及系统 |
| US20200401886A1 (en) * | 2019-06-18 | 2020-12-24 | Moloco, Inc. | Method and system for providing machine learning service |
| CN112201342A (zh) * | 2020-09-27 | 2021-01-08 | 博雅正链(北京)科技有限公司 | 基于联邦学习的医疗辅助诊断方法、装置、设备及存储介质 |
| CN112232527A (zh) * | 2020-09-21 | 2021-01-15 | 北京邮电大学 | 安全的分布式联邦深度学习方法 |
| US20210042645A1 (en) * | 2019-08-06 | 2021-02-11 | doc.ai, Inc. | Tensor Exchange for Federated Cloud Learning |
| US20210073678A1 (en) * | 2019-09-09 | 2021-03-11 | Huawei Technologies Co., Ltd. | Method, apparatus and system for secure vertical federated learning |
-
2021
- 2021-04-07 CN CN202110373120.6A patent/CN113240127A/zh active Pending
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190042763A1 (en) * | 2017-08-02 | 2019-02-07 | Alibaba Group Holding Limited | Model training method and apparatus based on data sharing |
| US20190303666A1 (en) * | 2018-03-30 | 2019-10-03 | Atlassian Pty Ltd | Automatic detection of duplicate tickets in federated collaboration systems |
| US20200050951A1 (en) * | 2018-08-09 | 2020-02-13 | International Business Machines Corporation | Collaborative distributed machine learning |
| US20200401886A1 (en) * | 2019-06-18 | 2020-12-24 | Moloco, Inc. | Method and system for providing machine learning service |
| CN110472745A (zh) * | 2019-08-06 | 2019-11-19 | 深圳前海微众银行股份有限公司 | 一种联邦学习中的信息传输方法及装置 |
| US20210042645A1 (en) * | 2019-08-06 | 2021-02-11 | doc.ai, Inc. | Tensor Exchange for Federated Cloud Learning |
| CN110610242A (zh) * | 2019-09-02 | 2019-12-24 | 深圳前海微众银行股份有限公司 | 一种联邦学习中参与者权重的设置方法及装置 |
| US20210073678A1 (en) * | 2019-09-09 | 2021-03-11 | Huawei Technologies Co., Ltd. | Method, apparatus and system for secure vertical federated learning |
| CN110647765A (zh) * | 2019-09-19 | 2020-01-03 | 济南大学 | 协同学习框架下基于知识迁移的隐私保护方法及系统 |
| CN110990871A (zh) * | 2019-11-29 | 2020-04-10 | 腾讯云计算（北京）有限责任公司 | 基于人工智能的机器学习模型训练方法、预测方法及装置 |
| CN111310938A (zh) * | 2020-02-10 | 2020-06-19 | 深圳前海微众银行股份有限公司 | 基于半监督的横向联邦学习优化方法、设备及存储介质 |
| CN111340247A (zh) * | 2020-02-12 | 2020-06-26 | 深圳前海微众银行股份有限公司 | 纵向联邦学习系统优化方法、设备及可读存储介质 |
| CN111428887A (zh) * | 2020-03-19 | 2020-07-17 | 腾讯云计算（北京）有限责任公司 | 一种基于多个计算节点的模型训练控制方法、装置及系统 |
| CN111428881A (zh) * | 2020-03-20 | 2020-07-17 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及可读存储介质 |
| CN111813869A (zh) * | 2020-08-21 | 2020-10-23 | 支付宝(杭州)信息技术有限公司 | 一种基于分布式数据的多任务模型训练方法及系统 |
| CN112232527A (zh) * | 2020-09-21 | 2021-01-15 | 北京邮电大学 | 安全的分布式联邦深度学习方法 |
| CN112201342A (zh) * | 2020-09-27 | 2021-01-08 | 博雅正链(北京)科技有限公司 | 基于联邦学习的医疗辅助诊断方法、装置、设备及存储介质 |
| CN112015749A (zh) * | 2020-10-27 | 2020-12-01 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护更新业务模型的方法、装置及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张君如;赵晓焱;袁培燕;: "面向用户隐私保护的联邦安全树算法", 计算机应用, vol. 40, no. 10, pages 2980 - 2985 * |
| 董业;侯炜;陈小军;曾帅;: "基于秘密分享和梯度选择的高效安全联邦学习", 计算机研究与发展, vol. 57, no. 10, pages 2241 - 2250 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744037A (zh) * | 2021-08-16 | 2021-12-03 | 同盾科技有限公司 | 知识联邦中参与方通信方法、装置、电子设备及存储介质 |
| CN113744037B (zh) * | 2021-08-16 | 2023-09-29 | 同盾科技有限公司 | 知识联邦中参与方通信方法、装置、电子设备及存储介质 |
| CN113762530A (zh) * | 2021-09-28 | 2021-12-07 | 北京航空航天大学 | 面向隐私保护的精度反馈联邦学习方法 |
| CN113762530B (zh) * | 2021-09-28 | 2024-02-02 | 北京航空航天大学 | 面向隐私保护的精度反馈联邦学习方法 |
| CN113902473A (zh) * | 2021-09-29 | 2022-01-07 | 支付宝(杭州)信息技术有限公司 | 业务预测系统的训练方法及装置 |
| CN114676845A (zh) * | 2022-02-18 | 2022-06-28 | 支付宝(杭州)信息技术有限公司 | 模型训练方法和装置、业务预测方法和装置 |
| WO2024036453A1 (zh) * | 2022-08-15 | 2024-02-22 | 华为技术有限公司 | 一种联邦学习方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240127A (zh) | 基于联邦学习的训练方法、装置、电子设备及存储介质 | |
| US20210390653A1 (en) | Learning robotic tasks using one or more neural networks | |
| US11875268B2 (en) | Object recognition with reduced neural network weight precision | |
| CN109902706B (zh) | 推荐方法及装置 | |
| CN109117953B (zh) | 网络参数训练方法和系统、服务器、客户端及存储介质 | |
| CN111401406B (zh) | 一种神经网络训练方法、视频帧处理方法以及相关设备 | |
| CN105719001A (zh) | 使用散列的神经网络中的大规模分类 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| US20200410338A1 (en) | Multimodal data learning method and device | |
| CN111046027A (zh) | 时间序列数据的缺失值填充方法和装置 | |
| CN110795618B (zh) | 内容推荐方法、装置、设备及计算机可读存储介质 | |
| US20190095793A1 (en) | Sensor quality upgrade framework | |
| WO2019191266A1 (en) | Object classification method, apparatus, server, and storage medium | |
| US20230252070A1 (en) | Method and apparatus for training retrieval model, retrieval method and apparatus, device and medium | |
| JP7412489B2 (ja) | 連合学習方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム | |
| CN110704668A (zh) | 基于网格的协同注意力vqa方法和装置 | |
| CN113096055B (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN109155004A (zh) | 用于强化学习代理的无模型控制 | |
| US20220092406A1 (en) | Meta-feature training models for machine learning algorithms | |
| CN113240128A (zh) | 数据不平衡的协同训练方法、装置、电子设备及存储介质 | |
| CN110659759A (zh) | 基于神经网络的趋势预测 | |
| CN111784787B (zh) | 图像生成方法和装置 | |
| CN114004265A (zh) | 一种模型训练方法及节点设备 | |
| JP7335221B2 (ja) | 画像認識モデルを用いた識別子情報推論のための電子装置、方法、プログラム及びシステム | |
| CN115601550B (zh) | 模型确定方法、装置、计算机设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |