CN113052329B - 联合更新业务模型的方法及装置 - Google Patents
联合更新业务模型的方法及装置 Download PDFInfo
- Publication number
- CN113052329B CN113052329B CN202110390904.XA CN202110390904A CN113052329B CN 113052329 B CN113052329 B CN 113052329B CN 202110390904 A CN202110390904 A CN 202110390904A CN 113052329 B CN113052329 B CN 113052329B
- Authority
- CN
- China
- Prior art keywords
- data
- model
- parameter
- business
- party
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 230000007704 transition Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 22
- 238000004891 communication Methods 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 58
- 238000013528 artificial neural network Methods 0.000 description 15
- 239000010410 layer Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本说明书实施例提供一种基于隐私保护的联合更新业务模型的方法及装置,其中,在一次迭代过程中,服务方向各个数据方提供全局模型参数,以及各个数据方各自与全局模型参数划分的N个参数组的对应关系,由各个数据方各自利用全局模型参数更新本地业务模型,并基于本地业务数据对更新后的本地业务模型进一步更新,以将新的业务模型中各自所对应参数组的模型参数上传至服务方,进而由服务方依次对接收到的各个参数组进行融合,更新全局模型参数。该过程可以减少数据方与服务方的通信压力,避免造成通信阻塞,有利于提高联邦学习的整体训练效率。
Description
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及基于隐私保护,联合更新业务模型的方法和装置。
背景技术
计算机技术的发展,使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习是一种在保护隐私数据情况下进行联合建模的方法。例如,企业与企业之间需要进行合作安全建模,可以进行联邦学习,以便在充分保护企业数据隐私的前提下,使用各方的数据对数据处理模型进行协作训练,从而更准确、有效地处理业务数据。在联邦学习场景中,各方例如可以商定模型结构(或约定模型)后,各自使用隐私数据在本地进行训练,并将模型参数使用安全可信的方法进行聚合,最后各方根据聚合后模型参数改进本地模型。联邦学习实现在隐私保护基础上,有效打破数据孤岛,实现多方联合建模。
然而,随着任务复杂性和对性能要求的逐渐提升,联邦学习中的业务模型网络层数呈逐渐加深的趋势,模型参数也相应的越来越多。以人脸识别ResNET-50为例,原始模型拥有超过2000万个参数,模型大小超过100MB。特别是在一些参与联邦学习的训练成员较多的场景中,服务器接收的数据呈几何倍数上升,可能造成通信阻塞,严重影响整体训练的效率。
发明内容
本说明书一个或多个实施例描述了一种联合更新业务模型的方法及装置,用以解决背景技术提到的一个或多个问题。
根据第一方面,提供了一种联合更新业务模型的方法,用于多个数据方在服务方的辅助下基于隐私保护联合训练业务模型,所述业务模型用于处理业务数据,得到相应业务处理结果;所述方法包括:服务方向各个数据方提供全局模型参数,以及各个数据方各自与所述全局模型参数划分的N个参数组的对应关系;各个数据方各自利用全局模型参数更新本地业务模型;各个数据方基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型,并将与自身所对应参数组的模型参数上传至服务方;服务方分别针对各个参数组,对接收到的模型参数进行融合,从而更新全局模型参数。
根据一个实施例,各个数据方基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型包括:各个数据方各自在利用全局模型参数更新本地业务模型之后,使用本地业务数据检测当前的阶段转换指标;所述阶段转换指标满足全量更新的停止条件的数据方,进入局部更新阶段,进入局部更新阶段的数据方对其对应参数组中的模型参数进行更新。
根据一个实施例,所述阶段转换指标为更新后的本地业务模型对的模型性能,所述停止条件为所述模型性能满足预设值。
根据第二方面,提供一种联合更新业务模型的方法,用于辅助多个数据方基于隐私保护联合训练业务模型的服务方,所述业务模型用于处理业务数据,得到相应业务处理结果,所述多个数据方包括第一方,所述方法包括:向所述第一方提供当前全局模型参数,以及所述第一方与所述全局模型参数划分的N个参数组中的第一参数组的对应关系,以供所述第一方利用所述当前全局模型参数更新本地业务模型,并在基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型之后,反馈针对所述第一参数组的第一参数集;接收所述第一方反馈的第一参数集;基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组,进而根据对所述第一参数组的更新,更新所述当前全局模型参数。
根据一个实施例,所述第一方与所述第一参数组的对应关系基于以下方式确定:将所述多个数据方分为M组,其中,单组数据方对应至少一个数据方,所述第一方属于M组数据方中的第一组;确定M组数据方分别与N个参数组的对应关系,其中,单组数据方对应至少一个参数组,单个参数组对应至少一组数据方,所述第一组对应的参数组为第一参数组。
根据一个实施例,所述将所述多个数据方分为M组包括以下中的一项:以各组数据方持有的业务数据条数一致为目标,将所述多个数据方分为M组;以单个数据方持有的业务数据条数与相对应的参数组包括的模型参数数量正相关为目标,将所述多个数据方分为M组。
在一个实施例中,所述基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组包括:对所述第一参数集及关于所述第一参数组的其他参数集进行以下至少一种方式的融合:加权平均、取最小值、取中位数;根据融合结果更新全局模型参数中的第一参数组。
在一个实施例中,所述依据对所述第一参数组的更新,更新所述当前全局模型参数包括:对其他各个参数组分别按照从各自对应的若干数据方反馈的相应参数集进行更新,从而更新所述当前全局模型参数。
根据第三方面,提供一种联合更新业务模型的方法,用于在服务方的辅助下,基于隐私保护联合训练业务模型的多个数据方中的第一方,所述业务模型用于处理业务数据,得到相应业务处理结果,所述方法包括:从所述服务方接收当前全局模型参数,以及所述第一方与所述全局模型参数划分的N个参数组中的第一参数组的对应关系;利用所述当前全局模型参数更新本地业务模型;基于更新后的本地业务模型对本地业务数据的处理,对本地模型参数进行若干轮次的更新;向所述服务方反馈针对所述第一参数组进行更新得到的第一参数集,以供所述服务方基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组,进而更新当前全局模型参数。
在一个实施例中,所述基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型包括:利用本地业务数据检测更新后的本地业务模型当前的阶段转换指标;在所述阶段转换指标满足全量更新的停止条件的情况下,进入对所述第一参数组进行更新的局部更新阶段。
在一个实施例中,在所述阶段转换指标不满足所述停止条件的情况下,继续对本地业务模型的全部模型参数进行更新的全量更新阶段。
在一个实施例中,所述阶段转换指标为更新后的本地业务模型的模型性能,所述停止条件为所述模型性能满足预设值。
在一个实施例中,在所述局部更新阶段,所述基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型包括:检测所述阶段转换指标是否满足全量更新的激活条件;在所述阶段转换指标满足所述激活条件的情况下,重新进入对本地业务模型的全部模型参数进行更新的全量更新阶段。
根据第四方面,提供一种联合更新业务模型的系统,包括服务方和多个数据方,所述多个数据方在所述服务方的辅助下基于隐私保护联合训练业务模型,所述业务模型用于处理业务数据,得到相应业务处理结果;其中:
所述服务方配置为向各个数据方提供全局模型参数,以及各个数据方各自与所述全局模型参数划分的N个参数组的对应关系;
各个数据方各自配置为利用全局模型参数更新本地业务模型,并基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型,以将与自身所对应参数组中的模型参数上传至服务方;
所述服务方还配置为分别针对各个参数组,对接收到的模型参数进行融合,从而更新全局模型参数。
根据第五方面,提供一种联合更新业务模型的装置,设于辅助多个数据方基于隐私保护联合训练业务模型的服务方,所述业务模型用于处理业务数据,得到相应业务处理结果,所述多个数据方包括第一方,所述装置包括:
提供单元,配置为向所述第一方提供当前全局模型参数,以及所述第一方与所述全局模型参数划分的N个参数组中的第一参数组的对应关系,以供所述第一方利用所述当前全局模型参数更新本地业务模型,并在基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型之后,反馈针对所述第一参数组的第一参数集;
接收单元,配置为接收所述第一方反馈的第一参数集;
更新单元,配置为基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组,从而依据对所述第一参数组的更新,更新所述当前全局模型参数。
根据第六方面,提供一种联合更新业务模型的装置,设于在服务方的辅助下,基于隐私保护联合训练业务模型的多个数据方中的第一方,所述业务模型用于处理业务数据,得到相应业务处理结果,所述装置包括:
接收单元,配置为从所述服务方接收当前全局模型参数,以及所述第一方与所述全局模型参数划分的N个参数组中的第一参数组的对应关系;
替换单元,配置为利用所述当前全局模型参数更新本地业务模型;
训练单元,配置为基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型;
反馈单元,配置为向所述服务方反馈针对所述第一参数组进行更新得到的第一参数集,以供所述服务方基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组,进而更新当前全局模型参数。
根据第七方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第二方面或第三方面的方法。
根据第八方面,提供了一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第二方面或第三方面的方法。
通过本说明书实施例提供的方法和装置,在多方协作基于隐私保护联合更新业务模型过程中,由于对作为训练成员的多个数据方进行分组,每个数据方仅上传部分模型参数,可以有效减少各个数据方与服务方之间的通信量,以及服务方的数据处理量,从而避免造成通信阻塞,有利于提高整体训练的效率。该方法和装置可以适用于任何联邦学习过程,尤其在数据方较多,或者训练样本数量较大的情形下,以上效果更加显著。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出本说明书的技术构思中基于隐私保护联合更新业务模型的实施架构示意图;
图2示出根据一个实施例的联合更新业务模型的方法流程图;
图3示出根据一个实施例的设于服务方的用于联合更新业务模型的装置的示意性框图;
图4示出根据一个实施例的设于数据方的用于联合更新业务模型的装置的示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
联邦学习(Federated Learning),又可以称为联邦机器学习,联合学习,联盟学习等。联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。
具体地,假设企业A、企业B各自建立一个任务模型,单个任务可以是分类或预测,而这些任务也已经在获得数据时有各自用户的认可。然而,由于数据不完整,例如企业A缺少标签数据、企业B缺少用户特征数据,或者数据不充分,样本量不足以建立好的模型,那么在各端的模型有可能无法建立或效果并不理想。联邦学习要解决的问题是如何在A和B各端建立高质量的模型,并且各个企业的自有数据不被其他方知晓,即在不违反数据隐私法规情况下,建立一个共有模型。这个共有模型就好像各方把数据聚合在一起建立的最优模型一样。这样,建好的模型在各方的区域仅为自有的目标服务。
联邦学习的各个机构也可以称为业务方,各个业务方分别可以对应有不同的业务数据。这里的业务数据例如可以是字符、图片、语音、动画、视频等各种数据。通常,各个业务方的业务数据具有相关性。例如,涉及医疗业务的多个业务方中,各个业务方可以是各个医院、体检机构等,如业务方1为医院A,对应用户年龄、性别、症状、诊断结果、治疗方案、治疗结果等等诊疗记录作为本地业务数据,业务方2可以为体检机构B,对应用户年龄、性别、症状、体检结论等等的体检记录数据,等等。
联邦学习的实施架构如图1所示。实践中,业务方可以作为数据持有方,也可以将数据传递给数据持有方,由数据持有方参与业务模型的联合训练。因此,在图1及下文中,将参与联合训练的服务方之外的各方统称为数据方。一个数据方通常可以对应一个业务方。在可选的实现中,一个数据方也可以对应多个业务方。数据方可以通过设备、计算机、服务器等实现。
在该实施架构下,可以由两个或两个以上的数据方共同训练业务模型。各个数据方分别可以利用训练好的业务模型对本地业务数据进行本地业务处理。服务方可以为各个业务方的联邦学习提供辅助,例如,辅助进行非线性计算、综合模型参数或梯度计算等。图1示出的服务方的形式为独立于各个业务方单独设置的其他方,如可信第三方等。实践中,服务方还可以分布于各个业务方,或者由各个业务方组成,各个业务方之间可以采用安全计算协议(如秘密共享等)完成联合辅助计算。本说明书对此不做限定。
参考图1所示,在联邦学习的实施架构下,服务方可以初始化全局的业务模型,分发给各个业务方。各个业务方可以分别按照服务方确定的全局业务模型,在本地计算模型参数的梯度,按照梯度更新模型参数。由服务方综合计算模型参数的梯度或联合更新的模型参数,并反馈给各个业务方。各个业务方根据接收到的模型参数或其梯度,更新本地的模型参数。如此循环,最终训练适合各个业务方的业务模型。
联邦学习可以分为横向联邦学习(特征对齐)、纵向联邦学习(样本对齐)与联邦迁移学习。本说明书提供的实施架构可以是用于各种联邦学习架构,尤其适用于横向联邦学习,即,各个业务方分别提供部分独立样本。
为了减少通信量,提高模型训练效率,本说明书提出一种分阶段分组更新模型参数的联邦学习方法。在该技术构思下,联邦学习过程中,数据方在第一阶段,全量更新并分组上传模型参数,以加快收敛速度,此阶段可以称为全量更新阶段,数据方在第二阶段,分组更新并分组上传模型参数,提高模型性能,此阶段可以称为局部更新阶段。其中,对于单个数据方而言,其第一阶段和第二阶段之间的过渡可以通过阶段转换指标进行判断。
下面详细描述本说明书技术构思下的联合训练业务模型的方法。
图2示出了根据本说明书一个实施例的联合训练业务模型的流程示意图。该流程涉及服务方和多个数据方。服务方或单个服务方可以是任一具有一定计算能力的计算机、设备或服务器等,例如图1示出的服务方、数据方。图2示出了联邦学习的一个周期。下面详细描述各个步骤。
首先,在步骤201中,服务方将各个数据方分为M组。可以理解,在本说明书的技术构思下,数据方可以分组向服务方上传模型参数,因此,服务方可以提前为数据方分组。其中M为大于1的整数。
根据一个实施方式,服务方可以将各个数据方随机分为M组。这里说的随机可以包括以下中的至少一种:单个数据方分到哪一组是随机的、单个数据方和哪些数据方分为一组是随机的、单个组的组员数量是随机的且不小于1。例如,将100个数据方随机分为10组,其中有的组包括10个数据方,有的组包括11个数据方,有的组包括8个数据方等等。
根据一个实施方式,可以按照数据方持有的业务数据数量对多个数据方进行分组。例如,以保持各个分组中的数据方持有的业务数据总量持平为目标,对各个数据方分组。
在其他实施方式中,还可以有其他分组方法,在此不再赘述。
另一方面,业务模型的模型参数同时也可以分组,在模型参数组数和数据方组数都是N(此时,M=N)的情况下,N组数据方与N组模型参数一一对应。通常,业务模型的模型参数可以被预先分组。数据方的分组可以以模型参数的分组为依据。其中,N可以是预设的正整数。在M小于N的情况下,单组数据方可以对应多组模型参数,在M大于N的情况下,单组模型参数可以对应多组数据方。事实上,即使M=N,也可以有单组数据方可以对应多组模型参数和单组模型参数可以对应多组数据方的情况同时存在。总之,M组数据方中的单组数据方对应至少一个参数组,N个参数组中的单个参数组对应至少一组数据方。
在业务模型为神经网络的情况下,数据方组数可以与业务模型的神经网络层数一致,这样,每组数据方可以对应一层神经网络。可选地,数据方组数也可以小于业务模型的神经网络层数,这样,至少有一个参数组可以包括多层神经网络。
在一个实施例中,N组模型参数分别对应N个分组标识,各个分组中的数据方被分配N个分组标识中的一个。亦即,将模型参数的分组标识随机或按照一定规则分配给各组数据方。各个分组标识还可以在确定数据方分组后随机对应到各个数据方分组,也可以直接将模型参数分组标识随机分配给各个数据方以同时对数据方进行分组并确定数据方对应的模型参数。在模型参数按照神经网络层数分组的情况下,数据方的分组标识可以使用其对应的模型参数所在层号。作为一个示例,神经网络层号分别为0到N-1,共N个数,将这N个数随机分配给各个数据方,可以同时对数据方进行分组并得到数据方与各层神经网络(分别对应着各个参数组)的对应关系。
根据一个实施例,在根据模型参数分组确定数据方分组的情况下,还可以按照数据方持有的业务数量与单组模型参数数量的对应关系,为多个数据方分组。例如,在业务模型为神经网络,单层神经网络对应一组模型参数的情况下,神经元数量越多的层,相应分到的数据方持有的业务数据数量越多。
值得说明的是,在联合更新业务模型过程中,服务方可以在每个交互周期对各个数据方重新分组,也可以仅在初始周期对各个数据方进行一次分组,并在后续各个周期沿用,在此不做限定。
然后,通过步骤202,服务方向各个数据方提供当前的全局模型参数,以及各个数据方各自与由全局模型参数划分的N个参数组的对应关系。可以理解,在联邦学习的初始周期,当前的全局模型参数可以是由服务方初始化的模型参数,在联邦学习的其他周期,当前的全局模型参数可以是由服务方根据各个数据方反馈的模型参数更新的模型参数。
在本说明书的技术构思下,每个数据方仅将全部模型参数中的一部分模型参数(在这里称为部分模型参数)反馈至服务方。步骤201中对数据方分组的目的便是确定哪些数据方反馈哪些模型参数。因此,在该步骤202中可以向各个数据方提供相应所对应参数组的分组标识(如第j组),或者各个模型参数的参数标识(如wij),以供数据方按照分组标识提供相应的模型参数。
在可选的实施例中,一个数据方(或其所在的一组数据方)还可以对应一个或多个参数组,在此不做限定。此时,单个数据方可以向服务方反馈其对应的多个参数组的模型参数。以作为多个数据方中任意一方的第一方为例,其至少可以与第一参数组具有对应关系。其中,第一参数组可以是N组模型参数中的任意一组。
接着,在步骤203中,各个数据方各自基于本地业务数据对按照全局模型参数更新的本地业务模型进行进一步的更新,得到新的本地业务模型。其中,单个数据方可以利用全量的全局模型参数更新本地业务模型,也可以仅更新相应组的部分模型参数。例如,在处于对模型参数的全量更新阶段的情况下,单个数据方可以利用全量的全局模型参数更新本地业务模型,在处于对模型参数的局部更新阶段的情况下,单个数据方可以利用全量的全局模型参数更新本地业务模型,也可以利用全局模型参数中,自身所对应参数组的部分模型参数更新本地业务模型。例如,第i组的数据方仅更新第i层神经网络(对应第i参数组)的模型参数。
针对单个数据方而言,全量更新阶段可以是在利用本地业务数据训练本地业务模型过程中全量更新模型参数的阶段,局部更新阶段可以是在利用本地业务数据训练本地业务模型过程中局部更新模型参数的阶段。在一个可能的设计中,在全量更新阶段,单个数据方从服务方接收全量的全局模型参数,并全量更新本地业务模型的模型参数,进而,利用更新后的本地业务模型处理本地作为训练样本的业务数据,并在当前训练周期的若干个轮次中全量更新模型参数。也就是说,计算全部模型参数的梯度,以基于各个梯度更新全部模型参数。在局部更新阶段,单个数据方可以利用全量或相应参数组的部分模型参数,更新本地业务模型,进而,利用更新后的本地业务模型处理本地作为训练样本的业务数据,并在当前训练周期的若干个轮次中仅计算相应参数组的部分模型参数的梯度,并更新这些模型参数。例如,与第i组模型参数对应的数据方j,可以固定其他组的模型参数,仅计算第i组模型参数的梯度,并更新第i组模型参数。
值得说明的是,不论全量更新阶段还是局部更新阶段,单个数据方(记为j)都可以仅上传当前周期对应组(如第i组)的部分模型参数wij(第j个数据方第i组模型参数)。例如,业务模型为N层神经网络,数据方的N个分组分别对应N层神经网络,被分到第2组的数据方,可以向服务方反馈第2层神经网络的模型参数。从而,在整个联邦学习过程中,可以大大降低通信数据量。
在一些可选的实现方式中,可以由服务方或各个数据方协商确定,或基于服务方确定的全量更新阶段训练时间(例如5个小时)、训练周期数(如1000个交互周期)等参数,各个数据方一起进入本说明书技术构思下的联邦学习的局部更新阶段。
在另一些可选的实现方式中,各个数据方分别可以利用阶段转换指标衡量自身当前周期处于全量更新阶段还是局部更新阶段。该阶段转换指标可以是用于衡量联合训练的业务模型针对单个数据方的本地业务数据的处理能力的指标。也就是说,联合训练的业务模型针对单个数据方的本地业务数据具有一定的处理能力后,可以进行局部更新阶段的模型参数局部更新。
在可选的实现方式中,该阶段转换指标可以通过诸如准确率、模型损失等中的至少一项模型性能表示。在阶段转换指标满足全量更新的停止条件的情况下,单个数据方可以进入局部更新阶段。根据阶段转换指标的不同,停止条件也不同。在一个实施例中,阶段转换指标可以是准确率。单个数据方在利用服务方提供的当前全局模型参数更新本地业务模型之后,利用更新后的本地业务模型处理本地的验证集,得到准确率。停止条件例如是准确率大于预定的准确度阈值等。在另一个实施例中,阶段转换指标是模型损失。单个数据方利用更新后的本地业务模型分多个批次处理本地的验证集,每个批次都确定一个模型损失,针对连续多个批次,将模型损失的单次降幅是否均小于预定值(如0.001),或者整体降幅是否小于预定值(如0.01)等作为阶段转换指标。也就是说,停止条件为模型损失降幅小于预定幅值。在一个实施例中,数据方还可以检测最近多个(如10个)训练周期(与数据方的交互周期)中,损失函数是否趋于稳定,如降幅小于预定值(如0.001)等,作为阶段转换指标。亦即,此时的停止条件可以为模型损失连续预定次数降幅小于预定幅值。
在更多实施例中,数据方也可以使用其他评价指标,或者使用其他方式确定阶段转换指标,以确定全量更新阶段是否结束。在全量更新阶段结束之后,单个数据方可以进入局部更新阶段,即在每个训练周期,在本地进行的多个轮次的模型参数更新过程中,仅更新相应训练周期对应分组的模型参数,例如第一方仅更新第一参数组中的模型参数。
在可能的设计中,单个数据方进入局部更新阶段后,还可以进一步检测以上阶段转换指标,在以上阶段转换指标满足全量更新的激活条件时,重新进入全量更新阶段进一步全量更新业务模型的模型参数。这里的激活条件也可以称为全量更新阶段的唤醒条件。例如可以为,检测到模型损失的下降幅值大于预设的激活值(如0.1)。
进一步地,通过步骤204,各个数据方将各自对应参数组的模型参数上传至服务方。具体地,分到第j组的第i个数据方向服务方反馈第j个参数组(如第j层神经网络)的模型参数wi,j。以前文的第一方为例,其至少可以向服务方上传针对第一参数组对应的模型参数更新后的参数值。为了描述方柏霓,本说明书可以将第一参数组对应的模型参数的参数值记为第一参数集,则第一方可以反馈针对第一参数组更新后的第一参数集。可选地,数据方向服务方上传的数据还可以通过同态加密、秘密共享等预先约定的方式进行加密,以进一步保护数据隐私。
如此,进一步通过步骤205,服务方针对各个参数组,分别对相应的各组数据方反馈的模型参数进行融合,以更新全局模型参数。例如,服务方可以按照从1-N,分别融合各组模型参数,也可以根据各组数据方对模型参数反馈完毕的顺序,融合各参数组的模型参数。
服务方可以按照加权平均、取最小值、取中位数等方式对各组模型参数进行融合,在此不作限定。其中,在加权平均方式下,权重可以设为一致或不一致。如果设为不一致,则各个数据方对应的权重可以和相应数据方持有的业务数据条数正相关。各组模型参数的融合结果可以用于更新其全局模型参数。
以上步骤201至步骤205可以看作服务方辅助进行联邦学习过程汇总的一个周期。其中,基于本说明书的技术构思,步骤201至步骤205中各个步骤的执行顺序不限于以上实施例里给出的顺序。例如,步骤201、步骤202、步骤203可以按照上述顺序执行,也可以同时执行,还可以混合执行。以混合执行为例,服务方可以通过步骤201为向各个数据方提供当前的全局模型参数,再通过步骤202为各个数据方分组,并向数据方提供相应分组标识。在可选的实现方式中,服务方确定并向数据方提供相应分组标识可以在数据方利用本地业务数据训练本地业务模型的同时进行。
另外,在数据方的分组在整个联邦学习过程中确定不变的情况下,仅在第一个训练周期中涉及服务方针对多个数据方进行分组并确定相应分组对应的模型参数,或者在训练开始之前预先确定分组并确定相应分组对应的模型参数,以提供给数据方,后续流程中服务方不再执行上述的步骤201,以及步骤202中将数据方与参数组的对应关系提供给各个数据方的步骤。
回顾以上流程,在基于隐私保护通过图2示出的流程的联合更新业务模型过程中,由于对作为训练成员的多个数据方进行分组,每个数据方仅向服务方上传部分模型参数,可以有效减少多方协作过程中,各个数据方与服务方之间的通信量,以及服务方的数据处理量,从而避免造成通信阻塞,有利于提高整体的训练效率。
另外,对于单个数据方而言,训练过程可以分为两个阶段,全量更新阶段训练成员全局更新但分组局部上传模型参数,有利于加快收敛速度,提高联合训练的效率,局部更新阶段训练成员分组局部更新并局部上传模型参数,有利于提高模型性能,从而提高联合训练的业务模型对业务数据的处理能力。
本说明书提供的联合更新业务模型的方法,可以适用于任何联邦学习过程,尤其在数据方较多,或者训练样本数量较大的情形下,以上效果更加显著。并且,以上过程未对模型进行稀疏化或量化,从而模型信息无损,对模型收敛性的影响较小,对训练成员进行随机分组,也保证联邦模型对训练数据的鲁棒性。
根据另一方面的实施例,还提供一种联合更新业务模型的系统,包括服务方和多个数据方,多个数据方在服务方的辅助下基于隐私保护联合训练业务模型,业务模型用于处理业务数据,得到相应业务处理结果。
其中:服务方配置为向各个数据方提供全局模型参数,以及各个数据方各自与全局模型参数划分的N个参数组的对应关系;各个数据方各自配置为利用全局模型参数更新本地业务模型,并基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型,以将与自身所对应参数组中的模型参数上传至服务方;服务方还配置为分别针对各个参数组,对接收到的模型参数进行融合,从而更新全局模型参数。
具体地,如图3、图4所示,服务方和单个数据方分别可以通过联合更新业务模型的装置300、装置400执行相应操作。
如图3所示,装置300可以包括:
提供单元31,配置为向第一方提供当前全局模型参数,以及第一方与全局模型参数划分的N个参数组中的第一参数组的对应关系,以供第一方利用当前全局模型参数更新本地业务模型,并在基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型之后,反馈针对所述第一参数组的第一参数集;
接收单元32,配置为接收第一方反馈的第一参数集;
更新单元33,配置为基于第一参数集及从其他数据方接收的关于第一参数组的其他参数集,更新全局模型参数中的第一参数组,从而依据对第一参数组的更新,更新当前全局模型参数。
可以理解的是,实际上,接收单元32还可以配置为接收其他数据方反馈的各个参数集,而不仅仅是第一方反馈的第一参数集。这里由于服务方和各个数据方的交互过程的一致性,仅描述了数据方中的第一方和服务方的交互,因此仅描述了涉及第一方的参数集。
如图4所示,以多个数据方中的第一方为例,装置400可以包括:
接收单元41,配置为从服务方接收当前全局模型参数,以及第一方与全局模型参数划分的N个参数组中的第一参数组的对应关系;
替换单元42,配置为利用当前全局模型参数更新本地业务模型;
训练单元43,配置为基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型;
反馈单元44,配置为向服务方反馈针对第一参数组进行更新得到的第一参数集,以供服务方基于第一参数集及从其他数据方接收的关于第一参数组的其他参数集,更新全局模型参数中的第一参数组,进而更新当前全局模型参数。
值得说明的是,图3所示的装置300、图4所示的装置400,分别是与图2示出的方法实施例中设于服务方、数据方的装置实施例,以实现相应业务方的功能。因此,图2示出的方法实施例中的相应描述同样适用于装置300或装置400,在此不再赘述。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当计算机程序在计算机中执行时,令计算机执行结合图2所描述的方法中与服务方或数据方对应的操作。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,存储器中存储有可执行代码,处理器执行可执行代码时,实现结合图2的方法中与服务方或数据方对应的操作。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上的具体实施方式,对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本说明书的技术构思的具体实施方式而已,并不用于限定本说明书的技术构思的保护范围,凡在本说明书实施例的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本说明书的技术构思的保护范围之内。
Claims (18)
1.一种联合更新业务模型的方法,用于多个数据方在服务方的辅助下基于隐私保护联合训练业务模型,所述业务模型用于处理业务数据,得到相应业务处理结果;所述方法包括:
服务方向各个数据方提供全局模型参数,以及各个数据方各自与所述全局模型参数划分的N个参数组的对应关系;
各个数据方各自利用全局模型参数更新本地业务模型;
各个数据方基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型,并将与自身所对应参数组中的模型参数上传至服务方;
服务方分别针对各个参数组,对接收到的模型参数进行融合,从而更新全局模型参数。
2.根据权利要求1所述的方法,各个数据方基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型包括:
各个数据方各自在利用全局模型参数更新本地业务模型之后,使用本地业务数据检测当前的阶段转换指标;
所述阶段转换指标满足全量更新的停止条件的数据方,进入局部更新阶段;
进入局部更新阶段的数据方对其对应参数组中的模型参数进行更新。
3.根据权利要求2所述的方法,其中,所述阶段转换指标为更新后的本地业务模型的模型性能,所述停止条件为所述模型性能满足预设值。
4.一种联合更新业务模型的方法,用于辅助多个数据方基于隐私保护联合训练业务模型的服务方,所述业务模型用于处理业务数据,得到相应业务处理结果,所述多个数据方包括第一方,所述方法包括:
向所述第一方提供当前全局模型参数,以及所述第一方与所述全局模型参数划分的N个参数组中的第一参数组的对应关系,以供所述第一方利用所述当前全局模型参数更新本地业务模型,并在基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型之后,反馈针对所述第一参数组的第一参数集;
接收所述第一方反馈的第一参数集;
基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组,进而根据对所述第一参数组的更新,更新所述当前全局模型参数。
5.根据权利要求4所述的方法,其中,所述第一方与所述第一参数组的对应关系基于以下方式确定:
将所述多个数据方分为M组,其中,单组数据方对应至少一个数据方,所述第一方属于M组数据方中的第一组;
确定M组数据方分别与N个参数组的对应关系,其中,单组数据方对应至少一个参数组,单个参数组对应至少一组数据方,所述第一组对应的参数组为第一参数组。
6.根据权利要求5所述的方法,其中,所述将所述多个数据方分为M组包括以下中的一项:
以各组数据方持有的业务数据条数一致为目标,将所述多个数据方分为M组;
以单个数据方持有的业务数据条数与相对应的参数组包括的模型参数数量正相关为目标,将所述多个数据方分为M组。
7.根据权利要求4所述的方法,其中,所述基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组包括:
对所述第一参数集及关于所述第一参数组的其他参数集进行以下至少一种方式的融合:加权平均、取最小值、取中位数;
根据融合结果更新全局模型参数中的第一参数组。
8.根据权利要求4所述的方法,其中,所述根据 对所述第一参数组的更新,更新所述当前全局模型参数包括:
对其他各个参数组分别按照从各自对应的若干数据方反馈的相应参数集进行更新,从而更新所述当前全局模型参数。
9.一种联合更新业务模型的方法,用于在服务方的辅助下,基于隐私保护联合训练业务模型的多个数据方中的第一方,所述业务模型用于处理业务数据,得到相应业务处理结果,所述方法包括:
从所述服务方接收当前全局模型参数,以及所述第一方与所述全局模型参数划分的N个参数组中的第一参数组的对应关系;
利用所述当前全局模型参数更新本地业务模型;
基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型;
向所述服务方反馈针对所述第一参数组进行更新得到的第一参数集,以供所述服务方基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组,进而更新当前全局模型参数。
10.根据权利要求9所述的方法,其中,所述基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型包括:
利用本地业务数据检测更新后的本地业务模型当前的阶段转换指标;
在所述阶段转换指标满足全量更新的停止条件的情况下,进入对所述第一参数组进行更新的局部更新阶段。
11.根据权利要求10所述的方法,其中,在所述阶段转换指标不满足所述停止条件的情况下,继续对本地业务模型的全部模型参数进行更新的全量更新阶段。
12.根据权利要求10或11所述的方法,其中,所述阶段转换指标为更新后的本地业务模型的模型性能,所述停止条件为所述模型性能满足预设值。
13.根据权利要求10所述的方法,其中,在所述局部更新阶段,所述基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型包括:
检测所述阶段转换指标是否满足全量更新的激活条件;
在所述阶段转换指标满足所述激活条件的情况下,重新进入对本地业务模型的全部模型参数进行更新的全量更新阶段。
14.一种联合更新业务模型的系统,包括服务方和多个数据方,所述多个数据方在所述服务方的辅助下基于隐私保护联合训练业务模型,所述业务模型用于处理业务数据,得到相应业务处理结果;其中:
所述服务方配置为向各个数据方提供全局模型参数,以及各个数据方各自与所述全局模型参数划分的N个参数组的对应关系;
各个数据方各自配置为利用全局模型参数更新本地业务模型,并基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型,以将与自身所对应参数组中的模型参数上传至服务方;
所述服务方还配置为分别针对各个参数组,对接收到的模型参数进行融合,从而更新全局模型参数。
15.一种联合更新业务模型的装置,设于辅助多个数据方基于隐私保护联合训练业务模型的服务方,所述业务模型用于处理业务数据,得到相应业务处理结果,所述多个数据方包括第一方,所述装置包括:
提供单元,配置为向所述第一方提供当前全局模型参数,以及所述第一方与所述全局模型参数划分的N个参数组中的第一参数组的对应关系,以供所述第一方利用所述当前全局模型参数更新本地业务模型,并在基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型之后,反馈针对所述第一参数组的第一参数集;
接收单元,配置为接收所述第一方反馈的第一参数集;
更新单元,配置为基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组,进而根据对所述第一参数组的更新,更新所述当前全局模型参数。
16.一种联合更新业务模型的装置,设于在服务方的辅助下,基于隐私保护联合训练业务模型的多个数据方中的第一方,所述业务模型用于处理业务数据,得到相应业务处理结果,所述装置包括:
接收单元,配置为从所述服务方接收当前全局模型参数,以及所述第一方与所述全局模型参数划分的N个参数组中的第一参数组的对应关系;
替换单元,配置为利用所述当前全局模型参数更新本地业务模型;
训练单元,配置为基于本地业务数据对更新后的本地业务模型进行进一步的更新,得到新的本地业务模型;
反馈单元,配置为向所述服务方反馈针对所述第一参数组进行更新得到的第一参数集,以供所述服务方基于所述第一参数集及从其他数据方接收的关于所述第一参数组的其他参数集,更新全局模型参数中的第一参数组,进而更新当前全局模型参数。
17.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求4-13中任一项的所述的方法。
18.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求4-13中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110390904.XA CN113052329B (zh) | 2021-04-12 | 2021-04-12 | 联合更新业务模型的方法及装置 |
PCT/CN2022/085876 WO2022218231A1 (zh) | 2021-04-12 | 2022-04-08 | 联合更新业务模型的方法及装置 |
US18/485,765 US20240037252A1 (en) | 2021-04-12 | 2023-10-12 | Methods and apparatuses for jointly updating service model |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110390904.XA CN113052329B (zh) | 2021-04-12 | 2021-04-12 | 联合更新业务模型的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113052329A CN113052329A (zh) | 2021-06-29 |
CN113052329B true CN113052329B (zh) | 2022-05-27 |
Family
ID=76519116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110390904.XA Active CN113052329B (zh) | 2021-04-12 | 2021-04-12 | 联合更新业务模型的方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240037252A1 (zh) |
CN (1) | CN113052329B (zh) |
WO (1) | WO2022218231A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052329B (zh) * | 2021-04-12 | 2022-05-27 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及装置 |
CN114357526A (zh) * | 2022-03-15 | 2022-04-15 | 中电云数智科技有限公司 | 抵御推断攻击的医疗诊断模型差分隐私联合训练方法 |
CN114707662B (zh) * | 2022-04-15 | 2024-06-18 | 支付宝(杭州)信息技术有限公司 | 联邦学习方法、装置及联邦学习系统 |
CN117093903B (zh) * | 2023-10-19 | 2024-03-29 | 中国科学技术大学 | 一种纵向联邦学习场景中标签推理攻击方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476376A (zh) * | 2020-06-24 | 2020-07-31 | 支付宝(杭州)信息技术有限公司 | 联盟学习方法、联盟学习装置及联盟学习系统 |
CN111626506A (zh) * | 2020-05-27 | 2020-09-04 | 华北电力大学 | 基于联邦学习的区域光伏功率概率预测方法及其协同调控系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10970402B2 (en) * | 2018-10-19 | 2021-04-06 | International Business Machines Corporation | Distributed learning preserving model security |
US11836643B2 (en) * | 2019-03-08 | 2023-12-05 | Nec Corporation | System for secure federated learning |
CN112015749B (zh) * | 2020-10-27 | 2021-02-19 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护更新业务模型的方法、装置及系统 |
CN112288097B (zh) * | 2020-10-29 | 2024-04-02 | 平安科技(深圳)有限公司 | 联邦学习数据处理方法、装置、计算机设备及存储介质 |
CN112488322B (zh) * | 2020-12-15 | 2024-02-13 | 杭州电子科技大学 | 一种基于数据特征感知聚合的联邦学习模型训练方法 |
CN113052329B (zh) * | 2021-04-12 | 2022-05-27 | 支付宝(杭州)信息技术有限公司 | 联合更新业务模型的方法及装置 |
-
2021
- 2021-04-12 CN CN202110390904.XA patent/CN113052329B/zh active Active
-
2022
- 2022-04-08 WO PCT/CN2022/085876 patent/WO2022218231A1/zh active Application Filing
-
2023
- 2023-10-12 US US18/485,765 patent/US20240037252A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111626506A (zh) * | 2020-05-27 | 2020-09-04 | 华北电力大学 | 基于联邦学习的区域光伏功率概率预测方法及其协同调控系统 |
CN111476376A (zh) * | 2020-06-24 | 2020-07-31 | 支付宝(杭州)信息技术有限公司 | 联盟学习方法、联盟学习装置及联盟学习系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2022218231A1 (zh) | 2022-10-20 |
CN113052329A (zh) | 2021-06-29 |
US20240037252A1 (en) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113052329B (zh) | 联合更新业务模型的方法及装置 | |
CN112348204B (zh) | 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法 | |
Xu et al. | SG-PBFT: A secure and highly efficient distributed blockchain PBFT consensus algorithm for intelligent Internet of vehicles | |
CN112906903B (zh) | 网络安全风险预测方法、装置、存储介质及计算机设备 | |
CN110610242B (zh) | 一种联邦学习中参与者权重的设置方法及装置 | |
CN111612455A (zh) | 一种面向用电信息保护的拜占庭容错联盟链共识方法及其系统、存储介质 | |
US11222009B2 (en) | High throughput blockchain consensus systems and methods with low finalization time | |
WO2020146667A1 (en) | Systems and methods for secure data aggregation and computation | |
US20180198624A1 (en) | Private blockchain transaction management and termination | |
CN113609521A (zh) | 一种基于对抗训练的联邦学习隐私保护方法及系统 | |
CN112799708B (zh) | 联合更新业务模型的方法及系统 | |
CN113377797B (zh) | 联合更新模型的方法、装置及系统 | |
CN113360514B (zh) | 联合更新模型的方法、装置及系统 | |
Gao et al. | SVeriFL: Successive verifiable federated learning with privacy-preserving | |
CN115049011A (zh) | 确定联邦学习的训练成员模型贡献度的方法及装置 | |
CN113420323B (zh) | 数据共享方法及终端设备 | |
CN111865595A (zh) | 一种区块链的共识方法及装置 | |
CN116828453B (zh) | 基于自适应非线性函数的无人机边缘计算隐私保护方法 | |
US11734455B2 (en) | Blockchain-based data processing method and apparatus, device, and storage medium | |
CN116756518A (zh) | 基于联邦学习的云边协同电力缺陷识别方法及相关装置 | |
CN116384502B (zh) | 联邦学习中参与方价值贡献计算方法、装置、设备及介质 | |
Dong et al. | DAON: A decentralized autonomous oracle network to provide secure data for smart contracts | |
CN112351030B (zh) | 一种数据处理方法和计算机设备 | |
Xu et al. | BASS: A Blockchain-Based Asynchronous SignSGD Architecture for Efficient and Secure Federated Learning | |
CN116402366A (zh) | 基于联合学习的数据贡献评价方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |