CN112784995A - 联邦学习方法、装置、设备及存储介质 - Google Patents
联邦学习方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112784995A CN112784995A CN202011633747.2A CN202011633747A CN112784995A CN 112784995 A CN112784995 A CN 112784995A CN 202011633747 A CN202011633747 A CN 202011633747A CN 112784995 A CN112784995 A CN 112784995A
- Authority
- CN
- China
- Prior art keywords
- model
- local
- learning
- block chain
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims description 40
- 230000004044 response Effects 0.000 claims description 31
- 238000012795 verification Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000005291 magnetic effect Effects 0.000 description 7
- 101100455978 Arabidopsis thaliana MAM1 gene Proteins 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种联邦学习方法、装置、设备及存储介质，包括：建立关于所述区块链节点的初始模型，将所述初始模型作为所述区块链节点的本地模型；利用元学习方法，结合所述区块链节点的本地数据对所述本地模型进行模型训练，得到更新后本地模型；结合所述区块链节点的本地数据对所述更新后本地模型进行模型训练，直至所述本地模型收敛到预设范围，从而确定所述区块链节点的结果模型。本申请通过元学习算法，仅需少量训练就能够快速收敛到其最优解，初始模型就能够保证在以后相似的任务上都能够快速收敛，得到对应的结果模型，节省了计算资源，有利于系统的良性运转。
Description
技术领域
本申请涉及通信技术领域，具体涉及一种联邦学习方法、装置、计算机设备及存储介质。
背景技术
联邦学习(Federated Learning)最早由谷歌提出，是在保障数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习的一种新兴人工智能基础技术，与分布式机器学习不同的是联邦学习需要一种去中心化分布系统来保证用户的隐私安全，在保障数据安全和交换、训练效率前提下进行有效的机器学习。联邦学习模型由每个设备在本地进行模型训练和参数上传，通过一个中央服务器来进行模型的更新，使得用户数据只在本地设备上进行处理，以此来保证用户的数据隐私。
基于区块链在联邦学习上的良好特性，联邦学习模型由每个设备在本地进行模型训练和参数上传，通过一个中央服务器来进行模型的更新，使得用户数据只在本地设备上进行处理，以此来保证用户的数据隐私。其局限性在于该模型只依赖于一个单一的中央服务器，容易受到服务器故障的影响。同时也没有合适的激励基本来激励用户提供数据训练和上传模型参数。为了解决上述这些问题，基于区块链的区块链联邦学习，用区块链网络来替代中央服务器，区块链网络允许交换设备的本地模型更新，同时验证和提供相应的激励机制。
区块链的加密解密流程，及证明机制等，这些过程的复杂性会很大程度上降低模型训练的效率。对于较为复杂的模型，模型参数的加密以及传输都需要较长的时间。区块链中存储的迭代过程中的模型规模过大也会导致需要较大的存储成本。区块链联邦学习系统要走向实用必须要进一步提升训练模型效率和降低网络传输代价，以提高其在应用中的实际价值。
发明内容
本申请提供一种联邦学习的方法、装置、计算机设备及存储介质，通过元学习算法，仅需少量训练就能够快速收敛到其最优解，初始模型就能够保证在以后相似的任务上都能够快速收敛，得到对应的结果模型，节省了计算资源，有利于系统的良性运转。
根据本申请的一个方面，提供了一种联邦学习方法，应用于区块链节点，所述区块链节点包含于联邦学习网络系统，所述联邦学习网络系统还包括参与联邦学习的其他区块链节点，所述其他区块链节点包括至少一个区块链节点，所述方法包括：
建立关于所述区块链节点的初始模型，将所述初始模型作为所述区块链节点的本地模型；
利用元学习方法，结合所述区块链节点的本地数据对所述本地模型进行模型训练，得到更新后本地模型；
结合所述区块链节点的本地数据对所述更新后本地模型进行模型训练，直至所述本地模型收敛到预设范围，从而确定所述区块链节点的结果模型。
根据本申请的一个方面，提供一种联邦学习装置，应用于区块链节点，所述区块链节点包含于联邦学习网络系统，所述联邦学习网络系统还包括参与联邦学习的其他区块链节点，所述其他区块链节点包括至少一个区块链节点，所述装置包括：
建立模块，用于建立关于所述区块链节点的初始模型，将所述初始模型作为所述区块链节点的本地模型；
训练模块，用于利用元学习方法，结合所述区块链节点的本地数据对所述本地模型进行模型训练，得到更新后本地模型；
更新模块，用于结合所述区块链节点的本地数据对所述更新后本地模型进行模型训练，直至所述本地模型收敛到预设范围，从而确定所述区块链节点的结果模型。
根据本申请的一个方面，还提供一种联邦学习设备，所述设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行如上所述的任一方法的操作。
根据本申请的一个方面，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行如上所述的任一方法的操作。
本申请通过元学习算法，仅需少量训练就能够快速收敛到其最优解，初始模型就能够保证在以后相似的任务上都能够快速收敛，得到对应的结果模型，节省了计算资源，有利于系统的良性运转。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本申请实施例提供的一种联邦学习方法的流程示意图；
图2示出本申请实施例中提供的模型无关元学习方法的原理示例；
图3示出本申请实施例提供的一种联邦学习方法的示意图；
图4示出本申请实施例中提供的联邦学习装置的功能模块；
图5示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
需要说明的是，本申请实施例方法由于是在计算设备中执行，各计算设备的处理对象均以数据或信息的形式存在，例如时间，实质为时间信息，可以理解的是，后续实施例中若提及尺寸、数量、位置等，均为对应的数据存在，以便电子设备进行处理，具体此处不作赘述。
在本申请一个典型的配置中，终端或可信方等均包括一个或多个处理器，例如，中央处理器(Central Processing Unit，CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(Random Access Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(FlashMemory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
本申请提供了一种联邦学习方法，该方法应用于联邦学习网络系统中的区块链节点，该联邦学习网络系统包括多个区块链节点。相较于传统联邦学习的流程，本方法利用区块链网络代理中央服务器，各个区块链节点通过区块链网络交互各方的本地模型相关参数，进行本地模型更新，同时验证和提供相应的激励机制等。各个区块链节点可以从联邦学习网络系统对应的区块链网络上下载不同版本的模型更新，一定程度上增强联邦学习网络系统的鲁棒性，而且所有的模型更新都在区块链上存储和传播，保证了方案的实用性等。
本申请的区块链节点可以设置于计算机设备，计算机设备中集成有对应的装置。本申请实施例中，该计算机设备可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的计算机设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
参考图1，示出了本申请一个方面的一种联邦学习方法，应用于区块链节点，所述区块链节点包含于联邦学习网络系统，所述联邦学习网络系统还包括参与联邦学习的其他区块链节点，所述其他区块链节点包括至少一个区块链节点，所述方法包括步骤S101、步骤S102以及步骤S103。在步骤S101中，建立关于所述区块链节点的初始模型，将所述初始模型作为所述区块链节点的本地模型；在步骤S102中，利用元学习方法，结合所述区块链节点的本地数据对所述本地模型进行模型训练，得到更新后本地模型；在步骤S103中，结合所述区块链节点的本地数据对所述更新后本地模型进行模型训练，直至所述本地模型收敛到预设范围，从而确定所述区块链节点的结果模型。例如，该联邦学习网络系统以多个区块链节点组成的区块链网络组成，本方法是适用于多个区块链节点中任意一个，其他区块链节点是指当前适用的区块链节点之外其他区块链节点等，多个区块链节点可以将联邦学习对应参数上传至区块链，并下载其他区块链节点上传的参数更新本地模型，直至本地模型收敛，从而保证数据持有者的隐私性的同时，还能够保证系统的安全稳定性，并对数据真实有效性提供了保障。
具体而言，在步骤S101中，建立关于所述区块链节点的初始模型，将所述初始模型作为所述区块链节点的本地模型。例如，所述区块链节点属于联邦学习网络系统，即为联邦学习的参与者。联邦学习网络系统中每个区块链节点建立关于联邦学习的初始模型，将初始模型作为区块链节点的本地模型，或者将初始模型进行一定训练，通过本地数据对初始模型进行一定更新训练得到对应本地模型等。
在步骤S102中，利用元学习方法，结合所述区块链节点的本地数据对所述本地模型进行模型训练，得到更新后本地模型。例如，所述元学习方法包括模型无关元学习方法，主要是在各种学习任务上训练一个模型，这样可以使用少量的训练样本来解决新的学习任务；模型无关元学习算法适用于任何基于梯度下降进行训练的模型，并且适用于各种学习问题，如分类，回归和强化学习等。在此，我们通过模型无关元学习方法为本地模型对应全局模型提供一个初始化参数，加快全局模型的收敛。模型的参数被显式地训练，模型在处理新任务时，只需几次的梯度更新以及少量的训练数据就能取得良好的泛化性能。获取到对应全局模型后，可以基于全局模型的相关参数对本地模型进行更新，得到更新后本地模型。
如在一些实施方式中，在步骤S102中，基于所述本地数据对所述本地模型进行训练，获取对应的第一梯度信息；将所述第一梯度信息广播至所述其他区块链节点，接收其他区块链节点广播的第二梯度信息，其中，所述第二梯度信息由所述其他区块链节点基于其他本地数据对其他本地模型训练得到；对所述第二梯度信息进行验证，得到验证后的第二梯度信息，将验证后的第二梯度信息作为第三梯度信息存储至所述区块链网络的区块链中，其中，所述第三梯度信息还包括经由所述其他区块链节点验证的第一梯度信息；从所述区块链中提取所述第三梯度信息，确定所述联邦学习的全局模型；基于所述全局模型，利用模型无关元学习算法及所述区块链节点的本地数据，对所述本地模型进行更新，得到更新后本地模型。例如，关于具体的本地模型更新过程本质上是一个循环训练，此处我们仅描述一次循环过程。区块链节点通过本地数据对本地模型进行训练，得到对应的第一梯度信息，如随机选择部分本地数据进行训练等，保证本地模型的稳定性。随后，区块链节点将该第一梯度信息通过区块链广播至其他区块链节点，并接收其他区块链节点广播的第二梯度信息。区块链节点根据本地数据对第二梯度信息进行验证，得到验证后的第二梯度信息，将验证后的第二梯度信息存储至区块链，从而得到第三梯度信息，该第三梯度信息不仅包括该区块链节点验证的第二梯度信息，还包括在其他区块链节点通过验证后的第一梯度信息等，简而言之，该第三梯度信息包括各区块链节点经验证后的梯度信息。随后，区块链节点从区块链上获取第三梯度信息，确定对应的全局模型，该全局模型包括各区块链节点经验验证后发送至区块链的梯度信息，各个区块链节点均能通过区块链获取该第三梯度信息并确定对应全局模型等。区块链节点根据全局模型，利用模型无关元学习方法确定该全局模型的初始化参数，从而对全局模型进行更新，得到更新后的全局模型，如更新后的各梯度信息等，并基于全局模型包含的更新后的梯度信息对本地模型进行更新，从而得到更新后本地模型，该更新后本地模型包括更新后的第一梯度信息等。在此，所述第一、第二、第三并不表示顺序或者大小等排序关系，仅用于区分梯度信息的名称，该名称为了区别对应数据源，如第一梯度信息来自于当前区块链节点、第二梯度信息来自于其他区块链节点，第三梯度信息是经过验证后上链的梯度信息等。
在一些实施方式中，所述基于所述全局模型，利用模型无关元学习算法及所述区块链节点的本地数据，对所述本地模型进行更新，得到更新后本地模型，包括：利用模型无关元学习算法及所述本地数据获取所述全局模型的初始全局模型参数；根据所述初始全局模型参数及所述本地数据更新所述全局模型；基于更新后的全局模型对所述本地模型进行更新。例如，模型无关元学习方法(Model Agnostic Meta Learning，MAML)主要是通过加速梯度下降的迭代次数来达到元学习的目的，对于一组相关的学习任务，每个任务都有一个最优的梯度下降方向以及最优解，如果能找到一个好的初始全局模型参数，能够满足对于各任务，仅需少量训练就能够快速收敛到其最优解，那么这个全局模型也能保证在以后相似的任务上都能够快速收敛，计算代价最小。区块链节点确定对应初始全局模型参数后，根据本地数据更新全局模型，并根据更新后全局模型中包含的梯度信息对本地模型进行更新等，从而更新后本地模型。
在此，模型无关元学习MAML算法的主要思想是模型内部特征表示更容易在不同的任务之间切换。比如存在某种特征表示能够适用于任务概率分布p(T)中的所有任务而不是某一个具体的任务。由于最终模型回在新任务(新数据)上使用基于梯度下降的学习规则进行微调，所以可以用一种显式的方法去学习一个具备这种规则的模型。可以理解为当所学习的目标模型可能在将来面对新的任务(数据)，当训练参数沿着任务的损失梯度方向变化时，可以使得任务损失得到极大的改善，即在未来新的任务(少量数据上)能够快速地捕捉到该任务的目标并进行学习。任务其实一个5分类问题，实质上就是本地数据中的一组样本，这里的任务指在一组数据上选取某一个机器学习模型进行学习(针对数据调整模型参数以使得模型对数据分布拟合效果达到最优)的过程。MAML学习的就是初始化参数的规则。如图2所示，这个初始化的参数θ在参数空间中具有对每个任务最优参数解θ1,θ2,θ3..n的高度敏感(其实就是梯度方向▽L1、▽L2、▽L3垂直)，使其能够在一步梯度下降算法中沿着梯度方向快速达到最优点。参数空间中，参数可以看做更高维度的一个向量，那么每个模型对应的参数在参数空间中其实就是一个点。每一次迭代优化，都导致了在这个参数空间里位置的改变。
在一些实施方式中，所述利用模型无关元学习算法及所述本地数据获取所述全局模型的初始全局模型参数，包括：根据所述全局模型确定对应任务分布，随机获取所述任务分布的初始学习模型参数；通过所述本地数据对所述初始学习模型参数进行内循环参数训练，得到内循环更新参数；通过所述本地数据和所述内循环更新参数对所述初始学习模型参数进行外循环参数训练，得到外循环更新参数；根据所述外循环更新参数更新所述初始学习模型，直至所述初始学习模型参数收敛至预定范围，确定对应的结果参数，将所述结果参数作为所述全局模型的初始全局模型参数。例如，MAML采取的方式是优化参数在各个任务上的梯度方向矢量和，具体原理则是元任务改写一步(或几步)提供的二阶导信息，也就是任务的曲率，这样的高阶导信息可以为模型的初始化提供方向信息，也就是我们所用的每个任务的梯度方向。优化分为两层：内循环和外循环。内循环就是参数训练过程，对于每个任务学习处理这个任务的基本能力。外循环就是无监督学习过程，学习多个任务的泛化能力。根据全局模型确定对应任务分布p(T)，设定优化步长超参数α和β，随机获取该任务分布的初始学习模型参数θ，通过本地数据中的多个任务对该初始学习模型参数进行内循环参数训练，得到内循环更新参数θ’，随后，根据该内循环更新参数进行外循环参数训练，得到对应外循环更新参数θ”。执行上述内循环参数训练和外循环参数训练直至对应参数收敛至预定范围，从而得到对应结果参数，其中，该预定范围可以是基于管理人员需求进行设置等。
在一些实施方式中，所述通过所述本地数据对所述初始学习模型参数进行内循环参数训练，得到内循环更新参数，包括：从所述本地数据中随机选择样本，计算所述样本的损失，并根据所述损失及至少一个梯度信息确定内循环更新参数；其中，所述通过所述本地数据和所述内循环更新参数对所述初始学习模型参数进行外循环参数训练，得到外循环更新参数，包括：基于所述本地数据中的多个样本，计算所述多个样本的损失和，并根据所述损失和和所述内循环更新参数计算所述初始学习模型参数的外循环更新参数。例如，我们随机选取一个样本任务，先计算初始学习模型参数θ的损失loss L(Ti,θ)，并利用公式θi＝θ-α*d{loss L(Ti,θ)}/dθ,计算在这个任务上的期望参数θi，这个参数仅仅用作期望，不用更新初始学习模型参数的真实参数θ，其中，α是内循环参数的学习率。外循环根据内循环的优化参数在多个新任务上重新计算，得到其他损失，并计算其对初始参数的梯度，然后对初始参数进行梯度更新，具体地可以基于以下公式进行更新：
其中，
表示内循环计算出来的多个任务损失的总和，β表示外循环参数的学习率等。后续重复上述内外循环，就可以得到元学习模型对于任务分布p(T)的最佳参数，从而确定该最终参数作为结果参数。
在一些实施方式中，所述本地数据包括训练数据和验证数据，其中，所述基于所述本地数据对所述本地模型进行训练，获取对应的第一梯度信息，包括：随机选择所述训练数据的部分对所述本地模型进行训练，获取对应的第一梯度信息；其中，所述对所述第二梯度信息进行验证，得到验证后的第二梯度信息，包括：基于所述验证数据对所述第二梯度信息进行验证，得到验证后的第二梯度信息。例如，区块链节点的本地数据通常包括训练数据和验证数据，通常根据预设比例进行划分，如按照80％本地数据作为训练数据，20％本地数据作为验证数据等。我们对本地模型进行训练时，通常从训练数据中随机选择样本数据进行训练，后续对第二梯度信息进行验证时，则从本地数据的验证数据中选择部分或者全部验证数据对该第二梯度信息进行验证，从而完成对应数据的验证，数据的分类为梯度信息的训练和验证准确性提供了适合的样本。
在一些实施方式中，所述基于所述验证数据对所述第二梯度信息进行验证，得到验证后的第二梯度信息，包括：基于所述验证数据，利用工作量证明方法对所述第二梯度信息进行验证，得到验证后的第二梯度信息。例如，工作量证明方法(Proof Of Work，POW)用于确认做过一定量的工作，基本原理工作量证明系统主要特征是客户端需要做一定难度的工作得出一个结果，验证方却很容易通过结果来检查出客户端是不是做了相应的工作。这种方案的一个核心特征是不对称性：工作对于请求方是适中的，对于验证方则是易于验证的。通过该方法能够消耗较少的计算资源对其他区块链节点发送的第二梯度信息机型验证，节省了计算资源，减少了验证工作量，提高了工作效率。
在步骤S103中，结合所述区块链节点的本地数据对所述更新后本地模型进行模型训练，直至所述本地模型收敛到预设范围，从而确定所述区块链节点的结果模型。例如，类似于前述本地模型更新过程，利用本地数据重复执行前述过程，如前述计算梯度信息，并验证上传梯度信息，并确定全局模型，利用元学习算法及全局模型更新本地模型等。直至更新后的本地模型收敛至预设范围，从而确定区块链节点的结果模型，该预设范围可以是管理人员的输入信息确定的。
在一些实施方式中，在步骤S101之前还包括步骤S104(未示出)，向所述其他区块链节点发送关于所述联邦学习的联邦学习请求；接收所述其他区块链节点广播的关于所述联邦学习请求的响应信息；若所述响应信息的响应数量满足预设条件，则确定所述区块链网络关于所述联邦学习达成共识；其中，所述响应信息的响应数量满足预设条件包括以下至少一项：所述响应信息的响应数量大于或等于响应数量阈值；所述响应信息的响应数量与区块链网络中节点数量的比值大于或等于占比阈值。例如，联邦学习网络系统的建立是基于各区块链节点的共识达成，区块链节点向其他区块链节点发送联邦学习请求，请求协议中包含计算任务性质(如分类或者回归任务等)，所用神经网络结构和参数(层数、隐单元类型、隐单元数量、学习率等参数)。随后，通过区块链共识算法对该联邦学习请求进行共识匹配，如是否有其他区块链节点响应该联邦学习请求，若响应该联邦学习请求的区块链节点的数量大于或等于响应数量阈值(如4个等)，或者响应该联邦学习请求的区块链节点的数量占区块链网络中区块链节点数量的占比大于或等于占比阈值(如2/3等)，则确定该组节点间匹配成功，将联邦学习请求中相关信息反馈给各区块链节点，用于建立各节点间的初始模型等。
具体地，如图3所示，示出联邦学习网络中各节点参与时的具体场景，具体步骤包括：
1.数据拥有各方在已建立区块链节点的情况下通过区块链节点发出联邦学习请求，请求协议中包含计算任务性质(分类/回归)，所用神经网络结构和参数(层数、隐单元类型、隐单元数量、学习率等)。
2.联邦计算请求共识过程
各节点通过使用PBFT或RBFT等协议对联邦学习请求进行共识匹配，若请求数量大于4个节点，则认为在该组节点间匹配成功，将有关信息反馈给各节点。
3.基于元学习机制的区块链联邦学习过程，重复执行以下过程：
a.各节点随机选取本地数据样本，利用现有模型(初始时使用随机初始化参数)计算梯度信息，并将参数通过区块链节点广播到区块链网络中；
b.网络中的节点使用工作量证明方法对收到的广播信息进行验证，将验证后的结果打包成区块存放在区块链上；
c.各节点根据已达成联邦学习共识节点的信息，从区块链数据中提取相关信息，计算全局模型；
d.使用MAML元学习算法使用本地数据进行元学习训练。
上文主要对本申请的一种联邦学习方法的各实施例进行具体介绍，此外，本申请还提供了能够实施上述各实施例的装置，下面我们结合图4进行介绍。
参考图4，示出了本申请一个方面的一种联邦学习装置100，应用于区块链节点，所述区块链节点包含于联邦学习网络系统，所述联邦学习网络系统还包括参与联邦学习的其他区块链节点，所述其他区块链节点包括至少一个区块链节点，所述装置包括建立模块101、训练模块102以及更新模块103。建立模块101，用于建立关于所述区块链节点的初始模型，将所述初始模型作为所述区块链节点的本地模型；训练模块102，用于利用元学习方法，结合所述区块链节点的本地数据对所述本地模型进行模型训练，得到更新后本地模型；更新模块103，用于结合所述区块链节点的本地数据对所述更新后本地模型进行模型训练，直至所述本地模型收敛到预设范围，从而确定所述区块链节点的结果模型。
在一些实施方式中，训练模块102，用于基于所述本地数据对所述本地模型进行训练，获取对应的第一梯度信息；将所述第一梯度信息广播至所述其他区块链节点，接收其他区块链节点广播的第二梯度信息，其中，所述第二梯度信息由所述其他区块链节点基于其他本地数据对其他本地模型训练得到；对所述第二梯度信息进行验证，得到验证后的第二梯度信息，将验证后的第二梯度信息作为第三梯度信息存储至所述区块链网络的区块链中，其中，所述第三梯度信息还包括经由所述其他区块链节点验证的第一梯度信息；从所述区块链中提取所述第三梯度信息，确定所述联邦学习的全局模型；基于所述全局模型，利用模型无关元学习算法及所述区块链节点的本地数据，对所述本地模型进行更新，得到更新后本地模型。
在一些实施方式中，所述基于所述全局模型，利用模型无关元学习算法及所述区块链节点的本地数据，对所述本地模型进行更新，得到更新后本地模型，包括：利用模型无关元学习算法及所述本地数据获取所述全局模型的初始全局模型参数；根据所述初始全局模型参数及所述本地数据更新所述全局模型；基于更新后的全局模型对所述本地模型进行更新。
在一些实施方式中，所述利用模型无关元学习算法及所述本地数据获取所述全局模型的初始全局模型参数，包括：根据所述全局模型确定对应任务分布，随机获取所述任务分布的初始学习模型参数；通过所述本地数据对所述初始学习模型参数进行内循环参数训练，得到内循环更新参数；通过所述本地数据和所述内循环更新参数对所述初始学习模型参数进行外循环参数训练，得到外循环更新参数；根据所述外循环更新参数更新所述初始学习模型，直至所述初始学习模型参数收敛至预定范围，确定对应的结果参数，将所述结果参数作为所述全局模型的初始全局模型参数。
在一些实施方式中，所述通过所述本地数据对所述初始学习模型参数进行内循环参数训练，得到内循环更新参数，包括：从所述本地数据中随机选择样本，计算所述样本的损失，并根据所述损失及至少一个梯度信息确定内循环更新参数；其中，所述通过所述本地数据和所述内循环更新参数对所述初始学习模型参数进行外循环参数训练，得到外循环更新参数，包括：基于所述本地数据中的多个样本，计算所述多个样本的损失和，并根据所述损失和和所述内循环更新参数计算所述初始学习模型参数的外循环更新参数。
在一些实施方式中，所述本地数据包括训练数据和验证数据，其中，所述基于所述本地数据对所述本地模型进行训练，获取对应的第一梯度信息，包括：随机选择所述训练数据的部分对所述本地模型进行训练，获取对应的第一梯度信息；其中，所述对所述第二梯度信息进行验证，得到验证后的第二梯度信息，包括：基于所述验证数据对所述第二梯度信息进行验证，得到验证后的第二梯度信息。
在一些实施方式中，所述基于所述验证数据对所述第二梯度信息进行验证，得到验证后的第二梯度信息，包括：基于所述验证数据，利用工作量证明方法对所述第二梯度信息进行验证，得到验证后的第二梯度信息。
在此，所述图4示出的建立模块101、训练模块102以及更新模块103的具体实施方式与前述图1示出的步骤S101、步骤S102以及步骤S103的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
在一些实施方式中，建立模块101之前还包括共识模块(未示出)，用于向所述其他区块链节点发送关于所述联邦学习的联邦学习请求；接收所述其他区块链节点广播的关于所述联邦学习请求的响应信息；若所述响应信息的响应数量满足预设条件，则确定所述区块链网络关于所述联邦学习达成共识；其中，所述响应信息的响应数量满足预设条件包括以下至少一项：所述响应信息的响应数量大于或等于响应数量阈值；所述响应信息的响应数量与区块链网络中节点数量的比值大于或等于占比阈值。在此，所述共识模块的具体实施方式与前述图1示出的步骤S104的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
除上述各实施例介绍的方法和装置外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图5示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图5所示在一些实施例中，系统400能够作为各所述实施例中的任意一个上述设备。在一些实施例中，系统400可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或非易失性存储(NonVolatile Memory)NVM/存储设备420)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器405)。
对于一个实施例，系统控制模块410可包括任意适当的接口控制器，以向(一个或多个)处理器405中的至少一个和/或与系统控制模块410通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块410可包括存储器控制器模块430，以向系统存储器415提供接口。存储器控制器模块430可以是硬件模块、软件模块和/或固件模块。
系统存储器415可被用于例如为系统400加载和存储数据和/或指令。对于一个实施例，系统存储器415可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器415可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，系统控制模块410可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备420及(一个或多个)通信接口425提供接口。
例如，NVM/存储设备420可被用于存储数据和/或指令。NVM/存储设备420可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(Hard Disk Drive，HDD)、一个或多个光盘(compactdisc，CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备420可包括在物理上作为系统400被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备420可通过网络经由(一个或多个)通信接口425进行访问。
(一个或多个)通信接口425可为系统400提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统400可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器405中的至少一个可与系统控制模块410的一个或多个控制器(例如，存储器控制器模块430)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器405中的至少一个可与系统控制模块410的一个或多个控制器的逻辑封装在一起以形成系统级封装(System in a Package，SiP)。对于一个实施例，(一个或多个)处理器405中的至少一个可与系统控制模块410的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器405中的至少一个可与系统控制模块410的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(System on Chip，SoC)。
在各个实施例中，系统400可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统400可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统400包括一个或多个摄像机、键盘、液晶显示器(Liquid Crystal Display，LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(Application SpecificIntegrated Circuit，ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁(Magnetoresistive Random Access Memory，MRAM)/铁电存储器Ferroelectric RAM，FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。
以上对本申请实施例所提供的一种联邦学习方法、装置、计算机设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种联邦学习方法，其特征在于，应用于区块链节点，所述区块链节点包含于联邦学习网络系统，所述联邦学习网络系统还包括参与联邦学习的其他区块链节点，所述其他区块链节点包括至少一个区块链节点，所述方法包括：
建立关于所述区块链节点的初始模型，将所述初始模型作为所述区块链节点的本地模型；
利用元学习方法，结合所述区块链节点的本地数据对所述本地模型进行模型训练，得到更新后本地模型；
结合所述区块链节点的本地数据对所述更新后本地模型进行模型训练，直至所述本地模型收敛到预设范围，从而确定所述区块链节点的结果模型。
2.根据权利要求1所述的方法，其特征在于，所述利用元学习方法，结合所述区块链节点的本地数据对所述本地模型进行模型训练，得到更新后本地模型，包括：
基于所述本地数据对所述本地模型进行训练，获取对应的第一梯度信息；
将所述第一梯度信息广播至所述其他区块链节点，接收其他区块链节点广播的第二梯度信息，其中，所述第二梯度信息由所述其他区块链节点基于其他本地数据对其他本地模型训练得到；
对所述第二梯度信息进行验证，得到验证后的第二梯度信息，将验证后的第二梯度信息作为第三梯度信息存储至所述区块链网络的区块链中，其中，所述第三梯度信息还包括经由所述其他区块链节点验证的第一梯度信息；
从所述区块链中提取所述第三梯度信息，确定所述联邦学习的全局模型；
基于所述全局模型，利用模型无关元学习算法及所述区块链节点的本地数据，对所述本地模型进行更新，得到更新后本地模型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述全局模型，利用模型无关元学习算法及所述区块链节点的本地数据，对所述本地模型进行更新，得到更新后本地模型，包括：
利用模型无关元学习算法及所述本地数据获取所述全局模型的初始全局模型参数；
根据所述初始全局模型参数及所述本地数据更新所述全局模型；
基于更新后的全局模型对所述本地模型进行更新。
4.根据权利要求3所述的方法，其特征在于，所述利用模型无关元学习算法及所述本地数据获取所述全局模型的初始全局模型参数，包括：
根据所述全局模型确定对应任务分布，随机获取所述任务分布的初始学习模型参数；
通过所述本地数据对所述初始学习模型参数进行内循环参数训练，得到内循环更新参数；
通过所述本地数据和所述内循环更新参数对所述初始学习模型参数进行外循环参数训练，得到外循环更新参数；
根据所述外循环更新参数更新所述初始学习模型，直至所述初始学习模型参数收敛至预定范围，确定对应的结果参数，将所述结果参数作为所述全局模型的初始全局模型参数。
5.根据权利要求4所述的方法，其特征在于，所述通过所述本地数据对所述初始学习模型参数进行内循环参数训练，得到内循环更新参数，包括：
从所述本地数据中随机选择样本，计算所述样本的损失，并根据所述损失及至少一个梯度信息确定内循环更新参数；
其中，所述通过所述本地数据和所述内循环更新参数对所述初始学习模型参数进行外循环参数训练，得到外循环更新参数，包括：
基于所述本地数据中的多个样本，计算所述多个样本的损失和，并根据所述损失和和所述内循环更新参数计算所述初始学习模型参数的外循环更新参数。
6.根据权利要求2所述的方法，其特征在于，所述本地数据包括训练数据和验证数据，其中，所述基于所述本地数据对所述本地模型进行训练，获取对应的第一梯度信息，包括：
随机选择所述训练数据的部分对所述本地模型进行训练，获取对应的第一梯度信息；
其中，所述对所述第二梯度信息进行验证，得到验证后的第二梯度信息，包括：
基于所述验证数据对所述第二梯度信息进行验证，得到验证后的第二梯度信息。
7.根据权利要求1所述的方法，其特征在于，所述基于所述区块链节点的本地数据训练得到初始模型之前，还包括：
向所述其他区块链节点发送关于所述联邦学习的联邦学习请求；
接收所述其他区块链节点广播的关于所述联邦学习请求的响应信息；若所述响应信息的响应数量满足预设条件，则确定所述区块链网络关于所述联邦学习达成共识；
其中，所述响应信息的响应数量满足预设条件包括以下至少一项：
所述响应信息的响应数量大于或等于响应数量阈值；
所述响应信息的响应数量与对应区块链网络中节点数量的比值大于或等于占比阈值。
8.一种联邦学习装置，其特征在于，应用于区块链节点，所述区块链节点包含于联邦学习网络系统，所述联邦学习网络系统还包括参与联邦学习的其他区块链节点，所述其他区块链节点包括至少一个区块链节点，所述装置包括：
建立模块，用于建立关于所述区块链节点的初始模型，将所述初始模型作为所述区块链节点的本地模型；
训练模块，用于利用元学习方法，结合所述区块链节点的本地数据对所述本地模型进行模型训练，得到更新后本地模型；
更新模块，用于结合所述区块链节点的本地数据对所述更新后本地模型进行模型训练，直至所述本地模型收敛到预设范围，从而确定所述区块链节点的结果模型。
9.一种联邦学习设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行如权利要求1至7中任一项所述方法的操作。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行如权利要求1至7中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011633747.2A CN112784995B (zh) | 2020-12-31 | 2020-12-31 | 联邦学习方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011633747.2A CN112784995B (zh) | 2020-12-31 | 2020-12-31 | 联邦学习方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112784995A true CN112784995A (zh) | 2021-05-11 |
| CN112784995B CN112784995B (zh) | 2024-04-23 |
Family
ID=75754868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011633747.2A Active CN112784995B (zh) | 2020-12-31 | 2020-12-31 | 联邦学习方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112784995B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177645A (zh) * | 2021-06-29 | 2021-07-27 | 腾讯科技（深圳）有限公司 | 联邦学习方法、装置、计算设备及存储介质 |
| CN113469371A (zh) * | 2021-07-01 | 2021-10-01 | 建信金融科技有限责任公司 | 联邦学习方法和装置 |
| CN113570065A (zh) * | 2021-07-08 | 2021-10-29 | 国网河北省电力有限公司信息通信分公司 | 基于联盟链和联邦学习的数据管理方法、装置及设备 |
| CN113792347A (zh) * | 2021-08-24 | 2021-12-14 | 上海点融信息科技有限责任公司 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
| CN113837397A (zh) * | 2021-09-27 | 2021-12-24 | 平安科技（深圳）有限公司 | 基于联邦学习的模型训练方法、装置及相关设备 |
| CN114707663A (zh) * | 2022-04-15 | 2022-07-05 | 中国电信股份有限公司 | 分布式机器学习方法、装置、电子设备及存储介质 |
| CN115577858A (zh) * | 2022-11-21 | 2023-01-06 | 山东能源数智云科技有限公司 | 基于区块链的碳排放量预测方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814985A (zh) * | 2020-06-30 | 2020-10-23 | 平安科技（深圳）有限公司 | 联邦学习网络下的模型训练方法及其相关设备 |
| CN111966698A (zh) * | 2020-07-03 | 2020-11-20 | 华南师范大学 | 一种基于区块链的可信联邦学习方法、系统、装置及介质 |
| US20200394552A1 (en) * | 2019-06-12 | 2020-12-17 | International Business Machines Corporation | Aggregated maching learning verification for database |
| CN112132277A (zh) * | 2020-09-21 | 2020-12-25 | 平安科技（深圳）有限公司 | 联邦学习模型训练方法、装置、终端设备及存储介质 |
-
2020
- 2020-12-31 CN CN202011633747.2A patent/CN112784995B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200394552A1 (en) * | 2019-06-12 | 2020-12-17 | International Business Machines Corporation | Aggregated maching learning verification for database |
| CN111814985A (zh) * | 2020-06-30 | 2020-10-23 | 平安科技（深圳）有限公司 | 联邦学习网络下的模型训练方法及其相关设备 |
| CN111966698A (zh) * | 2020-07-03 | 2020-11-20 | 华南师范大学 | 一种基于区块链的可信联邦学习方法、系统、装置及介质 |
| CN112132277A (zh) * | 2020-09-21 | 2020-12-25 | 平安科技（深圳）有限公司 | 联邦学习模型训练方法、装置、终端设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 徐梦炜;刘渊强;黄康;刘?哲;黄罡;: "面向移动终端智能的自治学习系统", 软件学报, no. 10 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177645A (zh) * | 2021-06-29 | 2021-07-27 | 腾讯科技（深圳）有限公司 | 联邦学习方法、装置、计算设备及存储介质 |
| CN113469371A (zh) * | 2021-07-01 | 2021-10-01 | 建信金融科技有限责任公司 | 联邦学习方法和装置 |
| CN113469371B (zh) * | 2021-07-01 | 2023-05-02 | 建信金融科技有限责任公司 | 联邦学习方法和装置 |
| CN113570065A (zh) * | 2021-07-08 | 2021-10-29 | 国网河北省电力有限公司信息通信分公司 | 基于联盟链和联邦学习的数据管理方法、装置及设备 |
| CN113792347A (zh) * | 2021-08-24 | 2021-12-14 | 上海点融信息科技有限责任公司 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
| CN113792347B (zh) * | 2021-08-24 | 2023-09-26 | 上海点融信息科技有限责任公司 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
| CN113837397A (zh) * | 2021-09-27 | 2021-12-24 | 平安科技（深圳）有限公司 | 基于联邦学习的模型训练方法、装置及相关设备 |
| CN113837397B (zh) * | 2021-09-27 | 2024-02-02 | 平安科技（深圳）有限公司 | 基于联邦学习的模型训练方法、装置及相关设备 |
| CN114707663A (zh) * | 2022-04-15 | 2022-07-05 | 中国电信股份有限公司 | 分布式机器学习方法、装置、电子设备及存储介质 |
| CN114707663B (zh) * | 2022-04-15 | 2024-02-23 | 中国电信股份有限公司 | 分布式机器学习方法、装置、电子设备及存储介质 |
| CN115577858A (zh) * | 2022-11-21 | 2023-01-06 | 山东能源数智云科技有限公司 | 基于区块链的碳排放量预测方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112784995B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112784995A (zh) | 联邦学习方法、装置、设备及存储介质 | |
| US11790370B2 (en) | Techniques for expediting processing of blockchain transactions | |
| US11228386B2 (en) | Blockchain node synchronization method and device using trust mechanism | |
| CN109714173B (zh) | 一种基于区块链的物联网认证方法与装置 | |
| US20190334716A1 (en) | Blockchain-empowered crowdsourced computing system | |
| Alrubei et al. | Latency and performance analyses of real-world wireless IoT-blockchain application | |
| CN111490878B (zh) | 密钥生成方法、装置、设备及介质 | |
| US11861612B2 (en) | Blockchain-based offline resource transfer method and apparatus | |
| US10212034B1 (en) | Automated network change management | |
| CN110765395B (zh) | 一种用于提供小说信息的方法与设备 | |
| CN110070357B (zh) | 数据处理方法、装置和系统 | |
| CN110597916A (zh) | 基于区块链的数据处理方法、装置、存储介质及终端 | |
| Tu et al. | A blockchain-based trust and reputation model with dynamic evaluation mechanism for IoT | |
| CN109890024B (zh) | 一种用于确定救援小组信息的方法与设备 | |
| CN112866302B (zh) | 对集群数据完整性检查的方法、设备、介质及程序产品 | |
| CN114296651B (zh) | 一种用于存储自定义数据信息的方法与设备 | |
| CN112650514A (zh) | 联盟链的补丁更新方法、装置、设备及存储介质 | |
| CN112650735B (zh) | 联盟链的丢失区块确定方法、装置、设备及存储介质 | |
| CN109245938B (zh) | 一种用于执行用户的资源配置操作的方法与设备 | |
| Song et al. | An improved artificial bee colony algorithm in LoRa wireless communication system for efficient multimedia transmission | |
| CN114970471B (zh) | 检查协同编辑文档一致性的方法、系统、设备以及介质 | |
| Zhao et al. | Data Integrity Verification in Mobile Edge Computing With Multi-Vendor and Multi-Server | |
| KR102494215B1 (ko) | 뉴럴 블록 신속 전파 프로토콜 기반의 블록체인을 구축하는 장치 및 그 동작 방법 | |
| CN114338728B (zh) | 一种基于共享数据的共识方法及系统 | |
| KR102263461B1 (ko) | 확장 가능한 p2p 오버레이 구조에 기반한 블록 데이터 멀티 캐스팅 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |