CN114244835A - 基于区块链的去中心化自适应协同训练方法和装置 - Google Patents

基于区块链的去中心化自适应协同训练方法和装置 Download PDF

Info

Publication number
CN114244835A
CN114244835A CN202111384552.3A CN202111384552A CN114244835A CN 114244835 A CN114244835 A CN 114244835A CN 202111384552 A CN202111384552 A CN 202111384552A CN 114244835 A CN114244835 A CN 114244835A
Authority
CN
China
Prior art keywords
network
block chain
main
training
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111384552.3A
Other languages
English (en)
Other versions
CN114244835B (zh
Inventor
范进
张兵兵
林悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan Fire Chain Technology Co ltd
Original Assignee
Hainan Fire Chain Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan Fire Chain Technology Co ltd filed Critical Hainan Fire Chain Technology Co ltd
Priority to CN202111384552.3A priority Critical patent/CN114244835B/zh
Publication of CN114244835A publication Critical patent/CN114244835A/zh
Application granted granted Critical
Publication of CN114244835B publication Critical patent/CN114244835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083—Network architectures or network communication protocols for network security for authentication of entities using passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种基于区块链的去中心化自适应协同训练方法和装置、电子设备及计算机可读存储介质，涉及计算机技术领域。该方法基于选取的区块链网络类型构建主区块链网络和多个分片网络，训练任务通过主区块链网络的智能合约分发，随后将训练任务写入分片网络进行共识；分片中的其他节点参与分片共识之后，获取到计算任务，并根据计算任务的内容获取训练数据集、训练模型等必要的生产要素，随后开始训练任务。可以看到，本申请实施例通过基于区块链的自适应协同训练方案解决区块链无法处理大规模数据训练的问题，通过联邦学习、区块链和分片机制的深度融合，从应用层面拓展区块链的训练能力，以达到去中心化协同训练的目的。

Description

基于区块链的去中心化自适应协同训练方法和装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于区块链的去中心化自适应协同训练方法和装置、电子设备及计算机可读存储介质。
背景技术
传统的联邦学习算法基于单一的服务器节点聚合，可能导致单点故障的问题。区块链是一种去中心化的信任机器，被许多人用于实现去中心化的联邦学习算法，即通过区块链的共识机制随机选举出一个节点来完成聚合全部的参数。但是，整个计算的性能还是受限于单个节点，区块链并不能参与到计算过程中。同时，区块链的冗余存储特性、确定性导致区块链天生无法参与复杂的计算任务。区块链网络要求参与共识的节点冗余存储修改网络状态的交易，这导致区块链网络难以存储大规模的数据。同时，区块链交易中附带的智能合约执行指令在相同输入的情况下，在所有节点中要有相同的输出结果，这就使得区块链无法执行复杂的、不确定的计算任务。因此，亟需解决这一技术问题。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的基于区块链的去中心化自适应协同训练方法和装置、电子设备及计算机可读存储介质。所述技术方案如下：
第一方面，提供了一种基于区块链的去中心化自适应协同训练方法，该方法包括：
有任务计算需求的节点选取训练的区块链网络类型，输入用于训练的生产要素；
基于选取的区块链网络类型构建主区块链网络和多个分片网络；
将所述生产要素写入所述主区块链网络的智能合约，通过所述主区块链网络的共识将携带所述生产要素的计算任务请求共享给所述多个分片网络；
对于所述多个分片网络中的各分片网络，各分片网络中的主节点将计算任务请求通过共识分发给各分片网络中的各个客户端节点，由各个客户端节点根据计算任务请求执行训练任务，将训练的模型参数通过共识共享给各分片网络中的主节点；各分片网络中的主节点对各个客户端训练的模型参数进行验证，将验证满足第一预设条件的模型参数进行聚合，得到分片聚合的模型参数，并通过分片共识将该分片聚合的模型参数下发给各分片网络中的各个客户端节点；
当分片聚合次数达到所述生产要素中任务指定的分片迭代轮次时，得到当前聚合的最优模型参数，各分片网络中的主节点将当前聚合的最优模型参数通过所述主区块链网络的共识共享给所述主区块链网络的主节点；所述主区块链网络的主节点对所述多个分片网络中各分片网络的当前聚合的最优模型参数进行验证，将验证满足第二预设条件的模型参数进行聚合，得到主区块链聚合模型参数，并通过主区块链共识将该主区块链聚合模型参数下发给各分片网络，各分片网络通过分片共识将该主区块链聚合模型参数下发给各分片网络中的各个客户端节点，以此完成一次全局迭代轮次；
当全局迭代轮次达到所述生产要素中任务指定的全局迭代轮次时，训练结束，所述主区块链网络的主节点将最后一次全局迭代的主区块链聚合模型参数写入智能合约，完成本次的训练任务。
在一种可能的实现方式中，若选取的区块链网络类型为支持通道机制的联盟链网络，所述基于选取的区块链网络类型构建主区块链网络和多个分片网络，包括：
获取有意愿参与训练并贡献数据进行训练的多个客户端节点；
所述多个客户端节点根据预设信息进行分簇，随后根据轮询算法选出簇头，由簇头在联盟链网络中建立通道，其他客户端节点加入该通道网络；每个簇组成一个联盟链通道网络为一个分片网络，簇头为该分片网络内的主节点，用于和主区块链网络进行数据交互并且聚合分片的模型参数；联盟链网络中的主区块链网络即联盟链网络本身，主区块链共识选出的节点为聚合节点，主区块链网络和分片网络之间的数据交互通过联盟链网络提供的通道数据交互接口完成。
在一种可能的实现方式中，所述分片网络和所述主区块链网络基于实用拜占庭容错PBFT来完成共识，且PBFT中的leader节点为进行聚合的服务器节点，即所述主区块链网络的主节点。
在一种可能的实现方式中，若选取的区块链网络类型为不支持通道机制的公有链网络，所述基于选取的区块链网络类型构建主区块链网络和多个分片网络，包括：
获取有意愿参与训练并贡献数据进行训练的多个客户端节点；
所述多个客户端节点首先加入主区块链网络，主区块链网络的智能合约为每个客户端节点分配唯一的身份标识，随后根据身份标识以及哈希函数随机生成每个客户端所属的分片标识，将分片标识相同的客户端节点组成一个分片网络；公有链网络中的分片网络将每个分片内最后一个加入分片的节点为该分片的主节点，用于和主区块链网络进行数据交互；公有链网络中的主区块链即运行智能合约的主区块链网络，主区块链网络和分片网络之间的数据交互通过公有链网络提供的智能合约交互接口完成。
在一种可能的实现方式中，所述分片网络内基于PBFT完成共识，且PBFT中的leader节点为聚合节点，即所述分片网络的主节点；所述主区块链网络基于委托权益证明DPoS完成共识，且共识选出的超级节点为聚合节点，即所述主区块链网络的主节点。
在一种可能的实现方式中，各分片网络中的主节点对各个客户端训练的模型参数进行验证，将验证满足第一预设条件的模型参数进行聚合，得到分片聚合的模型参数，包括：
各分片网络中的主节点根据所述生产要素中测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以各个客户端训练的模型参数作为模型参数，得到正确率；若客户端训练的模型参数输出的正确率低于任务指定的第一阈值，则该客户端训练的模型参数不参与聚合；各分片网络中的主节点验证完所有客户端训练的模型参数之后，将超过第一阈值对应的模型参数进行聚合，得到分片聚合的模型参数。
在一种可能的实现方式中，所述主区块链网络的主节点对所述多个分片网络中各分片网络的当前聚合的最优模型参数进行验证，将验证满足第二预设条件的模型参数进行聚合，得到主区块链聚合模型参数，包括：
所述主区块链网络的主节点根据所述生产要素中测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以所述多个分片网络中各分片网络的当前聚合的最优模型参数作为模型参数，得到正确率；若各分片网络的当前聚合的最优模型参数输出的正确率低于任务指定的第二阈值，则该分片网络的当前聚合的最优模型参数不参与聚合；所述主区块链网络的主节点验证完所有分片网络的当前聚合的最优模型参数之后，将超过第二阈值对应的模型参数进行聚合，得到主区块链聚合模型参数。
第二方面，提供了一种基于区块链的去中心化自适应协同训练装置，该装置包括：
输入模块，用于有任务计算需求的节点选取训练的区块链网络类型，输入用于训练的生产要素；
构建模块，用于基于选取的区块链网络类型构建主区块链网络和多个分片网络；
训练模块，用于将所述生产要素写入所述主区块链网络的智能合约，通过所述主区块链网络的共识将携带所述生产要素的计算任务请求共享给所述多个分片网络；
对于所述多个分片网络中的各分片网络，各分片网络中的主节点将计算任务请求通过共识分发给各分片网络中的各个客户端节点，由各个客户端节点根据计算任务请求执行训练任务，将训练的模型参数通过共识共享给各分片网络中的主节点；各分片网络中的主节点对各个客户端训练的模型参数进行验证，将验证满足第一预设条件的模型参数进行聚合，得到分片聚合的模型参数，并通过分片共识将该分片聚合的模型参数下发给各分片网络中的各个客户端节点；
当分片聚合次数达到所述生产要素中任务指定的分片迭代轮次时，得到当前聚合的最优模型参数，各分片网络中的主节点将当前聚合的最优模型参数通过所述主区块链网络的共识共享给所述主区块链网络的主节点；所述主区块链网络的主节点对所述多个分片网络中各分片网络的当前聚合的最优模型参数进行验证，将验证满足第二预设条件的模型参数进行聚合，得到主区块链聚合模型参数，并通过主区块链共识将该主区块链聚合模型参数下发给各分片网络，各分片网络通过分片共识将该主区块链聚合模型参数下发给各分片网络中的各个客户端节点，以此完成一次全局迭代轮次；
当全局迭代轮次达到所述生产要素中任务指定的全局迭代轮次时，训练结束，所述主区块链网络的主节点将最后一次全局迭代的主区块链聚合模型参数写入智能合约，完成本次的训练任务。
第三方面，提供了一种电子设备，该电子设备包括处理器和存储器，其中，所述存储器中存储有计算机程序，所述处理器被配置为运行所述计算机程序以执行上述任一项所述的基于区块链的去中心化自适应协同训练方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被配置为运行时执行上述任一项所述的基于区块链的去中心化自适应协同训练方法。
借由上述技术方案，本申请实施例提供的基于区块链的去中心化自适应协同训练方法和装置、电子设备及计算机可读存储介质，通过基于区块链的自适应协同训练方案解决区块链无法处理大规模数据训练的问题，通过联邦学习、区块链和分片机制的深度融合，从应用层面拓展区块链的训练能力，以达到去中心化协同训练的目的。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1示出了本申请实施例提供的基于区块链的去中心化自适应协同训练方法的流程图；
图2示出了本申请实施例提供的基于区块链的去中心化自适应协同训练装置的结构图；
图3示出了本申请实施例提供的电子设备的结构图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。
本申请实施例提供了一种基于区块链的去中心化自适应协同训练方法，可以应用在服务器、个人电脑、智能手机等电子设备，如图1所示，该基于区块链的去中心化自适应协同训练方法可以包括以下步骤S101至S106：
步骤S101，有任务计算需求的节点选取训练的区块链网络类型，输入用于训练的生产要素；
步骤S102，基于选取的区块链网络类型构建主区块链网络和多个分片网络；
步骤S103，将生产要素写入主区块链网络的智能合约，通过主区块链网络的共识将携带生产要素的计算任务请求共享给多个分片网络；
步骤S104，对于多个分片网络中的各分片网络，各分片网络中的主节点将计算任务请求通过共识分发给各分片网络中的各个客户端节点，由各个客户端节点根据计算任务请求执行训练任务，将训练的模型参数通过共识共享给各分片网络中的主节点；各分片网络中的主节点对各个客户端训练的模型参数进行验证，将验证满足第一预设条件的模型参数进行聚合，得到分片聚合的模型参数，并通过分片共识将该分片聚合的模型参数下发给各分片网络中的各个客户端节点；
步骤S105，当分片聚合次数达到生产要素中任务指定的分片迭代轮次时，得到当前聚合的最优模型参数，各分片网络中的主节点将当前聚合的最优模型参数通过主区块链网络的共识共享给主区块链网络的主节点；主区块链网络的主节点对多个分片网络中各分片网络的当前聚合的最优模型参数进行验证，将验证满足第二预设条件的模型参数进行聚合，得到主区块链聚合模型参数，并通过主区块链共识将该主区块链聚合模型参数下发给各分片网络，各分片网络通过分片共识将该主区块链聚合模型参数下发给各分片网络中的各个客户端节点，以此完成一次全局迭代轮次；
步骤S106，当全局迭代轮次达到生产要素中任务指定的全局迭代轮次时，训练结束，主区块链网络的主节点将最后一次全局迭代的主区块链聚合模型参数写入智能合约，完成本次的训练任务。
本申请实施例通过基于区块链的自适应协同训练方案解决区块链无法处理大规模数据训练的问题，通过联邦学习、区块链和分片机制的深度融合，从应用层面拓展区块链的训练能力，以达到去中心化协同训练的目的。
本申请实施例中提供了一种可能的实现方式，针对联盟链和公有链两大架构，自适应地提供两种不同的交互方法，该方法的架构为分层架构，第一层架构为主区块链架构，该架构用于聚合训练参数；第二层为分片网络架构，该架构用于训练参数。训练任务通过主区块链网络的智能合约分发，分片网络的主节点监听智能合约中的计算任务事件，随后将训练任务写入分片网络进行共识；分片中的其他节点参与分片共识之后，获取到计算任务，并根据计算任务的内容获取训练数据集、训练模型等必要的生产要素，随后开始训练任务。
若选取的区块链网络类型为支持通道机制的联盟链网络，上文步骤S102基于选取的区块链网络类型构建主区块链网络和多个分片网络，具体可以包括以下步骤A1至A2：
步骤A1，获取有意愿参与训练并贡献数据进行训练的多个客户端节点；
步骤A2，多个客户端节点根据预设信息进行分簇，随后根据轮询算法选出簇头，由簇头在联盟链网络中建立通道，其他客户端节点加入该通道网络；每个簇组成一个联盟链通道网络为一个分片网络，簇头为该分片网络内的主节点，用于和主区块链网络进行数据交互并且聚合分片的模型参数；联盟链网络中的主区块链网络即联盟链网络本身，主区块链共识选出的节点为聚合节点，主区块链网络和分片网络之间的数据交互通过联盟链网络提供的通道数据交互接口完成。这里，分片网络和主区块链网络可以基于PBFT(PracticalByzantine Fault Tolerance，实用拜占庭容错)共识算法来完成共识，且PBFT中的leader节点为进行聚合的服务器节点，即主区块链网络的主节点。
若选取的区块链网络类型为不支持通道机制的公有链网络，上文步骤S102基于选取的区块链网络类型构建主区块链网络和多个分片网络，具体可以包括以下步骤B1至B2：
步骤B1，获取有意愿参与训练并贡献数据进行训练的多个客户端节点；
步骤B2，多个客户端节点首先加入主区块链网络，主区块链网络的智能合约为每个客户端节点分配唯一的身份标识，随后根据身份标识以及哈希函数随机生成每个客户端所属的分片标识，将分片标识相同的客户端节点组成一个分片网络；公有链网络中的分片网络将每个分片内最后一个加入分片的节点为该分片的主节点，用于和主区块链网络进行数据交互；公有链网络中的主区块链即运行智能合约的主区块链网络，主区块链网络和分片网络之间的数据交互通过公有链网络提供的智能合约交互接口完成。这里，分片网络内可以基于PBFT完成共识，且PBFT中的leader节点为聚合节点，即分片网络的主节点；主区块链网络基于DPoS(Delegated Proof of Stake，委托权益证明)共识算法完成共识，且共识选出的超级节点为聚合节点，即主区块链网络的主节点。
本申请实施例中提供了一种可能的实现方式，上文步骤S104中由各个客户端节点根据计算任务请求执行训练任务，将训练的模型参数通过共识共享给各分片网络中的主节点，具体可以是由各个客户端节点根据计算任务请求，以本地数据作为输入，执行训练任务，在本地训练轮次达到生产要素中任务指定的本地迭代轮次之后，将训练的模型参数通过共识共享给各分片网络中的主节点。
本申请实施例中提供了一种可能的实现方式，上文步骤S104中各分片网络中的主节点对各个客户端训练的模型参数进行验证，将验证满足第一预设条件的模型参数进行聚合，得到分片聚合的模型参数，具体可以是各分片网络中的主节点根据生产要素中测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以各个客户端训练的模型参数作为模型参数，得到正确率；若客户端训练的模型参数输出的正确率低于任务指定的第一阈值，则该客户端训练的模型参数不参与聚合；各分片网络中的主节点验证完所有客户端训练的模型参数之后，将超过第一阈值对应的模型参数进行聚合，得到分片聚合的模型参数。
本申请实施例中提供了一种可能的实现方式，上文步骤S105中主区块链网络的主节点对多个分片网络中各分片网络的当前聚合的最优模型参数进行验证，将验证满足第二预设条件的模型参数进行聚合，得到主区块链聚合模型参数，具体可以是主区块链网络的主节点根据生产要素中测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以多个分片网络中各分片网络的当前聚合的最优模型参数作为模型参数，得到正确率；若各分片网络的当前聚合的最优模型参数输出的正确率低于任务指定的第二阈值，则该分片网络的当前聚合的最优模型参数不参与聚合；主区块链网络的主节点验证完所有分片网络的当前聚合的最优模型参数之后，将超过第二阈值对应的模型参数进行聚合，得到主区块链聚合模型参数。
以上介绍了图1所示实施例的各个环节的实施例方式，下面通过具体实施例来详细介绍本申请实施例提供的基于区块链的去中心化自适应协同训练方法。
在下面的具体实施例中，可以针对联盟链和公有链两大架构，自适应地提供两种不同的交互方法，该方法的架构为分层架构，第一层架构为主区块链架构，该架构用于聚合训练参数；第二层为分片网络架构，该架构用于训练参数。训练任务通过主区块链网络的智能合约分发，分片网络的主节点监听智能合约中的计算任务事件，随后将训练任务写入分片网络进行共识；分片中的其他节点参与分片共识之后，获取到计算任务，并根据计算任务的内容获取训练数据集、训练模型等必要的生产要素，随后开始训练任务。总体框架如下C1至C6所示。
C1，客户端节点，有意愿参与训练并贡献数据进行训练的节点；服务器节点，进行聚合的节点；训练任务中指定分片的数量和分片的大小。
C2，公有链的特点是完全去中心化，但是交易时间长。联盟链的特点是不完全去中心化，但是交易时间短。有任务计算需求的节点选取训练的底层区块链类型，即公有链或联盟链，随后输入训练必需的生产要素。
C3，对于支持通道机制的联盟链网络，由于通道机制本身可以起到数据隔离的作用，因此，可以直接采用通道机制作为一个分片，执行训练任务。客户端节点首先根据地理位置等信息进行分簇，随后根据轮询算法选出簇头，由簇头在联盟链网络中建立通道，其他客户端节点加入该通道网络。每个簇组成一个联盟链通道网络。簇头即为该分片内的主节点，用于和主区块链进行数据交互并且聚合分片的参数。联盟链网络中的主区块链即联盟链网络本身，主区块链共识选出的节点为聚合节点，主区块链和分片之间的数据交互通过联盟链提供的通道数据交互接口完成。分片和主区块链基于PBFT来完成共识，则PBFT中的leader节点为进行聚合的服务器节点。
C4，对于不支持通道机制的公有链网络，需要通过智能合约进行分片。客户端节点首先加入主区块链网络，主区块链网络的智能合约为每个客户端节点分配唯一的身份ID，随后根据身份ID以及哈希函数随机生成每个客户端所属的分片ID，分片ID相同的客户端节点组成一个分片网络。公有链中的分片网络为每个分片内最后一个加入分片的节点为该分片的主节点，用于和主区块链进行数据交互。公有链网络中的主区块链即运行智能合约的区块链网络，主区块链和分片之间的数据交互通过公有链提供的智能合约交互接口完成。分片内基于PBFT完成共识，PBFT的leader节点为聚合节点，主区块链基于DPoS完成共识，共识选出的超级节点为聚合节点。
C5，训练过程中可能存在恶意节点故意提交错误的训练结果，因此，分片和主区块链的聚合节点相比客户端节点拥有部分的测试数据，客户端节点上传的模型在测试数据中的准确率不能达到阈值，该阈值可以在训练任务中写明，那么该客户端的结果无效。
C6，为了防止聚合节点故意聚合错误参数，在整个计算任务结束之后设置窗口期，用于其他未参与训练的节点验证聚合节点在训练过程中是否聚合参数。
在总体框架部分已经明确区分联盟链和公有链之间的不同之处，下面为相同之处，以区块链来替代联盟链和公有链的表述，包括如下D1至D5。
D1，有任务计算需求的节点选取训练的区块链网络类型，输入训练必要的生产要素，包括训练的数据集大小、本地迭代轮次、分片迭代轮次、全局迭代轮次、种子、正确率阈值、测试数据存储地址、模型存储地址、分片数量和分片大小等，然后将上述生产要素写入主区块链智能合约，通过主区块链的共识共享给网络中的其他节点，并形成分片。
D2，分片中的主节点将计算任务请求通过共识分发给分片中的客户端节点；客户端点根据模型存储地址获取指定的训练模型，并以本地数据作为输入，开始训练模型。
D3，客户端节点在本地训练轮次达到任务指定的本地迭代轮次之后，将最优的模型参数通过共识共享给分片的主节点；分片的主节点根据测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以客户端提供的参数作为模型参数，得到正确率；若客户端参数输出的正确率低于任务指定的阈值，则该部分参数不参与聚合；分片主节点验证完所有客户端提供的参数之后，将超过阈值对应的参数进行聚合，得到分片最优的模型参数，并通过分片共识将该部分参数下发给分片内的其他节点。
D4，每个分片都执行步骤D3中的操作，直到分片聚合次数达到任务指定的分片迭代轮次。此时，分片的主节点将当前聚合的最优参数通过主区块链的共识共享给主区块链的主节点；主节点接收到该部分参数时，根据测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以分片主节点提供的参数作为模型参数，得到正确率；若分片主节点参数输出的正确率低于任务指定的阈值，则该部分参数不参与聚合。主节点验证完所有分片主节点提供的参数之后，将超过阈值对应的参数进行聚合，得到主区块链最优的模型参数，并通过主区块链共识，将该部分参数下发给各个分片，各个分片通过分片内部共识，将该部分参数下发给分片的客户端节点，以此完成一次全局迭代轮次。
D5，当全局迭代轮次达到任务指定的全局迭代轮次时，训练结束，主区块链的主节点将最新的参数的摘要、存储地址等必要要素写入智能合约，完成本次的训练任务。
本实施例通过基于区块链的自适应协同训练方法解决区块链无法处理大规模数据训练的问题，通过联邦学习、区块链和分片机制的深度融合，从应用层面拓展区块链的训练能力，以达到去中心化协同训练的目的。
需要说明的是，实际应用中，上述所有可能的实施方式可以采用结合的方式任意组合，形成本申请的可能的实施例，在此不再一一赘述。
基于上文各个实施例提供的基于区块链的去中心化自适应协同训练方法，基于同一发明构思，本申请实施例还提供了一种基于区块链的去中心化自适应协同训练装置。
图2示出了根据本申请一实施例的基于区块链的去中心化自适应协同训练装置的结构图。如图2所示，该基于区块链的去中心化自适应协同训练装置可以包括输入模块210、构建模块220以及训练模块230。
输入模块210，用于有任务计算需求的节点选取训练的区块链网络类型，输入用于训练的生产要素；
构建模块220，用于基于选取的区块链网络类型构建主区块链网络和多个分片网络；
训练模块230，用于将生产要素写入主区块链网络的智能合约，通过主区块链网络的共识将携带生产要素的计算任务请求共享给多个分片网络；
对于多个分片网络中的各分片网络，各分片网络中的主节点将计算任务请求通过共识分发给各分片网络中的各个客户端节点，由各个客户端节点根据计算任务请求执行训练任务，将训练的模型参数通过共识共享给各分片网络中的主节点；各分片网络中的主节点对各个客户端训练的模型参数进行验证，将验证满足第一预设条件的模型参数进行聚合，得到分片聚合的模型参数，并通过分片共识将该分片聚合的模型参数下发给各分片网络中的各个客户端节点；
当分片聚合次数达到生产要素中任务指定的分片迭代轮次时，得到当前聚合的最优模型参数，各分片网络中的主节点将当前聚合的最优模型参数通过主区块链网络的共识共享给主区块链网络的主节点；主区块链网络的主节点对多个分片网络中各分片网络的当前聚合的最优模型参数进行验证，将验证满足第二预设条件的模型参数进行聚合，得到主区块链聚合模型参数，并通过主区块链共识将该主区块链聚合模型参数下发给各分片网络，各分片网络通过分片共识将该主区块链聚合模型参数下发给各分片网络中的各个客户端节点，以此完成一次全局迭代轮次；
当全局迭代轮次达到生产要素中任务指定的全局迭代轮次时，训练结束，主区块链网络的主节点将最后一次全局迭代的主区块链聚合模型参数写入智能合约，完成本次的训练任务。
本申请实施例中提供了一种可能的实现方式，上文图2展示的构建模块220还用于：
若选取的区块链网络类型为支持通道机制的联盟链网络，获取有意愿参与训练并贡献数据进行训练的多个客户端节点；
多个客户端节点根据预设信息进行分簇，随后根据轮询算法选出簇头，由簇头在联盟链网络中建立通道，其他客户端节点加入该通道网络；每个簇组成一个联盟链通道网络为一个分片网络，簇头为该分片网络内的主节点，用于和主区块链网络进行数据交互并且聚合分片的模型参数；联盟链网络中的主区块链网络即联盟链网络本身，主区块链共识选出的节点为聚合节点，主区块链网络和分片网络之间的数据交互通过联盟链网络提供的通道数据交互接口完成。
本申请实施例中提供了一种可能的实现方式，分片网络和主区块链网络基于PBFT来完成共识，且PBFT中的leader节点为进行聚合的服务器节点，即主区块链网络的主节点。
本申请实施例中提供了一种可能的实现方式，上文图2展示的构建模块220还用于：
若选取的区块链网络类型为不支持通道机制的公有链网络，获取有意愿参与训练并贡献数据进行训练的多个客户端节点；
多个客户端节点首先加入主区块链网络，主区块链网络的智能合约为每个客户端节点分配唯一的身份标识，随后根据身份标识以及哈希函数随机生成每个客户端所属的分片标识，将分片标识相同的客户端节点组成一个分片网络；公有链网络中的分片网络将每个分片内最后一个加入分片的节点为该分片的主节点，用于和主区块链网络进行数据交互；公有链网络中的主区块链即运行智能合约的主区块链网络，主区块链网络和分片网络之间的数据交互通过公有链网络提供的智能合约交互接口完成。
本申请实施例中提供了一种可能的实现方式，分片网络内基于PBFT完成共识，且PBFT中的leader节点为聚合节点，即分片网络的主节点；主区块链网络基于DPoS完成共识，且共识选出的超级节点为聚合节点，即主区块链网络的主节点。
本申请实施例中提供了一种可能的实现方式，上文图2展示的训练模块230还用于：
各分片网络中的主节点根据生产要素中测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以各个客户端训练的模型参数作为模型参数，得到正确率；若客户端训练的模型参数输出的正确率低于任务指定的第一阈值，则该客户端训练的模型参数不参与聚合；各分片网络中的主节点验证完所有客户端训练的模型参数之后，将超过第一阈值对应的模型参数进行聚合，得到分片聚合的模型参数。
本申请实施例中提供了一种可能的实现方式，上文图2展示的训练模块230还用于：
主区块链网络的主节点根据生产要素中测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以多个分片网络中各分片网络的当前聚合的最优模型参数作为模型参数，得到正确率；若各分片网络的当前聚合的最优模型参数输出的正确率低于任务指定的第二阈值，则该分片网络的当前聚合的最优模型参数不参与聚合；主区块链网络的主节点验证完所有分片网络的当前聚合的最优模型参数之后，将超过第二阈值对应的模型参数进行聚合，得到主区块链聚合模型参数。
基于同一发明构思，本申请实施例还提供了一种电子设备，包括处理器和存储器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述任意一个实施例的基于区块链的去中心化自适应协同训练方法。
在示例性的实施例中，提供了一种电子设备，如图3所示，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器303可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述任意一个实施例的基于区块链的去中心化自适应协同训练方法。
所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。
本领域普通技术人员可以理解：本申请的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干程序指令，用以使得一电子设备(例如个人计算机，服务器，或者网络设备等)在运行所述程序指令时执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的电子设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被电子设备的处理器执行时，所述电子设备执行本申请各实施例所述方法的全部或部分步骤。
以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：在本申请的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本申请的保护范围。

Claims (10)

1.一种基于区块链的去中心化自适应协同训练方法，其特征在于，包括：
有任务计算需求的节点选取训练的区块链网络类型，输入用于训练的生产要素；
基于选取的区块链网络类型构建主区块链网络和多个分片网络；
将所述生产要素写入所述主区块链网络的智能合约，通过所述主区块链网络的共识将携带所述生产要素的计算任务请求共享给所述多个分片网络；
对于所述多个分片网络中的各分片网络，各分片网络中的主节点将计算任务请求通过共识分发给各分片网络中的各个客户端节点，由各个客户端节点根据计算任务请求执行训练任务，将训练的模型参数通过共识共享给各分片网络中的主节点；各分片网络中的主节点对各个客户端训练的模型参数进行验证，将验证满足第一预设条件的模型参数进行聚合，得到分片聚合的模型参数，并通过分片共识将该分片聚合的模型参数下发给各分片网络中的各个客户端节点；
当分片聚合次数达到所述生产要素中任务指定的分片迭代轮次时，得到当前聚合的最优模型参数，各分片网络中的主节点将当前聚合的最优模型参数通过所述主区块链网络的共识共享给所述主区块链网络的主节点；所述主区块链网络的主节点对所述多个分片网络中各分片网络的当前聚合的最优模型参数进行验证，将验证满足第二预设条件的模型参数进行聚合，得到主区块链聚合模型参数，并通过主区块链共识将该主区块链聚合模型参数下发给各分片网络，各分片网络通过分片共识将该主区块链聚合模型参数下发给各分片网络中的各个客户端节点，以此完成一次全局迭代轮次；
当全局迭代轮次达到所述生产要素中任务指定的全局迭代轮次时，训练结束，所述主区块链网络的主节点将最后一次全局迭代的主区块链聚合模型参数写入智能合约，完成本次的训练任务。
2.根据权利要求1所述的基于区块链的去中心化自适应协同训练方法，其特征在于，若选取的区块链网络类型为支持通道机制的联盟链网络，所述基于选取的区块链网络类型构建主区块链网络和多个分片网络，包括：
获取有意愿参与训练并贡献数据进行训练的多个客户端节点；
所述多个客户端节点根据预设信息进行分簇，随后根据轮询算法选出簇头，由簇头在联盟链网络中建立通道，其他客户端节点加入该通道网络；每个簇组成一个联盟链通道网络为一个分片网络，簇头为该分片网络内的主节点，用于和主区块链网络进行数据交互并且聚合分片的模型参数；联盟链网络中的主区块链网络即联盟链网络本身，主区块链共识选出的节点为聚合节点，主区块链网络和分片网络之间的数据交互通过联盟链网络提供的通道数据交互接口完成。
3.根据权利要求2所述的基于区块链的去中心化自适应协同训练方法，其特征在于，所述分片网络和所述主区块链网络基于实用拜占庭容错PBFT来完成共识，且PBFT中的leader节点为进行聚合的服务器节点，即所述主区块链网络的主节点。
4.根据权利要求1所述的基于区块链的去中心化自适应协同训练方法，其特征在于，若选取的区块链网络类型为不支持通道机制的公有链网络，所述基于选取的区块链网络类型构建主区块链网络和多个分片网络，包括：
获取有意愿参与训练并贡献数据进行训练的多个客户端节点；
所述多个客户端节点首先加入主区块链网络，主区块链网络的智能合约为每个客户端节点分配唯一的身份标识，随后根据身份标识以及哈希函数随机生成每个客户端所属的分片标识，将分片标识相同的客户端节点组成一个分片网络；公有链网络中的分片网络将每个分片内最后一个加入分片的节点为该分片的主节点，用于和主区块链网络进行数据交互；公有链网络中的主区块链即运行智能合约的主区块链网络，主区块链网络和分片网络之间的数据交互通过公有链网络提供的智能合约交互接口完成。
5.根据权利要求4所述的基于区块链的去中心化自适应协同训练方法，其特征在于，所述分片网络内基于PBFT完成共识，且PBFT中的leader节点为聚合节点，即所述分片网络的主节点；所述主区块链网络基于委托权益证明DPoS完成共识，且共识选出的超级节点为聚合节点，即所述主区块链网络的主节点。
6.根据权利要求1所述的基于区块链的去中心化自适应协同训练方法，其特征在于，各分片网络中的主节点对各个客户端训练的模型参数进行验证，将验证满足第一预设条件的模型参数进行聚合，得到分片聚合的模型参数，包括：
各分片网络中的主节点根据所述生产要素中测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以各个客户端训练的模型参数作为模型参数，得到正确率；若客户端训练的模型参数输出的正确率低于任务指定的第一阈值，则该客户端训练的模型参数不参与聚合；各分片网络中的主节点验证完所有客户端训练的模型参数之后，将超过第一阈值对应的模型参数进行聚合，得到分片聚合的模型参数。
7.根据权利要求1所述的基于区块链的去中心化自适应协同训练方法，其特征在于，所述主区块链网络的主节点对所述多个分片网络中各分片网络的当前聚合的最优模型参数进行验证，将验证满足第二预设条件的模型参数进行聚合，得到主区块链聚合模型参数，包括：
所述主区块链网络的主节点根据所述生产要素中测试数据存储地址、模型存储地址获取相应的测试数据、训练模型，并以所述多个分片网络中各分片网络的当前聚合的最优模型参数作为模型参数，得到正确率；若各分片网络的当前聚合的最优模型参数输出的正确率低于任务指定的第二阈值，则该分片网络的当前聚合的最优模型参数不参与聚合；所述主区块链网络的主节点验证完所有分片网络的当前聚合的最优模型参数之后，将超过第二阈值对应的模型参数进行聚合，得到主区块链聚合模型参数。
8.一种基于区块链的去中心化自适应协同训练装置，其特征在于，包括：
输入模块，用于有任务计算需求的节点选取训练的区块链网络类型，输入用于训练的生产要素；
构建模块，用于基于选取的区块链网络类型构建主区块链网络和多个分片网络；
训练模块，用于将所述生产要素写入所述主区块链网络的智能合约，通过所述主区块链网络的共识将携带所述生产要素的计算任务请求共享给所述多个分片网络；
对于所述多个分片网络中的各分片网络，各分片网络中的主节点将计算任务请求通过共识分发给各分片网络中的各个客户端节点，由各个客户端节点根据计算任务请求执行训练任务，将训练的模型参数通过共识共享给各分片网络中的主节点；各分片网络中的主节点对各个客户端训练的模型参数进行验证，将验证满足第一预设条件的模型参数进行聚合，得到分片聚合的模型参数，并通过分片共识将该分片聚合的模型参数下发给各分片网络中的各个客户端节点；
当分片聚合次数达到所述生产要素中任务指定的分片迭代轮次时，得到当前聚合的最优模型参数，各分片网络中的主节点将当前聚合的最优模型参数通过所述主区块链网络的共识共享给所述主区块链网络的主节点；所述主区块链网络的主节点对所述多个分片网络中各分片网络的当前聚合的最优模型参数进行验证，将验证满足第二预设条件的模型参数进行聚合，得到主区块链聚合模型参数，并通过主区块链共识将该主区块链聚合模型参数下发给各分片网络，各分片网络通过分片共识将该主区块链聚合模型参数下发给各分片网络中的各个客户端节点，以此完成一次全局迭代轮次；
当全局迭代轮次达到所述生产要素中任务指定的全局迭代轮次时，训练结束，所述主区块链网络的主节点将最后一次全局迭代的主区块链聚合模型参数写入智能合约，完成本次的训练任务。
9.一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器中存储有计算机程序，所述处理器被配置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于区块链的去中心化自适应协同训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被配置为运行时执行权利要求1至7中任一项所述的基于区块链的去中心化自适应协同训练方法。
CN202111384552.3A 2021-11-19 2021-11-19 基于区块链的去中心化自适应协同训练方法和装置 Active CN114244835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111384552.3A CN114244835B (zh) 2021-11-19 2021-11-19 基于区块链的去中心化自适应协同训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111384552.3A CN114244835B (zh) 2021-11-19 2021-11-19 基于区块链的去中心化自适应协同训练方法和装置

Publications (2)

Publication Number Publication Date
CN114244835A true CN114244835A (zh) 2022-03-25
CN114244835B CN114244835B (zh) 2023-09-29

Family

ID=80750274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111384552.3A Active CN114244835B (zh) 2021-11-19 2021-11-19 基于区块链的去中心化自适应协同训练方法和装置

Country Status (1)

Country Link
CN (1) CN114244835B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707663A (zh) * 2022-04-15 2022-07-05 中国电信股份有限公司 分布式机器学习方法、装置、电子设备及存储介质
CN115297008A (zh) * 2022-07-07 2022-11-04 鹏城实验室 基于智算网络的协同训练方法、装置、终端及存储介质
CN116629098A (zh) * 2023-04-23 2023-08-22 江苏高智电力设计咨询有限公司 一种电力设计的设计校验系统
CN117112369A (zh) * 2023-10-19 2023-11-24 凌雄技术(深圳)有限公司 一种基于区块链的设备管理SaaS系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144353A1 (zh) * 2018-01-25 2019-08-01 深圳前海达闼云端智能科技有限公司 基于区块链的数据训练方法、装置、存储介质及区块链节点
US20200272945A1 (en) * 2019-02-21 2020-08-27 Hewlett Packard Enterprise Development Lp System and method of decentralized model building for machine learning and data privacy preserving using blockchain
CN111858752A (zh) * 2020-06-30 2020-10-30 全链通有限公司 基于区块链的人工智能训练方法、设备及存储介质
CN113159333A (zh) * 2021-03-27 2021-07-23 北京邮电大学 一种基于分层分片区块链的联邦学习方法、系统及装置
CN113408746A (zh) * 2021-06-22 2021-09-17 深圳大学 一种基于区块链的分布式联邦学习方法、装置及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144353A1 (zh) * 2018-01-25 2019-08-01 深圳前海达闼云端智能科技有限公司 基于区块链的数据训练方法、装置、存储介质及区块链节点
US20200272945A1 (en) * 2019-02-21 2020-08-27 Hewlett Packard Enterprise Development Lp System and method of decentralized model building for machine learning and data privacy preserving using blockchain
CN111858752A (zh) * 2020-06-30 2020-10-30 全链通有限公司 基于区块链的人工智能训练方法、设备及存储介质
CN113159333A (zh) * 2021-03-27 2021-07-23 北京邮电大学 一种基于分层分片区块链的联邦学习方法、系统及装置
CN113408746A (zh) * 2021-06-22 2021-09-17 深圳大学 一种基于区块链的分布式联邦学习方法、装置及终端设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707663A (zh) * 2022-04-15 2022-07-05 中国电信股份有限公司 分布式机器学习方法、装置、电子设备及存储介质
CN114707663B (zh) * 2022-04-15 2024-02-23 中国电信股份有限公司 分布式机器学习方法、装置、电子设备及存储介质
CN115297008A (zh) * 2022-07-07 2022-11-04 鹏城实验室 基于智算网络的协同训练方法、装置、终端及存储介质
CN115297008B (zh) * 2022-07-07 2023-08-22 鹏城实验室 基于智算网络的协同训练方法、装置、终端及存储介质
CN116629098A (zh) * 2023-04-23 2023-08-22 江苏高智电力设计咨询有限公司 一种电力设计的设计校验系统
CN117112369A (zh) * 2023-10-19 2023-11-24 凌雄技术(深圳)有限公司 一种基于区块链的设备管理SaaS系统
CN117112369B (zh) * 2023-10-19 2024-03-01 凌雄技术(深圳)有限公司 一种基于区块链的设备管理SaaS系统

Also Published As

Publication number Publication date
CN114244835B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN114244835B (zh) 基于区块链的去中心化自适应协同训练方法和装置
US11182082B2 (en) Monitoring and sharing registry states
US9934138B1 (en) Application testing on a blockchain
US20170212836A1 (en) Coordinating cache memory updates in a dispersed storage network
US11681582B2 (en) Write lock conflicts in a storage network
US11831706B1 (en) System and method for distributed management of storage systems based on intent
US10481833B2 (en) Transferring data encoding functions in a distributed storage network
US20190146876A1 (en) Slice rebuilding in a dispersed storage network
CN102904946B (zh) 集群内节点管理方法和装置
US10007438B2 (en) Method and system for achieving consensus using alternate voting strategies (AVS) with incomplete information
US20170315735A1 (en) Batching access requests in a dispersed storage network
US20190068711A1 (en) Consistency level driven data storage in a dispersed storage network
US10749772B1 (en) Data reconciliation in a distributed data storage network
CN109154880B (zh) 在分散存储网络中一致的存储数据
US20180113747A1 (en) Overdrive mode for distributed storage networks
CN112131602B (zh) 基于可信计算进行节点间信任关系快速扩展的方法、装置及相关产品
US10157021B2 (en) Processing incomplete data access transactions
US11770448B1 (en) Rotating offline storage units in a dispersed storage network
US10592109B2 (en) Selecting storage resources in a dispersed storage network
US10073638B2 (en) Automatic namespace ordering determination
CN113778764B (zh) 一种hbase数据双活系统及方法
US11929891B1 (en) System and method for distributed management of hardware through relationship management
US11029880B2 (en) Processing data access requests in accordance with a storage unit memory pressure level
US20240045777A1 (en) Processing of Data Access Requests in a Storage Network
US20200311047A1 (en) Establishing distributed consensus via alternate voting strategies in a dispersed storage network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant