CN111813581B - 一种基于完全二叉树的容错机制的配置方法 - Google Patents

一种基于完全二叉树的容错机制的配置方法 Download PDF

Info

Publication number
CN111813581B
CN111813581B CN202010722533.6A CN202010722533A CN111813581B CN 111813581 B CN111813581 B CN 111813581B CN 202010722533 A CN202010722533 A CN 202010722533A CN 111813581 B CN111813581 B CN 111813581B
Authority
CN
China
Prior art keywords
model
node
nodes
binary tree
configuration method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn - After Issue
Application number
CN202010722533.6A
Other languages
English (en)
Other versions
CN111813581A (zh
Inventor
王彪
刘魁
曹亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Original Assignee
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Cheng Xin High Tech Information Technology Co ltd, Chengdu University of Information Technology filed Critical Chengdu Cheng Xin High Tech Information Technology Co ltd
Priority to CN202010722533.6A priority Critical patent/CN111813581B/zh
Publication of CN111813581A publication Critical patent/CN111813581A/zh
Application granted granted Critical
Publication of CN111813581B publication Critical patent/CN111813581B/zh
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H04L63/1466—Active attacks involving interception, injection, modification, spoofing of data unit addresses, e.g. hijacking, packet injection or TCP sequence number attacks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45575—Starting, stopping, suspending or resuming virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于完全二叉树容错机制的配置方法，包括设置一个管理者manger，再创建n个容器部署在不同的机器上面，将容器记为节点node，将数据集平分为n份，设置节点控制表；对数据集进行排序，并将前n个数据集子集分别送入node中，设置周期的时间片T；搭建神经网络，通过前向传播取参数，利用随机梯度下降算法更新参数，将节点搭建成完全二叉树的形式，每个树节点采用相同数据结构；在不同的主机上搭建通讯协议，子节点以不同的周期分别进行消息传输和模型传输，并进行安全性检测；确认安全后，将分割后的模型组建成完整的模型，并将模型作为神经网络的隐含层进行迁移学习的训练。通过本方案可以提高模型训练的容错率，增加了模型处理数据的能力。

Description

一种基于完全二叉树的容错机制的配置方法
技术领域
本发明涉及深度学习领域，尤其涉及一种基于完全二叉树容错机制的配置方法。
背景技术
一棵深度为k的有n个结点的二叉树，对树中的结点按从上至下、从左到右的顺序进行编号，如果编号为i（1≤i≤n）的结点与满二叉树中编号为i的结点在二叉树中的位置相同，则这棵二叉树称为完全二叉树。完全二叉树的叶子结点只能出现在最下层和次下层，且最下层的叶子结点集中在树的左部。
深度神经网络中通常包含大量可训练的参数，因此训练出一个性能良好的神经网络需要耗费大量时间。另一方面，为了能从海量的数据中学习到更有价值的特征，深度神经网络的层次正不断加深，进一步增加了训练的耗时。传统的分布式架构模型并行和数据并行的训练方式没有实现模型并行会导致gpu集群的利用率不够高，节点间的松耦合度不够强，并且处理大型数据的能力不强。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于完全二叉树容错机制的配置方法，能实现子节点的松耦合，能实现模型并行和数据并行相结合，累积误差反向传播和标准误差逆向传播相结合，增加了模型处理数据的能力，加快子节点的单个批次快速训练速度，并使用异步io流的方式实现数据的传输，拥有更强的容错机制。
本发明的目的是通过以下技术方案来实现的：
一种基于完全二叉树容错机制的配置方法，方法包括以下步骤：
S1，设置一个管理者manger，再创建n个容器部署在不同的机器上面，将容器记为节点node，将数据集平分为n份，设置节点控制表；
S2，对数据集进行排序，并将排好序的前n个数据集子集分别送入node中，设置一个周期的时间片T；
S3，在子节点中搭建神经网络，通过前向传播取参数，并利用随机梯度下降算法更新参数，将节点搭建成完全二叉树的形式，每个树节点采用相同数据结构；
S4，在不同的主机上搭建通讯协议，子节点以不同的周期分别进行消息传输和模型传输，并进行安全性检测；
S5，确认安全后，按照分割后的模型的索引号组建成完整的模型，并将模型作为当前神经网络的隐含层进行迁移学习的训练。
具体的，所述步骤S1中的节点控制表用于记录节点ID、节点对应的数据集和当前批次误差。
具体的，所述步骤S4中还包括通过密码机制在完全二叉树的树节点之间设置安全协议，用于防止黑客伪造消息进行攻击。
具体的，所述步骤S4中各个节点之间流通的消息包括公钥签名、消息认证码以及消息摘要。
具体的，所述步骤S4中采用签名聚合和密钥聚合的算法来进行所有节点的验证。
本发明的有益效果：
1、采用基于二叉树形式的模型并行和数据并行相结合的方法，大量缩短了神经网络的训练时间；
2、实现模型的流通，并平均分配数据集到字节点上面，实现数据并行，提升了整个集群处理数据的综合性能，集群整体结构呈二叉树的形式，便于周期性交互时候的遍历和管理工作。
附图说明
图1是本发明的方法流程图。
图2是本发明的完全二叉树的数据结构图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
本实施例中，如图1所示，一种基于完全二叉树容错机制的配置方法，方法包括以下步骤：
步骤1，设置一个管理者manger，再创建n个容器部署在不同的机器上面，将容器记为节点node，将数据集平分为n份，设置节点控制表。其中，节点控制表用于记录节点ID、节点对应的数据集和当前批次误差。
步骤2，对数据集进行排序，并将排好序的前n个数据集子集分别送入node中，设置一个周期的时间片T。
步骤3，在子节点中搭建神经网络，通过前向传播取参数，并利用随机梯度下降算法更新参数，将节点搭建成完全二叉树的形式，每个树节点采用相同数据结构。每个树节点的数据结构如图2所示，包括左指针、消息队列、模型队列和右指针。
步骤4，在不同的主机上搭建通讯协议，子节点以不同的周期分别进行消息传输和模型传输，并进行安全性检测。在周期性传输一次过程中，通过密码机制在完全二叉树的树节点之间设置安全协议，用于防止黑客伪造消息进行攻击，各节点之间流通的消息包括公钥签名、消息认证码以及消息摘要，同时对消息摘要进行签名并将其附加到消息文本上。每个节点独立产生自己的私钥片段，然后将可验证的公钥广播出去，以及系统中其他节点需要验证本地节点的可靠性的信息.使用签名聚合和密钥聚合的算法,使所有的节点的验证都没有错误，每个节点达成一致,从而达到节点有可验证性、随机性、唯一性、确定性的效果。
步骤5，确认安全后，按照分割后的模型的索引号组建成完整的模型，并将模型作为当前神经网络的隐含层进行迁移学习的训练。
其中，消息传输在每个周期的时间传输一次，并由主节点负责检查子节点的状态码，状态码有以下几种状态（因网络延迟等不可靠因素而阻塞 -1，文件传输的消息等待 0，正在运行 1），这里将采用自发些的报备的方式告知管理者，从叶子节点开始报备，在每个周期结束后，叶子节点采用异步并行的方式向根节点报备消息，非叶子节点将收到的信息跟自身状态码，公钥，消息密码的信息，依次入队到消息队列中，上传到根节点，根节点通过安全检测后，确认是自己的孩子节点上传的，才接受该消息队列，并取出自身队列的队尾元素跟收到的消息队列组成新的队列上传到根节点，报备后，系统管理员按照后续递归遍历整个集群，找到最后一个节点，以此将消息队列中的元素出队，查看状态码，如状态码为-1，则查询该状态码id，找到主机重启该容器，取出模型队列对尾存储的模型，待该主机重启完后，用取出的模型进行迁移学习继续训练，并清空队列元素，在该主机重启的时候，暂停对其孩子节点的训练，其双亲节点和兄弟节点的训练不受影响。
模型传输每两个周期结束，保存一次模型到模型队列中，队列元素后接一张模型文件情况说明表，标注节点id，loos值等重要信息，在进行模型周期性上传时候，采用并行io流的方式上传模型文件，将模型文件切割成等份，并标注索引，开启一定量的线程，每个线程都会为分配给它的任务保存一个双向链式队列，将分割好的模型文件平均分配到双向链式队列中，每完成一个任务，就会从队列头上取出下一个任务开始执行。基于种种原因，某个线程可能很早就完成了分配给它的任务，而其他的线程还未完成，那么这个线程就会，随机选一个线程，从队列的尾巴上偷走一个任务。这个过程一直继续下去，直到所有的任务都执行完毕，所有的队列都清空。批次上传到根节点，在根节点接受模型前进行消息队列的传输，需先检查安全性，才能接受模型，确认安全后，再按照分割后的模型的索引号组建成完整的模型，将这个模型作为当前神经网络的隐含层进行迁移学习的训练。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于完全二叉树容错机制的配置方法，其特征在于，方法包括以下步骤：
S1，设置一个管理者manger，再创建n个容器部署在不同的机器上面，将容器记为节点node，将数据集平分为n份，设置节点控制表；
S2，对数据集进行排序，并将排好序的前n个数据集子集分别送入node中，设置一个周期的时间片T；
S3，在子节点中搭建神经网络，通过前向传播取参数，并利用随机梯度下降算法更新参数，将节点搭建成完全二叉树的形式，每个树节点采用相同数据结构；
S4，在不同的主机上搭建通讯协议，子节点以不同的周期分别进行消息传输和模型传输，并进行安全性检测；
S5，确认安全后，按照分割后的模型的索引号组建成完整的模型，并将模型作为当前神经网络的隐含层进行迁移学习的训练；
确认安全后，按照分割后的模型的索引号组建成完整的模型过程具体为：在进行模型周期性上传时候，采用并行io流的方式上传模型文件，将模型文件切割成等份，并标注索引，开启一定量的线程，每个线程都会为分配给它的任务保存一个双向链式队列，将分割好的模型文件平均分配到双向链式队列中；批次上传到根节点，在根节点接受模型前进行消息队列的传输，需先检查安全性，才能接受模型，确认安全后，再按照分割后的模型的索引号组建成完整的模型。
2.根据权利要求1所述的一种基于完全二叉树容错机制的配置方法，其特征在于，所述步骤S1中的节点控制表用于记录节点ID、节点对应的数据集和当前批次误差。
3.根据权利要求1所述的一种基于完全二叉树容错机制的配置方法，其特征在于，所述步骤S4中还包括通过密码机制在完全二叉树的树节点之间设置安全协议，用于防止黑客伪造消息进行攻击。
4.根据权利要求3所述的一种基于完全二叉树容错机制的配置方法，其特征在于，所述步骤S4中各个节点之间流通的消息包括公钥签名、消息认证码以及消息摘要。
5.根据权利要求3所述的一种基于完全二叉树容错机制的配置方法，其特征在于，所述步骤S4中采用签名聚合和密钥聚合的算法来进行所有节点的验证。
6.根据权利要求1所述的一种基于完全二叉树容错机制的配置方法，其特征在于，所述步骤S4中树节点的数据结构包括左指针、消息队列、模型队列和右指针。
CN202010722533.6A 2020-07-24 2020-07-24 一种基于完全二叉树的容错机制的配置方法 Withdrawn - After Issue CN111813581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010722533.6A CN111813581B (zh) 2020-07-24 2020-07-24 一种基于完全二叉树的容错机制的配置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010722533.6A CN111813581B (zh) 2020-07-24 2020-07-24 一种基于完全二叉树的容错机制的配置方法

Publications (2)

Publication Number Publication Date
CN111813581A CN111813581A (zh) 2020-10-23
CN111813581B true CN111813581B (zh) 2022-07-05

Family

ID=72861014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010722533.6A Withdrawn - After Issue CN111813581B (zh) 2020-07-24 2020-07-24 一种基于完全二叉树的容错机制的配置方法

Country Status (1)

Country Link
CN (1) CN111813581B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733941B (zh) * 2021-01-12 2022-06-21 山东大学 基于神经网络的高鲁棒用户分类方法及系统
CN112989360B (zh) * 2021-03-26 2022-07-15 湖南匡安网络技术有限公司 一种基于并行二叉树的弱口令漏洞自动检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136099A (zh) * 2010-01-25 2011-07-27 索尼公司 分析服务器和分析数据的方法
US9171259B1 (en) * 2015-01-12 2015-10-27 Bank Of America Corporation Enhancing classification and prediction using predictive modeling
CN105159746A (zh) * 2015-08-26 2015-12-16 哈尔滨工业大学 面向容错组合web服务的可靠性仿真工具
CN109033340A (zh) * 2018-07-23 2018-12-18 武汉大学 一种基于Spark平台的点云K邻域的搜索方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239501B (zh) * 2014-09-10 2017-04-12 中国电子科技集团公司第二十八研究所 一种基于Spark的海量视频语义标注方法
US9280740B1 (en) * 2015-01-12 2016-03-08 Bank Of America Corporation Transforming predictive models
CN107292186B (zh) * 2016-03-31 2021-01-12 阿里巴巴集团控股有限公司 一种基于随机森林的模型训练方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136099A (zh) * 2010-01-25 2011-07-27 索尼公司 分析服务器和分析数据的方法
US9171259B1 (en) * 2015-01-12 2015-10-27 Bank Of America Corporation Enhancing classification and prediction using predictive modeling
CN105159746A (zh) * 2015-08-26 2015-12-16 哈尔滨工业大学 面向容错组合web服务的可靠性仿真工具
CN109033340A (zh) * 2018-07-23 2018-12-18 武汉大学 一种基于Spark平台的点云K邻域的搜索方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
On the Performance of Parallel Neural Network Implementations on Distributed Memory Architectures;K. Ganeshamoorthy等;《2008 Eighth IEEE International Symposium on Cluster Computing and the Grid (CCGRID)》;20080530;第90-97页 *
卷积神经网络并行训练的优化研究;李相桥等;《计算机技术与发展》;20180427;第12-16页 *

Also Published As

Publication number Publication date
CN111813581A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN106406896B (zh) 一种并行PipeLine技术的区块链建块方法
CN111813581B (zh) 一种基于完全二叉树的容错机制的配置方法
CN111813580B (zh) 一种基于矩阵表示的分布式模型训练优化方法
US10747780B2 (en) Blockchain-based data processing method and device
US11507569B2 (en) Methods for extending a proof-of-space-time blockchain
US9372879B1 (en) Balanced append tree data structure
US11429566B2 (en) Approach for a controllable trade-off between cost and availability of indexed data in a cloud log aggregation solution such as splunk or sumo
Awerbuch et al. Memory-efficient and self-stabilizing network reset
US10491498B2 (en) Method and device for fingerprint based status detection in a distributed processing system
WO2021061844A1 (en) Systems and methods for anomaly detection on core banking systems
US20150317351A1 (en) Method and device for verifying consistency of data of master device and slave device
US11620051B2 (en) System and method for data compaction and security using multiple encoding algorithms
US20240329836A1 (en) System and method for data compaction and encryption of anonymized data records
US20110296012A1 (en) Multi-tier message correlation
CN113852470A (zh) 提案广播方法、装置、设备和存储介质
US20160301572A1 (en) Communication control device, communication control method, and computer program product
CN116248337A (zh) 一种基于测试用例自动化生成的协议模糊测试方法及装置
TWI789346B (zh) 訊息的發送方法和終端設備
CN111563017B (zh) 数据处理方法及装置
CN114003351A (zh) 一种数据处理方法及装置、存储介质
JP2023165633A (ja) 機械学習ベースのマルウェア検出のためのシステムおよび方法
CN114785805A (zh) 一种数据传输方法、装置、电子设备以及存储介质
WO2010088461A1 (en) Method and system for data stream identification by evaluation of the most efficient path through a transformation tree
CN104516790B (zh) 一种分布式环境下检查点记录和恢复的系统及方法
CN104572432B (zh) 一种无锁链表管理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
AV01 Patent right actively abandoned

Granted publication date: 20220705

Effective date of abandoning: 20220802

AV01 Patent right actively abandoned

Granted publication date: 20220705

Effective date of abandoning: 20220802

AV01 Patent right actively abandoned
AV01 Patent right actively abandoned