CN106648888A - 一种基于区块链技术的分布式高性能计算系统及其运算方法 - Google Patents

一种基于区块链技术的分布式高性能计算系统及其运算方法 Download PDF

Info

Publication number
CN106648888A
CN106648888A CN201611030594.6A CN201611030594A CN106648888A CN 106648888 A CN106648888 A CN 106648888A CN 201611030594 A CN201611030594 A CN 201611030594A CN 106648888 A CN106648888 A CN 106648888A
Authority
CN
China
Prior art keywords
computing node
computing
subordinate
node
higher level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611030594.6A
Other languages
English (en)
Inventor
邓佳伟
尤文杰
张文文
邬锡敏
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi In October Chen Technology Co Ltd
Original Assignee
Wuxi In October Chen Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi In October Chen Technology Co Ltd filed Critical Wuxi In October Chen Technology Co Ltd
Priority to CN201611030594.6A priority Critical patent/CN106648888A/zh
Publication of CN106648888A publication Critical patent/CN106648888A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明属于分布式运算机运算技术领域，具体涉及一种基于区块链技术的分布式高性能计算系统及其运算方法，包括上级运算节点(1)、中级运算节点(2)和下级运算节点(3)，所述上级运算节点(1)、中级运算节点(2)和下级运算节点(3)之间网络连接，所述上级运算节点(1)和中级运算节点(2)构成区块链单元，所述中级运算节点(2)和下级运算节点(3)构成区块链单元。

Description

一种基于区块链技术的分布式高性能计算系统及其运算方法
技术领域
本发明属于分布式运算机运算技术领域，具体涉及一种基于区块链技术的分布式高性能计算系统及其运算方法。
背景技术
在大数据应用、科学运算和云运算平台中，可靠并且稳定的运算系统对系统性能有着至关重要的作用。随着数据量增大(PB级别)，系统的运算分布策略必须保证性能和稳定性。
目前，现有技术中的计算系统采用的多为集群化控制系统和运算方法，即上级运算节点对其所有该运算节点以下与之相连的运算节点进行数据分配、指令发送和数据传输，当与之相连的运算节点数量较多时，会对上级运算节点的运算能力、负载能力和数据传输能力要求极高，所以这样的集群化控制系统会导致上级运算节点的带宽要求和硬件配置极高，同时这样的设计也会导致下一级运算节点的硬件资源不能得到很好的利用和配置。
区块链是一种新型去中心化协议，能安全地存储数字货币交易或其它数据，信息不可伪造和篡改，可以自动执行智能合约，无需任何中心化机构的审核。区块链技术解决了拜占庭将军问题，大大降低了现实经济的信任成本与会计成本，重新定义了互联网时代的产权制度。区块链(Blockchain)是由网络运算节点参与的分布式数据库系统，它的特点是不可更改，不可伪造，也可以将其理解为账簿系统(ledger)。时间戳服务器通过对以区块(block)形式存在的一组数据，实施随机散列而加上时间戳，并将该随机散列进行广播，就像在新闻或世界性新闻组网络(Usenet)的发帖一样。显然，该时间戳能够证实特定数据必然于某特定时间是的确存在的，因为只有在该时刻存在了才能获取相应的随机散列值。每个时间戳应当将前一个时间戳纳入其随机散列值中，每一个随后的时间戳都对之前的一个时间戳进行增强(reinforcing)，这样就形成了一条链(Chain)。并以十分钟新增一个区块的速度无限扩展，这条主链在每增加一个区块后，都会向全网广播，从而使得每台参与数字货币交易的电脑上都有一份拷贝。
发明内容
针对现有技术中的上述不足，本发明提供一种运算效率高且资源配置合理化并且信息传输更加稳定安全的基于区块链技术的分布式高性能计算系统及其运算方法。
为实现以上技术目的,本发明的技术方案是:一种基于区块链技术的分布式高性能计算系统，包括上级运算节点、中级运算节点和下级运算节点，所述上级运算节点、中级运算节点和下级运算节点之间网络连接，所述上级运算节点和中级运算节点构成区块链单元，所述中级运算节点和下级运算节点构成区块链单元。
作为优选，所述上级运算节点、中级运算节点和下级运算节点可以为多个。
作为优选，所述网络连接可以为有线宽带连接。
作为改进，所述网络连接可以为无线网络连接。
为实现以上技术目的,本发明的技术方案是:一种基于区块链技术的分布式高性能计算系统的运算方法，包括如下步骤：
步骤一：将上级运算节点、中级运算节点和下级运算节点依次通过网络连接；
步骤二：待上级运算节点、中级运算节点和下级运算节点中任意一运算节点接受运算处理任务后，会先下派任务数据包给与之连接的所属该运算节点的下级运算节点，获取该下级运算节点的运算能力；
步骤三：将运算处理任务进行分割、下派以及运算能力的动态获取，运算处理任务分割数量根据与该运算节点连接的下级运算节点数量，每个数据分割的大小根据与之连接的下级运算节点的处理能力呈正比；同时在下级运算节点进行对下派任务进行运算的同时，上级运算节点仍对该下级运算节点的运算能力进行获取；
步骤四；将分割后的数据，在各运算节点上进行运算，并同时将步骤三中上级运算节点中收到的下级运算节点的运算能力与步骤二中上级运算节点中收到的下级运算节点的运算能力进行比较；
步骤五：若步骤三中的运算能力大于步骤二中的运算能力，则增加下派任务数据包大小，若步骤三中的运算能力小于步骤二中的运算能力，则减少下派任务数据包大小，
步骤六：将运算后的各个结果反馈至接受数据运算任务的该数据运算节点，进行汇总并上报。
作为改进，所述上级运算节点、中级运算节点和下级运算节点内存储的所述该节点的下级运算节点的硬件配置信息在某时间内会进行分派任务数据包的形式重新抓取。
从以上描述可以看出，本发明具备以下优点：本发明的基于区块链技术的分布式高性能计算系统及其运算方法采用区块链技术对数据和运算能力进行分析处理，当数据分析处理任务安置在任何一个运算节点时，此运算节点都将该数据分析处理任务下派到与之连接的下级运算节点进行分析处理，而下级运算节点也同样会对收到的数据分析处理任务继续下派到与之连接的下级运算节点进行分析处理，依次类推，这样的处理不再采用中心化和集群化的处理模式；一方面极大的提高了闲置运算节点的利用率，从而降低了运算节点的闲置率；另一方面是每个运算节点都对其他运算节点的运算效率，硬件配置等信息都有记录，当收到运算数据时，会及时对运算数据进行分割，分析，将数据量大的运算任务调至运算能力强的运算节点，将数据量小的运算任务调至运算能力弱的运算节点，使得运算任务可以在尽可能短的时间内得到运算结果。
附图说明
图1为本发明的基于区块链技术的分布式高性能计算系统的结构示意图。
图2为本发明的基于区块链技术的分布式高性能计算系统的运算方法的步骤示意图。
具体实施方式
一种基于区块链技术的分布式高性能计算系统，它包括上级运算节点1、中级运算节点2和下级运算节点3，所述上级运算节点1、中级运算节点2和下级运算节点3之间网络连接，所述上级运算节点1和中级运算节点2构成区块链单元，所述中级运算节点2和下级运算节点3构成区块链单元。
本实施例仅以三个运算节点为例，在具体实施时，可以有无限个运算节点，在所述上级运算节点1和中级运算节点2构成区块链单元中，中级运算节点2相对于上级运算节点1其实就是下级运算节点和上级运算节点的关系，同理，所述中级运算节点2和下级运算节点3构成区块链单元中也是下级运算节点3相对于中级运算节点2其实就是下级运算节点和上级运算节点的关系；在每一个区块链单元中只有上级运算单元和下级运算单元的关系，而每一个上级运算单元只需要对下级运算单元负责；所述上级运算节点1、中级运算节点2和下级运算节点3可以为若干也可以为无限多个；他们彼此之间的网络连接可以为有线宽带连接，也可以为无线网络连接。
结合基于区块链技术的分布式高性能计算系统提供了一种运算方法，包括如下步骤：
步骤一：将上级运算节点、中级运算节点和下级运算节点依次通过网络连接；
步骤二：待上级运算节点、中级运算节点和下级运算节点中任意一运算节点接受运算处理任务后，会先下派任务数据包给与之连接的所属该运算节点的下级运算节点，获取该下级运算节点的运算能力；
步骤三：将运算处理任务进行分割、下派以及运算能力的动态获取，运算处理任务分割数量根据与该运算节点连接的下级运算节点数量，每个数据分割的大小根据与之连接的下级运算节点的处理能力呈正比；同时在下级运算节点进行对下派任务进行运算的同时，上级运算节点仍对该下级运算节点的运算能力进行获取；
步骤四；将分割后的数据，在各运算节点上进行运算，并同时将步骤三中上级运算节点中收到的下级运算节点的运算能力与步骤二中上级运算节点中收到的下级运算节点的运算能力进行比较；
步骤五：若步骤三中的运算能力大于步骤二中的运算能力且该情况连续多次出现，则增加下派任务数据包大小，若步骤三中的运算能力小于步骤二中的运算能力且该情况也连续多次出现，则减少下派任务数据包大小，
步骤六：将运算后的各个结果反馈至接受数据运算任务的该数据运算节点，进行汇总并上报。
同时，所述上级运算节点、中级运算节点和下级运算节点内存储的所述该节点的下级运算节点的运算能力在某时间内仍会进行分派任务数据包的形式重新抓取。
该运算的方法不仅大大的提高了数据运算的效率，同时对于各个节点的运算能力，与之连接的上级节点都是在动态的获取和比较之中，这样的设计大大的提高了整个系统的稳定性和可扩展性。
再者，本发明的去中心化运算方法还可以采用离线模式，即便某运算节点不与其他运算节点连接时，仍可以对数据进行运算；运算人员将运算任务通过类似U盘的移动闪存将运算任务移至某运算节点，该运算节点对运算任务进行分析，若此时与该运算节点连接有其他下级运算节点，则将运算任务进行分割；分割数量根据与该运算节点连接的运算节点数量进行分割，每个数据分割的大小根据与之连接运算节点的处理能力呈正比。
本发明的基于区块链技术的分布式高性能计算系统及其运算方法采用无中心化数据分析处理，当数据分析处理任务安置在任何一个运算节点时，此运算节点都会与其他相对该运算节点而言的下级运算节点进行分析处理，不再采用中心化的处理模式；一方面极大的提高了闲置运算节点的利用率，从而降低了运算节点的闲置率；另一方面是每个运算节点都对其他运算节点的运算能力信息都有记录，当收到运算数据时，会及时对运算数据进行分割，分析，将数据量大的运算任务调至运算能力强的运算节点，将数据量小的运算任务调至运算能力弱的运算节点，使得运算任务可以在尽可能短的时间内得到运算结果。
以上对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (6)

1.一种基于区块链技术的分布式高性能计算系统，其特征在于：包括上级运算节点(1)、中级运算节点(2)和下级运算节点(3)，所述上级运算节点(1)、中级运算节点(2)和下级运算节点(3)之间网络连接，所述上级运算节点(1)和中级运算节点(2)构成区块链单元，所述中级运算节点(2)和下级运算节点(3)构成区块链单元。
2.根据权利要求1所述的基于区块链技术的分布式高性能计算系统，其特征在于：所述上级运算节点(1)、中级运算节点(2)和下级运算节点(3)可以为多个。
3.根据权利要求1所述的基于区块链技术的分布式高性能计算系统，其特征在于：所述网络连接可以为有线宽带连接。
4.根据权利要求1所述的基于区块链技术的分布式高性能计算系统，其特征在于：所述网络连接可以为无线网络连接。
5.一种基于区块链技术的分布式高性能计算系统的运算方法，包括如下步骤：
步骤一：将上级运算节点、中级运算节点和下级运算节点依次通过网络连接；
步骤二：待上级运算节点、中级运算节点和下级运算节点中任意一运算节点接受运算处理任务后，会先下派任务数据包给与之连接的所属该运算节点的下级运算节点，获取该下级运算节点的运算能力；
步骤三：将运算处理任务进行分割、下派以及运算能力的动态获取，运算处理任务分割数量根据与该运算节点连接的下级运算节点数量，每个数据分割的大小根据与之连接的下级运算节点的处理能力呈正比；同时在下级运算节点进行对下派任务进行运算的同时，上级运算节点仍对该下级运算节点的运算能力进行获取；
步骤四；将分割后的数据，在各运算节点上进行运算，并同时将步骤三中上级运算节点中收到的下级运算节点的运算能力与步骤二中上级运算节点中收到的下级运算节点的运算能力进行比较；
步骤五：若步骤三中的运算能力大于步骤二中的运算能力，则增加下派任务数据包大小，若步骤三中的运算能力小于步骤二中的运算能力，则减少下派任务数据包大小；
步骤六：将运算后的各个结果反馈至接受数据运算任务的该数据运算节点，进行汇总并上报。
6.根据权利要求5所述的基于区块链技术的分布式高性能计算系统的运算方法，其特征在于：所述上级运算节点、中级运算节点和下级运算节点内存储的所述该节点的下级运算节点的运算能力在某时间内仍会进行分派任务数据包的形式重新抓取。
CN201611030594.6A 2016-11-16 2016-11-16 一种基于区块链技术的分布式高性能计算系统及其运算方法 Pending CN106648888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611030594.6A CN106648888A (zh) 2016-11-16 2016-11-16 一种基于区块链技术的分布式高性能计算系统及其运算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611030594.6A CN106648888A (zh) 2016-11-16 2016-11-16 一种基于区块链技术的分布式高性能计算系统及其运算方法

Publications (1)

Publication Number Publication Date
CN106648888A true CN106648888A (zh) 2017-05-10

Family

ID=58808464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611030594.6A Pending CN106648888A (zh) 2016-11-16 2016-11-16 一种基于区块链技术的分布式高性能计算系统及其运算方法

Country Status (1)

Country Link
CN (1) CN106648888A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108323200A (zh) * 2018-01-25 2018-07-24 深圳前海达闼云端智能科技有限公司 基于区块链的数据训练方法、装置、存储介质及区块链节点
CN108985937A (zh) * 2018-07-10 2018-12-11 陈曦 一种基于区块链技术的计算资源共享方法及区块链系统
US11012501B1 (en) 2018-04-03 2021-05-18 Amdocs Development Limited System, method, and computer program for performing distributed outsourced computing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716381A (zh) * 2013-12-12 2014-04-09 华为技术有限公司 一种分布式系统的控制方法，及管理节点
US20160065492A1 (en) * 2014-08-30 2016-03-03 International Business Machines Corporation Multi-layer qos management in a distributed computing environment
CN106027264A (zh) * 2016-07-26 2016-10-12 宁圣金融信息服务（上海）有限公司 域名区块链链接保存方法和装置
CN106022681A (zh) * 2016-05-13 2016-10-12 杭州云象网络技术有限公司 一种基于区块链的物流追踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716381A (zh) * 2013-12-12 2014-04-09 华为技术有限公司 一种分布式系统的控制方法，及管理节点
US20160065492A1 (en) * 2014-08-30 2016-03-03 International Business Machines Corporation Multi-layer qos management in a distributed computing environment
CN106022681A (zh) * 2016-05-13 2016-10-12 杭州云象网络技术有限公司 一种基于区块链的物流追踪方法
CN106027264A (zh) * 2016-07-26 2016-10-12 宁圣金融信息服务（上海）有限公司 域名区块链链接保存方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
COLIN M. FRAYN ETC.: "ChessBrain II - A Hierarchical Infrastructure for Distributed Inhomogeneous Speed-Critical Computation", 《2006 IEEE SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE AND GAMES》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108323200A (zh) * 2018-01-25 2018-07-24 深圳前海达闼云端智能科技有限公司 基于区块链的数据训练方法、装置、存储介质及区块链节点
US11012501B1 (en) 2018-04-03 2021-05-18 Amdocs Development Limited System, method, and computer program for performing distributed outsourced computing
CN108985937A (zh) * 2018-07-10 2018-12-11 陈曦 一种基于区块链技术的计算资源共享方法及区块链系统
CN108985937B (zh) * 2018-07-10 2021-09-10 陈曦 一种基于区块链技术的计算资源共享方法及区块链系统

Similar Documents

Publication Publication Date Title
CN103309946B (zh) 多媒体文件处理方法、装置及系统
CN101957863A (zh) 数据并行处理方法、装置及系统
CN104966006A (zh) 基于云变平台的智能人脸识别系统
CN110071965B (zh) 一种基于云平台的数据中心管理系统
EP3361703B1 (en) Load balancing method, related device and system
CN101964795A (zh) 日志采集系统、日志采集方法和日志回收服务器
US20090327459A1 (en) On-Demand Capacity Management
CN108733821A (zh) 一种监控视频截图的分发与展示方法及系统
CN102045396A (zh) 服务器文件的负载均衡方法
EP3267323A1 (en) Thin client system, connection management device, virtual machine operating device, method, and storage medium
CN106933868A (zh) 一种调整数据分片分布的方法及数据服务器
CN106648888A (zh) 一种基于区块链技术的分布式高性能计算系统及其运算方法
CN106131227A (zh) 负载平衡方法、元数据服务器系统及负载平衡系统
CN112597173A (zh) 一种分布式数据库集群系统对等处理系统及处理方法
CN105162837A (zh) 海量数据存储环境下提升i/o吞吐率的方法及系统
CN106445709A (zh) 一种分布式调用服务器的方法及其系统
CN105120008B (zh) 一种基于分层的分布式云计算中心负载平衡方法
CN104731660B (zh) 数据分配方法、装置和系统
CN111262723A (zh) 一种基于模块化硬件和软件定义的边缘智能计算平台
CN105872082A (zh) 基于容器集群负载均衡算法的细粒度资源响应系统
CN113177179A (zh) 数据请求连接管理方法、装置、设备及存储介质
CN110109757B (zh) 一种基于云计算的高性能计算方法
CN104270466A (zh) 数据上报方法及相关设备
CN111124669A (zh) 一种分布式SaaS软件的运营方法、系统、终端及存储介质
CN202475491U (zh) 一种企业人才测评系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510