CN111949394A - 一种共享算力资源的方法、系统及存储介质 - Google Patents
一种共享算力资源的方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111949394A CN111949394A CN202010687527.1A CN202010687527A CN111949394A CN 111949394 A CN111949394 A CN 111949394A CN 202010687527 A CN202010687527 A CN 202010687527A CN 111949394 A CN111949394 A CN 111949394A
- Authority
- CN
- China
- Prior art keywords
- task
- computing
- node
- calculation result
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 86
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims description 11
- 238000011056 performance test Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 abstract description 13
- 230000008901 benefit Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Hardware Redundancy (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明的提供了一种共享算力资源的方法、系统和存储介质,方法包括以下步骤:向服务器节点发出任务请求;获取并行执行的任务块;根据任务块执行计算任务,生成计算结果;对计算结果进行验证,返回验证后的结果至服务器节点;依据计算节点主动提出任务请求,将任务处理拆分后产生的大量任务块合理分发至网络中各可用计算节点,保证最优化分配,利用计算节点的空闲状态,为高强度计算类型任务提供强大的去中心化计算资源,数据处理效率更高;同时通过主动请求和分发匹配机制,使得计算任务的分发更为合理,并进一步实现无差异的计算节点自治,可广泛应用于分布式计算网络技术领域。
Description
技术领域
本发明涉及分布式计算网络技术领域,尤其是一种共享算力资源的方法、系统及存储介质。
背景技术
分布式计算是一种计算方法,和集中式计算是相对的。随着计算技术的发展,有些应用需要非常巨大的计算能力才能完成,如果采用集中式计算,需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体计算时间,大大提高计算效率。
当前的生产生活中,在面对高强度计算类型任务时,通常还是采用集中式的计算方式,中央计算机需要执行所有的运算,因此,当终端很多时,会导致响应速度变慢;如果终端用户有不同的需要,就需要对每个用户的程序和资源做单独的配置,这在集中式系统上做起来不仅困难,而且效率不高。此外,在现有技术中的一些分布式计算网络中,单纯采用计算任务均衡分配的方式,在不考虑计算节点的性能状态情况下,同样也会给网络中单个的计算节点带来巨大压力。
发明内容
有鉴于此,为至少部分解决上述技术问题之一,本发明实施例目的在于提供一种高效的,可实现无差异节点自治的共享算力资源的方法,以及可以对应实现共享算力资源的系统、以及计算节点的存储介质和服务器节点的存储介质。
第一方面,本发明的提供了一种共享算力资源的方法,包括以下步骤:
向服务器节点发出任务请求;
获取并行执行的任务块,其中,任务块是由服务器根据任务请求,将获取的计算任务进行分割所得到的;
根据任务块执行计算任务,生成计算结果;
对计算结果进行验证,返回验证后的结果至服务器节点。
此外,在本发明的一些实施例中,该方法还包括以下步骤:
获取根据任务块执行计算任务所消耗的计算资源,根据所消耗的计算资源生成实际工作量证明;实际工作量证明为计算节点未在执行计算任务情况下计算资源所能够完成的工作量。
第二方面,本发明的提供了另一种共享算力资源的方法,包括以下步骤:
获取计算任务以及计算节点的任务请求,将计算任务分割得到若干并行执行的任务块;
根据任务请求以及计算节点的性能参数将任务块分配至若干计算节点;计算节点的状态参数包括计算节点的计算能力、存储空间以及宽带环境。
获取第一计算结果,并将第一计算结果进行整合得到第二计算结果,输出第二计算结果,其中,第一计算结果是由计算节点根据任务块执行计算任务,并完成验证后的计算结果。
在本发明的一些实施例中,方法还包括以下步骤:对计算节点进行性能测试,记录性能测试结果;
获取计算节点性能在全网的计算节点性能中的相对位置;
根据测试结果和相对位置生成执行任务块的计算时间,并更新计算节点的性能参数。
在本发明的一些实施例中,方法还包括以下步骤:当未获取得到第一计算结果,确定节点计算失败并基于动态重分配机制将任务块分配至新的计算节点。
在本发明的一些实施例中,获取计算任务以及计算节点的任务请求,将计算任务分割得到若干并行执行的任务块这一步骤;其具体包括:
根据计算任务的类型和计算任务的内容匹配分割算法生成若干并行执行的任务块。
在本发明的一些实施例中,根据任务请求以及计算节点的性能参数将任务块分配至若干计算节点这一步骤;其具体包括:
获取任务块,确定任务块的种类;
根据任务块的种类以及任务块的内容进行计算节点性能匹配,并确定任务块的发送频率;
根据计算节点性能匹配的结果和发送频率将任务块分配至若干计算节点。
第三方面,本发明的技术方案还提供一种共享算力资源的系统,包括计算节点和服务器节点:
其中,计算节点用于向服务器节点发出任务请求;获取并行执行的任务块,任务块是由服务器根据任务请求,将获取的计算任务进行分割所得到的;根据任务块执行计算任务,生成计算结果;对计算结果进行验证,返回验证后的结果;验证的规则包括:根据任务块执行计算任务的计算节点数目不小于第一阈值;根据任务块执行计算任务,生成计算结果的数目,不小于第二阈值;第一阈值为预设的计算节点数目;第二阈值为预设的计算结果数目。
其中,服务器节点用于获取计算任务以及计算节点的任务请求,将计算任务分割得到若干并行执行的任务块;根据任务请求以及计算节点的性能参数将任务块分配至若干计算节点;计算节点的状态参数包括计算节点的计算能力、存储空间以及宽带环境。获取计算结果,并将计算结果进行整合,输出整合后的计算结果,计算结果是由计算节点根据任务块执行计算任务,并完成验证后的计算结果。
第四方面,本发明的技术方案还提供另一种共享算力资源的系统,其包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当至少一个程序被至少一个处理器执行,使得至少一个处理器实现第一方面或第二方面中的一种共享算力资源的方法。
第五方面,本发明的技术方案还提供了一种存储介质,其中存储有处理器可执行的程序,处理器可执行的程序在由处理器执行时用于实现如第一方面或第二方面中的方法。
本发明的优点和有益效果将在下面的描述中部分给出,其他部分可以通过本发明的具体实施方式了解得到:
本发明依据计算节点主动提出任务请求,将任务处理拆分后产生的大量任务块合理分发至网络中各可用计算节点,保证最优化分配,利用计算节点的空闲状态,为高强度计算类型任务提供强大的去中心化计算资源,数据处理效率更高;同时通过主动请求和分发匹配机制,使得计算任务的分发更为合理,并进一步实现无差异的计算节点自治。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一种共享算力资源的云算链系统的示意图;
图2为本发明实施例一种共享算力资源的系统中计算节点执行的步骤流程图;
图3为本发明实施例一种共享算力资源的系统中服务器节点执行的步骤流程图。
具体实施方式
下面详细描述本发明的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
共享算力资源系统实质上是一种分布式计算网络,用于处理无法通过一台计算机单独完成的高强度计算类型任务或者需要耗费一台计算机大量的计算资源、计算时间的任务。在共享算力资源的过程中,将多种类智能设备的闲置计算力接入去中心化计算网络,结合大量算法和工程优化,实现在计算任务中的应用。第一方面,如图1所示,本实施例共享算力资源的云算链系统(下文统称为云算链,Cloud Computing Chain),属于“分级去中心化结构”的分布式计算网络,每个不同模块定义为不同的级;在同级中,实现完全去中心化;多级混合时,为多中心化结构。云算链采用客户机-服务器架构(Client-ServerArchitecture),计算资源提供方(Computing Resource Provider)是客户机角色包括分布式计算节点和分布式存储节点,服务器节点(Service Node)是服务器角色。当计算节点空闲时会主动向服务器节点请求任务,服务器节点会根据计算资源的硬件特点匹配并分发相应的任务块。另外,也可将计算任务数据存储至分布式存储节点,分布式计算节点在接收到服务器的调度指令后从分布式存储节点下载任务块数据。在分布式网络拓扑结构下,计算资源提供方和服务器节点可随时并入或脱离网络。
在第二方面,参照图2,实施例提供的一种共享算力资源的方法,其包括步骤S101-S104,由云算链中的计算节点执行:
S101、向服务器节点发出任务请求;实施例的云算链中,各个计算节点根据节点自身的计算资源的闲置情况,向服务器节点发送该计算节点的闲置情况以及节点的性能状况,以作为后续服务器节点进行任务块分发匹配的依据。
S102、获取并行执行的任务块,其中,任务块是由服务器节点根据任务请求,将获取得到的数据量庞大的计算任务进行分割所得到的。
S103、根据任务块执行计算任务,生成计算结果;
S104、对计算结果进行验证,返回验证后的结果;在一些实施例中,验证的规则包括有:其一、根据任务块执行计算任务的计算节点数目不小于第一阈值;其二、根据任务块执行计算任务,生成计算结果的数目,不小于第二阈值;第一阈值为预设的计算节点数目;第二阈值为预设的计算结果数目。例如,在实施例中,对于计算结果正确性,提供的结果验证条件需满足两个规则:第一、同一个任务块发送至不少于A(A≥3)个计算节点;第二、同一个任务块有不少于B的计算结果成功返回。可根据具体的应用场景定义A和B的值,也可以将权限开放给计算资源消费方。再例如:在CG渲染任务中,定义A=5,B=51%,即当同一个任务块有来自3个计算节点的结果成功返回并比对验证成功后,该任务块结果被标注为“成功-待整合”。此外,根据不同任务类型的任务块,对计算结果的验证方法不同,实施例可以基于API对其应用使用的算法进行开发部署。之外,验证规则还可以设置单个计算节点中任务块被执行迭代的次数等等。
第三方面,参照图3,本发明实施例提供了另一种共享算力资源的方法,在计算任务提交至云算链后,经过任务处理、任务拆分成大量的任务块、任务块分发至分布式计算节点、结果整合等过程后,输出最终任务结果。其步骤包括S201-S203,由云算链中的服务器节点完成和执行:
S201、获取计算任务以及计算节点的任务请求,将计算任务分割得到若干并行执行的任务块;具体地,云算链完成对任务的预处理,分析得到任务的类型以及任务的具体内容,根据任务的类型和内容匹配相应的分割算法以产生大量的可并行执行的任务块。并且,在实施例的云算链中,提供了基础分割算法支持,也可以基于CCC API自行开发或调用适用于不同任务的分割算法,例如,支持CGI渲染类型任务的分割算法。
S202、根据任务请求以及计算节点的性能参数将任务块分配至若干计算节点;计算节点的状态参数包括计算节点的计算能力、存储空间以及宽带环境;具体地,由服务器节点将任务处理拆分后产生的大量任务块合理分发至网络中各可用计算节点,保证最优化分配;为确保最优分配,在服务器节点进行任务块分配的过程中,依据服务器节点接收到的来自计算节点的任务请求,以及对应计算节点的性能参数作为分发匹配的主要标准;其中,计算节点的性能参数包括:计算节点的计算能力、存储空间、带宽环境等参数的综合指标。更为具体地,在一些实施例中,在进行分配前,由服务器节点完成对任务块的种类以及内容的分类,根据分类后的结果对应分配至该类型任务块处理的若干计算节点,并确定任务块的发送频率,完成任务块的分发匹配。例如,通过识别记录云算链中全部计算节点的硬件信息,为避免由于硬件差异造成的计算结果差异,可设定将同一任务拆分后生成的多个任务块发送至网络中同类型硬件设备进行计算。此外,作为可选的实施方式,服务器节点可根据人工智能算法的分配模型,将考虑任务种类、任务块计算量、节点算力、节点网络情况、节点历史稳定性、节点活跃度等多维度参数;通过深度学习完成任务块的分发匹配。
S203、获取计算结果,并将计算结果进行整合,输出整合后的计算结果,计算结果是由计算节点根据任务块执行计算任务,并完成验证后的计算结果。
并且,在一些实施例中,服务器节点采用实际工作量证明(Proof-of-Practical-Work)机制,对计算节点所完成的计算工作进行记录,生成对应的记录文件进行保存。不同于目前常见的挖矿应用,智能设备闲置时的计算资源用于真实世界中完成的产生实际价值的具体计算任务,将该计算任务的实际价值进行记录,即为实际工作量证明,实施例中采用实际工作量证明机制,例如,某个终端设备在一端时间周期内,完成生产任务,并产生大小为A的实际价值,那么,云算链则根据时间周期和A的值计算该终端的单位时间所产生的价值,即记为该终端的实际工作证明;即将同一个任务块分发至不少于3个计算节点,并在满足匹配条件的计算节点中随机分发,不同计算节点对同一任务块计算后产生的任务结果将进入验证过程。为防止虚假上报任务计算时间和节点的性能情况,实施例中云算链启用基准点(Benchmark)动态调校机制;基于不同Benchmark对计算节点性能测试的记录,掌握单个设备性能在云算链全网计算节点设备性能中的相对位置,以此为基准对任务块计算时间合理性进行判断,同时对于计算节点性能参数进行不定时测试及更新。必要时,可在服务器节点中引入与计算节点中步骤S104相同的结果验证机制,对接收到的计算结果进行验证。
在云算链的一些实施方式中,还采用冗余计算(Redundant Computing)和动态重分配(Dynamic Redistribution)技术确保所有任务计算的完整性;其中,动态重分配机制为将计算节点的任务块分配至其他计算节点。冗余计算机制保证一个任务块发送至N个计算节点进行计算,对于不同类型的任务,冗余节点数量可通过自定义的方式确定。例如:某个计算节点在规定时间内没有成功提交其任务块的计算结果,则认定该节点计算失败;同时动态重分配机制将被激活,将该节点任务块分配至新计算节点。
此外,云算链作为新型去中心化超级计算网络,具备极强的协议属性,可运行于联盟链之上,迅速融合区块链的交易记账、加密、及智能合约等技术。同时,面向开发者社区开放标准化API接口,为各类上层应用提供强大的去中心化计算资源。
根据图2以及图3的内容,以完成动画影视渲染的任务为例,将动画视频文件以及渲染任务提交至云算链,并确定渲染工作中需要的计算节点数目,同时根据渲染任务将待渲染的视频文件进行逐帧分解,必要时对逐帧图片进行拆解,如步骤S201的描述得到若干可并行执行的待渲染任务块,并通过步骤S202将其分发至预设数目的闲置的分布式计算节点,交由计算节点完成如步骤S101-S104的渲染工作,由各个计算节点完成渲染任务块的结果验证后,将结果返回至服务器节点,再由服务器节点完成验证以及逐帧渲染文件结果的汇总,如步骤S203的描述,输出得到完成渲染后的视频文件。
第四方面,本发明实施例还提供了其他共享算力资源的系统,其系统中的核心要素包括计算节点和服务器节点:
其中,计算节点用于向服务器节点发出任务请求;获取并行执行的任务块,任务块是由服务器根据任务请求,将获取的计算任务进行分割所得到的;根据任务块执行计算任务,生成计算结果;对计算结果进行验证,返回验证后的结果。
服务器节点用于获取计算任务以及计算节点的任务请求,将计算任务分割得到若干并行执行的任务块;根据任务请求以及计算节点的性能参数将任务块分配至若干计算节点;计算节点的状态参数包括计算节点的计算能力、存储空间以及宽带环境。获取计算结果,并将计算结果进行整合,输出整合后的计算结果,计算结果是由计算节点根据任务块执行计算任务,并完成验证后的计算结果。
在一些系统实施例中,包括多个服务器节点,系统通过容错机制保证单个服务器节点故障不会对任务整体执行造成严重影响,正常运行的服务器节点将动态接管故障节点的任务,避免单点故障(SPoF)的发生。
在第二方面和第三方面的方法实施例中的内容均适用于本系统的实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
第五方面,本发明实施例还提供一种共享算力资源的系统,其包括至少一个处理器;至少一个存储器,用于存储至少一个程序;当至少一个程序被至少一个处理器执行,使得至少一个处理器实现如图2或图3中所示的一种共享算力资源的方法。
本发明实施例还提供了一种存储介质内存储有程序,程序被处理器执行如图2或图3所示的方法。
从上述具体的实施过程,可以总结出,本发明所提供的技术方案相较于现有技术存在以下优点或优势:
1.随着智能硬件快速发展及其芯片性能不断提高,本发明所提供的实施例可形成新的共享算力经济生态圈,为众多需要强大算力任务以最低的成本提供快速的生产效率与效果。
2.本发明所提供的技术方案,大大降低了去中心化网络中各节点间角色的差异化程度,推进了向无差异节点自治的自进化网络系统的发展进程。
3.本发明提供的技术方案,结合集中式计算网络的优势和分布式计算网络的优势,在同级中,实现完全去中心化;多级混合时,为多中心化结构;既保证了高效率、高性能以及良好的容错性能和扩展性能,又能够避免数据的安全性问题和共享的风险问题。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
其中,功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于上述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种共享算力资源的方法,其特征在于,包括以下步骤:
向服务器节点发出任务请求;
获取并行执行的任务块,所述任务块是由所述服务器节点根据任务请求,将获取的计算任务进行分配所得到的;
根据所述任务块执行计算任务,生成计算结果;
对所述计算结果进行验证,返回验证后的结果至所述服务器节点。
2.根据权利要求1所述的一种共享算力资源的方法,其特征在于,所述方法还包括以下步骤:
获取根据所述任务块执行计算任务所消耗的计算资源,根据所消耗的计算资源生成实际工作量证明;所述实际工作量证明为未在执行计算任务情况下计算资源所能够完成的工作量。
3.一种共享算力资源的方法,其特征在于,包括以下步骤:
获取计算任务以及计算节点的任务请求,将所述计算任务进行分割得到若干并行执行的任务块;
根据所述任务请求以及计算节点的性能参数将所述任务块分配至若干计算节点;所述计算节点的状态参数包括计算节点的计算能力、存储空间以及宽带环境;
获取第一计算结果,并将所述第一计算结果进行整合得到第二计算结果,输出所述第二计算结果;所述第一计算结果是由计算节点返回的完成验证后的计算结果。
4.根据权利要求3所述的一种共享算力资源的方法,其特征在于,所述方法还包括以下步骤:
对所述计算节点进行性能测试,记录性能测试结果;
获取所述计算节点的性能在全网的计算节点性能中的相对位置;
根据所述性能测试结果和所述相对位置生成执行所述任务块的计算时间,并更新所述计算节点的性能参数。
5.根据权利要求3所述的一种共享算力资源的方法,其特征在于,所述方法还包括以下步骤:
当未获取得到所述第一计算结果,确定节点计算失败并基于动态重分配机制将所述任务块分配至新的计算节点。
6.根据权利要求3-5任一项所述的一种共享算力资源的方法,其特征在于,所述获取计算任务以及计算节点的任务请求,将所述计算任务进行分割得到若干并行执行的任务块这一步骤;其具体包括:
根据所述计算任务的类型和所述计算任务的内容匹配分割算法生成若干并行执行的任务块。
7.根据权利要求3-5任一项所述的一种共享算力资源的方法,其特征在于,所述根据所述任务请求以及计算节点的性能参数将所述任务块分配至若干计算节点这一步骤;其具体包括:
获取所述任务块,确定所述任务块的种类;
根据所述任务块的种类以及所述任务块的内容进行计算节点性能匹配,并确定任务块的发送频率;
根据计算节点性能匹配的结果和所述发送频率将所述任务块分配至若干计算节点。
8.一种共享算力资源的系统,其特征在于,包括计算节点和服务器节点:
所述计算节点,用于向服务器节点发出任务请求;获取并行执行的任务块,所述任务块是由服务器根据任务请求,将获取的计算任务进行分配所得到的;根据所述任务块执行计算任务,生成计算结果;对所述计算结果进行验证,返回验证后的结果至服务器节点;所述服务器节点,用于获取计算任务以及计算节点的任务请求,将所述计算任务进行分割得到若干并行执行的任务块;根据所述任务请求以及计算节点的性能参数将所述任务块分配至若干计算节点;所述计算节点的状态参数包括计算节点的计算能力、存储空间以及宽带环境;获取计算结果,并将所述计算结果进行整合,输出整合后的计算结果,所述计算结果是由计算节点返回的完成验证后的计算结果。
9.一种共享算力资源的系统,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-7任一项所述的一种共享算力资源的方法。
10.一种存储介质,其中存储有处理器可执行的程序,其特征在于:所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的一种共享算力资源的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010687527.1A CN111949394B (zh) | 2020-07-16 | 2020-07-16 | 一种共享算力资源的方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010687527.1A CN111949394B (zh) | 2020-07-16 | 2020-07-16 | 一种共享算力资源的方法、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111949394A true CN111949394A (zh) | 2020-11-17 |
CN111949394B CN111949394B (zh) | 2024-07-16 |
Family
ID=73341009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010687527.1A Active CN111949394B (zh) | 2020-07-16 | 2020-07-16 | 一种共享算力资源的方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111949394B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112600887A (zh) * | 2020-12-03 | 2021-04-02 | 中国联合网络通信集团有限公司 | 算力管理方法和装置 |
CN113098854A (zh) * | 2021-03-26 | 2021-07-09 | 深信服科技股份有限公司 | 任务编排方法、系统、存储介质和电子设备 |
CN113535410A (zh) * | 2021-09-15 | 2021-10-22 | 航天宏图信息技术股份有限公司 | 用于gis空间矢量分布式计算的负载均衡方法及系统 |
CN114048857A (zh) * | 2021-10-22 | 2022-02-15 | 天工量信(苏州)科技发展有限公司 | 算力分配方法、装置及算力服务器 |
CN114221967A (zh) * | 2021-12-14 | 2022-03-22 | 建信金融科技有限责任公司 | 基于区块链网络的资源共享平台、资源共享方法 |
CN114448981A (zh) * | 2022-01-14 | 2022-05-06 | 北京第五力科技有限公司 | 一种基于家庭云的资源调度系统 |
CN114546632A (zh) * | 2020-11-26 | 2022-05-27 | 中国电信股份有限公司 | 算力分发方法、平台和系统、计算机可读存储介质 |
CN114567635A (zh) * | 2022-03-10 | 2022-05-31 | 深圳力维智联技术有限公司 | 边缘数据的处理方法、设备及计算机可读存储介质 |
CN114979278A (zh) * | 2022-05-24 | 2022-08-30 | 深圳点宽网络科技有限公司 | 基于区块链的算力调度方法、装置、系统及电子设备 |
CN115114034A (zh) * | 2022-08-29 | 2022-09-27 | 岚图汽车科技有限公司 | 分布式计算方法及装置 |
CN115640121A (zh) * | 2022-09-28 | 2023-01-24 | 量子科技长三角产业创新中心 | 混合算力操控方法、装置、设备和存储介质 |
CN115686870A (zh) * | 2022-12-29 | 2023-02-03 | 深圳开鸿数字产业发展有限公司 | 并行计算方法、终端及计算机可读存储介质 |
CN116167599A (zh) * | 2023-04-26 | 2023-05-26 | 河北省水利工程局集团有限公司 | 基于bim数据及现场数据的信息平台管理方法及系统 |
CN117687798A (zh) * | 2024-02-01 | 2024-03-12 | 浪潮通信信息系统有限公司 | 一种算力网络原生应用管控方法、系统及存储介质 |
WO2024120309A1 (zh) * | 2022-12-08 | 2024-06-13 | 华为技术有限公司 | 渲染方法、装置及系统 |
WO2024207843A1 (zh) * | 2023-12-11 | 2024-10-10 | 天翼云科技有限公司 | 一种基于区块链的外包可信计算方法、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734464A (zh) * | 2018-05-22 | 2018-11-02 | 上海璧碚符木数据科技有限公司 | 一种利用浏览器执行区块链计算任务的方法、装置和浏览器 |
CN108958935A (zh) * | 2018-06-28 | 2018-12-07 | 阿瑞思科技(成都)有限责任公司 | 基于移动端实现分布式计算的方法及其系统 |
CN109656685A (zh) * | 2018-12-14 | 2019-04-19 | 深圳市网心科技有限公司 | 容器资源调度方法和系统、服务器及计算机可读存储介质 |
CN109873868A (zh) * | 2019-03-01 | 2019-06-11 | 深圳市网心科技有限公司 | 一种计算能力共享方法、系统及相关设备 |
WO2020133967A1 (zh) * | 2018-12-26 | 2020-07-02 | 深圳市网心科技有限公司 | 共享计算资源的调度方法、共享计算系统、服务器及介质 |
-
2020
- 2020-07-16 CN CN202010687527.1A patent/CN111949394B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734464A (zh) * | 2018-05-22 | 2018-11-02 | 上海璧碚符木数据科技有限公司 | 一种利用浏览器执行区块链计算任务的方法、装置和浏览器 |
CN108958935A (zh) * | 2018-06-28 | 2018-12-07 | 阿瑞思科技(成都)有限责任公司 | 基于移动端实现分布式计算的方法及其系统 |
CN109656685A (zh) * | 2018-12-14 | 2019-04-19 | 深圳市网心科技有限公司 | 容器资源调度方法和系统、服务器及计算机可读存储介质 |
WO2020133967A1 (zh) * | 2018-12-26 | 2020-07-02 | 深圳市网心科技有限公司 | 共享计算资源的调度方法、共享计算系统、服务器及介质 |
CN109873868A (zh) * | 2019-03-01 | 2019-06-11 | 深圳市网心科技有限公司 | 一种计算能力共享方法、系统及相关设备 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114546632A (zh) * | 2020-11-26 | 2022-05-27 | 中国电信股份有限公司 | 算力分发方法、平台和系统、计算机可读存储介质 |
CN112600887A (zh) * | 2020-12-03 | 2021-04-02 | 中国联合网络通信集团有限公司 | 算力管理方法和装置 |
CN113098854A (zh) * | 2021-03-26 | 2021-07-09 | 深信服科技股份有限公司 | 任务编排方法、系统、存储介质和电子设备 |
CN113535410A (zh) * | 2021-09-15 | 2021-10-22 | 航天宏图信息技术股份有限公司 | 用于gis空间矢量分布式计算的负载均衡方法及系统 |
CN114048857A (zh) * | 2021-10-22 | 2022-02-15 | 天工量信(苏州)科技发展有限公司 | 算力分配方法、装置及算力服务器 |
CN114048857B (zh) * | 2021-10-22 | 2024-04-09 | 天工量信(苏州)科技发展有限公司 | 算力分配方法、装置及算力服务器 |
CN114221967B (zh) * | 2021-12-14 | 2023-06-02 | 建信金融科技有限责任公司 | 基于区块链网络的资源共享平台、资源共享方法 |
CN114221967A (zh) * | 2021-12-14 | 2022-03-22 | 建信金融科技有限责任公司 | 基于区块链网络的资源共享平台、资源共享方法 |
CN114448981A (zh) * | 2022-01-14 | 2022-05-06 | 北京第五力科技有限公司 | 一种基于家庭云的资源调度系统 |
CN114567635A (zh) * | 2022-03-10 | 2022-05-31 | 深圳力维智联技术有限公司 | 边缘数据的处理方法、设备及计算机可读存储介质 |
CN114979278A (zh) * | 2022-05-24 | 2022-08-30 | 深圳点宽网络科技有限公司 | 基于区块链的算力调度方法、装置、系统及电子设备 |
CN115114034A (zh) * | 2022-08-29 | 2022-09-27 | 岚图汽车科技有限公司 | 分布式计算方法及装置 |
CN115640121A (zh) * | 2022-09-28 | 2023-01-24 | 量子科技长三角产业创新中心 | 混合算力操控方法、装置、设备和存储介质 |
CN115640121B (zh) * | 2022-09-28 | 2024-08-23 | 量子科技长三角产业创新中心 | 混合算力操控方法、装置、设备和存储介质 |
WO2024120309A1 (zh) * | 2022-12-08 | 2024-06-13 | 华为技术有限公司 | 渲染方法、装置及系统 |
CN115686870A (zh) * | 2022-12-29 | 2023-02-03 | 深圳开鸿数字产业发展有限公司 | 并行计算方法、终端及计算机可读存储介质 |
CN116167599A (zh) * | 2023-04-26 | 2023-05-26 | 河北省水利工程局集团有限公司 | 基于bim数据及现场数据的信息平台管理方法及系统 |
CN116167599B (zh) * | 2023-04-26 | 2023-08-01 | 河北省水利工程局集团有限公司 | 基于bim数据及现场数据的信息平台管理方法及系统 |
WO2024207843A1 (zh) * | 2023-12-11 | 2024-10-10 | 天翼云科技有限公司 | 一种基于区块链的外包可信计算方法、系统及存储介质 |
CN117687798A (zh) * | 2024-02-01 | 2024-03-12 | 浪潮通信信息系统有限公司 | 一种算力网络原生应用管控方法、系统及存储介质 |
CN117687798B (zh) * | 2024-02-01 | 2024-05-10 | 浪潮通信信息系统有限公司 | 一种算力网络原生应用管控方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111949394B (zh) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111949394B (zh) | 一种共享算力资源的方法、系统及存储介质 | |
CN111949395B (zh) | 基于区块链的共享算力数据处理方法、系统及存储介质 | |
US10747780B2 (en) | Blockchain-based data processing method and device | |
CN108200203B (zh) | 基于双层网络的区块链系统 | |
US8381016B2 (en) | Fault tolerance for map/reduce computing | |
US9367359B2 (en) | Optimized resource management for map/reduce computing | |
CN111951363A (zh) | 一种基于云算链的渲染方法、系统及存储介质 | |
US20210373963A1 (en) | Configuring nodes for distributed compute tasks | |
CN112650590A (zh) | 任务的处理方法、装置及系统、分配方法和装置 | |
CN107450855B (zh) | 一种用于分布式存储的模型可变的数据分布方法及系统 | |
Forti et al. | Declarative continuous reasoning in the cloud-IoT continuum | |
US11880271B2 (en) | Automated methods and systems that facilitate root cause analysis of distributed-application operational problems and failures | |
Detti et al. | μBench: An open-source factory of benchmark microservice applications | |
Nazari Cheraghlou et al. | New fuzzy-based fault tolerance evaluation framework for cloud computing | |
Badri et al. | Risk-based optimization of resource provisioning in mobile edge computing | |
CN105827744A (zh) | 云存储平台的数据处理方法 | |
CN113486118A (zh) | 共识节点选取方法及装置 | |
CN104657216A (zh) | 一种资源池的资源分配方法及装置 | |
CN111951112A (zh) | 基于区块链的智能合约执行方法、终端设备和存储介质 | |
Tchernykh et al. | Toward digital twins' workload allocation on clouds with low-cost microservices streaming interaction | |
Borges et al. | Strip partitioning for ant colony parallel and distributed discrete-event simulation | |
CN113535410B (zh) | 用于gis空间矢量分布式计算的负载均衡方法及系统 | |
CN109040248B (zh) | 一种网络文件系统的底层库业务请求处理方法及相关装置 | |
CN117011053A (zh) | 交易决策处理方法、装置、存储介质及电子设备 | |
CN105094790A (zh) | 一种基于标准化结构体的应用程序的运行方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |