发明内容
为了克服上述问题或者至少部分地解决上述问题,本发明实施例提供一种用于分布式网络资源的调度系统及方法,可结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
本发明的实施例是这样实现的:
第一方面,本发明实施例提供一种用于分布式网络资源的调度方法,包括以下步骤:
获取并对待执行任务进行分类处理,生成多个任务集群;
根据多个任务集群构建资源调度框架,上述资源调度框架包括中心管理节点和多个子节点;
通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
为了解决现有技术中的问题,本发明根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
基于第一方面,在本发明的一些实施例中,上述对网络资源进行预分配的方法包括以下步骤:
根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
基于第一方面,在本发明的一些实施例中,上述根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务的方法包括以下步骤:
根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
根据资源预分配方案确定对应的子节点可调取的网络资源;
采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
基于第一方面,在本发明的一些实施例中,该用于分布式网络资源的调度方法还包括以下步骤:
通过资源调度框架中的中心管理节点确定并根据各个任务集群的执行优先级设定对应的各个子节点调取资源的优先级;
根据各个子节点调取资源的优先级对网络资源进行预分配。
基于第一方面,在本发明的一些实施例中,该用于分布式网络资源的调度方法还包括以下步骤:
通过资源调度框架中的各个子节点确定并根据各个任务集群中的各个任务的执行优先级对网络资源机进行调取以执行对应的任务。
第二方面,本发明实施例提供一种用于分布式网络资源的调度系统,包括:任务分类模块、框架构建模块、资源预分配模块、执行预估模块以及资源调度模块,其中:
任务分类模块,用于获取并对待执行任务进行分类处理,生成多个任务集群;
框架构建模块,用于根据多个任务集群构建资源调度框架,上述资源调度框架包括中心管理节点和多个子节点;
资源预分配模块,用于通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
执行预估模块,用于通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
资源调度模块,用于根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
为了解决现有技术中的问题,本系统通过任务分类模块、框架构建模块、资源预分配模块、执行预估模块以及资源调度模块等多个模块的配合,根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
基于第二方面,在本发明的一些实施例中,上述资源预分配模块包括节点关联单元,用于根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
基于第二方面,在本发明的一些实施例中,上述资源调度模块包括节点选定单元、资源确定单元以及调度执行单元,其中:
节点选定单元,用于根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
资源确定单元,用于根据资源预分配方案确定对应的子节点可调取的网络资源;
调度执行单元,用于采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
第三方面,本申请实施例提供一种电子设备,其包括存储器,用于存储一个或多个程序;处理器。当一个或多个程序被处理器执行时,实现如上述第一方面中任一项的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
本发明实施例至少具有如下优点或有益效果:
本发明实施例提供一种用于分布式网络资源的调度系统及方法,根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例的描述中,“多个”代表至少2个。
实施例:
如图1所示,第一方面,本发明实施例提供一种用于分布式网络资源的调度方法,包括以下步骤:
S1、获取并对待执行任务进行分类处理,生成多个任务集群;
S2、根据多个任务集群构建资源调度框架,上述资源调度框架包括中心管理节点和多个子节点;
S3、通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
进一步地,包括:根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
在本发明的一些实施例中,为了保证对网络资源分配的合理性以及方便后续可以快速地针对性的调取对应的网络资源,根据任务数量分析计算得到总的需要的资源,然后,为不同类别的任务集群对应的子节点预分配合理的网络资源,以便后续可以在对应的资源池中快速的调取资源,避免延时,生成一个合理的资源预分配方案,该资源预分配方案包括各个子节点对应的网络资源、资源类别和关联标识等。
S4、通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
S5、根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
进一步地,如图2所示,包括:
S51、根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
S52、根据资源预分配方案确定对应的子节点可调取的网络资源;
S53、采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
在本发明的一些实施例中,为了保证可以针对性的精准的调取资源以执行对应的任务,首先,根据各个任务集群的类别标识确定需要哪个子节点进行任务执行,然后确定该子节点可调取的网络资源,确定好之后,根据预估结果中各个任务的任务到达时间在可调取的网络资源中进行资源调取以快速的执行对应的任务。避免浪费资源,同时也降低了资源调取时间,降低了延时,保证任务可正常执行。
为了解决现有技术中的问题,本发明根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
如图3所示,基于第一方面,在本发明的一些实施例中,该用于分布式网络资源的调度方法还包括以下步骤:
A1、通过资源调度框架中的中心管理节点确定并根据各个任务集群的执行优先级设定对应的各个子节点调取资源的优先级;
A2、根据各个子节点调取资源的优先级对网络资源进行预分配。
为了进一步地提高任务执行的效率,根据不同任务集群的执行优先级将网络资源优先分配给对应的子节点,各个子节点根据调取资源的优先级进行资源调取。
基于第一方面,在本发明的一些实施例中,该用于分布式网络资源的调度方法还包括以下步骤:
通过资源调度框架中的各个子节点确定并根据各个任务集群中的各个任务的执行优先级对网络资源机进行调取以执行对应的任务。
在任务集群的执行优先级的基础上,为了更好的满足任务执行需求,还根据各个任务的执行优先级进行资源的优先调取,进而按照任务优先级进行任务执行,大大提高任务执行的效果和效率。
如图4所示,第二方面,本发明实施例提供一种用于分布式网络资源的调度系统,包括:任务分类模块100、框架构建模块200、资源预分配模块300、执行预估模块400以及资源调度模块500,其中:
任务分类模块100,用于获取并对待执行任务进行分类处理,生成多个任务集群;
框架构建模块200,用于根据多个任务集群构建资源调度框架,上述资源调度框架包括中心管理节点和多个子节点;
资源预分配模块300,用于通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
执行预估模块400,用于通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
资源调度模块500,用于根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
为了解决现有技术中的问题,本系统通过任务分类模块100、框架构建模块200、资源预分配模块300、执行预估模块400以及资源调度模块500等多个模块的配合,根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
基于第二方面,在本发明的一些实施例中,上述资源预分配模块300包括节点关联单元,用于根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
为了保证对网络资源分配的合理性以及方便后续可以快速地针对性的调取对应的网络资源,根据任务数量分析计算得到总的需要的资源,然后,通过节点关联单元为不同类别的任务集群对应的子节点预分配合理的网络资源,以便后续可以在对应的资源池中快速的调取资源,避免延时,生成一个合理的资源预分配方案,该资源预分配方案包括各个子节点对应的网络资源、资源类别和关联标识等。
基于第二方面,在本发明的一些实施例中,上述资源调度模块500包括节点选定单元、资源确定单元以及调度执行单元,其中:
节点选定单元,用于根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
资源确定单元,用于根据资源预分配方案确定对应的子节点可调取的网络资源;
调度执行单元,用于采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
为了保证可以针对性的精准的调取资源以执行对应的任务,通过节点选定单元、资源确定单元以及调度执行单元等各个单元的配合,根据各个任务集群的类别标识确定需要哪个子节点进行任务执行,然后确定该子节点可调取的网络资源,确定好之后,根据预估结果中各个任务的任务到达时间在可调取的网络资源中进行资源调取以快速的执行对应的任务。避免浪费资源,同时也降低了资源调取时间,降低了延时,保证任务可正常执行。
如图5所示,第三方面,本申请实施例提供一种电子设备,其包括存储器101,用于存储一个或多个程序;处理器102。当一个或多个程序被处理器102执行时,实现如上述第一方面中任一项的方法。
还包括通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中,存储器101可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请所提供的实施例中,应该理解到,所揭露的方法及系统和方法,也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。