CN115174695A - 一种用于分布式网络资源的调度系统及方法 - Google Patents

一种用于分布式网络资源的调度系统及方法 Download PDF

Info

Publication number
CN115174695A
CN115174695A CN202210843353.2A CN202210843353A CN115174695A CN 115174695 A CN115174695 A CN 115174695A CN 202210843353 A CN202210843353 A CN 202210843353A CN 115174695 A CN115174695 A CN 115174695A
Authority
CN
China
Prior art keywords
task
resource
network resources
scheduling
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210843353.2A
Other languages
English (en)
Other versions
CN115174695B (zh
Inventor
贺江涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Hengyuan Information Technology Co.,Ltd.
Original Assignee
Chinasoft Aviation Data Technology Zhuhai Hengqin Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinasoft Aviation Data Technology Zhuhai Hengqin Co ltd filed Critical Chinasoft Aviation Data Technology Zhuhai Hengqin Co ltd
Priority to CN202210843353.2A priority Critical patent/CN115174695B/zh
Publication of CN115174695A publication Critical patent/CN115174695A/zh
Application granted granted Critical
Publication of CN115174695B publication Critical patent/CN115174695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Multi Processors (AREA)

Abstract

本发明公开了一种用于分布式网络资源的调度系统及方法,涉及网络资源调度技术领域。该方法包括:获取并对待执行任务进行分类处理,生成多个任务集群;构建资源调度框架,上述资源调度框架包括中心管理节点和多个子节点;通过中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;通过中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;根据各个任务集群的类别标识、预估结果和资源预分配方案通过各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。本发明可结合实际情况对网络资源进行合理调度分配,进而保证分布式系统可高效稳定的运行。

Description

一种用于分布式网络资源的调度系统及方法
技术领域
本发明涉及网络资源调度技术领域,具体而言,涉及一种用于分布式网络资源的调度系统及方法。
背景技术
近年来,在互联网和电子商务领域,对网络资源的管理更加复杂,对服务的并发能力和响应速度要求也越来越高,传统的单机服务器模式早已无法承载巨大的访问负载,因此,近年来越来越趋向于采用基于对象存储的分布式系统对网络资源进行存储和管理调度。
目前,现有的分布式任务调度方式无法结合实际情况对网络资源进行合理调度,进而导致资源浪费和系统执行效率低下。
发明内容
为了克服上述问题或者至少部分地解决上述问题,本发明实施例提供一种用于分布式网络资源的调度系统及方法,可结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
本发明的实施例是这样实现的:
第一方面,本发明实施例提供一种用于分布式网络资源的调度方法,包括以下步骤:
获取并对待执行任务进行分类处理,生成多个任务集群;
根据多个任务集群构建资源调度框架,上述资源调度框架包括中心管理节点和多个子节点;
通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
为了解决现有技术中的问题,本发明根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
基于第一方面,在本发明的一些实施例中,上述对网络资源进行预分配的方法包括以下步骤:
根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
基于第一方面,在本发明的一些实施例中,上述根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务的方法包括以下步骤:
根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
根据资源预分配方案确定对应的子节点可调取的网络资源;
采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
基于第一方面,在本发明的一些实施例中,该用于分布式网络资源的调度方法还包括以下步骤:
通过资源调度框架中的中心管理节点确定并根据各个任务集群的执行优先级设定对应的各个子节点调取资源的优先级;
根据各个子节点调取资源的优先级对网络资源进行预分配。
基于第一方面,在本发明的一些实施例中,该用于分布式网络资源的调度方法还包括以下步骤:
通过资源调度框架中的各个子节点确定并根据各个任务集群中的各个任务的执行优先级对网络资源机进行调取以执行对应的任务。
第二方面,本发明实施例提供一种用于分布式网络资源的调度系统,包括:任务分类模块、框架构建模块、资源预分配模块、执行预估模块以及资源调度模块,其中:
任务分类模块,用于获取并对待执行任务进行分类处理,生成多个任务集群;
框架构建模块,用于根据多个任务集群构建资源调度框架,上述资源调度框架包括中心管理节点和多个子节点;
资源预分配模块,用于通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
执行预估模块,用于通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
资源调度模块,用于根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
为了解决现有技术中的问题,本系统通过任务分类模块、框架构建模块、资源预分配模块、执行预估模块以及资源调度模块等多个模块的配合,根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
基于第二方面,在本发明的一些实施例中,上述资源预分配模块包括节点关联单元,用于根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
基于第二方面,在本发明的一些实施例中,上述资源调度模块包括节点选定单元、资源确定单元以及调度执行单元,其中:
节点选定单元,用于根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
资源确定单元,用于根据资源预分配方案确定对应的子节点可调取的网络资源;
调度执行单元,用于采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
第三方面,本申请实施例提供一种电子设备,其包括存储器,用于存储一个或多个程序;处理器。当一个或多个程序被处理器执行时,实现如上述第一方面中任一项的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
本发明实施例至少具有如下优点或有益效果:
本发明实施例提供一种用于分布式网络资源的调度系统及方法,根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一种用于分布式网络资源的调度方法的流程图;
图2为本发明实施例一种用于分布式网络资源的调度方法中资源调度执行的流程图;
图3为本发明实施例一种用于分布式网络资源的调度方法中根据优先级对资源预分配的流程图;
图4为本发明实施例一种用于分布式网络资源的调度系统的原理框图;
图5为本发明实施例提供的一种电子设备的结构框图。
附图标记说明:100、任务分类模块;200、框架构建模块;300、资源预分配模块;400、执行预估模块;500、资源调度模块;101、存储器;102、处理器;103、通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本发明实施例的描述中,“多个”代表至少2个。
实施例:
如图1所示,第一方面,本发明实施例提供一种用于分布式网络资源的调度方法,包括以下步骤:
S1、获取并对待执行任务进行分类处理,生成多个任务集群;
S2、根据多个任务集群构建资源调度框架,上述资源调度框架包括中心管理节点和多个子节点;
S3、通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
进一步地,包括:根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
在本发明的一些实施例中,为了保证对网络资源分配的合理性以及方便后续可以快速地针对性的调取对应的网络资源,根据任务数量分析计算得到总的需要的资源,然后,为不同类别的任务集群对应的子节点预分配合理的网络资源,以便后续可以在对应的资源池中快速的调取资源,避免延时,生成一个合理的资源预分配方案,该资源预分配方案包括各个子节点对应的网络资源、资源类别和关联标识等。
S4、通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
S5、根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
进一步地,如图2所示,包括:
S51、根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
S52、根据资源预分配方案确定对应的子节点可调取的网络资源;
S53、采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
在本发明的一些实施例中,为了保证可以针对性的精准的调取资源以执行对应的任务,首先,根据各个任务集群的类别标识确定需要哪个子节点进行任务执行,然后确定该子节点可调取的网络资源,确定好之后,根据预估结果中各个任务的任务到达时间在可调取的网络资源中进行资源调取以快速的执行对应的任务。避免浪费资源,同时也降低了资源调取时间,降低了延时,保证任务可正常执行。
为了解决现有技术中的问题,本发明根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
如图3所示,基于第一方面,在本发明的一些实施例中,该用于分布式网络资源的调度方法还包括以下步骤:
A1、通过资源调度框架中的中心管理节点确定并根据各个任务集群的执行优先级设定对应的各个子节点调取资源的优先级;
A2、根据各个子节点调取资源的优先级对网络资源进行预分配。
为了进一步地提高任务执行的效率,根据不同任务集群的执行优先级将网络资源优先分配给对应的子节点,各个子节点根据调取资源的优先级进行资源调取。
基于第一方面,在本发明的一些实施例中,该用于分布式网络资源的调度方法还包括以下步骤:
通过资源调度框架中的各个子节点确定并根据各个任务集群中的各个任务的执行优先级对网络资源机进行调取以执行对应的任务。
在任务集群的执行优先级的基础上,为了更好的满足任务执行需求,还根据各个任务的执行优先级进行资源的优先调取,进而按照任务优先级进行任务执行,大大提高任务执行的效果和效率。
如图4所示,第二方面,本发明实施例提供一种用于分布式网络资源的调度系统,包括:任务分类模块100、框架构建模块200、资源预分配模块300、执行预估模块400以及资源调度模块500,其中:
任务分类模块100,用于获取并对待执行任务进行分类处理,生成多个任务集群;
框架构建模块200,用于根据多个任务集群构建资源调度框架,上述资源调度框架包括中心管理节点和多个子节点;
资源预分配模块300,用于通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
执行预估模块400,用于通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
资源调度模块500,用于根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
为了解决现有技术中的问题,本系统通过任务分类模块100、框架构建模块200、资源预分配模块300、执行预估模块400以及资源调度模块500等多个模块的配合,根据实时的待执行任务情况根据类别构建多个任务集群,以便后续根据不同类别的任务集群快速的分配合理的网络资源以执行对应的任务;然后结合多个任务集群构建一个针对性的资源调度框架,包括一个中心管理节点和多个对应到不同类别任务的子节点。框架构建完成后,基于中心管理节点计算中的任务数量以便分配合理的网络资源,进行各个子节点的资源预分配,然后结合各个任务到达时间通过各个子节点在对应的资源池中调取对应的资源以高效快速的执行对应的任务。针对性的合理的调取资源,避免资源浪费,结合实际情况对网络资源进行合理调度分配,进而保证分布式系统中各个任务可高效稳定的执行。
基于第二方面,在本发明的一些实施例中,上述资源预分配模块300包括节点关联单元,用于根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
为了保证对网络资源分配的合理性以及方便后续可以快速地针对性的调取对应的网络资源,根据任务数量分析计算得到总的需要的资源,然后,通过节点关联单元为不同类别的任务集群对应的子节点预分配合理的网络资源,以便后续可以在对应的资源池中快速的调取资源,避免延时,生成一个合理的资源预分配方案,该资源预分配方案包括各个子节点对应的网络资源、资源类别和关联标识等。
基于第二方面,在本发明的一些实施例中,上述资源调度模块500包括节点选定单元、资源确定单元以及调度执行单元,其中:
节点选定单元,用于根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
资源确定单元,用于根据资源预分配方案确定对应的子节点可调取的网络资源;
调度执行单元,用于采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
为了保证可以针对性的精准的调取资源以执行对应的任务,通过节点选定单元、资源确定单元以及调度执行单元等各个单元的配合,根据各个任务集群的类别标识确定需要哪个子节点进行任务执行,然后确定该子节点可调取的网络资源,确定好之后,根据预估结果中各个任务的任务到达时间在可调取的网络资源中进行资源调取以快速的执行对应的任务。避免浪费资源,同时也降低了资源调取时间,降低了延时,保证任务可正常执行。
如图5所示,第三方面,本申请实施例提供一种电子设备,其包括存储器101,用于存储一个或多个程序;处理器102。当一个或多个程序被处理器102执行时,实现如上述第一方面中任一项的方法。
还包括通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中,存储器101可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请所提供的实施例中,应该理解到,所揭露的方法及系统和方法,也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种用于分布式网络资源的调度方法,其特征在于,包括以下步骤:
获取并对待执行任务进行分类处理,生成多个任务集群;
根据多个任务集群构建资源调度框架,所述资源调度框架包括中心管理节点和多个子节点;
通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
2.根据权利要求1所述的一种用于分布式网络资源的调度方法,其特征在于,所述对网络资源进行预分配的方法包括以下步骤:
根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
3.根据权利要求1所述的一种用于分布式网络资源的调度方法,其特征在于,所述根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务的方法包括以下步骤:
根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
根据资源预分配方案确定对应的子节点可调取的网络资源;
采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
4.根据权利要求1所述的一种用于分布式网络资源的调度方法,其特征在于,还包括以下步骤:
通过资源调度框架中的中心管理节点确定并根据各个任务集群的执行优先级设定对应的各个子节点调取资源的优先级;
根据各个子节点调取资源的优先级对网络资源进行预分配。
5.根据权利要求4所述的一种用于分布式网络资源的调度方法,其特征在于,还包括以下步骤:
通过资源调度框架中的各个子节点确定并根据各个任务集群中的各个任务的执行优先级对网络资源机进行调取以执行对应的任务。
6.一种用于分布式网络资源的调度系统,其特征在于,包括:任务分类模块、框架构建模块、资源预分配模块、执行预估模块以及资源调度模块,其中:
任务分类模块,用于获取并对待执行任务进行分类处理,生成多个任务集群;
框架构建模块,用于根据多个任务集群构建资源调度框架,所述资源调度框架包括中心管理节点和多个子节点;
资源预分配模块,用于通过资源调度框架中的中心管理节点计算并根据所有任务集群中的任务数量调用对应的网络资源,并对网络资源进行预分配,生成资源预分配方案;
执行预估模块,用于通过资源调度框架中的中心管理节点对各个任务集群中的各个任务到达时间进行预估分析,生成预估结果;
资源调度模块,用于根据各个任务集群的类别标识、预估结果和资源预分配方案通过资源调度框架中的各个子节点按照对应的时间调取对应的网络资源以执行对应的任务。
7.根据权利要求6所述的一种用于分布式网络资源的调度系统,其特征在于,所述资源预分配模块包括节点关联单元,用于根据各个任务集群中的任务数量对网络资源进行预分配,将对应的网络资源与对应的各个子节点进行关联。
8.根据权利要求6所述的一种用于分布式网络资源的调度系统,其特征在于,所述资源调度模块包括节点选定单元、资源确定单元以及调度执行单元,其中:
节点选定单元,用于根据各个任务集群的类别标识选定资源调度框架中的对应的子节点;
资源确定单元,用于根据资源预分配方案确定对应的子节点可调取的网络资源;
调度执行单元,用于采用对应的子节点按照预估结果中对应的任务到达时间在可调取的网络资源中调取资源以执行对应的任务。
9.一种电子设备,其特征在于,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
CN202210843353.2A 2022-07-18 2022-07-18 一种用于分布式网络资源的调度系统及方法 Active CN115174695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210843353.2A CN115174695B (zh) 2022-07-18 2022-07-18 一种用于分布式网络资源的调度系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210843353.2A CN115174695B (zh) 2022-07-18 2022-07-18 一种用于分布式网络资源的调度系统及方法

Publications (2)

Publication Number Publication Date
CN115174695A true CN115174695A (zh) 2022-10-11
CN115174695B CN115174695B (zh) 2024-01-26

Family

ID=83494728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210843353.2A Active CN115174695B (zh) 2022-07-18 2022-07-18 一种用于分布式网络资源的调度系统及方法

Country Status (1)

Country Link
CN (1) CN115174695B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233025A (zh) * 2022-12-20 2023-06-06 中国电信股份有限公司 一种网络管理方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
WO2016144220A1 (en) * 2015-03-10 2016-09-15 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for estimating computational network resources required to perform a computational task
US20170017521A1 (en) * 2015-07-13 2017-01-19 Palo Alto Research Center Incorporated Dynamically adaptive, resource aware system and method for scheduling
US20170109207A1 (en) * 2014-06-27 2017-04-20 Huawei Technologies Co., Ltd. Data mining method and node
CN109005130A (zh) * 2018-07-04 2018-12-14 中国人民解放军国防科技大学 网络资源配置调度方法和装置
CN109614211A (zh) * 2018-11-28 2019-04-12 新华三技术有限公司合肥分公司 分布式任务预调度方法及装置
CN111045808A (zh) * 2019-12-17 2020-04-21 广东工业大学 一种分布式网络任务调度方法及装置
CN111966500A (zh) * 2020-09-07 2020-11-20 网易(杭州)网络有限公司 资源调度方法、装置、电子设备及存储介质
CN112783659A (zh) * 2021-02-01 2021-05-11 北京百度网讯科技有限公司 一种资源分配方法、装置、计算机设备及存储介质
US20210319306A1 (en) * 2020-04-10 2021-10-14 Microsoft Technology Licensing, Llc Prefetching and/or computing resource allocation based on predicting classification labels with temporal data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170109207A1 (en) * 2014-06-27 2017-04-20 Huawei Technologies Co., Ltd. Data mining method and node
CN104461740A (zh) * 2014-12-12 2015-03-25 国家电网公司 一种跨域集群计算资源聚合和分配的方法
WO2016144220A1 (en) * 2015-03-10 2016-09-15 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for estimating computational network resources required to perform a computational task
US20170017521A1 (en) * 2015-07-13 2017-01-19 Palo Alto Research Center Incorporated Dynamically adaptive, resource aware system and method for scheduling
CN109005130A (zh) * 2018-07-04 2018-12-14 中国人民解放军国防科技大学 网络资源配置调度方法和装置
CN109614211A (zh) * 2018-11-28 2019-04-12 新华三技术有限公司合肥分公司 分布式任务预调度方法及装置
CN111045808A (zh) * 2019-12-17 2020-04-21 广东工业大学 一种分布式网络任务调度方法及装置
US20210319306A1 (en) * 2020-04-10 2021-10-14 Microsoft Technology Licensing, Llc Prefetching and/or computing resource allocation based on predicting classification labels with temporal data
CN111966500A (zh) * 2020-09-07 2020-11-20 网易(杭州)网络有限公司 资源调度方法、装置、电子设备及存储介质
CN112783659A (zh) * 2021-02-01 2021-05-11 北京百度网讯科技有限公司 一种资源分配方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YU TANG等: "A scalable approach to distributed scheduling scheme on cluster architecture of real-time server", 《2ND INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING AND TECHNOLOGY (ICCET)》 *
刘吉;陈香兰;代栋;孙明明;周学海;: "一种MapReduce实时调度算法设计及实现", 计算机系统应用, no. 08 *
鲍杰: "并行消息中间件任务分配与调度技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233025A (zh) * 2022-12-20 2023-06-06 中国电信股份有限公司 一种网络管理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115174695B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US20190138367A1 (en) Managing Resource Allocation in a Stream Processing Framework
CN108170388B (zh) 打印任务调度方法、装置及系统
CN108171528B (zh) 一种归因方法及归因系统
CN106713396B (zh) 服务器调度方法和系统
CN111124476A (zh) 业务规则配置和创建方法及装置
CN111831629A (zh) 一种数据处理方法及装置
CN111177237B (zh) 一种数据处理系统、方法及装置
CN115174695B (zh) 一种用于分布式网络资源的调度系统及方法
CN114237908A (zh) 一种面向边缘计算的资源编排优化方法及系统
CN113298331A (zh) 一种工单处理方法、装置、系统及电子设备
CN109753596A (zh) 用于大规模网络数据采集的信源管理与配置方法和系统
CN113687958A (zh) 数据处理方法、系统、计算机设备和存储介质
US8392577B2 (en) Reduction of message flow between bus-connected consumers and producers
CN111899737A (zh) 音频数据处理方法、装置、服务器及存储介质
CN112712339A (zh) 业务流程的执行方法、装置、电子设备和计算机可读介质
CN108022028B (zh) 一种资源处理方法及装置
CN112597105B (zh) 文件关联对象的处理方法、服务端设备及存储介质
CN114138877A (zh) 基于微服务架构的主题数据服务实现方法、装置及设备
CN113946363A (zh) 业务数据的执行配置方法、装置、计算机设备及存储介质
CN111784246B (zh) 物流路径的估测方法
CN112540838B (zh) 系统资源调度方法及装置、计算机存储介质
JP2010072876A (ja) ルール作成プログラム、ルール作成方法及びルール作成装置
CN114816735A (zh) 一种基于Nacos分布式集群执行数据分析任务的系统及方法
CN112527852A (zh) 用户动支策略分配方法、装置及电子设备
CN113674023A (zh) 基于会员等级的权益升级方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240813

Address after: 510000 Room 403, No. 2 Cuiying Street, Nansha District, Guangzhou City, Guangdong Province (Office only)

Patentee after: Guangzhou Hengyuan Information Technology Co.,Ltd.

Country or region after: China

Address before: Office 804, Building 8, No. 2333, Hong Kong and Macao Avenue, Hengqin New District, Zhuhai City, Guangdong Province, 519000

Patentee before: Chinasoft Aviation Data Technology (Zhuhai Hengqin) Co.,Ltd.

Country or region before: China