CN109933420A - 节点任务调度方法、电子设备及系统 - Google Patents
节点任务调度方法、电子设备及系统 Download PDFInfo
- Publication number
- CN109933420A CN109933420A CN201910261988.XA CN201910261988A CN109933420A CN 109933420 A CN109933420 A CN 109933420A CN 201910261988 A CN201910261988 A CN 201910261988A CN 109933420 A CN109933420 A CN 109933420A
- Authority
- CN
- China
- Prior art keywords
- node
- scoring
- enabled
- enabled node
- goal task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种节点任务调度方法、电子设备及系统,所述方法包括:当接收到调度请求时,解析所述调度请求,得到目标任务;确定所述目标任务的需求数据;从存储的所有节点中获取满足所述需求数据的可用节点;计算所述可用节点的评分;依据评分对所述可用节点进行排序;将所述目标任务分配至排在第一预设位的可用节点。本发明能够以节点评分作为调度依据,合理利用节点资源,并进一步对节点的收益最大化,从而实现对节点任务的智能调度。
Description
技术领域
本发明涉及智能调度技术领域,尤其涉及节点任务调度方法、电子设备及系统。
背景技术
现有技术方案中,越来越多的数据中心采用如Docker(应用容器引擎)、kubernetes,或将Docker、kubernetes二者结合等方案来将基础设施容器化,并实现运维自动化、快速部署应用、弹性伸缩等功能。kubernetes等容器编排系统也越来越成熟,能够支持上千级别的服务器的管理,以及不同的调度策略。
但是对于手机这类节点的任务调度方法,现有的调度系统就很难胜任了,具体存在如下问题:
(1)手机节点的网络不像传统的节点那么单一,链接不稳定,系统对节点的控制力较差。
(2)手机节点的硬件资源相对传统的节点更丰富多样,并且资源有限,容易在某些情况下超负荷,导致手机重启或任务挂了等问题产生。
(3)手机节点的服务能力(如节点可贡献的上下行带宽、CPU(Central ProcessingUnit,中央处理器)计算能力、IO(Input/Output,输入/输出)能力等)存在不确定性。
因此,有必要提供一种调度方法,能够对手机等智能终端进行调度,并能够有效的利用资源。
发明内容
本发明的主要目的在于提供节点任务调度方法、电子设备及系统,旨在解决手机等智能终端节点任务调度的问题。
为实现上述目的,本发明提供一种节点任务调度方法,所述方法包括:
当接收到调度请求时,解析所述调度请求,得到目标任务;
确定所述目标任务的需求数据;
从存储的所有节点中获取满足所述需求数据的可用节点;
计算所述可用节点的评分;
依据评分对所述可用节点进行排序;
将所述目标任务分配至排在第一预设位的可用节点。
优选地,所述需求数据包括以下一种或者多种的组合:
磁盘的负载、空闲带宽及CPU占用率。
优选地,所述计算所述可用节点的评分包括:
所述计算所述可用节点的评分包括:
获取所述可用节点中每个可用节点的一个或多个参数;
为每个可用节点的一个或多个参数配置系数;
根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和;
将所述加权和作为所述评分。
优选地,其中:
获取的所述可用节点中每个可用节点的一个或多个参数包括:磁盘的负载、空闲带宽及CPU占用率;
为每个可用节点的所述一个或多个参数配置系数,包括对磁盘的负载配置第一系数,对空闲带宽配置第二系数,以及对CPU占用率配置第三系数;
根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和,包括计算磁盘的负载、空闲带宽及CPU占用率的加权和。
优选地,所述方法还包括:
确定运行所述目标任务的每个节点的任务运行状态信息;
根据每个节点任务运行状态信息获取运行所述目标任务的节点的第二评分;
依据所述第二评分对运行所述目标任务的节点进行排序;
获取并标记排名靠后第二预设位的节点;
预设时间后,获取新增节点;
计算所述新增节点的第一评分,并根据所述新增节点的第一评分对新增节点进行排序;
获取排名靠前的与第二预设位数量相等的新增节点;
以所述排名靠前的与第二预设位数量相等的新增节点替换所述标记排名靠后第二预设位的节点。
优选地,所述任务运行状态信息包括所述任务占用所述可用节点的存储空间和运行所述目标任务的上传速度或下载速度。
优选地,在计算所述可用节点的评分前,所述方法还包括:
采用一致性哈希算法存储每个可用节点的磁盘的负载、空闲带宽及CPU占用率。
为实现上述目的,本发明进一步提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现所述节点任务调度方法。
优选地,所述电子设备为组成内容分发网络或者区块链网络的节点。
为实现上述目的,本发明进一步提供一种节点任务调度系统,所述系统包括:
解析单元,用于当接收到调度请求时,解析所述调度请求,得到目标任务;
确定单元,用于确定所述目标任务的需求数据;
获取单元,用于从存储的所有节点中获取满足所述需求数据的可用节点;
评分单元,用于计算所述可用节点的评分;
排序单元,用于依据评分对所述可用节点进行排序;
分配单元,用于将所述目标任务分配至排在第一预设位的可用节点。
优选地,所述需求数据包括以下一种或者多种的组合:
磁盘的负载、空闲带宽及CPU占用率。
优选地,所述评分单元计算所述可用节点的评分包括:
获取所述可用节点中每个可用节点的一个或多个参数;
为每个可用节点的一个或多个参数配置系数;
根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和;
将所述加权和作为所述评分。
优选地,其中:
所述评分单元获取的所述可用节点中每个可用节点的一个或多个参数包括:磁盘的负载、空闲带宽及CPU占用率;
所述评分单元为每个可用节点的所述一个或多个参数配置系数,包括对磁盘的负载配置第一系数,对空闲带宽配置第二系数,以及对CPU占用率配置第三系数;
所述评分单元根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和,包括计算磁盘的负载、空闲带宽及CPU占用率的加权和。
优选地,所述确定单元,还用于确定运行所述目标任务的每个节点的任务运行状态信息;
所述获取单元,还用于根据每个节点任务运行状态信息获取运行所述目标任务的节点的第二评分;
所述排序单元,还用于依据所述第二评分对运行所述目标任务的节点进行排序;
所述系统还包括:
标记单元,还用于获取并标记排名靠后第二预设位的节点;
所述获取单元,还用于预设时间后,获取新增节点;
所述排序单元,还用于计算所述新增节点的第一评分,并根据所述新增节点的第一评分对新增节点进行排序;
所述获取单元,还用于获取排名靠前的与第二预设位数量相等的新增节点;
替换单元,用于以所述排名靠前的与第二预设位数量相等的新增节点替换所述标记排名靠后第二预设位的节点。
优选地,所述任务运行状态信息包括所述任务占用所述可用节点的存储空间和运行所述目标任务的上传速度或下载速度。
优选地,在计算所述可用节点的评分前,所述系统还包括:
存储单元,用于采用一致性哈希算法存储每个可用节点的磁盘的负载、空闲带宽及CPU占用率。
为实现上述目的,本发明进一步提供一种计算机可读存储介质,所述计算机可读存储介质上存储有节点任务调度程序,所述节点任务调度程序可被一个或者多个处理器执行,以实现所述的节点任务调度方法。
为实现上述目的,本发明进一步提供一种计算机程序产品,包括计算机指令,当其在计算机上运行时,使得计算机可以执行所述节点任务调度方法。
综上所述,本发明能够当接收到调度请求时,解析所述调度请求,得到目标任务,并确定所述目标任务的需求数据,进一步从存储的所有节点中获取满足所述需求数据的可用节点,以过滤多余的节点,节约调度时间,再计算所述可用节点的评分,并依据评分对所述可用节点进行排序,将所述目标任务分配至排在第一预设位的可用节点,以节点评分作为调度依据,便于合理利用节点资源。
附图说明
图1为本发明一实施例的流程示意图;
图2为本发明一实施例揭露的电子设备的内部结构示意图;
图3为本发明节点任务调度系统的功能模块示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
主要元件符号说明
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提供一种节点任务调度方法。
参照图1,图1为本发明一实施例的流程示意图。根据不同的需求,该流程示意图中步骤的顺序可以改变,某些步骤可以省略。
所述节点任务调度方法应用于一个或者多个电子设备中,所述电子设备是一种能够依据事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,所述电子设备的硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
在一实施例中,该方法包括:
S10,当接收到调度请求时,解析所述调度请求,得到目标任务。
在本发明的至少一个实施例中,所述调度请求可以基于任意任务触发,本发明不限制。
具体地,所述调度请求可以包括,但不限于以下一种或者多种的组合:
所述目标任务、所述目标任务的需求数据等。
在本发明的至少一个实施例中,所述目标任务是指等待所述电子设备分配节点的任务。
例如:所述目标任务可以包括p2p(peer-to-peer,点对点)任务等。
在本发明的至少一个实施例中,所述电子设备可以依据参数的输入顺序依次解析所述调度请求,进而得到所述目标任务,本发明对解析的方式不做限制。
S11,确定所述目标任务的需求数据。
在本发明的至少一个实施例中,所述需求数据可以包括,但不限于以下一种或者多种的组合:
磁盘的负载、空闲带宽及CPU占用率。
通过上述数据,所述电子设备能够确定所述目标任务对节点的要求,从而根据所述需求数据更合理的为所述目标任务分配节点,以便更好的执行所述目标任务。
S12,从存储的所有节点中获取满足所述需求数据的可用节点。
在本发明的至少一个实施例中,所述电子设备预先存储了大量的节点,且每个节点的占用情况、资源分配等情况都是不同的,鉴于有些节点正在使用,并且已经无力执行新的任务,所述电子设备则需要对所有存储的节点进行筛选。
具体地,所述电子设备从存储的所有节点中获取满足所述需求数据的可用节点。
通过上述实施方式,所述电子设备能够有效排除存储的所有节点中不满足所述需求数据的节点,从而使节点任务调度过程更加高效,且调度方式更加合理。
S13,计算所述可用节点的评分。
在本发明的至少一个实施例中,所述电子设备计算所述可用节点的评分包括:
所述电子设备获取所述可用节点中每个可用节点的一个或多个参数,并为每个可用节点的一个或多个参数配置系数,所述电子设备根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和,并将所述加权和作为所述评分。
其中,所述一个或多个参数包括,但不限于以下一种或者多种的组合:
磁盘的负载、空闲带宽及CPU占用率。
具体地,所述电子设备获取所述可用节点中每个可用节点的磁盘的负载、空闲带宽及CPU占用率,并为每个可用节点的磁盘的负载配置第一系数,空闲带宽配置第二系数,及CPU占用率配置第三系数,进一步地,所述电子设备根据所述第一系数、所述第二系数、所述第三系数,计算每个可用节点的磁盘的负载、空闲带宽及CPU占用率的加权和,并以所述加权和作为所述评分。
可以理解的是,每个可用节点的磁盘的负载、空闲带宽及CPU占用率均影响着每个节点执行任务的情况,因此,所述电子设备以每个可用节点的磁盘的负载、空闲带宽及CPU占用率为依据,对每个可用节点进行评分,能够更加合理的进行节点分配。
具体地,磁盘的负载越低,分数就越高;空闲带宽越多,分数就越高;CPU占用率越低,分数就越高。
对应于上述特性,所述电子设备为每个可用节点的磁盘的负载、空闲带宽及CPU占用率,分别配置不用的系数。
具体地,所述第一系数、所述第二系数、所述第三系数可以进行自定义配置,本发明不限制。
例如:所述第一系数可以为100000,所述第二系数可以为10000、所述第三系数可以为100等。
进一步地,所述电子设备即可根据所述第一系数、所述第二系数、所述第三系数,计算每个可用节点的磁盘的负载、空闲带宽及CPU占用率的加权和,并以所述加权和作为所述评分。
例如:当节点A的磁盘的负载为a、空闲带宽为b、CPU占用率为c,且所述第一系数为100000,所述第二系数为10000、所述第三系数为100时,所述电子设备可以计算出所述节点A的评分为100000a+10000b+100c。
S14,依据评分对所述可用节点进行排序。
在本发明的至少一个实施例中,所述电子设备依据评分对所述可用节点进行排序包括以下任意一种情况:
(1)所述电子设备依据评分从高到低的顺序对所述可用节点进行排序。
(2)所述电子设备依据评分从低到高的顺序对所述可用节点进行排序。
通过上述实施方式,所述电子设备能够以评分的高低区分所述可用节点,便于后续进行节点分配。
S15,将所述目标任务分配至排在第一预设位的可用节点。
在本发明的至少一个实施例中,所述第一预设位可以包括,但不限于:首位、末位等。
针对于不同的排序方式,所述电子设备将所述目标任务分配至排在第一预设位的可用节点的方式也不同。
具体地,当所述电子设备依据评分从高到低的顺序对所述可用节点进行排序时,所述电子设备将所述目标任务分配至排在首位的可用节点。
或者当所述电子设备依据评分从低到高的顺序对所述可用节点进行排序时,所述电子设备将所述目标任务分配至排在末位的可用节点。
通过上述实施方式,所述电子设备能够为所述目标任务优先分配评分最高的可用节点。
在本发明的至少一个实施例中,所述方法还包括:
所述电子设备确定运行所述目标任务的每个节点的任务运行状态信息,根据每个节点任务运行状态信息获取运行所述目标任务的节点的第二评分,进一步依据所述第二评分对运行所述目标任务的节点进行排序,所述电子设备获取并标记排名靠后第二预设位的节点,预设时间后,获取新增节点,所述电子设备计算所述新增节点的第一评分,并根据所述新增节点的第一评分对新增节点进行排序,进一步获取排名靠前的与第二预设位数量相等的新增节点,以所述排名靠前的与第二预设位数量相等的新增节点替换所述标记排名靠后第二预设位的节点。
具体地,所述任务运行状态信息包括所述任务占用所述可用节点的存储空间和运行所述目标任务的上传速度或下载速度。可以理解的是,所述可用节点的存储空间占用越大,而上传速度或下载速度越小,则所述第二评分越低。
具体地,所述第二预设位的配置可以采取与所述第一预设位相同的方式,本发明在此不赘述。但是,不同于所述第一预设位的是,在所述第二预设位上,节点的评分最低。
进一步地,所述预设时间可以根据任务情况进行配置,如2天、1天等,本发明不限制。
通过上述实施方式,所述电子设备在确定评分最低的节点后,首先进行一段时间的缓冲,使评分最低的节点上的任务能够正常执行,此时,如果该节点的第二评分仍然低于新增节点的第一评分,则以所述新增节点替换所述标记的节点,从而使每个节点上的任务能够更好的执行,同时实现对各个节点的合理利用。
在本发明的至少一个实施例中,在计算所述可用节点的评分前,所述方法还包括:
所述电子设备采用一致性哈希算法存储每个可用节点的磁盘的负载、空闲带宽及CPU占用率。
通过上述实施方式,基于一致性哈希算法的特性,将各个节点的数据分片存储到多台机器上,避免一台机器出现问题时,导致整个调度系统瘫痪,以便尽可能的减少对调度系统的影响。
综上所述,本发明能够当接收到调度请求时,解析所述调度请求,得到目标任务,并确定所述目标任务的需求数据,进一步从存储的所有节点中获取满足所述需求数据的可用节点,以过滤多余的节点,节约调度时间,再计算所述可用节点的评分,并依据评分对所述可用节点进行排序,将所述目标任务分配至排在第一预设位的可用节点,以节点评分作为调度依据,便于合理利用节点资源,并进一步对节点的收益最大化,从而实现对节点任务的智能调度。
参见图2,在本实施例中,所述电子设备1是一种能够依据事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述电子设备1还可以是但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机(Personal Computer,PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能式穿戴式设备、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备终端设备、桌上型计算机、云端服务器等计算设备等。
所述电子设备1所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
所述电子设备1可以是组成内容分发网络或者区块链网络的节点。
所述电子设备1可以包括存储器12、处理器13和总线,还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序,例如节点任务调度程序。
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备等。
其中,存储器12至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如节点任务调度程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行存储器12中存储的程序代码或处理数据,例如执行节点任务调度程序等。
所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个节点任务调度方法实施例中的步骤,例如图1所示的步骤S10、S11、S12、S13、S14、S15。
或者,所述处理器13执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如:当接收到调度请求时,解析所述调度请求,得到目标任务;确定所述目标任务的需求数据;从存储的所有节点中获取满足所述需求数据的可用节点;计算所述可用节点的评分;依据评分对所述可用节点进行排序;将所述目标任务分配至排在第一预设位的可用节点。
该总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图2中仅用一根箭头表示,但并不表示仅有一根总线或一种类型的总线。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如,所述计算机程序可以被分割成解析单元110、确定单元111、获取单元112、评分单元113、排序单元114、分配单元115、标记单元116、替换单元117及存储单元118。
进一步地,电子设备还可以包括网络接口,网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。
其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
图2仅示出了具有组件12-13,以及节点任务调度程序的电子设备1,本领域技术人员可以理解的是,图2示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
结合图1,所述电子设备1中的所述存储器12存储多个指令以实现一种节点任务调度方法,所述处理器13可执行所述多个指令从而实现:当接收到调度请求时,解析所述调度请求,得到目标任务;确定所述目标任务的需求数据;从存储的所有节点中获取满足所述需求数据的可用节点;计算所述可用节点的评分;依据评分对所述可用节点进行排序;将所述目标任务分配至排在第一预设位的可用节点。
根据本发明优选实施例,所述需求数据包括以下一种或者多种的组合:
磁盘的负载、空闲带宽及CPU占用率。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
获取所述可用节点中每个可用节点的一个或多个参数;
为每个可用节点的一个或多个参数配置系数;
根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和;
将所述加权和作为所述评分。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
获取的所述可用节点中每个可用节点的一个或多个参数包括:磁盘的负载、空闲带宽及CPU占用率;
为每个可用节点的所述一个或多个参数配置系数,包括对磁盘的负载配置第一系数,对空闲带宽配置第二系数,以及对CPU占用率配置第三系数;
根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和,包括计算磁盘的负载、空闲带宽及CPU占用率的加权和。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
确定运行所述目标任务的每个节点的任务运行状态信息;
根据每个节点任务运行状态信息获取运行所述目标任务的节点的第二评分;
依据所述第二评分对运行所述目标任务的节点进行排序;
获取并标记排名靠后第二预设位的节点;
预设时间后,获取新增节点;
计算所述新增节点的第一评分,并根据所述新增节点的第一评分对新增节点进行排序;
获取排名靠前的与第二预设位数量相等的新增节点;
以所述排名靠前的与第二预设位数量相等的新增节点替换所述标记排名靠后第二预设位的节点。
根据本发明优选实施例,所述任务运行状态信息包括所述任务占用所述可用节点的存储空间和运行所述目标任务的上传速度或下载速度。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
采用一致性哈希算法存储每个可用节点的磁盘的负载、空闲带宽及CPU占用率。
参照图3,为本发明节点任务调度系统的功能模块示意图。所述节点任务调度系统11包括解析单元110、确定单元111、获取单元112、评分单元113、排序单元114、分配单元115、标记单元116、替换单元117及存储单元118。本发明所称的模块/单元是指一种能够被处理器13所执行,并且能够完成固定功能的一系列计算机程序段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
当接收到调度请求时,解析单元110解析所述调度请求,得到目标任务。
在本发明的至少一个实施例中,所述调度请求可以基于任意任务触发,本发明不限制。
具体地,所述调度请求可以包括,但不限于以下一种或者多种的组合:
所述目标任务、所述目标任务的需求数据等。
在本发明的至少一个实施例中,所述目标任务是指等待所述电子设备分配节点的任务。
例如:所述目标任务可以包括p2p(peer-to-peer,点对点)任务等。
在本发明的至少一个实施例中,所述解析单元110可以依据参数的输入顺序依次解析所述调度请求,进而得到所述目标任务,本发明对解析的方式不做限制。
确定单元111确定所述目标任务的需求数据。
在本发明的至少一个实施例中,所述需求数据可以包括,但不限于以下一种或者多种的组合:
磁盘的负载、空闲带宽及CPU占用率。
通过上述数据,所述确定单元111能够确定所述目标任务对节点的要求,从而根据所述需求数据更合理的为所述目标任务分配节点,以便更好的执行所述目标任务。
获取单元112从存储的所有节点中获取满足所述需求数据的可用节点。
在本发明的至少一个实施例中,所述获取单元112预先存储了大量的节点,且每个节点的占用情况、资源分配等情况都是不同的,鉴于有些节点正在使用,并且已经无力执行新的任务,所述获取单元112则需要对所有存储的节点进行筛选。
具体地,所述获取单元112从存储的所有节点中获取满足所述需求数据的可用节点。
通过上述实施方式,所述获取单元112能够有效排除存储的所有节点中不满足所述需求数据的节点,从而使节点任务调度过程更加高效,且调度方式更加合理。
评分单元113计算所述可用节点的评分。
在本发明的至少一个实施例中,所述评分单元113计算所述可用节点的评分包括:
所述评分单元113获取所述可用节点中每个可用节点的一个或多个参数,并为每个可用节点的一个或多个参数配置系数,所述评分单元113根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和,并将所述加权和作为所述评分。
其中,所述一个或多个参数包括,但不限于以下一种或者多种的组合:
磁盘的负载、空闲带宽及CPU占用率。
具体地,所述评分单元113获取所述可用节点中每个可用节点的磁盘的负载、空闲带宽及CPU占用率,并为每个可用节点的磁盘的负载配置第一系数,空闲带宽配置第二系数,及CPU占用率配置第三系数,进一步地,所述电子设备根据所述第一系数、所述第二系数、所述第三系数,计算每个可用节点的磁盘的负载、空闲带宽及CPU占用率的加权和,并以所述加权和作为所述评分。
可以理解的是,每个可用节点的磁盘的负载、空闲带宽及CPU占用率均影响着每个节点执行任务的情况,因此,所述评分单元113以每个可用节点的磁盘的负载、空闲带宽及CPU占用率为依据,对每个可用节点进行评分,能够更加合理的进行节点分配。
具体地,磁盘的负载越低,分数就越高;空闲带宽越多,分数就越高;CPU占用率越低,分数就越高。
对应于上述特性,所述评分单元113为每个可用节点的磁盘的负载、空闲带宽及CPU占用率,分别配置不用的系数。
具体地,所述第一系数、所述第二系数、所述第三系数可以进行自定义配置,本发明不限制。
例如:所述第一系数可以为100000,所述第二系数可以为10000、所述第三系数可以为100等。
进一步地,所述评分单元113即可根据所述第一系数、所述第二系数、所述第三系数,计算每个可用节点的磁盘的负载、空闲带宽及CPU占用率的加权和,并以所述加权和作为所述评分。
例如:当节点A的磁盘的负载为a、空闲带宽为b、CPU占用率为c,且所述第一系数为100000,所述第二系数为10000、所述第三系数为100时,所述评分单元113可以计算出所述节点A的评分为100000a+10000b+100c。
排序单元114依据评分对所述可用节点进行排序。
在本发明的至少一个实施例中,所述排序单元114依据评分对所述可用节点进行排序包括以下任意一种情况:
(1)所述排序单元114依据评分从高到低的顺序对所述可用节点进行排序。
(2)所述排序单元114依据评分从低到高的顺序对所述可用节点进行排序。
通过上述实施方式,所述排序单元114能够以评分的高低区分所述可用节点,便于后续进行节点分配。
分配单元115将所述目标任务分配至排在第一预设位的可用节点。
在本发明的至少一个实施例中,所述第一预设位可以包括,但不限于:首位、末位等。
针对于不同的排序方式,所述分配单元115将所述目标任务分配至排在第一预设位的可用节点的方式也不同。
具体地,当所述排序单元114依据评分从高到低的顺序对所述可用节点进行排序时,所述分配单元115将所述目标任务分配至排在首位的可用节点。
或者当所述排序单元114依据评分从低到高的顺序对所述可用节点进行排序时,所述分配单元115将所述目标任务分配至排在末位的可用节点。
通过上述实施方式,所述分配单元115能够为所述目标任务优先分配评分最高的可用节点。
在本发明的至少一个实施例中,所述方法还包括:
所述确定单元111确定运行所述目标任务的每个节点的任务运行状态信息,所述获取单元112根据每个节点任务运行状态信息获取运行所述目标任务的节点的第二评分,进一步所述排序单元114依据所述第二评分对运行所述目标任务的节点进行排序,所述标记单元116获取并标记排名靠后第二预设位的节点,预设时间后,所述获取单元112获取新增节点,所述排序单元114计算所述新增节点的第一评分,并根据所述新增节点的第一评分对新增节点进行排序,所述获取单元112进一步获取排名靠前的与第二预设位数量相等的新增节点,替换单元117以所述排名靠前的与第二预设位数量相等的新增节点替换所述标记排名靠后第二预设位的节点。
具体地,所述任务运行状态信息包括所述任务占用所述可用节点的存储空间和运行所述目标任务的上传速度或下载速度。可以理解的是,所述可用节点的存储空间占用越大,而上传速度或下载速度越小,则所述第二评分越低。
具体地,所述第二预设位的配置可以采取与所述第一预设位相同的方式,本发明在此不赘述。但是,不同于所述第一预设位的是,在所述第二预设位上,节点的评分最低。
进一步地,所述预设时间可以根据任务情况进行配置,如2天、1天等,本发明不限制。
通过上述实施方式,在确定评分最低的节点后,首先进行一段时间的缓冲,使评分最低的节点上的任务能够正常执行,此时,如果该节点的第二评分仍然低于新增节点的第一评分,则以所述新增节点替换所述标记的节点,从而使每个节点上的任务能够更好的执行,同时实现对各个节点的合理利用。
在本发明的至少一个实施例中,在计算所述可用节点的评分前,所述方法还包括:
存储单元118采用一致性哈希算法存储每个可用节点的磁盘的负载、空闲带宽及CPU占用率。
通过上述实施方式,基于一致性哈希算法的特性,将各个节点的数据分片存储到多台机器上,避免一台机器出现问题时,导致整个调度系统瘫痪,以便尽可能的减少对调度系统的影响。
综上所述,本发明能够当接收到调度请求时,解析所述调度请求,得到目标任务,并确定所述目标任务的需求数据,进一步从存储的所有节点中获取满足所述需求数据的可用节点,以过滤多余的节点,节约调度时间,再计算所述可用节点的评分,并依据评分对所述可用节点进行排序,将所述目标任务分配至排在第一预设位的可用节点,以节点评分作为调度依据,便于合理利用节点资源,并进一步对节点的收益最大化,从而实现对节点任务的智能调度。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生依据本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、移动硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态移动硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种节点任务调度方法,其特征在于,所述方法包括:
当接收到调度请求时,解析所述调度请求,得到目标任务;
确定所述目标任务的需求数据;
从存储的所有节点中获取满足所述需求数据的可用节点;
计算所述可用节点的评分;
依据评分对所述可用节点进行排序;
将所述目标任务分配至排在第一预设位的可用节点。
2.如权利要求1所述的节点任务调度方法,其特征在于,所述需求数据包括以下一种或者多种的组合:
磁盘的负载、空闲带宽及CPU占用率。
3.如权利要求2所述的节点任务调度方法,其特征在于,所述计算所述可用节点的评分包括:
获取所述可用节点中每个可用节点的一个或多个参数;
为每个可用节点的一个或多个参数配置系数;
根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和;
将所述加权和作为所述评分。
4.如权利要求3所述的节点任务调度方法,其特征在于,其中:
获取的所述可用节点中每个可用节点的一个或多个参数包括:磁盘的负载、空闲带宽及CPU占用率;
为每个可用节点的所述一个或多个参数配置系数,包括对磁盘的负载配置第一系数,对空闲带宽配置第二系数,以及对CPU占用率配置第三系数;
根据所获取的参数对应的系数,计算从每个可用节点获取的参数的加权和,包括计算磁盘的负载、空闲带宽及CPU占用率的加权和。
5.如权利要求1所述的节点任务调度方法,其特征在于,所述方法还包括:
确定运行所述目标任务的每个节点的任务运行状态信息;
根据每个节点任务运行状态信息获取运行所述目标任务的节点的第二评分;
依据所述第二评分对运行所述目标任务的节点进行排序;
获取并标记排名靠后第二预设位的节点;
预设时间后,获取新增节点;
计算所述新增节点的第一评分,并根据所述新增节点的第一评分对新增节点进行排序;
获取排名靠前的与第二预设位数量相等的新增节点;
以所述排名靠前的与第二预设位数量相等的新增节点替换所述标记排名靠后第二预设位的节点。
6.如权利要求5所述的节点任务调度方法,其特征在于,所述任务运行状态信息包括所述任务占用所述可用节点的存储空间和运行所述目标任务的上传速度或下载速度。
7.如权利要求4所述的节点任务调度方法,其特征在于,在计算所述可用节点的评分前,所述方法还包括:
采用一致性哈希算法存储每个可用节点的磁盘的负载、空闲带宽及CPU占用率。
8.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现如权利要求1至7中任意一项所述的节点任务调度方法。
9.根据权利要求8所述的电子设备,其特征在于,所述电子设备为组成内容分发网络或者区块链网络的节点。
10.一种节点任务调度系统,其特征在于,所述系统包括:
解析单元,用于当接收到调度请求时,解析所述调度请求,得到目标任务;
确定单元,用于确定所述目标任务的需求数据;
获取单元,用于从存储的所有节点中获取满足所述需求数据的可用节点;
评分单元,用于计算所述可用节点的评分;
排序单元,用于依据评分对所述可用节点进行排序;
分配单元,用于将所述目标任务分配至排在第一预设位的可用节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910261988.XA CN109933420A (zh) | 2019-04-02 | 2019-04-02 | 节点任务调度方法、电子设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910261988.XA CN109933420A (zh) | 2019-04-02 | 2019-04-02 | 节点任务调度方法、电子设备及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109933420A true CN109933420A (zh) | 2019-06-25 |
Family
ID=66989017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910261988.XA Pending CN109933420A (zh) | 2019-04-02 | 2019-04-02 | 节点任务调度方法、电子设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109933420A (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110389822A (zh) * | 2019-07-29 | 2019-10-29 | 北京金山云网络技术有限公司 | 执行任务的节点调度方法、装置和服务器 |
CN110502321A (zh) * | 2019-07-11 | 2019-11-26 | 新华三大数据技术有限公司 | 一种资源调度方法及系统 |
CN110673938A (zh) * | 2019-09-23 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 任务处理方法、系统、服务器及存储介质 |
CN110740170A (zh) * | 2019-09-25 | 2020-01-31 | 咪咕视讯科技有限公司 | 计算单元的确定方法、网络设备和计算机可读存储介质 |
CN110764911A (zh) * | 2019-10-23 | 2020-02-07 | 北京百度网讯科技有限公司 | 基于订单的资源调度方法、装置和控制系统 |
CN110806930A (zh) * | 2019-10-29 | 2020-02-18 | 浙江大华技术股份有限公司 | 微服务调度方法、装置、设备及存储装置 |
CN111090517A (zh) * | 2019-11-26 | 2020-05-01 | 中国建设银行股份有限公司 | 作业调度方法、装置、设备及存储介质 |
CN111258729A (zh) * | 2020-01-10 | 2020-06-09 | 深圳前海环融联易信息科技服务有限公司 | 基于Redis的任务分配方法、装置、计算机设备及存储介质 |
CN111381948A (zh) * | 2020-02-04 | 2020-07-07 | 北京贝思科技术有限公司 | 分布式计算任务处理方法、装备及电子设备 |
CN111552550A (zh) * | 2020-04-26 | 2020-08-18 | 星环信息科技(上海)有限公司 | 一种基于图形处理器gpu资源的任务调度方法、设备及介质 |
CN111813541A (zh) * | 2020-06-12 | 2020-10-23 | 北京字节跳动网络技术有限公司 | 一种任务调度方法、装置、介质和设备 |
CN112015529A (zh) * | 2020-08-05 | 2020-12-01 | 北京奇艺世纪科技有限公司 | 数据任务调度方法、系统、电子设备及存储介质 |
CN112968897A (zh) * | 2021-02-25 | 2021-06-15 | 浙江清华长三角研究院 | 一种在去中心化系统中运行的容器计算方法 |
CN112965795A (zh) * | 2021-02-23 | 2021-06-15 | 卓望数码技术(深圳)有限公司 | 集群调度方法、电子设备及存储介质 |
CN113472832A (zh) * | 2020-03-31 | 2021-10-01 | 北京金山云网络技术有限公司 | P2p网络中节点调度方法、调度装置、电子设备及存储介质 |
CN113485637A (zh) * | 2021-05-11 | 2021-10-08 | 广州炒米信息科技有限公司 | 数据存储方法、装置及计算机设备 |
CN113608854A (zh) * | 2021-08-09 | 2021-11-05 | 深圳华大九天科技有限公司 | 用于版图验证的任务调度方法、装置、服务器和存储介质 |
CN114390338A (zh) * | 2022-01-26 | 2022-04-22 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种p2p视频的快速获取方法、装置和电子设备 |
CN114500664A (zh) * | 2022-01-26 | 2022-05-13 | 北京八分量信息科技有限公司 | 异构网络中计算节点的分配方法、装置及相关产品 |
CN115113997A (zh) * | 2022-06-17 | 2022-09-27 | 云知声智能科技股份有限公司 | 一种任务调度方法、装置、电子设备及存储介质 |
CN116205378A (zh) * | 2023-04-28 | 2023-06-02 | 浙江中之杰智能系统有限公司 | 一种基于区块链的产品调度管理方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101741912A (zh) * | 2009-12-30 | 2010-06-16 | 中兴通讯股份有限公司 | 一种处理计算任务的方法、网络设备及分布式网络系统 |
CN102857577A (zh) * | 2012-09-24 | 2013-01-02 | 北京联创信安科技有限公司 | 一种集群存储自动负载均衡的系统及方法 |
US20160210049A1 (en) * | 2015-01-21 | 2016-07-21 | Red Hat, Inc. | Determining task scores reflective of memory access statistics in numa systems |
CN107566443A (zh) * | 2017-07-12 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种分布式资源调度方法 |
US20180103089A1 (en) * | 2016-10-11 | 2018-04-12 | Synology Inc. | Methods for determining processing nodes for executed tasks and apparatuses using the same |
CN107908465A (zh) * | 2017-10-19 | 2018-04-13 | 深圳索信达数据技术股份有限公司 | 大数据平台的任务调度方法 |
CN108769254A (zh) * | 2018-06-25 | 2018-11-06 | 星环信息科技(上海)有限公司 | 基于抢占式调度的资源共享使用方法、系统及设备 |
CN108833197A (zh) * | 2018-04-10 | 2018-11-16 | 中国科学院信息工程研究所 | 一种基于云的主动探测方法和探测平台 |
CN108829509A (zh) * | 2018-05-03 | 2018-11-16 | 山东汇贸电子口岸有限公司 | 基于国产cpu和操作系统的分布式容器集群框架资源管理方法 |
CN109167835A (zh) * | 2018-09-13 | 2019-01-08 | 重庆邮电大学 | 一种基于kubernetes的物理资源调度方法及系统 |
-
2019
- 2019-04-02 CN CN201910261988.XA patent/CN109933420A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101741912A (zh) * | 2009-12-30 | 2010-06-16 | 中兴通讯股份有限公司 | 一种处理计算任务的方法、网络设备及分布式网络系统 |
CN102857577A (zh) * | 2012-09-24 | 2013-01-02 | 北京联创信安科技有限公司 | 一种集群存储自动负载均衡的系统及方法 |
US20160210049A1 (en) * | 2015-01-21 | 2016-07-21 | Red Hat, Inc. | Determining task scores reflective of memory access statistics in numa systems |
US20180103089A1 (en) * | 2016-10-11 | 2018-04-12 | Synology Inc. | Methods for determining processing nodes for executed tasks and apparatuses using the same |
CN107566443A (zh) * | 2017-07-12 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种分布式资源调度方法 |
CN107908465A (zh) * | 2017-10-19 | 2018-04-13 | 深圳索信达数据技术股份有限公司 | 大数据平台的任务调度方法 |
CN108833197A (zh) * | 2018-04-10 | 2018-11-16 | 中国科学院信息工程研究所 | 一种基于云的主动探测方法和探测平台 |
CN108829509A (zh) * | 2018-05-03 | 2018-11-16 | 山东汇贸电子口岸有限公司 | 基于国产cpu和操作系统的分布式容器集群框架资源管理方法 |
CN108769254A (zh) * | 2018-06-25 | 2018-11-06 | 星环信息科技(上海)有限公司 | 基于抢占式调度的资源共享使用方法、系统及设备 |
CN109167835A (zh) * | 2018-09-13 | 2019-01-08 | 重庆邮电大学 | 一种基于kubernetes的物理资源调度方法及系统 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110502321A (zh) * | 2019-07-11 | 2019-11-26 | 新华三大数据技术有限公司 | 一种资源调度方法及系统 |
CN110389822A (zh) * | 2019-07-29 | 2019-10-29 | 北京金山云网络技术有限公司 | 执行任务的节点调度方法、装置和服务器 |
CN110673938B (zh) * | 2019-09-23 | 2021-05-28 | 腾讯科技(深圳)有限公司 | 任务处理方法、系统、服务器及存储介质 |
CN110673938A (zh) * | 2019-09-23 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 任务处理方法、系统、服务器及存储介质 |
CN110740170A (zh) * | 2019-09-25 | 2020-01-31 | 咪咕视讯科技有限公司 | 计算单元的确定方法、网络设备和计算机可读存储介质 |
CN110764911A (zh) * | 2019-10-23 | 2020-02-07 | 北京百度网讯科技有限公司 | 基于订单的资源调度方法、装置和控制系统 |
CN110806930A (zh) * | 2019-10-29 | 2020-02-18 | 浙江大华技术股份有限公司 | 微服务调度方法、装置、设备及存储装置 |
CN110806930B (zh) * | 2019-10-29 | 2022-08-09 | 浙江大华技术股份有限公司 | 微服务调度方法、装置、设备及存储装置 |
CN111090517A (zh) * | 2019-11-26 | 2020-05-01 | 中国建设银行股份有限公司 | 作业调度方法、装置、设备及存储介质 |
CN111258729B (zh) * | 2020-01-10 | 2024-03-01 | 深圳前海环融联易信息科技服务有限公司 | 基于Redis的任务分配方法、装置、计算机设备及存储介质 |
CN111258729A (zh) * | 2020-01-10 | 2020-06-09 | 深圳前海环融联易信息科技服务有限公司 | 基于Redis的任务分配方法、装置、计算机设备及存储介质 |
CN111381948A (zh) * | 2020-02-04 | 2020-07-07 | 北京贝思科技术有限公司 | 分布式计算任务处理方法、装备及电子设备 |
CN113472832A (zh) * | 2020-03-31 | 2021-10-01 | 北京金山云网络技术有限公司 | P2p网络中节点调度方法、调度装置、电子设备及存储介质 |
CN111552550A (zh) * | 2020-04-26 | 2020-08-18 | 星环信息科技(上海)有限公司 | 一种基于图形处理器gpu资源的任务调度方法、设备及介质 |
CN111813541B (zh) * | 2020-06-12 | 2024-04-09 | 北京火山引擎科技有限公司 | 一种任务调度方法、装置、介质和设备 |
CN111813541A (zh) * | 2020-06-12 | 2020-10-23 | 北京字节跳动网络技术有限公司 | 一种任务调度方法、装置、介质和设备 |
CN112015529B (zh) * | 2020-08-05 | 2023-09-01 | 北京奇艺世纪科技有限公司 | 数据任务调度方法、系统、电子设备及存储介质 |
CN112015529A (zh) * | 2020-08-05 | 2020-12-01 | 北京奇艺世纪科技有限公司 | 数据任务调度方法、系统、电子设备及存储介质 |
CN112965795A (zh) * | 2021-02-23 | 2021-06-15 | 卓望数码技术(深圳)有限公司 | 集群调度方法、电子设备及存储介质 |
CN112965795B (zh) * | 2021-02-23 | 2024-06-07 | 卓望数码技术(深圳)有限公司 | 集群调度方法、电子设备及存储介质 |
CN112968897A (zh) * | 2021-02-25 | 2021-06-15 | 浙江清华长三角研究院 | 一种在去中心化系统中运行的容器计算方法 |
CN113485637A (zh) * | 2021-05-11 | 2021-10-08 | 广州炒米信息科技有限公司 | 数据存储方法、装置及计算机设备 |
CN113608854A (zh) * | 2021-08-09 | 2021-11-05 | 深圳华大九天科技有限公司 | 用于版图验证的任务调度方法、装置、服务器和存储介质 |
CN114500664A (zh) * | 2022-01-26 | 2022-05-13 | 北京八分量信息科技有限公司 | 异构网络中计算节点的分配方法、装置及相关产品 |
CN114390338A (zh) * | 2022-01-26 | 2022-04-22 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种p2p视频的快速获取方法、装置和电子设备 |
CN115113997A (zh) * | 2022-06-17 | 2022-09-27 | 云知声智能科技股份有限公司 | 一种任务调度方法、装置、电子设备及存储介质 |
CN116205378A (zh) * | 2023-04-28 | 2023-06-02 | 浙江中之杰智能系统有限公司 | 一种基于区块链的产品调度管理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109933420A (zh) | 节点任务调度方法、电子设备及系统 | |
US10003500B2 (en) | Systems and methods for resource sharing between two resource allocation systems | |
Alicherry et al. | Network aware resource allocation in distributed clouds | |
CN105103506B (zh) | 用于为云计算网络中的非均匀带宽请求分配带宽的方法和系统 | |
CN109634915A (zh) | 文件部署方法、云服务器、系统及存储介质 | |
US9419859B2 (en) | Service allocation in a distributed computing platform | |
US10445209B2 (en) | Prescriptive analytics based activation timetable stack for cloud computing resource scheduling | |
US20130166749A1 (en) | Optimization Of Resource Utilization In A Collection Of Devices | |
CN103797462A (zh) | 一种创建虚拟机的方法和装置 | |
EP2681657A1 (en) | Capabilities based routing of virtual data center service request | |
CN111694646A (zh) | 资源调度方法、装置、电子设备及计算机可读存储介质 | |
US10027596B1 (en) | Hierarchical mapping of applications, services and resources for enhanced orchestration in converged infrastructure | |
CN104735095A (zh) | 一种云计算平台作业调度方法及装置 | |
CN108519917A (zh) | 一种资源池分配方法和装置 | |
CN109617959A (zh) | 一种数据加载方法、装置、系统以及存储介质 | |
CN109618174A (zh) | 一种直播数据传输方法、装置、系统以及存储介质 | |
CN110290399A (zh) | 一种数据分发方法、系统、装置及计算机可读存储介质 | |
CN109918203A (zh) | 接入服务器内存管理优化方法、接入服务器及通信系统 | |
CN113285886B (zh) | 一种带宽分配的方法、装置、电子设备及可读存储介质 | |
CN109600373A (zh) | 一种直播数据传输方法、装置、系统以及可读存储介质 | |
CN102789394B (zh) | 一种并行处理消息的方法、装置、节点及服务器集群 | |
CN109816481A (zh) | 账单处理方法、装置及计算机可读存储介质 | |
CN109960575A (zh) | 一种计算能力共享方法、系统及相关设备 | |
CN109688067A (zh) | 基于分享流量的收益分配方法、服务器及存储介质 | |
CN110221920A (zh) | 部署方法、装置、存储介质及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |