CN107864211B - 集群资源调度方法及系统 - Google Patents

集群资源调度方法及系统 Download PDF

Info

Publication number
CN107864211B
CN107864211B CN201711146097.7A CN201711146097A CN107864211B CN 107864211 B CN107864211 B CN 107864211B CN 201711146097 A CN201711146097 A CN 201711146097A CN 107864211 B CN107864211 B CN 107864211B
Authority
CN
China
Prior art keywords
resource
section
cluster
tenant
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711146097.7A
Other languages
English (en)
Other versions
CN107864211A (zh
Inventor
肖微
陈斌
周一峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201711146097.7A priority Critical patent/CN107864211B/zh
Publication of CN107864211A publication Critical patent/CN107864211A/zh
Application granted granted Critical
Publication of CN107864211B publication Critical patent/CN107864211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Abstract

本发明提供一种集群资源调度方法及系统,通过集群资源调度系统接收租户管理员用户发送的基于预设资源策略的资源请求;集群资源调度系统根据资源请求为租户管理员所属租户分配资源段;再由租户管理员用户向集群资源调度系统发送二级分配指令,集群资源调度系统根据二级分配指令将资源段中的资源分配给租户下属的用户,以使用户在该资源上运行预定的任务。本发明通过一级分配将集群各节点的资源划分为资源段分配给租户,再通过二级分配将资源分配到用户,用户进而利用所分配的资源进行任务的运行,提高了资源的分配效率;此外一级分配时可以将不同节点上的资源整合在一个资源段中,资源分配更灵活,提高了资源的利用率。

Description

集群资源调度方法及系统
技术领域
本发明涉及计算机资源管理技术领域,尤其涉及一种集群资源调度方法及系统。
背景技术
在现代应用大数据的环境下,企业数据越来越多,服务用户规模越来越大,IT企业所使用的基础服务设备如计算存储节点(服务器)也呈几何级增长。管理这些数据中心中的大规模集群资源,需要一套有效安全高效的资源分配调度算法和高效安全行之有效的管理平台。集群资源分配调度方法基于不同目的大致可以归纳为以下几种:基于组合的公平资源调度、基于优先级权限的调度、以确定机制为基础的多级资源调度。另外还有基于博弈论、蚁群优化算法、最大门限等动态调度方法的研究,但尚未有用于工业的实现。
而当前的集群资源分配通常存在大规模多租户需求,而不同租户对资源需求无法准确预估,对于该场景下的集群资源分配,现有技术通常直接根据租户中各用户的请求将资源分配到用户,从而使用户在所分配的资源上运行任务,而随着租户数量的增加,实际应用资源的用户的数量也不断增加,现有的集群资源分配方法需要更大的投入,并且无法快速的完成跨租户的资源迁移调度,增加了资源调度的难度,资源调度效率较低,资源利用率也较低。
发明内容
本发明提供一种集群资源调度方法及系统,以实现集群资源的灵活调度,提高资源分配效率,提高资源的利用率。
本发明的一个方面是提供一种集群资源调度方法,包括:
所述集群资源调度系统接收租户管理员用户发送的基于预设资源策略的资源请求;
所述集群资源调度系统根据所述资源请求为所述租户管理员所属租户分配资源段,其中所述资源段包括至少一个资源节,所述资源节为集群中任意节点上的部分资源或全部资源的集合;
所述集群资源调度系统接收租户管理员用户发送二级分配指令,并根据所述二级分配指令将所述资源段中的资源分配给所述租户下属的用户,以使所述用户在该资源上运行预定的任务。
本发明的另一个方面是提供一种集群资源调度系统,包括:
接收模块,用于接收租户管理员用户发送的基于预设资源策略的资源请求;
资源分配模块,用于根据所述资源请求为所述租户管理员所属租户分配资源段,其中所述资源段包括至少一个资源节,所述资源节为集群中任意节点上的部分资源或全部资源的集合;
所述接收模块还用于,接收租户管理员用户发送二级分配指令;
所述资源分配模块还用于,根据所述二级分配指令将所述资源段中的资源分配给所述租户下属的用户;
任务管理模块,用于所述用户在该资源上运行预定的任务。
本发明提供的集群资源调度方法及系统,通过集群资源调度系统接收租户管理员用户发送的基于预设资源策略的资源请求;集群资源调度系统根据资源请求为租户管理员所属租户分配资源段;再由租户管理员用户向集群资源调度系统发送二级分配指令,集群资源调度系统根据二级分配指令将资源段中的资源分配给租户下属的用户,以使用户在该资源上运行预定的任务。本发明通过一级分配将集群各节点的资源划分为资源段分配给租户,再通过二级分配将资源分配到用户,用户进而利用所分配的资源进行任务的运行,提高了资源的分配效率;此外一级分配时可以将不同节点上的资源整合在一个资源段中,资源分配更灵活,提高了资源的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的集群资源调度方法流程图;
图2为本发明另一实施例提供的集群资源调度方法流程图;
图3为本发明实施例提供的集群资源调度系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的集群资源调度方法流程图。如图1所示,本实施例提供了一种集群资源调度方法,该方法具体步骤如下:
S101、所述集群资源调度系统接收租户管理员用户发送的基于预设资源策略的资源请求。
在本实施例中,资源指集群各个节点(服务器)上的硬件等设备,如计算资源CPU、内存资源MEM、持久存储资源DISK、网络资源NETWORK等。租户为是指共用一个集群平台,使用一个或多个资源段,但相互隔离不可见的集群内部对象,每一租户包括一个或多个使用集群资源的用户,其中用户具体可分为集群管理员用户、租户管理员用户和普通用户,其中集群管理员用户具有管理分配、调整、回收资源段到租户的权限,同样具有租户管理员和普通用户的权限;租户管理员用户具有指定普通用户使用某个或某些资源段的权限,同样具有普通用户的权限。普通用户具有使用资源运行一个到多个任务、以及暂停,删除等任务管理权限。
本实施例中当用户需要使用资源运行任务时,首先向租户管理员请求一定大小的某类型的资源,再由租户管理员向集群资源调度系统发送基于预设资源策略的资源请求,其中预设资源策略可以由租户管理员设定,预设资源策略则可以包括以最小限度请求资源、以最大限度请求资源、以预定优先级请求资源、以固定量请求资源,或者其他的资源策略,此处不做具体限定。本实施例中请求资源的用户可以为集群管理员用户、租户管理员用户或者普通用户。
S102、所述集群资源调度系统根据所述资源请求为所述租户管理员所属租户分配资源段,其中所述资源段包括至少一个资源节,所述资源节为集群中任意节点上的部分资源或全部资源的集合。
在本实施例中,资源节为集群中一个节点的各种类型数量固定但不超过节点自身资源大小资源集合,一个节点上可以创建多个资源节,资源节具有资源段ID、资源类型、节点ID等只读标签。资源段为一个或多节点上资源节的集合,具有优先级、上下限、初始值、约束、资源段ID的只读标签,资源节ID集合的动态(可读写)标签。一个节点上的资源节只能属于一个资源段。在本实施例中,集群资源调度系统接收到资源请求后,具体可根据预设资源策略以及集群当前可分配的资源大小为租户管理员所属租户分配资源段。
S103、所述集群资源调度系统接收租户管理员用户发送二级分配指令,并根据所述二级分配指令将所述资源段中的资源分配给所述租户下属的用户,以使所述用户在该资源上运行预定的任务。
在本实施例中,集群资源调度系统将资源段分配给租户后,再由租户管理员用户进行二级分配,将资源段中的资源分配给用户。更具体的,租户管理员用户登录集群资源调度系统,由租户管理员用户向集群资源调度系统发送二级分配指令,以使集群资源调度系统根据所述二级分配指令对资源段进行二级分配。其中,二级分配可以采用公平性组合资源调度算法,按照用户请求的资源大小将资源段中对应大小的资源分配给该用户,当然可以采用其他的分配方法。本实施例将运行期分配转移至租户预分配阶段,从而有效提高任务运行期的分配速度。
本实施例提供的集群资源调度方法,通过集群资源调度系统接收租户管理员用户发送的基于预设资源策略的资源请求;集群资源调度系统根据资源请求为租户管理员所属租户分配资源段;再由租户管理员用户向集群资源调度系统发送二级分配指令,集群资源调度系统根据二级分配指令将资源段中的资源分配给租户下属的用户,以使用户在该资源上运行预定的任务。本实施例的方法通过一级分配将集群各节点的资源划分为资源段分配给租户,再通过二级分配将资源分配到用户,用户进而利用所分配的资源进行任务的运行,提高了资源的分配效率;此外一级分配时可以将不同节点上的资源整合在一个资源段中,资源分配更灵活,提高了资源的利用率。
在上述实施例的基础上,S101中所述的预设资源策略具体可以包括以最小限度请求资源、以最大限度请求资源、以预定优先级请求资源和以固定量请求资源中的一种。
需要说明的是,租户管理员用户所请求的资源量通常是在实际用户任务运行所需求的资源量的基础上额外请求一定量的资源,以备用户任务运行过程中需要更多的资源。本实施例中以最小限度请求资源的资源策略是为了保证租户中各用户任务运行的最小资源限度,在集群当前可分配的资源不够充足的情况下租户管理员用户可以以该种资源策略请求资源,以使用户尽快分得资源运行任务。以最大限度请求资源的资源策略是租户可以使用最大资源限度,在集群中存在充足的空闲资源时,各租户可尽量占用资源,提高资源的利用率。以预定优先级请求资源的资源策略中,同优先级或高优先级任务可以占用超出最小资源限度但未使用的资源。以固定量请求资源的资源策略则是租户确定了资源请求量,确定用户任务运行过程中不需要额外的资源。通过租户管理员用户设定预设资源策略,可是使资源分配更为合理,提高资源利用率和资源分配效率。
进一步的,上述实施中S102所述的集群资源调度系统根据所述资源请求为所述租户管理员所属租户分配资源段,如图2所示,具体可包括:
S201、所述集群资源调度系统根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定每一租户的资源分配量。
在本实施例中,集群资源调度系统需要根据所有租户的资源请求以及集群当前可分配的资源大小确定每一租户的资源分配量,需要权衡各租户的预设资源策略、资源请求量以及当前可分配的资源大小,在满足所有租户的最小资源请求量使所有的用户任务均能运行起来的同时,按优先级等因素进一步确定可额外分配给每一租户的资源量。
也即,所述资源请求包括最小资源请求量和最大资源请求量;所述资源分配量不小于所述最小资源请求量,且不大于所述最大资源请求量。
S202、所述集群资源调度系统以每一所述节点当前可分配的资源创建资源节。
在本实施例中,资源节可由集群管理员用户创建,也可由集群资源调度系统自动分配,将每一节点当前可分配的资源自动创建为一个或多个资源节。
S203、所述集群资源调度系统根据所述每一租户的资源分配量将至少一个所述资源节划分到所述资源段,并将所述资源段分配给对应的所述租户。
在本实施例中,集群资源调度系统将一个或多个资源节创建成资源段,其中资源段中各资源节的资源综合与租户的资源分配量相对应。完成资源段的创建后,集群资源调度系统将资源段分配给租户。需要说明的是,一个资源节仅能划分到一个资源段中,避免资源分配发生冲突;一个租户并不仅限于分配一个资源段,也可以分配到多个资源段。
进一步的,S201中所述的集群资源调度系统根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定每一租户的资源分配量,具体可包括:
在当前可分配的资源大小不足的情况下,所述集群资源调度系统根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定一个或多个租户的实际分配的资源段的资源量大于或等于所述最小资源请求量而不足所述资源分配量;
所述集群资源调度系统监控资源的使用状况,若存在可分配的资源节时,将该资源节的部分或全部补充该资源段中不足所述资源分配量的部分。
在本实施例中,在当前可分配的资源大小无法满足所有租户的资源分配量时,允许资源段上限超配,也即资源段中实际包含的资源量少于其资源分配量,但该资源段的资源量需要满足最小资源请求量以保证用户任务的运行。若集群中后续存在空闲的可分配的资源节时,再补充该资源段中不足资源分配量的部分。本实施例通过资源段上限超配,保证了在资源不足时,仍能快速的完成资源分配,使用户任务及时运行,而不需要等待资源充足后再进行分配,提高了资源分配效率和资源利用率。
更进一步的,S203中所述的集群资源调度系统根据所述每一租户的资源分配量将至少一个所述资源节划分到所述资源段,具体可包括:
当所述资源节无法满足所述资源段的划分,所述集群资源调度系统检测已分配的资源段中是否存在可自动分配的、且尚无任务运行的资源节;
若存在可自动分配的、且尚无任务运行的资源节,所述集群资源调度系统将该资源节回收以继续进行所述资源段的划分;
若不存在可自动分配的、且尚无任务运行的资源节,所述集群资源调度系统查找可迁移任务,将所述可迁移任务迁移至其他的资源节运行,以产生可自动分配的、且尚无任务运行的资源节。
在本实施例中,在集群当前可分配的资源大小不足的情况下,可在已分配的资源段中是否存在可自动分配的、且尚无任务运行的资源节,其中已分配的资源段指已经分配给租户的资源段,而可自动分配的、且尚无任务运行的资源节可以为租户在实际用户任务运行所需求的资源量的基础上额外请求一定量的资源节,该种资源节在分配给该租户时可标记为可自动分配的标签,以便于在集群当前可分配的资源大小不足的情况时借用该资源节。集群资源调度系统在各个已分配的资源段中查找到已分配的资源段中存在可自动分配的、且尚无任务运行的资源节时,将该资源节回收以继续进行所述资源段的划分。进一步的,当集群中后续存在空闲的可分配的资源节时,可以再补充到借用该资源节的资源段中。而若检测已分配的资源段中不存在可自动分配的、且尚无任务运行的资源节,则查找是否存在可迁移任务,可迁移任务是指在任务运行过程中对任务进行迁移并不影响或较少的影响任务的进程,集群资源调度系统在查找到可迁移任务后,通过迁移任务从而空出可自动分配的、且尚无任务运行的资源节,进而完成上述的可自动分配的、且尚无任务运行的资源节的借用。本实施例通过资源节的动态调整、借用,从而实现集群资源的快速分配,提高资源的利用率。
进一步的,上述实施例中S103所述的集群资源调度系统根据所述二级分配指令将所述资源段中的资源分配给所述租户下属的用户后,还可包括:
所述集群资源调度系统监控所述任务的运行状态;
若所述任务运行完毕,所述集群资源调度系统回收所述任务占用的资源。
在本实施例中,通过监控任务的运行状态,及时回收完成任务的资源,以提高资源的利用率。
上述实施例S101所述的集群资源调度系统接收租户管理员用户发送的基于预设资源策略的资源请求前,还可包括:
所述集群资源调度系统收集各所述节点的节点信息,所述节点信息包括资源类型和资源大小。
在本实施例中,例如节点信息可以为192.168.1.3(id:b525ddf6-7c5d-11e7-bfe7-54ee756197bb)<cpu 24,memory 104857600,disk 524288000>(其中cpu单位为核心数,memory单位为KB,disk为MB),此外,集群资源调度系统所在节点可以标记有身份标签labels<type=“admin”>,其他普通节点可以标记有身份标签labels<type=“node”>,通过获取节点信息以便于集群资源调度系统对节点资源的调度。需要说明的是,节点信息在节点资源类型和资源大小发生变化时,需要进行变更;而节点的身份标签在运行期不可变更。
图3为本发明实施例提供的集群资源调度系统的结构图。本实施例提供一种集群资源调度系统,可以执行上述集群资源调度方法实施例提供的处理流程,如图3所示,集群资源调度系统包括接收模块301、资源分配模块302以及任务管理模块303。
接收模块301,用于接收租户管理员用户发送的基于预设资源策略的资源请求;
资源分配模块302,用于根据所述资源请求为所述租户管理员所属租户分配资源段,其中所述资源段包括至少一个资源节,所述资源节为集群中任意节点上的部分资源或全部资源的集合;
所述接收模块301还用于,接收租户管理员用户发送二级分配指令;
所述资源分配模块302还用于,根据所述二级分配指令将所述资源段中的资源分配给所述租户下属的用户;
任务管理模块303,用于所述用户在该资源上运行预定的任务。
进一步的,所述预设资源策略包括以最小限度请求资源、以最大限度请求资源、以预定优先级请求资源和以固定量请求资源中的一种;
所述资源分配模块302具体可用于:
根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定每一租户的资源分配量;
以每一所述节点当前可分配的资源创建资源节;
根据所述每一租户的资源分配量将至少一个所述资源节划分到所述资源段,并将所述资源段分配给对应的所述租户。
进一步的,所述资源请求包括最小资源请求量和最大资源请求量;所述资源分配量不小于所述最小资源请求量,且不大于所述最大资源请求量;
所述资源分配模块302具体可用于:
在当前可分配的资源大小不足的情况下,所述集群资源调度系统根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定一个或多个租户的实际分配的资源段的资源量大于或等于所述最小资源请求量而不足所述资源分配量;
所述系统还包括:监控模块304,用于监控资源的使用状况,若存在可分配的资源节时,将该资源节的部分或全部补充该资源段中不足所述资源分配量的部分。
进一步的,所述资源分配模块302具体可用于:
当所述资源节无法满足所述资源段的划分,检测已分配的资源段中是否存在可自动分配的、且尚无任务运行的资源节;
若存在可自动分配的、且尚无任务运行的资源节,将该资源节回收以继续进行所述资源段的划分;
若不存在可自动分配的、且尚无任务运行的资源节,查找可迁移任务,将所述可迁移任务迁移至其他的资源节运行,以产生可自动分配的、且尚无任务运行的资源节。
进一步的,所述二级分配指令为按照所述用户请求的资源大小将所述资源段中对应大小的资源分配给所述用户。
进一步的,所述监控模块304还用于监控所述任务的运行状态;
所述资源分配模块302还用于若所述任务运行完毕,回收所述任务占用的资源。
进一步的,所述系统还包括:资源收集模块305,用于收集各所述节点的节点信息,所述节点信息包括资源类型和资源大小。
本发明实施例提供的集群资源调度系统可以具体用于执行上述图1和图2所提供的方法实施例,具体功能此处不再赘述。
本实施例提供的集群资源调度系统,通过集群资源调度系统接收租户管理员用户发送的基于预设资源策略的资源请求;集群资源调度系统根据资源请求为租户管理员所属租户分配资源段;再由租户管理员用户向集群资源调度系统发送二级分配指令,集群资源调度系统根据二级分配指令将资源段中的资源分配给租户下属的用户,以使用户在该资源上运行预定的任务。本实施例通过一级分配将集群各节点的资源划分为资源段分配给租户,再通过二级分配将资源分配到用户,用户进而利用所分配的资源进行任务的运行,提高了资源的分配效率;此外一级分配时可以将不同节点上的资源整合在一个资源段中,资源分配更灵活,提高了资源的利用率。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种集群资源调度方法,其特征在于,所述方法包括:
所述集群资源调度系统接收租户管理员用户发送的基于预设资源策略的资源请求;
所述集群资源调度系统根据所述资源请求为所述租户管理员所属租户分配资源段,其中所述资源段包括至少一个资源节,所述资源节为集群中任意节点上的部分资源或全部资源的集合;
所述集群资源调度系统接收租户管理员用户发送二级分配指令,并根据所述二级分配指令将所述资源段中的资源分配给所述租户下属的用户,以使所述用户在该资源上运行预定的任务;
所述集群资源调度系统根据所述资源请求为所述租户管理员所属租户分配资源段,具体包括:
所述集群资源调度系统根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定每一租户的资源分配量;
所述集群资源调度系统以每一所述节点当前可分配的资源创建资源节;
所述集群资源调度系统根据所述每一租户的资源分配量将至少一个所述资源节划分到所述资源段,并将所述资源段分配给对应的所述租户;
所述集群资源调度系统根据所述每一租户的资源分配量将至少一个所述资源节划分到所述资源段,具体包括:
当所述资源节无法满足所述资源段的划分,所述集群资源调度系统检测已分配的资源段中是否存在可自动分配的、且尚无任务运行的资源节;
若存在可自动分配的、且尚无任务运行的资源节,所述集群资源调度系统将该资源节回收以继续进行所述资源段的划分;
若不存在可自动分配的、且尚无任务运行的资源节,所述集群资源调度系统查找可迁移任务,将所述可迁移任务迁移至其他的资源节运行,以产生可自动分配的、且尚无任务运行的资源节。
2.根据权利要求1所述的方法,其特征在于,所述预设资源策略包括以最小限度请求资源、以最大限度请求资源、以预定优先级请求资源和以固定量请求资源中的一种。
3.根据权利要求2所述的方法,其特征在于,所述资源请求包括最小资源请求量和最大资源请求量;所述资源分配量的目标量不小于所述最小资源请求量,且不大于所述最大资源请求量;
所述集群资源调度系统根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定每一租户的资源分配量,具体包括:
在当前可分配的资源大小不足的情况下,所述集群资源调度系统根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定一个或多个租户的实际分配的资源段的资源量,所述实际分配的资源段的资源量大于或等于所述最小资源请求量而不足所述资源分配量的目标量;
所述集群资源调度系统监控资源的使用状况,若存在可分配的资源节时,将该资源节的部分或全部补充该资源段中不足所述资源分配量的目标量的部分。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述二级分配指令为按照所述用户请求的资源大小将所述资源段中对应大小的资源分配给所述用户。
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述集群资源调度系统根据所述二级分配指令将所述资源段中的资源分配给所述租户下属的用户后,还包括:
所述集群资源调度系统监控所述任务的运行状态;
若所述任务运行完毕,所述集群资源调度系统回收所述任务占用的资源。
6.根据权利要求1-3中任一项所述的方法,其特征在于,所述集群资源调度系统接收租户管理员用户发送的基于预设资源策略的资源请求前,还包括:
所述集群资源调度系统收集各所述节点的节点信息,所述节点信息包括资源类型和资源大小。
7.一种集群资源调度系统,其特征在于,包括:
接收模块,用于接收租户管理员用户发送的基于预设资源策略的资源请求;
资源分配模块,用于根据所述资源请求为所述租户管理员所属租户分配资源段,其中所述资源段包括至少一个资源节,所述资源节为集群中任意节点上的部分资源或全部资源的集合;
所述接收模块还用于,接收租户管理员用户发送二级分配指令;
所述资源分配模块还用于,根据所述二级分配指令将所述资源段中的资源分配给所述租户下属的用户;
任务管理模块,用于所述用户在该资源上运行预定的任务;
所述资源分配模块具体用于:
根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定每一租户的资源分配量;
以每一所述节点当前可分配的资源创建资源节;
根据所述每一租户的资源分配量将至少一个所述资源节划分到所述资源段,并将所述资源段分配给对应的所述租户;
所述资源分配模块具体用于:
当所述资源节无法满足所述资源段的划分,检测已分配的资源段中是否存在可自动分配的、且尚无任务运行的资源节;
若存在可自动分配的、且尚无任务运行的资源节,将该资源节回收以继续进行所述资源段的划分;
若不存在可自动分配的、且尚无任务运行的资源节,查找可迁移任务,将所述可迁移任务迁移至其他的资源节运行,以产生可自动分配的、且尚无任务运行的资源节。
8.根据权利要求7所述的系统,其特征在于,所述预设资源策略包括以最小限度请求资源、以最大限度请求资源、以预定优先级请求资源和以固定量请求资源中的一种。
9.根据权利要求8所述的系统,其特征在于,所述资源请求包括最小资源请求量和最大资源请求量;所述资源分配量的目标量不小于所述最小资源请求量,且不大于所述最大资源请求量;
所述资源分配模块具体用于:
在当前可分配的资源大小不足的情况下,所述集群资源调度系统根据所有租户的基于预设资源策略的资源请求以及所述集群当前可分配的资源大小确定一个或多个租户的实际分配的资源段的资源量,所述实际分配的资源段的资源量大于或等于所述最小资源请求量而不足所述资源分配量的目标量;
所述系统还包括:
监控模块,用于监控资源的使用状况,若存在可分配的资源节时,将该资源节的部分或全部补充该资源段中不足所述资源分配量的目标量的部分。
10.根据权利要求7-9中任一项所述的系统,其特征在于,所述二级分配指令为按照所述用户请求的资源大小将所述资源段中对应大小的资源分配给所述用户。
11.根据权利要求9所述的系统,其特征在于,
所述监控模块还用于监控所述任务的运行状态;
所述资源分配模块还用于若所述任务运行完毕,回收所述任务占用的资源。
12.根据权利要求7-9中任一项所述的系统,其特征在于,还包括:
资源收集模块,用于收集各所述节点的节点信息,所述节点信息包括资源类型和资源大小。
CN201711146097.7A 2017-11-17 2017-11-17 集群资源调度方法及系统 Active CN107864211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711146097.7A CN107864211B (zh) 2017-11-17 2017-11-17 集群资源调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711146097.7A CN107864211B (zh) 2017-11-17 2017-11-17 集群资源调度方法及系统

Publications (2)

Publication Number Publication Date
CN107864211A CN107864211A (zh) 2018-03-30
CN107864211B true CN107864211B (zh) 2019-09-10

Family

ID=61703174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711146097.7A Active CN107864211B (zh) 2017-11-17 2017-11-17 集群资源调度方法及系统

Country Status (1)

Country Link
CN (1) CN107864211B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881495B (zh) * 2018-08-13 2022-07-22 中国平安财产保险股份有限公司 资源分配方法、装置、计算机设备及存储介质
CN110134511A (zh) * 2019-04-12 2019-08-16 浪潮软件集团有限公司 一种OpenTSDB共享存储优化方法
CN112579265A (zh) * 2019-09-30 2021-03-30 北京国双科技有限公司 任务权限使用方法和装置、存储介质和电子设备及大数据平台
CN110941681B (zh) * 2019-12-11 2021-02-23 南方电网数字电网研究院有限公司 电力系统的多租户数据处理系统、方法和装置
CN111813564B (zh) * 2020-09-11 2020-12-18 北京达佳互联信息技术有限公司 集群资源管理方法、装置及容器集群管理系统
CN114650292B (zh) * 2020-12-17 2024-01-30 中移(苏州)软件技术有限公司 一种跨域数据传输方法、装置及存储介质
CN113641461A (zh) * 2021-10-14 2021-11-12 云宏信息科技股份有限公司 Kvm虚拟化系统资源配置方法、介质及系统
CN114265676A (zh) * 2021-12-08 2022-04-01 中国联合网络通信集团有限公司 集群资源调度方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1307783A (zh) * 1998-04-29 2001-08-08 艾利森电话股份有限公司 资源分配
CN103596066A (zh) * 2013-11-28 2014-02-19 中国联合网络通信集团有限公司 一种数据处理方法及装置
CN104125091A (zh) * 2013-04-25 2014-10-29 杭州华三通信技术有限公司 网络配置自动部署方法及装置
CN106453395A (zh) * 2016-11-16 2017-02-22 航天信息股份有限公司 一种云平台资源访问权限的分级管理方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9912609B2 (en) * 2014-08-08 2018-03-06 Oracle International Corporation Placement policy-based allocation of computing resources
CN105827523B (zh) * 2016-06-03 2019-04-30 无锡华云数据技术服务有限公司 一种在云存储环境中对多租户的带宽实现动态调整的虚拟网关

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1307783A (zh) * 1998-04-29 2001-08-08 艾利森电话股份有限公司 资源分配
CN104125091A (zh) * 2013-04-25 2014-10-29 杭州华三通信技术有限公司 网络配置自动部署方法及装置
CN103596066A (zh) * 2013-11-28 2014-02-19 中国联合网络通信集团有限公司 一种数据处理方法及装置
CN106453395A (zh) * 2016-11-16 2017-02-22 航天信息股份有限公司 一种云平台资源访问权限的分级管理方法及系统

Also Published As

Publication number Publication date
CN107864211A (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN107864211B (zh) 集群资源调度方法及系统
Kalia et al. Analysis of hadoop MapReduce scheduling in heterogeneous environment
CN107038069B (zh) Hadoop平台下动态标签匹配DLMS调度方法
CN102971724B (zh) 与数据中心环境内的基于单元式虚拟资源的管理有关的方法和装置
CN102929707B (zh) 并行任务动态分配方法
US10996994B2 (en) Task queuing and dispatching mechanisms in a computational device
CN104881325A (zh) 一种资源调度方法和资源调度系统
CN104679594B (zh) 一种中间件分布式计算方法
US11755369B2 (en) Techniques for container scheduling in a virtual environment
CN103797462A (zh) 一种创建虚拟机的方法和装置
CN103617087A (zh) 一种适合迭代计算的MapReduce优化方法
CN104040485A (zh) Paas分层调度和自动缩放
CN109213555A (zh) 一种面向虚拟桌面云的资源动态调度方法
CN109783225B (zh) 一种多租户大数据平台的租户优先级管理方法及系统
US20190205168A1 (en) Grouping of tasks for distribution among processing entities
US10733025B2 (en) Balancing categorized task queues in a plurality of processing entities of a computational device
CN101458635A (zh) 服务器虚拟环境的磁盘输入/输出调度器及其调度方法
CN103491024A (zh) 一种面向流式数据的作业调度方法及装置
CN110597639A (zh) Cpu分配控制方法、装置、服务器及存储介质
CN113946431B (zh) 一种资源调度方法、系统、介质及计算设备
Delavar et al. A synthetic heuristic algorithm for independent task scheduling in cloud systems
CN112905297A (zh) 容器集群资源调度方法和装置
CN102760073B (zh) 一种任务调度方法、系统及装置
CN107070965B (zh) 一种虚拟化容器资源下的多工作流资源供给方法
CN107992351B (zh) 一种硬件资源分配方法及装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant