CN114035947A - 资源动态调配方法、装置、设备及系统 - Google Patents

资源动态调配方法、装置、设备及系统 Download PDF

Info

Publication number
CN114035947A
CN114035947A CN202111284080.4A CN202111284080A CN114035947A CN 114035947 A CN114035947 A CN 114035947A CN 202111284080 A CN202111284080 A CN 202111284080A CN 114035947 A CN114035947 A CN 114035947A
Authority
CN
China
Prior art keywords
service
resource
data processing
resource information
service providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111284080.4A
Other languages
English (en)
Inventor
谭现成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202111284080.4A priority Critical patent/CN114035947A/zh
Publication of CN114035947A publication Critical patent/CN114035947A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Abstract

本申请实施例提供了一种资源动态调配方法、装置、设备及系统,其中方法包括:获取多个服务提供节点的服务提供数据;其中,每个服务提供节点中运行至少一个进程,不同的进程基于分配的物理资源提供相同或不同的数据处理服务;根据服务提供数据,确定各数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务;若是,则根据预先获取的目标数据处理服务对应的物理资源的第一资源信息及每个服务提供节点的物理资源的第二资源信息,进行物理资源的动态调配处理。本申请实施例实现了资源的准确分配,有利于提升资源使用率和服务质量。

Description

资源动态调配方法、装置、设备及系统
技术领域
本申请涉及计算机技术领域,尤其涉及一种资源动态调配方法、装置、设备及系统。
背景技术
随着人工智能以及物联网技术的不断发展,需要处理的图像数据、音视频数据等越来越多。相应的,对于数据处理所需的计算资源进行合理分配变得越来越重要。当前计算资源的分配方式通常是通过监控各数据处理服务的资源使用率,当资源使用率到达设置的阈值时,进行弹性伸缩。但是,在一些场景中,资源使用率并不能很准确的反应出数据处理服务的服务质量,因此存在资源分配不合理等问题。
发明内容
本申请实施例的目的是提供一种资源动态调配方法、装置、设备及系统,以解决现有资源分配方式存在的资源分配不合理等问题。
为解决上述技术问题,本申请实施例是这样实现的:
第一方面,本申请实施例提供了一种资源动态调配方法,包括:
获取多个服务提供节点的服务提供数据;其中,每个所述服务提供节点中运行至少一个进程,不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务;
根据所述服务提供数据,确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务;
若是,则根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息,进行所述物理资源的动态调配处理。
第二方面,本申请实施例提供了一种资源动态调配装置,包括:
处理器,用于获取多个服务提供节点的服务提供数据;根据所述服务提供数据,确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务;若是,则根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息,进行所述物理资源的动态调配处理;其中,每个所述服务提供节点中运行至少一个进程,不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务;
存储器,用于存储所述第一资源信息和所述第二资源信息。
第三方面,本申请实施例提供了一种资源动态调配系统,包括:资源管理节点和多个服务提供节点;
所述服务提供节点,用于基于运行的至少一个进程提供数据处理服务;其中,不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务;
所述资源管理节点,用于根据上述第一方面所提供的资源动态调配方法,对所述服务提供节点的所述物理资源进行动态调配处理。
第四方面,本申请实施例提供了一种资源动态调配设备,包括:处理器,与所述处理器电连接的存储器。所述存储器存储有计算机程序,所述处理器用于从所述存储器调用并执行所述计算机程序以实现上述第一方面所提供的资源动态调配方法的步骤。
第五方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所提供的资源动态调配方法的步骤。
在本申请实施例中,通过获取多个服务提供节点的服务提供数据,其中每个服务提供节点中运行至少一个进程,不同的进程提供相同或不同的数据处理服务;以及在根据服务提供数据确定各数据处理服务中存在满足资源动态调配条件的目标数据处理服务时,进行物理资源的动态调配处理。由于服务提供数据能够真实的反应出相应数据处理服务的服务质量和资源使用情况,因此基于服务提供数据进行物理资源的动态调配,不仅能够实现物理资源的准确调配,提升资源利用率;而且有利于提升服务质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的一种资源动态调配方法的第一种流程示意图;
图2为本说明书实施例提供的一种资源动态调配方法的第二种流程示意图;
图3为本说明书实施例提供的一种资源动态调配方法的第三种流程示意图;
图4为本说明书实施例提供的一种资源动态调配方法的第四种流程示意图;
图5为本说明书实施例提供的一种资源动态调配方法的第五种流程示意图;
图6为本说明书实施例提供的一种资源动态调配装置的模块组成示意图;
图7为本说明书实施例提供的一种资源动态调配系统的组成示意图;
图8为本说明书实施例提供的一种资源动态调配设备的组成示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
图1为本说明书一个或多个实施例提供的一种资源动态调配方法的流程示意图,应用于资源管理节点,参见图1,该方法具体可以包括如下步骤:
步骤102,获取多个服务提供节点的服务提供数据;其中,每个服务提供节点中运行至少一个进程,不同的进程基于分配的物理资源提供相同或不同的数据处理服务;
本申请提供的资源动态调配方法,可应用于包括多个服务提供节点的异构系统。其中,每个服务提供节点中运行至少一个进程,每个进程基于分配的物理资源运行相应的数据处理应用,以提供对应的数据处理服务。物理资源可以包括计算资源和运行资源,计算资源可以包括GPU(Graphics Processing Unit,图形处理器)、CPU(Central ProcessingUnit,中央处理器)等,运行资源可以包括显存、内存等。数据处理服务可以包括图像数据的处理服务、音视频数据的处理服务等。也就是说,每个服务提供节点可以提供至少一种类型的数据处理服务。
进一步的,服务提供节点可以记录自身运行的各进程所提供的数据处理服务的服务提供数据。可选地,服务提供节点在每次数据处理服务提供结束(例如对一张图像处理结束)时,将记录的该数据处理服务的服务提供数据发送给资源管理节点;或者,各服务提供节点在确定到达预设的统计周期的截止时间时,将记录的该统计周期内的各服务提供数据发送给资源管理节点;相应的,步骤102可以包括:接收各服务提供节点发送的服务提供数据。或者,资源管理节点可以主动获取服务提供数据;相应的,步骤102可以包括:若确定到达预设的统计周期的截止时间,则向各服务提供节点发送数据获取请求,接收各服务提供节点发送的相应统计周期的服务提供数据。其中,服务提供数据可以包括相应数据处理服务的服务标识、服务耗时、服务结果、提供数据处理服务的进程的进程标识、该进程所在的服务提供节点的节点标识等。统计周期可以在实际应用中根据需要自行设定,例如为5分钟、10分钟等。
步骤104,根据服务提供数据,确定各数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务;
由于服务提供数据能够更好的反应出服务质量以及资源使用情况,为了提升资源使用率以及服务质量,本申请中根据服务提供数据确定满足资源动态调配条件的目标数据处理服务。
步骤106,若是,则根据预先获取的目标数据处理服务对应的物理资源的第一资源信息及每个服务提供节点的物理资源的第二资源信息,进行物理资源的动态调配处理。
其中,第一资源信息和第二资源信息可以包括计算资源信息和运行资源信息;计算资源信息可以包括计算资源的类型、计算资源的核数等信息,运行资源信息可以包括各运行资源的容量等信息。例如,某个目标数据处理服务对应的物理资源的第一资源信息包括:计算资源类型GPU、GPU核数4核、显存容量5MB,内存容量20MB等。又如某个服务提供节点的物理资源的第二资源信息包括:计算资源类型CPU、CPU核数8核、显存容量48GB,内存容量256GB等。可以理解的是,第一资源信息表征相应的数据处理服务在运行时所需的物理资源;第二资源信息表征服务提供节点拥有的物理资源。
本说明书实施例中,通过获取多个服务提供节点的服务提供数据,其中每个服务提供节点中运行至少一个进程,不同的进程提供相同或不同的数据处理服务;以及在根据服务提供数据确定各数据处理服务中存在满足资源动态调配条件的目标数据处理服务时,进行物理资源的动态调配处理。由于服务提供数据能够真实的反应出相应数据处理服务的服务质量和资源使用情况,因此基于服务提供数据进行物理资源的动态调配,不仅能够实现物理资源的准确调配,提升资源利用率;而且有利于提升服务质量。
为了实现资源的有效管理,进行资源的动态调配,本申请一个或多个实施例中,如图2所示,步骤102之前还可以包括以下步骤100:
步骤100,获取每个数据处理服务对应的物理资源的第一资源信息,并获取每个服务提供节点的物理资源的第二资源信息,保存第一资源信息和第二资源信息。
具体的,资源管理节点可以包括操作界面,用户可以操作该操作界面提交各数据处理服务对应的物理资源的第一资源信息;相应的,获取每个数据处理服务对应的物理资源的第一资源信息可以包括:获取用户提交的每个数据处理服务对应的物理资源的第一资源信息。服务提供节点在加入异构系统时,可以首先将自身的物理资源的第二资源信息发送给服务提供节点;相应的,获取每个服务提供节点的物理资源的第二资源信息可以包括:接收每个服务提供节点的物理资源的第二资源信息。需要指出的是,第一资源信息和第二资源信息的获取方式不限为上述获取方式,可以在实际应用中根据需要自行设定。例如,还可以将第一资源信息预置于资源管理节点中,资源管理节点还可以根据确定的每个服务提供节点的节点信息,向服务提供节点发送资源信息获取请求等。第一资源信息和第二资源信息可以同时获取,也可以非同时获取。
进一步的,第一资源信息和第二资源信息的保存方式也可以在实际应用中根据需要自行设定。在一种可行的实施方式中,可以通过第一表格保存各第一资源信息;或者每个数据处理服务对应建立一个第一表格,并通过第一表格保存对应数据处理服务的第一资源信息。可以通过第二表格保存各第二资源信息;或者每个服务提供节点对应建立一个第二表格,并通过第二表格保存对应服务提供节点的第二资源信息。第一资源信息的保存方式与第二资源信息的保存方式可以相同,也可以不同;对此,本申请中不做具体限定。
为了提升资源利用率,以及提升服务质量,本申请一个或多个实施例中,资源动态调配处理包括资源分配处理和资源收回处理。具体的,如图3所示,步骤104可以包括以下步骤104-2至步骤104-6,步骤106可以包括以下步骤106-2至步骤106-8:
步骤104-2,根据服务提供数据,确定对应的各数据处理服务在当前统计周期内的当前服务参数;
其中,服务参数可以包括失败率、平均耗时、数据处理数量等,其可以在实际应用中根据需要自行设定。
以服务参数包括失败率和平均耗时为例进行说明,服务提供节点根据获取到的各服务提供数据中的服务标识,将服务提供数据划分为多个数据集合,每个数据集合中包括同一服务标识所对应的各服务提供数据,即每个数据集合对应一个数据处理服务。统计每个数据集合中的服务提供数据的第七数量;根据每个数据集合中的各服务提供数据包括的服务耗时,计算相应数据处理服务的总服务耗时;计算总服务耗时与第七数量的比值,得到相应数据处理服务的平均耗时。以及,根据每个数据集合中各服务提供数据包括的服务结果,统计服务失败结果的第三数量,计算第三数量与第七数量的比值,得到相应数据处理服务的失败率。
步骤104-4,根据当前服务参数,确定对应的数据处理服务是否为满足资源扩充条件的第一目标数据处理服务,是则执行步骤106-2,否则执行步骤104-6;
具体的,确定当前服务参数是否不小于预设的服务参数阈值;若是,则获取相应数据处理服务在连续的预设数量的历史统计周期内的历史服务参数;若确定历史服务参数均不小于服务参数阈值,则将相应的数据处理服务确定为满足资源扩充条件的第一目标数据处理服务。
步骤104-6,根据当前服务参数,确定对应的数据处理服务是否为满足资源缩减条件的第二目标数据处理服务;
具体的,若确定当前服务参数包括的失败率为零、且当前服务参数包括的平均耗时低于平均耗时阈值,则将相应的数据处理服务确定为满足资源缩减条件的第二目标数据处理服务。
以当前服务参数包括失败率和平均耗时、预设数量为5为例进行说明。资源管理节点将确定的各当前服务参数确定为当前的待理处服务参数,从待处理服务参数中随机选择一个作为目标服务参数。确定目标服务参数中的失败率是否不小于预设的失败率阈值,并确定目标服务参数中的平均耗时是否不低于预设的平均耗时阈值;若确定结果均为是,则从目标服务参数对应的服务提供数据中获取服务标识,根据服务标识获取最近的5个历史服务参数。确定5个历史服务参数中的失败率是否均不小于预设的失败率阈值,以及确定5个历史服务参数中的平均耗时是否均不低于预设的平均耗时阈值;若确定结果均为是,则将目标服务参数对应的数据处理服务确定为第一目标数据处理服务;否则确定目标服务参数中的失败率是否为零,并确定目标服务参数中的平均耗时是否不低于预设的平均耗时阈值;若确定结果均为是,则将目标服务参数对应的数据处理服务确定为第二目标数据处理服务;否则确定目标服务参数对应的数据处理服务是不需要资源动态调配处理的服务,并从当前的待理处服务参数中随机选择一个作为目标服务参数,并按照前述方式对目标服务参数进行处理。
步骤106-2,根据当前服务参数确定待启动进程的第一数量;
本申请一个或多个实施例中,当前服务参数可以包括服务失败率,相应的,步骤106-2可以包括:根据服务失败率,确定在当前统计周期内处理失败的数据的第三数量;根据第一目标数据处理服务的服务标识,从预设的服务标识与第四数量的关联关系中,获取关联的目标第四数量;根据第三数量和所述第四数量,确定待启动进程的第一数量;其中,第四数量是进程提供第一目标数据处理服务时,在每个统计周期内可成功处理的数据的数量。
具体的,确定服务失败率对应的数据集合,将统计的该数据集合的服务失败结果的第三数量,确定为相应第一目标数据处理服务在当前统计周期内处理失败的数据的第三数量;从该数据集合中获取服务标识,根据获取的服务标识,从预设的服务标识与第四数量的关联关系中,获取关联的目标第四数量;计算第三数量与第四数量的比值,确定该比值是否为整数,若是,则将该比值确定为待启动进程的第一数量;若否,则对该比值向上取整,将取整的数值确定为待启动进程的第一数量。例如,该比值为2.3,则取整的数值为3。
本申请一个或多个实施例中,当前服务参数可以包括平均耗时,相应的,步骤106-2可以包括:确定当前提供第一目标数据处理服务的进程的第五数量;根据平均耗时、预设的平均耗时阈值和第五数量,确定待启动进程的第一数量。
具体的,从当前服务参数对应的数据集合中获取进程标识,对获取的进程标识进行去重处理,统计剩余的进程标识的数量并作为当前提供相应第一目标数据处理服务的进程的第五数量;根据预设的计算公式[(平均耗时-平均耗时阈值)/平均耗时]*第五数量,进行计算处理的到计算结果;确定计算结果是否为整数,若是,则将该计算结果确定为待启动进程的第一数量;若否,则对该计算结果向上取整,将取整后的数值确定为待启动进程的第一数量。
本申请一个或多个实施例中,当前服务参数可以包括失败率和平均耗时,相应的,步骤106-2可以包括:分别根据失败率和平均耗时,确定对应的候选数量;将候选数量中的最大数量确定为待启动进程的第一数量。其中,根据失败率确定对应的候选数量的过程与上述根据失败率确定第一数量的过程相同,根据平均耗时确定对应的候选数量的过程与上述根据平均耗时确定第一数量的过程相同,可参见前述相关描述,重复之处这里不再赘述。
需要指出的是,第一数量的确定方式不限为上述方式,可以在实际应用中根据需要自行设定。
步骤106-4,基于资源均衡原则,根据确定的第一目标数据处理服务对应的计算资源类型、预先获取的第一目标数据处理服务对应的物理资源的第一资源信息、确定的第一数量及预先获取的各服务提供节点的物理资源的第二资源信息,进行物理资源的分配处理;
具体的,如图4所示,步骤106-4可以包括以下步骤106-4-2至步骤106-4-12:
步骤106-4-2,根据确定的第一目标数据处理服务对应的计算资源类型,从各服务提供节点中确定与该计算资源类型相匹配的候选服务提供节点;
具体的,根据第一目标数据处理服务的服务标识,从保存的第一资源信息中获取对应的计算资源类型,将该计算资源类型信息与保存的各第二资源信息中的计算资源类型进行匹配处理;并将匹配成功的第二资源信息所对应的服务提供节点确定为候选服务提供节点。
步骤106-4-4,确定每个候选服务提供节点当前可用的物理资源的第三资源信息;根据每个候选服务提供节点的第二资源信息和第三资源信息,确定每个候选服务提供节点当前的资源使用率;
具体的,根据记录的候选服务提供节点的资源分配信息和每个候选服务提供节点的第二资源信息,确定每个候选提供节点当前可用的物理资源的第三资源信息;根据每个候选服务提供节点的第二资源信息和第三资源信息,确定各候选服务节点的每项资源的使用率,根据各项资源的使用率计算平均资源使用率;将该平均资源使用率确定为候选服务提供节点当前的资源使用率。例如,根据某个候选服务提供节点的第二资源信息和第三资源信息确定其GPU的使用率为60%,内存的使用率为70%,显存的使用率为50%,则确定其资源使用率为60%。
需要指出的是,确定根据每个候选服务提供节点的第二资源信息和第三资源信息,确定每个候选服务提供节点当前的资源使用率的方式不限为上述方式,可以在实际应用中根据需要自行设定。例如,还可以根据预设的每项资源的权重,进行加权计算得到相应候选服务提供节点当前的资源使用率等。
步骤106-4-6,对资源使用率进行排序处理,按照资源使用率从小到大的顺序从排序结果中获取第一数量的目标资源使用率;
可选地,排序处理的过程可以是按照从大到小的顺序进行排序,相应的,从排序结果中获取后第一数量的目标资源使用率。或者,排序处理的过程是按照从小到大的顺序进行排序,相应的,从排序结果中获取前第一数量的目标资源使用率。
步骤106-4-8,确定目标资源使用率对应的第三资源信息与第一目标数据处理服务对应的第一资源信息是否匹配;
具体的,从目标资源使用率对应的第三资源信息中获取各资源的剩余数量,确定每项资源的剩余数量是否均不小于第一资源信息中相应资源的数量,若是,则确定目标资源使用率对应的第三资源信息与第一目标数据处理服务对应的第一资源信息匹配。
例如,从某个目标资源使用率对应的第三资源信息中获取各资源的剩余数量包括:内存45GB、显存20GB,其分别大于第一资源信息中的内存15GB、显存10GB,则确定匹配。
步骤106-4-10,若是,则根据第一目标数据处理服务对应的第一资源信息,向目标资源使用率对应的候选服务提供节点发送进程启动请求,以使候选服务提供节点启动新的进程,并通过该新的进程基于第一资源信息对应的物理资源提供第一目标数据处理服务;
具体的,根据第一目标数据处理服务的服务标识,从保存的服务标识与启动信息的对应关系中获取对应的启动信息,该启动信息中包括第一资源信息;根据启动信息向目标资源使用率对应的候选服务提供节点发送进程启动请求。当服务提供节点接收到进程启动请求时,解析该进程启动请求得到启动信息,根据启动信息中的服务标识,确定本地是否保存有对应的数据包;若是,则启动新的进程,该新的进程基于第一资源信息对应的物理资源,根据数据包和启动信息进行相应第一目标数据处理服务的初始化处理,并在初始化完成后,启动第一目标数据处理服务。第一目标数据处理服务启动成功后,将对应的进行注册到指定的注册中心。当候选服务提供节点监听到新的进程的注册成功信息时,根据该新的进程的进程标识、第一目标数据处理服务的服务标识等,向资源管理模块发送进程启动结果。当候选服务提供节点确定本地未保存有对应的数据包时,从启动信息中获取下载地址,并根据该下载地址下载对应的数据包;基于下载的数据包进行后续处理。其中,启动信息为首次启动进程提供第一目标数据处理时进行保存。数据包包括数据处理所需的模型数据、算法库数据、配置数据等。
步骤106-4-12,接收候选服务提供节点发送的进程启动结果。
由此,当根据当前服务参数确定存在满足资源扩充条件的第一目标数据处理服务时,基于资源均衡原则,在资源使用率低的服务提供节点中启动新的进程并提供第一目标数据处理服务,不仅实现了资源的精准调配;而且能够降低第一目标数据处理服务的平均耗时,降低失败率,提升服务质量。
步骤106-6,若是,则根据当前服务参数确定待关闭进程的第二数量;
由此此时的失败率为零,因此,可以根据平均耗时确定待关闭进程的第二数量。根据平均耗时确定待关闭进程的第二数量的过程,与前述根据平均耗时确定待启动进程的第一数量的过程相同,可参见前述相关描述,重复之处这里不再赘述。
步骤106-8,基于资源均衡原则,根据预先获取的第二目标数据处理服务对应的物理资源的第一资源信息、确定的第二数量及预先获取的各服务提供节点的物理资源的第二资源信息,进行物理资源的回收处理。
具体的,如图4所示,步骤106-8可以包括以下步骤106-8-2至步骤106-8-12:
步骤106-8-2,确定当前提供第二目标数据处理服务的每个进程所在的目标服务提供节点;
具体地,从第二目标数据处理服务的数据集合中,获取节点标识,将获取的节点标识确定为当前提供第二目标数据处理服务的进程所在的目标服务提供节点。
步骤106-8-4,确定目标服务提供节点当前已用物理资源的第四资源信息,根据目标服务提供节点的第二资源信息和第四资源信息,确定每个目标服务提供节点的资源使用率;
其中,确定每个目标服务提供节点的资源使用率的过程与前述确定候选服务提供节点的资源使用率的过程相同,可参见前述相关描述,重复之处这里不再赘述。
步骤106-8-6,对资源使用率进行排序处理,并按照从大到小的顺序从排序结果中获取第二数量的目标资源使用率;
可选地,排序处理的过程可以是按照从大到小的顺序进行排序,相应的,从排序结果中获取前第二数量的目标资源使用率。或者,排序处理的过程是按照从小到大的顺序进行排序,相应的,从排序结果中获取后第二数量的目标资源使用率。
步骤106-8-8,将目标资源使用率对应的目标服务提供节点中,提供第二目标数据处理服务的进程确定为待关闭进程;
步骤106-8-10,根据待关闭进程的进程标识,向对应的目标服务提供节点发送进程关闭请求,以使目标服务提供节点关闭对应的待关闭进程,以释放对应的物理资源;
当目标服务提供节点接收到进程关闭请求时,确定待关闭进程,并对待关闭进程进行关闭处理;向资源管理节点发送进程关闭结果
步骤106-8-12,接收目标服务提供节点发送的进程关闭结果。
由此,在资源管理节点根据当前服务参数确定存在满足缩容条件的第二目标数据处理服务时,根据资源均衡原则,对资源使用率高的目标服务提供节点中提供第二目标数据处理服务的进程进行关闭处理,以释放对应的物理资源,不仅实现了资源的精准调配;而且能够在不降低第一目标数据处理服务的成功率的基础上,降低平均耗时,提升服务质量。
为了便于后续进行资源动态调配处理,方法还可以包括:将确定的当前服务参数与对应的数据处理服务的服务标识对应保存。
进一步的,为了确保后续资源动态调配的准确性,本申请一个或多个实施例中,如图5所示,步骤106之后还可以包括以下步骤108:
步骤108,若确定动态调配处理成功,则对确定的待更新数据进行更新处理;以及,清除服务提供数据。
具体的,按照前述步骤106-2和步骤106-4进行资源分配处理时,若根据接收到的进程启动结果确定对应进程启动成功,则将已启动进程的信息、相应服务提供节点的资源分配信息等确定为待更新数据,并记录启动的新的进程的相关信息,以及记录相应服务提供节点的资源分配信息。当按照前述106-6和步骤106-7进行资源回收处理时,若根据接收到的进程关闭结果确定对应进程关闭成功,则将已启动进程的信息、相应服务提供节点的资源分配信息等确定为待更新数据,将关闭的进程的相关信息删除,以及将相应服务提供节点的相应物理资源的资源分配信息删除。
为了实现数据处理服务的提供,在首次提供服务之前,首先需要进行资源分配处理,以基于启动的各进程提供数据处理服务。以及,考虑到在实际应用中,随着业务模式的不断改变,数据处理服务往往也随之改变。当有新的数据处理服务需要启动时,资源管理节点还可以进行资源分配处理。相应的,方法还可以包括以下步骤110至步骤114:
步骤110,获取待启动的第三目标数据处理服务的启动信息;
具体的,用户可以通过资源管理节点的操作界面编辑待启动的第三目标数据处理服务的启动信息。相应的,资源管理节点获取用户提交的该启动信息。其中,启动信息可以包括服务标识、对应的数据包的下载地址、支持的数据处理任务的最大并发数量、第一资源信息、部署数量等。
步骤112,根据启动信息,确定待启动进程的第六数量;
具体的,从启动信息中获取部署数量,将部署数量确定为待启动进程的第六数量。
步骤114,根据第六数量、第三目标数据处理服务的第一资源信息和第二资源信息,进行物理资源的分配处理,以启动第六数量的进程,并通过启动的进程基于分配的物理资源提供第三目标数据处理服务。
具体的,从启动信息中获取第三目标数据处理服务的第一资源信息;基于资源均衡原则,根据第三目标数据处理服务的计算资源类型和第一资源信息、确定的第六数量及和预先获取的各第二资源信息进行物理资源的分配处理,以启动第六数量的进程。其中,基于资源均衡原则,根据第三目标数据处理服务的计算资源类型和第一资源信息、确定的第六数量及和预先获取的各第二资源信息进行物理资源的分配处理的过程,与前述基于资源均衡原则,根据第一目标数据处理服务的计算资源类型和第一资源信息、第一数量及第二资源信息,进行物理资源的分配处理的过程相同,可参见前述相关描述,重复之处这里不再赘述。
可以理解的是,步骤110至步骤114可以在步骤102之前执行,还可以在步骤106之后执行,还可以在步骤102至步骤106之间执行。
本申请实施例中,通过获取多个服务提供节点的服务提供数据,其中每个服务提供节点中运行至少一个进程,不同的进程提供相同或不同的数据处理服务;以及在根据服务提供数据确定各数据处理服务中存在满足资源动态调配条件的目标数据处理服务时,进行物理资源的动态调配处理。由于服务提供数据能够真实的反应出相应数据处理服务的服务质量,因此基于服务提供数据进行物理资源的动态调配,不仅能够实现物理资源的准确调配,提升资源利用率;而且有利于提升服务质量。
基于相同的技术构思,本说明书一个或多个实施例还提供了一种资源动态调配装置,图6本说明书一个或多个实施例提供的一种资源动态调配装置的模块组成示意图,如图6所示,该装置包括:
处理器201,用于获取多个服务提供节点的服务提供数据;根据所述服务提供数据,确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务;若是,则根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息,进行所述物理资源的动态调配处理;其中,每个所述服务提供节点中运行至少一个进程,不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务;
存储器202,用于存储所述第一资源信息和所述第二资源信息。
可选地,处理器201具体用于:
根据所述服务提供数据,确定对应的各所述数据处理服务在当前统计周期内的当前服务参数;
根据所述当前服务参数,确定对应的数据处理服务是否为满足资源扩充条件的第一目标数据处理服务;
若否,则根据所述当前服务参数,确定对应的数据处理服务是否为满足资源缩减条件的第二目标数据处理服务。
可选地,处理器201进一步具体用于:
确定所述当前服务参数是否不小于预设的服务参数阈值;
若是,则获取相应数据处理服务在连续的预设数量的历史统计周期内的历史服务参数;
若确定所述历史服务参数均不小于所述服务参数阈值,则将相应的数据处理服务确定为满足资源扩充条件的第一目标数据处理服务;
所述根据所述当前服务参数,确定对应的数据处理服务是否为满足资源缩减条件的第二目标数据处理服务,包括:
若确定所述当前服务参数包括的失败率为零、且所述当前服务参数包括的平均耗时低于平均耗时阈值,则将相应的数据处理服务确定为满足资源缩减条件的第二目标数据处理服务。
可选地,所述物理资源包括计算资源;相应的,处理器201进一步具体用于:
若确定存在所述第一目标数据处理服务,则根据所述当前服务参数确定待启动进程的第一数量;基于资源均衡原则,根据所述第一目标数据处理服务的计算资源类型和所述第一资源信息、所述第一数量及所述第二资源信息,进行所述物理资源的分配处理;
若确定存在所述第二目标数据处理服务,则根据所述当前服务参数确定待关闭进程的第二数量;基于资源均衡原则,根据所述第二目标数据处理服务的所述第一资源信息、所述第二数量及所述第二资源信息,进行物理资源的回收处理。
可选地,处理器201进一步具体用于:
根据所述服务失败率,确定在所述当前统计周期内处理失败的数据的第三数量;
根据所述第一目标数据处理服务的服务标识,从预设的服务标识与第四数量的关联关系中,获取关联的目标第四数量;其中,所述第四数量是所述进程提供所述第一目标数据处理服务时,在每个所述统计周期内可成功处理的数据的数量;
根据所述第三数量和所述第四数量,确定待启动进程的第一数量;
或者,
所述当前服务参数包括平均耗时,所述根据所述当前服务参数确定待启动进程的第一数量,包括:
确定当前提供所述第一目标数据处理服务的进程的第五数量;
根据所述平均耗时、预设的平均耗时阈值和所述第五数量,确定待启动进程的第一数量;
或者,
所述当前服务参数包括失败率和平均耗时,所述根据所述当前服务参数确定待启动进程的第一数量,包括:
分别根据所述失败率和所述平均耗时,确定对应的候选数量;
将所述候选数量中的最大数量确定为待启动进程的第一数量。
可选地,处理器201进一步具体用于:
根据所述第一目标数据处理服务对应的计算资源类型,从各所述服务提供节点中确定与所述计算资源类型相匹配的候选服务提供节点;
确定每个所述候选服务提供节点当前可用的物理资源的第三资源信息;
根据每个所述候选服务提供节点的所述第二资源信息和所述第三资源信息,确定每个所述候选服务提供节点当前的资源使用率;
对所述资源使用率进行排序处理,按照资源使用率从小到大的顺序从排序结果中获取所述第一数量的目标资源使用率;
确定所述目标资源使用率对应的所述第三资源信息与所述第一目标数据处理服务对应的所述第一资源信息是否匹配;
若是,则根据所述第一目标数据处理服务对应的所述第一资源信息,向所述目标资源使用率对应的候选服务提供节点发送进程启动请求,以使所述候选服务提供节点启动新的进程,并通过所述新的进程基于所述第一资源信息对应的物理资源提供所述第一目标数据处理服务;
接收所述候选服务提供节点发送的进程启动结果。
可选地,处理器201进一步具体用于:
确定当前提供所述第二目标数据处理服务的每个进程所在的目标服务提供节点;
确定所述目标服务提供节点当前已用物理资源的第四资源信息;
根据所述目标服务提供节点的所述第二资源信息和所述第四资源信息,确定每个所述目标服务提供节点的资源使用率;
对所述资源使用率进行排序处理,并按照从大到小的顺序从排序结果中获取所述第二数量的目标资源使用率;
将所述目标资源使用率对应的目标服务提供节点中,提供所述第二目标数据处理服务的进程确定为待关闭进程;
根据所述待关闭进程的进程标识,向对应的所述目标服务提供节点发送进程关闭请求,以使所述目标服务提供节点关闭对应的待关闭进程,以释放对应的物理资源;
接收所述目标服务提供节点发送的进程关闭结果。
可选地,处理器201还用于:
若确定所述动态调配处理成功,则对确定的待更新数据进行更新处理;以及,
清除所述服务提供数据。
可选地,处理器201还用于:
获取每个所述数据处理服务对应的物理资源的第一资源信息;以及,
获取每个所述服务提供节点的物理资源的第二资源信息;
保存所述第一资源信息和所述第二资源信息。
可选地,处理器201还用于:
获取待启动的第三目标数据处理服务的启动信息;
根据所述启动信息,确定待启动进程的第六数量;
根据所述第六数量、确定的所述第三目标数据处理服务的所述第一资源信息和所述第二资源信息,进行物理资源的分配处理,以启动所述第六数量的进程,并通过启动的所述进程基于分配的物理资源提供所述第三目标数据处理服务。
本说明书实施例提供的资源动态调配装置,通过获取多个服务提供节点的服务提供数据,其中每个服务提供节点中运行至少一个进程,不同的进程提供相同或不同的数据处理服务;以及在根据服务提供数据确定各数据处理服务中存在满足资源动态调配条件的目标数据处理服务时,进行物理资源的动态调配处理。由于服务提供数据能够真实的反应出相应数据处理服务的服务质量,因此基于服务提供数据进行物理资源的动态调配,不仅能够实现物理资源的准确调配,提升资源利用率;而且有利于提升服务质量。
另外,对于上述装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。而且,应当注意的是,本发明的装置的各个部件中,根据其要实现的功能而对其中的部件进行了逻辑划分,但是,本发明不受限于此,可以根据需要对各个部件进行重新划分或者组合。
基于相同的技术构思,本说明书一个或多个实施例还提供了一种资源动态调配系统,图7为本说明书一个或多个实施例提供的一种资源动态调配系统的组成示意图;如图7所示,该系统包括:资源管理节点301和多个服务提供节点302;
所述服务提供节点302,用于基于运行的至少一个进程提供数据处理服务;其中,不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务;
所述资源管理节点301,用于根据前述的资源动态调配方法对所述服务提供节点302的所述物理资源进行动态调配处理。
本说明书实施例提供的物理资源的动态调配系统,资源管理节点通过获取多个服务提供节点的服务提供数据,其中每个服务提供节点中运行至少一个进程,不同的进程提供相同或不同的数据处理服务;以及在根据服务提供数据确定各数据处理服务中存在满足资源动态调配条件的目标数据处理服务时,进行物理资源的动态调配处理。由于服务提供数据能够真实的反应出相应数据处理服务的服务质量,因此基于服务提供数据进行物理资源的动态调配,不仅能够实现物理资源的准确调配,提升资源利用率;而且有利于提升服务质量。
另外,对于上述系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
基于同样的技术构思,本申请实施例还提供一种资源动态调配设备,如图8所示。资源动态调配设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器401和存储器402,存储器402中可以存储有一个或一个以上存储应用程序或数据。其中,存储器402可以是短暂存储或持久存储。存储在存储器402的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对资源动态调配设备中的一系列计算机可执行指令。更进一步地,处理器401可以设置为与存储器402通信,在资源动态调配设备上执行存储器402中的一系列计算机可执行指令。资源动态调配设备还可以包括一个或一个以上电源403,一个或一个以上有线或无线网络接口404,一个或一个以上输入输出接口405,一个或一个以上键盘406。
具体在本实施例中,资源动态调配设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对资源动态调配设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取多个服务提供节点的服务提供数据;其中,每个所述服务提供节点中运行至少一个进程,不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务;
根据所述服务提供数据,确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务;
若是,则根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息,进行所述物理资源的动态调配处理。
本申请实施例还提出了一种存储介质,该存储介质存储一个或多个计算机程序,该一个或多个计算机程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行上述一种资源动态调配方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种资源动态调配方法,其特征在于,包括:
获取多个服务提供节点的服务提供数据;其中,每个所述服务提供节点中运行至少一个进程,不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务;
根据所述服务提供数据,确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务;
若是,则根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息,进行所述物理资源的动态调配处理。
2.根据权利要求1所述的方法,其特征在于,所述根据所述服务提供数据,确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务,包括:
根据所述服务提供数据,确定对应的各所述数据处理服务在当前统计周期内的当前服务参数;
根据所述当前服务参数,确定对应的数据处理服务是否为满足资源扩充条件的第一目标数据处理服务;
若否,则根据所述当前服务参数,确定对应的数据处理服务是否为满足资源缩减条件的第二目标数据处理服务。
3.根据权利要求2所述的方法,其特征在于,所述根据所述当前服务参数,确定对应的数据处理服务是否为满足资源扩充条件的第一目标数据处理服务,包括:
确定所述当前服务参数是否不小于预设的服务参数阈值;
若是,则获取相应数据处理服务在连续的预设数量的历史统计周期内的历史服务参数;
若确定所述历史服务参数均不小于所述服务参数阈值,则将相应的数据处理服务确定为满足资源扩充条件的第一目标数据处理服务;
所述根据所述当前服务参数,确定对应的数据处理服务是否为满足资源缩减条件的第二目标数据处理服务,包括:
若确定所述当前服务参数包括的失败率为零、且所述当前服务参数包括的平均耗时低于平均耗时阈值,则将相应的数据处理服务确定为满足资源缩减条件的第二目标数据处理服务。
4.根据权利要求2所述的方法,其特征在于,所述物理资源包括计算资源;所述根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息,进行所述物理资源的动态调配处理,包括:
若确定存在所述第一目标数据处理服务,则根据所述当前服务参数确定待启动进程的第一数量;基于资源均衡原则,根据所述第一目标数据处理服务的计算资源类型和所述第一资源信息、所述第一数量及所述第二资源信息,进行所述物理资源的分配处理;
若确定存在所述第二目标数据处理服务,则根据所述当前服务参数确定待关闭进程的第二数量;基于资源均衡原则,根据所述第二目标数据处理服务的所述第一资源信息、所述第二数量及所述第二资源信息,进行物理资源的回收处理。
5.根据权利要求4所述的方法,其特征在于,所述当前服务参数包括服务失败率,所述根据所述当前服务参数确定待启动进程的第一数量,包括:
根据所述服务失败率,确定在所述当前统计周期内处理失败的数据的第三数量;
根据所述第一目标数据处理服务的服务标识,从预设的服务标识与第四数量的关联关系中,获取关联的目标第四数量;其中,所述第四数量是所述进程提供所述第一目标数据处理服务时,在每个所述统计周期内可成功处理的数据的数量;
根据所述第三数量和所述第四数量,确定待启动进程的第一数量;
或者,
所述当前服务参数包括平均耗时,所述根据所述当前服务参数确定待启动进程的第一数量,包括:
确定当前提供所述第一目标数据处理服务的进程的第五数量;
根据所述平均耗时、预设的平均耗时阈值和所述第五数量,确定待启动进程的第一数量;
或者,
所述当前服务参数包括失败率和平均耗时,所述根据所述当前服务参数确定待启动进程的第一数量,包括:
分别根据所述失败率和所述平均耗时,确定对应的候选数量;
将所述候选数量中的最大数量确定为待启动进程的第一数量。
6.根据权利要求4所述的方法,其特征在于,所述基于资源均衡原则,根据所述第一目标数据处理服务的计算资源类型和所述第一资源信息、所述第一数量及所述第二资源信息,进行所述物理资源的分配处理,包括:
根据所述第一目标数据处理服务对应的计算资源类型,从各所述服务提供节点中确定与所述计算资源类型相匹配的候选服务提供节点;
确定每个所述候选服务提供节点当前可用的物理资源的第三资源信息;
根据每个所述候选服务提供节点的所述第二资源信息和所述第三资源信息,确定每个所述候选服务提供节点当前的资源使用率;
对所述资源使用率进行排序处理,按照资源使用率从小到大的顺序从排序结果中获取所述第一数量的目标资源使用率;
确定所述目标资源使用率对应的所述第三资源信息与所述第一目标数据处理服务对应的所述第一资源信息是否匹配;
若是,则根据所述第一目标数据处理服务对应的所述第一资源信息,向所述目标资源使用率对应的候选服务提供节点发送进程启动请求,以使所述候选服务提供节点启动新的进程,并通过所述新的进程基于所述第一资源信息对应的物理资源提供所述第一目标数据处理服务;
接收所述候选服务提供节点发送的进程启动结果。
7.根据权利要求4所述的方法,其特征在于,所述基于资源均衡原则,根据所述第二目标数据处理服务的所述第一资源信息、所述第二数量及所述第二资源信息,进行物理资源的回收处理,包括:
确定当前提供所述第二目标数据处理服务的每个进程所在的目标服务提供节点;
确定所述目标服务提供节点当前已用物理资源的第四资源信息;
根据所述目标服务提供节点的所述第二资源信息和所述第四资源信息,确定每个所述目标服务提供节点的资源使用率;
对所述资源使用率进行排序处理,并按照从大到小的顺序从排序结果中获取所述第二数量的目标资源使用率;
将所述目标资源使用率对应的目标服务提供节点中,提供所述第二目标数据处理服务的进程确定为待关闭进程;
根据所述待关闭进程的进程标识,向对应的所述目标服务提供节点发送进程关闭请求,以使所述目标服务提供节点关闭对应的待关闭进程,以释放对应的物理资源;
接收所述目标服务提供节点发送的进程关闭结果。
8.根据权利要求1所述的方法,所述进行所述物理资源的动态调配处理之后,还包括:
若确定所述动态调配处理成功,则对确定的待更新数据进行更新处理;以及,
清除所述服务提供数据。
9.根据权利要求1所述的方法,其特征在于,所述获取多个服务提供节点的服务提供数据之前,还包括:
获取每个所述数据处理服务对应的物理资源的第一资源信息;以及,
获取每个所述服务提供节点的物理资源的第二资源信息;
保存所述第一资源信息和所述第二资源信息。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取待启动的第三目标数据处理服务的启动信息;
根据所述启动信息,确定待启动进程的第六数量;
根据所述第六数量、确定的所述第三目标数据处理服务的所述第一资源信息和所述第二资源信息,进行物理资源的分配处理,以启动所述第六数量的进程,并通过启动的所述进程基于分配的物理资源提供所述第三目标数据处理服务。
11.一种资源动态调配装置,其特征在于,包括:
处理器,用于获取多个服务提供节点的服务提供数据;根据所述服务提供数据,确定各所述数据处理服务中是否存在满足资源动态调配条件的目标数据处理服务;若是,则根据预先获取的所述目标数据处理服务对应的所述物理资源的第一资源信息及每个所述服务提供节点的所述物理资源的第二资源信息,进行所述物理资源的动态调配处理;其中,每个所述服务提供节点中运行至少一个进程,不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务;
存储器,用于存储所述第一资源信息和所述第二资源信息。
12.一种资源动态调配系统,其特征在于,包括:资源管理节点和多个服务提供节点;
所述服务提供节点,用于基于运行的至少一个进程提供数据处理服务;其中,不同的所述进程基于分配的物理资源提供相同或不同的数据处理服务;
所述资源管理节点,用于根据权利要求1-10任一项所述的方法对所述服务提供节点的所述物理资源进行动态调配处理。
13.一种资源动态调配设备,其特征在于,包括:处理器,与所述处理器电连接的存储器。所述存储器存储有计算机程序,所述处理器用于从所述存储器调用并执行所述计算机程序以上述权利要求1至10中任一项所述的方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1至10中任一项所述的方法的步骤。
CN202111284080.4A 2021-11-01 2021-11-01 资源动态调配方法、装置、设备及系统 Pending CN114035947A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111284080.4A CN114035947A (zh) 2021-11-01 2021-11-01 资源动态调配方法、装置、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111284080.4A CN114035947A (zh) 2021-11-01 2021-11-01 资源动态调配方法、装置、设备及系统

Publications (1)

Publication Number Publication Date
CN114035947A true CN114035947A (zh) 2022-02-11

Family

ID=80142493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111284080.4A Pending CN114035947A (zh) 2021-11-01 2021-11-01 资源动态调配方法、装置、设备及系统

Country Status (1)

Country Link
CN (1) CN114035947A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115495312A (zh) * 2022-09-27 2022-12-20 北京百度网讯科技有限公司 业务请求处理方法和装置
WO2023208142A1 (zh) * 2022-04-29 2023-11-02 维沃移动通信有限公司 数据的处理方法及通信设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023208142A1 (zh) * 2022-04-29 2023-11-02 维沃移动通信有限公司 数据的处理方法及通信设备
CN115495312A (zh) * 2022-09-27 2022-12-20 北京百度网讯科技有限公司 业务请求处理方法和装置

Similar Documents

Publication Publication Date Title
CN108023742A (zh) 一种应用的扩容方法、装置和系统
CN114035947A (zh) 资源动态调配方法、装置、设备及系统
CN113037794B (zh) 计算资源配置调度方法、装置及系统
TW201441934A (zh) 客戶端的更新方法及裝置
CN114780225B (zh) 一种分布式模型训练系统、方法及装置
CN112650575B (zh) 资源调度方法、装置和云端服务系统
CN108874502B (zh) 云计算集群的资源管理方法、装置及设备
CN110716813A (zh) 数据流处理方法、装置、可读存储介质及处理器
CN109960579B (zh) 一种调整业务容器的方法及装置
CN113674131A (zh) 硬件加速器设备管理方法、装置及电子设备和存储介质
CN110471769B (zh) 一种虚拟机的资源管理方法及装置
CN110888658A (zh) 应用程序中功能模块的动态化方法、装置及存储介质
CN114489985A (zh) 数据处理方法、设备及存储介质
CN112860387A (zh) 分布式任务调度方法、装置、计算机设备及存储介质
CN111338803B (zh) 一种线程处理方法和装置
CN110381150B (zh) 区块链上的数据处理方法、装置、电子设备及存储介质
CN112631994A (zh) 数据迁移方法及系统
CN116737370A (zh) 一种多资源调度方法、系统、存储介质及终端
CN116954490A (zh) 数据处理方法、装置、电子设备和存储介质
CN115048186A (zh) 业务容器的扩缩容处理方法、装置、存储介质及电子设备
CN114466365A (zh) 频谱资源获取方法、装置和计算机可读存储介质
CN114035940A (zh) 资源分配方法以及装置
CN108255820B (zh) 分布式系统中数据入库的方法、装置以及电子设备
CN111221651A (zh) 负载均衡配置方法、装置、服务器及可读存储介质
CN110750330A (zh) 一种虚拟机创建方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination