CN116643880A - 集群节点处理方法、系统、电子设备及存储介质 - Google Patents

集群节点处理方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN116643880A
CN116643880A CN202310505669.5A CN202310505669A CN116643880A CN 116643880 A CN116643880 A CN 116643880A CN 202310505669 A CN202310505669 A CN 202310505669A CN 116643880 A CN116643880 A CN 116643880A
Authority
CN
China
Prior art keywords
cluster
executed
node
task
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310505669.5A
Other languages
English (en)
Inventor
梁璞
唐昌颀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kailing Technology Co ltd
Original Assignee
Shanghai Kailing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kailing Technology Co ltd filed Critical Shanghai Kailing Technology Co ltd
Priority to CN202310505669.5A priority Critical patent/CN116643880A/zh
Publication of CN116643880A publication Critical patent/CN116643880A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种集群节点处理方法、系统、电子设备及存储介质，其中，该方法包括：实时获取集群中各节点的可用资源；按顺序获取目标任务队列中待执行任务的资源需求；当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群；将所述待执行任务分配至所述新节点上执行。能够在出现集群节点不足问题之前就进行节点扩容，避免或减少因为节点资源不足而影响相关任务的正常执行。此外，由于本发明的任务在执行前被放入到任务队列中，任务队列的缓冲作用可以保证任务不丢失，使得任务能够可靠执行。

Description

集群节点处理方法、系统、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种集群节点处理方法、系统、电子设备及存储介质。
背景技术
目前，集群因能够满足多用户多任务的算力需求而被广泛使用。传统的集群节点是预先配置的，虽然容易实现，但随着用户数量和任务规模的变化需要人工手动介入调整节点数量，除了配置复杂、不够敏捷、容易出错，还会带来一定的维护成本和资源消耗。
发明内容
针对上述现有技术的不足，本发明的目的在于提供一种集群节点处理方法、系统、电子设备及存储介质，以实现集群节点的自适应调整。
为了实现上述目的，本发明采用以下技术方案：
第一方面，本发明提供一种集群节点处理方法，包括：
实时获取集群中各节点的可用资源；
按顺序获取目标任务队列中待执行任务的资源需求；
当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群；
将所述待执行任务分配至所述新节点上执行。
优选地，所述按顺序获取目标任务队列中待执行任务的资源需求，包括：
按先进先出的顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求；或者
按预设的优先级顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求。
优选地，所述目标任务队列中的每个任务分别标注有对应的任务类型；
所述根据所述待执行任务的资源需求添加新节点至所述集群，包括：
获取所述待执行任务的任务类型；
获取与所述待执行任务的任务类型对应的目标节点类型；
增加符合所述目标节点类型且满足所述资源需求的新节点，并将所述新节点加入所述集群。
优选地，所述任务类型包括：内存增强型、计算密集型和IO密集型。
优选地，所述集群为云集群；
所述根据所述待执行任务的资源需求添加新节点至所述集群，包括：
根据所述待执行任务的资源需求，通过云平台接口添加新节点至所述集群。
优选地，所述方法还包括：
当所述集群中有至少一个节点的当前可用资源满足所述资源需求时，将所述待执行任务分配至所述至少一个节点中的其中一个节点上执行。
优选地，所述方法还包括：
检测所述集群中是否有节点为空闲节点，若有，则将该节点从所述集群中去除。
第二方面，本发明提供一种集群节点处理系统，包括：
可用资源获取模块，用于实时获取集群中各节点的可用资源；
资源需求获取模块，用于按顺序获取目标任务队列中待执行任务的资源需求；
扩容模块，用于在所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群；
任务调度模块，用于将所述待执行任务分配至所述新节点上执行。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如前所述的集群节点处理方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如前所述的集群节点处理方法的步骤。
通过采用上述技术方案，本发明具有如下有益效果：
本发明通过实时获取集群中各节点的可用资源，按顺序获取目标任务队列中待执行任务的资源需求，当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群，并将所述待执行任务分配至所述新节点上执行，从而能够在出现集群节点不足问题之前就进行节点扩容，避免或减少因为节点资源不足而影响相关任务的正常执行。此外，由于本发明的任务在执行前被放入到任务队列中，任务队列的缓冲作用可以保证任务不丢失，使得任务能够可靠执行。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1的集群节点处理方法的流程示意图；
图2为本发明实施例2的集群节点处理系统的结构框图；
图3为本发明实施例3的电子设备的硬件架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
实施例1
本实施例提供一种集群节点处理方法，如图1所示，该方法主要包括以下步骤：
S1，实时获取集群中各节点的可用资源。
具体地，在集群中可包含多个用于执行任务的节点，每个节点均配置有相应的资源总量，本实施例对各节点的已使用资源进行实时监控，通过从各节点的资源总量中去除相应节点的已使用资源，即可获得各节点的实时可用资源，该可用资源表示相应节点未被使用的资源。
S2，按顺序获取目标任务队列中待执行任务的资源需求。
当用户有某项任务需要进行处理时，会通过客户端发送任务请求，这些任务将放入到目标任务队列当中，以通过任务队列的缓冲作用保证任务不丢失，使得任务能够可靠执行。
在本实施例中，任务队列可以支持多种策略，可以先进先出，也可以按优先级顺序执行。因此，步骤S2具体可以包括：按先进先出的顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求；或者，按预设的优先级顺序从所述目标任务队列中提取待执行任务(队列中的每个任务均标注有对应的优先级，按优先级从高到低的顺序提取任务，若优先级相同，则先提取先进入队列的任务)，并获取所述待执行任务的资源需求。具体根据预先配置的策略而定。
S3，当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群。
具体地，在获得待执行任务的资源需求之后，本实施例首先判断集群中各节点的当前可用资源是否能满足该资源需求，若均不能满足，则表示集群节点的资源不足以支持该待执行任务顺利执行，则添加能够满足待执行任务的资源需求的新节点至集群。
S4，将所述待执行任务分配至所述新节点上执行。
在本实施例中，当待执行任务在新节点上执行完成后，将执行结果保存到集群的共享存储器上。
本实施例通过在所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群，并将所述待执行任务分配至所述新节点上执行，从而能够在出现集群节点不足问题之前就进行节点扩容，避免或减少因为节点资源不足而影响相关任务的正常执行。此外，由于本发明的任务在执行前被放入到任务队列中，任务队列的缓冲作用可以保证任务不丢失，使得任务能够可靠执行。
在本实施例中，每个节点的资源包括但不限于算力资源、内存资源和IO(输入输出)资源。
在一可实施的方式中，所述目标任务队列中的每个任务分别标注有对应的任务类型。例如，该任务类型包括但不限于内存增强型、计算密集型和IO密集型。其中，内存增强型表示该类型的任务需要的内存资源较大，计算密集型表示该类型的任务需要的算力资源较大，IO密集型表示该类型的任务需要的IO资源较大。
基于标注的任务类型，步骤S3根据所述待执行任务的资源需求添加新节点至所述集群的过程如下：
S31，获取所述待执行任务被标注的任务类型。
S32，获取与所述待执行任务的任务类型对应的目标节点类型。
在本实施例中，节点类型同样包括但不限于内存增强型、计算密集型和IO密集型。其中，内存增强型表示该类型的节点提供的内存资源较大，计算密集型表示该类型的节点提供的算力资源较大，IO密集型表示该类型的节点提供的IO资源较大。
当待执行任务的任务类型为内存增强型时，对应的目标节点类型也为内存增强型；当待执行任务的任务类型为计算密集型时，对应的目标节点类型也为计算密集型；当待执行任务的任务类型为IO密集型时，对应的目标节点类型也为IO密集型。
S33，增加符合所述目标节点类型且满足所述资源需求的新节点，并将所述新节点加入所述集群。
例如，当待执行任务的任务类型和目标节点类型为内存增强型时，则增加内存增强型的新节点，且该新节点提供的资源必须能满足待执行任务的资源需求。
在一可实施的方式中，所述集群为云集群，所述节点为云节点，步骤S3根据所述待执行任务的资源需求，通过云平台API(接口)添加新节点至所述集群。
具体地，本实施例提供标准规范的云平台API，其能够和各公有云平台和私有云平台的API对接，以将相应云平台的服务器作为节点纳入集群，集群扩容规模数量没有上限。
此外，本实施例的集群节点处理方法还可以包括：当所述集群中有至少一个节点的当前可用资源满足所述资源需求时，将所述待执行任务分配至所述至少一个节点中的其中一个节点上执行。
具体地，当集群中有至少一个节点的当前可用资源满足所述资源需求时，说明当前集群的节点能够满足待执行任务顺利执行，因而在该至少一个节点中的其中一个节点上执行该待执行任务即可，当待执行任务在新节点上执行完成后，将执行结果保存到集群的共享存储器上。
本实施例的集群节点处理方法还可以包括：检测所述集群中是否有节点为空闲节点，若有，则将该节点从所述集群中去除。
在本实施例中，空闲节点是指分配至该节点上的任务均已完成的节点(即空闲节点上无任务在执行)，为了减小集群的冗余，本实施例将该空闲节点从集群中去除，使得集群的节点与任务尽可能适配。
实施例2
如图2所示，本实施例提供一种集群节点处理系统10，该系统10主要包括可用资源获取模块11、资源需求获取模块12、扩容模块13和任务调度模块14。
以下分别对各个模块进行详细描述：
可用资源获取模块11用于实时获取集群中各节点的可用资源。
具体地，在集群中可包含多个用于执行任务的节点，每个节点均配置有相应的资源总量，本实施例对各节点的已使用资源进行实时监控，通过从各节点的资源总量中去除相应节点的已使用资源，即可获得各节点的实时可用资源，该可用资源表示相应节点未被使用的资源。
资源需求获取模块12用于按顺序获取目标任务队列中待执行任务的资源需求。
当用户有某项任务需要进行处理时，会通过客户端发送任务请求，这些任务将放入到目标任务队列当中，以通过任务队列的缓冲作用保证任务不丢失，使得任务能够可靠执行。
在本实施例中，任务队列可以支持多种策略，可以先进先出，也可以按优先级顺序执行。因此，步骤S2具体可以包括：按先进先出的顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求；或者，按预设的优先级顺序从所述目标任务队列中提取待执行任务(队列中的每个任务均标注有对应的优先级，按优先级从高到低的顺序提取任务，若优先级相同，则先提取先进入队列的任务)，并获取所述待执行任务的资源需求。具体根据预先配置的策略而定。
扩容模块13用于当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群。
具体地，在获得待执行任务的资源需求之后，本实施例首先判断集群中各节点的当前可用资源是否能满足该资源需求，若均不能满足，则表示集群节点的资源不足以支持该待执行任务顺利执行，则添加能够满足待执行任务的资源需求的新节点至集群。
任务调度模块14用于将所述待执行任务分配至所述新节点上执行。
在本实施例中，当待执行任务在新节点上执行完成后，将执行结果保存到集群的共享存储器上。
本实施例通过在所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群，并将所述待执行任务分配至所述新节点上执行，从而能够在出现集群节点不足问题之前就进行节点扩容，避免或减少因为节点资源不足而影响相关任务的正常执行。
在本实施例中，每个节点的资源包括但不限于算力资源、内存资源和IO(输入输出)资源。
在一可实施的方式中，所述目标任务队列中的每个任务分别标注有对应的任务类型。例如，该任务类型包括但不限于内存增强型、计算密集型和IO密集型。其中，内存增强型表示该类型的任务需要的内存资源较大，计算密集型表示该类型的任务需要的算力资源较大，IO密集型表示该类型的任务需要的IO资源较大。
在一可实施的方式中，扩容模块13包括任务类型获取单元、节点类型获取单元和节点增加单元。其中：
任务类型获取单元用于获取所述待执行任务被标注的任务类型。
节点类型获取单元用于获取与所述待执行任务的任务类型对应的目标节点类型。
在本实施例中，节点类型同样包括但不限于内存增强型、计算密集型和IO密集型。其中，内存增强型表示该类型的节点提供的内存资源较大，计算密集型表示该类型的节点提供的算力资源较大，IO密集型表示该类型的节点提供的IO资源较大。
当待执行任务的任务类型为内存增强型时，对应的目标节点类型也为内存增强型；当待执行任务的任务类型为计算密集型时，对应的目标节点类型也为计算密集型；当待执行任务的任务类型为IO密集型时，对应的目标节点类型也为IO密集型。
节点增加单元用于增加符合所述目标节点类型且满足所述资源需求的新节点，并将所述新节点加入所述集群。
例如，当待执行任务的任务类型和目标节点类型为内存增强型时，则增加内存增强型的新节点，且该新节点提供的资源必须能满足待执行任务的资源需求。
在一可实施的方式中，所述集群为云集群，所述节点为云节点，扩容模块13根据所述待执行任务的资源需求，通过云平台API(接口)添加新节点至所述集群。
具体地，本实施例提供标准规范的云平台API，其能够和各公有云平台和私有云平台的API对接，以将相应云平台的服务器作为节点纳入集群，集群扩容规模数量没有上限。
此外，本实施例的任务调度模块14还可以用于：当所述集群中有至少一个节点的当前可用资源满足所述资源需求时，将所述待执行任务分配至所述至少一个节点中的其中一个节点上执行。
具体地，当集群中有至少一个节点的当前可用资源满足所述资源需求时，说明当前集群的节点能够满足待执行任务顺利执行，因而在该至少一个节点中的其中一个节点上执行该待执行任务即可，当待执行任务在新节点上执行完成后，将执行结果保存到集群的共享存储器上。
此外，本实施例的集群节点处理系统还可以包括：缩容模块5，其用于检测所述集群中是否有节点为空闲节点，若有，则将该节点从所述集群中去除。
在本实施例中，空闲节点是指分配至该节点上的任务均已完成的节点(即空闲节点上无任务在执行)，为了减小集群的冗余，本实施例将该空闲节点从集群中去除，使得集群的节点与任务尽可能适配。
实施例3
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1提供的集群节点处理方法的步骤。
图3示出了本实施例的硬件结构示意图，如图3所示，电子设备30具体包括：
至少一个处理器31、至少一个存储器32以及用于连接不同系统组件(包括处理器31和存储器32)的总线33，其中：
总线33包括数据总线、地址总线和控制总线。
存储器32包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1提供的集群节点处理方法的步骤。
电子设备30进一步可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，电子设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器36通过总线33与电子设备30的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1提供的集群节点处理方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1提供的集群节点处理方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (10)

1.一种集群节点处理方法，其特征在于，该方法包括：
实时获取集群中各节点的可用资源；
按顺序获取目标任务队列中待执行任务的资源需求；
当所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群；
将所述待执行任务分配至所述新节点上执行。
2.如权利要求1所述的集群节点处理方法，其特征在于，所述按顺序获取目标任务队列中待执行任务的资源需求，包括：
按先进先出的顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求；或者
按预设的优先级顺序从所述目标任务队列中提取待执行任务，并获取所述待执行任务的资源需求。
3.如权利要求1所述的集群节点处理方法，其特征在于，所述目标任务队列中的每个任务分别标注有对应的任务类型；
所述根据所述待执行任务的资源需求添加新节点至所述集群，包括：
获取所述待执行任务的任务类型；
获取与所述待执行任务的任务类型对应的目标节点类型；
增加符合所述目标节点类型且满足所述资源需求的新节点，并将所述新节点加入所述集群。
4.如权利要求3所述的集群节点处理方法，其特征在于，所述任务类型包括：内存增强型、计算密集型和IO密集型。
5.如权利要求1所述的集群节点处理方法，其特征在于，所述集群为云集群；
所述根据所述待执行任务的资源需求添加新节点至所述集群，包括：
根据所述待执行任务的资源需求，通过云平台接口添加新节点至所述集群。
6.如权利要求1所述的集群节点处理方法，其特征在于，所述方法还包括：
当所述集群中有至少一个节点的当前可用资源满足所述资源需求时，将所述待执行任务分配至所述至少一个节点中的其中一个节点上执行。
7.如权利要求1所述的集群节点处理方法，其特征在于，所述方法还包括：
检测所述集群中是否有节点为空闲节点，若有，则将该节点从所述集群中去除。
8.一种集群节点处理系统，其特征在于，该系统包括：
可用资源获取模块，用于实时获取集群中各节点的可用资源；
资源需求获取模块，用于按顺序获取目标任务队列中待执行任务的资源需求；
扩容模块，用于在所述集群中各节点的当前可用资源均不能满足所述资源需求时，根据所述待执行任务的资源需求添加新节点至所述集群；
任务调度模块，用于将所述待执行任务分配至所述新节点上执行。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的集群节点处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的集群节点处理方法的步骤。
CN202310505669.5A 2023-05-06 2023-05-06 集群节点处理方法、系统、电子设备及存储介质 Pending CN116643880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310505669.5A CN116643880A (zh) 2023-05-06 2023-05-06 集群节点处理方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310505669.5A CN116643880A (zh) 2023-05-06 2023-05-06 集群节点处理方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116643880A true CN116643880A (zh) 2023-08-25

Family

ID=87617926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310505669.5A Pending CN116643880A (zh) 2023-05-06 2023-05-06 集群节点处理方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116643880A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766175A (zh) * 2018-12-28 2019-05-17 深圳晶泰科技有限公司 面向高性能计算在云上的资源弹性伸缩系统及其调度方法
CN112486653A (zh) * 2020-12-02 2021-03-12 胜斗士(上海)科技技术发展有限公司 调度多类型计算资源的方法、装置和系统
CN113377498A (zh) * 2021-06-24 2021-09-10 北京字节跳动网络技术有限公司 资源调度方法、装置、电子设备及存储介质
CN114064229A (zh) * 2021-09-29 2022-02-18 阿里巴巴新加坡控股有限公司 集群节点处理方法、系统、设备及介质
US20220276899A1 (en) * 2021-07-07 2022-09-01 Beijing Baidu Netcom Science Technology Co., Ltd. Resource scheduling method, device, and storage medium
CN115495249A (zh) * 2022-10-31 2022-12-20 上海楷领科技有限公司 一种云端集群的任务执行方法
CN115840648A (zh) * 2022-12-28 2023-03-24 万物镜像(北京)计算机系统有限公司 一种仿真任务的处理方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766175A (zh) * 2018-12-28 2019-05-17 深圳晶泰科技有限公司 面向高性能计算在云上的资源弹性伸缩系统及其调度方法
CN112486653A (zh) * 2020-12-02 2021-03-12 胜斗士(上海)科技技术发展有限公司 调度多类型计算资源的方法、装置和系统
CN113377498A (zh) * 2021-06-24 2021-09-10 北京字节跳动网络技术有限公司 资源调度方法、装置、电子设备及存储介质
US20220276899A1 (en) * 2021-07-07 2022-09-01 Beijing Baidu Netcom Science Technology Co., Ltd. Resource scheduling method, device, and storage medium
CN114064229A (zh) * 2021-09-29 2022-02-18 阿里巴巴新加坡控股有限公司 集群节点处理方法、系统、设备及介质
CN115495249A (zh) * 2022-10-31 2022-12-20 上海楷领科技有限公司 一种云端集群的任务执行方法
CN115840648A (zh) * 2022-12-28 2023-03-24 万物镜像(北京)计算机系统有限公司 一种仿真任务的处理方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡亚红;盛夏;毛家发;: "资源不均衡Spark环境任务调度优化算法研究", 计算机工程与科学, no. 02 *
许豪: "《云计算导论》", 31 December 2021, 西安电子科技大学出版社, pages: 150 *

Similar Documents

Publication Publication Date Title
US8914805B2 (en) Rescheduling workload in a hybrid computing environment
US7987467B2 (en) Scale across in a grid computing environment
US8739171B2 (en) High-throughput-computing in a hybrid computing environment
CN109034396B (zh) 用于处理分布式集群中的深度学习作业的方法和装置
Ishii et al. Elastic stream computing with clouds
US9250886B2 (en) Optimizing provisioning workflows in cloud computing
CN114218012A (zh) 用于在集群系统中备份和恢复数据的方法和系统
CN112579304A (zh) 基于分布式平台的资源调度方法、装置、设备及介质
CN107911399B (zh) 一种基于负载预测的弹性伸缩方法及系统
US9507633B2 (en) Scheduling method and system
CN114610474B (zh) 一种异构超算环境下多策略的作业调度方法及系统
US10419305B2 (en) Visualization of workload distribution on server resources
CN112600761B (zh) 一种资源分配的方法、装置及存储介质
WO2024016596A1 (zh) 容器集群调度的方法、装置、设备及存储介质
CN115202836A (zh) 一种提高gpu利用效率的算力池化系统
CN111625339A (zh) 集群资源调度方法、装置、介质和计算设备
Hung et al. Task scheduling for optimizing recovery time in cloud computing
CN113806097A (zh) 一种数据处理方法、装置、电子设备以及存储介质
CN112099932A (zh) 边缘计算中软-硬截止期任务卸载的最佳定价方法及系统
CN116643880A (zh) 集群节点处理方法、系统、电子设备及存储介质
US20170168879A1 (en) Event Handling in a Cloud Data Center
Stavrinides et al. Scheduling linear workflows with dynamically adjustable exit tasks on distributed resources
CN111858014A (zh) 资源分配方法及装置
CN113837569A (zh) It服务人员的匹配方法、系统、电子设备和介质
US20060203813A1 (en) System and method for managing a main memory of a network server

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination