CN117331678A - 面向异构算力联邦的多集群作业资源规格计算方法和系统 - Google Patents
面向异构算力联邦的多集群作业资源规格计算方法和系统 Download PDFInfo
- Publication number
- CN117331678A CN117331678A CN202311632017.4A CN202311632017A CN117331678A CN 117331678 A CN117331678 A CN 117331678A CN 202311632017 A CN202311632017 A CN 202311632017A CN 117331678 A CN117331678 A CN 117331678A
- Authority
- CN
- China
- Prior art keywords
- resource
- resource specification
- job
- cluster
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 41
- 238000012216 screening Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 34
- 238000007726 management method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012986 modification Methods 0.000 claims description 9
- 230000004048 modification Effects 0.000 claims description 9
- 238000013468 resource allocation Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 2
- 239000012634 fragment Substances 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000012217 deletion Methods 0.000 description 7
- 230000037430 deletion Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5011—Pool
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种面向异构算力联邦的多集群作业资源规格计算方法和系统，其中，面向异构算力联邦的多集群作业资源规格计算方法包括：监测资源数据的变更获得第一目标事件和第二目标事件；基于所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案；根据所述第一目标事件对应的目标作业的资源需求属性对当前资源状况下多集群的资源规格方案进行筛选，获得多个可选资源规格方案；根据所述目标作业的资源需求总量，遍历所述多个可选资源规格方案，获得最优资源规格方案，并根据所述最优资源规格方案修改所述目标作业的初始资源规格配置，提高了在多集群和高性能计算环境中处理零散碎片的效率和主动性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种面向异构算力联邦的多集群作业资源规格计算方法和系统。
背景技术
随着云计算的不断发展，数据中心虚拟化技术已逐渐从虚拟机向容器演进，其中谷歌开发的开源容器集群管理系统已成为业界主流平台。目前有很多大型的容器集群管理系统，它们旨在高效地处理大规模并行计算问题，以提升资源利用率和降低运维成本。在多集群和高性能计算环境中，由于资源的动态分配和调度，经常会产生大量的资源碎片，这些零散的资源碎片如果不能被有效利用，将导致整体计算效率的下降和资源的浪费。
在传统的资源管理和调度模型中，零散碎片的处理通常是低效和被动的。系统管理员需要定期进行手动干预，通过调整资源分配策略或优化作业调度算法来减少资源碎片。然而，这种方法不仅工作量大，而且难以应对快速变化的计算和资源需求。
发明内容
基于此，有必要针对上述技术问题，提供一种面向异构算力联邦的多集群作业资源规格计算方法和系统。
第一方面，本申请实施例提供了一种面向异构算力联邦的多集群作业资源规格计算方法，所述方法包括：
监测资源数据的变更获得第一目标事件和第二目标事件；其中，所述资源数据包括作业资源数据、多个集群的集群资源数据和节点资源数据，所述第一目标事件包括支持资源规格拆解的待调度作业事件，所述第二目标事件包括已调度作业事件、节点事件和集群事件；
基于所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案；
根据所述第一目标事件对应的目标作业的资源需求属性对当前资源状况下多集群的资源规格方案进行筛选，获得多个可选资源规格方案；
根据所述目标作业的资源需求总量，遍历所述多个可选资源规格方案，获得最优资源规格方案，并根据所述最优资源规格方案修改所述目标作业的初始资源规格配置。
在其中一个实施例中，所述基于所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案包括：
对各节点下的资源规格进行分类，获得多个资源规格类别；
分别统计各集群下所有节点的各所述资源规格类别的可用副本数，获得当前资源状况下多集群的资源规格方案。
在其中一个实施例中，所述方法还包括：
根据各所述节点的节点资源类型标签对资源规格方案进行分类，获得资源池下的资源规格方案，以及非资源池下的资源规格方案。
在其中一个实施例中，所述资源需求属性包括集群亲和性属性和节点亲和性属性；所述根据所述第一目标事件对应的目标作业的资源需求属性对当前资源状况下多集群的资源规格方案进行筛选，获得多个可用的资源规格方案包括：
根据所述节点亲和性属性对所述资源池和所述非资源池下的资源规格方案进行筛选；
若所述节点亲和性属性为资源池标签，则所述资源池下的资源规格方案为多个可用的资源规格方案；
若所述节点亲和性属性为非资源池标签，则根据所述集群亲和性属性对非资源池下的所有集群进行筛选，获得多个可用的资源规格方案。
在其中一个实施例中，所述根据所述目标作业的资源需求总量，遍历所述多个可选资源规格方案，获得最优资源规格方案包括：
初始化副本数最小值参数；
根据所述目标作业的资源需求总量，计算当前所述可选资源规格方案对应的所需副本数；
判断当前所述可选资源规格方案对应的可用副本数是否大于其所需副本数；
若是，则判断当前所述可选资源规格方案对应的所需副本数是否小于所述副本数最小值参数；
若是，则用当前所述可选资源规格方案对应的所需副本数更新所述副本数最小值参数；
当所有所述可选资源规格方案遍历完成时，所述副本数最小值参数对应的可选资源规格方案为最优资源规格方案。
在其中一个实施例中，所述方法还包括：
若所有所述可选资源规格方案对应的可用副本数均小于其所需副本数；
则计算各所述可选资源规格方案为满足所述目标作业的资源需求总量，所需释放的计算卡数量；
确定所述资源规格方案中所需释放的计算卡数量最小的资源规格方案为最优资源规格方案。
第二方面，本申请实施例还提供了一种面向异构算力联邦的多集群作业资源规格计算系统，所述系统包括：事件感知模块、资源规格计算模块和作业资源配置修改模块；
所述事件感知模块，用于监测资源数据的变更获得第一目标事件和第二目标事件；其中，所述资源数据包括作业资源数据、多个集群的集群资源数据和节点资源数据，所述第一目标事件包括支持资源规格拆解的待调度作业事件，所述第二目标事件包括已调度作业事件、节点事件和集群事件；将所述已调度作业事件分配给所述资源规格计算模块；
所述资源规格计算模块，用于根据所述第二目标事件生成资源规格拓扑图，获得当前资源状况下多集群的资源规格方案；
作业资源配置修改模块，用于根据所述第一目标事件对应的目标作业的资源需求总量，遍历所述多集群的资源规格方案，获得最优资源规格方案，并根据所述最优资源规格方案修改所述目标作业的初始资源规格配置。
在其中一个实施例中，所述系统还包括：作业队列管理模块；
所述事件感知模块，还用于将所述第一目标事件对应的目标作业分配给所述作业队列管理模块进行管理；
所述作业队列管理模块，用于根据所述目标作业的亲和性属性对所述目标作业进行管理。
第三方面，本申请实施例还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如上述第一方面所述的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
上述面向异构算力联邦的多集群作业资源规格计算方法、系统、设备和介质，通过监测资源数据的变更获得第一目标事件和第二目标事件；其中，所述资源数据包括作业资源数据、多个集群的集群资源数据和节点资源数据，所述第一目标事件包括支持资源规格拆解的待调度作业事件，所述第二目标事件包括已调度作业事件、节点事件和集群事件；基于所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案；根据所述第一目标事件对应的目标作业的资源需求属性对当前资源状况下多集群的资源规格方案进行筛选，获得多个可选资源规格方案；根据所述目标作业的资源需求总量，遍历所述多个可选资源规格方案，获得最优资源规格方案，并根据所述最优资源规格方案修改所述目标作业的初始资源规格配置。解决了在多集群和高性能计算环境中，零散的资源碎片没有被有效利用，导致整体计算效率的下降和资源的浪费的问题，提高了处理零散碎片的效率和主动性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是一个实施例中面向异构算力联邦的多集群作业资源规格计算方法的终端设备的硬件结构框图；
图2是一个实施例中面向异构算力联邦的多集群作业资源规格计算方法的流程示意图；
图3是一个实施例中异构集群的资源规格方案拓扑图；
图4是一个实施例中获取多集群的资源规格方案的执行过程示意图；
图5是一个实施例中计算最优资源规格方案的流程示意图；
图6是一个实施例中面向异构算力联邦的多集群作业资源规格计算系统的结构框图；
图7是另一个实施例中面向异构算力联邦的多集群作业资源规格计算系统的结构框图；
图8是另一个实施例中面向异构算力联邦的多集群作业资源规格计算方法的流程示意图；
图9是一个实施例中计算机设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
术语解释：
Kubernetes：亦简称为k8s，是一种容器集群管理系统，是容器编排领域的事实标准和云原生领域的关键项目，它有一个快速发展的社区和正在大量被开发的平台生态系统。可帮助用户构建跨容器的应用服务，并长期持续管理这些容器的健康状况。
Slurm：是一种HPC集群管理和作业调度框架，提供了资源管理和工作调度能力，在HPC领域应用广泛，为世界上超过60%的超级计算机和计算机集群使用。
异构算力联邦：内部包含了多种由不同集群管理系统所管理的集群，多个集群需要由一个统一的调度器进行作业的派发。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的面向异构算力联邦的多集群作业资源规格计算方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的面向异构算力联邦的多集群作业资源规格计算方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Card，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种面向异构算力联邦的多集群作业资源规格计算方法，如图2所示，该方法包括以下步骤：
S201，监测资源数据的变更获得第一目标事件和第二目标事件；其中，所述资源数据包括作业资源数据、多个集群的集群资源数据和节点资源数据，所述第一目标事件包括支持资源规格拆解的待调度作业事件，所述第二目标事件包括已调度作业事件、节点事件和集群事件。
具体的，本申请实时监测资源数据的变更，包括作业资源数据的变更、多个集群的集群资源数据的变更和节点资源数据的变更，以获得第一目标事件和第二目标事件。
其中，根据作业资源数据中自定义计算作业资源集的作业运行状态，将自定义计算作业资源集对应的事件分为已调度作业事件，待调度作业事件和其他事件，已调度作业事件包括了已调度作业的新增、更新、删除，待调度作业事件包括了待调度作业的新增、更新、删除。待调度作业还分为支持资源规格拆解和不支持资源规格拆解两类，其中，支持资源规格拆解的待调度作业事件为本申请的第一目标事件。节点事件包括了节点的新增、更新、删除，集群事件包括了集群的新增、更新、删除。已调度作业事件、节点事件和集群事件为本申请的第二目标事件。剩余作业则不由本实施例处理。
S202，基于所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案。
具体的，本申请根据所述第二目标事件进行资源拓扑的动态生成，实时感知集群、节点多维度的资源信息，所述资源拓扑数据包括根据所述第二目标事件对应的节点信息拓扑生成的多个集群的资源规格信息，通过对当前资源状况下多个集群的资源规格信息进行动态分配，获得当前资源状况下多集群的所有资源规格方案。
S203，根据所述第一目标事件对应的目标作业的资源需求属性对当前资源状况下多集群的资源规格方案进行筛选，获得多个可选资源规格方案。
S204，根据所述目标作业的资源需求总量，遍历所述多个可选资源规格方案，获得最优资源规格方案，并根据所述最优资源规格方案修改所述目标作业的初始资源规格配置。
在本实施例中，根据监测资源数据的变更获得第一目标事件和第二目标事件，根据所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案，根据所述第一目标事件对应的目标作业的资源需求属性对当前资源状况下多集群的资源规格方案进行筛选，获得多个可选资源规格方案，根据所述目标作业的资源需求总量，遍历所述多个可选资源规格方案，获得最优资源规格方案，并根据所述最优资源规格方案修改所述目标作业的初始资源规格配置，解决了在多集群和高性能计算环境中，零散的资源碎片没有被有效利用，导致整体计算效率的下降和资源的浪费的问题，提高了处理零散碎片的效率和主动性。本申请实现了资源碎片的自动识别和整合，通过实时监控各个计算节点的资源使用情况，自动检测和收集零散碎片，然后将这些碎片整合起来分配给需要的作业，从而实现资源的最大化利用。本申请不仅提高了系统的计算效率和资源利用率，还减轻了系统管理员的工作负担，实现了在大规模、复杂的计算环境中资源管理的自动化和智能化，提升了在异构算力联邦的多集群环境下执行作业的性能。
在其中一个实施例中，所述基于所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案包括以下步骤：
步骤1：对各节点下的资源规格进行分类，获得多个资源规格类别；
具体的，资源规格类别按照通用计算服务器中普遍的8张计算卡（GPU）来分类，可将集群中节点的资源规格分为8类，分为1张至8张计算卡，其资源比例为：1张计算卡，8个CPU核，100GB内存。优选的，本实施例将各节点下的资源规格分为5类，获得5个资源规格类别，分别为1GPU-8CPU、2GPU-16CPU、4GPU-32CPU、6GPU-48CPU、8GPU-64CPU。其中，1GPU-8CPU是指资源规格为1个GPU，8个CPU。
步骤2：分别统计各集群下所有节点的各所述资源规格类别的可用副本数，获得当前资源状况下多集群的资源规格方案。
具体的，按照集群类别统计各集群下所有节点的各所述资源规格类别的可用副本数。具体的统计过程为：假设已知集群A下某一节点的资源总量为8个GPU，将该节点的资源总量分为5个资源规格类别，若按照资源规格类别为1GPU-8CPU进行分配，通过计算可获得资源规格类别为1GPU-8CPU的可用副本数为8，同理，资源规格类别为2GPU-16CPU的可用副本数为4，资源规格类别为4GPU-32CPU的可用副本数为2，资源规格类别为6GPU-48CPU的可用副本数为1.33，资源规格类别为8GPU-64CPU的可用副本数为1，通过计算方法进一步通过统计集群A下所有节点下的各个资源规格类别的可用副本数，得到集群A的所有资源规格方案，进一步统计各集群下所有节点的各所述资源规格类别的可用副本数，获得当前资源状况下多集群的资源规格方案。
在其中一个实施例中，所述方法还包括：根据各所述节点的节点资源类型标签对资源规格方案进行分类，获得资源池下的资源规格方案，以及非资源池下的资源规格方案。
具体的，集群中的各节点还设置了节点资源类型标签，节点资源类型标签分为资源池标签和非资源池标签，因此本实施例还根据各节点的节点资源类型标签对资源规格方案进行分类，获得资源池下的资源规格方案，以及非资源池下的资源规格方案。其中，资源池下的资源规格方案是通过按照资源池的类别统计各资源池下所有节点的各所述资源规格类别的可用副本数，非资源池下的资源规格方案是通过按照集群的类别统计各集群下所有具有非资源池标签的节点的各所述资源规格类别的可用副本数。请参见图3，展示了异构集群的资源规格方案拓扑图。图中集群A下可容纳“8G64C”数量即一个资源规格方案，表示集群A下具有非资源池标签的所有节点可容纳8GPU-64CPU这个资源规格的可用副本数。
基于所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案的执行过程如图4所示，执行过程内包含了三类事件的执行逻辑。
对于节点事件的执行逻辑包括如下步骤：
S401，接收节点事件。
S402，判断是否为删除事件，若是，则执行S403，若否，则执行S404。
S403，删除节点实例，执行S409。
S404，判断节点所属集群是否存在，若是，则执行S406，若否，则执行S405。
S405，创建集群实例，执行S406。
S406，判断节点实例是否存在，若是，则执行S408，若否，则执行S407。
S407，创建节点实例，执行S409。
S408，更新节点实例，执行S409。
S409，判断节点是否存在资源池标签，若是，则执行S410，若否，则执行步骤S411。
S410，更新节点资源池标签下的资源规格配置信息。
S411，更新非资源池下节点对应集群的资源规格配置信息。
对于集群事件的执行逻辑包括如下步骤：
S421，接收集群事件。
S422，判断是否为删除事件，若是，则执行S423，若否，则执行S424。
S423，删除集群所拥有的资源规格方案。
S424，判断集群实例是否存在，若是，则执行S425，若否，则执行S426。
S425，更新集群实例。
S426，创建集群实例。
S427，初始化集群所拥有的资源规格方案。
对于已调度作业事件的执行逻辑包括如下步骤：
S431，接收已调度作业事件。
S432，判断是否为删除事件，若是，则执行S433，若否，则执行S435。
S433，解除资源占用。
S434，删除作业事件，执行S438。
S435，判断作业实例是否存在，若是，则执行S436，若否，则执行S437。
S436，更新作业实例，执行S438。
S437，创建作业实例，执行S438。
S438，作业是否存在资源池标签，若是，则执行S439，若否，则执行步骤S440。
S410，更新作业资源池标签下的资源规格配置信息。
S411，更新非资源池下作业对应集群的资源规格配置信息。
在其中一个实施例中，所述资源需求属性包括集群亲和性属性和节点亲和性属性；所述根据所述第一目标事件对应的目标作业的资源需求属性对当前资源状况下多集群的资源规格方案进行筛选，获得多个可用的资源规格方案包括以下内容：
根据所述节点亲和性属性对所述资源池和所述非资源池下的资源规格方案进行筛选；若所述节点亲和性属性为资源池标签，则所述资源池下的资源规格方案为多个可用的资源规格方案；若所述节点亲和性属性为非资源池标签，则根据所述集群亲和性属性对非资源池下的所有集群进行筛选，获得多个可用的资源规格方案。
本实施例根据目标作业的集群亲和性属性和节点亲和性属性对当前资源状况下多集群的资源规格方案进行筛选，筛选出可用的集群，获取可用的集群和目标作业所属的资源池信息，以获得符合目标作业资源需求属性的多个可用的资源规格方案。
在其中一个实施例中，所述根据所述目标作业的资源需求总量，遍历所述多个可选资源规格方案，获得最优资源规格方案包括以下步骤：
S1，初始化副本数最小值参数；
S2，根据所述目标作业的资源需求总量，计算当前所述可选资源规格方案对应的所需副本数。
具体的，依次遍历各个可选资源规格方案，根据所述目标作业的资源需求总量，计算当前所述可选资源规格方案对应的所需副本数。例如，若目标作业的资源需求总量为20个GPU，则集群A下资源规格类别为2GPU-16CPU的所需副本数为10。
S3，判断当前所述可选资源规格方案对应的可用副本数是否大于其所需副本数；
若当前所述可选资源规格方案对应的可用副本数大于其所需副本数，说明当前的资源规格方案满足目标作业的资源需求，则继续执行S4。
S4，若是，则判断当前所述可选资源规格方案对应的所需副本数是否小于所述副本数最小值参数；
S5，若是，则用当前所述可选资源规格方案对应的所需副本数更新所述副本数最小值参数；
S6，当所有所述可选资源规格方案遍历完成时，所述副本数最小值参数对应的可选资源规格方案为最优资源规格方案。
具体的，按照S2-S5的执行步骤，遍历下一可选资源规格方案，当所有所述可选资源规格方案遍历完成时，所述副本数最小值参数对应的可选资源规格方案为最优资源规格方案。本实施例遍历各个可选资源规格方案，根据所述目标作业的资源需求总量，计算出的使用的资源规格方案作业所需的副本总数量越小，则表明该资源规格方案越优。
在其中一个实施例中，所述方法还包括：若所有所述可选资源规格方案对应的可用副本数均小于其所需副本数；则计算各所述可选资源规格方案为满足所述目标作业的资源需求总量，所需释放的计算卡数量；确定所述资源规格方案中所需释放的计算卡数量最小的资源规格方案为最优资源规格方案。
本实施例当所有的可选资源规格方案的资源总量不足以承接该作业时，则将所需释放的计算卡数量最小的资源规格方案作为最优资源规格方案，尽可能使作业能够尽快处于运行状态。
图5展示了计算最优资源规格方案的具体步骤，具体的执行过程包括如下步骤：
S501，初始化参数：设置三个参数包括副本数的最小值，待补充资源数量最小值和是否满足作业运行条件标志位，将作业运行条件标志位初始化为不满足。
S502，遍历可用的资源规格方案。
S503，解析资源规格信息。对于每个资源规格方案，按照作业需求的资源总量，将可用资源规格解析为当前资源规格方案下的最大可分配数量（可用副本数）和作业所需的总副本数。
S504，检查资源规格方案的可用性。
S505，判断当前资源规格方案的最大可分配数是否大于作业所需的总副本数，若是，则执行S506，若否，则执行S507。
S506，如果最大可分配数大于等于所需的总副本数，且作业所需的总副本数小于已知的副本数的最小值或作业运行条件为不满足，则执行S508，否则，则执行S511。
S507，若作业运行条件为不满足，则执行S509。
S508，更新副本数的最小值参数并将作业运行条件设置为满足。
S509，判断当前资源规格方案为满足作业需求的资源总量总的待补充资源数是否小于待补充资源数量最小值；若是，则执行S510。
S510，更新待补充资源数量最小值和副本数最小值。
S511，判断资源规格方案遍历是否完成，若是，则执行S512，若否，则执行S502。
S512，输出最优方案。
本申请实施例还提供了一种面向异构算力联邦的多集群作业资源规格计算系统，如图6所示，所述系统包括：事件感知模块10、资源规格计算模块20和作业资源配置修改模块30。
所述事件感知模块10用于监测资源数据的变更获得第一目标事件和第二目标事件；其中，所述资源数据包括作业资源数据、多个集群的集群资源数据和节点资源数据，所述第一目标事件包括支持资源规格拆解的待调度作业事件，所述第二目标事件包括已调度作业事件、节点事件和集群事件；将所述已调度作业事件分配给所述资源规格计算模块。
所述资源规格计算模块20用于根据所述第二目标事件生成资源规格拓扑图，获得当前资源状况下多集群的资源规格方案。
作业资源配置修改模块30用于根据所述第一目标事件对应的目标作业的资源需求总量，遍历所述多集群的资源规格方案，获得最优资源规格方案，并根据所述最优资源规格方案修改所述目标作业的初始资源规格配置。
在其中一个实施例中，如图7所示，所述系统还包括作业队列管理模块40；所述事件感知模块10还用于将所述第一目标事件对应的目标作业分配给所述作业队列管理模块进行管理；所述作业队列管理模块40用于根据所述目标作业的亲和性属性对所述目标作业进行管理。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本申请的面向异构算力联邦的多集群作业资源规格计算方法可应用于面向异构算力联邦的多集群作业资源规格计算系统，如图8所示，该方法的执行步骤包括如下：
S601，自定义计算作业资源集创建并初始化。
S602，自定义计算作业资源集初始化事件被监听到。
S603，自定义计算作业资源集是否支持资源规格拆解，若是，则执行S604。
S604，自定义计算作业资源集进入作业队列管理模块。
S605，由作业队列管理模块弹出自定义计算作业资源集。
S606，作业资源配置修改模块获取自定义计算作业资源集。
S607，作业资源配置修改模块获取异构算力联邦的资源规格信息。
S608，依据自定义计算作业资源集所携带的集群及节点亲和性配置筛选集群。
S609，计算是否有合适集群，若是，则执行S610，若否，则执行S614。
S610，获取可用集群的所有规格方案。
S611，最优方案计算。
S612，修改作业资源规格配置。
S613，更新自定义计算作业资源的资源规格配置。
S614，将作业设置为失败状态。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种面向异构算力联邦的多集群作业资源规格计算方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项面向异构算力联邦的多集群作业资源规格计算方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种面向异构算力联邦的多集群作业资源规格计算方法，其特征在于，所述方法包括：
监测资源数据的变更获得第一目标事件和第二目标事件；其中，所述资源数据包括作业资源数据、多个集群的集群资源数据和节点资源数据，所述第一目标事件包括支持资源规格拆解的待调度作业事件，所述第二目标事件包括已调度作业事件、节点事件和集群事件；
基于所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案；
根据所述第一目标事件对应的目标作业的资源需求属性对当前资源状况下多集群的资源规格方案进行筛选，获得多个可选资源规格方案；
根据所述目标作业的资源需求总量，遍历所述多个可选资源规格方案，获得最优资源规格方案，并根据所述最优资源规格方案修改所述目标作业的初始资源规格配置。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第二目标事件生成资源规格数据，获得当前资源状况下多集群的资源规格方案包括：
对各节点下的资源规格进行分类，获得多个资源规格类别；
分别统计各集群下所有节点的各所述资源规格类别的可用副本数，获得当前资源状况下多集群的资源规格方案。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据各所述节点的节点资源类型标签对资源规格方案进行分类，获得资源池下的资源规格方案，以及非资源池下的资源规格方案。
4.根据权利要求3所述的方法，其特征在于，所述资源需求属性包括集群亲和性属性和节点亲和性属性；所述根据所述第一目标事件对应的目标作业的资源需求属性对当前资源状况下多集群的资源规格方案进行筛选，获得多个可用的资源规格方案包括：
根据所述节点亲和性属性对所述资源池和所述非资源池下的资源规格方案进行筛选；
若所述节点亲和性属性为资源池标签，则所述资源池下的资源规格方案为多个可用的资源规格方案；
若所述节点亲和性属性为非资源池标签，则根据所述集群亲和性属性对非资源池下的所有集群进行筛选，获得多个可用的资源规格方案。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标作业的资源需求总量，遍历所述多个可选资源规格方案，获得最优资源规格方案包括：
初始化副本数最小值参数；
根据所述目标作业的资源需求总量，计算当前所述可选资源规格方案对应的所需副本数；
判断当前所述可选资源规格方案对应的可用副本数是否大于其所需副本数；
若是，则判断当前所述可选资源规格方案对应的所需副本数是否小于所述副本数最小值参数；
若是，则用当前所述可选资源规格方案对应的所需副本数更新所述副本数最小值参数；
当所有所述可选资源规格方案遍历完成时，所述副本数最小值参数对应的可选资源规格方案为最优资源规格方案。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
若所有所述可选资源规格方案对应的可用副本数均小于其所需副本数；
则计算各所述可选资源规格方案为满足所述目标作业的资源需求总量，所需释放的计算卡数量；
确定所述资源规格方案中所需释放的计算卡数量最小的资源规格方案为最优资源规格方案。
7.一种面向异构算力联邦的多集群作业资源规格计算系统，其特征在于，所述系统包括：事件感知模块、资源规格计算模块和作业资源配置修改模块；
所述事件感知模块，用于监测资源数据的变更获得第一目标事件和第二目标事件；其中，所述资源数据包括作业资源数据、多个集群的集群资源数据和节点资源数据，所述第一目标事件包括支持资源规格拆解的待调度作业事件，所述第二目标事件包括已调度作业事件、节点事件和集群事件；将所述已调度作业事件分配给所述资源规格计算模块；
所述资源规格计算模块，用于根据所述第二目标事件生成资源规格拓扑图，获得当前资源状况下多集群的资源规格方案；
作业资源配置修改模块，用于根据所述第一目标事件对应的目标作业的资源需求总量，遍历所述多集群的资源规格方案，获得最优资源规格方案，并根据所述最优资源规格方案修改所述目标作业的初始资源规格配置。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：作业队列管理模块；
所述事件感知模块，还用于将所述第一目标事件对应的目标作业分配给所述作业队列管理模块进行管理；
所述作业队列管理模块，用于根据所述目标作业的亲和性属性对所述目标作业进行管理。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至权利要求6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311632017.4A CN117331678B (zh) | 2023-12-01 | 2023-12-01 | 面向异构算力联邦的多集群作业资源规格计算方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311632017.4A CN117331678B (zh) | 2023-12-01 | 2023-12-01 | 面向异构算力联邦的多集群作业资源规格计算方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117331678A true CN117331678A (zh) | 2024-01-02 |
| CN117331678B CN117331678B (zh) | 2024-04-19 |
Family
ID=89277785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311632017.4A Active CN117331678B (zh) | 2023-12-01 | 2023-12-01 | 面向异构算力联邦的多集群作业资源规格计算方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117331678B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117648175A (zh) * | 2024-01-30 | 2024-03-05 | 之江实验室 | 一种基于动态算法选择的业务执行方法、装置及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114756347A (zh) * | 2022-04-19 | 2022-07-15 | 中国联合网络通信集团有限公司 | 基于集群的服务器资源调度方法、装置、云平台及介质 |
| CN115145690A (zh) * | 2022-06-30 | 2022-10-04 | 小米汽车科技有限公司 | 集群资源伸缩方法、装置及容器集群管理系统 |
| WO2022213529A1 (zh) * | 2021-04-07 | 2022-10-13 | 华为云计算技术有限公司 | 实例部署方法、装置、云系统、计算设备及存储介质 |
| CN116089090A (zh) * | 2023-02-10 | 2023-05-09 | 济南浪潮数据技术有限公司 | 一种图形显示器的虚拟资源配置方法、装置、设备、介质 |
| CN116339985A (zh) * | 2023-03-08 | 2023-06-27 | 阿里云计算有限公司 | 资源调度方法、装置、计算集群及数据库 |
| CN116360994A (zh) * | 2023-03-30 | 2023-06-30 | 中国联合网络通信集团有限公司 | 分布式异构资源池的调度方法、装置、服务器及存储介质 |
| CN116700933A (zh) * | 2023-08-02 | 2023-09-05 | 之江实验室 | 一种面向异构算力联邦的多集群作业调度系统和方法 |
| CN116841720A (zh) * | 2022-03-23 | 2023-10-03 | 腾讯科技（深圳）有限公司 | 资源配置方法、装置、计算机设备、存储介质及程序产品 |
-
2023
- 2023-12-01 CN CN202311632017.4A patent/CN117331678B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022213529A1 (zh) * | 2021-04-07 | 2022-10-13 | 华为云计算技术有限公司 | 实例部署方法、装置、云系统、计算设备及存储介质 |
| CN116841720A (zh) * | 2022-03-23 | 2023-10-03 | 腾讯科技（深圳）有限公司 | 资源配置方法、装置、计算机设备、存储介质及程序产品 |
| CN114756347A (zh) * | 2022-04-19 | 2022-07-15 | 中国联合网络通信集团有限公司 | 基于集群的服务器资源调度方法、装置、云平台及介质 |
| CN115145690A (zh) * | 2022-06-30 | 2022-10-04 | 小米汽车科技有限公司 | 集群资源伸缩方法、装置及容器集群管理系统 |
| CN116089090A (zh) * | 2023-02-10 | 2023-05-09 | 济南浪潮数据技术有限公司 | 一种图形显示器的虚拟资源配置方法、装置、设备、介质 |
| CN116339985A (zh) * | 2023-03-08 | 2023-06-27 | 阿里云计算有限公司 | 资源调度方法、装置、计算集群及数据库 |
| CN116360994A (zh) * | 2023-03-30 | 2023-06-30 | 中国联合网络通信集团有限公司 | 分布式异构资源池的调度方法、装置、服务器及存储介质 |
| CN116700933A (zh) * | 2023-08-02 | 2023-09-05 | 之江实验室 | 一种面向异构算力联邦的多集群作业调度系统和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 林起勋;钱德沛;栾钟治;: "集群资源管理及回填技术", 科研信息化技术与应用, no. 04, pages 17 - 28 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117648175A (zh) * | 2024-01-30 | 2024-03-05 | 之江实验室 | 一种基于动态算法选择的业务执行方法、装置及电子设备 |
| CN117648175B (zh) * | 2024-01-30 | 2024-04-12 | 之江实验室 | 一种基于动态算法选择的业务执行方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117331678B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11314551B2 (en) | Resource allocation and scheduling for batch jobs | |
| CN109565515B (zh) | 分布式资源管理系统中的动态租户结构调整的系统、设备和过程 | |
| CN107548549B (zh) | 分布式计算环境中的资源平衡 | |
| US10652319B2 (en) | Method and system for forming compute clusters using block chains | |
| CN108431796B (zh) | 分布式资源管理系统和方法 | |
| Yang et al. | A spatiotemporal compression based approach for efficient big data processing on cloud | |
| US9021477B2 (en) | Method for improving the performance of high performance computing applications on Cloud using integrated load balancing | |
| US10936589B1 (en) | Capability-based query planning for heterogenous processing nodes | |
| JP6241300B2 (ja) | ジョブスケジューリング装置、ジョブスケジューリング方法、およびジョブスケジューリングプログラム | |
| CN108549583B (zh) | 大数据处理方法、装置、服务器及可读存储介质 | |
| CN117331678B (zh) | 面向异构算力联邦的多集群作业资源规格计算方法和系统 | |
| US9870269B1 (en) | Job allocation in a clustered environment | |
| EP1408407A2 (en) | Method and apparatus for task allocation in a distributed computing environment | |
| Santos et al. | Zeus: A resource allocation algorithm for the cloud of sensors | |
| US11496413B2 (en) | Allocating cloud computing resources in a cloud computing environment based on user predictability | |
| CN113641457A (zh) | 容器创建方法、装置、设备、介质及程序产品 | |
| CN111464659A (zh) | 节点的调度、节点的预选处理方法、装置、设备及介质 | |
| US10268741B2 (en) | Multi-nodal compression techniques for an in-memory database | |
| KR102247249B1 (ko) | 데이터베이스 관리 시스템에서 비동기적 데이터 처리를 위한 컴퓨터 프로그램 | |
| WO2020215752A1 (zh) | 图计算方法及装置 | |
| US8819239B2 (en) | Distributed resource management systems and methods for resource management thereof | |
| CN116700933B (zh) | 一种面向异构算力联邦的多集群作业调度系统和方法 | |
| CN112527509A (zh) | 一种资源分配方法、装置、电子设备及存储介质 | |
| Yassir et al. | Graph-based model and algorithm for minimising big data movement in a cloud environment | |
| US11392424B2 (en) | Method and device for aiding decision-making for the allocation of computing means on a high performance computing infrastructure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |