CN117453392A - 一种资源的调度监控方法、装置、电子设备及存储介质 - Google Patents
一种资源的调度监控方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117453392A CN117453392A CN202311295784.0A CN202311295784A CN117453392A CN 117453392 A CN117453392 A CN 117453392A CN 202311295784 A CN202311295784 A CN 202311295784A CN 117453392 A CN117453392 A CN 117453392A
- Authority
- CN
- China
- Prior art keywords
- resource
- execution
- task
- scheduling
- resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 239000002699 waste material Substances 0.000 abstract description 12
- 230000004044 response Effects 0.000 abstract description 9
- 238000007726 management method Methods 0.000 description 18
- 230000007246 mechanism Effects 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012806 monitoring device Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013468 resource allocation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种资源的调度监控方法、装置、电子设备及存储介质，包括：基于接收到的每个执行任务的任务信息，确定出每个执行任务的资源调度优先级以及资源调度策略；基于每个执行任务的资源调度优先级、资源调度策略以及资源调度算法对每个执行任务相对应的资源进行获取，并采集执行资源得到的资源执行状态信息；基于获取到的监控策略，同时监控每个执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个执行任务的资源执行状态信息以及资源利用率对相对应的资源调度策略进行调整，以实现对所述资源进行最优分配。从而实现了避免资源的浪费和执行任务阻塞，提高了执行任务的执行效率和响应速度，确保资源的最优化分配。
Description
技术领域
本申请涉及资源调度的技术领域，尤其是涉及一种资源的调度监控方法、装置、电子设备及存储介质。
背景技术
近年来，云计算及相关理念的规模商用已经得到验证，通过大规模集中采购、建设和维护IT基础设施，建立运营商或企业内部云计算资源池，实现服务器资源、存储资源、网络资源的统一化、集中化、智能化调度和管理，同时考虑系统安全、负载均衡、数据各份、整体IT系统业务平台的平滑割接和弹性扩展等需求，可逐步降低整体IT系统的建设和运营成本，提高设备资源利用率。通过加快IT系统的部署速度从而推动业务系统的应用系统部署的速度。但是在进行资源调度的过程中需针对不同的资源采用不同的监控方法和工具。例如，针对处理器的监控可以使用性能分析工具，针对内存的监控可以使用内存跟踪工具，针对网络的监控可以使用网络监控工具等。然而通过分散的监控方法会导致监控信息不全面，并且资源的分配不合理。所以，如何对资源的调度进行分配成为了不容小觑的技术问题。
发明内容
有鉴于此，本申请的目的在于提供一种资源的调度监控方法、装置、电子设备及存储介质，通过多个执行任务的资源执行状态信息和资源利用率对不同的任务对象进行同时监控，并根据资源执行状态信息和资源利用对相对应的执行任务的资源调度策略进行动态调度，从而实现了避免资源的浪费和执行任务阻塞，提高了执行任务的执行效率和响应速度，确保资源的最优化分配。
本申请实施例提供了一种资源的调度监控方法，所述调度监控方法包括：
基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略；其中，每个所述执行任务对应的任务对象是不同的；
基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息；
基于获取到的监控策略，同时监控每个所述执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个所述执行任务的所述资源执行状态信息以及所述资源利用率对该执行任务的所述资源调度策略进行调整，以实现对所述资源进行最优分配。
在一种可能的实施方式之中，所述基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略，包括：
基于每个所述任务信息之中的任务处理等级，确定出每个所述执行任务的资源优先级；
针对于任一所述执行任务，当检测到该执行任务的所述任务信息之中存在高于所述任一任务处理等级的紧急处理等级时，基于所述紧急处理等级确定出该执行任务的资源优先级；
基于每个所述任务信息之中的资源调度需求，确定出每个所述执行任务的资源调度策略。
在一种可能的实施方式之中，所述基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，包括：
基于每个所述执行任务的资源调度优先级对每个所述执行任务进行排序；
利用所述资源调度算法对排序后的多个执行任务按照从高到底的顺序在资源列表中确定出与每个所述执行任务相匹配的资源，并对相对应的资源进行获取。
在一种可能的实施方式之中，通过以下步骤采集所述资源执行状态信息：
基于采集方式以及采集频率对所述资源执行状态信息进行获取；
其中，所述采集频率以及所述采集方式是根据所述任务信息进行设置的。
在一种可能的实施方式之中，在所述基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息之后，所述调度监控方法还包括：
对所述资源执行状态信息进行数据清洗处理以及异常检测处理，确定出处理后的多个资源执行状态信息；
对处理后的多个所述资源执行状态信息进行聚合汇总，确定出目标资源执行状态信息；
将所述目标资源执行状态信息进行存储。
在一种可能的实施方式之中，通过以下步骤获取所述监控策略：
响应于用户在用户界面或者是命令行接口上的配置参数指令以及配置选项指令，获取所述监控策略。
在一种可能的实施方式之中，通过以下步骤确定每个执行任务的所述资源利用率：
基于每个所述执行任务相对应的任务对象在历史时间段下的历史利用资源利用率，确定出每个所述任务对象的多个权重参数；
基于每个所述任务对象的多个权重参数以及每个所述执行任务的执行时间，确定出每个所述执行任务的所述资源利用率。
本申请实施例还提供了一种资源的调度监控装置，所述调度监控装置包括：
确定模块，用于基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略；其中，每个所述执行任务对应的任务对象是不同的；
采集模块，用于基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息；
调整模块，用于基于获取到的监控策略，同时监控每个所述执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个所述执行任务的所述资源执行状态信息以及所述资源利用率对该执行任务的所述资源调度策略进行调整，以实现对所述资源进行最优分配。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的资源的调度监控方法的步骤。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的资源的调度监控方法的步骤。
本申请实施例提供的一种资源的调度监控方法、装置、电子设备及存储介质，所述调度监控方法包括：基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略；其中，每个所述执行任务对应的任务对象是不同的；基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息；基于获取到的监控策略，同时监控每个所述执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个所述执行任务的所述资源执行状态信息以及所述资源利用率对相对应的所述资源调度策略进行调整，以实现对所述资源进行最优分配。通过多个执行任务的资源执行状态信息和资源利用率对不同的任务对象进行同时监控，并根据资源执行状态信息和资源利用对相对应的执行任务的资源调度策略进行动态调度，从而实现了避免资源的浪费和执行任务阻塞，提高了执行任务的执行效率和响应速度，确保资源的最优化分配。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种资源的调度监控方法的流程图；
图2为本申请实施例所提供的一种资源的调度监控装置的结构示意图之一；
图3为本申请实施例所提供的一种资源的调度监控装置的结构示意图之二；
图4为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容，结合特定应用场景“对资源的进行分配”，给出以下实施方式，对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。
本申请实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要对资源的调度进行监控的场景，本申请实施例并不对具体的应用场景作限制，任何使用本申请实施例提供的一种资源的调度监控方法、装置、电子设备及存储介质的方案均在本申请保护范围内。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于资源调度的技术领域。
经研究发现，近年来，云计算及相关理念的规模商用己经得到验证，通过大规模集中采购、建设和维护IT基础设施，建立运营商或企业内部云计算资源池，实现服务器资源、存储资源、网络资源的统一化、集中化、智能化调度和管理，同时考虑系统安全、负载均衡、数据各份、整体IT系统业务平台的平滑割接和弹性扩展等需求，可逐步降低整体IT系统的建设和运营成本，提高设备资源利用率。通过加快IT系统的部署速度从而推动业务系统的应用系统部署的速度。但是在进行资源调度的过程中需针对不同的资源采用不同的监控方法和工具。例如，针对处理器的监控可以使用性能分析工具，针对内存的监控可以使用内存跟踪工具，针对网络的监控可以使用网络监控工具等。然而通过分散的监控方法会导致监控信息不全面，并且资源的分配不合理。所以，如何对资源的调度进行分配成为了不容小觑的技术问题。
基于此，本申请实施例提供一种资源的调度监控方法，通过多个执行任务的资源执行状态信息和资源利用率对不同的任务对象进行同时监控，并根据资源执行状态信息和资源利用对相对应的执行任务的资源调度策略进行动态调度，从而实现了避免资源的浪费和执行任务阻塞，提高了执行任务的执行效率和响应速度，确保资源的最优化分配。
请参阅图1，图1为本申请实施例所提供的一种资源的调度监控方法的流程图。如图1中所示，本申请实施例提供的调度监控方法，包括：
S101：基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略；其中，每个所述执行任务对应的任务对象是不同的。
该步骤中，根据接收到的每个执行任务的任务信息，确定出每个执行任务的资源调度优先级以及资源调度策略。
其中，每个所述执行任务对应的任务对象是不同的，如，执行任务对应的任务对象可为CPU、内存存储器或者是其他对象。
其中，资源调度策略为对执行任务所需的资源进行调度的策略，如，所需资源信息的数量等其他信息。
其中，在本方案中的执行主体为资源管理调度平台。
在一种可能的实施方式之中，所述基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略，包括：
A：基于每个所述任务信息之中的任务处理等级，确定出每个所述执行任务的资源优先级。
这里，根据多个任务信息之中的任务处理等级，确定出每个执行任务的资源优先级。
其中，任务处理等级是在确定出执行任务后根据预设的处理等级分配自动生成的。
其中，任务处理等级越高对应的资源优先级越高。
B：针对于任一所述执行任务，当检测到该执行任务的所述任务信息之中存在高于所述任一任务处理等级的紧急处理等级时，基于所述紧急处理等级确定出该执行任务的资源优先级。
这里，对于任一执行任务，当检测到该执行任务的任务信息之中存在紧急处理等级时，则只需根据紧急处理等级确定出执行任务的资源优先级，无需考虑任务处理等级。
如，执行任务的任务处理等级为低级，但是该执行任务存有紧急处理等级，则无需考虑该执行任务的任务处理等级，直接根据该紧急处理任务等级优先确定出该执行任务的资源优先级为高级。
C：基于每个所述任务信息之中的资源调度需求，确定出每个所述执行任务的资源调度策略。
这里，根据每个任务信息之中的资源调度需求，确定出每个执行任务的资源调度策略。
其中，资源调度需求是根据业务需求进行设定的，如所需资源的数量、所需资源的内容以及所需资源的性质等。
S102：基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息。
该步骤中，根据每个执行任务的资源调度优先级、资源调度策略以及资源调度算法对每个执行任务相对应的资源进行获取，在每个执行任务的执行时间内对执行任务对相对应的所述资源进行执行，并采集执行资源得到的资源执行状态信息。
这里，资源调度算法的目标是通过合理的资源分配和调度，以最大化系统的整体性能，包括提高系统的吞吐量、降低系统的延迟等。同时资源调度算法需要避免资源之间的竞争和冲突，以确保资源的合理分配和调度。在设计资源调度算法时，首先需要根据系统需求和任务信息确定资源调度优先级和资源调度策略。例如，可以考虑优先执行紧急任务、高优先级任务等。另外，通过实时监测资源的状态，如CPU、内存、磁盘、系统负载、IO、网络等，可以了解资源的可用性和负载情况。结合执行任务的历史数据指标，可以应用预测算法对资源需求进行预测，从而提前进行资源分配和调度的决策，以实现资源的合理分配和调度。通过优化以上提到的资源调度算法，可以提升资源利用效率，减少资源的浪费和阻塞。
在一种可能的实施方式之中，所述基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，包括：
基于每个所述执行任务的资源调度优先级对每个所述执行任务进行排序；利用所述资源调度算法对排序后的多个执行任务按照从高到底的顺序在资源列表中确定出与每个所述执行任务相匹配的资源，并对相对应的资源进行获取。
这里，根据每个执行任务的资源调度优先级对每个执行任务进行排序，利用资源调度算法对排序后的执行任务按照从高到底的顺序在资源列表中确定出与每个执行任务相匹配的资源，并按照从高到底的顺序对每个执行任务相对应的资源进行获取。
其中，在传统调度算法的基础上，本方案考虑了具体的任务特点，以实现更加智能化的任务调度。本方案提出的资源调度算法用于综合考虑资源的优先级、任务执行时间等因素，以最优方式分配和调度资源，从而提高整体系统的效率。在调度算法的实现上提供了具体的解决方案，利用编程语言加上调度框架来实现新的调度算法，确保算法能够正确运行并与系统集成。其中算法采用最佳适应性调度(Best Fit Scheduling)当一个执行任务的资源请求到达资源时，资源监控管理调度平台会检查可用资源列表，并选择一个大小最接近或能够满足请求的资源。如果找到了一个完全匹配的资源，资源监控管理调度平台会将该资源分配给请求者，并从可用资源列表中移除该资源。如果没有找到完全匹配的资源，系统会选择一个大小最接近请求的资源，并分配给请求者。这样可以最大程度地减少资源的浪费。如果有多个大小相同的资源可以满足请求，资源监控管理调度平台可以根据资源的位置、资源的性能以及其他因素确定出执行任务相对应的资源。
在一种可能的实施方式之中，通过以下步骤采集所述资源执行状态信息：
基于采集方式以及采集频率对所述资源执行状态信息进行获取；其中，所述采集频率以及所述采集方式是根据所述任务信息进行设置的。
这里，根据采集方式以及采集频率对资源执行状态信息进行获取。
其中，需要根据需求和资源特性对采集频率进行合理的设置，如，对于需要实时监控的资源执行状态信息相对应的采集频率通常较高，例如每秒钟采集一次；而对于相对稳定的资源执行状态信息，则可以降低采集频率，例如每分钟或每小时采集一次。
其中，使用轮询方式时资源管理调度平台会周期性地向被监控对象(执行任务)发送请求，获取资源执行状态信息。而事件触发方式则通过监听特定的事件(如系统启动、进程创建、网络连接等)，当事件触发时立即进行资源执行状态信息的采集。
在本方案中，除了对资源执行状态信息进行采集以外，还可以对资源指标进行采集，使得资源管理调度平台能够实时采集资源指标以及处理资源得到的资源执行状态信息作为的监控数据。数据采集和处理的具体实现方式，通过编写定制化的数据采集程序，实现了更高效、更可靠的数据采集和处理。
在一种可能的实施方式之中，在所述基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息之后，所述调度监控方法还包括：
(1)：对所述资源执行状态信息进行数据清洗处理以及异常检测处理，确定出处理后的多个资源执行状态信息。
这里，先对资源执行状态信息进行数据清洗处理首先，去除无效或重复的信息。然后再进行异常检测，识别和标记异常信息，得到处理后的资源执行状态信息。
(2)：对处理后的多个所述资源执行状态信息进行聚合汇总，确定出目标资源执行状态信息，将所述目标资源执行状态信息进行存储。
这里，对处理后的多个资源执行状态信息进行聚合汇总，确定出目标资源执行状态信息，然后对目标资源执行状态信息进行存储，以便用户根据存储后的目标资源执行状态信息查找目标信息。
其中，将处理后得到的目标资源执行状态信息存储到数据库或时间序列数据库中，以供后续查询和分析使用。
S103：基于获取到的监控策略，同时监控每个所述执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个所述执行任务的所述资源执行状态信息以及所述资源利用率对该执行任务的所述资源调度策略进行调整，以实现对所述资源进行最优分配。
该步骤中，根据获取到的监控策略，同时监控每个执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以根据每个执行任务的资源执行状态信息以及资源利用率对相对应的资源调度策略进行调整，以实现对资源进行最优分配。
这里，实时根据执行任务的资源执行状态信息以及资源利用率对该执行任务的资源调度策略进行动态调整，如当前时间下执行任务的资源执行状态信息以及资源利用率较低，则对资源调度策略之中的所需资源的数量进行降低。
在一种可能的实施方式之中，通过以下步骤获取所述监控策略：
响应于用户在用户界面或者是命令行接口上的配置参数指令以及配置选项指令，获取所述监控策略。
这里，通过编写配置和管理程序，可以进行监控策略的配置和管理操作。用户界面和命令行接口提供了可配置的参数和选项，用于设置监控策略的各项参数，如资源的监控周期、阈值等。用户界面和命令行接口具备灵活的配置和管理能力，允许使用自定义监控策略和规则。可以使用配置文件来编辑和保存自己的监控策略，满足特定的监控需求。同时，利用插件机制，可以扩展和定制监控策略的功能，提供更加强大和个性化的监控方案。为了增加灵活性和扩展性，系统采用了配置文件和插件机制这两种方法。并且通过配置文件修改和管理监控策略，而不需要修改源代码。插件机制允许根据需要自定义监控策略和规则，通过编写自己的插件来扩展监控功能。系统具备了较高的灵活性和可扩展性，适应不同应用场景和监控需求的变化。
这里，除了用户配置监控策略以外资源管理调度平台也会存有监控策略。
这里，利用用户界面和命令行接口可以更方便、更直观地配置和管理监控策略。新的监控策略配置和管理功能的实现方案，通过编写配置和管理程序，实现了更灵活、可扩展的监控策略管理。灵活性和扩展性的管理机制，如配置文件、插件机制等，使得监控策略能够根据具体需求进行定制和扩展。
在一种可能的实施方式之中，通过以下步骤确定每个执行任务的所述资源利用率：
i：基于每个所述执行任务相对应的任务对象在历史时间段下的历史利用资源利用率，确定出每个所述任务对象的多个权重参数。
这里，根据每个执行任务相对应的任务对象在历史时间段下的历史利用资源利用率，确定出每个任务对象的多个权重参数。
CPU作为任务对象的资源利用率的预测公式为：
CPU_utilization(t)＝a*CPU_utilization(t-1)+b*CPU_utilization(t-2)+...+c*CPU_utilization(t-n)。
其中，CPU_utilization(t)为在历史时间段下的CPU的历史利用资源利用率，a、b、c为权重参数，n是历史数据的时间窗口大小。通过对历史数据进行线性回归分析，可以得到合适的权重参数。
内存存储器作为任务对象的资源利用率的预测公式为：
memory_usage(t)＝d*memory_usage(t-1)+e*memory_usage(t-2)+...+f*memory_usage(t-n)。
其中，memory_usage(t)为在历史时间段下内存存储器的历史利用资源利用率，d、e、f为权重参数，n是历史数据的时间窗口大小。
ii：基于每个所述任务对象的多个权重参数以及每个所述执行任务的执行时间，确定出每个所述执行任务的所述资源利用率。
这里，根据每个任务对象的多个权重参数以及每个执行任务的执行时间，确定出每个执行任务的资源利用率。
在本方案中结合历史数据可以应用预测算法对资源需求进行预测，从而提前进行资源分配和调度的决策，以实现资源的合理分配和调度。通过优化以上提到的资源调度算法，可以提升资源利用效率，减少资源的浪费和阻塞。
在一示例中，资源管理调度平台接收每个执行任务的任务信息，并根据任务信息之中的任务处理等级或者是紧急任务处理等级，确定出每个执行任务的资源优先级，并根据任务信息之中的资源调度需求确定出每个执行任务的资源调度策略。根据每个执行任务的资源调度优先级对每个执行任务进行排序，在资源列表中确定出排序后的执行任务相对应的资源，并按照从高到低的顺序对执行任务的资源进行获取，根据资源优先级按照从高到低的顺序执行在执行时间内对执行任务对相对应的资源进行执行，并根据采集频率以及采集方式采集执行资源得到的资源执行状态信息，根据用户预先设置的监控策略同时监控多个执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，可以对任务执行过程中的关键指标和状态进行及时监控和反馈。并利用每个执行任务的资源执行状态信息以及资源利用率对相对应的资源调度策略进行调整，从而实现了避免资源的浪费和执行任务阻塞，提高了执行任务的执行效率和响应速度，确保资源的最优化分配。
在另一示例中，资源管理调度平台接收每个执行任务的任务信息，并根据任务信息之中的任务处理等级或者是紧急任务处理等级，确定出每个执行任务的资源优先级，并根据任务信息之中的资源调度需求确定出多个执行任务共同的资源调度策略，在该资源调度策略中包括每个执行任务的资源需求量等其他信息。根据每个执行任务的资源调度优先级对每个执行任务进行排序，在资源列表中确定出排序后的执行任务相对应的资源，并按照从高到低的顺序对执行任务的资源进行获取，根据资源优先级按照从高到低的顺序执行在执行时间内对执行任务对相对应的资源进行执行，并根据采集频率以及采集方式采集执行资源得到的资源执行状态信息，根据用户预先设置的监控策略同时监控多个执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，可以对任务执行过程中的关键指标和状态进行及时监控和反馈。并利用每个执行任务的资源执行状态信息以及资源利用率对资源调度策略中该执行任务所对应的资源需求量以及其他信息进行动态调整，从而实现了避免资源的浪费和执行任务阻塞，提高了执行任务的执行效率和响应速度，确保资源的最优化分配。
在本方案中通过一体化的调度和监控策略，实时监控执行任务的执行状态和资源的利用情况，并根据监控结果进行动态调度和资源优化。这样可以有效避免资源的浪费和任务的阻塞，提高任务的执行效率和响应速度。优化资源利用率，通过实时监控和分析资源的利用情况，系统可以根据需求进行动态的资源分配和调度。这样可以避免资源的过度或不足使用，提高资源的利用率，确保资源的最优化分配。提供智能化的任务调度策略。可以根据任务的优先级、执行时间等因素，智能地进行任务调度和资源分配。这样可以确保关键任务优先执行，提高系统的智能化和自适应能力。实时监控和反馈，通过采集和处理实时的监控数据，可以对任务执行过程中的关键指标和状态进行及时监控和反馈。这样可以帮助用户了解任务执行的情况，及时发现问题并做出相应调整，提高系统的稳定性和可靠性。灵活性和可扩展性，通过设计灵活的监控策略管理机制，用户可以根据实际需求进行监控策略的配置和管理。同时，系统提供插件机制和扩展接口，使得监控策略可以根据不同的应用场景进行定制和扩展，增加系统的灵活性和适应性。
本申请实施例提供的一种资源的调度监控方法，所述调度监控方法包括：基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略；其中，每个所述执行任务对应的任务对象是不同的；基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息；基于获取到的监控策略，同时监控每个所述执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个所述执行任务的所述资源执行状态信息以及所述资源利用率对相对应的所述资源调度策略进行调整，以实现对资源进行最优分配。通过多个执行任务的资源执行状态信息和资源利用率对不同的任务对象进行同时监控，并根据资源执行状态信息和资源利用对相对应的执行任务的资源调度策略进行动态调度，从而实现了避免资源的浪费和执行任务阻塞，提高了执行任务的执行效率和响应速度，确保资源的最优化分配。
请参阅图2、图3，图2为本申请实施例所提供的一种资源的调度监控装置的结构示意图之一；图3为本申请实施例所提供的一种资源的调度监控装置的结构示意图之二。如图2中所示，所述调度监控装置200包括：
确定模块210，用于基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略；其中，每个所述执行任务对应的任务对象是不同的；
采集模块220，用于基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息；
调整模块230，用于基于获取到的监控策略，同时监控每个所述执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个所述执行任务的所述资源执行状态信息以及所述资源利用率对该执行任务的所述资源调度策略进行调整，以实现对所述资源进行最优分配。
进一步的，确定模块210在用于所述基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略时，包括：
基于每个所述任务信息之中的任务处理等级，确定出每个所述执行任务的资源优先级；
针对于任一所述执行任务，当检测到该执行任务的所述任务信息之中存在高于所述任一任务处理等级的紧急处理等级时，基于所述紧急处理等级确定出该执行任务的资源优先级；
基于每个所述任务信息之中的资源调度需求，确定出每个所述执行任务的资源调度策略。
进一步的，采集模块220在用于所述基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取时，采集模块220具体用于：
基于每个所述执行任务的资源调度优先级对每个所述执行任务进行排序；
利用所述资源调度算法对排序后的多个执行任务按照从高到底的顺序在资源列表中确定出与每个所述执行任务相匹配的资源，并对相对应的资源进行获取。
进一步的，采集模块220通过以下步骤采集所述资源执行状态信息：
基于采集方式以及采集频率对所述资源执行状态信息进行获取；
其中，所述采集频率以及所述采集方式是根据所述任务信息进行设置的。
进一步的，如图3所示，调度监控装置200还包括处理模块240，所述处理模块240用于：
对所述资源执行状态信息进行数据清洗处理以及异常检测处理，确定出处理后的多个资源执行状态信息；
对处理后的多个所述资源执行状态信息进行聚合汇总，确定出目标资源执行状态信息；
将所述目标资源执行状态信息进行存储。
进一步的，进一步的，如图3所示，调度监控装置200还包括策略配置模块250，所述策略配置模块250用于：
响应于用户在用户界面或者是命令行接口上的配置参数指令以及配置选项指令，获取所述监控策略。
进一步的，调整模块230通过以下步骤确定每个执行任务的所述资源利用率：
基于每个所述执行任务相对应的任务对象在历史时间段下的历史利用资源利用率，确定出每个所述任务对象的多个权重参数；
基于每个所述任务对象的多个权重参数以及每个所述执行任务的执行时间，确定出每个所述执行任务的所述资源利用率。
本申请实施例提供的一种资源的调度监控装置，所述调度监控装置包括：确定模块，用于基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略；其中，每个所述执行任务对应的任务对象是不同的；采集模块，用于基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息；调整模块，用于基于获取到的监控策略，同时监控每个所述执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个所述执行任务的所述资源执行状态信息以及所述资源利用率对相对应的所述资源调度策略进行调整。通过多个执行任务的资源执行状态信息和资源利用率对不同的任务对象进行同时监控，并根据资源执行状态信息和资源利用对相对应的执行任务的资源调度策略进行动态调度，从而实现了避免资源的浪费和执行任务阻塞，提高了执行任务的执行效率和响应速度，确保资源的最优化分配。
请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。
所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1所示方法实施例中的资源的调度监控方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的资源的调度监控方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种资源的调度监控方法，其特征在于，所述调度监控方法包括：
基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略；其中，每个所述执行任务对应的任务对象是不同的；
基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息；
基于获取到的监控策略，同时监控每个所述执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个所述执行任务的所述资源执行状态信息以及所述资源利用率对该执行任务的所述资源调度策略进行调整，以实现对所述资源进行最优分配。
2.根据权利要求1所述的调度监控方法，其特征在于，所述基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略，包括：
基于每个所述任务信息之中的任务处理等级，确定出每个所述执行任务的资源优先级；
针对于任一所述执行任务，当检测到该执行任务的所述任务信息之中存在高于所述任一任务处理等级的紧急处理等级时，基于所述紧急处理等级确定出该执行任务的资源优先级；
基于每个所述任务信息之中的资源调度需求，确定出每个所述执行任务的资源调度策略。
3.根据权利要求1所述的调度监控方法，其特征在于，所述基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，包括：
基于每个所述执行任务的资源调度优先级对每个所述执行任务进行排序；
利用所述资源调度算法对排序后的多个执行任务按照从高到底的顺序在资源列表中确定出与每个所述执行任务相匹配的资源，并对相对应的资源进行获取。
4.根据权利要求1所述的调度监控方法，其特征在于，通过以下步骤采集所述资源执行状态信息：
基于采集方式以及采集频率对所述资源执行状态信息进行获取；
其中，所述采集频率以及所述采集方式是根据所述任务信息进行设置的。
5.根据权利要求1所述的调度监控方法，其特征在于，在所述基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息之后，所述调度监控方法还包括：
对所述资源执行状态信息进行数据清洗处理以及异常检测处理，确定出处理后的多个资源执行状态信息；
对处理后的多个所述资源执行状态信息进行聚合汇总，确定出目标资源执行状态信息；
将所述目标资源执行状态信息进行存储。
6.根据权利要求1所述的调度监控方法，其特征在于，通过以下步骤获取所述监控策略：
响应于用户在用户界面或者是命令行接口上的配置参数指令以及配置选项指令，获取所述监控策略。
7.根据权利要求1所述的调度监控方法，其特征在于，通过以下步骤确定每个执行任务的所述资源利用率：
基于每个所述执行任务相对应的任务对象在历史时间段下的历史利用资源利用率，确定出每个所述任务对象的多个权重参数；
基于每个所述任务对象的多个权重参数以及每个所述执行任务的执行时间，确定出每个所述执行任务的所述资源利用率。
8.一种资源的调度监控装置，其特征在于，所述调度监控装置包括：
确定模块，用于基于接收到的每个执行任务的任务信息，确定出每个所述执行任务的资源调度优先级以及资源调度策略；其中，每个所述执行任务对应的任务对象是不同的；
采集模块，用于基于每个所述执行任务的资源调度优先级、所述资源调度策略以及资源调度算法对每个所述执行任务相对应的资源进行获取，在每个所述执行任务的执行时间内对所述执行任务对相对应的所述资源进行执行，并采集执行所述资源得到的资源执行状态信息；
调整模块，用于基于获取到的监控策略，同时监控每个所述执行任务在对应的执行时间内的资源执行状态信息以及资源利用率，以基于每个所述执行任务的所述资源执行状态信息以及所述资源利用率对该执行任务的所述资源调度策略进行调整，以实现对所述资源进行最优分配。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的资源的调度监控方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的资源的调度监控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311295784.0A CN117453392A (zh) | 2023-10-08 | 2023-10-08 | 一种资源的调度监控方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311295784.0A CN117453392A (zh) | 2023-10-08 | 2023-10-08 | 一种资源的调度监控方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117453392A true CN117453392A (zh) | 2024-01-26 |
Family
ID=89590035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311295784.0A Pending CN117453392A (zh) | 2023-10-08 | 2023-10-08 | 一种资源的调度监控方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117453392A (zh) |
-
2023
- 2023-10-08 CN CN202311295784.0A patent/CN117453392A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2633403B1 (en) | System and method of active risk management to reduce job de-scheduling probability in computer clusters | |
| US10429921B2 (en) | Datacenter power management optimizations | |
| US7308687B2 (en) | Method and system for managing resources in a data center | |
| US8122453B2 (en) | Method and system for managing resources in a data center | |
| WO2021179462A1 (zh) | 基于改进量子蚁群算法的Spark平台任务调度方法 | |
| JP5496518B2 (ja) | 集中電力管理方法、装置側エージェント、集中電力管理コントローラ及び集中電源管理システム | |
| US11010196B2 (en) | Capacity analysis using closed-system modules | |
| US20180027058A1 (en) | Technologies for Efficiently Identifying Managed Nodes Available for Workload Assignments | |
| US9389916B1 (en) | Job scheduling management | |
| EP4068090A1 (en) | Container scheduling method and apparatus, and non-volatile computer-readable storage medium | |
| CN104679595B (zh) | 一种面向应用的IaaS层动态资源分配方法 | |
| Sun et al. | Rose: Cluster resource scheduling via speculative over-subscription | |
| US20080229126A1 (en) | Computer system management and throughput maximization in the presence of power constraints | |
| WO2005116833A1 (en) | Method and apparatus for dynamic cpu resource management | |
| WO2005124553A1 (en) | Autonomic monitoring in a grid environment | |
| JP2008527514A5 (zh) | ||
| WO2011076608A2 (en) | Goal oriented performance management of workload utilizing accelerators | |
| CN111459641B (zh) | 一种跨机房的任务调度和任务处理的方法及装置 | |
| US8819239B2 (en) | Distributed resource management systems and methods for resource management thereof | |
| US9607275B2 (en) | Method and system for integration of systems management with project and portfolio management | |
| CN113672345A (zh) | 一种基于io预测的云虚拟化引擎分布式资源调度方法 | |
| CN117608840A (zh) | 一种智能监控系统资源综合管理的任务处理方法及系统 | |
| US10725819B2 (en) | System and method for scheduling and allocating data storage | |
| CN117369941A (zh) | Pod调度方法和系统 | |
| Zharikov et al. | Cloud resource management with a hybrid virtual machine consolidation approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |