CN115495231B - 一种高并发任务复杂场景下的动态资源调度方法及系统 - Google Patents

一种高并发任务复杂场景下的动态资源调度方法及系统 Download PDF

Info

Publication number
CN115495231B
CN115495231B CN202210953139.2A CN202210953139A CN115495231B CN 115495231 B CN115495231 B CN 115495231B CN 202210953139 A CN202210953139 A CN 202210953139A CN 115495231 B CN115495231 B CN 115495231B
Authority
CN
China
Prior art keywords
task
resource
server
information
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210953139.2A
Other languages
English (en)
Other versions
CN115495231A (zh
Inventor
王换换
吴响
李奕霖
李瑞瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou Honga Electronic Technology Co ltd
Xuzhou Medical University
Original Assignee
Xuzhou Honga Electronic Technology Co ltd
Xuzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou Honga Electronic Technology Co ltd, Xuzhou Medical University filed Critical Xuzhou Honga Electronic Technology Co ltd
Priority to CN202210953139.2A priority Critical patent/CN115495231B/zh
Publication of CN115495231A publication Critical patent/CN115495231A/zh
Application granted granted Critical
Publication of CN115495231B publication Critical patent/CN115495231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种高并发任务复杂场景下的动态资源调度方法及系统，所述方法包括步骤：由中心服务器获取系统所有资源节点上运行的进程信息及资源占用情况，计算系统资源使用率，建立节点负载和资源使用率之间的关系；获取系统并发任务进程集合，建立任务等级序列，根据节点资源负载和任务等级序列进行资源分配，本发明实现动态的服务器资源调度，具有按需服务、有效监测、高效可扩展的特点，构建了具有资源集中、动态配置、安全可靠的高并发任务复杂场景下的动态资源调度系统，有效地解决复杂场景计算系统运营成本高、资源利用率低等问题。

Description

一种高并发任务复杂场景下的动态资源调度方法及系统
技术领域
本发明属于计算系统应用和资源调度技术领域，具体涉及一种高并发任务复杂场景下的动态资源调度方法及系统。
背景技术
随着科技的发展，大量的计算设备已经广泛运用于科研工作中，很多研究机构和科研院所都相继建立了自己的科研专用数据中心或计算系统。在目前的复杂场景计算系统建设和应用中，大多数采用静态调度算法对单一的整机资源进行调度与分配，通常没有实现对多个服务器特定的进程同时进行资源调度和统筹规划，不能合理掌握执行高并发计算任务时系统资源的占用情况。并且静态调度算法是在创建、迁移的调度过程中，按照任务类型来筛选目标物理主机，不能根据系统和物理主机的实际负载进行调度。随着计算系统的长期运营和系统资源的不断分配，静态调度算法将逐渐导致CPU、内存、存储等基础资源出现分配不均衡等问题，产生大量的能耗和计算资源浪费，严重影响计算系统的使用。
发明内容
本发明的目的在于提供一种高并发任务复杂场景下的动态资源调度方法及系统，以解决的高并发任务复杂场景下计算系统建设中存在的成本、资源利用及管理方面问题。
为实现上述目的，本发明提供如下技术方案：一种高并发任务复杂场景下的动态资源调度方法，具体步骤如下：
步骤一：构建资源监管机制，将系统服务器划分为中心服务器和资源节点服务器，由中心服务器获取所有节点服务器上运行的进程信息及资源占用情况，计算各个任务服务器资源使用率，建立服务器负载和资源使用率之间的关系，并生成资源信息汇总表，监管过程为根据所述每个进程对所在节点服务器的资源占用信息以及所述目标任务的资源占用情况及节点服务器性能进行实时监控；
步骤二：建立高并发任务获取功能，由中心服务器获取用户提交的任务执行信息从而建立完整的任务结构信息用于后续任务的调度执行。中心服务器收集汇总所有任务结构信息，构成任务状态集合，
步骤三：构建动态资源调度策略，通过中心服务器依据任务状态集合中的初始任务等级排序，按照优先级顺序依次匹配资源信息表中的任务节点服务器执行目标任务；基于窗口机制和动态阈值机制，每隔时间间隔T遍历任务进程序列，根据所监控资源信息计算各节点资源负载情况，动态调控任务资源分配，并更新任务状态集合；
步骤四：建立复杂场景下资源回收策略，基于服务器的流量监控方法，对任务节点不同的关联进程进行流量监控，利用对所述监控的流量进行分析，实现对非法用户提交的恶意任务进行识别以及对疑似异常任务进行监控预警，及时释放异常进程的资源占用。
优选的，步骤一中所述资源节点服务器资源使用率计算方法为：节点服务器上当前运行的进程所占用的资源相对于该服务器固有资源总量的比值，所述资源信息表为包含各个任务节点进程资源信息、资源使用率和服务器性能的汇总信息，所述根据节点服务器进程信息和资源占用情况，建立服务器负载与资源使用率之间的关系表述为：建立服务器任务进程与资源使用率之间的关系，以表征节点服务器当前性能，具体表示为：
其中U0为节点服务器的最佳使用率，U为节点服务器当前实时使用率，P为节点服务器当前的负载性能表征参数。
优选的，步骤二中所述任务需求包括：用户提交的完成任务所必须具备的完整描述和任务具体操作过程，所述任务等级划分具体为：将任务执行时间、任务执行截止时间以及任务期限时间作为主要依据划分任务等级，等级较高的任务可具有较高的优先执行顺序以及资源利用率，所述任务状态集合具体为中心服务器接收的所有任务信息结构以及包含任务执行状态信息的汇总信息，以及任务的状态转换关系，包括任务执行顺序，执行状态，执行时间，执行结果；所述任务执行状态是目标任务被任务管理系统进行调用处理的状态。
优选的，步骤三中所述基于窗口机制具体为：利用窗口机制的时间序列任务调度方法，包括短时间周期处理机制和长时间周期处理机制，进行任务执行进程序列的状态检查，所述短时间序列处理机制用于处理短时间序列任务资源，保证短期内资源的时效性；所述长时间周期处理机制用于处理长时间序列任务资源，并从中提取出周期性规律。最后将两部分结合起来，得到更好的资源调度效果。
优选的，步骤三中所述动态阈值机制具体为：凭借所述资源监管机制实时监测节点资源中对应的监测负载，并获取每个任务监测负载的实时值；确定与所述监测负载实时值的获取时刻对应的动态阈值，所述动态阈值包括与所述获取时刻对应的各项监测负载的阈值；将所述各项监测负载的实时值与动态阈值策略中对应的负载阈值进行比对，如果存在其实时值大于对应负载阈值的监测负载，则界定该节点为超负载状态。
优选的，步骤四中所述流量监控方法具体为：利用各节点本地服务层的流量读写接口，获取所述任务关联进程的流量监控数据作为监控流量，并上传至中心服务器；中心服务器对监控的流量数据进行分析，在服务器中设置历史流量数据库，记录任务关联进程执行时间内的流量数据作为对比流量；根据历史流量信息预设所监控流量与对比流量的正常差值范围；通过服务器对流量数据进行判断分析，如果监控流量和对比流量的差值超过预设的范围，则对异常的任务进程进行标记预警；所述释放异常进程的资源占用方法具体为：根据所述流量监控预警进一步设置资源回收规则，对于标记为异常任务进程设定报警阈值，当预警到达一定的次数则自动回收该任务进程所占用的系统资源。
一种高并发任务复杂场景下的动态资源调度方法的系统，其特征在于：包括资源监管模块、任务执行模块、任务调度模块和资源回收模块。
进一步的，所述资源监管模块具体为根据资源监控任务构建对应的资源管理策略，根据所述资源管理策略处理节点服务，判断是否需要对所述节点服务实例涉及的资源设置监管。
进一步的，所述任务执行模块具体为将所述高并发任务包含的详细信息和处理过程进行相应的分析处理并汇总记录至任务集合；所述任务调度模块具体为根据所述目标服务实例中部署的资源监控任务获取所述服务实例运行的任务集合，并配置所述节点服务实例根据所述资源调度策略执行目标任务并提供任务结果。
进一步的，所述资源回收模块具体为依据所述中心服务实例的资源监管任务，监控分析任务进程实时流量数据和历史流量数据，对任务进程实施异常预警和系统资源回收。
本发明的技术效果和优点：本发明可以通过资源监管机制的制定实现实时监控，并且可以建立完整的任务信息用于后期调度工作，利用构建动态调度策略进行等级排序，实现快速的进行资源分配和更新，还可以利用对所述监控的流量进行分析，实现对非法用户提交的恶意任务进行识别以及对疑似异常任务进行监控预警，实现动态的服务器资源调度，具有按需服务、有效监测、高效可扩展的特点，构建了具有资源集中、动态配置、安全可靠的高并发任务复杂场景下的动态资源调度系统，有效地解决复杂场景计算系统运营成本高、资源利用率低等问题，
附图说明
图1为一种高并发任务复杂场景下的动态资源调度方法及系统架构示意图；
图2为一种高并发任务复杂场景下的动态资源调度方法及系统资源监管功能示意图；
图3为一种高并发任务复杂场景下的动态资源调度方法及系统任务管理功能示意图；
图4为一种高并发任务复杂场景下的动态资源调度方法及系统动态资源调度策略示意图；
图5为一种高并发任务复杂场景下的动态资源调度方法及系统资源回收功能流程图；
图6为一种高并发任务复杂场景下的动态资源调度方法及系统模块划分示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1-6中所示的一种高并发任务复杂场景下的动态资源调度方法及系统，如图1所示本发明实施例系统结构，首先由中心服务器获取所有节点服务器上运行的进程信息及资源占用情况，计算各个任务服务器资源使用率，建立服务器负载和资源使用率之间的关系，并生成资源信息汇总表；
然后中心服务器获取用户提交的任务执行信息，包括任务需求和任务期限，根据任务需求确定相应的资源需求、根据任务期限确定初始任务等级，从而建立完整的任务结构信息用于后续任务的调度执行。中心服务器收集汇总所有任务结构信息，构成任务状态集合；
其次中心服务器依据任务状态集合中的初始任务等级排序，按照优先级顺序依次匹配资源信息表中的任务节点服务器执行目标任务；基于窗口机制和动态阈值机制，每隔时间间隔T遍历任务进程运行序列，根据所监控资源信息计算各节点资源使用负载情况，动态调控任务资源分配，并更新任务状态集合；
最后基于服务器的流量监控方法，对任务节点不同的关联进程进行流量监控，利用对所述监控的流量进行分析，实现对非法用户提交的恶意任务进行识别以及对疑似异常任务进行监控预警，及时释放异常进程的资源占用；
如图2所示本发明实施例系统资源监管功能具体为以下步骤：
步骤一：将系统服务器划分为中心服务器和资源节点服务器，由中心服务器获取系统每个节点服务器上运行的进程的信息、每个进程的进程信息对所述每一个进程进行标记、根据进程标记结果得到每个进程所在节点服务器的资源占用信息，包括CPU资源、内存资源和硬盘存储资源在内的任意一个或多个资源；
步骤二：计算各个资源节点服务器的资源使用率，表示为节点服务器上当前运行的进程所占用的资源相对于该服务器固有资源总量的比值，资源使用率包括CPU资源、内存资源和存储资源的使用率，表示为：
其中，∑表示对系统所有节点进行求和；
步骤三：计算服务器任务进程与资源使用率之间的关系，以表征节点服务器当前性能，具体表示为：其中U0为节点服务器的最佳使用率，U为节点服务器当前实时使用率，P为节点服务器当前的负载性能表征参数；
步骤四：建立包含各个任务节点进程资源信息、资源使用率和服务器性能的资源信息汇总表，对所述目标任务的资源占用情况及节点服务器性能进行实时监控；
如图3所示本发明实施例任务管理功能包括以下内容：
(1)用户向系统提交任务需求，包括完成任务所必须具备的完整描述和任务具体操作过程和所要求的任务完成期限；中心服务器获取所述的任务信息，负责所有相关信息的接收和汇总，建立任务获取功能模块；
(2)中心服务器根据用户提交的任务需求确定相应的系统资源需求，主要根据所述任务的完整描述和具体操作过程确定涉及CPU、内存、存储等基础资源分配；根据用户提交的任务期限将任务执行时间、任务执行截止时间作为主要依据划分任务等级，等级较高的任务获得较高的优先执行顺序以及资源使用权；结合原始任务信息和任务期限，建立完整的任务结构信息用于后续任务的调度执行；
(3)由中心服务器汇总所有任务结构信息，构成任务状态集合。任务状态集合具体为中心服务器接收的所有任务信息结构和包含任务执行状态信息的汇总信息，以及任务的状态转换关系，包括任务执行顺序，执行状态，执行时间，执行结果，其中任务执行状态是目标任务被任务管理系统进行调用处理的状态；
如图4所示本发明实施例动态资源调度策略包括以下内容：
(1)中心服务器依据任务状态集合中的初始任务等级排序，按照优先级顺序依次匹配资源信息表中的节点服务器执行目标任务；基于窗口机制和动态阈值机制，每隔时间间隔T遍历任务进程运行序列，根据所监控资源信息计算各节点资源负载情况，动态调控任务资源分配，并更新任务状态集合；
(2)利用窗口机制的时间序列任务调度方法，包括短时间周期处理机制和长时间周期处理机制，进行任务进程序列的状态检查；其中，所述短时间序列处理机制用于处理短时间序列任务资源，保证短期内资源的时效性；所述长时间周期处理机制用于处理长时间序列任务资源，并从中提取出周期性规律，最后将两部分结合起来，得到更好的资源调度效果；
(3)资源监管机制实时监测节点资源中各资源对应的监测负载，包括CPU占用、网络流量、内存使用量、web服务等相关负载，并获取每个任务监测负载的实时值，可以按照以下公式进行计算：
SL＝R1*α1+R2*α2+…+Ri*αi
其中SL表示节点资源负载，Ri表示该节点资源一个监测项的实时负载，αi代表该监测项的权重指数；
确定与所监测负载实时值的获取时刻相对应的动态阈值，所述动态阈值包括与所述获取时刻对应的各项监测负载的阈值；将各项监测负载的实时值与所述动态阈值策略中对应的负载阈值进行比对，如果存在其实时值大于对应负载阈值的监测负载，则界定该节点为超负载状态；
如图5所示本发明实施例资源回收功能包括以下过程：
(1)基于服务器的流量监控方法，对任务节点不同的关联进程进行流量监控。利用各节点本地服务层的流量读写接口，获取所述任务关联进程的流量监控数据作为监控流量，并上传至中心服务器；
(2)在中心服务器中设置历史流量数据库，记录任务关联进程执行时间内的流量数据，通过中心服务器对所述监控进程的实时流量进行分析，并记录相关的实时流量数据；
(3)根据历史流量信息预设监控流量与对比流量的正常差值范围，通过服务器对流量数据进行判断分析，如果监控流量和对比流量的差值超过预设的范围，则对异常的任务进程进行标记预警；
(4)根据流量监控预警进一步设置资源回收相关规则，对于标记为异常任务进程设定报警阈值，当预警到达一定的次数后及时释放回收异常进程的资源占用；
如图6所示本发明实施例系统模块划分包括以下内容：
资源监管模块：构建系统资源监控任务，将资源监控任务部署至要进行资源监控的中心服务实例，根据资源监控任务构建对应的资源管理策略，根据所述资源监管策略处理节点服务，判断是否需要对所述节点服务实例所包括的资源设置监管；
任务执行模块：执行高并发任务获取功能，获取用户向所述服务实例提交的高并发任务，将所述高并发任务包含的详细信息和执行过程进行相应的分析处理并汇总记录至任务集合；
任务调度模块：根据所述目标服务实例中部署的资源监控任务获取所述服务实例运行的任务集合，并配置所述节点服务实例根据所述资源调度策略执行目标任务并提供任务结果；
资源回收模块：部署节点资源回收策略，依据所述中心服务实例的资源监管任务，监控分析任务进程实时流量数据和历史流量数据，对任务进程实施异常预警和系统资源回收。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高并发任务复杂场景下的动态资源调度方法，具体步骤如下：
步骤一：构建资源监管机制，将系统服务器划分为中心服务器和资源节点服务器，由中心服务器获取所有节点服务器上运行的进程信息及资源占用情况，计算各个任务服务器资源使用率，建立服务器负载和资源使用率之间的关系，并生成资源信息汇总表，监管过程为根据每个进程对所在节点服务器的资源占用信息以及目标任务的资源占用情况及节点服务器性能进行实时监控；
步骤二：建立高并发任务获取功能，由中心服务器获取用户提交的任务执行信息从而建立完整的任务结构信息用于后续任务的调度执行，中心服务器收集汇总所有任务结构信息，构成任务状态集合；
任务执行信息包括任务需求和任务期限；
完整的任务结构信息是根据任务需求确定相应的资源需求和根据任务期限确定初始任务等级而建立的；
步骤三：构建动态资源调度策略，通过中心服务器依据任务状态集合中的初始任务等级排序，按照优先级顺序依次匹配资源信息表中的任务节点服务器执行目标任务；基于窗口机制和动态阈值机制，每隔时间间隔T遍历任务进程序列，根据所监控资源信息计算各节点资源负载情况，动态调控任务资源分配，并更新任务状态集合；
步骤四：建立复杂场景下资源回收策略，基于服务器的流量监控方法，对任务节点不同的关联进程进行流量监控，利用对监控的流量进行分析，实现对非法用户提交的恶意任务进行识别以及对疑似异常任务进行监控预警，及时释放异常进程的资源占用。
2.根据权利要求1所述的一种高并发任务复杂场景下的动态资源调度方法，其特征在于：步骤一中所述资源节点服务器资源使用率计算方法为：节点服务器上当前运行的进程所占用的资源相对于该服务器固有资源总量的比值，资源信息表为包含各个任务节点进程资源信息、资源使用率和服务器性能的汇总信息，根据节点服务器进程信息和资源占用情况，建立服务器负载与资源使用率之间的关系表述为：建立服务器任务进程与资源使用率之间的关系，以表征节点服务器当前性能，具体表示为：
其中U0为节点服务器的最佳使用率，U为节点服务器当前实时使用率，P为节点服务器当前的负载性能表征参数。
3.根据权利要求1所述的一种高并发任务复杂场景下的动态资源调度方法，其特征在于：步骤二中所述任务需求包括：用户提交的完成任务所必须具备的完整描述和任务具体操作过程，任务等级划分具体为：将任务执行时间、任务执行截止时间以及任务期限时间作为依据划分任务等级，等级较高的任务可具有较高的优先执行顺序以及资源利用率，任务状态集合具体为中心服务器接收的所有任务信息结构以及包含任务执行状态信息的汇总信息，以及任务的状态转换关系，包括任务执行顺序，执行状态，执行时间，执行结果；所述任务执行状态是目标任务被任务管理系统进行调用处理的状态。
4.根据权利要求1所述的一种高并发任务复杂场景下的动态资源调度方法，其特征在于：步骤三中所述基于窗口机制具体为：利用窗口机制的时间序列任务调度方法，包括短时间周期处理机制和长时间周期处理机制，进行任务执行进程序列的状态检查，短时间序列处理机制用于处理短时间序列任务资源，保证短期内资源的时效性；长时间周期处理机制用于处理长时间序列任务资源，并从中提取出周期性规律，最后将两部分结合起来，得到更好的资源调度效果。
5.根据权利要求1所述的一种高并发任务复杂场景下的动态资源调度方法，其特征在于：步骤三中所述动态阈值机制具体为：凭借资源监管机制实时监测节点资源中对应的监测负载，并获取每个任务监测负载的实时值；确定与监测负载实时值的获取时刻对应的动态阈值，动态阈值包括与获取时刻对应的各项监测负载的阈值；将各项监测负载的实时值与动态阈值策略中对应的负载阈值进行比对，如果存在其实时值大于对应负载阈值的监测负载，则界定该节点为超负载状态。
6.根据权利要求1所述的一种高并发任务复杂场景下的动态资源调度方法，其特征在于：步骤四中所述流量监控方法具体为：利用各节点本地服务层的流量读写接口，获取任务关联进程的流量监控数据作为监控流量，并上传至中心服务器；中心服务器对监控的流量数据进行分析，在服务器中设置历史流量数据库，记录任务关联进程执行时间内的流量数据作为对比流量；根据历史流量信息预设所监控流量与对比流量的正常差值范围；通过服务器对流量数据进行判断分析，如果监控流量和对比流量的差值超过预设的范围，则对异常的任务进程进行标记预警；释放异常进程的资源占用方法具体为：根据流量监控预警进一步设置资源回收规则，对于标记为异常任务进程设定报警阈值，当预警到达一定的次数则自动回收该任务进程所占用的系统资源。
7.基于权利要求1-6任意一种高并发任务复杂场景下的动态资源调度方法的系统，其特征在于：包括资源监管模块、任务执行模块、任务调度模块和资源回收模块。
8.根据权利要求7所述的一种高并发任务复杂场景下的动态资源调度方法的系统，其特征在于：资源监管模块具体为根据资源监控任务构建对应的资源管理策略，根据资源管理策略处理节点服务，判断是否需要对节点服务实例涉及的资源设置监管。
9.根据权利要求7所述的一种高并发任务复杂场景下的动态资源调度方法的系统，其特征在于：所述任务执行模块具体为将高并发任务包含的详细信息和处理过程进行相应的分析处理并汇总记录至任务集合；任务调度模块具体为根据目标服务实例中部署的资源监控任务获取服务实例运行的任务集合，并配置节点服务实例根据资源调度策略执行目标任务并提供任务结果。
10.根据权利要求7所述的一种高并发任务复杂场景下的动态资源调度方法的系统，其特征在于：所述资源回收模块具体为依据中心服务实例的资源监管任务，监控分析任务进程实时流量数据和历史流量数据，对任务进程实施异常预警和系统资源回收。
CN202210953139.2A 2022-08-09 2022-08-09 一种高并发任务复杂场景下的动态资源调度方法及系统 Active CN115495231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210953139.2A CN115495231B (zh) 2022-08-09 2022-08-09 一种高并发任务复杂场景下的动态资源调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210953139.2A CN115495231B (zh) 2022-08-09 2022-08-09 一种高并发任务复杂场景下的动态资源调度方法及系统

Publications (2)

Publication Number Publication Date
CN115495231A CN115495231A (zh) 2022-12-20
CN115495231B true CN115495231B (zh) 2023-09-19

Family

ID=84466159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210953139.2A Active CN115495231B (zh) 2022-08-09 2022-08-09 一种高并发任务复杂场景下的动态资源调度方法及系统

Country Status (1)

Country Link
CN (1) CN115495231B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555663B (zh) * 2023-11-22 2024-08-30 沐曦集成电路(上海)有限公司 基于License管理的任务调度系统
CN118095720A (zh) * 2024-02-23 2024-05-28 华能澜沧江水电股份有限公司 基于集控系统的交接班管理方法、系统、设备和介质
CN118012633B (zh) * 2024-04-10 2024-06-11 成都航空职业技术学院 一种针对高职公共体育课程的资源分配方法和系统
CN118381714A (zh) * 2024-06-24 2024-07-23 江苏金恒信息科技股份有限公司 一种高并发数据采集场景下的数据熔断控制方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014015697A1 (zh) * 2012-05-04 2014-01-30 运软网络科技(上海)有限公司 一种虚拟网络的自主管理系统和方法
CN104966006A (zh) * 2015-05-14 2015-10-07 苏州市公安局苏州工业园区分局 基于云变平台的智能人脸识别系统
CN105808343A (zh) * 2014-12-31 2016-07-27 中国科学院沈阳自动化研究所 用于复杂生产管理系统中的群集资源控制方法
CN106506657A (zh) * 2016-11-21 2017-03-15 黑龙江省科学院自动化研究所 一种基于多目标的云计算虚拟机分配调整方法
CN106572137A (zh) * 2015-10-12 2017-04-19 阿里巴巴集团控股有限公司 一种分布式服务资源管理方法和装置
CN109165093A (zh) * 2018-07-31 2019-01-08 宁波积幂信息科技有限公司 一种计算节点集群弹性分配系统及方法
WO2020206705A1 (zh) * 2019-04-10 2020-10-15 山东科技大学 一种基于集群节点负载状态预测的作业调度方法
CN113051060A (zh) * 2021-04-10 2021-06-29 作业帮教育科技（北京）有限公司 一种基于实时负载的gpu动态调度方法、装置及电子设备
CN113778690A (zh) * 2021-09-27 2021-12-10 杭州安恒信息技术股份有限公司 一种任务分配方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI426393B (zh) * 2010-02-12 2014-02-11 Elitegroup Computer Sys Co Ltd 雲端計算資源排程方法與應用之系統
CN106452818B (zh) * 2015-08-13 2020-01-21 阿里巴巴集团控股有限公司 一种资源调度的方法和系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014015697A1 (zh) * 2012-05-04 2014-01-30 运软网络科技(上海)有限公司 一种虚拟网络的自主管理系统和方法
CN105808343A (zh) * 2014-12-31 2016-07-27 中国科学院沈阳自动化研究所 用于复杂生产管理系统中的群集资源控制方法
CN104966006A (zh) * 2015-05-14 2015-10-07 苏州市公安局苏州工业园区分局 基于云变平台的智能人脸识别系统
CN106572137A (zh) * 2015-10-12 2017-04-19 阿里巴巴集团控股有限公司 一种分布式服务资源管理方法和装置
CN106506657A (zh) * 2016-11-21 2017-03-15 黑龙江省科学院自动化研究所 一种基于多目标的云计算虚拟机分配调整方法
CN109165093A (zh) * 2018-07-31 2019-01-08 宁波积幂信息科技有限公司 一种计算节点集群弹性分配系统及方法
WO2020206705A1 (zh) * 2019-04-10 2020-10-15 山东科技大学 一种基于集群节点负载状态预测的作业调度方法
CN113051060A (zh) * 2021-04-10 2021-06-29 作业帮教育科技（北京）有限公司 一种基于实时负载的gpu动态调度方法、装置及电子设备
CN113778690A (zh) * 2021-09-27 2021-12-10 杭州安恒信息技术股份有限公司 一种任务分配方法、装置、设备及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
一种基于MDS4的资源访问解决方案;曾永健;;计算机技术与发展(第07期);全文 *
云计算资源容量评估与调度方法研究;高秋生;张志;曹明;陈明;王立玮;刘汝坤;;大众用电(第S1期);全文 *
基于CoreOS面向负载整合的集群调度研究;张宝婷;芮建武;周鹏;武延军;;计算机系统应用(第11期);全文 *
基于OpenFlow网络的数据中心服务器负载均衡策略;秦华;阎钢;;计算机工程(第03期);全文 *
基于虚拟机迁移的云计算资源动态调度策略;张晓兵;朱仲马;;软件导刊(第11期);全文 *

Also Published As

Publication number Publication date
CN115495231A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN115495231B (zh) 一种高并发任务复杂场景下的动态资源调度方法及系统
CN110990159B (zh) 一种基于历史数据分析的容器云平台资源配额预测方法
CN102081622B (zh) 评估系统健康度的方法及系统健康度评估装置
CN110389838A (zh) 一种适用于虚拟资源的实时调度和在线迁移管控方法
CN105046327B (zh) 一种基于机器学习技术的智能电网信息系统及方法
CN111580934B (zh) 云计算环境下多租户虚拟机性能一致的资源分配方法
US7725575B2 (en) Unexpected demand detection system and unexpected demand detection program
CN102667724A (zh) 利用加速器的、目标指向的工作负载性能管理
TWI725744B (zh) 透過多層次相關性建立系統資源預測及資源管理模型的方法
CN109034580B (zh) 一种基于大数据分析的信息系统整体健康度评估方法
CN111355606A (zh) 面向web应用的容器集群自适应扩缩容系统和方法
CN113010576A (zh) 云计算系统容量评估的方法、装置、设备和存储介质
CN105022823B (zh) 一种基于数据挖掘的云服务性能预警事件生成方法
CN113228574A (zh) 计算资源调度方法、调度器、物联网系统和计算机可读介质
CN117560423B (zh) 基于云存储节点的智能锁云存储资源调度系统
CN117097026A (zh) 一种基于源网荷储新型电力系统运维监控平台的操作方法
CN109241154A (zh) 一种分布式数据库监控分析方法及系统
CN117499413A (zh) 一种基于云原生架构的ai算力共享调度系统
CN110415136B (zh) 一种电力调度自动化系统服务能力评估系统与方法
CN106713051A (zh) 一种网络管理系统
JP2023537119A (ja) ネットワークデータ分析方法、ネットワークデータ分析機能ネットワーク要素、通信システム、非一時的コンピュータ可読記憶媒体およびコンピュータプログラム
CN116450485B (zh) 一种应用性能干扰的检测方法和系统
CN118331750B (zh) 一种用于处理网络威胁的动态资源分配系统、电子设备及存储介质
CN118504676B (zh) 一种结合传感分析的变电站在线监测方法及系统
Li et al. Node Resource Balance Scheduling Algorithm of Power Internet of Things Based on Big Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant