CN114461356A - 调度器进程数量的控制方法、IaaS云平台调度系统 - Google Patents

调度器进程数量的控制方法、IaaS云平台调度系统 Download PDF

Info

Publication number
CN114461356A
CN114461356A CN202111577772.8A CN202111577772A CN114461356A CN 114461356 A CN114461356 A CN 114461356A CN 202111577772 A CN202111577772 A CN 202111577772A CN 114461356 A CN114461356 A CN 114461356A
Authority
CN
China
Prior art keywords
scheduler
processes
scheduling system
cloud platform
state value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111577772.8A
Other languages
English (en)
Other versions
CN114461356B (zh
Inventor
艾天翔
李光辉
朱廷祥
但杰
龚楠
余斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Cloud Technology Co Ltd
Original Assignee
Tianyi Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Cloud Technology Co Ltd filed Critical Tianyi Cloud Technology Co Ltd
Priority to CN202111577772.8A priority Critical patent/CN114461356B/zh
Publication of CN114461356A publication Critical patent/CN114461356A/zh
Application granted granted Critical
Publication of CN114461356B publication Critical patent/CN114461356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供的一种调度器进程数量的控制方法、IaaS云平台调度系统，该调度器进程数量的控制方法包括：获取IaaS云平台调度系统中的预设指标信息；根据预设指标信息计算调度器进程稳态值；根据稳态值调整调度器进程数量。通过计算调度器进程稳态值，根据稳态值来实现调度器进程数量的弹性伸缩，动态增加和减少调度器进程的数量，保障提供最优的调度器资源量，大幅提升调度效率。

Description

调度器进程数量的控制方法、IaaS云平台调度系统
技术领域
本发明涉及IaaS云平台调度技术领域，具体涉及一种调度器进程数量的控制方法、IaaS云平台调度系统。
背景技术
随着云计算业务场景和业务规模的不断发展，云计算数据中心的规模越来越大，对IaaS云平台的调度系统的并发性能要求越来越高。基础设施即服务(Infrastructure asa Service，IaaS)是指把IT基础设施作为一种服务通过网络对客户提供，而IaaS云平台是统一了计算虚拟化技术，网络虚拟化技术和存储虚拟化技术之后，然后将IT基础实施以按需购买、按量付费的方式提供给客户，如OpenStack，CloudStack和OpenNebula等开源项目。
调度系统是IaaS云平台的核心组件之一，主要负责整个集群资源的调度功能，客户购买了一个虚拟机(instance)，根据特定的调度算法和策略，将instance调度到最优的宿主机(host)上去，从而更加合理、充分的利用集群的资源。同时调度系统也支持根据业务逻辑实现的一系列调度策略，将虚拟机调度至满足要求的宿主机上(如调度时选择使用SSD硬盘、GPU、计算增强和内存优化的宿主机等)。
评估一个调度系统，主要有调度器进程(worker)数量、调度器平均延时、调度器吞吐量、调度器总耗时、调度请求并发量、宿主机数量及重调度次数等7项指标，其中，调度请求并发量，调度器进程数量，重调度次数和宿主机数量会影响调度系统的吞吐量，平均延时和总耗时。例如，如果调度器的worker数量仅为1个，所有调度请求都是被串行执行，1个调度请求被一个worker处理时间为1s，1000个请求就需要1000s；如果增加调度器的worker数量为1000个，1000个worker并行工作，虽然增加了批处理能力，但是在写数据库时会发生乐观锁冲突，导致请求需要反复被重调度。因此，如何寻求到一个worker数量的稳态，以最大限度提升调度系统的性能是非常重要的。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中难以找到一个worker数量的稳态以最大限度提升调度系统的性能的缺陷，从而提供一种调度器进程数量的控制方法、IaaS云平台调度系统。
为达到上述目的，本发明提供如下技术方案：
第一方面，本发明实施例提供一种调度器进程数量的控制方法，包括：
获取IaaS云平台调度系统中的预设指标信息；
根据所述预设指标信息计算调度器进程稳态值；
根据所述稳态值调整所述调度器进程数量。
可选地，所述预设指标信息包括：宿主机数量、调度器平均延时、重调度均值和队列任务堆积总量。
可选地，通过如下公式计算调度器进程稳态值：
Figure BDA0003425877660000031
可选地，所述根据所述稳态值调整所述调度器进程数量，包括：
当所述稳态值大于第一预设阈值且小于第二预设阈值时，将所述调度器进程数量减1；
当所述稳态值等于第二预设阈值时，维持所述调度器进程数量不变；
当所述稳态值大于第二预设阈值时，将所述调度器进程数量加1。
第二方面，本发明实施例提供一种IaaS云平台调度系统，包括：worker弹性伸缩线程模块，所述worker弹性伸缩线程模块用于执行本发明第一方面所述的调度器进程数量的控制方法。
可选地，IaaS云平台调度系统，还包括：调度主进程模块、多个任务队列及多个调度器，所述任务队列与所述调度器一一对应设置。
可选地，所述调度主进程模块用于接收所述IaaS云平台调度系统前端的调度请求，并将所述调度请求写入每个调度器对应的任务队列中，同时收集所述IaaS云平台的调度系统中宿主机数量、调度器平均延时、重调度均值和任务堆积总量，将所述宿主机数量、所述调度器平均延时、所述重调度均值和所述任务堆积总量发送给所述worker弹性伸缩线程模块。
可选地，所述调度器内部串行作业，执行预设流程。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明第一方面所述的调度器进程数量的控制方法。
第四方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面所述的调度器进程数量的控制方法。
本发明技术方案，具有如下优点：
本发明提供的一种调度器进程数量的控制方法，包括：获取IaaS云平台调度系统中的预设指标信息；根据预设指标信息计算调度器进程稳态值；根据稳态值调整调度器进程数量。通过计算调度器进程稳态值，根据稳态值来实现调度器进程数量的弹性伸缩，动态增加和减少调度器进程的数量，保障提供最优的调度器资源量，大幅提升调度效率。
本发明提供的一种IaaS云平台调度系统，包括：worker弹性伸缩线程模块，所述worker弹性伸缩线程模块用于上述调度器进程数量的控制方法。worker弹性伸缩线程模块通过计算调度器进程稳态值，根据稳态值来实现调度器进程数量的弹性伸缩，动态增加和减少调度器进程的数量，保障提供最优的调度器资源量，大幅提升IaaS云平台调度系统调度效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中调度器进程数量的控制方法的一个具体示例的流程图；
图2为本发明实施例中IaaS云平台调度系统的一个具体示例的原理框图；
图3为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
现有技术是针对固定的云平台资源调度器数量场景下的调度算法优化，由于调度器数量确定，对调度算法的优化无法实现实现调度效率质的提升，为此本发明实施例提供一种调度器进程数量的控制方法，以提升调度效率。如图1所示，调度器进程数量的控制方法包括如下步骤：
步骤S1：获取IaaS云平台调度系统中的预设指标信息。
在一具体实施例中，预设指标信息包括：宿主机数量、调度器平均延时、重调度均值和队列任务堆积总量。其中，宿主机数量为一个数据中心的计算节点规模。调度器平均延时为一个调度请求从发给到调度系统到调度系统返回调度结果的平均时间。重调度均值为一段时间内调度系统由于乐观锁引起的重调度次数。队列任务堆积总量为单位时间内调度系统处理的调度请求数量。
步骤S2：根据预设指标信息计算调度器进程稳态值。
在一具体实施例中，在获取宿主机数量、调度器平均延时、重调度均值和队列任务堆积总量等指标信息后，通过如下公式计算调度器进程稳态值：
Figure BDA0003425877660000071
步骤S3：根据稳态值调整调度器进程数量。
在一具体实施例中，通过收集调度系统中宿主机数量、调度器平均延时、重调度均值和任务堆积总量四种指标，通过四种指标自主设计了一个计算公式来计算调度系统中worker数量的稳态值，并通过稳态值来实现调度器woker的弹性伸缩。
在本发明实施例中，根据稳态值调整调度器进程数量，包括如下步骤：
步骤S31：当稳态值大于第一预设阈值且小于第二预设阈值时，将调度器进程数量减1。
步骤S32：当稳态值等于第二预设阈值时，维持调度器进程数量不变。
步骤S33：当稳态值大于第二预设阈值时，将调度器进程数量加1。
在本发明实施例中，根据稳态值对调度器进程(worker)数量进行弹性伸缩。具体地，当0<稳态值<1时，worker数-1；当稳态值＝1时，worker数不变；当稳态值>1时，worker数+1。在本发明实施例中，第一预设阈值为0，第二预设阈值为1。
本发明提供的一种调度器进程数量的控制方法，包括：获取IaaS云平台调度系统中的预设指标信息；根据预设指标信息计算调度器进程稳态值；根据稳态值调整调度器进程数量。通过计算调度器进程稳态值，根据稳态值来实现调度器进程数量的弹性伸缩，动态增加和减少调度器进程的数量，保障提供最优的调度器资源量，大幅提升调度效率。
本实施例根据调度器弹性伸缩算法，可动态增加和减少调度器进程的数量，达到最优解，实现多调度进程并行工作，减少云主机调度任务的等待时间。
在大规模云计算场景下，高并发任务会导致调度任务冲突，导致大量的重调度过程。本发明的弹性伸缩算法把重调度次数作为一个因子，并计算出最优调度器进程数量，最终减少重调度次数，实现调度效率的提升。
本发明实施例还提供一种IaaS云平台调度系统，如图2所示，包括：worker弹性伸缩线程模块，worker弹性伸缩线程模块用于执行上述调度器进程数量的控制方法。具体内容参考上述实施例中步骤S1-步骤S3的相关描述。
在一实施例中，如图2所示，IaaS云平台调度系统，还包括：调度主进程模块、多个任务队列及多个调度器，任务队列与调度器一一对应设置。
在一具体实施例中，调度主进程模块用于接收IaaS云平台调度系统前端的调度请求，并将调度请求以均衡策略写入每个调度器对应的任务队列中，同时收集IaaS云平台的调度系统中宿主机数量、调度器平均延时、重调度均值和任务堆积总量，将收集的信息每隔10s发送给worker弹性伸缩线程模块。在本发明实施例中，设置最大调度器数量是所有调度节点的cpu核数的总和，最小调度器数量是1
在一实施例中，任务队列是一个先进先出的队列，接受主进程写入的任务列表，每个队列和一个调度器对应，调度器的任务执行完成之后会再次从队列中读取下一个任务执行。
在一实施例中，调度器内部串行作业，执行预设流程。
在一具体实施例中，预设流程包括如下步骤：
1、获取或更新最新的资源视图，记录在内存中，提升调度数据读写效率；
2、过滤环节：所有配置生效的过滤器依次执行，每个过滤器对当前系统中所有宿主机进行过滤，将不满足条件的宿主机过滤掉后进入下一个过滤器。所有过滤器执行结束后，将所有通过的宿主机集合传至打分器；
3、打分环节：所有通过过滤阶段的宿主机将进入打分环节，在打分环节中所有配置生效的打分器将对所有宿主机进行打分，并根据权重求和。最终得分最高的一台宿主机将被返回；
4、读取配置中的subset的数值n，从打分排名前n的计算节点中随机选择一个作为调度的目标节点，减少乐观锁的冲突，减少系统重调度。
5、写入资源数据库占用host计算节点资源，当占用后，重新更新资源视图。
在本发明实施例中，如果subset为3，则从打分排名前3的计算节点中随机选择一个作为调度的目标节点。当写入资源数据库占用host计算节点资源时，会出现抢占资源的情况。例如当出现多个调度器同时占用同一个host计算节点资源时，判断调度器写入时间，先到达，写入成功，后到达则写入失败。进一步地，当调度器写入失败后，反馈至调度主进程模块。
在数据集群中的控制节点，通过linux shell脚本并发创建虚机，始终保持调度系统中有1000台，2000台，5000台，10000台虚机创建请求正在等待，同时，观察集群中调度节点的scheduler worker数量由1逐渐增加，最后逐渐趋于稳定，稳定之后，集群的调度性能(吞吐量和调度器时延)达到最优。
本发明实施例还提供一种计算机设备，如图3所示，该设备可以包括处理器61和存储器62，其中处理器61和存储器62可以通过总线或者其他方式连接，图3以通过总线连接为例。
处理器61可以为中央处理器(Central Processing Unit，CPU)。处理器61还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的调度器进程数量的控制方法。
存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器61所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、企业内网、移动通信网及其组合。
一个或者多个模块存储在存储器62中，当被处理器61执行时，执行本发明实施例提供的调度器进程数量的控制方法。
上述计算机设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种调度器进程数量的控制方法，其特征在于，包括：
获取IaaS云平台调度系统中的预设指标信息；
根据所述预设指标信息计算调度器进程稳态值；
根据所述稳态值调整所述调度器进程数量。
2.根据权利要求1所述的调度器进程数量的控制方法，其特征在于，所述预设指标信息包括：宿主机数量、调度器平均延时、重调度均值和队列任务堆积总量。
3.根据权利要求2所述的调度器进程数量的控制方法，其特征在于，通过如下公式计算调度器进程稳态值：
Figure FDA0003425877650000011
4.根据权利要求2所述的调度器进程数量的控制方法，其特征在于，所述根据所述稳态值调整所述调度器进程数量，包括：
当所述稳态值大于第一预设阈值且小于第二预设阈值时，将所述调度器进程数量减1；
当所述稳态值等于第二预设阈值时，维持所述调度器进程数量不变；
当所述稳态值大于第二预设阈值时，将所述调度器进程数量加1。
5.一种IaaS云平台调度系统，其特征在于，包括：worker弹性伸缩线程模块，所述worker弹性伸缩线程模块用于执行权利要求1-4任一项所述的调度器进程数量的控制方法。
6.根据权利要求5所述的IaaS云平台调度系统，其特征在于，还包括：调度主进程模块、多个任务队列及多个调度器，所述任务队列与所述调度器一一对应设置。
7.根据权利要求6所述的IaaS云平台调度系统，其特征在于，所述调度主进程模块用于接收所述IaaS云平台调度系统前端的调度请求，并将所述调度请求写入每个调度器对应的任务队列中，同时收集所述IaaS云平台的调度系统中宿主机数量、调度器平均延时、重调度均值和任务堆积总量，将所述宿主机数量、所述调度器平均延时、所述重调度均值和所述任务堆积总量发送给所述worker弹性伸缩线程模块。
8.根据权利要求6所述的IaaS云平台调度系统，其特征在于，所述调度器内部串行作业，执行预设流程。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-4任一所述的调度器进程数量的控制方法。
10.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-4任一所述的调度器进程数量的控制方法。
CN202111577772.8A 2021-12-22 2021-12-22 调度器进程数量的控制方法、IaaS云平台调度系统 Active CN114461356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111577772.8A CN114461356B (zh) 2021-12-22 2021-12-22 调度器进程数量的控制方法、IaaS云平台调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111577772.8A CN114461356B (zh) 2021-12-22 2021-12-22 调度器进程数量的控制方法、IaaS云平台调度系统

Publications (2)

Publication Number Publication Date
CN114461356A true CN114461356A (zh) 2022-05-10
CN114461356B CN114461356B (zh) 2024-09-27

Family

ID=81406648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111577772.8A Active CN114461356B (zh) 2021-12-22 2021-12-22 调度器进程数量的控制方法、IaaS云平台调度系统

Country Status (1)

Country Link
CN (1) CN114461356B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845244A (zh) * 2022-07-04 2022-08-02 深圳市盈润科技有限公司 一种基于云平台的农业物联网应用分析系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285490A1 (en) * 2005-06-20 2006-12-21 Kadaba Srinivas R Method and apparatus for quality-of-service based admission control using a virtual scheduler
WO2018072687A1 (zh) * 2016-10-19 2018-04-26 华为技术有限公司 一种资源调度的方法、装置和过滤式调度器
CN109120715A (zh) * 2018-09-21 2019-01-01 华南理工大学 一种云环境下动态负载均衡方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060285490A1 (en) * 2005-06-20 2006-12-21 Kadaba Srinivas R Method and apparatus for quality-of-service based admission control using a virtual scheduler
WO2018072687A1 (zh) * 2016-10-19 2018-04-26 华为技术有限公司 一种资源调度的方法、装置和过滤式调度器
CN109120715A (zh) * 2018-09-21 2019-01-01 华南理工大学 一种云环境下动态负载均衡方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALBERT REUTHER 等: "Scalable system scheduling for HPC and big data", 《J. PARALLEL DISTRIB. COMPUT》, vol. 111, 8 August 2017 (2017-08-08), pages 76 - 92 *
林闯 等: "云计算安全:架构、机制与模型评价", 《计算机学报》, vol. 36, no. 09, 15 September 2013 (2013-09-15), pages 1765 - 1784 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845244A (zh) * 2022-07-04 2022-08-02 深圳市盈润科技有限公司 一种基于云平台的农业物联网应用分析系统及方法

Also Published As

Publication number Publication date
CN114461356B (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
CN106776005B (zh) 一种面向容器化应用的资源管理系统及方法
AU2010336363B2 (en) Managing queries
JP6447120B2 (ja) ジョブスケジューリング方法、データアナライザ、データ解析装置、コンピュータシステム及びコンピュータ可読媒体
CN106933669B (zh) 用于数据处理的装置和方法
US7827167B2 (en) Database management system and method including a query executor for generating multiple tasks
US20140019987A1 (en) Scheduling map and reduce tasks for jobs execution according to performance goals
TWI786564B (zh) 任務調度方法和裝置、儲存媒體及計算機設備
CN112685153A (zh) 微服务调度方法、装置以及电子设备
WO2019056771A1 (zh) 分布式存储系统升级管理的方法、装置及分布式存储系统
CN107704323A (zh) 一种网络爬虫任务调度方法及装置
CN113032102B (zh) 资源重调度方法、装置、设备和介质
CN108509280A (zh) 一种基于推送模型的分布式计算集群本地性调度方法
Liu et al. Optimizing shuffle in wide-area data analytics
CN106502790A (zh) 一种基于数据分布的任务分配优化方法
CN114461356A (zh) 调度器进程数量的控制方法、IaaS云平台调度系统
CN108595251B (zh) 动态图更新方法、装置、存储引擎接口和程序介质
CN113535346A (zh) 线程数量调整的方法、装置、设备及计算机存储介质
CN110851245A (zh) 一种分布式异步任务调度方法及电子设备
CN115914237A (zh) 一种边缘环境下的深度学习任务调度方法、设备及介质
US10824640B1 (en) Framework for scheduling concurrent replication cycles
CN112363811B (zh) 一种人工智能计算资源调度方法及计算机可读存储介质
KR101916809B1 (ko) 가상 클러스터 배치 방법 및 이를 제공하기 위한 장치
CN109388596A (zh) 一种数据操作方法和装置
CN116755893B (zh) 面向深度学习的分布式计算系统的作业调度方法和装置
JP6303584B2 (ja) データ処理装置、計算機システム、データ処理方法およびデータ処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant