CN114500401B - 一种应对突发流量的资源调度方法和系统 - Google Patents

一种应对突发流量的资源调度方法和系统 Download PDF

Info

Publication number
CN114500401B
CN114500401B CN202210072697.8A CN202210072697A CN114500401B CN 114500401 B CN114500401 B CN 114500401B CN 202210072697 A CN202210072697 A CN 202210072697A CN 114500401 B CN114500401 B CN 114500401B
Authority
CN
China
Prior art keywords
task
queue
burst traffic
resource
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210072697.8A
Other languages
English (en)
Other versions
CN114500401A (zh
Inventor
马克
高剑
陈冬严
李凡
谢恒�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Financial Futures Information Technology Co ltd
Original Assignee
Shanghai Financial Futures Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Financial Futures Information Technology Co ltd filed Critical Shanghai Financial Futures Information Technology Co ltd
Priority to CN202210072697.8A priority Critical patent/CN114500401B/zh
Publication of CN114500401A publication Critical patent/CN114500401A/zh
Application granted granted Critical
Publication of CN114500401B publication Critical patent/CN114500401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
    • H04L47/2433—Allocation of priorities to traffic types
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了应对突发流量的资源调度方法和系统，能够合理、高效的调度虚拟机资源，提高应对突发流量的效率。其技术方案为：任务编排采用具有优先级的多级队列存储方式，并通过任务监控单元将突发流量转存入突发流量任务存储队列，采用DRF算法进行单独资源调度，避免传统的单一任务存储队列，在面对突发流量时产生的队列拥堵，持续等待资源调度的现象。

Description

一种应对突发流量的资源调度方法和系统
技术领域
本发明涉及一种资源调度技术，具体涉及一种应对突发流量的虚拟机资源调度方法和系统。
背景技术
随着业务应用的扩展与用户群体的扩大，用户任务请求可能在某个单位时间瞬时激增。传统的单一任务队列机制，在面对突发流量时，容易受虚拟机资源限制，导致后续任务请求持续拥堵，造成响应增长、请求拒绝等问题。同时，这种机制下虚拟机资源利用率起伏较大，即存在资源过载与资源空闲的变化，无法合理调度可用资源。
为了解决突发流量带来的任务调度资源紧张现象，实践中通常采用为突发流量业务请求分配额外虚拟机资源。这种方案仍然存在两个弱点：第一，它没有从任务编排角度出发，额外虚拟机资源确实可以减少突发流量处理时间，但是后续正常任务请求仍然无法在短时间内获得资源调度机会，造成后续任务响应过长。第二，没有考虑突发流量任务在资源调度中的公平性，容易造成资源浪费。
发明内容
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
本发明的目的在于解决上述问题，提供了一种应对突发流量的资源调度方法和系统，能够合理、高效的调度虚拟机资源，提高应对突发流量的效率。
本发明的技术方案为：本发明揭示了一种应对突发流量的资源调度系统，系统包括任务分配单元、任务监控单元、任务存储队列、突发流量任务存储队列、普通任务调度单元、突发流量任务调度单元、虚拟机监控单元，其中：
任务存储队列，是一个多层结构的队列，通过不同的层级对任务进行编排，其中对不同的层级设置对应的优先级L1～Ln，在存储任务时以优先级L1～Ln的高低依序在不同层级的队列中搜索空位置；
突发流量任务存储队列，接收来自于任务存储队列转移来的突发流量任务，并使用备用虚拟机进行资源调度；
任务分配单元，用于任务的搜索与分配；
任务监控单元，用于对任务存储队列单位时间内存储任务数量是否超过突发流量任务存储队列中所设置的阈值进行监控，当超过阈值时表示存在突发流量，将任务存储队列L2～Ln中的突发流量任务转存至突发流量任务存储队列，交由突发流量任务调度单元进行处理；
普通任务调度单元，用于对任务存储队列中的普通任务进行调度；
突发流量任务调度单元，用于对突发流量任务存储队列中的突发流量任务进行调度；
虚拟机监控单元，用于监控虚拟机资源池中主备虚拟机资源的实时基础数据。
根据本发明的应对突发流量的资源调度系统的一实施例，任务存储队列中还设置队列变动的属性：当Li储存位置任务获取到虚拟机资源后，对应的任务存储队列中的位置将被清除；当Li队列中存在空位置时，表示当前虚拟机资源处于可用状态，Li+1队列中如存在任务则向Li队列移动。
根据本发明的应对突发流量的资源调度系统的一实施例，任务存储队列中还设置单个队列长度的属性：表示当前资源最大可同时处理的任务数量。
根据本发明的应对突发流量的资源调度系统的一实施例，突发流量任务存储队列中还设置存储方式的属性：当任务存储队列L2～Ln中存在突发流量时，以单位时间内突发量为维度依次转存入突发流量任务存储队列。
根据本发明的应对突发流量的资源调度系统的一实施例，突发流量任务存储队列中还设置阈值属性：任务存储队列单位时间内存储任务数量是否超过突发流量任务存储队列中所设置的阈值。
根据本发明的应对突发流量的资源调度系统的一实施例，任务分配单元进一步配置为：
任务分配模块在接收到提交的任务后，从任务存储队列L1层向Ln层搜索空位置，当搜索到空位置时将任务基本信息存于搜索到的位置。
根据本发明的应对突发流量的资源调度系统的一实施例，普通任务调度单元进一步配置为：
先获取虚拟机监控单元提供的主虚拟机资源配置信息，对任务存储队列中的最高优先级L1层进行任务资源调度，当L1层任务全部进行资源分配成功后，如虚拟机监控单元反馈仍有可用虚拟机资源时，则向相邻的下一优先级的L2层继续进行资源与任务适配，如当前剩余资源满足任务需求则进行调度，如果不满足则停止调度，等待L1层任务资源释放。
根据本发明的应对突发流量的资源调度系统的一实施例，突发流量任务调度单元进一步配置为：
采用DFR算法，根据每个突发流量任务主导资源所占用的最优份额进行资源调度：突发流量任务调度单元按照单位时间顺序，依次对单位时间内突发流量任务的基本资源需求进行遍历与统计，然后根据DRF算法并结合虚拟机监控单元提供的备用虚拟机资源数据，进行资源调度。
根据本发明的应对突发流量的资源调度系统的一实施例，在DFR算法中增加权重值进行修正，以保证突发流量任务在资源调度中的公平性。
根据本发明的应对突发流量的资源调度系统的一实施例，虚拟机资源池中包含普通任务调度所需的主虚拟机资源、突发流量任务调度所需的备用虚拟机资源。
本发明揭示了一种应对突发流量的资源调度方法，方法包括：
步骤1：任务被提交；
步骤2：基于提交的任务搜索任务存储队列的可用位置，其中任务存储队列是一个多层结构的队列，且不同的层级设置对应的优先级L1～Ln；
步骤3：对突发流量进行监控；
步骤4：进行普通任务资源调度；
步骤5：突发流量任务的资源调度；
步骤6：清理任务对应队列中坐标位置；
步骤7：步骤7：执行对应任务，执行结束后释放虚拟机资源。
根据本发明的应对突发流量的资源调度方法的一实施例，步骤2进一步包括：
步骤2.1：沿优先级高的队列L1向低优先级Ln方向搜索可用位置；
步骤2.2：判断遍历过程中当前的Li队列是否存在可用位置空间；
步骤2.3：如果遍历过程中当前的Li队列中无可用位置空间，则令i＝i+1后跳转至步骤2，继续搜索；否则，将当前任务基本信息存储至当前Li队列中可用位置空间，跳转至步骤3。
根据本发明的应对突发流量的资源调度方法的一实施例，步骤3进一步包括：
步骤3.1：依据突发流量任务存储队列中所设置的阈值，判断当前单位时间内是否存在突发流量；
步骤3.2：如果存在突发流量，则将任务存储队列L2～Ln中的突发流量任务，以单位时间内突发流量为维度依次转存入突发流量任务存储队列，跳转步骤5；否则，跳转至步骤4。
根据本发明的应对突发流量的资源调度方法的一实施例，步骤4进一步包括：
步骤4.1：获取主虚拟机资源基本信息；
步骤4.2：对任务存储队列的最高优先级L1中的各任务进行资源与任务需求适配；
步骤4.3：如果虚拟机的资源不足，则调度适配任务后，等待资源释放；如果L1层中各任务的全部资源调度成功后仍存在可用资源，则向相邻的下一优先级队列的L2层继续进行资源与任务适配；
步骤4.4：跳转至步骤6。
根据本发明的应对突发流量的资源调度方法的一实施例，步骤5进一步包括：
步骤5.1：获取备用虚拟机资源基本信息；
步骤5.2：利用DRF算法，对突发流量任务主导资源所占的最优份额进行资源调度；
步骤5.3：如果当前备用虚拟机资源不符合任务需求，则等待资源释放；否则，跳转至步骤6。
本发明对比现有技术有如下的有益效果：本发明的方法中，任务编排采用具有优先级的多级队列存储方式，并通过任务监控单元将突发流量转存入突发流量任务存储队列，采用DRF(Dominant Resource Fairness)算法(该算法是一种资源分配策略，基于“最大—最小”算法设计而成,支持异构环境下多种类型资源的调度)进行单独资源调度。这种设计能够避免传统的单一任务存储队列，在面对突发流量时产生的队列拥堵，持续等待资源调度的现象。
一方面，当单位时间内任务请求数量大于队列长度，且小于突发流量阈值时，由于优先级高的队列L1的优先处理权，可为下个单位时间内的任务提供资源调度机会(任务资源调度搜索时沿着优先级L1～Ln方向进行)，提高了下个单位时间正常任务请求的响应速度，避免短期内等待资源调度。另一方面，当突发流量现象产生时，及时转存大流量任务，通过DRF(Dominant Resource Fairness)算法保证了突发流量任务在资源调度中的公平性，又避免了下个单位时间内正常任务请求长期等待资源调度。
附图说明
在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
图1示出了本发明的应对突发流量的资源调度系统的一实施例的原理图。
图2示出了图1所示的资源调度系统实施例中的任务存储队列的示意图。
图3示出了本发明的任务分配示例的示意图。
图4示出了本发明的应对突发流量的资源调度方法的一实施例的流程图。
具体实施方式
以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
图1示出了本发明的应对突发流量的资源调度系统的一实施例的原理。请参见图1，本实施例的系统包括：任务分配单元、任务监控单元、任务存储队列、突发流量任务存储队列、普通任务调度单元、突发流量任务调度单元、虚拟机监控单元。
任务分配单元连接任务存储队列，任务监控单元分别连接任务存储队列和突发流量任务存储队列，任务存储队列连接普通任务调度单元，突发流量任务存储队列连接突发流量任务调度单元，虚拟机监控单元分别连接普通任务调度单元和突发流量任务调度单元，任务存储队列和突发流量任务存储队列相互连接。
任务存储队列是一个多层结构的队列，通过不同的层级对任务进行编排。不同于传统的单一任务队列，单一任务队列在任务分配时，一般是采用流水线型任务的编排方式。在应对突发流量时，受虚拟机资源限制，大概率会导致任务持续拥堵、资源过载，进而会使后续正常任务在较长时间内无法获取虚拟机资源，导致用户请求响应时间过长、系统服务QoS(Quality of Service)降级等诸多问题。
而本实施例中的任务存储队列在队列优先级、队列变动方式以及单个队列长度这三个属性上进行设计，具体如下。
队列优先级：如图2所示，L1～Ln优先级依次递减，L1拥有最高存储优先级；当存储任务时，先从优先级高的队列搜索空位置。
队列变动：当Li储存位置任务获取到虚拟机资源后，对应的任务存储队列中的位置将被清除；当Li队列中存在空位置时，表示当前虚拟机资源处于可用状态，Li+1队列中如存在任务则向Li队列移动；
单个队列长度：受虚拟机综合性能与任务资源需求影响，单个队列长度表示当前资源最大可同时处理任务数量。
突发流量任务存储队列接收来自于任务存储队列转移来的突发流量任务，并使用备用虚拟机进行资源调度，以保障常规任务执行通畅。突发流量占用大量队列、虚拟机资源，是导致队列拥塞问题的源头。然而，突发流量在设定合理阈值后，并非频繁出现。为了最大程度减少突发流量对普通任务的影响，采用将突发流量任务尽可能的转移到突发流量存储队列的方式。
突发流量任务存储队列中包括以下属性。
存储方式：当任务存储队列L2～Ln中存在突发流量时，以单位时间内突发量为维度依次转存入突发流量任务存储队列。
阈值：单位时间内突发量阈值主要受虚拟机资源影响，可结合实际虚拟机性能进行阈值测试后设定，任务存储队列单位时间内存储任务数量是否超过突发流量任务存储队列中所设置的阈值。
任务分配单元用于实现任务的搜索与分配。具体而言，当任务被提交后，任务分配模块从任务存储队列L1层向Ln搜索空位置，当搜索到空位置时，将任务基本信息存于搜索到的位置，其中如图2所示，L1～Ln优先级依次递减，即L1拥有最高存储优先级。
具体搜索的示例如图3所示，假设单位时间内L1层中任务可全部执行完毕，并释放资源。
t1时刻涌入A1～A6任务请求，分别存储于多层结构的任务存储队列的L1层、L2层空位置中；
t2时刻涌入突发流量B1～Bk任务请求(k>突发流量任务存储队列中所设置的阈值)，t2时刻所有任务请求，依次存储于多层结构的任务存储队列的L1层～Lm层；t2时刻，B1～Bk任务请求(k>突发流量任务存储队列中所设置的阈值)出现突发流量，则B6～Bk进行突发流量转移。
t3时刻涌入C1～C4任务请求，t3时刻多层结构的任务存储队列的L1层中资源释放,所以t3时刻任务请求存储于L1层，t3时刻任务全部存入L1层后仍有空位，因此L2层中的A6层任务向L1层转入。
任务监控单元用于对任务存储队列单位时间内存储任务数量是否超过突发流量任务存储队列中所设置的阈值进行监控，即是否存在突发流量。当存在突发流量时，则将L2～Ln中的突发流量任务转存至突发流量任务存储队列，交由突发流量任务调度单元进行处理。
普通任务调度单元用于对任务存储队列中的普通任务进行调度。其具体配置为：先获取虚拟机监控单元提供的主虚拟机资源配置信息，对最高优先级L1层进行任务资源调度。当L1层任务全部进行资源分配成功后，如虚拟机监控单元反馈仍有可用虚拟机资源时，则向相邻的下一优先级的L2层继续进行资源与任务适配，如当前剩余资源满足任务需求则进行调度，如果不满足则停止调度，等待L1层任务资源释放。
突发流量任务调度单元用于对突发流量任务存储队列中的突发流量任务进行调度。其具体配置为：突发流量中任务数量较大，且以单位时间内任务请求为维度存储，这些任务请求可能来自多个用户，且每个任务对资源需求也可能不同。为了使突发流量任务也能达到虚拟机资源利用率最大化，考虑根据每个突发流量任务主导资源所占的最优份额进行资源调度，即DRF(Dominant Resource Fairness)算法。主导资源主要有CPU、内存等，此外，还可以考虑为用户增加一个“权重值”，对DRF(Dominant Resource Fairness)算法进行修正，以保证突发流量任务在资源调度中的公平性。突发流量任务调度单元按照单位时间顺序，依次对单位时间内突发流量任务的基本资源需求进行遍历与统计，然后根据DRF算法并结合虚拟机监控单元提供的备用虚拟机资源数据，进行资源调度。
虚拟机监控单元用于监控虚拟机资源池中主备虚拟机资源的实时基础数据，如CPU、内存等。其中，虚拟机资源池中包含普通任务调度所需的主虚拟机资源、突发流量任务调度所需的备用虚拟机资源。由于突发流量并非频繁发生，所以当备用虚拟机空闲时可供其他任务调度使用。
基于上述图1的系统架构，在此架构上实现的应对突发流量的资源调度方法的一实施例的流程如图4详述。
步骤1：任务被提交。
步骤2：基于提交的任务搜索任务存储队列的可用位置。这个处理是由图1中的任务分配单元完成，细化的处理如下。
步骤2.1：沿优先级高的队列L1向低优先级Ln方向搜索可用位置；
步骤2.2：判断遍历过程中当前的Li队列是否存在可用位置空间。
步骤2.3：如果遍历过程中当前的Li队列中无可用位置空间，则令i＝i+1后跳转至步骤2，继续搜索；否则，将当前任务基本信息存储至当前Li队列中可用位置空间，跳转至步骤3。
步骤3：对突发流量进行监控。该处理由任务监控单元实施，细化为以下的具体处理。
步骤3.1：任务监控单元依据突发流量任务存储队列中所设置的突发流量阈值，判断当前单位时间内是否存在突发流量；
步骤3.2：如果存在突发流量，则将任务存储队列L2～Ln中的突发流量任务，以单位时间内突发流量为维度依次转存入突发流量任务存储队列，跳转步骤5；否则，跳转至步骤4。
步骤4：进行普通任务资源调度，该处理由普通任务调度单元完成，具体包括以下的步骤。
步骤4.1：通过虚拟机监控单元获取主虚拟机资源基本信息，如CPU、内存等。
步骤4.2：对任务存储队列的最高优先级L1中的各任务进行资源与任务需求适配。
步骤4.3：如果虚拟机监控单元反馈的资源不足，则调度适配任务后，等待资源释放；如果L1层中各任务全部资源调度成功后，仍存在可用资源，则向相邻的下一优先级队列的L2层继续进行资源与任务适配。
步骤4.4：跳转步骤6。
步骤5：突发流量任务的资源调度，这个处理是由突发流量任务调度单元来实施，其具体处理步骤如下。
步骤5.1：通过虚拟机监控单元获取备用虚拟机资源基本信息，如CPU、内存等。
步骤5.2：利用DRF(Dominant Resource Fairness)算法，对突发流量任务主导资源所占的最优份额进行资源调度。
步骤5.3：如果当前备用虚拟机资源不符合任务需求，则等待资源释放；否则，跳转步骤6。
步骤6：清理任务对应队列中坐标位置。
清理对应任务队列中坐标位置信息，以避免重复搜索与执行该任务。当对应队列Li坐标被清理后，则任务监控单元监测Li+1若有任务，则向Li层移动。
步骤7：执行对应任务，执行结束后释放虚拟机资源。
尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。
本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

Claims (10)

1.一种应对突发流量的资源调度系统，其特征在于，系统包括任务分配单元、任务监控单元、任务存储队列、突发流量任务存储队列、普通任务调度单元、突发流量任务调度单元、虚拟机监控单元，其中：
任务存储队列，是一个多层结构的队列，通过不同的层级对任务进行编排，其中对不同的层级设置对应的优先级L1～Ln，在存储任务时以优先级L1～Ln的高低依序在不同层级的队列中搜索空位置；
突发流量任务存储队列，接收来自于任务存储队列转移来的突发流量任务，并使用备用虚拟机进行资源调度；
任务分配单元，用于任务的搜索与分配；
任务监控单元，用于对任务存储队列单位时间内存储任务数量是否超过突发流量任务存储队列中所设置的阈值进行监控，当超过阈值时表示存在突发流量，将任务存储队列L2～Ln中的突发流量任务转存至突发流量任务存储队列，交由突发流量任务调度单元进行处理；
普通任务调度单元，用于对任务存储队列中的普通任务进行调度；
突发流量任务调度单元，用于对突发流量任务存储队列中的突发流量任务进行调度；
虚拟机监控单元，用于监控虚拟机资源池中主备虚拟机资源的实时基础数据；
其中，普通任务调度单元进一步配置为：
先获取虚拟机监控单元提供的主虚拟机资源配置信息，对任务存储队列中的最高优先级L1层进行任务资源调度，当L1层任务全部进行资源分配成功后，如虚拟机监控单元反馈仍有可用虚拟机资源时，则向相邻的下一优先级的L2层继续进行资源与任务适配，如当前剩余资源满足任务需求则进行调度，如果不满足则停止调度，等待L1层任务资源释放；
其中，突发流量任务调度单元进一步配置为：
采用DFR算法，根据每个突发流量任务主导资源所占用的最优份额进行资源调度：突发流量任务调度单元按照单位时间顺序，依次对单位时间内突发流量任务的基本资源需求进行遍历与统计，然后根据DRF算法并结合虚拟机监控单元提供的备用虚拟机资源数据，进行资源调度。
2.根据权利要求1所述的应对突发流量的资源调度系统，其特征在于，任务存储队列中还设置队列变动的属性：当Li储存位置任务获取到虚拟机资源后，对应的任务存储队列中的位置将被清除；当Li队列中存在空位置时，表示当前虚拟机资源处于可用状态，Li+1队列中如存在任务则向Li队列移动。
3.权利要求1所述的应对突发流量的资源调度系统，其特征在于，任务存储队列中还设置单个队列长度的属性：表示当前资源最大可同时处理的任务数量。
4.根据权利要求1所述的应对突发流量的资源调度系统，其特征在于，突发流量任务存储队列中还设置存储方式的属性：当任务存储队列L2～Ln中存在突发流量时，以单位时间内突发量为维度依次转存入突发流量任务存储队列。
5.根据权利要求1所述的应对突发流量的资源调度系统，其特征在于，突发流量任务存储队列中还设置阈值属性：任务存储队列单位时间内存储任务数量是否超过突发流量任务存储队列中所设置的阈值。
6.根据权利要求1所述的应对突发流量的资源调度系统，其特征在于，任务分配单元进一步配置为：
任务分配模块在接收到提交的任务后，从任务存储队列L1层向Ln层搜索空位置，当搜索到空位置时将任务基本信息存于搜索到的位置。
7.根据权利要求1所述的应对突发流量的资源调度系统，其特征在于，在DFR算法中增加权重值进行修正，以保证突发流量任务在资源调度中的公平性。
8.根据权利要求1所述的应对突发流量的资源调度系统，其特征在于，虚拟机资源池中包含普通任务调度所需的主虚拟机资源、突发流量任务调度所需的备用虚拟机资源。
9.一种应对突发流量的资源调度方法，其特征在于，方法包括：
步骤1：任务被提交；
步骤2：基于提交的任务搜索任务存储队列的可用位置，其中任务存储队列是一个多层结构的队列，且不同的层级设置对应的优先级L1～Ln；
步骤3：对突发流量进行监控；
步骤4：进行普通任务资源调度；
步骤5：突发流量任务的资源调度；
步骤6：清理任务对应队列中坐标位置；
步骤7：步骤7：执行对应任务，执行结束后释放虚拟机资源；
其中，步骤3进一步包括：
步骤3.1：依据突发流量任务存储队列中所设置的阈值，判断当前单位时间内是否存在突发流量；
步骤3.2：如果存在突发流量，则将任务存储队列L2～Ln中的突发流量任务，以单位时间内突发流量为维度依次转存入突发流量任务存储队列，跳转步骤5；否则，跳转至步骤4；
其中，步骤4进一步包括：
步骤4.1：获取主虚拟机资源基本信息；
步骤4.2：对任务存储队列的最高优先级L1中的各任务进行资源与任务需求适配；
步骤4.3：如果虚拟机的资源不足，则调度适配任务后，等待资源释放；如果L1层中各任务的全部资源调度成功后仍存在可用资源，则向相邻的下一优先级队列的L2层继续进行资源与任务适配；
步骤4.4：跳转至步骤6；
其中，步骤5进一步包括：
步骤5.1：获取备用虚拟机资源基本信息；
步骤5.2：利用DRF算法，对突发流量任务主导资源所占的最优份额进行资源调度；
步骤5.3：如果当前备用虚拟机资源不符合任务需求，则等待资源释放；否则，跳转至步骤6。
10.根据权利要求9所述的应对突发流量的资源调度方法，其特征在于，步骤2进一步包括：
步骤2.1：沿优先级高的队列L1向低优先级Ln方向搜索可用位置；
步骤2.2：判断遍历过程中当前的Li队列是否存在可用位置空间；
步骤2.3：如果遍历过程中当前的Li队列中无可用位置空间，则令i＝i+1后跳转至步骤2，继续搜索；否则，将当前任务基本信息存储至当前Li队列中可用位置空间，跳转至步骤3。
CN202210072697.8A 2022-01-21 2022-01-21 一种应对突发流量的资源调度方法和系统 Active CN114500401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210072697.8A CN114500401B (zh) 2022-01-21 2022-01-21 一种应对突发流量的资源调度方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210072697.8A CN114500401B (zh) 2022-01-21 2022-01-21 一种应对突发流量的资源调度方法和系统

Publications (2)

Publication Number Publication Date
CN114500401A CN114500401A (zh) 2022-05-13
CN114500401B true CN114500401B (zh) 2023-11-14

Family

ID=81472988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210072697.8A Active CN114500401B (zh) 2022-01-21 2022-01-21 一种应对突发流量的资源调度方法和系统

Country Status (1)

Country Link
CN (1) CN114500401B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900472B (zh) * 2022-07-12 2022-11-08 之江实验室 一种面向多任务的控制面实现协同流量调度的方法与系统
CN116302575B (zh) * 2023-05-24 2023-07-21 爱彼希科技(北京)有限公司 适用于多元冲突场景的需求资源配置处理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096599A (zh) * 2009-12-14 2011-06-15 中国移动通信集团公司 一种多队列任务调度方法及相关系统和设备
CN108345501A (zh) * 2017-01-24 2018-07-31 全球能源互联网研究院 一种分布式资源调度方法和系统
CN111400022A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种资源调度方法、装置及电子设备
CN111416726A (zh) * 2019-01-07 2020-07-14 中国移动通信有限公司研究院 一种资源管理的方法、发送端设备和接收端设备
CN112398917A (zh) * 2020-10-29 2021-02-23 国网信息通信产业集团有限公司北京分公司 面向多站融合架构的实时任务调度方法和装置
CN112749002A (zh) * 2019-10-29 2021-05-04 北京京东尚科信息技术有限公司 一种集群资源动态管理的方法和装置
CN112948113A (zh) * 2021-03-01 2021-06-11 上海微盟企业发展有限公司 一种集群资源管理调度方法、装置、设备及可读存储介质
CN113608834A (zh) * 2021-07-29 2021-11-05 济南浪潮数据技术有限公司 一种基于超融合的资源调度方法、装置、设备及可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8539498B2 (en) * 2007-05-17 2013-09-17 Alcatel Lucent Interprocess resource-based dynamic scheduling system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096599A (zh) * 2009-12-14 2011-06-15 中国移动通信集团公司 一种多队列任务调度方法及相关系统和设备
CN108345501A (zh) * 2017-01-24 2018-07-31 全球能源互联网研究院 一种分布式资源调度方法和系统
CN111400022A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种资源调度方法、装置及电子设备
CN111416726A (zh) * 2019-01-07 2020-07-14 中国移动通信有限公司研究院 一种资源管理的方法、发送端设备和接收端设备
CN112749002A (zh) * 2019-10-29 2021-05-04 北京京东尚科信息技术有限公司 一种集群资源动态管理的方法和装置
CN112398917A (zh) * 2020-10-29 2021-02-23 国网信息通信产业集团有限公司北京分公司 面向多站融合架构的实时任务调度方法和装置
CN112948113A (zh) * 2021-03-01 2021-06-11 上海微盟企业发展有限公司 一种集群资源管理调度方法、装置、设备及可读存储介质
CN113608834A (zh) * 2021-07-29 2021-11-05 济南浪潮数据技术有限公司 一种基于超融合的资源调度方法、装置、设备及可读介质

Also Published As

Publication number Publication date
CN114500401A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114500401B (zh) 一种应对突发流量的资源调度方法和系统
US8918595B2 (en) Enforcing system intentions during memory scheduling
EP0617361B1 (en) Scheduling method and apparatus for a communication network
JP2589932B2 (ja) 装置の割り当てのグローバルな最適化方法とシステム
CN109697122B (zh) 任务处理方法、设备及计算机存储介质
US8155134B2 (en) System-on-chip communication manager
US20060212873A1 (en) Method and system for managing load balancing in data processing system
KR100868766B1 (ko) 복수의 ｄｍａ 요청 블록들을 가지는 직접 메모리 액세스장치의 우선 순위를 결정하는 방법 및 장치
CN109104373B (zh) 网络拥塞的处理方法、装置及系统
JP2002269023A5 (zh)
CN107579926A (zh) 基于令牌桶算法的Ceph云存储系统的QoS设置方法
US9141436B2 (en) Apparatus and method for partition scheduling for a processor with cores
EP2702730A2 (en) Effective circuits in packet-switched networks
JP2011059777A (ja) タスクスケジューリング方法及びマルチコアシステム
Shen et al. Probabilistic network-aware task placement for mapreduce scheduling
CN112996116B (zh) 一种保障电力时延敏感业务质量的资源分配方法及系统
CN112506634B (zh) 一种基于预约机制的公平性作业调度方法
CN110716691B (zh) 调度方法、装置、闪存设备和系统
CN111857992B (zh) 一种Radosgw模块中线程资源分配方法和装置
CN117251275A (zh) 多应用异步i/o请求的调度方法及系统、设备及介质
US8869171B2 (en) Low-latency communications
CN115202842A (zh) 任务调度方法及装置
WO2007043142A1 (ja) ジョブ管理装置およびジョブ管理プログラム
JP5715458B2 (ja) 情報処理システム、調停方法
CN110996398A (zh) 一种无线网络资源调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant