CN114816715A - 一种面向跨地域的流计算延迟优化方法及装置 - Google Patents

一种面向跨地域的流计算延迟优化方法及装置 Download PDF

Info

Publication number
CN114816715A
CN114816715A CN202210548737.1A CN202210548737A CN114816715A CN 114816715 A CN114816715 A CN 114816715A CN 202210548737 A CN202210548737 A CN 202210548737A CN 114816715 A CN114816715 A CN 114816715A
Authority
CN
China
Prior art keywords
delay
server nodes
task
server
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210548737.1A
Other languages
English (en)
Other versions
CN114816715B (zh
Inventor
孙大为
隋佳良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences Beijing
Original Assignee
China University of Geosciences Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences Beijing filed Critical China University of Geosciences Beijing
Priority to CN202210548737.1A priority Critical patent/CN114816715B/zh
Publication of CN114816715A publication Critical patent/CN114816715A/zh
Application granted granted Critical
Publication of CN114816715B publication Critical patent/CN114816715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及计算机通信技术领域，特别是指一种面向跨地域的流计算延迟优化方法及装置，装置包括任务调度模块、延迟约束模块以及集群能耗优化模块；方法包括：为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度；当监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略。采用本发明，可以降低系统延迟，提高利用率，降低系统能耗。

Description

一种面向跨地域的流计算延迟优化方法及装置
技术领域
本发明涉及计算机通信技术领域，特别是指一种面向跨地域的流计算延迟优化方法及装置。
背景技术
当前，在实时流计算模型中，混合大量数据和复杂计算是很常见的。由于数据流的实时性以及对数据不规则接收和处理的特点，很难了解要处理的数据规模大小，以至于所需的资源数量也无法直接确定，出现资源分配不均、资源过剩、资源短缺等现象。并且资源不足和数据流拥塞导致处理速度变慢，系统的资源分配自然会消耗大量不必要的时间，从而影响系统的整体性能。在跨域大规模的集群工作中，由于地理跨度较大，造成了数据中心因业务需求不同而存在着数据差异以及用户群体差异，流计算系统的跨区域集群模式是常有处理方式，对于需要实时反馈的系统，保证系统低延迟以及集群合理的能耗成为研究者优化的重点方向。
造成系统延迟的因素是多方面的，以下从三方面进行介绍：
第一方面为选择方式的差异对系统延迟造成的影响。目前，大多数任务分配模型基本上都是基于两种方案：一种方式为根据工作节点资源的可用性进行划分，这种方式有利于维护系统内各个节点的负载均衡，有效避免了过载问题，但淡化了上下游组件中任务的作用关系。另一种方式为根据拓扑图的相关性划分子图进行节点选择，这种方式的优势在于根据拓扑图区分了上下游组件间的关联关系，但在任务量较大的流计算场景中会造成单一服务器压力过大。
第二方面为系统内组件的交互以及具体细化在执行器层级的延迟。系统内部的延迟主要包括为调度延迟，处理延迟和通信延迟。调度延迟描述的是系统中所提交拓扑后进行相关调度中所需要的时间，其中主要的过程为Nimbus响应时间和执行器资源分配的延迟时间。处理延迟描述的是系统中所运行的各个逻辑组件的整体处理延迟情况，其中主要包括各个执行器处理任务所需消耗的时间成本。通信延迟又可以区分为线程间的通信和进程间的通信，Storm中的通信机制同样为线程间通信压力最小，而进程间的通信压力较大，需要辅助手段进行通信。
第三方面为集群方面的能耗，随着数据量的增加和集群规模的扩大，规模较小的服务器集群组难以提供足够的服务资源，而集群组的规模变大时，各服务器组之间的跨地域通信对时延的影响就变得不可忽视，其中数据通信延迟是由数据传输距离与底层网络基础设施之间的差异造成的。
发明内容
为了解决现有技术中存在的延迟高、能耗大的问题，本发明实施例提供了一种面向跨地域的流计算延迟优化方法及装置。所述技术方案如下：
一方面，提供了一种面向跨地域的流计算延迟优化方法，该方法由面向跨地域的流计算延迟优化装置实现，该方法包括：
根据执行器的数据流到达速率、执行器处理速率以及当前系统中的延迟数值，确定各个组件的平均队列长度以及平均等待时长，根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；
当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，其中，所述临界值参数的确定由提交拓扑的类型和数量决定；
当系统集群中数据流速变小时，通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，根据系统内集群服务器的任务关联情况和延迟情况，选择服务器进行休眠。
可选地，所述根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，包括：
根据执行器的数据流到达速率、执行器处理速率、数据元组的平均队列长度以及数据元组的平均等待时长，确定所处集群的期望值；
使用边际分析的方法确定单一任务资源消耗的量化范围，通过所述量化范围的差值衡量作为节点选择的指标，确定最优服务器节点数；
根据所述最优服务器节点数，为待处理的任务集合分配服务器节点进行处理。
可选地，所述当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，包括：
当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时，将系统中资源充足的组件的执行器数量进行下调，将执行器分配给资源不足的组件。
可选地，所述通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，包括：
通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70％时，触发能耗节约策略。
可选地，所述选择服务器进行休眠之后，还包括：
直到CPU利用率高于第二预设阈值的服务器节点数量占总数量的比例高于第三预设阈值，则停止对服务器休眠。
另一方面，提供了一种面向跨地域的流计算延迟优化装置，该系统应用于面向跨地域的流计算延迟优化方法，该装置包括：
任务调度模块，用于根据执行器的数据流到达速率、执行器处理速率以及当前系统中的延迟数值，确定各个组件的平均队列长度以及平均等待时长，根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；
延迟约束模块，用于当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，其中，所述临界值参数的确定由提交拓扑的类型和数量决定；
集群能耗优化模块，用于当系统集群中数据流速变小时，通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，根据系统内集群服务器的任务关联情况和延迟情况，选择服务器进行休眠。
可选地，所述任务调度模块，用于：
根据执行器的数据流到达速率、执行器处理速率、数据元组的平均队列长度以及数据元组的平均等待时长，确定所处集群的期望值；
使用边际分析的方法确定单一任务资源消耗的量化范围，通过所述量化范围的差值衡量作为节点选择的指标，确定最优服务器节点数；
根据所述最优服务器节点数，为待处理的任务集合分配服务器节点进行处理。
可选地，所述延迟约束模块，用于：
当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时，将系统中资源充足的组件的执行器数量进行下调，将执行器分配给资源不足的组件。
可选地，所述集群能耗优化模块，用于：
通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70％时，触发能耗节约策略。
可选地，所述集群能耗优化模块，还用于：
直到CPU利用率高于第二预设阈值的服务器节点数量占总数量的比例高于第三预设阈值，则停止对服务器休眠。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述面向跨地域的流计算延迟优化方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例分别从任务调度以及节点分配、延迟约束以及组件并行度的重新调度、低CPU利用率下集群服务器的优化这三方面进行优化，根据任务的相关性改变节点选择方式，兼顾了系统负载均衡和组件低延迟通信。划分不同组件间的延迟的优先级，通过监控模块监控节点的资源占用情况进行资源合理分配，改变组件的并行度达到系统再平衡，防止工作节点发生过载。在跨地域的流计算环境中构建网络集群拓扑图，提出能耗控制方案，对系统中CPU利用率进行限定，设置触发能耗控制的CPU利用率的临界值，通过被选择的资源中心和相关服务器休眠来降低系统能耗。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种面向跨地域的流计算延迟优化方法流程图；
图2是本发明实施例提供的一种任务分配对比模型示意图；
图3是本发明实施例提供的一种资源分配示意图；
图4是本发明实施例提供的一种执行器调度示意图；
图5是本发明实施例提供的一种集群CPU利用率监测示意图；
图6是本发明实施例提供的一种系统架构图；
图7是本发明实施例提供的一种面向跨地域的流计算延迟优化装置框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种面向跨地域的流计算延迟优化方法，该方法可以由面向跨地域的流计算延迟优化系统实现，如图1所示为面向跨地域的流计算延迟优化方法流程图，该方法的处理流程可以包括如下的步骤：
S1、根据执行器的数据流到达速率、执行器处理速率以及当前系统中的延迟数值，确定各个组件的平均队列长度以及平均等待时长，根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；
S2、当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，其中，所述临界值参数的确定由提交拓扑的类型和数量决定；
S3、当系统集群中数据流速变小时，通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，根据系统内集群服务器的任务关联情况和延迟情况，选择服务器进行休眠。
可选地，所述根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，包括：
根据执行器的数据流到达速率、执行器处理速率、数据元组的平均队列长度以及数据元组的平均等待时长，确定所处集群的期望值；
使用边际分析的方法确定单一任务资源消耗的量化范围，通过所述量化范围的差值衡量作为节点选择的指标，确定最优服务器节点数；
根据所述最优服务器节点数，为待处理的任务集合分配服务器节点进行处理。
可选地，所述当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，包括：
当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时，将系统中资源充足的组件的执行器数量进行下调，将执行器分配给资源不足的组件。
可选地，所述通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，包括：
通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70％时，触发能耗节约策略。
可选地，所述选择服务器进行休眠之后，还包括：
直到CPU利用率高于第二预设阈值的服务器节点数量占总数量的比例高于第三预设阈值，则停止对服务器休眠。
本发明实施例分别从任务调度以及节点分配、延迟约束以及组件并行度的重新调度、低CPU利用率下集群服务器的优化这三方面进行优化，根据任务的相关性改变节点选择方式，兼顾了系统负载均衡和组件低延迟通信。划分不同组件间的延迟的优先级，通过监控模块监控节点的资源占用情况进行资源合理分配，改变组件的并行度达到系统再平衡，防止工作节点发生过载。在跨地域的流计算环境中构建网络集群拓扑图，提出能耗控制方案，对系统中CPU利用率进行限定，设置触发能耗控制的CPU利用率的临界值，通过被选择的资源中心和相关服务器休眠来降低系统能耗。
本发明实施例提供了一种任务调度模块以及基于任务调度模块的任务调度方法，该方法的相应处理操作可以如下：
任务分配模型将拓扑图划分最优子图方法的优点和根据工作节点资源可用性分配的优势结合起来。任务分配模型首先考虑了数据任务之间的关联性，如图2左侧所示，逻辑结构和相对应的物理结构可以反映内部分配方式和存在的不足。在Storm默认的调度机制中使用了轮询的方式分配任务，平均地将任务分发到每一个服务器上。这种分配方式没有考虑延迟优化，上下游组件中相关联任务分配到不同服务器中会给系统带来通信压力，这是造成系统高延迟的重要原因之一。
而在图2右侧中介绍了理想的调度任务分配策略，同样是任务分配模型在系统资源足够的情况下所能达到的分配模型。这种任务分配策略根据任务的task-id对任务进行了区分分类，然后进行任务放置，关联任务在同一服务器中甚至同一执行器中进行处理，将任务分配给同一个工作节点减少了系统内的执行延迟成本，增强了单个服务器处理的独立性，当前服务器宕机再恢复对整个系统造成的影响较低。而在这种分配的过程中只依赖了任务间联系的紧密程度进行任务放置，当数据流速增大，待处理任务的缓冲队列增大造成在选择节点放置的过程中单一服务器因放置了过多相关联任务使得服务器压力过大，会引发过载现象。为了避免此类问题的发生，任务分配模型中服务器会单起一个线程来监测当前CPU的利用率情况，当系统中所启用的服务器的CPU利用率超过70％时，会进行任务的再分配。牺牲一部分延迟代价来稳定系统负载，负载过重的服务器只能接收少量甚至不再接收任务进行处理。
任务(task)是Storm中一个基本的逻辑执行单位。当一个拓扑完成遍历并开始运行时，任务数不能改变。根据关联任务的节点选择方法，同一台服务器托管的执行器提供相同的服务器id。不同的服务器有不同的id。每个服务器的配置文件中设置了最大执行器数。这些执行器在执行器过滤池中编号，降序存储，按照任务放置策略进行分配，相关联的任务尽可能地放置在同一台服务器中。
大量的任务分发在不同服务器上的工作节点之中，由执行器进行处理。冗余任务根据实际负载状态重新分配。在每个工作节点的执行器中，添加一个使用状态信号位作为它的标记。标记方法是根据执行器在物理结构中实际的工作节点不同区分的，资源池中排序主要是根据占用CPU资源占用情况来划分的。例如状态信号位为1不可使用，状态信号位为0可以使用，重载的执行器不参与图3中的排序。
之后将使用过的资源回收到池中，执行器的状态从1变为0，并且标记变为可用。服务器和执行器id保持不变。当从资源池中复用时，执行器根据系统中工作节点的具体资源占用情况进行分配。
算法1为资源分配算法：
Figure BDA0003653523410000081
Figure BDA0003653523410000091
节点资源分配算法，输入应用的DAG(有向无环图)和算子集，输出的是资源经过分配后的逻辑方案。对于每一个执行器分配id，定义服务器的序号，然后根据执行器所处服务器的资源分配情况对每台物理机上托管的执行器进行降序排序，id按顺序记录在资源池中，然后给每台执行器添加一个状态位，并将状态设置为可用。然后根据执行器资源池中执行器的是否可用和资源占用程度选择任务进行分配。至此，该任务可以获得较为充足的资源来保证执行系统中DAG的低延迟稳定运行。但只在资源分配上进行了优化，并未考虑到后续组件通信问题的影响，因此程序仍需进一步优化。
在任务放置方法中还增加了一个监控模块，用于检测元组的到达速率和处理速率，这是很多调度算法同样采用的速率监测方式。对当前系统中元组到达执行器的到达速率以及在执行器中执行逻辑的处理速率类比排队网络模型中的顾客到达服务台的到达速率以及站台前停留的处理速率，可以假设数据的到达率为λ，处理速率为μ，单个执行器的资源消耗为Ck，在实际流计算系统的到达率和处理率是实时变化的。例如到达率过高，Spout组件压力过大，分发速度变慢，或者因为系统内CPU资源被占用，阻塞从数据源拉取数据的情况也通过对模型改进进行了解决。
Figure BDA0003653523410000092
Figure BDA0003653523410000093
E＝ck′k+WkL......(4-3)
Figure BDA0003653523410000101
ΔL＝L((K*)-L((K*+1)......(4-5)
期望En表达式为公式(4-1)，Wk表示为数据元组的平均等待时间，LK表示为数据元组的平均队列长度。若最优处理速率可以由式(4-2)计算，那么有公式(4-1)(4-2)得到了所处集群的期望值E，化简得公式(4-3)。公式(4-4)中使用边际分析的方法确定了单一任务资源消耗的量化范围，其差值ΔL用来衡量作为节点选择的指标，当ΔL的值越小，表明此时集群中的资源分配更合理。当满足公式(4-5)中的ΔL无限小时，为最优处理速率下所工作节点所托管的执行器数量，算法2描述了节点选择的过程。
Figure BDA0003653523410000102
算法的输入包括数据流到达速率和执行器处理速率，输出是最优处理速率和最优处理器数。算法根据到达速率通过带入公式计算出节点的理想处理速率。数据流，它与当前状态下的处理速率进行比较，以确定该节点的执行者是否应该放置任务。对每个节点的整体运行状态进行量化，取其差值，即足够小，得到系统的整体运行状态，得到该状态下的最优执行者数量，即最优并行度。
本发明实施例提供了一种延迟约束模块以及基于延迟约束模块的组件交互的延迟约束方法，该方法的相应处理操作可以如下：
经过对延迟约束模型分析得到执行延迟和处理延迟的优化方案与已知结论不同物理机之间的传输成本最高，节点之间执行器进程的传输成本相较不同物理机之间传输成本减少，同一进程内线程间的传输成本最小的放置策略组成了Lc-stream调度中的组件低延迟策略。其中通过组件的执行器并行数目进行效率优化。
在任务分配模型的基础上，更加准确地定位了造成延迟差异问题的点，对之前的模型进行了一定的补充。经过对问题分析的研究，在新的延迟约束模型中引入了排队网络模型。排队网络模型是随机服务系统理论与GERT网络技术相结合的一种网络模型，用于解决GERT网络模型难以准确描述的需考虑排队的网络问题，即某节点的实现条件不仅要求前面的活动完成，同时要求有一定的流量，或者说进入某活动前需要排队等待。排队网络模型的相关案例通过分析客户与服务站台之间的到达速率和服务速率，得到服务站台最佳服务站点数、客户平均队列长度和平均等待时长等重要指标，对排队网络进行优化，得到最高效的处理方案。
延迟约束模型以排队网络模型多站台模式为基础，并对其进行了改进。在延迟约束模型中，研究分析了影响整个服务站系统执行效率的站点数量关系。将客流量类比为数据流，服务站点类比为执行器进行模型分析演变，使其更加贴合流计算系统的运行方式，以得到更合理的流计算延迟约束模型。每个执行器的到达速率和处理速率可以通过公式(3-1)和(3-2)计算得到。
Figure BDA0003653523410000111
μn＝μ0nb，n＝1，2......(3-2)
考虑每个执行器的处理模型：ρ，pn和p0可以通过公式(3-3)，(3-4)，(3-5)获得。
Figure BDA0003653523410000112
Figure BDA0003653523410000113
p0＝e-p......(3-5)
其中ρ，pn和p0分别表示系统负载、系统稳态分布和系统初始状态分布。平均队列长度Lk可以通过公式(3-6)计算。
Figure BDA0003653523410000121
有效到达率λe(单位时间内进入执行器的元组数)可以通过公式(3-7)计算。
Figure BDA0003653523410000122
平均等待时间Wk可由公式(3-8)计算。
Figure BDA0003653523410000123
公式(3-6)与(3-8)为延迟约束模型中的重要参数指标，其中包括每个执行器的到达速率λn和处理速率μn，系统开辟内存将相关参数以<key,value>的形式保存起来，其中key为执行器编号，value值为速率值，设计每隔5秒的时间进行刷新覆盖。由到达速率和处理速率得到系统当前负载和系统稳态分布等参数，进而得到平均队列长度Lk，用于系统执行器数量比例调整指标，因为单个节点的处理能力是有限的，所以需要计算待处理的元组的长度和单位时间内的有效到达速率λe，作为另一个重要的参考指标，从而推导出平均等待时间Wk。
执行器的调度过程示意由图4所示。图中所示以提交的WordCount拓扑为例，主要包含两种三类逻辑组件组成，分别为分发split，拆分bolt和计数bolt。该拓扑中运行了25个执行器，当系统运行之初，手动设置执行器并行度为分发split 3个，拆分bolt 11个，计数bolt 11个，将语句分发时间设置为每200ms，增大系统压力。系统运行过程中处理分发功能的工作节点压力较大，系统所监测此时的元组平均等待时间和平均队列长度过长，此时的状态信息由Supervisor收集通过中间件Zookeeper传递给Nimbus，触发低延迟调度策略，通过调整并行度来减轻当前系统压力，其中详细的算法过程在算法3中进行展示。调整后的执行器并行度数量为分发split 5个，拆分bolt 8个，计数bolt 12个。
下面算法3为执行器配置算法：
Figure BDA0003653523410000131
算法3中主要描述系统中压力过大的组件的调优过程，当数据流流速增大时，系统中原有的执行器可能出现分配不合理的情况。某组件出现平均等待时间和平均排队队长过长的情况，系统中会监测到这一问题并做出调整。算发的输入包括平均等待时长Wk，平均队列长度Lk以及当前组件的执行器分配情况。首先在系统运行时，调度策略做出执行器的初步分配，将各个组件的执行器个数记录下，spn保存分发组件的执行器数量，pbolt保存划分组件的执行器数量，cbolt保存计数组件的执行器数量。根据当前系统中的延迟数值计算得到各个组件的平均排队队长和平均等待时长，当系统中某组件的平均排队队长和平均等待时长大于临界值得参数时便会进行重新调度，临界值参数的确定为提交拓扑的类型和数量决定。此时，系统中资源充足的组件的执行器数量会进行下调，倾斜给压力较大的组件，从而获得新的平衡状态。当数据流量持续增大达到系统最大负载限度时，系统选择可使用的最大执行器数量。
在通信延迟上，Lc-stream的低延迟策略中做出了边界限定以及当前延迟对系统工作节点的压力负载约束。其中E＝{ei}，i＝1，2，...j，...n和W＝{wi}，i＝1，2...j，...n分别是执行器和工作节点的集合。θ表示工作节点之间的通信成本，
Figure BDA0003653523410000132
LB表示单个节点的负载，S是工作节点的最大负载，则
Figure BDA0003653523410000141
在由排队网络模型确定了单个工作节点的延迟约束模型之后，将单个工作节点的状态信息和执行效率保存在zookeeper中。通过对系统内所有节点进行监控，当出现工作节点平均等待时间和平均队列长度过长，执行效率过低时，便会进行执行器并行度的调整，引发重新调度机制。在系统内组件的最大并行度设定的前提下，将系统内资源相对较多的组件降低并行度，提高执行效率低的组件的并行度，使系统状态重新达到平衡。
本发明实施例提供了一种集群能耗优化模块以及基于集群能耗优化模块的集群能耗优化算法，该方法的相应处理操作可以如下：
能耗节约模型首先要保证系统整体的效率，即保证流计算系统的时效性。策略建立了传输距离与延时之间的关系。在不考虑外界其他变量因素影响的环境下，距离和数据传输过程造成的延时呈一阶线性关系。在整个集群拓扑中，各个服务器节点均有可能存在逻辑结构中上下游的位置关系，进行相互通信，相邻服务器节点的实际传输时延由数据包的平均发送和响应时间来确定。而在控制集群服务器节点的低时延方面，能耗节约模型主要通过节点选择算法的支持。在CPU和内存资源足够支撑系统运行时，尽可能地集中任务到延迟较低的服务器资源中心。
现有的能耗测量方法主要为：简单直接地使用物理设备就行测量、通过能耗模型的数学估算方法，还有就是虚拟化技术以及仿真技术的测量方法。能耗节约模型选择了普遍的能耗模型进行改进估算。延迟与距离的方差已有相关的模型，能耗节约模型对原有模型进行了修改使其更适合跨地域集群实验，如公式(3-9)所示。
Figure BDA0003653523410000142
在真实场景的实验中，会因为带宽导致通信成本的差异，能耗节约模型采用了Round-Trip-Delay-round-trip(RTD)延迟来估算节点之间的通信延迟。为了与目标节点进行通信，需要在相同的时间间隔内通过发送请求建立连接。目标节点收到请求后，立即响应估计预先建立连接(或连接已建立)的RTD。RTD延迟合并时序表，按照响应时间降序对各个资源中心的服务器进行排序，判断此时未使用区域节点的延迟，先与时序表中的第一个节点建立连接。首先进行了简单的数据包合并，具有可用资源和低网络通信延迟的服务器在合并后接收要处理的元组。数据包主要包含任务流、节点id和有效数据。任务流合并后，通过节点选择方法选择合适的工作节点。低功率以及休眠状态下的服务器基本不因流计算产生能源损耗。确定了能耗计入模型的方式，并对能耗节约模型进行了修改，尝试推导距离延迟与能耗的相关性，从而得到公式(3-10)。
Figure BDA0003653523410000151
公式(3-10)为距离-时延相关性表达式，Tlatency是通信延迟，Gd是地面距离，Vlatency、VGd分别是延迟方差和距离方差(nα是数据路径)，用E表示拓扑网络的能量消耗。网络中的一台服务器是主节点，而zookeeper运行在两台服务器上，N即表示主节点和zookeeper的总数，N+n是服务器节点的总数，N+nα也可以表示为数据通道的总数。由于能耗与通道数直接相关，降低能耗和延迟的有效方法是通过数据包的组合准确选择工作节点，同时保证任务相关性和最短路径选择。距离与延迟相关，距离越远，延迟一般会更大，但这并不是绝对的，连接的数据需要经过很多中间的路由和交换等网络转发设备，这些网络设备性能不一，处理和转发网络数据包的速度也不同，有的快有的慢；尤其在网络拥塞的时候，这些转发设备还会对服务器发出的数据包进行QoS处理，从而导致了服务器之间的连接时延。因此，并不能直接得到距离和延迟的直接关系。
经过对能耗节约模型的分析得出距离延迟的近似关系以及网络延迟估算方式。能耗度量标准为CPU利用率情况。Lc-stream调度的能耗优化策略即保证系统效率的前提下，为集群选择较为合适的服务器规模，通过服务器CPU利用率在限定的额度下的数目占全部集群服务器的数目的比例确定触发时间，引发集群服务器数目发生调整。集群每台服务器会单起一个线程用来监测CPU利用率并及时反馈给主节点。具体的执行过程示意图如图5所示。
图5中描述了系统服务器集群接收分发任务后内部的流程和监测情况，待处理的任务集合经过Lc-stream调度策略中的任务任务放置方法，选择合适的服务器节点进行处理，同时系统线程对运行的工作节点监测CPU利用率情况。当系统集群中数据流速变小时，监测线程监测服务器处于低平均CPU利用率时，便会触发能耗节约策略，根据系统中内集群服务器的任务关联情况和延迟情况为基础休眠适当数目的服务器，直到低CPU利用率服务器在限额下的数目占全部集群服务器的数目的比例高于默认值，则停止对服务器休眠。经过多次的测试实验发现当服务器CPU利用率低于0.25时，工作节点放置并处理比较少的任务，将该部分任务放置到其他工作节点并不会给系统造成较大压力。同时，由实验分析得出Lc-stream调度的能耗优化策略只有在系统集群中CPU利用率低于0.25的服务器比例达到整体服务器集群的0.7才会进行能耗优化。
Figure BDA0003653523410000161
在算法4中描述了集群中服务器规模的调整过程，输入的是监测模块监测的各个服务器的CPU利用率，输出的是被休眠的服务器集合。首先获取集群服务器中的工作的执行器的数量和CPU利用率低于0.25的执行器的数量。当CPU利用率低于0.25的执行器的数量占全部工作执行器数量的比例超过0.7触发优化策略，在保证集群执行器中的平均等待时长和平均排队队长在合理的范围内减少服务器数量，因为关联节点的任务选择方法，相关联任务已经分配在同一服务器中，故主要考虑系统的延时情况。最后输出休眠的服务器集合。
图6是根据一示例性实施例示出的一种系统框图。其中包括Nimbus、Zookeeper、工作节点、监测模块、数据库这几个主要部分。Nimbus主要负责系统内总的资源调度和任务分配。Supervisor接收Nimbus的任务分配，启动或停止工作进程(数量由配置文件设置)。Worker运行一个专门处理组件逻辑的进程。Zookeeper首次将任务分配给拓扑时会创建数据。它存储了Nimbus分配给拓扑的任务信息，其中包括Nimbus主机上拓扑的本地存储目录和分配给主机名的Supervisor机器。为了监控每个执行器，zookeeper会记录每个执行器上运行的工作进程以及每个执行器的启动时间。然后在运行过程中更新节点的数据，工作进程会从任务分配信息中取出分配的任务并执行。
本发明实施例提供了一种面向跨地域的流计算延迟优化的装置，如图7所示，该装置包括：
任务调度模块710，用于根据执行器的数据流到达速率、执行器处理速率以及当前系统中的延迟数值，确定各个组件的平均队列长度以及平均等待时长，根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；
延迟约束模块720，用于当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，其中，所述临界值参数的确定由提交拓扑的类型和数量决定；
集群能耗优化模块730，用于当系统集群中数据流速变小时，通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，根据系统内集群服务器的任务关联情况和延迟情况，选择服务器进行休眠。
可选地，所述任务调度模块710，用于：
根据执行器的数据流到达速率、执行器处理速率、数据元组的平均队列长度以及数据元组的平均等待时长，确定所处集群的期望值；
使用边际分析的方法确定单一任务资源消耗的量化范围，通过所述量化范围的差值衡量作为节点选择的指标，确定最优服务器节点数；
根据所述最优服务器节点数，为待处理的任务集合分配服务器节点进行处理。
可选地，所述延迟约束模块720，用于：
当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时，将系统中资源充足的组件的执行器数量进行下调，将执行器分配给资源不足的组件。
可选地，所述集群能耗优化模块730，用于：
通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70％时，触发能耗节约策略。
可选地，所述集群能耗优化模块730，还用于：
直到CPU利用率高于第二预设阈值的服务器节点数量占总数量的比例高于第三预设阈值，则停止对服务器休眠。
本发明实施例分别从任务调度以及节点分配、延迟约束以及组件并行度的重新调度、低CPU利用率下集群服务器的优化这三方面进行优化，根据任务的相关性改变节点选择方式，兼顾了系统负载均衡和组件低延迟通信。划分不同组件间的延迟的优先级，通过监控模块监控节点的资源占用情况进行资源合理分配，改变组件的并行度达到系统再平衡，防止工作节点发生过载。在跨地域的流计算环境中构建网络集群拓扑图，提出能耗控制方案，对系统中CPU利用率进行限定，设置触发能耗控制的CPU利用率的临界值，通过被选择的资源中心和相关服务器休眠来降低系统能耗。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向跨地域的流计算延迟优化方法，其特征在于，所述方法包括：
根据执行器的数据流到达速率、执行器处理速率以及当前系统中的延迟数值，确定各个组件的平均队列长度以及平均等待时长，根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；
当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，其中，所述临界值参数的确定由提交拓扑的类型和数量决定；
当系统集群中数据流速变小时，通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，根据系统内集群服务器的任务关联情况和延迟情况，选择服务器进行休眠。
2.根据权利要求1所述的方法，其特征在于，所述根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，包括：
根据执行器的数据流到达速率、执行器处理速率、数据元组的平均队列长度以及数据元组的平均等待时长，确定所处集群的期望值；
使用边际分析的方法确定单一任务资源消耗的量化范围，通过所述量化范围的差值衡量作为节点选择的指标，确定最优服务器节点数；
根据所述最优服务器节点数，为待处理的任务集合分配服务器节点进行处理。
3.根据权利要求1所述的方法，其特征在于，所述当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，包括：
当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时，将系统中资源充足的组件的执行器数量进行下调，将执行器分配给资源不足的组件。
4.根据权利要求1所述的方法，其特征在于，所述通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，包括：
通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70％时，触发能耗节约策略。
5.根据权利要求1所述的方法，其特征在于，所述选择服务器进行休眠之后，还包括：
直到CPU利用率高于第二预设阈值的服务器节点数量占总数量的比例高于第三预设阈值，则停止对服务器休眠。
6.一种面向跨地域的流计算延迟优化装置，其特征在于，所述装置包括：
任务调度模块，用于根据执行器的数据流到达速率、执行器处理速率以及当前系统中的延迟数值，确定各个组件的平均队列长度以及平均等待时长，根据执行器的数据流到达速率、执行器处理速率、各个组件的平均队列长度以及平均等待时长，为待处理的任务集合分配服务器节点进行处理，通过监测线程对运行的服务器节点监测CPU利用率情况，当监测到CPU利用率超过第一预设阈值时，进行任务的再分配处理；
延迟约束模块，用于当执行器对于待处理的任务集合进行调度时，当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时进行重新调度，其中，所述临界值参数的确定由提交拓扑的类型和数量决定；
集群能耗优化模块，用于当系统集群中数据流速变小时，通过监测线程监测到CPU利用率低于第二预设阈值的服务器节点数量占总数量的比例大于预设比例时，触发能耗节约策略，根据系统内集群服务器的任务关联情况和延迟情况，选择服务器进行休眠。
7.根据权利要求6所述的装置，其特征在于，所述任务调度模块，用于：
根据执行器的数据流到达速率、执行器处理速率、数据元组的平均队列长度以及数据元组的平均等待时长，确定所处集群的期望值；
使用边际分析的方法确定单一任务资源消耗的量化范围，通过所述量化范围的差值衡量作为节点选择的指标，确定最优服务器节点数；
根据所述最优服务器节点数，为待处理的任务集合分配服务器节点进行处理。
8.根据权利要求6所述的装置，其特征在于，所述延迟约束模块，用于：
当确定系统中某组件的平均队列长度和平均等待时长大于临界值参数时，将系统中资源充足的组件的执行器数量进行下调，将执行器分配给资源不足的组件。
9.根据权利要求6所述的装置，其特征在于，所述集群能耗优化模块，用于：
通过监测线程监测到CPU利用率低于0.25的服务器节点数量占总数量的比例大于70％时，触发能耗节约策略。
10.根据权利要求6所述的装置，其特征在于，所述集群能耗优化模块，还用于：
直到CPU利用率高于第二预设阈值的服务器节点数量占总数量的比例高于第三预设阈值，则停止对服务器休眠。
CN202210548737.1A 2022-05-20 2022-05-20 一种面向跨地域的流计算延迟优化方法及装置 Active CN114816715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210548737.1A CN114816715B (zh) 2022-05-20 2022-05-20 一种面向跨地域的流计算延迟优化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210548737.1A CN114816715B (zh) 2022-05-20 2022-05-20 一种面向跨地域的流计算延迟优化方法及装置

Publications (2)

Publication Number Publication Date
CN114816715A true CN114816715A (zh) 2022-07-29
CN114816715B CN114816715B (zh) 2022-11-22

Family

ID=82515548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210548737.1A Active CN114816715B (zh) 2022-05-20 2022-05-20 一种面向跨地域的流计算延迟优化方法及装置

Country Status (1)

Country Link
CN (1) CN114816715B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115981811A (zh) * 2022-12-19 2023-04-18 杭州新迪数字工程系统有限公司 一种任务调度方法、系统、电子设备及存储介质
CN116346827A (zh) * 2023-05-30 2023-06-27 中国地质大学（北京） 一种面向倾斜数据流的实时分组方法及系统
CN116983617A (zh) * 2023-09-25 2023-11-03 深圳云天畅想信息科技有限公司 跨集群资源调度方法、计算机装置及存储介质
CN117632521A (zh) * 2024-01-26 2024-03-01 中电云计算技术有限公司 后台任务的cpu利用率控制方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150341874A1 (en) * 2014-03-18 2015-11-26 Smartrek Technologies Inc. Mesh Network System and Techniques
CN109697122A (zh) * 2017-10-20 2019-04-30 华为技术有限公司 任务处理方法、设备及计算机存储介质
CN110297699A (zh) * 2018-03-23 2019-10-01 华为技术有限公司 调度方法、调度器、存储介质及系统
CN111193630A (zh) * 2020-02-28 2020-05-22 杭州云象网络技术有限公司 一种区块链物联网管理的非线性自适应闭环控制系统
CN111263938A (zh) * 2017-09-29 2020-06-09 甲骨文国际公司 基于规则的自主数据库云服务框架
US20210279475A1 (en) * 2016-07-29 2021-09-09 Unifai Holdings Limited Computer vision systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150341874A1 (en) * 2014-03-18 2015-11-26 Smartrek Technologies Inc. Mesh Network System and Techniques
US20210279475A1 (en) * 2016-07-29 2021-09-09 Unifai Holdings Limited Computer vision systems
CN111263938A (zh) * 2017-09-29 2020-06-09 甲骨文国际公司 基于规则的自主数据库云服务框架
CN109697122A (zh) * 2017-10-20 2019-04-30 华为技术有限公司 任务处理方法、设备及计算机存储介质
CN110297699A (zh) * 2018-03-23 2019-10-01 华为技术有限公司 调度方法、调度器、存储介质及系统
CN111193630A (zh) * 2020-02-28 2020-05-22 杭州云象网络技术有限公司 一种区块链物联网管理的非线性自适应闭环控制系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAWEI SUN等: "A Stable Online Scheduling Strategy for Real-Time Stream Computing Over Fluctuating Big Data Streams", 《IEEE ACCESS》 *
杨铮等: "面向实时视频流分析的边缘计算技术", 《中国科学:信息科学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115981811A (zh) * 2022-12-19 2023-04-18 杭州新迪数字工程系统有限公司 一种任务调度方法、系统、电子设备及存储介质
CN115981811B (zh) * 2022-12-19 2024-03-15 上海新迪数字技术有限公司 一种任务调度方法、系统、电子设备及存储介质
CN116346827A (zh) * 2023-05-30 2023-06-27 中国地质大学（北京） 一种面向倾斜数据流的实时分组方法及系统
CN116346827B (zh) * 2023-05-30 2023-08-11 中国地质大学（北京） 一种面向倾斜数据流的实时分组方法及系统
CN116983617A (zh) * 2023-09-25 2023-11-03 深圳云天畅想信息科技有限公司 跨集群资源调度方法、计算机装置及存储介质
CN116983617B (zh) * 2023-09-25 2024-01-05 深圳云天畅想信息科技有限公司 跨集群资源调度方法、计算机装置及存储介质
CN117632521A (zh) * 2024-01-26 2024-03-01 中电云计算技术有限公司 后台任务的cpu利用率控制方法、装置、设备及存储介质
CN117632521B (zh) * 2024-01-26 2024-05-03 中电云计算技术有限公司 后台任务的cpu利用率控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114816715B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN114816715B (zh) 一种面向跨地域的流计算延迟优化方法及装置
US10089140B2 (en) Dynamically adaptive, resource aware system and method for scheduling
CN101488098B (zh) 基于虚拟计算技术的多核计算资源管理系统
Yang et al. Stackelberg game approach for energy-aware resource allocation in data centers
CN103605567B (zh) 面向实时性需求变化的云计算任务调度方法
Hui et al. Improved strategies for dynamic load balancing
CN105446816B (zh) 一种面向异构平台的能耗优化调度方法
CN107203422B (zh) 一种面向高性能计算云平台的作业调度方法
JP2008515106A (ja) サービス・パフォーマンスとアプリケーション配置管理を調整する装置、システム、方法
CN107977271B (zh) 一种数据中心综合管理系统负载均衡方法
Tantalaki et al. Pipeline-based linear scheduling of big data streams in the cloud
Xin et al. A load balance oriented cost efficient scheduling method for parallel tasks
CN108123980A (zh) 一种资源调度方法及系统
Wei et al. Pec: Proactive elastic collaborative resource scheduling in data stream processing
Farahabady et al. A qos-aware controller for apache storm
Farahnakian et al. Self-adaptive resource management system in IaaS clouds
CN114900525B (zh) 一种偏斜数据流的双层协作负载均衡方法及存储介质
CN114780247B (zh) 一种流速和资源感知的流应用调度方法及系统
CN110519386B (zh) 云环境下基于数据聚类的弹性资源供应方法和装置
CN115412501A (zh) 基于Flink的多层次协同重配置流处理系统及其处理方法
Fan et al. Adaptive task scheduling in storm
CN108574600A (zh) 云计算服务器的功耗和资源竞争协同控制的服务质量保障方法
Phi et al. Load balancing algorithm on cloud computing for optimize response time
Nandagopal et al. Hierarchical status information exchange scheduling and load balancing for computational grid environments
Sun et al. An energy efficient and runtime-aware framework for distributed stream computing systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant