CN114518951A - 分布式流数据处理系统虚拟化资源弹性调度管理研究 - Google Patents

分布式流数据处理系统虚拟化资源弹性调度管理研究 Download PDF

Info

Publication number
CN114518951A
CN114518951A CN202011308001.4A CN202011308001A CN114518951A CN 114518951 A CN114518951 A CN 114518951A CN 202011308001 A CN202011308001 A CN 202011308001A CN 114518951 A CN114518951 A CN 114518951A
Authority
CN
China
Prior art keywords
resource
task
resource scheduling
stream processing
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011308001.4A
Other languages
English (en)
Inventor
李弘�
曾晓南
张金喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shurui Intelligent Technology Co ltd
Original Assignee
Guangzhou Shurui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shurui Intelligent Technology Co ltd filed Critical Guangzhou Shurui Intelligent Technology Co ltd
Priority to CN202011308001.4A priority Critical patent/CN114518951A/zh
Publication of CN114518951A publication Critical patent/CN114518951A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明公布了一种双层资源调度模型、任务层动态资源调度与减载协同工作模型，以及自调节的分布式流处理结合模型。所述方法包括：通过任务层弹性资源调度模型，调优流处理任务的虚拟化资源占用率与分配；基于任务层调度结果，通过系统层物理资源调度模型弹性调整物理计算资源；将减载技术集成到资源弹性调度的策略；建立响应时间、结果精度和资源使用率之间的关系；实时统计分布式流处理任务的工作负载和运行状态，自动调节资源分配计划和减载策略，通过一个有效的协议来执行它们。本发明通过Storm on yarn实验，结果表明自调节分布式流处理模型实现了对于计算资源的高效使用和输出结果准确性的保障，同时也能够保证系统的实时响应；而双层资源调度模型也能够在保障流处理任务稳定高效运行的前提下，最优化其计算资源的使用率。

Description

分布式流数据处理系统虚拟化资源弹性调度管理研究
技术领域
本发明涉及分布式数据流处理算法，尤其涉及到双层资源调度模型、任务层动态资源调度与减载协同工作模型，以及自调节的分布式流处理结合模型。
背景技术
随着大数据分布式计算技术的不断发展，越来越多的场景下开始使用分布式系统来处理海量数据，许多数据都是实时产生，因此数据流的实时处理和分布式实时计算越来越受到重视。分布式流处理系统资源调度技术在研究与应用中也存在着一些难点，如怎样快速响应实时变化的工作负载来弹性增减系统的计算资源，以及如何同时兼顾资源使用率、输出结果准确性和系统实时性来保障系统实时响应的同时节约计算资源、输出准确结果。
在对已有技术的研究和实践中，本发明的发明人发现，现有的分布式流处理系统资源调度技术主要面临以下问题：
（1）忽略了底层资源的高效利用以及集群的高效管理；系统层面上，几乎无法进行物理资源调度和管理；在任务层面，这些系统对于集群中运行的任务所占用资源的管理也相对松散
（2）难以兼顾资源利用率、输出结果准确性及系统实时性
发明内容
本发明要解决的技术问题在于，提供一种新的分布式流处理系统资源调度技术，能够弹性增减分布式流处理系统计算资源，并且对在资源使用率、输出结果准确性和系统实时性之间取得平衡。
为解决上述问题，本发明的一个实施例提供一种双层资源调度模型，包括：
顶层为任务层动态资源调度框架，将资源请求提交给分布式流处理系统；
底层为系统层资源调度框架，动态调整分布式流处理系统所占有的虚拟化资源；
中间件为分布式流处理系统中的调度器，与系统层资源调度框架通信，响应任务层资源调度框架提交的资源调整请求。
进一步地，所述的任务层资源调度框架，具体包括：
负载实时监控流处理任务的运行状态。
在任务运行时根据工作负载计算出任务需求的最优资源配置，将资源请求提交给分布式流处理系统。
系统先检测现有资源使用情况。若资源过多，则提交申请到系统层资源调度框架，申请将冗余资源回收；若资源不足，则申请增加资源。
进一步地，所述的系统层资源调度框架，具体包括：
将物理资源虚拟化成虚拟化资源。
接收分布式流处理系统的请求，根据现有物理资源状况，弹性的增减分布式流处理系统占用的资源。
进一步地，所述的中间件调度器，具体包括：
第一步： 中间件调度器接收到任务层资源调度请求。
第二步： 中间件调度器检测当前分布式流处理系统资源状态。若不能满足流处理任务请求的资源或者资源出现冗余，跳至第三步，否则跳至第五步。
第三步： 中间件调度器基于目前分布式流处理系统中，任务对于资源的使用情况，计算出当前系统最优资源需求，并向系统层资源调度框架发起会话，申请调整系统占有资源，已达到最优状态。
第四步： 系统层资源调度框架根据中间件调度器请求进行调整，并返回结果给中间件调度器。
第五步： 中间件调度器检测到此时资源为最优状态，触发流处理任务的资源调整。
第六步： 完成资源调整，中间件调度器继续运行，等待下一次资源调整请求。
本发明的另一个实施例提供一种任务层动态资源调度与减载协同工作模型的方法，包括：
所述的减载技术，指的是实时监测系统负载情况，监测到过载时则触发减载；控制负载保持在一个相对稳定的状态，从而避免不可控制的数据等待和系统崩溃。
使用机器学习技术对负载数据拟合还原，具体包括：
第一步，接收到预设时间窗口内的负载信息，包括
Figure 200956DEST_PATH_IMAGE001
，
Figure 979556DEST_PATH_IMAGE002
，
Figure 145221DEST_PATH_IMAGE003
，等。
第二步，基于流处理任务拓扑逻辑结构，计算得到
Figure 667469DEST_PATH_IMAGE004
，N，n。
第三步，计算
Figure 100724DEST_PATH_IMAGE005
。学习
Figure 50226DEST_PATH_IMAGE005
用任意机器学习算法。
第四步，根据工作负载与任务是否处于减载状态无关，
Figure 201721DEST_PATH_IMAGE005
，
Figure 262081DEST_PATH_IMAGE006
与是否存在减载机制 无关，推导出
Figure 815422DEST_PATH_IMAGE007
上的实际工作负载
Figure 935825DEST_PATH_IMAGE008
第五步，根据每个处理单元上的实际工作负载
Figure 810502DEST_PATH_IMAGE009
，以及其他统计信息量，任务层资 源调度框架可做出较为准确的资源调度决策。
其中，
Figure 674553DEST_PATH_IMAGE001
，
Figure 82401DEST_PATH_IMAGE002
，
Figure 373705DEST_PATH_IMAGE003
分别为存在减载时，从数据源发出的数据流平均到达 率，i处理单元负载流入、流出数据流平均到达率； N、n为分布式流处理任务的处理单元总 数、数据源总数。
Figure 234213DEST_PATH_IMAGE010
为i处理单元的所有祖先处理单元集合、减载率、输入输 出选择率函数，
Figure 901955DEST_PATH_IMAGE006
为i处理单元的j前驱处理单元发送到i的数据占j总发出数据的比例。
本发明的另一个实施例提供一种自调节的分布式流处理结合模型，包括
信息采集机制实时采集任务运行时的关键状态和性能指标；
决策制定器根据资源优先策略或者精度优先策略自动调节资源分配计划和减载策略；
决策部署器执行新的资源分配和减载策略时最小化计算和通信开销。
进一步地，所述的资源使用率、平均完全延迟（系统实时性）和结果精确度的关系，指的是更多的资源分配会带来更低的处理延迟；更高的工作负载带来更高的延迟；更高的减载率导致更低的有效元组到达率；更高的减载率导致更低的输出结果准确性。
进一步地，所述的信息采集机制，指的是实时采集任务运行时的关键状态和性能指标，采集信息结果分析器将信息还原和聚合，并生成作为决策制定器输入的处理单元级信息。
进一步地，所述的决策制定机制，具体包括：
决策制定器从采集信息结果分析器中获取输入参数，执行决策算法并将输出传递给决策部署器，决策算法分为资源优先策略和精度优先策略。
资源优先策略指的是决策器的目标是找到适当的资源配置下的最优的减载策略，即：
(1) 平均完全延迟低于用户指定的延迟上限
Figure 164309DEST_PATH_IMAGE011
。
(2) 分配给应用程序中所有处理单元的实例总数不超过给定阈值
Figure 626515DEST_PATH_IMAGE012
。
(3) 结果的准确性是最大化的。
Figure 300003DEST_PATH_IMAGE013
Figure 771435DEST_PATH_IMAGE014
Figure 622717DEST_PATH_IMAGE015
其中
Figure 255823DEST_PATH_IMAGE016
为结果精确度，
Figure 90924DEST_PATH_IMAGE017
为完全平均延迟，
Figure 100469DEST_PATH_IMAGE018
为每个处理单 元并行度构成的随机向量，
精度优先策略指的是优先考虑结果的准确性，而不是资源的使用，即：
(1) 平均完全延迟低于用户指定的延迟上限
Figure 71836DEST_PATH_IMAGE011
。
(2) 处理结果的准确性高于给定的阈值
Figure 141423DEST_PATH_IMAGE019
。
(3) 处理单元并行度之和最小化。
Figure 699705DEST_PATH_IMAGE020
Figure 512941DEST_PATH_IMAGE021
Figure 338814DEST_PATH_IMAGE015
决策制定器所制定的减载策略只会在单一的处理单元上进行减载，并选取减载效果（结果精度高，系统延迟低）最好的出来单元来进行减载。
最小化计算和通信开销，调整分配给处理单元
Figure 579303DEST_PATH_IMAGE007
的实例个数，默认使用流处理系 统中已有的保障机制。将新的减载计划通知到每个处理单元，使用例如基于C/S模式的通信 或者基于第三方消息中间件的通信机制来进行消息传递。
附图说明
图1是本发明的一个实施例提供的一种双层资源调度模型架构；
图2是本发明的一个实施例提供的一种双层资源调度模型工作流程；
图3是本发明的一个实施例提供的一种减载下分布式流处理任务拓扑结构图；
图4是本发明的一个实施例提供的一种基于减载和动态资源调度的流处理模型工作流程图；
图5是本发明的一个实施例提供的一种自调节流处理模型中任务拓扑结构图。
图6是本发明的一个实施例提供的一种自调节流处理模型架构图。
图7是本发明的一个实施例提供的一种自调节分布式流处理模型协同双层资源调度图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前4提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，文中出现的步骤编号仅是为了方便说明，不作为步骤的执行先后顺序限定。
请参阅图1-2。本发明的一个实施例提供了一种双层资源调度模型，包括：
S1、底层是系统层资源调度框架，将物理资源虚拟化成虚拟化资源，同时接收分布式流处理系统汇报的资源使用情况，动态调整分布式流处理系统所占有的虚拟化资源。
中间件为分布式流处理系统中的调度器，与系统层资源调度框架通信，动态调整自身所占有的资源，并在自身占有资源最优时，响应任务层资源调度框架提交的资源调整请求，动态的弹性增减流处理任务所占有的资源。
任务层动态资源调度框架负载实时监控流处理任务的运行状态，在任务运行时根据工作负载计算出任务需求的最优资源配置，并将资源请求提交给分布式流处理系统，动态调整任务占用的计算资源。
S2、任务层资源调度器在将资源调整决策提交后，系统并非在当前占有的资源中进行资源调整，而是先检测现有资源使用情况。
若资源过多，则提交申请到系统层资源调度框架，申请将冗余资源回收；若资源不足，则申请增加资源。
系统层资源调度框架在接收到分布式流处理系统的请求后，根据现有物理资源状况，弹性的增减分布式流处理系统占用的资源。
最后，分布式流处理系统再最新的资源占有情况下，对任务层提交的资源调度请求进行响应。
请参阅图3-4。本发明的一个实施例提供了一种双层资源调度模型，包括：
S3、假设
Figure 123416DEST_PATH_IMAGE007
的输入缓存队列上可以实现任何减载算法。当一个tuple到达时，它在队列 中被缓冲;当
Figure 474763DEST_PATH_IMAGE007
的一个实例可用时，它从队列中获取元组并进行处理。
在具体的实施中，假设拓扑排序为
Figure 420723DEST_PATH_IMAGE022
，
Figure 832112DEST_PATH_IMAGE023
，
Figure 364987DEST_PATH_IMAGE024
，
Figure 520025DEST_PATH_IMAGE025
，
Figure 320491DEST_PATH_IMAGE026
，整个拓扑（包括数据源与处 理单元）可以表示为：
Figure 699520DEST_PATH_IMAGE027
矩阵中的值表示列处理单元或者数据源发送到行处理单元的数据占列处理单元总发 出数据的比例。所以，每列之和为1。基于上述矩阵，与工作负载
Figure 93592DEST_PATH_IMAGE028
以及处理单元的输 入输出选择率函数
Figure 911375DEST_PATH_IMAGE005
，并按照拓扑排序逐个求
Figure 707293DEST_PATH_IMAGE029
的工作负载如下：
Figure 319540DEST_PATH_IMAGE030
负载：
Figure 200908DEST_PATH_IMAGE031
=
Figure 323847DEST_PATH_IMAGE032
=
Figure 974271DEST_PATH_IMAGE033
Figure 22999DEST_PATH_IMAGE034
负载：
Figure 126084DEST_PATH_IMAGE035
=
Figure 285670DEST_PATH_IMAGE036
=
Figure 56180DEST_PATH_IMAGE037
(
Figure 479071DEST_PATH_IMAGE038
Figure 695551DEST_PATH_IMAGE039
负载：
Figure 534194DEST_PATH_IMAGE040
=
Figure 283844DEST_PATH_IMAGE041
=
Figure 549740DEST_PATH_IMAGE042
(
Figure 752051DEST_PATH_IMAGE043
Figure 128806DEST_PATH_IMAGE044
负载：
Figure 732963DEST_PATH_IMAGE045
=
Figure 169760DEST_PATH_IMAGE046
=
Figure 531472DEST_PATH_IMAGE042
(
Figure 541278DEST_PATH_IMAGE047
Figure 672045DEST_PATH_IMAGE048
负载：
Figure 607640DEST_PATH_IMAGE049
=
Figure 456647DEST_PATH_IMAGE050
=
Figure 565418DEST_PATH_IMAGE051
S4、负载信息收集由任务层资源调度框架完成，由于存在减载，此时收集到的负载数据是失真的。因此，需要将失真数据通过数据拟合还原后，提交到任务层资源调度器，任务层资源调度器根据还原后的近似真实数据来生成诊断并做出资源调度决策。
请参阅图5-7。本发明的一个实施例提供了一种自调节分布式流处理模型，包括：
S5、构造任务拓扑结构，对于处理单元
Figure 753954DEST_PATH_IMAGE007
，定义一个四维向量
Figure 860450DEST_PATH_IMAGE052
，其中
Figure 196753DEST_PATH_IMAGE053
表示
Figure 548362DEST_PATH_IMAGE007
的输入数据流平均到达率；
Figure 653722DEST_PATH_IMAGE005
表示
Figure 727857DEST_PATH_IMAGE007
的输入输出选择率函数；
Figure 754719DEST_PATH_IMAGE054
表示
Figure 939713DEST_PATH_IMAGE007
的处理速率；
Figure 102841DEST_PATH_IMAGE055
表示
Figure 613456DEST_PATH_IMAGE007
的并行度。
Figure 862035DEST_PATH_IMAGE006
为
Figure 352185DEST_PATH_IMAGE056
发送到
Figure 635398DEST_PATH_IMAGE057
的数据占j总发出数据的比例。将一个或者多个数据源
Figure 785757DEST_PATH_IMAGE058
统一为一个
Figure 787211DEST_PATH_IMAGE059
来表示所有数据源的聚合，并用
Figure 579587DEST_PATH_IMAGE060
来表示单位时间内从
Figure 717307DEST_PATH_IMAGE059
输出的元 组（tuple）个数。
在具体的实施例中，任务拓扑结构含有五个处理单元
Figure 304146DEST_PATH_IMAGE061
。数据源输出数据为
Figure 527317DEST_PATH_IMAGE060
，
Figure 347550DEST_PATH_IMAGE060
数据全部输入到
Figure 339777DEST_PATH_IMAGE022
。
Figure 363097DEST_PATH_IMAGE022
的输出分为两部分，一部分输入到
Figure 73564DEST_PATH_IMAGE023
，另一部分输入到
Figure 942163DEST_PATH_IMAGE024
。
Figure 788896DEST_PATH_IMAGE023
输 入数据全部输入到
Figure 717538DEST_PATH_IMAGE025
。
Figure 915301DEST_PATH_IMAGE024
输出到
Figure 89055DEST_PATH_IMAGE025
和
Figure 55874DEST_PATH_IMAGE026
。
S6、自调节分布式流处理模型架构由三个主要部分组成，信息采集机制（采集器）、决策制定器和决策部署器。
用户配置和任务程序上下文包含了任务程序相关的运行时环境和参数配置，在任务运行过程中保持不变。
决策制定器收工作负载测量（来自采集器）、用户输入（来自用户配置）和任务程序上下文。
基于这些输入，决策制定器来决定资源分配和加载策略，并将这些测量交由决策部署器来执行。
S7、自调节分布式流处理模型基于减载和动态资源调度，实现对于计算资源和工作负载的精确控制以达到资源使用、结果延迟和结果精度之间的平衡；但所使用的资源仍然是在初始化后就固定好的静态资源。
引入双层资源调度模型对分布式流处理系统所占用的物理资源进行实时调整，能够实现自流处理任务到物理资源的由上而下的精确调度和管理，实现弹性资源调度下的资源使用、结果延迟和结果精度的平衡。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory,ROM）或随机存储记忆体（Random AccessMemory,RAM）等。

Claims (8)

1.一种双层资源调度模型，其特征在于：
顶层为任务层动态资源调度框架，将资源请求提交给分布式流处理系统。
底层为系统层资源调度框架，动态调整分布式流处理系统所占有的虚拟化资源。
中间件为分布式流处理系统中的调度器，与系统层资源调度框架通信，响应任务层资源调度框架提交的资源调整请求。
2.根据权利1所述的双层资源调度模型，其特征在于，所述的任务层资源调度框架，具体包括：
负载实时监控流处理任务的运行状态。
在任务运行时根据工作负载计算出任务需求的最优资源配置，将资源请求提交给分布式流处理系统。
系统先检测现有资源使用情况。若资源过多，则提交申请到系统层资源调度框架，申请将冗余资源回收；若资源不足，则申请增加资源。
3.根据权利1所述的双层资源调度模型，其特征在于，所述的系统层资源调度框架，具体包括：
将物理资源虚拟化成虚拟化资源。
接收分布式流处理系统的请求，根据现有物理资源状况，弹性的增减分布式流处理系统占用的资源。
4.根据权利1所述的双层资源调度模型，其特征在于，所述的中间件调度器，具体包括：
第一步：中间件调度器接收到任务层资源调度请求。
第二步：中间件调度器检测当前分布式流处理系统资源状态。若不能满足流处理任务请求的资源或者资源出现冗余，跳至第三步，否则跳至第五步。
第三步：中间件调度器基于目前分布式流处理系统中，任务对于资源的使用情况，计算出当前系统最优资源需求，并向系统层资源调度框架发起会话，申请调整系统占有资源，已达到最优状态。
第四步：系统层资源调度框架根据中间件调度器请求进行调整，并返回结果给中间件调度器。
第五步：中间件调度器检测到此时资源为最优状态，触发流处理任务的资源调整。
第六步：完成资源调整，中间件调度器继续运行，等待下一次资源调整请求。
5.一种任务层动态资源调度与减载协同工作的模型，其特征在于
所述的减载技术，指的是实时监测系统负载情况，监测到过载时则触发减载；控制负载保持在一个相对稳定的状态，从而避免不可控制的数据等待和系统崩溃。
使用机器学习技术对负载数据拟合还原，具体包括：
第一步，接收到预设时间窗口内的负载信息，包括λ(source，m)，λ(i，in)，λ(i，out)，等。
第二步，基于流处理任务拓扑逻辑结构，计算得到Ancestor(i)，N，n。
第三步，计算fi。学习fi用任意机器学习算法。
第四步，根据工作负载与任务是否处于减载状态无关，fi，pji与是否存在减载机制无关，推导出Bi上的实际工作负载
Figure FDA0002786633510000021
jAncestor(i)第五步，根据每个处理单元上的实际工作负载
Figure FDA0002786633510000022
以及其他统计信息量，任务层资源调度框架可做出较为准确的资源调度决策。
其中，λ(source，m)，λ(i，in)，λ(i，out)分别为存在减载时，从数据源发出的数据流平均到达率，i处理单元负载流入、流出数据流平均到达率；N、n为分布式流处理任务的处理单元总数、数据源总数。Ancestor(i)、si、fi为i处理单元的所有祖先处理单元集合、减载率、输入输出选择率函数，pji为i处理单元的j前驱处理单元发送到i的数据占j总发出数据的比例。
6.一种自调节的分布式流处理结合的模型，其特征在于
信息采集机制实时采集任务运行时的关键状态和性能指标；
决策制定器根据资源优先策略或者精度优先策略自动调节资源分配计划和减载策略，并最小化计算和通信开销。
7.根据权利9所述的自调节的分布式流处理结合的模型，其特征在于，所述的信息采集机制，指的是实时采集任务运行时的关键状态和性能指标，采集信息结果分析器将信息还原和聚合，并生成作为决策制定器输入的处理单元级信息。
8.根据权利9所述的自调节的分布式流处理结合的模型，其特征在于，所述的决策制定机制，具体包括：
决策制定器从采集信息结果分析器中获取输入参数，执行决策算法并将输出传递给决策部署器，决策算法分为资源优先策略和精度优先策略。
资源优先策略指的是决策器的目标是找到适当的资源配置下的最优的减载策略，即：
(1)平均完全延迟低于用户指定的延迟上限Tmax。
(2)分配给应用程序中所有处理单元的实例总数不超过给定阈值kmax。
(3)结果的准确性是最大化的。
Figure FDA0002786633510000031
Figure FDA0002786633510000032
Figure FDA0002786633510000033
其中
Figure FDA0002786633510000034
为结果精确度，E[T]为完全平均延迟，
Figure FDA0002786633510000035
为每个处理单元并行度构成的随机向量，
精度优先策略指的是优先考虑结果的准确性，而不是资源的使用，即：
(1)平均完全延迟低于用户指定的延迟上限Tmax。
(2)处理结果的准确性高于给定的阈值Amin。
(3)处理单元并行度之和最小化。
Figure FDA0002786633510000036
Figure FDA0002786633510000037
Figure FDA0002786633510000038
决策制定器所制定的减载策略只会在单一的处理单元上进行减载，并选取减载效果(结果精度高，系统延迟低)最好的出来单元来进行减载。
最小化计算和通信开销，调整分配给处理单元Bi的实例个数，默认使用流处理系统中已有的保障机制；将新的减载计划通知到每个处理单元，使用例如基于C/S模式的通信或者基于第三方消息中间件的通信机制来进行消息传递。
CN202011308001.4A 2020-11-20 2020-11-20 分布式流数据处理系统虚拟化资源弹性调度管理研究 Pending CN114518951A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011308001.4A CN114518951A (zh) 2020-11-20 2020-11-20 分布式流数据处理系统虚拟化资源弹性调度管理研究

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011308001.4A CN114518951A (zh) 2020-11-20 2020-11-20 分布式流数据处理系统虚拟化资源弹性调度管理研究

Publications (1)

Publication Number Publication Date
CN114518951A true CN114518951A (zh) 2022-05-20

Family

ID=81595115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011308001.4A Pending CN114518951A (zh) 2020-11-20 2020-11-20 分布式流数据处理系统虚拟化资源弹性调度管理研究

Country Status (1)

Country Link
CN (1) CN114518951A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412501A (zh) * 2022-08-30 2022-11-29 哈尔滨工业大学 基于Flink的多层次协同重配置流处理系统及其处理方法
CN118467176A (zh) * 2024-07-09 2024-08-09 阡陌数字信息科技(南京)有限公司 一种基于人工智能的分布式调度监管系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115412501A (zh) * 2022-08-30 2022-11-29 哈尔滨工业大学 基于Flink的多层次协同重配置流处理系统及其处理方法
CN118467176A (zh) * 2024-07-09 2024-08-09 阡陌数字信息科技(南京)有限公司 一种基于人工智能的分布式调度监管系统及方法
CN118467176B (zh) * 2024-07-09 2024-09-10 阡陌数字信息科技(南京)有限公司 一种基于人工智能的分布式调度监管系统及方法

Similar Documents

Publication Publication Date Title
CN109324875B (zh) 一种基于强化学习的数据中心服务器功耗管理与优化方法
CN108509276B (zh) 一种边缘计算环境中的视频任务动态迁移方法
Wang et al. Cluster frameworks for efficient scheduling and resource allocation in data center networks: A survey
US11784931B2 (en) Network burst load evacuation method for edge servers
Sathiyamoorthi et al. Adaptive fault tolerant resource allocation scheme for cloud computing environments
CN109120715A (zh) 一种云环境下动态负载均衡方法
US11757790B2 (en) Method and server for adjusting allocation of computing resources to plurality of virtualized network functions (VNFs)
CN114518951A (zh) 分布式流数据处理系统虚拟化资源弹性调度管理研究
Shifrin et al. Optimal scheduling in the hybrid-cloud
WO2020248226A1 (zh) 一种基于负载预测的Hadoop计算任务初始分配方法
CN115718644A (zh) 一种面向云数据中心的计算任务跨区迁移方法及系统
CN116302578B (zh) 一种QoS约束的流应用延迟确保方法及系统
CN112799828A (zh) 一种基于强化学习的云平台资源调度策略
CN112162835A (zh) 一种异构云环境下实时任务的调度优化方法
Cheng et al. Proscale: Proactive autoscaling for microservice with time-varying workload at the edge
Rolik et al. Dynamie management of data center resources using reinforcement learning
CN115878260A (zh) 一种低碳自适应云主机任务调度系统
Song et al. A deep reinforcement learning-based task scheduling algorithm for energy efficiency in data centers
Abdullah et al. A reliable, TOPSIS-based multi-criteria, and hierarchical load balancing method for computational grid
CN118138590A (zh) 一种数据中心负载均衡方法
CN118132228A (zh) 一种分布式的算力调度管理系统和方法
Li et al. Noah: Reinforcement-learning-based rate limiter for microservices in large-scale e-commerce services
JPH09274608A (ja) マルチプロセッサシステムにおけるプロセッサ間の負荷配分制御方法
CN110457130B (zh) 一种分布式资源弹性调度模型、方法、电子设备及存储介质
Guo et al. A Task Priority-based Resource Scheduling Algorithm for Container-based Clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220520