CN111488209B - 一种启发式Storm节点任务调度优化方法 - Google Patents

一种启发式Storm节点任务调度优化方法 Download PDF

Info

Publication number
CN111488209B
CN111488209B CN202010204772.2A CN202010204772A CN111488209B CN 111488209 B CN111488209 B CN 111488209B CN 202010204772 A CN202010204772 A CN 202010204772A CN 111488209 B CN111488209 B CN 111488209B
Authority
CN
China
Prior art keywords
node
storm
threads
task
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010204772.2A
Other languages
English (en)
Other versions
CN111488209A (zh
Inventor
简琤峰
平靖
张美玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Air Traffic Control Industry Development Co ltd
Wuhan Pengzhou Technology Co ltd
Original Assignee
Shenzhen Air Traffic Control Industry Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Air Traffic Control Industry Development Co ltd filed Critical Shenzhen Air Traffic Control Industry Development Co ltd
Priority to CN202010204772.2A priority Critical patent/CN111488209B/zh
Publication of CN111488209A publication Critical patent/CN111488209A/zh
Application granted granted Critical
Publication of CN111488209B publication Critical patent/CN111488209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G06F9/4856—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及一种启发式Storm节点任务调度优化方法，以集合的形式，将拓扑数据流T中的实例通过调度器分配到相应节点，改变Storm的分配方式，获取集群节点的配置信息并作为调度输入、计算所有调度方案，以一次任务调度的总执行时间和每个边缘节点的负载均衡标准差作为解的评价值，得到评价值最优的全局最优解的集合作为Storm节点任务调度的最佳分配方案，最后基于出入栈的思想将线程以对应的首尾实例的集合，将计算得到的全局最优解集合按照其集合中每个维度的属性分配到集群中。本发明算法复杂度低、运行速度快，适合任何并发情况，无须手动配置，将属于同任务的线程最大化分配到相同节点，保证边缘节点通信代价最低。

Description

一种启发式Storm节点任务调度优化方法
技术领域
本发明涉及程序控制装置，例如，控制器的技术领域，特别涉及一种云计算、流式计算框架方向、主要为资源调度算法的启发式动态规划Storm调度方法。
背景技术
近年来随着计算机以及网络技术的发展，以物联网大数据为代表的实时大数据流式处理的需求使得传统的基于批量数据处理的Hadoop显得力不从心，实时流式数据处理成为近年来研究领域的热点内容之一。Storm作为大数据流式处理与并行计算框架的典型代表，在实时分析、在线机器学习、持续计算、分布式远程调用等领域有着重要的应用。随着Storm的深入应用，其在资源和任务的调度策略上的缺陷越来越突出，其自带的均衡调度器只是采用简单的轮询方式进行任务分配，并没考虑到各子节点间的通信代价和负载均衡，无法充分利用节点的CPU计算资源，严重影响Storm集群的吞吐量和运行性能。
现有的优化方法主要有增加资源感知模块或者通过GPU来提升计算能力两个方向。资源感知的方法主要通过监听节点的CPU利用率以及网络负载来优化节点间的通信延迟和负载，但缺点是并没有从本质上改变Storm的拓扑任务线程的Task实例的分配方式，需要手动配置调度参数，调度方式复杂且调度时间长；而通过GPU来增加Storm的计算能力的方法是以偏硬件的方式来优化提升Storm的运行性能，缺点是大规模集群的成本过高且没有考虑节点的负载均衡。
发明内容
本发明解决了现有技术中的各节点CPU利用率低、调度时间长、算法复杂度高且需要手动配置调度参数等问题，提出了一种启发式Storm节点任务调度优化方法。
本发明所采用的技术方案是，一种启发式Storm节点任务调度优化方法，所述方法包括以下步骤：
步骤1：以集合的形式，将拓扑数据流T中的实例通过调度器分配到相应节点，改变Storm的分配方式；
步骤2：通过附加配置检测模块获取集群节点的配置信息，并将该信息作为调度的输入、计算出所有调度方案集合，再以一次任务调度的总执行时间和每个边缘节点的负载均衡标准差作为解的评价值，以得到评价值最优的全局最优解集合作为Storm节点任务调度的最佳分配方案集合；
步骤3：将步骤2中计算出的最佳分配方案集合，基于出入栈的思想将线程以对应的首尾实例的集合，将计算得到的全局最优解集合，按照其集合中每个维度的属性，分配到集群中。
优选地，所述步骤1包括以下步骤：
步骤1.1：所述Storm集群N包括n个工作节点，N＝{ni|i∈[1，n]}，任一工作节点ni配置有Si个Slot，Slot的集合R为 表示第ni节点的第j个Slot；
步骤1.2：获得拓扑数据流T，包括进程中的若干线程，线程中的实例定义为[start-task-id，end-task-id]；
步骤1.3：对于T的每个实例的Ne(T)个线程以[start-task-id，end-task-id]集合的形式均匀分配到相应节点所对应的Slot的空集合，最终线程在每个Slot集合中的储存形式是其分配到相应Slot的数量；
步骤1.4：对T的资源调度为f(x)→S，函数f表示线程到Slot的映射，x表示执行实例的线程集合和容纳线程集合，S为对应的Slot。
优选地，所述步骤1.2中，实例中开始和末尾的id相同，实例为Ei，i∈(1，N)。
优选地，T占用的进程数小于等于集群的Slot数量。
优选地，当两个线程非属于同一个T的线程时，所述两个线程不被分配到同一个进程中。
优选地，所述步骤2包括以下步骤：
步骤2.1：初始化解集res＝{res1，...，resn}，定义当前节点的Slot的索引为全局变量Idx，T配置的线程的数量为Ne(T)，Slot的数量为Ns(T)；
步骤2.2：初始化当前已经分配的线程数为0；
步骤2.3：判断当前节点的Slot的索引Idx，如果当前索引值小于Ns(T)且当前已分配线程数小于Ne(T)，则根据全局变量索引Idx，循环遍历将第j个值赋值到res[Idx]中；
步骤2.4：重复步骤2.3，将还未分配的任务数补位到数组res[Ns(T)]的位置；得到当前节点的调度方案集合；
步骤2.5：若还存在没有处理的节点，则以没有处理的节点为新的当前节点，返回步骤2.1，使用递归的形式重复循环遍历，直至计算得到所有可能的调度方案集合；
步骤2.6：对解进行评价，以得到的最优解作为Storm节点任务调度的最佳分配方案。
优选地，所述步骤2.1中，设置T配置的线程的数量的最大值MaxNe(T)及最小值MinNe(T)，MaxNe(T)，MinNe(T)∈(1，Ns(T)+1)。
优选地，所述步骤2.6中，最优解为执行时间最短且负载均衡的标准差最小的解；
第i个Slot分配到的线程所需要的执行时间为Ti， 其中，CSys为系统分配给集群的CPU值，PExe为分配给每个线程的CPU占集群总值的百分比；
负载均衡的标准差为其中，Tavg为集群所有节点分配线程所需的执行时间Ti的总和的平均值。
优选地，将步骤2中计算出的最佳分配方案，基于出入栈的思想将线程以(start-task-id，end-task-id)集合的形式按照计算出的最优调度方案集合分配到集群中。
本发明提供了一种启发式Storm节点任务调度优化方法，以一种集合的形式，集合每个维度代表节点中每个slot所分配到线程的数量，将拓扑数据流T中的实例通过调度器分配到相应节点，改变Storm的分配方式；通过获取集群节点的配置信息并作为调度的输入、计算出所有调度方案集合，再以一次任务调度的总执行时间和每个边缘节点的负载均衡标准差作为解的评价值，以得到评价值最优的全局最优解的集合作为Storm节点任务调度的最佳分配方案，最后基于出入栈的思想将线程以对应的首尾实例的集合，将计算得到的全局最优解集合，按照其集合中每个维度的属性，分配到集群中。
本发明改变Storm调度框架中Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系，然后根据边缘节点配置检测的结果来计算出最优的全局调度方案。本发明算法复杂度低、运行速度快，适合任何并发情况，且无须手动配置参数，能将属于同任务的线程最大化地分配到相同节点，保证了边缘节点的通信代价最低。
附图说明
图1为本发明中启发式Storm拓扑任务调度模型；
图2为本发明中启发式Storm拓扑任务节点分配模型。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明涉及一种启发式Storm节点任务调度优化方法，使用的Storm版本为1.06。所述方法包括以下步骤。
步骤1：以集合的形式，将拓扑数据流T中的实例通过调度器分配到相应节点，改变Storm的分配方式。
所述步骤1包括以下步骤：
步骤1.1：所述Storm集群N包括n个工作节点，N＝{ni|i∈[1，n]}，任一工作节点ni配置有Si个Slot，Slot的集合R为 表示第ni节点的第j个Slot；
步骤1.2：获得拓扑数据流T，包括进程中的若干线程，线程中的实例定义为[start-task-id，end-task-id]；
所述步骤1.2中，实例中开始和末尾的id相同，实例为Ei，i∈(1，N)。
步骤1.3：对于T的每个实例的Ne(T)个线程以[start-task-id，end-task-id]集合的形式均匀分配到相应节点所对应的Slot的空集合，最终线程在每个Slot集合中的储存形式是其分配到相应Slot的数量；
步骤1.4：对T的资源调度为f(x)→S，函数f表示线程到Slot的映射，x表示执行实例的线程集合和容纳线程集合，S为对应的Slot。
T占用的进程数小于等于集群的Slot数量。
当两个线程非属于同一个T的线程时，所述两个线程不被分配到同一个进程中。
本发明中，集合实际为一个数组，数组中的每个元素为分配到该Slot的线程的数量，将计算得到的全局最优解集合，按照其集合中每个维度的属性通过调度器Scheduler分配到相应节点，也即是集合的每个维度代表节点中每个slot所分配到线程的数量。
本发明中，对于当前研究版本(即1.06)的Storm来说，不允许两个不是同一个Topology的Executor被分配到同一个Worker。
本发明中，具体调度模型如图1所示。
步骤2：通过附加配置检测模块获取集群节点的配置信息，并将该信息作为调度的输入、计算出所有调度方案集合，再以一次任务调度的总执行时间和每个边缘节点的负载均衡标准差作为解的评价值，以得到评价值最优的全局最优解集合作为Storm节点任务调度的最佳分配方案集合。
所述步骤2包括以下步骤：
步骤2.1：初始化解集res＝{res1，...，resn}，定义当前节点的Slot的索引为全局变量Idx，T配置的线程的数量为Ne(T)，Slot的数量为Ns(T)；
所述步骤2.1中，设置T配置的线程的数量的最大值MaxNe(T)及最小值MinNe(T)，MaxNe(T)，MinNe(T)∈(1，Ns(T)+1)。
步骤2.2：初始化当前已经分配的线程数为0；
步骤2.3：判断当前节点的Slot的索引Idx，如果当前索引值小于Ns(T)且当前已分配线程数小于Ne(T)，则根据全局变量索引Idx，循环遍历将第j个值赋值到res[Idx]中；
步骤2.4：重复步骤2.3，将还未分配的线程数补位到数组res[Ns(T)]的位置；得到当前节点的调度方案集合；
步骤2.5：若还存在没有处理的节点，则以没有处理的节点为新的当前节点，返回步骤2.1，使用递归的形式重复循环遍历，直至计算得到所有可能的调度方案集合；
步骤2.6：对解进行评价，以得到的最优解作为Storm节点任务调度的最佳分配方案。
所述步骤2.6中，最优解为执行时间最短且负载均衡的标准差最小的解；
第i个Slot分配到的线程所需要的执行时间为Ti， 其中，CSys为系统分配给集群的CPU值，PExe为分配给每个线程的CPU占集群总值的百分比；
负载均衡的标准差为其中，Tavg为集群所有节点分配线程所需的执行时间Ti的总和的平均值。
本发明中，Storm的调度问题简化为如何将Ne(T)个线程分配到NS(T)个Slot集合中，才能使得Storm在边缘节点的调度时间最短、资源利用率最高，同时保证节点间的负载均衡，这是一个多项式求解NP-Hard问题；
首先需要根据节点配置检测的结果(CPU的利用率)作为适应度函数来评价解的优劣，第Nres个分配方案即解为res[i](i∈[1，Nres])，提交至集群的拓扑数据流T所配置的线程数视为任务的长度LNe(T)，获取的系统的分配给集群的CPU值为CSys，分配给线程的CPU占集群总值的百分比为PExe，则第i个Slot分配到的既定数量的线程所需要的执行时间Ti计算公式为Ti越小说明整体执行时间越短；
再计算出每个解最短执行时间的同时需要考虑每个节点的负载均衡，即每个节点执行任务所用的时间，波动范围越小则负载越均衡；定义负载均衡的标准差LB，
本发明中，步骤2.1中，考虑到充分利用本地资源的问题，本算法设定了每个Slot所允许容纳的最大和最小线程数，设置的每个slot至少分配一个线程，至多分配节点配置的Slot总数加一个线程，事实上，最小值MinNe(T)为初始值，一般为1。
本发明中，n是集群的节点数，Ns(T)是第ni个节点配置的slot的数量，“将还未分配的任务数补位到数组res[Ns(T)]的位置”是指将每个slot都循环并分配。
本发明中，举例来说，所有可能的分配方案是指：假设要将8个线程分到4个slot中，计算得到所有可能的集合就是[1，1，1，5]、[1，1，2，4]...，其中每个一维数组如[1，1，1，5]就是一个集合，如[1，1，1，5]；集合中，每个维度代表节点中每个slot所分配到线程的数量，例中[1，1，1，5]集合，第一个slot(数组一个维度)分配到了1个线程，一共8个线程全部完成分配，即数组里所有维度的数的和为线程数(例中为8个线程)。本算法的思想就是根据需要分配的线程的数量和可分配的slot数，首先计算出所有的可能集合，然后再根据适应度函数计算出所有集合中的全局最优解集合。
本发明中，具体分配模型如图2所示。
步骤3：将步骤2中计算出的最佳分配方案集合，基于出入栈的思想将线程以对应的首尾实例的集合，将计算得到的全局最优解集合，按照其集合中每个维度的属性，分配到集群中。
将步骤2中计算出的最佳分配方案集合，基于出入栈的思想将线程以(start-task-id，end-task-id)集合的形式按照计算出的最优调度方案分配到集群中。
本发明中，集合中每个维度代表了节点中每个slot所分配到线程的数量，最优调度方案集合实际为一个数组，数组中的每个元素为分配到该Slot的线程的数量。
本发明以一种集合的形式，集合每个维度代表节点中每个slot所分配到线程的数量，将拓扑数据流T中的实例通过调度器分配到相应节点，改变Storm的分配方式；通过获取集群节点的配置信息并作为调度的输入、计算出所有调度方案，再以一次任务调度的总执行时间和每个边缘节点的负载均衡标准差作为解的评价值，以得到评价值最优的全局最优解作为Storm节点任务调度的最佳分配方案，最后基于出入栈的思想将线程以对应的首尾实例的集合，按照其集合中每个维度的属性，分配到集群中。
本发明改变Storm调度框架中Task实例的排序分配方式以及Task实例和Slot任务槽的映射关系，然后根据边缘节点配置检测的结果来计算出最优的全局调度方案。本发明算法复杂度低、运行速度快，适合任何并发情况，且无须手动配置参数，能将属于同任务的线程最大化地分配到相同节点，保证了边缘节点的通信代价最低。

Claims (7)

1.一种启发式Storm节点任务调度优化方法，其特征在于：所述方法包括以下步骤：
步骤1：以集合的形式，将拓扑数据流T中的实例通过调度器分配到相应节点，改变Storm的分配方式；
步骤2：通过附加配置检测模块获取集群节点的配置信息，并将该信息作为调度的输入、计算出所有调度方案集合，再以一次任务调度的总执行时间和每个边缘节点的负载均衡标准差作为解的评价值，以得到评价值最优的全局最优解集合作为Storm节点任务调度的最佳分配方案集合；包括以下步骤：
步骤2.1：初始化解集res＝{res1,...,resn}，定义当前节点的Slot的索引为全局变量Idx，T配置的线程的数量为Ne(T)，Slot的数量为Ns(T)；
步骤2.2：初始化当前已经分配的线程数为0；
步骤2.3：判断当前节点的Slot的索引Idx，如果当前索引值小于Ns(T)且当前已分配线程数小于Ne(T)，则根据全局变量索引Idx，循环遍历将第j个值赋值到res[Idx]中；
步骤2.4：重复步骤2.3，将还未分配的任务数补位到数组res[Ns(T)]的位置；得到当前节点的调度方案集合；
步骤2.5：若还存在没有处理的节点，则以没有处理的节点为新的当前节点，返回步骤2.1，使用递归的形式重复循环遍历，直至计算得到所有可能的调度方案集合；
步骤2.6：对解进行评价，以得到的最优解作为Storm节点任务调度的最佳分配方案；最优解为执行时间最短且负载均衡的标准差最小的解；
第i个Slot分配到的线程所需要的执行时间为Ti，其中，CSys为系统分配给集群的CPU值，PExe为分配给每个线程的CPU占集群总值的百分比；
负载均衡的标准差为其中，Tavg为集群所有节点分配线程所需的执行时间Ti的总和的平均值；
步骤3：针对步骤2中计算出的最佳分配方案集合，基于出入栈的思想将线程对应其首尾实例集合，并将计算得到的全局最优解集合，按照其集合中每个维度的属性，分配到集群中。
2.根据权利要求1所述的一种启发式Storm节点任务调度优化方法，其特征在于：所述步骤1包括以下步骤：
步骤1.1：所述Storm集群N包括n个工作节点，N＝{ni|i∈[1,n]}，任一工作节点ni配置有Si个Slot，Slot的集合R为|i∈[1,n],j∈[1,Si]}，/>表示第ni节点的第j个Slot；
步骤1.2：获得拓扑数据流T，包括进程中的若干线程，线程中的实例定义为[start-task-id,end-task-id]；
步骤1.3：对于T的每个实例的Ne(T)个线程以[start-task-id,end-task-id]集合的形式均匀分配到相应节点所对应的Slot的空集合，最终线程在每个Slot集合中的储存形式是其分配到相应Slot的数量；
步骤1.4：对T的资源调度为f(x)→S，函数f表示线程到Slot的映射，x表示执行实例的线程集合和容纳线程集合，S为对应的Slot。
3.根据权利要求2所述的一种启发式Storm节点任务调度优化方法，其特征在于：所述步骤1.2中，实例中开始和末尾的id相同,实例为Ei，i∈(1,N)。
4.根据权利要求2所述的一种启发式Storm节点任务调度优化方法，其特征在于：T占用的进程数小于等于集群的Slot数量。
5.根据权利要求2所述的一种启发式Storm节点任务调度优化方法，其特征在于：当两个线程非属于同一个T的线程时，所述两个线程不被分配到同一个进程中。
6.根据权利要求1所述的一种启发式Storm节点任务调度优化方法，其特征在于：所述步骤2.1中，设置T配置的线程的数量的最大值MaxNe(T)及最小值Min Ne(T)，MaxNe(T),MinNe(T)∈(1,Ns(T)+1)。
7.根据权利要求2所述的一种启发式Storm节点任务调度优化方法，其特征在于：将步骤2中计算出的最佳分配方案，基于出入栈的思想将线程以(start-task-id,end-task-id)集合的形式按照计算出的最优调度方案集合分配到集群中。
CN202010204772.2A 2020-03-22 2020-03-22 一种启发式Storm节点任务调度优化方法 Active CN111488209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010204772.2A CN111488209B (zh) 2020-03-22 2020-03-22 一种启发式Storm节点任务调度优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010204772.2A CN111488209B (zh) 2020-03-22 2020-03-22 一种启发式Storm节点任务调度优化方法

Publications (2)

Publication Number Publication Date
CN111488209A CN111488209A (zh) 2020-08-04
CN111488209B true CN111488209B (zh) 2023-12-15

Family

ID=71794485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010204772.2A Active CN111488209B (zh) 2020-03-22 2020-03-22 一种启发式Storm节点任务调度优化方法

Country Status (1)

Country Link
CN (1) CN111488209B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590307B (zh) * 2021-06-22 2024-05-28 国网河北省电力有限公司电力科学研究院 边缘计算节点优化配置方法、装置及云计算中心

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140528A (zh) * 2007-08-31 2008-03-12 中兴通讯股份有限公司 一种实现集群内定时任务负载均衡的方法、装置及系统
CN106021411A (zh) * 2016-05-13 2016-10-12 大连理工大学 一种具有集群自适应性的Storm任务部署与配置平台
CN107329815A (zh) * 2017-06-26 2017-11-07 浙江工业大学 一种基于BP‑Tabu搜索的云任务负载均衡调度方法
CN108170530A (zh) * 2017-12-26 2018-06-15 北京工业大学 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
CN108469988A (zh) * 2018-02-28 2018-08-31 西北大学 一种基于异构Hadoop集群的任务调度方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198298B2 (en) * 2015-09-16 2019-02-05 Salesforce.Com, Inc. Handling multiple task sequences in a stream processing framework
US9842000B2 (en) * 2015-09-18 2017-12-12 Salesforce.Com, Inc. Managing processing of long tail task sequences in a stream processing framework
CN105162878B (zh) * 2015-09-24 2018-08-31 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140528A (zh) * 2007-08-31 2008-03-12 中兴通讯股份有限公司 一种实现集群内定时任务负载均衡的方法、装置及系统
CN106021411A (zh) * 2016-05-13 2016-10-12 大连理工大学 一种具有集群自适应性的Storm任务部署与配置平台
CN107329815A (zh) * 2017-06-26 2017-11-07 浙江工业大学 一种基于BP‑Tabu搜索的云任务负载均衡调度方法
CN108170530A (zh) * 2017-12-26 2018-06-15 北京工业大学 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法
CN108469988A (zh) * 2018-02-28 2018-08-31 西北大学 一种基于异构Hadoop集群的任务调度方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
zhou zhang等.N-storm : Efficient Thread-Level Task Migration in Apache Storm.2019 IEEE 21st International Conference on High Performance Computing and Communications.2019,全文. *
冯馨锐等.Storm 集群下基于性能感知的负载均衡策略.计算机系统应用.2018,全文. *
简琤峰等.面向边缘计算的改进混沌蝙蝠群协同调度算法.小型微型计算机系统.2019,全文. *

Also Published As

Publication number Publication date
CN111488209A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN108270805B (zh) 用于数据处理的资源分配方法及装置
Beaumont et al. Centralized versus distributed schedulers for bag-of-tasks applications
CN111431961B (zh) 一种云数据中心的节能任务分配方法
Yu et al. Towards bandwidth guarantee for virtual clusters under demand uncertainty in multi-tenant clouds
CN113163498B (zh) 5g网络切片下基于遗传算法的虚拟网资源分配方法及装置
CN112181620B (zh) 云环境下虚拟机服务能力感知的大数据工作流调度方法
CN113742089B (zh) 异构资源中神经网络计算任务的分配方法、装置和设备
CN115408152A (zh) 一种自适应资源匹配获取方法及系统
CN105488134A (zh) 大数据处理方法及大数据处理装置
CN113033800A (zh) 分布式深度学习方法、装置、参数服务器及主工作节点
CN114327811A (zh) 一种任务调度方法、装置、设备及可读存储介质
CN106293947B (zh) 虚拟化云环境下gpu-cpu混合资源分配系统和方法
CN111488209B (zh) 一种启发式Storm节点任务调度优化方法
CN114064294B (zh) 移动边缘计算环境下的动态资源分配方法和系统
CN107070965B (zh) 一种虚拟化容器资源下的多工作流资源供给方法
CN108958942A (zh) 一种分布式系统分配任务方法、调度器和计算机设备
CN108132840A (zh) 一种分布式系统中的资源调度方法及装置
CN117608840A (zh) 一种智能监控系统资源综合管理的任务处理方法及系统
CN105183540A (zh) 一种实时数据流处理的任务分配方法及系统
Hou et al. Dynamic Load Balancing Algorithm Based on Optimal Matching of Weighted Bipartite Graph
CN114546615A (zh) 一种移动边缘计算中相关性任务的调度方法
Li et al. PAS: Performance‐Aware Job Scheduling for Big Data Processing Systems
Chen et al. SDTP: Accelerating wide-area data analytics with simultaneous data transfer and processing
Yu et al. An evolution-based dynamic scheduling algorithm in grid computing environment
Goyal et al. Enhanced genetic algorithm based load balancing in grid

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231122

Address after: 518000, First Floor, Office Building of Bao'an Airport Terminal Fourth Road Air Traffic Control Station, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Air Traffic Control Industry Development Co.,Ltd.

Address before: No. B3-29, Fenghuo Hardware Building Materials and Plumbing Market, Baishazhou Avenue, Hongshan District, Wuhan City, Hubei Province, 430000

Applicant before: Wuhan Pengzhou Technology Co.,Ltd.

Effective date of registration: 20231122

Address after: No. B3-29, Fenghuo Hardware Building Materials and Plumbing Market, Baishazhou Avenue, Hongshan District, Wuhan City, Hubei Province, 430000

Applicant after: Wuhan Pengzhou Technology Co.,Ltd.

Address before: 310014 No. 18 Chao Wang Road, Xiacheng District, Zhejiang, Hangzhou

Applicant before: JIANG University OF TECHNOLOGY

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant