CN108241525A - 一种多节点任务动态控制方法 - Google Patents

一种多节点任务动态控制方法 Download PDF

Info

Publication number
CN108241525A
CN108241525A CN201611207387.3A CN201611207387A CN108241525A CN 108241525 A CN108241525 A CN 108241525A CN 201611207387 A CN201611207387 A CN 201611207387A CN 108241525 A CN108241525 A CN 108241525A
Authority
CN
China
Prior art keywords
task
multinode
data flow
parallelism
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611207387.3A
Other languages
English (en)
Inventor
刘斌
吴方才
楚涌泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Star Technology (beijing) Co Ltd
Original Assignee
Space Star Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Star Technology (beijing) Co Ltd filed Critical Space Star Technology (beijing) Co Ltd
Priority to CN201611207387.3A priority Critical patent/CN108241525A/zh
Publication of CN108241525A publication Critical patent/CN108241525A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明提供一种多节点任务动态控制方法，根据操作数据流的接收速率和处理速率动态的调整各个计算节点的线程数量，线程数量随着操作数据流的时变性以及外部负载的变化进行动态更新，实现动态实时控制处理效率。

Description

一种多节点任务动态控制方法
【技术领域】
本发明属于数据流处理领域，尤其涉及多节点数据流任务动态控制方法。
【背景技术】
现有技术中对数据流进行实时分析可以把握系统的当前状态并进行实时响应，目前对海量数据流进行分布式实时流处理的方式为：首先实时接收一批数据流，并将该数据流采用分布式分发的方式下发到多个处理单元，每个处理单元接收分发的一个或多个数据流并进行实时分析处理，处理完的数据流进行整合输出。
但是，现有的数据流分布式并行处理方式中各个计算节点处理数据流的并行度通常是预先设定好的，不能随着操作数据流的时变性以及外部负载的变化进行动态更新，没有实现动态实时控制处理效率。
基于上述问题，现在亟需一种新的多节点数据流任务动态控制方法，根据操作数据流的接收速率和处理速率动态的调整各个计算节点的线程数量，线程数量随着操作数据流的时变性以及外部负载的变化进行动态更新，实现动态实时控制处理效率。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种多节点数据流任务动态控制方法。
本发明采用的技术方案如下：
一种多节点任务动态控制方法，其特征在于，该方法包括如下步骤：
(1)各个计算节点根据接收的数据流任务中用于指示进行该数据流任务的目标逻辑任务的接收速率，以及所述目标逻辑任务的处理速率，确定执行所述数据流任务的并行度，所述并行度为并行执行所述数据流任务的线程数量，所述逻辑任务是主控节点根据数据流任务分配的，用于指示待处理数据流任务以及所述待处理数据流任务所需进行的操作；
(2)各个计算节点根据所述数据流任务的并行度，对所述目标逻辑任务进行整合得到至少一个物理任务，所述物理任务的数量与所述并行度相同；
(3)各个计算节点执行所述至少一个物理任务；
(4)各个计算节点将各自并行处理完的结果发送到主控节点，主控节点对上述结果进行整合并输出。
本发明的有益效果包括：根据操作数据流的接收速率和处理速率动态的调整各个计算节点的线程数量，线程数量随着操作数据流的时变性以及外部负载的变化进行动态更新，实现动态实时控制处理效率。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明多节点数据处理系统的框架图；
图2是本发明多节点数据流任务动态控制方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，一种多节点数据流任务动态控制方法用于多节点数据流处理系统中，所述系统包括一个主控节点和多个计算节点，其中所述主控节点用于根据接收到的数据流向各个计算节点分配任务，各个计算节点用于对所接收到的分配任务并行地进行计算。在一个实施方式，所述多节点处于分布式系统中，或多节点处于云系统中。
参见附图2，一种多节点任务动态控制方法，该方法包括如下步骤：
(1)各个计算节点根据接收的数据流任务中用于指示进行该数据流任务的目标逻辑任务的接收速率，以及所述目标逻辑任务的处理速率，确定执行所述数据流任务的并行度，所述并行度为并行执行所述数据流任务的线程数量，所述逻辑任务是主控节点根据数据流任务分配的，用于指示待处理数据流任务以及所述待处理数据流任务所需进行的操作；
在一个实施例中，由主控节点对目标逻辑任务的接收速率以及处理速率进行监控，当监控到所述目标逻辑任务的接收速率发生变化时，根据所述目标逻辑任务的接收速率和处理速率，按照第一策略调整并行度；当监控到所述目标逻辑任务的处理速率发生变化时，根据所述目标逻辑任务的接收速率和所述目标逻辑任务的处理速率，按照第二策略调整所述并行度。
其中，第一策略包括如果所述目标逻辑任务的接收速率增加，并且所述目标逻辑任务的处理速率小于接收速率，则提高并行度；如果所述目标逻辑任务的接收速率降低，并且所述目标逻辑任务的处理速率小于接收速率，则降低并行度。第二策略包括若所述目标逻辑任务的处理速率增加，则提高所述并行度；如果所述目标逻辑任务的处理速率降低，并且所述目标逻辑任务的处理速率小于接收速率，则降低并行度；如果所述目标逻辑任务的处理速率降低，并且所述目标逻辑任务的处理速率大于接收速率，则降低并行度。
(2)各个计算节点根据所述数据流任务的并行度，对所述目标逻辑任务进行整合得到至少一个物理任务，所述物理任务的数量与所述并行度相同；
(3)各个计算节点执行所述至少一个物理任务；
(4)各个计算节点将各自并行处理完的结果发送到主控节点，主控节点对上述结果进行整合并输出。
本发明根据操作数据流的接收速率和处理速率动态的调整各个计算节点的线程数量，线程数量随着操作数据流的时变性以及外部负载的变化进行动态更新，实现动态实时控制处理效率。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (3)

1.一种多节点任务动态控制方法，其特征在于，该方法包括如下步骤：
(1)各个计算节点根据接收的数据流任务中用于指示进行该数据流任务的目标逻辑任务的接收速率，以及所述目标逻辑任务的处理速率，确定执行所述数据流任务的并行度，所述并行度为并行执行所述数据流任务的线程数量，所述逻辑任务是主控节点根据数据流任务分配的，用于指示待处理数据流任务以及所述待处理数据流任务所需进行的操作；
(2)各个计算节点根据所述数据流任务的并行度，对所述目标逻辑任务进行整合得到至少一个物理任务，所述物理任务的数量与所述并行度相同；
(3)各个计算节点执行所述至少一个物理任务；
(4)各个计算节点将各自并行处理完的结果发送到主控节点，主控节点对上述结果进行整合并输出。
2.根据权利要求1所述的多节点任务动态控制处理方法，其特征在于，所述多节点处于分布式系统中。
3.根据权利要求1所述的多节点任务动态控制处理方法，其特征在于，所述多节点处于云系统中。
CN201611207387.3A 2016-12-23 2016-12-23 一种多节点任务动态控制方法 Pending CN108241525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611207387.3A CN108241525A (zh) 2016-12-23 2016-12-23 一种多节点任务动态控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611207387.3A CN108241525A (zh) 2016-12-23 2016-12-23 一种多节点任务动态控制方法

Publications (1)

Publication Number Publication Date
CN108241525A true CN108241525A (zh) 2018-07-03

Family

ID=62704127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611207387.3A Pending CN108241525A (zh) 2016-12-23 2016-12-23 一种多节点任务动态控制方法

Country Status (1)

Country Link
CN (1) CN108241525A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465652A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 一种权益数据处理方法、装置、电子设备及可读存储介质
WO2022017372A1 (en) * 2020-07-22 2022-01-27 International Business Machines Corporation Load balancing in streams parallel regions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595651A (zh) * 2013-10-15 2014-02-19 北京航空航天大学 基于分布式的数据流处理方法和系统
CN103916478A (zh) * 2014-04-11 2014-07-09 华为技术有限公司 基于分布式系统的流式构建数据方的方法和装置
US20160373494A1 (en) * 2014-03-06 2016-12-22 Huawei Technologies Co., Ltd. Data Processing Method in Stream Computing System, Control Node, and Stream Computing System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103595651A (zh) * 2013-10-15 2014-02-19 北京航空航天大学 基于分布式的数据流处理方法和系统
US20160373494A1 (en) * 2014-03-06 2016-12-22 Huawei Technologies Co., Ltd. Data Processing Method in Stream Computing System, Control Node, and Stream Computing System
CN103916478A (zh) * 2014-04-11 2014-07-09 华为技术有限公司 基于分布式系统的流式构建数据方的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022017372A1 (en) * 2020-07-22 2022-01-27 International Business Machines Corporation Load balancing in streams parallel regions
US11640402B2 (en) 2020-07-22 2023-05-02 International Business Machines Corporation Load balancing in streams parallel regions
GB2612730A (en) * 2020-07-22 2023-05-10 Ibm Load balancing in streams parallel regions
CN112465652A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 一种权益数据处理方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN106844483A (zh) 一种日志数据流处理方法
CN103870340B (zh) 流计算系统中的数据处理方法、控制节点及流计算系统
CN106249703B (zh) 用于控制和/或分析工业的过程的系统和方法
CN104657205B (zh) 一种基于虚拟化的视频内容分析方法及系统
CN105227488A (zh) 一种用于分布式计算机平台的网络流组调度方法
CN105631013B (zh) 生成哈希值的装置和方法
CN105718479A (zh) 跨idc大数处理架构下执行策略生成方法、装置
US20210049453A1 (en) Chip and chip-based data processing method
CN111833590B (zh) 交通信号灯的控制方法、装置及计算机可读存储介质
CN108132840B (zh) 一种分布式系统中的资源调度方法及装置
CN104679590A (zh) 分布式计算系统中的Map优化方法及装置
CN110378529B (zh) 一种数据生成的方法、装置、可读存储介质和电子设备
CN108241525A (zh) 一种多节点任务动态控制方法
CN108304925A (zh) 一种池化计算装置及方法
CN111198754A (zh) 一种任务调度方法及装置
CN103442087B (zh) 一种基于响应时间趋势分析的Web服务系统访问量控制装置和方法
CN106293947A (zh) 虚拟化云环境下gpu‑cpu混合资源分配系统和方法
CN106874083B (zh) 一种数采系统人机接口任务调度方法
CN104320382A (zh) 分布式的实时流处理装置、方法和单元
CN106228029B (zh) 基于众包的量化问题求解方法和装置
CN106990913B (zh) 一种大规模流式集合数据的分布式处理方法
CN113254172A (zh) 一种任务调度的方法及装置
CN104503833A (zh) 任务调度优化方法及装置
Shen et al. Blocking flow shop scheduling based on hybrid ant colony optimization
CN105897841A (zh) 用于网络资源处理的调度方法、设备、系统及子调度器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co.,Ltd.

Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing

Applicant before: GEOVIS TECHNOLOGY (BEIJING) Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180703

RJ01 Rejection of invention patent application after publication