CN105900064A - 调度数据流任务的方法和装置 - Google Patents

调度数据流任务的方法和装置 Download PDF

Info

Publication number
CN105900064A
CN105900064A CN201480037145.7A CN201480037145A CN105900064A CN 105900064 A CN105900064 A CN 105900064A CN 201480037145 A CN201480037145 A CN 201480037145A CN 105900064 A CN105900064 A CN 105900064A
Authority
CN
China
Prior art keywords
subtask
working node
gpu
cpu
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480037145.7A
Other languages
English (en)
Other versions
CN105900064B (zh
Inventor
邓利群
朱俊华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN105900064A publication Critical patent/CN105900064A/zh
Application granted granted Critical
Publication of CN105900064B publication Critical patent/CN105900064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种调度数据流任务的方法和装置。该方法包括：对数据流任务进行预处理，得到至少一个子任务；将子任务分类到中央处理器CPU任务组、图像处理器GPU任务组或待定任务组；将子任务分配到工作节点；当子任务属于CPU任务组时，确定由CPU执行子任务；当子任务属于GPU任务组时，确定由GPU执行子任务；当子任务属于待定任务组时，根据CPU和GPU执行子任务的代价，确定由CPU或GPU执行子任务，代价包括执行子任务的时长。本发明实施例对子任务静态分配到不同类别，根据不同的类别采取不同的调度方法动态调度。该方法结合了静态分配和动态调度，不需要计算执行每个子任务的开销，降低了调度的代价，进而能够降低调度数据流任务的时延。

Description

PCT国内申请，说明书已公开。

Claims (15)

  1. PCT国内申请，权利要求书已公开。
CN201480037145.7A 2014-11-19 2014-11-19 调度数据流任务的方法和装置 Active CN105900064B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/091539 WO2016078008A1 (zh) 2014-11-19 2014-11-19 调度数据流任务的方法和装置

Publications (2)

Publication Number Publication Date
CN105900064A true CN105900064A (zh) 2016-08-24
CN105900064B CN105900064B (zh) 2019-05-03

Family

ID=56013055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480037145.7A Active CN105900064B (zh) 2014-11-19 2014-11-19 调度数据流任务的方法和装置

Country Status (3)

Country Link
US (1) US10558498B2 (zh)
CN (1) CN105900064B (zh)
WO (1) WO2016078008A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566457A (zh) * 2017-08-09 2018-01-09 天脉聚源（北京）科技有限公司 一种均衡节点设备负载的方法及装置
CN107704323A (zh) * 2017-11-07 2018-02-16 广州探迹科技有限公司 一种网络爬虫任务调度方法及装置
CN108319503A (zh) * 2018-02-27 2018-07-24 东莞中子科学中心 分布式异构计算方法及系统
CN109165045A (zh) * 2018-08-09 2019-01-08 网宿科技股份有限公司 一种调整服务器的硬件配置的方法和装置
CN109800065A (zh) * 2017-11-17 2019-05-24 爱思开海力士有限公司 针对存储器装置调度任务的半导体装置及包括其的系统
CN109871270A (zh) * 2019-01-22 2019-06-11 深圳大学 调度方案生成方法及装置
CN110399222A (zh) * 2019-07-25 2019-11-01 北京邮电大学 Gpu集群深度学习任务并行化方法、装置及电子设备
CN110780982A (zh) * 2018-07-27 2020-02-11 深圳百迈技术有限公司 一种图像处理方法、装置及设备
CN110956571A (zh) * 2019-10-10 2020-04-03 华为终端有限公司 基于slam进行虚实融合的方法及电子设备
CN111108480A (zh) * 2017-09-19 2020-05-05 华为技术有限公司 一种用于分布式资源需求及分配的系统和方法
CN111198766A (zh) * 2020-01-06 2020-05-26 中科驭数（北京）科技有限公司 数据库访问操作部署方法、数据库访问方法及装置
WO2020108303A1 (zh) * 2018-11-30 2020-06-04 中兴通讯股份有限公司 一种基于异构计算的任务处理方法及软硬件框架系统
CN111813512A (zh) * 2020-06-23 2020-10-23 重庆邮电大学 一种基于动态分区的高能效Spark任务调度方法
CN111897639A (zh) * 2020-07-29 2020-11-06 平安科技（深圳）有限公司 图像增广方法、装置、计算机设备及存储介质
CN112130977A (zh) * 2020-09-25 2020-12-25 山东云海国创云计算装备产业创新中心有限公司 一种任务调度方法、装置、设备及介质
CN112527445A (zh) * 2019-09-18 2021-03-19 北京国双科技有限公司 任务调度方法、装置、设备及存储介质
CN112835772A (zh) * 2019-11-25 2021-05-25 南京工业职业技术学院 一种异构硬件环境下的粗粒度计算加速比评估方法与系统
CN113407313A (zh) * 2020-11-27 2021-09-17 上海交通大学 资源需求感知的多队列调度方法、系统及服务器
CN114500398A (zh) * 2022-01-26 2022-05-13 中国农业银行股份有限公司 一种处理器协同加速的方法、装置、设备及介质
CN114816680A (zh) * 2022-03-09 2022-07-29 华北电力大学 一种基于cpu-gpu架构的业务流程模型发现方法
CN114911612A (zh) * 2022-04-29 2022-08-16 中国航空无线电电子研究所 一种面向cpu-gpu异构资源的任务调度方法
CN116055562A (zh) * 2022-10-26 2023-05-02 北京蔚领时代科技有限公司 一种云游戏存储空间自动扩容方法及装置
CN118227342A (zh) * 2024-05-24 2024-06-21 集美大学 任务并行调度方法、装置及存储介质
US12085916B2 (en) 2020-09-11 2024-09-10 Changxin Memory Technologies, Inc. Method and device for processing wafer detection tasks, system, and storage medium

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6582628B2 (ja) * 2015-07-02 2019-10-02 富士通株式会社 処理割当方法、処理割当装置、及び処理割当プログラム
US10445850B2 (en) * 2015-08-26 2019-10-15 Intel Corporation Technologies for offloading network packet processing to a GPU
US20170286181A1 (en) * 2016-04-01 2017-10-05 International Business Machines Corporation Deployment and execution of sensing and computational tasks in a network of computing devices
CN107135257A (zh) * 2017-04-28 2017-09-05 东方网力科技股份有限公司 一种节点集群中任务分配的方法、节点和系统
US10585703B2 (en) * 2017-06-03 2020-03-10 Apple Inc. Dynamic operation allocation for neural networks
US10235182B2 (en) * 2017-06-20 2019-03-19 Palo Alto Research Center Incorporated System and method for hybrid task management across CPU and GPU for efficient data mining
US10474600B2 (en) 2017-09-14 2019-11-12 Samsung Electronics Co., Ltd. Heterogeneous accelerator for highly efficient learning systems
US11132681B2 (en) 2018-07-06 2021-09-28 At&T Intellectual Property I, L.P. Services for entity trust conveyances
US10802872B2 (en) * 2018-09-12 2020-10-13 At&T Intellectual Property I, L.P. Task delegation and cooperation for automated assistants
US11481186B2 (en) 2018-10-25 2022-10-25 At&T Intellectual Property I, L.P. Automated assistant context and protocol
KR20200051278A (ko) * 2018-11-05 2020-05-13 삼성전자주식회사 인공 신경망에서의 작업 관리 방법 및 이를 포함하는 시스템
US11221876B2 (en) * 2018-12-30 2022-01-11 Paypal, Inc. Scheduling applications in CPU and GPU hybrid environments
CN109885393A (zh) * 2019-01-10 2019-06-14 华为技术有限公司 读写请求处理方法、装置、电子设备以及存储介质
CN109885388A (zh) * 2019-01-31 2019-06-14 上海赜睿信息科技有限公司 一种适用于异构系统的数据处理方法和装置
CN110287009A (zh) * 2019-05-28 2019-09-27 北京大米科技有限公司 一种工作节点选择方法、装置、存储介质及服务器
WO2020246965A1 (en) * 2019-06-04 2020-12-10 Huawei Technologies Co., Ltd. Task distribution across multiple processing devices
CN110442451B (zh) * 2019-07-12 2023-05-05 中国电子科技集团公司第五十二研究所 一种面向深度学习的多类型gpu集群资源管理调度方法和系统
CN110569118A (zh) * 2019-08-29 2019-12-13 贝壳技术有限公司 任务调度方法、装置、电子设备及存储介质
US11249793B2 (en) 2019-11-26 2022-02-15 Shoreline Software, Inc. Executing a pipeline command sequence designed for execution on a single node across a fleet of nodes
US11586472B2 (en) * 2019-12-10 2023-02-21 Advanced Micro Devices, Inc. Method of task transition between heterogenous processors
CN111090511A (zh) * 2019-12-24 2020-05-01 北京推想科技有限公司 任务处理方法、装置及计算机可读存储介质
CN111240844A (zh) * 2020-01-13 2020-06-05 星环信息科技（上海）有限公司 一种资源调度方法、设备及存储介质
US11157282B2 (en) 2020-02-18 2021-10-26 Shoreline Software, Inc. Scaling performance across a large number of customer nodes
US11481394B2 (en) 2020-02-24 2022-10-25 Shoreline Software, Inc. Elimination of measurement lag for operations across a large number of customer nodes
US11714615B2 (en) * 2020-09-18 2023-08-01 International Business Machines Corporation Application migration using cost-aware code dependency graph
CN112612613B (zh) * 2020-12-28 2023-06-23 湖南大学 用于在虚拟分布式异构环境下实现多gpu调度的方法和系统
US12045666B2 (en) * 2021-02-23 2024-07-23 Nvidia Corporation Profiling and performance monitoring of distributed computational pipelines
US11755299B2 (en) * 2021-06-23 2023-09-12 Huawei Technologies Co., Ltd. Method and apparatus for functional unit balancing at program compile time
CN113391905B (zh) * 2021-06-25 2024-05-14 图灵人工智能研究院（南京）有限公司 基于多gpu的任务调度方法、装置
CN113703826A (zh) * 2021-07-29 2021-11-26 北京三快在线科技有限公司 响应数据处理请求的方法、装置、设备以及存储介质
CN113946431B (zh) * 2021-12-22 2022-03-04 北京瑞莱智慧科技有限公司 一种资源调度方法、系统、介质及计算设备
CN115134243B (zh) * 2022-09-02 2022-12-06 北京科技大学 一种工业控制任务分布式部署方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912610B2 (en) * 2003-03-28 2005-06-28 Emulex Design & Manufacturing Corporation Hardware assisted firmware task scheduling and management
CN102541640A (zh) * 2011-12-28 2012-07-04 厦门市美亚柏科信息股份有限公司 一种集群gpu资源调度系统和方法
CN102609978A (zh) * 2012-01-13 2012-07-25 中国人民解放军信息工程大学 基于cuda架构的gpu加速锥束ct图像重建的方法
CN102737126A (zh) * 2012-06-19 2012-10-17 合肥工业大学 云计算环境下的分类规则挖掘方法
CN103713949A (zh) * 2012-10-09 2014-04-09 鸿富锦精密工业（深圳）有限公司 动态任务分配系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120664A1 (en) * 2000-11-17 2002-08-29 Horn Robert L. Scalable transaction processing pipeline
US9009320B2 (en) * 2011-05-20 2015-04-14 Jianxiong Shi Apparatus and methods for optimizing scheduled operations in hybrid network environments
CN103488531B (zh) 2013-09-26 2016-08-17 中国船舶重工集团公司第七一六研究所 一种基于多核处理器和fpga的软硬件混合实时任务调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912610B2 (en) * 2003-03-28 2005-06-28 Emulex Design & Manufacturing Corporation Hardware assisted firmware task scheduling and management
CN102541640A (zh) * 2011-12-28 2012-07-04 厦门市美亚柏科信息股份有限公司 一种集群gpu资源调度系统和方法
CN102609978A (zh) * 2012-01-13 2012-07-25 中国人民解放军信息工程大学 基于cuda架构的gpu加速锥束ct图像重建的方法
CN102737126A (zh) * 2012-06-19 2012-10-17 合肥工业大学 云计算环境下的分类规则挖掘方法
CN103713949A (zh) * 2012-10-09 2014-04-09 鸿富锦精密工业（深圳）有限公司 动态任务分配系统及方法

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566457A (zh) * 2017-08-09 2018-01-09 天脉聚源（北京）科技有限公司 一种均衡节点设备负载的方法及装置
CN111108480A (zh) * 2017-09-19 2020-05-05 华为技术有限公司 一种用于分布式资源需求及分配的系统和方法
CN111108480B (zh) * 2017-09-19 2023-11-10 华为云计算技术有限公司 一种用于分布式资源需求及分配的系统和方法
CN107704323A (zh) * 2017-11-07 2018-02-16 广州探迹科技有限公司 一种网络爬虫任务调度方法及装置
CN109800065A (zh) * 2017-11-17 2019-05-24 爱思开海力士有限公司 针对存储器装置调度任务的半导体装置及包括其的系统
CN109800065B (zh) * 2017-11-17 2023-05-05 爱思开海力士有限公司 针对存储器装置调度任务的半导体装置及包括其的系统
CN108319503A (zh) * 2018-02-27 2018-07-24 东莞中子科学中心 分布式异构计算方法及系统
CN108319503B (zh) * 2018-02-27 2024-06-11 东莞中子科学中心 分布式异构计算方法及系统
CN110780982A (zh) * 2018-07-27 2020-02-11 深圳百迈技术有限公司 一种图像处理方法、装置及设备
CN109165045A (zh) * 2018-08-09 2019-01-08 网宿科技股份有限公司 一种调整服务器的硬件配置的方法和装置
US11681564B2 (en) 2018-11-30 2023-06-20 Zte Corporation Heterogeneous computing-based task processing method and software and hardware framework system
WO2020108303A1 (zh) * 2018-11-30 2020-06-04 中兴通讯股份有限公司 一种基于异构计算的任务处理方法及软硬件框架系统
CN111258744A (zh) * 2018-11-30 2020-06-09 中兴通讯股份有限公司 一种基于异构计算的任务处理方法及软硬件框架系统
CN109871270B (zh) * 2019-01-22 2021-04-02 深圳大学 调度方案生成方法及装置
CN109871270A (zh) * 2019-01-22 2019-06-11 深圳大学 调度方案生成方法及装置
CN110399222A (zh) * 2019-07-25 2019-11-01 北京邮电大学 Gpu集群深度学习任务并行化方法、装置及电子设备
CN112527445A (zh) * 2019-09-18 2021-03-19 北京国双科技有限公司 任务调度方法、装置、设备及存储介质
CN110956571A (zh) * 2019-10-10 2020-04-03 华为终端有限公司 基于slam进行虚实融合的方法及电子设备
CN110956571B (zh) * 2019-10-10 2024-03-15 华为终端有限公司 基于slam进行虚实融合的方法及电子设备
CN112835772A (zh) * 2019-11-25 2021-05-25 南京工业职业技术学院 一种异构硬件环境下的粗粒度计算加速比评估方法与系统
CN111198766B (zh) * 2020-01-06 2021-02-05 中科驭数（北京）科技有限公司 数据库访问操作部署方法、数据库访问方法及装置
CN111198766A (zh) * 2020-01-06 2020-05-26 中科驭数（北京）科技有限公司 数据库访问操作部署方法、数据库访问方法及装置
CN111813512A (zh) * 2020-06-23 2020-10-23 重庆邮电大学 一种基于动态分区的高能效Spark任务调度方法
CN111897639B (zh) * 2020-07-29 2022-12-27 平安科技（深圳）有限公司 图像增广方法、装置、计算机设备及存储介质
CN111897639A (zh) * 2020-07-29 2020-11-06 平安科技（深圳）有限公司 图像增广方法、装置、计算机设备及存储介质
US12085916B2 (en) 2020-09-11 2024-09-10 Changxin Memory Technologies, Inc. Method and device for processing wafer detection tasks, system, and storage medium
CN112130977B (zh) * 2020-09-25 2022-08-02 山东云海国创云计算装备产业创新中心有限公司 一种任务调度方法、装置、设备及介质
CN112130977A (zh) * 2020-09-25 2020-12-25 山东云海国创云计算装备产业创新中心有限公司 一种任务调度方法、装置、设备及介质
CN113407313A (zh) * 2020-11-27 2021-09-17 上海交通大学 资源需求感知的多队列调度方法、系统及服务器
CN113407313B (zh) * 2020-11-27 2022-05-17 上海交通大学 资源需求感知的多队列调度方法、系统及服务器
CN114500398A (zh) * 2022-01-26 2022-05-13 中国农业银行股份有限公司 一种处理器协同加速的方法、装置、设备及介质
CN114816680A (zh) * 2022-03-09 2022-07-29 华北电力大学 一种基于cpu-gpu架构的业务流程模型发现方法
CN114911612A (zh) * 2022-04-29 2022-08-16 中国航空无线电电子研究所 一种面向cpu-gpu异构资源的任务调度方法
CN114911612B (zh) * 2022-04-29 2024-06-11 中国航空无线电电子研究所 一种面向cpu-gpu异构资源的任务调度方法
CN116055562A (zh) * 2022-10-26 2023-05-02 北京蔚领时代科技有限公司 一种云游戏存储空间自动扩容方法及装置
CN118227342A (zh) * 2024-05-24 2024-06-21 集美大学 任务并行调度方法、装置及存储介质
CN118227342B (zh) * 2024-05-24 2024-08-02 集美大学 任务并行调度方法、装置及存储介质

Also Published As

Publication number Publication date
US20170255496A1 (en) 2017-09-07
WO2016078008A1 (zh) 2016-05-26
CN105900064B (zh) 2019-05-03
US10558498B2 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
CN105900064A (zh) 调度数据流任务的方法和装置
US20150295970A1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
CN103309946B (zh) 多媒体文件处理方法、装置及系统
CN111400022A (zh) 一种资源调度方法、装置及电子设备
CN109582448B (zh) 一种面向关键度和时效性的边缘计算任务调度方法
CN104391749A (zh) 一种资源分配方法及装置
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN103309738A (zh) 用户作业调度方法及装置
TW201717066A (zh) 叢集運算架構的資源規劃方法、系統及裝置
CN110502321A (zh) 一种资源调度方法及系统
CN111176840B (zh) 分布式任务的分配优化方法和装置、存储介质及电子装置
CN111198754B (zh) 一种任务调度方法及装置
CN103595651A (zh) 基于分布式的数据流处理方法和系统
CN108616553B (zh) 云计算资源池进行资源调度的方法及装置
CN105488134A (zh) 大数据处理方法及大数据处理装置
KR20180072295A (ko) 분산 인 메모리 환경에서 실시간 스트림 데이터 처리를 위한 동적 잡 스케쥴링 시스템 및 방법
CN103455375A (zh) Hadoop云平台下基于负载监控的混合调度方法
CN110928666B (zh) 一种Spark环境中基于内存优化任务并行度的方法和系统
CN110891087A (zh) 一种日志传输方法、装置及电子设备和存储介质
Wang et al. Task scheduling for MapReduce in heterogeneous networks
CN111158904A (zh) 一种任务调度方法、装置、服务器及介质
CN103617083A (zh) 存储调度方法和系统、作业调度方法和系统及管理节点
CN107589980A (zh) 一种云计算资源的调度方法
CN105872109A (zh) 云平台负载运行方法
WO2017213065A1 (ja) サービス管理システム、サービス管理方法、および、記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant