CN103246550A - 一种基于容量的多任务调度方法及系统 - Google Patents

一种基于容量的多任务调度方法及系统 Download PDF

Info

Publication number
CN103246550A
CN103246550A CN2012100287680A CN201210028768A CN103246550A CN 103246550 A CN103246550 A CN 103246550A CN 2012100287680 A CN2012100287680 A CN 2012100287680A CN 201210028768 A CN201210028768 A CN 201210028768A CN 103246550 A CN103246550 A CN 103246550A
Authority
CN
China
Prior art keywords
task
memory space
scheduling
available memory
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100287680A
Other languages
English (en)
Inventor
徐钊
赵彦荣
郭玮
李均
赵伟
张书彬
洪坤乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Computer Systems Co Ltd filed Critical Shenzhen Tencent Computer Systems Co Ltd
Priority to CN2012100287680A priority Critical patent/CN103246550A/zh
Priority to PCT/CN2013/071087 priority patent/WO2013117136A1/zh
Publication of CN103246550A publication Critical patent/CN103246550A/zh
Priority to US14/189,518 priority patent/US20140181839A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5022—Workload threshold

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Multi Processors (AREA)

Abstract

本发明适用于数据处理技术领域，提供了一种基于容量的多任务调度方法及系统，所述方法包括：任务执行节点向调度节点发送获取任务的请求，该请求中携带有该任务执行节点当前的负载值以及可用内存空间；调度节点判断所述负载值是否小于一阈值，若是，根据所述任务执行节点的当前可用内存空间，为该任务执行节点进行任务调度。通过本发明，可有效避免任务执行节点过载、负载及内存不足等问题，提高任务执行节点资源的利用率以及任务调度和执行的效率。

Description

一种基于容量的多任务调度方法及系统
技术领域
本发明属于数据处理技术领域，尤其涉及一种基于容量的多任务调度方法及系统。
背景技术
映射化简(MapReduce)是一种分布式的用于处理大规模数据集的并行编程模式或者通用框架。通过定义相应的映射(Map)和化简(Reduce)函数来实现分布式数据处理的功能。
在现有基于MapReduce框架的任务调度系统中，包括调度节点(JobTracker)和若干个任务执行节点(TaskTracker)，其网络架构如图1所示，其中，客户端用于将用户布置的并行处理作业提交至调度节点，调度节点将客户端提交的作业分解为多个具有相同处理功能(但输入数据可能不同)的Map任务和多个具有相同处理功能(但处理的数据可能不同)的Reduce任务，并将分解的任务缓存在内存中。当任务执行节点没有达到其任务执行能力时，即当前执行的任务数低于可执行任务数时，任务执行节点向调度节点请求任务，调度节点从分解出的任务中调度一个任务给任务执行节点。
在现有技术中，当任务执行节点的硬件配置较低或者其上运行的任务占用的资源较多，如正在运行的任务占用了大量的系统资源(CPU负载过重和/或内存不足等)时，如果任务执行节点尚未达到其预先配置的最大任务配额，其仍然会向调度节点请求执行新任务，在这种情况下，不仅可能出现新任务由于内存不足不能正常执行的情况，而且还会影响到正在执行的任务，甚至会导致调度节点发生故障。另外，对于任务执行节点的硬件配置较高或者其上运行的任务占用资源较少，如果任务执行节点已经达到其预先配置的最大任务配额，其将不再向调度节点请求执行新任务，从而造成任务执行节点资源的浪费。
总之，在现有基于MapReduce框架的任务调度系统中，任务执行节点仅根据预先部署的配置信息请求任务，容易造成任务执行节点过载、负载及内存不足等问题，影响任务调度和执行的效率。
发明内容
本发明提供一种多任务调度方法，以解决现有基于MapReduce框架的任务调度系统容易造成任务执行节点过载、负载及内存不足的问题。
本发明是这样实现的，一种多任务调度方法，所述方法包括：
任务执行节点向调度节点发送获取任务的请求，该请求中携带有该任务执行节点当前的负载值以及可用内存空间；
调度节点判断所述负载值是否小于一阈值，若是，根据所述任务执行节点的当前可用内存空间，为该任务执行节点进行任务调度。
一种任务调度设备，所述设备包括：
请求信息接收单元，用于接收任务执行节点发送的获取任务的请求，所述请求中携带有该任务执行节点当前的负载值以及可用内存空间；
第一判断单元，用于判断所述负载值是否小于一阈值；
第二判断单元，用于在所述第一判断单元判断结果为是时，判断是否存在内存需求量小于或者等于所述任务执行节点当前可用内存空间的待分配任务；
分配单元，用于在所述第二判断单元判断结果为是时，将将内存需求量小于或等于所述任务执行节点当前可用内存空间的任务分配给该任务执行节点。
一种任务执行设备，所述设备包括：
请求信息发送单元，用于向调度节点发送获取任务的请求，该请求中携带有该任务执行节点当前的负载值以及可用内存空间；
任务接收单元，用于接收调度节点分配的任务。
一种多任务调度系统，其特征在于，所述系统包括所述任务调度设备以及至少一个所述任务执行设备。
从上述技术方案可以看出，本发明根据任务执行节点上报的负载值以及可用内存空间进行任务调度，将任务分配给负载合适及内存充足的任务执行节点，从而可有效避免任务执行节点过载、负载及内存不足等问题，提高任务执行节点资源的利用率以及任务调度和执行的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是现有基于MapReduce框架的任务调度系统的示意图；
图2是本发明实施例一提供的多任务调度系统的组成结构图。
图3是本发明实施例二提供的多任务调度方法的实现流程图；
图4是本发明实施例三提供的任务调度设备的组成结构图；
图5是本发明实施例四提供的任务执行设备的组成结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下对照附图并结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图2示出了本发明实施例一提供的多任务调度系统的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。
该多任务调度系统1包括任务调度设备11以及至少一个任务执行设备12。该多任务调度系统系统是基于MapReduce架构的。
所述任务调度设备11通过有线或者无线方式与任务执行设备12连接通信，用于接收任务执行设备12发送的携带有当前负载值、可用内存空间等信息的任务请求，并根据携带的负载值、可用内存空间等信息对任务执行设备12进行任务调度。
所述任务执行设备12用于向任务调度设备11发送携带有当前负载值、可用内存空间等信息的任务请求，并接收任务调度设备11分配的任务。
实施例二：
图3示出了本发明实施例二提供的多任务调度方法的实现流程，该方法过程详述如下：
在步骤S301中，任务执行节点向调度节点发送获取任务的请求，该请求中携带有该任务执行节点当前的负载值以及可用内存空间。
在本实施例中，任务执行节点在触发发送心跳消息时，通过心跳信息向调度节点发送获取任务的请求，该请求中携带有该任务执行节点当前的负载值以及可用内存空间等。
其中，所述任务执行节点当前的负载值指的是任务执行节点当前的处理性能，例如任务执行节点CPU的使用率等。所述任务执行节点当前的可用内存空间的计算公式为：可用内存空间＝实际内存空间-已使用内存空间-任务执行节点系统预留内存空间-已分配任务预留内存空间。
在步骤S302中，调度节点判断所述负载值是否小于一阈值，若判断结果为“是”，则执行步骤S304，若判断结果为“否”，则执行步骤S303。
该一阈值可为一预设阈值，也可以为动态阈值，包括但不限于系统平均负载值。
举例说明(但不以该举例为限)，当任务执行节点的负载值通过CPU使用率来反映时，判断任务执行节点当前的CPU使用率是否小于一预设阈值(例如60％)，当小于时，执行步骤S304，否则，执行步骤S303。
在步骤S303中，拒绝向该任务执行节点分配任务。
在本实施例中，为了避免任务执行节点负载过重，影响任务的执行效率，调度节点拒绝负载值大于或等于一阈值的任务执行节点的任务分配请求。
在步骤S304中，根据所述任务执行节点的当前可用内存空间，为该任务执行节点进行任务调度。
在本实施例中，为了避免新分配的任务内存需求量过大，导致任务执行节点内存不足不能正常执行，以及影响正在执行的任务，导致调度节点发生故障等情况。本实施例调度节点在任务队列中依次扫描每个待分配任务，判断其中是否存在内存需求量小于或者等于所述任务执行节点当前可用内存空间的待分配任务，在存在时，调度节点将内存需求量小于或等于所述任务执行节点当前可用内存空间的任务分配给该任务执行节点；在不存在时，拒绝向该任务执行节点分配任务。
在本实施例中，判断是否存在内存需求量小于或者等于所述任务执行节点当前可用内存空间的待分配任务具体为：判断任务执行节点中实际内存空间-已使用内存空间-任务执行节点系统预留内存空间-已分配任务预留内存空间-准备分配但未下发任务的内存空间的结果是否大于等于零，若是，则表示任务执行节点内存充足，调度节点可以下发该任务；反之则表示任务执行节点内存不足，调度节点拒绝向该任务执行节点下发任务，直至该任务执行节点重新申请任务。
在本发明实施例中，任务执行节点仍可根据预先部署的配置信息向调度节点请求任务，但在请求中会携带有该任务执行节点当前的负载值以及可用内存空间，调度节点根据该任务执行节点的负载值以及可用内存空间来决定是否向该任务执行节点分配任务，以及在分配任务时选择合适的任务进行分配，从而有效避免了任务执行节点过载、负载及内存不足等问题，提高了任务执行节点资源的利用率以及任务调度和执行的效率。
实施例三：
图4示出了本发明实施例三提供的任务调度设备的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。
该任务调度设备可以是运行于多任务调度系统内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到多任务调度系统中或者运行于多任务调度系统的应用系统中。
该任务调度设备4包括请求信息接收单元41、第一判断单元42、第二判断单元43以及分配单元44，其具体功能如下：
请求信息接收单元41，用于接收任务执行节点发送的获取任务的请求，所述请求中携带有该任务执行节点当前的负载值以及可用内存空间；
第一判断单元42，用于判断所述负载值是否小于一阈值；
第二判断单元43，用于在所述第一判断单元42判断结果为是时，判断是否存在内存需求量小于或者等于所述任务执行节点当前可用内存空间的待分配任务；
分配单元44，用于在所述第二判断单元43判断结果为是时，将将内存需求量小于或等于所述任务执行节点当前可用内存空间的任务分配给该任务执行节点。
进一步的，为避免任务执行节点负载过重或内存不足问题，提高任务执行节点资源的利用率以及任务调度和执行的效率，所述调度节点4还包括拒绝分配单元45，用于在所述任务执行节点当前的负载值大于或者等于所述一阈值，或者待分配任务的内存需求量都大于所述任务执行节点的当前可用内存空间时，拒绝向该任务执行节点分配任务。
本实施例提供的任务调度设备可以使用在前述对应的多任务调度方法中，详情参见上述多任务调度方法实施例二的相关描述，在此不再赘述。
实施例四：
图5示出了本发明实施例四提供的任务执行设备的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。
该任务执行设备可以是运行于多任务调度系统内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到多任务调度系统中或者运行于多任务调度系统的应用系统中。
该任务执行设备5包括请求信息发送单元51和任务接收单元52，其具体功能如下：
请求信息发送单元51，用于向调度节点发送获取任务的请求，该请求中携带有该任务执行节点当前的负载值以及可用内存空间；
任务接收单元52，用于接收调度节点分配的任务。
在本实施例中，所述任务执行节点当前的可用内存空间的计算公式为：可用内存空间＝实际内存空间-已使用内存空间-任务执行节点系统预留内存空间-已分配任务预留内存空间。
本实施例提供的任务执行设备可以使用在前述对应的多任务调度方法中，详情参见上述多任务调度方法实施例二的相关描述，在此不再赘述。
本领域普通技术人员可以理解为实施例三和四设备所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
综上所述，本发明基于容量的任务调度算法以任务内存设置的最大值作为任务是否被分发的依据，通过将各个节点的负载情况、任务执行进度以及相应的任务的内存占用进行记录。节点收集的状态信息在索取任务时上报给控制节点的任务调度器，任务调度器根据计算节点的状态从当前可执行任务队列中选择符合要求的任务下发给计算节点，从而有效避免了任务执行节点过载、负载及内存不足等问题，提高了任务执行节点资源的利用率以及任务调度和执行的效率。本发明实现简单，实用性强。
本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多任务调度方法，其特征在于，所述方法包括：
任务执行节点向调度节点发送获取任务的请求，该请求中携带有该任务执行节点当前的负载值以及可用内存空间；
调度节点判断所述负载值是否小于一阈值，若是，根据所述任务执行节点的当前可用内存空间，为该任务执行节点进行任务调度。
2.如权利要求1所述的方法，其特征在于，所述根据所述任务执行节点的当前可用内存空间，为该任务执行节点进行任务调度具体包括：
判断调度节点中是否存在内存需求量小于或者等于所述任务执行节点当前可用内存空间的待分配任务；
若是，调度节点将内存需求量小于或等于所述任务执行节点当前可用内存空间的任务分配给该任务执行节点；
若否，拒绝向该任务执行节点分配任务。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
当调度节点判定所述任务执行节点当前的负载值大于或者等于所述一阈值时，拒绝向该任务执行节点分配任务。
4.如权利要求1所述的方法，其特征在于，所述任务执行节点当前的可用内存空间的计算公式为：
可用内存空间＝实际内存空间-已使用内存空间-任务执行节点系统预留内存空间-已分配任务预留内存空间。
5.一种任务调度设备，其特征在于，所述设备包括：
请求信息接收单元，用于接收任务执行设备发送的获取任务的请求，所述请求中携带有该任务执行设备当前的负载值以及可用内存空间；
第一判断单元，用于判断所述负载值是否小于一阈值；
第二判断单元，用于在所述第一判断单元判断结果为是时，判断是否存在内存需求量小于或者等于所述任务执行节点当前可用内存空间的待分配任务；
分配单元，用于在所述第二判断单元判断结果为是时，将将内存需求量小于或等于所述任务执行节点当前可用内存空间的任务分配给该任务执行节点。
6.如权利要求5所述的设备，其特征在于，所述设备还包括：
拒绝分配单元，用于在所述任务执行节点当前的负载值大于或者等于所述一阈值，或者待分配任务的内存需求量都大于所述任务执行节点的当前可用内存空间时，拒绝向该任务执行节点分配任务。
7.一种任务执行设备，其特征在于，所述设备包括：
请求信息发送单元，用于向任务调度设备发送获取任务的请求，该请求中携带有该任务执行设备当前的负载值以及可用内存空间；
任务接收单元，用于接收任务调度设备分配的任务。
8.如权利要求7所述的设备，其特征在于，所述任务执行节点当前的可用内存空间的计算公式为：
可用内存空间＝实际内存空间-已使用内存空间-任务执行节点系统预留内存空间-已分配任务预留内存空间。
9.一种多任务调度系统，其特征在于，所述系统包括如权利要求5或6任一所述的任务调度设备以及至少一个如权利要求7或8所述的任务执行设备。
10.如权利要求9所述的系统，其特征在于，该系统是基于MapReduce架构的。
CN2012100287680A 2012-02-09 2012-02-09 一种基于容量的多任务调度方法及系统 Pending CN103246550A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2012100287680A CN103246550A (zh) 2012-02-09 2012-02-09 一种基于容量的多任务调度方法及系统
PCT/CN2013/071087 WO2013117136A1 (zh) 2012-02-09 2013-01-29 一种基于容量的多任务调度方法、设备及系统
US14/189,518 US20140181839A1 (en) 2012-02-09 2014-02-25 Capacity-based multi-task scheduling method, apparatus and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100287680A CN103246550A (zh) 2012-02-09 2012-02-09 一种基于容量的多任务调度方法及系统

Publications (1)

Publication Number Publication Date
CN103246550A true CN103246550A (zh) 2013-08-14

Family

ID=48926081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100287680A Pending CN103246550A (zh) 2012-02-09 2012-02-09 一种基于容量的多任务调度方法及系统

Country Status (3)

Country Link
US (1) US20140181839A1 (zh)
CN (1) CN103246550A (zh)
WO (1) WO2013117136A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105022662A (zh) * 2014-04-22 2015-11-04 中国银联股份有限公司 一种分布式任务分配方法
CN105471950A (zh) * 2014-09-05 2016-04-06 鸿富锦精密工业(武汉)有限公司 分布式计算方法及系统
CN105578205A (zh) * 2014-10-27 2016-05-11 深圳国微技术有限公司 一种视频转码方法和系统
CN105808346A (zh) * 2014-12-30 2016-07-27 华为技术有限公司 一种任务调度方法与装置
CN105808331A (zh) * 2016-02-29 2016-07-27 湖南蚁坊软件有限公司 一种基于服务器特征的调度方法
CN106330834A (zh) * 2015-06-30 2017-01-11 华为技术有限公司 一种虚拟通道连接建立方法及装置
CN106940656A (zh) * 2016-01-04 2017-07-11 阿里巴巴集团控股有限公司 一种任务调度方法及装置
CN107688496A (zh) * 2017-07-24 2018-02-13 上海壹账通金融科技有限公司 任务分布式处理方法、装置、存储介质和服务器
CN108763454A (zh) * 2018-05-28 2018-11-06 郑州云海信息技术有限公司 分布式文件系统日志更新方法、系统、装置及存储介质
CN108958942A (zh) * 2018-07-18 2018-12-07 郑州云海信息技术有限公司 一种分布式系统分配任务方法、调度器和计算机设备
CN109408229A (zh) * 2018-09-30 2019-03-01 华为技术有限公司 一种调度方法及装置
CN110069329A (zh) * 2019-04-15 2019-07-30 北京达佳互联信息技术有限公司 一种任务处理方法、装置、服务器及存储介质
CN111930482A (zh) * 2020-07-16 2020-11-13 平安科技（深圳）有限公司 基于节点集群的任务处理方法、装置、设备及存储介质
CN112073542A (zh) * 2020-11-12 2020-12-11 腾讯科技（深圳）有限公司 雾节点调度方法、装置、计算机设备和存储介质
CN112416596A (zh) * 2020-12-01 2021-02-26 新华三人工智能科技有限公司 一种节点调度方法、装置及设备
CN112527490A (zh) * 2019-09-17 2021-03-19 广州虎牙科技有限公司 节点资源管控方法、装置、电子设备及存储介质
CN113760549A (zh) * 2021-08-30 2021-12-07 聚好看科技股份有限公司 一种pod部署方法及装置
CN114579286A (zh) * 2022-05-05 2022-06-03 支付宝(杭州)信息技术有限公司 任务调度系统、方法、设备及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ607298A (en) * 2013-02-19 2014-08-29 Allied Telesis Holdings Kk Improvements in and relating to network communications
CN104317650B (zh) * 2014-10-10 2018-05-01 北京工业大学 一种面向Map/Reduce型海量数据处理平台的作业调度方法
CN105827418B (zh) * 2015-01-04 2019-07-05 中国移动通信集团山东有限公司 一种通信网络告警关联方法及装置
KR20160105636A (ko) * 2015-02-27 2016-09-07 한국전자통신연구원 멀티 노드 시스템의 서버 가상화 방법 및 그 장치
US9667708B1 (en) * 2015-12-30 2017-05-30 International Business Machines Corporation Boost orchestrator for client-server architectures
CN105740077B (zh) * 2016-01-29 2020-02-07 中国联合网络通信集团有限公司 一种适用于云计算的任务分配方法
CN108073453B (zh) * 2016-11-11 2022-05-10 阿里巴巴集团控股有限公司 分布式集群中cpu资源的调度方法以及装置
US20200142746A1 (en) * 2017-12-29 2020-05-07 Virtual Instruments Corporation Methods and system for throttling analytics processing
US11475306B2 (en) 2018-03-22 2022-10-18 Amazon Technologies, Inc. Processing for multiple input data sets
US11461631B2 (en) * 2018-03-22 2022-10-04 Amazon Technologies, Inc. Scheduling neural network computations based on memory capacity
CN110489200B (zh) * 2018-05-14 2022-03-08 郑州芯兰德网络科技有限公司 一种适用于嵌入式容器集群的任务调度方法
CN109343949B (zh) * 2018-10-12 2021-06-15 武汉斗鱼网络科技有限公司 一种容量迁移方法、装置、电子设备及存储介质
CN111147541B (zh) * 2019-11-18 2022-11-15 广州文远知行科技有限公司 基于参数服务器的节点处理方法、装置、设备及存储介质
CN111459641B (zh) * 2020-04-08 2023-04-28 广州欢聊网络科技有限公司 一种跨机房的任务调度和任务处理的方法及装置
CN112016812B (zh) * 2020-08-06 2022-07-12 中南大学 多无人机任务调度方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013386A (zh) * 2007-02-06 2007-08-08 华中科技大学 基于反馈机制的网格任务调度方法
US20070250365A1 (en) * 2006-04-21 2007-10-25 Infosys Technologies Ltd. Grid computing systems and methods thereof
CN102096602A (zh) * 2009-12-15 2011-06-15 中国移动通信集团公司 一种任务调度方法及其系统和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7093004B2 (en) * 2002-02-04 2006-08-15 Datasynapse, Inc. Using execution statistics to select tasks for redundant assignment in a distributed computing platform
US7996458B2 (en) * 2004-01-28 2011-08-09 Apple Inc. Assigning tasks in a distributed system
US7596788B1 (en) * 2004-05-11 2009-09-29 Platform Computing Corporation Support of non-trivial scheduling policies along with topological properties
US20070094270A1 (en) * 2005-10-21 2007-04-26 Callminer, Inc. Method and apparatus for the processing of heterogeneous units of work
FR2926146B1 (fr) * 2008-01-04 2009-12-25 Bull Sas Dispositif informatique a memoire reservee pour des applications prioritaires.
CN102004670B (zh) * 2009-12-17 2012-12-05 华中科技大学 一种基于MapReduce的自适应作业调度方法
CN102255926B (zh) * 2010-05-17 2015-11-25 中国移动通信集团公司 MapReduce系统中的任务分配方法、系统及装置
US8429666B2 (en) * 2011-01-25 2013-04-23 Google Inc. Computing platform with resource constraint negotiation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070250365A1 (en) * 2006-04-21 2007-10-25 Infosys Technologies Ltd. Grid computing systems and methods thereof
CN101013386A (zh) * 2007-02-06 2007-08-08 华中科技大学 基于反馈机制的网格任务调度方法
CN102096602A (zh) * 2009-12-15 2011-06-15 中国移动通信集团公司 一种任务调度方法及其系统和设备

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105022662A (zh) * 2014-04-22 2015-11-04 中国银联股份有限公司 一种分布式任务分配方法
CN105471950A (zh) * 2014-09-05 2016-04-06 鸿富锦精密工业(武汉)有限公司 分布式计算方法及系统
CN105578205A (zh) * 2014-10-27 2016-05-11 深圳国微技术有限公司 一种视频转码方法和系统
CN105808346B (zh) * 2014-12-30 2019-09-20 华为技术有限公司 一种任务调度方法与装置
CN105808346A (zh) * 2014-12-30 2016-07-27 华为技术有限公司 一种任务调度方法与装置
CN106330834B (zh) * 2015-06-30 2020-02-14 华为技术有限公司 一种虚拟通道连接建立方法及装置
CN106330834A (zh) * 2015-06-30 2017-01-11 华为技术有限公司 一种虚拟通道连接建立方法及装置
CN106940656A (zh) * 2016-01-04 2017-07-11 阿里巴巴集团控股有限公司 一种任务调度方法及装置
CN105808331A (zh) * 2016-02-29 2016-07-27 湖南蚁坊软件有限公司 一种基于服务器特征的调度方法
CN107688496B (zh) * 2017-07-24 2020-12-04 深圳壹账通智能科技有限公司 任务分布式处理方法、装置、存储介质和服务器
CN107688496A (zh) * 2017-07-24 2018-02-13 上海壹账通金融科技有限公司 任务分布式处理方法、装置、存储介质和服务器
CN108763454A (zh) * 2018-05-28 2018-11-06 郑州云海信息技术有限公司 分布式文件系统日志更新方法、系统、装置及存储介质
CN108958942A (zh) * 2018-07-18 2018-12-07 郑州云海信息技术有限公司 一种分布式系统分配任务方法、调度器和计算机设备
CN109408229B (zh) * 2018-09-30 2021-06-04 华为技术有限公司 一种调度方法及装置
CN109408229A (zh) * 2018-09-30 2019-03-01 华为技术有限公司 一种调度方法及装置
CN110069329A (zh) * 2019-04-15 2019-07-30 北京达佳互联信息技术有限公司 一种任务处理方法、装置、服务器及存储介质
CN112527490A (zh) * 2019-09-17 2021-03-19 广州虎牙科技有限公司 节点资源管控方法、装置、电子设备及存储介质
CN112527490B (zh) * 2019-09-17 2024-02-09 广州虎牙科技有限公司 节点资源管控方法、装置、电子设备及存储介质
CN111930482A (zh) * 2020-07-16 2020-11-13 平安科技（深圳）有限公司 基于节点集群的任务处理方法、装置、设备及存储介质
CN112073542A (zh) * 2020-11-12 2020-12-11 腾讯科技（深圳）有限公司 雾节点调度方法、装置、计算机设备和存储介质
CN112073542B (zh) * 2020-11-12 2021-02-05 腾讯科技（深圳）有限公司 雾节点调度方法、装置、计算机设备和存储介质
US11838387B2 (en) 2020-11-12 2023-12-05 Tencent Technology (Shenzhen) Company Limited Fog node scheduling method and apparatus, computer device, and storage medium
CN112416596A (zh) * 2020-12-01 2021-02-26 新华三人工智能科技有限公司 一种节点调度方法、装置及设备
CN113760549A (zh) * 2021-08-30 2021-12-07 聚好看科技股份有限公司 一种pod部署方法及装置
CN113760549B (zh) * 2021-08-30 2024-03-15 聚好看科技股份有限公司 一种pod部署方法及装置
CN114579286A (zh) * 2022-05-05 2022-06-03 支付宝(杭州)信息技术有限公司 任务调度系统、方法、设备及存储介质

Also Published As

Publication number Publication date
WO2013117136A1 (zh) 2013-08-15
US20140181839A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
CN103246550A (zh) 一种基于容量的多任务调度方法及系统
CN111796908B (zh) 一种资源自动弹性伸缩的系统、方法及云平台
CN102096599A (zh) 一种多队列任务调度方法及相关系统和设备
CN107690622A (zh) 实现硬件加速处理的方法、设备和系统
CN105373429A (zh) 任务调度方法、装置及系统
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN102857548A (zh) 一种移动云计算资源优化配置方法
CN115408100A (zh) 容器集群调度的方法、装置、设备及存储介质
CN112905342B (zh) 资源调度方法、装置、设备及计算机可读存储介质
WO2022052995A1 (zh) 机器人充电分配方法、装置、设备、系统及存储介质
CN112527509B (zh) 一种资源分配方法、装置、电子设备及存储介质
CN105159736A (zh) 一种支持性能分析的SaaS软件部署方案的构建方法
CN111338779A (zh) 资源分配方法、装置、计算机设备和存储介质
CN104426694A (zh) 一种调整虚拟机资源的方法和装置
CN105117285A (zh) 一种基于移动虚拟化系统的非易失性存储器调度优化方法
CN108694083B (zh) 一种服务器的数据处理方法和装置
CN106775975B (zh) 进程调度方法及装置
CN103744735A (zh) 一种多核资源的调度方法及装置
CN113778617B (zh) 容器水平伸缩方法、装置、电子设备及存储介质
CN110167031B (zh) 一种面向集中式基站的资源分配方法、设备及存储介质
CN111381948A (zh) 分布式计算任务处理方法、装备及电子设备
CN111352735A (zh) 数据加速方法、装置、存储介质及设备
CN111796932A (zh) 一种gpu资源调度方法
JP2018190355A (ja) リソース管理方法
CN117118930A (zh) 交换机、内存共享方法、系统、计算设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130814