CN107229519B - 任务调度方法和装置 - Google Patents

任务调度方法和装置 Download PDF

Info

Publication number
CN107229519B
CN107229519B CN201610180450.2A CN201610180450A CN107229519B CN 107229519 B CN107229519 B CN 107229519B CN 201610180450 A CN201610180450 A CN 201610180450A CN 107229519 B CN107229519 B CN 107229519B
Authority
CN
China
Prior art keywords
task
cluster
network
scheduling
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610180450.2A
Other languages
English (en)
Other versions
CN107229519A (zh
Inventor
何乐
黄俨
史英杰
张�杰
张辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610180450.2A priority Critical patent/CN107229519B/zh
Priority to TW106105354A priority patent/TWI718252B/zh
Priority to PCT/CN2017/076709 priority patent/WO2017162075A1/zh
Publication of CN107229519A publication Critical patent/CN107229519A/zh
Application granted granted Critical
Publication of CN107229519B publication Critical patent/CN107229519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供了任务调度方法和装置，通过确定任务的默认集群与空闲的目标集群之间的网络资源之后，根据所确定出的网络资源，对该任务进行调度。其中，默认集群为存储有所述任务运行所需的任务数据的集群，由于基于集群负载情况对任务进行调度时，所出现的带宽占用过高的情况主要是由于任务尽管调度至目标集群运行，但仍需要从默认集群读取运行所需的任务数据而产生的，因此，采用只在目标集群和默认集群之间的网络资源情况较好的情况下，将任务调度至目标集群的方式，解决了现有技术中集群间的带宽占用过高的情况。

Description

任务调度方法和装置
技术领域
本发明涉及计算机技术，尤其涉及一种任务调度方法和装置。
背景技术
为了提高系统的稳定性和网络中心的数据处理能力及服务能力，通常采用集群技术。集群技术的出现，能够使得服务器相互连接在一起，构成一个集群，多个集群相互连接构成一个分布式系统，该分布式系统内的各个集群运行一系列共同的应用程序。
在分布式系统内部，将应用程序划分为多个任务，每个任务分配一个集群进行运行，将所分配的集群作为该任务的默认集群，并在默认集群上运行该任务，以及存储任务运行所需的任务数据。可见，在这种情况下，当任务所需的运行能力会与集群的运行能力不匹配时，从而出现各个集群负载不均衡的情况。
为了提高各个集群的运行效率，从而使得分布式系统的运行效率最大化，分布式系统可以基于各集群负载情况对计算任务进行调度，由所调度至的集群运行计算任务。但在实际运行过程中，往往会出现集群间的带宽占用过高的情况。
发明内容
本发明提供一种任务调度方法和装置，用于解决现有技术中集群间的带宽占用过高的情况。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供了一种任务调度方法，确定任务的默认集群与空闲的目标集群之间的网络资源；所述默认集群为存储有所述任务运行所需的任务数据的集群；
根据所述网络资源，对所述任务进行调度。
第二方面，提供了一种任务调度装置，包括：
确定模块，用于确定任务的默认集群与空闲的目标集群之间的网络资源；所述默认集群为存储有所述任务运行所需的任务数据的集群；
调度模块，用于根据所述网络资源，对所述任务进行调度。
本发明实施例提供的任务调度方法和装置，通过确定任务的默认集群与空闲的目标集群之间的网络资源之后，根据所确定出的网络资源，对所述任务进行调度。其中，默认集群为存储有所述任务运行所需的任务数据的集群，由于基于集群负载情况对任务进行调度时，所出现的带宽占用过高的情况主要是由于任务尽管调度至目标集群运行，但仍需要从默认集群读取运行所需的任务数据而产生的，因此，采用只在目标集群和默认集群之间的网络资源情况较好的情况下，将任务调度至目标集群的方式，解决了现有技术中集群间的带宽占用过高的情况。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例一提供的一种任务调度方法的流程示意图；
图2为一种网络的结构示意图；
图3为本发明实施例二提供的一种任务调度方法的流程示意图；
图4为本发明实施例三提供的一种任务调度装置的结构示意图；
图5为本发明实施例三提供的另一种任务调度装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
下面结合附图对本发明实施例提供的任务调度方法和装置进行详细描述。
实施例一
图1为本发明实施例一提供的一种任务调度方法的流程示意图，本实施例所提供的方法，可以由分布式系统中的任务管理器执行，如图1所示，方法包括：
步骤101、确定任务的默认集群与空闲的目标集群之间的网络资源。
其中，默认集群为存储有该任务运行所需的任务数据的集群，网络资源包括：网络带宽和网络带宽时延积中的至少一个。
具体的，可以建立起一套网络模型，该网络模型用于区分不同集群之间的网络结构关系，这里所说的网络结构关系可以包括同核心交换机、同地域和异地。其中，同核心交换机是指两集群属于同一个核心交换机，同地域是指两集群属于同一个地域，异地是指两集群分属于不同的地域。首先，可以基于负载均衡确定空闲的目标集群，若默认集群与目标集群之间为同核心交换机，确定网络资源的级别为第一等级，如优等；若默认集群与目标集群之间为同地域，确定网络资源的级别为第二等级，如一般；若默认集群与目标集群之间为异地，确定网络资源的级别为第三等级，如差等。
进一步，在所建立起的网络模型中，还可以采用集群间距离表示集群间的网络结构关系，距离越近则网络结构关系越紧密，距离越远则网络结构关系越疏远，例如：集群间距离为20时，集群间为同核心交换机；集群间距离为21时，集群间为同地域；集群间距离为22时，集群间为异地。
例如：图2为一种网络的结构示意图，针对如图2所示的网络结构，集群1和集群2同属于一个核心交换机，集群3和集群4分属于不同交换机，同时，集群1、集群2、集群3和集群4同属于地域1，另外，集群5属于地域2，与集群1-4为异地。
因此，所建立的集群1为默认集群时的网络模型为：
集群1和集群2之间为同核心交换机，网络距离为1；
集群1和集群3之间为同地域，网络距离为2；
集群1和集群4之间为同地域，网络距离为2；
集群1和集群5之间为异地，网络距离为4。
需要说明的是，这里所说的地域不是指行政区域上的地域，而是网络中的地域。网络距离可以采用2n的方式进行计算，同核心交换机时n＝0，，同地域时n＝1，异地时n＝2。
步骤102、根据所确定出的网络资源，对该任务进行调度。
具体的，按照所述网络资源由多至少的顺序，优先将任务调度至默认集群和目标集群之间的网络资源最多的目标集群。
由于基于集群负载情况对任务进行调度时，所出现的带宽占用过高的情况主要是由于任务尽管调度至目标集群运行，但仍需要从默认集群读取运行所需的任务数据而产生的，因此，采用只在目标集群和默认集群之间的网络资源情况较好的情况下，从而使得目标集群和默认集群之间的网络资源能够满足任务所需，才将任务调度至目标集群的方式，解决了现有技术中集群间的带宽占用过高的情况。
作为一种可能的实现方式，在优先将任务调度至默认集群和目标集群之间的网络资源最多的目标集群的基础上，还可以将网络资源划分为各个级别。在对任务进行调度之前，判断当前网络资源最多的目标集群的网络资源的级别，若当前网络资源最多的目标集群的网络资源的级别为优等，将任务调度至该目标集群；若网络资源的级别为一般，根据对任务进行调度的网络资源占用情况确定是否将任务调度至目标集群；若网络资源的级别为差等，将任务调度至默认集群，而不将该任务调度至当前网络资源最多的目标集群，除非该任务需要从该目标集群读取依赖数据。
其中，依赖数据是该任务运行所需的其他任务生成的运行结果数据。
通过这种方式，避免了当前网络资源最多的目标集群不能满足任务所需的网络资源的情况下，例如：当前网络资源最多的目标集群与默认集群之间为跨地域时，将任务调度至该目标集群所导致的网络资源占用过多的情况。
实施例二
图3为本发明实施例二提供的一种任务调度方法的流程示意图，如图3所示，包括：
步骤201、查询任务的默认集群的负载是否空闲，如果空闲则执行步骤202，否则执行步骤203。
具体的，获取到待调度的任务后，首先查询任务的默认集群的负载是否空闲，若空闲则由默认集群运行该任务，这是由于无论任务在哪一个集群上运行，该任务均需要从默认集群读取运行所需的任务数据，因此，将任务运行在默认集群上，则能够有效避免因为读取任务数据所产生的带宽占用，从而避免带宽占用过高的情况发生。
步骤202、将任务调度至默认集群，流程结束。
具体的，将任务调度至默认集群上排队等待运行。
步骤203、判断是否存在该任务所属业务单元所对应的集群中与默认集群之间为同核心交换机的目标集群，如果存在，则执行步骤204，否则执行步骤202。
具体的，可以预先建立分布式系统的网络模型，网络模型中记载了各个业务单元所对应的集群，使得各业务单元利用各自对应的集群执行业务单元内的任务，便于对业务进行管理。同时，在网络模型中还采用了网络距离的方式描述了集群相互之间的网络关系，将集群间为同核心交换机记为网络距离为20，将集群间为同地域记为网络距离为21，将集群间为异地为网络距离为22。如图2所示，集群1和集群2属于同一业务单元1，集群3和集群4同属于业务单元2，集群5属于业务单元3。
基于这一预先建立的网络模型，在本步骤中查询任务所属的业务单元对应了哪些集群，进而在这些集群中首先查询与默认集群之间网络距离为20的集群，以对任务进行调度。
从而通过预先建立的网络模型，在分布式系统中按照网络距离由近至远的方式，依次从分布式系统中选定目标集群，从而保证了优先将任务调度至网络资源情况较好的目标集群上。
步骤204、判断同核心交换机的目标集群是否空闲，如果是，则执行步骤205，否则，执行步骤206。
步骤205、调度任务至同核心交换机的目标集群。
步骤206、判断任务所属业务单元所对应的集群中是否存在与默认集群之间为同地域的目标集群，如果存在，则执行步骤207，否则执行步骤202。
具体的，基于预先建立的网络模型，查询与默认集群之间网络距离为2的集群。
步骤207、判断同地域的目标集群是否空闲，如果是，则执行步骤208，否则执行步骤202。
若同地域的目标集群均为超负荷状态，则将任务调度至同样为超负荷状态的默认集群上，这是由于，尽管有可能存在异地的目标集群，但将任务调度至异地的目标集群上时，网络带宽占用较多，因此，需要将任务调度至网络资源占用少的默认集群上，才能够解决网络带宽占用较多的问题。
步骤208、判断同地域的目标集群与默认集群之间的网络带宽情况是否能够满足任务的网络开销，若满足，执行步骤209，否则执行步骤202。
具体的，假设任务只会跨集群访问一份任务数据，能够从历史数据中获得该任务单次访问任务数据的时间长度，其中时间长度等于结束时刻与开始时刻之间的差值，即间隔。假设在这段时间内该任务的读取数据速率恒定，那么这个任务造成的网络开销为：任务数据的数据量与时间长度之比。集群间的带宽是定值，如果当任务访问任务数据期间，即结束时刻与开始时刻之间，只有该任务在运行，那么只要网络开销小于带宽那么就是能够满足任务的网络开销的。
步骤209、调度任务到同地域的目标集群上，流程结束。
按照网络带宽由多至少的顺序，优先将任务调度至网络带宽最多的目标集群，也就是同核心交换机的目标集群上，若同核心交换机均为超负荷状态下，再将任务调度至网络带宽次多的目标集群上，也就是同地域的目标集群上，在进行负载均衡的同时使得任务的网络带宽占用最小化，解决了现有技术中集群间的带宽占用过高的情况。
实施例三
图4为本发明实施例三提供的一种任务调度装置的结构示意图，如图3所示，包括：确定模块31和调度模块32。
确定模块31，用于确定任务的默认集群与空闲的目标集群之间的网络资源。
其中，默认集群为存储有该任务运行所需的任务数据的集群，网络资源包括：网络带宽和网络带宽时延积中的至少一个。
调度模块32，用于根据默认集群与目标集群之间的网络资源，对任务进行调度。
具体的，调度模块32，具体用于将任务调度至网络资源最多的目标集群。
进一步，图5为本发明实施例三提供的另一种任务调度装置的结构示意图，如图5所示，在图4所提供的任务调度装置的基础上，确定模块31包括：关系确定单元311和资源确定单元312。
关系确定单元311，用于确定所述默认集群与所述目标集群之间的网络结构关系。
其中，网络结构关系包括同核心交换机、同地域和异地。
资源确定单元312，用于根据所述网络结构关系，确定所述网络资源。
具体的，资源确定单元312，具体用于若所述默认集群与所述目标集群之间为同核心交换机，确定所述网络资源的级别为第一等级；若所述默认集群与所述目标集群之间为同地域，确定所述网络资源的级别为第二等级；若所述默认集群与所述目标集群之间为异地，确定所述网络资源的级别为第三等级。
进一步，调度模块32，包括：第一调度单元321、第二调度单元322和第三调度单元323。
第一调度单元321，用于若所述默认集群与所述目标集群之间的网络资源的级别为第一等级，将所述任务调度至所述目标集群。
第二调度单元322，用于若所述默认集群与所述目标集群之间的网络资源的级别为第二等级，根据对所述任务进行调度的网络资源占用情况确定将所述任务调度至所述默认集群或所述目标集群。
若网络资源为网络带宽，则第二调度单元322具体用于从历史记录中获得所述任务单次读取所述任务数据的时间长度；计算所述任务数据的数据量与所述时间长度之比，获得所述任务的网络开销；若所述任务的网络开销小于所述默认集群与所述目标集群之间的网络带宽，则将所述任务调度至所述目标集群；若所述任务的网络开销不小于所述默认集群与所述目标集群之间的网络带宽，则将所述任务调度至所述默认集群。
第三调度单元323，用于若所述默认集群与所述目标集群之间的网络资源的级别为第三等级，将所述任务调度至所述默认集群。
进一步，任务调度装置，还包括：
负载均衡模块33，用于若所述默认集群处于超负荷状态，则基于负载均衡方式，确定所述目标集群。
本实施例中，通过确定任务的默认集群与空闲的目标集群之间的网络资源之后，根据所确定出的网络资源，对所述任务进行调度。其中，默认集群为存储有所述任务运行所需的任务数据的集群，由于基于集群负载情况对任务进行调度时，所出现的带宽占用过高的情况主要是由于任务尽管调度至目标集群运行，但仍需要从默认集群读取运行所需的任务数据而产生的，因此，采用只在目标集群和默认集群之间的网络资源情况较好的情况下，将任务调度至目标集群的方式，解决了现有技术中集群间的带宽占用过高的情况。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种任务调度方法，其特征在于，包括：
确定任务的默认集群与空闲的目标集群之间的网络资源；所述默认集群为存储有所述任务运行所需的任务数据的集群；
根据所述网络资源，对所述任务进行调度；
所述确定任务的默认集群与空闲的目标集群之间的网络资源，包括：
确定所述默认集群与所述目标集群之间的网络结构关系；
根据所述网络结构关系，确定所述网络资源，
所述网络结构关系包括同核心交换机、同地域和异地；
所述根据所述网络结构关系，确定所述网络资源包括：
若所述默认集群与所述目标集群之间为同核心交换机，确定所述网络资源的级别为第一等级；
若所述默认集群与所述目标集群之间为同地域，确定所述网络资源的级别为第二等级；
若所述默认集群与所述目标集群之间为异地，确定所述网络资源的级别为第三等级，
所述根据所述网络资源，对所述任务进行调度，包括：
若所述默认集群与所述目标集群之间的网络资源的级别为第一等级，将所述任务调度至所述目标集群；
若所述默认集群与所述目标集群之间的网络资源的级别为第二等级，根据对所述任务进行调度的网络资源占用情况确定将所述任务调度至所述默认集群或所述目标集群；
若所述默认集群与所述目标集群之间的网络资源的级别为第三等级，将所述任务调度至所述默认集群。
2.根据权利要求1所述的任务调度方法，其特征在于，所述根据所述网络资源，对所述任务进行调度，包括：
将所述任务调度至所述网络资源最多的目标集群。
3.根据权利要求1所述的任务调度方法，其特征在于，所述网络资源为网络带宽，所述根据对所述任务进行调度的网络资源占用情况确定将所述任务调度至所述默认集群或所述目标集群，包括：
从历史记录中获得所述任务单次读取所述任务数据的时间长度；
计算所述任务数据的数据量与所述时间长度之比，获得所述任务的网络开销；
若所述任务的网络开销小于所述默认集群与所述目标集群之间的网络带宽，则将所述任务调度至所述目标集群；
若所述任务的网络开销不小于所述默认集群与所述目标集群之间的网络带宽，则将所述任务调度至所述默认集群。
4.根据权利要求1所述的任务调度方法，其特征在于，所述确定任务的默认集群与空闲的目标集群之间的网络资源之前，还包括：
若所述默认集群处于超负荷状态，则基于负载均衡方式，确定所述目标集群。
5.根据权利要求1-2任一项所述的任务调度方法，其特征在于，所述网络资源包括：网络带宽和网络带宽时延积中的至少一个。
6.一种任务调度装置，其特征在于，包括：
确定模块，用于确定任务的默认集群与空闲的目标集群之间的网络资源；所述默认集群为存储有所述任务运行所需的任务数据的集群；
调度模块，用于根据所述网络资源，对所述任务进行调度；
所述确定模块，包括：
关系确定单元，用于确定所述默认集群与所述目标集群之间的网络结构关系；
资源确定单元，用于根据所述网络结构关系，确定所述网络资源，
所述网络结构关系包括同核心交换机、同地域和异地；
所述资源确定单元，具体用于若所述默认集群与所述目标集群之间为同核心交换机，确定所述网络资源的级别为第一等级；若所述默认集群与所述目标集群之间为同地域，确定所述网络资源的级别为第二等级；若所述默认集群与所述目标集群之间为异地，确定所述网络资源的级别为第三等级，
所述调度模块，包括：
第一调度单元，用于若所述默认集群与所述目标集群之间的网络资源的级别为第一等级，将所述任务调度至所述目标集群；
第二调度单元，用于若所述默认集群与所述目标集群之间的网络资源的级别为第二等级，根据对所述任务进行调度的网络资源占用情况确定将所述任务调度至所述默认集群或所述目标集群；
第三调度单元，用于若所述默认集群与所述目标集群之间的网络资源的级别为第三等级，将所述任务调度至所述默认集群。
7.根据权利要求6所述的任务调度装置，其特征在于，
所述调度模块，具体用于将所述任务调度至所述网络资源最多的目标集群。
8.根据权利要求6所述的任务调度装置，其特征在于，所述网络资源为网络带宽；
所述第二调度单元，具体用于从历史记录中获得所述任务单次读取所述任务数据的时间长度；计算所述任务数据的数据量与所述时间长度之比，获得所述任务的网络开销；若所述任务的网络开销小于所述默认集群与所述目标集群之间的网络带宽，则将所述任务调度至所述目标集群；若所述任务的网络开销不小于所述默认集群与所述目标集群之间的网络带宽，则将所述任务调度至所述默认集群。
9.根据权利要求6所述的任务调度装置，其特征在于，所述装置，还包括：
负载均衡模块，用于若所述默认集群处于超负荷状态，则基于负载均衡方式，确定所述目标集群。
10.根据权利要求6-7任一项所述的任务调度装置，其特征在于，所述网络资源包括：网络带宽和网络带宽时延积中的至少一个。
CN201610180450.2A 2016-03-25 2016-03-25 任务调度方法和装置 Active CN107229519B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610180450.2A CN107229519B (zh) 2016-03-25 2016-03-25 任务调度方法和装置
TW106105354A TWI718252B (zh) 2016-03-25 2017-02-17 任務調度方法和裝置
PCT/CN2017/076709 WO2017162075A1 (zh) 2016-03-25 2017-03-15 任务调度方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610180450.2A CN107229519B (zh) 2016-03-25 2016-03-25 任务调度方法和装置

Publications (2)

Publication Number Publication Date
CN107229519A CN107229519A (zh) 2017-10-03
CN107229519B true CN107229519B (zh) 2021-04-23

Family

ID=59899248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610180450.2A Active CN107229519B (zh) 2016-03-25 2016-03-25 任务调度方法和装置

Country Status (3)

Country Link
CN (1) CN107229519B (zh)
TW (1) TWI718252B (zh)
WO (1) WO2017162075A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019581B (zh) * 2019-05-30 2022-02-25 华为技术有限公司 一种调度任务处理实体的方法及装置
CN113296913A (zh) * 2021-05-25 2021-08-24 未鲲(上海)科技服务有限公司 基于单集群的数据处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145112A (zh) * 2007-11-01 2008-03-19 北京工业大学 一种实时系统任务调度方法
CN103605567A (zh) * 2013-10-29 2014-02-26 河海大学 面向实时性需求变化的云计算任务调度方法
CN103647820A (zh) * 2013-12-09 2014-03-19 华为数字技术（苏州）有限公司 用于分布式集群系统的仲裁方法及仲裁装置
CN104520815A (zh) * 2014-03-17 2015-04-15 华为技术有限公司 一种任务调度的方法、装置及设备
CN105391742A (zh) * 2015-12-18 2016-03-09 桂林电子科技大学 一种基于Hadoop的分布式入侵检测系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011075729A2 (en) * 2009-12-18 2011-06-23 Morningside Analytics, Llc System and method for attentive clustering and related analytics and visualizations
CN102143046B (zh) * 2010-08-25 2015-03-11 华为技术有限公司 负载均衡的方法、设备和系统
US9298790B2 (en) * 2013-01-18 2016-03-29 Microsoft Technology Licensing, Llc Replication of assets across data centers
US9367366B2 (en) * 2014-03-27 2016-06-14 Nec Corporation System and methods for collaborative query processing for large scale data processing with software defined networking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101145112A (zh) * 2007-11-01 2008-03-19 北京工业大学 一种实时系统任务调度方法
CN103605567A (zh) * 2013-10-29 2014-02-26 河海大学 面向实时性需求变化的云计算任务调度方法
CN103647820A (zh) * 2013-12-09 2014-03-19 华为数字技术（苏州）有限公司 用于分布式集群系统的仲裁方法及仲裁装置
CN104520815A (zh) * 2014-03-17 2015-04-15 华为技术有限公司 一种任务调度的方法、装置及设备
CN105391742A (zh) * 2015-12-18 2016-03-09 桂林电子科技大学 一种基于Hadoop的分布式入侵检测系统

Also Published As

Publication number Publication date
TW201735596A (zh) 2017-10-01
TWI718252B (zh) 2021-02-11
WO2017162075A1 (zh) 2017-09-28
CN107229519A (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
US10474504B2 (en) Distributed node intra-group task scheduling method and system
CN110287245B (zh) 用于分布式etl任务调度执行的方法及系统
US20150295970A1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
CN110545326B (zh) 集群负载调度方法、装置、电子设备和存储介质
CN109960573B (zh) 一种基于智能感知的跨域计算任务调度方法及系统
CN102111337A (zh) 任务调度方法和系统
CN105516347A (zh) 一种流媒体服务器的负载均衡调配的方法及装置
US20120096183A1 (en) Dynamic rerouting of service requests between service endpoints for web services in a composite service
CN109861850B (zh) 一种基于sla的无状态云工作流负载均衡调度的方法
CN101715003A (zh) 互操作平台的负载控制优化方法
CN109189552B (zh) 虚拟网络功能扩容与缩容方法及系统
CN103746934A (zh) 一种cdn带宽平衡的方法、cdn控制中心及系统
US20150113167A1 (en) Optimized Consumption of Third-Party Web Services in a Composite Service
CN107229519B (zh) 任务调度方法和装置
CN102970349B (zh) 一种dht网络的存储负载均衡方法
CN117251275B (zh) 多应用异步i/o请求的调度方法及系统、设备及介质
CN103747043A (zh) 一种cdn服务器调度方法、cdn控制中心及系统
CN108664322A (zh) 数据处理方法及系统
CN112416568A (zh) 音视频转码任务的时长预估方法和时长预估装置
CN109783304B (zh) 一种数据中心的节能调度方法及对应装置
CN113127179A (zh) 资源调度方法、装置、电子设备及计算机可读介质
CN116244085A (zh) Kubernetes集群容器组调度方法、装置及介质
CN110928649A (zh) 资源调度的方法和装置
CN111459651B (zh) 一种负载均衡方法、装置、存储介质及调度系统
CN112003900A (zh) 实现分布式系统中高负载场景下服务高可用的方法、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant