CN105373429A - 任务调度方法、装置及系统 - Google Patents
任务调度方法、装置及系统 Download PDFInfo
- Publication number
- CN105373429A CN105373429A CN201410414858.2A CN201410414858A CN105373429A CN 105373429 A CN105373429 A CN 105373429A CN 201410414858 A CN201410414858 A CN 201410414858A CN 105373429 A CN105373429 A CN 105373429A
- Authority
- CN
- China
- Prior art keywords
- processing unit
- task
- task processing
- scheduling
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种任务调度方法、装置及系统，用于服务器集群中，所述服务器集群用于根据处理客户端提交的任务处理请求，所述服务器集群包括调度单元、以及多个任务处理单元，所述方法包括以下步骤：所述任务处理单元将其负载信息发送给所述调度单元；所述调度单元在接收客户端发送的第一任务处理单元分配请求后选择负载低的任务处理单元；将所述选择的任务处理单元的标识返回至所述客户端；以及所述客户端将任务提交至所述标识对应的任务处理单元进行处理。本发明可以提高任务处理效率，减少超负荷的现象，提升资源利用率。
Description
技术领域
本发明涉及计算技术领域，特别涉及一种任务调度方法、装置及系统。
背景技术
现在科技的发展，需要计算机的计算量越来越大，一些计算密集型，需要计算机要有很强的运算处理能力，即使普通的大型机其计算也很难胜任。这时，一般都使用计算机集群技术，集中几十台甚至上百台计算机的运算能力来满足要求。提高处理性能一直是集群技术研究的一个重要目标之一。但是现有技术的计算寄集群处理面临着任务量大，分布任务不能均衡，导致有些计算机超负荷，有些计算机空闲，导致处理任务的效率低。
发明内容
有鉴于此，本发明提供一种任务调度方法、装置及系统，可以提高任务处理效率，减少超负荷的现象，提升资源利用率。
一种任务调度方法，用于服务器集群中，所述服务器集群用于根据处理客户端提交的任务处理请求，所述服务器集群包括调度单元、以及多个任务处理单元，所述方法包括以下步骤：
所述任务处理单元将其负载信息发送给所述调度单元；
所述调度单元在接收客户端发送的第一任务处理单元分配请求后选择负载低的任务处理单元；
将所述选择的任务处理单元的标识返回至所述客户端；以及
所述客户端将任务提交至所述标识对应的任务处理单元进行处理。
一种任务调度方法，用于服务器集群中，所述服务器集群用于根据处理客户端提交的任务处理请求，所述服务器集群包括调度单元、以及多个任务处理单元，所述方法包括以下步骤：
所述任务处理单元将其负载信息发送给所述调度单元；
所述客户端向所述调度单元发送负载请求；
所述调度单元在接收客户端发送的负载请求后，将所述任务处理单元的负载信息返回至所述客户端；
所述客户端根据所述负载信息选择负载低的任务处理单元，并从所述调度单元获取所述选择的任务处理单元的标识；以及
将任务提交至所述标识对应的任务处理单元进行处理。
一种任务调度方法，用于在一个服务器中将任务处理请求提交给一个服务器集群，所述服务器集群包括调度单元、以及多个任务处理单元，所述方法包括以下步骤：
获取所述任务处理单元的列表；
按照预定的策略向所述列表中的任务处理单元提交任务处理请求；
记载提交的任务处理请求的数量；
若任务处理请求的数量超过预设阈值，则
将任务处理请求提交至所述列表中负载低的任务处理单元进行处理。
一种任务调度系统，所述系统包括服务器集群及客户端，所述服务器集群用于根据处理所述客户端提交的任务处理请求，所述服务器集群包括调度单元、以及多个任务处理单元，
所述任务处理单元，用于将其负载信息发送给所述调度单元；
所述调度单元，用于在接收客户端发送的第一任务处理单元分配请求后选择负载低的任务处理单元；
所述调度单元，还用于将所述选择的任务处理单元的标识返回至所述客户端；
所述客户端，用于将任务提交至所述标识对应的任务处理单元进行处理。
一种任务调度系统，所述系统包括服务器集群及客户端，所述服务器集群用于根据处理所述客户端提交的任务处理请求，所述服务器集群包括调度单元、以及多个任务处理单元，
所述任务处理单元，用于将其负载信息发送给所述调度单元；
所述客户端，用于向所述调度单元发送负载请求；
所述调度单元，用于在接收客户端发送的负载请求后，将所述任务处理单元的负载信息返回至所述客户端；
所述客户端，用于根据所述负载信息选择负载低的任务处理单元，并从所述调度单元获取所述选择的任务处理单元的标识；以及
将任务提交至所述标识对应的任务处理单元进行处理。
一种任务调度装置，用于在一个服务器中将任务处理请求提交给一个服务器集群，所述服务器集群包括调度单元、以及多个任务处理单元，所述装置包括：
列表获取模块，用于获取所述任务处理单元的列表；
请求模块，用于按照预定的策略向所述列表中的任务处理单元提交任务处理请求；
记载模块，用于记载提交的任务处理请求的数量；
判断模块，用于判断任务处理请求的数量是否超过预设阈值，
处理请求模块，用于将任务处理请求提交至所述列表中负载低的任务处理单元进行处理。
根据本发明实施例，通过所述调度单元的分配负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
图1为第一实施例提供的一种任务调度系统的结构示意图。
图2为图1所示的调度单元服务器的结构框图。
图3为图1所示的任务处理单元服务器的结构框图。
图4为图1所示的客户端的结构框图。
图5为第二实施例提供的一种任务调度方法流程图。
图6为第三实施例提供的一种任务调度方法流程图。
图7为第四实施例提供的一种任务调度方法流程图。
图8为第五实施例提供的一种任务调度方法流程图。
图9为第五实施例提供的多级任务调度流程示意图。
图10为第六实施例提供的一种任务调度方法流程图。
图11为第七实施例提供的一种任务调度方法流程图。
图12为第八实施例提供的一种任务调度方法流程图。
图13为第九实施例提供的一种任务调度方法流程图。
图14为第十实施例提供的一种任务调度方法流程图。
图15为第十一实施例提供的一种任务调度方法流程图。
图16为第十二实施例提供的一种任务调度方法流程图。
图17为第十三实施例提供的一种任务调度方法流程图。
图18为第十四实施例提供的一种任务调度方法流程图。
图19为第十五实施例提供的一种任务调度装置结构框图。
图20为第十六实施例提供的一种任务调度装置结构框图。
图21为第十七实施例提供的一种任务调度装置结构框图。
图22为第十八实施例提供的一种任务调度装置结构框图。
图23为第十九实施例提供的一种任务调度装置结构框图。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。
第一实施例
图1为第一实施例提供的一种任务调度系统的结构示意图。任务调度系统包括调度单元，任务处理单元以及客户端。所述调度单元及处理单元可以由计算机或者由虚拟机模拟出来的虚拟机组成。本实施例中以服务器为例，如图1所示，调度单元包括一个或多个调度服务器100(图1中仅示出一个)、任务处理单元包括一个或多个调度服务器100及一个或多个处理服务器200(图1中示出了四个)以及一个或多个客户端300(图1中仅示出一个)。上述的各服务器是指部署在网络环境中的计算机，用于侦听网络上的其他计算机或者其他客户端(如图1所示的客户端300)提交的服务请求，并提供相应的服务。
在本实施例中，上述的调度服务器100用于提供处理资源分配服务，处理服务器200用于提供数据处理服务。例如，资源分配服务可以是监听处理资源的处理状况以及负载量，并根据负载量将处理资源分配至请求资源的客户端。数据处理服务可以是用于接收客户端传送的任务并对任务进行处理，所述任务可以是图片压缩、云计算及分布式存储等。
图2示出了上述调度服务器的结构框图。如图所示，调度服务器100包括：存储器102、处理器104以及网络模块106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对服务器100的结构造成限定。例如，服务器100还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。
存储器102可用于存储软件程序以及模块，如本发明实施例中的任务调度方法、装置及系统对应的程序指令/模块，处理器104通过运行存储在存储器102内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现任务调度方法。存储器102可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器102可进一步包括相对于处理器104远程设置的存储器，这些远程存储器可以通过网络连接至调度服务器100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
网络模块106用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。在一个实例中，上述网络信号为有线网络信号。此时，网络模块106可包括处理器、随机存储器、转换器、晶体振荡器等元件。
上述的软件程序以及模块包括：操作系统108、调度模块110。其中操作系统108例如可为LINUX,UNIX,WINDOWS，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通讯，从而提供其他软件组件的运行环境。调度模块110运行在操作系统108的基础上，用于分配处理资源，并收集处理资源的负载情况。
进一步地，调度模块110内可包括资源分配模块112，用于当调度模块110接收到客户端发送的任务处理单元请求时，根据当前任务处理单元的负载量分配负载低的任务处理单元。调度模块110内还可包括信息获取模块114，用于接收当前所述任务处理单元当前使用状态。
参阅图3，其为上述的处理服务器200的一个实施例的结构框图。对比参阅图2及图3，处理服务器200与调度服务器100结构相似，其不同之处在于，处理服务器200内不包括调度模块110，而包括处理模块116。处理模块116运行在操作系统108的基础上，并通过操作系统108的网络服务监听来自网络的请求，根据请求完成相应的数据处理，并返回处理结果给客户端。也就是说，处理模块116用于向客户端提供上述的数据处理服务。
进一步地，如图3所示，处理模块116可包括信息上报模块118，用于将当前的负载量信息发送至所属的调度单元。处理模块116还可包括数据接收模块120，用于接收客户端发送的任务。
参阅图4，其为上述的客户端300的一个实施例的结构框图。对比参阅图2及图4，客户端300与调度服务器100结构相似，其不同之处在于，处理服务器200内不包括调度模块110，而包括处理申请模块122。处理申请模块122运行在操作系统108的基础上，并通过操作系统108的网络服务监听来自网络的请求以及传输任务至目标处理端。也就是说，处理申请模块122用于向上述调度服务器以及处理服务器发送资源申请请求以及将任务发送至目标处理单元。
进一步地，如图4所示，处理申请模块122还可包括处理量统计模块124以及处理元申请模块126。处理量统计模块124用于统计处理申请模块122向处理服务器200发送的任务处理数量。处理元申请模块126用于向调度服务器100发送任务处理单元分配请求。
以下结合具体的实施说明上述的任务调度系统10的工作过程。
任务处理单元20将其负载信息发送给所属的调度服务器100。任务处理单元可以是由一个或者多个处理服务器200组成，或者由一个或者多个调度服务器100及一个或者多个处理服务器200组成。所述负载信息用于记录其任务处理单元20的当前的负载情况。在一个实例中，可以用数值记录当前闲置的资源量，所述资源包括但不限制为CPU、GPU、内存、磁盘存储等资源。例如，可以用1和0分别表示接收与不接收新任务，用数值0表示当前负载量高，即不接收处理新的任务，用数值1表示负载低可以接收处理新的任务。例如，也可以用百分比表示当前任务处理资源的占有率，返回百分比至所属的调度服务器100。在另一个实施方式，在接收所述负载信息后，如果满足接收新的任务，还可包括接收任务处理单元20发送的可接收新任务的请求，进一步地，在接收到任务处理单元20发送的可接收新任务的请求后才可将任务分配至该任务处理单元20。通过此实施方式，在接收到任务申请才向任务处理单元20发送任务，能够避免高负载的处理服务器200被强行分配任务。
客户端300将任务处理请求提交至负载低的任务处理单元20中处理服务器200进行处理。判断负载低的处理服务器，可以是在客户端300进行判断，也可以是在调度服务器100中进行判断。
在一个实施方式，调度服务器100在接收客户端300发送的第一任务处理单元分配请求后选择负载低的任务处理单元20中的处理服务器200。所述负载低的任务处理单元可以根据上述负载信息进行判断。例如，上述0，1表示的负载信息，选择数值为1的处理服务器200。再例如，所述负载信息采用占用率的百分比的形式，选择百分比最低的进行分配。进一步地，在被选择的任务处理单元20中处理服务器200在接收到客户端300发送的任务之后将新的负载信息发送至所属的调度服务器100。可以理解的是，所述负载信息是即时更新。调度服务器300还将所述选择的任务处理服务器的标识返回至所述客户端300。在一个实例中，所述标识可以是的IP(InternetProtocol，网络之间互连的协议)。客户端300接收到所述标识后将任务提交至所述标识对应的处理服务器200进行处理。在一个实力中，选择的负载低处理服务器为图1中的处理服务器201，则客户端300直接将任务发送至处理服务器201。处理服务器201处理所述任务。所述任务包括但不限制于图片压缩，云计算及分布式存储等。
在另一个实施方式，调度服务器100在接收客户端300发送的第一任务处理单元分配请求后选择负载低的任务处理单元20中处理服务器200。客户端300有任务需要处理时，先向所述调度服务器100发送负载信息请求。调度服务器100将所属的任务处理单元20中的负载信息返回至所述客户端300。所述负载信息用于记录其处理服务器的当前的负载情况。客户端300根据所述负载信息选择负载低的处理服务器，选择的任务处理单元20所属的调度服务器100中获取选择的处理服务器300的标识。客户端300根据处理服务器300的标识将任务提交至所述标识对应的任务处理单元20中处理服务器200进行处理。
调度服务器100在发送任务处理单元20的标识时，还将任务处理单元20的类别发送至客户端300。所述类别为包括第一类别或第二类别。在一个实例中，所述第一类别为一个或者多个处理服务器200组成的任务处理单元20；所述第二类别由一个或者多个调度服务器100及一个或者多个处理服务器200组成的处理单元20。
根据本实施例，通过对任务处理单元的负载量的判断，选择负载量低的作为目标处理机器，防止高负载再被分配任务形成分工不均的现象，提高任务处理机器集群的效率。
第二实施例
图5为第二实施例提供的一种任务调度方法流程图。其可由图1所示的任务调度系统执行。如图5所示，上述方法包括以下步骤：
步骤S101、所述任务处理单元将其负载信息发送给所述调度单元。
所述负载信息用于记录其任务处理单元20的当前的负载情况。在一个实例中，可以用数值记录当前闲置的资源量，所述资源包括但不限制为CPU、GPU、内存、磁盘存储等资源。例如，可以用1和0分别表示接收与不接收新任务，用数值0表示当前负载量高，即不接收处理新的任务，用数值1表示负载低可以接收处理新的任务。例如，也可以用百分比表示当前任务处理资源的占有率，返回百分比至所属的调度服务器100。在另一个实施方式，在接收所述负载信息后，如果满足接收新的任务，还可包括接任务处理单元20发送的可接收新任务的请求，进一步地，在接收到任务处理单元20发送的可接收新任务的请求后才可将任务分配至该任务处理单元20。
步骤S102、所述调度单元在接收客户端发送的第一任务处理单元分配请求后选择负载低的任务处理单元。
调度服务器100在接收客户端300发送的第一任务处理单元分配请求后选择负载低的任务处理单元20中的处理服务器200。所述负载低的处理服务器可以根据上述负载信息进行判断。例如，上述0，1表示的负载信息，选择数值为1的任务处理单元。再例如，所述负载信息采用占用率的百分比的形式，选择百分比最低的进行分配。进一步地，在被选择的任务处理单元20中处理服务器200在接收到客户端300发送的任务之后将新的负载信息发送至所属的调度服务器100。可以理解的是，所述负载信息是即时更新。
步骤S103、将所述选择的任务处理单元的标识返回至所述客户端。
所述标识可以是的IP地址(InternetProtocol，网络之间互连的协议)。
步骤S104、所述客户端将任务提交至所述标识对应的任务处理单元进行处理。
所述任务包括但不限制于图片压缩，云计算及分布式存储等。在一个实力中，选择的负载低处理服务器为图1中的处理服务器201，则客户端300直接将任务发送至处理服务器201。处理服务器201处理所述任务。
根据本实施例的任务调度方法，通过所述调度单元的分配负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
第三实施例
本实施例提供的一种任务调度方法，其可由图1所示的任务调度系统执行。本实施例与第二实施例类似，其不同之处，参阅图6，在步骤S103之后还包括：
步骤S105、所述调度单元将所述选择的负载低的任务处理单元的类别返回至所述客户端，所述类别为包括第一类别或第二类别。
在一个实例中，所述第一类别为一个或者多个处理服务器200组成的任务处理单元20；所述第二类别由一个或者多个调度服务器100及一个或者多个处理服务器200组成的处理单元20。
若所述任务处理单元的类别为所述第一类别，则执行所述客户端将任务提交至所述标识对应的任务处理单元进行处理的步骤。
若任务处理单元20的类别为所述第一类别，由一个或者多个处理服务器200组成。所述获取的任务处理单元的标识直接对应于处理服务器200的标识。客户端300可以直接根据标识发送任务至处理服务器200进行处理任务。
根据本实施例提供的任务调度方法，分类任务处理单元，可多层调度任务处理单元，提升资源利用率。
第四实施例
本实施例提供的一种任务调度方法，其可由图1所示的任务调度系统执行。本实施例与第二实施例类似，其不同之处，参阅图7，在步骤S103之后还包括：
步骤S105、所述调度单元将所述选择的负载低的任务处理单元的类别返回至所述客户端，所述类别为包括第一类别或第二类别。
步骤S104包括：
步骤S1041、所述客户端向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求。
如图1所示，则客户端30将所述第二任务处理单元分配请求发送至任务处理单元20中调度服务器101。
所述第二任务处理单元分配请求区别于第一任务处理单元分配请求，即在向任务处理单元的子调度单元发送分配任务处理单元请求。
步骤S1042、所述子调度单元在所述任务处理单元内选择负载低的子任务处理单元。
例如，所述子任务处理单元也包括将其负载信息发送至所属的子调度单元。所述负载低的子任务处理单元可以根据上述负载信息进行判断。例如，上述0，1表示的负载信息，选择数值为1的处理服务器200。再例如，所述负载信息采用占用率的百分比的形式，选择百分比最低的进行分配。进一步地，在被选择的子任务处理单元中处理服务器200在接收到客户端300发送的任务之后将新的负载信息发送至所属的子调度服务器。可以理解的是，所述负载信息是即时更新。
步骤S1043、将所述子调度单元选择的子任务处理单元的标识返回至所述客户端。
所述标识可以是的IP(InternetProtocol，网络之间互连的协议)。
步骤S1044、所述客户端将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
可以理解的是，所述子处理单元也可以有两个类别，第一类别或第二类别。
根据本实施例的任务调度方法，通过所述调度单元多级调用分配负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
第五实施例
本实施例提供的一种任务调度方法，其可由图1所示的任务调度系统执行。本实施例与第二实施例类似，其不同之处，参阅图8，在步骤S101之前还包括：
步骤S106、所述客户端获取所述任务处理单元的列表。
所述列表包括用于处理所述客户端提交的任务的集群，所述集群可以是集群计算机集合或者虚拟机集群。在一个实例中，本实施例的方法由一个包括n个任务处理单元及一个调度单元的系统处理任务。如图9所示，一个实施例系统包括客户端300、调度单元T1、任务处理单元Sm(m∈(0,n])。所示任务处理单元的列表为图8所示的S1、S2……Sn的任务处理单元。进一步的，所述列表还可包括任务处理单元的标识。
步骤S107、按照预定的策略向所述列表中的任务处理单元提交任务处理请求。
在一个实例中，所述预定的策略可以是采用随机选取任务处理单元，根据上述列表中标识发送至任务处理单元。在另一个实例中，也可以是按照上述列表中的标识按照列表存储顺序发送任务请求。可以理解的是，所预定的策略可以是现有的任务分发方式。
步骤S108、记载提交的任务处理请求的数量。
所述提交的任务处理数量即存储上述按照预定的策略提交的任务量，所述数量可用于判断任务处理单元的是否超过了负载量。
步骤S109、若任务处理请求的数量超过预设阈值，则所述客户端向所述调度单元发送所述第一任务处理单元分配请求。
处理资源有具体的最大承受力，然而由于随机分配以及顺序分配均会产生分布不均的情况，所以在应用系统中各个任务处理单元的实际可用负载量比其最大承受力小。例如，如图9所示，其中定义R(m)为Sm子系统的实际可用负载量(m∈(0,n])。其中R(m)为任务处理单元Sm自身存在的属性。定义总的系统负载为R(total-n)。所述负载量可以理解为任务处理单元可处理的任务量。则有以下公式：
R(total-n)＝R(1)+R(2)+…+R(n)。
假设在所有任务处理单元均负载均衡，且都处于可处理量内的最大承载负荷能力为R(total-max)，可以知道的是R(total-max)>R(total-n)。
所述预设阈值即可为上述系统的总负载量R(total-n)。当所述提交的任务处理请求的数量超过总负载量R(total-n)。则所述客户端向所述调度单元发送所述第一任务处理单元分配请求。
如图9所示，客户端300先用预定的策略进行分配任务，分配R(total-n)内的任务R(m)至任务处理单元Sm。当判断所述提交的任务处理请求的数量超过总负载量R(total-n)产生的新任务R(t)，可以理解的是，所述[R(total-max)-R(total-n)]>R(t)，则将任务R(t)发送至调度单元T1。可根据第二实施例所述的方法选取负载低的任务处理单元Sm，返回Sm的标识，客户端300根据Sm的标识将任务R(t)发送至任务处理单元Sm。
根据本实施例的任务调度方法，通过客户端的判断任务提交数量，在可能超负荷的数量时才通过调度单元获取负载低的，使其请求量相对较小，不会造成调度单元的超负载量，可使系统更加稳定进行。
第六实施例
图10为第六实施例提供的一种任务调度方法流程图。其可由图1所示的任务调度系统执行。如图10所示，上述方法包括以下步骤：
步骤S201、所述任务处理单元将其负载信息发送给所述调度单元。
所述负载信息用于记录其任务处理单元20的当前的负载情况。在一个实例中，可以用数值记录当前闲置的资源量，所述资源包括但不限制为CPU、GPU、内存、磁盘存储等资源。例如，可以用1和0分别表示接收与不接收新任务，用数值0表示当前负载量高，即不接收处理新的任务，用数值1表示负载低可以接收处理新的任务。例如，也可以用百分比表示当前任务处理资源的占有率，返回百分比至所属的调度服务器100。
步骤S202、所述客户端向所述调度单元发送负载请求。
步骤S203、所述调度单元在接收客户端发送的负载请求后，将所述任务处理单元的负载信息返回至所述客户端。
将其所属的处理任务处理单元的负载信息返回至所述客户端。
步骤S204、所述客户端根据所述负载信息选择负载低的任务处理单元，并从所述调度单元获取所述选择的任务处理单元的标识。
在一个实例中，例如，上述0，1表示的负载信息，选择数值为1的任务处理单元。再例如，所述负载信息采用占用率的百分比的形式，选择百分比最低。再根据选择，从调度单元拉取选择的任务处理单元的标识。
步骤S205、将任务提交至所述标识对应的任务处理单元进行处理。
进一步地，当任务处理单元接收到客户端发送的任务时，也即时的更新负载信息，向所属的调度单元发送更新后的负载信息。可以理解的是，所述负载信息是即时更新。
根据本实施例的任务调度方法，通过所述调度单元的返回负载信息，客户端选择负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
第七实施例
本实施例提供的一种任务调度方法，其可由图1所示的任务调度系统执行。本实施例与第六实施例类似，其不同之处，参阅图11，在步骤S204之后还包括：
步骤S206、所述调度单元将所述选择的负载低的任务处理单元的类别返回至所述客户端，所述类别为包括第一类别或第二类别。
在一个实例中，所述第一类别为一个或者多个处理服务器200组成的任务处理单元20；所述第二类别由一个或者多个调度服务器100及一个或者多个处理服务器200组成的处理单元20。
若所述任务处理单元的类别为所述第一类别，则执行所述客户端将任务提交至所述标识对应的任务处理单元进行处理的步骤。
若任务处理单元20的类别为所述第一类别，由一个或者多个处理服务器200组成。所述获取的任务处理单元的标识直接对应于处理服务器200的标识。客户端300可以直接根据标识发送任务至处理服务器200进行处理任务。
根据本实施例提供的任务调度方法，分类任务处理单元，可多层调度任务处理单元，提升资源利用率。
第八实施例
本实施例提供的一种任务调度方法，其可由图1所示的任务调度系统执行。本实施例与第六实施例类似，其不同之处，参阅图12，在步骤S204之后还包括：
步骤S206、所述调度单元将所述选择的负载低的任务处理单元的类别返回至所述客户端，所述类别为包括第一类别或第二类别。
步骤S205包括：
步骤S2051、所述客户端向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求。
如图1所示，则客户端30将所述第二任务处理单元分配请求发送至任务处理单元20中调度服务器101。
所述第二任务处理单元分配请求区别于第一任务处理单元分配请求，即在向任务处理单元的子调度单元发送分配任务处理单元请求。
步骤S2052、所述子调度单元在所述任务处理单元内选择负载低的子任务处理单元。
步骤S2053、将所述子调度单元选择的子任务处理单元的标识返回至所述客户端。
步骤S2054、所述客户端将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
可以理解的是，所述子处理单元也可以有两个类别，第一类别或第二类别。
根据本实施例的任务调度方法，通过所述调度单元多级调用分配负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
第九实施例
本实施例提供的一种任务调度方法，其可由图1所示的任务调度系统执行。本实施例与第六实施例类似，其不同之处，参阅图13，在步骤S201之前还包括：
步骤S207、所述客户端获取所述任务处理单元的列表。
所述列表包括用于处理所述客户端提交的任务的集群，所述集群可以是集群计算机集合或者虚拟机集群。在一个实例中，本实施例的方法由一个包括n个任务处理单元及一个调度单元的系统处理任务。如图9所示，一个实施例系统包括客户端300、调度单元T1、任务处理单元Sm(m∈(0,n])。所示任务处理单元的列表为图8所示的S1、S2……Sn的任务处理单元。进一步的，所述列表还可包括任务处理单元的标识。
步骤S208、按照预定的策略向所述列表中的任务处理单元提交任务处理请求。
在一个实例中，所述预定的策略可以是采用随机选取任务处理单元，根据上述列表中标识发送至任务处理单元。在另一个实例中，也可以是按照上述列表中的标识按照列表存储顺序发送任务请求。可以理解的是，所预定的策略可以是现有的任务分发方式。
步骤S209、记载提交的任务处理请求的数量。
所述提交的任务处理数量即存储上述按照预定的策略提交的任务量，所述数量可用于判断任务处理单元的是否超过了负载量。
步骤S210、若任务处理请求的数量超过预设阈值，则所述客户端向所述调度单元发送所述第一任务处理单元分配请求。
处理资源有具体的最大承受力，然而由于随机分配以及顺序分配均会产生分布不均的情况，所以在应用系统中各个任务处理单元的实际可用负载量比其最大承受力小。例如，如图9所示，其中定义R(m)为Sm子系统的实际可用负载量(m∈(0,n])。其中R(m)为任务处理单元Sm自身存在的属性。定义总的系统负载为R(total-n)。所述负载量可以理解为任务处理单元可处理的任务量。则有以下公式：
R(total-n)＝R(1)+R(2)+…+R(n)。
假设在所有任务处理单元均负载均衡，且都处于可处理量内的最大承载负荷能力为R(total-max)，可以知道的是R(total-max)>R(total-n)。
所述预设阈值即可为上述系统的总负载量R(total-n)。当所述提交的任务处理请求的数量超过总负载量R(total-n)。则所述客户端向所述调度单元发送所述第一任务处理单元分配请求。
根据本实施例的任务调度方法，通过客户端的判断任务提交数量，在可能超负荷的数量时才通过调度单元获取负载低的，使其请求量相对较小，不会造成调度单元的超负载量，可使系统更加稳定进行。
第十实施例
图14为第十实施例提供的一种任务调度方法流程图。其可由图1所示的客户端执行。如图14所示，上述方法包括以下步骤：
步骤S301、获取所述任务处理单元的列表。
所述列表包括用于处理所述客户端提交的任务的集群，所述集群可以是集群计算机集合或者虚拟机集群。在一个实例中，本实施例的方法由一个包括n个任务处理单元及一个调度单元的系统处理任务。如图9所示，一个实施例系统包括客户端300、调度单元T1、任务处理单元Sm(m∈(0,n])。所示任务处理单元的列表为图8所示的S1、S2……Sn的任务处理单元。进一步的，所述列表还可包括任务处理单元的标识。
步骤S302、按照预定的策略向所述列表中的任务处理单元提交任务处理请求。
在一个实例中，所述预定的策略可以是采用随机选取任务处理单元，根据上述列表中标识发送至任务处理单元。在另一个实例中，也可以是按照上述列表中的标识按照列表存储顺序发送任务请求。可以理解的是，所预定的策略可以是现有的任务分发方式。
步骤S303、记载提交的任务处理请求的数量。
所述提交的任务处理数量即存储上述按照预定的策略提交的任务量，所述数量可用于判断任务处理单元的是否超过了负载量。
步骤S304、判断任务处理请求的数量是否超过预设阈值。
所述预设阀值可以是任务处理单元的负载量。
步骤S305、将任务处理请求提交至所述列表中负载低的任务处理单元进行处理。
在一个实施方式中，客户端可以直接向调度单元发送获取负载低的任务处理单元的请求，直接由调度单元分配所述负载低的任务处理单元，并从调度单元获取负载低的任务处理单元的标识，从而根据标识将任务提交至标识对应的任务处理单元。在另一个实施方式中，客户端可以向调度单元请求任务处理单元的负载信息，通过负载信息判断获取负载低的任务处理单元，并从调度单元获取负载低的任务处理单元的标识，从而根据标识将任务提交至标识对应的任务处理单元。
根据本实施例的任务调度方法，通过客户端的判断任务提交数量，在可能超负荷的数量时才通过调度单元获取负载低的，使其请求量相对较小，不会造成调度单元的超负载量，可使系统更加稳定进行。
第十一实施例
本实施例提供的一种任务调度方法，可由图1所示的客户端执行。本实施例与第十实施例类似，其不同之处，参阅图15，步骤S305包括：
步骤S3051、向所述调度单元发送第一任务处理单元分配请求，使所调度单元从所述列表中的任务处理单元中选择负载低的任务处理单元。
所述负载信息用于记录其任务处理单元20的当前的负载情况。在一个实例中，可以用数值记录当前闲置的资源量，所述资源包括但不限制为CPU、GPU、内存、磁盘存储等资源。
步骤S3052、接收所述调度单元返回的任务处理单元的标识。
所述标识可以是的IP地址(InternetProtocol，网络之间互连的协议)。
步骤S3053、将所述任务处理请求提交给所述标识对应的任务处理单元进行处理。
所述任务包括但不限制于图片压缩，云计算及分布式存储等。
根据本实施例的任务调度方法，通过所述调度单元的分配负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
第十二实施例
本实施例提供的一种任务调度方法，可由图1所示的客户端执行。本实施例与第十一实施例类似，其不同之处，参阅图16，在步骤S3052之后还包括：
步骤S3054、接收所述调度单元返回的所述任务处理单元的类别，所述类别为第一类别或者第二类别。
回至所述客户端，所述类别为包括第一类别或第二类别。
在一个实例中，所述第一类别为一个或者多个处理服务器200组成的任务处理单元20；所述第二类别由一个或者多个调度服务器100及一个或者多个处理服务器200组成的处理单元20。
若所述类别为第一类别则执行所述将任务处理请求提交至所述列表中负载低的任务处理单元进行处理的步骤。
根据本实施例提供的任务调度方法，分类任务处理单元，可多层调度任务处理单元，提升资源利用率。
第十三实施例
本实施例提供的一种任务调度方法，可由图1所示的客户端执行。本实施例与第十一实施例类似，其不同之处，参阅图17，在步骤S3052之后还包括：
步骤S3054、接收所述调度单元返回的所述任务处理单元的类别，所述类别为第一类别或者第二类别。
若所述类别为第二类别则步骤S3053包括：
步骤S30531、向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求，使所述子调度单元在所述任务处理单元内选择负载低的子任务处理单元。
如图1所示，则客户端30将所述第二任务处理单元分配请求发送至任务处理单元20中调度服务器101。
所述第二任务处理单元分配请求区别于第一任务处理单元分配请求，即在向任务处理单元的子调度单元发送分配任务处理单元请求。
进一步地，所述任务处理单元中的子任务处理单元将其子负载信息发送至子调度单元。
所述子调度单元根据所述子负载信息判断负载低的子任务处理单元。
步骤S30532、接收所述子调度单元返回的子任务处理单元的标识。
步骤S30533、将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
可以理解的是，所述子处理单元也可以有两个类别，第一类别或第二类别。
根据本实施例的任务调度方法，通过所述调度单元多级调用分配负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
第十四实施例
本实施例提供的一种任务调度方法，可由图1所示的客户端执行。本实施例与第十实施例类似，其不同之处，参阅图18，步骤S305包括：
步骤S3055、向所述调度单元发送负载请求，使所述调度单元返回所述列表中的任务处理单元的负载信息。
所述负载信息用于记录其任务处理单元20的当前的负载情况。在一个实例中，可以用数值记录当前闲置的资源量，所述资源包括但不限制为CPU、GPU、内存、磁盘存储等资源。
步骤S3056、接收所述调度单元返回的任务处理单元的负载信息。
步骤S3057、根据所述负载信息选择负载低的任务处理单元，并从所述调度单元获取选择的任务处理单元的标识。
步骤S3058、将所述任务处理请求提交给所述标识对应的任务处理单元进行处理。
进一步地，当任务处理单元接收到客户端发送的任务时，也即时的更新负载信息，向所属的调度单元发送更新后的负载信息。可以理解的是，所述负载信息是即时更新。
根据本实施例的任务调度方法，通过所述调度单元的返回负载信息，客户端选择负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
第十五实施例
本实施例提供的一种任务调度装置，参阅图19，所述装置包括：列表获取模块401、请求模块402、记载模块403、判断模块404及处理请求模块405。
列表获取模块401，用于获取所述任务处理单元的列表。
请求模块402，用于按照预定的策略向所述列表中的任务处理单元提交任务处理请求。
记载模块403，用于记载提交的任务处理请求的数量。
判断模块404，用于判断任务处理请求的数量是否超过预设阈值。
处理请求模块405，用于将任务处理请求提交至所述列表中负载低的任务处理单元进行处理。
本实施例与第十实施例所述的任务调度方法类似，具体可参考四十四实施例，在此不再重复。
根据本实施例的任务调度装置，通过客户端的判断任务提交数量，在可能超负荷的数量时才通过调度单元获取负载低的，使其请求量相对较小，不会造成调度单元的超负载量，可使系统更加稳定进行。
第十六实施例
本实施例提供的一种任务调度装置，本实施例与第十五实施例类似，其不同之处在于，参阅图20，本实施例的装置还包括：第一分配请求模块501、标识接收模块502及任务处理模块503。
第一分配请求模块501，用于向所述调度单元发送第一任务处理单元分配请求，使所调度单元从所述列表中的任务处理单元中选择负载低的任务处理单元。
标识接收模块502，用于接收所述调度单元返回的任务处理单元的标识。
任务处理模块503，用于将所述任务处理请求提交给所述标识对应的任务处理单元进行处理。
本实施例与第十一实施例所述的任务调度方法类似，具体可参考四十四实施例，在此不再重复。
根据本实施例的任务调度装置，通过所述调度单元的分配负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
第十七实施例
本实施例提供的一种任务调度装置，本实施例与第十六实施例类似，其不同之处在于，参阅图21，本实施例的装置还包括：
类别接收模块601，用于接收所述调度单元返回的所述任务处理单元的类别，所述类别为第一类别或者第二类别；
若所述类别为第一类别则执行任务处理模块503。
本实施例与第十二实施例所述的任务调度方法类似，具体可参考四十四实施例，在此不再重复。
根据本实施例提供的任务调度装置，分类任务处理单元，可多层调度任务处理单元，提升资源利用率。
第十八实施例
本实施例提供的一种任务调度装置，本实施例与第十六实施例类似，其不同之处在于，参阅图22，本实施例的装置还包括：第二分配请求模块5031、附标识接收模块5032、附任务处理模块5033。
第二分配请求模块5031，用于向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求，使所述子调度单元在所述任务处理单元内选择负载低的子任务处理单元。
附标识接收模块5032，用于接收所述子调度单元返回的子任务处理单元的标识。
附任务处理模块5033，用于将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
本实施例与第十三实施例所述的任务调度方法类似，具体可参考四十四实施例，在此不再重复。
根据本实施例的任务调度装置，通过所述调度单元多级调用分配负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
第十九实施例
本实施例提供的一种任务调度装置，本实施例与第十五实施例类似，其不同之处在于，参阅图23，本实施例的装置还包括：
负载请求模块701，用于向所述调度单元发送负载请求，使所述调度单元返回所述列表中的任务处理单元的负载信息；
接收负载信息模块702，用于接收所述调度单元返回的任务处理单元的负载信息；
选择模块703，用于根据所述负载信息选择负载低的任务处理单元，并从所述调度单元获取选择的任务处理单元的标识；以及
第二任务处理模块704，将所述任务处理请求提交给所述标识对应的任务处理单元进行处理。
本实施例与第十四实施例所述的任务调度方法类似，具体可参考四十四实施例，在此不再重复。
根据本实施例的任务调度装置，通过所述调度单元的返回负载信息，客户端选择负载低的任务处理单元处理任务，有效防止处理单元的一些机器超负荷，提升资源利用率。
此外，本发明实施例还提供一种计算机可读存储介质，其内存储有计算机可执行指令，上述的计算机可读存储介质例如为非易失性存储器例如光盘、硬盘、或者闪存。上述的计算机可执行指令用于让计算机或者类似的运算装置完成上述的任务调度方法中的各种操作。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (26)
1.一种任务调度方法，用于服务器集群中，所述服务器集群用于根据处理客户端提交的任务处理请求，所述服务器集群包括调度单元、以及多个任务处理单元，其特征在于，所述方法包括以下步骤：
所述任务处理单元将其负载信息发送给所述调度单元；
所述调度单元在接收客户端发送的第一任务处理单元分配请求后选择负载低的任务处理单元；
将所述选择的任务处理单元的标识返回至所述客户端；以及
所述客户端将任务提交至所述标识对应的任务处理单元进行处理。
2.如权利要求1所述的任务调度方法，其特征在于，还包括，
所述调度单元将所述选择的负载低的任务处理单元的类别返回至所述客户端，所述类别为包括第一类别或第二类别；
若所述任务处理单元的类别为所述第一类别，则执行所述客户端将任务提交至所述标识对应的任务处理单元进行处理的步骤。
3.如权利要求2所述的任务调度方法，其特征在于，所述任务处理单元包括子调度单元以及多个子任务处理单元，若所述任务处理单元的类别为所述第二类别，所述客户端将任务提交至所述标识对应的任务处理单元进行处理的步骤包括：
所述客户端向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求；
所述子调度单元在所述任务处理单元内选择负载低的子任务处理单元；
将所述子调度单元选择的子任务处理单元的标识返回至所述客户端；以及
所述客户端将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
4.如权利要求1所述的任务调度方法，其特征在于，还包括，
所述客户端获取所述任务处理单元的列表；
按照预定的策略向所述列表中的任务处理单元提交任务处理请求；
记载提交的任务处理请求的数量；
若任务处理请求的数量超过预设阈值，则所述客户端向所述调度单元发送所述第一任务处理单元分配请求。
5.一种任务调度方法，用于服务器集群中，所述服务器集群用于根据处理客户端提交的任务处理请求，所述服务器集群包括调度单元、以及多个任务处理单元，其特征在于，所述方法包括以下步骤：
所述任务处理单元将其负载信息发送给所述调度单元；
所述客户端向所述调度单元发送负载信息请求；
所述调度单元在接收客户端发送的负载信息请求后，将所述任务处理单元的负载信息返回至所述客户端；
所述客户端根据所述负载信息选择负载低的任务处理单元，并从所述调度单元获取所述选择的任务处理单元的标识；以及
将任务提交至所述标识对应的任务处理单元进行处理。
6.如权利要求5所述的任务调度方法，其特征在于，还包括
所述调度单元将所述选择的负载低的任务处理单元的类别返回至所述客户端，所述类别为包括第一类别或第二类别；
若所述任务处理单元的类别为所述第一类别，则执行所述客户端将任务提交至所述标识对应的任务处理单元进行处理的步骤。
7.如权利要求6所述的任务调度方法，其特征在于，
所述任务处理单元包括子调度单元以及多个子任务处理单元，若所述任务处理单元的类别为所述第二类别，所述客户端将任务提交至所述标识对应的任务处理单元进行处理的步骤包括：
所述客户端向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求；
所述子调度单元在所述任务处理单元内选择负载低的子任务处理单元；
将所述子调度单元选择的子任务处理单元的标识返回至所述客户端；以及
所述客户端将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
8.如权利要求5所述的任务调度方法，其特征在于，还包括，
所述客户端获取所述任务处理单元的列表；
按照预定的策略向所述列表中的任务处理单元提交任务处理请求；
记载提交的任务处理请求的数量；
若任务处理请求的数量超过预设阈值，则所述客户端向所述调度单元发送所述第一任务处理单元分配请求。
9.一种任务调度方法，用于在一个服务器中将任务处理请求提交给一个服务器集群，所述服务器集群包括调度单元、以及多个任务处理单元，其特征在于，所述方法包括以下步骤：
获取所述任务处理单元的列表；
按照预定的策略向所述列表中的任务处理单元提交任务处理请求；
记载提交的任务处理请求的数量；
若任务处理请求的数量超过预设阈值，则
将任务处理请求提交至所述列表中负载低的任务处理单元进行处理。
10.如权利要求9所述的任务调度方法，其特征在于，所述将任务处理请求提交至所述列表中负载低的任务处理单元进行处理包括：
向所述调度单元发送第一任务处理单元分配请求，使所调度单元从所述列表中的任务处理单元中选择负载低的任务处理单元；
接收所述调度单元返回的任务处理单元的标识；
将所述任务处理请求提交给所述标识对应的任务处理单元进行处理。
11.如权利要求10所述的任务调度方法,其特征在于，还包括：
接收所述调度单元返回的所述任务处理单元的类别，所述类别为第一类别或者第二类别；
若所述类别为第一类别则执行所述将任务处理请求提交至所述列表中负载低的任务处理单元进行处理的步骤。
12.如权利要求11所述的任务调度方法，其特征在于，所述任务处理单元包括子调度单元以及多个子任务处理单元；
若所述类别为第二类别则所述将所述任务处理请求提交给所述标识对应的任务处理单元进行处理的步骤包括：
向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求，使所述子调度单元在所述任务处理单元内选择负载低的子任务处理单元；
接收所述子调度单元返回的子任务处理单元的标识；以及
将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
13.如权利要求9所述的任务调度方法，其特征在于，所述将任务处理请求提交至所述列表中负载低的任务处理单元进行处理包括：
向所述调度单元发送负载信息请求，使所述调度单元返回所述列表中的任务处理单元的负载信息；
接收所述调度单元返回的任务处理单元的负载信息；
根据所述负载信息选择负载低的任务处理单元，并从所述调度单元获取选择的任务处理单元的标识；以及
将所述任务处理请求提交给所述标识对应的任务处理单元进行处理。
14.一种任务调度系统，所述系统包括服务器集群及客户端，所述服务器集群用于根据处理所述客户端提交的任务处理请求，所述服务器集群包括调度单元、以及多个任务处理单元，其特征在于，
所述任务处理单元，用于将其负载信息发送给所述调度单元；
所述调度单元，用于在接收客户端发送的第一任务处理单元分配请求后选择负载低的任务处理单元；
所述调度单元，还用于将所述选择的任务处理单元的标识返回至所述客户端；
所述客户端，用于将任务提交至所述标识对应的任务处理单元进行处理。
15.如权利要求14所述的任务调度系统，其特征在于，还包括，
所述调度单元，还用于将所述选择的负载低的任务处理单元的类别返回至所述客户端，所述类别为包括第一类别或第二类别；
若所述任务处理单元的类别为所述第一类别，则所述客户端用于将任务提交至所述标识对应的任务处理单元进行处理。
16.如权利要求15所述的任务调度系统，其特征在于，所述任务处理单元包括子调度单元以及多个子任务处理单元，若所述任务处理单元的类别为所述第二类别，
所述客户端还用于将任务提交至所述标识对应的任务处理单元进行处理还包括：
所述客户端，还用于向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求；
所述子调度单元，用于在所述任务处理单元内选择负载低的子任务处理单元；
所述子调度单元，用于将选择的子任务处理单元的标识返回至所述客户端；以及
所述客户端，还用于将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
17.如权利要求14所述的任务调度系统，其特征在于，还包括，
所述客户端，还用于获取所述任务处理单元的列表；
所述客户端，还用于按照预定的策略向所述列表中的任务处理单元提交任务处理请求；
所述客户端，还用于记载提交的任务处理请求的数量；
若任务处理请求的数量超过预设阈值，则所述客户端向所述调度单元发送所述第一任务处理单元分配请求。
18.一种任务调度系统，所述系统包括服务器集群及客户端，所述服务器集群用于根据处理所述客户端提交的任务处理请求，所述服务器集群包括调度单元、以及多个任务处理单元，其特征在于，
所述任务处理单元，用于将其负载信息发送给所述调度单元；
所述客户端，用于向所述调度单元发送负载请求；
所述调度单元，用于在接收客户端发送的负载请求后，将所述任务处理单元的负载信息返回至所述客户端；
所述客户端，用于根据所述负载信息选择负载低的任务处理单元，并从所述调度单元获取所述选择的任务处理单元的标识；以及
将任务提交至所述标识对应的任务处理单元进行处理。
19.如权利要求18所述的任务调度系统，其特征在于，还包括，
所述调度单元，还用于将所述选择的负载低的任务处理单元的类别返回至所述客户端，所述类别为包括第一类别或第二类别；
若所述任务处理单元的类别为所述第一类别，则所述客户端用于将任务提交至所述标识对应的任务处理单元进行处理。
20.如权利要求19所述的任务调度系统，其特征在于，所述任务处理单元包括子调度单元以及多个子任务处理单元，若所述任务处理单元的类别为所述第二类别，
所述客户端还用于将任务提交至所述标识对应的任务处理单元进行处理还包括：
所述客户端，还用于向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求；
所述子调度单元，用于在所述任务处理单元内选择负载低的子任务处理单元；
所述子调度单元，用于将选择的子任务处理单元的标识返回至所述客户端；以及
所述客户端，还用于将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
21.如权利要求18所述的任务调度系统，其特征在于，还包括，
所述客户端，还用于获取所述任务处理单元的列表；
所述客户端，还用于按照预定的策略向所述列表中的任务处理单元提交任务处理请求；
所述客户端，还用于记载提交的任务处理请求的数量；
若任务处理请求的数量超过预设阈值，则所述客户端向所述调度单元发送所述第一任务处理单元分配请求。
22.一种任务调度装置，用于在一个服务器中将任务处理请求提交给一个服务器集群，所述服务器集群包括调度单元、以及多个任务处理单元，其特征在于，所述装置包括：
列表获取模块，用于获取所述任务处理单元的列表；
请求模块，用于按照预定的策略向所述列表中的任务处理单元提交任务处理请求；
记载模块，用于记载提交的任务处理请求的数量；
判断模块，用于判断任务处理请求的数量是否超过预设阈值，
处理请求模块，用于将任务处理请求提交至所述列表中负载低的任务处理单元进行处理。
23.如权利要求22所述的任务调度装置，其特征在于，所述处理请求模块包括：
第一分配请求模块，用于向所述调度单元发送第一任务处理单元分配请求，使所调度单元从所述列表中的任务处理单元中选择负载低的任务处理单元；
标识接收模块，用于接收所述调度单元返回的任务处理单元的标识；
第一任务处理模块，用于将所述任务处理请求提交给所述标识对应的任务处理单元进行处理。
24.如权利要求23所述的任务调度装置,其特征在于，还包括：
类别接收模块，用于接收所述调度单元返回的所述任务处理单元的类别，所述类别为第一类别或者第二类别；
若所述类别为第一类别则执行任务处理模块。
25.如权利要求24所述的任务调度装置，其特征在于，所述任务处理单元包括子调度单元以及多个子任务处理单元；
若所述类别为第二类别，则所述任务处理模块包括：
第二分配请求模块，用于向所述任务处理单元处理内的子调度单元发送第二任务处理单元分配请求，使所述子调度单元在所述任务处理单元内选择负载低的子任务处理单元；
附标识接收模块，用于接收所述子调度单元返回的子任务处理单元的标识；以及
附任务处理模块，用于将任务提交至所述子任务处理单元的标识对应的子任务处理单元进行处理。
26.如权利要求22所述的任务调度装置，其特征在于，所述处理请求模块包括：
负载请求模块，用于向所述调度单元发送负载请求，使所述调度单元返回所述列表中的任务处理单元的负载信息；
接收负载信息模块，用于接收所述调度单元返回的任务处理单元的负载信息；
选择模块，用于根据所述负载信息选择负载低的任务处理单元，并从所述调度单元获取选择的任务处理单元的标识；以及
第二任务处理模块，将所述任务处理请求提交给所述标识对应的任务处理单元进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410414858.2A CN105373429A (zh) | 2014-08-20 | 2014-08-20 | 任务调度方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410414858.2A CN105373429A (zh) | 2014-08-20 | 2014-08-20 | 任务调度方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105373429A true CN105373429A (zh) | 2016-03-02 |
Family
ID=55375654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410414858.2A Pending CN105373429A (zh) | 2014-08-20 | 2014-08-20 | 任务调度方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105373429A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106648859A (zh) * | 2016-12-01 | 2017-05-10 | 北京奇虎科技有限公司 | 一种任务调度方法和装置 |
| CN106681808A (zh) * | 2016-12-01 | 2017-05-17 | 北京奇虎科技有限公司 | 一种任务调度方法和装置 |
| CN107479963A (zh) * | 2016-06-08 | 2017-12-15 | 国家计算机网络与信息安全管理中心 | 一种任务分配方法及系统 |
| CN107623731A (zh) * | 2017-09-15 | 2018-01-23 | 浪潮软件股份有限公司 | 一种任务调度方法、客户端、服务集群及系统 |
| CN107729141A (zh) * | 2017-09-27 | 2018-02-23 | 华为技术有限公司 | 一种业务分配方法、装置和服务器 |
| CN108197912A (zh) * | 2016-12-08 | 2018-06-22 | 阿里巴巴集团控股有限公司 | 一种业务处理系统及方法 |
| CN108206789A (zh) * | 2016-12-20 | 2018-06-26 | 英业达科技有限公司 | 分段式处理请求的负载均衡系统及其方法 |
| CN108337275A (zh) * | 2017-01-19 | 2018-07-27 | 百度在线网络技术（北京）有限公司 | 用于分发服务器的任务分发方法、装置以及设备 |
| CN108733470A (zh) * | 2017-04-25 | 2018-11-02 | 深圳市优网科技有限公司 | 一种分布式任务调度系统及方法 |
| CN109347930A (zh) * | 2018-09-27 | 2019-02-15 | 视联动力信息技术股份有限公司 | 一种任务处理方法和装置 |
| CN109634749A (zh) * | 2018-12-20 | 2019-04-16 | 厦门商集网络科技有限责任公司 | 一种分布式统一调度方法及设备 |
| CN109976902A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 任务处理方法、系统、电子设备及计算机可读介质 |
| CN110049350A (zh) * | 2019-04-15 | 2019-07-23 | 深圳壹账通智能科技有限公司 | 视频转码处理方法、装置、计算机设备和存储介质 |
| CN110290180A (zh) * | 2019-05-31 | 2019-09-27 | 北京大米科技有限公司 | 分布式任务调度方法、装置、计算机设备和存储介质 |
| CN111026520A (zh) * | 2018-10-10 | 2020-04-17 | 上海寒武纪信息科技有限公司 | 任务处理方法、处理器的控制装置及处理器 |
| CN111026518A (zh) * | 2018-10-10 | 2020-04-17 | 上海寒武纪信息科技有限公司 | 任务调度方法 |
| CN111078397A (zh) * | 2019-11-27 | 2020-04-28 | 上海朗曦信息技术有限公司 | 适用于服务器群集的负载均衡任务分配方法及系统 |
| CN111625344A (zh) * | 2019-02-27 | 2020-09-04 | 阿里巴巴集团控股有限公司 | 应用系统中的资源调度系统、方法及装置 |
| CN112561264A (zh) * | 2020-12-04 | 2021-03-26 | 中广核工程有限公司 | 企业内容的服务方法、服务系统和存储介质 |
| CN115586957A (zh) * | 2022-11-25 | 2023-01-10 | 阿里巴巴（中国）有限公司 | 一种任务调度系统、方法、装置及电子设备 |
| CN116185310A (zh) * | 2023-04-27 | 2023-05-30 | 中茵微电子(南京)有限公司 | 一种存储器数据读写调度方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101068339A (zh) * | 2007-06-01 | 2007-11-07 | 华为技术有限公司 | 一种视频点播类业务的实现方法、服务器及客户端 |
| CN101729412A (zh) * | 2009-11-05 | 2010-06-09 | 北京超图软件股份有限公司 | 地理信息服务的分布式层次集群方法和系统 |
| CN102622265A (zh) * | 2011-01-28 | 2012-08-01 | 天脉聚源(北京)传媒科技有限公司 | 一种任务分配方法和系统 |
| CN103455375A (zh) * | 2013-01-31 | 2013-12-18 | 南京理工大学连云港研究院 | Hadoop云平台下基于负载监控的混合调度方法 |
| CN103559083A (zh) * | 2013-10-11 | 2014-02-05 | 北京奇虎科技有限公司 | 网页爬取任务调度方法与任务调度器 |
-
2014
- 2014-08-20 CN CN201410414858.2A patent/CN105373429A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101068339A (zh) * | 2007-06-01 | 2007-11-07 | 华为技术有限公司 | 一种视频点播类业务的实现方法、服务器及客户端 |
| CN101729412A (zh) * | 2009-11-05 | 2010-06-09 | 北京超图软件股份有限公司 | 地理信息服务的分布式层次集群方法和系统 |
| CN102622265A (zh) * | 2011-01-28 | 2012-08-01 | 天脉聚源(北京)传媒科技有限公司 | 一种任务分配方法和系统 |
| CN103455375A (zh) * | 2013-01-31 | 2013-12-18 | 南京理工大学连云港研究院 | Hadoop云平台下基于负载监控的混合调度方法 |
| CN103559083A (zh) * | 2013-10-11 | 2014-02-05 | 北京奇虎科技有限公司 | 网页爬取任务调度方法与任务调度器 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107479963A (zh) * | 2016-06-08 | 2017-12-15 | 国家计算机网络与信息安全管理中心 | 一种任务分配方法及系统 |
| CN106681808A (zh) * | 2016-12-01 | 2017-05-17 | 北京奇虎科技有限公司 | 一种任务调度方法和装置 |
| CN106648859A (zh) * | 2016-12-01 | 2017-05-10 | 北京奇虎科技有限公司 | 一种任务调度方法和装置 |
| CN108197912A (zh) * | 2016-12-08 | 2018-06-22 | 阿里巴巴集团控股有限公司 | 一种业务处理系统及方法 |
| CN108206789A (zh) * | 2016-12-20 | 2018-06-26 | 英业达科技有限公司 | 分段式处理请求的负载均衡系统及其方法 |
| CN108337275A (zh) * | 2017-01-19 | 2018-07-27 | 百度在线网络技术（北京）有限公司 | 用于分发服务器的任务分发方法、装置以及设备 |
| CN108733470A (zh) * | 2017-04-25 | 2018-11-02 | 深圳市优网科技有限公司 | 一种分布式任务调度系统及方法 |
| CN107623731A (zh) * | 2017-09-15 | 2018-01-23 | 浪潮软件股份有限公司 | 一种任务调度方法、客户端、服务集群及系统 |
| CN107623731B (zh) * | 2017-09-15 | 2020-09-01 | 浪潮软件股份有限公司 | 一种任务调度方法、客户端、服务集群及系统 |
| CN107729141A (zh) * | 2017-09-27 | 2018-02-23 | 华为技术有限公司 | 一种业务分配方法、装置和服务器 |
| CN107729141B (zh) * | 2017-09-27 | 2022-06-10 | 华为技术有限公司 | 一种业务分配方法、装置和服务器 |
| CN109976902A (zh) * | 2017-12-28 | 2019-07-05 | 北京京东尚科信息技术有限公司 | 任务处理方法、系统、电子设备及计算机可读介质 |
| CN109347930A (zh) * | 2018-09-27 | 2019-02-15 | 视联动力信息技术股份有限公司 | 一种任务处理方法和装置 |
| CN109347930B (zh) * | 2018-09-27 | 2021-04-27 | 视联动力信息技术股份有限公司 | 一种任务处理方法和装置 |
| CN111026520A (zh) * | 2018-10-10 | 2020-04-17 | 上海寒武纪信息科技有限公司 | 任务处理方法、处理器的控制装置及处理器 |
| CN111026518B (zh) * | 2018-10-10 | 2022-12-02 | 上海寒武纪信息科技有限公司 | 任务调度方法 |
| CN111026518A (zh) * | 2018-10-10 | 2020-04-17 | 上海寒武纪信息科技有限公司 | 任务调度方法 |
| CN111026520B (zh) * | 2018-10-10 | 2022-12-02 | 上海寒武纪信息科技有限公司 | 任务处理方法、处理器的控制装置及处理器 |
| CN109634749A (zh) * | 2018-12-20 | 2019-04-16 | 厦门商集网络科技有限责任公司 | 一种分布式统一调度方法及设备 |
| CN111625344B (zh) * | 2019-02-27 | 2023-07-04 | 阿里巴巴集团控股有限公司 | 应用系统中的资源调度系统、方法及装置 |
| CN111625344A (zh) * | 2019-02-27 | 2020-09-04 | 阿里巴巴集团控股有限公司 | 应用系统中的资源调度系统、方法及装置 |
| CN110049350A (zh) * | 2019-04-15 | 2019-07-23 | 深圳壹账通智能科技有限公司 | 视频转码处理方法、装置、计算机设备和存储介质 |
| CN110290180A (zh) * | 2019-05-31 | 2019-09-27 | 北京大米科技有限公司 | 分布式任务调度方法、装置、计算机设备和存储介质 |
| CN110290180B (zh) * | 2019-05-31 | 2022-03-29 | 北京大米科技有限公司 | 分布式任务调度方法、装置、计算机设备和存储介质 |
| CN111078397B (zh) * | 2019-11-27 | 2023-04-25 | 上海朗曦信息技术有限公司 | 适用于服务器群集的负载均衡任务分配方法及系统 |
| CN111078397A (zh) * | 2019-11-27 | 2020-04-28 | 上海朗曦信息技术有限公司 | 适用于服务器群集的负载均衡任务分配方法及系统 |
| CN112561264A (zh) * | 2020-12-04 | 2021-03-26 | 中广核工程有限公司 | 企业内容的服务方法、服务系统和存储介质 |
| CN115586957A (zh) * | 2022-11-25 | 2023-01-10 | 阿里巴巴（中国）有限公司 | 一种任务调度系统、方法、装置及电子设备 |
| CN115586957B (zh) * | 2022-11-25 | 2023-04-14 | 阿里巴巴（中国）有限公司 | 一种任务调度系统、方法、装置及电子设备 |
| CN116185310A (zh) * | 2023-04-27 | 2023-05-30 | 中茵微电子(南京)有限公司 | 一种存储器数据读写调度方法及装置 |
| CN116185310B (zh) * | 2023-04-27 | 2023-07-14 | 中茵微电子(南京)有限公司 | 一种存储器数据读写调度方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105373429A (zh) | 任务调度方法、装置及系统 | |
| CN109218355B (zh) | 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法 | |
| CN107241281B (zh) | 一种数据处理方法及其装置 | |
| CN107688492B (zh) | 资源的控制方法、装置和集群资源管理系统 | |
| CN109684074B (zh) | 物理机资源分配方法及终端设备 | |
| CN109564528B (zh) | 分布式计算中计算资源分配的系统和方法 | |
| US8671134B2 (en) | Method and system for data distribution in high performance computing cluster | |
| CN105159782A (zh) | 基于云主机为订单分配资源的方法和装置 | |
| CN108829512B (zh) | 一种云中心硬件加速计算力的分配方法、系统和云中心 | |
| CN104426694B (zh) | 一种调整虚拟机资源的方法和装置 | |
| CN112860974A (zh) | 计算资源的调度方法、装置、电子设备和存储介质 | |
| CN115421930B (zh) | 任务处理方法、系统、装置、设备及计算机可读存储介质 | |
| CN112888005B (zh) | 一种面向mec的分布式业务调度方法 | |
| CN105450784B (zh) | 向mq中的消息分配消费节点的装置及方法 | |
| CN114155026A (zh) | 一种资源分配方法、装置、服务器及存储介质 | |
| US9152549B1 (en) | Dynamically allocating memory for processes | |
| CN115640113A (zh) | 多平面弹性调度方法 | |
| CN112860442A (zh) | 资源配额调整方法、装置、计算机设备和存储介质 | |
| WO2019034091A1 (zh) | 分布式数据计算的分配方法、装置、服务器及存储介质 | |
| CN110308991A (zh) | 一种基于随机任务的数据中心节能优化方法及系统 | |
| CN116233022A (zh) | 一种作业调度方法、服务器及服务器集群 | |
| CN109491794A (zh) | 资源管理方法、装置及电子设备 | |
| CN115586957A (zh) | 一种任务调度系统、方法、装置及电子设备 | |
| CN114489978A (zh) | 资源调度方法、装置、设备及存储介质 | |
| CN114924888A (zh) | 资源配置方法、数据处理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160302 |
|
| RJ01 | Rejection of invention patent application after publication |