CN109842665A - 用于任务分配服务器的任务处理方法和装置 - Google Patents

用于任务分配服务器的任务处理方法和装置 Download PDF

Info

Publication number
CN109842665A
CN109842665A CN201711224766.8A CN201711224766A CN109842665A CN 109842665 A CN109842665 A CN 109842665A CN 201711224766 A CN201711224766 A CN 201711224766A CN 109842665 A CN109842665 A CN 109842665A
Authority
CN
China
Prior art keywords
task
execute server
done
server
execute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711224766.8A
Other languages
English (en)
Other versions
CN109842665B (zh
Inventor
李建星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201711224766.8A priority Critical patent/CN109842665B/zh
Publication of CN109842665A publication Critical patent/CN109842665A/zh
Application granted granted Critical
Publication of CN109842665B publication Critical patent/CN109842665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)

Abstract

本申请实施例公开了用于任务分配服务器的任务处理方法和装置。该方法的一具体实施方式包括:基于接收到的任务请求,生成待完成任务,并将待完成任务分配给执行服务器集群中的至少一个执行服务器;获取至少一个执行服务器对待完成任务的执行信息,其中,执行信息包括执行待完成任务所消耗的时间以及所产生的数据量;根据执行信息,确定是否存在执行服务器过载;响应于存在执行服务器过载,向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并将该待完成任务分配给没有过载的执行服务器执行。该实施方式提高了任务请求的执行速度。

Description

用于任务分配服务器的任务处理方法和装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及用于任务分配服务器的任务处理方法和装置。
背景技术
随着互联网技术的发展,网络服务的需求也日益增大。由于单台服务器的处理能力有限,现在通常采用部署包括多台服务器的分布式服务器集群,来为用户提供高性能的网络服务。采用分布式服务器集群来处理用户发送的任务请求,可以实现在服务器集群中各个服务器均匀分配,即实现负载均衡的问题。
发明内容
本申请实施例提出了用于任务分配服务器的任务处理方法和装置。
第一方面,本申请实施例提供了一种用于任务分配服务器的任务处理方法,任务分配服务器分别与执行服务器集群中的各执行服务器通信连接,该方法包括:基于接收到的任务请求,生成待完成任务,并将待完成任务分配给执行服务器集群中的至少一个执行服务器;获取至少一个执行服务器对待完成任务的执行信息,其中,执行信息包括执行待完成任务所消耗的时间以及所产生的数据量;根据执行信息,确定是否存在执行服务器过载;响应于存在执行服务器过载,向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并将该待完成任务分配给没有过载的执行服务器执行。
在一些实施例中,根据执行信息,确定是否存在执行服务器过载,包括:确定第一任务处理速度,其中,第一任务处理速度为执行待完成任务产生的数据量与所消耗的时间的第一比值;基于第一任务处理速度,确定是否存在执行服务器过载
在一些实施例中,基于第一任务处理速度,确定是否存在执行服务器过载,包括:比较第一任务处理速度与预设速度阈值的大小;响应于第一任务处理速度小于预设速度阈值,确定第一任务处理速度对应的执行服务器过载。
在一些实施例中,基于接收到的任务请求,生成待完成任务,并将待完成任务分配给执行服务器集群中的至少一个执行服务器,包括:将任务请求所请求的任务分成至少两个子任务;对于每一个子任务,生成与该子任务对应的待完成任务,并将该待完成任务分配给执行服务器集群中的一个执行服务器。
在一些实施例中,基于第一任务处理速度,确定是否存在执行服务器过载,包括:确定与各待完成任务对应的第一任务处理速度的平均值作为第二任务处理速度;确定与各待完成任务对应的第一任务处理速度和第二任务处理速度的第二比值;对于至少一个执行服务器中的每一个执行服务器,确定该执行服务器处理的各待完成任务对应的第二比值的平均值作为该执行服务器的能力值;基于各执行服务器的能力值,确定各执行服务器是否过载
在一些实施例中,基于各执行服务器的能力值,确定各执行服务器是否过载,包括:比较各执行服务器的能力值的大小,确定能力值最大的执行服务器以及能力值最小的执行服务器;将与能力值最小的执行服务器对应的第一任务处理速度最小的待完成任务作为待调度任务;将待调度任务添加至能力值最大的执行服务器中,确定添加待调度任务后的执行服务器的能力值是否小于预设能力阈值;响应于确定添加待调度任务后的执行服务器的能力值大于预设能力阈值,确定能力值最小的执行服务器过载。
第二方面,本申请实施例提供了一种用于任务分配服务器的任务处理装置,任务分配服务器分别与执行服务器集群中的各执行服务器通信连接,装置包括:第一分配单元,配置用于基于接收到的任务请求,生成待完成任务,并将待完成任务分配给执行服务器集群中的至少一个执行服务器;获取单元,配置用于获取至少一个执行服务器对待完成任务的执行信息,其中,执行信息包括执行待完成任务所消耗的时间以及所产生的数据量;确定单元,配置用于根据执行信息,确定是否存在执行服务器过载;第二分配单元,配置用于响应于存在执行服务器过载,向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并将该待完成任务分配给没有过载的执行服务器执行。
在一些实施例中,确定单元,包括:第一确定子单元,配置用于确定第一任务处理速度,其中,第一任务处理速度为执行待完成任务产生的数据量与所消耗的时间的第一比值;第二确定子单元,配置用于基于第一任务处理速度,确定是否存在执行服务器过载。
在一些实施例中,第二确定子单元进一步配置用于:比较第一任务处理速度与预设速度阈值的大小;响应于第一任务处理速度小于预设速度阈值,确定第一任务处理速度对应的执行服务器过载。
在一些实施例中,第一分配单元进一步配置用于:将任务请求所请求的任务分成至少两个子任务;对于每一个子任务,生成与该子任务对应的待完成任务,并将该待完成任务分配给执行服务器集群中的一个执行服务器。
在一些实施例中,第二确定子单元,包括:第一确定模块,配置用于确定与各待完成任务对应的第一任务处理速度的平均值作为第二任务处理速度;第二确定模块,配置用于确定与各待完成任务对应的第一任务处理速度和第二任务处理速度的第二比值;第三确定模块,配置用于对于至少一个执行服务器中的每一个执行服务器,确定该执行服务器处理的各待完成任务对应的第二比值的平均值作为该执行服务器的能力值;第四确定模块,配置用于基于各执行服务器的能力值,确定各执行服务器是否过载。
在一些实施例中,第四确定模块进一步配置用于:比较各执行服务器的能力值的大小,确定能力值最大的执行服务器以及能力值最小的执行服务器;将与能力值最小的执行服务器对应的第一任务处理速度最小的待完成任务作为待调度任务;将待调度任务添加至能力值最大的执行服务器中,确定添加待调度任务后的执行服务器的能力值是否小于预设能力阈值;响应于确定添加待调度任务后的执行服务器的能力值大于预设能力阈值,确定能力值最小的执行服务器过载。
第三方面,本申请提供了一种服务器,该服务器包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当上述一个或多个程序被上述一个或多个处理器执行,使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,上述程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于任务分配服务器的任务处理方法和装置,通过基于接收到的任务请求,生成待完成任务分配给执行服务器执行,并接收执行服务器反馈的任务处理信息,接着,基于执行服务器反馈的任务执行信息,确定是否有执行服务器过载负荷,并将过载负荷的执行服务器所执行的待完成任务分配给没有过载的服务器执行,从而提高了待完成任务的执行速度,以及各执行服务器的工作效率,有利于实现服务器集群中的各服务器之间的负载均衡。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的用于任务分配服务器的任务处理方法的一个实施例的流程图;
图3是根据本申请的用于任务分配服务器的任务处理方法的一个应用场景的示意图;
图4是根据本申请的用于任务分配服务器的任务处理方法的又一个实施例的流程图;
图5是根据本申请的用于任务分配服务器的任务处理装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于任务分配服务器的任务处理方法或用于任务分配服务器的任务处理装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括任务分配服务器101、网络102和执行服务器103、104、105。网络102用以在任务分配服务器101和执行服务器103、104、105之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
任务分配服务器101可以是提供各种服务的服务器。例如,对接收到的任务请求进行各种分析处理,并将任务请求分配给执行服务器103、104、105执行,同时对执行服务器103、104、105执行任务的速度进行监控的服务器。
执行服务器103、104、105可以是对接收到的任务分配服务器101分配的任务进行具体的执行的服务器。
需要说明的是,本申请实施例所提供的用于任务分配服务器的任务处理方法一般由任务分配服务器101执行,相应的,用于任务分配服务器的任务处理装置一般设置于任务分配服务器101中。
应该理解,图1中的任务分配服务器、网络和执行服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的任务分配服务器、网络和执行服务器。
继续参考图2,示出了根据本申请的用于任务分配服务器的任务处理方法的一个实施例的流程200。该用于任务分配服务器的任务处理方法,包括以下步骤:
步骤201,基于接收到的任务请求,生成待完成任务,并将待完成任务分配给执行服务器集群中的至少一个执行服务器。
在本实施例中,用于任务分配服务器的任务处理方法运行于其上的电子设备(例如图1所示的任务分配服务器101)可以通过有线连接方式或者无线连接方式从用户利用终端设备发送的任务请求。该任务请求例如可以为访问某一网页的请求、可以为获取数据的请求等。在这里,上述任务请求可以为1个请求,也可以为多个请求。上述电子设备接收到任务请求后,基于任务请求,生成待完成任务。例如,当上述电子设备接收到1个请求时,可以基于该1个请求生成1个待完成任务,当上述电子设备接收到3个请求时,可以基于该3个请求生成3个待完成任务。接着,服务器从执行服务器集群中选择至少一个执行服务器,并将生成的待完成任务分配给至少一个执行服务器执行。在这里,上述电子设备所选择的执行服务器的数量可以根据所生成的待完成任务的数目以及执行服务器集群中各执行服务器当前的执行能力而定,该执行能力例如可以为当前需要执行的任务总数以及负荷量。例如,当待完成任务的数目为5个时,可以选择3个执行服务器执行待完成任务,其中一个执行服务器执行3个待完成任务,另外两个执行服务器分别执行一个待完成任务。在这里,任务为执行服务器为了完成终端设备的请求所需的操作、指令。
步骤202,获取至少一个执行服务器对待完成任务的执行信息。
在本实施例中,根据步骤201将待完成任务分配给至少一个执行服务器执行后,上述电子设备还可以获取执行待完成任务的各执行服务器的执行信息。在这里,执行信息包括执行待完成任务所消耗的时间以及所产生的数据量。例如,“执行服务器A”执行待完成任务已经用时210秒,已经产生的数据量为6400比特。上述电子设备可以获取到该执行信息。
在这里需要注意的是,上述电子设备可以实时获取每一个执行服务器的执行信息,也可以根据预设时间段获取每一个执行服务器的执行信息。同时,上述电子设备所获取到的各执行服务器的执行信息均为当前的执行信息。
步骤203,根据执行信息,确定是否存在执行服务器过载。
在本实施例中,根据步骤201中获取到的各执行服务器的执行信息,上述电子设备可以根据预设条件确定是否存在执行服务器过载。例如,可以将上述各执行服务器产生的数据量与当前时间的预设数据量进行比对,当其中有执行服务器产生的数据量大于预设数据量时,确定该大于预设数据量的执行服务器过载。
在本实施例的一些可选的实现方式中,上述电子设备根据获取到的执行信息,确定各执行服务器的第一任务处理速度,该第一任务处理速度为执行待完成任务产生的数据量与所消耗的时间的第一比值。在这里,由于一些执行服务器所处理的待完成任务不止一个,因此与该执行服务器对应的第一任务处理速度包括多个。然后,上述电子设备基于各执行服务器的第一任务处理速度,确定是否存在执行服务器过载。在这里,可以比较各执行服务器的第一任务处理速度与预设速度阈值的大小。响应于第一任务处理速度小于预设速度阈值时,可以确定该第一任务处理速度对应的服务器过载。在这里,每一个执行服务器均设置有一个预设速度阈值,不同的执行服务器根据其自身的处理能力以及负荷程度,所设置的预设速度阈值也不相同。
在本实施例的一些可选的实现方式中,当上述执行服务器所执行的待处理任务包括多个时,确定该执行服务器的与各待处理任务对应的第一任务处理速度的平均值,并将该平均值与预设速度阈值进行比较。当该平均值小于预设速度阈值时,可以确定该执行服务器过载。
步骤204,响应于存在执行服务器过载,向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并将该待完成任务分配给没有过载的服务器执行。
在本实施例中,根据步骤203确定的是否存在执行服务器过载,上述电子设备响应于存在执行服务器过载,当过载的执行服务器还在执行待完成任务时,可以向过载的执行服务器发送停止执行正在处理的待完成任务的指令。接着,上述电子设备将待完成任务分配给没有过载的服务器执行。
继续参考图3,图3是根据本实施例的用于任务分配服务器的任务处理方法的应用场景的一个示意图。在图3的应用场景中,任务分配服务器301接收终端设备302发送的任务请求。接着,任务分配服务器301基于接收到的任务请求生成“待完成任务A”并分配给执行服务器集群中的“执行服务器A”执行该待完成任务。然后,任务分配服务器301获取“执行服务器A”执行“待完成任务A”所消耗的时间303以及所产生的数据量304。同时,根据“执行服务器A”所消耗的时间303以及所产生的数据量304,确定“执行服务器A”是否过载。例如,根据“执行服务器A”所产生的数据量与所消耗的时间的比值,确定“执行服务器A”过载。响应于“执行服务器A”过载,任务分配服务器301向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并在执行服务器集群中选择没有过载的“执行服务器B”继续执行“待完成任务A”。
本申请实施例提供的用于任务分配服务器的任务处理方法和装置,通过基于接收到的任务请求,生成待完成任务分配给执行服务器执行,并接收执行服务器反馈的任务处理信息,接着,基于执行服务器反馈的任务执行信息,确定是否有执行服务器过载负荷,并将过载负荷的执行服务器所执行的待完成任务分配给没有过载的服务器执行,从而提高了待完成任务的执行速度,以及各执行服务器的工作效率,有利于实现服务器集群中的各服务器之间的负载均衡。
进一步参考图4,其示出了用于任务分配服务器的任务处理方法的又一个实施例的流程400。该用于任务分配服务器的任务处理方法的流程400,包括以下步骤:
步骤401,基于接收到的任务请求,将该任务请求所请求的任务分成至少两个子任务。
在本实施例中,用于任务分配服务器的任务处理方法运行于其上的电子设备(例如图1所示的任务分配服务器101)可以通过有线连接方式或者无线连接方式从用户利用终端设备发送的任务请求。在这里,为了使得上述任务请求的执行速度更快、更有效,上述电子设备可以将接收到的任务请求所请求的任务分成至少两个子任务。
步骤402,对于每一个子任务,生成与该子任务对应的待完成任务,并将该待完成任务分配给执行服务器集群中的一个执行服务器。
在本实施例中,基于步骤401中的子任务,上述电子设备可以将每一个子任务生成与该子任务对应的待完成任务,即一个子任务生成一个待完成任务,并将待完成任务分配给执行服务器集群中的一个服务器。在这里,可以将所有的待完成任务分配给同一个执行服务器执行,也可以分配给不同的执行服务器执行。作为示例,任务请求A所请求的任务可以分成A1、A2、A3三个子任务,同时,将这三个子任务生成的待完成任务分别分配给执行服务器1、执行服务器2以及执行服务器3执行。该三个执行服务器所执行的待完成任务均来自于同一个任务请求,也即是说,上述任务请求所请求的任务分配给三个执行服务器执行,以提高任务处理效率。
步骤403,获取至少一个执行服务器对待完成任务的执行信息。
在本实施例中,根据步骤402将待完成任务分配给至少一个执行服务器执行后,上述电子设备还可以获取执行待完成任务的各执行服务器的执行信息。在这里,执行信息包括执行待完成任务所消耗的时间以及所产生的数据量。
步骤404,确定第一任务处理速度。
在本实施例中,根据步骤403获取到的各执行服务器的执行信息,上述电子设备可以确定第一任务处理速度,在这里,该第一任务处理速度为执行待完成任务产生的数据量与所消耗的时间的第一比值。每一个待完成任务均有一个第一任务处理速度。
步骤405,确定与各待完成任务对应的第一任务处理速度的平均值作为第二任务处理速度。
在本实施例中,由于上述任务请求被划分为多个子任务,而每一个子任务对应的待处理任务均有一个第一任务处理速度,根据步骤404确定的各待完成任务对应的第一任务处理速度,上述电子设备可以确定任务请求对应的第一任务处理速度的平均值,该平均值作为第二任务处理速度。在这里,当上述任务请求为多个时,需要确定每一个任务请求对应的第二任务处理速度。
作为示例,上述电子设备接收到2各任务请求,分别为“A”、“B”。其中,“A”划分为两个子任务,并对应两个待完成任务“A1”、“A2”,A1的第一任务处理速度为Va1,A2的第一任务处理速度为Va2;“B”划分为三个子任务,并对应三个待完成任务“B1”、“B2”、“B3”,B1的第一任务处理速度为Vb1,B2的第一任务处理速度为Vb2,B3的第一任务处理速度为Vb3。因此,上述任务请求“A”所对应的第二任务处理速度为1/2(Va1+Va2);上述任务请求“B”所对应的第二任务处理速度为1/3(Vb1+Vb2+Vb3)。
步骤406,确定与各待完成任务对应的第一任务处理速度和第二任务处理速度的第二比值。
在本实施例中,根据步骤404确定的上述各待完成任务对应的第一任务处理速度以及步骤405确定的各任务请求对应的第二任务处理速度,上述电子设备可以进一步确定各第一任务处理速度与第二任务处理速度的第二比值。
在这里值得注意的是,本实施例在确定上述第二比值时,均对于同一个任务请求所对应的第一任务处理速度以及第二任务处理速度而言。例如,对于上述示例中的任务请求“A”,其第一任务处理速度与第二任务处理速度的比值分别为2Va1/(Va1+Va2)以及2Va2/(Va1+Va2)。
步骤407,对于至少一个执行服务器中的每一个执行服务器,确定该执行服务器处理的各待完成任务对应的第二比值的平均值作为该执行服务器的能力值。
在本实施例中,根据步骤406确定的第二比值,在本实施例中,可以进一步确定每一个执行服务器处理的各待完成任务对应的第二比值的平均值,同时将该平均值作为该执行服务器的能力值。
继续参考如上示例,将上述任务请求“A”对应的待处理任务“A1”、“A2”分别分配给执行服务器1和执行服务器2执行,上述任务请求“B”对应的待处理任务“B1”、“B2”、“B3”分别分配给执行服务器1、执行服务器2以及执行服务器3执行。这样一来,执行服务器1则执行待处理任务“A1”和“B1”,执行服务器2则执行待处理任务“A2”和“B2”,执行服务器3执行待处理任务“B3”。这样一来,对于执行服务器1,其所执行的各待完成任务对应的第二比值的平均值为[2Va1/(Va1+Va2)+2Vb1/(Vb1+Vb2+Vb3)]/2,将该值作为执行服务器1的能力度值。对于执行服务器2,其所执行的各待完成任务对应的第二比值的平均值为[2Va2/(Va1+Va2)+2Vb2/(Vb1+Vb2+Vb3)]/2,将该值作为执行服务器2的能力度值。对于执行服务器3,由于该执行服务器仅执行待完成任务“B3”,因此,其所执行的各待完成任务对应的第二比值的平均值为2Vb3/(Vb1+Vb2+Vb3),将该值作为执行服务器3的能力度值。
步骤408,基于各执行服务器的能力值,确定各执行服务器是否过载。
在本实施例中,根据步骤407确定的各执行服务器的能力值,当某一执行服务器的能力值小于预设能力阈值时,可以确定该执行服务器过载。
在本实施例的一些可选的实现方式中,首先可以比较各执行服务器的能力值的大小,从而确定能力值最大的执行服务器以及能力值最小的执行服务器。接着,将与能力值最小的执行服务器对应的第一任务处理速度最小的待完成任务作为待调度任务。例如,当“执行服务器1”的能力值最小时,“执行服务器1”所执行的待完成任务“A1”的第一任务处理速度为0.988比特/秒,所执行的待完成任务“B1”的第一任务处理速度为1.422比特/秒,因此,将待完成任务“A1”作为待调度任务。然后,将待调度任务添加至能力值最大的执行服务器中,在这里,将待调度任务添加至能力值最大的执行服务器后,该能力值最大的执行服务器当前的能力值会改变,其能力值的具体计算方法参考步骤407。而后,确定添加待调度任务后的执行服务器的能力值是否小于预设能力阈值。在这里,预设能力阈值可以为所有的执行服务器能力值从大到小依次排列后,从最小的能力值数预设数目个能力值后的能力值;预设能力阈值也可以为所有的执行服务器能力值从大到小依次排列后,最小的能力值。响应于确定添加待调度任务后的服务器的能力值大于预设能力阈值,此时可以确定能力值最小的服务器过载。
步骤409,响应于存在执行服务器过载,向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并将该待完成任务分配给没有过载的执行服务器执行。
在本实施例中,根据步骤203确定的是否存在执行服务器过载,上述电子设备响应于存在执行服务器过载,当过载的执行服务器正在执行多个待完成任务时,可以向过载的执行服务器发送停止执行第一任务速度小于预设阈值的待完成任务的指令。接着,上述电子设备将待完成任务分配给没有过载的服务器执行。
从图4中可以看出,与图2对应的示例相比,本实施例中的用于任务分配服务器的任务处理方法的流程400突出了对接收到的任务请求划分成多个子任务并将子任务分配给执行服务器集群中的执行服务器执行,同时,根据各执行服务器的第一任务处理速度、第二任务处理速度确定各执行服务器的能力值,并根据各服务器的能力值确定是否存在执行服务器过载,从而更加准确的判断出执行服务器对任务的执行能力,实现了执行服务器集群中的各执行服务器之间的负载均衡,从而进一步提高待处理任务的处理速度。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于任务分配服务器的任务处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例所示的用于任务分配服务器的任务处理装置500包括:第一分配单元501、获取单元502、确定单元503和第二分配单元504。其中,第一分配单元501配置用于基于接收到的任务请求,生成待完成任务,并将所述待完成任务分配给所述执行服务器集群中的至少一个执行服务器;获取单元502配置用于获取所述至少一个执行服务器对所述待完成任务的执行信息,其中,所述执行信息包括执行所述待完成任务所消耗的时间以及所产生的数据量;确定单元503配置用于根据所述执行信息,确定是否存在执行服务器过载;而第二分配单元504配置用于响应于存在执行服务器过载,向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并将该待完成任务分配给没有过载的执行服务器执行。
在本实施例中,用于任务分配服务器的任务处理装置500中:第一分配单元501、获取单元502、确定单元503和第二分配单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202、步骤203和步骤204的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,确定单元503包括:第一确定子单元(未示出),配置用于确定第一任务处理速度,其中,第一任务处理速度为执行待完成任务产生的数据量与所消耗的时间的第一比值;第二确定子单元(未示出),配置用于基于第一任务处理速度,确定是否存在执行服务器过载。
在本实施例的一些可选的实现方式中,第二确定子单元(未示出)进一步配置用于:比较第一任务处理速度与预设速度阈值的大小;响应于第一任务处理速度小于预设速度阈值,确定第一任务处理速度对应的执行服务器过载。
在本实施例的一些可选的实现方式中,第一分配单元501进一步配置用于:将任务请求所请求的任务分成至少两个子任务;对于每一个子任务,生成与该子任务对应的待完成任务,并将该待完成任务分配给执行服务器集群中的一个执行服务器。
在本实施例的一些可选的实现方式中,第二确定子单元(未示出)包括:第一确定模块(未示出),配置用于确定与各待完成任务对应的第一任务处理速度的平均值作为第二任务处理速度;第二确定模块(未示出),配置用于确定与各待完成任务对应的第一任务处理速度和第二任务处理速度的第二比值;第三确定模块(未示出),配置用于对于至少一个执行服务器中的每一个执行服务器,确定该执行服务器处理的各待完成任务对应的第二比值的平均值作为该执行服务器的能力值;第四确定模块(未示出),配置用于基于各执行服务器的能力值,确定各执行服务器是否过载。
在一些实施例中,第四确定模块(未示出)进一步配置用于:比较各执行服务器的能力值的大小,确定能力值最大的执行服务器以及能力值最小的执行服务器;将与能力值最小的执行服务器对应的第一任务处理速度最小的待完成任务作为待调度任务;将待调度任务添加至能力值最大的执行服务器中,确定添加待调度任务后的执行服务器的能力值是否小于预设能力阈值;响应于确定添加待调度任务后的执行服务器的能力值大于预设能力阈值,确定能力值最小的执行服务器过载。
下面参考图6,其示出了适于用来实现本申请实施例的任务分配服务器的计算机系统600的结构示意图。图6示出的数据处理服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括第一分配单元、获取单元、确定单元和第二分配单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一分配单元还可以被描述为“基于接收到的任务请求,生成待完成任务,并将待完成任务分配给执行服务器集群中的至少一个执行服务器的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的服务器中所包含的;也可以是单独存在,而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该服务器执行时,使得该服务器包括:基于接收到的任务请求,生成待完成任务,并将待完成任务分配给执行服务器集群中的至少一个执行服务器;获取至少一个执行服务器对待完成任务的执行信息,其中,执行信息包括执行待完成任务所消耗的时间以及所产生的数据量;根据执行信息,确定是否存在执行服务器过载;响应于存在执行服务器过载,向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并将该待完成任务分配给没有过载的执行服务器执行。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于任务分配服务器的任务处理方法,所述任务分配服务器分别与执行服务器集群中的各执行服务器通信连接,所述方法包括:
基于接收到的任务请求,生成待完成任务,并将所述待完成任务分配给所述执行服务器集群中的至少一个执行服务器;
获取所述至少一个执行服务器对所述待完成任务的执行信息,其中,所述执行信息包括执行所述待完成任务所消耗的时间以及所产生的数据量;
根据所述执行信息,确定是否存在执行服务器过载;
响应于存在执行服务器过载,向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并将该待完成任务分配给没有过载的执行服务器执行。
2.根据权利要求1所述的方法,其中,所述根据所述执行信息,确定是否存在执行服务器过载,包括:
确定第一任务处理速度,其中,所述第一任务处理速度为执行所述待完成任务产生的数据量与所消耗的时间的第一比值;
基于所述第一任务处理速度,确定是否存在执行服务器过载。
3.根据权利要求2所述的方法,其中,所述基于所述第一任务处理速度,确定是否存在执行服务器过载,包括:
比较所述第一任务处理速度与预设速度阈值的大小;
响应于所述第一任务处理速度小于所述预设速度阈值,确定所述第一任务处理速度对应的执行服务器过载。
4.根据权利要求2所述的方法,其中,所述基于接收到的任务请求,生成待完成任务,并将所述待完成任务分配给所述执行服务器集群中的至少一个执行服务器,包括:
将所述任务请求所请求的任务分成至少两个子任务;
对于每一个子任务,生成与该子任务对应的待完成任务,并将该待完成任务分配给所述执行服务器集群中的一个执行服务器。
5.根据权利要求4所述的方法,其中,所述基于所述第一任务处理速度,确定是否存在执行服务器过载,包括:
确定与各待完成任务对应的第一任务处理速度的平均值作为第二任务处理速度;
确定与各待完成任务对应的第一任务处理速度和所述第二任务处理速度的第二比值;
对于所述至少一个执行服务器中的每一个执行服务器,确定该执行服务器处理的各待完成任务对应的第二比值的平均值作为该执行服务器的能力值;
基于各执行服务器的能力值,确定各执行服务器是否过载。
6.根据权利要求5所述的方法,其中,所述基于各执行服务器的能力值,确定各执行服务器是否过载,包括:
比较各执行服务器的能力值的大小,确定能力值最大的执行服务器以及能力值最小的执行服务器;
将与所述能力值最小的执行服务器对应的第一任务处理速度最小的待完成任务作为待调度任务;
将所述待调度任务添加至所述能力值最大的执行服务器中,确定添加所述待调度任务后的执行服务器的能力值是否小于预设能力阈值;
响应于确定添加所述待调度任务后的执行服务器的能力值大于所述预设能力阈值,确定所述能力值最小的执行服务器过载。
7.一种用于任务分配服务器的任务处理装置,所述任务分配服务器分别与执行服务器集群中的各执行服务器通信连接,所述装置包括:
第一分配单元,配置用于基于接收到的任务请求,生成待完成任务,并将所述待完成任务分配给所述执行服务器集群中的至少一个执行服务器;
获取单元,配置用于获取所述至少一个执行服务器对所述待完成任务的执行信息,其中,所述执行信息包括执行所述待完成任务所消耗的时间以及所产生的数据量;
确定单元,配置用于根据所述执行信息,确定是否存在执行服务器过载;
第二分配单元,配置用于响应于存在执行服务器过载,向过载的执行服务器发送停止执行正在处理的待完成任务的指令,并将该待完成任务分配给没有过载的执行服务器执行。
8.根据权利要求7所述的装置,其中,所述确定单元,包括:
第一确定子单元,配置用于确定第一任务处理速度,其中,所述第一任务处理速度为执行所述待完成任务产生的数据量与所消耗的时间的第一比值;
第二确定子单元,配置用于基于所述第一任务处理速度,确定是否存在执行服务器过载。
9.根据权利要求8所述的装置,其中,所述第二确定子单元进一步配置用于:
比较所述第一任务处理速度与预设速度阈值的大小;
响应于所述第一任务处理速度小于所述预设速度阈值,确定所述第一任务处理速度对应的执行服务器过载。
10.根据权利要求8所述的装置,其中,所述第一分配单元进一步配置用于:
将所述任务请求所请求的任务分成至少两个子任务;
对于每一个子任务,生成与该子任务对应的待完成任务,并将该待完成任务分配给所述执行服务器集群中的一个执行服务器。
11.根据权利要求10所述的装置,其中,所述第二确定子单元,包括:
第一确定模块,配置用于确定与各待完成任务对应的第一任务处理速度的平均值作为第二任务处理速度;
第二确定模块,配置用于确定与各待完成任务对应的第一任务处理速度和所述第二任务处理速度的第二比值;
第三确定模块,配置用于对于所述至少一个执行服务器中的每一个执行服务器,确定该执行服务器处理的各待完成任务对应的第二比值的平均值作为该执行服务器的能力值;
第四确定模块,配置用于基于各执行服务器的能力值,确定各执行服务器是否过载。
12.根据权利要求11所述的装置,其中,所述第四确定模块进一步配置用于:
比较各执行服务器的能力值的大小,确定能力值最大的执行服务器以及能力值最小的执行服务器;
将与所述能力值最小的执行服务器对应的第一任务处理速度最小的待完成任务作为待调度任务;
将所述待调度任务添加至所述能力值最大的执行服务器中,确定添加所述待调度任务后的执行服务器的能力值是否小于预设能力阈值;
响应于确定添加所述待调度任务后的执行服务器的能力值大于所述预设能力阈值,确定所述能力值最小的执行服务器过载。
13.一种服务器,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201711224766.8A 2017-11-29 2017-11-29 用于任务分配服务器的任务处理方法和装置 Active CN109842665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711224766.8A CN109842665B (zh) 2017-11-29 2017-11-29 用于任务分配服务器的任务处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711224766.8A CN109842665B (zh) 2017-11-29 2017-11-29 用于任务分配服务器的任务处理方法和装置

Publications (2)

Publication Number Publication Date
CN109842665A true CN109842665A (zh) 2019-06-04
CN109842665B CN109842665B (zh) 2022-02-22

Family

ID=66882064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711224766.8A Active CN109842665B (zh) 2017-11-29 2017-11-29 用于任务分配服务器的任务处理方法和装置

Country Status (1)

Country Link
CN (1) CN109842665B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395058A (zh) * 2020-11-13 2021-02-23 北京数码视讯技术有限公司 任务调控装置、方法和系统
WO2022188509A1 (zh) * 2021-03-12 2022-09-15 天翼云科技有限公司 分布式环境下的任务处理方法、装置、电子设备和介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202746A (zh) * 2006-12-15 2008-06-18 华为技术有限公司 节点标识符生成方法及负载均衡方法及装置
WO2011029253A1 (zh) * 2009-09-08 2011-03-17 中兴通讯股份有限公司 一种Web负载均衡方法、网格服务器及系统
CN102014169A (zh) * 2010-12-22 2011-04-13 北京中电普华信息技术有限公司 分布式服务系统、分布式服务系统的任务执行方法和装置
CN102426544A (zh) * 2011-11-04 2012-04-25 浪潮(北京)电子信息产业有限公司 任务分配方法和系统
CN103034554A (zh) * 2012-12-30 2013-04-10 焦点科技股份有限公司 一种纠错重启以及自动判断启动的etl调度系统及方法
US20140297728A1 (en) * 2011-12-19 2014-10-02 Fujitsu Limited Load distribution system
US20140304413A1 (en) * 2013-04-06 2014-10-09 Citrix Systems, Inc. Systems and methods for startup round robin enhancement
CN104580538A (zh) * 2015-02-12 2015-04-29 山东大学 一种提高Nginx服务器负载均衡效率的方法
US20150296002A1 (en) * 2014-04-11 2015-10-15 Maxeler Technologies Ltd. System and method for load balancing computer resources
CN105007337A (zh) * 2015-08-20 2015-10-28 浪潮(北京)电子信息产业有限公司 集群系统负载均衡的方法和系统
CN105072182A (zh) * 2015-08-10 2015-11-18 北京佳讯飞鸿电气股份有限公司 一种负载均衡方法、负载均衡器和用户终端
CN105208133A (zh) * 2015-10-20 2015-12-30 上海斐讯数据通信技术有限公司 一种服务器、负载均衡器以及服务器负载均衡方法和系统
CN105471985A (zh) * 2015-11-23 2016-04-06 北京农业信息技术研究中心 负载均衡方法及云平台计算方法、云平台
CN106375395A (zh) * 2016-08-30 2017-02-01 厦门中学西渐信息科技有限公司 节点服务器的负载均衡方法和系统
CN106936925A (zh) * 2017-04-17 2017-07-07 广州孩教圈信息科技股份有限公司 负载均衡方法和系统
CN107071074A (zh) * 2017-06-30 2017-08-18 郑州云海信息技术有限公司 一种负载均衡方法及web服务器集群系统
CN107343045A (zh) * 2017-07-04 2017-11-10 北京百度网讯科技有限公司 云计算系统及用于控制服务器的云计算方法和装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202746A (zh) * 2006-12-15 2008-06-18 华为技术有限公司 节点标识符生成方法及负载均衡方法及装置
WO2011029253A1 (zh) * 2009-09-08 2011-03-17 中兴通讯股份有限公司 一种Web负载均衡方法、网格服务器及系统
CN102014169A (zh) * 2010-12-22 2011-04-13 北京中电普华信息技术有限公司 分布式服务系统、分布式服务系统的任务执行方法和装置
CN102426544A (zh) * 2011-11-04 2012-04-25 浪潮(北京)电子信息产业有限公司 任务分配方法和系统
US20140297728A1 (en) * 2011-12-19 2014-10-02 Fujitsu Limited Load distribution system
CN103034554A (zh) * 2012-12-30 2013-04-10 焦点科技股份有限公司 一种纠错重启以及自动判断启动的etl调度系统及方法
US20140304413A1 (en) * 2013-04-06 2014-10-09 Citrix Systems, Inc. Systems and methods for startup round robin enhancement
US20150296002A1 (en) * 2014-04-11 2015-10-15 Maxeler Technologies Ltd. System and method for load balancing computer resources
CN104580538A (zh) * 2015-02-12 2015-04-29 山东大学 一种提高Nginx服务器负载均衡效率的方法
CN105072182A (zh) * 2015-08-10 2015-11-18 北京佳讯飞鸿电气股份有限公司 一种负载均衡方法、负载均衡器和用户终端
CN105007337A (zh) * 2015-08-20 2015-10-28 浪潮(北京)电子信息产业有限公司 集群系统负载均衡的方法和系统
CN105208133A (zh) * 2015-10-20 2015-12-30 上海斐讯数据通信技术有限公司 一种服务器、负载均衡器以及服务器负载均衡方法和系统
CN105471985A (zh) * 2015-11-23 2016-04-06 北京农业信息技术研究中心 负载均衡方法及云平台计算方法、云平台
CN106375395A (zh) * 2016-08-30 2017-02-01 厦门中学西渐信息科技有限公司 节点服务器的负载均衡方法和系统
CN106936925A (zh) * 2017-04-17 2017-07-07 广州孩教圈信息科技股份有限公司 负载均衡方法和系统
CN107071074A (zh) * 2017-06-30 2017-08-18 郑州云海信息技术有限公司 一种负载均衡方法及web服务器集群系统
CN107343045A (zh) * 2017-07-04 2017-11-10 北京百度网讯科技有限公司 云计算系统及用于控制服务器的云计算方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TOMOYA ENOKIDO: "An Energy-Efficient Load Balancing Algorithm for Virtual Machine Environments to Perform Communication Type Application Processes", 《 2016 IEEE 30TH INTERNATIONAL CONFERENCE ON ADVANCED INFORMATION NETWORKING AND APPLICATIONS (AINA)》 *
张鹏: "云平台网络负载均衡调度仿真研究", 《计算机仿真》 *
樊腾飞等: "电网视频监控系统负载均衡改进方法及应用", 《自动化与仪器仪表》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395058A (zh) * 2020-11-13 2021-02-23 北京数码视讯技术有限公司 任务调控装置、方法和系统
WO2022188509A1 (zh) * 2021-03-12 2022-09-15 天翼云科技有限公司 分布式环境下的任务处理方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN109842665B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN108182111B (zh) 任务调度系统、方法和装置
CN107343045A (zh) 云计算系统及用于控制服务器的云计算方法和装置
CN109033001A (zh) 用于分配gpu的方法和装置
US20090282413A1 (en) Scalable Scheduling of Tasks in Heterogeneous Systems
CN108874528A (zh) 分布式任务存储系统和分布式任务存储/读取方法
CN109218341B (zh) 用于监控服务器和用于服务器的负载均衡方法和装置
CN109257320A (zh) 消息存储方法和装置
CN110321738A (zh) 信息处理方法和装置
CN107247629A (zh) 云计算系统及用于控制服务器的云计算方法和装置
CN110007936A (zh) 数据处理方法和装置
CN108933822A (zh) 用于处理信息的方法和装置
CN109240802A (zh) 请求处理方法和装置
CN110166507A (zh) 多资源调度方法和装置
CN110046178A (zh) 分布式数据查询的方法和装置
CN107329834A (zh) 用于执行计算任务的方法和装置
CN110650209A (zh) 实现负载均衡的方法和装置
CN109842665A (zh) 用于任务分配服务器的任务处理方法和装置
CN114296953A (zh) 一种多云异构系统及任务处理方法
CN110113176B (zh) 用于配置服务器的信息同步方法及装置
CN113778499B (zh) 发布服务的方法、装置、设备和计算机可读介质
CN108959636A (zh) 数据处理方法、装置、系统、计算机可读介质
CN110716809B (zh) 用于调度云资源的方法和装置
CN111831503B (zh) 一种基于监控代理的监控方法和监控代理装置
CN109471713A (zh) 用于查询信息的方法和装置
CN108696554A (zh) 负载均衡方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant