CN117130776A - 一种任务处理方法及系统 - Google Patents
一种任务处理方法及系统 Download PDFInfo
- Publication number
- CN117130776A CN117130776A CN202311001909.4A CN202311001909A CN117130776A CN 117130776 A CN117130776 A CN 117130776A CN 202311001909 A CN202311001909 A CN 202311001909A CN 117130776 A CN117130776 A CN 117130776A
- Authority
- CN
- China
- Prior art keywords
- task
- server
- processed
- task processing
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 188
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
- Multi Processors (AREA)
Abstract
公开了一种任务处理方法及系统。一种任务处理方法,该方法包括:任务分配服务器获取待处理的任务;确定服务器机房数量;按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务,告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中;任务获取服务器从任务处理队列中获取对应数量的待处理的任务,确定自身所在服务器机房中可用任务处理服务器数量,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器;任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
Description
技术领域
本说明书实施例涉及计算机技术领域,尤其涉及一种任务处理方法及系统。
背景技术
当前,在一个大规模部署的计算集群中,由于业务需求,业务系统往往会产生大量的任务,这些任务需要在规定时间内由任务处理服务器来进行处理,进而可以完成业务处理,其中业务系统产生的大量任务一般会暂时放置在任务表中。
目前进行任务处理的方案是:服务器机房内的每台任务处理服务器均按照预设的扫描周期扫描任务表中是否存在待处理的任务,若存在,从任务表中获取当前待处理的任务,然后在本地进行处理。
目前这种任务处理的方案,由于每台任务处理服务器预设的扫描周期可能一致(例如间隔一分钟),当多台任务处理服务器在同一时刻同时扫描到任务表中存在待处理的任务时,会从任务表中获取相同的待处理的任务,然后在本地处理相同的待处理的任务,造成任务重复处理,致使业务处理出现问题。
发明内容
针对上述技术问题,本说明书实施例提供一种任务处理方法及系统,技术方案如下:
一种任务处理方法,应用于任务处理系统,所述系统包括多个服务器机房,每个服务器机房包括任务处理服务器以及任务获取服务器,其中存在一个服务器机房还包括任务分配服务器,该方法包括:
任务分配服务器获取待处理的任务;
确定服务器机房数量;
根据服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务,告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中;
对于任一服务器机房中的任务获取服务器,从任务处理队列中获取对应数量的待处理的任务,确定自身所在服务器机房中可用任务处理服务器数量,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器;
对于任一服务器机房中的任务处理服务器,在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
一种任务处理方法,应用于任务分配服务器,该方法包括:
获取待处理的任务;
确定服务器机房数量;
根据服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务;
告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量;
将获取的待处理的任务放入任务处理队列中,以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务,确定自身所在服务器机房中可用任务处理服务器数量,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
一种任务处理方法,应用于任务获取服务器,该方法包括:
从任务处理队列中获取对应数量的待处理的任务;
确定自身所在服务器机房中可用任务处理服务器数量;
按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器,以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
一种任务处理系统,该系统包括:多个服务器机房,每个服务器机房包括任务处理服务器以及任务获取服务器,其中存在一个服务器机房还包括任务分配服务器;
任务分配服务器获取待处理的任务;
确定服务器机房数量;
根据服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务,告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中;
对于任一服务器机房中的任务获取服务器,从任务处理队列中获取对应数量的待处理的任务,确定自身所在服务器机房中可用任务处理服务器数量,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器;
对于任一服务器机房中的任务处理服务器,在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
一种任务处理装置,应用于任务分配服务器,该装置包括:
任务获取模块,用于获取待处理的任务;
数量确定模块,用于确定服务器机房数量;
任务分配模块,用于根据服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务;
告知模块,用于告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量;
任务放入模块,用于将获取的待处理的任务放入任务处理队列中,以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务,确定自身所在服务器机房中可用任务处理服务器数量,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
一种任务处理装置,应用于任务获取服务器,该装置包括:
任务获取模块,用于从任务处理队列中获取对应数量的待处理的任务;
数量确定模块,用于确定自身所在服务器机房中可用任务处理服务器数量;
任务分配模块,用于按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器,以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
本说明书实施例所提供的技术方案,对于待处理的任务,任务分配服务器按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务,并告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中,任务获取服务器从任务处理队列中获取对应数量的待处理的任务,并按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器,任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。如此一来,每个任务处理服务器明确自身需要处理的待处理的任务,避免任务重复处理,确保业务正常处理。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书实施例。
此外,本说明书实施例中的任一实施例并不需要达到上述的全部效果。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本说明书实施例的应用任务处理方法的系统的结构示意图;
图2是本说明书实施例的任务处理方法的交互流程示意图;
图3是本说明书实施例的应用于任务分配服务器的任务处理装置的结构示意图;
图4是本说明书实施例的应用于任务获取服务器的任务处理装置的结构示意图;
图5是用于配置本说明书实施例装置的一种设备的结构示意图。
具体实施方式
在本说明书中,如图1所示,包括4个服务器机房,服务器机房1、服务器机房2、服务器机房4包括任务处理服务器与任务获取服务器,服务器机房3包括任务分配服务器、任务处理服务器与任务获取服务器。
服务器机房3中的任务分配服务器从任务表中获取待处理的任务,按照预设的第一分配规则为服务器机房1、服务器机房2、服务器机房3、服务器机房4分配对应数量的待处理的任务,告知服务器机房1、服务器机房2、服务器机房3、服务器机房4中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中,后续服务器机房1、服务器机房2、服务器机房3、服务器机房4中的任务获取服务器从任务处理队列中获取对应数量的待处理的任务,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器,对于服务器机房1、服务器机房2、服务器机房3、服务器机房4中的任务处理服务器,在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。对于任务处理服务器,明确自身需要处理的待处理的任务,避免任务重复处理,可以使任务平滑处理,以确保业务正常处理。
为了使本领域技术人员更好地理解本说明书实施例中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行详细地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于保护的范围。
如图2所示,为本说明书实施例提供的一种任务处理方法的交互流程示意图,该方法具体可以包括以下步骤:
S201,任务分配服务器获取待处理的任务;
在本说明书中,业务系统产生的任务一般主要放置在任务表中,当然也可以是放置在数据库中,本说明书对此不作限定。任务分配服务器获取待处理的任务,其中具体可以通过以下方式获取待处理的任务:
任务分配服务器按照预设的扫描周期,扫描任务表中是否存在待处理的任务,若存在,从任务表中获取待处理的任务。例如对于任务表,当前存在500条待处理的任务,任务分配服务器按照预设的周期(30S),扫描任务表中存在待处理的任务500条,则可以从任务表中获取这500条待处理的任务。
优选的,若任务表中存在待处理的任务,可以在预设的获取时间段内,按照预设的获取次数分批次获取待处理的任务。例如,当前任务表中存在500条待处理的任务,则可以在预设的获取时间段内(15S),分10次从任务表中获取这500条待处理的任务,即每次从任务表中获取50条待处理的任务,分10次进行获取。
S202,确定服务器机房数量;
对于任务分配服务器,除需要获取待处理的任务之外,还需要确定服务器机房数量,具体可以通过以下方式确定服务器机房数量:
其中一种确定服务器机房数量的实现方式为:任务分配服务器接收用户输入的指令,所述指令中携带服务器机房的数量信息,解析指令中携带的服务器机房的数量信息,例如确定的服务器机房数量为4。
另一种确定服务器机房数量的实现方式为:获取网络拓扑结构图,根据网络拓扑结构图,确定服务器机房数量。例如,获取的网络拓扑结构图如图1所示,根据这个网络拓扑结构图,可以确定服务器机房数量为4。
值得注意的是,确定服务器机房数量的实现方式存在很多种,本说明书实施例只是对其中两种进行举例说明,并不限定如何确定服务器机房数量。
S203,根据服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务;
根据S201中获取的待处理的任务以及S202中确定的服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务,具体可以按照预设的服务器机房权重分配规则,为每个服务器机房分配对应数量的待处理的任务。
一般地,对于服务器机房中的任务处理服务器,由于硬件条件(如内存、CPU)可能不同,每个服务器机房处理任务的效率也可能不同,为此可以预先为每个服务器机房设置任务分配权重,例如对于图1所示的服务器机房1、服务器机房2、服务器机房3、服务器机房4,服务器机房1的任务分配权重为2,剩下服务器机房2、服务器机房3、服务器机房4的任务分配权重各种都为1,对于获取到的500条待处理的任务,按照预设的服务器机房权重分配比例,为服务器机房1分配200条待处理的任务,为服务器机房2、服务器机房3、服务器机房4各自分配100条待处理的任务。
另外,还可以根据服务器机房数量以及每个服务器机房中任务处理服务器数量,计算所有任务处理服务器数量,根据预设的平均分配规则为每个任务处理服务器分配待处理的任务,根据每个服务器机房中任务处理服务器数量以及为每个任务处理服务器分配的待处理的任务,计算得出每个服务器机房分配的对应数量的待处理的任务。
例如,如图1所示的服务器机房1、服务器机房2、服务器机房3、服务器机房4,服务器机房1、服务器机房2、服务器机房4各自都存在2台任务处理服务器,服务器机房3存在1台任务处理服务器,可以计算得到当前所有任务处理服务器数量为7,根据预设的平均分配规则为每个任务处理服务器分配待处理的任务,分配待处理的任务的数量为5,根据服务器机房1、服务器机房2、服务器机房3、服务器机房4中任务处理服务器数量以及为每个任务处理服务器分配的待处理的任务,则可以计算得到服务器机房1分配10条待处理的任务,服务器机房2分配10条待处理的任务,服务器机房3分配5条待处理的任务,服务器机房4分配10条待处理的任务。
值得注意的是,为每个服务器机房分配对应数量的待处理的任务的实现方式存在很多种,本说明书实施例对其中两种进行举例说明,其它实现方式本说明书实施例在此不再一一赘述。
S204,告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中;
在为每个服务器机房分配对应数量的待处理的任务之后,一方面,告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,另一方面,将获取的待处理的任务放入任务处理队列中。
如图1所示的服务器机房1、服务器机房2、服务器机房3、服务器机房4,对应的任务获取服务器为任务获取服务器A、任务获取服务器B、任务获取服务器C、任务获取服务器D,在为服务器机房1、服务器机房2、服务器机房3、服务器机房4分配对应数量的待处理的任务之后,告知任务获取服务器A,服务器机房1分配200条待处理的任务,告知任务获取服务器B,服务器机房2分配100条待处理的任务,告知任务获取服务器C,服务器机房3分配100条待处理的任务,告知任务获取服务器D,服务器机房4分配100条待处理的任务,另外将这100条待处理的任务放入任务处理队列中。
在本说明书中,告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,以及将获取的待处理的任务放入任务处理队列中,两者的执行顺序本说明书不作限定,可以存在先后顺序,也可以同时执行。
S205,对于任一服务器机房中的任务获取服务器,从任务处理队列中获取对应数量的待处理的任务,确定自身所在服务器机房中可用任务处理服务器数量,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器;
对于任一服务器机房中的任务获取服务器,一方面从任务处理队列中获取对应数量的待处理的任务。由于在S204中,任务分配服务器告知任务获取服务器自身所在服务器机房所分配的待处理的任务的数量,后续任务获取服务器可以从任务处理队列中获取相应数量的待处理的任务。
例如,任务获取服务器A从任务处理队列中获取200条待处理的任务,任务获取服务器B、任务获取服务器C、任务获取服务器D各自从任务处理队列中获取100条待处理的任务。
另一方面,确定自身所在服务器机房中可用任务处理服务器数量,具体可以通过以下方式确定可用任务处理服务器数量:确定自身所在服务器机房中所有任务处理服务器数量,判断每台任务处理服务器当前所处理的任务数量以及负载是否超过各自对应的预设阈值,确定当前所处理的任务数量以及负载未超过各自对应的预设阈值的任务处理服务器为可用任务处理服务器。
例如,当前自身所在服务器机房中存在10台任务处理服务器,每台任务处理服务器当前所处理的任务数量(5)均未超过预设阈值,以及负载(如内存使用率、CPU使用率等)均未超过预设阈值,则可以确定可用任务处理服务器数量为10。
根据自身所在服务器机房待处理的任务的数量,以及可用任务处理服务器数量,按照预设的第二分配规则将自身所在服务器机房待处理的任务分配给可用任务处理服务器。例如可以将自身所在服务器机房待处理的100条任务平均分配给这10台可用任务处理服务器。
S206,对于任一服务器机房中的任务处理服务器,在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
针对S205中待处理的任务的分配结果,对于任一服务器机房中的任务处理服务器,在接收到任务获取服务器所分配的待处理的任务的情况下,在本地对所分配的待处理的任务进行处理,例如对所分配的待处理的任务进行处理可以是发送消息、邮件,发起支付等。
通过上述对本说明书实施例提供的技术方案的描述,对于待处理的任务,任务分配服务器按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务,并告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中,任务获取服务器从任务处理队列中获取对应数量的待处理的任务,并按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器,任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。如此一来,每个任务处理服务器明确自身需要处理的待处理的任务,避免任务重复处理,可以使任务平滑处理,以确保业务正常处理。
为了更清楚地说明本说明书实施例的方案,下面分别再从单侧的角度,对执行的方法进行说明:
对于任务分配服务器,需要执行的任务主要如下:
A,获取待处理的任务;
B,确定服务器机房数量;
C,根据服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务;
D,告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中。
对于任务获取服务器,需要执行的任务主要如下:
a,从任务处理队列中获取对应数量的待处理的任务;
b,确定自身所在服务器机房中可用任务处理服务器数量;
c,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
对于任务处理服务器,需要执行的任务主要如下:
在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
关于任务处理服务器、任务分配服务器、任务获取服务器的单侧执行细节,可以参见前面实施例的描述,这里不再赘述。
相对于上述方法实施例,本说明书实施例还提供一种应用于任务分配服务器的任务处理装置,如图3所示,该装置包括:任务获取模块310、数量确定模块320、任务分配模块330、告知模块340、任务放入模块350。
任务获取模块310,用于获取待处理的任务;
数量确定模块320,用于确定服务器机房数量;
任务分配模块330,用于根据服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务;
告知模块340,用于告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量;
任务放入模块350,用于将获取的待处理的任务放入任务处理队列中,以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务,确定自身所在服务器机房中可用任务处理服务器数量,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
本说明书实施例还提供一种应用于任务获取服务器的任务处理装置,参见图4所示,该装置包括:任务获取模块410、数量确定模块420、任务分配模块430。
任务获取模块410,用于从任务处理队列中获取对应数量的待处理的任务;
数量确定模块420,用于确定自身所在服务器机房中可用任务处理服务器数量;
任务分配模块430,用于按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器,以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
本说明书实施例还提供一种任务处理系统,该系统包括:多个服务器机房,每个服务器机房包括任务处理服务器以及任务获取服务器,其中存在一个服务器机房还包括任务分配服务器;
任务分配服务器获取待处理的任务;
确定服务器机房数量;
根据服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务,告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中;
对于任一服务器机房中的任务获取服务器,从任务处理队列中获取对应数量的待处理的任务,确定自身所在服务器机房中可用任务处理服务器数量,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器;
对于任一服务器机房中的任务处理服务器,在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
通过上述对本说明书实施例提供的技术方案的描述,对于待处理的任务,任务分配服务器按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务,并告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量,将获取的待处理的任务放入任务处理队列中,任务获取服务器从任务处理队列中获取对应数量的待处理的任务,并按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器,任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。如此一来,每个任务处理服务器明确自身需要处理的待处理的任务,避免任务重复处理,可以使任务平滑处理,以确保业务正常处理。
本说明书实施例还提供一种计算机设备,如图5所示,该设备可以包括:处理器510、存储器520、输入/输出接口530、通信接口540和总线550。其中处理器510、存储器520、输入/输出接口530和通信接口540通过总线550实现彼此之间在设备内部的通信连接。
处理器510可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器520可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器520可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器520中,并由处理器510来调用执行。
输入/输出接口530用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口540用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线550包括一通路,在设备的各个组件(例如处理器510、存储器520、输入/输出接口530和通信接口540)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器510、存储器520、输入/输出接口530、通信接口540以及总线550,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本说明书实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述的任务处理方法。该方法至少包括:
一种任务处理方法,应用于任务分配服务器,该方法包括:
获取待处理的任务;
确定服务器机房数量;
根据服务器机房数量,按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务;
告知每个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量;
将获取的待处理的任务放入任务处理队列中,以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务,确定自身所在服务器机房中可用任务处理服务器数量,按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
本说明书实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述的任务处理方法。该方法至少包括:
一种任务处理方法,应用于任务获取服务器,该方法包括:
从任务处理队列中获取对应数量的待处理的任务;
确定自身所在服务器机房中可用任务处理服务器数量;
按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器,以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下,对所分配的待处理的任务进行处理。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本说明书实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本说明书实施例的保护范围。
Claims (10)
1.一种任务处理方法,应用于任务处理系统,所述任务处理系统包括第一类服务端、第二类服务端和多个第三类服务端,所述方法包括:
所述第一类服务端获取待处理的任务;
所述第一类服务端将获取到的待处理的任务放入任务处理队列中;
所述第二类服务端从所述任务处理队列中获取待处理的任务,并将获取到待处理的任务分配给所述多个第三类服务端中的至少部分第三类服务端;
所述至少部分第三类服务端中的各个第三类服务端在接收到所述第二类服务端为其分配的待处理的任务的情况下,对接收到的待处理的任务进行处理。
2.根据权利要求1所述的方法,所述第一类服务端为任务获取服务器,所述第二类服务端为任务分配服务器,所述第三类服务端为任务处理服务器;
所述任务处理系统包括多个服务器机房,每个服务器机房包括任务获取服务器和任务处理服务器;所述第二类服务端从所述任务处理队列中获取待处理的任务,并将获取到待处理的任务分配给所述多个第三类服务端中的至少部分第三类服务端,包括:
对于任一服务器机房中的任务获取服务器,从所述任务处理队列中获取待处理的任务,并将获取到待处理的任务分配给自身所在服务器机房中的任务处理服务器。
3.根据权利要求2所述的方法,在所述第一类服务端将获取到的待处理的任务放入任务处理队列中之前,所述方法还包括:
所述任务获取服务器确定服务器机房的数量;
所述任务获取服务器根据所述服务器机房的数量和获取到的待处理的任务的数量,按照预设的第一分配规则确定为所述多个服务器机房中的各个服务器机房分配的待处理的任务的数量,并告知所述各个服务器机房中的任务获取服务器,为自身所在服务器机房所分配的待处理的任务的数量;
所述对于任一服务器机房中的任务获取服务器,从所述任务处理队列中获取待处理的任务,包括:
对于任一服务器机房中的任务获取服务器,从所述任务处理队列中获取对应数量的待处理的任务。
4.根据权利要求2所述的方法,所述对于任一服务器机房中的任务获取服务器,从所述任务处理队列中获取待处理的任务,并将获取到待处理的任务分配给自身所在服务器机房中的任务处理服务器,包括:
对于任一服务器机房中的任务获取服务器,从所述任务处理队列中获取待处理的任务,确定自身所在服务器机房中的任务处理服务器的数量,根据自身从所述任务处理队列中获取到的待处理的任务的数量和自身所在服务器机房中的任务处理服务器的数量,按照预设的第二分配规则将自身从所述任务处理队列中获取到的待处理的任务分配给自身所在服务器机房中的任务处理服务器。
5.根据权利要求1所述的方法,所述第一类服务端获取待处理的任务,包括:
所述第一类服务端按照预设的扫描周期,扫描任务表中是否存在待处理的任务;
若存在,在预设的获取时间段内,从所述任务表中获取待处理的任务。
6.一种任务处理方法,应用于第一类服务端,所述方法包括:
获取待处理的任务;
将获取到的待处理的任务放入任务处理队列中,以使第二类服务端从所述任务处理队列中获取待处理的任务,并将获取到的待处理的任务分配给多个第三类服务端中的至少部分第三类服务端;其中,所述第三类服务端用于对接收到的待处理的任务进行处理。
7.一种任务处理方法,应用于第二类服务端,所述方法包括:
从任务处理队列中获取待处理的任务;其中,所述任务处理队列中的待处理的任务是由第一类服务端将获取到的待处理的任务放入其中的;
将获取到的待处理的任务分配给多个第三类服务端中的至少部分第三类服务端,以使所述至少部分第三类服务端中的各个第三类服务端在接收到所述第二类服务端为其分配的待处理的任务的情况下,对接收到的待处理的任务进行处理。
8.一种任务处理系统,包括:第一类服务端、第二类服务端和多个第三类服务端;所述任务处理系统用于实现权利要求1-5任一项所述的方法。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求6或7所述的方法。
10.一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现权利要求6或7所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311001909.4A CN117130776A (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311001909.4A CN117130776A (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
CN201811315109.9A CN109901925B (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811315109.9A Division CN109901925B (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117130776A true CN117130776A (zh) | 2023-11-28 |
Family
ID=66943217
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311001909.4A Pending CN117130776A (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
CN201811315109.9A Active CN109901925B (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811315109.9A Active CN109901925B (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN117130776A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115118768A (zh) * | 2022-06-27 | 2022-09-27 | 平安壹钱包电子商务有限公司 | 一种任务分发方法、装置、存储介质及电子设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8397088B1 (en) * | 2009-07-21 | 2013-03-12 | The Research Foundation Of State University Of New York | Apparatus and method for efficient estimation of the energy dissipation of processor based systems |
US9047129B2 (en) * | 2012-07-23 | 2015-06-02 | Adobe Systems Incorporated | Systems and methods for load balancing of time-based tasks in a distributed computing system |
CN106406983B (zh) * | 2015-07-27 | 2021-01-08 | 创新先进技术有限公司 | 一种集群中的任务调度方法及装置 |
CN106227596A (zh) * | 2016-07-13 | 2016-12-14 | 百度在线网络技术(北京)有限公司 | 用于任务调度服务器的任务监控方法和装置 |
US10412158B2 (en) * | 2016-07-27 | 2019-09-10 | Salesforce.Com, Inc. | Dynamic allocation of stateful nodes for healing and load balancing |
CN106599017B (zh) * | 2016-10-20 | 2019-09-17 | 广州优视网络科技有限公司 | 安装包的扫描解析方法、装置及移动终端 |
CN108228672B (zh) * | 2016-12-22 | 2022-05-03 | 阿里巴巴集团控股有限公司 | 一种元数据迁移方法、装置、系统及设备 |
CN107977271B (zh) * | 2017-12-21 | 2022-02-18 | 郑州云海信息技术有限公司 | 一种数据中心综合管理系统负载均衡方法 |
CN108717384B (zh) * | 2018-05-18 | 2021-11-23 | 创新先进技术有限公司 | 一种数据备份方法及装置 |
CN110489221B (zh) * | 2019-08-16 | 2023-10-20 | 云帐房网络科技有限公司 | 一种自动化任务数量动态调整计算资源的方法及系统 |
-
2018
- 2018-11-06 CN CN202311001909.4A patent/CN117130776A/zh active Pending
- 2018-11-06 CN CN201811315109.9A patent/CN109901925B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109901925A (zh) | 2019-06-18 |
CN109901925B (zh) | 2023-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106371889B (zh) | 一种调度镜像的高性能集群系统实现方法及装置 | |
CN110022260B (zh) | 一种跨环境回执消息处理方法及系统 | |
CN103763346A (zh) | 一种分布式资源调度方法及装置 | |
CN111553699B (zh) | 一种资源调度方法及装置 | |
CN110753339B (zh) | 一种数据下载方法及管理平台 | |
CN110007936B (zh) | 数据处理方法和装置 | |
CN110020383B (zh) | 一种页面数据请求处理方法及装置 | |
CN110852754A (zh) | 一种风险识别方法、装置及设备 | |
CN112181663A (zh) | 一种内存调度方法、装置及计算机设备 | |
CN114629960B (zh) | 资源调度方法、装置、系统、设备、介质和程序产品 | |
CN109901925B (zh) | 一种任务处理方法及系统 | |
CN109102200B (zh) | 一种定时任务处理方法及装置 | |
CN110188975B (zh) | 一种资源获取方法及装置 | |
CN110347947B (zh) | 一种页面渲染方法及装置 | |
CN109302669B (zh) | 轮询机制的设置方法、装置、存储介质及电子设备 | |
CN210006026U (zh) | 云技术服务系统 | |
JP2018190108A (ja) | 制御プログラム、制御方法及び制御装置 | |
CN111427682B (zh) | 任务分配方法、系统、装置及设备 | |
CN110545332A (zh) | 服务器集群均衡方法及系统 | |
CN109903023B (zh) | 一种资源分配方法及系统 | |
CN113946489A (zh) | 数据采集方法、系统、设备及存储介质 | |
CN109582449B (zh) | 风控业务系统中的风控任务分组方法、装置、计算机设备 | |
CN112306371A (zh) | 存储管理的方法、设备和计算机程序产品 | |
CN110827009B (zh) | 一种基于账户余额限制的资金转移方法及装置 | |
CN109947825A (zh) | 一种用户资产交易数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |