CN109901925B - 一种任务处理方法及系统 - Google Patents
一种任务处理方法及系统 Download PDFInfo
- Publication number
- CN109901925B CN109901925B CN201811315109.9A CN201811315109A CN109901925B CN 109901925 B CN109901925 B CN 109901925B CN 201811315109 A CN201811315109 A CN 201811315109A CN 109901925 B CN109901925 B CN 109901925B
- Authority
- CN
- China
- Prior art keywords
- task
- server
- processed
- tasks
- task processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 220
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
- Multi Processors (AREA)
Abstract
公开了一种任务处理方法及系统。一种任务处理方法，该方法包括：任务分配服务器获取待处理的任务；确定服务器机房数量；按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中；任务获取服务器从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器；任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
Description
技术领域
本说明书实施例涉及计算机技术领域，尤其涉及一种任务处理方法及系统。
背景技术
当前，在一个大规模部署的计算集群中，由于业务需求，业务系统往往会产生大量的任务，这些任务需要在规定时间内由任务处理服务器来进行处理，进而可以完成业务处理，其中业务系统产生的大量任务一般会暂时放置在任务表中。
目前进行任务处理的方案是：服务器机房内的每台任务处理服务器均按照预设的扫描周期扫描任务表中是否存在待处理的任务，若存在，从任务表中获取当前待处理的任务，然后在本地进行处理。
目前这种任务处理的方案，由于每台任务处理服务器预设的扫描周期可能一致(例如间隔一分钟)，当多台任务处理服务器在同一时刻同时扫描到任务表中存在待处理的任务时，会从任务表中获取相同的待处理的任务，然后在本地处理相同的待处理的任务，造成任务重复处理，致使业务处理出现问题。
发明内容
针对上述技术问题，本说明书实施例提供一种任务处理方法及系统，技术方案如下：
一种任务处理方法，应用于任务处理系统，所述系统包括多个服务器机房，每个服务器机房包括任务处理服务器以及任务获取服务器，其中存在一个服务器机房还包括任务分配服务器，该方法包括：
任务分配服务器获取待处理的任务；
确定服务器机房数量；
根据服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中；
对于任一服务器机房中的任务获取服务器，从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器；
对于任一服务器机房中的任务处理服务器，在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
一种任务处理方法，应用于任务分配服务器，该方法包括：
获取待处理的任务；
确定服务器机房数量；
根据服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务；
告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量；
将获取的待处理的任务放入任务处理队列中，以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
一种任务处理方法，应用于任务获取服务器，该方法包括：
从任务处理队列中获取对应数量的待处理的任务；
确定自身所在服务器机房中可用任务处理服务器数量；
按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
一种任务处理系统，该系统包括：多个服务器机房，每个服务器机房包括任务处理服务器以及任务获取服务器，其中存在一个服务器机房还包括任务分配服务器；
任务分配服务器获取待处理的任务；
确定服务器机房数量；
根据服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中；
对于任一服务器机房中的任务获取服务器，从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器；
对于任一服务器机房中的任务处理服务器，在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
一种任务处理装置，应用于任务分配服务器，该装置包括：
任务获取模块，用于获取待处理的任务；
数量确定模块，用于确定服务器机房数量；
任务分配模块，用于根据服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务；
告知模块，用于告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量；
任务放入模块，用于将获取的待处理的任务放入任务处理队列中，以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
一种任务处理装置，应用于任务获取服务器，该装置包括：
任务获取模块，用于从任务处理队列中获取对应数量的待处理的任务；
数量确定模块，用于确定自身所在服务器机房中可用任务处理服务器数量；
任务分配模块，用于按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
本说明书实施例所提供的技术方案，对于待处理的任务，任务分配服务器按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，并告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中，任务获取服务器从任务处理队列中获取对应数量的待处理的任务，并按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。如此一来，每个任务处理服务器明确自身需要处理的待处理的任务，避免任务重复处理，确保业务正常处理。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。
此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本说明书实施例的应用任务处理方法的系统的结构示意图；
图2是本说明书实施例的任务处理方法的交互流程示意图；
图3是本说明书实施例的应用于任务分配服务器的任务处理装置的结构示意图；
图4是本说明书实施例的应用于任务获取服务器的任务处理装置的结构示意图；
图5是用于配置本说明书实施例装置的一种设备的结构示意图。
具体实施方式
在本说明书中，如图1所示，包括4个服务器机房，服务器机房1、服务器机房2、服务器机房4包括任务处理服务器与任务获取服务器，服务器机房3包括任务分配服务器、任务处理服务器与任务获取服务器。
服务器机房3中的任务分配服务器从任务表中获取待处理的任务，按照预设的第一分配规则为服务器机房1、服务器机房2、服务器机房3、服务器机房4分配对应数量的待处理的任务，告知服务器机房1、服务器机房2、服务器机房3、服务器机房4中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中，后续服务器机房1、服务器机房2、服务器机房3、服务器机房4中的任务获取服务器从任务处理队列中获取对应数量的待处理的任务，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，对于服务器机房1、服务器机房2、服务器机房3、服务器机房4中的任务处理服务器，在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。对于任务处理服务器，明确自身需要处理的待处理的任务，避免任务重复处理，可以使任务平滑处理，以确保业务正常处理。
为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。
如图2所示，为本说明书实施例提供的一种任务处理方法的交互流程示意图，该方法具体可以包括以下步骤：
S201，任务分配服务器获取待处理的任务；
在本说明书中，业务系统产生的任务一般主要放置在任务表中，当然也可以是放置在数据库中，本说明书对此不作限定。任务分配服务器获取待处理的任务，其中具体可以通过以下方式获取待处理的任务：
任务分配服务器按照预设的扫描周期，扫描任务表中是否存在待处理的任务，若存在，从任务表中获取待处理的任务。例如对于任务表，当前存在500条待处理的任务，任务分配服务器按照预设的周期(30S)，扫描任务表中存在待处理的任务500条，则可以从任务表中获取这500条待处理的任务。
优选的，若任务表中存在待处理的任务，可以在预设的获取时间段内，按照预设的获取次数分批次获取待处理的任务。例如，当前任务表中存在500条待处理的任务，则可以在预设的获取时间段内(15S)，分10次从任务表中获取这500条待处理的任务，即每次从任务表中获取50条待处理的任务，分10次进行获取。
S202，确定服务器机房数量；
对于任务分配服务器，除需要获取待处理的任务之外，还需要确定服务器机房数量，具体可以通过以下方式确定服务器机房数量：
其中一种确定服务器机房数量的实现方式为：任务分配服务器接收用户输入的指令，所述指令中携带服务器机房的数量信息，解析指令中携带的服务器机房的数量信息，例如确定的服务器机房数量为4。
另一种确定服务器机房数量的实现方式为：获取网络拓扑结构图，根据网络拓扑结构图，确定服务器机房数量。例如，获取的网络拓扑结构图如图1所示，根据这个网络拓扑结构图，可以确定服务器机房数量为4。
值得注意的是，确定服务器机房数量的实现方式存在很多种，本说明书实施例只是对其中两种进行举例说明，并不限定如何确定服务器机房数量。
S203，根据服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务；
根据S201中获取的待处理的任务以及S202中确定的服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，具体可以按照预设的服务器机房权重分配规则，为每个服务器机房分配对应数量的待处理的任务。
一般地，对于服务器机房中的任务处理服务器，由于硬件条件(如内存、CPU)可能不同，每个服务器机房处理任务的效率也可能不同，为此可以预先为每个服务器机房设置任务分配权重，例如对于图1所示的服务器机房1、服务器机房2、服务器机房3、服务器机房4，服务器机房1的任务分配权重为2，剩下服务器机房2、服务器机房3、服务器机房4的任务分配权重各种都为1，对于获取到的500条待处理的任务，按照预设的服务器机房权重分配比例，为服务器机房1分配200条待处理的任务，为服务器机房2、服务器机房3、服务器机房4各自分配100条待处理的任务。
另外，还可以根据服务器机房数量以及每个服务器机房中任务处理服务器数量，计算所有任务处理服务器数量，根据预设的平均分配规则为每个任务处理服务器分配待处理的任务，根据每个服务器机房中任务处理服务器数量以及为每个任务处理服务器分配的待处理的任务，计算得出每个服务器机房分配的对应数量的待处理的任务。
例如，如图1所示的服务器机房1、服务器机房2、服务器机房3、服务器机房4，服务器机房1、服务器机房2、服务器机房4各自都存在2台任务处理服务器，服务器机房3存在1台任务处理服务器，可以计算得到当前所有任务处理服务器数量为7，根据预设的平均分配规则为每个任务处理服务器分配待处理的任务，分配待处理的任务的数量为5，根据服务器机房1、服务器机房2、服务器机房3、服务器机房4中任务处理服务器数量以及为每个任务处理服务器分配的待处理的任务，则可以计算得到服务器机房1分配10条待处理的任务，服务器机房2分配10条待处理的任务，服务器机房3分配5条待处理的任务，服务器机房4分配10条待处理的任务。
值得注意的是，为每个服务器机房分配对应数量的待处理的任务的实现方式存在很多种，本说明书实施例对其中两种进行举例说明，其它实现方式本说明书实施例在此不再一一赘述。
S204，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中；
在为每个服务器机房分配对应数量的待处理的任务之后，一方面，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，另一方面，将获取的待处理的任务放入任务处理队列中。
如图1所示的服务器机房1、服务器机房2、服务器机房3、服务器机房4，对应的任务获取服务器为任务获取服务器A、任务获取服务器B、任务获取服务器C、任务获取服务器D，在为服务器机房1、服务器机房2、服务器机房3、服务器机房4分配对应数量的待处理的任务之后，告知任务获取服务器A，服务器机房1分配200条待处理的任务，告知任务获取服务器B，服务器机房2分配100条待处理的任务，告知任务获取服务器C，服务器机房3分配100条待处理的任务，告知任务获取服务器D，服务器机房4分配100条待处理的任务，另外将这100条待处理的任务放入任务处理队列中。
在本说明书中，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，以及将获取的待处理的任务放入任务处理队列中，两者的执行顺序本说明书不作限定，可以存在先后顺序，也可以同时执行。
S205，对于任一服务器机房中的任务获取服务器，从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器；
对于任一服务器机房中的任务获取服务器，一方面从任务处理队列中获取对应数量的待处理的任务。由于在S204中，任务分配服务器告知任务获取服务器自身所在服务器机房所分配的待处理的任务的数量，后续任务获取服务器可以从任务处理队列中获取相应数量的待处理的任务。
例如，任务获取服务器A从任务处理队列中获取200条待处理的任务，任务获取服务器B、任务获取服务器C、任务获取服务器D各自从任务处理队列中获取100条待处理的任务。
另一方面，确定自身所在服务器机房中可用任务处理服务器数量，具体可以通过以下方式确定可用任务处理服务器数量：确定自身所在服务器机房中所有任务处理服务器数量，判断每台任务处理服务器当前所处理的任务数量以及负载是否超过各自对应的预设阈值，确定当前所处理的任务数量以及负载未超过各自对应的预设阈值的任务处理服务器为可用任务处理服务器。
例如，当前自身所在服务器机房中存在10台任务处理服务器，每台任务处理服务器当前所处理的任务数量(5)均未超过预设阈值，以及负载(如内存使用率、CPU使用率等)均未超过预设阈值，则可以确定可用任务处理服务器数量为10。
根据自身所在服务器机房待处理的任务的数量，以及可用任务处理服务器数量，按照预设的第二分配规则将自身所在服务器机房待处理的任务分配给可用任务处理服务器。例如可以将自身所在服务器机房待处理的100条任务平均分配给这10台可用任务处理服务器。
S206，对于任一服务器机房中的任务处理服务器，在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
针对S205中待处理的任务的分配结果，对于任一服务器机房中的任务处理服务器，在接收到任务获取服务器所分配的待处理的任务的情况下，在本地对所分配的待处理的任务进行处理，例如对所分配的待处理的任务进行处理可以是发送消息、邮件，发起支付等。
通过上述对本说明书实施例提供的技术方案的描述，对于待处理的任务，任务分配服务器按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，并告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中，任务获取服务器从任务处理队列中获取对应数量的待处理的任务，并按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。如此一来，每个任务处理服务器明确自身需要处理的待处理的任务，避免任务重复处理，可以使任务平滑处理，以确保业务正常处理。
为了更清楚地说明本说明书实施例的方案，下面分别再从单侧的角度，对执行的方法进行说明：
对于任务分配服务器，需要执行的任务主要如下：
A，获取待处理的任务；
B，确定服务器机房数量；
C，根据服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务；
D，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中。
对于任务获取服务器，需要执行的任务主要如下：
a，从任务处理队列中获取对应数量的待处理的任务；
b，确定自身所在服务器机房中可用任务处理服务器数量；
c，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
对于任务处理服务器，需要执行的任务主要如下：
在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
关于任务处理服务器、任务分配服务器、任务获取服务器的单侧执行细节，可以参见前面实施例的描述，这里不再赘述。
相对于上述方法实施例，本说明书实施例还提供一种应用于任务分配服务器的任务处理装置，如图3所示，该装置包括：任务获取模块310、数量确定模块320、任务分配模块330、告知模块340、任务放入模块350。
任务获取模块310，用于获取待处理的任务；
数量确定模块320，用于确定服务器机房数量；
任务分配模块330，用于根据服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务；
告知模块340，用于告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量；
任务放入模块350，用于将获取的待处理的任务放入任务处理队列中，以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
本说明书实施例还提供一种应用于任务获取服务器的任务处理装置，参见图4所示，该装置包括：任务获取模块410、数量确定模块420、任务分配模块430。
任务获取模块410，用于从任务处理队列中获取对应数量的待处理的任务；
数量确定模块420，用于确定自身所在服务器机房中可用任务处理服务器数量；
任务分配模块430，用于按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
本说明书实施例还提供一种任务处理系统，该系统包括：多个服务器机房，每个服务器机房包括任务处理服务器以及任务获取服务器，其中存在一个服务器机房还包括任务分配服务器；
任务分配服务器获取待处理的任务；
确定服务器机房数量；
根据服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中；
对于任一服务器机房中的任务获取服务器，从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器；
对于任一服务器机房中的任务处理服务器，在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
通过上述对本说明书实施例提供的技术方案的描述，对于待处理的任务，任务分配服务器按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，并告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中，任务获取服务器从任务处理队列中获取对应数量的待处理的任务，并按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。如此一来，每个任务处理服务器明确自身需要处理的待处理的任务，避免任务重复处理，可以使任务平滑处理，以确保业务正常处理。
本说明书实施例还提供一种计算机设备，如图5所示，该设备可以包括：处理器510、存储器520、输入/输出接口530、通信接口540和总线550。其中处理器510、存储器520、输入/输出接口530和通信接口540通过总线550实现彼此之间在设备内部的通信连接。
处理器510可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器520可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器520可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器520中，并由处理器510来调用执行。
输入/输出接口530用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口540用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线550包括一通路，在设备的各个组件(例如处理器510、存储器520、输入/输出接口530和通信接口540)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器510、存储器520、输入/输出接口530、通信接口540以及总线550，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的任务处理方法。该方法至少包括：
一种任务处理方法，应用于任务分配服务器，该方法包括：
获取待处理的任务；
确定服务器机房数量；
根据服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务；
告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量；
将获取的待处理的任务放入任务处理队列中，以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的任务处理方法。该方法至少包括：
一种任务处理方法，应用于任务获取服务器，该方法包括：
从任务处理队列中获取对应数量的待处理的任务；
确定自身所在服务器机房中可用任务处理服务器数量；
按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。
Claims (16)
1.一种任务处理方法，应用于任务处理系统，所述系统包括多个服务器机房，每个服务器机房包括任务处理服务器以及任务获取服务器，其中存在一个服务器机房还包括任务分配服务器，该方法包括：
任务分配服务器获取待处理的任务；
确定服务器机房数量；
根据获取的待处理的任务的数量以及服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中；
对于任一服务器机房中的任务获取服务器，从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，根据自身所在服务器机房待处理的任务的数量以及可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器；
对于任一服务器机房中的任务处理服务器，在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
2.根据权利要求1所述的方法，所述任务分配服务器获取待处理的任务，包括：
任务分配服务器按照预设的扫描周期，扫描任务表中是否存在待处理的任务；
若存在，在预设的获取时间段内，按照预设的获取次数分批次获取待处理的任务。
3.根据权利要求1所述的方法，所述根据获取的待处理的任务的数量以及服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，包括：
根据获取的待处理的任务的数量以及服务器机房数量，按照预设的服务器机房权重分配规则，为每个服务器机房分配对应数量的待处理的任务。
4.根据权利要求1所述的方法，所述根据获取的待处理的任务的数量以及服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，包括：
根据服务器机房数量以及每个服务器机房中任务处理服务器数量，计算所有任务处理服务器数量；
根据预设的平均分配规则为每个任务处理服务器分配待处理的任务；
根据每个服务器机房中任务处理服务器数量以及为每个任务处理服务器分配的待处理的任务，计算得出每个服务器机房分配的对应数量的待处理的任务。
5.根据权利要求1所述的方法，所述确定自身所在服务器机房中可用任务处理服务器数量，包括：
确定自身所在服务器机房中所有任务处理服务器数量；
判断每台任务处理服务器当前所处理的任务数量以及负载是否超过各自对应的预设阈值；
确定当前所处理的任务数量以及负载未超过各自对应的预设阈值的任务处理服务器为可用任务处理服务器。
6.一种任务处理方法，应用于任务分配服务器，该方法包括：
获取待处理的任务；
确定服务器机房数量；
根据获取的待处理的任务的数量以及服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务；
告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量；
将获取的待处理的任务放入任务处理队列中，以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，根据自身所在服务器机房待处理的任务的数量以及可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
7.一种任务处理方法，应用于任务获取服务器，该方法包括：
根据任务分配服务器告知的自身所在服务器机房待处理的任务的数量，从任务处理队列中获取对应数量的待处理的任务；其中，每个服务器机房待处理的任务的数量，是由所述任务分配服务器根据获取的待处理的任务的数量以及服务器机房数量，按照预设的第一分配规则为每个服务器机房分配的；
确定自身所在服务器机房中可用任务处理服务器数量；
根据自身所在服务器机房待处理的任务的数量以及可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
8.一种任务处理系统，该系统包括：多个服务器机房，每个服务器机房包括任务处理服务器以及任务获取服务器，其中存在一个服务器机房还包括任务分配服务器；
任务分配服务器获取待处理的任务；
确定服务器机房数量；
根据获取的待处理的任务的数量以及服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务，告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量，将获取的待处理的任务放入任务处理队列中；
对于任一服务器机房中的任务获取服务器，从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，根据自身所在服务器机房待处理的任务的数量以及可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器；
对于任一服务器机房中的任务处理服务器，在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
9.根据权利要求8所述的系统，所述任务分配服务器具体通过以下方式获取待处理的任务：
任务分配服务器按照预设的扫描周期，扫描任务表中是否存在待处理的任务；
若存在，在预设的获取时间段内，按照预设的获取次数分批次获取待处理的任务。
10.根据权利要求8所述的系统，所述任务分配服务器具体通过以下方式为每个服务器机房分配对应数量的待处理的任务：
根据获取的待处理的任务的数量以及服务器机房数量，按照预设的服务器机房权重分配规则，为每个服务器机房分配对应数量的待处理的任务。
11.根据权利要求8所述的系统，所述任务分配服务器具体通过以下方式为每个服务器机房分配对应数量的待处理的任务：
根据服务器机房数量以及每个服务器机房中任务处理服务器数量，计算所有任务处理服务器数量；
根据预设的平均分配规则为每个任务处理服务器分配待处理的任务；
根据每个服务器机房中任务处理服务器数量以及为每个任务处理服务器分配的待处理的任务，计算得出每个服务器机房分配的对应数量的待处理的任务。
12.根据权利要求8所述的系统，所述任务获取服务器具体通过以下方式确定自身所在服务器机房中可用任务处理服务器数量：
确定自身所在服务器机房中所有任务处理服务器数量；
判断每台任务处理服务器当前所处理的任务数量以及负载是否超过各自对应的预设阈值；
确定当前所处理的任务数量以及负载未超过各自对应的预设阈值的任务处理服务器为可用任务处理服务器。
13.一种任务处理装置，应用于任务分配服务器，该装置包括：
任务获取模块，用于获取待处理的任务；
数量确定模块，用于确定服务器机房数量；
任务分配模块，用于根据获取的待处理的任务的数量以及服务器机房数量，按照预设的第一分配规则为每个服务器机房分配对应数量的待处理的任务；
告知模块，用于告知每个服务器机房中的任务获取服务器，为自身所在服务器机房所分配的待处理的任务的数量；
任务放入模块，用于将获取的待处理的任务放入任务处理队列中，以使任务获取服务器从任务处理队列中获取对应数量的待处理的任务，确定自身所在服务器机房中可用任务处理服务器数量，根据自身所在服务器机房待处理的任务的数量以及可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器。
14.一种任务处理装置，应用于任务获取服务器，该装置包括：
任务获取模块，用于根据任务分配服务器告知的自身所在服务器机房待处理的任务的数量，从任务处理队列中获取对应数量的待处理的任务；其中，每个服务器机房待处理的任务的数量，是由所述任务分配服务器根据获取的待处理的任务的数量以及服务器机房数量，按照预设的第一分配规则为每个服务器机房分配的；
数量确定模块，用于确定自身所在服务器机房中可用任务处理服务器数量；
任务分配模块，用于根据自身所在服务器机房待处理的任务的数量以及可用任务处理服务器数量，按照预设的第二分配规则将对应数量的待处理的任务分配给可用任务处理服务器，以使任务处理服务器在接收到任务获取服务器所分配的待处理的任务的情况下，对所分配的待处理的任务进行处理。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求6所述的方法。
16.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求7所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311001909.4A CN117130776A (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
| CN201811315109.9A CN109901925B (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811315109.9A CN109901925B (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311001909.4A Division CN117130776A (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109901925A CN109901925A (zh) | 2019-06-18 |
| CN109901925B true CN109901925B (zh) | 2023-08-25 |
Family
ID=66943217
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811315109.9A Active CN109901925B (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
| CN202311001909.4A Pending CN117130776A (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311001909.4A Pending CN117130776A (zh) | 2018-11-06 | 2018-11-06 | 一种任务处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN109901925B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115118768A (zh) * | 2022-06-27 | 2022-09-27 | 平安壹钱包电子商务有限公司 | 一种任务分发方法、装置、存储介质及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8631411B1 (en) * | 2009-07-21 | 2014-01-14 | The Research Foundation For The State University Of New York | Energy aware processing load distribution system and method |
| CN106227596A (zh) * | 2016-07-13 | 2016-12-14 | 百度在线网络技术（北京）有限公司 | 用于任务调度服务器的任务监控方法和装置 |
| CN106406983A (zh) * | 2015-07-27 | 2017-02-15 | 阿里巴巴集团控股有限公司 | 一种集群中的任务调度方法及装置 |
| WO2018072430A1 (zh) * | 2016-10-20 | 2018-04-26 | 广州优视网络科技有限公司 | 安装包的扫描解析方法、装置、移动终端及机器可读存储介质 |
| CN107977271A (zh) * | 2017-12-21 | 2018-05-01 | 郑州云海信息技术有限公司 | 一种数据中心综合管理系统负载均衡方法 |
| WO2018113533A1 (zh) * | 2016-12-22 | 2018-06-28 | 阿里巴巴集团控股有限公司 | 一种元数据迁移方法、装置、系统及设备 |
| CN108717384A (zh) * | 2018-05-18 | 2018-10-30 | 阿里巴巴集团控股有限公司 | 一种数据备份方法及装置 |
| CN110489221A (zh) * | 2019-08-16 | 2019-11-22 | 南京云帐房网络科技有限公司 | 一种自动化任务数量动态调整计算资源的方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9047129B2 (en) * | 2012-07-23 | 2015-06-02 | Adobe Systems Incorporated | Systems and methods for load balancing of time-based tasks in a distributed computing system |
| US10412158B2 (en) * | 2016-07-27 | 2019-09-10 | Salesforce.Com, Inc. | Dynamic allocation of stateful nodes for healing and load balancing |
-
2018
- 2018-11-06 CN CN201811315109.9A patent/CN109901925B/zh active Active
- 2018-11-06 CN CN202311001909.4A patent/CN117130776A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8631411B1 (en) * | 2009-07-21 | 2014-01-14 | The Research Foundation For The State University Of New York | Energy aware processing load distribution system and method |
| CN106406983A (zh) * | 2015-07-27 | 2017-02-15 | 阿里巴巴集团控股有限公司 | 一种集群中的任务调度方法及装置 |
| CN106227596A (zh) * | 2016-07-13 | 2016-12-14 | 百度在线网络技术（北京）有限公司 | 用于任务调度服务器的任务监控方法和装置 |
| WO2018072430A1 (zh) * | 2016-10-20 | 2018-04-26 | 广州优视网络科技有限公司 | 安装包的扫描解析方法、装置、移动终端及机器可读存储介质 |
| WO2018113533A1 (zh) * | 2016-12-22 | 2018-06-28 | 阿里巴巴集团控股有限公司 | 一种元数据迁移方法、装置、系统及设备 |
| CN107977271A (zh) * | 2017-12-21 | 2018-05-01 | 郑州云海信息技术有限公司 | 一种数据中心综合管理系统负载均衡方法 |
| CN108717384A (zh) * | 2018-05-18 | 2018-10-30 | 阿里巴巴集团控股有限公司 | 一种数据备份方法及装置 |
| CN110489221A (zh) * | 2019-08-16 | 2019-11-22 | 南京云帐房网络科技有限公司 | 一种自动化任务数量动态调整计算资源的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| Web应用异步任务处理的实现研究;张文梅等;《微型机与应用》;20120225;第31卷(第04期);第14-16页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109901925A (zh) | 2019-06-18 |
| CN117130776A (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110022260B (zh) | 一种跨环境回执消息处理方法及系统 | |
| CN103763346A (zh) | 一种分布式资源调度方法及装置 | |
| CN109359118B (zh) | 一种数据写入方法及装置 | |
| CN111553699B (zh) | 一种资源调度方法及装置 | |
| CN110020383B (zh) | 一种页面数据请求处理方法及装置 | |
| CN110007936B (zh) | 数据处理方法和装置 | |
| CN110852754A (zh) | 一种风险识别方法、装置及设备 | |
| CN112181663A (zh) | 一种内存调度方法、装置及计算机设备 | |
| CN110650209A (zh) | 实现负载均衡的方法和装置 | |
| CN113553178A (zh) | 任务处理方法、装置和电子设备 | |
| CN109901925B (zh) | 一种任务处理方法及系统 | |
| CN110188975B (zh) | 一种资源获取方法及装置 | |
| CN108733478B (zh) | 三维图像处理方法及装置 | |
| CN110347947B (zh) | 一种页面渲染方法及装置 | |
| CN109302669B (zh) | 轮询机制的设置方法、装置、存储介质及电子设备 | |
| JP2018190108A (ja) | 制御プログラム、制御方法及び制御装置 | |
| CN111427682B (zh) | 任务分配方法、系统、装置及设备 | |
| CN110545332A (zh) | 服务器集群均衡方法及系统 | |
| CN115729645A (zh) | 微服务配置方法、装置、电子设备及可读存储介质 | |
| CN113946489A (zh) | 数据采集方法、系统、设备及存储介质 | |
| CN109903023B (zh) | 一种资源分配方法及系统 | |
| CN109582449B (zh) | 风控业务系统中的风控任务分组方法、装置、计算机设备 | |
| CN111538721A (zh) | 账号处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112306371A (zh) | 存储管理的方法、设备和计算机程序产品 | |
| CN112446754A (zh) | 用于处理订单的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200925 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200925 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |