CN108446177A - 一种任务处理方法、计算机可读存储介质及终端设备 - Google Patents
一种任务处理方法、计算机可读存储介质及终端设备 Download PDFInfo
- Publication number
- CN108446177A CN108446177A CN201810121570.4A CN201810121570A CN108446177A CN 108446177 A CN108446177 A CN 108446177A CN 201810121570 A CN201810121570 A CN 201810121570A CN 108446177 A CN108446177 A CN 108446177A
- Authority
- CN
- China
- Prior art keywords
- node
- task
- destination node
- neighbor
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明属于计算机技术领域,尤其涉及一种任务处理方法、计算机可读存储介质及终端设备。所述方法中,任意一个任务处理节点在接收到任务后,都会将自身的情况与邻居节点的情况进行比较,从而选取出一个最优的任务处理节点,若该节点为其自身,则由其自行处理该任务,若该节点为其邻居节点,则将其发送给该邻居节点,该邻居节点也会按照这个逻辑重新进行选择,直至为该任务分配到一个最优的任务处理节点为止,在这一任务处理逻辑下,通过各个任务处理节点的自组织协调,可以为每个待处理的任务分配到唯一的一个最优的任务处理节点,有效杜绝了同一任务被多次处理的问题,大大提升了系统的稳定性。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种任务处理方法、计算机可读存储介质及终端设备。
背景技术
当多个处理节点共同执行任务时,经常会出现由于调度问题而导致两个处理节点同时处理同一任务的情况,导致资源的浪费,甚至由于同一任务被多次处理,结果可能出现异常,导致系统崩溃。
发明内容
有鉴于此,本发明实施例提供了一种任务处理方法、计算机可读存储介质及终端设备,以解决当多个处理节点共同执行任务时,同一任务可能被多次处理的问题。
本发明实施例的第一方面提供了一种任务处理方法,所述方法应用于预设的分布式任务处理系统的目标节点中,所述分布式任务处理系统包括任务分发器和多个任务处理节点,所述目标节点为所述分布式任务处理系统中的任意一个任务处理节点,所述任务分发器至少与一个任务处理节点连接,且所述任务分发器与任意一个任务处理节点之间均有路径相通,所述方法可以包括:
接收所述任务分发器或者任意一个邻居节点发送的目标任务,所述邻居节点为与所述目标节点相连接的其它任务处理节点;
获取所述目标节点的待处理任务数;
向各个所述邻居节点发送任务数查询请求,并接收各个所述邻居节点反馈的待处理任务数;
根据所述目标节点的待处理任务数以及各个所述邻居节点反馈的待处理任务数计算所述目标节点的预期待处理任务数;
向各个所述邻居节点发送预期任务数查询请求,并接收各个所述邻居节点反馈的预期待处理任务数;
根据预设的节点配置表判断所述目标节点与各个所述邻居节点的配置是否相同;
若所述目标节点与各个所述邻居节点的配置均相同,则根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数以及各个所述邻居节点反馈的预期待处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点;
若选取出的所述优选节点为任意一个所述邻居节点,则将所述目标任务发送至所述优选节点,以使所述优选节点处理所述目标任务或者将所述目标任务发送至与所述优选节点连接的其它任务处理节点;
若选取出的所述优选节点为所述目标节点,则由所述目标节点处理所述目标任务。
本发明实施例的第二方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读存储介质应用于所述分布式任务处理系统的目标节点中,所述计算机可读指令被处理器执行时实现如下步骤:
接收任务分发器或者任意一个邻居节点发送的目标任务,所述邻居节点为与所述目标节点相连接的其它任务处理节点;
获取所述目标节点的待处理任务数;
向各个所述邻居节点发送任务数查询请求,并接收各个所述邻居节点反馈的待处理任务数;
根据所述目标节点的待处理任务数以及各个所述邻居节点反馈的待处理任务数计算所述目标节点的预期待处理任务数;
向各个所述邻居节点发送预期任务数查询请求,并接收各个所述邻居节点反馈的预期待处理任务数;
根据预设的节点配置表判断所述目标节点与各个所述邻居节点的配置是否相同;
若所述目标节点与各个所述邻居节点的配置均相同,则根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数以及各个所述邻居节点反馈的预期待处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点;
若选取出的所述优选节点为任意一个所述邻居节点,则将所述目标任务发送至所述优选节点,以使所述优选节点处理所述目标任务或者将所述目标任务发送至与所述优选节点连接的其它任务处理节点;
若选取出的所述优选节点为所述目标节点,则由所述目标节点处理所述目标任务。
本发明实施例的第三方面提供了一种任务处理终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述终端设备应用于所述分布式任务处理系统的目标节点中,所述处理器执行所述计算机可读指令时实现如下步骤:
接收任务分发器或者任意一个邻居节点发送的目标任务,所述邻居节点为与所述目标节点相连接的其它任务处理节点;
获取所述目标节点的待处理任务数;
向各个所述邻居节点发送任务数查询请求,并接收各个所述邻居节点反馈的待处理任务数;
根据所述目标节点的待处理任务数以及各个所述邻居节点反馈的待处理任务数计算所述目标节点的预期待处理任务数;
向各个所述邻居节点发送预期任务数查询请求,并接收各个所述邻居节点反馈的预期待处理任务数;
根据预设的节点配置表判断所述目标节点与各个所述邻居节点的配置是否相同;
若所述目标节点与各个所述邻居节点的配置均相同,则根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数以及各个所述邻居节点反馈的预期待处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点;
若选取出的所述优选节点为任意一个所述邻居节点,则将所述目标任务发送至所述优选节点,以使所述优选节点处理所述目标任务或者将所述目标任务发送至与所述优选节点连接的其它任务处理节点;
若选取出的所述优选节点为所述目标节点,则由所述目标节点处理所述目标任务。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例中的目标节点在接收到任务分发器或者其邻居节点发送的目标任务后,首先获取自身的待处理任务数,查询各个邻居节点的待处理任务数,并计算出自身的预期待处理任务数,查询各个邻居节点的预期待处理任务数,若所述目标节点与各个所述邻居节点的配置均相同,则从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点,若选取出的所述优选节点为所述目标节点,则由所述目标节点处理所述目标任务,若选取出的所述优选节点为任意一个所述邻居节点,则将所述目标任务发送至所述优选节点,以使所述优选节点处理所述目标任务或者将所述目标任务发送至与所述优选节点连接的其它任务处理节点。通过本发明实施例,任意一个任务处理节点在接收到任务后,都会将自身的情况与邻居节点的情况进行比较,从而选取出一个最优的任务处理节点,若该节点为其自身,则由其自行处理该任务,若该节点为其邻居节点,则将其发送给该邻居节点,该邻居节点也会按照这个逻辑重新进行选择,直至为该任务分配到一个最优的任务处理节点为止,在这一任务处理逻辑下,通过各个任务处理节点的自组织协调,可以为每个待处理的任务分配到唯一的一个最优的任务处理节点,有效杜绝了同一任务被多次处理的问题,大大提升了系统的稳定性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种分布式任务处理系统在一种场景下的示意图;
图2为本发明实施例中一种分布式任务处理系统在另一种场景下的示意图;
图3为本发明实施例中一种任务处理方法的示意流程图;
图4为本发明实施例中一种任务处理装置的结构图;
图5为本发明实施例中一种任务处理终端设备的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
所述方法应用于预设的分布式任务处理系统的目标节点中,如图1及图2所示,所述分布式任务处理系统包括任务分发器和多个任务处理节点,所述目标节点为所述分布式任务处理系统中的任意一个任务处理节点,所述任务分发器至少与一个任务处理节点连接,且所述任务分发器与任意一个任务处理节点之间均有路径相通。所述各个任务处理节点之间可以组成一个或者多个连通图,其中,图1为任务处理节点组成一个连通图的场景,图2为任务处理节点组成两个连通图的场景。
请参阅图3,本发明实施例中一种任务处理方法的一个实施例可以包括:
步骤S301、接收所述任务分发器或者任意一个邻居节点发送的目标任务。
所述邻居节点为与所述目标节点相连接的其它任务处理节点。如图1所示,若所述目标节点为标号为4的节点,则标号为1、2、5、9的节点均为其邻居节点。此外,在图1中,只有节点1、2、3与所述任务分发器连接,因此,只有这三个节点可以接受所述任务分发器直接发送的任务,而其它节点只能接受邻居节点转发的任务。
步骤S302、获取所述目标节点的待处理任务数。
步骤S303、向各个所述邻居节点发送任务数查询请求,并接收各个所述邻居节点反馈的待处理任务数。
步骤S304、根据所述目标节点的待处理任务数以及各个所述邻居节点反馈的待处理任务数计算所述目标节点的预期待处理任务数;
具体地,可以根据下式计算所述目标节点的预期待处理任务数:
其中,Loadcur为所述目标节点的待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,Load′cur为所述目标节点的预期待处理任务数。
步骤S305、向各个所述邻居节点发送预期任务数查询请求,并接收各个所述邻居节点反馈的预期待处理任务数。
其中,各个所述邻居节点的预期待处理任务数的计算过程与所述目标节点的预期待处理任务数的计算过程类似,具体可参照步骤S302至步骤S304的描述,本实施例在此不再赘述。
步骤S306、根据预设的节点配置表判断所述目标节点与各个所述邻居节点的配置是否相同。
若所述目标节点与各个所述邻居节点的配置均相同,则执行步骤S307和步骤S310,若所述目标节点与任意一个所述邻居节点的配置不同,则执行步骤S308、步骤S309和步骤S310。
步骤S307、根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数以及各个所述邻居节点反馈的预期待处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点。
具体地,可以根据下式计算最大任务余量:
FreeLoadmax=max{Loadcur′-Loadcur,max[Load_linkk′-Load_linkk]}
其中,Loadcur为所述目标节点的待处理任务数,Loadcur′为所述目标节点的预期待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,Load_linkk′为第k个所述邻居节点反馈的预期待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,FreeLoadmax为所述最大任务余量;
将与所述最大任务余量对应的任务处理节点作为所述优选节点。
步骤S308、从所述节点配置表中读取所述目标节点的最大处理任务数与各个所述邻居节点的最大处理任务数。
步骤S309、根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数、各个所述邻居节点反馈的预期待处理任务数、所述目标节点的最大处理任务数与各个所述邻居节点的最大处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点。
具体地,可以根据下式计算最大任务余量比率:
其中,Loadcur为所述目标节点的待处理任务数,Loadcur′为所述目标节点的预期待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,Load_linkk′为第k个所述邻居节点反馈的预期待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,MaxLoadcur为所述目标节点的最大处理任务数,MaxLoad_linkk为第k个所述邻居节点的最大处理任务数,FreeLoadRatiomax为所述最大任务余量比率;
将与所述最大任务余量比率对应的任务处理节点作为所述优选节点。
步骤S310、判断选取出的所述优选节点是否为所述目标节点。
若选取出的所述优选节点不是所述目标节点,而是任意一个所述邻居节点,则执行步骤S311,若选取出的所述优选节点为所述目标节点,则执行步骤S312。
步骤S311、将所述目标任务发送至所述优选节点,以使所述优选节点处理所述目标任务或者将所述目标任务发送至与所述优选节点连接的其它任务处理节点。
此时,接收到所述目标任务的节点则会作为新的目标节点,该新的目标节点会根据图3所示的过程重新为该目标任务选择合适的处理节点。
步骤S312、由所述目标节点处理所述目标任务。
例如,在图1所示的场景中,若所述任务分发器将目标任务发送至节点1,则节点1即为所述目标节点,其待处理任务数为6,同时,与之连接的共有两个邻居节点,即Ncur=2,其中,节点2的待处理任务数为4,即Load_link1=4,节点4的待处理任务数为5,即Load_link2=5,则
其邻居节点同样使用同样的方法计算各自的预期待处理任务数,其中,节点2向与其相连的节点1、3、4发送查询消息,获得节点1反馈的待处理任务数为6,获得节点3反馈的待处理任务数为7,节点4反馈的待处理任务数为5,则其预期待处理任务数为:
节点4向与其邻居节点1、2、5、9发送查询消息,获得节点1反馈的待处理任务数为6,节点2反馈的待处理任务数为4,节点5反馈的待处理任务数为8,节点9反馈的待处理任务数为8,则其预期待处理任务数为:
若所述目标节点与各个所述邻居节点的配置均相同,则计算:
Load1′-Load1=5-6=-1
Load2′-Load2=5.5-4=1.5
Load4′-Load4=6.2-5=1.2
其中,预期待处理任务数与当前待处理任务数之差最大的一个处理节点为节点2,则将节点2确定为下一传递节点,然后按照同样的方式继续查找节点2的下一传递节点,直至计算得到某个当前处理节点的下一传递节点仍为其本身,则可结束传递过程,直接将任务交由当前处理节点来执行。
综上所述,本发明实施例中的目标节点在接收到任务分发器或者其邻居节点发送的目标任务后,首先获取自身的待处理任务数,查询各个邻居节点的待处理任务数,并计算出自身的预期待处理任务数,查询各个邻居节点的预期待处理任务数,若所述目标节点与各个所述邻居节点的配置均相同,则从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点,若选取出的所述优选节点为所述目标节点,则由所述目标节点处理所述目标任务,若选取出的所述优选节点为任意一个所述邻居节点,则将所述目标任务发送至所述优选节点,以使所述优选节点处理所述目标任务或者将所述目标任务发送至与所述优选节点连接的其它任务处理节点。通过本发明实施例,任意一个任务处理节点在接收到任务后,都会将自身的情况与邻居节点的情况进行比较,从而选取出一个最优的任务处理节点,若该节点为其自身,则由其自行处理该任务,若该节点为其邻居节点,则将其发送给该邻居节点,该邻居节点也会按照这个逻辑重新进行选择,直至为该任务分配到一个最优的任务处理节点为止,在这一任务处理逻辑下,通过各个任务处理节点的自组织协调,可以为每个待处理的任务分配到唯一的一个最优的任务处理节点,有效杜绝了同一任务被多次处理的问题,大大提升了系统的稳定性。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种任务处理方法,图4示出了本发明实施例提供的一种任务处理装置的一个实施例结构图。
所述任务处理装置应用于所述分布式任务处理系统的目标节点中,在本实施例中,一种任务处理装置可以包括:
目标任务接收模块401,用于接收任务分发器或者任意一个邻居节点发送的目标任务,所述邻居节点为与所述目标节点相连接的其它任务处理节点;
任务数获取模块402,用于获取所述目标节点的待处理任务数;
任务数查询模块403,用于向各个所述邻居节点发送任务数查询请求,并接收各个所述邻居节点反馈的待处理任务数;
预期任务数计算模块404,用于根据所述目标节点的待处理任务数以及各个所述邻居节点反馈的待处理任务数计算所述目标节点的预期待处理任务数;
预期任务数查询模块405,用于向各个所述邻居节点发送预期任务数查询请求,并接收各个所述邻居节点反馈的预期待处理任务数;
配置查询模块406,用于根据预设的节点配置表判断所述目标节点与各个所述邻居节点的配置是否相同;
第一选取模块407,用于若所述目标节点与各个所述邻居节点的配置均相同,则根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数以及各个所述邻居节点反馈的预期待处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点;
任务发送模块408,用于若选取出的所述优选节点为任意一个所述邻居节点,则将所述目标任务发送至所述优选节点,以使所述优选节点处理所述目标任务或者将所述目标任务发送至与所述优选节点连接的其它任务处理节点;
任务处理模块409,用于若选取出的所述优选节点为所述目标节点,则由所述目标节点处理所述目标任务。
进一步地,所述预期任务数计算模块可以包括:
预期任务数计算单元,用于根据下式计算所述目标节点的预期待处理任务数:
其中,Loadcur为所述目标节点的待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,Load′cur为所述目标节点的预期待处理任务数。
进一步地,所述第一选取模块可以包括:
最大任务余量计算单元,用于根据下式计算最大任务余量:
FreeLoadmax=max{Loadcur′-Loadcur,max[Load_linkk′-Load_linkk]}
其中,Loadcur为所述目标节点的待处理任务数,Loadcur′为所述目标节点的预期待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,Load_linkk′为第k个所述邻居节点反馈的预期待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,FreeLoadmax为所述最大任务余量;
第一选取单元,用于将与所述最大任务余量对应的任务处理节点作为所述优选节点。
进一步地,所述任务处理装置还可以包括:
最大处理任务数读取模块,用于若所述目标节点与任意一个所述邻居节点的配置不同,则从所述节点配置表中读取所述目标节点的最大处理任务数与各个所述邻居节点的最大处理任务数;
第二选取模块,用于根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数、各个所述邻居节点反馈的预期待处理任务数、所述目标节点的最大处理任务数与各个所述邻居节点的最大处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点。
进一步地,所述第二选取模块可以包括:
最大任务余量比率计算单元,用于根据下式计算最大任务余量比率:
其中,Loadcur为所述目标节点的待处理任务数,Loadcur′为所述目标节点的预期待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,Load_linkk′为第k个所述邻居节点反馈的预期待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,MaxLoadcur为所述目标节点的最大处理任务数,MaxLoad_linkk为第k个所述邻居节点的最大处理任务数,FreeLoadRatiomax为所述最大任务余量比率;
第二选取单元,用于将与所述最大任务余量比率对应的任务处理节点作为所述优选节点。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图5示出了本发明实施例提供的一种任务处理终端设备的示意框图,为了便于说明,仅示出了与本发明实施例相关的部分。
在本实施例中,所述任务处理终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述任务处理终端设备5应用于所述分布式任务处理系统的目标节点中,该任务处理终端设备5可包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52,例如执行上述的任务处理方法的计算机可读指令。所述处理器50执行所述计算机可读指令52时实现上述各个任务处理方法实施例中的步骤,例如图3所示的步骤S301至S312。或者,所述处理器50执行所述计算机可读指令52时实现上述各装置实施例中各模块/单元的功能,例如图4所示模块401至409的功能。
示例性的,所述计算机可读指令52可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器51中,并由所述处理器50执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令52在所述任务处理终端设备5中的执行过程。
所述处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述任务处理终端设备5的内部存储单元,例如任务处理终端设备5的硬盘或内存。所述存储器51也可以是所述任务处理终端设备5的外部存储设备,例如所述任务处理终端设备5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述任务处理终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机可读指令以及所述任务处理终端设备5所需的其它指令和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种任务处理方法,其特征在于,所述方法应用于预设的分布式任务处理系统的目标节点中,所述分布式任务处理系统包括任务分发器和多个任务处理节点,所述目标节点为所述分布式任务处理系统中的任意一个任务处理节点,所述任务分发器至少与一个任务处理节点连接,且所述任务分发器与任意一个任务处理节点之间均有路径相通,所述方法包括:
接收所述任务分发器或者任意一个邻居节点发送的目标任务,所述邻居节点为与所述目标节点相连接的其它任务处理节点;
获取所述目标节点的待处理任务数;
向各个所述邻居节点发送任务数查询请求,并接收各个所述邻居节点反馈的待处理任务数;
根据所述目标节点的待处理任务数以及各个所述邻居节点反馈的待处理任务数计算所述目标节点的预期待处理任务数;
向各个所述邻居节点发送预期任务数查询请求,并接收各个所述邻居节点反馈的预期待处理任务数;
根据预设的节点配置表判断所述目标节点与各个所述邻居节点的配置是否相同;
若所述目标节点与各个所述邻居节点的配置均相同,则根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数以及各个所述邻居节点反馈的预期待处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点;
若选取出的所述优选节点为任意一个所述邻居节点,则将所述目标任务发送至所述优选节点,以使所述优选节点处理所述目标任务或者将所述目标任务发送至与所述优选节点连接的其它任务处理节点;
若选取出的所述优选节点为所述目标节点,则由所述目标节点处理所述目标任务。
2.根据权利要求1所述的任务处理方法,其特征在于,所述根据所述目标节点的待处理任务数以及各个所述邻居节点反馈的待处理任务数计算所述目标节点的预期待处理任务数包括:
根据下式计算所述目标节点的预期待处理任务数:
其中,Loadcur为所述目标节点的待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,Loadc′ur为所述目标节点的预期待处理任务数。
3.根据权利要求1所述的任务处理方法,其特征在于,所述根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数以及各个所述邻居节点反馈的预期待处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点包括:
根据下式计算最大任务余量:
FreeLoadmax=max{Loadcur′-Loadcur,max[Load_linkk′-Load_linkk]}
其中,Loadcur为所述目标节点的待处理任务数,Loadcur′为所述目标节点的预期待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,Load_linkk′为第k个所述邻居节点反馈的预期待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,FreeLoadmax为所述最大任务余量;
将与所述最大任务余量对应的任务处理节点作为所述优选节点。
4.根据权利要求1所述的任务处理方法,其特征在于,在根据预设的节点配置表判断所述目标节点与各个所述邻居节点的配置是否相同之后,还包括:
若所述目标节点与任意一个所述邻居节点的配置不同,则从所述节点配置表中读取所述目标节点的最大处理任务数与各个所述邻居节点的最大处理任务数;
根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数、各个所述邻居节点反馈的预期待处理任务数、所述目标节点的最大处理任务数与各个所述邻居节点的最大处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点。
5.根据权利要求4所述的任务处理方法,其特征在于,所述根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数、各个所述邻居节点反馈的预期待处理任务数、所述目标节点的最大处理任务数与各个所述邻居节点的最大处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点包括:
根据下式计算最大任务余量比率:
其中,Loadcur为所述目标节点的待处理任务数,Loadcur′为所述目标节点的预期待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,Load_linkk′为第k个所述邻居节点反馈的预期待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,MaxLoadcur为所述目标节点的最大处理任务数,MaxLoad_linkk为第k个所述邻居节点的最大处理任务数,FreeLoadRatiomax为所述最大任务余量比率;
将与所述最大任务余量比率对应的任务处理节点作为所述优选节点。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述的任务处理方法的步骤。
7.一种任务处理终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述终端设备应用于预设的分布式任务处理系统的目标节点中,所述分布式任务处理系统包括任务分发器和多个任务处理节点,所述目标节点为所述分布式任务处理系统中的任意一个任务处理节点,所述任务分发器至少与一个任务处理节点连接,且所述任务分发器与任意一个任务处理节点之间均有路径相通,所述处理器执行所述计算机可读指令时实现如下步骤:
接收所述任务分发器或者任意一个邻居节点发送的目标任务,所述邻居节点为与所述目标节点相连接的其它任务处理节点;
获取所述目标节点的待处理任务数;
向各个所述邻居节点发送任务数查询请求,并接收各个所述邻居节点反馈的待处理任务数;
根据所述目标节点的待处理任务数以及各个所述邻居节点反馈的待处理任务数计算所述目标节点的预期待处理任务数;
向各个所述邻居节点发送预期任务数查询请求,并接收各个所述邻居节点反馈的预期待处理任务数;
根据预设的节点配置表判断所述目标节点与各个所述邻居节点的配置是否相同;
若所述目标节点与各个所述邻居节点的配置均相同,则根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数以及各个所述邻居节点反馈的预期待处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点;
若选取出的所述优选节点为任意一个所述邻居节点,则将所述目标任务发送至所述优选节点,以使所述优选节点处理所述目标任务或者将所述目标任务发送至与所述优选节点连接的其它任务处理节点;
若选取出的所述优选节点为所述目标节点,则由所述目标节点处理所述目标任务。
8.根据权利要求7所述的任务处理终端设备,其特征在于,所述根据所述目标节点的待处理任务数以及各个所述邻居节点反馈的待处理任务数计算所述目标节点的预期待处理任务数包括:
根据下式计算所述目标节点的预期待处理任务数:
其中,Loadcur为所述目标节点的待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,Loadc′ur为所述目标节点的预期待处理任务数。
9.根据权利要求7所述的任务处理终端设备,其特征在于,所述根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数以及各个所述邻居节点反馈的预期待处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点包括:
根据下式计算最大任务余量:
FreeLoadmax=max{Loadcur′-Loadcur,max[Load_linkk′-Load_linkk]}
其中,Loadcur为所述目标节点的待处理任务数,Loadcur′为所述目标节点的预期待处理任务数,Load_linkk为第k个所述邻居节点反馈的待处理任务数,Load_linkk′为第k个所述邻居节点反馈的预期待处理任务数,1≤k≤Ncur,Ncur为所述邻居节点的总数,FreeLoadmax为所述最大任务余量;
将与所述最大任务余量对应的任务处理节点作为所述优选节点。
10.根据权利要求9所述的任务处理终端设备,其特征在于,在根据预设的节点配置表判断所述目标节点与各个所述邻居节点的配置是否相同之后,还包括:
若所述目标节点与任意一个所述邻居节点的配置不同,则从所述节点配置表中读取所述目标节点的最大处理任务数与各个所述邻居节点的最大处理任务数;
根据所述目标节点的待处理任务数、所述目标节点的预期待处理任务数、各个所述邻居节点反馈的待处理任务数、各个所述邻居节点反馈的预期待处理任务数、所述目标节点的最大处理任务数与各个所述邻居节点的最大处理任务数从所述目标节点和各个所述邻居节点中选取一个任务处理节点作为优选节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810121570.4A CN108446177B (zh) | 2018-02-07 | 2018-02-07 | 一种任务处理方法、计算机可读存储介质及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810121570.4A CN108446177B (zh) | 2018-02-07 | 2018-02-07 | 一种任务处理方法、计算机可读存储介质及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108446177A true CN108446177A (zh) | 2018-08-24 |
CN108446177B CN108446177B (zh) | 2020-05-15 |
Family
ID=63191666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810121570.4A Active CN108446177B (zh) | 2018-02-07 | 2018-02-07 | 一种任务处理方法、计算机可读存储介质及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108446177B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111381948A (zh) * | 2020-02-04 | 2020-07-07 | 北京贝思科技术有限公司 | 分布式计算任务处理方法、装备及电子设备 |
CN112256437A (zh) * | 2020-11-10 | 2021-01-22 | 网易(杭州)网络有限公司 | 一种任务分发方法及装置 |
CN112256437B (zh) * | 2020-11-10 | 2024-10-18 | 网易(杭州)网络有限公司 | 一种任务分发方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309738A (zh) * | 2013-05-31 | 2013-09-18 | 中国联合网络通信集团有限公司 | 用户作业调度方法及装置 |
CN105760240A (zh) * | 2014-12-16 | 2016-07-13 | 航天信息股份有限公司 | 分布式任务处理方法及装置 |
US20160239350A1 (en) * | 2015-02-12 | 2016-08-18 | Netapp, Inc. | Load balancing and fault tolerant service in a distributed data system |
US20170171036A1 (en) * | 2015-12-10 | 2017-06-15 | Automotive Research & Testing Center | Distributed network management system and method for a vehicle |
CN107516158A (zh) * | 2017-07-27 | 2017-12-26 | 深圳市佰仟金融服务有限公司 | 一种任务分配方法、装置及终端设备 |
-
2018
- 2018-02-07 CN CN201810121570.4A patent/CN108446177B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309738A (zh) * | 2013-05-31 | 2013-09-18 | 中国联合网络通信集团有限公司 | 用户作业调度方法及装置 |
CN105760240A (zh) * | 2014-12-16 | 2016-07-13 | 航天信息股份有限公司 | 分布式任务处理方法及装置 |
US20160239350A1 (en) * | 2015-02-12 | 2016-08-18 | Netapp, Inc. | Load balancing and fault tolerant service in a distributed data system |
US20170171036A1 (en) * | 2015-12-10 | 2017-06-15 | Automotive Research & Testing Center | Distributed network management system and method for a vehicle |
CN107516158A (zh) * | 2017-07-27 | 2017-12-26 | 深圳市佰仟金融服务有限公司 | 一种任务分配方法、装置及终端设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111381948A (zh) * | 2020-02-04 | 2020-07-07 | 北京贝思科技术有限公司 | 分布式计算任务处理方法、装备及电子设备 |
CN112256437A (zh) * | 2020-11-10 | 2021-01-22 | 网易(杭州)网络有限公司 | 一种任务分发方法及装置 |
CN112256437B (zh) * | 2020-11-10 | 2024-10-18 | 网易(杭州)网络有限公司 | 一种任务分发方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108446177B (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230376347A1 (en) | Task allocation method, apparatus, storage medium, and electronic device | |
JP6687788B1 (ja) | 分散型ロボットのスケジューリング決定方法、装置、システム並びに電子機器及び記憶媒体 | |
US9846589B2 (en) | Virtual machine placement optimization with generalized organizational scenarios | |
CN110162388A (zh) | 一种任务调度方法、系统及终端设备 | |
CN106294233B (zh) | 一种直接内存访问的传输控制方法及装置 | |
CN107798108A (zh) | 一种异步任务查询方法及设备 | |
CN112214307A (zh) | 在可用主机节点的约束内的容器化过程的执行 | |
Jiang et al. | The rich get richer: Preferential attachment in the task allocation of cooperative networked multiagent systems with resource caching | |
CN101305551A (zh) | 用于通信系统中的分布式工作流的构造和执行的方法 | |
CN101986271B (zh) | 调度tcam查询和刷新消息的方法和装置 | |
CN109968352A (zh) | 一种机器人控制方法及机器人、具有存储功能的装置 | |
WO2023083058A1 (zh) | 调度参数的调整方法、设备及存储介质 | |
CN109343972A (zh) | 任务处理方法及终端设备 | |
CN109818810A (zh) | 一种接入服务器连接优化方法、接入服务器以及通信系统 | |
CN108334408A (zh) | 代码执行方法、装置、终端设备及计算机可读存储介质 | |
CN107195144B (zh) | 管理支付终端硬件模块的方法、装置及计算机可读存储介质 | |
CN109241099A (zh) | 一种数据查询方法及终端设备 | |
CN110490724A (zh) | 账户数据的存储方法和装置 | |
CN105210038A (zh) | 核亲和性位掩码变换 | |
CN114070791A (zh) | 数据流量的限速处理方法及装置 | |
Chen et al. | From resource auction to service auction: An auction paradigm shift in wireless networks | |
CN107273187A (zh) | 读取位置获取方法及装置、计算机装置、可读存储介质 | |
CN108446177A (zh) | 一种任务处理方法、计算机可读存储介质及终端设备 | |
CN108153494A (zh) | 一种io请求处理方法及装置 | |
CN115361285B (zh) | 实现离在线业务混合部署的方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |