CN111427682A

CN111427682A - 任务分配方法、系统、装置及设备

Info

Publication number: CN111427682A
Application number: CN202010165534.5A
Authority: CN
Inventors: 周仁丹; 钟洋; 李为胜; 陈传义
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2020-03-11
Filing date: 2020-03-11
Publication date: 2020-07-17
Anticipated expiration: 2040-03-11
Also published as: CN111427682B

Abstract

公开了任务分配方法、系统、装置及设备。在海量案件数据需要进行分配时，把海量案件进行切块，并发送至分配节点。任一分配节点对于当前处理节点的任务数量进行不稳定排序，从而在不同的分配节点进行任务分配时引入了随机性，保障了案件分配的公平性。

Description

任务分配方法、系统、装置及设备

技术领域

本说明书实施例涉及信息技术领域，尤其涉及任务分配方法、系统、装置及设备。

背景技术

在大数据的场景下，经常需要对于海量的任务进行分发，从而经常需要引入多个分配节点进行间接的分配，而由于各分配节点之间在分配任务时的独立性，则往往造成在各处理节点接收到的任务不公平。

基于此，需要一种可以实现公平分配任务的方案。

发明内容

本申请实施例的目的是提供一种实现公平分配任务的方案。

为解决上述技术问题，本申请实施例是这样实现的：

一方面，本说明书实施例提供一种任务分配方法，应用于包括业务节点和多个分配节点的系统中，所述方法包括：

业务节点，获取多个待分配任务，生成多个大小相同的任务块，将所述任务块发送至各分配节点，其中，每个任务块中包含有至少一个待分配任务；

任一接收到任务块的分配节点，获取当前每个处理节点中的任务数量，根据任务数量对所述多个处理节点进行不稳定排序，确定各处理节点的排列顺序；

按照所述排列顺序，从接收到的任务块中分配指定数量的待分配任务至排序靠前的处理节点中。

与一方面对应的，本说明书实施例还提供一种任务分配系统，包括业务节点和多个分配节点，其中，

另一方面，本说明书实施例还提供一种任务分配方法，应用于分配节点中，所述方法包括：

接收业务节点所发送的任务块；

获取当前每个处理节点中的任务数量；

根据任务数量对所述多个处理节点进行不稳定排序，确定各处理节点的排列顺序；

与另一方面对应的，本说明书实施例还提供一种任务分配装置，应用于分配节点中，所述装置包括：

接收模块，接收业务节点所发送的任务块；

获取模块，获取当前每个处理节点中的任务数量；

排序模块，根据任务数量对所述多个处理节点进行不稳定排序，确定各处理节点的排列顺序；

分配模块，按照所述排列顺序，从接收到的任务块中分配指定数量的待分配任务至排序靠前的处理节点中。

通过本说明书实施例所提供的方案，在海量案件数据需要进行分配时，把海量案件进行切块，并发送至分配节点。任一分配节点对于当前处理节点的任务数量进行不稳定排序，从而在不同的分配节点进行任务分配时引入了随机性，保障了案件分配的公平性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。

此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为当前技术中所涉及的一种系统架构的示意图；

图2是本说明书实施例提供的一种任务分配方法的流程示意图；

图3是本说明书实施例提供的一种任务分配方法的流程示意图；

图4为本说明书实施例所提供的一种任务分配装置的结构示意图；

图5是用于配置本说明书实施例方法的一种设备的结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。

在任务的分配过程中，为了保障公平性(即各处理节点得到的任务数量差不多，或者处理需要消耗的资源接近)，一种常用的分配方式是单点进行，通过轮询式的分配，可以保障各分配的公平性，但缺点同时也很明显，在海量案件情况下，运行效率无法保证。

因此，为了保障对大量案件实现高效的分配，实际应用中一般不采用单点分配，而是引入多个分配节点，如图1所示，图1为当前技术中所涉及的一种系统架构的示意图。在这种架构下，业务节点先把任务分块，发给各分配节点，各分配节点之间再把各自接收到的任务块进行分配。

在这样的情形下，如果仍然按照单点分配的方式，那就有可能出现分配不均的情形。例如，在图2中，假设A、B和C三个分配节点每人均有10个任务要分发至处理节点1、2和3，每个分配节点都执行同样的单点分配的方式。这样对于分配节点A而言，其分发任务的结果是1号处理节点4个任务，2号节点3个任务，3号节点3个任务，对于分配节点B和C而言，由于各分配节点采用的是同样的分配算法，因此，一般而言将会得到同样的分配结果，那么最终而言，处理节点1、2和3的分配结果是1号处理节点12个，2号和3号处理节点各9个。在海量任务需要进行分配的时候，由于分配节点增多，这种不公平性会被放大而凸显出来，基于此，需要一种更加公平的分配方案。

以下结合附图，详细说明本说明书各实施例提供的技术方案。一方面，如图2所示，图2是本说明书实施例提供的一种任务分配方法的流程示意图，应用于包括业务节点和多个分配节点的系统中，该流程具体包括如下步骤：

S201，业务节点，获取多个待分配任务，生成多个大小相同的任务块，将所述任务块发送至各分配节点。

多个待分配任务可以是同一个业务属性的任务，也可以是不同业务属性的任务。例如，业务节点可以首先建立一个任务池，任何任务都可以被放置于该任务池中。同时，在任务池中还可以进行分区，将具有相同业务属性的任务放置在用同一个分区中，以待获取。

而在获取待分配任务时，则可以根据用户的需求，来决定如何获取。例如，业务方需要对某一个分区中的任务单独进行分配，而可以仅从该分区中获取同类型的任务并分块；若业务方没有特别明显的需求，也可以直接从任务池中按照入池的先后顺序获取待分配任务并进行分块。

获取得到多个待分配的任务之后，即可以对待分配任务进行划块。具体而言，可以划分为待分配任务数量相等的任务块；或者，在每个任务的占用空间均相同时，生成占用空间大小相同的任务块。通常而言，任务块中的任务数量需要远大于处理节点的数量。

在一种实施方式中，还可以根据待分配任务的业务属性进行排序，从而可以将同类型业务属性的任务进行集中分块，保证同一个任务块中基本都是同一类型的任务，从而可以方便分配节点进行分配，进一步地的提高分配时的公平性。

例如，假设有三不同业务属性的任务，对于处理节点而言，要消耗的资源比例分别是1份、2份和3份。显然，为了避免资源浪费，应当保证同一类型的任务均分到各处理节点。例如，在一个任务块中仅包含一个类型的任务，这样，分配节点接收到的任务块就是只有同一类型任务的任务块，只要分配节点能够做到对该数据块的公平均分，即可以实现公平分配。

换言之，对于业务节点而言，可以在划分任务块的时候就设定一个任务块中只能包含一个业务属性，从而生成仅符合要求的任务块。当然，在这种方式下，可能会出现某些块中的任务数量不足的情形。例如，当前有1083个一号类型任务待分配，每个任务块中要求100个任务，且不得含有其它类型任务，这样，最后一个任务块就会只有83个任务，在这种情形下，可以将这83个任务暂缓成块，而放入下一批任务块中。

当然，如果预设的要求是“任务块中的业务属性不超过2个”，此时，则还可以将另一种类型的任务补齐到该数据块中，生成包含100个任务的任务块。

需要说明的是，本说明书实施例中所提及的“任务块”，本质上依然是包含了任务数据的数据包，在有需要的情形下，基于预设的通信协议，任务块也可以被分配节点或者处理节点进行解析，从而获取得到其中所包含的每一条任务数据。

在生成了多个数据块之后，业务节点即可以将任务块发送至各分配节点，在一种实施方式中，即可以进行单点式的轮询均分，也可以根据各分配节点的性能，按照预设的比例进行发送。

S203，任一接收到任务块的分配节点，获取当前每个处理节点中的任务数量，根据任务数量对所述多个处理节点进行不稳定排序，确定各处理节点的排列顺序。

在本说明书实施例中，各分配节点之间独立向处理节点执行分配任务，即一个分配节点的分配过程不会影响到另一个分配节点的分配过程。各分配节点所采用的分配算法可以是相同的。

每个处理节点中的任务数量可以预先进行统计，并存储于分配节点可以读取的数据库中。例如，存储于开放数据处理服务(Open Data Processing Service，ODPS)平台中。

分配节点对于各处理节点中的任务数量进行不稳定排序。例如，可以包括选择排序、希尔排序、组合排序、堆排序、平滑排序、快速排序等等。通过不稳定排序可能会在相等的键值中改变纪录的相对次序。

不稳定排序可以是升序排列(此时，排在最前的即为任务数量最少的处理节点)，也可以是降序排列(此时，排在最后的即为任务数量最少的处理节点)，在本说明书实施例中以升序排列为例。

例如，假设三个处理节点1、2和3中的任务数量都是0，这个时候，如果每个分配节点都根据任务数量进行不稳定排序，虽然最终在任务数量上都是表现为0、0、0，但是实际上基于不稳定排序，在每个分配节点中的“0、0、0”所对应的处理节点的顺序则已经不同。

在分配节点A中的排序结果，“0、0、0”可能对应于处理节点“1、2、3”，而在分配节点B的排序结果，“0、0、0”可能对应于处理节点“3、2、1”，由于这种排序带有随机性，因此，在每个分配节点中，任务数量最少的节点如果存在多个时，排序在最前的处理节点实际上是随机而没有规律的。

S205，分配节点，按照所述排列顺序，从接收到的任务块中分配指定数量的待分配任务至排序靠前的处理节点中。

从而，该分配节点可以从接收到的任务块中分配指定数量的待分配任务至排序靠前的处理节点中。并且，在对序靠前的处理节点进行本次分配之后，更新当前的处理节点的任务数量，并重新进行不稳定排序，从而得到更新后的排列顺序，并再次分配指定数量的待分配任务至排序靠前的处理节点中，循环这个过程，直至任务块里所有的任务都分配完毕。

在其它的分配节点中，也同样执行前述的分配过程，容易理解，如果任务数量最少的处理节点仅有一个，则每次分配都可以保证分配至数量最少的处理节点中；而如果任务数量最少的处理节点存在多个，则基于不稳定排序的随机性，可以实现在众多分配节点间实现对于各处理节点的随机分配，在分配节点较多时，容易理解基于随机性，任务数量最少的处理节点所被分配到的次数基本是相同的，从而保证了对于整体处理节点的公平分配。

在实际应用中，各任务进行处理时所需要的资源可能并不相同，因此，需要更准确的根据各处理节点的实际负荷来进行任务分配。基于此，在一种实施方式中，分配节点在获取当前每个处理节点中的任务数量时，还可以计算加权数量。即，针对任一处理节点，获取该处理节点中所包含的业务属性；确定各业务属性所对应的排序权重，根据排序权重计算得到该处理节点中的加权任务数量，将所述加权任务数量确定为该处理节点的任务数量。

例如，某处理节点中包含两种类型的任务，任务1，数量100，排序权重1，任务2，数量50，排序权重2，从而可以计算得到加权任务数量为N＝100*1+50*2＝100。通过对不同类型的任务进行排序加权，可以更贴近实际的反应出各处理节点的负载，从而实现更公平的分配。

进一步地，在一轮任务分配完成之后(即步骤S201中的多个待分配任务已经均为分配完毕之后)，业务节点还可以将各处理节点的任务数量进行汇总，并存储于数据库中，例如存储于前述的odps表中，更新该表中的数据以便进行下一轮的任务分配，从而保障持续性的公平分配。

本说明是实施例所提供的方案可以应用于多种场景下。例如，当前用户网贷数量很多，进而逾期不换的数量也是海量的，从而在网商银行中需要将各种逾期的借贷分配给各催收机构，并且尽量保证各催收机构所接收到的任务数量基本公平，以实现更好的质量管理。

基于此，网商银行可以定期的将逾期贷款从系统中抓取，并放入逾期任务池中，并且可以根据逾期金额、逾期时间等等业务属性进行分类。业务节点从某一类的逾期任务池中抓取一定数量的任务，打包并生成生成多个数量相等的任务块发送给各分配节点进行分配。

各分配节点即可以即时的从ODPS表格中获取各催收机构或者各催收人员的手上任务数量，并进行不稳定升序排序，进而一次将一定任务的数量分配给排序最前的机构或者人员，在一次分配之后即更新数量、重新进行排序并再次将一定任务的数量分配给排序最前的机构或者人员，重复前述过程直至块中的任务被分配完毕，在所有分配节点接收到的数据块被分配完毕之后，汇总各催收机构或者人员的分配结果，并更新ODPS中的任务分配数表格，以便下一轮的任务分配。

与一方面对应的，本说明书实施例还提供一种任务分配系统，包括业务节点和多个分配节点，其中，业务节点，获取多个待分配任务，生成多个大小相同的任务块，将所述任务块发送至各分配节点，其中，每个任务块中包含有至少一个待分配任务；任一接收到任务块的分配节点，获取当前每个处理节点中的任务数量，根据任务数量对所述多个处理节点进行不稳定排序，确定各处理节点的排列顺序；按照所述排列顺序，从接收到的任务块中分配指定数量的待分配任务至排序靠前的处理节点中。

在所述系统中，所述业务节点，获取所述待分配任务的业务属性，根据所述业务属性对所述多个待分配任务进行排序；对排序后的多个待分配任务进行划块，生成多个大小相同的任务块，其中，在同一个任务块中所包含的业务属性不超过指定数量。

在所述系统中，所述业务节点，生成待分配任务数量相等的任务块；或者，生成占用空间大小相同的任务块。

在所述系统中，所述分配节点，针对任一处理节点，获取该处理节点中所包含的业务属性；确定各业务属性所对应的排序权重，根据排序权重计算得到该处理节点中的加权任务数量，将所述加权任务数量确定为该处理节点的任务数量。

在所述系统中，所述业务节点，汇总各处理节点所接收到的待分配任务的数量，生成汇总结果；根据所述汇总结果更新每个处理节点中的任务数量，以进行下一轮的任务分配。

另一方面，本说明书实施例还提供一种任务分配方法，如图3所示，图3是本说明书实施例提供的一种任务分配方法的流程示意图，应用于分配节点中，包括：

S301，接收业务节点所发送的任务块；

S303，获取当前每个处理节点中的任务数量；

S305，根据任务数量对所述多个处理节点进行不稳定排序，确定各处理节点的排列顺序；

S307，按照所述排列顺序，从接收到的任务块中分配指定数量的待分配任务至排序靠前的处理节点中。

对应的，本说明书实施例还提供一种任务分配装置，应用于分配节点中，如图4所示，图4为本说明书实施例所提供的任务分配装置的结构示意图，所述装置包括：

接收模块401，接收业务节点所发送的任务块；在各分配节点间，接收到的任务块的大小相同，即任务块中的任务数量相同，或者，在每个任务的占用空间均相同时，也可以是任务块的占用空间大小相同。

获取模块403，获取当前每个处理节点中的任务数量；

排序模块405，根据任务数量对所述多个处理节点进行不稳定排序，确定各处理节点的排列顺序；

分配模块407，按照所述排列顺序，从接收到的任务块中分配指定数量的待分配任务至排序靠前的处理节点中。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现图3所示的任务分配方法。

图5示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现图3所示的任务分配方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、方法、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims

1.一种任务分配方法，应用于包括业务节点和多个分配节点的系统中，所述方法包括：

2.如权利要求1所述的方法，生成多个大小相同的任务块，包括：

获取所述待分配任务的业务属性，根据所述业务属性对所述多个待分配任务进行排序；

对排序后的多个待分配任务进行划块，生成多个大小相同的任务块，其中，在同一个任务块中所包含的业务属性不超过指定数量。

3.如权利要求1所述的方法，生成多个大小相同的任务块，包括：

生成待分配任务数量相等的任务块；或者，

生成占用空间大小相同的任务块。

4.如权利要求1所述的方法，获取当前每个处理节点中的任务数量，包括：

针对任一处理节点，获取该处理节点中所包含的业务属性；

确定各业务属性所对应的排序权重，根据排序权重计算得到该处理节点中的加权任务数量，将所述加权任务数量确定为该处理节点的任务数量。

5.如权利要求1所述的方法，所述方法还包括：

业务节点，汇总各处理节点所接收到的待分配任务的数量，生成汇总结果；

根据所述汇总结果更新每个处理节点中的任务数量，以进行下一轮的任务分配。

6.一种任务分配系统，包括业务节点和多个分配节点，其中，

7.如权利要求6所述的系统，所述业务节点，获取所述待分配任务的业务属性，根据所述业务属性对所述多个待分配任务进行排序；对排序后的多个待分配任务进行划块，生成多个大小相同的任务块，其中，在同一个任务块中所包含的业务属性不超过指定数量。

8.如权利要求6所述的系统，所述业务节点，生成待分配任务数量相等的任务块；或者，生成占用空间大小相同的任务块。

9.如权利要求6所述的系统，所述分配节点，针对任一处理节点，获取该处理节点中所包含的业务属性；确定各业务属性所对应的排序权重，根据排序权重计算得到该处理节点中的加权任务数量，将所述加权任务数量确定为该处理节点的任务数量。

10.如权利要求6所述的系统，所述业务节点，汇总各处理节点所接收到的待分配任务的数量，生成汇总结果；根据所述汇总结果更新每个处理节点中的任务数量，以进行下一轮的任务分配。

11.一种任务分配方法，应用于分配节点中，所述方法包括：

接收业务节点所发送的任务块；

获取当前每个处理节点中的任务数量；

12.一种任务分配装置，应用于分配节点中，所述装置包括：

接收模块，接收业务节点所发送的任务块；

获取模块，获取当前每个处理节点中的任务数量；

13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至5任一项所述的方法。