CN103581225A - 分布式系统中的节点处理任务的方法 - Google Patents

Abstract

本发明提出了一种分布式系统中的管理节点处理任务的方法，包括：接收外部的任务请求，将任务存放在所述管理节点的任务缓存器中；当有计算节点连接并请求任务时，将所述任务发送给所述计算节点；以及当所述计算节点发送任务处理结果时，接收所述任务结果。通过使用本发明，可以以简单的配置实现整个任务处理过程的自动化，降低管理成本，并且有利于及时发现和处理出现故障的计算节点。

Description

分布式系统中的节点处理任务的方法

技术领域

本发明总体上涉及分布式系统，尤其涉及免配置的分布式系统计算节点的管理方法。

背景技术

分布式系统通常由一个管理节点和多个计算节点组成。管理节点负责计算节点的管理、计算任务的分配和计算结果的管理。计算节点负责计算任务的实际处理。它从管理节点获取任务，然后执行任务，最后向管理节点反馈执行结果。基本系统架构如图1所示。

现有的技术中，管理节点通常需要事先配置好所有的计算节点，通过定期与计算节点通信，来检测计算节点的状态。当增加计算节点时，必须要先在管理节点上增加配置，任务才能分配给新增的计算节点。当需要减少计算节点时，必须要维护该节点正在处理的任务的状态或等待任务处理结束后，才能删除该计算节点。因此，计算节点变动时，管理节点的配置工作量较大，扩展性不够灵活。

同时，为了管理计算节点，管理节点必须与计算节点保持通信。有的方案中采用了长连接 + 心跳报文的模式来管理，有的方案中采用短连接 + 定期通信的机制来管理，这些模式和机制在设计上均较为复杂。

随着分布式系统应用的不断扩展，一些新的技术不断地被开发出来，旨在提高分布式系统的各项性能。例如公开号为CN101236513A的中国专利申请公开了一种分布式任务管理方法，包括以下步骤：任务服务器向任务事务服务器发送任务请求消息；所述任务事务服务器根据记录的各个任务的执行情况，判断所述任务服务器是否可以执行所述任务，并将判断结果发送到所述任务服务器；如果判断结果为是，则所述任务服务器执行所述任务。

再如，公布号为CN102387208A的中国专利公开了一种分布式任务调度方法，包括：任务表分发器向多个任务机发送任务表，其中，所述任务表包括所述多个任务机中每个任务机的定位标识、所述每个任务机对应的任务和所述任务之间的依赖关系表；所述多个任务机分布根据所述任务表中的所述对应的任务以及所依赖关系表确定自身是否为起始任务机；所述起始任务机根据所述任务表执行所述起始任务机所对应的任务；以及在所述对应的任务执行完成后，所述起始任务机根据所述依赖关系表通知所述起始任务机的后继任务机执行相应的任务。

但是，业内仍然期望更为先进的分布式系统中的任务处理方法，希望其相比于现有技术更为简单、高效和灵活。

发明内容

为了至少解决上述问题的一个方面，本发明提出了一种分布式系统中的管理节点处理任务的方法，包括：接收外部的任务请求，将任务存放在所述管理节点的任务缓存器中；当有计算节点连接并请求任务时，将所述任务发送给所述计算节点；以及当所述计算节点发送任务处理结果时，接收所述任务结果。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法中所述接收外部的任务请求的步骤还包括设置所述任务的状态为未执行。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法还包括当所述计算节点连接时，获取所述计算节点的信息，将所述信息存入所述管理节点的节点管理器，并将所述计算节点的状态设置为正常。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法还包括在将所述任务发送给所述计算节点时，记录所述任务执行的起始时刻，并将所述任务的状态修改为执行中。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法还包括在接收所述任务处理结果时，根据所述任务执行的起始时刻、当前时刻以及所述任务的超时时间判断所述任务的执行是否已超时，如果所述任务的执行未超时，将所述任务的状态设置为已完成；如果所述任务的执行已经超时，则不修改所述任务的状态。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法，还包括所述管理节点周期性轮询所述任务缓存器中的任务，对于所有状态为执行中的任务，判断其是否超时，如果超时，将其状态修改为未执行，将其任务执行的起始时刻清空，并将处理该任务的计算节点的状态设置为异常。

根据本发明的一个方面，所述分布式系统中的管理节点处理任务的方法还包括在计算节点的状态被设置为异常的情况下，如果所述计算节点有故障，则修复并重启所述计算节点，否则删除所述节点管理器中所述计算节点的信息。

本发明还提出了一种分布式系统中的计算节点处理任务的方法，包括：连接管理节点，向所述管理节点发送所述计算节点的信息，从所述管理节点接收任务，然后断开和所述管理节点的连接；处理所述任务；以及再连接所述管理节点，向所述管理节点发送所述计算节点的信息，并发送任务处理结果，然后断开和所述管理节点的连接。

根据本发明的一个方面，所述分布式系统中的计算节点处理任务的方法还包括在预定时间后重复所述连接管理节点、处理所述任务、再连接所述管理节点的步骤。

根据本发明的一个方面，所述分布式系统中的计算节点处理任务的方法中连接管理节点的步骤还包括在所述管理节点中没有任务的情况下，间隔一段时间后重新连接所述管理节点。

通过使用本发明，可以以简单的配置实现整个任务处理过程的自动化，降低管理成本，并且有利于及时发现和处理出现故障的计算节点。

附图说明

为便于理解，下面参照附图通过非限定性例子来描述本发明的实施例。图中： 

图1示出了现有技术中的分布式系统的架构；

图2示出了根据本发明的一个实施例的分布式系统的架构。

具体实施方式

除非另加具体说明，正如从以下论述中也可以认识到的那样，在本说明书的通篇中，利用诸如“处理”、“设置”之类术语的论述表示使用诸如计算机或类似电子计算装置之类的特定设备的动作或过程。在本说明书的上下文中，计算机或者类似电子计算装置能够操纵或变换信号。这些信号在计算机或类似电子计算装置的存储器、寄存器或者其它信息存储装置、传输装置或者显示装置中通常表示为物理电子或磁量。例如，电子计算装置可以包括执行一个或更多的特定功能的一个或更多的处理器。

本文中的术语“任务”是指按照预先制定的策略执行的一个工作。一些任务系统采用的是单系统，即在整个系统中只有一个计算节点来处理任务。单系统的处理能力有限。随着任务的复杂度和时限要求的不断提高，系统需要处理的任务也越来越重，因此单系统在很多情况下已经不能满足应用的需求。为了提高系统处理能力，可以采用分布式系统来执行任务。

在本发明，分布式系统的基本结构如图2所示，其包括一个管理节点和多个计算节点。图2中示出了三个计算节点，但这仅仅是作为示例。节点的实际数量可以是任意的，并且在本发明中可以动态配置。而动态配置的计算节点数量这一特性正是由于本发明的独特方案所带来的优点之一。显然，技术计算节点的数量越多，系统的计算能力越强，但管理的开销也越大。本发明的优势在计算节点较多时更为明显。

在本发明中，每个任务被设置有三个属性：（1）任务执行起始时刻；（2）任务状态，其具体包括“未执行”、“执行中”、“已完成”三种状态；（3）任务超时时间。如果超过了该任务超时时间而任务的执行仍然没有完成，系统就认定该任务的执行出现了异常情况。任务超时时间是任务正常处理所需要的时间加上一定的冗余量来确定。在负载均衡的分布式计算环境中，不同任务的处理时间很接近，并且时长都很短，一般在几秒钟到几分钟之间，因此也可以简化为统一的全局超时时间，该属性为固定属性。

如图2所示，管理节点具有节点管理器和任务缓存器。节点管理器用于存储连接到管理节点的计算节点的信息。任务缓存器用于存储从外部接收到的任务。

在本发明中，每个连接到管理节点的计算节点被赋予两种状态：正常或者异常。连接到管理节点的计算节点的状态首先都被设置为正常。但如果在计算节点在其后执行任务的过程中没有能够正常地完成任务，则该计算节点的状态会被设置为异常。

按照本发明的一个实施例，计算节点在启动后将首先连接管理节点，发送本节点的信息，接收任务，然后断开连接。但如果当前管理节点中没有需要处理的任务，则计算节点会在间隔一定时间后重复上述步骤。

如果在连接管理节点后，计算节点接收到了任务，其将断开和管理节点的联系。然后计算节点独立地任务该处理，直至任务处理结束。这里的“独立”指的是在这一过程中，计算节点和管理节点之间没有连接。

在任务处理完成以后，计算节点再次连接管理节点，发送本节点的信息，并发送任务处理结果，然后断开连接。

上述步骤反复地重复，直至计算节点停止工作。在整个过程中，计算节点均可以随时中断工作。不论主动停止还是由于故障停止都不会影响任务的完成。

根据本发明的一个实施例，管理节点启动后首先接收外部的任务请求，并将任务存放在任务缓存器中，将任务的状态初始为“未执行”。和现有技术不同，管理节点中存放的任务并不会主动地被发送给计算节点。而事实上，如果没有计算节点主动地连接管理节点，管理节点将不能获知计算节点的信息。

当有计算节点连接管理节点时，管理节点将进行如下处理：

1) 获取该计算节点的信息，将这些信息存入节点管理器，并将该计算节点状态置为“正常”。

2) 如果该计算节点请求任务，则从任务缓存器中选择一个处于“未执行”状态的任务发送给该计算节点。这时，将该任务的“任务执行起始时刻”属性填写为当前时刻，将“任务状态”属性修改为“执行中”。

3) 如果计算节点发送任务处理结果，则接收该任务结果，并根据任务超时时间、任务执行起始时刻、以及计算节点发送任务处理结果的当前时刻这三个参数判断任务是否已超时。例如，假设某任务的任务超时时间为60秒，其任务执行起始时刻为某日8时20分整，计算节点发送任务处理结果的时刻为8时20分50秒，则判断本次任务的执行没有超时。如果计算节点发送任务处理结果的时刻为8时21分20秒，则判断本次任务的执行超时。如果没有超时，则将该任务状态设置为“已完成”。相反，如果超时，则不做任何处理。

4) 断开该计算节点和管理节点的连接。

管理节点周期性轮询任务缓存器中的任务，对于所有“执行中”的任务，根据任务超时时间、任务执行起始时刻属性、以及当前时刻这三个参数判断是否超时。例如，假设某任务的任务超时时间为60秒，其任务执行起始时刻为某日8时20分整，轮询该任务时的当前时刻为8时20分50秒，则判断本次任务的执行没有超时。如果当前时刻为8时21分20秒，则判断本次任务的执行超时。如果超时，将“任务状态”修改为“未执行”，将“任务执行起始时刻”清空，并将执行该任务的计算节点的状态置为“异常”，同时进行报警。

如果“异常”的计算节点被确认为正常停止，则删除节点管理器中的该计算节点信息。如果确认为计算节点故障，则修复故障后重新启动该计算节点即可，管理节点无需操作。

本发明对计算节点和管理节点的传统通信方式作出了改进，使得管理节点不需要事先配置计算节点的信息，仅需要在运行过程中动态地管理计算节点，从而降低了管理成本。这样的技术效果的获取也是利用了分布式计算中单任务时间较短的特点。由于将任务超时视作任务未执行，将超时的任务再交予其他计算节点来处理。整个过程实现了自动化，无需人工管理。

采用该方案后，管理节点不需要主动与计算节点通信，计算节点上仅需要通信客户端模块，不需要通信服务端模块，减少了通信的复杂度。在实施中，计算节点的增加和删除均无需事先通知管理节点。管理节点通过计算节点的任务请求得知节点的增加，通过超时机制来得知节点的删除，减少了设计的复杂度。

在分布式计算环境中，通常单个任务的处理时间较短，一般为几秒钟到几分钟，因此，发现计算节点故障的时间也是在几分钟之内，对故障处理的及时性影响较小。同时，单个任务处理失败或处理超时后的重启时间开销也较小。

这里所述的方法可按照特定特征或示例至少部分根据应用通过各种方式来实现。例如，这种方法可通过硬件、固件、软件或者它们的任何组合来实现。在硬件实现中，例如，装置可在一个或更多的专用集成电路(ASICs)、数字信号处理器(DSPs)、数字信号处理装置(DSPDs)、可编程逻辑器件(PLDs)、现场可编程门阵列(FPGAs)、处理器、控制器、微控制器、微处理器、电子装置或者设计成执行诸如这里所述的功能的其它装置单元或者它们的任何组合中实现。

同样，在一些实施例中，方法可采用执行这里所述功能或者它们的任何组合的模块来实现。例如，有形地具体化指令的任何机器可读介质可在实现这类方法中使用。在一实施例中，例如，软件或代码可存储在存储器中并且由处理单元来运行。存储器可在处理单元中和/或处理单元外部来实现。这里所使用的术语“存储器”表示任何类型的长期、短期、易失性、非易失性或者其它存储器，并且并不局限于存储器的任何特定类型或者存储器的数量或者存储介质的类型。

存储介质可包括可由计算机、计算平台、计算装置等等来访问的任何可用介质。作为举例而不是限制，计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或者其它磁存储装置，或者可用于携带或存储采取指令或数据结构形式的期望的程序代码并且可由计算机、计算平台或计算装置来访问的其它任何介质。

虽然上文已经示出了当前被认为是示例特征的内容，但是本领域的技术人员将会理解，在不背离要求保护的主题的情况下，可以对本发明中所描述的具体实施例进行各种修改。因此，要求保护的主题并不局限于所公开的特定示例，相反，其包括了落入所附权利要求的范围之内的所有内容。

Claims (10)

1.一种分布式系统中的管理节点处理任务的方法，包括：

接收外部的任务请求，将任务存放在所述管理节点的任务缓存器中；

当有计算节点连接并请求任务时，将所述任务发送给所述计算节点；以及

当所述计算节点发送任务处理结果时，接收所述任务结果。

2.如权利要求1所述的分布式系统中的管理节点处理任务的方法，其中所述接收外部的任务请求的步骤还包括设置所述任务的状态为未执行。

3.如权利要求2所述的分布式系统中的管理节点处理任务的方法，还包括当所述计算节点连接时，获取所述计算节点的信息，将所述信息存入所述管理节点的节点管理器，并将所述计算节点的状态设置为正常。

4.如权利要求3所述的分布式系统中的管理节点处理任务的方法，还包括在将所述任务发送给所述计算节点时，记录所述任务执行的起始时刻，并将所述任务的状态修改为执行中。

5.如权利要求4所述的分布式系统中的管理节点处理任务的方法，还包括在接收所述任务处理结果时，根据所述任务执行的起始时刻、当前时刻以及所述任务的超时时间判断所述任务的执行是否已超时，如果所述任务的执行未超时，将所述任务的状态设置为已完成；如果所述任务的执行已经超时，则不修改所述任务的状态。

6.如权利要求4所述的分布式系统中的管理节点处理任务的方法，还包括所述管理节点周期性轮询所述任务缓存器中的任务，对于所有状态为执行中的任务，判断其是否超时，如果超时，将其状态修改为未执行，将其任务执行的起始时刻清空，并将处理该任务的计算节点的状态设置为异常。

7.如权利要求6所述的分布式系统中的管理节点处理任务的方法，还包括在计算节点的状态被设置为异常的情况下，如果所述计算节点有故障，则修复并重启所述计算节点，否则删除所述节点管理器中所述计算节点的信息。

8.一种分布式系统中的计算节点处理任务的方法，包括：

连接管理节点，向所述管理节点发送所述计算节点的信息，从所述管理节点接收任务，然后断开和所述管理节点的连接； 

处理所述任务；以及

再连接所述管理节点，向所述管理节点发送所述计算节点的信息，并发送任务处理结果，然后断开和所述管理节点的连接。

9.如权利要求8所述的分布式系统中的计算节点处理任务的方法，还包括在预定时间后重复所述连接管理节点、处理所述任务、再连接所述管理节点的步骤。

10.如权利要求8或9所述的分布式系统中的计算节点处理任务的方法，其中连接管理节点的步骤还包括在所述管理节点中没有任务的情况下，间隔一段时间后重新连接所述管理节点。

Images