CN103401712A - 一种基于内容分发的智能高可用任务处理方法和系统 - Google Patents

Abstract

本发明涉及一种基于内容分发的智能高可用任务处理方法和系统，由控制端将任务内容分配至各节点，各节点通过与互联网通信执行相应的任务，控制端与节点之间采用长连接作为心跳检测机制；控制端与任一节点之间的线路出现故障时，控制端取消该节点的任务分配，该节点继续执行剩余的任务直到完成；任一节点与互联网之间的线路出现故障时，该节点停止执行任务并回馈故障信息给控制端，控制端停止向该节点分配任务。本发明结合传统的高可用技术，使任务具备智能的高可用，自动化程度高，很容易的实现横向扩展，可以用于计算机任务、作业的分发，目前主要应用于企业内部分布式蜘蛛对数据的抓取。

Description

一种基于内容分发的智能高可用任务处理方法和系统

技术领域

本发明属于网络技术领域，涉及一种基于内容分发的智能高可用任务处理方法和系统。

背景技术

高可用性”（High Availability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。高可用就是将计算机或应用设计成冗余，以消除单点故障。

计算机系统的可靠性用平均无故障时间（MTTF）来度量，即计算机系统平均能够正常运行多长时间，才发生一次故障。系统的可靠性越高，平均无故障时间越长。可维护性用平均维修时间（MTTR）来度量，即系统发生故障后维修和重新恢复正常运行平均花费的时间。系统的可维护性越好，平均维修时间越短。计算机系统的可用性定义为：MTTF/(MTTF+MTTR)*100%。由此可见，计算机系统的可用性定义为系统保持正常运行时间的百分比。参与高可用的服务器中，一台充当主服务器对外提供服务，其他的则作为备份机待命。主服务器和备份机上都运行High Availability监控程序，通过传送诸如“I am alive”这样的信息来监控对方的运行状况。当备份机不能在一定的时间内收到这样的信息时，它就接管主服务器的服务IP并继续提供服务；当备份机又从主服务器收到“I am alive”这样的信息时，它就释放服务IP地址，这样的主服务器就开始再次进行集群管理的工作了。为在主服务器失效的情况下系统能正常工作，在主、备份机之间实现负载集群系统配置信息的同步与备份，保持二者系统的基本一致。

应用的高可用一般是利用同步复制、Replication机制来保证，用软件自带或第三方插件（模块）来做自动侦测(Auto-Detect)，当主的应用出现问题，如服务宕掉或服务所在的服务器故障，则备用的应用（服务）将自动切换(Auto-Switch)为主的应用，并对外提供服务。额外的可以设计成当主服务器故障恢复时，自动恢复(Auto-Recovery)成为主。高可用集群如图1所示，其中VIP（Virtual IP Address）是虚拟IP地址，主要是用来进行不同主机之间的切换，主要用在服务器的主从切换；HA（High Availability）是高可用，由运行高可用性监控程序监控彼此的运行情况。

面对高速发展的互联网，互联网应用的多元化，海量的数据存储，各种数据的处理，数据的重要性可想而知，可以说数据俨然是一个企业甚为宝贵的资源，保证99.99%的高可用性就变的相当重要了。然而企业对数据处理的多样化，迫切需要不同于以往的高可用技术，需要有针对性的创新以满足企业对自己业务的需求。

发明内容

本发明的目的是提供一种基于内容分发的智能高可用任务处理方法和系统，能够使任务具备智能的高可用性。

为实现上述目的，本发明采用如下技术方案：

一种基于内容分发的智能高可用任务处理方法，其步骤包括：

1）控制端将任务内容分配至各节点，各节点通过与互联网通信执行相应的任务，控制端与节点之间采用长连接作为心跳检测机制；

2）控制端与任一节点之间的线路出现故障时，控制端取消该节点的任务分配，该节点继续执行剩余的任务直到完成；

3）任一节点与互联网之间的线路出现故障时，该节点停止执行任务并回馈故障信息给控制端，控制端停止向该节点分配任务。

进一步地，控制端维护一个总的任务列表，对已分发的任务进行标记，利用多线程处理节点反馈的信息；节点使用缓存队列存放控制端下发的任务，并使用计数器累计任务发送数据，计算已发送任务在总的任务中的偏移，并实时反馈给控制端。

进一步地，在节点与互联网之间的线路出现故障时，该节点回写内存队列任务到磁盘并记录相关日志，待故障消除后继续执行未完成的工作。

进一步地，在节点与互联网之间的线路出现故障时，控制端记录该节点的任务的偏移量和该故障的时间戳，若超过一定的时间故障仍未消除，则控制端回收该节点剩下的任务并指示该节点删除磁盘的任务列表。

一种基于内容分发的智能高可用任务处理系统，包括一控制端和分别与其建立通信连接的若干节点，控制端与各节点之间采用长连接作为心跳检测机制；

所述控制端负责：将任务内容分配至各节点；在控制端与任一节点之间的线路出现故障时，取消该节点的任务分配；在任一节点与互联网之间的线路出现故障时，接收该节点回馈的故障信息并停止向该节点分配任务；

所述节点负责：接收所述控制端分配的任务内容并通过与互联网通信执行相应的任务；在控制端与任一节点之间的线路出现故障时，继续执行剩余的任务直到完成；在任一节点与互联网之间的线路出现故障时，停止执行任务并回馈故障信息给控制端。

本发明在传统的高可用技术基础上，提出一种基于内容分发的高可用任务处理方案，能够使任务具备智能的高可用。该方案的自动化程度高，管理员只需要向控制端下发总任务，后续工作交给控制端处理。该方案很容易的实现横向扩展，使服务可用性（MTTF/(MTTF+MTTR)*100%）达到99.999%。本发明可以用于计算机任务、作业的分发，比如应用于企业内部分布式蜘蛛对数据的抓取等。

附图说明

图1是现有技术的高可用集群示意图。

图2是本发明实施例的基于内容分发的智能高可用任务处理系统的应用环境架构图。

具体实施方式

下面通过具体实施例和附图，对本发明做详细的说明。

图2是本发明实施例的基于内容分发的智能高可用任务处理系统的应用环境架构图。由控制端将任务内容分配至各节点，由各节点通过与互联网（Internet）通信执行各自获得的任务。具体应用场景可以是分布式的蜘蛛爬虫、短信机器人的群发等等。本实施例主要是利用蜘蛛爬取并收集Internet的数据，并对数据进行分析。以下将“内容”统一称为任务。

上述架构是基于C/S的星状架构，其中控制端对应服务器端，各节点对应客户端，该高可用环境通过以下技术实现：

1）程序主要采用java开发，利用RMI（EJB）技术进行分布式的设计，通过RMI客户端与服务器进行交互，客户端接收服务器端的消息（任务），并执行。

2）采用长连接作为心跳检测机制，节点和控制端互为发送心跳线。

该高可用环境利用长连接作为心跳检测机制,节点和控制端互为发送心跳线，实现keepalive（即时定时器）功能。所谓长连接，指在一个连接上可以连续发送多个数据包，在连接保持期间，如果没有数据包发送，需要双方发链路检测包。长连接的维持，需要节点程序定时向控制端程序发送一个维持连接包，如果长时间未发送维持连接包，控制端程序将断开连接。

长连接的实现原理：若在一个给定连接上，在一定时间内（下面以两小时为例进行说明）无任何活动，控制端便向节点发送一个探测段。节点（即客户端）主机必须是下列四种状态之一：

a)客户端主机依旧活跃（up）运行，并且从服务器可到达。从客户端TCP的正常响应，服务器知道对方仍然活跃。服务器的TCP为接下来的两小时复位存活定时器，如果在这两个小时到期之前，连接上发生应用程序的通信，则定时器重新为往下的两小时复位，并且接着交换数据。

b)客户端已经崩溃，或者已经关闭（down），或者正在重启过程中。在这两种情况下，它的TCP都不会响应。服务器没有收到对其发出探测的响应，并且在75秒之后超时。服务器将总共发送10个这样的探测，每个探测75秒。如果没有收到一个响应，它就认为客户端主机已经关闭并终止连接。

c)客户端曾经崩溃，但已经重启。这种情况下，服务器将会收到对其存活探测的响应，但该响应是一个复位，从而引起服务器对连接的终止。

d)客户端主机活跃运行，但从服务器不可到达。这与状态b）类似，因为TCP无法区别它们两个。它所能表明的仅是未收到对其探测的回复。

3）控制端维护一个总的任务列表，对已分发的任务进行标记，利用多线程处理节点反馈的信息。

4）节点使用缓存队列（redis）进行存放控制端下发的任务，并使用计数器累计任务发送数据，计算已发送任务在总的任务中的偏移，并实时反馈给控制端。

应用上述手段进行故障处理的过程如下：

<1>当线路①出现故障时，控制端取消节点1的任务分配，由于线路②是好的，所以节点1继续执行剩余的任务，直到完成。

<2>当线路②出现故障时，节点1立刻回馈故障信息给控制端，告诉控制端任务执行中止，请不要再给节点1分配任务。同时节点1回写内存队列任务到磁盘存储器并记录相关日志，等到故障恢复后（故障消除后）继续执行未完成的工作，同时控制端记录节点1任务的偏移量，记录节点1故障的时间戳，超过一定的时间故障还没恢复则回收节点1剩下的任务,以重新分配到其他的正常节点，之后指示节点1删除磁盘的任务列表。

下面提供一个企业内部分布式蜘蛛对数据的抓取的应用实例。

该实例的整个应用环境如图2所示，控制端和节点使用长连接交互，并作心跳检测，控制端、节点启动服务并进行初始化操作，整个集群的运作流程是控制端分配并管理各节点的任务。高可用的具体实现为：

节点：通过持有Client对象，可以随时（使用sendObject方法）发送Object给控制端。如果keepAliveDelay毫秒（程序中是2秒）内未发送任何数据，则自动发送一个KeepAlive对象给控制端，用于维持连接。由于向控制端可以发送很多不同的对象，控制端也可以返回不同的对象。所以对于返回对象的处理，要编写具体的ObjectAction实现类进行处理。通过Client.addActionMap方法进行添加。这样，程序会回调处理。

控制端：由于各节点（客户端）会定时（keepAliveDelay毫秒）发送维持连接的信息过来，所以控制端要有一个检测机制。即当控制端receiveTimeDelay毫秒（程序中是3秒）内未接收任何数据，则自动断开与客户端的连接。ActionMapping的原理与各节点相似（相同）。通过添加相应的ObjectAction实现类，可以实现不同对象的响应、应答过程。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (10)

1.一种基于内容分发的智能高可用任务处理方法，其步骤包括：

1）控制端将任务内容分配至各节点，各节点通过与互联网通信执行相应的任务，控制端与节点之间采用长连接作为心跳检测机制；

2）控制端与任一节点之间的线路出现故障时，控制端取消该节点的任务分配，该节点继续执行剩余的任务直到完成；

3）任一节点与互联网之间的线路出现故障时，该节点停止执行任务并回馈故障信息给控制端，控制端停止向该节点分配任务。

2.如权利要求1所述的方法，其特征在于：控制端维护一个总的任务列表，对已分发的任务进行标记，利用多线程处理节点反馈的信息；节点使用缓存队列存放控制端下发的任务，并使用计数器累计任务发送数据，计算已发送任务在总的任务中的偏移，并实时反馈给控制端。

3.如权利要求2所述的方法，其特征在于：在节点与互联网之间的线路出现故障时，该节点回写内存队列任务到磁盘并记录相关日志，待故障消除后继续执行未完成的工作。

4.如权利要求3所述的方法，其特征在于：在节点与互联网之间的线路出现故障时，控制端记录该节点的任务的偏移量和该故障的时间戳，若超过一定的时间故障仍未消除，则控制端回收该节点剩下的任务并指示该节点删除磁盘的任务列表。

5.如权利要求1所述的方法，其特征在于：节点定时向控制端发送一个维持连接包，如果长时间未发送维持连接包，则控制端断开连接。

6.如权利要求1所述的方法，其特征在于：在控制端和节点间的一个给定连接若在一定时间内无任何活动，则控制端向节点发送一个探测段。

7.一种基于内容分发的智能高可用任务处理系统，其特征在于，包括一控制端和分别与其建立通信连接的若干节点，控制端与各节点之间采用长连接作为心跳检测机制；

所述控制端负责：将任务内容分配至各节点；在控制端与任一节点之间的线路出现故障时，取消该节点的任务分配；在任一节点与互联网之间的线路出现故障时，接收该节点回馈的故障信息并停止向该节点分配任务；

所述节点负责：接收所述控制端分配的任务内容并通过与互联网通信执行相应的任务；在控制端与任一节点之间的线路出现故障时，继续执行剩余的任务直到完成；在任一节点与互联网之间的线路出现故障时，停止执行任务并回馈故障信息给控制端。

8.如权利要求7所述的系统，其特征在于：控制端维护一个总的任务列表，对已分发的任务进行标记，利用多线程处理节点反馈的信息；节点使用缓存队列存放控制端下发的任务，并使用计数器累计任务发送数据，计算已发送任务在总的任务中的偏移，并实时反馈给控制端。

9.如权利要求8所述的系统，其特征在于：在一节点与互联网之间的线路出现故障时，该节点回写内存队列任务到磁盘并记录相关日志，待故障消除后继续执行未完成的工作。

10.如权利要求9所述的系统，其特征在于：在一节点与互联网之间的线路出现故障时，控制端记录该节点的任务的偏移量和该故障的时间戳，若超过一定的时间故障仍未消除，则控制端回收该节点剩下的任务并指示该节点删除磁盘的任务列表。

Images