CN103383689A - 一种服务进程故障检测方法、装置及服务节点 - Google Patents

Abstract

本申请公开了一种服务进程故障检测方法、装置及服务节点，用以简化服务进程故障检测流程，缩短HBase容灾恢复响应时间。其中，服务进程故障检测方法，包括：第一服务节点启动服务进程，并启动本地的镜像监控进程，其中，所述第一服务节点调用启动后的服务进程提供数据查询服务；以及所述第一服务节点通过所述镜像监控进程定期检查所述服务进程的状态，并确定服务进程状态是否异常；在所述镜像监控进程确定所述服务进程状态异常时，所述第一服务节点通知集群管理节点Master。

Description

一种服务进程故障检测方法、装置及服务节点

技术领域

本申请涉及数据库技术领域，尤其涉及一种服务进程故障检测方法、装置及服务节点。 

背景技术

当前，随着大型互联网网站在线业务的迅速发展，业务数据量越来越大，任何一个与用户相关的在线业务的数据量都在亿级别，每日系统调用次数上亿甚至百亿，且历史数据不能轻易删除，这需要有一个海量分布式文件系统，能对万亿字节（TB，Terabyte）级甚至拍字节（PB，Petabyte）级别的数据提供在线服务。由于HBase有如下几个特点：首先HBase是No-SQL的一个典型实现，提升了系统的可扩展性；其次HBase支持线性水平扩展，HBase服务能力可以随服务器的增长而线性增长，极大提升了系统的可伸缩性和运算能力；最后HBase底层是建立在Hadoop分布式文件系统(HDFS)之上，可以搭建在廉价的PC机集群上，因此，HBase是一种比较合适的选择。 

如图1所示，为HBase的架构示意图，HBase在完全分布式环境下，由集群管理节点（Master）负责管理RegionServers集群的负载均衡以及资源分配，ZooKeeper服务器负责集群元数据的维护并且通过监控各服务节点上的服务进程来监控集群的状态以防止单点故障，每个RegionServer会负责具体数据块的读写，HBase所有的数据存储在HDSF系统上。其中，Zookeeper服务器利用会话（seesion）来监控服务进程，具体的，服务节点创建服务进程时，通知在Zookeeper服务器，Zookeeper服务器为该服务进程创建一个临时节点，该服务节点定期向Zookeeper服务器发送该服务进程的心跳消息，如果该服务节点在超过预设的session超时时长后没有向Zookeeper服务器发送心跳消息，则说明 该服务节点上的服务进程发生异常，Zookeeper服务器将该服务据节点上的服务进程的状态设定为超时，并删除该服务进程对应的临时节点，同时通知Master，以启动容灾处理。 

上述过程中，从判断服务进程是否出现故障至通知Master进程启动容灾处理，需依赖于Zookeeper设定的session超时时长，目前，session超时时长一般设置为90s左右，由于HBase的服务是单点的，亦即当服务进程出现故障时，该服务进程所在服务节点所服务的数据在恢复前是无法读写的，从而使得Hbase容灾恢复响应时间较长，由于在线服务系统对服务响应时间要求较高，对于几十秒的响应时间是无法容忍的，因此，如何缩短Hbase容灾恢复响应时间成为现有技术中亟待解决的技术问题之一。 

发明内容

本申请实施例提供一种服务进程故障检测方法、装置及服务节点，用以简化服务进程监控流程，缩短HBase容灾恢复响应时间。 

本申请实施例提供一种服务进程故障检测方法，包括： 

第一服务节点启动服务进程，并启动本地的镜像监控进程，其中，所述第一服务节点调用启动后的服务进程提供数据查询服务； 

所述第一服务节点通过所述镜像监控进程定期检查所述服务进程的状态，并确定服务进程状态是否异常； 

在所述镜像监控进程确定所述服务进程状态异常时，所述第一服务节点通知集群管理节点Master。 

本申请实施例提供一种服务进程故障检测装置，包括： 

启动单元，用于启动服务进程，并启动该装置本地的镜像监控进程，其中，本装置调用启动后的服务进程提供数据查询服务； 

检查单元，用于通过所述镜像监控进程定期检查所述启动单元启动的服务进程的状态，并确定服务进程状态是否异常； 

第一通知单元，用于在所述检查单元确定所述服务进程状态异常时，通知集群管理节点Master。 

本申请实施例提供一种服务节点，包括上述服务进程故障检测装置。 

本申请实施例提供的服务进程故障检测方法、装置及服务节点，服务节点在服务进程启动时，启动本地的镜像监控进程，由本地的镜像监控进程对服务进程进行监控，从而，服务节点无需定时向Zookeeper服务器发送本地服务进程的心跳消息，简化了服务进程的监控流程，同时由于镜像监控进程处于本地，当发现服务进程异常时，能够及时通知Master启动容灾处理，无需依赖Zookeeper服务器预先设置的session超时时长，从而，缩短了容灾恢复响应时间。 

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。 

附图说明

图1为现有技术中，Hbase的结构示意图； 

图2为本申请实施例中，服务进程故障检测方法的实施流程示意图； 

图3为本申请实施例中，3个服务节点相互连接的网络拓扑结构示意图； 

图4为本申请实施例中，服务进程故障检测装置的结构示意图。 

具体实施方式

为了简化服务进程监控流程，缩短HBase容灾恢复响应时间，本申请实施例提供一种服务进程故障检测方法、装置及服务节点。 

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不 冲突的情况下，本色很年轻中的实施例及实施例中的特征可以相互组合。 

HBase为由多个服务节点组成的服务器集群，集群管理节点（Master）按照预设的规则将数据存储在不同的服务节点上，每一服务节点上存储不同的数据块，并启动一个服务进程以提供数据查询服务，在进行数据查询时，Master按照需要查询的数据块对应的数据块标识，将查询请求分配至对应的服务节点，由该服务节点调用启动的服务进程提供数据查询服务。 

实施例一 

实施例一为本申请实施例提供的服务进程故障检测方法实施流程，如图2所示，包括以下步骤： 

S201、服务节点启动服务进程，并启动本地的镜像监控进程； 

具体实施时，当服务节点启动一服务进程时，系统将为该服务进程分配一个唯一的进程标识符（PID，Process Identifier），并将为该服务节点对应的PID添加至系统正在运行的进程列表中，其中，服务节点根据接收的数据查询请求调用启动后的服务进程提供数据查询服务，镜像监控进程用于监控服务进程状态，以便及时发现服务进程是否异常，并通知Master启动容灾处理。当服务进程终止（包括正常终止和异常终止）时，服务节点将回收为该服务进程分配的PID，并从进程列表中删除该PID。 

S202、服务节点通过启动的镜像监控进程定期检查服务进程状态，并确定该服务进程状态是否异常； 

具体实施中，可以设置镜像监控进程每隔5ms或者10ms检查本地的服务进程是否发生异常，由于服务进程发生异常后，系统将会收回为其分配的PID，若镜像监控进程检测到进程列表中该服务进程对应的PID不存在时，则能够确定服务进程状态异常。 

S203、在镜像监控进程确定服务进程状态异常时，服务节点通知Master（集群管理节点） 

具体的，步骤S203中，镜像监控进程可以通过以下方式确定服务进程状 态发生异常： 

步骤一、镜像监控进程获得该服务进程对应的PID； 

其中，若镜像监控进程先于服务进程启动，则服务进程在启动后，主动向镜像监控进程上报系统为自身分配的PID；若镜像监控进程晚于服务进程启动，则镜像监控进程在启动后，主动从系统正在运行的进程列表中提取该服务进程对应的PID。 

步骤二、镜像监控进程按照预设周期，检测进程列表中是否存在该服务进程对应的PID； 

步骤三、镜像监控进程检测到进程列表中不存在该服务进程对应的PID时，确定该服务进程状态异常。 

上述过程中，由于镜像监控进程位于本地，使得服务节点无需按照预设的Session超时时长向Zookeeper服务器发送服务进程的心跳消息，这样，简化了服务进程监控的流程，同时，由于镜像监控进程通过定期检测进程列表中是否存在该服务进程对应的PID，来确定服务节点上启动的服务进程状态是否异常，当进程列表中存在该服务进程对应的PID时，说明该服务进程处于正常运行状态，当进程列表中不存在该服务进程对应的PID时，说明服务进程处于异常状态，已经终止，同时，检测周期支持设置为ms级，从而，能够在较短时间内确定出服务进程状态异常，并及时通知Master，以便Master启动容灾处理，从而，大大缩短了HBase容灾恢复响应时间。 

实施例二 

为了避免服务进程和镜像监控进程所在服务节点宕机，使得服务进程和镜像监控进程同时处于异常时，镜像监控进程也无法监控服务进程状态，降低服务进程故障检测可靠性，本申请实施例中，每个服务节点上启动的服务进程同时由至少一个其它服务节点（非本服务节点）上启动的监控进程进行监控，基于此，本申请实施例提供的服务进程故障检测方法，还可以包括以下步骤： 

步骤一、服务节点与至少一台其它服务节点建立通信连接，并通过本地启 动的镜像监控进程监控各其它服务节点上启动的服务进程； 

具体的，服务节点上启动的服务进程和镜像监控进程均都打开一个套接字（Socket），并绑定到一个服务端口上，不同的服务端口对应于不同的进程。镜像监控进程对应的服务端口与各其它服务节点上启动的服务进程对应的服务端口建立通信连接，这样，便能够实现本地的镜像监控进程对其它建立通信连接的服务节点的服务进程进行监控。为了便于描述，以下将本地的服务节点称为第一服务节点，将与第一服务节点连接的其它各服务节点称为第二服务节点。 

步骤二、针对任一其它服务节点，确定与该其它服务节点连接异常时，通知Master。 

具体的，第一服务节点上启动的镜像监控进程对应的服务端口按照预设的周期与各第二服务节点上启动的服务进程对应的服务端口建立通信连接，如果无法建立通信连接，则说明第二服务节点可能发生宕机，这种情况下，无需考虑第二服务节点上的镜像监控进程是否检查到第二服务节点上的服务进程状态异常，第一服务节点上启动的镜像监控进程将通知Master第二服务节点上的服务进程状态异常，需要启动容灾处理。其中，为了尽可能减轻系统负担，预设的周期可以稍长，例如可以设置为100ms左右。 

这样，通过多个服务节点对彼此的服务进程进行监控，提高了服务进程故障检测的可靠性。如图3所示，为本申请实施例中，3个服务节点相互连接的网络拓扑结构示意图。其中，每一个服务节点均与其它3个服务节点建立通信连接，从而，每个服务节点上启动的服务进程同时由本地启动的镜像监控进程以及其它3个服务节点上启动的镜像监控进程监控，这样，大大增加了服务进程故障检测的可靠性。 

具体实施时，由于第一服务节点上的监控进程与第二服务节点上的服务进程建立连接之后，当第二服务节点上的服务进程异常时，该服务节点对应的服务端口便会无效，但是第一服务节点上的监控进程无法获知第二服务节点上的 服务进程对应的服务端口无效，而仍旧采用旧连接去连接该失效的服务端口，这将导致访问超时（超时时间可能达到10s甚至几十秒等），这样，使得第一服务节点的监控进程至少需要10s或者更长的时间确定第二服务节点的服务进程发生异常，这样，HBase容灾恢复响应时间虽然有一定程度的缩短，但是对于在线系统来说，其响应时间仍然较长的。为了进一步缩短HBase容灾恢复响应时间，由于采用Ping的模式可以检测到服务进程状态异常情况,因此，本申请实施例中不采用长连接的模式而是每次连接前New Socket新实例来进行连接判断，使得无论是服务进程所在的服务节点宕机，还是服务进程自身异常，网络层面都有快速的感知并反馈给其它服务节点Socket异常，常见反馈信息为“Connection refused”，只要捕获该异常信息就可以断定服务进程已经停止服务，响应时间大概在毫秒级就可以完成检查，然后进入后续的处理。 

基于上述分析，由于第一服务节点上启动的服务进程同时被各第二服务节点上启动的镜像监控进程监控，当第一服务节点发生宕机，导致第一服务节点本地的镜像监控进程异常时，无法监控本地启动的服务进程时，也能够及时由第二服务节点上启动的镜像监控进程发现第一服务节点上的服务进程异常，并通知Master。 

基于同一构思，本申请实施例中还提供一种服务进程故障检测装置及服务节点，由于该装置及服务节点解决问题的原理与上述服务进程故障检测方法相似，因此该装置及服务节点的实施可以参见上述服务进程故障检测方法的实施，重复之处不再赘述。 

如图4所示，为本申请实施例中，服务进程故障检测装置的结构示意图，包括： 

启动单元401，用于启动服务进程，并启动该服务节点本地的镜像监控进程； 

检查单元402，用于通过启动单元401启动的镜像监控进程定期检查该服务进程状态，并确定该服务进程状态是否异常； 

第一通知单元403，用于在检查单元402确定该服务进程状态异常时，通知Master。 

具体实施时，检查单元402，可以包括： 

获得子单元，用于获得该服务进程对应的进程标识符PID； 

检测子单元，用于按照预设周期检测获得子单元获得的PID是否存在； 

确定子单元，用于检测子单元检测到该PID不存在时，确定服务进程状态异常。 

其中，获得子单元，可以用于接收服务进程上报的、该服务进程对应的PID；或者可以用于主动拉取该服务进程对应的PID。 

具体实施中，服务进程故障检测装置，还可以包括： 

连接单元，用于与至少一台除本装置以外的其它服务进程故障检测装置建立通信连接，并通过该监控进程监控各其它服务节点上的服务进程； 

第二通知单元，用于针对任一除本装置以外的其它服务进程故障检测装置，确定与该除本装置以外的其它服务进程故障检测装置连接异常时，通知Master。 

其中，连接单元，可以用于通过监控进程的服务端口与各除本装置以外的其它服务进程故障检测装置采用新建服务端口（New Socket）方式建立通信连接。 

需要说明的是，本申请实施例提供的服务进程故障检测装置可以设置在服务节点中，有服务节点检测各服务进程是否异常，并上报给Master。将服务进程检测装置设置在服务节点中只是本申请实施例的一种较佳的实现方式，具体实施时，还可以将服务进程故障检测装置设置在其它设备中。 

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、 CD-ROM、光学存储器等）上实施的计算机程序产品的形式。 

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。 

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。 

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。 

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。 

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。 

Claims (11)

1.一种服务进程故障检测方法，其特征在于，包括：

第一服务节点启动服务进程，并启动本地的镜像监控进程，其中，所述第一服务节点调用启动后的服务进程提供数据查询服务；以及

所述第一服务节点通过所述镜像监控进程定期检查所述服务进程的状态，并确定服务进程状态是否异常；

在所述镜像监控进程确定所述服务进程状态异常时，所述第一服务节点通知集群管理节点Master。

2.如权利要求1所述的方法，其特征在于，还包括：

所述第一服务节点在启动所述服务进程时，为该服务进程分配其对应的进程标识符PID；并

将所述PID添加至进程列表中；以及

所述镜像监控进程按照以下方式确定所述服务进程状态异常：

所述镜像监控进程获得所述服务进程对应的进程标识符PID；并

按照预设周期，检测所述进程列表中是否存在所述PID；

所述镜像监控进程检测到所述进程列表中不存在所述PID时，确定所述服务进程状态异常。

3.如权利要求2所述的方法，其特征在于，所述镜像监控进程获得所述服务进程对应的PID，具体包括：

所述镜像监控进程接收所述服务进程上报的、该服务进程对应的PID；或者

所述镜像监控进程从所述进程列表中提取所述服务进程对应的PID。

4.如权利要求1所述的方法，其特征在于，还包括：

所述第一服务节点与至少一台第二服务节点建立通信连接，并通过所述监控进程监控各第二服务节点上的服务进程；

针对任一第二服务节点，确定与该第二服务节点连接异常时，通知Master。

5.如权利要求4所述的方法，其特征在于，所述服务节点与至少一台第二服务节点建立通信连接，具体包括：

所述第一服务节点通过所述监控进程的服务端口与各第二服务节点采用新建服务端口New Socket方式建立通信连接。

6.一种服务进程故障检测装置，其特征在于，包括：

启动单元，用于启动服务进程，并启动该装置本地的镜像监控进程，其中，本装置调用启动后的服务进程提供数据查询服务；

检查单元，用于通过所述镜像监控进程定期检查所述启动单元启动的服务进程的状态，并确定服务进程状态是否异常；

第一通知单元，用于在所述检查单元确定所述服务进程状态异常时，通知集群管理节点Master。

7.如权利要求6所述的装置，其特征在于，还包括分配单元和添加单元，其中：

所述分配单元，用于在启动所述服务进程时，为该服务进程分配其对应的进程标识符PID；

所述添加单元，用于将所述PID添加至进程列表中；

所述检查单元，包括：获得子单元，用于获得所述服务进程对应的进程标识符PID；检测子单元，用于按照预设周期检测进程列表中是否存在所述PID；确定子单元，用于在所述检测子单元检测到进程列表中不存在所述PID时，确定所述服务进程状态异常。

8.如权利要求7所述的装置，其特征在于，

所述获得子单元，具体用于接收所述服务进程上报的、该服务进程对应的PID；或者具体用于从所述进程列表中提取所述服务进程对应的PID。

9.如权利要求8所述的装置，其特征在于，还包括：

连接单元，用于与至少一台除本装置以外的其它服务进程故障检测装置建立通信连接，并通过所述监控进程监控各第二服务节点上的服务进程；

第二通知单元，用于针对任一除本装置以外的其它服务进程故障检测装置，确定与该除本装置以外的其它服务进程故障检测装置连接异常时，通知Master。

10.如权利要求9所述的装置，其特征在于，

所述连接单元，具体用于通过所述监控进程的服务端口与各其它服务进程故障检测装置采用新建服务端口New Socket方式建立通信连接。

11.一种服务节点，其特征在于，包括权利要求6~10任一权利要求所述的装置。

Images