CN104539479A

CN104539479A - 一种分布式服务监控系统及方法

Info

Publication number: CN104539479A
Application number: CN201410779287.2A
Authority: CN
Inventors: 裴宝庆; 刘波; 邓伟
Original assignee: BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Current assignee: BEIJING SINOIOV VEHICLE NETWORK TECHNOLOGY Co Ltd
Priority date: 2014-12-16
Filing date: 2014-12-16
Publication date: 2015-04-22

Abstract

本发明公开一种分布式服务监控系统,其能够全面完整地监控服务状态，从而把漏报、误报降到最低，不再受单个监控单元自身故障的干扰，通过提高监控系统自身的高可用性来提高整个服务的高可用性。该系统包括m个监控单元，m为大于1的整数，这些监控单元部署在m个点，覆盖不同地区、不同网络运营商、不同机房；监控单元组成分布式结构，各个监控单元彼此联系；如果n个或n个以上监控单元检测到被监控服务出现故障，1≤n≤m，则进行故障转移；服务恢复后，如果n个或n个以上监控单元检测到被监控服务已经恢复，1≤n≤m，则进行故障恢复。还提供了采用该系统的方法。

Description

一种分布式服务监控系统及方法

技术领域

本发明涉及网络服务监控的技术领域，具体地涉及一种分布式服务监控系统及方法。

背景技术

在高可用网络服务系统中，对服务进行监控并及时执行故障转移是保证服务高可用性的重要手段。现有的监控系统主要有两种：

1.本地监控

在被监控服务所在服务器上设置监控系统，监控服务进程是否存活。

2.远程监控

在远程服务器上设置监控系统，通过ping或心跳等手段判断被监控服务是否存活。

以上两种方案均属于单点监控，并且其故障恢复措施简单。前者通过重启服务以期故障自动修复；后者通过修改IP或域名指向来屏蔽有故障服务并指向新服务，从而完成故障转移。

现有两种方案的缺陷有：

1.状态检测不准确

单点监控无法完整反映被监控服务的真实状态，从而造成检测到的服务状态不准确甚至误报的问题。

第一种监控系统无法获取外部网络状态，比如外部应用与被监控服务之间网络不可达。这样就无法及时的发现故障并进行故障转移。

第二种监控系统无法全面反映不同网络运营商、不同地区对被监控服务的影响。

以上两种系统都无法正确处理监控程序自身故障时的情景。

2.故障转移措施简单粗暴

很多故障通过重启服务并不能得到修复，所以这些情况下第一种监控系统无法正常地进行故障转移或恢复。

第二种监控系统在进行故障转移时并不能选择真正最优的备份服务。比如，监控系统总是选择与它处在相同机房的备份服务进行转移。因为同机房的网络状况大部分情况下好于跨机房的网络状况。从而，给监控系统造成该备份服务要优于其他备份服务的假象。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种分布式服务监控系统,其能够全面完整地监控服务状态，从而把漏报、误报降到最低，不再受单个监控单元自身故障的干扰，通过提高监控系统自身的高可用性来提高整个服务的高可用性。

本发明的技术解决方案是：这种分布式服务监控系统，该系统包括m个监控单元，m为大于1的整数，这些监控单元部署在m个点，覆盖不同地区、不同网络运营商、不同机房；监控单元组成分布式结构，各个监控单元彼此联系；如果n个或n个以上监控单元检测到被监控服务出现故障，1≤n≤m，则进行故障转移；服务恢复后，如果n个或n个以上监控单元检测到被监控服务已经恢复，1≤n≤m，则进行故障恢复。

由于监控单元部署在m个点，覆盖不同地区、不同网络运营商、不同机房，监控单元组成分布式结构，各个监控单元彼此联系，所以这种分布式服务监控系统能够全面完整地监控服务状态，从而把漏报、误报降到最低，不再受单个监控单元自身故障的干扰，通过提高监控系统自身的高可用性来提高整个服务的高可用性。

还提供了采用该系统的方法，该方法包括以下步骤：

(1)将m个监控单元部署在m个点，m为大于2的整数，覆盖不同地区、不同网络运营商、不同机房；

(2)监控单元组成分布式结构，各个监控单元彼此联系；

(3)判断是否有n个或n个以上监控单元检测到被监控服务出现故障，1≤n≤m，是则执行步骤(4)，否则重新判断是否有n个或n个以上监控单元检测到被监控服务出现故障；

(4)从这m个监控单元中选举一个作为主监控单元来执行故障转移；

(5)从各监控单元推举的最优备份服务中，选举最终的备份服务以备故障转移，备份服务选定以后，主监控单元执行故障转移；

(6)判断是否有n个或n个以上监控单元检测到被监控服务已经恢复，1≤n≤m，是则执行步骤(7)，否则重新判断是否有n个或n个以上监控单元检测到被监控服务已经恢复；

(7)当被监控服务进入恢复后，从各监控单元中选举一个作为主监控单元执行故障恢复。

附图说明

图1为采用本发明的分布式服务监控系统的方法的流程图。

图2为根据本发明的监控单元的示意图。

图3为根据本发明的故障转移的示意图。

图4为根据本发明的故障恢复的示意图。

具体实施方式

这种分布式服务监控系统，该系统包括m个监控单元，m为大于1的整数，这些监控单元部署在m个点，覆盖不同地区、不同网络运营商、不同机房；监控单元组成分布式结构，各个监控单元彼此联系；如果n个或n个以上监控单元检测到被监控服务出现故障，1≤n≤m，则进行故障转移；服务恢复后，如果n个或n个以上监控单元检测到被监控服务已经恢复，1≤n≤m，则进行故障恢复。

如图1所示，还提供了采用该系统的方法，该方法包括以下步骤：

(1)将m个监控单元部署在m个点，m为大于1的整数，覆盖不同地区、不同网络运营商、不同机房；

(2)监控单元组成分布式结构，各个监控单元彼此联系；

(5)从各监控单元推举的最优备份服务中，选举最终的备份服务以备故障转移(由于每个监控程序所监测到的各个服务的健康系数不同，所以每个监控程序所认为的最优备份服务不一定相同。为了让最终选出来的最优备份服务最接近事实，各监控程序需要推举自己认为的最优备份服务，然后再利用Raft算法进行选举，选出最终的备份服务以备故障转移。)，备份服务选定以后，主监控单元执行故障转移；

(6)在故障转移完成之后，各监控程序仍然检测出现故障的服务，直到该服务从故障中恢复(手工或自动)或此服务永久下线(手动)。判断是否有n个或n个以上监控单元检测到被监控服务已经恢复，1≤n≤m，是则执行步骤(7)，否则重新判断是否有n个或n个以上监控单元检测到被监控服务已经恢复；

(7)当被监控服务进入恢复(客观恢复)后，从各监控单元中选举一个作为主监控单元执行故障恢复。

另外，所述步骤(2)中各个监控单元彼此联系通过以下两种方法实现：

监控单元在启动时读取配置文件中的其他监控单元的地址，并进行连接；

监控单元连接被监控服务，向被监控服务报告自己的地址并请求其他监控单元的地址进行连接。

当然，还可以采用其他任何方式使各个监控单元相互发现。

另外，所述步骤(3)中每个监控单元通过ping或心跳的方式检测服务状态并维护一个健康系数，在检测到服务出现故障时通知其他监控单元。

另外，n＝3，m＝10。

另外，所述步骤(4)、(5)、(7)中的选举是通过Raft算法(参见网页http://raftconsensus.github.io/)进行选举。这样能够保证选举出好的主监控单元和真正最优的备份服务，故障转移更合理，故障恢复更有效。

因为车机终端分布在全国各地并且使用的不同网络运营商，所以，车机接入服务被部署在不同的数据中心。如果单靠服务本地的监控脚本或处在主中心的监控系统对服务进行监控，漏报率和误报率比较高。

采用本发明中的方案后，可显著降低漏报率和误报率，并把原来连接故障服务的车机终端合理地分配到其他一个或多个接入服务上去。这样，对提升系统的高可用性有重要意义。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims

1.一种分布式服务监控系统，其特征在于：该系统包括m个监控单元，m为大于1的整数，这些监控单元部署在m个点，覆盖不同地区、不同网络运营商、不同机房；监控单元组成分布式结构，各个监控单元彼此联系；如果n个或n个以上监控单元检测到被监控服务出现故障，1≤n≤m，则进行故障转移；服务恢复后，如果n个或n个以上监控单元检测到被监控服务已经恢复，1≤n≤m，则进行故障恢复。

2.一种采用根据权利要求1所述的分布式服务监控系统的方法，其特征在于：该方法包括以下步骤：

(2)监控单元组成分布式结构，各个监控单元彼此联系；

3.根据权利要求2所述的方法，其特征在于：所述步骤(2)中各个监控单元彼此联系通过以下两种方法实现：

4.根据权利要求2所述的方法，其特征在于：所述步骤(3)中每个监控单元通过ping或心跳的方式检测服务状态并维护一个健康系数，在检测到服务出现故障时通知其他监控单元。

5.根据权利要求4所述的方法，其特征在于：n＝3，m＝10。

6.根据权利要求5所述的方法，其特征在于：所述步骤(4)、(5)、(7)中的选举是通过Raft算法进行选举。