CN102857368A - 一种服务器管理系统的分布式页面监控 - Google Patents

Abstract

本发明是一种监控互联网站状态的方法，包括两个主要组成部分：中央控制系统和一个或多个远程监控节点。配置信息存储并在中央控制系统中管理并通过网络或协议，通常是互联网和HTTP/HTTPS，从远程节点处获取。远程监控节点通过从中央控制系统处获取配置信息，判断监控结果并进行本地存储。这些监控并行运行，所以可以使用中央控制系统的各种参数对一个以上的网站进行同步检测。远程节点通过传送数据将其结果反馈回中央控制系统。通过本发明的架构、内部数据结构和对互联网固有的网络不稳定性的内部容错，解决了实际问题。

Description

一种服务器管理系统的分布式页面监控

技术领域

本发明属于计算机处理方法，尤其与分布式系统监控和服务器系统管理相关。 

背景技术

互联网由数百万互联网网站服务器和访问浏览这些服务器网站的数十亿终端用户组成。大量的互联网络将他们连接在一起，并允许终端用户和网站服务器间进行数据交换。 

终端用户希望能够登陆自己选择访问的网站，如果不能访问他们会不高兴，同时造成挫败感并给给网站带来经济上以及名誉上难以挽回的损失。造成这种不可靠性的因素有多种，但网站所有者或运维人员更关心的是当这些问题何时发生，以便及时解决。这方面的工作主要通过一些特殊的监控软件对网络的自主监控来实现。 

目前有两种类型的监控系统涉及到这种情况。 

第一种是集中式服务器管理系统，该系统尽管只有一个单独的节点，同样包括互联网网站服务器监控。这些监控系统作为集中式服务器管理的一部分非常适用于局域网以及本地监控，但由于监控点和网站本身之间网络，加之两者间所有的这些中间网络连接不可靠这一性质，这些监控系统无法正常运行于分布较广的互联网站。在最好的情况下，它们会让单个远程节点监控每个远程网站。这使得用户很难做出选择，是使用一个由于网络和其他问题导致非常高误报率的监控系统还是让系统较大程度减少灵敏度以避免错误的警报同时使监控几乎不起作用。由于这类型的监控对时间十分敏感，拥有从十秒到几分钟的理想监测阈值，报错率高达90%甚至更多，导致大量的精力浪费在判断哪些是真实的警报上。 

第二种类型的分布式节点监控服务解决了其中的一些问题，该服务适用于多种公司同时对于他们本身来说也作为一个网站可供用户购买他们的监控服务。这些分布式监控系统作为独立系统存在，统一且大规模的或者是并不集成到云系统管理系统。他们通常需要手动配置和数据提取，甚至当他们提供API时也并非真正集成到核心集中管理系统中。对于拥有上千服务器的大规模系统来说，这样的整合是十分有用且必要的，否则人员过程和系统在处理全世界的互联网大规模系统时很难扩展。此外，这些独立的分布式系统无法针对大规模集中式监控及管理系统的许多重要方面更改配置，例如区域优先事项或问题，例如长距离的越洋连接、国家级网关或防火墙，又或者是需要特殊对待及决策持续监控的复杂的区域路由。 

本发明通过引入分布式网站监控解决了以上所有问题。该控制被集中控制并全方面集成，并通过自己的网络和数据搜集来独立监控目标网站。监测结果随后反馈给集中式系统用以聚集、决策、以及对网站状况做最终决定、警报、通知。 

这个系统优点在于相较于单节点系统更加灵敏同时保持高选择性以及低假错误率。此外，这个系统被整合进中央服务器监测和管理系统并处于全面控制中。 

发明内容

目的： 

　　本发明解决了运维互联网关键问题，即当面对众多无法被现有系统很好解决的实际问题时从一个集中监控系统中监控任意多个分布式互联网站点状态的问题。具体的说，最终用户和网站的高度分布特性，以及互联网和相关网络的不可靠特性使得这类监控很困难并且容易出错。这使得用户很难做出选择，是使用一个由于网络和其他问题寻找非常高误报率的监控系统还是让系统较大程度减少灵敏度以避免错误的警报同时使监控几乎不起作用。由于这类型的监控对时间十分敏感，拥有从十秒到几分钟的理想监测阈值，误报率高达90%甚至更多，导致大量的精力浪费在判断哪些是真实的警报上。

有利成效： 

　　本发明通过提供更好的对错误或是其他问题的监控从而加速修复和恢复，使所有的互联网网站和用户收益。具体的说，其极大提高了集中式管理系统的灵敏度同时减少错误警报的出错率。

要解决的技术问题： 

　　本发明解决的第一个重要问题便是现代互联网时代中，由于网络固有的不稳定性和不可靠性，单节点监控器拥有很高的错误警报率的问题。进一步来说，本发明解决了由于其高错误警报率而导致的低预警灵敏度过低的问题。

本发明解决的第二个重要问题便是当前的分布式系统很难同需要大规模扩展配置、报告、决策制定和控制的集中式系统进行整合。 

本发明解决的第三个重要问题在于根据大量的区域特点来正确控制，包括如何节点监控的问题，哪些节点已被用过、如何制定中间及最终的决策。 

如何克服前期问题： 

　　通过运用多个专用和一体化监控节点接受配置信息、分配给每个网站独立监控以及及时反馈结果，本发明解决了之前的一些问题。通过本发明的架构、内部数据结构和对互联网固有的网络不稳定性的内部容错，解决了实际问题。

现有的公开技术： 

本发明现有的公开技术包括两种特定类型的技术。

第一类是严格的单一节点监控系统，Nagios、Zabbix、Zenoss等其他类似系统都使用该系统。他们使用集成或基于代理的系统监控远程网站，同时使用内置函数、外部库或其他工具例如curl。其中一些有分布模式，但对于任意网站监控只运用单节点。他们无法从多个节点来监控指定网站。 

第二类是公共分布式网络监控系统例如Pingdom、Host Tracker、KeyNote和CompuWare Gomez。这些系统和技术通常是私人研发并应用于可供客户购买或试用其监控系统的自助服务互联网站。 

第二种类型的系统使用本发明相同技术运用分布式节点，可并行检测多个网站同时将结果反馈报告给中央系统以便决策、报警以及显示给客户。但是他们不包含任何集成组件，也没有区域划分或控制。他们调度工作任务并通过多种算法进行决策，尽管其中无一包含非常重要的区域因素以及其他对大规模服务器管理系统有用的事项。其中一些系统拥有公共应用程序编程接口(APIs)用以查询简单数据和结果，但对于配置、管理以及向大规模集中式系统管理系统报告结果是不够的。具体的说，他们没有有任何推送或促使整体化的功能，因此需要不断论调大量主机，这是很不实用的。 

附图说明

下面结合附图和实施例对本发明进一步说明。 

图1显示了本发明的主要组成部分及其之间的相互作用。中央控制系统(1)包含配置并从远程节点接收结果。配置数据(2)显示远程节点监控方式以及监控内容。配置分布系统(3)从中央控制系统处回收配置数据并将其分发至所有远程节点。远程节点(4)是系统的主要监控组成部分。另一个远程节点是一个或更多附加节点。本地磁盘存储(5)远程节点储存的本地数据如配置及结果。目标网站(6)是被监控的互联网网站网站内容(7)指获取的网站数据例如HTML或其他网页。 

网站状态码(8)是HTTP协议返回的状态如200、302、404等等，即从网站服务器返回到远程监控节点。结果(9)是对单个网站监控过程中监控程序中远程节点上的最终结果。最终结果(10)是中央控制系统经过从多个远程节点处搜集数据并应用多种决策算法后作出的最终决定。 

具体实施方式

本发明采取的具体实施步骤及过程如下： 

　　本发明通过对中央数据系统里每个网站的数据包括特定的网站细节例如网址和(1),同样也包括区域数据，比如首选哪些节点或是网站要求的节点。包括超时设定、所需文本和所需状态码在内的决定标准等进行基本配置来运作这些配置数据由(2)被存储在关联数据库中，运用每个网站监控地址(统一资源定位符)对应一个数据记录的标准方法。数据客段包括统一资源定位符、最大超时设定、所需状态码、所需内容以及使用的区域节点。这些配置数据(2)由配置分发系统给出，他们通过使用HTTP协议进行远程监控节点(4)定期下载来提供数据，如每隔5分钟进行一次。配置分发系统(3)是一个用PHP语言编写的小型计算机程序，并且直接同中央数据系统(1)的关系型数据库连接用以取回配置数据(2)给所有配置网站检查项，达到监测所有配置网站的目的。配置数据(2)通过标准的HTTP技术使用纯文本传送，为支持国际语言有时选择性使用unicode-encoded。远程监控节点(4)使用HTTP或下载传输将配置数据(2)转移到本地内存或磁盘文件(5)中供之后在运维监控中使用。通过运用标准技术这些配置数据(2)存储在简单文件中。远程监控节点(4)定期读取配置数据(2)并进行网站监控，使用配置数据(2)通过其地址来识别网站。为了进行监控，远程监控节点(4)使用包含适当的常见参标准的计算机程序curl以及通过TCP/IP协议以及HTTP协议或是HTTPS协议连接到网站(6)并下载载有配置数据(2)的特殊的网站内容(7)的合理的常见参数。网站内容临时存储在本地磁盘文件(5)。如果因出现错误导致网站内容(7)无法被下载，基于配置数据标准的下载或连接超时，或网站内容(7)与所需内容或配置数据(2)指定的状态码不匹配等状况，远程节点(4)会认定该网站(6)出错并保存结果(9)至本地磁盘文件(5)中。如果网站内容(7)及状态码(8)同配置数据(2)匹配，远程节点(4)认定该网站(6)运作正常并存储结果(9)至本地磁盘文件(5)中。一旦下载成功完成或者是网站被判断出现错误，远程节点(4)通过使用标准计算机程序curl及标准HTTP协议将结果(9)传送回中央数据系统(1)。中央数据系统(1)接收一个或多个结果(9)并基于配置数据(2)做出决定达成一个最终的结果。数据通过一个标准的HTTP网站服务器和用标准PHP编程语言撰写系统(1)的数据库中的计算机程序接收。同一个程序也用于做出最终结果(10)，结果存储至中央数据这一结果(10)被中央数据系统(1)用于提供警报、通知以及其为终端用户或其他系统提供信息。

有利成效： 

本发明的成效在于通过提供更好的监测、降低错误警报率以及对问题更高灵敏度的感知，极大增强了全球互联网的稳定性和可靠性。这些有助于更快的问题检测，故障排除以及修复，为终端用户提供更好服务、上网体验以及满意度。

Claims (4)

1.一种监控互联网站状态的方法，其特征在于中央数据库、至少一个非本地监控节点、控制数据、网站响应结果和存储库以及节点间的交流过程。

2.根据权利要求1所述的方法，其特征是：中央控制系统集成组件包括中央系统数据和元数据、网站信息、响应需求以及集成控制数据。

3.根据权利要求1所述的方法，其特征是：运用数据和算法决定哪些区域或特定节点用于监控。

4.根据权利要求1所述的方法，其特征是：使用的数据来自多个远程节点和群组决策算法来决定最终的系统状态。

Images