CN102857368B - 一种服务器管理系统的分布式页面监控方法 - Google Patents

Abstract

本发明是一种监控互联网站状态的方法，包括两个主要组成部分：中央控制系统和一个或多个远程监控节点。配置信息存储并在中央控制系统中管理并通过网络或协议，通常是互联网和HTTP/HTTPS，从远程节点处获取。远程监控节点通过从中央控制系统处获取配置信息，判断监控结果并进行本地存储。这些监控并行运行，所以可以使用中央控制系统的各种参数对一个以上的网站进行同步检测。远程节点通过传送数据将其结果反馈回中央控制系统。通过本发明的架构、内部数据结构和对互联网固有的网络不稳定性的内部容错，解决了实际问题。

Description

一种服务器管理系统的分布式页面监控方法

技术领域

本发明属于计算机处理方法，尤其与分布式系统监控和服务器系统管理相关。

背景技术

互联网由数百万互联网网站服务器和访问浏览这些服务器网站的数十亿终端用户组成。大量的互联网络将他们连接在一起，并允许终端用户和网站服务器间进行数据交换。

终端用户希望能够登陆自己选择访问的网站，如果不能访问他们会不高兴，同时造成挫败感并给给网站带来经济上以及名誉上难以挽回的损失。造成这种不可靠性的因素有多种，但网站所有者或运维人员更关心的是当这些问题何时发生，以便及时解决。这方面的工作主要通过一些特殊的监控软件对网络的自主监控来实现。

目前有两种类型的监控系统涉及到这种情况。

第一种是集中式服务器管理系统，该系统尽管只有一个单独的节点，同样包括互联网网站服务器监控。这些监控系统作为集中式服务器管理的一部分非常适用于局域网以及本地监控，但由于监控点和网站本身之间网络，加之两者间所有的这些中间网络连接不可靠这一性质，这些监控系统无法正常运行于分布较广的互联网站。在最好的情况下，它们会让单个远程节点监控每个远程网站。这使得用户很难做出选择，是使用一个由于网络和其他问题导致非常高误报率的监控系统还是让系统较大程度减少灵敏度以避免错误的警报同时使监控几乎不起作用。由于这类型的监控对时间十分敏感，拥有从十秒到几分钟的理想监测阈值，报错率高达90%甚至更多，导致大量的精力浪费在判断哪些是真实的警报上。

第二种类型的分布式节点监控服务解决了其中的一些问题，该服务适用于多种公司同时对于他们本身来说也作为一个网站可供用户购买他们的监控服务。这些分布式监控系统作为独立系统存在，统一且大规模的或者是并不集成到云系统管理系统。他们通常需要手动配置和数据提取，甚至当他们提供API时也并非真正集成到核心集中管理系统中。对于拥有上千服务器的大规模系统来说，这样的整合是十分有用且必要的，否则人员过程和系统在处理全世界的互联网大规模系统时很难扩展。此外，这些独立的分布式系统无法针对大规模集中式监控及管理系统的许多重要方面更改配置，例如区域优先事项或问题，例如长距离的越洋连接、国家级网关或防火墙，又或者是需要特殊对待及决策持续监控的复杂的区域路由。

第一类是严格的单一节点监控系统，Nagios、Zabbix、Zenoss等其他类似系统都使用该系统。他们使用集成或基于代理的系统监控远程网站，同时使用内置函数、外部库或其他工具例如curl。其中一些有分布模式，但对于任意网站监控只运用单节点。他们无法从多个节点来监控指定网站。

第二类是公共分布式网络监控系统例如Pingdom、HostTracker、KeyNote和CompuWareGomez。这些系统和技术通常是私人研发并应用于可供客户购买或试用其监控系统的自助服务互联网站。

第二种类型的系统使用本发明相同技术运用分布式节点，可并行检测多个网站同时将结果反馈报告给中央系统以便决策、报警以及显示给客户。但是他们不包含任何集成组件，也没有区域划分或控制。他们调度工作任务并通过多种算法进行决策，尽管其中无一包含非常重要的区域因素以及其他对大规模服务器管理系统有用的事项。其中一些系统拥有公共应用程序编程接口(APIs)用以查询简单数据和结果，但对于配置、管理以及向大规模集中式系统管理系统报告结果是不够的。具体的说，他们没有有任何推送或促使整体化的功能，因此需要不断论调大量主机，这是很不实用的。

发明内容

要解决的技术问题：

本发明解决的第一个重要问题便是现代互联网时代中，由于网络固有的不稳定性和不可靠性，单节点监控器拥有很高的错误警报率的问题。进一步来说，本发明解决了由于其高错误警报率而导致的低预警灵敏度过低的问题。

本发明解决的第二个重要问题便是当前的分布式系统很难同需要大规模扩展配置、报告、决策制定和控制的集中式系统进行整合。

本发明解决的第三个重要问题在于根据大量的区域特点来正确控制，包括如何节点监控的问题，哪些节点已被用过、如何制定中间及最终的决策。

实现本发明目的的一种服务器管理系统的分布式页面监控方法，包括如下步骤：

（1）对中央数据系统里每个网站的数据包括特定的网站细节、超时设定、所需文本和所需状态码在内的决定标准等进行基本配置来运作，将配置数据被存储在关联数据库中；

（2）所述配置数据由配置分发系统给出，他们通过使用HTTP协议进行远程监控节点4定期下载来提供数据；配置分发系统是一个用PHP语言编写的小型计算机程序，并且直接同中央数据系统的关系型数据库连接用以取回配置数据给所有配置网站检查项，达到监测所有配置网站的目的；

（3）配置数据通过标准的HTTP技术使用纯文本传送，为支持国际语言有时选择性使用unicode-encoded；远程监控节点使用HTTP或下载传输将配置数据转移到本地内存或磁盘文件中供之后在运维监控中使用；

（4）通过运用标准技术配置数据存储在简单文件中，远程监控节点定期读取配置数据并进行网站监控，使用配置数据通过其地址来识别网站；

（5）为了进行监控，远程监控节点使用包含适当的常见参标准的计算机程序curl以及通过TCP/IP协议以及HTTP协议或是HTTPS协议连接到网站并下载载有配置数据的特殊的网站内容的合理的常见参数；

（6）网站内容临时存储在本地磁盘文件，如果因出现错误导致网站内容无法被下载，基于配置数据标准的下载或连接超时，或网站内容与所需内容或配置数据指定的状态码不匹配的状况，远程节点会认定该网站出错并保存结果至本地磁盘文件中；如果网站内容及状态码同配置数据匹配，远程节点认定该网站运作正常并存储结果至本地磁盘文件中；

（7）一旦下载成功完成或者是网站被判断出现错误，远程节点通过使用标准计算机程序curl及标准HTTP协议将结果传送回中央数据系统，中央数据系统接收一个或多个结果并基于配置数据做出决定达成一个最终的结果；

（8）数据通过一个标准的HTTP网站服务器和用标准PHP编程语言撰写系统的数据库中的计算机程序接收，同一个程序也用于做出最终结果10，结果存储至中央数据的最终结果10被中央数据系统用于提供警报、通知以及其为终端用户或其他系统提供信息。

本发明通过引入分布式网站监控，该控制被集中控制并全方面集成，并通过自己的网络和数据搜集来独立监控目标网站。监测结果随后反馈给集中式系统用以聚集、决策、以及对网站状况做最终决定、警报、通知。

本发明解决了运维互联网关键问题，即当面对众多无法被现有系统很好解决的实际问题时从一个集中监控系统中监控任意多个分布式互联网站点状态的问题。具体的说，最终用户和网站的高度分布特性，以及互联网和相关网络的不可靠特性使得这类监控很困难并且容易出错。这使得用户很难做出选择，是使用一个由于网络和其他问题寻找非常高误报率的监控系统还是让系统较大程度减少灵敏度以避免错误的警报同时使监控几乎不起作用。由于这类型的监控对时间十分敏感，拥有从十秒到几分钟的理想监测阈值，误报率高达90%甚至更多，导致大量的精力浪费在判断哪些是真实的警报上。

本发明的优点在于相较于单节点系统更加灵敏同时保持高选择性以及低假错误率。此外，这个系统被整合进中央服务器监测和管理系统并处于全面控制中；提供更好的对错误或是其他问题的监控从而加速修复和恢复，使所有的互联网网站和用户收益。具体的说，其极大提高了集中式管理系统的灵敏度同时减少错误警报的出错率。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1显示了本发明的主要组成部分及其之间的相互作用。中央控制系统1包含配置并从远程节点接收结果。配置数据2显示远程节点监控方式以及监控内容。配置分布系统3从中央控制系统处回收配置数据并将其分发至所有远程节点。远程节点4是系统的主要监控组成部分。另一个远程节点是一个或更多附加节点。本地磁盘存储5远程节点储存的本地数据如配置及结果。目标网站6是被监控的互联网网站网站内容7指获取的网站数据例如HTML或其他网页。

网站状态码8是HTTP协议返回的状态如200、302、404等等，即从网站服务器返回到远程监控节点。结果9是对单个网站监控过程中监控程序中远程节点上的最终结果。最终结果10是中央控制系统经过从多个远程节点处搜集数据并应用多种决策算法后作出的最终决定。

具体实施方式

本发明采取的具体实施步骤及过程如下：

本发明通过对中央数据系统里每个网站的数据包括特定的网站细节例如网址和中央控制系统1,同样也包括区域数据，比如首选哪些节点或是网站要求的节点。包括超时设定、所需文本和所需状态码在内的决定标准等进行基本配置来运作这些配置数据2被存储在关联数据库中，运用每个网站监控地址(统一资源定位符)对应一个数据记录的标准方法。数据客段包括统一资源定位符、最大超时设定、所需状态码、所需内容以及使用的区域节点。这些配置数据2由配置分发系统3给出，他们通过使用HTTP协议进行远程监控节点4定期下载来提供数据，如每隔5分钟进行一次。配置分发系统3是一个用PHP语言编写的小型计算机程序，并且直接同中央数据系统1的关系型数据库连接用以取回配置数据2给所有配置网站检查项，达到监测所有配置网站的目的。配置数据2通过标准的HTTP技术使用纯文本传送，为支持国际语言有时选择性使用unicode-encoded。远程监控节点4使用HTTP或下载传输将配置数据2转移到本地内存或磁盘文件5中供之后在运维监控中使用。通过运用标准技术这些配置数据2存储在简单文件中。远程监控节点4定期读取配置数据2并进行网站监控，使用配置数据2通过其地址来识别网站。为了进行监控，远程监控节点4使用包含适当的常见参标准的计算机程序curl以及通过TCP/IP协议以及HTTP协议或是HTTPS协议连接到网站6并下载载有配置数据2的特殊的网站内容7的合理的常见参数。网站内容临时存储在本地磁盘文件5。如果因出现错误导致网站内容7无法被下载，基于配置数据标准的下载或连接超时，或网站内容7与所需内容或配置数据2指定的状态码不匹配等状况，远程节点4会认定该网站6出错并保存结果9至本地磁盘文件5中。如果网站内容7及状态码8同配置数据2匹配，远程节点4认定该网站6运作正常并存储结果9至本地磁盘文件5中。一旦下载成功完成或者是网站被判断出现错误，远程节点4通过使用标准计算机程序curl及标准HTTP协议将结果9传送回中央数据系统1。中央数据系统1接收一个或多个结果9并基于配置数据2做出决定达成一个最终的结果。数据通过一个标准的HTTP网站服务器和用标准PHP编程语言撰写系统1的数据库中的计算机程序接收。同一个程序也用于做出最终结果10，结果存储至中央数据这一最终结果10被中央数据系统1用于提供警报、通知以及其为终端用户或其他系统提供信息。

有利成效：

本发明的成效在于通过提供更好的监测、降低错误警报率以及对问题更高灵敏度的感知，极大增强了全球互联网的稳定性和可靠性。这些有助于更快的问题检测，故障排除以及修复，为终端用户提供更好服务、上网体验以及满意度。

Claims (1)

1.一种服务器管理系统的分布式页面监控方法，包括如下步骤：

(1)对中央数据系统里每个网站的数据包括特定的网站细节、超时设定、所需文本和所需状态码在内的决定标准进行基本配置来运作，将配置数据存储在关联数据库中；

(2)所述配置数据由配置分发系统给出，他们通过使用HTTP协议进行远程监控节点(4)定期下载来提供数据；配置分发系统是一个用PHP语言编写的小型计算机程序，并且直接同中央数据系统的关系型数据库连接用以取回配置数据给所有配置网站检查项，达到监测所有配置网站的目的；

(3)配置数据通过标准的HTTP技术使用纯文本传送，为支持国际语言使用unicode-encoded；远程监控节点使用HTTP将配置数据转移到本地内存或磁盘文件中供之后在运维监控中使用；

(4)通过运用UTF-8编码技术将配置数据保存在简单文件中，远程监控节点定期读取配置数据并进行网站监控，使用配置数据通过其地址来识别网站；

(5)为了进行监控，远程监控节点使用标准的计算机程序curl以及通过TCP/IP协议以及HTTP协议或是HTTPS协议连接到网站并下载载有配置数据的参数；

(6)网站内容临时存储在本地磁盘文件，如果因出现错误导致网站内容无法被下载，基于配置数据标准的下载或连接超时，或网站内容同配置数据不匹配，或状态码与配置数据不匹配，远程节点会认定该网站出错并保存结果至本地磁盘文件中；如果网站内容及状态码同配置数据匹配，远程节点认定该网站运作正常并存储结果至本地磁盘文件中；

(7)一旦下载成功完成或者是网站被判断出现错误，远程节点通过使用标准计算机程序curl及标准HTTP协议将结果传送回中央数据系统，中央数据系统接收一个或多个结果并基于配置数据做出决定达成一个最终的结果；

(8)数据通过一个标准的HTTP网站服务器和用标准PHP编程语言撰写的系统的数据库中的计算机程序接收，同一个程序也用于做出最终结果(10)，结果存储至中央数据系统的最终结果(10)被中央数据系统用于提供警报、通知以及为终端用户或其他系统提供信息。