CN102750350A

CN102750350A - 监控系统及方法

Info

Publication number: CN102750350A
Application number: CN2012101893584A
Authority: CN
Inventors: 王川
Original assignee: BEIJING CLOUD-FRAME TECHNOLOGY Co Ltd
Current assignee: Wuxi Tianyun Data Center Technology Co. Ltd.
Priority date: 2012-06-08
Filing date: 2012-06-08
Publication date: 2012-10-24
Anticipated expiration: 2032-06-08
Also published as: CN102750350B

Abstract

本发明提出一种监控系统及方法。其中，系统包括：多个数据监控中心，每个数据监控中心与一个数据中心相对应，用于实时采集所述数据中心的性能数据，并对所述性能数据进行格式转换以及推送格式转换后的性能数据；以及集中监控中心，分别与每个所述数据监控中心相连，用于实时采集所述多个数据监控中心推送的性能数据，并将所述性能数据存储在分布式文件系统中，以及对所述性能数据进行处理操作。本发明通过即使地将各个数据中心的数据推送到集中监控中心进行分布式存储和统一管理，可以减轻数据中心的工作人员的工作强度，减少数据中心的维修人员和IT设备等的开销，节约成本，同时能够为数据分析提供更准确丰富的数据。

Description

监控系统及方法

技术领域

本发明涉及监控技术领域，特别涉及一种监控系统及方法。

背景技术

目前，通常使用数据中心来提供数据查询分析等数据服务，其不仅仅包括计算机系统、数据通信和存储系统，还包括环境控制设备以及各种安全装置等。为了及时了解数据中心的工作状态，通常为数据中心配置监控系统以实时采集数据中心的性能数据从而判断数据中心是否正常工作。

现有的数据中心监控都是单一的管理模式，由于受到大数据量、网络传输等问题的制约，各个数据中心无法有效地串联起来，因此无法形成集中监控，这至少带来以下一些问题：

1、分散的数据中心管理模式，造成人员浪费和资源浪费。

2、为数据统计分析带来诸多不便。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为达到上述目的，本发明一方面提出一种监控系统，包括：多个数据监控中心，每个所述数据监控中心与一个数据中心相对应，用于实时采集所述数据中心的性能数据，对所述性能数据进行格式转换，并推送格式转换后的性能数据；以及集中监控中心，分别与每个所述数据监控中心相连，用于实时采集所述多个数据监控中心推送的性能数据，并将所述性能数据存储在分布式文件系统中，以及对所述性能数据进行处理操作。

根据本发明实施例的监控系统，通过即时地将各个数据中心的性能数据推送到集中监控中心进行分布式存储和统一管理，可以减轻数据中心的工作人员的工作强度，减少数据中心的维修人员和IT设备等的开销，节约成本，同时能够为数据分析提供更准确丰富的数据。

本发明另一方面还提出一种监控方法，包括以下步骤：实时采集各个数据中心的性能数据，并对所述性能数据进行格式转换；将格式转换后的性能数据推送到统一的监控平台；所述监控平台将所述性能数据存储在分布式文件系统中；以及所述监控平台对所述性能数据进行处理操作。

根据本发明实施例的监控方法，通过即时地将各个数据中心的性能数据推送到集中监控中心进行分布式存储和统一管理，可以减轻数据中心的工作人员的工作强度，减少数据中心的维修人员和IT设备等的开销，节约成本，同时能够为数据分析提供更准确丰富的数据。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的监控系统的结构框图；

图2为图1中的数据监控中心的一个实施例的结构框图；

图3为图1中的集中监控中心的一个实施例的结构框图；

图4为图1中的集中监控中心的另一个实施例的结构框图；

图5为图1中的集中监控中心的又一个实施例的结构框图；以及

图6为根据本发明一个实施例的监控方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1为根据本发明一个实施例的监控系统的结构示意图。如图1所示，该监控系统包括多个数据监控中心100和集中监控中心200。

每个数据监控中心100分别与一个数据中心相对应，用于实时采集相应的数据中心的性能数据，并对采集到的性能数据进行格式转换，以及推送格式转换后的性能数据。集中监控中心200分别与每个数据监控中心100相连，用于实时采集各个数据监控中心100推送的性能数据，并将采集到的性能数据存储在分布式文件系统中，以及对性能数据进行处理操作，如查询、统计、分析等。

具体地，图2为图1的数据监控中心的一个实施例的结构示意图。如图2所示，数据监控中心100包括数据采集单元110、数据转换单元120和数据推送单元130。数据采集单元110用于实时采集数据中心的性能数据。数据转换单元120用于将采集到的性能数据转换为预定的数据通信帧格式。数据推送单元130用于将具有预定的数据通信帧格式的性能数据推送至集中监控中心。

更具体地，在本发明的一个实施例中，数据转换单元120为每个性能数据添加帧起始字段和帧结束字段，例如以DLE（0x10）、STX（0x02）作为帧起始字段，以DLE（0x10）、ETX（0x03）作为帧结束字段。此外，为了避免在信息字段中出现帧起始字段或结束字段中的字符（如DLE）而影响数据的正确接收，在发送数据前检查性能数据的信息字段中是否出现该字符（如DLE），如果出现，则在此字符后再加一个该字符（如DLE）。集中监控中心200如果连续收到两个该字符（如DLE），则表明该字符是数据信息，而不是控制转义字符，去掉一个该字符即可。由此，可以实现数据的即时推送，减轻网络压力，提高网络利用率。下表1为本发明一个实施例的数据通信帧格式：

表1数据通信帧格式

其中，循环冗余校验码的校验内容为从“信息长度”到“数据”结束的全部内容。“信息长度”表示从“数据类型”开始到“循环冗余校验”结束的字节数，包括数据类型和循环冗余校验数据。“信息长度”和“循环冗余校验”等多字节字段为高字节数据在前。

图3为图1中的集中监控中心的一个实施例的示意图。如图3所示，数据监控中心200包括数据采集服务器210、索引存储服务器220、多个数据存储服务器230、应用服务器240和任务调度服务器250。数据采集服务器210用于实时采集各个数据监控中心100推送的性能数据并对采集到的性能数据进行标识转换以使得每个性能数据具有唯一的标识。索引存储服务器220用于对标识转换后的性能数据进行分类，并生成相应的目录索引。每个数据存储服务器230用于存储标识转换后的性能数据的一个备份，且每个数据存储服务器230均包括多个数据文件，每个数据文件用于存储标识转换后的性能数据的多个数据块。应用服务器240用于对标识转换后的性能数据进行处理操作，例如查询、统计和分析等。任务调度服务器250用于统一调度数据采集服务器210、索引存储服务器220、数据存储服务器230和应用服务器240。

具体地，数据采集服务器210通过网络实时采集性能数据。由于采集到的性能数据都有在各自数据中心的标识，上传到集中监控中心200后，有可能造成标识重复；此外为了满足数据存储服务器230对数据进行查找，还需要对上传到集中监控中心200的性能数据的存放位置和存放时间进行记录，因此需要对采集到的性能数据进行一次标识转换，从而形成性能数据在集中监控中心200的唯一标识，然后将采集到的性能数据按照各个不同的数据中心和不同设备进行分类，形成统一的查找格式存储在索引存储服务器220中。之后，将收集到的性能数据复制成多个备份，将每个备份存储在一个数据存储服务器230中，由此提高数据的容灾恢复能力。同时，数据存储服务器230中的每一份性能数据都被切分成若干个数据块，每一个数据块存储在不同的数据文件中。然后，由应用服务器240完成数据的应用、查询、统计和分析等工作。上述的数据的获取、存储等作业都由任务调度服务器250进行统一调度。由此，实现数据的分布式存储，提高数据访问的响应速度，并能够实现大容量的数据存储。

图4为图1中的集中监控中心的另一个实施例的结构框图。如图4所示，在图3所示的实施例的基础上，该集中监控中心200还可包括显示模块260。显示模块260用于向用户显示应用服务器250对性能数据进行处理操作后的结果，例如将生成的报表等以页面和多终端的方式展示给用户。由此，用户可以直观地了解各个数据中心的工作状态。

图5为图1中的集中监控中心的又一个实施例的结构框图。如图5所示，在图3所示的实施例的基础上，该集中监控中心200还可包括报警模块270。报警模块270用于在数据中心的性能异常时进行报警。例如，应用服务器通过对性能数据进行分析后发现某个数据中心的性能出现异常，则可通过短信、语音或电子邮件等方式进行报警，提醒维修人员对数据中心进行维修。

本发明另一方面还提出一种监控方法。

图6为根据本发明一个实施例的监控方法的流程图。如图6所示，根据本发明实施例的监控方法包括下述步骤。

步骤S101，实时采集各个数据中心的性能数据，并对采集到的性能数据进行格式转换。

具体地，在收集到性能数据后，为每个性能数据添加帧起始字段和帧结束字段，例如以DLE（0x10）、STX（0x02）作为帧起始字段，以DLE（0x10）、ETX（0x03）作为帧结束字段。此外，为了避免在信息字段中出现帧起始字段或结束字段中的字符（如DLE）而影响数据的正确接收，在发送数据前检查性能数据的信息字段中是否出现该字符（如DLE），如果出现，则在此字符后再加一个该字符（如DLE）。由此，数据接收方如果连接收到两个该字符（如DLE），则表明该字符是数据信息，而不是控制转义字符，去掉一个该字符即可。由此，实现数据的正确传输。

步骤S102，将格式转换后的性能数据推送到统一的监控平台。

在本发明的实施例中，通过自定义数据格式，采集到的数据可以即时推送到监控平台，减轻网络压力，提高网络利用效率。

步骤S103，监控平台将接收到的性能数据存储在分布式文件系统中。

具体地，在本发明的一个实施例中，采用HBase（一种高可靠性、高性能、面向列、可伸缩的分布式存储系统）在服务器上搭建大规模结构化存储集群。监控平台接收到性能数据后，对数据进行标识转换以使得每个数据具有唯一的标识后，对数据根据所属的不同数据中心和不同设备进行分类，然后形成统一的查找格式存储在namenode节点中，数据的内容存储在多个数据服务器中（其中，namenode节点为分布式文件系统的核心，它提供文件系统的目录索引信息，并且管理各个数据服务器；此外，分布式文件系统的每一个文件都被切分成若干个数据块，每一个数据块被存储在不同的数据文件中）。各个数据服务器可以平滑地无缝扩展，不影响系统的稳定性，同时保证了数据的海量存储。

步骤S104，监控平台对性能数据进行处理操作。

具体地，任务提交到namenode节点后，由namenode节点的jobTracker把任务分发到各个数据服务器的taskTracker上，在每个数据服务器上同时经过处理后将处理好的输出结果进行收集，存放到指定的输出目录中。所有过程都是分布式处理，从而具有很大的数据吞吐量，数据处理容错性强。

应理解，如果根据处理好的输出结果判断数据中心的性能异常后，可以通过语音、电子邮件或者短信等方式进行报警。由此，提醒维护人员进行维修，减少安全风险。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims

1.一种监控系统，其特征在于，包括：

多个数据监控中心，每个所述数据监控中心与一个数据中心相对应，用于实时采集所述数据中心的性能数据，对所述性能数据进行格式转换，并推送格式转换后的性能数据；以及

集中监控中心，分别与每个所述数据监控中心相连，用于实时采集所述多个数据监控中心推送的性能数据，并将所述性能数据存储在分布式文件系统中，以及对所述性能数据进行处理操作。

2.根据权利要求1所述的监控系统，其特征在于，所述数据监控中心具体包括：

数据采集单元，用于实时采集所述数据中心的性能数据；

数据转换单元，用于将采集到的所述性能数据转换为预定的数据通信帧格式；以及

数据推送单元，用于将具有所述预定的数据通信帧格式的性能数据推送至所述集中监控中心。

3.根据权利要求2所述的监控系统，其特征在于，所述预定的数据通信帧格式包括：帧起始字段、源地址、目标地址、信息长度、数据类型、数据、循环冗余校验码和帧结束字段。

4.根据权利要求1所述的监控系统，其特征在于，所述集中监控中心具体包括：

数据采集服务器，用于实时采集所述多个数据监控中心推送的性能数据并对采集到的性能数据进行标识转换以使得每个性能数据具有唯一的标识；

索引存储服务器，用于对标识转换后的所述性能数据进行分类，并生成相应的目录索引；

多个数据存储服务器，每个所述数据存储服务器用于存储标识转换后的所述性能数据的一个备份，且每个所述数据存储服务器均包括多个数据文件，每个所述数据文件用于存储标识转换后的所述性能数据的多个数据块；

应用服务器，用于对标识转换后的所述性能数据进行处理操作，其中所述处理操作包括查询、统计和分析；以及

任务调度服务器，用于统一调度所述数据采集服务器、索引存储服务器、多个数据存储服务器和应用服务器。

5.根据权利要求4所述的监控系统，其特征在于，所述集中监控中心还包括：

显示模块，用于向用户显示所述应用服务器对所述性能数据进行处理操作后的结果。

6.根据权利要求4所述的监控系统，其特征在于，所述集中监控中心还包括：

报警模块，用于当所述数据中心的性能异常时进行报警。

7.一种监控方法，其特征在于，包括以下步骤：

S1：实时采集各个数据中心的性能数据，并对所述性能数据进行格式转换；

S2：将格式转换后的性能数据推送到统一的监控平台；

S3：所述监控平台将所述性能数据存储在分布式文件系统中；以及

S4：所述监控平台对所述性能数据进行处理操作。

8.根据权利要求7所述的监控方法，其特征在于，所述步骤S1具体包括：

实时收集各个数据中心的性能数据；

为所述性能数据添加帧起始字段和帧结束字段；

判断所述性能数据的信息字段中是否含有所述帧起始字段中的字符；

如果含有，则在所述性能数据的信息字段中的所述字符后再增加一个相同的字符。

9.根据权利要求7所述的监控方法，其特征在于，所述步骤S3具体包括：

所述监控平台对接收到的性能数据进行标识转换，以使得每个性能数据具有唯一的标识；

对标识转换后的性能数据进行分类，并生成目录索引；

将所述标识转换后的性能数据复制成多个备份，并将每个所述备份存储在不同的服务器上；

将每个所述服务器上的每个所述标识转换后的性能数据切分成多个数据块，并将每个所述数据块存储在不同的数据文件中。

10.根据权利要求7所述的监控方法，其特征在于，还包括：

当所述数据中心的性能异常时，进行报警。