CN102750350B - 监控系统及方法 - Google Patents

监控系统及方法 Download PDF

Info

Publication number
CN102750350B
CN102750350B CN201210189358.4A CN201210189358A CN102750350B CN 102750350 B CN102750350 B CN 102750350B CN 201210189358 A CN201210189358 A CN 201210189358A CN 102750350 B CN102750350 B CN 102750350B
Authority
CN
China
Prior art keywords
data
performance data
center
monitor
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210189358.4A
Other languages
English (en)
Other versions
CN102750350A (zh
Inventor
王川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Tianyun Data Center Technology Co. Ltd.
Original Assignee
BEIJING CLOUD-FRAME TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING CLOUD-FRAME TECHNOLOGY Co Ltd filed Critical BEIJING CLOUD-FRAME TECHNOLOGY Co Ltd
Priority to CN201210189358.4A priority Critical patent/CN102750350B/zh
Publication of CN102750350A publication Critical patent/CN102750350A/zh
Application granted granted Critical
Publication of CN102750350B publication Critical patent/CN102750350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种监控系统及方法。其中,系统包括:多个数据监控中心,每个数据监控中心与一个数据中心相对应,用于实时采集所述数据中心的性能数据,并对所述性能数据进行格式转换以及推送格式转换后的性能数据;以及集中监控中心,分别与每个所述数据监控中心相连,用于实时采集所述多个数据监控中心推送的性能数据,并将所述性能数据存储在分布式文件系统中,以及对所述性能数据进行处理操作。本发明通过即使地将各个数据中心的数据推送到集中监控中心进行分布式存储和统一管理,可以减轻数据中心的工作人员的工作强度,减少数据中心的维修人员和IT设备等的开销,节约成本,同时能够为数据分析提供更准确丰富的数据。

Description

监控系统及方法
技术领域
本发明涉及监控技术领域,特别涉及一种监控系统及方法。
背景技术
目前,通常使用数据中心来提供数据查询分析等数据服务,其不仅仅包括计算机系统、数据通信和存储系统,还包括环境控制设备以及各种安全装置等。为了及时了解数据中心的工作状态,通常为数据中心配置监控系统以实时采集数据中心的性能数据从而判断数据中心是否正常工作。
现有的数据中心监控都是单一的管理模式,由于受到大数据量、网络传输等问题的制约,各个数据中心无法有效地串联起来,因此无法形成集中监控,这至少带来以下一些问题:
1、分散的数据中心管理模式,造成人员浪费和资源浪费。
2、为数据统计分析带来诸多不便。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。
为达到上述目的,本发明一方面提出一种监控系统,包括:多个数据监控中心,每个所述数据监控中心与一个数据中心相对应,用于实时采集所述数据中心的性能数据,对所述性能数据进行格式转换,并推送格式转换后的性能数据;以及集中监控中心,分别与每个所述数据监控中心相连,用于实时采集所述多个数据监控中心推送的性能数据,并将所述性能数据存储在分布式文件系统中,以及对所述性能数据进行处理操作。
根据本发明实施例的监控系统,通过即时地将各个数据中心的性能数据推送到集中监控中心进行分布式存储和统一管理,可以减轻数据中心的工作人员的工作强度,减少数据中心的维修人员和IT设备等的开销,节约成本,同时能够为数据分析提供更准确丰富的数据。
本发明另一方面还提出一种监控方法,包括以下步骤:实时采集各个数据中心的性能数据,并对所述性能数据进行格式转换;将格式转换后的性能数据推送到统一的监控平台;所述监控平台将所述性能数据存储在分布式文件系统中;以及所述监控平台对所述性能数据进行处理操作。
根据本发明实施例的监控方法,通过即时地将各个数据中心的性能数据推送到集中监控中心进行分布式存储和统一管理,可以减轻数据中心的工作人员的工作强度,减少数据中心的维修人员和IT设备等的开销,节约成本,同时能够为数据分析提供更准确丰富的数据。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的监控系统的结构框图;
图2为图1中的数据监控中心的一个实施例的结构框图;
图3为图1中的集中监控中心的一个实施例的结构框图;
图4为图1中的集中监控中心的另一个实施例的结构框图;
图5为图1中的集中监控中心的又一个实施例的结构框图;以及
图6为根据本发明一个实施例的监控方法的流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
图1为根据本发明一个实施例的监控系统的结构示意图。如图1所示,该监控系统包括多个数据监控中心100和集中监控中心200。
每个数据监控中心100分别与一个数据中心相对应,用于实时采集相应的数据中心的性能数据,并对采集到的性能数据进行格式转换,以及推送格式转换后的性能数据。集中监控中心200分别与每个数据监控中心100相连,用于实时采集各个数据监控中心100推送的性能数据,并将采集到的性能数据存储在分布式文件系统中,以及对性能数据进行处理操作,如查询、统计、分析等。
根据本发明实施例的监控系统,通过即时地将各个数据中心的性能数据推送到集中监控中心进行分布式存储和统一管理,可以减轻数据中心的工作人员的工作强度,减少数据中心的维修人员和IT设备等的开销,节约成本,同时能够为数据分析提供更准确丰富的数据。
具体地,图2为图1的数据监控中心的一个实施例的结构示意图。如图2所示,数据监控中心100包括数据采集单元110、数据转换单元120和数据推送单元130。数据采集单元110用于实时采集数据中心的性能数据。数据转换单元120用于将采集到的性能数据转换为预定的数据通信帧格式。数据推送单元130用于将具有预定的数据通信帧格式的性能数据推送至集中监控中心。
更具体地,在本发明的一个实施例中,数据转换单元120为每个性能数据添加帧起始字段和帧结束字段,例如以DLE(0x10)、STX(0x02)作为帧起始字段,以DLE(0x10)、ETX(0x03)作为帧结束字段。此外,为了避免在信息字段中出现帧起始字段或结束字段中的字符(如DLE)而影响数据的正确接收,在发送数据前检查性能数据的信息字段中是否出现该字符(如DLE),如果出现,则在此字符后再加一个该字符(如DLE)。集中监控中心200如果连续收到两个该字符(如DLE),则表明该字符是数据信息,而不是控制转义字符,去掉一个该字符即可。由此,可以实现数据的即时推送,减轻网络压力,提高网络利用率。下表1为本发明一个实施例的数据通信帧格式:
表1数据通信帧格式
其中,循环冗余校验码的校验内容为从“信息长度”到“数据”结束的全部内容。“信息长度”表示从“数据类型”开始到“循环冗余校验”结束的字节数,包括数据类型和循环冗余校验数据。“信息长度”和“循环冗余校验”等多字节字段为高字节数据在前。
图3为图1中的集中监控中心的一个实施例的示意图。如图3所示,数据监控中心200包括数据采集服务器210、索引存储服务器220、多个数据存储服务器230、应用服务器240和任务调度服务器250。数据采集服务器210用于实时采集各个数据监控中心100推送的性能数据并对采集到的性能数据进行标识转换以使得每个性能数据具有唯一的标识。索引存储服务器220用于对标识转换后的性能数据进行分类,并生成相应的目录索引。每个数据存储服务器230用于存储标识转换后的性能数据的一个备份,且每个数据存储服务器230均包括多个数据文件,每个数据文件用于存储标识转换后的性能数据的多个数据块。应用服务器240用于对标识转换后的性能数据进行处理操作,例如查询、统计和分析等。任务调度服务器250用于统一调度数据采集服务器210、索引存储服务器220、数据存储服务器230和应用服务器240。
具体地,数据采集服务器210通过网络实时采集性能数据。由于采集到的性能数据都有在各自数据中心的标识,上传到集中监控中心200后,有可能造成标识重复;此外为了满足数据存储服务器230对数据进行查找,还需要对上传到集中监控中心200的性能数据的存放位置和存放时间进行记录,因此需要对采集到的性能数据进行一次标识转换,从而形成性能数据在集中监控中心200的唯一标识,然后将采集到的性能数据按照各个不同的数据中心和不同设备进行分类,形成统一的查找格式存储在索引存储服务器220中。之后,将收集到的性能数据复制成多个备份,将每个备份存储在一个数据存储服务器230中,由此提高数据的容灾恢复能力。同时,数据存储服务器230中的每一份性能数据都被切分成若干个数据块,每一个数据块存储在不同的数据文件中。然后,由应用服务器240完成数据的应用、查询、统计和分析等工作。上述的数据的获取、存储等作业都由任务调度服务器250进行统一调度。由此,实现数据的分布式存储,提高数据访问的响应速度,并能够实现大容量的数据存储。
图4为图1中的集中监控中心的另一个实施例的结构框图。如图4所示,在图3所示的实施例的基础上,该集中监控中心200还可包括显示模块260。显示模块260用于向用户显示应用服务器250对性能数据进行处理操作后的结果,例如将生成的报表等以页面和多终端的方式展示给用户。由此,用户可以直观地了解各个数据中心的工作状态。
图5为图1中的集中监控中心的又一个实施例的结构框图。如图5所示,在图3所示的实施例的基础上,该集中监控中心200还可包括报警模块270。报警模块270用于在数据中心的性能异常时进行报警。例如,应用服务器通过对性能数据进行分析后发现某个数据中心的性能出现异常,则可通过短信、语音或电子邮件等方式进行报警,提醒维修人员对数据中心进行维修。
本发明另一方面还提出一种监控方法。
图6为根据本发明一个实施例的监控方法的流程图。如图6所示,根据本发明实施例的监控方法包括下述步骤。
步骤S101,实时采集各个数据中心的性能数据,并对采集到的性能数据进行格式转换。
具体地,在收集到性能数据后,为每个性能数据添加帧起始字段和帧结束字段,例如以DLE(0x10)、STX(0x02)作为帧起始字段,以DLE(0x10)、ETX(0x03)作为帧结束字段。此外,为了避免在信息字段中出现帧起始字段或结束字段中的字符(如DLE)而影响数据的正确接收,在发送数据前检查性能数据的信息字段中是否出现该字符(如DLE),如果出现,则在此字符后再加一个该字符(如DLE)。由此,数据接收方如果连接收到两个该字符(如DLE),则表明该字符是数据信息,而不是控制转义字符,去掉一个该字符即可。由此,实现数据的正确传输。
步骤S102,将格式转换后的性能数据推送到统一的监控平台。
在本发明的实施例中,通过自定义数据格式,采集到的数据可以即时推送到监控平台,减轻网络压力,提高网络利用效率。
步骤S103,监控平台将接收到的性能数据存储在分布式文件系统中。
具体地,在本发明的一个实施例中,采用HBase(一种高可靠性、高性能、面向列、可伸缩的分布式存储系统)在服务器上搭建大规模结构化存储集群。监控平台接收到性能数据后,对数据进行标识转换以使得每个数据具有唯一的标识后,对数据根据所属的不同数据中心和不同设备进行分类,然后形成统一的查找格式存储在namenode节点中,数据的内容存储在多个数据服务器中(其中,namenode节点为分布式文件系统的核心,它提供文件系统的目录索引信息,并且管理各个数据服务器;此外,分布式文件系统的每一个文件都被切分成若干个数据块,每一个数据块被存储在不同的数据文件中)。各个数据服务器可以平滑地无缝扩展,不影响系统的稳定性,同时保证了数据的海量存储。
步骤S104,监控平台对性能数据进行处理操作。
具体地,任务提交到namenode节点后,由namenode节点的jobTracker把任务分发到各个数据服务器的taskTracker上,在每个数据服务器上同时经过处理后将处理好的输出结果进行收集,存放到指定的输出目录中。所有过程都是分布式处理,从而具有很大的数据吞吐量,数据处理容错性强。
应理解,如果根据处理好的输出结果判断数据中心的性能异常后,可以通过语音、电子邮件或者短信等方式进行报警。由此,提醒维护人员进行维修,减少安全风险。
根据本发明实施例的监控方法,通过即时地将各个数据中心的性能数据推送到集中监控中心进行分布式存储和统一管理,可以减轻数据中心的工作人员的工作强度,减少数据中心的维修人员和IT设备等的开销,节约成本,同时能够为数据分析提供更准确丰富的数据。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。

Claims (8)

1.一种监控系统,其特征在于,包括:
多个数据监控中心,每个所述数据监控中心与一个数据中心相对应,用于实时采集所述数据中心的性能数据,对所述性能数据进行格式转换,并推送格式转换后的性能数据,所述格式转换后的性能数据是在采集的数据中心的性能数据中添加帧起始字段和帧结束字段后得到的;以及
集中监控中心,分别与每个所述数据监控中心相连,用于实时采集所述多个数据监控中心推送的性能数据,并将所述性能数据存储在分布式文件系统中,以及对所述性能数据进行处理操作,所述处理操作是分布式处理,其中,所述集中监控中心具体包括:
数据采集服务器,用于实时采集所述多个数据监控中心推送的性能数据并对采集到的性能数据进行标识转换以使得每个性能数据具有唯一的标识;
索引存储服务器,用于对标识转换后的所述性能数据进行分类,并生成相应的目录索引;
多个数据存储服务器,每个所述数据存储服务器用于存储标识转换后的所述性能数据的一个备份,且每个所述数据存储服务器均包括多个数据文件,每个所述数据文件用于存储标识转换后的所述性能数据的多个数据块;
应用服务器,用于对标识转换后的所述性能数据进行处理操作,其中所述处理操作包括查询、统计和分析;以及
任务调度服务器,用于统一调度所述数据采集服务器、索引存储服务器、多个数据存储服务器和应用服务器。
2.根据权利要求1所述的监控系统,其特征在于,所述数据监控中心具体包括:
数据采集单元,用于实时采集所述数据中心的性能数据;
数据转换单元,用于将采集到的所述性能数据转换为预定的数据通信帧格式;以及
数据推送单元,用于将具有所述预定的数据通信帧格式的性能数据推送至所述集中监控中心。
3.根据权利要求2所述的监控系统,其特征在于,所述预定的数据通信帧格式包括:帧起始字段、源地址、目标地址、信息长度、数据类型、数据、循环冗余校验码和帧结束字段。
4.根据权利要求1所述的监控系统,其特征在于,所述集中监控中心还包括:
显示模块,用于向用户显示所述应用服务器对所述性能数据进行处理操作后的结果。
5.根据权利要求1所述的监控系统,其特征在于,所述集中监控中心还包括:
报警模块,用于当所述数据中心的性能异常时进行报警。
6.一种监控方法,其特征在于,包括以下步骤:
S1:实时采集各个数据中心的性能数据,并对所述性能数据进行格式转换;
S2:将格式转换后的性能数据推送到统一的监控平台,所述格式转换后的性能数据是在采集的数据中心的性能数据中添加帧起始字段和帧结束字段后得到的;
S3:所述监控平台将所述性能数据存储在分布式文件系统中,其中,所述监控平台对接收到的性能数据进行标识转换,以使得每个性能数据具有唯一的标识;对标识转换后的性能数据进行分类,并生成目录索引;将所述标识转换后的性能数据复制成多个备份,并将每个所述备份存储在不同的服务器上;将每个所述服务器上的每个所述标识转换后的性能数据切分成多个数据块,并将每个所述数据块存储在不同的数据文件中;以及
S4:所述监控平台对所述性能数据进行处理操作,所述处理操作是分布式处理。
7.根据权利要求6所述的监控方法,其特征在于,所述步骤S1具体包括:
实时收集各个数据中心的性能数据;
为所述性能数据添加帧起始字段和帧结束字段;
判断所述性能数据的信息字段中是否含有所述帧起始字段中的字符;
如果含有,则在所述性能数据的信息字段中的所述字符后再增加一个相同的字符。
8.根据权利要求6所述的监控方法,其特征在于,还包括:
当所述数据中心的性能异常时,进行报警。
CN201210189358.4A 2012-06-08 2012-06-08 监控系统及方法 Active CN102750350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210189358.4A CN102750350B (zh) 2012-06-08 2012-06-08 监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210189358.4A CN102750350B (zh) 2012-06-08 2012-06-08 监控系统及方法

Publications (2)

Publication Number Publication Date
CN102750350A CN102750350A (zh) 2012-10-24
CN102750350B true CN102750350B (zh) 2015-04-22

Family

ID=47030535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210189358.4A Active CN102750350B (zh) 2012-06-08 2012-06-08 监控系统及方法

Country Status (1)

Country Link
CN (1) CN102750350B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184987A (zh) * 2014-02-24 2014-12-03 无锡天脉聚源传媒科技有限公司 一种数据回传的方法及系统
CN103944777B (zh) * 2014-03-26 2017-08-25 广州杰赛科技股份有限公司 分布式监控系统信息处理方法和系统
CN103926893A (zh) * 2014-04-14 2014-07-16 浪潮电子信息产业股份有限公司 一种云集装箱数据中心监控系统
CN104268173B (zh) * 2014-09-15 2018-06-15 中国工商银行股份有限公司 集中式数据监控方法、装置及系统
CN104780059B (zh) * 2014-10-15 2018-03-27 贵州电网公司信息通信分公司 基于web页面和底层系统服务的服务器性能管理方法
CN105765569B (zh) * 2014-11-05 2018-02-02 华为技术有限公司 一种数据分发方法,装载机及存储系统
CN105516285A (zh) * 2015-12-01 2016-04-20 北京无线电计量测试研究所 一种数据采集设备、系统和方法
CN106250273B (zh) * 2016-08-01 2019-04-09 浪潮软件集团有限公司 一种基于Hadoop文件系统实现数据异地容灾的方法
CN110069453A (zh) * 2017-09-30 2019-07-30 北京国双科技有限公司 运维数据处理方法和装置
CN112988500A (zh) * 2019-12-17 2021-06-18 上海商汤智能科技有限公司 文件存储系统的监控方法及设备、系统
CN111240933B (zh) * 2020-01-10 2022-08-05 苏州浪潮智能科技有限公司 多数据中心的性能数据监测的方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197736A (zh) * 2007-12-28 2008-06-11 中国移动通信集团浙江有限公司 一种无线网元设备监控系统及其监控方法
CN101212338A (zh) * 2006-12-30 2008-07-02 上海复旦光华信息科技股份有限公司 基于监控探针联动的网络安全事件溯源系统与方法
CN101883094A (zh) * 2010-05-21 2010-11-10 浙江工业大学 嵌入式通用即插即用工业监控网络数据库服务系统
CN202058147U (zh) * 2011-05-23 2011-11-30 北京六所和瑞科技发展有限公司 分布式实时数据库管理系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409400B2 (en) * 2003-10-22 2008-08-05 Intel Corporation Applications of an appliance in a data center

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212338A (zh) * 2006-12-30 2008-07-02 上海复旦光华信息科技股份有限公司 基于监控探针联动的网络安全事件溯源系统与方法
CN101197736A (zh) * 2007-12-28 2008-06-11 中国移动通信集团浙江有限公司 一种无线网元设备监控系统及其监控方法
CN101883094A (zh) * 2010-05-21 2010-11-10 浙江工业大学 嵌入式通用即插即用工业监控网络数据库服务系统
CN202058147U (zh) * 2011-05-23 2011-11-30 北京六所和瑞科技发展有限公司 分布式实时数据库管理系统

Also Published As

Publication number Publication date
CN102750350A (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
CN102750350B (zh) 监控系统及方法
CN102521781B (zh) 一种基于独立监控服务的跨安全区的设备统一监控方法及其监控系统
CN104407964B (zh) 一种基于数据中心的集中监控系统及方法
CN103700031A (zh) 调控一体化模式下的电力告警信息发布方法
CN103389715B (zh) 一种高性能的分布式数据中心监控架构
CN108989466A (zh) 工业云平台管理系统
CN103530757A (zh) 基于网络的多模式智能跟单管理方法及智能管理系统
CN111339175B (zh) 数据处理方法、装置、电子设备及可读存储介质
CN104881352A (zh) 基于移动端的系统资源监控装置
CN103337012A (zh) 面向电网设备监控的多主题智能综合告警分析方法
CN103533084A (zh) 一种b/s架构的实时设备管理系统及其方法
CN206991380U (zh) 一种吸收性卫生用品生产线的智能交互系统
CN101729294A (zh) 基于web gis拓扑地图的监控方法及系统
CN103336491A (zh) 一种基于以太网的分布式自动化生产线系统和通信方法
CN110555583A (zh) 一种智能电网调度控制系统广域运行数据统一处理方法
CN109800133A (zh) 一种统一监控告警的方法、一站式监控告警平台及系统
CN118096061A (zh) 一种电网负荷采集管控平台
CN104270272B (zh) 一种基于移动Agent的电能质量监测数据管理方案
CN113592210A (zh) 一种用于水务无负压二次供水设施的物联网综合管理平台
CN116246765A (zh) 一种医疗设备全生命周期智能维保管理方法及系统
CN206258853U (zh) 一种数据库监控装置
CN104578404A (zh) 一种电力系统二次设备在线监测系统
CN111090698B (zh) 一种面向配网1+n系统集中监控的告警同步方法和装置
CN103268353A (zh) 电网报警自动响应系统及电网报警自动响应方法
CN103491138A (zh) 一种企业实时信息系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160513

Address after: 214135 Jiangsu province Wuxi city Wuxi District Taihu international science and Technology Park Linghu Road No. 200 China Sensor Network International Innovation Park Room D2-622

Patentee after: Wuxi Tianyun Data Center Technology Co. Ltd.

Address before: 100176, room six, building 18, building 1, North Street, No. 606, Sheng Bei street, Beijing economic and Technological Development Zone, Beijing

Patentee before: Beijing Cloud-frame Technology Co., Ltd.