CN104407964A - 一种基于数据中心的集中监控系统及方法 - Google Patents

Abstract

本发明提供一种基于数据中心的集中监控系统及方法，其使用数据中心作为数据流转各个步骤的接口，实现各个处理步骤对数据处理的无缝对接；底层数据采集根据系统业务数据生成的时间，预定取数时间，由取数程序快速获取业务运行数据的获取，包括系统状态数据、数据库及存储复制状态、桌面安全监控数据以及客服处理数据等数据，以预定的数据结构存入数据中心；数据处理根据监控指标频率，通过定时任务的触发，依照预定的处理频率实现数据的筛选、合计、对比等处理，生成故障告警信息；应用展示使用数据处理过程中生成的故障告警信息、曲线图数据、信号量数据等展示数据，通过图表、声光等形式展示给用户。

Description

一种基于数据中心的集中监控系统及方法

技术领域

本发明涉及信息系统监控技术领域，具体是一种基于数据中心的集中监控系统及方法。

背景技术

信息系统监控技术一直是信息系统运行维护领域重要的且被广泛使用的技术。目前各类信息系统监控技术主要致力于对所监控的信息系统实现运行细节的监控。其中如信息运维综合监管系统(IMS)实现的监控对象包括了：系统的运行状态监管、桌面应用程序监管、系统信息安全监管、数据备份监管、设备台账监管等几个大的方面。该系统经过多年发展逐步形成横向集成、上下贯通的大型监控技术支撑平台，实现了除覆盖包含网络、主机、业务应用、安全设备、桌面终端等IT基础内容的监控架构外，还引入了标准运维流程管理，对于监控过程中发现的各类故障事件，提供问题发现、告警提示、故障处理的流程服务，使得系统在具备全面监控能力的同时也具备了问题处理的能力。可以说在信息系统监控技术发展的过程中已经能够较好地对影响信息系统健康运行的各个要点实现完善的监控，同时各类监控技术的组合使得现有的监控平台功能拓展极为迅速，平台规模也变得十分庞大。

随着信息监控技术的发展，监控范围逐步覆盖到信息系统运行的各个方面，获取得到的系统运行数据也越来越能够表征信息系统的实时运行的情况，在此基础上的各类信息系统监控平台也获得巨大发展，系统涉及的监控要点越来越多，其规模也越来越大，但同时也暴露出当前信息系统监控平台的一些不足：

1、系统监控平台为满足全面的监控要求，平台规模较大，各类模块功能繁多，用户使用存在不便的操作。这导致一线监控人员在使用信息系统监控平台获取故障信息的过程中存在使用效率低下以及漏查故障的问题。

2、监控内容独立且比较分散，根据不同的监控需求形成各类监控指标，衡量标准的不同也带来了无法对监控内容进行统一认知的问题。监控人员在缺少对信息系统的整体了解的情况下，在获知系统异常信息时，难以根据指标的说明获知对应故障对整个信息系统运行健康的影响。

3、系统监控平台由于需要进行数据采集、指标分析等环节的处理，最终展示故障信息时会略晚于实际信息系统出现故障的时间，这个时间的长短取决于系统监控平台数据预处理模块的性能设计。对于大型的系统监控平台，在数据展示精确性的要求下，往往在数据预处理的过程中花费更多的判断，以此来确保最终展示的故障信息的准确性，这样的处理会影响系统的实时性要求。

发明内容

本发明提供一种基于数据中心的集中监控系统及方法，其系统结构简单，对故障反应快捷，实现了监控操作的简化，故障发生和告警产生之间时间的大为缩短。

一种基于数据中心的集中监控系统，包括数据中心服务器、应用服务器、采集管理节点、与采集管理节点连接的多个采集节点，采集节点与大型监控系统或业务系统连接；采集管理节点和应用服务器分别于数据中心服务器连接，

所述采集管理节点，用于实现业务运行数据采集，具体功能为：

根据不同类型的业务运行数据，设定不同的取数时间；

按照系统类别进行数据采集；

对采集的数据按照业务类别进行分类；

将采集得到的数据按照预定数据结构存入数据中心服务器；

所述应用服务器，用于对采集的业务运行数据进行分析，具体为：

根据不同监控指标频率，创建不同的定时任务；

配置定时任务触发时间，任务调度器启动后加载相关配置；

任务调度器触发任务后对数据进行分析处理；

将分析处理后的数据按照预定的数据结构存入数据中心服务器；

所述应用服务器还用于在对采集的业务运行数据进行分析后进行集中监控展示，具体为：

初始化展示页面；

载入页面刷新频率，定时加载最新监控数据；

载入页面监控指标配置文件，查询指标对应告警信息，根据查询得到的告警信息进行实时声光告警；

根据信号量数据对应的指标气泡图颜色进行渲染；

颜色标识异常的气泡图在点击时，弹出对应指标的数据历史曲线图。

一种基于数据中心的集中监控方法，其特征在于应用在上述监控系统中，所述方法包括如下步骤：

步骤S11：根据不同类型的业务运行数据，设定不同的取数时间；

步骤S12：按照系统类别进行数据采集；

步骤S13：对采集的数据按照业务类别进行分类；

步骤S14：将采集得到的数据按照预定数据结构存入数据中心服务器；

步骤S15：根据不同监控指标频率，创建不同的定时任务；

步骤S16：配置定时任务触发时间，任务调度器启动后加载相关配置；

步骤S17：任务调度器触发任务后对数据进行分析处理；

步骤S18：将分析处理后的数据按照预定的数据结构存入数据中心服务器；

步骤S19：初始化展示页面；

步骤S20：载入页面刷新频率，定时加载最新监控数据；

步骤S21：载入页面监控指标配置文件，查询指标对应告警信息，根据查询得到的告警信息进行实时声光告警；

步骤S22：根据信号量数据对应的指标气泡图颜色进行渲染；

步骤S23：颜色标识异常的气泡图在点击时，弹出对应指标的数据历史曲线图。

本发明具有如下有益效果：

1、通过应用该基于数据中心的集中监控技术，降低了监控系统的规模以及监控系统各部分之间的交互复杂度；

2、可以有效提升数据处理效率，缩短故障发生和故障告警之间时间；

3、监控人员在监控过程中的操作复杂度大幅降低，提高监控效率；

4、辅助的声光提示，可以减少监控人员长时间关注系统的压力。

附图说明

图1是本发明基于数据中心的集中监控系统的结构示意图；

图2是本发明基于数据中心的集中监控方法的流程示意图。

图中：1—数据中心服务器，2—应用服务器，3—采集管理节点，4—采集节点，5—实时数据库服务器。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。

图1所示为本发明基于数据中心的集中监控系统的结构示意图，所述基于数据中心的集中监控系统包括数据中心服务器1、应用服务器2、采集管理节点3、与采集管理节点3连接的多个采集节点4。采集节点4与大型监控系统或业务系统连接；采集管理节点3和应用服务器2分别于数据中心服务器1连接。

所述采集管理节点3，用于实现业务运行数据采集。具体功能如下：

(1)根据不同类型的业务运行数据，设定不同的取数时间；

(2)按照系统类别进行数据采集，具体的，针对网络性能、数据库性能、主机性能、中间件性能通过采集节点4分别实现数据采集；其中网络性能通过监控广域核心路由器的端口获取数据，数据库性能通过SQL查询语句实现数据获取，主机性能数据采集通过具有一定权限的用户登录到系统获取相应的性能数据，中间件性能采用JMX和SNMP协议获取规范标准下的性能数据。采集数据以不同类型的数据产生情况为依据，通过不同的采集方式进行实时的数据采集。特别针对业务数据产生的时间，实现低频数据的低频采集，避免同一的采集过程带来的额外的数据采集资源的消耗。

(3)对采集节点4采集的数据按照业务类别进行分类，具体的，按照业务内容的不同将采集的数据分为系统状态数据、数据库及存储复制状态、桌面安全监控数据以及客服处理数据四大类；

(4)将采集得到的数据按照预定数据结构存入数据中心服务器1；数据中心服务器1规定了系统所需的资源数据、资产数据、元数据、告警数据、性能数据、统计数据等数据的数据结构，便于各类数据的结构化表示。数据中心服务器1除提供了系统所需的所有数据的管理的功能外，数据中心更多情况下作为各个模块的数据交互接口，各模块的数据获取除了系统外部数据意外，所有所需的数据均可从数据中心服务器1获取，各模块处理产生的数据均可存入数据中心服务器1，供其他模块获取使用。

所述应用服务器2，用于对采集管理节点3采集的业务运行数据进行分析，具体功能如下：

(1)根据不同监控指标频率，创建不同的定时任务，监控指标频率的确定依据于采集数据的时间频率；

(2)配置定时任务触发时间，任务调度器启动后加载相关配置；

(3)任务调度器触发任务后对数据进行分析处理，具体的，根据任务创建时确定的分析逻辑，实现筛选、合计、对比等分析处理，生成相应告警信息、曲线图数据、信号量数据，并存入数据中心服务器(1)中。例如进行如下三类数据分析：

数据缺失分析：针对性能数据无法正常获取而导致在数据分析过程中出现数据缺失的场景，将生成对应数据缺失故障告警；

数据超出预定阈值情况分析：针对具有一定波动范围的数据，将预设波动范围的最大最小阈值，在数据分析过程中出现超出最大、最小阈值的情况，将生成对应数据越界故障告警；

数据非正常变化情况分析：针对具有线性增长规律以及恒定不变的规律等等一定变化规律的数据，在数据分析过程中出现不符合业务规律的突变时，将生成对应数据突变故障告警。

本发明根据监控指标的不同频率要求，创建不同的定时任务，通过任务调度管理实现自动的数据分析，相同频率的指标通过多线程处理，实现并行的数据分析，可提高数据分析效率。

(4)将分析处理后的数据按照预定的数据结构存入数据中心服务器1。

所述应用服务器2还用于在对采集管理节点3采集的业务运行数据进行分析后进行集中监控展示，具体功能如下：

(1)初始化展示页面；

(2)载入页面刷新频率，定时加载最新监控数据，页面刷新频率依据于监控指标频率；

(3)载入页面监控指标配置文件，查询指标对应告警信息，根据查询得到的告警信息进行实时声光告警；

(4)根据信号量数据对应的指标气泡图颜色进行渲染；

(5)颜色标识异常的气泡图在点击时，弹出对应指标的数据历史曲线图。

本发明精简了数据应用展示。通过选取重要的监控功能，形成监控展示、实时告警、故障查询、评价看板四个展示功能。实现对需要重点关注的指标实现集中展示的功能；提供设备运行故障及时进行告警提示功能；提供对历史故障信息进行指定条件的查询的功能；实现对重点关注的指标进行评分展示的功能。

如图2所示，本发明还提供一种基于数据中心的集中监控方法，其应用上述监控系统进行监控，所述方法包括如下步骤：

所述采集管理节点3进行业务运行数据采集，具体步骤如下：

步骤S11：根据不同类型的业务运行数据，设定不同的取数时间；

步骤S12：按照系统类别进行数据采集，具体的，针对网络性能、数据库性能、主机性能、中间件性能通过采集节点4分别实现数据采集；其中网络性能通过监控广域核心路由器的端口获取数据，数据库性能通过SQL查询语句实现数据获取，主机性能数据采集通过具有一定权限的用户登录到系统获取相应的性能数据，中间件性能采用JMX和SNMP协议获取规范标准下的性能数据。

步骤S13：对采集节点4采集的数据按照业务类别进行分类，具体的，按照业务内容的不同将采集的数据分为系统状态数据、数据库及存储复制状态、桌面安全监控数据以及客服处理数据四大类；

步骤S14：将采集得到的数据按照预定数据结构存入数据中心服务器1。

所述应用服务器2对采集的业务运行数据进行分析，具体步骤如下：

步骤S15：根据不同监控指标频率，创建不同的定时任务；

步骤S16：配置定时任务触发时间，任务调度器启动后加载相关配置；

步骤S17：任务调度器触发任务后对数据进行分析处理，具体的，根据任务创建时确定的分析逻辑，实现筛选、合计、对比等分析处理，例如如下三类数据分析：

数据缺失分析：针对性能数据无法正常获取而导致在数据分析过程中出现数据缺失的场景，将生成对应数据缺失故障告警；

数据超出预定阈值情况分析：针对具有一定波动范围的数据，将预设波动范围的最大最小阈值，在数据分析过程中出现超出最大、最小阈值的情况，将生成对应数据越界故障告警；

数据非正常变化情况分析：针对具有线性增长规律以及恒定不变的规律等等一定变化规律的数据，在数据分析过程中出现不符合业务规律的突变时，将生成对应数据突变故障告警。

步骤S18：将分析处理后的数据按照预定的数据结构存入数据中心服务器1。

所述应用服务器2在对采集管理节点3采集的业务运行数据进行分析后进行集中监控展示，具体步骤如下：

步骤S19：初始化展示页面；

步骤S20：载入页面刷新频率，定时加载最新监控数据；

步骤S21：载入页面监控指标配置文件，查询指标对应告警信息，根据查询得到的告警信息进行实时声光告警；

步骤S22：根据信号量数据对应的指标气泡图颜色进行渲染；

步骤S23：颜色标识异常的气泡图在点击时，弹出对应指标的数据历史曲线图。

本发明基于数据中心的集中监控技术针对当前大型监控平台的使用复杂，监控内容分散，故障发生和告警之间的时间较长的问题进行了优化，即该技术主要进行了如下创新：

(1)有重点的监控展示设计。该技术有选择地选取了指标状态监控，告警详细信息查询以及指标数值看板3个关注度较高的监控功能。其中指标状态监控作为监控展示功能的一个逻辑模块，以气泡图的形式展现，通过气泡的变化直观的反应指标的状态信息；告警详细信息查询作为故障查询功能的一个逻辑模块，提供有条件的查询方法，可以在指标状态异常的时候快捷地提供告警信息的查询；指标数值看板即为评价看板功能，提供指标的衡量值的展示，便于用户进行指标的评价分析。这三个监控功能尽管无法反映信息系统运行的全部信息，但是能够将复杂的监控内容浓缩在有限的功能中，通过以小见大的方式，以重要指标的变化反映信息系统运行的一般情况。

(2)以数据中心为数据管理形式。该技术通过数据中心实现所有的业务性能数据、告警信息等数据的管理。通过集中的数据管理，可以集中进行数据结构的设计，避免了对各个模块处理的中间数据分别进行数据结构的定义，有利于数据的维护；同时通过数据中心提供统一的数据访问方式，减少各模块的数据交互的复杂性，各模块仅需要通过与数据中心的交互即可获取所需数据或存储处理的结果。

(3)高效的数据处理过程。为能够更加及时反映信息系统的运行状态变化，对信息系统运行数据处理的效率非常关键。该技术在数据采集和数据分析两个模块上进行了处理效率的提升，采用多节点的形式，分别实现各个业务性能数据的采集，通过统一的采集管理实现数据汇总，同时多线性并行实现了数据指标分析。另外各模块根据执行的先后顺序，实现模块间的无缝对接，尽可能缩短从数据产生到前台展示所需的时间。本发明在数据流转的时序上实现了各模块的无缝对接，缩短了数据产生到展示的时间。采集模块定时触发进行数据采集存入数据中心，数据采集时间经过测算并实际控制于1分钟之内；数据处理的指标分析定时进行对应业务性能数据的分析处理，处理频率依据分析数据的采集频率，在数据采集完成后指标分析进行同频率的处理，处理的时间也在测算后实际控制于1分钟之内；集中监控展示模块同样以定时触发的形式进行数据分析处理结果数据的获取并展示。在数据采集和数据处理两个模块的运行中，后者以同频率在前者处理完成后触发执行，实现对前者处理结果的下一步加工；而对于数据处理和集中监控展示也是如此，以保证产生的告警等处理信息能够及时反映在监控页面上。

基于上述创新，使得基于该技术的监控系统具备精简的系统结构，使监控人员能够以更少的操作完成更多的监控要求；同时系统各个逻辑间关系，模块部署的相互依赖性较低，便于分模块进行系统维护；数据分析效率提升，能更加及时反映系统的运行故障；有效的问题声光提示，可以将用户从持续监控观察工作中解放出来；由于系统设计精简，适合用于对现有的大型信息系统监控平台进行辅助工作。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于数据中心的集中监控系统，其特征在于：包括数据中心服务器(1)、应用服务器(2)、采集管理节点(3)、与采集管理节点(3)连接的多个采集节点(4)，采集节点(4)与大型监控系统或业务系统连接；采集管理节点(3)和应用服务器(2)分别于数据中心服务器(1)连接，

所述采集管理节点(3)，用于实现业务运行数据采集，具体功能为：

根据不同类型的业务运行数据，设定不同的取数时间；

按照系统类别进行数据采集；

对采集的数据按照业务类别进行分类；

将采集得到的数据按照预定数据结构存入数据中心服务器(1)；

所述应用服务器(2)，用于对采集的业务运行数据进行分析，具体为：

根据不同监控指标频率，创建不同的定时任务；

配置定时任务触发时间，任务调度器启动后加载相关配置；

任务调度器触发任务后对数据进行分析处理；

将分析处理后的数据按照预定的数据结构存入数据中心服务器(1)；

所述应用服务器(2)还用于在对采集的业务运行数据进行分析后进行集中监控展示，具体为：

初始化展示页面；

载入页面刷新频率，定时加载最新监控数据；

载入页面监控指标配置文件，查询指标对应告警信息，根据查询得到的告警信息进行实时声光告警；

根据信号量数据对应的指标气泡图颜色进行渲染；

颜色标识异常的气泡图在点击时，弹出对应指标的数据历史曲线图。

2.如权利要求1所述的基于数据中心的集中监控系统，其特征在于：按照系统类别进行数据采集具体为：针对网络性能、数据库性能、主机性能、中间件性能通过采集节点(4)分别实现数据采集，其中网络性能通过监控广域核心路由器的端口获取数据，数据库性能通过SQL查询语句实现数据获取，主机性能数据采集通过具有一定权限的用户登录到系统获取相应的性能数据，中间件性能采用JMX和SNMP协议获取规范标准下的性能数据。

3.如权利要求1所述的基于数据中心的集中监控系统，其特征在于：对采集的数据按照业务类别进行分类为四大类：系统状态数据、数据库及存储复制状态、桌面安全监控数据以及客服处理数据。

4.如权利要求1所述的基于数据中心的集中监控系统，其特征在于：任务调度器触发任务后对数据进行分析处理具体为：根据任务创建时确定的分析逻辑，进行数据缺失分析、数据超出预定阈值情况分析和数据非正常变化情况分析生成相应告警信息；对数据进行合计筛选生成曲线图数据、信号量数据，并将生成数据存入数据中心服务器(1)中。

5.一种基于数据中心的集中监控方法，其特征在于应用在权利要求1-4中任一所述监控系统中，所述方法包括如下步骤：

步骤S11：根据不同类型的业务运行数据，设定不同的取数时间；

步骤S12：按照系统类别进行数据采集；

步骤S13：对采集的数据按照业务类别进行分类；

步骤S14：将采集得到的数据按照预定数据结构存入数据中心服务器(1)；

步骤S15：根据不同监控指标频率，创建不同的定时任务；

步骤S16：配置定时任务触发时间，任务调度器启动后加载相关配置；

步骤S17：任务调度器触发任务后对数据进行分析处理；

步骤S18：将分析处理后的数据按照预定的数据结构存入数据中心服务器(1)；

步骤S19：初始化展示页面；

步骤S20：载入页面刷新频率，定时加载最新监控数据；

步骤S21：载入页面监控指标配置文件，查询指标对应告警信息，根据查询得到的告警信息进行实时声光告警；

步骤S22：根据信号量数据对应的指标气泡图颜色进行渲染；

步骤S23：颜色标识异常的气泡图在点击时，弹出对应指标的数据历史曲线图。

6.如权利要求5所述的基于数据中心的集中监控方法，其特征在于：步骤S12中按照系统类别进行数据采集具体为：针对网络性能、数据库性能、主机性能、中间件性能通过采集节点(4)分别实现数据采集，其中网络性能通过监控广域核心路由器的端口获取数据，数据库性能通过SQL查询语句实现数据获取，主机性能数据采集通过具有一定权限的用户登录到系统获取相应的性能数据，中间件性能采用JMX和SNMP协议获取规范标准下的性能数据。

7.如权利要求5所述的基于数据中心的集中监控方法，其特征在于：步骤S13中对采集的数据按照业务类别进行分类为四大类：系统状态数据、数据库及存储复制状态、桌面安全监控数据以及客服处理数据。

8.如权利要求5所述的基于数据中心的集中监控方法，其特征在于：步骤S17中任务调度器触发任务后对数据进行分析处理具体为：根据任务创建时确定的分析逻辑，进行数据缺失分析、数据超出预定阈值情况分析和数据非正常变化情况分析，生成相应告警信息；对数据进行合计筛选生成曲线图数据、信号量数据，并将生成数据存入数据中心服务器(1)中。