CN104780220A - 面向证券期货行业大型分布式系统的智能监控系统及监控方法 - Google Patents

Abstract

本发明公开了一种面向证券期货行业大型分布式系统的智能监控系统，系统应用于各数据中心之间，基于非集中控制的体系结构，具有：数据采集层，该层位于系统底层，采集和压缩监控对象的监视信息；监视控制层，该层与所述的数据采集层通信，分析管理由数据采集层传输的实时数据和历史数据；以及展示层，该层位于系统最上层，向用户展示和告警；本发明具有如下优点：实现了多数据中心IT智能监控系统的控制中心的分布部署，保证了个别数据中心出现整体或部分不可用情况下的IT智能监控系统的可用性。多数据中心的IT智能监控系统采用对称结构，方便进行数据中心的复制和批量维护，能够全面满足用户的个性化需求。

Description

面向证券期货行业大型分布式系统的智能监控系统及监控方法

技术领域

本发明涉及一种针对分布式系统的智能监控系统以及应用该系统的监控方法，尤其涉及一种面向证券期货行业大型分布式系统的智能监控系统。主要涉及专利分类号G06计算；推算；计数G06F电数字数据处理G06F11/00错误检测；错误校正；监控G06F11/30监控。

背景技术

近年来，国内外大中型金融机构和企业广泛采用分布式系统技术，以满足金融业务对并行高性能应用处理和应用容错的需求。分布式技术为IT系统带来应用处理性能提升和容错能力提升的同时，也导致了IT系统软硬件规模的急剧扩大，为IT运维工作带来极大的挑战。

面对以上挑战，各大金融机构和企业的IT运维部门普遍采用相应对策，通过建设和使用IT监控系统实现对IT系统故障的预警、告警、性能和容量瓶颈发现及故障综合分析，进而保障IT系统的安全稳定运行。IT监控系统已经成为IT运维中不可缺少的核心部件。

目前，市场上不难找到功能较全面的IT监控软件和系统，其中不乏知名IT厂商提供的大型的IT监控软件和系统。但是，这些软件和系统无法全面满足用户的个性化需求，系统的规划设计较为封闭，提供的扩展方式和集成方式过于简单呆板，导致新增功能难以集成，造成IT监控系统进行横向的规模扩展和纵向的功能扩展后，无法在可用性、扩展性、效率和智能化水平上得到有力的保障。

发明内容

本发明针对以上问题的提出，而研制的一种面向证券期货行业大型分布式系统的智能监控系统，系统应用于各数据中心之间，基于非集中控制的体系结构，具有：

数据采集层，该层位于系统底层，采集和压缩监控对象的监视信息；

监视控制层，该层与所述的数据采集层通信，分析管理由数据采集层传输的实时数据和历史数据；分析、管理事件、诊断故障、管理专家库和控制动作触发；以及

展示层，该层位于系统最上层，向用户展示和告警；

所述的数据采集层包括：前台数据采集模块、后台数据采集模块和共用的数据缓冲区；

所述后台数据采集模块采集监控对象信息，将该信息写入数据缓冲区，该模块控制多个后台数据采集实例的启停；

所述前台数据采集模块，接收数据请求者的数据采集请求，按数据采集请求中指定的采集间隔，从数据缓冲区中采集特定指标的数据，采集数据后返回给数据请求者，该模块控制多个前台数据采集实例的启停；

工作时，所述的前台数据采集模块检测所述的周期线程被启动的原因，若非因新请求启动，则所述的前台数据采集实例从数据缓冲区中读取需要采集的数据信息，并将采集到的信息返回给数据请求者；

若判定所述的周期性线程启动的原因为新请求到来，则继续判定该新请求类型是否为数据采集请求；若为新到来的数据采集请求，则建立新的前台数据采集实例，同时，前台数据采集模块向所述的后台数据采集模块发送包含数据采集间隔和指标的数据采集请求；

后台数据采集模块接收到所述的数据采集请求，整合全部接收到的前台发送的数据采集信息的数据采集间隔，按所述采集间隔时间的公约数判定是否需要建立新的数据后台数据采集实例；若需要，则建立新的后台数据采集实例；若不需要，则判定是否需要调整所述由前台数据采集模块传送的时间间隔，若需要，则调节所述的数据采集时间间隔进行数据采集。

所述的前台数据采集模块判定为新请求启动所述的周期性线程后，首先判定该新请求类型是否为结束数据采集请求，若为结束数据采集请求，则清除与之前数据采集指令对应的前台数据采集实例，将所述采集终止信息传递给所述的后台数据采集管理实例。

所述的后台数据采集模块首先判定周期性线程是否是达到了由否是由前台数据采集实例传输的采集间隔，若达到了采集间隔，则采集所需要的数据信息，将采集得到的数据信息放入所述的数据缓冲区。

若所述的后台数据采集模块接收到的信息不是数据采集信息，则判断是否需要清除后台数据采集实例；若只是部分请求者终止数据采集请求，则不清除对应的后台数据采集实例，首先判定是否需要调整数据采集时间间隔，如果需要调整数据采集时间间隔，则调整数据采集时间间隔。

所述的数据采集层至少包含四类模块：标准硬件监控类、标准软件监控类、非标准硬件监控类和非标准软件监控类；

所述的监视控制层至少包含：通过数据总线模块与所述数据采集层中各模块通信的实时监视和诊断模块、与该模块通信的事件分析和管理模块、历史数据分析和管理模块、控制模块以及专家库；

所述的展示层具有一与所述的控制模块、实时监视和诊断模块、事件分析和管理模块、历史数据分析和管理模块通信的展示模块。

所述

标准硬件监控类至少包含：服务器监控模块和网络设备监控模块；

标准软件监控类至少包含：操作系统监控模块、数据库监控模块、J2EE监控模块；

非标准硬件监控类至少包含：安全设备监控模块、存储监控模块、机房环境监控模块和大数据设备监控模块；

非标准软件监控类至少包含：应用程序监控模块和交易延迟监控模块。

一种面向证券期货行业大型分布式系统的智能监控方法，其特征在于具有如下步骤：

—在多个数据中心之间建设非集中控制的、可裁剪的对称结构的的监控系统；

—启动所述的监控系统，各数据中心内部的数据的数据采集单元采集和压缩监控对象的数据；

—检测所述的周期性线程被启动的原因，若所述的周期性线程被启动的原因是有新的请求，则判定该新请求类型是否是结束数据采集请求；

—若为结束数据采集请求，则清除前台数据采集实例，将数据采集终止信息传递给所述的后台数据采集管理实例；

—若非结束数据采集请求，则建立新的前台数据采集实例，将采集间隔和指标传递给后台数据采集管理实例；

—所述后台数据采集模块接收到的信息是所述由前台传送的数据采集信息，则所述的后台采集管理实例将所有的数据采集信息进行整合以判断是否需要建立新的后台数据采集实例；

—如果需要建立新的后台数据采集实例，则建立新的后台数据采集实例；

—如果不需要建立后台数据采集实例，则判断是否需要调整数据采集时间间隔；如果需要调整数据采集时间间隔；则调整时间间隔。

所述的若检测所述的周期性线程被启动不是因为有新的请求到达，则从所述的数据缓冲区中读取所需要采集的数据信息，将所获得的数据信息返回数据请求者。

还在于包括如下步骤：

—如果后台数据采集模块所接收到的信息不是数据采集信息，则判断是否需要清除后台数据采集实例；

—如果只是部分请求者终止了数据请求，则不需要清除相应的后台数据采集实例；而判断是否需要调整数据采集的时间间隔；如果需要调整数据采集时间间隔，则调整数据采集时间间隔。

由于采用了上述技术方案，本发明提出的面向证券期货行业大型分布式系统的智能监控系统及监控方法具有如下优点：

1.可用性好。本发明系统实现了多数据中心IT智能监控系统的控制中心的分布部署，保证了个别数据中心出现整体或部分不可用情况下的IT智能监控系统的可用性。

2.可扩展性好。本发明系统中多数据中心的IT智能监控系统采用对称结构，方便进行数据中心的复制和批量维护，能够全面满足用户的个性化需求。

3.效率高。本发明系统模块进行了合理的分类别、分层次、分功能设计，保证了系统可以稳定高效运行。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统总体架构图；

图2为本发明方法中数据采集进程启停流程图。

图3为本发明方法中前台数据采集处理流程图。

图4为本发明方法中后台数据采集处理流程图。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1-图4所示：

本发明面向证券期货行业大型分布式系统的智能监控系统具有多个数据中心，各数据中心之间通过数据总线模块进行数据交换，每个数据中心采用非集中控制的对称结构，数据中心内部的IT智能监控系统，采用可裁剪对称结构，采用分类别、分层次、分功能的体系结构，主要分为三个层次：分别为数据采集层、监视控制层和用户展示层，各层次的功能模块均采用异构结构。

数据采集层对监控对象的监视信息进行采集和数据压缩。

监视控制层进行实时数据和历史数据分析管理、事件分析管理、故障诊断、专家库管理和控制动作触发。

用户展示层实现监控信息的展示和告警，并向用户提供访问监控数据的操控界面和专家库的手工维护接口。

本专利模块划分的理论基础是MAS(多智能体系统)理论，其中，对agent的描述是：“智能体Agent是指能在某一环境中运行，并能响应环境的变化，灵活、自主地采取行动以满足其设计目标的计算实体。它拥有以下四个基本特性：自治性(autonomy)，社会性(social ability)，反应性(reactivity)，能动性(pre—activeness)。”直观上，本实施例中的模块均为以上所述的功能模块，或称agent。本专利的重点在系统的架构和数据采集模块的设计原理，并没有公开每个模块的详细设计的计划。

根据监控对象的不同，数据采集层分为四类模块：标准硬件监控类、标准软件监控类、非标准硬件监控类以及非标准软件监控类，其中标准硬件监控类包括：服务器监控模块以及网络设备监控模块；标准软件监控类包括：操作系统监控模块、数据库监控模块以及J2EE软件监控模块；标准硬件监控类包括：安全设备监控模块、存储监控模块、机房环境监控模块以及大数据设备监控模块；非标准软件监控类包括：应用程序监控模块以及交易延迟监控模块；数据采集层的四类模块与监视控制层进行数据交换。

根据功能和任务的不同，将监视控制层分为四个模块：数据总线模块、实时监视和诊断模块、事件分析和管理模块以及监控历史数据分析和管理模块，其中数据总线模块对数据采集层模块所采集的数据进行收集，且与数据采集层的四类模块进行数据交互，同时与其他数据中心进行数据交互；实时监视和诊断模块的数据上传至事件分析和管理模块、监控历史数据分析和管理模块以及用户展示层的展示模块；事件分析和管理模块的数据上传至监控历史数据分析和管理模块；事件分析和管理模块以及监控历史数据分析和管理模块的数据上传至用户展示层的展示模块。

位于监视控制层的四个模块是整个智能监控系统中功能最多、逻辑最复杂的模块。本发明智能监控系统实时数据与历史数据的用途和处理逻辑存在巨大的差异。本发明智能监控系统实时数据精确地反映系统当前运行状态，与其对应的实时数据处理模块负责对故障和数据进行快速的处理和诊断，负责以近乎实时的速度对事件和故障进行告警触发和状态刷新。智能监控系统历史数据准确系统的反映系统历史运行状态，对应的历史数据处理模块，负责对某个历史时刻的系统运行状态进行准确的回溯，负责对历史数据进行系统的组织和管理，负责总结系统运行规律，负责出具各类分析报表。因此，将实时数据管理模块与历史数据管理模块分为两个独立的模块：实时监视和诊断模块以及监控历史数据分析和管理模块。

事件分析和管理模块需要涵盖事件告警、事件过滤、事件压缩、事件关联、事件根源分析、事件整合、拓扑关联、事件管理、事件处理过程跟踪等功能，反映智能监控系统的智能化水平。因此，事件分析和管理模块将作为一个独立的模块实现事件分析和管理。

数据总线模块负责各类数据信息的交互。

服务器监控模块、网络设备监控模块、操作系统监控模块、数据库监控模块、J2EE软件监控模块、安全设备监控模块、存储监控模块、机房环境监控模块、大数据设备监控模块、应用程序监控模块以及交易延迟监控模块结构相同，均包括前台采集子模块、数据缓冲区以及后台采集子模块，其中前台采集子模块响应数据请求，按照数据请求的条件、间隔向请求方发送采集到的监控数据，前台采集子模块有多个实例与数据请求对应，后台采集子模块接收前台采集子模块的所有数据请求，并对请求频率进行整合，生成采集频率，产生相应数量的实例；后台采集子模块将采集到的数据放到数据缓冲区，由前台读取以便响应数据请求。

本发明面向证券期货行业大型分布式系统的智能监控方法包括以下步骤：

在多个数据中心的各数据中心之间采用非集中控制的可裁减的对称结构，对各数据中心内部的模块采用分类别、分层次、分功能的体系结构；

根据用户提出的功能需求，订制用户所需的针对性强的监控体系；

启动该监控系统，各数据中心内部的数据采集层对监控对象的监视信息进行采集和数据压缩；各数据中心内部的监视控制层进行实时数据和历史数据分析管理、事件分析管理、故障诊断、专家库管理以及控制动作触发；各数据中心内部的用户展示层实现监控信息的展示和告警，并向用户提供访问监控数据的操控界面和专家库的手工维护接口。

如图2所示，数据采集进程启停流程为：

接收到数据采集进程启动指令，启动数据采集进程，建立一个数据缓冲区，启动一个前台数据采集管理实例，启动一个后台数据采集管理实例；接收到数据采集进程停止指令，停止数据采集进程和实例，释放数据缓冲区。

如图3所示，前台数据采集处理流程为：

如果周期性线程被启动的原因不是有新的请求到来，则从数据缓冲区中读取需要采集的数据信息，将所读取的数据信息返回给数据请求者；如果周期性线程被启动的原因是有新的请求到来，则判断新请求是否为结束数据采集请求；

如果新请求是结束数据采集请求，则清除相应的前台数据采集实例，将数据采集终止信息传递给后台数据采集管理实例；如果新请求不是结束数据采集请求，则建立新的前台数据采集实例，将采集间隔和指标传递给后台数据采集管理实例。

如图4所示，后台数据采集处理流程为：

如果周期性线程被启动的原因是到达了数据采集时间间隔，则采集所需数据信息，将采集得到的数据信息存放入数据缓冲区；如果周期性线程被启动的原因不是到达了数据采集时间间隔，则判断接收到的信息是否为前台数据采集管理实例发送来的数据采集信息；如果接收到的信息是数据采集信息，则后台采集管理实例将所有的数据采集信息进行整合以判断是否需要建立新的后台数据采集实例；如果需要建立新的后台数据采集实例，则建立新的后台数据采集实例；如果不需要建立新的后台数据采集实例，则判断是否需要调整数据采集时间间隔；如果需要调整数据采集时间间隔，则调整数据采集时间间隔；如果接收到的信息不是数据采集信息，则判断是否需要清除后台数据采集实例；

如果全部请求者终止了数据请求，则清除相应的后台数据采集实例；

如果只是部分请求者终止了数据请求，则不需要清除相应的后台数据采集实例；而判断是否需要调整数据采集时间间隔；如果需要调整数据采集时间间隔，则调整数据采集时间间隔。

所述订制用户所需的针对性强的监控体系为：

根据用户需求，对模块及监控指标进行裁减，确定监控配置；

对上述监控配置进行布署，建立针对该用户的监控环境，生成用户所需的监控体系。

如果有两个数据请求，采样间隔分别是5秒和10秒，这时前台采集子模块的管理实例会建立两个采集实例与之对应，分别是5秒和10秒的发送实例，而后台采集子模块只会建立一个实例，即以5秒和10秒的最大公约数5秒的间隔做为采样间隔。

这样，前台采集子模块的两个实例可以共享后台采集子模块存放于数据缓冲区的数据。

如果数据请求分别是2秒和5秒时，前台采集子模块的管理实例会建立两个采集实例与之对应，分别是2秒和5秒的发送实例，后台采集子模块会建立2个实例，在2秒、4秒、5秒、6秒、8秒、10秒(采集时间点以此类推)时间点采集一次数据。以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种面向证券期货行业大型分布式系统的智能监控系统，系统应用于各数据中心之间，基于非集中控制的体系结构，其特征在于具有：

数据采集层，该层位于系统底层，采集和压缩监控对象的监视信息；

监视控制层，该层位于系统的中层，与所述的数据采集层通信，分析管理由数据采集层传输的实时数据和历史数据；分析、管理事件、诊断故障、管理专家库和控制动作触发；以及

展示层，该层位于系统最上层，向用户展示和告警；

所述的数据采集层包括：前台数据采集模块、后台数据采集模块和所述两模块共用的数据缓冲区；

所述后台数据采集模块采集监控对象信息，将该信息写入数据缓冲区，该模块控制多个后台数据采集实例的启停；

所述前台数据采集模块，接收数据请求者的数据采集请求，按数据采集请求中指定的采集间隔从数据缓冲区中采集所请求的特定指标的数据，采集数据后返回给数据请求者；该模块控制前台数据采集实例的启停；

工作时，所述的前台数据采集模块检测周期线程启动的原因，若非因新请求启动，则所述的前台数据采集实例从数据缓冲区中读取需要采集的数据信息，并将采集到的数据信息返回给数据请求者；

若经判定，所述的周期性线程启动的原因为新请求到来，则继续判定该新请求类型是否为数据采集请求；若为新到来的数据采集请求，则建立新的前台数据采集实例；所述前台数据采集模块向所述的后台数据采集模块发送包含数据采集间隔和指标的数据采集请求；

后台数据采集模块接收到所述的数据采集请求，整合接收到的前台发送的数据采集信息的全部数据采集间隔，按所述采集间隔时间的公约数判定是否需要建立新的后台数据采集实例；若需要，则建立新的后台数据采集实例；若不需要，则判定是否需要调整所述由前台数据采集模块传送的时间间隔，若需要，则调节所述的数据采集时间间隔进行数据采集。

2.根据权利要求1所述的面向证券期货行业大型分布式系统的智能监控系统，其特征还在于所述的前台数据采集模块判定为新请求启动所述的周期性线程后，首先判定该新请求类型是否为结束数据采集请求，若为结束数据采集请求，则清除与之前数据采集指令对应的前台数据采集实例，将所述采集终止信息传递给所述的后台数据采集管理实例。

3.根据权利要求2所述的面向证券期货行业大型分布式系统的智能监控系统，其特征还在于：所述的后台数据采集模块首先判定周期性线程是否达到所述由前台数据采集实例传输的采集间隔，若达到所述的采集间隔，则采集所需要的数据信息，将采集得到的数据信息放入所述的数据缓冲区。

4.根据权利要求3所述的面向证券期货行业大型分布式系统的智能监控系统，其特征还在于：若所述的后台数据采集模块接收到的信息不是数据采集信息，则判断是否需要清除后台数据采集实例；若只是部分请求者终止数据采集请求，则不清除对应的后台数据采集实例；若不需要清楚后台数据采集实例，则首先判定是否需要调整数据采集时间间隔，如果需要调整数据采集时间间隔，则调整数据采集时间间隔。

5.根据权利要求1所述的面向证券期货行业大型分布式系统的智能监控系统，其特征还在于

所述的数据采集层至少包含四类模块：标准硬件监控类、标准软件监控类、非标准硬件监控类和非标准软件监控类；

所述的监视控制层至少包含：通过数据总线模块与所述数据采集层中各模块通信的实时监视和诊断模块、与该模块通信的事件分析和管理模块、历史数据分析和管理模块、控制模块以及专家库；

所述的展示层具有一与所述的控制模块、实时监视和诊断模块、事件分析和管理模块、历史数据分析和管理模块通信的展示模块。

6.根据权利要求5所述的面向证券期货行业大型分布式系统的智能监控系统，其特征还在于：

标准硬件监控类至少包含：服务器监控模块和网络设备监控模块；

标准软件监控类至少包含：操作系统监控模块、数据库监控模块、J2EE监控模块；

非标准硬件监控类至少包含：安全设备监控模块、存储监控模块、机房环境监控模块和大数据设备监控模块；

非标准软件监控类至少包含：应用程序监控模块和交易延迟监控模块。

7.一种面向证券期货行业大型分布式系统的智能监控方法，通过多个数据中心之间建设非集中控制的、可裁剪、对称结构的监控系统实现，其特征在于具有如下步骤：

—启动如权利要求1-6任意权利要求所述的监控系统，各数据中心内部的数据的数据采集单元采集和压缩监控对象的数据；

—检测所述周期性线程被启动的原因，若所述的周期性线程被启动的原因为有新的请求到来，则判定该新请求类型是否是结束数据采集请求；

—若为结束数据采集请求，则清除前台数据采集实例，将数据采集终止信息传递给所述的后台数据采集管理实例；

—若非结束数据采集请求，则建立新的前台数据采集实例，将采集间隔和指标传递给后台数据采集管理实例；

—所述后台数据采集模块接收到的信息是所述由前台传送的数据采集信息，则所述的后台采集管理实例将所有的数据采集信息进行整合以判断是否需要建立新的后台数据采集实例；

—如果需要建立新的后台数据采集实例，则建立新的后台数据采集实例；

—如果不需要建立后台数据采集实例，则判断是否需要调整数据采集时间间隔；如果需要调整数据采集时间间隔；则调整时间间隔。

8.根据权利要求7所述的面向证券期货行业大型分布式系统的智能监控方法，其特征还在于所述的若检测所述的周期性线程被启动不是因为有新的请求到达，则从所述的数据缓冲区中读取所需要采集的数据信息，将所获得的数据信息返回给数据请求者。

9.根据权利要求7所述的面向证券期货行业大型分布式系统的智能监控方法，其特征还在于包括如下步骤：

—如果后台数据采集模块所接收到的信息不是数据采集信息，则判断是否需要清除后台数据采集实例；

—如果只是部分请求者终止了数据请求，则不需要清除相应的后台数据采集实例；而判断是否需要调整数据采集的时间间隔；如果需要调整数据采集时间间隔，则调整数据采集时间间隔。