CN1791028A - 网格信息监控系统 - Google Patents

Abstract

本发明涉及一种网格信息监控系统，其包括：监控引擎模块，用于对监控系统的运行进行控制；事件收集模块，与监控引擎模块相连，用于从服务器获取网络节点的监控事件信息；服务接口模块，与事件收集模块相连，用于提供查询或者接收网络侧的服务端信息的接口；事件消费模块，与事件收集模块相连，用于将事件收集模块收集的原始信息进行处理和保存。本发明采用完善的节点事件记录，能提供整个网格系统拓扑结构的变化状况以及网格中每个节点的信息以进行观测和分析；本发明采用易于扩展的事件收集结构，为网络系统的行为分析、系统优化等提供了数据支持和分析依据；本发明采用多图层的可视化展现，能够更直观的理解整个网格网络的运行状态和历史状态。

Description

网格信息监控系统

技术领域

本发明涉及一种网格信息监控系统，尤其是一种在节点层面和系统层面对整个系统进行系统资源监控的网格信息监控系统。

背景技术

网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”，因此称这种计算方式为网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享，但由于网格中的各个节点往往存在着异构性的问题，难以有效的实现共享和协作。

人们将Web Services技术引入到网格计算领域中来，提出了服务网格体系结构，这种服务网格体系结构中的计算、存储、网络和设备等各种资源都被抽象为服务的形式，从而有效地屏蔽了网格中资源的异构性，为资源的共享和协同提供了有效的支持。在这种服务网格体系结构下，所用到的计算资源、存储资源、网络资源以及其他的资源都是在地理上分布的，这种分布形式增加了整个网格系统的复杂性，并且增加了观察整个网格系统的状态以及性能的难度。在大规模分布的网格系统中，从多个地理上分布的节点中的海量数据收集到的各种资源数据往往是最原始的格式，用户无法通过直接观察来监控网络的运行状态，更难以直接进行操作和管理。

开放源码组织Globus在2004年推出了服务网格中间件系统GlobusToolkit 4。其中的信息服务组件MDS即Monitor and Discovery System提供了资源和计算网格状态的有关信息，解决了Globus Toolkit 4中的服务发现、资源状态信息、针对使用情况的应用描述和执行监督、V0范围内的状态监控等问题，但信息服务组件MDS却有着不可克服的缺点：MDS只提供了对所部署机器的一些信息的收集，但是没有提供对整个网格系统中所有机器的相关信息进行收集的功能。在可视化方面只提供了基于Web的列表显示资源的一些信息，信息显示度有限，无法展现事件。

发明内容

本发明要解决的技术问题是服务网格体系结构下难以收集在地理上分布的网格系统中节点的数据，难以有效地对状态和性能进行监测和管理的问题，以及在服务网格体系结构下收集来的原始数据未进行可视化处理，用户难以理解的问题。

为了解决上述技术问题，本发明提供了一种网格信息监控系统，其包括：

监控引擎模块，用于对监控系统的运行进行控制；

事件收集模块，与所述监控引擎模块相连，用于从服务器获取网络节点的监控事件信息；

服务接口模块，与所述事件收集模块相连，用于提供查询或者接收网络侧的服务端信息的接口；

事件消费模块，与所述资源收集模块相连，用于将所述事件收集模块收集的原始信息进行处理和保存。

根据以上的技术方案，本发明具有以下优点：

1、本发明通过服务接口模块对节点事件进行了完善的记录，并提供整个网格系统拓扑结构的变化状况，以及网格中每个节点的具体动态、静态信息，方便进行观测和分析。

2、本发明通过事件收集模块实现了易于扩展的事件收集结构，能够使管理员对整个网格系统的实时状态进行全面的了解，并且通过历史事件的回放了解到网格系统中发生的历史事件，为整个网络系统的行为分析、系统优化以及故障定位、故障恢复提供了数据支持和分析依据。

3、本发明通过展现模块实现了基于多图层技术的可视化展现，能够对各个节点收集来的时间进行汇聚分析，并通过不同的图层展现不同的部分，可以使管理员和开发人员更直观的理解整个网格网络的运行状态和历史状态。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明网格信息监控系统的一实施例的基本结构示意图。

图2为图1的实施例的服务接口模块和事件收集模块的具体结构示意图。

图3为图1的实施例的事件消费模块的具体结构示意图。

图4为基于图1的实施例的监控过程示意图。

图5为本发明网格信息监控系统的另一实施例的基本结构示意图。

图6为图4的实施例的展现模块的具体结构示意图。

图7为图5实施例的监控过程示意图。

具体实施方式

如图1所示，为本发明网格信息监控系统的一实施例的基本结构示意图，包括以下组件：监控引擎模块1、事件收集模块2、服务接口模块3以及事件消费模块4，其中监控引擎模块1是网格信息监控系统的核心组件，起到的是调配内部资源，对整体的运行进行控制的作用；事件收集模块2与监控引擎模块1相连，其作用是根据监控引擎模块1的要求获取网络中关于节点的各种监控事件信息；服务接口模块3与事件收集模块2相连，为资源收集模块2提供原始监控事件信息，其与服务器端通信，可以查询监控事件信息或接收在网络侧订阅的一些监控事件；事件消费模块4与事件收集模块2相连，其作用是将事件收集模块2收集到的原始监控事件信息进行处理、保存或者建模，为以后的处理和展现做准备。

如图2所示，为图1的实施例的服务接口模块和事件收集模块的具体结构示意图，其中服务接口模块3包括资源监控服务接口单元31、节点统计接口模块单元32和日志信息服务接口单元33，资源收集模块2包括节点静态信息收集单元21、节点动态信息收集单元22、节点延迟信息收集单元23、节点统计信息收集单元24以及节点日志信息收集单元25。资源监控服务接口单元31与节点静态信息收集单元21和节点动态信息收集单元22相连，用于从网络侧服务器查询或者接收网络节点静态信息和节点动态信息以提供给所属节点静态信息收集单元21和节点动态信息22收集单元；节点统计接口单元32与节点统计信息收集单元24相连，其作用是接受网络节点的事件统计信息，并将统计信息提供给所属节点统计信息收集单元24；日志信息服务接口单元33与节点日志信息收集单元25相连，用于接收网络侧服务器记录的事件日志，并提供给节点日志信息收集单元25；节点静态信息收集单元21，与监控引擎模块1、事件消费模块4和资源监控服务接口单元31相连，用于收集网络节点的静态信息，网络节点的静态信息包括计算机类型、操作系统等；节点动态信息收集单元22与监控引擎模块1、事件消费模块4和资源监控服务接口单元31相连，用于收集网络节点的动态信息，动态信息包括CPU负载或可用存储空间等，这些信息都被封装成Web Services，用户能够通过SOAP消息获取在远程的服务容器所在节点的系统资源信息，其中动态的信息采用了推送的方式，可以以异步的方式得到动态资源的实时信息；节点延迟信息收集单元23与监控引擎模块1和事件消费模块4相连，用于收集由于网络原因导致的指令延迟信息；节点统计信息收集单元24与监控引擎模块1、事件消费模块4和节点统计接口单元32相连，用于收集网络节点的统计信息，这些统计信息在一定程度上能够反应节点的服务质量，而了解节点服务性能状况对了解整个网格系统的状况以及对网格系统的运行至关重要，这些统计信息也封装成Web Service，用户能够通过SOAP消息获取远程的服务容器所在节点的系统资源信息，统计信息的涉及的方面包括：总调用次数、失败次数、成功次数以及平均响应时间等；节点日志信息收集单元25与监控引擎模块1、事件消费模块4和日志信息服务接口单元33相连，用于收集网络节点的日志信息，这些日志信息是部署在服务容器上节点的时间信息，有助于了解网格系统中基本的运行单元的状态和历史记录，这些日志信息包括节点的服务调用、服务响应、服务部署、服务反部署以及服务重部署等，这些信息也是封装成Web Service，用户能够通过SOAP消息获取远程的服务容器所在节点的系统资源信息。事件收集模块2还可以进行扩展，随着网格系统的规模不断增大和系统的调整，可供收集的信息也会变得多种多样，因此根据监控要求来调整和扩展事件收集模块2中的各信息收集单元。

如图3所示，为图1的实施例的事件消费模块的具体结构示意图，事件消费模块4包括数据库事件消费单元41、模型事件消费单元42以及内存事件消费单元43，其中数据库事件消费单元41，与资源收集模块2中的所有单元都进行连接，由事件收集模块2收集的监控事件信息都会保存在数据库事件消费单元41中；模型事件消费单元42与事件收集模块2中的所有单元都进行连接，其作用是将事件收集模块2收集的监控事件信息存储在用于事件展现的模型中，针对于展现形式对这些原始信息进行保存和预处理等操作；内存事件消费单元43，也与事件收集模块2中的所有单元都进行连接，在对一些立即处理的监控事件信息直接保存在内存中，可以加快处理速度。

如图4所示，为基于图1的实施例的监控过程示意图，包括以下步骤：步骤101，网格信息监控系统接收操作指令启动，并处于运行状态中；步骤102，监控引擎模块1读取配置文件，对自身参数进行配置，并同时对网格信息监控系统中各个模块的参数也进行相应的配置；步骤103，监控引擎模块1启动事件收集模块2的进程，准备对网格中各个节点的信息进行收集；步骤104，事件收集模块2通过服务接口模块3从网络侧的服务端获取监控事件信息；步骤105，事件收集模块2将这些监控事件信息保存到事件消费模块中，具体可以保存到数据库中留作历史存档，供以后处理时使用。

如图5所示，为本发明网格信息监控系统的另一实施例的基本结构示意图，在上一实施例的基础上增加了RLDS模块5和展现模块6，RLDS模块5与监控引擎模块1相连，其作用是提供监控引擎模块网络节点资源的拓扑情况；展现模块6与事件消费模块4相连，可以以多图层的可视化展现方式展现从各个节点收集来的事件，直观的向网格系统管理人员和开发人员展现整个网格系统的运行状态和历史状态。展现模块6是以多图层的方式进行展现的，因此该模块可以进一步的细分，如图6所示，为图4的实施例的展现模块的具体结构示意图，包括地图图层单元51、事件图层单元52和节点图层单元53，这三个图层单元都与事件消费模块4中的模型事件消费单元42连接，模型事件消费单元42将收集到的节点事件信息进行预处理，并构建模型为展现做准备，其中地图图层单元51展现的是网格所分布的地理区域，事件图层单元52展现的是节点上发生的事件信息，而节点图层单元53展现的是网格中节点的位置信息以及状态信息等。通过不同的图层来展现网格的不同部分，网格系统管理人员和开发人员能够更直观的了解系统的运行情况和历史情况，为系统的正常运行提供了很好的参照。

在这个实施例中，监控过程如图7所示，为图5的实施例的监控过程示意图，包括以下步骤：步骤201，网格信息监控系统接收操作指令启动，并处于运行状态中；步骤202，监控引擎模块1读取配置文件，对自身参数进行配置，并同时对网格信息监控系统中各个模块的参数也进行相应的配置；步骤203，监控引擎模块1从RLDS模块5中获取网格中节点的拓扑信息；步骤204，监控引擎模块1启动事件收集模块2的进程，准备对网格中各个节点的信息进行收集；步骤205，事件收集模块2通过服务接口模块3从网络侧的服务端获取监控事件信息；步骤206，事件收集模块2将这些监控事件信息保存到事件消费模块中，具体可以保存到数据库中留作历史存档，供以后处理时使用；也可以根据展现的要求对这些监控事件信息进行预处理(对节点搜集到的监控事件信息进行汇聚分析)和建模；步骤207，建模后将形成多图层的可视化展现，以不同的图层展现不同的部分。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (7)

1、一种网格信息监控系统，其特征在于包括：

监控引擎模块，用于对监控系统的运行进行控制；

事件收集模块，与所述监控引擎模块相连，用于从服务器获取网络节点的监控事件信息；

服务接口模块，与所述事件收集模块相连，用于提供查询或者接收网络侧的服务端信息的接口；

事件消费模块，与所述事件收集模块相连，用于将所述事件收集模块收集的原始信息进行处理和保存。

2、根据权利要求1所述的网格信息监控系统，其特征在于还包括展现模块，该展现模块与所述事件消费模块相连，用于通过图形显示网络中各节点的地理位置、节点状况以及事件。

3、根据权利要求1所述的网格信息监控系统，其特征在于还包括RLDS模块，该RLDS模块与所述监控引擎模块相连，用于提供所述监控引擎模块网络节点资源的拓扑情况。

4、根据权利要求1所述的网格信息监控系统，其特征在于所述事件收集模块包括：

节点静态信息收集单元，与所述监控引擎模块、事件消费模块和所述服务接口模块相连，用于收集网络节点的静态信息。

节点动态信息收集单元，与所述监控引擎模块、事件消费模块和所述服务接口模块相连，用于收集网络节点的动态信息。

节点延迟信息收集单元，与所述监控引擎模块、事件消费模块和所述服务接口模块相连，用于收集由于环境原因导致的指令延迟信息。

节点统计信息收集单元，与所述监控引擎模块、事件消费模块和所述服务接口模块相连，用于收集网络节点的统计信息。

节点日志信息收集单元，与所述监控引擎模块、事件消费模块和所述服务接口模块相连，用于收集网络节点的日志信息。

5、根据权利要求4所述的网格信息监控系统，其特征在于所述服务接口模块包括：

资源监控服务接口单元，与所述节点静态信息收集单元和节点动态信息收集单元相连，用于从网络侧服务器查询或者接收网络节点静态信息和节点动态信息以提供给所述节点静态信息收集单元和节点动态信息收集单元；

节点统计接口单元，与所述节点统计信息收集单元相连，用于对网络节点的事件信息进行统计，并将统计信息提供给所述节点统计信息收集单元；

日志信息服务接口单元，与所述节点日志信息收集单元相连，用于接收网络侧服务器记录的事件日志，并提供给所述节点日志信息收集单元。

6、根据权利要求1所述的网格信息监控系统，其特征在于所述事件消费模块包括：

数据库事件消费单元，与所述事件收集模块相连，用于将收集的信息保存在数据库中；

模型事件消费单元，与所述事件收集模块相连，用于将收集的信息进行可视化预处理；

内存事件消费单元，与所述事件收集模块相连，用于将收集的信息保存内存中。

7、根据权利要求2所述的网格信息监控系统，其特征在于所述展现模块包括：

地图图层单元，与所述模型事件消费单元相连，用于向用户展示节点的地理位置图；

事件图层单元，与所述模型事件消费单元相连，用于向用户展示事件发生的情况以及位置；

节点图层单元，与所述模型事件消费单元相连，用于显示节点的具体位置和节点信息。

Images