CN102819478B

CN102819478B - 一种无代理的数据处理系统监控与管理方法

Info

Publication number: CN102819478B
Application number: CN201210253237.1A
Authority: CN
Inventors: 李然; 陈小来; 刘学斌; 胡炳樑; 李芸
Original assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Current assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Priority date: 2012-07-20
Filing date: 2012-07-20
Publication date: 2015-09-02
Anticipated expiration: 2032-07-20
Also published as: CN102819478A

Abstract

本发明提供了一种无代理的数据处理系统监控与管理方法，包括以下环节：系统启动后，为每一个被监控计算机创建一个监控线程；每一个监控线程首先对被监控计算机进行WMI和IPC连接；按照预先设定的监控信息定时查询被监控计算机的WMI存储库中的数据表并获取信息，每个监控线程通过IPC连接定时访问被监控计算机的数据处理进程所产生的日志文件；每个监控线程将获取到的监控信息以及日志文件进行显示，并对监控信息及日志文件进行数值判断和分析，如果状态信息异常或者超过一定阈值，则显示告警信息。本发明实现了“无代理”的监控方式，无论多大规模的网络，仅需在任一台计算机上配置和部署监控系统即可，部署和监控方式简单有效。

Description

一种无代理的数据处理系统监控与管理方法

技术领域

本发明涉及一种计算机数据处理系统监控方法。

背景技术

对于某些结构和功能较为复杂的处理系统，对性能要求较高，监控系统不能影响节点的性能，并能够开启和关闭所有节点上的数据处理进程，除此之外，每个处理节点的监控要求是不同，按照处理流程分别说明如下：

1）数据缓存节点。通过网络接收外部数据到缓存区，并从缓存区中取出数据发送给下一个节点，要求接收速度稳定平滑，波动较小。要求监控系统能定时监控此节点的网络输入输出速度，以及CPU、内存、硬盘的状态信息；

2）数据预处理节点。接收来自缓存节点的数据，将数据分类并进行格式化处理，处理完毕后按照分类存储到磁盘，并同时按照数据类型分发送给一个集群解压缩系统。要求监控系统能够定时监控此节点的不同数据类型的网络输出速度、节点的CPU及内存占有量、磁盘空间余量，并能够显示预处理进程产生的日志信息；

3）集群解压缩节点。接收来自预处理节点的数据，分类解压缩后存储并发送给下一个节点，由若干台服务器通过松散耦合方式的连接组成集群服务器，来并行处理解压缩任务，根据解压缩性能需求的变化，服务器数量是可扩展的，集群解压缩节点执行任务期间处于高负荷运行，CPU和I/O系统都处于较高的占有率。要求监控系统不能影响其性能，并能随着集群服务器数量变化而灵活配置，监控系统需要定时监控每台服务器的CPU、内存、磁盘余量，能够显示每台服务器上的解压缩进程产生的日志信息；

4）数据显示节点。接收集群解压缩节点的解压缩数据，并将其图像进行显示，按照灵活性要求，所有数据类型既可以一台PC机上显示，也可以在多台PC机上显示。要求监控系统能够显示节点进程产生的日志信息，并在无需修改的情况下，能够监控多个显示节点。

总体而言，监控系统所要实现的功能包括：监控CPU、内存、磁盘、网络接口资源利用率，启动和关闭每个节点的进程以及显示日志信息。此外，要求监控系统不能影响节点的性能，并能满足节点个性化的监控需求。

针对计算机CPU、内存、磁盘及网络接口的监控，众所周知，目前的监控方式是一种基于“代理”的入侵式监控架构，所谓的“代理”就是在被监控计算机上安装的一种额外的软件或服务，对被监控的计算机而言就是一种入侵，在安装并配置好“代理”后，这些“代理”会通过本地操作系统获取监控信息，定时或不定时的通过网络向控制台发送监控信息。图1是基于“代理”的监控方法的原理图。

从图1中可以看出，应用“代理”方式进行某遥感数据处理系统监控时，不能很好的满足监控需求，具体表现在：

1）无法满足不影响系统性能的需求。代理程序往往以较低的优先级和较少的资源消耗在后台运行，正常情况下对计算机的影响很小，但当系统处于高负荷运转时，对“代理”的活动变得敏感，容易引起系统的性能波动，如果“代理”本身存在缺陷，则会严重影响性能并导致监控管理失败；

2）部署、配置以及维护和升级困难。随着数据处理系统规模的扩展，每个节点的每台服务器都要安装“代理”并设定监控信息，特别是每台服务器的监控需求不同时，设置监控信息的工作量巨大。在升级和维护时，如果监控信息类型发生变化，那么需要同时修改主监控和监控代理，花费时间多，灵活性差，维护成本高；

3）监控系统的设计较为复杂。复杂性主要体现在主监控和代理的通信协议设计上，主监控需要首先对被监控目标进行网络连接，然后按照预定格式封装监控和管理指令，最后通过网络发送给代理，代理在接收到指令后，要根据预定协议解析指令，在指令执行完毕后，按照协议给主监控发送回复，由于整个监控常常是短时的定时机制，所以导致网络通信频繁。

目前的数据处理监控系统不能很好的满足需求，需要设计有针对性的监控和管理系统。

发明内容

本发明构建了一种轻量级的监控与管理系统，是一种无代理非入侵式的监控与管理方法，仅在一台与数据处理系统互联互通的PC机上部署和运行即可，监控和管理简单有效，无论是配置、运行、维护还是升级都仅在这一台PC上进行，并满足所有监控需求；克服了背景技术基于代理的监控方法存在的缺点。

本发明的方案是基于以下研究分析得出的。

Windows98及后续版本的Windows操作系统都支持WMI特性，即Windows Management Instrumentation（Windows管理规范）。WMI是Windows操作系统的一部分，也是一项核心的Windows管理技术，WMI作为一种规范和基础结构，通过它可以访问、配置、管理和监视几乎所有的Windows资源，比如用户可以在远程计算机器上启动一个进程；设定一个在特定日期和时间运行的进程；远程启动计算机；获得本地或远程计算机的已安装程序列表；查询本地或远程计算机的Windows事件日志等等。

IPC是进程间通信机制，它和WMI机制一样，都是操作系统的一部分，操作系统提供了这两种机制的调用接口。相互通信的进程可以不在同一台计算机上，利用IPC可以建立两台计算机之间的连接通道，通过IPC机制将远程机器的日志文件所在的共享文件夹映射到监控计算机上，监控计算机就可以像访问本地文件夹一样访问映射文件夹，从而能够访问日志文件，并将日志文件的信息显示在监控台上。

本发明提出的基本方案如下：

一种无代理的数据处理系统监控与管理方法，包括以下环节：

1）在主监控计算机上配置每个监控对象的计算机名称、登录用户名、密码和被监控的信息列表；

2）系统启动后，为每一个被监控计算机创建一个监控线程；

3）每一个监控线程首先对被监控计算机进行WMI和IPC连接；

3）每一个监控线程连接WMI和IPC后，按照预先设定的监控信息定时查询被监控计算机的WMI存储库中的数据表并获取信息，每个监控线程通过IPC连接定时访问被监控计算机的数据处理进程所产生的日志文件；

4）每个监控线程将获取到的监控信息以及日志文件以图、表格或者文字的方式进行显示，同时，对监控信息及日志文件进行数值判断和分析，如果状态信息异常或者超过一定阈值，则显示告警信息；

5）监控结束，每个线程分别关闭被监控计算机的WMI和IPC连接。

基于上述基本技术方案，本发明还可以作以下优化改进：

针对多台被监控计算机，在初始化COM并设置COM授权后，创建多个监控线程，对各台被监控计算机的WMI进行连接并为WMI访问设置授权许可，并通过IPC访问文件。

在为WMI访问设置授权许可后，还建立有定时机制循环获取监控信息。

本发明具有以下优点：

无论从监控技术上，还是从监控流程结构上，本发明所采用的方法实现了“无代理”的监控方式，无论多大规模的网络，仅需在任一台计算机上配置和部署监控系统即可，部署和监控方式简单有效，无论是配置、部署、运行、维护还是升级系统，都仅在一台计算机上进行，克服了基于代理的监控方法的缺点。本发明所提出的监控系统实现方法适用于任何基于局域网的高性能并行计算系统或并行事务处理系统。

本发明根据遥感数据地面处理系统的监控需求实现了通过多线程机制访问WMI接口，实现各个处理节点的CPU、内存、磁盘、网络的状态监控，通过WMI实现各个节点进程的开启和关闭，可利用进程间通信技术（IPC）访问节点上的日志文件并进行显示。

附图说明

图1是基于“代理”网络监控结构示意图。

图2示出了几种常见的可通过WMI访问的信息类型。

图3为WMI的体系结构示意图。

图4为本发明基于WMI的特性的网络监控结构示意图。

图5为本发明的主监控流程示意图。

具体实施方式

本发明为解决传统监控方法一直以来存在的缺陷，通过对操作系统的特性的充分认知，完全基于现有设备和操作系统搭建监控系统平台，利用WMI的特性实现本地和远程计算机的信息获取，可通过多线程机制调用WMI接口，实现局域网WINDOWS计算机的非入侵式的监控。

图2展示了几种常见的可通过WMI访问的信息类型。Windows98及后续版本的Windows操作系统都支持WMI特性，即Windows ManagementInstrumentation（Windows管理规范）。WMI是Windows操作系统的一部分，也是一项核心的Windows管理技术，WMI作为一种规范和基础结构，通过它可以访问、配置、管理和监视几乎所有的Windows资源，比如用户可以在远程计算机器上启动一个进程；设定一个在特定日期和时间运行的进程；远程启动计算机；获得本地或远程计算机的已安装程序列表；查询本地或远程计算机的Windows事件日志等等。

WMI对外提供统一的访问接口，内部包含3个主要部分：

（1）被管理的对象和WMI提供者

一个WMI提供者是一个COM对象，这个COM对象监控着一个或多个被管理的对象。

一个被管理的对象是一个逻辑或物理的部件，例如硬盘，网卡，数据库系统，操作系统，进程或服务。

（2）WMI基础部件

WMI基础部件是一个Windows操作系统部件，它包含两个部分，一个是包含了WMI核心的WMI服务，另一个是WMI存储库。存储库中维护着各种计算机信息和状态。

（3）WMI用户

WMI用户就是一个管理系统或WMI的访问者。

图3描述了WMI的体系结构，图4为本发明基于WMI的特性的网络监控结构。进行这种无代理监控时的流程如图5所示。

2）系统启动后，为每一个被监控计算机创建一个监控线程；

3）每一个监控线程首先对被监控计算机进行WMI和IPC连接；

4）每个监控线程将获取到的监控信息以及日志文件以以图、表格或者文字的方式进行显示，同时，对监控信息及日志文件进行数值判断和分析，如果状态信息异常或者超过一定阈值，则显示告警信息；

针对多台被监控计算机，不需要在每台计算机上安装监控代理，在任意一台计算机上部署主监控即可实现监控，在初始化COM并设置COM授权后，创建多个监控线程，对各台被监控计算机的WMI进行连接并为WMI访问设置授权许可，并通过进程间通信技术（IPC）访问文件，从而获取更为丰富的监控信息。在为WMI访问设置授权许可后，还建立有定时机制循环获取监控信息。

在具体实现时，需要建立必要的支持环境，安装各种支持资源，比如：

被监控计算机和主监控计算机上安装的操作系统必须支持WMI标准。

在主监控计算机上安装OS SDK，对应不同的操作系统版本，有不同版本的SDK。OS SDK中包含了系统开发所需的基础资源，其中包括WMI SDK，即WMI软件开发工具。

配置编辑和编译环境。将所需的资源目录设置到开发环境中。例如，如果采用Visual C++6.0或Visual Studio.NET，在安装完开发环境后，将WMISDK安装路径中的include和lib目录设置到开发环境中。

安装WMI工具，通过WMI工具可以查询WMI存储库信息，方便开发和调试。

这些准备工作就绪后，就可以按照本发明的无代理的数据处理系统监控与管理方法（如图5）依次执行。依靠WMI的体系结构，可利用高级语言实现主监控，运行时无需任何附加工具。

Claims

1.一种无代理的数据处理系统监控与管理方法，利用WMI的特性实现本地和远程计算机的信息获取，通过多线程机制调用WMI接口，实现各个处理节点的CPU、内存、磁盘、网络的状态监控，通过WMI实现各个节点进程的开启和关闭；WMI对外提供统一的访问接口；

该方法包括以下环节：

1)在主监控计算机上配置每个监控对象的计算机名称、登录用户名、密码和被监控的信息列表；

2)系统启动后，为每一个被监控计算机创建一个监控线程；

3)每一个监控线程首先对被监控计算机进行WMI和IPC连接；

4)每一个监控线程连接WMI和IPC后，按照预先设定的监控信息定时查询被监控计算机的WMI存储库中的数据表并获取信息，每个监控线程通过IPC连接定时访问被监控计算机的数据处理进程所产生的日志文件；

5)每个监控线程将获取到的监控信息以及日志文件以图、表格或者文字的方式进行显示，同时，对监控信息及日志文件进行数值判断和分析，如果状态信息异常或者超过一定阈值，则显示告警信息；

6)监控结束，每个线程分别关闭被监控计算机的WMI和IPC连接。

2.根据权利要求1所述的无代理的数据处理系统监控与管理方法，其特征在于：针对多台被监控计算机，在初始化COM并设置COM授权后，创建多个监控线程，对各台被监控计算机的WMI进行连接并为WMI访问设置授权许可，并通过IPC访问文件。

3.根据权利要求1所述的无代理的数据处理系统监控与管理方法，其特征在于：在为WMI访问设置授权许可后，还建立有定时机制循环获取监控信息。