CN103973516A - 一种数据处理系统中实现监控功能的方法及装置 - Google Patents

Abstract

本发明公开了一种数据处理系统中实现监控功能的方法及装置，方法包括获取监控应用的配置文件，其中，所述配置文件用于配置所述监控应用加载的监控功能模块；配置所述配置文件，以配置所述监控应用所需加载的监控功能模块；加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。通过上述方式，本发明能够根据需要配置监控应用的监控功能。

Description

一种数据处理系统中实现监控功能的方法及装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理系统中实现监控功能的方法及装置。

背景技术

随着计算机技术和网络技术的发展，数据正以爆炸式的速度增长，根据研究机构的研究数字显示，2009年网络上存储的数据已经达到0.8ZB，预计在2020年将达到35.2ZB。海量的存储数据对数据存储系统提出更高要求，而目前的数据存储系统大多数采用横向扩展、分布式架构的存储架构，即将数据存储系统中各个存储节点的存储磁盘设备虚拟成共享存储池提供给前端的应用服务器，在存储空间不足时，可以横向增加存储节点中的存储磁盘，从而扩展数据存储统的存储空间。

由于数据存储系统是由多个存储节点组成，系统管理人员需要实时获取系统中各个存储节点的状态，如CPU使用率、内存占用率、网络和系统负载等。通过监控系统信息，一方面在系统发生故障，便于快速定位和修复故障，另一方面方便系统管理员对系统的常规操作，如增加、删除、替换节点，挂载集群文件系统，部署CIFS、NFS、CTDB等共享服务。

现有技术中，对数据存储系统的监控功能通常是固定的，在数据存储系统建设之初，就已经固定好了的。随着系统中存储节点的增加和异构设备的接入系统，监控数据存储系统将变得复杂、困难，尤其是数据存储系统增加新的功能时，无法监控数据存储系统的新功能的运行状况。

发明内容

本发明主要解决的技术问题是提供一种数据处理系统中实现监控功能的方法及装置，能够根据需要配置监控应用的监控功能。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种数据处理系统中实现监控功能的方法，包括获取监控应用的配置文件，其中，所述配置文件用于配置所述监控应用加载的监控功能模块；配置所述配置文件，以配置所述监控应用所需加载的监控功能模块；加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。

其中，所述加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能的步骤包括：启动所述监控应用的基础服务层；在所述基础服务层启动完成后，启动所述监控应用的中间服务层；在所述中间服务层启动完成后，加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。

其中，所述监控功能模块包括所述数据处理系统硬件信息监控功能模块、所述数据处理系统的集群信息监控功能模块和所述数据处理系统的操作监控功能模块。

其中，所述方法还包括接收所述监控应用发送的监控信息，其中，所述监控信息是由监控应用监控所述数据处理系统而获得的信息；显示所述监控信息。

其中，所述方法还包括检测所述监控应用是否存在异常；若所述监控应用存在异常，重新启动所述监控应用。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种数据处理系统中实现监控功能的装置，包括获取模块，用于获取监控应用的配置文件，其中，所述配置文件用于配置所述监控应用加载的监控功能模块；配置模块，配置所述配置文件，以配置所述监控应用所需加载的监控功能模块；加载模块，用于加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。

其中，加载模块包括：加载模块包括：第一启动单元，用于启动所述监控应用的基础服务层；第二启动单元，用于在所述基础服务层启动完成后，启动所述监控应用的中间服务层；加载单元，用于在所述中间服务层启动完成后，加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。

其中，所述监控功能模块包括所述数据处理系统硬件信息监控功能模块、所述数据处理系统的集群信息监控功能模块和所述数据处理系统的操作监控功能模块。

其中，所述装置还包括：接收模块，接收所述监控应用发送的监控信息，其中，所述监控信息是由监控应用监控所述数据处理系统而获得的信息；显示模块，用于显示所述监控信息。

其中，所述装置还包括：检测模块，用于检测所述监控应用是否存在异常；重启模块，用于在所述检测模块检测到所述监控应用异常时，重新启动所述监控应用。

本发明的有益效果是：区别于现有技术的情况，本发明将数据处理系统中的监控应用按监控功能划分为多个监控功能模块，并通过配置文件配置监控应用所需加载的监控功能模块，从而实现根据需要，配置监控应用的监控功能；进一步的，在数据处理系统增加新的功能时，也可以通过配置文件，配置针对数据处理系统所新增加功能进行监控的监控功能模块，从而实现对数据处理系统所新增加功能进行监控，非常方便扩展监控应用的监控功能。

附图说明

图1是本发明数据处理系统中实现监控功能的装置第一实施方式的结构示意图；

图2是本发明数据处理系统中实现监控功能的装置第一实施方式监控应用模块结构示意图；

图3是本发明数据处理系统中实现监控功能的装置第一实施方式装置划分为多个应用的示意图；

图4是本发明数据处理系统中实现监控功能的装置第二实施方式的结构示意图；

图5是本发明数据处理系统中实现监控功能的方法实施方式的流程图；

图6是本发明数据处理系统中实现监控功能的方法实施方式启动监控应用的服务层的流程图。

具体实施方式

下面结合附图和实施方式对本发明进行详细说明。

请参阅图1，数据处理系统中实现监控功能的装置21包括获取模块211、配置模块212和加载模块213。

获取模块211获取监控应用的配置文件，其中，配置文件用于配置监控应用22加载的监控功能模块。在本发明实施方式中，监控应用22按照功能划分多个监控功能模块，一个监控功能模块可以对应监控应用的一个监控功能，或者多个监控功能。配置文件中记录监控功能模块的具体内容，也可以记录监控功能模块相应的路径，监控应用22通过路径获取监控功能模块，并加载。

配置模块212配置配置文件，以配置监控应用22所需加载的监控功能模块。系统管理人员可以根据实际需要设置配置模块212，以配置监控应用22的监控功能，例如：系统增加新的功能后，系统管理人员可以设置配置模块212，以使监控应用22能够加载监控系统的新功能对应监控功能模块。

加载模块213加载配置文件所配置的监控功能模块，并根据所配置的监控监控功能模块启动监控应用22的监控功能。通过配置监控应用22的监控功能模块，配置监控应用22的监控功能，则在系统改变的功能时，例如：增加新的功能、删除部份原有功能等等，可通过配置配置文件，来改变监控应用22相应的监控功能，非常方便扩展监控应用22的监控功能。

进一步的，监控应用22除了按监控功能进行监控功能模块划分，还可以将监控应用22进行分层处理，在本发明实施方式中，监控应用22包括基础服务层、中间服务层和功能层，其中，功能层包括各个监控功能模块，如图2所示，基础服务层和中间服务层运行在主模块上，监控功能模块运行在功能层。功能层依赖于中间服务层，中间服务层依赖于基础服务层，因此，基础服务层最先启动，中间服务层次之，功能层最后。服务层之间按顺序，轮流启动，避免监控应用22在启动过程中出现服务层依赖混乱的情况。则加载模块213包括第一启动单元2131、第二启动单元2132和加载单元2133。

第一启动单元2131启动监控应用22的基础服务层。第二启动单元2132在基础服务层启动完成后，启动监控应用的中间服务层。加载单元2133用于在中间服务层启动完成后，加载配置文件所配置的监控功能模块，从而使得监控应用22根据所配置的监控功能模块启动相应的监控功能。在本发明实施方式中，监控功能模块包括数据处理系统硬件信息监控功能模块、数据处理系统的信息监控功能模块和数据处理系统的操作监控功能模块。

数据处理系统的操作监控功能模块主要负责监控对数据处理系统的操作，例如：新增系统节点、删除系统节点、替换系统节点、修改系统节点的配置信息、配置对外服务等等。

数据处理系统硬件信息监控功能模块主要负责监控系统节点的硬件状态信息，例如：CPU、内存、硬盘、网络IO带宽以及系统负载等等。

数据处理系统的信息监控功能模块主要负责主监控系统相关的信息，例如：系统节点是否在线，系统的健康信息，目前系统的IO值等。

需要说明的是：上述说明的监控功能模块包括所述数据处理系统硬件信息监控功能模块、所述数据处理系统的集群信息监控功能模块和所述数据处理系统的操作监控功能模块，并不是用于限定本发明的监控功能模块只能按照上述模块进行划分，也不是用于限定本发明的监控功能模块只包含上述三种监控功能模块，本领域的技术人员可以根据实际需要，将监控系统划分更多的监控功能模块。

在启动监控应用22的服务层，可以按以下步骤进行启动：

步骤1：判断是否指定参数-i，若指定-i参数，则直接返回，若未指定，进入步骤2；

步骤2，按照顺序分别执行以KS，KM，KC开头的脚本，分别停止各服务层；

KS，KM，KC开头的脚本用于指示停止监控应用的各服务层。

步骤3：按照顺序分别执行以SC，SM，SS开头的脚本，分层启动监控应用的服务层；

SC，SM，SS开头的脚本分别用于启动监控应用的基础服务层、中间服务层和功能层。通过先关闭监控应用22的服务层，然后再依照顺序启动服务层，能够避免服务层出现依赖错误的问题。

数据处理系统中实现监控功能的装置21还包括接收模块214、显示模块215、检测模块216和重启模块217。

接收模块214接收监控应用22发送的监控信息，其中，监控信息是由监控应用监控所述数据处理系统而获得的信息。显示模块215显示监控信息。显示模块215可以是以万维网网页的方式提供，其显示的方式包括：曲线图、柱状图等各种图形并配以文字说明，此外，还提供查询输入功能，供用户按需查询数据。

检测模块216检测监控应用是否存在异常。重启模块217在检测模块216检测到监控应用异常时，重新启动监控应用。检测模块216可以通过向监控应用发送指定次数的测试请求，根据测试请求所返回的内容，判断监控应用是否卡死或者终止，具体的流程如下：

步骤20:获取监控应用进程pid，若pid不存在，则监控应用已经终止，则执行步骤6)，否则进行步骤2；

监控应用启动，系统会生成监控应用进程，每一个进程都对应有一个标识pid，若没有找到监控应用进程标识pid，则说明监控应用进程已经终止。

步骤21：向监控应用发送一个GET测试请求，并接收监控应用根据GET测试请求返回状态值；

步骤31:判断返回状态值是否为200，若不为200，或者，超时没有接收到返回状态值时，设置remain＝remain-1；

步骤41:判断remain是否大于零，若大于零，关闭http链接，返回步骤21，否则进入步骤51；

步骤51：关闭pid所代表的进程。

步骤61：启动监控应用。

为了让读者更好理解本发明，如下按系统模块再次说明本发明。请参阅图3。图形界面应用31相当于接收模块214和显示模块215。守护应用34相当于检测模块216和重启模块217。配置应用32相当于获取模块211、配置模块212和加载模块213。需要说明的是：数据处理系统是分布式系统，数据处理系统由多个系统节点组成，监控应用34与所有系统节点连接。在本发实施方式中，数据处理系统可为集群文件系统，则系统中存储的数据为文件，系统节点为存储节点，当然，数据处理系统也可以其他系统。

配置应用32配置监控应用33的配置文件，监控应用33根据配置文件加载对应监控功能模块，从而使监控应用33启动相对应监控功能，以实现对数据处理系统中各系统节点35进行监控。守护应用34检测监控应用33是否存在异常，若监控应用33异常，则重新启动监控应用。图形界面应用31接收监控应用33监控系统节点而获得的监控信息，并显示监控信息。

在本发明实施方式中，将数据处理系统中的监控应用按监控功能划分为多个监控功能模块，并通过配置文件配置监控应用所需加载的监控功能模块，从而实现根据需要，配置监控应用的监控功能；进一步的，在数据处理系统增加新的功能时，也可以通过配置文件，配置针对数据处理系统所新增加功能进行监控的监控功能模块，从而实现对数据处理系统所新增加功能进行监控，非常方便扩展监控应用的监控功能。

请参阅图4，数据处理系统中实现监控功能的装置包括处理器41、存储器42和总线43。处理器41和存储器42均与总线43连接。

处理器41用于获取监控应用的配置文件，其中，所述配置文件用于配置所述监控应用加载的监控功能模块；配置所述配置文件，以配置所述监控应用所需加载的监控功能模块；加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控监控功能模块启动监控应用的监控功能。

处理器41用于加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能的步骤包括：启动所述监控应用的基础服务层；在所述基础服务层启动完成后，启动所述监控应用的中间服务层；在所述中间服务层启动完成后，加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。

其中，监控功能模块包括所述数据处理系统硬件信息监控功能模块、数据处理系统的集群信息监控功能模块和数据处理系统的操作监控功能模块。

处理器41还用于接收所述监控应用发送的监控信息，其中，所述监控信息是由监控应用监控所述数据处理系统而获得的信息；显示所述监控信息。

处理器41还用于检测所述监控应用是否存在异常；若所述监控应用存在异常，重新启动所述监控应用。

上述处理器41所执行的操作可以以一段程序的形式存储在存储器42，在需要执行上述操作时，将该段程序调入处理器41，由处理器41执行上述操作。

在本发明实施方式中，将数据处理系统中的监控应用按监控功能划分为多个监控功能模块，并通过配置文件配置监控应用所需加载的监控功能模块，从而实现根据需要，配置监控应用的监控功能；进一步的，在数据处理系统增加新的功能时，也可以通过配置文件，配置针对数据处理系统所新增加功能进行监控的监控功能模块，从而实现对数据处理系统所新增加功能进行监控，非常方便扩展监控应用的监控功能。

本发明还提供数据处理系统中实现监控功能的方法实施方式。请参阅图5方法包括：

步骤S401：获取监控应用的配置文件，其中，配置文件用于配置监控应用加载的监控功能模块；

监控应用可按监控功能划分成多个监控功能模块，每一监控功能模块可对应于监控应用中一项或多项监控功能。

值得说明的是：配置文件中可选的监控功能模块可以增加或者删除，在数据处理系统增加新的功能时，可以在配置文件增加新的，并且用于监控数据处理系统新增功能的监控功能模块，并且该监控功能模块是可选，系统管理人员不需要监控数据处理系统新增功能时，可以设置配置文件不配置该监控功能模块，则监控应用不会加载该监控功能模块。

步骤S402：配置配置文件，以配置监控应用所需加载的监控功能模块；

监控功能模块均是可选的，可以通过配置文件配置监控应用所需加载的监控功能模块，进而配置监控应用的相关监控功能，方便对监控应用进行管理，以及扩展监控应用的监控功能。本发明实施方式中，监控功能模块包括数据处理系统硬件信息监控功能模块、数据处理系统的信息监控功能模块和数据处理系统的操作监控功能模块。

数据处理系统的操作监控功能模块主要负责监控对数据处理系统的操作，例如：新增系统节点、删除系统节点、替换系统节点、修改系统节点的配置信息、配置对外服务等等。

数据处理系统硬件信息监控功能模块主要负责监控系统节点的硬件状态信息，例如：CPU、内存、硬盘、网络IO带宽以及系统负载等等。

数据处理系统的信息监控功能模块主要负责主监控系统相关的信息，例如：系统节点是否在线，系统的健康信息，目前系统的IO值等。

步骤S403：加载配置文件所配置的监控功能模块，并根据所配置的监控功能模块启动监控应用的监控功能；

监控应用根据配置文件，加载相应的监控功能模块，进而启动相应的监控功能。进一步的，监控应用除了按监控功能划分成监控功能模块，还可划分多个服务层，在本发明实施方式中，监控应用包括基础服务层、中间服务层和功能层，其中，监控功能模块运行于功能层，简而言之，功能层由监控功能模块组成的。监控应用的各服务层是按顺序启动的，如图6所示，步骤S403又包括：

步骤S4031：启动监控应用的基础服务层；

步骤S4032：在基础服务层启动完成后，启动监控应用的中间服务层；

步骤S4033：在中间服务层启动完成后，加载配置文件所配置的监控功能模块，并根据所配置的监控功能模块启动监控应用的监控功能；

功能层依赖于中间服务层，中间服务层依赖于基础服务层，因此，基础服务层最先启动，中间服务层次之，功能层最后。通过使监控应用的服务层按顺序启动，能够避免服务层之间依赖错误，进而造成监控应用出现错误。

步骤S404：接收监控应用发送的监控信息，其中，监控信息是由监控应用监控数据处理系统而获得的信息；

监控应用在监控数据处理系统时，会获取到对数据处理系统的监控信息，监控应用发送监控信息。

步骤S405：显示监控信息；

通过显示监控信息，系统管理人员可以非常直观地了解到当前数据处理系统运行状态，以及快速地定位数据处理系统中的故障。在本发明实施方式中，可以采用B/S架构，通过万维网网页形式显示监控信息，显示的方式可是以包括：曲线图、柱状图等各种图形并配以文字说明，此外，还提供查询输入功能，供用户按需查询数据。

步骤S406：检测监控应用是否存在异常，若监控应用存在异常，则进入步骤S407，否则进入步骤S408；

在监控应用启动后，还可以检测监控应用是否存在异常，例如：死机、卡死等等。而检测监控应用可以是通过测试包的方式，进行检测，例如：向监控应用发送测试包，若一直没有接收返回值，说明监控应用出现异常。

步骤S407：重新启动监控应用；

在监控应用出现异常时，重新启动监控应用，避免出现没有监控数据处理系统的情况。

步骤S408：不处理。

在本发明实施方式中，将数据处理系统中的监控应用按监控功能划分为多个监控功能模块，并通过配置文件配置监控应用所需加载的监控功能模块，从而实现根据需要，配置监控应用的监控功能；进一步的，在数据处理系统增加新的功能时，也可以通过配置文件，配置针对数据处理系统所新增加功能进行监控的监控功能模块，从而实现对数据处理系统所新增加功能进行监控，非常方便扩展监控应用的监控功能。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据处理系统中实现监控功能的方法，其特征在于，所述方法包括：

获取监控应用的配置文件，其中，所述配置文件用于配置所述监控应用加载的监控功能模块；

配置所述配置文件，以配置所述监控应用所需加载的监控功能模块；

加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。

2.根据权利要求1所述的方法，其特征在于，所述加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能的步骤包括：

启动所述监控应用的基础服务层；

在所述基础服务层启动完成后，启动所述监控应用的中间服务层；

在所述中间服务层启动完成后，加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。

3.根据权利要求1所述的方法，其特征在于，

所述监控功能模块包括所述数据处理系统硬件信息监控功能模块、所述数据处理系统的集群信息监控功能模块和所述数据处理系统的操作监控功能模块。

4.根据权利要求1～3中任意一项所述的方法，其特征在于，所述方法还包括

接收所述监控应用发送的监控信息，其中，所述监控信息是由监控应用监控所述数据处理系统而获得的信息；

显示所述监控信息。

5.根据权利要求1～3中任意一项所述的方法，其特征在于，所述方法还包括

检测所述监控应用是否存在异常；

若所述监控应用存在异常，重新启动所述监控应用。

6.一种数据处理系统中实现监控功能的装置，其特征在于，包括：

获取模块，用于获取监控应用的配置文件，其中，所述配置文件用于配置所述监控应用加载的监控功能模块；

配置模块，配置所述配置文件，以配置所述监控应用所需加载的监控功能模块；

加载模块，用于加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。

7.根据权利要求6所述的装置，其特征在于，所述加载模块包括：

第一启动单元，用于启动所述监控应用的基础服务层；

第二启动单元，用于在所述基础服务层启动完成后，启动所述监控应用的中间服务层；

加载单元，用于在所述中间服务层启动完成后，加载所述配置文件所配置的监控功能模块，并根据所述所配置的监控功能模块启动监控应用的监控功能。

8.根据权利要求6所述的装置，其特征在于，

所述监控功能模块包括所述数据处理系统硬件信息监控功能模块、所述数据处理系统的集群信息监控功能模块和所述数据处理系统的操作监控功能模块。

9.根据权利要求6～8中任意一项所述的装置，其特征在于，所述装置还包括：

接收模块，接收所述监控应用发送的监控信息，其中，所述监控信息是由监控应用监控所述数据处理系统而获得的信息；

显示模块，用于显示所述监控信息。

10.根据权利要求6～8中任意一项所述的装置，其特征在于，所述装置还包括：

检测模块，用于检测所述监控应用是否存在异常；

重启模块，用于在所述检测模块检测到所述监控应用异常时，重新启动所述监控应用。