CN105471999A - 石油云平台资源监控与预警模型 - Google Patents

Abstract

本发明涉及一种监控模型，具体为石油云平台资源监控与预警模型，包括中控模块，服务模块、代理模块、远程管理模块以及预警模块；多个服务模块分别与中控模块之间通过心跳协议通讯，多个代理模块分组，每组分别与一个服务模块之间通过心跳协议通讯。该石油云平台资源监控与预警模型适用不同规模的石油云平台，且实现石油云平台的负载均衡而合理利用石油云平台的资源，对石油云平台进行实时监控和预警。

Description

石油云平台资源监控与预警模型

技术领域

本发明涉及一种监控模型，具体为石油云平台资源监控与预警模型。

背景技术

对石油云平台的监控是石油云平台研究的重要内容，也是影响石油云平台发展的重要因素，对石油云平台的发展和利用均具有重要意义。随着石油云平台的规模和硬件性能不断提升，传统的石油云平台监控系统已经无法实时监控石油云平台的状态信息。

发明内容

针对上述技术问题，本发明提供一种石油云平台资源监控与预警模型，利用分组技术，设计一套对石油云平台进行实时监并预警的模型。

具体技术方案为：

石油云平台监控与预警模型，包括中控模块，服务模块、代理模块、远程管理模块以及预警模块；

多个服务模块分别与中控模块之间通过心跳协议通讯，多个代理模块分组，每组分别与一个服务模块之间通过心跳协议通讯；

(1)代理模块

代理模块通过算法得到如下信息：

(a)进程信息：1分钟运行进程数、5分钟运行进程数和15分钟运行进程数；

(b)CPU的信息：用户时间百分比、NICE时间百分比、系统时间百分比、I/O时间百分比、空闲时间百分比、所有CPU的用户时间百分比、所有CPU的NICE时间百分比、所有CPU的系统时间百分比、所有CPU的I/O等待时间百分比和所有CPU的空闲时间百分比；

(c)内存信息：总内存、使用内存和空闲内存；

(d)交换区信息：总交换区、使用交换区和空闲交换区；

(e)磁盘信息：磁盘每秒IO次数、磁盘读速度、磁盘读字节数、磁盘写速度和磁盘写字节数；

(f)网络流量信息：IP接受包率、IP回应包率、IP请求包率、TCP接受段率、TCP发送段率、TCP重发段率、UDP接受包率和UDP接受包率；

代理模块将上述采集的信息通过心跳协议每隔3秒发送给服务模块，由服务模块处理这些信息。

(2)服务模块

服务模块将代理模块采集的信息统一存储到缓存中，定时将信息写入数据库中；数据库提供了两种接口，MySQL和Oracle；信息被分为即时信息、一月历史信息和三月历史信息，即时信息每5秒从缓存中取出信息更新即时信息，一月历史信息和三月历史信息每30秒从缓存中取出信息将信息存储到历史信息中；信息供预警模块进行数据挖掘使用；

服务模块将自身的状态信息和代理模块采集的信息，通过心跳协议每隔3秒发送给中控模块。

(3)中控模块

中控模块接受服务模块发送过来的信息，服务模块出现故障及时告知代理模块，代理模块进行处理，同时通过计算出石油云平台的负载均衡算法，使得石油云平台的负载处于一定的稳定、平衡状态之中。

(4)预警模块

预警模块由处于Hadoop环境中的集群设计出的K-means对海量数据的挖掘算法，对海量数据进行挖掘分析，判断节点的运行状态及是否正常，并将信息及时反馈给用户。

(5)远程管理模块

用来管理该石油云平台监控与预警模型。

其中代理模块的算法为：

采用分组机制适应不同规模的机群以及对大规模机群的实时响应，采用拓扑结构解决Group的单点故障，用监控与预警相结合对机群实时监控，具体包括以下过程：

(1)机群分组

根据机群的规模确定将机群分成N组， $N=\left\{\begin{array}{cc}\frac{clusterSize}{100}& clusterSize>100\\ 1& clusterSize\≤100\end{array}\right.,$ 其中，clusterSize为机群的总节点数，则每组的节点数

多余的节点数采用平均分配到随机组中，每一组均有一个服务器，称为Group，其下的所有节点均由代理负责采集信息，称为Agent，Agent采集的信息分为静态信息和动态信息，机群分组包含以下执行步骤：

①Agent将信息通过通信协议定时交给Group处理；

②Group对信息进行分类，将信息分为即时信息和历史信息，又将历史信息分成1月历史信息和3月历史信息；

③Group定时将上述信息写入指定数据库中，以供用户实时监控且为预警方法提供数据基础；

④Group对Agent的响应时间为3秒，符合大部分机群规模实时响应需求；

(2)解决单点故障

Group存在单点故障，即当某个Group出现故障时，该Group下的Agent将不能工作，采用Group的冗余机制和星形拓扑结构，为每个Group设计一个备用Group，称作SecondaryGroup，SecondaryGroup与Group具有同样的功能，但是当没有Agent与SecondaryGroup通信时，SecondaryGroup只开启了一个监听线程，不断地监听是否有Agent连接进来，一旦有Agent连接进来，SecondaryGroup将会启动数据处理功能，由于Group与SecondaryGroup的灵活切换需要一个中心节点去处理，因此又引入星形拓扑结构，其中心节点为服务器，又称为ControlNode，所有Group和SecondaryGroup与ControlNode直接相连，由此便形成了一个星形拓扑结构，解决单点故障包含以下具体步骤：

①Agent在启动时记录一个Group与SecondaryGroup的映射关系；

②ControlNode实时记录着每个Group与SecondaryGroup的映射关系；

③一旦某个Group出现故障时，Agent将会自动识别到当前的Group已经出现故障，Agent会自动与SecondaryGroup建立通讯，将采集的信息交给SecondaryGroup处理；

④ControlNode与此同时将映射Group-->SecondaryGroup打上标记，表示该Group已经出现故障，需要进行人工恢复；

⑤当Group的故障恢复时，ControlNode将会取消此映射的标记，同时通知SecondaryGroup暂定处理由Agent采集的信息且通过SecondaryGroup告知AgentGroup的故障已经解决；

⑥Agent接受到指令之后，重新与Group建立通讯，Group单点故障解决。

本发明提供的石油云平台资源监控与预警模型，采用分组机制，将模型分为五个模块，分别为中控模块、服务模块、代理模块、远程管理模块和预警模块，适用不同规模的石油云平台，且实现石油云平台的负载均衡而合理利用石油云平台的资源，对石油云平台进行实时监控和预警。

附图说明

图1是本发明的结构示意图；

图2是本发明的代理模块的采集节点信息示意图。

具体实施方式

下面结合中国石化胜利油田物探研究院具有2000节点的集群规模对本发明做进一步的说明。

(1)环境设置：

中控模块：1个；

服务模块：20个；

代理模块：100个/服务模块；

远程管理模块：1个；

预警模块：每个服务模块分别安装信号发射器。

石油云平台资源监控与预警模型的结构如图1所示。

具体的，代理模块是与服务模块建立通信的，相当于客户端。如图2所示，代理模块实时采集节点的信息，包括静态信息和动态信息，具体信息见附表1和附表2。然后，代理模块通过心跳协议每隔3秒将采集的信息发送给服务模块，发送的是静态信息还是动态信息取决于远程管理模块的命令，默认自动发送动态信息。之后，代理模块获取服务模块返回的信息，主要包括了服务模块的后继模块信息，以防止服务模块出现故障之后，代理模块能将信息自动发送到后继服务模块。

表1

表2

服务模块既相当于服务器又相当于客户端，当与中控模块通信时，相当于客户端；与代理模块通信时，又相当于服务器。当服务模块作为客户端时，只需要每隔3秒通过心跳协议将自己的状态信息和其下的所有的代理模块个数发送给中控模块，然后获取由中控模块反馈回来的信息，该信息主要是本身在环形拓扑图中的前继与后继。

当服务模块作为服务器时，是用来与代理模块通信的。其作用是通过心跳协议每隔3秒接受来自于代理模块的信息，该信息包含了由代理模块采集的动态信息或者静态信息，这主要取决于代理模块对远程管理模块的命令反馈。服务模块将这些信息存储在缓存中，然后，每隔5秒更新即时表，每隔30秒存储到历史表。数据库支持MySQL集群数据库和Oracle数据库，即MySQL有两个数据库，一个存储即时数据，另一个则存储历史数据。

服务模块同时每隔3秒通过心跳协议将自己的前继与后继发送给代理模块，使其代理模块发现服务模块出现故障时，自动连接到后继服务模块上去。

中控模块和服务模块建立通信，中控模块相当于服务器，服务模块相当于客户端，中控模块只有一个，服务模块数量根据石油云平台的规模确定。服务模块每3秒通过心跳协议将自己的状态信息和代理模块的个数发送给中控模块，中控模块实时记录下服务模块的状态信息和代理模块的个数。通过这些信息，中控模块可以计算出石油云平台中所有代理模块的个数和服务模块的个数，之后可以确定出每个服务模块连接的代理模块数，然后通知拥有较多代理模块的服务模块将其多余的代理模块连接到其它服务模块，从而达到负载均衡的目的。

中控模块同时还将服务模块连接成一个环形，目的是防止服务模块的单点故障。当某一个服务模块突然发生故障时，为了防止其下代理模块的信息丢失，中控模块可以通知服务模块其下的代理模块将其信息发送到相邻的服务模块。

预警模块通过分析由代理模块采集的信息，为每个节点设定一个性能指标，当超过该指标时，预警模块会触发预警信息，通过短信的方式发送到用户的手机，告知用户石油云平台某个节点出现了故障，需要及时处理。

远程管理模块主要是用来管理该模型的，主要包括了远程日志，远程升级以及发送命令等功能。用户可以通过远程管理模块请求查看某个服务模块或者中控模块的日志文件，可以对服务模块和中控模块进行远程一键升级，可以查看服务模块和中控模块的状态信息，可以发送命令给代理模块执行相应的系统命令和请求代理节点采集静态信息。

(2)软件环境：

Linux内核的系统、JDK1.6以上、部署Hadoop环境的集群。

硬件环境：

内存：4G；CPU：双CPU四核处理器；硬盘容量：1TB

(3)环境搭建：

中控节点：cp2001，IP地址：168.173.2.1

服务节点：cp2002～cp2021，IP地址：168.173.2.2～168.173.2.21

远程管理模块：cp2022，IP地址：168.173.2.22

JobTracker节点：cp2023，IP地址：168.173.2.23

NameNode节点：cp2024，IP地址：168.173.2.24

SecondaryNameNode节点：cp2025，IP地址：168.173.2.25

剩下的1975个节点作为代理模块和TaskTracker/DataNode。

服务节点与代理节点的映射如表3。

表3

服务节点	代理节点
		cp2002	cp2026～cp2125、cp2002
cp2003	cp2126～cp2225、cp2003
		cp2004	cp2226～cp2325、cp2004
cp2005	cp2326～cp2425、cp2005
		cp2006	cp2426～cp2525、cp2006
cp2007	cp2526～cp2625、cp2007
		cp2008	cp2626～cp2725、cp2008
cp2009	cp2726～cp2825、cp2009
		cp2010	cp2826～cp2925、cp2010
cp2011	cp2926～cp3025、cp2011
		cp2012	cp3026～cp3125、cp2012
cp2013	cp3126～cp3225、cp2013
		cp2014	cp3226～cp3325、cp20147 -->
cp2015	cp3326～cp3425、cp2015
		cp2016	cp3426～cp3525、cp2016
cp2017	cp3526～cp3625、cp2017
		cp2018	cp3625～cp3725、cp2018
cp2019	cp3726～cp3825、cp2019
		cp2020	cp3826～cp3925、cp2020
cp2021	cp3925～cp4000、cp2021

中控模块将上述的20个服务模块连接成一个环形，即cp2002→cp2003→……→cp2021→cp2002。若服务节点cp2002发生故障，则代理节点cp2026～cp2125则会自动连接到cp2003，以此类推。一旦cp2002故障修复好，节点cp2026～cp2125则又会自动连接到cp2002。

服务节点cp2002～cp2021会各自与数据库建立连接，连接数为服务节点数×2，即40个，每个服务节点生成两个连接数，一个负责写即时数据，一个负责写历史数据。

代理节点cp2002～cp2021和cp2026～cp4000负责采集数据，然后将数据发送到服务节点。

经长期试验，本发明占用CPU使用率0％～2％，内存占用80M左右。

Claims (2)

1.石油云平台监控与预警模型，其特征在于：包括中控模块，服务模块、代理模块、远程管理模块以及预警模块；

多个服务模块分别与中控模块之间通过心跳协议通讯，多个代理模块分组，每组分别与一个服务模块之间通过心跳协议通讯；

(1)代理模块

代理模块通过算法得到如下信息：

(a)进程信息：1分钟运行进程数、5分钟运行进程数和15分钟运行进程数；

(b)CPU的信息：用户时间百分比、NICE时间百分比、系统时间百分比、I/O时间百分比、空闲时间百分比、所有CPU的用户时间百分比、所有CPU的NICE时间百分比、所有CPU的系统时间百分比、所有CPU的I/O等待时间百分比和所有CPU的空闲时间百分比；

(c)内存信息：总内存、使用内存和空闲内存；

(d)交换区信息：总交换区、使用交换区和空闲交换区；

(e)磁盘信息：磁盘每秒IO次数、磁盘读速度、磁盘读字节数、磁盘写速度和磁盘写字节数；

(f)网络流量信息：IP接受包率、IP回应包率、IP请求包率、TCP接受段率、TCP发送段率、TCP重发段率、UDP接受包率和UDP接受包率；

代理模块将上述采集的信息通过心跳协议每隔3秒发送给服务模块，由服务模块处理这些信息；

(2)服务模块

服务模块将代理模块采集的信息统一存储到缓存中，定时将信息写入数据库中；数据库提供了两种接口，MySQL和Oracle；信息被分为即时信息、一月历史信息和三月历史信息，即时信息每5秒从缓存中取出信息更新即时信息，一月历史信息和三月历史信息每30秒从缓存中取出信息将信息存储到历史信息中；信息供预警模块进行数据挖掘使用；

服务模块将自身的状态信息和代理模块采集的信息，通过心跳协议每隔3秒发送给中控模块；

(3)中控模块

中控模块接受服务模块发送过来的信息，服务模块出现故障及时告知代理模块，代理模块进行处理，同时通过计算出石油云平台的负载均衡算法，使得石油云平台的负载处于一定的稳定、平衡状态之中；

(4)预警模块

预警模块由处于Hadoop环境中的集群设计出的K-means对海量数据的挖掘算法，对海量数据进行挖掘分析，判断节点的运行状态及是否正常，并将信息及时反馈给用户；

(5)远程管理模块

用来管理该石油云平台监控与预警模型。

2.根据权利要求1所述的石油云平台监控与预警模型，其特征在于：代理模块的算法为：

采用分组机制适应不同规模的机群以及对大规模机群的实时响应，采用拓扑结构解决Group的单点故障，用监控与预警相结合对机群实时监控，具体包括以下过程：

(1)机群分组

根据机群的规模确定将机群分成N组， $N=\left\{\begin{array}{cc}\frac{clusterSize}{100}& clusterSize>100\\ 1& clusterSize\&le;100\end{array}\right.,$ 其中，clusterSize为机群的总节点数，则每组的节点数 $k=\left\{\begin{array}{cc}\frac{clusterSize-N\&times;2-1}{N}& N>1,\\ clusterSize-3& 0<N\&le;1\end{array}\right.$ 小数点后舍弃；

多余的节点数采用平均分配到随机组中，每一组均有一个服务器，称为Group，其下的所有节点均由代理负责采集信息，称为Agent，Agent采集的信息分为静态信息和动态信息，机群分组包含以下执行步骤：

①Agent将信息通过通信协议定时交给Group处理；

②Group对信息进行分类，将信息分为即时信息和历史信息，又将历史信息分成1月历史信息和3月历史信息；

③Group定时将上述信息写入指定数据库中，以供用户实时监控且为预警方法提供数据基础；

④Group对Agent的响应时间为3秒，符合大部分机群规模实时响应需求；

(2)解决单点故障

Group存在单点故障，即当某个Group出现故障时，该Group下的Agent将不能工作，采用Group的冗余机制和星形拓扑结构，为每个Group设计一个备用Group，称作SecondaryGroup，SecondaryGroup与Group具有同样的功能，但是当没有Agent与SecondaryGroup通信时，SecondaryGroup只开启了一个监听线程，不断地监听是否有Agent连接进来，一旦有Agent连接进来，SecondaryGroup将会启动数据处理功能，由于Group与SecondaryGroup的灵活切换需要一个中心节点去处理，因此又引入星形拓扑结构，其中心节点为服务器，又称为ControlNode，所有Group和SecondaryGroup与ControlNode直接相连，由此便形成了一个星形拓扑结构，解决单点故障包含以下具体步骤：

①Agent在启动时记录一个Group与SecondaryGroup的映射关系；

②ControlNode实时记录着每个Group与SecondaryGroup的映射关系；

③一旦某个Group出现故障时，Agent将会自动识别到当前的Group已经出现故障，Agent会自动与SecondaryGroup建立通讯，将采集的信息交给SecondaryGroup处理；

④ControlNode与此同时将映射Group-->SecondaryGroup打上标记，表示该Group已经出现故障，需要进行人工恢复；

⑤当Group的故障恢复时，ControlNode将会取消此映射的标记，同时通知SecondaryGroup暂定处理由Agent采集的信息且通过SecondaryGroup告知AgentGroup的故障已经解决；

⑥Agent接受到指令之后，重新与Group建立通讯，Group单点故障解决。