CN103825779B - 一种云数据中心状态监控方法 - Google Patents

Abstract

本发明公开了一种云数据中心状态监控方法，属于云计算技术领域。本发明方法首先根据监控对象的不同，预先设定监控对象的整体阈值和监控节点的本地阈值，再为监控节点设置可容忍的累计越界量；当监控节点局部发生状态越界时，监控节点对本地越界值进行积累，直到积累值达到可容忍累计越界量时，向汇聚节点发送本地连续越界的加权平均越界强度等相关数据；汇聚节点以历史轮询的数据为依据，对系统的整体状态进行预测，得到系统空闲值；若接收到的加权平均越界强度超过预测的空闲值，则发起全局轮询，根据轮询结果预测未来的系统使用值，并决定是否触发报警。本发明可以很好的降低状态监控所需的通信消耗，进而从总体上降低云数据中心的资源消耗。

Description

一种云数据中心状态监控方法

技术领域

本发明涉及一种云数据中心状态监控方法，属于云计算技术领域。

背景技术

数据中心(Data Center)产生自20世纪60年代，是一个能够围绕某些特定的业务进行存储、管理、数据与信息分发等操作的集中式存储库。由于现代信息技术产业的发展，几乎每一个组织都有一个数据中心。

数据中心先后经历了四个主要阶段的演化，即数据存储中心、数据处理中心、信息中心和具有云计算特点的云数据中心。

进入21世纪以来，数据中心规模进一步扩大，服务器数量迅速增长。虚拟化技术的成熟应用和云计算技术的迅速发展使数据中心进入了新的发展阶段，数据中心进入到云数据中心时代。云数据中心承担着核心运营支持、信息资源服务、核心计算、数据存储和备份等功能。

虚拟化是云数据中心的最主要特点，虚拟机是实现云数据中心虚拟化特性非常重要的方式。以往对数据中心的监控大多集中在数据中心物理环境的监控，如对数据中心温度的监控、对服务器是否正常运转的监控等，监控的水平始终停留在物理水平。随着云数据中心虚拟机的出现，诸如虚拟机计算资源、网络资源等虚拟机级别的监控就显得尤为重要。数据中心的监控从对物理机的监控转变为对物理机、虚拟机的双重监控。

在云数据中心里，相对于服务器的数量而言，虚拟机的数量将会更加庞大。云数据中心监控产生的信息量比以往更大，所以努力减少云数据中心监控产生的通信消耗十分必要。

对云数据中心进行监控，往往不需要整个系统具体资源的具体使用情况，而只需要了解各个资源的当前使用状态是否在预定的可接受范围内，即只需要进行状态监控。于是，状态监控成为云数据中心监控的一个重要监控方式。在分布式环境下，状态监控的运用十分广泛，例如：监控数据中心里某个机构的子网络访问Internet的整体流量是否超过某个预定的阈值；对达到同一子网不同主机的SYN包进行计数检测拒绝服务(Denial ofService,DoS)攻击。

在分布式系统中，进行状态监控的监控节点对本节点的运行状态进行数据采集，在监控到本地状态越界时，可以向担当全局掌控角色的汇聚节点发送本地越界消息。汇聚节点可以发起全局轮询，将系统当前状态值“拉”到本地进行汇总计算，并与系统整体阈值进行对比，如果系统整体越界，就发起报警。

传统的状态监控方式，在监控节点与汇聚节点都采用“即时报告”的方式，即监控节点监控到本地越界时立即向汇聚节点发送越界报告信息，轮询节点接收到监控节点的越界报告后，立即对所有监控节点进行全局轮询，获取这些监控节点的当前属性值。例如：数据中心中某机构的子网络的某个监控节点报告本地流量超出预定阈值，轮询节点接收到报警后，对该机构所有监控节点的流量使用情况进行轮询，若总体使用情况超出预定的阈值，产生报警，通知系统的管理人员采取相应措施。

即时状态监控方式实现简单且一般不会遗漏报警。但是在实际运用中，监控节点的监控值出现短时间异常是常有的事情，例如，大批量新建虚拟机而产生的CPU短时间的利用率过高、网络波动导致的瞬间网络延迟过高等。对于这样的瞬间异常情况进行全局轮询，往往是没有必要的。而且，监控节点向汇聚节点发送越界报告、汇聚节点对所有监控节点进行全局轮询，都会产生大量的通信消耗。所以应当尽量减少不必要的越界报告和全局轮询。

发明内容

本发明所要解决的技术问题在于克服现有技术采用即时全局轮询模式所带来的通信消耗大的不足，提供一种云数据中心状态监控方法，能够有效降低云数据中心状态监控所需的通信消耗。

本发明具体采用以下技术方案：

一种云数据中心状态监控方法，所述云数据中心包括汇聚节点和多个监控节点，各监控节点对本地性能参数进行监控，汇聚节点根据监控节点的监控数据对云数据中心整体状态进行监控；监控节点定期采集本地性能参数并将所得到的本地性能参数监控值与预设的本地性能参数阈值进行比较，当本地性能参数监控值连续超越本地性能参数阈值，且连续超越量的累计值大于预设的可容忍累计越界量阈值H_i时，监控节点将连续超越量的累计值从(w-1)H_i至wH_i的起止时刻、时间消耗、加权平均越界强度报告至汇聚节点，w=1,2,3,…，其中，监控节点i在t时刻的连续超越量的累计值S_i(t)计算公式如下：

$S_i\left(t\right)=\underset{x=t_0}{\overset{t}{\mathrm{\Σ}}}\frac{m_i\left(x\right)-T_i}{f}$

式中，m_i(x)表示监控节点i在x时刻所采集的本地性能参数监控值，t₀表示监控节点i的本地性能参数监控值连续超越本地性能参数阈值的起始时刻，T_i表示监控节点i的本地性能参数阈值，f为监控节点采集本地性能参数的频率；

监控节点i的连续超越量的累计值从(w-1)H_i至wH_i的加权平均越界强度L_i按照下式计算：

$L_i=\frac{\underset{x=1}{\overset{w}{\mathrm{\Σ}}}\left\{w(S_x-S_{x-1})\right\}}{\mathrm{\Δt}}$

式中，Δt=t_w-t_w-1为监控节点i的连续超越量的累计值从(w-1)H_i至wH_i的时间消耗，t_w、t_w-1分别为监控节点i的连续超越量的累计值超越第w个H_i和超越第（w-1）个H_i的时刻，S_x、S_x-1分别表示监控节点i的连续超越量的累计值超越第x个H_i和第（x-1）个H_i时的值；

汇聚节点根据各监控节点报告的数据，按下式计算时间区间[t_w-Δt,t_w)中云数据中心的整体越界强度L(t)：

$L\left(t\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{L}_i,t\∈[t_w-\mathrm{\Δt},t_w)$

式中，n为云数据中心中的监控节点总数；

若对于任意时间点t，云数据中心的整体越界强度L(t)满足预设条件，则汇聚节点发起全局轮询，通知所有监控节点将其当前最新的本地性能参数监控值发送至汇聚节点；汇聚节点判断所有监控节点当前最新的本地性能参数监控值之和是否超越预设的整体监控阈值，如是，则汇聚节点触发全局报警；如否，则表明云数据中心处于正常状态。

相比现有技术，本发明具有以下有益效果：

首先，本发明方法可以有效的过滤短时间、低强度的超越阈值而触发的不必要的报警和全局轮询；其次，本发明方法可以很好的降低状态监控所需的通信消耗，进而从总体上降低云数据中心的资源消耗。

附图说明

图1为具体实施方式中本发明的云数据中心状态监控方法的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

由于云数据中心中监控对象数量的急剧增加，监控系统的通信消耗给网络资源带来巨大压力，状态监控是分布式系统的重要监控方式。分布式系统的监控节点在检测到本地存在状态越界时会向汇聚节点发送越界报告，汇聚节点通过全局轮询判断系统当前状态是否超出预定的阈值。由于各种原因，在系统整体状态并未超过预定阈值的情况下，却总会发生无法预计的局部越界报告。在现有的即时轮询模式下，每当出现局部越界报告就进行全局轮询的做法造成了大量的不必要的通信消耗。

为了解决以上问题，从而降低云数据中心状态监控的通信消耗，本发明提出了一种云数据中心状态监控方法，可有效的过滤短时间、低强度的超越阈值而触发的不必要的报警和全局轮询，进而降低通信消耗。本发明方法的原理是：首先根据监控对象（性能参数）的不同，预先设定监控对象的整体阈值和监控节点的本地阈值，再为监控节点设置可容忍的累计越界量；当监控节点局部发生状态越界时，监控节点对本地越界值进行积累，并抑制状态越界的报告，直到积累值达到预定的可容忍累计越界量时，向汇聚节点发送本地连续越界的平均越界强度等相关数据；汇聚节点以历史轮询的数据为依据，对系统的整体状态进行预测，得到系统空闲值；若接收到的平均越界强度超过预测的空闲值，则发起全局轮询，根据轮询结果预测未来的系统使用值，并决定是否触发报警。

为了便于公众理解，下面以一个具体实施例来对本发明技术方案进行进一步说明。本实施例的流程如图1所示，具体包括以下步骤：

步骤1.根据监控的对象，由管理员预先设定云数据中心整体的性能参数监控阈值T，监控节点数n；初始化各监控节点的本地性能参数阈值T_i和可容忍累计越界量H_i，设定监控节点的监控数据采集频率f。

步骤2.初期数据采集：本实施例中，汇聚节点以100f的长度为间隔，对所有监控节点进行10次轮询，得到每个监控节点的10次性能参数监控数据m_i(t)。然后汇聚节点根据公式(1)计算系统的10次使用值U_x（即轮询获得的所有监控节点性能参数监控数据之和），取最后一次使用值作为初始实际使用值U_real，即U_real=U_x,x=10。根据公式(2)取10次监控值的平均值作为初始预测值U_prediction。

$U_x=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{m}_i\left(t\right),x=\mathrm{1,2}...\mathrm{9,10}---\left(1\right)$

$U_{\mathrm{prediction}}=\frac{\underset{x=1}{\overset{10}{\mathrm{\Σ}}}{U}_x}{10}---\left(2\right)$

步骤3.初期数据采集完毕，监控节点i继续以预定频率f监控本地，将监控数据m_i(t)存储在本地。

步骤4.汇聚节点对未来一段时间系统的使用值U′_prediction进行预测。本实施例中采用指数平滑法进行预测，即在监控系统开始运行的时候，汇聚节点对所有监控节点进行10次轮询，得到系统整体的使用情况。然后以它们的算术平均值作为初始的预测值U_prediction，并取最后一次的监控值为初始的监控值U_real。使用指数平滑法进行预测时只需要拥有当前的实际值和预测值，结合平滑系数a即可对未来进行预测。根据预测的使用值和系统预定的阈值T，就可以得到预测的空闲值。具体如下：

根据公式(3)结合当前实际使用值U_real和当前预测值U_prediction预测未来一段时间系统的使用值U′_prediction，其中预测系数a∈[0,1]。该系数可根据未来一段时间预测值与实际值的对比进行调整，当时间序列波动较大时可采用较小的值。

U′_prediction=aU_real+(1-a)U_prediction (3)

步骤5.若监控节点i在时间点t₀采集到的本地监控值m_i(t₀)大于本地阈值T_i，即m_i(t₀)>T_i，节点i进入抑制越界报告状态，并根据公式(4)计算监控节点i在t时刻的连续超越量的累计值S_i(t)：

$S_i\left(t\right)=\underset{x=t_0}{\overset{t}{\mathrm{\Σ}}}\frac{m_i\left(x\right)-T_i}{f}---\left(4\right)$

步骤6.若在S_i(t)≥H_i前，监控值m_i(t)已经小于预定的本地阈值T_i，则本次越界消息被监控节点抑制，不报告给汇聚节点。若监控值持续越界，则S_i(t)的值不断增大。

当S_i(t)满足条件(I)时，表明S_i(t)值超越第w个H_i。记t_w为S_i(t)超越第w个H_i时的时间点，S_w为S_i(t)超越第w个H_i时S_i(t)的值，且S₀=0。A

步骤7.每一次满足条件(I)时，监控节点根据公式(5)计算S_i(t)从超越第(w-1)个至第w个H_i的时间消耗Δt，并根据公式(6)计算在时间区间[t_w-Δt,t_w)的加权平均越界强度L_i，然后将时间点t_w、时间消耗Δt以及加权平均越界强度L_i发送到汇聚节点。

Δt=t_w-t_w-1 (5)

$L_i=\frac{\underset{x=1}{\overset{w}{\mathrm{\Σ}}}\left\{w(S_x-S_{x-1})\right\}}{\mathrm{\Δt}}---\left(6\right)$

当监控节点出现较长时间的连续越界时，积累的越界值S_i(t)就会超越监控节点预定的可容忍累计越界量H_i。从几何角度而言，以时间t为横坐标，以监控值m_i(t)为纵坐标，建立平面直角坐标系，S_i(t)实质上就是监控值m_i(t)超出阈值T_i部分形成的面积。当这个面积累计到一个预定的值时，就要将本次越界报告给汇聚节点。

较长时间的连续越界可能使S_i(t)的值大于H_i的w倍，本发明对S_i(t)进行分段处理：S_i(t)每满足一个H_i的大小，就进行一次分段，该分段的值为本次超越H_i时S_i(t)的值减去上次超越H_i时S_i(t)的值。这样，每个分段都会有一个分段值和一个对应的分段时间间隔，时间间隔越短说明在这个时间段内监控节点的越界情况越严重。

以S_i(t)大于H_i的倍数w作为权值，对每个分段计算加权算术平均值并将结果连同分段对应的时间发送给汇聚节点。这样，连续时间越长的越界就越会受到突出。

步骤8.汇聚节点接收到监控节点i发送的越界报告数据，得到监控节点i在时间区间[t_w-Δt,t_w)的加权平均越界强度L_i，根据公式(7)计算接收到的时间区间[t_w-Δt,t_w)上系统的整体越界强度L(t)：

$L\left(t\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{L}_i,t\∈[t_w-\mathrm{\Δt},t_w)---\left(7\right)$

步骤9.若对于任意时间点t，系统的整体越界强度L(t)满足条件(II)，则汇聚节点发起全局轮询：

L(t)>T-U′_prediction (II)

步骤10.汇聚节点发起全局轮询，通知所有监控节点将其当前最新监控值m_i(t)发送至汇聚节点；汇聚节点根据公式(8)计算当前系统实际使用值U_real，并根据公式(3)预测新的系统使用值U′_prediction。

U_real=∑m_i(t) (8)

步骤11.若U_real>T，汇聚节点触发全局报警，报告系统处于危险状态；若不满足，表明系统处于正常状态。

从以上实施例可看出，本发明方法以降低通信消耗为目的，在监控节点本地阈值的基础上再设置一个较小的可以容忍的本地连续越界阈值，在监控节点连续越界程度达到该阈值之前对本地越界进行抑制。达到该阈值后，将本地越界情况报告给汇聚节点。汇聚节点得到报告本地越界的监控节点的越界状态后，根据相关策略确定是否进行全局状态轮询。该方法利用窗口抑制的思想，降低了数据中心因短时间状态越界或因网络波动等各种原因造成的不可预知的异常值而产生的没有必要的通信消耗。

Claims (3)

1.一种云数据中心状态监控方法，所述云数据中心包括汇聚节点和多个监控节点，各监控节点对本地性能参数进行监控，汇聚节点根据监控节点的监控数据对云数据中心整体状态进行监控；其特征在于，监控节点定期采集本地性能参数并将所得到的本地性能参数监控值与预设的本地性能参数阈值进行比较，当本地性能参数监控值连续超越本地性能参数阈值，且连续超越量的累计值大于预设的可容忍累计越界量阈值H_i时，监控节点将连续超越量的累计值从(w-1)H_i至wH_i的起止时刻、时间消耗、加权平均越界强度报告至汇聚节点，w＝1,2,3,…，其中，监控节点i在t时刻的连续超越量的累计值S_i(t)计算公式如下：

$S_i\left(t\right)=\underset{x=t_0}{\overset{t}{\mathrm{\Σ}}}\frac{m_i\left(x\right)-T_i}{f}$

式中，m_i(x)表示监控节点i在x时刻所采集的本地性能参数监控值，t₀表示监控节点i的本地性能参数监控值连续超越本地性能参数阈值的起始时刻，T_i表示监控节点i的本地性能参数阈值，f为监控节点采集本地性能参数的频率；

监控节点i的连续超越量的累计值从(w-1)H_i至wH_i的加权平均越界强度L_i按照下式计算：

$L_i=\frac{\underset{x=1}{\overset{w}{\Σ}}\left\{w(S_x-S_{x-1})\right\}}{\mathrm{\Δ}t}$

式中，Δt＝t_w-t_w-1为监控节点i的连续超越量的累计值从(w-1)H_i至wH_i的时间消耗，t_w、t_w-1分别为监控节点i的连续超越量的累计值超越第w个H_i和超越第w-1个H_i的时刻，S_x、S_x-1分别表示监控节点i的连续超越量的累计值超越第x个H_i和第x-1个H_i时的值；

汇聚节点根据各监控节点报告的数据，按下式计算时间区间[t_w-Δt,t_w)中云数据中心的整体越界强度L(t)：

$L\left(t\right)=\underset{i=1}{\overset{n}{\Σ}}{L}_i,t\∈\[t_w-\mathrm{\Δ}t,t_w)$

式中，n为云数据中心中的监控节点总数；

若对于任意时间点t，云数据中心的整体越界强度L(t)满足预设条件，则汇聚节点发起全局轮询，通知所有监控节点将其当前最新的本地性能参数监控值发送至汇聚节点；汇聚节点判断所有监控节点当前最新的本地性能参数监控值之和是否超越预设的整体监控阈值，如是，则汇聚节点触发全局报警；如否，则表明云数据中心处于正常状态。

2.如权利要求1所述云数据中心状态监控方法，其特征在于，所述预设条件为：

L(t)>T-U′_prediction

其中，T为预设的整体监控阈值，U′_prediction为未来一段时间所有监控节点本地性能参数监控值之和的预测值。

3.如权利要求2所述云数据中心状态监控方法，其特征在于，所述未来一段时间所有监控节点本地性能参数监控值之和的预测值U′_prediction利用指数平滑法得到，并在每次全局轮询后进行更新。