CN105577457A - 一种数据中心资源智能弹性调度系统及方法 - Google Patents

Abstract

本发明涉及一种数据中心资源智能弹性调度系统及方法，所述系统包括运维监控模块、数据分析模块、弹性调度模块和策略维护模块，其中：运维监控模块用于采集性能和日志数据，并根据应用程序的类别和运行情况，产生对应的告警事件；数据分析模块用于获取所述告警事件，依据预先设定的弹性调度策略判断是否需要进行弹性扩缩，若是，则向弹性调度模块发出第一弹性扩缩指令；弹性调度模块用于响应所述第一弹性扩缩指令，判断数据中心资源池是否满足弹性扩缩要求，若是，则向所述数据中心资源池发出第二弹性扩缩指令，并记录所述数据中心资源池的弹性扩缩事件。与现有技术相比，本发明能够根据业务的需求进行弹性的扩容和缩容，提高了数据中心的稳健性。

Description

一种数据中心资源智能弹性调度系统及方法

技术领域

本发明涉及数据资源领域，尤其是涉及一种数据中心资源智能弹性调度系统及方法。

背景技术

随着云计算技术的快速发展，数据中心对各项资源进行了整合，同时各种业务对数据中心资源的需求也变得越来越高。数据中心准确地响应业务资源需求，对于业务的正常运行起着非常关键的作用。我们生活中使用的一些app应用和web应用，其背后所需要的基础架构资源都是由数据中心提供和支撑。由于业务扩展需要，会经常性的推出热点活动，导致应用会面临高并发、突发流量或高流量等情况，如果使用传统的数据中心中资源的调度方式基本不可行。在高并发、突发流量或高流量的情况时，数据中心无法准确地响应业务资源需求，造成业务的不稳定运行。

为了解决上述问题，业内通用的做法是以支持该业务的集群服务器的内存和CPU的状态为依据，来判断业务的运行状况，进而对业务所需资源进行人工分配。系统架构图如图1所示，当用户大量访问引发峰值流量情况时，为了保证业务的正常运行，数据中心会根据监控信息，获取集群的内存和CPU使用情况，手工地对数据中心资源进行调度或提前部署来分配资源。这样可以保证部署在数据中心的业务不会因为访问量过大而导致系统崩溃、宕机等状况。虽然我们可以通过监控集群中CPU和内存的使用率来进行资源调度，保证业务的稳健性，但在多数情况下，无法预测业务的运行情况和对资源需求的响应，造成系统资源不能进行及时地扩缩，导致数据中心的业务运行出现故障。

在以下情况下会导致数据中心的业务运行出现故障：1)突发业务流量高峰，监控系统不能及时产生预警，对业务系统的需求资源进行分配；2)影响业务正常运行的因素很多，各种因素导致的各项资源短缺都会影响业务的稳定性，导致上线业务不能正常运行。在发生以上问题时，数据中心只能做被动故障处理，为过载的业务进行分配相应资源。严重时，导致业务系统宕机，需要重新启动，这对于核心系统来说是不可接受的。

现有技术存在如下缺点：

1)数据中心中资源存在多样性，在对业务的运行状况分析时，考虑因素不足，不能准确定位资源需求。数据中心中业务的任意资源短缺，都会影响其业务的稳健性，使各系统业务不能稳定运行；

2)系统的弹性能力不足，系统不具备平行扩展能力来应对突发的业务高峰，造成业务故障。

数据中心的资源调度故障将影响整个系统或业务的运行状况，因此，需要研发一种更为有效的数据中心调度方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种数据中心资源智能弹性调度系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种数据中心资源智能弹性调度系统，包括运维监控模块、数据分析模块、弹性调度模块和策略维护模块，所述运维监控模块分别连接数据中心资源池和数据分析模块，所述弹性调度模块分别连接数据分析模块和数据中心资源池，所述策略维护模块与数据分析模块连接，其中：

运维监控模块用于采集数据中心资源池各业务的多个性能和日志数据，并根据应用程序的类别和运行情况，产生对应的告警事件；

数据分析模块用于获取所述告警事件，依据预先设定的弹性调度策略判断是否需要进行弹性扩缩，若是，则向弹性调度模块发出第一弹性扩缩指令，若否，则向运维监控模块返回继续监控指令；

弹性调度模块用于响应所述第一弹性扩缩指令，判断数据中心资源池是否满足弹性扩缩要求，若是，则向所述数据中心资源池发出第二弹性扩缩指令，并记录所述数据中心资源池的弹性扩缩事件，若否，则发出弹性扩缩失败信息；

策略维护模块用于对所述弹性调度策略进行展示和变更。

所述性能和日志数据包括现有业务总并发数量、系统CPU占用率、内存使用量、磁盘I/O性能和请求响应时间。

所述告警事件的产生具体为：

获得某业务各性能和日志数据的权重和对应的数值，计算获得对应业务的总资源使用指标值，根据所述总资源使用指标值产生告警事件。

所述各性能和日志数据的权重的获取是利用层次分析法构建判断矩阵求得，并利用一致性检验公式判断各权重是否达标。

所述弹性调度策略具体为：

对所述总资源使用指标值S进行判断，若P₁≤S≤P₂，则判定为不需要进行弹性扩缩，其中，P₁为下限阈值，P₂为上限阈值，若S>P₂，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为申请资源指令，若S<P₁，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为释放资源指令。

所述弹性调度模块发出弹性扩缩失败信息后，自动调动IAAS层(云计算基础设施即服务层)进行数据中心资源池扩容，并重新进行数据中心资源池是否满足弹性扩缩要求的判断。

一种数据中心资源智能弹性调度方法，包括以下步骤：

1)采集数据中心资源池各业务的多个性能和日志数据，并根据应用程序的类别和运行情况，产生对应的告警事件；

2)获取所述告警事件，依据预先设定的弹性调度策略判断是否需要进行弹性扩缩，若是，则发出第一弹性扩缩指令，若否，则返回继续监控指令；

3)判断数据中心资源池是否满足弹性扩缩要求，若是，则向所述数据中心资源池发出第二弹性扩缩指令，并记录所述数据中心资源池的弹性扩缩事件，调度结束，若否，则执行步骤4)；

4)自动调动IAAS层进行数据中心资源池扩容，并返回步骤3)。

所述性能和日志数据包括现有业务总并发数量、系统CPU占用率、内存使用量、磁盘I/O性能和请求响应时间。

所述告警事件的产生具体为：

获得某业务各性能和日志数据的权重和对应的数值，计算获得对应业务的总资源使用指标值，根据所述总资源使用指标值产生告警事件。

所述弹性调度策略具体为：

对所述总资源使用指标值S进行判断，若P₁≤S≤P₂，则判定为不需要进行弹性扩缩，其中，P₁为下限阈值，P₂为上限阈值，若S>P₂，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为申请资源指令，若S<P₁，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为释放资源指令。

与现有技术相比，本发明从生产实际需求考虑，弥补了传统数据中心中不能准确定位资源需求及在资源池中快速进行服务能力扩展的缺陷，将数据中心的资源分配和调度进行“按需分配”，具有很强的实用性和扩展性，具有以下有益效果：

(1)本发明对现有的云计算数据中心能够进行弹性扩缩资源，并综合考虑了并发量、CPU、内存等多项参考因素，能够根据业务的需求进行弹性的扩容和缩容，具有很强的实用性和扩展性。

(2)本发明根据应用系统的运行情况协调各类资源，确保各类资源随着应用的需求动态调度，可以实现细粒度的弹性扩缩资源，避免重大安全事故发生，大大提高了数据中心的稳健性，减少系统因高并发，高流量或突发流量而引起的业务中断；

(3)本发明结合现有的容器化技术，大幅提升数据中心的响应速度，针对突发性业务和突发流量，能够对数据中心的资源快速的扩缩容，保障业务正常运行。

(4)本发明中所提到的弹性调度策略综合考虑了业务所使用的各项资源，并加以分析计算，使数据中心能够快速响应资源需求进行扩缩容，具有很强的实用性和扩展性。

附图说明

图1为现有数据中心资源架构图；

图2为本发明的结构示意图；

图3为本发明弹性调度方法的流程示意图；

图4为本发明弹性调度策略流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图2所示，本实施例提供一种数据中心资源智能弹性调度系统，包括运维监控模块1、数据分析模块2、弹性调度模块3和策略维护模块4，运维监控模块1分别连接数据中心资源池5和数据分析模块2，弹性调度模块3分别连接数据分析模块2和数据中心资源池5，策略维护模块4与数据分析模块2连接，其中：

运维监控模块1用于采集数据中心资源池各业务的多个性能和日志数据，并根据应用程序的类别和运行情况，产生对应的告警事件，性能和日志数据包括现有业务总并发数量、系统CPU占用率、内存使用量、磁盘I/O性能和请求响应时间；

数据分析模块2用于获取告警事件，依据预先设定的弹性调度策略判断是否需要进行弹性扩缩，若是，则向弹性调度模块发出第一弹性扩缩指令，若否，则向运维监控模块返回继续监控指令；

弹性调度模块3用于响应第一弹性扩缩指令，判断数据中心资源池是否满足弹性扩缩要求，若是，则向数据中心资源池发出第二弹性扩缩指令，并记录数据中心资源池的弹性扩缩事件，若否，则发出弹性扩缩失败信息；

策略维护模块4用于对弹性调度策略进行展示和变更。

如图3-图4所示，基于上述数据中心资源智能弹性调度系统的弹性调度流程包括：

1)运维监控模块的监控Agent采集数据中心资源池各业务的多个性能和日志数据，并根据应用程序的类别和运行情况，产生对应的告警事件。如当各项资源的使用率超过80％-90％会产生对应的告警事件，告警事件的内容包括各个资源的使用情况，如CPU、内存等的使用情况。告警事件一方面可以供数据分析模块进行分析，另一方面可以通过对应的告警程序通知管理员。

所述告警事件的产生具体为：

获得某业务各性能和日志数据的权重和对应的数值，计算获得对应业务的总资源使用指标值，根据总资源使用指标值产生告警事件。

2)获取告警事件，依据预先设定的弹性调度策略判断是否需要进行弹性扩缩，若是，则发出第一弹性扩缩指令，若否，则返回继续监控指令。

各性能和日志数据的权重的获取是利用层次分析法(AHP)构建判断矩阵求得。判断矩阵的形式如公式(1)所示：

其中，a_ij表示指标i对于指标j的重要程度。得出权重值之后，可以根据一致性检验公式，来判断权重值是否达标。一致性指标和一致性比率的公式如(2)所示，

$\begin{array}{c}CI=\frac{{\mathrm{\&lambda;}}_{max}-n}{n-1}\\ CR=\frac{CI}{RI}\end{array}---\left(2\right)$

其中，λ_max是判断矩阵的最大特征根，n是比λ_max小的最大整数。RI是随机一致性指标，其值参照表如表1所示。

表1随机一致性指标RI值

n	1	2	3	4	5	6	7	8	9	10	11
												RI	0	0	0.58	0.90	1.12	1.24	1.32	1.41	1.45	1.49	1.51

当一致性比率CR<0.1时，认为构建的判断矩阵满足条件，可以作为权重的计算。

3)判断数据中心资源池是否满足弹性扩缩要求，若是，则向数据中心资源池发出第二弹性扩缩指令，并记录数据中心资源池的弹性扩缩事件，调度结束，若否，则执行步骤4)。

弹性调度策略具体为：

对总资源使用指标值S进行判断，若P₁≤S≤P₂，则判定为不需要进行弹性扩缩，其中，P₁为下限阈值，P₂为上限阈值，若S>P₂，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为申请资源指令，若S<P₁，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为释放资源指令。P₁和P₂的取值依据不同的应用程序进行选取，可以根据应用程序的需求进行弹性调整。

4)自动调动IAAS层进行数据中心资源池扩容，并返回步骤3)。

弹性调度模块发出弹性扩缩失败信息后，自动调动IAAS层(云计算基础设施即服务层)进行数据中心资源池扩容，并重新进行数据中心资源池是否满足弹性扩缩要求的判断。

本发明技术在中国移动浙江公司数据中心操作系统(DCOS)中应用，针对业务活动的突发流量大，并且各个渠道流量同时并发的特征，保证了正常的受理业务。根据资源的使用情况，对资源进行快速的动态扩缩容，保障业务的稳定运行。

Claims (10)

1.一种数据中心资源智能弹性调度系统，其特征在于，包括运维监控模块、数据分析模块、弹性调度模块和策略维护模块，所述运维监控模块分别连接数据中心资源池和数据分析模块，所述弹性调度模块分别连接数据分析模块和数据中心资源池，所述策略维护模块与数据分析模块连接，其中：

运维监控模块用于采集数据中心资源池各业务的多个性能和日志数据，并根据应用程序的类别和运行情况，产生对应的告警事件；

数据分析模块用于获取所述告警事件，依据预先设定的弹性调度策略判断是否需要进行弹性扩缩，若是，则向弹性调度模块发出第一弹性扩缩指令，若否，则向运维监控模块返回继续监控指令；

弹性调度模块用于响应所述第一弹性扩缩指令，判断数据中心资源池是否满足弹性扩缩要求，若是，则向所述数据中心资源池发出第二弹性扩缩指令，并记录所述数据中心资源池的弹性扩缩事件，若否，则发出弹性扩缩失败信息；

策略维护模块用于对所述弹性调度策略进行展示和变更。

2.根据权利要求1所述的数据中心资源智能弹性调度系统，其特征在于，所述性能和日志数据包括现有业务总并发数量、系统CPU占用率、内存使用量、磁盘I/O性能和请求响应时间。

3.根据权利要求1所述的数据中心资源智能弹性调度系统，其特征在于，所述告警事件的产生具体为：

获得某业务各性能和日志数据的权重和对应的数值，计算获得对应业务的总资源使用指标值，根据所述总资源使用指标值产生告警事件。

4.根据权利要求3所述的数据中心资源智能弹性调度系统，其特征在于，所述各性能和日志数据的权重的获取是利用层次分析法构建判断矩阵求得，并利用一致性检验公式判断各权重是否达标。

5.根据权利要求3所述的数据中心资源智能弹性调度系统，其特征在于，所述弹性调度策略具体为：

对所述总资源使用指标值S进行判断，若P₁≤S≤P₂，则判定为不需要进行弹性扩缩，其中，P₁为下限阈值，P₂为上限阈值，若S>P₂，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为申请资源指令，若S<P₁，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为释放资源指令。

6.根据权利要求1所述的数据中心资源智能弹性调度系统，其特征在于，所述弹性调度模块发出弹性扩缩失败信息后，自动调动IAAS层进行数据中心资源池扩容，并重新进行数据中心资源池是否满足弹性扩缩要求的判断。

7.一种数据中心资源智能弹性调度方法，其特征在于，包括以下步骤：

1)采集数据中心资源池各业务的多个性能和日志数据，并根据应用程序的类别和运行情况，产生对应的告警事件；

2)获取所述告警事件，依据预先设定的弹性调度策略判断是否需要进行弹性扩缩，若是，则发出第一弹性扩缩指令，若否，则返回继续监控指令；

3)判断数据中心资源池是否满足弹性扩缩要求，若是，则向所述数据中心资源池发出第二弹性扩缩指令，并记录所述数据中心资源池的弹性扩缩事件，调度结束，若否，则执行步骤4)；

4)自动调动IAAS层进行数据中心资源池扩容，并返回步骤3)。

8.根据权利要求7所述的数据中心资源智能弹性调度方法，其特征在于，所述性能和日志数据包括现有业务总并发数量、系统CPU占用率、内存使用量、磁盘I/O性能和请求响应时间。

9.根据权利要求7所述的数据中心资源智能弹性调度方法，其特征在于，所述告警事件的产生具体为：

获得某业务各性能和日志数据的权重和对应的数值，计算获得对应业务的总资源使用指标值，根据所述总资源使用指标值产生告警事件。

10.根据权利要求7所述的数据中心资源智能弹性调度方法，其特征在于，所述弹性调度策略具体为：

对所述总资源使用指标值S进行判断，若P₁≤S≤P₂，则判定为不需要进行弹性扩缩，其中，P₁为下限阈值，P₂为上限阈值，若S>P₂，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为申请资源指令，若S<P₁，则判定为需要进行弹性扩缩，且向数据中心资源池发送的第二弹性扩缩指令为释放资源指令。