CN105184886A - 一种云数据中心智能巡检系统及方法 - Google Patents

Abstract

本发明公开一种云数据中心智能巡检系统及方法,属于云管理技术领域；包括数据的采集与分析模块负责对云数据中心的原始数据进行收集与预处理，为巡检特征分析提供数据来源；特征分析模块负责利用底层数据源，进行综合分析；趋势预测模块基于特征分析结果，利用相应的数学模型对云数据中心性能的发展趋势进行预测；可视化展现与用户接口模块负责云数据中心巡检服务与用户进行交互；本发明不仅实现更加智能自动化的巡检，而且减轻了运维人员的工作负荷。

Description

一种云数据中心智能巡检系统及方法

技术领域

本发明公开一种云数据中心智能巡检系统及方法,属于云管理技术领域。

背景技术

云计算，是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。典型的云计算提供商往往提供通用的网络业务应用，可以通过浏览器等软件或者其他Web服务来访问，而软件和数据都存储在服务器上。云计算服务通常提供通用的通过浏览器访问的在线商业应用，软件和数据可存储在数据中心。狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。当前，云数据中心自动巡检功能主要是将日常运维管理中需要手工进行检查的配置文件、运行参数、运行状态、安全设置等巡检项，通过SHELL、SQL等原子操作完成各个巡检项的采集并组合形成巡检任务；并通过调度管理进行轮询调度触发或手工触发执行，对巡检项信息进行采集。将返回巡检结果与巡检基线进行比对。最终形成告警、巡检报告，以短信或彩信形式进行推送。这种巡检下，巡检内容比较独立，只能对当前的情况进行检测。智能化远远不够，也不可能对未来的云数据中心的运行预测和评估，给运维人员提供更加合理的建议。本发明提出了一种云数据中心智能巡检系统和方法，此系统将数据中心运行所需要的数据进行特征分析融合，通过智能预测，从而为整个数据中心的自动化运维提供更为高层和更有预见性的管理建议，不仅实现更加智能自动化的巡检，而且减轻了运维人员的工作负荷。

发明内容

本发明针对目前云数据中心巡检内容比较独立，只能对当前的情况进行检测，智能化远远不够，也不可能对未来的云数据中心的运行预测和评估，给运维人员提供更加合理的建议的问题，提供一种云数据中心智能巡检系统及方法,不仅实现更加智能自动化的巡检，而且减轻了运维人员的工作负荷。

本发明提出的具体方案是：

一种云数据中心智能巡检系统，包括数据的采集与分析模块、特征分析模块、趋势预测模块、可视化展现与用户接口模块；

数据的采集与分析模块负责对云数据中心的原始数据进行收集与预处理，为巡检特征分析提供数据来源；

特征分析模块负责利用底层数据源，进行综合分析；利用资产统计分析评估云数据中心中服务器、云操作系统、虚拟主机各个资源节点；利用云资源节点的实际性能变化对期望值进行性能修正，综合利用各种数据源和分析算法计算云数据中心态势进行特征数据融合处理；

趋势预测模块基于特征分析结果，利用相应的数学模型对云数据中心性能的发展趋势进行预测；

可视化展现与用户接口模块负责云数据中心巡检服务与用户进行交互，用户通过相应接口对数据采集代理的参数进行配置，对数据的分析结果进行有条件查询；各种数据结果通过可视化方式展现给用户，使用户直观了解巡检评估结果。

所述数据的采集与分析模块进行收集与预处理的原始数据包括资产数据和性能数据；资产数据是云数据中心下硬件设备信息、软件信息、提供服务的信息，性能数据是指云数据中心环境中各个节点的各种性能信息。

利用自动化工具结合手工输入方式采集资产数据，将实时采集各种资产数据存储到资产数据库中，对资产数据进行格式统一化处理和分类的预处理，形成统一的标准的资产数据提供给特征分析模块。

通过在各个节点部署性能收集代理来实时收集各个节点处的性能信息，存储到性能数据库中，对性能数据进行归一化处理和分类的预处理，形成规范的性能数据提供给特征分析模块。

所述资产统计分析针对资产原始数据，根据各类资产的关系，综合评价资产的影响范围和重要程度，得到重要资产的统计分析结果，为系统巡检提供资产数据。

进行特征数据融合处理时使用的主要分析算法有：

基于主成分分析的PCA方法，利用KL变换统计特征提取，形成子空间法模式识别的基础；

Fisher线性判别，将高维样本投影到一维空间上，则实现分类问题；

Isomap算法保持数据点的内在集合特性，即保持两点间的测地距离。

所述趋势预测模块利用相应的数学模型有：一阶灰色预测GM(1,1)模型、ARMA模型和Holt-Winters模型。

所述可视化展现与用户接口模块的数据分析结果主要包括资产统计结果输出、日志查询、性能统计结果输出、特征分析报表输出、曲线图输出、趋势预测曲线图输出。

一种云数据中心智能巡检方法，利用所述的云数据中心智能巡检系统进行云数据中心智能巡检，

利用数据的采集与分析模块对云数据中心的原始数据进行收集与预处理，为巡检特征分析提供数据来源；

利用特征分析模块对底层数据源，进行综合分析；使用资产统计分析评估云数据中心中服务器、云操作系统、虚拟主机各个资源节点；使用云资源节点的实际性能变化对期望值进行性能修正，综合使用各种数据源和分析算法计算云数据中心态势进行特征数据融合处理；

基于特征分析结果，利用趋势预测模块使用相应的数学模型对云数据中心性能的发展趋势进行预测；

同时利用可视化展现与用户接口模块与用户进行云数据中心巡检服务的交互，用户通过相应接口对数据采集代理的参数进行配置，对数据的分析结果进行有条件查询；可视化展现与用户接口模块将各种数据结果通过可视化方式展现给用户，使用户直观了解巡检评估结果。

本发明的有益之处是：利用本发明的系统及方法，云数据中心运维人员可以制定巡检任务和巡检基线；巡检任务开始运行后，自动采集资产与监控等信息，预处理与归一化操作后，与巡检基线做比较，从而完成通常意义下的自动巡检；与此同时，对于采集的数据进行特征分析和融合处理之后，输出与传统意义上孤立的信息不同的，且能够反馈整个云数据中心运行状况的特征数据，通过可视化界面，运维人员可以查看目前整个数据中心运行状况；趋势预测模块利用分析和融合后的数据中心的特征数据，利用预测算法进行云数据中心运行状况进行预测，进行预警，同时可以可视化呈现给运维人员。因此本发明不仅实现了更加智能自动化的巡检，而且减轻了运维人员的工作负荷。

附图说明

图1本发明方法流程框架示意图。

具体实施方式

一种云数据中心智能巡检系统，包括数据的采集与分析模块、特征分析模块、趋势预测模块、可视化展现与用户接口模块；

数据的采集与分析模块负责对云数据中心的原始数据进行收集与预处理，为巡检特征分析提供数据来源；

特征分析模块负责利用底层数据源，进行综合分析；利用资产统计分析评估云数据中心中服务器、云操作系统、虚拟主机各个资源节点；利用云资源节点的实际性能变化对期望值进行性能修正，综合利用各种数据源和分析算法计算云数据中心态势进行特征数据融合处理；

趋势预测模块基于特征分析结果，利用相应的数学模型对云数据中心性能的发展趋势进行预测；

可视化展现与用户接口模块负责云数据中心巡检服务与用户进行交互，用户通过相应接口对数据采集代理的参数进行配置，对数据的分析结果进行有条件查询；各种数据结果通过可视化方式展现给用户，使用户直观了解巡检评估结果。

结合附图对本发明系统及方法做进一步说明。

一种云数据中心智能巡检系统，包括数据的采集与分析模块、特征分析模块、趋势预测模块、可视化展现与用户接口模块；

数据的采集与分析模块负责对云数据中心的原始数据进行收集与预处理，为巡检特征分析提供数据来源；

其中原始数据包括资产数据和性能数据，这两类数据源为巡检评估提供了基础；

资产数据是云数据中心下硬件设备信息、软件信息、提供服务的信息，硬件设备主要是指服务器、虚拟主机、存储设备、安全设备、网络拓扑信息、网络节点的硬件；采集资产数据主要可以利用拓扑发现工具、资产探测工具、IPMI、VMI等自动化工具结合手工输入，形成较为完整的云数据中心资产数据信息，还可以在服务器、云操作系统、虚拟机监控器、存储设备、安全设备、网络出口处等设置资产收集代理，实时采集各种资产数据存储到资产数据库中。预处理资产数据主要对资产数据进行格式统一化、内容分类等，形成统一的标准的资产数据提供给特征分析模块。

性能数据是指云数据中心环境中各个节点的各种性能信息，包括CPU使用率、内存使用率、网络流量、网络连接数、包延迟率、丢包率、存储空间利用率等等。通过在各个节点部署性能收集代理，实时收集各个节点处的各种性能信息。然后存储到性能数据库中。预处理性能数据主要对性能数据进行分类和归一化处理，形成规范的性能数据提供给特征分析模块。

资产数据、性能数据为上层巡检特征分析提供了底层数据源，是智能巡检中最为基础的一个环节，为特征分析的准确性提供有力保障。

特征分析模块负责利用底层数据源，进行综合分析；利用资产统计分析评估云数据中心中服务器、云操作系统、虚拟主机各个资源节点；利用云资源节点的实际性能变化对期望值进行性能修正，综合利用各种数据源和分析算法计算云数据中心态势进行特征数据融合处理；

资产统计分析主要是针对资产原始数据，考虑各类资产的隶属关系、依赖关系和信任关系等，综合评价资产的影响范围和重要程度，得到针对网络拓扑、主机硬件信息、操作系统信息、服务信息等重要资产的统计分析结果，为巡检提供较为全面详尽的资产数据。

性能修正是指利用云资源节点的实际性能变化对期望值进行修正，从而得到更加准确的节点性能特征评估结果。性能修正将云各资源节点的实际性能表现反映在特征评估结果中，使得结果更加准确。

特征数据融合处理是综合利用各种数据源和分析算法计算云数据中心态势。主要通过性能修正得到更加准确的节点性能特征信息，接着通过资产统计分析计算各个云资源节点的重要度，最后利用云资源节点特征信息和云资源节点重要度加权计算整个云数据中心的巡检特征。

其中主要分析算法有：

基于主成分分析的PCA方法

主成分分析PCA的特征提取方法基础就是KL变换。KL变换是一种最优正交变换。将它用于统计特征提取，从而形成了子空间法模式识别基础。

基于Fisher线性方法

Fisher线性判别技术将高维样本投影到一维空间上，则实现解决分类问题。这就是Fisher线性判别技术所要解决的问题。

等距离映射Isomap

Isomap的基本思想是建立在多维尺度变换MDS的基础上，力求保持数据点的内在集合特性，即保持两点间的测地距离。

趋势预测模块基于特征分析结果，利用相应的数学模型对云数据中心性能的发展趋势进行预测；

通常采用三种时间序列分析模型：一阶灰色预测GM(1,1)模型、ARMA模型和Holt-Winters模型，对特征值进行预测分析。这三种模型都是以特征分析结果作为输入，输出为未来发展趋势。一阶灰色预测GM(1,1)模型算法简单、易于实现、速度也较快，预测结果比较平滑地反映出特征序列的发展趋势；ARMA模型反映了时间序列的自相关性，而且预测结果体现了时间序列的随机性和周期性等因素；Holt-Winters模型对时间序列的趋势、随机性、周期和季节等因素都进行了考虑，在短期预测中效果不错。

可视化展现与用户接口模块负责云数据中心巡检服务与用户进行交互，一方面，用户可以通过相应接口对数据采集代理的参数进行配置，对数据的分析结果进行有条件查询；另一方面，各种数据的统计分析结果、分析结果和趋势预测结果也可以通过可视化方式展现给用户，使得用户可以直观地了解各个层次和环节的巡检评估结果。

可视化展现与用户接口模块可以设置数据收集代理配置接口；

可视化展现与用户接口模块的数据分析结果主要包括资产统计结果输出、日志查询、性能统计结果输出、特征分析报表输出、曲线图输出、趋势预测曲线图输出。

ITSM(ITServiceManagement，IT服务管理)，它是一套帮助企业对IT系统的规划、研发、实施和运营进行有效管理的高质量方法。为了更加完整描述本发明的应用场景，参见附图中的ITSM。ITSM中“配置管理”的设备，如服务器、网络设备等，其实相当于云数据中心的资源，可以进行巡检，ITSM中的事件、问题、知识可以作为本发明中一种原始数据输入，进行统一归一化、特征分析、融合处理及趋势预测，通过本发明得出的结果，可以进行预警与响应，又可以通过可视化展现与用户接口模块将得出的结果作为ITSM的输入，进行ITSM服务管理。

Claims (9)

1.一种云数据中心智能巡检系统，其特征是包括数据的采集与分析模块、特征分析模块、趋势预测模块、可视化展现与用户接口模块；

数据的采集与分析模块负责对云数据中心的原始数据进行收集与预处理，为巡检特征分析提供数据来源；

特征分析模块负责利用底层数据源，进行综合分析；利用资产统计分析评估云数据中心中服务器、云操作系统、虚拟主机各个资源节点；利用云资源节点的实际性能变化对期望值进行性能修正，综合利用各种数据源和分析算法计算云数据中心态势进行特征数据融合处理；

趋势预测模块基于特征分析结果，利用相应的数学模型对云数据中心性能的发展趋势进行预测；

可视化展现与用户接口模块负责云数据中心巡检服务与用户进行交互，用户通过相应接口对数据采集代理的参数进行配置，对数据的分析结果进行有条件查询；各种数据结果通过可视化方式展现给用户，使用户直观了解巡检评估结果。

2.根据权利要求1所述的一种云数据中心智能巡检系统，其特征是所述数据的采集与分析模块进行收集与预处理的原始数据包括资产数据和性能数据；资产数据是云数据中心下硬件设备信息、软件信息、提供服务的信息，性能数据是指云数据中心环境中各个节点的各种性能信息。

3.根据权利要求2所述的一种云数据中心智能巡检系统，其特征是利用自动化工具结合手工输入方式采集资产数据，将实时采集各种资产数据存储到资产数据库中，对资产数据进行格式统一化处理和分类的预处理，形成统一的标准的资产数据提供给特征分析模块。

4.根据权利要求2或3所述的一种云数据中心智能巡检系统，其特征是通过在各个节点部署性能收集代理来实时收集各个节点处的性能信息，存储到性能数据库中，对性能数据进行归一化处理和分类的预处理，形成规范的性能数据提供给特征分析模块。

5.根据权利要求1所述的一种云数据中心智能巡检系统，其特征是所述资产统计分析针对资产原始数据，根据各类资产的关系，综合评价资产的影响范围和重要程度，得到重要资产的统计分析结果，为系统巡检提供资产数据。

6.根据权利要求1或5所述的一种云数据中心智能巡检系统，其特征是进行特征数据融合处理时使用的主要分析算法有：

基于主成分分析的PCA方法，利用KL变换统计特征提取，形成子空间法模式识别的基础；

Fisher线性判别，将高维样本投影到一维空间上，则实现分类问题；

Isomap算法保持数据点的内在集合特性，即保持两点间的测地距离。

7.根据权利要求1或6所述的一种云数据中心智能巡检系统，其特征是所述趋势预测模块利用相应的数学模型有：一阶灰色预测GM(1,1)模型、ARMA模型和Holt-Winters模型。

8.根据权利要求7所述的一种云数据中心智能巡检系统，其特征是所述可视化展现与用户接口模块的数据分析结果主要包括资产统计结果输出、日志查询、性能统计结果输出、特征分析报表输出、曲线图输出、趋势预测曲线图输出。

9.一种云数据中心智能巡检方法，其特征是利用权利要求1-8任一项所述的云数据中心智能巡检系统进行云数据中心智能巡检，

利用数据的采集与分析模块对云数据中心的原始数据进行收集与预处理，为巡检特征分析提供数据来源；

利用特征分析模块对底层数据源，进行综合分析；使用资产统计分析评估云数据中心中服务器、云操作系统、虚拟主机各个资源节点；使用云资源节点的实际性能变化对期望值进行性能修正，综合使用各种数据源和分析算法计算云数据中心态势进行特征数据融合处理；

基于特征分析结果，利用趋势预测模块使用相应的数学模型对云数据中心性能的发展趋势进行预测；

同时利用可视化展现与用户接口模块与用户进行云数据中心巡检服务的交互，用户通过相应接口对数据采集代理的参数进行配置，对数据的分析结果进行有条件查询；可视化展现与用户接口模块将各种数据结果通过可视化方式展现给用户，使用户直观了解巡检评估结果。