CN108446200B - 基于大数据机器学习的服务器智能运维方法及计算机设备 - Google Patents

Abstract

本发明提供一种基于大数据机器学习的服务器智能运维方法，将收集的服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据进行存储；将收集的数据进行向量化，之后进行机器学习训练得到数据模型；获取当前的服务器性能数据，并根据数据模型得到所述软件的资源配置策略；服务器根据配置策略为所述软件配置资源；本发明还提供一种计算机设备，有效解决集群服务器的资源倾斜的问题，实现大规模集群服务器的运维智能分析数据并运维优化的目的。

Description

基于大数据机器学习的服务器智能运维方法及计算机设备

技术领域

本发明涉及一种基于大数据机器学习的服务器智能运维方法及计算机设备。

背景技术

现有方法是通过部署运维监控软件收集服务器使用率数据的运行日志数据，运维人员结合个人经验分析判断得出运维优化的参数配置。此方法在面对大规模服务器集群(服务器数量成百上千台的情况)的时候，将面临以下的问题：1、难以存储数据量庞大的运维日志文件；2、运维日志文件数据关系复杂并且数据量庞大，传统运维软件和人工分析无法从海量的历史数据中分析得出有效的优化模型；3、服务器优化配置无法从大规模集群的全局观进行优化配置参数，难以有效提升集群的整体性能，在大规模的集群中经常会出现资源和数据倾斜的问题。

发明内容

本发明要解决的技术问题，在于提供一种基于大数据机器学习的服务器智能运维方法及计算机设备，有效解决集群服务器的资源倾斜的问题，实现大规模集群服务器的运维智能分析数据并运维优化的目的。

本发明之一是这样实现的：一种基于大数据机器学习的服务器智能运维方法，包括：

步骤1、将收集的服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据进行存储；

步骤2、将收集的数据进行向量化，之后进行机器学习训练得到数据模型；

步骤3、获取当前的服务器性能数据，并根据数据模型得到所述软件的资源配置策略；

步骤4、服务器根据配置策略为所述软件配置资源。

进一步地，所述步骤1进一步具体为：将收集的服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据打上时间标签，并存储至大数据平台。

进一步地，所述服务器性能数据包括服务器CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率；所述服务器软件运行性能数据包括CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率。

进一步地，所述步骤2进一步具体为：根据时间段获取收集的数据，并进行向量化，之后进行机器学习训练得到数据模型。

本发明之二是这样实现的：一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

步骤1、将收集的服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据进行存储；

步骤2、将收集的数据进行向量化，之后进行机器学习训练得到数据模型；

步骤3、获取当前的服务器性能数据，并根据数据模型得到所述软件的资源配置策略；

步骤4、服务器根据配置策略为所述软件配置资源。

进一步地，所述步骤1进一步具体为：将收集的服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据打上时间标签，并存储至大数据平台。

进一步地，所述服务器性能数据包括服务器CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率；所述服务器软件运行性能数据包括CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率。

进一步地，所述步骤2进一步具体为：根据时间段获取收集的数据，并进行向量化，之后进行机器学习训练得到数据模型。

本发明具有如下优点：

1)存储海量数据：运用大数据解决集群服务器运维日志海量数据存储问题；

2)数据时间序列化：通过制定特殊的存储数据格式，实现数据的时间序列化；

3)机器学习智能优化：通过对大数据存储的海量历史数据，进行机器学习智能分析集群服务器运维状态和资源配置的智能优化参数，解决大规模集群运维数据分析困难；

4)大规模集群的全局资源优化：通过人对整个集群的数据进行大数据机器学习，分析系统可在集群全局优化的方向进行优化，实现智能优化资源配置参数，并将配置参数快速自动同步到集群所有的服务器。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法执行流程图。

具体实施方式

本发明基于大数据机器学习的服务器智能运维方法，包括：

步骤1、将收集的服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据打上时间标签，并存储至大数据平台，所述服务器性能数据包括服务器CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率；所述服务器软件运行性能数据包括CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率；

步骤2、根据时间段获取收集的数据，并进行向量化，之后进行机器学习训练得到数据模型；

步骤3、获取当前的服务器性能数据，并根据数据模型得到所述软件的资源配置策略；

步骤4、服务器根据配置策略为所述软件配置资源。

本发明计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

步骤1、将收集的服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据打上时间标签，并存储至大数据平台，所述服务器性能数据包括服务器CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率；所述服务器软件运行性能数据包括CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率；

步骤2、根据时间段获取收集的数据，并进行向量化，之后进行机器学习训练得到数据模型；

步骤3、获取当前的服务器性能数据，并根据数据模型得到所述软件的资源配置策略；

步骤4、服务器根据配置策略为所述软件配置资源。

本发明一种具体实施方式：

如图1所示，方案结构：

大数据探测存储运维数据模块、大数据探测存储软件运行性能参数模块、大数据机器学习分析运维数据模块、智能优化服务器参数模块

主要步骤：

A:服务器硬件运维数据探测

服务器运行日志数据收集探测器：实现轻量化脚本代码来收集服务器的相关性能参数，主要涉及服务器CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率等参数的收集。并且将这些关键数据打上时间标签，为后续实现大数据机器学习的时间序列化。

服务器运行日志数据存储到大数据集群：将日志数据转换为json数据格式，使用独创的时间格式Key-Value(服务器指标项-指标值)的格式存放到大数据平台有以下特点：数据多层嵌套将时间标签作为外层嵌套、通过时间标签可以快速搜索到某个时间点的所有集群的性能指标数据、并且可以轻易实现时间序列的数据流Streaming Data、机器学习使用时间序列等。实现日志存储文件的海量存储，并且通过大数据分布式计算引擎实现海量数据的秒级查询分析。

B:服务器软件运行日志探测：

软件运行性能数据收集探测器：实现轻量化脚本代码来收集软件运行性能的相关性能参数：软件进程实际占用资源数据(CPU、内存、带宽等使用量、络带宽资源使用率等参数的收集)；系统资源隔离分配给软件的资源量(管理员分配给软件的CPU、内存、带宽资源)；软件运行耗时；软件运行出现内存溢出等资源不足的报错数据。并且将这些关键数据打上时间标签，为后续实现大数据机器学习的时间序列化。

软件运行性能数据存储到大数据集群：软件运行性能数据转换为json数据格式，使用独创的时间格式Key-Value(软件性能指标项目-指标值)的格式存放到大数据平台，并且增加时间序列作为外层嵌套数据；例如：在2018年02月01日17:59时刻的服务器集群的资源使用日志数据的json格式{"2018_02_01_17_59":{"Server1":[{"cupUse":"80％",memUse":"256GB"}],"Server2":[{"cupUse":"88％",memUse":"258GB"}],"Server3":[{"cupUse":"98％",memUse":"306GB"}],}}。

C:大数据机器学习分析：

数据时间序列化：通过时间字段将软件运行资源配置数据、服务器运行日志数据、软件运行效果性能参数等历史数据实现时间序列化，并实现数据的时间关联。

数据向量化：将数据从文本数据转换为向量数据模型，即实现word2vec的转换。

机器学习分析数据：通过基于CNN神经网络进行机器学习算法更新尝试(主要使用卷积和算法、逻辑回归算法、K-Means聚类算法等多种算法的尝试)、并进行多次迭代参数配置、并且进行优化器Optimizer适配，通过这些方式路径进行对运维日志数据和软件性能数据进行机器学习训练得出数据模型。

D:智能优化服务器参数模块：

智能预测模型：基于人工智能深度学习的神经网络策略网络分析模型策略模型的训练方法是Policy Gradients，实现可以通过观察服务器运行的环境状态结合机器学习的数据模型，预测出目前应用软件资源应该配置的策略，以获得最大的软件运行性能效果，达到通过人工智能运维优化服务的目的；服务器的软件资源可以通过服务器的操作系统获取；配置策略是通过人工智能及其学习模型获取，是人工智能的神经网络自己学习训练获取的策略模型。

智能优化服务器配置：通过自动化配置脚本，同步配置信息实现每个应用软件在每台服务器上的cpu、内存占用、缓存大小、硬盘读取频率、最大访问并发数等资源进行针对性的优化，实现整个集群的资源优化。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (2)

1.一种基于大数据机器学习的服务器智能运维方法，其特征在于：包括：

步骤1、将收集的服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据打上时间标签，通过时间字段将服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据实现时间序列化，并实现数据的时间关联；并存储至大数据平台；

步骤2、将服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据从文本数据转换为向量数据模型，即实现word2vec的转换；通过基于CNN神经网络进行机器学习算法更新尝试、并进行多次迭代参数配置、并且进行优化器Optimizer适配，对向量数据模型进行机器学习训练得出数据模型；

步骤3、获取当前的服务器性能数据，并根据数据模型得到所述软件的资源配置策略；

步骤4、服务器根据配置策略为所述软件配置资源；

服务器运行日志数据收集探测器收集服务器性能参数，所述服务器性能数据包括服务器CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率；软件运行性能数据收集探测器收集服务器软件运行性能数据，所述服务器软件运行性能数据为软件进程实际占用资源数据；所述服务器软件运行性能数据包括软件CPU使用率、软件内存使用率、软件硬盘使用率、软件IO消耗、软件网络带宽资源使用率；服务器软件资源配置数据为系统资源隔离分配给软件的资源量，即分配给软件的CPU、内存、带宽资源。

2.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现以下步骤：

步骤1、将收集的服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据打上时间标签，通过时间字段将服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据实现时间序列化，并实现数据的时间关联；并存储至大数据平台；

步骤2、将服务器性能数据、服务器软件运行性能数据以及服务器软件资源配置数据从文本数据转换为向量数据模型，即实现word2vec的转换；通过基于CNN神经网络进行机器学习算法更新尝试、并进行多次迭代参数配置、并且进行优化器Optimizer适配，对向量数据模型进行机器学习训练得出数据模型；

步骤3、获取当前的服务器性能数据，并根据数据模型得到所述软件的资源配置策略；

服务器运行日志数据收集探测器收集服务器性能参数，所述服务器性能数据包括服务器CPU使用率、内存使用率、硬盘使用率、IO消耗、网络带宽资源使用率；软件运行性能数据收集探测器收集服务器软件运行性能数据，所述服务器软件运行性能数据为软件进程实际占用资源数据；所述服务器软件运行性能数据包括软件CPU使用率、软件内存使用率、软件硬盘使用率、软件IO消耗、软件网络带宽资源使用率；服务器软件资源配置数据为系统资源隔离分配给软件的资源量，即分配给软件的CPU、内存、带宽资源。

Images