CN111400335B - 一种针对云环境运行数据的分析方法及系统 - Google Patents

Abstract

本发明公开了一种针对云环境运行数据的分析方法，包括以下步骤：收集云环境运行数据和云环境日志数据；对收集到的数据进行存储和处理；通过机器学习对数据进行分析；对结果进行展示；针对系统运行数据、日志数据等进行统一的结构化处理，进阶着使用机器学习以对这些数据分析，使云环境相关的数据能够联系起来，并通过我们的业务分析帮助用户非常清晰地了解云环境运行真实情况，而不是仅仅简单的按照统一地、没有个性化的阈值方式进行设定、配置。通过机器学习，能够准确把握系统的真实情况，帮助设定和配置具体的工作性能曲线范围以及事件的频度。

Description

一种针对云环境运行数据的分析方法及系统

技术领域

本发明涉及云数据技术领域，尤其涉及一种针对云环境运行数据的分析方法及系统。

背景技术

当前关于云环境的运行分析基本分为两种，一是各云厂商基于自身的产品运维管理需要使用的资源层数据的使用量展示，首先这样的方式受限于厂商产品的设计，只关注自己平台的运行数据，导致整个环境的运行分析无法契合使用产品的用户的业务场景需要。其次运行良好与否的判断基于最简单的使用量等基础指标的阈值判断，简单来说就是使用量少系统运行好，使用量多系统运行差，缺乏应对各种场景的灵活度，用户除了看到一些数值，颜色之外并不能真正的找到导致业务发生问题的根本原因。

第二种是使用传统的网络管理协议进行监控，以常规的IT系统管理的方式进行数据的获取、展示。这种传统的IT管理方式对于云环境来说已经落伍，受限于管理模式对于云环境所要关注的运行分析点支持困难。另外传统方式在目前混合云的发展趋势下已经很难适应。主要表现在：1、监控广度不够，无法覆盖混合云的公、私两层，以及云下的各项资源的非运行数据。2、监控深度不够，数据的获取仅仅停留在获取到，简单的铺开呈现，没有二次的处理和交付，也没法和具体业务做关联，导致数据意义不大，对于解决用户的具体业务问题没有帮助。

同时这两种方式对于日志层面的数据都仅仅停留在拿到文件这个步骤，没有针对日志文件的进一步规整和分析，更不用说对于日志中的非结构化数据的处理。所有的数据都隔离，无法形成统一的联系，也就无法进行更高层次的关联的业务数据分析。

发明内容

鉴于目前存在的上述不足，本发明提供一种针对云环境运行数据的分析方法，针对系统运行数据、日志数据等进行统一的结构化处理，进而使用机器学习以对这些数据分析，使云环境相关的数据能够联系起来，并通过业务分析帮助用户非常清晰地了解云环境运行真实情况。

为达到上述目的，本发明的实施例采用如下技术方案：

一种针对云环境运行数据的分析方法，所述方法包括以下步骤：

收集云环境运行数据和云环境日志数据；

对收集到的数据进行存储和处理；

通过机器学习对数据进行分析；

对结果进行展示。

依照本发明的一个方面，所述对收集到的数据进行存储和处理包括：存储原始的运行数据和非结构化数据。

依照本发明的一个方面，所述方法包括以下步骤：收集到的数据通过http方式的接口进行传输。

依照本发明的一个方面，所述方法包括以下步骤：

收集日志文件；

对日志文件进行初步分析；

判断文件的具体内容是否支持直接的格式化；

如果是，则直接进行参数归类；

如果否则先进行语义识别，并根据识别进行语义分词，结束后再进行参数归类；

进行数据结构化转变，并将结果存储入库。

依照本发明的一个方面，所述方法包括以下步骤：

对已存储的数据进行探索和预处理；

进行数据清理、数据转换和补充规范数据；

生成训练数据和测试数据；

生成训练模型和测试模型并进行优化形成一个确定的业务模型；

部署模型进一步进行数据分析。

依照本发明的一个方面，所述方法包括以下步骤：过机器学习的方法，运用实践规则对系统运行状况进行判定，最终给出机器学习的结果。

一种针对云环境运行数据的分析系统，所述系统包括：

收集引擎，用于收集云环境运行数据和云环境日志数据；

数据层模块，用于对收集到的数据进行存储和处理；

分析展示平台，用于通过机器学习对数据进行分析；

展示模块，用于对结果进行展示。

依照本发明的一个方面，所述收集引擎通过微服务的开发部署方式进行部署和配置，并通过API接口对接分析展示平台。

依照本发明的一个方面，所述分析展示平台包括机器学习模块。

依照本发明的一个方面，所述展示模块包括UI界面。

本发明实施的优点：本发明所述的针对云环境运行数据的分析方法，包括以下步骤：收集云环境运行数据和云环境日志数据；对收集到的数据进行存储和处理；通过机器学习对数据进行分析；对结果进行展示；针对系统运行数据、日志数据等进行统一的结构化处理，进阶着使用机器学习以对这些数据分析，使云环境相关的数据能够联系起来，并通过我们的业务分析帮助用户非常清晰地了解云环境运行真实情况，而不是仅仅简单的按照统一地、没有个性化的阈值方式进行设定、配置。通过机器学习，能够准确把握系统的真实情况，帮助设定和配置具体的工作性能曲线范围以及事件的频度。并进一步找到系统短板、故障等问题的根源，并给集合知识库系统来推荐出相关的参考KB，便于排查和问题解决。最终打开业务层数据分析的想象空间，对云环境的运行未来趋势做出分析。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述的分析系统的完整架构示意图；

图2为本发明所述的日志文件的处理流程图；

图3为本发明所述的机器学习的处理流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1、图2和图3所示，一种针对云环境运行数据的分析方法，所述方法包括以下步骤：

收集云环境运行数据和云环境日志数据；

对收集到的数据进行存储和处理；

通过机器学习对数据进行分析；

对结果进行展示。

如图1所示，搭建针对云环境运行数据的分析系统的完整架构，具体如下：

步骤101，中心的分析展示平台的搭建，配置分析展示平台。

步骤102，部署收集引擎，做初始配置，对接分析展示平台。

步骤103，收集引擎把数据通过http方式的接口传输到分析展示平台。

步骤104，分析展示平台保存原始的运行数据和非结构化数据。

步骤105，分析展示平台对数据进行处理。

步骤106，机器学习进行数据的进一步分析。

步骤107，用户通过UI展示查看业务分析结果。

采用微服务的开发部署方式，灵活扩展。

云环境运行数据收集，通过收集引擎对接API接口完成，定时发送到分析展示平台；

云环境日志收集，通过日志收集引擎完成，定时发送到分析展示平台。

分析展示平台的数据处理模块对数据进行格式化；

分析展示平台的机器学习模块对性能数据、状态数据以及日志内容进行学习，了解对象的性能概率、合理运行空间以及未来发展趋势。同时通过学习还能够知道：问题发生时的关联关系和可能推断。通过机器学习的方法，能够运用实践规则对系统运行状况进行判定，最终给出机器学习的结构。

分析展示平台的展示模块对于云环境的资源统计情况，运行状态和机器学习的结果进行展示。

如图2所示，其描述了日志文件的处理流程图。具体如下：

步骤201，收集引擎收集日志文件。

步骤202，对日志文件进行初步分析。

步骤203，判断文件的具体内容是否支持直接的格式化。

步骤204，如果是，则直接进行参数归类，如果是否则先进行语义识别，并根据识别进行语义分词，结束后再进行参数归类。

步骤205，然后进行数据结构化转变，并将结果存储入库。

如图3所示，其描述了机器学习的处理流程图。具体如下：

步骤301，对已存储的数据进行探索和预处理。

步骤302，进一步进行数据清理，数据转换和补充规范数据。

这里的主要作用在于将数据进行细化的分析转换，使之可以按照规定的格式运用到训练模型和测试模型中。

步骤303，生成训练数据和测试数据。

步骤304，生成训练模型和测试模型，这里是一个不断完善和优化训练模型的过程。需要调整根据测试模型的结果对训练模型进行优化调整。最终形成一个确定的业务模型。

步骤305，部署最终模型，可以用于进一步的数据分析。

1、非结构化数据结构化方法。

对日志数据进行采集，并对日志中的日期、对象以及操作内容进行格式化，存储进入基础数据库；该日志数据库初步格式化后，与性能及状态数据类似，进行分类保存。可以提供查询、展示和二次分析。

2、云环境数据的机器学习模型。

对日志内容进行详细的分析，首先对内容的文字进行语义识别，并通过机器学习方式以及人工的学习指导，形成一种机器能自我识别的语义分词。进而进入进一步的处理程序。

将不同的语义分词以及相关日志内容包含的参数进行第二层的归类，即：具体的哪个对象的哪个具体参数进行自动化归类，使之能与性能数据、状态数据一同入库处理。此时，对性能数据、状态数据以及日志内容进行机器学习，学习的目的是：了解对象的性能概率、合理运行空间以及未来发展趋势。同时通过学习还能够知道：问题发生时的关联关系和可能推断。通过机器学习的方法，能够运用实践规则对系统运行状况进行判定，最终给出机器学习的结构。

3、云环境数据的机器学习模型。

将不同入口的数据进行业务化的归集，于是对云环境运行下的各个业务系统，能够以“业务维度”、“架构维度”、“管理责任维度”进行按需的机器学习，从而能够找到系统短板、故障等问题的根源，并给集合知识库系统来推荐出相关的参考KB，便于排查和问题解决。同时每次问题、故障解决后的故障反馈，需呀对机器学习的数据和判断依据进行专业化评价和改进意见，使之提升更加明显。

本发明实施的优点：本发明所述的针对云环境运行数据的分析方法，包括以下步骤：收集云环境运行数据和云环境日志数据；对收集到的数据进行存储和处理；通过机器学习对数据进行分析；对结果进行展示；针对系统运行数据、日志数据等进行统一的结构化处理，进阶着使用机器学习以对这些数据分析，使云环境相关的数据能够联系起来，并通过我们的业务分析帮助用户非常清晰地了解云环境运行真实情况，而不是仅仅简单的按照统一地、没有个性化的阈值方式进行设定、配置。通过机器学习，能够准确把握系统的真实情况，帮助设定和配置具体的工作性能曲线范围以及事件的频度。并进一步找到系统短板、故障等问题的根源，并给集合知识库系统来推荐出相关的参考KB，便于排查和问题解决。最终打开业务层数据分析的想象空间，对云环境的运行未来趋势做出分析。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种针对云环境运行数据的分析方法，其特征在于，所述方法包括以下步骤：

收集云环境运行数据和云环境日志数据，包括收集日志文件，对日志文件进行初步分析；

对收集到的数据进行存储和处理，包括判断文件的具体内容是否支持直接的格式化，如果是则直接进行参数归类，如果否则先进行语义识别，并根据识别进行语义分词，结束后再进行参数归类，进行数据结构化转变，并将结果存储入库；

通过机器学习对数据进行分析，包括对已存储的数据进行探索和预处理，进行数据清理、数据转换和补充规范数据，生成训练数据和测试数据，生成训练模型和测试模型并进行优化形成一个确定的业务模型，部署模型进一步进行数据分析；

通过机器学习的方法，能够运用实践规则对系统运行状况进行判定，最终给出机器学习的结果，对结果进行展示。

2.根据权利要求1所述的针对云环境运行数据的分析方法，其特征在于，所述对收集到的数据进行存储和处理包括：存储原始的运行数据和非结构化数据。

3.根据权利要求1所述的针对云环境运行数据的分析方法，其特征在于，所述方法包括以下步骤：收集到的数据通过http方式的接口进行传输。

4.一种针对云环境运行数据的分析系统，其特征在于，所述系统包括：

收集引擎，用于收集云环境运行数据和云环境日志数据，包括收集日志文件，对日志文件进行初步分析；

数据层模块，用于对收集到的数据进行存储和处理，包括判断文件的具体内容是否支持直接的格式化，如果是则直接进行参数归类，如果否则先进行语义识别，并根据识别进行语义分词，结束后再进行参数归类，进行数据结构化转变，并将结果存储入库；

分析展示平台，用于通过机器学习对数据进行分析，包括对已存储的数据进行探索和预处理，进行数据清理、数据转换和补充规范数据，生成训练数据和测试数据，生成训练模型和测试模型并进行优化形成一个确定的业务模型，部署模型进一步进行数据分析；

展示模块，用于通过机器学习的方法，能够运用实践规则对系统运行状况进行判定，最终给出机器学习的结果，并对结果进行展示。

5.根据权利要求4所述的针对云环境运行数据的分析系统，其特征在于，所述收集引擎通过微服务的开发部署方式进行部署和配置，并通过API接口对接分析展示平台。

6.根据权利要求4所述的针对云环境运行数据的分析系统，其特征在于，所述分析展示平台包括机器学习模块。

7.根据权利要求4所述的针对云环境运行数据的分析系统，其特征在于，所述展示模块包括UI界面。