CN109343990A - 一种基于深度学习的云计算系统异常检测方法 - Google Patents

Abstract

发明涉及一种基于深度学习的云计算系统自动化故障检测方法。基于聚类将格式和内容相似的日志进行聚集，进而提取日志模式；将每个模式作为一个词，并将离散模式集作为一个文档，从而得到低维度特征空间；使用递归神经网络处理标记数据以得到跨序列的依赖性，从而生成信号以检测云计算系统异常。

Description

一种基于深度学习的云计算系统异常检测方法

技术领域

本发明涉及一种基于深度学习的云计算系统异常检测方法，属于软件技术领域。

背景技术

随着云计算技术的发展，大量在线服务和关键任务依赖于异构的云计算系统来完成，最小化这些系统的停机时间非常重要。控制台日志记录了云计算系统的操作状态和事件，并且具有丰富的描述性信息。当前，日志分析的相关研究主要集中在系统异常检测与诊断领域，目的是快速检测出异常发生时的信号，并确定异常的根本原因。云计算环境下，基于日志的异常检测需要在可接受的性能条件下，处理分析大量系统特征（T. Kimura, K.Ishibashi, T. Mori, H. Sawada, T. Toyono, K. Nishimatsu, A. Watanabe, A.Shimoda, and K. Shiomoto,"Spatio-temporal factorization of log data forunderstanding network events," 2014 IEEE Conference on ComputerCommunications, INFOCOM 2014, Toronto, Canada, April 27 - May 2, 2014, 2014,pp. 610–618.）。同时，控制台日志通常是由不同的应用程序或服务生成，因此日志具有异构性，表现为多样化和不均衡的单词分布，使得传统的文本挖掘方法(如，主题建模)从云计算系统的控制台日志中提取有意义的特征非常困难（X. Ning and G. Jiang, “HLAer: Asystem for heterogeneous log analysis,” in Proceedings of the SDM Workshop onHeterogeneous Learning, 2014.）。此外，虽然控制台日志记录了云计算系统的健康状态信息，但现有的系统管理技术主要在出现问题后分析错误，时效性较差（T. Kimura, A.Watanabe, T. Toyono, and K. Ishibashi, “Proactive failure detection learninggeneration patterns of largescale network logs,” in Network and ServiceManagement, 2015 11th International Conference on, Nov 2015,pp. 8–14.）。现有工作分析源代码以建立日志的常规格式，但该类方法只能在源代码应用，不能将不同编程语言和日志样式的不同应用程序的异构日志混合起来（W. Xu, L. Huang, A. Fox, D.Patterson, and M. I. Jordan,“Detecting large-scale system problems by miningconsole logs,” in Proceedings of the ACM SIGOPS 22nd symposium on Operatingsystems principles. ACM, 2009, pp. 117–132.）。控制台日志通常是由应用程序源代码中定义的模板生成，因此具有预定义的格式。在应用程序运行过程中，日志常常是多余的，找到规则的格式来表示并总结类似的日志信息可以减少冗余而不丢失重要信息，从而高效获取日志数据的含义。

发明内容

本发明的目的：提出一种基于深度学习的云计算系统异常检测方法，从控制台日志中提取通用特征，建模为时序深度神经网络，以执行自动化的检测系统异常。

本发明的原理：本文首先从异构日志中学习日志格式，将相似的日志聚在一起，并提取日志集合的模式。然后，基于这些模式提取随时间推移的顺序特征，以缩减特征维度。最后，将异常检测抽象化为序列分类问题，编码日志特征并映射到低维向量空间中，通过LSTM（Long Short-Term Memory）进行异常检测。

本发明技术解决方案如下：

第一步，日志信息和时间戳标准化：对日志数据进行标记以识别和检索每个日志记录的单词或短语的基本信息。但是，来自不同应用程序和系统的异构日志有不同的格式以及分隔符。如果没有特定的知识或人工检查，为所有异构日志数据集预先定义相同的分隔符会很不公平，因此，应该使用通用的分隔符，以避免符号间的干扰。本文将空格作为分隔符，用来分开除了数字之外的所有单词和特殊符号。异构日志可以有许多不同类型的时间戳格式，本文在日志中检测所有的时间戳并将其转换为标准格式；

第二步，日志聚类：由于没有日志格式、用法和来源等方面的领域知识，理解和分析异构日志首先需要理解日志数据的语法结构。聚类算法基于数据内在属性和关系，对数据实例进行分类。因此，本文将聚类算法应用于异构日志，以获得数据的初始化“视图”。采用分层聚类生成异构日志的层次结构，提供了多粒度的数据视图，根据位置将日志从粗到细粒度组织成树结构。同时，数据索引和搜索是建立在分层树结构基础上，以达到提高效率的目的。本文使用的分层树结构使用OPTIC(M. Ankerst, M. M. Breunig, H.-P. Kriegel,and J. Sander,“Optics: Ordering points to identify the clustering structure,”in Proceedings of the 1999 ACM SIGMOD International Conference on Managementof Data, ser. SIGMOD ’99.New York, NY, USA: ACM, 1999, pp. 49–60.)聚类方法。OPTIC通过从一个特定的数据点向所有邻近的数据点扩展，从而搜索密集的数据区域，这些数据点在一个预定义的阈值下足够接近。聚类算法根据数据点排序生成层次化的聚类结构，将较为稀疏的数据区域内的密集数据区域作为聚类，形成较稀疏区域的子聚类。OPTIC具有两个参数eps和min-points，其中，eps指定聚类的最大宽度，min-points控制有效聚类需要包含的最小样本数量。

第三步，模式识别与匹配：在对日志数据进行聚类之后，生成异构日志的整体语法结构，但仍然需要在每个聚类中获得具体模式。由于在每个聚类中，日志记录具有相似的格式，在聚类中使用序列比对进行模式识别。模式识别首先在叶节点中完成，然后从叶子向后传播到根节点。在生成日志模式后，需要对输入的异构日志进行解析，本文将这些模式表示为正则表达式。任何输入日志都将与提取的日志模式，即正则表达式匹配，如果不能匹配，则生成异常值。

第四步，特征表示：使用提取的模式解析输入日志，将日志映射到一个模式。本文 提取模式的集合,计算每个模式的频率，而不是简单搜集时间间隔的日志数据。 选择合适的时间间隔，首先需要降级特征表示的稀疏性，同时使用较小的时间粒度来进 行更精细的检测。本文借鉴TF-IDF思想，从日志中提取合适的特征。TF-IDF在信息检索和文 本挖掘中，表示文档的特征。本文将每种模式作为一个词，而发生在时间阶段 之间的众多模式作为一个文档。

(1)

(2)

(3)

其中，为模式，为时间周期模式集合，E为全部时间监测集合，为模式在时间周期中出现的频率，为时间周期的数量， 为出现模式的时间周期的数量。

第五步，异常检测：给定云计算系统组件为K，控制台日志集合为，推断在时间 窗口W内发生异常的概率为。输入是长度为L的历史特征序列：；目标是二元向量：在t时刻的检测期内发出报 警以及不在检测期内未发出警报取值为“P”，否则取值为“N”，可以用来参数化目标的概 率分布。学习模型输出报警概率，如果这种概率超过预先定义的阈值，就会发 出报警。将历史特征向量序列作为输入，使用检测模型对当前特征向量进行分析，输出即将 发生异常的概率。如果概率超过了预先定义的阈值，那么在不久之后就会发出预警信号。 LSTM使用RNN架构，并改进存储和访问信息，通过引入内存单元来存储以前的时间步骤的信 息，以解决长期依赖关系的问题。由于计算系统异常检测存在很强的时间依赖性，本文基于 LSTM网络以建模计算机系统的动态性。检测网络的输出是一个二进制向量，以表示系统 状态，本文使用其估计二项分布。可以通过输出层的Softmax函数 来参数化: 。对于目标函数，本文使用二进制的交叉 熵代价函数训练:，其中，K=2是类的 数量，目标解码为1或0，是k类的权重。

本发明与现有技术相比具有如下优点：

（1）本文基于聚类对云计算系统产生的格式和内容相似的大规模日志信息进行聚集，从而有效减少了日志数量，降低了数据处理、分析和挖掘开销，提高了异常检测效率；

（2）本文基于模式挖掘从聚类中提取应用或服务的日志记录模式，从而解决生成日志的异构性问题，扩大了异常检测方法的适用范围；

（3）本文使用递归神经网络处理标记数据以得到跨序列数据的依赖性，能够考虑到短期与长期数据对数据分析与挖掘的影响，提高了异常检测的准确性和及时性。

附图说明

图1为自动化故障检测方法步骤。

具体实施方式

以下结合具体实施例和附图对本发明进行详细说明，如图1所示，本发明实施例方法流程：

数据集来自某在线交易系统中Web服务器集群的日志记录。每个集群由多个组件组成， 包含各种类型的应用程序。当系统管理员发现问题时，会记录该系统异常，分散在整个监测 期间。本文首先将历史日志的时间序列离散化，其中每个时间段（ = 10分钟）的日志作 为一个文档。本文将数据集划分为时间顺序的训练集和测试集，其中训练集包括前时 间，其余时间用于测试。设置参数eps= 0.14和minpoints =8，设定提取模式的正则表达 式模式，然后对每个日志匹配模式。构建基于模式的TF-IDF特征向量，利用特征向量来检测 系统异常。在训练阶段，所有检测期的实例都被认为是正常的，而丢弃出现异常的实例。本 文使用LSTM，首先建立相对较小的LSTM网络，每个层有2个隐藏层和24个隐藏单元。将所有 的权重参数均匀初始化在范围，同时初始化LSTM遗忘门，设置偏差值为1.2。然 后，用批量大小为3的预参数自适应更新，使用小批量随机梯度下降对网络进行训练，基础 学习速率为10，衰变因子0.9。对每个模型进行15个周期的训练，并将其与衰减因子0.9相 乘，每增加一个新时期，将基础学习速率乘以8。由于数据集高度不平衡，损失函数设为 0.95。

Claims (1)

1.一种基于深度学习的云计算系统自动化故障检测方法，方法特征在于实现步骤如下：

第一步，日志信息和时间戳标准化：将空格作为分隔符，用来分开除了数字之外的所有单词和特殊符号；对日志数据进行标记以识别和检索每个日志记录的单词或短语的基本信息；检测所有的时间戳并将其转换为标准格式；

第二步，日志聚类：采用分层聚类生成异构日志的层次结构，根据位置将日志从粗到细粒度组织成树结构；将较为稀疏的数据区域内的密集数据区域作为聚类，形成较稀疏区域的子聚类；

第三步，模式识别与匹配：生成日志的整体语法结构；从叶子向后传播到根节点，以生成日志模式；对输入的异构日志进行解析，表示为正则表达式；任何输入日志都将与提取的日志模式，即正则表达式匹配；

第四步，异常检测：给定云计算系统组件为，控制台日志集合为，推断在时间窗口内发生异常的概率为，输入是长度为的历史特征序列：；目标是二元向量：在时刻的检测期内发出报警以及 不在……检测期内未发出警报的概率分布；检测网络的输出是一个二进制向 量，以表示系统状态，。