CN112579414A - 日志异常检测方法及装置 - Google Patents

Abstract

本申请属于数据处理技术领域，具体涉及一种日志异常检测方法和装置。其中的方法包括：获取多条原始日志记录，作为待检测日志序列；基于预先建立的日志模板库，提取所述待检测日志序列的变量特征、窗口特征、顺序特征；基于所述变量特征，通过统计学法或聚类法对待检测日志序列中每个日志记录中的数值型变量的变量值进行异常检测；基于所述窗口特征，通过主成分分析法对待检测日志序列中每个时间窗口内日志记录出现的频率进行异常检测；基于所述顺序特征，通过有限自动机的方法检测所述待检测日志序列中日志记录子序列是否属于预先建立的任务集合。本申请中的方法能够对日志记录进行实时检测，及时、准确地获取日志记录中的异常数据。

Description

日志异常检测方法及装置

技术领域

本申请属于数据处理技术领域，具体涉及一种日志异常检测方法和 装置。

背景技术

现代系统正在向大规模发展，通过构建数千台机器来扩展分布式系 统，使用数千台处理器的超级计算机来扩展高性能计算。系统运行时通 常将软件运行的实时状态记录以文本形式记录在文件中，该文件称为日 志(logs)或日志文件，记录软件运行期间的详细运行时信息。一个日志包 括多行日志记录，每一行日志记录用于记录软件运行时的一个事件。日 志中的日志记录通常具有隐含的日志模板(schema)，即该记录本身的模式 或格式。

现有方法中开发人员根据他们的领域知识手动检查系统日志或编写 规则来检测异常，并额外使用关键字搜索或正则表达式匹配。然而，这 种依赖人工检查日志的异常检测，无法实现对日志的准确检测。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本申请提供一种日志异常检测方 法和装置。

(二)技术方案

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种日志异常检测方法，该方法包括：

S10、获取多条原始日志记录，作为待检测日志序列；

S20、基于预先建立的日志模板库，提取所述待检测日志序列的变量 特征、窗口特征、顺序特征；所述日志模板库是通过对历史日志记录进 行日志解析，模板抽取得到的；所述变量特征为日志记录的数值型变量 值，所述窗口特征为时间窗口内各日志模板出现的次数，所述顺序特征 为根据日志记录的输出顺序得到的日志模板序列；

S30、对所述待检测日志序列进行异常检测，包括：

基于所述变量特征，通过统计学法或聚类法对所述待检测日志序列 中每个日志记录中的数值型变量的变量值进行异常检测，以确定变量值 异常的日志记录；

基于所述窗口特征，通过主成分分析法对所述待检测日志序列中每 个时间窗口内日志记录出现的频率进行异常检测，以确定频率异常的时 间窗口中的日志记录组；

基于所述顺序特征，通过有限自动机的方法检测所述待检测日志序 列中日志记录子序列是否属于预先建立的任务集合，以确定行为异常的 日志记录子序列。

可选地，所述窗口特征的提取方法包括：

对所述待检测日志序列中的每一条日志记录，从所述日志模板库中 匹配得到其使用的日志模板；

对所述待检测日志序列以预设长度的滑动窗口进行切分，统计每个 窗口中各个日志模板出现的次数，作为时间窗口的窗口特征。

可选地，每次滑动窗口滑动的距离为半个窗口。

可选地，基于所述窗口特征，通过主成分分析法对待检测日志序列 中每个时间窗口内日志记录出现的频率进行异常检测，包括：

基于每个时间窗口的窗口特征，生成窗口日志数量向量；

基于所述窗口日志数量向量，计算其在预先建立的残差子空间的平 方预报误差，当平方预报误差大于预先确定的控制限时，当前时间窗口 为异常的时间窗口；其中，所述残差子空间基于系统正常运行的日志记 录通过主成分分析法建立。

可选地，所述变量特征的提取方法包括：

对所述待检测日志序列中的每一条日志记录，从所述日志模板库中 匹配得到其使用的日志模板；

对所述待检测日志序列中的每一条日志记录，基于日志记录使用的 日志模板提取数值型变量值作为该日志记录中相应变量的变量特征。

可选地，基于所述变量特征，通过统计学法或聚类法对待检测日志 序列中每个日志记录中的数值型变量的变量值进行异常检测，包括

基于所述变量特征，将属于相同模板的相同数值型变量的变量值生 成数据序列；

从所述数据序列中顺次提取N个数据，通过统计学法或聚类法进行 异常检测。

可选地，所述统计学法基于3sigma法则建立，N的取值为100。

可选地，所述任务集合的建立方法包括：

获取批量的历史日志记录；

确定所述历史日志记录使用的日志模板；

基于所述日志模板，提取批量的历史日志记录的顺序特征；

基于所述顺序特征，通过统计方法生成日志的的共现矩阵，所述共 现矩阵为三维数组，第一维和第二维是日志模板数量，第三维是日志各 个模板输出位置的距离；

使用基于密度聚类的方法生成日志记录的任务集。

可选地，所述日志模板库的建立方法，包括：

步骤21、对批量的历史日志记录拆分字符和驼峰命名词，得到第一 日志数据；

步骤22、用标签分词替换所述第一日志数据中的常见格式参数，所 述常见格式参数包括但不限于：时间、日期、ip地址和路径，得到第二 日志数据；

步骤23、构建多叉树结构，将所述第二日志数据中的日志记录逐条 以分词为节点输入所述多叉树结构；

步骤24、遍历树形结构每一个节点的孩子节点，识别其数据格式；

步骤25、将同一格式的数量超过第一阈值且超过孩子节点预设比例 的相同格式进行合并；

步骤26、将多叉树的叶子节点的id作为日志记录模板的日志模板标 号，基于所有叶子节点建立日志模板库。

第二方面，本申请实施例提供一种日志异常检测装置，该装置包括：

日志获取模块，用于获取多条原始日志记录，作为待检测日志序列；

特征提取模块，用于基于预先建立的日志模板库，提取所述待检测 日志序列的变量特征、窗口特征、顺序特征；所述日志模板库是通过对 历史日志记录进行日志解析，模板抽取得到的；所述变量特征为日志记 录的数值型变量值，所述窗口特征为时间窗口内各日志模板出现的次数， 所述顺序特征为根据日志记录的输出顺序得到的日志模板序列；

异常检测模块，用于对所述待检测日志序列进行异常检测，包括：

基于所述变量特征，通过统计学法或聚类法对所述待检测日志序列 中每个日志记录中的数值型变量的变量值进行异常检测，以确定变量值 异常的日志记录；

基于所述窗口特征，通过主成分分析法对所述待检测日志序列中每 个时间窗口内日志记录出现的频率进行异常检测，以确定频率异常的时 间窗口中的日志记录组；

基于所述顺序特征，通过有限自动机的方法检测所述待检测日志序 列中日志记录子序列是否属于预先建立的任务集合，以确定行为异常的 日志记录子序列。

(三)有益效果

本申请的有益效果是：本申请提出了一种日志异常检测方法和装置， 其中的方法包括：获取多条原始日志记录，作为待检测日志序列；基于 预先建立的日志模板库，提取待检测日志序列的变量特征、窗口特征、 顺序特征；基于变量特征，通过统计学法或聚类法对待检测日志序列中 每个日志记录中的数值型变量的变量值进行异常检测；基于窗口特征，通过主成分分析法对待检测日志序列中每个时间窗口内日志记录出现的 频率进行异常检测；基于顺序特征，通过有限自动机的方法检测待检测 日志序列中日志记录子序列是否属于预先建立的任务集合。本申请中的 方法能够将非结构化日志数据转化为结构化数据，对日志记录进行实时 检测，及时、准确地获取日志信息以及日志记录中的异常数据。

进一步地，本系统针对日志数据的流式输出用增量处理方法，在日 志输出的过程中不断通过历史数据检测新的异常。

附图说明

本申请借助于以下附图进行描述：

图1为本申请一个实施例中的日志异常检测方法流程示意图；

图2为本申请另一个实施例中的日志异常检测方法流程示意图；

图3为本申请另一个实施例中的日志解析和模板提取流程示意图；

图4为本申请另一个实施例中的模板库建立示例图；

图5为本申请另一个实施例中的日志特征提取过程示例图；

图6为本申请另一个实施例中的日志变量值柱状统计示例图；

图7为本申请另一个实施例中的日志柱状统计示例图；

图8为本申请另一个实施例中的行为序列异常检测流程示意图；

图9为本申请再一个实施例中的日志异常检测方法的系统架构示意 图；

图10为本申请又一个实施例中的日志异常检测装置架构示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实 施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实 施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的 是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互 组合；为了便于描述，附图中仅示出了与发明相关的部分。

日志是网络设备、系统及服务程序等在运行时产生的一个叫log的 事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作 的描述信息。日志记录了系统的生命周期，通过查阅日志，可以了解到 系统在某个时刻所处的状态；通过对日志的分析，收集有用的数据，可 以得到用户的使用信息和访问统计，为服务系统的优化和网络安全问题预防等提供依据。因此本申请提出一种日志异常检测方法，进行日志数 据中异常日志的检测和识别。下面将参考附图并结合实施例来详细说明 本申请。

实施例一

图1示出了本申请一个实施例中的日志异常检测方法流程示意图。 如图所示，本实施例的日志异常检测方法包括：

S10、获取多条原始日志记录，作为待检测日志序列；

S20、基于预先建立的日志模板库，提取待检测日志序列的变量特征、 窗口特征、顺序特征；日志模板库是通过对历史日志记录进行日志解析， 模板抽取得到的；所述变量特征为日志记录的数值型变量值，所述窗口 特征为时间窗口内各日志模板出现的次数，所述顺序特征为根据日志记 录的输出顺序得到的日志模板序列；

S30、对待检测日志序列进行异常检测，包括：

基于变量特征，通过统计学法或聚类法对待检测日志序列中每个日 志记录中的数值型变量的变量值进行异常检测，以确定变量值异常的日 志记录；

基于窗口特征，通过主成分分析法对待检测日志序列中每个时间窗 口内日志记录出现的频率进行异常检测，以确定频率异常的时间窗口中 的日志记录组；

基于顺序特征，通过有限自动机的方法检测待检测日志序列中日志 记录子序列是否属于预先建立的任务集合，以确定行为异常的日志记录 子序列。

本发明方法针对日志系统进行自动数据处理解析和异常检测，首先 将非结构化日志数据转化为结构化数据，然后使用机器学习和统计学方 法并发的对日志进行异常检测，从多个角度发现系统的日志异常，及时、 准确地获取异常日志信息以及异常检测数据。

实施例二

本申请第二个实施例针对日志异常数据的单点指标异常，日志组异 常和行为序列异常，采用多种算法独立分析发掘，使得在日志输出的过 程中不断通过历史数据检测新的异常，从而开发、测试、维护人员对异 常日志条目进行解析之后，可以对软件系统进行调试和维护。

图2为本申请另一个实施例中的日志异常检测方法流程示意图，如 图2所示，以下对该方法包括的各个步骤进行具体说明。

步骤1、采集原始日志数据，建立日志数据库。

本实施例中，采集文本文件是超级计算机(Blue Gene/L)的日志数 据。

步骤2、从数据库中选取一定规模日志，进行日志解析和模板抽取， 建立模板库。

模板解析是通过对大量的纯文本日志进行分析，区别系统日志原本 的固定句式和其中变量。通过模板解析可以使原本的非结构化数据变为 半结构化，可用作于后期算法的输入数据。经过日志解析输出的日志句 型也可以方便后期的数据研究。

需要说明的是，由于日志数据是不断生成的，数据库中不断有新的 日志被存储进来，针对检测模型需要进行周期性的更新，以保持对日志 特征的准确描述。更新周期可以是一天、一周，或者由用户自己制定。 在对检测模型进行更新时，需针对增量数据进行日志解析和模板抽取。

请参阅图3，图3为本申请另一个实施例中的日志解析和模板提取流 程示意图。本实施例中，包括初始数据和增量数据的日志解析步骤包括：

步骤21、对原始日志进行分词，通过空格等符号拆分字符，以及拆 分驼峰命名词；

步骤22、常见格式识别，用标签分词替换；

常见的一些格式可以是时间，日期，ip地址和路径等，将其用标签 分词进行替换。

步骤23、选取一定规模的日志用于构建多叉树结构；

步骤24、将批量日志逐条以分词为节点输入多叉树结构；

使用树型结构存储日志语句的每一个分词，处在同一分支同一位置 的相同内容的分词将会使用同一节点。

步骤25、遍历树形结构每一个节点的孩子节点，识别其数据格式；

步骤26、将数量超过阈值且超过孩子节点一定比例的相同格式进行 合并；

分支合并，遍历树形结构的每一个节点，识别其孩子节点的内容与 格式，当超过某一阈值时，其孩子节点中格式相同的节点会进行合并并 剔除内容以格式的形式(如time,ip,url,num等)存储在相同位置。

步骤27、多叉树的叶子节点的id即为一条模板的日志模板标号，以 此方法建立模板库。

需要说明的是，在对日志记录进行检测过程中，新的日志记录不断 生成，数据库中不断有新的日志被存储进来，因此需要针对实时生成的 日志记录不断更新模板库，以保持对日志特征的准确描述。模板库更新 时，同样需针对增量数据进行日志解析和模板抽取。

步骤28、增量识别。

当新日志的分词节点加入多叉树后，算法会启动合并分支模块，该 模块会遍历每个节点的孩子节点，若其中有超过阈值数量比例的格式相 同，文本相近的节点，则将其合并，使用变量标签(如num，word等) 进行替换；

增量更新时仅遍历新增节点及其兄弟节点，将日志分词短语加入日 志模板树并在结束后启动合并分支，随后开始进行增量识别，每一条输 入日志在分词之后从树的根节点进行匹配，标签节点则依据其格式进行 匹配，若没有匹配项则新建节点，分词匹配完毕后，若有新增节点则对 其父节点的子树遍历进行合并剪枝，即兄弟节点中超过阈值数量或比例 的某一格式节点合并为一个标签节点，叶子节点的唯一标识号节点id作 为该模板的id；最后输出日志模板标号(log key)。

本方法支持批量处理和增量处理两种方式，在首次启动对某日志源 进行处理时，会进行先批量后增量的冷启动处理方式。系统每经过一时 间周期会将树结构转为json格式并导出该系统下的日志模板进行存储， 可以保存在数据库中或者是文件系统中，下次启动时会读取所有模板数 据并继续增量更新模式，实现快速的热启动。

以下提供一个示例，针对日志样例具体说明模板抽取、建立模板库 的过程。

日志样例：

22:15:30IDIP request opt rc[569098241]

22:15:31IDIP request opt[11016],rc[569098241]

22:15:32IDIP response on opt[4132],rc[569114625],msg [1000117965]

22:15:33IDIP request opt rc[569131009]

22:15:34IDIP request opt[1019],rc[569131009]

22:15:35IDIP response on opt[4136],rc[569131009],msg [1000117965]

对日志样例进行模板抽取，得到三种模板，分别是：

<time>-IDIP-request-opt-rc-<num>

<time>-IDIP-request-opt-<num>-rc-<num>

<time>-IDIP-response-on-opt-<num>-rc-<num>-msg-<num>

请参阅图4，图4为本申请另一个实施例中的模板库建立示例图。将 22:15:30-22:15:32的三条日志逐条以分词为节点输入多叉树结构,可得到 图4中(a)、(b)、(c)所示的多叉树结构，对(c)所示的多叉树 进行标签分词替换可得到图中(d)所示的多叉树。

步骤3、根据日志模板，对日志进行处理和数据抽取，即特征提取。

本实施例中，提取的特征分别为顺序特征、变量特征、模板特征、 窗口特征。

以下提供一个示例，具体说明特征提取的过程。图5为本申请另一 个实施例中的日志特征提取过程示例图，如图5所示，首先进行日志收 集。图中仅仅示出了收集到的7条日志记录，对这7条日志记录进行日 志解析和模板抽取，得到四个日志模板，分别为logkey1、log key2、log key3、log key4。对收集到的日志记录进行特征提取，可得到模板特征、 顺序特征、变量特征、窗口特征。

顺序特征是日志所在模板标号的序列，如图所示，序列为 13423421......

变量特征是同一日志模板中日志原文中属于变量的部分(如日志1， 5同属模板1，其中变量352、353…为其变量特征)。

模板特征是对变量进行统一标识符替换后的日志模板。

窗口特征是该时间窗口下每个模板的出现频数。如图所示，log key 1:14中的14为模板log key 1频数，log key 2:19中的19为模板log key 2 频数。

共现矩阵是三维矩阵，前两维为任意两个日志模板序列，第三维为 两个模板在日志输出序列的所有相对距离。

在使用中，顺序特征是通过输入日志原文，得到的日志模板标号的 顺序；变量特征是输入日志原文，查询日志模板分词，标注的结果；模 板特征是通过输入日志ID，查询得到的日志模板；窗口特征是输入日志 原文，查询得到的日志所属序列。

步骤4、采用单指标异常检测方法，和变量相关度分布度量，对日志 中抽取的数据进行异常检测。

步骤41、单指标异常检测。

本实施例中单指标异常检测的方法可以是统计学法，如3sigma法。

单指标异常检测包括：录入日志数据，进行模版抽取，针对每个模 版的每个变量数值构建三维数组进行统计，生成统计数据图，通过预设 算法分析其中的离群异常点，标注为异常。以下对构建三维数组、生成 统计数据图、通过算法分析其中的离群异常点进行展开说明。

首先基于开放域日志源，统计每个日志模板的每个变量数值，建立 三维数组用于保存日志中的数值变量，其中第一维度是日志模板，长度 等于日志模板数量，第二维度是该模板中的数值型变量个数，第三维度 则是该数值变量位置所记载的值，针对每一条输入日志记录，依据模板 格式提取其数值变量进行存储。

算法的输入为模板抽取的日志模板id和日志分词原文，通过算法分 析数值，计算得出变量的概率分布，并基于概率分布通过算法找出数值 的高概率分布区间，在区间之外找出其中的异常数值和离群数值。当系 统中日志数量越多时，该算法的准确率会越来越高。

统计学法是对数值超过100个的变量进行检测，算法会依据统计结 果模拟变量的概率分布，将分布概率过小的区域设定为临界阈值，阈值 之外的变量所在日志则视为异常。3sigma法是假设某指标的概率分布是 正态分布，则变量取值满足公式(1)所示的分布概率。

其中，μ是正态均值，描述质量特性值分布的集中位置，σ是正态方 差，描述质量特性值x分布的分散程度。

当使用统计分布去估计概率分布时，μ值取我们的统计结果的平均 值，而δ是统计结果的方差，则在区间μ±3δ内包含了99.73％的数据， 区间以外可以视为离群的异常点。

图6为本申请另一个实施例中的日志变量值柱状统计示例图，如图6 所示，纵坐标为变量值统计数量，横坐标为变量值，图中虚线代表算法 依据统计分布所取的阈值，浅灰色数据区别于深灰色数据代表算法认定 的阈值外的异常数据。

根据阈值可以得到异常变量值，进而检索整理得到异常数值所在的 日志记录。

在增量处理模型中，加入了半滑动窗口的概念，以避免日志变量的 存储增加。在已有的数据存储超过一定量时，新建一个数组进行新的存 储，同时逐条输入的内容也会存储到以前的数组继续进行异常检测，在 达到一定量时，废弃旧的数组后启用新的数组。

需要说明的是，在其他一些实施例中，单指标异常检测也可以采用 单维聚类法。

步骤42、日志组异常检测。

步骤421、在目标系统正常运行时，从中采集日志记录，建立主成分 模型。提取主成分，并计算相应的控制限。

控制限计算公式如公式(2)所示。

其中，c_a为标准正态分布在置信度为a下的阈值，θ和h的计算如 公式(3)和公式(4)所示。

其中，k为主成分分析(PCA)降维后的特征维度，m为数据原始特 征维度，

为x的协方差矩阵的特征值。

本实施例中，要检测的是时间窗口内日志记录的频率，因此在模型 建立和日志记录检测时都需要对输入数据进行模板抽取的基础上，进行 模板聚类，生成log key向量。

步骤422、将日志以时间窗口切分，统计该窗口中各个日志模板出现 的次数，生成日志数量向量。

优选地，可以使用滑动窗口的方式将日志切分为日志组，每次检测 后将窗口向后滑动半个窗口大小，以此充分考虑在窗口边缘被切分的行 为串，使其在下一次检测时处于窗口的中心位置。

图7为本申请另一个实施例中的日志柱状统计示例图。图7显示了 一个时间窗口中的日志数量柱状统计结果，横轴为日志模板序号，纵轴 为日志数量。

步骤423、通过SPE统计量方法进行异常检测。

其中，对于一个日志记录x，其SPE值的计算如公式(2)所示。

SPE＝x^T(I-PP^T)x (2)

其中，P为负载矩阵。

当样本的SPE值大于Qa时，则认为该组日志是异常的。

使用PCA(主成分分析)算法消除向量中的线性相关后，分析日志 向量之间的比例关系，该算法可以发现某日志的出现频率异常增多或减 少，从而可以避免系统在正常处于高峰低谷期时出现误报。

通过本实施例中的方法可以从一组日志中发现系统异常状态，定位 错误发生的日志组即时间窗口。

步骤43、行为序列异常检测。

首先通过共现矩阵创建日志的初始任务集。

行为序列异常检测是通过记录日志模板的输出序列，统计生成日志 log key之间的共现矩阵，使用基于密度聚类的方法生成日志的任务集， 构造日志系统的输出行为拓扑图。行为拓扑图表示了日志日常情况的输 出序列方式，以此识别异常序列。

图8为本申请另一个实施例中的行为序列异常检测流程示意图。以 下结合图8对行为序列异常检测方法进行具体说明。

算法的输入为日志的模板id，通过取批量的100万数据首先构造共 现矩阵，共现矩阵是一个三维数组，前两维是日志模板数量，第三维是 模板到模板之间的日志距离，即相隔多少条日志。

具体来说，构造共现矩阵时，首先使用了一个数组，这方便快速的 建立共现矩阵。该数组的长度是日志模板id的个数，即日志模板的数量， 初始值为-1。在算法依次输入模板id的同时，该数组的该id位置0，其 他正数部分(非-1的值)自动+1。显而易见地，该数组保存的是每一个 模板id到该输入位置的距离，-1为从未出现过的。这样在每一次输入后，矩阵会更新每一个模板id到位置0id的距离。

通过共现矩阵中日志间隔数据，将距离小于任务集数量且共现概率 大于某一阈值概率的日志模板加入任务集，通过日志模板的组合识别日 志的分支结构。

任务集是被认定同属于一个输出流程的日志模板。输出的单条日志 有相当一部分是某一个复杂的流程操作的一部分，这些流程有一定的操 作流程规律。创建初始任务集时，算法遍历共现矩阵，找出两两日志模 板之间共现距离小于等于1的概率大于某一阈值的组，创建任务集，在 这种概率下，有充分的理由认为其处于同一个输出流程。再次遍历共现 矩阵，对已有的任务集扩充，若是扩充任务集<a,b>的末尾，遍历共现矩 阵，寻找满足的日志模板c，使之满足共现距离[a,c]<＝2，[b,c]<＝1的概率 大于某一阈值，将c加入任务集。对于有多个满足的日志模板d,e，创建 新的任务集<a,b,d>和<a,b,e>。对于日志输出流程中可能存在的分支结构， 寻找可能存在的日志模板m和n，使之满足[a,m]<＝1的概率加上[a,n]<＝1 的概率大于某一阈值，将<a,m>和<a,n>加入任务集。在不断遍历直至任务 集无法扩充后，则认为任务集创建完毕。

然后依据任务集生成日志系统的行为拓扑图。

最后基于行为拓扑图进行检测，采用有限状态自动机的机制进行匹 配，以应对日志系统可能出现的交叉任务情况。

在异常检测阶段，同样使用有限状态自动机的思路，即系统因为多 线程的原因将可能属于两个流程的日志交叉输出的情况。在检测时，算 法的输入同样为日志模板id，此时算法等待任意任务集的开始位，其他 的输入认定为异常。例如此时有任务集<a,b,c>，它的正常输入应为a。若 算法在输入a之后，它会开启一个任务，同时等待新任务的开启，这时的 正常输入为a或b。若算法此时再次输入a，这依然被认为是正常的，例 如两个线程开启并发执行，此时算法等待两个开启流程的后缀输入b和 任务集开始位a，以此类推直到某一任务完毕，重新等待开始位。

通过算法得出的日志行为，系统可以在某处行为异常如丢失，乱序， 错误分支时，快速发现并汇报异常。该算法从序列角度发现日志除单点 错误外的日志序列错误，以便快速定位错误位置。

步骤5、合并异常结果，输出展示。

本发明方法立足于使用非监督的方法设计实现了针对开放域数据源 的日志异常检测，充分应对了现在工业界的大数据运维压力。方法包括 数据收集，日志解析，特征提取，异常检测，其中异常检测部分使用机 器学习和统计学方法并发的对日志进行异常检测，从多个角度发现系统 的日志异常；并且对日志数据的流式输出有增量处理方法，在日志输出 的过程中不断通过历史数据检测新的异常，满足对日志进行实时检测的 需求。

实施例三

图9为本申请再一个实施例中的日志异常检测方法的系统架构示意 图。如图9所示，输入为日志数据，日志原文经过日志解析获得模板解 析树和日志模板，并存储到数据库中；三个异常检测中，指标异常检测 输入为日志原文和模板抽取的日志模板id，输出为异常日志；日志组异 常检测输入为日志对应id序列，输出为异常日志；行为异常检测输入为 日志对应id序列，输出异常日志和行为拓扑图，输出的异常日志和行为 拓扑图存储到数据库中。本系统还提供外部数据接口，从而通过日志解 析可以实现模板识别和日志id查询功能，通过行为异常检测可以实现行 为序列查询功能。

实施例四

本申请第二方面提出了一种日志异常检测装置。图10为本申请一个 实施例中的日志异常检测装置架构示意图。如图所示，本实施例中的日 志异常检测装置100，可以包括：

日志获取模块101，用于获取多条原始日志记录，作为待检测日志序 列；

特征提取模块102，用于基于预先建立的日志模板库，提取待检测日 志序列的变量特征、窗口特征、顺序特征；日志模板库是通过对历史日 志记录进行日志解析，模板抽取得到的；所述变量特征为日志记录的数 值型变量值，所述窗口特征为时间窗口内各日志模板出现的次数，所述 顺序特征为根据日志记录的输出顺序得到的日志模板序列；

异常检测模块103，用于对待检测日志序列进行异常检测，包括：

基于变量特征，通过统计学法或聚类法对待检测日志序列中每个日 志记录中的数值型变量的变量值进行异常检测，以确定变量值异常的日 志记录；

基于窗口特征，通过主成分分析法对待检测日志序列中每个时间窗 口内日志记录出现的频率进行异常检测，以确定频率异常的时间窗口中 的日志记录组；

基于顺序特征，通过有限自动机的方法检测待检测日志序列中日志 记录子序列是否属于预先建立的任务集合，以确定行为异常的日志记录 子序列。

上述日志异常检测装置可执行本申请实施例所提供的日志异常检测 方法，具备执行方法相应的功能模块和有益效果。至于其中各个功能模 块所执行的处理方法，例如日志获取模块101、特征提取模块102、异常 检测模块103，可参照上述方法实施例中的描述，此处不再进行赘述。

上述的日志获取模块101、特征提取模块102、异常检测模块103通 常可以设置在终端设备或服务器中。

用来实现本申请实施例的终端设备或服务器的计算机系统可以包括 中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者 从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动 作和处理。在RAM中，还存储有系统操作所需的各种程序和数据。CPU、 ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如 阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括 硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡 的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也 根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导 体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机 程序根据需要被安装入存储部分。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标 记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求 中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多 个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助 于适当编程的计算机来实现。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一 些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述， 是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于 本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意 性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式 结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明 书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和 组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了 基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以， 权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和 修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱 离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发 明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和 变型在内。

Claims (10)

1.一种日志异常检测方法，其特征在于，该方法包括：

S10、获取多条原始日志记录，作为待检测日志序列；

S20、基于预先建立的日志模板库，提取所述待检测日志序列的变量特征、窗口特征、顺序特征；所述日志模板库是通过对历史日志记录进行日志解析，模板抽取得到的；所述变量特征为日志记录的数值型变量值，所述窗口特征为时间窗口内各日志模板出现的次数，所述顺序特征为根据日志记录的输出顺序得到的日志模板序列；

S30、对所述待检测日志序列进行异常检测，包括：

基于所述变量特征，通过统计学法或聚类法对所述待检测日志序列中每个日志记录中的数值型变量的变量值进行异常检测，以确定变量值异常的日志记录；

基于所述窗口特征，通过主成分分析法对所述待检测日志序列中每个时间窗口内日志记录出现的频率进行异常检测，以确定频率异常的时间窗口中的日志记录组；

基于所述顺序特征，通过有限自动机的方法检测所述待检测日志序列中日志记录子序列是否属于预先建立的任务集合，以确定行为异常的日志记录子序列。

2.根据权利要求1所述的日志异常检测方法，其特征在于，所述窗口特征的提取方法包括：

对所述待检测日志序列中的每一条日志记录，从所述日志模板库中匹配得到其使用的日志模板；

对所述待检测日志序列以预设长度的滑动窗口进行切分，统计每个窗口中各个日志模板出现的次数，作为时间窗口的窗口特征。

3.根据权利要求2所述的日志异常检测方法，其特征在于，每次滑动窗口滑动的距离为半个窗口。

4.根据权利要求3所述的日志异常检测方法，其特征在于，基于所述窗口特征，通过主成分分析法对待检测日志序列中每个时间窗口内日志记录出现的频率进行异常检测，包括：

基于每个时间窗口的窗口特征，生成窗口日志数量向量；

基于所述窗口日志数量向量，计算其在预先建立的残差子空间的平方预报误差，当平方预报误差大于预先确定的控制限时，当前时间窗口为异常的时间窗口；其中，所述残差子空间基于系统正常运行的日志记录通过主成分分析法建立。

5.根据权利要求1所述的日志异常检测方法，其特征在于，所述变量特征的提取方法包括：

对所述待检测日志序列中的每一条日志记录，从所述日志模板库中匹配得到其使用的日志模板；

对所述待检测日志序列中的每一条日志记录，基于日志记录使用的日志模板提取数值型变量值作为该日志记录中相应变量的变量特征。

6.根据权利要求5所述的日志异常检测方法，其特征在于，基于所述变量特征，通过统计学法或聚类法对待检测日志序列中每个日志记录中的数值型变量的变量值进行异常检测，包括

基于所述变量特征，将属于相同模板的相同数值型变量的变量值生成数据序列；

从所述数据序列中顺次提取N个数据，通过统计学法或聚类法进行异常检测。

7.根据权利要求6所述的日志异常检测方法，其特征在于，所述统计学法基于3sigma法则建立，N的取值为100。

8.根据权利要求1所述的日志异常检测方法，其特征在于，所述任务集合的建立方法包括：

获取批量的历史日志记录；

确定所述历史日志记录使用的日志模板；

基于所述日志模板，提取批量的历史日志记录的顺序特征；

基于所述顺序特征，通过统计方法生成日志的的共现矩阵，所述共现矩阵为三维数组，第一维和第二维是日志模板数量，第三维是日志各个模板输出位置的距离；

使用基于密度聚类的方法生成日志记录的任务集。

9.根据权利要求2-8中任一权利要求所述的日志异常检测方法，其特征在于，所述日志模板库的建立方法，包括：

步骤21、对批量的历史日志记录拆分字符和驼峰命名词，得到第一日志数据；

步骤22、用标签分词替换所述第一日志数据中的常见格式参数，所述常见格式参数包括但不限于：时间、日期、ip地址和路径，得到第二日志数据；

步骤23、构建多叉树结构，将所述第二日志数据中的日志记录逐条以分词为节点输入所述多叉树结构；

步骤24、遍历树形结构每一个节点的孩子节点，识别其数据格式；

步骤25、将同一格式的数量超过第一阈值且超过孩子节点预设比例的相同格式进行合并；

步骤26、将多叉树的叶子节点的id作为日志记录模板的日志模板标号，基于所有叶子节点建立日志模板库。

10.一种日志异常检测装置，其特征在于，该装置包括：

日志获取模块，用于获取多条原始日志记录，作为待检测日志序列；

特征提取模块，用于基于预先建立的日志模板库，提取所述待检测日志序列的变量特征、窗口特征、顺序特征；所述日志模板库是通过对历史日志记录进行日志解析，模板抽取得到的；所述变量特征为日志记录的数值型变量值，所述窗口特征为时间窗口内各日志模板出现的次数，所述顺序特征为根据日志记录的输出顺序得到的日志模板序列；

异常检测模块，用于对所述待检测日志序列进行异常检测，包括：

基于所述变量特征，通过统计学法或聚类法对所述待检测日志序列中每个日志记录中的数值型变量的变量值进行异常检测，以确定变量值异常的日志记录；

基于所述窗口特征，通过主成分分析法对所述待检测日志序列中每个时间窗口内日志记录出现的频率进行异常检测，以确定频率异常的时间窗口中的日志记录组；

基于所述顺序特征，通过有限自动机的方法检测所述待检测日志序列中日志记录子序列是否属于预先建立的任务集合，以确定行为异常的日志记录子序列。

Images