CN108055152B - 基于分布式服务日志的通信网络信息系统异常检测方法 - Google Patents

Abstract

本发明公开了基于分布式服务日志的通信网络信息系统异常检测方法，通过发掘网络中的服务基准，找到自动异常检测时对比的案例，可以自动地对比实时日志流与开发模板，达到检测异常的目的。本发明提出了一种基于时间权重的控制流图模型的异常检测方法，通过设定的过滤方案生成了结构节点良好的CFG，并利用循环或线程之间节点的间隔无序性这一特点分割了边界，进一步优化了结构；计算出每个边的时间权重，生成了TCFG。该TCFG可以与实时TCFG流进行对比，发现异常，评估表明，此方法有着不错的精确率和召回率，在真实环境中，平均有80%的精确率和65%的召回率。

Description

基于分布式服务日志的通信网络信息系统异常检测方法

技术领域

本发明涉及通信网络信息异常检测技术领域，特别是涉及基于分布式服务日志的通信网络信息系统异常检测方法。

背景技术

随着网络的发展，大多数网络服务系统都需要提供7*24小时的服务，系统出现异常时，如果无法检测问题并及时修复，将会造成巨大的经济损失。当系统异常时，开发人员通常会通过日志分析来发现和处理异常。日志记录系统运行信息，它是系统异常分析最常见的方法之一。但是，由于系统规模过大，系统日志分布在不同的服务器上，而且服务器的分布是大规模且分散的，开发人员发现手动分析日志以检测异常的方法将会耗费大量的时间。为了减少开发人员的工作量，研究基于自动日志分析的异常检测方法是有意义的。

针对分布式服务的异常检测，本专利将重心放在开发基于时间权重的控制流图(TCFG)模型上。该模型开发首先生成控制流图模型(CFG)，再分割边界优化结构，之后采用K均值算法计算出时间权重。最后将在线日志流与已挖掘的TCFG模型进行比较，实现差异诊断。

为了解现有技术的发展状况，对已有的论文和专利进行了检索、比较和分析，筛选出如下与本发明相关度比较高的技术信息：

技术方案1：申请公布号为CN106209496A的《一种通信异常检测装置及方法》专利，涉及一种异常检测装置的方法，主要通过装置的三步完成：第一，通信单元。通过通信单元的通信接口接受多个数据帧。该单元需包含至少一个通信接口且至少一个通信接口包括第一接口和第二接口以满足不同部分异常检测的需求。第二，检测单元，内含技术单元和时间长度确定单元。计数单元用于对所述通信单元接收到的标记为一帧结束位的数据到标记为一帧起始位的数据为止的数据个数进行计数。时间长度确定单元用于根据计数单元的计数值确定接收的两帧数据之间的时间长度。第三，确定单元，将检测到的时间长度与预设的时间区间进行对比，当所述时间长度在所述时间区间内时，所述通信单元的通信正常，否则所述通信单元的通信异常并由发送单元发送至管理服务器。

技术方案2：申请公布号为CN106713012A的《一种通信异常的检测方法及装置》专利，涉及一种ATM通信异常的检测方法及装置，主要通过装置的四步完成：第一，根据预设发送间隔在ATM内部发送心跳包；第二，检测所述心跳包对应的心跳响应包的实时通信负载参数，所述通信负载参数为延迟率或丢包率；第三，根据所述通信负载参数确定所述ATM内部的当前通信状态，所述通信状态采取五级分级制；第四，输出确定的所述当前通信状态。该发明具有无业务数据时可检测异常的优点。

技术方案3：申请公布号为CN105323017A的《通信异常检测装置、通信异常检测方法以及程序》专利，涉及一种对在主装置与多个从装置之间进行的通信的异常进行检测的通信异常检测装置，主要通过装置的三步完成：第一，通信异常检测装置的检测部始终观察主装置与从装置之间的通信线的通信电压；第二，通知部在通信电压低于设定值时，除了通知该警报之外，对主装置还通知识别作为通信对象的从装置的ID；第三，主装置在显示部显示异常而显示特定部位的保养警告，并且使通过ID确定的从装置的显示部进行显示，来显示保养预告。

技术方案1采用了一种通过通信单元，检测单元，确定单元这三个单元来进行通信异常检测的方法，第一，通信单元，用于接收多个数据帧；第二，检测单元，用于检测所述通信单元接收的多个数据帧中的相邻数据帧之间的时间长度；第三，确定单元，用于根据检测单元检测到的时间长度与预设的时间区间进行对比，当所述时间长度在所述时间区间内时，所述通信单元的通信正常，否则所述通信单元的通信异常。但是该异常检测只能够对由时间引起的异常做出检测，可适用的范围也是有限的。

技术方案2采用了在无业务期间通过发送心跳包并检测其响应包的实时通信检测方式。在无业务期间根据预设时间间隔发送心跳包并检测其对应的心跳响应包的实时通信负载参数。通信负载参数可以反映ATM实时的通信状态。状态的显示采用分级制，分别有正常、轻度拥堵、中度拥堵、严重拥堵、无心跳这五个状态。通过将通信负载参数与以上五个状态的要求参数进行对比即可获知当前通信状态。最后通过通信状态输出模块将该通信状态输出。该方法简易有效，但是标准形式单一，参照因素也不够全面，对于使用的环境的规模以及条件也是有限制的。

技术方案3采用了在通信系统中主从装置通信检测的方式。检测单元对主装置与至少一个从装置间的通信电压进行检测，即读取主从装置之间通信线中的矩形波升降电压值来检测电压；通知单元在检测到通信电压为设定电压以下、或者预料到通信电压会变得比设定电压小时，除了所述警告信息之外，对主装置还通知用于确定该通信的通信对象的识别信息；主装置具备通信单元，用于对通过识别信息确定出的从装置通知已通知了警告信息；从装置具备显示部，在被通知已通知了警告信息时，显示已通知了警告信息。这种方法能够始终对主装置与从装置之间的通信线中的通信电压的下降故障的产生进行检测或预测，但是可检测出的故障仅仅是由电压引起的，功能性较单一。

发明内容

针对上述情况，为克服现有技术之缺陷，本发明之目的在于提供基于分布式服务日志的通信网络信息系统异常检测方法，通过发掘网络中的服务基准，找到自动异常检测时对比的案例，可以自动地对比实时日志流与开发模板，达到检测异常的目的。

其解决的技术方案是，包括日志解析、生成TCFG和自动检测异常三个步骤，首先，通过解析日志，得到原始日志和模板的映射以及模板，映射日志模板时，记录日志模板索引，时间戳和日志模板，然后生成TCFG，最后将在线日志流与已挖掘的TCFG模型进行比较，完成差异诊断，其特征在于，所述生成TCFG包括以下三个步骤，

S1，CFG边挖掘，在CFG或TCFG中，节点代表日志模板；节点包括一个子集，一个直接子集，一个时间权重集；子集是在时间窗口中的一组后续节点；直接子集是节点的直接继承者的集合；时间权重集是节点与其直接子节点之间的时间间隔集合；时间权重集是边权重的候选集；

步骤S1中有两个关键点，一个是时间t，它跨越时间窗口的值选择；长时间会伴随的噪声，而短的时间会错过一些正确的后继节点；另一点是如何计算子节点的发生次数；规则设置为在一个时间窗口中只计算一次子节点的发生次数；

当计算子节点的发生次数时，过滤规则用于确定节点的直接后续节点；过滤规则1旨在基于子节点的发生次数来过滤噪声；公式描述如下；

T_n表示模板节点；N是日志模板节点的出现次数；

表示子节点，M_i是子节点的发生次数；设定一个子节点的过滤阈值为θ；如果

将会被从子集中过滤和删除；

过滤器规则2旨在根据直接子节点的发生次数来选择直接后续节点；公式(2)描述如下；

表示直接子节点，Q_i是直接子节点的发生次数；设定直接子集的过滤阈值η；如果

将被从直接子集中过滤和删除；

之后，可以使用公式(3)获得直接后续节点；

S_s＝S_d∩S_c (3)

S_s,S_d,S_c分别表示直接后续节点集，子集以及直接子集；

对于每个模板节点，一旦计算出直接后续节点，就确认了节点的边；继而，所有节点及其边可以组成CFG；

S2，转换流边界分割,通过计算方差来确定相邻节点之间的时间间隔是否稳定；公式(4)和(5)描述如下；

当两个相邻节点之间时间间隔的方差大于阈值时，就删除这两个相邻节点之间的边；为了过滤步骤S1中长时间会伴随的噪声，将阈值β的值设置的较大；

之后检查CFG中是否有循环；方法是计算构成循环的所有边的方差的方差，并删除方差最大的边；

S3,边时间权重计算,TCFG中每个边的时间权重表示两个日志模板节点之间的执行时间；时间权重可用于检测异常,采用基于K均值的时间权重算法，输入为时间间隔集D＝{t₁,t₂,……,t_m}，聚类数K＝3，输出即为时间权重；

边的时间间隔列表的分布非常集中；大多数要素集中在一个领域，而其他要素则分散在其他地区；因此采用K均值算法将时间间隔列表分成3组；数量最多的组被采纳；该组中最大的元素是时间权重；

K均值算法的基础是最小误差的平方和；成本函数(6)是：

其中，k表示聚类分k组，c_i表示第i组的元素集合，x是c_i中的任意元素，是指一个时间间隔，

表示集群c_i的平均值，E是方差。

由于以上技术方案的采用，本发明与现有技术相比具有如下优点；

该技术立足于发掘网络服务基准，对自动异常检测方法进行研究，提出了基于TCFG的自动异常检测方法：首先分析原始日志以生成具有时间戳的模板；然后，通过分析每个服务的日志来生成TCFG(时间加权控制流程图)，TCFG负责记录在服务中运行的系统的转换状态；另外，根据对比TCFG，可以诊断实时日志流异常；评估表明，基于TCFG的自动异常检测方法有着不错的精确率和召回率，在真实环境中，平均有80％的精确率和65％的召回率。

附图说明

图1为本发明基于分布式服务日志的通信网络信息系统异常检测方法的流程图。

图2为本发明基于分布式服务日志的通信网络信息系统异常检测方法的Hadoop日志生成的TCFG挖掘图。

图3为本发明基于分布式服务日志的通信网络信息系统异常检测方法的Zookeeper日志生成的TCFG挖掘图。

图4为本发明基于分布式服务日志的通信网络信息系统异常检测方法的TCFG挖掘的精准度及召回率图。

图5为本发明基于分布式服务日志的通信网络信息系统异常检测方法的异常检测的精准度及召回率图。

具体实施方式

有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图1至附图5对实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的结构内容，均是以说明书附图为参考。

实施例一，基于分布式服务日志的通信网络信息系统异常检测方法，包括日志解析、生成TCFG和自动检测异常三个步骤，首先，通过解析日志(日志解析是使用现有的方法，首先，通过预处理，将每行日志按照空格分词，并剔除里面的数字，然后通过聚类的方法将原始日志分成多组，最后，对一组日志根据其相似提取日志模版，生产模版和日志的映射，得到原始日志和模板的映射以及模板，映射日志模板时，记录日志模板索引，时间戳和日志模板，然后生成TCFG，最后将在线日志流与已挖掘的TCFG模型进行比较，完成差异诊断，其特征在于，所述生成TCFG包括以下三个步骤，

S1，CFG边挖掘，在CFG或TCFG中，节点代表日志模板；节点包括一个子集，一个直接子集，一个时间权重集；子集是在时间窗口中的一组后续节点；直接子集是节点的直接继承者的集合；时间权重集是节点与其直接子节点之间的时间间隔集合；时间权重集是边权重的候选集；

步骤S1中有两个关键点，一个是时间t，它跨越时间窗口的值选择；长时间会伴随噪声，而短的时间会错过一些正确的后继节点；另一点是如何计算子节点的发生次数；规则设置为在一个时间窗口中只计算一次子节点的发生次数；

当计算子节点的发生次数时，过滤规则用于确定节点的直接后续节点；过滤规则1旨在基于子节点的发生次数来过滤噪声；公式描述如下；

T_n表示模板节点；N是日志模板节点的出现次数；

表示子节点，M_i是子节点的发生次数；设定一个子节点的过滤阈值为θ；如果

将会被从子集中过滤和删除；

过滤器规则2旨在根据直接子节点的发生次数来选择直接后续节点；公式(2)描述如下；

表示直接子节点，Q_i是直接子节点的发生次数；设定直接子集的过滤阈值η；如果

将被从直接子集中过滤和删除；

之后，可以使用公式(3)获得直接后续节点；

S_s＝S_d∩S_c (3)

S_s,S_d,S_c分别表示直接后续节点集，子集以及直接子集；

对于每个模板节点，一旦计算出直接后续节点，就确认了节点的边；继而，所有节点及其边可以组成CFG；

S2，转换流边界分割,通过计算方差来确定相邻节点之间的时间间隔是否稳定；公式(4)和公式(5)如下；

当两个相邻节点之间时间间隔的方差大于阈值时，就删除这两个相邻节点之间的边；为了过滤步骤S1中长时间会伴随的噪声，将阈值β的值设置的较大；

之后检查CFG中是否有循环；方法是计算构成循环的所有边的方差的方差，并删除方差最大的边；

S3,边时间权重计算,TCFG中每个边的时间权重表示着两个日志模板节点之间的执行时间；时间权重可用于检测异常,采用基于K均值的时间权重算法，输入为时间间隔集D＝{t₁,t₂,……,t_m}，聚类数K＝3，输出即为时间权重；

边的时间间隔列表的分布非常集中；大多数要素集中在一个领域，而其他要素则分散在其他地区；因此本专利采用K均值算法将时间间隔列表分成3组；数量最多的组被采纳；该组中最大的元素是时间权重；

K均值算法的基础是最小误差的平方和；成本函数是：

其中，k表示聚类分k组，c_i表示第i组的元素集合，也称x是c_i中的任意元素，是指一个时间间隔，

表示集群c_i的平均值，E是方差。

本发明具体使用时，本专利使用实验室环境日志数据集和现实日志数据集来评估TCFG挖掘和异常诊断，70％的数据进行开发，30％的数据用于评估测试，数据细节如下：

Hadoop日志集：实验室环境为Hadoop2.0版本，运行两个微服务，从系统中的一个微服务中选择了为期十天大约1.6GB的原始日志作为数据集；

Zookeeper日志集：zookeeper系统基于现实世界，每日输出大约20G的日志，从系统中的微服务中选择了为期八小时大约8GB的原始日志作为数据集；

本专利通过精确度和召回率来评估TCFG挖掘以及异常诊断，精确度和召回率定义如下。

真正确(TP)表明将正确的案例视为正确，假正确(FP)表明将错误案例视为正确，假错误(FN)表明将正确的案例视为错误。

具体参数设置如表1所示。深度是日志搜索树的深度，相似阈值是日志模板的相似阈值。

表1参数设置

图2和图3是从Hadoop和Zookeeper的日志挖掘的TCFG，图中有分叉和线性的序列，之后使用标准的精准度/召回率指标来评估TCFG和异常诊断的效率，首先本专利通过源代码手动生成一个基准TCFG结构，随机地向测试集中添加了一些异常日志；

与本专利算法相比较的算法是基于具有日志的混合图模型(HGM)的异常诊断方法，本专利中，为了分割边界，两个任务之间的间隔时间设置的比任务内的每个步骤的执行时间都长得多，因此，笔者在实验中采用HGM来凸显其优势；

从图4可以看出，这两种算法的精度都很高，而召回率低于精准度。这是因为分割策略不能分割所有边界，为了过滤所有噪声，边界分割策略中的阈值被设置的较大，相反，如果阈值过小正常边也会被过滤掉，本专利算法在Hadoop中召回了80％，高于HGM算法的75％。同时，本专利算法在Zookeeper中召回了75％，高于HGM算法的65％，因此，可以看出，边界分割策略优于HGM算法，此外，策略的优越性也反映在异常诊断中；如图5所示，本专利算法在Hadoop中有70％的召回，高于HGM算法的65％，此外，所述算法在Zookeeper中召回65％，高于HGM算法的50％。可以得出结论，基于K均值的时间权重算法也起到了一定的作用。

以上所述是结合具体实施方式对本发明所作的进一步详细说明，不能认定本发明具体实施仅局限于此；对于本发明所属及相关技术领域的技术人员来说，在基于本发明技术方案思路前提下，所作的拓展以及操作方法、数据的替换，都应当落在本发明保护范围之内。

Claims (1)

1.基于分布式服务日志的通信网络信息系统异常检测方法，包括日志解析、生成TCFG时间控制流图和自动检测异常三个步骤，首先，通过解析日志，得到原始日志和模板的映射以及模板，映射日志模板时，记录日志模板索引，时间戳和日志模板，然后生成TCFG时间控制流图，最后将在线日志流与已挖掘的TCFG时间控制流图模型进行比较，完成差异诊断，其特征在于，所述生成TCFG时间控制流图包括以下三个步骤，

S1，CFG控制流图边挖掘，在CFG控制流图或TCFG时间控制流图中，节点代表日志模板；节点包括一个子集，一个直接子集，一个时间权重集；子集是在时间窗口中的一组后续节点；直接子集是节点的直接继承者的集合；时间权重集是节点与其直接子节点之间的时间间隔集合；时间权重集是边权重的候选集；

步骤S1中有两个关键点，一个是时间t，它跨越时间窗口的值选择；长时间会伴随噪声，而短的时间会错过一些正确的后继节点；另一点是如何计算子节点的发生次数；规则设置为在一个时间窗口中只计算一次子节点的发生次数；

当计算子节点的发生次数时，过滤规则用于确定节点的直接后续节点；过滤规则1旨在基于子节点的发生次数来过滤噪声；公式(1)描述如下；

T_n表示模板节点；N是日志模板节点的出现次数；

表示子节点，M_i是子节点的发生次数；设定一个子节点的过滤阈值为θ；如果

将会被从子集中过滤和删除；

过滤器规则2旨在根据直接子节点的发生次数来选择直接后续节点；公式(2)描述如下；

表示直接子节点，Q_i是直接子节点的发生次数；设定了直接子集的过滤阈值η；如果

将被从直接子集中过滤和删除；

之后，可以使用公式(3)获得直接后续节点；

S_s＝S_d∩S_c (3)

S_s,S_d,S_c分别表示直接后续节点集，子集以及直接子集；

对于每个模板节点，一旦计算出直接后续节点，就确认了节点的边；继而，所有节点及其边可以组成CFG控制流图；

S2，转换流边界分割,通过计算方差来确定相邻节点之间的时间间隔是否稳定；公式(4)和(5)描述如下；

当两个相邻节点之间时间间隔的方差大于阈值时，就删除这两个相邻节点之间的边；为了过滤步骤S1中长时间会伴随的噪声，将阈值β的值设置的较大；

之后检查CFG控制流图中是否有循环；方法是计算构成循环的所有边的方差的方差，并删除方差最大的边；

S3,边时间权重计算,TCFG时间控制流图中每个边的时间权重表示两个日志模板节点之间的执行时间；时间权重可用于检测异常,采用基于K均值的时间权重算法，输入为时间间隔集D＝{t₁,t₂,……,t_m}，聚类数K＝3，输出即为时间权重；

边的时间间隔列表的分布非常集中；大多数要素集中在一个领域，而其他要素则分散在其他地区；因此采用K均值算法将时间间隔列表分成3组；数量最多的组被采纳；该组中最大的元素是时间权重；

K均值算法的基础是最小误差的平方和；成本函数(6)是：

其中，k表示聚类分k组，c_i表示第i组的元素集合，x是c_i中的任意元素，是指一个时间间隔，

表示集群c_i的平均值，E是方差。

Images