CN113485878A - 一种多数据中心故障检测方法 - Google Patents

Abstract

本发明公开了一种用于多站融合的多数据中心故障检测方法，首先采集日志数据并将日志数据解析为结构化日志，建立每个应用程序的执行路径拓扑结构，然后分别对日志键和日志参数进行故障检测，能够完成每一个应用的日志故障检测；日志参数故障检测利用聚类算法，在选择聚类中心时先根据数据紧密度剔除日志参数数据集中的稀疏点，再分层从每个属性日志参数中选择数据点作为聚类中心，进而在每个聚类中检测日志参数是否异常，避免日志参数数据类型对聚类结果的影响，使聚类结果趋近于全局最优；最后构建适用于多站融合的多数据中心检测架构。本发明的故障检测方法能够检测每个应用程序的日志键和日志参数，进而全面准确地进行故障检测。

Description

一种多数据中心故障检测方法

技术领域

本发明涉及一种故障检测方法，尤其是一种多数据中心的故障检测方法。

背景技术

多站融合数据中心是指边缘数据中心，用于对电网内部业务、城市治理、互联网、工业制造等领域产生的数据进行边缘侧存储、处理和计算，是数据信息的汇聚基地，同时又是主要的负荷中心。大规模的数据不断叠加导致数据中心出现异常的概率越来越大，目前已有的云数据中心异常检测方案，主要基于监控指标数据，如端口流量、设备CPU使用率、进程内存使用率、丢包率、错误率等量化数据。然而，这种基于监控指标数据的异常检测方法并不能对故障进行定位。主机系统运行过程中会产生各种各样的日志，日志记录了计算机运行时的状态和系统执行的各种操作，因此对系统日志的审计可以作为主机异常检测的重要手段。在实际应用中，由于日志的差异和日志审计手段的单一落后，一些异常检测系统往往只适用于特定类型的主机，且能检测到的异常行为不够全面和准确。

发明内容

发明目的：本发明的目的是提供一种多数据中心服务器的日志数据进行分离和故障检测的方法，尤其是针对日志键和日志参数进行检测，进而全面准确地进行故障判断。

技术方案：本发明所述的多数据中心故障检测方法包括如下步骤：

(1)收集和解析日志数据，用自然语言处理方法提取日志信息，将日志数据解析为结构化日志；

(2)分离每个应用程序的日志，建立每个应用程序的执行路径拓扑结构；

(3)建立日志键的故障预测模型，对日志键进行故障检测；

(4)建立日志参数数据集X，利用聚类算法对日志参数进行故障检测，X＝{x₁,x₂,x_i,…,x_M}，其中x_i是第i个属性日志参数的数据点集合，即第i个属性数据集，M是日志参数属性的总数；其中聚类算法在选择聚类中心时先根据数据紧密度剔除日志参数数据集X中的稀疏点，再从每个属性数据集中选择数据点作为聚类中心

(5)输出故障警示信息，将故障信息写入故障信息数据库。

进一步地，步骤(4)具体包括：

(41)根据执行路径拓扑结构建立同一日志记录的日志参数的集合，对所述集合进行数据处理形成日志参数数据集X；

(42)计算日志参数数据集X中每个数据点的的紧密度和紧密率，设置紧密率阈值τ，剔除紧密率大于所述紧密率阈值τ的数据点；

(43)根据每个数据点的紧密度在每个属性数据集中选择聚类中心，聚类中心的总数为K个；

(44)根据每个数据点与每个聚类中心的欧氏距离划分聚类；

(45)根据每个数据点的紧密率检测异常数据点，将异常数据点的属性和数据点值移入异常数据集；

(46)计算聚类准则函数，若满足收敛条件则结束，输出异常数据集，否则转到步骤(44)。

紧密度的计算公式为：

其中n为日志参数数据集合x_i中的数据个数，x_ij和x_ik分别为x_i中的任意两个数据点，D(x_ij,x_ik)为x_ij和x_ik的欧氏距离。

紧密率的计算公式为：

其中

选择聚类中心的方法具体为：在x_i中选择密集度最小的数据点为第一个聚类中心c_i1，选择择距离c_i1最远的数据点作为第二个聚类中心c_i2，再选择m个聚类中心满足公式(3)：

x_ij:{x_ij|x_ij∈x′_i∧max{D(x_ij,c_i1),D(x_ij,c_i2),…,D(x_ij,c_im-1)} (3)

直至日志参数数据集X中所有属性的聚类中心个数K满足公式(4)：

其中w_i为第i个属性的权重，c_ik为第i个属性的第k个聚类中心，

为第i个属性的聚类中心数量。

进一步地，结构化日志包括时间、应用程序ID、日志等级、日志键和日志参数。

步骤(3)具体为：根据执行路径拓扑结构确定应用程序执行时的最大分支数b，使用正确的日志数据训练日志键的故障预测模型，结合最大分支数b和故障预测模型的输出结果判断日志键是否异常。

有益效果：本发明与现有技术相比：(1)对多数据中心故障进行定位；针对日志键构建应用的工作流及其日志记录输出的执行路径拓扑结构，提出结合执行路径拓扑结构和深度学习预测算法的思路进行日志键故障检测的方法，做到数据中心故障定位。(2)故障检测性能优越，结果较为准确；用改进的聚类算法对日志参数进行故障检测，根据紧密率剔除稀疏点以及根据日志数据特点在不同属性数据集中选择聚类中心，不但进一步检测数据中心的异常发生的可能原因，同时克服了在传统聚类算法中数据差异性对聚类结果的影响，使结果趋近于全局最优。

附图说明

图1为本发明的日志键异常检测流程图；

图2为本发明的日志解析流程图；

图3为本发明的故障检测系统结构图；

图4为本发明的多数据中心故障检测架构图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

本发明的故障检测方法包括两部分内容：针对日志键构建应用的工作流及其对应的日志记录输出的执行路径拓扑结构，结合执行路径拓扑结构和深度学习预测算法进行故障检测；针对日志参数采用改进的聚类算法进行故障检测的方法。然后应用本方法建立故障检测系统，构建适合多站融合多数据中心的故障监控组织架构。

(1)基于工作流拓扑结构模型对日志键进行异常检测

将解析后的日志首先根据日志中应用程序ID进行日志分离，并建立对应的日志记录输出的执行路径拓扑结构图。日志记录输出的执行路径拓扑结构图代表应用程序在打印日志时的规律，拓扑结构图类似于有向图或树，其分支数可用来协助深度学习预测模型确定预测输出的数据、正确比例以及日志执行的规律等。如图1所示，具体包括如下步骤：

(11)数据输入

收集数据中心服务器离线历史日志数据和实时日志数据，常见数据来源是数据中心的各应用产生的日志文件，如服务器日志、主机日志、中间件日志、网络设备日志和数据库日志等。本实施例的主要日志数据来源是服务器日志、主机日志和中间件日志。

(12)日志解析

如图2所示，采用自然语言处理的方法，提取日志信息，将非结构化日志数据转换为“时间+应用程序ID+日志等级+日志键+日志参数”的结构化日志数据，结构化日志数据有利于机器识别和处理，便于根据应用ID进行日志分离并对每一个应用的日志进行故障检测。

(13)建立执行路径拓扑结构图

建立应用程序的工作流以及对应的执行路径拓扑结构图，即日志分离，通过日志中的应用程序ID，将每个应用的日志分离开，建立对应的执行路径拓扑结构图。

由于一个日志文件一般由多个应用程序写入，因此各条日志记录之间没有逻辑关系，将日志分离后就可以为每个应用进行故障检测，执行路径拓扑结构可以确定应用程序的执行路径，还可以确定应用程序执行时的最大分支数b，即应用程序将打印的下一条日志的可能性。应用程序的执行路径拓扑结构可以帮助深度学习预测算法判断是否发生异常。

(14)建立故障预测模型

使用正确日志数据和深度学习预测算法建立预测模型，该模型用于预测输出应用程序要打印的下一条日志在每一种日志上的可能性(用百分比表示)。

(15)异常判断

结合预测模型和该应用的执行路径拓扑结构判断是否发生异常。即根据该应用的执行路径拓扑结构中最大分支数b，故障预测模型的输出结果为多个下一条可能打印的日志的可能性，按照可能性从大到小排序，可认为可能性最大的前b个均属于下一条可能输出的日志条目之一，若属于其中之一，则可认为是正常的日志记录。若实际的输出结构不属于前b个可能性最大的日志条目则认为发生异常，继续执行步骤(16)。

(16)故障处理

将异常信息写入故障信息数据库，输出故障警示信息。

(17)模型更新

若发生的异常为假异常，用户可做假异常反馈，从而更新故障预测模型和执行路径拓扑结构，执行步骤(13)。

(2)基于改进的聚类算法对日志参数进行异常检测

传统的聚类算法在初始化选择聚类中心时随机选择聚类中心，这种随机选择具有不确定性，甚至可能会选择异常点或稀疏点作为聚类中心。不同的初始聚类中心有不同的搜索路径，因此聚类的结果也依赖于初始迭代点，聚类结果容易形成局部最优。此外不同类型的日志参数数据点分布或者数量有差距，如离散型或连续型，会对聚类的结果产生影响。因此本发明在选择初始聚类中心时先根据紧密率剔除稀疏点，再根据日志数据特点，分层次在不同的属性数据集中选择若干聚类中心，再在选择好的K个聚类中，计算每个数据点在本簇类中的异常度，当该数据点的异常度超过阈值δ时，被认为是异常数据，添加该数据点的属性和数据点值至异常数据集，同时将该数据从该簇类中删除。具体包括如下步骤：

(21)同步骤(11)～步骤(13)。

(22)构建日志参数数据集X

根据建立的执行路径拓扑结构可以建立同一日志记录的日志参数的数据集。将不同的日志记录的数据集并列在一起，每一个列都代表某一类日志记录的一种属性。对解析后的该数据集进行数据处理，包括将非数值类数据转换为数值数据，对离散无数的数据处理(one-hot编码)，同时进行数据标准化等，形成日志参数数据集X。

(23)剔除日志参数数据集X中的稀疏点

对于数据集X＝{x₁,x₂,x₃,…,x_i,…,x_M}(其中x_i是第i个属性的数据集合)，M是日志参数属性的总个数，根据公式(1)计算每一个属性中每个数据点的紧密度，根据公式(2)计算每个数据点在本属性的数据集中的紧密率rateDens(x_ij)，删除各个属性中所有紧密率大于紧密率阈值τ的稀疏数据点，得到数据集合X′，X′＝{x′₁,x′₂,x′₃,…,x′_M}。

(24)计算聚类中心

根据各个属性中每个数据点的密集度dens(x_ij)，选择密集度最小的数据点作为该属性的第一个聚类中心c_i1；选择距离c_i1最远的数据点作为第二个聚类中心c_i2；第m个聚类中心c_im是满足公式(3)条件的数据点，直至所有属性的聚类中心数量满足公式(4)条件。

(25)聚类划分

对数据集X根据各个属性数据集合中每个数据点与每个聚类中心的欧式距离D(x_ij,c_ik)划分聚类。数据点x_ij∈c_ik的聚类条件是：

D(x_ij,c_ik)＝min(D(x_ij,c_i1),D(x_ij,c_i2),…,D(x_ij,c_ik))

即将数据点x_ij划分到c_ik所代表的簇类，其中c_ik表示的第i个属性的第k个聚类中心。在形成的K个聚类中，重新计算数据点x_ij在本簇中的紧密率rateDens(x_ij)。

(26)构建异常数据集Anmo

设置异常因子AF，AF的初始值为0，若本簇中该数据点的紧密率大于紧密率阈值τ则将异常因子AF加1，设置异常因子阈值δ，若AF≥δ，则将该数据点的属性和数据点值加入异常数据集Anmo中并将其从数据集X中删除。

(27)计算聚类准则函数:

若不满足收敛条件|J-J′|≤ε，其中J′是上次迭代聚类准则判断函数，则重新计算各簇类中心，新聚类中心：

转到步骤(25)；否则算法结束，输出异常数据集Anmo。

将上述步骤(1)和(2)的故障检测方法建立成故障检测系统，如图3所示。

(3)多站融合多数据中心故障监控架构

如图4所示，数据中心中的每一台服务器中都包含故障检测系统，每台服务器中的故障检测系统将检测到的故障信息写入到各自的故障信息数据库，同时每隔固定的时间将从数据中心将某一时间间隔内故障信息汇报主数据中心。主数据中心设计有过滤器，过滤器会按照故障信息的重要等级进行过滤，将更高级的故障信息汇报给主数据中心的故障监控系统，同时将此来自各从数据中心过滤后的故障信息写入故障信息数据库中。主数据中心监控系统报告各从数据中心故障情况。

这里从数据中心是主动向主数据中心汇报故障信息的，并设计了过滤器，该目的是为了预防当各个从数据中心同时向主数据中心汇报故障情况时，主数据中心由于高并发量而奔溃的情况。

Claims (7)

1.一种多数据中心故障检测方法，其特征在于，包括如下步骤：

(1)收集和解析日志数据，用自然语言处理方法提取日志信息，将日志数据解析为结构化日志；

(2)分离每个应用程序的日志，建立每个应用程序的执行路径拓扑结构；

(3)建立日志键的故障预测模型，对日志键进行故障检测；

(4)建立日志参数数据集X，利用聚类算法对日志参数进行故障检测，X＝{x₁,x₂,x_i,…,x_M}，其中x_i是第i个属性日志参数的数据点集合，即第i个属性数据集，M是日志参数属性的总数；其中聚类算法在选择聚类中心时先根据数据紧密度剔除所述日志参数数据集X中的稀疏点，再从每个属性数据集中选择数据点作为聚类中心；

(5)输出故障警示信息，将故障信息写入故障信息数据库。

2.根据权利要求1所述的多数据中心故障检测方法，其特征在于，所述步骤(4)包括：

(41)根据所述执行路径拓扑结构建立同一日志记录的日志参数的集合，对所述集合进行数据处理形成日志参数数据集X；

(42)计算所述日志参数数据集X中每个数据点的紧密度和紧密率，设置紧密率阈值τ，剔除紧密率大于所述紧密率阈值τ的数据点；

(43)根据每个数据点的紧密度在每个属性数据集中选择聚类中心，聚类中心的总数为K个；

(44)根据每个数据点与每个聚类中心的欧氏距离划分聚类；

(45)根据每个数据点的紧密率检测异常数据点，将异常数据点移入异常数据集；

(46)计算聚类准则函数，若满足收敛条件则结束，输出异常数据集，否则转到步骤(44)。

3.根据权利要求2所述的多数据中心故障检测方法，其特征在于，所述紧密度的计算公式为：

其中n为日志参数数据集合x_i中的数据个数，x_ij和x_ik分别为x_i中的任意两个数据点，D(x_ij,x_ik)为x_ij和x_ik的欧氏距离。

4.根据权利要求2所述的多数据中心故障检测方法，其特征在于，所述紧密率的计算公式为：

其中

其中：

5.根据权利要求1所述的多数据中心故障检测方法，其特征在于，在步骤(4)中，所述选择聚类中心的方法为：在x_i中选择密集度最小的数据点为第一个聚类中心c_i1，选择择距离c_i1最远的数据点作为第二个聚类中心c_i2，再选择m个聚类中心满足下述公式：

x_ij:{x_ij|x_ij∈x′_i∧max{D(x_ij,c_i1),D(x_ij,c_i2),…,D(x_ij,c_im-1)}

直至所述日志参数数据集X中所有属性的聚类中心个数K满足下述公式

其中w_i为第i个属性的权重，c_ik为第i个属性的第k个聚类中心，

为第i个属性的聚类中心数量。

6.根据权利要求1所述的多数据中心故障检测方法，其特征在于，所述步骤(1)的结构化日志包括时间、应用程序ID、日志等级、日志键和日志参数。

7.根据权利要求1所述的多数据中心故障检测方法，其特征在于，所述步骤(3)为：根据所述执行路径拓扑结构确定应用程序执行时的最大分支数b，使用正确的日志数据训练日志键的故障预测模型，结合所述最大分支数b和所述故障预测模型的输出结果判断日志键是否异常。

Images