CN112884015A - 一种面向供水管网分区计量系统日志信息的故障预测方法 - Google Patents

Abstract

本发明属于数据管理技术领域，具体涉及一种面向供水管网分区计量系统日志信息的故障预测方法，包括下列步骤：对供水管网分区计量系统日志数据进行清洗，提取清洗后的所述日志数据；对供水管网分区计量系统日志数据特征提取，同时进行特征筛选；对样本集数据进行预测分类；对预测模型的性能进行评估。本发明数据筛选方式和日志数据特性建立故障预测模型，无论是对系统整体预测还是具体容器的故障预测，均有着不错的表现，基于SVM算法构建的故障预测模型其预测准确性、系统容错性、稳定性均优于其他算法模型。本发明用于对供水管网分区计量系统日志信息的故障预测。

Description

一种面向供水管网分区计量系统日志信息的故障预测方法

技术领域

本发明属于数据管理技术领域，具体涉及一种面向供水管网分区计量系统日志信息的故障预测方法。

背景技术

在供水管网分区计量系统微服务运行过程中会产生INFO,WARN,ERROR,FATAL四种级别日志。其中FATAL表示系统已经出现严重故障且难以自愈，如果不加人为控制任由其继续运行则会产生无法估量的后果，

故障预测是通过分析当前供水管网分区计量系统的状态，从而判断未来一段时间内系统是否产生故障，并有效地防止因系统故障带来的影响。根据其分析对象的变化，故障预测在实际应用中主要分为两类：基于供水管网分区计量系统的历史故障数据进行预测和基于当前计量系统运行参数进行预测。北京邮电大学的徐康明对微服务架构的服务发现和服务可靠性的研究，提出了改进的基于风险的差错恢复方案，用于在大量故障发生之前将风险服务进行移除，从而避免连续故障的发生。在微服务系统的故障预测方面的研究，国内外在基于系统日志进行微服务故障预测领域则少有涉足。

发明内容

针对上述的技术问题，本发明提供了一种预测准确性高、系统容错性高、稳定性强的面向供水管网分区计量系统日志信息的故障预测方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种面向供水管网分区计量系统日志信息的故障预测方法，包括下列步骤：

S1、对供水管网分区计量系统日志数据进行清洗，提取清洗后的所述日志数据，所述日志数据日志数据包括INFO、WARN、ERROR、FATAL四种级别日志；

S2、对供水管网分区计量系统日志数据特征提取，同时进行特征筛选；

S3、通过基于SVM网络模型对提取到的数据特征空间进行划分，同时采用SVM模型网络结构对其进行十折交叉训练，训练得到合适的w和b满足最大间隔划分超平面，从而实现对样本集数据进行预测分类；

S4、对预测模型的性能进行评估。

所述S1中对供水管网分区计量系统日志数据进行清洗的方法为：包括下列步骤：

S11、删除INFO级别日志；

S12、通过比对派生故障与Root故障之间的联系，将日志数据集中派生日志记录进行删除，进一步降低数据噪声干扰。

所述S2中，所述特征包括如下五类：

第一种特征类型：将最近时间段中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第二种特征类型：将观察时间段中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第三种特征类型：将样本时间间隔(ε)中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第四种特征类型：观察时间段内的具体容器日志记录以及互异日志故障级别事件信息的统计分布；

第五种特征类型：时间属性也是影响具体容器故障的重要因素，所以将时间作为一项特征，记为Time。

所述S2中进行特征筛选的方法为：包括下列步骤：

S21、通过信息增益评估准则对特征进行计算得出每一个特征的信息增益值；

S22、然后对结果中的相关系数排序；

S23、筛选相关系数大于门限值G的特征项；

S24、选取和筛选完特征后，将其作为预测算法数据输入并训练学习得到故障预测模型。

所述S3中对样本集数据进行预测分类的方法为：包括下列步骤：

S31、在故障预测分类问题中，对于给定输入数据和学习目标X＝{x₁,x₂,…x_n}和 Y＝{y₁,y₂,…y_n}，其中输入数据的每个样本都包括多个特征并由此构成的特征空间：X_i＝[x₁,x₂,…x_n]∈x，学习目标Y∈{-1，1}表示负类即系统故障和正类系统正常，则给定训练集表示为D＝{(x₁,y₁),(x₂,y₂),…,(x_m,y_m)}，y_i∈{-1,+1}，提取到的日志信息特征项作为输入数据向量项，其所在的特征空间存在局部边界的超平面：

w^TX+b＝0

超平面由w,b两个参数确定，其中w＝(w₁,w₂,w₃,…,w_d)为法向量，用于确定超平面方向， b为位移项，特征空间中任意点x到超平面(w,b)的距离为：

S32、所述超平面(w,b)对学习目标按正类和负类划分，使得任意样本的点到平面距离大于等于1：y_i(w^TX+b)≥1；

S33、通过满足超平面(w,b)对学习目标按正类和负类划分构造了两个超平面：

所有在超平面的上间隔边界的样本属于正类，在超平面的下间隔边界的样本属于负类；

S34、寻找最大间隔，将两个间隔边界的距离

定义为边界，位于间隔边界的正类和负类样本为支持向量；

S35、训练得到合适的w和b满足最大间隔划分超平面，使得两个间隔边界的距离d最大，即

其中s.t.y_i表示使得参数分类标签满足公式。

所述S4中对预测模型的性能进行评估的方法为：通过准确率、F1值、召回率R对预测模型的性能进行评估，其中，准确率、召回率R和F1值的定义及计算方式如下：

准确率表示预测结果中正确的百分比，其计算方式如下：

召回率R则表示在故障级别中被准确预测的百分比，其计算方式如下：

F1值是将准确率和召回率两者结合的测评值，其计算方式如下：

其中，TP为实际故障同时预测故障，FP为实际故障而预测非故障，FN实际非故障而预测故障，TN为实际非故障同时预测非故障，且样本总数＝TN+FN+TP+FP。

本发明与现有技术相比，具有的有益效果是：

本发明数据筛选方式和日志数据特性建立故障预测模型，无论是对系统整体预测还是具体容器的故障预测，均有着不错的表现，基于SVM算法构建的故障预测模型其预测准确性、系统容错性、稳定性均优于其他算法模型。

附图说明

图1为本发明的逻辑框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种面向供水管网分区计量系统日志信息的故障预测模型，包括以下步骤：

S1、对供水管网分区计量系统日志数据进行清洗，提取清洗后的所述日志数据，所述日志数据日志数据包括INFO、WARN、ERROR、FATAL四种级别日志；在收集到的供水管网分区计量系统日志数据信息中，其中有部分日志记录信息不全，如缺少返回内容长度，日志记录时间数值非法等情况，称为非法数据。这些非法数据会严重影响预测的准确性，所以在进行数据分析之前，首先将这部分错误数据进行清理。此外，将非法数据清理后的数据集中可能存在一定的冗余或其他的噪声信息，所以还要对计量系统的日志数据做筛选处理，主要对被认为是噪声数据的部分做筛选处理，以便更好地发现数据间的规律，保证预测模型预测的准确性。

在微服务架构中，容器节点与节点之间往往是级联调用，相互之间存在着一定的耦合性，当某个调用容器模块出现故障时，相关调用该故障容器的模块容器也会出现故障，前者称为 Root故障，后者称为派生故障，Root故障和派生故障常常发生在同一时间段范围内。

S2、对供水管网分区计量系统日志数据特征提取，同时进行特征筛选；特征筛选方案是首先通过信息增益评估准则对特征进行计算得出每一个特征的信息增益值，然后对结果中的相关系数排序，最后筛选相关系数大于门限值G的特征项。选取和筛选完特征后，可将其作为预测算法数据输入并训练学习得到故障预测模型。

S3、通过基于SVM网络模型对提取到的数据特征空间进行划分，采用SVM模型网络结构对其进行十折交叉训练，训练得到合适的w和b满足“最大间隔”划分超平面，从而实现对样本集数据进行预测分类；

S4、对预测模型的性能进行评估。

所述步骤S1中，包括如下步骤：

S11、删除INFO级别日志；

S12、通过比对派生故障与Root故障之间的联系，将日志数据集中派生日志记录进行删除，进一步降低数据噪声干扰。

进一步，步骤S2中，所述特征包括如下五类，

第一种特征类型：将最近时间段中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第二种特征类型：将观察时间段中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第三种特征类型：将样本时间间隔(ε)中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第四种特征类型：观察时间段内的具体容器日志记录以及互异日志故障级别事件信息的统计分布；

第五种特征类型：时间属性也是影响具体容器故障的重要因素，所以将时间作为一项特征，记为Time。

进一步，步骤S2中，包括如下步骤：

S21、通过信息增益评估准则对特征进行计算得出每一个特征的信息增益值，

S22、然后对结果中的相关系数排序，

S23、筛选相关系数大于门限值G的特征项；

S24、选取和筛选完特征后，将其作为预测算法数据输入并训练学习得到故障预测模型。

进一步，步骤S3中，包括如下步骤；

S31、提取到的日志信息特征项作为输入数据向量项，在故障预测分类问题中，对于给定输入数据和学习目标X＝{x₁,x₂,…x_n}，Y＝{y₁,y₂,…y_n}，其中输入数据的每个样本都包括多个特征并由此构成的特征空间：X_i＝[x₁,x₂,…x_n]∈χ，学习目标Y∈{-1，1}表示负类即系统故障和正类系统正常。则给定训练集可以表示为D＝{(x₁,y₁),(x₂,y₂),…,(x_m,y_m)}，y_i∈{-1,+1}。

提取到的日志信息特征项作为输入数据向量项，其所在的特征空间存在局部边界的超平面：

w^TX+b＝0

超平面主要由w,b两个参数确定。其中w＝(w₁；w₂；w₃；…；w_d)为法向量，用于确定超平面方向，b为位移项，则样本空间中任意点x到超平面(w,b)的距离为：

S32、先假设所给超平面(w,b)能够对学习目标按正类和负类划分，使得任意样本的点到平面距离大于等于1：y_i(w^TX+b)≥1。

S33、满足该条件的决策边界构造了两个超平面：

w^TX+b-1≥+1，ifyi＝+1和w^TX+b-1≤-1ify_i＝-1，令

S34、所有在上间隔边界的样本属于正类，在下间隔边界的样本属于负类。两个间隔边界的距离

被定义为边界，位于间隔边界的正类和负类样本为支持向量。显然，欲找到“最大间隔”的划分超平面，即是寻找公式中的约束w和b，使得d最大，即

S35、显然，为了最大化间隔，仅需使得||w||^-1最大化，等价于最小化||w||，于是公式可改写为

s.t.y_i(w^TX_i+b)≥1，i＝1，2，3，...m

利用供水管网分区计量系统中提取到的日志特征数据信息对SVM模型进行十折交叉训练，找到合适的w值使得间隔最大化。根据实际类别和预测类别组合可以划分为：TN、FN、 TP、FP，分别表示其对应的样本数，样本总数＝TN+FN+TP+FP，预测结果定义矩阵如下表所示：

进一步，步骤S4的具体方法为：通过准确率、F1值、召回率R对预测模型的性能进行评估，其中，准确率、召回率R和F1值的定义及计算方式如下：

准确率主要表示预测结果中正确的百分比，其计算方式如下：

召回率R则表示在故障级别中被准确预测的百分比，其计算方式如下：

F1值是将准确率和召回率两者结合的测评值，其计算方式如下：

上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向供水管网分区计量系统日志信息的故障预测方法，其特征在于：包括下列步骤：

S1、对供水管网分区计量系统日志数据进行清洗，提取清洗后的所述日志数据，所述日志数据日志数据包括INFO、WARN、ERROR、FATAL四种级别日志；

S2、对供水管网分区计量系统日志数据特征提取，同时进行特征筛选；

S3、通过基于SVM网络模型对提取到的数据特征空间进行划分，同时采用SVM模型网络结构对其进行十折交叉训练，训练得到合适的w和b满足最大间隔划分超平面，从而实现对样本集数据进行预测分类；

S4、对预测模型的性能进行评估。

2.根据权利要求1所述的一种面向供水管网分区计量系统日志信息的故障预测方法，其特征在于：所述S1中对供水管网分区计量系统日志数据进行清洗的方法为：包括下列步骤：

S11、删除INFO级别日志；

S12、通过比对派生故障与Root故障之间的联系，将日志数据集中派生日志记录进行删除，进一步降低数据噪声干扰。

3.根据权利要求1所述的一种面向供水管网分区计量系统日志信息的故障预测方法，其特征在于：所述S2中，所述特征包括如下五类：

第一种特征类型：将最近时间段中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第二种特征类型：将观察时间段中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第三种特征类型：将样本时间间隔(ε)中每个容器包含的不同故障级别的日志事件数量和每个容器中不同请求动作的日志事件数量作为特征项；

第四种特征类型：观察时间段内的具体容器日志记录以及互异日志故障级别事件信息的统计分布；

第五种特征类型：时间属性也是影响具体容器故障的重要因素，所以将时间作为一项特征，记为Time。

4.根据权利要求1所述的一种面向供水管网分区计量系统日志信息的故障预测方法，其特征在于：所述S2中进行特征筛选的方法为：包括下列步骤：

S21、通过信息增益评估准则对特征进行计算得出每一个特征的信息增益值；

S22、然后对结果中的相关系数排序；

S23、筛选相关系数大于门限值G的特征项；

S24、选取和筛选完特征后，将其作为预测算法数据输入并训练学习得到故障预测模型。

5.根据权利要求1所述的一种面向供水管网分区计量系统日志信息的故障预测方法，其特征在于：所述S3中对样本集数据进行预测分类的方法为：包括下列步骤：

S31、在故障预测分类问题中，对于给定输入数据和学习目标X＝{x₁,x₂,....x_n}和Y＝{y₁,y₂,....y_n}，其中输入数据的每个样本都包括多个特征并由此构成的特征空间：X_i＝[x₁,x₂,....x_n]∈x，学习目标Y∈{-1，1}表示负类即系统故障和正类系统正常，则给定训练集表示为D＝{(x₁,y₁),(x₂,y₂),…,(x_m,y_m)}，y_i∈{-1,+1}，提取到的日志信息特征项作为输入数据向量项，其所在的特征空间存在局部边界的超平面：

w^TX+b＝0

超平面由w,b两个参数确定，其中w＝(w₁,w₂,w₃,…,w_d)为法向量，用于确定超平面方向，b为位移项，特征空间中任意点x到超平面(w,b)的距离为：

S32、所述超平面(w,b)对学习目标按正类和负类划分，使得任意样本的点到平面距离大于等于1：y_i(w^TX+b)≥1；

S33、通过满足超平面(w,b)对学习目标按正类和负类划分构造了两个超平面：

所有在超平面的上间隔边界的样本属于正类，在超平面的下间隔边界的样本属于负类；

S34、寻找最大间隔，将两个间隔边界的距离

定义为边界，位于间隔边界的正类和负类样本为支持向量；

S35、训练得到合适的w和b满足最大间隔划分超平面，使得两个间隔边界的距离d最大，即

其中s.t.y_i表示使得参数分类标签满足公式。

6.根据权利要求1所述的一种面向供水管网分区计量系统日志信息的故障预测方法，其特征在于：所述S4中对预测模型的性能进行评估的方法为：通过准确率、F1值、召回率R对预测模型的性能进行评估，其中，准确率、召回率R和F1值的定义及计算方式如下：

准确率表示预测结果中正确的百分比，其计算方式如下：

召回率R则表示在故障级别中被准确预测的百分比，其计算方式如下：

F1值是将准确率和召回率两者结合的测评值，其计算方式如下：

其中，TP为实际故障同时预测故障，FP为实际故障而预测非故障，FN实际非故障而预测故障，TN为实际非故障同时预测非故障，且样本总数＝TN+FN+TP+FP。

Images