CN109547251A - 一种基于监控数据的业务系统故障与性能预测方法 - Google Patents

Abstract

本方法提供一种基于监控数据的业务系统故障与性能预测方法，通过旁路监听的流量侦听方式采集用户操作行为数据，通过镜像端口从城域网交换机获取流量数据，流量数据传递给SDN服务器，利用SDN技术剥离MPLS多层协议后，再把用户操作行为数据传递给采集服务器；步骤S1完成后，对用户操作行为数据进行原始数据清洗和数据归类操作，实现用户操作行为数据的预处理与聚合；步骤S2完成后，对用户行为数据进行建模，实现故障和性能预测；通过数学模型预测用户使用情况，实现科学的预警判断。本发明能够事先预判网络拥堵和终端性能或故障，提前引导或帮助系统业务人员解决问题，提升业务系统用户体验和提升工作效率，减轻运维系统人员工作压力。

Description

一种基于监控数据的业务系统故障与性能预测方法

技术领域

本发明涉及网络监测技术领域，更具体地，涉及基于基于监控数据的业务系统故障与性能预测方法。

背景技术

地市业务系统使用人员在使用过程中，经常会遇到终端、浏览器以及网络等问题，这直接导致系统用户体验下降。由于地市业务系统使用人员众多，分布范围广，而系统运维人员较少，且集中办公，那么，在问题接连发生时很容易出现应接不暇的情形；如遇需要到现场处理的问题时，更是如此，且在问题的定位和处理的过程中，系统使用人员的工作是处于一种停止工作或使用体验不佳的状态中，这不仅对于运维人员来说是个困扰，对于业务系统使用人员的工作效率更是大打折扣，且容易造成工作积极性下降。

解决这个问题较为有效的方法是预测故障与性能的发生，构建故障与性能预测模型，使用采集到的大量业务系统用户交互数据和终端环境数据来进行训练，使其精准地预判故障与性能的发生，并将其扼杀在萌芽状态，从而防范于未然。

发明内容

本发明为基于监控数据的业务系统故障与性能预测方法，使用采集到的大量业务系统用户交互数据和终端环境数据来进行训练，使其精准地预判故障与性能的发生，并将其扼杀在萌芽状态，且能够事先预判网络拥堵和终端性能或故障，提前引导或帮助系统业务人员解决问题，提升业务系统用户体验和提升工作效率，减轻运维系统人员工作压力。

为解决上述技术问题，本发明采用的技术方案是：一种基于监控数据的业务系统故障与性能预测方法，其中，包括有以下步骤：

S1：通过旁路监听的流量侦听方式采集用户操作行为数据，通过镜像端口从城域网交换机获取流量数据，流量数据传递给SDN服务器，利用SDN技术剥离MPLS多层协议后，再把用户操作行为数据传递给采集服务器；

S2：步骤S1完成后，对用户操作行为数据进行原始数据清洗和数据归类操作，实现用户操作行为数据的预处理与聚合；

S3：步骤S2完成后，对用户行为数据进行建模，实现故障和性能预测；通过数学模型预测用户使用情况，实现科学的预警判断。

本发明中，首先通过旁路监听的流量侦听方式采集用户操作行为数据，通过镜像端口从城域网交换机获取流量数据，流量数据传递给SDN服务器，利用SDN技术剥离MPLS多层协议后，再把用户操作行为数据传递给采集服务器。完成上述过程后，对用户操作行为数据进行原始数据清洗和数据归类操作，实现用户操作行为数据的预处理与聚合，并对用户行为数据进行建模，实现故障和性能预测；通过数学模型预测用户使用情况，实现科学的预警判断。使用采集到的大量业务系统用户交互数据和终端环境数据来进行训练，使其精准地预判故障与性能的发生，并将其扼杀在萌芽状态，从而防范于未然。

在一个实施方式中，步骤S2中，原始数据清洗包括有以下步骤：

S21：进行缺失值处理，识别样本数据的完整性，若样本数据存在缺失值，进行步骤S22；

S22：进行回归插补；利用回归模型，将需要进行插值补缺的变量作为因变量，其他相关变量作为自变量，通过回归函数预测出因变量的值来对缺失值进行补缺。

在一个实施方式中，在步骤S2中，数据归类操作包括有以下步骤：

S23：基于R语言的boosting方法对数据进行分类，将boosting方法结合调整错分样本的权重，改进分类器使之成为强分类器，使后续分类器能够学习前轮分类器；

S24：在数据分类的训练集中会存在n个点，需要对其权重分别赋值Wj，在迭代过程中，根据每次迭代的分类结果，不断调整对应点的权重，若点分类是正确的，则调低其权值；否则，增加样例点的权值；

S25：迭代过程结束，算法将得到m个合适的模型，最终，通过对每棵决策树加权平均得到最后的预测结果，权值b由每棵决策树的分类质量决定。

在一个实施方式中，步骤S3中包括以下步骤：

在步骤S3中包括以下步骤：

S31：进行特征提取：在步骤S2对数据进行了预处理并聚合需要处理的数据，对预处理后的数据进行特征提取，特征包括用户登录时间、用户登录时段。

S32：步骤S31完成后，利用提取出的特征，采用决策树的方式构建预测模型。

优选地，在步骤S32中包括以下步骤：

S321：划分决策树的树状节点；将所有记录数据当做节点，遍历每个变量的分割方式，若分割方式对应的分割点可以将对应节点分为两类，则确定该分割点。

本发明与现有技术相比，具有以下特点：本方法能够事先预判网络拥堵和终端性能或故障，提前引导或帮助系统业务人员解决问题，提升业务系统用户体验和提升工作效率，减轻运维系统人员工作压力。

附图说明

图1是本发明实施例中方法流程示意图。

图2是本发明实施例中特征提取包含的特征信息示意图。

具体实施方式：

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

实施例：

如图1所示，本发明提供基于监控数据的业务系统故障与性能预测方法，包括有以下步骤：

S1：通过旁路监听的流量侦听方式采集用户操作行为数据，通过镜像端口从城域网交换机获取流量数据，流量数据传递给SDN服务器，利用SDN技术剥离MPLS多层协议后，再把用户操作行为数据传递给采集服务器；

S2：步骤S1完成后，对用户操作行为数据进行原始数据清洗和数据归类操作，实现用户操作行为数据的预处理与聚合；

S3：步骤S2完成后，对用户行为数据进行建模，实现故障和性能预测；通过数学模型预测用户使用情况，实现科学的预警判断。

在步骤S2中，所述原始数据清洗包括有以下步骤：

S21：进行缺失值处理；使用R语言的函数is.na()和complete.cases()识别样本数据的完整性，若样本数据存在缺失值，进行步骤S22；

S22：进行回归插补；利用回归模型，将需要进行插值补缺的变量作为因变量，其他相关变量作为自变量，通过回归函数lm()预测出因变量的值来对缺失值进行补缺。

在步骤S2中，所述数据归类操作包括有以下步骤：

S23：基于R语言的boosting方法对数据进行分类，将boosting方法结合调整错分样本的权重，改进分类器使之成为强分类器，使后续分类器能够学习前轮分类器；

S24：在数据分类的训练集中会存在n个点，需要对其权重分别赋值Wj，在迭代过程中，根据每次迭代的分类结果，不断调整对应点的权重，若点分类是正确的，则调低其权值；否则，增加样例点的权值；

S25：迭代过程结束，算法将得到m个合适的模型，最终，通过对每棵决策树加权平均得到最后的预测结果，权值b由每棵决策树的分类质量决定。

在步骤S3中包括以下步骤：

S31：进行特征提取：在步骤S2对数据进行了预处理并聚合需要处理的数据，对预处理后的数据进行特征提取，特征包括用户登录时间、用户登录时段，具体特征信息如图2所示。

在构建预测模型之前需要提取数据中有价值的指标数据，特征涵括了时间、错误、时延，这些特征内容主要取自页面的访问速度、页面访问错误、动态网络时间、静态网络时间等字段，实际地反应了用户在实际操作系统页面所看到的系统响应情况。

S32：步骤S31完成后，利用提取出的特征，采用决策树的方式构建预测模型。

在步骤S32中包括以下步骤：

S321：划分决策树的树状节点；将所有记录数据当做节点，遍历每个变量的分割方式，若分割方式对应的分割点可以将对应节点分为两类，则确定该分割点。

决策树的构建过程是一个递归的过程，所以需要确定足够“纯度”来停止条件，否则过程将不会结束。一种最直观的方式是当每个子节点只有一种类型的记录时就证明已足够“纯度”停止，但同时也会带来树的节点过多，所以需要裁剪(Prune Tree)枝叶。裁剪枝叶的策略对决策树正确率的影响很大，本实例中采用后置裁剪，决策树构建好后，然后才开始裁剪。采用两种方法：(1)用单一叶节点代替整个子树，叶节点的分类采用子树中最主要的分类；(2)将一个字数完全替代另外一颗子树。

本实施例中，使用Gini(基尼)公式：

Gini指数越小表示集合中被选中的样本被分错的概率越小，也就是说集合

的纯度越高，反之，集合越不纯。

公式说明:

(1)pk表示选中的样本属于k类别的概率，则这个样本被分错的概率是(1-pk)。

(2)样本集合中有K个类别，一个随机选中的样本可以属于这k个类别中的任意一个，因而对类别就加和；

当为二分类是，Gini(P)＝2p(1-p)。

本发明中，数据归类操作主要基于R语言的boosting方法对数据分类，通过调整各个样本所对应的权重来实现不同的训练集，在最开始时，每个样本所对应的权重是相同的，即其中n为样本个数，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突出出来，从而得到一个新的样本分布。在新的样本分布下，再次对弱分类器进行训练，得到弱分类器。依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加(boost)起来，得到最终想要的强分类器。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于监控数据的业务系统故障与性能预测方法，其特征在于，包括有以下步骤：

S1：通过旁路监听的流量侦听方式采集用户操作行为数据，通过镜像端口从城域网交换机获取流量数据，流量数据传递给SDN服务器，利用SDN技术剥离MPLS多层协议后，再把用户操作行为数据传递给采集服务器；

S2：步骤S1完成后，对用户操作行为数据进行原始数据清洗和数据归类操作，实现用户操作行为数据的预处理与聚合；

S3：步骤S2完成后，对用户行为数据进行建模，实现故障和性能预测；通过数学模型预测用户使用情况，实现科学的预警判断。

2.根据权利要求1所述的基于监控数据的业务系统故障与性能预测方法，其特征在于，在步骤S2中，所述原始数据清洗包括有以下步骤：

S21：进行缺失值处理；使用R语言的函数is.na()和complete.cases()识别样本数据的完整性，若样本数据存在缺失值，进行步骤S22；

S22：进行回归插补；利用回归模型，将需要进行插值补缺的变量作为因变量，其他相关变量作为自变量，通过回归函数lm()预测出因变量的值来对缺失值进行补缺。

3.根据权利要求2所述的基于监控数据的业务系统故障与性能预测方法，其特征在于，在步骤S2中，所述数据归类操作包括有以下步骤：

S23：基于R语言的boosting方法对数据进行分类，将boosting方法结合调整错分样本的权重，改进分类器使之成为强分类器，使后续分类器能够学习前轮分类器；

S24：在数据分类的训练集中会存在n个点，需要对其权重分别赋值Wj，在迭代过程中，根据每次迭代的分类结果，不断调整对应点的权重，若点分类是正确的，则调低其权值；否则，增加样例点的权值；

S25：迭代过程结束，算法将得到m个合适的模型，最终，通过对每棵决策树加权平均得到最后的预测结果，权值b由每棵决策树的分类质量决定。

4.根据权利要求3所述的基于监控数据的业务系统故障与性能预测方法，其特征在于，在步骤S3中包括以下步骤：

S31：进行特征提取：在步骤S2对数据进行了预处理并聚合需要处理的数据，对预处理后的数据进行特征提取，特征包括用户登录时间、用户登录时段。

S32：步骤S31完成后，利用提取出的特征，采用决策树的方式构建预测模型。

5.根据权利要求4所述的基于监控数据的业务系统故障与性能预测方法，其特征在于，在步骤S32中包括以下步骤：

S321：划分决策树的树状节点；将所有记录数据当做节点，遍历每个变量的分割方式，若分割方式对应的分割点可以将对应节点分为两类，则确定该分割点。