CN112149845A - 基于大数据和机器学习的智能运维方法 - Google Patents

Abstract

本发明属于智能运维技术领域，尤其涉及一种基于大数据和机器学习的智能运维方法。本发明提供提供一种基于大数据和机器学习的智能运维方法，将人工智能与IT运维进行有效的相结合，达到实现智能运维的目的，同时，通过关键性能指标的异常检测以及关键性能指标的故障分析，在减少人力、物力的情况下，确保了高速公路机电设备的正常运行和快速诊断维修，为高速公路的正常运行提供了保障。

Description

基于大数据和机器学习的智能运维方法

技术领域

本发明属于智能运维技术领域，尤其涉及一种基于大数据和机器学习的智能运维方法。

背景技术

随着科学技术的不断发展，各种机电设备广泛应用到高速公路管理中，并且呈现智能化。信息化、网络化发展趋势，极大地提高我国高速公路管理水平。但是高速公路机电系统具有较强的专业性，其技术管理水平要求较高，给高速公路机电管理系统的管理带来很大的难题。因此，在高速公路的管理过程中，加强机电系统的养护工作，不仅有助于延长机电系统的使用寿命，还有助于提高高速公路的管理水平。

因此，如何采用有效的架构统一化地实现远程运维中心的远程运维对高速自动化设备的运行维护、确保高速公路的正常运营具有重要意义。

发明内容

本发明针对上述的高速公路所使用的机电设备的运行维护所存在的技术问题，提出一种设计合理、方法简单且能够有效实现异常数据监测的基于大数据和机器学习的智能运维方法。

为了达到上述目的，本发明采用的技术方案为，本发明提供一种基于大数据和机器学习的智能运维方法，包括以下有效步骤：

a、首先通过运维监控工具获取机电设备的关键性能指标的历史数据；

b、以时间点为横坐标、以关键性能数据为纵坐标构件关键性能指标的线性图；

c、根据b步骤所得到的线性图，标记出关键性能指标中的正常数据部分和异常数据部分；

d、将筛选出来的正常数据部分作为特征信号，并对特征信号进行排列熵计算，使其作为异常数据部分的向量；

e、将排列熵计算的结果带入分类器内进行训练，得到机器学习模型；

f、将新产生的关键性能指标的数据导入到机器学习模型内，即可获知是否异常。

作为优选，还包括以下步骤：

g、将机电设备所有可能发生的故障的关键性能指标进行排列熵计算，形成故障特征向量；

h、将得到的故障特征向量高斯核支持向量机作为基础的训练模型内进行训练，得到机器学习模型；

i、将得到的异常关键性能指标的数据导入机器学习模型，获取故障原因。

作为优选，所述d步骤中，采用过采样和随机采样混合的方法对正常数据部分和异常数据部分进行不平衡处理。

作为优选，所述e步骤中，所述机器学习模型为BP神经网络模型。

与现有技术相比，本发明的优点和积极效果在于，

1、本发明提供提供一种基于大数据和机器学习的智能运维方法，将人工智能与IT运维进行有效的相结合，达到实现智能运维的目的，同时，通过关键性能指标的异常检测以及关键性能指标的故障分析，在减少人力、物力的情况下，确保了高速公路机电设备的正常运行和快速诊断维修，为高速公路的正常运行提供了保障。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。

实施例1，本实施例提供一种基于大数据和机器学习的高速公路机电设备的智能运维的方法

首先通过运维监控工具获取机电设备的关键性能指标的历史数据，由于高速公路上的机电设备有很多种，比如，收费系统、监控系统以及电力系统，而一些机电设备的故障难以精确的用数学模型对机电设备故障特性进行分析和揭示。然而，机电设备在运行过程中，受到故障的影响，其关键性能指标的动态输出会发生改变，因此，精确的关键性能指标可以直观的感受到机电设备运行状态的变化。为此，需要判断故障、分析故障，首先要获得机电设备的关键性能指标的历史数据。数据通过Zabbix监控工具进行采集即可。

然后，以时间点为横坐标、以关键性能数据为纵坐标构件关键性能指标的线性图，由于异常数据在此类线性图中，其数据会出现明显的不规律的抖动、突升、突降的情况，为此，构件此类线性图，能够很好的分辨出哪些数据是异常数据。

根据线性图，标记出关键性能指标中的正常数据部分和异常数据部分。由于在机电设备运行过程中正常的情况总是多于异常情况，属于数据不平衡的情景。用于分类的机器学习算法通常都假设训练集的数据样本中各种类的数目大致相等，即数据样本各类是平衡的。若用来训练的数据集不平衡程度严重的话，则得到分类器的分类结果往往会偏向于多数的一类，增大了少数类被分错的可能性。

为了达到两者数据平衡的目的，在本实施例是，采用SMOTE启发式过采样和随机采样的混合方式，来达到数据平衡的目的，启发式过采样的方式的原理是利用目前已拥有的信息合成新的属于当前少数类的样本，从而创造更多的信息，避免了依靠单纯复制样本造成的过拟合问题。比较经典的是采用SMOTE它的基本思路是在最邻近少数类样本之间进行线性插值，生成新样本，再将新合成的样本与原来的少数类样本合成新的少数类样本，最终实现数据均衡。随机欠采样的方式是通过多次随机采样从多数类样本中抽出数据并将其去除，

将剩余的多数样本与少数样本组成新的样本组合，该方法的一个弱点是虽然它减少多数类的规模后能使少数类样本特征凸显出来，但是随着样本被删除，可能导致重要信息的缺失，使分类能力变差。而采用SMOTE启发式过采样和随机采样的混合方式，则能够解决单一采样所存在的问题，达到数据平衡的目的。

将筛选出来的正常数据部分作为特征信号，并对特征信号进行排列熵计算，使其作为异常数据部分的向量。

排列熵通过基于相邻数据的对比，有效地回避了数据具体值带来的误差影响。考虑一个随机时间序列{xt,(t)＝1、2、3、4......N}，数据长度为N，通过对该时间序列进行m维相空间重构可以得到重构向量X(t)如下：

X(t)＝{xt,x(t+τ),...x(t+(m-1)τ)}

即：

X(1)＝{x(1),x(1+τ),...x(1+(m-1)τ)}

...

X(i)＝{x(i),x(i+τ),...x(t+(m-1)τ)}

...

X(N-(m-1)τ)＝{x(N-(m-1)τ),x(N-(m-2)τ),...x(N)}

其中，m为嵌入维数，τ为延迟时间。将每个X(t)中包含的m个样本点按升序排列，可得：

X(t)＝{x(t+(j₁-1)τ)}≤{x(t+(j₂-1)τ)}≤...≤{x(t+(j_m-1)τ)}

如果有x(t+(j₁-1)τ)＝x(t+(j₂-1)τ)，则此时他们的位置按照j_*值的大小重新排序。

也就是说j₁≤j₂，则x(t+(j₁-1)τ)≤x(t+(j₂-1)τ)。

结果，每一个时间序列X(t)都可以被映射为一组符合序列：

S(l)＝(j₁,j₂,....j_m)

其中，S(l)是m种不同符号排列中的一个，它被映射为具有m种符合的序列(j₁,j₂,....j_m)。用P₁,P₂,...P_k来代表每种富豪序列的概念分布，则时间序列{x(t),t＝1,2,....N}，具有m阶排列熵，可以被定义为k个符号序列的Shannon熵形式，

其中，系数1/ln(m！)这一项表示正则化系数，而0≤H_p/ln(m！)≤1。

排列熵主要度量时间序列的随机性，当排列熵越小，则时间序列越规则，而当排列熵越大则时间序列越趋于随机。

将排列熵计算的结果带入分类器内进行训练，得到机器学习模型，由于机电设备的复杂性，导致样本的多样性，为此，在本实施例中，机器学习模型选用BP神经网络模型。BP神经网络模型相对与其他机器学习模型，具有以下优点：1)BP神经网络模型相对于一般机器学习模型具有更强的表达能力，且在样本数足够的情况下神经网络可以利用大量的数据来避免过拟合的发生，其性能往往由于其它一般机器学习算法。在智能运维的场景下，关键性能数据容易利用历史监控获得，且利用工具可以快速打上标记，可提供足够的数据量。

2)BP神经网络拥有更好的容错性，由于运维人员在对关键性能数据打标记时由于是由经验判断和手工标记，不可避免会出现一些微小的失误，产生噪声数据。一些机器学习算法对噪声比较敏感，使噪声对结果的影响很大。然而BP神经网络在学习过程中对权重关系进行调节，反映的是样本全体的规律，个别样本的错误并不会对总体产生很大影响，对噪声有鲁棒性，适合本章的场景。

3)传统的机器学习模型在训练完成之后，如果还想继续提升性能的话，代价是要从零开始再训练一次模型。而BP神经网络模型在给定数据集下训练完成后，下次训练时可在原模型的基础上继续利用新的数据进行提升。在智能运维场景中，由于数据量大，若往后获得了新的数据，重新训练一次相当耗时，而BP神经网络模型则可以由运维工程师不断输入新的数据，提升性能。

4)当外界环境发生变化时，BP神经网络经过一定的训练和学习，能够自动调节网络的结构和参数，主动适应新的环境，这适合智能运维环境下的特点，当业务发生变化时，BP神经网络能够主动学习新的知识，适应新的业务情况。

然后，将新产生的关键性能指标的数据导入到机器学习模型内，即可获知是否异常。通过上述的设置，采集不同关键性能指标，从多个层面提取特征用于异常检测模型训练；通过采用SMOTE过采样与随机欠采样结合方法对数据进行平衡，通过排列熵的方式进行处理，选用BP神经网络作为异常检测训练模型，利用特征筛选实验减少冗余特征，提升模型的性能；在此基础上通过分析BP神经网络的缺陷，从优化权值初始化、优化梯度下降两个方面对算法进行了改进和实验分析，并应用于提出的集成关键性能指标异常检测模型中，进一步改善了模型性能。

将异常数据找出后，及时判断出错误的原因以及解决方案，将机电设备所有可能发生的故障的关键性能指标进行排列熵计算，形成故障特征向量。将得到的故障特征向量高斯核支持向量机作为基础的训练模型内进行训练，得到机器学习模型，将得到的异常关键性能指标的数据导入机器学习模型，获取故障原因。通过对故障的整理，有效实现故障的快速确定，进而对故障快速维修提供帮助。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (4)

1.一种基于大数据和机器学习的智能运维方法，其特征在于，包括以下有效步骤：

a、首先通过运维监控工具获取机电设备的关键性能指标的历史数据；

b、以时间点为横坐标、以关键性能数据为纵坐标构件关键性能指标的线性图；

c、根据b步骤所得到的线性图，标记出关键性能指标中的正常数据部分和异常数据部分；

d、将筛选出来的正常数据部分作为特征信号，并对特征信号进行排列熵计算，使其作为异常数据部分的向量；

e、将排列熵计算的结果带入分类器内进行训练，得到机器学习模型；

f、将新产生的关键性能指标的数据导入到机器学习模型内，即可获知是否异常。

2.根据权利要求1所述的基于大数据和机器学习的智能运维方法，其特征在于，还包括以下步骤：

g、将机电设备所有可能发生的故障的关键性能指标进行排列熵计算，形成故障特征向量；

h、将得到的故障特征向量高斯核支持向量机作为基础的训练模型内进行训练，得到机器学习模型；

i、将得到的异常关键性能指标的数据导入机器学习模型，获取故障原因。

3.根据权利要求2所述的基于大数据和机器学习的智能运维方法，其特征在于，所述d步骤中，采用过采样和随机采样混合的方法对正常数据部分和异常数据部分进行不平衡处理。

4.根据权利要求2所述的基于大数据和机器学习的智能运维方法，其特征在于，所述e步骤中，所述机器学习模型为BP神经网络模型。