CN112149845A - 基于大数据和机器学习的智能运维方法 - Google Patents
基于大数据和机器学习的智能运维方法 Download PDFInfo
- Publication number
- CN112149845A CN112149845A CN202011009065.4A CN202011009065A CN112149845A CN 112149845 A CN112149845 A CN 112149845A CN 202011009065 A CN202011009065 A CN 202011009065A CN 112149845 A CN112149845 A CN 112149845A
- Authority
- CN
- China
- Prior art keywords
- machine learning
- data
- key performance
- maintenance
- intelligent operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明属于智能运维技术领域,尤其涉及一种基于大数据和机器学习的智能运维方法。本发明提供提供一种基于大数据和机器学习的智能运维方法,将人工智能与IT运维进行有效的相结合,达到实现智能运维的目的,同时,通过关键性能指标的异常检测以及关键性能指标的故障分析,在减少人力、物力的情况下,确保了高速公路机电设备的正常运行和快速诊断维修,为高速公路的正常运行提供了保障。
Description
技术领域
本发明属于智能运维技术领域,尤其涉及一种基于大数据和机器学习的智能运维方法。
背景技术
随着科学技术的不断发展,各种机电设备广泛应用到高速公路管理中,并且呈现智能化。信息化、网络化发展趋势,极大地提高我国高速公路管理水平。但是高速公路机电系统具有较强的专业性,其技术管理水平要求较高,给高速公路机电管理系统的管理带来很大的难题。因此,在高速公路的管理过程中,加强机电系统的养护工作,不仅有助于延长机电系统的使用寿命,还有助于提高高速公路的管理水平。
因此,如何采用有效的架构统一化地实现远程运维中心的远程运维对高速自动化设备的运行维护、确保高速公路的正常运营具有重要意义。
发明内容
本发明针对上述的高速公路所使用的机电设备的运行维护所存在的技术问题,提出一种设计合理、方法简单且能够有效实现异常数据监测的基于大数据和机器学习的智能运维方法。
为了达到上述目的,本发明采用的技术方案为,本发明提供一种基于大数据和机器学习的智能运维方法,包括以下有效步骤:
a、首先通过运维监控工具获取机电设备的关键性能指标的历史数据;
b、以时间点为横坐标、以关键性能数据为纵坐标构件关键性能指标的线性图;
c、根据b步骤所得到的线性图,标记出关键性能指标中的正常数据部分和异常数据部分;
d、将筛选出来的正常数据部分作为特征信号,并对特征信号进行排列熵计算,使其作为异常数据部分的向量;
e、将排列熵计算的结果带入分类器内进行训练,得到机器学习模型;
f、将新产生的关键性能指标的数据导入到机器学习模型内,即可获知是否异常。
作为优选,还包括以下步骤:
g、将机电设备所有可能发生的故障的关键性能指标进行排列熵计算,形成故障特征向量;
h、将得到的故障特征向量高斯核支持向量机作为基础的训练模型内进行训练,得到机器学习模型;
i、将得到的异常关键性能指标的数据导入机器学习模型,获取故障原因。
作为优选,所述d步骤中,采用过采样和随机采样混合的方法对正常数据部分和异常数据部分进行不平衡处理。
作为优选,所述e步骤中,所述机器学习模型为BP神经网络模型。
与现有技术相比,本发明的优点和积极效果在于,
1、本发明提供提供一种基于大数据和机器学习的智能运维方法,将人工智能与IT运维进行有效的相结合,达到实现智能运维的目的,同时,通过关键性能指标的异常检测以及关键性能指标的故障分析,在减少人力、物力的情况下,确保了高速公路机电设备的正常运行和快速诊断维修,为高速公路的正常运行提供了保障。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合实施例对本发明做进一步说明。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开说明书的具体实施例的限制。
实施例1,本实施例提供一种基于大数据和机器学习的高速公路机电设备的智能运维的方法
首先通过运维监控工具获取机电设备的关键性能指标的历史数据,由于高速公路上的机电设备有很多种,比如,收费系统、监控系统以及电力系统,而一些机电设备的故障难以精确的用数学模型对机电设备故障特性进行分析和揭示。然而,机电设备在运行过程中,受到故障的影响,其关键性能指标的动态输出会发生改变,因此,精确的关键性能指标可以直观的感受到机电设备运行状态的变化。为此,需要判断故障、分析故障,首先要获得机电设备的关键性能指标的历史数据。数据通过Zabbix监控工具进行采集即可。
然后,以时间点为横坐标、以关键性能数据为纵坐标构件关键性能指标的线性图,由于异常数据在此类线性图中,其数据会出现明显的不规律的抖动、突升、突降的情况,为此,构件此类线性图,能够很好的分辨出哪些数据是异常数据。
根据线性图,标记出关键性能指标中的正常数据部分和异常数据部分。由于在机电设备运行过程中正常的情况总是多于异常情况,属于数据不平衡的情景。用于分类的机器学习算法通常都假设训练集的数据样本中各种类的数目大致相等,即数据样本各类是平衡的。若用来训练的数据集不平衡程度严重的话,则得到分类器的分类结果往往会偏向于多数的一类,增大了少数类被分错的可能性。
为了达到两者数据平衡的目的,在本实施例是,采用SMOTE启发式过采样和随机采样的混合方式,来达到数据平衡的目的,启发式过采样的方式的原理是利用目前已拥有的信息合成新的属于当前少数类的样本,从而创造更多的信息,避免了依靠单纯复制样本造成的过拟合问题。比较经典的是采用SMOTE它的基本思路是在最邻近少数类样本之间进行线性插值,生成新样本,再将新合成的样本与原来的少数类样本合成新的少数类样本,最终实现数据均衡。随机欠采样的方式是通过多次随机采样从多数类样本中抽出数据并将其去除,
将剩余的多数样本与少数样本组成新的样本组合,该方法的一个弱点是虽然它减少多数类的规模后能使少数类样本特征凸显出来,但是随着样本被删除,可能导致重要信息的缺失,使分类能力变差。而采用SMOTE启发式过采样和随机采样的混合方式,则能够解决单一采样所存在的问题,达到数据平衡的目的。
将筛选出来的正常数据部分作为特征信号,并对特征信号进行排列熵计算,使其作为异常数据部分的向量。
排列熵通过基于相邻数据的对比,有效地回避了数据具体值带来的误差影响。考虑一个随机时间序列{xt,(t)=1、2、3、4......N},数据长度为N,通过对该时间序列进行m维相空间重构可以得到重构向量X(t)如下:
X(t)={xt,x(t+τ),...x(t+(m-1)τ)}
即:
X(1)={x(1),x(1+τ),...x(1+(m-1)τ)}
...
X(i)={x(i),x(i+τ),...x(t+(m-1)τ)}
...
X(N-(m-1)τ)={x(N-(m-1)τ),x(N-(m-2)τ),...x(N)}
其中,m为嵌入维数,τ为延迟时间。将每个X(t)中包含的m个样本点按升序排列,可得:
X(t)={x(t+(j1-1)τ)}≤{x(t+(j2-1)τ)}≤...≤{x(t+(jm-1)τ)}
如果有x(t+(j1-1)τ)=x(t+(j2-1)τ),则此时他们的位置按照j*值的大小重新排序。
也就是说j1≤j2,则x(t+(j1-1)τ)≤x(t+(j2-1)τ)。
结果,每一个时间序列X(t)都可以被映射为一组符合序列:
S(l)=(j1,j2,....jm)
其中,S(l)是m种不同符号排列中的一个,它被映射为具有m种符合的序列(j1,j2,....jm)。用P1,P2,...Pk来代表每种富豪序列的概念分布,则时间序列{x(t),t=1,2,....N},具有m阶排列熵,可以被定义为k个符号序列的Shannon熵形式,
其中,系数1/ln(m!)这一项表示正则化系数,而0≤Hp/ln(m!)≤1。
排列熵主要度量时间序列的随机性,当排列熵越小,则时间序列越规则,而当排列熵越大则时间序列越趋于随机。
将排列熵计算的结果带入分类器内进行训练,得到机器学习模型,由于机电设备的复杂性,导致样本的多样性,为此,在本实施例中,机器学习模型选用BP神经网络模型。BP神经网络模型相对与其他机器学习模型,具有以下优点:1)BP神经网络模型相对于一般机器学习模型具有更强的表达能力,且在样本数足够的情况下神经网络可以利用大量的数据来避免过拟合的发生,其性能往往由于其它一般机器学习算法。在智能运维的场景下,关键性能数据容易利用历史监控获得,且利用工具可以快速打上标记,可提供足够的数据量。
2)BP神经网络拥有更好的容错性,由于运维人员在对关键性能数据打标记时由于是由经验判断和手工标记,不可避免会出现一些微小的失误,产生噪声数据。一些机器学习算法对噪声比较敏感,使噪声对结果的影响很大。然而BP神经网络在学习过程中对权重关系进行调节,反映的是样本全体的规律,个别样本的错误并不会对总体产生很大影响,对噪声有鲁棒性,适合本章的场景。
3)传统的机器学习模型在训练完成之后,如果还想继续提升性能的话,代价是要从零开始再训练一次模型。而BP神经网络模型在给定数据集下训练完成后,下次训练时可在原模型的基础上继续利用新的数据进行提升。在智能运维场景中,由于数据量大,若往后获得了新的数据,重新训练一次相当耗时,而BP神经网络模型则可以由运维工程师不断输入新的数据,提升性能。
4)当外界环境发生变化时,BP神经网络经过一定的训练和学习,能够自动调节网络的结构和参数,主动适应新的环境,这适合智能运维环境下的特点,当业务发生变化时,BP神经网络能够主动学习新的知识,适应新的业务情况。
然后,将新产生的关键性能指标的数据导入到机器学习模型内,即可获知是否异常。通过上述的设置,采集不同关键性能指标,从多个层面提取特征用于异常检测模型训练;通过采用SMOTE过采样与随机欠采样结合方法对数据进行平衡,通过排列熵的方式进行处理,选用BP神经网络作为异常检测训练模型,利用特征筛选实验减少冗余特征,提升模型的性能;在此基础上通过分析BP神经网络的缺陷,从优化权值初始化、优化梯度下降两个方面对算法进行了改进和实验分析,并应用于提出的集成关键性能指标异常检测模型中,进一步改善了模型性能。
将异常数据找出后,及时判断出错误的原因以及解决方案,将机电设备所有可能发生的故障的关键性能指标进行排列熵计算,形成故障特征向量。将得到的故障特征向量高斯核支持向量机作为基础的训练模型内进行训练,得到机器学习模型,将得到的异常关键性能指标的数据导入机器学习模型,获取故障原因。通过对故障的整理,有效实现故障的快速确定,进而对故障快速维修提供帮助。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (4)
1.一种基于大数据和机器学习的智能运维方法,其特征在于,包括以下有效步骤:
a、首先通过运维监控工具获取机电设备的关键性能指标的历史数据;
b、以时间点为横坐标、以关键性能数据为纵坐标构件关键性能指标的线性图;
c、根据b步骤所得到的线性图,标记出关键性能指标中的正常数据部分和异常数据部分;
d、将筛选出来的正常数据部分作为特征信号,并对特征信号进行排列熵计算,使其作为异常数据部分的向量;
e、将排列熵计算的结果带入分类器内进行训练,得到机器学习模型;
f、将新产生的关键性能指标的数据导入到机器学习模型内,即可获知是否异常。
2.根据权利要求1所述的基于大数据和机器学习的智能运维方法,其特征在于,还包括以下步骤:
g、将机电设备所有可能发生的故障的关键性能指标进行排列熵计算,形成故障特征向量;
h、将得到的故障特征向量高斯核支持向量机作为基础的训练模型内进行训练,得到机器学习模型;
i、将得到的异常关键性能指标的数据导入机器学习模型,获取故障原因。
3.根据权利要求2所述的基于大数据和机器学习的智能运维方法,其特征在于,所述d步骤中,采用过采样和随机采样混合的方法对正常数据部分和异常数据部分进行不平衡处理。
4.根据权利要求2所述的基于大数据和机器学习的智能运维方法,其特征在于,所述e步骤中,所述机器学习模型为BP神经网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011009065.4A CN112149845A (zh) | 2020-09-23 | 2020-09-23 | 基于大数据和机器学习的智能运维方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011009065.4A CN112149845A (zh) | 2020-09-23 | 2020-09-23 | 基于大数据和机器学习的智能运维方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112149845A true CN112149845A (zh) | 2020-12-29 |
Family
ID=73897859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011009065.4A Pending CN112149845A (zh) | 2020-09-23 | 2020-09-23 | 基于大数据和机器学习的智能运维方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112149845A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114462897A (zh) * | 2022-04-12 | 2022-05-10 | 广东利通科技投资有限公司 | 高速公路机电系统综合性能评估方法、装置及存储介质 |
CN114723072A (zh) * | 2022-05-05 | 2022-07-08 | 中国电信股份有限公司 | Exporter组合方法、系统、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109165242A (zh) * | 2018-08-01 | 2019-01-08 | 西安西热电站信息技术有限公司 | 一种基于熵排序与时空分析的故障诊断及预警方法 |
CN109583386A (zh) * | 2018-11-30 | 2019-04-05 | 中南大学 | 一种智能旋转机械故障深度网络特征辨识方法 |
CN109916628A (zh) * | 2019-04-04 | 2019-06-21 | 哈尔滨理工大学 | 基于改进多尺度幅值感知排列熵的滚动轴承故障诊断方法 |
CN111290913A (zh) * | 2020-02-04 | 2020-06-16 | 复旦大学 | 一种基于运维数据预测的故障定位可视化系统和方法 |
US20200202221A1 (en) * | 2018-12-20 | 2020-06-25 | Shandong University Of Science And Technology | Fault detection method and system based on generative adversarial network and computer program |
-
2020
- 2020-09-23 CN CN202011009065.4A patent/CN112149845A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109165242A (zh) * | 2018-08-01 | 2019-01-08 | 西安西热电站信息技术有限公司 | 一种基于熵排序与时空分析的故障诊断及预警方法 |
CN109583386A (zh) * | 2018-11-30 | 2019-04-05 | 中南大学 | 一种智能旋转机械故障深度网络特征辨识方法 |
US20200202221A1 (en) * | 2018-12-20 | 2020-06-25 | Shandong University Of Science And Technology | Fault detection method and system based on generative adversarial network and computer program |
CN109916628A (zh) * | 2019-04-04 | 2019-06-21 | 哈尔滨理工大学 | 基于改进多尺度幅值感知排列熵的滚动轴承故障诊断方法 |
CN111290913A (zh) * | 2020-02-04 | 2020-06-16 | 复旦大学 | 一种基于运维数据预测的故障定位可视化系统和方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114462897A (zh) * | 2022-04-12 | 2022-05-10 | 广东利通科技投资有限公司 | 高速公路机电系统综合性能评估方法、装置及存储介质 |
CN114723072A (zh) * | 2022-05-05 | 2022-07-08 | 中国电信股份有限公司 | Exporter组合方法、系统、设备及存储介质 |
CN114723072B (zh) * | 2022-05-05 | 2023-10-03 | 中国电信股份有限公司 | Exporter组合方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110361176B (zh) | 一种基于多任务特征共享神经网络的智能故障诊断方法 | |
CN106124212B (zh) | 基于稀疏编码器和支持向量机的滚动轴承故障诊断方法 | |
CN110516305B (zh) | 基于注意机制元学习模型的小样本下故障智能诊断方法 | |
CN111695209A (zh) | 元深度学习驱动的旋转机械小样本健康评估方法 | |
CN110162018A (zh) | 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法 | |
Bessam et al. | Wavelet transform and neural network techniques for inter-turn short circuit diagnosis and location in induction motor | |
CN111783442A (zh) | 入侵检测方法、设备和服务器、存储介质 | |
CN112149845A (zh) | 基于大数据和机器学习的智能运维方法 | |
CN102736027A (zh) | 一种基于断路器动特性测试仪的断路器故障诊断方法 | |
CN116451150A (zh) | 一种基于半监督小样本的设备故障诊断方法 | |
CN114548199A (zh) | 一种基于深度迁移网络的多传感器数据融合方法 | |
CN111444233B (zh) | 基于复制器神经网络模型发现环境监测异常数据的方法 | |
CN112926620A (zh) | 一种变压器套管局部放电的缺陷类型识别方法及系统 | |
CN115329663A (zh) | 处理电力负荷监测稀疏数据的关键特征选择方法和装置 | |
CN115563464A (zh) | 一种基于量子卷积神经网络的核阀门异常状态识别方法 | |
CN115481657A (zh) | 一种基于电信号的风力发电机组通信滑环故障诊断方法 | |
CN113326873B (zh) | 一种基于数据增强的电力设备分合闸状态自动分类方法 | |
CN114397569A (zh) | 基于vmd参数优化、样本熵的断路器故障电弧检测方法 | |
Stetco et al. | Wind Turbine operational state prediction: Towards featureless, end-to-end predictive maintenance | |
CN117527391A (zh) | 基于注意力机制和一维卷积神经网络的加密流量分类方法 | |
Lu et al. | An imbalanced sample intelligent fault diagnosis method using data enhancement and improved broad learning system | |
CN115356599A (zh) | 一种多模态城市电网故障诊断方法及系统 | |
CN115564709A (zh) | 一种对抗场景下电力算法模型鲁棒性的评估方法和系统 | |
CN111985408B (zh) | 一种瓷支柱绝缘子故障识别方法及装置 | |
CN115545111A (zh) | 一种基于聚类自适应混合采样的网络入侵检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201229 |
|
RJ01 | Rejection of invention patent application after publication |