CN113392578A - 基于dcfm模型的设备故障预测方法 - Google Patents
基于dcfm模型的设备故障预测方法 Download PDFInfo
- Publication number
- CN113392578A CN113392578A CN202110544470.4A CN202110544470A CN113392578A CN 113392578 A CN113392578 A CN 113392578A CN 202110544470 A CN202110544470 A CN 202110544470A CN 113392578 A CN113392578 A CN 113392578A
- Authority
- CN
- China
- Prior art keywords
- model
- equipment
- dcfm
- layer
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/08—Probabilistic or stochastic CAD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于DCFM模型的设备故障预测方法,所述方法通过搭建一种能够充分探索设备高低阶特征信息的DCFM模型结构,从而实现设备信息更深层次、更全面的提取,提高设备故障预测模型的分类效果,同时该模型对设备的特征进行自动叉乘,可以在一定程度上弥补传统机器学习方法依赖特征工程的劣势。另外,DCFM模型的FM模块基于隐向量可以实现对稀疏数据的二阶特征参数进行细腻学习;FM和CrossNetwork模块的学习效率均为线性级别复杂度,在一定程度上提高了模型的训练速度,有利于模型的快速构建,相比较其他复杂的机器学习以及深度学习模型,DCFM模型可以满足设备部件在线预测对时间响应及准确度方面的需求。
Description
技术领域
本发明涉及数据挖掘和机电故障预测领域,具体涉及一种基于DCFM模型的设备故障预测方法。
背景技术
现有设备故障状态预测方法核心思路多数是基于信号处理或解析模型,在大规模的数据条件下这类模型不能够满足故障预测所需的实时性与准确性等;部分文献所公开的预测方案虽然涉及了机器学习,但是这些方案对设备的原始特征挖掘较为粗糙,仅使用原始特征进行训练难以达到满意的预测效果,且多数算法比较依赖人工设计特征。
LR(Logistic Regression)作为工业界常用的分类器,优势在于形式简单、具备较强的解释性、易于实现并行等,但是缺点是过于依赖特征工程,非线性学习能力弱。Poly2模型在一阶特征的基础上考虑了二阶组合特征,但是计算复杂度较大,对于稀疏数据的交叉特征项的权重不能得到充分学习,影响模型的预测效果。谷歌的Wide&Deep模型联合训练Wide部分和Deep部分,然而该模型的Wide部分也依赖特征工程。FFM(Field-awareFactorization Machines)则是在FM模型的基础上引入了特征域,使模型学习更为精细,但是带来的问题是模型计算复杂度增大,影响模型学习效率。DNN模型有着对高阶特征探索的优势,但是DNN忽略了低阶特征所携带的重要信息,也会影响预测效果。
发明内容
本发明提供的基于DCFM模型的设备故障预测方法,是通过搭建一种能够充分探索设备高低阶特征信息的网络结构,从而实现设备信息更深层次、更全面的提取,提高设备故障预测模型的分类效果,同时该模型对设备的特征进行自动叉乘,可以在一定程度上弥补传统机器学习方法依赖特征工程的劣势。另外,DCFM模型的FM模块基于隐向量可以实现对稀疏数据的二阶特征参数进行细腻学习;FM和Cross Network模块的学习效率均为线性级别复杂度,在一定程度上提高了模型的训练速度,有利于模型的快速构建,相比较其他复杂的机器学习以及深度学习模型,DCFM模型可以满足设备故障状态在线预测对时间响应及准确度方面的需求。
本发明的技术方案主要包括搭建DCFM网络模型并基于该模型实现设备故障预测。搭建DCFM网络模型主要包括如下步骤:
S1:加载设备样本数据并进行特征筛选。
通过特征选择中的嵌入方法进行特征筛选,嵌入方法使用XGBoost算法中的特征重要度分析;特征j的全局重要度通过本身在单颗树中重要度的平均值来衡量:
S2:将筛选后保留的重要特征进行编码,并组成嵌入堆叠层作为DCFM模型的输入。
S3:设计嵌入了Deep Network、FM、Cross Network三种模块的自动构造设备特征模型,定义并行关系的Deep Network、FM、Cross Network三种模块用于设备特征的自动构造与探索,该模型同时能够实现设备特征自动叉乘,简化了手工构造特征的流程。
S4:将设备特征输入至Deep Network模块中,对设备的隐式高阶特征信息进行提取。
Deep Network隐藏层节点之间为全连接关系,隐层数目与隐层节点数通过超参数设定,计算单元采用ReLU进行激活;经过多层计算单元的非线性变换,使Deep Network能够探索到设备的隐式高阶特征信息,该步骤利用Deep Network对探索高阶特征信息的优势,来挖掘设备特征中所蕴含的更深层次的信息。
S5:FM模块共享Deep Network模块的输入,用于二阶互异特征之间的交叉。
FM模块用于二阶设备特征的构造和一阶二阶设备特征的表达,具体过程为:使用xi表示i维设备特征,xixj表示第i维与第j维特征的交叉项,交叉特征对应的权重系数个数为n(n-1)/2个;在稀疏的数据场景下,同时满足交叉特征均不为0的情况稀少,这会导致特征交叉项对应的权重难以学习,因此引入辅助向量vi,vj,通过隐向量来有效解决稀疏的设备数据场景下权重系数难以学习的问题,也使FM对于低阶特征参数的学习更加细腻,同时优化模型学习效率。另一方面,FM模块能够使预测结果考虑一阶和二阶设备特征的作用,进而提升DCFM模型的通用性。
S6:Cross Network模块共享Deep Network、FM模块的输入,用于显示高阶设备特征间的交叉组合。
其中Xl+1表示Cross Network模块的第l+1层输出,即第l+1层设备特征向量,Xl表示Cross Network模块的第l层输出,即第l层设备特征向量;Wl为所要学习的权重参数,bl为偏置项,X0表示0层设备特征输出,表示l层设备特征输出的转置,f(·)表示拟合该层输出和上一层输出的残差。将Xl,X0设备特征向量做外积运算可以得到l+1阶设备特征的交叉组合,该模块特殊的网络结构能够穷举有限阶特征组合,避免了手工进行特征叉乘等繁琐流程,交叉特征阶数随着layer depth的增加而增加,且Cross Network模块为线性时间复杂度,有助于网络模型的快速搭建。
S7:在融合输出层,融合三种模块所共同探索的设备信息,生成连接向量。
融合输出层将Deep Network、Cross Network和FM三个模块的结果项进行融合,生成的连接向量蕴含了设备显式高低阶特征及隐式高阶特征信息,从而实现对设备状态更全面的探索。
S8:将连接向量输入到概率预测函数,计算设备状态故障的概率,将Sigmoid作为最外层概率预测函数,用来计算最终的故障概率结果。
S9:定义阈值,计算设备故障状态的预测结果,阈值r为0.5,大于r则判定预测结果为1,否则为0。
所述实现设备故障预测流程主要包括如下步骤:
(1)按照统一的模型输入对设备数据进行编码处理。
(2)将设备数据按4:1进行训练集和测试集的划分,训练集用于对DCFM模型进行拟合,测试集用来观察DCFM模型的拟合效果,模型评价指标为AUC与LogLoss。
(3)计算损失阶段,使用LogLoss作为模型的损失函数,用于计算输出值与目标值之间的误差。
(4)使用Adam对模型参数进行优化。
(5)评价指标LogLoss值不再发生剧烈变化时或训练次数达到最大迭代次数上限时,输出训练好的模型文件。
(6)加载保存的DCFM模型,将待预测的设备样本,输入到DCFM模型,得到设备故障分类的结果。
附图说明
图1为本发明的整体流程图;
图2为本发明中的DCFM模型结构图;
图3-1、3-2为本发明中的DCFM模型训练结果图。
具体实施方式
下面给出一个具体的实施例,结合实施例可以对本发明的技术方案和取得的效果获得更好的理解。
实施例所用数据集来自实验团队在2018年实施智能设备项目,表1展示了设备原始数据集中的16维特征,为降低特征冗余对模型训练效率的影响,使用XGBoost算法对原始设备特征进行筛选,保留了重要的10维特征,如表2所示,主要包括设备状态、功率、齿轮箱入口油温、齿轮箱油温、机舱温度、风速叶轮转速、偏航位置液压油温等。
表1.设备故障原始特征
表2.设备故障筛选后的特征与说明
表3展示了原始设备数据分布信息,处于正常运行状态的设备数据占有较大部分,使数据集中正常数据和故障数据存在一定的比例失衡,影响模型的学习。在“设备故障”变量的统计数据中,设备故障标注占27.9%,正常状态的标注占72.1%,设备的平均故障率约27.9%左右;本实例采用分层采样交叉切分对正常运行数据分层采样,保证训练集,测试集与原始数据集类别样本比例相同。
表3.原始数据分布信息
(1)数据处理阶段,根据模型统一输入标准进行无量纲化编码与嵌入编码,组成嵌入堆叠层。
(2)DCFM网络模型构建阶段,以嵌入堆叠层开始连接并行的Deep Network、CrossNetwork、FM模块,模块参数为DeepCTR提供的模块组件默认参数;用于实现对高低阶特征信息的提取和特征间的自动叉乘。
(3)模型训练阶段,使用Adam算法作为模型权重学习阶段的优化器,其中Adam优化器使用β1=0.9,β2=0.999,ε=10-8作为初始参数,learning rate为0.001;将训练集输入到模型中进行训练。
(4)故障预测阶段,将待预测的样本,输入到预测层,得到设备故障状态的结果。
训练过程使用AUC和LogLoss作为评价函数并通过可视化观察模型迭代效果;AUC值为ROC曲线所覆盖的区域面积,AUC越大,表示分类器分类效果越好;Logloss为交叉熵损失,用于计算输出值与目标值之间的误差;为直观展示模型效果,实验绘制了AUC与LogLoss曲线用于观察模型的训练效果。图3-1显示AUC指标的变化,在100轮迭代时,融合结构的性能已经超过了其他模型;图3-2显示,交叉熵损失随着epoch的增加不断减小,在100次迭代以后趋于平稳,融合结构的LogLoss值与deepfm的LogLoss值持平。
为了验证本发明的有效性,在云南真实设备场数据集上进行对比:实验对比训练了LR、FM、DeepFM、DCN、DNN五种不同类型模型,并将五种模型的评价指标记录在表4中。从表4可以看出,LR算法的AUC为0.8744,该算法仅使用了一阶设备特征进行分类,却达到了较好的分类效果。FM模型在一阶设备特征的基础上添加了设备二阶特征的权重,使FM模型的AUC提升了0.0016,这说明二阶设备特征对分类效果的提升具有积极作用。DNN模型则通过对隐式高阶设备特征的探索,最终在性能上远远超过了LR和FM模型,这也验证了高阶设备特征对故障预测结果的影响。DeepFM与DCN模型由于都考虑了高阶设备特征的作用,因此两类模型的性能优良。观察DCFM模型的两项指标可以发现,该模型性能优于其他单一结构和浅层模型,甚至超过了DeepFM与DCN网络,这是由于Cross Network虽然对显式高阶交叉特征参数的学习更为充分,但是对低阶特征参数的学习却较为粗糙,而FM模块基于隐向量则可以很好的对低阶特征进行学习补充,因此DNN、Cross Network模块在融合了FM的低阶特征后,使模型对特征的提取更为全面充分。最后在融合输出层同时融合了FM、DNN、Cross Network提取的设备状态信息,使得模型的分类性能得到进一步提升,也验证了该模型在设备状态预测方向的有效性。
表4.多模型的性能评估
本发明是一个泛化性极强的通用型结构,对于不同的核心设备部件均适用,且拥有良好的预测性能;同时,模型的运算能保持在线性时间复杂度级别,保证了模型在实际的设备状态预测场景中的可行性。
Claims (2)
1.基于DCFM模型的设备故障预测方法,包括构建DCFM模型并基于该模型实现设备故障状态的预测,其特征在于,所述DCFM模型的构建包括以下步骤:
S1:加载设备样本数据并进行特征筛选;
S2:将筛选后保留的特征数据进行编码,并组成嵌入堆叠层作为DCFM模型的输入;
S3:设计嵌入了Deep Network、FM、Cross Network三种模块的自动构造设备特征模块,定义并行关系的Deep Network、FM、Cross Network三种模块用于设备特征的自动构造与探索;
S4:将编码后的特征数据输入至Deep Network模块中,对设备隐式高阶特征信息进行提取;
S5:FM组件共享Deep Network模块的输入,用于设备二阶特征的构造和一阶设备二阶特征的表达,具体过程为:使用xi表示i维设备特征,xixj表示第i维与第j维特征的交叉项,交叉特征对应的权重系数个数为n(n-1)/2个;
S6:Cross Network模块共享Deep Network、FM模块的输入,用于显示高阶设备特征间的交叉组合,数学表达式为:其中:Xl+1表示CrossNetwork模块的第l+1层输出,即第l+1层设备特征向量,Xl表示Cross Network模块的第l层输出,即第l层设备特征向量;Wl为所要学习的权重参数,bl为偏置项,X0表示0层设备特征输出,表示l层设备特征输出的转置,f(·)表示拟合该层输出和上一层输出的残差;
S7:融合输出层将Deep Network、Cross Network和FM三个模块的结果项进行融合,生成连接向量;
S8:将连接向量输入到概率预测函数,计算设备状态故障的概率,将Sigmoid作为最外层概率预测函数,用来计算最终的故障概率结果;
S9:定义阈值,计算设备故障状态的预测结果,阈值r为0.5,大于r则判定预测结果为1,否则为0。
2.根据权利要求1所述的方法,其特征在于,所述设备故障的预测方法包括以下步骤:
(1)按照统一的模型输入对设备数据进行编码处理;
(2)将编码后的设备数据按4:1进行训练集和测试集的划分,训练集用于对DCFM模型进行拟合,测试集用来观察DCFM模型的拟合效果,模型评价指标为AUC与LogLoss;
(3)使用LogLoss作为模型的损失函数,用于计算输出值与目标值之间的误差;
(4)使用Adam对模型参数进行优化;
(5)当评价指标LogLoss的值不再发生剧烈变化或训练次数达到最大迭代次数上限时,输出训练好的模型文件;
(6)加载保存的DCFM模型,将待预测的设备样本数据,输入到DCFM模型,得到设备故障分类的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110544470.4A CN113392578A (zh) | 2021-05-19 | 2021-05-19 | 基于dcfm模型的设备故障预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110544470.4A CN113392578A (zh) | 2021-05-19 | 2021-05-19 | 基于dcfm模型的设备故障预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113392578A true CN113392578A (zh) | 2021-09-14 |
Family
ID=77617223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110544470.4A Pending CN113392578A (zh) | 2021-05-19 | 2021-05-19 | 基于dcfm模型的设备故障预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113392578A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915552A (zh) * | 2015-05-27 | 2015-09-16 | 百度在线网络技术(北京)有限公司 | 一种预测系统故障的方法及装置 |
CN107238507A (zh) * | 2017-06-20 | 2017-10-10 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的工业设备故障预测方法 |
CN110110905A (zh) * | 2019-04-17 | 2019-08-09 | 华电国际电力股份有限公司十里泉发电厂 | 一种基于cnn的电力设备故障判断预警方法,终端及可读存储介质 |
CN110443353A (zh) * | 2019-07-16 | 2019-11-12 | 天津大学 | 一种基于短连接的挖掘特征之间隐含关系的神经网络 |
CN110674857A (zh) * | 2019-09-15 | 2020-01-10 | 桂林电子科技大学 | 一种基于多尺度堆叠网络的广告点击分类方法 |
CN111859181A (zh) * | 2020-06-11 | 2020-10-30 | 北京百度网讯科技有限公司 | 跨区域的出行推荐方法、装置、电子设备及存储介质 |
CN112417028A (zh) * | 2020-11-26 | 2021-02-26 | 国电南瑞科技股份有限公司 | 一种风速时序特征挖掘方法及短期风电功率预测方法 |
-
2021
- 2021-05-19 CN CN202110544470.4A patent/CN113392578A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915552A (zh) * | 2015-05-27 | 2015-09-16 | 百度在线网络技术(北京)有限公司 | 一种预测系统故障的方法及装置 |
CN107238507A (zh) * | 2017-06-20 | 2017-10-10 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的工业设备故障预测方法 |
CN110110905A (zh) * | 2019-04-17 | 2019-08-09 | 华电国际电力股份有限公司十里泉发电厂 | 一种基于cnn的电力设备故障判断预警方法,终端及可读存储介质 |
CN110443353A (zh) * | 2019-07-16 | 2019-11-12 | 天津大学 | 一种基于短连接的挖掘特征之间隐含关系的神经网络 |
CN110674857A (zh) * | 2019-09-15 | 2020-01-10 | 桂林电子科技大学 | 一种基于多尺度堆叠网络的广告点击分类方法 |
CN111859181A (zh) * | 2020-06-11 | 2020-10-30 | 北京百度网讯科技有限公司 | 跨区域的出行推荐方法、装置、电子设备及存储介质 |
CN112417028A (zh) * | 2020-11-26 | 2021-02-26 | 国电南瑞科技股份有限公司 | 一种风速时序特征挖掘方法及短期风电功率预测方法 |
Non-Patent Citations (4)
Title |
---|
曹渝昆等: ""基于LSTM神经网络的风机齿轮带断裂故障预测"", 《测量与检测技术》 * |
赖训飞等: ""基于实体嵌入和长短时记忆网络的入侵检测方法"", 《中国科学院大学学报》 * |
郑洋: ""风力发电系统的故障诊断方法研究"", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
陈彬: ""基于深度学习的多Agent推荐方法研究"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271975A (zh) | 一种基于大数据多特征提取协同分类的电能质量扰动识别方法 | |
CN102750286B (zh) | 一种处理缺失数据的新型决策树分类器方法 | |
CN110929843A (zh) | 一种基于改进深度自编码网络的异常用电行为辨识方法 | |
CN111127146A (zh) | 基于卷积神经网络与降噪自编码器的信息推荐方法及系统 | |
CN111275640B (zh) | 一种融合二维离散小波变换和生成对抗网络的图像增强方法 | |
CN114707754A (zh) | 一种基于BiLSTM-CNN模型的智能电表故障预测方法及系统 | |
CN110674857A (zh) | 一种基于多尺度堆叠网络的广告点击分类方法 | |
CN116010900A (zh) | 基于自注意力机制的多尺度特征融合齿轮箱故障诊断方法 | |
CN109583588B (zh) | 一种短期风速预测方法及系统 | |
CN113361559A (zh) | 基于深宽度联合神经网络的多模态数据知识信息提取方法 | |
CN111753207A (zh) | 一种基于评论的神经图协同过滤模型 | |
CN113688869A (zh) | 一种基于生成对抗网络的光伏数据缺失重构方法 | |
CN114006370A (zh) | 一种电力系统暂态稳定分析评估方法及系统 | |
CN117237559A (zh) | 面向数字孪生城市的三维模型数据智能分析方法及系统 | |
Rijal et al. | Integrating Information Gain methods for Feature Selection in Distance Education Sentiment Analysis during Covid-19. | |
CN115272776B (zh) | 基于双路卷积与双注意的高光谱图像分类方法及存储介质 | |
CN113392578A (zh) | 基于dcfm模型的设备故障预测方法 | |
CN115169235A (zh) | 一种基于改进生成对抗网络的超表面单元结构逆设计方法 | |
Ping et al. | Data mining application in banking-customer relationship management | |
Ma et al. | A grey forecasting model based on BP neural network for crude oil production and consumption in China | |
CN108417204A (zh) | 基于大数据的信息安全处理方法 | |
Hu et al. | Data Customization-based Multiobjective Optimization Pruning Framework for Remote Sensing Scene Classification | |
CN112561599A (zh) | 一种融合域特征交互的基于注意力网络学习的点击率预测方法 | |
Chen et al. | Product configuration method based on ontology mapping | |
Bai et al. | Knowledge representation and acquisition approach based on decision tree |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210914 |
|
WD01 | Invention patent application deemed withdrawn after publication |