CN109034368B - 一种基于dnn的复杂设备多重故障诊断方法 - Google Patents

Abstract

本发明提供一种基于DNN的复杂设备多重故障诊断方法，步骤如下：1、采集设备的多重故障日志，统计并汇总故障信息；2、依靠专家知识定位多重故障的根源；3、按照时间特征整合日志信息，得到时序数据集；4、预处理时序数据集；5、对数据集进行数值量化；使用词嵌入作为DNN的首层网络；在网络层后添加Dropout；6、建立LSTM网络层；7、建立MLP网络层；8、设置DNN的学习参数；9、划分数据集；10、使用划分的数据集对DNN进行学习和测试；本发明对多重故障日志进行处理，得到时序数据集；建立包含词嵌入网络层、LSTM网络层以及MLP网络层的DNN模型；划分数据集后，利用批量训练数据集和验证数据集对DNN进行学习，并采用测试数据集评估DNN识别根源故障的准确性。

Description

一种基于DNN的复杂设备多重故障诊断方法

技术领域

本发明提供一种基于DNN的复杂设备多重故障诊断方法，它涉及一种基于DNN的复杂设备多重故障诊断方法的实现，属于复杂设备可靠性、复杂设备故障诊断领域。

背景技术

随着工业技术的快速发展，现代设备的功能越来越强大，其规模与复杂度也随之增加，设备故障或安全隐患若不能及时诊断并得到有效处理将导致灾难性后果。通常，复杂设备由大量部件组成，这些部件在运行过程中存在着复杂、繁多的耦合关系，单一或少数部件发生的故障，会通过部件之间的耦合关系进行传播，产生连锁效应并演变为大范围的故障，最终造成系统整体崩溃。在这种情况下，工作人员要在短时间内处理众多故障信息并准确地判断出故障根源是极其困难的，如何快速定位故障并加以消除，从而恢复设备的正常运行，是目前故障诊断领域的一个关键问题。本发明提出了一种基于深度神经网络(DeepNeural Network，简称DNN)的复杂设备多重故障诊断方法，该方法首先使用数据预处理技术剔除多重故障时序数据中的无效信息。其次采用神经语言网络模型对时序文本进行数值量化，获得故障案例的时序向量。再次运用长短期记忆(Long-Short Term Memory，简称LSTM)神经网络对多重故障时序向量进行学习并获取多重故障的时间特征序列。最后利用全连接的多层感知器(Multi-layerPerceptron，简称MLP)神经网络对时间特征序列进行学习，获得能够根据故障时序信息识别设备多重故障根源的DNN模型。

该方法基于DNN技术，融合故障分析与故障处理等相关理论、方法和技术进行实现，在提高复杂设备维护性的同时，达到提高复杂设备可靠性、安全性以及可用性的目的。

发明内容

(一)本发明目的

目前，基于机器学习的故障诊断方法尽管能够精确地识别复杂设备的单一和多个独立故障，但却不能有效识别引发设备多重故障的根源故障，无法满足安全苛求系统的高可靠需求。因此，本发明将克服现有技术的不足，提供一种基于DNN的复杂设备多重故障诊断方法。该方法使用词嵌入网络将多重故障案例文本转换为时序向量。利用时序向量数据对LSTM网络进行有监督学习，得到能够识别多重故障时间特征的中间网络层。并在LSTM中间层输出的多重故障时间特征数据的基础上，采用MLP网络进行有监督学习，最后通过基于梯度的优化算法完成整体DNN的参数调节与构建。学习得到的DNN网络在输入设备的多重故障症状信息后，能有效地识别造成这一多重连锁故障的根源故障，用于设备的故障诊断与预测。这一方法构建得到的DNN模型能对复杂设备的多重故障的根源进行有效识别和定位，为故障诊断领域提供了一种新的解决方法，并对现有的故障识别方法进行了创新。

(二)技术方案

本发明一种基于DNN的复杂设备多重故障诊断方法，其步骤如下：

步骤1、采集记录设备多重故障的日志文件，统计并汇总设备故障发生的位置、类型、表现症状；

步骤2、依靠专家知识对多重故障的根源故障进行定位，得到各日志记录的多重故障所对应的根源故障；

步骤3、对日志文件记录的多重故障信息按照时间特征进行整合，得到多重故障时序数据集；

步骤4、对多重故障时序数据集的样本进行预处理，获得格式统一的时序数据集；

步骤5、对预处理后的时序文本数据集进行数值量化；使用词嵌入网络层作为DNN的首层网络用于生成时间序列的特征向量数据；在词嵌入网络层后添加Dropout网络层，减轻DNN的过拟合问题；

步骤6、建立LSTM网络中间层并对LSTM的参数进行设置；

步骤7、建立MLP网络层并对MLP的参数进行设置，以完成DNN整体结构的构建；

步骤8、对DNN的学习过程参数进行设置；

步骤9、采用训练、验证、测试三分法对特征向量数据集进行划分；

步骤10、使用划分好的数据集对DNN进行学习和测试，得到用于多重故障根源识别的诊断模型。

其中，在步骤1中所述的“日志文件”，是指由自然语言构成的文本数据，它记录的设备运行信息属于半结构化文本信息，具体包括记录日期、记录时间、系统时间戳以及对应的记录语句。

其中，在步骤2中所述的“专家知识”，是指通过专家对设备故障的知识积累，建立的大量推理规则。

其中，在步骤2中所述的“依靠专家知识对多重故障的根源故障进行定位，得到各日志记录的多重故障所对应的根源故障”，其做法如下：将多重故障所表现的症状与建立的专家推理规则进行匹配，若故障症状信息与规则的匹配度高，则说明推理成功，推理的结论可用于确定多重故障所对应的根源故障类型；若故障症状信息与规则的匹配度低，则说明推理失败，需要把多重故障信息反馈至设备生产厂家，厂家确认后给出最终的诊断信息，从而获得多重故障所对应的根源故障类型。

其中，在步骤3中所述的“对日志文件记录的多重故障信息按照时间特征进行整合”，其作法如下：

步骤3.1：设第i个(i＝1，…，N)日志记录的第j个关联故障对应的故障描述信息文本为(t_i，j，x_i，j)，其中，t_i，j是第i个日志记录的第j个关联故障的发生时间，x_i，j是第i个日志记录的第j个关联故障症状的描述信息，N是日志的个数；

步骤3.2：按照t_i，j(i＝₁，…，N)的先后顺序对第i个日志的关联故障进行排序，得到新的多重故障时序文本x′_i，进一步得到所有日志的文本集合X＝{x′_i|i＝1，…，N}；

步骤3.3：统计根源故障的种类和数目，并按照数目由大到小排序，得到标签集合Y＝{y_i|i＝1，…，K}，其中，y_i是根源故障类型的描述，K是根源故障的种类；

步骤3.4：对集合X中各多重故障时序文本分配对应的标签，整合后得到多重故障时序数据集Z＝{(x′_i，y_i)|i＝1，…，N}。

其中，在步骤4中所述的“对多重故障时序数据集的样本进行预处理”，其作法如下：

步骤4.1：对时序数据集中各样本的描述信息进行分词处理，去除词与词之间的标点符号；

步骤4.2：去除各样本描述信息的特殊符号，避免对模型学习造成影响；

步骤4.3：去除各样本描述信息的停用词，缩小样本描述信息的维数，得到经预处理后的描述文本x″_i(i＝1，…，N)；

步骤4.4：对时序数据中各样本的标签进行有效编码转换，得到用于模型学习的标签向量y′_i(i＝1，…，N)；

步骤4.5：对x″_i(i＝1，…，N)和y′_i(i＝1，…，N)进行合并，获得格式统一的文本数据集z′＝{(x″_i，y′_i)|i＝1，…，N}。

其中，在步骤5中所述的“对预处理后的时序文本数据集进行数值量化”，其作法如下：

步骤5.1：读取时序文本数据集z′所有样本的描述信息x″_i(i＝1，…，N)，对x″_i中文本词汇出现的次数进行统计并排序；

步骤5.2：定义时序文本词典，将排序的前P个词汇列入至词典中，得到dic＝{(word_i，idx_i)|i＝1，…，P}，其中，word_i是词典中排序在第i位的词汇，idx_i是这一词汇对应的编码；

步骤5.3：结合dic，对样本描述信息x″_i(i＝1，…，N)进行转换，得到各描述信息对应的数字列表nl_i(i＝1，…，N)，若dic中有词汇不在中，那么忽略这个词汇，不予以转换；

步骤5.4：固定nl_i(i＝1，…，N)的长度，设定长度为L；若nl_i的长度小于L，则在nl_i的前面补上对应的“0”；若nl_i的长度大于L，则在nl_i的前面截去对应长度的编码数字。

其中，在步骤5中所述的“词嵌入”，是指一种自然语言处理技术，将文字映射成多维几何空间的向量，使语义类似的文字向量在多维的几何空间的距离相近；利用这一技术可以获得描述词汇文本的向量序列，供后续模型学习使用。

其中，在步骤5中所述的“使用词嵌入网络层作为DNN的首层网络用于生成时间序列的特征向量数据”，其作法如下：设置词嵌入网络的输入维数和输出维数均与数字列表的长度L相同；为避免词向量维数过高，造成模型训练效果差的问题，将词向量的维数设置为128；设置完成后，将描述信息对应的时序数字列表作为词嵌入网络层的输入，词嵌入网络对数字列表进行映射，得到对应的特征向量数据；

其中，在步骤5中所述的“Dropout”，是指一种深度学习环境中应用的优化技术，在DNN训练过程中以概率p舍弃神经元，并让其它神经元以概率q＝1-p保留，每个神经元被舍弃的概率是相同的，舍弃的神经元的输出均设置为零；通过这种方式减轻DNN的过拟合问题，一定程度上达到正则化效果。

其中，在步骤5中所述的“在词嵌入网络层后添加Dropout网络层”，其作法如下：对词嵌入网络层的输出数据进行Dropout，Dropout网络层的输入维数、输出维数均与词嵌入网络层的输出数据的维数相同，并设置Dropout网络层的概率参数为0.2。

其中，在步骤6中所述的“建立LSTM网络中间层并对LSTM的参数进行设置”，其作法如下：

步骤6.1：构建第一层LSTM，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为128，输出维数为128，并输出该层所有时间步的结果；

步骤6.2：在第一层LSTM后添加Dropout层，并设置Dropout参数为0.2；

步骤6.3：构建第二层LSTM，其中，随机初始化该层神经元权重与偏差设置该层输入维数为128，输出维数为64，并输出该层所有时间步的结果；

步骤6.4：在第二层LSTM后添加Dropout层，并设置Dropout参数为0.2；

步骤6.5：构建第三层LSTM，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为64，输出维数为32，并输出该层最后一个时间步的结果；

步骤6.6：在第三层LSTM后添加Dropout层，并设置Dropout参数为0.2。

其中，在步骤7中所述的“建立MLP网络层并对MLP的参数进行设置”，其作法如下：

步骤7.1：构建第一层MLP，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为32，输出维数为64，激活函数为

步骤7.2：在第一层MLP后添加Dropout层，并设置Dropout参数为0.2；

步骤7.3：构建第二层MLP，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为64，输出维数为K，激活函数为

步骤7.4：在第二层MLP后添加Dropout层，并设置Dropout参数为0.2。

其中，在步骤8中所述的“对DNN的学习过程参数进行设置”，其作法如下：

步骤8.1：设置DNN的损失函数为多分类交叉熵，多分类交叉熵是一种对数损失函数，用来衡量多分类模型的预测值和真实值之间的误差，交叉熵越小，说明匹配得越准确，模型准确率越高；

步骤8.2：设置DNN的参数优化方法为Adam方法，Adam方法是一种基于梯度的优化方法，该方法能根据参数梯度的一阶矩估计和二阶矩估计，动态地调整DNN中每个参数的学习速率；

步骤8.3：设置评估DNN的性能指标为识别准确率。

其中，在步骤9中所述的“采用训练、验证、测试三分法对特征向量数据集进行划分”，其作法如下：首先对特征向量数据集按照合适的比例进行随机划分，分别得到学习数据集和测试数据集；然后对学习数据集进一步随机划分，分别获得用于模型训练的训练数据集和用于交叉验证的验证数据集；最后设置训练数据集的批量个数，按照批量数对训练集进行随机划分，获得多个批量的训练样本。

其中，在步骤10中所述的“使用划分好的数据集对DNN进行学习和测试”，其作法如下：设置学习轮次后，使用批量训练样本和验证数据集对DNN进行多轮学习；学习完成后，使用测试数据集对DNN识别多重故障根源的准确性进行验证，以证明该DNN用于故障识别的可行性。

通过上述步骤，可以实现基于DNN的复杂设备多重故障诊断方法，该方法首先对多重故障的日志文件进行预处理，获得多重故障时序数据集；然后针对设备多重故障的特点建立DNN模型，该模型包含词嵌入网络层、LSTM网络层以及MLP网络层，其中词嵌入网络层用于对多重故障时序样本进行向量化，LSTM网络层用于学习多重故障时序向量的时间特征，MLP网络层利用多重故障的时序信息识别多重故障的根源故障；最后利用批量训练样本和验证数据集对DNN进行训练，并采用测试样本数据集对这一DNN识别多重故障根源的准确性验证，以证明这一方法的可行性。

(三)优点

本发明与现有技术相比的优点在于：目前，大部分故障模式识别方法未能充分考虑故障发生的时序性，忽略了各个故障在时间上的关联特性，造成无法有效识别引发设备发生多重故障的根源故障。而本发明能够从时序的角度对多重故障进行分析，充分利用DNN的学习、记忆以及并行计算的特性，有效地识别造成设备多重故障发生的根源故障。

附图说明

图1为本发明的总体步骤流程。

图2为本发明的多重故障根源定位流程。

图3为本发明的多重故障信息处理流程。

图4为本发明的多重故障时序数据集的预处理流程。

图5为本发明的DNN整体结构。

图中序号、符号、代号说明如下：

图1中的“步骤1-10”是本发明技术方案中对应的步骤；

图1中的“DNN”是深度神经网络，用于识别多重故障的根源故障；

图1，5中的“Dropout”是一种优化技术，用于减轻模型的过拟合问题；

图1，5中的LSTM是长短期记忆神经网络，用于学习多重故障的时间特征；

图1，5中的MLP是多层感知器神经网络，用于完成根源故障的分类工作；

图5中的Adam是一种基于梯度的优化算法，用于调节模型参数的学习速率；

图5中的X是多重故障时序样本的一个128维词向量；

图5中的Y是多重故障的根源故障所属类别的概率值。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图进行详细描述。

本发明提出了一种基于DNN的复杂设备多重故障诊断方法，该方法通过对多重故障的日志文件进行预处理，获得多重故障时序数据集。针对设备多重故障的特点建立DNN模型，该模型包含词嵌入网络层、LSTM网络层以及MLP网络层，其中词嵌入网络层用于对多重故障时序样本进行向量化，LSTM网络层用于学习多重故障时序向量的时间特征，MLP网络层利用多重故障的时序信息识别多重故障的根源故障。利用批量训练样本和验证数据集对DNN进行训练，并采用测试样本数据集对这一DNN识别多重故障根源的准确性验证，以证明这一方法的可行性。

本发明一种基于DNN的复杂设备多重故障诊断方法，如图1所示，其具体构建步骤如下：

步骤一：采集记录设备多重故障的日志文件，该文件记录的设备运行信息属于半结构化文本信息，具体包括记录日期、记录时间、系统时间戳以及对应的记录语句。统计并汇总各日志文件中记录的故障发生的位置、类型、表现症状；

步骤二：依靠专家知识对多重故障的根源故障进行定位，得到各日志记录的多重故障所对应的根源故障，根源故障的定位流程如图2所示，其作法如下：将多重故障所表现的症状与建立的专家推理规则进行匹配，若故障症状信息与规则的匹配度高，则说明推理成功，推理的结论可用于确定多重故障所对应的根源故障类型；若故障症状信息与规则的匹配度低，则说明推理失败，需要把多重故障信息反馈至设备生产厂家，厂家确认后给出最终的诊断信息，从而获得多重故障所对应的根源故障类型；

步骤三：对日志文件记录的多重故障信息按照时间特征进行整合，以得到多重故障时序数据集，多重故障时序数据集的构建流程如图3所示，其作法如下：

步骤3.1：设第i个(i＝1，…，N)日志记录的第j个关联故障对应的故障描述信息文本为(t_i，j，x_i，j)，其中，t_i，j是第i个日志记录的第j个关联故障的发生时间，x_i，j是第i个日志记录的第j个关联故障症状的描述信息，N是日志的个数；

步骤3.2：按照t_i，j(i＝1，…，N)的先后顺序对第i个日志的关联故障进行排序，得到新的多重故障时序文本x′_i，进一步得到所有日志的文本集合X＝{x′_i|i＝1，…，N}；

步骤3.3：统计根源故障的种类和数目，并按照数目由大到小排序，得到标签集合Y＝{y_i|i＝1，…，K}，其中，y_i是根源故障类型的描述，K是根源故障的种类；

步骤3.4：对集合X中各多重故障时序文本分配对应的标签，整合后得到多重故障时序数据集Z＝{(x′_i，y_i)|i＝1，…，N}；

步骤四：对多重故障时序数据集的样本进行预处理，获得格式统一的时序数据集，对数据集样本进行预处理的流程如图4所示，其作法如下：

步骤4.1：对时序数据集中各样本的描述信息进行分词处理，去除词与词之间的标点符号；

步骤4.2：去除各样本描述信息的特殊符号，避免对模型学习造成影响；

步骤4.3：去除各样本描述信息的停用词，缩小样本描述信息的维数，得到经预处理后的描述文本x″_i(i＝1，…，N)；

步骤4.4：对时序数据中各样本的标签进行有效编码转换，得到用于模型学习的标签向量y′_i(i＝1，…，N)；

步骤4.5：对x″_i(i＝1，…，N)和y′_i(i＝1，…，N)进行合并，获得格式统一的文本数据集z′＝{(x″_i，y′_i)|i＝1，…，N}；

步骤五：对预处理后的时序文本数据集进行数值量化，其作法如下：

步骤5.1：读取时序文本数据集z′所有样本的描述信息x″_i(i＝1，…，N)，对x″_i中文本词汇出现的次数进行统计并排序；

步骤5.2：定义时序文本词典，将排序的前P个词汇列入至词典中，得到dic＝{(word_i，idx_i)|i＝1，…，P}，其中，word_i是词典中排序在第i位的词汇，idx_i是这一词汇对应的编码；

步骤5.3：结合dic，对样本描述信息x″_i(i＝1，…，N)进行转换，得到各描述信息对应的数字列表nl_i(i＝1，…，N)，若dic中有词汇不在中，那么忽略这个词汇，不予以转换；

步骤5.4：固定nl_i(i＝1，…，N)的长度，设定长度为L。若nl_i的长度小于L，则在nl_i的前面补上对应的“0”；若nl_i的长度大于L，则在nl_i的前面截去对应长度的编码数字；

使用词嵌入网络层作为DNN的首层网络，嵌入层是一种自然语言处理技术，将文字映射成多维几何空间的向量，使语义类似的文字向量在多维的几何空间的距离相近。利用这一模型可以生成时间序列的特征向量数据，供模型学习使用，其作法如下：设置词嵌入网络的输入维数和输出维数均与数字列表的长度L相同；为避免词向量维数过高，造成模型训练效果差的问题，将词向量的维数设置为128。设置完成后，将描述信息对应的时序数字列表作为词嵌入网络层的输入，词嵌入网络对数字列表进行映射，得到对应的特征向量数据；在词嵌入网络层后添加Dropout网络层，对词嵌入网络层的输出数据进行Dropout，Dropout网络层的输入维数、输出维数均与词嵌入网络层的输出数据的维数相同，并设置Dropout网络层的概率参数为0.2。Dropout是一种深度学习环境中应用的优化技术，在DNN训练过程中以概率p舍弃神经元，并让其它神经元以概率q＝1-p保留，每个神经元被舍弃的概率是相同的，舍弃的神经元的输出均设置为零。通过这种方式减轻DNN的过拟合问题，一定程度上达到正则化效果；

步骤六：建立LSTM网络中间层并对LSTM的参数进行设置，其作法如下：

步骤6.1：构建第一层LSTM，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为128，输出维数为128，并输出该层所有时间步的结果；

步骤6.2：在第一层LSTM后添加Dropout层，并设置Dropout参数为0.2；

步骤6.3：构建第二层LSTM，其中，随机初始化该层神经元权重与偏差设置该层输入维数为128，输出维数为64，并输出该层所有时间步的结果；

步骤6.4：在第二层LSTM后添加Dropout层，并设置Dropout参数为0.2；

步骤6.5：构建第三层LSTM，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为64，输出维数为32，并输出该层最后一个时间步的结果；

步骤6.6：在第三层LSTM后添加Dropout层，并设置Dropout参数为0.2；

步骤七：建立MLP网络层并对MLP的参数进行设置，其作法如下：

步骤7.1：构建第一层MLP，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为32，输出维数为64，激活函数为

步骤7.2：在第一层MLP后添加Dropout层，并设置Dropout参数为0.2；

步骤7.3：构建第二层MLP，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为64，输出维数为K，激活函数为

步骤7.4：在第二层MLP后添加Dropout层，并设置Dropout参数为0.2；

步骤八：对DNN的学习过程参数进行设置，其作法如下：

步骤8.1：设置DNN的损失函数为多分类交叉熵，多分类交叉熵是一种对数损失函数，用来衡量多分类模型的预测值和真实值之间的误差，交叉熵越小，说明匹配得越准确，模型准确率越高；

步骤8.2：设置DNN的参数优化方法为Adam方法，Adam方法是一种基于梯度的优化方法，该方法能根据参数梯度的一阶矩估计和二阶矩估计，动态地调整DNN中每个参数的学习速率；

步骤8.3：设置评估DNN的性能指标为识别准确率；

步骤九：采用训练、验证、测试三分法对特征向量数据集进行划分，其作法如下：首先对特征向量数据集按照合适的比例进行随机划分，分别得到学习数据集和测试数据集；然后对学习数据集进一步随机划分，分别获得用于模型训练的训练数据集和用于交叉验证的验证数据集；最后设置训练数据集的批量个数，按照批量数对训练集进行随机划分，获得多个批量的训练样本；

步骤十：使用划分好的数据集对DNN进行学习，设置学习轮次后，使用批量训练样本和验证数据集对DNN进行多轮学习；学习完成后，使用测试数据集对DNN识别多重故障根源的准确性进行验证，以证明该DNN用于故障识别的可行性，最终得到用于多重故障根源识别的诊断模型。

通过上述步骤，可以完成基于DNN的复杂设备多重故障诊断方法，构建的DNN模型如图5所示，这一方法使用词嵌入网络将多重故障案例文本转换为时序向量。利用时序向量数据对LSTM网络进行有监督学习，得到能够识别多重故障时间特征的中间网络层。并在LSTM中间层输出的多重故障时间特征数据的基础上，采用MLP网络进行有监督学习，最后通过基于梯度的优化算法完成整体DNN的参数调节与构建。学习得到的DNN网络在输入设备的多重故障症状信息后，能有效地识别造成这一多重连锁故障的根源故障，用于设备的故障诊断与预测。

本发明未详细阐述部分属于本领域公知技术。

以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于DNN的复杂设备多重故障诊断方法，其特征在于：其步骤如下：

步骤1、采集记录设备多重故障的日志文件，统计并汇总设备故障发生的位置、类型、表现症状；

步骤2、依靠专家知识对多重故障的根源故障进行定位，得到各日志记录的多重故障所对应的根源故障；

步骤3、对日志文件记录的多重故障信息按照时间特征进行整合，得到多重故障时序数据集；

步骤4、对多重故障时序数据集的样本进行预处理，获得格式统一的时序数据集；

步骤5、对预处理后的时序文本数据集进行数值量化；使用词嵌入网络层作为DNN的首层网络用于生成时间序列的特征向量数据；在词嵌入网络层后添加Dropout网络层，减轻DNN的过拟合问题；

步骤6、建立LSTM网络中间层并对LSTM的参数进行设置；

步骤7、建立MLP网络层并对MLP的参数进行设置，以完成DNN整体结构的构建；

步骤8、对DNN的学习过程参数进行设置；

步骤9、采用训练、验证、测试三分法对特征向量数据集进行划分；

步骤10、使用划分好的数据集对DNN进行学习和测试，得到用于多重故障根源识别的诊断模型；

其中，在步骤3中所述的“对日志文件记录的多重故障信息按照时间特征进行整合”，其作法如下：

步骤3.1：设第i个(i＝1，…，N)日志记录的第j个关联故障对应的故障描述信息文本为(t_i,j,x_i,j)，其中，t_i,j是第i个日志记录的第j个关联故障的发生时间，x_i,j是第i个日志记录的第j个关联故障症状的描述信息，N是日志的个数；

步骤3.2：按照t_i,j(i＝1，…，N)的先后顺序对第i个日志的关联故障进行排序，得到新的多重故障时序文本x'_i，进一步得到所有日志的文本集合X＝{x′_i|i＝1，…，N}；

步骤3.3：统计根源故障的种类和数目，并按照数目由大到小排序，得到标签集合Y＝{y_i|i＝1，…，K}，其中，y_i是根源故障类型的描述，K是根源故障的种类；

步骤3.4：对集合X中各多重故障时序文本分配对应的标签，整合后得到多重故障时序数据集Z＝{(x′_i，y_i)|i＝1，…，N}；

其中，在步骤4中所述的“对多重故障时序数据集的样本进行预处理”，其作法如下：

步骤4.1：对时序数据集中各样本的描述信息进行分词处理，去除词与词之间的标点符号；

步骤4.2：去除各样本描述信息的特殊符号，避免对模型学习造成影响；

步骤4.3：去除各样本描述信息的停用词，缩小样本描述信息的维数，得到经预处理后的描述文本x″_i(i＝1，…，N)；

步骤4.4：对时序数据中各样本的标签进行有效编码转换，得到用于模型学习的标签向量y′_i(i＝1，…，N)；

步骤4.5：对x″_i(i＝1，…，N)和y′_i(i＝1，…，N)进行合并，获得格式统一的文本数据集Z′＝{(x″_i，y′_i)|i＝1，…，N}。

2.根据权利要求1所述的一种基于DNN的复杂设备多重故障诊断方法，其特征在于：在步骤1中所述的“日志文件”，是指由自然语言构成的文本数据，它记录的设备运行信息属于半结构化文本信息，具体包括记录日期、记录时间、系统时间戳以及对应的记录语句。

3.根据权利要求1所述的一种基于DNN的复杂设备多重故障诊断方法，其特征在于：在步骤2中所述的“专家知识”，是指通过专家对设备故障的知识积累，建立的大量推理规则；

在步骤2中所述的“依靠专家知识对多重故障的根源故障进行定位，得到各日志记录的多重故障所对应的根源故障”，其做法如下：将多重故障所表现的症状与建立的专家推理规则进行匹配，若故障症状信息与规则的匹配度高，则说明推理成功，推理的结论能用于确定多重故障所对应的根源故障类型；若故障症状信息与规则的匹配度低，则说明推理失败，需要把多重故障信息反馈至设备生产厂家，厂家确认后给出最终的诊断信息，从而获得多重故障所对应的根源故障类型。

4.根据权利要求1所述的一种基于DNN的复杂设备多重故障诊断方法，其特征在于：在步骤5中所述的“对预处理后的时序文本数据集进行数值量化”，其作法如下：

步骤5.1：读取时序文本数据集Z'所有样本的描述信息x″_i(i＝1，…，N)，对x″_i中文本词汇出现的次数进行统计并排序；

步骤5.2：定义时序文本词典，将排序的前P个词汇列入至词典中，得到dic＝{word_i，idx_i)|i＝1，…，P}，其中，word_i是词典中排序在第i位的词汇，idx_i是这一词汇对应的编码；

步骤5.3：结合dic，对样本描述信息x″_i(i＝1，…，N)进行转换，得到各描述信息对应的数字列表nl_i(i＝1，…，N)，若dic中有词汇不在中，那么忽略这个词汇，不予以转换；

步骤5.4：固定nl_i(i＝1，…，N)的长度，设定长度为L；若nl_i的长度小于L，则在nl_i的前面补上对应的“0”；若nl_i的长度大于L，则在nl_i的前面截去对应长度的编码数字。

5.根据权利要求1所述的一种基于DNN的复杂设备多重故障诊断方法，其特征在于：在步骤5中所述的“词嵌入”，是指一种自然语言处理技术，将文字映射成多维几何空间的向量，使语义类似的文字向量在多维的几何空间的距离相近；利用这一技术能获得描述词汇文本的向量序列，供后续模型学习使用；

在步骤5中所述的“使用词嵌入网络层作为DNN的首层网络用于生成时间序列的特征向量数据”，其作法如下：设置词嵌入网络的输入维数和输出维数均与数字列表的长度L相同；为避免词向量维数过高，造成模型训练效果差的问题，将词向量的维数设置为128；设置完成后，将描述信息对应的时序数字列表作为词嵌入网络层的输入，词嵌入网络对数字列表进行映射，得到对应的特征向量数据；

在步骤5中所述的“Dropout”，是指一种深度学习环境中应用的优化技术，在DNN训练过程中以概率p舍弃神经元，并让其它神经元以概率q＝1-p保留，每个神经元被舍弃的概率是相同的，舍弃的神经元的输出均设置为零；通过这种方式减轻DNN的过拟合问题，一预定程度上达到正则化效果；

在步骤5中所述的“在词嵌入网络层后添加Dropout网络层”，其作法如下：对词嵌入网络层的输出数据进行Dropout，Dropout网络层的输入维数、输出维数均与词嵌入网络层的输出数据的维数相同，并设置Dropout网络层的概率参数为0.2。

6.根据权利要求1所述的一种基于DNN的复杂设备多重故障诊断方法，其特征在于：在步骤6中所述的“建立LSTM网络中间层并对LSTM的参数进行设置”，其作法如下：

步骤6.1：构建第一层LSTM，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为128，输出维数为128，并输出该层所有时间步的结果；

步骤6.2：在第一层LSTM后添加Dropout层，并设置Dropout参数为0.2；

步骤6.3：构建第二层LSTM，其中，随机初始化该层神经元权重与偏差设置该层输入维数为128，输出维数为64，并输出该层所有时间步的结果；

步骤6.4：在第二层LSTM后添加Dropout层，并设置Dropout参数为0.2；

步骤6.5：构建第三层LSTM，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为64，输出维数为32，并输出该层最后一个时间步的结果；

步骤6.6：在第三层LSTM后添加Dropout层，并设置Dropout参数为0.2。

7.根据权利要求1所述的一种基于DNN的复杂设备多重故障诊断方法，其特征在于：在步骤7中所述的“建立MLP网络层并对MLP的参数进行设置”，其作法如下：

步骤7.1：构建第一层MLP，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为32，输出维数为64，激活函数为

步骤7.2：在第一层MLP后添加Dropout层，并设置Dropout参数为0.2；

步骤7.3：构建第二层MLP，其中，随机初始化该层神经元权重与偏差，设置该层输入维数为64，输出维数为K，激活函数为

步骤7.4：在第二层MLP后添加Dropout层，并设置Dropout参数为0.2。

8.根据权利要求1所述的一种基于DNN的复杂设备多重故障诊断方法，其特征在于：在步骤8中所述的“对DNN的学习过程参数进行设置”，其作法如下：

步骤8.1：设置DNN的损失函数为多分类交叉熵，多分类交叉熵是一种对数损失函数，用来衡量多分类模型的预测值和真实值之间的误差，交叉熵越小，说明匹配得越准确，模型准确率越高；

步骤8.2：设置DNN的参数优化方法为Adam方法，Adam方法是一种基于梯度的优化方法，该方法能根据参数梯度的一阶矩估计和二阶矩估计，动态地调整DNN中每个参数的学习速率；

步骤8.3：设置评估DNN的性能指标为识别准确率。

9.根据权利要求1所述的一种基于DNN的复杂设备多重故障诊断方法，其特征在于：在步骤9中所述的“采用训练、验证、测试三分法对特征向量数据集进行划分”，其作法如下：首先对特征向量数据集按照预定的比例进行随机划分，分别得到学习数据集和测试数据集；然后对学习数据集进一步随机划分，分别获得用于模型训练的训练数据集和用于交叉验证的验证数据集；最后设置训练数据集的批量个数，按照批量数对训练集进行随机划分，获得复数个批量的训练样本。

10.根据权利要求1所述的一种基于DNN的复杂设备多重故障诊断方法，其特征在于：在步骤10中所述的“使用划分好的数据集对DNN进行学习和测试”，其作法如下：设置学习轮次后，使用批量训练样本和验证数据集对DNN进行多轮学习；学习完成后，使用测试数据集对DNN识别多重故障根源的准确性进行验证，以证明该DNN用于故障识别的可行性。

Images