CN112949823A - 基于一维多尺度深度卷积神经网络的工业过程性能诊断方法 - Google Patents

Abstract

本发明公开了一种基于一维多尺度深度卷积神经网络的工业过程性能诊断方法，包括如下步骤：步骤1、以频率采集工业过程系统变量的运行数据，建立一个含有多个变量，多种类型故障的数据集，并对数据集进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；步骤2、构建一维多尺度深度卷积神经网络故障诊断模型；步骤3、利用划分好的训练集对提出的一维多尺度深度卷积神经网络进行训练，训练好之后，将验证集输入到模型中进行故障诊断，输出故障分类结果。

Description

基于一维多尺度深度卷积神经网络的工业过程性能诊断方法

技术领域

本发明属于自动化过程控制领域，特别涉及到一种基于一维多尺度深度卷积神经网络(MSDCNN)的工业过程故障诊断方法。

背景技术

在现代实际工业生产中，由于许多复杂的实际过程对象的物理或化学特性并不为人所知，所以想要靠传统的工业过程故障诊断方法来建立准确的系统模型变得越来越困难，另外随着现代工业过程存在多模态、间歇性、非线性以及动态性等特点，使得系统建模方法变得更加困难。

智能故障诊断方法的出现解决了复杂工业过程系统建模困难的问题，近年来深受国内外故障诊断领域专家的青睐，其在故障领域的研究已经有了很多成果。目前智能故障诊断方法主要分为浅层学习方法和深度学习方法。基于浅层学习的方法主要通过将原始信号数据投影到低维子空间来人工提取原始数据的主要特征，然后输入到建立好的模型中学习并进行故障诊断。该方法具有一定的局限性，其需要如时域统计特征、变分模态分解及小波变换等先进的信号处理方法，且其训练方法需要很多训练方法和技巧，限制了其进一步发展。基于深度学习的方法相对于浅层学习不需要额外繁琐的人工特征提取这一步骤，其可以利用多隐层的网络结构直接对输入的数据样本进行有效分析并提取隐藏的数据特征信息，实现端到端的工业过程故障诊断。不仅如此，深度学习还解决了浅层学习容易过拟合、陷入局部最优、梯度消散以及泛化能力弱等问题，对非线性、间歇性以及动态性等复杂工业过程也具有较好的诊断精度。

工业过程系统是现代工业生产中一种必不可少的基础设施，典型的如工业焦化炉系统，其是一种立式管式加热炉，主要用来对原料残渣的循环油进行快速加热，在作业生产时对温度的控制非常重要，焦化炉的温度直接影响着炉内反应物的生产，对生成物的数量及质量有着至关重要的作用。因此一个好的的工业过程故障诊断模型对工业生产尤为重要，及时发现故障并诊断故障类型对工业生产安全以及减少资源浪费具有十分重要的意义。由于工业过程生产中原料的物理或化学特性难以为人所知，因此目前传统的故障诊断方法在工业过程生产中的应用尚存在局限性，主要存在下述问题：

模型的泛化能力较差；

不能充分学习并利用数据中的深层特征；

不能较好的提取不同尺寸的数据特征。

为了解决上述问题，需要提供一种新的能够克服上述问题的工业过程故障诊断方法。

发明内容

本发明的目的是针对现有工业过程故障诊断方法中存在的问题，提出了一种能够提取不同尺寸数据特征，充分学习并利用数据的深层特征，泛化能力强的一维多尺度深度卷积神经网络工业过程故障诊断方法。

本发明通过建立工业过程数据集，结合在传统卷积神经网络结构的基础上，在两个卷积模块中间加入了一个多尺度卷积网络模块，并在网络的分类模块中交替加入2个dropout层和全连接层的方法来提升网络的整体性能。

本发明的具体实现步骤包括：

步骤1、以频率f_s采集工业过程系统变量的运行数据，建立一个含有多个变量，多种类型故障的数据集，并对数据集进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；

所述数据预处理是指对数据集进行离差标准化处理(Min-maxnormalization),该方法可以采集的原始信号数据集进行线性变化，使数据样本落在[0，1]区间，相关转换函数如下：

式中min{·}表示样本数据中的最大值，max{·}表示样本数据中的最小值，x_i表示样本数据；

所述对故障样本打标签是指对数据集进行one-hot编码，又称为一位有效编码，其使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效。

步骤2、构建一维多尺度深度卷积神经网络故障诊断模型；

一维多尺度深度卷积神经网络故障诊断模型由一维卷积网络模块、多尺度卷积网络模块以及分类模块组成，其中：

一维卷积网络模块中由2层卷积网络和池化层交替连接，卷积层对数据进行卷积运算，采用relu激活函数，padding采用same表示填充输入，使得输出与输入具有相同的长度,并使用L2正则化技术，运算结果输入池化层；

其中卷积层的卷积运算如下式所示：

A^[l]＝f(W^[l]*A^[l-1]+b^[l])

式中A^[l]表示第l层的输出，l∈[1，2，…,n]，W^[l]表示第l层卷积核，“*”表示卷积运算，b^[l]表示第l层对应的偏置，f(·)表示激活函数；

池化层采用最大池化层，防止网络过拟合，提高模型泛化能力，每个最大池化层的处理结果作为下一个卷积层的输入，其运算公式如下：

h＝max(c(t))

式中h表示池化层的输出，c(t)表示输入特征中每个神经元的数值集合，t∈[1，2，…,n],表示第t个神经元；

多尺度卷积网络模块采用1×1卷积、1×3卷积、1×5卷积以及1×3最大池化对输入数据进行三个分支网络的并行处理，提取不同尺度的特征信息，将提取到的特征数据y¹、y²和y³拼接成特征向量y^c＝[y¹，y²，y³]，通过多尺度特征连接模块进行特征融合得到输出特征y，然后经之后的一维卷积模块进一步提取特征之后，输入到分类模块。

分类模块由全连接层、dropout层以及Softmax分类层组成，全连接层将卷积网络提取到的局部特征进行展平加权，输入到dropout层；

dropout层以概率p随机丢弃深层网络的神经元，进一步加强模型的泛化能力，将输出输入到Softmax分类层；

Softmax分类层将输入特征进行分类运算，其计算公式如下：

式中

表示第i个输出神经元的值；

步骤3、利用划分好的训练集对提出的一维多尺度深度卷积神经网络进行训练，训练好之后，将验证集输入到模型中进行故障诊断，输出故障分类结果，具体为；

将上述划分好的训练集输入到一维多尺度深度卷积神经网络中进行训练，以故障类型标签作为所述模型的输出，将输出标签与真实标签做对比，利用Adam优化算法更新整个模型的参数，优化损失函数，该优化算法能够沿梯度下降最快的方向快速达到模型的全局最优点，能以较少的网络迭代次数达到最好的训练效果。

模型训练完成后，将测试集输入到模型中进行预测，最后输出诊断结果。

与现有的工业过程故障诊断方法相比，本发明具有以下有益效果：

本发明提出了一种基于一维多尺度深度卷积神经网络的工业过程故障诊断模型，该模型能自适应的从输入的原始数据中更好的提取和融合丰富互补的特征，从而得到的更好的分类效果；

本发明创造性的将多尺度卷积网络模块融入到传统卷积网络的之中，其前后都是一维卷积网络模块。多尺度卷积网络模块能够多分支并行提取原始数据中不同尺寸的数据信息，此外该模块中的1x1卷积层还能有效减少特征维数，增加网络的宽度和深度，从而提高了网络整体的特征学习能力及模型的泛化能力；

本发明所提出的模型在分类模块中交替叠加了两个全连接层和dropout层，从而更好的提升了模型的抗过拟合能力及自适应能力，且进一步提高了模型的在工业过程中的故障诊断精度。

附图说明

图1为一维多尺度深度卷积神经网络故障诊断模型的诊断流程图；

图2为多尺度卷积网络模块内部结构图；

图3为本发明模型与CNN和LSTM模型在测试集上的准确率曲线图；

图4a和图4b为数据集原始数据与本发明模型分类后数据的二维散点图。

具体实施方式

下面结合附图对本发明所提出方法的具体实施方式进行详细描述。

工业焦化炉是一种典型的工业过程系统，其是一种立管式加热炉，它对化工原料的深加工具有不可替代的作用，其燃料一般用高压瓦斯气。工作时气体分别从南北两侧进入焦化炉，原料渣油分别从南北两侧送入焦化炉对流室预加热约330℃，然后一起送入分馏塔底，与焦化炉塔顶来的油气接触并传热传质；在此过程中混合油料中较轻的成份蒸发，上升至精馏段进行分离，而原料中蜡油以上馏分与来自焦炭塔顶油气中被冷凝的成份一起流入塔底。约360℃的分馏塔底油经加热炉辐射进料泵分两路送至加热炉辐射室迅速加热至495℃，之后进入焦炭塔进行裂解反应。

本次实例验证中在焦化炉中预先设计了5种常见的不同类型的故障，具体故障情况与标签对应关系如表1所示

表1：

图1是本发明基于一种一维多尺度深度卷积神经网络的工业过程故障诊断方法的实施流程图，其具体包括以下步骤：

步骤1、采集工业焦化炉中8个主要的过程变量的运行数据，建立一个含有8个变量，5种类型故障的数据集，在每个故障状况下采集1850个样本数据，并对数据集进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后从中随机抽取8000个样本作为训练集，其余样本作为测试集。

数据预处理是指对数据集进行离差标准化处理(Min-maxnormalization),该方法可以采集的原始信号数据集进行线性变化，使数据样本落在[0，1]区间，相关转换函数如下：

式中min{·}表示样本数据中的最大值，max{·}表示样本数据中的最小值，x_i表示样本数据；

对故障样本打标签是指对数据集进行one-hot编码，又称为一位有效编码，其使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效，使数据之间距离的计算更加合理。

步骤2、构建一维多尺度深度卷积神经网络故障诊断模型，该模型如图1所示，图2表示了本发明所使用的多尺度卷积网络模块的结构；

一维多尺度深度卷积神经网络故障诊断模型由一维卷积网络模块、多尺度卷积网络模块以及分类模块组成，其中：

一维卷积网络模块中由2层卷积网络和池化层交替连接，卷积层对数据进行卷积运算，在多尺度卷积网络模块前后分别设置一个一维卷积网络模块，其中卷积核数量分别为32，64，64，128，卷积核大小为1×3。采用relu激活函数，padding采用same表示填充输入，使得输出与输入具有相同的长度,并使用L2正则化技术，运算结果输入池化层；

其中卷积层的卷积运算如下式所示：

A^[l]＝f(W^[l]*A^[l-1]+b^[l])

式中A^[l]表示第l层的输出，l∈[1，2，…,n]，W^[l]表示第l层卷积核，“*”表示卷积运算，b^[l]表示第l层对应的偏置，f(·)表示激活函数；

L2正则化技术可以可以减少模型的过拟合现象，其优化问题可以由下式表示：

式中N表示样本数；y⁽ⁿ⁾表示第n个样本的实际标签，n∈[1,2,…,N]；xⁿ表示第n个样本，θ为其参数；l_p为范数函数，p∈[1,2]，代表L2范数，λ为正则化系数，f(·)为学习的神经网络，L(·)为损失函数。

池化层采用最大池化层，防止网络过拟合，提高模型泛化能力，每个最大池化层的处理结果作为下一个卷积层的输入，其运算公式如下：

h＝max(c(t))

式中h表示池化层的输出，c(t)表示输入特征中每个神经元的数值集合，t∈[1，2，…,n],表示第t个神经元；

多尺度卷积网络模块如图2所示，采用1×1卷积、1×3卷积、1×5卷积以及1×3最大池化对输入数据进行三个分支的并行处理，提取不同尺度的特征信息，将提取到的特征数据y¹、y²和y³拼接成特征向量y^c＝[y¹，y²，y³]，通过多尺度特征连接模块进行特征融合得到输出特征y，然后经之后的一维卷积模块进一步提取特征之后，输入到分类模块。

分类模块由全连接层、dropout层以及Softmax分类层组成，全连接层将卷积网络提取到的局部特征进行展平加权，输入到dropout层；

全连接层的计算公式如下所示：

y＝W*x+b

式中W表示权重，b表示偏置，x表示输入神经元，y表示加权后的输出；

dropout层以概率p随机丢弃深层网络的神经元，进一步加强模型的泛化能力，两组dropout层与全连接层交替连接，dropout层大小分别为0.1，0.2，全连接层单元数分别为256，5，将输出输入到Softmax分类层；

Softmax分类层将输入特征进行分类运算，其计算公式如下：

式中

表示第i个输出神经元的值；

步骤3、利用划分好的训练集对提出的一维多尺度深度卷积神经网络进行训练，训练好之后，将测试集输入到模型中进行故障诊断，输出故障分类结果，具体为：

将上述划分好的训练集输入到一维多尺度深度卷积神经网络中进行训练，以故障类型标签作为所述模型的输出，将输出标签与真实标签做对比。利用Adam优化算法更新整个模型的参数，优化损失函数，该优化算法能够沿梯度下降最快的方向快速达到模型的全局最优点，能以较少的网络迭代次数达到最好的训练效果。

模型训练完成后，将测试集输入到模型中进行预测，最后输出诊断结果。

为了更好的说明本发明的技术效果，本次实验分别采用传统的卷积神经网络(CNN)以及长短时记忆网络(LSTM)作为对比，CNN是目前最流行，使用最广泛的的深度神经网络，其在语音识别、图像处理以及自然语言处理等领域的研究取得了巨大的成功，在故障诊断领域也得到了极大的关注，已经有了丰富的成果；LSTM是一种时间循环神经网络，它是在循环神经网络的基础上改进而来，适合对一维时间序列的分类，其目前在故障诊断领域也有较好的成果，主要集中在对一维时序序列的诊断。

本次实验中采用Keras库和python3.5实现本发明所提出的一维多尺度深度卷积神经网络模型以及两个对比模型，模型训练时的迭代次数设置为100，批次大小设置为64，损失函数选择交叉熵损失函数，初始学习率设置为0.001，并且每迭代30次学习率下降十分之一。

具体实验结果如表2所示，从准确率，召回率以及F1值三个评价指标可以看出本发明相比于CNN和LSTM具有较高的诊断精度，其中微平均准确率相对与CNN和LSTM分别提高1.4％和1.51％，宏平均准确率分别提高1.46％和1.52％。

表2：

具体到每一种故障状态的识别情况如表3所示，从中可以看出，本发明几乎每个故障类型的三个评价指标都较其他两个模型有所提高，这也显示了本发明的有效性。

表3：

本发明与两个对比模型的测试集准确率曲线如图3所示，可以明显的看出本发明模型的准确率曲线相较于CNN和LSTM有较为明显的提升，其曲线几乎全程在CNN和LSTM曲线的上方。不仅如此，本发明曲线的收敛速度也是最快的，初始诊断性能也比两个对比模型的要好，更进一步的显示了本发明模型有较强的深层特征提取能力以及较强的模型泛化能力。

图4a和图4b是用t-SNE方法降维后的二维散点图，图4a是测试集的原始数据散点图，图4b是用本发明模型输出后的测试集散点图，从中可以看出本发明的模型能够较好的分类故障类型，只有极少数样本被错分。

Claims (5)

1.一种基于一维多尺度深度卷积神经网络的工业过程性能诊断方法，其特征在于包括如下步骤：

步骤1、以频率f_s采集工业过程系统变量的运行数据，建立一个含有多个变量，多种类型故障的数据集，并对数据集进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；

步骤2、构建一维多尺度深度卷积神经网络故障诊断模型；

步骤3、利用划分好的训练集对提出的一维多尺度深度卷积神经网络进行训练，训练好之后，将验证集输入到模型中进行故障诊断，输出故障分类结果。

2.如权利要求1所述的基于一维多尺度深度卷积神经网络的工业过程性能诊断方法，其特征在于：

所述数据预处理是指对数据集进行离差标准化处理，采集的原始信号数据集进行线性变化，使数据样本落在[0，1]区间，相关转换函数如下：

式中min{·}表示样本数据中的最大值，max{·}表示样本数据中的最小值，x_i表示样本数据。

3.如权利要求1所述的基于一维多尺度深度卷积神经网络的工业过程性能诊断方法，其特征在于：

所述对故障类型进行编号打标签是指对数据集进行one-hot编码，又称为一位有效编码，其使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效。

4.如权利要求1所述的基于一维多尺度深度卷积神经网络的工业过程性能诊断方法，其特征在于：

所述一维多尺度深度卷积神经网络故障诊断模型由一维卷积网络模块、多尺度卷积网络模块以及分类模块组成，其中：

一维卷积网络模块中由2层卷积网络和池化层交替连接，卷积层对数据进行卷积运算，采用relu激活函数，padding采用same表示填充输入，使得输出与输入具有相同的长度,并使用L2正则化技术，运算结果输入池化层；

其中卷积层的卷积运算如下式所示：

A^[l]＝f(W^[l]*A^[l-1]+b^[l])

式中A^[l]表示第l层的输出，l∈[1，2，…,n]，W^[l]表示第l层卷积核，“*”表示卷积运算，b^[l]表示第l层对应的偏置，f(·)表示激活函数；

池化层采用最大池化层，防止网络过拟合，提高模型泛化能力，每个最大池化层的处理结果作为下一个卷积层的输入，其运算公式如下：

h＝max(c(t))

式中h表示池化层的输出，c(t)表示输入特征中每个神经元的数值集合，t∈[1，2，…,n],表示第t个神经元；

多尺度卷积网络模块采用1×1卷积、1×3卷积、1×5卷积以及1×3最大池化对输入数据进行三个分支网络的并行处理，提取不同尺度的特征信息，将提取到的特征数据y¹、y²和y³拼接成特征向量y^c＝[y¹，y²，y³]，通过多尺度特征连接模块进行特征融合得到输出特征y，然后经之后的一维卷积模块进一步提取特征之后，输入到分类模块；

分类模块由全连接层、dropout层以及Softmax分类层组成，全连接层将卷积网络提取到的局部特征进行展平加权，输入到dropout层；

dropout层以概率p随机丢弃深层网络的神经元，进一步加强模型的泛化能力，将输出输入到Softmax分类层；

Softmax分类层将输入特征进行分类运算，其计算公式如下：

式中

表示第i个输出神经元的值。

5.如权利要求1所述的基于一维多尺度深度卷积神经网络的工业过程性能诊断方法，其特征在于：

所述步骤3具体为：

将上述划分好的训练集输入到一维多尺度深度卷积神经网络中进行训练，以故障类型标签作为所述模型的输出，将输出标签与真实标签做对比，利用Adam优化算法更新整个模型的参数，优化损失函数，该Adam优化算法能够沿梯度下降最快的方向快速达到模型的全局最优点，能以较少的网络迭代次数达到最好的训练效果；

模型训练完成后，将测试集输入到模型中进行预测，最后输出诊断结果。

Images