CN111897310B

CN111897310B - 基于一维多头卷积网络的工业过程故障分类方法和系统

Info

Publication number: CN111897310B
Application number: CN202010728674.9A
Authority: CN
Inventors: 郑英; 巫慧; 苏厚胜; 汪上晓
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2020-07-24
Filing date: 2020-07-24
Publication date: 2021-11-19
Anticipated expiration: 2040-07-24
Also published as: CN111897310A

Abstract

本发明公开了基于一维多头卷积网络的工业过程故障分类方法和系统，属于工业过程监控技术领域。本发明使用一维多头卷积，对每个输入的过程变量进行单独的一维卷积，实现对原始数据的一种平滑，忽略数据在短时间内的微小波动，突出对于判别故障类型有用的特征。本发明在变量维度方向上同时进行卷积，与使用一维卷积只沿着时间轴方向进行扫描相比，可从数据中提取更多有用特征。本发明提出的模型以单路两层的卷积结构为主，模型简单，便于实际部署，在实际中，采集工业过程的故障数据，离线训练模型；工业过程在线运行时，将故障样本输入至模型，实时地诊断故障类型，分类器同时输出故障属于各类型的可能性大小。

Description

基于一维多头卷积网络的工业过程故障分类方法和系统

技术领域

本发明属于工业过程监控技术领域，更具体地，涉及基于一维多头卷积网络的工业过程故障分类方法和系统。

背景技术

现代化工工业系统变得越来越复杂和集成，对化工工业系统的过程监视变得越来越重要。在实际工业系统中很难获得系统的物理原理，结构以及先验知识。一个简单的故障可能会损坏功能部分，从而进一步降低整个系统的性能，从而导致经济损失甚至巨大的人员伤亡。对故障进行及时、准确的故障检测和故障诊断可以减少危害，提高设备操作的安全性和可靠性，并降低制造成本。通常，过程监视方法可以分为三个部分：基于模型的方法，基于知识的方法和数据驱动的方法。故障诊断的主要任务是故障检测、故障分类、故障定位、故障恢复等。一旦检测到故障，就需要确定故障类别。故障分类是确定发生哪种故障，即区分观察到的异常情况的原因。确定故障类别后，将立即采取相应的故障排除措施。这种及时的故障排除可以避免更大的经济损失和人员伤亡。

随着存储技术的飞速发展，通过在线测量和离线分析收集并存储了大量重要的测量值和最终产品质量变量，数据驱动的过程监控技术可以得到越来越多的应用。因此，基于数据的方法成为新的热点。与传统的基于模型的方法相比，基于知识的需要有关系统的可靠的先验定量知识或定性知识。数据驱动的方法主要有机器学习和深度学习的方法，近年来深度学习技术在图像分类和自然语言处理方面取得了巨大的成功，但目前化工过程的故障分类中，现有的方法为直接套用图像分类的网络架构，在化工过程的故障分类中实现的分类准确率不高，需要设计针对化工过程数据的故障分类的网络架构。

专利CN110033021A公开了一种基于一维多路卷积神经网络的故障分类方法，该方法通过沿时间方向使用多路并列的一维卷积神经网络，各路一维卷积独立的对原始数据进行卷积、池化，提取时序特征，“多路”是指使用多种尺寸的卷积核对数据进行特征提取。然而，该方法使用了多路一维的卷积进行数据特征的提取，该网络架构复杂，不能很好地满足实际化工过程中的应用；同时其在田纳西伊斯曼化工过程中的21类全部故障的分类准确率仅为64.14％，分类准确率有待提升。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了种基于一维多头卷积网络的工业过程故障分类方法和系统，其目的在于利用一维多头卷积网络的特性来提取过程变量的特征进行故障分类，该模型网络架构简单，便于实际部署，需要的计算力少，执行速度快，分类准确率高，可以更好的满足实际化工过程中的应用。

为实现上述目的，按照本发明的第一方面，提供了一种基于一维多头卷积网络的工业过程故障分类方法，该方法包括：

S1.对采集到的原始故障数据进行标准化处理，对标准化后故障数据沿时间维度对每个变量进行截取，将数据截取后得到的数据集划分为训练集和验证集，所述训练集和验证集均包含所有故障类型的样本；

S2.使用训练集训练故障分类模型，使用验证集调整故障分类模型的超参数，以获得使模型分类性能最佳的超参数，所述故障分类模型包括依次串联的：一维多头卷积层、一维池化层、第一组归一化层、二维卷积层、二维池化层、第二组归一化层、非线性激活层、Dropout层、第一层全连接层、第二层全连接层、批归一化层和SoftMax分类层；

S3.将待测样本输入至训练好的故障分类模型，得到待测样本的类别预测结果。

优选地，所述一维多头卷积层，用于对每个变量进行独立的一维卷积操作，每个卷积的核大小相同，得到工业过程中每个变量在时间维度的变化特征。

优选地，所述二维卷积层，用于对输入的特征进行高一层次的特征提取，从时间维度和变量维度同时进行卷积以提取特征。

优选地，所述第一组归一化层用于对每个变量独立卷积出的特征进行独立的归一化；所述第二组归一化层用于对前层输出的特征中每一个通道进行独立的归一化；所述批归一化层用于对前层输出的特征进行归一化。

优选地，标准化处理公式为：

其中，x^*表示标准化之后的特征，x表示原始数据集的列向量，对应各样本故障类别，

表示列向量x的均值，x表示列向量x的标准差。

优选地，所述对标准化后故障数据沿时间维度对每个输入变量进行截取，截取后的数据表示如下：

其中，

表示以时间窗口长度L截取第j个变量的第t个样本，T表示采集样本点的总数目。

优选地，归一化的公式如下：

其中，x表示输入数据，y表示输出数据，E(x)表示x的均值，var(x)表示x的方差，∈表示稳定性因子，γ和β表示大小为d的仿射变换参数向量，d表示单个样本中变量的数目。

优选地，该方法还包括：

结合故障的实际类别，得到分类准确率acc，其计算公式为：

其中，N表示分类的样本总数，Nc表示分类正确的样本总数。

优选地，该方法还包括：

使用故障检出率对每一类故障的分类效果进行计算，其计算公式如下：

其中，

表示第i类故障的故障检出率，num_i表示第i类故障样本的总数，N_r表示第i类故障样本中所有预测正确的样本总数。

为实现上述目的，按照本发明的第二方面，提供了一种基于一维多头卷积网络的工业过程故障分类系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行第一方面所述的基于一维多头卷积网络的工业过程故障分类方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明使用一维多头卷积，对每个输入的过程变量进行单独的一维卷积，实现对原始数据的一种平滑，忽略数据在短时间内的微小波动，突出对于判别故障类型有用的特征。本发明在网络结构简单的基础上，为了更细致的考虑变量之间可能提取的组合特征，在变量维度方向上也同时进行卷积，同时在时间维度和变量维度这两个方向进行扫描，与使用一维卷积只沿着时间轴方向进行扫描相比，可以从数据中提取更多的有用特征。

(2)本发明提出的分类模型以单路两层的卷积结构为主，是单路卷积结构，模型简单，便于实际部署，在实际中，采集工业过程的故障数据，离线训练模型；工业过程在线运行时，将传感器读数经本发明的数据预处理步骤处理后输入至模型，实时地诊断发生的故障的类型；分类器同时输出了故障属于各个类型的可能性大小。

附图说明

图1为本发明实施例提供的一种基于一维多头卷积网络的工业过程故障分类方法的流程图；

图2为本发明实施例提供的模型的网络结构示意图；

图3为本发明实施例提供的一维多头卷积操作和二维卷积操作的示意图；

图4为本发明实施例提供的田纳西伊斯曼仿真过程(Tennessee EastmanChemical Process Benchmark)的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明公开了一种基于一维多头卷积网络的工业过程故障分类方法，该方法包括：

步骤S1.对采集到的原始故障数据进行标准化处理，使用时间窗对标准化后的数据进行截取，将数据截取后得到的数据集划分为训练集和验证集，所述训练集和验证集均包含所有故障类型的样本。

在工业系统的实际工业过程中，利用传感器采集的发生各种故障时的数据，采集的数据信息为化工系统中的各测量变量和控制变量的数据，例如，温度参数、压力参数、流量参数等，将采集到的故障数据作为原始数据，构成数据集X∈R^n×d，并对采集的数据标明所属类别Y∈Nⁿ，其中，n为按时序采集的样本个数，d代表采集的数据维度，即采集的过程变量的数目。

为避免因为各个变量的值存在数量级的差别而影响优化模型参数的效果，对原始故障数据进行标准化处理，得到标准化后数据集X^*。利用Numpy，根据下式进行对数据集X进行标准化处理，标准化公式为：

其中，x^*表示标准化之后的特征，x表示数据集X的列向量(对应类别i)，

表示列向量x的均值，x表示列向量x的标准差。

为了适用于卷积网络处理，本发明使用时间窗对标准化后的数据进行截取，从而完成数据增强。具体地，取长度为L的时间窗，移动步长为1，对数据集X^*＝{x₁，x₂，...，x_i，…，x_n}的列向量x_i＝{v₁，v₂，…，v_j，…，v_d}进行数据增强，其中，

为对应过程变量j的数据，j＝1，2，...，d，

为以时间窗口长度L截取的第t个样本，T为采集样本点的总数目，具体如下公式所示：

对将数据增强后的数据集划分为训练集和验证集，均包含所有类型的故障样本，训练集用于训练故障分类模型，通过设置分类模型的参数，训练分类模型；在验证集上评估模型的分类性能，调整故障分类模型的超参数，获取在验证集上使得模型分类性能最佳的超参数。

步骤S2.使用训练集训练故障分类模型，使用验证集调整故障分类模型的超参数，如图2所示，所述故障分类模型包括依次串联的：一维多头卷积层、一维池化层、第一组归一化层、二维卷积层、二维池化层、第二组归一化层、非线性激活层、Dropout层、第一层全连接层、第二层全连接层、批归一化层和SoftMax分类层。

(1)如图3所示，所述一维多头卷积层，用于对每一个输入变量进行独立的一维卷积操作，得到工业过程中每个变量在时间维度的特征。其中，模型进行批次训练，批次大小为M，即每个训练批次输入的样本数目为M个，输入为标准化和数据截取后的工业过程的运行数据，用M×d×L的三维数据矩阵表示，d为单个样本中变量的数目，L为截取样本的时间窗长度；一维多头卷积层使用d个一维卷积头(卷积头的数量由输入变量的数目决定)，对每个变量进行独立的卷积操作，每个卷积的核大小相同，本实施例中均为3，卷积的步长为1，零填充的大小为1；输出工业过程中每个变量在时间轴的特征，用M×d×L的特征矩阵表示。

化工过程中产生的数据为时序数据，各个变量的数据在短时间内的变化往往是很小的，为了突出变量数据的主要特征，本发明使用一维多头卷积对每个输入的过程变量进行单独的一维卷积，实现对原始数据的一种平滑，忽略数据在短时间内的微小波动，提取变量数据的显著特征。

在一维多头卷积中，每个变量都对应于一个一维卷积，对单个变量进行一维卷积的计算公式如下：

其中，y是一维卷积的输出，x(i)为卷积核第i个位置对应相乘的数据，α为对应卷积核的权重矩阵。

可以看出，对单个变量进行一维卷积，可以视为对原始的输入变量进行了平滑作用。本发明使用神经网络的反向传播算法可以自动学习参数α，自动为故障分类提取合适的特征。

(2)所述一维池化层为一维全局平均池化层，用于对前层提取的特征进行降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。其中，输入为一维多头卷积层输出的M×d×L特征矩阵，本实施例中，其池化的窗口大小为3，步长strides为1，零填充的大小为1，输出为M×d×L的特征矩阵。

(3)所述第一组归一化层(group normalization)，用于计算每个特征变量的均值和标准差，并对每个特征变量进行仿射变换，从而实现对每个变量独立卷积出的特征进行独立的归一化。其中，设定参数num_groups＝d，num_channels＝d，输入为一维池化层输出的d×L特征矩阵，组归一化层首先将输入分为d组，每组单独对应一个特征变量，对每个特征变量进行独立的归一化，输出数据形状不改变。

对一个特征变量的归一化公式如下：

其中，x为输入的一个特征变量数据，y为对应的输出数据，E(x)为x的均值，uar(x)为x的方差，∈为增加分母稳定性的因子，本实施例中，∈＝1×10^-5，γ和β是大小为d的仿射变换参数向量，由反向传播算法自动学习。

(4)如图3所示，所述二维卷积层，用于对输入的特征进行高一层次的特征提取，从时间维度和变量维度同时进行卷积以提取特征。其中，输入为增加一个维度后的第一批归一化层的输出，形状为M×1×d×L，64个大小为3×3的卷积核，卷积的步长为1，零填充的大小为1，输出M×64×d×L的特征矩阵。

虽然获取的化工过程中的数据是二维数据，有时间维度和变量维度，现有的方法为了简化卷积操作，大都只沿着时间轴方向进行一维卷积，但化工过程中采集的数据有多种类型的变量，如控制变量、过程变量，变量的特性不一致，本发明在网络结构简单的基础上，为了更细致的考虑变量之间可能提取的组合特征，在变量维度方向上也同时进行卷积。

(5)所述二维池化层为二维全局平均池化层，用于特征降维，减少模型参数的数量，降低模型过拟合风险，提高模型的容错性。其中，输入为二维卷积层输出的M×64×d×L特征矩阵，本实施例中，其池化的窗口为3，卷积的步长strides为1，零填充padding的大小为1，输出为M×64×d×L的特征矩阵。

(6)所述第二组归一化层，用于独立的归一化前层输出的每一个通道。设定参数num_groups＝64，num_channels＝64，输入为二维池化层输出的M×64×d×L的特征矩阵，输出数据形状不改变，归一化公式和第一组归一化层相同。

(7)所述非线性激活层为Relu激活层，用于引入非线性特性到网络中。其中，输入为第二批归一化层输出的M×64×d×L特征矩阵，输出数据形状不改变。

(8)所述Dropout层，用于随机对该层的一定比例的神经元输出置零，防止模型过拟合。其中，输入为非线性激活层输出的M×64×d×L特征矩阵，输出数据形状不改变，本实施例中，dropout＝0.2。

(9)所述第一层全连接层，用于将之前层提取的特征进行展开其中，输入为Dropout层输出展开为一维后的张量，输出形状为M×64×d×L的特征矩阵。

(10)所述第二层全连接层，用于将前层输出的特征映射到对应的故障类型设定神经元数目为数据集中的类别数目nb_class。其中，输入为第一层全连接层输出的一维张量，输出为M×nb_class的数据矩阵。

(11)所述批归一化层，用于标准化前层的输出。设定参数num_features＝nb_class，输入为第二层全连接层输出的M×nb_class的数据矩阵，输出数据形状不改变，归一化公式和第一组归一化层相同，其对nb_class列的数据中的每一列进行归一化。

(12)所述SoftMax分类层，用于预测输入属于每一种类别的概率。设定参数dim＝nb_class，输入为第三批归一化层的输出，输出为M×nb_class的数据矩阵，其中，每一行对应于属于nb_class种故障类型中每一种的概率。

输入训练集进行模型的训练，并在验证集上评估模型的分类性能，性能指标为平均准确率，使用交叉熵损失函数，结合Adam优化算法调整该分类模型的参数，使用10折交叉验证和网格搜索法选取模型的超参数：批次大小M、截取数据的时间窗口长度L、二维卷积网络的卷积核个数和Adam优化器的学习率。具体步骤如下：

(1)设定批次大小的候选值为{32，64}，时间窗口长度的候选值为{4，8，16，20，32，40，64，128，256}，二维卷积网络卷积核数目的候选值为{16，32，64，128，256}，优化器的学习率的候选值为{0.000001，0.00001，0.0001，0.001，0.01，0.1}，选取一组超参数；

(2)对构建的分类模型进行初始化，随机初始化网络中的待训练参数，采用交叉熵损失函数，使用Adam优化器优化模型参数；

(3)输入训练集，利用SoftMax输出预测类别，完成模型的训练；

(4)输入验证集在训练好的模型上进行性能评估，取SoftMax输出的属于各个故障的概率中最大的对应的故障类型为预测的故障类型，获得模型的分类准确率；

(5)重复步骤(2)、(3)、(4)10次，求得该组超参数的平均准确率；

(6)重复步骤(1)～(5)，直到测试完所有超参数，选择使得模型10次分类的平均准确率最高的模型超参数。

(7)将已确定网络结构的模型在训练集上使用Adam优化器进行模型参数调优，得到最优的模型。

步骤S3.将待测样本输入至训练好的故障分类模型，得到待测样本的类别预测结果。

结合故障的实际类别，得到分类准确率，其计算公式为：

其中，N为分类的样本总数，N_c为分类正确的样本总数。

为了进一步衡量本发明的分类效果，使用故障检出率对每一个故障的分类效果进行计算，其计算公式如下：

其中，

为第i类故障的故障检出率，num_i为第i类故障样本的测试总数，N_r为第i类故障样本中所有预测正确的样本总数。

该方法在原始数据输入后首先使用简单的一维多头卷积进行特征提取，卷积头的数量由输入变量的数目决定，再经过二维卷积提取特征，设计了简单的网络模型架构，可以方便处理工业过程中产生的大量数据。

对应地，本发明还提供了一种基于一维多头卷积网络的工业过程故障分类系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述基于一维多头卷积网络的工业过程故障分类方法。

以下以田纳西伊斯曼化工过程为实施例，对本发明提供的基于深度学习和信号分析的故障诊断方法进行进一步说明。

实施例中，田纳西伊斯曼化工过程如图4所示，具体过程如下：气体物料A、C、D、E这四种起始反应物于反应器中在催化剂的作用下生成液态产物G、H，同时伴随生成一种副产品F。反应器有一个内部的冷凝器Condenser，用来移走反应产生的热量，产物以蒸汽形式离开反应器，并伴随着尚未反应的部分反应产物，经过一个冷凝器，到达气液分离器。不能冷却的组分通过一个离心式压缩机Comprossor循环回到反应器的进料口。冷凝后的组分被输送到产品解吸塔，以主要含A、C的流股作为气提流股，将残存的未反应组分分离出来，并从产品解吸塔(汽提塔stripper)的底部，进入界区之外的精致工段；惰性物和副产物主要在气液分离器中以气体的形式从系统中放空出来。

实施例中，对过程各部件、原料、中间产物等进行测量，产生了41个测量变量，加上11个进料和冷却水的阀门操作变量，综合而全面地衡量过程的运行状态。

利用本发明提供的基于深度学习和信号分析的故障诊断方法对实施例的田纳西伊斯曼化工过程进行故障检测的方法，具体如下：

(1)标准化数据集

载入田纳西伊斯曼化工过程的仿真数据集，TE集中的数据由22次不同的仿真运行数据构成，TE集中每个样本都有52个观测变量。包括了正常和21种故障时的带标签的训练集和数据集。本发明使用所有的故障样本集，训练集中，数据采集时长为25h，每3分钟采集一次样本，正常训练集中共采集了500个样本点，故障类型的数据从第1h开始加入故障，即故障训练集中采集了24h，共有480个故障样本点。测试集中，数据采集时长为48h，正常数据集共采集了960个样本点，故障类型的数据从第8h开始加入故障，即故障训练集中共采集40h，共800个故障样本点。利用NumPy标准化数据：

(2)数据增强

X＝{X₁，X₂，…，X₂₁}，X_i为对应类别i的数据，i＝1，2，...，21，X_i＝{v₁，v₂，…，v₅₂}，v_j为对应过程变量j的数据，j＝1，2，...，52，

按采集的时间时序排列，T为采集样本点的总数目，使用时间窗对采集的数据进行截取，取时间窗的长度为L，移动步长为1，对X_i进行数据增强，

为时刻t，以时间窗口长度为L截取数据，具体数据截取方式如下公式所示：

分别处理原始的田纳西伊斯曼化工过程的仿真数据集中的训练集和测试集，得到模型需要的训练集和测试集；

(3)搭建模型网络结构

使用Pytorch搭建基于卷积神经网络的故障分类模型，其模型结构包含12层，依次是多头一维卷积层，一维池化层，组归一化层，二维卷积层，二维池化层，组归一化层，Relu层，Dropout层，第一层全连接层，第二层全连接层，批归一化层和SoftMax分类层。采用交叉熵损失函数，使用Adam优化器优化模型参数，利用SoftMax函数输入预测类别。

(4)选定模型的超参数

首先对构建的分类模型进行初始化，采用随机初始化网络中的待训练参数；其次，使用网格搜索法选取模型的超参数：截取数据的时间窗口长度、二维卷积网络的过滤器个数，优化器的学习率，输入训练集，并在测试集上评估模型的分类性能，性能指标为平均准确率，使用交叉熵损失函数，结合Adam优化算法调整该分类模型的参数，具体步骤如下：

步骤1：设定批次大小的候选值为{32，64}，时间窗口长度的候选值为{4，8，16，20，32，40，64，128，256}，二维卷积网络过滤器的数目候选值为{16，32，64，128，256}，优化器的学习率的候选值为{0.000001，0.00001，0.0001，0.001，0.01，0.1}，选取一组超参数；

步骤2：对构建的分类模型进行初始化，随机初始化网络中的待训练参数，采用交叉熵损失函数，使用Adam优化器优化模型参数；

步骤3：输入训练集，利用SoftMax函数输出预测类别，完成模型的训练；

步骤4：输入测试集在训练好的模型上进行性能评估，取SoftMax输出的属于各个故障的概率中最大的对应的故障类型为预测的故障类型，获得模型的分类准确率；

步骤5：重复步骤2至410次，求得该组超参数的平均准确率；

步骤6：重复步骤1至5，直到测试完所有超参数，选择使得模型10次分类的平均准确率最高的模型超参数；在本实施例中，最终选择批次大小为32，数据截取的窗口长度为64，二维卷积神经网络的过滤器数目为64，Adam优化器的学习率为0.001。

(5)模型在训练集上进行训练

将已确定网络结构的模型在训练集使用Adam算法进行模型参数调优；随机初始化网络中的待训练参数；其次使用训练样本训练该分类模型，训练样本输入该模型后得到预测的故障类型标签；然后使用交叉熵损失函数，结合Adam优化算法调整该分类模型的参数，得到最优的模型；

(6)模型在测试集上进行泛化性能测

将测试集输入我们训练的分类模型，得到模型的类别预测结果，根据故障的实际类别，得到模型的分类准确率。

表1为支持向量机(SVM)、线性判别分析法(FDA)、LightGBM、专利CN110033021A公开的故障分类方法以及本发明的方法(MH-CNN)的故障诊断结果比较的示意表。为了进一步衡量本发明的分类效果，使用故障检出率对每一个故障的分类效果进行衡量，如表2所示，本发明方法对其中15种故障的故障检出率都达到90％及以上，12种故障的故障检出率都达到99％及以上。

表1

故障类型	故障检出率
		1	1.00
2	1.00
		3	1.00
4	1.00
		5	0.85
6	1.00
		7	1.00
8	0.93
		9	0.31
10	0.62
		11	0.99
12	1.00
		13	0.40
14	1.00
		15	0.55
16	0.90
		17	1.00
18	0.93
		19	0.99
20	0.95
		21	1.00

表2

在田纳西伊斯曼工业过程的仿真数据集中，实验结果表明，本发明建立的基于一维多头卷积网络的分类器获得了比现有方法更好的分类准确率。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。