CN110033021A - 一种基于一维多路卷积神经网络的故障分类方法 - Google Patents

Abstract

本发明公开了一种基于一维多路卷积神经网络的故障分类方法，属于工业过程监控技术领域。该方法对传统的二维卷积神经网络做出改进，沿变量方向运用多路并列的一维卷积神经网络，对各变量之间的互相关性进行解构，独立地对各变量进行卷积、池化而提取时序特征信息，所提取的特征更加多样化，鲁棒性更高，克服了传统二维卷积神经网络对输入数据中变量先验排列次序的敏感，更加适用于复杂、高阶的工业过程数据；实验表明，采用本发明提供的基于一维多路卷积神经网络训练得到的故障分类模型，可有效地进行工业过程数据的故障分类，相比常用模型具有更高的泛化能力。

Description

一种基于一维多路卷积神经网络的故障分类方法

技术领域

本发明属于工业过程监控技术领域，更具体地，涉及一种基于一维多路卷积神经网络的故障分类方法。

背景技术

故障分类技术对于工业过程事故后的根源诊断和故障排查具有重要作用，它已成为一项交叉性的技术，主要涉及到了统计学、应用数学、信号分析和以及机器学习领域。随着跨领域的深入研究和不断发展，许多专家学者已应用的不同的故障分类方法主要可概括为数学建模、数据驱动两大类。在数据驱动方法中，深度学习方法取得了超越传统的信号分析、多元统计学习等算法的表现得到了广泛应用。

二维卷积神经网络的应用出现于计算机视觉领域，其中的二维卷积核通过矩形的感受野对图像数据进行遍历，旨在提取出图像的局部特征，并通过二维池化核提取出显著特征；而在数据处理领域，对高维数据对象的处理中，各学者通常对原数据进行定长片段的划分，再将二维卷积核的感受野设置为若干个相邻变量的时间序列所构成的二维矩阵，对该定长片段的数据矩阵进行卷积遍历；但这类感受野在应用中产生了很大的问题，它先验地考虑了变量的排列次序，模型将对变量排列次序敏感，无法保证稳定的局部特征提取性能。

也有学者提出了使用感受野为囊括所有的特征变量的定长时间片段的二维卷积核结构，但也产生了新的假设条件：若干的特征变量须具有线性或非线性的关系，才能协同产生稳定有效的特征；且这些特征变量之间也应具有稳定的时移特性，才能消除在时间尺度上特征的变异性；其假设条件较为苛刻，也不能对特征进行稳定而有效的提取。

因此，现有二维卷积神经网络存在对变量次序敏感，不能对特征进行稳定而有效的提取，进而导致故障识别准确度和精度低的问题。

发明内容

针对现有二维卷积神经网络技术的应用缺陷，本发明的目的在于利用一维卷积与池化的多路操作对变量之间的相关性进行解构，通过独立分析过程变量的局部时序特性以进行故障分类，旨在解决二维卷积网络对变量次序敏感，导致故障识别的准确度和精度低的问题。

为实现上述目的，本发明提供了一种基于一维多路卷积神经网络的故障分类方法，包括：

(1)采集工业过程中各个故障状态下的数据，并对这些数据进行故障标记和标准化处理以构建数据集；

(2)搭建多路一维卷积神经网络模型，对所述数据集进行特征提取；所述多路一维卷积神经网络模型包括依次设置的一维卷积层、最大池化层、批正则化层、非线性激活层、全连接层和分类器；

(3)选取所述多路一维卷积神经网络模型超参数；

(4)从步骤(1)中构建的所述数据集中提取部分数据以构建训练集，并将所述训练集输入步骤(2)中搭建的多路一维卷积神经网络模型中进行训练，以获得故障分类模型；

(5)采集工业工程实时数据，输入所述故障分类模型中进行检测，得到故障分类结果。

进一步地，所述步骤(1)中所述标准化处理具体为：

x′_n,i＝(x_n,i-x_n,mean)/x_n,sigma

其中，x_n,mean表示样本在第n个特征变量下的均值，x_n,sigma表示样本在第n个特征变量下的方差，M表示采样总数，x_n,i表示第i个样本数据在第n个特征变量下的原始值，x′_n,i表示第i个样本数据在第n个特征变量下的标准化值。

进一步地，所述步骤(2)中所述搭建多路一维卷积神经网络模型，具体包括：

(21)建立一维卷积层，以获取标准化样本数据更高阶次的时序特征；

(22)建立一维最大池化层，并以所述一维卷积层的输出作为所述一维最大池化层的输入，以获取标准化样本的显著时序特征；所述一维最大池化层表达式如下：

其中，第l层的第j个最大池化核的输出，表示第l层的第j个最大池化核，⊙表示池化核A在第l-1层所有关联的特征图上做最大池化运算；

(23)建立批正则化层，对所述显著时序特征进行重新分布；

(24)建立非线性激活层：

其中，x表示批正则化层的输出，τ是一个很小的整数，默认取值为0.2；

(25)所述一维卷积层、最大池化层、批正则化层和非线性激活层组成单路特征提取单元，多个所述单路特征提取单元并列组成多路特征提取模块，以提高特征提取的鲁棒性；

(26)通过flatten将提取到的特征维度由多维转换为一维；

(27)构建层叠的全连接层，对得到的一维特征进行综合；

(28)构建softmax分类器，对所述一维特征进行分类。

进一步地，所述步骤(21)中所述一维卷积层包括多个层叠的一维卷积单元，其中每个一维卷积单元的构建步骤具体包括：

(211)对输入数据进行一维卷积操作：

w_j ^T＝[w₁ w₂ … w_{conv_size_j}]

其中，conv_size_j表示第j个一维卷积核的大小，·表示矩阵乘积，w表示一维卷积核的权值，是待学习的参数，它通过加权求和提取第i个感受野x_i当中的特征；

(212)对一维卷积核设置其通道数，得到一维卷积单元。

进一步优选地，所述步骤(21)中所述一维卷积层由两个一维卷积单元组成。

进一步优选地，所述步骤(25)中所述多路特征提取模块由三路并列的单路特征提取单元组成。

具体地，步骤(3)具体包括以下步骤：

(31)先以预设的倍数，该倍数取值范围为8-12，优选10，生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成超参数粗选；

(32)再以更低的设定倍数，该倍数取值范围为2-5，优选5，生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成超参数精选；

(33)最后以倍数1生成超参数的候选序列，完成超参数的最优选择。

进一步地，所述步骤(4)中所述将所述训练集输入所述多路一维卷积神经网络模型中进行训练，具体为：将训练集作为损失函数Loss的输入，通过BP反向传播算法进行进行端对端的训练，得到训练好的模型。

进一步地，所述通过BP反向传播算法优化，具体包括：令π为模型中的所有权重和偏置、批正则化的分布参数的集合，对π进行迭代更新直到收敛，得到优化的损失函数Loss。

通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：

(1)本发明对传统的二维卷积神经网络做出改进，运用多路并列的一维卷积神经网络，对各变量之间的互相关性进行解构，独立地对各变量进行卷积、池化操作，所提取的特征更加多样化，鲁棒性更高，克服了传统二维卷积神经网络对变量排列次序的敏感，更加适用于复杂、高阶的工业过程数据

(2)实验表明，基于本发明的一维多路卷积神经网络得到的故障分类模型，可有效进行工业过程数据的故障分类，相比常用模型具有更高的泛化能力。

附图说明

图1是本发明实施例提供的一种基于一维多路卷积神经网络模型的故障分类方法流程图；

图2是多路一维卷积神经网络模型结构示意图；

图3是端对端地对模型进行训练的子流程图；

图4是本发明实施例中田纳西伊斯曼仿真过程的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1，本发明实施例提供的一种基于一维多路卷积神经网络模型的故障分类方法，包括以下步骤：

(1)采集工业过程中各个故障状态下的数据，并对这些数据进行故障标记和标准化处理以构建数据集；

(2)搭建多路一维卷积神经网络模型，对所述数据集进行特征提取；所述多路一维卷积神经网络模型包括依次设置的一维卷积层、最大池化层、批正则化层、非线性激活层、全连接层和分类器；

(3)选取多路一维卷积神经网络模型超参数；

(4)从所述数据集中提取部分数据作为训练数据集，输入所述多路一维卷积神经网络模型中进行训练，得到故障分类模型；

(5)采集工业工程实时数据输入所述故障分类模型中进行检测，得到故障分类结果。

其中，多路一维卷积神经网络模型如图2所示，首先对输入数据做出标准化处理，然后传入层叠的一维卷积单元提取高阶次的、鲁棒的时序特征，再传入批正则化层进行数据分布的转化以构造具有分类特征的分布特性，再传入Leaky ReLU非线性激活以选择性地通过特征，再传入至全连接层中进行各个变量的特征的融合，最后传入至softmax分类器转换为各个故障发生的概率值。

再则，端对端地对模型进行训练的子流程如图3所示，通过前向计算模型的故障概率输出，再计算误差，通过BP算法反向传播至模型的各层参数。

以下以田纳西伊斯曼化工过程为实施例，对本发明提供的一种基于一维多路卷积神经网络的故障分类方法进行进一步说明。

实施例中，田纳西伊斯曼化工过程如图4所示意的，具体过程如下：气体物料A、C、D、E这四种起始反应物于反应器中在催化剂的作用下生成液态产物G、H，同时伴随生成一种副产品F。反应器有一个内部的冷凝器Condenser，用来移走反应产生的热量，产物以蒸汽形式离开反应器，并伴随着尚未反应的部分反应产物，经过一个冷凝器，到达气液分离器。不能冷却的组分通过一个离心式压缩机Comprossor循环回到反应器的进料口。冷凝后的组分被输送到产品解吸塔，以主要含A、C的流股作为气提流股，将残存的未反应组分分离出来，并从产品解吸塔(汽提塔stripper)的底部，进入界区之外的精致工段；惰性物和副产物主要在气液分离器中以气体的形式从系统中放空出来。

对过程各部件、原料、中间产物等进行测量，产生了41个测量变量，加上11个进料和冷却水的阀门操作变量，综合而全面地衡量过程的运行状态。

采用本发明实施例提供的一种基于一维多路卷积神经网络的故障分类方法对上述田纳西伊斯曼化工过程进行故障检测，具体操作如下：

步骤1：标准化数据集；

具体地，载入田纳西伊斯曼化工过程的仿真数据集，包括了各个故障的带标签的数据集，划分为训练集(有M＝480例)和测试集(M＝960例)；并采用公式(1)对数据集的输入数据各特征变量进行处理：

x′_n,i＝(x_n,i-x_n,mean)/x_n,sigma (1)

其中，x_n,mean表示样本在第n个特征变量下的均值，x_n,sigma表示样本在第n个特征变量下的方差，M表示采样总数，x_n,i表示第i个样本数据在第n个特征变量下的原始值，x′_n,i表示第i个样本数据在第n个特征变量下的标准化值。

步骤2：搭建多路一维卷积神经网络模型，对标准化样本数据进行特征提取；所述多路一维卷积神经网络模型包括依次设置的一维卷积层、最大池化层、批正则化层、非线性激活层、全连接层和分类器；

具体地，多路一维卷积神经网络模型构建过程包括以下步骤：

(21)其中一维卷积层可由多个层叠的一维卷积单元组成，本发明实施例以两个层叠的一维卷积单元为例对其构建过程进行介绍，一维卷积单元个数增加时，构建过程相同；

通用的一维卷积层可表示为：

其中，表示第l层的第j个卷积核对应的输出，表示第j个卷积核对应的感受野中的第i个输入，M_j表示第j个卷积核的长度，表示第l层的第j个一维卷积核，表示卷积核k在第l-1层关联的各个特征图上作卷积运算，表示第l层的第j个卷积核所带的偏置；

更具体的，本发明提供的一维卷积单元构造方法为：

采取式(3)对数据进行一维卷积操作：

w_j ^T＝[w₁ w₂ … w_{conv_size_j}] (3)

其中，conv_size_j表示第j个一维卷积核的大小，·表示矩阵乘积，w表示一维卷积核的权值，是待学习的参数，它通过加权求和提取第i个感受野x_i当中的特征；

对一维卷积核设置其通道数，即可得到一维卷积单元。

本发明首先通过式(3)的一维卷积操作对特征变量之间的互相关性进行解构，提高提取特征的鲁棒性，克服传统二维卷积神经网络对输入数据中变量先验排列次序的敏感，其次通过将两个独立的一维卷积单元进行叠加，能够获取更高阶次的时序特征，使得提取特征的多样化程度更高，以适应复杂、高阶的工业过程数据，为更准确的进行故障分类打好基础。

(22)一维卷积层建立好之后，建立一维最大池化层，并以所述一维卷积层的输出作为所述一维最大池化层的输入，以获取标准化样本的显著时序特征；所述一维最大池化层表达式如下：

其中，第l层的第j个最大池化核的输出，表示第l层的第j个最大池化核，⊙表示池化核A在第l-1层所有关联的特征图上做最大池化运算；

更具体的，采用式(5)每一层的输入数据进行池化操作：

p_j＝y_i⊙A_j＝max(x_i,j(1),x_x,j(2),…x_i,j(j_{pool_size})) (5)

其中，pool_size为池化核的大小，是模型的超参数；

(23)采用式(6)建立批正则化层，对所述显著时序特征进行重新分布；

其中，b表示批输入的批次大小，μ^l、分别表示第l层批输入的均值和方差，ε是加入到批次方差的常数，表示标准化后的值，γ和β分别是批正则化对分布的标准差和均值进行重构的参数；

(24)采用式(7)建立非线性激活层：

其中，x表示批正则化层的输出，τ是一个很小的整数，默认取值为0.2；

(25)按照上述方法建立的一维卷积层、最大池化层、批正则化层和非线性激活层组成单路特征提取单元，多个所述单路特征提取单元并列组成多路特征提取模块，用于提高特征提取的鲁棒性；

(26)通过flatten将提取到的特征维度由多维转换为一维，具体操作如下：

y_{[batch_size,pool_remained*channels]}＝flatten(x_{[batch_size,pool_remained,1,channels]})

其中，batch_size为通过BP算法训练模型时放入的批次大小，pool_remained由计算得到(其中分别表示两层卷积单元的卷积核大小，pool_size表示池化核的大小)，channels为所有的卷积核通道数之和，即为

(27)采用式(8)构建层叠的全连接层，对得到的一维特征进行综合：

y_k＝f(W_fc ^k,:·x+b_fc ^k),k＝1,2,…N_fc (8)

其中，k表示全连接层各神经元的下标，W_fc表示上一层连接至该层的权重，b_fc表示该层的偏置，N_fc表示该全连接层的神经元总个数，优选30，·表示矩阵乘积，f(·)一般采用恒等函数f(x)＝x或Logistic激活函数

(28)采用式(9)构建softmax分类器，对所述一维特征进行分类；

其中，p(·|x)表示分类器对输入数据做出预测的归一化概率模型，表示输入数据，Fault 1～Nclasses表示故障类别；

其中，全网络及分类器的算法实现，具体如下：

对softmax的输出与真实标签Y求交叉熵(Cross Entropy)：

对所有卷积核以及全连接层的权重向量和偏差向量进行L2范数惩罚，分别为：

通过以上各项构造模型的损失函数，其函数式为：

其中，λ为惩罚项系数，取值为0.001；

(3)使用网格搜索法选取多路的一维卷积神经网络模型的超参数；

具体地，步骤(3)具体包括以下步骤：

(31)先以预设的倍数，该倍数取值范围为8-12，优选10，生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成对超参数的粗选；

(32)再以更低的设定倍数，该倍数取值范围为2-5，优选5，生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成对超参数的精选；

(33)最后设定倍数为1生成超参数的候选序列，完成对超参数的最优选择；

相应地，将上述方法应用于图4的化工过程，对该例中的训练集上使用网格搜索法，从粗选到细选逐步确定模型所有的超参数，直到模型在训练中可收敛至最佳结果；

通过搜索和优选，输入样本的时间切片time_slice＝30；多路(三路：d＝3)的一维卷积池化模块包含：第一层多路卷积为 其通道数分别为层叠的第二层多路卷积为其通道数为层叠的多路一维池化模块为pool1_size＝21，pool2_size＝19，pool3_size＝17(以使得pool1_remained＝pool2_remained＝pool3_remained＝3而用于flatten展开操作)；第一层全连接的结点数为N_fc1＝30；所有卷积核权重、偏置的l2惩罚系数λ＝0.001；损失函数优化器的学习率α＝0.001；

(4)利用训练集对多路的一维卷积神经网络模型进行训练，得到参数训练好的模型；利用测试集对训练好的模型进行检测，计算故障分类精度；

具体地，利用训练集对多路一维卷积神经网络模型进行训练具体包括以下步骤：

(41)通过训练集前向计算模型的交叉熵损失其中y为真实值的向量表示，为模型预测值的向量表示；

(42)通过BP反向传播算法对模型参数进行损失的反向传播，进行有监督训练以最小化损失，调优完毕，即得到训练好的模型。其中，通过BP反向传播算法优化方法为：

令π为模型中的所有权重和偏置、批正则化的分布参数的集合，预设α,β₁,β₂和ε参数值为β₁＝0.9,β₂＝0.999,ε＝10^-8。中间量m,v分别代表该BP算法的学习动量和速度，代入下式优化算法对π进行迭代更新：

直到π收敛，得到优化的损失函数Loss。

(5)模型在测试集上进行泛化性能测试

模型在测试集上进行各故障组的划分，并计算精度。

表1显示了支持向量机、循环神经网络、标准二维卷积神经网络以及本发明的方法的故障分类结果比较，可见本发明的方法优于其他方法，对故障组1-10的分类精度提高至少5％，对故障组1-15提高12％，对故障组1-21提高至少14％，泛化性能表现最优。

表1

故障组	支持向量机	循环神经网络	小波神经网络	二维卷积神经网络	本发明方法
						故障1-10	0.669479	0.682636	0.733583	0.606563	0.792813
故障1-15	0.512500	0.587847	0.605972	0.518334	0.732083
						故障1-21	0.421875	0.443209	0.491245	0.495536	0.641369

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于一维多路卷积神经网络的故障分类方法，其特征在于，包括以下步骤：

(1)采集工业过程中各个故障状态下的数据，并对这些数据进行故障标记和标准化处理以构建数据集；

(2)搭建多路一维卷积神经网络模型，对所述数据集进行特征提取；所述多路一维卷积神经网络模型包括依次设置的一维卷积层、最大池化层、批正则化层、非线性激活层、全连接层和分类器；

(3)选取所述多路一维卷积神经网络模型超参数；

(4)从步骤(1)中构建的所述数据集中提取部分数据以构建训练集，并将所述训练集输入步骤(2)中搭建的所述多路一维卷积神经网络模型中进行训练，以获得故障分类模型；

(5)采集工业工程实时数据，输入所述故障分类模型中进行检测，得到故障分类结果。

2.根据权利要求1所述的一种基于一维多路卷积神经网络的故障分类方法，其特征在于，所述步骤(1)中所述标准化处理具体为：

x′_n,i＝(x_n,i-x_n,mean)/x_n,sigma

其中，x_n,mean表示样本在第n个特征变量下的均值，x_n,sigma表示样本在第n个特征变量下的方差，M表示采样总数，x_n,i表示第i个样本数据在第n个特征变量下的原始值，x′_n,i表示第i个样本数据在第n个特征变量下的标准化值。

3.根据权利要求1或2所述的一种基于一维多路卷积神经网络的故障分类方法，其特征在于，所述步骤(2)中所述搭建多路一维卷积神经网络模型，具体包括：

(21)建立一维卷积层，以获取标准化样本数据更高阶次的时序特征；

(22)建立一维最大池化层，并以所述层叠的一维卷积层的输出作为所述一维最大池化层的输入，以获取标准化样本的显著时序特征；所述一维最大池化层表达式如下：

其中，第l层的第j个最大池化核的输出，表示第l层的第j个最大池化核，⊙表示池化核A在第l-1层所有关联的特征图上做最大池化运算；

(23)建立批正则化层，对所述显著时序特征进行重新分布；

(24)建立非线性激活层：

其中，x表示批正则化层的输出，τ是一个很小的整数，默认取值为0.2；

(25)所述一维卷积层、最大池化层、批正则化层和非线性激活层组成单路特征提取单元，多个所述单路特征提取单元并列组成多路特征提取模块，以提高特征提取的鲁棒性；

(26)通过flatten将提取到的特征维度由多维转换为一维；

(27)构建层叠的全连接层，对得到的一维特征进行综合；

(28)构建softmax分类器，对所述一维特征进行分类。

4.根据权利要求3所述的一种基于一维多路卷积神经网络的故障分类方法，其特征在于，所述步骤(21)中所述一维卷积层包括多个层叠的一维卷积单元，其中每个一维卷积单元的构建步骤具体包括：

(211)对输入数据进行一维卷积操作：

w_j ^T＝[w₁ w₂ … w_{conv_size_j}]

其中，conv_size_j表示第j个一维卷积核的大小，·表示矩阵乘积，w表示一维卷积核的权值，是待学习的参数，它通过加权求和提取第i个感受野x_i当中的特征；

(212)对一维卷积核设置其通道数，得到一维卷积单元。

5.根据权利要求4所述的一种基于一维多路卷积神经网络的故障分类方法，其特征在于，所述步骤(21)中所述一维卷积层由两个一维卷积单元组成。

6.根据权利要求3所述的一种基于一维多路卷积神经网络的故障分类方法，其特征在于，所述步骤(25)中所述多路特征提取模块由三路并列的单路特征提取单元组成。

7.根据权利要求1所述的一种基于一维多路卷积神经网络的故障分类方法，其特征在于，所述步骤(3)具体包括以下步骤：

(31)先以预设的倍数生成超参数候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成超参数初选；

(32)再以更低的倍数生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成超参数精选；

(33)最后以倍数1生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，完成超参数的最优选择。

8.根据权利要求7所述的一种基于一维多路卷积神经网络的故障分类方法，其特征在于，所述步骤(31)中所述预设的倍数为10；所述步骤(32)中所述更低的倍数为5。

9.根据权利要求1或8任一项所述的一种基于一维多路卷积神经网络的故障分类方法，其特征在于，所述步骤(4)中所述将所述训练集输入所述多路一维卷积神经网络模型中进行训练，具体为：将训练集作为损失函数Loss的输入，通过BP反向传播算法进行进行端对端的训练，得到训练好的模型。

10.根据权利要求9所述的一种基于一维多路卷积神经网络的故障分类方法，其特征在于，所述通过BP反向传播算法优化具体包括：令π为模型中的所有权重和偏置、批正则化的分布参数的集合，对π进行迭代更新直到收敛，得到优化的损失函数Loss。