CN114897103A - 一种基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法，该方法可用于特征复杂的工业过程故障诊断。首先，采用多尺度卷积神经网络框架，分别从大尺度范围和小尺度范围提取故障数据之间的不同尺度时空特征，并将多尺度特征融合后训练模型；随后，使用代理近邻成分损失函数训练，使得模型在训练过程中不仅受到正样本的影响，同时引入负样本使不同故障类别之间的距离扩大，相同故障类别之间的距离缩小；为验证模型故障诊断性能的准确性，将其用于废水处理过程的故障诊断。实验结果表明，多尺度卷积神经网络特征提取方法与代理近邻成分损失函数的结合可以明显提高模型故障诊断的准确性，更适用于复杂工业过程的故障诊断。

Description

一种基于近邻成分损失优化多尺度卷积神经网络的工业过程 故障诊断方法

技术领域

本发明涉及废水处理过程的故障诊断方法，具体涉及一种基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法。

背景技术

在工业过程的长时间运行中，由于设备老化、环境气候变化等原因，使得系统存在发生各种故障的风险。由于实际工业过程大多为连续生产过程，且具有生产量大、生产过程复杂、影响因素多等特点，故障的发现往往存在大幅度的时间滞后，因此一旦发生故障往往会带来处理效果不达标、处理单元崩溃等严重后果。当故障发生时，及时发现故障原因并对引起故障的单元进行修复既能维持工业过程运行的稳定性，又能节省由于故障发生引起的处理成本损耗。因此，及时对工业生产过程进行故障诊断是十分必要的。

当前对工业过程的故障诊断主要包括两大类方法：基于先验知识的专家系统和基于数据驱动的模型故障诊断。由于基于先验知识的专家系统需要总结大量先验知识，且对于细微故障以及难以辨识的故障往往难以建立。因此，近年来的主要研究趋向于基于数据驱动的故障诊断方法。对于传统统计分析方法，往往只能够根据数据分布进行故障检测，而难以实现故障类型的区分。与此同时，使用传统机器学习方法尽管能够在一定程度上对故障类型进行区分，但需要花费大量精力用于数据的特征工程，区分不同故障的数据特征。基于深度学习的故障诊断方法因其具有自适应学习数据特征的特点近年来开始广泛应用于故障检测中，但单一输入通道的模型往往只能获取固定尺度范围下的数据特征，因此难以平衡局部故障与全局故障之间的特征。

此外，传统对于工业过程故障诊断的深度学习模型使用交叉熵作为损失函数进行模型权重的迭代更新。交叉熵函数通过将数据沿误差最小的方向逼近正确的标签优化模型的权重，这使得模型只关注分类正确的正样本。尽管在大多情况下交叉熵损失函数可以达到优秀的分类准确率，但对于工业过程故障数据，存在部分故障类别的特征差异极小，这使得不同类之间的决策边界难以确定。

发明内容

本发明针对现有技术中存在的问题，提供一种基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法，所述方法包括以下步骤：

S1.数据预处理：对训练集和测试集数据中的输入数据X及输出数据Y进行标准化，通过数据的标准化消除数据的量纲；将原始数据样本转化为特征图样本，使其作为深度学习模型的输入样本。

S2.构建多尺度卷积神经网络模型，实现工业过程故障类型的区分：为解决传统深度学习模型对于局部全局信息获取的局限性，在此基础上引入了多尺度卷积神经网络模型作为故障诊断的主要框架。

S3.构建代理近邻成分损失函数：在进行神经网络模型权重优化时，使用代理近邻成分损失函数代替交叉熵函数，通过引入负样本使得模型更易获取不同故障之间的决策边界。

S4.对模型权重进行训练：使用Adam优化器训练模型权重，至模型准确率收敛。

S5.根据模型输出结果与实际故障类别之间的差异评估模型的故障诊断性能：将测试集数据带入训练后的模型进行分类，根据输入数据的预测值与真实值计算出各类故障分别的识别准确率以及平均识别准确率，完成模型故障诊断性能的评估。

该方法的优势在于，在卷积神经网络模型的基础上，结合多尺度卷积策略以及代理近邻成分损失优化方法，使得建立的近邻成分损失优化多尺度卷积神经网络故障诊断模型可以更有效地针对数据间隐藏的时空特征以及不同故障之间的细微差异。因此，在面对复杂的工业生产过程，该模型具有较高的故障识别准确率，且相较于传统的故障诊断模型，该模型具有更高的可靠性。

采用上述方案后，本发明与现有技术相比具有如下效果：

与现有技术相比，基于近邻成分损失优化多尺度卷积神经网络故障诊断模型的提出，对工业过程的故障诊断的有益效果是：通过采用深度学习建模的方法，克服了统计分析模型难以区分不同故障特征的缺点，同时解决了传统机器学习模型特征工程成本及耗时高的问题；并通过代理近邻成分损失函数的引入，使得模型训练过程更加趋向于将决策边界处的故障进行区分，从而能够保证工业过程中的故障诊断模型具有较高的精度。

附图说明

图1为故障诊断离线模型建立及在线应用流程。

图2为分别使用交叉熵损失函数和代理近邻成分损失函数的模型训练过程验证集损失变化情况。

图3为模型在测试集上的混淆矩阵热力图。

具体实施方式

下面将对本发明进行更清楚、完整的进一步描述，显然，所描述的实例仅仅是本发明的一部分实例，而不是全部的实施例。

本发明提供的对废水处理过程的故障诊断所采取的技术方案是：

S1.数据预处理：根据公式(1)完成训练集及测试集中输入数据X及输出数据Y的标准化处理，其中训练集用于模型的构建，测试集用于模型性能的评估；并将原始数据样本根据公式(2)转化为特征图样本；

S2.构建多尺度卷积神经网络模型：使用大尺度卷积核和小尺度卷积核分别构建不同尺度卷积神经网络特征提取框架，并将最后一层特征图融合后使用全连接层与输出节点进行链接，以实现过程的故障诊断；

S3.构建代理近邻成分损失函数：在模型训练过程中，对每个类别的故障分别设置代理点，并构建代理近邻成分损失函数，使得模型训练时缩小样本与正代理之间的距离，扩大样本与负代理之间的距离，从而优化决策边界；

S4.对模型权重进行训练：使用Adam优化器训练模型权重，至模型损失收敛，获取训练后的模型。

S5.根据模型输出结果与实际故障类别之间的差异评估模型的故障诊断性能。将测试集数据带入模型进行分类，根据输入数据的标签与真实标签计算出各类别的识别准确率以及平均识别准确率，完成模型预测能力的评估。

步骤S1中，将数据标准化为均值为0，方差为1的标准数据。标准化公式为：

式中，X^＊为原始数据，X为标准化以后的数据，μ及σ分别为均值和方差。

特征图样本的转化公式为：

式中，X_n表示转换后的第n个特征图样本，x_n表示原始数据中的第n个样本点。

步骤S2中，多尺度卷积神经网络模型的构建如下：

S21：构建大尺度卷积神经网络，在网络的卷积层中使用大尺度卷积核，以获取大尺度时空范围内的数据变化特征。网络第一层、第三层为二维卷积层，第二层、第四层为最大池化层，随后通过Leaky-Relu激活函数及Dropout操作进行特征映射获取大尺度卷积神经网络提取的数据特征。其中，Leaky-Relu函数的表达式为公式(3)：

式中，k为一个很小的值，表示对输入负信号的线性修正。

Dropout操作定义为：

式中，N表示一个批次的样本数，x_n和y_n分别表示一个批次中第n个样本的输入和输出特征，ε是一个趋近于0的极小值，用于防止特征图中存在的0方差特征引起的算法失效，γ和β分别表示用于对数据进行尺度缩放和偏移的两个参数。

S22：构建小尺度卷积神经网络，在网络的卷积层中使用小尺度卷积核，以获取小尺度时空范围内的数据变化特征。网络第一层、第二层、第四层、第五层为二维卷积层，第三层、第六层为最大池化层，随后按步骤S21中的Leaky-Relu及Dropout操作映射获取小尺度卷积神经网络提取的数据特征。

S23：记大尺度卷积神经网络提取的特征为W_l，小尺度卷积神经网络提取的特征为W_s，按公式(8)将特征进行融合：

式中，W_n为融合后的数据特征。

S24：将融合后的特征节点与输出层节点进行全连接，建立多尺度卷积神经网络模型。

步骤S3中，按公式(9)构建代理近邻成分损失函数如下：

式中，X表示输入向量组成的矩阵，P^-表示负代理组成的矩阵，s(a，b)表示两个向量之间的余弦相似度。同时，LSE表示对数指数总和函数，是对最大化函数max函数的平滑逼近。

在进行梯度反向传播时，代理近邻成分损失相较于s(x，p)的梯度由公式(10)计算：

步骤S4中，Adam优化器对权重的优化如下：

首先，计算t时刻的梯度：

随后，计算梯度的指数移动平均数，综合考虑之前累积的梯度动量：

m_t＝β₁m_t-1+(1-β₁)g_t (12)

式中，m₀初始化为0，β₁为指数衰减率，用于控制动量和当前梯度的权重分配，通常取0.9。

随后，计算梯度平方的指数移动平均数：

式中，v₀初始化为0，β₂为指数衰减率，控制之前的梯度平方的影响，通常取0.999。

对m_t及v_t进行偏差修正：

最后获取权重更新公式(16)：

式中，α为学习率，默认为0.001，ε为一个极小数，用于防止出现除数为0的情况。

步骤S5中，根据真实标签与预测标签之间的差异统计，并完成模型故障诊断能力的评估；

将测试集数据带入模型进行预测，根据输入数据的预测标签与真实标签分别计算出每个类别的分类准确率以及总体平均分类准确率。准确率计算按公式(17)进行。

式中，TP和TN分别表示正例和负例中被正确分类的个数，P和N分别表示正例和负例的总数。

实施例1：

以某废水处理过程中发生的10种常见故障以及正常运行数据在内的11类数据为例。用于故障诊断的废水处理过程数据包含15个监测变量，分别为入水流量、入水氨浓度、第二个反应槽的硝酸盐浓度、第三个反应槽的溶解氧含量、第四个反应槽的溶解氧含量、第五个反应槽的溶解氧含量、第四个反应槽的总固体悬浮物浓度、第五个反应槽的总固体悬浮物浓度、出水总固体悬浮物浓度、剩余污泥的总固体悬浮物浓度、外循环总固体悬浮物浓度、第五个反应槽的氧转化系数、内循环流量、出水氨浓度以及出水硝酸盐浓度，各类别数据具体信息列于表1中。

表1 故障及正常类别数据类型及信息

结合图1对本发明做进一步详述：

第一步：将训练集数据与测试集数据均转化为特征图类型数据，便于输入模型进行特征提取。

第二步：参考VGG-net和LeNet的网络结构，分别设计大尺度卷积神经网络和小尺度卷积神经网络的网络结构及参数，经过多次实验确定最优结构列于表2中。

表2 卷积神经网络模型结构及其参数

第三步：构建代理近邻成分损失函数，由于本案例中共包含11类数据，因此设定代理数为11。

第四步：使用第二步中的网络模型结构以及第三步中的损失函数，使用训练集数据利用 Adam优化器对模型权重进行训练，直至准确率达到收敛。

第五步：将训练后的模型及权重参数保存，并使用测试集数据进行分类，验证模型的性能。将代理近邻成分损失优化多尺度卷积神经网络与分别使用近邻成分损失和交叉熵损失的大尺度、小尺度卷积神经网络、使用交叉熵损失的多尺度卷积神经网络以及线性判别分析和支持向量机进行故障诊断准确率的对比。

表3列出了8种模型对废水处理过程在测试集上的故障诊断性能对比，结果表明：代理近邻成分损失优化的多尺度卷积神经网络在平均准确率及大部分类别中均取得了最优结果。尤其对于类别0即正常样本，传统方法出现100％的误报情况，本发明提出的方法可达到接近64％的识别准确率。而对于类别9，同样相较于其他方法的识别本方法准确率具有显著提升。与经典线性故障诊断方法线性判别分析相比，代理近邻成分损失优化的多尺度卷积神经网络在故障诊断的平均准确率方面提升了近25个百分点，与此同时相较于经典的非线性故障诊断方法支持向量机，在故障诊断的平均准确率方面提升了近21个百分点。

图2展示了使用传统交叉熵损失函数和使用代理近邻成分损失的模型在训练过程中验证集损失变化情况，可以看出交叉熵函数使得模型训练后期稳定性较差并快速呈现出过拟合的趋势，而本方案使用的代理近邻成分损失则使得模型训练过程更为稳定。使用代理近邻成分损失优化的多尺度卷积神经网络模型对废水处理过程的故障诊断结果于图3中展示。根据图 3和表3，识别准确率较差的类别主要集中在正常数据即类别0、硝酸盐浓度执行器故障即类别5、雨天即类别6、暴风天气即类别7以及溶解氧传感器漂移故障即类别8之间。其中，由于雨天和暴风天气故障随机性波动较强，因此难以捕捉故障特征。溶解氧传感器漂移故障发生早期故障偏移量较小，因此难以检测。而硝酸盐浓度执行器故障与溶解氧传感器偏移故障在故障特征中均属于阶跃性故障，且故障发生后部分时间段内数据特征与正常数据相同，因此难以识别。综上，本方案提出的方法尽管准确率仍存在提升空间，但已具备合理性。

考虑到废水处理过程中数据存在的非线性、时变性以及故障特征难以区分等特性，使得传统的故障诊断模型难以达到令人满意的识别准确率。本发明方法通过多尺度卷积神经网络来从多个维度提取数据的非线性时空变换特征，并通过代理近邻成分损失优化模型训练过程，使代理近邻成分损失优化的多尺度卷积神经网络模型更好的适应实际工业过程的故障诊断。

以上描述了本发明的基本原理、主要特征及本发明的优势所在。以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不局限于此，本行业的技术人员在本发明展示的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该由所附的权利要求书及其等效物界定。

表3 不同模型的故障诊断准确率

Claims (6)

1.基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法，其特征在于，所述建模方法包括以下步骤：

S1.数据预处理：对训练集和测试集数据中的输入数据X及输出数据Y进行标准化，通过数据的标准化消除数据的量纲；将原始数据样本转化为特征图样本，使其作为深度学习模型的输入样本。

S2.构建多尺度卷积神经网络模型，实现工业过程故障类型的区分：为解决传统深度学习模型对于局部全局信息获取的局限性，在此基础上引入了多尺度卷积神经网络模型作为故障诊断的主要框架。

S3.构建代理近邻成分损失函数：在进行神经网络模型权重优化时，使用代理近邻成分损失函数代替交叉熵函数，通过引入负样本使得模型更易获取不同故障之间的决策边界。

S4.对模型权重进行训练：使用Adam优化器训练模型权重，至模型准确率收敛。

2.根据权利要求1所述的基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法，其特征在于，步骤S1中的数据来源于工业过程监测数据，其具体实现过程如下：

步骤S1中，将数据标准化为均值为0，方差为1的标准数据。标准化公式为：

式中，X^＊为原始数据，X为标准化以后的数据，μ及σ分别为均值和方差。

特征图样本的转化公式为：

式中，X_n表示转换后的第n个特征图样本，x_n表示原始数据中的第n个样本点。

3.根据权利要求1所述的基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法，其特征在于，所述步骤S2的具体过程为：

S21：构建大尺度卷积神经网络，在网络的卷积层中使用大尺度卷积核，以获取大尺度时空范围内的数据变化特征。网络第一层、第三层为二维卷积层，第二层、第四层为最大池化层，随后通过Leaky-Relu激活函数及Dropout操作进行特征映射获取大尺度卷积神经网络提取的数据特征。其中，Leaky-Relu函数的表达式为公式(3)：

式中，k为一个很小的值，表示对输入负信号的线性修正。

Dropout操作定义为：

式中，N表示一个批次的样本数，x_n和y_n分别表示一个批次中第n个样本的输入和输出特征，ε是一个趋近于0的极小值，用于防止特征图中存在的0方差特征引起的算法失效，γ和β分别表示用于对数据进行尺度缩放和偏移的两个参数。

S22：构建小尺度卷积神经网络，在网络的卷积层中使用小尺度卷积核，以获取小尺度时空范围内的数据变化特征。网络第一层、第二层、第四层、第五层为二维卷积层，第三层、第六层为最大池化层，随后按步骤S21中的Leaky-Relu及Dropout操作映射获取小尺度卷积神经网络提取的数据特征。

S23：记大尺度卷积神经网络提取的特征为W_l，小尺度卷积神经网络提取的特征为W_s，按公式(8)将特征进行融合：

式中，W_n为融合后的数据特征。

S24：将融合后的特征节点与输出层节点进行全连接，建立多尺度卷积神经网络模型。

4.根据权利要求1所述的基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法，其特征在于，所述步骤S3的具体过程为：

步骤S3中，按公式(9)构建代理近邻成分损失函数如下：

式中，X表示输入向量组成的矩阵，P^-表示负代理组成的矩阵，s(a，b)表示两个向量之间的余弦相似度。同时，LSE表示对数指数总和函数，是对最大化函数max函数的平滑逼近。

在进行梯度反向传播时，代理近邻成分损失相较于s(x，p)的梯度由公式(10)计算：

。

5.根据权利要求1所述的基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法，其特征在于，所述步骤S4的具体过程为：

首先，计算t时刻的梯度：

随后，计算梯度的指数移动平均数，综合考虑之前累积的梯度动量：

m_t＝β₁m_t-1+(1-β₁)g_t (12)

式中，m₀初始化为0，β₁为指数衰减率，用于控制动量和当前梯度的权重分配，通常取0.9。

随后，计算梯度平方的指数移动平均数：

式中，v₀初始化为0，β₂为指数衰减率，控制之前的梯度平方的影响，通常取0.999。

对m_t及v_t进行偏差修正：

最后获取权重更新公式(16)：

式中，α为学习率，默认为0.001，ε为一个极小数，用于防止出现除数为0的情况。

6.根据权利要求1至5任一项所述的基于近邻成分损失优化多尺度卷积神经网络的工业过程故障诊断方法，其特征在于，所述建模方法还包括模型预测能力评估过程，具体为：将测试集数据带入训练后的模型进行预测，根据输入数据的预测标签与真实标签计算出平均准确率及各类别准确率，完成模型故障诊断性能的评估。

Images