CN115905848A

CN115905848A - 基于多模型融合的化工过程故障诊断方法及系统

Info

Publication number: CN115905848A
Application number: CN202111151779.3A
Authority: CN
Inventors: 何亚东; 高新江; 杨哲; 袁壮; 林扬; 武传朋; 李传坤; 王春利; 徐伟
Original assignee: China Petroleum and Chemical Corp; Sinopec Safety Engineering Research Institute Co Ltd
Current assignee: China Petroleum and Chemical Corp; Sinopec Safety Engineering Research Institute Co Ltd
Priority date: 2021-09-29
Filing date: 2021-09-29
Publication date: 2023-04-04

Abstract

本发明涉及化工过程故障检测与诊断技术领域，提供了一种基于多模型融合的化工过程故障诊断方法及系统。其中方法包括：将获取的化工过程数据转换为变量矩阵；将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充；将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征；将提取的变量特征输入训练好的xDeepFM模型，得到所述训练好的xDeepFM模型的输出作为化工过程数据对应的诊断结果。本发明提供的实施方式能够降低模型超参数的复杂程度，消除数据不足带来的诊断效率低和诊断精度低的问题。

Description

基于多模型融合的化工过程故障诊断方法及系统

技术领域

本发明涉及化工过程故障检测与诊断技术领域，具体地涉及一种基于多模型融合的化工过程故障诊断方法、一种基于多模型融合的化工过程故障诊断系统、一种电子设备以及对应的存储介质。

背景技术

现有深度诊断方法在某些方面取得了比浅层学习方法更好的结果，但是对于实际复杂的化工过程系统来说，依然存在以下问题没有有效解决：

(1)数据缺失性问题。由于厂区生产环境、通信网络、传输介质等多种因素影响，工厂采集的信息通常是不完整的，数据变量存在缺失现象，但是现有方法没有专门处理此类问题，基本利用删除或均值处理的方式，破坏了数据间的内在规律。

(2)数据冗余性问题。化工过程数据属于高维度连续型时序数据，包含众多没有用处甚至干扰诊断的信息，严重影响模型训练、优化和结果预测，但是只有部分研究关注到这类问题。

(3)特征单一性问题。现有深度方法特征挖掘不够全面，提取故障特征时只关注到了非线性隐式高阶特征而忽略了显式高阶特征以及线性特征、低阶交互特征对全局建模的补充作用。

发明内容

本发明实施例的目的是提供一种基于多模型融合的化工过程故障诊断方法及系统，以至少部分地解决上述问题。首先，以故障为单位建立样本-变量特征矩阵，利用FunkSVD矩阵分解模型提取样本和变量的潜在因子，对缺失数据进行有效填充；然后，利用极端梯度提升树模型(eXtreme Gradient Boosting,XGBoost)对故障特征进行节点分裂统计，将所有特征按重要性排序，进而去除冗余特征；最后，选取关键特征构建基于极深因子分解机(eXtreme Deep Factorization Machine,xDeepFM)故障诊断分类器，提取三类故障交互特征，并行训练三个网络模型实现复杂模式下对化工故障的准确识别。

为了实现上述目的，本发明第一方面提供了一种基于多模型融合的化工过程故障诊断方法，包括：将获取的化工过程数据转换为变量矩阵；将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充；将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征；将提取的变量特征输入训练好的xDeepFM模型，得到所述训练好的xDeepFM模型的输出作为化工过程数据对应的诊断结果；其中，所述训练好的xDeepFM模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型。

优选的，将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充，包括：将所述变量矩阵分解为样本潜在因子矩阵和变量潜在因子矩阵，所述样本潜在因子矩阵和所述变量潜在因子矩阵共享相同的潜在因子空间；优化所述样本潜在因子矩阵和所述变量潜在因子矩阵；根据优化后的样本潜在因子矩阵和优化后的变量潜在因子矩阵计算得到矩阵运算结果，以所述矩阵运算结果作为所述变量矩阵的增强填充的结果。

优选的，将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征，包括：定义XGBoost模型中单个弱学习器的目标函数；在所述单个弱学习器的训练过程中，优化所述目标函数；并计算优化后的目标函数的残差；通过所述XGBoost模型中的目标函数和残差确定计算变量特征的重要性；确定特征分割点，提取重要性高于所述特征分割点的变量特征。

优选的，所述训练好的xDeepFM模型通过以下步骤得到：构建xDeepFM模型，所述xDeepFM模型由因式分解机模型、深度神经网络模型和压缩交互网络模型构成；构建化工过程中现场生产装置的监控数据的历史数据作为样本数据，将所述样本数据分为训练集和测试集；将所述训练集中的样本数据输入所述xDeepFM模型进行训练，得到训练后的xDeepFM模型；将所述验证集中的样本数据输入训练后的xDeepFM模型，若验证通过，则以所述训练后的xDeepFM模型作为所述训练好的xDeepFM模型。

优选的，将所述训练集中的样本数据输入所述xDeepFM模型进行训练，包括：通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化；通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化；通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化。

优选的，通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化，包括：将所述因式分解机模型中的二阶交互项的权重参数分解为隐因式向量的乘积；构建基于权重参数、隐因式向量、全局偏置、正则化系数的优化方程；利用随机梯度下降法求解所述优化方程中的权重参数，得到最优化的权重参数。

优选的，通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化，包括：根据所述深度神经网络模型中的激活函数、输出函数、权重参数和偏置参数定义损失函数；利用批量梯度下降法求解所述损失函数，通过调整所述深度神经网络模型中的权重参数和偏置参数使所述损失函数最小化。

优选的，通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化，包括：配置所述压缩交互网络模型：根据所述压缩交互网络模型中的前一隐含层的输出和嵌入层的输出得到张量矩阵；对所述张量矩阵进行逐层特征映射后，通过卷积核生成所述前一隐含层的下一隐含层的输出；对每一隐含层对应的逐层特征映射后的张量矩阵进行池化，得到池化后向量；将所有隐含层的池化后向量进行拼接作为所述压缩交互网络模型的输出；定义所述压缩交互网络模型的目标函数：根据损失函数、正则项和参数集构建所述目标函数；以及训练所述压缩交互网络模型：将所述样本数据输入所述压缩交互网络模型，调整所述参数集，使所述目标函数最小化。

在本发明的第二方面，还提供了一种基于多模型融合的化工过程故障诊断系统，所述诊断系统包括：数据转换模块，用于将获取的化工过程数据转换为变量矩阵；增强填充模块，用于将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充；特征提取模块，用于将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征；以及诊断判定模块，用于将提取的变量特征输入训练好的xDeepFM模型，得到所述训练好的xDeepFM模型的输出作为化工过程数据对应的诊断结果；其中，所述训练好的xDeepFM模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型。

在本发明的第三方面，还提供了一种电子设备，包括：至少一个处理器；存储器，与所述至少一个处理器连接；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的基于多模型融合的化工过程故障诊断方法。

本发明第四方面提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行前述的基于多模型融合的化工过程故障诊断方法。

本发明第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述的基于多模型融合的化工过程故障诊断方法。

本发明提供的实施方式基于多个模型融合，鲁棒性、记忆能力、泛化能力及可扩展性优于现有技术，可以同时解决数据缺失、数据冗余、数据特征提取不充分问题，同时自动挖掘、提取多类隐藏交互特征，避免了人工手动提取交互特征的麻烦，并将特征交互模式由元素级别提升为向量级别，有效降低了模型超参数的复杂程度；

本发明提供的实施方式综合考虑三种不同类型的模型，在建模具体诊断模型时，并行训练三类神经网络模型，从时间成本和空间成本上消除数据不足带来的诊断效率、精确率偏低的不足，同时通过多角度建模不同特征关系减少模型对数据的强依赖性；

本发明提供的实施方式可以根据系统复杂性自主、适时地选择不同策略的功能模块，对于简单、复杂的化工过程均可有效处理，泛化性能和记忆性能突出。

本发明实施例或实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1示意性示出了根据本发明实施方式的基于多模型融合的化工过程故障诊断方法的步骤示意图；

图2示意性示出了根据本发明实施方式的FunkSVD模型的原理示意图；

图3示意性示出了根据本发明实施方式的XGBoost模型的原理示意图；

图4示意性示出了根据本发明实施方式的xDeepFM模型的原理示意图；

图5示意性示出了根据本发明实施方式的压缩交互网络模型的结构示意图；

图6示意性示出了根据本发明实施方式的基于多模型融合的化工过程故障诊断方法的实施示意图；

图7示意性示出了根据本发明实施方式的FunkSVD模型在TEPa数据集下调优结果的示意图；

图8示意性示出了根据本发明实施方式的FunkSVD模型在TEPb数据集下调优结果的示意图；

图9示意性示出了根据本发明实施方式中变量特征重要度排序结果的示意图；

图10示意性示出了根据本发明实施方式中xDeepFM模型在TEPa数据集下损失曲线的示意图；

图11示意性示出了根据本发明实施方式中xDeepFM模型在TEPb数据集下损失曲线的示意图；

图12示意性示出了根据本发明实施方式中基于多模型融合的化工过程故障诊断系统的结构示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1示意性示出了根据本发明实施方式的基于多模型融合的化工过程故障诊断方法的步骤示意图，如图1所示。一种基于多模型融合的化工过程故障诊断方法，所述诊断方法包括：

S01、将获取的化工过程数据转换为变量矩阵；

获取的化工过程数据包括若干变量的值，这些变量可能包括过程操作变量、连续过程变量或成分分析变量等。由于后续的模型的输入均优选矩阵的形式，因此此处需要将获取的化工过程数据转换为变量矩阵，以利于后续的处理。此处的转换可以采用函数转换等工具。

S02、将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充；

FunkSVD是一种基于低秩拟合的矩阵分解模型，可以缓解大数据环境下数值矩阵因高维、缺失带来的稀疏性问题，有效提升数据完整性、逻辑性和预测准确性，广泛应用于推荐系统、特征工程等领域。FunkSVD模型的核心思想是将样本-变量特征矩阵M分解为两个低维矩阵S和V，S代表样本潜在因子矩阵，V代表变量潜在因子矩阵，且S、V矩阵共享同一个潜在因子空间。

S03、将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征；

XGBoost是一种基于Boosting集成思想的复合树模型，主要是用来解决有监督学习问题，在网络文本处理、广告点击率预测和产品分类等方向应用效果显著。本实施方式采用XGBoost进行变量特征的提取，具有提取效率高和识别准确的优点。

S04、将提取的变量特征输入训练好的xDeepFM模型，得到所述训练好的xDeepFM模型的输出作为化工过程数据对应的诊断结果；其中，所述训练好的xDeepFM模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型。

xDeepFM模型是一种混合神经网络生成模型，由因子分解机模型(FactorizationMachine，FM)、深度神经网络模型(Deep Neural Networks，DNN)和压缩交互网络模型(Compressed Interaction Network，CIN)三部分组合而成，其中FM模型的作用是提取线性特征和低阶交互特征，DNN模型的作用是提取隐式高阶交互特征，CIN模型的作用是提取显式高阶交互特征，三种不同网络结构共同辅助训练，有效增强了模型的记忆和泛化能力。

通过以上实施方式，基于多个模型的融合，其鲁棒性、记忆能力、泛化能力及可扩展性优于现有技术，可以同时解决数据缺失、数据冗余、数据特征提取不充分问题，同时自动挖掘、提取多类隐藏交互特征，避免了人工手动提取交互特征的麻烦，并将特征交互模式由元素级别提升为向量级别，有效降低了模型超参数的复杂程度。

在本发明提供的一些可选实施方式中，将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充，包括：将所述变量矩阵分解为样本潜在因子矩阵和变量潜在因子矩阵，所述样本潜在因子矩阵和所述变量潜在因子矩阵共享相同的潜在因子空间；优化所述样本潜在因子矩阵和所述变量潜在因子矩阵；根据优化后的样本潜在因子矩阵和优化后的变量潜在因子矩阵计算得到矩阵运算结果，以所述矩阵运算结果作为所述变量矩阵的增强填充的结果。图2示意性示出了根据本发明实施方式的FunkSVD模型的原理示意图。如图2所示，k表示潜在空间维度，p_s∈M^k和q_v∈M^k分别代表样本和变量潜在因子，则对于第s个样本中第v个变量的取值m_sv∈M，即可用p_s和q_v的内积表示，计算公式：

通过求解正则化平方误差的优化问题来计算样本和变量的潜在因子，公式如下：

其中κ表示已有数值的样本-变量集合，λ>0表示用来避免过拟合的正则化系数。

FunkSVD模型通常利用随机梯度下降方法来求解以上优化问题，得到最佳结果，更新公式：

其中γ表示学习速率。

在本发明提供的一些可选的实施方式中，将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征，包括：定义XGBoost模型中单个弱学习器的目标函数；在所述单个弱学习器的训练过程中，优化所述目标函数；并计算优化后的目标函数的残差；通过所述XGBoost模型中的目标函数和残差确定计算变量特征的重要性；确定特征分割点，提取重要性高于所述特征分割点的变量特征。图3示意性示出了根据本发明实施方式的XGBoost模型的原理示意图。如图3所示，XGBoost利用抽样变量特征分布式训练单个弱学习器，通过最小化目标函数逐层计算得到残差，为了拟合残差让样本的损失降到最低，进一步用所得残差集合优化新的弱学习器，完成所有弱学习器的串行训练后，将预测结果加总得到最终强学习器得分。XGBoost模型的目标函数如下：

其中l表示凸损失函数，y_i表示第i个样本的目标类别，

表示第i个样本的预测类别，k表示树的数量，f_k表示第k棵树模型，Ω表示惩罚项，T表示每棵树的叶子数量，ω表示叶子节点的打分集合，γ表示复杂度系数，λ表示正则化系数。采取累加式贪心算法优化目标函数，即每一轮训练时加入一个新的f函数来最大化降低目标函数残差，因此在第t轮中，目标函数变为：

接下来将目标函数进行一阶和二阶泰勒展开，计算下式得到最优值：

其中

和

分别表示损失函数的一阶和二阶导数值，I_j＝{i|q(x_i)＝j}表示叶子节点j的样本集合，q(x)表示每棵树的结构，

表示已知树结构下叶节点j的最优权重。

XGBoost模型最重要的一步是对不同特征进行重要度排序以确定最优分割点，使得分裂后的残差减小量(信息增益)最大，特征信息增益的计算公式为：

其中I＝I_L∪I_R，I_L和I_R表示分裂后左右节点的样本集合。

在本发明提供的一种实施方式中，所述训练好的极深因式分解机故障诊断模型通过以下步骤得到：构建所述极深因式分解机故障诊断模型(后文也简称为xDeepFM模型)，所述极深因式分解机故障诊断模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型构成；图4示意性示出了根据本发明实施方式的xDeepFM模型的原理示意图。如图4所示，该模型是一个并行的混合神经网络生成模型，该模型由因式分解机模型(Factorization Machine，FM)、深度神经网络模型(Deep Neural Networks，DNN)和压缩交互网络模型(Compressed Interaction Network，CIN)三部分组合而成。其中FM模型的作用是提取线性特征和低阶交互特征，DNN模型的作用是提取隐式高阶交互特征，CIN模型的作用是提取显式高阶交互特征。

构建以化工过程中现场生产装置的监控数据的历史数据为样本数据，并将所述样本数据分为训练集和测试集；采用样本数据对极深因式分解机故障诊断模型进行训练是该极深因式分解机故障诊断模型能够正确识别的必要步骤。采用训练集中的样本数据对模型进行训练，以得到较优的模型参数。采用测试集样本数据对模型进行测试，以验证训练过程的训练效果。

将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，得到训练后的极深因式分解机故障诊断模型；此处的训练过程根据实际需要进行设置。例如可选用以下参数：批尺寸batch_size＝64；学习率Learning rate＝0.001；周期epoch＝15；迭代次数τ＝1000等。

将所述验证集中的样本数据输入训练后的极深因式分解机故障诊断模型，若验证通过，则以所述训练后的极深因式分解机故障诊断模型作为所述训练好的极深因式分解机故障诊断模型。经过上一步骤的训练之后，需要对训练的效果进行验证。验证方式采用将验证集中的样本数据进行验证，若诊断结果的准确度较高，则验证通过。否则重复上一步骤的训练过程，继续训练优化该极深因式分解机故障诊断模型。

以上步骤提供了训练好的极深因式分解机故障诊断模型的生成步骤，通过以上步骤能够得到具有故障诊断功能的训练好的极深因式分解机故障诊断模型。

在本发明提供的一种实施方式中，上一实施方式中的样本数据、数据样本的训练集和测试集，采用以下方式获取：将所述监控数据的历史数据进行预处理后得到样本数据，所述预处理包括特征提取和数据标准化；将样本数据进行分类，对分类后的每类样本数据按各自比例抽取作为所述训练集；以抽取训练集后的剩余样本数据作为所述测试集。

在本发明提供的一种实施方式中，将所述训练集中的样本数据输入所述极深因式分解机故障诊断模型进行训练，包括：

通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化；通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化；通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化。如前所述xDeepFM模型由因式分解机模型(Factorization Machine，FM)、深度神经网络模型(Deep Neural Networks，DNN)和压缩交互网络模型(Compressed Interaction Network，CIN)三部分组合而成，本实施方式分别对以上三个模型进行训练，其训练过程将在后文详述。

在本发明提供的一种实施方式中，通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化，包括：将所述因式分解机模型中的二阶交互项的权重参数分解为隐因式向量的乘积；构建基于权重参数、隐因式向量、全局偏置、正则化系数的优化方程；利用随机梯度下降法求解所述优化方程中的权重参数，得到最优化的权重参数。FM模型是一种有监督学习方法，擅长处理数据稀疏情况下的参数估计问题，它可以将任意类型的数据映射为实值特征向量，进而利用线性特征和交互特征完成分类预测。xDeepFM模型中采用标准的二阶FM模型进行线性建模，首先将原始特征经one-hot离散编码后封装成不同的属性向量，然后将属性向量直接输入模型，FM模型表达式见公式(9)：

其中，模型参数w₀、w_i和w_ij分别表示全局偏置、特征i对应的权重和特征i与特征j交互项的权重，n表示输入特征的总维数。

可以看出，FM模型实际由逻辑回归模型和二阶交互项构成，并通过将交互项的权重分解为隐因式向量的乘积来缓解数据稀疏性问题。公式(1)中交互项x_i和x_j的权重w_ij可以表示为

其中v_i和v_j分别表示特征x_i和x_j对应的隐因式向量，隐因式向量

的维数通常基于交叉验证方式确定。

为训练FM模型，只需求解如下优化问题：

其中S表示训练集，λ_w0、λ_w、λ_V分别表示三种模型参数对应的正则化系数。

对于优化问题(2)，利用随机梯度下降法求解权重参数，迭代公式如下:

其中η为学习率。

在本发明提供的一些实施方式中，通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化，包括：根据所述深度神经网络模型中的激活函数、输出函数、权重参数和偏置参数定义损失函数；利用批量梯度下降法求解所述损失函数，通过调整所述深度神经网络模型中的权重参数和偏置参数使所述损失函数最小化。DNN模型是一种可以拥有多个隐藏层的全连接神经网络模型，模型每一层的任意神经元必须与下一层的任意神经元全部连接，以四层DNN模型为例，其中第一层是输入层，第四层是输出层，中间两层是隐藏层。xDeepFM模型的DNN部分首先将属性向量输入进嵌入层转化为连续属性向量e，然后将e输入到前向神经网络来学习复杂高阶特征，此时的高阶特征可以理解为隐式的高阶交互特征，即同一个Field内的元素也会交互，且交互阶数无法控制，计算公式如下：

x¹＝σ(W⁽¹⁾e+b¹) (12)

x^k＝σ(W^(k)x^(k-1)+b^k) (13)

其中x^k表示第k层的输出，σ表示激活函数，W^k表示第k层与第k+1层之间的权重，b^k表示第k+1层的偏置。

DNN模型的损失函数如下：

对于优化问题(14)，利用批量梯度下降法求解，公式如下：

图5示意性示出了根据本发明实施方式的压缩交互网络模型的结构示意图，如图5所示。在本实施方式中，通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化，包括：配置所述压缩交互网络模型：根据所述压缩交互网络模型中的前一隐含层的输出和嵌入层的输出得到张量矩阵；对所述张量矩阵进行逐层特征映射后，通过卷积核生成所述前一隐含层的下一隐含层的输出；对每一隐含层对应的逐层特征映射后的张量矩阵进行池化，得到池化后向量；将所有隐含层的池化后向量进行拼接作为所述压缩交互网络模型的输出；定义所述压缩交互网络模型的目标函数：根据损失函数、正则项和参数集构建所述目标函数；以及训练所述压缩交互网络模型：将所述样本数据输入所述压缩交互网络模型，调整所述参数集，使所述目标函数最小化。CIN模型是xDeepFM模型的核心，它可以通过控制网络的层数来调节特征阶数，有效避免模型参数量随层数的增多而指数级增长的缺陷，从而达到高效提取显式高阶交互特征的目的。CIN模型与DNN模型共享相同的输入，但是特征处理机制大不相同，具体来说，在CIN模型中，连续属性向量e被视为相互作用的一个单位，因此将嵌入层的输出和各隐藏层的输出分别表示为一个矩阵，记为

和

其中X⁰中的第i行是第i个嵌入属性向量：

D是属性向量的维数，H_k表示第k层中特征向量的个数。设H₀＝m，X^k计算公式如下：

其中，

表示第h个特征向量的参数矩阵，○表示Hadamard积。注意，X^k是通过X^k-1和X⁰之间的相互作用导出的，因此特征的交互关系是通过显式计算明确测量的，并且相互作用的程度随着网络深度的增加而增加。

通过观察公式(17)，整个CIN模型的计算可以分为三步：

第一步，计算

把前一隐层的输出状态X^k和嵌入层的输出矩阵X⁰求内积计算出一个中间结果Z^k+1，它是一个三维的张量矩阵，如图5(a)。

第二步，对第一步得到的张量矩阵Z^k+1做逐层特征映射操作，用H_k+1个位置为m*H_k个向量的卷积核生成下一隐层的输出，如图5(b)。

第三步，对第二步生成的每个特征映射矩阵做求和池化操作，公式如(17)，接下来，将所有隐层矩阵池化之后的向量进行拼接作为模型输出，如图5(c)。

其中，i∈[1,H_k]，k∈[1,T]，T表示网络深度。

解决分类问题时，选用softmax函数作为输出函数，公式如下：

其中，K表示类别，σ(Z)_j表示(0-1)范围内的实值K维向量，即属于第j类的概率。

最后，xDeepFM模型的计算公式为：

其中σ是激活函数，a是初始特征，

p+分别是DNN和CIN的输出，w*和b是可学习参数。

xDeepFM模型的损失函数如下：

其中，N是训练样本的总数。优化过程是最小化以下目标函数：

η＝L+λ_s||θ|| (22)

其中λ_*表示正则项，Θ表示参数集。

图6示意性示出了根据本发明实施方式的基于多模型融合的化工过程故障诊断方法的实施示意图，如图6所示。

化工过程故障可以定义为过程变量与正常操作范围之间的偏差，根本原因可能仅涉及到几个因素，但产生的不良后果会影响整个生产系统。基于多模型融合的故障诊断方法从一段时间内不同状态偏差的过程数据中提取各类故障特征，通过串行训练三种不同模型完成对故障类型进行有效诊断分类。本实施方式主要分为两个阶段：离线建模阶段和在线预测阶段。

离线建模阶段包括历史数据采集与预处理、模型训练和模型验证三部分。历史数据采集与预处理部分，首先采集来自化工过程模拟软件系统的连续时序变量历史数据(包含各类故障数据和正常工况数据)；然后对历史变量数据进行初步的数据选择，剔除无关信息；最后对筛选后的变量数据进行Z-score标准化和标签标注等预处理操作，Z-score标准化可以将不同量级数据转化为统一量度的均值为0，标准差为1的数据，公式如下：

其中

为原始数据的均值，σ为原始数据的标准差。

模型训练部分首先将预处理后的历史数据划分为包含相应标签的不同训练集和验证集；然后将训练集数据按照标签转化为样本-变量矩阵后输入FunkSVD模型完成特征矩阵的增强填充，缓解数据空缺对故障诊断的影响；接下来为了减少模型训练成本，消除冗余、噪声数据，将填充后的完整数据输入XGBoost模型计算特征重要性，根据重要性排序提取最有价值的变量特征；最后，将提取后的变量数据输入xDeepFM模型，通过并行训练FM模型、CNN模型和CIN模型，实现对不同类型故障交互特征的深层次提取和高效集成，完成对历史工况的故障诊断。

模型验证部分的目的是通过多次迭代对混合训练模型进行参数调优，增强模型的泛化能力，根据训练集的故障诊断结果，有针对性地调整不同模型参数取值并反馈回训练过程中，以使训练得到的模型拥有最佳的性能。

在线预测阶段包括实时数据采集与预处理、模型测试和诊断分类与维护三部分。实时数据采集与预处理部分，收集来自化工过程模拟软件系统的连续时序变量实时数据，采用与离线建模阶段相同的数据选择和预处理操作。模型测试部分将处理后的实时数据划分为不同的测试集，将测试集数据按照格式要求逐层输入进已经训练好的FunkSVD模型、XGBoost模型和xDeepFM模型，完成多模型融合诊断。诊断分类与维护部分负责将故障诊断预测结果输出，基于输出结果与评价指标评估模型的整体性能，并将评估结果反馈回离线建模阶段，进一步辅助模型提升综合诊断能力。

为了本领域技术人员更好地理解本发明，特通过以下实施方式和效果验证进行说明。

本发明在TEP数据集上进行广泛的对比实验来证明所提多模型融合技术FSXGBXFM的有效性。实验环境配置为3.60GHz、i7-10710U CPU、16GB RAM和Windows10，相关模型用python3.6在五个开源知识库scikitlearn、Gensim、xgboost、xdeepfm和Keras上实现。

1、数据获取及划分

TEP是实际化工控制过程的动态仿真，可以实现多工况系统下的自动切换。从MATLAB 2016a模拟器仿真并采集相关数据，选择9个过程操作变量(XMV1-4、6-8、10-11)、22个连续过程变量(XMEAS1-22)和19个成分分析变量(XMEAS23-41)共50维过程变量组成原始监测变量序列，选择Fault(1)–Fault(20)共20类过程干扰作为监测故障，其中1-7为阶跃故障，8-12为可变故障，13为漂移故障，14、15为粘滞故障，16-20为未知故障。采样频率为50个样本/小时，模拟器在正常状态下运行200小时，收集10000个正常样本。在对20个故障的每次仿真中，模拟器在10小时后引入相应故障干扰，每类故障仿真重复10次，共采集200000个故障样本(每类故障10000个)。

为了模拟实际工厂环境采集数据时的变量空缺场景，将原始数据集中的变量值按10％和20％的比例随机删除构造两个稀疏程度不同的数据集TEPa和TEPb，而后将两个数据集中的每类工况数据按80％、60％和40％比例随机抽取构造不同的训练集，记为TR80、TR60和TR40，每类工况剩余的数据构造对应的测试集，每个训练集随机抽取10％数据用于构造验证集。

2、各个模型参数设置

主要参数设置：

FunkSVD模型潜在空间维数k在{5,10,15,20,25,30,35}中选择，正则化参数λ在{0.001,0.01,0.1,1,10,100,1000}中选择，通过10折交叉验证确定最佳值。

XGBoost模型L2和L1正则化参数λ、σ在{0.0001,0.001,0.01,0.1,1,10,100}和{0.1,0.2,0.3,0.4}中选择，Learning rate在{0.0001,0.001,0.01,0.1,1,10,100}中选择，最大树深度max_depth在{3,4,5,6,7,8}中选择，随机采样比例subsample和随机采样列数占比colsample_bytree在{0.5,0.6,0.7,0.8,0.9,1}中选择，通过10折交叉验证确定最佳值；根据数据集特点，特征排序度量标准eval_metric＝mae，重要性类型importance_type＝total_gain，最小叶节点样本权重和min_child_weight＝1，随机种子seed＝1000；剩余参数均采用默认值。

xDeepFM模型的Dropout rate、Learning rate和L2正则化λ均在{0.001,0.01,0.1,1,10,100,1000}中选择，FM模型潜在因子维度k在{5,10,15,20,25,30,35}中选择，正则化参数λ_w0、λ_w和λ_V在{0.001,0.01,0.1,1,10,100,1000}中选择，通过10折交叉验证确定最佳值；基于实验数据集特点，特征FEATURE_COUNT＝50，领域FIELD_COUNT＝50，epoch＝30，batch_size＝64，选用5层DNN模型、每层神经元Neurons_DNN＝200，选用5层CIN模型、每层神经元Neurons_CIN＝150；可选的，activation选用relu函数，剩余参数均采用默认值。

3、结果分析

采用平均绝对误差(MAE)、准确率(Precision)和召回率(Recall)作为实验评估指标，其中MAE用于评价样本-变量特征矩阵预测值的准确率和特征重要性的排序度量，Precision和Recall用于评价分类结果的准确性。

其中m_sv和

分别表示样本中真实变量取值和预测变量取值，T_E是测试集数据，TP表示正样本中被正确预测为正样本的数量，FP表示负样本中被错误预测为正样本的数量，FN表示正样本中被错误预测为负样本的数量。

本实施例通过采用交叉验证的方式，进行所提混合模型中各模型参数的调优，以获取最优的模型参数组合。

对于基于FunkSVD的矩阵增强模型，潜在空间维数k和正则化参数λ是影响其模型性能的关键要素，因此通过十折交叉验证的方式观察预测性能如何随模型参数取值变化而改变，两个不同稀疏性数据集下各训练比例的平均MAE结果如图7和图8所示。图7示意性示出了根据本发明实施方式的FunkSVD模型在TEPa数据集下调优结果的示意图；以及图8示意性示出了根据本发明实施方式的FunkSVD模型在TEPb数据集下调优结果的示意图。

对于基于XGBoost的特征排序模型，由于不同模型参数在验证范围内的参数组合数太多，因此仅在表1中给出最优参数组合及所对应的MAE结果。

表1不同训练比例下XGBoost模型最优参数组合及对应MAE值

经过XGBoost模型多轮计算，两个数据集变量特征重要度的平均结果如图9所示。图9示意性示出了根据本发明实施方式中变量特征重要度排序结果的示意图。将特征重要度做百分制处理，仅选择部分靠前变量特征展示比较，其中纵坐标为变量特征在原始监测变量输入序列的具体索引位置，可以看出：首先，两个数据稀疏程度不同数据集的特征重要度排序结果不统一，说明同一特征在不同数据集下对故障状态和正常状态的区分贡献有所差异。其次，50维原始特征中冗余特征众多，有些特征对结果的诊断会起到负作用，进行关键特征提取是非常必要的。最后，仔细分析TEPa和TEPb排序结果，虽然具体特征排名和重要度评分不同，但是观察发现前11个特征实际是相同的，因此，选择排名前11位的特征作为本文关键特征，用于后续实验的诊断验证。

对于基于xDeepFM的故障诊断模型，训练集和验证集上的损失曲线如图10和图11所示。图10示意性示出了根据本发明实施方式中xDeepFM模型在TEPa数据集下损失曲线的示意图；以及图11示意性示出了根据本发明实施方式中xDeepFM模型在TEPb数据集下损失曲线的示意图。可以看出：损失曲线随着训练样本不断减少出现明显震荡，说明模型要想较好收敛必须提供充足的训练数据，同时，随着训练时期的增加，损失逐渐减小直至曲线趋于平稳，且训练集和验证集后期均未出现反复波动现象，说明xDeepFM模型可以有效处理连续型变量，具备较好地区分正常工况和故障工况的能力。

同样，由于参数组合数较多，仅在表2中给出最优参数组合及对应的Precision和Recall结果。

表2不同训练比例下xDeepFM模型最优参数组合及对应Precision和Recall值

图12示意性示出了根据本发明实施方式的化工过程故障诊断系统的结构示意图，如图12所示。在本实施方式中，还提供了基于多模型融合的化工过程故障诊断系统，包括：数据转换模块，用于将获取的化工过程数据转换为变量矩阵；增强填充模块，用于将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充；特征提取模块，用于将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征；以及诊断判定模块，用于将提取的变量特征输入训练好的xDeepFM模型，得到所述训练好的xDeepFM模型的输出作为化工过程数据对应的诊断结果；其中，所述训练好的xDeepFM模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型。

在一种可选的实施方式中，将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充，包括：将所述变量矩阵分解为样本潜在因子矩阵和变量潜在因子矩阵，所述样本潜在因子矩阵和所述变量潜在因子矩阵共享相同的潜在因子空间；优化所述样本潜在因子矩阵和所述变量潜在因子矩阵；根据优化后的样本潜在因子矩阵和优化后的变量潜在因子矩阵计算得到矩阵运算结果，以所述矩阵运算结果作为所述变量矩阵的增强填充的结果。

在一种可选的实施方式中，将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征，包括：定义XGBoost模型中单个弱学习器的目标函数；在所述单个弱学习器的训练过程中，优化所述目标函数；并计算优化后的目标函数的残差；通过所述XGBoost模型中的目标函数和残差确定计算变量特征的重要性；确定特征分割点，提取重要性高于所述特征分割点的变量特征。

在一种可选的实施方式中，所述训练好的xDeepFM模型通过以下步骤得到：构建xDeepFM模型，所述xDeepFM模型由因式分解机模型、深度神经网络模型和压缩交互网络模型构成；构建化工过程中现场生产装置的监控数据的历史数据作为样本数据，将所述样本数据分为训练集和测试集；将所述训练集中的样本数据输入所述xDeepFM模型进行训练，得到训练后的xDeepFM模型；将所述验证集中的样本数据输入训练后的xDeepFM模型，若验证通过，则以所述训练后的xDeepFM模型作为所述训练好的xDeepFM模型。

在一种可选的实施方式中，将所述训练集中的样本数据输入所述xDeepFM模型进行训练，包括：通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化；通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化；通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化。

在一种可选的实施方式中，通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化，包括：将所述因式分解机模型中的二阶交互项的权重参数分解为隐因式向量的乘积；构建基于权重参数、隐因式向量、全局偏置、正则化系数的优化方程；利用随机梯度下降法求解所述优化方程中的权重参数，得到最优化的权重参数。

在一种可选的实施方式中，通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化，包括：根据所述深度神经网络模型中的激活函数、输出函数、权重参数和偏置参数定义损失函数；利用批量梯度下降法求解所述损失函数，通过调整所述深度神经网络模型中的权重参数和偏置参数使所述损失函数最小化。

在一种可选的实施方式中，通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化，包括：配置所述压缩交互网络模型：根据所述压缩交互网络模型中的前一隐含层的输出和嵌入层的输出得到张量矩阵；对所述张量矩阵进行逐层特征映射后，通过卷积核生成所述前一隐含层的下一隐含层的输出；对每一隐含层对应的逐层特征映射后的张量矩阵进行池化，得到池化后向量；将所有隐含层的池化后向量进行拼接作为所述压缩交互网络模型的输出；定义所述压缩交互网络模型的目标函数：根据损失函数、正则项和参数集构建所述目标函数；以及训练所述压缩交互网络模型：将所述样本数据输入所述压缩交互网络模型，调整所述参数集，使所述目标函数最小化。

上述的基于多模型融合的化工过程故障诊断系统中的各个功能模块的具体限定可以参见上文中对于基于多模型融合的化工过程故障诊断方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在本发明提供的一种实施方式中，还提供了一种电子设备，包括：至少一个处理器；存储器，与所述至少一个处理器连接；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的基于多模型融合的化工过程故障诊断方法。此处的控制模块或处理器具有数值计算和逻辑运算的功能，其至少具有数据处理能力的中央处理器CPU、随机存储器RAM、只读存储器ROM、多种I/O口和中断系统等。处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现前述的方法。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

在本发明提供的一种实施方式中，还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行前述的基于多模型融合的化工过程故障诊断方法。

在本发明提供的一种实施方式中，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述的基于多模型融合的化工过程故障诊断方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种基于多模型融合的化工过程故障诊断方法，其特征在于，包括：

将获取的化工过程数据转换为变量矩阵；

将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充；

将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征；

将提取的变量特征输入训练好的xDeepFM模型，得到所述训练好的xDeepFM模型的输出作为化工过程数据对应的诊断结果；其中，所述训练好的xDeepFM模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型。

2.根据权利要求1所述的诊断方法，其特征在于，将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充，包括：

将所述变量矩阵分解为样本潜在因子矩阵和变量潜在因子矩阵，所述样本潜在因子矩阵和所述变量潜在因子矩阵共享相同的潜在因子空间；

优化所述样本潜在因子矩阵和所述变量潜在因子矩阵；

根据优化后的样本潜在因子矩阵和优化后的变量潜在因子矩阵计算得到矩阵运算结果，以所述矩阵运算结果作为所述变量矩阵的增强填充的结果。

3.根据权利要求1所述的诊断方法，其特征在于，将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征，包括：

定义XGBoost模型中单个弱学习器的目标函数；

在所述单个弱学习器的训练过程中，优化所述目标函数；并计算优化后的目标函数的残差；

通过所述XGBoost模型中的目标函数和目标函数的残差确定计算变量特征的重要性；

确定特征分割点，提取重要性高于所述特征分割点的变量特征。

4.根据权利要求3所述的诊断方法，其特征在于，所述训练好的xDeepFM模型通过以下步骤得到：

构建xDeepFM模型，所述xDeepFM模型由因式分解机模型、深度神经网络模型和压缩交互网络模型构成；

构建化工过程中现场生产装置的监控数据的历史数据作为样本数据，将所述样本数据分为训练集和测试集；

将所述训练集中的样本数据输入所述xDeepFM模型进行训练，得到训练后的xDeepFM模型；

将所述验证集中的样本数据输入训练后的xDeepFM模型，若验证通过，则以所述训练后的xDeepFM模型作为所述训练好的xDeepFM模型。

5.根据权利要求4所述的诊断方法，其特征在于，将所述训练集中的样本数据输入所述xDeepFM模型进行训练，包括：

通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化；

通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化；

通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化。

6.根据权利要求5所述的诊断方法，其特征在于，通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化，包括：

将所述因式分解机模型中的二阶交互项的权重参数分解为隐因式向量的乘积；

构建基于权重参数、隐因式向量、全局偏置、正则化系数的优化方程；

利用随机梯度下降法求解所述优化方程中的权重参数，得到最优化的权重参数。

7.根据权利要求5所述的诊断方法，其特征在于，通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化，包括：

根据所述深度神经网络模型中的激活函数、输出函数、权重参数和偏置参数定义损失函数；

利用批量梯度下降法求解所述损失函数，通过调整所述深度神经网络模型中的权重参数和偏置参数使所述损失函数最小化。

8.根据权利要求5所述的诊断方法，其特征在于，通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化，包括：

配置所述压缩交互网络模型：根据所述压缩交互网络模型中的前一隐含层的输出和嵌入层的输出得到张量矩阵；对所述张量矩阵进行逐层特征映射后，通过卷积核生成所述前一隐含层的下一隐含层的输出；对每一隐含层对应的逐层特征映射后的张量矩阵进行池化，得到池化后向量；将所有隐含层的池化后向量进行拼接作为所述压缩交互网络模型的输出；

定义所述压缩交互网络模型的目标函数：根据损失函数、正则项和参数集构建所述目标函数；以及

训练所述压缩交互网络模型：将所述样本数据输入所述压缩交互网络模型，调整所述参数集，使所述目标函数最小化。

9.一种基于多模型融合的化工过程故障诊断系统，其特征在于，所述诊断系统包括：

数据转换模块，用于将获取的化工过程数据转换为变量矩阵；

增强填充模块，用于将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充；

特征提取模块，用于将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征；以及

诊断判定模块，用于将提取的变量特征输入训练好的xDeepFM模型，得到所述训练好的xDeepFM模型的输出作为化工过程数据对应的诊断结果；其中，所述训练好的xDeepFM模型包括因式分解机模型、深度神经网络模型和压缩交互网络模型。

10.根据权利要求9所述的诊断系统，其特征在于，将所述变量矩阵输入FunkSVD模型完成所述变量矩阵的增强填充，包括：

优化所述样本潜在因子矩阵和所述变量潜在因子矩阵；

11.根据权利要求9所述的诊断系统，其特征在于，将增强填充后的变量矩阵输入XGBoost模型计算变量特征的重要性，根据所述重要性排序提取变量特征，包括：

定义XGBoost模型中单个弱学习器的目标函数；

12.根据权利要求11所述的诊断系统，其特征在于，所述训练好的xDeepFM模型通过以下步骤得到：

13.根据权利要求12所述的诊断系统，其特征在于，将所述训练集中的样本数据输入所述xDeepFM模型进行训练，包括：

14.根据权利要求12所述的诊断系统，其特征在于，通过训练集中的样本数据训练所述因式分解机模型，使所述因式分解机模型中的权重参数最优化，包括：

15.根据权利要求14所述的诊断系统，其特征在于，通过训练集中的样本数据训练所述深度神经网络模型，使所述深度神经网络模型的损失函数最小化，包括：

16.根据权利要求15所述的诊断系统，其特征在于，通过训练集中的样本数据训练所述压缩交互网络模型，使所述压缩交互网络模型的目标函数最小化，包括：

17.一种电子设备，其特征在于，包括：至少一个处理器；

存储器，与所述至少一个处理器连接；

其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现权利要求1至8中任一项权利要求所述的基于多模型融合的化工过程故障诊断方法。

18.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行权利要求1至8中任一项权利要求所述的基于多模型融合的化工过程故障诊断方法。