CN115293520A - 一种结构化的多模态工业过程指标估计框架的构建方法 - Google Patents

一种结构化的多模态工业过程指标估计框架的构建方法 Download PDF

Info

Publication number
CN115293520A
CN115293520A CN202210828733.9A CN202210828733A CN115293520A CN 115293520 A CN115293520 A CN 115293520A CN 202210828733 A CN202210828733 A CN 202210828733A CN 115293520 A CN115293520 A CN 115293520A
Authority
CN
China
Prior art keywords
model
estimation
data
attention
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210828733.9A
Other languages
English (en)
Inventor
孙备
吕明杰
阳春华
李勇刚
黄科科
刘盛宇
桂卫华
龙双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202210828733.9A priority Critical patent/CN115293520A/zh
Publication of CN115293520A publication Critical patent/CN115293520A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Pure & Applied Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Mathematical Optimization (AREA)
  • Development Economics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种结构化的多模态工业过程指标估计框架的构建方法，涉及工业估计技术领域。该方法由四部分组成：显式结构表示、复杂的工业机理知识、多模态聚类方法和结构化可解释动态图网络。首先利用图结构对多传感器时间序列数据进行建模。其次设计了一种多模式聚类方法，该方法基于高斯混合模型来划分和定位工业多模式运行数据。随后开发了一种结构化可解释动态图网络估计模型，以提高工业图数据的节点预测性能和解释能力。此外，该模型可以实时计算每个单独的过程变量对关键指标的贡献，从而为优化控制提供指导。将上述方法进行在线部署能够对在线数据进行实时模态识别，然后切换模态对应的动态图网络，实现对工业过程关键指标的准确估计。

Description

一种结构化的多模态工业过程指标估计框架的构建方法
技术领域
本发明涉及工业指标技术领域，具体为一种结构化的多模态工业过程指标估计框架的构建方法。
背景技术
工业过程指标是衡量生产产品质量和运行效果的综合指标，它可用于识别不良性能和优化调节。工业过程指标可以反映单个设备、子流程和整个工厂的整体情况。它可以衡量不同类型的绩效，例如原材料、控制和运营、维护等。因此，为了最大限度地提高工业工厂的经济效益，操作人员监控工业过程指标并根据经验调整操作变量。目前工业过程关键指标估计模型的构建方法可以分为：基于机理模型、基于数据驱动和基于混合模型三种。
传统的构建方法仅考虑了数据本身问题，没有考虑数据与数据之间关联关系，导致最终估计效果不够理想，并且现有的构建方法为了达到可观的估计准确率，需要进行复杂的特征工程，这提升了模型的落地应用难度，机理模型和数据驱动模型只是简单的组合，建模的过程难以被理解和信任且模型缺乏一定的可解释性。
发明内容
针对现有技术的不足，本发明提供了一种结构化的多模态工业过程指标估计框架的构建方法，解决了传统的构建方法构建后模型的估计精度较低的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种结构化的多模态工业过程指标估计框架的构建方法，包括以下步骤：
S1.使用图将工业底层结构进行明确的结构化表达
将过程变量构建成图中的节点，变量之间的关系构成边，首先，对工业过程采集到的历史变量数据，进行归一化处理，如下式所示：使用
Figure BDA0003747319750000021
集合作为图的节点属性，然后根据先验知识和专家经验对变量的关系进行分析，用eij代表节点i和节点j的关系，如果存在关系那么邻接矩阵Aij＝1，否则Aij＝0，那么工业过程变量所有关系可以用E＝{eij|i,j＝1,2,...n}集合表示，E代表边连通性，如果节点i与j存在关系，那么eij属于E，最终可以构成一个图G＝(V,E)；
S2.对工业过程数据进行多模态聚类
为了提高整体框架估计的适应性，需要对工作模态进行定位，然后针对定位出的不同模态进行估计模型的训练，相同模态下的工业数据服从相同的分布，因此基于高斯混合模型的多模态聚类方法，构建具体过程如下：
对于数据集S＝{s1,s2,…,sN}中的每个样本si设置高斯混合分布的密度函数：
Figure BDA0003747319750000022
上述密度函数中K是聚类的数量，
αk是系数，且
Figure BDA0003747319750000023
φ(s|θk)代表高斯分布密度，
θk＝(μk,Σk)是均值向量，Σk是协方差；
上述流程表示，当模型参数θ已知时，可得出样本数据si属于哪一类的概率为多少，因此要对θ进行求解，本发明采用期望极大值算法求解高斯混合模型中的参数：
输入：样本数据S＝{s1,s2,…,sN}
输出：高斯混合模型中的参数θ
(1)初始化参数，K,αk,uk,∑k
(2)计算后验概率：
Figure BDA0003747319750000031
(3)计算新一轮的迭代模型参数：
Figure BDA0003747319750000032
Figure BDA0003747319750000033
Figure BDA0003747319750000034
(4)重复步骤(2)和(3)，直至算法收敛，计算出最大似然值：
Figure BDA0003747319750000035
Figure BDA0003747319750000036
估计出高斯混合模型中的参数后，就可以基于此模型进行聚类模态分析，即当某个数据进入系统，通过参数已知的高斯混合模型，分别计算该数据属于每一类模态的概率，哪一类概率高，该数据就属于哪一类模态；
S3.构建结构化可解释动态图网络估计模型
基于多釜串联反应器中累积效应思想动态指导图网络训练学习过程，将机理知识与图网络技术进行融合，实现了工业过程指标估计中的知识处理和数据挖掘，具体分为以下四个部分：
(1)累积效应知识量化
基于停留时间分布的累积效应方法在工业中广泛应用，本发明将累积效应的知识量化如下式所示：
Figure BDA0003747319750000037
Figure BDA0003747319750000041
Figure BDA0003747319750000042
上述计算公式中：N代表反应器的数量，
V代表反应器的体积，
f代表反应器的总流量，
τ代表停留时间，
k代表动态图网络当前注意力组的数量，
Figure BDA0003747319750000043
代表无量纲累积停留时间；
(2)知识引导动态图网络学习
经过上式之后累积效应被量化成
Figure BDA0003747319750000044
然后利用知识量化结果来指导动态图网络的注意机制学习过程，对于图中顶点i，累积效应引导图网络计算自身与邻居节点之间的相关系数，可表示如下：
Figure BDA0003747319750000045
上述计算公式中：hi表示变量节点i的特征向量，即过程变量i的具体数值，
hj表示变量节点j的特征向量，即过程变量j的具体数值，
hk表示变量节点i任意邻居变量节点k的特征向量，即任一邻居变量k的具体数值，
[·||·]表示变量节点i和j变换后特征的拼接，
LeakyReLU是激活函数，
W表示特征变换的权重，
a是可学习的注意力系数权重向量，
Figure BDA0003747319750000051
是累积效应量化的分数，
Ni表示变量节点i的邻居节点集合，
Vk∈Ni表示变量节点k是变量节点i的任意邻居节点，
softmax代表归一化处理；
(3)动态图网络更新节点特征
基于上述注意系数，可以更新图结构中节点的特征，如下式所示：
Figure BDA0003747319750000052
由于使用累积效应来动态指导图网络学习更新节点参数，最终表示包含不同节点特征的加权求和，包括拓扑关系的内部连接，为了使模型能够提取更多的信息，采用了多头注意力机制计算K组注意力系数，并使用取拼接操作来对多个注意力头进行整合，计算公式如下：
Figure BDA0003747319750000053
上述计算公式中：||代表拼接，
K代表注意力头的数量，
Figure BDA0003747319750000054
代表k组知识量化分数，
Figure BDA0003747319750000055
代表k组注意力系数，
Wk表示第k组注意力机制的特征变换的权重，
σ是激活函数ELU。
因此得到经过多头注意力网络后的过程变量节点i的特征表示为：hi′即动态图网络通过累积效应指导来融合邻域信息，输出每个过程变量节点i的新特征；
(4)动态图网络估计层与损失函数的设计
估计层为全连接层，更新后的过程变量特征经过全连接层，得到最终的输出结果，具体计算过程如下：
Y＝wH`+b
上述式中：H`代表图注意力网络更新后的过程变量的特征信息矩阵，
w代表可学习权重，
b代表偏置；
将模型估计的工业过程关键指标与训练样本数据中实际采集的数据进行比较，通过误差反向传播对网络中的参数进行调整，本发明的最终任务是回归任务，其任务中最常用的损失函数是L1损失和L2损失，其中L1损失是估计值与真实值之差的绝对值之和，L2是估计值和真实值两者之差的平方之和，L1对异常值具有良好的鲁棒性，但需要手动的调整学习率，否则后期很难收敛在极值点，L2损失对异常值很敏感，在训练初期容易产生梯度爆炸，但是它在优化过程中更加稳定；
考虑到生产数据量大，存在异常数据，因此采用Huber损失函数，如下式所示：
Figure BDA0003747319750000061
上述计算公式中：y代表估计值，
y′代表真实值，
δ代表超参数；
Huber损失函数可以看作是L1和L2损失的组合，该函数可以降低模型对异常值的敏感度，保证模型稳定收敛到最优；
通过多次迭代训练，偏离程度较小时，动态图网络中的可学习的注意力系数权重向量a，k组注意力机制的特征变换的权重Wk，k组注意力系数
Figure BDA0003747319750000071
全连接层w，偏置b参数不断优化调整达到最优值；
S4.集成多模态聚类方法和结构化可解释动态图网络估计模型构成一个综合关键指标估计框架
所述估计框架分为离线训练和在线估计两个阶段，所述离线训练阶段分为以下四个部分：
(1)基于高斯混合模型的多模态聚类方法：高斯混合模型的主要目的是识别和定位数据的运行模式。为训练不同的估计模型准备了不同模式的数据；
(2)表示工业过程变量之间关系的图结构构建：此过程基于工艺变量的影响分析。然后，基于图对分析结果进行明确的结构化表达；
(3)构建结构化可解释动态图网络估计模型：利用知识动态指导模型从数据中学习，大型设备的累积效应被用于动态指导图网络的注意力机制学习，这就让模型可以捕获变量的机理知识，从而提高模型的估计性能和可解释性，此外，Huber损失函数用于消除实际工业数据中的噪声，提高模型的适用性；
(4)训练测试：训练和测试多个结构化可解释动态图网络模型，模型测试的数量对应于多模态聚类方法所聚类出来的数量；
所述在线估计阶段分为以下两个部分：
(1)模型的部署：将训练好的高斯混合模型和结构化可解释动态图网络估计模型集成在一起，使框架能够根据高斯混合模型定位的数据模态自动切换合适的结构化可解释动态图网络进行关键指标估计；
(2)实时在线估计：主要从两个方面进行测试，首先测试基于高斯混合模型的多模态聚类方法对在线数据的模式进行实时定位的能力，然后切换到合适的动态图网络进行关键指标估计，其次检验了动态图网络模型通过其注意机制挖掘过程变量知识的能力，从而估计输出和计算变量贡献，提高了模型可解释性。
优选的，所述步骤S2中，步骤(1)和步骤(2)没有绝对前后关系，他们可以是并行的也可以是串联的，步骤(1)为步骤(3)提供图结构底层基础，步骤(2)为步骤(3)提供不同工业过程模态的数据。
本发明提供了一种结构化的多模态工业过程指标估计框架的构建方法。
具备以下有益效果：
1、本发明通过针对多模态下工业过程的变量之间存在复杂的非线性和互相依赖关系建立了准确的关键指标估计模型，设计了多模态聚类方法，该方法利用聚类策略的高斯混合模型来识别和定位多模态数据，解决了工业过程存在多模态所导致估计模型不适用的问题。
2、本发明通过利用图结构对设备相关的变量进行明确的结构化表达，利用累积效应动态引导图网络的注意机制进行信息聚集方法。使图网络可以自动学习工业变量的特征关联信息，并利用学习到的特征来描述非线性过程动力学，将多模态聚类方法和结构化可解释动态图网络估计模型集成到一个综合通用框架中，该框架能够对在线数据进行实时模态识别，然后切换模态对应的动态图网络，实现对工业过程关键指标的准确估计。
附图说明
图1为本发明的建模策略示意图；
图2为本发明的工业过程结构进行图结构构建流程图；
图3为本发明的高斯混合模型参数更新流程图；
图4为本发明的结构化可解释动态图网络估计模型流程示意图；
图5为本发明的综合框架图；
图6为本发明的除钴过程的结构示意图；
图7为本发明的工业图形拓扑结构图；
图8为本发明的多模态聚类方法结果展示图；
图9为本发明的模型在线估计效果图；
图10为本发明的各个变量对关键指标的影响关系图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
如图1-5所示，本发明实施例提供一种结构化的多模态工业过程指标估计框架的构建方法，建模策略包括4个部分如图1所示，它由四部分组成：显式结构表示、复杂的工业机理知识、多模态聚类方法和结构化可解释动态图网络。首先，根据先验知识和专家经验，确定底层工业结构的变量节点和关联关系。然后，使用图作为知识的载体，用于明确地、结构化地表示上述确定的信息。其次，在多模态聚类方法中，使用高斯混合模型(GMM)来确定不同操作模式的状态。不同的操作模式数据用于训练以下估计模型。然后，提取工业过程的普遍存在的机理知识，要注意的是，本发明在附图中举例了普遍存在的累积效应机理知识，并不是仅限于此机理知识，可以根据实际工业过程进行替换或者增加。然后，开发了结构化可解释动态图网络估计模型。采用累积效应引导的注意力机制动态学习过程的潜在知识特征，加深对节点间关系的知识挖掘。最后，将结构化可解释动态图网络提取的特征作为图节点估计层的输入，输出估计结果。此外，模型从数据中发现的知识与先验知识和专家知识高度一致。这提高了模型的解释力，并有助于操作人员理解输出结果，为后续的优化控制建立基础。
构建方法，包括以下步骤：
S1.使用图将工业底层结构进行明确的结构化表达
将过程变量构建成图中的节点，变量之间的关系构成边，构建流程如图2所示。首先，对工业过程采集到的历史变量数据，进行归一化处理，如下式所示：使用
Figure BDA0003747319750000101
集合作为图的节点属性，然后根据先验知识和专家经验对变量的关系进行分析，用eij代表节点i和节点j的关系，如果存在关系那么邻接矩阵Aij＝1，否则Aij＝0，那么工业过程变量所有关系可以用E＝{eij|i,j＝1,2,...n}集合表示，E代表边连通性，如果节点i与j存在关系，那么eij属于E，最终可以构成一个图G＝(V,E)；
S2.对工业过程数据进行多模态聚类
为了提高整体框架估计的适应性，需要对工作模态进行定位，然后针对定位出的不同模态进行估计模型的训练，相同模态下的工业数据服从相同的分布，因此基于高斯混合模型的多模态聚类方法，构建具体过程如下：
对于数据集S＝{s1,s2,…,sN}中的每个样本si设置高斯混合分布的密度函数：
Figure BDA0003747319750000102
上述密度函数中K是聚类的数量，
αk是系数，且
Figure BDA0003747319750000103
φ(s|θk)代表高斯分布密度，
θk＝(μk,Σk)是均值向量，Σk是协方差；
上述流程表示，当模型参数θ已知时，可得出样本数据si属于哪一类的概率为多少，因此要对θ进行求解，参数求解流程如图3所示，本发明采用期望极大值算法求解高斯混合模型中的参数：
输入：样本数据S＝{s1,s2,…,sN}
输出：高斯混合模型中的参数θ
(1)初始化参数，K,αk,uk,Σk
(2)计算后验概率：
Figure BDA0003747319750000111
(3)计算新一轮的迭代模型参数：
Figure BDA0003747319750000112
Figure BDA0003747319750000113
Figure BDA0003747319750000114
(4)重复步骤(2)和(3)，直至算法收敛，计算出最大似然值：
Figure BDA0003747319750000115
Figure BDA0003747319750000116
估计出高斯混合模型中的参数后，就可以基于此模型进行聚类模态分析，即当某个数据进入系统，通过参数已知的高斯混合模型，分别计算该数据属于每一类模态的概率，哪一类概率高，该数据就属于哪一类模态；
S3.构建结构化可解释动态图网络估计模型
基于多釜串联反应器中累积效应思想动态指导图网络训练学习过程，将机理知识与图网络技术进行融合，实现了工业过程指标估计中的知识处理和数据挖掘，如图4所示，具体分为以下四个部分：
(1)累积效应知识量化
基于停留时间分布的累积效应方法在工业中广泛应用，本发明将累积效应的知识量化如下式所示：
Figure BDA0003747319750000121
Figure BDA0003747319750000122
Figure BDA0003747319750000123
上述计算公式中：N代表反应器的数量，
V代表反应器的体积，
f代表反应器的总流量，
τ代表停留时间，
k代表动态图网络当前注意力组的数量，
Figure BDA0003747319750000124
代表无量纲累积停留时间；
(2)知识引导动态图网络学习
经过上式之后累积效应被量化成
Figure BDA0003747319750000125
然后利用知识量化结果来指导动态图网络的注意机制学习过程，对于图中顶点i，累积效应引导图网络计算自身与邻居节点之间的相关系数，可表示如下：
Figure BDA0003747319750000126
上述计算公式中：hi表示变量节点i的特征向量，即过程变量i的具体数值，
hj表示变量节点j的特征向量，即过程变量j的具体数值，
hk表示变量节点i任意邻居变量节点k的特征向量，即任一邻居变量k的具体数值，
[·||·]表示变量节点i和j变换后特征的拼接，
LeakyReLU是激活函数，
W表示特征变换的权重，
a是可学习的注意力系数权重向量，
Figure BDA0003747319750000131
是累积效应量化的分数，
Ni表示变量节点i的邻居节点集合，
Vk∈Ni表示变量节点k是变量节点i的任意邻居节点，
softmax代表归一化处理；
(3)动态图网络更新节点特征
基于上述注意系数，可以更新图结构中节点的特征，如下式所示：
Figure BDA0003747319750000132
由于使用累积效应来动态指导图网络学习更新节点参数，最终表示包含不同节点特征的加权求和，包括拓扑关系的内部连接，为了使模型能够提取更多的信息，采用了多头注意力机制计算K组注意力系数，并使用取拼接操作来对多个注意力头进行整合，计算公式如下：
Figure BDA0003747319750000133
上述计算公式中：||代表拼接，
K代表注意力头的数量，
Figure BDA0003747319750000134
代表k组知识量化分数，
Figure BDA0003747319750000135
代表k组注意力系数，
Wk表示第k组注意力机制的特征变换的权重，
σ是激活函数ELU。
因此得到经过多头注意力网络后的过程变量节点i的特征表示为：hi′即动态图网络通过累积效应指导来融合邻域信息，输出每个过程变量节点i的新特征；
(4)动态图网络估计层与损失函数的设计
估计层为全连接层，更新后的过程变量特征经过全连接层，得到最终的输出结果，具体计算过程如下：
Y＝wH`+b
上述式中：H`代表图注意力网络更新后的过程变量的特征信息矩阵，
w代表可学习权重，
b代表偏置；
将模型估计的工业过程关键指标与训练样本数据中实际采集的数据进行比较，通过误差反向传播对网络中的参数进行调整，本发明的最终任务是回归任务，其任务中最常用的损失函数是L1损失和L2损失，其中L1损失是估计值与真实值之差的绝对值之和，L2是估计值和真实值两者之差的平方之和，L1对异常值具有良好的鲁棒性，但需要手动的调整学习率，否则后期很难收敛在极值点，L2损失对异常值很敏感，在训练初期容易产生梯度爆炸，但是它在优化过程中更加稳定；
考虑到生产数据量大，存在异常数据，因此采用Huber损失函数，如下式所示：
Figure BDA0003747319750000141
上述计算公式中：y代表估计值，
y′代表真实值，
δ代表超参数；
Huber损失函数可以看作是L1和L2损失的组合，该函数可以降低模型对异常值的敏感度，保证模型稳定收敛到最优；
通过多次迭代训练，偏离程度较小时，动态图网络中的可学习的注意力系数权重向量a，k组注意力机制的特征变换的权重Wk，k组注意力系数
Figure BDA0003747319750000151
全连接层w，偏置b参数不断优化调整达到最优值；
S4.集成多模态聚类方法和结构化可解释动态图网络估计模型构成一个综合关键指标估计框架
本发明为了使方法具有通用性，对方法进行集成构成了一个综合框架如图5所示，该框架集成了上述步骤S1，S2和S3，估计框架分为离线训练和在线估计两个阶段，离线训练阶段分为以下四个部分：
(1)基于高斯混合模型的多模态聚类方法：高斯混合模型的主要目的是识别和定位数据的运行模式。为训练不同的估计模型准备了不同模式的数据；
(2)表示工业过程变量之间关系的图结构构建：此过程基于工艺变量的影响分析。然后，基于图对分析结果进行明确的结构化表达；
(3)构建结构化可解释动态图网络估计模型：利用知识动态指导模型从数据中学习，大型设备的累积效应被用于动态指导图网络的注意力机制学习，这就让模型可以捕获变量的机理知识，从而提高模型的估计性能和可解释性，此外，Huber损失函数用于消除实际工业数据中的噪声，提高模型的适用性；
(4)训练测试：训练和测试多个结构化可解释动态图网络模型，模型测试的数量对应于多模态聚类方法所聚类出来的数量；
在线估计阶段分为以下两个部分：
(1)模型的部署：将训练好的高斯混合模型和结构化可解释动态图网络估计模型集成在一起，使框架能够根据高斯混合模型定位的数据模态自动切换合适的结构化可解释动态图网络进行关键指标估计；
(2)实时在线估计：主要从两个方面进行测试，首先测试基于高斯混合模型的多模态聚类方法对在线数据的模式进行实时定位的能力，然后切换到合适的动态图网络进行关键指标估计，其次检验了动态图网络模型通过其注意机制挖掘过程变量知识的能力，从而估计输出和计算变量贡献，提高了模型可解释性。
步骤S2中，步骤(1)和步骤(2)没有绝对前后关系，他们可以是并行的也可以是串联的，步骤(1)为步骤(3)提供图结构底层基础，步骤(2)为步骤(3)提供不同工业过程模态的数据。
实施例二：
如图5-10所示，为使本发明的目的、技术方案和优点更加清楚，下面将根据本发明的附图5所优选实施例对本发明的技术方案进行清楚、完整地描述。要说明的是，所举的实施例是本发明一部分实施例，仅仅用以解释本发明，并不用于限定本发明。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图6中除钴工业过程是典型的复杂工业过程，是湿法炼锌的关键环节。它主要由四个连续搅拌釜反应器和一个浓密机组成，连续搅拌釜反应器之间呈阶梯式排布，每个连续搅拌釜反应器的入口位于上部，与出口有1米左右的高度差，连续搅拌釜反应器出入口之间通过溜槽连接。整个过程通过在高温以及酸性条件下向1#除钴反应器中添加锌粉和砷盐，与除铜后液中的钴离子以及残留的铜离子在反应器中发生复杂的氧化还原反应。在经过四个连续反应器中进行除钴后，硫酸锌溶液流入浓密机，在浓密机中进行液固分离；浓密机溢流被输送到随后的除镉过程，而含有反应产物的底流被循环到第一个反应器。
除钴工业过程的关键指标包括各反应器出口钴离子浓度。1#反应器去除大部分钴离子，2#反应器有少量钴离子析出。3#和4#反应器主要用于微调。1#反应器的性能对整个除钴过程至关重要。因此。本发明将重点放在1#反应器估计模型的构建上。通过先验知识和专家经验将1#过程变量的影响关系列于表1，打√代表有直接影响，打×代表没有直接影响。
表1：1#反应器过程变量互相影响关系
Figure BDA0003747319750000171
本发明基于上述分析进行图结构的构建如附图7所示。然后可将该方法应用于某冶炼厂的湿法炼锌除钴过程实际数据，按照步骤4进行离线训练测试和在线估计测试的效果展示，此外与三种类型的其它工业指标估计方法进行效果对比，机器学习方法SVR、深度学习方法CNN+LSTM、图网络模型GraphSAGE，这些模型都是非常具有代表性的经典模型，广泛应用于工业过程。因此，本文将SVR、CNN+LSTM、GraphSAGE和本发明所提方法对所举例的工业过程关键指标估计效果进行对比。评判标准包括RMSE、MAPE和R2三项指标，RMSE反映了估计输出与标记输出的偏离程度，MAPE用于衡量估计准确性的统计指标，能够反映估计模型的精度，R2能解释估计输出中总方差的程度，R2越大估计输出越能跟踪真实值的变化趋势。另外，本发明给出了过程变量对关键指标的贡献度，能够更好的理解当前运行状态哪些过程变量对关键指标的影响大，提高了可解释性，为后期优化调控提供有效的指导信息。
(1)离线训练测试
首先，本发明基于多模态聚类方法将144141个样本划分为不同的运行模式。随后，针对不同的模式对结构化可解释性动态图网络进行训练和测试。其目的有两方面：一是测试多模态聚类方法能否划分操作模态，二是确定划分多模态后的动态图网络性能。多模态聚类方法的结果如下图8所示，这里需要注意的是，聚类出来的数据本发明根据实际数据已经进行模态的对应，因此图中显示了各模态的标签，各模态对应的实际意义为模态1对应相对稳定模态，模态2对应锌粉相对缺少模态，模态3对应锌粉相对过量模态，模态4对应砷盐相对缺少模态，模态5对应砷盐相对过量模态，模态6对应锌粉和砷盐都相对缺少模态，模态7对应锌粉和砷盐都相对过量模态。各模态的样本数量和比例如表2所示。
表2各模态样本数据以及比例
Figure BDA0003747319750000181
从上述7种模态收集数据，将数据以8:2的比例对动态图网络估计性能进行离线训练测试。实验结果见表3。在7种模式下，验证了动态图网络的性能。在模态1下MAPE和RMSE非常接近于0,R2高达0.91895。在模态2、3、4、5、6、7中，平均MAPE、RMSE分别较低，分别为0.13556、0.000518，平均R2高达0.866895。这表明动态图网络能够有效地解决不同模态所带来复杂特征的困难，保持稳定性和精度。对于不同模式下得到的MAPE、RMSE、R2值不同的原因。这是因为每种模式所使用的样本数量是不同的。此外，训练过程中得到的模型不同，结果也不同。
表3不同模式下动态图网络性能
Figure BDA0003747319750000191
(2)在线估计测试
本发明从离线测试中确定并记录最优模型。随后，将多模态聚类方法与7个动态图网络相结合，构成训练好的完整框架。多模态聚类方法可以对实时数据进行在线模式识别。然后自动切换对应的动态图网络进行关键指标估计，在线估计结果如图9所示。这里需要注意的是，关键指标反应了工厂的整体效益，出于保密原因需要进行脱敏处理，因此纵坐标具体数值用y进行显示，整体模型效果不受影响。从图中可知本发明在线估计方法能够很好对实际关键指标进行估计，虽然具有波动，但是波动范围小，总体估计趋势上和实际数值保持一致，追踪效果好，偏离程度较低。
在线估计第二个任务，就是测试模型是否学习到各个过程变量之间的知识进行估计数值输出的。图10显示各个变量对关键指标的关系图作为输出结果解释图，即各个变量对关键指标的影响的大小。注意图10解释结果被绘制成二维矩阵中预定义的网格。横坐标表示不同模式的关键指标，纵坐标表示输入过程变量。每个位置的色度表示该位置的注意系数的大小。
从图10可知，在多数情况下入口溶液的总流量影响权重占比较高，这是符合预期结果的，因为反应容器体积有限，流量的大小决定了溶液在反应器内的停留时间，直接导致除钴过程的化学反应是否充分，因此各个模式下总流量都会对估计出口钴离子浓度产生巨大影响。其次是锌粉添加量和砷盐流量以及氧化还原电位所占权重较高，且在各个模式下权重均较大，这是符合预期效果的，因为砷盐和锌粉分别是除钴过程的催化剂和还原剂，直接影响了除钴的效果。而在锌粉和砷盐添加量改变之后会对氧化还原电位产生影响。然后是废酸、入口铜离子和入口钴离子的影响权重占比。这也是符合预期效果的，因为废酸为除钴过程提供了酸性环境。并且废酸添加量与入口铜离子浓度都会影响锌粉表面附近的反应环境，从而会影响除钴反应的进行。入口钴离子浓度大小影响了除钴过程的难易程度。
此外，不同模式之间的变化情况在一定程度上是也能反映过程变量对出口钴离子浓度贡献度的。例如，模态3锌粉过量，与对正常情况相比，锌粉，总流量、废电解液、ORP值的影响变化较大，这是符合预期情况的。因为，此模式下锌粉相对入口流量添加过大，会消耗大量的H+离子，导致溶液PH值升高，导致除钴效率低，氧化还原电位参数偏负。这一现象表明，动态图网络可以从与专家经验一致的角度在过程变量中推断出结果。
(3)本发明方法与相关模型的对比
为了充分体现具体体现本发明方法的优越性，与GraphSAGE，CNN+LSTM，SVR方法采用MAPE，RMSE和R2三个指标进行对比。结果如表4所示：
表4：本发明方法与相关方法的对比
Figure BDA0003747319750000201
Figure BDA0003747319750000211
由表4可知，本发明方法在各项指标上均优于其它相关方法，这说明本发明方法拟合效果较好，能够更好的跟随实际值。因为，此发明的方法同时考虑了知识和数据，所以能够准确稳定地估计关键指标，优于其他纯数据驱动的模型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种结构化的多模态工业过程指标估计框架的构建方法，其特征在于：包括以下步骤：
S1.使用图将工业底层结构进行明确的结构化表达
将过程变量构建成图中的节点，变量之间的关系构成边，首先，对工业过程采集到的历史变量数据，进行归一化处理，如下式所示：使用
Figure FDA0003747319740000011
集合作为图的节点属性，然后根据先验知识和专家经验对变量的关系进行分析，用eij代表节点i和节点j的关系，如果存在关系那么邻接矩阵Aij＝1，否则Aij＝0，那么工业过程变量所有关系可以用E＝{eij|i,j＝1,2,...n}集合表示，E代表边连通性，如果节点i与j存在关系，那么eij属于E，最终可以构成一个图G＝(V,E)；
S2.对工业过程数据进行多模态聚类
为了提高整体框架估计的适应性，需要对工作模态进行定位，然后针对定位出的不同模态进行估计模型的训练，相同模态下的工业数据服从相同的分布，因此基于高斯混合模型的多模态聚类方法，构建具体过程如下：
对于数据集S＝{s1,s2,…,s}N}中的每个样本si设置高斯混合分布的密度函数：
Figure FDA0003747319740000012
上述密度函数中K是聚类的数量，
αk是系数，且
Figure FDA0003747319740000013
φ(s|θk)代表高斯分布密度，
θk＝(μk,Σk)是均值向量，Σk是协方差；
上述流程表示，当模型参数θ已知时，可得出样本数据si属于哪一类的概率为多少，因此要对θ进行求解，本发明采用期望极大值算法求解高斯混合模型中的参数：
输入：样本数据S＝{s1,s2,…,sN}
输出：高斯混合模型中的参数θ
(1)初始化参数，K,αk,uk,∑k
(2)计算后验概率：
Figure FDA0003747319740000021
(3)计算新一轮的迭代模型参数：
Figure FDA0003747319740000022
Figure FDA0003747319740000023
Figure FDA0003747319740000024
(4)重复步骤(2)和(3)，直至算法收敛，计算出最大似然值：
Figure FDA0003747319740000025
Figure FDA0003747319740000026
估计出高斯混合模型中的参数后，就可以基于此模型进行聚类模态分析，即当某个数据进入系统，通过参数已知的高斯混合模型，分别计算该数据属于每一类模态的概率，哪一类概率高，该数据就属于哪一类模态；
S3.构建结构化可解释动态图网络估计模型
基于多釜串联反应器中累积效应思想动态指导图网络训练学习过程，将机理知识与图网络技术进行融合，实现了工业过程指标估计中的知识处理和数据挖掘，具体分为以下四个部分：
(1)累积效应知识量化
基于停留时间分布的累积效应方法在工业中广泛应用，本发明将累积效应的知识量化如下式所示：
Figure FDA0003747319740000031
Figure FDA0003747319740000032
Figure FDA0003747319740000033
上述计算公式中：N代表反应器的数量，
V代表反应器的体积，
f代表反应器的总流量，
τ代表停留时间，
k代表动态图网络当前注意力组的数量，
Figure FDA0003747319740000034
代表无量纲累积停留时间；
(2)知识引导动态图网络学习
经过上式之后累积效应被量化成
Figure FDA0003747319740000035
然后利用知识量化结果来指导动态图网络的注意机制学习过程，对于图中顶点i，累积效应引导图网络计算自身与邻居节点之间的相关系数，可表示如下：
Figure FDA0003747319740000036
上述计算公式中：hi表示变量节点i的特征向量，即过程变量i的具体数值，
hj表示变量节点j的特征向量，即过程变量j的具体数值，
hk表示变量节点i任意邻居变量节点k的特征向量，即任一邻居变量k的具体数值，
[·||·]表示变量节点i和j变换后特征的拼接，
LeakyReLU是激活函数，
W表示特征变换的权重，
a是可学习的注意力系数权重向量，
Figure FDA0003747319740000041
是累积效应量化的分数，
Ni表示变量节点i的邻居节点集合，
Vk∈Ni表示变量节点k是变量节点i的任意邻居节点，
softmax代表归一化处理；
(3)动态图网络更新节点特征
基于上述注意系数，可以更新图结构中节点的特征，如下式所示：
Figure FDA0003747319740000042
由于使用累积效应来动态指导图网络学习更新节点参数，最终表示包含不同节点特征的加权求和，包括拓扑关系的内部连接，为了使模型能够提取更多的信息，采用了多头注意力机制计算K组注意力系数，并使用取拼接操作来对多个注意力头进行整合，计算公式如下：
Figure FDA0003747319740000043
上述计算公式中：||代表拼接，
K代表注意力头的数量，
Figure FDA0003747319740000044
代表k组知识量化分数，
Figure FDA0003747319740000045
代表k组注意力系数，
Wk表示第k组注意力机制的特征变换的权重，
σ是激活函数ELU。
因此得到经过多头注意力网络后的过程变量节点i的特征表示为：hi′即动态图网络通过累积效应指导来融合邻域信息，输出每个过程变量节点i的新特征；
(4)动态图网络估计层与损失函数的设计
估计层为全连接层，更新后的过程变量特征经过全连接层，得到最终的输出结果，具体计算过程如下：
Y＝wH`+b
上述式中：H`代表图注意力网络更新后的过程变量的特征信息矩阵，
w代表可学习权重，
b代表偏置；
将模型估计的工业过程关键指标与训练样本数据中实际采集的数据进行比较，通过误差反向传播对网络中的参数进行调整，本发明的最终任务是回归任务，其任务中最常用的损失函数是L1损失和L2损失，其中L1损失是估计值与真实值之差的绝对值之和，L2是估计值和真实值两者之差的平方之和，L1对异常值具有良好的鲁棒性，但需要手动的调整学习率，否则后期很难收敛在极值点，L2损失对异常值很敏感，在训练初期容易产生梯度爆炸，但是它在优化过程中更加稳定；
考虑到生产数据量大，存在异常数据，因此采用Huber损失函数，如下式所示：
Figure FDA0003747319740000051
上述计算公式中：y代表估计值，
y′代表真实值，
δ代表超参数；
Huber损失函数可以看作是L1和L2损失的组合，该函数可以降低模型对异常值的敏感度，保证模型稳定收敛到最优；
通过多次迭代训练，偏离程度较小时，动态图网络中的可学习的注意力系数权重向量a，k组注意力机制的特征变换的权重Wk，k组注意力系数
Figure FDA0003747319740000061
全连接层w，偏置b参数不断优化调整达到最优值；
S4.集成多模态聚类方法和结构化可解释动态图网络估计模型构成一个综合关键指标估计框架
所述估计框架分为离线训练和在线估计两个阶段，所述离线训练阶段分为以下四个部分：
(1)基于高斯混合模型的多模态聚类方法：高斯混合模型的主要目的是识别和定位数据的运行模式。为训练不同的估计模型准备了不同模式的数据；
(2)表示工业过程变量之间关系的图结构构建：此过程基于工艺变量的影响分析。然后，基于图对分析结果进行明确的结构化表达；
(3)构建结构化可解释动态图网络估计模型：利用知识动态指导模型从数据中学习，大型设备的累积效应被用于动态指导图网络的注意力机制学习，这就让模型可以捕获变量的机理知识，从而提高模型的估计性能和可解释性，此外，Huber损失函数用于消除实际工业数据中的噪声，提高模型的适用性；
(4)训练测试：训练和测试多个结构化可解释动态图网络模型，模型测试的数量对应于多模态聚类方法所聚类出来的数量；
所述在线估计阶段分为以下两个部分：
(1)模型的部署：将训练好的高斯混合模型和结构化可解释动态图网络估计模型集成在一起，使框架能够根据高斯混合模型定位的数据模态自动切换合适的结构化可解释动态图网络进行关键指标估计；
(2)实时在线估计：主要从两个方面进行测试，首先测试基于高斯混合模型的多模态聚类方法对在线数据的模式进行实时定位的能力，然后切换到合适的动态图网络进行关键指标估计，其次检验了动态图网络模型通过其注意机制挖掘过程变量知识的能力，从而估计输出和计算变量贡献，提高了模型可解释性。
2.根据权利要求1所述的一种结构化的多模态工业过程指标估计框架的构建方法，其特征在于：所述步骤S2中，步骤(1)和步骤(2)没有绝对前后关系，他们可以是并行的也可以是串联的，步骤(1)为步骤(3)提供图结构底层基础，步骤(2)为步骤(3)提供不同工业过程模态的数据。
CN202210828733.9A 2022-07-15 2022-07-15 一种结构化的多模态工业过程指标估计框架的构建方法 Pending CN115293520A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210828733.9A CN115293520A (zh) 2022-07-15 2022-07-15 一种结构化的多模态工业过程指标估计框架的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210828733.9A CN115293520A (zh) 2022-07-15 2022-07-15 一种结构化的多模态工业过程指标估计框架的构建方法

Publications (1)

Publication Number Publication Date
CN115293520A true CN115293520A (zh) 2022-11-04

Family

ID=83821640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210828733.9A Pending CN115293520A (zh) 2022-07-15 2022-07-15 一种结构化的多模态工业过程指标估计框架的构建方法

Country Status (1)

Country Link
CN (1) CN115293520A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117807424A (zh) * 2024-02-29 2024-04-02 山东钢铁股份有限公司 工业大数据驱动的宽厚钢板质量动态在线识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117807424A (zh) * 2024-02-29 2024-04-02 山东钢铁股份有限公司 工业大数据驱动的宽厚钢板质量动态在线识别方法及装置
CN117807424B (zh) * 2024-02-29 2024-04-30 山东钢铁股份有限公司 工业大数据驱动的宽厚钢板质量动态在线识别方法及装置

Similar Documents

Publication Publication Date Title
Wang et al. Data-driven mode identification and unsupervised fault detection for nonlinear multimode processes
CN113256066B (zh) 基于PCA-XGBoost-IRF的作业车间实时调度方法
CN112508442B (zh) 基于自动化和可解释机器学习的暂态稳定评估方法及系统
Li et al. A Gaussian mixture model based virtual sample generation approach for small datasets in industrial processes
CN109472088A (zh) 一种页岩气调产井生产压力动态预测方法
Cao et al. Multimodal process monitoring based on variational Bayesian PCA and Kullback-Leibler divergence between mixture models
CN116049719A (zh) 基于迁移式生成模型的故障检测和估计方法、系统及介质
CN114077876A (zh) 一种带钢热连轧多模态过程监测方法及装置
CN115293520A (zh) 一种结构化的多模态工业过程指标估计框架的构建方法
Yang et al. An intelligent singular value diagnostic method for concrete dam deformation monitoring
Braik et al. A comparison between GAs and PSO in training ANN to model the TE chemical process reactor
Tang et al. Monitoring of nonlinear processes with multiple operating modes through a novel gaussian mixture variational autoencoder model
Gu et al. Automatic segmentation of batch processes into multi-local state-space models for fault detection
CN113033898A (zh) 基于k均值聚类与bi-lstm神经网络的电负荷预测方法及系统
Li et al. Data-driven modeling and operation optimization with inherent feature extraction for complex industrial processes
Chen et al. Multimodal process monitoring based on transition-constrained Gaussian mixture model
Tucci et al. Adaptive FIR neural model for centroid learning in self-organizing maps
CN115201394B (zh) 一种多组分变压器油色谱在线监测方法及相关装置
Guo et al. Multimode process identification and monitoring based on hierarchical fluctuation window strategy
CN113033683B (zh) 一种基于静态与动态联合分析的工业系统工况监测方法和系统
CN114595750A (zh) 基于深度强化学习参数自动调整的铝电解故障识别方法
Lu et al. Visual monitoring of industrial operation states based on kernel fisher vector and self-organizing map networks
Zhao et al. Make Gating Fairer: Fault Attribute-Driven Bias Calibration for Generalized Zero-Shot Industrial Fault Diagnosis
CN111339646A (zh) 一种用于全自动控制的温度数据增强方法
Zhang et al. A multi-rate probabilistic slow feature regression model for dynamic feature learning and industrial soft sensor development

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination