CN111832703A - 一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法 - Google Patents

一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法 Download PDF

Info

Publication number
CN111832703A
CN111832703A CN202010602866.5A CN202010602866A CN111832703A CN 111832703 A CN111832703 A CN 111832703A CN 202010602866 A CN202010602866 A CN 202010602866A CN 111832703 A CN111832703 A CN 111832703A
Authority
CN
China
Prior art keywords
sampling
term memory
long
sampling interval
variables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010602866.5A
Other languages
English (en)
Other versions
CN111832703B (zh
Inventor
袁小锋
李林
王雅琳
王凯
阳春华
桂卫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202010602866.5A priority Critical patent/CN111832703B/zh
Publication of CN111832703A publication Critical patent/CN111832703A/zh
Application granted granted Critical
Publication of CN111832703B publication Critical patent/CN111832703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法，该方法具体包括如下步骤：首先从生产过程中选取对生产过程以及产品质量有影响的关键过程变量作为质量变量，再对输入过程变量和质量变量连续不规则采样，获得动态数据序列；对采样的原始动态数据序列进行预处理；建模时利用非增函数将采样间隔转换为合适的权值，利用一个全连接层计算得到质量变量的预测值，按照先后顺序确定训练集数据和测试数据集；训练网络，确定网络结构和超参数；实现质量变量实时在线预测。本发明能处理流程制造工业中的不规则采样数据，还能够处理工业中的非线性动态特性，且计算量小，极大的提高软测量模型的适用性与准确性。

Description

一种基于采样间隔感知长短期记忆网络的流程制造工业不规 则采样动态序列建模方法
技术领域
本发明涉及工业过程预测与控制领域，具体涉及基于采样间隔感 知长短期记忆网络的流程制造工业不规则采样动态序列建模方法。
背景技术
流程工业包括石油、化工、有色、钢铁、建材等行业，是国民经 济的重要支柱产业。在工业过程中，质量的监测和控制对过程安全、 优化和节能至关重要；质量的监测和控制在很大程度上决定于对过程 关键性能指标的实时在线测量；由于测量环境恶劣，在线分析仪器昂 贵，离线测量存在较大的延迟等原因使得过程关键性能指标的在线测 量变得困难。由此，软测量技术应运而生。
软测量技术主要分为机理驱动的软测量模型和数据驱动的软测量 模型。近几年，由于分布式控制系统的成功应用，我们可以从生产过 程中获得大量的过程数据，使得数据驱动的软测量技术迅速发展。当 前数据驱动的软测量技术主要有主成分回归分析、偏最小二乘回归、 支持向量回归、人工神经网络算法等。但是这类浅层的网络对复杂过 程的特征提取能力不足，受到网络深度的限制，浅层网络不能很好的 挖掘过程数据中的非线性特征，而多层人工神经网络又容易受到梯度 消失和梯度爆炸的影响，因此预测性能也受到一定的限制。随着计算 机技术的发展，在2006年，Hinton等人提出深层神经网络通过逐层无监 督预训练和有监督微调可以有效的克服网络训练的难题，由此深度神 经网络技术不断发展并在许多领域包括软测量建模中被广泛应用。在 流程制造工业过程中，相比于深度置信网络、堆栈自编码器和卷积神 经网络，循环神经网络由于其特别的网络结构能够处理工业过程中的 动态特性，因此具有比静态神经网络更高的预测性能，但是标准的循 环神经网络由于网络的细胞单元结构简单，使得网络存在长期依赖的 问题，对此，标准循环神经网络的一种变体，长短期记忆网络应运而 生。
长短期记忆网络的基本假设是动态时间序列中的测量值以均匀统 一的频率采样。例如专利申请CN201910910902.1-一种基于空间和时间 注意力的长短期记忆网络对工业非线性动态过程产品质量预测方法， 就利用长短期记忆网络建立输入变量和质量变量之间的动态非线性模 型，并在此基础上先利用一个空间注意力机制来获得质量变量和输入 变量之间的相关性，再利用一个时间注意力机制来建立质量变量和输 入样本的动态相关性，实现不仅能自适应地选择和质量变量相关的输 入变量、还能处理工业过程中的时序性问题的效果，极大地提高软测 量模型的准确性，实现了针对工业非线性动态生产过程关键质量变量 进行精确预测。该方法要求输入样本的过程变量以及样本标签均为规 则采样的时间序列且在构建模型时需要编码和解码，是专门针对工业 非线性动态生产过程的软测量方法。
然而，对于流程制造工业过程中的过程数据测量，特别是质量变 量，动态时间序列中的测量值往往很难满足等间隔采样条件。例如， 在生产的初始阶段，质量变量的采样频率往往很高，以便监测过程是 否满足工艺要求和产品是否合格；在过程稳定运行后，质量变量的分 析频率要低得多。此外，质量变量大多由运行中的工厂的操作员手动 取样，然后送到实验室进行离线分析。过程操作员很难保持均匀的采 样频率。即使对于一些可以通过在线分析仪测量的质量变量，在许多 流程制造工业过程中，各个流程化单元中频繁的维护也常常导致时间 长度不规则的采样测量。
因此，针对流程制造工业过程中的动态时间序列样本数据的不规 则采样问题，急需供一种长短期记忆网络的软测量建模方法，使得其 充分考虑到流程制造工业过程中样本数据不规则的采样问题，以实现 对生产过程关键质量变量进行精确预测的作用。
发明内容
(一)要解决的技术问题
本发明的目的在于克服现有技术没有充分考虑流程制造工业过程 中样本数据不规则采样问题，提供一种基于采样间隔感知长短期记忆 网络的流程制造工业不规则采样动态序列建模方法，实现了对生产过 程关键质量变量进行精确预测，提高动态软测量模型在流程制造工业 中的普适性，并且计算量小。
(二)技术方案
本发明公开了一种基于采样间隔感知长短期记忆网络的流程制造 工业不规则采样动态序列建模方法，该方法包括以下步骤：
步骤(1)：通过机理分析和专家知识，从流程制造工业过程中选 取对质量变量产生影响的若干关键过程变量作为输入变量，对输入变 量和相应的质量变量连续的不规则采样若干次后，得到输入变量X与相 应的质量变量Y的时间序列数据集记为(X,Y)；
X＝{x(1),x(2),…,x(k),…,x(T1)}
Y＝{y(1),y(2),…,y(k),…,y(T1)}
其中，T1为采样样本次数，1≤k≤T1；
步骤(2)：对步骤(1)中采样的数据(X,Y)进行归一化处理；
步骤(3)、构建模型：计算相邻两个样本的采样时间间隔△，设计 了两个非增函数将采样间隔转换为合适的权值；将采样间隔权值和网 络的隐状态相乘作为长短期记忆网络细胞单元中三个控制门的输入， 由此根据采样间隔来调整控制门的开关程度，故而调整细胞单元隐层 的输出，如果相邻两个样本之间的采样时间间隔△比较小，则两个相 邻样本之间具有较强的动态关系，如果相邻两个样本之间的采样间隔 △较大，则两个相邻样本之间的动态关系较弱；最后将长短期记忆网 络细胞单元的各个时刻的隐状态通过一个全连接层得到质量变量的预 测值
Figure BDA0002559683510000041
其中，所述步骤(3)包括：
采用如下设计的两个非增函数得到相应的采样间隔权值：
Figure BDA0002559683510000051
Figure BDA0002559683510000052
其中，a1,b1,a2,b2分别为网络的超参数，Δk为k时刻的样本与k-1 时刻样本之间的时间间隔；
由此得到细胞单元中控制门的加权输入：
Figure BDA0002559683510000053
其中g(Δk)选择g1(Δk)或者g2(Δk)函数，将加权后的隐状态作为 遗忘门、输入门和输出门三者的输入，通过长短记忆网络单元最终得 到隐藏层输出h(k)；计算出k时刻的隐状态之后，利用一个全连接层即 可得到当前时刻的质量变量的预测值：
Figure BDA0002559683510000054
其中，U为全连接层的权重，c为全连接层的偏置向量。
步骤(4)：训练模型：确定网络的结构和超参数a1,b1,a2,b2以及 网络学习率、训练迭代次数，训练基于采样间隔感知的长短期记忆网 络；
步骤(5)：实时采集输入变量值，利用训练完成的模型，得到质量 变量的预测值，实现质量变量实时在线预测。
进一步的，所述的步骤(3)中还包括：利用长短期神经网络单元 通过前向传播算法得到隐层状态包括：
遗忘门：
Figure BDA0002559683510000061
输入门：
Figure BDA0002559683510000062
输出门：
Figure BDA0002559683510000063
中间状态输入：
c(k)＝tanh(Wc[x(k)；h(k-1)]+bc)
其中，W*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长 短期记忆细胞单元中三个控制门以及中间状态的转换矩阵，b*表示三 个控制门和中间状态的偏置量；
当前时刻的细胞状态m(k)和隐藏层输出h(k)为：
Figure BDA0002559683510000064
Figure BDA0002559683510000065
进一步的，所述步骤(4)中包括：计算模型的损失函数：
Figure BDA0002559683510000066
计算出损失函数之后，利用基于时间的误差反向传播算法和Adam算 法更新网络参数，在损失函数收敛之后停止模型的训练。
进一步的，所述步骤(4)中还包括：采集测试样本，利用测试集 数据验证模型的预测性能：
设归一化后的测试集输入样本和质量变量分别为：
Figure BDA0002559683510000071
Figure BDA0002559683510000072
其中，T2表示测试集的样本总数；
测试集的预测输出为：
Figure BDA0002559683510000073
其中，fLSTM表示基于采样间隔感知的长短期记忆网络模型。
进一步的，所述步骤(2)中还包括：对步骤(1)中采样的数据进 行归一化：
Figure BDA0002559683510000074
其中，xmin为样本数据的最小值，xmax为样本数据的最大值；
由此得到[0,1]之间的新的数据集记为
Figure BDA0002559683510000075
并将数据集作为训练 集：
Figure BDA0002559683510000076
Figure BDA0002559683510000077
其中，
Figure BDA0002559683510000078
n为输入样本的维度，
Figure BDA0002559683510000079
进一步的，步骤(1)中所述的流程制造工业过程为加氢裂化过程 产品质量预测。
进一步的，选择加氢裂化生产过程中轻石脑油C5含量为输出变量， 通过机理分析，从过程中选取对该输出变量有较大影响的43个过程变 量作为采样间隔感知深度学习模型的输入变量。
进一步的，选择加氢裂化生产过程中重石脑油终馏点为输出变量， 通过机理分析，从过程中选取对该输出变量有较大影响的43个过程变 量作为采样间隔感知深度学习模型的输入变量。
(三)有益效果
本发明相对于现有技术，具有如下优点之处：本发明提供的基于 采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建 模方法，利用长短期记忆网络建立输入变量和质量变量之间的动态非 线性模型，在此基础上经过多次模拟实验，选择设计了g1(Δk-1)和 g2(Δk-1)两个基于采样间隔的非增函数来处理样本数据不规则采样问 题，利用非增函数可以将相邻两个样本的采样间隔转换为一个合适的 采样间隔相关的权值并与隐状态相乘，将加权隐状态用于细胞中的三 个控制门的输入来调节控制门的开关程度，并且在计算出k时刻的隐状 态之后，利用一个全连接层即可得到当前时刻的质量变量的预测值
Figure BDA0002559683510000081
其无需如现有技术CN201910910902.1中一样在建模过程中还需要进行 复杂的编码和解码计算(且现有技术CN201910910902.1中的建模方法 也解决不了本发明提出的技术问题)，故本发明的方法计算量小且有效， 不仅能处理流程制造工业中采样不规则问题，还能处理工业过程中的 时序性问题，极大地提高软测量模型的准确性。
附图说明
为了更清晰地说明本发明实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图做简单地介绍。很显 然，下面描述中的附图是本发明的一些实施例，对于本领域普通技术 人员来说，在不付出创造性劳动的前提下，可以根据这些附图得到其 它的附图。
图1为本发明实施例1所述的基于采样间隔感知长短期记忆网络的 流程制造工业不规则采样动态序列建模整体流程示意图；
图2为本发明实施例1中长短期记忆网络细胞单元结构示意图；
图3为本发明实施例1中基于采样间隔感知的长短期记忆网络结构 图；
图4为本发明实施例中加氢裂化简图；
图5为本发明实施例1中多层神经网络网络模型对轻石脑油中C5 含量的预测值和真实值对比曲线图；
图6为本发明实施例1中堆栈自编码器模型对轻石脑油中C5含量 的预测值和真实值对比曲线图；
图7为本发明实施例1中基于指数函数的采样间隔感知的长短期记 忆网络模型对轻石脑油中C5含量的预测值和质量变量真实值对比曲线 图；
图8为本发明实施例1中基于对数函数采样间隔感知的长短期记忆 网络模型对轻石脑油中C5含量的预测值和质量变量真实值对比曲线图；
图9为本发明实施例1中多层神经网络网络模型对重石脑油终馏点 的预测值和真实值对比曲线图；
图10为本发明实施例1中堆栈自编码器模型对重石脑油终馏点的 预测值和真实值对比曲线图；
图11为本发明实施例1中基于指数函数的采样间隔感知的长短期 记忆网络模型对重石脑油终馏点的预测值和质量变量真实值对比曲线 图；
图12为本发明实施例1中基于对数函数采样间隔感知的长短期记 忆网络模型对重石脑油终馏点的预测值和质量变量真实值对比曲线图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述。 显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施 例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性 劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明在充分总结和分析现有技术的优劣基础上，基于常规本领 域技术人员不容易发现的技术问题“流程制造工业过程中样本数据不 规则采样问题”，对现有技术做了改进，提出一种基于采样间隔感知长 短期记忆网络的流程制造工业不规则采样动态序列建模方法，首先从 生产过程中选取对质量变量有影响的关键变量，在对关键变量和质量变量进行连续采样，对采样的数据集进行归一化处理后作为训练集。 利用长短期记忆网络建立输入变量和质量变量之间的动态非线性模型， 在此基础上设计了两个基于采样间隔的非增函数来处理样本数据不规 则采样问题，利用两个非增函数可以将相邻两个样本的采样间隔转换 为一个合适的采样间隔相关的权值并与隐状态相乘，将加权隐状态用 于细胞中的三个控制门的输入来调节控制门的开关程度。本发明提供 的技术方案不仅能处理采样不规则问题，还能处理工业过程中的时序 性问题，极大地提高软测量模型的准确性。
如图1-3所示，所述一种基于采样间隔感知长短期记忆网络的流程 制造工业不规则采样动态序列建模方法，具体包括以下步骤：
步骤(1)：通过机理分析和专家知识，从流程制造工业过程中选 取对质量变量产生影响的若干关键过程变量作为输入变量，对输入变 量和相应的质量变量连续不规则采样若干次后，得到输入变量与相应 的质量变量的时间序列数据集记为(X,Y)；
X＝{x(1),x(2),…,x(k),…,x(T1)}
Y＝{y(1),y(2),…,y(k),…,y(T1)}
其中T1为采样样本次数，1≤k≤T1；
步骤(2)：对步骤(1)中采样的数据进行归一化：
Figure BDA0002559683510000121
其中，xmin为样本数据的最小值，xmax为样本数据的最大值；
由此得到[0,1]之间的新的数据集记为
Figure BDA0002559683510000122
并将数据集作为训练 集：
Figure BDA0002559683510000123
Figure BDA0002559683510000124
其中，
Figure BDA0002559683510000125
n为输入样本的维度，
Figure BDA0002559683510000126
步骤(3)：构建模型，计算相邻两个样本的采样时间间隔△，设 计了两个非增函数将采样间隔转换为合适的权值；将采样间隔权值和 网络的隐状态相乘来作为长短期记忆网络细胞单元中三个控制门的输 入，由此可以根据采样间隔来调整控制门的开关程度，故而调整细胞 单元隐层的输出，如果相邻两个样本之间的采样时间间隔比较小，则 认为两个相邻样本之间具有较强的动态关系，如果相邻两个样本之间 的采样间隔较大，则认为两个相邻样本之间的动态关系较弱；最后将 长短期记忆网络细胞单元的各个时刻的隐状态通过一个全连接层得到 质量变量的预测值；
具体的，所述步骤(3)的具体处理如下：
通过多次实验和理论分析，本发明具体采用如下设计的两个非增 函数得到相应的采样间隔权值：
Figure BDA0002559683510000131
Figure BDA0002559683510000132
其中，a1,b1,a2,b2分别为网络的超参数，Δk为k时刻的样本与k-1 时刻样本之间的时间间隔。
由此可以得到细胞单元中控制门的加权输入：
Figure BDA0002559683510000133
其中g(Δk)为g1(Δk)或者g2(Δk)，将加权后的隐状态作为遗忘门、 输入门和输出门三者的输入，通过长短记忆网络单元最终得到隐藏层 输出h(k)：
利用长短期神经网络单元通过前向传播算法得到隐层状态包括：
遗忘门：
Figure BDA0002559683510000134
输入门：
Figure BDA0002559683510000135
输出门：
Figure BDA0002559683510000136
中间状态输入：
c(k)＝tanh(Wc[x(k)；h(k-1)]+bc)
其中，W*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长 短期记忆细胞单元中三个控制门以及中间状态的转换矩阵，b*表示三 个控制门和中间状态的偏置量；
当前时刻的细胞状态m(k)和隐藏层输出h(k)为：
Figure BDA0002559683510000141
Figure BDA0002559683510000142
计算出k时刻的隐状态之后，利用一个全连接层即可得到当前时刻 的质量变量的预测值：
Figure BDA0002559683510000143
其中，U为全连接层的权重，c为全连接层的偏置向量。
步骤(4)：训练模型，确定网络的结构和超参数a1,b1,a2,b2以及 网络学习率、训练迭代次数，训练基于采样间隔感知的长短期记忆网 络：计算模型的损失函数：
Figure BDA0002559683510000144
计算出损失函数之后，利用基于时间的误差反向传播算法和Adam 算法更新网络参数，在损失函数收敛之后停止模型的训练；
具体的，所述的步骤(4)包括：
采集测试样本，利用测试集数据验证模型的预测性能：
设归一化后的测试集输入样本和质量变量分别为：
Figure BDA0002559683510000151
Figure BDA0002559683510000152
其中，T2表示测试集的样本总数；
测试集的预测输出为：
Figure BDA0002559683510000153
其中，fLSTM表示基于采样间隔感知的长短期记忆网络模型。
步骤(5)：实时采集输入变量值，利用训练完成的模型，得到质 量变量的预测值，实现质量变量实时在线预测。
实施例1：
参见图1-5所示，一种基于采样间隔感知长短期记忆网络的流程制 造工业不规则采样动态序列建模方法，包括以下步骤：
步骤(1)、从加氢裂化过程中选取对航煤初馏点的轻石脑油C5含 量产生影响的43个变量(如表1所示)作为输入变量，提取了从2016年 9月15日到2018年2月9日离线化验得到的1300个样本。
步骤(2)、对步骤(1)中收集到的数据进行归一化得到新的数据 集，转化函数为：
Figure BDA0002559683510000154
其中xmin为数据集的最小值，xmax为数据集的最大值。离差标 准化是对原始数据的线性变换，使结果落到[0,1]区间；
将前1000个样本作为训练集训练模型参数,剩下的300个样本作为 测试集测试模型的预测性能，首先得到训练集的输入和输出矩阵：
Figure BDA0002559683510000161
Figure BDA0002559683510000162
其中，
Figure BDA0002559683510000163
n为输入样本的维度，
Figure BDA0002559683510000164
步骤(3)利用设计的两个非增函数得到相应的采样间隔权值：
Figure BDA0002559683510000165
Figure BDA0002559683510000166
其中，网络的超参数a1,b1,a2,b2分别取值为4/8/10/24，Δk为k时刻 的样本与k-1时刻样本之间的时间间隔。
由此可以得到细胞单元中控制门的加权输入：
Figure BDA0002559683510000167
将加权后的隐状态作为遗忘门、输入门和输出门的输入：
遗忘门：
Figure BDA0002559683510000168
输入门：
Figure BDA0002559683510000171
输出门：
Figure BDA0002559683510000172
中间状态输入：
c(k)＝tanh(Wc[x(k)；h(k-1)]+bc)
其中，W*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长 短期记忆细胞单元中三个控制门以及中间状态的转换矩阵，b*表示三 个控制门和中间状态的偏置量；
当前时刻的细胞状态m(k)和隐藏层输出h(k)为：
Figure BDA0002559683510000173
Figure BDA0002559683510000174
计算出k时刻的隐状态之后，利用一个全连接层即可得到当前时刻 的质量变量的预测值：
Figure BDA0002559683510000175
步骤(4)计算模型的损失函数MSE：
Figure BDA0002559683510000176
计算出损失函数之后，利用基于时间的误差反向传播算法和Adam 算法更新网络参数，在损失函数收敛之后停止模型的训练；
步骤(5)利用测试集数据验证模型的预测性能，测试集输入样本 和质量变量为：
Figure BDA0002559683510000181
Figure BDA0002559683510000182
最后利用训练完成的基于采样间隔感知的长短期记忆网络实现对 质量变量的预测:
Figure BDA0002559683510000183
其中，fLSTM表示基于采样间隔感知的长短期记忆网络模型。
利用标准的均方根误差(RMSE)和决定系数(R2)来评价软测 量模型的预测精度，计算公式如下：
Figure BDA0002559683510000184
Figure BDA0002559683510000185
其中
Figure BDA0002559683510000186
与
Figure BDA0002559683510000187
分别为质量变量的真实值、预测值和 真实值的平均值。
预测结果分别如图6、图7、图8、图9所示，均方根误差RMSE和决 定系数R2如表2所示。可以看出本发明的基于采样间隔感知的长短期记 忆网络较多层神经网络和堆栈自编码器可以更精确的预测质量变量的 真实值，验证了本发明的有效性。
实施例2
下面对重石脑油终馏点进行预测：
步骤(1)、从加氢裂化过程中选取对重石脑油终馏点产生影响的 43个变量(如表1所示)作为输入变量，提取了从2016年9月15日到2018 年11月30日离线化验得到的871个样本。
步骤(2)、对步骤(1)中收集到的数据进行归一化得到新的数据 集，转化函数为：
Figure BDA0002559683510000191
其中xmin为数据集的最小值，xmax为数据集的最大值。离差标准 化是对原始数据的线性变换，使结果落到[0,1]区间；
将前632个样本作为训练集训练模型参数,剩下的239个样本作为 测试集测试模型的预测性能，首先得到训练集的输入和输出矩阵：
Figure BDA0002559683510000192
Figure BDA0002559683510000193
其中，
Figure BDA0002559683510000194
n为输入样本的维度，
Figure BDA0002559683510000195
步骤(3)利用设计的两个非增函数得到相应的采样间隔权值：
Figure BDA0002559683510000196
Figure BDA0002559683510000201
其中，网络的超参数a1,b1,a2,b2分别取值为10/6/10/24，Δk为k时刻 的样本与k-1时刻样本之间的时间间隔。
由此可以得到细胞单元中控制门的加权输入：
Figure BDA0002559683510000202
将加权后的隐状态作为遗忘门、输入门和输出门的输入：
遗忘门：
Figure BDA0002559683510000203
输入门：
Figure BDA0002559683510000204
输出门：
Figure BDA0002559683510000205
中间状态输入：
c(k)＝tanh(Wc[x(k)；h(k-1)]+bc)
其中，W*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长 短期记忆细胞单元中三个控制门以及中间状态的转换矩阵，b*表示三 个控制门和中间状态的偏置量；
当前时刻的细胞状态和隐藏层输出为：
Figure BDA0002559683510000211
Figure BDA0002559683510000212
计算出k时刻的隐状态之后，利用一个全连接层即可得到当前时刻 的质量变量的预测值：
Figure BDA0002559683510000213
步骤(4)计算模型的损失函数MSE：
Figure BDA0002559683510000214
计算出损失函数之后，利用基于时间的误差反向传播算法和Adam 算法更新网络参数，在损失函数收敛之后停止模型的训练；
步骤(5)利用测试集数据验证模型的预测性能，测试集输入样本 和质量变量为：
Figure BDA0002559683510000215
Figure BDA0002559683510000216
最后利用训练完成的基于采样间隔感知的长短期记忆网络实现对 质量变量的预测:
Figure BDA0002559683510000217
其中，fLSTM表示基于采样间隔感知的长短期记忆网络模型。
利用标准的均方根误差(RMSE)和决定系数(R2)来评价软测 量模型的预测精度，计算公式如下：
Figure BDA0002559683510000221
Figure BDA0002559683510000222
其中
Figure BDA0002559683510000223
与
Figure BDA0002559683510000224
分别为质量变量的真实值、预测值和 真实值的平均值。
预测结果分别如图10、图11、图12所示，均方根误差RMSE和决定 系数R2如表3所示。可以看出本发明的基于采样间隔感知的长短期记忆 网络较多层神经网络和堆栈自编码器可以更精确的预测质量变量的真 实值，验证了本发明的有效性。
故由实施例1-2的效果可知，本发明中基于对数和指数的两种非增 函数的应用不仅能有效的处理流程制造工业中采样不规则问题，还能 处理工业过程中的时序性问题，极大地提高软测量模型的准确性，且 计算量小。此外值得再次一提的是，本发明的技术问题发现和提出是 有难度的，本发明在发现了不容易发现的技术问题“流程制造工业过 程中样本数据不规则采样问题”后，经过多次实验计算和理论分析， 设计出两组有效的非增函数将相邻两个样本的采样间隔转换为一个合 适的采样间隔相关的权值并与隐状态相乘，将加权隐状态用于细胞中 的三个控制门的输入来调节控制门的开关程度，并且在计算出k时刻的 隐状态之后，利用一个全连接层即可得到当前时刻的质量变量的预测 值
Figure BDA0002559683510000231
的一系列技术手段也都明显不属于本领域技术人员的常规技术 手段。
最后说明的是：以上实施例仅用以说明本发明的技术方案，而非 对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域 的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术 方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改 或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案 的精神和范围。
表1输入变量说明
Figure BDA0002559683510000232
Figure BDA0002559683510000241
表2四种方法预测轻石脑油C5含量的均方根误差和决定系数
Figure BDA0002559683510000242
表3四种方法预测重石脑油终馏点的均方根误差和决定系数
Figure BDA0002559683510000243

Claims (8)

1.一种基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法，其特征在于，该建模方法包括以下步骤：
步骤(1)：通过机理分析和专家知识，从流程制造工业过程中选取对质量变量产生影响的若干关键过程变量作为输入变量，对输入变量和相应的质量变量连续的不规则采样若干次后，得到输入变量X与相应的质量变量Y的时间序列数据集记为(X,Y)；
X＝{x(1),x(2),…,x(k),…,x(T1)}
Y＝{y(1),y(2),…,y(k),…,y(T1)}
其中，T1为采样样本次数，1≤k≤T1；
步骤(2)：对步骤(1)中采样的数据(X,Y)进行归一化处理；
步骤(3)、构建模型：计算相邻两个样本的采样时间间隔△，设计了两个非增函数将采样间隔转换为合适的权值；将采样间隔权值和网络的隐状态相乘作为长短期记忆网络细胞单元中三个控制门的输入，由此根据采样间隔来调整控制门的开关程度，故而调整细胞单元隐层的输出，如果相邻两个样本之间的采样时间间隔△比较小，则两个相邻样本之间具有较强的动态关系，如果相邻两个样本之间的采样间隔△较大，则两个相邻样本之间的动态关系较弱；最后将长短期记忆网络细胞单元的各个时刻的隐状态通过一个全连接层得到质量变量的预测值
Figure FDA0002559683500000011
其中，所述步骤(3)具体包括：
采用如下设计的两个非增函数得到相应的采样间隔权值：
Figure FDA0002559683500000021
Figure FDA0002559683500000022
其中，a1,b1,a2,b2分别为网络的超参数，Δk为k时刻的样本与k-1时刻样本之间的时间间隔；
由此得到细胞单元中控制门的加权输入
Figure FDA0002559683500000023
Figure FDA0002559683500000024
其中，g(Δk)选择对数g1(Δk)或者指数g2(Δk)函数，将加权后的隐状态作为遗忘门、输入门和输出门三者的输入，通过长短记忆网络单元最终得到隐藏层输出h(k)；计算出k时刻的隐状态之后，利用一个全连接层即可得到当前时刻的质量变量的预测值：
Figure FDA0002559683500000025
其中，U为全连接层的权重，c为全连接层的偏置向量；
步骤(4)：训练模型：确定网络的结构和超参数a1,b1,a2,b2以及网络的学习率、训练迭代次数，训练基于采样间隔感知的长短期记忆网络。
步骤(5)：实时采集输入变量值，利用训练完成的模型，得到质量变量的预测值，实现质量变量实时在线预测。
2.根据权利要求1所述的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法，其特征在于，所述的步骤(3)中还包括：利用长短期记忆神经网络单元通过前向传播算法得到隐层状态包括：
遗忘门：
Figure FDA0002559683500000031
输入门：
Figure FDA0002559683500000032
输出门：
Figure FDA0002559683500000033
中间状态输入：
c(k)＝tanh(Wc[x(k)；h(k-1)]+bc)
其中，W*表示当前时刻输入和前一时刻的隐状态的连接矩阵与长短期记忆细胞单元中三个控制门以及中间状态的转换矩阵，b*表示三个控制门和中间状态的偏置量；
当前时刻的细胞状态m(k)和隐藏层输出h(k)为：
Figure FDA0002559683500000034
Figure FDA0002559683500000035
3.根据权利要求1所述的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法，其特征在于，所述步骤(4)中包括：计算模型的损失函数：
Figure FDA0002559683500000041
计算出损失函数之后，利用基于时间的误差反向传播算法和Adam算法更新网络参数，在损失函数收敛之后停止模型的训练。
4.根据权利要求3所述的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法，其特征在于，所述步骤(4)中还包括：采集测试样本，利用测试集数据验证模型的预测性能：
设归一化后的测试集输入样本和质量变量分别为：
Figure FDA0002559683500000042
Figure FDA0002559683500000043
其中，T2表示测试集的样本总数；
测试集的预测输出为：
Figure FDA0002559683500000044
其中，fLSTM表示基于采样间隔感知的长短期记忆网络模型。
5.根据权利要求1所述的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法，其特征在于，所述步骤(2)中还包括：对步骤(1)中采样的数据进行归一化：
Figure FDA0002559683500000045
其中，xmin为样本数据的最小值，xmax为样本数据的最大值；
由此得到[0,1]之间的新的数据集记为
Figure FDA0002559683500000046
并将数据集作为训练集：
Figure FDA0002559683500000047
Figure FDA0002559683500000051
其中，
Figure FDA0002559683500000052
n为输入样本的维度，
Figure FDA0002559683500000053
6.根据权利要求1所述的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法，其特征在于，步骤(1)中所述的流程制造工业过程为加氢裂化过程产品质量预测。
7.根据权利要求6所述的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法，其特征在于，选择加氢裂化生产过程中轻石脑油C5含量为输出变量，通过机理分析，从过程中选取对该输出变量有较大影响的43个过程变量作为采样间隔感知深度学习模型的输入变量。
8.根据权利要求6所述的基于采样间隔感知长短期记忆网络的流程制造工业不规则采样动态序列建模方法，其特征在于，选择加氢裂化生产过程中重石脑油终馏点为输出变量，通过机理分析，从过程中选取对该输出变量有较大影响的43个过程变量作为采样间隔感知深度学习模型的输入变量。
CN202010602866.5A 2020-06-29 2020-06-29 一种流程制造工业不规则采样动态序列建模方法 Active CN111832703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010602866.5A CN111832703B (zh) 2020-06-29 2020-06-29 一种流程制造工业不规则采样动态序列建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010602866.5A CN111832703B (zh) 2020-06-29 2020-06-29 一种流程制造工业不规则采样动态序列建模方法

Publications (2)

Publication Number Publication Date
CN111832703A true CN111832703A (zh) 2020-10-27
CN111832703B CN111832703B (zh) 2022-05-13

Family

ID=72898339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010602866.5A Active CN111832703B (zh) 2020-06-29 2020-06-29 一种流程制造工业不规则采样动态序列建模方法

Country Status (1)

Country Link
CN (1) CN111832703B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925202A (zh) * 2021-01-19 2021-06-08 北京工业大学 基于动态特征提取的发酵过程阶段划分方法
CN113485261A (zh) * 2021-06-29 2021-10-08 西北师范大学 一种基于CAEs-ACNN的软测量建模方法
WO2022179352A1 (zh) * 2021-02-25 2022-09-01 华为技术有限公司 采集周期确定方法、装置、系统、设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020728A (zh) * 2012-11-05 2013-04-03 青海电力科学试验研究院 一种电力系统中变电站短期电能质量预测方法
US10002322B1 (en) * 2017-04-06 2018-06-19 The Boston Consulting Group, Inc. Systems and methods for predicting transactions
CN108764517A (zh) * 2018-04-08 2018-11-06 中南大学 一种高炉铁水硅含量变化趋势预测方法、设备和存储介质
CN108920888A (zh) * 2018-04-26 2018-11-30 浙江工业大学 一种基于深度神经网络的连续搅拌釜式反应过程辨识方法
CN109711714A (zh) * 2018-12-24 2019-05-03 浙江大学 基于并联长短期记忆网络的制造装配产品质量预测方法
CN110705692A (zh) * 2019-09-25 2020-01-17 中南大学 一种基于空间和时间注意力的长短期记忆网络对工业非线性动态过程产品质量预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020728A (zh) * 2012-11-05 2013-04-03 青海电力科学试验研究院 一种电力系统中变电站短期电能质量预测方法
US10002322B1 (en) * 2017-04-06 2018-06-19 The Boston Consulting Group, Inc. Systems and methods for predicting transactions
CN108764517A (zh) * 2018-04-08 2018-11-06 中南大学 一种高炉铁水硅含量变化趋势预测方法、设备和存储介质
CN108920888A (zh) * 2018-04-26 2018-11-30 浙江工业大学 一种基于深度神经网络的连续搅拌釜式反应过程辨识方法
CN109711714A (zh) * 2018-12-24 2019-05-03 浙江大学 基于并联长短期记忆网络的制造装配产品质量预测方法
CN110705692A (zh) * 2019-09-25 2020-01-17 中南大学 一种基于空间和时间注意力的长短期记忆网络对工业非线性动态过程产品质量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIMING SHAO 等: "Adaptive soft sensor for quality prediction of chemical processes based on selective ensemble of local partial least squares models", 《CHEMICAL ENGINEERING RESEARCH AND DESIGN》 *
袁小锋 等: "深度学习在流程工业过程数据建模中的应用", 《智能科学与技术学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925202A (zh) * 2021-01-19 2021-06-08 北京工业大学 基于动态特征提取的发酵过程阶段划分方法
WO2022179352A1 (zh) * 2021-02-25 2022-09-01 华为技术有限公司 采集周期确定方法、装置、系统、设备以及存储介质
CN113485261A (zh) * 2021-06-29 2021-10-08 西北师范大学 一种基于CAEs-ACNN的软测量建模方法
CN113485261B (zh) * 2021-06-29 2022-06-28 西北师范大学 一种基于CAEs-ACNN的软测量建模方法

Also Published As

Publication number Publication date
CN111832703B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN110705692B (zh) 一种时空注意力网络的非线性动态工业过程产品预测方法
CN111832703B (zh) 一种流程制造工业不规则采样动态序列建模方法
CN116757534B (zh) 一种基于神经训练网络的智能冰箱可靠性分析方法
CN111813084B (zh) 一种基于深度学习的机械装备故障诊断方法
CN112990556A (zh) 一种基于Prophet-LSTM模型的用户用电能耗预测方法
Fan et al. A novel machine learning method based approach for Li-ion battery prognostic and health management
CN112364560B (zh) 矿山凿岩装备作业工时智能预测方法
CN111680786B (zh) 一种基于改进权重门控单元的时序预测方法
CN112734131A (zh) 一种基于深度学习算法的风机叶片覆冰状态预测方法
CN115982141A (zh) 一种针对时序数据预测的特征优化方法
CN113780420A (zh) 基于gru-gcn的变压器油中溶解气体浓度预测方法
CN110222825B (zh) 一种水泥成品比表面积预测方法及系统
CN113203953B (zh) 基于改进型极限学习机的锂电池剩余使用寿命预测方法
CN115062528A (zh) 一种针对工业过程时序数据的预测方法
CN113554229A (zh) 三相电压不平衡异常检测方法及装置
CN117077327A (zh) 基于数字孪生的轴承寿命预测方法及系统
CN112131516A (zh) 一种基于特征权值混合朴素贝叶斯模型的异常检测方法
CN116662925A (zh) 一种基于加权稀疏神经网络工业过程软测量方法
CN116109039A (zh) 一种数据驱动异常检测与预警系统
CN115759343A (zh) 一种基于e-lstm的用户电量预测方法和装置
Tran et al. A new grid search algorithm based on XGBoost model for load forecasting
CN115062533A (zh) 多元回归预测模型的构建、预测方法及介质
CN114692507A (zh) 基于堆叠泊松自编码器网络的计数数据软测量建模方法
Chen et al. Self-attention mechanism based dynamic fault diagnosis and classification for chemical processes
CN112183814A (zh) 一种短期风速预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant