CN110739030A - 一种乙烯生产过程小样本的软测量方法 - Google Patents

Abstract

本发明公开了一种乙烯生产过程小样本的软测量方法，采用加入高斯白噪声的AANN进行数据校正，生成虚拟样本，扩充样本数据，解决样本数量不足，数据分布不平衡问题；采用ELM进行数据建模，建立智能软测量仪表与乙烯产品单耗模型。本发明发明具有响应时间快、建模精度高、推理能力强、管理方便的特点，为保证乙烯生产的安全进行、提高产品质量、节约生产成本提供了帮助。

Description

一种乙烯生产过程小样本的软测量方法

技术领域

本发明属于软测量技术领域，特别涉及一种乙烯生产过程小样本的软测量方法，其中，通过引用加入高斯白噪声的自联想神经网络(Auto-Associative Neural Network,AANN)的对称拓扑结构实现虚拟样本的生成，运用极限学习机(Extreme LearningMachine，ELM)算法实现乙烯在工业生产过程的软测量，解决极限学习机建模过程中样本数据少建模精度低的问题。

背景技术

化工过程具有非线性、高维数、强耦合等复杂特征，难以利用机理进行精确过程建模。人工神经网络因其具有自学习自适应性、高度非线性逼近能力、并行分布处理等特点，无须考虑内部机理，正适合于过程建模领域。目前通常使用机理建模、数据驱动建模或者是两者结合的混合模型对工业过程进行软测量，从而实现对整个过程工况的实时监测，提高工业效率、稳定性和安全性。其中机理建模需要根据过程的基本反应原理来对对象进行建模，模型精度较高，然而基于反应机理的建模方法要求对生产过程有十分清晰的认识，在如今化工工艺中，工况多变，机理建模变得愈发困难。由于小样本的数量有限，通常会出现数据不完整和不平衡的情况，从而不能完全刻画总体样本的空间特征。因此，利用小样本构建的模型训练精度很高而泛化精度不甚理想，即出现“过拟合”问题。随着时代智能化的不断推进，人工智能技术不断推陈出新，人工智能技术也常常用于解决小样本问题。神经网络是人工智能技术的重要组成部分，模拟人类大脑的工作机制，具有自学习、快速寻优等优点。因此，将流程工业与神经网络相结合是提高流程智能化的重要方式之一。

近年来，黄广斌提出了一种快速学习算法—极限学习机(Extreme LearningMachine，ELM)，该算法专门针对单隐含层前馈神经网络，只需随机设定输入层权值和隐含层神经元阈值，直接利用Moore-Penrose广义逆快速求解输出权重，无须烦琐训练，可以得到最优解，避免了基于梯度下降学习法产生的许多问题，如各种网络参数设置，调整、学习速度慢及局部极小等，具有收敛速度快且泛化性能好的优点。然而，由于化工过程变量繁多，易受外界干扰，其测量参数含有大量噪声和误差，数据维数较高，导致ELM的学习性能受到较大影响。

自联想神经网络(Auto-Associative Neural Network,AANN)是在1987年由Ballard针对编码/解码问题首先提出的，其网络原型是一种具有对称拓扑结构的五层前馈传递网络，AANN应用到数据检验问题时具有比较明显的物理意义，首先通过输入层、映射层以及瓶颈层实现了输入数据信息的压缩。从网络输入的高维参数空间中提取了反映系统结构的最具代表性的低维子空间，同时有效地滤去了测量数据中的噪声和测量误差，再通过瓶颈层、解映射层和输出层实现数据的解压缩，将前面压缩的信息还原到各个参数值，从而实现各测量数据的重构。

自联想神经网络作为一种特殊的前馈式神经网络，通过设定合适的输入层与隐含层之间的压缩比率，不仅可以实现数据降维，还可以达到剔除噪声、过滤冗余信息的目的，同时可以生成有效的虚拟样本解决小样本问题中样本数量不足的问题。因此，可以将ELM网络同AANN网络相串联，构造一种递阶ELM神经网络，用于处理小样本问题。

发明内容

本发明的目的在于：提供一种乙烯生产过程小样本的软测量方法，通过在AANN网络中加入零均值、固定方差的高斯噪声来产生新样本，改善由于样本数量少导致的样本数据不平衡的特征，相当于给原始样本增添了扰动；在输入样本中添加些许噪声，相当于在神经网络的参数调整过程中使用了正则化方法，从而降低了建模过程的过拟合现象，提高建模精度。

技术方案如下：

一种乙烯生产过程小样本的软测量方法，其特征在于：建立对称结构的AANN自联想神经网络且在瓶颈层中添加高斯白噪声以得到高拟合度的虚拟样本，将虚拟样本通过Bootstrap方法进行重复采样以得到带有差异度的样本，再采用ELM实现快速对个体神经网络的训练以实现对乙烯生产过程小样本的软测量。

进一步的，将进料流量、燃料用量、蒸汽用量、水流量、电力用量和乙烯的产量作为输入，在AANN自联想神经网络中进行样本数据训练：

将获得的P个高维输入样本需要用自联想神经网络进行压缩降维,其集合表示为S＝{S_p|p＝1,2,...,P；S_p∈R^I}，其中,I表示输入层所含有的线性神经元个数；

对于每一个高维输入样本S_p，经过输入层和映射层后，映射层的神经元的输出表示为M_p＝f(WS_p+b)，其中映射层神经元个数为M，M_p为输入样本S_p的映射层输出向量，W＝[w_mi]_M×I为输入层与映射层神经元连接权值矩阵，w_mi表示连接第i个输入神经元与第m个映射层神经元的权值，b＝[b_m]_m×1为映射层的阈值向量，b_m表示第m个映射层神经元的阈值，f(·)为映射层的激活函数，且

瓶颈层的神经元的输出表示为B_p＝f(WM_p+c)+G_noise，其中瓶颈层神经元个数为B，B_p为映射层样本M_p的瓶颈层输出向量，W＝[w_bm]_B×M为映射层与瓶颈层神经元连接权值矩阵，w_bm表示连接第m个映射神经元与第b个瓶颈层神经元的权值，c＝[c_b]_b×1为瓶颈层的阈值向量，c_b表示第b个瓶颈层神经元的阈值，G_noise表示加入适当的高斯白噪声；

解映层的神经元的输出表示为D_p＝f(WB_p+d)，其中解映层神经元个数为D，D_p为瓶颈层B_p的解映曾输出向量，W＝[w_db]_D×B为瓶颈层与解映层神经元连接权值矩阵，w_db表示连接第b个瓶颈神经元与第d个解映层神经元的权值，c＝[c_d]_d×1为解映层的阈值向量，c_d表示第d个解映层神经元的阈值；

根据解映层每个神经元的输出，计算得到输出层每个神经元的输出值Q_p＝VD_p+e,其中，输出层神经元个数为I，Q_p为输入样本S_p经自联想神经网络后的输出值，V＝[w_id]_I×D为解映层与输出层神经元连接权值矩阵，e＝[e_i]_I×1为输出层的阈值向量，e_i表示第i个输出层神经元的阈值；

AANN神经网络包括前后两部分，其中前半部分包括输入层、映射层、瓶颈层，完成输入信息的压缩和编码:实现

后半部分包括解映层和输出层完成特征信息的解码:实现将此时获得的样本作为ELM建模的训练数据。

进一步的，将训练数据中的进料流量、燃料用量、蒸汽用量、水流量和电力用量作为输入，乙烯的产量作为输出，在ELM中进行建模：

初始化各层节点数并读入训练数据和泛化数据，将初始数据(X,Y)归一化处理，消除奇异样本数据对训练过程的影响，

归一化过程为：

其中，为X第j列的最大值，

为X第j列的最小值，y^max为Y的最大值，y^min为Y的最小值；

对于一个有L个隐含层节点的单隐层神经网络可以表示为

其中，g(x)为激活函数，W_i＝[w_i,1,w_i,2,…,w_i,n]^T为输入权重，β_i为输出权重，b_i是第i个隐层单元的偏置。W_i·X_i表示W_i和X_i的内积。

根据ELM算法，利用Moore-Penrose广义逆得到隐含层和输出层的权重

将归一化之后的训练数据代入模型进行处理，得到最终归一化之后的网络预测值y′，将y′进行反归一化：

Y′＝y′×(y^max-y^min)+y^min

计算得到的Y′即为产出乙烯的测量值。

本发明与现有技术相比的所取得的技术优势：

(1)本发明利用自联想神经网络(Auto-Associative Neural Network,AANN)进行数据的预处理，AANN具有对称拓扑结构的五层前馈传递网络，首先通过输入层、映射层以及瓶颈层实现了输入数据信息的压缩，输出层完成特征信息的解码。此外，对于AANN神经网络，将带有噪声的测量数据同时作为网络的训练输入和期望输出，则每个测量点的期望输出和信息恢复输出之间的误差就表示了现场测量数据中存在的噪声，体现了该网络具有抑制噪声的能力。因此，将其用于处理高维尤其含有噪声的数据会有较大的优势。

(2)本发明采用噪声注入来进行虚拟样本生成。噪声注入通常是在原始数据中加入零均值、固定方差的高斯噪声来产生新样本。在输入样本中添加些许噪声，相当于在神经网络的参数调整过程中使用了正则化方法，正则化系数与噪声标准差对神经网络的参数调整而言有异曲同工之妙，这个过程也相当于给原始样本增添了扰动。

(3)本发明提供了一种新型的神经网络参数学习算法-极限学习机(ExtremeLearning Machine，ELM)算法，该算法可以在随机选择输入层权值的前提下，利用Moore-Penrose广义逆解析求出输出层权值，同时还可以保证网络的泛化能力。与传统的BP神经网络、RBF神经网络相比，ELM学习算法具有学习速度快、可调参数少、不会出现局部极值等许多优良特性。

附图说明

图1为乙烯生产模型结构图；

图2为乙烯生产工艺流程图；

图3为AANN网络结构图；

图4为ELM网络结构图；

图5为本发明所述方法的工作流程图；

图6为泛化过程拟合图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合实施例对本发明提供的乙烯生产过程小样本的软测量方法进行详细描述。以下实施例仅用于说明本发明而非用于限制本发明的范围。

实施例1

本发明提供的用于提高乙烯生产过程小样本问题的建模精度方法，包括：数据预处理过程、样本选取过程、生成虚拟样本和个体神经网络建模过程。

数据预处理过程为：对现场采集的各部分原料数据中存在的缺失数据、异常数据和噪声数据进行处理，并将所处理后的数据作为自联想神经网络的训练数据进行训练。

样本选取过程为：将数据预处理后的训练数据分为用于个体神经网络建模的训练样本和用于神经网络集成的验证样本，并对所划分的训练样本采用Bootstrap方法进行重复抽样，获得带有差异度的个体神经网络的训练样本。

生成虚拟样本过程为：将上一步获得的训练样本通过AANN网络进行虚拟样本生成，由于AANN具有对称的网络结构，可以获得加入噪声后等量的虚拟样本数。

个体神经网络建模过程为：采用极限学习机(ELM)算法快速完成个体神经网络的训练；其中，在ELM建模过程中，通过设置个体神经网络的训练标准，以减少随机选取的输入层权值所带来的训练误差。

本发明通过对AANN瓶颈层添加高斯白噪声，实现虚拟样本的生成，实现数据增强，再进行ELM建模预测，用于实现乙烯工业生产过程小样本的软测量，AANN过程如图1所示，ELM网络结构如图2所示。通过对AANN瓶颈层添加高斯白噪声生成虚拟样本，避免了数据分布不均衡问题，进一步避免出现过拟合的情况，提升ELM泛化性能。本发明可以实现对乙烯生产过程中原料消耗的精准预测，从而提高装置的生产效率。

本发明的工作流程图如图3所示，具体实施方式如下：

(1)假设有P个高维输入样本需要用自联想神经网络进行压缩降维,其集合表示为S＝{S_p|p＝1,2,...,P；S_p∈R^I}，其中,I表示输入层所含有的线性神经元个数。

(2)对于每一个高维输入样本S_p，经过输入层和映射层后，映射层的神经元的输出表示为M_p＝f(WS_p+b)，其中映射层神经元个数为M，M_p为输入样本S_p的映射层输出向量，W＝[w_mi]_M×I为输入层与映射层神经元连接权值矩阵，w_mi表示连接第i个输入神经元与第m个映射层神经元的权值，b＝[b_m]_m×1为映射层的阈值向量，b_m表示第m个映射层神经元的阈值，f(·)为映射层的激活函数，且

(3)瓶颈层的神经元的输出表示为B_p＝f(WM_p+c)+G_noise，其中瓶颈层神经元个数为B，B_p为映射层样本M_p的瓶颈层输出向量，W＝[w_bm]_B×M为映射层与瓶颈层神经元连接权值矩阵，w_bm表示连接第m个映射神经元与第b个瓶颈层神经元的权值，c＝[c_b]_b×1为瓶颈层的阈值向量，c_b表示第b个瓶颈层神经元的阈值，G_noise表示加入适当的高斯白噪声，从而提高数据训练的拟合程度。

(4)解映层的神经元的输出表示为D_p＝f(WB_p+d)，其中解映层神经元个数为D，D_p为瓶颈层B_p的解映曾输出向量，W＝[w_db]_D×B为瓶颈层与解映层神经元连接权值矩阵，w_db表示连接第b个瓶颈神经元与第d个解映层神经元的权值，c＝[c_d]_d×1为解映层的阈值向量，c_d表示第d个解映层神经元的阈值。

(5)根据解映层每个神经元的输出，可计算得到输出层每个神经元的输出值Q_p＝VD_p+e,其中，输出层神经元个数为I，Q_p为输入样本S_p经自联想神经网络后的输出值，V＝[w_id]_I×D为解映层与输出层神经元连接权值矩阵，e＝[e_i]_I×1为输出层的阈值向量，e_i表示第i个输出层神经元的阈值。

(6)整个AANN神经网络包括前后两部分，其中前半部分包括输入层、映射层、瓶颈层，完成输入信息的压缩、编码(实现

)，后半部分包括解映层和输出层完成特征信息的解码(实现

)，将此时获得的样本作为ELM建模的训练数据。

(7)抽取30％的训练数据作为验证样本集，其余的训练数据作为训练样本集。对于N组训练数据{X,Y}，随机抽取N₁(N₁<<N)组训练数据作为验证样本集，剩余N₂(N₂＝N－N₁)组训练数据作为训练样本集。假设所抽取的N₁组训练数据序号为{n₁,n₂,…,n_N1}，则抽取后的验证样本集合为：

{X',Y'}＝{(X_n,Y_n)|n＝n₁,n₂,…,n_N1；X_n＝[x_n1,x_n2,…,x_nP]^T∈R^P；Y_n＝[y_n1]^T∈R¹}

对于抽取后的训练样本集合{X”,Y”}＝{X,Y}-{X',Y'}，将训练序号重新进行排序后，所得训练样本集合为：

{X”,Y”}＝{(X_n,Y_n)|n＝1,2,…,N₂；X_n＝[x_n1,x_n2,…,x_nP]^T∈R^P；Y_n＝[y_n1]^T∈R¹}

(8)设置每个个体神经网络的训练样本个数为N^(m)(其中，m＝1,2,…,M)，并从第1(m＝1)个神经网络开始，采用Bootstrap方法获得第1个神经网络的训练样本。同时初始化第m个神经网络所选取的训练样本序号集合Λ_m为空集，集合Λ_m中的元素个数ρ＝0。

(9)利用计算机在0到J之间产生随机整数j。此时，应保证生成值j在0到J上具有独立性、满周期性与均匀性，J>>N₂，N₂为训练样本的个数。

(10)令μ＝j％N₂，即将序号μ所对应的训练样本(Xμ,Yμ)作为第m个神经网络中的一个训练样本，并将序号μ加入到集合Λ_m中

ρ＝ρ+1。

(11)判断集合Λ_m中的元素个数ρ是否超过了所要求的训练样本个数N^(m)。如果ρ≤N^(m)，则返回第(3)步，继续选取个体神经网络m的训练样本；如果ρ>N^(m)，则可得神经网络m的训练样本为并进入下一步。

(12)令m＝m+1，如果m≤M，则设置Λ_m＝Ф，ρ＝0，并返回第(3)步对下一个个体神经网络的训练样本进行选取，直到m>M为止，完成该系统中所有个体神经网络训练样本的选取。

(13)对训练样本进行归一化处理，消除量纲对模型的影响。其中

归一化过程如下所示：

其中

为X第j列的最大值，

为X第j列的最小值，y^max为Y的最大值，y^min为Y的最小值。

(14)设置隐含层节点数s，计算得到ELM隐含层输出：

其中x_i＝[x_i1 … x_ip]，w_j＝[w_1j … w_pj]^T，b_j为第j个隐含层节点的阈值，g(·)为隐含层激活函数且

(15)根据ELM算法，利用Moore-Penrose广义逆得到隐含层与输出层之间的权重

得到训练好的网络模型，归一化处理后的x′，代入模型可以得到网络预测值y′，将y′进行反归一化：

Y′＝y′×(y^max-y^min)+y^min

计算得到的Y′即为乙烯生产过程消耗的测量值。

(16)同时分别两两比较不同训练样本之间的泛化误差(均方差)，得到最后的泛化误差

比较结果

其中T_i是准确值数组，A_i是模型的预计值数组，n是数据点的总个数。

本发明采用加入高斯白噪声的AANN进行数据校正，生成虚拟样本，扩充样本数据，解决样本数量不足，数据分布不平衡问题；采用ELM进行数据建模，建立智能软测量仪表与乙烯产品单耗模型，最终形成了一套乙烯生产过程针对小样本问题的智能检测方法，解决了针对乙烯工业生产过程小样本的软测量问题，由于神经网络需要充足的训练样本来提高模型的泛化能力，在获取大量样本需要耗费大量资源的情况下，如何利用采集到的小样本构建良好的输入输出模型并解决实际问题的难题。本发明发明具有响应时间快、建模精度高、推理能力强、管理方便的特点，为保证乙烯生产的安全进行、提高产品质量、节约生产成本提供了帮助。

上面结合实施例对本发明的实例作了详细说明，但是本发明并不限于上述实例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出的各种变化，也应视为本发明的保护范围。

Claims (3)

1.一种乙烯生产过程小样本的软测量方法，其特征在于：建立对称结构的AANN自联想神经网络且在瓶颈层中添加高斯白噪声以得到高拟合度的虚拟样本，将虚拟样本通过Bootstrap方法进行重复采样以得到带有差异度的样本，再采用ELM实现快速对个体神经网络的训练以实现对乙烯生产过程小样本的软测量。

2.根据权利要求1所述乙烯生产过程小样本的软测量方法，其特征在于：将进料流量、燃料用量、蒸汽用量、水流量、电力用量和乙烯的产量作为输入，在AANN自联想神经网络中进行样本数据训练：

将获得的P个高维输入样本需要用自联想神经网络进行压缩降维,其集合表示为S＝{S_p|p＝1,2,...,P；S_p∈R^I}，其中,I表示输入层所含有的线性神经元个数；

对于每一个高维输入样本S_p，经过输入层和映射层后，映射层的神经元的输出表示为M_p＝f(WS_p+b)，其中映射层神经元个数为M，M_p为输入样本S_p的映射层输出向量，W＝[w_mi]_M×I为输入层与映射层神经元连接权值矩阵，w_mi表示连接第i个输入神经元与第m个映射层神经元的权值，b＝[b_m]_m×1为映射层的阈值向量，b_m表示第m个映射层神经元的阈值，f(·)为映射层的激活函数，且

瓶颈层的神经元的输出表示为B_p＝f(WM_p+c)+G_noise，其中瓶颈层神经元个数为B，B_p为映射层样本M_p的瓶颈层输出向量，W＝[w_bm]_B×M为映射层与瓶颈层神经元连接权值矩阵，w_bm表示连接第m个映射神经元与第b个瓶颈层神经元的权值，c＝[c_b]_b×1为瓶颈层的阈值向量，c_b表示第b个瓶颈层神经元的阈值，G_noise表示加入适当的高斯白噪声；

解映层的神经元的输出表示为D_p＝f(WB_p+d)，其中解映层神经元个数为D，D_p为瓶颈层B_p的解映曾输出向量，W＝[w_db]_D×B为瓶颈层与解映层神经元连接权值矩阵，w_db表示连接第b个瓶颈神经元与第d个解映层神经元的权值，c＝[c_d]_d×1为解映层的阈值向量，c_d表示第d个解映层神经元的阈值；

根据解映层每个神经元的输出，计算得到输出层每个神经元的输出值Q_p＝VD_p+e,其中，输出层神经元个数为I，Q_p为输入样本S_p经自联想神经网络后的输出值，V＝[w_id]_I×D为解映层与输出层神经元连接权值矩阵，e＝[e_i]_I×1为输出层的阈值向量，e_i表示第i个输出层神经元的阈值；

AANN神经网络包括前后两部分，其中前半部分包括输入层、映射层、瓶颈层，完成输入信息的压缩和编码:实现

后半部分包括解映层和输出层完成特征信息的解码:实现

将此时获得的样本作为ELM建模的训练数据。

3.根据权利要求2所述乙烯生产过程小样本的软测量方法，其特征在于：将训练数据中的进料流量、燃料用量、蒸汽用量、水流量和电力用量作为输入，乙烯的产量作为输出，在ELM中进行建模：

初始化各层节点数并读入训练数据和泛化数据，将初始数据(X,Y)归一化处理，消除奇异样本数据对训练过程的影响，

归一化过程为：

其中，

为X第j列的最大值，为X第j列的最小值，y^max为Y的最大值，y^min为Y的最小值；

对于一个有L个隐含层节点的单隐层神经网络可以表示为

其中，g(x)为激活函数，W_i＝[w_i,1,w_i,2,…,w_i,n]^T为输入权重，β_i为输出权重，b_i是第i个隐层单元的偏置。W_i·X_i表示W_i和X_i的内积。

根据ELM算法，利用Moore-Penrose广义逆得到隐含层和输出层的权重

将归一化之后的训练数据代入模型进行处理，得到最终归一化之后的网络预测值y′，将y′进行反归一化：

Y′＝y′×(y^max-y^min)+y^min

计算得到的Y′即为产出乙烯的测量值。

Images