CN110059824A - 一种基于主成分分析的神经网络预测方法 - Google Patents

Abstract

本发明公开了一种基于主成分分析的神经网络预测方法，包括如下步骤：步骤1、采集过程数据和质量数据，利用主成分分析对数据进行处理；步骤2、使用步骤1中得到的数据，建立神经网络模型，并做预测。本方法首先采集化工过程中产生的过程变量和质量变量，并利用主成分分析法对数据做预处理，降低数据维度，避免冗余，将处理好的数据输入到径向基神经网络的预测模型中，求解并优化相应参数，使模型预测准确率达到预定值。不同于传统的预测方法，本方法结合主成分分析法和径向基神经网络模型，减少了建模的复杂度，提高了模型的精度。

Description

一种基于主成分分析的神经网络预测方法

技术领域

本发明属于自动化工业技术领域，涉及到一种基于主成分分析的神经网络预测方法。

背景技术

随着现代化工业过程的不断成熟化、复杂化，越来越多的工业过程信息可以得到采集。但是，在一些化工过程中，重要的变量只能依据离线的分析值进行调节，时滞很大，使工业过程控制困难。如果这些变量不能实时得到，不仅不能保证系统的所需性能，甚至会直接影响化工装置的生产能力及质量的稳定性。为了实时得到化工过程中难以测量的变量，达到精准控制，提出了一种基于主成分分析的神经网络预测方法。

发明内容

本发明针对传统算法在数据处理中存在数据冗余，建模复杂度较高且建模精度较低等问题，提出了一种基于主成分分析的神经网络预测方法。该方法首先采集化工过程中产生的过程变量和质量变量，并利用主成分分析法对数据做预处理，降低数据维度，避免冗余，将处理好的数据输入到径向基神经网络的预测模型中，求解并优化相应参数，使模型预测准确率达到预定值。不同于传统的预测方法，本方法结合主成分分析法和径向基神经网络模型，减少了建模的复杂度，提高了模型的精度。

本发明的技术方案是通过数据采集、数据预处理、系统建模、优化参数等手段，确立了一种基于主成分分析的神经网络预测方法。利用该方法提升了模型预测的准确性。

本发明的方法步骤包括：

步骤1、采集过程数据和质量数据，利用主成分分析对数据进行处理。具体步骤是：

1-1.定义标准化原始数据的第一主成分，形式如下：

t₁＝Xp₁＝[v₁ v₂...v_J]p₁且||p₁||＝1

其中，t₁是矩阵X的第一主成分，X∈R^N×J是标准化后的原始数据矩阵，N和J分别是数据样本个数和过程数据个数，p₁是矩阵X的协方差矩阵的第一标准化特征向量，[v₁ v₂...v_J]分别是第一、第二、…、第J过程数据。

1-2.根据步骤1-1，求得t₁的方差，形式如下：

其中，和X^T分别是第一标准化特征向量的转置和矩阵X的转置，Var(t₁)是t₁的方差。使得t₁能携带最多的原变异信息，即要求t₁的方差取到最大值。

1-3.结合步骤1-1和步骤1-2，根据拉格朗日算法可以得到：

Vp₁＝λ₁p₁

Var(t₁)＝λ₁

其中，λ₁是协方差矩阵V的第一特征值也是最大特征值。

1-4.以此类推，并重复步骤1-1至1-3，可以得到

t_a＝Xp_a

其中，t_a是第a主成分，p_a和p_a-1是矩阵V的第a和第a-1标准化特征向量，且p_a ^Tp_a-1＝0，p_a ^T是矩阵V的第a标准化特征向量的转置，λ_a是矩阵V第a特征值，Var(t₁)≥Var(t₂)≥...≥Var(t_a)，Var(t₂)和Var(t_a)分别是t₂和t_a的方差。

1-5根据预设的主成分累积贡献率，形式如下：

其中，E_a是前a个主成分的累积贡献率，λ_j是矩阵V第j特征值，Σ是求和符号，如果前a个主成分累积贡献率可以达到预设值，那么前a个主成分可以以预设值的精度描述原变量。

1-6.根据步骤1-5可以得到主成分分析之后的数据集，形式如下：

其中，T是主成分的得分矩阵，P^T是主成分的负载矩阵的转置。

步骤2、使用步骤1中得到的新数据，建立神经网络模型，并做预测。

2-1.将主成分分析之后的数据集分为训练集和测试集，建立径向基神经网络预测模型，形式如下：

其中，是神经网络的预测输出，是训练集，i＝1,2,...,I是隐藏层节点个数，ω_i是第i个神经元连接隐藏层和输出层的权值，是使用高斯函数的隐藏层中的第i个神经元输出，c_i是第i个神经元函数的中心，σ_i是第i个神经元函数的宽度，是输入变量和中心之间的欧式距离。径向基神经网络的训练需要求解并优化以下三个参数，步骤如下：

2-1-1.根据K-均值聚类算法确定c_i和σ_i两个参数，形式如下：

其中，θ_i是第i个聚类域，n_i是第i个聚类域中所包含的样本数，E是训练数据到聚类中心的欧式距离，c_max是所选取中心之间的最大距离。

2-1-2.根据递归最小二乘法进行权值参数调节，形式如下：

其中，k为时刻，ω(k)和ω(k-1)分别是第k时刻和第k-1时刻的连接隐藏层和输出层的权值，K(k)是第k时刻的权重矩阵，Y(k)是第k时刻的实际输出，φ(k)和φ^T(k)是第k时刻隐藏层神经元的输出和转置，P(k)和P(k-1)分别是第k时刻和第k-1时刻的正定协方差矩阵，且P(0)＝αI，α是一个很大的实数，可取α＞10⁵，I是一个适当维度的单位矩阵，ω(0)＝γ，γ是足够小的实矢量，设定为10^-3，0＜μ＜1是遗忘因子。

2-2.根据根均方误差评估径向基神经网络的建模精度，形式如下：

其中，RMSE是根均方误差，Y(X_n)是实际的输出。

2-3.重复步骤2-1和步骤2-2，直至建模精度低于期望值，并将测试集输入到神经网络模型中，如果模型预测准确率未达到预定值，调整网络结构和参数初始值，重复步骤2，直至模型预测准确率达到预定值。

具体实施方式

下面对本发明作进一步说明。

以乙烯氧化反应器为例：

乙烯反应器为固定床管式反应器，原料乙烯和氧气连续经过反应器，并在催化剂表面直接反应生成环氧乙烷，其收率是一个关键控制指标，建立乙烯氧化反应器的收率预测模型，把6个可测量的变量作为反应器收率预测模型的输入变量，以反应器的收率作为模型的输出。

步骤1、采集乙烯氧化反应器的影响收率的变量和反应器的收率，利用主成分分析对数据进行处理。具体步骤是：

1-1.定义乙烯氧化反应器的影响收率变量的第一主成分，形式如下：

t₁＝Xp₁＝[v₁ v₂...v_J]p₁且||p₁||＝1

其中，t₁是矩阵X的第一主成分，X∈R^N×J是标准化后的影响收率的变量矩阵组合，如反应器的入口温度、乙烯与氧气的重量比、乙烯的进料量、反应器的出口压力、催化剂的使用时间，N和J分别是影响收率变量的样本个数和影响收率变量的个数，p₁是矩阵X的协方差矩阵的第一标准化特征向量，[v₁ v₂...v_J]分别是第一、第二、…、第J影响收率的变量。

1-2.根据步骤1-1，求得t₁的方差，形式如下：

其中，和X^T分别是第一标准化特征向量的转置和矩阵X的转置，Var(t₁)是t₁的方差。使得t₁能携带最多的原变异信息，即要求t₁的方差取到最大值。

1-3.结合步骤1-1和步骤1-2，根据拉格朗日算法可以得到：

Vp₁＝λ₁p₁

Var(t₁)＝λ₁

其中，λ₁是协方差矩阵V的第一特征值也是最大特征值。

1-4.以此类推，并重复步骤1-1至1-3，可以得到

t_a＝Xp_a

其中，t_a是第a主成分，p_a和p_a-1是矩阵V的第a和第a-1标准化特征向量，且p_a ^Tp_a-1＝0，p_a ^T是矩阵V的第a标准化特征向量的转置，λ_a是矩阵V第a特征值，Var(t₁)≥Var(t₂)≥...≥Var(t_a)，Var(t₂)和Var(t_a)分别是t₂和t_a的方差。

1-5根据预设的主成分累积贡献率，形式如下：

其中，E_a是前a个主成分的累积贡献率，λ_j是矩阵V第j特征值，Σ是求和符号，如果前a个主成分累积贡献率可以大于0.85，那么前a个主成分可以以85％的精度描述原变量。

1-6.根据步骤1-5可以得到主成分分析之后的数据集，形式如下：

其中，T是主成分的得分矩阵，P^T是主成分的负载矩阵的转置。

步骤2、使用步骤1中得到的新数据，建立乙烯氧化反应器的神经网络模型，并对反应器的收率做预测。

2-1.将主成分分析之后的数据集分为训练集和测试集，建立乙烯氧化反应器的收率预测模型，形式如下：

其中，是反应器的预测收率输出，是训练集，i＝1,2,...,I是隐藏层节点个数，ω_i是第i个神经元连接隐藏层和输出层的权值，是使用高斯函数的隐藏层中的第i个神经元输出，c_i是第i个神经元函数的中心，σ_i是第i个神经元函数的宽度，是训练集样本和中心之间的欧式距离。乙烯氧化反应器的神经网络预测模型的训练需要求解并优化以下三个参数，步骤如下：

2-1-1.根据K-均值聚类算法确定c_i和σ_i两个参数，形式如下：

其中，θ_i是第i个聚类域，n_i是第i个聚类域中所包含的样本数，E是训练数据到聚类中心的欧式距离，c_max是所选取中心之间的最大距离。

2-1-2.根据递归最小二乘法进行权值参数调节，形式如下：

其中，k为时刻，ω(k)和ω(k-1)分别是第k时刻和第k-1时刻的连接隐藏层和输出层的权值，K(k)是第k时刻的权重矩阵，Y(k)是第k时刻的实际收率输出，φ(k)和φ^T(k)是第k时刻隐藏层神经元的输出和转置，P(k)和P(k-1)分别是第k时刻和第k-1时刻的正定协方差矩阵，且P(0)＝αI，α是一个很大的实数，可取α＞10⁵，I是一个适当维度的单位矩阵，0＜μ＜1是遗忘因子。

2-2.根据根均方误差评估乙烯氧化反应器收率预测模型的精度，形式如下：

其中，RMSE是根均方误差，Y(X_n)是反应器实际的收率输出。

2-3.重复步骤2-1和步骤2-2，直至建模精度低于期望值，并将测试集输入到乙烯氧化反应器的收率预测模型中，如果模型预测准确率未达到预定值，调整网络结构和参数初始值，重复步骤2，直至模型预测准确率达到预定值。

Claims (3)

1.一种基于主成分分析的神经网络预测方法，包括如下步骤：

步骤1、采集过程数据和质量数据，利用主成分分析对数据进行处理；

步骤2、使用步骤1中得到的数据，建立神经网络模型，并做预测。

2.如权利要求1所述的基于主成分分析的神经网络预测方法，其特征在于：

所述步骤1具体如下：

1-1.定义标准化原始数据的第一主成分，形式如下：

t₁＝Xp₁＝[v₁ v₂ ... v_J]p₁且||p₁||＝1

其中，t₁是矩阵X的第一主成分，X∈R^N×J是标准化后的原始数据矩阵，N和J分别是数据样本个数和过程数据个数，p₁是矩阵X的协方差矩阵的第一标准化特征向量，[v₁ v₂ ... v_J]分别是第一、第二、…、第J过程数据；

1-2.根据步骤1-1，求得t₁的方差，形式如下：

其中，和X^T分别是第一标准化特征向量的转置和矩阵X的转置，Var(t₁)是t₁的方差，使得t₁能携带最多的原变异信息，即要求t₁的方差取到最大值；

1-3.结合步骤1-1和步骤1-2，根据拉格朗日算法可以得到：

Vp₁＝λ₁p₁

Var(t₁)＝λ₁

其中，λ₁是协方差矩阵V的第一特征值也是最大特征值；

1-4.以此类推，并重复步骤1-1至1-3，可以得到

t_a＝Xp_a

其中，t_a是第a主成分，p_a和p_a-1是矩阵V的第a和第a-1标准化特征向量，且 是矩阵V的第a标准化特征向量的转置，λ_a是矩阵V第a特征值，Var(t₁)≥Var(t₂)≥...≥Var(t_a)，Var(t₂)和Var(t_a)分别是t₂和t_a的方差；

1-5根据预设的主成分累积贡献率，形式如下：

其中，E_a是前a个主成分的累积贡献率，λ_j是矩阵V第j特征值，Σ是求和符号，如果前a个主成分累积贡献率可以达到预设值，那么前a个主成分可以以预设值的精度描述原变量；

1-6.根据步骤1-5可以得到主成分分析之后的数据集，形式如下：

其中，T是主成分的得分矩阵，P^T是主成分的负载矩阵的转置。

3.如权利要求2所述的基于主成分分析的神经网络预测方法，其特征在于：

步骤2具体如下：

2-1.将主成分分析之后的数据集分为训练集和测试集，建立径向基神经网络预测模型，形式如下：

其中，是神经网络的预测输出，是训练集，i＝1,2,...,I是隐藏层节点个数，ω_i是第i个神经元连接隐藏层和输出层的权值，是使用高斯函数的隐藏层中的第i个神经元输出，c_i是第i个神经元函数的中心，σ_i是第i个神经元函数的宽度，是输入变量和中心之间的欧式距离，径向基神经网络的训练需要求解并优化以下三个参数，步骤如下：

2-1-1.根据K-均值聚类算法确定c_i和σ_i两个参数，形式如下：

其中，θ_i是第i个聚类域，n_i是第i个聚类域中所包含的样本数，E是训练数据到聚类中心的欧式距离，c_max是所选取中心之间的最大距离；

2-1-2.根据递归最小二乘法进行权值参数调节，形式如下：

其中，k为时刻，ω(k)和ω(k-1)分别是第k时刻和第k-1时刻的连接隐藏层和输出层的权值，K(k)是第k时刻的权重矩阵，Y(k)是第k时刻的实际输出，φ(k)和φ^T(k)是第k时刻隐藏层神经元的输出和转置，P(k)和P(k-1)分别是第k时刻和第k-1时刻的正定协方差矩阵，且P(0)＝αI，α是一个很大的实数，可取α＞10⁵，I是一个适当维度的单位矩阵，ω(0)＝γ，γ是足够小的实矢量，设定为10^-3，0＜μ＜1是遗忘因子；

2-2.根据根均方误差评估径向基神经网络的建模精度，形式如下：

其中，RMSE是根均方误差，Y(X_n)是实际的输出。

2-3.重复步骤2-1和步骤2-2，直至建模精度低于期望值，并将测试集输入到神经网络模型中，如果模型预测准确率未达到预定值，调整网络结构和参数初始值，重复步骤2，直至模型预测准确率达到预定值。