CN111178627B - 一种基于spca的神经网络混合优化预测方法 - Google Patents

一种基于spca的神经网络混合优化预测方法 Download PDF

Info

Publication number
CN111178627B
CN111178627B CN201911394404.2A CN201911394404A CN111178627B CN 111178627 B CN111178627 B CN 111178627B CN 201911394404 A CN201911394404 A CN 201911394404A CN 111178627 B CN111178627 B CN 111178627B
Authority
CN
China
Prior art keywords
principal component
ith
neural network
follows
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911394404.2A
Other languages
English (en)
Other versions
CN111178627A (zh
Inventor
于征
张日东
吴胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911394404.2A priority Critical patent/CN111178627B/zh
Publication of CN111178627A publication Critical patent/CN111178627A/zh
Application granted granted Critical
Publication of CN111178627B publication Critical patent/CN111178627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于SPCA的神经网络混合优化预测方法。本发明首先采集化工过程中影响重要变量的过程变量，利用串行主成分分析方法对数据做预处理，结合主成分分析和核主成分分析方法处理线性和非线性混合数据，降低数据维度，其次使用RBF神经网络作为预测模型，结合LM算法和遗传算法对预测模型的参数进行优化，提高预测模型的性能，最后将预处理后的数据放入优化后的预测模型中，进行预测。不同于传统的方法，本发明有处理线性和非线性混合数据的能力，且结合优化算法，能够提高预测模型精度。

Description

一种基于SPCA的神经网络混合优化预测方法
技术领域
本发明属于自动化工业技术领域，涉及一种基于SPCA的神经网络混合优化预测方法。
背景技术
随着现代化工业过程的不断成熟化、复杂化，产生越来越多的线性和非线性混合的过程数据不能很好的进行处理。在一些化工过程中，重要的变量也不能通过传感器设备测量，只能通过时滞较大的离线分析值进行调节，使工业过程控制变得复杂且困难。如果这些变量不能实时得到，不仅不能保证系统的所需性能，甚至会直接影响化工装置的生产能力及质量的稳定性。为了更好的处理过程数据，得到难以测量的变量，实现对工业过程进行精准控制，提出了一种基于SPCA的神经网络混合优化预测方法。
发明内容
本发明针对传统方法不能处理线性和非线性混合的数据，且模型预测性能较低等问题，提出了一种基于SPCA的神经网络混合优化预测方法。
本发明首先采集化工过程中影响重要变量的过程变量，利用串行主成分分析(SPCA)方法对数据做预处理，结合主成分分析和核主成分分析方法处理线性和非线性混合数据，降低数据维度，其次使用RBF神经网络作为预测模型，结合LM算法和遗传算法对预测模型的参数进行优化，提高预测模型的性能，最后将预处理后的数据放入优化后的预测模型中，进行预测。不同于传统的方法，本发明有处理线性和非线性混合数据的能力，且结合优化算法，能够提高预测模型精度。
本发明的技术方案是通过数据采集、数据预处理、系统建模、优化参数等手段，确立了一种基于SPCA的神经网络混合优化预测方法。利用该方法提升了模型预测的准确性。
本发明的方法步骤包括：
步骤一、采集相关工业过程数据，利用SPCA方法对数据进行处理。具体步骤是：
1-1.对于原始数据X∈Rn×m执行主成分分析，求解优化问题，形式如下：
Figure BDA0002345902340000021
s.t.||pLi||＝1
其中，X是工业过程中采集的原始数据，n是原始数据维数，pLi是第i主成分的特征向量，max是最大化，s.t.||pLi||是约束||pLi||。
1-2.根据步骤1-1，通过协方差矩阵的特征分解得到特征向量pLi，形式如下：
Figure BDA0002345902340000022
其中，λLi是
Figure BDA0002345902340000023
的第i个特征值。
1-3.根据步骤1-2，求得第i主成分，形式如下：
tLi＝XpLi
其中，tLi是原始数据X的第i主成分。
1-4.根据第i个特征向量pLi和第i+1个特征向量pLi+1标准正交，重复步骤1-1至1-3，并利用预设的主成分累积贡献率，选取前KL个主成分，形式如下：
Figure BDA0002345902340000031
其中，
Figure BDA0002345902340000032
是前KL个主成分的累积贡献率，
Figure BDA0002345902340000033
是矩阵X的所有主成分和，∑是求和符号，如果前KL个主成分累积贡献率可以达到预设值，就得到主成分
Figure BDA0002345902340000034
1-5.结合步骤1-4，得到原始数据的残差子空间矩阵
Figure BDA0002345902340000035
形式如下：
Figure BDA0002345902340000036
其中，
Figure BDA0002345902340000037
是主成分分析后的矩阵。
1-6.把残差子空间矩阵
Figure BDA0002345902340000038
映射到高维空间上，形式如下：
Figure BDA0002345902340000039
其中，
Figure BDA00023459023400000310
是
Figure BDA00023459023400000311
的高维矩阵，tNi是第i个主成分，pNi是第i个特征向量，KN是保留的非线性主成分数量，E是核主成分分析之后的残差矩阵。
1-7.对高维空间上的
Figure BDA00023459023400000312
执行核主成分分析，求解优化问题：
Figure BDA00023459023400000313
s.t.||pNi||＝1
1-8为了获得核主成分分析的特征向量pNi，将协方差矩阵的特征分解得到，形式如下：
Figure BDA0002345902340000041
其中，λNi是
Figure BDA0002345902340000042
的第i个特征值。
1-9.由于特征向量pNi可以表示为
Figure BDA0002345902340000043
的线性组合，pNi的线性形式表示如下：
Figure BDA0002345902340000044
其中，ai＝[ai,1...ai,n]是系数，
Figure BDA0002345902340000045
1-10.结合步骤1-9，对步骤1-7的形式进行转化，形式如下：
Figure BDA0002345902340000046
Figure BDA0002345902340000047
1-11.利用核函数ker(xi,xj)＝φT(xi)φ(xj)对上式做优化，并结合协方差矩阵的特征分解，得到下式：
(n-1)λNiai＝Kai
其中，K是由[K]i,j＝ker(xi,xj)给出的具有i行j列元素的核矩阵，可以看出λNi和ai分别是K的第i个特征值和特征向量。
1-12结合步骤1-11，求得第i个核主成分，形式如下：
Figure BDA0002345902340000048
其中，tNi是
Figure BDA0002345902340000049
的第i核主成分。由步骤1-4的思想，重复步骤1-7至1-12得到
Figure BDA00023459023400000410
的前KN个核主成分为
Figure BDA00023459023400000411
将主成分数量KL和核主成分数量KN组合得到SPCA分析后的新数据
Figure BDA0002345902340000051
步骤2、使用步骤1中得到的新数据，建立RBF神经网络模型，并使用优化算法对模型参数进行优化，提高预测性能。
2-1.将SPCA之后的数据集分为训练集和测试集，建立RBF神经网络预测模型，形式如下：
Figure BDA0002345902340000052
Figure BDA0002345902340000053
其中，
Figure BDA0002345902340000054
是神经网络预测输出，
Figure BDA0002345902340000055
是训练集，i＝1,2,...,I是隐藏层节点个数，ωi是第i个神经元连接隐藏层和输出层的权值，
Figure BDA0002345902340000056
是使用高斯函数的隐藏层中的第i个神经元输出，ci是第i个神经元函数的中心，σi是第i个神经元函数的宽度，
Figure BDA0002345902340000057
是输入变量和中心之间的欧式距离。神经网络预测模型的训练需要求解并优化以下三个参数，步骤如下：
2-2.通过递归最小二乘法得到的权值初始值，使用LM算法进行优化，形式如下：
Figure BDA0002345902340000058
ω(k+1)＝ω(k)+Δω
Δω＝(JTJ+μ)-1JTe
其中，e是预测输出和实际输出之间的误差，Δω是权值的修正量，
Figure BDA0002345902340000059
是误差对权值导数的雅克比矩阵，μ为各层神经元沿负梯度下降运算的约束系数。
2-3.结合步骤2-2，得到权值向量ω(k)，根据K-均值聚类算法确定ci和σi两个参数的初始值，用遗传算法优化三个参数：步骤如下：
2-3-1.染色体编码形式如下：对2-2中初步确定的神经网络的ci和σi进行编码成一条染色体，形式如下：
R＝[c1...ci...σ1...σi...ω1...ωi].
2-3-2.遗传算法的适应度函数形式如下：根据遗传算法中适应度函数望大的特性，将网络误差平方和的倒数作为适应度函数，则适应度函数表示如下：
Figure BDA0002345902340000061
2-3-3.对染色体进行选择操作，形式如下：采取轮盘赌方法进行选择操作，选择个体r的概率pr表示如下：
Figure BDA0002345902340000062
其中，fr和fm分别是个体r和m的适应度函数，M为种群个数。
2-3-4.对染色体进行交叉、变异操作，形式如下：选择操作出来的个体直接复制到下一代，对于其他个体，随机选择两个个体的相同位置，按照交叉概率在选中的位置进行交叉，并按照变异概率对个体的某些基因位进行变异。
2-4.根据均方根误差(RMSE)和绝对平均误差(MAE)指标评估RBF神经网络的建模精度，形式如下：
Figure BDA0002345902340000071
Figure BDA0002345902340000072
其中，Y(Xn)是实际的输出。
2-5.将步骤2-3-4中得到的三个参数作为神经网络的参数值，进行神经网络训练，重复步骤2-2和步骤2-4，直至模型预测准确率达到预定值，并将测试集通过步骤一的数据处理后输入到神经网络的训练模型中，验证神经网络预测模型的准确性。
本发明的有益效果：通过对影响重要变量的输入变量进行SPCA处理，结合线性和非线性的主成分数据之后放入RBF神经网络模型中，结合LM算法和遗传算法的混合优化算法对神经网络模型的三个参数进行优化，提高神经网络模型的预测精度。
具体实施方式
以水泥脱硝反应器系统为例：
反应器入口处设置有喷氨栅格，来自液氨蒸发系统的氨气经过一个供氨调整门，与来自稀释风机稀释后的空气混合后经喷嘴喷出，在与烟气中的NOx在催化剂的作用下发生选择性催化还原反应，生成水和氨气。在这系统过程中，喷氨量是一个关键控制指标，通过建立水泥脱硝反应器的预测模型，把机组负荷、喷氨量、SCR(水泥脱硝反应器)入口烟温、入口NOx浓度、入口烟气含氧量、出口烟气含氧量以及脱硝效率等多个变量作为模型的输入，SCR出口NOx浓度作为模型的输出。
步骤一、采集水泥脱硝过程影响NOx浓度输出的相关变量，利用SPCA方法对数据进行处理。具体步骤是：
1-1.对于水泥脱硝过程影响NOx浓度输出的原始数据X∈Rn×m执行主成分分析，求解优化问题，形式如下：
Figure BDA0002345902340000081
s.t.||pLi||＝1
其中，X是标准化后的影响NOx浓度输出的相关向量矩阵组合，如机组负荷、喷氨量、SCR入口烟温、入口NOx浓度、入口烟气含氧量、出口烟气含氧量、脱硝效率等，n是影响NOx浓度输出的样本个数，pLi是第i主成分的特征向量，max是最大化，s.t.||pLi||是约束||pLi||。
1-2.根据步骤1-1，通过协方差矩阵的特征分解得到特征向量pLi，形式如下：
Figure BDA0002345902340000082
其中，λLi是
Figure BDA0002345902340000083
的第i个特征值。
1-3.根据步骤1-2，求得第i主成分，形式如下：
tLi＝XpLi
其中，tLi是原始数据X的第i主成分。
1-4.根据第i个特征向量pLi和第i+1个特征向量pLi+1标准正交，重复步骤1-1至1-3，并利用预设的主成分累积贡献率，选取前KL个主成分，形式如下：
Figure BDA0002345902340000091
其中，
Figure BDA0002345902340000092
是前KL个主成分的累积贡献率，
Figure BDA0002345902340000093
是矩阵X的所有主成分和，∑是求和符号，如果前KL个主成分累积贡献率可以达到预设值，就得到主成分
Figure BDA0002345902340000094
1-5.结合步骤1-4，得到原始数据的残差子空间矩阵
Figure BDA0002345902340000095
形式如下：
Figure BDA0002345902340000096
其中，
Figure BDA0002345902340000097
是主成分分析后的矩阵。
1-6.把残差子空间矩阵
Figure BDA0002345902340000098
映射到高维空间上，形式如下：
Figure BDA0002345902340000099
其中，
Figure BDA00023459023400000910
是
Figure BDA00023459023400000911
的高维矩阵，tNi是第i个主成分，pNi是第i个特征向量，KN是保留的非线性主成分数量，E是核主成分分析之后的残差矩阵。
1-7.对高维空间上的
Figure BDA00023459023400000912
执行核主成分分析，求解优化问题：
Figure BDA00023459023400000913
s.t.||pNi||＝1
1-8.为了获得核主成分分析的特征向量pNi，将协方差矩阵的特征分解得到，形式如下：
Figure BDA00023459023400000914
其中，λNi是
Figure BDA00023459023400000915
的第i个特征值。
1-9.由于特征向量pNi可以表示为
Figure BDA0002345902340000101
的线性组合，pNi的线性形式表示如下：
Figure BDA0002345902340000102
其中，ai＝[ai,1...ai,n]是系数，
Figure BDA0002345902340000103
1-10.结合步骤1-9，对步骤1-7的形式进行转化，形式如下：
Figure BDA0002345902340000104
Figure BDA0002345902340000105
1-11.利用核函数ker(xi,xj)＝φT(xi)φ(xj)对上式做优化，并结合协方差矩阵的特征分解，得到下式：
(n-1)λNiai＝Kai
其中，K是由[K]i,j＝ker(xi,xj)给出的具有i行j列元素的核矩阵，可以看出λNi和ai分别是K的第i个特征值和特征向量。
1-12结合步骤1-11，求得第i个核主成分，形式如下：
Figure BDA0002345902340000106
其中，tNi是
Figure BDA0002345902340000107
的第i核主成分。由步骤1-4的思想，重复步骤1-7至1-12得到
Figure BDA0002345902340000108
的前KN个核主成分为
Figure BDA0002345902340000109
将主成分数量KL和核主成分数量KN组合得到SPCA分析后的新数据
Figure BDA00023459023400001010
步骤2、使用步骤1中得到的新数据，建立水泥脱硝反应器的模型，使用混合优化算法进行神经网络参数优化，并对NOx浓度输出做预测。
2-1.将主成分分析之后的数据集分为训练集和测试集，通过使用训练集的数据，建立水泥脱硝反应器的神经网络预测模型，形式如下：
Figure BDA0002345902340000111
Figure BDA0002345902340000112
其中，
Figure BDA0002345902340000113
是神经网络对NOx浓度的预测输出，
Figure BDA0002345902340000114
是训练集，i＝1,2,...,I是隐藏层节点个数，ωi是第i个神经元连接隐藏层和输出层的权值，
Figure BDA0002345902340000115
是使用高斯函数的隐藏层中的第i个神经元输出，ci是第i个神经元函数的中心，σi是第i个神经元函数的宽度，
Figure BDA0002345902340000116
是输入变量和中心之间的欧式距离。水泥脱硝反应器的神经网络预测模型的训练需要求解并优化以下三个参数，步骤如下：
2-2.首先通过递归最小二乘法得到的权值初始值，使用LM算法对权值初始值进行优化，形式如下：
Figure BDA0002345902340000117
ω(k+1)＝ω(k)+Δω
Δω＝(JTJ+μ)-1JTe
其中，e是NOx浓度的预测输出和NOx浓度的实际输出之间的误差，Δω是权值的修正量，
Figure BDA0002345902340000118
是误差对权值导数的雅克比矩阵，μ为各层神经元沿负梯度下降运算的约束系数。
2-3.结合步骤2-2，得到权值向量ω(k)，然后根据K-均值聚类算法确定ci和σi两个参数的初始值，把优化后的权值向量和得到的中心和宽度三个参数用遗传算法优化：步骤如下：
2-3-1.染色体编码形式如下：对2-2中初步确定的神经网络的ci、σi和优化后的权值向量进行编码成一条染色体，形式如下：
R＝[c1...ci...σ1...σi...ω1...ωi].
2-3-2.遗传算法的适应度函数形式如下：根据遗传算法中适应度函数望大的特性，将网络误差平方和的倒数作为适应度函数，则适应度函数表示如下：
Figure BDA0002345902340000121
2-3-3.对染色体进行选择操作，形式如下：采取轮盘赌方法进行选择操作，选择个体r的概率pr表示如下：
Figure BDA0002345902340000122
其中，fr和fm分别是个体r和m的适应度函数，M为种群个数。
2-3-4.对染色体进行交叉、变异操作，形式如下：选择操作出来的个体直接复制到下一代，对于其他个体，随机选择两个个体的相同位置，按照交叉概率在选中的位置进行交叉，并按照变异概率对个体的某些基因位进行变异。
2-4.根据均方根误差(RMSE)和绝对平均误差(MAE)指标评估径向基神经网络的建模精度，形式如下：
Figure BDA0002345902340000123
Figure BDA0002345902340000124
其中，Y(Xn)是实际的NOx浓度输出。
2-5.将步骤2-3-4中得到的三个参数作为神经网络的参数值，进行神经网络训练，重复步骤2-2和步骤2-4，直至模型预测准确率达到预定值，并将测试集通过步骤一的数据处理后输入到神经网络的训练模型中，验证神经网络预测模型的准确性。

Claims (1)

1.一种基于串行主成分分析法的神经网络混合优化预测方法，其特征在于该方法包括以下步骤：
步骤1、采集水泥脱硝过程影响NOx浓度输出的相关变量，利用串行主成分分析法对数据进行处理；具体步骤是：
1-1.对于水泥脱硝过程影响NOx浓度输出的原始数据X∈Rn×m执行主成分分析，求解优化问题，形式如下：
Figure FDA0003583970180000011
s.t.||pLi||＝1
其中，X是标准化后的影响NOx浓度输出的相关向量矩阵组合，包括机组负荷、喷氨量、水泥脱硝反应器入口烟温、入口NOx浓度、入口烟气含氧量、出口烟气含氧量、脱硝效率，n是影响NOx浓度输出的样本个数，pLi是第i主成分的特征向量，max是最大化，s.t.||pLi||用于约束||pLi||；
1-2.根据步骤1-1，通过协方差矩阵的特征分解得到特征向量pLi，形式如下：
Figure FDA0003583970180000012
其中，λLi是
Figure FDA0003583970180000013
的第i个特征值；
1-3.根据步骤1-2，求得第i主成分，形式如下：
tLi＝XpLi
其中，tLi是原始数据X的第i主成分；
1-4.根据第i个特征向量pLi和第i+1个特征向量pLi+1标准正交，重复步骤1-1至1-3，并利用预设的主成分累积贡献率，选取前KL个主成分，形式如下：
Figure FDA0003583970180000021
其中，
Figure FDA0003583970180000022
是前KL个主成分的累积贡献率，
Figure FDA0003583970180000023
是矩阵X的所有主成分和，∑是求和符号，如果前KL个主成分累积贡献率达到预设值，就得到主成分
Figure FDA0003583970180000024
1-5.结合步骤1-4，得到原始数据的残差子空间矩阵
Figure FDA0003583970180000025
形式如下：
Figure FDA0003583970180000026
其中，
Figure FDA0003583970180000027
是主成分分析后的矩阵；
1-6.把残差子空间矩阵
Figure FDA0003583970180000028
映射到高维空间上，形式如下：
Figure FDA0003583970180000029
其中，
Figure FDA00035839701800000210
是
Figure FDA00035839701800000211
的高维矩阵，tNi是
Figure FDA00035839701800000212
的第i个主成分，pNi是第i个特征向量，KN是保留的非线性主成分数量，E是核主成分分析之后的残差矩阵；
1-7.对高维空间上的
Figure FDA00035839701800000213
执行核主成分分析，求解优化问题：
Figure FDA00035839701800000214
s.t.||pNi||＝1
1-8.为了获得核主成分分析的第i个特征向量pNi，将协方差矩阵的特征分解得到，形式如下：
Figure FDA0003583970180000031
其中，λNi是
Figure FDA0003583970180000032
的第i个特征值，也是核矩阵K的第i个特征值；
1-9.由于特征向量pNi可表示为
Figure FDA0003583970180000033
的线性组合，pNi的线性形式表示如下：
Figure FDA0003583970180000034
其中，ai＝[ai,1...ai,n]是系数，形成核矩阵K的第i个特征向量，
Figure FDA0003583970180000035
1-10.结合步骤1-9，对步骤1-7的形式进行转化，形式如下：
Figure FDA0003583970180000036
Figure FDA0003583970180000037
1-11.利用核函数
Figure FDA0003583970180000038
对上式做优化，并结合协方差矩阵的特征分解，得到下式：
(n-1)λNiai＝Kai
其中，K是由[K]i,j＝ker(xi,xj)给出的具有i行j列元素的核矩阵，则λNi和ai分别是核矩阵K的第i个特征值和特征向量；
1-12结合步骤1-11，求得第i个核主成分，形式如下：
Figure FDA0003583970180000039
其中，tNi是
Figure FDA00035839701800000310
的第i核主成分；
重复步骤1-7至1-12得到
Figure FDA00035839701800000311
的前KN个核主成分为
Figure FDA0003583970180000041
将主成分数量KL和核主成分数量KN组合得到串行主成分分析法分析后的新数据
Figure FDA0003583970180000042
步骤2、使用步骤1中得到的新数据，建立水泥脱硝反应器的模型，使用混合优化算法进行神经网络参数优化，并对NOx浓度输出做预测；
2-1.将主成分分析之后的数据集分为训练集和测试集，通过使用训练集的数据，建立水泥脱硝反应器的神经网络预测模型，形式如下：
Figure FDA0003583970180000043
Figure FDA0003583970180000044
其中，
Figure FDA0003583970180000045
是神经网络对NOx浓度的预测输出，
Figure FDA0003583970180000046
是训练集，i＝1,2,...,I是隐藏层节点个数，ωi是第i个神经元连接隐藏层和输出层的权值，
Figure FDA0003583970180000047
是使用高斯函数的隐藏层中的第i个神经元输出，ci是第i个神经元函数的中心，σi是第i个神经元函数的宽度，
Figure FDA0003583970180000048
是输入变量和中心之间的欧式距离；水泥脱硝反应器的神经网络预测模型的训练需要求解并优化以下三个参数，步骤如下：
2-2.首先通过递归最小二乘法得到的权值初始值，使用LM算法对权值初始值进行优化，形式如下：
Figure FDA0003583970180000049
ω(k+1)＝ω(k)+Δω
Δω＝(JTJ+m)-1JTe
其中，e是NOx浓度的预测输出和NOx浓度的实际输出之间的误差，Δω是权值的修正量，
Figure FDA0003583970180000051
是误差对权值导数的雅克比矩阵，m为各层神经元沿负梯度下降运算的约束系数；
2-3.结合步骤2-2，得到权值向量ω(k)，然后根据K-均值聚类算法确定ci和σi两个参数的初始值，把优化后的权值向量和得到的中心和宽度三个参数用遗传算法优化：步骤如下：
2-3-1.染色体编码形式如下：对2-2中初步确定的神经网络的ci、σi和优化后的权值向量进行编码成一条染色体，形式如下：
R＝[c1...ci...σ1...σi...ω1...ωi]
2-3-2.遗传算法的适应度函数形式如下：根据遗传算法中适应度函数望大的特性，将网络误差平方和的倒数作为适应度函数，则适应度函数表示如下：
Figure FDA0003583970180000052
2-3-3.对染色体进行选择操作，形式如下：采取轮盘赌方法进行选择操作，选择个体r的概率pr表示如下：
Figure FDA0003583970180000053
其中，fr和fm分别是个体r和m的适应度函数，M为种群个数；
2-3-4.对染色体进行交叉、变异操作，形式如下：选择操作出来的个体直接复制到下一代，对于其他个体，随机选择两个个体的相同位置，按照交叉概率在选中的位置进行交叉，并按照变异概率对个体的某些基因位进行变异；
2-4.根据均方根误差和绝对平均误差指标评估径向基神经网络的建模精度，形式如下：
Figure FDA0003583970180000061
Figure FDA0003583970180000062
其中，Y(Xn)是实际的NOx浓度输出；
2-5.将步骤2-3-4中得到的三个参数作为神经网络的参数值，进行神经网络训练，重复步骤2-2和步骤2-4，直至模型预测准确率达到预定值，并将测试集通过步骤一的数据处理后输入到神经网络的训练模型中，验证神经网络预测模型的准确性。
CN201911394404.2A 2019-12-30 2019-12-30 一种基于spca的神经网络混合优化预测方法 Active CN111178627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394404.2A CN111178627B (zh) 2019-12-30 2019-12-30 一种基于spca的神经网络混合优化预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394404.2A CN111178627B (zh) 2019-12-30 2019-12-30 一种基于spca的神经网络混合优化预测方法

Publications (2)

Publication Number Publication Date
CN111178627A CN111178627A (zh) 2020-05-19
CN111178627B true CN111178627B (zh) 2022-05-31

Family

ID=70654210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394404.2A Active CN111178627B (zh) 2019-12-30 2019-12-30 一种基于spca的神经网络混合优化预测方法

Country Status (1)

Country Link
CN (1) CN111178627B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085277B (zh) * 2020-09-10 2021-05-18 南京工业大学 一种基于机器学习的scr脱硝系统预测模型优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1916791A (zh) * 2006-09-12 2007-02-21 浙江大学 一种丙烯聚合工业生产熔融指数软测量方法
CN110059824A (zh) * 2019-05-22 2019-07-26 杭州电子科技大学 一种基于主成分分析的神经网络预测方法
CN110097127A (zh) * 2019-05-07 2019-08-06 杭州麦迪特检测技术服务有限公司 基于核主成分分析的黄芪谱图特征提取与产地鉴别方法
CN110490351A (zh) * 2019-03-27 2019-11-22 浙江工业大学 基于pca-ga-rbf的换热器污垢生长预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1916791A (zh) * 2006-09-12 2007-02-21 浙江大学 一种丙烯聚合工业生产熔融指数软测量方法
CN110490351A (zh) * 2019-03-27 2019-11-22 浙江工业大学 基于pca-ga-rbf的换热器污垢生长预测方法
CN110097127A (zh) * 2019-05-07 2019-08-06 杭州麦迪特检测技术服务有限公司 基于核主成分分析的黄芪谱图特征提取与产地鉴别方法
CN110059824A (zh) * 2019-05-22 2019-07-26 杭州电子科技大学 一种基于主成分分析的神经网络预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Online identification using radial basis function neural network coupled with KPCA;Errachdi et al.;《International Journal of General Systems》;20160428;第46卷(第1期);第52-65页 *
基于PCA的RBF神经网络混合优化预测;于征;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅰ辑》;20210215(第2期);第B016-23页 *

Also Published As

Publication number Publication date
CN111178627A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN110975597B (zh) 一种水泥脱硝的神经网络混合优化方法
CN110807554B (zh) 基于风电/光伏经典场景集的生成方法及系统
CN110378044B (zh) 基于注意力机制的多时间尺度卷积神经网络软测量方法
CN106202946A (zh) 基于深度信念网络模型的水泥熟料游离钙含量预测方法
CN109523155B (zh) 一种蒙特卡洛及最小二乘支持向量机的电网风险评估方法
CN108919755B (zh) 一种基于多块非线性交叉关系模型的分布式故障检测方法
CN106649479A (zh) 一种基于概率图的变压器状态关联规则挖掘方法
CN113344288B (zh) 梯级水电站群水位预测方法、装置及计算机可读存储介质
CN111833970B (zh) 一种水泥熟料质量表征参数预测模型构建方法及其应用
CN113011660A (zh) 空气质量预测方法、系统及存储介质
CN111178627B (zh) 一种基于spca的神经网络混合优化预测方法
CN113505477A (zh) 一种基于svae-wgan的过程工业软测量数据补充方法
CN106777466B (zh) 基于st-upfnn算法的高含硫天然气净化工艺的动态演化建模方法
Yang et al. Teacher-student uncertainty autoencoder for the process-relevant and quality-relevant fault detection in the industrial process
CN111061151B (zh) 一种基于多元卷积神经网络的分布式能源状态监测方法
CN108760813B (zh) 一种基于温度信号的燃气轮机涡轮叶片健康监测系统及方法
CN102609601B (zh) 一种基于类内质网体膜计算的渣油加氢反应动力学模型参数估计方法
Zhang et al. False data injection attack testbed of industrial cyber-physical systems of process industry and a detection application
CN116050643A (zh) 一种基于集成模型的流程工业污染物排放浓度预测方法
CN108345726A (zh) 基于互信息和软仪表误差的输入变量自动选择方法
CN114692507A (zh) 基于堆叠泊松自编码器网络的计数数据软测量建模方法
CN109947082B (zh) 一种基于集成核独立成分分析模型的过程监测方法
CN114142467A (zh) 一种基于无精确建模潮流模型的配电网光伏最大接入容量测算方法
Chu et al. Novel robust approach for constructing Mamdani-type fuzzy system based on PRM and subtractive clustering algorithm
CN111797574A (zh) 聚合物分子量分布的集成高斯过程回归模型方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant