CN100580698C - 稀疏数据过程建模方法 - Google Patents
稀疏数据过程建模方法 Download PDFInfo
- Publication number
- CN100580698C CN100580698C CN200710012776A CN200710012776A CN100580698C CN 100580698 C CN100580698 C CN 100580698C CN 200710012776 A CN200710012776 A CN 200710012776A CN 200710012776 A CN200710012776 A CN 200710012776A CN 100580698 C CN100580698 C CN 100580698C
- Authority
- CN
- China
- Prior art keywords
- data
- sigma
- network
- neuron
- hidden layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及应用过程神经网络模型建立稀疏数据过程预测模型的方法。在对稀疏的样本数据进行预处理的基础上,应用基于离散Walsh变换的学习算法,提高过程神经网络的学习效率和建模精度。为使建立的过程预测模型能够及时修正预测偏差,根据稀疏数据过程的特点,采用了数据采样周期间网络滚动学习的方法,通过最新的采样数据及时对预测网络模型进行在线修正,从而进一步提高了预测模型的准确性。本发明为解决一类稀疏数据过程的建模问题提供了一条有效的途径。
Description
(一)技术领域
本发明涉及一种应用智能信息处理技术的过程建模方法,特别是一种稀疏数据过程的建模方法。
(二)背景技术
在许多工业过程中,由于受到现场条件,工艺过程和检测设备等因素的影响,采集样本数据的时间间隔较长,数据量有限,造成了样本数据的稀疏。因此,如何根据稀疏数据过程的特点建立过程的预测模型,并通过预测模型产生较为连续的密集预报数据,从而有利于过程控制是一个重要的研究课题。
目前在系统建模方面,以神经网络为代表的辨识建模方法发展迅速。但是目前用于系统建模的神经网络大多是前馈网络,其特点是网络输入均为与时间无关的常量,主要解决数据空间上的映射问题,这对于密集采样数据过程的建模非常有效。但是对于稀疏数据过程,为了充分利用有限数据所包含的信息,仅仅考虑数据的空间聚合效应是不够的,还要充分考虑数据的时间累计效应,因为工业过程中的数据往往是与时间有关的。因此同时利用稀疏数据的空间与时间效应,产生密集的过程预报数据,及时修正网络模型的预报误差,以利于过程的监测与优化控制,是传统的神经网络建模方法难以解决的问题。
(三)发明内容
本发明的目的在于针对现有技术的不足,提供一种基于过程神经网络的建模方法,以解决稀疏数据过程的建模问题,为稀疏数据过程的建模提供一条有效的途径。
本发明是通过以下技术方案实现的:数据预处理,数据扩充,过程神经网络建模与在线滚动学习。通过对采样数据的预处理,平滑采样数据中因干扰而产生的伪数据;然后对处理后的数据进行扩充,产生所需时间间隔的较为密集的数据用于网络模型训练,目的是使网络预测模型能够输出所需要的时间点上的数据,弥补因检测困难而导致实际采样数据稀少、难以对过程进行有效监测与控制的问题;应用过程神经元建立过程的神经网络模型,过程神经元的输入和权值是随时间变化的函数或过程,其聚合运算既有对空间的多输入聚合,也有对时间过程的累积聚合,可以充分利用稀疏数据所包含的空间与时间信息;应用经过处理后的离线数据对过程神经网络模型离线训练后,将网络模型投入实际预测过程,在采样时刻间隙,当检测到预测值不正确时,则立即对已有的实际数据进行处理,采用处理后的数据在线训练网络,使网络在训练过程中学到新的信息。由于稀疏数据过程采样周期长,有些甚至是离线检测数据,因此上述采样时刻间隙滚动学习的方法是可行的。
以下对本发明内容作进一步的说明,具体内容如下:
1、数据预处理
假设有n1组现场采样数据,每组的采样数为m1,不同组采样数据同一时刻的平均值x,方差为σ,如果对应同一时刻各组的采样值都在(x-σ,x+σ)之间,表示该组数据中并不存在伪数据。若某个采样值不在(x-σ,x+σ)之间时,则当 时,取 当 时,取
对采样数据平滑后,对样本数据进行归一化处理。考虑到神经网络每层的激励函数都选用Sigmoid函数,因此将网络的输入输出数据限制在[0,1]区间内,应用式(1)的变换,将网络的输入输出变量近似为正态标准分布。
2、数据扩充
采用递推式邻均值生成法进行数据扩充,即利用两端的数据首先产生中间的扩充数据,再利用两端的数据和已得出的中间数据扩充出所有数据的一种方法。即将原始数列[X]=[X(1),X(2),…,X(n2)]扩充为数列 其中Φj(hi),(i=1,2,…m2,j=1,2,…,n2-1)为扩充的数据。
取Φj(h0)=X(j), 则
式中, imin为扩充数列的左端已知数据序列号,imax为扩充数列的右端已知数据序列号。重复应用公式(2),即可得到所需的扩充数据序列Φj(hi)。
3、过程神经元网络建模
过程神经元由加权,聚合和激励三部分组成,结构图如图1所示。图中,x1(t),x2(t),…,xn(t)为过程神经元输入函数;w1(t),w2(t),…,wn(t)为相应的权函数;K(t)为过程神经元的时间聚合基函数;f(·)为激励函数,可取线性函数、Sigmoid函数、Gauss型函数等。过程神经元的输入与输出之间的关系为
以过程神经元为基础,构造一种4层结构的过程神经元网络模型如图2所示,拓扑结构为n-m-K-1,即网络输入层有n个节点、过程神经元隐层有m个节点、非时变一般神经元隐层有K个节点,输出层有1个节点。过程神经元隐层完成对输入信息过程模式特征的提取和对时间的聚合运算,非时变一般神经元隐层用于提高网络对系统输入输出之间复杂关系的影射能力。
由图2可知,过程神经网络输入输出之间的关系为
图中模型的输入为X(t)=(x1(t),x2(t),…,xn(t)),模型输出为y,[0,T]为时间采样区间,wij(t)为输入层与第1隐层的连接权函数,vjk为第1隐层与第2隐层的连接权值,μk为第2隐层到输出层的连接权值,θj (1)为第1隐层第j个过程神经元的输出阈值,θk (2)为第2隐层第k个过程神经元的输出阈值,f为第1隐层的激励函数,g为第2隐层的激励函数。取各层的激励函数均为Sigmoid函数,即
将随时间变化的离散采样数据进行Walsh变换,使之直接作为神经网络的输入,减少中间的拟合过程,消除拟合误差,其变换过程如下:
给定Q个序列长度为2p的学习样本(若离散序列长度不为2p,可通过平滑插值得到):(xq1(tl),xq2(tl),…,xqn(tl),dq),其中q=1,2,…,Q,l=0,1,…,N-1,N=2p,p是满足插值精度要求的自然数,dq为期望输出。对学习样本实施Walsh变换,得(wal(xq1(tl)),wal(xq2(tl)),…,wal(xqn(tl)),dq)。
离散数据经过Walsh变换作为网络的输入,于是网络的输入输出关系为
其中 s=1,2,…,N;
网络的误差函数为
过程神经网络作用过程如图3所示。对上述过程神经网络模型应用误差反向传播的BP算法进行离线训练,得到预期的网络逼近精度。学习算法如下式所示:
其中α,β,γ,η,λ为网络学习速率。
4、在线滚动学习
在第k个采样时刻,将预测值与采样值相比较,若误差超过精度要求,则对已采集数据进行处理后在线进行网络学习,否则保持网络模型的输出;在k+1时刻,重复上述检测与学习过程。这种“学习-预测-学习”的滚动流程如图4所示
本发明充分利用稀疏数据过程的特点,利用过程神经元并结合数据处理技术进行工业过程中一类稀疏数据过程的建模工作,有效解决了工业过程中因检测困难而导致过程采样数据稀少,从而使过程的监测与优化控制难以有效实施的问题,为稀疏数据过程的建模提供了一条有效的途径,并为该类工业过程实施优化控制奠定了基础。
(四)附图说明
图1为过程神经元结构示意图。
图2为双隐层过程神经网络结构示意图。
图3为神经网络作用过程示意图。
图4为网络模型滚动学习示意图。
(五)具体实施方式
为更好理解本发明的技术方案,以下以味精发酵过程为实施例,对其进行菌体浓度预测模型的建模。
味精发酵过程是一个复杂的生化反应过程,由于受到现场条件、工艺过程、检测设备等因素的影响,通常每隔3个小时才能得到一次菌体浓度的样本数据,属于稀疏数据过程。在此发酵过程中,根据实际数据和现场工程师的经验,确定进风量与菌体浓度有一定关系。因此,当前进风量和当前的菌体浓度作为网络的两个输入节点,预测菌体浓度为输出节点。建立味精发酵过程菌体浓度的预测模型的具体步骤如下:
1、数据预处理
表1为部分菌体浓度与进风量的现场数据,菌体浓度为稀疏数据,每间隔3个小时得到一组样本数据,而通风量为连续密集数据。
表1部分现场数据
考虑第3组中第15小时的菌体浓度数据,该时刻3组采样数据的均值为:
因此该时刻的采样数据应位于区间(x-σ,x+σ)=(0.909,0.991)之中。据此可知第2组第15小时的菌体浓度数据为伪数据,取为区间的下限,即用0.909代替该时刻的0.85数值。
通过现场数据分析,菌体浓度最小值为x1min=0.07,最大值为x1max=1.10;进风量最小值为x2min=15,最大值为x2max=50,据此对表1数据应用公式(1)进行归一化处理,式中比例系数取为ρ=0.8。经过归一化处理后的数据见表2。
2、数据扩充
对稀疏的菌体浓度样本数据进行扩充,采用递推式邻均值生成法,根据0.5小时时间间隔得到扩充后的样本数据如表2中所示。
表2归一化处理及扩充后的样本数据
3、过程神经元网络建模
网络的拓扑结构选为2-20-9-1,即2个输入节点,20个过程神经元隐层节点,9个非时变一般神经元隐层节点,1个菌体浓度输出节点。取输入函数的离散Walsh基函数和用于权函数基展开的离散Walsh基函数的个数均为64。将表2菌体浓度和进风量输入到过程神经网络进行训练,学习速率α=0.65,β=0.8,γ=0.7,η=0.8,λ=0.71,误差精度取0.01,网络经过1000次训练后收敛,该过程神经网络作为菌体浓度预测模型。
4、在线滚动学习
将上述离线训练好的过程神经网络预测模型投入在线运行,输出时间间隔为0.5小时的菌体浓度预测数据。在采样点3、6、9、12、15、18、21、24、27、30小时上,将模型预测值与采样值进行比较,若误差精度大于1%,则立即对已采集数据进行处理,然后在线进行网络学习;否则保持网络模型的输出。应用此种“学习-预测-学习”模式的一组预测数据如表3所示(表中只给出了采样点上的数据)。为增加对比性,表3给出了非滚动学习模式的模型预测数据,可以看出,采用滚动学习方法预测的输出值精度要高于非滚动学习方法预测输出值的精度。
表3菌体浓度在线预测数据
Claims (3)
1、一种稀疏数据过程的建模方法,包括数据预处理、过程神经网络建模和在线滚动学习三个步骤,其特征在于:
所述的数据处理包括伪数据的修正和稀疏数据的填充;伪数据的修正是对采样数据中存在的伪数据进行平滑修正、处理,并对平滑后的数据进行归一化处理;稀疏数据的填充是对稀疏数据进行扩充,弥补已知时刻的未知数据,得到适当时间间隔的密集数据;
所述的过程神经网络建模是应用过程神经元组成双隐层过程神经网络模型,应用预处理数据训练神经网络模型,得到符合精度要求的过程神经网络模型;过程神经元由加权,聚合和激励三部分组成;输入和权值是随时间变化的函数;网络由输入层、过程神经元隐层、非时变一般神经元隐层和输出层组成,采用基于离散Walsh变换的方法对网络进行学习训练;
x1(t),x2(t),…,xn(t)为过程神经元输入函数;w1(t),w2(t),…,wn(t)为相应的权函数;K(t)为过程神经元的时间聚合基函数;f(·)为激励函数,可取线性函数、或Sigmoid函数、或Gauss型函数;过程神经元的输入与输出之间的关系为:
以过程神经元为基础,构造一种四层结构的过程神经元网络模型,拓扑结构为n-m-K-1,网络输入层有n个节点,过程神经元隐层有m个节点,非时变一般神经元隐层有K个节点,输出层有1个节点;过程神经元隐层完成对输入信息过程模式特征的提取和对时间的聚合运算,非时变一般神经元隐层用于提高网络对系统输入输出之间复杂关系的影射能力;
过程神经网络输入输出之间的关系为:
模型的输入为X(t)=(x1(t),x2(t),…,xn(t)),模型输出为y,[0,T]为时间采样区间,wij(t)为输入层与第1隐层的连接权函数,vjk为第1隐层与第2隐层的连接权值,μk为第2隐层到输出层的连接权值,θj (1)为第1隐层第j个过程神经元的输出阈值,θk (2)为第2隐层第k个过程神经元的输出阈值,f为第1隐层的激励函数,g为第2隐层的激励函数;取各层的激励函数均为Sigmoid函数,即
将随时间变化的离散采样数据进行Walsh变换,使之直接作为神经网络的输入,减少中间的拟合过程,消除拟合误差,则变换过程为:
给定Q个序列长度为2p的学习样本,若离散序列长度不为2p,可通过平滑插值得到:(xq1(tl),xq2(tl),…,xqn(tl),dq),其中q=1,2,…,Q,l=0,1,… ,N-1,N=2p,p是满足插值精度要求的自然数,dq为期望输出;对学习样本实施Walsh变换,得(wal(xq1(tl)),wal(xq2(tl)),…,wal(xqn(tl)),dq);
离散数据经过Walsh变换作为网络的输入,于是网络的输入输出关系为
其中
网络的误差函数为
上述过程神经网络模型应用误差反向传播的BP算法进行离线训练,得到预期的网络逼近精度;学习算法如下式:
其中α,β,γ,η,λ为网络学习速率;
所述的在线滚动学习,是在第k个采样时刻,将预测值与采样值相比较,若误差超过精度要求,则对已采集数据进行处理后在线进行网络学习,否则保持网络模型的输出;在k+1时刻,重复上述检测与学习过程;
2、根据权利1所述的稀疏数据过程建模方法,其特征在于:上述伪数据的修正:设有n1组采样数据,每组的采样数为m1,不同组采样数据同一时刻的平均值为x,方差为σ,如果对应同一时刻各组的采样值都在(x-σ,x+σ)之间,表示该组数据中并不存在伪数据;若某个采样值不在(x-σ,x+σ)之间时,则当 时,取 当 时,取
得到适合于神经网络模型训练与学习用的数据;
将采样数据平滑并对样本数据进行归一化处理:将网络的输入输出数据限制在[0,1]区间内,应用公式
将网络的输入输出变量近似为正态标准分布;
3、根据权利1所述的稀疏数据过程建模方法,其特征在于:上述的稀疏数据的填充是采用递推式邻均值生成法进行数据扩充,即利用两端的数据首先产生中间的扩充数据,再利用两端的数据和已得出的中间数据扩充出所有数据的一种方法;
即将原始数列[X]=[X(1),X(2),…,X(n2)],
扩充为数列
其中Φi(hi)为扩充的数据,i=1,2,…m2;j=1,2,…,n2-1;
取Φj(h0)=X(j), 则
式中 imin为扩充数列的左端已知数据序列号,imax为扩充数列的右端已知数据序列号;重复应用公式(8),即可得到所需的扩充数据序列Φj(hi)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710012776A CN100580698C (zh) | 2007-09-10 | 2007-09-10 | 稀疏数据过程建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200710012776A CN100580698C (zh) | 2007-09-10 | 2007-09-10 | 稀疏数据过程建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101118610A CN101118610A (zh) | 2008-02-06 |
CN100580698C true CN100580698C (zh) | 2010-01-13 |
Family
ID=39054715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200710012776A Expired - Fee Related CN100580698C (zh) | 2007-09-10 | 2007-09-10 | 稀疏数据过程建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100580698C (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117264B (zh) * | 2010-12-29 | 2014-02-12 | 中国船舶重工集团公司第七一五研究所 | 基于fpga的快速沃尔什变换的实现方法 |
US9129222B2 (en) * | 2011-06-22 | 2015-09-08 | Qualcomm Incorporated | Method and apparatus for a local competitive learning rule that leads to sparse connectivity |
CN103065192B (zh) * | 2012-12-20 | 2015-09-02 | 华南理工大学 | 一种基于确定学习理论的海量时态数据建模方法 |
CN103064286A (zh) * | 2013-01-17 | 2013-04-24 | 丽水学院 | 一种工业过程的控制方法与设备 |
CN103197538B (zh) * | 2013-04-24 | 2015-07-01 | 中南林业科技大学 | 一种基于过程神经网络的孵房温度控制方法 |
CN104679868B (zh) * | 2015-03-06 | 2017-09-26 | 四川深度信息技术有限责任公司 | 一种基于数据间关联关系的遗漏数据填补方法 |
CN105577232B (zh) * | 2015-12-22 | 2018-12-25 | 中国船舶重工集团公司第七一五研究所 | 基于fpga的复合序列fwt快速相关检测方法 |
CN106600356B (zh) * | 2016-10-27 | 2019-12-24 | 杭州王道科技有限公司 | 多平台电子商务信息聚合方法及系统 |
CN106650817B (zh) * | 2016-12-29 | 2019-09-20 | 中国科学院福建物质结构研究所 | 一种基于深度学习的多模式数据融合方法 |
CN108734279B (zh) * | 2017-04-20 | 2021-04-23 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
CN108170589B (zh) * | 2017-12-06 | 2021-08-13 | 口碑(上海)信息技术有限公司 | 网络平台基础数据质量算法的保障方法 |
CN108647272B (zh) * | 2018-04-28 | 2020-12-29 | 江南大学 | 一种基于数据分布的小样本扩充对脱丁烷塔底丁烷浓度进行预测的方法 |
CN109272344A (zh) * | 2018-08-07 | 2019-01-25 | 阿里巴巴集团控股有限公司 | 模型训练方法和装置、数据预测方法和装置、服务器 |
CN110647556A (zh) * | 2019-08-27 | 2020-01-03 | 天津开心生活科技有限公司 | 数据预测方法及装置 |
WO2021079431A1 (ja) * | 2019-10-23 | 2021-04-29 | 三菱電機株式会社 | 空調制御装置、空調システム、空調制御方法、空調制御プログラム |
CN112083333A (zh) * | 2020-08-11 | 2020-12-15 | 昆明理工大学 | 一种基于机器学习模型的动力电池组荷电状态估计方法 |
-
2007
- 2007-09-10 CN CN200710012776A patent/CN100580698C/zh not_active Expired - Fee Related
Non-Patent Citations (10)
Title |
---|
一种基于Walsh变换的反馈过程神经网络模型及学习算法. 许增福,梁静国,李盼池,许少华.信息与控制,第33卷第4期. 2004 |
一种基于Walsh变换的反馈过程神经网络模型及学习算法. 许增福,梁静国,李盼池,许少华.信息与控制,第33卷第4期. 2004 * |
基于函数正交基展开的过程神经网络学习算法. 许少华,何新贵.计算机学报,第27卷第5期. 2004 |
基于函数正交基展开的过程神经网络学习算法. 许少华,何新贵.计算机学报,第27卷第5期. 2004 * |
基于基函数展开的双隐层过程神经元网络及其应用. 许少华,何新贵,尚福华.控制与决策,第19卷第1期. 2004 |
基于基函数展开的双隐层过程神经元网络及其应用. 许少华,何新贵,尚福华.控制与决策,第19卷第1期. 2004 * |
基于离散Walsh变换的过程神经元网络学习算法. 许少华,肖红,廖太平.大庆石油学院学报,第27卷第4期. 2003 |
基于离散Walsh变换的过程神经元网络学习算法. 许少华,肖红,廖太平.大庆石油学院学报,第27卷第4期. 2003 * |
过程神经网络的训练及其应用. 何新贵,梁久祯,许少华.中国工程科学,第3卷第4期. 2001 |
过程神经网络的训练及其应用. 何新贵,梁久祯,许少华.中国工程科学,第3卷第4期. 2001 * |
Also Published As
Publication number | Publication date |
---|---|
CN101118610A (zh) | 2008-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100580698C (zh) | 稀疏数据过程建模方法 | |
CN111832814B (zh) | 一种基于图注意力机制的空气污染物浓度预测方法 | |
Li et al. | DTDR–ALSTM: Extracting dynamic time-delays to reconstruct multivariate data for improving attention-based LSTM industrial time series prediction models | |
Cheng et al. | Artificial intelligence approaches to achieve strategic control over project cash flows | |
CN111652425A (zh) | 一种基于粗糙集和长短期记忆网络的河流水质预测方法 | |
CN103197983A (zh) | 基于概率图模型的服务组件可靠性在线时间序列预测方法 | |
Xu et al. | Pressure prediction and abnormal working conditions detection of water supply network based on LSTM | |
CN112421631A (zh) | 一种新能源消纳能力评估方法和系统 | |
CN114119273A (zh) | 一种园区综合能源系统非侵入式负荷分解方法及系统 | |
CN109408896B (zh) | 一种污水厌氧处理产气量多元智能实时监控方法 | |
Jia et al. | Water quality prediction method based on LSTM-BP | |
Wang et al. | Pm2. 5 prediction based on neural network | |
Li et al. | A novel anomaly detection method for digital twin data using deconvolution operation with attention mechanism | |
CN114240687A (zh) | 一种适用于综合能源系统的能源托管效率分析方法 | |
Wang et al. | Research on ultra-short term forecasting technology of wind power output based on various meteorological factors | |
Qian et al. | Application of hybrid algorithm of bionic heuristic and machine learning in nonlinear sequence | |
Wang et al. | Novel wind-speed prediction system based on dimensionality reduction and nonlinear weighting strategy for point-interval prediction | |
Lu et al. | Time series analysis and forecasting of China’s energy production during Covid-19: statistical models vs machine learning models | |
WO2024016556A1 (zh) | 一种适用于流程工业预测控制的模型自主学习方法 | |
CN117113054A (zh) | 一种基于图神经网络和Transformer的多元时间序列预测方法 | |
Juan et al. | Multi-step prediction of dissolved oxygen in river based on random forest missing value imputation and attention mechanism coupled with recurrent neural network | |
Xie et al. | A method of flood forecasting of chaotic radial basis function neural network | |
Kang et al. | Research on forecasting method for effluent ammonia nitrogen concentration based on GRA-TCN | |
Wu et al. | Week-ahead price forecasting for steel market based on RBF NN and ASW | |
Wang | A neural network algorithm based assessment for marine ecological environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100113 Termination date: 20100910 |