CN107729988A - 基于动态深度置信网络的蓝藻水华预测方法 - Google Patents
基于动态深度置信网络的蓝藻水华预测方法 Download PDFInfo
- Publication number
- CN107729988A CN107729988A CN201710914739.7A CN201710914739A CN107729988A CN 107729988 A CN107729988 A CN 107729988A CN 201710914739 A CN201710914739 A CN 201710914739A CN 107729988 A CN107729988 A CN 107729988A
- Authority
- CN
- China
- Prior art keywords
- moment
- layer
- bias
- hidden layer
- input layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 229930002875 chlorophyll Natural products 0.000 claims description 14
- 235000019804 chlorophyll Nutrition 0.000 claims description 14
- 239000005422 algal bloom Substances 0.000 claims description 9
- 241000195493 Cryptophyta Species 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012512 characterization method Methods 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 241000192710 Microcystis aeruginosa Species 0.000 description 16
- 238000012549 training Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 3
- 241001652065 Trigonopeltastes delta Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 229930002868 chlorophyll a Natural products 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012851 eutrophication Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000000700 time series analysis Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013277 forecasting method Methods 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于动态深度置信网络的蓝藻水华预测方法,属于水质监测技术领域。本发明的预测方法包括建立DDBN模型,动态受限玻尔兹曼机DRBM的学习算法更新,以及采用BP神经网络反向传播算法微调DDBN模型参数三个部分。本发明对传统的RBM权重更新公式进行了改进,使权重、偏置和学习速率更新公式具有时序性,便于处理时间序列问题,提高预测精度;反向传播算法只微调了与t时刻相关的参数,这样不仅避免了局部最优现象的出现,同时也减少微调的时间。
Description
技术领域
本发明涉及一种水华预测方法,属于水质监测技术领域。具体地说,是对水华的生成过程进行分析后建立的动态深度置信网络(Dynamic Deep Belief Nets,DDBN)预测模型的一种提高预测精度的水华预测方法。
背景技术
近年来,由于人们大规模的生产,水体富营养化现象越来越普遍,造成了严重的水生态问题。水华是水体富营养化的典型特征之一,水华的爆发,破坏了生态系统结构,严重制约了经济建设和社会发展。水华已成为国内外治理的一大难题。因此,深入研究藻类水华的爆发过程,并对其爆发过程进行有效的预测和模拟具有重要意义。
目前,水华生成过程建模方法主要包括数据驱动建模和机理驱动建模。数据驱动建模主要是通过采集的大量数据建立多个量影响某个量或某几个量的线性关系或者非线性关系。该模型不需要分析其内部机理,只根据研究对象中的输入输出数据之间的关系进行建模,主要适用于很难从机理分析中发现系统规律的高度非线性和严重不确定系统。机理驱动模型主要包括生态变量和待定参数。它是从水华形成的过程机理出发,通过物理、化学规律建立关键变量与其它可测变量之间的数学方程,经推导后建立起来的描述形成过程的方程组的数学模型。由于藻类水华的爆发现象非常复杂,使得系统的结构性质并不清楚,因此单纯的机理驱动的建模方法并不适合藻类水华预测。而在现有的水华预测方法中,大多采用单一的数据驱动模型,如一些神经网络模型、回归模型等等,但它们都存在预测结果不够准确的问题。
时间序列分析法是根据系统观测到的时间序列数据通过曲线拟合和参数估计来建立数学模型的理论和方法。该方法适于描述和预测水华生成的随机过程,进而建立水华形成的时序模型。时间序列分析法的特点在于在已建立的模型中引入了时间变量,仅仅依靠过去时刻的若干组数据就可以对未来时刻的数据进行预测,这恰恰也反映了水华的生成过程是一个具有时变特性的动态过程。然而,传统的时间序列模型只适用于线性系统的建模分析,而水华的形成过程具有高度的非线性特征,故传统的时间序列模型并不适用。因此,需要采用一种适用于预测和非线性建模的方法来对时间序列模型的参数进行优化。
深度置信网络是由多个受限玻尔兹曼机(RBM)和BP神经网络堆叠而成的一类包含多个隐藏层的多层神经网络算法,适用于预测和非线性建模。深度置信网络继承了传统神经网络的优点(例如,非常强的非线性映射能力等),并且与传统的神经网络相比,深度置信网络具有收敛到全局最优的能力。然而,单纯的深度置信网络需要对大量的样本进行训练,并且无法很好的处理时序问题,这为预测带来了一定难度。
因此,在引入时间变量后寻找一种优化时序模型参数的方法,是湖库藻类水华研究领域中亟待解决的问题。
发明内容
本发明的目的是为了解决现有的水华预测精度不高、难以通过适量样本进行预测等问题,将改进后的深度置信网络方法与时间序列模型相结合,构建一种动态深度置信网络预测模型,从而提高水华的预测精度,为湖库藻类水华预测提供一种新思路。
本发明提供的基于动态深度置信网络的蓝藻水华预测方法,主要包括以下四个步骤:
步骤一、建立DDBN模型;
时间序列模型是指某一现象按照时间排列次序形成的一个动态数列。水华预测是一个时间序列预测问题,而叶绿素是表征水体中藻类现存量的最直接指标,并且叶绿素的含量具有随时间变化的特点,因此将叶绿素作为反映藻类水华生成的表征因素建立输入数据与输出数据的时序关系。
传统的深度置信网络DBN模型由多层RBM和BP神经网络模型堆叠而成,BP神经网络算法是对权重和偏置项等参数进行微调,而传统的RBM参数更新算法,不能很好的处理时序预测问题,故需要对RBM中权重参数和偏置参数的算法进行改进,建立DDBN模型,以便能够更好的处理时序预测问题。
步骤二、动态受限玻尔兹曼机(DRBM)的学习算法;
(1)动态受限玻尔兹曼机权重的学习公式;
DRBM权重的算法与传统的RBM算法相同,均采用对比散度算法计算权重差值,然后进行权重更新,但DRBM权重算法增加了历史时刻的权重更新。
(2)DRBM输入层偏置的学习公式;
DRBM输入层偏置更新时,不仅仅考虑对比散度算法产生的偏置差值,同时还要考虑输入层t时刻与其历史时刻之间、输入层t时刻与隐藏层t-q时刻之间的连接产生的偏置变化以及输入层t-q时刻与其历史时刻之间连接产生的偏置变化。
(3)DRBM隐藏层偏置的学习公式;
DRBM隐藏层偏置更新时,不仅仅考虑对比散度算法产生的偏置差值,同时还要考虑隐藏层t时刻与隐藏层t-q时刻之间、隐藏层t时刻与其输入层历史时刻之间连接产生的偏置变化以及隐藏层t-q时刻与其输入层历史时刻之间的连接产生的偏置变化。
步骤三、DRBM采用动态学习速率;
由于DRBM在迭代初期需要在较大范围内进行参数调整,在迭代后期,网络基本趋于稳定只需在较小的范围内进行参数调整。所以DRBM采用动态学习速率进行网络学习。
步骤四、采用BP神经网络反向传播算法微调DDBN模型参数;
采用BP神经网络反向传播算法对DDBN模型中的参数进行微调,由于DDBN模型参数较多,且历史时刻参数均与当前时刻参数相关,故反向传播时,仅微调与t时刻的相关参数即可。
本发明的优点在于:
1.本发明在建立DDBN模型时采用了多个时间序列AR模型,AR模型能够直接通过历史数据对未来数据进行预测,减少了样本使用量。
2.本发明对传统的RBM权重更新公式进行了改进,使权重更新公式具有时序性,便于处理时间序列问题,提高预测精度。
3.本发明对传统的RBM输入层偏置更新公式进行了改进,增加了输入层t-q时刻与其历史时刻、输入层t时刻与其历史时刻以及输入层t时刻与隐藏层t-q时刻的连接,使历史时刻与当前时刻构建了多个时间序列AR模型,便于处理时序问题,进而提高预测精度。
4.本发明对传统的RBM隐藏层偏置更新公式进行了改进,增加了隐藏层t-q时刻与其输入层历史时刻、隐藏层t时刻与其输入层历史时刻以及隐藏层t时刻与隐藏层t-q时刻的连接,使历史时刻与当前时刻构建了多个时间序列AR模型,便于处理时序问题,进而提高预测精度。
5.本发明将传统的RBM中固定的学习速率变为动态学习速率,有助于网络的迭代寻优,提高预测精度。
6.本发明采用了反向传播算法对DDBN中的参数进行微调,并只微调了与t时刻相关的参数,这样不仅避免了局部最优现象的出现,同时也减少微调的时间。
附图说明
图1是本发明基于动态深度置信网络的湖库藻类水华预测方法的结构图。
图2是本发明的基于动态深度置信网络的蓝藻水华预测方法流程图。
图3是经过归一化处理后的所选取的训练样本的叶绿素a浓度曲线。
图4、图5、图6分别是通过DDBN模型进行预测的(t+1)、(t+2)、(t+3)时刻的叶绿素浓度的预测值和它们的真实值的曲线。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明是一种基于动态深度置信网络的蓝藻水华预测方法,具体方法实施的流程图如图2所示,通过如下步骤实现:
步骤一、建立DDBN模型;
如图1所示,vt和vt-p分别表示t时刻和t-p时刻输入层矩阵。ht和ht-q分别表示t时刻和t-q时刻隐藏层矩阵。vt+i表示t+i时刻输出层矩阵。由图1可以看出,输入层负责接收历史时刻和当前时刻的叶绿素浓度,隐藏层主要是提取输入层历史时刻和当前时刻的叶绿素浓度的特征,输出层则表示未来时刻的叶绿素浓度。输入样本和输出样本都是由长度固定,且沿时间序列顺次向前的移动窗口组成。这样便可通过DDBN模型来实现时序AR模型的建模预测。
由图1可知,与传统的DBN模型相比,DDBN模型增加了额外的输入和输出,这样构建的DDBN模型可以很好的建立输入数据与输出数据之间的联系,进而能够更方便、更准确的去处理时间序列预测问题。
步骤二、动态受限玻尔兹曼机(DRBM)的学习算法。
(1)DRBM权重的学习公式;
DRBM权重学习公式与传统的RBM的权重学习公式所采用的都是对比散度算法,但DRBM权重学习公式具有时序特性,DRBM权重学习公式分为t时刻和t-q时刻。t时刻的权重更新公式如下:
W′t←Wt+ΔWt (1)
其中,Wt和W′t是更新前后的权重矩阵,ΔWt是采用对比散度算法后权重的变化。ΔWt可用如下公式表示:
ΔWt=η(<vtht>0-<vtht>1) (2)
<·>0表示数据集的数学期望,<·>1表示经过一次对比散度算法后的重构值的数学期望。η为DRBM本次迭代的学习速率(下同)。t-q时刻的权重更新公式和对比散度算法与t时刻相同,故不再具体阐述。
(2)DRBM输入层偏置的学习公式。
DRBM输入层偏置学习公式与传统的RBM的区别在于增加了输入层t-q时刻与其历史时刻的连接、输入层t时刻与其历史时刻的连接以及隐藏层t-q时刻与输入层t时刻的连接,同时再结合传统RBM输入层偏置的学习方式,最终构成输入层t-q时刻和t时刻的偏置更新公式。
输入层t-q时刻的偏置更新公式为:
其中,at-q和a't-q分别表示t-q时刻更新前后的输入层偏置,表示输入层t-q时刻的某一历史时刻t-p的输入层矩阵,ΔAt-p表示输入层t-p时刻与输入层t-q时刻之间的连接产生的权重变化,ΔA't-q是输入层t-q时刻经过对比散度算法后自身的偏置变化。其中:
ΔA't-q=<vt-q>0-<vt-q>1 (5)
输入层t时刻的偏置更新公式是在输入层t-q时刻的基础上又增加了隐藏层t-q时刻与输入层t时刻的连接而引起的偏置变化,因此输入层t时刻的偏置更新公式为:
其中,at和a't分别表示t时刻更新前后的输入层偏置,表示输入层t时刻的某一历史时刻t-p的输入层矩阵。ΔDt-q表示隐藏层t-q时刻与输入层t时刻之间的连接产生的权重变化。ΔA't-p、ΔA't分别表示输入层t-p时刻与输入层t时刻之间的连接产生的权重变化以及输入层t时刻经过对比散度算法后自身的偏置变化,它们算法与输入层t-q时刻算法相同。ΔDt-q的计算公式为:
ΔDt-q=ht-q(<vt>0-<vt>1) (7)
(3)DRBM隐藏层偏置的学习公式。
DRBM隐藏层偏置学习公式与传统的RBM的区别在于增加了隐藏层t-q时刻与其输入层历史时刻之间的连接、隐藏层t时刻与隐藏层t-q时刻之间的连接,同时再结合传统RBM隐藏层偏置的学习方式,最终构成隐藏层t-q时刻和t时刻的偏置更新公式。
隐藏层t-q时刻偏置更新公式为:
其中,bt-q和b't-q分别表示t-q时刻更新前后的隐藏层偏置,ΔBt-p表示输入层t-p时刻与隐藏层t-q时刻之间的连接产生的权重变化,ΔB't-q是隐藏层t-q时刻经过对比散度算法后自身的偏置变化。其中:
ΔB't-q=<ht-q>0-<ht-q>1 (10)
隐藏层t时刻偏置更新公式是在隐藏层t-q时刻的基础上又增加了隐藏层t-q时刻与隐藏层t时刻之间的连接而引起的偏置变化,因此隐藏层t时刻偏置更新公式为:
其中,bt和b't分别表示t时刻更新前后的隐藏层偏置,ΔCt-q表示隐藏层t-q时刻与隐藏层t时刻之间的连接产生的权重变化。ΔB't-p、ΔB't分别表示输入层t-p时刻与隐藏层t时刻之间的连接产生的权重变化、隐藏层t时刻经过对比散度算法后自身的偏置变化,它们的算法与隐藏层t-q时刻相同。ΔCt-q的计算公式为:
ΔCt-q=ht-q(<ht>0-<ht>1) (12)
步骤三、DRBM采用动态学习速率。
DRBM与传统的RBM相比,采用了动态学习速率更新DRBM网络参数,动态学习速率的公式为:
其中,u为学习速率系数,负责动态调整学习速率。
学习速率系数的更新公式如下:
这样可保证学习速率在初始值和最小值之间逐渐减小。u和u'分别表示更新前后的学习速率系数。其中u的初始值取0,r和s可根据设定的学习速率最小值得到。
步骤四、采用BP神经网络反向传播算法微调DDBN模型参数。
DRBM中的权重参数和偏置参数反应了数据结构中的信息。预训练完成后,为了得到一个更好的结果,还需要采用BP神经网络算法,通过有监督的反向传播算法自顶向下对DDBN模型参数进一步调优。由于在DDBN模型中参数较多,并且由DDBN的结构图可知增加的参数均与t时刻相关,因此进行反向传播时只需对DDBN模型中与t时刻相关的参数进行微调。以输出层的(t+m)时刻和隐藏层t时刻连接的权重为例,所述权重的变化公式为:
其中,表示输出层的(t+m)时刻与隐藏层t时刻之间的权重变化,ε是所述权重的学习速率,dt+m和h't分别表示输出层(t+m)时刻的误差矩阵和隐藏层t时刻的输出矩阵,其中dt+m的计算公式如下:
dt+m=(yt+m-ct+m)ct+m(1-ct+m) (16)
其中yt+m表示BP神经网络的期望输出,ct+m表示BP神经网络的实际输出。
实施例1:
以江苏省太湖流域叶绿素a浓度数据为例采用本发明所提方法进行蓝藻水华预测。以2011年至2012年太湖的观测数据为例,经数据筛选与归一化处理后,共选取了440天的1320个叶绿素浓度数据样本,每天选取三个样本。其中选取前660个数据作为训练样本,如图3所示。选取后660个数据作为测试样本。
步骤一、建立DDBN模型;
选取叶绿素作为表征水体中藻类现存量的指标,按照图1的结构建立表征因素的DDBN藻类水华预测模型。将所选取的训练样本中的数据按时间序列组成顺次向前移动的窗口,将其分为11个窗口,每个窗口有650个时序数据,其中前8个窗口作为训练样本的输入数据,后3个窗口作为训练样本的输出数据。同理,将测试样本中的输入数据也分成8个移动窗口。每个窗口650个时序数据,进行测试验证。
步骤二、动态受限玻尔兹曼机(DRBM)的学习算法;
(1)DRBM权重的学习公式;
根据步骤一,取n=7,再取k=2,说明输入层由当前时刻和7个历史时刻组成,隐藏层由当前时刻和2个历史时刻组成。
故当前时刻DRBM的权重变化公式为:
ΔWt=η(<vtht>0-<vtht>1)
历史时刻DRBM的权重变化公式为:
ΔWt-1=η(<vt-1ht-1>0-<vt-1ht-1>1)
ΔWt-2=η(<vt-2ht-2>0-<vt-2ht-2>1)
(2)DRBM输入层偏置的学习公式;
由步骤一可知n=7,k=2。根据公式(3)、公式(4)和公式(5)可知,t-1和t-2时刻的输入层偏置更新公式为:
由公式(4)、公式(5)、公式(6)和公式(7)可知t时刻的输入层的偏置更新公式为:
(3)DRBM隐藏层偏置的学习公式;
由步骤一可知n=7,k=2。根据公式(8)、公式(9)和公式(10)可知,t-1和t-2时刻的隐藏层偏置更新公式为:
根据公式(9)、公式(10)、公式(11)和公式(12)可知,t时刻的隐藏层偏置更新公式为:
步骤三、DRBM采用动态学习速率;
取初始学习速率为0.04,学习速率最小值为0.01,则s=1,r=2,DRBM迭代次数为1500,则根据公式(13)得到动态学习速率的公式为:
根据公式(14)得到学习速率系数的更新公式为:
步骤四、采用BP神经网络反向传播算法微调DDBN模型参数;
DRBM模型训练结束后,再通过BP神经网络反向传播算法微调DDBN模型参数,由步骤一和图1可知i=3。
所以输出层有三个时刻,分别是(t+1)、(t+2)和(t+3)时刻。以(t+1)时刻为例,根据公式(15)和(16)可得权重的变化公式为:
Δwt t+1=εdt+1h't
(t+1)时刻输出层的误差矩阵可表示为:
dt+1=(yt+1-ct+1)ct+1(1-ct+1)
(t+2)和(t+3)时刻的权重变化和输出层的误差矩阵的算法与(t+1)时刻相同,故不再具体阐述。
在完成上述四个步骤后,在训练阶段选择两层DRBM与BP神经网络建立DDBN模型,输入层是由当前时刻和历史时刻共8个时刻组成,输出层由未来的三个时刻组成,即对叶绿素的含量向前预测三步。其中,隐藏层由两个DRBM组成。在DRBM中第一层选择100个神经元,第二层选择50个神经元,学习速率的初始值均为0.04,学习速率最小值均为0.01,迭代次数均为1500。在BP神经网络中,学习速率为1,迭代次数为8000。训练结束后用测试集数据对模型进行测试验证。预测结果与实际结果的对比图如图4、图5和图6所示。向前预测三步的均方根误差分别为:1.40%,2.14%和2.96%,该预测精度较高,说明由本发明方法所建立的DDBM模型能有效地实现水华预测。
Claims (4)
1.基于动态深度置信网络的蓝藻水华预测方法,其特征在于:
步骤一、建立DDBN模型;
所述的DDBN是指动态深度置信模型,所述的模型包括输入层、隐藏层和输出层,将叶绿素作为反映藻类水华生成的表征因素建立输入数据与输出数据的时序关系;输入层负责接收历史时刻和当前时刻的叶绿素浓度,隐藏层负责提取输入层历史时刻和当前时刻的叶绿素浓度的特征,输出层则表示未来时刻的叶绿素浓度;输入层数据和输出层数据都是由长度固定,且沿时间序列顺次向前的移动窗口组成;
步骤二、动态受限玻尔兹曼机DRBM的学习算法;
(1)动态受限玻尔兹曼机权重的学习公式;
采用对比散度算法计算权重差值,然后进行权重更新;
(2)DRBM输入层偏置的学习公式;
DRBM输入层偏置更新时,包括对比散度算法产生的偏置差值,还包括输入层t时刻与其历史时刻之间、输入层t时刻与隐藏层t-q时刻之间的连接产生的偏置变化以及输入层t-q时刻与其历史时刻之间连接产生的偏置变化;
(3)DRBM隐藏层偏置的学习公式;
DRBM隐藏层偏置更新时,包括对比散度算法产生的偏置差值,还包括隐藏层t时刻与隐藏层t-q时刻之间、隐藏层t时刻与其输入层历史时刻之间连接产生的偏置变化以及隐藏层t-q时刻与其输入层历史时刻之间的连接产生的偏置变化;
步骤三、DRBM采用动态学习速率;
步骤四、采用BP神经网络反向传播算法微调DDBN模型参数。
2.根据权利要求1所述的基于动态深度置信网络的蓝藻水华预测方法,其特征在于:步骤二中所述的DRBM权重学习公式分为t时刻和t-q时刻,t时刻的权重更新公式如下:
W′t←Wt+ΔWt (1)
其中,Wt和W′t是更新前后的权重矩阵,ΔWt是采用对比散度算法后权重的变化;ΔWt用如下公式表示:
ΔWt=η(<vtht>0-<vtht>1) (2)
<·>0表示数据集的数学期望,<·>1表示经过一次对比散度算法后的重构值的数学期望,η为DRBM本次迭代的学习速率,t-q时刻的权重更新公式和对比散度算法与t时刻相同;
步骤二中所述的DRBM输入层偏置的学习公式包括输入层t-q时刻和t时刻的偏置更新公式,输入层t-q时刻的偏置更新公式为:
其中,at-q和a't-q分别表示t-q时刻更新前后的输入层偏置,表示输入层t-q时刻的某一历史时刻t-p的输入层矩阵,ΔAt-p表示输入层t-p时刻与输入层t-q时刻之间的连接产生的权重变化,ΔA't-q是输入层t-q时刻经过对比散度算法后自身的偏置变化,其中:
ΔA't-q=<vt-q>0-<vt-q>1 (5)
输入层t时刻的偏置更新公式是在输入层t-q时刻的基础上又增加了隐藏层t-q时刻与输入层t时刻的连接而引起的偏置变化,因此输入层t时刻的偏置更新公式为:
其中,at和a't分别表示t时刻更新前后的输入层偏置,表示输入层t时刻的某一历史时刻t-p的输入层矩阵,ΔDt-q表示隐藏层t-q时刻与输入层t时刻之间的连接产生的权重变化,ΔA't-p、ΔA't分别表示输入层t-p时刻与输入层t时刻之间的连接产生的权重变化以及输入层t时刻经过对比散度算法后自身的偏置变化,它们算法与输入层t-q时刻算法相同,ΔDt-q的计算公式为:
ΔDt-q=ht-q(<vt>0-<vt>1) (7)
步骤二中所述的DRBM隐藏层偏置的学习公式包括隐藏层t-q时刻和t时刻的偏置更新公式,隐藏层t-q时刻偏置更新公式为:
其中,bt-q和b't-q分别表示t-q时刻更新前后的隐藏层偏置,ΔBt-p表示输入层t-p时刻与隐藏层t-q时刻之间的连接产生的权重变化,ΔB't-q是隐藏层t-q时刻经过对比散度算法后自身的偏置变化,其中:
ΔB't-q=<ht-q>0-<ht-q>1 (10)
隐藏层t时刻偏置更新公式是在隐藏层t-q时刻的基础上又增加了隐藏层t-q时刻与隐藏层t时刻之间的连接而引起的偏置变化,因此隐藏层t时刻偏置更新公式为:
其中,bt和b't分别表示t时刻更新前后的隐藏层偏置,ΔCt-q表示隐藏层t-q时刻与隐藏层t时刻之间的连接产生的权重变化,ΔB't-p、ΔB't分别表示输入层t-p时刻与隐藏层t时刻之间的连接产生的权重变化、隐藏层t时刻经过对比散度算法后自身的偏置变化,它们的算法与隐藏层t-q时刻相同,ΔCt-q的计算公式为:
ΔCt-q=ht-q(<ht>0-<ht>1) (12)。
3.根据权利要求1所述的基于动态深度置信网络的蓝藻水华预测方法,其特征在于:步骤三中所述的DRBM动态学习速率η的公式为:
其中,u为学习速率系数;
学习速率系数的更新公式如下:
u和u'分别表示更新前后的学习速率系数,其中u的初始值取0,r和s根据设定的学习速率最小值得到。
4.根据权利要求1所述的基于动态深度置信网络的蓝藻水华预测方法,其特征在于:步骤四中所述的微调DDBN模型参数包括与t时刻相关的权重参数和偏置参数,其中,输出层的t+m时刻和隐藏层t时刻连接的权重的变化公式为:
其中,表示输出层的t+m时刻与隐藏层t时刻之间的权重变化,ε是所述权重的学习速率,dt+m和h't分别表示输出层t+m时刻的误差矩阵和隐藏层t时刻的输出矩阵,其中dt+m的计算公式如下:
dt+m=(yt+m-ct+m)ct+m(1-ct+m) (16)
其中yt+m表示BP神经网络的期望输出,ct+m表示BP神经网络的实际输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710914739.7A CN107729988B (zh) | 2017-09-30 | 2017-09-30 | 基于动态深度置信网络的蓝藻水华预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710914739.7A CN107729988B (zh) | 2017-09-30 | 2017-09-30 | 基于动态深度置信网络的蓝藻水华预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107729988A true CN107729988A (zh) | 2018-02-23 |
CN107729988B CN107729988B (zh) | 2020-07-17 |
Family
ID=61209283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710914739.7A Active CN107729988B (zh) | 2017-09-30 | 2017-09-30 | 基于动态深度置信网络的蓝藻水华预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107729988B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146007A (zh) * | 2018-07-13 | 2019-01-04 | 江南大学 | 一种基于动态深度置信网络的固体废弃物智能处理方法 |
CN109308544A (zh) * | 2018-08-21 | 2019-02-05 | 北京师范大学 | 基于对比散度-长短期记忆网络的蓝藻水华预测方法 |
CN109726857A (zh) * | 2018-12-19 | 2019-05-07 | 北京工商大学 | 基于GA-Elman网络的蓝藻水华预测方法 |
CN109858127A (zh) * | 2018-04-13 | 2019-06-07 | 北京工商大学 | 基于递归时序深度置信网络的蓝藻水华预测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090228516A1 (en) * | 2008-03-10 | 2009-09-10 | The Hong Kong Polytechnic University | Harmful algae indexing (HaiDex) method |
CN103886218A (zh) * | 2014-04-08 | 2014-06-25 | 北京工商大学 | 基于多元非平稳时间序列分析与神经网络及支持向量机补偿的湖库藻类水华预测方法 |
CN104794534A (zh) * | 2015-04-16 | 2015-07-22 | 国网山东省电力公司临沂供电公司 | 一种基于改进深度学习模型的电网安全态势预测方法 |
CN106198909A (zh) * | 2016-06-30 | 2016-12-07 | 中南大学 | 一种基于深度学习的水产养殖水质预测方法 |
-
2017
- 2017-09-30 CN CN201710914739.7A patent/CN107729988B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090228516A1 (en) * | 2008-03-10 | 2009-09-10 | The Hong Kong Polytechnic University | Harmful algae indexing (HaiDex) method |
CN103886218A (zh) * | 2014-04-08 | 2014-06-25 | 北京工商大学 | 基于多元非平稳时间序列分析与神经网络及支持向量机补偿的湖库藻类水华预测方法 |
CN104794534A (zh) * | 2015-04-16 | 2015-07-22 | 国网山东省电力公司临沂供电公司 | 一种基于改进深度学习模型的电网安全态势预测方法 |
CN106198909A (zh) * | 2016-06-30 | 2016-12-07 | 中南大学 | 一种基于深度学习的水产养殖水质预测方法 |
Non-Patent Citations (3)
Title |
---|
姚俊杨: "基于深度学习的湖库藻类水华预测研究", 《计算机与应用化学》 * |
李世明等: "基于 DS 理论的湖库蓝藻水华状态评价研究", 《计算机与应用化学》 * |
王立等: "蓝藻生长时变系统非线性动力学分析及水华预测方法", 《化工学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109858127A (zh) * | 2018-04-13 | 2019-06-07 | 北京工商大学 | 基于递归时序深度置信网络的蓝藻水华预测方法 |
CN109146007A (zh) * | 2018-07-13 | 2019-01-04 | 江南大学 | 一种基于动态深度置信网络的固体废弃物智能处理方法 |
CN109146007B (zh) * | 2018-07-13 | 2021-08-27 | 江南大学 | 一种基于动态深度置信网络的固体废弃物智能处理方法 |
CN109308544A (zh) * | 2018-08-21 | 2019-02-05 | 北京师范大学 | 基于对比散度-长短期记忆网络的蓝藻水华预测方法 |
CN109308544B (zh) * | 2018-08-21 | 2021-07-20 | 北京师范大学 | 基于对比散度-长短期记忆网络的蓝藻水华预测方法 |
CN109726857A (zh) * | 2018-12-19 | 2019-05-07 | 北京工商大学 | 基于GA-Elman网络的蓝藻水华预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107729988B (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108900346B (zh) | 基于lstm网络的无线网络流量预测方法 | |
CN107729988B (zh) | 基于动态深度置信网络的蓝藻水华预测方法 | |
CN110084367B (zh) | 一种基于lstm深度学习模型的土壤墒情预测方法 | |
CN108416460B (zh) | 基于多因素时序—随机深度置信网络模型的蓝藻水华预测方法 | |
CN103730006B (zh) | 一种短时交通流量的组合预测方法 | |
CN108764540B (zh) | 基于并行lstm串联dnn的供水管网压力预测方法 | |
CN107169527B (zh) | 基于协同深度学习的医学图像分类方法 | |
CN106529818B (zh) | 基于模糊小波神经网络的水质评价预测方法 | |
CN109308544B (zh) | 基于对比散度-长短期记忆网络的蓝藻水华预测方法 | |
CN112434848B (zh) | 基于深度信念网络的非线性加权组合风电功率预测方法 | |
CN109635245A (zh) | 一种鲁棒宽度学习系统 | |
CN114777192B (zh) | 基于数据关联和深度学习的二级网供热自主优化调控方法 | |
CN109754122A (zh) | 一种基于随机森林特征提取的bp神经网络的数值预测方法 | |
CN110309609A (zh) | 一种基于粗糙集和小波神经网络的建筑室内空气品质评价方法 | |
CN114862035B (zh) | 一种基于迁移学习的组合式海湾水温预测方法 | |
CN111058840A (zh) | 一种基于高阶神经网络的有机碳含量(toc)评价方法 | |
CN115618987A (zh) | 生产井生产数据预测方法、装置、设备和存储介质 | |
CN109408896B (zh) | 一种污水厌氧处理产气量多元智能实时监控方法 | |
CN113609766B (zh) | 一种基于深度概率潜隐模型的软测量方法 | |
WO2022032874A1 (zh) | 一种基于对抗神经网络的有资料地区水文参数率定方法 | |
WO2022032873A1 (zh) | 一种基于对抗神经网络的无资料地区水文参数率定方法 | |
CN107909202A (zh) | 一种基于时间序列的油井产液量集成预测方法 | |
CN110909492B (zh) | 一种基于极端梯度提升算法的污水处理过程软测量方法 | |
CN115359197A (zh) | 一种基于空间自相关神经网络的地质曲面重构方法 | |
CN109858127B (zh) | 基于递归时序深度置信网络的蓝藻水华预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |