CN109858127B - 基于递归时序深度置信网络的蓝藻水华预测方法 - Google Patents

基于递归时序深度置信网络的蓝藻水华预测方法 Download PDF

Info

Publication number
CN109858127B
CN109858127B CN201910062903.5A CN201910062903A CN109858127B CN 109858127 B CN109858127 B CN 109858127B CN 201910062903 A CN201910062903 A CN 201910062903A CN 109858127 B CN109858127 B CN 109858127B
Authority
CN
China
Prior art keywords
hidden layer
layer
moment
model
bias
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910062903.5A
Other languages
English (en)
Other versions
CN109858127A (zh
Inventor
张海艳
王立
王小艺
张天瑞
许继平
张慧妍
于家斌
孙茜
赵峙尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Publication of CN109858127A publication Critical patent/CN109858127A/zh
Application granted granted Critical
Publication of CN109858127B publication Critical patent/CN109858127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于递归时序深度置信网络的蓝藻水华预测方法,属于水环境预测技术领域。首先采集水质数据进行预处理并划分为训练数据和测试数据,构建多因素输入单因素输出的RTDBN模型,在RTDBN模型上建立隐藏层2对训练数据进行再次特征提取。针对训练数据,在RTDBN模型上建立输入层与隐藏层1的参数关系,采用CRBM对输入层偏置和隐藏层1偏置进行更新;同时建立隐藏层1与隐藏层2的参数关系。然后对隐藏层1新偏置和隐藏层2的偏置进行更新,隐藏层2对隐藏层1的特征进行进一步提取,对RCRBN的权重进行更新。最后反向微调模型参数,完成RTDBN模型训练,并通过测试数据对水质的蓝藻水华进行预测。本发明减少模型的计算,防止出现过拟合的现象,提高了预测精度。

Description

基于递归时序深度置信网络的蓝藻水华预测方法
技术领域
本发明属于水环境预测技术领域,涉及一种水华预测方法,具体是一种基于递归时序深度置信网络的蓝藻水华预测方法。
背景技术
水质标志着水的物理、化学和生物特征,可用于衡量水体对社会的可用性。富营养化是指水体中营养物质过度富集的过程,结果会导致某些生物生产力繁殖加速。富营养化的症状主要包括藻类水华、水体富营养化等现象。水体富营养化是一个自然过程,但是人类活动能够通过增加进入水体的营养物质负荷来加速这一过程,富营养化富集会导致藻类水华现象,进而破坏水生生态平衡的过程。因此,通过预测和模拟来有效的防治水华现象的发生具有重要意义。
现阶段,水质数学模型和数据驱动模型均可用于对水质进行预测,水质数学模型的类型可分为单水质指标、耦合水质指标和水生生态模型,不随时间变化的稳定态和随时间变化的非稳定态模型,零维、一维、二维和三维模型等,其数学表达式则可以区分为微分方程、积分方程、代数方程、差分方程以及微分-差分方程等。
然而,水质数学模型大都比较复杂且仍存在如缺乏必要的监测数据与实验支持、不确定性研究不足等问题,导致最终的模拟结果不准确。数据驱动模型主要是通过智能算法来建立模型,如时间序列模型,神经网络模型以及支持向量机模型等,虽然可以通过当前时刻和历史时刻的表征因素和影响因素来预测未来时刻表征因素的值,但现有的智能模型并不能很好的提取数据特征,导致最终的预测精度不高。
因此,在了解上述水质数学模型和数据驱动模型的优缺点后,寻找一种如何引入时间变量,建立表征因素与影响因素之间的关系并充分提取数据特征的智能方法是蓝藻水华研究领域中亟待解决的问题。
发明内容
本发明为了解决现有的水华预测精度不高以及样本数量不充分等问题,将改进后的深度置信网络方法与时间序列模型相结合,构建一种基于递归时序深度置信网络的蓝藻水华预测方法,从而提高水华的预测精度,为湖库藻类水华预测提供一种新思路。
具体步骤如下:
步骤一、针对某水质,采集数据进行预处理并划分为训练数据和测试数据;
预处理包括去除异常点和去噪等常规处理。
步骤二、构建多因素输入单因素输出的递归时序深度置信网络(RTDBN)模型;
RTDBN模型由若干递归条件玻尔兹曼机(RCRBM)和BP神经网络组成,RCRBM负责完成RTDBN模型的预训练,BP神经网络负责反向微调RTDBN模型的参数,进而完成模型的整个训练。
步骤三、在RTDBN模型上建立隐藏层2,用于对训练数据进行再次特征提取;
RTDBN模型包括:输入层,隐藏层和输出层;隐藏层包括隐藏层1和隐藏层2;
输入层负责接收历史时刻和当前时刻的表征因素和影响因素的值,并建立多因素回归模型以及表征因素某时刻与其前一个时刻之间的递归关系。
隐藏层1负责提取输入层数据的特征;
隐藏层2负责对隐藏层1的数据进行特征再提取。
输出层则表示未来时刻的藻密度。
步骤四、将RTDBN模型初始化;
初始化包括:设置RCRBM的隐藏层个数、隐藏层神经元数、隐藏层1和隐藏层2的学习速率、迭代次数、影响因素个数以及BP神经网络的学习速率和迭代次数,权重和偏置初始值等参数。
步骤五、针对训练数据,在RTDBN模型上建立输入层与隐藏层1的参数关系,得到隐藏层1当前时刻的矩阵实值;
输入层与隐藏层1的参数关系是指:隐藏层1的某时刻分别与输入层该时刻、输入层该时刻的前一个时刻以及隐藏层1的该时刻的前一时刻之间的关系;
具体关系式如下:
ht-p+1表示隐藏层1的t-p+1时刻的矩阵;表示Sigmoid函数,W1表示隐藏层1的t-p+1时刻与隐藏层1的t-p时刻连接产生的权重。r表示在添加伯努利随机项后保存连接的概率;W2表示隐藏层1的t-p+1时刻与输入层t-p时刻连接产生的权重。vt-p表示输入层t-p时刻表征因素的矩阵;W3表示隐藏层1的t-p+1时刻与输入层t-p+1时刻连接产生的权重;d表示通过高斯随机分布生成的偏置项。
其中,ht-p的计算公式如下:
隐藏层1当前时刻的矩阵实值ht为:
步骤六、采用CRBM对输入层偏置和隐藏层1偏置进行更新,隐藏层1提取输入层的数据特征;
输入层偏置更新公式如下:
at表示更新前输入层偏置;表示更新后输入层偏置,<·>0表示数据集的数学期望,<·>1表示经过一次对比散度算法后的重构值的数学期望。η表示输入层与隐藏层1之间的学习速率。/>表示输入层t-p时刻第j个影响因素的浓度矩阵。ΔAt-p表示输入层影响因素在t-p时刻与输入层表征因素在t时刻的连接产生的权重变化。其表达式如下:
j为影响因素的个数,总数为n个;p为时刻个数,总数为m个。
隐藏层1偏置更新公式如下:
其中,bt表示更新前隐藏层1偏置;b't表示更新后隐藏层1偏置,ΔBt-p表示输入层表征因素在t-p时刻与输入层表征因素在t时刻的连接产生的权重变化,其表达式如下:
步骤七、同时,建立隐藏层1与隐藏层2的参数关系;
隐藏层1与隐藏层2的参数关系是指:隐藏层2当前时刻与隐藏层1当前时刻的关系;
对隐藏层1所有时刻的数据进行进一步的特征提取,最终的隐藏层1当前时刻的值仍然采用对比散度算法进行计算,具体公式如下:
表示隐藏层2的当前时刻真实值矩阵,Wt表示隐藏层1和隐藏层2之间的权重,/>表示由于增加隐藏层2而产生的隐藏层1的新偏置;h't表示隐藏层1的重构值矩阵;/>表示隐藏层2的偏置。/>表示隐藏层2的重构值矩阵;
步骤八、对隐藏层1新偏置和隐藏层2的偏置进行更新,隐藏层2对隐藏层1的特征进行进一步提取;
隐藏层1的新偏置的更新公式如下:
表示更新后的隐藏层1的新偏置,η1表示隐藏层1与隐藏层2之间的学习速率。
隐藏层2的偏置的更新公式如下:
表示更新后的隐藏层2的偏置,ΔCt-p表示隐藏层1的历史时刻与隐藏层2之间的连接产生的权重变化。ΔCt-p的表达式如下:
步骤九、隐藏层2在完成训练数据的特征提取后,对RCRBN的权重进行更新,以完成模型的预训练。
具体公式如下:
表示更新前的权重矩阵;/>表示更新后的权重矩阵,ΔW表示经过一次训练产生的权重变化,其表达式如下:
步骤十、采用BP神经网络反向微调模型参数,最终RTDBN模型完成训练,并通过测试数据对水质的蓝藻水华进行预测。
本发明的优点在于:
1.一种基于递归时序深度置信网络的蓝藻水华预测方法,在建立RTDBN模型时,采用了递归的方法通过表征因素当前时刻和历史时刻来计算隐藏层1当前时刻的值,即建立了隐藏层1当前时刻与输入层表征因素所有时刻,以及隐藏层1当前时刻与隐藏层1历史时刻之间的关系又可以简化模型的算法。
2.一种基于递归时序深度置信网络的蓝藻水华预测方法,采用递归方式计算t-p时刻隐藏层矩阵时,在建立输入层t-p-1时刻与隐藏层1的t-p时刻进行连接后,在输入层t-p-1时刻与隐藏层1的t-p时刻之间添加伯努利随机项来删除部分连接,这样即可以建立时序关系,又可以减少模型的计算,而且可防止模型过拟合现象的出现。
3.一种基于递归时序深度置信网络的蓝藻水华预测方法,在RTDBN模型输入层添加了影响因素,构建了多因素回归模型,进而建立了输入层表征因素当前时刻与影响因素所有时刻以及隐藏层1的当前时刻与影响因素所有时刻之间的关系,通过表征因素和影响因素来预测未来表征因素的变化情况,提高了模型的预测精度。
4.一种基于递归时序深度置信网络的蓝藻水华预测方法,通过RTDBN模型输入层完成特征提取后,建立隐藏层2并且对隐藏层1的各个时刻进行进一步的特征提取,以此来提高模型的特征提取能力,进而提高模型的预测精度。
5.一种基于递归时序深度置信网络的蓝藻水华预测方法,在RTDBN模型预训练的权重更新阶段采用隐藏层2最终提取的数据特征矩阵来完成权重的更新,能够获得更好的权重参数值,进而提高模型的预测精度。
附图说明
图1是本发明基于递归时序深度置信网络的湖库藻类水华预测方法的结构图;
图2是本发明基于递归时序深度置信网络的蓝藻水华预测方法的步骤流程图。
图3是本发明经过归一化处理后所选取的训练样本的藻密度变化曲线。
图4是本发明经过归一化处理后的所选取的训练样本的影响因素总氮的变化曲线图;
图5是本发明经过归一化处理后的所选取的训练样本的影响因素溶解氧的变化曲线图;
图6是本发明经过归一化处理后的所选取的训练样本的影响因素水温的变化曲线图。
图7是本发明通过递归时序深度置信网络模型进行预测的(t+1)时刻的藻密度预测值和真实值的变化曲线。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
本发明一种基于递归时序深度置信网络的蓝藻水华预测方法,通过对水华的生成过程进行分析,后建立递归时序深度置信网络预测模型,提高了水华预测精度。
如图2所示,具体步骤如下:
步骤一、针对某水质,采集数据进行预处理并划分为训练数据和测试数据;
预处理包括去除异常点和去噪等常规处理。
步骤二、构建多因素输入单因素输出的递归时序深度置信网络(RTDBN)模型;
水华暴发是一个表征因素和多个影响因素共同作用的结果,并且水华预测是一个动态的时间序列问题,因此选用藻密度作为预测蓝藻水华的表征因素,选用总氮、溶解氧和水温作为蓝藻水华的影响因素。无论是表征因素还是影响因素,它们都具备随时间变化的特点。因此可以建立当前时刻和历史时刻的表征因素和影响因素,与未来时刻的表征因素的时序关系,进而建立递归时序深度置信网络(RTDBN)模型来完成水华预测。
如图1所示,RTDBN模型包括:输入层,隐藏层和输出层;隐藏层包括隐藏层1和隐藏层2;
输入数据与输出数据之间的关系为:vt表示输入层t时刻藻密度矩阵,vt-p表示输入层t-p时刻藻密度矩阵,表示输入层t-p时刻第j个影响因素数据矩阵。ht表示隐藏层1的当前t时刻矩阵实值,ht-p表示隐藏层1的t-p时刻矩阵,/>表示隐藏层2的当前t时刻矩阵实值。
RTDBN模型由若干递归条件玻尔兹曼机(RCRBM)和BP神经网络组成,RCRBM负责完成RTDBN模型的预训练,BP神经网络负责反向微调RTDBN模型的参数,进而完成模型的整个训练。
步骤三、在RTDBN模型上建立隐藏层2,用于对训练数据进行再次特征提取;
输入层负责接收历史时刻和当前时刻的藻密度和影响因素的值,并在输入层建立多因素回归模型以及表征因素某时刻与其前一个时刻之间的递归关系。
隐藏层1负责提取输入层数据的特征;在提取表征因素数据特征时,为了让数据特征提取更加充分,因此需要建立隐藏层2对隐藏层1中各个时刻的数据特征进行再提取。
输出层则表示未来时刻的藻密度,最终构建RTDBN模型。
步骤四、将RTDBN模型初始化;
初始化包括:设置RCRBM的隐藏层个数、隐藏层神经元数、隐藏层1和隐藏层2的学习速率、迭代次数、影响因素个数以及BP神经网络的学习速率和迭代次数,权重和偏置初始值等参数。
步骤五、针对训练数据,在RTDBN模型上建立输入层与隐藏层1的参数关系,得到隐藏层1当前时刻的实值;
隐藏层1实值计算方法采用递归方式,即建立某一时刻隐藏层1的值与输入层该时刻、隐藏层1该时刻的前一个时刻以及输入层该时刻前一个时刻之间的关系。通过这种方式,建立隐藏层1当前时刻与隐藏层1历史时刻、隐藏层1当前时刻与输入层当前时刻以及隐藏层1当前时刻与输入层当前时刻之间的参数关系,同时,在模型预训练时添加随机项删除部分连接。
输入层与隐藏层1的参数关系式如下:
ht-p+1表示隐藏层1的t-p+1时刻的矩阵;表示Sigmoid函数,W1表示隐藏层1的t-p+1时刻与隐藏层1的t-p时刻连接产生的权重。r表示在添加伯努利随机项后保存连接的概率;W2表示隐藏层1的t-p+1时刻与输入层t-p时刻连接产生的权重。W3表示隐藏层1的t-p+1时刻与输入层t-p+1时刻连接产生的权重。d表示通过高斯随机分布生成的偏置项。符号/>表示一种运算,其运算规则是符号/>左侧以r概率生成的伯努利随机矩阵与符号/>右侧矩阵中的元素对应相乘。
其中,ht-p的计算公式如下:
由公式(1)可知,隐藏层1当前时刻矩阵的计算公式如下:
步骤六、采用CRBM对输入层偏置和隐藏层1偏置进行更新,隐藏层1提取输入层的数据特征;
输入层偏置和隐藏层1的偏置更新仍然采用条件玻尔兹曼机(CRBM)的计算方式,建立隐藏层1的当前时刻与影响因素之间的关系以及表征因素当前时刻与影响因素之间的关系,进而提取影响因素的数据特征,其中,输入层偏置公式如下:
at表示更新前输入层偏置;表示更新后输入层偏置,<·>0表示数据集的数学期望,<·>1表示经过一次对比散度算法后的重构值的数学期望。η表示输入层与隐藏层1之间的学习速率。/>表示输入层t-p时刻第j个影响因素的浓度矩阵。ΔAt-p表示输入层影响因素在t-p时刻与输入层藻密度在t时刻的连接产生的权重变化。其表达式如下:
j为影响因素的个数,总数为n个;p为时刻个数,总数为m个。
隐藏层1偏置更新公式如下:
其中,bt表示更新前隐藏层1偏置;b't表示更新后隐藏层1偏置,ΔBt-p表示输入层藻密度在t-p时刻与输入层藻密度在t时刻的连接产生的权重变化,其表达式如下:
步骤七、同时,建立隐藏层1与隐藏层2的参数关系;
隐藏层1与隐藏层2的参数关系是指:隐藏层2当前时刻与隐藏层1当前时刻的关系;隐藏层1负责提取输入层数据的特征,在提取表征因素数据特征时,为了让数据特征提取更加充分进而建立表征因素当前时刻与表征因素历史时刻之间的关系,因此需要对隐藏层1的数据特征进行再提取。由图1可知,随着表征因素历史时刻的增加,模型对表征因素提取数据特征的能力逐渐减弱,因此,为了进一步提取数据特征,对隐藏层1所有时刻的数据进行进一步的特征提取,最终的隐藏层1当前时刻的值仍然采用对比散度算法进行计算,具体公式如下:
Wt表示隐藏层1和隐藏层2之间的权重,表示由于增加隐藏层2而产生的隐藏层1的新偏置;h't表示隐藏层1的重构值矩阵;/>表示隐藏层2的偏置。/>表示隐藏层2的重构值矩阵;
步骤八、对隐藏层1新偏置和隐藏层2的偏置进行更新,隐藏层2对隐藏层1的特征进行进一步提取;
隐藏层1的新偏置的更新公式如下:
表示更新后的隐藏层1的新偏置,η1表示隐藏层1与隐藏层2之间的学习速率。
隐藏层2的偏置的更新公式如下:
表示更新后的隐藏层2的偏置,ΔCt-p表示隐藏层1的历史时刻与隐藏层2之间的连接产生的权重变化。ΔCt-p的表达式如下:
步骤九、隐藏层2在完成训练数据的特征提取后,对RCRBN的权重进行更新,以完成模型的预训练。
具体公式如下:
表示更新前的权重矩阵;/>表示更新后的权重矩阵,ΔW表示经过一次训练产生的权重变化,其表达式如下:
步骤十、采用BP神经网络反向微调模型参数,最终RTDBN模型完成训练,并通过测试数据对水质的蓝藻水华进行预测。
实例1:
以江苏省太湖流域藻密度、影响因素总氮,溶解氧和水温数据为例采用本发明所提方法进行蓝藻水华预测。以2009年6月至2010年11月太湖的观测数据为例,经数据筛选与归一化处理后,共选取了500天中的5016个藻密度数据样本和三个影响因素样本,其中每个影响因素由5014个样本组成,并将其分为两组。第一组样本数据由4008个藻密度样本和影响因素总氮,溶解氧和水温数据组成,其中每个影响因素数据均由4007个样本组成。第二组样本数据由1008个藻密度样本和影响因素总氮,溶解氧和水温数据组成,其中每个影响因素数据均由1007个样本组成,训练样本的藻密度变化曲线如图3所示,训练样本的影响因素总氮的变化曲线如图4所示,训练样本的影响因素溶解氧的变化曲线如图5所示,训练样本的影响因素水温的变化曲线如图6所示,将第一组数据作为训练样本,将第二组数据作为测试样本。
采用本发明所提方法进行蓝藻水华预测的具体步骤如下:
首先,建立递归时序深度置信网络(RTDBN)模型
选取藻密度作为表征水体中藻类现存量的指标,按照图1的结构建立表征因素和影响因素的RTDBN的蓝藻水华预测模型。将所选取的训练样本中的数据按时间序列组成顺次向前移动的窗口,将其分为33个窗口,每个窗口有4000个时序数据,其中,最后1个藻密度数据窗口作为训练样本的输出数据。其余32个窗口作为输入数据。同理,将测试样本中的数据也分成33个移动窗口,每个窗口1000个时序数据,进行测试验证。
然后,在RCRBM上学习隐藏层1当前时刻实值;
本实施例中,m=7,因此输入层与隐藏层1的参数关系公式(1)写成:
ht-p的计算公式(2)写成:
因此,通过公式(1)和公式(2),并通过递归的方式便可完成公式(3)的计算,即计算出表征因素当前时刻ht的矩阵。
进一步,学习RCRBM输入层偏置和隐藏层1偏置;
本实施例中,m=7,n=3,因此由公式(4)和公式(5)可知,输入层偏置的计算公式如下:
由公式(6)和公式(7)可知,隐藏层偏置的计算公式如下:
继续、建立隐藏层2并且对隐藏层1的特征进行进一步提取
根据公式(8)、公式(9)以及公式(10)完成隐藏层2的实值和重构值的计算以及隐藏层1的重构值计算,并根据公式(11)完成隐藏层1新偏置的计算。最后根据公式(12)完成隐藏层2偏置的计算,其表达式如下:
最后,对RCRBN的权重进行更新,以完成模型的预训练。
根据公式(14)和(15),完成最终的权重更新。
在完成上述步骤后,在训练阶段选择3层RCRBM与BP神经网络建立递归时序深度置信网络模型,输入层是由藻密度以及总氮、溶解氧和水温三个影响因素的当前时刻和历史时刻共32个时刻组成,输出层由藻密度的未来1个时刻组成,即对藻密度向前预测一步。在RCRBM中第一层选择60个神经元,第二层选择40个神经元,第三层选择20个神经元。输入层与隐藏层1之间的学习速率为0.001,隐藏层1与隐藏层2之间的学习速率为1。迭代次数均为1500。在BP神经网络中,学习速率为1,迭代次数为8000.训练结束后用测试集数据对模型进行测试验证。预测结果与实际结果的对比图如图7所示。由图7可知,预测结果与实际值的变化趋势基本相同。经计算,向前预测一步的均方根误差为1.87%,说明该预测方法精度较高,因此由本发明方法所建立的递归时序深度置信网络模型能有效地实现水华预测。

Claims (3)

1.基于递归时序深度置信网络的蓝藻水华预测方法,其特征在于,具体步骤如下:
步骤一、针对某水质,采集数据进行预处理并划分为训练数据和测试数据;
步骤二、构建标准多因素输入单因素输出的递归时序深度置信网络,及标准RTDBN模型;
所述的标准RTDBN模型由若干递归条件玻尔兹曼机RCRBM和BP神经网络组成,RCRBM负责完成标准RTDBN模型的预训练,BP神经网络负责反向微调标准RTDBN模型的参数,进而完成模型的整个训练;
步骤三、在标准RTDBN模型上建立隐藏层2,形成改进后的RTDBN模型,用于对所述训练数据进行再次特征提取;
改进后的RTDBN模型包括:输入层,隐藏层和输出层;隐藏层包括隐藏层1和隐藏层2;
输入层负责接收历史时刻和当前时刻的表征因素和影响因素的值,并建立多因素回归模型以及表征因素某时刻与其前一个时刻之间的递归关系;
隐藏层1负责提取输入层数据的特征;
隐藏层2负责对隐藏层1的数据进行特征再提取;
输出层则表示未来时刻的藻密度;
步骤四、将改进后的RTDBN模型初始化;
步骤五、针对所述训练数据,在改进后的RTDBN模型上建立输入层与隐藏层1的参数关系,得到隐藏层1当前时刻的矩阵实值;
输入层与隐藏层1的参数关系是指:隐藏层1的某时刻分别与输入层该时刻、输入层该时刻的前一个时刻以及隐藏层1的该时刻的前一时刻之间的关系;
具体关系式如下:
ht-p+1表示隐藏层1的t-p+1时刻的矩阵;表示Sigmoid函数,W1表示隐藏层1的t-p+1时刻与隐藏层1的t-p时刻连接产生的权重;r表示在添加伯努利随机项后保存连接的概率;W2表示隐藏层1的t-p+1时刻与输入层t-p时刻连接产生的权重;vt-p表示输入层t-p时刻表征因素的矩阵;W3表示隐藏层1的t-p+1时刻与输入层t-p+1时刻连接产生的权重;d表示通过高斯随机分布生成的偏置项;
其中,ht-p的计算公式如下:
隐藏层1当前时刻的矩阵实值ht为:
步骤六、采用条件玻尔兹曼机CRBM对输入层偏置和隐藏层1偏置进行更新,隐藏层1提取输入层的数据特征;
输入层偏置更新公式如下:
at表示更新前输入层偏置;表示更新后输入层偏置,<·>0表示数据集的数学期望,<·>1表示经过一次对比散度算法后的重构值的数学期望;η表示输入层与隐藏层1之间的学习速率;/>表示输入层t-p时刻第j个影响因素的浓度矩阵;ΔAt-p表示输入层影响因素在t-p时刻与输入层表征因素在t时刻的连接产生的权重变化;其表达式如下:
j为影响因素的个数,总数为n个;p为时刻个数,总数为m个;
隐藏层1偏置更新公式如下:
其中,bt表示更新前隐藏层1偏置;b't表示更新后隐藏层1偏置,ΔBt-p表示输入层表征因素在t-p时刻与输入层表征因素在t时刻的连接产生的权重变化,其表达式如下:
步骤七、同时,建立隐藏层1与隐藏层2的参数关系;
隐藏层1与隐藏层2的参数关系是指:隐藏层2当前时刻与隐藏层1当前时刻的关系;
对隐藏层1所有时刻的数据进行进一步的特征提取,最终的隐藏层1当前时刻的值仍然采用对比散度算法进行计算,具体公式如下:
表示隐藏层2的当前时刻真实值矩阵,Wt表示隐藏层1和隐藏层2之间的权重,/>表示由于增加隐藏层2而产生的隐藏层1的新偏置;h't表示隐藏层1的重构值矩阵;/>表示隐藏层2的偏置;/>表示隐藏层2的重构值矩阵;
步骤八、对隐藏层1新偏置和隐藏层2的偏置进行更新,隐藏层2对隐藏层1的特征进行进一步提取;
隐藏层1的新偏置的更新公式如下:
表示更新后的隐藏层1的新偏置,η1表示隐藏层1与隐藏层2之间的学习速率;
隐藏层2的偏置的更新公式如下:
表示更新后的隐藏层2的偏置,ΔCt-p表示隐藏层1的历史时刻与隐藏层2之间的连接产生的权重变化;ΔCt-p的表达式如下:
步骤九、隐藏层2在完成所述训练数据的特征提取后,对RCRBM的权重进行更新,以完成模型的预训练;
具体公式如下:
表示更新前的权重矩阵;/>表示更新后的权重矩阵,ΔW表示经过一次训练产生的权重变化,其表达式如下:
步骤十、采用BP神经网络反向微调模型参数,最终改进后的RTDBN模型完成训练,并通过所述测试数据对水质的蓝藻水华进行预测。
2.如权利要求1所述的基于递归时序深度置信网络的蓝藻水华预测方法,其特征在于,步骤一所述的预处理包括去除异常点和去噪。
3.如权利要求1所述的基于递归时序深度置信网络的蓝藻水华预测方法,其特征在于,步骤四中所述的初始化包括:设置RCRBM的隐藏层个数、隐藏层神经元数、隐藏层1和隐藏层2的学习速率、迭代次数、影响因素个数以及BP神经网络的学习速率和迭代次数,权重和偏置初始值。
CN201910062903.5A 2018-04-13 2019-01-23 基于递归时序深度置信网络的蓝藻水华预测方法 Active CN109858127B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810332564 2018-04-13
CN2018103325643 2018-04-13

Publications (2)

Publication Number Publication Date
CN109858127A CN109858127A (zh) 2019-06-07
CN109858127B true CN109858127B (zh) 2023-08-18

Family

ID=66895703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910062903.5A Active CN109858127B (zh) 2018-04-13 2019-01-23 基于递归时序深度置信网络的蓝藻水华预测方法

Country Status (1)

Country Link
CN (1) CN109858127B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626635A (zh) * 2022-04-02 2022-06-14 北京乐智科技有限公司 一种基于混合神经网络的钢铁物流成本预测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105510546B (zh) * 2015-12-27 2017-06-16 北京工业大学 一种基于自组织递归rbf神经网络的生化需氧量bod智能检测方法
CN107729988B (zh) * 2017-09-30 2020-07-17 北京工商大学 基于动态深度置信网络的蓝藻水华预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An approach of recursive timing deep belief network for algal bloom forecasting;Li Wang 等,;Neural Computing and Applications;第32卷(第10期);第163-170页 *

Also Published As

Publication number Publication date
CN109858127A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN110020682B (zh) 一种基于小样本学习的注意力机制关系对比网络模型方法
CN105488528B (zh) 基于改进自适应遗传算法的神经网络图像分类方法
CN111898689B (zh) 一种基于神经网络架构搜索的图像分类方法
CN108596327B (zh) 一种基于深度学习的地震速度谱人工智能拾取方法
CN109508655A (zh) 基于孪生网络的不完备训练集的sar目标识别方法
CN106022954B (zh) 基于灰色关联度的多重bp神经网络负荷预测方法
CN110276441B (zh) 一种基于深度学习的梯形重叠核脉冲估计方法
CN109308544B (zh) 基于对比散度-长短期记忆网络的蓝藻水华预测方法
CN108416460A (zh) 基于多因素时序—随机深度置信网络模型的蓝藻水华预测方法
Yun Prediction model of algal blooms using logistic regression and confusion matrix
CN110110434B (zh) 一种概率潮流深度神经网络计算的初始化方法
CN110119540B (zh) 一种用于生存风险分析的多输出梯度提升树建模方法
Ling et al. Large scale learning of agent rationality in two-player zero-sum games
CN114861533A (zh) 基于时间卷积网络的风功率超短期预测方法
CN114282646B (zh) 基于两阶段特征提取和改进BiLSTM的光功率预测方法及系统
CN114723095A (zh) 缺失测井曲线预测方法及装置
CN107729988B (zh) 基于动态深度置信网络的蓝藻水华预测方法
CN114548591A (zh) 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统
CN116401555A (zh) 双胞识别模型的构建方法、系统及存储介质
CN117520954A (zh) 一种基于孤立森林对抗网络的异常数据重构方法及系统
CN116720620A (zh) 一种基于IPSO算法优化CNN-BiGRU-Attention网络模型的储粮通风温度预测方法
CN114121163B (zh) 基于整合学习的培养基预测系统、训练及培养基预测方法
CN109858127B (zh) 基于递归时序深度置信网络的蓝藻水华预测方法
CN114792126A (zh) 一种基于遗传算法的卷积神经网络设计方法
CN109408896B (zh) 一种污水厌氧处理产气量多元智能实时监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Haiyan

Inventor after: Wang Li

Inventor after: Wang Xiaoyi

Inventor after: Zhang Tianrui

Inventor after: Xu Jiping

Inventor after: Zhang Huiyan

Inventor after: Yu Jiabin

Inventor after: Sun Qian

Inventor after: Zhao Zhiyao

Inventor before: Wang Li

Inventor before: Wang Xiaoyi

Inventor before: Zhang Tianrui

Inventor before: Xu Jiping

Inventor before: Zhang Huiyan

Inventor before: Yu Jiabin

Inventor before: Sun Qian

Inventor before: Zhao Zhiyao

GR01 Patent grant
GR01 Patent grant