CN114881303A - 一种基于双注意力机制的水质长期预测方法 - Google Patents

一种基于双注意力机制的水质长期预测方法 Download PDF

Info

Publication number
CN114881303A
CN114881303A CN202210427515.4A CN202210427515A CN114881303A CN 114881303 A CN114881303 A CN 114881303A CN 202210427515 A CN202210427515 A CN 202210427515A CN 114881303 A CN114881303 A CN 114881303A
Authority
CN
China
Prior art keywords
water quality
attention
prediction
sru
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210427515.4A
Other languages
English (en)
Inventor
胡祝华
陈梓杰
赵瑶池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202210427515.4A priority Critical patent/CN114881303A/zh
Publication of CN114881303A publication Critical patent/CN114881303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Abstract

本发明提供了一种基于双注意力机制的水质长期预测方法：步骤1、采集数据并对数据进行预处理；步骤2、将步骤1中处理的数据输入由特征注意力机制、Bi‑SRU(双向简单循环单元)网络和时间序列注意力机制组成的DA‑Bi‑SRU(基于双重注意力机制的双向简单循环单元)神经网络模型中；步骤3、得到模型输出的预测数据实现水质预测。本发明方法在水质变化趋势预测中相较于现有方法具有更高的预测精度，能准确给出关键水质异常变化警戒的参考信息，具有更准确和更稳定的关键水质预测效果。

Description

一种基于双注意力机制的水质长期预测方法
技术领域
本发明涉及深度学习和智慧养殖领域，具体说，涉及一种基于双注意力机制的水质长期预测方法。
背景技术
在海水养殖中，水质参数是养殖鱼类(cultured fishes)赖以生存的重要指标之一。在传统的海水养殖中，养殖户只能依靠人工养殖经验来判断水质的好坏，不仅时效性很差，而且一旦发现问题，为时已晚，容易造成损失。然而，这种损失往往都是巨大的。准确的水质预测能够帮助水产养殖户提前预知水质参数变化趋势，并及时提醒养殖户调节水质，以确保适宜的养殖环境。在很大程度，解决了水质恶化带来不良影响，提高产量的同时也能提高水产的质量。
针对水质预测问题，传统的非机理预测方法存在诸多问题，比如，专家评估方法存在主观性强、时效性差的缺陷；基于统计学的预测方法计算量大、采用相同的权重进行线性拟合、针对非线性多参数的水质预测效果不佳；水质模拟法在较多的随机变量参与运算时，复杂度较高，且预测结果非常不稳定；而传统的神经网络预测方法容易出现过拟合、陷于局部最优解的缺陷，不适合高维度、小样本预测。近年来，基于支持向量机(SVM)及其改进的最小二乘支持向量回归机(LSSVR)的预测模型被引入到水产养殖水质预测研究中。随后，研究者将群集智能优化算法与LSSVR结合进行组合预测，提出了ACO-LSSVR、IPSO-LSSVR和WA-CPSO-LSSVR的水产养殖溶解氧非线性预测方法，并取得了较好的应用效果。然而，这些方法中的核函数的选择和参数的优化组合主要依靠主观经验和不断的尝试，且没有考虑其他水质参数对预测时刻贡献强度的差异，因此严重制约了预测的精度和泛化性能，仍然需要继续深入研究。然而，近些年在人工神经网络的进展有效解决了以上问题。人工神经网络是模拟动物神经网络的复杂特征，从而进行信息处理的算法。这种网络是由大量的简单人工神经元连接组成，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有较强的自适应能力和学习能力，能够充分拟合复杂非线性关系的优点。
经分析，可知道目前主要方法的缺点如下：1.目前针对基于估算的感知数据恢复方法的研究都是基于单一属性特征，没有充分挖掘并利用多属性间的时空相关性。2.传统的非机理预测方法中的核函数的选择和参数的优化组合主要依靠主观经验和不断的尝试，且没有考虑其他水质参数对预测时刻贡献强度的差异。
发明内容
本发明的目的是基于双注意力机制的水质长期预测方法，本发明方法针对pH值、水温和溶解氧提出了一种新颖的水质预测模型Double-Attention-Based BidirectionalSimple Recurrent Unit model(DA-Bi-SRU)。在水质变化趋势预测中相较于现有方法具有更高的预测精度，能准确给出关键水质异常变化警戒的参考信息，具有更准确和更稳定的关键水质预测效果。
1、一种基于双注意力机制的水质长期预测方法，包括以下步骤：
步骤1、采集数据并对数据进行预处理；
步骤2、将步骤1中处理的数据输入由特征注意力机制、Bi-SRU(双向简单循环单元)网络和时间序列注意力机制组成的DA-Bi-SRU(基于双重注意力机制的双向简单循环单元)神经网络模型中；
步骤3、得到模型输出的预测数据实现水质预测；
进一步地，步骤2所述方法还包括：特征注意力机制上，以各相关特征的时间序列
Figure BDA0003608959450000021
作为特征注意力机制的输入，如式(1)所示进行当前时刻t各相关特征的注意力权重
Figure BDA0003608959450000022
计算，并用式(2)中softmax函数进行归一化，使所有特征权重和为1，得到t时刻各特征对预测水质的重要程度
Figure BDA0003608959450000023
式中：
Figure BDA0003608959450000024
We∈RT*T、be∈RT为计算注意力权重的多层感知机权重和偏置参数。
Figure BDA0003608959450000025
Figure BDA0003608959450000026
将得到的特征权值
Figure BDA0003608959450000027
和
Figure BDA0003608959450000028
相乘对第m种特征进行增强或削弱，如式(3)所示。
Figure BDA0003608959450000029
进一步地，步骤2所述方法还包括：时序注意力机制上，以不同时刻的时间序列
Figure BDA00036089594500000210
作为时序注意力机制的输入，单向SRU神经网络隐状态单元数为u，如式(9)所示进行BI-SRU迭代时刻t各相关时刻的注意力权重lt计算，并用式(10)中softmax函数进行归一化，使所有特征权重和为1，得到各时刻隐层状态St对时刻t预测值的重要程度βt∈R。式中：
Figure BDA0003608959450000031
为计算注意力权重的多层感知机权重。
Figure BDA0003608959450000032
Figure BDA0003608959450000033
将得到的特征权值βt和St加权求和，如式(11)所示
Figure BDA0003608959450000034
使用全连接层作为输出层，将Ct为输入，输出预测值
Figure BDA0003608959450000035
通过下面的公式(12)计算。其中Wy表示时序注意力层到全连接层长度为u的连接权重向量。
Figure BDA0003608959450000036
本发明的有益效果是：
(1)本发明基于现有的机器学习预测方法，考虑其他水质参数的新旧数据对预测时刻贡献强度的差异，利用特征和时序注意力机制来提取水质参数之间的关联关系和时序信息依赖关系来帮助预测，从而为智慧海水养殖中的关键水质参数长期预测提供技术支持。在水质变化趋势预测中，能准确给出关键水质异常变化警戒的参考信息，具有更准确和更稳定的关键水质预测效果。
附图说明
图1是本发明一种基于双注意力机制的水质长期预测方法的摘要附图；
图2是本发明实施例中基于双重注意力机制的双向简单循环单元的神经网络模型；
图3是本发明实施例中SRU隐藏层详细结构；
图4是本发明实施例中BI-SRU的整体结构；
图5是本发明实施例中不同预测模型中实际值与预测值的比较:(a)溶解氧(b)pH(c)水温；
图6是本发明实施例中不同模式下训练时间比较:(a)水温，(b)溶解氧，(c)pH。
具体实施方式
以下将结合实施例和图1-6对本发明的构思、具体步骤及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
该实施例中，采用的的实验环境如下：Intel(R)Core(TM)i7-7700HQ CPU@2.80GHz，16GB内存，NVIDIA GeForce GTX 1070，Windows 10操作系统，Anaconda3 IDE，神经网络模型的构建基于python 3.6和keras 2.0框架。
如图1所示，该实例提供的基于双注意力机制的水质长期预测方法，包括以下步骤：
步骤1、采集数据并对数据进行预处理。
海水养殖属于人工活动，数据生成时容易包含噪声成分。首先本文采用线性差值法和阈值处理对缺失进行填补，其次通过小波变换法滤除水质数据中存在的噪声干扰，从而对异常的水质数据进行纠错和校正(Liu J,Yu C,Hu Z,et al.Accurate PredictionScheme of Water Quality in Smart Mariculture With Deep Bi-S-SRU LearningNetwork[J].IEEE Access,2020,8:24784-24798.)。本文在对数据进行预处理的基础上，构建了水质预测模型所需的数据集。水质数据的采样间隔为五分钟一次，数据集共包含23000组按照时间顺序排列的水质参数数据，其中训练集包括20000组数据，测试集包含3000组数据。
步骤2、将步骤1中处理的数据输入由特征注意力机制、Bi-SRU(双向简单循环单元)网络和时间序列注意机制组成的DA-Bi-SRU(基于双重注意力机制的双向简单循环单元)神经网络模型中。
基本模型体系结构如图2所示，主要包括特征注意力机制、Bi-SRU(双向简单循环单元)网络和时间序列注意机制三部分。Bi-SRU网络可以捕获水质数据序列中的前向和后向时序依赖关系。注意算法可以提取水质之间的相关性和时间序列信息相关性，提高水质预测的准确性。
输入层的水质参数数学模型
记水质参数中任一参数的时间序列信号为X＝{x1,x2,…,xT},其中,xt∈RM,M为变量维数，可展开表达式为(1)。其中
Figure BDA0003608959450000041
为M个相关变量在时刻t的测量值集合,
Figure BDA0003608959450000051
为第m个相关变量在T个历史时刻的测量值序列。本发明的目标是以滚动预测的方式预测一系列未来信号。为了预测xT+h，需要提供{x1,x2,…,xT}的数据，其中h是长期预测的理想范围。
特征注意力机制
特征注意力机制在水质预测中通过计算注意力分布概率，生成含有注意力概率分布的特征编码，最终生成特征向量，突出输入数据中不同特征、不同时刻的影响程度。为了了解其他相关特征与待预测水质的相关程度，本文采用多层感知机对特征注意力权重进行量化。
以各相关特征的时间序列
Figure BDA0003608959450000052
作为特征注意力机制的输入，如式(1)所示进行当前时刻t各相关特征的注意力权重
Figure BDA0003608959450000053
计算，并用式(2)中softmax函数进行归一化，使所有特征权重和为1，得到t时刻各特征对预测水质的重要程度
Figure BDA0003608959450000054
式中：
Figure BDA0003608959450000055
We∈RT*T、be∈RT为计算注意力权重的多层感知机权重和偏置参数。
Figure BDA0003608959450000056
Figure BDA0003608959450000057
将得到的特征权值
Figure BDA0003608959450000058
和
Figure BDA0003608959450000059
相乘对第m种特征进行增强或削弱，如式(3)所示。
Figure BDA00036089594500000510
The BI-SRU model(双向堆叠简单循环单元神经网络)
SRU模型是LSTM模型的简化版本，与其他基于RNN改进的神经网络(LSTM、GRU)一样，SRU(Simple Recurrent Unit，简单循环单元)也通过对门结构的调控来决定cellstate在不同时刻的传递量。不同的是，SRU在设计时避免了当前时间步中门计算会依赖之前时间步输出的情况，从而实现了在保证对信息可控的情况下进行并行计算，提高整体速度且几乎不损失准确度。另外通过对门的设计，可以极大程度缓解RNN中更新梯度消失与梯度爆炸问题，使训练过程中预测值与真实值之间的误差单调减少。在整体结构上，SRU与LSTM有一定相似性，隐藏层也是由单元状态(cell state)来构成，但是由于不涉及LSTM中的隐藏层输出状态变量，在模型运行上可以实现并行的效果，因而在训练时可以比其他时序神经网络速度快上数倍，在自然语言处理领域已经得到了充分的应用。SRU的整体结构示意图如图4所示。
此外，在当前时间步长，内存Ct和隐藏状态ht可以通过(4)-(8)得到:
Figure BDA0003608959450000061
ft＝σ(Wfxt+bf) (5)
rt＝σ(Wrxt+br), (6)
Figure BDA0003608959450000064
ht＝rt⊙g(Ct)+(1-rt)⊙xt, (8)
其中ft和rt分别表示时刻的遗忘门和复位门。
传统的RNN及其衍生网络，如LSTM和GRU，在处理时序时往往会忽略未来的信息。BI-SRU的基本思想是在每个训练序列中叠加一个前向和一个后向SRU，两个SRU连接到一个output layer。这个结构为输出层的输入序列中的每个点提供完整的过去和将来的上下文信息。其他类型的双向叠加神经网络的应用得到了良好的实验结果。BI-SRU的基本思想是在每个训练序列中叠加一个前向和一个后向SRU，两个SRU连接到一个output layer。这个结构为输出层的输入序列中的每个点提供完整的过去和将来的上下文信息。图3显示了一个双向SRU网络随时间展开。图中的六个权重集分别表示：输入层到前、后hidden layer(w1、w3)的权重，hidden layer(w2、w5)之间传递的权重，以及前、后hidden layer到outputlayer(w4、w6)的权重。另外，前向和后向hidden layer之间没有信息流，保证了展开图是非循环的。
BI-SRU的整个计算过程分为前向推算(Forward pass)和后向推算(Backwardpass)。在Forward pass过程中，BI-SRU的hidden layer正向计算过程与单SRU的正向计算过程相同，只是两个hidden layer输入顺序相反。在两个hidden layer处理完所有输入序列之前，output layer不会更新。
时序注意力机制
为了寻找相关特征时间序列在不同时刻的信息
Figure BDA0003608959450000062
对当前时刻预测状态量yt的影响程度，本文引入时序注意力机制提取不同时间点的重要程度。为了了解不同时间点对待预测时间点的依赖程度，本文使用双层感知机对特征注意力权重进行量化，设置两层感知机第一层单元数为da，第二层的单元数为1。
以不同时刻的时间序列
Figure BDA0003608959450000063
作为时序注意力机制的输入，单向SRU神经网络隐状态单元数为u，如式(9)所示进行BI-SRU迭代时刻t各相关时刻的注意力权重lt计算，并用式(10)中softmax函数进行归一化，使所有特征权重和为1，得到各时刻隐层状态St对时刻t预测值的重要程度βt∈R。式中：
Figure BDA0003608959450000071
Figure BDA0003608959450000072
为计算注意力权重的多层感知机权重。
Figure BDA0003608959450000073
Figure BDA0003608959450000074
将得到的特征权值βt和St加权求和，如式(11)所示
Figure BDA0003608959450000075
使用全连接层作为输出层，将Ct为输入，输出预测值
Figure BDA0003608959450000076
通过下面的公式(12)计算。其中Wy表示时序注意力层到全连接层长度为u的连接权重向量。
Figure BDA0003608959450000077
步骤3、得到模型输出的预测数据实现水质预测。
本实施例传感器的精度和测量范围见表1。FS是“Fulle Scale”的缩写，NTU是“Nephelometric Turbidity Unit”的缩写，PSU是“Practical Salinity Unit”的缩写。
表1.传感器的精度和测量范围
Figure BDA0003608959450000078
为了能对海水养殖水体参数预测模型的实际性能进行初步量化，现引入三个评估指标(Faruk D O.A hybrid neural network and ARIMA model for water quality timeseries prediction[J].Engineering Applications of Artificial Intelligence,2010,23(4):586-594.)其中包括(MAE:平均绝对误差Mean Absolute Error，RMSE:均方根误差Root Mean Squared Error，MAPE:平均绝对百分比误差Mean Absolute PercentError)来对训练过程和预测过程做出评估，三个评估标准定义如下。
MAE是最基本的评价指标，通过直接的误差对比来判断效果优劣。
Figure BDA0003608959450000079
RMSE表示均方根误差，比其他评估标准更容易受极值的影响。如果在某个时间点训练过程中存在一个极值，那么误差的增加将对RMSE产生很大的影响。
该标准的变化可以作为模型鲁棒性检验的基准。
Figure BDA0003608959450000081
MAPE不仅考虑了预测数据与实际数据之间的偏差，而且还考虑了偏差与实际数据之间的比率。
Figure BDA0003608959450000082
在上式(13)、(14)、(15)中，yi代表实际数据，
Figure BDA0003608959450000083
对应地代表模型预测输出的同一时刻数据，N是数据在样本集中的标号。总体来说，以上几个指标只要越接近于数值0，那么表示预测与实际值拟合程度越好，说明效果越好。
将20000组经过预处理的数据导入在水温、pH和溶解氧模型，每个模型中的数据分别由RNN、LSTM、BI-SRU和DA-BI-SRU进行训练，四个模型均迭代训练50次，分别预测了pH、水温、溶解氧三个水质参数未来3000个数值。最后的预测效果如图5所示，从图5可以看出，各个模型的预测数据均接近真实值，但是DA-Bi-SRU模型在预测峰值时能更好的拟合真实数据的变化趋势，同时可从表2可以看出。DA-Bi-SRU模型的MAE、RMSE和MAPE的值在测试数据集中要小得多，因此，DA-Bi-SRU模型在水质预测方面有着更好的预测性能。
表2.长期预测中MAE,RMSE和MAPE的记录
Figure BDA0003608959450000084
作为对RNN的改良结构，LSTM和SRU在预测准确度上能有明显提高，但是由于在结构上新增加了单元状态流程，因此在训练过程中会增加时间复杂度。如图6为四个模型分别在水温、pH和溶氧量模型训练时的耗时对比。
在pH预测模型中，RNN训练50次，持续时间192.65s；BI-SRU训练50次，耗时240.91s；LSTM训练50次，耗时369.12s；DA-BI-SRU训练50次，耗时283.32s，比RNN多32.0％，比BI-SRU多14.96％。在水温预测模型中，RNN的训练耗时为194.45s，LSTM的训练耗时为368.24s，BI-SRU的训练耗时为254.44s，DA-BI-SRU的训练耗时为271.98s，比RNN多28.5％，比BI-SRU多9.75％。在溶解氧预测模型中，RNN的训练时间为191.297s，LSTM的训练时间为361.672s，BI-SRU的训练时间为241.54s，DA-BI-SRU的训练时间为282.4s，DA-BI-SRU的训练时间比RNN多32.26％，比SRU多14.47％。
综上所述，当被测参数的相关参数较多时，上述所有模型都需要更多的时间来训练。同等条件下，BI-SRU、LSTM和DA-BI-SRU训练比RNN更耗时。RNN和BI-SRU的预测性能如图4所示。DA-BI-SRU的预测准确率可高达93.06％，而RNN最高只有75.4％。与其他三种方法相比，基于DA-BI-SRU的方法在水质突变时也表现出更好的预测效果。虽然，BI-SRU的训练时间平均比RNN多出30.92％。但是，总的来说，DA-BI-SRU在构建海水养殖关键水质预测模型时更具有现实意义。
DA-BI-SRU作为对RNN的改良结构，由于新增加了单元状态流程，所以在训练过程中会增加时间复杂度，训练时间稍微变长。但是，DA-BI-SRU模型以BI-SRU(双向堆叠简单循环单元网络模型)为基础，通过引入特征和时序双重注意力机制，利用水质各参数之间的关联关系和时序信息依赖关系，预测准确率可高达93.06％，相比于RNN的75.4％，提升了24.01％。并且，基于DA-BI-SRU的方法在水质突变时也表现出了更好的预测效果。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案的等效变换、简单替换等显而易见的改变，均落在本发明保护范围之内。

Claims (3)

1.一种基于双注意力机制的水质长期预测方法，其特征在于，其特征在于：包括以下步骤：
步骤1、采集数据并对数据进行预处理；
步骤2、将步骤1中处理的数据输入由特征注意力机制、Bi-SRU(双向简单循环单元)网络和时间序列注意力机制组成的DA-Bi-SRU(基于双重注意力机制的双向简单循环单元)神经网络模型中；
步骤3、得到模型输出的预测数据实现水质预测。
2.根据权利要求1所述的方法，其特征在于，步骤2所述方法还包括：特征注意力机制上，以各相关特征的时间序列
Figure FDA0003608959440000011
作为特征注意力机制的输入，如式(1)所示进行当前时刻t各相关特征的注意力权重
Figure FDA0003608959440000012
计算，并用式(2)中softmax函数进行归一化，使所有特征权重和为1，得到t时刻各特征对预测水质的重要程度
Figure FDA0003608959440000013
式中：
Figure FDA0003608959440000014
We∈RT*T、be∈RT为计算注意力权重的多层感知机权重和偏置参数。
Figure FDA0003608959440000015
Figure FDA0003608959440000016
将得到的特征权值
Figure FDA0003608959440000017
和
Figure FDA0003608959440000018
相乘对第m种特征进行增强或削弱，如式(3)所示。
Figure FDA0003608959440000019
3.根据权利要求1所述的方法，其特征在于，步骤2所述方法还包括：时序注意力机制上，以不同时刻的时间序列
Figure FDA00036089594400000110
作为时序注意力机制的输入，单向SRU神经网络隐状态单元数为u，如式(9)所示进行BI-SRU迭代时刻t各相关时刻的注意力权重lt计算，并用式(10)中softmax函数进行归一化，使所有特征权重和为1，得到各时刻隐层状态St对时刻t预测值的重要程度βt∈R。式中：
Figure FDA00036089594400000111
为计算注意力权重的多层感知机权重。
Figure FDA00036089594400000112
Figure FDA00036089594400000113
将得到的特征权值βt和St加权求和，如式(11)所示
Figure FDA0003608959440000021
使用全连接层作为输出层，将Ct为输入，输出预测值
Figure FDA0003608959440000022
通过下面的公式(12)计算。其中Wy表示时序注意力层到全连接层长度为u的连接权重向量。
Figure FDA0003608959440000023
CN202210427515.4A 2022-04-21 2022-04-21 一种基于双注意力机制的水质长期预测方法 Pending CN114881303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210427515.4A CN114881303A (zh) 2022-04-21 2022-04-21 一种基于双注意力机制的水质长期预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210427515.4A CN114881303A (zh) 2022-04-21 2022-04-21 一种基于双注意力机制的水质长期预测方法

Publications (1)

Publication Number Publication Date
CN114881303A true CN114881303A (zh) 2022-08-09

Family

ID=82671337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210427515.4A Pending CN114881303A (zh) 2022-04-21 2022-04-21 一种基于双注意力机制的水质长期预测方法

Country Status (1)

Country Link
CN (1) CN114881303A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428082A (zh) * 2019-05-31 2019-11-08 南京邮电大学 基于注意力神经网络的水质预测方法
CN113902202A (zh) * 2021-10-15 2022-01-07 南京工程学院 基于双重注意力机制和lstm的短期负荷预测模型和方法
CN114154820A (zh) * 2021-11-22 2022-03-08 南京航空航天大学 基于增量简单循环单元和双重注意力的生产瓶颈预测方法
CN114169638A (zh) * 2021-12-23 2022-03-11 中国农业大学 一种水质预测方法及装置
CN114266278A (zh) * 2021-12-29 2022-04-01 合肥工业大学 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN114328675A (zh) * 2022-01-06 2022-04-12 福州大学 基于双注意力机制和双向双层lstm的公交行程时间预测方法
CN114358435A (zh) * 2022-01-11 2022-04-15 北京工业大学 双阶段时空注意力机制的污染源-水质预测模型权重影响计算方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428082A (zh) * 2019-05-31 2019-11-08 南京邮电大学 基于注意力神经网络的水质预测方法
CN113902202A (zh) * 2021-10-15 2022-01-07 南京工程学院 基于双重注意力机制和lstm的短期负荷预测模型和方法
CN114154820A (zh) * 2021-11-22 2022-03-08 南京航空航天大学 基于增量简单循环单元和双重注意力的生产瓶颈预测方法
CN114169638A (zh) * 2021-12-23 2022-03-11 中国农业大学 一种水质预测方法及装置
CN114266278A (zh) * 2021-12-29 2022-04-01 合肥工业大学 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN114328675A (zh) * 2022-01-06 2022-04-12 福州大学 基于双注意力机制和双向双层lstm的公交行程时间预测方法
CN114358435A (zh) * 2022-01-11 2022-04-15 北京工业大学 双阶段时空注意力机制的污染源-水质预测模型权重影响计算方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN ZIJIE等: "DA-Bi-SRU for water quality prediction in smart mariculture", COMPUTERS AND ELECTRONICS IN AGRICULTURE, vol. 200, 31 July 2022 (2022-07-31), pages 107219, XP087157884, DOI: 10.1016/j.compag.2022.107219 *
YAN JIANG等: "Application of DA-Bi-SRU and Improved RoBERTa Model in Entity Relationship Extraction for High-Speed Train Bogie", 2023 6TH INTERNATIONAL CONFERENCE ON DATA SCIENCE AND INFORMATION TECHNOLOGY, 13 February 2024 (2024-02-13), pages 89 - 96 *
ZENRRAN: "神经网络SRU", pages 1 - 7, Retrieved from the Internet <URL:https://blog.csdn.net/qq_27590277/article/details/106262931> *
崔宇等: "基于双重注意力机制的变压器油中溶解气体预测模型", 中国电机工程学报, no. 01, 5 January 2020 (2020-01-05), pages 338 - 347 *

Similar Documents

Publication Publication Date Title
Zhang et al. Wind speed forecasting based on quantile regression minimal gated memory network and kernel density estimation
Wei et al. Wind speed forecasting system based on gated recurrent units and convolutional spiking neural networks
Huan et al. Prediction of dissolved oxygen in aquaculture based on gradient boosting decision tree and long short-term memory network: A study of Chang Zhou fishery demonstration base, China
Ren et al. Research of dissolved oxygen prediction in recirculating aquaculture systems based on deep belief network
Chen et al. Feed intake prediction model for group fish using the MEA-BP neural network in intensive aquaculture
CN107622329A (zh) 基于多时间尺度长短时记忆神经网络的电力负荷预测方法
CN106022954B (zh) 基于灰色关联度的多重bp神经网络负荷预测方法
CN110689179A (zh) 基于时空序列混合模型的水华预测方法
Guo et al. A multivariable hybrid prediction system of wind power based on outlier test and innovative multi-objective optimization
Zhu et al. Coke price prediction approach based on dense GRU and opposition-based learning salp swarm algorithm
Czerwinski et al. Short-term forecasting of halibut CPUE: Linear and non-linear univariate approaches
CN113537469B (zh) 一种基于LSTM网络和Attention机制的城市需水预测方法
Li et al. Self-paced ARIMA for robust time series prediction
Ehsan et al. Wind speed prediction and visualization using long short-term memory networks (LSTM)
CN112881601A (zh) 一种基于云平台的水分检测系统
Wang et al. Multi-step-ahead time series prediction method with stacking LSTM neural network
CN113591368A (zh) 一种综合能源系统多能负荷预测方法及系统
Liu et al. Research on wind speed prediction of wind power system based on GRU deep learning
Yang et al. A prediction model of aquaculture water quality based on multiscale decomposition
CN113742178A (zh) 一种基于lstm的网络节点健康状态监测方法
CN114881303A (zh) 一种基于双注意力机制的水质长期预测方法
Wang Data preprocessing for soft sensor using generative adversarial networks
Miao et al. A hybrid neural network and genetic algorithm model for predicting dissolved oxygen in an aquaculture pond
Xia et al. Environmental factor assisted chlorophyll-a prediction and water quality eutrophication grade classification: A comparative analysis of multiple hybrid models based on a SVM
Sugiyarto et al. Optimization of genetic algorithms on backpropagation neural network to predict national rice production levels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination