CN115983493A - 一种基于多任务学习及深度学习模型的水质预测方法 - Google Patents
一种基于多任务学习及深度学习模型的水质预测方法 Download PDFInfo
- Publication number
- CN115983493A CN115983493A CN202310104266.XA CN202310104266A CN115983493A CN 115983493 A CN115983493 A CN 115983493A CN 202310104266 A CN202310104266 A CN 202310104266A CN 115983493 A CN115983493 A CN 115983493A
- Authority
- CN
- China
- Prior art keywords
- time
- data
- representing
- task
- water quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013136 deep learning model Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000010187 selection method Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000001301 oxygen Substances 0.000 description 4
- 229910052760 oxygen Inorganic materials 0.000 description 4
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 3
- GPRLSGONYQIRFK-UHFFFAOYSA-N hydron Chemical compound [H+] GPRLSGONYQIRFK-UHFFFAOYSA-N 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 229910052731 fluorine Inorganic materials 0.000 description 2
- 125000001153 fluoro group Chemical group F* 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 2
- 229910052757 nitrogen Inorganic materials 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于多任务学习及深度学习模型的水质预测方法，包括以下步骤：获取输入数据，输入数据包括水质数据和气象数据；将输入数据输入至预测模型中；获取输入数据的时间序列；根据时间序列和输入数据获取局部依赖特征和长时间依赖特征；根据局部依赖特征和长时间依赖特征获得水质指标预测结果。本发明所述的一种基于多任务学习及深度学习模型的水质预测方法能够适用于分析预测非线性的、复杂的水质数据，提高水质预测精度。
Description
技术领域
本发明属于环境质量预测技术领域，具体涉及一种基于多任务学习及深度学习模型的水质预测方法。
背景技术
水是我们日常生活中不可或缺的资源，也是生态系统中赖以生存的物质。随着工业、经济的发展，水体污染愈发严重，水资源愈加短缺，因此保护水资源迫在眉睫。在水资源的保护过程中，需要使用水质预测方法预测水资源的健康情况，便于工作人员及时采取预防污染措施，避免水资源大面积污染。
目前水质预测方法大致分为两类。第一类是传统的统计学习方法，常用的是差分整合移动平均自回归模型(ARIMA)。ARIMA可以有效捕捉特征间的线性关系，但只能适用于平稳序列的预测，无法适用于当下复杂的非线性水质数据。第二类常用的水质预测方法是使用BP神经网络模型对水质进行预测。BP神经网络由于其能拟合任意连续函数及具有较强非线性映射能力的特性被成功用于水质预测领域。然而，评价水质健康的数据较多且复杂，BP神经网络较“浅”，无法适用于高度复杂的数据集。
基于上述水质预测存在的问题，亟需一种基于多任务学习的水质预测方法，能够解决现有的水质预测方法不能适用于当下非线性的、复杂的水质数据，导致水质预测结果不精确的问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，提供一种基于多任务学习及深度学习模型的水质预测方法，适用于分析预测非线性的、复杂的水质数据，提高水质预测精度。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于多任务学习及深度学习模型的水质预测方法，包括以下步骤：获取输入数据，输入数据包括水质数据和气象数据；将输入数据输入至预测模型中；获取输入数据的时间序列；根据时间序列和输入数据获取局部依赖特征和长时间依赖特征；根据局部依赖特征和长时间依赖特征获得水质指标预测结果。
进一步地，预测模型的训练过程如下：创建初始模型；获取训练数据放入初始模型中，训练数据包括水质数据和气象数据，根据训练数据建立目标序列和时间序列，对训练数据进行预处理，通过滑动窗口将时间序列和目标序列作为初始模型的输入；初始模型提取时间序列和目标序列中的特征数据，对特征数据进行学习，获得特征数据之间的局部依赖特征和长时间依赖特征，向局部依赖特征和长时间依赖特征赋予动态权重获得初始模型的输出结果；基于多任务学习模型获取时间序列和目标序列中的特征数据的相关性，根据提取到的特征数据和多个任务间的相关性对初始模型的损失函数进行更新，直至初始模型的损失函数最小化，初始模型结束训练生成预测模型。
进一步地，向局部依赖特征和长时间依赖特征赋予动态权重的步骤中还包括加权求和步骤；加权求和步骤具体为：使用softmax函数确保动态权重的和为1。
进一步地，初始模型的损失函数如下：
其中，L(W,σ1,σ2)表示初始模型的损失函数，L1、L2、L3分别表示任务1的损失函数、任务2的损失函数、任务3的损失函数；W表示初始模型的模型参数；σ1、σ2、σ3分别表示任务1的损失权重、任务2的损失权重、任务3的损失权重；L1(W)、L2(W)、L3(W)分别表示任务1的损失值、任务2的损失值、任务3的损失值。
进一步地，初始模型包括卷积神经网络层、长短期记忆网络层、注意力机制层和多任务学习模型。
进一步地，卷积神经网络层包括一维卷积层；一维卷积层的卷积核只能在时间序列的时间步方向上移动；一维卷积层通过卷积操作提取特征数据的局部特征，一维卷积层的提取公式具体如下：hl＝ELU(Wl⊙X+bl)；其中，hl表示滤波器l的输出；Wl表示滤波器l的权重矩阵；⊙表示一维卷积操作，X表示一维卷积层的输入；bl表示滤波器l的偏置向量；ELU()表示激活函数。
进一步地，长短期记忆网络层依次包括遗忘门、输入门、输出门和细胞状态；遗忘门、输入门、输出门和细胞状态的计算公式具体如下：
ht＝ot*tanh(Ct)；其中，t表示t时刻；ft表示t时刻遗忘门的输出；it表示t时刻输入门的输出；ot表示t时刻输出门的输出。Wf、Wi、Wo、WC分别表示遗忘门的权重矩阵、输入门的权重矩阵、输出门的权重矩阵、细胞状态的权重矩阵；Ct表示t时刻细胞状态的输出；Ct-1表示时刻t-1细胞状态的输出；
表示时刻t细胞状态更新值；ht表示t时刻的隐藏状态；ht-1表示t-1时刻的隐藏状态；
表示当前时刻t的输入；bf、bi、bo、bC分别表示遗忘门的偏置向量、输入门的偏置向量、输出门的偏置向量、细胞状态偏置向量；tanh()表示激活函数；σ()表示sigmoid函数。
进一步地，注意力机制层的计算公式具体如下：
其中，t表示t时刻，
表示第*个隐藏状态的重要性；ve、be表示需要学习的T维向量；We表示m×T维的矩阵，Ue表示m×m维的矩阵，m表示隐藏状态的数量；σt()表示变化函数；ht-1表示上一个时刻的隐藏状态；ct-1表示t-1时刻的细胞状态；ht表示时刻t的隐藏状态；
表示时刻t第*个隐藏状态的注意力权重；
表示注意力机制层加权求和后的输出；T表示时间窗口的大小。
进一步地，多任务学习模型的损失函数如下：
其中，L(θ表示单个任务的损失函数；θ表示单个任务的待学习参数；σ表示任务权重；N表示任务数量，i∈N；yi表示第i个任务真实值；xi表示第i个任务的输入值，f(xi)表示第i个任务的预测值。
进一步地，预处理的步骤依次包括填补缺失数据、数据同步处理、特征选择、去噪处理和归一化处理；填补缺失数据的步骤具体为：使用K-近邻插值算法对训练数据或预测数据中缺失的数据进行填补；特征选择的步骤具体为：基于皮尔逊相关系数计算训练数据中每个数据特征分别与时间序列、目标序列的相关性；根据相关性数值从大到小筛选出前K个数据，K为正整数；去噪处理的步骤具体为：利用小波变化对训练数据进行分解，分解层数通过分解公式计算获得，将分解层数的高频系数设为0；分解公式如下：
其中，lmax表示分解层数，Ns表示时间序列长度，Nw表示分解滤波器的长度；归一化处理的步骤具体为：使用最大最小值归一化公式将训练数据映射到0～1的范围内；最大最小值归一化公式具体如下：
其中，x表示归一化处理前的训练数据，x'表示归一化处理后的训练数据；xmin和xmax分别表示训练数据的最小值和最大值。
本发明的技术原理及有益效果：本发明提出一种基于多任务学习及深度学习模型的水质预测方法，通过获取输入数据的时间序列，学习水质数据和气象数据的局部依赖特征和长时间依赖特征，并且通过对局部依赖特征和长时间依赖特征赋予动态权重，获得水质指标预测结果，与现有技术相比，本发明能够处理非线性的、复杂的水质数据；并且在预测模型的训练过程中，通过计算多个任务间的相关性，优化预测模型的损失函数，避免预测模型在训练过程中出现过拟合现象，减少预测模型的训练时间和资源损耗，并且进一步强化了预测模型的泛化能力，提高预测模型的预测精度。
附图说明
图1是本发明一种基于多任务学习及深度学习模型的水质预测方法的流程示意图；
图2是本发明初始模型的结构示意图；
图3是本发明卷积神经网络层、长短期记忆网络层和注意力机制层的结构示意图；
图4是各数据特征与时间序列、目标序列的相关性示意图；
图5是氢离子浓度指数(pH)值去噪前和去噪后的对比示意图；
图6是本发明的预测模型在训练过程中的损失曲线；
图7是pH预测值和真实值对比图；
图8是DO预测值和真实值对比图；
图9是NH3-N预测值和真实值对比图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
如附图1所示，本发明提供了一种基于多任务学习及深度学习模型的水质预测方法，包括以下步骤：
获取输入数据，输入数据包括水质数据和气象数据；将输入数据输入至预测模型中；
获取输入数据的时间序列；根据时间序列和输入数据获取局部依赖特征和长时间依赖特征；根据局部依赖特征和长时间依赖特征获得水质指标预测结果。
具体地，水质数据包括氢离子浓度指数(pH)、溶解氧(DO)、化学需氧量(COD)、氨氮含量(NH3-N)、水温(WT)、电导率(Cond)、浊度(TUR)、总磷(P)、总氮(N)九个指标，各个水质指标根据对应的传感器获取。本方案中，考虑到气象会对水质产生影响，如下雨或下雪天；因此将水质数据作为主要输入，气象数据作为辅助输入；本实施例中，气象数据为水质数据采集站点的气象指标，包括气温(T)、站点气压(Po)、海平面大气压(P)、气压趋势(Pa)、湿度(U)、风向(DD)、风速(FF)、能见度(VV)、露点温度(Td)以及降雨量(RRR)、总云量(Nc)、天气情况(WW)、历史天气情况1(W1)、历史天气情况2(W2)、12小时内最低温度(Tn)、12小时内最高温度(Tx)、积雨云和层积云(Cl)、高积云和高层云(Cm)、卷云和卷积云(Ch)、云层数量(Nh)、云层最低高度(H)、土壤表面状况(E)、夜间土壤最低温度(Tg)23个气象指标。
预测模型的训练过程如下：
创建初始模型；获取训练数据放入初始模型中，训练数据包括水质数据和气象数据，对训练数据进行预处理，本实施例中，预处理的步骤依次包括填补缺失数据、数据同步处理、特征选择、去噪处理和归一化处理；
具体地，传感器长期使用存在腐蚀损坏的风险，可能会造成数据丢失，因此在使用采集的水质数据之前，需要对水质数据中的缺失值进行填补；由于水质数据为非线性数据，传统的线性差值算法填补不适用，因此本实施例中，填补缺失数据的步骤具体为：使用K-近邻插值算法对训练数据或预测数据中缺失的数据进行填补。
具体地，本实施例中，由于气象数据的采集周期与水质数据的采集周期可能不同，因此在使用前需要将气象数据和水质数据进行同步，保证气象数据和水质数据之间相互对应和匹配，避免数据不匹配导致的预测结果精确性低的问题。
具体地，由于特征过多可能对降低预测模型的预测性能，因此需要对输入的水质数据和气象数据中的特征进行筛选，选择与预测目标相关性更高的特征。本实施例中特征选择的步骤具体为：基于皮尔逊相关系数计算训练数据中每个数据特征分别与时间序列、目标序列的相关性；根据相关性数值从大到小筛选出前K个数据，K为正整数；本实施例中，各数据特征与时间序列、目标序列的相关性如附图4所示。
具体地，由于水质数据具有季节性、趋势性、易变性等特点，一些突变的数据可能会影响水质预测结果，因此需要对水质数据进行去噪处理，使水质数据更加平滑稳定。去噪处理的步骤具体为：利用小波变化对训练数据进行分解，分解层数通过分解公式计算获得，将分解层数的高频系数设为0；分解公式如下：
其中，lmax表示分解层数，Ns表示时间序列长度，Nw表示分解滤波器的长度。
如附图5所示为本实施例中氢离子浓度指数(pH)值去噪前和去噪后的对比。
具体地，由于不同的数据特征具有不同的量纲，若不对数据量纲进行统一，可能会与影响预测模型的预测效果，因此本实施例中，对水质数据和气象数据进行归一化处理，使这些数据特征具有一致性。特征归一化处理的步骤具体为：使用最大最小值归一化公式将训练数据映射到0～1的范围内；最大最小值归一化公式具体如下：
其中，x表示归一化处理前的训练数据，x'表示归一化处理后的训练数据；xmin和xmax分别表示训练数据的最小值和最大值。
经过上述预处理后，提取处理后的训练数据的时间特征，根据时间特征和训练数据建立时间序列和目标序列；通过滑动窗口将时间序列和目标序列作为初始模型的输入；现有技术中，大部分的研究不讲时间戳输入至模型中，导致模型训练过程中会丢失时间中的周期特征，因此本实施例中对训练数据提取时间特征作为模型输入，提高预测模型的预测精度；具体地，为了获取训练数据的周期信息，时间特征分为4个，包括小时、日、星期和月。
本实施例中，构建的时间序列X：X＝{x1,x2,…,xT}，其中，T表示时间窗口的长度，t∈T，xt∈Rn；Rn表示n维度向量空间。构建的目标序列为三组，具体为第一目标序列
第二目标序列
第三目标序列
预测模型的输出为第T步对应的
的值。
初始模型提取时间序列和目标序列中的特征数据，对特征数据进行学习，获得特征数据之间的局部依赖特征和长时间依赖特征，向局部依赖特征和长时间依赖特征赋予动态权重获得初始模型的输出结果；
如附图2所示，初始模型包括卷积神经网络层、长短期记忆网络层、注意力机制层和多任务学习模型。具体地，通过卷积神经网络层捕捉目标序列和时间序列中特征间的局部依赖特征；通过长短期记忆网络层捕捉目标序列和时间序列中特征间的长时间依赖特征；通过注意力机制为时间序列和目标序列中不同的时间步赋予不同的权重，以此提升预测模型的预测精度。
现有技术中的水质预测没有考虑不同水质指标任务间的关系，无法捕捉水质数据中较长的时间依赖特征，并且随着时间窗口长度的增加，现有技术模型的表现力会急剧下降。考虑到水质指标较多，常规方法通常为单任务预测，预测多个指标将增加空间、时间的花销。因此本发明将多任务学习与深度学习结合在一起，多任务负责学习不同任务间的关系，深度学习通过结合卷积神经网络层和长短期记忆网络层的优势捕捉特征间的的非线性关系，最后通过注意力机制捕捉较长的时间依赖，得出多个水质指标预测结果。
卷积神经网络层包括一维卷积层；一维卷积层的卷积核只能在时间序列的时间步方向上移动；如附图3所示，本实施例中卷积神经网络层包括两个一维卷积层，第一个一维卷积层的输出为第二个一维卷积层的输入。一维卷积层包括多个滤波器，时间序列X＝{x1,x2,…,xT}经过两个一维卷积层，一维卷积层通过卷积操作提取特征数据的局部特征，一维卷积层的提取公式具体如下：
hl＝ELU(Wl⊙X+bl)
其中，hl表示滤波器l的输出；Wl表示滤波器l权重矩阵；⊙表示一维卷积操作，X表示一维卷积层的输入；bl表示滤波器l偏置向量；ELU()表示激活函数。
时间序列和目标序列在经过卷积神经网络层后到达长短期记忆网络层，长短期记忆网络层依次包括遗忘门、输入门、输出门、第二隐藏状态和细胞状态；其中遗忘门决定忘记时间序列和目标序列中的某些特征信息，输入门决定在细胞状态中存储某些特征信息；
遗忘门、输入门、输出门和细胞状态的公式具体如下：
ht＝ot*tanh(Ct)
其中，t表示t时刻；ft表示t时刻遗忘门的输出；it表示t时刻输入门的输出；ot表示t时刻输出门的输出。Wf、Wi、Wo、WC分别表示遗忘门的权重矩阵、输入门的权重矩阵、输出门的权重矩阵、细胞状态的权重矩阵；Ct表示t时刻细胞状态的输出；Ct-1表示时刻t-1细胞状态的输出；
表示时刻t细胞状态更新值；ht表示t时刻的隐藏状态；ht-1表示t-1时刻的隐藏状态；
表示当前时刻t的输入；bf、bi、bo、bC分别表示遗忘门的偏置向量、输入门的偏置向量、输出门的偏置向量、细胞状态偏置向量；tanh()表示激活函数；σ()表示sigmoid函数。
卷积神经网络层用于提取目标序列和时间序列的局部依赖特征；长短期记忆网络层用于提取目标序列和时间序列的长时间依赖特征。局部依赖特征和长时间依赖特征最终输入至注意力机制层，注意力机制层自动对局部依赖特征和长时间依赖特征赋予动态权重，并进行动态权重的加权求和。
本实施例中，向局部依赖特征和长时间依赖特征赋予动态权重的步骤中还包括加权求和步骤；加权求和计算过程具体为：使用softmax函数确保动态权重的和为1。注意力机制层的计算公式具体如下：
其中，t表示t时刻，
表示第*个隐藏状态的重要性；ve、be表示需要学习的T维向量；We表示m×T维的矩阵，Ue表示m×m维的矩阵，m表示隐藏状态的数量；σt()表示变化函数；ht-1表示上一个时刻的隐藏状态；ct-1表示t-1时刻的细胞状态；ht表示时刻t的隐藏状态；
表示时刻t第*个隐藏状态的注意力权重；
表示注意力机制层加权求和后的输出；T表示时间窗口的大小。
赋予权重后的局部依赖特征和长时间依赖特征为预测模型的输出，得到数据特征进入多任务学习模型，多任务学习模型学习多个任务之间相关性，即认知不确定性和偶然不确定性，不确定性越大，说明该任务的难度越高，此时减低该任务的损失函数中的σ值，从而降低该任务对整体预测结果的影响度，减轻预测模型的训练难度；本实施例中，单个任务的损失函数默认使用均方根。
具体地，多个任务包括：优化pH值预测子任务、溶解氧(DO)预测子任务、氨氮含量(NH3-N)预测子任务；遵循多任务学习的思想和预测模型的输出计算任务间的相关性，给难度高的任务赋予跟高的权重，并且优化pH值预测子任务、溶解氧(DO)预测子任务、氨氮含量(NH3-N)预测子任务的损失函数。全局任务则是优化初始模型的损失函数，让初始模型达到最优的性能表现。
具体地，初始模型的损失函数如下：
其中，L(W,σ1,σ2)表示初始模型的总损失值，L1、L2、L3分别表示任务1的损失函数、任务2的损失函数、任务3的损失函数；W表示初始模型的模型参数；σ1、σ2、σ3分别表示任务1的损失权重、任务2的损失权重、任务3的损失权重；L1(W)、L2(W)、L3(W)分别表示任务1的损失值、任务2的损失值、任务3的损失值。
多任务学习模型的损失函数如下：
其中，L(θ)表示单个任务的损失函数；θ表示单个任务的待学习参数；σ表示任务权重；N表示任务数量，i∈N；yi表示第i个任务真实值；xi表示第i个任务的输入值，f(xi)表示第i个任务的预测值。
如附图6所示，预测模型在训练过程中的损失曲线图，能够看出在100个Epoch后，预测模型开始收敛。如附图7、附图8和附图9所示，通过本发明所述的一种水质预测模型获得的水质预测值与真实值相近，可见本发明所述的预测模型的拟合效果较好，预测精度高。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，包括以下步骤：
获取输入数据，输入数据包括水质数据和气象数据；将输入数据输入至预测模型中；
获取输入数据的时间序列；根据时间序列和输入数据获取局部依赖特征和长时间依赖特征；根据局部依赖特征和长时间依赖特征获得水质指标预测结果。
2.如权利要求1所述的一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，预测模型的训练过程如下：
创建初始模型；获取训练数据放入初始模型中，训练数据包括水质数据和气象数据，根据训练数据建立目标序列和时间序列，对训练数据进行预处理，通过滑动窗口将时间序列和目标序列作为初始模型的输入；
初始模型提取时间序列和目标序列中的特征数据，对特征数据进行学习，获得特征数据之间的局部依赖特征和长时间依赖特征，向局部依赖特征和长时间依赖特征赋予动态权重获得初始模型的输出结果；
基于多任务学习模型获取任务之间的相关性，根据学习到的任务间相关性对初始模型中的损失函数进行更新，直至初始模型的损失函数最小化，初始模型结束训练生成预测模型。
3.如权利要求2所述的一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，向局部依赖特征和长时间依赖特征赋予动态权重的步骤中还包括加权求和步骤；加权求和步骤具体为：使用softmax函数确保动态权重的和为1。
4.如权利要求2或3所述的一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，初始模型的损失函数如下：
其中，L(W,σ1,σ2)表示初始模型的损失函数，L1、L2、L3分别表示任务1的损失函数、任务2的损失函数、任务3的损失函数；W表示初始模型的模型参数；σ1、σ2、σ3分别表示任务1的损失权重、任务2的损失权重、任务3的损失权重；L1(W)、L2(W)、L3(W)分别表示任务1的损失值、任务2的损失值、任务3的损失值。
5.如权利要求2或3所述的一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，初始模型包括卷积神经网络层、长短期记忆网络层、注意力机制层和多任务学习模型。
6.如权利要求5所述的一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，卷积神经网络层包括一维卷积层；一维卷积层的卷积核只能在时间序列的时间步方向上移动；一维卷积层通过卷积操作提取特征数据的局部特征，一维卷积层的提取公式具体如下：
hl＝ELU(Wl⊙X+bl)
其中，hl表示l个滤波器的输出；Wl表示权重矩阵；⊙表示一维卷积操作，X表示卷积层的输入；bl表示偏置向量；ELU()表示激活函数。
7.如权利要求5所述的一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，长短期记忆网络层依次包括遗忘门、输入门、输出门和细胞状态；
遗忘门、输入门、输出门和细胞状态的计算公式具体如下：
ht＝at*tanh(Ct)
其中，t表示t时刻；ft表示t时刻遗忘门的输出；it表示t时刻输入门的输出；ot表示t时刻输出门的输出。Wf、Wi、Wo、WC分别表示遗忘门的权重矩阵、输入门的权重矩阵、输出门的权重矩阵、细胞状态的权重矩阵；Ct表示t时刻细胞状态的输出；Ct-1表示时刻t-1细胞状态的输出；
表示时刻t细胞状态更新值；ht表示t时刻的隐藏状态；ht-1表示t-1时刻的隐藏状态；
表示当前时刻t的输入；bf、bi、bo、bC分别表示遗忘门的偏置向量、输入门的偏置向量、输出门的偏置向量、细胞状态偏置向量；tanh()表示激活函数；σ()表示sigmoid函数。
8.如权利要求5所述的一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，注意力机制层的计算公式具体如下：
其中，t表示t时刻，
表示第*个隐藏状态的重要性；ve、be表示需要学习的T维向量；We表示m×T维的矩阵，Ue表示m×m维的矩阵，m表示隐藏状态的数量；σt()表示变化函数；ht-1表示上一个时刻的隐藏状态；ct-1表示t-1时刻的细胞状态；ht表示时刻t的隐藏状态；
表示时刻t第*个隐藏状态的注意力权重；
表示注意力机制层加权求和后的输出；T表示时间窗口的大小。
9.如权利要求6、7或8所述的一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，多任务学习模型的损失函数如下：
其中，L(θ)表示单个任务的损失函数；θ表示单个任务的待学习参数；σ表示任务权重；N表示任务数量，i∈N；yi表示第i个任务真实值；xi表示第i个任务的输入值，f(xi)表示第i个任务的预测值。
10.如权利要求2、3、6、7或8所述的一种基于多任务学习及深度学习模型的水质预测方法，其特征在于，预处理的步骤依次包括填补缺失数据、数据同步处理、特征选择、去噪处理和归一化处理；
填补缺失数据的步骤具体为：使用K-近邻插值算法对训练数据或预测数据中缺失的数据进行填补；
特征选择的步骤具体为：基于皮尔逊相关系数计算训练数据中每个数据特征分别与时间序列、目标序列的相关性；根据相关性数值从大到小筛选出前K个数据，K为正整数；
去噪处理的步骤具体为：利用小波变化对训练数据进行分解，分解层数通过分解公式计算获得，将分解层数的高频系数设为0；分解公式如下：
其中，lmax表示分解层数，Ns表示时间序列长度，Nw表示分解滤波器的长度。
归一化处理的步骤具体为：使用最大最小值归一化公式将训练数据映射到0～1的范围内；最大最小值归一化公式具体如下：
其中，x表示归一化处理前的训练数据，x'表示归一化处理后的训练数据；xmin和xmax分别表示训练数据的最小值和最大值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310104266.XA CN115983493A (zh) | 2023-02-13 | 2023-02-13 | 一种基于多任务学习及深度学习模型的水质预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310104266.XA CN115983493A (zh) | 2023-02-13 | 2023-02-13 | 一种基于多任务学习及深度学习模型的水质预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115983493A true CN115983493A (zh) | 2023-04-18 |
Family
ID=85962563
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310104266.XA Pending CN115983493A (zh) | 2023-02-13 | 2023-02-13 | 一种基于多任务学习及深度学习模型的水质预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115983493A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094235A (zh) * | 2023-10-20 | 2023-11-21 | 北京科技大学 | 一种基于多任务学习的地压灾害预测方法及装置 |
| CN117371873A (zh) * | 2023-12-01 | 2024-01-09 | 四川省生态环境科学研究院 | 一种基于大数据的环境保护工程用污水评估方法 |
| CN117671507A (zh) * | 2024-01-29 | 2024-03-08 | 南昌大学 | 一种结合气象数据的河流水质预测方法 |
| CN118673467A (zh) * | 2024-08-23 | 2024-09-20 | 航天宏图信息技术股份有限公司 | 基于深度学习的水质预测方法、装置、设备及介质 |
-
2023
- 2023-02-13 CN CN202310104266.XA patent/CN115983493A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094235A (zh) * | 2023-10-20 | 2023-11-21 | 北京科技大学 | 一种基于多任务学习的地压灾害预测方法及装置 |
| CN117094235B (zh) * | 2023-10-20 | 2024-02-20 | 北京科技大学 | 一种基于多任务学习的地压灾害预测方法及装置 |
| CN117371873A (zh) * | 2023-12-01 | 2024-01-09 | 四川省生态环境科学研究院 | 一种基于大数据的环境保护工程用污水评估方法 |
| CN117371873B (zh) * | 2023-12-01 | 2024-03-26 | 四川省生态环境科学研究院 | 一种基于大数据的环境保护工程用污水评估方法 |
| CN117671507A (zh) * | 2024-01-29 | 2024-03-08 | 南昌大学 | 一种结合气象数据的河流水质预测方法 |
| CN117671507B (zh) * | 2024-01-29 | 2024-05-10 | 南昌大学 | 一种结合气象数据的河流水质预测方法 |
| CN118673467A (zh) * | 2024-08-23 | 2024-09-20 | 航天宏图信息技术股份有限公司 | 基于深度学习的水质预测方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115983493A (zh) | 一种基于多任务学习及深度学习模型的水质预测方法 | |
| Jebli et al. | Prediction of solar energy guided by pearson correlation using machine learning | |
| Stephenson et al. | Bayesian inference for extremes: accounting for the three extremal types | |
| CN108764539B (zh) | 一种梯级电站的上下游水位预测方法 | |
| CN111814956B (zh) | 一种基于多维度二次特征提取的多任务学习的空气质量预测方法 | |
| CN112288193A (zh) | 基于注意力机制的gru深度学习的海洋站表层盐度预测方法 | |
| CN117035201A (zh) | 平原河网水工程集群多目标调度规则制定方法及系统 | |
| CN112288164A (zh) | 一种计及空间相关性和修正数值天气预报的风功率组合预测方法 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN113705877A (zh) | 基于深度学习模型的实时月径流预报方法 | |
| CN113128758B (zh) | 基于近海浮标海浪观测数据构建的最大浪高预报系统 | |
| CN114004163B (zh) | 一种基于modis和长短时记忆网络模型的pm2.5反演方法 | |
| CN114417740B (zh) | 一种深海养殖态势感知方法 | |
| CN112580844A (zh) | 气象数据处理方法、装置、设备及计算机可读存储介质 | |
| CN118017482A (zh) | 基于预测误差特征提取的灵活性爬坡容量需求分析方法 | |
| CN116960975A (zh) | 一种光伏发电量预测方法及装置 | |
| CN116739161A (zh) | 一种融合经验模态分解和Informer模型的海表面温度预测方法 | |
| CN113159224B (zh) | 一种径流预报模型构建方法、装置、电子设备和介质 | |
| CN113298304A (zh) | 基于多维气象预报因子图卷积的光伏发电功率预测方法 | |
| CN118333091B (zh) | 区域海表面温度预报方法及系统 | |
| Safarudin et al. | The Number of Nodes Effect to Predict the Electrical Consumption in Seven Distinct Countries | |
| CN117689042B (zh) | 基于可解释性机器学习的流域径流预报方法 | |
| CN117526316B (zh) | 一种基于GCN-CBAM-BiGRU组合模型的负荷预测方法 | |
| CN118690669B (zh) | 一种基于改进cnn-lstm网络的近海风场反演方法 | |
| CN118246774B (zh) | 一种光伏理论发电量的计算方法与终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |