CN115238941A - 基于双阶段注意力权重优化机制的地表水水质预测方法 - Google Patents

基于双阶段注意力权重优化机制的地表水水质预测方法 Download PDF

Info

Publication number
CN115238941A
CN115238941A CN202210230638.9A CN202210230638A CN115238941A CN 115238941 A CN115238941 A CN 115238941A CN 202210230638 A CN202210230638 A CN 202210230638A CN 115238941 A CN115238941 A CN 115238941A
Authority
CN
China
Prior art keywords
surface water
water quality
data
quality data
weight optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210230638.9A
Other languages
English (en)
Inventor
周泉
任秀文
王一舒
张武才
陈中颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Institute of Environmental Science of Ministry of Ecology and Environment
Original Assignee
South China Institute of Environmental Science of Ministry of Ecology and Environment
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Institute of Environmental Science of Ministry of Ecology and Environment filed Critical South China Institute of Environmental Science of Ministry of Ecology and Environment
Priority to CN202210230638.9A priority Critical patent/CN115238941A/zh
Publication of CN115238941A publication Critical patent/CN115238941A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • Operations Research (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于双阶段注意力权重优化机制的地表水水质预测方法，通过数据划分、建立模型、数据训练以及数据代入预测，快速得到水质预测数据；该种基于双阶段注意力权重优化机制的地表水水质预测方法，首先对原始数据进行预处理并进行划分为两种数据，然后构建LSTM模型并引入输入注意力机制和地表水注意力机制对输入特征进行加权，着重考虑对后续分析影响大的特征，将另一种数据进行迭代训练处理并生成新的LSTM模型，利用新的LSTM模型进行地表水水质预测，该方法通过生成模型引入两种注意力机制，大大提高了模型的预测的准确性。

Description

基于双阶段注意力权重优化机制的地表水水质预测方法
技术领域
本发明涉及数据预测方法，尤其涉及一种基于双阶段注意力权重优化机 制的地表水水质预测方法。
背景技术
现有的电子设备尤其是传统的计算机设备，在使用过程中，经常会出现 意关机的问题，尤其家庭办公用的计算机，在使用过程中，由于多种原因常 常会造成意外关机，而办公过程中的数据往往无法及时保存，造成数据丢失， 给人们造成很大的不便，也会浪费人们大量的时间。
发明内容
本发明的目的在于提供一种基于双阶段注意力权重优化机制的地表水水 质预测方法，以解决上述背景技术中提出的问题。
本发明的目的是通过下述技术方案予以实现：
一种基于双阶段注意力权重优化机制的地表水水质预测方法，其特征在 于，包括以下步骤：
步骤1：获取原始的地表水质的数据，对原始的地表水质水质数据进行预 处理，得到预处理后的地表水质数据，对预处理后的地表水质数据按照比例 划分为训练集数据和测试集数据：
步骤2：构建基于注意力机制和地表水注意力机制的LSTM模型，并同时 输入注意力机制和地表水注意力机制，构建双阶段注意力权重优化机制的 LSTM模型；
步骤3：将步骤1中的训练数据依次输入步骤2中所述双阶段注意力权重 优化机制的LSTM模型中，并利用基于Adam优化算法进行迭代训练，得到训 练好的双阶段注意力权重优化机制的LSTM模型；
步骤4：将步骤1中预处理后得到的地表水质测试数据输入步骤3中所述 训练好的双阶段注意力权重优化机制的LSTM模型中进行地表水水质预测，得 到地表水水质预测结果。
本发明中，所述步骤1中地表水质水质数据进行预处理的方法如下：
S1:获取地表水水质的数据集，并将地表水水质数据集进行整理分析，得 到以时间为变量的数据分布表，从而轻易得到地表水水质数据最大值Xmax和 地表水质数据最小值Xmin；
S2:将完整的地表水水质数据进行归一化处理，并按照归一化计算公式进 行处理，将S1中地表水水质数据最大值Xmax和地表水质数据最小值Xmin代 入公式中进行计算，
Figure BDA0003538218180000021
其中X*表示处理后的数据，X表 示原始的地表水质的数据，Xmax表示地表水水质数据最大值，Xmin表示地表 水水质数据最小值；
S3:根据S2的计算，从而得到预处理后的地表水质数据。
本发明中，所述步骤2中构建基于注意力机制和地表水注意力机制的LSTM 模型的方法是通过基于LSTM的编码器前映入输入注意力机制，在解码器前引 入时间注意力机制而生成。
本发明中，所述步骤3中的迭代训练方法是通过将原始数据分成多个批 次，并将每个批次的数据送入双阶段注意力权重优化机制的LSTM模型中计算 得到损失函数，然后利用Adam算法进行迭代优化，通过多次迭代优化使损失 函数数值小于预设值，从而得到训练好的双阶段注意力权重优化机制的LSTM 模型。
与现有技术相比，本发明的有益效果是该发明一种基于双阶段注意力权 重优化机制的地表水水质预测方法，首先对原始数据进行预处理并进行划分 为两种数据，然后构建LSTM模型并引入输入注意力机制和地表水注意力机制 对输入特征进行加权，着重考虑对后续分析影响大的特征，将另一种数据进 行迭代训练处理并生成新的LSTM模型，利用新的LSTM模型进行地表水水质预 测，该方法通过生成模型引入两种注意力机制，大大提高了模型的预测的准 确性。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部 的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性 劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开了一种基于双阶段注意力权重优化机制的地表水水质预测方 法，包括以下步骤：
步骤1：获取原始的地表水质的数据，对原始的地表水质水质数据进行预 处理，得到预处理后的地表水质数据，对预处理后的地表水质数据按照比例 划分为训练集数据和测试集数据：
步骤2：构建基于注意力机制和地表水注意力机制的LSTM模型，并同时 输入注意力机制和地表水注意力机制，构建双阶段注意力权重优化机制的 LSTM模型；
步骤3：将步骤1中的训练数据依次输入步骤2中所述双阶段注意力权重 优化机制的LSTM模型中，并利用基于Adam优化算法进行迭代训练，得到训 练好的双阶段注意力权重优化机制的LSTM模型；
步骤4：将步骤1中预处理后得到的地表水质测试数据输入步骤3中所述 训练好的双阶段注意力权重优化机制的LSTM模型中进行地表水水质预测，得 到地表水水质预测结果。
本发明中，所述步骤1中地表水质水质数据进行预处理的方法如下：
S1:获取地表水水质的数据集，并将地表水水质数据集进行整理分析，得 到以时间为变量的数据分布表，从而轻易得到地表水水质数据最大值Xmax和 地表水质数据最小值Xmin；
S2:将完整的地表水水质数据进行归一化处理，并按照归一化计算公式进 行处理，将S1中地表水水质数据最大值Xmax和地表水质数据最小值Xmin代 入公式中进行计算，
Figure BDA0003538218180000041
其中X*表示处理后的数据，X表 示原始的地表水质的数据，Xmax表示地表水水质数据最大值，Xmin表示地表 水水质数据最小值；
S3:根据S2的计算，从而得到预处理后的地表水质数据。
本发明中，所述步骤2中构建基于注意力机制和地表水注意力机制的LSTM 模型的方法是通过基于LSTM的编码器前映入输入注意力机制，在解码器前引 入时间注意力机制而生成。
本发明中，所述步骤3中的迭代训练方法是通过将原始数据分成多个批 次，并将每个批次的数据送入双阶段注意力权重优化机制的LSTM模型中计算 得到损失函数，然后利用Adam算法进行迭代优化，通过多次迭代优化使损失 函数数值小于预设值，从而得到训练好的双阶段注意力权重优化机制的LSTM 模型。
该发明一种基于双阶段注意力权重优化机制的地表水水质预测方法，首 先对原始数据进行预处理并进行划分为两种数据，然后构建LSTM模型并引入 输入注意力机制和地表水注意力机制对输入特征进行加权，着重考虑对后续 分析影响大的特征，将另一种数据进行迭代训练处理并生成新的LSTM模型， 利用新的LSTM模型进行地表水水质预测，该方法通过生成模型引入两种注意 力机制，大大提高了模型的预测的准确性。
值得注意的是，现有的分层注意力机制通过堆叠网络(如LSTM单元)得 到，这样的简单堆叠使输入向量发生了改变，最终得到的注意力权重并不是 原始输入向量的注意力权重，输入向量的改变也会对后续的计算引入误差。
针对上述问题，本文提出了基于双阶段注意力权重优化机制的LSTM网络时间 序列水质预测模型 (Dual-stage Attention with Improved Weights based on LongShort-Term Memory network,DAIW-LSTM)。新的注意力机制在没有改 变原始输入向量的前提下通过改进注意力模块对注意力权重进行了优化。在 计算过程中，相比传统注意力机制，只有注意力权重发生了改变，而中间态 的向量并没有参与到后续的计算当中。这种改进既可保证多层网络优化注意 力权重，又兼顾输入向量的一致性，减少了因输入改变所造成的误差；同时， 新的注意力模块通过权值共享技术，无需引入额外的训练参数。试验部分与 不同基线模型的预测试验进行对比，验证模型的准确性和鲁棒性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节， 而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实 现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且 是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨 在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。 不应将权利要求中的任何标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实 施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起 见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也 可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种基于双阶段注意力权重优化机制的地表水水质预测方法，其特征在于，包括以下步骤：
步骤1：获取原始的地表水质的数据，对原始的地表水质水质数据进行预处理，得到预处理后的地表水质数据，对预处理后的地表水质数据按照比例划分为训练集数据和测试集数据：
步骤2：构建基于注意力机制和地表水注意力机制的LSTM模型，并同时输入注意力机制和地表水注意力机制，构建双阶段注意力权重优化机制的LSTM模型；
步骤3：将步骤1中的训练数据依次输入步骤2中所述双阶段注意力权重优化机制的LSTM模型中，并利用基于Adam优化算法进行迭代训练，得到训练好的双阶段注意力权重优化机制的LSTM模型；
步骤4：将步骤1中预处理后得到的地表水质测试数据输入步骤3中所述训练好的双阶段注意力权重优化机制的LSTM模型中进行地表水水质预测，得到地表水水质预测结果。
2.根据权利要求1所述的基于双阶段注意力权重优化机制的地表水水质预测方法，其特征在于：所述步骤1中地表水质水质数据进行预处理的方法如下：
S1:获取地表水水质的数据集，并将地表水水质数据集进行整理分析，得到以时间为变量的数据分布表，从而轻易得到地表水水质数据最大值Xmax和地表水质数据最小值Xmin；
S2:将完整的地表水水质数据进行归一化处理，并按照归一化计算公式进行处理，将S1中地表水水质数据最大值Xmax和地表水质数据最小值Xmin代入公式中进行计算，
Figure FDA0003538218170000011
其中X*表示处理后的数据，X表示原始的地表水质的数据，Xmax表示地表水水质数据最大值，Xmin表示地表水水质数据最小值；
S3:根据S2的计算，从而得到预处理后的地表水质数据。
3.根据权利要求1所述的一种基于双阶段注意力权重优化机制的地表水水质预测方法，其特征在于：所述步骤2中构建基于注意力机制和地表水注意力机制的LSTM模型的方法是通过基于LSTM的编码器前映入输入注意力机制，在解码器前引入时间注意力机制而生成。
4.根据权利要求1所述的一种基于双阶段注意力权重优化机制的地表水水质预测方法，其特征在于：所述步骤3中的迭代训练方法是通过将原始数据分成多个批次，并将每个批次的数据送入双阶段注意力权重优化机制的LSTM模型中计算得到损失函数，然后利用Adam算法进行迭代优化，通过多次迭代优化使损失函数数值小于预设值，从而得到训练好的双阶段注意力权重优化机制的LSTM模型。
CN202210230638.9A 2022-03-09 2022-03-09 基于双阶段注意力权重优化机制的地表水水质预测方法 Pending CN115238941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210230638.9A CN115238941A (zh) 2022-03-09 2022-03-09 基于双阶段注意力权重优化机制的地表水水质预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210230638.9A CN115238941A (zh) 2022-03-09 2022-03-09 基于双阶段注意力权重优化机制的地表水水质预测方法

Publications (1)

Publication Number Publication Date
CN115238941A true CN115238941A (zh) 2022-10-25

Family

ID=83668346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210230638.9A Pending CN115238941A (zh) 2022-03-09 2022-03-09 基于双阶段注意力权重优化机制的地表水水质预测方法

Country Status (1)

Country Link
CN (1) CN115238941A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187210A (zh) * 2023-05-04 2023-05-30 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) 一种lstm耦合机理模型的时空多源近岸海域水质时序预测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475546A (zh) * 2020-04-09 2020-07-31 大连海事大学 一种基于双阶段注意力机制生成对抗网络的金融时间序列预测方法
CN111970163A (zh) * 2020-06-30 2020-11-20 网络通信与安全紫金山实验室 一种基于注意力机制的lstm模型的网络流量预测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475546A (zh) * 2020-04-09 2020-07-31 大连海事大学 一种基于双阶段注意力机制生成对抗网络的金融时间序列预测方法
CN111970163A (zh) * 2020-06-30 2020-11-20 网络通信与安全紫金山实验室 一种基于注意力机制的lstm模型的网络流量预测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116187210A (zh) * 2023-05-04 2023-05-30 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) 一种lstm耦合机理模型的时空多源近岸海域水质时序预测方法

Similar Documents

Publication Publication Date Title
CN109582864B (zh) 基于大数据科学和动态权重调整的课程推荐方法及系统
CN111126602A (zh) 一种基于卷积核相似性剪枝的循环神经网络模型压缩方法
CN109583474A (zh) 一种用于工业大数据处理的训练样本生成方法
CN108336739A (zh) 一种基于rbf神经网络的概率潮流在线计算方法
CN111368259B (zh) 一种配网电压数据缺失填补方法及相关装置
CN114283320B (zh) 基于全卷积的无分支结构目标检测方法
CN115238941A (zh) 基于双阶段注意力权重优化机制的地表水水质预测方法
Su et al. Many‐objective optimization by using an immune algorithm
CN109951327B (zh) 一种基于贝叶斯混合模型的网络故障数据合成方法
CN111553424A (zh) 一种基于cgan的图像数据平衡和分类方法
CN113743806B (zh) 一种电力系统非凸双目标最优潮流全局解的搜索方法
Wu et al. Optimization and improvement based on K-Means Cluster algorithm
CN115600926A (zh) 项目后评价方法、装置、电子设备及存储介质
CN114692781A (zh) 一种基于MSL-XGBoost模型的智能电表故障不平衡分类方法
CN111860630B (zh) 基于特征重要性的模型建立方法及系统
CN115374863A (zh) 样本生成方法、装置、存储介质和设备
CN106684854B (zh) 一种基于节点等效的有源配电网电压越限风险分析方法
CN114757291A (zh) 基于机器学习算法的单相故障识别优化方法、系统及设备
CN116432507A (zh) 一种锅炉烟气含氧量预测方法、装置和计算设备
Li et al. An Improved Global Harmony Search Algorithm for the Identification of Nonlinear Discrete‐Time Systems Based on Volterra Filter Modeling
Wang et al. Determining optimal combination of genetic operators for flow shop scheduling
Song et al. Full Information Multiple Imputation for Linear Regression Model with Missing Response Variable.
Gong et al. GreenStableYolo: Optimizing inference time and image quality of text-to-image generation
Xia et al. Variable Selection of High‐Dimensional Spatial Autoregressive Panel Models with Fixed Effects
CN109726850B (zh) 一种成纱质量预测模型的建立方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.18, Ruihe Road, Huangpu District, Guangzhou, Guangdong 510535

Applicant after: South China Environmental Science Research Institute of the Ministry of ecological environment (Ecological Environment Emergency Research Institute of the Ministry of ecological environment)

Address before: No.18 Ruihe Road, Luogang District, Guangzhou City, Guangdong Province

Applicant before: SOUTH CHINA INSTITUTE OF ENVIRONMENTAL SCIENCES. MEE

RJ01 Rejection of invention patent application after publication

Application publication date: 20221025