CN113537586A - 集成小波分解与深度神经网络的水质指标多步预测方法 - Google Patents
集成小波分解与深度神经网络的水质指标多步预测方法 Download PDFInfo
- Publication number
- CN113537586A CN113537586A CN202110784806.4A CN202110784806A CN113537586A CN 113537586 A CN113537586 A CN 113537586A CN 202110784806 A CN202110784806 A CN 202110784806A CN 113537586 A CN113537586 A CN 113537586A
- Authority
- CN
- China
- Prior art keywords
- water quality
- neural network
- encoder
- data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 70
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 238000003062 neural network model Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000003442 weekly effect Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000000611 regression analysis Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000012731 temporal analysis Methods 0.000 description 3
- 238000000700 time series analysis Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Chemical & Material Sciences (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种集成小波分解与深度神经网络的水质指标多步预测方法。其步骤如下：1)对原始水质指标的监测历史数据使用线性插值法填补缺失值；2)对填补缺失值后的数据进行离散小波变换；3)基于双向门控循环单元构建编码器，构建基于单向门控循环单元与全连接层的解码器，结合注意力机制提取解码器每步隐藏层状态与编码器所有隐藏层状态的相关关系，结合编码器和解码器构建神经网络模型，以小波分解后获得的多个分解序列作为输入。本方法的优点在于充分考虑水质数据非线性、波动复杂的特点，减弱噪音影响，自适应提取各步历史数据的影响程度，一步式、端到端预测未来多周的水质指标，对于水资源管理与生态保障具有实际应用价值。
Description
技术领域
本发明属于深度学习领域，具体涉及一种集成小波分解与深度神经网络的水质指标多步预测方法。
背景技术
水是生命之源，是人类生产生活的必要保障。然而，随着科技的发展，工业活动用水量急剧增长；随着人均寿命的提高，人口不断膨胀，生活用水量也与日俱增。目前，国内外的研究人员一直都在展开水质预测的相关研究，并已经提出了许多不同方法，目前主要使用的方法有水质模拟模型、回归分析、时间序列分析、机器学习等。其中，目前的水质预测方法中，水质模拟模型方法适用范围小，时间序列分析方法对于数据要求高，回归分析方法不适合表达复杂数据，而深度神经网络作为实现机器学习的一种现代手段，由于网络中的各个神经元能够进行独立运算和处理，且各个神经元由非线性激活函数驱动，因此它既适用于线性问题，又适用于非线性问题，普适性强、灵活性高，高度适用于非线性、波动强的水质数据。
此外，目前对水质预测研究主要面向单步预测，即仅针对未来某一时间点进行预测。上述各类水质预测方法中，水质模拟模型、时间序列分析、回归分析方法最终输出一个值，不适用于多步预测任务；机器学习与神经网络方法可以输出多个值，自这类方法出现后业内逐渐萌发了少量多步预测应用研究。总体而言，水质数据多步预测目前仍缺乏系统性的探讨和优化。
发明内容
本发明的目的是克服现有的不足，提供一种集成小波分解与深度神经网络的水质指标多步预测方法。
为实现本发明目的，提供的技术方案如下：
一种集成小波分解与深度神经网络的水质指标多步预测方法，它的步骤如下：
S1：对原始水质指标的历史监测数据序列使用线性插值法填补缺失值，使其在时间维度上连续，得到连续数据序列；
S2：对填补缺失值后的完整时间序列数据进行离散小波变换得到多个分解序列，并对各分解序列进行重构恢复序列长度，得到1个近似信号与多个细节信号；
S3：建立编码器-解码器架构的神经网络模型，所述编码器基于双向门控循环单元构建，所述解码器基于单向门控循环单元与全连接层构建，结合注意力机制提取解码器每步隐藏层状态与编码器所有隐藏层状态的相关关系；所述神经网络模型经训练后，以S2中得到的近似信号和细节信号作为输入值，输出水质指标的多步预测值。
作为优选，所述步骤S1中，针对历史监测数据中的每个缺失值，利用其前后位置的水质指标值进行线性插值：
式中，x表示需要插值的位置，y表示待插的缺失值，x0表示x的前一位置，y0表示x0位置的值，x1表示x的后一位置，y1表示x1位置的值。
作为优选，所述步骤S2的具体方法如下：
S21：对线性插值处理后的完整时间序列数据进行离散小波变换，将原始的完整时间序列数据分解为1个低频信号和多个高频信号；
S22：再通过小波重构对分解得到的各信号序列进行逆变换，将每个信号序列转化为与完整时间序列数据等长，得到1个近似信号与多个细节信号。
作为优选，所述步骤S3的具体方法如下：
S31：构建基于双向门控循环单元的神经网络结构，以步骤S2中获得的近似信号和细节信号作为双向门控循环单元的输入，构成编码器；
S32：构建基于单向门控循环单元与全连接层的神经网络结构作为解码器，计算解码器每步隐藏层状态对于编码器所有隐藏层状态的注意力权重矩阵，并基于注意力权重矩阵和编码器所有隐藏层的输出值进行加权求和，计算上下文向量；以编码器的最后一个时间步的输出值作为初始输入值，以编码器正向细胞状态与反向细胞状态之和作为初始细胞状态，将当前步的上下文向量、上一步的输出、上一步的隐藏层状态合并作为下一个时间步的输入值，在单向门控循环单元上叠加全连接层，输出下一个时间步的水质指标预测值；
S33：按照设定的预测步数不断迭代，直至获得指定步数的预测值。
作为优选，所述神经网络模型采用小批量梯度下降法对模型进行训练。
作为优选，所述神经网络模型训练过程中使用Adam优化算法辅助梯度下降和学习率衰减，使神经网络模型能够针对性输出水质指标的多步预测值。
作为优选，所述原始水质指标的历史监测数据为周监测数据。
作为优选，所述原始水质指标的历史监测数据序列预先经过数据清理，去除异常数据。
本发明与现有技术相比具有的有益效果：
(1)本发明针对目前水质预测领域多步预测研究较少的问题，提出了水质指标的多步预测方法，实现了对于未来多个时间点的一步式预测，并在准确度、一致性与多步预测精度稳定性上有所提升。
(2)本发明在水质指标预测模型中结合使用了小波分解与深度神经网络技术。其中，利用小波分解提取水质指标长时间序列中的高低频特征，提升模型抗噪性；使用深度神经网络中的编码器-解码器架构与注意力机制，有效提取了小波分解序列上的局部信号波动，进一步放大并融合了不同频次上的关键信息。
附图说明
图1为集成小波分解与深度神经网络的水质指标多步预测方法流程图；
图2为集成小波分解与深度神经网络的水质指标多步预测神经网络模型结构图；
图3为模型优化训练流程图；
图4为2014-2018年长江流域CODMn(高锰酸盐指数)预测值与真实值散点图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步阐述和说明。
目前的水质预测方法中，水质模拟模型方法适用范围小，时间序列分析方法对于数据要求高，回归分析方法不适合表达复杂数据，而神经网络模型具有特征逐层抽取、拟合非线性变化、自动融合特征信息的特点，适用于构建普适性高、数据复杂的水质预测模型。然而，目前使用人工神经网络展开的水质预测研究主要面向单步预测，即仅针对未来某一时间点进行预测。自机器学习与神经网络方法出现后，业内逐渐萌发了少量多步预测应用研究，但主要通过控制全连接层或LSTM/GRU的单元数批量输出多个值，无法体现出前期预测值对于后期预测值的影响。总体而言，针对水质数据的神经网络多步预测目前仍缺乏系统性的探讨和优化。在此基础上，本发明结合使用小波分解与神经网络模型中的编码器-解码器架构、注意力机制，其中小波分解方法用于分离数据波动的高频与低频特征，提取时频二维信息，减弱噪音影响；编码器-解码器架构通过组合两个循环神经网络，一次性获得多个时刻的预测结果，且使得预测结果中保持着从前向后的时序依赖；注意力机制用于自适应地拟合目标序列对输入序列各个时间步的动态相关性，减弱误差积累现象。下面本发明对技术方案进行具体描述。
如图1所示，本发明的一个较佳实施例中提供的一种集成小波分解与深度神经网络的水质指标多步预测方法，其主要步骤包括3步，分别为S1～S3：
S1：对原始水质指标的历史监测数据序列使用线性插值法填补缺失值，使其在时间维度上连续，得到完整时间序列数据。
S2：对填补缺失值后的完整时间序列数据进行离散小波变换得到多个分解序列，并对各分解序列进行重构恢复序列长度，得到1个近似信号与多个细节信号。
S3：建立编码器-解码器架构的神经网络模型，其中编码器基于双向门控循环单元构建，而解码器基于单向门控循环单元与全连接层构建，结合注意力机制提取解码器每步隐藏层状态与编码器所有隐藏层状态的相关关系。上述神经网络模型需要预先经过训练，训练后的模型可以以S2中得到的近似信号和细节信号作为输入值，准确输出水质指标的多步预测值。
下面对于本实施例中S1～S3的具体实现方式以及其效果进行详细描述。
首先，在水质指标的数据采集过程中，由于设备故障、操作失误、断面断流及其他异常状况的影响，往往会存在一些缺失值或异常值，干扰到实验过程与结果。因此，获取的原始水质指标的历史监测数据序列如果存在异常值，则需要先进行数据清理，将异常值进行清洗剔除。被剔除的异常值以及原本的缺失值构成了整条数据序列的缺失值。但是对于水质指标的预测而言，如果某个水质指标的原始数据在时间维度上的缺失率过高(通常认为缺失率不能超过10％)，则这些数据不但不能提供有效的信息，反而可能影响最终的模型效果与预测精度，因此不适合使用本发明进行预测。本发明中，考虑到水质预测的合理性与准确性，对于缺失值，需要使用插值方法进行修补。本发明通过步骤S1来实现原始数据补全，针对每个空缺值进行线性插值处理，下面具体展开描述步骤S1中针对水质指标的原始数据进行线性插值的具体执行流程如下：
式中，式中，x表示需要插值的位置，y表示待插的缺失值，x0表示x的前一位置，y0表示x0位置的值，x1表示x的后一位置，y1表示x1位置的值。
由此可见，在步骤S1中进行线性插值后，形成了时间维度上无间断的水质指标完整时间序列数据，这些数据可以标准化格式存储。在此基础上才能进行小波分解操作，且更有利于后续的神经网络学习。S1步骤后产生的完整时间序列数据需要通过S2步骤进行小波分解操作。较之基于三角基函数的傅立叶分解，基于小波基函数的小波分解方法在分析处理非线性、非平稳信号上具有独特的优势。因此，考虑到水质指标的数据特征，本发明中，使用小波分解方法分离数据波动的高频与低频特征，提取时频二维信息，减弱噪音影响。
在步骤S2中，要执行的具体小波分解过程包括离散小波变换与小波重构。其具体过程如下：
S21：对填补缺失值后的完整时间序列数据进行离散小波变换(DWT)，得到多个分解序列。离散小波变换属于现有技术，通过变换可以将原始一维序列分解为1个低频信号An和n个高频信号[D1，D2，…，Dn]。
S22：在小波变化结束后，通过小波重构(Wavelet Reconstruction)对分解序列进行逆变换。做小波重构的原因是由于小波变换后得到的分解序列样本点数量少于原始序列，而预测模型最好具有统一长度的输入，因此使用小波重构将它们分别转换为1个新的低频信号rAn和一系列n个新的高频信号[rD1，rD2，…，rDn]，其序列长度与原始的完整时间序列数据一致，其中低频信号为近似分量，而高频信号为细节分量。由此，得到1个近似信号与多个细节信号。小波重构可以理解为小波变换的逆过程，其也属于现有技术。
在步骤S2结束后，原始序列被分解为1个低频信号rAn和一系列高频信号[rD1，rD2，…，rDn]，将其输入神经网络模型中进行多步预测。本发明中，提出的神经网络模型为一个基于注意力机制的编码器-解码器模型，具体结构如图2所示，共包含了输入层、基于双向GRU的编码器层、注意力层、基于单向GRU的解码器层、输出层。
上述步骤S3为该神经网络模型的具体构建过程：
S31：构建基于双向门控循环单元(Bidirectional Gated Recurrent NeuralNetwork，Bi-GRU)的神经网络结构，以步骤S2中获得的多个信号序列即1个近似信号和n个细节信号作为双向门控循环单元的输入，构成编码器。
在该编码器层中，通过Bi-GRU，可以将输入序列处理为等长的一系列隐藏层状态，同时输出前向、后向两个细胞状态，作为之后注意力计算和解码器解码的基础。Bi-GRU的具体结构以及各参数计算公式属于现有技术，为了便于理解简述如下：
hf(t)＝f(hf(t-1)，xt)
hb(t)＝f(hb(t-1)，xt)
ht＝[hf(t)，hb(t)]
式中，hf表示正向GRU的输出，hb表示反向GRU的输出，h表示双向GRU的输出，t表示第t个时间步，[]表示串联操作。
S32：构建基于单向门控循环单元(Gated Recurrent Neural Network，GRU)与全连接层的神经网络结构作为解码器，并融入注意力机制，计算解码器每步隐藏层状态对于编码器所有隐藏层状态的注意力权重矩阵(Attention Weight)。再基于注意力权重矩阵和编码器所有隐藏层的输出值进行加权求和，计算上下文向量(ContextVector)。然后以编码器的最后一个时间步的输出值作为初始输入值，以编码器正向细胞状态与反向细胞状态之和作为初始细胞状态，将当前步的上下文向量、上一步的输出、上一步的隐藏层状态合并作为下一个时间步的输入值，在单向门控循环单元上叠加全连接层，输出下一个时间步的水质指标预测值，通过计算公式可以表示如下：
yi＝f(ci，pi-1，si-1)
式中，yi为当前步的输出，pi-1为上一步的输出值，ci为当前步的上下文向量，si-1为上一步的隐藏层状态。
单向门控循环单元GRU本身也属于现有技术，为了便于理解，将其具体结构和各参数计算公式简述如下：
zt＝σ(Wz·[ht-1，xt])
rt＝σ(Wr·[ht-1，xt])
yt＝σ(Wo·ht)
式中，ht为隐藏层状态，
为候选隐藏层状态，rt为重置门，zt为更新门，不同的W为不同的权重矩阵，σ为激活函数，xt为当前t时刻的输入，yt为当前t时刻的输出。
S33：上述S32中完成了一个未来时间步的水质指标预测，但本发明的目的在于实现多步预测，因此可不断将上一步的输出用于预测下一步。即按照设定的预测步数不断迭代，直至获得指定步数的预测值，即可得到水质指标多步预测结果。
上述步骤S3构建了一个基于结合了注意力机制的基于单向GRU循环神经网络与全连接层的解码器网络。注意力机制的核心在于反映出当前输出与输入序列中所有元素(而非仅仅上一个时间点)之间的关联程度，将其与解码器相结合，使得解码器中每个时间步都对编码器中各个时间步投以动态关注，解决了传统编码器-解码器架构中信息衰减和误差积累的问题。
需要注意的是，上述建立的编码器-解码器架构的神经网络模型在实际使用前，需要进行模型训练，才能准确的用于水质指标多步预测。一般情况下，神经网络越深、越复杂，往往就越难优化。通过不断迭代、反向传播来实现梯度下降，以期逼近最佳结果是神经网络训练的通用思路，但在实际应用中，并不是训练代数越多，神经网络模型的效果就会越好。神经网络的训练效率和效果取决于多方面因素，为了获得更好的训练结果，我们需要对模型的训练过程进行调优。神经网络训练过程调优有多种方式，其中，使用学习率衰减(Learning Rate Decay)机制能够很好地解决此问题，也就是慢慢降低学习率。在神经网络训练初期，选择比较大的学习率，更快地向最小值的方向收敛；在神经网络训练后期，即损失函数最小值附近、梯度下降速度变慢时，不断减少学习率，小步逼近最优结果。因为最终是要将模型应用于以测试集为代表的未知数据中，所以理论上神经网络模型的训练应该停在测试集损失函数值最小的时候，而非训练集损失函数值最小时。但实际应用中，由于测试集的损失函数值是不可知的，因此根据验证集进行早停是尽量避免模型在训练集上过拟合的有效手段。小批量梯度下降(Mini-batch Gradient Descent，MBGD)法将数据集分成多个固定大小的Mini-batch，每次训练其中一个，一次训练结束后更新一次权重和偏差，一代(Epoch)训练中可以调整多次，梯度下降更加高效，对于计算资源的需求也相对较少；同时由于是多个数据共同决定了本次梯度下降，训练过程较之随机梯度下降法更为稳定，不容易产生大的振荡。自适应矩估计(Adaptive Moment Estimation，Adam)算法可以对模型的训练过程进行优化，它结合了Momentum算法和RMSProp算法，令每个参数都有独立的学习率和动量，训练过程中将有针对性地进行独立更新，对于稀疏或密集的数据集均适用。
在本发明中，可使用自定义的模型优化训练框架对该模型加以训练，该框架中集成了学习率衰减机制、早停机制、小批量梯度下降策略与Adam优化算法，训练步骤的具体过程如下：
1)采用指数下降的学习率衰减方式，设定学习率衰减计算公式为：
式中，α0为原始学习率，α′为更新后的学习率，
为学习率衰减比例，sg为总迭代次数，sc为冷静期总长，sd为衰减周期。
2)指定监控误差指标与早停迭代阈值；
3)指定小批量梯度下降法中的批大小；
4)指定模型使用Adam优化算法辅助梯度下降和学习率衰减；
5)基于上述超参数，对构建的神经网络模型进行训练，使模型能够针对性输出多步水质指标预测值。
下面基于上述S1～S3所述的方法，将其应用至具体的实例中对其效果进行展示。具体的过程如前所述，不再赘述，下面主要展示其具体参数设置和实现效果。
实施例
下面以长江流域2004-2018年的CODMn(高锰酸盐指数)周监测数据为例，对本发明进行具体描述，其具体步骤如下：
1)采用中国环境监测总站提供的长江流域2004-2018年的CODMn(高锰酸盐指数)周监测数据，数据采自国家地表水环境质量监测网在长江流域内设置的23个监测断面，分别为湖南长沙新港、湖南岳阳城陵矶、湖南益阳万家嘴、湖南常德沙河口、湖南常德坡头、湖北宜昌南津关、湖南岳阳岳阳楼、湖北武汉宗关、湖北丹江口胡家岭、江苏扬州三江营、江苏南京林山、重庆朱沱、河南南阳陶岔、安徽安庆皖河口、贵州赤水鲢鱼溪、江西九江蛤蟆石、江西九江河西水厂、江西南昌滁槎、四川乐山岷江大桥、四川广元清风峡、四川宜宾凉姜沟、四川攀枝花龙洞、四川泸州沱江二桥。按照前述步骤S1利用线性插值法进处理缺失值和异常值，总数据量为17918条记录，缺失率为0.25％。
2)按照前述步骤S2，使用小波分解和小波重构方法将插值补全后的CODMn数据分解为1个近似信号与3个细节信号，小波族选择Daubechies小波族，消失矩个数选择5，分解级别选择3。
3)根据前述步骤S3构建用于水质指标多步预测的基于编码器-解码器架构的神经网络模型，其中编码器中双向GRU的单元数设置为96，解码器中单向GRU的单元数设置为96。模型历史步长选择8，预测步长选择3。
4)根据历史步长8周、预测步长3周切分数据集，将分解后的数据划分为训练集、验证集、测试集，占比分别为80％、10％、10％。
5)将训练集数据输入集成注意力机制的神经网络模型，开始训练模型，使用验证集进行控制模型训练方向，训练完毕得到水质指标多步预测模型。模型整体优化训练架构如图3所示，训练时各超参数的定义与赋值如下：
(1)初始学习率：0.1；
(2)最低学习率：1×10-8；
(3)学习率衰减设置：监控指标：损失函数值；容忍期：5；冷静期：3；衰减比例：0.2；
(4)早停设置：监控指标：均方误差；容忍期：10；
(5)训练样本批大小batch_size：64；
(6)最大训练迭代数：100。
4)最后在测试集上检验上述水质指标多步预测模型的水质指标多步预测效果。
将本实施例的水质指标多步预测模型命名为WD_Attention_Seq2Seq_WQPP，采用消融实验(Ablation Experiment)方法验证模型中各个机制产生的作用，即逐一从完整模型中剥去相关模块，对比二者间的结果差异。各对比模型设定如下：
①基于WD_Attention_Seq2Seq_WQPP剔除小波分解过程得到的Attention_Seq2Seq_WQPP模型
②基于①再剔除Attention机制得到的Seq2Seq_WQPP模型
③基于②再剔除编码器-解码器架构得到的GRU_WQPP模型
与各对比模型相比，本发明提出的为WD_Attention_Seq2Seq_WQPP模型在预测准确度(MAE、RMSE)、预测结果与真实值的分布一致性(IA)上均有提升，如下表1所示。在预测准确度上提高了至少65％(按RMSE计算)，预测值与真实值的分布一致性提高了至少19％。
表1
为了直观展示重构效果，绘制了本模型的预测结果分布散点图，如图4所示，预测值与真实值集中分布在y＝x直线附近，MAE为0.148，RMSE为0.256，MAE为0.980，表明本发明的方法的各精度指标较为理想，预测值数据分布特征与真实值高度一致，对于水质指标的多步预测具有十分重要的实际应用价值。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (8)
1.一种集成小波分解与深度神经网络的水质指标多步预测方法，其特征在于，它的步骤如下：
S1：对原始水质指标的历史监测数据序列使用线性插值法填补缺失值，使其在时间维度上连续，得到连续数据序列；
S2：对填补缺失值后的完整时间序列数据进行离散小波变换得到多个分解序列，并对各分解序列进行重构恢复序列长度，得到1个近似信号与多个细节信号；
S3：建立编码器-解码器架构的神经网络模型，所述编码器基于双向门控循环单元构建，所述解码器基于单向门控循环单元与全连接层构建，结合注意力机制提取解码器每步隐藏层状态与编码器所有隐藏层状态的相关关系；所述神经网络模型经训练后，以S2中得到的近似信号和细节信号作为输入值，输出水质指标的多步预测值。
2.根据权利要求1所述的预测方法，其特征在于：所述步骤S1中，针对历史监测数据中的每个缺失值，利用其前后位置的水质指标值进行线性插值：
式中，x表示需要插值的位置，y表示待插的缺失值，x0表示x的前一位置，y0表示x0位置的值，x1表示x的后一位置，y1表示x1位置的值。
3.根据权利要求1所述的预测方法，其特征在于：所述步骤S2的具体方法如下：
S21：对线性插值处理后的完整时间序列数据进行离散小波变换，将原始的完整时间序列数据分解为1个低频信号和多个高频信号；
S22：再通过小波重构对分解得到的各信号序列进行逆变换，将每个信号序列转化为与完整时间序列数据等长，得到1个近似信号与多个细节信号。
4.根据权利要求1所述的预测方法，其特征在于：所述步骤S3的具体方法如下：
S31：构建基于双向门控循环单元的神经网络结构，以步骤S2中获得的近似信号和细节信号作为双向门控循环单元的输入，构成编码器；
S32：构建基于单向门控循环单元与全连接层的神经网络结构作为解码器，计算解码器每步隐藏层状态对于编码器所有隐藏层状态的注意力权重矩阵，并基于注意力权重矩阵和编码器所有隐藏层的输出值进行加权求和，计算上下文向量；以编码器的最后一个时间步的输出值作为初始输入值，以编码器正向细胞状态与反向细胞状态之和作为初始细胞状态，将当前步的上下文向量、上一步的输出、上一步的隐藏层状态合并作为下一个时间步的输入值，在单向门控循环单元上叠加全连接层，输出下一个时间步的水质指标预测值；
S33：按照设定的预测步数不断迭代，直至获得指定步数的预测值。
5.根据权利要求1所述的预测方法，其特征在于：所述神经网络模型采用小批量梯度下降法对模型进行训练。
6.根据权利要求5所述的预测方法，其特征在于：所述神经网络模型训练过程中使用Adam优化算法辅助梯度下降和学习率衰减，使神经网络模型能够针对性输出水质指标的多步预测值。
7.根据权利要求1所述的预测方法，其特征在于：所述原始水质指标的历史监测数据为周监测数据。
8.根据权利要求1所述的预测方法，其特征在于：所述原始水质指标的历史监测数据序列预先经过数据清理，去除异常数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110784806.4A CN113537586B (zh) | 2021-07-12 | 2021-07-12 | 集成小波分解与深度神经网络的水质指标多步预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110784806.4A CN113537586B (zh) | 2021-07-12 | 2021-07-12 | 集成小波分解与深度神经网络的水质指标多步预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113537586A true CN113537586A (zh) | 2021-10-22 |
| CN113537586B CN113537586B (zh) | 2024-04-05 |
Family
ID=78127502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110784806.4A Active CN113537586B (zh) | 2021-07-12 | 2021-07-12 | 集成小波分解与深度神经网络的水质指标多步预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537586B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114280262A (zh) * | 2021-12-29 | 2022-04-05 | 北京建工环境修复股份有限公司 | 一种可渗透反应栅格监测方法、装置、系统及计算机设备 |
| CN117316334A (zh) * | 2023-11-30 | 2023-12-29 | 南京邮电大学 | 一种水厂混凝剂用量预测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188176A (zh) * | 2019-04-30 | 2019-08-30 | 深圳大学 | 深度学习神经网络及训练、预测方法、系统、设备、介质 |
| CN111242377A (zh) * | 2020-01-15 | 2020-06-05 | 重庆大学 | 一种集成深度学习和数据去噪的短期风速预测方法 |
| CN112070208A (zh) * | 2020-08-05 | 2020-12-11 | 同济大学 | 基于编码器-解码器阶段注意力机制的刀具磨损预测方法 |
| CN112733444A (zh) * | 2020-12-30 | 2021-04-30 | 浙江大学 | 基于CycleGAN神经网络的多步长时间序列预测方法 |
| CN113051130A (zh) * | 2021-03-19 | 2021-06-29 | 南京航空航天大学 | 结合注意力机制的lstm网络的移动云负载预测方法及系统 |
-
2021
- 2021-07-12 CN CN202110784806.4A patent/CN113537586B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188176A (zh) * | 2019-04-30 | 2019-08-30 | 深圳大学 | 深度学习神经网络及训练、预测方法、系统、设备、介质 |
| CN111242377A (zh) * | 2020-01-15 | 2020-06-05 | 重庆大学 | 一种集成深度学习和数据去噪的短期风速预测方法 |
| CN112070208A (zh) * | 2020-08-05 | 2020-12-11 | 同济大学 | 基于编码器-解码器阶段注意力机制的刀具磨损预测方法 |
| CN112733444A (zh) * | 2020-12-30 | 2021-04-30 | 浙江大学 | 基于CycleGAN神经网络的多步长时间序列预测方法 |
| CN113051130A (zh) * | 2021-03-19 | 2021-06-29 | 南京航空航天大学 | 结合注意力机制的lstm网络的移动云负载预测方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114280262A (zh) * | 2021-12-29 | 2022-04-05 | 北京建工环境修复股份有限公司 | 一种可渗透反应栅格监测方法、装置、系统及计算机设备 |
| CN114280262B (zh) * | 2021-12-29 | 2023-08-22 | 北京建工环境修复股份有限公司 | 一种可渗透反应栅格监测方法、装置及计算机设备 |
| CN117316334A (zh) * | 2023-11-30 | 2023-12-29 | 南京邮电大学 | 一种水厂混凝剂用量预测方法及系统 |
| CN117316334B (zh) * | 2023-11-30 | 2024-03-12 | 南京邮电大学 | 一种水厂混凝剂用量预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113537586B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109214575B (zh) | 一种基于小波长短期记忆网络的超短期风电功率预测方法 | |
| CN107909227B (zh) | 超短期预测风电场功率的方法、装置及风力发电机组 | |
| CN110381523B (zh) | 一种基于tvf-emd-lstm模型的蜂窝基站网络流量预测方法 | |
| CN108764540B (zh) | 基于并行lstm串联dnn的供水管网压力预测方法 | |
| KR101958674B1 (ko) | 시퀀스 재귀 필터링 3차원 변분(3d-var) 기반의 실측 해양 환경 데이터 동화방법 | |
| CN113537586A (zh) | 集成小波分解与深度神经网络的水质指标多步预测方法 | |
| CN111160520A (zh) | 一种基于遗传算法优化的bp神经网络风速预测方法 | |
| CN111242377B (zh) | 一种集成深度学习和数据去噪的短期风速预测方法 | |
| CN105469611B (zh) | 一种短时交通流预测模型方法 | |
| CN112990553B (zh) | 使用自注意机制和双线性融合的风电超短期功率预测方法 | |
| CN108710964A (zh) | 一种模糊时间序列水产养殖水质环境数据的预测方法 | |
| CN109815855B (zh) | 一种基于机器学习的电子设备自动测试方法及系统 | |
| CN114897277B (zh) | 一种基于lstm的突发型滑坡位移预测方法 | |
| CN114500004A (zh) | 一种基于条件扩散概率生成模型的异常检测方法 | |
| CN112711083A (zh) | 基于自适应权重特征的多源降水数据动态融合方法及系统 | |
| CN112907107A (zh) | 一种基于多源信息融合的渔业事故应急处理系统及方法 | |
| CN116703003A (zh) | 一种居民用水量的预测方法 | |
| CN116565856A (zh) | 一种考虑未知拓扑变化的配电网状态估计方法 | |
| CN117054803A (zh) | 一种含分布式光伏配电网接地故障辨识方法及系统 | |
| CN116050579A (zh) | 基于深度特征融合网络的建筑能耗预测方法及系统 | |
| CN116008747A (zh) | 基于小波阈值去噪的Yogi-mLSTM电缆局放识别方法与诊断系统 | |
| CN110097116A (zh) | 一种基于独立成分分析和核密度估计的虚拟样本生成方法 | |
| CN115907000A (zh) | 一种用于电力系统最优潮流预测的小样本学习方法 | |
| CN112667394B (zh) | 一种计算机资源利用率优化方法 | |
| CN114970711A (zh) | 一种基于Seq2Seq的电力负荷预测模型的构建方法及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |