CN112149799A - 用于水质参数预测的联合神经网络模型及其训练方法 - Google Patents
用于水质参数预测的联合神经网络模型及其训练方法 Download PDFInfo
- Publication number
- CN112149799A CN112149799A CN202010914340.0A CN202010914340A CN112149799A CN 112149799 A CN112149799 A CN 112149799A CN 202010914340 A CN202010914340 A CN 202010914340A CN 112149799 A CN112149799 A CN 112149799A
- Authority
- CN
- China
- Prior art keywords
- neural network
- rnn
- output
- input
- middle layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 42
- 238000003062 neural network model Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 title claims description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 282
- 239000010865 sewage Substances 0.000 claims abstract description 15
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 19
- 230000000306 recurrent effect Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 3
- 230000006870 function Effects 0.000 description 32
- 238000013507 mapping Methods 0.000 description 7
- 239000010802 sludge Substances 0.000 description 7
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 4
- 239000001301 oxygen Substances 0.000 description 4
- 229910052760 oxygen Inorganic materials 0.000 description 4
- 238000013506 data mapping Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005842 biochemical reaction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Feedback Control In General (AREA)
Abstract
本发明公开一种用于水质参数预测的基于RNN的联合神经网络模型，包括：若干RNN类神经网络，分别部署在各污水测量点；两端的RNN类神经网络的中间层输入只与相邻一个RNN的中间层输出相连；两端之间任一RNN类神经网络的中间层输入同时与相邻两个RNN中间层输出相连；两端的RNN类神经网络的一侧各设一个高斯函数模块和一个乘法模块；两端间任一RNN类神经网络的两侧都设一个高斯函数模块和一个乘法模块；各高斯函数模块的输入与对应RNN的输入相连，输出与对应乘法模块一个输入相连；乘法模块另一输入与对应RNN的中间层输出相连，输出与相邻RNN的中间层输入相接。该联合神经网络能同时充分地提取多个测量点历史信息进行参数估计，提高全流程参数估计的预测精确度。
Description
技术领域
本发明涉及水质参数预测领域，尤其涉及一种用于水质参数预测的联合神经网络模型 及其训练方法。
背景技术
经过多年的发展，国内污水处理技术已经获得了巨大的进步。然而在实际流程控制过 程中，污水处理行业依然还要面临很多的挑战，比如在污水处理过程中有众多的参量需要 测量，其中一些参量能够通过传感器实时测量，还有一些则需要经过人工化验才能进行测 量，某些需要化验的参数甚至需要数天时间才能完成，这大大的降低了数据的时效性。因 此，为了更好的采集水质参数，可以利用软测量技术通过众多可以实时测量的参数估计某 些需要人工化验的水质参数，这样既可以提高数据的时效性又可以降低水厂的运营成本。 软测量技术是一种利用计算机实现的数据映射算法，算法的输入是某些可以实时测量的参 数，算法的输出是某些需要人工化验的参数。在众多的软测量技术中，人工神经网络算法 具有非常杰出的表现。
近年来，人工神经网络作为一种智能的数据映射方法在很多拟合问题中得到了广泛的 应用。因其拥有诠释大时变、强耦合及大时滞等非线性关系的映射能力，并能够通过此项 能力建立精确的数学模型，实现快速的参数映射，人工神经网络在污水处理过程水质参数 软测量技术中得到广泛应用。如中国专利ZL201610405933.8公开的一种基于递归RBF神经 网络的MBR膜透水率的智能检测方法中，利用递归RBF神经网络对污水处理过程中的MBR膜 透水率进行估计；另一件中国专利201810323080.2公开的一种基于多层循环神经网络和 D-S证据理论的水质参数预测方法中，利用多个循环神经网络输出多个预测结果并用D-S证 据理论将多个预测结果进行融合以生成更高精度的水质预测。
目前在工程行业中应用最为广泛的是BP(Back Propagation)神经网络，但BP神经网 络无法实现带有时序逻辑特性参量的映射关系，它对同一时刻的多维数据可以实现正常的 参量映射，但无法对具有序列变化关系以及强耦合性的数据实现参量映射。RNN(Recurrent Neural Network)循环神经网络可以解决BP神经网络所存在的问题，RNN循环神经网络是 一种可以在时间维度上对输入输出参量进行映射的网络，它在隐藏层中添加了一个反馈操 作，这个反馈操作将之前时刻的信息反馈到当前时刻，这种结构可以使RNN循环神经网络 的输出结果不仅与当前的输入数据相关，还与历史输入的数据相关，这就是其具有时序特 性的主要原因。虽然现有的RNN循环神经神经网络在很多领域中发挥了巨大作用，但是其 一般只能在时间维度上对输入、输出参量进行映射，而难以同时在时间维度和空间维度上 进行充分地映射。在类似于污水处理这样具有复杂生化反应的过程，往往需要同时监控很 多测量点的水质参数，且不同测量点之间还会相互影响，某测量点的水质参数不仅仅与本 测量点的历史数据相关，还会与其它测量点的历史数据相关，在真实的污水处理过程中， 数据映射关系为一个既包含时间序列又包含空间序列信息的复杂的数学模型。而即便是在 每一个测量点都设置一个RNN循环神经网络，也仅是在每一个测量点都建立了一个独立的 时间序列映射关系，无法反映出不同测量点的空间映射关系，并不能提高水质参数的预测 精度。
发明内容
基于现有技术所存在的问题，本发明的目的是提供一种用于水质参数预测的联合神经 网络模型及其训练方法，能解决现有多个测量点各设置一个RNN循环神经网络进行水质参 数预测中，所存在的单个RNN循环神经网络一般只能提取单个测量点的历史信息进行参数 估计，而难以同时充分地提取多个测量点的历史信息进行参数估计，预测出的水质参数精 度不高的问题。
本发明的目的是通过以下技术方案实现的：
本发明实施方式提供一种用于水质参数预测的联合神经网络模型，包括：
处于前后两端的RNN类神经网络的中间层的输入端只与相邻一侧的RNN类神经网络中 间层的输出端相连接；
前后两端之间的任一个RNN类神经网络的中间层的输入端同时与两侧相邻的两个RNN 类神经网络中间层的输出端相连接；
前后两端的RNN类神经网络的一侧各对应设置一个高斯函数模块和一个乘法模块；
前后两端之间的任一个RNN类神经网络的两侧都对应设置一个高斯函数模块和一个乘 法模块；
每个高斯函数模块的输入端与对应的RNN类神经网络的输入端相连接，该高斯函数模 块的输出端与对应的乘法模块的一个输入端相连接，所述乘法模块的另一个输入端与对应 的所述RNN类神经网络的中间层的输出端相连接，该乘法模块的输出端与相邻的RNN类神经 网络的中间层的输入端相连接。
本发明实施方式还提供一种用于水质参数预测的联合神经网络模型的训练方法，用于 本发明所述的联合神经网络模型，包括以下步骤：
步骤1，将所有需要训练的参量随机初始化；
步骤2，将所有历史数据送入所述联合神经网络模型；
步骤3，通过损失函数计算总的网络损失，所述损失函数的数学表达式为：
该式中，
为第i个RNN类神经网络在t时刻的预测输出；
为 第i个RNN类神经网络在t时刻的真实输出；T为训练集数据时间长度；N为RNN类神 经网络的数量；
步骤4，计算所有需要训练的参量相对于总网络损失的梯度值，所有参量的梯度值计 算公式为：
其中，T为训练集数据时间长度，t为时间序号，N为RNN子模块的数量，i和j为 子模块的序号，L为训练集总误差，L(t)为对应第t时刻的训练集总误差，L(t) i/j为对应第t时 刻和第i/j个子模块的训练集总误差，Ui、Wi、PR i-1、PL i+1、Vi、bi和ci为对应第i个子 模块的权重参数，均为可训练参数，
为对应第t时刻和第j个子模块的中间层输出值；
步骤5，利用所述步骤4计算得到的梯度值更新所有参量；
步骤6，判断所有参量的值是否发生改变或者达到最大迭代次数，若否，则重复进行 所述步骤2至所述5步骤，若是，则结束训练。
由上述本发明提供的技术方案可以看出，本发明实施例提供的用于水质参数预测的联 合神经网络，其有益效果为：
通过将部署于各测量点的各RNN类神经网络中，处于中间的RNN类神经网络的中间层输 入端，能接收相邻两个RNN类神经网络中间层的输出与各自高斯系数和对应系数矩阵的乘 积值，构建成一种基于RNN的联合型神经网络，能同时充分地提取多个测量点的历史信息 进行参数估计，解决了原生RNN神经网络一般只能提取单个测量点的历史信息进行参数估 计，而难以同时充分地提取多个测量点的历史信息进行参数估计的问题，进而提高了RNN 网络在工业控制全流程参数估计中的预测精确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附 图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领 域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附 图。
图1为本发明实施例提供的用于水质参数预测的联合神经网络的整体结构图；
图2为本发明实施例提供的用于水质参数预测的联合神经网络的局部结构图；
图3为本发明实施例提供的用于水质参数预测的联合神经网络的训练方法流程图。
具体实施方式
下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的 实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都 属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公 知的现有技术。
如图1所示，本发明实施例提供一种用于水质参数预测的联合神经网络模型，包括：
若干RNN类神经网络，分别部署在污水处理全流程的不同测量点；相当于按不同测量 点从前至后在污水处理全流程上部署多个RNN类神经网络
处于前后两端的RNN类神经网络(前后两端的RNN类神经网络是指处于最前端的RNN类 神经网络和处于最后端的RNN类神经网络)的中间层的输入端只与相邻一侧的RNN类神经网 络中间层的输出端相连接；
前后两端之间的任一个RNN类神经网络(前后两端之间的任一个RNN类神经网络是指处 于最前端的RNN类神经网络与最后端的RNN类神经网络之间的任一个RNN类神经网络)的中 间层的输入端同时与两侧相邻的两个RNN类神经网络中间层的输出端相连接；
前后两端的RNN类神经网络的一侧各对应设置一个高斯函数模块和一个乘法模块；
前后两端之间的任一个RNN类神经网络的两侧都对应设置一个高斯函数模块和一个乘 法模块；
每个高斯函数模块的输入端与对应的RNN类神经网络的输入端相连接，该高斯函数模 块的输出端与对应的乘法模块的一个输入端相连接，所述乘法模块的另一个输入端与对应 的所述RNN类神经网络的中间层的输出端相连接，该乘法模块的输出端与相邻的RNN类神经 网络的中间层的输入端相连接。
上述模型中，每个高斯函数模块的输入端与对应的RNN类神经网络的输入端相连接的 对应的RNN类神经网络是指：该高斯函数模块所属的RNN类神经网络。
上述结构的联合神经网络模型，使得处于最前端的RNN类神经网络和最后端的RNN类神 经网络之间的任一个RNN类神经网络的中间层的输入端需同时接收相邻两个RNN类神经网 络中间层输出与各自高斯系数和系数矩阵的乘积值，这两个高斯系数能决定该中间位置 RNN类神经网络所要接收的来自于相邻两个RNN类神经网络的信息量，它们分别是两个高斯 函数模块的输出值，高斯函数模块的高斯函数的均值和方差分别是历史训练数据中相邻两 个RNN类神经网络输入数据的总均值和总方差，两个高斯函数模块的输入端分别与相邻两 个RNN类神经网络的输入端相连接，高斯函数模块的输出端与对应的乘法模块的一个输入 端相连接，乘法模块的另外一个输入端与对应RNN类神经网络的中间层的输出端相连接， 乘法模块的输出端与中间位置RNN类神经网络的中间层的输入端相连接；
处于最前端的RNN类神经网络和最后端的RNN类神经网络也能接收相邻一侧RNN类神经 网络中间层输出与对应高斯系数和系数矩阵的乘积值。
参见图2，上述联合神经网络模型中，前后两端之间的任一个RNN类神经网络的中间层 的输入包括：该RNN类神经网络当前的输入、该RNN类神经网络的中间层上一时刻的输出、 相邻的前一个RNN类神经网络的中间层上一时刻的输出与对应高斯函数模块输出的高斯系 数和对应系数矩阵的乘积、相邻的后一个RNN类神经网络的中间层上一时刻的输出与对应 高斯函数模块输出的高斯系数和对应系数矩阵的乘积。
上述联合神经网络模型中，所述RNN类神经网络采用RNN神经网络、LSTM神经网络、GRU 门控循环神经网络、deepRNN深度循环神经网络中的至少一种。
本发明的联合神经网络模型中，通过将部署于各测量点的各RNN类神经网络中，处于 中间的RNN类神经网络的中间层输入端，能接收相邻两个RNN类神经网络中间层的输出与各 自高斯系数及对应系数矩阵三者的乘积值，构建成一种基于RNN的联合神经网络，能同时 充分地提取多个测量点的历史信息进行参数估计，解决了原生RNN神经网络一般只能提取 单个测量点的历史信息进行参数估计，而难以同时充分地提取多个测量点的历史信息进行 参数估计的问题，进而提高了RNN网络在工业控制全流程参数估计中的预测精确度。经北 京某水厂实际运营数据测试证实本发明的联合神经网络模型对水质参数的估计精度明显 高于单RNN神经网络的估计精度。
如图3所示，本发明实施例还提供一种用于水质参数预测的基于RNN的联合神经网络模 型的训练方法，用于上述的联合神经网络模型，包括以下步骤：
步骤1，将所有需要训练的参量随机初始化；
步骤2，将所有历史数据送入所述联合神经网络模型；
步骤3，通过损失函数计算总的网络损失，所述损失函数的数学表达式为：
该式中，
为第i个RNN类神经网络在t时刻的预测输出；
为 第i个RNN类神经网络在t时刻的真实输出；T为训练集数据时间长度；N为RNN类神 经网络的数量；
步骤4，计算所有需要训练的参量相对于总网络损失的梯度值，所有参量的梯度值计 算公式为：
其中，T为训练集数据时间长度，t为时间序号，N为RNN子模块的数量，i和j为 子模块的序号，L为训练集总误差，L(t)为对应第t时刻的训练集总误差，L(t) i/j为对应第t时 刻和第i/j个子模块的训练集总误差，Ui、Wi、PR i-1、PL i+1、Vi、bi和ci为对应第i个子 模块的权重参数，均为可训练参数，
为对应第t时刻和第j个子模块的中间层输出值；
步骤5，利用所述步骤4计算得到的梯度值更新所有参量；
步骤6，判断所有参量的值是否发生改变或者达到最大迭代次数，若否，则重复进行 所述步骤2至所述5步骤，若是，则结束训练。
下面对本发明实施例具体作进一步地详细描述。
本发明实施例提供一种用于水质参数预测的基于RNN的联合神经网络模型，该联合神 经网络模型包括：
N个RNN神经网络，部署在污水处理全流程的不同测量点，且处于两端之间的每个RNN 类神经网络中间层的输入端同时接收相邻两个RNN类神经网络中间层输出与各自高斯系数 (与每个RNN神经网络对应设置的高斯函数模块的输出值)及对应系数矩阵的乘积值。即 每个RNN类神经网络的中间层的输入包括四部分：该类神经网络当前的输入、该类神经网 络中间层上一时刻的输出、相邻的前一个RNN类神经网络中间层上一时刻的输出与相应高 斯系数及对应系数矩阵的乘积和相邻的后一个类RNN神经网络中间层上一时刻的输出与相 应高斯系数及对应系数矩阵的乘积，这两个高斯系数用于决定该中间位置RNN类神经网络 所要接收的来自于相邻左右两个RNN类神经网络的信息量。需要说明的是，本说明书中所 指出的“前、后”两个RNN类神经网络与“左、右”两个RNN类神经网络意义相同。
本实施例的联合神经网络模型的数据正向传播过程如图2所示，以第i个RNN类神经 网络为例，输入层第t时刻的输入数据x(t) i分别被送入两个高斯函数模块和网络中间层， 第t-1时刻网络中间层的输出数据h(t-1) i与其系数Wi相乘后被送入网络中间层，左右两个RNN类神经网络中间层第t-1时刻的输出数据h(t-1) i-1和h(t-1) i+1分别与其系数PR i-1和 PL i+1相乘后再分别与相应高斯函数模块的输出系数gi-1和gi+1相乘后也被送入网络中间 层，网络中间层的四个输入与其偏执参数bi求和后经过激活函数f1得到中间层t时刻 的输出h(t) i，然后在输出层h(t) i与其系数矩阵Vi相乘并与其偏执参数ci求和，之后经 过激活函数f2得到第i个RNN类神经网络的在t时刻的输出o(t) i；其它位置其它时刻的 RNN类神经网络的输出过程与此相同。正向传播的第i个RNN类神经网络的数学公式为：
上式中，Ui、Wi、PR i-1、PL i+1、Vi、bi和ci是通过反向传播算法在历史数据集 上训练得来的参数值，而gi-1和gi+1分别对应着一个高斯函数，高斯函数的均值和方差 分别是历史训练数据中第i-1和i+1个RNN类神经网络输入数据的总均值和总方差，高 斯函数的输入数据是t-1时刻第i-1和i+1个RNN类神经网络的输入数据，所以gi-1和 gi+1的值能随着输入数据变化而变化。
需要进一步说明的是：(1)上述最前端的RNN1和最后端的RNNN的中间层的输入仅仅包 含三部分，相比其他RNN少了一部分，原因是RNN1类神经网络没有相邻的前一个RNN类神经 网络，最后端的RNNN类神经网络没有相邻的后一个RNN类神经网络；(2)在t＝1时刻，整个联合神经网络模型算法为了能够正常启动，需要将所有的h(0)全部初始化为0。
本发明实施例的联合神经网络模型，能够对污水处理过程进行全流程水质参数估计， 能利用全流程中所有测量点的历史信息估计任何一个测量点的水质参数，它可以在时间维 度与空间维度上同时对水质参数进行充分地双重映射，从而提高了水质参数估计的准确度 及实效性。很好的解决了现有RNN神经网络一般只能提取单个测量点的历史信息进行参数 估计，而难以同时充分地提取多个测量点的历史信息进行参数估计的问题。
可以知道，由于LSTM(Long Short-Term Memory)神经网络是一种升级版的RNN神经 网络，LSTM神经网络除了增加了长短期记忆功能，与RNN神经网络具有完全相同的功能和 作用。因此，再另一实施例中，可用LSTM神经网络完全可以代替上述实施例中的RNN神经网络，构成一种基于LSTM神经网络模型的联合神经网络。
本实施例还提供一种本发明联合神经网络模型的训练方法，该联合神经网络模型需要 通过反向传播算法进行训练的参量个数为5×(N-2)+4×2＝5N-2；训练这些参量的步骤包括：
步骤1.将所有需要训练的参量随机初始化；
步骤2.将所有历史数据送入联合RNN网络；
步骤3.通过损失函数计算总的网络损失，所示损失函数的数学表达式为：
该式中，该式中，
为第i个RNN类神经网络在t时刻的预测输 出；
为第i个RNN类神经网络在t时刻的真实输出；T为训练集数据时间长度；N为 RNN类神经网络的数量；
步骤4.计算所有需要训练的参量相对于总网络损失的梯度值，所有参量的梯度值计 算公式为：
步骤5.利用所述步骤3计算得出的梯度值更新所有参量；
步骤6.判断所有参量的值是否发生改变或者达到最大迭代次数，若否，则重复进行 所述步骤2至所述5步骤，若是，则结束训练。
实施例：
利用本发明的联合神经网络模型对污泥体积指数SVI进行预测，解决污水处理过程中 污泥膨胀动力学特性复杂、关键参数难以测量的问题。
采集污水处理厂好氧池入口、中间和出口处的实际水质参数数据，选取与污泥体积指 数SVI相关性强的酸碱度pH、化学需氧量COD、水质变量溶解氧浓度DO及总氮TN作为污泥体 积指数SVI测量的辅助变量。
在以上三个位置分别实时的采集大量的以上四个参量用于预测污泥体积指数SVI。具 体操作流程为：
步骤1，输入参量被设置为4维，输出参量被设置为1维，隐藏层被设置为20维；将输入数据进行归一化处理；计算针对以上三个位置的输入数据的均值和方差；U1、W1、PL 2、 V1、b1、c1、U2、W2、PR 1、PL 3、V2、b2、c2、U3、W3、PR 2、V3、b3和c3被随机初始化；h(0) 1、 h(0) 1和h(0) 1被初始化为0；
步骤2，利用如下三个公式分别计算入口、中间和出口处的所有时刻点的污泥体积指 数SVI；
步骤3，利用如下公式计算总的损失值；
步骤4，利用如下公式计算所有需要训练的参量相对于总网络损失的梯度；
步骤5，利用上面公式计算的梯度值更新所有需要训练的参量；
步骤6，不断重复2至5步骤直至所有参量的值不再发生改变或者达到最大迭代次数；
步骤7，利用刚刚训练好的参量处理新采集的酸碱度pH、化学需氧量COD、水质变量溶 解氧浓度DO及总氮TN预测三个位置的污泥体积指数SVI。
本发明的联合神经网络模型通过将相邻的不同的RNN类神经网络以特定结构相连接， 构建了一种基于RNN的联合神经网络模型，能同时充分地提取多个测量点的历史信息进行 参数估计，解决了原生RNN神经网络一般只能提取单个测量点的历史信息进行参数估计， 而难以同时充分地提取多个测量点的历史信息进行参数估计的问题，从而提高了RNN网络 在工业控制全流程参数估计中的预测准确度。
本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过 程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序 在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、 只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory， RAM)等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任 何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都 应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围 为准。
Claims (5)
1.一种用于水质参数预测的基于RNN的联合神经网络模型，其特征在于，包括：
若干个RNN类神经网络，分别部署在污水处理全流程的不同测量点；
处于前后两端的RNN类神经网络的中间层的输入端只与相邻一侧的RNN类神经网络中间层的输出端相连接；
前后两端之间的任一个RNN类神经网络的中间层的输入端同时与两侧相邻的两个RNN类神经网络中间层的输出端相连接；
前后两端的RNN类神经网络的一侧各对应设置一个高斯函数模块和一个乘法模块；
前后两端之间的任一个RNN类神经网络的两侧都对应设置一个高斯函数模块和一个乘法模块；
每个高斯函数模块的输入端与对应的RNN类神经网络的输入端相连接，该高斯函数模块的输出端与对应的乘法模块的一个输入端相连接，所述乘法模块的另一个输入端与对应的所述RNN类神经网络的中间层的输出端相连接，该乘法模块的输出端与相邻的RNN类神经网络的中间层的输入端相连接。
2.根据权利要求1所述的用于水质参数预测的基于RNN的联合神经网络模型，其特征在于，所述模型中，每个高斯函数模块的输入端与对应的RNN类神经网络的输入端相连接的对应的RNN类神经网络是指：该高斯函数模块所属的RNN类神经网络；
所述乘法模块的输出端与相邻的RNN类神经网络的中间层的输入端相连接是：处于中间的RNN类神经网络的两侧的乘法模块的输出端与中间的RNN类神经网络的中间层的输入端相连；最前端的RNN类神经网络的乘法模块的输出端与该RNN类神经网络后一个RNN类神经网络的中间层的输入端相连；最后端RNN类神经网络的乘法模块的输出端与该RNN类神经网络前一个RNN类神经网络的中间层的输入端相连。
3.根据权利要求1或2所述的用于水质参数预测的基于RNN的联合神经网络模型，其特征在于，所述模型中，前后两端之间的任一个RNN类神经网络的中间层的输入包括：
该RNN类神经网络当前的输入、该RNN类神经网络的中间层上一时刻的输出、相邻的前一个RNN类神经网络的中间层上一时刻的输出与对应高斯函数模块输出的高斯系数和对应系数矩阵的乘积、相邻的后一个RNN类神经网络的中间层上一时刻的输出与对应高斯函数模块输出的高斯系数和对应系数矩阵的乘积。
4.根据权利要求1或2所述的用于水质参数预测的基于RNN的联合神经网络模型，其特征在于，所述RNN类神经网络采用RNN神经网络、LSTM神经网络、GRU门控循环神经网络、deepRNN深度循环神经网络中的至少一种。
5.一种用于水质参数预测的基于RNN的联合神经网络模型的训练方法，其特征在于，用于权利要求1至4任一项所述的联合神经网络模型，包括以下步骤：
步骤1，将所有需要训练的参量随机初始化；
步骤2，将所有历史数据送入所述联合神经网络模型；
步骤3，通过损失函数计算总的网络损失，所述损失函数的数学表达式为：
该式中，
为第i个RNN类神经网络在t时刻的预测输出；
为第i个RNN类神经网络在t时刻的真实输出；T为训练集数据时间长度；N为RNN类神经网络的数量；
步骤4，计算所有需要训练的参量相对于总网络损失的梯度值，所有参量的梯度值计算公式为：
其中，T为训练集数据时间长度，t为时间序号，N为RNN子模块的数量，i和j为子模块的序号，L为训练集总误差，L(t)为对应第t时刻的训练集总误差，L(t) i/j为对应第t时刻和第i/j个子模块的训练集总误差，Ui、Wi、PR i-1、PL i+1、Vi、bi和ci为对应第i个子模块的权重参数，均为可训练参数，
为对应第t时刻和第j个子模块的中间层输出值；
步骤5，利用所述步骤4计算得到的梯度值更新所有参量；
步骤6，判断所有参量的值是否发生改变或者达到最大迭代次数，若否，则重复进行所述步骤2至所述5步骤，若是，则结束训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010914340.0A CN112149799A (zh) | 2020-09-03 | 2020-09-03 | 用于水质参数预测的联合神经网络模型及其训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010914340.0A CN112149799A (zh) | 2020-09-03 | 2020-09-03 | 用于水质参数预测的联合神经网络模型及其训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112149799A true CN112149799A (zh) | 2020-12-29 |
Family
ID=73889327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010914340.0A Pending CN112149799A (zh) | 2020-09-03 | 2020-09-03 | 用于水质参数预测的联合神经网络模型及其训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149799A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180284737A1 (en) * | 2016-05-09 | 2018-10-04 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for detection in an industrial internet of things data collection environment with large data sets |
| CN109242236A (zh) * | 2018-07-05 | 2019-01-18 | 西安图迹信息科技有限公司 | 基于关联全连接神经网络和lstm的pmu一次调频负荷预测方法 |
| US20190311267A1 (en) * | 2018-04-05 | 2019-10-10 | Western Digital Technologies, Inc. | Noise injection training for memory-based learning |
-
2020
- 2020-09-03 CN CN202010914340.0A patent/CN112149799A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180284737A1 (en) * | 2016-05-09 | 2018-10-04 | StrongForce IoT Portfolio 2016, LLC | Methods and systems for detection in an industrial internet of things data collection environment with large data sets |
| US20190311267A1 (en) * | 2018-04-05 | 2019-10-10 | Western Digital Technologies, Inc. | Noise injection training for memory-based learning |
| CN109242236A (zh) * | 2018-07-05 | 2019-01-18 | 西安图迹信息科技有限公司 | 基于关联全连接神经网络和lstm的pmu一次调频负荷预测方法 |
Non-Patent Citations (8)
| Title |
|---|
| K YETILMEZSOY 等: "Artificial intelligence-based prediction models for environmental engineering", 《NEURAL NETWORK WORLD》, vol. 21, no. 3, 31 December 2011 (2011-12-31), pages 193 * |
| RAHIM BARZEGAR 等: "Short-term water quality variable prediction using a hybrid CNN–LSTM deep learning model", 《STOCHASTIC ENVIRONMENTAL RESEARCH AND RISK ASSESSMENT》, vol. 34, 10 February 2020 (2020-02-10), pages 415, XP037077636, DOI: 10.1007/s00477-020-01776-2 * |
| WENFENG GONG 等: "A Novel Deep Learning Method for Intelligent Fault Diagnosis of Rotating Machinery Based on Improved CNN-SVM and Multichannel Data Fusion", 《SENSORS》, vol. 19, no. 7, 9 April 2019 (2019-04-09), pages 1 - 37 * |
| 丁海旭: "基于自组织递归模糊神经网络的BOD软测量", 《计算机与应用化学》, vol. 36, no. 4, 28 August 2019 (2019-08-28), pages 331 - 336 * |
| 吴承璇 等: "基于时间序列的神经网络水质参数预测方法的应用", 《水电能源科学》, vol. 31, no. 2, 25 February 2013 (2013-02-25), pages 47 - 49 * |
| 祁金秀 等: "基于粒子群算法优化的径向基函数水质预测模型", 《甘肃水利水电技术》, vol. 50, no. 5, 15 May 2014 (2014-05-15), pages 1 - 4 * |
| 马玉芩 等: "基于自组织模糊神经网络的污水处理出水水质预测建模", 《信息技术与信息化》, no. 3, 15 August 2013 (2013-08-15), pages 32 - 35 * |
| 马翠红 等: "基于深度LSTM与双流融合网络的行为识别", 《计算机工程与设计》, vol. 40, no. 9, 16 September 2019 (2019-09-16), pages 2631 - 2637 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170185892A1 (en) | Intelligent detection method for Biochemical Oxygen Demand based on a Self-organizing Recurrent RBF Neural Network | |
| CN107688849A (zh) | 一种动态策略定点化训练方法及装置 | |
| CN109828089B (zh) | 一种基于dbn-bp的水质参数亚硝酸氮的在线预测方法 | |
| CN111768000A (zh) | 在线自适应微调深度学习的工业过程数据建模方法 | |
| CN111461187B (zh) | 一种建筑物沉降智能检测系统 | |
| Aali et al. | Estimation of Saturation Percentage of Soil Using Multiple Regression, ANN, and ANFIS Techniques. | |
| CN111767791A (zh) | 一种基于对抗正则化深度神经网络的到达角估计方法 | |
| CN111046961B (zh) | 基于双向长短时记忆单元和胶囊网络的故障分类方法 | |
| CN110728177B (zh) | 基于双协方差随机子空间的类噪声数据低频振荡辨识方法 | |
| Samantaray et al. | Sediment assessment for a watershed in arid region via neural networks | |
| CN112765902B (zh) | 一种基于TentFWA-GD的RBF神经网络的农村生活污水处理过程中COD浓度的软测量建模方法 | |
| CN116484747A (zh) | 一种基于自适应优化算法与深度学习的污水智能监控方法 | |
| CN115018193A (zh) | 基于lstm-ga模型的时间序列风能数据预测方法 | |
| CN115147645A (zh) | 基于多特征信息融合的膜组件膜污染检测方法 | |
| CN109408896B (zh) | 一种污水厌氧处理产气量多元智能实时监控方法 | |
| CN113688770A (zh) | 高层建筑长期风压缺失数据补全方法及装置 | |
| CN115952685B (zh) | 基于集成深度学习的污水处理过程软测量建模方法 | |
| CN112149799A (zh) | 用于水质参数预测的联合神经网络模型及其训练方法 | |
| Lola et al. | Improving the performance of ann-arima models for predicting water quality in the offshore area of kuala terengganu, terengganu, malaysia | |
| CN117034808A (zh) | 一种基于图注意力网络的天然气管网压力估计方法 | |
| CN110837886A (zh) | 一种基于elm-sl0神经网络的出水nh4-n软测量方法 | |
| CN116303786A (zh) | 一种基于多维数据融合算法的区块链金融大数据管理系统 | |
| CN106021924A (zh) | 基于多属性高斯核函数快速相关向量机的污水在线软测量方法 | |
| CN113191689B (zh) | 一种耦合主成分分析与bp神经网络的土地适宜评价方法 | |
| Tran-Quang et al. | Aquaculture environment prediction based on improved lstm deep learning model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |