CN112949894B - 一种基于简化型长短期记忆神经网络的出水bod预测方法 - Google Patents

Abstract

一种基于简化型长短期记忆神经网络的出水BOD预测方法涉及人工智能领域，直接应用于污水处理领域。针对当前污水处理过程出水BOD浓度存在测试周期长、滞后性较大、不能及时反映水体中BOD的变化等问题，本发明提出了一种基于简化型长短期记忆神经网络的出水BOD预测方法，该方法包括：通过耦合输入门与遗忘门实现对标准长短期记忆神经网络的结构简化，从门结构控制方程中消除输入信号与偏差对门结构方程参数进行精简，采用梯度学习算法进行训练；结果表明该模型能够在不显著降低预测精度的情况下，缩短训练时间，准确、快速地预测污水处理过程中出水BOD浓度，为污水处理过程中高效率、低成本预测出水BOD浓度提供理论支持。

Description

一种基于简化型长短期记忆神经网络的出水BOD预测方法

技术领域

本发明涉及人工智能领域，尤其涉及一种基于简化型长短期记忆(Long Short-Term Memory，LSTM)神经网络的出水BOD预测方法,直接应用于污水处理领域。

背景技术

生化需氧量(Biochemical Oxygen Demand,BOD)是指水体中的好氧微生物在一定温度下将水中有机物分解成无机物所需要的溶解氧量，是反映水体被有机物污染程度的重要参数,是评价污水水质的重要指标,能否对BOD进行准确测量是有效控制水质污染的关键所在。目前预测出水BOD浓度的方法有稀释与接种法、人工定时采样等，但是稀释与接种法方法存在测试周期长、滞后性较大、不能及时反映水体中BOD的变化等问题，人工定时采样方法同样具有成本较高、具有滞后性等问题。因此，如何低成本、高效率地对出水BOD浓度进行检测是污水处理过程中的关键问题。

软测量方法采用间接测量的思路,利用已知变量,通过构建模型对未来时刻不可测变量进行实时预测,解决水质参数预测高成本、低效率的问题,是解决污水处理过程水质参数测量的关键所在。标准LSTM神经网络其结构包括状态单元及三个门结构，能够解决传统RNN在训练过程中梯度消失与梯度爆炸的问题，在对时间序列中延迟或间隔时间相对较长事件的预测具有显著优势，但其具有高度复杂结构。本发明设计了一种基于简化型LSTM神经网络的出水BOD预测方法,实现出水BOD浓度的实时准确预测。

发明内容

1.本发明能够解决的问题：

本发明获得了一种基于简化型LSTM神经网络的出水BOD预测方法,设计了一种简化型LSTM神经网络，根据污水处理过程中采集的BOD浓度预测未来时刻的BOD浓度，解决了污水处理过程中无法预测未来时刻BOD浓度的难题，提高了污水处理过程中对未来水质质量的监控水平。

2.本发明具体的技术方案：

一种基于简化型LSTM神经网络的出水BOD预测方法,其特征在于,包括以下步骤:

步骤1:时间序列出水BOD数据预处理；

采集污水处理厂水质参数数据,选取前8时刻的BOD浓度作为输入变量，下一时刻的BOD浓度作为输出变量；将输入变量,输出变量按照公式(1)归一化至[-1,1]:

其中,M_t表示t时刻出水BOD浓度,x_t表示归一化后的t时刻出水BOD浓度；

步骤2:设计出水BOD的简化型长短期记忆神经网络预测模型结构；

设计的简化型长短期记忆神经网络,包含输入门、状态单元、输出门,各结构的计算功能如下:

①输入门:该结构输入变量的维度为8,代表前8时刻的BOD浓度,控制当前时刻的输入向量x_t保存至网络的程度,通过公式(2)-(3)实现：

z_t＝g(W_zx_t+U_zh_t-1+b_z) (2)

i_t＝σ(U_ih_t-1+b_i) (3)

其中,z_t为输入网络中的输入信号,i_t为输入控制信号,W_z为z_t中的输入权重矩阵,U_z、U_i分别为z_t、i_t中的递归权重矩阵，b_z、b_i为偏置矩阵,σ为sigmoid激活函数,g为tanh激活函数；

②状态单元(cell)：该结构维度为15,使用输入门i_t结构同时控制遗忘和选择记忆,由1-i_t代替标准LSTM中遗忘门对上一时刻的状态单元进行选择性记忆,当i_t为0时,上一时刻的状态单元全部记忆,当i_t为1时,上一时刻的状态单元全部遗忘,从而实现了输入门与遗忘门的耦合,如公式(4)所示：

c_t＝(1-i_t)⊙c_t-1+z_t (4)

其中,⊙表示矩阵点乘操作,c_t为t时刻状态单元,c_t-1为t-1时刻状态单元；

③输出门:控制当前时刻状态单元信息c_t的输出程度,若o_t数值为0则当前时刻单元状态c_t全部不输出,h_t输出值为0；若o_t数值为1,则当前时刻单元状态c_t全部输出；通过公式(5)-(6)实现:

o_t＝σ(U_oh_t-1+b_o) (5)

h_t＝o_t⊙g(c_t) (6)

其中,o_t为输出控制信号,h_t为t时刻的输出向量,h_t-1为t-1时刻的输出向量,U_o为o_t中的递归权重矩阵,b_o为偏置矩阵；

步骤3:设计出水BOD的简化型长短期记忆神经网络学习算法；

步骤3.1:定义性能指标函数如公式(7)所示：

其中,h_d,t为网络在t时刻的期望输出,h_t为网络在t时刻的实际输出；

步骤3.2:采用梯度下降算法进行参数修正；

①根据公式(8)-(11)计算t时刻输出向量h_t、输入信号z_t、输入门i_t、输出门o_t的误差项:

δh_t＝δz_t+1U_z+δi_t+1U_i+δo_t+1U_o (8)

δzt＝δh_t⊙o_t⊙(1-g(c_t)²)⊙i_t⊙(1-(z_t)²) (9)

δi_t＝δh_t⊙o_t⊙(1-g(c_t)²)⊙z_t⊙i_t⊙(1-i_t) (10)

δo_t＝δh_t⊙g(c_t)⊙o_t⊙(1-o_t) (11)

其中,δh_t、δz_t、δi_t与δo_t分别代表t时刻输出向量h_t、输入信号z_t、输入门i_t、输出门o_t的误差项,δz_t+1、δi_t+1与δo_t+1分别代表t+1时刻输入信号z_t+1、输入门i_t+1、输出门o_t+1的误差项；

②计算t时刻输入权重矩阵、递归权重矩阵、偏置矩阵的更新值如公式(12)-(14)所示:

δb_Ω,t＝δΩ_t (14)

其中,表示矩阵叉乘操作,Ω分别代表{z,i,o}中的任意一个,δW_z,t、δU_Ω,t、δb_Ω,t分别代表t时刻输入权重矩阵、递归权重矩阵、偏置矩阵的更新值,δΩ_t分别代表t时刻输入信号z_t、输入门i_t、输出门o_t的误差项；

③根据公式(15)-(17)计算t时刻更新后的输入权重矩阵、递归权重矩阵、偏置矩阵:

W_z,t＝W_z,t+1-η×δW_z,t (15)

U_Ω,t＝U_Ω,t+1-η×δU_Ω,t (16)

b_Ω,t＝b_Ω,t+1-η×δb_Ω,t (17)

其中,W_z,t、U_Ω,t、b_Ω,t分别代表更新后的t时刻输入权重矩阵、递归权重矩阵、偏置矩阵,W_z,t+1、U_Ω,t+1、b_Ω,t+1分别代表t+1时刻输入权重矩阵、递归权重矩阵、偏置矩阵,η为学习率，取值0.01；

步骤3.3:输入训练样本数据,根据步骤3.2中的公式(8)-(17)更新输入权重、递归权重、偏置,每输入一组训练样本,权值更新一次；

步骤3.4:设定均方根误差函数为性能指标,定义如公式(18)所示:

其中,N为样本个数,训练时,t时刻的训练RMSE小于期望RMSE或者达到最大迭代次数时停止计算,其中最大训练迭代次数Iter数值为2000,期望RMSE数值为0.05,否则跳至步骤3.3；

步骤4:出水BOD预测；

将测试样本数据作为训练好的简化型长短期记忆神经网络的输入,得到简化型长短期记忆神经网络的输出,将其进行反归一化得到出水BOD浓度。

3.本发明与现有技术相比，具有以下明显的优势和有益效果：

(1)本发明针对当前污水处理过程中出水BOD存在的一些问题，提出了简化型LSTM神经网络模型实现未来时刻出水BOD浓度的预测，具有低成本、高效率的特点。

(2)本发明针对标准LSTM神经网络结构具有高度复杂结构的问题，提出简化型LSTM神经网络结构设计方法。首先，通过耦合输入门与遗忘门实现对标准长短期记忆神经网络的结构简化，其次，从门结构控制方程中消除输入信号与偏差对门结构方程参数进行精简，能够在不显著降低预测精度的情况下，缩短训练时间，减少LSTM神经网络的计算复杂度。

附图说明

图1是本发明的神经网络内部结构图；

图2是本发明的出水BOD浓度预测方法训练均方根误差(RMSE)变化图；

图3是本发明的出水BOD浓度预测结果图；

图4是本发明的出水BOD浓度预测误差图。

具体实施方式

本发明设计了一种基于简化型LSTM神经网络的出水BOD预测方法，实现了对未来时刻BOD浓度的预测，解决了污水处理过程中出水BOD浓度难以实时测量的问题，提高了污水处理过程中对未来水质质量的监控水平。

实验数据来自北京市某污水处理厂水质分析数据，获得357组按照时间顺序进行排列的样本，选取前250组作为训练样本，后107组作为测试样本，主要步骤如下：

步骤1:时间序列出水BOD数据预处理；

采集污水处理厂水质参数数据,选取前8时刻的BOD浓度作为输入变量，下一时刻的BOD浓度作为输出变量；将输入变量,输出变量按照公式(19)归一化至[-1,1]:

其中,M_t表示t时刻出水BOD浓度,x_t表示归一化后的t时刻出水BOD浓度；

步骤2:设计出水BOD的简化型长短期记忆神经网络预测模型结构；

设计的简化型长短期记忆神经网络,包含输入门、状态单元、输出门,各结构的计算功能如下:

①输入门:该结构输入变量的维度为8,代表前8时刻的BOD浓度,控制当前时刻的输入向量x_t保存至网络的程度,通过公式(20)-(21)实现：

z_t＝g(W_zx_t+U_zh_t-1+b_z) (20)

i_t＝σ(U_ih_t-1+b_i) (21)

其中,z_t为输入网络中的输入信号,i_t为输入控制信号,W_z为z_t中的输入权重矩阵,U_z、U_i分别为z_t、i_t中的递归权重矩阵，b_z、b_i为偏置矩阵,σ为sigmoid激活函数,g为tanh激活函数；

②状态单元(cell)：该结构维度为15,使用输入门i_t结构同时控制遗忘和选择记忆,由1-i_t代替标准LSTM中遗忘门对上一时刻的状态单元进行选择性记忆,当i_t为0时,上一时刻的状态单元全部记忆,当i_t为1时,上一时刻的状态单元全部遗忘,从而实现了输入门与遗忘门的耦合,如公式(22)所示：

c_t＝(1-i_t)⊙c_t-1+z_t (22)

其中,⊙表示矩阵点乘操作,c_t为t时刻状态单元,c_t-1为t-1时刻状态单元；

③输出门:控制当前时刻状态单元信息c_t的输出程度,若o_t数值为0则当前时刻单元状态c_t全部不输出,h_t输出值为0；若o_t数值为1,则当前时刻单元状态c_t全部输出；通过公式(23)-(24)实现:

o_t＝σ(U_oh_t-1+b_o) (23)

h_t＝o_t⊙g(c_t) (24)

其中,o_t为输出控制信号,h_t为t时刻的输出向量,h_t-1为t-1时刻的输出向量,U_o为o_t中的递归权重矩阵,b_o为偏置矩阵；

步骤3:设计出水BOD的简化型长短期记忆神经网络学习算法；

步骤3.1:定义性能指标函数如公式(25)所示：

其中,h_d,t为网络在t时刻的期望输出,h_t为网络在t时刻的实际输出；

步骤3.2:采用梯度下降算法进行参数修正；

①根据公式(26)-(29)计算t时刻输出向量h_t、输入信号z_t、输入门i_t、输出门o_t的误差项:

δh_t＝δz_t+1U_z+δi_t+1U_i+δo_t+1U_o (26)

δz_t＝δh_t⊙o_t⊙(1-g(c_t)²)⊙i_t⊙(1-(z_t)²) (27)

δi_t＝δh_t⊙o_t⊙(1-g(c_t)²)⊙z_t⊙i_t⊙(1-i_t) (28)

δo_t＝δh_t⊙g(c_t)⊙o_t⊙(1-o_t) (29)

其中,δh_t、δz_t、δi_t与δo_t分别代表t时刻输出向量h_t、输入信号z_t、输入门i_t、输出门o_t的误差项,δz_t+1、δi_t+1与δo_t+1分别代表t+1时刻输入信号z_t+1、输入门i_t+1、输出门o_t+1的误差项；

②计算t时刻输入权重矩阵、递归权重矩阵、偏置矩阵的更新值如公式(30)-(32)所示:

δb_Ω,t＝δΩ_t (32)

其中,表示矩阵叉乘操作,Ω分别代表{z,i,o}中的任意一个,δW_z,t、δU_Ω,t、δb_Ω,t分别代表t时刻输入权重矩阵、递归权重矩阵、偏置矩阵的更新值,δΩ_t分别代表t时刻输入信号z_t、输入门i_t、输出门o_t的误差项；

③根据公式(33)-(35)计算t时刻更新后的输入权重矩阵、递归权重矩阵、偏置矩阵:

W_z,t＝W_z,t+1-η×δW_z,t (33)

U_Ω,t＝U_Ω,t+1-η×δU_Ω,t (34)

b_Ω,t＝b_Ω,t+1-η×δb_Ω,t (35)

其中,W_z,t、U_Ω,t、b_Ω,t分别代表更新后的t时刻输入权重矩阵、递归权重矩阵、偏置矩阵,W_z,t+1、U_Ω,t+1、b_Ω,t+1分别代表t+1时刻输入权重矩阵、递归权重矩阵、偏置矩阵,η为学习率，取值0.01；

步骤3.3:输入训练样本数据,根据步骤3.2中的公式(26)-(35)更新输入权重、递归权重、偏置,每输入一组训练样本,权值更新一次；

步骤3.4:设定均方根误差函数为性能指标,定义如公式(36)所示:

其中,N为样本个数,训练时,t时刻的训练RMSE小于期望RMSE或者达到最大迭代次数时停止计算,其中最大训练迭代次数Iter数值为2000,期望RMSE数值为0.05,否则跳至步骤3.3；

步骤4:出水BOD预测；

将测试样本数据作为训练好的简化型长短期记忆神经网络的输入,得到简化型长短期记忆神经网络的输出,将其进行反归一化得到出水BOD浓度。

在本实施例中，出水BOD浓度预测方法训练RMSE如图2所示，X轴为迭代步数，Y轴为训练RMSE的值；出水BOD浓度预测结果如图3所示，X轴为测试样本个数，Y轴为出水BOD浓度值，单位是mg/L，实线为出水BOD浓度期望输出值，虚线为出水BOD浓度实际输出值；出水BOD浓度测试误差如图4所示，X轴为测试样本个数，Y轴为出水BOD浓度预测误差，单位是mg/L。

表1是本发明实验数据，为出水BOD浓度(mg/L)。

Claims (1)

1.一种基于简化型长短期记忆神经网络的出水BOD预测方法,其特征在于,包括以下步骤:

步骤1:时间序列出水BOD数据预处理；

采集污水处理厂水质参数数据,选取前8时刻的BOD浓度作为输入变量，下一时刻的BOD浓度作为输出变量；将输入变量,输出变量按照公式(1)归一化至[-1,1]:

其中,M_t表示t时刻出水BOD浓度,x_t表示归一化后的t时刻出水BOD浓度；

步骤2:设计出水BOD的简化型长短期记忆神经网络预测模型结构；

设计的简化型长短期记忆神经网络,包含输入门、状态单元、输出门,各结构的计算功能如下:

①输入门:该结构输入变量的维度为8,代表前8时刻的BOD浓度,控制当前时刻的输入向量x_t保存至网络的程度,通过公式(2)-(3)实现：

z_t＝g(W_zx_t+U_zh_t-1+b_z) (2)

i_t＝σ(U_ih_t-1+b_i) (3)

其中,z_t为输入网络中的输入信号,i_t为输入控制信号,W_z为z_t中的输入权重矩阵,U_z、U_i分别为z_t、i_t中的递归权重矩阵，b_z、b_i为偏置矩阵,σ为sigmoid激活函数,g为tanh激活函数；

②状态单元：该结构维度为15,使用输入门i_t结构同时控制遗忘和选择记忆,由1-i_t代替标准LSTM中遗忘门对上一时刻的状态单元进行选择性记忆,当i_t为0时,上一时刻的状态单元全部记忆,当i_t为1时,上一时刻的状态单元全部遗忘,从而实现了输入门与遗忘门的耦合,如公式(4)所示：

c_t＝(1-i_t)ec_t-1+z_t (4)

其中,e表示矩阵点乘操作,c_t为t时刻状态单元,c_t-1为t-1时刻状态单元；

③输出门:控制当前时刻状态单元信息c_t的输出程度,若o_t数值为0则当前时刻单元状态c_t全部不输出,h_t输出值为0；若o_t数值为1,则当前时刻单元状态c_t全部输出；通过公式(5)-(6)实现:

o_t＝σ(U_oh_t-1+b_o) (5)

h_t＝o_teg(c_t) (6)

其中,o_t为输出控制信号,h_t为t时刻的输出向量,h_t-1为t-1时刻的输出向量,U_o为o_t中的递归权重矩阵,b_o为偏置矩阵；

步骤3:设计出水BOD的简化型长短期记忆神经网络学习算法；

步骤3.1:定义性能指标函数如公式(7)所示：

其中,h_d,t为网络在t时刻的期望输出,h_t为网络在t时刻的实际输出；

步骤3.2:采用梯度下降算法进行参数修正；

①根据公式(8)-(11)计算t时刻输出向量h_t、输入信号z_t、输入门i_t、输出门o_t的误差项:

δh_t＝δz_t+1U_z+δi_t+1U_i+δo_t+1U_o (8)

δz_t＝δh_te o_te(1-g(c_t)²)e i_te(1-(z_t)²) (9)

δi_t＝δh_te o_te(1-g(c_t)²)e z_te i_te(1-i_t) (10)

δo_t＝δh_te g(c_t)eo_te(1-o_t) (11)

其中,δh_t、δz_t、δi_t与δo_t分别代表t时刻输出向量h_t、输入信号z_t、输入门i_t、输出门o_t的误差项,δz_t+1、δi_t+1与δo_t+1分别代表t+1时刻输入信号z_t+1、输入门i_t+1、输出门o_t+1的误差项；

②计算t时刻输入权重矩阵、递归权重矩阵、偏置矩阵的更新值如公式(12)-(14)所示:

δb_Ω,t＝δΩ_t (14)

其中,表示矩阵叉乘操作,Ω分别代表{z,i,o}中的任意一个,δW_z,t、δU_Ω,t、δb_Ω,t分别代表t时刻输入权重矩阵、递归权重矩阵、偏置矩阵的更新值,δΩ_t分别代表t时刻输入信号z_t、输入门i_t、输出门o_t的误差项；

③根据公式(15)-(17)计算t时刻更新后的输入权重矩阵、递归权重矩阵、偏置矩阵:

W_z,t＝W_z,t+1-η×δW_z,t (15)

U_Ω,t＝U_Ω,t+1-η×δU_Ω,t (16)

b_Ω,t＝b_Ω,t+1-η×δb_Ω,t (17)

其中,W_z,t、U_Ω,t、b_Ω,t分别代表更新后的t时刻输入权重矩阵、递归权重矩阵、偏置矩阵,W_z,t+1、U_Ω,t+1、b_Ω,t+1分别代表t+1时刻输入权重矩阵、递归权重矩阵、偏置矩阵,η为学习率，取值0.01；

步骤3.3:输入训练样本数据,根据步骤3.2中的公式(8)-(17)更新输入权重、递归权重、偏置,每输入一组训练样本,权值更新一次；

步骤3.4:设定均方根误差函数为性能指标,定义如公式(18)所示:

其中,N为样本个数,训练时,t时刻的训练RMSE小于期望RMSE或者达到最大迭代次数时停止计算,其中最大训练迭代次数Iter数值为2000,期望RMSE数值为0.05,否则跳至步骤3.3；

步骤4:出水BOD预测；

将测试样本数据作为训练好的简化型长短期记忆神经网络的输入,得到简化型长短期记忆神经网络的输出,将其进行反归一化得到出水BOD浓度。