CN113837356A - 基于融合神经网络的污水处理智能预测方法 - Google Patents

Abstract

本发明涉及基于融合神经网络的污水处理智能预测方法，包括：选取合适主导变量及辅助变量，构建指标数据集，进行数据归一化处理；构建NLSTM与Attention融合神经网络预测模型，定义模型损失函数及优化器；对模型进行训练，通过训练后模型对污水处理单元输出变量进行智能预测和评估，并获得污水处理单元状况预测和评估结果，指导污水处理过程优化。本发明涉及的系统包括：设置在污水处理单元中获取关联参数用传感器、与所述传感器通信连接的处理器以实施上述的方法。本发明可用于预测污水处理单元出水状况等指标，实现污水处理过程智能预测和评估，促进污水处理单元高效稳定运行。

Description

基于融合神经网络的污水处理智能预测方法

技术领域

本发明属于水体测控技术领域，具体涉及基于融合神经网络的污水处理智能预测方法及其系统。

背景技术

污水处理一般经过一级物化和二级生化等流程，其中一级物化处理主要是为了去除悬浮固体物(SS)和少部分化学需氧量(COD)与生物需氧量(BOD)；二级生化处理用于去除绝大部分COD与BOD。为了监控污水处理系统稳定性，确保处理污水可达标排放，一般需对出水COD和SS等指标进行实时监测。污水处理过程复杂，机理尚未完全清楚，很难用精确的机理模型来有效预测、评估和调控出水情况。为了解决传统控制系统过分依赖机理模型的问题，近年来研究者提出建立智能系统数据驱动软测量模型来预测、评估和调控出水情况。

常用污水处理系统数据驱动软测量模型主要有多元统计回归、人工神经网络、神经模糊系统和混合模型、支持向量回归等方法，但上述方法均存在某种程度缺陷，无法准确的反映污水处理过程多参数时变状态下带来的高不确定性或存在过拟合情况。在深度学习模型中，每一层网络结构都包含非线性激活函数，使得深度学习具有较强的非线性逼近和拟合能力，也更适用于污水处理过程中非线性特性的处理。此外，由于各项水质指标具有时序性，污水处理前和处理后所采集的样本之间存在一定的相关性，即当前时刻的样本会受到前一时刻的样本值的影响。若再采用传统静态软测量建模方法来对污水处理水质数据进行处理，难以获得很好的建模效果。基于深度学习的循环神经网络模型，可以根据具体要求任意扩展模型数据序列的长度，与传统的静态建模方法相比，大幅提高建模效率和效果。然而，循环神经网络模型有多种框架，如何针对污水处理过程典型特征，开发新型融合神经网络模型，并进而满足污水处理过程智能监管及评估等问题亟待解决。

发明内容

本发明提供基于融合神经网络的污水处理智能预测(评估)方法和系统，旨在至少解决现有污水处理过程智能监管及评估等技术中存在的技术问题之一。具体地，本发明提出基于污水处理单元进水指标参数与出水指标、模型控制参数之间关系，充分利用Attention机制获得新的注意力状态和嵌套长短时记忆神经网络Nested-LSTM准确感知对象演变内在规律，创建一种基于NLSTM与Attention融合神经网络的污水处理智能预测和评估模型，对出水COD和出水SS浓度等参数进行预测和评估，实现污水处理系统智能监管及评估。

本发明的技术方案一方面涉及一种基于融合神经网络的污水处理智能预测方法，包括步骤：

S1、根据污水处理过程，将污水处理单元所关联参数作为输入变量和输出变量；

S2、基于所述输入变量获取污水指标数据并进行数据预处理，构建污水指标数据训练集与测试集，并且对数据集进行序列化；

S3、构建NLSTM与Attention融合神经网络模型，将所述污水指标数据训练集输入至所述NLSTM与Attention融合模型，并配置损失函数及优化器；

S4、根据所述损失函数及优化器，对所述NLSTM与Attention融合模型进行训练；

S5、通过训练后NLSTM与Attention融合模型对所述输出变量进行智能预测和评估，并获得污水处理单元状况预测和评估结果。

进一步，所述输入变量至少包含进水化学需氧量(COD)、流量(Q)、悬浮固体物(SS)浓度、溶解氧(DO)和pH值，所述输出变量至少包含出水COD和出水SS浓度。

进一步，所述步骤S2包括：

S201、将获取污水指标数据进行归一化处理；

S202、基于归一化的污水指标数据，以矩阵形式构建污水指标数据集：

其中，污水指标数据集矩阵的行向量表示不同类别的污水指标数据，列向量表示同一类别不同时刻的污水指标数据，m为数据集中每个类别污水指标数据的数据长度；然后，将所述污水指标数据集划分为训练集和测试集；

S203、根据预测模型输入数据大小的需求，通过下式对训练集进行数据序列化处理：

其中，k为污水指标数据的类别数，t为数据集中的时间步长即数据长度，Train′为训练集序列化处理后的结果；并且对测试集采用与所述训练集所关联的序列化方式进行数据序列化。

进一步，所述步骤S20l包括通过以下公式实施所述训练数据的归一化处理：

其中，

是第x维特征值中第i个原始数据值，minF_x是第x维特征值F_x的最小值，maxF_x为第x维特征值f_x的最大值。

进一步，所述NLSTM与Attention融合神经网络模型包括输入层、Nested-LSTM隐含层、Attention层和输出层。而所述步骤S3包括：

S30l、构建Nested-LSTM神经网络隐含层单元；

S302、以均方误差方式作为预测模型的损失函数

其中，n为训练样本数量，y_i为第i个样本的预测值，y′_i为第i个样本的真实值；

S303、以Adam优化器作为所述NLSTM与Attention融合神经网络模型的优化器。

进一步，所述步骤S301包括以隐含层中Attention机制层的输出作为所述输出层的输入，以Softmax函数对输出层的输入进行计算从而得到预测输出：

y_k＝softmax(w₁Y+b₁)

其中，w₁表示Attention机制层到输出层需要训练的权重系数矩阵，b₁表示需要训练的对应偏置，y_k为对应的预测输出。

进一步，所述步骤S4包括：根据定义的模型损失函数及Adam优化器，基于反向传播算法对模型进行训练，选取相对最优参数下的模型训练结果作为最终结果，完成模型训练。

进一步，所述步骤S5包括：

S50l、将测试集作为训练后模型的输入，对测试集出水COD和出水SS浓度未来状态进行预测；

S502、利用均方根误差RMSE、平均绝对百分比误差MAPE以及决定系数R²作为评价指标来检验模型的性能并对测试集预测结果进行误差分析，其中，

其中，y′_i为预测值，y_i为真实值，

为y_i的均值，N为被测样本总数。

本发明的技术方案还涉及一种计算机可读存储介质，其上储存有计算机程序指令，所述计算机程序指令被处理器执行时实施上述的方法。

本发明的技术方案还涉及一种基于融合神经网络的污水处理智能预测系统，包括：设置在污水处理单元中获取水体参数用传感器、与所述传感器通信连接的处理器以及所述的计算机可读存储介质。

本发明与现有技术相比，具有如下有点和有益效果：

(1)本发明采用Attention机制对Nested-LSTM网络进行优化融合，Attention机制通过计算不同时刻Nested-LSTM网络中输出的特征向量的权重，突出对预测结果占比更大的特征，从而对特定神经网络模型的整体性能进行优化，可用于多个过程的软测量及分析评估。

(2)本发明结合Attention机制、嵌套长短时记忆神经网络、反向传播算法等方法优点，构建了NLSTM与Attention融合模型，可用于预测污水处理单元出水COD和出水SS浓度等相关参数，实现污水处理过程智能预测和评估，促进污水处理单元高效稳定运行。

附图说明

图1是根据本发明的实施例中Nested-LSTM神经网络结构示意图。

图2是根据本发明的实施例中NLSTM与Attention融合神经网络模块结构图。

图3是根据本发明的实施例所实现的出水COD预测值与真实值对比。

图4是根据本发明的实施例所实现的出水SS浓度预测值与真实值对比。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

在对本发明实施例进行进一步详细说明之前，先对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释：

BOD：biochemical oxygen demand，生物需氧量；

COD：chemical oxygen demand，化学需氧量；

DO：dissolved oxygen，溶解氧；

SS：suspended solids，悬浮固体物。

在一些实施例中，根据本发明的一种基于融合神经网络的污水处理智能预测方法，包括以下步骤：

S1、根据污水处理过程，获取污水处理单元合适水质参数作为输入变量和输出变量；

S2、获取污水指标数据并进行数据预处理，构建污水指标数据集，其中划分训练集与测试集，然后对数据集进行序列化；

S3、构建NLSTM与Attention融合模型(如图1所示)，将污水指标数据训练集作为模型输入，定义模型损失函数及优化器；

S4、对NLSTM与Attention融合模型进行训练，得到训练后NLSTM与Attention融合模型；

S5、通过训练后NLSTM与Attention融合模型对污水处理系统输出变量进行智能预测和评估，获得污水处理单元状况预测和评估结果，并指导污水处理过程优化。

下面通过一些具体的实施方式来分别描述上述步骤。

对于步骤S1

可以通过计算机接口获取污水处理单元合适参数为输入变量和输出变量。所述输入自变量至少包含污水处理单元进水COD、流量Q、SS、温度T、DO和pH；所述输出变量至少包含污水处理单元出水COD和出水SS浓度。

对于步骤S2

步骤S2的具体过程如下。

S201、获取污水指标数据，进行数据归一化处理，数据归一化数学表达式如下所示：

式中：

是第x维特征值中第i个原始数据值；minF_x是第x维特征值F_x的最小值；maxF_x是第x维特征值F_x的最大值。

S202、获取归一化后的污水指标数据，构建污水指标数据集，数据集构建形式如下所示：

其中，数据集的行向量表示不同类别的污水指标数据，列向量表示同一类别不同时刻的污水指标数据，m为数据集中每个类别污水指标数据的数据长度。

然后，以一定的数据分配比例(比如14∶3)，将上述数据集划分为训练集和测试集。

S203、为满足预测模型输入数据大小的需求，对训练集和测试集进行数据序列化处理，训练集数据序列化结果如下所示：

其中，k为污水指标数据的类别数，t为数据集中的时间步长即数据长度，Train′为训练集序列化处理后的结果。

对于测试集，可以采用相同序列化方法进行数据序列化，这里不重复举例。

对于步骤S3

如图2所示，用于预测出水COD和出水SS浓度融合软测量模型层数为4层，包含1个输入层、1个Nested-LSTM隐含层、1个Attention层和1个输出层。步骤S3具体过程如下。

S301、构建NLSTM与Attention融合神经网络。

首先构建Nested-LSTM神经网络隐含层单元，隐含层单元处理信息过程数学表达式如下所示：

i_t＝σ_i(x_tW_xi+h_t-1W_hi+b_i)

f_t＝σ_f(x_tW_xf+h_t-1W_hf+b_f)

o_t＝σ_o(x_tW_xo+h_t-1W_ho+b_o)

上述公式中，

分别表示t时刻内部LSTM单元的输出、输入、输入门、遗忘门、单元状态、输出门；h_t、x_t、i_t、f_t、c_t、o_t分别表示t时刻外部LSTM单元的输出、输入、输入门、遗忘门、单元状态、输出门；

σ_f、σ_i、σ_o表示Sigmoid函数；

σ_c、σ_h为tanh函数；

为内部LSTM的权重矩阵；W_xf、W_hf、W_xi、W_hi、W_xc、W_hc、W_xo、W_ho为外部LSTM的权重矩阵；

为内部LSTM的偏置项；b_f、b_i、b_c、b_o为外部LSTM的偏置项；⊙是矩阵元素逐点相乘的操作。

将Nested-LSTM隐含层输出的第t个特征向量o_t输入Attention层得到初始状态向量s_t，根据状态向量s_t所确定的能量值重新计算得到权重系数α_t，而后经过求和得到最终的输出状态向量Y，计算过程如下：

e_t＝tanh(w_ts_t+b_t)

式中：e_t表示第t个特征向量的状态向量s_t所需要确定的能量值；w_t表示第t个特征向量的权重系数矩阵；b_t表示第t个特征向量相对应的偏移量。根据第二个公式，可以用来实现由一个输入的初始状态到一个新的注意力状态之间的转化，之后再得到最终输出状态向量Y。

输出层的输入是隐含层中Attention机制层的输出，用Softmax函数对输出层的输入进行相应的计算从而得到相应的预测输出，具体的计算公式如下：

y_k＝softmax(w₁Y+b₁)

其中：w₁表示Attention机制层到输出层需要训练的权重系数矩阵；b₁表示需要训练的对应偏置；y_k为对应的预测输出。

S302、为使模型的预测值能更接近于实际值，本发明采用均方误差作为预测模型的损失函数，其数学表达式如下：

其中，n为训练样本数量，y_i为第i个样本的预测值，y′_i为第i个样本的真实值。

S303、为对模型的学习率和参数进行优化，本发明采用Adam作为优化器，其更新规则如下：

计算t时间步的梯度：

首先，计算梯度的指数移动平均数，m₀初始化为0。β₁系数为指数衰减系数，控制权重分配(动量与当前梯度)，通常取接近于l的值，默认为0.9。

m_t＝β₁m_t-1+(1-β₁)g_t

其次，计算梯度平方的指数移动平均数，v₀初始化为0。β₂为指数衰减率，控制之前的梯度平方的影响情况，默认为0.999。

第三，对均值m_t进行偏差纠正，降低偏差对训练初期的影响。

第四，对v_t进行偏差纠正。

第五，更新参数，初始的学习率α乘以梯度均值与梯度方差的平方根之比。ε＝10^-8，避免除数变为0。

对于步骤S4

将划分好的训练集作为模型输入，根据定义的模型损失函数及Adam优化器，基于反向传播算法对模型进行训练，选取相对最优参数下的训练结果作为最终结果，完成模型训练。

对于步骤S5

步骤S5的具体过程如下。

S501、将测试集作为训练后模型的输入，对测试集出水COD和出水SS浓度未来状态进行预测；

S502、利用均方根误差RMSE、平均绝对百分比误差MAPE以及决定系数R²作为评价指标来检验模型的性能并对测试集预测结果进行误差分析；

式中：y′_i为预测值，y_i为真实值，

为y_i的均值，N为被测样本总数。

在根据本发明的一些实施例中，可以结合Python语言编译上述NLSTM与Attention融合网络结构及相应改进算法程序，并将所编译程序录入根据本发明的污水处理智能预测和评估系统及相关仪表设备中。

NLSTM与Attention融合神经网络模型在进行实际污水处理出水COD和SS浓度在线软测量前要先进行离线训练，包括：将历史样本用作于模型训练集传递到污水处理管控系统及仪表中，通过NLSTM与Attention融合模型分析计算管控模型以满足所需要的性能，然后将训练后的模型保存在污水处理系统中。

将训练好的污水处理智能预测和评估系统及相关仪表设备运用到污水处理现场进行实时软测量，先用传感器和相应在线监测仪器对处理单元进水COD、SS、流量Q、pH、温度T、溶解氧DO进行监测，然后把所测得数据导入系统仪表中，利用训练后的NLSTM与Attention融合模型进行系统出水COD和出水SS浓度估算，并指导污水处理系统控制参数优化；设置固定时间间隔，进行污水处理过程预测与评估。

此外，此智能预测和评估方法，同时需要利用有线或者无线接口与集控室以太网进行连接，并将所测数据导入监控主机，运行基于NLSTM与Attention融合模型的管控系统和平台对所测数据进行分析，预测出水COD和出水SS浓度，评估处理单元出水水质和运行状况，准确诊断出系统发生故障时间和位点，促进系统高效稳定运行。

基于本实施例提供的方法和系统能够实现污水处理系统出水COD和出水SS浓度预测，由图3和图4可知，NLSTM与Attention融合模型预测值和真实值间均方误差RMSE和平均绝对百分比误差MAPE较小，R2较大(COD：3.9416、4.5490％、0.6390；SS：0.5774、1.4992％、0.5968)，能够准确地实现系统出水状况预测和评估。

此外，为了体现NLSTM与Attention融合模型优越性，将其和BiRNN与Attention融合模型、BiRNN神经网络和Nested-LSTM神经网络进行比较，四者预测性能差异如表1所示。由表1可知，4种算法对出水COD预测差别不大，均有较好的预测性能。根据出水SS浓度实际值与预测值间误差对比结果，BiRNN与Attention融合模型算法、NLSTM与Attention融合模型算法的评价指标分别为RMSE＝0.6055，MAPE＝1.6717％，R²＝0.5565；RMSE＝0.5774，MAPE＝1.4992％，R²＝0.5968。BiRNN与Attention融合模型算法、NLSTM与Attention融合模型算法要优于BiRNN算法、Nested-LSTM算法评价指标，综合性能表现效果良好，Attention机制很好地对网络进行了优化。对比可知，NLSTM与Attention融合模型评价指标均优于BiRNN与Attention融合模型算法。

表1.本发明的实施例中NLSTM与Attention融合模型与其他模型预测性能比较

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于融合神经网络的污水处理智能预测方法，其特征在于，所述方法包括以下步骤：

S1、根据污水处理过程，将污水处理单元所关联参数作为输入变量和输出变量；

S2、基于所述输入变量获取污水指标数据并进行数据预处理，构建污水指标数据训练集与测试集，并对数据集进行序列化；

S3、构建NLSTM与Attention融合神经网络模型，将所述污水指标数据训练集输入至所述NLSTM与Attention融合模型，并配置损失函数及优化器；

S4、根据所述损失函数及优化器，对所述NLSTM与Attention融合模型进行训练；

S5、通过训练后NLSTM与Attention融合模型对所述输出变量进行智能预测和评估，并获得污水处理单元状况预测和评估结果。

2.根据权利要求1所述的方法，其中，所述输入变量至少包含进水化学需氧量(COD)、流量(Q)、悬浮固体物(SS)浓度、溶解氧(DO)和pH值，所述输出变量至少包含出水COD和出水SS浓度。

3.根据权利要求1所述的方法，其中，所述步骤S2包括：

S201、将获取污水指标数据进行归一化处理；

S202、基于归一化的污水指标数据，以矩阵形式构建污水指标数据集：

其中，污水指标数据集矩阵的行向量表示不同类别的污水指标数据，列向量表示同一类别不同时刻的污水指标数据，m为数据集中每个类别污水指标数据的数据长度；然后，将所述污水指标数据集划分为训练集和测试集；

S203、根据预测模型输入数据大小的需求，通过下式对训练集进行数据序列化处理：

其中，k为污水指标数据的类别数，t为数据集中的时间步长即数据长度，Train′为训练集序列化处理后的结果；并且对测试集采用与所述训练集所关联的序列化方式进行数据序列化。

4.根据权利要求3所述的方法，其中，所述步骤S201包括：

通过以下公式实施所述训练数据的归一化处理：

其中，

是第x维特征值中第i个原始数据值，minF_x是第x维特征值F_x的最小值，maxF_x为第x维特征值F_x的最大值。

5.根据权利要求1所述的方法，其中，所述NLSTM与Attention融合神经网络模型包括输入层、Nested-LSTM隐含层、Attention层和输出层，

所述步骤S3包括：

S301、构建Nested-LSTM神经网络隐含层单元；

S302、以均方误差方式作为预测模型的损失函数

其中，n为训练样本数量，y_i为第i个样本的预测值，y′_i为第i个样本的真实值；

S303、以Adam优化器作为所述NLSTM与Attention融合神经网络模型的优化器。

6.根据权利要求5所述的方法，其中，所述步骤S301包括：

以隐含层中Attention机制层的输出作为所述输出层的输入，以Softmax函数对输出层的输入进行计算从而得到预测输出：

y_k＝softmax(w₁Y+b₁)

其中，w₁表示Attention机制层到输出层需要训练的权重系数矩阵，b₁表示需要训练的对应偏置，y_k为对应的预测输出。

7.根据权利要求5所述的方法，其中，所述步骤S4包括：

根据定义的模型损失函数及Adam优化器，基于反向传播算法对模型进行训练，选取相对最优参数下的模型训练结果作为最终结果，完成模型训练。

8.根据权利要求1所述的方法，其中，所述步骤S5包括：

S501、将测试集作为训练后模型的输入，对测试集出水COD和出水SS浓度未来状态进行预测；

S502、利用均方根误差RMSE、平均绝对百分比误差MAPE以及决定系数R²作为评价指标来检验模型的性能并对测试集预测结果进行误差分析，其中，

其中，y′_i为预测值，y_i为真实值，

为y_i的均值，N为被测样本总数。

9.一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至8中任一项所述的方法。

10.一种基于融合神经网络的污水处理智能预测系统，其特征在于，包括设置在污水处理单元中用于获取水体参数的传感器、与所述传感器通信连接的处理器以及根据权利要求9所述的计算机可读存储介质。

Images