CN112000004A - 一种利用迭代二次启发式规划的污水处理浓度控制方法 - Google Patents

Abstract

本发明公开一种利用迭代二次启发式规划的污水处理浓度控制方法，用于求解离散时间非线性动态系统的近似最优控制问题，并应用于污水处理系统中溶解氧和硝态氮的浓度控制设计。将二次启发式规划技术与迭代自适应评判框架相结合，在处理近似最优调节问题时，不需要已知被控对象的动态信息，而且可以降低神经网络反向传播的计算复杂度。这样，当开展先进控制设计时，能够有效利用污水处理数据资源，并在自适应学习过程中达到智能优化的目的。

Description

一种利用迭代二次启发式规划的污水处理浓度控制方法

技术领域

本发明属于污水处理技术领域，尤其涉及一种利用迭代二次启发式规划的污水处理浓度控制方法。

背景技术

作为缓解我国水资源短缺问题的一种有效手段，提高污水处理技术水平对于经济社会可持续发展具有重要作用。但是，污水处理过程具有典型的非线性特征，生化反应机理复杂、耦合关系明显，难以建立精确的数学模型，而且具有水质、能耗等方面的要求。其中，关于溶解氧和硝态氮的浓度控制是污水处理领域的一类基本问题。利用传统方法设计的控制器，往往具有自适应能力差、系统能耗较大等缺点。因此，设计自适应能力强而且优化效果明显的先进控制方法，是污水处理领域需要迫切解决的问题，并与复杂非线性系统的优化反馈控制密切相关。本发明将提出一种先进的迭代启发式学习方法，用于解决一类污水处理系统的浓度控制问题。

设计非线性系统优化控制器的主要困难是求解Hamilton-Jacobi-Bellman(简称HJB)方程。结合强化学习、动态规划、神经网络产生的自适应评判设计，是求解非线性HJB方程的一种智能近似方法，典型的实现结构包括启发式动态规划和二次启发式规划。在这两种实现技术中，一般都包括模型网络、评判网络和执行网络，不同之处在于评判网络的输出方式以及由此带来的神经网络反向传播途径的差异。在启发式动态规划技术中，评判网络仅仅输出代价函数，而二次启发式规划技术中的评判网络输出代价函数的导函数，更加有利于得到优化控制律的表达式。此外，考虑迭代形式的数值求解思想产生的迭代自适应评判方法，可以较好地保证算法的收敛性能，因此得到了广泛关注。一般来说，将启发式动态规划和二次启发式规划技术置于迭代自适应评判框架之中，可以分别产生迭代启发式动态规划算法和迭代二次启发式规划算法，它们在求解非线性系统优化控制问题中具有重要作用。

目前，自适应评判方法已经运用于许多复杂工业场景，其中基本的启发式动态规划技术由于结构简单、容易实现，得到了广泛应用，其中包括迭代机制下的启发式动态规划算法。二次启发式规划技术相对于启发式动态规划技术具有明显的优点，能够产生更好的控制效果，但是，二次启发式规划算法很少应用于污水处理领域，尤其没有关于迭代机制下二次启发式规划算法设计的工程应用成果。由于污水处理过程具有非线性、动态未知等复杂特性，如果利用传统控制方法，面临着难以有效应对复杂动态和难以满足优化性能要求的问题。

发明内容

大力发展污水处理技术在实现水资源循环利用和保护生态环境过程中发挥着重要作用。但是，复杂的生化反应机理、精确建模的困难以及系统耦合关系的广泛存在，致使污水处理过程往往具有非线性、不确定等动态特性，这增加了设计优化控制器的难度。在此背景下，本发明提出一种利用迭代二次启发式规划的污水处理浓度控制方法，用于求解离散时间非线性动态系统的近似最优控制问题，并应用于污水处理系统中溶解氧和硝态氮的浓度控制设计。将二次启发式规划技术与迭代自适应评判框架相结合，在处理近似最优调节问题时，不需要已知被控对象的动态信息，而且可以降低神经网络反向传播的计算复杂度。这样，当开展先进控制设计时，能够有效利用污水处理数据资源，并在自适应学习过程中达到智能优化的目的。

附图说明

图1迭代二次启发式规划中的评判网络结构图；

图2利用迭代二次启发式规划的污水处理浓度控制方法流程图；

图3神经辨识器的训练误差；

图4神经辨识器的测试误差；

图5调节器设计问题的迭代协函数收敛曲线；

图6调节器设计问题的状态曲线：(a)第一分量；(b)第二分量；

图7调节器设计问题的控制曲线：(a)第一分量；(b)第二分量；

图8污水处理系统的浓度曲线：(a)第一分量；(b)第二分量；

图9污水处理系统的控制曲线：(a)第一分量；(b)第二分量。

具体实施方式

本发明提出一种利用迭代二次启发式规划的污水处理浓度控制方法，用于求解离散时间非线性动态系统的近似最优控制问题，并应用于污水处理系统中溶解氧和硝态氮的浓度控制设计。将二次启发式规划技术与迭代自适应评判框架相结合，在处理近似最优调节问题时，不需要已知被控对象的动态信息，而且可以降低神经网络反向传播的计算复杂度。这样，当开展先进控制设计时，能够有效利用污水处理数据资源，并在自适应学习过程中达到智能优化的目的。

有效处理污水是解决日益严重的水资源短缺问题的重要途径。考虑一个典型的污水处理过程，如图2所示，基准仿真模型1是一个典型的污水处理平台，包括生化反应器和二沉池。一般来说，经过对污水入水的初级处理，污泥可以直接排入特定的污泥池中，剩余部分则流入生化反应器中进行处理，然后通过二沉池的进一步作用后，上层清水注入受纳河流，下层污泥则经过外循环回流至前期阶段以重新进入污水处理流程。其中，生化反应器具有五个分区，从左至右分别是第一、二、三、四、五分区：第一、二分区为缺氧单元，主要进行污水处理反硝化过程；第三、四、五分区为好氧单元，主要进行污水处理的硝化过程。本发明主要关注第五分区的溶解氧浓度和第二分区的硝态氮浓度，以及与它们相关的控制变量。这里用S_O,5表示第五分区的溶解氧浓度，用S_NO,2表示第二分区的硝态氮浓度，用K_La₅表示第五分区的氧气转换系数，用Q_a表示第五分区到第二分区的内回流量。这种基准仿真平台的主要控制目标是确保S_O,5和S_NO,2达到它们的期望值，即2(mg/L)和1(mg/L)，而与它们有关的控制参数分别为K_La₅和Q_a。实际上，这是一类关于浓度的未知非线性系统轨迹跟踪问题，需要设计合适的跟踪控制律。

如图2所示，本发明提供一种利用迭代二次启发式规划的污水处理浓度控制方法包括以下步骤：

步骤1、将污水处理浓度控制问题转化为最优调节器设计。定义溶解氧浓度和硝态氮浓度相当于与它们期望值的差值为跟踪误差，定义待设计的控制量与稳态控制的差值为跟踪控制，将原始的浓度跟踪控制问题转化为最优调节器设计。

在本发明中，用k表示系统运行的时间步，即称为时刻，且

定义

为k时刻实际测量的溶解氧浓度和硝态氮浓度组成的原始状态向量，而

为两个浓度的期望值。定义

为k时刻氧气转换系数和内回流量组成的实际控制动作，而

为稳定控制输入且可以通过数值计算求得。为使测量状态

跟踪上期望值

本发明将设计一个跟踪反馈控制律，其中，k时刻的跟踪误差和跟踪控制分别定义为

和

而且可以分别视为最优调节器设计问题中的状态向量与控制向量。这里，表征状态向量x(k)与控制向量u(k)关系的非线性连续函数为F(·,·)，而相应的离散时间非线性动态系统的状态空间方程为x(k+1)＝F(x(k),u(k)) (1)

零时刻的状态向量x(0)为系统(1)的初始状态，即

并且是u＝0情况下的唯一平衡点，即有F(0,0)＝0。

对于非线性最优调节器设计问题，需要找到容许控制律集合中的一个合适反馈控制律u，使得如下形式的代价函数达到最小

这里，U(x,u)为效用函数，U(0,0)＝0，且对于任意的状态向量x(k)与控制向量u(k)，都有U(x,u)＝x^TQx+u^TRu≥0成立，其中，Q和R是适当维数的正定矩阵。代价函数J(x(k),u(k))也可以简写为J(x(k))，而最优代价函数J^*(x(k))的定义为J^*(x(k))＝min_u J(x(k),u(k))。

在调节器设计中，最优代价函数J^*(x(k))满足离散时间HJB方程

相应的最优控制律表达式为

由于直接求解HJB方程(3)和得到精确的最优控制u^*(x(k))是困难的，本发明研究基于自适应评判的近似最优控制设计，通过利用迭代二次启发式规划算法得到与理想最优控制u^*(x(k))对应的近似最优控制

并应用

进行污水处理浓度的跟踪控制设计。

步骤2、构建与协函数相关的迭代自适应评判框架。为了近似求解非线性最优调节器设计问题，建立与协函数相关的迭代自适应评判框架，并进行预处理与初始化：获取污水处理平台的实际运行数据，选取神经网络结构层数、学习率、终止迭代次数参数。

在本发明中，用i表示外层迭代指标且

在迭代算法中，预先设置一个小的正数ε，并构造代价函数序列{J⁽ⁱ⁾(x(k))}和控制律序列{u⁽ⁱ⁾(x(k))}。首先，从J⁽⁰⁾(·)＝0开始执行迭代过程。然后，求解迭代控制律

更新迭代代价函数

为了更好的利用梯度信息，这里考虑代价函数相对于状态向量的偏导数，称为协函数。令

且

特别地，λ⁽⁰⁾(·)为迭代指标为零时的协函数。于是，迭代代价函数(6)相对于状态向量的偏导数可以写为

这样，公式(5)和(6)表示的迭代关系，就变成了公式(5)和(9)之间的迭代。也就是说，上述迭代过程为

λ⁽⁰⁾(·)→u⁽⁰⁾(·)→λ⁽¹⁾(·)→…→u⁽ⁱ⁾(·)→λ⁽ⁱ⁺¹⁾(·)→… (10)

当||λ⁽ⁱ⁺¹⁾(x(k))-λ⁽ⁱ⁾(x(k))||≤ε时，停止迭代过程并输出理想的最优控制律，即有u⁽ⁱ⁾(x(k))→u^*(x(k))。否则，令迭代指标i＝i+1并重复公式(5)和(9)，直到满足收敛性要求。

步骤3、分别构建污水处理平台的神经辨识器与调节器设计问题的模型网络。采集批量数据，利用数据驱动方法构造三层神经网络，以学习不同的非线性系统动态。构建神经辨识器以近似污水处理平台的动态信息并由此求解稳态控制输入，而构建模型网络以近似转化后调节器设计问题中的被控系统。

在本发明中，构建两个关于复杂系统动态模型的神经网络：一个用于重构原始的污水处理系统，称为神经辨识器；一个用于重构转化后的调节器设计问题的系统动态，称为模型网络。建立神经辨识器的主要目的是求解稳态控制输入，而建立模型网络的主要目的是用于近似调节器设计中的系统状态。

对于原始污水处理系统的神经辨识器，输入状态信号

和控制信号

辨识器的输出可以表示为

其中，

和

是权值矩阵，

和

是阈值向量，σ(·)是激活函数，通常选取tanh(·)作为神经网络的激活函数。定义训练过程中的性能度量为

对于调节器设计问题中的模型网络，输入状态信号x(k)和控制信号u(k)，模型网络的输出可以表示为

其中，ω₁和ν₁是权值矩阵，b₁和b₂是阈值向量。类似地，定义训练过程中的性能度量为

在利用MATLAB神经网络工具箱训练辨识器与模型网络之后，分别保存训练好的权值矩阵和阈值向量，就可以使用式(11)得到污水处理平台的近似浓度、使用式(13)得到调节器设计问题的近似状态。

步骤4、开展迭代二次启发式规划算法的神经网络实现。构建评判网络和执行网络并进行训练，直到迭代算法满足收敛性要求，在终止执行整个迭代过程之后，输出执行网络的最终权值并得到反馈控制律的神经网络表达。

步骤4-1、构建评判网络以近似迭代过程中的协函数，并利用梯度下降法训练其权值矩阵。

在传统的启发式动态规划技术实现中，评判网络输出迭代代价函数本身的近似值。与启发式动态规划不同的是，在迭代二次启发式规划中，评判网络的输出为近似的协函数向量。这里，基于状态变量x(k)以及第i+1次迭代的权值矩阵

和

评判网络的输出表达式为

迭代二次启发式规划中的评判网络结构图如图1所示。

结合迭代过程中协函数的表达式(9)，定义训练评判网络的性能度量为

采用经典的梯度下降法来更新评判网络的权值矩阵，即

其中，α₂＞0是评判网络的学习率，l是评判网络的内层迭代指标，用于衡量评判网络训练过程中的内部循环。

步骤4-2、构建执行网络以近似迭代过程中的控制函数，并利用梯度下降法训练其权值矩阵。

最后，基于状态变量x(k)以及第i次迭代的权值矩阵

和

构建执行网络以近似迭代控制律，其输出表达式为

类似地，结合迭代过程中控制律的表达式(5)，训练执行网络的性能度量为

采用经典的梯度下降法来更新执行网络的权值矩阵，即

其中，α₃＞0是执行网络的学习率，l是执行网络的内层迭代指标。值得注意的是，利用协函数表达式，在求解迭代过程中的控制律u⁽ⁱ⁾(x(k))时，可以直接利用评判网络的输出信息

避免计算相应的代价函数对于状态向量的偏导数。这样，在每次迭代中都减少这一反向传播途径，可以显著降低大批量迭代计算过程中的算法复杂度。

在迭代二次启发式规划算法的神经网络实现过程中，当迭代算法满足收敛要求时，有

也就是说，在执行上述自适应学习算法之后，可以得到实用的近似最优控制器

即得到对于理想最优控制律u^*(x(k))的神经网络近似表达

步骤5、解决污水处理浓度控制问题。利用转化后系统的优化调节器，可以得到原始污水处理系统中溶解氧和硝态氮浓度对于期望值的实际跟踪效果。

利用上述迭代二次启发式规划算法，将得到的调节器设计问题的实用控制律

作用于转化后的非线性动态系统，可以实现状态向量x(k)的更新。考虑到关系式

即可得到污水处理系统中溶解氧和硝态氮浓度相对于期望值的实际跟踪效果。类似地，利用上述实用控制律

产生的控制输入信号，实际污水处理平台中的氧气转换系数和内回流量可以通过

得到。至此，我们完成了利用迭代二次启发式规划的污水处理浓度控制设计。

本发明的创新之处：面向具有未知动态和复杂非线性特征的一类污水处理系统，利用迭代二次启发式规划算法进行浓度问题的控制器设计。通过对于污水处理平台数据资源的高效利用，构建合适的神经辨识器和模型网络分别得到近似的系统动态；将二次启发式规划技术置于迭代自适应评判框架，在评判网络和执行网络的交互训练中得到近似的优化控制结果；通过对于协函数信息的高效利用，降低神经网络反向传播的计算复杂度，由此显著提高了控制精度，从而实现溶解氧浓度和硝态氮浓度相对于期望值的最优跟踪。通过迭代自适应评判机制和协函数信息的有效利用，最终实现所述污水处理系统浓度问题的先进控制设计。

实验结果

本部分基于实际数据开展污水处理浓度控制的具体验证。在实验中，选择二次型形式的效用函数，其中，Q＝0.01I₂和R＝0.01I₂，I₂是2×2维的单位矩阵，将迭代二次启发式规划算法应用于经过变换后的优化调节问题。选择神经辨识器的结构为4-8-2(输入-隐藏-输出)，且学习率参数为α₁＝0.02。基于污水处理平台晴天情况的26000组样本数据，开展神经辨识器的训练与测试。利用其中的16000组样本数据进行训练，并利用另外的10000组样本数据进行测试，最终得到良好的辨识效果。神经辨识器的训练误差与测试误差分别如图3和图4所示。

这里，假设表征期望浓度

与稳态控制

的一个实用关系式为

其中，

是根据晴天情况实际进水数据得到的神经网络形式的污水处理系统动态信息。考虑到

通过数值计算可以得到稳态控制输入向量为

值得指出的是，稳态控制的得出为将轨迹跟踪问题转化为调节器设计问题提供了保障。

对于转化后的调节器设计问题，在建立并训练模型网络之后，保持其最终权值不变。然后，构建评判网络和执行网络并执行迭代二次启发式规划算法，经过7次迭代即得到迭代协函数的收敛曲线如图5所示。这说明评判网络和执行网络都得到了充分的训练，而且较快的收敛速度也验证了本发明中迭代算法的有效性。这里，评判网络和执行网络的结构分别为2-8-2和2-10-2，而它们的学习率分别为α₂＝0.07和α₃＝0.2，这些参数的选择主要依据工程经验和实际的控制需求。

由于实际污水处理平台中溶解氧浓度和硝态氮浓度的初始值分别为0.5和3.7，即

那么可以得到转化后的调节器设计问题的初始状态向量为x(0)＝[-1.5,2.7]^T。将经过迭代计算得到的控制律应用于调节器问题，经过600个时间步，状态曲线和相应的控制曲线分别如图6和图7所示，它们都是包含两个分量的二维向量。从中可以看出，经过所设计调节器的作用，状态向量逐渐趋于零向量，这实际上也隐含着良好的轨迹跟踪效果。注意到

和

那么原始污水处理系统的浓度变化曲线如图8所示，其中，第一分量反映溶解氧浓度对于期望值的跟踪效果，第二分量反映硝态氮浓度对于期望值的跟踪效果；而相应的控制输入曲线如图9所示，其中，第一分量反映氧气转换系数的变化曲线，第二分量反映内回流量的变化曲线。从上述实验结果可以看出，在氧气转换系数和内回流量的合理变化作用下，溶解氧浓度和硝态氮浓度实现了对于各自期望值的轨迹跟踪，这也验证了本发明建立的先进控制方法在污水处理过程中具有良好的应用效果。

针对实际污水处理系统的复杂特性和对于控制目标的要求，合理描述控制过程和定义相关参数，建立溶解氧浓度和硝态氮浓度的先进控制技术。不仅详细介绍了迭代自适应评判算法，而且给出二次启发式规划技术及其神经网络实现步骤，最终在保证智能优化控制效果的基础上，显著降低了迭代求解过程的计算复杂度。

Claims (2)

1.一种利用迭代二次启发式规划的污水处理浓度控制方法，其特征在于，设S_O,5表示第五分区的溶解氧浓度，S_NO,2表示第二分区的硝态氮浓度，K_La₅表示第五分区的氧气转换系数，Q_a表示第五分区到第二分区的内回流量，包括以下步骤：

步骤1、将污水处理浓度控制问题转化为最优调节器设计

设k表示系统运行的时间步，且

设

为k时刻实际测量的溶解氧浓度和硝态氮浓度组成的原始状态向量，设

为两个浓度的期望值，设

为k时刻氧气转换系数和内回流量组成的实际控制动作，设

为稳定控制输入；

设计一个跟踪反馈控制律，使测量状态

跟踪上期望值

设k时刻的跟踪误差和跟踪控制分别定义为

和

分别视为最优调节器设计问题中的状态向量与控制向量，表征状态向量x(k)与控制向量u(k)关系的非线性连续函数为F(·,·)，而相应的离散时间非线性动态系统的状态空间方程为

x(k+1)＝F(x(k),u(k)) (1)

对于非线性最优调节器设计问题，找到容许控制律集合中的一个合适反馈控制律u，使得如下形式的代价函数达到最小，即

其中，U(x,u)为效用函数，代价函数J(x(k),u(k))简写为J(x(k))，而最优代价函数J^*(x(k))的定义为J^*(x(k))＝min_u J(x(k),u(k))，

在调节器设计中，最优代价函数J^*(x(k))满足离散时间HJB方程

通过利用迭代二次启发式规划算法得到与理想最优控制u^*(x(k))对应的近似最优控制

并应用

进行污水处理浓度的跟踪控制设计，其中，

步骤2、构建与协函数相关的迭代自适应评判框架

设i表示外层迭代指标且

在迭代算法中，预先设置一个小的正数ε，并构造代价函数序列{J⁽ⁱ⁾(x(k))}和控制律序列{u⁽ⁱ⁾(x(k))}，首先从J⁽⁰⁾(·)＝0开始执行迭代过程，然后求解迭代控制律：

更新迭代代价函数

为了更好的利用梯度信息，考虑代价函数相对于状态向量的偏导数，称为协函数，令

且

其中，λ⁽⁰⁾(·)为迭代指标为零时的协函数，即迭代代价函数(6)相对于状态向量的偏导数写为：

公式(5)和(6)表示的迭代关系，变成公式(5)和(9)之间的迭代，上述迭代过程为λ⁽⁰⁾(·)→u⁽⁰⁾(·)→λ⁽¹⁾(·)→…→u⁽ⁱ⁾(·)→λ⁽ⁱ⁺¹⁾(·)→… (10)

当||λ⁽ⁱ⁺¹⁾(x(k))-λ⁽ⁱ⁾(x(k))||≤ε时，停止迭代过程并输出理想的最优控制律，即有u⁽ⁱ⁾(x(k))→u^*(x(k))，否则，令迭代指标i＝i+1并重复公式(5)和(9)，直到满足收敛性要求。

步骤3、分别构建污水处理平台的神经辨识器与调节器设计问题的模型网络

对于原始污水处理系统的神经辨识器，输入状态信号

和控制信号

辨识器的输出表示为

其中，

和

是权值矩阵，

和

是阈值向量，σ(·)是激活函数，

对于调节器设计问题中的模型网络，输入状态信号x(k)和控制信号u(k)，模型网络的输出表示为：

在训练辨识器与模型网络之后，分别保存训练好的权值矩阵和阈值向量，就可以使用式(11)得到污水处理平台的近似浓度、使用式(13)得到调节器设计问题的近似状态；

步骤4、开展迭代二次启发式规划算法的神经网络实现

构建评判网络和执行网络并进行训练，直到迭代算法满足收敛性要求，在终止执行整个迭代过程之后，输出执行网络的最终权值并得到反馈控制律的神经网络表达，即得到对于理想最优控制律u^*(x(k))的神经网络近似表达

步骤5、利用转化后系统的优化调节器，得到原始污水处理系统中溶解氧和硝态氮浓度对于期望值的实际跟踪效果

利用上述迭代二次启发式规划算法，将得到的调节器设计问题的实用控制律

作用于转化后的非线性动态系统，实现状态向量x(k)的更新；根据关系式

即可得到污水处理系统中溶解氧和硝态氮浓度相对于期望值的实际跟踪效果；同时利用上述实用控制律

产生的控制输入信号，实际污水处理平台中的氧气转换系数和内回流量通过

得到，至此完成利用迭代二次启发式规划的污水处理浓度控制设计。

2.如权利要求1所述的利用迭代二次启发式规划的污水处理浓度控制方法，其特征在于，步骤4具体为：

步骤4-1、构建评判网络以近似迭代过程中的协函数，并利用梯度下降法训练其权值矩阵

基于状态变量x(k)以及第i+1次迭代的权值矩阵

和

评判网络的输出表达式为

结合迭代过程中协函数的表达式(9)，定义训练评判网络的性能度量为

采用经典的梯度下降法来更新评判网络的权值矩阵，即

其中，α₂＞0是评判网络的学习率，l是评判网络的内层迭代指标，用于衡量评判网络训练过程中的内部循环；

步骤4-2、构建执行网络以近似迭代过程中的控制函数，并利用梯度下降法训练其权值矩阵

最后，基于状态变量x(k)以及第i次迭代的权值矩阵

和

构建执行网络以近似迭代控制律，其输出表达式为

类似地，结合迭代过程中控制律的表达式(5)，训练执行网络的性能度量为

采用经典的梯度下降法来更新执行网络的权值矩阵，即

其中，α₃＞0是执行网络的学习率，l是执行网络的内层迭代指标；利用协函数表达式，在求解迭代过程中的控制律u⁽ⁱ⁾(x(k))时，直接利用评判网络的输出信息

在迭代二次启发式规划算法的神经网络实现过程中，当迭代算法满足收敛要求时，有

即在执行上述自适应学习算法之后，可以得到实用的近似最优控制器

即得到对于理想最优控制律u^*(x(k))的神经网络近似表达

Images