CN115329661B - 一种智能投药模型建模、智能投药体系创建、投药方法 - Google Patents

Abstract

本发明公开了一种智能投药模型建模、智能投药体系创建、投药方法，采用决策树基础算法模型，设置超参数取值范围，在取值范围内选取N个值，组成多个超参数组合；基于初始化后的基础算法模型，设定一个超参数组合，得到初始模型，用选取的特征数据对初始模型进行训练、验证、测试，计算测试得到的预测值与实际值的误差，比较所有超参数组合对应的误差大小，以误差最小为条件，得到最优超参数组合，对应的初始验证模型为智能投药模型；设定目标，定义状态、动作、奖励参数，基于智能投药模型建立智能投药体系，对智能投药体系进行强化学习和优化，获得不同情况下的最优投药量，用于投药量控制，提高投药精度。

Description

一种智能投药模型建模、智能投药体系创建、投药方法

技术领域

本发明涉及污水处理技术领域，尤其是涉及一种智能投药模型建模、智能投药体系创建、投药方法。

背景技术

磷是引起水体富营养化的关键因素之一。湖泊、水库中的主要污染指标为总磷、化学需氧量和高锰酸盐。当水体中的磷含量大于0.01mg/L时就可以刺激藻类生长，发生水华现象。而湖泊、水库中80％以上的磷来自于污水排放。

污水处理厂除磷工艺主要包括生物除磷和化学除磷。生物除磷主要利用聚磷菌厌氧释磷、好氧吸磷的原理，通过排放富磷污泥的方式去除磷。化学除磷则通过投加药剂与污水中的磷酸盐反应生成不溶于水的沉淀物进行除磷。传统生物除磷工艺由于脱氮除磷本身存在对碳源的竞争关系，较多污水厂存在碳源不足，且进水水质、水量波动较大导致生物除磷稳定性较差，使其出水磷含量很难稳定达到0.5mg/L以下，需进一步辅以化学除磷，从而满足出水水质达到《城镇污水处理厂污染物排放标准》(GB18918-2002)的一级A或更高标准。

化学除磷原理是通过向污水中投加金属盐类或其他除磷药剂形成不溶性的磷酸盐沉淀产物，然后再通过固液分离从出水中去除磷。反应开始后，金属离子与磷酸盐结合会首先形成低溶解度、极细小晶状体的的磷酸盐化合物，然后需要进行絮凝形成较大颗粒，再通过沉淀或过滤等固液分离手段将磷酸盐化合物去除。

常用的化学除磷药剂主要包括铁盐、铝盐、铁铝混合盐及生石灰等。

化学除磷工艺按照化学药剂投加位置的不同可以分为前置沉淀、同步沉淀和后置沉淀三种工艺类型。

(1)前置沉淀

前置沉淀工艺的除磷药剂一般投加在沉砂池或初沉池进水口。产生的沉淀产物则会在初沉池当中通过沉淀而被分离出去。前置沉淀工艺适合于现有污水处理厂的升级改造，通过这一工艺不仅可以去除磷，还可以明显提高BOD5和SS的去除率，从而能够降低后续生物处理的负荷。

(2)同步沉淀

同步沉淀工艺是将除磷药剂投加到曝气池出水或者二次沉淀池的进水口，也有将药剂投加到曝气池的进水或回流污泥当中的，是目前使用最为广泛的一种化学除磷工艺，国外约50％的化学除磷工艺采用同步沉淀。

(3)后置沉淀

后置沉淀工艺是将化学沉淀、絮凝作用及被絮凝物质的分离与生物处理相分离的一种工艺。一般将除磷药剂投加在二沉池后的混合池中，并在后续设置沉淀池和絮凝池(或气浮池)。

目前，国内污水处理厂的化学除磷工艺普遍采用人工经验定量或过量投加药剂的方式，基于工艺人员对混凝后水质变化和浑浊状况进行观察再凭借以往经验决定加药量，或通过实验室实验来确定设药量，控制出水磷含量达标排放，人工控制方法存在一定的滞后性和不连续性，且过度依赖工艺人员的个人经验，不确定性较强，当水质发生突变时往往存在出水超标的风险，长期运行不仅造成了药剂浪费、还导致了化学污泥产量增加、运行成本增高及过量的化学药剂进入水体对环境造成潜在风险等问题。

因此，如何提高污水处理厂自动化程度、降低化学除磷药耗，是目前亟待解决的问题。

设计开发一套化学除磷智能控制系统，通过自动控制实现精准加药，对于污水处理厂高效稳定运行及节能降耗具有重要的意义。

发明内容

本发明的目的是提供一种智能投药模型建模、智能投药体系创建、投药方法，基于决策树基础模型的回归算法，设置超参数取值范围，在取值范围内选取N个值，根据采集特征数据进行最优超参数组合筛选，得到最优超参数组合及智能投药模型。设定目标，定义状态、动作、奖励参数，基于智能投药模型建立智能投药体系，对智能投药体系进行强化学习和优化，获得不同情况下的最优投药量，用于根据现场情况进行投药量计算，实现投药智能化，提高投药精确度，降低成本。

第一方面，本发明的上述发明目的通过以下技术方案得以实现：

一种智能投药模型建模方法，采用决策树基础算法模型，设置超参数取值范围，在取值范围内选取N个值，组成多个超参数组合；基于初始化后的基础算法模型，设定一个超参数组合，得到初始模型，用选取的特征数据对初始模型进行训练、验证，得到初始验证模型，对初始验证模型进行测试，计算测试得到的预测值与实际值的误差，比较所有超参数组合对应的误差大小，以误差最小为条件，得到最优超参数组合，对应的初始验证模型为智能投药模型；更新特征数据库，持续优化智能投药模型。

本发明进一步设置为：特征包括输入特征和输出特征，对特征数据进行预处理，包括对输入特征进行归一化处理；将预处理后的特征数据分成训练集、验证集、测试集，得到选取的特征数据。

本发明进一步设置为：在训练、验证时，以最小误差进行训练、验证；误差包括均方误差。

本发明进一步设置为：在最优超参数组合的数据附近，再次各取M个数值进行组合，用选取的特征数据对智能投药模型进行训练、验证、测试，再次得到最优超参数组合和智能投药模型，迭代最优超参数组合和智能投药模型。

本发明进一步设置为：采用XGBoost决策树作为基础算法模型，选择回归算法后进行初始化，得到初始化后的基础算法模型；超参数包括迭代次数、学习率、最小叶子节点样本权重和、树的最大深度。

第二方面，本发明的上述发明目的通过以下技术方案得以实现：一种智能投药体系创建方法，设定目标，定义状态、动作、奖励参数，基于智能投药模型建立智能投药体系，对智能投药体系进行强化学习和优化，获得不同情况下的最优投药量，用于根据现场情况进行投药量计算。

本发明进一步设置为：智能投药体系强化学习采用Q-Learning算法，过程包括：选择一个动作执行后，智能投药模型转换到一个新状态，根据奖励政策对新状态进行奖励，再结合奖励与新状态，按照一定的策略执行新动作，重复执行不同动作，直至得到一个最优的Q值表，用于根据不同情况获得投药量。

本发明进一步设置为：基于奖励与新状态，采用ε-greedy策略与π(S)策略结合的方法，执行新动作；执行新动作后，按照下式对Q值表进行更新：

Q(S，A)←(1-L)Q(S，A)+L(R(S，a)+γmaxaQ(S’，a)

式中，L为学习速率，γ为折扣因子，S表示状态集，A表示动作集，a表示动作，R(S,a)表示基于状态和行动的奖励，S’表示新状态。

本发明进一步设置为：定义状态为：进水正磷浓度采样值、出水正磷浓度采样值的加权为(x,y,△y)，其中，x为进水正磷值，y为出水正磷含量，△y是出水正磷含量与设定目标值之前的差值，在状态中对水质进行值域划分；定义动作为：投药频率；奖励包括正奖励和负奖励，以出水正磷采样值是否在定义的数值区间内作为奖励依据，若出水正磷采样值位于数值区间，则奖励为正；若出水正磷采样值位于数值区间外，无论是大于区间值或小于区间值，则奖励为负。

本发明进一步设置为：在初始实验开始时，将出水正磷采样值过高时的惩罚值设为过低时的D倍；在执行完动作得到新状态后，先计算奖励是正的还是负的，再计算奖励的具体数值，奖励具体数值定义为R(T，H，△y)＝T(α△y+βH)，式中，T为是否在数值区间内，值集为(1，-1)，H为不在数值区间内时是过高还是过低，值集为(1，D),△y为出水正磷与设定标准值的差值，α和β都是可调节参数。

第三方面，本发明的上述发明目的通过以下技术方案得以实现：一种智能投药体系投药方法，包括现场智能投药、体系优化，现场智能投药包括：智能投药体系选择回归算法，进行初始化，采样当前输入特征数据，在Q值表中查找当前输入特征数据对应的投药量，根据查找结果进行投药；体系优化包括：采样特征数据，对特征数据进行预处理，更新特征数据库，对智能投药体系中的智能投药模型进行训练、验证、测试，优化智能投药模型，对体系进行强化学习，优化Q值表。

本发明进一步设置为：采样当前输入特征数据包括：采样当前输入特征数据，包括当前进水流量、进水口总磷浓度、第一设定时间段内以设定时间间隔进行采样的所有进水正磷浓度采样值、第一设定时间段内以设定时间间隔进行采样的所有出水正磷浓度采样值、第一设定时间段内进水正磷浓度平均值、第一设定时间段内出水正磷浓度平均值、实时投药量；投药后，持续第二设定时段后出水口的正磷浓度降低量，

第四方面，本发明的上述发明目的通过以下技术方案得以实现：一种智能投药体系终端，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现本申请所述方法。

与现有技术相比，本申请的有益技术效果为：

1.本申请基于以前记录，采用决策树方法，选择超参数训练决策树基础模型，获取最优超参数组合，建立智能投药模型，用于自动投药，实现投药量的精准把控；

2.进一步地，本申请基于智能投药模型，建立智能投药体系，对智能投药体系进行强化学习，获取不同状态下的最优投药动作，提高投药精准度；

3.进一步地，本申请采用Q-Learning算法进行强化学习，对每个动作的执行结果进行奖励，构建Q表，从而根据Q值来选取能够获得最大收益的动作，实现自动投药的自我学习。

附图说明

图1是本申请的一个具体实施例的强化学习流程示意图。

具体实施方式

以下结合附图对本发明作进一步详细说明。

具体实施例一

本申请的一种智能投药模型建模方法，采用决策树基础算法模型，选择能显著划分输入空间的特征，对选用特征组成的数据进行预处理，获取数据集用于模型训练，并对数据进行分组，得到训练集、验证集、测试集。设置基础算法模型的超参数取值范围，在取值范围内选择N个值，将所有超参数选取的数值进行组合，得到多个超参数组合，在基础算法模型中选取回归算法后进行初始化，得到初始化后的基础算法模型，

用训练数据对基础算法模型进行训练，以验证数据对训练后的算法模型进行验证，得到初始验证模型，以测试数据对初始验证模型进行测试，以测试得到的预测值与实际值的误差进行评判，获取最优的超参数组合，建立智能投药模型，即输入输出拟合函数，用于基于输入量，经过智能投药模型计算得到一个输出量。

利用某一个特征进行输入空间划分，若划分结果与随机结果没有很大的差异，则认为该特征不具有划分输入空间的能力，反之，若划分结果与随机结果存在很大的差异，则认为该特征具有划分输入空间的能力。直观上，如果一个特征具有更好的划分输入空间的能力，或者说，按照这个特征将训练数据集分割成子集，使得各个子集内部的样本在当前条件下较为相似，那么就应该选择这个特征，作为能显著划分输入空间的特征。

特征包括输入特征和输出特征。

在本申请中，能显著划分输入空间的输入特征包括：当前进水流量、进水口总磷浓度、第一设定时间段内所有进水正磷浓度采样值、第一设定时间段内所有出水正磷浓度采样值、第一设定时间段内进水正磷浓度平均值、第一设定时间段内出水正磷浓度平均值、实时投药量。

输出特征包括：投药后，持续第二设定时段后出水口的正磷浓度降低量。

在第一设定时间段内，以设定时间间隔进行采样，得到各时间节点、各采样点的采样值。

在本申请的一个具体实施例中，第一设定时间段为1-3小时，第二设定时间段为1-3小时，设定时间间隔为2-10分钟。

对特征数据进行预处理，以减少噪声数据，提高模型判断能力。

预处理包括剔除噪声数据、对数据归一化处理。

噪声数据包括不在常规值范围内、偏离较为严重的数据。

将输入特征数据中，如进水正磷浓度采样值、出水正磷浓度采样值、进水口总磷浓度中不在常规值范围内的数据删除。

根据前期实验结果得出的线性公式，将进水正磷浓度采样值、出水正磷浓度采样值中与药剂投加量关系偏离较为严重的数据删除。

输入特征数据中，各输入值值域相关性较大，需要对数据进行归一化处理，将输入特征缩放到[0,1]区间内，保证所有输入值都有较为相近的值域。

将预处理后的特征数据集中的数据，组成输入输出数据对，并将所有数据对分成训练集、验证集、测试集，用于后续训练。

在本申请的一个具体实施例中，将预处理后的特征数据，按照8:1:1的比例，分为训练集、验证集、测试集。

本申请中，采用XGBoost决策树作为基础算法模型，选择超参数进行调节，超参数包括n_estimator(迭代次数)、eta(类似于学习率)、min_child_weight(最小叶子节点样本权重和，可用于调节过拟合的情况)、max_depth(树的最大深度，用于调节过拟合的情况)。

n_estimator的取值范围为100-1000，eta的取值范围为0.01-0.2，min_child_weight的取值范围为1-6，max_depth的取值范围为3-10。

采用决策树的回归算法，进行初始化，得到初始化后的基础算法模型。

在各超参数的取值范围内，分别取N个值进行组合，得到多个超参数组合。

对初始化后的基础算法模型，输入一个超参数组合，得到初始模型，用训练集中的特征数据训练初始模型，得到训练后模型，用验证集中的特征数据验证训练后模型，得到一个初始验证模型。

对多个超参数组合，分别基于初始化后的基础算法模型进行训练验证，得到多个初始验证模型。

将输入输出数据对中的输入特征数据输入到一个初始验证模型后，得到一个输出预测值，将输出预测值与该输入输出数据对中的输出特征数据实际值进行比较，得到误差值。

用测试集中的特征数据对各初始验证模型进行测试，得到多个误差值，比较所有误差得到最小误差，以误差值最小对应的超参数组合为最优超参数组合，以误差值最小对应的初始验证模型为智能投药模型。

在本申请的一个具体实施例中，进一步地，在第一次获得的最优超参数组合的数值附近，再次各取M个数值进行组合，采用所述选择最优超参数组合的方法，进一步选择，以获取更优超参数组合与更优智能投药模型，提高智能投药模型的预测精准度。

在本申请的一个具体实施例中，计算初始预测值与相应实际值的均方误差rmse，比较所有均方误差得到最小均方误差，以最小均方误差对应的初始算法模型为智能投药模型，对应的超参数组合为最优超参数组合。

均方误差rmse如下式所示：

式中，f(x_i)表示初始预测值，y_i表示实际值，m表示样本数量。

采用测试集中的各组特征数据，对智能投药模型进行测试。采用验证集中的各组特征数据，对智能投药模型进行验证。

采用sklearn中的api算法对智能投药模型中的各输入特征，在模型中所起的作用进行分析，确定各输入特征对智能投药模型起到了不可忽略的影响，其中，进水正磷浓度采样值、投药剂量的影响最为显著。

更新特征数据集，对智能投药模型持续优化，提高投药量计算精确度。

具体实施例二

基于智能投药模型建立智能投药体系创建方法，采用强化学习方法训练智能投药体系，实现智能投药体系的自动化投药，以较少的除磷药剂控制排放污水中的总磷含量，达到最佳效果。

设定目标，定义状态、动作、奖励参数，基于智能投药模型建立智能投药体系，对智能投药体系进行强化学习，获得不同投药量动作下对应的出水正磷变化情况，根据强化学习结果总结不同状态下的最优投药量动作，以获取理想的输出数据。

以智能投药模型作为环境，设定动作、状态、奖励、目标参数，采用强化学习基础算法，如图1所示，对智能投药体系进行强化学习，智能投药体系选择一个动作执行后，环境转换到一个新状态，根据奖励政策对新状态进行奖励，再结合奖励与新状态，按照一定的策略执行新动作；新动作执行后，环境转换到另一个新状态，根据奖励政策获得新奖励，再结合新奖励与另一个新状态，按照策略执行再一个新动作；如此循环计算，最终得到一个包括环境、动作、状态、奖励的表格，智能投药体系学习到在某个状态下应该采用的对应动作，以获取最大奖励。

Q-Learning算法中的value-based算法，Q值即为Q(s,a)，表示在某一时刻的s状态下(s∈S)，采取动作a(a∈A)能够获得收益的期望，环境会根据智能投药体系的动作，反馈相应的回报(rewadr)，因此，Q-Learning算法的主要思想是将状态与动作构建成一张Q表来存储Q值，然后根据Q值选取能够获得最大收益的动作。基于Q-Learning算法的此特性，本申请采用Q-Learning算法作为强化学习的基础算法，通过Q值计算，能够让智能投药体系在自我学习的过程中学会如何投药。

以智能投药体系能够自动投药为目的，以智能投药模型作为强化学习环境，以加药量作为结果，以出水正磷浓度采样值的加权作为状态，进行强化学习。实现在水质符合标准的前提下，尽量用最少的除磷药剂来除去水中的正磷酸盐，最好地控制排出污水中的总磷含量。

定义状态为：进水正磷浓度采样值、出水正磷浓度采样值的加权为(x,y,△y)，其中，x为进水正磷值，y为出水正磷含量，△y是出水正磷含量与设定目标值之前的差值；在状态中对水质进行值域划分，用于形成状态离散化数据集。

定义动作为：投药频率，由于投药量的控制精度为百分比的个位数，符合离散化要求，能够形成动作离散化数据集。

奖励包括正奖励和负奖励，以出水正磷采样值是否在定义的数值区间内作为奖励依据，若出水正磷采样值位于数值区间，则奖励为正；若出水正磷采样值位于数值区间外，无论是大于区间值或小于区间值，则奖励为负。考虑到出水正磷采样值必须低于设定值，是硬性条件，在初始实验开始时，将出水正磷采样值过高时的惩罚值设为过低时的D倍。

在执行完动作得到新状态后，先计算奖励是正的还是负的，再计算奖励的具体数值。

奖励具体数值定义为R(T，H，△y)＝T(α△y+βH)；

式中，T为是否在数值区间内，值集为(1，-1)，H为不在数值区间内时是过高还是过低，值集为(1，D),△y为出水正磷与设定标准值的差值，α和β都是可调节参数。

D为大于等于1的数值，在本申请的一个具体实施例中，D的取值范围为1-20。

基于奖励与新状态，采用ε-greedy策略与π(S)策略结合的方法，执行新动作。每个状态以ε的概率进行探索，随机选取所有候选动作中的任一动作作为新动作；以1-ε的概率进行开发，按照π(S)策略，根据Q值表选择奖励最好的动作，选取当前状态下能得到最高奖励的动作，作为新动作。

如果二个动作执行后获得的奖励相同，就选第一个动作。

执行新动作后，按照下式对Q值表进行更新：

Q(S，A)←(1-L)Q(S，A)+L(R(S，a)+γmaxaQ(S’，a)

(2)；

式中，L为学习速率，γ为折扣因子。R(S,a)表示基于状态和行动的奖励，S’表示新状态，S表示状态集，A表示动作集，a表示动作。

L越大，Q值表中之前训练时得到的结果就越少，γ越大，智能投药体系就越重视之前训练得到的经验。

在强化学习完成后，智能投药体系得到一张在一定精度上近乎完整的Q值表，用于以后除磷时，根据当前输入特征、输出特征数据，查找Q值表，得到效用值最大的动作，执行相应动作后，最优化地控制投药过程。

本申请智能投药体系的投药方法，包括现场智能投药、体系优化，现场智能投药包括：采样当前输入特征数据，在Q值表中查找当前输入特征数据对应的投药量，根据查找结果进行投药。

体系优化包括：采样特征数据，对特征数据进行预处理，更新特征数据库，对智能投药体系中的智能投药模型进行训练、验证、测试，优化智能投药模型，对体系进行强化学习，优化Q值表。

具体实施例三

本发明一实施例提供的一种智能投药体系终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如建立智能投药模型程序，所述处理器执行所述计算机程序时实现实施例一、二中模型与体系的建立、优化。

或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如：模型模块、体系模块。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述智能投药体系终端设备中的执行过程。例如，所述计算机程序可以被分割成多个模块，各模块具体功能如下：

1.采样特征数据模块，用于控制采样频率获得采样值；

2.模型模块，用于智能投药模型的建立与优化；

3.体系模块，用于智能投药体系的建立与优化。

所述智能投药体系终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述智能投药体系终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述上述示例仅仅是所述智能投药体系终端设备的示例，并不构成对所述智能投药体系终端设备的限定，可以包括比图示更多或更少的部件，或组合某些部件，或不同的部件，例如所述智能投药体系终端设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器可以是中央处理单元(Central Processing Unit，CPU),还可以是其他通用处理器、数据信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种智能投药体系终端设备的控制中心，利用各种接口和线路连接整个所述一种智能投药体系终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种智能投药体系终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

具体实施例四

所述一种智能投药体系终端设备集成的模块/单元，如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (12)

1.一种智能投药体系创建方法，其特征在于：采用决策树基础算法模型，选择能显著划分输入空间的特征，对选用特征组成的数据进行预处理，获取数据集，对基础算法模型进行训练、验证和测试，以测试得到的预测值与实际值的误差进行评判，获取最优的超参数组合，建立智能投药模型，以智能投药模型作为环境，以加药量作为结果，设定目标，定义状态、动作、奖励参数，基于智能投药模型建立智能投药体系，奖励包括正奖励和负奖励，以出水正磷浓度采样值是否在定义的数值区间内作为奖励依据，若出水正磷浓度采样值位于数值区间，则奖励为正；若出水正磷浓度采样值位于数值区间外，无论是大于区间值或小于区间值，则奖励为负；在执行完动作得到新状态后，先计算奖励是正的还是负的，再计算奖励的具体数值，在初始实验开始时，将出水正磷浓度采样值过高时的惩罚值设为过低时的D倍；奖励具体数值定义为R(T，H，△y)＝T(α△y+βH)，式中，T为是否在数值区间内，值集为(1，-1)，H为不在数值区间内时是过高还是过低，值集为(1，D),△y为出水正磷浓度采样值与设定目标值的差值，α和β都是可调节参数；采用强化学习基础算法，对智能投药体系进行强化学习和优化，学习到在某个状态下应该采用的对应动作，获得不同情况下的最优投药量，得到一个包括环境、动作、状态、奖励的表格，用于后续根据现场情况，查找表格，得到效用值最大的动作，进行投药量计算。

2.根据权利要求1所述智能投药体系创建方法，其特征在于：智能投药体系强化学习采用Q-Learning算法，过程包括：选择一个动作执行后，智能投药模型转换到一个新状态，根据奖励政策对新状态进行奖励，再结合奖励与新状态，按照一定的策略执行新动作，重复执行不同动作，直至得到一个最优的Q值表，用于根据不同情况获得投药量。

3.根据权利要求2所述智能投药体系创建方法，其特征在于：基于奖励与新状态，采用ε-greedy策略与π(S)策略结合的方法，执行新动作；执行新动作后，按照下式对Q值表进行更新：

Q(S，A)←(1-L)Q(S，A)+L(R(S，a)+γmaxaQ(S’，a))式中，L为学习速率，γ为折扣因子，S表示状态集，A表示动作集，a表示动作，R(S,a)表示基于状态和行动的奖励，S’表示新状态。

4.根据权利要求1所述智能投药体系创建方法，其特征在于：定义状态为：进水正磷浓度采样值、出水正磷浓度采样值的加权为(x,y,△y)，其中，x为进水正磷浓度采样值，y为出水正磷浓度采样值，△y是出水正磷浓度采样值与设定目标值之间的差值，在状态中对水质进行值域划分；定义动作为：投药频率。

5.根据权利要求1所述智能投药体系创建方法，其特征在于：采用决策树基础算法模型，设置超参数取值范围，在取值范围内选取N个值，组成多个超参数组合；基于初始化后的基础算法模型，设定一个超参数组合，得到初始模型，用选取的特征数据对初始模型进行训练、验证，得到初始验证模型，对初始验证模型进行测试，计算测试得到的预测值与实际值的误差，比较所有超参数组合对应的误差大小，以误差最小为条件，得到最优超参数组合，对应的初始验证模型为智能投药模型；更新特征数据库，持续优化智能投药模型。

6.根据权利要求1所述智能投药体系创建方法，其特征在于：特征包括输入特征和输出特征，对特征数据进行预处理，包括对输入特征进行归一化处理；将预处理后的特征数据分成训练集、验证集、测试集，得到选取的特征数据。

7.根据权利要求1所述智能投药体系创建方法，其特征在于：在训练、验证时，以最小误差进行训练、验证；误差包括均方误差。

8.根据权利要求1所述智能投药体系创建方法，其特征在于：在最优超参数组合的数据附近，再次各取M个数值进行组合，用选取的特征数据对智能投药模型进行训练、验证、测试，再次得到最优超参数组合和智能投药模型，迭代最优超参数组合和智能投药模型。

9.根据权利要求1所述智能投药体系创建方法，其特征在于：采用XGBoost决策树作为基础算法模型，选择回归算法后进行初始化，得到初始化后的基础算法模型；超参数包括迭代次数、学习率、最小叶子节点样本权重和、树的最大深度。

10.一种智能投药体系投药方法，其特征在于：包括现场智能投药、体系优化，采用权利要求1-9任一项所述智能投药体系创建方法建立的智能投药体系，获得Q值表，现场智能投药包括：智能投药体系选择回归算法，进行初始化，采样当前输入特征数据，在Q值表中查找当前输入特征数据对应的投药量，根据查找结果进行投药；体系优化包括：采样特征数据，对特征数据进行预处理，更新特征数据库，对智能投药体系中的智能投药模型进行训练、验证、测试，优化智能投药模型，对体系进行强化学习，优化Q值表。

11.根据权利要求10所述一种智能投药体系投药方法，其特征在于：采样当前输入特征数据包括：采样当前输入特征数据，包括当前进水流量、进水口总磷浓度、第一设定时间段内以设定时间间隔进行采样的所有进水正磷浓度采样值、第一设定时间段内以设定时间间隔进行采样的所有出水正磷浓度采样值、第一设定时间段内进水正磷浓度平均值、第一设定时间段内出水正磷浓度平均值、实时投药量；投药后，持续第二设定时段后出水口的正磷浓度降低量。

12.一种智能投药体系终端，其特征在于：包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述方法。

Images