CN114861535A - 利用cfd做数据预处理的水处理过程机器学习建模方法 - Google Patents

Abstract

本发明公开了一种利用CFD做数据预处理的水处理过程机器学习建模方法，包括数据采集步骤通过采集系统获得水处理过程的历史数据；数据预处理步骤包括根据工艺原理，确定不同水处理工艺单元机器学习模型对应的历史数据中的输入数据与历史输出数据，再通过CFD模型计算模块计算该工艺单元的流动和输运过程的水力停留时间，确定历史数据的时序性对应关系；模型训练步骤包括通过机器学习模型算法模块对时序性对应关系的历史数据进行机器学习，训练机器学习模型。本发明的方法采用CFD精确计算水处理流动过程中各数据之间的时序对应关系，解决了水厂机器学习建模中数据可用性差的问题，提高了各工艺单元机器学习模型的预测精度。

Description

利用CFD做数据预处理的水处理过程机器学习建模方法

技术领域

本发明属于水处理过程数据模型领域，尤其涉及一种利用CFD做数据预处理的水处理过程机器学习建模方法。

背景技术

可靠准确的数据是建立水处理过程机器学习模型的基础。虽然大部分的水厂都完成了自动化升级和改造，实现了水处理各环节数据的采集与自动控制。但现有水平获得的水厂数据可用性较差，导致水厂该数据在机器学习模型建模和大数据分析应用的效果不佳。

数据可用性差的一个重要原因是不能确定数据之间的时序性对应关系。以污水加药环节为例，药剂投加是一个流动和反应耦合的过程，加药前后数据之间的对应关系与反应和输运的水力停留时间密切相关。然而，自动化系统采集的数据，无法准确判断数据的时序性对应关系，只能依靠流量与池容的关系进行估算。这是制约药剂投加机器学习模型准确性和可靠性的关键。

因为水处理本身是一个流体流动、生化反应与传热传质耦合过程，因此利用计算流体力学(CFD)模型，可以准确的计算当前输入条件下输出结果的停留时间。因此，将CFD模型作为数据预处理，以解决水厂机器学习模型建模中数据可用性差的问题，提高各工艺单元机器学习模型的预测精度。

发明内容

鉴于此，本发明的目的是提出一种基于CFD水力停留时间计算和机器学习的药剂智能投加方法，以解决上述药剂智能投加方法中存在的问题。具体方案如下：

一种利用CFD做数据预处理的水处理过程机器学习建模方法，包括：

数据采集步骤：通过数据采集系统获得水处理过程的历史数据；

数据预处理步骤：根据工艺原理，确定水处理过程的不同工艺单元的机器学习模型对应的历史输入数据与历史输出数据，历史输入数据与历史输出数据统称历史数据；将所述历史数据传输给CFD模型的CFD模型计算模块，计算不同工艺单元的流动和输运过程的水力停留时间，通过水力停留时间确定历史输入数据和历史输出数据的时序性对应关系；

模型训练步骤：将确定时序对应关系的历史数据传输给机器学习模型算法模块，对该历史数据进行机器学习，训练机器学习模型。

进一步地，数据采集系统采集PLC控制系统、上位机、在线仪器仪表或其他数据库中的数据。

进一步地，水处理过程的历史数据包括水质检测数据、水流信息数据和能耗信息数据；

水质检测数据包括悬浮物浊度(SS浊度)、PH值、溶解氧、电导率、总磷浓度、总氮浓度、氨氮浓度、化学需氧量(COD)、生化需氧量(BOD)、污泥浓度、水温和正磷酸盐浓度等；水流信息数据包括进水量、出水量、外回流流量、内回流流量和药剂投加量等；能耗信息数据包括鼓风机的类型、运行功率、频率和压力等；

记录采集到的历史数据，并将所述历史数据存入原始数据库。

进一步地，水处理工艺单元包括但不限于除磷药剂投加过程、消毒药剂投加过程、碳源投加过程、爆气过程、膜过滤过程和消毒过程等。

进一步地，CFD模型包括水处理过程的不同工艺单元，计算域与不同水处理单元的几何结构和尺寸相同；

该CFD模型全面考虑单元内水处理过程的流动、传热、传质、反应和颗粒动力学等因素；通过调用原始数据库中的输入数据作为CFD模型的边界条件，并求解质量守恒、动量守恒、能量守恒、组分输运、反应动力学方程和群平衡方程等，最后精确计算得到不同水处理工艺单元的流动和组分输运的水力停留时间；根据水力停留时间，在原始数据库中寻找输入数据对应的输出数据，将确定了时序性对应关系的一组历史输入数据与历史输出数据存入模型训练数据库；依此类推，根据上述方法对数据采集系统得到的所有历史数据都进行CFD水力停留时间计算，构建模型训练数据库。

进一步地，机器学习模型算法模块调用模型训练数据库中的历史数据，将所述历史数据作为机器学习模型的输入值和输出值进行训练，以提高机器学习模型建模的精度。

进一步地，所述机器学习的方法包括回归模型、k近邻模型、决策树模型、感知机模型、神经网络模型、支持向量机模型、Boosting模型、随机森林模型、聚类算法与kmeans、主成分分析、奇异值分解、最大信息熵、朴素贝叶斯、贝叶斯网络、EM算法、隐马尔可夫模型、条件随机场和马尔可夫链蒙特卡洛方法、中的一个或多个；

所述回归模型包括线性回归、逻辑回归、Lasso回归、Ridge回归和LDA回归；

所述Boosting模型包括AdaBoost模型、GBDT模型、XGBoost模型、LightGBM模型和CatBoost模型。

与现有技术相比，本申请具有如下有益效果：

本发明的方法，通过建立全面考虑水处理过程中的流动、传热、传质、反应和颗粒动力学的CFD模型，精确计算得到流动和组分输运的水力停留时间，确定输入数据与输出数据的时序对应关系，解决了现有机器学习模型构建中数据可用性差的问题，有利于水处理过程大数据分析的有效应用，不仅提高水处理精度和效果，也大大提高了水处理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，图中相同的标记表示相同的部件，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。

图1是本发明实施例的利用CFD做数据预处理的水处理过程机器学习建模方法的流程示意图；

图2是本实施例的除磷加药反应池内流线和停留时间示意图；

图3是本实施例的除磷加药反应池内组分浓度分布示意图；

图4是本实施例的除磷加药反应池内絮体粒径分布示意图；

图5是本实施例的机器学习模型的在线预测最佳药剂投加量流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

实施例

如图1是本发明实施例的利用CFD做数据预处理的水处理过程机器学习建模方法的流程示意图。以除磷药剂投加为例，该方法包括以下步骤：

1、通过数据采集系统获得药剂投加过程的输入数据和输出数据；其中，输入数据包括历史输入数据和实时输入数据，输出数据包括历史输出数据和实时输出数据，历史输入数据和历史输出数据构成历史数据，实时输入数据和实时输出数据构成实时数据。

数据采集系统通过PLC控制系统、上位机或在线仪器仪表等设备采集混凝沉淀池入口的输入数据和出口的输出数据；药剂投加过程的输入数据包括进水流量、外回流流量、药剂投加量、进水总磷浓度、加药前正磷酸盐浓度、PH值和水温；输出数据包括出水正磷酸盐浓度和出水总磷浓度；记录采集到的历史输入数据与历史输出数据，并将其存入原始数据库。

2、建立药剂投加过程的CFD模型

1)模型控制方程

药剂投加过程在单相流、稳态条件下采用质量守恒、动量守恒、能量守恒、组分输运、群平衡方程和湍流模型的RSM方程来描述。

其方程的具体表达式如下：

质量守恒方程：

动量守恒方程：

能量守恒方程：

组分输运方程：

湍流方程：

群平衡方程：

2)构建几何模型及网格划分

使用结构网格和非结构网格对各种计算域进行网格划分，根据求解规模、精度及效率等因素，对网格进行整体或局部细化。

3)确定初始条件及边界条件

设置速度入口和速度出口，速度出口定义为完全发展流体和无滑移壁面等。

至此，完成对药剂投加过程的CFD模型建模，再经过CFD模型验证，确定CFD模型的可靠性。

4)将输入数据作为CFD数值模拟的边界条件和初始条件，输入数据包括进水流量、外回流流量、进水总磷浓度、药剂投加量、加药前正磷酸盐浓度、PH和水温等，然后进行CFD数值模拟，得到输出数据，所述输出数据包括出水正磷酸盐浓度和出水总磷浓度，计算得到除磷加药反应池内药剂投加过程的停留时间和除磷加药反应池的内部状态分布，停留时间如图2所示，内部状态分布如图3所示的组分浓度分布示意图和图4所示的絮体粒径分布示意图；其中，停留时间包括水力停留时间。

根据水力停留时间，在原始数据库中寻找输入数据对应的输出数据，将确定了时序性对应关系的一组历史输入数据与历史输出数据同时存入模型训练数据库；依次类推，对数据采集系统得到的所有历史数据都进行CFD水力停留时间计算，构建模型训练数据库。

3、接下来，机器学习模型中的机器学习模型算法模块调用模型训练数据库中的历史数据，将这些历史数据作为机器学习模型的输入值和输出值，然后对机器学习模型进行训练，以提高机器学习模型建模的精度，其中，所述机器学习模型包括机器学习模型算法模块。具体过程如下：

随机森林是一个包含多个决策树的分类器，随机森林是非常具有代表性的Bagging集成算法，它的所有基评估器都是决策树，分类树组成的森林就叫做随机森林分类器，回归树所集成的森林就叫做随机森林回归器。

随机森林本质上是一种分类算法，它通过自助法(bootstrap)重采样技术，从原始训练样本集N(即模型训练数据库中的历史数据)中有放回地重复随机抽取n个样本(即模型训练数据库中的部分历史数据)生成新的训练样本集，新的训练样本集训练决策树，然后按上述步骤生成m棵决策树组成随机森林，新的训练样本集的分类结果按分类树投票多少形成的分数而定，其实质是对决策树算法的一种改进，将多个决策树合并在一起，每棵树的建立依赖于独立抽取的样本。回归树衡量分枝质量的指标，支持的标准有三种：

1)在机器学习模型中输入"mse"使用均方误差MSE(mean squared error)，父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失；其中，决策树包括根节点、父节点、子节点和叶子节点，子节点由父节点根据分类规则分裂而来，然后子节点作为新的父亲节点继续分裂，直至不能分裂为止，而根节点是没有父节点的节点，即初始分裂节点，叶子节点是没有子节点的节点；

2)在机器学习模型中输入“friedman_mse”使用费尔德曼均方误差，这种指标使用弗里德曼针对潜在分枝中的问题改进后的均方误差；

3)在机器学习模型中输入"mae"使用绝对平均误差MAE(mean absolute error)，这种指标使用叶子节点的中值来最小化L1损失，

其中N是样本数量，i是每一个数据样本，f_i是机器学习模型回归出的数值，y_i是数据样本i实际的数值标签。所以MSE的本质其实是样本真实数据与回归结果的差异。在回归树中，MSE不只是我们的分枝质量衡量指标，也是我们最常用的衡量回归树回归质量的指标，当我们在使用交叉验证，或者其他方式获取回归树的结果时，我们往往选择均方误差作为我们的评估(在分类树中这个指标是score，score代表的预测准确率)。在回归树回归中，我们追求的是MSE，MSE越小越好。

然而，回归树的接口score返回的是R平方，并不是MSE。R平方被定义如下：

其中，u是残差平方和(MSE*N)，v是总平方和，N是样本数量，i是每一个数据样本，f_i是机器学习模型回归出的数值，y_i是样本点i实际的数值标签。

是真实数值标签的平均数。R平方可以为正值也可以为负值(如果机器学习模型的残差平方和远远大于机器学习模型的总平方和，则机器学习模型非常糟糕，R平方就会为负)，而均方误差永远为正。

4、经过训练后的机器学习模型部署在药剂投加控制系统中，将数据采集系统采集的实时输入数据传输给训练后的机器学习模型进行计算；训练后的机器学习模型可根据实时输入数据，快速预测对应的实时输出数据；同时，应用机器学习模型，快速计算在保证出水水质标准条件下的药剂投加量，即为药剂的最优投加量。具体过程如下：

训练出一个随机森林模型后，可以通过实时的进水总磷、水温和药剂投加量等参数预测出水正磷酸盐浓度。所述随机森林模型是通过机器学习模型中随机森林算法构建出的出水正磷酸盐浓度预测模型。由于实际场景下，药剂投加量越高则出水正磷酸盐浓度越低，而随机森林模型不存在控制自变量与因变量呈单调性的效果，故调整随机森林模型，在随机森林输出结果之后，再通过一个线性回归方程计算得出最终结果，使之整体上在药剂投加量与出水正磷酸盐浓度中呈单调性趋势。

由于整体上药剂投加量与出水正磷酸盐浓度呈现单调趋势，但不排除局部存在非单调趋势，所以在预测药剂投加量时对前后小间距内均做预测检验是否呈现单调趋势，若为单调，结果符合，若不单调，结果不符。直至找出最佳药剂投加量满足单调性要求并使出水正磷酸盐浓度达标，如图5所示为最佳药剂投加量计算的流程示意图。

由于随机森林模型预测是在不断提高药剂投加量，故通过该方法，在整体单调性上验证局部单调性，确保了随机森林模型的准确性，一旦满足准确性以及出水正磷酸盐浓度达标，即可输出此时药剂投加量作为实时数据的最佳药剂投加量。

以上对本发明实施例进行了详细介绍，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本技术领域的普通技术人员来说，依据本发明的思想，在具体实施方式及应用范围上均会有所改变，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种利用CFD做数据预处理的水处理过程机器学习建模方法，其特征在于，包括：

数据采集：通过数据采集系统获得水处理过程的历史数据；

数据预处理：根据工艺原理，确定水处理过程的不同水处理工艺单元的机器学习模型对应的历史输入数据和历史输出数据；将历史输入数据和历史输出数据传输给CFD模型中的CFD模型计算模块，CFD模型计算模块计算不同水处理工艺单元的流动和输运过程的水力停留时间，通过水力停留时间确定历史输入数据和历史输出数据的时序性对应关系，历史输入数据和历史输出数据统称历史数据；

模型训练：将确定时序对应关系的历史数据传输给机器学习模型中的机器学习模型算法模块，对该历史数据进行机器学习，训练机器学习模型。

2.根据权利要求1所述的利用CFD做数据预处理的水处理过程机器学习建模方法，其特征在于：数据采集系统采集PLC控制系统、上位机或在线仪器仪表中的数据。

3.根据权利要求1所述的利用CFD做数据预处理的水处理过程机器学习建模方法，其特征在于，水处理过程的历史数据包括不同水处理工艺单元中的水质检测数据、水流信息数据和能耗信息数据；

水质检测数据包括悬浮物浊度、PH值、溶解氧、电导率、总磷浓度、总氮浓度、氨氮浓度、化学需氧量、生化需氧量、污泥浓度、水温和正磷酸盐浓度；

水流信息数据包括进水量、出水量、外回流流量、内回流流量和药剂投加量；

能耗信息数据包括鼓风机的类型、运行功率、频率和压力；

记录采集到的历史数据，并将所述历史数据存入原始数据库。

4.根据权利要求3所述的利用CFD做数据预处理的水处理过程机器学习建模方法，其特征在于，水处理工艺单元包括除磷药剂投加过程、消毒药剂投加过程、碳源投加过程、爆气过程、膜过滤过程和消毒过程。

5.根据权利要求4所述的利用CFD做数据预处理的水处理过程机器学习建模方法，其特征在于：CFD模型包括水处理过程的不同工艺单元，计算域与不同水处理工艺单元的几何结构和尺寸相同；

CFD模型计算模块的步骤具体如下：所述CFD模型全面考虑单元内水处理过程的流动、传热、传质、反应和颗粒动力学的因素，通过调用原始数据库中的输入数据作为CFD模型的边界条件，并求解质量守恒、动量守恒、能量守恒、组分输运、反应动力学方程和群平衡方程，最后精确计算得到不同水处理工艺单元的流动和组分输运的水力停留时间；根据水力停留时间，在原始数据库中寻找输入数据对应的输出数据，将确定了时序性对应关系的一组历史输入数据和历史输出数据存入模型训练数据库；依次类推，根据上述方法对数据采集系统得到的所有历史数据都进行CFD水力停留时间计算，构建模型训练数据库。

6.根据权利要求5所述的利用CFD做数据预处理的水处理过程机器学习建模方法，其特征在于：机器学习模型算法模块调用模型训练数据库中的历史数据，将该历史数据作为机器学习模型的输入值和输出值进行训练。

7.根据权利要求5所述的利用CFD做数据预处理的水处理过程机器学习建模方法，其特征在于：所述机器学习的方法包括回归模型、k近邻模型、决策树模型、感知机模型、神经网络模型、支持向量机模型、Boosting模型、随机森林模型、聚类算法与kmeans、主成分分析、奇异值分解、最大信息熵、朴素贝叶斯、贝叶斯网络、EM算法、隐马尔可夫模型、条件随机场和马尔可夫链蒙特卡洛方法中的一个或多个；

所述回归模型包括线性回归、逻辑回归、Lasso回归、Ridge回归和LDA回归；

所述Boosting模型包括AdaBoost模型、GBDT模型、XGBoost模型、LightGBM模型和CatBoost模型。

Images