CN117753213A - 膜污染预测方法、装置、设备、存储介质和程序产品 - Google Patents

膜污染预测方法、装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN117753213A
CN117753213A CN202311554655.9A CN202311554655A CN117753213A CN 117753213 A CN117753213 A CN 117753213A CN 202311554655 A CN202311554655 A CN 202311554655A CN 117753213 A CN117753213 A CN 117753213A
Authority
CN
China
Prior art keywords
membrane
regression model
detection data
membrane pollution
pollution detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311554655.9A
Other languages
English (en)
Inventor
黄霞
肖康
来怡哲
彭赞国
鲁显位
张劲松
刘红广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Citic Corp Of China
Tsinghua University
Original Assignee
Citic Corp Of China
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Citic Corp Of China, Tsinghua University filed Critical Citic Corp Of China
Priority to CN202311554655.9A priority Critical patent/CN117753213A/zh
Publication of CN117753213A publication Critical patent/CN117753213A/zh
Pending legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Landscapes

  • Separation Using Semi-Permeable Membranes (AREA)

Abstract

本申请涉及一种膜污染预测方法、装置、设备、存储介质和程序产品。所述方法包括:获取膜污染检测数据;膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在操作条件下得到的历史膜污染结果,基于膜污染检测数据对初始回归模型进行训练,确定目标回归模型,利用目标回归模型,预测未来预设时间段内的膜污染结果;膜污染结果包括膜渗透率。本申请实施例中结合历史膜污染结果、光谱指纹数据、操作条件等多维指标,对初始回归模型进行训练得到目标回归模型,利用该目标回归模型可以对膜污染结果进行预测。有助于实现膜污染结果的快速预测,并降低了预测的复杂性。

Description

膜污染预测方法、装置、设备、存储介质和程序产品
技术领域
本申请涉及水处理技术领域,特别是涉及一种膜污染预测方法、装置、设备、存储介质和程序产品。
背景技术
随着人类社会的发展,水资源短缺和水环境污染问题日益凸显。与传统利用活性污泥法进行水处理相比,膜生物反应器(membrane bioreactor,MBR)技术具有占地面积小、出水水质稳定、剩余污泥产量小等优点,近年来在市政污水处理领域得到广泛应用。但是,在水处理过程中,膜生物反应器中的污泥絮体、胶体粒子、溶解性有机物或无机盐类,由于与膜存在物理化学吸附作用或机械作用,而在膜表面吸附与沉积,或在膜孔内吸附造成膜孔径变小或堵塞,造成膜污染。
膜污染的发展是一个复杂的动态过程,可以通过跨膜压差上升、膜通量下降、膜渗透率降低等现象来反映膜污染的发展。但是,一旦出现这些现象,膜污染已经发生,无法做到提前预警。因此,如何对膜污染进行预测成为本领域人员亟需解决的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够对膜污染进行预测的膜污染预测方法、装置、设备、存储介质和程序产品。
第一方面,本申请提供了一种膜污染预测方法,包括:
获取膜污染检测数据;该膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在该操作条件下得到的历史膜污染结果;
基于该膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
利用该目标回归模型,预测未来预设时间段内的膜污染结果;该膜污染结果包括膜渗透率。
在其中一个实施例中,该获取膜污染检测数据,包括:
构建膜污染检测体系;该膜污染检测体系包括该污染物的污染物性质、该水处理过程的运行条件和膜污染结果,该水处理过程的运行条件用于指示采集该操作条件;
根据该膜污染检测体系,采集该膜污染检测数据。
在其中一个实施例中,该污染物性质包括常规水质指标、污染物宏观指标、污染物细化指标和光谱指纹指标;该光谱指纹指标包括紫外光谱指标和荧光光谱指标;该光谱指纹指标用于指示采集该光谱指纹数据。
在其中一个实施例中,该膜污染检测体系还包括膜污染潜势,该膜污染潜势包括过滤杯评价和滤纸过滤评价中至少一项。
在其中一个实施例中,该基于该膜污染检测数据对初始回归模型进行训练,确定目标回归模型,包括:
基于该膜污染检测数据对初始回归模型进行训练,得到中间回归模型;
利用均方根误差和/或决定系数R2确定该中间回归模型的评价结果;
根据该评价结果训练该中间回归模型,得到该目标回归模型。
在其中一个实施例中,该初始回归模型为初始支持向量回归模型,该基于该膜污染检测数据对初始回归模型进行训练,得到中间回归模型,包括:
对该膜污染检测数据进行预处理,得到预处理后的膜污染检测数据;
根据该预处理后的膜污染检测数据,对该初始支持向量回归模型进行训练,得到支持向量回归模型对应的惩罚因子和核参数;
根据该惩罚因子和该核参数,得到该中间回归模型。
第二方面,本申请还提供了一种膜污染预测装置,包括:
获取模块,用于获取膜污染检测数据;该膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在该操作条件下得到的历史膜污染结果;
确定模块,用于基于该膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
预测模块,用于利用该目标回归模型,预测未来预设时间段内的膜污染结果;该膜污染结果包括膜渗透率。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行该计算机程序时实现以下步骤:
获取膜污染检测数据;该膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在该操作条件下得到的历史膜污染结果;
基于该膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
利用该目标回归模型,预测未来预设时间段内的膜污染结果;该膜污染结果包括膜渗透率。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取膜污染检测数据;该膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在该操作条件下得到的历史膜污染结果;
基于该膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
利用该目标回归模型,预测未来预设时间段内的膜污染结果;该膜污染结果包括膜渗透率。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取膜污染检测数据;该膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在该操作条件下得到的历史膜污染结果;
基于该膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
利用该目标回归模型,预测未来预设时间段内的膜污染结果;该膜污染结果包括膜渗透率。
上述膜污染预测方法、装置、设备、存储介质和程序产品,获取膜污染检测数据;膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在操作条件下得到的历史膜污染结果,基于膜污染检测数据对初始回归模型进行训练,确定目标回归模型,利用目标回归模型,预测未来预设时间段内的膜污染结果;膜污染结果包括膜渗透率。本申请实施例中结合历史膜污染结果、光谱指纹数据、操作条件等多维指标,对初始回归模型进行训练得到目标回归模型,利用该目标回归模型可以对膜污染结果进行预测。由于,本申请实施例训练初始回归模型时使用了光谱指纹数据,光谱指纹数据操作简单、灵敏度高、样品需求,有助于实现膜污染结果的快速预测,并降低了预测的复杂性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种膜污染预测方法的应用环境图;
图2为本申请实施例提供的一种膜污染预测方法的流程示意图之一;
图3为本申请实施例提供的一种膜污染检测数据获取方法的流程示意图;
图4为本申请实施例提供的一种目标回归模型确定方法的流程示意图;
图5为本申请实施例提供的一种中间回归模型确定方法的流程示意图;
图6为本申请实施例提供的一种膜污染预测方法的流程示意图之二;
图7为本申请实施例提供的一种不同预测时间下膜污染预测能力图;
图8为本申请实施例提供的一种膜污染实际值和膜污染预测值的对比图;
图9为本申请实施例提供的一种膜污染预测装置的结构示意图;
图10为本申请实施例提供的一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的膜污染预测方法,可以应用于如图1所示的应用环境中,图1为本申请实施例提供的一种膜污染预测方法的应用环境图。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
随着人类社会的发展,水资源短缺和水环境污染问题日益凸显。与传统利用活性污泥法进行水处理相比,膜生物反应器(membrane bioreactor,MBR)技术具有占地面积小、出水水质稳定、剩余污泥产量小等优点,近年来在市政污水处理领域得到广泛应用。但是,在水处理过程中,膜生物反应器中的污泥絮体、胶体粒子、溶解性有机物或无机盐类,由于与膜存在物理化学吸附作用或机械作用,而在膜表面吸附与沉积,或在膜孔内吸附造成膜孔径变小或堵塞,造成膜污染。
传统的膜污染物检测方法在一定程度上与膜污染情况或膜污染潜势呈显著相关性,如化学需氧量(COD)、总有机碳(TOC),溶解性有机物(SMP)或胞外聚合物(EPS)中的多糖、蛋白、腐殖质浓度,但这些方法测试过程繁琐,不适合实时在线监测。
膜污染的发展是一个复杂的动态过程,可以通过跨膜压差上升、膜通量下降、膜渗透率降低等现象来反映膜污染的发展。但是,一旦出现这些现象,膜污染已经发生,无法做到提前预警。因此,如何对膜污染进行预测成为本领域人员亟需解决的问题。
在一个示例性的实施例中,图2为本申请实施例提供的一种膜污染预测方法的流程示意图之一,如图2所示,提供了一种膜污染预测方法,本实施例以该方法应用于服务器104进行举例说明,可以理解的是,该方法也可以应用于终端102,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。方法包括以下步骤:
S201、获取膜污染检测数据;膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在操作条件下得到的历史膜污染结果。
其中,膜污染检测数据可以是根据膜污染检测体系进行采集的数据。膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在操作条件下得到的历史膜污染结果。光谱指纹数据可以包括UV-vis(Ultraviolet–visible,紫外-可见光吸收光谱)数据,例如,吸光度、比吸光度、吸光度比值等。光谱指纹数据还可以包括荧光光谱数据,例如,荧光特征峰、荧光指数、荧光强度等。水处理过程可以是利用膜生物反应器(membranebioreactor,MBR)进行的水处理。操作条件可以包括曝气量。历史膜污染结果可以包括膜工况数据,例如,TMP(Transmembrane Pressure,跨膜压差)、膜通量、膜渗透性等。历史膜污染结果还可以包括膜污染细化数据,例如,温度校正后的膜工况、膜工况变换率等。
在本申请实施例中,可以从计算机设备的存储单元中获取膜污染检测数据,还可以接收其他设备发送的膜污染检测数据。膜污染检测数据可以是根据构建的膜污染检测体系中各指标所获取的数据。
需要说明的是,MBR工艺类型不限,可为小试类型、中试类型和实际水厂类型等;MBR工艺进水水质不限,可为市政污水、工业污水等。本实施例中,所述MBR工艺为实际市政污水处理工艺。
S202、基于膜污染检测数据对初始回归模型进行训练,确定目标回归模型。
其中,初始回归模型可以是支持向量回归(SVR,support vector regression)模型。支持向量回归是一种基于统计学习理论为基础的机器学习方法,在样本量不大的情况下具有较好的稳定性。
在本申请实施例中,可以对膜污染检测数据进行预处理,得到预处理后的膜污染检测数据,根据预处理后膜污染检测数据构建训练集和测试集。利用构建好的训练集对初始回归模型进行训练,并利用训练集进行交叉验证得到模型最优参数,以获得训练好的中间回归模型。利用评价指标和测试集对中间回归模型进行多次训练和预测,以获得目标回归模型。
例如,可以对膜污染检测数据进行异常点识别和剔除,并进行Z-score标准化处理后将膜污染检测数据随机划分为80%的训练集和20%的测试集。利用80%的训练集对构建的初始支持向量回归模型进行训练,并利用训练集进行交叉验证得到模型最优参数,以获得训练好的中间回归模型。该训练好的中间回归模型可以用来预测膜污染结果,为了得到更稳定、预测能力更好的模型,可以利用评价指标和测试集对中间回归模型进行多次训练和预测,以获得目标回归模型。
S203、利用目标回归模型,预测未来预设时间段内的膜污染结果;膜污染结果包括膜渗透率。
在本申请实施例中,可以根据膜污染检测数据中的部分数据,利用目标回归模型预测未来预设时间段内的膜污染结果,例如,膜污染结果可以包括膜渗透率。
需要说明的是,在训练时期,使用7天的历史膜污染结果作为初始回归模型的输出特征,则可以预测该未来7天的膜污染结果。即,使用预设时间时长的历史膜污染结果作为初始回归模型的输出特征,则可以预测未来的预设时间时长的膜污染结果。
上述膜污染预测方法中,获取膜污染检测数据;膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在操作条件下得到的历史膜污染结果,基于膜污染检测数据对初始回归模型进行训练,确定目标回归模型,利用目标回归模型,预测未来预设时间段内的膜污染结果;膜污染结果包括膜渗透率。本申请实施例中结合历史膜污染结果、光谱指纹数据、操作条件等多维指标,对初始回归模型进行训练得到目标回归模型,利用该目标回归模型可以对膜污染结果进行预测。由于,本申请实施例训练初始回归模型时使用了光谱指纹数据,光谱指纹数据操作简单、灵敏度高、样品需求,有助于实现膜污染结果的快速预测,并降低了预测的复杂性。
在一个示例性的实施例中,图3为本申请实施例提供的一种膜污染检测数据获取方法的流程示意图,如图3所示,本实施例涉及的是如何获取膜污染检测数据的一种可能的实施方式,在上述实施例的基础上,上述S201包括:
S301、构建膜污染检测体系;膜污染检测体系包括污染物的污染物性质、水处理过程的运行条件和膜污染结果,水处理过程的运行条件用于指示采集操作条件。
其中,膜污染检测体系包括污染物的污染物性质、水处理过程的运行条件和膜污染结果。污染物性质可以包括常规水质指标、污染物宏观指标、污染物细化指标、光谱指纹指标。光谱指纹指标包括紫外光谱指标和荧光光谱指标;光谱指纹指标用于指示采集光谱指纹数据。常规水质指标可以包括化学需氧量COD、总氮TN、总磷TP、氨氮NH3-N浓度,污染物宏观指标可以包括污泥浓度MLSS、衡量水中悬浮物浓度指标SV30,污染物细化指标可以包括多糖、蛋白、腐殖酸浓度。光谱指纹指标包括UV-vis(Ultraviolet–visible,紫外-可见光吸收光谱)指标,例如,吸光度、比吸光度、吸光度比值等。光谱指纹指标还包括荧光光谱指标,例如,荧光特征峰、荧光指数、荧光强度等。水处理过程的运行条件可以包括环境指标和操作条件,环境指标可以包括温度、酸碱度pH、溶解氧DO,操作条件可以是曝光量。膜污染结果可以包括膜工况数据,例如,TMP(Transmembrane Pressure,跨膜压差)、膜通量、膜渗透性等。历史膜污染结果还可以包括膜污染细化数据,例如,温度校正后的膜工况、膜工况变换率等。
对于荧光光谱指标的提取,可以采取以下步骤完成:扣除纯水背景值;去除散射:通过三线插值法去除瑞利散射和拉曼散射;校正内滤效应:用各激发和发射波长对应的紫外-可见吸光度校正荧光内滤效应;切除无意义区域:切除激发波长大于发射波长的无意义荧光区域;拉曼归一化:用纯水拉曼峰将荧光强度单位标准化。
膜污染检测体系还可以包括膜污染潜势,膜污染潜势包括过滤杯评价和滤纸过滤评价中至少一项。过滤杯评价是细化评价,例如Kcf、V0.25、V0.5。滤纸过滤评价是宏观评价,例如混合液膜过滤性。
具体地,可以构建膜污染检测体系,该膜污染检测体系是一种膜生物反应器(MBR)膜污染多维监测指标体系,可以包括上述所提到的污染物性质、水处理过程的运行条件、膜污染潜势和膜污染结果。
S302、根据膜污染检测体系,采集膜污染检测数据。
在本申请实施例中,可以根据膜污染检测体系,采集膜污染检测体系中各指标对应的膜污染检测数据。
需要说明的是,膜污染检测体系中的光谱指纹指标具体含义为:UV254为254nm处的紫外吸光度;UV280为280nm处的紫外吸光度;FI-I为三维荧光I区(激发波长Ex<250nm,发射波长Em<330nm)平均荧光强度;FI-II为三维荧光II区(激发波长Ex<250nm,发射波长330<Em<380nm)平均荧光强度;FI-III为三维荧光III区(激发波长Ex<250nm,发射波长Em>380nm)平均荧光强度;FI-IV为三维荧光IV区(激发波长Ex>250nm,发射波长Em<380nm)平均荧光强度;FI-V为三维荧光V区(激发波长Ex>250nm,发射波长Em>380nm)平均荧光强度;peak B为三维荧光B峰(Ex/Em=(270~280)/(300~320)nm)荧光强度;peak T为三维荧光T峰(Ex/Em=(270~280)/(320~350)nm)荧光强度;peakA为三维荧光A峰(Ex/Em=(237~260)/(400~500)nm)荧光强度;peak M为三维荧光M峰(Ex/Em=(270~280)/(300~320)nm)荧光强度;peak C为三维荧光C峰(Ex/Em=(300~370)/(400~500)nm)荧光强度。
本实施例中,通过构建膜污染检测体系,根据膜污染检测体系,采集膜污染检测数据,其中,膜污染检测体系包括污染物的污染物性质、水处理过程的运行条件和膜污染结果,水处理过程的运行条件用于指示采集操作条件;污染物性质包括常规水质指标、污染物宏观指标、污染物细化指标和光谱指纹指标;光谱指纹指标包括紫外光谱指标和荧光光谱指标;光谱指纹指标用于指示采集光谱指纹数据。膜污染检测体系还包括膜污染潜势,膜污染潜势包括过滤杯评价和滤纸过滤评价中至少一项。由于构建的膜污染检测体系包括光谱指纹指标、水质指标和操作条件指标,通过该膜污染检测体系采集的各指标对应的数据,利用该数据进行训练得到目标回归模型,有利于水质在线评价并实时预测膜污染发展趋势。
在一个示例性的实施例中,图4为本申请实施例提供的一种目标回归模型确定方法的流程示意图,如图4所示,本实施例涉及的是如何基于膜污染检测数据对初始回归模型进行训练,确定目标回归模型的一种可能的实施方式,在上述实施例的基础上,上述S202包括:
S401、基于膜污染检测数据对初始回归模型进行训练,得到中间回归模型。
在本申请实施例中,初始回归模型可以是随机森林模型(Random Forest),可以基于膜污染检测数据对初始随机森林模型进行训练,得到随机森林模型对应的最适树个数和叶子节点数,根据该树个数和叶子节点数得到中间回归模型。初始回归模型还可以是人工神经网络(Artificial Neural Network),得到人工神经网络对应的连接权重,根据该连接权重得到中间回归模型。
可选的,5为本申请实施例提供的一种中间回归模型确定方法的流程示意图,如图5所示,本实施例涉及是在初始回归模型为初始支持向量回归模型SVR的情况下,如何基于膜污染检测数据对初始回归模型进行训练,得到中间回归模型的一种可能的实施方式,在上述实施例的基础上,上述S401包括:
S501、对膜污染检测数据进行预处理,得到预处理后的膜污染检测数据。
本申请实施例中,可以对膜污染检测数据进行异常点识别和剔除,并进行Z-score标准化处理,得到预处理后的膜污染检测数据。
S502、根据预处理后的膜污染检测数据,对初始支持向量回归模型进行训练,得到支持向量回归模型对应的惩罚因子和核参数。
本申请实施例中,可以根据预处理后的膜污染检测数据,构成训练集,对初始支持向量回归模型进行训练,得到支持向量回归模型对应的惩罚因子和核参数。具体地:
首先,预处理后的膜污染检测数据得到数据集D={(x1,y1),(x2,y2),…,(xm,ym)}(其中xi∈X=Rn为初始支持向量回归模型的输入,yi∈Y为对应的初始支持向量回归模型的输出,i=1,…,m)。为了解决非线性问题,引入一个从低维空间到高维空间的映射φ(x),希望学得一个模型使得f(x)与y尽可能接近,ω和b为模型参数。
其次,设定误差ε,并引入惩罚因子C,则SVR问题可以表述成:
定义核函数并引入拉格朗日乘子α≥0、/>模型可以表述为:
高斯函数(即径向基函数)能较好的实现由低维特征空间到高维特征空间的映射,且需调优参数较少,因而本模型选用高斯核函数:
依据建立的初始支持向量回归模型,需通过交叉验证寻找最优参数,参数包括惩罚因子C和核参数
其中,ω和b为拟合系数,ω为变量系数,b为常数项,z:函数自变量,m为训练集的样本量,σ为控制高斯核函数的作用范围的值,xj为第j个输入,xi为第i个输入。
最后,可以设置一个较粗的范围,利用交叉验证法,按照一定的扫描间隔遍历所有可能值,以均方误差MSE为评价指标,寻找最优的惩罚因子C和核参数G可能位于的范围。然后在此范围内,设置精细的划分,利用交叉验证法遍历所有可能值,以使MSE最小时的惩罚因子C和核参数G值作为最优模型参数,即为支持向量回归模型对应的惩罚因子和核参数。
S503、根据惩罚因子和核参数,得到中间回归模型。
具体地,由于上述已确定最优的惩罚因子和核参数,则根据该惩罚因子和核参数可以得到一种中间回归模型。该训练好的中间回归模型可以用来预测膜污染结果。
但是为了得到更稳定、预测能力更好的模型,可以进行下一步利用评价指标和测试集对中间回归模型进行多次训练和预测,以获得目标回归模型。
S402、利用均方根误差和/或决定系数R2确定中间回归模型的评价结果。
具体地,可以利用均方根误差和/或决定系数R2作为评价指标来评价中间回归模型的预测能力,得到中间回归模型的评价结果。
例如,将决定系数R2和均方根误差RMSE的均值,作为评价指标来评价中间回归模型的预测能力,得到评价结果。其中,R2越接近1或RMSE越接近0时,中间回归模型的预测能力越强;使用R2和RMSE的离散系数来Cv评价模型的稳定性,离散系数越小,模型稳定性越强。
S403、根据评价结果训练中间回归模型,得到目标回归模型。
具体地,可以根据上述评价结果可以对中间回归模型进行参数的调整,对调整参数后的中间回归模型继续训练,直到评价结果达到预设评价结果阈值,将最后一次得到的中间回归模型作为目标回归模型。
本实施例中,通过基于膜污染检测数据对初始回归模型进行训练,得到中间回归模型,利用均方根误差和/或决定系数R2确定中间回归模型的评价结果,根据评价结果训练中间回归模型,得到目标回归模型。由于本申请实施例中能够通过均方根误差和/或决定系数R2作为评价指标,对中间回归模型进行进一步优化,得到预测能力更强、更稳定的目标回归模型,进一步的,利用目标回归模型对膜污染结果进行预测,能够提高膜污染结果的准确性。
在一个示例性的实施例中,图6为本申请实施例提供的一种膜污染预测方法的流程示意图之二,如图6所示,本实施例提供了一种示例性的膜污染预测方法,包括以下步骤:
S601、建立光谱指纹指标在内的膜污染多维监测指标体系。
S602、收集MBR工艺光谱指纹数据、水质数据、操作条件数据和膜污染数据等多维指标数据,并对数据进行预处理,得到预处理后的多维指标数据。
S603、利用预处理后多维指标数据建立SVR模型进行训练、交叉验证得到预测模型最优参数,以得到目标SVR模型。
S604、利用训练好的SVR模型进行预测,得到膜污染预测结果。
本实施例中,结合光谱指纹数据、水质数据、操作条件数据和膜污染数据等多维指标,对SVR进行训练得到目标SVR模型,利用该目标SVR模型可以对膜污染结果进行预测。由于,本申请实施例训练初始回归模型时使用了光谱指纹数据,光谱指纹数据操作简单、灵敏度高、样品需求,有助于实现膜污染结果的快速预测,并降低了预测的复杂性。
示例性的,对实际MBR工艺进行为期超过半年的连续监测,共收集204个有效样本。该工艺运行期间主要指标如下:
表1
指标 均值 标准差
出水COD(mg/L) 11.07 2.62
出水TN(mg/L) 11.76 2.29
出水NH3-N(mg/L) 0.43 0.31
出水TP(mg/L) 0.23 0.79
膜池MLSS(mg/L) 5023 776
膜池混合液SV30(%) 65.6 22.1
膜池DO(mg/L) 8.56 1.23
膜池温度(℃) 20.6 5.0
跨膜压差(kPa) 10.18 1.88
膜通量(LMH) 11.78 1.50
膜渗透率(L/m2/h/bar) 117.3 10.24
其中,出水COD、出水TN、出水NH3-N、出水TP和膜池MLSS、膜池混合液SV30、膜池DO、膜池温度均属于常规水质数据;跨膜压差、膜通量和膜渗透率属于膜污染结果。
连续监测期间,COD、TN、NH3-N、TP的平均去除率分别为(93.0%±1.8%)、(60.5%±9.1%)、(98.3%±1.9%)、(93.9%±3.1%);紫外光谱指标的差异主要体现在250-300nm范围内的吸光度,三维荧光光谱指标的差异主要体现在荧光Ⅱ区(表征色氨酸)、Ⅲ区(表征富里酸)和Ⅳ区(表征与微生物代谢产物相关的蛋白)。
本实施例对所收集的光谱指纹数据、水质数据、操作条件数据、膜污染数据等经异常值筛查和归一化处理后,随即划分为80%的训练集和20%的测试集。以UV254、UV280、FI-Ⅰ、FI-Ⅱ、FI-Ⅲ、FI-Ⅳ、FI-Ⅴ、peak B、peak T、peak A、peak M、peak C、膜池混合液SV30、膜池DO、膜池温度、膜曝气量和当前时刻膜渗透率为模型输入特征,分别以1天、2天、3天、5天和7天后的膜渗透率为模型输出特征,建立SVR模型,进行多次重复训练和预测。
SVR模型具体表现如图7所示,图7为本申请实施例提供的一种不同预测时间下膜污染预测能力图,每个模型重复预测5次,具体结果如下:
在1天、2天、3天、5天和7天的时间间隔下,SVR模型的 分别为{0.72,6.10,2.43%,3.12%}、{0.67,6.78,3.83%,2.58%}、{0.69,6.42,1.45%,1.69%}、{0.64,6.97,1.27%,1.14%}、{0.71,6.32,2.34%,2.79%}。结果表明,基于光谱指纹数据驱动的支持向量回归模型,能较好的预测1周内膜污染的发展情况,模型预测精度高、稳定性强。另外,图8为本申请实施例提供的一种膜污染实际值和膜污染预测值的对比图。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的膜污染预测方法的膜污染预测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个膜污染预测装置实施例中的具体限定可以参见上文中对于膜污染预测方法的限定,在此不再赘述。
在一个示例性的实施例中,图9为本申请实施例提供的一种膜污染预测装置的结构示意图,如图9所示,提供了一种膜污染预测装置900,包括:获取模块901、确定模块902和预测模块903,其中:
获取模块901,用于获取膜污染检测数据;膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在操作条件下得到的历史膜污染结果。
确定模块902,用于基于膜污染检测数据对初始回归模型进行训练,确定目标回归模型。
预测模块903,用于利用目标回归模型,预测未来预设时间段内的膜污染结果;膜污染结果包括膜渗透率。
在一个示例性的实施例中,获取模块901包括:
构建单元,用于构建膜污染检测体系;膜污染检测体系包括污染物的污染物性质、水处理过程的运行条件和膜污染结果,水处理过程的运行条件用于指示采集操作条件。
采集单元,用于根据膜污染检测体系,采集膜污染检测数据。
在一个示例性的实施例中,污染物性质包括常规水质指标、污染物宏观指标、污染物细化指标和光谱指纹指标;光谱指纹指标包括紫外光谱指标和荧光光谱指标;光谱指纹指标用于指示采集光谱指纹数据。
在一个示例性的实施例中,膜污染检测体系还包括膜污染潜势,膜污染潜势包括过滤杯评价和滤纸过滤评价中至少一项。
在一个示例性的实施例中,确定模块902包括:
第一确定单元,用于基于膜污染检测数据对初始回归模型进行训练,得到中间回归模型。
第二确定单元,用于利用均方根误差和/或决定系数R2确定中间回归模型的评价结果。
第三确定单元,用于根据评价结果训练中间回归模型,得到目标回归模型。
在一个示例性的实施例中,在初始回归模型为初始支持向量回归模型的情况下,第一确定单元具体用于对膜污染检测数据进行预处理,得到预处理后的膜污染检测数据;根据预处理后的膜污染检测数据,对初始支持向量回归模型进行训练,得到支持向量回归模型对应的惩罚因子和核参数;根据惩罚因子和核参数,得到中间回归模型。
上述膜污染预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种膜污染预测方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取膜污染检测数据;膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在操作条件下得到的历史膜污染结果;
基于膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
利用目标回归模型,预测未来预设时间段内的膜污染结果;膜污染结果包括膜渗透率。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
构建膜污染检测体系;膜污染检测体系包括污染物的污染物性质、水处理过程的运行条件和膜污染结果,水处理过程的运行条件用于指示采集操作条件;
根据膜污染检测体系,采集膜污染检测数据。
在一个实施例中,污染物性质包括常规水质指标、污染物宏观指标、污染物细化指标和光谱指纹指标;光谱指纹指标包括紫外光谱指标和荧光光谱指标;
光谱指纹指标用于指示采集光谱指纹数据。
在一个实施例中,膜污染检测体系还包括膜污染潜势,膜污染潜势包括过滤杯评价和滤纸过滤评价中至少一项。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
基于膜污染检测数据对初始回归模型进行训练,得到中间回归模型;
利用均方根误差和/或决定系数R2确定中间回归模型的评价结果;
根据评价结果训练中间回归模型,得到目标回归模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对膜污染检测数据进行预处理,得到预处理后的膜污染检测数据;
根据预处理后的膜污染检测数据,对初始支持向量回归模型进行训练,得到支持向量回归模型对应的惩罚因子和核参数;
根据惩罚因子和核参数,得到中间回归模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取膜污染检测数据;膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在操作条件下得到的历史膜污染结果;
基于膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
利用目标回归模型,预测未来预设时间段内的膜污染结果;膜污染结果包括膜渗透率。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
构建膜污染检测体系;膜污染检测体系包括污染物的污染物性质、水处理过程的运行条件和膜污染结果,水处理过程的运行条件用于指示采集操作条件;
根据膜污染检测体系,采集膜污染检测数据。
在一个实施例中,污染物性质包括常规水质指标、污染物宏观指标、污染物细化指标和光谱指纹指标;光谱指纹指标包括紫外光谱指标和荧光光谱指标;
光谱指纹指标用于指示采集光谱指纹数据。
在一个实施例中,膜污染检测体系还包括膜污染潜势,膜污染潜势包括过滤杯评价和滤纸过滤评价中至少一项。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于膜污染检测数据对初始回归模型进行训练,得到中间回归模型;
利用均方根误差和/或决定系数R2确定中间回归模型的评价结果;
根据评价结果训练中间回归模型,得到目标回归模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对膜污染检测数据进行预处理,得到预处理后的膜污染检测数据;
根据预处理后的膜污染检测数据,对初始支持向量回归模型进行训练,得到支持向量回归模型对应的惩罚因子和核参数;
根据惩罚因子和核参数,得到中间回归模型。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取膜污染检测数据;膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在操作条件下得到的历史膜污染结果;
基于膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
利用目标回归模型,预测未来预设时间段内的膜污染结果;膜污染结果包括膜渗透率。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
构建膜污染检测体系;膜污染检测体系包括污染物的污染物性质、水处理过程的运行条件和膜污染结果,水处理过程的运行条件用于指示采集操作条件;
根据膜污染检测体系,采集膜污染检测数据。
在一个实施例中,污染物性质包括常规水质指标、污染物宏观指标、污染物细化指标和光谱指纹指标;光谱指纹指标包括紫外光谱指标和荧光光谱指标;
光谱指纹指标用于指示采集光谱指纹数据。
在一个实施例中,膜污染检测体系还包括膜污染潜势,膜污染潜势包括过滤杯评价和滤纸过滤评价中至少一项。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于膜污染检测数据对初始回归模型进行训练,得到中间回归模型;
利用均方根误差和/或决定系数R2确定中间回归模型的评价结果;
根据评价结果训练中间回归模型,得到目标回归模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对膜污染检测数据进行预处理,得到预处理后的膜污染检测数据;
根据预处理后的膜污染检测数据,对初始支持向量回归模型进行训练,得到支持向量回归模型对应的惩罚因子和核参数;
根据惩罚因子和核参数,得到中间回归模型。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种膜污染预测方法,其特征在于,所述方法包括:
获取膜污染检测数据;所述膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在所述操作条件下得到的历史膜污染结果;
基于所述膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
利用所述目标回归模型,预测未来预设时间段内的膜污染结果;所述膜污染结果包括膜渗透率。
2.根据权利要求1所述的方法,其特征在于,所述获取膜污染检测数据,包括:
构建膜污染检测体系;所述膜污染检测体系包括所述污染物的污染物性质、所述水处理过程的运行条件和膜污染结果,所述水处理过程的运行条件用于指示采集所述操作条件;
根据所述膜污染检测体系,采集所述膜污染检测数据。
3.根据权利要求2所述的方法,其特征在于,所述污染物性质包括常规水质指标、污染物宏观指标、污染物细化指标和光谱指纹指标;所述光谱指纹指标包括紫外光谱指标和荧光光谱指标;
所述光谱指纹指标用于指示采集所述光谱指纹数据。
4.根据权利要求2所述的方法,其特征在于,所述膜污染检测体系还包括膜污染潜势,所述膜污染潜势包括过滤杯评价和滤纸过滤评价中至少一项。
5.根据权利要求1所述的方法,其特征在于,所述基于所述膜污染检测数据对初始回归模型进行训练,确定目标回归模型,包括:
基于所述膜污染检测数据对初始回归模型进行训练,得到中间回归模型;
利用均方根误差和/或决定系数R2确定所述中间回归模型的评价结果;
根据所述评价结果训练所述中间回归模型,得到所述目标回归模型。
6.根据权利要求5所述的方法,其特征在于,所述初始回归模型为初始支持向量回归模型,所述基于所述膜污染检测数据对初始回归模型进行训练,得到中间回归模型,包括:
对所述膜污染检测数据进行预处理,得到预处理后的膜污染检测数据;
根据所述预处理后的膜污染检测数据,对所述初始支持向量回归模型进行训练,得到支持向量回归模型对应的惩罚因子和核参数;
根据所述惩罚因子和所述核参数,得到所述中间回归模型。
7.一种膜污染预测装置,其特征在于,所述装置包括:
获取模块,用于获取膜污染检测数据;所述膜污染检测数据至少包括污染物的光谱指纹数据、水处理过程的操作条件和在所述操作条件下得到的历史膜污染结果;
确定模块,用于基于所述膜污染检测数据对初始回归模型进行训练,确定目标回归模型;
预测模块,用于利用所述目标回归模型,预测未来预设时间段内的膜污染结果;所述膜污染结果包括膜渗透率。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202311554655.9A 2023-11-21 2023-11-21 膜污染预测方法、装置、设备、存储介质和程序产品 Pending CN117753213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311554655.9A CN117753213A (zh) 2023-11-21 2023-11-21 膜污染预测方法、装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311554655.9A CN117753213A (zh) 2023-11-21 2023-11-21 膜污染预测方法、装置、设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN117753213A true CN117753213A (zh) 2024-03-26

Family

ID=90309433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311554655.9A Pending CN117753213A (zh) 2023-11-21 2023-11-21 膜污染预测方法、装置、设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN117753213A (zh)

Similar Documents

Publication Publication Date Title
Ray et al. A holistic review on how artificial intelligence has redefined water treatment and seawater desalination processes
Viet et al. Enhancement of membrane system performance using artificial intelligence technologies for sustainable water and wastewater treatment: A critical review
CN106600509B (zh) 一种基于基础数据分析判断企业兑水排污行为的方法
Heddam et al. A new approach based on the dynamic evolving neural-fuzzy inference system (DENFIS) for modelling coagulant dosage (Dos): case study of water treatment plant of Algeria
Han et al. Data-driven decision-making for wastewater treatment process
Xin et al. Research on the Application of Multimodal‐Based Machine Learning Algorithms to Water Quality Classification
KR100965756B1 (ko) 하수처리장 공정 운영 상태 진단을 위한 방법 및 장치
Rustum et al. Applying Kohonen self‐organizing map as a software sensor to predict biochemical oxygen demand
Li et al. Application of machine learning algorithms in MBR simulation under big data platform
Han et al. An intelligent detecting system for permeability prediction of MBR
Tomperi et al. Real-time optical monitoring of the wastewater treatment process
da Silva et al. Beta diversity patterns in zooplankton assemblages from a semiarid river ecosystem
Baouab et al. Prediction of the optimal dose of coagulant for various potable water treatment processes through artificial neural network
Zhang et al. Characterizing dissolved organic matter in Taihu Lake with PARAFAC and SOM method
CN115456243A (zh) 一种水质预测方法、装置、计算机设备及存储介质
Baig et al. Ensemble hybrid machine learning to simulate dye/divalent salt fractionation using a loose nanofiltration membrane
Wang et al. MBR membrane fouling diagnosis based on improved residual neural network
Kim et al. Self-optimization of training dataset improves forecasting of cyanobacterial bloom by machine learning
Hudori et al. Effect of the recycling process on drinking water treatment: evaluation based on fluorescence EEM analysis using the Peak-Picking technique and Self-Organizing Map
Yu et al. Research progress of the artificial intelligence application in wastewater treatment during 2012–2022: a bibliometric analysis
Ly et al. Improving algal bloom detection using spectroscopic analysis and machine learning: A case study in a large artificial reservoir, South Korea
KR20140117959A (ko) 하수처리장 유출수질의 상태에 대한 원인인자 제공장치 및 방법
Kim et al. Enhanced monitoring of water quality variation in Nakdong River downstream using multivariate statistical techniques
Mahanna et al. Prediction of Wastewater Treatment Plant Performance through Machine Learning Techniques
CN117753213A (zh) 膜污染预测方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination