CN115561416A - 污水处理厂进水水质实时检测方法和装置 - Google Patents

污水处理厂进水水质实时检测方法和装置 Download PDF

Info

Publication number
CN115561416A
CN115561416A CN202211130257.XA CN202211130257A CN115561416A CN 115561416 A CN115561416 A CN 115561416A CN 202211130257 A CN202211130257 A CN 202211130257A CN 115561416 A CN115561416 A CN 115561416A
Authority
CN
China
Prior art keywords
time
index
lag
water quality
water
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211130257.XA
Other languages
English (en)
Inventor
李朝林
张怡拓
王文辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202211130257.XA priority Critical patent/CN115561416A/zh
Publication of CN115561416A publication Critical patent/CN115561416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18—Water
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Activated Sludge Processes (AREA)

Abstract

本发明实施例提供一种污水处理厂进水水质实时检测方法和系统，基于最大互信息系数的相关性分析筛除冗余数据，降低了硬件设备的运算负担，节省相关费用；MHA‑LSTM模型的循环架构、门结构、多头注意力机制赋予其强大的非线性映射能力、长期依赖关系捕捉能力、更强的多时间尺度数据特征学习能力以及对不同信息角度的关注能力；MHA‑LSTM模型对正常水质波动具有高的检测精度，同时擅长检测突发性的水质异常波动，为污水处理厂及时做出反馈措施提供有力的数据支撑，可快速获取的水质、水量、气象指标与无法快速获取的时滞性水质指标之间建立映射关系，实现时滞性水质指标的实时软检测，具有无二次污染、成本低、速度快的显著优势。

Description

污水处理厂进水水质实时检测方法和装置
技术领域
本发明实施例涉及水质检测交通、智慧旅游技术领域，尤其涉及污水处理厂进水水质实时检测方法和装置。
背景技术
作为城市的基础市政设施，污水处理厂肩负城市生产、生活污水的净化任务，其运行状态直接影响城市水环境的健康。然而，随着城市化进程推进和经济快速发展，城市规模持续扩大，市内各类功能区划(生活区、商业区、工业区)产生的污水量及其成分复杂程度均与日俱增，这对城市污水处理厂提出了极高的挑战。进水的化学成分在短时间内剧烈变化，将使污水处理厂承受冲击载荷，导致严重的经济损失甚至污染事故。而反应污水水质的关键指标如总氮、五日生化需氧量、总磷、总有机碳，均要求消耗化学试剂的消解过程，这需要15-40分钟的时间。上述关键水质指标严重的时滞性导致污水处理厂对当前时刻水质的判断缺乏数据支撑。因此，有必要及时、准确地掌握污水处理厂进水的时滞性指标波动，以便于污水处理厂的运营人员及时采取措施。
相较于基于化学反应的传统水质检测方法，基于水质预测模型的软检测方法具有成本低、无二次污染、速度快等优势。受上述优势吸引，国内外的研究人员开发了一系列数据驱动的水质软检测模型。但当前仍存在限制软检测方法实际应用的问题，例如，多项式回归、支持向量机、梯度提升决策树等传统机器学习算法的非线性映射能力不够强，学习非稳态的水质数据效率低，基于此类算法建立的模型存在总体检测精度差的问题。深度神经网络、循环神经网络、门控循环神经网络等深度学习算法具备更强的非线性映射能力，甚至捕获时间序列中长期依赖关系的能力，基于此类算法的水质模型获得了较高的总体检测精度。但此类建模算法训练过程要求大量数据，而且由于用来训练模型的水质数据中反映异常水质的数据往往较少，这导致此类模型无法有效学习相应的特征模式，即对水质的突发性大幅波动事件的检测能力极差。
发明内容
本发明实施例提供污水处理厂进水水质实时检测方法和装置，适用于污水处理厂进水水质的快速、准确检测，为污水处理厂针对水质变化及时采取反馈措施提供数据支撑。
第一方面，本发明实施例提供一种污水处理厂进水水质实时检测方法，包括：
步骤S1、获取污水处理厂的进水历史数据中的时滞性指标和非时滞性指标，所述非时滞性指标包括非时滞性水质指标、水量指标和气象指标，所述时滞性指标包括时滞性水质指标；
步骤S2、以所述时滞性水质指标的采样频率为基准对齐所述水量指标、所述气象指标和所述非时滞性水质指标，筛除相关性大于预设条件的非时滞性指标；对时滞性指标和非时滞性指标进行归一化处理；
步骤S3、以所述非时滞性指标为输入，以所述时滞性指标为输出，进行神经网络模型训练，得到用于检测进水水质的进水水质检测模型，基于所述进水水质预测模型检测污水处理厂进水水质。
作为优选的，所述进水历史数据的采样时长为12个月，采样周期为每小时一次，所述水量指标包括流量和液位；所述气象指标包括气温、相对湿度、气压、降水和可见度；所述时滞性水质指标包括总氮、五日生化需氧量、总磷和总有机碳；所述非时滞性水质指标包括pH、电导率、溶解氧、浊度、悬浮和水温。
作为优选的，所述步骤S2中，筛除相关性大于预设条件的非时滞性指标，具体包括：
确定任意两个所述非时滞性水质指标的最大互信息系数MIC，若任意两个所述非时滞性水质指标的MIC大于设定MIC阈值，则筛除其任意两个所述非时滞性水质指标中与剩余所有非时滞性水质指标的MIC的平均值较大的非时滞性水质指标。
作为优选的，所述神经网络模型为MHA-LSTM模型，每个非时滞性水质指标对应有一个所述MHA-LSTM模型；
所述MHA-LSTM模型包括输入层、LSTM神经网络、多头注意力机制单元和多层感知机；所述输入层的神经元数量与输入的非时滞性指标的个数一致，所述LSTM神经网络的时间步长与污水处理厂进水历史数据的日采样频率一致；所述多头注意力机制单元用于：基于LSTM神经网络在各时间步的输出和水质异常标准设定查询矩阵Q、关键字矩阵K和关键字的数值矩阵V，查询矩阵Q、关键字矩阵K和关键字的数值矩阵V经n次不同的线性变换得到n组Qi、Vi、Ki，其中，i＝1,2,…,n，n为注意力头个数；对每一组Qi、Vi、Ki，通过缩放点积注意力机制得到响应的注意力头headi，拼接所有注意力头为一个高维向量，并传输入多层感知机；
所述多层感知机包括输入层、全连接层和输出层，其中，多层感知机中输入层的神经元数与多头注意力机制单元的注意力头个数一致，全连接层包括30-80个神经元且每个神经元采用ReLU激活函数，输出层包括1个神经元。
作为优选的，所述步骤S3中，以所述非时滞性指标为输入，以所述时滞性指标为输出，进行神经网络模型训练，具体包括：
在任意时刻t，将非时滞性指标按照pH、电导率、溶解氧、浊度、悬浮物、水温、流量、液位、气温、相对湿度、气压、降水、可见度的顺序排列，形成任意时刻t的高维输入It；
将所述高维输入按照时间顺序输入至LSTM神经网络，以建立所有非时滞性指标与某个时滞性指标的基于时间顺序的映射关系；
LSTM神经网络在各时间步的输出经多头注意力机制单元在不同的信息角度整合后，多头注意力机制单元的输出数据传输到多层感知机。
作为优选的，所述步骤S3中，进行神经网络模型训练前，还包括；
将进水历史数据按照8:1:1的比例划分为训练集、验证集和测试集；
进行神经网络模型训练后，还包括：
从进水历史数据中截取当前日期之前7-90天的训练集，以对训练好的MHA-LSTM模型进行30-250次循环迭代，MHA-LSTM模型的微调频率为3-14天/次。
作为优选的，所述MHA-LSTM模型的损失函数为：
Figure BDA0003849972680000041
上式中，T表示时间序列长度，t表示时间顺序，
Figure BDA0003849972680000042
为t时刻的预测值，
Figure BDA0003849972680000043
为t时刻的实测值。
第二方面，本发明实施例提供一种污水处理厂进水水质实时检测装置，包括：
指标采集模块，获取污水处理厂的进水历史数据中的时滞性指标和非时滞性指标，所述非时滞性指标包括非时滞性水质指标、水量指标和气象指标，所述时滞性指标包括时滞性水质指标；
指标筛选模块，以所述时滞性水质指标的采样频率为基准对齐所述水量指标、所述气象指标和所述非时滞性水质指标，筛除相关性大于预设条件的非时滞性指标；对时滞性指标和非时滞性指标进行归一化处理；
检测模块，以所述非时滞性指标为输入，以所述时滞性指标为输出，进行神经网络模型训练，得到用于检测进水水质的进水水质检测模型，基于所述进水水质预测模型检测污水处理厂进水水质。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述污水处理厂进水水质实时检测方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述污水处理厂进水水质实时检测方法的步骤。
本发明实施例提供的一种污水处理厂进水水质实时检测方法和系统，基于最大互信息系数的相关性分析筛除冗余数据，有效降低了硬件设备的运算负担，节省相关费用；MHA-LSTM模型的循环架构、门结构、多头注意力机制赋予其强大的非线性映射能力、长期依赖关系捕捉能力、更强的多时间尺度数据特征学习能力以及对不同信息角度的关注能力；微调方法使所提出的检测方法能够时时适应水质变化趋势，可在长期水质监测中提供精准的实时检测结果；经过训练和微调的MHA-LSTM模型对正常水质波动具有高的检测精度，同时擅长检测突发性的水质异常波动，为污水处理厂及时做出反馈措施提供有力的数据支撑，可快速获取的水质、水量、气象指标与无法快速获取的时滞性水质指标之间建立映射关系，实现时滞性水质指标的实时软检测，具有无二次污染、成本低、速度快的显著优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的污水处理厂进水水质实时检测方法流程框图；
图2为根据本发明实施例的污水处理厂进水实时检测方法的总体框架；
图3为根据本发明实施例的MHA-LSTM模型的结构图；
图4为根据本发明实施例的LSTM神经网络的结构图；
图5为根据本发明实施例的缩放点积注意力机制图；
图6为根据本发明实施例的分别用于总氮(TN)、五日生化需氧量(BOD5)、总磷(TP)、总有机碳(TOC)检测的MHA-LSTM模型的学习曲线图；
图7为根据本发明实施例的检测结果图；
图8为根据本发明实施例的数据驱动的污水处理厂进水的实时检测装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
水质软检测方法具有成本低、无二次污染、速度快等优势，但当前仍存在限制软检测方法实际应用的问题，例如，多项式回归、支持向量机、梯度提升决策树等传统机器学习算法的非线性映射能力不够强，学习非稳态的水质数据效率低，基于此类算法建立的模型存在总体检测精度差的问题。深度神经网络、循环神经网络、门控循环神经网络等深度学习算法具备更强的非线性映射能力，甚至捕获时间序列中长期依赖关系的能力，基于此类算法的水质模型获得了较高的总体检测精度。但此类建模算法训练过程要求大量数据，而且由于用来训练模型的水质数据中反映异常水质的数据往往较少，这导致此类模型无法有效学习相应的特征模式，即对水质的突发性大幅波动事件的检测能力极差。
因此，本发明实施例提供一种污水处理厂进水水质实时检测方法和装置，可快速获取的水质、水量、气象指标与无法快速获取的时滞性水质指标之间建立映射关系，实现时滞性水质指标的实时软检测，具有无二次污染、成本低、速度快的显著优势。下面结合附图描述污水处理厂进水水质实时检测方法和装置。
图1和图2为根据本发明实施例提供一种污水处理厂进水水质实时检测方法，包括：
步骤S1、获取污水处理厂的进水历史数据中的时滞性指标和非时滞性指标，所述非时滞性指标包括非时滞性水质指标、水量指标和气象指标，所述时滞性指标包括时滞性水质指标；其中时滞性水质指标(总氮、五日生化需氧量、总磷、总有机碳)作为水质软检测模型的输出，其他指标(即，非时滞性指标)则作为水质软检测模型的输入。
本实施例中，进水历史数据的采样时长为12个月，采样周期为每小时一次，所述水量指标包括流量和液位；所述气象指标包括气温、相对湿度、气压、降水和可见度；所述时滞性水质指标包括总氮、五日生化需氧量、总磷和总有机碳；所述非时滞性水质指标包括pH、电导率、溶解氧、浊度、悬浮和水温。
步骤S2、以所述时滞性水质指标的采样频率为基准对齐所述水量指标、所述气象指标和所述非时滞性水质指标，筛除相关性大于预设条件的非时滞性指标；对时滞性指标和非时滞性指标进行归一化处理；
本实施例中，获取进水历史数据后，需要对采集的进水历史数据执行前处理。所述前处理包括对齐频率、相关性分析、归一化；
对齐频率，该污水处理厂时滞性水质指标的检测频率为每小时一次，以该频率为基准对齐频率更高的快速水质(非时滞性水质指标和时滞性水质指标)、水量指标和气象指标，对齐各指标的频率后，进水历史数据集共8760条数据，148920个数据点。
相关性分析，确定任意两个所述非时滞性水质指标的最大互信息系数MIC，若任意两个所述非时滞性水质指标的MIC大于设定MIC阈值，则筛除其任意两个所述非时滞性水质指标中与剩余所有非时滞性水质指标的MIC的平均值较大的非时滞性水质指标。本实施例中，对于最大互信息系数大于0.7的两个指标，筛除两者中与其他非时滞性指标的最大互信息系数平均值较大的一个指标。在本实例中，没有指标因满足上述最大互信息系数大于0.7的条件被筛除。
归一化，分别对每一个指标执行最小最大归一化。其中，最小最大归一化的方法为，假设某一指标的时间序列为x1,…,xt，记其中最大值和最小值分别为xmax和xmin，则该指标时间序列归一化后为：
Figure BDA0003849972680000071
其中，x't为时间序列x在t时刻的数值的最小最大归一化结果。
步骤S3、以所述非时滞性指标为输入，以所述时滞性指标为输出，进行神经网络模型训练，得到用于检测进水水质的进水水质检测模型，基于所述进水水质预测模型检测污水处理厂进水水质。
本实施例中，所述神经网络模型为多头注意力机制的长短期记忆(MHA-LSTM)模型，所述MHA-LSTM模型包括输入层、LSTM神经网络、多头注意力机制单元和多层感知机；通过在开源的Tensorflow平台上调用keras、pandas、numpy、matplotlib、sklearn等工具库，并基于Python语言编写代码实现MHA-LSTM模型。遵从“多对一”架构，为每个非时滞性水质指标对应有一个所述MHA-LSTM模型；其中，LSTM神经网络的隐藏层数为3-5，每层包含50-65个神经元，输入层神经元数量与用作输入的指标的个数一致，输出层神经元数量为1；多层感知机由1个输入层、1-3个全连接层、1个输出层组成，输入层的神经元数与多头注意力机制的头数一致，每个全连接层30-80个神经元，输出层1个神经元。MHA-LSTM模型训练过程中使用对称平均绝对百分比误差(SMAPE)作为损失函数。
将归一化的进水历史数据按照8:1:1的比例划分为训练集、验证集和测试集，以所有非时滞性指标(pH、电导率、溶解氧、浊度、悬浮物、水温、流量、液位、气温、相对湿度、气压、降水、可见度)作为输入，每个时滞性指标(总氮、五日生化需氧量、总磷、总有机碳)作为输出，分别传输到4个MHA-LSTM模型，并训练上述4个模型。
所述MHA-LSTM模型的结构如图3所示。在任意时刻t，将非时滞性指标按照pH、电导率、溶解氧、浊度、悬浮物、水温、流量、液位、气温、相对湿度、气压、降水、可见度的顺序排列，形成任意时刻t的高维输入It，且t时刻各非时滞性指标的数值∈It；
将所述高维输入按照时间顺序输入至LSTM神经网络，以建立所有非时滞性指标与某个时滞性指标的基于时间顺序的映射关系；
LSTM神经网络在各时间步(至少包含所有时间步和最后一个时间步)的输出(即相应LSTM单元的输出)经多头注意力机制单元在不同的信息角度整合后，多头注意力机制单元的输出数据传输到多层感知机。多头注意力机制的输出数据被传输到一个多层感知机并得到其输出(Yt)。MHA-LSTM模型基于损失函数量化Yt与该非时滞性指标t时刻实测值之间的偏差。通过在整个MHA-LSTM模型中反向传播偏差，并在持续迭代中更新模型参数使偏差最小化，即可实现非时滞性指标的准确检测。在本实施例中，MHA-LSTM模型训练过程中使用对称平均绝对百分比误差(SMAPE)作为损失函数，SMAPE的公式如下：
Figure BDA0003849972680000091
上式中，T表示时间序列长度，t表示时间顺序，
Figure BDA0003849972680000092
为t时刻的预测值，
Figure BDA0003849972680000093
为t时刻的实测值。
所述输入层的神经元数量与输入的非时滞性指标的个数一致，所述LSTM神经网络的时间步长与污水处理厂进水历史数据的日采样频率一致；所述LSTM神经网络的结构如图4所示，包含一个输入门、一个遗忘门、一个输出门。在遗忘门中，前一时刻的隐藏状态(Ht-1)和当前输入(xt)一起传递给具有ReLU激活函数的神经网络，得到遗忘向量(ft)。在输入门中，Ht-1和xt一起传递给一个具有tanh激活函数的神经网络和一个具有ReLU激活函数的神经网络，分别得到输入向量(it)和候选输入向量(cit)。然后将it和cit逐点相乘，得到记忆向量(mt)。上一时刻的单元状态(Ut-1)与ft逐点相乘，再将它们的运算结果与mt逐点相加得到当前单元状态(Ut)。在输出门中，Ht-1和xt一起传递给一个带有ReLU激活函数的神经网络，得到输出向量(ot)；Ut经过tanh函数变换，逐点乘以ot，得到当前隐藏状态(Ht，即当前输出)。LSTM神经网络的计算公式如下：
ft＝ReLU(wfxxt+wfhHt-1+bf)
it＝ReLU(wixxt+wihHt-1+bi)
cit＝tanh(wcxxt+wchHt-1+bc)
Figure BDA0003849972680000094
Figure BDA0003849972680000095
ot＝ReLU(woxxt+wohHt-1+bo)
Figure BDA0003849972680000096
其中，ReLU和tanh分别表示整流线性单元和切线激活函数；
Figure BDA0003849972680000097
表示元素乘法运算；wfx、wix、wcx、wox分别是xt在遗忘门、输入门、候选输入和输出门中的权重参数；wfh、wih、wch、woh是遗忘门、输入门、候选输入和输出门中Ht-1对应的权重参数，bf、bi、bc、bo是对应的偏置参数。
在本实施例中，LSTM神经网络的隐藏层数为3-5，每层包含50-65个神经元；输入层神经元数量与输入指标的个数一致，输出层神经元数量为1。LSTM的时间步长设置为24(与样本集的日采样频率一致)，批大小为16-72，学习率则通过Adam优化器在模型训练过程中自适应调整。
所述多头注意力机制单元用于：基于LSTM神经网络在各时间步的输出(即H1，H2，…，Ht)和水质异常标准设定查询矩阵Q、关键字矩阵K和关键字的数值矩阵V，查询矩阵Q、关键字矩阵K和关键字的数值矩阵V经n次不同的线性变换得到n组Qi、Vi、Ki，其中，i＝1,2,…,n，n为注意力头个数；然后，对每一组Qi、Vi、Ki，通过缩放点积注意力机制得到响应的注意力头headi；最后，拼接所有注意力头为一个高维向量，并传输入多层感知机；其中，缩放点积注意力机制如图5所示。Q和K通过乘法得到查询向量和各个对应的键向量的相关性，缩放之后得到注意力得分，屏蔽操作是为了将Q和K中一些填充为零的向量清除掉，将注意力得分传输到Softmax函数，再将Softmax函数的运算结果与V相乘，得到加权和，即为该缩放点积注意力机制的输出。其公式如下：
Figure BDA0003849972680000101
其中，Q、
Figure BDA0003849972680000102
KT为K的转置，dk和dv分别为K和V的维度。
所述多层感知机包括输入层、全连接层(1至3层)和输出层，其中，多层感知机中输入层的神经元数与多头注意力机制单元的注意力头个数一致，全连接层包括30-80个神经元且每个神经元采用ReLU激活函数，输出层包括1个神经元。
图6展示的是该实施例中分别用于总氮(TN)、五日生化需氧量(BOD5)、总磷(TP)、总有机碳(TOC)检测的MHA-LSTM模型的学习曲线，该结果表明各MHA-LSTM模型均在1500次迭代左右达到收敛。
训练完MHA-LSTM模型后，还需要从进水历史数据中截取当前日期之前7-90天的训练集，以对训练好的MHA-LSTM模型进行30-250次循环迭代；在本实例中，MHA-LSTM模型的微调周期为3-14天。
根据上述MHA-LSTM模型输出各时滞性指标的检测结果。将当前时刻的非时滞性指标数据输入相应的微调好的MHA-LSTM模型，获得当前时刻的时滞性指标(即，总氮、五日生化需氧量、总磷、总有机碳)的检测结果。
依据检测结果和水质异常标准判断当前污水处理厂进水的水质是否异常，并指导污水处理厂执行反馈措施。所述水质异常标准如下：
1)时滞性指标浓度高于该指标的国家或行业标准；
2)时滞性指标浓度高于或低于该指标在此前3天的同时刻浓度均值的40％。
使用数据采集模块获取基于化学反应的方法的当前时刻时滞性指标的实际浓度，分析实际浓度和模型检测结果，以R2评估MHA-LSTM模型检测结果的整体精度，以精度和召回率评估MHA-LSTM模型对污水处理厂进水事件的检测精度。R2、精度和召回率的计算公式如下：
Figure BDA0003849972680000111
Figure BDA0003849972680000112
Figure BDA0003849972680000113
其中，
Figure BDA0003849972680000114
和
Figure BDA0003849972680000115
分别表示y在t时刻的实测值和y在所有时刻实测值的平均值，
Figure BDA0003849972680000116
和
Figure BDA0003849972680000117
分别表示y在t时刻的软检测值和y在所有时刻软检测值的平均值。
本实施例所述检测方法的检测结果如图7所示，微调好的MHA-LSTM模型在进水历史数据集的测试集上对总氮(TN)、五日生化需氧量(BOD5)、总磷(TP)、总有机碳(TOC)分别实现了0.9448、0.9128、0.8952、0.9043的R2。对异常进水事件实现了89.31％的精度和91.57％的召回率。该结果表明，所述检测方法及装置能够实现污水处理厂进水时滞性指标的正常和异常波动的准确检测。
本发明实施例还提供一种污水处理厂进水水质实时检测装置，基于上述各实施例中的污水处理厂进水水质实时检测方法，包括：
指标采集模块，获取污水处理厂的进水历史数据中的时滞性指标和非时滞性指标，所述非时滞性指标包括非时滞性水质指标、水量指标和气象指标，所述时滞性指标包括时滞性水质指标；
指标筛选模块，以所述时滞性水质指标的采样频率为基准对齐所述水量指标、所述气象指标和所述非时滞性水质指标，筛除相关性大于预设条件的非时滞性指标；对时滞性指标和非时滞性指标进行归一化处理；
检测模块，以所述非时滞性指标为输入，以所述时滞性指标为输出，进行神经网络模型训练，得到用于检测进水水质的进水水质检测模型，基于所述进水水质预测模型检测污水处理厂进水水质。
基于相同的构思，本发明实施例还提供了图8是污水处理厂进水水质实时检测装置的示意图。该检测设备的体系包括一个存储器830、一个处理器840、第一数据采集模块810和第二数据采集模块820，其中第一数据采集模块810设置在污水处理厂的进水口，用于采集污水处理厂进水的水质、水量数据，并将采集到的指标数据发送给存储器830；第二数据采集模块820设置于污水处理厂服务区域的中心区域，用于采集污水处理厂服务区域内气象数据，并将采集到的指标数据发送给存储器830；存储器830和处理器840位于同一地点，存储器830中内置训练好的MHA-LSTM模型(即，计算机程序850)，将接收到的近期指标数据输入训练好的MHA-LSTM模型中，并在处理器840上微调MHA-LSTM模型，将接收到的当前时刻的指标数据输入完成微调的MHA-LSTM模型，进而获得当前时刻污水处理厂进水的时滞性指标的检测结果。示例性的，第一数据采集模块810和第二数据采集模块820通过无线通信的方式向存储器830传输数据，存储器830与处理器840通过有线通信方式交互数据。
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述污水处理厂进水水质实时检测方法的步骤。例如包括：
步骤S1、获取污水处理厂的进水历史数据中的时滞性指标和非时滞性指标，所述非时滞性指标包括非时滞性水质指标、水量指标和气象指标，所述时滞性指标包括时滞性水质指标；
步骤S2、以所述时滞性水质指标的采样频率为基准对齐所述水量指标、所述气象指标和所述非时滞性水质指标，筛除相关性大于预设条件的非时滞性指标；对时滞性指标和非时滞性指标进行归一化处理；
步骤S3、以所述非时滞性指标为输入，以所述时滞性指标为输出，进行神经网络模型训练，得到用于检测进水水质的进水水质检测模型，基于所述进水水质预测模型检测污水处理厂进水水质。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
综上所述，本发明实施例提供的一种污水处理厂进水水质实时检测方法和系统，基于最大互信息系数的相关性分析筛除冗余数据，有效降低了硬件设备的运算负担，节省相关费用；MHA-LSTM模型的循环架构、门结构、多头注意力机制赋予其强大的非线性映射能力、长期依赖关系捕捉能力、更强的多时间尺度数据特征学习能力以及对不同信息角度的关注能力；微调方法使所提出的检测方法能够时时适应水质变化趋势，可在长期水质监测中提供精准的实时检测结果；经过训练和微调的MHA-LSTM模型对正常水质波动具有高的检测精度，同时擅长检测突发性的水质异常波动，为污水处理厂及时做出反馈措施提供有力的数据支撑，可快速获取的水质、水量、气象指标与无法快速获取的时滞性水质指标之间建立映射关系，实现时滞性水质指标的实时软检测，具有无二次污染、成本低、速度快的显著优势。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种污水处理厂进水水质实时检测方法，其特征在于，包括：
步骤S1、获取污水处理厂的进水历史数据中的时滞性指标和非时滞性指标，所述非时滞性指标包括非时滞性水质指标、水量指标和气象指标，所述时滞性指标包括时滞性水质指标；
步骤S2、以所述时滞性水质指标的采样频率为基准对齐所述水量指标、所述气象指标和所述非时滞性水质指标，筛除相关性大于预设条件的非时滞性指标；对时滞性指标和非时滞性指标进行归一化处理；
步骤S3、以所述非时滞性指标为输入，以所述时滞性指标为输出，进行神经网络模型训练，得到用于检测进水水质的进水水质预模型，基于所述进水水质预测模型检测污水处理厂进水水质。
2.根据权利要求1所述的污水处理厂进水水质实时检测方法，其特征在于，所述进水历史数据的采样时长为12个月，采样周期为每小时一次，所述水量指标包括流量和液位；所述气象指标包括气温、相对湿度、气压、降水和可见度；所述时滞性水质指标包括总氮、五日生化需氧量、总磷和总有机碳；所述非时滞性水质指标包括pH、电导率、溶解氧、浊度、悬浮和水温。
3.根据权利要求1所述的污水处理厂进水水质实时检测方法，其特征在于，所述步骤S2中，筛除相关性大于预设条件的非时滞性指标，具体包括：
确定任意两个所述非时滞性水质指标的最大互信息系数MIC，若任意两个所述非时滞性水质指标的MIC大于设定的阈值，则筛除其任意两个所述非时滞性水质指标中与剩余所有非时滞性水质指标的MIC的平均值较大的非时滞性水质指标。
4.根据权利要求1所述的污水处理厂进水水质实时检测方法，其特征在于，所述神经网络模型为MHA-LSTM模型，每个非时滞性水质指标对应有一个所述MHA-LSTM模型；
所述MHA-LSTM模型包括输入层、LSTM神经网络、多头注意力机制单元和多层感知机；所述输入层的神经元数量与输入的非时滞性指标的个数一致，所述LSTM神经网络的时间步长与污水处理厂进水历史数据的日采样频率一致；所述多头注意力机制单元用于：基于LSTM神经网络在各时间步的输出和水质异常标准设定查询矩阵Q、关键字矩阵K和关键字的数值矩阵V，查询矩阵Q、关键字矩阵K和关键字的数值矩阵V经n次不同的线性变换得到n组Qi、Vi、Ki，其中，i＝1,2,…,n，n为注意力头个数；对每一组Qi、Vi、Ki，通过缩放点积注意力机制得到响应的注意力头headi，拼接所有注意力头为一个高维向量，并传输入多层感知机；
所述多层感知机包括输入层、全连接层和输出层，其中，多层感知机中输入层的神经元数与多头注意力机制单元的注意力头个数一致，全连接层包括30-80个神经元且每个神经元采用ReLU激活函数，输出层包括1个神经元。
5.根据权利要求4所述的污水处理厂进水水质实时检测方法，其特征在于，所述步骤S3中，以所述非时滞性指标为输入，以所述时滞性指标为输出，进行神经网络模型训练，具体包括：
在任意时刻t，将非时滞性指标按照pH、电导率、溶解氧、浊度、悬浮物、水温、流量、液位、气温、相对湿度、气压、降水、可见度的顺序排列，形成任意时刻t的高维输入It；
将所述高维输入按照时间顺序输入至LSTM神经网络，以建立所有非时滞性指标与某个时滞性指标的基于时间顺序的映射关系；
LSTM神经网络在各时间步的输出经多头注意力机制单元在不同的信息角度整合后，多头注意力机制单元的输出数据传输到多层感知机。
6.根据权利要求5所述的污水处理厂进水水质实时检测方法，其特征在于，所述步骤S3中，进行神经网络模型训练前，还包括；
将进水历史数据按照8:1:1的比例划分为训练集、验证集和测试集；
进行神经网络模型训练后，还包括：
从进水历史数据中截取当前日期之前7-90天的训练集，以对训练好的MHA-LSTM模型进行30-250次循环迭代，MHA-LSTM模型的微调频率为3-14天/次。
7.根据权利要求4所述的污水处理厂进水水质实时检测方法，其特征在于，所述MHA-LSTM模型的损失函数为：
Figure FDA0003849972670000021
上式中，T表示时间序列长度，t表示时间顺序，
Figure FDA0003849972670000022
为t时刻的预测值，
Figure FDA0003849972670000023
为t时刻的实测值。
8.一种污水处理厂进水水质实时检测系统，其特征在于，包括：
指标采集模块，获取污水处理厂的进水历史数据中的时滞性指标和非时滞性指标，所述非时滞性指标包括非时滞性水质指标、水量指标和气象指标，所述时滞性指标包括时滞性水质指标；
指标筛选模块，以所述时滞性水质指标的采样频率为基准对齐所述水量指标、所述气象指标和所述非时滞性水质指标，筛除相关性大于预设条件的非时滞性指标；对时滞性指标和非时滞性指标进行归一化处理；
检测模块，以所述非时滞性指标为输入，以所述时滞性指标为输出，进行神经网络模型训练，得到用于检测进水水质的进水水质检测模型，基于所述进水水质预测模型检测污水处理厂进水水质。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述污水处理厂进水水质实时检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述污水处理厂进水水质实时检测方法的步骤。
CN202211130257.XA 2022-09-16 2022-09-16 污水处理厂进水水质实时检测方法和装置 Pending CN115561416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211130257.XA CN115561416A (zh) 2022-09-16 2022-09-16 污水处理厂进水水质实时检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211130257.XA CN115561416A (zh) 2022-09-16 2022-09-16 污水处理厂进水水质实时检测方法和装置

Publications (1)

Publication Number Publication Date
CN115561416A true CN115561416A (zh) 2023-01-03

Family

ID=84741275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211130257.XA Pending CN115561416A (zh) 2022-09-16 2022-09-16 污水处理厂进水水质实时检测方法和装置

Country Status (1)

Country Link
CN (1) CN115561416A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116183857A (zh) * 2023-04-23 2023-05-30 南京斯瑞菱信息技术有限公司 一种环保型智能水质监测分析系统
CN116718527A (zh) * 2023-08-10 2023-09-08 山东泰山能源有限责任公司协庄煤矿 矿用智能型烟温检测一体化测试方法和装置
CN117059201A (zh) * 2023-07-26 2023-11-14 佛山市南舟智能科技有限公司 一种污水化学需氧量的预测方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116183857A (zh) * 2023-04-23 2023-05-30 南京斯瑞菱信息技术有限公司 一种环保型智能水质监测分析系统
CN117059201A (zh) * 2023-07-26 2023-11-14 佛山市南舟智能科技有限公司 一种污水化学需氧量的预测方法、装置、设备及存储介质
CN116718527A (zh) * 2023-08-10 2023-09-08 山东泰山能源有限责任公司协庄煤矿 矿用智能型烟温检测一体化测试方法和装置

Similar Documents

Publication Publication Date Title
CN115561416A (zh) 污水处理厂进水水质实时检测方法和装置
CN109164343B (zh) 基于特征信息量化与加权knn的变压器故障诊断方法
CN111291937A (zh) 基于支持向量分类与gru神经网络联合的处理污水水质预测方法
CN112990556A (zh) 一种基于Prophet-LSTM模型的用户用电能耗预测方法
CN110320335B (zh) 一种关于污水处理出水水质指标的多元鲁棒软测量方法
CN114169638A (zh) 一种水质预测方法及装置
CN112819107B (zh) 基于人工智能的燃气调压设备故障预测方法
CN110824914B (zh) 一种基于pca-lstm网络的废水处理智能监控方法
CN108334943A (zh) 基于主动学习神经网络模型的工业过程半监督软测量建模方法
CN113051365A (zh) 一种产业链图谱构建方法及相关设备
KR102149495B1 (ko) 환경 예측 모델의 훈련지표 최적화 장치 및 그 동작방법
CN114707234B (zh) 一种基于贝叶斯深度学习的航空发动机剩余寿命预测方法
CN112348290A (zh) 河流水质预测方法、装置、存储介质及设备
CN111693667A (zh) 一种基于门控递归阵列水质检测系统及方法
CN117273203A (zh) 一种基于GAT-Transformer时间序列模型的水质预测方法与系统
CN114217025B (zh) 评估空气质量浓度预测中气象数据对其影响的分析方法
CN116049764A (zh) 一种面向物联网的跨尺度时序数据融合方法及系统
CN114548494A (zh) 一种可视化造价数据预测智能分析系统
CN117094451B (zh) 一种耗电量的预测方法、装置及终端
CN113627091A (zh) 一种用于预测能源负荷的装置及方法
CN117170221A (zh) 一种污水处理的人工智能控制系统
CN116842323A (zh) 一种供水管线运行数据异常检测方法
CN115217152B (zh) 一种沉管隧道管节接头张合变形的预测方法及装置
CN116386756A (zh) 一种基于集成神经网络可信度估计与加权学习的软测量建模方法
CN115314412A (zh) 一种面向运维的类型自适应的指标预测预警方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination