CN116151458A - 一种基于污水处理大数据技术的生产模型和控制方法 - Google Patents

一种基于污水处理大数据技术的生产模型和控制方法 Download PDF

Info

Publication number
CN116151458A
CN116151458A CN202310175897.0A CN202310175897A CN116151458A CN 116151458 A CN116151458 A CN 116151458A CN 202310175897 A CN202310175897 A CN 202310175897A CN 116151458 A CN116151458 A CN 116151458A
Authority
CN
China
Prior art keywords
data
sewage treatment
model
production
dnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310175897.0A
Other languages
English (en)
Inventor
马帅印
朱兆松
孔宪光
卢津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Qigong Data Technology Co ltd
Original Assignee
Xi'an Qigong Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Qigong Data Technology Co ltd filed Critical Xi'an Qigong Data Technology Co ltd
Priority to CN202310175897.0A priority Critical patent/CN116151458A/zh
Publication of CN116151458A publication Critical patent/CN116151458A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Manufacturing & Machinery (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Activated Sludge Processes (AREA)
  • Separation Of Suspended Particles By Flocculating Agents (AREA)

Abstract

为了提高及兼顾污水处理厂的整体运行效率以及出水的水质和精度，本发明提供了一种基于污水处理大数据技术的生产模型和控制方法。本发明建立在涵盖整个污水处理过程的整体数据之上，定义了污水处理前进水数据群、处理过程中的生产数据群以及污水处理后排水数据群，将相关性分析和敏感性分析应用于对数据群的数据处理，综合形成影响因子，建立DNN数据模型，采用了改进型的LSTM进行数据预测并将预测结果作为DNN数据模型的输入，最终由DNN数据模型输出影响污水处理目标的关键指标的关键性参数预测值，该关键性参数预测值为污水处理生产控制的依据，从而能够达到预定的污水处理目标。

Description

一种基于污水处理大数据技术的生产模型和控制方法
技术领域
本发明涉及数据处理人工智能辅助决策领域，具体涉及一种一种基于污水处理大数据技术的生产模型和控制方法。
背景技术
解决废水排放造成污染问题的关键是进行污水处理，污水处理作为水循环过程中非常重要的一环，其主要实施手段是积极制定、建造污水处理厂，目前我国建设的污水处理厂基本已实现全国范围的覆盖。然而，目前我国污水处理厂的运行情况并不乐观，大部分处理厂对污水的处理比较粗放，其处理指标仅与污水流量有关，污水处理企业的投入产出比较低，整体运行效率低下。仅有少量的污水处理厂能够做到精细化处理，但也仅仅是依靠处理的经验模型，缺乏理论指导，出水的水质和精度得不到保证。
近年来，基于大数据的人工智能技术具有强大的学习能力、非线性逼近能力，为污水处理厂各项指标的预测和生产行为的决策提供了一种新的思路，在此领域的主要研究有：
公开号为CN106168759A的中国专利文献中公开了一种基于人工神经网络算法的混凝投药控制方法和系统，通过采集混凝投药样本数据，并进行预处理，进而建立神经网络，使用采集到的数据进行训练，根据神经网络的误差，更新神经网络的权值从而完成训练，实现了混凝投药工艺的全自动化和生产运行参数的在线监测；
公开号为CN113705898A的中国专利文献中公开了一种自来水混凝剂加药量的预测方法及系统，利用深度学习算法建立混凝剂投加量计算模型，将自来水混凝剂投加量的影响因素输入混凝剂投加量计算模型，预测混凝剂加药量，为自来水处理过程的混凝剂投加系统的优化控制提供了一种药剂投加量的计算方法；
公开号为CN110824923A的中国专利文献公开了一种基于深度学习与云计算的污水处理控制方法及其系统，采集加药参数与污水处理器的进水参数和出水参数，将各参数发送至云端服务器并在云端服务器中，使用深度学习算法获得加药量预测模型，将模型安装至位于污水处理现场的算法控制器中，以使算法控制器根据进水参数和出水参数计算污水处理药剂及其用量，并根据计算结果控制加药执行装置完成加药；
公开号为CN110490409B中国专利文献公开了一种基于DNN的低压台区线损率标杆值设定方法，以实际运行数据为依据，提取出影响线损率的关键因子，利用DNN建立低压台区线损率标杆值计算模型。该方法能够给出低压台区线损率的标杆值，为各类台区线损提供一把“标尺”，明确降损方向。
上述专利文献公开的方案都是通过建立人工智能模型，对采集到的数据进行训练，完善模型的各项参数，在其领域范围内，都对生产效率起到了一定的提高作用。但还存在以下缺陷：
1)公开号为CN106168759A的中国专利文献中公开的技术方案仅仅是深度神经网络模型的简单应用，没有涉及数据处理和整体模型的搭建。
2)公开号为CN113705898A、CN110824923A的中国专利文献中均提出了一种架构，但并没有涉及数据的处理和模型的具体搭建方案，也没有可执行的实施细则，不具备应用于生产的可操作性。
3)公开号为CN110490409B中国专利文献中所公开的技术方案是应用于电力系统领域，解决现有技术中缺少台区线损率标杆值指标的技术问题，不适用于污水处理领域。
发明内容
为了提高及兼顾污水处理厂的整体运行效率以及出水的水质和精度，本发明提供了一种基于污水处理大数据技术的生产模型和控制方法。
本发明采用的技术方案是：
一种基于污水处理大数据技术的生产模型，其特殊之处在于，包括DNN数据模型和改进型的具有周期特征的LSTM模型；
所述DNN数据模型按照以下步骤建立：
步骤A1：数据采集及预处理
采集污水处理前进水数据群、处理过程中的生产数据群以及处理后排水数据群，并依次进行数据清洗和归一化处理；
步骤A2：获取全数据的影响因子指标
A2.1获取属于同一数据群内的不同参数之间、不同数据群之间的相关性指标，所述相关性指标包括线性和非线性相关性；
A2.2对影响污水处理目标的关键指标进行敏感度分析，建立所述关键指标的敏感度度量指标；
A2.3根据所述相关性指标和敏感度度量指标，形成全数据的影响因子指标；
步骤A3：提取高影响因子数据
利用步骤A2.2的敏感度度量指标获取影响所述关键指标的关键性参数，根据步骤A2.3得到的影响因子指标，提取进水数据群/全数据群中对所述关键性参数影响较大的前N个高影响因子数据；N≥3；
步骤A4：建立DNN数据模型
为所述关键性参数分别建立DNN数据模型并训练，直至其损失函数收敛值满足设定要求，所述DNN数据模型以所述前N个高影响因子数据为模型特征，以所述关键性参数为模型标签；
所述改进型的具有周期特征的LSTM模型按照以下步骤建立：
B1：对步骤A3提取的N个高影响因子数据的历史数据进行ADF稳定性评估，并根据评估结果对所述历史数据进行稳定性调整；
B2：通过自相关性ACF和PACF对步骤B1稳定性调整后的数据进行测试，基于测试结果提取数据的周期特征；
B3：建立基于RNN的LSTM模型，并将所述周期特征应用于所述LSTM模型，得到改进型的具有周期特征的LSTM模型；
向所述改进型的具有周期特征的LSTM模型中输入所述N个高影响因子数据的当前值，得到未来某一任意时刻的预测值；将所述预测值输入所述DNN数据模型中，得到相应时刻影响所述污水处理目标的关键指标的关键性参数预测值，该关键性参数预测值为污水处理生产控制的依据。
进一步地，步骤A1中：
所述污水处理前进水数据群的数据包括原水浊度、原水导电率、原水溶解氧、原水COD、原水氨氮、进水浊度、进水PH、进水流量和进水温度；
所述污水处理过程中的生产数据群的数据包括泥位、回流流量、排泥流量、混凝剂投加量和聚合物投加量；
所述污水处理后排水数据群的数据包括出口PH和余氯。
进一步地，步骤A2.1中：
属于同一数据群内的不同参数之间的线性和非线性相关性按照下式计算：
线性相关性：
Figure BDA0004100821850000041
非线性相关性：
Figure BDA0004100821850000042
式中：
xa,i表示a数据集中的第i个数据；
ra,b(oa,ob)表示oa与ob之间的线性相关性；
sa,b(oa,ob)表示oa与ob之间的非线性相关性；
oa表示a数据采集到的所有值；
ob表示b数据采集到的所有值；
oa,ob∈{o原水浊度,o原水导电率,o原水溶解氧,o原水COD,o原水氨氮,o进水浊度,o进水PH,o进水流量,o进水温度,o泥位,o回流流量,o排泥流量,o混凝剂投加量,o聚合物投加量,o出口PH,o余氯}；
m表示所采集的某参数的数据量，所有参数的数据量m都是相等的；
Figure BDA0004100821850000055
和/>
Figure BDA0004100821850000056
分别表示a数据和b数据的期望；
不同数据群之间的线性和非线性相关性按照下式计算：
线性相关性：
Figure BDA0004100821850000051
非线性相关性：
Figure BDA0004100821850000052
式中：
gp,q(τp,τq)表示τp与τq之间的线性相关性；
hp,q(τp,τq)表示τp与τq之间的非线性相关性；
τp,τq∈{τ污水处理前进水数据群,τ处理过程中生产数据群,τ污水处理后排水数据群}，
τ污水处理前进水数据群＝{o原水浊度,o原水导电率,o原水溶解氧,o原水COD,o原水氨氮,o进水浊度,o进水PH,o进水流量,o进水温度}，
τ处理过程中生产数据群＝{o回流流量,o排泥流量,o混凝剂投加量,o聚合物投加量}；
τ污水处理后排水数据群＝{o出口PH,o余氯}；
Figure BDA0004100821850000053
进一步地，步骤A2.2中的敏感度度量指标按照下式计算：
Figure BDA0004100821850000054
其中：
va,b为b对a的敏感度；
i∈{1,2,…,m-1}；
E是整个集合的期望。
进一步地，步骤A2.3中的影响因子指标按照下式计算：
Figure BDA0004100821850000061
其中：
λ1+λ2+λ3+λ4+λ5＝1；
ρα,b表示数据b与数据α之间的影响因子值；
rα,b表示α与b之间的线性相关性；
sa,b表示α与b之间的非线性相关性；
Figure BDA0004100821850000063
表示数据α所在数据群p与数据b所在数据群q之间的线性相关性；
Figure BDA0004100821850000062
表示数据α所在数据群p与数据b所在数据群q之间的非线性相关性。
进一步地，步骤4具体为：
A4.1以步骤A3得到的所述前N个高影响因子数据为特征向量，以所述关键性参数为标签，建立训练集和测试集；
A4.2建立无隐层或隐层数量小于2的DNN数据模型，选择损失函数进行测试，若测试结果大于等于0.1则转入步骤A4.3，若测试结果小于0.1则DNN数据模型建立并训练完成；
A4.3增加所述DNN数据模型的神经网络规模，再次进行损失函数测试，若测试结果大于等于0.1则转入步骤A4.4，若测试结果小于0.1则DNN数据模型建立并训练完成；
A4.4根据步骤A2.3得到的影响因子指标，增加或减少步骤A3所提取的高影响因子数据的数量，转入步骤A4.2。
进一步地，步骤B3具体为：
B3.1建立一般性的LSTM模型；
B3.2以所述一般性的LSTM模型为基础，增加周期性的记忆体，即得到改进型的具有周期特征的LSTM模型；
LSTM模型的改进部分如下公式：
Figure BDA0004100821850000071
Figure BDA0004100821850000072
Figure BDA0004100821850000073
ht＝ot*tanh(mt)
其中：
n表示模型特征数据中第n个数的位置
Q表示周期分段精度；
Tn表示第n个数位置所处的周期段；
mt表示t时刻周期性记忆的细胞态；
mt-Q表示t-Q时刻周期性记忆的细胞态
Figure BDA0004100821850000074
表示t时刻周期性记忆的候选态；
WxmTn表示Tn周期段候选态的参数矩阵；
bxmTn表示Tn周期段候选态的偏置项。
本发明另外还提供了一种基于污水处理大数据技术的生产控制方法，其特殊之处在于：
步骤一：建立上述的生产模型；
步骤二：向步骤一建立的生产模型中改进型的具有周期特征的LSTM模型中输入高影响因子数据的当前值，得到未来某一任意时刻的预测值，将该预测值输入生产控制模型中DNN数据模型中，得到相应时刻影响污水处理目标的关键指标的关键性参数预测值，基于得到的关键性参数预测值对生产进行控制。
本发明同时还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在其上运行的计算机程序；其特殊之处在于：所述计算机程序运行时实现如上述的生产控制方法。
本发明还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序；其特殊之处在于：所述计算机程序运行时实现如上述的生产控制方法。
与现有技术相比，本发明的优点是：
本发明建立在涵盖整个污水处理过程的整体数据之上，定义了三个数据群，即污水处理前进水数据群、处理过程中的生产数据群，以及污水处理后排水数据群，将相关性分析和敏感性分析应用于对数据群的数据处理，采用这种方法，综合形成影响因子，相比于传统单一的线性相关和非线性相关方法，能够更加显现数据之间相互影响。最后，根据影响因子系数的高低，提取高影响因子数据进行处理，提高了数据的可用性，同时降低了后续数据模型的运算量；
本发明采用了改进型的LSTM进行数据预测，能够提前进行生产处理，从而进一步提高生产投放物质的利用率，提高了生产效率；
本发明综合污水处理后排水数据群和污水处理前进水数据群，建立DNN数据模型，对处理过程中的生产数据进行了进一步的优化，达到了生产效率最优化。
综上，基于本发明的方法，在对污水处理厂运行的各项数据进行批量系统化采集之后，利用人工智能的方式，进行数据分析、建模预测、主要影响成分分析，进而建立生产模型，通过对目标数据的相关性分析，对生产模型进行优化，最终污水处理企业依据该控制模型指导生产，能够达到预定的污水处理目标，例如达到低成本、高效率的目标。
附图说明
图1是本发明方法的总体流程图。
图2是本发明中的数据群建模。
图3是本发明中采用的综合性分析(线性相关、非线性相关、群间线性相关、群间非线性相关、敏感度分析)与未采用综合性分析所获得的影响因子对比。(a)图为未采用综合性分析所获得的影响因子，(b)图为采用综合性分析所获得的影响因子。
图4是对关键性成本数据的影响因子较高的数据。
图5是本发明使用的DNN模型。
图6是本发明使用的改进型LSTM模型。
图7是本发明使用的改进型LSTM模型的预测结果与改进之前的LSTM模型预测结果的对比，(a)图为改进之前的预测结果，(b)图为改进之后的预测结果。
图8是本发明中的改进型LSTM模型对混凝剂和聚合物投加量的预测值与实际值的对比，(a)图为混凝剂投加量预测值与真实值的对比，(b)图为聚合物投加量预测值与真实值的对比。
具体实施方式
下面结合实施例和附图对本发明作进一步详细说明。
本发明以污水处理厂的实际数据为基础，数据涵盖整个污水处理过程的主要部分，包括污水进水格栅、沉沙池、废水池、高密池组、后混凝池。数据的时间跨度以年为单位，数据采集的时间分辨率精确到分秒级。
获取的整体详细数据主要包括：原水数据(包括浊度、导电率、溶解氧、COD和氨氮)、高密池进水公共数据(包括浊度、PH、流量和温度)、高密池数据(泥位、回流流量、排泥流量、混凝剂投加量和聚合物投加量)、后混凝池数据(包括进口PH值、出口PH值、余氯和混凝剂投加量)。
在以上获取数据的基础上，进行以下环节开展智能生产控制：
首先，从大量已知数据中通过改进型的相关性分析方法，得出数据的相关性，例如与企业成本支出有关的数据的相关性，包括混凝剂投加量、聚合物投加量和排泥流量。
其次，通过相关度的程度量化指标，按影响因子指标从高到低建立与污水处理目标的关键指标(例如企业成本支出)相关的序列，提取出对污水处理目标的关键指标(例如企业成本支出)影响较大的数据，例如混凝剂的投加量可能与污水的进水流量和污水的浊度相关度较高。
再次，通过监督性的DNN数据模型进行学习，以影响因子指标高的数据(建议取影响因子指标前N位数据，一般取前三位数据)作为学习特征，预测企业的加药行为，从而实现自动化投加的功能。
最后，对用于DNN数据模型学习的相关度高的数据采用改进的具有周期性强化的LSTM预测算法，将LSTM的输出结果作为上一步建立的DNN数据模型的输出，最终得到关键性参数预测值，应用于企业的生产控制中。
参照图1、2，本发明基于污水处理大数据技术的生产控制方法的具体实施步骤如下：
步骤1：数据采集及预处理
建立数据采集与预处理子模块，采用实时数据与历史数据共存的数据采集模式，进行数据采集及预处理，具体包括以下步骤：
步骤1.1：使用智能仪表传感器，或者采用人工采样的模式，建立采样频率尽可能高的数据采样机制，得到覆盖整个污水处理过程的三大数据群：污水处理前进水数据群、污水处理过程中的生产数据群，以及污水处理后排水数据群，其中：
污水处理前进水数据群主要涉及原水指标，包括原水浊度、原水导电率、原水溶解氧、原水COD、原水氨氮、进水浊度、进水PH、进水流量和进水温度；
污水处理过程中生产数据群的数据包括泥位、回流流量、排泥流量、混凝剂投加量和聚合物投加量；
污水处理后排水数据群的数据包括出口PH和余氯。
步骤1.2：对步骤1.1采集到的数据群进行数据预处理，包括依次进行的数据清洗以清除数据获取过程中产生的异常值，以及数据归一化为数据的影响因子分析作准备。
步骤2：获取全数据的影响因子指标
步骤2.1：建立全数据的相关性；
全数据的相关性包括数据群内部之间的相关性和不同数据群之间的相关性，所述相关性包括线性相关和非线性相关，具体根据实际需求灵活实施；具体包括以下几个步骤：
步骤2.1.1：建立群内数据相关性即各数据群内部的相关性；
各数据群内部的相关性包括污水处理前进水数据群内两两参数之间的线性相关性和非线性相关性、污水处理过程中生产数据群内两两参数之间的线性相关性和非线性相关性，以及污水处理后排水数据群内两两参数之间的线性相关性和非线性相关性，其中，污水处理前进水数据群内两两参数相关性的建立有助于降低数据量，能够降低后续建立的DNN数据模型的运算量；
具体的，群内数据相关性按照下述方法建立：
①线性相关性按照下式计算：
Figure BDA0004100821850000111
②非线性相关性按照下式计算：
Figure BDA0004100821850000112
式中：
xa,i表示a数据集中的第i个数据；
ra,b(oa,ob)表示oa与ob之间的线性相关性；
sa,b(oa,ob)表示oa与ob之间的非线性相关性；
oa表示a数据采集到的所有值；
ob表示b数据采集到的所有值；
oa,ob∈{o原水浊度,o原水导电率,o原水溶解氧,o原水COD,o原水氨氮,o进水浊度,o进水PH,o进水流量,o进水温度,o泥位,o回流流量,o排泥流量,o混凝剂投加量,o聚合物投加量,o出口PH,o余氯}；
m表示所采集的某参数的数据量，所有参数的数据量m都是相等的；
Figure BDA0004100821850000121
和/>
Figure BDA0004100821850000122
分别表示a数据和b数据的期望；
d为a,b两列的秩之差。
步骤2.1.2：建立群间相关性即不同数据群之间的相关性；
不同数据群之间的相关性包括污水处理前进水数据群与处理过程中的生产数据群之间的线性相关性和非线性相关性、污水处理前进水数据群与污水处理后排水数据群之间的线性相关性和非线性相关性，以及处理过程中的生产数据群与污水处理后排水数据群之间的线性相关性和非线性相关性，其中，通过污水处理前进水数据群与处理过程中的生产数据群之间的相关性，能够得出污水处理厂的生产行为规律，为下一步预测生产过程中的药剂投加提供初始数据；
具体的，群间相关性按照下述方法建立：
①线性相关性按照下式计算：
Figure BDA0004100821850000123
②非线性相关性按照下式计算：
Figure BDA0004100821850000124
其中：
gp,q(τp,τq)表示τp与τq之间的线性相关性；
hp,q(τp,τq)表示τp与τq之间的非线性相关性；
τp,τq∈{τ污水处理前进水数据群,τ处理过程中生产数据群,τ污水处理后排水数据群}，
τ污水处理前进水数据群＝{o原水浊度,o原水导电率,o原水溶解氧,o原水COD,o原水氨氮,o进水浊度,o进水PH,o进水流量,o进水温度}，
τ处理过程中生产数据群＝{o回流流量,o排泥流量,o泥位,o混凝剂投加量,o聚合物投加量}；
τ污水处理后排水数据群＝{o出口PH,o余氯}；
Figure BDA0004100821850000131
步骤2.2：建立关键数据的敏感度度量指标；
在这一步中主要是针对污水处理目标中的关键指标进行敏感度分析，建立污水处理目标中关键指标的敏感度度量指标，基于得到的敏感度度量指标能够在污水处理前进水数据群中提取影响其值的关键性参数；该过程表示如下：
Figure BDA0004100821850000132
其中：
va,b为b对a的敏感度；
i∈{1,2,…,m-1}；
E是整个集合的期望。
步骤2.3：根据步骤2.1建立的相关性指标和步骤2.2建立的敏感度度量指标，形成影响因子指标，该过程表示如下：
Figure BDA0004100821850000133
其中，
λ1+λ2+λ3+λ4+λ5＝1；
ρα,b表示数据b与数据α之间的影响因子值；
表示rα,b表示α与b之间的线性相关性；
sα,b表示α与b之间的非线性相关性；
Figure BDA0004100821850000134
表示数据α所在数据群p与数据b所在数据群q之间的线性相关性；
Figure BDA0004100821850000135
表示数据α所在数据群p与数据b所在数据群q之间的非线性相关性。
如图3所示，采用了步骤2的数据处理方法建立影响因子热力图与未采用步骤2建立的热力图对比，更能够突出数据之间的关联影响。
步骤3：基于步骤2得到的影响因子指标，提取对污水处理目标中生产成本支出(关键性指标之一)的关键性参数影响较大的前N个关键数据；
步骤3.1根据实际生产需要选取生产成本支出的关键性参数
利用步骤2.2的敏感度度量指标可得生产成本支出主要与污水处理过程中生产数据群中的排泥流量、混凝剂投加量和聚合物投加量这三个参数相关，因此将这三个参数作为影响生产成本支出的关键性参数；
步骤3.2提取对所述关键性参数影响较大的数据Pα
根据步骤2.3得出的影响因子，按照下式在进水数据群中提取对于步骤2.4.1得到的生产成支出的关键性参数影响较大的高影响因子数据Pα：
Figure BDA0004100821850000141
Pα表示对数据α影响因子较高的数据；
N表示选择性阈值，N≥3；需要选择前N个影响因子较大的数据，选择的数据个数直接影响到后续的运算复杂度，一般初始时取前3个数据指标即可，如使用更多的数据指标，可能在之后的步骤中增加更多的运算量，而运算精度的提高微乎其微。
本发明实施例中所提取的对关键性参数的影响因子较高的数据指标如图4所示，主要提取了进水数据群中高影响因子数据。而建立全数据的影响因子，保证了整体影响因子计算的完整性和准确性，同时如果关键性参数的选取发生改变，例如将能耗或者设备损耗定位优化目标，则可以根据需要在整体数据群中提取高影响因子数据。
步骤4：参照图5，建立DNN数据模型作为监督学习子模块，该DNN数据模型以步骤3提取的高影响因子数据Pα为DNN模型特征，以污水处理过程中的生产成本支出的关键性参数(混凝剂投加量、聚合物投加量和排泥流量)为模型标签，具体包括以下步骤：
步骤4.1：以步骤3提取到的高影响因子数据Pα作为特征向量，以生产成本支出的关键性参数为标签，建立DNN数据模型的训练集和测试集。
步骤4.2：建立无隐层或者隐层数量小于2的DNN数据模型，利用损失函数进行测试，如果测试结果小于0.1，表示效果较好，转入步骤4.5，如果测试结果大于等于0.1，表示效果较差，转入步骤4.3。
本步骤中建立DNN数据模型的过程表示如下：
①分别为影响生产成本支出的关键性参数即排泥流量、混凝剂投加量和聚合物投加量各自建立DNN数据模型；
②单个DNN数据模型分为三层(在其他实施例中，DNN模型的层数可以根据需要进行增加，但增加层数需要更多的算力支持)，分别为输入层、隐层和输出层，输出层为生产成本支出的目标指标，输入层为对生产成本支出的关键性参数的影响因子较高的数据，属于经步骤3得到的Pα集合；
③隐层的神经元数量选为M(在其他实施例中，隐层神经元的数量可以根据需要调整，增加神经元个数可以提高精确度，但需要更多算力支持，也有可能形成过拟合状态)；
④具体建立的DNN数据模型如下所示：
Figure BDA0004100821850000151
Figure BDA0004100821850000153
其中：
σ是非线性激活函数，本例中使用sigmoid函数；
xi是DNN数据模型特征值集的第i个向量；
Figure BDA0004100821850000152
是DNN数据模型生成的第i个数据标签的预测只；
y是实际模型数据标签；
y∈oα,oα∈{排泥流量,混凝剂投加量,聚合物投加量}；
loss是损失函数，本例中选择MSE函数；
w,b是DNN数据模型的超参数；
n是特征值集和数据标签中数据长度；
y是数据标签的实际值；
Figure BDA0004100821850000161
是数据标签的预测值。
步骤4.3：增加DNN数据模型的隐层数量和神经元的数量，再次进行损失函数测试，如果测试结果小于0.1，表示效果较好，转入步骤4.5，如果测试结果大于等于0.1，表示效果较差，转入步骤4.4。
步骤4.4：根据步骤2形成的影响因子指标由高到低序列，适当增加或减少步骤3所提取的高影响因子数据的数量(增加数据能够提高模型精度，减少数据能够降低运算力)，调整后转入步骤4.2。
步骤4.5：从污水处理前进水数据群的主要数据到污水处理过程中生产数据群的主要数据的DNN数据模型的建立并训练完成，将此DNN数据模型直接应用于生产实际中，根据图4中选取的影响因子指标前三数据，将图4中的这些高影响因子指标的数据值输入训练好的DNN数据模型，即可自动生成生产成本支出相关的数据(排泥流量,混凝剂投加量,聚合物投加量)，可以实现生产投加量的自动化，生成污泥处理策略。
步骤5：建立改进型的具有周期特征的LSTM模型作为高影响因子数据的预测子模块(参照图6)；
步骤5.1：对步骤3得到的高影响因子数据，提取其历史数据(至少半年的历史数据，优选的提取至少一年的历史数据)并进行一般性ADF稳定性评估，根据评估结果对提取的历史数据进行稳定性调整，主要是对缺失值进行补充，异常值进行修改，这里所用到的稳定性调整方法均为数据处理中的一般常规方法。
步骤5.2：通过自相关性ACF和PACF对步骤5.1稳定性调整后的数据进行测试，基于测试结果提取数据的周期特征。
步骤5.3：建立基于RNN的LSTM模型，并将步骤5.2中提取的周期特征应用于LSTM模型，形成改进型的具有周期特征的LSTM模型。
本步中形成具有周期特征的LSTM模型的过程具体如下：
①根据自相关性ACF和PACF得到某一数据a的周期性特征值qa。
②建立一般性的LSTM模型：
it＝σ(Wi·[ht-1·xt]+bi)
ft＝σ(Wf·[ht-1,xt]+bf)
ot＝σ(Wo·[ht-1,xt]+bo)
Figure BDA0004100821850000171
Figure BDA0004100821850000172
ht＝ot*tanh(Ct)
其中：
it表示t时刻输入门；
ft表示t时刻遗忘门；
ot表示t时刻输出门；
Figure BDA0004100821850000173
表示t时刻候选态；
Ct表示t时刻细胞态；
Ct-1表示t-1时刻细胞态；
ht表示t时刻记忆体；
ht-1表示t-1时刻记忆体；
xt表示t时刻输入特征；
bi表示输入门偏置项；
bf表示遗忘门偏置项；
bo表示输出门偏置项；
bc表示候选态偏置项；
Wi表示输入门参数矩阵；
Wf表示遗忘门参数矩阵；
Wo表示输出门参数矩阵；
Wc表示候选态参数矩阵。
③以一般性的LSTM模型为基础，增加24小时周期性的记忆体(在其他实施例中也可以采用7天为周期，本例采用小时为精度，所以是24小时为一个周期)，得到具有周期特征的LSTM模型：
Figure BDA0004100821850000181
Figure BDA0004100821850000182
Figure BDA0004100821850000183
ht＝ot*tanh(mt)
其中：
n表示LSTM模型特征数据中第n个数的位置；
Q表示周期分段精度，即24小时的周期分成Q段，Q∈{24,12,6}，建议Q取值12；
Tn表示第n个数位置所处的周期段；
mt表示t时刻周期性记忆的细胞态；
mt-Q表示t-Q时刻周期性记忆的细胞态；
Figure BDA0004100821850000184
表示t时刻周期性记忆的候选态；
WxmTn表示Tn周期段候选态的参数矩阵；
bxmTn表示Tn周期段候选态的偏置项；
步骤6：对生产成本支出的关键性参数进行预测
步骤6.1将当前时刻/时段内的高影响因子数据值输入到步骤5中建立的改进型的具有周期特征的LSTM模型中，该LSTM模型输出未来一段时间(例如未来24小时，未来两天，或者未来一周，时间越久，精度越低)的高影响因子数据的预测值。
如图7所示，本发明改进后的LSTM模型的预测结果相较于改进之前的一般LSTM模型，预测结果的误差下降了28.79％。
步骤6.2将步骤6.1得到的高影响因子数据的预测值作为特征参数，输入步骤4学习好的DNN数据模型，最终生成未来某一时刻/时段内(例如未来1小时、未来2小时，或者未来1天)混凝剂投加量、聚合物投加量和排泥量的预测值。
本发明的预测效果如图8所示，选取混凝剂和聚合物投加值为关键性生产数据，使用本发明的方法进行预测，随机提取三天的预测值与投加值进行对比，混凝剂投放预测的MSE误差值为0.0401，聚合物投加预测的MSE误差值为0.0385，能够满足生产控制要求。
以上所述仅以污水处理目标中的关键指标之一----生产成本支出的优化控制方法为例进行了说明，对污水处理目标中其他关键性指标的优化控制与上述方法原理相同，不再赘述。
此外，本发明还提供了一种生产模型，包括DNN数据模型和改进型的具有周期特征的LSTM模型，DNN数据模型采用上述方法中的步骤1-4建立，改进型的具有周期特征的LSTM模型采用上述方法中的步骤5建立；向生产控制模型中的LSTM模型中输入从采集的污水处理前的实时进水数据中提取的高影响因子数据，将LSTM模型的输出作为DNN数据模型的输入，最终得到未来某一时刻/时段内污水处理目标的的关键指标的关键性参数的预测数据(本实施例中为混凝剂投加量、聚合物投加量和排泥流量的预测数据)，基于得到的关键性参数的预测数据可以对生产进行控制。如果不采用LSTM模型进行预测，仅使用DNN模型对当前的进水数据进行处理，得到的结果来不及应用于生产控制，会产生生产控制滞后的现象，导致污水处理达不到相应指标。
另一方面，本发明还提供了一种电子设备，该电子设备可以包括处理器、通信接口、存储器和通信总线，其中处理器、通信接口、存储器通过通信总线完成相互间的通信；处理器可以调用存储器中的逻辑指令，以执行上述的生产控制方法。
又一方面，本发明还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，能够实现本发明的生产控制方法。

Claims (10)

1.一种基于污水处理大数据技术的生产模型，其特征在于，包括DNN数据模型和改进型的具有周期特征的LSTM模型；
所述DNN数据模型按照以下步骤建立：
步骤A1：数据采集及预处理
采集污水处理前进水数据群、处理过程中的生产数据群以及处理后排水数据群，并依次进行数据清洗和归一化处理；
步骤A2：获取全数据的影响因子指标
A2.1获取属于同一数据群内的不同参数之间、不同数据群之间的相关性指标，所述相关性指标包括线性和非线性相关性；
A2.2对影响污水处理目标的关键指标进行敏感度分析，建立所述关键指标的敏感度度量指标；
A2.3根据所述相关性指标和敏感度度量指标，形成全数据的影响因子指标；
步骤A3：提取高影响因子数据
利用步骤A2.2的敏感度度量指标获取影响所述关键指标的关键性参数，根据步骤A2.3得到的影响因子指标，提取进水数据群/全数据群中对所述关键性参数影响较大的前N个高影响因子数据；N≥3；
步骤A4：建立DNN数据模型
为所述关键性参数分别建立DNN数据模型并训练，直至其损失函数收敛值满足设定要求，所述DNN数据模型以所述前N个高影响因子数据为模型特征，以所述关键性参数为模型标签；
所述改进型的具有周期特征的LSTM模型按照以下步骤建立：
B1：对步骤A3提取的N个高影响因子数据的历史数据进行ADF稳定性评估，并根据评估结果对所述历史数据进行稳定性调整；
B2：通过自相关性ACF和PACF对步骤B1稳定性调整后的数据进行测试，基于测试结果提取数据的周期特征；
B3：建立基于RNN的LSTM模型，并将所述周期特征应用于所述LSTM模型，得到改进型的具有周期特征的LSTM模型；
向所述改进型的具有周期特征的LSTM模型中输入所述N个高影响因子数据的当前值，得到未来某一任意时刻的预测值；将所述预测值输入所述DNN数据模型中，得到相应时刻影响所述污水处理目标的关键指标的关键性参数预测值，该关键性参数预测值为污水处理生产控制的依据。
2.根据权利要求1所述的基于污水处理大数据技术的生产模型，其特征在于，步骤A1中：
所述污水处理前进水数据群的数据包括原水浊度、原水导电率、原水溶解氧、原水COD、原水氨氮、进水浊度、进水PH、进水流量和进水温度；
所述污水处理过程中的生产数据群的数据包括泥位、回流流量、排泥流量、混凝剂投加量和聚合物投加量；
所述污水处理后排水数据群的数据包括出口PH和余氯。
3.根据权利要求2所述的基于污水处理大数据技术的生产模型，其特征在于：
步骤A2.1中：
属于同一数据群内的不同参数之间的线性和非线性相关性按照下式计算：
线性相关性：
Figure FDA0004100821840000021
非线性相关性：
Figure FDA0004100821840000022
式中：
xa,i表示a数据集中的第i个数据；
ra,b(oa,ob)表示oa与ob之间的线性相关性；
sa,b(oa,ob)表示oa与ob之间的非线性相关性；
oa表示a数据采集到的所有值；
ob表示b数据采集到的所有值；
oa,ob∈{o原水浊度,o原水导电率,o原水溶解氧,o原水COD,o原水氨氮,o进水浊度,o进水PH,o进水流量,o进水温度,o泥位,o回流流量,o排泥流量,o混凝剂投加量,o聚合物投加量,o出口PH,o余氯}；
m表示所采集的某参数的数据量，所有参数的数据量m都是相等的；
Figure FDA0004100821840000031
和/>
Figure FDA0004100821840000032
分别表示a数据和b数据的期望；
不同数据群之间的线性和非线性相关性按照下式计算：
线性相关性：
Figure FDA0004100821840000033
非线性相关性：
Figure FDA0004100821840000034
式中：
gp,q(τp,τq)表示τp与τq之间的线性相关性；
hp,q(τp,τq)表示τp与τq之间的非线性相关性；
τp,τq∈{τ污水处理前进水数据群,τ处理过程中生产数据群,τ污水处理后排水数据群}，
τ污水处理前进水数据群＝{o原水浊度,o原水导电率,o原水溶解氧,o原水COD,o原水氨氮,o进水浊度,o进水PH,o进水流量,o进水温度}，
τ处理过程中生产数据群＝{o回流流量,o排泥流量,o混凝剂投加量,o聚合物投加量}；
τ污水处理后排水数据群＝{o出口PH,o余氯}；
Figure FDA0004100821840000041
4.根据权利要求3所述的基于污水处理大数据技术的生产模型，其特征在于：
步骤A2.2中的敏感度度量指标按照下式计算：
Figure FDA0004100821840000042
其中：
va,b为b对a的敏感度；
i∈{1,2,…,m-1}；
E是整个集合的期望。
5.根据权利要求4所述的基于污水处理大数据技术的生产模型，其特征在于：
步骤A2.3中的影响因子指标按照下式计算：
Figure FDA0004100821840000043
其中：
λ1+λ2+λ3+λ4+λ5＝1；
ρα,b表示数据b与数据α之间的影响因子值；
rα,b表示α与b之间的线性相关性；
sα,b表示α与b之间的非线性相关性；
Figure FDA0004100821840000044
表示数据α所在数据群p与数据b所在数据群q之间的线性相关性；
Figure FDA0004100821840000045
表示数据α所在数据群p与数据b所在数据群q之间的非线性相关性。
6.根据权利要求5所述的基于污水处理大数据技术的生产模型，其特征在于，步骤4具体为：
A4.1以步骤A3得到的所述前N个高影响因子数据为特征向量，以所述关键性参数为标签，建立训练集和测试集；
A4.2建立无隐层或隐层数量小于2的DNN数据模型，选择损失函数进行测试，若测试结果大于等于0.1则转入步骤A4.3，若测试结果小于0.1则DNN数据模型建立并训练完成；
A4.3增加所述DNN数据模型的神经网络规模，再次进行损失函数测试，若测试结果大于等于0.1则转入步骤A4.4，若测试结果小于0.1则DNN数据模型建立并训练完成；
A4.4根据步骤A2.3得到的影响因子指标，增加或减少步骤A3所提取的高影响因子数据的数量，转入步骤A4.2。
7.根据权利要求6所述的基于污水处理大数据技术的生产模型，其特征在于，步骤B3具体为：
B3.1建立一般性的LSTM模型；
B3.2以所述一般性的LSTM模型为基础，增加周期性的记忆体，即得到改进型的具有周期特征的LSTM模型；
LSTM模型的改进部分如下公式：
Figure FDA0004100821840000051
Figure FDA0004100821840000052
Figure FDA0004100821840000053
ht＝ot*tanh(mt)
其中：
n表示模型特征数据中第n个数的位置
Q表示周期分段精度；
Tn表示第n个数位置所处的周期段；
mt表示t时刻周期性记忆的细胞态；
mt-Q表示t-Q时刻周期性记忆的细胞态
Figure FDA0004100821840000054
表示t时刻周期性记忆的候选态；
WxmTn表示Tn周期段候选态的参数矩阵；
bxmTn表示Tn周期段候选态的偏置项。
8.一种基于污水处理大数据技术的生产控制方法，其特征在于：
步骤一：建立权利要求1-7任一所述的生产模型；
步骤二：向步骤一建立的生产模型中改进型的具有周期特征的LSTM模型中输入高影响因子数据的当前值，得到未来某一任意时刻的预测值，将该预测值输入生产控制模型中DNN数据模型中，得到相应时刻影响污水处理目标的关键指标的关键性参数预测值，基于得到的关键性参数预测值对生产进行控制。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在其上运行的计算机程序；其特征在于：所述计算机程序运行时实现如权利要求8所述的生产控制方法。
10.一种非易失性计算机可读存储介质，其上存储有计算机程序；其特征在于：所述计算机程序运行时实现如权利要求8所述的生产控制方法。
CN202310175897.0A 2023-02-28 2023-02-28 一种基于污水处理大数据技术的生产模型和控制方法 Pending CN116151458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310175897.0A CN116151458A (zh) 2023-02-28 2023-02-28 一种基于污水处理大数据技术的生产模型和控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310175897.0A CN116151458A (zh) 2023-02-28 2023-02-28 一种基于污水处理大数据技术的生产模型和控制方法

Publications (1)

Publication Number Publication Date
CN116151458A true CN116151458A (zh) 2023-05-23

Family

ID=86338829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310175897.0A Pending CN116151458A (zh) 2023-02-28 2023-02-28 一种基于污水处理大数据技术的生产模型和控制方法

Country Status (1)

Country Link
CN (1) CN116151458A (zh)

Similar Documents

Publication Publication Date Title
Huang et al. A sensor-software based on a genetic algorithm-based neural fuzzy system for modeling and simulating a wastewater treatment process
CN109685252B (zh) 基于循环神经网络和多任务学习模型的建筑能耗预测方法
JP2753460B2 (ja) プロセス運転支援方法およびシステム
CN109508811A (zh) 基于主成分分析和长短期记忆网络的污水处理出水参数预测方法
Ruan et al. Improving the efficiency of dissolved oxygen control using an on-line control system based on a genetic algorithm evolving FWNN software sensor
CN104318325A (zh) 多流域实时智能水质预测方法及系统
Souza et al. A multilayer-perceptron based method for variable selection in soft sensor design
CN111650834B (zh) 基于极限学习机的污水处理过程预测控制方法
CN111652425A (zh) 一种基于粗糙集和长短期记忆网络的河流水质预测方法
CN105676814A (zh) 基于sfla-svm的数字化水岛在线加药控制方法
CN110824915A (zh) 基于ga-dbn网络的废水处理智能监控方法及系统
CN114944203A (zh) 基于自动寻优算法与深度学习的废水处理监控方法及系统
CN112735541A (zh) 一种基于简单循环单元神经网络的污水处理水质预测方法
CN109408896B (zh) 一种污水厌氧处理产气量多元智能实时监控方法
CN115456245A (zh) 一种感潮河网区溶解氧预测方法
Das et al. A study to target energy consumption in wastewater treatment plant using machine learning algorithms
Bi et al. Accurate water quality prediction with attention-based bidirectional LSTM and encoder–decoder
CN109359741A (zh) 一种废水处理进水水质时序变化智能预测方法
Zhang et al. Prediction of influent wastewater quality based on wavelet transform and residual LSTM
CN112906936A (zh) 基于集成神经网络的河流污染物通量智能计算与预测方法
CN116151458A (zh) 一种基于污水处理大数据技术的生产模型和控制方法
Juan et al. Multi-step prediction of dissolved oxygen in river based on random forest missing value imputation and attention mechanism coupled with recurrent neural network
CN116484747A (zh) 一种基于自适应优化算法与深度学习的污水智能监控方法
Zhang et al. Multimodal control by variable-structure neural network modeling for coagulant dosing in water purification process
CN115206444A (zh) 基于fcm-anfis模型的最佳投药量预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination