CN111783290B - 一种基于输入结构优化及序列编解码网络的海水混凝建模方法 - Google Patents

Abstract

本发明公开了一种基于输入结构优化及序列编解码网络的海水混凝建模方法，首先获取海淡厂实际运行原始数据并进行数据处理，得到结构化数据后再进行序列化，得到输入变量与输出变量的时间序列，建立基于输入结构优化及序列编解码网络的海水混凝模型，用于海水混凝过程的快速建模与在线模拟，通过改变模型输入端的变量值得到各输入变量与输出变量之间的定性关系。通过本发明构筑的海水混凝过程模型，可以在不进行物理试验的前提下初步实现对该过程的模拟，有利于研究整个海水混凝过程各变量之间的关联性。

Description

一种基于输入结构优化及序列编解码网络的海水混凝建模 方法

技术领域

本发明涉及海水淡化预处理海水混凝领域，尤指一种基于输入结构优化及序列编解码网络的海水混凝建模方法。

背景技术

海水混凝是海水淡化前处理中的重要步骤，利用絮凝剂与助凝剂使水中的微小胶体颗粒聚合形成较大胶体颗粒，去除有害杂质，保证后续工艺顺利进行。

该过程机理复杂，影响因素较多，目前主要采用经验和试验相结合的方法确定絮凝剂及助凝剂的种类及投放量。实际生产中，尚未有一套行之有效的自动化加药方案，一般由人工控制投药量，具有较大不确定性，且易造成用药浪费。设计一种智能化的加药方案，需要对混凝过程进行准确建模，以减少成本，提高效率，这是本领域的难题，目前学界尚未提出一种被广泛承认的建模方法。

由于海水混凝过程具有复杂非线性和大滞后等特点，给建模带来很大困难。邹振裕等利用分段线性建模法初步实现了该过程的建模(邹振裕,罗永恒,李展峰,等.沙口水厂混凝剂优化投加的研究及实践[J].中国给水排水,2009,025(017):51-53.)，郭钰锋等则利用机理建模法进一步提高了模型的精度(郭钰锋,马军,于达仁,范轶,翟学东.给水处理投药控制的非线性数学模型及仿真[J].哈尔滨工业大学学报,2009,41(05):64-68.)。但由于传统建模方法将实际过程理想化，存在准确度不高，结构复杂等缺点。基于机器学习的建模方法能够有效解决非线性问题，有利于海水混凝过程的建模。

序列到序列(sequence to sequence,seq2seq)模型属于编码器解码器(encoder-decoder)模型的一种，主要用于序列到序列形式问题的建模，能够对序列中的复杂特征进行提取与解析。该模型常被用于自然语言处理任务中。

门控循环单元(Gate Recurrent Unit,GRU)是长短期记忆网络(Long-Short TermMemory,LSTM)的一种变体，主要用于序列模型。相比LSTM而言，GRU的结构更加简单，但是效果相同，可以解决循环神经网络(Recurrent Neural Network,RNN)中的长依赖问题。在模型中引入GRU，能够提升seq2seq模型的训练效率，解决LSTM中训练速度慢的问题。

大滞后系统主要指过程通道中存在纯滞后的系统，这种纯滞后使得被控量不能及时反映系统所承受的扰动。海水混凝过程即是一个大滞后系统，为其建模及控制带来了较大的难题。

发明内容

本发明目的在于针对现有技术的不足，将海水混凝大时滞过程转换为序列建模过程，对输入变量进行结构优化，并利用序列编解码网络结合GRU进行建模，最终采用多种技术手段对模型进行优化。这种对大时滞问题的转换能够减少系统整体的不确定性，此类方法尚未见报道。利用该模型可对海水混凝过程中各量之间的关系进行探究，对海水淡化工艺的进步有重要意义。

为实现本发明的目的，本发明采取的技术方案是：一种基于输入结构优化及序列编解码网络的海水混凝建模方法，包括如下步骤：

S100，获取海淡厂实际运行原始数据，将原始数据分类整理，设定输出量，计算各类别数据与输出量之间的互相关系数，对原始数据进行初步筛选，即选取互相关系数超过设定阈值的类别作为模型输入；

S200，将初步筛选后的数据进行数据清洗，利用滑动平均方法降低数据采样过程中引入的噪声，利用归一化方法对数据进行预处理，并利用先验经验公式对数据进行结构化处理，得到结构化数据；

S300，将S200中得到的结构化数据序列化，以将海水混凝这一时滞问题转化成序列建模及模型优化问题，得到输入变量与输出变量的时间序列；

S400，建立基于输入结构优化及序列编解码网络的海水混凝模型，模型包括输入层，数据处理层，编码器层，解码器层以及输出层五个部分。输入层和数据处理层用于处理数据以加速模型训练过程；编码器层与解码器层利用GRU解析网络与线性解析网络的组合提取原始序列特征，并利用特征均值化方法压缩特征，压缩后的特征进行解码以拟合输出数据；输出层用于数据反变换，将网络输出数据结构转换为真实数据结构。基于输入结构优化及序列编解码网络的海水混凝模型用于海水混凝过程的快速建模与在线模拟，通过改变模型输入端的变量值得到各输入变量与输出变量之间的定性关系。

进一步地，所述S100包括：

S110，海淡厂实际运行原始数据按照入水浊度、出水浊度、瞬时流量、助凝剂加药频率、絮凝剂加药频率和累计流量等进行分类；根据模型需求，选取出水浊度作为模型输出；

S120，计算入水浊度、瞬时流量、助凝剂加药频率，絮凝剂加药频率和累计流量与出水浊度之间的互相关系数，为保证数据之间关联程度在50％以上，设置0.5为互相关系数阈值，保留互相关系数超过该阈值的变量，其余变量舍弃。最终选取入水浊度、瞬时流量、助凝剂加药频率、絮凝剂加药频率作为模型输入。

进一步地，所述S200包括：

S210，由于实际测量仪器存在工作误差，在原始数据中存在一些野值，利用各类别数据的统计信息设定阈值，以去除相关野值，实现数据清洗；

S220，原始数据中叠加了一定的随机噪声，为保证数据可靠性，对原始数据进行滑动平均处理，滑动平均的表达式如公式(1)所示，式中x(k)为入水浊度、瞬时流量、助凝剂加药频率、絮凝剂加药频率及出水浊度等特征量的原始数据，y(t)为光滑处理后的数据，w为滑动平均叠加滑动窗大小，t为时刻：

S230，为了提高模型的收敛速度，对数据进行归一化处理，以保证所有数据在同一尺度下参与计算，采用min-max标准化的方式对数据进行处理，表达式如公式(2)所示，式中x为模型输入及输出原始数据，y为归一化后的格式化数据，x_min和x_max分别为原始数据的最小值与最大值；

S240，实际数据源是加药泵的加药频率，为了满足各变量之间的对应关系，在计算时需要将加药频率换算成实际加药量。实际加药量λ，设备最大出力Q，加药频率f，冲开程度η，药液密度ρ，药液质量分数ω，加药处液体的瞬时流量q之间的关系公式如式(3)所示；

S250，利用如公式(4)所示的先验经验公式可知，海水混凝过程各输入量与输出量之间的关系近似满足指数表达式，主要表现为絮凝剂加药量λ₁，助凝剂加药量λ₂，瞬时流量q，入水浊度z，出水浊度z_o之间的关系，式中a₁，a₂，a₃，a₄为未知参数；

S260，为降低建模难度，提高训练速度，利用对数表达式对输入输出数据进行变换，初步得到结构化的数据集，令x_i为变换前的模型输入与输出数据，x_o为变化后的解构数据，变换公式如公式(5)所示。

x_o＝log(x_i+1) (5)

进一步地，所述S300具体为：

海水混凝过程属于大时滞过程，当前时刻加入的药物需要经过一段时延才会产生作用，时延大小与流量有关，即输出值会受到历史输入值的影响；

为了更有效地建立输入因素与输出之间的模型，可将大时滞问题转换成序列建模问题，利用输入历史值特征信息拟合输出值，可保证系统在保持大时滞状态的情况下对输出变化进行一定程度的预测。

进一步地，所述基于输入结构优化及序列编解码网络海水混凝模型具体如下：

所述输入层获取结构化数据，将所有的数据进行解构，便于后续层级对数据进行处理；

所述数据处理层将输入序列处理成符合编码器需求的数据格式，同时对数据结构进行优化，输出助凝剂加药量、絮凝剂加药量及入水浊度；

所述编码器层分为加药量编码器和入水浊度编码器两个部分。加药量编码器利用连续的GRU单元组成解析网络生成加药量序列的特征向量，入水浊度编码器利用线性网络生成入水浊度序列的特征向量；

所述编码器层具有语义向量生成区块，该区块将特征向量结合生成语义向量，为简化模型，采用特征均值的方法压缩特征向量以生成语义向量。编码器层将药液混合及扩散的过程进行抽象化，输出与加药量及入水浊度相关的语义化向量；

所述解码器层是一个多层线性网络，将海水混凝实际物理过程中反应及沉淀过程进行数学抽象，建立输入语义向量与输出出水浊度之间的非线性关系。

进一步地，根据基于输入结构优化及序列编解码网络的海水混凝模型特点，确定模型结构参数及序列长度两方面参数，序列长度体现了海水混凝过程的时延效应，对输出值的影响较大，为简化研究过程，采用经验及实验相结合的方法设置参数。

进一步地，采用AdamW优化器，L1损失函数对基于输入结构优化及序列编解码网络的海水混凝模型进行训练。将原始数据以一定的比例划分为训练集及测试集，利用训练集拟合模型，测试集测试模型，对模型准确度进行评判。

进一步地，利用模型在测试集上计算决定系数R²，决定系数越接近于1，证明模型输出与实际输出越接近，模型有效性越强。决定系数按照以下公式计算：

式中SSR为回归平方和，SST为总平方和。

综上所述，由于采用了上述技术方案，本发明的有益效果如下。

该方法的核心是基于输入结构优化及序列编解码网络模型的构建，是对seq2seq编解码网络中架构的一种特化型应用。

1)本发明将大时滞的海水混凝过程转化为序列模型的建模问题，并利用编解码网络结合GRU、线性网络等特征提取器构筑了模型，取得了较好的结果。这种大时滞问题是传统神经网络方法不能适应的。

2)本发明利用海水混凝过程的经验模型，利用对数函数对输入输出数据进行了处理，进一步提高了模型的收敛速度，同时也在一定程度上提高了模型的准确度。

3)通过本发明构筑的海水混凝过程模型，可以在不进行物理试验的前提下初步实现对该过程的模拟，有利于研究整个海水混凝过程各变量之间的关联性。

附图说明

下面将以附图对基于GRU编解码网络的海水混凝建模方法的特性、技术特征、优点予以进一步说明。

图1是本发明的建模流程图。

图2是所选数据类别的数据分布图。

图3是数据结构优化方法流程图。

图4是本发明的模型结构图。

图5是模型训练及测试的结果对比图。

具体实施方式

下面结合附图和具体实施方式对本发明作更进一步的说明。

如图1所示，本发明实例公开一种基于输入结构优化及序列编解码网络的海水混凝建模方法，该方法包括以下步骤：

步骤(1)海淡厂数据获取

海淡厂实际运行数据包括入水浊度，出水浊度，瞬时流量，助凝剂加药频率，絮凝剂加药频率，累计流量等。为了获取到足够多的数据，保证数据的有效性，原始数据的采样间隔为1分钟，且保证各仪器仪表在采样过程中正常工作，量程在有效范围内。数据来源：某海淡厂2019年11月30日至2019年12月31日的实际生产数据，共计43200条数据。

步骤(2)输入数据与输出数据筛选

海水混凝过程主要通过絮凝剂及助凝剂共同的物理化学作用，降低海水浊度，以保证海水淡化工序的顺利进行。因此，在模型的输入输出选择上，应选取出水浊度作为模型输出。计算入水浊度，出水浊度，瞬时流量，助凝剂加药频率，絮凝剂加药频率，累计流量与出水浊度之间的互相关系数，根据该系数的大小，可选取入水浊度、瞬时流量、助凝剂加药频率、絮凝剂加药频率作为模型输入。

步骤(3)数据整合、预处理整合及结构化

通过对各数据时序曲线的研究，发现(1)中原始数据中存在一些野值，利用各类别数据的统计信息设定阈值，以去除相关野值。与此同时，为保证数据可靠性，需要对原始数据进行滑动平均处理，以去除采样时叠加的随机噪声，滑动平均的表达式如下式所示，式中x(k)为入水浊度、瞬时流量、助凝剂加药频率、絮凝剂加药频率及出水浊度等特征量的原始数据，y(t)为光滑处理后的数据，t表示时刻。

为了提高模型训练时的收敛速度，采用min-max标准化的方式对数据进行处理，以保证各数据在统一的尺度下参与计算。表达式如公式(2)所示，式中x为模型输入及输出原始数据，y为归一化后的格式化数据，x_min和x_max分别为原始数据的最小值与最大值；

处理后的数据其各类别的数据分布图如图2所示，每个类别数据分布符合实际情况。

实际数据源是加药泵的加药频率，为了满足各变量之间的对应关系，在计算时需要将加药频率换算成实际加药量。实际加药量λ，设备最大出力Q，加药频率f，冲开程度η，药液密度ρ，药液质量分数ω，加药处液体的瞬时流量q，之间的关系公式如下式所示:

利用先验经验可知，海水混凝过程各输入量与输出量之间的关系近似满足指数表达式，主要表现为絮凝剂加药量λ₁，助凝剂加药量λ₂，瞬时流量q，入水浊度z，出水浊度z_o之间的关系，式中a₁，a₂，a₃，a₄为未知参数。

为降低建模难度，提高训练速度，利用对数表达式对输入输出数据进行变换，初步得到结构化的数据集，令x_i为变换前的模型输入与输出数据，x_o为变化后的解构数据，变换公式如公式(5)所示。

x_o＝log(x_i+1) (5)

步骤(4)数据序列化并整合成数据集

海水混凝过程属于大时滞过程，当前时刻加入的药物需要经过一段时延才会产生作用，时延大小与流量有关，即输出值会受到历史输入值的影响。

为了更有效地建立输入因素与输出之间的模型，将海水混凝建模问题抽象成序列建模问题，利用输入历史值特征信息拟合和输出值。

将输入特征的时序值整合成一定序列长度的序列，每个序列均对应一个输出值，得到序列化的输入数据，序列长度可作为模型的超参数待后续整定。

数据结构优化方法的流程图如图3所示，在模型中体现为数据处理层。原始数据经结构优化后，最终得到有效数据25000条，可将其分为训练集及测试集，用15000条数据进行训练，10000条数据进行测试，训练集用于模型训练，测试集则用于测试模型有效性。

步骤(5)海水混凝模型建立

模型的结构图如图4所示。为模拟实际混凝过程，将模型分为五个部分，分别是输入层，数据处理层，编码器层，解码器层以及输出层。模型主体在于编码器层及解码器层，编码器层分为加药量编码器和入水浊度编码器两个部分。加药量编码器利用连续的GRU单元组成解析网络生成加药量序列的特征向量，入水浊度编码器利用线性网络生成入水浊度序列的特征向量。语义向量生成区块将上述两个特征向量结合生成语义向量，为简化模型，采用特征均值的方法压缩特征向量。编码器层主要将药液混合及扩散的过程进行抽象化，输出与加药量及入水浊度相关的语义化向量；解码器层是一个复杂的线性网络，主要将海水混凝过程中的反应及沉淀过程进行抽象化。利用解码器层，能够建立输入语义向量与输出出水浊度之间的复杂非线性关系。

利用上述特化的编码器-解码器模型结构，能够使得模型综合输入序列的全部信息，提取深层次特征，再将特征进行整合，得到输出数据。上述模型结构也能够更贴近于海水混凝过程的实际情况，增强了模型的可信度。

根据模型特点，设计时需要确定模型结构参数及序列长度两方面参数，由于模型中使用的网络其作用大多为特征提取，为简化研究过程，采用经验及实验相结合的方法设置模型结构参数。将GRU网络的隐藏单元数设置为256，层数设置为1。同时，将解码器中多层线性网络的隐藏层数分别设置为512，256，256及64，设置每层激活函数为RReLU。

序列长度这一参数则体现了海水混凝过程的时延效应，其对输出值的影响较大。采用实验法确定该参数，可以得到在当前数据集的条件下，选取250作为序列长度效果较好。

步骤(6)模型训练

模型训练采用AdamW优化器，L1损失函数为目标函数进行训练。实验的物理平台采用RTX2080Ti，软件平台为Ubuntu16.04，实验代码采用python编写，利用pytorch工具包搭建环境。

步骤(7)模型检验

模型训练完成后，在训练集及测试集上的结果图如图5所示。从结果上可以看到，模型在当前数据集下的准确率较高，具有一定有效性；

利用模型在测试集上计算决定系数R²，决定系数按照以下公式计算：

式中SSR为回归平方和，SST为总平方和。模型利用决定系数(R²)从数值上对有效性进行检验，决定系数越接近于1，证明拟合曲线越接近于实际曲线。模型在测试集上得到的决定系数(R²)值为0.98，初步证明了模型在拟合整个混凝沉淀过程中的有效性。

可以利用上述方法快速对海水混凝过程进行建模，通过改变模型输入端的变量值可对各输入变量与输出变量之间的定性关系进行探究，对海水淡化工艺的进步有重要意义。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种基于输入结构优化及序列编解码网络的海水混凝建模方法，其特征在于，包括如下步骤：

S100，获取海淡厂实际运行原始数据，将原始数据分类整理，设定输出量，计算各类别数据与输出量之间的互相关系数，对原始数据进行初步筛选，即选取互相关系数超过设定阈值的类别作为模型输入；

S200，将初步筛选后的数据进行数据清洗，利用滑动平均方法降低数据采样过程中引入的噪声，利用归一化方法对数据进行预处理，并利用先验经验公式对数据进行结构化处理，得到结构化数据；

S300，将S200中得到的结构化数据序列化，以将海水混凝这一时滞问题转化成序列建模及模型优化问题，得到输入变量与输出变量的时间序列；S400，建立基于输入结构优化及序列编解码网络的海水混凝模型，模型包括输入层，数据处理层，编码器层，解码器层以及输出层五个部分；输入层和数据处理层用于处理数据以加速模型训练过程；编码器层与解码器层利用GRU解析网络与线性解析网络的组合提取原始序列特征，并利用特征均值化方法压缩特征，压缩后的特征进行解码以拟合输出数据；输出层用于数据反变换，将网络输出数据结构转换为真实数据结构；基于输入结构优化及序列编解码网络的海水混凝模型用于海水混凝过程的快速建模与在线模拟，通过改变模型输入端的变量值得到各输入变量与输出变量之间的定性关系。

2.根据权利要求1所述的基于输入结构优化及序列编解码网络的海水混凝建模方法，其特征在于，所述S100包括：

S110，海淡厂实际运行原始数据按照入水浊度、出水浊度、瞬时流量、助凝剂加药频率、絮凝剂加药频率和累计流量进行分类；根据模型需求，选取出水浊度作为模型输出；

S120，计算入水浊度、瞬时流量、助凝剂加药频率，絮凝剂加药频率和累计流量与出水浊度之间的互相关系数，为保证数据之间关联程度在50％以上，设置0.5为互相关系数阈值，保留互相关系数超过该阈值的变量，其余变量舍弃；最终选取入水浊度、瞬时流量、助凝剂加药频率、絮凝剂加药频率作为模型输入。

3.根据权利要求1所述的基于输入结构优化及序列编解码网络的海水混凝建模方法，其特征在于，所述S200包括：

S210，由于实际测量仪器存在工作误差，在原始数据中存在一些野值，利用各类别数据的统计信息设定阈值，以去除相关野值，实现数据清洗；S220，原始数据中叠加了一定的随机噪声，为保证数据可靠性，对原始数据进行滑动平均处理，滑动平均的表达式如公式(1)所示，式中x(k)为入水浊度、瞬时流量、助凝剂加药频率、絮凝剂加药频率及出水浊度特征量的原始数据，y(t)为光滑处理后的数据，w为滑动平均叠加滑动窗大小，t为时刻：

S230，为了提高模型的收敛速度，对数据进行归一化处理，以保证所有数据在同一尺度下参与计算，采用min-max标准化的方式对数据进行处理，表达式如公式(2)所示，式中x为模型输入及输出原始数据，y为归一化后的格式化数据，x_min和x_max分别为原始数据的最小值与最大值；

S240，实际数据源是加药泵的加药频率，为了满足各变量之间的对应关系，在计算时需要将加药频率换算成实际加药量；实际加药量λ，设备最大出力Q，加药频率f，冲开程度η，药液密度ρ，药液质量分数ω，加药处液体的瞬时流量q之间的关系公式如式(3)所示；

S250，利用如公式(4)所示的先验经验公式可知，海水混凝过程各输入量与输出量之间的关系近似满足指数表达式，主要表现为絮凝剂加药量λ₁，助凝剂加药量λ₂，瞬时流量q，入水浊度z，出水浊度z_o之间的关系，式中a₁，a₂，a₃，a₄为未知参数；

S260，为降低建模难度，提高训练速度，利用对数表达式对输入输出数据进行变换，初步得到结构化的数据集，令x_i为变换前的模型输入与输出数据，x_o为变化后的解构数据，变换公式如公式(5)所示；

x_o＝log(x_i+1) (5)。

4.根据权利要求1所述的基于输入结构优化及序列编解码网络的海水混凝建模方法，其特征在于，所述S300具体为：

海水混凝过程属于大时滞过程，当前时刻加入的药物需要经过一段时延才会产生作用，时延大小与流量有关，即输出值会受到历史输入值的影响；

为了更有效地建立输入因素与输出之间的模型，可将大时滞问题转换成序列建模问题，利用输入历史值特征信息拟合输出值，可保证系统在保持大时滞状态的情况下对输出变化进行一定程度的预测。

5.根据权利要求1所述的基于输入结构优化及序列编解码网络的海水混凝建模方法，其特征在于，所述基于输入结构优化及序列编解码网络海水混凝模型具体如下：

所述输入层获取结构化数据，将所有的数据进行解构，便于后续层级对数据进行处理；

所述数据处理层将输入序列处理成符合编码器需求的数据格式，同时对数据结构进行优化，输出助凝剂加药量、絮凝剂加药量及入水浊度；

所述编码器层分为加药量编码器和入水浊度编码器两个部分；加药量编码器利用连续的GRU单元组成解析网络生成加药量序列的特征向量，入水浊度编码器利用线性网络生成入水浊度序列的特征向量；

所述编码器层具有语义向量生成区块，该区块将特征向量结合生成语义向量，为简化模型，采用特征均值的方法压缩特征向量以生成语义向量；编码器层将药液混合及扩散的过程进行抽象化，输出与加药量及入水浊度相关的语义化向量；

所述解码器层是一个多层线性网络，将海水混凝实际物理过程中反应及沉淀过程进行数学抽象，建立输入语义向量与输出出水浊度之间的非线性关系。

6.根据权利要求1所述的基于输入结构优化及序列编解码网络的海水混凝建模方法，其特征在于：

根据基于输入结构优化及序列编解码网络的海水混凝模型特点，确定模型结构参数及序列长度两方面参数，序列长度体现了海水混凝过程的时延效应，对输出值的影响较大，为简化研究过程，采用经验及实验相结合的方法设置参数。

7.根据权利要求1所述的基于输入结构优化及序列编解码网络的海水混凝建模方法，其特征在于，采用AdamW优化器，L1损失函数对基于输入结构优化及序列编解码网络的海水混凝模型进行训练；将原始数据以一定的比例划分为训练集及测试集，利用训练集拟合模型，测试集测试模型，对模型准确度进行评判。

8.根据权利要求7所述的基于输入结构优化及序列编解码网络的海水混凝建模方法，其特征在于，利用模型在测试集上计算决定系数R²，决定系数越接近于1，证明模型输出与实际输出越接近，模型有效性越强；决定系数按照以下公式计算：

式中SSR为回归平方和，SST为总平方和。

Images