CN109001136A - 一种基于紫外—可见光吸收光谱的cod在线监测方法 - Google Patents

Abstract

本发明提供了一种基于紫外—可见光吸收光谱的COD在线监测方法，包括：进行零点校准；取多个不同类型水样，提取水样在紫外波段的特征吸收波长；建立紫外吸收光谱与COD之间的BP神经网络模型；对BP神经网络模型进行实际水样的训练；对BP神经网络模型改进,选择出适应的个体进行交叉和变异操作，经过多次、各种类型水样的神经网络建模及训练后，建立模型参数数据库。本发明可选择多个特定波长的吸光度数据作为建模信息，提高了COD值的拟合精度，更能全面的反映COD值。

Description

一种基于紫外—可见光吸收光谱的COD在线监测方法

技术领域

本发明涉及环境监测领域，尤其涉及一种基于紫外—可见光吸收光谱的COD在线监测方法。

背景技术

化学需氧量COD(Chemical Oxygen Demand)是以化学方法测量水样中需要被氧化的还原性物质的量，COD指示了水体受还原性物质污染的程度。

随着光谱检测法的研究与发展，光谱检测法广泛用于检测水样中COD，该方法具有灵敏度高、准确度好、选择性优、操作简便、分析速度快等特点。光谱法主要基于Lambert-Beer定律的原理，是一种免化学试剂的方法，克服了柜式分析仪的缺点，操作简单便捷、数据准确度高、运营成本低、可实时在线监测。UV法直接测定COD可分为单光谱法、多光谱法和全光谱。单光谱法是利用在波长254nm处大部分有机物存在吸收特性来测定水样的吸光度。多光谱法是在紫外光谱区内以多个紫外波长进行光谱检测。基于紫外—可见光吸收光谱法则对水样进行紫外可见区域内的光谱检测，可得水样在紫外可见光区域内的光谱曲线。

单光谱和多光谱适用于对成分相对单一化的水样进行COD的检测，实际水样中成分复杂，有机物组成不同，干扰因素较多，不同的水样其特征的吸收峰也不同。相对而言，基于紫外—可见光吸收光谱法通过检测得到的全紫外光谱吸收曲线，更能全面的反映水质的情况。全光谱检测得到的吸收光谱有部分波长吸光度与COD相关，可选择多个特定波长的吸光度数据作为建模信息。

现有的对光谱法数据建模存在一定的不足之处，如：1)大多只是集中于对特定的废水，局限性明显。2)建模过程中多采用单波长或双波长进行COD光谱检测，对较小COD值的拟合精度低，且易受随机因素干扰。3)建立的模型结构在训练过程中结构变化不大，精确度较低，模型的外推能力不高。

同时，BP神经网络算法的权值调整采用梯度下降法优化，自身也存在一定的不足之处，会出现收敛速度慢，泛化能力差，网络结构不够统一等问题，影响网络训练速度及网络的广泛应用。

发明内容

针对以上问题，本发明的旨在建立一个紫外光谱数据与COD值之间的神经网络模型，通过模型训练和误差计算，得到误差在允许范围内的数学模型，提高模型的外推能力。同时结合加动量项以及遗传算法加速模型训练速度，提高收敛性，增强模型的泛化能力等。由不同水质的水样训练后建立模型数据库，仪器在水质监测时可自动判别当前检测水样类型并选取匹配度高的数据模型来进行光谱吸收COD计算。

本发明提供了一种基于紫外—可见光吸收光谱的COD在线监测方法，包括以下步骤：进行零点校准，采用纯水作为零点校准液进行紫外全波长扫描；

取多个不同类型水样，提取水样在紫外波段的特征吸收波长；

建立紫外吸收光谱与COD之间的BP神经网络模型；

对BP神经网络模型进行实际水样的训练，以不同时刻、不同类型水质的实际水样作为网络训练样本，通过以BP神经网络模型进行光谱法的检测，同时采用国标法检测同一时间的水样，把光谱检测的实际COD值与正确的目标值相比较，根据误差的情况修改各节点的连接权重，使模型不断朝着误差减小的方向变化，最终光谱法检测的COD值与国标法COD值的偏差在检测要求的范围内，而且无限接近，使得神经网络运算法建立的模型更加精确；

对BP神经网络模型改进,选择出适应的个体进行交叉和变异操作，产生新个体，返回继续进行训练,计算训练后的神经网络模型误差；

建立模型参数数据库,每训练结束一次，神经网络模型可得到一次修正，储存修正后的模型数据,经过多次、各种类型水样的神经网络建模及训练后，建立模型参数数据库。

BP神经网络模型结构分为三层：输入层、隐含层和输出层，输入层为水样的特征波长点的吸光度，A_λ＝(A_λ1,A_λ2,……A_λn)；输出层为水样的COD值，记为y，输入输出的关系y＝f(A_λ1,A_λ2,……A_λn)，隐含层为单层，所含隐单元数为n₁；W为输入层与隐含层间及隐含层与输出层的连接权重，输入层与隐含层的连接权重记W_ij＝(W₁₁，W₁₂，……)(i＝1,2……n；j＝11,2……n₁)，隐含层与输出层的连接权重W_uv(W₁₁，W₁₂，……)(u＝1,2……n₁；v＝11,2……m)，隐单元数(n₁)采用如下公式进行计算m为输出神经元数，n为输入神经元数，a为1-10之间的整数。

所述训练过程包括正向传播和反向传播两个步骤。

所述正向传播步骤包括：

正向传播步骤是指多个特征波长点的吸光度作为输入层信号，经过隐含层传递后，最终进入输出层的步骤，包括以下步骤：样本的采集与输入，初始权重的选择、输入网络训练样本、样本输出的计算：

(1)样本的采集及输入

操作前采集大量监测数据，作为训练数据，下述步骤是直接默认样本已获取和输入。

(2)初始权重的选择

神经网络的初始权重选择随机，并设置当前网络优化次数t＝1；

(3)输入网络训练样本

以由水样全光谱扫描曲线提取的多个特征波长吸光度A_λ为输入x，与输出水样的COD值y组成(x₁,y₁)，(x₂,y₂)，(x₃,y₃)……(x_n,y_n)；

(4)样本输出计算

采用常用的激活函数Sigmoid函数：

反向传播步骤是对样本t次训练后输出COD值与目标COD值进行比较，对各过程中的误差进行迭代计算，对网络训练进行判断，若误差在目标范围内则训练结束，建模成功，若误差超出目标范围内，则返回继续进行网络训练或者判断模型失败，重新建模。

反向传播步骤包括以下步骤：训练误差计算、误差判断、网络改进：

(1)训练误差计算

对建立的神经网络模型进行多次训练，网络模型训练总误差等于各样本误差平方和的一半，

设当前网络优化次数为t，每次为μ步，对N个样本进行t次训练后的总误差进行计算：

y_i为第i组样本经模型计算得到的COD输出值，为第i组样本目标COD值，即经国标法检测的COD值，N为样本总数；

误差Ε_t与连接权值W有关，也与输入样本和输出有关，根据以上误差Ε_t计算，存在一个ε使得否则继续进行训练；

(2)误差判断：

判断误差是否满足预先设置的条件，若满足则停止训练，模型建立成功；

若不满足预先设置的目标值，且t次优化的误差小于t-1次优化的误差(Ε_t≤Ε_t-1)，则增加网络优化步数，继续对模型进行训练，直至误差在接受范围内，继续训练的过程中，需要结合遗传算法进行优化，加速训练速度，提高收敛性；

若误差不满足预先设置的目标值，且t次优化的误差大于t-1次优化的误差(Ε_t＞Ε_t-1)，则此次模型建立失败，需要对模型进行重新建立，权值初始化。

经过正向传播与逆向传播的来回交替进行，提高了网络的精准程度，使模型得到记忆训练。

对神经网络改进：

考虑到BP算法的收敛性和震荡性，需要对算法进行改进，采用动量法在梯度下降算法的基础上引入动量因子α(0<α<1)，根据上一次权值变化进行下一次权值的调整，保持模型的修正在同一个方向；

Δw(k+1)＝w(k+1)-w(k)

k为迭代次数，η为步长。

遗传算法

包括以下步骤：

适应度计算：

适应度与误差平方和成反比，通过误差函数可确定遗传算法的适应度函数g(x)；

选择率计算：

样本适应值的差异非常大，最优个体与最差个体被选择的几率就会呈指数增长，最优的在下一代生存的几率将大大加强。选择较优的个体进行下一代生存；

交叉、变异选择。

本发明中首先采用基于紫外—可见光吸收光谱法得到的吸收光谱有部分波长吸光度与COD相关，可选择多个特定波长的吸光度数据作为建模信息，提高了COD值的拟合精度，更能全面的反映COD值。其次结合了物理法与化学法的优点，利用水样的国标法检测作为目标COD值。经BP神经网络建立模型，对所建立的模型进行训练，计算模型训练后的误差。通过对误差的控制，使得模型更加稳定，保证了测量的准确性和精确度。同时结合附加动量项和遗传算法加速模型训练速度，提高收敛性，增强模型的泛化能力等。在水样训练后对满足误差的模型建立数据库，针对不同水质的监测，可自动判别当前检测水样类型并选取匹配度高的数据模型来进行光谱吸收COD计算。

附图说明

下面结合实施例和附图对本发明进行详细说明，其中：

图1是本发明的一个较佳实施例的

图2是本发明一COD检测神经网络结构示意图。

图3是本发明的标准溶液测试的线性关系图。

图4是某流域光谱法与化学法检测结果对比图。

具体实施方式

下面进一步阐述本发明的具体实施方式：

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

隐含层是除输入层和输出层以外的其他各层叫隐含层，不接受外界的信号也不直接向外界发送信号；输入层负责接收输入及分发到隐含层，隐含层负责所需的计算及输出结果给输出层。

如图1所示的全光谱COD在线监测方法，包括如下步骤：

S100，对紫外可见光基于紫外—可见光吸收光谱法进行零点校准，采用纯水作为零点校准液进行紫外全波长扫描；

S200，取多个不同类型水样，提取水样在紫外波段的特征吸收波长，为建模提供数据支持。对同一时间采集的水样进行稀释并分别进行全光谱扫描，得到不同比例的COD值的水样全光谱曲线，同时利用国标法分别对水样进行COD检测。确定紫外吸收较强的多个波长作为特征波长点。

如图2所示，S300，建立紫外吸收光谱与COD值之间的网络模型。模型结构分为三层，分别为输入层、隐含层和输出层。输入层代表输入网络的原始数据，隐含层的值由输入层的输出及输入层与隐含层间的连接权重而定，输出层的值取决于隐含层的输出值及隐含层与输出层间的连接权重，隐含层与输入层及输出层的关系是在网络学习过程中得到的。输入层为水样的特征波长点的吸光度，记A_λ＝(A_λ1,A_λ2,……A_λn)，输出层为水样的COD值，记为y。输入和输出的关系为y＝f(A_λ1,A_λ2,……A_λn)，n为隐单元。W为输入层与隐含层间及隐含层与输出层的连接权重，输入层和隐含层的连接权重W_ij＝(W₁₁，W₂₁，……，W_nn1)(i＝1，2……n；j＝1，1，2……n₁)，隐含层与输出层的连接权重W_uv＝(W₁₁，W₂₁，……,W_n1m)(u＝1，2……n₁；v＝1，1，2……m)；其中n₁为隐单元数，采用经验公式进行计算，m为输出神经元数，n为输入神经元数，a为1-10之间的数。在初始放入足够多的隐单元数，经训练学习后去除不起作用的隐单元，一直减少到不可收缩为止。

S400，对上述模型进行实际水样的训练，并计算模型训练后的误差，然后进行判断误差是否满足预先设置的条件，若满足则停止训练，模型建立成功，进行步骤S5；若不满足预先设置的目标值，且t次优化的误差小于t-1次优化的误差(Ε_t≤Ε_t-1)，则增加网络优化步数，返回步骤初始继续对模型进行训练，直至误差满足预先设置的条件；若误差不满足预先设置的目标值，且t次优化的误差大于t-1次优化的误差(Ε_t＞Ε_t-1)，则此次模型建立失败，需要返回，对模型进行重新建立，并对连接权值初始化。

具体包括：以不同时刻、不同类型水质的实际水样作为网络训练样本，通过以上步骤建立的模型进行光谱法的检测得到实际COD值，同时采用国标法检测同一时间的水样得到国标法COD值，把光谱检测的实际COD值与国标法COD值相比较。根据误差的情况修改各节点的连接权重，使模型不断朝着误差减小的方向变化，最终光谱法检测的COD值与国标法COD值的偏差在检测要求的范围内，而且无限接近，使得建立的模型更加精确。

整个训练过程分为正向传播步骤训练和反向传播步骤训练。

1)正向传播步骤：正向传播步骤为多个特征波长点的吸光度作为输入层信号，经过隐含层传递后，最终进入输出层的整个过程。主要包括样本的采集与输入，初始权重的选择、样本输出的计算。具体为：

(1)初始权重的选择

神经网络的初始权重选择随机，并设置当前网络优化次数t＝1；

(2)输入网络训练样本

以由水样全光谱扫描曲线提取的多个特征波长吸光度A_λ为输入x，与输出水样的COD值y组成(x₁,y₁)，(x₂,y₂)，(x₃,y₃)……(x_n,y_n)。

样本输出计算：

采用常用的激活函数Sigmoid函数：

每个神经元有一个阈值,当该神经元所获得的输入信号的累积效果超过阈值时,它就处于激发态,否则应该处于抑制态。为了使系统有更宽的适用面,人工神经元有一个更一般的变换函数,用来执行对该神经元所获得的网络输入的变换,这就是激活函数,也可以称之为激励函数、活化函数。

2)反向传播步骤：反向传播步骤是对样本t次训练后输出COD值与目标COD值进行比较，对各过程中的误差进行迭代计算，对网络训练进行判断。若误差在目标范围内则训练结束，建模成功，若误差超出目标范围内，则返回继续进行网络训练或者判断模型失败，重新建模。主要包括：训练误差计算、误差判断、网络改进等。

(1)训练误差计算

对建立的神经网络模型进行多次训练，网络模型训练总误差等于各样本误差平方和的一半。

1)设当前网络优化次数为t，每次为μ步，对N个样本进行t次训练后的总误差进行计算：

y_i为第i组样本经模型计算得到的COD输出值，为第i组样本目标COD值，即经国标法检测的COD值，N为样本总数。

误差Ε_t与连接权值W有关，也与输入样本和输出有关。根据以上误差Ε_t计算，存在一个ε使得否则继续进行网络训练，ε是指对精度控制参数，是系统对总误差的精度要求。

(2)误差判断

1)判断误差是否满足预先设置的条件，若满足则停止训练，模型建立成功；

2)若不满足预先设置的目标值，且t次优化的误差小于t-1次优化的误差(Ε_t≤Ε_t-1)，则增加网络优化步数，S500，进行适应度和选择率计算，并对交叉、变异选择，继续对模型进行训练，直至误差在接受范围内；

交叉：对群体进行交叉操作，定义交叉操作概率，选择父代个体进行两两配对，采用算术交叉法进行交叉操作；

变异：通过变异运算在算法中模拟生物学中群体内不同个体间差异的操作，首先计算变异概率，选择N个个体进行变异操作。如：个体以二进制字符串编码，对应位置上原值为0，而需要对其进行变异操作，则变为1。

3)若误差不满足预先设置的目标值，且t次优化的误差大于t-1次优化的误差(Ε_t＞Ε_t-1)，则此次模型建立失败，需要对模型进行重新建立，权值初始化。

经过正向传播与反向传播的来回交替进行，提高了网络的精准程度，使模型得到记忆训练。

S600，建立模型数据库：在一定流域范围内水质相对稳定，经过多次样本训练后可得到相对统一的模型，不同的流域范围内或不同水质类型的水样可建立不同的模型。每训练结束一次，网络模型可得到一次修正，储存修正后的模型数据。经过多次、各种类型水样的神经网络建模及训练后，可建立模型参数数据库。实际监测过程中，可通过自动判别当前所检测水样类型，并选取匹配度高的数据模型来进行光谱吸收COD的计算，实现在相同流域或不同流域中快速检测水样中COD值。

目标COD值是采用国标法进行检测所得值，若测定的水样为较干净的地下水或地表水，采用高锰酸盐指数法进行检测；若检测的水质为COD浓度较大的污水，则采用重铬酸钾法。

对样本的COD值进行基于紫外—可见光吸收光谱法检测。

实施例1标准溶液测试

对采用本发明方法的传感器选在0～300mg/L的量程分别进行重复性测试、零点漂移、量程漂移和线性测试。首先，分别对零点校正液和量程校正液进行6次重复测试如下表1所示，结果显示重复性为0.29％，远低于相关技术要求。其次在经过24小时的零点漂移测试，零点漂移为0.4％，量程漂移为-0.40％，如下表2所示。最后，选取的不同浓度COD标准溶液为：0mg/L、50mg/L、100mg/L、200mg/L、250mg/L、300mg/L。检测得到的COD值分别对应为：0.06mg/L、48.33mg/L、98.02mg/L、196.81mg/L、247.63mg/L、288.5mg/L；其线性较好，线性方程为y＝61.111x-67.331，相关系数R2＝0.9849，直线性为3.67％，如图3所示。

表1重复性数据(单位为mg/L)

表2量程漂移数据(单位为mg/L)

实施例2待测水样的COD对比检测

在某河流流域水质在线监测中，采用本专利的基于紫外—可见光吸收光谱法与化学比色法同时对同一水域相同时间点的水样进行检测。经过两种检测方法的检测后，结果显示如图4所示，本方法检测到的水样COD值与化学法检测的数据没有明显差异，表明本发明的检测方法准确度较高。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种基于紫外—可见光吸收光谱的COD在线监测方法，其特征在于，包括以下步骤：

进行零点校准，采用纯水作为零点校准液进行紫外全波长扫描；

取多个不同类型水样，提取水样在紫外波段的特征吸收波长；

建立紫外吸收光谱与COD之间的BP神经网络模型；

对BP神经网络模型进行实际水样的训练，以不同时刻、不同类型水质的实际水样作为网络训练样本，通过以BP神经网络模型进行光谱法的检测，同时采用国标法检测同一时间的水样，把光谱检测的实际COD值与正确的目标值相比较，根据误差的情况修改各节点的连接权重，使模型不断朝着误差减小的方向变化，最终光谱法检测的COD值与国标法COD值的偏差在检测要求的范围内，而且无限接近，使得神经网络运算法建立的模型更加精确；

对BP神经网络模型改进,选择出适应的个体进行交叉和变异操作，产生新个体，返回继续进行训练,计算训练后的神经网络模型误差；

建立模型参数数据库,每训练结束一次，神经网络模型可得到一次修正，储存修正后的模型数据,经过多次、各种类型水样的神经网络建模及训练后，建立模型参数数据库。

2.如权利要求1所述的基于紫外—可见光吸收光谱的COD在线监测方法，其特征在于，BP神经网络模型结构分为三层：输入层、隐含层和输出层，输入层为水样的特征波长点的吸光度，A_λ＝(A_λ1,A_λ2,……A_λn)；输出层为水样的COD值，记为y，输入输出的关系y＝f(A_λ1,A_λ2,……A_λn)，隐含层为单层，所含隐单元数为n₁；W为输入层与隐含层间及隐含层与输出层的连接权重，输入层与隐含层的连接权重记W_ij＝(W₁₁，W₁₂，……)(i＝1,2……n；j＝11,2……n₁)，隐含层与输出层的连接权重W_uv(W₁₁，W₁₂，……)(u＝1,2……n₁；v＝11,2……m)，隐单元数(n₁)采用如下公式进行计算m为输出神经元数，n为输入神经元数，a为1-10之间的整数。

3.如权利要求1所述的基于紫外—可见光吸收光谱的COD在线监测方法，其特征在于，所述训练过程包括正向传播和反向传播两个步骤。

4.如权利要求3所述的基于紫外—可见光吸收光谱的COD在线监测方法，其特征在于，所述正向传播步骤包括：

正向传播步骤是指多个特征波长点的吸光度作为输入层信号，经过隐含层传递后，最终进入输出层的步骤，包括以下步骤：初始权重的选择、输入网络训练样本、样本输出的计算：

(1)初始权重的选择

神经网络的初始权重选择随机，并设置当前网络优化次数t＝1；

(2)输入网络训练样本

以由水样全光谱扫描曲线提取的多个特征波长吸光度A_λ为输入x，与输出水样的COD值y组成(x₁,y₁)，(x₂,y₂)，(x₃,y₃)……(x_n,y_n)；

(3)样本输出计算

采用常用的激活函数Sigmoid函数：

5.如权利要求1所述的基于紫外—可见光吸收光谱的COD在线监测方法，其特征在于，反向传播步骤是对样本t次训练后输出COD值与目标COD值进行比较，对各过程中的误差进行迭代计算，对网络训练进行判断，若误差在目标范围内则训练结束，建模成功，若误差超出目标范围内，则返回继续进行网络训练或者判断模型失败，重新建模。

6.如权利要求5所述的基于紫外—可见光吸收光谱的COD在线监测方法，其特征在于，反向传播步骤包括以下步骤：训练误差计算、误差判断、网络改进：

(1)训练误差计算

对建立的神经网络模型进行多次训练，网络模型训练总误差等于各样本误差平方和的一半，

设当前网络优化次数为t，每次为μ步，对N个样本进行t次训练后的总误差进行计算：

y_i为第i组样本经模型计算得到的COD输出值，为第i组样本目标COD值，即经国标法检测的COD值，N为样本总数；

误差Ε_t与连接权值W有关，也与输入样本和输出有关，根据以上误差Ε_t计算，存在一个ε使得否则继续进行训练；

(2)误差判断：

判断误差是否满足预先设置的条件，若满足则停止训练，模型建立成功；

若不满足预先设置的目标值，且t次优化的误差小于t-1次优化的误差(Ε_t≤Ε_t-1)，则增加网络优化步数，继续对模型进行训练，直至误差在接受范围内，继续训练的过程中，需要结合遗传算法进行优化，加速训练速度，提高收敛性；

若误差不满足预先设置的目标值，且t次优化的误差大于t-1次优化的误差(Ε_t＞Ε_t-1)，则此次模型建立失败，需要对模型进行重新建立，权值初始化。

经过正向传播与逆向传播的来回交替进行，提高了网络的精准程度，使模型得到记忆训练。

7.如权利要求1所述的基于紫外—可见光吸收光谱的COD在线监测方法，其特征在于，对神经网络改进：

考虑到BP算法的收敛性和震荡性，需要对算法进行改进，采用动量法在梯度下降算法的基础上引入动量因子α(0<α<1)，根据上一次权值变化进行下一次权值的调整，保持模型的修正在同一个方向；

Δw(k+1)＝w(k+1)-w(k)

k为迭代次数，η为步长。

遗传算法

包括以下步骤：

适应度计算：

适应度与误差平方和成反比，通过误差函数可确定遗传算法的适应度函数g(x)；

选择率计算：

样本适应值的差异非常大，最优个体与最差个体被选择的几率就会呈指数增长，最优的在下一代生存的几率将大大加强。选择较优的个体进行下一代生存；

交叉、变异选择。