CN105092493A - 一种基于水样类型识别的水体cod光学测量方法 - Google Patents

Abstract

本发明公开了一种基于水样类型识别的水体COD光学测量方法，通过水样识别模型识别被测水样的类型，所述水样识别模型由第一级神经网络、历史数据队列和第二级神经网络共同构成；识别被测水样的类型具体过程包括：将描述被测水样的吸光度曲线形貌特征的参数输入第一级神经网络进行识别，得到初次的识别结果和对应的历史数据因数；将得到的初次的识别结果和对应的历史数据因数输入第二级神经网络进行识别，得到最终的识别结果；确定被测水样的类型后，通过该水样类型的吸光度与COD的相关性模型得到COD测量结果；本发明通过建立两级神经网络，引入历史数据队列和第二级神经网络，可以大大提高整体的抗干扰能力，增强算法的鲁棒性和准确度。

Description

一种基于水样类型识别的水体COD光学测量方法

技术领域

本发明涉及水体有机物的测量技术，特别涉及一种基于水样类型识别的水体COD光学测量方法。

背景技术

近年来，水体污染事故频发，对人民的财产及生命安全产生了严重的威胁。部分不负责任的企业在污水排放环节缺乏监管，将工业废水排放至江河湖泊当中，破坏了生态环境。大量惨痛的案例为我们敲响警钟，提醒我们环境保护和水质安全的重要地位。近年来，国家也愈发重视环境保护问题，相继出台相关法规，对违法违规的污染环境行为进行严惩。

水体中的有机物污染检测是水质监测中一个重要的环节。水中的微生物在降解过程中会消耗水体中的氧气，影响水中其他生物的生存环境。情况严重时可能导致水中生物大量死亡，最终引起水环境的破坏。

化学需氧量(COD)是指在一定条件下，用强氧化剂处理水样时所消耗氧化剂的量。COD是评价水质污染程度的一项重要指标，主要反映水体中有机物的含量。目前常用的COD测量方法主要有物理法和化学法。化学法主要有重铬酸钾氧化法、库伦滴定法、比色法等，其中以重铬酸钾氧化法使用最多，该方法测量准确性高，但测量时间长，操作复杂，不适宜实时在线测量，而且容易产生二次污染。物理法主要采用紫外吸光度法(UV法)。UV法由于具有测量速度快、实时性好、免试剂、无污染等优势，而越来越被人们接受和采用。但是用物理参量表征水质化学指标的物理测量方法，在准确性和适用性方面存在一定的缺陷。

有机物污染物中普遍含有的声色团，如烯、炔、羟基、烃基、酰基等均在紫外光普范围内存在较为明显的特征吸收。由于不同生色团的特征波长不同，不同类型的水样的吸收光谱形貌有着较大的差异。实践证明，对于不同的稳定水样，通过确定其特征吸光度Auv并建立与COD的相关性模型，能获得较高的COD测量精度。即对于组分稳定的水体，紫外吸收的COD测量法具有较好的测量精度和稳定性。但是对于组分随生产工艺或产品而变化的水样，因紫外吸收光谱法的适应性和准确性不能保证而无法使用。

为了解决上述问题，有研究者提出了一种COD检测方法，公开号为CN101566612A的专利文献公开了一种污水化学需氧量软测量方法，该方法包括以下步骤：(1)获取训练样本水质参数；(2)对训练样本进行分类；(3)对应步骤(2)划分的各类训练样本，选择神经网络，建立神经网络模型；(4)用步骤(2)划分的各类训练样本训练支持向量机；(5)用步骤(2)划分得各类训练样本训练神经网络模型；(6)估算污水化学需氧量；该发明采用分类后进行神经网络模型培训，可以有效提高测量精度。

上述方法虽然一定程度上提高了测量精度，但是随着污水测量要求的提高，COD的测量精度和准确性需要进一步提高。

发明内容

本发明提供了一种基于水样类型识别的水体COD光学测量方法，通过建立可以高精度识别水样类型的神经网络模型，将被测水样精确分类，从而提高光学法测量COD的适应性和测量精度。

一种基于水样类型识别的水体COD光学测量方法，包括以下步骤：

(1)通过水样识别模型识别被测水样的类型；

建立所述水样识别模型包括以下步骤：

1-1、选取若干条已知水样类型的水样吸光度曲线作为第一训练集，第一训练集包括多种水样类型，每种水样类型对应多条水样吸光度曲线，以描述水样吸光度曲线形貌特征的参数作为输入元素，以对应已知的水样类型为输出元素，建立具有水样类型识别功能的第一级神经网络；

1-2、选取若干条已知分类的水样吸光度曲线作为第二训练集，第二训练集包括多种水样类型，每种水样类型对应至少5条水样吸光度曲线，利用所述第一级神经网络对第二训练集中的各水样进行水样类型识别，对于同一水样类型，利用第一级网络的识别结果构建储存至少5个识别结果的历史数据队列，当新的水样识别结果保存到历史数据队列中时，所述历史数据队列队尾弹出一位数据，队尾数据弹出后，将历史数据队列中的数据与预设的权值函数点乘求和，得到与新的水样识别结果对应的历史数据因数；

优选的，所述权值函数为归一化函数。经试验，上述过程采用归一化的y＝(e/2)^x函数作为权值函数，具有较好的效果。

1-3、以步骤1-2中得到的历史数据因数以及与其对应的水样识别结果作为输入参数，以对应已知的水样类型为输出元素，建立具有水样类型识别功能的第二级神经网络，所述第一级神经网络、历史数据队列和第二级神经网络共同构成水样识别模型；

识别被测水样的类型具体过程包括：

1-4、将描述被测水样的吸光度曲线形貌特征的参数输入第一级神经网络进行识别，得到初次的识别结果和对应的历史数据因数；

1-5、将得到的初次的识别结果和对应的历史数据因数输入第二级神经网络进行识别，得到最终的识别结果；

(2)确定被测水样的类型后，通过该水样类型的吸光度与COD的相关性模型得到COD测量结果。

本发明通过建立两级神经网络先对被测水样的类型进行识别，在确定水样类型后，根据水样类型不同调用不同的吸光度与COD的相关性模型，能够大大提高COD的测量准确度，改善以往光学法测量模型适应性不强的问题；同时，与单级神经网络识别方法相比，通过引入历史数据队列和第二级神经网络，可以大大提高水样识别算法整体的抗干扰能力，增强算法的鲁棒性和准确度。历史数据队列有一定的积分效果，当某次识别结果出现跳变时，并不会立即体现在历史因数当中，也不会立即影响最终的识别结果，而是在历史数据队列中暂时累积起来，起到一定的消除奇异点的效果，从而提高水样类型识别的准确性，进而提高后续COD的测量准确性。

水样吸光度曲线通过以下方式获得：

获得纯净水的光强光谱曲线及水样吸收光谱曲线数据，基于朗伯比尔定律，利用公式：计算水样吸光度曲线。其中I₀为初始光强，I为透射后光强，C是介质浓度，l是介质长度，K表示一个与浓度无关的系数。当介质中有多种有机物组分且不发生相互作用时，则其在某一光谱位置的吸光度可以表示为各单一组分在该波长下的吸收度之和。

为了提高测量的精度，优选的，步骤1-1和1-4中，获取描述水样吸光度曲线形貌特征的参数包括以下步骤：

1-1-1、获取水样吸光度曲线，进行预处理；

1-1-2、在预处理后的水样吸光度曲线中寻找220nm至350nm之间的3个吸收极值点，保存极值点对应的波长，其中极大值的波长用正值保存，极小值的波长用负值保存；同时计算这3个吸收极值点相邻峰谷间吸光度的相对差值，得到描述水样吸光度曲线形貌特征的5个参数，3个为吸收极值点所在的波长、2个为相邻吸收极值点之间的吸光度差值。

通过上述5个参数可以准确地描述水样吸光度曲线形貌特征，从而提高水样识别的精度。为了进一步优化参数，对上述参数进行坐标平移、归一化等处理。

为了使获取的参数能够更好地描述水样吸光度曲线，优选的，步骤1-1-1中，进行预处理的具体步骤为：

1-1-1-1、利用均值平滑算法去除水样吸光度曲线的噪声；

1-1-1-2、利用差分运算得到去除噪声后的水样吸光度曲线的差分函数；

1-1-1-3、利用均值平滑算法对差分函数进行二次平滑，得到预处理后的水样吸光度曲线；第二次平滑能够很好的去除差分曲线中细小的波动，即排除原始吸光度曲线中的局部极值，同时对整体的较为关键的波峰波谷没有影响。

人工神经网络(ANN，ArtificialNeuralNetworks)是以对大脑的生理研究成果为基础，由人工建立的以有向图为拓扑结构的动态系统。在众多神经网络模型中BP(Back-propagation)模型是较为常用的一种算法，常用的神经网络算法还包括径向基神经网络、自组织竞争神经网络、广义回归神经网络等。BP模型具有优良的非线性逼近能力。BP算法的实质是将一组输入输出问题转化为非线性映射问题，采用梯度下降算法迭代求解神经元间传递的权值，以此来训练第一级神经网络，使第一级神经网络具有良好的识别准确性，优选的，所述第一级神经网络采用BP模型。

训练过程应不断调整权值和阈值，使得神经网络的表现函数达到最小，BP网络学习规则要求对网络权值和阈值修正要沿着表现函数下降最快的方向，即负梯度方向进行。

BP网络训练步骤采用如下方法，初始化输入层、隐含层、输出层结点个数分别为n、l、m；初始化“输入层——隐含层”连接权值W_ij，以及“隐含层——输出层”连接权值W_jk；初始化输入层和输出层阈值a、b。当X为输入元素，Y为输出元素时，迭代更新权值过程如下式所述：

计算输入层：H_j＝f(∑W_ijX_i-a_j)i＝1,2,...,n；j＝1,2,....l

计算输出层：O_k＝∑H_jW_jk-b_kk＝1,2,3.....m

计算误差：e_k＝Y_k-O_kk＝1,2,3.....m

权值更新：W_ij＝W_ij+ηH_j(1-H_j)X_i∑W_jke_ki＝1,2,...,n；j＝1,2,....l

W_jk＝W_jk+ηH_je_kj＝1,2,....l；k＝1,2,3.....m

阈值更新：a_j＝a_j+ηH_j(1-H_j)∑W_jke_ki＝1,2,...,n；j＝1,2,....l

b_k＝b_k+e_kk＝1,2,3.....m

优选的，所述第二级神经网络采用BP模型。具体训练过程与第一级神经网络一致。

为了兼顾测量时效和准确性，优选的，步骤1-2中，每种水样类型对应至少15条水样吸光度曲线，以保证识别模型的可靠性。

为了兼顾测量时效和准确性，优选的，所述历史数据队列保存10个识别结果。

对应不同类型、具有不同吸光度曲线形貌的水样进行实验，通过化学方法测得水样的实际COD，以此来建立COD与吸光度的相关性模型，优选的，通过化学方法测得同一类型水样不同吸光度的多个样本的COD，并动态选取吸光度和COD拟合度高的光谱位置，进行吸光度和COD关系的拟合，得到该类型水样的相关性模型。

本发明的有益效果：

本发明通过建立两级神经网络先对被测水样的类型进行识别，在确定类型后再运用该类水样吸光度与COD的相关性模型得到COD测量结果，提高COD测量精度；与单级神经网络的识别方法相比，通过引入历史数据队列和第二级神经网络，可以大大提高水样识别算法整体的抗干扰能力，增强算法的鲁棒性和准确度。

附图说明

图1为本发明获取描述水样吸光度曲线形貌特征的参数的流程图。

图2为本发明获取描述水样吸光度曲线形貌特征的参数的示意图。

图3为本发明的BP神经网络的拓扑图。

图4为本发明的水样类型识别模型的识别流程图。

图5为本发明方法中初级识别结果和历史数据因数的对比图。

具体实施方式

本实施例的基于水样类型识别的水体COD光学测量方法，包括以下步骤：

(1)通过水样识别模型识别被测水样的类型；

建立所述水样识别模型包括以下步骤：

1-1、选取若干条已知水样类型的水样吸光度曲线作为第一训练集，第一训练集包括多种水样类型，每种水样类型对应多条水样吸光度曲线，以描述水样吸光度曲线形貌特征的参数作为输入元素，以对应已知的水样类型为输出元素，建立具有水样类型识别功能的第一级神经网络；

所述第一级神经网络采用BP模型，图3所示为BP神经网络应用示意图，本算法中以峰值位置和峰谷间差值作为第一级神经网络的输入参数，并以水样的正确识别结果作为神经网络的期望输出，采用梯度下降算法迭代求解神经元间传递的权值，进行神经网络的训练。

训练过程选取一组光谱数据作为训练集，训练样本包含输入向量P以及相应的期望输出向量T，训练过程应不断调整权值和阈值，使得神经网络的表现函数达到最小，BP网络学习规则要求对网络权值和阈值修正要沿着表现函数下降最快的方向，即负梯度方向进行。

获取描述水样吸光度曲线形貌特征的参数包括以下步骤，如图1所示：

1-1-1、获取水样吸光度曲线，进行预处理；

1-1-2、在预处理后的水样吸光度曲线中寻找220nm至350nm之间的3个吸收极值点，保存极值点对应的波长，其中极大值的波长用正值保存，极小值的波长用负值保存；同时计算这3个吸收极值点相邻峰谷间吸光度的相对差值，得到描述水样吸光度曲线形貌特征的5个参数，3个为吸收极值点所在的波长、2个为相邻吸收极值点之间的吸光度差值。

通过上述5个参数可以准确地描述水样吸光度曲线形貌特征，从而提高测量的精度。为了进一步优化参数，对上述参数进行坐标平移、归一化等处理。

步骤1-1-1中，进行预处理的具体步骤为：

1-1-1-1、利用均值平滑算法去除水样吸光度曲线的噪声；

1-1-1-2、利用差分运算得到去除噪声后的水样吸光度曲线的差分函数；

1-1-1-3、利用均值平滑算法对差分函数进行二次平滑，得到预处理后的水样吸光度曲线；第二次平滑能够很好的去除差分曲线中细小的波动，即排除原始吸光度曲线中的局部极值，同时对整体的较为关键的波峰波谷没有影响。

1-2、选取若干条已知分类的水样吸光度曲线作为第二训练集，第二训练集包括多种水样类型，每种水样类型对应20条水样吸光度曲线，利用所述第一级神经网络对第二训练集中的各水样进行水样类型识别，对于同一水样类型，利用第一级网络的识别结果构建储存10个识别结果的历史数据队列，当新的水样识别结果保存到历史数据队列中时，所述历史数据队列队尾弹出一位数据，队尾数据弹出后，将历史数据队列中的数据与预设的归一化权值函数点乘求和，得到与新的水样识别结果对应的历史数据因数；

1-3、以步骤1-2中得到的历史数据因数以及与其对应的水样识别结果作为输入参数，以对应已知的水样类型为输出元素，建立具有水样类型识别功能的第二级神经网络，所述第一级神经网络、历史数据队列和第二级神经网络共同构成水样识别模型；

如图4所示，识别被测水样的类型具体过程包括：

1-4、将描述被测水样的吸光度曲线形貌特征的参数输入第一级神经网络(第一级)进行识别，得到初次的识别结果和对应的历史数据因数；

获取参数的方式与步骤1-1相同，得到的结果如图2所示，得到的参数矩阵为[36-5875-0.25480.1991]。

1-5、将得到的初次的识别结果和对应的历史数据因数输入第二级神经网络(第二级)进行识别，得到最终的识别结果；

(2)通过化学方法测得具有同一水样类型不同吸光度的多个水样的COD，并动态选取吸光度和COD拟合度高的光谱位置，进行吸光度和COD关系的拟合，得到该水样类型的相关性模型，通过步骤(1)确定被测水样的类型后，通过该水样类型的吸光度与COD的相关性模型得到COD测量结果。

历史数据队列有一定的积分效果，当某次识别结果出现跳变时，并不会立即体现在历史因数当中，也不会立即影响最终的识别结果，而是在历史数据队列中暂时累积起来，起到一定的消除奇异点的效果，从而提高识别水样类型的准确性，进而提高后续COD的检测准确性。

如图5所示，采用若干条已知水样类型的吸光度曲线作为算法的测试集，对算法进行测试。纵坐标为识别结果，其取值为(-1，1)之间的小数，表征待测水样是否为本识别网络训练所用的水样种类。横坐标表征进行的测试次数。测试采用三种不同类型的水样光谱曲线交替测试。可以看出，在仅使用一级神经网络的算法时，该神经网络基本可以完成水样种类的判别工作，能够对交替变换输入的水样类型进行正确的判断。但通过观察可以发现，在识别过程中由于神经网络算法本身的缺陷和水样光谱曲线的微扰变化导致识别结果有3次错误。而引入历史参数作为参考后，识别结果能够排除某次外界因素导致的干扰而维持识别的正确性。可见，通过引入历史参数作为参考后，本方法具有消除奇异预测数据方面的能力，与单级神经网络的识别算法相比，本算法结构援引历史数据，以不等权加和产生的历史数据因数作为最终识别结果的参考，能够显著提高整体算法的性能。

综上所述，本发明方法通过建立两级神经网络先对被测水样的类型进行检测，在确定类型后通过吸光度与COD的相关性模型得到COD测量结果，能获得较高的COD测量精度，并且水样识别后根据水样种类不同调用不同的相关性模型，能够大大提高整体的测量准确度，改善以往测量法中测量模型适应性不强的问题；同时，与单级神经网络识别方法相比，通过引入历史数据队列和第二级神经网络，可以大大提高算法整体的抗干扰能力，增强算法的鲁棒性和准确度。

Claims (9)

1.一种基于水样类型识别的水体COD光学测量方法，其特征在于，包括以下步骤：

(1)通过水样识别模型识别被测水样的类型；

建立所述水样识别模型包括以下步骤：

1-1、选取若干条已知水样类型的水样吸光度曲线作为第一训练集，第一训练集包括多种水样类型，每种水样类型对应多条水样吸光度曲线，以描述水样吸光度曲线形貌特征的参数作为输入元素，以对应已知的水样类型为输出元素，建立具有水样类型识别功能的第一级神经网络；

1-2、选取若干条已知分类的水样吸光度曲线作为第二训练集，第二训练集包括多种水样类型，每种水样类型对应至少5条水样吸光度曲线，利用所述第一级神经网络对第二训练集中的各水样进行水样类型识别，对于同一水样类型，利用第一级网络的识别结果构建储存至少5个识别结果的历史数据队列，当新的水样识别结果保存到历史数据队列中时，所述历史数据队列队尾弹出一位数据，队尾数据弹出后，将历史数据队列中的数据与预设的权值函数点乘求和，得到与新的水样识别结果对应的历史数据因数；

1-3、以步骤1-2中得到的历史数据因数以及与其对应的水样识别结果作为输入参数，以对应已知的水样类型为输出元素，建立具有水样类型识别功能的第二级神经网络，所述第一级神经网络、历史数据队列和第二级神经网络共同构成水样识别模型；

识别被测水样的类型具体过程包括：

1-4、将描述被测水样的吸光度曲线形貌特征的参数输入第一级神经网络进行识别，得到初次的识别结果和对应的历史数据因数；

1-5、将得到的初次的识别结果和对应的历史数据因数输入第二级神经网络进行识别，得到最终的识别结果；

(2)确定被测水样的类型后，通过该水样类型的吸光度与COD的相关性模型得到COD测量结果。

2.如权利要求1所述的基于水样类型识别的水体COD光学测量方法，其特征在于，步骤1-1和1-4中，获取描述水样吸光度曲线形貌特征的参数包括以下步骤：

1-1-1、获取水样吸光度曲线，进行预处理；

1-1-2、在预处理后的水样吸光度曲线中寻找220nm至350nm之间的3个吸收极值点，保存极值点对应的波长，其中极大值的波长用正值保存，极小值的波长用负值保存；同时计算这3个吸收极值点相邻峰谷间吸光度的相对差值，得到描述水样吸光度曲线形貌特征的5个参数，3个为吸收极值点所在的波长、2个为相邻吸收极值点之间的吸光度差值。

3.如权利要求2所述的基于水样类型识别的水体COD光学测量方法，其特征在于，步骤1-1-1中，进行预处理的具体步骤为：

1-1-1-1、利用均值平滑算法去除水样吸光度曲线的噪声；

1-1-1-2、利用差分运算得到去除噪声后的水样吸光度曲线的差分函数；

1-1-1-3、利用均值平滑算法对差分函数进行二次平滑，得到预处理后的水样吸光度曲线。

4.如权利要求1～3任一权利要求所述的基于水样类型识别的水体COD光学测量方法，其特征在于，所述第一级神经网络采用BP模型。

5.如权利要求1～3任一权利要求所述的基于水样类型识别的水体COD光学测量方法，其特征在于，所述第二级神经网络采用BP模型。

6.如权利要求1～3任一权利要求所述的基于水样类型识别的水体COD光学测量方法，其特征在于，步骤1-2中，每种水样类型对应至少15条水样吸光度曲线。

7.如权利要求6所述的基于水样类型识别的水体COD光学测量方法，其特征在于，所述历史数据队列保存10个识别结果。

8.如权利要求1～3任一权利要求所述的基于水样类型识别的水体COD光学测量方法，其特征在于，通过化学方法测得同一类型水样不同吸光度的多个样本的COD，并动态选取吸光度和COD拟合度高的光谱位置，进行吸光度和COD关系的拟合，得到该类型水样的相关性模型。

9.如权利要求1～3任一权利要求所述的基于水样类型识别的水体COD光学测量方法，其特征在于，步骤1-2中，所述权值函数为归一化函数。