CN115165770A - 基于宽光谱及bpnn的水体cod与浊度同时检测方法 - Google Patents
基于宽光谱及bpnn的水体cod与浊度同时检测方法 Download PDFInfo
- Publication number
- CN115165770A CN115165770A CN202210785361.6A CN202210785361A CN115165770A CN 115165770 A CN115165770 A CN 115165770A CN 202210785361 A CN202210785361 A CN 202210785361A CN 115165770 A CN115165770 A CN 115165770A
- Authority
- CN
- China
- Prior art keywords
- turbidity
- cod
- bpnn
- layer
- hidden layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title claims description 4
- 239000000126 substance Substances 0.000 title description 8
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 title description 4
- 239000001301 oxygen Substances 0.000 title description 4
- 229910052760 oxygen Inorganic materials 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000005259 measurement Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000002835 absorbance Methods 0.000 claims abstract description 14
- 239000011259 mixed solution Substances 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 9
- 210000002569 neuron Anatomy 0.000 claims description 66
- 239000011159 matrix material Substances 0.000 claims description 33
- 239000000243 solution Substances 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 23
- 238000001228 spectrum Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 239000000523 sample Substances 0.000 claims description 10
- 230000009977 dual effect Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007654 immersion Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 2
- 238000000862 absorption spectrum Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000011056 performance test Methods 0.000 abstract 1
- 239000012086 standard solution Substances 0.000 description 7
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 239000002245 particle Substances 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- KMUONIBRACKNSN-UHFFFAOYSA-N potassium dichromate Chemical compound [K+].[K+].[O-][Cr](=O)(=O)O[Cr]([O-])(=O)=O KMUONIBRACKNSN-UHFFFAOYSA-N 0.000 description 2
- IWZKICVEHNUQTL-UHFFFAOYSA-M potassium hydrogen phthalate Chemical compound [K+].OC(=O)C1=CC=CC=C1C([O-])=O IWZKICVEHNUQTL-UHFFFAOYSA-M 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000002798 spectrophotometry method Methods 0.000 description 2
- 238000003911 water pollution Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000004224 UV/Vis absorption spectrophotometry Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000008239 natural water Substances 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000004448 titration Methods 0.000 description 1
- 238000000870 ultraviolet spectroscopy Methods 0.000 description 1
- 238000001392 ultraviolet--visible--near infrared spectroscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/3103—Atomic absorption analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于宽光谱及BPNN的水体COD与浊度同时检测方法。通过采集不同浓度配比的COD以及浊度混合溶液的吸收光谱，建立了一系列数据集，并对数据集进行科学的划分。该方法构建了基于宽光谱的BPNN模型，使用训练集中240‑1040nm波长范围的吸光度作为输入指标，COD和浊度的实际值为输出指标，并采用改进的随机梯度下降算法对BPNN模型进行训练；再使用验证集数据对BPNN模型的性能进行评估；最后通过使用测试集的数据对训练好的BPNN模型进行性能测试。结果表明，该方法不仅可以消除浊度对COD准确测量的干扰，而且还可以同时实现对浊度本身的准确测量，在水质在线监测领域具有广阔的应用前景。
Description
技术领域
本发明涉及水环境质量在线监测领域，特别涉及一种基于宽光谱及BPNN的水体COD与浊度同时检测方法。
背景技术
在环境保护越来越受重视的今天，判断水体污染程度的前提就是要准确、快速地测定水质参数，同时还要尽可能地节省成本实现在线测量。水体污染程度的两个重要评价指标就是化学需氧量(COD)和浊度。
对于COD的测定，传统的方法主要包括重铬酸钾滴定法和快速消解分光光度法。虽然这两种方法的测量范围广、准确度较高和重现性好，但对试剂的消耗大、二次污染大、测量周期长，不适合在线和实时检测。近年来，紫外-可见光谱法被广泛应用在了实时环境监测上。该方法操作简单，分析速度快，分辨率高，稳定性好，不受pH和温度的影响。虽然UV-Vis吸收光谱法测量COD的优点非常多，但同样也存在一些问题尚待解决：比如在天然水体中会存在大量悬浮固体颗粒，这些粒子引起的光散射会破坏Lambert-Beer定律的适用性，严重影响模型精度。在实际测量COD时，会发现浊度与COD的光谱会有重叠干扰部分，非常不利于对COD的准确测定。目前针对这一问题，多采用多元散射校正的方法来消除浊度的影响，但这一方法只是补偿了浊度引起的散射光谱，将浊度视作干扰物质，无法实现同时测量水体COD与浊度。
对于浊度，通常使用不同的照明角度来测量光通过样品的散射和透射率，并将这些读数转换为基于标准浊度单位(NTU)的测量值。也就是通过测量溶液中的颗粒对光的散射和吸收来量化水的浊度。但是这种方法并不适合作为在线测量，并且容易受到溶液中其他物质的影响，结果不够准确。
总之，目前对于解决COD与浊度吸收光谱交叉干扰的方法还不够成熟。难以做到同时对水体的COD以及浊度进行同时测量。随着人工神经网络(ANN)的发展，多项研究证明了人工神经网络在预测水质参数方面的可行性，但是，利用人工神经网络的光谱法同时测量COD和浊度的研究还很缺乏。例如中国专利CN 113433086 A公开了一种模糊神经网络结合分光光度法预测水质COD的方法，使用多参数水质测定仪和便携式温度pH测定仪测量湖泊水质的COD、总磷、总氮、氨氮、高锰酸盐指数、温度、pH这七种参数，利用其中与COD相关性高的五种水质参数作为神经网络输入，以此来预测湖泊水质COD。然而由于该方法至少需要测量与水体COD相关的五种水质指标，并且测试耗时较长，所以难以实现快速在线测量。更重要的是，该方法不能同时对水体质量另一个重要指标——浊度进行准确的快速测量。
发明内容
为实现水体COD以及浊度同时、准确、快速地测量，本发明提供了一种基于宽光谱及BPNN(Back Propagation Neural Network,后向传播神经网络)的水体COD与浊度同时检测方法。该方法不仅可以去除浊度对准确测量水体COD的影响，同时还能实现浊度自身的准确测量，相较于传统的紫外-可见-近红外光谱法，本发明提出的方法解决了浊度与COD的光谱有重叠干扰的问题，显著地提高了同时测定水体COD与浊度的测量精度。
本发明的目的通过以下技术方案实现。
一种基于宽光谱及BPNN的水体COD与浊度同时检测方法，包括以下步骤：
步骤1：配置不同浓度配比的COD与浊度混合溶液，使用光谱采集系统获取混合溶液的240-1040nm吸光度；
步骤2：建立包含不同浓度配比的COD与浊度混合溶液的数据库，并采用Python对数据集进行无放回随机采样，将数据库中的样本分为训练集数据、验证集数据和测试集数据；
步骤3：建立BPNN模型，使用训练集数据并采用改进的梯度下降算法对BPNN模型进行训练调参，使得训练集损失函数值最小；
步骤4：使用验证集数据对BPNN模型的性能进行评估，根据得到的损失函数MSE以及MAE(平均绝对误差)对BPNN模型的结构进行调整，使得BPNN模型不陷入过拟合或者欠拟合；
步骤5：使用测试集数据中原始吸光度作为训练调参后的BPNN模型的输入，同时得到COD以及浊度的预测值，分别比较真实值与预测值的误差。
进一步的，步骤1中，获取混合溶液吸光度的具体过程如下：在测量过程中使用的浸入式光纤探头光程为20mm，在光谱采集软件中设置的积分时间为10ms，测量的光谱波长范围为240-1040nm，平均次数为100次，并计算光谱平均值。
进一步的，步骤2中，按照24:2:1的特定比例将数据库中的样本划分为训练集数据、验证集数据和测试集数据。
进一步的，步骤3中，所建立的BPNN模型为三层结构，包含输入层，双隐藏层以及输出层。其中输入层包含800个神经元，双隐藏层中的第一隐藏层包含240个神经元，双隐藏层中的第二隐藏层包含80个神经元，输出层包含2个神经元。
进一步地，步骤3中，训练集数据的240-1040nm吸光度作为输入，COD以及浊度的实际值作为输出。
进一步的，步骤3中，改进的梯度下降算法的具体步骤如下：
本发明中对各参数的定义依照如下规定：小写字母表示的是参数值，大写字母则表示对应的参数矩阵。
步骤1：初始化BPNN模型的所有参数，主要包括如下：BPNN的双隐藏层神经元全部设置为Relu函数，记为fR；输出层神经元设置为Linear函数，记为fL；神经网络的学习率η、连接权重w、偏置b全都设置为(0,1)之间的随机数；停止误差S不超过真实值的1％。
步骤2：使用多组数据同时对BPNN进行前向传播计算，得到COD与浊度的预测值；使用240-1040nm间隔1nm的吸光度作为输入，记为矩阵
其中
表示输入层第j个神经元接收到的数据；输出的COD与浊度预测值记为矩阵
其中
表示输出层COD的预测值，
表示输出层浊度的预测值；COD与浊度真实值记为矩阵
其中
表示溶液COD的真实值，
表示溶液浊度的真实值。BPNN的可调参数矩阵设置如下：
式中，W[1]、W[2]、W[3]分别表示第一隐藏层、第二隐藏层、输出层的权重矩阵；B[1]、B[2]、B[3]分别表示第一隐藏层、第二隐藏层、输出层的偏置向量；
表示第一隐藏层第j个神经元连接输入层第k个神经元的权重；
表示第二隐藏层第j个神经元连接第一隐藏层第k个神经元的权重；
和
分别表示输出层第1个神经元和第2个神经连接第二隐藏层第k个神经元的权重；
和
表示第一隐藏层和第二隐藏层第j个神经元的偏置；
和
分别表示输出层第1个神经元和第2个神经元的偏置。
那么前向传播过程可以简化如下式：
式中，Y[0]、Y[1]、Y[2]分别表示输入层、第一隐藏层、第二隐藏层的输出值，
表示输出层的COD与浊度预测值矩阵。
步骤3：计算反向传播的误差梯度，并利用反向传播的误差梯度矩阵依次计算输出层、第二隐藏层以及第一隐藏层的权重参数矩阵W和偏置参数矩阵B的更新率，并朝着梯度的下降方向更新参数。其中神经网络采用可变学习率策略，即每进行100次迭代计算过程后，将前一次的学习率η都减小为原来的一半：
式中，B[i]表示第i层偏置向量，W[i]表示第i层权重矩阵，E[i]表示第i层误差矩阵，Y[i-1]表示第i-1层输出矩阵，其中i＝1,2,3，分别表示第一隐藏层、第二隐藏层、输出层。
步骤4：选择COD与浊度的预测值与实际值之间的损失函数MSE，记为
式中，Ya、Yp分别表示真实值以及预测值，n表示反向传播数据量。若损失函数值小于停止误差S，则完成模型的训练过程，否则继续进行步骤3的误差反向传播过程，直至损失函数值小于停止误差S。使用
表示网络中第i层第j个神经元的误差梯度，依次反向计算BPNN输出层、第二隐藏层以及第一隐藏层的误差梯度矩阵：
式中，E[1]、E[2]、E[3]分别表示第一隐藏层、第二隐藏层、输出层的误差梯度矩阵；X[1]、X[2]、X[3]分别表示第一隐藏层、第二隐藏层、输出层的输入数据矩阵；
表示网络中第一隐藏层的第j个神经元的误差梯度；
表示网络中第二隐藏层的第j个神经元的误差梯度；
和
分别表示输出层第1个神经元和第2个神经元的误差梯度。
和现有技术相比，本发明所述的方法具有以下有益效果和优点：
本发明通过建立宽光谱、COD和浊度数据库，并对BP神经网络进行优化，增强了对于COD和浊度干扰光谱的非线性关系的拟合，可以实现在不补偿浊度的情况下，用一条光谱同时对COD和浊度进行准确测量。利用本发明的方法同时对水体COD和浊度进行测量，COD以及浊度测量精度分别达到0.25mg/L以及0.5NTU，误差不超过1％。在一定程度上，本发明提供的方法为在全光谱中同时、准确和快速地检测具有光谱交叉干扰性的多种水质参数提供了新的思路，不仅可以消除浊度对COD准确测量的干扰，而且还可以同时实现对浊度本身的准确测量，在水质在线监测领域具有广阔的应用前景。
附图说明
图1为本发明中构建的BPNN模型拓扑结构图。
图2为本发明中BPNN(a)训练和(b)验证过程中重要参数变化图。
图3为本发明中BPNN模型对混合水样中(a)COD和(b)浊度的测试结果图，以及(c)COD和(d)浊度的预测值与实际值的拟合关系图。
具体实施方式
以下结合具体实施例和附图对本发明的具体实施作进一步说明，但本发明的实施不限于此。
实施例1
本实施例提供了一种数据集的构建过程，介绍了COD和浊度的标准溶液以及混合溶液的配置方式，步骤如下：
步骤1：使用纯水以及COD和浊度化学标准溶液制备和稀释溶液。其中COD标准溶液主要成分为邻苯二甲酸氢钾，浊度标准溶液主要成分为福尔马肼。将400NTU的浊度溶液用纯水稀释，间隔1NTU制备出浓度范围1-100NTU的100组浊度溶液。此外，将100mg/L的COD溶液用纯水稀释，间隔0.5mg/L制备出浓度范围0.5-50mg/L的100组COD溶液，如表1所示。
表1：标准水样的COD和浊度的各自配置
步骤2：制备出浓度范围1-50mg/L间隔1mg/L的50组COD溶液以及浓度范围2-100NTU间隔2NTU的50组浊度溶液。并按照表2先后将不同浓度的浊度溶液与COD溶液混合，得到2500种不同浓度配比的COD与浊度混合溶液。使用光谱采集系统对得到的共计2700组水样进行了240-1040nm波长处的吸收光谱测试。在测量过程中，使用的浸入式光纤探头光程为20mm，积分时间为10ms，光谱波长范围为240-1040nm，平均次数为100次。并计算光谱平均值。
表2：混合水样的COD和浊度配置
步骤3：建立包含不同浓度配比的COD与浊度混合溶液的数据库，采用Python对数据集进行无放回随机采样。对于实验得到的总共2700组溶液数据，为尽可能保证更多的数据参与模型的训练调参，测试集不需要特别大，设定的训练集、验证集、测试集的划分比例为24:2:1。其中，COD值数学统计特征如表3所示，浊度值数学统计特征如表4所示。可以看到，各个数据集的数据分布都比较分散，且基本均匀分布在整个浓度区间，符合训练集、验证集和测试集的数据划分要求，为模型的准确构建创造了前提条件。
表3：各数据集中COD的数学统计特征
表4：各数据集中浊度的数学统计特征
实施例2
本实施例提供了一种改进的COD和浊度的误差梯度下降策略，介绍了利用BPNN的权重参数和偏置参数的更新过程，步骤如下：
步骤1：初始化BPNN模型的所有参数，主要包括如下：BPNN的双隐藏层神经元全部设置为Relu函数，记为fR；输出层神经元设置为Linear函数，记为fL；神经网络的学习率η、连接权重w、偏置b全都设置为(0,1)之间的随机数；停止误差S不超过真实值的1％。
步骤2：使用20组数据对BPNN分别进行20次前向传播计算，得到COD与浊度的预测值。其中，使用240-1040nm间隔1nm的吸光度作为输入，记为矩阵
其中
表示输入层第j个神经元接收到的数据；输出的COD与浊度预测值记为矩阵
其中
表示输出层COD的预测值，
表示输出层浊度的预测值；COD与浊度真实值记为矩阵
其中
表示溶液COD的真实值，
表示溶液浊度的真实值。BPNN的可调参数矩阵设置如下：
式中，W[1]、W[2]、W[3]分别表示第一隐藏层、第二隐藏层、输出层的权重矩阵；B[1]、B[2]、B[3]分别表示第一隐藏层、第二隐藏层、输出层的偏置向量；
表示第一隐藏层第j个神经元连接输入层第k个神经元的权重；
表示第二隐藏层第j个神经元连接第一隐藏层第k个神经元的权重；
和
分别表示输出层第1个神经元和第2个神经连接第二隐藏层第k个神经元的权重；
和
表示第一隐藏层和第二隐藏层第j个神经元的偏置；
和
分别表示输出层第1个神经元和第2个神经元的偏置。
那么前向传播过程可以简化如下式：
式中，Y[0]、Y[1]、Y[2]分别表示输入层、第一隐藏层、第二隐藏层的输出值，
表示输出层的COD与浊度预测值矩阵。
步骤3：计算反向传播的误差梯度，并利用反向传播的误差梯度矩阵依次计算输出层、第二隐藏层以及第一隐藏层的权重参数矩阵W和偏置参数矩阵B的更新率，并朝着梯度的下降方向更新参数。其中神经网络采用可变学习率策略，即每进行100次迭代计算过程后，将前一次的学习率η都减小为原来的一半：
式中，B[i]表示第i层偏置向量，W[i]表示第i层权重矩阵，E[i]表示第i层误差矩阵，Y[i-1]表示第i-1层输出矩阵，其中i＝1,2,3，分别表示第一隐藏层、第二隐藏层、输出层。
步骤4：选择COD与浊度的预测值与实际值之间的损失函数MSE，记为
式中，Ya、Yp分别表示真实值以及预测值，n表示反向传播数据量。若损失函数值小于停止误差S，则完成模型的训练过程，否则继续进行步骤3的误差反向传播过程，直至损失函数值小于停止误差S。使用
表示网络中第i层第j个神经元的误差梯度，依次反向计算BPNN输出层、第二隐藏层以及第一隐藏层的误差梯度矩阵：
式中，E[1]、E[2]、E[3]分别表示第一隐藏层、第二隐藏层、输出层的误差梯度矩阵；X[1]、X[2]、X[3]分别表示第一隐藏层、第二隐藏层、输出层的输入数据矩阵；
表示网络中第一隐藏层的第j个神经元的误差梯度；
表示网络中第二隐藏层的第j个神经元的误差梯度；
和
分别表示输出层第1个神经元和第2个神经元的误差梯度。
在这一过程中各训练参数变化如图2的(a)和(b)所示，损失函数MSE(均方误差)以及MAE(平均绝对误差)分别降到了1.976与0.193，说明BPNN模型成功完成了训练调参。
实施例3
本实施例提供了一种基于宽光谱及BPNN的水体COD与浊度同时检测方法，介绍了利用BPNN的正向传播同时得到水样COD以及浊度的过程，步骤如下：
步骤1：使用纯水以及COD和浊度化学标准溶液制备和稀释溶液。其中COD标准溶液主要成分为邻苯二甲酸氢钾，浊度标准溶液主要成分为福尔马肼。将400NTU的浊度溶液用纯水稀释，间隔1NTU制备出浓度范围1-100NTU的100组浊度溶液。此外，将100mg/L的COD溶液用纯水稀释，间隔0.5mg/L制备出浓度范围0.5-50mg/L的100组COD溶液。
步骤2：按照实施例1的数据集构建过程建立包含不同浓度配比的COD与浊度混合溶液的数据库，采用Python对数据集进行无放回随机采样。对于实验得到的总共2700组溶液数据，设定的训练集、验证集、测试集的划分比例为24:2:1。其中，COD值数学统计特征如表3所示，浊度值数学统计特征如表4所示。可以看到，各个数据集的数据分布都比较分散，且基本均匀分布在整个浓度区间，符合训练集、验证集和测试集的数据划分要求，为模型的准确构建创造了前提条件。
步骤3：建立如图1所示的BPNN模型，包含输入层，双隐藏层以及输出层。其中输入层包含800个神经元，双隐藏层中的第一隐藏层包含240个神经元，双隐藏层中的第二隐藏层包含80个神经元，输出层包含2个神经元。其中训练集的240-1040nm吸光度作为输入，COD以及浊度的实际值作为输出。并使用实施例2的改进梯度下降算法对BPNN模型进行训练调参，在这一过程中各训练参数变化如图2所示，训练集损失函数MSE(均方误差)以及MAE(平均绝对误差)分别降到了1.976与0.193，说明BPNN模型成功完成了训练调参。
步骤4：使用验证集数据对BPNN模型的性能进行评估，在图2中可以看出验证集损失函数值下降到了0.103，MAE值下降到了0.218，选取的BPNN模型成功的避免陷入过拟合或者欠拟合。
步骤5：使用测试集数据中100组混合水样的原始吸光度作为训练调参后的BPNN模型的输入，依次对训练后的BPNN模型进行100次测试。各组混合水样的COD和浊度测试结果分别如图3中的(a)和(b)所示。可以看出，在测试集中，溶液的COD和浊度几乎呈随机分布，这样的测试集数据可以很好地验证BPNN模型的适用性。更重要的是，COD和浊度的预测值与实际值大小几乎吻合，具有很好的准确性。为了定量分析精度，COD和浊度预测值与实际值的拟合关系分别如图3中的(c)和(d)所示，模型的线性相关系数在0.9995以上，COD和浊度预测值与实际值的RMSE(均方根误差)分别为0.19081mg/L和0.33562NTU。
本实施例通过训练超过211万个可调参数，再加上Relu激活函数的连续迭代计算，BPNN为模型添加了丰富的非线性因素。实现了在复杂的交叉干涉光谱中获取混合水样的COD和浊度相关信息。通过训练后的BPNN模型，不仅可以消除浊度的影响，实现对COD的准确预测，而且还可以对浊度本身进行准确预测，而无需对水样的吸收光谱进行处理。
以上所述，仅为本发明的较佳实施例而已，并非对本发明做任何形式上的限定。凡本领域的技术人员利用本发明的技术方案对上述实施例作出的任何等同的变动、修饰或演变等，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，包括以下步骤：
步骤1：配置不同浓度配比的COD与浊度混合溶液，使用光谱采集系统获取混合溶液的240-1040nm吸光度；
步骤2：建立包含不同浓度配比的COD与浊度混合溶液的数据库，并采用Python对数据集进行无放回随机采样，将数据库中的样本分为训练集数据、验证集数据和测试集数据；
步骤3：建立BPNN模型，使用训练集数据并采用改进的梯度下降算法对BPNN模型进行训练调参，使得训练集损失函数值最小；
步骤4：使用验证集数据对BPNN模型的性能进行评估，根据得到的损失函数MSE以及MAE对BPNN模型的结构进行调整，使得BPNN模型不陷入过拟合或者欠拟合；
步骤5：使用测试集数据中原始吸光度作为训练调参后的BPNN模型的输入，同时得到COD以及浊度的预测值，分别比较真实值与预测值的误差。
2.根据权利要求1所述的基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，步骤1中，获取混合溶液吸光度的具体过程如下：在测量过程中使用的浸入式光纤探头光程为20mm，在光谱采集软件中设置的积分时间为10ms，测量的光谱波长范围为240-1040nm，平均次数为100次，并计算光谱平均值。
3.根据权利要求1所述的基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，步骤2中，按照24:2:1的特定比例将数据库中的样本划分为训练集数据、验证集数据和测试集数据。
4.根据权利要求1所述的基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，步骤3中，所建立的BPNN模型为三层结构，包含输入层，双隐藏层以及输出层；其中输入层包含800个神经元，双隐藏层中的第一隐藏层包含240个神经元，双隐藏层中的第二隐藏层包含80个神经元，输出层包含2个神经元。
5.根据权利要求1所述的基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，步骤3中，训练集数据的240-1040nm吸光度作为输入，COD以及浊度的实际值作为输出。
6.根据权利要求1所述的基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，步骤3中，改进的梯度下降算法的具体步骤如下：
步骤1：初始化BPNN模型的所有参数，主要包括如下：BPNN的双隐藏层神经元全部设置为Relu函数，记为fR；输出层神经元设置为Linear函数，记为fL；神经网络的学习率η、连接权重w、偏置b全都设置为(0,1)之间的随机数；停止误差S不超过真实值的1％；
步骤2：使用多组数据同时对BPNN进行前向传播计算，得到COD与浊度的预测值；使用240-1040nm间隔1nm的吸光度作为输入，记为矩阵
其中
表示输入层第j个神经元接收到的数据；输出的COD与浊度预测值记为矩阵
其中
表示输出层COD的预测值，
表示输出层浊度的预测值；COD与浊度真实值记为矩阵
其中
表示溶液COD的真实值，
表示溶液浊度的真实值；
步骤3：计算反向传播的误差梯度，并利用反向传播的误差梯度矩阵依次计算输出层、第二隐藏层以及第一隐藏层的权重参数矩阵W和偏置参数矩阵B的更新率，改变神经网络的学习率，朝着梯度的下降方向更新参数；
步骤4：选择COD与浊度的预测值与实际值之间的损失函数MSE，记为
式中，Ya、Yp分别表示真实值以及预测值，n表示反向传播数据量；若损失函数值小于停止误差S，则完成模型的训练过程，否则继续进行步骤3的误差反向传播过程，直至损失函数值小于停止误差S。
7.根据权利要求6所述的基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，步骤2中，BPNN的可调参数矩阵设置如下：
式中，W[1]、W[2]、W[3]分别表示第一隐藏层、第二隐藏层、输出层的权重矩阵；B[1]、B[2]、B[3]分别表示第一隐藏层、第二隐藏层、输出层的偏置向量；
表示第一隐藏层第j个神经元连接输入层第k个神经元的权重；
表示第二隐藏层第j个神经元连接第一隐藏层第k个神经元的权重；
和
分别表示输出层第1个神经元和第2个神经连接第二隐藏层第k个神经元的权重；
和
表示第一隐藏层和第二隐藏层第j个神经元的偏置；
和
分别表示输出层第1个神经元和第2个神经元的偏置；
那么前向传播过程可以简化如下式：
式中，Y[0]、Y[1]、Y[2]分别表示输入层、第一隐藏层、第二隐藏层的输出值，
表示输出层的COD与浊度预测值矩阵。
8.根据权利要求6所述的基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，步骤3中，神经网络采用可变学习率策略，即每进行100次迭代计算过程后，将前一次的学习率η都减小为原来的一半：
式中，B[i]表示第i层偏置向量，W[i]表示第i层权重矩阵，E[i]表示第i层误差矩阵，Y[i-1]表示第i-1层输出矩阵，其中i＝1,2,3，分别表示第一隐藏层、第二隐藏层、输出层。
9.根据权利要求6所述的基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，步骤4中，使用
表示网络中第i层的第j个神经元的误差梯度，依次反向计算BPNN输出层、第二隐藏层以及第一隐藏层的误差梯度矩阵：
式中，E[1]、E[2]、E[3]分别表示第一隐藏层、第二隐藏层、输出层的误差梯度矩阵；X[1]、X[2]、X[3]分别表示第一隐藏层、第二隐藏层、输出层的输入数据矩阵；
表示网络中第一隐藏层的第j个神经元的误差梯度；
表示网络中第二隐藏层的第j个神经元的误差梯度；
和
分别表示输出层第1个神经元和第2个神经元的误差梯度。
10.根据权利要求1-9任一项所述的基于宽光谱及BPNN的水体COD与浊度同时检测方法，其特征在于，COD以及浊度测量精度分别达到0.25mg/L以及0.5NTU，误差不超过1％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210785361.6A CN115165770B (zh) | 2022-07-05 | 2022-07-05 | 基于宽光谱及bpnn的水体cod与浊度同时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210785361.6A CN115165770B (zh) | 2022-07-05 | 2022-07-05 | 基于宽光谱及bpnn的水体cod与浊度同时检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115165770A true CN115165770A (zh) | 2022-10-11 |
| CN115165770B CN115165770B (zh) | 2024-03-19 |
Family
ID=83491766
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210785361.6A Active CN115165770B (zh) | 2022-07-05 | 2022-07-05 | 基于宽光谱及bpnn的水体cod与浊度同时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115165770B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105352898A (zh) * | 2015-10-14 | 2016-02-24 | 浙江大学 | 一种基于光谱法cod检测的浊度补偿方法 |
| CN105458427A (zh) * | 2015-12-25 | 2016-04-06 | 华南理工大学 | 一种超声振动辅助放电磨削加工装置及方法 |
| CN109459399A (zh) * | 2018-12-26 | 2019-03-12 | 南京波思途智能科技股份有限公司 | 一种光谱水质cod、浊度检测方法 |
| CN110542665A (zh) * | 2019-09-26 | 2019-12-06 | 华南理工大学 | 一种宽光谱测量五日生化需氧量在线监测装置及监测方法 |
| CN110823820A (zh) * | 2019-10-17 | 2020-02-21 | 浙江工业大学 | 用于cod测量中的浊度干扰消除方法 |
| CN112326565A (zh) * | 2020-10-27 | 2021-02-05 | 重庆理工大学 | 紫外-可见光谱法检测水质cod时浊度影响的校正方法 |
| CN114646606A (zh) * | 2022-04-13 | 2022-06-21 | 北京理工大学重庆创新中心 | 一种光谱水质检测方法 |
-
2022
- 2022-07-05 CN CN202210785361.6A patent/CN115165770B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105352898A (zh) * | 2015-10-14 | 2016-02-24 | 浙江大学 | 一种基于光谱法cod检测的浊度补偿方法 |
| CN105458427A (zh) * | 2015-12-25 | 2016-04-06 | 华南理工大学 | 一种超声振动辅助放电磨削加工装置及方法 |
| CN109459399A (zh) * | 2018-12-26 | 2019-03-12 | 南京波思途智能科技股份有限公司 | 一种光谱水质cod、浊度检测方法 |
| CN110542665A (zh) * | 2019-09-26 | 2019-12-06 | 华南理工大学 | 一种宽光谱测量五日生化需氧量在线监测装置及监测方法 |
| CN110823820A (zh) * | 2019-10-17 | 2020-02-21 | 浙江工业大学 | 用于cod测量中的浊度干扰消除方法 |
| CN112326565A (zh) * | 2020-10-27 | 2021-02-05 | 重庆理工大学 | 紫外-可见光谱法检测水质cod时浊度影响的校正方法 |
| CN114646606A (zh) * | 2022-04-13 | 2022-06-21 | 北京理工大学重庆创新中心 | 一种光谱水质检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115165770B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354423A (zh) | 一种基于多元时间序列分析的自组织递归模糊神经网络的出水氨氮浓度预测方法 | |
| CN101915753B (zh) | 基于遗传神经网络的激光诱导击穿光谱定量分析方法 | |
| CN106124449B (zh) | 一种基于深度学习技术的土壤近红外光谱分析预测方法 | |
| CN109001136B (zh) | 一种基于紫外—可见光吸收光谱的cod在线监测方法 | |
| CN109344971B (zh) | 一种基于自适应递归模糊神经网络的出水氨氮浓度预测方法 | |
| CN111239071B (zh) | 一种光谱法海水硝酸盐浓度检测方法 | |
| CN106841075B (zh) | 基于神经网络的cod紫外光谱在线检测优化方法 | |
| CN113916847B (zh) | 一种基于光谱技术和线性支持向量算法的水质检测方法 | |
| US20220146417A1 (en) | Method for constructing water quality index prediction models and method for monitoring water quality indexes | |
| CN103712939B (zh) | 一种基于紫外可见光谱的污染物浓度拟合方法 | |
| CN110736707A (zh) | 一种主仪器向从仪器光谱模型传递的光谱检测优化方法 | |
| CN110309609A (zh) | 一种基于粗糙集和小波神经网络的建筑室内空气品质评价方法 | |
| CN115656074A (zh) | 一种海水cod光谱变量特征自适应选择估计方法 | |
| CN109142251B (zh) | 随机森林辅助人工神经网络的libs定量分析方法 | |
| CN111999258A (zh) | 一种面向光谱基线校正的加权建模局部优化方法 | |
| CN111766210B (zh) | 一种近岸复杂海水硝酸盐氮多光谱测量方法 | |
| CN115165770B (zh) | 基于宽光谱及bpnn的水体cod与浊度同时检测方法 | |
| CN109946245B (zh) | 一种染料的计算机配色方法 | |
| CN113433086B (zh) | 一种模糊神经网络结合分光光度法预测水质cod的方法 | |
| CN108120694A (zh) | 用于晒红烟化学成分分析的多元校正方法及系统 | |
| CN114354666B (zh) | 基于波长频次选择的土壤重金属光谱特征提取、优化方法 | |
| CN112446168A (zh) | 一种基于mic及rbfnn的出水bod浓度软测量方法 | |
| CN111579547A (zh) | 水体cod快速检测方法及装置 | |
| CN115953049A (zh) | 基于AdaBoost改进的神经网络水质参数预测建模方法 | |
| CN117874442A (zh) | 一种河流水质cod含量的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |