CN116973348B - 一种紫外光度法cod在线的水质分析方法及其系统 - Google Patents
一种紫外光度法cod在线的水质分析方法及其系统 Download PDFInfo
- Publication number
- CN116973348B CN116973348B CN202311216480.0A CN202311216480A CN116973348B CN 116973348 B CN116973348 B CN 116973348B CN 202311216480 A CN202311216480 A CN 202311216480A CN 116973348 B CN116973348 B CN 116973348B
- Authority
- CN
- China
- Prior art keywords
- data
- turbidity
- module
- svm model
- dimensional fluorescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 title claims abstract description 41
- 239000000126 substance Substances 0.000 title description 10
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 title description 3
- 239000001301 oxygen Substances 0.000 title description 3
- 229910052760 oxygen Inorganic materials 0.000 title description 3
- 238000002189 fluorescence spectrum Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000001228 spectrum Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000009467 reduction Effects 0.000 claims abstract description 11
- 230000001678 irradiating effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 34
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 238000007872 degassing Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 13
- 238000002835 absorbance Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 230000006837 decompression Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000009469 supplementation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000002211 ultraviolet spectrum Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000012706 support-vector machine Methods 0.000 description 49
- 238000000513 principal component analysis Methods 0.000 description 19
- 230000003595 spectral effect Effects 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000005416 organic matter Substances 0.000 description 2
- 239000007800 oxidant agent Substances 0.000 description 2
- 230000001590 oxidative effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- CWYNVVGOOAEACU-UHFFFAOYSA-N Fe2+ Chemical class [Fe+2] CWYNVVGOOAEACU-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 150000003568 thioethers Chemical class 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6402—Atomic fluorescence; Laser induced fluorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明检测技术领域，公开了一种紫外光度法COD在线的水质分析方法及其系统，对分析水源进行多点取样以分别制作不同浓度的污染水样本；用紫外线光照射样本，记录反射荧光信号，生成三维荧光光谱；利用浊度补偿装置进行样本温度和浊度调整，优化光谱检测环境；用PCA方法将三维荧光光谱降维，提取出关键特征维度；用SVM模型训练降维后的特征数据，找到最佳超平面，将不同浓度的污染水样本分离。本对水源的多点实时取样和紫外光光谱分析使得系统适合在线、实时地监控水质，浊度补偿装置可以自适应地处理样本的变化，并提供精确的检测结果，能够处理多种样本数据，更好地区分不同浓度的污染水样本，能显著提高检测结果的准确度。
Description
技术领域
本发明涉及水质检测技术领域，尤其涉及一种紫外光度法COD在线的水质分析方法及其系统。
背景技术
COD（化学需氧量）是指采用强氧化剂对水样品进行处理时，所消耗的氧化剂的量。它能代表水样品中还原性物质的多少，而水样品中的还原性物质是包括有机物、亚铁盐和硫化物等等，主要是有机物。因此，COD是检验水样品中有机物含量多少的重要指标。COD的值越大，说明水体有机物污染越严重。
现有技术中的COD检测方法为采用紫外线采取水质样品，然后通过紫外线光谱分析仪来对紫外光进行分析，通过分析结果来获得对应的COD指标，但是这种方式的缺点在于，由于受到检测样本内的液体的浊度（即不透光的无机物）和气泡含量的影响，同时还受到温度的影响，都会对检测光造成不同程度的反射或者散射效果，从而导致检测结果的准确度较差，在较复杂的环境中，可能无法准确地评估污染或COD水平，且能分析的样本单一，工作效率较低，无法适应于复杂的、多样本的检测要求。
基于此，需要对现有技术中的COD检测方法加以改进，以解决其检测结果准确度较低的技术问题。
发明内容
本发明的目的在于提供一种紫外光度法COD在线的水质分析方法及其系统，解决以上的技术问题。
为达此目的，本发明采用以下技术方案：
一种紫外光度法COD在线的水质分析方法，包括：
对分析水源进行多点取样制作多组污染水样本，将多组所述污染水样本置入于COD检测设备内；
采用浊度补偿装置连接到COD检测设备，进行所述污染水样本的温度补偿和减压除气处理；
采用COD检测设备的紫外线光分别照射所述污染水样本，记录反射荧光信号；
将所述反射荧光信号经过光学系统转化为电信号数据，并生成第一三维荧光光谱；
通过浊度补偿装置对所述污染水样本的浊度进行检测和补偿，以获得浊度补偿后的第二三维荧光光谱；
依次完成对多组所述污染水样本的第二三维荧光光谱的获取，使用PCA提取方法分别对每组所述三维荧光光谱进行特征提取，获得若干个特征维度；
将若干个特征维度输入到SVM模型中进行运算，确定一个最佳超平面，通过所述最佳超平面对若干个所述特征维度进行分类，以对不同浓度的污染水样本进行分级。
可选的，所述将所述反射荧光信号经过光学系统转化为电信号数据，并生成第一三维荧光光谱，具体包括：
将所述反射荧光信号导入至预设光学系统中，所述光学系统将所述反射荧光信号按照不同的波长进行分离，获得一个光谱数据包；其中，所述光学系统包括CMOS芯片和衍射光栅，所述衍射光栅用于将不同的波长进行分离；
所述光谱数据包映射到CMOS芯片上，所述CMOS芯片以将所述光谱数据包转化为对应的电信号数据；
将CMOS芯片获得的电信号数据进行加工和整理，以电信号数据的强度、波长以及测量时间为坐标，生成第一三维荧光光谱。
可选的，所述浊度补偿装置包括：
浊度检测模块，包括激光浊度仪，所述激光浊度仪用于测量和计算样本的浊度数据；
温度补偿模块，用于对样本进行温度补充，并提供恒温环境，以使样本处于最佳的检测温度下；
减压除气模块，用于对样本减压除气处理；
处理和计算单元，用于对所述浊度数据进行处理和分析，应用预设的第一算法对浊度数据进行补偿计算，生成用于补偿的补偿参数；
浊度校正模块，用于通过所述补偿参数对第一三维荧光光谱进行校正，以生成浊度补偿后的第二三维荧光光谱；
输出模块，与所述浊度校正模块连接，用于输出浊度补偿后的第二三维荧光光谱。
可选的，所述依次完成对多组所述污染水样本的第二三维荧光光谱的获取，使用PCA提取方法分别对每组所述三维荧光光谱进行特征提取，获得若干个特征维度；具体包括：
依次完成对多组所述污染水样本的第二三维荧光光谱的获取；
将所述第二三维荧光光谱作为输入数据；
使用每个特性的平均值和标准差来对所述输入数据进行标准化处理，以获得标准化的输入数据；
通过所述标准化的输入数据建立对应于每一种波长间的协方差矩阵；
对所述协方差矩阵进行特征值分解，得到特征值和对应的特征向量；
选择最大的k个特征值对应的特征向量作为主成分；所述k为数据降维后的维数；
计算所述输入数据在选定的主成分上的投影，得到若干组降维后的数据，即若干个特征维度。
可选的，所述将若干个特征维度输入到SVM模型中进行运算，确定一个最佳超平面，通过所述最佳超平面对若干个所述特征维度进行分类，以对不同浓度的污染水样本进行分级，具体包括：
建立一个关于COD浓度指标的标签；
通过COD浓度和其荧光光谱的关系，选择径向基函数作为SVM模型的核函数；
使用若干个所述特征维度和所述标签对所述SVM模型进行训练，所述SVM模型在高维空间中找到一个最佳超平面，所述最佳超平面用于最大化的将不同浓度的污染水样本分割开；
对所述SVM模型进行超优化和调试，建立优化的SVM模型。
可选的，所述对所述SVM模型进行超优化和调试，建立优化的SVM模型，具体包括：
使用交叉验证的方法调整参数以对所述SVM模型进行核函数的参数调整；
根据所述参数调整对所述最佳超平面进行调整，获得优化的SVM模型；
选用未被训练过的特征维度输入到优化的SVM模型进行模型的评估和验证。
可选的，所述以对不同浓度的污染水样本进行分级，之后还包括：
使用SVM模型进行预测，并依据预测结果判断水质是否满足要求。
可选的，所述使用SVM模型进行预测，并依据预测结果判断水质是否满足要求，具体包括：
收集新测试水样本，通过前置处理和PCA提取对应的特征维度；
将新的特征维度输入到优化的SVM模型中，所述SVM模型对每个所述新测试水样本提供对应的预测结果；
根据所述预测结果，判断新测试水样是否超出了预定的水质标准，并生成对应的判断结果；
依据所述判断结果，对新测试水样本进行相应的处理步骤。
本发明还提供了一种水质分析系统，采用如上所述的紫外光度法COD在线的水质分析方法，所述水质分析系统包括：
采样模块，用于从分析水源中获取不同浓度的污染水样本；
数据收集模块，用于对水样品进行检测；所述数据收集模块包括紫外光度仪、对光发射模块和光接收模块；
数据处理模块，用于根据数据收集模块的检测数据进行数据处理，以对水样本的浓度等级进行分类；
预测和报警模块，用于对水样本的浓度等级进行判断，当超过预设值时，发出警示信号；
显示模块，用于显示数据收集模块的检测数据和水样本的浓度等级。
可选的，所述数据处理模块包括：
预处理单元，用于处理由数据收集模块提供的第一三维荧光光谱和第二三维荧光光谱；
特征提取单元，用于对第一三维荧光光谱和第二三维荧光光谱进行降维处理和特征提取；
处理模型单元，用于调用SVM模型。
与现有技术相比，本发明具有以下有益效果：检测时，从不同位置获取不同浓度的污染水样本；利用浊度补偿装置进行样本温度和浊度调整，优化光谱检测环境，用紫外线光照射样本，记录反射荧光信号，生成三维荧光光谱；用PCA方法将三维荧光光谱降维，提取出关键特征维度；用SVM模型训练降维后的特征数据，找到最佳超平面，将不同浓度的污染水样本分离，以对不同浓度的污染水样本进行分级。本方案对水源的多点实时取样和紫外光光谱分析使得系统适合在线、实时地监控水质，结合温度补偿和减压除气处理，确保样本在最佳的检测环境下被处理，以及浊度补偿装置可以自适应地处理样本的变化，减少环境误差和测量误差，并提供精确的检测结果，通过PCA降维和 SVM 模型训练，能够处理多种样本数据，并找出最佳的分类超平面，在高维空间中更好地区分不同浓度的污染水样本，提高了分析的准确性，能显著提高检测结果的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本实施例一的水质分析方法的流程示意图之一；
图2为本实施例一的水质分析方法的流程示意图之二；
图3为本实施例一的水质分析方法的流程示意图之三。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。需要说明的是，当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中设置的组件。
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
实施例一：
本发明提供了一种紫外光度法COD在线的水质分析方法，结合图1所示，具体包括：
S1，对分析水源进行多点取样以分别制作不同浓度的污染水样本，将多组污染水样本置入于COD检测设备内；多点取样有利于提高检测结果的准确性，减少局部样本带来的误差；其中，为了提高对比度还可以选择设置标本样本组作为对照；
S2，采用浊度补偿装置连接到COD检测设备，进行水样的温度补偿和减压除气处理，以使样本处于最佳的检测温度下；减少环境的影响；
S3，采用COD检测设备的紫外线光分别照射所述污染水样本，记录反射荧光信号；所述COD检测包括对光发射模块和光接收模块；能够用于测量COD多种物质的存在，并获得相关的光谱数据；
S4，将反射荧光信号经过光学系统转化为电信号数据，并生成第一三维荧光光谱；光学系统实质上对荧光信号进行了数字化处理；这一步骤将荧光信号转化为可以被计算机处理的电信号数据；
S5，通过浊度补偿装置对污染水样本的浊度进行检测和补偿，以获得浊度补偿后的第二三维荧光光谱；
S6，依次完成对多组污染水样本的第二三维荧光光谱的获取，使用PCA提取方法分别对每组三维荧光光谱进行特征提取，获得若干个特征维度；
S7，将若干个特征维度输入到SVM模型中进行运算，确定一个最佳超平面，通过所述最佳超平面对若干个所述特征维度进行分类，以对不同浓度的污染水样本进行分级。从而能够最大程度上区分不同浓度的污染水样本。
本发明的工作原理为：检测时，从不同位置获取不同浓度的污染水样本；利用浊度补偿装置进行样本温度和浊度调整，优化光谱检测环境，用紫外线光照射样本，记录反射荧光信号，生成三维荧光光谱；用PCA方法将三维荧光光谱降维，提取出关键特征维度；用SVM模型训练降维后的特征数据，找到最佳超平面，将不同浓度的污染水样本分离，以对不同浓度的污染水样本进行分级。本方案对水源的多点实时取样和紫外光光谱分析使得系统适合在线、实时地监控水质，结合温度补偿和减压除气处理，确保样本在最佳的检测环境下被处理，以及浊度补偿装置可以自适应地处理样本的变化，减少环境误差和测量误差，并提供精确的检测结果，通过PCA降维和 SVM 模型训练，能够处理多种样本数据，并找出最佳的分类超平面，在高维空间中更好地区分不同浓度的污染水样本，提高了分析的准确性，能显著提高检测结果的准确度。
在本实施例中，结合图2所示，所述步骤S3具体包括：
S31，将所述反射荧光信号导入至预设光学系统中，所述光学系统将所述反射荧光信号按照不同的波长进行分离，获得一个光谱数据包；其中，所述光学系统包括CMOS芯片和衍射光栅；反射荧光信号会被导入到一个包含衍射光栅的光学系统中。衍射光栅的工作原理是利用光的干涉现象，对反射荧光信号按照不同的波长进行分离，形成一个光谱数据包。
S32，所述光谱数据包映射到CMOS芯片上，所述CMOS芯片以将所述光谱数据包转化为对应的电信号数据；CMOS芯片是一种图像传感器，将从衍射光栅接收的光谱数据包转换为电信号数据。其本质上是一个“光到电”的转换器，由光子刺激产生的电荷流就组成了电信号。
S33，将CMOS芯片获得的电信号数据进行加工和整理，以电信号数据的强度、波长以及测量时间为坐标，生成第一三维荧光光谱。第一三维荧光光谱提供了一个基准，用于比较和校准后续步骤产生的数据；且这部分数据也是最初的，未经处理的数据，保留了污染水样本中所有的信息，以便于进行后续PCA降维以及SVM模型的训练，第一三维荧光光谱是训练SVM模型的关键输入之一。
在本实施例中，所述浊度补偿装置包括：
浊度检测模块，包括激光浊度仪，所述激光浊度仪用于测量和计算样本的浊度数据；
温度补偿模块，用于对样本进行温度补充，并提供恒温环境，以使样本处于最佳的检测温度下；由于温度极大影响测量的精度，温度补偿模块模块用于保证测量过程始终在一定的温度环境下进行，增强测量结果的稳定性和可靠性。
减压除气模块，用于对样本减压和排气处理；由于水中的溶解气体影响光的透过和折射，减压除气模块模块将采样进行减压除气处理，减小这部分的影响。
浊度传感器模块，用于测量和监控样本的浊度；浊度传感器模块涉及光源，通常是LED或激光的发射和接收设备。
光源模块，用于提供预设波长的检测光；光源模块包含有LED或激光的光源，以提供光学测量所需的特定波长光。
微控制器模块，用于控制所述浊度补偿装置的运行工作；负责控制浊度补偿装置的整体工作，包含对光源的控制，对浊度传感器的读数处理，对补偿模块的控制。
处理和计算单元，用于对所述浊度数据进行处理和分析，应用预设的第一算法对浊度数据进行补偿计算，生成用于补偿的补偿参数。
浊度校正模块，用于通过所述补偿参数对第一三维荧光光谱进行校正，以生成浊度补偿后的第二三维荧光光谱。
输出模块，与所述浊度校正模块连接，用于输出浊度补偿后的第二三维荧光光谱。
清洗模块，用于自动或周期性清洗所述浊度传感器模块、所述光发射模块和光接收模块；可选用于自动或周期性清洗光学部件以避免积尘或其他污渍对测量结果的影响，增强装置的使用寿命和测量的精确性。
在本实施例中，结合图3所示，所述步骤S6具体包括：
S61，将所述第一三维荧光光谱和所述第二三维荧光光谱作为输入数据。
S62，使用每个特性的平均值和标准差来对所述输入数据进行标准化处理，以获得标准化的输入数据；这个步骤的目的是消除不懈的特征之间的量纲影响，使得后续处理更加准确。
S63，通过所述标准化的输入数据建立对应于每一种波长间的协方差矩阵；协方差矩阵可以描绘出各个维度特征之间的关系，是PCA的关键步骤。
S64，对所述协方差矩阵进行特征值分解，得到特征值和对应的特征向量；这个步骤是找到数据的主要变化方向，即主成分的关键。
S65，选择最大的k个特征值对应的特征向量作为主成分；所述k为数据降维后的维数；能保留数据中最重要的变化信息，同时剔除误差较大数据的影响和冗余信息。
S66，计算所述输入数据在选定的主成分上的投影，得到若干组降维后的数据，即若干个特征维度。即从原始的三维荧光光谱中提取出最重要的k个特征维度。
综上所述，PCA算法可以从原始高维度的数据集中提取出最具有代表性的特征，从而大大简化后续的污水分析和处理流程。
在本实施例中，所述步骤S7具体包括：
S71，建立一个关于COD浓度指标的标签；这是为了让 SVM 模型在训练过程中知道每个输入数据样本的真实类别和COD浓度等级。
S72，通过COD浓度和其荧光光谱的关系，选择径向基函数作为SVM模型的核函数；径向基函数可以帮助将数据从低维空间映射到高维空间，以便在高维空间中找到一个更好的分割超平面。
S73，使用若干个所述特征维度和所述标签对所述SVM模型进行训练，所述SVM模型在高维空间中找到一个最佳超平面，所述最佳超平面用于最大化的将不同浓度的污染水样本分割开；其中，在支持向量机（SVM）中，超平面是用来进行决策的边界。例如，SVM模型在二维空间中使用一条线（即一个一维的超平面）来区分两个类别的数据点。在高维空间，SVM使用一个n-1维的超平面。这个超平面的目标是最大化两个类别之间的间隔，以实现良好的分类性能。
S74，对所述SVM模型进行超优化和调试，建立优化的SVM模型。超参数优化能进一步增强模型的性能和预测能力，并且能够提高后续检测数据的准确性。
综上，通过上述步骤S7，可以建立一个能够精确区分不同浓度的污染水样本的模型，这将有助于更准确地进行水质分析。
在本实施例中，所述步骤S74具体包括：
S741，使用交叉验证的方法调整参数以对所述SVM模型进行核函数的参数调整；交叉验证是一种评估模型的方法，它通过将数据集分为训练和测试集来评估模型的准确性，并能够帮助进行参数调整。
S742，根据所述参数调整对所述最佳超平面进行调整，获得优化的SVM模型；根据之前参数调整的结果，对模型进行重新训练，使得模型的性能更优；
S743，选用未被训练过的特征维度输入到优化的SVM模型进行模型的评估和验证。检验模型泛化能力的环节，那些未被训练过的特征维度构成的数据可以被看作是实际环境中可能遇到的新数据，它们的分类结果能有效地反映模型的预测能力。
在本实施例中，本水质分析方法还包括：
S8，使用SVM模型进行预测，并依据预测结果判断水质是否满足要求。在建立和优化SVM模型后，使用该模型来进行预测是下一逻辑步骤。可以将更多的，尤其是实时的水质荧光光谱数据输入到模型中，得到水样品的COD浓度预测值。然后，依据这些预测结果，判断水质是否满足既定的环保或健康标准。如果不满足，可以立即进行相关的处理，以保证水源的安全。这一步骤实现了模型的实际应用，并可以提供实时的、可操作的指导建议。
进一步的，所述步骤S8具体包括：这些样本可能来自不同的水源，或者是从相同的水源在不同时间点取得的样本。
收集新测试水样本，通过前置处理和PCA提取对应的特征维度；将新样本通过前置处理，然后利用在训练阶段建立的PCA模型进行特征提取，得到新样本的特征维度。前置处理通常包括步骤S3至S5的处理，以便在PCA中使用。
将新的特征维度输入到优化的SVM模型中，所述SVM模型对每个所述新测试水样本提供对应的预测结果；将从新样本提取的特征维度输入到已优化的SVM模型中，该模型会对每个新测试样本提供预测的COD浓度。
根据所述预测结果，判断新测试水样是否超出了预定的水质标准，并生成对应的判断结果；将SVM模型的预测结果与既定的水质标准进行比较，判断新的水样本是否满足这些标准。
依据所述判断结果，对新测试水样本进行相应的处理步骤。如果某个水样本的预测结果显示其COD浓度超过了预定标准，应对该水样进行相应的处理，以改善水质。处理步骤可以包括给出警报，启动过滤或净化系统，甚至在某些情况下，需要关闭相应的水源至水质合格为止。
实施例二：
本发明还提供了一种水质分析系统，包括：
采样模块，用于从分析水源中获取不同浓度的污染水样本；采样模块模块用于定期从水源中采样，或者在连续流水环境下，建立恒定、连续的采样流水线。
数据收集模块，用于对水样品进行检测；所述数据收集模块包括紫外光度仪、对光发射模块和光接收模块；对采集的水样进行化学分析以获取光谱数据。这些数据中包括：该光谱对应的化学物浓度，例如COD，或其他对水质有影响的化学物。
数据处理模块，用于根据数据收集模块的检测数据进行数据处理，以对水样本的浓度等级进行分类；
预测和报警模块，用于对水样本的浓度等级进行判断，当超过预设值时，发出警示信号；通过输入新的光谱数据到训练好的 SVM 模型，进行在线的实时预测。模型将预测出该水样本的浓度等级。依照一定的标准阈值，判断是否满足要求。当预测结果显示水质超过阈值时，系统会发出预警。
显示模块，用于显示数据收集模块的检测数据和水样本的浓度等级。为了便于用户查看和理解这个系统，该模块为用户提供了友好的界面和可视化组件。这能使用户查看实时的数据，历史记录，模型状态以及任何预警信息。
在本实施例中，所述数据处理模块包括：
预处理单元，用于处理由数据收集模块提供的第一三维荧光光谱和第二三维荧光光谱；用于处理由数据收集模块提供的原始光谱数据（第一三维荧光光谱和第二三维荧光光谱）。处理步骤包括去噪，基线调整，量化、卷积的预处理技术。光谱数据被处理后就可以作为下一步PCA降维的输入。
特征提取单元，用于对第一三维荧光光谱和第二三维荧光光谱进行降维处理和特征提取；特征提取模块使用 PCA（主成分分析）对预处理的光谱数据进行降维，提取出与化学物浓度最相关的主要特征维度。
处理模型单元，用于调用SVM模型，使用 SVM 算法和主成分特征数据以及对应的浓度等级标签进行模型训练。SVM模型能找到一个最佳超平面，最大化地分离不同浓度等级的样本。训练好的模型将被保存，用于对新的采样数据进行预测。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种紫外光度法COD在线的水质分析方法，其特征在于，包括：
对分析水源进行多点取样制作多组污染水样本，将多组所述污染水样本置入于COD检测设备内；
采用浊度补偿装置连接到COD检测设备，进行所述污染水样本的温度补偿和减压除气处理；
采用COD检测设备的紫外线光分别照射所述污染水样本，记录反射荧光信号；
将所述反射荧光信号经过光学系统转化为电信号数据，并生成第一三维荧光光谱；
通过浊度补偿装置对所述污染水样本的浊度进行检测和补偿，以获得浊度补偿后的第二三维荧光光谱；
依次完成对多组所述污染水样本的第二三维荧光光谱的获取，使用PCA提取方法分别对每组所述三维荧光光谱进行特征提取，获得若干个特征维度；
将若干个特征维度输入到SVM模型中进行运算，确定一个最佳超平面，通过所述最佳超平面对若干个所述特征维度进行分类，以对不同浓度的污染水样本进行分级；
所述将所述反射荧光信号经过光学系统转化为电信号数据，并生成第一三维荧光光谱，具体包括：
将所述反射荧光信号导入至预设光学系统中，所述光学系统将所述反射荧光信号按照不同的波长进行分离，获得一个光谱数据包；其中，所述光学系统包括CMOS芯片和衍射光栅，所述衍射光栅用于将不同的波长进行分离；
所述光谱数据包映射到CMOS芯片上，所述CMOS芯片以将所述光谱数据包转化为对应的电信号数据；
将CMOS芯片获得的电信号数据进行加工和整理，以电信号数据的强度、波长以及测量时间为坐标，生成第一三维荧光光谱；
所述将若干个特征维度输入到SVM模型中进行运算，确定一个最佳超平面，通过所述最佳超平面对若干个所述特征维度进行分类，以对不同浓度的污染水样本进行分级，具体包括：
建立一个关于COD浓度指标的标签；
通过COD浓度和其荧光光谱的关系，选择径向基函数作为SVM模型的核函数；
使用若干个所述特征维度和所述标签对所述SVM模型进行训练，所述SVM模型在高维空间中找到一个最佳超平面，所述最佳超平面用于最大化的将不同浓度的污染水样本分割开；
对所述SVM模型进行超优化和调试，建立优化的SVM模型。
2.根据权利要求1所述的紫外光度法COD在线的水质分析方法，其特征在于，所述浊度补偿装置包括：
浊度检测模块，包括激光浊度仪，所述激光浊度仪用于测量和计算样本的浊度数据；
温度补偿模块，用于对样本进行温度补充，并提供恒温环境，以使样本处于最佳的检测温度下；
减压除气模块，用于对样本减压除气处理；
处理和计算单元，用于对所述浊度数据进行处理和分析，应用预设的第一算法对浊度数据进行补偿计算，生成用于补偿的补偿参数；
浊度校正模块，用于通过所述补偿参数对第一三维荧光光谱进行校正，以生成浊度补偿后的第二三维荧光光谱；
输出模块，与所述浊度校正模块连接，用于输出浊度补偿后的第二三维荧光光谱。
3.根据权利要求1所述的紫外光度法COD在线的水质分析方法，其特征在于，所述依次完成对多组所述污染水样本的第二三维荧光光谱的获取，使用PCA提取方法分别对每组所述三维荧光光谱进行特征提取，获得若干个特征维度；具体包括：
依次完成对多组所述污染水样本的第二三维荧光光谱的获取；
将所述第二三维荧光光谱作为输入数据；
使用每个特性的平均值和标准差来对所述输入数据进行标准化处理，以获得标准化的输入数据；
通过所述标准化的输入数据建立对应于每一种波长间的协方差矩阵；
对所述协方差矩阵进行特征值分解，得到特征值和对应的特征向量；
选择最大的k个特征值对应的特征向量作为主成分；所述k为数据降维后的维数；
计算所述输入数据在选定的主成分上的投影，得到若干组降维后的数据，即若干个特征维度。
4.根据权利要求1所述的紫外光度法COD在线的水质分析方法，其特征在于，所述对所述SVM模型进行超优化和调试，建立优化的SVM模型，具体包括：
使用交叉验证的方法调整参数以对所述SVM模型进行核函数的参数调整；
根据所述参数调整对所述最佳超平面进行调整，获得优化的SVM模型；
选用未被训练过的特征维度输入到优化的SVM模型进行模型的评估和验证。
5.根据权利要求1所述的紫外光度法COD在线的水质分析方法，其特征在于，所述以对不同浓度的污染水样本进行分级，之后还包括：
使用SVM模型进行预测，并依据预测结果判断水质是否满足要求。
6.根据权利要求5所述的紫外光度法COD在线的水质分析方法，其特征在于，所述使用SVM模型进行预测，并依据预测结果判断水质是否满足要求，具体包括：
收集新测试水样本，通过前置处理和PCA提取对应的特征维度；
将新的特征维度输入到优化的SVM模型中，所述SVM模型对每个所述新测试水样本提供对应的预测结果；
根据所述预测结果，判断新测试水样是否超出了预定的水质标准，并生成对应的判断结果；
依据所述判断结果，对新测试水样本进行相应的处理步骤。
7.一种水质分析系统，其特征在于，采用如权利要求1至6任一项所述的紫外光度法COD在线的水质分析方法，所述水质分析系统包括：
采样模块，用于从分析水源中获取不同浓度的污染水样本；
数据收集模块，用于对水样品进行检测；所述数据收集模块包括紫外光度仪、对光发射模块和光接收模块；
数据处理模块，用于根据数据收集模块的检测数据进行数据处理，以对水样本的浓度等级进行分类；
预测和报警模块，用于对水样本的浓度等级进行判断，当超过预设值时，发出警示信号；
显示模块，用于显示数据收集模块的检测数据和水样本的浓度等级。
8.根据权利要求7所述的水质分析系统，其特征在于，所述数据处理模块包括：
预处理单元，用于处理由数据收集模块提供的第一三维荧光光谱和第二三维荧光光谱；
特征提取单元，用于对第一三维荧光光谱和第二三维荧光光谱进行降维处理和特征提取；
处理模型单元，用于调用SVM模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311216480.0A CN116973348B (zh) | 2023-09-20 | 2023-09-20 | 一种紫外光度法cod在线的水质分析方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311216480.0A CN116973348B (zh) | 2023-09-20 | 2023-09-20 | 一种紫外光度法cod在线的水质分析方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116973348A CN116973348A (zh) | 2023-10-31 |
| CN116973348B true CN116973348B (zh) | 2023-12-05 |
Family
ID=88475215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311216480.0A Active CN116973348B (zh) | 2023-09-20 | 2023-09-20 | 一种紫外光度法cod在线的水质分析方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116973348B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118275408B (zh) * | 2024-05-30 | 2024-07-26 | 哈尔滨商业大学 | 一种基于荧光分子OliGreen响应的有机磷农药检测系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017084118A1 (zh) * | 2015-11-19 | 2017-05-26 | 江南大学 | 一种近红外光谱分析仪在线应用时无测点温度补偿模型修正方法 |
| CN106990060A (zh) * | 2017-03-24 | 2017-07-28 | 四川碧朗科技有限公司 | 水质指标监测仪、云数据中心及系统、预测方法和水样识别方法 |
| CN108872122A (zh) * | 2018-08-14 | 2018-11-23 | 中国计量大学 | 一种用于水质检测的光纤氧气传感器 |
| CN111398189A (zh) * | 2020-03-23 | 2020-07-10 | 苏州同阳科技发展有限公司 | 多模态光学成像水质遥感检测装置与污染特征提取方法 |
| CN113916847A (zh) * | 2021-07-20 | 2022-01-11 | 江苏省扬州环境监测中心 | 一种基于光谱技术和线性支持向量算法的水质检测方法 |
| CN114739924A (zh) * | 2022-04-08 | 2022-07-12 | 湖南大学 | 一种检测水质的补偿方法 |
| CN116202975A (zh) * | 2022-12-15 | 2023-06-02 | 中国科学院西安光学精密机械研究所 | 一种水体参数预测方法、存储介质及终端设备 |
-
2023
- 2023-09-20 CN CN202311216480.0A patent/CN116973348B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017084118A1 (zh) * | 2015-11-19 | 2017-05-26 | 江南大学 | 一种近红外光谱分析仪在线应用时无测点温度补偿模型修正方法 |
| CN106990060A (zh) * | 2017-03-24 | 2017-07-28 | 四川碧朗科技有限公司 | 水质指标监测仪、云数据中心及系统、预测方法和水样识别方法 |
| CN108872122A (zh) * | 2018-08-14 | 2018-11-23 | 中国计量大学 | 一种用于水质检测的光纤氧气传感器 |
| CN111398189A (zh) * | 2020-03-23 | 2020-07-10 | 苏州同阳科技发展有限公司 | 多模态光学成像水质遥感检测装置与污染特征提取方法 |
| CN113916847A (zh) * | 2021-07-20 | 2022-01-11 | 江苏省扬州环境监测中心 | 一种基于光谱技术和线性支持向量算法的水质检测方法 |
| CN114739924A (zh) * | 2022-04-08 | 2022-07-12 | 湖南大学 | 一种检测水质的补偿方法 |
| CN116202975A (zh) * | 2022-12-15 | 2023-06-02 | 中国科学院西安光学精密机械研究所 | 一种水体参数预测方法、存储介质及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116973348A (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116973348B (zh) | 一种紫外光度法cod在线的水质分析方法及其系统 | |
| CN102004088B (zh) | 一种基于神经网络的煤质特性在线测量方法 | |
| CN109959634A (zh) | 一种水质监测系统及方法 | |
| CN113607676B (zh) | 基于异形比色皿和近红外图像的牛奶成分快速检测方法 | |
| CN111982878A (zh) | 一种基于紫外线可见光谱与三维荧光光谱水污染分析方法 | |
| CN101943658B (zh) | 主元分析理论和光谱分析技术结合对水质连续监测的方法 | |
| CN112798757A (zh) | 一种高精度水质智能分析仪及其控制系统 | |
| CN112630180B (zh) | 水体中有机磷农药浓度检测的紫外/可见光吸收光谱模型 | |
| Ye et al. | Water chemical oxygen demand prediction model based on the CNN and ultraviolet-visible spectroscopy | |
| Huang et al. | Classification of water contamination developed by 2-D Gabor wavelet analysis and support vector machine based on fluorescence spectroscopy | |
| CN117951584A (zh) | 一种基于ai和物联网技术的海洋数据处理和信息调度系统 | |
| CN111398189B (zh) | 多模态光学成像水质遥感检测装置与污染特征提取方法 | |
| CN117591978A (zh) | 一种环境污染检测方法、系统、设备及存储介质 | |
| CN110887798B (zh) | 基于极端随机树的非线性全光谱水体浊度定量分析方法 | |
| CN116953184A (zh) | 余氯在线检测模型的构建方法及余氯浓度在线检测方法 | |
| CN1458529A (zh) | 基于图像技术的比色成分分析方法及其装置 | |
| CN115508322A (zh) | 一种水污染源多维度溯源方法及装置 | |
| CN114970722A (zh) | 一种污染物识别方法、装置、电子设备及存储介质 | |
| CN113295673B (zh) | 一种激光诱导击穿光谱弱监督特征提取方法 | |
| Yu et al. | Detection of water contamination events using fluorescence spectroscopy and alternating trilinear decomposition algorithm | |
| CN118150496A (zh) | 非接触式水质智能监测装置和监测方法 | |
| Syah et al. | The utilization OpenCV to measure the water pollutants concentration | |
| CN217521141U (zh) | 一种水质检测装置 | |
| Liu et al. | PCA combined with SVM assisted fluorescence spectroscopy for classification of microplastics | |
| Roopalakshmi | Chemical ripening and contaminations detection using neural networks-based image features and spectrometric signatures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |