CN113916847A - 一种基于光谱技术和线性支持向量算法的水质检测方法 - Google Patents
一种基于光谱技术和线性支持向量算法的水质检测方法 Download PDFInfo
- Publication number
- CN113916847A CN113916847A CN202110820555.0A CN202110820555A CN113916847A CN 113916847 A CN113916847 A CN 113916847A CN 202110820555 A CN202110820555 A CN 202110820555A CN 113916847 A CN113916847 A CN 113916847A
- Authority
- CN
- China
- Prior art keywords
- water
- water quality
- sample
- spectrum
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 142
- 238000001228 spectrum Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000002189 fluorescence spectrum Methods 0.000 claims abstract description 25
- 239000000126 substance Substances 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims abstract description 9
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 9
- 239000001301 oxygen Substances 0.000 claims abstract description 9
- 239000000523 sample Substances 0.000 claims description 43
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 19
- 238000012360 testing method Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 238000002790 cross-validation Methods 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 11
- 239000002352 surface water Substances 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000001069 Raman spectroscopy Methods 0.000 claims description 9
- 239000012496 blank sample Substances 0.000 claims description 9
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000005284 excitation Effects 0.000 claims description 8
- 239000006228 supernatant Substances 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000010183 spectrum analysis Methods 0.000 claims description 4
- 238000003911 water pollution Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000035939 shock Effects 0.000 claims description 3
- 229910021642 ultra pure water Inorganic materials 0.000 claims description 3
- 239000012498 ultrapure water Substances 0.000 claims description 3
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims description 2
- 238000013499 data model Methods 0.000 claims 1
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 abstract description 4
- 238000011065 in-situ storage Methods 0.000 abstract description 4
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 abstract description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 abstract description 2
- 239000007788 liquid Substances 0.000 abstract description 2
- 229910052698 phosphorus Inorganic materials 0.000 abstract description 2
- 239000011574 phosphorus Substances 0.000 abstract description 2
- 239000002957 persistent organic pollutant Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- QIVBCDIJIAJPQS-VIFPVBQESA-N L-tryptophane Chemical compound C1=CC=C2C(C[C@H](N)C(O)=O)=CNC2=C1 QIVBCDIJIAJPQS-VIFPVBQESA-N 0.000 description 4
- QIVBCDIJIAJPQS-UHFFFAOYSA-N Tryptophan Natural products C1=CC=C2C(CC(N)C(O)=O)=CNC2=C1 QIVBCDIJIAJPQS-UHFFFAOYSA-N 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 239000003344 environmental pollutant Substances 0.000 description 3
- 231100000719 pollutant Toxicity 0.000 description 3
- OUYCCCASQSFEME-QMMMGPOBSA-N L-tyrosine Chemical compound OC(=O)[C@@H](N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-QMMMGPOBSA-N 0.000 description 2
- 239000002253 acid Substances 0.000 description 2
- 150000001413 amino acids Chemical class 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000000813 microbial effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- OUYCCCASQSFEME-UHFFFAOYSA-N tyrosine Natural products OC(=O)C(N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-UHFFFAOYSA-N 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PUKLDDOGISCFCP-JSQCKWNTSA-N 21-Deoxycortisone Chemical compound C1CC2=CC(=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@@](C(=O)C)(O)[C@@]1(C)CC2=O PUKLDDOGISCFCP-JSQCKWNTSA-N 0.000 description 1
- QJZYHAIUNVAGQP-UHFFFAOYSA-N 3-nitrobicyclo[2.2.1]hept-5-ene-2,3-dicarboxylic acid Chemical compound C1C2C=CC1C(C(=O)O)C2(C(O)=O)[N+]([O-])=O QJZYHAIUNVAGQP-UHFFFAOYSA-N 0.000 description 1
- FCYKAQOGGFGCMD-UHFFFAOYSA-N Fulvic acid Natural products O1C2=CC(O)=C(O)C(C(O)=O)=C2C(=O)C2=C1CC(C)(O)OC2 FCYKAQOGGFGCMD-UHFFFAOYSA-N 0.000 description 1
- ISWSIDIOOBJBQZ-UHFFFAOYSA-N Phenol Chemical compound OC1=CC=CC=C1 ISWSIDIOOBJBQZ-UHFFFAOYSA-N 0.000 description 1
- 150000007513 acids Chemical class 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 125000003118 aryl group Chemical group 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000007865 diluting Methods 0.000 description 1
- 238000012851 eutrophication Methods 0.000 description 1
- 239000003925 fat Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 229940095100 fulvic acid Drugs 0.000 description 1
- 239000002509 fulvic acid Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004021 humic acid Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010841 municipal wastewater Substances 0.000 description 1
- 229910000069 nitrogen hydride Inorganic materials 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/20—Identification of molecular entities, parts thereof or of chemical compositions
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
- G16C20/70—Machine learning, data mining or chemometrics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Databases & Information Systems (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明为一种基于光谱技术和线性支持向量算法的水质检测方法，充分利用水体三维荧光光谱信息，结合线性支持向量回归算（LIBLINEAR），建立了与化学需氧量（CODCr）、高锰酸盐指数（CODMn）、氨氮（NH3‑N）、总磷（TP）、总氮（TN）和五日生化需氧量（BOD5）6项有机污染相关水质指标的预测模型，本发明通过水体三维荧光光谱信息预测水质有机污染指标具有较好的准确性和精度，为广域时空尺度地表水的高效原位监测提供了一种新的解决方案。
Description
本发明涉及水质指标模型和水质等级快速判断方法领域，具体为一种基 于光谱技术和线性支持向量算法的水质检测方法。
背景技术
随着城市化进程的日益加快，城市及周边地表水的污染源不断增加，水 质不断恶化，对生态系统和人类健康构成威胁。城市及周边地表水中的有机 污染物主要来自陆地生活源、地表径流、工业、服务业、养殖业和水生生物 源污染，以蛋白质、氨基酸、腐殖酸、脂肪等有机污染物为主。环境监测技 术通过化学需氧量(CODCr)、高锰酸盐指数(CODMn)、氨氮(NH3-N)、 总磷(TP)、总氮(TN)和五日生化需氧量(BOD5)等指标表征水体有机 污染，其中CODCr、CODMn、BOD5通常用于表示水体中有机污染物总量； NH3-N、TN、TP的含量升高会导致水体富营养化，破坏生物多样性并产生 臭味。
城市及周边地表水一直以来都是环境监测工作的重点，但传统监测手段 存在监测周期长、采样缺乏代表性、水样前处理复杂、分析难度高等困难， 往往造成监测数据时空分布不足，监测数据滞后等问题，因此开发连续、高 效、低耗的水质原位监测技术具有重要意义。近年来，水体荧光光谱技术常 被用来快速反演水体中TP、TN、NH3-N、BOD5、COD等指标，避免了化 学试剂的使用和复杂的水样前处理过程。三维荧光光谱技术可以在较宽的激 发和发射波长范围内获取水体有机物丰富的光谱信息，具有快速、可靠、实 用的优点，近年来被广泛应用于化学分析和环境监测领域。Yang等[]使用 激发发射矩阵三维荧光平行因子法(EEM-PARAFAC)对污水处理厂水样进 行分析，得到类蛋白等有机污染物的荧光特征峰位置，利用多元线性回归算 法针对COD等有机污染指标建立预测模型，实现对水处理效果的快速评 价。使用平行因子算法(PARAFAC)分析苯酚等有机污染因子的三维荧光 光谱，提出针对清洁水和污水的二分类支持向量机(SVM)模型。但是， 现有研究大多针对模拟配制水样或单一类型的少量水质样本，依赖已有的光 谱特征经验选择算法，从三维荧光光谱中提取若干点状光谱信息用于水质评 价，由于地表水中有机污染物种类繁多，各种物质的荧光峰位置和波段范围 不同，且存在荧光峰重叠现象，因此这种仅选择少数光谱点的计算方法局限 性强、泛化性能较差。
支持向量回归算法是一种被广泛应用于机器学习和数据挖掘领域的算法 模型，常规的SVR算法通过不同的核函数来构造非线性模型用以解决复杂 的分类和回归问题，但是当样本量较大或特征维度较高时，SVM算法存在 消耗资源多、训练时间长等问题，LIBLINEAR是一个针对线性分类场景而 设计的工具包，支持线性SVM和线性逻辑回归等模型，可以对高维度大样 本数据进行快速建模。该工具包采用热启动(warm-start)技术实现高效的 参数寻优过程，并结合交叉验证方法得到最优惩罚参数C和不敏感度∈，具 有建模速度快、计算精度高等特点。
发明内容
为实现上述目的，本发明提供如下技术方案：一种基于光谱技术和线性 支持向量算法的水质检测方法，其特征在于，包括以下步骤：
S1、样品采集：使用直立采样器采集水面下深处的水体，静置30min 后取上层清液，按照水质采样规范平行分装在棕色玻璃瓶中，并且在4℃下 保存玻璃瓶，采样现场同时测量水体的温度(T)、溶解氧(DO)含量和 pH值；
S2、化学分析：将样品摇匀并静置30min后取上层清液进行检测，检 测方法参照相关国标和行业标准；
S3、三维荧光光谱测量：采用日立F4600型荧光分光光度计测量水样 三维荧光光谱，该仪器在保留原有光路设计的基础上添加安捷伦AAS自动 进样和反射光栅清洗装置，在底部kwv3装避震装置；
S4、模型建立：
①、数据预处理：根据所述步骤S3中数据，使用Delaunay三角形 内插值法对原始光谱中包含的瑞利散射和拉曼散射进行修正；
②、线性支持向量回归模型：将每个激发-发射波长对应的荧光强 度作为水质指标的潜在预测因子，将所述①中预处理后的三维荧光光谱去除 激发波长大于发射波长的光谱区域，结合T、DO和pH值形成7601维向 量，将该向量作为算法的输入，以各水质指标的化学分析结果作为算法目标 值，使用LIBLINEAR工具包建立L2正则L2误差支持向量回归模型，通过 调整权重向量，使L2正则项与L2误差项之和最小，所述公式1为，
式1中,yi为各水质指标的化学分析结果，N为样本数量，C为惩 罚因子，ε为不敏感度。
根据所述公式1运用网格点搜索法和交叉验证法相结合对C和ε因 子进行自动寻优，即建立双层循环交叉验证，外层
进行循环，针对每一个ε建立内层循环对C∈(Cmin,2Cmin,4Cmin,...,Cmax)进行交叉 验证，C和ε的选择范围由算法根据训练集自动设定，以每组交叉验证集的 均方根误差(CVMSE)的最小值为寻优指标，选择对应的C和ε用以建立 模型对测试集进行预测
③、建立模型评价标准：使用决定系数r2和均方根误差RMSE作 为本发明模型效果的评价指标；
④、建立水质分类标准：采用GB3838-2002中的标准限值制定的 水质分类标准；
S5、最后结合算法、各类标准数据进行水质指标模型建立，从而进行实 时检测、监测地表水质污染状况。
进一步、所述步骤S3、三维荧光光谱测量中：每次对空白样品进行扫 描后再进行水样测量，三维荧光光谱测量前，先将水样摇匀后静置至室温。 若水样的荧光强度超出仪器测量范围，须用超纯水稀释，样品光谱平行测试 的相对精度偏差应小于2％，同批次水样的光谱分析与化学分析时间间隔不 超过24h，其中所述光谱测量参数设置为：激发波长Ex为220～400nm，采 样间隔5nm；发射波长Em为260～520nm，采样间隔1nm；狭缝宽度为 10nm，扫描速度为12000nm·min-1；
所述步骤S4、模型建立中：
①、数据预处理：从步骤S3数据当中测量样品光谱中扣除空白样 品光谱，并用空白样品在Ex＝348nm和Em＝397nm处的拉曼峰强度值对去散 射处理后的样品光谱强度值进行拉曼归一化处理；
③、建立模型评价标准：所述训练集和测试集决定系数r2按照式2 计算，训练集和测试集均方根误差RMSE按式3计算，
所述式2为：
所述式3为：
式2、3中，
为算法预测值，yi为各水质指标的化学分析结果， 
为各水质指标真实值的均值，N为样本数量。
进一步、所述步骤S1、样品采集中：所述使用直立采样器采集水面下 50cm-60cm深处的水体。
进一步、所述步骤S2、化学分析中：所述所有样品在采样1周内完成 分析测试。
与现有技术比，本发明达到的有益效果在于：
1、本发明说明了三维荧光光谱技术用于监测水质污染状况的可行性， 可为城市及周边地表水的快速、原位、高效监测提供解决方案。
2、本发明可以快速判断水质等级，并同步显示超标污染物及其浓度 值，实现对地表水水质的高效监测和精准评价。
附图说明
图1是本发明的水质预测模型权重分布图；
图2是本发明的模型预测值与化学分析值的相关性；
图3是本发明的水质分类结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不 是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出 创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1至3所示，本发明提供如下技术方案：
S1、样品采集：
对122个地表水监测断面进行水样采集，使用直立采样器采集水面下 50cm深处的水体5L，静置30min后取上层清液，按照水质采样规范平行分 装在棕色玻璃瓶中，并于4℃保存，采样现场同时测量水体的温度(T)、溶 解氧(DO)含量和pH值。
水质监测断面共122个，根据环境监测数据，监测断面水质等级包含Ⅱ 类～劣Ⅴ类，此外还存在少量轻度和重度黑臭断面，样本的采集时间涵盖了 多个季节和枯丰水期，涉及水温、水位、水流和周边生态系统等多种环境因 素变化对水质的影响，由此形成一个覆盖区域广、时间跨度长、水质变化多 的样本集合。
S2、化学分析：
为保证化学分析与光谱分析的样品一致，将样品摇匀并静置30min后取 上层清液进行检测，检测方法参照相关国标和行业标准，使用仪器和具体分 析方法见表1，其中pH值、DO和T在采样时现场测定，所有样品在采样1 周内完成分析测试，测试结果见表2，每项指标的测试结果中，最大值与最 小值差异大，样本包括不同污染程度的多种水体，此外，本实验涉及的样本 数量大、水质指标多，为建立水质指标预测模型提供有利条件。
表1仪器及分析方法
表2化学分析结果
S3、三维荧光光谱测量
采用日立F4600型荧光分光光度计测量水样三维荧光光谱，该仪器在 保留原有光路设计的基础上添加安捷伦AAS自动进样和反射光栅清洗装 置，在底部kwv3装避震装置，可实现在水质自动站或监测车中的连续快速 原位监测。
每次对空白样品进行扫描后再进行水样测量，三维荧光光谱测量前，先 将水样摇匀后静置至室温，若水样的荧光强度超出仪器测量范围，须用超纯 水稀释，样品光谱平行测试的相对精度偏差应小于2％，同批水样的光谱分 析与化学分析时间间隔不超过24h，光谱测量参数设置如下：激发波长Ex为220nm～400nm，采样间隔5nm；发射波长Em为260nm～520nm，采样间 隔1nm；狭缝宽度为10nm，扫描速度为12000nm·min-1。
S4、模型建立：
本发明采用MATLAB2019软件构建水质指标预测模型，训练集与测试 集样本的划分采用随机抽样法，抽取20％的样本作为测试集，用于评价模 型的泛化能力和预测效果，剩余样本作为训练集用于建立预测模型。
①、数据预处理
从步骤S3数据，使用Delaunay三角形内插值法对原始光谱中包含的瑞 利散射和拉曼散射进行修正，为消除实验环境变化和光谱仪光源波动的影 响，从样品光谱中扣除空白样品光谱，并用空白样品在Ex＝348nm和 Em＝397nm处的拉曼峰强度值对去散射处理后的样品光谱强度值进行拉曼归 一化处理。
②、线性支持向量回归模型(LIBLINEAR)
本发明将每个激发-发射波长对应的荧光强度作为水质指标的潜在预测 因子，为降低数据冗余度、提高模型收敛度，将步骤①预处理后的三维荧光 光谱去除激发波长大于发射波长的光谱区域，结合T、DO和pH值形成 7601维向量，将该向量作为算法的输入，以各水质指标的化学分析结果作 为算法目标值，使用LIBLINEAR工具包建立L2正则L2误差支持向量回归 模型，通过调整权重向量ω，使L2正则项与L2误差项之和最小。
式1中，yi为各水质指标的化学分析结果，N为样本数量，C为惩罚因子， ε为不敏感度。
运用网格点搜索法和交叉验证法相结合对C和ε因子进行自动寻优，即 建立双层循环交叉验证，外层对
进行循环，针对每 一个ε建立内层循环对C∈(Cmin,2Cmin,4Cmin,...,Cmax)进行交叉验证，C和ε的选 择范围由算法根据训练集自动设定，以每组交叉验证集的均方根误差 (CVMSE)的最小值为寻优指标，选择对应的C和ε用以建立模型对测试 集进行预测。
③、模型评价标准
使用决定系数r2和均方根误差RMSE作为本发明模型效果的评价指 标。训练集决定系数rc 2和测试集决定系数rp 2越接近1，说明模型相关性越 高、预测效果越好；训练集均方根误差RMSEC和测试集均方根误差 RMSEP的数值越小说明模型精度越高，泛化能力越强，训练集和测试集决 定系数按照式2计算，训练集和测试集均方根误差按式3计算。
式2、3中，
为算法预测值，yi为各水质指标的化学分析结果，
为各水 质指标真实值的均值，N为样本数量。
④、水质分类标准及方法
表3是根据GB3838-2002《地表水环境质量标准》和《城市黑臭水体整 治工作指南》中的标准限值制定的水质分类标准，基于该标准使用模型预测 结果对有机污染指标相关的水质等级进行判断，针对不同的水质判断需求， 本发明设计了如表4所示的4种水质分级方法，方法的分级数量越多，对水 质状况的区分越细致，其中“劣Ⅴ类”在本发明中定义为超过Ⅴ类标准限值但 尚未达到轻度黑臭的水体。
表3水质分类标准限值
表4 4种水质分级方法
S5、最后结合算法、各类标准数据进行水质指标模型建立，从而进行 实时检测、监测地表水质污染状况。
图1为水质预测模型中三维荧光光谱权重的分布图，如图1所示，各模 型权重较大的三维荧光光谱位置主要分布在7个荧光区域，荧光区域的范围 和对应组分信息如表5所示，可知A～F均为水体中常见溶解性有机污染物 的特征荧光区域，其中A与水体中的分子量较大的类腐殖酸相关；B区域 内的荧光峰常出现在城市废水光谱中，被认为是与微生物相关的类腐殖质物 质；C对应类富里酸的荧光特征峰，其来源为陆源前驱染物；D为游离态类 色氨酸的荧光峰，其光谱值与水体中微生物细胞数量紧密相关，可以表征水 生态系统的微生物活性；E和F为酪氨酸等芳香族蛋白质的特征光谱范围， 主要来自生活源有机污染；G被定义为类色氨酸的特征光谱区域，其光谱强 度同采样断面与污染源排口之间的距离和水体中污染物的新鲜程度有关。
由图2可知，6项水质指标预测模型中正权重均主要分布于6个荧光区 域内(A～F)，而负权重主要集中在G区域中，说明6项水质指标预测值均 与色氨酸、酪氨酸、类腐殖酸、类富里酸和类蛋白等有机污染物的荧光强度 成正比，与G区域的荧光值成反比。此外，各预测模型的权重分布略有不 同，其中CODCr模型正权重的覆盖范围大于CODMn，说明有更多的有机物 荧光信号会对CODCr的预测结果产生正影响；D、E和F所代表的蛋白质和 氨基酸荧光区域在NH3-N和TN模型中具有较大的正权重，并且TN模型具 有更大的正权重范围；TP的正权重分布较为集中在类腐植酸特征范围内； BOD5的正权重集中在D区域内，说明BOD5的预测值与色氨酸光谱强度具 有较高相关性，由此可知，基于全波段的预测模型与以往的固定点式光谱模 型相比，该模型能够针对不同的水质指标对每一个光谱位置设置相应的权重，并且模型权重分布符合水质指标与有机污染物的逻辑关系，可以更加充 分地利用水体三维荧光光谱信息建立光谱与有机污染物之间的定量关系。
表5荧光区域范围及组分
基于全波段光谱模型的水质指标预测结果如表6所示，各水质指标预测 模型的训练集决定系数rc 2均大于0.8，且rp 2接近于rc 2，说明LIBLINEAR 算法的预测值与各水质指标的化学分析值拟合度均较高，此外，各水质指标 预测模型的RMSCP与RMSEC的差距较小，说明训练得到的模型精度高、 预测能力强、泛化能力好。
表6模型预测结果
图2为使用Matlab2019软件进行的模型预测值与化学分析值的相关性 分析。从图2可知，CODCr、CODMn、NH3-N、TN、BOD5和TP六项水质 指标的预测值和实际测量值之间的相关系数R分别为0.95、0.92、0.92、 0.91、0.94和0.90，并且通过了p＝0.05的显著性水平检验，说明Linear SVM模型预测的各水质指标结果与国标及行业标准分析结果具有较高的拟 合度，证明了三维荧光光谱技术用于监测水质污染状况的可行性，本方法可 为城市及周边地表水的快速、原位、高效监测提供解决方案。
为了验证水质分类的预测效果，使用LIBLINEAR模型对100个未知水 样进行水质指标预测，并用预测结果按照表3中的标准判断其水质类别。分 类预测效果通过准确率A和F1分数两个指标评价。其中A代表正确判断的 样本数和总样本数的比值；F1分数是查准率P和查全率Re的调和平均数， 可以综合评价分类效果。计算公式如下：
A＝(TP+TN)/(TP+TN+FP+FN)，
P＝TP/(TP+FP)，
Re＝TP/(TP+FN)，
F1＝2×P×Re/(P+Re)。
其中TP为真正例样本数，TN为真反例样本数，FP为假正例样本数，FN为 假反例样本数。
图3为表4中4种分级方法的水质分类结果，如图3所示，方法1、 2、3、4的水质分类准确率分别为86％、74％、67％、60％，F1分数分别 0.93、0.88、0.84、0.77，随着分级的细化，水质分类准确率和F1分数有所 下降，说明水质指标预测结果对清洁水体的细化分类稍有不足，但对较重污 染水体的水质分级具有较高的正确率和识别精度。总之，本方法可以快速判 断水质等级，并同步显示超标污染物及其浓度值，实现对地表水水质的高效 监测和精准评价。
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排 他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包 括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过 程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明范围由所附权利要求及其等同物限。
Claims (4)
1.一种基于光谱技术和线性支持向量算法的水质检测方法，其特征在于，包括以下步骤：
S1、样品采集：使用直立采样器采集水面下深处的水体，静置30min后取上层清液，按照水质采样规范平行分装在棕色玻璃瓶中，并且在4℃下保存玻璃瓶，采样现场同时测量水体的温度(T)、溶解氧(DO)含量和pH值；
S2、化学分析：将样品摇匀并静置30min后取上层清液进行检测，检测方法参照相关国标和行业标准；
S3、三维荧光光谱测量：采用荧光分光光度计测量水样三维荧光光谱，该仪器在保留原有光路设计的基础上添加自动进样和清洗装置，在底部加装避震装置；
S4、数据模型算法建立：
①、数据预处理：处理所述步骤S3产生的数据，使用Delaunay三角形内插值法对原始光谱中包含的瑞利散射和拉曼散射进行修正；
②、线性支持向量回归模型：将每个激发-发射波长对应的荧光强度作为水质指标的潜在预测因子，将所述①步骤预处理后的三维荧光光谱去除激发波长大于发射波长的光谱区域，结合T、DO和pH值形成7601维向量，将该向量作为算法的输入，以各水质指标的化学分析结果作为算法目标值，使用LIBLINEAR工具包建立L2正则L2误差支持向量回归模型，通过调整权重向量，使L2正则项与L2误差项之和最小，所述公式1为，
式1中,yi为各水质指标的化学分析结果，N为样本数量，C为惩罚因子，ε为不敏感度。
根据所述公式1运用网格点搜索法和交叉验证法相结合对C和ε因子进行自动寻优，即建立双层循环交叉验证，外层对
进行循环，针对每一个ε建立内层循环对C∈(Cmin,2Cmin,4Cmin,...,Cmax)进行交叉验证，C和ε的选择范围由算法根据训练集自动设定，以每组交叉验证集的均方根误差(CVMSE)的最小值为寻优指标，选择对应的C和ε用以建立模型对测试集进行预测
③、建立模型评价标准：使用决定系数r2和均方根误差RMSE作为本发明模型效果的评价指标；
④、建立水质分类标准：采用GB3838-2002中的标准限值制定的水质分类标准；
S5、最后结合算法、各类标准数据进行水质指标模型建立，从而进行实时检测、监测地表水质污染状况。
2.根据权利要求1所述的一种基于光谱技术和线性支持向量算法的水质检测方法，其特征在于：
所述步骤S3、三维荧光光谱测量中：每次对空白样品进行扫描后再进行水样测量，三维荧光光谱测量前，先将水样摇匀后静置至室温。若水样的荧光强度超出仪器测量范围，须用超纯水稀释，样品光谱平行测试的相对精度偏差应小于2％，同批次水样的光谱分析与化学分析时间间隔不超过24h，其中所述光谱测量参数设置为：激发波长Ex为220～400nm，采样间隔5nm；发射波长Em为260～520nm，采样间隔1nm；狭缝宽度为10nm，扫描速度为12000nm·min-1；
所述步骤S4、模型建立中：
①、数据预处理：从步骤S3当中测量样品光谱中扣除空白样品光谱，并用空白样品在Ex＝348nm和Em＝397nm处的拉曼峰强度值对去散射处理后的样品光谱强度值进行拉曼归一化处理；
③、建立模型评价标准：所述训练集和测试集决定系数r2按照式2计算，训练集和测试集均方根误差RMSE按式3计算，
所述式2为：
所述式3为：
式2、3中，
为算法预测值，yi为各水质指标的化学分析结果，
为各水质指标真实值的均值，N为样本数量。
3.根据权利要求1所述的一种基于光谱技术和线性支持向量算法的水质检测方法，其特征在于：所述步骤S1、样品采集中：所述使用直立采样器采集水面下50cm-60cm深处的水体。
4.根据权利要求1所述的一种基于光谱技术和线性支持向量算法的水质检测方法，其特征在于：所述步骤S2、化学分析中：所述所有样品在采样1周内完成分析测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110820555.0A CN113916847B (zh) | 2021-07-20 | 2021-07-20 | 一种基于光谱技术和线性支持向量算法的水质检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110820555.0A CN113916847B (zh) | 2021-07-20 | 2021-07-20 | 一种基于光谱技术和线性支持向量算法的水质检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113916847A true CN113916847A (zh) | 2022-01-11 |
| CN113916847B CN113916847B (zh) | 2024-04-09 |
Family
ID=79232928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110820555.0A Active CN113916847B (zh) | 2021-07-20 | 2021-07-20 | 一种基于光谱技术和线性支持向量算法的水质检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113916847B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114878528A (zh) * | 2022-04-21 | 2022-08-09 | 宁波大学 | 基于三维荧光光谱法对地表水表面浮油快速溯源的方法 |
| CN115389439A (zh) * | 2022-10-28 | 2022-11-25 | 湖南长理尚洋科技有限公司 | 基于大数据的河流污染物监测方法及系统 |
| CN115598317A (zh) * | 2022-10-24 | 2023-01-13 | 哈尔滨工业大学（Cn） | 一种利用溶解有机物组分和光谱指数监测水中化学需氧量浓度的方法 |
| CN116660486A (zh) * | 2023-05-24 | 2023-08-29 | 重庆交通大学 | 一种基于大型底栖动物bi指数的水质评价标准确定方法 |
| CN116973348A (zh) * | 2023-09-20 | 2023-10-31 | 恒天益科技（深圳）有限公司 | 一种紫外光度法cod在线的水质分析方法及其系统 |
| CN117192057A (zh) * | 2023-09-08 | 2023-12-08 | 湛蓝之源(广东)环保技术有限公司 | 一种水质检测方法、装置及存储介质 |
| CN117557917A (zh) * | 2024-01-11 | 2024-02-13 | 杭州海康威视数字技术股份有限公司 | 水质检测方法和装置 |
| CN117808173A (zh) * | 2024-02-29 | 2024-04-02 | 四川省水利科学研究院 | 水田肥度检测方法、相关产品及基于其的种植方法 |
| CN117192057B (zh) * | 2023-09-08 | 2024-05-28 | 湛蓝之源(广东)环保技术有限公司 | 一种水质检测方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102661923A (zh) * | 2012-05-03 | 2012-09-12 | 四川碧朗科技有限公司 | 一种复合型水质多参数在线自动监测仪 |
| US20120280146A1 (en) * | 2009-12-16 | 2012-11-08 | Spectralys Innovation | Method and spectroscopic analysis appliance, especially for analysing food, with multi-channel treatment of spectral data |
| CN109470667A (zh) * | 2018-11-14 | 2019-03-15 | 华东理工大学 | 一种结合水质参数和三维荧光光谱进行污染物溯源的方法 |
| CN109975262A (zh) * | 2019-04-15 | 2019-07-05 | 上海交通大学 | 一种基于三维荧光区域积分法优化全光谱监测cod方法 |
-
2021
- 2021-07-20 CN CN202110820555.0A patent/CN113916847B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120280146A1 (en) * | 2009-12-16 | 2012-11-08 | Spectralys Innovation | Method and spectroscopic analysis appliance, especially for analysing food, with multi-channel treatment of spectral data |
| CN102661923A (zh) * | 2012-05-03 | 2012-09-12 | 四川碧朗科技有限公司 | 一种复合型水质多参数在线自动监测仪 |
| CN109470667A (zh) * | 2018-11-14 | 2019-03-15 | 华东理工大学 | 一种结合水质参数和三维荧光光谱进行污染物溯源的方法 |
| CN109975262A (zh) * | 2019-04-15 | 2019-07-05 | 上海交通大学 | 一种基于三维荧光区域积分法优化全光谱监测cod方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杜树新;蒋丹红;李林军;: "基于支持张量机回归的三维荧光光谱法水体有机污染物浓度检测", 高技术通讯, no. 01, 15 January 2014 (2014-01-15) * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114878528A (zh) * | 2022-04-21 | 2022-08-09 | 宁波大学 | 基于三维荧光光谱法对地表水表面浮油快速溯源的方法 |
| CN115598317A (zh) * | 2022-10-24 | 2023-01-13 | 哈尔滨工业大学（Cn） | 一种利用溶解有机物组分和光谱指数监测水中化学需氧量浓度的方法 |
| CN115389439A (zh) * | 2022-10-28 | 2022-11-25 | 湖南长理尚洋科技有限公司 | 基于大数据的河流污染物监测方法及系统 |
| CN116660486A (zh) * | 2023-05-24 | 2023-08-29 | 重庆交通大学 | 一种基于大型底栖动物bi指数的水质评价标准确定方法 |
| CN117192057A (zh) * | 2023-09-08 | 2023-12-08 | 湛蓝之源(广东)环保技术有限公司 | 一种水质检测方法、装置及存储介质 |
| CN117192057B (zh) * | 2023-09-08 | 2024-05-28 | 湛蓝之源(广东)环保技术有限公司 | 一种水质检测方法、装置及存储介质 |
| CN116973348A (zh) * | 2023-09-20 | 2023-10-31 | 恒天益科技（深圳）有限公司 | 一种紫外光度法cod在线的水质分析方法及其系统 |
| CN116973348B (zh) * | 2023-09-20 | 2023-12-05 | 恒天益科技（深圳）有限公司 | 一种紫外光度法cod在线的水质分析方法及其系统 |
| CN117557917A (zh) * | 2024-01-11 | 2024-02-13 | 杭州海康威视数字技术股份有限公司 | 水质检测方法和装置 |
| CN117557917B (zh) * | 2024-01-11 | 2024-05-03 | 杭州海康威视数字技术股份有限公司 | 水质检测方法和装置 |
| CN117808173A (zh) * | 2024-02-29 | 2024-04-02 | 四川省水利科学研究院 | 水田肥度检测方法、相关产品及基于其的种植方法 |
| CN117808173B (zh) * | 2024-02-29 | 2024-04-30 | 四川省水利科学研究院 | 水田肥度检测方法、相关产品及基于其的种植方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113916847B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113916847A (zh) | 一种基于光谱技术和线性支持向量算法的水质检测方法 | |
| Wu et al. | Identification of anthropogenic effects and seasonality on water quality in Daya Bay, South China Sea | |
| CN109470667A (zh) | 一种结合水质参数和三维荧光光谱进行污染物溯源的方法 | |
| Ishaq S et al. | Spatial and temporal variation in water quality of River Benue, Nigeria | |
| Chen et al. | Review of the Application of Near‐Infrared Spectroscopy Technology to Determine the Chemical Composition of Animal Manure | |
| Almomani et al. | Monitoring and measurement of microalgae using the first derivative of absorbance and comparison with chlorophyll extraction method | |
| Kwak et al. | Estimation of biochemical oxygen demand based on dissolved organic carbon, UV absorption, and fluorescence measurements | |
| Sikder et al. | Spatial variations in trophic-functional patterns of periphytic ciliates and indications to water quality in coastal waters of the Yellow Sea | |
| Wang et al. | Using EEM-PARAFAC to identify and trace the pollution sources of surface water with receptor models in Taihu Lake Basin, China | |
| CN105158175A (zh) | 一种采用透射光谱鉴别水中细菌的方法 | |
| Xing et al. | Quantitative estimation of wastewater quality parameters by hyperspectral band screening using GC, VIP and SPA | |
| CN111398539A (zh) | 一种基于大数据和分子生物技术的水质微生物指示方法 | |
| CN114136900B (zh) | 一种结合紫外可见光吸收光谱技术的水质检测方法 | |
| Wang et al. | Effects of industry structures on water quality in different urbanized regions using an improved entropy-weighted matter-elementmethodology | |
| CN115691670B (zh) | 一种基于微生物群落特异性响应的河流生态系统健康评价方法 | |
| Xu et al. | Rapid field estimation of biochemical oxygen demand in a subtropical eutrophic urban lake with chlorophyll a fluorescence | |
| Morgado et al. | Bottom-up evaluation of the uncertainty of the quantification of microplastics contamination in sediment samples | |
| CN114894725A (zh) | 一种水质多参数的光谱数据Stacking融合模型及水质多参数测量方法 | |
| Rousso et al. | Cyanobacteria species dominance and diversity in three Australian drinking water reservoirs | |
| CN105911003A (zh) | 基于rbm回归的水质toc浓度分析方法 | |
| CN113049499A (zh) | 水体总氮浓度间接遥感反演方法、存储介质和终端设备 | |
| TOKATLI | Water quality assessment of Yazır Pond (Tekirdağ, Turkey): An application of water quality index | |
| CN116818693A (zh) | 基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法 | |
| CN116402389A (zh) | 一种混合用地类型的流域水体污染源解析方法 | |
| Zhang et al. | Understanding Organic Nonpoint‐Source Pollution in Watersheds via Pollutant Indicators, Disinfection By‐Product Precursor Predictors, and Composition of Dissolved Organic Matter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |