CN116818693A - 基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法 - Google Patents
基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法 Download PDFInfo
- Publication number
- CN116818693A CN116818693A CN202310825255.0A CN202310825255A CN116818693A CN 116818693 A CN116818693 A CN 116818693A CN 202310825255 A CN202310825255 A CN 202310825255A CN 116818693 A CN116818693 A CN 116818693A
- Authority
- CN
- China
- Prior art keywords
- index
- spectrum
- water
- dimensional fluorescence
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000002189 fluorescence spectrum Methods 0.000 title claims abstract description 60
- 238000012544 monitoring process Methods 0.000 title claims abstract description 46
- 238000002371 ultraviolet--visible spectrum Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 42
- 239000003344 environmental pollutant Substances 0.000 claims abstract description 40
- 231100000719 pollutant Toxicity 0.000 claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 24
- ZAMOUSCENKQFHK-UHFFFAOYSA-N Chlorine atom Chemical compound [Cl] ZAMOUSCENKQFHK-UHFFFAOYSA-N 0.000 claims abstract description 18
- 239000000460 chlorine Substances 0.000 claims abstract description 18
- 229910052801 chlorine Inorganic materials 0.000 claims abstract description 18
- 238000013145 classification model Methods 0.000 claims abstract description 18
- QJZYHAIUNVAGQP-UHFFFAOYSA-N 3-nitrobicyclo[2.2.1]hept-5-ene-2,3-dicarboxylic acid Chemical compound C1C2C=CC1C(C(=O)O)C2(C(O)=O)[N+]([O-])=O QJZYHAIUNVAGQP-UHFFFAOYSA-N 0.000 claims abstract description 15
- -1 ferric iron ions Chemical class 0.000 claims abstract description 15
- 239000004021 humic acid Substances 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 229910052782 aluminium Inorganic materials 0.000 claims abstract description 11
- 238000007635 classification algorithm Methods 0.000 claims abstract description 11
- 229910002651 NO3 Inorganic materials 0.000 claims abstract description 7
- NHNBFGGVMKEFGY-UHFFFAOYSA-N Nitrate Chemical compound [O-][N+]([O-])=O NHNBFGGVMKEFGY-UHFFFAOYSA-N 0.000 claims abstract description 7
- 241000894006 Bacteria Species 0.000 claims abstract description 5
- 238000002790 cross-validation Methods 0.000 claims abstract description 4
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims abstract description 4
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000002835 absorbance Methods 0.000 claims description 11
- 238000001228 spectrum Methods 0.000 claims description 11
- 238000000862 absorption spectrum Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- VTLYFUHAOXGGBS-UHFFFAOYSA-N Fe3+ Chemical compound [Fe+3] VTLYFUHAOXGGBS-UHFFFAOYSA-N 0.000 claims description 6
- 229910001447 ferric ion Inorganic materials 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000007477 logistic regression Methods 0.000 claims description 5
- QIVBCDIJIAJPQS-VIFPVBQESA-N L-tryptophane Chemical compound C1=CC=C2C(C[C@H](N)C(O)=O)=CNC2=C1 QIVBCDIJIAJPQS-VIFPVBQESA-N 0.000 claims description 4
- OUYCCCASQSFEME-QMMMGPOBSA-N L-tyrosine Chemical compound OC(=O)[C@@H](N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-QMMMGPOBSA-N 0.000 claims description 4
- 238000001069 Raman spectroscopy Methods 0.000 claims description 4
- QIVBCDIJIAJPQS-UHFFFAOYSA-N Tryptophan Natural products C1=CC=C2C(CC(N)C(O)=O)=CNC2=C1 QIVBCDIJIAJPQS-UHFFFAOYSA-N 0.000 claims description 4
- 230000001580 bacterial effect Effects 0.000 claims description 4
- YPJKMVATUPSWOH-UHFFFAOYSA-N nitrooxidanyl Chemical compound [O][N+]([O-])=O YPJKMVATUPSWOH-UHFFFAOYSA-N 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- OUYCCCASQSFEME-UHFFFAOYSA-N tyrosine Natural products OC(=O)C(N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-UHFFFAOYSA-N 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 239000008400 supply water Substances 0.000 abstract description 3
- 230000000052 comparative effect Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 239000011572 manganese Substances 0.000 description 9
- 235000020188 drinking water Nutrition 0.000 description 7
- 239000003651 drinking water Substances 0.000 description 7
- 239000000356 contaminant Substances 0.000 description 6
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 5
- 239000007864 aqueous solution Substances 0.000 description 5
- 229910021645 metal ion Inorganic materials 0.000 description 5
- 239000008399 tap water Substances 0.000 description 5
- 235000020679 tap water Nutrition 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- VSCWAEJMTAWNJL-UHFFFAOYSA-K aluminium trichloride Chemical compound Cl[Al](Cl)Cl VSCWAEJMTAWNJL-UHFFFAOYSA-K 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004587 chromatography analysis Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000840 electrochemical analysis Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001506 fluorescence spectroscopy Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000813 microbial effect Effects 0.000 description 2
- FGIUAXJPYTZDNR-UHFFFAOYSA-N potassium nitrate Chemical compound [K+].[O-][N+]([O-])=O FGIUAXJPYTZDNR-UHFFFAOYSA-N 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000588724 Escherichia coli Species 0.000 description 1
- 229910021578 Iron(III) chloride Inorganic materials 0.000 description 1
- 239000005708 Sodium hypochlorite Substances 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 238000010170 biological method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 238000000695 excitation spectrum Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004009 herbicide Substances 0.000 description 1
- 239000003864 humus Substances 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- RBTARNINKXHZNM-UHFFFAOYSA-K iron trichloride Chemical compound Cl[Fe](Cl)Cl RBTARNINKXHZNM-UHFFFAOYSA-K 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- WPBNNNQJVZRUHP-UHFFFAOYSA-L manganese(2+);methyl n-[[2-(methoxycarbonylcarbamothioylamino)phenyl]carbamothioyl]carbamate;n-[2-(sulfidocarbothioylamino)ethyl]carbamodithioate Chemical compound [Mn+2].[S-]C(=S)NCCNC([S-])=S.COC(=O)NC(=S)NC1=CC=CC=C1NC(=S)NC(=O)OC WPBNNNQJVZRUHP-UHFFFAOYSA-L 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 239000002957 persistent organic pollutant Substances 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 235000010333 potassium nitrate Nutrition 0.000 description 1
- 239000004323 potassium nitrate Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- SUKJFIGYRHOWBL-UHFFFAOYSA-N sodium hypochlorite Chemical compound [Na+].Cl[O-] SUKJFIGYRHOWBL-UHFFFAOYSA-N 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000000870 ultraviolet spectroscopy Methods 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种基于紫外‑可见光谱和三维荧光光谱融合的二次供水水质在线监测方法，包括：配置s个水样作为训练集，训练集中水样含有不同含量的污染物，污染物为细菌、硝酸盐、三价铁离子、三价铝离子、余氯和腐殖酸；测试训练集中每个水样的紫外‑可见光谱、三维荧光光谱和电导率，根据紫外‑可见光谱、三维荧光光谱和电导率计算获得训练集s个水样的矩阵Ds×p，将训练集中每一行数据作为一个样本；将训练集先后使用有监督分类算法和k折交叉验证方法进行训练，构建分类模型，对测试集进行分类预测，该二次供水水质在线监测方法拓展了所预测水质指标的类型，提高分类模型的计算精度。
Description
技术领域
本发明属于水质监测技术领域，具体来说涉及一种基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法。
背景技术
随着我国城市化进程的推进，高层建筑不断增加，二次供水系统已经成为城市供水的重要组成部分。在该系统中，集中式供水会经历长时间停留、储存、加压等过程再输送给用户，因此，二次供水中易出现高锰酸盐指数(CODMn)、余氯、硝酸盐、浊度、铝、铁、锰和微生物菌落数等水质指标不合格现象，威胁人体健康。通过水质在线监测方法，对二次供水水质的合格/超标情况进行快速、准确的判断，是城市供水安全保障的重要前提。
目前主要的水质在线监测方法有电化学分析法、色谱分析法、生物传感技术分析方法、光谱分析法等。其中，电化学分析法通过特定电极的电信号测量水质指标，仪器简单小型、检测速度快、易实现自动化和连续监测，但不同水质指标的检测需要不同的电极，且敏感电极表面易被污染，致使仪器稳定性差、寿命短、后期维护成本高。色谱法选择性好，灵敏度高，适合微量甚至痕量有机污染物的检测，但在检测过程中往往需要与质谱仪等大型设备联用，测试复杂、周期长、成本高，难以用于自动化大规模水质在线监测。生物传感技术主要用于检测杀虫剂、除草剂等有毒有害污染物，但生物活性的测量与表述存在一定困难，失去活性的生物需要定期更换。此外，管网水输送过程中过量氯的加入也严重限制了生物法的应用。
相对于以上水质在线监测方法，光谱分析法具有灵敏度高、操作简单、分析速度快、选择性好、测量范围广、准确度高、无需化学试剂等优势，在水质监测过程中起到了巨大的作用，光谱分析以物质特征光谱为基础，通过有效识别、测量与计算特征光谱，实现物质结构、物质状态、物质组成等有效分析。其中，紫外可见光谱法(Ultraviolet visibleabsorption spectrum)和三维荧光光谱(Excitation—Emission—Matrix Spectra)均有单独应用在水质监测中。但是，在水质监测中单独采用三维荧光光谱或紫外可见光谱具有信息局限性和污染物交叉干扰，导致对水质成分的准确性和精确性有所限制。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法，该二次供水水质在线监测方法利用紫外-可见光谱和三维荧光光谱信息的互补性，构建易超标水质指标的分类模型，能够同时对多个易超标水质指标的合格/超标情况进行分类预测，更加综合全面的反映水质情况。
基于二次供水水质在线监测方法，本发明的另一目的是提供二次供水水质在线监测优化方法。
本发明的目的是通过下述技术方案予以实现的。
一种基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法，包括以下步骤：
S1，配置s个水样作为训练集，训练集中水样含有不同含量的污染物，污染物为细菌、硝酸盐、三价铁离子、三价铝离子、余氯和腐殖酸；
在所述S1中，水样中污染物指标为：每个水样中细菌的菌落总数为30～130CFU/mL，每个水样中硝酸根为4～16mg/L，每个水样中三价铁离子为0.15～0.35mg/L，每个水样中三价铝离子为0.1～0.3mg/L，每个水样中余氯为0～0.06mg/L，每个水样中CODMn为1.5～3.5mg/L。
在所述S1中，训练集中在污染物指标的阈值两侧各设置有水样；
S2，测试训练集中每个水样的紫外-可见光谱、三维荧光光谱和电导率，根据紫外-可见光谱、三维荧光光谱和电导率计算获得训练集s个水样的矩阵Ds×p，矩阵Ds×p中每列数据代表s个水样的一类指标，矩阵Ds×p中每行数据代表一个水样的全部指标，矩阵Ds×p中的全部指标包括紫外-可见光谱指标、常规三维荧光光谱指标和电导率中全部指标或者部分指标，其中，
紫外-可见光谱指标根据紫外-可见光谱计算获得，紫外-可见光谱指标包括：254nm处吸光度a254、300nm处吸光度a300、250nm和365nm处吸光度比值E2_E3、465nm和665nm处吸光度比值E4_E6、对数变换吸收光谱在275～295nm范围内的斜率S275_295、对数变换吸收光谱在350～400nm范围内的斜率S350_400、对数变换吸收光谱在300～700nm范围内的斜率S300_700、SR和一个或多个主成分的得分值，其中，SR为S275_295和S350_400的比值；
常规三维荧光光谱指标根据三维荧光光谱计算获得，常规三维荧光光谱指标包括：腐殖酸荧光峰强度Peak a、海洋腐殖酸荧光峰强度Peak m、类腐殖酸荧光峰强度Peakc、色氨酸荧光峰强度Peak t、酪氨酸荧光峰强度Peak b、荧光指数FI、生物源指数BIX、腐殖化指数HIX和f′个最佳组分；
在所述S2中，主成分的得分值的获得方法为：依据主成分的累计贡献率选取累计贡献率大于95％的主成分并获得主成分的得分值。
在所述S2中，常规三维荧光光谱指标根据预处理后三维荧光光谱计算获得，获得预处理后三维荧光光谱的方法包括：先将三维荧光光谱进行纯水背景扣除，再去除瑞利散射和拉曼散射，最后先后依次进行光谱归一化和三维荧光光谱谱图平滑与内插，得到预处理后三维荧光光谱。
在所述S2中，f′个最佳组分的获得方法为：将预处理后三维荧光光谱作为输入，对其进行平行因子法分析，得到一个或多个组分，先后依次通过载荷分析、对半分析、残差分析和核心一致性方法确定f′个最佳组分。
S3，将训练集中每一行数据作为一个样本；将训练集中每个样本分为“超标，需要处理”和“未超标，无需处理”两种类型，将训练集先后使用有监督分类算法和k折交叉验证方法进行训练，构建分类模型，其中，有监督分类算法为比选随机森林、支持向量机、线性判别分析、逻辑回归或k近邻；
将n个待测试样本作为测试集，获得测试集中n个待测试样本的矩阵Dn×p，矩阵Dn×p中每列数据代表n个待测试样本的一类指标，矩阵Dn×p的中每行数据代表一个待测试样本的全部指标，将矩阵Dn×p代入分类模型，对测试集进行分类预测，其中，矩阵Dn×p和矩阵Ds×p中第i列所代表的指标相同，i＝1、……、p。
一种二次供水水质在线监测优化方法，包括：
步骤1，根据所述二次供水水质在线监测方法获得训练集s个水样的矩阵Ds×p；
步骤2，根据训练集中某一种污染物的污染物指标以及该污染物指标的阈值，将训练集中每个样本分为“超标”和“未超标”两种类型。通过特征递归消除(rfe)方法进行筛选，获得预测该种污染物影响较大的指标；
步骤3，将该种污染物影响较大的指标作为二次供水水质在线监测方法中的指标进行操作以对测试集中该种污染物进行分类预测。
本发明的有益效果如下：
1.本发明二次供水水质在线监测方法相较于单一类型光谱所构建的模型，该二次供水水质在线监测方法拓展了所预测水质指标的类型，提高分类模型的计算精度。
2.本发明二次供水水质在线监测方法操作简单，可适合于各个地区的水质实时监测；
3.本发明二次供水水质在线监测方法具有便捷迅速的优点，运用多源数据融合分析能够拓展所检测的水质指标类别，提升对于水质指标的预测效果，大大降低了监测成本，可满足日常二次供水水质的快速监测。
4.本发明的二次供水水质在线监测优化方法通过调整指标，用少量指标即可达到相同甚至略好的分类效果，这有助于简化分类模型，减少计算量和计算时间。
附图说明
图1为紫外-可见光谱进行PCA分解结果，其中，(a)紫外可见光谱，(b)对应的前6个主成分的光谱；
图2为实施例1、对比例1～2对于余氯预测效果ROC曲线对比图；
图3为实施例1、对比例1～2对于CODMn预测效果ROC曲线对比图；
图4为实施例1、对比例1～2对于氨氮预测效果ROC曲线对比图；
图5为实施例1、对比例1～2对于金属离子预测效果ROC曲线对比图。
具体实施方式
下面结合具体实施例进一步说明本发明的技术方案。
实施例1
一种基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法，包括以下步骤：
S1，配置s个水样作为训练集，训练集中水样含有不同含量的污染物，污染物为细菌、硝酸盐、三价铁离子、三价铝离子、余氯和腐殖酸，水样中污染物指标(污染物指标：污染物在该指标上的数值)为：每个水样中细菌的菌落总数为30～130CFU/mL，每个水样中硝酸根为4～16mg/L，每个水样中三价铁离子为0.15～0.35mg/L，每个水样中三价铝离子为0.1～0.3mg/L，每个水样中余氯为0～0.06mg/L，每个水样中CODMn为1.5～3.5mg/L(每个水样中污染物指标均通过测试确定)，其中，训练集中在污染物指标的阈值两侧各设置有水样；
在本实施例中，通过在龙头水中加入污染物，模拟水质合格和超标的二次供水，其中，使用100mg/L的腐殖酸水溶液向龙头水中引入腐殖酸模拟有机污染物，使用1440CFU/mL大肠杆菌向龙头水中引入细菌模拟生物污染物，使用20mg/L氯化铁水溶液向龙头水中引入三价铁离子，使用20mg/L氯化铝水溶液向龙头水中引入三价铝离子，使用20mg/L硝酸钾水溶液向龙头水中引入硝酸盐，使用200mg/L次氯酸钠水溶液向龙头水中引入余氯，用来模拟二次供水中的余氯。污染物指标的阈值根据《生活饮用水水质标准(DB4403/T60 2020)》或《生活饮用水卫生标准(GB 5749 2022)》确定，在本实施例中根据《生活饮用水水质标准(DB4403/T60 2020)》确定，具体如表2所示。
S2，测试训练集中每个水样的紫外-可见光谱、三维荧光光谱和电导率(紫外-可见光谱和三维荧光光谱测试时，使用纯水作为空白。紫外-可见光谱的采集范围为200～800nm，步长为1nm；三维荧光光谱中激发光谱扫描范围为200～500nm，步长为10nm，三维荧光光谱中发射光谱扫描范围为250～550nm，步长10nm。)，根据紫外-可见光谱、三维荧光光谱和电导率计算获得训练集s个水样的矩阵Ds×p，矩阵Ds×p中每列数据代表s个水样的一类指标，矩阵Ds×p中每行数据代表一个水样的全部指标，矩阵Ds×p中的全部指标包括紫外-可见光谱指标、常规三维荧光光谱指标和电导率中全部指标或者部分指标，其中，
紫外-可见光谱指标根据紫外-可见光谱计算获得，紫外-可见光谱指标包括：254nm处吸光度a254、300nm处吸光度a300、250nm和365nm处吸光度比值E2_E3、465nm和665nm处吸光度比值E4_E6、对数变换吸收光谱在275～295nm范围内的斜率S275_295、对数变换吸收光谱在350～400nm范围内的斜率S350_400、对数变换吸收光谱在300～700nm范围内的斜率S300_700、SR和一个或多个主成分的得分值，其中，SR为S275_295和S350_400的比值；主成分的得分值的获得方法为：依据主成分的累计贡献率选取累计贡献率大于95％的主成分并获得主成分的得分值，在本实施例中选取前三个主成分(前三个主成分的累计贡献率大于99％)。
常规三维荧光光谱指标根据三维荧光光谱计算获得，常规三维荧光光谱指标包括：腐殖酸荧光峰强度Peak a、海洋腐殖酸荧光峰强度Peak m、类腐殖酸荧光峰强度Peakc、色氨酸荧光峰强度Peak t、酪氨酸荧光峰强度Peak b、荧光指数FI、生物源指数BIX、腐殖化指数HIX和f′个最佳组分；
腐殖酸荧光峰强度Peak a、海洋腐殖酸荧光峰强度Peak m、类腐殖酸荧光峰强度Peak c、色氨酸荧光峰强度Peak t和酪氨酸荧光峰强度Peak b的峰位置范围如表1所示。
表1
FI是荧光指数，是指当激发波长为370nm，并且发射波长分别为470和520nm时的荧光强度的比率。FI可以区分水中溶解性有机物(DOM)的来源：当FI＜1.4时DOM是陆地或土壤源输入，当FI在1.4～1.9之间表明水体DOM是陆源和自生源贡献相结合，当FI＞1.9表明微生物活动强烈。
BIX(Biological Index)是生物源指数,是指在激发波长为245nm时，发射波长分别为380和430nm的荧光强度比率。当BIX＞1表明自生来源主要受生物或细菌的影响，当BIX在0.6～0.7之间表明陆源输入或人类活动对自生源指数的影响较大。
HIX是腐殖化指数，是指是在245nm的激发波长下、435～480nm和300～345nm发射波长范围内的平均荧光强度的比率。当HIX＜4时，表明水体的DOM腐殖化程度不强，HIX在10～16时，则表明DOM具有显著的腐殖质特征。
常规三维荧光光谱指标根据预处理后三维荧光光谱计算获得，获得预处理后三维荧光光谱的方法包括：先将三维荧光光谱进行纯水背景扣除，再去除瑞利散射和拉曼散射，最后先后依次进行光谱归一化(拉曼单位)和三维荧光光谱谱图平滑与内插，得到预处理后三维荧光光谱。
f’个最佳组分的获得方法为：将预处理后三维荧光光谱作为输入，对其进行平行因子法(PARAFAC[2])分析，得到一个或多个组分，先后依次通过载荷分析、对半分析、残差分析和核心一致性方法确定f’个最佳组分。在本实施例中，通过平行因子法分析得到五个组分，确定3个最佳组分Comp1、Comp2、Comp3，即f′为3。
本实施例中指标包括紫外-可见光谱指标、常规三维荧光光谱指标和电导率中全部指标。
S3，将训练集中每一行数据作为一个样本；根据样本中全部指标是否满足《生活饮用水水质标准(DB4403/T60 2020)》或《生活饮用水卫生标准(GB 5749 2022)》，将训练集中每个样本分为“超标，需要处理”和“未超标，无需处理”两种类型，将训练集先后使用有监督分类算法和k折交叉验证方法[8]进行训练，构建分类模型，其中，有监督分类算法为比选随机森林(rf)[3]、支持向量机(SVM)[4]、线性判别分析(LDA)[5]、逻辑回归(glm)[6]或k近邻(KNN)[7]；
将n个待测试样本(水样)作为测试集，获得测试集中n个待测试样本的矩阵Dn×p，矩阵Dn×p中每列数据代表n个待测试样本的一类指标，矩阵Dn×p的中每行数据代表一个待测试样本的全部指标，将矩阵Dn×p代入分类模型，对测试集进行分类预测，其中，矩阵Dn×p和矩阵Ds×p中第i列所代表的指标相同，i＝1、……、p。
在本实施例中，按照表2中水平1～4进行正交试验，共计形成216个水样，使用分层抽样方法将216个水样中的划分训练集和测试集，在本实施例中测试集为63或64个水样。
图1中(a)反映了根据正交实验表配置的水样的紫外可见光谱全光谱，图1中(b)中经PCA分解后，前5个主成分谱图中没有明显噪声。结合图1中(c)，前3个主成分占可解释方差的99.75％，为最为主要的三个主成分，PC3之后的主成分对光谱影响极其微弱，可以忽略不计。因此，前3个主成分的得分情况用于后续的光谱分类建模。
表2
| 污染物 | 污染物指标的阈值 | 水平1 | 水平2 | 水平3 | 水平4 |
| 菌落总数(CFU/mL) | ≤100 | 130 | 90 | 70 | 30 |
| 硝酸根(mg/L) | ≤10 | 16 | 12 | 8 | 4 |
| 三价铁离子(mg/L) | ≤0.2 | 0.34 | 0.28 | 0.24 | 0.16 |
| 三价铝离子(mg/L) | ≤0.2 | 0.28 | 0.24 | 0.16 | 0.12 |
| 余氯(mg/L) | 0.05-4 | 0 | 0.03 | 0.06 | 0.11 |
| CODMn(mg/L) | ≤2 | 3.2 | 2.8 | 2.4 | 1.6 |
采用不同有监督分类算法进行分类，结果如表3所示，支持向量机算法SVM对水质综合是否超标预测较为准确，glm模型对单一指标分类准确性较高，如表3所示，其中，“国标”代表《生活饮用水卫生标准(GB 5749 2022)》，“深圳”代表《生活饮用水水质标准(DB4403/T60 2020)》。
表3
实施例2
一种二次供水水质在线监测优化方法，包括：
步骤1，根据二次供水水质在线监测方法获得训练集s个水样的矩阵Ds×p；
步骤2，根据训练集中某一种污染物的污染物指标以及该污染物指标的阈值，将训练集中每个样本分为“超标”和“未超标”两种类型，通过rfe方法[9](Recursive FeatureElimination，是一种特征筛选方法，用于选择对预测模型性能有最大贡献的特征子集。该方法通过递归地训练模型，并每次剔除最不重要的特征来进行特征筛选。)进行筛选，获得预测该种污染物影响较大的指标；
步骤3，将该种污染物影响较大的指标作为二次供水水质在线监测方法中的指标进行操作(即将实施例1中“指标”替换成“该种污染物影响较大的指标”进行操作)以对测试集中该种污染物进行分类预测。
发现当对余氯进行预测时，筛选出了对余氯影响最大的3个指标(Comp1、Comp3、Peak a)；当对CODMn进行预测时，筛选出了对腐殖酸结果影响最大的5个指标(Comp1、S300-700、BIX、a254、a300)；当对氨氮进行预测时，筛选出了对硝酸盐结果影响最大的6个指标(Comp3、S275-295、Peak m、a254、a300、Peak a)；当对金属离子进行预测时，筛选出了对三价铁离子和三价铝离子结果影响最大的5个指标(a254、a300、S350_400、S300_700、Peak c)。
当对某一污染物进行预测时，实施例2中采用对某一污染物影响较大的指标进行训练，再进行预测，分类模型的准确度与实施例1相同，且假阴性样本数更小。说明用少量指标即可达到相同甚至略好的分类效果，这有助于简化分类模型，减少计算量和计算时间。通过调整分类模型的指标，优化AUC(真阳性概率高，假阳性概率小)，以获得最优的分类模型。
对比例1
一种基于紫外-可见光谱的二次供水水质在线监测方法，与实施例1中二次供水水质在线监测方法基本一致，唯一不同之处在于指标以及有监督分类算法仅为逻辑回归(glm)，本对比例中指标为：紫外-可见光谱指标和电导率。紫外-可见光谱指标与实施例1相同。
对比例2
一种基于三维荧光光谱融合的二次供水水质在线监测方法，与实施例1中二次供水水质在线监测方法基本一致，唯一不同之处在于指标以及有监督分类算法仅为逻辑回归(glm)，本对比例中指标为：常规三维荧光光谱指标和电导率。常规三维荧光光谱指标与实施例1相同。
计算实施例1、对比例1和对比例2的ROC曲线和AUC值，以表示该分类模型在未知水样水质情况的分类性能。图2～5分别给出分类模型对测试集的余氯、CODMn、氨氮、金属离子四个易超标水质指标的预测结果。
实施例1的预测结果用ROC曲线表示，AUC值如表4所示，AUC值代表ROC曲线下的面积，AUC值越大的分类模型正确率越高，所以AUC值越接近1越好。结果表明，实施例1中余氯(图2)、CODMn(图3)、氨氮(图4)以及金属离子(图5)四个易超标水质指标的AUC值达到0.87、0.87、0.91和0.89。相较于对比例1或对比例2，其分类效果均有明显的提升。可以看出，相较于单一类型的光谱，采用本发明提出的二次供水水质在线监测方法能够显著提升水质指标合格/超标情况的预测精度。
表4
| 水质指标 | 对比例1 | 对比例2 | 实施例1(有监督分类算法为glm时) |
| 余氯 | 0.65 | 0.8 | 0.87 |
| CODMn | 0.75 | 0.8 | 0.87 |
| 氨氮 | 0.72 | 0.79 | 0.91 |
| 金属离子 | 0.72 | 0.63 | 0.89 |
[1]何晓群.现代统计分析方法与应用[M].北京:中国人民大学出版社
[2]JANHOM TANSIPHORN,WATTANACHIRA SURAPHONG,PAVASANTPRASERT.Characterization of brewery wastewater with spectrofluorometry analysis[J].Journal ofEnvionmental Management,2009,90(2):1184,1190.
[3]张颖,高倩倩.基于随机森林分类算法的巢湖水质评价[J].环境工程学报,2016,10(02):992-998.
[4]郭美叶.基于SVM的洋河张家口段水质评价[J].水利科技与经济,2018,24(01):8-12.
[5]张桂轲,唐莉华,刘志武.基于LDA模型的松花江河道氮素时空分布规律研究[J].水力发电学报,2017,36(04):48-57.
[6]马晋,何鹏,杨庆等.基于回归分析的地下水污染预警模型[J].环境工程,2019,37(10):211-215.DOI:10.13205/j.hjgc.201910036.
[7]刘炳春,符川川,李健.基于KNN&SVM的北京空气污染预测模型研究[J].产业创新研究,2017,No.1(01):32-38+72.
[8]边耐政,李硕,陈楚才.加权交叉验证神经网络在水质预测中的应用[J].计算机工程与应用,2015,51(21):255-258.
[9]项颂阳,许章华,张艺伟等.高光谱图像分类的ReliefF-RFE特征选择算法构建与应用[J].光谱学与光谱分析,2022,42(10):3283-3290.
[10]谢亚萍,程继夏,晏明全.利用差分光谱法研究硬度离子Ca～(2+)/Mg～(2+)对混凝剂铁盐与溶解性有机物络合的影响[J].环境工程学报,2019,13(05):1056-1062.
以上对本发明做了示例性的描述，应该说明的是，在不脱离本发明的核心的情况下，任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。
Claims (7)
1.一种基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法，其特征在于，包括以下步骤：
S1，配置s个水样作为训练集，训练集中水样含有不同含量的污染物，污染物为细菌、硝酸盐、三价铁离子、三价铝离子、余氯和腐殖酸；
S2，测试训练集中每个水样的紫外-可见光谱、三维荧光光谱和电导率，根据紫外-可见光谱、三维荧光光谱和电导率计算获得训练集s个水样的矩阵Ds×p，矩阵Ds×p中每列数据代表s个水样的一类指标，矩阵Ds×p中每行数据代表一个水样的全部指标，矩阵Ds×p中的全部指标包括紫外-可见光谱指标、常规三维荧光光谱指标和电导率中全部指标或者部分指标，其中，
紫外-可见光谱指标根据紫外-可见光谱计算获得，紫外-可见光谱指标包括：254nm处吸光度a254、300nm处吸光度a300、250nm和365nm处吸光度比值E2_E3、465nm和665nm处吸光度比值E4_E6、对数变换吸收光谱在275-295nm范围内的斜率S275_295、对数变换吸收光谱在350-400nm范围内的斜率S350_400、对数变换吸收光谱在300-700nm范围内的斜率S300_700、SR和一个或多个主成分的得分值，其中，SR为S275_295和S350_400的比值；
常规三维荧光光谱指标根据三维荧光光谱计算获得，常规三维荧光光谱指标包括：腐殖酸荧光峰强度Peak a、海洋腐殖酸荧光峰强度Peak m、类腐殖酸荧光峰强度Peak c、色氨酸荧光峰强度Peak t、酪氨酸荧光峰强度Peak b、荧光指数FI、生物源指数BIX、腐殖化指数HIX和f′个最佳组分；
S3，将训练集中每一行数据作为一个样本；将训练集中每个样本分为“超标，需要处理”和“未超标，无需处理”两种类型，将训练集先后使用有监督分类算法和k折交叉验证方法进行训练，构建分类模型，其中，有监督分类算法为比选随机森林、支持向量机、线性判别分析、逻辑回归或k近邻；
将n个待测试样本作为测试集，获得测试集中n个待测试样本的矩阵Dn×p，矩阵Dn×p中每列数据代表n个待测试样本的一类指标，矩阵Dn×p的中每行数据代表一个待测试样本的全部指标，将矩阵Dn×p代入分类模型，对测试集进行分类预测，其中，矩阵Dn×p和矩阵Ds×p中第i列所代表的指标相同，i＝1、……、p。
2.根据权利要求1所述的二次供水水质在线监测方法，其特征在于，在所述S1中，水样中污染物指标为：每个水样中细菌的菌落总数为30～130CFU/mL，每个水样中硝酸根为4～16mg/L，每个水样中三价铁离子为0.15～0.35mg/L，每个水样中三价铝离子为0.1～0.3mg/L，每个水样中余氯为0～0.06mg/L，每个水样中CODMn为1.5～3.5mg/L。
3.根据权利要求1所述的二次供水水质在线监测方法，其特征在于，在所述S1中，训练集中在污染物指标的阈值两侧各设置有水样。
4.根据权利要求1所述的二次供水水质在线监测方法，其特征在于，在所述S2中，主成分的得分值的获得方法为：依据主成分的累计贡献率选取累计贡献率大于95％的主成分并获得主成分的得分值。
5.根据权利要求1所述的二次供水水质在线监测方法，其特征在于，在所述S2中，常规三维荧光光谱指标根据预处理后三维荧光光谱计算获得，获得预处理后三维荧光光谱的方法包括：先将三维荧光光谱进行纯水背景扣除，再去除瑞利散射和拉曼散射，最后先后依次进行光谱归一化和三维荧光光谱谱图平滑与内插，得到预处理后三维荧光光谱。
6.根据权利要求1所述的二次供水水质在线监测方法，其特征在于，在所述S2中，f′个最佳组分的获得方法为：将预处理后三维荧光光谱作为输入，对其进行平行因子法分析，得到一个或多个组分，先后依次通过载荷分析、对半分析、残差分析和核心一致性方法确定f′个最佳组分。
7.一种二次供水水质在线监测优化方法，其特征在于，包括：
步骤1，根据权利要求1～6中任意一项所述二次供水水质在线监测方法获得训练集s个水样的矩阵Ds×p；
步骤2，根据训练集中某一种污染物的污染物指标以及该污染物指标的阈值，将训练集中每个样本分为“超标”和“未超标”两种类型，通过rfe方法进行筛选，获得预测该种污染物影响较大的指标；
步骤3，将该种污染物影响较大的指标作为权利要求1～6中任意一项所述二次供水水质在线监测方法中的指标进行操作以对测试集中该种污染物进行分类预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825255.0A CN116818693A (zh) | 2023-07-06 | 2023-07-06 | 基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825255.0A CN116818693A (zh) | 2023-07-06 | 2023-07-06 | 基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116818693A true CN116818693A (zh) | 2023-09-29 |
Family
ID=88125654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310825255.0A Pending CN116818693A (zh) | 2023-07-06 | 2023-07-06 | 基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116818693A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316277A (zh) * | 2023-11-29 | 2023-12-29 | 吉林大学 | 一种基于荧光光谱的基因检测数据处理方法 |
-
2023
- 2023-07-06 CN CN202310825255.0A patent/CN116818693A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117316277A (zh) * | 2023-11-29 | 2023-12-29 | 吉林大学 | 一种基于荧光光谱的基因检测数据处理方法 |
| CN117316277B (zh) * | 2023-11-29 | 2024-02-06 | 吉林大学 | 一种基于荧光光谱的基因检测数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Water quality assessment based on the water quality index method in Lake Poyang: The largest freshwater lake in China | |
| Bertone et al. | Fluorescence probes for real-time remote cyanobacteria monitoring: A review of challenges and opportunities | |
| US11561169B2 (en) | Method for constructing water quality index prediction models and method for monitoring water quality indexes | |
| Bieroza et al. | Classification and calibration of organic matter fluorescence data with multiway analysis methods and artificial neural networks: an operational tool for improved drinking water treatment | |
| CN113916847B (zh) | 一种基于光谱技术和线性支持向量算法的水质检测方法 | |
| Yu et al. | Identifying changes in dissolved organic matter content and characteristics by fluorescence spectroscopy coupled with self-organizing map and classification and regression tree analysis during wastewater treatment | |
| Kwak et al. | Estimation of biochemical oxygen demand based on dissolved organic carbon, UV absorption, and fluorescence measurements | |
| Nakar et al. | Quantification of bacteria in water using PLS analysis of emission spectra of fluorescence and excitation-emission matrices | |
| Liu et al. | Absorption and fluorescence properties of chromophoric dissolved organic matter: implications for the monitoring of water quality in a large subtropical reservoir | |
| CN116818693A (zh) | 基于紫外-可见光谱和三维荧光光谱融合的二次供水水质在线监测方法 | |
| CN103712939A (zh) | 一种基于紫外可见光谱的污染物浓度拟合方法 | |
| Boyacioglu et al. | Application of factor analysis in the assessment of surface water quality in Buyuk Menderes River Basin | |
| Ejarque-Gonzalez et al. | Self-organising maps and correlation analysis as a tool to explore patterns in excitation-emission matrix data sets and to discriminate dissolved organic matter fluorescence components | |
| Zhu et al. | Online recognition of drainage type based on UV-vis spectra and derivative neural network algorithm | |
| Peleato et al. | Investigation of fluorescence methods for rapid detection of municipal wastewater impact on drinking water sources | |
| Li et al. | Global calibration model of UV-Vis spectroscopy for COD estimation in the effluent of rural sewage treatment facilities | |
| Liu et al. | Tracing sources of oilfield wastewater based on excitation-emission matrix fluorescence spectroscopy coupled with chemical pattern recognition techniques | |
| Moufid et al. | Pollution parameters evaluation of wastewater collected at different treatment stages from wastewater treatment plant based on E-nose and E-tongue systems combined with chemometric techniques | |
| Park et al. | Monitoring the influence of wastewater effluent on a small drinking water system using EEM fluorescence spectroscopy coupled with a PARAFAC and PCA statistical approach | |
| Bukin et al. | Interconnection of bacterial and phytoplanktonic communities with hydrochemical parameters from ice and under-ice water in coastal zone of Lake Baikal | |
| Fogelman et al. | Estimation of chemical oxygen demand by ultraviolet spectroscopic profiling and artificial neural networks | |
| CN113283072B (zh) | 一种适用于多场景条件的水体cod检测方法 | |
| CN114894725A (zh) | 一种水质多参数的光谱数据Stacking融合模型及水质多参数测量方法 | |
| CN114460055A (zh) | 基于“聚类-回归”的光谱法监测cod的方法与装置 | |
| Geng et al. | A comprehensive review on the excitation-emission matrix fluorescence spectroscopic characterization of petroleum-containing substances: principles, methods, and applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |