CN113033623A - 基于紫外-可见吸收光谱的污染源识别方法及系统 - Google Patents
基于紫外-可见吸收光谱的污染源识别方法及系统 Download PDFInfo
- Publication number
- CN113033623A CN113033623A CN202110246417.6A CN202110246417A CN113033623A CN 113033623 A CN113033623 A CN 113033623A CN 202110246417 A CN202110246417 A CN 202110246417A CN 113033623 A CN113033623 A CN 113033623A
- Authority
- CN
- China
- Prior art keywords
- pollution source
- module
- sample
- source identification
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000000862 absorption spectrum Methods 0.000 title claims abstract description 36
- 238000001228 spectrum Methods 0.000 claims abstract description 33
- 230000003595 spectral effect Effects 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000007635 classification algorithm Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000002790 cross-validation Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000035945 sensitivity Effects 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 238000004847 absorption spectroscopy Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000010790 dilution Methods 0.000 claims description 3
- 239000012895 dilution Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 5
- 238000011835 investigation Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 235000013361 beverage Nutrition 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002371 ultraviolet--visible spectrum Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- 238000004224 UV/Vis absorption spectrophotometry Methods 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 150000001450 anions Chemical class 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000005374 membrane filtration Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/33—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using ultraviolet light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于紫外‑可见吸收光谱的污染源识别方法及系统,该方法包括:采集污染源样品;样品预处理;对预处理后的污染源样品进行紫外‑可见吸收光谱测试得到污染源样品的光谱数据;对光谱数据进行预处理,将预处理后的光谱数据进行标准正态变换;根据标准正态变换后光谱数据及分类算法建立污染源识别模型并进行训练;通过训练后的污染源识别模型进行污染源识别。该系统包括取样模块、样品预处理模块、进样模块、光谱采集模块、数据交换模块、显示模块和系统控制模块。该方法及系统成本低、时效性高、可操作性强,有利于大范围推广,对污染溯源具有重要意义。
Description
技术领域
本发明涉及环境监管技术领域,特别涉及一种基于紫外-可见吸收光谱的污染源识别方法及系统。
背景技术
目前对污染源的识别主要依靠人工排查。人工排查是指污染事故发生后从事故地点逐步向上游排查各个污染源以实现溯源。但这种方法费时费力,容易丧失时效性,效率较低。
基于污染源数据库辅助的人工排查方法能够减少污染事故后的排查时间和工作量,提高排查效率。此前,北京化工大学万平玉等人提出了包含了阴离子种类、有机物种类、金属元素种类、以及荧光信息等污染源化学水纹信息数据库用于水体污染溯源。但该数据库的指标较多,仪器昂贵,前期建库工作量非常大,实际可操作性较差,难以在实际中应用和推广。相关技术中提出了一种可操作性较强的新型水污染排放源数据库,该数据库包含污染源基本信息库、常规水质数据库和水质指纹数据库三个子库,但依然较为复杂,成本较高。此外,这些数据库在实际工作中,往往还是通过人工比对来判断污染来源,要求工作人员具有较强的专业知识和经验,判断结果具有较强的主观性,缺乏科学量化的数据支持,对污染源误判率较高。因此,亟需构建一种简单、低成本、高效的污染源识别方法或系统。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于紫外-可见吸收光谱的污染源识别方法,该方法成本低、时效性高、可操作性强,有利于大范围推广,对污染溯源具有重要意义。
本发明的另一个目的在于提出一种基于紫外-可见吸收光谱的污染源识别系统。
为达到上述目的,本发明一方面实施例提出了一种基于紫外-可见吸收光谱的污染源识别方法,包括以下步骤:
采集污染源样品,对所述污染源样品进行预处理;
对预处理后的污染源样品进行紫外-可见吸收光谱测试得到所述污染源样品的光谱数据;
对所述光谱数据进行预处理;
利用预处理后的光谱数据及分类算法建立污染源识别模型并进行训练;
通过训练后的污染源识别模型进行污染源识别。
另外,根据本发明上述实施例的基于紫外-可见吸收光谱的污染源识别方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述紫外-可见吸收光谱扫描范围为200~800nm,扫描间隔为0.1~20nm。
进一步地,在本发明的一个实施例中,对所述光谱数据进行预处理,预处理方法包括但不限于剔除无效数据、基线校正、光谱正态变换、光谱归一化、光谱数据降维。
进一步地,在本发明的一个实施例中,所述分类算法包括但不限于偏最小二乘分辨分析、支持向量机、K最近邻节点算法。
进一步地,在本发明的一个实施例中,所述分类算法为偏最小二乘分辨分析时,利用预处理后的光谱数据及分类算法建立污染源识别模型并进行训练,进一步包括:
模型初始化:选择75%~95%的光谱数据作为训练集,采用交叉验证的方法建立所述污染源识别模型,并根据交叉验证误差最小化原则选择最佳潜在变量数;
模型训练:将变量数设置为最佳潜在变量数对所述污染源识别模型再次拟合;
模型预测:通过拟合后的污染源识别模型对剩余5%~25%的光谱数据进行预测,根据预测结果评估模型性能,其中,评估参数为评估所述污染源识别模型的灵敏度、特异度、精确率和正确率。
为达到上述目的,本发明另一方面实施例提出了一种基于紫外-可见吸收光谱的污染源识别系统,包括:
取样模块、样品预处理模块、进样模块、光谱采集模块、数据交换模块、显示模块与系统控制模块;
所述取样模块用于采集污染源或污染水体样品;
所述样品预处理模块用于样品预处理,包括经过滤膜过滤和稀释;
所述进样模块用于将预处理后的样品输送至光谱采集模块;
所述光谱采集模块用于获取污染源样品并进行紫外-可见吸收光谱测试得到所述污染源样品的光谱数据;
所述数据交换模块用于进行各模块间的数据传输;
所述显示模块用于进行结果显示;
所述系统控制模块用于嵌入污染源识别模型及进行系统控制,所述光谱采集模块的数据传输给所述控制模块并利用组态软件在所述显示模块实时显示结果,将组态软件中收集的所述光谱数据输送至所述污染源识别模型,利用所述污染源识别模型对样污染样本类别进行判别,再把判别结果返回至所述显示模块显示判别结果。
本发明实施例的基于紫外-可见吸收光谱的污染源识别方法及系统,具有以下优势:
(1)紫外-可见吸收光谱技术成熟可靠、操作简便、成本低、信息丰富,有利于大范围推广;
(2)人工比对通常需要数小时,本发明搭建的污染源识别系统能够实时比对,增强了污染源识别的时效性,对污染溯源具有重要意义。本发明同时也可以用于白酒、饮料、化学品等鉴别和溯源。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的基于紫外-可见吸收光谱的污染源识别方法流程图;
图2为根据本发明一个实施例的交叉验证错误率随潜在变量数的变化示意图;
图3为根据本发明一个实施例的训练和预测阶段模型对类别1(MR)的计算响应值示意图;
图4为根据本发明一个实施例的基于紫外-可见吸收光谱的污染源识别系统结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于紫外-可见吸收光谱的污染源识别方法及系统。
首先将参照附图描述根据本发明实施例提出的基于紫外-可见吸收光谱的污染源识别方法。
图1为根据本发明一个实施例的基于紫外-可见吸收光谱的污染源识别方法流程图。
如图1所示,该基于紫外-可见吸收光谱的污染源识别方法包括以下步骤:
步骤S1,采集污染源样品,对污染源样品进行预处理。
具体地,作为一种预处理的方式,可以将采集的污染源样品经过0.45μm滤膜过滤。对于不同的污染源样品可以使用不同的预处理方式,对此本发明的实施例中不进行具体限定。
步骤S2,对预处理后污染源样品进行紫外-可见吸收光谱测试得到污染源样品的光谱数据。
进一步地,紫外-可见吸收光谱扫描范围为200~800nm,扫描间隔为0.1~20nm。
步骤S3,对光谱数据进行预处理。
进一步地,对光谱数据进行预处理,预处理方法包括但不限于剔除无效数据、基线校正、光谱正态变换、光谱归一化、光谱数据降维。
优选地,本发明实施例采用剔除无效数据和光谱正态变换的方法对光谱数据进行预处理。
可以理解的是,剔除紫外-可见吸收光谱数据中无有效数据是指删除基本上全是溶剂背景吸收的部分光谱数据,然后将光谱数据进行标准正态变换以进一步降低散射的影响,计算公式为:
步骤S4,根据标准正态变换后光谱数据及分类算法建立污染源识别模型并进行训练。
步骤S5,通过训练后的污染源识别模型进行污染源识别。
进一步地,利用预处理后的光谱数据和分类算法建立基于紫外-可见吸收光谱的污染源识别模型。
其中,污染源识别模型的分类算法包括但不限于偏最小二乘分辨分析(PLS-DA)、支持向量机(SVM)、K最近邻(KNN)节点算法。
可以理解的是,本申请的实施例还可以使用其他的分类算法,不进行一一赘述。作为优选方案,本发明采用PLS-DA作为识别模型的分类算法。识别模型建立的过程包括识别问题分解、模型初始化、训练、预测和性能评价。
模型初始化是指选择75%~95%的样本数据作为训练集,采用交叉验证的方法建立模型,并根据交叉验证误差最小化原则选择最佳潜在变量数。
模型训练是指将变量数设置为最佳潜在变量数对模型再次拟合。
模型预测是指用训练后的模型对剩余5%~25%的样本集进行预测,根据预测结果进行模型性能评价。
具体地,模型性能评价参数包括灵敏度(sensitivity,sn)、特异度(specificity,sp)、精确率(precision,pr)和正确率(Accuracy,Acc)。sn、sp和pr为单类别性能参数,Acc是模型整体分类性能参数。
灵敏度表示分类器正确识别某一类别的能力。假设有两个类别,类别1是positive,类别2是negative。以类别1为例,类别1的灵敏度描述了所有真实值为positive的样本中,模型预测正确的比例,计算公式为:
sn=TP/(TP+FN)
其中,TP表示真实值是positive,分类结果也是positive的样本数目;FN表示真实值是positive,分类结果却是negative的样本数目,即假阴性的样本数。
特异度表示分类器拒绝另一类别样本的能力,相当于分类器正确识别negative样本的能力,描述了所有真实值为negative的样本中,模型预测正确的比例,计算公式为:
sp=TN/(FP+TN)
其中,TN表示真实值是negative,分类结果也是negative的样本数目;FP表示真实值是negative,分类结果却是positive的样本数目,即假阳性的样本数。
精确率表示分类器避免将某一类别样本误分的能力。以类别1为例,精确率描述了所有预测值为positive的样本中,模型预测正确的比例,计算公式为:
pr=TP/(TP+FP)
其中,TP表示真实值是positive,分类结果也是positive的样本数目;FP表示真实值是negative,分类结果却是positive的样本数目,即假阳性的样本数。
正确率描述的是正确分类样本数占分类样本总数的比例,它不考虑任何关于单个类的分类性能信息。对于上述类别1和类别2,正确率计算公式为:
Acc=(TP+TN)/(TP+FN+TN+FP)
下面结合具体实施案例及附图对本发明进一步阐述。
1)污染源样品采集,并对样品进行预处理
MR和BXH是两个污染源,从这两个污染源各采集60个样品,样品覆盖不同时间段。
具体地,所有样品都经过0.45μm滤膜过滤。
2)紫外-可见吸收光谱分析测试
紫外-可见吸收光谱扫描范围为200~800nm,扫描间隔2nm。
3)数据预处理
这两个污染源的紫外-可见吸收光谱在500nm之后的吸光度几乎为零,没有提供更多信息,因此剔除500nm之后的光谱数据,然后对紫外-可见吸收光谱进行标准正态变换。
4)污染源识别模型建立
a)将MR的样本视为类别1(class1),BXH的样本视为类别2(class2)。把45个MR和45个BXH样本作为训练样本,其余样本作为预测样本来检验模型性能。
b)导入训练样本并进行数据归一化。
c)初步建立PLS-DA分类模型,并根据交叉验证错误率最小化原则选择最佳变量数。如图2所示,潜在变量数为5时,交叉验证错误率最小,本案例最佳潜在变量数设置为5。
d)将潜在变量数设置为5重新拟合模型并保存模型。
e)导入预测样本并进行数据归一化。
f)利用建立的模型对预测样本进行分类识别。
g)查看模型预测性能,结果表明建立的识别模型对MR和BXH的预测性能接近完美。训练阶段没有一个样本被误分,预测阶段仅有一个MR的样本被误分为BXH的样本,见图3。对MR的预测灵敏度、特异度和精确率分别为0.93、1.00、1.00,对BXH的预测灵敏度、特异度和精确率分别为1.00、0.93、0.94,整体预测正确率为0.97。
根据本发明实施例提出的基于紫外-可见吸收光谱的污染源识别方法,包括样品采集、样品预处理、紫外-可见吸收光谱分析测试、光谱数据预处理、识别模型建立和污染源识别系统搭建。选择的紫外-可见吸收光谱技术成熟可靠、操作简便、信息丰富。相对于传统的污染源识别方法,具有成本低、时效性高、可操作性强,有利于大范围推广,对污染溯源具有重要意义。同时也可以用于白酒、饮料、化学品等鉴别和溯源。
其次参照附图描述根据本发明实施例提出的基于紫外-可见吸收光谱的污染源识别系统。
图4为根据本发明一个实施例的基于紫外-可见吸收光谱的污染源识别系统结构示意图。
如图4所示,该基于紫外-可见吸收光谱的污染源识别系统包括:
取样模块、样品预处理模块、进样模块、光谱采集模块、数据交换模块、显示模块和系统控制模块;
取样模块用于采集污染源或污水水体样品;
预处理模块用于样品预处理,包括滤膜过滤和稀释;
进样模块用于将预处理后的样品输送至光谱采集模块;
光谱采集模块用于对污染源或污水水体样品进行紫外-可见吸收光谱测试得到样品的光谱数据;
数据交换模块用于进行各模块间的数据传输;
显示模块用于进行结果显示;
系统控制模块用于嵌入污染源识别模型及进行系统控制,光谱采集模块的数据传输给控制模块并利用组态软件在所述显示模块实时显示结果,将组态软件中收集的所述光谱数据输送至所述污染源识别模型,利用所述污染源识别模型对污染源样本类别进行判别,再把判别结果返回至所述显示模块显示判别结果。
作为一个具体实施例,污染源识别系统包括取样模块、样品预处理模块、进样模块、光谱采集模块、数据交换模块、工控机和系统控制模块。
使用步骤包括:
1)将取样模块、样品预处理模块、进样模块、光谱采集模块、数据交换模块、显示模块及系统控制模块连接在一起。
2)将训练好的PLS-DA分类模型嵌入系统控制模块。
3)系统控制模块启动取样模块,样品送入预处理模块过滤和稀释,然后输送到光谱采集模块,接着将测得的紫外可见-吸收光谱通过数据传输模块传输给系统控制模型,并利用组态软件MCGS在显示模块实时显示结果。
4)将MCGS组态软件中收集的紫外可见-吸收光谱数据输送至污染源识别模型,污染源识别模型对样本类别进行判别,再把判别结果返回至显示模块显示判别结果。
5)不断重复步骤3)和4)以实现污染源的实时比对。
需要说明的是,前述对方法实施例的解释说明也适用于该实施例的系统,此处不再赘述。
根据本发明实施例提出的基于紫外-可见吸收光谱的污染源识别系统,包括取样模块、样品预处理模块、进样模块、光谱采集模块、数据交换模块、显示模块和系统控制模块。相对于传统的污染源识别系统,具有成本低、时效性高、可操作性强,有利于大范围推广,对污染溯源具有重要意义。同时也可以用于白酒、饮料、化学品等鉴别和溯源。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种基于紫外-可见吸收光谱的污染源识别方法,其特征在于,包括以下步骤:
采集污染源样品,对所述污染源样品进行预处理;
对预处理后的污染源样品进行紫外-可见吸收光谱测试得到所述污染源样品的光谱数据;
对所述光谱数据进行预处理;
利用预处理后的光谱数据及分类算法建立污染源识别模型并进行训练;
通过训练后的污染源识别模型进行污染源识别。
2.根据权利要求1所述的方法,其特征在于,所述紫外-可见吸收光谱扫描范围为200~800nm,扫描间隔为0.1~20nm。
3.根据权利要求1所述的方法,其特征在于,对所述光谱数据进行预处理,预处理方法包括但不限于剔除无效数据、基线校正、光谱正态变换、光谱归一化、光谱数据降维。
4.根据权利要求1所述的方法,其特征在于,所述分类算法包括但不限于偏最小二乘分辨分析、支持向量机、K最近邻节点算法。
5.根据权利要求4所述的方法,其特征在于,所述分类算法为偏最小二乘分辨分析时,利用预处理后的光谱数据及分类算法建立污染源识别模型并进行训练,进一步包括:
模型初始化:选择75%~95%的光谱数据作为训练集,采用交叉验证的方法建立所述污染源识别模型,并根据交叉验证误差最小化原则选择最佳潜在变量数;
模型训练:将变量数设置为最佳潜在变量数对所述污染源识别模型再次拟合;
模型预测:通过拟合后的污染源识别模型对剩余5%~25%的光谱数据进行预测,根据预测结果评估模型性能,其中,评估参数为评估所述污染源识别模型的灵敏度、特异度、精确率和正确率。
6.一种基于紫外-可见吸收光谱的污染源识别系统,其特征在于,包括:取样模块、样品预处理模块、进样模块、光谱采集模块、数据交换模块、显示模块与系统控制模块;
所述取样模块用于采集污染源或污染水体样品;
所述样品预处理模块用于样品预处理,包括过滤和稀释;
所述进样模块用于将预处理后的样品输送至光谱采集模块;
所述光谱采集模块用于获取污染源样品并进行紫外-可见吸收光谱测试得到所述污染源样品的光谱数据;
所述数据交换模块用于进行各模块间的数据传输;
所述显示模块用于进行结果显示;
所述系统控制模块用于嵌入污染源识别模型及进行系统控制,所述光谱采集模块的数据传输给所述控制模块并利用组态软件在所述显示模块实时显示结果,将组态软件中收集的所述光谱数据输送至所述污染源识别模型,利用所述污染源识别模型对样污染样本类别进行判别,再把判别结果返回至所述显示模块显示判别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246417.6A CN113033623A (zh) | 2021-03-05 | 2021-03-05 | 基于紫外-可见吸收光谱的污染源识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246417.6A CN113033623A (zh) | 2021-03-05 | 2021-03-05 | 基于紫外-可见吸收光谱的污染源识别方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113033623A true CN113033623A (zh) | 2021-06-25 |
Family
ID=76468493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110246417.6A Pending CN113033623A (zh) | 2021-03-05 | 2021-03-05 | 基于紫外-可见吸收光谱的污染源识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113033623A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL2034211A (en) | 2022-08-12 | 2024-02-16 | South China Institute Of Environmental Sciences Mee Res Institute Of Eco Environmental Emergency Mee | Method and system for quantitatively identifying multi-pollution sources of mixed water body |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1936552A (zh) * | 2006-10-12 | 2007-03-28 | 中国林业科学研究院木材工业研究所 | 红木的近红外光谱识别方法 |
-
2021
- 2021-03-05 CN CN202110246417.6A patent/CN113033623A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1936552A (zh) * | 2006-10-12 | 2007-03-28 | 中国林业科学研究院木材工业研究所 | 红木的近红外光谱识别方法 |
Non-Patent Citations (2)
Title |
---|
鲍灵利: "紫外可见光谱检测水体COD算法研究", 《信息通信》 * |
黄平捷等: "基于SPA和多分类SVM的紫外-可见光光谱饮用水有机污染物判别方法研究", 《光谱学与光谱分析》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL2034211A (en) | 2022-08-12 | 2024-02-16 | South China Institute Of Environmental Sciences Mee Res Institute Of Eco Environmental Emergency Mee | Method and system for quantitatively identifying multi-pollution sources of mixed water body |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113011478A (zh) | 基于数据融合的污染源识别方法及系统 | |
Stephanopoulos et al. | Fermentation database mining by pattern recognition | |
US20230014095A1 (en) | Method and system for recognizing environmental protection equipment based on deep hierarchical fuzzy algorithm | |
CN110702648B (zh) | 基于非下采样轮廓波变换的荧光光谱污染物分类方法 | |
CN113686804B (zh) | 一种基于深度回归网络的纺织纤维成分无损清洁分析方法 | |
CN114943917B (zh) | 一种视觉识别污水厂好氧池曝气量的算法 | |
CN109460471A (zh) | 一种基于自学习的方式建立纤维种类图谱库的方法 | |
CN116664944A (zh) | 一种基于属性特征知识图谱的葡萄园害虫识别方法 | |
CN117309831A (zh) | 一种基于三维荧光lpp-svm的河道有机物的污染的溯源方法 | |
CN113033623A (zh) | 基于紫外-可见吸收光谱的污染源识别方法及系统 | |
CN117235661B (zh) | 基于ai的直饮水质量监测方法 | |
Huang et al. | Classification of water contamination developed by 2-D Gabor wavelet analysis and support vector machine based on fluorescence spectroscopy | |
CN117541095A (zh) | 一种农用地土壤环境质量类别划分的方法 | |
CN116858822A (zh) | 一种基于机器学习和拉曼光谱的水体中磺胺嘧啶定量分析方法 | |
CN112630202A (zh) | 一种城市排水系统的雨天溢流污水来源的识别方法 | |
CN115219472B (zh) | 一种定量识别混合水体多污染源的方法及系统 | |
CN111426657B (zh) | 一种溶解性有机物三维荧光谱图的识别比对方法 | |
CN116187861A (zh) | 基于同位素的水质溯源监测方法及相关装置 | |
WO2022241883A1 (zh) | 基于三维液相色谱指纹的污染源识别方法及装置 | |
CN116595461A (zh) | 一种基于随机森林识别的雨水口晴天排污溯源方法 | |
CN115508322A (zh) | 一种水污染源多维度溯源方法及装置 | |
CN113970528B (zh) | 基于完全约束最小二乘法的纺织品成分解混方法 | |
CN115659056A (zh) | 基于大数据的用户服务精准匹配系统 | |
CN115420726A (zh) | 一种利用重构sers光谱快速识别目标物的方法 | |
Yin et al. | Open-set recognition for unknown organic pollutants in drinking water with three-dimensional fluorescence spectroscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |
|
RJ01 | Rejection of invention patent application after publication |