CN114965348A - 基于污水检测的光谱解析方法和系统 - Google Patents
基于污水检测的光谱解析方法和系统 Download PDFInfo
- Publication number
- CN114965348A CN114965348A CN202210889099.XA CN202210889099A CN114965348A CN 114965348 A CN114965348 A CN 114965348A CN 202210889099 A CN202210889099 A CN 202210889099A CN 114965348 A CN114965348 A CN 114965348A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- absorption spectrum
- water quality
- gaussian
- quality index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 239000010865 sewage Substances 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000010183 spectrum analysis Methods 0.000 title claims abstract description 28
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 105
- 230000006870 function Effects 0.000 claims abstract description 90
- 238000000862 absorption spectrum Methods 0.000 claims abstract description 89
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 30
- 230000009467 reduction Effects 0.000 claims abstract description 21
- 238000001228 spectrum Methods 0.000 claims description 60
- 239000000126 substance Substances 0.000 claims description 59
- 238000010521 absorption reaction Methods 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000003595 spectral effect Effects 0.000 claims description 10
- 238000002360 preparation method Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 238000012569 chemometric method Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 235000013405 beer Nutrition 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 239000002351 wastewater Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 15
- 238000004458 analytical method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000008859 change Effects 0.000 abstract description 3
- QGZKDVFQNNGYKY-UHFFFAOYSA-N ammonia Natural products N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 13
- 229910000069 nitrogen hydride Inorganic materials 0.000 description 13
- 238000002329 infrared spectrum Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 6
- 238000001819 mass spectrum Methods 0.000 description 4
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 229910052739 hydrogen Inorganic materials 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- 239000001257 hydrogen Substances 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000013626 chemical specie Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 239000005416 organic matter Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3577—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing liquids, e.g. polluted water
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及光谱解析技术,公开了基于污水检测的光谱解析方法和系统,其方法包括,数据的准备;吸收谱的还原,将吸收谱通过高斯分解拆分成多个高斯函数,并对拆分后的高斯函数进行叠加还原吸收谱;利用还原后的吸收谱,将拆分后的高斯函数进行整理、归类和分析,得出预测水样中的组分和组分对应浓度;根据水样中的组分和组分对应浓度预测值,计算相应水质指标的预测值;对比水质指标真值数据和水质指标预测值误差,当误差大于设定的第一误差阈值时,则反馈优化高斯分解的高级参数至吸收谱的还原,否则输出水质指标的预测值。本发明通过高斯分解算法进行光谱分析,能够实时的进行污水组分分析,便于自动控制组分变化和水质检测,其成本低通用性强。
Description
技术领域
本发明涉及光谱解析技术,尤其涉及了基于污水检测的光谱解析方法和系统。
背景技术
污水处理技术是指用各种方法将污水中所含的污染物分离出来或将其转化为无害物使污水得到净化的技术。
污水处理作为一项重要的环保工程,离不开水质检测。准确、真实的水质检测结果可以为后续污水处理工艺的及时调控提供依据,从而提高污水处理效率的稳定性、降低运行成本。
对于污水水质的检测,污水检测的工序主要依靠人工化验和在线检测设备。人工检测的周期较长,无法获得实时的水质检测结果。与人工检测相比,在线检测设备可以较快速地获得各项水质检测结果。由于水质检测指标的多样性,通常需要配备多台在线检测设备用于TN、TP、氨氮等多项主要指标的检测。
在线检测设备虽然比人工检测便捷,但也存在一些问题:多台在线检测设备的成本较高、占地较大;在线检测设备需要日常维护,如补充相应的药剂等,有一定的运行成本;在线检测设备对于各个指标的检测时间不一样,TN约30分钟出一个数据、TP约30分钟出一个数据、氨氮约20分钟出一个数据;在线检测的数据存在误差,通常在10%以内。
在环保及碳减排的政策下,近年来污水检测厂逐步向智慧化转型。污水检测厂需要及时掌握准确的水质数据,对各个工艺段的参数进行实时调控,从而才能实现节能减排。
与现有的水质在线检测设备相比,近红外光谱技术具有一定的优势。近红外光谱区与有机分子中含氢基团(O-H、N-H、C-H)振动的合频和各级倍频的吸收区一致,通过扫描水样的近红外光谱,可以得到中有机分子含氢基团的特征信息,而且利用近红外光谱技术分析水样具有方便、快速、高效、准确、成本较低、不破坏样品、不消耗化学试剂、不污染环境等优点。
近红外光谱检测技术虽然有着很多优势,但在污水检测行业中。污水检测行业的水质存在组分复杂、浓度差异大、水质波动大等特点,污水水样的近红外图谱中包含的信息更多更复杂,并且水的近红外吸收峰对其他组分的吸收峰有较大干扰,其图谱解析过程难度大。
发明内容
本发明针对现有技术中污水检测通过近红外光谱仪,其图谱解析难度大,且检测速度慢,检测成本高的问题,提出了基于污水检测的光谱解析方法和系统。
为了解决上述技术问题,本发明通过下述技术方案得以解决:
基于污水检测的光谱解析方法,其方法包括:
步骤1:数据的准备,数据包括水质指标真值数据和通过近红外光谱仪获取的光谱数据;
步骤2:吸收谱的还原,将吸收谱通过高斯分解拆分成多个高斯函数,并对拆分后的高斯函数进行叠加还原吸收谱;
步骤3:水样中的组分和组分对应浓度预测值的计算;利用步骤2中的还原后的吸收谱,将步骤2中拆分后的高斯函数进行整理、归类和分析,得出预测水样中的组分和组分对应浓度;
步骤4:根据步骤3中的水样中的组分和组分对应浓度预测值,计算相应水质指标的预测值;
步骤5:对比步骤1中的水质指标真值数据和步骤4中的水质指标预测值误差,当误差大于设定的第一误差阈值时,则反馈优化高斯分解的高级参数至步骤2,否则输出水质指标的预测值。
作为优选,吸收谱的还原包括:
步骤2.1:生成单个高斯函数,其为带有拆解参数的高斯函数,高斯函数的拆解参数包括高斯函数的宽度、高斯函数的高度和高斯函数的中位值;高斯函数的拆解参数通过随机初始化得到或统计学的方式估计得到;
步骤2.2:将步骤2.1高斯函数进行叠加形成拟合谱,将拟合谱和步骤1中的吸收谱进行对比得出误差;
步骤2.3:通过随机梯度下降法,将步骤2.2误差作为反馈,优化步骤2.1中的高斯函数的拆解参数,输出优化后的高斯函数的拆解参数对应的高斯函数;
步骤2.4:形成多次迭代后的拟合谱,使拟合谱逐渐收敛到步骤1中的吸收谱,当误差低于设定第二误差阈值,得到还原吸收谱;否则重复步骤2.2和步骤2.3。
作为优选,步骤3:得到预测水样中的组分和组分对应浓度;其包括:
步骤3.1:将步骤2中的高斯函数进行聚类,并对聚类后的高斯函数进行叠加,从而形成局部吸收峰;
步骤3.2:获得物质存在的概率,步骤3.1形成的局部吸收峰和步骤1中的吸收谱中的每种物质吸收谱段交叉对比,当局部吸收峰和吸收谱中每种物质吸收谱段其重复越多,则该物质存在的概率越高,否则该物质存在的概率低,并输出概率高的物质;
步骤3.3:获得物质的单位吸收浓度,利用数值积分法获取局部吸收峰底下的面积,根据比尔定律,则计算的面积为物质单位吸收浓度;
步骤3.4:水样组分和组分浓度的输出,将步骤3.3局部吸收峰的单位吸收浓度和步骤3.2对应的每种物质吸收的概率进行点乘积,得出每种物质的吸收浓度,输出水样组分和组分浓度。
作为优选,步骤4:计算相应水质指标的预测值,通过组分浓度和化学式,利用化学计量法得到组分的预测值。
作为优选,水质指标包括TOC值、TN值、NH3值和TP值。
为了解决上述技术问题本申请还提供了基于污水检测的光谱解析系统,其包括;
光谱数据的准备模块,数据的准备,数据包括水质指标真值数据和通过近红外光谱仪获取的光谱数据;
吸收谱的还原模块,吸收谱的还原模块将吸收谱通过高斯分解拆分成多个高斯函数,并对拆分后的高斯函数进行叠加还原吸收谱;
水样中的组分和组分对应浓度预测值的计算模块;利用吸收谱的还原模块中的还原后的吸收谱,将吸收谱的还原模块中拆分后的高斯函数进行整理、归类和分析,得出预测水样中的组分和组分对应浓度;
相应水质指标的预测值计算模块:根据水样中的组分和组分对应浓度预测值的计算模块中的水样中的组分和组分对应浓度预测值,计算相应水质指标的预测值;
水质指标的预测值的输出模块:对比光谱数据的准备模块的水质指标真值数据和相应水质指标的预测值计算模块中的水质指标预测值误差,当误差大于设定的第一误差阈值时,则反馈优化高斯分解的高级参数至吸收谱的还原模块,否则输出水质指标的预测值。
为了解决上述技术问题,本发明还提供了一种存储介质,其包括实现基于污水检测的光谱解析方法的存储介质。
为了解决上述技术问题,本发明还提供了一种电子设备,其包括实现基于污水检测的光谱解析方法的电子设备。
本发明由于采用了以上技术方案,具有显著的技术效果:
本发明用于水质的红外图谱解析,通过高斯分解算法对水样近红外图谱的全面解析,可得到水样的TOC、TN、TP、NH3的组分及浓度信息。
本发明的水质检测在几秒内完成解析,大大缩短了检测时间且检测数据的误差率低。
本发明为污水检测工序的智能运行提供更多更优质的数据,有利于提高污水检测的智能化程度。
本发明通过高斯分解算法进行光谱分析,能够实时的进行污水组分分析,从而便于自动控制组分变化和水质检测,其成本低通用性强。
附图说明
图1是本发明的流程图。
图2是本发明的高斯分解模型训练流程图。
图3是本发明高斯分解算法流程图。
图4-1是本发明TOC真值及预测值对比图;
图4-2是本发明TN真值及预测值对比图;
图4-3是本发明NH3真值及预测值对比图;
图4-4是本发明TP真值及预测值对比图;
图5-1是本发明的高斯分解迭代0次产出的拟合谱和原吸收谱波形图;
图5-2是本发明的高斯分解迭代1次产出的拟合谱和原吸收谱波形图;
图5-3是本发明的高斯分解迭代10次产出的拟合谱和原吸收谱波形图;
图5-4是本发明的高斯分解迭代200次产出的拟合谱和原吸收谱波形图;
图5-5是本发明的高斯分解迭代1100次产出的拟合谱和原吸收谱波形图;
图5-6是本发明的高斯分解迭代2400次产出的拟合谱和原吸收谱波形图;
图6是本发明的拟合谱误差收敛图。
具体实施方式
下面结合附图与实施例对本发明作进一步详细描述。
实施例1
基于污水检测的光谱解析方法,其方法包括:
步骤1:数据的准备,数据包括水质指标真值数据和通过近红外光谱仪获取的光谱数据;对于水质指标真值数据通过在线检测设备获取;
步骤2:吸收谱的还原,将吸收谱通过高斯分解拆分成多个高斯函数,并对拆分后的高斯函数进行叠加还原吸收谱;
步骤3:水样中的组分和组分对应浓度预测值的计算;利用步骤2中的还原后的吸收谱,将步骤2中拆分后的高斯函数进行整理、归类和分析,得出预测水样中的组分和组分对应浓度;
步骤4:根据步骤3中的水样中的组分和组分对应浓度预测值,计算相应水质指标的预测值;
步骤5:对比步骤1中的水质指标真值数据和步骤4中的水质指标预测值误差,当误差大于设定的第一误差阈值时,则反馈优化高斯分解的高级参数至步骤2,否则输出水质指标的预测值。此处第一误差阈值设置为5%;其误差阈值越小,则返回的精度越高。
吸收谱的还原包括:
步骤2.1:生成单个高斯函数,其为带有拆解参数的高斯函数,高斯函数的拆解参数包括高斯函数的宽度、高斯函数的高度和高斯函数的中位值;高斯函数的拆解参数通过随机初始化得到或统计学的方式估计得到;
步骤2.2:将步骤2.1高斯函数进行叠加形成拟合谱,将拟合谱和步骤1中的吸收谱进行对比得出误差;
步骤2.3:通过随机梯度下降法,将步骤2.2误差作为反馈,优化步骤2.1中的高斯函数的拆解参数,输出优化后的高斯函数的拆解参数对应的高斯函数;
步骤2.4:形成多次迭代后的拟合谱,使拟合谱逐渐收敛到步骤1中的吸收谱,当误差低于设定第二误差阈值,此处设置的第二误差阈值为1%;具体的误差阈值设置依据实际的精度进行设置;得到还原吸收谱;否则重复步骤2.2和步骤2.3。
有机物的吸收谱包括单波段(单峰)吸收谱或多波段(多峰)吸收谱。而不同的物质经常会在相近的谱段有吸收;对于污水检测中其组分分析的难度在于将这些吸收谱准确归因到一种物质的吸收。步骤2生成的高斯函数有助于提升分辨率,高斯函数能表示相近但又不同物质的吸收。
以条件概率作为分析原理,假设某种物质的预期吸收谱段和实际当前吸收谱段进行交叉对比,对比的谱段其交叉重合部分的越多则表示该物质的存在概率越高。
步骤3:得到预测水样中的组分和组分对应浓度;其包括:
步骤3.1:将步骤2中的高斯函数进行聚类,并对聚类后的高斯函数进行叠加,从而形成局部吸收峰;
步骤3.2:获得物质存在的概率,步骤3.1形成的局部吸收峰和步骤1中的吸收谱中的每种物质吸收谱段交叉对比,当局部吸收峰和吸收谱中每种物质吸收谱段其交叉重合部分越多,则该物质存在的概率越高;否则该物质存在的概率低,并输出概率高的物质;
步骤3.3:获得物质的单位吸收浓度,利用数值积分法获取局部吸收峰底下的面积,根据比尔定律,则计算的面积为物质单位吸收浓度;
步骤3.4:水样组分和组分浓度的输出,将步骤3.3局部吸收峰的单位吸收浓度和步骤3.2对应的每种物质吸收条件概率进行点乘积,得出每种物质的吸收浓度,输出水样组分和组分浓度。
步骤4:计算相应水质指标的预测值,通过组分浓度和化学式,利用化学计量法得到组分的预测值。
水质指标包括TOC值、TN值、NH3值和TP值。对于图4-1、图4-2、图4-3和图4-4分为TOC值的真值及预测值对比图、TN值的真值及预测值对比图、NH3值的真值及预测值对比图和TP值的真值及预测值对比图;通过图可知,其对于TOC值的真值及预测值对比图其误差值为3.73%,小于第一误差阈值5%; TN值的真值及预测值对比图其误差值为4.75%,小于第一误差阈值5%; NH3值的真值及预测值对比图其误差值为3.75%,小于第一误差阈值5%; TP值的的真值及预测值对比图其误差值为0.8%,小于第一误差阈值5%。
实施例2
在实施例1基础上,本实施例基于污水检测的光谱解析系统,其包括;
光谱数据的准备模块,数据的准备,数据包括水质指标真值数据和通过近红外光谱仪获取的光谱数据;
吸收谱的还原模块,吸收谱的还原模块将吸收谱通过高斯分解拆分成多个高斯函数,并对拆分后的高斯函数进行叠加还原吸收谱;
水样中的组分和组分对应浓度预测值的计算模块;利用吸收谱的还原模块中的还原后的吸收谱,将吸收谱的还原模块中拆分后的高斯函数进行整理、归类和分析,得出预测水样中的组分和组分对应浓度;
相应水质指标的预测值计算模块:根据水样中的组分和组分对应浓度预测值的计算模块中的水样中的组分和组分对应浓度预测值,计算相应水质指标的预测值;
水质指标的预测值的输出模块:对比光谱数据的准备模块的水质指标真值数据和相应水质指标的预测值计算模块中的水质指标预测值误差,当误差大于设定的第一误差阈值时,则反馈优化高斯分解的高级参数至吸收谱的还原模块,否则输出水质指标的预测值。
实施例3
在上述实施例基础上,通过图2和图3对于本实施例准备100行 X228列的光谱数据,每行对应单次样本的采集光谱,每列对应某个谱段,谱段范围从900nm到1700nm。准备100行X 4列真值数据,每行对应单次样本采集的真值指标检测值(TOC、TP、TN、NH3);每次检测光谱数据都是通过近红外光谱仪来输出样本的吸收谱。将吸收谱ψ(λ)降噪,从而提升S/N信噪比。这里采用Savitsky-Golayfilter过滤算法进行降噪处理。
高斯函数gn的获取,在高斯函数gn的获取过程中,其高斯函数的偏差为高斯函数的宽度中的一种;
其中,gn(λ|σn,an,μn)为高斯函数成分谱;gn为σn,an,μn时λ处的取值;σn为高斯函数gn的偏差,an为高斯函数gn的高度;μn为高斯函数gn的中位值;
第一代高斯函数g1(λ|σ1,a1,μ1)的计算,
其中,λmax为样本吸收谱的最大波长,λmin为样本吸收谱的最小波长,argmax为函数输出最大值时的输入,γ为高斯函数偏差收敛率;θ为高斯函数高度收敛率,σ 为高斯函数偏差,a1为高斯函数高度;
拟合谱f的计算,通过第一代高斯函数g1算拟合谱f;
其中,λ为波长,f(λ|σ1,a1,μ1)为拟合谱σ1,a1,μ1时λ处的取值;
方差ϵ的计算,通过吸收谱ψ(λ)和拟合谱f进行对比,计算拟合谱与实际吸收谱的方差ϵ;
第二代高斯函数g2的计算,通过梯度下降法,将ϵ方差作为反馈,以设定的学习率α来优化高斯函数的宽度、高度和中位值;计算第二代高斯函数g2,
其中,σ2为高斯函数g2偏差,a2为高斯函数g2高度,μ2为高斯函数g2中位值,∂ϵ/∂μ为方差和中位值的斜率,∂ϵ/∂a为方差和高度的斜率,∂ϵ/∂σ为方差和偏差的斜率;
拟合谱fn的计算,通过对高斯函数gi进行n次迭代从而获得拟合谱fn;
其中,n为正整数,gi (λ|σi,ai,μi )为σi,ai,μi时λ处的取值;
拟合谱fn的迭代,对拟合谱fn逐渐收敛至吸收谱ψ(λ),当误差低于拟合方差收敛阈值ϵthreshold停止迭代;
其中,ϵthreshold为拟合方差收敛阈值,N为拟合谱迭代的最大次数;
第一阶成分谱序列G1的计算,
其中,σi为高斯函数gi偏差, ai为高斯函数gi高度,μi为高斯函数gi中位值;
第二阶成分谱序列G2的计算,将高斯序列中所有中位值处于同一个或接近的成分谱集合叠加起来形成第二阶成分谱序列G2;
其中,k 为第k个成分谱,i和j为成分谱序号,fk(λ)为第k次迭代的拟合谱取值于波长λ的函数,I为拟合谱f的积分面积;
计算每个波段的总吸收谱。之前的第一阶成分谱只是针对每个波段计算来自别的附近波段吸收作用形成的贡献,第二阶成分谱则是把这些局部第一阶成分谱吸收贡献都叠加起来,也就是把波段足够接近的第一阶成分谱都集合然后叠加起来。
最相似的化学物质及最相似的化学物质概率计算,通过第二阶成分谱序列中的多种成分组合和吸收谱数据库进行相似性对比,从而获得最相似的化学物质;
其中,C为化学组分序列或集合,c(k)为化学组分集合中第k个成分谱对应的化学物质,ψc(λ)为吸收谱数据库;p(c(k)│ψ=ψc)为样本吸收谱为某化学物质吸收谱的概率;S为概率分布的极端性;
质谱的计算,将化学物质可能形成的吸收峰与这些吸收峰对应的概率进行相乘,得出化学物质的质谱fc和化学物质的质谱面积Ic;
其中,fk(λ)为第k个拟合谱函数,C(k)为化学组分集合中第k个成分谱对应的化学物质;pk(k)为样本吸收谱为某化学物质吸收谱的概率;
获得化学物质的单位摩尔浓度,将质谱fc与质谱Ic的面积进行点乘积,从而获得化学物质的单位摩尔浓度concc;
获得水质指标的预测值,其中,水质指标包括TOC、TN、NH3、TP的预测值,通过组分分子数量和化学式,利用化学计量法得出TOC、TN、NH3、TP的预测值;
其中,TOC为总有机碳浓度指标真值,TP为总磷浓度指标真值,TN为总氮浓度指标真值,NH3为氨氮浓度指标真值,concc为某化学物质的单位摩尔浓度,TOCc为某化学物质对TOC的贡献量,TNc为化学物质对TN的贡献量,NH3c为化学物质对NH3的贡献量,TPc化学物质对TP的贡献量。
进化算法(EvolutionaryStrategies)是应用数学中多维度优化问题(Multi-dimensional Optimization Problem)的一种常见标准优化方法,是基于自然选择和自然遗传等生物进化机制的一种搜索算法,在工程设计和仿真建模领域当中大量使用。与普通的搜索方法一样,进化计算也是一种迭代算法,不同的是进化计算在最优解的搜索过程中,一般是从原问题的一组解出发改进到另一组较好的解,再从这组改进的解出发进一步改进。而且在进化问题中,要求当原问题的优化模型建立后,还必须对原问题的解进行编码。进化计算在搜索过程中利用结构化和随机性的信息,使最满足目标的决策获得最大的生存可能,是一种概率型的算法。
对{γ,θ}这两个高斯分解算法的高级参数进行参数初始化{γ,θ}在模型训练使用,在下面伪代码中则为gamma和theta,gammas、thetas为gamma、theta的复数,表示由多个gamma或theta形成的高级参数序列),初始化参数族(也是gammas、thetas高级参数序列)可以使用随机正态分布的方式生成。生成的参数族为m_offsprings,是进化算法生成的第一代参数族。
接下来进入进化算法的迭代循环iterations。在每次迭代中,先采用高斯分解计算出组分浓度conc_c和指标预测Y,然后将指标预测Y和真值Y_actual进行真值-预测比对计算绝对误差error,将参数族中选出能产生最小误差的参数号best_i,通过参数号找出对应的最优参数gamma、theta,最后将此最优参数作为种子(优胜劣汰),利用随机正态分布将种子进行复制变异(幸存者复制变异)来形成第二代参数族。然后重复迭代形成第三代、第四代、依次到所有的迭代iterations完成,或进化算法收敛条件error <error_threshold被触发而结束。
通常函数的高斯分解是非独特的,存在无限种拆解原谱的策略(策略带有可调高级参数),所以有无限个组分-浓度可能性,但是只有一个组分-浓度可能性是可以拟合实际的TOC、TN、NH3、TP值。所以利用实际的TOC、TN、NH3、TP值和预测值的误差来反馈优化,优化算法采用进化算法,最终逐渐约束原谱拆解策略,使策略的高级参数收敛至最优。至此,单条光谱-真值数据的高斯分解模型训练完毕,训练出单次策略高级参数值{γ,θ}row;
对其余的99条光谱-真值数据重复进行高斯分解算法,形成策略高级参数序列{γ,θ};将策略高级参数序列{γ,θ}取平均,得出平均最优拆解策略高级参数序列{mean(γ),mean(θ)};将平均最优拆解策略高级参数序列{mean(γ),mean(θ)}保存起来,供模型未来使用。
通过附图5-1、图5-2、图5-3、图5-4、图5-5和图5-6,其中,通过对比图可知其进行迭代次数越多,拟合谱的波形图与原始吸收谱的波形图越接近,其水质指标的预测值与水质指标的真值越接近。
通过图6可知其迭代次数越多,拟合谱的误差越小。
实施例4
在实施例1基础上,本实施例提供了一种存储介质,其包括实现基于污水检测的光谱解析方法的存储介质。
实施例5
在实施例1基础上,本实施例提供了一种电子设备,其包括实现基于污水检测的光谱解析方法的电子设备。
Claims (8)
1.基于污水检测的光谱解析方法,其特征在于,方法包括:
步骤1:数据的准备,数据包括水质指标真值数据和通过近红外光谱仪获取的光谱数据;
步骤2:吸收谱的还原,将吸收谱通过高斯分解拆分成多个高斯函数,并对拆分后的高斯函数进行叠加还原吸收谱;
步骤3:水样中的组分和组分对应浓度预测值的计算;利用步骤2中的还原后的吸收谱,将步骤2中拆分后的高斯函数进行整理、归类和分析,得出预测水样中的组分和组分对应浓度;
步骤4:根据步骤3中的水样中的组分和组分对应浓度预测值,计算相应水质指标的预测值;
步骤5:对比步骤1中的水质指标真值数据和步骤4中的水质指标预测值误差,当误差大于设定的第一误差阈值时,则反馈优化高斯分解的高级参数至步骤2,否则输出水质指标的预测值。
2.根据权利要求1所述的基于污水检测的光谱解析方法,其特征在于,吸收谱的还原包括:
步骤2.1:生成单个高斯函数,其为带有拆解参数的高斯函数,高斯函数的拆解参数包括高斯函数的宽度、高斯函数的高度和高斯函数的中位值;高斯函数的拆解参数通过随机初始化得到或统计学的方式估计得到;
步骤2.2:将步骤2.1高斯函数进行叠加形成拟合谱,将拟合谱和步骤1中的吸收谱进行对比得出误差;
步骤2.3:通过随机梯度下降法,将步骤2.2误差作为反馈,优化步骤2.1中的高斯函数的拆解参数,输出优化后的高斯函数的拆解参数对应的高斯函数;
步骤2.4:形成多次迭代后的拟合谱,使拟合谱逐渐收敛到步骤1中的吸收谱,当误差低于设定第二误差阈值,得到还原吸收谱;否则重复步骤2.2和步骤2.3。
3.根据权利要求1所述的基于污水检测的光谱解析方法,其特征在于,步骤3:得到预测水样中的组分和组分对应浓度;其包括:
步骤3.1:将步骤2中的高斯函数进行聚类,并对聚类后的高斯函数进行叠加,从而形成局部吸收峰;
步骤3.2:获得物质存在的概率,步骤3.1形成的局部吸收峰和步骤1中的吸收谱中的每种物质吸收谱段交叉对比,当局部吸收峰和吸收谱中每种物质吸收谱段其重复越多,则该物质存在的概率越高,否则该物质存在的概率低,并输出概率高的物质;
步骤3.3:获得物质的单位吸收浓度,利用数值积分法获取局部吸收峰底下的面积,根据比尔定律,则计算的面积为物质单位吸收浓度;
步骤3.4:水样组分和组分浓度的输出,将步骤3.3局部吸收峰的单位吸收浓度和步骤3.2对应的每种物质吸收的概率进行点乘积,得出每种物质的吸收浓度,输出水样组分和组分浓度。
4.根据权利要求1所述的基于污水检测的光谱解析方法,其特征在于,步骤4:计算相应水质指标的预测值,通过组分浓度和化学式,利用化学计量法得到组分的预测值。
5.根据权利要求1所述的基于污水检测的光谱解析方法,其特征在于,水质指标包括TOC指标、TN指标、NH3指标和TP指标。
6.基于污水检测的光谱解析系统,其特征在于,包括;
光谱数据的准备模块,数据的准备,数据包括水质指标真值数据和通过近红外光谱仪获取的光谱数据;
吸收谱的还原模块,吸收谱的还原模块将吸收谱通过高斯分解拆分成多个高斯函数,并对拆分后的高斯函数进行叠加还原吸收谱;
水样中的组分和组分对应浓度预测值的计算模块;利用吸收谱的还原模块中的还原后的吸收谱,将吸收谱的还原模块中拆分后的高斯函数进行整理、归类和分析,得出预测水样中的组分和组分对应浓度;
相应水质指标的预测值计算模块:根据水样中的组分和组分对应浓度预测值的计算模块中的水样中的组分和组分对应浓度预测值,计算相应水质指标的预测值;
水质指标的预测值的输出模块:对比光谱数据的准备模块的水质指标真值数据和相应水质指标的预测值计算模块中的水质指标预测值误差,当误差大于设定的第一误差阈值时,则反馈优化高斯分解的高级参数至吸收谱的还原模块,否则输出水质指标的预测值。
7.一种存储介质,其特征在于,包括实现权利要求1-5任一所述的基于污水检测的光谱解析方法的存储介质。
8.一种电子设备,其特征在于,包括实现权利要求1-5任一所述的基于污水检测的光谱解析方法的电子设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210889099.XA CN114965348B (zh) | 2022-07-27 | 2022-07-27 | 基于污水检测的光谱解析方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210889099.XA CN114965348B (zh) | 2022-07-27 | 2022-07-27 | 基于污水检测的光谱解析方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114965348A true CN114965348A (zh) | 2022-08-30 |
CN114965348B CN114965348B (zh) | 2022-11-15 |
Family
ID=82969683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210889099.XA Active CN114965348B (zh) | 2022-07-27 | 2022-07-27 | 基于污水检测的光谱解析方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114965348B (zh) |
Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6518573B1 (en) * | 1998-08-28 | 2003-02-11 | Wellesley International C.V. | Suppression of undesired components in the measured spectra of spectrometers |
US20060253267A1 (en) * | 2005-05-04 | 2006-11-09 | Giovanni Bonvicini | Method of information analysis |
US20070211248A1 (en) * | 2006-01-17 | 2007-09-13 | Innovative American Technology, Inc. | Advanced pattern recognition systems for spectral analysis |
CN101819168A (zh) * | 2010-01-06 | 2010-09-01 | 北京矿冶研究总院 | 一种光谱分析方法 |
US20140117229A1 (en) * | 2012-10-26 | 2014-05-01 | Fei Company | Mineral identification using sequential decomposition into elements from mineral definitions |
US20150066387A1 (en) * | 2013-08-30 | 2015-03-05 | Shimadzu Corporation | Substance identification method and mass spectrometer using the same |
US20150247813A1 (en) * | 2014-02-28 | 2015-09-03 | Bruker Biospin Gmbh | Method for determining the concentration of a substance in a sample |
CN105184099A (zh) * | 2015-10-09 | 2015-12-23 | 中国环境科学研究院 | 一种藻类对水质CODMn贡献的估算方法 |
CN105203565A (zh) * | 2014-06-11 | 2015-12-30 | 成都理工大学 | 一种能谱重叠峰解析方法 |
CN106706548A (zh) * | 2017-02-15 | 2017-05-24 | 江阴市纤维检验所 | 一种基于红外光谱曲线拟合分峰技术的聚酯纤维定性鉴别方法 |
CN107247888A (zh) * | 2017-08-14 | 2017-10-13 | 吉林大学 | 基于储备池网络的污水处理出水总磷tp软测量方法 |
CN107462535A (zh) * | 2017-08-17 | 2017-12-12 | 中国科学院烟台海岸带研究所 | 一种基于高斯多峰拟合的光谱解析算法 |
CN109470667A (zh) * | 2018-11-14 | 2019-03-15 | 华东理工大学 | 一种结合水质参数和三维荧光光谱进行污染物溯源的方法 |
CN110836878A (zh) * | 2019-11-01 | 2020-02-25 | 同济大学 | 一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法 |
CN112362635A (zh) * | 2020-11-02 | 2021-02-12 | 公安部第三研究所 | 一种基于紫外拉曼光谱分析的远距离物质检测装置 |
CN112557332A (zh) * | 2020-12-03 | 2021-03-26 | 华东理工大学 | 一种基于光谱分峰拟合的光谱分段和光谱比对方法 |
CN112666084A (zh) * | 2021-01-04 | 2021-04-16 | 国网山西省电力公司电力科学研究院 | 一种基于拉曼光谱的sf6分解特征组分检测的降噪方法 |
CN112834448A (zh) * | 2020-12-31 | 2021-05-25 | 杭州罗盘星科技有限公司 | 一种用于水污染物分析的光谱分解方法 |
WO2021234622A1 (en) * | 2020-05-21 | 2021-11-25 | 3M Innovative Properties Company | Air quality assessment based upon optical absorbance |
CN113984708A (zh) * | 2021-10-22 | 2022-01-28 | 浙江中烟工业有限责任公司 | 一种化学指标检测模型的维护方法和装置 |
US20220146417A1 (en) * | 2018-12-29 | 2022-05-12 | Sichuan Belam Technology Co., Ltd. | Method for constructing water quality index prediction models and method for monitoring water quality indexes |
CN114624142A (zh) * | 2022-03-07 | 2022-06-14 | 浙江中烟工业有限责任公司 | 基于热解动力学参数的烟叶总糖、还原糖定量分析方法 |
US20220198303A1 (en) * | 2019-04-15 | 2022-06-23 | Riken | Device, method and program for environmental factor estimation, learned model and recording medium |
-
2022
- 2022-07-27 CN CN202210889099.XA patent/CN114965348B/zh active Active
Patent Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6518573B1 (en) * | 1998-08-28 | 2003-02-11 | Wellesley International C.V. | Suppression of undesired components in the measured spectra of spectrometers |
US20060253267A1 (en) * | 2005-05-04 | 2006-11-09 | Giovanni Bonvicini | Method of information analysis |
US20070211248A1 (en) * | 2006-01-17 | 2007-09-13 | Innovative American Technology, Inc. | Advanced pattern recognition systems for spectral analysis |
CN101819168A (zh) * | 2010-01-06 | 2010-09-01 | 北京矿冶研究总院 | 一种光谱分析方法 |
US20140117229A1 (en) * | 2012-10-26 | 2014-05-01 | Fei Company | Mineral identification using sequential decomposition into elements from mineral definitions |
US20150066387A1 (en) * | 2013-08-30 | 2015-03-05 | Shimadzu Corporation | Substance identification method and mass spectrometer using the same |
US20150247813A1 (en) * | 2014-02-28 | 2015-09-03 | Bruker Biospin Gmbh | Method for determining the concentration of a substance in a sample |
CN105203565A (zh) * | 2014-06-11 | 2015-12-30 | 成都理工大学 | 一种能谱重叠峰解析方法 |
CN105184099A (zh) * | 2015-10-09 | 2015-12-23 | 中国环境科学研究院 | 一种藻类对水质CODMn贡献的估算方法 |
CN106706548A (zh) * | 2017-02-15 | 2017-05-24 | 江阴市纤维检验所 | 一种基于红外光谱曲线拟合分峰技术的聚酯纤维定性鉴别方法 |
CN107247888A (zh) * | 2017-08-14 | 2017-10-13 | 吉林大学 | 基于储备池网络的污水处理出水总磷tp软测量方法 |
CN107462535A (zh) * | 2017-08-17 | 2017-12-12 | 中国科学院烟台海岸带研究所 | 一种基于高斯多峰拟合的光谱解析算法 |
CN109470667A (zh) * | 2018-11-14 | 2019-03-15 | 华东理工大学 | 一种结合水质参数和三维荧光光谱进行污染物溯源的方法 |
US20220146417A1 (en) * | 2018-12-29 | 2022-05-12 | Sichuan Belam Technology Co., Ltd. | Method for constructing water quality index prediction models and method for monitoring water quality indexes |
US20220198303A1 (en) * | 2019-04-15 | 2022-06-23 | Riken | Device, method and program for environmental factor estimation, learned model and recording medium |
CN110836878A (zh) * | 2019-11-01 | 2020-02-25 | 同济大学 | 一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法 |
WO2021234622A1 (en) * | 2020-05-21 | 2021-11-25 | 3M Innovative Properties Company | Air quality assessment based upon optical absorbance |
CN112362635A (zh) * | 2020-11-02 | 2021-02-12 | 公安部第三研究所 | 一种基于紫外拉曼光谱分析的远距离物质检测装置 |
CN112557332A (zh) * | 2020-12-03 | 2021-03-26 | 华东理工大学 | 一种基于光谱分峰拟合的光谱分段和光谱比对方法 |
CN112834448A (zh) * | 2020-12-31 | 2021-05-25 | 杭州罗盘星科技有限公司 | 一种用于水污染物分析的光谱分解方法 |
CN112666084A (zh) * | 2021-01-04 | 2021-04-16 | 国网山西省电力公司电力科学研究院 | 一种基于拉曼光谱的sf6分解特征组分检测的降噪方法 |
CN113984708A (zh) * | 2021-10-22 | 2022-01-28 | 浙江中烟工业有限责任公司 | 一种化学指标检测模型的维护方法和装置 |
CN114624142A (zh) * | 2022-03-07 | 2022-06-14 | 浙江中烟工业有限责任公司 | 基于热解动力学参数的烟叶总糖、还原糖定量分析方法 |
Non-Patent Citations (5)
Title |
---|
MICHAEL L.WHITING ET AL.: "Predicting water content using Gaussian model on soil spectra", 《REMOTE SENSING ENVIRONMENT》 * |
V.A.SOLE ET AL.: "A multiplatform code for the analysis of energy-dispersive X-ray fluorescence spectra", 《SPECTROCHIMICA 》 * |
宋琛超等: "不同产地鱼腥草药材挥发油成分的研究", 《分析测试学报》 * |
王倩茹等: "单个油包裹体和微区沥青显微红外光谱分峰拟合技术及应用", 《地球科学》 * |
褚小立等: "用于近红外光谱分析的化学计量学方法研究与应用进展", 《分析化学》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114965348B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108228716B (zh) | 基于加权极限学习机的SMOTE_Bagging集成污水处理故障诊断方法 | |
US10570024B2 (en) | Method for effluent total nitrogen-based on a recurrent self-organizing RBF neural network | |
US20220051074A1 (en) | Quantitative spectral data analysis and processing method based on deep learning | |
Chechik et al. | Information bottleneck for Gaussian variables | |
CN109508811A (zh) | 基于主成分分析和长短期记忆网络的污水处理出水参数预测方法 | |
CN107292446B (zh) | 一种基于考虑分量关联性小波分解的混合风速预测方法 | |
CN109187392B (zh) | 一种基于分区建模的锌液痕量金属离子浓度预测方法 | |
CN111354423A (zh) | 一种基于多元时间序列分析的自组织递归模糊神经网络的出水氨氮浓度预测方法 | |
CN108710974B (zh) | 一种基于深度置信网络的水体氨氮预测方法及装置 | |
CN109344971B (zh) | 一种基于自适应递归模糊神经网络的出水氨氮浓度预测方法 | |
CN109558893B (zh) | 基于重采样池的快速集成污水处理故障诊断方法 | |
CN108537359B (zh) | 基于小波分析和bp神经网络的光伏发电功率预测 | |
CN108519347B (zh) | 一种基于二进制蜻蜓算法的红外光谱波长选择方法 | |
CN105372198A (zh) | 基于集成l1正则化的红外光谱波长选择方法 | |
CN110569605A (zh) | 一种基于nsga2-elm的粳稻叶片氮素含量反演模型方法 | |
Ju et al. | Rapid Identification of Atmospheric Gaseous Pollutants Using Fourier‐Transform Infrared Spectroscopy Combined with Independent Component Analysis | |
CN106777466B (zh) | 基于st-upfnn算法的高含硫天然气净化工艺的动态演化建模方法 | |
CN114216877B (zh) | 茶叶近红外光谱分析中谱峰自动检测与重构方法及系统 | |
CN114965348B (zh) | 基于污水检测的光谱解析方法和系统 | |
Yang et al. | Teacher–Student Uncertainty Autoencoder for the Process-Relevant and Quality-Relevant Fault Detection in the Industrial Process | |
CN105067550B (zh) | 一种基于分块稀疏贝叶斯优化的红外光谱波长选择方法 | |
CN113539386A (zh) | 基于clmvo-elm的溶解氧浓度预测方法、装置、设备及存储介质 | |
CN117030675A (zh) | 一种用于乳制品中细菌拉曼光谱的复原方法 | |
CN115952915A (zh) | 一种使用模糊熵分类的能耗预测优化方法 | |
CN113686810A (zh) | 一种基于卷积神经网络的近红外光谱波长选择方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |