CN103712939B - 一种基于紫外可见光谱的污染物浓度拟合方法 - Google Patents

一种基于紫外可见光谱的污染物浓度拟合方法 Download PDF

Info

Publication number
CN103712939B
CN103712939B CN201310746841.2A CN201310746841A CN103712939B CN 103712939 B CN103712939 B CN 103712939B CN 201310746841 A CN201310746841 A CN 201310746841A CN 103712939 B CN103712939 B CN 103712939B
Authority
CN
China
Prior art keywords
matrix
wavelength
data
component
omega
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310746841.2A
Other languages
English (en)
Other versions
CN103712939A (zh
Inventor
张显超
钱玉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Supratec Membrane Science And Technology Co ltd
Original Assignee
SHANGHAI ZEAN INDUSTRIAL Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI ZEAN INDUSTRIAL Co Ltd filed Critical SHANGHAI ZEAN INDUSTRIAL Co Ltd
Priority to CN201310746841.2A priority Critical patent/CN103712939B/zh
Publication of CN103712939A publication Critical patent/CN103712939A/zh
Application granted granted Critical
Publication of CN103712939B publication Critical patent/CN103712939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种基于紫外可见光谱的污染物浓度拟合方法,步骤如下:测量污染物浓度,确定每一个光谱所对应的污染物浓度;使用遗传算法寻找特定波长,不同的化学物质对不同的波长光谱吸收强度不同,对每一种物质都需要找到拟合效果最佳的特定波长进行拟合;使用偏最小二乘法对波长和浓度进行建模,所得到的拟合关系即为光谱数据与污染物浓度之间的关系,用来计算不同环境下污染物的浓度。本发明技术方案利用了紫外‑可见光谱中不同波长的吸光度来去除不同污染物之间的相互干扰,有效地提高了拟合精度。

Description

一种基于紫外可见光谱的污染物浓度拟合方法
技术领域
本发明涉及一种基于紫外可见光谱的污染物浓度拟合方法,属于模式识别、水质检测技术领域。
背景技术
水质监测是指监视和测定水体中污染物的种类、各类污染物的浓度及变化趋势,评价水质状况的过程,监测范围包括未被污染和已受污染的天然水(江、河、湖、海和地下水)及各种各样的工业排水等。
随着科学技术的发展,水质监测的方法与技术也得到了快速的进步,同时越来越多的现代化控制的手段与方法如计算机控制,先进的仪器分析在水质监测和分析中取得了广泛的应用。在较为传统的化学法、电化学法、色谱分析法的基础上,新兴的基于光谱分析、生物法等的原子光谱技术、分子光谱技术流动注射分析法、生物传感器、生物指示器及生物标识器等等分析技术和手段得到了快速的发展和应用。在诸多水质监测方法中基于光谱分析的水质监测技术是现代环境监测的一个重要发展方向,与传统的化学法、电化学法和色谱分析法等传统水质分析方法相比,光谱分析技术操作极为简便、无需消耗或者仅需消耗极少的试剂、测量精度高和分析速度快、设备十分小巧易于维护等优点,适合对环境水样的快速在线监测的要求(参见吴国琳,水污染的监测与控制,北京,化学工业出版社,2001,1.3)。
光谱分析法作为现在水质监测发展的一个重要方向,目前衍生出的方法主要高光谱遥感法、原子吸收光谱法、分子吸收光谱法三种,其中紫外-可见光全光谱分析法由于覆盖了大多数金属离子、非金属离子和有机污染物的光谱范围,可实现直接或间接地测定水中的各测量参数及有毒物质的含量,具有灵敏、快速、准确、简单等优点,并可实现对多种水质参数的检测,在对各水体的监测中均具有显著的优势(参见蒋绍阶,刘宗源,UV254作为有机物控制的意义.重庆建筑大学学报[J],2002,24:61-65)。
目前现有的采用光谱分析法用于污染物的浓度拟合方法主要有三种方案,第一种方案名称:多元线性最小二乘法(参见Langergraber,G.,Fleischmann,N.,Hofstaedter,F.AmultivariatecalibrationprocedureforUV/VISspectrometricquantificationoforganicmatterandnitrateinwastewater.Wat.Sci.Tech,(2003).47(2),63-71.)该算法思想:多元线性最小二乘法是利用称为线性回归方程的最小平方函数多个自变量和因变量之间关系进行建模的一种方法。缺点是用于建模的多个自变量之间存在比较大的相关性,会对多元线性最小二乘法的精度造成影响。
第二种方案为反向传播神经网络法(参见Benjathapanun,NBoyle,W.J.OGrattan,K.T.V.ClassificationofUV-VisSpectroscopicdatausingprincipalcomponentanalysisandneuralnetworktechniques[J].Measurement,1998,(24):1-7),该方案的反向传播神经网络是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一,缺点中学习速度慢,训练失败可能性大,容易收敛到局部极值点,会出现过拟合现象。
第三种方案是支持向量机法(杜树新,武晓莉,吴铁军;紫外光谱水质分析仪中的支持向量机方法[J];分析化学;2004年09期),该方法的核心支持向量机法是根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷,以求获得最好的推广能力,其缺点中参数选取难度较大,无法揭示波长与浓度的具体关系,所以环境适应性比较差。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供一种基于紫外可见光谱的污染物浓度拟合方法,能够在采样现场拟合出水中污染物之的浓度;提高了拟合精度,同时提高了选取拟合波长的速度。
本发明技术解决方案:一种基于紫外可见光谱的污染物浓度拟合方法,实现步骤如下:
STEP1:测量污染物浓度,确定每一个光谱所对应的污染物浓度;
STEP2:使用遗传算法寻找特定波长,不同的化学物质对不同的波长光谱吸收强度不同,对每一种物质都需要找到拟合效果最佳的特定波长进行拟合;
STEP3:使用偏最小二乘法对波长和浓度进行建模,所得到的拟合关系即为光谱数据与污染物浓度之间的关系,用来计算不同环境下污染物的浓度。
所述步骤STEP2中使用遗传算法寻找特定波长的步骤如下:
(1)编码:把所需要选择的波长进行编号,每一个波长就是一个基因,一个解就是一串基因的组合;
(2)初始群体的生成:随机产生N个初始串结构数据,每个串结构数据称为一个个体。N个个体,构成了一个群体;遗传算法以这N个串结构数据作为初始点开始迭代;
(3)交换:由交换概率Pc挑选的每两个父代通过将相异的部分基因进行交换,从而产生新的个体,可以得到新一代个体,新个体组合了其父辈个体的特性;
(4)适应度值评估检测:计算交换产生的新个体的适应度,适应度用来度量种群中个体优劣即符合条件的程度的指标值,所述的适应度就是REMS;
(5)选择:从交换后的群体中选出优良的个体,使它们有机会作为父代为下一代繁殖子孙;
(6)变异:首先在群体中随机选择一定数量个体,对于选中的个体以一定的概率即变异概率Pe随机地改变串结构数据中某个基因的值;
(7)中止:当变异后的基因无法再提高解的性能时,即解的适应度无法再提高,此时停止计算。所求得的基因即为所寻找的波长。
所述步骤STEP3中使用偏最小二乘法对波长和浓度进行建模的具体步骤如下:
假设得到的光谱数据矩阵为X,污染物浓度数据矩阵为Y。首先对数据进行标准化处理,消除量纲不同。E0为标准化处理后的光谱数据,F0为标准化处理后的污染物浓度数据。
(1)分别对E0和F0做正交投影变换,取方差最大的特征向量作为第一成分(方差次大的为第二成分,以此类推),并使之相关性达最大。其中分别为观测矩阵的线性组合,即:t1=(ω11E01+…+ω1p+E0p)=E0ω1,u1=(υ11F01+…+υ1pF0p)=F0υ1
其中:ω1和υ1为特征向量矩阵,t1和u1为第一成分,要求t1和u1相关程度最大且尽可能提取所在变量的变量信息即方差最大,求得分向量即可转化为下面的极值问题:
m a x < t 1 , u 1 > = m a x < E 0 &omega; 1 , F 0 &upsi; 1 > = &omega; 1 T E 0 T F 0 &upsi; 1 S . T . &omega; 1 T &omega; 1 = | | &omega; 1 | | 2 = 1 , &upsi; 1 T &upsi; 1 = | | &upsi; 1 | | 2 = 1 ,
max<t1,u1>是指最大化t1和u1的相关性。是ω1的逆矩阵,是E0的逆矩阵。S.T.表示约束条件。||ω1||和||υ1||分别是ω1和υ1的范数。
利用Lagrange法即转化求矩阵对应的特征值和对应的特征向量,且其最大特征值对应的特征向量即为ω1,进而υ可由求出。由此可以计算出所需的第一成分t1
(2)由第(1)步得到的t1,建立E0与F0对t1的回归,回归模型如下:
E 0 = t 1 &alpha; 1 T + E 1 F 0 = t 1 &beta; 1 T + F 1
其中α1和β1为回归模型的回归系数,E1和F1为残差阵,且回归系数的最小二乘估计分别为
(3)用残差阵E1和F1代替E0和F0重复第(2)步。
由回归模型可知如果残差阵F1中元素的绝对值近似于0,则可认为利用第一成分已经建立的回归模型达到了进度要求,无需进行其它成分的计算。
(4)收敛性检验。
与主元分析法一样,PLS同样需要确定成分的个数h,常用的方法为交叉验证法。在这种方法中计算一统计量PRESS(predictionresidualsumofsquares),即预测残差之平方和。在利用交叉有效性检验回归模型是否满足精度要求,如果不满足,则依照特征向量的方差大小依次抽出下一成分并重复(1)(2)(3)三个步骤,如果满足,终止成分抽取,且有:
F 0 = t 1 &beta; 1 T + t 2 &beta; 2 T + ... + t h &beta; h T .
(5)建立E0与F0之间的回归方程,F0=E0W+Fh
其中,I为单位矩阵,Fh为残差矩阵。
(6)对观测矩阵进行反标准化变换,建立原始数据矩阵之间的回归方程。
得到的为已经标准化的观测矩阵的回归方程,因此需按照标准化步骤的相反操作,将标准化矩阵E0和F0恢复到原始数据之间的回归方程:
Y=XA+B
其中:为系数矩阵,B=my-mxA为常数项。Cx和Cy为X和Y各列方差组成的对角矩阵,mx和my为X和Y各列均值组成的行向量。该方程反映了光谱数据X与污染物浓度数据Y之间的运算关系,通过该方程可以由光谱数据快速地计算出污染物浓度。
本发明与现有技术相比的优点在于:
(1)本发明能够很好地得到紫外-可见光谱与污染物浓度之间的关系:
本发明技术方案利用了紫外-可见光谱中不同波长的吸光度来去除不同污染物之间的相互干扰,有效地提高了拟合精度。
(2)本发明通过遗传算法可以快速而准确地寻找拟合波长:
紫外-可见光谱可以提供更多的光谱信息,但是由于波长之间的间隔过小(2nm),使得相邻波长的相关性极大,从而严重影响了拟合精度。同时,不同污染物所影响的波长范围也不同,为了提高拟合精度,需要从紫外-可见光谱中寻找特定的波长进行拟合,波长的选择会直接影响拟合效果。目前的波长寻找方法基本为穷举法,通过计算所有波长组合的拟合效果从中找出最好的一组即为拟合波长。但是穷举法计算量大,计算时间长,严重影响了污染物浓度测量的效率。使用遗传算法不仅可以精确地寻找到拟合波长,还可以将寻找波长的时间从几个小时缩短到几分钟(具体时间视拟合波长的个数而定),大大提高了计算效率。
(3)本发明通过偏最小二乘法得到适应不同环境的计算公式。
偏最小二乘法不仅可以有效消除拟合波长之间的相关性,提高拟合精度,还可以环境因素对于光谱数据的影响,使得得到的计算公式可以应用于不同环境下得到的光谱数据,大大提高了紫外-可见光谱水质检测仪器的使用范围。
附图说明
图1为本发明的实现流程图;
图2为本发明中的遗传算法实现流程图;
图3为本发明中的偏最小二乘法实现流程图。
具体实施方式
本发明利用紫外-可见光谱中特定波长的吸光度来拟合水中污染物的浓度。由于水中污染物种类较多,且各污染物的吸收光谱之间存在重叠,干扰的情况,所以使用单一波长进行污染物的定性与定量分析存在较大的困难。紫外-可见光谱可以提供更多的光谱信息,去除不同物质间的相互干扰,但是难以确定污染物浓度的计算公式。本发明实现了基于紫外-可见光谱的污染物浓度拟合公式的快速计算,并且达到了很高的拟合精度。
如图1所示,具体流程如下:摄像头采集到的图像按如下流程进行处理:
STEP1:测量污染物浓度,确定每一个光谱所对应的污染物浓度。
STEP2:使用遗传算法寻找特定波长,不同的化学物质对不同的波长光谱吸收强度不同,对每一种物质都需要找到拟合效果最佳的特定波长进行拟合。
STEP3:使用偏最小二乘法对波长和浓度进行建模,所得到的拟合关系即为光谱数据与污染物浓度之间的关系,可以用来计算不同环境下污染物的浓度。
2.1、拟合波长的选取
不同的化学物质对不同的波长光谱吸收强度不同,同一物质在不同的波长的光吸收强度亦有差异性,因此运用物质的吸光特性来进行水质检测具有极强的可操作性和极为为重要的实际意义。由于物质的吸光度是分子结构中电子能及跃迁产生的,不同物质在不同的波段的吸光度各不相同,许多特定的官能团具有自己独特的吸收特点,如不存在共轭键体系的物质如饱和脂肪烃在220-400nm处吸收基本没有吸收,存在共轭双键的不饱和醛、不饱和酮等则显示强烈吸收,若化合物会中存在较大的共轭体系,则会在300nm以上波段有极强吸收。
选取拟合波长需要考虑到以下两个因素:
(1)拟合均方根误差(RootMeanSquareError,RMSE):
拟合均方根误差评是价拟合效果最常用的指标。
R M S E = 1 N &Sigma; i N ( y ( i ) - y ^ ( i ) ) 2
其中N是样本个数。是第i个样本拟合值,y(i)是实际值。
(2)拟合相关系数R
相关系数R是衡量两个变量之间的相互关系的一个参数,当R=1时为完全正相关,代表拟合波长对实际浓度的拟合效果达到最佳,R越接近1拟合效果越好。其中:
R = &Sigma; i = 1 N y ( i ) y ^ ( i ) &Sigma; i = 1 N ( y ( i ) ) 2 &Sigma; i - 1 N ( y ^ ( i ) ) 2
2.2、基于遗传算法的波长选取
遗传算法(GeneticAlgorithm,GA)是一类借鉴生物界的进化规律(适者生存,优胜劣汰遗传机制)演化而来的随机化搜索方法。其主要特点是直接对结构对象进行操作,不存在求导和函数连续性的限定;具有内在的隐并行性和更好的全局寻优能力;采用概率化的寻优方法,能自动获取和指导优化的搜索空间,自适应地调整搜索方向,不需要确定的规则。遗传算法的这些性质,已被人们广泛地应用于组合优化、机器学习、信号处理、自适应控制和人工生命等领域。它是现代有关智能计算中的关键技术。
如图2所示,基于GA的波长选取步骤如下:
(1)编码:把所需要选择的波长进行编号,每一个波长就是一个基因,一个解就是一串基因的组合;
(2)初始群体的生成:随机产生N个初始串结构数据,每个串结构数据称为一个个体。N个个体,构成了一个群体;遗传算法以这N个串结构数据作为初始点开始迭代;
(3)交换:由交换概率Pc挑选的每两个父代通过将相异的部分基因进行交换,从而产生新的个体,可以得到新一代个体,新个体组合了其父辈个体的特性;
(4)适应度值评估检测:计算交换产生的新个体的适应度,适应度用来度量种群中个体优劣即符合条件的程度的指标值,所述的适应度就是RMSE;
(5)选择:从交换后的群体中选出优良的个体,使它们有机会作为父代为下一代繁殖子孙;
(6)变异:首先在群体中随机选择一定数量个体,对于选中的个体以一定的概率即变异概率Pe随机地改变串结构数据中某个基因的值;
(7)中止:当变异后的基因无法再提高解的性能时,即解的适应度无法再提高,此时停止计算。所求得的基因即为所寻找的波长。
3.3、基于偏最小二乘法(PLS)的污染物浓度拟合算法
相对于其他方法而言,偏最小二乘法提供了一种多对多线性回归建模的方法,特别当两组变量的个数很多,且都存在多重相关性,而观测数据的数量(样本量)又较少时,用偏最小二乘法建立的模型具有传统的经典回归分析等方法所没有的优点。
3.3.1、PLS的基本原理
主成分分析主要是提取隐藏在矩阵X中的相关信息,然后用于预测变量Y的值,如果因子选取不当,则可能使得最终的预测模型可靠性下降。偏最小二乘回归在主成分提取的思想上加入了典型相关分析的思想进而解决这个问题。它采用对变量X和Y都进行分解的方法,从变量X和Y中同时提取成分(通常称为因子),再将因子按照它们之间的相关性从大到小排列,选择用于回归的因子,
3.3.2建模步骤
假设得到的光谱数据矩阵为X,污染物浓度数据矩阵为Y。首先对数据进行标准化处理,消除量纲不同。E0为标准化处理后的光谱数据,F0为标准化处理后的污染物浓度数据。
(1)分别对E0和F0做正交投影变换,取方差最大的特征向量作为第一成分(方差次大的为第二成分,以此类推),并使之相关性达最大。其中分别为观测矩阵的线性组合,即:t1=(ω11E01+…+ω1p+E0p)=E0ω1,u1=(υ11F01+…+υ1pF0p)=F0υ1
其中:ω1和υ1为特征向量矩阵,t1和u1为第一成分,要求t1和u1相关程度最大且尽可能提取所在变量的变量信息即方差最大,求得分向量即可转化为下面的极值问题:
m a x < t 1 , u 1 > = m a x < E 0 &omega; 1 , F 0 &upsi; 1 > = &omega; 1 T E 0 T F 0 &upsi; 1 S . T . &omega; 1 T &omega; 1 = | | &omega; 1 | | 2 = 1 , &upsi; 1 T &upsi; 1 = | | &upsi; 1 | | 2 = 1 ,
max<t1,u1>是指最大化t1和u1的相关性。是ω1的逆矩阵,是E0的逆矩阵。S.T.表示约束条件。||ω1||和||υ1||分别是ω1和υ1的范数。
利用Lagrange法即转化求矩阵对应的特征值和对应的特征向量,且其最大特征值对应的特征向量即为ω1,进而υ可由求出。由此可以计算出所需的第一成分t1
(2)由第(1)步得到的t1,建立E0与F0对t1的回归,回归模型如下:
E 0 = t 1 &alpha; 1 T + E 1 F 0 = t 1 &beta; 1 T + F 1
其中α1和β1为回归模型的回归系数,E1和F1为残差阵,且回归系数的最小二乘估计分别为
(3)用残差阵E1和F1代替E0和F0重复第(2)步。
由回归模型可知如果残差阵F1中元素的绝对值近似于0,则可认为利用第一成分已经建立的回归模型达到了进度要求,无需进行其它成分的计算。
(4)收敛性检验。
与主元分析法一样,PLS同样需要确定成分的个数h,常用的方法为交叉验证法。在这种方法中计算一统计量PRESS(predictionresidualsumofsquares),即预测残差之平方和。在利用交叉有效性检验回归模型是否满足精度要求,如果不满足,则依照特征向量的方差大小
依次抽出下一成分并重复(1)(2)(3)三个步骤,如果满足,终止成分抽取,且有:
F 0 = t 1 &beta; 1 T + t 2 &beta; 2 T + ... + t h &beta; h T .
(5)建立E0与F0之间的回归方程,F0=E0W+Fh
其中,I为单位矩阵,Fh为残差矩阵。
(6)对观测矩阵进行反标准化变换,建立原始数据矩阵之间的回归方程。
得到的为已经标准化的观测矩阵的回归方程,因此需按照标准化步骤的相反操作,将标准化矩阵E0和F0恢复到原始数据之间的回归方程:
Y=XA+B
其中:为系数矩阵,B=my-mxA为常数项。Cx和Cy为X和Y各列方差组成的对角矩阵,mx和my为X和Y各列均值组成的行向量。该方程反映了光谱数据X与污染物浓度数据Y之间的运算关系,通过该方程可以由光谱数据快速地计算出污染物浓度。
本发明未详细阐述部分属于本领域公知技术。
以上所述,仅为本发明部分具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域的人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种基于紫外可见光谱的污染物浓度拟合方法,其特征在于实现步骤如下:
STEP1:测量污染物浓度,确定每一个光谱所对应的污染物浓度;
STEP2:使用遗传算法寻找特定波长,不同的化学物质对不同的波长光谱吸收强度不同,对每一种物质都需要找到拟合效果最佳的波长进行拟合;
STEP3:使用偏最小二乘法对波长和污染物浓度进行建模,所得到的拟合关系即为光谱数据与污染物浓度之间的关系,用来计算不同环境下污染物的浓度;
所述步骤STEP2中使用遗传算法寻找波长的步骤如下:
(21)编码:把所需要选择的波长进行编号,每一个波长就是一个基因,一个解就是一串基因的组合;
(22)初始群体的生成:随机产生N个初始串结构数据,每个串结构数据称为一个个体;N个个体,构成了一个群体;遗传算法以这N个串结构数据作为初始点开始迭代;
(23)交换:由交换概率Pc挑选的每两个父代通过将相异的部分基因进行交换,从而产生新的个体,得到新一代个体,新个体组合了其父辈个体的特性;
(24)适应度值评估检测:计算交换产生的新个体的适应度,适应度用来度量种群中个体优劣即符合条件的程度的指标值,所述适应度就是均方根误差RMES;
(25)选择:从交换后的群体中选出优良的个体,使它们有机会作为父代为下一代繁殖子孙;
(26)变异:首先在群体中随机选择一定数量个体,对于选中的个体以一定的概率即变异概率Pe随机地改变串结构数据中某个基因的值;
(27)中止:当变异后的基因无法再提高解的性能时,即解的适应度无法再提高,此时停止计算,所求得的基因即为所寻找的波长。
所述步骤STEP3中使用偏最小二乘法对波长和污染物浓度进行建模的具体步骤如下:
假设得到的光谱数据矩阵为X,污染物浓度数据矩阵为Y,首先对数据进行标准化处理,消除量纲不同,E0为标准化处理后的光谱数据,F0为标准化处理后的污染物浓度数据;
(31)分别提取两变量组的第一对成分对E0和F0做正交投影变换,取方差最大的特征向量作为第一成分,方差次大的为第二成分,以此类推,并使之相关性达最大,其分别为观测矩阵的线性组合,即:t1=(ω11E01+…+ω1p+E0p)=E0ω1,u1=(υ11F01+…+υ1pF0p)=F0υ1,其中:ω1和υ1为特征向量矩阵,t1和u1为第一成分,要求t1和u1相关程度最大且尽可能提取所在变量的变量信息即方差最大,求得分向量即转化为下面的极值问题:
m a x < t 1 , u 1 > = m a x < E 0 &omega; 1 , F 0 &upsi; 1 > = &omega; 1 T E 0 T F 0 &upsi; 1 S . T . &omega; 1 T &omega; 1 = | | &omega; 1 | | 2 = 1 , &upsi; 1 T &upsi; 1 = | | &upsi; 1 | | 2 = 1 ,
max<t1,u1>是指最大化t1和u1的相关性,是ω1的逆矩阵,是E0的逆矩阵,S.T.表示约束条件,||ω1||和|υ1||分别是ω1和υ1的范数;
利用Lagrange法即转化求矩阵对应的特征值和对应的特征向量,且其最大特征值对应的特征向量即为ω1,υ由求出,由此计算出所需的第一成分t1
(32)由第(31)步得到的t1,建立E0与F0对t1的回归,回归模型如下:
E 0 = t 1 &alpha; 1 T + E 1 F 0 = t 1 &beta; 1 T + F 1
其中α1和β1为回归模型的回归系数,E1和F1为残差阵,且回归系数的最小二乘估计分别为
(33)用残差阵E1和F1代替E0和F0重复第(32)步骤由回归模型知 如果残差阵F1中元素的绝对值近似于0,则认为利用第一成分即t1已经建立的回归模型达到了进度要求,无需进行其它成分的计算;
(34)收敛性检验,检验回归模型是否满足精度要求,如果不满足,则依照特征向量的方差大小依次抽出下一成分并重复(31)(32)(33)三个步骤,如果满足,终止成分抽取,且有:
(35)建立E0与F0之间的回归方程,F0=E0W+Fh
其中,I为单位矩阵,Fh为残差矩阵,ωi和ωj为特征向量,αi和βj为回归模型的迭代操作中的回归系数;
(36)对观测矩阵进行反标准化变换,建立原始数据矩阵之间的回归方程,即为已经标准化的观测矩阵的回归方程,按照标准化步骤的相反操作,将标准化矩阵E0和F0恢复到原始数据之间的回归方程:
Y=XA+B
其中:为系数矩阵,B=my-mxA为常数项;Cx和Cy为X和Y各列方差组成的对角矩阵,mx和my为X和Y各列均值组成的行向量,该方程反映了光谱数据X与污染物浓度数据Y之间的运算关系,通过该方程能够由光谱数据快速地计算出污染物浓度。
CN201310746841.2A 2013-12-30 2013-12-30 一种基于紫外可见光谱的污染物浓度拟合方法 Active CN103712939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310746841.2A CN103712939B (zh) 2013-12-30 2013-12-30 一种基于紫外可见光谱的污染物浓度拟合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310746841.2A CN103712939B (zh) 2013-12-30 2013-12-30 一种基于紫外可见光谱的污染物浓度拟合方法

Publications (2)

Publication Number Publication Date
CN103712939A CN103712939A (zh) 2014-04-09
CN103712939B true CN103712939B (zh) 2016-07-20

Family

ID=50406087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310746841.2A Active CN103712939B (zh) 2013-12-30 2013-12-30 一种基于紫外可见光谱的污染物浓度拟合方法

Country Status (1)

Country Link
CN (1) CN103712939B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104730025B (zh) * 2015-04-01 2017-04-26 河南工业大学 一种基于太赫兹光谱的混合物定量分析方法
CN105181619A (zh) * 2015-08-31 2015-12-23 深圳华中科技大学研究院 一种具有变量选择功能的红外光谱定量分析方法
CN106153561A (zh) * 2016-06-21 2016-11-23 中南大学 基于波长筛选的紫外可见光谱多金属离子检测方法
CN109459398B (zh) * 2018-12-26 2021-02-23 南京波思途智能科技股份有限公司 一种光谱水质总氮指标检测方法
CN110210127B (zh) * 2019-05-31 2020-11-06 山东大学 焊接工艺参数与焊道成型参数相关模型建立方法及系统
CN111487211B (zh) * 2020-05-11 2022-09-30 安徽理工大学 非相干宽带腔增强吸收光谱拟合波段选择方法
CN112014344B (zh) * 2020-08-21 2022-11-22 浙江全世科技有限公司 一种污水在线监测方法
CN112147895B (zh) * 2020-09-23 2024-04-05 天津大学 外源干扰下的水动力循环智能反馈实时控制系统及方法
CN112365274B (zh) * 2020-12-01 2022-08-23 苏州深蓝空间遥感技术有限公司 一种基于多源数据的高精度水污染溯源方法
CN112986169A (zh) * 2021-03-11 2021-06-18 广东新一代工业互联网创新技术有限公司 一种基于采样轮廓波变换的紫外光谱污染物分类检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694586A (ja) * 1992-09-10 1994-04-05 Masahiro Hori 汚染物質サンプリング装置及び汚染物質平均濃度測定方法
US5371367A (en) * 1993-04-13 1994-12-06 Envirotest Systems Corp. Remote sensor device for monitoring motor vehicle exhaust systems
RU2059226C1 (ru) * 1994-07-11 1996-04-27 Акционерное общество закрытого типа "МЕЛДОК" Спектральный коррелятор
CN101275912A (zh) * 2008-05-08 2008-10-01 中国农业大学 一种液体食品褐变检测方法
CN101349641A (zh) * 2008-08-28 2009-01-21 南京大学 一种动态监测有机污染物的紫外光电方法和装置
CN101776590A (zh) * 2010-02-01 2010-07-14 中国海洋大学 土壤中石油含量紫外分光光度测定方法
CN102305772A (zh) * 2011-07-29 2012-01-04 江苏大学 基于遗传核偏最小二乘法的近红外光谱特征波长筛选方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0694586A (ja) * 1992-09-10 1994-04-05 Masahiro Hori 汚染物質サンプリング装置及び汚染物質平均濃度測定方法
US5371367A (en) * 1993-04-13 1994-12-06 Envirotest Systems Corp. Remote sensor device for monitoring motor vehicle exhaust systems
RU2059226C1 (ru) * 1994-07-11 1996-04-27 Акционерное общество закрытого типа "МЕЛДОК" Спектральный коррелятор
CN101275912A (zh) * 2008-05-08 2008-10-01 中国农业大学 一种液体食品褐变检测方法
CN101349641A (zh) * 2008-08-28 2009-01-21 南京大学 一种动态监测有机污染物的紫外光电方法和装置
CN101776590A (zh) * 2010-02-01 2010-07-14 中国海洋大学 土壤中石油含量紫外分光光度测定方法
CN102305772A (zh) * 2011-07-29 2012-01-04 江苏大学 基于遗传核偏最小二乘法的近红外光谱特征波长筛选方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Genetic Algorithm Interval Partial Least Squares Regression Combined Successive Projections Algorithm for Variable Selection in Near-Infrared Quantitative Analysis of Pigment in Cucumber Leaves";ZOU XIAOBO et al.;《Society for Applied Spectroscopy》;20101231;第64卷(第7期);第786-794页 *
"偏最小二乘法回归(Partial Least Squares Regression)";JerryLead;《http://www.cnblogs.com/jerrylead/archive/2011/08/21/2148625.html》;20110821;网页上"[pdf 版本]偏最小二乘法回归.pdf"、网页上第2-4部分 *
"基于迭代初始化遗传算法的光谱波段选择及其在感冒液多组分测定中的应用";成飙 等;《光谱学与光谱分析》;20061031;第26卷(第10期);第1923-1926页第1-5部分 *
"用遗传算法快速提取近红外光谱特征区域和特征波长";邹小波 等;《光学学报》;20070731;第27卷(第7期);第1316-1321页 *
"遗传算法用于偏最小二乘方法建模中的变量筛选";褚小立 等;《分析化学(FENXI HUAXUE)研究简报》;20010430;第29卷(第4期);第437-442页 *

Also Published As

Publication number Publication date
CN103712939A (zh) 2014-04-09

Similar Documents

Publication Publication Date Title
CN103712939B (zh) 一种基于紫外可见光谱的污染物浓度拟合方法
CN109060760B (zh) 分析模型建立方法、气体分析装置及方法
CN101915753A (zh) 基于遗传神经网络的激光诱导击穿光谱定量分析方法
CN105447248B (zh) 基于金属定量构效关系的海水急性基准预测方法
CN105486655A (zh) 基于红外光谱智能鉴定模型的土壤有机质快速检测方法
CN111766210B (zh) 一种近岸复杂海水硝酸盐氮多光谱测量方法
CN117686442B (zh) 一种氯离子扩散浓度检测方法、系统、介质及设备
CN115221927A (zh) 一种紫外-可见光谱的溶解有机碳检测方法
CN115236044A (zh) 荧光光谱法计算水环境中溶解性有机碳浓度的方法和装置
Yang et al. Teacher–Student Uncertainty Autoencoder for the Process-Relevant and Quality-Relevant Fault Detection in the Industrial Process
CN118380066A (zh) 基于梯度提升集成学习算法与三维荧光的水质氨氮快速检测方法及设备
Liu et al. Detection of Apple Taste Information Using Model Based on Hyperspectral Imaging and Electronic Tongue Data.
CN111794744A (zh) 一种井下实时监测地层水污染程度的方法
CN109145403B (zh) 一种基于样本共识的近红外光谱建模方法
CN115165770B (zh) 基于宽光谱及bpnn的水体cod与浊度同时检测方法
CN114354666A (zh) 基于波长频次选择的土壤重金属光谱特征提取、优化方法
Tang et al. Quantitative spectral analysis of dissolved gas in transformer oil based on the method of optimal directions
Zhang et al. A deep spectral prediction network to quantitatively determine heavy metal elements in soil by X-ray fluorescence
Benjathapanun et al. Binary encoded 2nd-differential spectrometry using UV-Vis spectral data and neural networks in the estimation of species type and concentration
CN118549367B (zh) 一种基于改进最小二乘法的海水硝酸盐浓度测量方法
Aguilera et al. PLS and PCR methods in the assessment of coastal water quality
Johnson et al. Assessing the use of RIVPACS-derived invertebrate taxonomic predictions for river management
CN113686823B (zh) 基于透射光谱和PLS-Elman神经网络的水体亚硝酸盐含量估算方法
Shan et al. Quantitative near-infrared spectroscopic analysis of trimethoprim by artificial neural networks combined with modified genetic algorithm
Wu et al. Classification and Quantitative Modeling Analysis of Groundwater Hardness based on Ultraviolet Absorption Spectrum

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: QIAN YUMIN SHANGHAI ZEAN INDUSTRY CO., LTD.

Free format text: FORMER OWNER: QIAN YUMIN

Effective date: 20150604

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150604

Address after: 201599, No. 388, FA FA Road, Zhu Jing industrial area, Shanghai, Jinshan District

Applicant after: Zhang Xianchao

Applicant after: Qian Yumin

Applicant after: Shanghai Zean Industrial Co., Ltd.

Address before: 201599, No. 388, FA FA Road, Zhu Jing industrial area, Shanghai, Jinshan District

Applicant before: Zhang Xianchao

Applicant before: Qian Yumin

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200911

Address after: 201599 Shanghai city Jinshan District zhujingzhen in Road No. 388 Building 2 floor Room 102

Patentee after: SHANGHAI SUPRATEC MEMBRANE SCIENCE AND TECHNOLOGY Co.,Ltd.

Address before: 201599, No. 388, FA FA Road, Zhu Jing industrial area, Shanghai, Jinshan District

Co-patentee before: Qian Yumin

Patentee before: Zhang Xianchao

Co-patentee before: SHANGHAI ZEAN INDUSTRIAL Co.,Ltd.