CN110836878B - 一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法 - Google Patents
一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法 Download PDFInfo
- Publication number
- CN110836878B CN110836878B CN201911057331.8A CN201911057331A CN110836878B CN 110836878 B CN110836878 B CN 110836878B CN 201911057331 A CN201911057331 A CN 201911057331A CN 110836878 B CN110836878 B CN 110836878B
- Authority
- CN
- China
- Prior art keywords
- data
- dimensional fluorescence
- interpolation
- dimensional
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6402—Atomic fluorescence; Laser induced fluorescence
Abstract
本发明涉及三维荧光数据分析处理技术领域,具体涉及一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法,包括如下步骤:导出三维荧光光谱原始数据,并进行瑞利散射、拉曼散射处理;对所述荧光光谱数据进行二维三次卷积插值,提高数据分辨率;利用主成分分析的统计方法,对卷积处理后的数据进行分析,判断成分数量;对处理后的光谱数据进行标准化或数据格式转换;采用高斯混合模型对光谱数据拟合并进行寻峰并输出可视化结果,本发明在提高分析精确度的同时减少时间成本,且通过对原始三维荧光光谱插值的手段,减少测量时的波段数,大大节约测量时间,非常适用于实时三维荧光分析。
Description
技术领域
本发明涉及三维荧光数据分析处理技术领域,具体涉及一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法。
背景技术
三维荧光光谱是一种运用物质荧光特性表征有机质理化性质的技术,其中三个维度分别代表激发、发射波长及对应荧光强度,通过记录在不同发射波长、激发波长位置上的荧光强度来获得样品随激发、发射波长同时变化时的光谱信息,并构建其光谱指纹,三维荧光技术有着快速、灵敏、选择性好等优点,常用于溶解性有机物质的检测,尤其适用于复杂、痕量溶解性有机样品的定性、定量分析,例如制药废水、消毒副产物等,现已广泛应用于环境、生物、化学等相关领域。
荧光技术虽然具有较高的灵敏度,但由于测量样品一般较复杂,多组分测定时通常会发生光谱重叠现象,人工肉眼寻峰方法存在较多主观因素,因此需要“数学分离”的技术,同时对存在的未知干扰的复杂性样品进行快速、多组分分析,通过数学原理分离,相对化学分离手段,可以减少实验步骤,并且具有快速、环保、低成本、准确等特点,可作为一种快速有效的分析技术,现在主流分峰方法有平行因子法(PARAFAC),可有效、准确的对三维荧光数据进行分析,但是对数据的采样精度要求高,要求测量波长间隔小,测量时间增长,计算量大,对大批量样品进行处理时,运算时间成本高,难以快速实时的输出结果。
发明内容
为解决传统人工肉眼寻峰方法准确性低、平行因子分析计算量大的弊端,本发明提供一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法。
本发明通过如下技术方案来实现:
一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法,包括如下步骤:
S1、导出三维荧光光谱原始数据,并进行消除瑞利散射、拉曼散射处理;
S2、对所述三维荧光光谱数据的两个维度分别进行双三次卷积插值,提高数据分辨率,该两个维度分别为发射波长、激发荧光波长;
S3、利用主成分分析的统计方法,对双三次卷积处理后的数据进行分析,判断主成分数量;
S4、对双三次卷积插值处理后的三维荧光光谱数据进行标准化或数据格式转换;
S5、采用高斯混合模型运用极大似然估计与EM算法求解对三维荧光光谱数据拟合并进行寻峰并输出可视化结果。
进一步的,在所述的S1步骤中,对原始光谱进行预处理,利用Delaunay三角形内插值法消除瑞利散射,并扣除背景溶剂值消除拉曼散射。
进一步的,在所述的S2步骤中,对所述三维荧光光谱数据的两个维度分别进行双三次卷积插值,提高数据分辨率的步骤中,双三次卷积插值利用插值点周边数据分别对三维荧光数据的两个维度的数据进行处理,提高其分辨率,所述三次卷积插值公式为:
s=(x-xj)/h
其中f(x)为某一维度上的函数,h表示采样间距,xk表示插值点,u表示插值卷积用的kernel,g(x)为插值函数,ck为依赖于采样点数据的参数,通过建立f(x)、g(x)两函数关系在插值点上的等式来确定ck的值,x为需要获得值的插值点且位于xj与xj+1之间。
进一步的,利用主成分分析的统计方法,对所述的S3步骤中双三次卷积处理后的数据进行分析,判断成分数量,所述主成分分析统计方法步骤为:
对数据进行标准化,以消除变量间在量纲与数量级之间的差别;
求出标准化后数据的相关矩阵;
求出相关矩阵特征值与特征向量;
计算方差贡献率;
确定主成分,通常认为从大到小n个成分贡献率大于80%时,为主成分,n即为成分个数。
进一步的,在S3步骤中,也可根据使用者自身经验或实际情况人工判断成分数量;
当操作人员可明确样品中物质个数或需要对统计方法预判个数进行调整时,可根据人工判断,直接确定成分个数;
intense=floor(data(EM,EX)×accuracy)
其中intense为投影点个数,data(EX,EM)为对应(EX,EM)位置的响应值,accuracy为转化系数,accuracy作用在于扩大信号,但会提高计算成本,可根据实际情况选取适合参数。
进一步的,在所述的S5步骤中,对处理后的光谱数据进行标准化或数据格式转换时,可采用规范化方法、正规化方法、模糊量化法等标准化方法消除光谱数据中量级差异过大产生的问题,必要时可转换数据格式为便于后续处理的格式;
将响应信号等比例转化为统计频率,便于后续多维高斯函数拟合标准化及数据格式转换,三维荧光每点上的数据原本为数值,为方便后续高斯拟合,通过一定比例线性转换成为对应强度的点个数,并投影至二维平面对应栅格中,每栅格投影点个数为
in=f×acc
其中intense为投影点个数,f为对应点响应值,acc为转化系数。
进一步的,采用高斯混合模型运用极大似然估计与EM算法求解对光谱数据拟合并进行寻峰并输出可视化结果:
根据S3判断的成分个数n,建立由n个高斯模型组成的混合高斯模型:
其中,p(x|k)=N(x|uk,∑k)为第k个高斯模型的概率密度函数,即选定第k个高斯模型后,该模型产生x的概率,p(k)=πk为第k个高斯模型权重,即选择第k个模型的先验概率,根据混合高斯模型拟合结果,每个高斯模型曲线的重点即为所寻峰位置,后续可根据要求绘制等高线图、三维光谱图等可视化输出。
本发明有益效果在于,本发明一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法在提高分析精确度的同时减少时间成本,且通过对原始三维荧光光谱插值的手段,减少测量时的波段数,大大节约测量时间,非常适用于实时三维荧光分析。
附图说明
图1为本发明一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法的流程图;
图2为原始三维荧光光谱云图;
图3为原始三维荧光等高线图;
图4为原始三维荧光三维图;
图5为三次卷积运算处理后的三维荧光光谱云图;
图6为三次卷积运算处理后的三维荧光等高线图;
图7为采用高斯混合模型运用极大似然估计与EM算法求解对三维荧光光谱数据拟合并进行寻峰处理后的三维荧光光谱三维图;
图8为采用高斯混合模型运用极大似然估计与EM算法求解对三维荧光光谱数据拟合并进行寻峰处理后的三维荧光光谱等高线完整峰位图;
图9为采用高斯混合模型运用极大似然估计与EM算法求解对三维荧光光谱数据拟合并进行寻峰处理后的三维荧光光谱等高线单独峰位图。
具体实施方式
以下结合具体实施方式对本发明进一步说明,以下实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明的实施例,本领域技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明的保护范围,另外,本发明中所提到的所有联结/连接关系,并非单指构件直接相连,而是根据具体实施情况,通过添加或减少联结辅件,来组成更优的联结/连接结构。
实例一:
一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法,包括如下步骤:
S1、导出三维荧光光谱原始数据,并进行消除瑞利散射、拉曼散射处理;
S2、对所述三维荧光光谱数据的两个维度分别进行双三次卷积插值,提高数据分辨率,该两个维度分别为发射波长、激发荧光波长;
S3、利用主成分分析的统计方法,对双三次卷积处理后的数据进行分析,判断主成分数量;
S4、对双三次卷积插值处理后的三维荧光光谱数据进行标准化或数据格式转换;
S5、采用高斯混合模型运用极大似然估计与EM算法求解对三维荧光光谱数据拟合并进行寻峰并输出可视化结果。
进一步的,在所述的S1步骤中,对原始光谱进行预处理,利用Delaunay三角形内插值法消除瑞利散射,并扣除背景溶剂值消除拉曼散射。
进一步的,在所述的S2步骤中,对所述三维荧光光谱数据的两个维度分别进行双三次卷积插值,提高数据分辨率的步骤中,双三次卷积插值利用插值点周边数据分别对三维荧光数据的两个维度的数据进行处理,提高其分辨率,所述三次卷积插值公式为:
s=(x-xj)/h
其中f(x)为某一维度上的函数,h表示采样间距,xk表示插值点,u表示插值卷积用的kernel,g(x)为插值函数,ck为依赖于采样点数据的参数,通过建立f(x)、g(x)两函数关系在插值点上的等式来确定ck的值,x为需要获得值的插值点且位于xj与xj+1之间。
进一步的,利用主成分分析的统计方法,对所述的S3步骤中双三次卷积处理后的数据进行分析,判断成分数量,所述主成分分析统计方法步骤为:
对数据进行标准化,以消除变量间在量纲与数量级之间的差别;
求出标准化后数据的相关矩阵;
求出相关矩阵特征值与特征向量;
计算方差贡献率;
确定主成分,通常认为从大到小n个成分贡献率大于80%时,为主成分,n即为成分个数。
进一步的,在S3步骤中,也可根据使用者自身经验或实际情况人工判断成分数量;
当操作人员可明确样品中物质个数或需要对统计方法预判个数进行调整时,可根据人工判断,直接确定成分个数,
intense=floor(data(EM,EX)×accuracy)
其中intense为投影点个数,data(EX,EM)为对应(EX,EM)位置的响应值,accuracy为转化系数,accuracy作用在于扩大信号,但会提高计算成本,可根据实际情况选取适合参数。
进一步的,在所述的S5步骤中,对处理后的光谱数据进行标准化或数据格式转换时,可采用规范化方法、正规化方法、模糊量化法等标准化方法消除光谱数据中量级差异过大产生的问题,必要时可转换数据格式为便于后续处理的格式;
将响应信号等比例转化为统计频率,便于后续多维高斯函数拟合标准化及数据格式转换,三维荧光每点上的数据原本为数值,为方便后续高斯拟合,通过一定比例线性转换成为对应强度的点个数,并投影至二维平面对应栅格中,每栅格投影点个数为
in=f×acc
其中intense为投影点个数,f为对应点响应值,acc为转化系数。
进一步的,采用高斯混合模型运用极大似然估计与EM算法求解对光谱数据拟合并进行寻峰并输出可视化结果:
根据S3判断的成分个数n,建立由n个高斯模型组成的混合高斯模型:
其中,p(x|k)=N(x|uk,∑k)为第k个高斯模型的概率密度函数,即选定第k个高斯模型后,该模型产生x的概率,p(k)=πk为第k个高斯模型权重,即选择第k个模型的先验概率,根据混合高斯模型拟合结果,每个高斯模型曲线的重点即为所寻峰位置,后续可根据要求绘制等高线图、三维光谱图等可视化输出。
实例样品为小球藻培养过程中的水样,为缩短检测时间,进行三维荧光测样时已经降低分辨率,检测时选取发射波长范围从240nm至450nm,波长间隔10nm;激发波长范围从280nm至550nm,波长间隔10nm,原始三维荧光光谱图、等高线图、三维图分别如图2、图3、图4所示;
利用S2步骤对原始三维荧光光谱图进行三次卷积运算处理低分辨率数据,提高数据精度,将精密度转变为原先8倍,发射波长范围从240nm至450nm,波长间隔1.25nm;激发波长范围从280nm至550nm,波长间隔1.25nm,三次卷积运算处理后的三维荧光光谱云图、三维荧光等高线图如图5图6所示;
由图2、图3、图4、图5可得到,原始三维荧光光谱图经三次卷积运算处理后,数据分辨率得到了有效的提高;
利用S3步骤,确定主成分为四类;
利用S4步骤,转化数据格式,将响应信号等比例转化为统计频率强度,便于后续多维高斯函数拟合标准化及数据格式转换(强度转为频率),三维荧光每点上的数据原本为数值,为方便后续高斯拟合,通过一定比例线性转换成为对应强度的点个数,并投影至二维平面对应栅格中;
利用S5步骤,进行高斯混合模型拟合,快速寻峰,并输出峰位置,便于判断物质种类,经高斯混合模型运用极大似然估计与EM算法求解对三维荧光光谱数据拟合并进行寻峰处理后的三维荧光光谱三维图、等高线完整峰位图、等高线单独峰位图如图7、8、9所示。
上述实施例仅为本发明技术构思及特点,并不能以此限制本发明的保护范围,凡根据本发明精神实质所作的等效变化或装饰,都应该涵盖在本发明的保护范围之内。
Claims (6)
1.一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法,其特征在于,包括如下步骤:
S1、导出三维荧光光谱原始数据,并进行消除瑞利散射、拉曼散射处理;
S2、对所述S1步骤处理后得到的三维荧光光谱数据的两个维度分别进行双三次卷积插值,提高数据分辨率,该两个维度分别为发射波长、激发荧光波长;
S3、利用主成分分析的统计方法,对双三次卷积处理后的数据进行分析,判断主成分数量;
S4、对双三次卷积插值处理后的三维荧光光谱数据进行标准化或数据格式转换;
S5、采用高斯混合模型运用极大似然估计与EM算法求解S4步骤处理后的三维荧光光谱数据,对其拟合并进行寻峰后输出可视化结果。
2.根据权利要求1所述的一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法,其特征在于,
在所述的S1步骤中,对原始光谱进行预处理,利用Delaunay三角形内插值法消除瑞利散射,并扣除背景溶剂值消除拉曼散射。
4.根据权利要求1所述的一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法,其特征在于,
利用主成分分析的统计方法,对所述的S2步骤中双三次卷积处理后的数据进行分析,判断成分数量,所述主成分分析统计方法步骤为:
对数据进行标准化,以消除变量间在量纲与数量级之间的差别;
求出标准化后数据的相关矩阵;
求出相关矩阵特征值与特征向量;
计算方差贡献率;
确定主成分,从大到小n个成分贡献率大于80%时,为主成分,n即为成分个数。
5.根据权利要求1所述的一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法,其特征在于,在所述的S4步骤中,对处理后的光谱数据进行标准化或数据格式转换,消除光谱数据中量级差异过大产生的问题;
将响应信号等比例转化为统计频率,便于后续多维高斯函数拟合标准化及数据格式转换,三维荧光每点上的数据原本为数值,为方便后续高斯拟合,通过一定比例线性转换成为对应强度的点个数,并投影至二维平面对应栅格中,每栅格投影点个数为
in=f×acc
其中in为投影点个数,f为对应点响应值,acc为转化系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911057331.8A CN110836878B (zh) | 2019-11-01 | 2019-11-01 | 一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911057331.8A CN110836878B (zh) | 2019-11-01 | 2019-11-01 | 一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110836878A CN110836878A (zh) | 2020-02-25 |
CN110836878B true CN110836878B (zh) | 2021-09-07 |
Family
ID=69575823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911057331.8A Active CN110836878B (zh) | 2019-11-01 | 2019-11-01 | 一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110836878B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114965348B (zh) * | 2022-07-27 | 2022-11-15 | 浙江数翰科技有限公司 | 基于污水检测的光谱解析方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1632534A (zh) * | 2005-01-17 | 2005-06-29 | 中国海洋大学 | 石油录井中岩屑岩芯含油量的测量方法 |
CN1645109A (zh) * | 2005-01-31 | 2005-07-27 | 中国海洋大学 | 一种获取最优可变角同步荧光光谱的方法 |
CN107064054A (zh) * | 2017-02-28 | 2017-08-18 | 浙江大学 | 一种基于cc‑pls‑rbfnn优化模型的近红外光谱分析方法 |
CN109472287A (zh) * | 2018-10-06 | 2019-03-15 | 浙江大学 | 基于二维Gabor小波的三维荧光光谱特征提取方法 |
CN109884022A (zh) * | 2019-04-12 | 2019-06-14 | 成都市环境保护科学研究院 | 一种三维荧光光谱寻峰方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8625921B1 (en) * | 2008-09-26 | 2014-01-07 | Google Inc. | Method for image processing using local statistics convolution |
-
2019
- 2019-11-01 CN CN201911057331.8A patent/CN110836878B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1632534A (zh) * | 2005-01-17 | 2005-06-29 | 中国海洋大学 | 石油录井中岩屑岩芯含油量的测量方法 |
CN1645109A (zh) * | 2005-01-31 | 2005-07-27 | 中国海洋大学 | 一种获取最优可变角同步荧光光谱的方法 |
CN107064054A (zh) * | 2017-02-28 | 2017-08-18 | 浙江大学 | 一种基于cc‑pls‑rbfnn优化模型的近红外光谱分析方法 |
CN109472287A (zh) * | 2018-10-06 | 2019-03-15 | 浙江大学 | 基于二维Gabor小波的三维荧光光谱特征提取方法 |
CN109884022A (zh) * | 2019-04-12 | 2019-06-14 | 成都市环境保护科学研究院 | 一种三维荧光光谱寻峰方法 |
Non-Patent Citations (2)
Title |
---|
基于三维同步荧光光谱确定原油样品浓度的新方法;王春艳 等;《光谱学与光谱分析》;20060630;第26卷(第6期);第1080-1083页 * |
溶解性有机物研究中三维荧光光谱分析的应用;陈诗雨 等;《环境科学与技术》;20150531;第38卷(第5期);第64-68、73页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110836878A (zh) | 2020-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6393368B1 (en) | Method and apparatus for analyzing multi-channel chromatogram | |
CN103822879B (zh) | 一种基于高光谱成像技术的猕猴桃膨大果无损检测方法 | |
CN108169213B (zh) | 一种激光诱导击穿光谱谱峰元素自动识别方法 | |
CN105486655B (zh) | 基于红外光谱智能鉴定模型的土壤有机质快速检测方法 | |
CN108956505B (zh) | 基于Sentinel-2图像的小型水体中叶绿素a浓度的检测方法及装置 | |
CN110376139A (zh) | 基于地面高光谱的土壤有机质含量定量反演方法 | |
CN109738413B (zh) | 基于稀疏非负最小二乘的混合物拉曼光谱定性分析方法 | |
CN104008574B (zh) | 一种基于无限高斯混合模型的高光谱图像解混方法 | |
WO2020186844A1 (zh) | 自适应表面吸收光谱分析方法、系统、存储介质、设备 | |
CN113008805A (zh) | 基于高光谱成像深度分析的白芷饮片质量预测方法 | |
CN116665057A (zh) | 一种基于图像处理的河道水质监测方法及系统 | |
CN110836878B (zh) | 一种卷积插值耦合高斯混合模型快速三维荧光寻峰方法 | |
CN115236045A (zh) | 一种利用荧光光谱法测定水中化学需氧量的方法、装置及存储介质 | |
CN103105369A (zh) | 液态物质光谱基线校正定量分析方法 | |
CN102103079B (zh) | 一种光谱分析方法 | |
CN104268896A (zh) | 基于光谱抽样直方图的超光谱降维匹配方法及系统 | |
CN108169204B (zh) | 一种基于数据库的拉曼光谱预处理方法 | |
CN115825388A (zh) | 一种重金属估算模型的训练方法、估算方法、装置及设备 | |
CN116400724A (zh) | 一种输电线路无人机智能巡检方法 | |
JP3270290B2 (ja) | マルチチャンネルクロマトグラムの解析方法及びデータ処理装置 | |
CN109145887B (zh) | 一种基于光谱潜变量混淆判别的阈值分析方法 | |
CN114354667A (zh) | 一种基于x射线荧光光谱的元素定量分析方法和系统 | |
CN112800993A (zh) | 一种基于离散小波变换的区域尺度工业厂房信息增强方法 | |
De Kerf et al. | Quantitative detection of corrosion minerals in carbon steel using shortwave infrared hyperspectral imaging | |
CN115060631B (zh) | 一种自适应的颗粒物拉曼相似度判别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |