CN114324158B - 一种近红外光谱数据异常点校正方法 - Google Patents

一种近红外光谱数据异常点校正方法 Download PDF

Info

Publication number
CN114324158B
CN114324158B CN202111570591.2A CN202111570591A CN114324158B CN 114324158 B CN114324158 B CN 114324158B CN 202111570591 A CN202111570591 A CN 202111570591A CN 114324158 B CN114324158 B CN 114324158B
Authority
CN
China
Prior art keywords
spectrum data
reflectivity
sample
spectrum
standard plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111570591.2A
Other languages
English (en)
Other versions
CN114324158A (zh
Inventor
刘浩
闫晓剑
贾利红
张国宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Cric Technology Co ltd
Original Assignee
Sichuan Cric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Cric Technology Co ltd filed Critical Sichuan Cric Technology Co ltd
Priority to CN202111570591.2A priority Critical patent/CN114324158B/zh
Publication of CN114324158A publication Critical patent/CN114324158A/zh
Application granted granted Critical
Publication of CN114324158B publication Critical patent/CN114324158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及近红外光谱数据校正技术,其公开了一种近红外光谱数据异常点校正方法,解决便携式近红外光谱仪采集获取的光谱数据容易失真,准确性较差,进而影响其光谱预测分析能力的问题。本发明首先利用便携式近红外光谱仪分别采集待测样品及标准板光谱数据;然后结合标准板反射率与其光谱数据获取标准板反射率‑光谱数据对照表,结合光谱数据合理偏差值获取标准板反射率‑光谱阈值对照表;接着,结合待测样品反射率与标准板反射率之间的关系获取样品反射率‑光谱阈值对照表;最后结合样品反射率‑光谱阈值对照表判断待测样品光谱数据是否异常,并对异常光谱数据进行异常点校正。

Description

一种近红外光谱数据异常点校正方法
技术领域
本发明涉及近红外光谱数据校正技术,具体涉及一种近红外光谱数据异常点校正方法。
背景技术
近年来,近红外光谱分析技术发展十分迅速,已在化工,制药,军工,食品等多个领域都获得了广泛应用。近红外光谱技术属于分子光谱技术,可以在分子水平上表明物质成分和性质信息,不论是对经济还是从社会影响来说,都取得了非常高的效益,极具发展潜力。
伴随着便携式近红外光谱技术的发展,市场主流的大型近红外光谱仪设备都朝着体积小巧,价格低廉的便携式方向发展。但是便携式近红外光谱仪易于受光源、检测器、使用方法、环境条件等影响,其采集获取的光谱数据极易失真,准确性较差,进而影响其光谱预测分析能力。
因此,如何能提供一种有效的方法来对便携式近红外光谱数据进行校正而使得光谱传感器采集获得的光谱数据有良好的预测分析能力成为了一个亟待解决的问题。
发明内容
本发明所要解决的技术问题是:提出一种近红外光谱数据异常点校正方法,解决便携式近红外光谱仪采集获取的光谱数据容易失真,准确性较差,进而影响其光谱预测分析能力的问题。
本发明解决上述技术问题采用的技术方案是:
一种近红外光谱数据异常点校正方法,包括以下步骤:
S1、利用便携式近红外光谱仪分别采集待测样品及标准板光谱数据;
S2、结合标准板反射率与其光谱数据获取标准板反射率-光谱数据对照表;
S3、结合光谱数据合理偏差值获取标准板反射率-光谱阈值对照表;
S4、结合待测样品反射率与标准板反射率之间的关系获取样品反射率-光谱阈值对照表;
S5、结合样品反射率-光谱阈值对照表判断待测样品光谱数据是否异常,并对异常光谱数据进行异常点校正。
作为进一步优化,步骤S1中,采用波长均分式便携近红外光谱仪分别对待测样品和标准板的光谱数据进行采集,其波长范围为1760nm~2150nm,分辨率为10nm,则每条光谱数据包含40个光强值点,每条光谱数据实际表示为40个波长点上光强值的矩阵集合。
作为进一步优化,步骤S1中,在采集过程中,针对每一个待测样品对应采集5条光谱数据,并将5条光谱数据做均值运算,均值后的数据作为为该样品的实际光谱数据。
作为进一步优化,步骤S2中,所述结合标准板反射率与其光谱数据获取标准板反射率-光谱数据对照表,具体包括:
假设标准板的反射率为α,通过近红外光谱仪采集获得的标准板光谱数据为(P1,P2……,P40),则生成标准板反射率-光谱数据对照表α~~(P1,P2……,P40)。
作为进一步优化,步骤S3中,所述结合光谱数据合理偏差值获取标准板反射率-光谱阈值对照表,具体包括:
假设便携式近红外光谱数据的合理偏差为x%,则标准板光谱数据上限阈值为[(1+x%)*P1,(1+x%)*P2……,(1+x%)*P40],标准板光谱数据下限阈值为[(1-x%)*P1,(1-x%)*P2……,(1-x%)*P40],通过将标准板反射率与阈值表进行对应,获取标准板反射率-光谱阈值对照表。
作为进一步优化,步骤S4中,所述结合待测样品反射率与标准板反射率之间的关系获取样品反射率-光谱阈值对照表,具体包括:
假设待测样品的反射率为β,根据待测样品反射率与标准板反射率之间的比值关系即为两者光谱数据之间的比值关系可知,待测样品光谱数据上限阈值为[(1+x%)*P1*β/α,(1+x%)*P2*β/α……,(1+x%)*P40*β/α],待测样品的光谱数据下限阈值为[(1-x%)*P1*β/α,(1-x%)*P2*β/α……,(1-x%)*P40*β/α],通过将待测样品反射率与阈值表进行对应,获取样品反射率-光谱阈值对照表。
作为进一步优化,步骤S5中,所述结合样品反射率-光谱阈值对照表判断待测样品光谱数据是否异常,具体包括:
假设便携式近红外光谱设备采集待测样品的实际光谱数据为(M1,M2……,M40),则针对光谱数据中的每一个点判断是否满足:
(1-x%)*Pt*β/α<Mt<(1+x%)*Pt*β/α,t=1,2……,40
若各个点均满足,则判定光谱数据正常,否则,判定光谱数据异常。
作为进一步优化,步骤S5中,所述对异常光谱数据进行异常点校正,具体包括:
假设该待测样品光谱数据中在阈值范围内的光强值点为N个,计算正常光强值点相较于阈值下限的偏移率Kn为:
然后,计算出该光谱数据中正常光强值点的偏移率均值K为:
K=(K1+K2……Kn)/n,n=1,2……,N
接着,对该光谱数据中(40-N)个异常光谱数据点进行校正,根据偏移率均值以及异常光强值点的阈值下限进行校正,回归到正常阈值区间,校正公式如下:
Mu=(1-x%)*Pu*β/α*K,u=1,2……,40-N
其中,Mu为异常光强值校正后的光强数值,通过上述校正公式对光谱数据中的异常光强数据点进行逐点校正,当所有异常点均回归到正常阈值区间时即完成异常光谱数据的校正。
本发明的有益效果是:
通过光谱阈值对照表对光谱数据进行异常判断及异常点校正,有效解决便携式近红外设备易受到环境或其他因素影响而造成采集获取光谱数据失真的问题,良好提升光谱数据的准确性,进而提高便携式近红外光谱数据的预测分析能力。
附图说明
图1是实施例中的近红外光谱数据异常点校正方法流程图。
具体实施方式
本发明旨在提出一种近红外光谱数据异常点校正方法,解决便携式近红外光谱仪采集获取的光谱数据容易失真,准确性较差,进而影响其光谱预测分析能力的问题。本发明首先利用便携式近红外光谱仪分别采集待测样品及标准板光谱数据;然后结合标准板反射率与其光谱数据获取标准板反射率-光谱数据对照表,结合光谱数据合理偏差值获取标准板反射率-光谱阈值对照表;接着,结合待测样品反射率与标准板反射率之间的关系获取样品反射率-光谱阈值对照表;最后结合样品反射率-光谱阈值对照表判断待测样品光谱数据是否异常,并对异常光谱数据进行异常点校正。该方法通过光谱阈值对照表对光谱数据进行异常判断及异常点校正,有效解决便携式近红外设备易受到环境或其他因素影响而造成采集获取光谱数据失真的问题,良好提升光谱数据的准确性,进而提高便携式近红外光谱数据的预测分析能力。
实施例:
如图1所示,本实施例中的近红外光谱数据异常点校正方法包括以下实施步骤:
步骤101、使用便携式近红外光谱仪采集待测样品及标准板光谱数据;
具体实现上,采用波长均分式便携近红外光谱仪对待测样品光谱数据进行采集,其波长范围为1760nm~2140nm,分辨率为10nm,则每条光谱数据包含40个光强值点,每条光谱数据实际表示为40个波长点上光强值的矩阵集合。
在本实施例中,采用波长均分式便携式近红外光谱仪对待测样品进行光谱数据采集可以最大均匀程度的采集到样品光谱数据,根据本发明的实际待测样品,选用波长范围为1760nm~2150nm,分辨率为10nm的便携式近红外光谱仪进行数据采集,可以计算出每一条光谱数据包含的光强点为N=1+(2150-1760)/10=40个,第1~40个波长点对应的波长范围为(1760nm,1770nm,……2150nm),每个待测样品采集获得的光谱数据实际表示为40个波长点上光强值的矩阵集合。采集过程中,每一个样品对应采集5条光谱数据,并将5条光谱数据做均值运算,均值后的数据为该样品的实际光谱数据,这样的好处在于可以有效减少采集误差,增加数据的可靠性。
步骤102、结合标准板反射率与其光谱数据获取反射率-光谱数据对照表;
不同待测样品拥有不同光反射率,采用标准板反射率与光谱数据的对应关系作为基准数据不仅可以适用于不同反射率的待测样品,同时由于标准板的稳定性,其作为基准数据拥有更好的准确性。
在本实施例中,便携式近红外光谱设备的工作原理为:光照系统发出近红外光通过近红外光腔衰减后,到达待测物表面,汇聚成为采样光斑,采样光斑由待测物进行光反射,经过光腔衰减到达光谱传感器,光谱传感器接收反射回来的光强信息生成对应光谱数据值。
由以上工作原理可知,近红外光腔衰减为定值,则待测物的反射率与其光谱数据呈正向线性相关,设定标准板的反射率为α,近红外光谱仪采集获得的标准板光谱数据为(P1,P2……,P40),则可以生成标准板反射率-光谱数据对照表α~~(P1,P2……,P40)。
步骤103、结合光谱数据合理偏差值获取标准板反射率-光谱阈值对照表;
由于便携式近红外光谱设备的便利性,其光谱性能受到较大影响,针对同一样品进行采集时,其光谱数据存在少量偏差也认定为合理数据。根据此特性,光谱数据在一定阈值范围内的偏差均认定为合理偏差值。
在本实施例中,设定便携式近红外光谱数据的合理偏差为x%,即阈值偏差为x%,综上可知标准板光谱数据上限阈值为[(1+x%)*P1,(1+x%)*P2……,(1+x%)*P40],标准板光谱数据下限阈值为[(1-x%)*P1,(1-x%)*P2……,(1-x%)*P40],进一步将标准板反射率与阈值表进行对应,获取标准板反射率-光谱阈值对照表。
步骤104、结合待测样品反射率与标准板反射率之间的关系获取样品反射率-光谱阈值对照表;
根据便携式近红外光谱仪数据采集原理,待测物反射率与其光谱数据之间呈线性相关。根据待测样品反射率与标准板反射率之间的比值关系即为两者光谱数据之间的比值关系,进一步即可计算得到待测样品的光谱阈值范围。
在本实施例中,设定待测样品的反射率为β,根据待测样品反射率与标准板反射率之间的比值关系即为两者光谱数据之间的比值关系可知,待测样品光谱数据上限阈值为[(1+x%)*P1*β/α,(1+x%)*P2*β/α……,(1+x%)*P40*β/α],待测样品的光谱数据下限阈值为[(1-x%)*P1*β/α,(1-x%)*P2*β/α……,(1-x%)*P40*β/α],进一步将待测样品反射率与阈值表进行对应,获取反射率-光谱阈值对照表。
步骤105、结合样品反射率-光谱阈值对照表判断待测样品光谱数据是否异常,对异常光谱数据进行异常点校正;
当待测样品反射率固定时,其光谱阈值也为确定值,对光谱数据的40个光强点数值进行判断,如若其光强数值均在阈值范围内,则判定该光谱数据为正常。若有某些光强点数值超出阈值范围,则判定该光谱数据为异常,结合光谱数据中正常光强数值点以及样品反射率-光谱阈值对照表对异常光强点数值进行校正。
在本实施例中,对待测样品的光谱数据进行判断是否异常,具体方法为:设定便携式近红外光谱设备采集待测样品的实际光谱数据为(M1,M2……,M40)。对上述光谱数据中的40个点进行逐一判断,如若满足:
(1-x%)*Pt*β/α<Mt<(1+x%)*Pt*β/α,t=1,2……,40
则判定该光谱数据为正常,反之则为异常光谱,需要对该光谱数据进行校准,校准的具体方法为:设定该待测样品光谱数据中在阈值范围内的光强值点为N个,计算正常光强值点相较于阈值下限的偏移率Kn为:
进一步计算出该光谱数据中正常光强值点的偏移率均值K为:
K=(K1+K2……Kn)/n,n=1,2……,N
再进一步对该光谱数据中(40-N)个异常光谱数据点进行校正,根据偏移率均值以及异常光强值点的阈值下限进行校正,回归到正常阈值区间,具体校正公式如下:
Mu=(1-x%)*Pu*β/α*K,u=1,2……,40-N
其中,Mu为异常光强值校正后的光强数值,通过上述校正公式对光谱数据中的异常光强数据点进行逐点校正,当所有异常点均回归到正常阈值区间时即完成异常光谱数据的校正。

Claims (3)

1.一种近红外光谱数据异常点校正方法,其特征在于,包括以下步骤:
S1、利用便携式近红外光谱仪分别采集待测样品及标准板光谱数据;
S2、结合标准板反射率与其光谱数据获取标准板反射率-光谱数据对照表;
S3、结合光谱数据合理偏差值获取标准板反射率-光谱阈值对照表;
S4、结合待测样品反射率与标准板反射率之间的关系获取样品反射率-光谱阈值对照表;
S5、结合样品反射率-光谱阈值对照表判断待测样品光谱数据是否异常,并对异常光谱数据进行异常点校正;
步骤S2中,所述结合标准板反射率与其光谱数据获取标准板反射率-光谱数据对照表,具体包括:
假设标准板的反射率为α,通过近红外光谱仪采集获得的标准板光谱数据为(P1,P2……,P40),则生成标准板反射率-光谱数据对照表α~~(P1,P2……,P40);
步骤S3中,所述结合光谱数据合理偏差值获取标准板反射率-光谱阈值对照表,具体包括:假设便携式近红外光谱数据的合理偏差为x%,则标准板光谱数据上限阈值为[(1+x%)*P1,(1+x%)*P2……,(1+x%)*P40],标准板光谱数据下限阈值为[(1-x%)*P1,(1-x%)*P2……,(1-x%)*P40],通过将标准板反射率与阈值表进行对应,获取标准板反射率-光谱阈值对照表;
步骤S4中,所述结合待测样品反射率与标准板反射率之间的关系获取样品反射率-光谱阈值对照表,具体包括:
假设待测样品的反射率为β,根据待测样品反射率与标准板反射率之间的比值关系即为两者光谱数据之间的比值关系可知,待测样品光谱数据上限阈值为[(1+x%)*P1*β/α,(1+x%)*P2*β/α……,(1+x%)*P40*β/α],待测样品的光谱数据下限阈值为[(1-x%)*P1*β/α,(1-x%)*P2*β/α……,(1-x%)*P40*β/α],通过将待测样品反射率与阈值表进行对应,获取样品反射率-光谱阈值对照表;
步骤S5中,所述结合样品反射率-光谱阈值对照表判断待测样品光谱数据是否异常,具体包括:
假设便携式近红外光谱设备采集待测样品的实际光谱数据为(M1,M2……,M40),则针对光谱数据中的每一个点判断是否满足:
(1-x%)*Pt*β/α<Mt<(1+x%)*Pt*β/α,t=1,2……,40
若各个点均满足,则判定光谱数据正常,否则,判定光谱数据异常;
步骤S5中,所述对异常光谱数据进行异常点校正,具体包括:
假设该待测样品光谱数据中在阈值范围内的光强值点为N个,计算正常光强值点相较于阈值下限的偏移率Kn为:
然后,计算出该光谱数据中正常光强值点的偏移率均值K为:
K=(K1+K2……Kn)/n,n=1,2……,N
接着,对该光谱数据中(40-N)个异常光谱数据点进行校正,根据偏移率均值以及异常光强值点的阈值下限进行校正,回归到正常阈值区间,校正公式如下:
Mu=(1-x%)*Pu*β/α*K,u=1,2……,40-N
其中,Mu为异常光强值校正后的光强数值,通过上述校正公式对光谱数据中的异常光强数据点进行逐点校正,当所有异常点均回归到正常阈值区间时即完成异常光谱数据的校正。
2.如权利要求1所述的近红外光谱数据异常点校正方法,其特征在于,
步骤S1中,采用波长均分式便携近红外光谱仪分别对待测样品和标准板的光谱数据进行采集,其波长范围为1760nm~2150nm,分辨率为10nm,则每条光谱数据包含40个光强值点,每条光谱数据实际表示为40个波长点上光强值的矩阵集合。
3.如权利要求2所述的近红外光谱数据异常点校正方法,其特征在于,
步骤S1中,在采集过程中,针对每一个待测样品对应采集5条光谱数据,并将5条光谱数据做均值运算,均值后的数据作为为该样品的实际光谱数据。
CN202111570591.2A 2021-12-21 2021-12-21 一种近红外光谱数据异常点校正方法 Active CN114324158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111570591.2A CN114324158B (zh) 2021-12-21 2021-12-21 一种近红外光谱数据异常点校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111570591.2A CN114324158B (zh) 2021-12-21 2021-12-21 一种近红外光谱数据异常点校正方法

Publications (2)

Publication Number Publication Date
CN114324158A CN114324158A (zh) 2022-04-12
CN114324158B true CN114324158B (zh) 2023-08-22

Family

ID=81053821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111570591.2A Active CN114324158B (zh) 2021-12-21 2021-12-21 一种近红外光谱数据异常点校正方法

Country Status (1)

Country Link
CN (1) CN114324158B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114878512A (zh) * 2022-06-10 2022-08-09 宜宾五粮液股份有限公司 一种基于中值矩阵系数的近红外光谱数据修正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102879023A (zh) * 2011-07-13 2013-01-16 新日本无线株式会社 位置检测装置用光敏器件、使用它的位置检测装置和位置检测方法
CN109375463A (zh) * 2018-11-30 2019-02-22 四川长虹电器股份有限公司 一种荧光轮装置、光源装置及投影机
CN110221277A (zh) * 2019-06-21 2019-09-10 北京航空航天大学 一种基于激光雷达扫描的隧道表面渗水区域提取方法
CN111855595A (zh) * 2020-08-24 2020-10-30 四川长虹电器股份有限公司 一种基于黑白校准板的光谱数据校准方法
CN111879725A (zh) * 2020-08-24 2020-11-03 四川长虹电器股份有限公司 一种基于权重系数的光谱数据修正方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1241076C (zh) * 2000-08-07 2006-02-08 三井化学株式会社 制造控制方法
CN105300923B (zh) * 2015-11-19 2018-02-13 江南大学 一种近红外光谱分析仪在线应用时无测点温度补偿模型修正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102879023A (zh) * 2011-07-13 2013-01-16 新日本无线株式会社 位置检测装置用光敏器件、使用它的位置检测装置和位置检测方法
CN109375463A (zh) * 2018-11-30 2019-02-22 四川长虹电器股份有限公司 一种荧光轮装置、光源装置及投影机
CN110221277A (zh) * 2019-06-21 2019-09-10 北京航空航天大学 一种基于激光雷达扫描的隧道表面渗水区域提取方法
CN111855595A (zh) * 2020-08-24 2020-10-30 四川长虹电器股份有限公司 一种基于黑白校准板的光谱数据校准方法
CN111879725A (zh) * 2020-08-24 2020-11-03 四川长虹电器股份有限公司 一种基于权重系数的光谱数据修正方法

Also Published As

Publication number Publication date
CN114324158A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111855595B (zh) 一种基于黑白校准板的光谱数据校准方法
KR101727889B1 (ko) 가스 샘플 스트림에서 화합물들을 모니터링, 검출 및 정량화
CN101936895B (zh) 一种稻米贮藏时间近红外光谱分析快速检测方法
CN107703097B (zh) 利用近红外光谱仪构建快速预测原油性质的模型的方法
CN114324158B (zh) 一种近红外光谱数据异常点校正方法
KR101958541B1 (ko) 적외선 분광 스펙트럼을 이용한 실시간 오염수준 정량화 방법
CN111879725B (zh) 一种基于权重系数的光谱数据修正方法
CN110632021A (zh) 基于便携式近红外光谱仪的光谱检测方法及系统
Yu et al. Quality determination of Chinese rice wine based on Fourier transform near infrared spectroscopy
CN106248653B (zh) 一种提高激光诱导击穿光谱定量分析长期稳定性的方法
CN104730043A (zh) 一种基于偏最小二乘法的墨水中重金属测定方法
CN112666241A (zh) 一种区域tvoc监测方法
CN111896497B (zh) 一种基于预测值的光谱数据修正方法
Khalafi et al. Remedial approaches to decrease the effect of measurement errors on simple linear profile monitoring
JP4838270B2 (ja) レーザパルスアブレーションを使った物理化学的分析のための方法とシステム
Sumerskii et al. Tapping the full potential of infrared spectroscopy for the analysis of technical lignins
CN101793675A (zh) 一种薄膜应力在线测试系统
US8153987B2 (en) Automated calibration methodology for VUV metrology system
CN113624717B (zh) 基于近红外光谱数据预测样品成分的模型建立及使用方法
CN115144362A (zh) 基于标准校准板的光谱模型自适应方法
Smilde et al. Characterizing the precision of mass-spectrometry-based metabolic profiling platforms
CN114295580B (zh) 一种基于近红外光谱快速判别花椒品质的方法
CN114509404A (zh) 一种高光谱土壤有效硼含量预测方法
Dåbakk et al. Sampling reproducibility and error estimation in near infrared calibration of lake sediments for water quality monitoring
Peng et al. Progress in near-infrared spectroscopy for baijiu quality and safety detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant