CN110006844A - 基于函数性主元分析的近红外光谱特征提取方法和系统 - Google Patents
基于函数性主元分析的近红外光谱特征提取方法和系统 Download PDFInfo
- Publication number
- CN110006844A CN110006844A CN201910427265.2A CN201910427265A CN110006844A CN 110006844 A CN110006844 A CN 110006844A CN 201910427265 A CN201910427265 A CN 201910427265A CN 110006844 A CN110006844 A CN 110006844A
- Authority
- CN
- China
- Prior art keywords
- near infrared
- infrared spectrum
- function
- pivot
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000001228 spectrum Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 244000252132 Pleurotus eryngii Species 0.000 claims description 4
- 235000001681 Pleurotus eryngii Nutrition 0.000 claims description 4
- 241000121220 Tricholoma matsutake Species 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 150000001413 amino acids Chemical class 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 102000004169 proteins and genes Human genes 0.000 claims description 3
- 108090000623 proteins and genes Proteins 0.000 claims description 3
- 238000004445 quantitative analysis Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000004566 IR spectroscopy Methods 0.000 claims description 2
- 239000004615 ingredient Substances 0.000 claims 2
- 235000016709 nutrition Nutrition 0.000 claims 2
- 238000004451 qualitative analysis Methods 0.000 claims 1
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 10
- 238000004611 spectroscopical analysis Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 5
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 4
- -1 viscous body Substances 0.000 description 4
- 230000002068 genetic effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 241000218606 Pinus contorta Species 0.000 description 2
- KXNLCSXBJCPWGL-UHFFFAOYSA-N [Ga].[As].[In] Chemical compound [Ga].[As].[In] KXNLCSXBJCPWGL-UHFFFAOYSA-N 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 235000015097 nutrients Nutrition 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 235000000673 shore pine Nutrition 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 244000061176 Nicotiana tabacum Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 244000131316 Panax pseudoginseng Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 125000002496 methyl group Chemical group [H]C([H])([H])* 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
- G01N2021/3572—Preparation of samples, e.g. salt matrices
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种基于函数性主元分析的近红外光谱特征提取方法，步骤为：S1、采集多种样本中近红外光谱的数据；S2、采用标准正态变换对所述近红外光谱的数据进行预处理；S3、获取处理后近红外光谱数据的样条函数；S4、对所述样条函数进行中心化处理；S5、计算中心化处理后的样条函数在不同波段函数之间的协方差；S6、计算协方差的第j个特征值；S7、计算累计贡献度；S8、计算不同波段的方程中函数形主元得分；本发明还公开了一种基于函数性主元分析的近红外光谱特征提取系统。本发明既增强了定标模型的稳健性，又改善了定标模型的预测能力，为近红外光谱数据提供了一种新的特征提取方法，具有很高的实用价值。
Description
技术领域
本发明涉及近红外光谱无损分析技术领域，更具体涉及基于函数形主元分析的近红外光谱特征提取方法和系统。
背景技术
由于近红外光在常规光纤中有良好的传输特性，且其仪器较简单、分析速度快、非破坏性和样品制备量小、几乎适合各类样品(液体、粘稠体、涂层、粉末和固体)分析、多组分多通道同时测定等特点，已广泛应用于包括农牧、食品、化工、石化、制药、烟草等在内的诸多领域，为科研、教学以及生产过程控制提供了一个十分广阔的使用空间。
近红外光谱主要是由于分子振动的非谐振性使分子振动从基态向高能级跃迁时产生的，记录的主要是含氢基团X-H(X＝C、N、O)振动的倍频和合频吸收。不同团(如：甲基、亚甲基，苯环等)或同一基团在不同化学环境中的近红外吸收波长与强度都有明显差别，近红外光谱具有丰富的结构和组成信息，非常适合用于碳氢有机物质的组成与性质测量，而物质质量参数(如成分含量)也与其组成和结构信息相关，应用化学计量学方法对两者进行关联，就可以确定这两者间的定性或定量关系，即：定标模型，建立定标模型后，只要测出未知样品的近红外光谱，根据定标模型就可以预测样本的质量参数。
然而，由于近红外光谱数据具有高维、谱带重叠等特征，给提取样品的关键主元信息带来了一定程度的困难和挑战。如何实现高维空间到低维空间的特征映射关系，从而方便提取样品光谱数据的关键主元信息是亟待解决的技术问题。近年来，为了解决高维光谱数据降维问题，国内外相继出现大量的降维算法，如：主成分分析(Principal ComponentAnalysis，即PCA)、线性识别分析(linear discriminant analysis，即LDA)、遗传算法(Genetic Algorithm，即GA)、无信息变量消除法(Uniformative Variable Elimination，即UVE)、间隔偏最小二乘法(interval Partial Least Squares，即iPLS)、连续投影算法(Successive Projections Algorithm，即SPA)等。上述方法各有特性，但也存在各自的不足，如主成分分析是基于线性统计方法建立的，在解决非线性相关及校正样本分布不均匀的问题时，其结果往往不可靠；遗传算法采用随机进化的方法，其选择、交叉和变异算子往往根据经验，调参过程比较繁琐，此外，其适应度函数选取也非常重要，不同的适应度函数，其结果将会有较大不同。
但是，现有技术常用的降维算法仅从光谱数据的本身出发，即光谱数据的离散点出发，实现从高维空间到低维空间的特征映射。实际上，光谱数据的内在结构呈现“函数型”，该“函数型”是连续性的。而现有技术中的降维算法会导致很多潜在特征信息无法被挖掘出来，如：导数、阶次等特征信息。
发明内容
本发明所要解决的技术问题在于提供基于函数性主元分析的近红外光谱特征提取方法和系统，以解决上述背景技术中现有技术的降维算法无法获取导数、阶次等特征信息的问题。
为解决上述技术问题，本发明提供如下技术方案：
一种基于函数性主元分析的近红外光谱特征提取方法，包括如下步骤：
S1、采集多种样本中近红外光谱的数据；
S2、采用标准正态变换对所述近红外光谱的数据进行预处理；
S3、获取处理后近红外光谱数据的样条函数；
S4、对所述样条函数进行中心化处理；
S5、计算中心化处理后的样条函数在不同波段函数之间的协方差；
S6、计算协方差的第第j个特征值；
S7、通过特征值，计算累计贡献度，贡献度超过阈值的主元作为近红外光谱的特征值；
S8、依据特征值，计算不同波段的方程中函数形主元得分。
通过本方法在完成高维降低到低纬的特征映射，同时能够实现进一步的挖掘光谱数据内在函数的阶次，导数等信息。
作为本发明进一步的方案：所述步骤S1包括：
采集待测样品的近红外光谱数据，并通过理化试验测定主要营养成分的含量；营养成分包括：蛋白质、脂肪和多种氨基酸。
光谱仪采用美国Ocean Optics公司生产的NIRQuest512型近红外光谱仪，配置波长范围为360nm-2000nm的HL-2000系列卤钨灯光源，光谱仪分辨率为3cm-1，积分时间为45s，扫描波长范围为：900-1700nm，内置具有512个像素点、稳定性高的滨松铟镓砷化物(InGaAs)阵列探测器，扫描次数为32次；
采集的待测样品分别为野生松茸、姬松茸、老人头、杏鲍菇的若干切片干样，对所述切片干样进行光谱采样。
作为本发明进一步的方案：所述步骤S3包括：
S31、利用公式，获取各个样品的近红外光谱数据的B样条函数，所述公式如下：
其中，φk(t)为近红外光谱波段的第k个B样条基函数，k小于等于m，m表示B样条基函数的数量，C为系数矩阵，X(t)为近红外光谱数据的函数形式，t为近红外光谱的波段，∑表示求和函数；
S32、利用公式对X(t)函数进行光滑处理，所述公式如下：
PEN2(X)＝∫[DDX(t)]2dt (2)
其中，PEN2(X)表示粗糙惩罚，DDX(t)表示函数X(t)的二阶导数；
S33、利用公式计算近红外光谱数据函数的系数矩阵C；所述公式如下：
PENSSEλ＝SMSSE(x|c)+γPEN2(X)； (3)
其中，x为第j个近红外光谱的观测数据，xj为第j个近红外光谱的观测数据，j为小于m的正整数，SMESS(x|c)表示极小化残差平方和；tj表示第j个近红外光谱的波段，k≤K≤j，φk(tj)表示为第j个近红外光谱波段的B样条基函数；
通过该方法实现对系数矩阵C的估计，同时利用粗糙惩罚对函数进行光滑处理，有效避免了过拟合现象。
作为本发明进一步的方案：
所述步骤S4包括：
利用公式对样本数据进行中心化处理，中心化公式如下：
式中，i为样本序号，n为样本总量，为n个样本近红外光谱波段的函数均值，Xi(t)为第i个样本的近红外光谱波段t的函数，为中心化处理之后的第i个样本的近红外光谱波段t的函数，c表示中心化，s.t.表示条件函数；
通过中心化处理，从而消除各个样本的近红外光谱数据间差异，提高了本方法的准确性。
作为本发明进一步的方案：所述步骤S5包括：
利用公式计算协方差，协方差计算公式如下：
任意选取取一个与t不同的波段，记作为s；V(s，t)表示s、t两个不同波段的协方差。
作为本发明进一步的方案：所述步骤S6包括：
利用公式计算协方差的第j个特征值；特征值的计算公式如下：
其中，ξj(t)为第j个波段t的主元权重函数，ξj(s)表示第j个波段s的主元权重函数，j为正整数，ρj为特征值，s.t.表示条件函数，由式(7)可知，主成分函数ξ1(t),ξ2(t),…,ξj(t)之间互不相关。
作为本发明进一步的方案：所述步骤S7包括：
计算累计贡献度选取贡献度超过阈值的M个主元作为近红外光谱波段的特征值，构建定量模型，完成对待测样品的定性/定量分析；
其中，M表示主元个数，
所述阈值设定为90％。
作为本发明进一步的方案：所述步骤S8包括：
利用公式计算中心化处理后的不同近红外光谱波段方程中函数形主元得分，所述函数形主元得分的公式如下：
fi,j＝∫ξj(t)Xi c(t)dt,j＝1,2,...,m (8)
其中，fj为函数的第j个主元。
本发明还提供一种采用上述任一方案所述的基于函数性主元分析的近红外光谱特征提取方法的系统，包括：
采集模块，用于采集多种样本中近红外光谱的数据；
预处理模块，用于采用标准正态变换对所述近红外光谱的数据进行预处理；
获取模块，用于获取处理后的近红外光谱数据的样条函数；
中心化处理模块，用于对所述样条函数进行中心化处理；
协方差模块，用于计算中心化处理后的样条函数在不同波段函数之间的协方差；
特征值模块，用于计算协方差的第j个特征值；
贡献度模块，用于通过协方差的特征值，计算累计贡献度，贡献度超过阈值的主元作为近红外光谱波段的特征值；
主元得分模块，用于利用近红外光谱波段的特征值，计算不同波段的方程中函数形主元得分。
与现有技术相比，本发明的有益效果是：
1、本发明通过将近红外光谱数据看成连续型的函数，利用了全波段信息，在准确的提取含有有效信息的波段特征的同时，通过不同波段函数协方差得到特征值，并通过协方差特征值计算贡献度得到近红外光谱波段的特征值，从而得到不同波段的方程中函数形主元得分，实现进一步挖掘光谱数据内在函数的阶次与导数(变化率，斜率，曲率等)等信息；
2、本发明得到了不同波段的方程中函数形主元得分，同时得到变化率，斜率，曲率等信息，从而增强了定标模型的稳健性，又改善了定标模型的预测能力，为近红外光谱数据提供了一种新的特征提取方法，具有很高的实用价值。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例1提供的一种基于函数性主元分析的近红外光谱特征提取方法的流程示意图。
图2为本发明实施例1提供的一种基于函数性主元分析的近红外光谱特征提取方法中B-样条基函数的示意图；
图3为本发明实施例1提供的一种基于函数性主元分析的近红外光谱特征提取方法中食用菌的近红外光谱的函数性描述示意图；
图4为本发明实施例1提供的一种基于函数性主元分析的近红外光谱特征提取方法中食用菌的函数性主元分析的载荷分布图；
图5为本发明实施例1提供的一种基于函数性主元分析的近红外光谱特征提取方法中四种食用菌光谱数据的两个主元分析结果图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种基于函数性主元分析的近红外光谱特征提取方法，本实施例运用近红外光谱分析，实现对不同食用菌类别进行甄别，并获取阶次与导数(变化率，斜率，曲率等)等信息；当然，本发明并不仅仅限于对食用菌类别进行甄别，步骤如下：
S1、对若干样本的近红外光谱数据；
采集待测样品的近红外光谱数据，并通过理化试验测定主要营养成分的含量，营养成分包括：蛋白质、脂肪和多种氨基酸等；光谱仪采用美国Ocean Optics公司生产的NIRQuest512型近红外光谱仪，配置波长范围为360nm-2000nm的HL-2000系列卤钨灯光源，光谱仪分辨率为3cm-1，积分时间为45s，扫描波长范围为：900-1700nm，内置具有512个像素点、稳定性高的滨松铟镓砷化物(InGaAs)阵列探测器，扫描次数为32次；
其中，采集待测样品为野生松茸、姬松茸、老人头、杏鲍菇共166个切片干样，对166个切片干样进行光谱采样；
S2、对若干样本的近红外光谱数据进行预处理；
对采集到的光谱数据使用标准正态变换进行预处理，以消除噪声与基带漂移的影响；
S3、对预处理后的近红外光谱数据进行函数形描述；包括：
S31、如图2，图2为本发明实施例提供的一种基于函数性主元分析的近红外光谱特征提取方法中B样条基函数的示意图，B样条函数为七次样条函数，21个基函数，利用七次B样条函数，利用公式对对每一样品的近红外光谱数据进行函数形描述，所述公式如下：
式中，φk(t)为近红外光谱波段的第k个B样条基函数，k小于等于m，m代表相应的B样条基函数数量，C为系数矩阵，X(t)为近红外光谱数据的函数形式，t为近红外光谱的波段，∑表示求和函数，这样，近红外光谱数据就可以用一组选定的基函数φk(t)，采用基函数φk(t)的线性组合形式描述；
S32、利用公式对X(t)函数进行光滑处理，数学上，样条函数光滑度可以用函数的二阶导数描述，本步骤中采用DDX(t)表示函数X(t)的二阶导数，粗糙惩罚公式如下：
PEN2(X)＝∫[DDX(t)]2dt (2)
其中，PEN2(X)表示粗糙惩罚，DDX(t)表示函数X(t)的二阶导数；
S33、利用公式计算近红外光谱数据函数的系数矩阵C；所述公式如下：
PENSSEλ＝SMSSE(x|c)+γPEN2(X) (3)
其中，xj为第j个近红外光谱的观测数据，SMESS(xc)表示极小化残差平方和；tj表示第j个近红外光谱的波段，k≤K≤j，φk(tj)表示为第j个近红外光谱波段的B样条基函数；
S33、式(4)可由最小二乘法估计，但是最小二乘法估计易受到噪声的影响，产生过拟合现象，因此利用粗糙惩罚对函数进行光滑处理，即利用二阶导数平方的积分来控制函数曲线的光滑程度，然后，将残差平方和与粗糙惩罚结合在一起，实现对系数矩阵C的估计，式中γ为光滑系数，γ越大，拟合越接近直线，拟合是给定了空间中的一些点，找到一个已知形式未知参数的连续曲面来最大限度地逼近这些点；
S4、如图3所示，图3为本发明实施例提供的一种基于函数性主元分析的近红外光谱特征提取方法中食用菌的近红外光谱的函数性描述示意图，为了消除各个样本的近红外光谱数据间差异，需要对近红外光谱数据的函数进行中心化处理，中心化处理的公式如下：
式中，i为样本序号，n为样本总量，为n个样本近红外光谱波段的函数均值，Xi(t)为第i个样本的近红外光谱波段t的函数，为中心化处理之后的第i个样本的近红外光谱波段t的函数，c表示中心化，s.t.表示条件函数；
S5、求所有样本中不同的波段函数之间的协方差，任意选取一个与t不同的波段，记作为s，如下式：
V(s,t)表示两个不同波段函数之间的协方差，Xi c(s)表示中心化处理后的第i个样本的近红外光谱波段s的函数；
S6、计算协方差的第j个特征值，计算公式如下：
其中，ξj(t)为波段t的第j个主元权重函数，ξj(s)表示波段s的第j个主元权重函数，j为正整数，ρj为特征值，s.t.表示条件函数，由式(7)可知，主成分函数ξ1(t),ξ2(t),…,ξj(t)之间互不相关；
S7、由主元权重函数所对应的特征值ρj，计算累计贡献度选取贡献度超过阈值的M个主元作为近红外光谱波段的特征值，M表示主元个数；如图4所示，图4为本发明实施例提供的一种基于函数性主元分析的近红外光谱特征提取方法中食用菌的函数性主元分析的载荷分布图，本实施例中，M＝2，即2个主元就能够显示所有的贡献度，再构建定量模型，实现待测样品的定性/定量分析；
其中，本实施例的所述阈值设定为90％；
S8、依据特征值，计算不同近红外光谱波段对应中心化处理后的方程中函数形主元得分，实现对光谱数据的分析；函数形主元得分公式如下：
fi,j＝∫ξj(t)Xi c(t)dt,j＝1,2,...,m (8)
其中，fj为函数的第j个主元，由式(7)的计算过程可知，各权重函数的方差满足var(f1)＞var(f2)＞…＞var(fj)，var代表随机变量方差，c表示中心化；
如图5所示，图5为本发明实施例提供的一种基于函数性主元分析的近红外光谱特征提取方法中四种食用菌光谱数据的两个主元分析结果图，本实施实例中，利用2个主元即可实现四个食用菌的分类，并获取光谱数据内在函数的阶次与导数等信息，导数信息包括变化率、斜率、曲线等，四个食用菌为野生松茸、姬松茸、老人头、杏鲍菇，图5中横坐标表示第一主元，纵坐标表示第二主元。
实施例2
一种基于函数性主元分析的近红外光谱特征提取系统，包括：
采集模块，用于采集多种样本中近红外光谱的数据；
预处理模块，用于采用标准正态变换对所述近红外光谱的数据进行预处理；
获取模块，用于获取处理后的近红外光谱数据的样条函数；
中心化处理模块，用于对所述样条函数进行中心化处理；
协方差模块，用于计算中心化处理后的样条函数在不同波段函数之间的协方差；
特征值模块，用于计算协方差的第j个特征值；
贡献度模块，用于通过协方差的特征值，计算累计贡献度，贡献度超过阈值的主元作为近红外光谱波段的特征值；
主元得分模块，用于利用近红外光谱波段的特征值，计算不同波段的方程中函数形主元得分。在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于函数性主元分析的近红外光谱特征提取方法，其特征在于，步骤如下：
S1、采集多种样本中近红外光谱的数据；
S2、采用标准正态变换对所述近红外光谱的数据进行预处理；
S3、获取处理后的近红外光谱数据的样条函数；
S4、对所述样条函数进行中心化处理；
S5、计算中心化处理后的样条函数在不同波段函数之间的协方差；
S6、计算协方差的第j个特征值；
S7、通过协方差的特征值，计算累计贡献度，贡献度超过阈值的主元作为近红外光谱波段的特征值；
S8、利用近红外光谱波段的特征值，计算不同波段的方程中函数形主元得分。
2.根据权利要求1所述的基于函数性主元分析的近红外光谱特征提取方法，其特征在于，所述步骤S1中，采集待测样品的近红外光谱数据，并通过理化试验测定营养成分的含量；营养成分包括：蛋白质、脂肪和多种氨基酸。
3.根据权利要求2所述的基于函数性主元分析的近红外光谱特征提取方法，其特征在于，采集的待测样品分别为若干个野生松茸、姬松茸、老人头、杏鲍菇的切片干样，并对所述切片干样进行光谱采样。
4.根据权利要求1所述的基于函数性主元分析的近红外光谱特征提取方法，其特征在于，所述步骤S3包括：
S31、利用公式，获取各个样品的近红外光谱数据的B样条函数，所述公式如下：
其中，φk(t)为近红外光谱波段的第k个B样条基函数，k小于等于m，m表示B样条基函数的数量，C为系数矩阵，X(t)为近红外光谱数据的函数形式，t为近红外光谱的波段，∑表示求和函数；
S32、利用公式对X(t)函数进行光滑处理，所述公式如下：
PEN2(X)＝∫[DDX(t)]2dt (2)
其中，PEN2(X)表示粗糙惩罚，DDX(t)表示函数X(t)的二阶导数；
S33、利用公式计算近红外光谱数据函数的系数矩阵C；所述公式如下：
PENSSEλ＝SMSSE(x|c)+γPEN2(X)； (3)
其中，PENSSEλ表示残差平方和与粗糙惩罚之和，γ为光滑系数；
其中，x为近红外光谱的观测数据，xj为第j个近红外光谱的观测数据，j为小于m的正整数，SMESS(x|c)表示极小化残差平方和；tj表示第j个近红外光谱的波段，k≤K≤j，φk(tj)表示为第j个近红外光谱波段的B样条基函数。
5.根据权利要求1所述的基于函数性主元分析的近红外光谱特征提取方法，其特征在于，所述步骤S4包括：
利用公式对样本数据进行中心化处理，所述公式如下：
式中，i为样本序号，n为样本总量，为n个样本近红外光谱波段的函数均值，Xi(t)为第i个样本的近红外光谱波段t的函数，为中心化处理之后的第i个样本的近红外光谱波段t的函数，c表示中心化,s.t.表示条件函数。
6.据权利要求5所述的基于函数性主元分析的近红外光谱特征提取方法，其特征在于，所述步骤S5包括：
所述协方差的计算公式如下：
其中，s代表与t不同的近红外光谱的波段；Xi c(s)表示中心化处理后的第i个样本的近红外光谱波段s的函数，V(s，t)表示s，t两个波段的协方差。
7.根据权利要求6所述的基于函数性主元分析的近红外光谱特征提取方法，其特征在于，所述步骤S6包括：
利用公式计算协方差的第j个特征值；所述公式如下：
其中，ξj(t)为第j个波段t的主元权重函数，ξj(s)表示第j波段s的主元权重函数，j为正整数，ρj为特征值，s.t.表示条件函数。
8.根据权利要求7所述的基于函数性主元分析的近红外光谱特征提取方法，其特征在于，所述步骤S7包括：
累计贡献度的公式为选取贡献度超过阈值的M个主元作为近红外光谱波段的特征值，构建定量模型，完成对待测样品的定性或定量分析；
其中，M表示主元个数。
9.根据权利要求7所述的基于函数性主元分析的近红外光谱特征提取方法，其特征在于，
所述步骤S8包括：
利用公式计算中心化处理后的不同近红外光谱波段方程中函数形主元得分，所述公式如下：
fi,j＝∫ξj(t)Xi c(t)dt,j＝1,2,...,m (8)
其中，fj为函数的第j个主元。
10.一种采用权利要求1-9任一项所述的基于函数性主元分析的近红外光谱特征提取方法的提取系统，其特征在于，包括：
采集模块，用于采集多种样本中近红外光谱的数据；
预处理模块，用于采用标准正态变换对所述近红外光谱的数据进行预处理；
获取模块，用于获取处理后的近红外光谱数据的样条函数；
中心化处理模块，用于对所述样条函数进行中心化处理；
协方差模块，用于计算中心化处理后的样条函数在不同波段函数之间的协方差；
特征值模块，用于计算协方差的第j个特征值；
贡献度模块，用于通过协方差的特征值，计算累计贡献度，贡献度超过阈值的主元作为近红外光谱波段的特征值；
主元得分模块，用于利用近红外光谱波段的特征值，计算不同波段的方程中函数形主元得分。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910427265.2A CN110006844A (zh) | 2019-05-22 | 2019-05-22 | 基于函数性主元分析的近红外光谱特征提取方法和系统 |
| PCT/CN2019/111602 WO2020232959A1 (zh) | 2019-05-22 | 2019-10-17 | 基于函数性主元分析的近红外光谱特征提取方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910427265.2A CN110006844A (zh) | 2019-05-22 | 2019-05-22 | 基于函数性主元分析的近红外光谱特征提取方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110006844A true CN110006844A (zh) | 2019-07-12 |
Family
ID=67177642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910427265.2A Pending CN110006844A (zh) | 2019-05-22 | 2019-05-22 | 基于函数性主元分析的近红外光谱特征提取方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110006844A (zh) |
| WO (1) | WO2020232959A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020232959A1 (zh) * | 2019-05-22 | 2020-11-26 | 安徽大学 | 基于函数性主元分析的近红外光谱特征提取方法和系统 |
| CN112837816A (zh) * | 2021-02-09 | 2021-05-25 | 清华大学 | 生理状态预测方法、计算机装置及存储介质 |
| WO2023123329A1 (zh) * | 2021-12-29 | 2023-07-06 | 安徽大学 | 近红外光谱的净信号提取方法及其系统 |
| CN117589741A (zh) * | 2024-01-18 | 2024-02-23 | 天津博霆光电技术有限公司 | 基于光学特征的吲哚菁绿智能检测方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115963074B (zh) * | 2023-02-23 | 2023-06-02 | 中国人民解放军国防科技大学 | 一种微生物材料孢子菌丝占比的快速检测方法和系统 |
| CN116881705B (zh) * | 2023-09-07 | 2023-11-21 | 佳木斯大学 | 一种锦灯笼宿萼的近红外光谱数据处理系统 |
| CN117291445B (zh) * | 2023-11-27 | 2024-02-13 | 国网安徽省电力有限公司电力科学研究院 | 一种综合能源系统下基于状态转移的多目标预测方法 |
| CN117473207B (zh) * | 2023-12-28 | 2024-03-29 | 深圳市新景环境技术有限公司 | 一种喷漆废气治理设备及其治理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101915744A (zh) * | 2010-07-05 | 2010-12-15 | 北京航空航天大学 | 物质成分含量的近红外光谱无损检测方法及装置 |
| CN103985000A (zh) * | 2014-06-05 | 2014-08-13 | 武汉大学 | 基于函数型非参数回归的中长期典型日负荷曲线预测方法 |
| CN104778337A (zh) * | 2015-04-30 | 2015-07-15 | 北京航空航天大学 | 一种基于函数型主成分分析与贝叶斯更新的锂电池剩余寿命预测方法 |
| CN106645014A (zh) * | 2016-09-23 | 2017-05-10 | 上海理工大学 | 基于太赫兹光谱的物质识别方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101738373A (zh) * | 2008-11-24 | 2010-06-16 | 中国农业大学 | 一种鉴别作物种子品种的方法 |
| US20140031658A1 (en) * | 2011-04-12 | 2014-01-30 | Hui Zheng | System and method for monitoring glucose or other compositions in an individual |
| CN102519903B (zh) * | 2011-11-22 | 2013-10-30 | 山东理工大学 | 一种近红外光谱测定双孢蘑菇白度值的方法 |
| CN105139412B (zh) * | 2015-09-25 | 2018-04-24 | 深圳大学 | 一种高光谱图像角点检测方法与系统 |
| EP3427287A1 (en) * | 2016-03-07 | 2019-01-16 | Micromass UK Limited | Spectrometric analysis |
| CN109409350B (zh) * | 2018-10-23 | 2022-05-31 | 桂林理工大学 | 一种基于pca建模反馈式载荷加权的波长选择方法 |
| CN110006844A (zh) * | 2019-05-22 | 2019-07-12 | 安徽大学 | 基于函数性主元分析的近红外光谱特征提取方法和系统 |
-
2019
- 2019-05-22 CN CN201910427265.2A patent/CN110006844A/zh active Pending
- 2019-10-17 WO PCT/CN2019/111602 patent/WO2020232959A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101915744A (zh) * | 2010-07-05 | 2010-12-15 | 北京航空航天大学 | 物质成分含量的近红外光谱无损检测方法及装置 |
| CN103985000A (zh) * | 2014-06-05 | 2014-08-13 | 武汉大学 | 基于函数型非参数回归的中长期典型日负荷曲线预测方法 |
| CN104778337A (zh) * | 2015-04-30 | 2015-07-15 | 北京航空航天大学 | 一种基于函数型主成分分析与贝叶斯更新的锂电池剩余寿命预测方法 |
| CN106645014A (zh) * | 2016-09-23 | 2017-05-10 | 上海理工大学 | 基于太赫兹光谱的物质识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| YING ZHU: "Functional Data Analysis of Spectroscopic Data with Application to Classification of Colon Polyps", 《AMERICAN JOURNAL OF ANALYTICAL CHEMISTRY》 * |
| 刘锋等: "函数性线性回归模型分析方法及其应用", 《重庆理工大学学报》 * |
| 向馗等: "主元分析中 的平滑性", 《电子学报》 * |
| 童星慧: "面向冠心病血检数据的函数型主成分方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020232959A1 (zh) * | 2019-05-22 | 2020-11-26 | 安徽大学 | 基于函数性主元分析的近红外光谱特征提取方法和系统 |
| CN112837816A (zh) * | 2021-02-09 | 2021-05-25 | 清华大学 | 生理状态预测方法、计算机装置及存储介质 |
| WO2023123329A1 (zh) * | 2021-12-29 | 2023-07-06 | 安徽大学 | 近红外光谱的净信号提取方法及其系统 |
| CN117589741A (zh) * | 2024-01-18 | 2024-02-23 | 天津博霆光电技术有限公司 | 基于光学特征的吲哚菁绿智能检测方法 |
| CN117589741B (zh) * | 2024-01-18 | 2024-04-05 | 天津博霆光电技术有限公司 | 基于光学特征的吲哚菁绿智能检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020232959A1 (zh) | 2020-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110006844A (zh) | 基于函数性主元分析的近红外光谱特征提取方法和系统 | |
| Ng et al. | The influence of training sample size on the accuracy of deep learning models for the prediction of soil properties with near-infrared spectroscopy data | |
| Tan et al. | Random forest–based estimation of heavy metal concentration in agricultural soils with hyperspectral sensor data | |
| CN104374738B (zh) | 一种基于近红外提高鉴别结果的定性分析方法 | |
| Li et al. | Discriminating varieties of tea plant based on Vis/NIR spectral characteristics and using artificial neural networks | |
| Xiaobo et al. | Independent component analysis in information extraction from visible/near-infrared hyperspectral imaging data of cucumber leaves | |
| Sharififar et al. | Evaluating a low‐cost portable NIR spectrometer for the prediction of soil organic and total carbon using different calibration models | |
| Wang et al. | Wavelet-based coupling of leaf and canopy reflectance spectra to improve the estimation accuracy of foliar nitrogen concentration | |
| Song et al. | Differentiation of organic and non-organic apples using near infrared reflectance spectroscopy—A pattern recognition approach | |
| CN107421911A (zh) | 一种基于便携式近红外光谱仪的土壤氮素检测的预处理方法 | |
| Liu et al. | Variety classification of coated maize seeds based on Raman hyperspectral imaging | |
| Martínez-Martínez et al. | Leaf and canopy reflectance spectrometry applied to the estimation of angular leaf spot disease severity of common bean crops | |
| Miloš et al. | Prediction of soil organic carbon using VIS-NIR spectroscopy: Application to Red Mediterranean soils from Croatia | |
| CN115235997A (zh) | 一种基于卫星高光谱影像的土壤质地反演方法 | |
| Cai et al. | Identification of geographical origins of Radix Paeoniae Alba using hyperspectral imaging with deep learning-based fusion approaches | |
| Song et al. | Development of crop chlorophyll detector based on a type of interference filter optical sensor | |
| Phanomsophon et al. | Rapid measurement of classification levels of primary macronutrients in durian (Durio zibethinus Murray CV. Mon Thong) leaves using FT-NIR spectrometer and comparing the effect of imbalanced and balanced data for modelling | |
| Bulan et al. | Vis-NIR spectra combined with machine learning for predicting soil nutrients in cropland from Aceh Province, Indonesia | |
| CN102854151B (zh) | 一种光谱分析中样品集划分的化学计量学方法 | |
| Xie et al. | Modeling for mung bean variety classification using visible and near-infrared hyperspectral imaging | |
| Zhang et al. | A novel non-integer order Savitzky–Golay derivative function of visible and near-infrared spectra for improving prediction accuracy of phosphorus in pig manure | |
| Du et al. | Quantitative detection of azodicarbonamide in wheat flour by near-infrared spectroscopy based on two-step feature selection | |
| Zhu et al. | A clustering group lasso method for quantification of adulteration in black cumin seed oil using Fourier transform infrared spectroscopy | |
| Ferwerda et al. | Continuous wavelet transformations for hyperspectral feature detection | |
| Guerrero et al. | Automatic detection of quality soil spectra in an online vis-NIR soil sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190712 |
|
| RJ01 | Rejection of invention patent application after publication |