CN110687072B - 一种基于光谱相似度的校正集和验证集的选择及建模方法 - Google Patents
一种基于光谱相似度的校正集和验证集的选择及建模方法 Download PDFInfo
- Publication number
- CN110687072B CN110687072B CN201910986971.0A CN201910986971A CN110687072B CN 110687072 B CN110687072 B CN 110687072B CN 201910986971 A CN201910986971 A CN 201910986971A CN 110687072 B CN110687072 B CN 110687072B
- Authority
- CN
- China
- Prior art keywords
- samples
- sample
- verification
- verification set
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 123
- 230000003595 spectral effect Effects 0.000 title claims abstract description 30
- 238000012937 correction Methods 0.000 claims abstract description 88
- 238000012360 testing method Methods 0.000 claims abstract description 84
- 239000011159 matrix material Substances 0.000 claims abstract description 49
- 238000001228 spectrum Methods 0.000 claims abstract description 30
- 238000002329 infrared spectrum Methods 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000010200 validation analysis Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000010187 selection method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 30
- 230000002159 abnormal effect Effects 0.000 description 22
- 238000007689 inspection Methods 0.000 description 12
- AIGAZQPHXLWMOJ-UHFFFAOYSA-N tanshinone IIA Natural products C1=CC2=C(C)C=CC=C2C(C(=O)C2=O)=C1C1=C2C(C)=CO1 AIGAZQPHXLWMOJ-UHFFFAOYSA-N 0.000 description 9
- 240000008042 Zea mays Species 0.000 description 8
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 8
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 8
- 235000005822 corn Nutrition 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 7
- 241000304195 Salvia miltiorrhiza Species 0.000 description 6
- 235000011135 Salvia miltiorrhiza Nutrition 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- GVKKJJOMQCNPGB-JTQLQIEISA-N Cryptotanshinone Chemical compound O=C1C(=O)C2=C3CCCC(C)(C)C3=CC=C2C2=C1[C@@H](C)CO2 GVKKJJOMQCNPGB-JTQLQIEISA-N 0.000 description 5
- GVKKJJOMQCNPGB-UHFFFAOYSA-N Cryptotanshinone Natural products O=C1C(=O)C2=C3CCCC(C)(C)C3=CC=C2C2=C1C(C)CO2 GVKKJJOMQCNPGB-UHFFFAOYSA-N 0.000 description 5
- HYXITZLLTYIPOF-UHFFFAOYSA-N Tanshinone II Natural products O=C1C(=O)C2=C3CCCC(C)(C)C3=CC=C2C2=C1C(C)=CO2 HYXITZLLTYIPOF-UHFFFAOYSA-N 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 239000004575 stone Substances 0.000 description 5
- SNKFFCBZYFGCQN-UHFFFAOYSA-N 2-[3-[3-[1-carboxy-2-(3,4-dihydroxyphenyl)ethoxy]carbonyl-2-(3,4-dihydroxyphenyl)-7-hydroxy-2,3-dihydro-1-benzofuran-4-yl]prop-2-enoyloxy]-3-(3,4-dihydroxyphenyl)propanoic acid Chemical compound C=1C=C(O)C=2OC(C=3C=C(O)C(O)=CC=3)C(C(=O)OC(CC=3C=C(O)C(O)=CC=3)C(O)=O)C=2C=1C=CC(=O)OC(C(=O)O)CC1=CC=C(O)C(O)=C1 SNKFFCBZYFGCQN-UHFFFAOYSA-N 0.000 description 4
- SNKFFCBZYFGCQN-VWUOOIFGSA-N Lithospermic acid B Natural products C([C@H](C(=O)O)OC(=O)\C=C\C=1C=2[C@H](C(=O)O[C@H](CC=3C=C(O)C(O)=CC=3)C(O)=O)[C@H](OC=2C(O)=CC=1)C=1C=C(O)C(O)=CC=1)C1=CC=C(O)C(O)=C1 SNKFFCBZYFGCQN-VWUOOIFGSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 239000003921 oil Substances 0.000 description 4
- STCJJTBMWHMRCD-UHFFFAOYSA-N salvianolic acid B Natural products OC(=O)C(Cc1ccc(O)c(O)c1)OC(=O)C=Cc2cc(O)c(O)c3OC(C(C(=O)OC(Cc4ccc(O)c(O)c4)C(=O)O)c23)c5ccc(O)c(O)c5 STCJJTBMWHMRCD-UHFFFAOYSA-N 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- AZEZEAABTDXEHR-UHFFFAOYSA-M sodium;1,6,6-trimethyl-10,11-dioxo-8,9-dihydro-7h-naphtho[1,2-g][1]benzofuran-2-sulfonate Chemical compound [Na+].C12=CC=C(C(CCC3)(C)C)C3=C2C(=O)C(=O)C2=C1OC(S([O-])(=O)=O)=C2C AZEZEAABTDXEHR-UHFFFAOYSA-M 0.000 description 3
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 229920002472 Starch Polymers 0.000 description 2
- 229930183118 Tanshinone Natural products 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 235000019698 starch Nutrition 0.000 description 2
- 239000008107 starch Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
- G01N21/274—Calibration, base line adjustment, drift correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/127—Calibration; base line adjustment; drift compensation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Operations Research (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于光谱相似度的校正集和验证集选择及建模方法，校正集和验证集选择方法包括：对原始样本进行近红外光谱测定，得到原始样本光谱矩阵；随机抽取m个样本作为独立检验集；对于独立检验集中的每个样本，分别计算该样本与原始样本中剩余每个样本之间的光谱相似度，获取相似度最高的g个样本写入验证集；对于验证集中的每个样本，分别计算其与原始样本中剩余每个样本之间的光谱相似度，获取相似度最高的n个样本写入校正集。基于本发明所述方法选择的验证集和校正集，得到的模型能够更准确的对未知模型进行预测。
Description
技术领域
本发明属于未知物品预测技术领域，尤其涉及一种基于光谱相似度的校正集和验证集选择及建模方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
近红外光谱分析方法(NIR)是当前发展迅速的一种无损、无污染、重现性好的分析技术，随着化学计量学和计算机技术的发展，该技术已在农产品、石油化学、制药、环境、过程控制、临床及生物医学等领域广泛应用。该方法的一大特点是需要借助化学计量学将样品的光谱信息与对应的参考值信息(如含量、来源等)相关联建立模型，通过所建立的模型对未知的样品进行预测，从而实现分析的目的。
为了建立一个准确的模型，需要对现有的样本集进行划分，通过校正集建立模型，用验证集辅助评价模型的效果。因此，如何选择校正集和验证集对模型的适用性和预测能力有极大的影响。样本集的划分对近红外光谱分析至关重要，校正集和验证集的选取是影响模型效果的关键一步，校正集的样本需要具有一定的代表性，包涵尽可能多的样本信息，而验证集是体现模型好坏的一种反馈，如果验证集的样本不能很好地反映该模型对于未知样本的预测能力，那么模型的性能可能无法保证。所以，建立新的模型性能更好、预测能力更强的样本集划分方法，对于当前近红外光谱分析是关键的研究方向之一。
据发明人了解，在近红外光谱分析领域，有两种经典且应用较多的样本集划分方法，分别是Kennard-Stone(KS)法和SPXY法，KS法通过样本间欧氏距离的计算选择有代表性的样本进入校正集，从而使校正集包含了更多的样品信息，但该法有可能将异常样品也选入校正集内，并且在预测未知样本时缺乏一定针对性。SPXY法是在KS法的基础上，将参考值变量(Y)考虑在内，并保证其在各自的空间有相同的权重，有效覆盖多维向量空间。但是这两种方法对于未知样本是否有很好的预测很难确定。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于光谱相似度的校正集和验证集选择及建模方法，对于未知样本具有更好的预测性能。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于光谱相似度的校正集和验证集选择方法，包括以下步骤：
对原始样本进行近红外光谱测定，得到原始样本光谱矩阵；
随机抽取m个样本作为独立检验集；
对于独立检验集中的每个样本，分别计算该样本与原始样本中剩余每个样本之间的光谱相似度，获取相似度最高的g个样本写入验证集；
对于验证集中的每个样本，分别计算其与原始样本中剩余每个样本之间的光谱相似度，获取相似度最高的n个样本写入校正集。
进一步地，还对原始样本测定多个参考值，得到原始样本参考值矩阵。
进一步地，得到原始样本光谱矩阵和原始样本参考值矩阵后，还对原始样本光谱矩阵进行异常值检测，将异常值剔除，并将原始样本参考值矩阵中相应的参考值剔除。
进一步地，样本之间的光谱相似度采用欧氏距离计算。
进一步地，设经异常值剔除后的原始样本数量为N，m、g与n的关系满足：g≤n≤(N-m)。
进一步地，对n取不同值时分别进行建模，基于模型性能优化n的取值，得到优化后的模型参数值。
一个或多个实施例提供了一种基于所述校正集和验证集选择方法的建模方法，获取校正集相应的参考值矩阵，对于参考值矩阵中的每一参考值，分别与光谱矩阵进行关联建模。
进一步地，所述方法还包括：
基于验证集对模型参数进行优化；
基于独立检验集对模型性能进行评价。
进一步地，所述方法还包括基于校正集、验证集和独立检验集对模型性能进行综合评价。
以上一个或多个技术方案存在以下有益效果：
本发明的校正集和验证集的划分方法，以用于检验模型性能的验证数据(即独立检验集，模型建立后作为未知样本对模型性能进行检验)出发，基于独立检验集，以光谱相似度为依据，选取与独立检验集相似的光谱作为验证集，以验证集的预测效果侧面体现对未知样本的预测能力，然后基于验证集，选取与验证集相似的光谱作为校正集，保证了建立的模型是针对未知样本的模型，并且与目前常用的方法比较，可以确切地证明其对于未知样本的建模性能更好，预测能力更强。
验证集和校正集的选取还涉及数量的选择，本发明对校正集样本数目进行了优化，可以实现选用较少的样本数目达到更好的预测效果。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明一个或多个实施例涉及的校正集和验证集的选择方法及建模方法流程图。
图2为实施例1中所有样本的原始近红外光谱；
图3为实施例1去除异常样本之后的主成分投影图；
图4为实施例1验证集RMSEV和独立验证集RMSEP变化规律图；
图5为实施例1验证集相关系数Rv和独立验证集相关系数Rp变化规律图；
图6为实施例2所有样本的原始近红外光谱；
图7为实施例2除异常样本之后的主成分投影图；
图8为实施例2验证集RMSEV和独立验证集RMSEP变化规律图；
图9为实施例2验证集相关系数Rv和独立验证集相关系数Rp变化规律图；
图10为实施例3验证集RMSEV和独立验证集RMSEP变化规律图；
图11为实施例3验证集相关系数Rv和独立验证集相关系数Rp变化规律图；
图12为实施例4验证集RMSEV和独立验证集RMSEP变化规律图；
图13为实施例4验证集相关系数Rv和独立验证集相关系数Rp变化规律图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明的一个优选实施例公开了一种用于近红外定量建模的校正集和验证集的选择方法，以公开的玉米数据为例，测定的样本数共有80个，包括样本的重复。如图1所示，该方法包括以下步骤：
步骤1：对原始样本进行近红外光谱测定，得原始样本光谱矩阵X；
步骤2：采用参考方法测定原始样本的参考值，得原始样本参考值矩阵 Y；
本实施例中对于玉米的参考值选择四个质量指标成分：水、油、蛋白质和淀粉，分别构建参考值矩阵Y，每一列代表一个参数。
步骤3：对原始样本光谱矩阵X进行异常值检测，将异常值剔除，并将参考值Y矩阵相应的参考值剔除；
样本的原始图谱见图2所示，首先进行异常样本的剔除，通过Hotelling T2方法，检测到3个异常样本，剔除之后剩余77个样本。去除异常值后的样本近红外光谱的主成分投影图如图3所示。由图3可见，剩余的样本通过Hotelling T2检验(在椭圆圈内)，已没有异常样本。
步骤4：随机抽取m个样本组成独立检验集，用于模拟需要预测的未知样本；
在剔除异常值后的光谱原始矩阵X中，抽取一定量的样本组成独立检验集，模拟需要预测的未知样本，相应的光谱矩阵记为Xt，其对应参考值记为Yt，Xt和Yt的样本一一对应；独立检验集的样本数量应根据实际需要进行确定，一般不应多于校正集的样本数量，和验证集样本的数量相当，且参考值的范围一般应包含于校正集样本的参考值范围。
本实施例中随机抽取10(m＝10)个样本作为独立检验集。通常独立检验集的数量选择为与验证集数量相当。一般情况下，如只划分校正集和验证集，校正集和验证集常采用的比例为2:1，3:1或4:1；如要考虑独立检验集，校正集、验证集和独立检验集比例可划分为4:1:1,6:1:1或8:1:1等。
步骤5：对于独立检验集中的每个样本，分别计算其与原始样本中剩余每个样本之间的光谱相似度，获取与该样本相似度最高的多个样本并进行去重处理，写入验证集，并获取相应的光谱矩阵Xv和参数值矩阵Yv；
由于光谱信息获得容易，检测迅速，且假定独立检验集中的样本只有光谱信息已经测定，故可以根据光谱相似的原则选取验证集样本，以验证集的预测效果间接反映对待测未知样本的预测能力。具体方法如下：以独立检验集中的每个样本为参考，分别计算其与剩余每个样本光谱Xi之间的欧氏距离Di并进行排序，距离越相近，表明独立检验集中的该样本与剩余样本中的某一样本光谱越相似。依次对独立检验集中每一样本进行如上计算，则独立检验集的每一样本都可从剩余样本中找到其最相似的g个样本，根据实际样本数目和建模要求，可为每个独立检验集样本选取最相似的g 个样本组成验证集，然后去掉多余的重复样本，即为最终的验证集，相应的光谱集记为Xv，对应的参考值记为Yv，其中g≥1的正整数。
本实施例中，对剩余67个样本进行划分，计算独立检验集对应的光谱矩阵Xt中每个样本与剩余样本光谱矩阵Xi之间的欧氏距离Di并排序，为独立检验集Xt中每个样本选取最相似的1个样本(即g＝1)，去除多余的重复样本，组成最终的验证集Xv，Xv的样本个数约在8～10之间，对应的参考值矩阵记为Yv。选择与独立检验集最相似的样本作为验证集样本，该样本可以模拟检验集样本对模型效果进行反馈，从而达到更好的预测效果。
独立检验集Xt中每个样本与剩余样本Xi之间欧氏距离的计算公式为： Di＝sqrt(∑(Xi-Xt,j)2)，sqrt表示开平方根；以Xt,j表示验证集中每一样本为一观察单位，从剩余样本Xi中选取与其欧氏距离最小的样本即为与Xt,j最相似的样本。
步骤6：对于原始样本中的剩余样本，分别计算其与Xv中每个样本之间的光谱相似度，获取与Xv中每个样本(用Xv,i表示)相似度最高的多个样本并进行去重处理，写入校正集，并获取相应的光谱矩阵Xc和参数值矩阵Yc；
验证集样本获得后，校正集样本的选择与其相似，以验证集Xv中的每个样本为参考，分别计算其与剩余每个样本光谱Xk之间的欧氏距离Dk并进行排序，依次对验证集Xv中每一样本进行如上计算，然后针对验证集中的每一样本，为其选取最相近的n个样本作为校正集样本，去除多余的重复样本，即为选取的校正集Xc。
本实施例中，剩余样本为校正集可以选择的样本，校正集样本的数目由为验证集每个样本选取的最相似样本数目n通过优化决定，Xc的样本个数约在20(或18)～67之间，对应的参考值矩阵记得Yc。
验证集Xv中每个样本与剩余样本Xk之间欧氏距离的计算公式为：Dk＝ sqrt(∑(Xk-Xv,i)2)，以Xv,i表示验证集中每一样本为一观察单位，从剩余样本中选取与其最近的n个样本为校正集样本。
照此法选出的校正集样本，与验证集相似，同时也与独立检验集相似，从而更有针对性地建立对未知样本的校正模型。n的最大值为所有剩余样本都被选进校正集时所采用的数目，n的最小值应为验证集样本的数量2倍。 n的大小不同，为每个验证集样本选取的校正集样本数目不同，校正集样本数目越多不一定建模效果最优，可能包含了异常样本或重复样本或与验证集样本相似程度较差的样本信息，对建模可能形成一定的干扰；而校正集样本数目太少，相对包含的样本信息较少，可能无法覆盖待测未知样本的分布空间，所以需要对n的大小进行优化，也是对校正集样本数目的优化。在采用不同大小的n值情况下，分别建模，通过获得的验证集的RMSEV 值和Rv值优化采用的n值大小，RMSEV值越小，Rv值越大，则证明建模效果最佳，选取此时的n值为优化后的为验证集样本选取的最相近校正集样本数目，此时选取的校正集对应的光谱矩阵记为Xc，对应的参考值记为 Yc。
基于上述实施例给出的验证集和校正集划分方法，本发明的又一实施例还进一步给出了模型建立和评价方法，具体包括：
步骤1-步骤6：参见上一实施例，得到验证集和校正集，并获取验证集和校正集相应的光谱矩阵和参数值矩阵；
步骤7：根据校正集进行建模：对于参数值矩阵中的每一参数，分别与光谱矩阵进行关联建模，得到校正模型；
以水分含量参数为例，根据划分结果，将校正集样本Xc和水分含量矩阵Yc采用偏最小二乘(PLS)法进行关联，建立Yc和Xc之间的关系模型，如下：
Yc＝XcBpls (1)；
根据(1)式得到模型参数，即回归系数Bpls。
优选的，步骤7中，建模方法的潜在变量数(模型中的待求解模型参数)基于验证集Xv的最小RMSEP值确定。建模均是在模型优化的潜在变量数下进行。
步骤8：基于验证集进行模型的优化；具体包括：将验证集代入校正模型，求解参考值的拟合值，基于拟合值和实际值对模型参数进行调整优化；
Yv f＝XvBpls (3)；
步骤9：基于独立检验集对模型性能进行评价；具体包括：将独立检验集代入优化后的模型，求解参考值的拟合值，基于拟合值和实际值求解均方根误差(RMSEP)及相关系数(Rp)，对模型性能进行评价。
本领域技术人员可以理解，作为一种可替代方案，上述步骤8-9中的模型评价方法也可以采用综合评价方式，包括：
步骤8：然后将校正集、验证集和独立检验集样本的光谱数据重代入校正模型，计算出各样本集的拟合值，如下：
Yc f＝XcBpls (2)；
Yv f＝XvBpls (3)；
Yt f＝XtBpls (4)；
步骤9：接着再根据校正集的拟合值Yc f计算均方根误差(RMSEC)和相关系数(Rc)；根据验证集的拟合值Yv f计算验证集的均方根误差(RMSEV) 和相关系数(Rv)；最后根据独立检验集的拟合值Yt f计算独立检验集的均方根误差(RMSEP)及相关系数(Rp)；
步骤10：根据以上各参数共同评价模型的性能。
由于独立检验集是随机抽取的一定数目的样本，具有一定的偶然性，为了客观评价各种划分方法的性能，我们抽取相同数目的样本，平行重复 10次试验，计算上述各项指标的平均值。
实际应用中，为了更好的比较本实施例方法的效果，与基于其他样本集选择方法(如，KS和SPXY)建立的模型进行比较，可以基于相同的独立检验集，计算预测值的RMSEP和Rp，从而客观地评价模型性能。
本领域技术人员可以理解，在进行建模之前，还可以包括对校正集，验证集和独立检验集的预处理步骤，此处对具体预处理方法不进行限定，在以下具体实施例中，均未采用预处理，以原光谱矩阵直接进行建模。如果采用预处理方法，校正集，验证集和独立检验集的预处理方法要保持一致。
实施例1
本实施例对玉米数据四种成分建立模型的结果见表1。其中Lv为潜在因子数，Nc为校正集样本数目，Nv为验证集样本数目。
表1玉米各成分预测结果一览表
由表1可见，RMSEC，RMSEV和RMSEP值均是越小越好，Rc,Rv和Rp均是越大越好。玉米各成分均有较好的建模效果，校正集相关系数 Rc均达到0.95以上，说明有较好的模型性能，有很好的拟合效果，并且仅选用了约40多个样本作为校正集。验证集相关系数Rv也均达到0.95以上，说明该模型对验证集样本有很好的预测能力，而对于随机挑选的独立检验集，除油以外，其余成分均达到0.95以上的Rp值和较小的RMSEP值，而且独立检验集的Rp值与验证集的Rv值相近，所以挑选与独立检验集相似的样本作为验证集样本，间接反映对未知样本的预测能力的方法是可取的，另外，所有成分的RPD值均大于3.0，表明模型有很好的预测能力。本发明可以用于样本集的挑选，并有较好的效果。
为了确定通过光谱相似选取的验证集对模型性能的评价效果是否可以与独立检验集对模型的评价效果相近，对校正集数目优化过程中验证集Xv和独立检验集Xt的均方根误差和相应的相关系数的变化规律进行比较，结果见图4和图5。
由图4可见，验证集的均方根误差RMSEV和独立检验集的均方根误差RMSEP变化趋势基本一致，当RMSEV达到最小值时，相对RMSEP值也较小，图5中，相关系数Rv和Rp的整体变化趋势也一致，故用光谱相近的方法挑选与未知样本相近的样本作为验证集间接反映模型的预测效果是可行的，基于验证集对校正集的优化从一定程度上反映了校正集对独立检验集预测性能得到了优化，因为验证集与独立检验集样本的光谱非常相似，并且校正集也是选取的与验证集相似的样本，所以对未知样本(即独立检验集)的预测具有更强的针对性。
为了评价本发明所提出方法的性能效果，我们将与常用方法 Kennard-Stone(KS)法和SPXY法作对比，选取与本方法相同数目的验证集样本，剩余样本作为校正集，选取相同的独立检验集比较不同方法的建模性能和预测能力。有关结果见表2。
表2各种数据集划分方法建立模型的预测能力比较(平均重复10次)
由表2比较可见，本方法在对于独立检验集的预测上，无论是相关系数Rp值还是均方根误差RMSEP值，都要优于另外两种方法，尤其对于本身建模效果较差的油有更高的预测能力，预测误差更小。而且结合表1分析，本法仅采用约40多个样本作为校正集，而KS法和SPXY法是采用了除去验证集和独立检验集的剩余所有样本(约57个)作为校正集，相比之下，本法用的校正集样本数更少，校正模型效果更好。
表3列出了各种方法划分的校正集、验证集以及独立检验集的各成分参考值的范围。该范围为10次试验结果的平均值。
表3数据集的参考值范围
由表3可知，三种划分方法的校正集样本的四种成分参考值范围均能包括验证集和独立检验集的样本的参考值范围。理论上，校正集范围>验证集范围>独立检验集范围。一般情况下，应满足校正集范围大于验证集范围，如果不满足可以进一步扩大校正集样本的确定范围，使上述关系得到满足。对于独立检验集样本，可以认为其为未知样本，对应的Yt并不事先知晓。
实施例2
以丹参药材为例，测定的样本数共有120个，包括样本的重复。X为样本的近红外光谱矩阵，由傅里叶变换近红外光谱仪(AntarisⅡ，赛默飞世尔，美国)测得，Y是四个质量指标成分矩阵，分别是丹参酮ⅡA(TSⅡA)、隐丹参酮(CTS)、丹参酮Ⅰ(TSⅠ)、丹酚酸B(SAB)，样本的原始光谱见图6。各成分为检测对象，对新的划分方法进行评价，以下说明方法中以丹参酮ⅡA为例，其余成分采取与之相同的步骤。先进行异常样本的剔除，通过 Hotelling T2方法，检测到3个异常样本，剔除之后剩下117个样本，去除异常值后的主成分分析图见图7。随机抽取15个样本作为独立检验集Xt。
对剩余102个样本进行划分，其中为独立检验集Xt中每个样本选取最相似的1个样本，去除多余的重复样本，组成最终的验证集Xv，Xv的样本个数约在10～15之间，剩余样本为校正集可选择的样本，校正集样本的数目由为验证集每个样本选取的最相似样本数目n通过优化决定，Xc的样本个数在10～92之间。
根据划分结果，采用偏最小二乘法(PLS)分别建立X和Y的关联模型，以校正集均方根误差(RMSEC)，验证集均方根误差(RMSEV)和独立检验集的均方根误差(RMSEP)及相应的相关系数，即校正集相关系数 (Rc)，验证集相关系数(Rv)和预测集相关系数(Rp)来共同评价模型性能。由于独立检验集是随机抽取的一定数量的样本，有一定的偶然性。为了客观地评价各种数据集的划分方法，我们平行重复10次随机抽取相同数量的样本作为独立检验集，计算上述各指标的平均值进行比较。有关结果见表4。
表4丹参药材各成分预测结果一览表
由表4可见，丹参药材各成分均有很好的建模效果，校正集、验证集和独立检验集的相关系数都达到0.95以上，并有较小的均方根误差，验证集的各评价指标比独立检验集的更好一些，是因为校正集样本挑选的是与验证集相近的样本，并通过验证集样本进行了优化。所有成分的RPD值均大于3.0，表明模型有很好的预测能力。而且本发明对校正集样本数目进行了优化，校正集样本数目降低到了约50或60多个样本(见表4)，降低了实际的工作量。
在不同数目的校正集样本情况下，验证集和独立检验集的均方根误差变化规律及相应的相关系数变化规律分别见图8和图9，从图8中可见，均方根误差变化规律呈现一致的趋势，从图9中可见，相关系数也变化一致，尽管变化的幅度不同，但仍是相同的变化趋势，因此验证集可以代表独立检验集对模型的预测能力进行说明。
作为对比，分别采用Kennard-Stone(即KS)法和SPXY方法对117 个样本进行划分，选取相同的独立检验集，验证集样本数目与本发明方法相同，剩余样本作为校正集，也是采用验证集对校正集进行优化。有关结果见表5。
表5各种数据集划分方法建立模型的预测能力比较(平均重复10次)
由表5可见，本方法的Rp值和RMSEP均优于KS法和SPXY法，各种成分的Rp均是三种方法中的最大值，而RMSEP是三者中最小的。由于三种方法采用相同的独立检验集，本法所得的Rp最大，RMSEP最小，表明通过本法划分得到的校正集模型对于相同的独立检验集具有最强的预测能力。结合表4进行分析，由于本发明对校正集样本数目进行了优化，相比于KS法和SPXY法(除去验证集和独立检验集的剩余所有样本(约87 个)作为校正集样本)，本发明采用的样本数目较少，且模型的性能和预测能力更优。
表6列出了各种方法划分的校正集、验证集以及独立检验集的四种成分参考值的范围。该范围为10次试验结果的平均值。
表6数据集的参考值的范围
由表6可知，除了丹参酮Ⅰ的KS方法中，其余方法的校正集样本均能覆盖验证集样本的参考值范围，并且校正集样本也可覆盖独立检验集样本。
实施例3
以公开数据玉米为例，测定的样本共有80个。X为样本的近红外光谱矩阵，Y是四个成分质量指标矩阵。以水分为对象说明，其余成分采取相同的步骤，先进行异常样本的剔除，通过Hotelling T2方法，检测到3个异常样本，然后剔除之后共剩下77个样本，随机抽取10个样本作为独立检验集Xt。
对剩余67个样本进行划分，我们变化了验证集样本的数量，以考察验证集样本数量变化后，各种划分方法对模型的性能的影响。其中为每一个独立检验集样本挑选2(即g＝2)个欧氏距离最相近的样本计入验证集，验证集的样本数约在14～20之间，其余样本进行校正集样本数目的优化，在X 矩阵和Y矩阵之间建立PLS模型，计算各参数，包括校正集均方根误差 (RMSEC)，验证集均方根误差(RMSEV)和独立检验集的均方根误差 (RMSEP)及相应的相关系数，即校正集相关系数(Rc)，验证集相关系数 (Rv)和预测集相关系数(Rp)。由于独立检验集是随机抽取的一定数量的样本，有一定的偶然性。为了客观地评价各种数据集划分方法，我们平行重复10次随机抽取相同数量的样本作为独立检验集，计算上述各指标的平均值进行比较。有关结果见表7。
表7玉米各成分预测结果一览表
由表7可见，玉米各成分仍有很好的建模效果，校正集样本数目通过优化，数目在40个左右(见表7)，大部分成分的校正集和验证集相关系数都达到0.95以上，并且所有成分的RPD值均大于3.0，说明模型有很好的预测能力，表明该方法可用于样本集的划分，并得到很好的模型性能和预测效果。
在校正集样本数目优化过程中，验证集和独立检验集的均方根误差呈现一致的变化趋势，并且相关系数变化趋势也一致，所以验证集样本可以作为对未知样本预测误差的一种反映，并使模型对未知样本有更好的预测能力，具体情况见图10和图11。
作为对比，分别采用Kennard-Stone(即KS)法和SPXY方法对67个样本进行划分，为了比较，选取与本方法相同的独立检验集样本，验证集样本数目与本方法相同，剩余样本作为校正集，也采用验证集样本优化校正模型，有关结果见表8。
表8各种数据集划分方法建立模型的预测能力比较(平均重复10次)
由表8可见，对于油和蛋白质，本发明提出的方法优于KS和SPXY法， RMSEP值最小，Rp值最大。对于水分，由于水分本身建模效果就很好，提升空间不大，RMSEP值仍最小，Rp值仍最大。对于淀粉，从Rp角度来看，本法比KS法好，比SPXY法稍差，但相差不大，而本法的RMSEP值最低，预测误差最小。相比于实施例1中，本实施例中为独立检验集挑选2个最近距离样本的效果稍差，可能是因为验证集样本包括了重复无用的信息或选择的样本相近程度有所下降所致，对建模形成一定干扰。
表9列出了各种方法划分的校正集、验证集以及独立检验集的四种成分参考值的范围，该范围为10次试验结果的平均值。
表9数据集的参考值的范围
由表9可知，所有成分的各种方法校正集样本的参考值范围均能覆盖验证集和独立检验集。
实施例4
以丹参药材为例，测定的样本数共有120个，包括样本的重复。X为样本的近红外光谱矩阵，Y是四个质量指标成分矩阵。以丹参酮ⅡA (TSⅡA)为例说明方法，隐丹参酮(CTS)、丹参酮Ⅰ(TSⅠ)、丹酚酸B(SAB) 等成分采取相同的步骤，先进行异常样本的剔除，通过Hotelling T2方法，检测到3个异常样本，然后剔除之后共剩下117个样本。随机抽取15个样本作为独立检验集Xt。
对剩余102个样本进行划分，我们变化了验证集样本的数量，以考察验证集样本数量变化后，各种划分方法对模型的性能的影响。其中为每一个独立检验集样本挑选2个欧氏距离最相近的样本计入验证集，验证集的样本数约在20～30之间，其余样本进行校正集样本数目的优化，在X矩阵和Y矩阵之间建立PLS模型，计算各参数，包括校正集均方根误差(RMSEC)，验证集均方根误差(RMSEV)和独立检验集的均方根误差 (RMSEP)及相应的相关系数，如校正集相关系数(Rc)，验证集相关系数 (Rv)和预测集相关系数(Rp)。由于独立检验集是随机抽取的一定数量的样本，有一定的偶然性。为了客观地评价各种数据集的划分方法，我们平行重复10次试验，随机抽取相同数量的样本作为独立检验集，计算上述各指标的平均值进行比较。有关结果见表10。
表10丹参药材各成分预测结果一览表
由表10可见，丹参药材各成分仍有很好的建模效果，校正集样本数目通过优化，数目在60个左右(见表10)，所有成分的校正集、验证集和独立检验集的相关系数可达0.95以上，并且独立检验集的均方根误差RMSEP 较小，RPD值均明显大于3.0，说明模型有很好的建模性能和预测能力。
在校正集数目优化过程中，验证集和独立检验集的均方根误差呈现一致的变化趋势，相关系数变化趋势也一致，而且相关系数和均方根误差的变化趋势刚好呈相反的方向，所以验证集样本可以作为对未知样本预测误差的一种反映，从而更好地对模型进行优化，对未知样本的预测更有针对性，具体情况见图12和图13。
作为对比，分别采用Kennard-Stone(KS)法和SPXY方法对102个样本进行划分，为了比较，选取与本方法相同的独立检验集样本，验证集样本数目与本方法相同，剩余样本作为校正集，以验证集样本优化校正模型，有关结果见表11。
表11各种数据集划分方法建立模型的预测能力比较(平均重复10次)
由表11可见，本发明对于大部分成分的建模效果和预测能力稍有提升，除CTS的Rp值提升较多外，其余成分的Rp值相差不大，虽然提升的幅度较小，但仍是三种方法最佳的。SAB的RMSEP值稍差，但是其Rp值仍是最高的。与实施例2相比，为独立检验集的每个样本多选1个最近距离样本，可能其中包含了重复的无用的信息或选择的样本相近程度有所下降所致，所以建模效果反而不如实施例2中的情况。
表12列出了各种方法划分的校正集、验证集以及独立检验集的四种成分参考值的范围，该范围为10次试验结果的平均值。
表12数据集的参考值的范围
由表12可见，虽然本法对隐丹参酮挑选的样本集中，验证集范围略超出校正集范围，但在实践中，待检测样本也许不一定就包含在校正集范围内，因此本法的适用性可能更好。其余成分的各种方法校正集样本的参考值范围均能覆盖验证集和独立检验集。
以上一个或多个实施例具有以下技术效果：
本发明的校正集和验证集的划分方法，以用于检验模型性能的验证数据(即独立检验集，模型建立后作为未知样本对模型性能进行检验)出发，基于独立检验集，以光谱相似度为依据，选取与独立检验集相似的光谱作为验证集，以验证集的预测效果侧面体现对未知样本的预测能力，然后基于验证集，选取与验证集相似的光谱作为校正集，保证了建立的模型是针对未知样本的模型，并且与目前常用的方法比较，可以确切地证明其对于未知样本的建模性能更好，预测能力更强。
验证集和校正集的选取还涉及数量的选择，本发明对校正集样本数目进行了优化，可以实现选用较少的样本数目达到更好的预测效果。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于光谱相似度的校正集和验证集选择方法，其特征在于，包括以下步骤：
对原始样本进行近红外光谱测定，得到原始样本光谱矩阵；
随机抽取m个样本作为独立检验集；
计算原始样本中去除独立检验集样本后的剩余样本与独立检验集中每个样本的光谱相似度，获取相似度最高的g个样本写入验证集；
计算原始样本中去除独立检验集样本和验证集样本后的剩余样本与验证集中的每个样本的光谱相似度，获取相似度最高的n个样本写入校正集；
对n取不同值时分别进行建模，基于模型性能优化n的取值，得到优化后的模型参数值。
2.如权利要求1所述的基于光谱相似度的校正集和验证集选择方法，其特征在于，还对原始样本测定多个参考值，得到原始样本参考值矩阵。
3.如权利要求2所述的基于光谱相似度的校正集和验证集选择方法，其特征在于，得到原始样本光谱矩阵和原始样本参考值矩阵后，还对原始样本光谱矩阵进行异常值检测，将异常值剔除，并将原始样本参考值矩阵中相应的参考值剔除。
4.如权利要求1所述的基于光谱相似度的校正集和验证集选择方法，其特征在于，样本之间的光谱相似度采用欧氏距离计算。
5.如权利要求3所述的基于光谱相似度的校正集和验证集选择方法，其特征在于，设经异常值剔除后的原始样本数量为N，m、g与n的关系满足：g≤n≤(N-m)。
6.一种基于如权利要求1-5任一项所述校正集和验证集选择方法的建模方法，其特征在于，获取校正集相应的参考值矩阵，对于参考值矩阵中的每一参考值，分别与光谱矩阵进行关联建模。
7.如权利要求6所述的建模方法，其特征在于，所述方法还包括：
基于验证集对模型参数进行优化；
基于独立检验集对模型性能进行评价。
8.如权利要求6所述的建模方法，其特征在于，所述方法还包括基于校正集、验证集和独立检验集对模型性能进行综合评价。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910986971.0A CN110687072B (zh) | 2019-10-17 | 2019-10-17 | 一种基于光谱相似度的校正集和验证集的选择及建模方法 |
| PCT/CN2020/120950 WO2021073541A1 (zh) | 2019-10-17 | 2020-10-14 | 一种基于光谱相似度的校正集和验证集的选择及建模方法 |
| US17/289,657 US20210404952A1 (en) | 2019-10-17 | 2020-10-14 | Method for selection of calibration set and validation set based on spectral similarity and modeling |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910986971.0A CN110687072B (zh) | 2019-10-17 | 2019-10-17 | 一种基于光谱相似度的校正集和验证集的选择及建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110687072A CN110687072A (zh) | 2020-01-14 |
| CN110687072B true CN110687072B (zh) | 2020-12-01 |
Family
ID=69113453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910986971.0A Active CN110687072B (zh) | 2019-10-17 | 2019-10-17 | 一种基于光谱相似度的校正集和验证集的选择及建模方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210404952A1 (zh) |
| CN (1) | CN110687072B (zh) |
| WO (1) | WO2021073541A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110687072B (zh) * | 2019-10-17 | 2020-12-01 | 山东大学 | 一种基于光谱相似度的校正集和验证集的选择及建模方法 |
| CN111667889B (zh) * | 2020-07-20 | 2022-03-01 | 山东中医药大学 | 一种预测丹参中质量标志物含量的方法 |
| CN112285056B (zh) * | 2020-10-14 | 2022-02-08 | 山东大学 | 一种用于光谱样品个性化校正集选择及建模方法 |
| CN113094892A (zh) * | 2021-04-02 | 2021-07-09 | 辽宁石油化工大学 | 一种基于数据剔除与局部偏最小二乘的石油浓度预测方法 |
| CN113762208B (zh) * | 2021-09-22 | 2023-07-28 | 山东大学 | 一种近红外光谱与特征图谱的图谱转换方法及其应用 |
| CN114184577B (zh) * | 2021-11-30 | 2023-08-22 | 中国科学院西北高原生物研究所 | 一种近红外定量检测模型的参数选取方法和定量检测方法 |
| CN114783539A (zh) * | 2022-04-28 | 2022-07-22 | 山东大学 | 一种基于光谱聚类的中药成分分析方法及系统 |
| CN115290594A (zh) * | 2022-07-14 | 2022-11-04 | 广东辛孚科技有限公司 | 一种油品物性快评模型建立方法及装置 |
| CN115952402B (zh) * | 2022-09-29 | 2023-06-27 | 南京林业大学 | 基于二进制蜻蜓算法的近红外模型传递标样集挑选方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MY107650A (en) * | 1990-10-12 | 1996-05-30 | Exxon Res & Engineering Company | Method of estimating property and / or composition data of a test sample |
| SE512540C2 (sv) * | 1998-06-22 | 2000-04-03 | Umetri Ab | Metod och anordning för kalibrering av indata |
| KR100398362B1 (ko) * | 2000-09-01 | 2003-09-19 | 스펙트론 테크 주식회사 | 근적외선 분광 분석법에 의한 피부 수분 측정방법 및 장치 |
| RU2266523C1 (ru) * | 2004-07-27 | 2005-12-20 | Общество с ограниченной ответственностью ООО "ВИНТЕЛ" | Способ создания независимых многомерных градуировочных моделей |
| CN103411893B (zh) * | 2013-07-29 | 2015-06-10 | 陕西步长制药有限公司 | 一种脑心通胶囊近红外光谱的检测方法 |
| US20170258331A1 (en) * | 2014-09-08 | 2017-09-14 | Shimadzu Corporation | Imaging device |
| CN105486663B (zh) * | 2016-02-29 | 2018-10-19 | 上海交通大学 | 一种利用近红外光谱检测土壤的稳定碳同位素比值的方法 |
| CN106770005B (zh) * | 2016-11-25 | 2018-10-26 | 山东大学 | 一种用于近红外光谱分析的校正集和验证集的划分方法 |
| CN107179293A (zh) * | 2017-06-23 | 2017-09-19 | 南京富岛信息工程有限公司 | 一种油品性质不确定度的评定方法 |
| CN109324014B (zh) * | 2018-10-08 | 2021-09-24 | 华东理工大学 | 一种自适应的原油性质近红外快速预测方法 |
| CN110687072B (zh) * | 2019-10-17 | 2020-12-01 | 山东大学 | 一种基于光谱相似度的校正集和验证集的选择及建模方法 |
-
2019
- 2019-10-17 CN CN201910986971.0A patent/CN110687072B/zh active Active
-
2020
- 2020-10-14 WO PCT/CN2020/120950 patent/WO2021073541A1/zh active Application Filing
- 2020-10-14 US US17/289,657 patent/US20210404952A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN110687072A (zh) | 2020-01-14 |
| US20210404952A1 (en) | 2021-12-30 |
| WO2021073541A1 (zh) | 2021-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110687072B (zh) | 一种基于光谱相似度的校正集和验证集的选择及建模方法 | |
| CN103534578B (zh) | 确定样本中存在的成分的光谱装置以及方法 | |
| CN102735642B (zh) | 一种快速无损鉴别初榨橄榄油和油橄榄果渣油的方法 | |
| CN108680515B (zh) | 一种单粒水稻直链淀粉定量分析模型构建及其检测方法 | |
| CN107958267B (zh) | 一种基于光谱线性表示的油品性质预测方法 | |
| AU2014346520A1 (en) | Texture analysis of a coated surface using pivot-normalization | |
| CN103674854A (zh) | 一种基于联合区间偏最小二乘判别分析的苹果分级方法 | |
| CN112285056B (zh) | 一种用于光谱样品个性化校正集选择及建模方法 | |
| CN109115692B (zh) | 一种光谱数据分析方法及装置 | |
| US10578550B2 (en) | Identifying presence of substrates | |
| CN111693487A (zh) | 基于遗传算法和极限学习机的水果糖度检测方法及系统 | |
| WO2020248961A1 (zh) | 一种无参考值的光谱波数选择方法 | |
| CN103822899A (zh) | 基于太赫兹时域光谱检测小麦粉中害虫碎片的方法 | |
| Li et al. | Quantitative analysis of aflatoxin B1 of peanut by optimized support vector machine models based on near-infrared spectral features | |
| Noshad et al. | Volatilomic with chemometrics: a toward authentication approach for food authenticity control | |
| CN112485238A (zh) | 一种基于拉曼光谱技术鉴别姜黄精油产地的方法 | |
| CN114062305B (zh) | 基于近红外光谱和1D-In-Resnet网络的单籽粒品种鉴定方法及系统 | |
| CN110632024B (zh) | 一种基于红外光谱的定量分析方法、装置、设备以及存储介质 | |
| CN114783539A (zh) | 一种基于光谱聚类的中药成分分析方法及系统 | |
| CN111220565B (zh) | 一种基于cpls的红外光谱测量仪器标定迁移方法 | |
| CN109145887B (zh) | 一种基于光谱潜变量混淆判别的阈值分析方法 | |
| CN111474124A (zh) | 一种基于补偿的光谱波长选择方法 | |
| CN115795225B (zh) | 一种近红外光谱校正集的筛选方法及装置 | |
| Sundaram et al. | Classification of in-shell peanut kernels nondestructively using VIS/NIR reflectance spectroscopy | |
| CN114813631B (zh) | 小麦品种纯度检测方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |