CN108777019A - 一种近红外光谱模型转移策略优选方法及装置 - Google Patents
一种近红外光谱模型转移策略优选方法及装置 Download PDFInfo
- Publication number
- CN108777019A CN108777019A CN201810401939.7A CN201810401939A CN108777019A CN 108777019 A CN108777019 A CN 108777019A CN 201810401939 A CN201810401939 A CN 201810401939A CN 108777019 A CN108777019 A CN 108777019A
- Authority
- CN
- China
- Prior art keywords
- strategy
- infrared spectroscopy
- model
- selection model
- preferred method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004497 NIR spectroscopy Methods 0.000 title claims abstract description 38
- 230000007704 transition Effects 0.000 title claims abstract description 37
- 238000004611 spectroscopical analysis Methods 0.000 claims abstract description 56
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000012546 transfer Methods 0.000 claims description 47
- 238000002329 infrared spectrum Methods 0.000 claims description 24
- 239000000126 substance Substances 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000001228 spectrum Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 244000061456 Solanum tuberosum Species 0.000 description 4
- 235000002595 Solanum tuberosum Nutrition 0.000 description 4
- 229920002472 Starch Polymers 0.000 description 4
- 235000019698 starch Nutrition 0.000 description 4
- 239000008107 starch Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 1
- 244000061176 Nicotiana tabacum Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C13/00—Voting apparatus
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供了一种近红外光谱模型转移策略优选方法，所述近红外光谱模型转移策略优选方法包括剔除标准样品在源机和目标机上检测的光谱数据中的异常样本值，建立预选模型策略，采用投票机制对所述预选模型策略进行投票，以获得高于预设票数的预选模型策略，根据所述高于预设票数的预选模型策略得到最优选模型策略。本发明还提供一种近红外光谱模型转移策略优选装置。本发明提供了一种近红外光谱模型转移策略优选方法，通过引入投票机制获得得票较高的策略，以减轻计算负担，简化了建模步骤。
Description
技术领域
本发明涉及红外光谱分析技术领域，具体涉及一种近红外光谱模型转移策略优选方法及装置。
背景技术
近红外光谱是指波长介于可见光与中红外光谱之间的电磁波，美国材料测试协会将近红外光谱区定义为780nm-2526nm(12800-3960cm-1)，它主要用于有机物质定性和定量分析中。近红外光谱主要是反映分子合频与倍频的振动信息，由于每一种有机组分在近红外光谱区都有信息，所以近红外光谱反映的是一种重叠的、宽泛的、背景复杂的信息，因此不能直接用于分析。近红外光谱的应用需要结合化学计量学方法来实现，利用化学计量学方法最大限度的提取有用的化学信息，从而实现近红外光谱的应用。这种技术具有高效、无损、无污染、可同时进行多组分或性质分析等优点，被广泛应用到农产品、饲料、烟草等诸多行业中。随着这些行业的发展，将源机上的模型推广到目标机上使用的需求正变得十分重要，它是实现大范围应用和网络化集成的基础，由此产生了对近红外光谱分析模型的转移研究。
常用的模型转移方法具有比较多的模型转移策略，计算选择量大，造成计算负担。
发明内容
有鉴于此，本发明提出一种简便的近红外光谱模型转移策略优选方案，具体技术方案如下所述。
本发明提供一种近红外光谱模型转移策略优选方法，所述近红外光谱模型转移策略优选方法包括：
剔除标准样品在源机和目标机上检测的光谱数据中的异常样本值；
建立预选模型策略；
采用投票机制对所述预选模型策略进行投票，以获得高于预设票数的预选模型策略；
根据所述高于预设票数的预选模型策略得到最优选模型策略。
优选的，所述标准样品在源机和目标机上检测的光谱数据中的异常样本值显示的方法为主成分分析-马氏距离法。
优选的，所述主成分分析-马氏距离法包括：
将标准样品进行近红外光谱数据主成分分析，获得由预设主成分的得分向量组成的得分矩阵；
将所述得分矩阵和化学测量值向量组成综合矩阵；
根据综合矩阵计算标准样品的马氏距离；
通过箱形图对所述马氏距离进行统计，显示异常样本值。
优选的，所述“建立预选模型策略”包括：
将多种近红外光谱数据平滑方法和多种模型转移算法进行排列组合得到多组预选模型策略。
优选的，所述近红外光谱数据平滑方法包括无平滑、多项式平滑、卷积平滑和内核平滑中的一种或多种。
优选的，所述模型转移算法包括直接矫正算法、分段直接矫正算法、Shenk's算法和光谱差值矫正算法中的一种或多种。
优选的，所述投票机制包括：
将标准样品在源机上检测的光谱数据进行平滑处理得到源机光谱数据；
将标准样品在目标机上检测的光谱数据进行预选模型策略处理得到目标机转移光谱数据；
根据所述源机光谱数据和所述目标机转移光谱数据得到全定性相似度和全定量相似度；
判断所述预选模型策略是否得到1票，所述判断方法是：当全定性相似度大于等于0.99，同时全定量相似度在97％～103％之间时，则相应的模型转移策略得1票；否则得0票。
优选的，所述“根据所述高于预设票数的预选模型策略得到最优选模型策略”包括：
将所述高于预设票数的预选模型策略分别用于目标机上检测的光谱数据得到目标机转移光谱数据；
将所述原机光谱数据、目标机光谱数据和目标机转移光谱数据分别与化学测量值构建预测模型得到化学预测值；
根据所述化学预测值和所述对应化学测量值获得预测误差和相关系数；
根据所述预测误差和所述相关系数得到最优选模型策略。
优选的，所述近红外光谱模型转移策略优选方法还包括：
排除低于所述预设票数的预选模型策略。
本发明提供一种近红外光谱模型转移策略优选装置，所述近红外光谱模型转移策略优选装置包括存储器及处理器，所述存储器存储了用于近红外光谱模型转移策略优选的程序，所述处理器从所述存储器里读取所述程序，以执行：
剔除标准样品在源机和目标机上检测的光谱数据中的异常样本值；
建立预选模型策略；
采用投票机制对所述预选模型策略进行投票，以获得高于预设票数的预选模型策略；
根据所述高于预设票数的预选模型策略得到最优选模型策略。
本发明的有益效果：本发明提出一种简便的近红外光谱模型转移策略优选方案，通过引入投票机制获得得票较高的策略，以减轻计算负担，简化了建模步骤。
附图说明
图1为本发明提供的一种近红外光谱模型转移策略优选方法流程图。
图2为本发明提供的一种主成分分析-马氏距离法流程图。
图3为本发明提供的一种投票机制流程图。
图4为本发明提供的一种根据所述高于预设票数的预选模型策略得到最优选模型策略的方法流程图。
图5为本发明实施例提供的PCA-MD方法对源机和目标机近红外光谱数据的分析结果图。
图6为本发明实施例提供的异常样本标记箱形图。
图7为本发明实施例提供的模型转移示意图。
图8为本发明实施例提供的应用策略7对源机和目标机数据预测结果图。
图9为本发明提供的一种近红外光谱模型转移策略优选装置的结构示意图。
具体实施方式
以下所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
请参阅图1，本发明提供一种近红外光谱模型转移策略优选方法，所述近红外光谱模型转移策略优选方法包括步骤S100、步骤S200、步骤S300和步骤S400。每个步骤详细介绍如下。
步骤S100，剔除标准样品在源机和目标机上检测的光谱数据中的异常样本值。将异常样本值剔除以减少个别异常值对整个数据模型的干扰，获得更精确的建模数据。
步骤S200，建立预选模型策略。进一步的实施例中，所述“建立预选模型策略”包括将多种近红外光谱数据平滑方法和多种模型转移算法进行排列组合得到多组预选模型策略。优选的，所述近红外光谱数据平滑方法包括无平滑(下述用None表示)、多项式平滑(下述用Polynomial表示)、卷积平滑(下述用SG表示)和内核平滑(下述用Kernel表示)中的一种或多种。优选的，所述模型转移算法包括直接矫正算法(下述用DS表示)、分段直接矫正算法(下述用PDS表示)、Shenk's算法和光谱差值矫正算法中的一种或多种。可以理解的是，所述“建立预选模型策略”还包括将数据预处理方法和建模，其中数据预处理方法包括散射(MSC)、矫正(SNV)、一阶导数(first-order derivative)和二阶导数，建模包括偏最小二乘回归(Partial Least Squares Regression)法。
步骤S300，采用投票机制对所述预选模型策略进行投票，以获得高于预设票数的预选模型策略。将多个预选模型策略通过投票机制进行筛选，初步筛选出高于预设票数的预选模型策略，其中预选票数可根据预选模型策略的多少来设定，当预选模型策略的个数有N个时，可将得票数排在前5％的所有预选模型策略筛选出来。
步骤S400，根据所述高于预设票数的预选模型策略得到最优选模型策略。再将高于预设票数的多个预选模型策略进行下一步筛选得到最优选模型策略。在预选模型策略的数量不大的情况下可直接测试所有的预选模型策略得到最优选模型策略。
本发明提出一种简便的近红外光谱模型转移策略优选方案，通过引入投票机制获得得票较高的策略，以减轻计算负担，简化了建模步骤。
进一步的实施例中，所述标准样品在源机和目标机上检测的光谱数据中的异常样本值显示的方法为主成分分析-马氏距离法。
请参阅图2，进一步的实施例中，所述主成分分析-马氏距离法包括步骤110、步骤120、步骤130和步骤140。各个步骤详细如下所述。
步骤110，将标准样品进行近红外光谱数据主成分分析，获得由预设主成分的得分向量组成的得分矩阵。其中预设主成分是指含量排在前几位的主成分，将标准样品进行近红外光谱数据主成分分析，得到主成分的光谱数据，然后将主成分的光谱数据进行变换得到得分向量，由得分向量组成得分矩阵。
步骤120，将所述得分矩阵和化学测量值向量组成综合矩阵。可以理解的是，所述化学测量值通过化学计量方法得到。
步骤130，根据综合矩阵计算标准样品的马氏距离。
步骤140，通过箱形图对所述马氏距离进行统计，显示异常样本值。
请参阅图3，进一步的实施例中，所述投票机制包括步骤310、步骤320、步骤330和步骤340。各个步骤详细如下所述。
步骤310，将标准样品在源机上检测的光谱数据进行平滑处理得到源机光谱数据。引入平滑方法可以使源机光谱和目标光谱经过处理最大程度相似，以此来保证基于源极数据所建模型对目标机光谱数据预测的准确性。
步骤320，将标准样品在目标机上检测的光谱数据进行预选模型策略处理得到目标机光谱数据。
步骤330，根据所述源机光谱数据和所述目标机光谱数据得到全定性相似度和全定量相似度。其中全定性相似度包括夹角余弦相似度，记为SF1，和比率定性相似度,记为SF2，采用夹角余弦相似度和比率定性相似度能过获得准确的近红外光谱主成分的定性评价。
步骤340，判断所述预选模型策略是否得到1票，所述判断方法是：当全定性相似度大于等于0.99，同时全定量相似度在97％～103％之间时，则相应的模型转移策略得1票；否则得0票。
请参阅图4，进一步的实施例中，所述“根据所述高于预设票数的预选模型策略得到最优选模型策略”包括步骤410、步骤420、步骤430和步骤440。各个步骤详细如下所述。
步骤410，将所述高于预设票数的预选模型策略分别用于目标机上检测的光谱数据得到目标机转移光谱数据。
步骤420，将所述源机光谱数据、目标机光谱数据和目标机转移光谱数据分别与化学测量值构建预测模型得到化学预测值。可以理解的是，源机光谱数据、目标机光谱数据和目标机转移光谱数据分别对应三种化学预测值。
步骤430，根据所述化学预测值和对应的所述化学测量值获得预测误差和相关系数。其中预测误差用RMSE表示，相关系数用R表示。可以理解的是，根据三种化学预测值分别与对应化学测量值，得到三种对应的预测误差和相关系数。
步骤440，根据所述预测误差和所述相关系数得到最优选模型策略。比较各种预选模型策略所对应的预测误差和相关系数，预测误差越小、相关系数越大，说明模型效果越佳。
进一步的实施例中，所述近红外光谱模型转移策略优选方法还包括排除低于所述预设票数的预选模型策略。预先排除得票较低的模型策略，可以减轻计算负担。
下面通过具体实施例来说明。
实施例1近红外光谱模型转移策略优选方法应用实例-马铃薯
一、通过主成分分析-马氏距离(PCA-MD)法剔除标准样品在源机和目标机上的数据中的异常值。
首先，对近红外光谱数据进行主成分分析，获得由含量为前几的主成分的得分向量组成的得分矩阵。
然后，将得分矩阵和化学测量值向量组成新的矩阵，并计算各个样本的马氏距离。
最后，利用箱形图对所有马氏距离(mahalanobis距离)进行统计，并显示异常样本。
PCA-MD方法对源机和目标机近红外光谱数据的分析结果如图5所示，其中图6是利用箱形图对mahalanobis距离进行统计判断异常值的结果，具体见表1。
表1异常样本编号统计结果
| 异常样本来源 | 样本编号 | 样本数 |
| 源机异常样本编号 | 33,34,44,84,85,90,163,182,185,194 | 10 |
| 目标机异常样本编号 | 12,34,42,43,44,46,72,80,84 | 9 |
| 总异常样本编号 | 12,33,34,42,43,44,46,72,80,84,85,90,163,182,185,194 | 16 |
将表1中显示的异常样本编号剔除掉。
二、建立预选模型策略。
将多种近红外光谱数据平滑方法和多种模型转移算法进行排列组合得到多组预选模型策略。本实施例中建立8种预选模型策略，具体如表2所示。
表2 8种预选模型策略
三、采样“投票机制”获得得票较高的预选模型转移策略，排除得票较低的预选模型转移策略。
在本发明实施例中，将采用全定性相似度、全定量相似度作为相同样本在源机和目标机上光谱数据相似程度的度量。如图7所示，其中黑色实线表示源机上检测的响应值，虚线表示在目标机上检测的响应值，左边表示为经过模型转移侧率处理，右边表示经过模型转移侧率处理，源机与目标机光谱差异很大，经过模型转移后，源机光谱与目标机转移光谱十分相似，从图7中可以看出，源机和目标机原始的光谱数据之间差异很大，经过模型转移处理(对源机光谱进行平滑处理，对目标机光谱进行平滑处理+模型转移处理)后，两条光谱基本重合。从表3中可以看出，模型转移前后的全定性相似度差异不大，全定量相似度差异较为明显，尤其是三级全定量相似度，差异最为显著。因此，全定性全定量相似度可以反映出光谱之间较为可靠的真实相似程度信息。
表3标准样本全定性相似度、全定量相似度指标统计表
从上述表3可以看，采用模型转移策略后的全定性相似度SF1和SF2均为1，均大于0.99，而全定量相似度中的一级、二级、三级和四级均在97％～103％，即得到1票。
将上述表2中的8种预选模型策略分别应用到目标机上，对源极光谱数据进行平滑，选择剔除异常样本值后的92个检测样本，最终得到的投票结果如表4所示。
表4 8种预选模型策略投票结果
如表4所示：参与投票的样本总数为92。模型转移前，所有模型转移策略的得票数均为0，说明源机与目标机光谱差异显著；模型转移后，编号为2、4、6、8的策略得票38，显著低于编号为1、3、5、7的策略得票(78)。
四、根据8种预选模型策略的票数结果进行预测以得到最优选模型策略。
在该实施例中只测试了8种预选模型策略，在数量不大的情况下可将其全部进行预测。将上述8种预选模型策略预测，结果如表5所示。
表5 8种预选模型策略预测结果
如表5所示：所有预测模型策略基于源机数据所建模型用于源机光谱数据预测的结果基本符合要求。预测误差都在1.2以内，相关系数都在0.7604以上。所有预测模型转移策略基于源机数据所建模型直接用于目标机光谱数据预测的结果都不太理想。预测误差最高的达到30.731，最低的也有10.727，因此，对目标机直接套用源机模型不合适。不同模型转移策略基于源机数据所建模型用于目标机转移光谱数据预测的结果存在较为明显的差异，编号为2、4、6、8的策略，预测误差最高达到3.2538，最低也有2.0263，相关系数最低为0.2435，最高为0.5216，预测结果不太理想。编号为1、3、5、7的策略，预测误差最高为1.0567，最低为0.9532，相关系数最高为0.8506，最低为0.7786，预测结果基本令人满意。
对照表4和表5中的结果可以看出，各策略最终预测的结果的优劣与得票的票数是对应的，即得票较多的策略(编号为1、3、5、7)其预测的结果也是比较令人满意的。因此，在模型转移建模过程中，可以将“投票机制”作为模型转移策略初步筛选手段，将得票较低的策略直接排除。此外，从1、3、5、7号策略的结果来看，未进行平滑处理的策略(编号为1的策略)，对训练集(源机光谱、目标机转移光谱)的预测相对于其他策略，具有更大的相关系数0.8601(源机光谱)、0.8506(目标机转移光谱)；具体更小的预测误差0.9211(源机光谱)、0.9532(目标机转移光谱)。但对测试集的预测并不一定优于其他策略，有时反而不及，如编号为7的策略对测试集的预测明显优于编号为1的策略。
综合比较之后，可以选择编号为7的策略作为最终的模型转移建模方案。此外，从表4的结果还可以看出，平滑处理在一定程度上改善了模型的性能。
五、应用策略7建立马铃薯中淀粉含量近红外光谱转移模型
马铃薯中淀粉含量的测定按照国标方法《GB 5009.9-2016食品安全国家标准食品中淀粉的测定》进行。测得的淀粉含量在7.20～16.5g/100g,平均值为12.5g/100g。土豆模型转移最优策略建模的具体参数信息如表5所示。
表6马铃薯近红外光谱模型转移建模策略
| 策略各子模块 | 方法 |
| 近红外光谱数据平滑 | Kernel |
| 模型转移 | DS |
| 数据预处理 | SNV+MSC+first-order derivative |
| 建模 | Partial Least Squares Regression |
| 评估参数 | RMSE、R |
预测结果如图8和表7所示。表7中训练集为123个，测试集为61个。
表7应用策略7对源机和目标机数据预测结果统计表
策略7模型对源机和目标机的数据均有较好的预测性能。相关系数都在0.8000以上，预测误差都在1.0800以内。表8对表7中的相对误差进行了进一步的统计，从中可以看出相对误差15％以内的全部都达到90％以上，10％以内的也都超过了77％。由此，可见，新建的模型基本能符合要求。
表8相对误差统计表
通过以上验证结果可以看出，本发明所提出的近红外模型转移策略优选方法与预先的设想基本一致。应用该方法能在一定程度上减轻“计算负担”，提高模型转移建模的效率。此外，发明中引入的平滑部分，能在一定程度上改善模型转移模型的预测性能。
请参阅图9，本发明提供一种近红外光谱模型转移策略优选装置10，所述近红外光谱模型转移策略优选装置10包括存储器100及处理器200，所述存储器100存储了用于近红外光谱模型转移策略优选的程序，所述处理器200从所述存储器200里读取所述程序，以执行下述步骤。
步骤S100，剔除标准样品在源机和目标机上检测的光谱数据中的异常样本值。
步骤S200，建立预选模型策略。
步骤S300，采用投票机制对所述预选模型策略进行投票，以获得高于预设票数的预选模型策略。
步骤S400，根据所述高于预设票数的预选模型策略得到最优选模型策略。
所述近红外光谱模型转移策略优选装置10还包括通信接口300，存储器100、处理器200、通信接口300可以通过总线400相互连接。总线400可以是外设部件互连标准总线或扩展工业标准结构总线等。所述总线400可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种近红外光谱模型转移策略优选方法，其特征在于，所述近红外光谱模型转移策略优选方法包括：
剔除标准样品在源机和目标机上检测的光谱数据中的异常样本值；
建立预选模型策略；
采用投票机制对所述预选模型策略进行投票，以获得高于预设票数的预选模型策略；
根据所述高于预设票数的预选模型策略得到最优选模型策略。
2.如权利要求1所述的近红外光谱模型转移策略优选方法，其特征在于，所述标准样品在源机和目标机上检测的光谱数据中的异常样本值显示的方法为主成分分析-马氏距离法。
3.如权利要求2所述的近红外光谱模型转移策略优选方法，其特征在于，所述主成分分析-马氏距离法包括：
将标准样品进行近红外光谱数据主成分分析，获得由预设主成分的得分向量组成的得分矩阵；
将所述得分矩阵和化学测量值向量组成综合矩阵；
根据综合矩阵计算标准样品的马氏距离；
通过箱形图对所述马氏距离进行统计，显示异常样本值。
4.如权利要求1所述的近红外光谱模型转移策略优选方法，其特征在于，所述“建立预选模型策略”包括：
将多种近红外光谱数据平滑方法和多种模型转移算法进行排列组合得到多组预选模型策略。
5.如权利要求4所述的近红外光谱模型转移策略优选方法，其特征在于，所述近红外光谱数据平滑方法包括无平滑、多项式平滑、卷积平滑和内核平滑中的一种或多种。
6.如权利要求4所述的近红外光谱模型转移策略优选方法，其特征在于，所述模型转移算法包括直接矫正算法、分段直接矫正算法、Shenk's算法和光谱差值矫正算法中的一种或多种。
7.如权利要求1所述的近红外光谱模型转移策略优选方法，其特征在于，所述投票机制包括：
将标准样品在源机上检测的光谱数据进行平滑处理得到源机光谱数据；
将标准样品在目标机上检测的光谱数据进行预选模型策略处理得到目标机转移光谱数据；
根据所述源机光谱数据和所述目标机转移光谱数据得到全定性相似度和全定量相似度；
判断所述预选模型策略是否得到1票，所述判断方法是：当全定性相似度大于等于0.99，同时全定量相似度在97％～103％之间时，则相应的模型转移策略得1票；否则得0票。
8.如权利要求1所述的近红外光谱模型转移策略优选方法，其特征在于，所述“根据所述高于预设票数的预选模型策略得到最优选模型策略”包括：
将所述高于预设票数的预选模型策略分别用于目标机上检测的光谱数据得到目标机转移光谱数据；
将所述源机光谱数据、目标机光谱数据和目标机转移光谱数据分别与化学测量值构建预测模型得到化学预测值；
根据所述化学预测值和对应的所述化学测量值获得预测误差和相关系数；
根据所述预测误差和所述相关系数得到最优选模型策略。
9.如权利要求1所述的近红外光谱模型转移策略优选方法，其特征在于，所述近红外光谱模型转移策略优选方法还包括：
排除低于所述预设票数的预选模型策略。
10.一种近红外光谱模型转移策略优选装置，其特征在于，所述近红外光谱模型转移策略优选装置包括存储器及处理器，所述存储器存储了用于近红外光谱模型转移策略优选的程序，所述处理器从所述存储器里读取所述程序，以执行：
剔除标准样品在源机和目标机上检测的光谱数据中的异常样本值；
建立预选模型策略；
采用投票机制对所述预选模型策略进行投票，以获得高于预设票数的预选模型策略；
根据所述高于预设票数的预选模型策略得到最优选模型策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810401939.7A CN108777019B (zh) | 2018-04-28 | 2018-04-28 | 一种近红外光谱模型转移策略优选方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810401939.7A CN108777019B (zh) | 2018-04-28 | 2018-04-28 | 一种近红外光谱模型转移策略优选方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108777019A true CN108777019A (zh) | 2018-11-09 |
| CN108777019B CN108777019B (zh) | 2021-01-05 |
Family
ID=64026793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810401939.7A Active CN108777019B (zh) | 2018-04-28 | 2018-04-28 | 一种近红外光谱模型转移策略优选方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108777019B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150160121A1 (en) * | 2013-12-06 | 2015-06-11 | Trent Daniel Ridder | Calibration Transfer and Maintenance in Spectroscopic Measurements of Ethanol |
| CN106067065A (zh) * | 2016-06-07 | 2016-11-02 | 宁波检验检疫科学技术研究院 | 基于径向基神经网络的光谱分析模型转移技术 |
| CN106815643A (zh) * | 2017-01-18 | 2017-06-09 | 中北大学 | 基于随机森林迁移学习的红外光谱模型传递方法 |
| CN106845717A (zh) * | 2017-01-24 | 2017-06-13 | 哈尔滨工业大学 | 一种基于多模型融合策略的能源效率评价方法 |
| CN106845548A (zh) * | 2017-01-24 | 2017-06-13 | 清华大学 | 基于高光谱数据的模型转移方法 |
| CN106934416A (zh) * | 2017-02-23 | 2017-07-07 | 广州讯动网络科技有限公司 | 一种基于大数据的模型匹配方法 |
-
2018
- 2018-04-28 CN CN201810401939.7A patent/CN108777019B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150160121A1 (en) * | 2013-12-06 | 2015-06-11 | Trent Daniel Ridder | Calibration Transfer and Maintenance in Spectroscopic Measurements of Ethanol |
| CN106067065A (zh) * | 2016-06-07 | 2016-11-02 | 宁波检验检疫科学技术研究院 | 基于径向基神经网络的光谱分析模型转移技术 |
| CN106815643A (zh) * | 2017-01-18 | 2017-06-09 | 中北大学 | 基于随机森林迁移学习的红外光谱模型传递方法 |
| CN106845717A (zh) * | 2017-01-24 | 2017-06-13 | 哈尔滨工业大学 | 一种基于多模型融合策略的能源效率评价方法 |
| CN106845548A (zh) * | 2017-01-24 | 2017-06-13 | 清华大学 | 基于高光谱数据的模型转移方法 |
| CN106934416A (zh) * | 2017-02-23 | 2017-07-07 | 广州讯动网络科技有限公司 | 一种基于大数据的模型匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| LIOR ROKACH: "《模式分类的集成方法》", 30 November 2015 * |
| 谭峰 等: "《基于光谱技术的寒地水稻稻瘟病害分析及机理研究》", 31 August 2016, 哈尔滨工程大学出版社 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108777019B (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Nondestructive measurement of soluble solids content in apple using near infrared hyperspectral imaging coupled with wavelength selection algorithm | |
| Wei et al. | Modeling for SSC and firmness detection of persimmon based on NIR hyperspectral imaging by sample partitioning and variables selection | |
| CN104897607B (zh) | 便携式近红外光谱食品建模与快速检测一体化方法和系统 | |
| Guo et al. | Nondestructive measurement of soluble solids content of kiwifruits using near-infrared hyperspectral imaging | |
| Dong et al. | Nondestructive determination of apple internal qualities using near-infrared hyperspectral reflectance imaging | |
| CN104062257B (zh) | 一种基于近红外光谱测定溶液中总黄酮含量的方法 | |
| CN106706553A (zh) | 一种快速无损测定玉米单籽粒直链淀粉含量的方法 | |
| CN104062258B (zh) | 一种采用近红外光谱快速测定复方阿胶浆中可溶性固形物的方法 | |
| US11682203B2 (en) | Feature extraction method, model training method, detection method of fruit spectrum | |
| CN110503156B (zh) | 一种基于最小相关系数的多变量校正特征波长选择方法 | |
| Wang et al. | Rapid detection of protein content in rice based on Raman and near-infrared spectroscopy fusion strategy combined with characteristic wavelength selection | |
| Chen et al. | Prediction of milled rice grades using Fourier transform near-infrared spectroscopy and artificial neural networks | |
| CN105044022A (zh) | 一种基于近红外光谱技术快速无损检测小麦硬度的方法及应用 | |
| Cen et al. | Combination and comparison of multivariate analysis for the identification of orange varieties using visible and near infrared reflectance spectroscopy | |
| CN108613943B (zh) | 一种基于光谱形态转移的近红外单籽粒作物成分检测方法 | |
| Yun et al. | Identification of tea based on CARS‐SWR variable optimization of visible/near‐infrared spectrum | |
| Jiang et al. | Rapid nondestructive detecting of wheat varieties and mixing ratio by combining hyperspectral imaging and ensemble learning | |
| Innamorato et al. | Tracing the geographical origin of lentils (Lens culinaris Medik.) by infrared spectroscopy and chemometrics | |
| Puttipipatkajorn et al. | Development of calibration models for rapid determination of moisture content in rubber sheets using portable near-infrared spectrometers | |
| Feng et al. | Nondestructive determination of soluble solids content and pH in red bayberry (Myrica rubra) based on color space | |
| WO2023108514A1 (zh) | 茶叶近红外光谱分析中谱峰自动检测与重构方法及系统 | |
| Li et al. | Quantitative analysis of aflatoxin B1 of peanut by optimized support vector machine models based on near-infrared spectral features | |
| CN110376154A (zh) | 基于光谱校正的水果在线检测方法及系统 | |
| CN109632650A (zh) | 可溶性固形物含量的在线检测速度补偿方法及装置 | |
| CN109060716A (zh) | 基于窗口竞争性自适应重加权采样策略的近红外特征光谱变量选择方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |