CN113984708A - 一种化学指标检测模型的维护方法和装置 - Google Patents
一种化学指标检测模型的维护方法和装置 Download PDFInfo
- Publication number
- CN113984708A CN113984708A CN202111233081.6A CN202111233081A CN113984708A CN 113984708 A CN113984708 A CN 113984708A CN 202111233081 A CN202111233081 A CN 202111233081A CN 113984708 A CN113984708 A CN 113984708A
- Authority
- CN
- China
- Prior art keywords
- sample
- value
- near infrared
- chemical index
- infrared spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000126 substance Substances 0.000 title claims abstract description 117
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012423 maintenance Methods 0.000 title claims abstract description 28
- 238000002329 infrared spectrum Methods 0.000 claims abstract description 86
- 238000001228 spectrum Methods 0.000 claims abstract description 22
- 230000003595 spectral effect Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002790 cross-validation Methods 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 3
- 239000013589 supplement Substances 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 20
- 241000208125 Nicotiana Species 0.000 description 16
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 16
- 238000012795 verification Methods 0.000 description 16
- 235000019504 cigarettes Nutrition 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000001311 chemical methods and process Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 229920002472 Starch Polymers 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004476 mid-IR spectroscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 235000019505 tobacco product Nutrition 0.000 description 1
- 238000000870 ultraviolet spectroscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种化学指标检测模型的维护方法和装置，通过计算两个样本的近红外光谱的最大相似度，来筛选最邻近相似度，然后计算最近邻样本相似度与预测误差的相关关系，通过该相关关系给出接近度的预警阈值，对任一新样本，其光谱与建模集各样本光谱进行相似度度量，若最相似样本的相似程度小于预警阈值，则对该样本报警，说明其预测结果存在风险，并在相应的分析化学检测值出具后，将该样本补充到建模集中，完成模型维护，这样能够时刻进行模型的维护，以提升模型的检测准确性。
Description
技术领域
本发明属于化学计量学领域，具体涉及一种化学指标检测模型的维护方法和装置。
背景技术
在化学计量学领域，通常使用光谱分析技术，包括近红外光谱、中红外光谱、紫外可见光谱、拉曼光谱等，对待测物感兴趣物质的含量进行建模。一般而言，以待测物光谱为X，以分析化学方法测得待测物感兴趣物质的含量，通过偏最小二乘(Partial LeastSquares,PLS)等算法建立光谱与物质含量间的关联，得到预测模型。对未知含量的同类待测物，通过测量其光谱，通过预测模型即可得出该样本感兴趣物质的含量。
由于该类方法通过建模和预测达到原分析方法的效果，属于一种二次方法。对于未知样本预测结果的优劣，必须通过额外的分析方法检测才能确定。如果发现模型预测结果与分析化学检测结果有背离，则补充一定数量的新样本，还可能同时剔除同等数量时间最久的建模样本，对模型进行更新。在实际中，分析化学检测的效率较低，往往需要几天的时间，因此会导致模型更新的滞后，甚至由于检测结果的不准确蒙受经济损失。
目前，仅有主成分分析(PCA)等方法判断预测集光谱与训练集光谱是否一致，如不一致则认为预测集样本与建模集存在差异，无法预测，而如果通过PCA测试，则尚无方法对其预测结果进行评价。
公开号为CN112309512A的专利申请公开了一种用于卷烟配方维护的片烟化学宜用性评价方法，包括步骤：采集片烟样品，对所述片烟样品的化学指标进行检测；确定现用片烟化学指标的置信区间；建立片烟化学宜用性函数模型；确定欲替换的片烟样品的化学指标的宜用性得分；确定所述化学指标的权重；确定所述欲替换的片烟样品的化学宜用性评价值，根据所述欲替换的片烟样品的化学宜用性评价值确定其选用及调配顺序。该方法记载的片烟化学宜用性函数模型的维护仍然需要补充一定数量的新样本，还可能同时剔除同等数量时间最久的建模样本，对模型进行更新，检测效率低。
公开号为CN110085286A的专利申请公开了一种基于两步核最小二乘的卷烟配方维护方法，，包括：S1：数据处理，将配方数据转换成二进制配方矩阵，将单料烟组转换成二进制配方向量；S2：应用数据挖掘和TKRLS相关方法确定模型参数λu和λv，再根据模型参数λu和λv计算模型系数矩阵M；S3：根据模型系数矩阵M计算单料烟的预测值；S4：根据单料烟的预测值获得推荐的替换单料烟列表S；S5：根据单料烟列表S选择替换单料烟。该方法记载的模型的维护仍然需要补充一定数量的新样本，还可能同时剔除同等数量时间最久的建模样本，对模型进行更新，检测效率低。
发明内容
鉴于上述，本发明提供了一种化学指标检测模型的维护方法和装置，在利用模型进行化学指标检测的过程中，能够对模型预测效果进行判别，同时对模型进行维护，以提升模型的检测准确性。
第一方面，实施例提供了一种化学指标检测模型的维护方法，包括以下步骤：
(1)利用近红外光谱仪采集多个样本的近红外光谱作为样本集，采用分析化学方法检测每个样品的每种化学指标的检测值；
(2)对样本集中每个近红外光谱进行预处理后，计算每个近红外光谱与样本集中其他近红外光谱的相似度，并记录每个近红外光谱的最大相似度值；
(3)采用偏最小二乘对单项化学指标进行建模，得到化学指标检测模型和每个样本的单项化学指标的预测值，将该预测值与检测值之差作为建模误差；
(4)以最大相似度值与建模误差组成的二元组对样本进行表征；
(5)针对单项化学指标，以前N大的最大相似度值的样本作为集合，按照最大相似度值递减的方式向集合中增加样本，并计算集合中样本的建模误差均值，比较建模误差均值与下一次拟新增样本的建模误差，若两者的差异大于差异阈值，则停止向集合新增样本，并记录集合中最大相似度的最低值为预警阈值；
(6)采集预测样本的近红外光谱预处理后，计算预测样本的近红外光谱与样本集中其他近红外光谱的最大相似度，若该最大相似度大于等于预警阈值，则利用步骤(3)建立的化学指标检测模型进行化学指标预测，若最大相似度小于预警阈值，则给出预警，将预测样本的化学指标的检测值补充到样本集，用于维护化学指标检测模型。
在一个实施例中，所述对样本集中每个近红外光谱进行预处理，包括：
对近红外光谱进行一阶导处理，然后将一阶导处理后的近红外光谱平均分段得到多个谱段，对每个谱段内的波数点进行校正。
在一个实施例中，所述对每个谱段内的波数点进行校正，包括：
针对每个谱段，计算每个谱段内所有波数点的均值mean(x)和标准差std(x)，然后利用均值mean(x)和标准差std(x)按照以下公式进行校正：
其中，xi表示谱段内第i个波数点的原始值，
表示谱段内第i个波数点的校正值。
在一个实施例中，采用以下公式计算近红外光谱与样本集中其他近红外光谱的相似度：
s＝-log10((1-p)*d)
其中，s表示相似度，p表示皮尔逊相关系数，计算公式为p＝corr(y0,yj)，y0表示目标谱，yj表示第j个近红外光谱，d表示目标谱y0与近红外光谱yj之间的欧式距离。
在一个实施例中，采用偏最小二乘对单项化学指标进行建模时，以近红外光谱为自变量，以单项化学指标为因变量，进行建模，拟合近红外光谱与单项化学指标之间的拟合参数，利用拟合得到的拟合参数预测每个样本的单项化学指标的预测值。
在一个实施例中，步骤(3)中，采用偏最小二乘对单项化学指标进行建模时，采用5折交叉验证，根据交叉验证误差选定模型的潜变量数。
在一个实施例中，步骤(5)中，以前N大的最大相似度值的样本作为集合时，N的取值范围为5-10。
在一个实施例中，步骤(5)中，差异阈值的计算方法为：t＝mean(c)+k*std(c)，其中，c为集合中样本的建模误差的绝对值，mean代表求平均，std代表求标准差，k为大于0的实数，优选设置为2或3。
第二方面，实施例提供了一种化学指标检测模型的维护装置，包括：
采集模块，用于利用近红外光谱仪采集多个样本的近红外光谱作为样本集，采用分析化学方法检测每个样品的每种化学指标的检测值；
相似度计算模块，用于对样本集中每个近红外光谱进行预处理后，计算每个近红外光谱与样本集中其他近红外光谱的相似度，并记录每个近红外光谱的最大相似度值；
建模模块，用于采用偏最小二乘对单项化学指标进行建模，得到化学指标检测模型和每个样本的单项化学指标的预测值，将该预测值与检测值之差作为建模误差；
表征模块，用于以最大相似度值与建模误差组成的二元组对样本进行表征；
预警阈值确定模块，用于针对单项化学指标，以前N大的最大相似度值的样本作为集合，按照最大相似度值递减的方式向集合中增加样本，并计算集合中样本的建模误差均值，比较建模误差均值与下一次拟新增样本的建模误差，若两者的差异大于差异阈值，则停止向集合新增样本，并记录集合中最大相似度的最低值为预警阈值；
维护模块，用于采集预测样本的近红外光谱预处理后，计算预测样本的近红外光谱与样本集中其他近红外光谱的最大相似度，若该最大相似度大于等于预警阈值，则利用建立的化学指标检测模型进行化学指标预测，若最大相似度小于预警阈值，则给出预警，将预测样本的化学指标的检测值补充到样本集，用于维护化学指标检测模型。
实施例提供的技术方案，具有的有益效果至少包括：
通过计算两个样本的近红外光谱的最大相似度，来筛选最邻近相似度，然后计算最近邻样本相似度与预测误差的相关关系，通过该相关关系给出接近度的预警阈值，对任一新样本，其光谱与建模集各样本光谱进行相似度度量，若最相似样本的相似程度小于预警阈值，则对该样本报警，说明其预测结果存在风险，并在相应的分析化学检测值出具后，将该样本补充到建模集中，完成模型维护，这样能够时刻进行模型的维护，以提升模型的检测准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是一实施例提供的化学指标检测模型的维护方法的流程图；
图2是一实施例提供的采集的近红外光谱；
图3是一实施例提供的训练集各样本与其最近邻样本的相似度值及分布；
图4是一实施例提供的使用偏最小二乘法对训练数据进行建模示意图；
图5是一实施例提供的训练集样本相似度分布及其对应的建模误差；
图6是一实施例提供的训练集主成分分析及验证集投影图；
图7是一实施例提供的两批验证集最近邻样本相似度值。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是一实施例提供的化学指标检测模型的维护方法的流程图。如图1所示，实施例提供的化学指标检测模型的维护方法，包括以下步骤：
步骤1，利用近红外光谱仪采集多个样本的近红外光谱作为样本集，采用分析化学方法检测每个样品的每种化学指标的检测值。
实施例中，选取某企业烤烟样本515个。取样后将样本按照烟草行业标准《YC/T31-1996烟草及烟草制品试样的制备和水分测定烘箱法》制备成粉末样本(将烟叶置于烘箱中，40℃下干燥4h，用旋风磨(FOSS)磨碎过40目筛)，密封平衡1天后进行近红外光谱测量。同时利用行标法测得待测样品化学指标淀粉的含量。图2给出了采集的近红外光谱图。
步骤2，对样本集中每个近红外光谱进行预处理。
实施例中，对近红外光谱进行预处理包括1阶求导和数值校正处理。在进行近红外光谱的1阶导处理时，参数为窗宽15，多项式阶数2。在对1阶求导处理后的近红外光谱进行数值校正时，为了提升校正的准确性，采用分段校正的方式，即将近红外光谱平均分段得到多个谱段，每个谱段含有M个波数点，M的取值范围为40-60，然后对每个谱段内的波数点进行谱段内校正，过程为：针对每个谱段，计算每个谱段内所有波数点的均值mean(x)和标准差std(x)，然后利用均值mean(x)和标准差std(x)按照以下公式进行校正：
其中，xi表示谱段内第i个波数点的原始值，
表示谱段内第i个波数点的校正值。
步骤3，计算每个近红外光谱与样本集中其他近红外光谱的相似度，并记录每个近红外光谱的最大相似度值。
针对预处理后的近红外光谱进行相似度计算，具体过程为：采用以下公式计算每个近红外光谱与样本集中其他近红外光谱的相似度：
s＝-log10((1-p)*d)
其中，s表示相似度，p表示皮尔逊相关系数，计算公式为p＝corr(y0,yj)，y0表示目标谱，yj表示第j个近红外光谱，d表示近红外光谱y0与近红外光谱yj之间的欧式距离。
在获得每个近红外光谱与样本集中所有其他近红外光谱的相似度后，为每个近红外光谱对应的进行相似度排序，以用于后续相似度的筛选。。图3给出训练集样本与其最近邻样本的相似度值的分布。
步骤4，采用偏最小二乘对单项化学指标进行建模，得到化学指标检测模型和每个样本的单项化学指标的预测值，将该预测值与检测值之差作为建模误差。
采用偏最小二乘对单项化学指标进行建模时，以近红外光谱为自变量，以单项化学指标为因变量，进行建模，拟合近红外光谱与单项化学指标之间的拟合参数，利用拟合得到的拟合参数预测每个样本的单项化学指标的预测值，如图4所示。模型参数见表1，其中，RMSEC表示建模集根均方误差，RMSECV表示交叉验证根均方误差。此处选用的是5折交叉验证。通过以下公式计算各训练样本的相对误差re：
其中，y为训练样本真实值，
为偏最小二乘预测值，abs为绝对值函数。图5给出了训练集样本相似度分布及其对应的建模误差。从图5中可以看出，当相似度值低于5时，样本的预测误差急剧增大。而相似度值高于5时，平均相对误差小于10％。因此，将预警阈值定为5。
表1偏最小二乘方法建模结果
步骤5，以最大相似度值与建模误差组成的二元组对样本进行表征，依据最大相似度值确定预警阈值。
在确定预警阈值时，针对单项化学指标，以前N大的最大相似度值的样本作为集合，按照最大相似度值递减的方式向集合中增加样本，并计算集合中样本的建模误差均值，比较建模误差均值与下一次拟新增样本的建模误差，若两者的差异大于差异阈值，则停止向集合新增样本，并记录集合中最大相似度的最低值为预警阈值。其中，N的取值范围为5-10。
实施例中，针对差异阈值，计算方式为：t＝mean(c)+k*std(c)，其中，c为集合中样本的建模误差的绝对值，mean代表求平均，std代表求标准差，k为大于0的实数，设置为2或3。
针对图5给出的训练集样本相似度分布及其对应的建模误差，通过步骤5根据最大相似度确定预警阈值为5。
步骤6，预测样本的预测和化学指标检测模型的维护。
针对预测样本，采集预测样本的近红外光谱预处理后，计算预测样本的近红外光谱与样本集中其他近红外光谱的最大相似度，若该最大相似度大于等于预警阈值，则利用步骤4建立的化学指标检测模型进行化学指标预测，若最大相似度小于预警阈值，则给出预警，将预测样本的化学指标的检测值补充到样本集，用于维护化学指标检测模型。
具体地，采用两批数据对本方法进行验证。第一批数据为云南烤烟烟叶，共32个。第二批为巴西烤烟烟叶，共23个。使用主成分分析对训练数据进行分析，并将两个验证集进行投影，图6投影图显示，两批验证集光谱均包含在训练集样本范围内，属于正常光谱。
分别计算两批验证数据在训练集中最近邻样本的相似度值。结果见图7。其中，验证集1中的样本与训练样本较为接近，相似度均值为5.63，标偏为0.42，较建模集数据相似度值略有下降；验证集2与训练样本差异较大，相似度均值为5.02，标偏为0.21。由表2中的预测结果，发现随最近邻相似度值的下降，预测误差增大。
表2.验证集预测结果
| 最近邻相似度均值 | 平均绝对误差 | 验证集均值 | 验证集相对误差 | |
| 验证集1 | 5.63 | 0.58 | 4.09 | 15.8％ |
| 验证集2 | 5.02 | 1.32 | 4.19 | 32.8％ |
从表1表2可以看出，训练集最近邻相似度均值为6.10，训练集建模的相对误差为9.5％，验证集1最近邻相似度均值为5.63，相对误差为15.8％，验证集2的最近邻相似度均值只有5.02，相对误差增大为32.8％。由于验证集2与训练集的最近邻相似度较低，因此无论预测结果是否理想，都应把验证集2中的样本增加到模型的维护中。
将验证集2样本加入到训练集中进行模型维护。验证集2在新模型中的建模结果见表3。可以看出，该批样本可以很好的加入到建模集中，从而提高模型的稳定性。
表3.模型维护后验证集2样本
| 平均绝对误差 | 验证集均值 | 验证集相对误差 | |
| 验证集2 | 0.42 | 4.19 | 10.9％ |
实施例还提供了一种化学指标检测模型的维护装置，包括：
采集模块，用于利用近红外光谱仪采集多个样本的近红外光谱作为样本集，采用分析化学方法检测每个样品的每种化学指标的检测值；
相似度计算模块，用于对样本集中每个近红外光谱进行预处理后，计算每个近红外光谱与样本集中其他近红外光谱的相似度，并记录每个近红外光谱的最大相似度值；
建模模块，用于采用偏最小二乘对单项化学指标进行建模，得到化学指标检测模型和每个样本的单项化学指标的预测值，将该预测值与检测值之差作为建模误差；
表征模块，用于以最大相似度值与建模误差组成的二元组对样本进行表征；
预警阈值确定模块，用于针对单项化学指标，以前N大的最大相似度值的样本作为集合，按照最大相似度值递减的方式向集合中增加样本，并计算集合中样本的建模误差均值，比较建模误差均值与下一次拟新增样本的建模误差，若两者的差异大于差异阈值，则停止向集合新增样本，并记录集合中最大相似度的最低值为预警阈值；
维护模块，用于采集预测样本的近红外光谱预处理后，计算预测样本的近红外光谱与样本集中其他近红外光谱的最大相似度，若该最大相似度大于等于预警阈值，则利用建立的化学指标检测模型进行化学指标预测，若最大相似度小于预警阈值，则给出预警，将预测样本的化学指标的检测值补充到样本集，用于维护化学指标检测模型。
需要说明的是，上述实施例提供的化学指标检测模型的维护装置在进行化学指标检测模型的维护时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的化学指标检测模型的维护装置与化学指标检测模型的维护方法实施例属于同一构思，其具体实现过程详见化学指标检测模型的维护方法实施例，这里不再赘述。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种化学指标检测模型的维护方法，其特征在于，包括以下步骤：
(1)利用近红外光谱仪采集多个样本的近红外光谱作为样本集，采用分析化学方法检测每个样品的每种化学指标的检测值；
(2)对样本集中每个近红外光谱进行预处理后，计算每个近红外光谱与样本集中其他近红外光谱的相似度，并记录每个近红外光谱的最大相似度值；
(3)采用偏最小二乘对单项化学指标进行建模，得到化学指标检测模型和每个样本的单项化学指标的预测值，将该预测值与检测值之差作为建模误差；
(4)以最大相似度值与建模误差组成的二元组对样本进行表征；
(5)针对单项化学指标，以前N大的最大相似度值的样本作为集合，按照最大相似度值递减的方式向集合中增加样本，并计算集合中样本的建模误差均值，比较建模误差均值与下一次拟新增样本的建模误差，若两者的差异大于差异阈值，则停止向集合新增样本，并记录集合中最大相似度的最低值为预警阈值；
(6)采集预测样本的近红外光谱预处理后，计算预测样本的近红外光谱与样本集中其他近红外光谱的最大相似度，若该最大相似度大于等于预警阈值，则利用步骤(3)建立的化学指标检测模型进行化学指标预测，若最大相似度小于预警阈值，则给出预警，将预测样本的化学指标的检测值补充到样本集，用于维护化学指标检测模型。
2.根据权利要求1所述的化学指标检测模型的维护方法，其特征在于，所述对样本集中每个近红外光谱进行预处理，包括：
对近红外光谱进行一阶导处理，然后将一阶导处理后的近红外光谱平均分段得到多个谱段，对每个谱段内的波数点进行校正。
3.根据权利要求2所述的化学指标检测模型的维护方法，其特征在于，所述对每个谱段内的波数点进行校正，包括：
针对每个谱段，计算每个谱段内所有波数点的均值mean(x)和标准差std(x)，然后利用均值mean(x)和标准差std(x)按照以下公式进行校正：
其中，xi表示谱段内第i个波数点的原始值，
表示谱段内第i个波数点的校正值。
4.根据权利要求1所述的化学指标检测模型的维护方法，其特征在于，采用以下公式计算近红外光谱与样本集中其他近红外光谱的相似度：
s＝-log10((1-p)*d)
其中，s表示相似度，p表示皮尔逊相关系数，计算公式为p＝corr(y0,yj)，y0表示目标谱，yj表示第j个近红外光谱，d表示目标谱y0与近红外光谱yj之间的欧式距离。
5.根据权利要求1所述的化学指标检测模型的维护方法，其特征在于，采用偏最小二乘对单项化学指标进行建模时，以近红外光谱为自变量，以单项化学指标为因变量，进行建模，拟合近红外光谱与单项化学指标之间的拟合参数，利用拟合得到的拟合参数预测每个样本的单项化学指标的预测值。
6.根据权利要求1所述的化学指标检测模型的维护方法，其特征在于，步骤(3)中，采用偏最小二乘对单项化学指标进行建模时，采用5折交叉验证，根据交叉验证误差选定模型的潜变量数。
7.根据权利要求1所述的化学指标检测模型的维护方法，其特征在于，步骤(5)中，以前N大的最大相似度值的样本作为集合时，N的取值范围为5-10。
8.根据权利要求1所述的化学指标检测模型的维护方法，其特征在于，步骤(5)中，差异阈值的计算方法为：t＝mean(c)+k*std(c)，其中，c为集合中样本的建模误差的绝对值，mean代表求平均，std代表求标准差，k为大于0的实数，优选设置为2或3。
9.一种化学指标检测模型的维护装置，其特征在于，包括：
采集模块，用于利用近红外光谱仪采集多个样本的近红外光谱作为样本集，采用分析化学方法检测每个样品的每种化学指标的检测值；
相似度计算模块，用于对样本集中每个近红外光谱进行预处理后，计算每个近红外光谱与样本集中其他近红外光谱的相似度，并记录每个近红外光谱的最大相似度值；
建模模块，用于采用偏最小二乘对单项化学指标进行建模，得到化学指标检测模型和每个样本的单项化学指标的预测值，将该预测值与检测值之差作为建模误差；
表征模块，用于以最大相似度值与建模误差组成的二元组对样本进行表征；
预警阈值确定模块，用于针对单项化学指标，以前N大的最大相似度值的样本作为集合，按照最大相似度值递减的方式向集合中增加样本，并计算集合中样本的建模误差均值，比较建模误差均值与下一次拟新增样本的建模误差，若两者的差异大于差异阈值，则停止向集合新增样本，并记录集合中最大相似度的最低值为预警阈值；
维护模块，用于采集预测样本的近红外光谱预处理后，计算预测样本的近红外光谱与样本集中其他近红外光谱的最大相似度，若该最大相似度大于等于预警阈值，则利用建立的化学指标检测模型进行化学指标预测，若最大相似度小于预警阈值，则给出预警，将预测样本的化学指标的检测值补充到样本集，用于维护化学指标检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111233081.6A CN113984708B (zh) | 2021-10-22 | 2021-10-22 | 一种化学指标检测模型的维护方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111233081.6A CN113984708B (zh) | 2021-10-22 | 2021-10-22 | 一种化学指标检测模型的维护方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113984708A true CN113984708A (zh) | 2022-01-28 |
| CN113984708B CN113984708B (zh) | 2024-03-19 |
Family
ID=79740411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111233081.6A Active CN113984708B (zh) | 2021-10-22 | 2021-10-22 | 一种化学指标检测模型的维护方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113984708B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114965348A (zh) * | 2022-07-27 | 2022-08-30 | 浙江数翰科技有限公司 | 基于污水检测的光谱解析方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105334185A (zh) * | 2015-09-14 | 2016-02-17 | 上海创和亿电子科技发展有限公司 | 基于光谱投影判别的近红外模型维护方法 |
| CN106248621A (zh) * | 2016-08-31 | 2016-12-21 | 上海创和亿电子科技发展有限公司 | 一种评价方法与系统 |
| WO2018010352A1 (zh) * | 2016-07-11 | 2018-01-18 | 上海创和亿电子科技发展有限公司 | 一种定性定量相结合的近红外定量模型构建方法 |
| CN109100321A (zh) * | 2018-09-06 | 2018-12-28 | 云南中烟工业有限责任公司 | 一种卷烟叶组配方维护方法 |
| CN110085286A (zh) * | 2019-03-14 | 2019-08-02 | 杭州电子科技大学 | 一种基于两步核最小二乘的智能卷烟配方维护方法 |
-
2021
- 2021-10-22 CN CN202111233081.6A patent/CN113984708B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105334185A (zh) * | 2015-09-14 | 2016-02-17 | 上海创和亿电子科技发展有限公司 | 基于光谱投影判别的近红外模型维护方法 |
| WO2018010352A1 (zh) * | 2016-07-11 | 2018-01-18 | 上海创和亿电子科技发展有限公司 | 一种定性定量相结合的近红外定量模型构建方法 |
| CN106248621A (zh) * | 2016-08-31 | 2016-12-21 | 上海创和亿电子科技发展有限公司 | 一种评价方法与系统 |
| CN109100321A (zh) * | 2018-09-06 | 2018-12-28 | 云南中烟工业有限责任公司 | 一种卷烟叶组配方维护方法 |
| CN110085286A (zh) * | 2019-03-14 | 2019-08-02 | 杭州电子科技大学 | 一种基于两步核最小二乘的智能卷烟配方维护方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张宏伟;李鹏飞;景军锋;张蕾;赵永涛;: "基于即时学习的软测量建模实时性改进", 西安工程大学学报, no. 06 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114965348A (zh) * | 2022-07-27 | 2022-08-30 | 浙江数翰科技有限公司 | 基于污水检测的光谱解析方法和系统 |
| CN114965348B (zh) * | 2022-07-27 | 2022-11-15 | 浙江数翰科技有限公司 | 基于污水检测的光谱解析方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113984708B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105928901B (zh) | 一种定性定量相结合的近红外定量模型构建方法 | |
| CN108181263B (zh) | 基于近红外光谱的烟叶部位特征提取及判别方法 | |
| Huang et al. | Improved generalization of spectral models associated with Vis-NIR spectroscopy for determining the moisture content of different tea leaves | |
| CN104990895B (zh) | 一种基于局部区域的近红外光谱信号标准正态校正方法 | |
| CN109324015B (zh) | 基于光谱相似的烟叶替代方法 | |
| CN117132778B (zh) | 一种光谱测量校正计算方法及系统 | |
| CN113237836A (zh) | 一种基于高光谱图像的烤烟叶水分含量估测方法 | |
| WO1998033047A1 (en) | Calibration system for spectrographic analyzing instruments | |
| CN114088661B (zh) | 一种基于迁移学习和近红外光谱的烟叶烘烤过程化学成分在线预测方法 | |
| CN106018331B (zh) | 多通道光谱系统的稳定性评价方法及预处理优化方法 | |
| CN116646030B (zh) | 基于电子烟雾检测的烟油成分识别方法及系统 | |
| CN113984708B (zh) | 一种化学指标检测模型的维护方法和装置 | |
| CN109283153B (zh) | 一种酱油定量分析模型的建立方法 | |
| CN115855860A (zh) | 一种茶叶干燥过程中的水分含量预测方法及处理终端 | |
| CN107991265A (zh) | 一种基于信息融合的小麦粉粉质参数快速检测方法 | |
| CN114970675A (zh) | 基于特征选择的人工鼻冰箱食物新鲜度检测系统和方法 | |
| CN110672578A (zh) | 针对煎炸油极性组分检测的模型通用性及稳定性验证方法 | |
| CN110210005A (zh) | 一种无参考值的光谱波数选择方法 | |
| CN114216877A (zh) | 茶叶近红外光谱分析中谱峰自动检测与重构方法及系统 | |
| CN111366573B (zh) | 基于libs光谱成分分析结果的评价方法 | |
| CN110186870B (zh) | 一种极限学习机光谱模型判别恩施玉露茶鲜叶产地的方法 | |
| CN112179870A (zh) | 基于近红外光谱和opls-da的卷烟分类识别模型的构建方法 | |
| CN116662751A (zh) | 一种基于主成分分析与杠杆值法剔除异常样本的烟叶含水率检测方法 | |
| CN115824996A (zh) | 基于近红外光谱的烟叶常规化学成分通用模型建模方法 | |
| CN113971990B (zh) | 一种基于相似光谱拟合的多化学指标预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |