CN109839358B - 农产品品质分析方法及装置 - Google Patents

农产品品质分析方法及装置 Download PDF

Info

Publication number
CN109839358B
CN109839358B CN201910058014.1A CN201910058014A CN109839358B CN 109839358 B CN109839358 B CN 109839358B CN 201910058014 A CN201910058014 A CN 201910058014A CN 109839358 B CN109839358 B CN 109839358B
Authority
CN
China
Prior art keywords
data
sample
quality
algorithm
variables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910058014.1A
Other languages
English (en)
Other versions
CN109839358A (zh
Inventor
王冬
韩平
张鹤冬
贾文珅
罗娜
王卉
马智宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Academy of Agriculture and Forestry Sciences
Original Assignee
Beijing Research Center For Agricultural Standards and Testing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center For Agricultural Standards and Testing filed Critical Beijing Research Center For Agricultural Standards and Testing
Priority to CN201910058014.1A priority Critical patent/CN109839358B/zh
Publication of CN109839358A publication Critical patent/CN109839358A/zh
Application granted granted Critical
Publication of CN109839358B publication Critical patent/CN109839358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供一种农产品品质分析方法及装置。所述农产品品质分析方法包括:获取光谱数据并测定参考值数据;数据分为校正集和外部验证集;采用复合变量选择算法结合蒙特卡洛采样方法选择关键变量;基于所选变量建立数学模型并采用外部验证集做盲样验证。基于上述方法研制基于数字光处理内核农产品品质分析装置,包括光学系统、控制系统、电路系统和数据存储与处理系统。该装置将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行分析/分级。本发明可大幅精简光谱数据信息并提高分析仪器工作效率,为农产品品质无损快速精准分级等提供技术参考。

Description

农产品品质分析方法及装置
技术领域
本发明属于光谱分析领域,具体地说,涉及一种农产品品质分析方法及装置。
背景技术
光谱分析具有快速、高效、无损、环境友好的技术特点,一直以来都是快速无损分析领域的重要分析手段。在工农业生产领域,以近红外光谱分析为代表的多光谱分析成为近年来热门的研究领域。以近红外光谱为例,由于其产生原因为含氢基团的合频与倍频吸收,往往呈现谱峰混杂、无法获取物质单一特征峰的特点。针对上述特点,传统的光谱分析往往采用全光谱多元变量分析,主要存在以下两方面问题:
第一,数据量庞大。以傅里叶变换光谱仪为例,此类光谱仪采集样品的时域信号,通过傅里叶变换转换为频域信号,即光谱图中所示数据;该方法具有快速、高效的特点。然而,光谱数据量十分庞大,每条光谱少则几十上百、动辄成千上万的数据量,给光谱仪、计算机硬件,亦或是分析算法的软件带来了极大挑战,光谱分析难度将随光谱数据量的增大而成倍增长。
第二,数据信息复杂。在工农业生产中,一般分析对象皆为混合物,例如农副产品,其中所包含的物质种类多,物质之间亦会相互影响,这导致分析对象的光谱数据中不仅包含与分析目标有关的信息,还包含其他与分析目标无关的大量冗余信息甚至噪声等干扰信息。
由此可见,若不进行关键变量选择,会导致光谱仪、分析仪等硬件设备工作效率低下,难以实现高通量检测目的。
目前,针对有用光谱信息的选择,即关键变量筛选方面的研究已取得了一定的成果。然而,目前的变量筛选仍存在较多问题:当校正集样本更换时,所选变量会发生不同程度的改变,亦即所选变量适应性差,不利于仪器装备的研发制造。另外,传统的变量筛选算法的截止阈值往往根据随机生成的噪声矩阵来确定,不便对所选变量个数进行控制。再者,传统的变量筛选算法一般将所选变量直接截断,没有对所选变量进行深入的统计分析,因此容易造成变量筛选的偏性,亦即,传统的变量筛选算法所选变量的稳定性较差,基于传统的变量筛选算法所选变量建立的校正模型的稳定性亦较差;采用本发明所提出的方法二次筛选关键变量并进行变量频次统计,所筛选的关键变量具有更好的稳定性。
因此,亟需开发一种高效的农产品品质分析和/或分级变量选择方法,进而实现对农产品品质无损快速精准分析和/或分级。
发明内容
本发明的目的是提供一种农产品品质分析方法及装置。
本发明构思如下:针对光谱数据中存在大量冗余信息从而加重分析工作硬件、软件难度的问题,为实现农产品品质无损快速分析和/或分级,提供一种光谱变量选择方法:获取光谱数据并测定参考值数据;将剔除异常值后的数据分为校正集和外部验证集;基于蒙特卡洛(Monte-Carlo,MC)采样方法所生成的一系列校正数据,将UVE(UniformativeVariable Elimination,无信息变量消除)算法和CARS(Competitive AdaptiveReweighted Sampling,结合竞争性自适应重加权采样)算法相结合,对数据进行二次关键变量筛选并对所选变量进行频次统计分析,深度筛选关键变量,基于所筛选的关键变量建立数学模型并采用外部验证集进行盲样验证;采用模型综合指数PF对所建模型进行评价;基于所述关键变量选择结果,研制农产品品质无损快速分析仪,所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级;从而克服目前实际工作中遇到的农产品品质检测效率低下等难题。
为了实现本发明目的,第一方面,本发明提供一种农产品品质分析方法,包括以下步骤:
A、根据测试的农产品,至少选择一个与该农产品品质相关的指标作为分析对象,且该指标可通过光谱分析获得;
B、获取农产品的光谱数据,并基于步骤A所选指标,测定与该指标相关的参考值数据;剔除异常值后,将数据分为校正集和外部验证集,所述校正集用于农产品品质分析和/或分级变量的筛选以及数学模型的建立,所述外部验证集不参与数学模型建立及分析和/或分级变量筛选,而是用于对所建数学模型进行盲样验证;
C、采用复合变量选择算法结合蒙特卡洛(Monte-Carlo,MC)采样方法筛选出农产品品质分析和/或分级关键变量,然后基于所选关键变量建立数学模型,并采用外部验证集对所建数学模型进行盲样验证;
D、对步骤C所建数学模型进行评价,判定模型的有效性;
E、在相同实验条件下,采集待测农产品的光谱数据,利用步骤D获得的有效数学模型,进行基于步骤C筛选所得的所述农产品品质分析和/或分级关键变量的数据运算,根据运算结果实现对待测农产品品质的分析和/或分级。
其中,步骤E所述待测农产品与步骤A、B中所述的农产品为同一种类的农产品。步骤E所述农产品品质与步骤A、B中所述农产品品质为相同的农产品品质。
前述的方法,步骤C所述复合变量选择算法包括UVE(Uniformative VariableElimination,无信息变量消除)算法和/或CARS(Competitive Adaptive ReweightedSampling,结合竞争性自适应重加权采样)算法,以及所述两种算法的相互结合。
前述的方法,步骤C进一步包括以下子步骤:
C1、按照蒙特卡洛采样方法从步骤B的校正集光谱数据中随机生成用于农产品品质分析和/或分级的包含全部变量的样本序号,以蒙特卡洛次数为行,单次抽样样本序号为列将全部抽样的样本序号组成蒙特卡洛抽样序号矩阵;
C2、根据步骤C1所生成的包含全部变量的样本序号,以一行为单位,进行第一轮筛选:基于UVE算法对各变量贡献率从大到小排序,按照UVE算法的截断阈值与全部变量的数目乘积作为第一轮筛选所得到的农产品品质分析和/或分级变量个数;
C3、对步骤C2筛选所得到的农产品品质分析和/或分级变量进行第二轮筛选:以步骤C2所述的第一轮筛选所得变量为输入变量,基于CARS算法对各变量权重值从大到小排序,按照CARS算法的截断阈值与第一轮筛选所得到的农产品品质分析和/或分级的变量数目的乘积作为第二轮筛选所得到的农产品品质分析和/或分级的关键变量个数;
C4、重复步骤C2、C3,直至完成步骤C1所述蒙特卡洛抽样序号矩阵的全部行,将根据蒙特卡洛抽样序号矩阵每一行经过步骤C2、C3的两轮筛选所得到的每一组筛选的关键变量进行频次统计分析。
需要说明的是,本发明中所述的“变量”是指光谱数据对应的波长位置,即所采集光谱数据的每一个波长即为一个“变量”,所述“变量”的单位和光谱波长单位一致,在本发明中皆为“纳米(nm)”。另一方面需要说明的是,每次根据蒙特卡洛采样方法生成的抽样序号矩阵的第i行(i=1,2,3,...,mcn,其中mcn是蒙特卡洛采样次数,即mcn=int(ratio×NC),ratio是单次蒙特卡洛抽样比率,NC是校正集样本总数,int为向上取整函数,亦即mcn是校正集样本总数NC乘以蒙特卡洛采样方法抽样比率ratio的向上取整数),先用UVE算法做第一轮筛选,按照UVE算法的截断阈值与全部变量的数目的乘积作为第一轮筛选所得到的变量个数,之后基于UVE第一轮筛选所得到的变量及个数用CARS算法做第二轮筛选,按照CARS算法的截断阈值与第一轮筛选所得到的变量数目的乘积作为第二轮筛选所得到的关键变量个数。重复步骤C2、C3直到蒙特卡洛采样方法所生成的抽样序号矩阵第mcn行完成。最后,对所得到的mcn行关键变量进行频次统计,根据实际工作需要截取前X个关键变量(例如本发明实施例中,X=9)。至此,变量筛选步骤完成。
本发明中,所述光谱数据选自紫外、可见、近红外、中红外、荧光或太赫兹光谱数据,光谱数据的表现形式为吸收谱、吸收系数谱、透射谱、折射率谱或反射谱等。
本发明中,所述数学模型采用回归算法建立,所述回归算法选自多元线性回归、主成分回归、偏最小二乘回归、前向偏最小二乘回归、后向偏最小二乘回归或留一法全交互验证偏最小二乘回归算法,优选留一法全交互验证偏最小二乘回归算法。
本发明所述农产品包括但不限于水果,优选地,所述水果为樱桃。
前述的方法,所述农产品为樱桃,与樱桃品质相关的指标为可溶性固形物含量,即糖度值。
优选地,步骤B中采用预建模残差作为异常值判定标准,预建模残差阈值设定为2.0~3.0,更优选2.3~2.7。
优选地,步骤B中采用SPXY算法对数据进行分集,更优选地,所述校正集与验证集的样本容量比为7-3:1(最优选3:1)。
优选地,步骤C1中蒙特卡洛采样方法采样的次数为90~120次,更优选96~104次。
优选地,所述UVE算法的截断阈值为0.50~0.70,更优选0.61~0.63。
优选地,所述CARS算法的截断阈值为0.10~0.15,更优选0.112~0.114。
优选地,步骤D中采用模型综合指数PF作为所建数学模型的评价参数,PF的计算公式如式(1)所示:
Figure BDA0001953198500000041
式(1)中,R2为模型测定系数,RMSE为模型均方根误差,A为测试对象系数,C为测试对象参数。
A为1.0~10.0,优选2.0~6.0。
C为-0.5~0.5,优选-0.2~0.2。
R2的计算公式如式(2)所示:
Figure BDA0001953198500000042
式(2)中,yi为所对应样本集中的第i个样品的农产品品质指标的参考值,yip为所对应样本集中的第i个样品的农产品品质指标的预测值,ym为所对应样本集中的全部样本农产品品质指标的平均值,n为所对应样本集的样本容量。
RMSE的计算公式如式(3)所示:
Figure BDA0001953198500000051
式(3)中,yi为所对应样本集中的第i个样品的农产品品质指标的参考值,yip为所对应样本集中的第i个样品的农产品品质指标的预测值,n为所对应样本集的样本容量。
模型判定标准如下:若PF≥判别阈值eps,判定所建模型有效,若PF<判别阈值eps,判定所建模型无效。
其中,所述判别阈值eps为-0.5~0.5,优选-0.2~0.2。
第二方面,本发明提供一种用于实现上述农产品品质分析方法的装置(分析仪),所述装置包括光学系统、控制系统、电路系统以及数据存储与处理系统;
其中,所述光学系统用于对样品光谱数据的采集;
所述电路系统用于对装置进行稳定供电;
所述控制系统用于对装置的工作过程进行控制;
所述数据存储与处理系统用于数据存储、数学模型调用、结果预测、存储与输出。
第三方面,本发明提供上述农产品品质分析方法或装置在农产品品质无损快速精准分析和/或分级中的应用。
第四方面,本发明提供一种农产品品质分析和/或分级变量选择方法,包含以下步骤:
(1)获取光谱数据并测定参考值数据;剔除异常值后,将数据分为校正集和外部验证集;
(2)采用复合变量选择算法结合蒙特卡洛(Monte-Carlo,MC)采样方法选择关键变量;基于所选变量建立数学模型并采用外部验证集进行盲样验证。
进一步地,基于上述方法研制基于数字光处理(Digital Lignt Processing,DLP)内核农产品品质分析仪,包含光学系统、控制系统、电路系统、数据存储与处理系统;所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级。
所述光谱数据可以是紫外、可见、近红外、中红外、荧光、太赫兹光谱数据,光谱数据表现形式可以是吸收谱、吸收系数谱、透射谱、折射率谱、反射谱。
所述农产品为水果,优选地,所述水果为樱桃。可选地,所述品质指标为可溶性固形物含量(Soluble Solid Content,SSC),即糖度值。
所述剔除异常值,采用预建模残差作为异常值判定标准,预建模残差阈值设定为2.0~3.0,优选地,所述阈值设定为2.3~2.7。
所述校正集、外部验证集皆来自实验数据总体,所述校正集用于关键变量的筛选和数学模型的建立;所述外部验证集作为外部盲样对所建数学模型进行盲样验证;所述校正集、外部验证集皆与实验数据总体具有相同或相似的数学分布,采用最小值、最大值、样本均值、样本标准差、极差、变异系数对所选校正集、外部验证集与实验数据总体进行数学分布评价;优选地,所述校正集与外部验证集的样本容量比为7-3:1,所述校正集与外部验证集采用SPXY算法从实验数据总体中遴选。
所述复合变量选择算法为无信息变量消除(Uniformative VariableElimination,UVE)结合竞争性自适应重加权采样(Competitive Adaptive ReweightedSampling,CARS)算法,以及所述两种算法的相互结合。
所述蒙特卡洛(Monte-Carlo,MC)采样方法的次数为90~120次,优选96~104次;所述UVE算法的截断阈值为0.50~0.70,优选0.61~0.63;所述CARS算法的截断阈值为0.10~0.15,优选0.112~0.114。所述方法按照MC采样方法挑选建模样本;基于UVE算法对各变量贡献率从大到小排序,结合MC采样方法对所述初步筛选变量进行初步频次统计,按照UVE算法截断阈值与原光谱变量数乘积确定初步筛选变量个数;基于CARS算法对所述初步筛选变量按照变量权重值从大到小再次排序,按照CARS算法截断阈值与初步筛选变量个数乘积,结合MC采样方法对变量频次做重新统计而非直接截断,二次筛选关键变量。
所述建立数学模型的算法可以是多元线性回归、主成分回归、偏最小二乘回归、前向偏最小二乘回归、后向偏最小二乘回归、留一法全交互验证偏最小二乘回归,优选留一法全交互验证偏最小二乘回归算法。数据预处理算法可以是数据中心化、数据归一化、平滑、导数、基线校正、标准正态变量变换、多元散射校正,优选但不局限于数据中心化结合基线校正。采用所述外部验证集作为外部盲样对基于所选关键变量所建数学模型进行外部盲样验证。
对回归模型进行F检验、t检验对所建模型及外部验证数据进行显著性水平α=0.05的假设检验。在所述模型样本容量以及所述显著性水平情况下,如果F计算大于F查表值,说明预测值、参考值之间具有显著相关关系;在所述模型样本容量以及所述显著性水平情况下,如果t计算值小于t查表值,说明预测值、参考值之间没有显著性差异。
采用模型综合指数PF作为模型的评价参数,所述模型综合指数PF的计算公式如式(1)所示。
Figure BDA0001953198500000071
式(1)中,PF是模型综合指数,R2是模型测定系数,RMSE是模型均方根误差,A是测试对象系数,C是测试对象参数。其中A取值范围1.0~10.0,优选2.0~6.0;C取值范围-0.5~0.5,优选-0.2~0.2;PF的判别阈值为eps,当PF≥eps,判定模型有效,亦即模型预测值、参考值间的回归有效,当PF<eps,判定模型无效,亦即模型预测值、参考值间的回归无效;所述PF判别阈值eps的取值范围-0.5~0.5,优选-0.2~0.2。
其中,R2的计算公式如式(2)所示;RMSE的计算公式如式(3)所示。
Figure BDA0001953198500000072
式(2)中,R2是模型测定系数,yi是所对应样本集中的第i个样品的品质指标的参考值,yip是所对应样本集中的第i个样品的品质指标的预测值,ym是所对应样本集中的全部样本农产品品质指标的平均值,n为所对应样本集的样本容量。
Figure BDA0001953198500000073
式(3)中,RMSE是模型均方根误差,yi是所对应样本集中的第i个样品的品质指标的参考值,yip是所对应样本集中的第i个样品的品质指标的预测值,n是所对应样本集的样本容量。
所述农产品品质无损快速分析仪是基于所述关键变量选择及所述数学模型设计并研制,包含光学系统、电路系统、控制系统、数据存储与处理系统;所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级。
所述光学系统包含光谱仪、光谱仪散热风扇、窗片、载物台;所述光谱仪可以是紫外-可见、近红外、中红外、荧光、太赫兹光谱仪,优选近红外光谱仪;所述近红外光谱仪优选数字光处理(Digital Light Processing,DLP)技术为内核的近红外光谱仪;所述窗片为允许工作光线透过的材料,优选近红外石英或蓝宝石材料;所述载物台中间开设通光孔,所述通光孔直径2mm~10mm,优选3mm~5mm。所述光学系统用于分析仪工作过程中对样品光谱数据的采集。
所述电路系统包含锂电池、稳压电源、开关、电源指示灯、工作指示灯、电源插孔。所述分析仪采用锂电池和稳压电源两种供电方式,可适应实验室操作及田间操作等不同应用场景,其中,所述稳压电源可将交流电转换为仪器可用电源供仪器工作使用;开关采用按键开关或船型开关,优选船型开关;电源指示灯在仪器接通电源后亮起、关闭电源后熄灭;工作指示灯在光谱仪采集光谱数据时亮起,在光谱仪采集光谱数据完毕后熄灭。所述电路系统用于分析仪工作过程中对仪器进行稳定供电。
所述控制系统包含工程主板、中央处理器、显卡、触摸屏显示器、主板散热器、主板散热风扇。所述控制系统用于对分析仪工作过程进行控制。
所述数据存储与处理系统包含随机存储器、只读存储器、固态硬盘、数据接口。数据接口可以是USB、OTG、Type-C接口中的至少一种。所述数据存储与处理系统用于数据存储、数学模型调用、结果预测、存储与输出。
所述光谱仪和所述电路系统、控制系统、数据存储与处理系统彼此之间皆电连接。所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级。
在本发明的一个具体实施方式中,提供一种农产品品质分析和/或分级变量选择方法及仪器,所述农产品为樱桃,优选北京通州产樱桃;所述品质指标为可溶性固形物含量(Soluble Solid Content,SSC),即糖度,其单位为白利度(Brix),采用折光仪对SSC进行参考值测定;所述光谱为近红外光谱,采用DLP技术近红外光谱仪采集实验数据总体,所述仪器参数如下:以聚四氟乙烯白板作为光谱背景参考物;单次积分时间50ms;累加50次取平均;波长范围901.841nm~1700.930nm,光谱中心分辨率8.00nm~12.00nm,优选9.36nm,原光谱变量数128个,光谱变量间隔4.882nm~7.883nm,优选光谱变量间隔6.292nm。
所述剔除异常值,采用预建模残差作为异常值判定标准,预建模残差阈值设定为2.0~3.0,优选地,所述阈值设定为2.3~2.7,进一步优选,预建模残差阈值设定为2.5。剔除异常值后,所述实验数据总体样本容量1060,SSC最大值24.9,SSC最小值9.0,SSC平均值16.0,样本标准差2.6,极差15.9,变异系数16.0%。采用SPXY算法对数据进行分集,其中校正集、外部验证集样本容量之比为3:1;校正集样本集容量795,SSC最大值24.9,SSC最小值9.0,SSC平均值15.9,样本标准差2.7,极差15.9,变异系数17.0%;外部验证集样本容量265,SSC最大值21.5,SSC最小值10.5,SSC平均值16.3,样本标准差2.1,极差11.0,变异系数12.8%。
采用MC采样法结合UVE-CARS算法针对校正集光谱数据进行关键变量选择。所述MC采样方法的次数为90~120次,优选96~104次,进一步优先100次。所述UVE算法的截断阈值为0.50~0.70,优选0.61~0.63,进一步优选0.625;所述CARS算法的截断阈值为0.10~0.15,优选0.112~0.114,进一步优选0.1125。所述方法按照MC采样方法挑选建模样本,形成MC采样样本号矩阵;根据所述MC采样样本号矩阵逐行进行如下计算:基于UVE算法对各变量贡献率从大到小排序,结合MC采样方法对所述初步筛选变量进行初步频次统计,按照UVE算法截断阈值与原光谱变量数乘积确定初步筛选变量个数;基于CARS算法对所述初步筛选变量按照变量贡献值从大到小再次排序,按照CARS算法截断阈值与初步筛选变量个数乘积,结合MC采样方法对变量频次做重新统计而非直接截断,二次筛选关键变量。原光谱变量数128个,初步筛选变量个数为80个,二次筛选关键变量数40个,经过对二次筛选关键变量的频次进行统计,最终所筛选的9个关键变量在樱桃样品近红外光谱中的位置分布示意图见图2。
采用偏最小二乘算法基于所选关键变量建立校正模型,对回归模型进行显著性水平α=0.05的F检验、t检验。在所述模型样本容量以及所述显著性水平情况下,如果F计算大于F查表值,说明预测值、参考值之间具有显著相关关系;在所述模型样本容量以及所述显著性水平情况下,如果t计算值小于t查表值,说明预测值、参考值之间没有显著性差异。
采用模型综合指数PF作为模型的评价参数,所述模型综合指数PF的计算公式如式(1)所示。
Figure BDA0001953198500000091
式(1)中,PF是模型综合指数,R2是模型测定系数,RMSE是模型均方根误差,A是测试对象系数,C是测试对象参数。其中A取值范围1.0~10.0,优选2.0~6.0,进一步优选4.0;C取值范围-0.5~0.5,优选-0.2~0.2,进一步优选-0.1;PF的判别阈值为eps,当PF≥eps,判定模型有效,亦即模型预测值、参考值间的回归有效,当PF<eps,判定模型无效,亦即模型预测值、参考值间的回归无效;所述PF判别阈值eps的取值范围-0.5~0.5,优选-0.2~0.2,进一步优选0.1。
其中,R2的计算公式如式(2)所示;RMSE的计算公式如公式(3)所示。
Figure BDA0001953198500000092
式(2)中,R2是模型测定系数,yi是所对应样本集中的第i个样品的品质指标SSC值的参考值,yip是所对应样本集中的第i个样品的品质指标SSC值的预测值,ym是所对应样本集中的全部样本品质指标SSC值的平均值,n是所对应样本集的样本容量。
Figure BDA0001953198500000101
式(3)中,RMSE是模型均方根误差,yi是所对应样本集中的第i个样品的品质指标SSC值的参考值,yip是所对应样本集中的第i个样品品质指标SSC值的预测值,n是所对应样本集的样本容量。
采用基于所选关键变量数据建立数学模型,以外部验证集做盲样验证,对外部盲样验证计算R2、RMSE值,并做显著性水平α=0.05的F检验、t检验。在所述模型样本容量以及所述显著性水平情况下,如果F计算大于F查表值,说明预测值、参考值之间具有显著相关关系;在所述模型样本容量以及所述显著性水平情况下,如果t计算值小于t查表值,说明预测值、参考值之间没有显著性差异。
为实现上述过程,研制出农产品品质无损快速分析仪,所述分析仪基于所述关键变量选择及所述数学模型,包含光学系统、电路系统、控制系统、数据存储与处理系统;所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级。
所述光学系统包含光谱仪、光谱仪散热风扇、窗片、载物台;所述光谱仪可以是紫外-可见、近红外、中红外、荧光、太赫兹光谱仪,优选近红外光谱仪;所述近红外光谱仪优选数字光处理(Digital Light Processing,DLP)技术为内核的近红外光谱仪;所述窗片为允许工作光线透过的材料,优选近红外石英或蓝宝石材料;所述载物台中间开设通光孔,所述通光孔直径2mm~10mm,优选3mm~5mm,进一步优选3.5mm。所述光学系统用于分析仪工作过程中对样品采集光谱数据。
所述电路系统包含锂电池、稳压电源、开关、电源指示灯、工作指示灯、电源插孔。所述分析仪采用锂电池和稳压电源两种供电方式,可适应实验室操作及田间操作等不同应用场景,其中,所述稳压电源可将交流电转换为仪器可用电源供仪器工作使用;开关采用按键开关或船型开关,优选船型开关;电源指示灯在仪器接通电源后亮起、关闭电源后熄灭;工作指示灯在光谱仪采集光谱数据时亮起,在光谱仪采集光谱数据完毕后熄灭。所述电路系统用于分析仪工作过程中对仪器进行稳定供电。
所述控制系统包含工程主板、中央处理器、显卡、触摸屏显示器、主板散热器、主板散热风扇。所述控制系统用于对分析仪工作过程进行控制。
所述数据存储与处理系统包含随机存储器、只读存储器、固态硬盘、数据接口。数据接口可以是USB、OTG、Type-C接口中的至少一种。所述数据存储与处理系统用于数据存储、数学模型调用、结果预测、存储与输出。
所述光谱仪和所述电路系统、控制系统、数据存储与处理系统彼此之间皆电连接。所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级。
借由上述技术方案,本发明至少具有下列优点及有益效果:
本发明针对农产品品质分析领域中的应用难题,提出一种农产品品质分析和/或分级变量选择方法及仪器,将UVE算法和CARS算法相结合,并采用蒙特卡洛(MC)采样方法,对每次MC采样的数据进行变量选择,并对初步筛选变量以及二次筛选关键变量的信息进行统计分析,从而有效解决了因样本集变化导致的变量选择结果不稳定的难题;针对每种变量选择算法以不同阈值限制所选变量个数,并对所选变量频次矩阵加以统计分析,有效避免了传统的变量数据直接截断而导致的所选变量偏性,亦即,传统的变量选择算法所选变量的稳定性较差,基于传统的变量选择算法所选变量建立的校正模型的稳定性亦较差;采用本发明所提出的方法二次筛选关键变量并进行变量频次统计,所筛选的关键变量具有更好的稳定性。本发明所提供的关键变量选择方法可以有效筛选光谱数据中的关键变量,所建模型采用模型综合指数PF进行评价,并采用外部验证集对所建模型进行盲样验证。进一步地,本发明基于所述变量选择方法研制农产品品质无损快速分析仪,所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级。本发明提供的农产品品质分析方法和装置以及变量选择方法可为精简光谱数据、减轻仪器运算负担、提高仪器检测效率、研发高通量在线型光谱仪以及便携式、微型光谱仪提供重要技术指导。
附图说明
图1为本发明实施例1中农产品品质分析和/或分级变量选择方法流程图。
图2为本发明实施例1中农产品品质分析和/或分级变量选择方法最终所筛选的9个关键变量在樱桃样品近红外光谱中的位置分布示意图。
图3为本发明实施例1中基于所选关键变量建立数学模型的校正集数据相关关系图。
图4为本发明实施例1中基于所选关键变量建立数学模型的交互验证集数据相关关系图。
图5为本发明实施例2中基于变量选择的农产品品质分析仪正视图。
图6为本发明实施例2中基于变量选择的农产品品质分析仪俯视图。
图7为本发明实施例2中基于变量选择的农产品品质分析仪后视图。
图8为本发明实施例2中基于变量选择的农产品品质分析仪侧视图。
图9为本发明实施例2中基于变量选择的农产品品质分析仪底视图。
图10为本发明实施例2中基于变量选择的农产品品质分析仪正面剖视图。
图11为本发明实施例2中基于变量选择的农产品品质分析仪主板俯视图。
图12为本发明实施例2中基于所选关键变量建立数学模型的外部验证集数据相关关系图。
图13为本发明实施例2中根据外部验证集预测值对樱桃分集的频次统计图。
具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。若未特别指明,实施例中所用的技术手段为本领域技术人员所熟知的常规手段,所用原料均为市售商品。
以下所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,除非另有说明,术语“顶”、“底”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
需要说明的是,除非另有明确的规定和限定,术语“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在发明中的具体含义。
实施例1樱桃糖度检测关键变量选择及模型建立与评价
本实施例所述农产品为樱桃,优选北京通州产樱桃;所述品质指标为可溶性固形物含量(Soluble Solid Content,SSC),即糖度值,其单位为白利度(Brix),采用折光仪对SSC进行参考值测定。所用光谱为近红外光谱,采用DLP技术近红外光谱仪采集实验数据总体,所述仪器参数如下:以聚四氟乙烯白板作为光谱背景参考物;单次积分时间50ms;累加50次取平均;波长范围901.841nm~1700.930nm,光谱中心分辨率8.00nm~12.00nm,优选9.36nm,原光谱变量数128个,光谱变量间隔4.882nm~7.883nm,优选光谱变量间隔6.292nm。
剔除异常值,采用预建模残差作为异常值判定标准,预建模残差阈值设定为2.0~3.0,优选地,所述阈值设定为2.3~2.7,进一步优选,预建模残差阈值设定为2.5。剔除异常值后,采用SPXY算法对数据进行分集,其中校正集、外部验证集样本容量之比为3:1;所述实验数据总体、所选校正集以及外部验证集SSC参考值统计信息如表1所示。从表1可以看出,所选校正集和外部验证集的最小值、最大值、平均值、样本标准差、极差和变异系数与总体具有相似的分布趋势。
表1樱桃SSC样本集统计信息(单位:白利度Brix)
Figure BDA0001953198500000131
采用MC采样法结合UVE-CARS算法针对校正集光谱数据进行关键变量选择。所述MC法的采样次数为90~120次,优选96~104次,进一步优先100次。所述UVE算法的截断阈值为0.50~0.70,优选0.61~0.63,进一步优选0.625;所述CARS算法的截断阈值为0.10~0.15,优选0.112~0.114,进一步优选0.1125。所述方法按照MC采样方法挑选建模样本,形成MC采样样本号矩阵;根据所述MC采样样本号矩阵逐行进行如下计算:基于UVE算法对各变量贡献率从大到小排序,结合MC采样方法对所述初步筛选变量进行初步频次统计,按照UVE算法截断阈值与原光谱变量数乘积确定初步筛选变量个数;基于CARS算法对所述初步筛选变量按照变量权重值从大到小再次排序,按照CARS算法截断阈值与初步筛选变量个数乘积,结合MC采样方法对变量频次做重新统计而非直接截断,二次筛选关键变量。原光谱变量数128个,初步筛选变量个数为80个,二次筛选关键变量数40个,经过对二次筛选关键变量的频次进行统计,最终所筛选的9个关键变量在樱桃样品近红外光谱中的位置分布示意图见图2。
采用偏最小二乘算法基于所选关键变量建立校正模型,对回归模型进行显著性水平α=0.05的F检验、t检验。在所述模型样本容量以及所述显著性水平情况下,如果F计算大于F查表值,说明预测值、参考值之间具有显著相关关系;在所述模型样本容量以及所述显著性水平情况下,如果t计算值小于t查表值,说明预测值、参考值之间没有显著性差异。
采用模型综合指数PF作为模型的评价参数,所述模型综合指数PF的计算公式如式(1)所示。
Figure BDA0001953198500000141
式(1)中,PF是模型综合指数,R2是模型测定系数,RMSE是模型均方根误差,A是测试对象系数,C是测试对象参数。其中A取值范围1.0~10.0,优选2.0~6.0,进一步优选4.0;C取值范围-0.5~0.5,优选-0.2~0.2,进一步优选-0.1;PF的判别阈值为eps,当PF≥eps,判定模型有效,亦即模型预测值、参考值间的回归有效,当PF<eps,判定模型无效,亦即模型预测值、参考值间的回归无效;所述PF判别阈值eps的取值范围-0.5~0.5,优选-0.2~0.2,进一步优选0.1。
其中,R2的计算公式如式(2)所示;RMSE的计算公式如式(3)所示。
Figure BDA0001953198500000142
式(2)中,R2是模型测定系数,yi是所对应样本集中的第i个样品的品质指标SSC值的参考值,yip是所对应样本集中的第i个样品的品质指标SSC预测值,ym是所对应样本集中的全部样本农产品品质指标SSC的平均值,n为所对应样本集的样本容量。
Figure BDA0001953198500000143
式(3)中,RMSE是模型均方根误差,yi是所对应样本集中的第i个样品的品质指标SSC值的参考值,yip是所对应样本集中的第i个样品品质指标SSC值的预测值,n是所对应样本集的样本容量。
采用基于所选关键变量建立的数学模型,以外部验证集做盲样验证,对外部盲样验证计算R2、RMSE值,并做显著性水平α=0.05的F检验、t检验。在所述模型样本容量以及所述显著性水平情况下,如果F计算大于F查表值,说明预测值、参考值之间具有显著相关关系;在所述模型样本容量以及所述显著性水平情况下,如果t计算值小于t查表值,说明预测值、参考值之间没有显著性差异。
所述关键变量分布如图2所示,图2中,光谱曲线基于校正集樱桃样品近红外光谱数据平均光谱,其中竖线代表所选关键变量分布位置,亦即二次筛选关键变量后,对变量频次进行统计分析并最终筛选出的9个关键变量在樱桃样品近红外光谱中的分布位置。本实施例采用MC采样方法结合UVE-CARS算法针对樱桃样品校正集进行关于SSC的关键变量筛选,通过二次筛选,并对变量频次进行统计分析后,最终筛选出的9个关键变量为:966.3nm、1070.5nm、1064.2nm、1029.0nm、1238.5nm、1270.3nm、1277.3nm、1105.3nm、1111.5nm。上述9个关键变量在樱桃样品近红外光谱中的位置分布示意图见图2。采用PLS算法结合全交互验证算法所建模型结果如表2所示。
表2基于最终二次筛选关键变量建模结果
Figure BDA0001953198500000151
根据校正集样本容量查F值表、t值表,分别得到F查表值为3.857,t查表值为1.964。从表2可见,校正数据、交互验证数据的F计算值皆大于F查表值,说明校正数据、交互验证数据的SSC预测值、参考值之间具有显著相关关系;校正数据、交互验证数据的t计算值皆小于t查表值,说明校正数据、交互验证数据的SSC预测值、参考值之间没有显著性差异。计算本发明所提出的模型综合指数PF,校正数据、交互验证数据PF值皆大于阈值0.1,判定模型有效,亦即模型校正数据的预测值、参考值之间以及交互验证数据的预测值、参考值之间的回归分别有效,即校正模型有效。
对比例:
作为对比,将实施例1中所选变量任意减少1个,即采用8变量建立校正模型,结果如表3所示。
表3基于最终二次筛选的8变量建模结果
Figure BDA0001953198500000152
由于样本容量和显著性水平不变,因此F查表值和t查表值不变。由表3可见,虽然校正数据、交互验证数据的F计算值、t计算值说明基于8变量所建校正模型的SSC预测值、参考值之间具有显著相关关系且无显著性差异,但是校正数据、交互验证数据模型综合指数PF值皆小于阈值0.1,说明8变量所建校正模型,其SSC预测值、参考值之间的回归无效。实验证明,上述8变量模型的预测误差明显高于实施例1中的9变量模型,由此可见,PF值作为模型有效性判据可以在上述数据结果中得到验证。
实施例1中农产品品质分析和/或分级变量选择方法流程图见图1。基于所选的9个关键变量所建立数学模型的校正集数据相关关系图见图3。基于所选的9个关键变量所建立数学模型的交互验证集数据相关关系图见图4。
实施例2基于所选关键变量研制农产品品质无损快速分析仪并对樱桃进行品质分析与分级
为实现樱桃品质无损快速分级,研制农产品品质无损快速分析仪,结合附图对基于所选关键变量研制农产品品质无损快速分析仪并对樱桃进行品质分级进行说明。
所述分析仪基于所述关键变量选择及所述数学模型,包含光学系统、电路系统、控制系统、数据存储与处理系统;所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级。
所述光学系统包含光谱仪(12)、光谱仪散热风扇(15)、窗片(12A)、载物台(6);所述光谱仪可以是紫外-可见、近红外、中红外、荧光、太赫兹光谱仪,优选近红外光谱仪;所述近红外光谱仪优选数字光处理(Digital Light Processing,DLP)技术为内核的近红外光谱仪;所述窗片(12A)为允许工作光线透过的材料,优选近红外石英或蓝宝石材料;所述载物台中间开设通光孔(5),所述通光孔(5)直径2mm~10mm,优选3mm~5mm,进一步优选3.5mm。所述光学系统用于分析仪工作过程中对样品光谱数据的采集。
所述电路系统包含锂电池(13A)、稳压电源(13B)、开关(8)、电源指示灯(4)、工作指示灯(3)、电源插孔(9)。所述分析仪采用锂电池(13A)和稳压电源(13B)两种供电方式,可适应实验室操作及田间操作等不同应用场景,其中,所述稳压电源(13B)可将交流电转换为仪器可用电源供仪器工作使用;开关(8)采用按键开关或船型开关,优选船型开关;电源指示灯(4)在仪器接通电源后亮起、关闭电源后熄灭;工作指示灯(3)在光谱仪(12)采集光谱数据时亮起,在光谱仪采集光谱数据完毕后熄灭。所述电路系统用于分析仪工作过程中对仪器进行稳定供电。
所述控制系统包含工程主板(14)、中央处理器(16)、显卡(17)、触摸屏显示器(2)、主板散热器(21)、主板散热风扇(15)。所述控制系统用于对分析仪工作过程进行控制。
所述数据存储与处理系统包含随机存储器(18)、只读存储器(19)、固态硬盘(20)、数据接口(10)。数据接口可以是USB、OTG、Type-C接口中的一种或几种。所述数据存储与处理系统用于数据存储、数学模型调用、结果预测、存储与输出。
所述光谱仪和所述电路系统、控制系统、数据存储与处理系统彼此之间皆电连接。所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级。
实施例2中基于变量选择的农产品品质分析仪的正视图、俯视图、后视图、侧视图、底视图、正面剖视图以及主板俯视图分别如图5-图11所示。
采用上述研制的农产品品质分析仪对樱桃外部验证集样品采集光谱数据,基于实施例1中二次筛选并统计变量频次最终确定的关键变量所建模型,提取关键变量数据,对所述外部验证集样品进行SSC值预测,并与SSC实测参考值进行对比。
本发明中,采用原理样机采集实验的基础数据,通过数据分析,得到分析方法并制定各种参数阈值,进而为仪器研制提供理论基础与技术支持和参考。
SSC实测参考值采用现有广泛使用的折光仪法,该方法的原理是对水果内的果汁测量其折射率,果汁中含有SSC越多则折射率越大,根据一定的换算公式即可得到果汁中SSC实测参考值。对于水果,其果汁中SSC最主要来源是单糖和/或二糖和/或其他小分子低聚糖,因此水果糖度可以使用SSC值进行直接表征。
外部验证集样品(即外部盲样)的SSC预测值、参考值相关关系图如图12所示,验证结果如表4所示。
表4外部验证集预测结果
Figure BDA0001953198500000171
根据外部验证集样本容量查F值表、t值表,分别得到F查表值为3.877,t查表值为1.969。从表4可见,外部验证数据的F计算值大于F查表值,说明外部验证数据的SSC预测值、参考值之间具有显著相关关系;外部验证数据的t计算值小于t查表值,说明外部验证数据的SSC预测值参考值之间没有显著性差异。对外部验证集计算本发明所提出的模型综合指数PF,外部验证数据PF值皆大于阈值0.1,说明外部验证数据的SSC预测值、参考值之间的回归有效,即预测数据有效。
根据外部验证集样品预测情况,将外部验证集樱桃样品进行品质分级,其中,预测值>17.0划分为一级,预测值≤17.0且预测值>14.0划分为二级,预测值≤14.0划分为三级。将外部验证集樱桃样品按照上述分级规则,做直方图如图13所示,其中,外部验证集样本容量265,一级樱桃67个,占比25.3%,二级樱桃170个,占比64.2%,三级樱桃28个,占比10.6%。
本发明针对光谱数据中存在大量冗余信息从而加重分析工作在硬件、软件方面难度的问题,面向农产品品质无损快速分析和/或分级,提供一种光谱变量选择方法,将UVE算法和CARS算法相结合,基于MC采样方法,对光谱数据变量进行二次筛选与变量频次统计分析,筛选关键变量,并基于所选关键变量采用回归算法建立数学模型,采用模型综合指数PF对所建模型进行评价;基于所述关键变量选择结果,研制农产品品质无损快速分析仪,所述分析仪将光学系统所采集数据进行存储,根据变量选择结果提取关键变量数据,调用数学模型针对待测样品做基于关键变量的数据运算,得到品质数据,并根据品质数据进行农产品品质无损快速精准分析和/或分级。从而克服目前实际工作中遇到的农产品品质效率检测低下的问题。
虽然,上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述,但在本发明基础上,可以对之做一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (8)

1.农产品品质分析方法,其特征在于,包括以下步骤:
A、根据测试的农产品,至少选择一个与该农产品品质相关的指标作为分析对象,且该指标可通过光谱分析获得;
B、获取农产品的光谱数据,并基于步骤A所选指标,测定与该指标相关的参考值数据;剔除异常值后,将数据分为校正集和外部验证集,所述校正集用于农产品品质分析和/或分级变量的筛选以及数学模型的建立,所述外部验证集不参与数学模型建立及分析和/或分级变量筛选,而是用于对所建数学模型进行盲样验证;
C、采用复合变量选择算法结合蒙特卡洛采样方法筛选出农产品品质分析和/或分级关键变量,然后基于所选关键变量建立数学模型,并采用外部验证集对所建数学模型进行盲样验证;
D、对步骤C所建数学模型进行评价,判定模型的有效性;
E、在相同实验条件下,采集待测农产品的光谱数据,利用步骤D获得的有效数学模型,进行基于步骤C筛选所得的所述农产品品质分析和/或分级关键变量的数据运算,根据运算结果实现对待测农产品品质的分析和/或分级;
其中,步骤E所述待测农产品与步骤A、B中所述的农产品为同一种类的农产品,步骤E所述农产品品质与步骤A、B中所述农产品品质为相同的农产品品质;
步骤C所述复合变量选择算法包括UVE算法和CARS算法;
步骤C进一步包括以下子步骤:
C1、按照蒙特卡洛采样方法从步骤B的校正集光谱数据中随机生成用于农产品品质分析和/或分级的包含全部变量的样本序号,以蒙特卡洛次数为行,单次抽样样本序号为列将全部抽样的样本序号组成蒙特卡洛抽样序号矩阵;
C2、根据步骤C1所生成的包含全部变量的样本序号,以一行为单位,进行第一轮筛选:基于UVE算法对各变量贡献率从大到小排序,按照UVE算法的截断阈值与全部变量数目的乘积作为第一轮筛选所得到的农产品品质分析和/或分级变量个数;
C3、对步骤C2筛选所得到的农产品品质分析和/或分级变量进行第二轮筛选:以步骤C2所述的第一轮筛选所得变量为输入变量,基于CARS算法对各变量权重值从大到小排序,按照CARS算法的截断阈值与第一轮筛选所得到的农产品品质分析和/或分级的变量数目的乘积作为第二轮筛选所得到的农产品品质分析和/或分级的关键变量个数;
C4、重复步骤C2、C3,直至完成步骤C1所述蒙特卡洛抽样序号矩阵的全部行,将根据蒙特卡洛抽样序号矩阵每一行经过步骤C2、C3的两轮筛选所得到的每一组筛选关键变量进行频次统计分析;
所述光谱数据为近红外光谱数据,光谱数据的表现形式为吸收谱、吸收系数谱、透射谱、折射率谱或反射谱;
所述数学模型采用回归算法建立,所述回归算法选自多元线性回归、主成分回归、偏最小二乘回归、前向偏最小二乘回归、后向偏最小二乘回归或留一法全交互验证偏最小二乘回归算法;
所述农产品为樱桃,与樱桃品质相关的指标为可溶性固形物含量,即糖度值;
步骤B中剔除异常值采用预建模残差作为异常值判定标准,预建模残差阈值设定为2.0~3.0;
步骤B中采用SPXY算法对数据进行分集,其中,所述校正集与验证集的样本容量比为7~3:1;
步骤C1中蒙特卡洛采样方法采样的次数为90~120次;
所述UVE算法的截断阈值为0.50~0.70;
所述CARS算法的截断阈值为0.10~0.15;
步骤C筛选出的9个关键变量为:966.3nm、1070.5nm、1064.2nm、1029.0nm、1238.5nm、1270.3nm、1277.3nm、1105.3nm、1111.5nm;
步骤D中采用模型综合指数PF作为所建数学模型的评价参数,PF的计算公式如式(1)所示:
Figure FDA0003016292870000021
式(1)中,R2为模型测定系数,RMSE为模型均方根误差,A为测试对象系数,C为测试对象参数;
A为1.0~10.0;
C为-0.5~0.5;
R2的计算公式如式(2)所示:
Figure FDA0003016292870000022
式(2)中,yi为所对应样本集中的第i个样品的农产品品质指标的参考值,yip为所对应样本集中的第i个样品的农产品品质指标的预测值,ym为所对应样本集中的全部样本农产品品质指标的平均值,n为所对应样本集的样本容量;
RMSE的计算公式如式(3)所示:
Figure FDA0003016292870000031
式(3)中,yi为所对应样本集中的第i个样品的农产品品质指标的参考值,yip为所对应样本集中的第i个样品的农产品品质指标的预测值,n为所对应样本集的样本容量;
模型判定标准如下:若PF≥判别阈值eps,判定所建模型有效,若PF<判别阈值eps,判定所建模型无效;
其中,所述判别阈值eps为-0.5~0.5。
2.根据权利要求1所述的方法,其特征在于,所述回归算法采用留一法全交互验证偏最小二乘回归算法。
3.根据权利要求1所述的方法,其特征在于,步骤B中预建模残差阈值设定为2.3~2.7。
4.根据权利要求1所述的方法,其特征在于,步骤C1中蒙特卡洛采样方法采样的次数为96~104次;所述UVE算法的截断阈值为0.61~0.63;所述CARS算法的截断阈值为0.112~0.114。
5.根据权利要求1所述的方法,其特征在于,式(1)中,A为2.0~6.0;C为-0.2~0.2。
6.根据权利要求1所述的方法,其特征在于,步骤D的模型判定标准中,所述判别阈值eps为-0.2~0.2。
7.用于实现权利要求1-6任一项所述农产品品质分析方法的装置,其特征在于,所述装置包括光学系统、控制系统、电路系统以及数据存储与处理系统;
所述光学系统用于对样品光谱数据的采集;
所述电路系统用于对装置进行稳定供电;
所述控制系统用于对装置的工作过程进行控制;
所述数据存储与处理系统用于数据存储、数学模型调用、结果预测、存储与输出。
8.权利要求1-6任一项所述方法或权利要求7所述装置在农产品品质无损快速精准分析和/或分级中的应用。
CN201910058014.1A 2019-01-22 2019-01-22 农产品品质分析方法及装置 Active CN109839358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910058014.1A CN109839358B (zh) 2019-01-22 2019-01-22 农产品品质分析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910058014.1A CN109839358B (zh) 2019-01-22 2019-01-22 农产品品质分析方法及装置

Publications (2)

Publication Number Publication Date
CN109839358A CN109839358A (zh) 2019-06-04
CN109839358B true CN109839358B (zh) 2021-08-10

Family

ID=66884044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910058014.1A Active CN109839358B (zh) 2019-01-22 2019-01-22 农产品品质分析方法及装置

Country Status (1)

Country Link
CN (1) CN109839358B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264050B (zh) * 2019-06-06 2021-05-25 北京农业质量标准与检测技术研究中心 农产品品质分析方法及分析仪
CN110411957B (zh) * 2019-08-28 2021-11-19 北京农业质量标准与检测技术研究中心 水果货架期及新鲜程度的无损快速预测方法及装置
CN112085342B (zh) * 2020-08-14 2023-09-01 北京市农林科学院 农业投入品复合品质评价方法
CN113049509B (zh) * 2021-03-17 2022-04-22 盐城师范学院 一种基于光谱技术的农产品检测管理系统
CN113740277A (zh) * 2021-10-15 2021-12-03 北方民族大学 一种基于光谱多组分分析的环境安全分析方法
CN114371149B (zh) * 2022-01-20 2024-02-23 池州市农产品质量安全监测中心 一种农产品质量安全检测系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308463A (zh) * 2013-06-28 2013-09-18 中国农业大学 一种近红外光谱特征谱区选择方法
CN203241356U (zh) * 2013-05-30 2013-10-16 天津美时资讯科技有限公司 荔枝可溶性固形物检测装置
CN105181643A (zh) * 2015-10-12 2015-12-23 华中农业大学 一种稻米品质的近红外检测方法与应用
CN105630743A (zh) * 2015-12-24 2016-06-01 浙江大学 一种光谱波数的选择方法
CN105675539A (zh) * 2016-01-07 2016-06-15 北京市农林科学院 一种农产品品质综合评价方法
CN106018337A (zh) * 2016-08-04 2016-10-12 浙江大学 一种棉仁粉中植酸含量的测定方法
CN108760652A (zh) * 2018-03-26 2018-11-06 南京农业大学 基于可见/近红外光谱的葡萄多品质无损检测方法及装置
CN109324000A (zh) * 2018-11-08 2019-02-12 江南大学 基于cars-miv-svr的库尔勒香梨可溶性固体含量预测方法
CN110264050A (zh) * 2019-06-06 2019-09-20 北京农业质量标准与检测技术研究中心 农产品品质分析方法及分析仪

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203241356U (zh) * 2013-05-30 2013-10-16 天津美时资讯科技有限公司 荔枝可溶性固形物检测装置
CN103308463A (zh) * 2013-06-28 2013-09-18 中国农业大学 一种近红外光谱特征谱区选择方法
CN105181643A (zh) * 2015-10-12 2015-12-23 华中农业大学 一种稻米品质的近红外检测方法与应用
CN105630743A (zh) * 2015-12-24 2016-06-01 浙江大学 一种光谱波数的选择方法
CN105675539A (zh) * 2016-01-07 2016-06-15 北京市农林科学院 一种农产品品质综合评价方法
CN106018337A (zh) * 2016-08-04 2016-10-12 浙江大学 一种棉仁粉中植酸含量的测定方法
CN108760652A (zh) * 2018-03-26 2018-11-06 南京农业大学 基于可见/近红外光谱的葡萄多品质无损检测方法及装置
CN109324000A (zh) * 2018-11-08 2019-02-12 江南大学 基于cars-miv-svr的库尔勒香梨可溶性固体含量预测方法
CN110264050A (zh) * 2019-06-06 2019-09-20 北京农业质量标准与检测技术研究中心 农产品品质分析方法及分析仪

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Measurement of soluble solids content of three fruit species using universal near infrared spectroscopy models;Ran Liu et al;《J. Near Infrared Spectrosc.》;20151231;第23卷;全文 *
应用CARS和SPA算法对草莓SSC含量NIR光谱预测模型中变量及样本筛选;李江波等;《光谱学与光谱分析》;20150228;第35卷(第2期);摘要 *
特征变量优选在苹果可溶性固形物近红外便携式检测中的应用;樊书祥等;《光谱学与光谱分析》;20141031;第34卷(第10期);第1、2节 *

Also Published As

Publication number Publication date
CN109839358A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
CN109839358B (zh) 农产品品质分析方法及装置
Bai et al. Accurate prediction of soluble solid content of apples from multiple geographical regions by combining deep learning with spectral fingerprint features
CN110411957B (zh) 水果货架期及新鲜程度的无损快速预测方法及装置
Li et al. Nondestructive firmness measurement of the multiple cultivars of pears by Vis-NIR spectroscopy coupled with multivariate calibration analysis and MC-UVE-SPA method
Jiang et al. Comparison of algorithms for wavelength variables selection from near-infrared (NIR) spectra for quantitative monitoring of yeast (Saccharomyces cerevisiae) cultivations
Ye et al. Non-destructive prediction of protein content in wheat using NIRS
CN102305772A (zh) 基于遗传核偏最小二乘法的近红外光谱特征波长筛选方法
CN109564199A (zh) 分析数据处理方法和分析数据处理装置
CN110264050B (zh) 农产品品质分析方法及分析仪
CN103674854A (zh) 一种基于联合区间偏最小二乘判别分析的苹果分级方法
Qing et al. Wavelength selection for predicting physicochemical properties of apple fruit based on near‐infrared spectroscopy
US10578550B2 (en) Identifying presence of substrates
Chen et al. A novel variable selection method based on stability and variable permutation for multivariate calibration
CN111693487A (zh) 基于遗传算法和极限学习机的水果糖度检测方法及系统
Jiang et al. Qualitative and quantitative analysis in solid-state fermentation of protein feed by FT-NIR spectroscopy integrated with multivariate data analysis
Zheng et al. Improving the identification accuracy of sugar orange suffering from granulation through diameter correction and stepwise variable selection
Jiang et al. Molecular spectroscopic wavelength selection using combined interval partial least squares and correlation coefficient optimization
CN103398971A (zh) 一种测定柴油十六烷值的化学计量学方法
Wu et al. Determination of corn protein content using near-infrared spectroscopy combined with A-CARS-PLS
Huang et al. Optimal wavelength selection for hyperspectral scattering prediction of apple firmness and soluble solids content
Hong et al. Successive projections algorithm for variable selection in nondestructive measurement of citrus total acidity
Chia et al. Neural network and extreme gradient boosting in near infrared spectroscopy
CN114062306B (zh) 一种近红外光谱数据分段预处理方法
Behera et al. Detection of spent turmeric adulteration in powdered Curcuma longa using Vis-NIR spectroscopy and machine learning
Priyadarshi et al. Comparing various machine learning algorithms for sugar prediction in chickpea using near-infrared spectroscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220718

Address after: 100097 No. 9 middle garden, Shuguang garden, Beijing, Haidian District

Patentee after: BEIJING ACADEMY OF AGRICULTURE AND FORESTRY SCIENCES

Address before: Room 1011, germ plasm building, Beijing Academy of agriculture and Forestry Sciences, 9 Shuguang Huayuan Middle Road, Haidian District, Beijing 100097

Patentee before: BEIJING RESEARCH CENTER FOR AGRICULTURAL STANDARDS AND TESTING