CN113030001A - 一种水果糖度检测方法及系统 - Google Patents

一种水果糖度检测方法及系统 Download PDF

Info

Publication number
CN113030001A
CN113030001A CN202110295363.2A CN202110295363A CN113030001A CN 113030001 A CN113030001 A CN 113030001A CN 202110295363 A CN202110295363 A CN 202110295363A CN 113030001 A CN113030001 A CN 113030001A
Authority
CN
China
Prior art keywords
near infrared
infrared spectrum
encoder
data
brix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110295363.2A
Other languages
English (en)
Other versions
CN113030001B (zh
Inventor
黄文倩
刘三庆
樊书祥
田喜
何鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center of Intelligent Equipment for Agriculture
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN202110295363.2A priority Critical patent/CN113030001B/zh
Publication of CN113030001A publication Critical patent/CN113030001A/zh
Application granted granted Critical
Publication of CN113030001B publication Critical patent/CN113030001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N2021/3595Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using FTIR

Abstract

本发明提供一种水果糖度检测方法及系统,该方法包括:采集待测水果的近红外光谱数据;将近红外光谱数据输入至糖度检测模型,以根据糖度检测模型的输出结果,获取近红外光谱数据对应的糖度预测值;糖度检测模型是采用迁移学习的方法,在训练好的卷积自编码器的基础上构建的。本发明提供的水果糖度检测方法及系统,基于迁移学习的方法,利用训练好的待迁移自编码器建立了提取苹果近红外光谱数据特征的卷积自编码器模型,以利用苹果近红外光谱数据集对其进行训练,解决了深度学习对于数据量需求较大的问题,可以有效提取苹果近红外光谱的特征,并且以这些特征作为输入变量,输入至糖度检测模型,能够有效地实现苹果糖度的高精度、高效率检测。

Description

一种水果糖度检测方法及系统
技术领域
本发明涉及智能检测技术领域,尤其涉及一种水果糖度检测方法及系统。
背景技术
糖度是衡量水果内部品质的重要指标,也是影响消费者购买意愿的决定因素之一。近红外光谱技术以其快速无损的检测优势在苹果糖度检测方面得到了广泛应用。
传统的基于近红外光谱的无损检测技术,在定量校正水果糖度时,通常使用偏最小二乘法(Partial Least Squares,PLS)作为建模方法对光谱数据进行分析,其优点是可以解决样本数目小、变量多且变量之间存在多重相关性等问题。但从数据相关性角度来看,它属于线性方法,没有考虑到可能存在的非线性因素对水果糖度的影响。
深度学习作为一种非线性方法,可以很好地解决这个问题。深度学习中通常使用全连接网络来检测水果的糖度,但是全连接网络需要训练的参数较多,计算量会随着神经元数量以及网络层数的增加而迅速增加,容易产生过拟合现象,且难以在计算速度上与PLS比肩。
发明内容
考虑到基于全连接网络的水果糖度检测深度学习网络模型,在实际检测时的计算量较大,且随着网络层数的增加容易产生过拟合现象,从而造成计算速度和鲁棒性的下降的缺陷,本发明实施例提供一种水果糖度检测方法及系统。
本发明提供一种水果糖度检测方法,包括:采集待测水果的近红外光谱数据;将所述近红外光谱数据输入至糖度检测模型,以根据所述糖度检测模型的输出结果,获取所述近红外光谱数据对应的糖度预测值;其中,所述糖度检测模型是采用迁移学习的方法,在训练好的待迁移卷积自编码器的基础上构建的。
根据本发明提供的一种水果糖度检测方法,所述糖度检测模型是由提取近红外光谱特征的卷积自编码器和基于偏最小二乘法的检测模型构成的。
根据本发明提供的一种水果糖度检测方法,在将所述近红外光谱数据输入至糖度检测模型之前,对所述糖度检测模型中的提取近红外光谱特征的卷积自编码器进行预训练,具体包括:采用CIFAR-100数据集,对待迁移卷积自编码器进行预训练,获取训练好的待迁移卷积自编码器;获取多个水果样本,并采集每个水果样本在赤道标记点区域的近红外光谱样本数据;确定每个水果样本的糖度标签;将每个水果样本的糖度标签和近红外光谱样本数据的组合作为一个训练样本,构建训练样本集;将训练好的待迁移卷积自编码器的参数固定,并在其首尾再添加卷积层与反卷积层,使用近红外光谱样本数据对新添加的层的参数进行训练,得到训练好的用以提取近红外光谱特征的卷积自编码器;分别将训练样本集中每个近红外光谱样本数据,输入至训练好的用以提取近红外光谱特征的卷积自编码器,以提取每个近红外光谱样本数据的数据特征;分别将每个数据特征输入至糖度检测模型,以获取由糖度检测模型输出的样本糖度预测值;基于每个近红外光谱样本数据的样本糖度预测值与每个水果样本的糖度标签,确定糖度检测模型的最优主因子,以实现对提取近红外光谱特征的卷积自编码器的训练。
根据本发明提供的一种水果糖度检测方法,采用CIFAR-100数据集,对待迁移卷积自编码器进行预训练,获取训练好的卷积自编码器,包括:基于CIFAR-100数据集的训练集,创建多个Epoch,每个Epoch内将该训练集按比例划分为Epoch内的训练集和验证集,每个Epoch遍历一次CIFAR-100数据集的训练集,且每个Epoch包括训练集和验证集;依次利用每个Epoch的训练集对待迁移卷积自编码器进行预训练,并利用对应的验证集获取当前网络的预测精度;其中,batch_size为64,学习率为0.0005,激活函数为elu函数,优化器为Adam;获取与最高的当前网络的预测精度相对应的卷积自编码器,作为训练好的待迁移卷积自编码器。
根据本发明提供的一种水果糖度检测方法,基于每个近红外光谱样本数据的样本糖度预测值与每个所述水果样本的糖度标签,确定所述糖度检测模型的最优主因子,包括:通过10折交互验证的方法,根据样本糖度预测值与对应的糖度标签的最小均均方根误差,确定糖度检测模型的最优主因子。
根据本发明提供的一种水果糖度检测方法,所述卷积自编码器是基于Tensorflow和Keras自带的函数库,采用Functional API方式建立的。
根据本发明提供的一种水果糖度检测方法,在分别将训练样本集中每个近红外光谱样本数据,输入至训练好的提取近红外光谱特征的卷积自编码器之前,还包括:对每个近红外光谱样本数据进行Normalization预处理。
本发明还提供一种水果糖度检测系统,包括:数据获取单元,用于采集待测水果的近红外光谱数据;糖度预测单元,所述糖度预测单元中预先存储有糖度检测模型,糖度检测模型是采用迁移学习的方法,在训练好的卷积自编码器的基础上构建的;糖度预测单元用于接收近红外光谱数据,并根据糖度检测模型的输出结果,获取近红外光谱数据对应的糖度预测值。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述水果糖度检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述水果糖度检测方法的步骤。
本发明提供的水果糖度检测方法及系统,基于迁移学习的方法,利用自编码器建立了提取苹果近红外光谱数据特征的卷积自编码器模型,解决了深度学习对于数据量需求较大的问题,可以有效提取苹果近红外光谱的特征,并且以这些特征作为输入变量,输入至糖度检测模型,能够有效地实现苹果糖度的高精度、高效率检测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的水果糖度检测方法的流程示意图;
图2是本发明提供的待迁移CAE模型的结构示意图;
图3是本发明提供的提取近红外光谱特征的卷积自编码器模型的结构示意图;
图4是采用现有的深度模型对2014年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图5是采用本发明提供的糖度检测模型对2014年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图6是采用现有的深度模型对2015年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图7是采用本发明提供的糖度检测模型对2015年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图8是采用现有的深度模型对2016年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图9是采用本发明提供的糖度检测模型对2016年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图10是采用现有的深度模型对2017年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图11是采用本发明提供的糖度检测模型对2017年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图12是采用现有的深度模型对2018年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图13是采用本发明提供的糖度检测模型对2018年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图;
图14是本发明提供的水果糖度检测系统的结构示意图;
图15是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明实施例的描述中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合图1-图15描述本发明实施例所提供的水果糖度检测方法和系统。
由于现有的基于全连接网络的糖度检测模型计算量较大,而且随着网络层数的增加容易产生过拟合现象,造成计算速度和鲁棒性的下降。因此,本发明提出基于卷积自编码器(Convolutional Auto-Encoders,CAE)提取水果近红外光谱特征的水果糖度检测方法。
图1是本发明提供的水果糖度检测方法的流程示意图,如图1所示,包括但不限于以下步骤:
步骤11:采集待测水果的近红外光谱数据;
步骤12:将近红外光谱数据输入至糖度检测模型,以根据糖度检测模型的输出结果,获取近红外光谱数据对应的糖度预测值。
其中,糖度检测模型是采用迁移学习的方法,在训练好的待迁移卷积自编码器的基础上构建的。
CAE是采用卷积层代替全连接层,原理和自编码器(Auto-Encoders)一样,均是对输入的数据进行降采样,以提供较小维度潜在表示,并强制自编码器学习象征的压缩版本。
一方面。由于CAE中的卷积层具有共享网络权值这一特点,使得整体网络的训练参数大幅下降,能有效地提高运算速度;加之卷积运算还具有强大的特征提取能力,使得卷积自编码器能够更准确地提取近红外光谱数据的特征。另一方面,利用CAE在训练过程中不断加强学习样本数据本身特征的性质,能有效地提取近红外光谱数据的特征用以建立糖度检测模型,可以实现水果糖度的有效检测。
具体地,在步骤11中,针对任一待测水果(如苹果),可以采用AntarisⅡ傅立叶变换近红外光谱仪(如Thermo Fisher Scientific Inc.USA)采集待测水果在赤道标记点区域的光谱信息,光谱仪的波段范围可以设置为4000-10000cm-1,其扫描次数设置为32,分辨率调整为4cm-1,则每条光谱能采集包括3112个近红外光谱数据点,
将采集的近红外光谱数据点构成一个一维的近红外光谱数据矩阵,并输入至预先训练好的糖度检测模型中。
考虑到用于模型训练的近红外光谱样本数据的数量较小(样本数据的获取较为繁琐,且没有现成的开源数据集),故本发明所提供的糖度检测模型,可以先采用迁移学习的方法来实现模型训练,即先使用一个较大的开源数据集来训练待迁移CAE模型,以提高待迁移CAE模型提取数据特征的能力。待训练完成后,使用训练完成的待迁移CAE模型来构建提取待测水果近红外光谱数据特征的CAE,再利用该CAE提取数据特征,使用PLS算法进行糖度预测。
图2是本发明提供的待迁移CAE模型的结构示意图,如图2所示,待迁移CAE模型利用了传统自编码器的无监督的学习方式,结合了卷积神经网络的卷积和池化操作,从而实现特征提取,其主要组成部分包括:由卷积和池化组成的卷积神经网络以及自编码器。具体地,以输入的数据包含1024个数据点为例进行说明,其主要工作原理为:
将初始数据(OriginaiData,1024*1)输入至待迁移CAE模型的Reshpe层;将获取的一维数据(1@1024*1)输入至卷积层(Conv1D)以获取FeatureMap_1(64@256*1);将FeatureMap_1输入至卷积池化层(Conv1D&MaxPooling1D),获取到FeatureMap_2(32@64*1);将FeatureMap_2继续输入至另一卷积池化层(Conv1D&MaxPooling1D),以获取Feature(16@16*1)。
进一步地,将Feature连续输入至四个上采样逆卷积层(UpSampling&ConvTranspose1D)中,依次获取FeatureMap_3(16@64*1)、FeatureMap_4(32@256*1)、FeatureMap_5(64@1024*1)和FeatureMap_6(1@1024*1)。
最后,将FeatureMap_6输入至Flatten层,以把多维的输入一维化,输出与初始数据对应的一维的数据特征(1024*1)。
本发明提供的水果糖度检测方法,基于迁移学习的方法,利用自编码器建立了提取苹果近红外光谱数据特征的卷积自编码器模型,可以利用开源数据集对其使用迁移学习的方法进行训练,解决了深度学习对于数据量需求较大的问题,可以有效提取苹果近红外光谱的特征,并且以这些特征作为输入变量,输入至糖度检测模型,能够有效地实现苹果糖度的高精度、高效率检测。
基于上述实施例的内容,作为一种可选实施例,所述糖度检测模型,是由提取了近红外光谱特征的卷积自编码器、和基于偏最小二乘法的检测模型构成的。
在完成了待迁移CAE模型的训练后,将其网络参数固定之后,并在其基础上,分别在模型的首尾添加一层卷积层与反卷积层,构建待训练的提取近红外光谱特征的卷积自编码器模型。
图3是本发明提供的提取近红外光谱特征的卷积自编码器模型的结构示意图,如图3所示,所述待训练的提取近红外光谱特征的卷积自编码器模型,以输入的近红外光谱数据包含3112个数据点为例进行说明,其主要工作原理为:
将初始数据(OriginaiData,3112*1)输入至第一Reshape层,然后利用Conv1D层对第一Reshape层的输出(1@3112*1)进行卷积,再见获取的FeatureMap_1(1@1024*1)输入至预先训练好的待迁移CAE模型(Pretrained CAE Model)中以进行数据特征提取,并将提取的数据特征输入至第二Reshape层。
进一步地,将第二Reshape层输出的FeatureMap_2(1@1024*1)输入至上采样ConvTranspose1D层(UpSampling&ConvTranspose1D),以获取FeatureMap_3(1@3112*1)输入至Flatten输出层以把多维的输入一维化,输出与初始数据对应的一维光谱数据预测矩阵(3112*1)。
本发明提供的水果糖度检测方法,利用预训练好的待迁移自编码器建立了提取苹果近红外光谱数据特征的卷积自编码器模型,以利用该建立好的卷积自编码器模型进行数据特征的提取,并且以这些特征作为输入变量,能够有效地实现苹果糖度的高精度、高效率检测。
基于上述实施例的内容,作为一种可选实施例,在将近红外光谱数据输入至糖度检测模型之前,对提取近红外光谱特征的卷积自编码器进行训练,具体包括:
采用CIFAR-100数据集,对待迁移的卷积自编码器进行预训练,获取训练好的待迁移卷积自编码器;
获取多个水果样本,并采集每个所述水果样本在赤道标记点区域的近红外光谱样本数据;
确定每个所述水果样本的糖度标签;
将每个所述水果样本的糖度标签和近红外光谱样本数据的组合作为一个训练样本,构建训练样本集;
将训练好的待迁移卷积自编码器的参数固定,并在其首尾再添加卷积层与反卷积层,构建用以提取近红外光谱特征的卷积自编码器;
使用水果的近红外光谱样本数据集对提取近红外光谱特征的卷积自编码器进行训练,分别将训练样本集中每个近红外光谱样本数据,输入至所述用以提取近红外光谱特征的卷积自编码器,以获取由所述提取近红外光谱特征的卷积自编码器输出的近红外光谱样本数据预测值;
基于每个近红外光谱样本数据的预测值与每个所述水果近红外光谱样本数据之间的均方误差大小,确定所述提取近红外光谱特征的卷积自编码器的最优模型;
分别将训练样本集中每个近红外光谱样本数据,输入至所述提取近红外光谱特征的卷积自编码器的最优模型,以提取每个所述近红外光谱样本数据的数据特征;
分别将每个所述数据特征输入至所述基于偏最小二乘法的检测模型,以获取由所述糖度检测模型输出的样本糖度预测值;
基于每个近红外光谱样本数据的样本糖度预测值与每个所述水果样本的糖度标签,确定所述糖度检测模型的最优主因子,以实现对所述提取近红外光谱特征的卷积自编码器的训练。
基于上述实施例的内容,作为一种可选实施例,采用CIFAR-100数据集,对待迁移的卷积自编码器进行预训练,获取训练好的待迁移卷积自编码器,包括:基于CIFAR-100数据集的训练集,创建多个Epoch,每个Epoch遍历一次所述CIFAR-100数据集的训练集,且每个所述Epoch包括训练集和验证集;依次利用每个训练集对所述待训练的卷积自编码器进行预训练,并利用对应的验证集获取当前网络的预测精度;其中,batch_size为64,学习率为0.0005,激活函数为elu函数,优化器为Adam;获取与最高的当前网络的预测精度相对应的卷积自编码器,作为所述训练好的待迁移卷积自编码器。
具体地,待迁移CAE模型的网络参数的训练过程可以在一块RTX 2080Super显卡上进行,用于训练的训练集可以调用CIFAR-100数据集,例如整个训练的步骤包括:
将整个训练过程,划分为20个Epoch进行,每个Epoch将遍历一次训练集。batch_size设置为64,在每个Epoch中会将整个训练集先随机打乱,然后抽取其中的5%作为验证集,剩余的作为当前Epoch的训练集进行训练。
在当前的Epoch内训练完成后,使用验证集来验证当前网络的优劣,学习率采为0.0005,激活函数选择elu函数,优化器选择Adam。
在进行了20个Epoch的运算后,选择其中的最优者,保存模型以及权重,并查看其训练结果。
本发明实施例提供的水果糖度检测方法,利用卷积自编码器能够准确提取近红外光谱数据相关的数据特征,且可以采用开源训练集进行训练的特点,以利用其进行光谱数据特征提取,仅需要利用糖度检测模型对采集待测水果的近红外光谱数据相关的数据特征进行模型识别,就能准确的获取到相关的糖度预测值,能够有效规避糖度检测模型训练时训练样本少的缺陷,在不损失预测精度的情况下,能够有效地提高检测的效率。
对于整个糖度检测模型的预训练过程包括但不限于以下步骤:
首先,进行水果样本收集,如收集2012到2018年,前后共7个批次具有生理差异的1050个富士苹果,其中2015、2017年的样本为北京昌平某果园采摘,2014年样本为山东泰安某苹果园采摘,其余批次的样本为北京当地超市直接购买。在进行仅红外管光谱数据采集之前,将样本放置在实验室12个小时,使样本温度达到室温以减少环境温度对测量产生影响。
然后,对每个水果样本的近红外光谱数据进行采集,如:采用AntarisⅡ傅立叶变换近红外光谱仪(Thermo Fisher Scientific Inc,USA),分别采集每个苹果样品赤道标记点区域的光谱信息,其波段范围可以设置为4000-10000cm-1,扫描次数设置为32,分辨为率4cm-1,则每条光谱共对应3112个数据点。
进一步地,在完成对每个苹果样本的近红外光谱数据采集之后,使用折光仪进行糖度测定,每个苹果样品从赤道标记点区域切取一定厚度果肉,经过滤挤汁滴于折光仪镜面,读取并记录读数,单位为°Brix。各年份的苹果样本及对应的糖度信息如表1所示:
表1苹果样本及其糖度值分布
Figure BDA0002984126670000121
作为一种可选的实施例,利用Tensorflow和Keras自带的函数库建立CAE模型,模型建立方式为Functional API。
数据集划分方面,从所采集的总的数据中挑选12、13年的数据构建训练集,并将14至18年的数据作为测试集。
考虑到所采集的数据集中的苹果样本数量较小,故采用迁移学习的方法来实现对糖度检测模型的预训练,即先使用一个较大的数据集(如开源数据集)来训练CAE模型提取数据特征的能力,待训练完成后,使用训练完成的CAE模型构建新的CAE来提取光谱数据的特征,再利用该特征,使用PLS算法进行糖度检测模型的建模,构建糖度检测模型。
进一步地,在CAE训练完成后,将其网络参数固定,并在原有模型的基础上,分别在模型的首尾添加一层卷积层与反卷积层,组成新的卷积自编码器(即待训练的提取近红外光谱特征的卷积自编码器模型)。
使用12、13年的苹果近红外光谱数据进行微调,加载微调后的卷积自编码器的输入层至隐层的网络参数,建立初步训练的提取近红外光谱特征的卷积自编码器模型。
然后,将12-18年的近红外光谱数据输入训练后的新的CAE模型,即可得到由其提取的数据特征。将新的CAE提取的数据特征作为输入,使通过10折交互验证的方法验证最小均方根误差,选取最佳主因子数14个建立训练好的糖度检测模型。
由于采集到的苹果光谱,除含有自身化学信息外,往往还包含仪器的噪声以及由于样本自身温度、大小、品质等生理差异而产生的基线漂移、样品表面散射及光程变化等等;且由于神经网络的激活函数不同,对于输入数据的要求也不同,因此在对采集的近红外光谱数据进行分析之前,对光谱进行预处理变得十分关键和必要。
在本发明所提供的水果糖度检测方法中,可以采用归一化(Normalization)的预处理方法,对每一条光谱数据进行处理。
其中,数据的标准化处理是指:将数据按比例缩放,使之落入一个小的特定区间。也可以包括,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。例如:将数据统一映射到[0,1]区间上,标准化在0-1之间是统计的概率分布,标准化在某个区间上是统计的坐标分布。
需要说明的是,目前数据标准化方法有多种,由于不同的标准化方法,对系统的评价结果会产生不同的影响,故本发明所提供的水果糖度检测方法中,可以根据实际检测需求进行选用,对比本发明不作具体的限定。
为了有效地说明本发明所提供的水果糖度检测方法的可行性,本发明实施例一方面采用本发明所提供的水果糖度检测方法对上市实施例中14-18年所采集的苹果近红外光谱进行预测;另一方面,使用现有技术中所记载的10折交互验证与PLS算法相结合,以全光谱作为输入,共选取最佳主因子数24个建立模型,以预测上述苹果近红外光谱相关的糖度值为例进行比对。
图4是采用现有的深度模型对2014年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图,图5是采用本发明提供的糖度检测模型对2014年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图。
图6是采用现有的深度模型对2015年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图,图7是采用本发明提供的糖度检测模型对2015年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图。
图8是采用现有的深度模型对2016年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图,图9是采用本发明提供的糖度检测模型对2016年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图。
图10是采用现有的深度模型对2017年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图,图11是采用本发明提供的糖度检测模型对2017年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图。
图12是采用现有的深度模型对2018年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图,图13是采用本发明提供的糖度检测模型对2018年近红外光谱数据进行预测构建的糖度预测值与糖度实测值散点图。
由图4-图13所示,分别将二者预测到的糖度值与真实测量的糖度值作为纵、横坐标,绘制散点图,并在各图中画出y=x直线,通过查看散点与直线的接近程度,可以直观感受预测结果的好坏,另外通过求取预测到的糖度值与真实测量的糖度值的相关系数(Correlation Coefficient)Rpre、预测均方根误差(Root Mean Squared Error ofPredition)RMSEP并在各图中显示,可以定量描述预测的精度,Rpre越大,RMSEP越小,则预测效果越好。
根据上述对比结果,可以获知,本发明所提供的基于CAE提取特征建立的糖度检测模型与直接用PLS算法建立的模型,在相关系数方面所取得的效果较为相近,在均方根误差方面所取得的效果略好。
图14是本发明提供的水果糖度检测系统的结构示意图,如图14所示,包括但不限于数据获取单元1和糖度预测单元2,其中:
数据获取单元1主要用于采集待测水果的近红外光谱数据;糖度预测单元2中预先存储有糖度检测模型,糖度检测模型是采用迁移学习的方法,在训练好的卷积自编码器的基础上构建的;糖度预测单元2主要用于接收近红外光谱数据,并根据糖度检测模型的输出结果,获取近红外光谱数据对应的糖度预测值。
需要说明的是,本发明实施例提供的水果糖度检测系统,在具体执行时,可以基于上述任一实施例所述的水果糖度检测方法来实现,对此本实施例不作赘述。
本发明提供的利用卷积自编码器提取水果光谱数据特征的系统,与传统的全连接式的自编码器提取光谱数据特征的方法相比,具有更少的网络参数与更快的计算速度,以及更强的特征提取能力。
基于卷积自编码器提取特征而建立的糖度检测模型,在给定的预测范围内,可以实现苹果糖度的有效检测。与传统的PLS算法通过特征波长直接建立的模型相比,预测效果比较接近,但是提取了更多的有效信息。本发明所提供的水果糖度检测系统为实现深度学习在水果近红外光谱分析以及水果内部品质检测中的应用提供了一定的方法参考。
图15是本发明提供的电子设备的结构示意图,如图15所示,该电子设备可以包括:处理器(processor)510、通信接口(CommunicationsInterface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行水果糖度检测方法,该方法包括:采集待测水果的近红外光谱数据;将所述近红外光谱数据输入至糖度检测模型,以根据所述糖度检测模型的输出结果,获取所述近红外光谱数据对应的糖度预测值;其中,所述糖度检测模型是采用迁移学习的方法,在训练好的卷积自编码器的基础上构建的。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的水果糖度检测方法,该方法包括:采集待测水果的近红外光谱数据;将所述近红外光谱数据输入至糖度检测模型,以根据所述糖度检测模型的输出结果,获取所述近红外光谱数据对应的糖度预测值;其中,所述糖度检测模型是采用迁移学习的方法,在训练好的卷积自编码器的基础上构建的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的水果糖度检测方法,该方法包括:采集待测水果的近红外光谱数据;将所述近红外光谱数据输入至糖度检测模型,以根据所述糖度检测模型的输出结果,获取所述近红外光谱数据对应的糖度预测值;其中,所述糖度检测模型是采用迁移学习的方法,在训练好的卷积自编码器的基础上构建的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种水果糖度检测方法,其特征在于,包括:
采集待测水果的近红外光谱数据;
将所述近红外光谱数据输入至糖度检测模型,以根据所述糖度检测模型的输出结果,获取所述近红外光谱数据对应的糖度预测值;
其中,所述糖度检测模型是采用迁移学习的方法,在训练好的待迁移卷积自编码器的基础上构建的。
2.根据权利要求1所述的水果糖度检测方法,其特征在于,所述糖度检测模型是由提取近红外光谱特征的卷积自编码器和基于偏最小二乘法的检测模型构成的。
3.根据权利要求1所述的水果糖度检测方法,其特征在于,在将所述近红外光谱数据输入至糖度检测模型之前,对提取近红外光谱特征的卷积自编码器进行预训练,具体包括:
采用CIFAR-100数据集,对待迁移卷积自编码器进行预训练,获取训练好的待迁移卷积自编码器;
获取多个水果样本,并采集每个所述水果样本在赤道标记点区域的近红外光谱样本数据;
确定每个所述水果样本的糖度标签;
将每个所述水果样本的糖度标签和近红外光谱样本数据的组合作为一个训练样本,构建训练样本集;
将训练好的待迁移卷积自编码器的参数固定,并在其首尾再添加卷积层与反卷积层,得到用以提取近红外光谱特征的卷积自编码器;
使用水果的近红外光谱样本数据集对新添加的层的参数进行训练,分别将训练样本集中每个近红外光谱样本数据,输入至所述用以提取近红外光谱特征的卷积自编码器,以获取由所述提取近红外光谱特征的卷积自编码器输出的近红外光谱样本数据预测值;
基于每个近红外光谱样本数据的预测值与每个所述水果近红外光谱样本数据之间的均方误差大小,确定所述提取近红外光谱特征的卷积自编码器的最优模型;
分别将训练样本集中每个近红外光谱样本数据,输入至所述提取近红外光谱特征的卷积自编码器的最优模型,以提取每个所述近红外光谱样本数据的数据特征;
分别将每个所述数据特征输入至所述基于偏最小二乘法的检测模型,以获取由所述糖度检测模型输出的样本糖度预测值;
基于每个近红外光谱样本数据的样本糖度预测值与每个所述水果样本的糖度标签,确定所述糖度检测模型的最优主因子,以实现对所述提取了近红外光谱特征的卷积自编码器的训练。
4.根据权利要求3所述的水果糖度检测方法,其特征在于,所述采用CIFAR-100数据集,对待迁移卷积自编码器进行预训练,获取训练好的待迁移卷积自编码器,包括:
基于所述CIFAR-100数据集的训练集,创建多个Epoch,每个Epoch内将该训练集按比例划分为Epoch内的训练集和验证集,每个所述Epoch遍历一次所述CIFAR-100数据集的训练集,且每个所述Epoch包括训练集和验证集;
利用每个所述Epoch的训练集对所述待迁移卷积自编码器进行预训练,并利用对应的验证集获取当前网络的预测精度;
其中,batch_size为64,学习率为0.0005,激活函数为elu函数,优化器为Adam;
获取与最高的当前网络的预测精度相对应的卷积自编码器,作为所述训练好的待迁移卷积自编码器。
5.根据权利要求3所述的水果糖度检测方法,其特征在于,所述基于每个近红外光谱样本数据的样本糖度预测值与每个所述水果样本的糖度标签,确定所述糖度检测模型的最优主因子,包括:
通过10折交互验证的方法,根据所述样本糖度预测值与对应的糖度标签的最小均均方根误差,确定所述糖度检测模型的最优主因子。
6.根据权利要求1所述的水果糖度检测方法,其特征在于,所述卷积自编码器是基于Tensorflow和Keras自带的函数库,采用Functional API方式建立的。
7.根据权利要求3所述的水果糖度检测方法,其特征在于,在分别将训练样本集中每个近红外光谱样本数据,输入至所述训练好的卷积自编码器之前,还包括:
对每个近红外光谱样本数据进行Normalization预处理。
8.一种水果糖度检测系统,其特征在于,包括:
数据获取单元,用于采集待测水果的近红外光谱数据;
糖度预测单元中预先存储有糖度检测模型,所述糖度检测模型是采用迁移学习的方法,在训练好的卷积自编码器的基础上构建的;
所述糖度预测单元用于接收所述近红外光谱数据,并根据所述糖度检测模型的输出结果,获取所述近红外光谱数据对应的糖度预测值。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述水果糖度检测方法步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述水果糖度检测方法步骤。
CN202110295363.2A 2021-03-19 2021-03-19 一种水果糖度检测方法及系统 Active CN113030001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110295363.2A CN113030001B (zh) 2021-03-19 2021-03-19 一种水果糖度检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110295363.2A CN113030001B (zh) 2021-03-19 2021-03-19 一种水果糖度检测方法及系统

Publications (2)

Publication Number Publication Date
CN113030001A true CN113030001A (zh) 2021-06-25
CN113030001B CN113030001B (zh) 2022-08-23

Family

ID=76471734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110295363.2A Active CN113030001B (zh) 2021-03-19 2021-03-19 一种水果糖度检测方法及系统

Country Status (1)

Country Link
CN (1) CN113030001B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114002167A (zh) * 2021-11-02 2022-02-01 浙江大学 一种深度学习水果光谱分析模型更新方法
CN114444622A (zh) * 2022-04-11 2022-05-06 中国科学院微电子研究所 一种基于神经网络模型的水果检测系统和方法
CN115684074A (zh) * 2022-10-09 2023-02-03 东北林业大学 一种基于可见近红外光谱和迁移学习的梨品质预测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180341832A1 (en) * 2017-05-24 2018-11-29 Hrl Laboratories, Llc Transfer learning of convolutional neural networks from visible color (rbg) to infrared (ir) domain
US20190087726A1 (en) * 2017-08-30 2019-03-21 The Board Of Regents Of The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN111260576A (zh) * 2020-01-14 2020-06-09 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN111474137A (zh) * 2020-04-27 2020-07-31 无锡雪浪数制科技有限公司 一种基于卷积神经网络的柑橘糖度无损检测方法
CN111693488A (zh) * 2020-06-08 2020-09-22 济南大学 基于ds证据理论融合的水果等级分类方法及系统
CN111814685A (zh) * 2020-07-09 2020-10-23 西安电子科技大学 基于双支路卷积自编码器的高光谱图像分类方法
US20210003700A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for enhancing semantic features of sar image oriented small set of samples

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180341832A1 (en) * 2017-05-24 2018-11-29 Hrl Laboratories, Llc Transfer learning of convolutional neural networks from visible color (rbg) to infrared (ir) domain
US20190087726A1 (en) * 2017-08-30 2019-03-21 The Board Of Regents Of The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
US20210003700A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for enhancing semantic features of sar image oriented small set of samples
CN111260576A (zh) * 2020-01-14 2020-06-09 哈尔滨工业大学 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN111474137A (zh) * 2020-04-27 2020-07-31 无锡雪浪数制科技有限公司 一种基于卷积神经网络的柑橘糖度无损检测方法
CN111693488A (zh) * 2020-06-08 2020-09-22 济南大学 基于ds证据理论融合的水果等级分类方法及系统
CN111814685A (zh) * 2020-07-09 2020-10-23 西安电子科技大学 基于双支路卷积自编码器的高光谱图像分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114002167A (zh) * 2021-11-02 2022-02-01 浙江大学 一种深度学习水果光谱分析模型更新方法
WO2023077569A1 (zh) * 2021-11-02 2023-05-11 浙江大学 一种深度学习水果光谱分析模型更新方法
CN114444622A (zh) * 2022-04-11 2022-05-06 中国科学院微电子研究所 一种基于神经网络模型的水果检测系统和方法
CN114444622B (zh) * 2022-04-11 2022-06-17 中国科学院微电子研究所 一种基于神经网络模型的水果检测系统和方法
CN115684074A (zh) * 2022-10-09 2023-02-03 东北林业大学 一种基于可见近红外光谱和迁移学习的梨品质预测方法
CN115684074B (zh) * 2022-10-09 2024-04-30 东北林业大学 一种基于可见近红外光谱和迁移学习的梨品质预测方法

Also Published As

Publication number Publication date
CN113030001B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN113030001B (zh) 一种水果糖度检测方法及系统
CN107748871B (zh) 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
Li et al. Apple quality identification and classification by image processing based on convolutional neural networks
CN109145992A (zh) 协作生成对抗网络和空谱联合的高光谱图像分类方法
Wu et al. Identification and quantification of counterfeit sesame oil by 3D fluorescence spectroscopy and convolutional neural network
CN102830087A (zh) 基于近红外光谱技术快速鉴别餐饮废弃油脂的方法
CN113049500B (zh) 水质检测模型训练和水质检测方法、电子设备及存储介质
CN113095409A (zh) 基于注意力机制和权值共享的高光谱图像分类方法
CN108444944A (zh) 一种基于近红外漫反射光谱法的首乌粉产地鉴别方法
Devi et al. IoT-deep learning based prediction of amount of pesticides and diseases in fruits
CN114237046B (zh) 一种基于sift数据特征提取算法与bp神经网络模型的局部放电模式识别方法
CN111523587A (zh) 一种基于机器学习的木本植物物种光谱识别方法
CN113903407A (zh) 成分识别方法、装置、电子设备和存储介质
Chen et al. Sugariness prediction of Syzygium samarangense using convolutional learning of hyperspectral images
CN107944474A (zh) 基于局部自适应字典的多尺度协作表达高光谱分类方法
Wang et al. Simultaneous prediction of peach firmness and weight using vibration spectra combined with one-dimensional convolutional neural network
CN109001181A (zh) 一种拉曼光谱典型相关分析融合的食用油种类快速鉴别方法
Gao et al. Mass detection of walnut based on X‐ray imaging technology
Wang et al. SVM classification method of waxy corn seeds with different vitality levels based on hyperspectral imaging
CN111863135A (zh) 一种假阳性结构变异过滤方法、存储介质及计算设备
CN105954206B (zh) 紫玉米叶片花色苷含量的测量方法及系统
CN114778457A (zh) 一种谷物中黄曲霉毒素b1含量检测方法及装置
CN113935413A (zh) 一种基于卷积神经网的配网录波文件波形识别方法
Adeniji et al. A robust 4.0 dual-classifier for determining the internal condition of watermelons using YOLOv4-tiny and sensory
CN113125376A (zh) 一种陈皮年限鉴定方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant