CN111524092A - 一种红茶萎凋程度指标的无损检测方法 - Google Patents

一种红茶萎凋程度指标的无损检测方法 Download PDF

Info

Publication number
CN111524092A
CN111524092A CN202010183049.0A CN202010183049A CN111524092A CN 111524092 A CN111524092 A CN 111524092A CN 202010183049 A CN202010183049 A CN 202010183049A CN 111524092 A CN111524092 A CN 111524092A
Authority
CN
China
Prior art keywords
withering
sample
model
layer
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010183049.0A
Other languages
English (en)
Other versions
CN111524092B (zh
Inventor
董春旺
安霆
杨崇山
刘中原
杨艳芹
王近近
李佳
江用文
袁海波
邓余良
滑金杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tea Research Institute Chinese Academy of Agricultural Sciences
Original Assignee
Tea Research Institute Chinese Academy of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tea Research Institute Chinese Academy of Agricultural Sciences filed Critical Tea Research Institute Chinese Academy of Agricultural Sciences
Priority to CN202010183049.0A priority Critical patent/CN111524092B/zh
Publication of CN111524092A publication Critical patent/CN111524092A/zh
Application granted granted Critical
Publication of CN111524092B publication Critical patent/CN111524092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Economics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及茶叶萎凋程度检测方法技术领域,尤其涉及一种红茶萎凋程度指标的无损检测方法,所述检测方法是将不同程度萎凋的茶叶分别置于工业相机下进行样品图片的拍摄,同时检测萎凋程度指标,对拍摄的样品图片进行预处理,用萎凋叶图片信息和萎凋程度指标数据搭建卷积神经网络数据库,对数据库中的萎凋程度指标进行分类,根据萎凋程度指标分类所得置信度建立红茶萎凋程度指标定量预测模型。本发明的检测方法中建立了基于卷积神经网络置信度的红茶萎凋水分定量预测模型,该模型具有较优的泛化性能和稳定性,可用于红茶萎凋水分的迅速、无损检测中。

Description

一种红茶萎凋程度指标的无损检测方法
技术领域
本发明涉及茶叶萎凋程度检测方法技术领域,尤其涉及一种红茶萎凋程度指标的无损检测方法。
背景技术
萎凋是红茶加工的基础工序,其品质直接影响到成品茶的质量。随着萎凋程度的加深,茶鲜叶逐渐萎蔫,叶色由亮转暗,青草气逐渐消失。通常以萎凋叶的含水量作为萎凋是否过度的评判指标,认为当鲜叶的含水率达到58%-62%时为萎凋适度。在红茶加工生产中,鲜叶的含水率往往通过感官经验判断,而感官经验又会随着判别人员的不同而产生误差。同时,仅通过人的感官经验很难将其划分出具体的量级,因为人对色泽和纹理特征的识别是定性的。显然,传统的检测方法无法实现萎凋叶水分的精准、客观、迅速检测。
机器视觉是通过机器来代替人类视觉,对客观事物的特征信息进行提取并加以分析,最终应用于实际的生产测控中的技术。机器视觉技术在农产品的无损检测上应用十分广泛。近年来,利用机器视觉系统对茶叶的颜色及纹理特征进行提取,并通过提取的特征对茶叶品质定性和定量的研究已有应用。(Chunwang D,Gaozhen L,Bin H,et al.Predictionof Congou Black Tea Fermentation Quality Indices from Color Features UsingNon-Linear Regression Methods[J].Scientific Reports,2018,8(1):10535-.)报道了基于红茶发酵时的颜色特征构建了红茶发酵品质的定量评价模型;(Hongkai Zhu,YangYe,Huafeng He,Chunwang Dong.Evaluation of green tea sensory quality viaprocess characteristics and image information[J].Food and BioproductsProcessing,2017,102.)报道了建立绿茶感官品质评价模型;(Borah,S,Hines,E.L.,Bhuyan,M.,2007.Wavelet transform based image texture analysis for sizeestimation applied to the sorting of tea granules.J.Food Eng.79(2),629–639.)和(Gill,G.S.,Kumar,A.,Agarwal,R.,2013.Nondestructive grading of black teabased on physical parameters by texture analysis.Biosyst.Eng.116(2),198–204.)报道了以茶叶表面的颜色和纹理特征作为输入变量,通过神经网络实现红茶的快速分类。但是,将机器视觉技术应用于红茶萎凋工序中的应用依然较少。(Chen Q,Zhang D,Pan W,et al.Recent developments of green analytical techniques in analysis of tea'squality and nutrition[J].Trends in Food Science&Technology,2015,43(1):63-82.)报道了通过萎凋叶图像的9个颜色特征和6个纹理特征建立水分关联的SVR和PLS模型,表明非线性模型建模效果优于线性模型。(Liang Gaozhen,Dong Chunwang,Hu Bin,ZhuHongkai,Yuan Haibo,Jiang Yongwen,Hao Guoshuang.Prediction of Moisture Contentfor Congou Black Tea Withering Leaves Using Image Features and NonlinearMethod.[J].Scientific reports,2018,8(1).)报道了运用photoshop滤镜模糊算法提取萎凋叶9个颜色特征,探究萎凋叶颜色特征随萎凋程度的变化关系。此类方法都是以颜色特征和纹理特征作为模型的输入,忽略了原始图像中与水分关联的其他信息,导致所建模型的泛化性能和稳定性不高。
发明内容
有鉴于此,本发明的目的是提供一种红茶萎凋程度指标的无损检测方法,该方法建立了基于卷积神经网络置信度的红茶萎凋水分定量预测模型,该模型具有较优的泛化性能和稳定性,可用于红茶萎凋水分的迅速、无损检测中。
本发明通过以下技术手段解决上述技术问题:
一种红茶萎凋程度指标的无损检测方法,所述检测方法是将不同萎凋程度的茶叶分别置于工业相机下进行样品图片的拍摄,同时检测萎凋程度指标,对拍摄的样品图片进行预处理,用萎凋叶图片信息和萎凋程度指标数据搭建卷积神经网络数据库,对卷积神经网络数据库中的萎凋程度指标进行分类,根据萎凋程度指标分类所得置信度建立红茶萎凋程度指标定量预测模型。
进一步,所述检测方法包括以下步骤:
S1.样品图片的拍摄,将不同萎凋时间节点的茶叶样品,分别通过样品池置于工业相机下,拍摄得到不同萎凋时间节点下的样品图片;
S2.样品萎凋程度指标的检测,检测不同萎凋时间节点萎凋叶的萎凋程度指标;
S3.对拍摄的样品图片进行预处理,得到翻倍的样品图片;
S4.卷积神经网络数据库的建立,将S3预处理后的图片随机挑出总量的1%~2%图片作为外部验证样本,剩余图片与S2步骤的不同萎凋时间下茶叶样品的萎凋程度指标数据建立卷积神经网络数据库,通过卷积神经网络数据库对外部验证样本进行萎凋程度指标分类,得到该样本在各个萎凋程度指标下所占置信度,每一个萎凋程度指标与其置信度相乘,最后再将各个相乘结果累加,作为该输入样本萎凋程度指标的预测值,根据预测样本相关系数判断预测模型的性能;
S5.萎凋样品程度指标的快速检测,通过数据线连接到电脑客户端,对拍摄的萎凋样品图片进行实时传输,结合采集软件写入的预测模型,在软件界面端实时分析萎凋样本萎凋程度指标的预测值,实现红茶萎凋过程中萎凋程度指标的定量快速检测。
进一步,所述S1步骤中不同萎凋时间节点为萎凋0h至萎凋11h中的每个整点时刻,共12个萎凋时间节点。
进一步,所述工业相机光谱成像范围为可见光、近红外或远红外波段。
进一步,所述S1步骤中图片拍摄的条件为选用DOME单色纯白弧形光源,强度为1000勒克斯(lx),曝光时间0.09s,分辨率1080像素*1080像素。
进一步,所述萎凋程度指标为不同萎凋时间节点下萎凋叶的含水率值,所述含水率值采用水分测定仪测定。
进一步,所述萎凋程度指标预测值表达式为:
Figure BDA0002413235210000031
Y表示萎凋叶水分预测值,Yi表示输入水分值的标签,Ni表示输入每一个卷积神经网络输出的水分值标签的置信度。
进一步,所述S3步骤中的图片预处理包括对图片进行平移、翻转、旋转、随机颜色处理。
进一步,所述S4步骤中的剩余图片样本按照8:2的比例划分为训练集、测试集用于构建卷积神经网络数据库。
进一步,所述卷积神经网络数据库结构包括5个卷积层,2个最大池化层,1个softmax层,1个全连接层,1个损失函数层。
进一步,所述卷积神经网络数据库结构顺序为卷积层1,卷积层2,最大池化层1,卷积层3,卷积层4,最大池化层2,卷积层5,全连接层,softmax层。
进一步,所述卷积层卷积滤波器的像素大小为(3×3)~(13×13),卷积滤波器的数目为128~512,卷积步长为1~3。
进一步,五个所述卷积层卷积滤波器的像素大小分别为11×11、7×7、7×7、5×5、3×3,各卷积滤波器的数目分别为64、128、32、32、16,卷积步长均为1。
进一步,所述最大池化层中,池化区域大小为4×4,池化步长为2。
进一步,所述全连接层结点为3844。
进一步,所述S4步骤中判断预测模型的性能标准如下:预测样本相关系数>95%时,模型能够极好预测萎凋叶的萎凋程度指标;预测样本相关系数位于90%~95%,预测模型预测效果较好,能够用于样品的定量分析;预测样本相关系数位于80%~90%,预测模型能够对样品做粗略预测和关联评估;预测样本相关系数<80%时,模型不能预测萎凋叶的萎凋程度指标。
本发明的红茶萎凋程度指标检测方法中所建的萎凋叶含水率的CNN模型,以原始图片作为模型输入,尽可能多的保留了图像的原始信息,再通过卷积层进行特征信息的提取,将原始图像中与水分相关联的特征信息尽可能多的参与模型中,因此本发明提出的CNN模型具有更强的概括能力,相对于传统的线性模型PLS和非线性模型SVR拥有更强的预测能力。
本发明中的CNN模型的外部验证集相关系数Rp为0.9957,外部验证集均方根误差RMSEP为0.0059,相对标准偏差RPD为9.5781,该模型对萎凋叶的含水率具有极强的预测能力;该模型的外部验证集绝对误差均小于0.0015,说明该模型具有较强的鲁棒性和泛化能力。本发明提出的CNN模型更好的表征了图像与水分之间的关联性,具有较优的泛化性能和稳定性,可用于红茶萎凋水分的迅速、无损检测中。
附图说明
图1是本发明使用的图像采集获取系统及算法流程示意图,其中,电脑客户端1,图像采集系统2,样品池3;
图2为实施例1经过一层卷积提取的特征图像;
图3为实施例1的萎凋叶的原始图像(a)以及经过两个池化层之后输出的图像(b);
图4为基于置信度的CNN关联模型外部验证集实测值与预测值散点图(a)外部验证集预测误差图(b);
图5为对比实施例中PLS线性模型的误差值与不同主成分之间的关系图(a),以及预测值与实测值散点分布图(b);
图6为对比实施例中SVR非线性模型的参数优化过程图(a),以及测试集实测值与预测值散点图(b)。
具体实施方式
以下将结合附图和具体实施例对本发明进行详细说明:
本发明的一种红茶萎凋程度指标的无损检测方法,包括以下步骤:
S1.样品图片的拍摄,将不同萎凋时间节点的茶叶样品,分别通过样品池3置于工业相机下,拍摄得到不同萎凋时间节点下的样品图片;
S2.样品萎凋程度指标的检测,检测不同萎凋时间节点萎凋叶的萎凋程度指标;
S3.对拍摄的样品图片进行预处理,得到翻倍的样品图片;
S4.卷积神经网络数据库的建立,将S3预处理后的图片随机挑出总量的1%~2%图片作为外部验证样本,剩余图片与S2步骤的不同萎凋时间下茶叶样品的萎凋程度指标数据建立卷积神经网络数据库,通过卷积神经网络数据库对外部验证样本进行萎凋程度指标分类,得到该样本在各个萎凋程度指标下所占置信度,每一个萎凋程度指标与其置信度相乘,最后再将各个相乘结果累加,作为该输入样本萎凋程度指标的预测值,根据预测样本相关系数判断预测模型的性能;
S5.萎凋样品程度指标的快速检测,通过数据线连接到电脑客户端1,对拍摄的萎凋样品图片进行实时传输,结合采集软件写入的预测模型,在软件界面端实时分析萎凋样本萎凋程度指标的预测值,实现红茶萎凋过程中萎凋程度指标的定量快速检测。
具体如下:
实施例1
本发明使用的CNN(卷积神经网络)模型的建立过程如下:
CNN模型的输入为图像采集获取系统采集到的原始图片,为滤波级提供更多的原始信息,所输入图片的初始尺寸为1080*1080*3,所提出的CNN模型共有10层,包含5个卷积层,2个最大池化层,1个softmax层,1个全连接层、1个损失函数层,其结构顺序为卷积层1、卷积层2、最大池化层1、卷积层3、卷积层4、最大池化层2、卷积层5、全连接层、softmax层。其中,卷积层卷积滤波器的像素大小为(3×3)~(13×13),卷积滤波器的数目为128~512,卷积步长为1~3,本实施例优选卷积层卷积滤波器的像素大小分别为11×11、7×7、7×7、5×5、3×3,各卷积滤波器的数目分别为64、128、32、32、16,卷积步长均为1。由此构建的卷积神经网络数据库结构如表1所示。
Figure BDA0002413235210000051
表1
卷积层提取输入信号中的特征信息,通过权值共享,CNN的卷积层参数减少,避免参数过多而造成的过拟合现象,卷积运算公式如式(1)所示:
Figure BDA0002413235210000052
式中Kl(j')表示第l层的第i个卷积核的第j’个权值;xl(j+j')第l层中第j个被卷积的局部区域;W表示卷积核的宽度。
随着神经网络层数不断增加,误差值无法向下传播,从而底层网络训练不透,出现梯度弥散现象,而ReLU函数能很好克服梯度弥散现象,因此本发明选用ReLU作为激活函数,其具体表达式如式(2)所示:
al(i,j)=f(yl(i,j))=max{0,yl(i,j)} (2)
式中al(i,j)表示卷积层输出yl(i,j)的激活值。
本发明的研究载体为萎凋叶,相邻时刻萎凋叶的特征变化不明显,因此需要突出最明显的特征信息,由此选用最大池化的方式对卷积神经网络进行降采样操作,最大池化层数学描述方式如式(3)所示:
Figure BDA0002413235210000061
式中al(i,t)表示第l层第i帧第t个神经元的激活函数;W表示池化区域的宽度。
全连接层是将滤波级提取的特征信息与输出层进行全连接,然后再通过输出层进行分类。全连接层正向传播公式如式(4)所示。在本发明提出的方法中使用softmax作为输出层的激活函数。当l+1层为输出层时,输出层激活函数softmax表达式如式(5)所示:
Figure BDA0002413235210000062
Figure BDA0002413235210000063
式中j为分类标签,qj为分类结果。
损失函数层用来评价神经网络输出结果与目标值的一致性。本发明选择交叉熵损失函数作为目标函数,其数学表达式如式(6)所示:
Figure BDA0002413235210000064
为了进一步优化损失函数跳过最优点以及收敛速度慢的问题,本发明采用RMSProp(RootMean Square Prop)算法对权重W和偏置b的梯度使用微分平方加权平均数。RMSProp用窗口滑动加权平均值计算二阶动量,解决了传统Adagrad优化算法学习率急剧下降的问题。
第t轮迭代过程中,各个公式如式(7)-(10)所示:
sdw=βsdw+(1-β)dW2 (7)
sdb=βsdb+(1-β)db2 (8)
Figure BDA0002413235210000071
Figure BDA0002413235210000072
在上面的公式中sdw和sdb分别是损失函数在前t-1轮迭代过程中累积的梯度动量,β是梯度累积的一个指数。所不同的是,RMSProp算法对梯度计算了微分平方加权平均数。一般用这种做法修正摆动幅度,使得各个维度的摆动幅度都较小。另一方面也提高了函数的收敛速度。(比如当dW或者db中有一个值比较大的时候,那么我们在更新权重或者偏置的时候除以它之前累积的梯度的平方根,这样就可以使得更新幅度变小)。为了防止分母为零,取一个很小的数值∈做平滑处理,一般∈取值为10-8
本发明以12个时序下1080*1080的萎凋叶原始图像像素矩阵作为模型输入,以萎凋叶水分预测值作为输出。由于置信度给出的是被测量参数的测量值的可信程度,所以与传统的CNN相比,本发明所提出基于置信度的分类结果定量分析思想,即根据分类结果,每一个水分值标签与其置信度相乘,最后再将12个水分值与置信度相乘的结果累加,作为输入样本的预测值。其表达式如式(11)所示:
Figure BDA0002413235210000073
其中Y表示萎凋叶水分预测值,Yi表示输入水分值的标签,Ni表示输入每一个水分值标签的置信度。
本实施例采用如图1所示的图像采集获取系统,包括电脑客户端1、图像采集系统2和样品室3,电脑客户端1、图像采集系统2通过数据线连接进行信号传输,图像采集系统2作为红茶萎凋实验图像取样系统,主要包括工业专用相机、弧形光源、支架。工业专用相机型号为FI-S200C-G,其中镜头为4mm低畸变镜头,传感器为1/2.8CMOS图像传感器,工业相机光谱成像范围可以是可见光、近红外或远红外波段,分辨率为1080像素*1080像素,曝光时间为0.09ms。光源优先选用DOME单色纯白弧形光源,强度为1000勒克斯(lx)。样品图像采集完后以bmp格式保存。
具体的图像采集获取过程如下:将样品放置于15cm*15cm的样品池中,置于DOME单色纯白弧形光源下,使电脑界面图像显示窗口被样品完全填充,样本图像采集完之后,图片自动存储在指定的文件夹下,此时将保存图片转换为jpg格式并保存。样本图像采集完毕后按照图1所示算法流程进行萎凋叶含水量预测。
在实验数据处理的硬件方面,本实施例选用AMAX XR-28201GK的GPU高性能计算服务器,含Intel(R)Xeon(R)E5-2699 v4(2.2GHz,22Core/44 Threads,20MB)计算核心。服务器内存为96GB,共计44个双线程核心,4TB硬盘;本次样本数据集基于TensorFlow框架运行。
本实施例以茶鲜叶为研究对象,品种为金观音,嫩度为1芽2叶。萎凋装置为人工气候箱,气候箱内温度控制在30℃,相对湿度控制在50%。从萎凋0h开始取样至萎凋11h,萎凋过程中每间隔1h取一次样品,总共12个萎凋时间节点,每个时间节点取15组样品进行图像采集,并使用水分测定仪(MA35M-000230V1,Sartorious)测定每一时间节点下萎凋叶的水分值,该过程每个时间节点做3次重复,取每个时间节点萎凋叶的三次水分值的平均值作为该时间节点下样品对应的水分值。萎凋11h后,萎凋叶含水量由76%降至58%,共采集12个时间节点下的180张萎凋样品图像。
将180张萎凋样品图像进行平移、旋转、翻转和随机颜色四个数据增强预处理步骤,以起到数据增强的作用,从而增加训练的数据量,提高所建立模型的泛化能力,以及增加噪声数据,提升模型的鲁棒性。四个数据增强预处理步骤具体如下:
平移,在图像平面上对图像以一定方式进行平移。平移具体是将图像沿着x或者y方向(或者两个方向)移动。在平移的时候需对背景进行假设,比如说假设为黑色等等,因为平移的时候有一部分图像是空的,由于图片中的物体可能出现在任意的位置,所以说平移增强方法十分有效。
翻转图像,沿着水平和垂直方向翻转图像。
旋转角度,随机旋转图像一定角度,改变图像内容的朝向。本实施例对原始图像分别作90度、180度和270度旋转处理。
随机颜色,对图像进行颜色抖动,对图像的每个像素RGB进行随机扰动,常用的噪声模式是椒盐噪声和高斯噪声。
经过平移、旋转、翻转和随机颜色四个数据增强处理步骤后,图像样本由180个增至3060个。从中抽取45张样本图片作为外部验证集,剩余的样本按照8:2的比例划分为训练集和验证集。因此,共有3015张样本图片作为CNN模型的输入,其中训练集包含2412个样本,验证集包含603个样本。并以测得的12个时间节点下的萎凋叶水分值作为模型的靶向目标。所输入CNN模型的萎凋叶图像都是通过图像采集获取系统所采集的原始图像,输入像素大小为1080*1080,格式为jpg。输出为各水分标签根据公式(11)所得出的预测值。
凋叶含水率的CNN模型建立:
根据萎凋叶含水率数据集建立CNN模型,以下是模型的具体参数设定及优化部分:
训练次数:训练次数即对模型进行多少次的训练,训练次数太少分类效果差,但是训练次数太多则会导致浪费时间,在本实施例中,先使用一个较小的数据量进行试训练,经过观察发现10000次的训练次数基本能让模型达到训练稳定,故而综合考虑后选择10000次作为训练次数。同时将学习率设置在[0.001,0.1]之间,通过RMSProp算法自适应计算学习率。图2展示了经过一层卷积提取的特征图像。
为了更直观的理解本发明建立的CNN模型,本实施例展示了萎凋叶的原始图像以及经过两个池化层之后输出的图像,如图3所示。图中的数字表示特征图的尺寸。在图3中,可以清楚的看到max pooling layer的降采样功能,经过max pooling layer需要处理的特征图元素个数就会减半,从而减小了因元素个数过多而导致模型过拟合的可能性。
为了更好的对模型做出评价,本实施例选用12个萎凋时刻下45张未参与CNN模型训练的萎凋叶图像作为模型的外部验证集,以外部验证集的相关系数(Rp)、外部验证集的均方根误差(RMSEP)作为模型预测性能的评价指标。通常来说,Rp的值越大,RMSEP的值越小,模型预测性能越好,但是,当两个模型的Rp值与RMSEP值十分接近时,模型的性能不能直观的反映给我们。因此本实施例引入relative percent deviation(RPD)作为预测模型综合评价指标。RPD表示标准偏差与预测均方根误差的比值,RPD的值越大说明模型预测效果越好。当RPD>2时,表示模型对于该样品具有极好的预测能力;而RPD<1.4时,表明模型不适用于该样品的预测。
在萎凋叶的数据集中,经过10000次迭代训练后,对所得模型进行外部训练集测试。提出模型的外部验证集相关系数Rp为0.9957,外部验证集均方根误差RMSEP为0.0059,相对标准偏差RPD为9.5781。由于模型的RPD>2,说明本发明提出的模型对萎凋叶的含水率具有极强的预测能力。如图4(a)所示,我们展示了45个外部验证集预测值与实测值的散点图,从图中可以看出,模型在接受45个从未在训练集出现过的样本时,所得出预测值与实际值基本重合,且外部验证集绝对误差均<0.0015,如图4(b)所示,说明模型具有较强的鲁棒性和泛化能力。
对比实施例
将本发明提出的CNN模型与传统的线性模型偏最小二乘回归(PLS)、非线性模型支持向量机(SVR)的预测效果进行比较。将PLS模型与SVR模型作为典型的线性模型与非线性模型的代表,以180张萎凋叶图像的12个颜色特征和6个纹理特征作为模型输入,以12个时刻的水分值作为模型的输出。根据马氏距离的Kennard-Stone(KS)法,从180张萎凋叶图像中选出135张作为模型的训练集,剩余的45张作为模型测试集。12个颜色特征变量分别为:红色通道均值(R)、绿色通道均值(G)、蓝色通道均值(B)、色调均值(H)、饱和度均值(S)、亮度均值(V)、明度分量均值(L*)、a*分量均值(a*)、b*分量(b*)、超绿变换(2G-R-B)、红色通道均值与绿色通道均值的比值(R/G)和颜色角hab*。6个纹理特征分别为:平均灰度值(m)、标准差(δ)、平滑度(r)、三阶矩(μ)、一致性(U)、熵(e)。萎凋叶图像的颜色特征与纹理特征基于Matlab GUI模块开发图像处理模块(软件著作权号:2014SR149549)提取。关于萎凋叶含水量的偏最小二乘回归(PLS)与支持向量机回归(SVR)模型分析如下:
1.PLS线性模型
PLS作为典型的线性回归模型,可有效解决多重共线性问题。如图5(a)所示,表示模型误差值与选取不同主成分数之间的关系,当主成分数NPC为8时,模型的RMSEV值最低,所得模型的Rp值为0.9637,RMSEP值为0.0215,RPD值为2.8799,误差值在0.06以内。表明建立的PLS模型对萎凋叶的含水量具有较好的预测功能。预测值与实测值散点分布如图5
(b)所示。
2.SVR非线性模型
本研究使用LIBSVM工具箱创建支持向量机回归模型(SVR),选取RBF作为核函数,以12个时刻下萎凋叶图像中18个特征变量的10个主成分作为模型输入变量,以萎凋叶图片对应的水分值作为模型输出,对SVR模型中的惩罚因子(c)和核函数参数(g)做交叉验证优化,其优化过程如图6(a)所示。由图6可知,当c=0.14359,g=0.32988时,训练模型误差值最低(0.0085)。模型预测集的Rp值为0.9708,RMSEP值为0.0118,RPD值为4.1491。其测试集预测值与实测值散点图如图6(b)所示。
3.模型对比与分析
将线性模型PLS、非线性模型SVR与本发明提出的CNN模型做对比,其结果如表2所示:
Figure BDA0002413235210000101
表2
结果表明,三种模型的RPD值均在2以上,说明三种模型对于萎凋叶含水量的预测都有极好的预测能力。但对于三种模型的测试集相关系数RP、均方根误差RMSEP而言,显然本发明提出的CNN模型拥有最大的RP值和最小的RMSEP值,是三种模型中的最优模型。另外根据图4(a)、图5(b)和图6(b)所示的模型外部验证集实测值与预测值的散点图可以得出典型的线性模型PLS与非线性模型SVR预测值与实测值之间的分散性较强,这说明PLS模型与SVR模型的泛化能力较差,无法对外部验证的独立样本进行准确的预测,与传统典型的线性模型PLS非线性模型SVR相比,本发明提出的CNN模型具有较强的泛化能力。
随着萎凋程度的加深,萎凋叶内部一系列物理变化以及化学反应也在有序的进行。例如:叶绿素在叶绿素酸酯水解酶的作用下,生成叶绿素酸酯(Cda、Cdb)和叶绿醇,导致萎凋叶的颜色发生变化。同时,鲜叶随着萎凋叶的不断失水,会发生叶面积减小和叶质变软等物理变化,这也导致了萎凋叶的纹理特征发生变化。但是颜色特征与纹理特征都属于全局特征,无法描述图像中的某一个具体对象或物体,忽略了原始图像中其他与水分相关的因素。而本发明提出的CNN模型以原始图像作为模型输入,尽可能多的保留了图像的原始信息,再通过卷积层进行特征信息的提取,将原始图像中与水分相关联的特征信息尽可能多的参与到模型中。因此,本发明提出的CNN模型具有更强的概括能力,相对于传统的线性模型PLS与非线性模型SVR拥有更强的预测能力。
以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (16)

1.一种红茶萎凋程度指标的无损检测方法,其特征在于,所述检测方法是将不同萎凋程度的茶叶分别置于工业相机下进行样品图片的拍摄,同时检测萎凋程度指标,对拍摄的样品图片进行预处理,用萎凋叶图片信息和萎凋程度指标数据搭建卷积神经网络数据库,对卷积神经网络数据库中的萎凋程度指标进行分类,根据萎凋程度指标分类所得置信度建立红茶萎凋程度指标定量预测模型。
2.根据权利要求1所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述检测方法包括以下步骤:
S1.样品图片的拍摄,将不同萎凋时间节点的茶叶样品,分别通过样品池置于工业相机下,拍摄得到不同萎凋时间节点下的样品图片;
S2.样品萎凋程度指标的检测,检测不同萎凋时间节点萎凋叶的萎凋程度指标;
S3.对拍摄的样品图片进行预处理,得到翻倍的样品图片;
S4.卷积神经网络数据库的建立,将S3预处理后的图片随机挑出总量的1%~2%图片作为外部验证样本,剩余图片与S2步骤的不同萎凋时间下茶叶样品的萎凋程度指标数据建立卷积神经网络数据库,通过卷积神经网络数据库对外部验证样本进行萎凋程度指标分类,得到该样本在各个萎凋程度指标下所占置信度,每一个萎凋程度指标与其置信度相乘,最后再将各个相乘结果累加,作为该输入样本萎凋程度指标的预测值,根据预测样本相关系数判断预测模型的性能;
S5.萎凋样品程度指标的快速检测,通过数据线连接到电脑客户端,对拍摄的萎凋样品图片进行实时传输,结合采集软件写入的预测模型,在软件界面端实时分析萎凋样本萎凋程度指标的预测值,实现红茶萎凋过程中萎凋程度指标的定量快速检测。
3.根据权利要求2所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述S1步骤中不同萎凋时间节点为萎凋0h至萎凋11h中的每个整点时刻,共12个萎凋时间节点。
4.根据权利要求2所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述工业相机光谱成像范围为可见光、近红外或远红外波段。
5.根据权利要求4所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述S1步骤中图片拍摄的条件为选用DOME单色纯白弧形光源,强度为1000勒克斯,曝光时间0.09s,分辨率1080像素*1080像素。
6.根据权利要求1或2所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述萎凋程度指标为不同萎凋时间节点下萎凋叶的含水率值,所述含水率值采用水分测定仪测定。
7.根据权利要求6所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述萎凋程度指标预测值表达式为:
Figure FDA0002413235200000021
Y表示萎凋叶水分预测值,Yi表示输入水分值的标签,Ni表示输入每一个卷积神经网络输出的水分值标签的置信度。
8.根据权利要求2所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述S3步骤中的图片预处理包括对图片进行平移、翻转、旋转、随机颜色处理。
9.根据权利要求2所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述S4步骤中的剩余图片样本按照8:2的比例划分为训练集、测试集用于构建卷积神经网络数据库。
10.根据权利要求2所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述卷积神经网络数据库结构包括5个卷积层,2个最大池化层,1个softmax层,1个全连接层,1个损失函数层。
11.根据权利要求10所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述卷积神经网络数据库结构顺序为卷积层1、卷积层2、最大池化层1、卷积层3、卷积层4、最大池化层2、卷积层5、全连接层、softmax层。
12.根据权利要求11所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述卷积层卷积滤波器的像素大小为(3×3)~(13×13),卷积滤波器的数目为128~512,卷积步长为1~3。
13.根据权利要求12所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,五个所述卷积层卷积滤波器的像素大小分别为11×11、7×7、7×7、5×5、3×3,各卷积滤波器的数目分别为64、128、32、32、16,卷积步长均为1。
14.根据权利要求13所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述最大池化层中,池化区域大小为4×4,池化步长为2。
15.根据权利要求14所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述全连接层结点为3844。
16.根据权利要求2-15任一项所述的一种红茶萎凋程度指标的无损检测方法,其特征在于,所述S4步骤中判断预测模型的性能标准如下:预测样本相关系数>95%时,模型能够极好预测萎凋叶的萎凋程度指标;预测样本相关系数位于90%~95%,预测模型预测效果较好,能够用于样品的定量分析;预测样本相关系数位于80%~90%,预测模型能够对样品做粗略预测和关联评估;预测样本相关系数<80%时,模型不能预测萎凋叶的萎凋程度指标。
CN202010183049.0A 2020-03-16 2020-03-16 一种红茶萎凋程度指标的无损检测方法 Active CN111524092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183049.0A CN111524092B (zh) 2020-03-16 2020-03-16 一种红茶萎凋程度指标的无损检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183049.0A CN111524092B (zh) 2020-03-16 2020-03-16 一种红茶萎凋程度指标的无损检测方法

Publications (2)

Publication Number Publication Date
CN111524092A true CN111524092A (zh) 2020-08-11
CN111524092B CN111524092B (zh) 2024-03-12

Family

ID=71901552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183049.0A Active CN111524092B (zh) 2020-03-16 2020-03-16 一种红茶萎凋程度指标的无损检测方法

Country Status (1)

Country Link
CN (1) CN111524092B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113552089A (zh) * 2021-07-06 2021-10-26 中国农业科学院茶叶研究所 一种红茶萎凋程度数字化的无损检测方法
WO2023071759A1 (zh) * 2021-10-26 2023-05-04 江苏时代新能源科技有限公司 一种极片打皱检测方法、系统、终端及存储介质
CN116912606A (zh) * 2023-09-14 2023-10-20 网思科技股份有限公司 基于卷积神经网络的茶饼受潮分析方法、装置及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389255A (zh) * 2013-08-05 2013-11-13 浙江大学 基于近红外高光谱纹理特征建模的预测茶叶含水率的方法
CN103913433A (zh) * 2014-04-04 2014-07-09 浙江大学 一种丹红注射液双效浓缩过程在线检测方法
CN104304521A (zh) * 2014-09-19 2015-01-28 浙江工业大学 一种基于看茶做茶的茶叶萎凋方法
CN106018327A (zh) * 2016-06-23 2016-10-12 北京农业信息技术研究中心 基于太赫兹波的植物叶片含水量检测方法和系统
CN106290230A (zh) * 2016-07-26 2017-01-04 安徽农业大学 一种近红外光谱结合化学成分的红茶萎凋程度的判别方法
JP2017083425A (ja) * 2016-07-19 2017-05-18 パナソニックIpマネジメント株式会社 植物水分量評価装置及び植物水分量評価方法
CN107505358A (zh) * 2017-09-14 2017-12-22 中国农业科学院茶叶研究所 一种基于电特性参数的红茶发酵品质指标的检测方法
CN108444924A (zh) * 2018-03-07 2018-08-24 安徽农业大学 一种应用高光谱图像技术判别茶叶贮藏期的方法
CN109002855A (zh) * 2018-07-20 2018-12-14 长沙湘丰智能装备股份有限公司 一种基于卷积神经网络的红茶发酵程度的鉴定方法
CN109492701A (zh) * 2018-11-21 2019-03-19 中国农业科学院茶叶研究所 一种工夫红茶萎凋适度性判别方法及系统
CN109740679A (zh) * 2019-01-13 2019-05-10 胡燕祝 一种基于卷积神经网络和朴素贝叶斯的目标识别方法
CN109782007A (zh) * 2019-03-06 2019-05-21 安徽农业大学 一种基于集成算法的茶叶鲜叶等级评定方法
CN209198330U (zh) * 2018-11-21 2019-08-02 中国农业科学院茶叶研究所 一种茶叶萎凋水分检测装置
CN110567889A (zh) * 2019-09-12 2019-12-13 中国计量大学 一种基于光谱成像和深度学习技术的鲜茧含水率的无损检测方法
CN110827273A (zh) * 2019-11-14 2020-02-21 中南大学 一种基于区域卷积神经网络的茶叶病害检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389255A (zh) * 2013-08-05 2013-11-13 浙江大学 基于近红外高光谱纹理特征建模的预测茶叶含水率的方法
CN103913433A (zh) * 2014-04-04 2014-07-09 浙江大学 一种丹红注射液双效浓缩过程在线检测方法
CN104304521A (zh) * 2014-09-19 2015-01-28 浙江工业大学 一种基于看茶做茶的茶叶萎凋方法
CN106018327A (zh) * 2016-06-23 2016-10-12 北京农业信息技术研究中心 基于太赫兹波的植物叶片含水量检测方法和系统
JP2017083425A (ja) * 2016-07-19 2017-05-18 パナソニックIpマネジメント株式会社 植物水分量評価装置及び植物水分量評価方法
CN106290230A (zh) * 2016-07-26 2017-01-04 安徽农业大学 一种近红外光谱结合化学成分的红茶萎凋程度的判别方法
CN107505358A (zh) * 2017-09-14 2017-12-22 中国农业科学院茶叶研究所 一种基于电特性参数的红茶发酵品质指标的检测方法
CN108444924A (zh) * 2018-03-07 2018-08-24 安徽农业大学 一种应用高光谱图像技术判别茶叶贮藏期的方法
CN109002855A (zh) * 2018-07-20 2018-12-14 长沙湘丰智能装备股份有限公司 一种基于卷积神经网络的红茶发酵程度的鉴定方法
CN109492701A (zh) * 2018-11-21 2019-03-19 中国农业科学院茶叶研究所 一种工夫红茶萎凋适度性判别方法及系统
CN209198330U (zh) * 2018-11-21 2019-08-02 中国农业科学院茶叶研究所 一种茶叶萎凋水分检测装置
CN109740679A (zh) * 2019-01-13 2019-05-10 胡燕祝 一种基于卷积神经网络和朴素贝叶斯的目标识别方法
CN109782007A (zh) * 2019-03-06 2019-05-21 安徽农业大学 一种基于集成算法的茶叶鲜叶等级评定方法
CN110567889A (zh) * 2019-09-12 2019-12-13 中国计量大学 一种基于光谱成像和深度学习技术的鲜茧含水率的无损检测方法
CN110827273A (zh) * 2019-11-14 2020-02-21 中南大学 一种基于区域卷积神经网络的茶叶病害检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张宪;贾广松;赵章风;钟江;乔欣;: "基于多光谱图像参数的茶叶摊青评价模型研究", 浙江工业大学学报, no. 02, 25 April 2017 (2017-04-25) *
李晓丽;程术希;何勇;: "基于漫反射光谱的初制绿茶含水率无损检测方法", 农业工程学报, no. 05, 31 May 2010 (2010-05-31) *
胡宗华;梁高震;安霆;董春旺;: "基于机器视觉的工夫红茶萎凋叶水分检测方法", 中国茶叶, no. 01, 15 January 2020 (2020-01-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113552089A (zh) * 2021-07-06 2021-10-26 中国农业科学院茶叶研究所 一种红茶萎凋程度数字化的无损检测方法
WO2023071759A1 (zh) * 2021-10-26 2023-05-04 江苏时代新能源科技有限公司 一种极片打皱检测方法、系统、终端及存储介质
CN116912606A (zh) * 2023-09-14 2023-10-20 网思科技股份有限公司 基于卷积神经网络的茶饼受潮分析方法、装置及存储介质
CN116912606B (zh) * 2023-09-14 2024-01-05 网思科技股份有限公司 基于卷积神经网络的茶饼受潮分析方法、装置及存储介质

Also Published As

Publication number Publication date
CN111524092B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
Kukreja et al. A Deep Neural Network based disease detection scheme for Citrus fruits
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111524092B (zh) 一种红茶萎凋程度指标的无损检测方法
CN111968080B (zh) 一种基于高光谱和深度学习的肥城桃内外品质检测方法
Feng et al. Detection of subtle bruises on winter jujube using hyperspectral imaging with pixel-wise deep learning method
CN110276386A (zh) 一种基于机器视觉的苹果分级方法及系统
CN107909008A (zh) 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法
CN109740485B (zh) 基于光谱分析和深度卷积神经网络的水库或塘坝识别方法
An et al. Black tea withering moisture detection method based on convolution neural network confidence
da Silva Cotrim et al. Short convolutional neural networks applied to the recognition of the browning stages of bread crust
CN113298058A (zh) 基于无人机高光谱图像的水质预测反演方法及系统
CN111783555A (zh) 一种使用统一样本的深度学习卫星数据云检测算法
CN111340019A (zh) 基于Faster R-CNN的粮仓害虫检测方法
Qi et al. A new heterogeneous neural network model and its application in image enhancement
CN112580661A (zh) 一种深度监督下的多尺度边缘检测方法
Song et al. Assessment of wheat chlorophyll content by the multiple linear regression of leaf image features
Zheng et al. Mango grading system based on optimized Convolutional Neural Network
Ji et al. Apple color automatic grading method based on machine vision
Song et al. Apple disease recognition based on small-scale data sets
De Silva et al. Plant disease detection using deep learning on natural environment images
Liu et al. Learning an optical filter for green pepper automatic picking in agriculture
Mohimont et al. Lite CNN models for real-time post-harvest grape disease detection
CN116189160A (zh) 一种基于局部对比度机制的红外弱小目标检测方法
CN115424006A (zh) 应用于作物表型参数反演的多源多层次数据融合方法
Jayaprakash et al. Cashew dataset generation using augmentation and ralsgan and a transfer learning based tinyml approach towards disease detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant