CN113486955A

CN113486955A - 一种基于深度学习的茶叶信息分类方法和系统

Info

Publication number: CN113486955A
Application number: CN202110767067.8A
Authority: CN
Inventors: 丁洁; 于淼; 白岩; 代峰
Original assignee: Beijing Dingmiao Culture Communication Co ltd
Current assignee: Beijing Zhijin Future Technology Co ltd
Priority date: 2021-07-07
Filing date: 2021-07-07
Publication date: 2021-10-08

Abstract

本发明公开了一种基于深度学习的茶叶信息分类方法和系统。本方法为：1)生成或获取茶叶图像数据样本集；2)构建特征增强网络模型，利用训练集训练特征增强网络模型，得到训练后的特征增强网络模型；3)将训练集中茶叶图像输入步骤2)训练后的特征增强网络模型，获取茶叶图像对应的增强特征；4)构建多标签细粒度分类网络模型，利用步骤3)中获取的训练集图像对应的增强特征训练所述多标签细粒度分类网络模型；5)对于一待识别的茶叶图像，将该待识别的茶叶图像输入步骤2)训练后的特征增强网络模型，得到该待识别的茶叶图像的增强特征并输入步骤4)训练后所述多标签细粒度分类网络模型进行分类，得到该待识别的茶叶图像的分类信息。

Description

一种基于深度学习的茶叶信息分类方法和系统

技术领域

本发明属于互联网技术领域，具体涉及一种采用多种深度学习技术的茶叶图像分类方法和系统，适用于茶叶图像识别任务。

背景技术

茶一直以来都是国内民众十分喜欢的饮品，但是大部分的人只限于饮用，对茶的了解并不多。仅仅依靠对茶叶的观察，就能识别出茶的茶类、品种等信息，这对于大部分的人无疑是困难的。因此茶叶市场的混乱由来已久，以次充好、漫天要价等问题显得十分严重。这些问题制约着茶叶市场的不断完善，也不利于中国茶文化的发展。因此，一种高效的针对茶叶信息的分类识别技术是必要的。用户可以利用该技术直接根据茶叶图片识别到茶叶的简单信息，进而对目标茶叶有基本的了解。

目前计算机技术已经成为解决叶片图像分类的主要方法，尤其是基于卷积神经网络(CNN)的分类方法使分类的效果得到了突破。王立军等对图像中叶元素的颜色、形状和纹理进行提取，然后使用支持向量机技术，对50种叶形进行分类，准确率达91.41％；张帅等将支持向量机和软最大分类结合来学习叶片信息，简单图像的识别准确率达90％，复杂自然背景图像的识别准确率达34.38％；郑伊莉等使用神经网络对茶叶识别进行研究，使用AlexNet和InceptionV3模型对ICL数据库的识别率达95.31％和95.40％。

目前针对茶叶图像的分类研究是较少的，特别是从用户的角度出发，识别茶叶基本信息的研究更是几乎没有。并且由于很多品种的茶叶长相相似，仅仅依靠从全局特征出发进行粗粒度分类是不够的。除此之外，一般场景下由于拍摄或存储等原因，图像质量问题也制约着茶叶信息识别的准确率。当茶叶图像质量不高时，所包含的语义信息较少，不利于最终识别任务的进行。

发明内容

基于上述问题，本发明提出了一种面向茶叶图像的多标签细粒度分类方法。主要解决两方面问题：(1)一般场景下，所获得的茶叶图像由于图像质量问题，其所包含的语义信息通常是不足的，语义信息极大的影响正确分类结果。(2)不同种类的茶叶长相相似，仅依靠粗粒度分类会存在很大的误判概率。另外，为了让用户对目标茶叶有直观的认识，仅识别出一个维度的信息是不够的。

因此，本发明针对第一个问题提出特征增强的办法，特征增强后将包含更多的语义信息，有利于分类。区别于一般的图像增强方法是从像素还原的角度进行，本发明从高维特征出发，将低质量图像的特征增强到接近高质量图像的特征。对于第二个问题，本发明提出了一种多标签细粒度分类方法。通过一个特征筛选机制挖掘茶叶图像不同角度、不同粒度的特征，最后根据挖掘到的细粒度特征识别到多个维度的信息。

本发明包含以下步骤：

1)获取茶叶图像数据，对数据进行标注。并且划分训练集和测试集；

2)构建特征增强网络模型，将训练集图像进行特征提取，然后将提取的图像特征放进特征增强网络中进行增强，并在特征增强网络中前向传播，计算损失；然后，采用反向传播算法调整特征增强网络模型的参数，得到预训练好的特征增强网络模型。

3)根据2)中训练好的特征增强网络模型，获取训练集中茶叶图像对应的增强后特征；

4)构建多标签细粒度分类网络模型，将第3)中获取的训练集图像对应的增强后特征放进多标签细粒度分类网络模块中进行细粒度特征学习，并在多标签细粒度分类网络模型中向前传播，计算损失；然后，采用反向传播算法调整多标签细粒度分类网络模型的参数，得到预训练好的分类网络模型

5)应用训练好的模型。加载训练好的模型，将待识别的茶叶图像放进模型中，按照技术流程，先进行特征增强再进行分类，最终得到分类信息：茶类和品种。

与现有的技术相比，本发明积极效果如下：

对于输入的图像，本发明首先对图像进行增强。通常情况下，对于低质量的图像，一般的做法是采用图像超分辨率方法对图像增强，使低质量的图像在视觉上保持和高质量图像一样的视觉效果。本发明认为从特征的角度出发去增强，更能捕获人眼关注不到的信息，更有利于接下来的分类任务。另外针对茶叶这种特殊的图像，涉及的是一个大类下的细粒度分类，仅仅简单的提取特征去做分类是不够的。本发明提出一个细粒度分类办法，从图像不同维度的特征获取最后的分类信息，并进行多标签分类，得到茶叶多个维度的信息，让用户对茶叶的信息有更清晰的认识。

附图说明

图1是本发明进行茶叶图像多标签细粒度分类的整体实现流程图；

图2是本发明所构建的特征增强网络模型；

图3是本发明所构建的多标签细粒度分类网络模型。

具体实施方式

为了使本技术领域的人员更好的理解本发明的技术方案，使本发明的特点和目的更加易懂。下面将结合想应的附图进行清楚的、具体的实施方式描述。

本发明主要针对茶叶图像提出了一种更加适合、高效的分类方法。首先通过特征增强网络模型将茶叶图像在高维特征空间上进行增强，使茶叶图像获得更多的语义信息，更加有利于分类任务。然后将增强后的特征放进多标签细粒度分类网络模型中进行多维度特征学习。最终输出茶叶的一些基本信息，本发明输出的是茶叶的茶类和品种。例如，茶的类别包括绿茶、黄茶、白茶、青茶、红茶、黑茶等，而每个茶类又有多个品种，例如白茶有白毫银针、白牡丹、寿眉、贡眉等品种。

本发明中，为了实现对茶叶图像多个维度信息的有效识别，设置了一系列技术流程。所述流程主要包含5个重要步骤：茶叶图像的获取、构建特征增强网络、学习增强后的特征、构建多标签细粒度分类网络、应用训练好的模型。其中，本发明所构建的特征增强网络是对特征的增强，而不是像之前的增强方法是对图像质量的增强。具体来说，首先使用特征提取器提取图像特征，然后利用特征增强网络对提取的特征进行增强。从特征角度进行增强，能抓住人眼所关注不到的信息，从而有利于最终的分类任务。除此之外，本发明构建的多标签细粒度分类网络也是针对茶叶特点设计的。为了实现多标签分类，分类网络所使用的训练数据是提前进行多标签标注的，然后利用多标签分类损失函数进行训练。为了实现细粒度分类，分类网络被设计成两个通路，每个通路都在挖掘特征通道间的关系，最终每个通路中筛选部分特征进行特征融合，从而关注到数据的不同角度。下面会根据具体附图，描述本发明训练和实际使用过程中的细节：

如图1所示，整个技术流程示意图，包括：

步骤100，获取茶叶图像数据。收集到茶叶图像后，根据先验知识，对每张图像进行标注。本发明以茶类和品种两个维度的信息为例，因此每张图像对应两个标签信息。其中原始图像被当作高质量图像，低质量图像是通过双三次插值，从相应的原始图像中获得低质量茶叶图像。然后按照7：3的比例，划分训练集和测试集。

步骤200，构建特征增强网络。用训练集图像对增强网络进行训练，用损失函数优化网络，得到训练好的增强网络。具体方案如图2所示，步骤包括：

在步骤201，首先利用高质量的茶叶图像训练好一个分类网络GC。使用经典的VGG-16网络作为基础模型，网络收敛后保存模型。此时，训练好的模型能够很好的拟合高质量图像的特征。

表1 特征增强网络结构表

结构类型	卷积核大小/步长	输出尺寸
			卷积层	3×3/1	256×56×56
卷积层	3×3/1	384×56×56
			卷积层	1×1/1	384×56×56
卷积层	3×3/1	256×56×56
			卷积层	3×3/1	128×56×56

在步骤202，首先将低质量图像放进训练好的分类网络G_C中进行特征提取，取其模型第6层(即第2个池化层)的输出，得到低质量图像特征F_LR∈R^128×56×56，该过程如下所示：

其中，

表示分类网络G_C的前6层，X^LR表示低质量图像。然后将低质量图像特征F_LR放进特征增强网络G_S中进行特征增强，特征增强网络G_S结构包含5个卷积层，层与层之间采用ReLu函数进行激活，结构设置为如表1所示。特征增强网络G_S是一个全卷积网络，其输入为特征图而不是图像，并且不改变输入大小。因此，低质量图像增强后得到增强后特征F_SR∈R^128×56×56，该过程如下所示：

F_SR＝G_S(F_LR)

然后，将低质量图像对应的高质量图像输入到训练好的分类网络G_C中进行特征提取，取其模型第6层的输出，得到高质量图像特征F_HR∈R^128×56×56，该过程如下所示：

其中，X^HR表示高质量图像。此时得到低质量图像增强后的特征F_SR和高质量图像特征F_HR。

在步骤203，利用特征均方误差对特征增强网络G_S进行训练。具体来说，此过程对低质量图像增强后的特征F_SR和高质量图像特征F_HR做均方误差损失约束，使低质量图像特征增强后接近高质量图像特征。均方误差损失如下：

其中

和

表示高质量图像特征和增强特征各个像素值，hwc表示特征图的不同维度。特征增强网络G_S训练收敛后，保存网络模型。此时该网络可以对图像特征进行增强，增强后的特征包含更多的语义信息，更加有利于之后的分类任务。并且，从特征的角度进行增强，更能把握高维信息，可以抓住视觉上所忽略的信息。

步骤300，用训练好的特征增强模型对茶叶图像进行特征增强，把增强的特征图存储起来。

步骤400，构建多标签细粒度分类网络。用训练集对应的增强特征图进行训练，得到训练好的分类模型。具体方案如图3所示：

在步骤401，茶叶图像特征增强后，把增强后的特征通过卷积层进行特征学习。得到特征图F。

在步骤402，上一步学习到的特征图F分别进入两个结构设置一样的通路，挖掘特征间的关系。每个通路的网络结构是一样的(但是网络训练之前每个通路所初始化的参数是不一样的，依据数据进行自适应学习，每个通路都挖掘到一个各自的结果，即后续所得

和

是不同的)，首先采用经典的挤压激励块(SEB，Squeeze-and-Excitation Block)去获取通道初始关系，具体来说特征图F经过全局平均池化，尺寸大小变为1×1，经过两个全连接的学习，得到关系向量，向量初步反映特征通道间的初始关系。然后在此基础上，本发明为了实现特征筛选，使用tanh激活函数把关系向量限制到-1到1之间，最后通过量化函数把输出限制到0或1。量化函数如下所示：

其中x表示量化前的值，即tanh激活函数的输出；sgn是阶跃函数，对于小于0的数值映射为-1，对于大于0的数值映射为1。网络训练之前，上下通路分别赋予不同的参数。经过网络的自适应学习，上下两个通路分别得到一个二进制的通道关系向量，记作

和

在步骤403，利用挖掘到的通道关系筛选特征，从而关注到茶叶图像不同维度的特征。将两个通道关系向量

和

分别与原始特征图F进行相乘，得到新的特征。特征对应关系元素为0的将被舍弃，关系元素为1的被保留。该方案实现了自适应的挑选特征。如下所示：

其中F₁和F₂表示经过两个通道学习后，筛选后的新特征图。最后，本发明将两个新特征图在通道维度上进行融合。如下所示：

其中

表示融合后的新特征图，用于接下来的学习。在本步骤中，通过两个通路，自适应的挖掘两个不同的通道关系，然后利用关系从原始特征图中筛选特征。而不同特征表示的是图像的不同部位，因此最终的新特征图关注到茶叶图像不同粒度的特征。最终实现了细粒度特征的挖掘与学习。

在步骤404，利用学习到的细粒度特征进行多标签分类，根据损失函数优化整个分类网络。使用二分类交叉熵损失函数计算各个标签的损失，然后取平均值，得到最后的损失。所使用的交叉熵损失函数如下：

其中y和y′分别表示标签和预测信息，N表示数据样本的标签数，i是指进行每一次二分类的下标。

步骤500，应用训练好的模型。在实际应用中，用户可以直接使用训练好的模型，对拍取的茶叶图像进行特征提取、特征增强、细粒度分类等一系列流程，从而获得茶叶信息。在本发明中，对茶叶数据设置的标签信息为茶类和品种，因此网络输出的类别信息也是茶类和品种。

最后所应说明的是，以上实施案例仅用以说明本发明的技术方案而非限制，尽管使用事例对本发明进行了详细说明，本领域的技术人员应当理解，可对本发明的技术方案进行修改或者等价替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种基于深度学习的茶叶信息分类方法，其步骤包括：

1)生成或获取茶叶图像数据样本集；并将该茶叶图像数据样本集划分为训练集和测试集；

2)构建特征增强网络模型，利用训练集训练所述特征增强网络模型，得到训练后的特征增强网络模型；

3)将训练集中茶叶图像输入步骤2)训练后的特征增强网络模型，获取茶叶图像对应的增强特征；

4)构建多标签细粒度分类网络模型，利用步骤3)中获取的训练集图像对应的增强特征训练所述多标签细粒度分类网络模型；

5)对于一待识别的茶叶图像，将该待识别的茶叶图像输入步骤2)训练后的特征增强网络模型，得到该待识别的茶叶图像的增强特征并输入步骤4)训练后所述多标签细粒度分类网络模型进行分类，得到该待识别的茶叶图像的分类信息。

2.如权利要求1所述的方法，其特征在于，所述茶叶图像数据样本集中的茶叶图像包括高质量茶叶图像和低质量茶叶图像；所述茶叶图像数据样本集中每张图像的标注信息包括茶类和品种两个标签信息。

3.如权利要求2所述的方法，其特征在于，将茶叶图像的原始图像作为高质量茶叶图像，对所述高质量茶叶图像进行插值处理得到对应的低质量茶叶图像。

4.如权利要求2或3所述的方法，其特征在于，所述特征增强网络模型包括分类网络G_C和特征增强网络G_S；利用训练集训练所述特征增强网络模型的方法为：首先利用所述高质量茶叶图像训练一个分类网络G_C；然后将所述低质量茶叶图像输入训练后的分类网络G_C中进行特征提取，得到低质量图像特征F_LR；然后将所述低质量图像特征F_LR输入特征增强网络G_S中进行特征增强，得到增强后特征F_SR；然后将低质量茶叶图像对应的高质量茶叶图像输入到训练后的分类网络G_C中，得到高质量图像特征F_HR；根据所述低质量图像特征F_SR和所述高质量图像特征F_HR计算损失值L₁；然后根据损失值L₁采用反向传播算法调整所述特征增强网络模型的参数，直至特征增强网络G_S收敛，得到训练后的特征增强网络模型。

5.如权利要求4所述的方法，其特征在于，计算所述低质量图像特征F_SR和所述高质量图像特征F_HR的均方误差作为损失值。

6.如权利要求1或2或3所述的方法，其特征在于，训练所述多标签细粒度分类网络模型的方法为：将步骤3)中获取的训练集图像对应的增强特征输入多标签细粒度分类网络模块中进行细粒度特征学习，并在多标签细粒度分类网络模型中向前传播，计算损失；然后，采用反向传播算法调整多标签细粒度分类网络模型的参数，得到预训练后的分类网络模型。

7.如权利要求1或2或3所述的方法，其特征在于，训练所述多标签细粒度分类网络模型的方法为：将步骤3)中获取的训练集中每一图像对应的增强特征输入卷积层进行特征学习，得到特征图F；然后将所述特征图F分别输入两个结构相同但初始化参数不同的通路，得到特征间的通道关系向量

和

其中每一通路依次将特征图F进行全局平均池化、两全连接层的学习，得到反映特征通道间的初始关系向量并对其量化，得到特征间的通道关系向量；然后将两个通道关系向量

分别与特征图F进行相乘后，将两相乘结果进行融合得到特征图

然后将特征图

输入一全连接层进行学习，得到细粒度特征；然后利用学习到的细粒度特征进行多标签分类，并根据分类结果计算所得损失值L₂优化所述多标签细粒度分类网络模型。

8.如权利要求1所述的方法，其特征在于，所述分类信息包括茶类和品种。

9.一种基于深度学习的茶叶信息分类系统，其特征在于，包括特征增强网络模型和多标签细粒度分类网络模型；其中，

所述特征增强网络模型，用于对输入的茶叶图像进行特征提取，并对提取的特征进行特征增强，得到茶叶图像的增强特征；

所述多标签细粒度分类网络模型，用于对输入的茶叶图像的增强特征进行分类，得到茶叶图像的分类信息。

10.如权利要求9所述的系统，其特征在于，所述特征增强网络模型包括分类网络G_C和特征增强网络G_S；

利用训练集训练所述特征增强网络模型，所述训练集中的茶叶图像包括高质量茶叶图像和低质量茶叶图像；所述训练集中每张图像的标注信息包括茶类和品种两个标签信息；训练所述特征增强网络模型的方法为：首先利用所述高质量茶叶图像训练一个分类网络G_C；然后将所述低质量茶叶图像输入训练后的分类网络G_C中进行特征提取，得到低质量图像特征F_LR；然后将所述低质量图像特征F_LR输入特征增强网络G_S中进行特征增强，得到增强后特征F_SR；然后将低质量茶叶图像对应的高质量茶叶图像输入到训练后的分类网络G_C中，得到高质量图像特征F_HR；根据所述低质量图像特征F_SR和所述高质量图像特征F_HR计算损失值L₁；然后根据损失值L₁采用反向传播算法调整所述特征增强网络模型的参数，直至特征增强网络G_S收敛，得到训练后的特征增强网络模型；

利用训练集图像对应的增强特征训练所述多标签细粒度分类网络模型，其方法为：将训练集图像对应的增强特征输入多标签细粒度分类网络模块中进行细粒度特征学习，并在多标签细粒度分类网络模型中向前传播，计算损失；然后，采用反向传播算法调整多标签细粒度分类网络模型的参数，得到预训练后的分类网络模型。