CN114283303A - 一种茶青分类方法 - Google Patents

Abstract

本发明公开了一种结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，包括茶青图像采集；数据增强与数据集建立；构建幽灵注意力瓶颈层与茶青分类模型；ResNet50模型的预训练与权重获取；以成长式知识蒸馏的方式训练茶青分类模型；茶青分类模型性能验证。本发明所述方法降低对训练样本数量的需求，增强模型处理小规模数据集的能力；模型能够自适应地调整权重系数，以强调重要特征通道，同时弱化无关特征通道；在传递教师模型庞大参数矩阵以增强学生模型综合性能的同时，实现随蒸馏进行而自适应降低学生模型依赖程度的目的。

Description

一种茶青分类方法

技术领域

本发明涉及茶青分类技术领域，特别是一种结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法。

背景技术

在对茶叶进行采摘时，会使不同等级的茶青混合在一起，仅凭借制茶师经验进行分选的传统方式，会导致分类结果受人为主观因素影响极大，将严重制约茶叶生产企业的效率，增加时间和生产成本，不利于大规模批量的客制化生产和向名优茶产业转型。

深度学习技术虽然在诸多领域的分类问题中取得了优异的表现，但由于茶叶种植和饮用的区域因素限制，使得基于该技术就茶青分类所开展的研究仍处于起步阶段。

目前采用深度学习技术所搭建的茶青分类模型，主要以卷积层堆叠的方式构建，在实际应用之中存在以下问题：

(1)传统基于卷积层所搭建的模型为训练出权重矩阵，将需要大量的样本，而在实际应用中，茶青图像的采集面临诸多挑战，训练样本的缺乏将制约模型分类性能。

(2)现有模型无法衡量茶青图像矩阵特征中不同通道的重要性和关联程度，并对各通道权重参数进行自适应的调整，达到加强有效特征，抑制无关特征的目的。

(3)现有技术主要采用单一模型进行训练的方式进行，尚未实现多模型之间的协同，难以借助复杂模型的丰富权重进一步增强茶青分类模型的性能。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述和/或现有的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法中存在的问题，提出了本发明。

因此，本发明所要解决的问题在于如何提供一种结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法。

为解决上述技术问题，本发明提供如下技术方案：一种结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其包括，茶青图像采集；数据增强与数据集建立；构建幽灵注意力瓶颈层与茶青分类模型；ResNet50模型的预训练与权重获取；以成长式知识蒸馏的方式训练茶青分类模型；茶青分类模型性能验证。

作为本发明所述结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的一种优选方案，其中：构建所述幽灵注意力瓶颈层包括，

通过全局平均池化操作将输入ECA的特征信息压缩到一个通道描述符中后，利用卷积所组成的全连接层和激活层获取能表示各个通道重要程度的权重参数，采用如下公式计算：

式中，f为输入ECA模块的特征，ga_pool()为全局平均池化操作，

为由卷积核数目为K的一维卷积层所组成的全连接层，Sigmoid()为Sigmoid激活函数，F(f)为表示不同通道重要程度的权重参数；

根据特征的通道数对卷积核数目进行自适应的调节，采用如下公式计算：

式中，C为特征通道数目，γ＝2,b＝1为超参数，|*|_odd为取最相邻奇数的操作；

通过跨层残差连接，实现输入ECA模块的特征与所述权重参数的逐元素相乘，采用如下公式计算：

式中，

为经过ECA注意力模块处理后的特征信息，

为逐元素对应相乘操作；

在通过卷积、BN、激活层进行残差模块搭建的基础上，结合ECA注意力模块和三组由逐步点卷积所组成的幽灵连接，构建幽灵注意力瓶颈层。

作为本发明所述结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的一种优选方案，其中：构建所述茶青分类模型包括搭建原始胶囊网络和CIFAR10-quick网络结构，并通过预胶囊层将二者进行连接，并在网络的最前端嵌入三组幽灵注意力瓶颈层，对经过卷积层和激活层后的特征进行处理。

作为本发明所述结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的一种优选方案，其中：以成长式知识蒸馏的方式训练茶青分类模型包括，依次将茶青图像的像素矩阵导入ResNet50模型和茶青分类模型，获取各类茶青的分类概率，并设置温度，通过蒸馏作用完成对概率分布的软化，得到软标签与软预测；设置温度系数为1，对学生模型的概率分布进行处理，得到硬预测；运用相对熵损失函数比较软标签与软预测，运用交叉熵损失函数比较硬预测与真实标签，依次获得软损失函数值和硬损失函数值；设置随着训练进行而线性衰减的比例系数；使用线性衰减比例系数连接软损失函数值与硬损失函数值，得到复合损失函数值；在茶青数据集上，利用学习率为0.001、平滑系数为0.9的RMSProp优化器对复合损失函数进行迭代寻优，并通过损失函数值的反向传播，传授 ResNet50模型的庞大参数矩阵，进行对茶青分类模型的训练；重复上述步骤，直至茶青分类模型在数据集上的分类准确率和损失函数值震荡轻微，完成收敛后，终止对茶青分类模型的训练。

作为本发明所述结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的一种优选方案，其中：在得到软标签与软预测时，采用如下公式计算：

式中，p_Teacheri是ResNet50模型的概率分布，T是温度系数，p_Teacheri'是 ResNet50模型经蒸馏作用软化之后的概率分布，为软标签，p_Studenti是茶青分类模型的概率分布，p_Studenti'是茶青分类模型经蒸馏作用软化之后的概率分布，为软预测。

作为本发明所述结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的一种优选方案，其中：在得到硬预测时，采用如下公式计算：

式中，p_Studenti”是学生模型经温度为1的蒸馏作用处理之后的概率分布，为硬预测。

作为本发明所述结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的一种优选方案，其中：软损失函数值和硬损失函数值采用如下公式计算：

式中，B为茶青图像像素矩阵的通道数目，G为茶青的类别数目，Tags_Truei为真实标签，Loss_SOFT为软损失函数值，Loss_HARD为硬损失函数值。

作为本发明所述结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的一种优选方案，其中：线性衰减比例系数通过如下公式计算：

式中，S为训练起点比例系数，E为训练终点比例系数，num_epochs为总的训练次数，i为当前训练次数,Decay为线性衰减比例系数。

作为本发明所述结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的一种优选方案，其中：复合损失函数值通过如下公式计算：

Loss_Admix＝Grow×Loss_HARD+Decay×T²×Loss_SOFT

式中，Loss_Admix为复合损失函数值，Grow＝1-Decay为成长比例系数。

作为本发明所述结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的一种优选方案，其中：对采集的茶青图像进行裁剪与压缩，并采用数据增强技术进一步扩充数据规模。

本发明有益效果为：降低对训练样本数量的需求，增强模型处理小规模数据集的能力；模型能够自适应地调整权重系数，以强调重要特征通道，同时弱化无关特征通道；在传递教师模型庞大参数矩阵以增强学生模型综合性能的同时，实现随蒸馏进行而自适应降低学生模型依赖程度的目的。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的流程图。

图2为结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的部分茶青图像示意图。

图3为结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的幽灵注意力瓶颈层示意图。

图4为结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的幽灵注意力胶囊网络示意图。

图5为结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的基于成长式知识蒸馏的模型训练方法示意图。

图6为结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的准确率示意图。

图7为结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的损失值示意图。

图8为结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的与其他现有技术的准确率对比示意图。

图9为结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法的与其他现有技术的损失值对比示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

实施例1

参照图1～图5，为本发明第一个实施例，该实施例提供了一种结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法包括如下步骤：

S1：茶青图像采集；

S2：数据增强与数据集建立；

S3：构建幽灵注意力瓶颈层与茶青分类模型；

S4：ResNet50模型的预训练与权重获取；

S5：以成长式知识蒸馏的方式训练茶青分类模型；

S6：茶青分类模型性能验证。

具体的，在进行步骤S1时，从茶场采摘一定量的绿茶茶青，并由制茶师分为单芽、一芽一叶、一芽两叶共三类，以不同容器存储。通过沥水和摊平处理后，对质量较差的样本予以剔除。随后，搭建图像采集平台获取茶青图像数据。

在进行步骤S2时，对茶青图像进行裁剪与压缩之后，采用数据增强技术进一步扩充数据规模，并完成茶青类别的标注。以各类茶青等比例的方式建立茶青图像数据集，并将其按比例分为训练集样本和测试集样本。

S3步骤中，结合ECA注意力机制与跨层幽灵连接，构建幽灵注意力瓶颈层。并通过与CIFAR10-quick和胶囊网络结合，建立幽灵注意力胶囊网络，实现茶青图像的分类，其中，幽灵注意力胶囊网络就是茶青分类模型。

S4步骤中，搭建ResNet50网络模型，在ImageNet数据集中进行模型训练，并损失值最小时，保存模型的权重参数矩阵。

S5步骤中，将ResNet50网络模型作为教师模型，将茶青分类模型作为学生模型，以在步骤S2中建立的茶青图像数据集，采用成长式知识蒸馏的方式对学生模型进行训练。

S6步骤中，先在步骤S2中数据集的测试集中随机选择一定量样本，对步骤5中所获取模型的准确率、精确率、召回率、F1-score等综合性能进行评估。

实施例2

参照图1～图9，为本发明第二个实施例，该实施例基于上一个实施例。

具体的，S1：茶青图像采集，在本实施例中，采用固定焦距和光圈的工业相机对白色底版上的茶青进行拍摄，在过程中利用LED灯进行补光操作，并保证进行图像采集时，相机与每一个样本间的距离恒定。

S2：数据增强与数据集建立，在本实施例中，通过在Spyder编译器中利用argparse库执行数据增强程序完成，具体流程如下：设置矩形框大小，对步骤1 所获取到的图像进行裁剪，随后进行压缩操作将每张图片的大小限制在200KB 以内，最后利用几何变换、仿射变换、色调分离等方式完成对茶青图像的扩充。

S3：构建幽灵注意力瓶颈层与茶青分类模型，在本实施例中，在Pytorch深度学习框架下，通过结合ECA注意力模块、CIFAR10-quick、胶囊网络而完成幽灵注意力网络的模型搭建，包含如下内容：

S3.1：通过全局平均池化操作将输入ECA的特征信息压缩到一个通道描述符中后，利用卷积所组成的全连接层和激活层获取能表示各个通道重要程度的权重参数，过程如下：

其中，f为输入ECA模块的特征，ga_pool()为全局平均池化操作，

为由卷积核数目为K的一维卷积层所组成的全连接层，Sigmoid()为Sigmoid激活函数，F(f)为表示不同通道重要程度的权重参数。

S3.2：根据特征的通道数对卷积核数目进行自适应的调节，过程如下：

其中，C为特征通道数目，γ＝2,b＝1为超参数，|*|_odd为取最相邻奇数的操作。

S3.3：通过跨层残差连接，实现输入ECA模块的特征与S3.1中权重参数的逐元素相乘，达到根据通道重要程度重新分配权重的目的，过程如下：

其中，

为经过ECA注意力模块处理后的特征信息，

为逐元素对应相乘操作。

S3.4：在通过卷积、BN、激活层进行残差模块搭建的基础上，结合ECA注意力模块和三组由逐步点卷积所组成的幽灵连接，构建幽灵注意力瓶颈层。

S3.5：搭建原始胶囊网络和CIFAR10-quick网络结构，并通过预胶囊层将二者进行连接。并在网络的最前端嵌入三组幽灵注意力瓶颈层，对经过卷积层和激活层后的特征进行处理，完成幽灵注意力胶囊网络的模型构建。

S4：ResNet50模型的预训练与权重获取，在本实施例中，在Pytorch深度学习框架下完成ResNet50网络模型的搭建，并在ImageNet数据集上进行预训练，并以PTH的文件格式，保证模型损失值最小时的权重参数矩阵。

S5：以成长式知识蒸馏的方式训练茶青分类模型，其包括如下步骤：

S5.1：依次将茶青图像的像素矩阵导入教师模型(ResNet50)和学生模型(茶青分类模型)，获取各类茶青的分类概率。并设置温度，通过蒸馏作用完成对概率分布的软化，得到软标签与软预测，过程如下：

其中，p_Teacheri为教师模型的概率分布，T为温度系数，p_Teacheri'为教师模型经蒸馏作用软化之后的概率分布(软标签)，本实施例中，T＝5。

其中，p_Studenti为学生模型的概率分布，p_Studenti'为学生模型经蒸馏作用软化之后的概率分布(软预测)。

S5.2：设置温度系数为1，对学生模型的概率分布进行处理，得到硬预测，过程如下：

其中，p_Studenti”为学生模型经温度为1的蒸馏作用处理之后的概率分布(硬预测)。

S5.3：运用相对熵损失函数比较步骤S5.1中的软标签与软预测，运用交叉熵损失函数比较步骤S5.2中的硬预测与真实标签，依次获得软损失函数值和硬损失函数值，过程如下：

其中，B为茶青图像像素矩阵的通道数目，G为茶青的类别数目，Tags_Truei为真实标签，预先标注，Loss_SOFT为软损失函数值，Loss_HARD为硬损失函数值。

S5.4：设置随着训练进行而线性衰减的比例系数，过程如下：

其中，S为训练起点比例系数，E为训练终点比例系数，num_epochs为总的训练次数，i为当前训练次数,Decay为线性衰减比例系数。

S5.5：使用步骤S5.4中的线性衰减比例系数连接步骤S5.3中的软损失函数值与硬损失函数值，得到复合损失函数值，过程如下：

Loss_Admix＝Grow×Loss_HARD+Decay×T²×Loss_SOFT

其中，Loss_Admix为复合损失函数值，Grow＝1-Decay为成长比例系数。

S5.6：在步骤S2建立的茶青数据集上，利用学习率为0.001、平滑系数为0.9 的RMSProp优化器对步骤5.5中的复合损失函数进行迭代寻优，并通过损失函数值的反向传播，传授步骤4中教师模型的庞大参数矩阵，进行对步骤3中学生模型的训练。

重复步骤S5.1～S5.6，直至学生模型在数据集上的分类准确率和损失函数值震荡轻微，完成收敛后，终止对学生模型的训练。

S6：茶青分类模型性能验证，在步骤S2数据集的测试集中随机选择一定量样本，对步骤S5中所获取模型的准确率、精确率、召回率、F1-score等综合性能进行评估。

需要说明的是，我方发明具有以下优点：

1、基于胶囊网络搭建模型，在网络中用矢量代替传统标量的形式对茶青像素矩阵进行表达和传输，同时保留图像中的特征位置和属性信息，降低对训练样本数量的需求，增强模型处理小规模数据集的能力；

2、基于ECA注意力机制和幽灵连接构建幽灵注意力瓶颈层，并结合胶囊网络搭建幽灵注意力胶囊网络，进行茶青分类。使模型能够自适应地调整权重系数，以强调重要特征通道，同时弱化无关特征通道。并通过这种先注意力机制聚焦，后卷积处理的方式，实现对人体视觉认知过程的效仿；

3、在知识蒸馏中引入一个随迭代增加而减小的非线性衰减比例系数，并分别以幽灵注意力胶囊网络和在ImageNet中预训练后的ResNet50为学生模型与教师模型，进行成长式知识蒸馏的模型训练。在传递教师模型庞大参数矩阵以增强学生模型综合性能的同时，实现随蒸馏进行而自适应降低学生模型依赖程度的目的。

单一来看，如图6和图7，本发明所述方法损失值小，准确率高。对比来看，如图8和图9，设置epoch＝100，我方发明所述方法的最佳准确率为97.57％，最低交叉熵损失函数值为0.60583；CapsNet-DCD的最佳准确率为93.63％，最低交叉熵损失函数值为0.6125；ResNet-Green tea的最佳准确率为94.01％，最低交叉熵损失函数值为0.32912；Alter-Second的最佳准确率为81.65％，最低交叉熵损失函数值为1.11447。

本发明中方法与其他现有技术的综合性能如下表：

表1本发明中方法与其他现有技术的综合性能对比表

我方发明基于胶囊网络结构，结合ECA注意力模块与幽灵连接所搭建的幽灵注意力胶囊网络，不但可以借助胶囊网络的特性，以矢量的形式同时提取图像中的位置和属性信息，还可同时通过注意力机制，向重要的特征通道分配更大的权重参数，实现自适应的相关特征强调与无关特征抑制，最终达到充分利用有限数据，降低数据量需求的目的。采用基于线性衰减比例系数的成长式知识蒸馏方法对模型进行训练，可在迁移教师模型庞大参数矩阵的同时，通过设置比例系数进行线性衰减，逐步减低教师模型的知识占比，使学生模型随着训练的进行而降低其依赖程度，增强独立性，生成更多有利于分类的权重。最终以准确率、精确率、召回率等为指标，通过CapsNet-DCD、ResNet-Green tea、 Alter-Second三种现有的茶青分类方法进行对比，在验证阶段完成对综合性能的衡量。结果表明，结合幽灵注意力胶囊网络与成长式知识蒸馏的茶青分类方法以97.57％的准确率和0.60583的交叉熵损失值，并在对一芽两叶茶青的分类中以94.97％、95.51％、95.24％的精确率、召回率及F1-score，表现出了处理小规模茶青图像数据的最佳性能。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：包括，

茶青图像采集；

数据增强与数据集建立；

构建幽灵注意力瓶颈层与茶青分类模型；

ResNet50模型的预训练与权重获取；

以成长式知识蒸馏的方式训练茶青分类模型；

茶青分类模型性能验证。

2.如权利要求1所述的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：构建所述幽灵注意力瓶颈层包括，

通过全局平均池化操作将输入ECA的特征信息压缩到一个通道描述符中后，利用卷积所组成的全连接层和激活层获取能表示各个通道重要程度的权重参数，采用如下公式计算：

式中，f为输入ECA模块的特征，ga_pool()为全局平均池化操作，

为由卷积核数目为K的一维卷积层所组成的全连接层，Sigmoid()为Sigmoid激活函数，F(f)为表示不同通道重要程度的权重参数；

根据特征的通道数对卷积核数目进行自适应的调节，采用如下公式计算：

式中，C为特征通道数目，γ＝2,b＝1为超参数，|*|_odd为取最相邻奇数的操作；

通过跨层残差连接，实现输入ECA模块的特征与所述权重参数的逐元素相乘，采用如下公式计算：

式中，

为经过ECA注意力模块处理后的特征信息，

为逐元素对应相乘操作；

在通过卷积、BN、激活层进行残差模块搭建的基础上，结合ECA注意力模块和三组由逐步点卷积所组成的幽灵连接，构建幽灵注意力瓶颈层。

3.如权利要求2所述的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：构建所述茶青分类模型包括搭建原始胶囊网络和CIFAR10-quick网络结构，并通过预胶囊层将二者进行连接，并在网络的最前端嵌入三组幽灵注意力瓶颈层，对经过卷积层和激活层后的特征进行处理。

4.如权利要求3所述的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：以成长式知识蒸馏的方式训练茶青分类模型包括，

依次将茶青图像的像素矩阵导入ResNet50模型和茶青分类模型，获取各类茶青的分类概率，并设置温度，通过蒸馏作用完成对概率分布的软化，得到软标签与软预测；

设置温度系数为1，对学生模型的概率分布进行处理，得到硬预测；

运用相对熵损失函数比较软标签与软预测，运用交叉熵损失函数比较硬预测与真实标签，依次获得软损失函数值和硬损失函数值；

设置随着训练进行而线性衰减的比例系数；

使用线性衰减比例系数连接软损失函数值与硬损失函数值，得到复合损失函数值；

在茶青数据集上，利用学习率为0.001、平滑系数为0.9的RMSProp优化器对复合损失函数进行迭代寻优，并通过损失函数值的反向传播，传授ResNet50模型的庞大参数矩阵，进行对茶青分类模型的训练；

重复上述步骤，直至茶青分类模型在数据集上的分类准确率和损失函数值震荡轻微，完成收敛后，终止对茶青分类模型的训练。

5.如权利要求4所述的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：在得到软标签与软预测时，采用如下公式计算：

式中，p_Teacheri是ResNet50模型的概率分布，T是温度系数，p_Teacheri'是ResNet50模型经蒸馏作用软化之后的概率分布，为软标签，p_Studenti是茶青分类模型的概率分布，p_Studenti'是茶青分类模型经蒸馏作用软化之后的概率分布，为软预测。

6.如权利要求4所述的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：在得到硬预测时，采用如下公式计算：

式中，p_Studenti”是学生模型经温度为1的蒸馏作用处理之后的概率分布，为硬预测。

7.如权利要求4～6任一所述的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：软损失函数值和硬损失函数值采用如下公式计算：

式中，B为茶青图像像素矩阵的通道数目，G为茶青的类别数目，Tags_Truei为真实标签，Loss_SOFT为软损失函数值，Loss_HARD为硬损失函数值。

8.如权利要求4～6任一所述的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：线性衰减比例系数通过如下公式计算：

式中，S为训练起点比例系数，E为训练终点比例系数，num_epochs为总的训练次数，i为当前训练次数,Decay为线性衰减比例系数。

9.如权利要求4～6任一所述的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：复合损失函数值通过如下公式计算：

Loss_Admix＝Grow×Loss_HARD+Decay×T²×Loss_SOFT

式中，Loss_Admix为复合损失函数值，Grow＝1-Decay为成长比例系数。

10.如权利要求1～6任一所述的结合幽灵注意力胶囊网络和知识蒸馏的茶青分类方法，其特征在于：对采集的茶青图像进行裁剪与压缩，并采用数据增强技术进一步扩充数据规模。

Images