CN115810106A - 一种复杂环境下茶叶嫩梢品级精准识别方法 - Google Patents

Abstract

本发明公开了一种复杂环境下茶叶嫩梢品级精准识别方法，包括：利用双目视觉相机采集含茶叶嫩梢原始图像；对采集到的原始图像进行预处理：尺寸归一化、降噪平滑处理；提取茶叶嫩梢的图像特征，并且进行数据降维和特征融合；设计SVM分类器对茶叶嫩梢进行图像分割；将分割图像制作数据集；数据集作为深度学习模型的输入，训练本发明提出的改进的YOLOv5s模型，对茶叶嫩梢进行品级目标检测。本发明提出先粗后精的识别方法，先利用图像分割步骤去除复杂环境下地面、老叶和枝干的干扰，然后利用深度学习目标检测算法进一步精细化识别茶叶嫩梢品级，提高最终的识别精确度，实现复杂环境下茶叶嫩梢品级精准识别。

Description

一种复杂环境下茶叶嫩梢品级精准识别方法

技术领域

本发明涉及到茶叶采摘机器人目标识别领域，特别是一种复杂环境下茶叶嫩梢品级精准识别方法。

背景技术

随着我国国民经济的稳步增长，海内外市场对茶叶的需求也与日俱增，要想使得茶叶产量优质优量地增长，就需要对采茶行业进行现代化改造。目前，国内外采摘机器人对茶叶的采摘大部分是基于大宗茶的“一刀切”模式，无法保留茶叶的完整性和满足高档茶叶采摘要求，少部分针对名优茶的采摘机器人的识别精度低，且未考虑实地环境因素，实际应用率不高。

目前，茶叶识别技术多为基于机器视觉的茶叶识别技术，其中，主要分为：基于茶叶图像特征的识别技术和基于深度学习的茶叶目标检测技术。

中国专利文献CN111784764A公开了一种茶叶嫩芽识别与定位算法，主要利用提取的茶叶嫩芽颜色特征，基于超绿特征的阈值来分割茶叶嫩芽图像。这种方法虽然识别速度快，但是仅凭颜色特征来分割嫩芽较为粗糙，识别精度较低，且没有对嫩芽品级有进一步的分类。

专利文献CN102013021A公开了一种基于颜色和区域生长的茶叶嫩芽分割和识别方法，利用茶叶的HSI颜色特征和区域生长方法对茶叶进行图像分割，虽然该方法可以较好的保留茶叶的整体轮廓，但是在分割准确率上不高，而且难以应对复杂的野外环境如：光照状态、雨水干扰、枝条遮挡等。

专利文献CN112633212A公开了一种基于计算机视觉的茶叶嫩芽等级的识别和分类方法。该方法利用改进分水岭算法对茶叶的RGB图像进行分割，再对改进分水岭算法的识别结果,对茶叶嫩芽按照一芽一叶、一芽二叶和一芽多叶进行分类采摘和等级分类标记，利用LeNet-5卷积神经网络对这些类别进行训练和测试。虽然该发明利用了深度学习网络对茶叶品级进行了进一步识别，但是模型对于茶叶多姿态、多目标的识别精度上仍然有提高空间。

上述这些专利虽然都能够实现茶叶嫩芽识别，甚至茶叶等级识别，但是普遍没有一个精细化的识别过程，识别精确度不高，没有考虑到实际采摘环境是一个非结构化的复杂多变的环境，无法真正地投入到实际应用。

发明内容

针对上述问题，本发明提出了一种复杂环境下茶叶嫩梢品级精准识别方法，提高最终的识别精确度，实现复杂环境下茶叶嫩梢品级精准识别。

实现本发明目的的技术解决方案为：一种复杂环境下茶叶嫩梢品级精准识别方法，包括茶叶嫩梢图像分割和茶叶嫩梢品级识别，具体包括：

利用双目相机采集原始图像，对原始图像预处理并进行图像分割；

基于分割后图像制作茶叶嫩梢品级数据集；

构建YOLOv5s模型，并通过茶叶嫩梢品级数据集对YOLOv5s模型训练，直至获取收敛且满足精度要求的YOLOv5s模型；所述YOLOv5s模型采用FPN+PAN结构，在FPN侧向拼接过程中，嵌入AAM注意力机制模块生成特征映射，同时引入MDCM模块，在自上而下的传播途径中，特征映射在下采样之前先经过MDCM模块，通过空洞卷积扩张感受野，增强多尺度特征提取能力，再与浅层次的其他特征融合；

通过YOLOv5s模型对实时采集的茶叶原始图像进行嫩梢品级识别，识别出嫩梢的具体品级：特级(单芽)、一级(一芽一叶)和二级(一芽两叶、一芽三叶)，以及茶叶嫩梢姿态：正视、侧视和俯视。

进一步地，所述对原始图像预处理并进行图像分割具体包括：

步骤1-1：通过双边滤波算法对原始图像进行去噪、平滑、增强处理，以提高茶叶嫩梢与背景的区分度；

步骤1-2：对茶叶嫩梢分别提取颜色、纹理和形状特征；

步骤1-3：对提取的特征集利用PCA做数据降维；

步骤1-4：通过异源多特征加权融合模型和SVM分类器对含茶叶嫩梢图像进行分割，剔除老叶、枝干和地面等背景，其中异源多特征加权融合模型，更好的融合茶叶嫩稍的特征。

与现有技术相比，本发明的有益效果在于：

(1)构建YOLOv5s模型，对FPN+PAN结构进行改进，引入了AAM注意力机制，减少茶叶嫩梢局部信息的损失，引入MDCM模块，通过空洞卷积扩张感受野，增强多尺度特征提取能力，再与浅层次的其他特征融合，PANet缩短了底层到高层的路径，增强了信息的流动性，有助于对不同层级特征的更好融合，提高小目标茶叶单芽的检测精度；

(2)利用双边滤波算法处理原图像，既能滤除大部分的高斯、椒盐噪声，又能一定程度上保留了茶叶嫩叶的边界形状；

(3)提出一种异源多特征加权融合模型，更好的融合茶叶嫩稍特征，设计的SVM分类器经过大量实验对比分析后选择RBF核作为核函数，提高预测准确度。

下面结合说明书附图对本发明作进一步描述。

附图说明

图1是本发明一种复杂环境下茶叶嫩梢品级精准识别方法流程图。

图2是本发明一种复杂环境下茶叶嫩梢图像分割流程图。

图3是本发明一种SVM分类器设计流程图。

图4是本发明一种茶叶嫩梢不同品级、不同姿态示意图。

图5是本发明一种改进的FPN+PAN茶叶嫩梢品级特征提取网络结构图。

图6是本发明一种AAM注意力机制结构图。

图7是本发明一种多尺度空洞卷积特征提取模块结构图。

具体实施方式

本发明以机器视觉为基础，结合图像处理技术、机器学习技术和深度学习技术做到对复杂环境下茶叶嫩梢品级的精准识别。为了更好地了解本发明的特点、优势以及操作细节，下面结合说明书附图作进一步说明，但是详细说明中的一些实例旨在用于解释本发明，而不能理解为对本发明的限制。

结合图1，一种复杂环境下茶叶嫩梢品级精准识别方法包括两个阶段，第一阶段是对复杂环境下的茶叶嫩梢图像分割，第二阶段是通过改进的YOLOv5s模型对茶叶嫩梢品级进行目标识别；

本发明的第一阶段对复杂环境下的茶叶嫩梢图像分割，结合图2所示，有如下几个步骤：

步骤1：利用双目相机在不同光照(正常光、顺光、逆光)、不同视角(正视、侧视、俯视)、不同背景(地面、枝干、老叶)环境下，进行原始图像数据的采集，转入步骤2；

步骤2：对采集的原始图像进行去噪平滑处理，采用双边滤波算法，既能滤除大部分的高斯、椒盐噪声，又能一定程度上保留了茶叶嫩叶的边界形状，滤波后的图像，转入步骤3；

步骤3：对茶叶嫩梢提取颜色、纹理和形状特征，转入步骤4；

步骤3.1：考虑颜色特征提取中的RGB模型、HIS模型和Lab模型，通过对原始图像数据进行分区特征点标注的形式来提取颜色特征，对每幅茶叶图像的嫩叶、老叶、枝干和地面区域分别点选50个特征点，用来提取R、G、B、H、S、I、L、a、b颜色分量；

步骤3.2：结合茶叶纹理特点、实现难度和计算能力的综合考量，采用灰度共生矩阵(GLCM)对嫩梢图像提取纹理特征，其中参考的纹理特征参数有：能量、熵和对比度；

步骤3.3：采用基于区域的形态特征提取方法来获取嫩叶的形状特征向量，其中参考的形状特征参数有：面积、周长、长轴、短轴、狭长度、形状系数、圆形度和矩形度；

步骤4：利用主成分分析法(PCA)对步骤3提取的高维特征集进行数据降维，来应对“维度灾难”问题和降低计算量；

步骤5：提出一种异源多特征加权融合模型，更好的融合茶叶嫩稍特征，具体加权融合方法如下：

假设经过PCA降维后的茶叶嫩梢的颜色特征集为F₁，形状特征为F₂，纹理特征为F₃，分别输入SVM分类器中建立分类模型，得到训练的准确率R₁、R₂、R₃，根据所得的准确率计算各自的特征权重，计算公式如下：

将子特征集F₁、F₂、F₃，分别乘以对应的权重W_i，进行线性加权组合，融合后的特征再次输入到SVM分类器中，预测待测样本属于哪一类的概率。融合特征集S表达式如下：

特别的，由于各特征集的物理意义和取值范围并不相同，不能随意根据数值来比较优劣，因此需要对特征集进行归一化操作。采用高斯归一化对所采集的特征归一化至[-1,1]区间：

t’(i)＝((t(i)-μ)/3σ+1)/2 (3)

式中，t’(i)为归一化后的第i个特征，t(i)为图像的第i个特征，μ为该类特征的平均值，σ为该类特征的标准方差。

步骤6：利用机器学习算法设计SVM分类器对含茶叶嫩梢图像进行分割，剔除老叶、枝干和地面等背景，分割后的图像转入步骤7。

其中SVM分类器的设计流程结合图3可以归纳为如下步骤：

步骤6.1：按一定比例选择训练集和测试集，训练集的类别图像尽量要多，测试集不能含有训练集的图像。

步骤6.2：特征向量的提取：提取图像的低维特征，进行特征归一化和降维处理，在保证主要特征不损失的基础上，大大降低计算量和加快训练速度。

步骤6.3：选择合适的非线性变换核函数和误差代价系数C；特别的，本发明设计的SVM分类器经过大量实验对比分析后选择RBF核作为核函数

步骤6.4：实现从低维到高维的空间映射，实现二次优化问题的转化；

步骤6.5：训练集训练，获得SVM分类器模型；

步骤6.6：用训练好的模型对测试集样本进行类别预测。

本发明的第二阶段对茶叶嫩梢品级进行目标识别，延续上面的步骤有：

步骤7：利用步骤6分割后的茶叶嫩梢图像，结合图4的茶叶嫩梢不同品级、不同姿态示意图，制作茶叶嫩梢品级数据集，转入步骤8；

特别的，制作数据集中根据实际茶叶多姿态情况，标注5种识别类别：单芽、一芽一叶、一芽两叶、侧视有遮挡嫩芽和俯视无茶梗嫩芽，按照9:1的比例随机选取训练集和验证集。

步骤8：将数据集分为测试集和验证集输入到改进的YOLOv5s模型中进行训练，转入步骤9；

特别的，本发明为了提高茶叶嫩梢品级目标检测的精确性，在目前YOLOv5s模型的基础上进行了改进，具体改进细节如下：

结合图5对YOLOv5s目标检测模型中的FPN+PAN结构进行改进，构建适用于茶叶嫩梢品级特征提取网络。在原有FPN侧向拼接过程中，嵌入AAM注意力机制模块生成特征映射{M1,M2,M3}。在自上而下的传播途径中，特征映射{M1,M2,M3}在下采样之前会先经过MDCM模块，通过空洞卷积扩张感受野，增强多尺度特征提取能力，再与浅层次的其他特征融合，生成特征映射{P1,P2,P3}。PANet缩短了底层到高层的路径，增强了信息的流动性，有助于对不同层级特征的更好融合，提高小目标茶叶单芽的检测精度。

特别的，结合图6一种AAM注意力机制结构图，进一步了解自注意力机制。AAM结构大致分为两部分：自适应平均池化操作和空间权值图生成。

第一部分，特征图M1经过一个自适应池化层获得多尺度的语义特征信息，再利用双线性插值法对这些多尺度特征进行上采样，采样到统一尺度W×H，为后续的融合做准备。

第二部分，空间注意力机制利用Concat层对前面的多个通道特征进行合并，再依次经过1×1的卷积层、ReLU层、3×3的卷积层和Sigmoid激活层，即可得到空间注意力权重。将生成的权重图和Concat层合并后的特征图进行Add融合。利用哈达玛积运算将权值映射特征图与初始的M1特征图上下文聚合后生成M2。最终生成的特征图M2具有了丰富的多尺度上下文信息，加强了局部特征与全局特征的关联性的同时又突出了局部特征的权重，有效解决了由于通道数减少带来的信息丢失问题。

特别的，结合图7一种多尺度空洞卷积特征提取模块结构图，进一步了解MDCM模块。网络结构分为两部分，第一部分是利用空洞卷积提取茶叶嫩梢的多尺度特征，第二部分进行特征融合，该部分将前面获得的不同尺寸的特征融合，采用Add融合方式，将3个平行空洞卷积分支提取的特征信息进行逐元素相加，输出融合后的茶叶嫩梢特征。

进一步的，空洞卷积是通过在卷积核每个像素之间加空洞(插入0)的形式来扩大感受野，相较标准的卷积在同等参数量和计算量的情况下获得更大的感受野。空洞卷积的卷积核大小为k，与等效的卷积核大小k^*，之间关系如下：

k^*＝k+(k-1)×(d-1) (4)

其中，d为扩张率。

当前层的感受野R_i+1计算公式如下：

R_i+1＝R_i+(k^*-1)×S_i (5)

其中，R_i表示上一层的感受野，

表示之前所有层的步长(Stride)的乘积。

MDCM模块中的空洞卷积模块都采用3×3的卷积核，扩张率r分别为3、5、7。

步骤9：利用训练好的模型对茶叶原始图像进行嫩梢识别，用预选框标定出所需识别的类别，主要是：特级(单芽)、一级(一芽一叶)和二级(一芽两叶、一芽三叶)，以及茶叶嫩梢姿态：正视、侧视和俯视。在左上角输出具体类别和预测置信度。

本发明提出先粗后精的识别方法，先利用图像分割步骤去除复杂环境下地面、老叶和枝干的干扰，然后利用深度学习目标检测算法进一步精细化识别茶叶嫩梢品级，提高最终的识别精确度，实现复杂环境下茶叶嫩梢品级精准识别。

出于说明的目的，上述的具体实施方案只是示例性的，是为了更好的使本领域技术人员能够理解本专利，不能理解为是对本专利包括范围的限制；凡是采用等同替换或等效变换的方式获得的技术方案均落在本发明的保护范围内。

Claims (10)

1.一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，具体包括：

利用双目相机采集原始图像，对原始图像预处理并进行图像分割；

基于分割后图像制作茶叶嫩梢品级数据集；

构建YOLOv5s模型，并通过茶叶嫩梢品级数据集对YOLOv5s模型训练，直至获取收敛且满足精度要求的YOLOv5s模型；所述YOLOv5s模型采用FPN+PAN结构，在FPN侧向拼接过程中，嵌入AAM注意力机制模块生成特征映射，同时引入MDCM模块，在自上而下的传播途径中，特征映射在下采样之前先经过MDCM模块，通过空洞卷积扩张感受野，增强多尺度特征提取能力，再与浅层次的其他特征融合；

通过YOLOv5s模型对实时采集的茶叶原始图像进行嫩梢品级识别。

2.根据权利要求1所述的一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，所述对原始图像预处理并进行图像分割具体包括：

步骤1-1：通过双边滤波算法对原始图像进行去噪、平滑、增强处理；

步骤1-2：对茶叶嫩梢分别提取颜色、纹理和形状特征；

步骤1-3：对提取的特征集利用PCA做数据降维；

步骤1-4：通过异源多特征加权融合模型和SVM分类器对含茶叶嫩梢图像进行分割。

3.根据权利要求2所述的一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，所述步骤1-2对茶叶嫩梢分别提取颜色、纹理和形状特征具体包括：

步骤1-2-1：对图像数据进行分区特征点标注的形式来提取颜色特征，对每幅茶叶图像的嫩叶、老叶、枝干和地面区域分别点选50个特征点，用来提取R、G、B、H、S、I、L、a、b颜色分量；

步骤1-2-2：采用灰度共生矩阵对嫩梢图像提取纹理特征，其中参考的纹理特征参数有：能量、熵和对比度；

步骤1-2-3：采用基于区域的形态特征提取方法来获取嫩叶的形状特征向量，其中参考的形状特征参数有：面积、周长、长轴、短轴、狭长度、形状系数、圆形度和矩形度。

4.根据权利要求2所述的一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，所述步骤1-4通过异源多特征加权融合模型和SVM分类器对含茶叶嫩梢图像进行分割具体包括：

假设经过PCA降维后的茶叶嫩梢的颜色特征集为F₁，形状特征为F₂，纹理特征为F₃，分别输入SVM分类器中建立分类模型，得到训练的准确率R₁、R₂、R₃，根据所得的准确率计算各自的特征权重，计算公式为：

将子特征集F₁、F₂、F₃，分别乘以对应的权重W_i，进行线性加权组合，融合特征集S表达式如下：

S＝F'_i·W_i,i＝1,2,3

s.t.W_i>0,

将融合后的特征再次输入到SVM分类器中，预测待测样本属于哪一类的概率；

其中，在特征加权融合前，采用高斯归一化对所采集的特征归一化至[-1,1]区间：

t’(i)＝((t(i)-μ)/3σ+1)/2

式中，t’(i)为归一化后的第i个特征，t(i)为图像的第i个特征，μ为该类特征的平均值，σ为该类特征的标准方差。

5.根据权利要求2所述的一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，所述SVM分类器采用机器学习算法设计，SVM分类器采用RBF核作为核函数。

6.根据权利要求1所述的一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，所述AAM注意力机制模块包括自适应平均池化操作模块根据权利要求6所述的一种复杂环境下茶叶嫩梢品级精准识别和空间权值图生成模块。

7.根据权利要求6所述的一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，所述自适应平均池化操作模块采用双线性插值法对获得的初始特征图M1的多尺度语义特征进行上采样，采样到统一尺。

8.根据权利要求6所述的一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，所述空间权值图生成模块用Concat层对多个通道特征进行合并，再依次经过1×1的卷积层、ReLU层、3×3的卷积层和Sigmoid激活层，得到空间注意力权重，将生成的空间注意力权重和Concat层合并后的特征图进行Add融合，利用哈达玛积运算将权值映射特征图与初始特征图M1上下文聚合后生成特征图M2。

9.根据权利要求1所述的一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，所述MDCM模块利用多个平行空洞卷积分支提取茶叶嫩梢的多尺度特征，采用Add融合方式融合，将多个平行空洞卷积分支提取的特征信息进行逐元素相加，输出融合后的茶叶嫩梢特征。

10.根据权利要求9所述的一种复杂环境下茶叶嫩梢品级精准识别方法，其特征在于，所述空洞卷积是通过在卷积核每个像素之间加空洞的形式来扩大感受野，空洞卷积的卷积核大小为k，与等效的卷积核大小k^*之间关系如下：

k^*＝k+(k-1)×(d-1)

其中，d为扩张率；

当前层的感受野R_i+1为：

R_i+1＝R_i+(k^*-1)×S_i

其中，R_i表示上一层的感受野，

表示之前所有层的步长Stride的乘积；

所述空洞卷积支都采用3×3的卷积核，扩张率r分别为3、5、7。

Images