CN112005719B

CN112005719B - 一种茶叶嫩芽识别与采摘方法

Info

Publication number: CN112005719B
Application number: CN202010783396.7A
Authority: CN
Inventors: 李亚涛; 朱赢鹏; 吴强; 武传宇; 贺磊盈; 陈之威; 贾江鸣
Original assignee: Zhejiang Sci Tech University ZSTU
Current assignee: Zhejiang Sci Tech University ZSTU
Priority date: 2020-08-06
Filing date: 2020-08-06
Publication date: 2023-07-07
Anticipated expiration: 2040-08-06
Also published as: CN112005719A

Abstract

本发明属于农业采摘技术领域。目的是提供一种茶叶嫩芽识别与采摘方法，该方法能够快速有效的识别出嫩芽,并对茶叶嫩芽进行选择性采摘。技术方案是：一种茶叶嫩芽识别与采摘方法，按以下步骤进行：步骤1)控制采茶机行走至待采摘位置；步骤2)根据需要采摘的茶树部位，调节筛网，筛选出嫩芽；步骤3)相机组拍照，识别嫩叶并对确定嫩叶位置；步骤4)吸附组件吸附引导；步骤5)delta机械手剪切嫩芽、负压收集嫩芽；步骤6)微调筛网，对茶树不同部位进行筛选采摘。

Description

一种茶叶嫩芽识别与采摘方法

技术领域

本发明属于农业采摘技术领域，尤其是涉及一种茶叶嫩芽识别与采摘方法。

背景技术

随着社会的发展，茶叶一直作为一种天然绿色饮品被广大消费者接受，茶叶市场对高品质的茶叶需求量也越来越大，尤其是一芽一叶的茶叶，售价一直居高不下。但在传统的人工采摘茶叶上，劳动力短缺和工人的劳动强度大、效率低下的困难一直存在。其次，市场上也存在机械化采茶机，主要以单人采茶机和双人采茶机为主，但这两种采茶机主要是对大宗茶进行采摘，采摘要求较低，如要提取出一芽一叶的茶叶，后期的分选工作会大大增加难度。最后，茶树老叶嫩芽交互重叠、茶叶色差小，现有的采摘方式难以有效的单独采摘嫩芽,且常规图像识别方法识别嫩芽的难度较大,所以需要提出一种可以解决上述问题的茶叶嫩芽识别与采摘方法。

发明内容

本发明的目的是为了解决上述背景技术的不足，提供一种茶叶嫩芽识别与采摘方法，该方法能够快速有效的识别出嫩芽,并对茶叶嫩芽进行选择性采摘。

本发明提供的技术方案是：

一种茶叶嫩芽识别与采摘方法，按以下步骤进行：

步骤1)控制采茶机行走至待采摘位置：采茶机在控制器的驱动下自动行走至待采摘茶树，使安装在采茶机下方的筛网正好位于待采摘茶树的上方；

步骤2)根据需要采摘的茶树部位，调节筛网，筛选出嫩芽：控制筛网沿Z方向竖直向下运动，使筛网压迫茶树并对茶叶进行筛选，茶树上的老叶被筛网压弯，嫩芽则穿过筛网，从而筛选出嫩芽；

步骤3)相机组拍照，识别嫩叶并对确定嫩叶位置：位于筛网侧面的相机组对嫩叶进行拍照，通过摄像识别系统识别出嫩叶梢部，进而确定嫩叶的空间位置；

步骤4)吸附组件吸附引导：位于筛网上方的吸附组件提供负压，并且吸附组件的低压口对准嫩芽，对嫩芽进行定点吸附，使嫩芽收拢，减小叶展，纠正嫩芽的倾斜状态；

步骤5)delta机械手剪切嫩芽、负压收集嫩芽：delta机械手末端的夹刀闭合并剪断嫩芽梗部，被剪断的嫩芽通过吸附组件被吸入风箱内，实现嫩芽的收集；

步骤6)微调筛网，对茶树不同部位进行筛选采摘：筛网复位，然后控制筛网沿X方向和Y方向进行水平微调，重复上述步骤2)至步骤5)，对同一株茶树的不同部位进行茶叶筛选采摘。

所述步骤3)中的茶叶嫩芽识别系统采用基于深度卷积神经网络的茶叶嫩梢图像识别模型；该图像识别模型依据不同茶园环境下嫩芽图像不同的特点，对相机组拍摄的茶叶图像进行特征优化，提取嫩芽梢部的网络与超参数，从而识别出嫩芽。

所述步骤3)中的摄像识别系统为双目相机定位系统，利用双目视觉的原理，两个摄像机获取同一嫩芽目标点的图像，通过三角测量原理，来计算嫩芽相对相机坐标系的空间坐标。

步骤4)中，所述吸附组件提供的负压大小为0.3-0.4kpa；所述吸附组件提供的负压每次持续时间为1-2s。

所述筛网中每个网孔的大小设置为25mm×25mm。

步骤6)中，所述筛网每次进行微调时均沿X方向和Y方向同时移动12.5mm。

本发明的有益效果是：

1、本发明中的筛网可以进行上下、左右、前后微调，便于对一块区域的茶树进行多次筛选；筛网每次进行微调时均沿X方向和Y方向同时移动12.5mm，其移动距离为筛网网孔边长(即25mm×25mm)的一半，能保证之前被筛网压在下方的嫩芽穿过筛网显露出来，而老叶则一直被压在筛网下方，大大降低了嫩芽筛选的遗漏率。

2、采用相机组(双目相机)进行定位，利用三角测量原理，通过同一目标点在不同相机图像中的位置和相机基线距离可计算出嫩芽的三维空间坐标，以便吸附组件和机械手准确定位嫩芽的空间位置，大大提高了嫩芽采摘的准确度。

3、吸附组件可对穿过筛网的嫩芽进行定点吸附，从而调整嫩芽的姿态，方便夹刀剪断嫩芽。

4、本发明提供的基于深度学习的茶叶嫩芽识别方法能够准确筛选出茶树上的老叶和嫩芽，并实现嫩芽的准确采摘，适合推广应用。

附图说明

图1是本发明的流程图。

图2是实施例中采茶机的立体结构示意图。

图3是实施例中采茶机的主视结构示意图。

图4是实施例中采茶机的俯视结构示意图。

图5是实施例中采茶机的左视结构示意图。

图6是实施例中移动平台的立体结构示意图。

图7是实施例中筛网组件的立体结构示意图。

图8是实施例中delta机械手的主视结构示意图。

图9是图8中的A部放大结构示意图。

图10是实施例中delta机械手的俯视结构示意图。

图11是实施例中相机组的立体结构示意图。

图12是实施例中筛网组件筛选嫩芽和老叶时的工作状态示意图。

图13是实施例中夹刀剪切嫩芽时的工作状态示意图。

图14是本发明的双目立体视觉目标点计算模型示意图。

图15是本发明中三种类型的嫩梢标准照片。

图16是本发明中Darknet-53的网络结构图。

图17是本发明中模型训练的损失变化结果图。

图18是本发明中模型训练的平均精度变化结果图。

附图标记：

1、移动平台；1-1、车轮；1-2、机架；1-3、移动电机；1-4、机罩；1-5、托板；2、筛网组件；2-1、X导轨；2-2、Y导轨；2-3、Z导轨；2-4、驱动电机；2-5、滑块；2-6、连接件；2-7、筛网；3、delta机械手；3-1、支架；3-2、支撑板；3-3、导向块；3-4、连接杆；3-5、变径管；3-6、直通管固定座；3-7、直通管；3-8、气爪固定板；3-9、气爪；3-10、气泵；3-11、夹刀连接件；3-12、夹刀；3-13、传感器；4、相机组；4-1、安装架；4-2、摄像头；5、吸附组件；5-1、风箱；5-2、波纹管；6、控制器；7、老叶；8、新叶。

具体实施方式

以下结合附图所示的实施例进一步说明。

为描述方便，本实施例以图3的左侧为前，图3的右侧为后；图3垂直纸面向外的方向为左，图3垂直纸面向内的方向为右；以图3的上下方向为Z方向；以图3的左右方向为X方向；以图3垂直纸面的方向为Y方向。

如图1所示，一种茶叶嫩芽的识别及采摘方法，包括以下步骤：

步骤1)，控制采茶机行走至待采摘位置：采茶机在控制器的驱动下自动行走至待采摘茶树，使安装在采茶机下方的筛网正好位于待采摘茶树的上方；

步骤2)，根据需要采摘的茶树部位，调节筛网，筛选出嫩叶：控制筛网沿Z方向竖直向下运动，使筛网压迫茶树并对茶叶进行筛选，茶树上的老叶被筛网压弯，嫩叶则穿过筛网，从而筛选出嫩叶(见图12)；

步骤3)相机采集图像，识别嫩芽并确定其位置：位于筛网侧面的相机组对嫩芽进行拍照,用茶叶嫩芽识别系统进行识别,然后将识别得到的位置信息反馈给双目相机定位系统，进而确定嫩芽的空间位置；

步骤4)，吸附组件吸附引导：位于筛网上方的吸附组件提供负压，并且吸附组件的低压口对准嫩芽，对嫩芽进行定点吸附，使嫩芽收拢，减小叶展，纠正嫩芽的倾斜状态；所述吸附组件提供的负压大小为0.3-0.4kpa；所述吸附组件提供的负压每次持续时间为1-2S；

步骤5)，delta机械手剪切嫩芽、负压收集嫩芽：delta机械手末端的夹刀闭合并剪断嫩芽梗部(见图13)，被剪断的嫩芽通过吸附组件被吸入风箱内，实现嫩芽的收集；

步骤6)，微调筛网，对茶树不同部位进行筛选采摘：筛网复位，然后控制筛网沿X方向和Y方向进行水平微调(每次进行微调时均沿X方向和Y方向同时移动12.5mm，其移动距离为筛网网孔边长的一半)，重复上述步骤2)至步骤5)，对同一株茶树的不同部位进行茶叶筛选采摘。

步骤3)中所述的茶叶嫩芽识别系统采用基于深度卷积神经网络的茶叶嫩梢图像识别模型,该模型建立的方法如下:

a)采集样本并标注:深度学习需要大量数据样本,茶叶样本通过工业相机在茶园采集，人工进行图像标注，其中茶叶嫩梢的标注主要为一芽一叶，由于拍照角度会产生嫩梢的相互遮挡，结合实际茶园的拍照情况将嫩梢标准制定为三种类型，分别为Tea1(芽与叶未重叠)，Tea 2(芽与叶部分重叠)，Tea 3(叶遮挡芽或芽遮挡叶)，如图15所示。针对茶叶嫩梢大面积遮挡或者茶叶拍照模糊的样本考虑后续的采摘流程则作为负样本不进行标注。

b)模型训练与部署:通过深度学习方法处理样本数据,得到模型后将其部署于工控机上进行嫩芽梢部的识别，进而通过相机识别定位；其中，所述基于深度卷积神经网络的茶叶嫩梢图像识别模型采用YOLOv3网络模型，该模型采用Darknet-53的网络结构(含有53个卷积层)，如下图16所示。它借鉴了残差网络residual network的做法，在一些层之间设置了快捷链路。这个网络主要是由一系列的1x1和3x3的卷积层组成(每个卷积层后都会跟一个BN层和一个LeakyReLU)层，网络中有53个convolutional layers，所以叫做Darknet-53(2+1*2+1+2*2+1+8*2+1+8*2+1+4*2+1＝53按照顺序数，不包括Residual中的卷积层，最后的Connected是全连接层也算卷积层，一共53个)。

整个YOLOv3网络中(参见图16)，是没有池化层和全连接层的。Backbone会将输出特征图缩小到输入的1/32。所以，通常都要求出入图片是32的倍数。前向传播过程中，张量的尺度变换是通过改变卷积核的步长来实现，共计5次。采用不同权重，使用不同分辨率对茶树嫩梢样本集进行训练，迭代一万次，训练结果如下所示：

训练过程的模型损失值变化情况如图17所示(以YOLOv3和YOLOv3-SPP模型为例)，之后使用训练的模型进行测试，各模型测试平均精度如图18所示(不同方法下最优模型和最终训练模型的平均精度；参见表1)，可得在YOLOv3-SPP框架下分辨率为608×608的最优训练模型，测试的平均精度最高，为81.42％。选用测试过程中平均精度最高的模型(YOLOv3-SPP 608×608)进行茶叶嫩芽的检测。

表1：不同方法下最优模型和最终训练模型的平均精度

步骤3)中，所述双目相机定位系统，利用双目视觉的原理，获取同一嫩芽不同角度下的图像，并通过图像之间像素的匹配关系和三角测量原理，计算出像素之间的偏移来获取嫩芽的三维坐标信息，从而确定嫩芽的空间位置。参见图14；图中：

f为摄像机的焦距，b为双目摄像机的中心距离(基线)，x,y,z分别为待计算的目标点空间z坐标，xl和xr分别是目标点在左右图像中的位置，则根据三角测量原理有以下关系：

则目标点的空间坐标为：

本实施例中待采摘的茶树品种选用龙井43，通过游标卡尺多次测量茶叶一芽一叶的叶展后，计算得到嫩芽的叶展平均值为20mm左右，最大叶展为25mm左右，老叶的叶展均大于25mm，因此，作为优选，筛网中每个网孔的大小设置为25mm×25mm；筛网每次进行微调时均沿X方向和Y方向同时移动12.5mm，即筛网网孔边长的一半，能保证之前被筛网压在下方的嫩芽穿过筛网显露出来，而老叶则一直被压在筛网下方，大大降低了嫩芽筛选的遗漏率。另外，由于老叶和嫩芽之间的相互重叠，有些老叶遮挡了需要采摘的嫩芽，茶叶姿态复杂，吸附组件能够对嫩芽进行定点吸附；经多次测量后得到，在有负压引流时，一芽一叶的嫩芽叶展平均值为10mm左右，明显发现嫩芽叶展进行了很大的收缩，方便了后续夹刀剪断嫩芽。

上述的自动筛选采茶方法，可通过以下采茶机的具体结构进行实现。

如图2至图5所示的采茶机，包括用于带动装置整体运动的移动平台1、安装在移动平台上的控制器6、可活动地定位在移动平台下方以筛分嫩芽和老叶的筛网组件2、固定在筛网组件侧面以识别嫩芽的若干相机组4、对相机组识别出的嫩芽进行定点吸附的吸附组件5以及用于剪断嫩芽的若干组delta机械手3；所述delta机械手设置在移动平台与筛网组件之间。

如图6所示，所述移动平台包括机架1-2、托板1-5、若干(图中为四个)车轮1-1和若干(图中为四个)移动电机1-3。所述托板水平固定在机架上。所述机架的左右两侧分别可转动地设置有两个车轮；每个车轮均由一个固定在机架上的移动电机进行驱动；每个移动电机外部设置有一个固定在机架上的机罩1-4，用于保护移动电机，防止茶树枝损坏电机。各移动电机分别与控制器电连接。该移动平台结构稳定且轻量化，行走灵活、爬坡能力强，后期可以安装上导航系统，让采茶机自动在茶园里自动行走采摘，实现自动化。

如图7所示，所述筛网组件包括X导轨2-1、Y导轨2-2、Z导轨2-3和筛网2-7；其中，X导轨、Y导轨和Z导轨相互垂直布置；本实施例中，Z导轨竖直固定在托板底部；X导轨和Y导轨均水平布置。每个导轨上均安装有可沿导轨的长度方向滑动的滑块2-5以及驱动滑块运动的驱动电机2-4。所述X导轨通过连接件2-6固定在Z导轨的滑块上；所述Y导轨通过连接件固定在X导轨的滑块上；所述筛网用于筛分嫩芽和老叶，筛网水平布置并通过连接件固定在Y导轨的滑块上。工作时，各驱动电机动作，可以对筛网的位置进行上下、前后、左右调整(即可沿X、Y、Z多方向运动)，方便对同一株茶树的不同部位进行多次筛选，从而有效避免嫩芽遗漏。

每根Z导轨上均设置有一组所述相机组。如图11所示，所述相机组包括安装架4-1和摄像头4-2。所述安装架固定在Z导轨上且位于Z导轨靠近筛网的一侧；所述摄像头固定在安装架上，以识别一芽一叶的嫩芽。本实施例中，所述筛网设置成白色，与茶叶的颜色有着鲜明的对比，以利于摄像头的视觉识别。另外，当自然光条件比较差的时候，可以通过遮光外加结构光源(图中未显示)来人为创造良好的拍照条件。

如图2所示，所述吸附组件包括风箱5-1和波纹管5-2。所述风箱固定在托板上方；所述波纹管一端连接风箱，另一端向下延伸与delta机械手相连接(该端为低压口端)。工作时，吸附组件对相机组识别出的嫩芽进行定位吸附，以便后续夹刀剪断嫩芽，保证茶叶采摘过程中的稳定性和精确度。

如图8至图10所示，所述delta机械手包括支架3-1、支撑板3-2、三组杆组、直通管固定座3-6、直通管3-7、变径管3-5、气爪固定板3-8、气爪3-9、气泵3-10、夹刀连接件3-11、夹刀3-12和传感器3-13。所述支架固定在托板底部。三组杆组并联连接在支架与支撑板之间；每组杆组均包括可竖直滑动地定位在支架上的导向块3-3以及一端铰接在导向块上且另一端铰接在支撑板上的连接杆3-4。支撑板上对应直通管的投影位置开设成通孔结构，以保证嫩芽被吸入至直通管中进行定位。

所述直通管固定座固定安装在支撑板的上方；所述直通管竖直固定在直通管固定座上。所述变径管一端与直通管上部相连通，另一端与波纹管相连通。所述气爪固定板固定在支撑板下方；所述气爪固定在气爪固定板上。所述气泵固定在托板上并与气爪相连接，用于驱动气爪动作。所述夹刀通过夹刀连接件固定在气爪的活动端，用于剪断吸附至直通管中的嫩芽；作为优选，夹刀是由弹簧钢制成。如图13所示，所述夹刀的一侧设置成梳状，使得夹刀闭合时能够容易地剪断嫩芽而剪不断老叶，进一步实现嫩芽和老叶的筛分。所述直通管的下部与夹刀的位置相对应，以保证夹刀准确剪断吸附至直通管中的嫩芽。所述传感器安装在夹刀上，用于检测夹刀的开合状态。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims

1.一种自动筛选采茶方法，采用的采茶机包括用于带动装置整体运动的移动平台、安装在移动平台上的控制器、可活动地定位在移动平台下方以筛分嫩芽和老叶的筛网组件、固定在筛网组件侧面以识别嫩芽的若干相机组、对相机组识别出的嫩芽进行定点吸附的吸附组件以及用于剪断嫩芽的若干组delta机械手；所述delta机械手设置在移动平台与筛网组件之间；

采茶方法按以下步骤进行：

步骤1），控制采茶机行走至待采摘位置：采茶机在控制器的驱动下自动行走至待采摘茶树，使安装在采茶机下方的筛网正好位于待采摘茶树的上方；

步骤2），根据需要采摘的茶树部位，调节筛网，筛选出嫩叶：控制筛网沿Z方向竖直向下运动，使筛网压迫茶树并对茶叶进行筛选，茶树上的老叶被筛网压弯，嫩叶则穿过筛网，从而筛选出嫩叶；

步骤3），相机组拍照，识别嫩叶并对确定嫩叶位置：位于筛网侧面的相机组对嫩叶进行拍照，通过摄像识别系统识别出嫩叶梢部，进而确定嫩叶的空间位置；

步骤4），吸附组件吸附引导：位于筛网上方的吸附组件提供负压，并且吸附组件的低压口对准嫩叶，对嫩叶进行定点吸附，使嫩叶收拢，减小叶展，纠正嫩叶的倾斜状态；

步骤5），delta机械手剪切嫩叶、负压收集嫩叶：delta机械手末端的夹刀闭合并剪断嫩叶梗部，被剪断的嫩叶通过吸附组件被吸入风箱内，实现嫩叶的收集；

步骤6），微调筛网，对茶树不同部位进行筛选采摘：筛网复位，然后控制筛网沿X方向和Y方向进行水平微调，重复上述步骤2）至步骤5），对同一株茶树的不同部位进行茶叶筛选采摘；

所述步骤3）中，所述摄像识别系统采用基于深度卷积神经网络的茶叶嫩梢图像识别模型；该图像识别模型依据不同茶园环境下嫩叶梢部图像不同的特点，对相机组拍摄的茶叶图像进行特征优化，提取嫩叶梢部的网络与超参数，从而识别出嫩叶梢部；

所述步骤3）中的摄像识别系统为双目相机定位系统，利用双目视觉的原理，两个摄像机获取同一嫩芽目标点的图像，通过三角测量原理，来计算嫩芽相对相机坐标系的空间坐标；

所述步骤4）中，所述吸附组件提供的负压大小为0.3-0.4kpa；所述吸附组件提供的负压每次持续时间为1-2S。

2.根据权利要求1所述的自动筛选采茶方法，其特征在于：所述筛网中每个网孔的大小设置为25mm×25mm。

3.根据权利要求2所述的自动筛选采茶方法，其特征在于：步骤6）中，所述筛网每次进行微调时均沿X方向和Y方向同时移动12.5mm。