CN116616044A - 一种基于红外光谱多模态识别的嫩芽采茶机及采茶方法 - Google Patents

Abstract

一种基于红外光谱多模态识别的嫩芽采茶机及采茶方法，涉及茶园机械技术领域，用于对嫩芽进行识别和采摘。包括机架、风机组件、滑轨组件、识别采摘组件和机械手，机架底部具有行走机构，风机组件包括风机、电热丝、温度传感器和导风壳，电热丝用于对导风壳内空气进行加热，温度传感器用于检测导风壳出口空气温度；识别采摘组件包括吸管、固定架和机械手，固定架位于滑轨组件上且通过滑轨组件驱动固定架的竖向或/和横向移动，固定架上具有丝杠导轨、深度相机、热成像仪和高光谱仪，吸管一端与位于机架上的收集箱连接，吸管另一端固定在丝杠导轨的定位滑块上；机械手固定在机架上，机械手上具有激光束。本发明可对茶叶嫩芽进行采摘。

Description

一种基于红外光谱多模态识别的嫩芽采茶机及采茶方法

技术领域

本发明涉及茶园机械技术领域，具体地说是一种基于红外光谱多模态识别的嫩芽采茶机及采茶方法。

背景技术

近年来，我国茶产业发展迅速，种植面积不断增加。而茶叶的采摘和用工的矛盾是目前茶产业发展存在的一大难题。茶叶的采摘作业要求较高，目前主要还是依靠人工采摘，但人工采摘费时费力，不能满足大面积茶叶采摘的需求。现有的采茶机在执行采摘作业时，对于视觉区域内的所有茶叶，不能对老叶和嫩芽进行区分，老叶和嫩芽一起采摘使得老叶和嫩芽混为一体，影响茶叶整体质量，后续不得不进行人工筛选分类，成本投入增加。

发明内容

本发明的目的在于提供一种基于红外光谱多模态识别的嫩芽采茶机及采茶方法，用于对老叶和嫩芽进行区分并对嫩芽进行采摘。

本发明解决其技术问题所采取的技术方案是：一种基于红外光谱多模态识别的嫩芽采茶机，包括机架、风机组件、滑轨组件、识别采摘组件和机械手，所述机架的底部具有行走机构，所述风机组件包括风机驱动电机、风机、电热丝、温度传感器和导风壳，所述风机和风机驱动电机均固定在机架顶部，且所述风机驱动电机用于驱动风机工作，所述导风壳位于风机出风口，所述电热丝和温度传感器位于导风壳内，所述电热丝用于对导风壳内空气进行加热至40摄氏度，所述温度传感器用于检测导风壳出口空气温度；所述滑轨组件位于机架顶部，所述识别采摘组件包括吸管、固定架和机械手，所述固定架位于滑轨组件上且通过所述滑轨组件驱动固定架的竖向移动或/和横向移动，所述固定架上具有丝杠导轨、深度相机、热成像仪和高光谱仪，其中所述热成像仪通过热成像图像对嫩芽进行识别，所述高光谱仪用于检测热成像仪识别对象的纤维素含量用于确认是否为嫩芽，所述深度相机对经高光谱仪确认后的嫩芽进行识别定位，所述热成像仪、深度相机和高光谱仪的视线交点为识别区；所述吸管的一端与位于机架上的收集箱连接，所述吸管的另一端固定在丝杠导轨的定位滑块上，所述吸管的另一端随定位滑块竖向移动；所述机械手固定在机架上，所述机械手上具有激光束，所述机架上还具有控制柜，所述控制柜与行走机构、风机组件、滑轨组件、识别采摘组件和机械手均信号连接并控制整个采茶机的工作状态。

进一步地，所述行走机构包括行走支架，所述行走支架上具有行走轮和驱动行走轮工作的行走驱动电机，所述行走支架的前端具有两个左右分布且斜向下设置的激光雷达，所述激光雷达用于进行建图定位和路径规划。

进一步地，所述机架上具有两个电机安装架，每一所述电机安装架上分别具有一个风机驱动电机，每一所述风机驱动电机输出轴上具有一个风机，两所述风机的出风口均与导风壳的上端连接，所述导风壳的下端朝向识别区。

进一步地，所述滑轨组件包括竖向滑轨、横向滑轨、竖向滑块和横向滑块，所述横向滑轨固定在机架顶部，所述横向滑块滑动设置在横向滑轨上，所述竖向滑轨固定在横向滑块上且与横向滑轨垂直设置，所述竖向滑块滑动设置在竖向滑轨上，所述横向滑轨上具有驱使横向滑块移动的第一驱动电机，所述竖向滑轨上具有驱使竖向滑块移动的第二驱动电机，所述固定架与竖向滑块固定连接。

进一步地，所述吸管的一端通过吸管卡扣固定在定位滑块上。

进一步地，所述导风壳上端的截面尺寸大于导风壳下端的截面尺寸。

本发明还提供一种基于红外光谱多模态识别的嫩芽采茶方法，包括以下步骤：

（1）激光雷达进行建图定位与路径规划，通过行走机构使得整个采茶机按照所规划路径前进；

（2）风机组件工作通过导风壳向茶树芽头叶片吹送40摄氏度的恒温热风，将芽头叶片上的赃物吹落，根据芽头和叶片受热温差差异利用热成像仪识别嫩芽；

（3）利用高光谱仪检测热成像仪所识别的嫩芽纤维素含量，根据纤维素含量确认热成像仪识别准确性；经高光谱仪检测为嫩芽后，执行步骤（4）；

（4）利用深度相机对嫩芽进行识别定位；

（5）机械手就位并使得激光束对准嫩芽上的采摘点，随后吸管就位；

（6）激光束工作对嫩芽进行切割，与此同时吸管工作将切下的嫩芽吸附至收集箱内，完成对嫩芽的采摘，随后吸管、机械手复位；

（7）在行走机构的作用下采茶机继续前进，继续执行步骤（2）-（6），直至采茶工作全部完成。

本发明的有益效果是：

（1）风机内的空气经电热丝加热至恒温40℃，然后吹至茶树茶叶，一方面使得芽头与茶树叶片受热形成温差，另一方面热风吹向茶叶使得茶叶抖动将茶叶上的脏物吹落；

（2）本发明首先通过热成像仪对加热茶叶嫩芽进行识别，再利用高光谱一检测茶叶嫩芽纤维素含量，双重检测对嫩芽进行识别确定；

（3）本发明结合深度学习识别、定位鲜叶嫩芽采摘点，用激光束进行切割，切割精准；

（4）本发明根据茶树茶叶高度移动识别采摘组件，能够对不同冠层高度茶树鲜叶嫩芽进行识别采摘。

附图说明

图1为本发明的三维图；

图2为行走机构主视图；

图3为风机组件的主视图；

图4为滑轨组件的主视图；

图5为识别采摘组件的三维图；

图6为热成像仪、高光谱仪和深度相机的三维位置示意图；

图7为采摘嫩芽时的示意图一；

图8为采摘嫩芽时的示意图二；

图9为采摘嫩芽时的示意图三；

图中：1行走机构，11行走支架，12行走轮，13激光雷达，14行走驱动电机，2机架，3风机组件，31风机，32风机驱动电机，33电机安装架，34电热丝，35温度传感器，36导风壳，4滑轨组件，41第一驱动电机，42竖向滑轨，43竖向滑块，44横向滑块，45横向滑轨，46第二驱动电机，5识别采摘组件，51吸管，52舵机，53固定架，54丝杠导轨，55吸管卡扣，56深度相机，57热成像仪，58高光谱仪，59激光束，6机械手，61控制柜，62收集箱，7嫩芽。

具体实施方式

如图1至图9所示，本发明包括行走机构1、机架2、风机组件3、滑轨组件4、识别采摘组件5、机械手6和控制柜61，下面结合附图对本发明进行详细描述。

如图1至图6所示，一种基于红外光谱多模态识别的嫩芽采茶机包括机架2、风机组件3、滑轨组件4、识别采摘组件5和机械手6，机架2的底部具有行走机构1，通过行走机构1的设置实现整个采茶机在茶园的移动。如图2所示，行走机构1包括行走支架11，行走支架11上具有行走轮12和驱动行走轮12工作的行走驱动电机14，行走支架11的前端具有两个左右分布且斜向下设置的激光雷达13，激光雷达13用于进行建图定位和路径规划，使得行走轮12按照激光雷达13规划的路径前进。

如图1、图3所示，风机组件3包括风机驱动电机32、风机31、电热丝34、温度传感器35和导风壳36，风机31和风机驱动电机32均固定在机架2顶部，且风机驱动电机32用于驱动风机31工作，导风壳36位于风机31出风口，电热丝34和温度传感器35位于导风壳36内，电热丝34用于对导风壳36内空气进行加热并将导风壳36内空气加热至40摄氏度，温度传感器35用于检测导风壳36出口空气温度，当导风壳36出口空气温度低于40摄氏度时，加热丝34功率增加以提高导风壳36出口空气温度，以确保导风壳36吹向茶叶的热风温度为40摄氏度。当导风壳36出口空气温度高于40摄氏度时，加热丝34功率降低以减小导风壳36出口空气温度，直至导风壳36出口空气温度达到40摄氏度。通过温度传感器35和加热丝34的配合作用，使得导风壳36出口空气温度稳定在40摄氏度。为便于装配，机架2上具有两个电机安装架33，每一电机安装架33上分别具有一个风机驱动电机32，每一风机驱动电机32输出轴上具有一个风机31，两风机31的出风口均与导风壳36的上端连接。这样，导风壳36位于两风机31之间，风机31工作时，向导风壳36内吹气。风机组件3的作用是吹出40摄氏度的恒温空气。

如图1所示，滑轨组件4位于机架2顶部，如图5、图6所示，识别采摘组件5包括吸管51、固定架53和机械手6，固定架53位于滑轨组件4上且通过滑轨组件4驱动固定架53的竖向移动或/和横向移动。如图4所示，滑轨组件4包括竖向滑轨42、横向滑轨45、竖向滑块43和横向滑块44，横向滑轨45固定在机架2顶部，横向滑块44滑动设置在横向滑轨45上；竖向滑轨42固定在横向滑块44上且与横向滑轨45垂直设置，竖向滑块43滑动设置在竖向滑轨42上，横向滑轨45上具有驱使横向滑块44移动的第一驱动电机41，竖向滑轨42上具有驱使竖向滑块43移动的第二驱动电机46。第一驱动电机41工作时，竖向滑轨42随横向滑块44在水平面内横向移动。第二驱动电机46工作时，竖向滑块43在竖向滑轨42上沿竖向移动。固定架53与竖向滑块43固定连接，进而在滑轨组件4的作用下实现固定架53在竖向或/和横向的移动。

如图5所示，固定架53上具有丝杠导轨54、深度相机56、热成像仪57和高光谱仪58，其中热成像仪57通过热成像图像对嫩芽进行识别，高光谱仪58用于检测热成像仪识别对象的纤维素含量，以确认热成像仪57识别到的对象是否为嫩芽，深度相机56对经高光谱仪58确认后的嫩芽进行识别定位。如图5所示，深度相机56、热成像仪57和高光谱仪58均固定在固定架53的底部，且深度相机56、热成像仪57和高光谱仪58顺次设置。深度相机56、热成像仪57和高光谱仪58的视线交点为识别区，导风壳36的下端朝向识别区。导风壳36上端的截面尺寸大于导风壳36下端的截面尺寸，这样可提高经导风壳36下端排出的空气压力。丝杠导轨54位于深度相机56、热成像仪57和高光谱仪58之间且竖向设置，丝杠导轨54的顶部与固定架53固定连接。吸管51的一端与位于机架2上的收集箱62连接，吸管51的另一端固定在丝杠导轨54的定位滑块上，为便于装配，吸管51的另一端通过吸管卡扣55固定在定位滑块上，进而吸管51的另一端可以随定位滑块竖向移动。固定架53上具有舵机52，舵机52用于驱动丝杠导轨54上的定位滑块的移动，进而驱使吸管51另一端的竖向移动，以使得吸管51另一端进入识别区。机械手6固定在机架2上，机械手6上具有激光束59，进而激光束59可以在机械手6的带动下移动直至到达合适位置执行切割采摘动作。机架2上还具有控制柜61，控制柜61与行走机构1、风机组件3、滑轨组件4、识别采摘组件5和机械手6均信号连接并控制整个采茶机的工作状态。

本发明还提供一种基于红外光谱多模态识别的嫩芽采茶方法，包括以下步骤：

（1）激光雷达13进行建图定位与路径规划，通过行走机构使得整个采茶机按照所规划路径前进；

（2）风机组件工作通过导风壳向茶树芽头叶片吹送40摄氏度的恒温热风，将芽头叶片上的赃物吹落，根据芽头和叶片受热温差差异利用热成像仪识别嫩芽；

（3）如图7所示，利用高光谱仪检测热成像仪57所识别的嫩芽纤维素含量，根据纤维素含量确认热成像仪识别准确性；经高光谱仪58检测为嫩芽后，执行步骤（4）；

（4）利用深度相机56对嫩芽进行识别定位；

（5）控制柜61向机械手6和舵机52发送信号，使得机械手6就位并使得激光束59对准嫩芽上的采摘点，随后舵机52工作使得吸管51就位；

（6）如图8所示，激光束59工作对嫩芽进行切割，如图9所示，与此同时吸管51工作将切下的嫩芽吸附至收集箱62内，完成对嫩芽7的采摘，随后吸管51、机械手6复位；

（7）在行走机构的作用下采茶机继续前进，继续执行步骤（2）-（6），直至采茶工作全部完成。

本发明的有益效果是：风机内的空气经电热丝加热至恒温40℃，然后吹至茶树茶叶，一方面使得芽头与茶树叶片受热形成温差，另一方面热风吹向茶叶使得茶叶抖动将茶叶上的脏物吹落；本发明首先通过热成像仪对加热茶叶嫩芽进行识别，再利用高光谱仪检测茶叶嫩芽纤维素含量，双重检测对嫩芽进行识别确定；本发明结合深度学习识别、定位鲜叶嫩芽采摘点，用激光束进行切割，切割精准；本发明根据茶树茶叶高度移动识别采摘组件，能够对不同冠层高度茶树鲜叶嫩芽进行识别采摘。

Claims (7)

1.一种基于红外光谱多模态识别的嫩芽采茶机，其特征在于，包括机架、风机组件、滑轨组件、识别采摘组件和机械手；

所述机架的底部具有行走机构；

所述风机组件包括风机驱动电机、风机、电热丝、温度传感器和导风壳，所述风机和风机驱动电机均固定在机架顶部，且所述风机驱动电机用于驱动风机工作，所述导风壳位于风机出风口，所述电热丝和温度传感器位于导风壳内，所述电热丝用于对导风壳内空气进行加热，所述温度传感器用于检测导风壳出口空气温度；

所述滑轨组件位于机架顶部，所述识别采摘组件包括吸管、固定架和机械手，所述固定架位于滑轨组件上且通过所述滑轨组件驱动固定架的竖向移动或/和横向移动，所述固定架上具有丝杠导轨、深度相机、热成像仪和高光谱仪，其中所述热成像仪通过热成像图像对嫩芽进行识别，所述高光谱仪用于检测热成像仪识别对象的纤维素含量用于确认是否为嫩芽，所述深度相机对经高光谱仪确认后的嫩芽进行识别定位，所述热成像仪、深度相机和高光谱仪的视线交点为识别区；所述吸管的一端与位于机架上的收集箱连接，所述吸管的另一端固定在丝杠导轨的定位滑块上，所述吸管的另一端随定位滑块竖向移动；

所述机械手固定在机架上，所述机械手上具有激光束，所述机架上还具有控制柜，所述控制柜与行走机构、风机组件、滑轨组件、识别采摘组件和机械手均信号连接并控制整个采茶机的工作状态。

2.根据权利要求1所述的一种基于红外光谱多模态识别的嫩芽采茶机，其特征在于，所述行走机构包括行走支架，所述行走支架上具有行走轮和驱动行走轮工作的行走驱动电机，所述行走支架的前端具有两个左右分布且斜向下设置的激光雷达，所述激光雷达用于进行建图定位和路径规划。

3.根据权利要求1所述的一种基于红外光谱多模态识别的嫩芽采茶机，其特征在于，所述机架上具有两个电机安装架，每一所述电机安装架上分别具有一个风机驱动电机，每一所述风机驱动电机输出轴上具有一个风机，两所述风机的出风口均与导风壳的上端连接，所述导风壳的下端朝向识别区。

4.根据权利要求1所述的一种基于红外光谱多模态识别的嫩芽采茶机，其特征在于，所述滑轨组件包括竖向滑轨、横向滑轨、竖向滑块和横向滑块，所述横向滑轨固定在机架顶部，所述横向滑块滑动设置在横向滑轨上，所述竖向滑轨固定在横向滑块上且与横向滑轨垂直设置，所述竖向滑块滑动设置在竖向滑轨上，所述横向滑轨上具有驱使横向滑块移动的第一驱动电机，所述竖向滑轨上具有驱使竖向滑块移动的第二驱动电机，所述固定架与竖向滑块固定连接。

5.根据权利要求1所述的一种基于红外光谱多模态识别的嫩芽采茶机，其特征在于，所述吸管的一端通过吸管卡扣固定在定位滑块上。

6.根据权利要求1所述的一种基于红外光谱多模态识别的嫩芽采茶机，其特征在于，所述导风壳上端的截面尺寸大于导风壳下端的截面尺寸。

7.根据权利要求1至6任一项所述的一种基于红外光谱多模态识别的嫩芽采茶机的采茶方法，其特征在于，包括以下步骤：

（1）激光雷达进行建图定位与路径规划，通过行走机构使得整个采茶机按照所规划路径前进；

（2）风机组件工作通过导风壳向茶树芽头叶片吹送40摄氏度的恒温热风，将芽头叶片上的赃物吹落，根据芽头和叶片受热温差差异利用热成像仪识别嫩芽；

（3）利用高光谱仪检测热成像仪所识别的嫩芽纤维素含量，根据纤维素含量确认热成像仪识别准确性；经高光谱仪检测为嫩芽后，执行步骤（4）；

（4）利用深度相机对嫩芽进行识别定位；

（5）机械手就位并使得激光束对准嫩芽上的采摘点，随后吸管就位；

（6）激光束工作对嫩芽进行切割，与此同时吸管工作将切下的嫩芽吸附至收集箱内，完成对嫩芽的采摘，随后吸管、机械手复位；

（7）在行走机构的作用下采茶机继续前进，继续执行步骤（2）-（6），直至采茶工作全部完成。