CN115316129B - 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉识别的自适应仿生采摘装置及串果采摘方法，所述装置包括移动式升降平台、机械臂、仿生采摘机构、双目相机、收集箱和控制系统，所述机械臂和收集箱设置在移动式升降平台上，所述仿生采摘机构和双目相机设置在机械臂上，所述控制系统分别与机械臂、仿生采摘机构、双目相机连接。本发明可以节省人力成本、药剂成本，提高采摘串果的效率，通过视觉检测还可以减少串果采摘的漏采率，采摘姿态规划和场景识别算法将会大大提高采摘的成功率，仿生采摘机构的采摘也保证了串果的品质。

Description

基于双目视觉识别的自适应仿生采摘装置及串果采摘方法

技术领域

本发明涉及一种基于双目视觉识别的自适应仿生采摘装置及串果采摘方法，属于视觉和仿生机器人领域。

背景技术

动化和智能化发展的重要技术。仿生机器人通过相机获取目标果实正确精准的位置信息，从而实现准确、快速、无损的抓取和控制。随着将来人工劳动力的缺少和人工成本的不断增高，人们对机械化智能化水果采摘的需求不断提高。然而想要让机械化智能化的采摘机器人完全代替甚至超越人工的效率，则必须要使机器人具有等同于人类甚至远远强于人类的视觉感知和识别能力。此外，相比起作用到工业领域，机器视觉技术在农业领域尤其是对于串果的智能化采摘，往往需要更高的精度要求。

荔枝和龙眼都是典型的串形簇状的水果，同时它们也都是我国“南国四大果品”之一，不论是种植面积还是其产量，我国荔枝和龙眼均居全世界首位。荔枝味甘、酸、性温，入心、脾、肝经；可止呃逆，止腹泻，是顽固性呃逆及五更泻者的食疗佳品，同时有补脑健身，开胃益脾，有促进食欲之功效。而龙眼的经济用途以作果品为主，因其假种皮富含维生素和磷质，有益脾、健脑的作用，故亦入药。但是荔枝和龙眼都是典型的季节性水果，花期春夏间，果期夏季，成熟期集中，保鲜期较短。因此，随着荔枝和龙眼产量以及人工成本的不断增高，高效迅速的自动化机械化采摘将会逐步替代人工采摘，而基于视觉技术的采摘机器人更是其中一项重要的课题。

根据调查和研究，当前国内外市场和研究之中针对串果的智能采摘机器人还处于发展的阶段。对于相关荔枝、龙眼等串形簇状水果的采摘，基本上仍是采用人工采收。人工采摘依靠果农双手折断或者有剪刀剪断其结果母枝，实现果实串与树枝的分离，进而完成采摘，而高处的果实常常需要借助梯子或辅助装置完成采摘，具有一定危险性。传统人工采摘劳动强度大、人工成本高、采摘效率低、工作环境差，在一定程度上限制了荔枝龙眼等串形果实产业的发展。因此，对串果高效、无损采摘的需求，使得高自由度仿人采摘仿生机器人的视觉识别定位以及其采摘装置变得尤为重要。

发明内容

本发明的第一个目的是为了克服现有技术的不足之处，提供了一种基于双目视觉识别的自适应仿生采摘装置，该装置能够节省人工劳动力，具有采摘干净和采摘效率高的特点。

本发明的第二个目的在于提供一种串果采摘方法，该方法基于上述的自适应仿生采摘装置实现。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于双目视觉识别的自适应仿生采摘装置，包括移动式升降平台、机械臂、仿生采摘机构、双目相机、收集箱和控制系统，所述机械臂和收集箱设置在移动式升降平台上，所述仿生采摘机构和双目相机设置在机械臂上，所述控制系统分别与机械臂、仿生采摘机构、双目相机连接。

进一步的，所述仿生采摘机构包括通气软管、末端底座、气罐、电动推杆、电机、锯片和仿生抓取关节组，所述末端底座与机械臂固定连接，所述气罐和电动推杆设置在末端底座上，所述气罐与通气软管连接，所述通气软管与仿生抓取关节组连接，所述电机和锯片设置在电动推杆上，且电机的输出轴与锯片连接。

进一步的，所述控制系统包括控制柜和控制板，所述控制柜设置在移动式升降平台上，并分别与机械臂、控制板连接，所述控制板设置在机械臂上，并分别与仿生采摘机构、双目相机连接。

进一步的，所述移动式升降平台包括升降机构、底座、转向杆和车轮，所述机械臂和收集箱设置在升降机构上，所述升降机构设置在底座上，所述车轮为多个，所述转向杆的末端穿过底座与其中一个车轮的轮轴连接，其余车轮的轮轴分别与底座连接。

进一步的，所述升降机构包括剪叉式升降组件、顶板和底板，所述剪叉式升降组件的两端分别与顶板、底板连接，并由液压系统驱动升降，所述机械臂设置在顶板上表面，所述收集箱设置在顶板一侧，所述底板设置在底座上。

本发明的第二个目的可以通过采取如下技术方案达到：

一种串果采摘方法，基于上述的自适应仿生采摘装置实现，所述方法包括：

根据目标串果种植的高度来调节移动式升降平台的采摘高度；

通过双目相机捕捉到带有目标串果的图像，同时对该图像进行滤波处理；

针对处理后的图像，通过第一目标检测模型将目标串果的果实和果梗图像框显出来；

利用立体匹配算法对目标串果的果实和果梗图像进行立体匹配，经过三维重建来获得目标串果的三维空间信息；

将目标串果的果实和果梗的三维空间信息输入给采摘位姿规划算法，规划出机械臂的正确采摘姿态；

当机械臂以正确采摘姿态到达目标串果的果梗位置时，控制仿生采摘机构抓取目标串果的果梗；

当抓取目标串果的果梗后，再次打开双目相机，通过第二目标检测模型进行场景识别，若为目标场景，说明成功夹住目标串果的果梗，则控制仿生采摘机构切割目标串果的果梗；

当完成目标串果果梗的切割后，控制机械臂到达串果收集位置，使仿生采摘机构将串果放入收集箱中；

完成一次采摘以后，控制机械臂复位，准备下一次采摘。

进一步的，所述通过双目相机捕捉到带有目标串果的图像，同时对该图像进行滤波处理之前，还包括：

对双目相机进行单目标定，分别得到左右相机的内参数矩阵和畸变矩阵；

在单目标定的基础上进行双目标定，得到双目标定的矩阵参数，以及相机图像像素距离和目标真实三维空间距离之间的对应关系；

确定二维坐标到三维坐标的转换矩阵，所述二维坐标为像素坐标系的坐标，所述三维坐标为空间机械手坐标系的坐标。

进一步的，所述第一目标检测模型采用yolov4神经网络模型，训练过程如下：

在果园中使用相机拍摄多张串果图像，形成数据集；

对数据集中串果图像的果实和果梗打上标签；

使用yolov4神经网络模型对数据集进行训练，生成第一目标检测模型。

进一步的，所述控制仿生采摘机构抓取目标串果的果梗，具体包括：

控制仿生采摘机构的通气软管和仿生抓取关节组闭合，通过气罐的充气程度来控制仿生抓取关节组的开合范围；

当仿生抓取关节组抓取串果后，调整气流，以使仿生抓取关节组在不损伤串果果梗的情况下紧紧抓取串果果梗。

进一步的，所述控制仿生采摘机构切割目标串果的果梗，具体包括：

控制仿生采摘机构的电机带动圆锯旋转，并使电动推杆向前平移，切割目标串果的果梗；

当切割目标串果的果梗后，控制仿生采摘机构的电动推杆向后收回，并使电机停止旋转。

本发明相对于现有技术具有如下的有益效果：

本发明涉及到双目视觉对串形簇状果类如荔枝、龙眼等进行图像分割、识别、定位、位姿辨识、场景识别和采摘控制等技术，将人工方法和大型机械方法的优点结合在一起，克服了两者的一些严重缺点，可以节省人力成本、药剂成本，提高采摘串果的效率，通过视觉检测还可以减少串果采摘的漏采率，采摘姿态规划和场景识别算法将会大大提高采摘的成功率，仿生采摘机构的采摘也保证了串果的品质。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例的自适应仿生采摘装置的立体结构图。

图2为本发明实施例的自适应仿生采摘装置的正视结构图。

图3为本发明实施例的自适应仿生采摘装置的侧视结构图。

图4为本发明实施例的自适应仿生采摘装置中仿生采摘机构的立体结构图。

图5为本发明实施例的自适应仿生采摘装置中仿生采摘机构的主视结构图。

图6为本发明实施例的自适应仿生采摘装置中仿生采摘机构的侧视结构图。

图7为本发明实施例的自适应仿生采摘装置中仿生采摘机构的俯视结构图。

图8为本发明实施例的自适应仿生采摘装置中机械臂的立体结构图。

图9为本发明实施例的串果采摘方法的简易流程图。

图10为本发明实施例的串果采摘方法的详细流程图。

图11为本发明实施例的第一目标检测识别模型训练、loss曲线与map曲线图。

图12为本发明实施例的第一目标检测识别模型权重识别测试集荔枝的效果图。

图13为本发明实施例的采摘姿态规划算法原理图。

图14为本发明实施例的仿生采摘机构成功夹住目标串果的果梗的示意图。

其中，1-移动式升降平台，101-升降机构，1011-剪叉式升降组件，1012-顶板，1013-底板，102-底座，103-转向杆，104-车轮，2-机械臂，3-仿生采摘机构，301-通气软管，302-末端底座，303-气罐，304-电动推杆，305-电机，306-锯片，307-仿生抓取关节组，4-双目相机，5-收集箱，6-控制柜，7-控制板。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

当前荔枝、龙眼等串果的采摘方式大都可分为人工和大型机械，人工采摘依靠果农双手折断或者有剪刀剪断其结果母枝，实现果实串与树枝的分离，进而完成采摘，而高处的果实常常需要借助梯子或辅助装置完成采摘；传统人工采摘劳动强度大、人工成本高、采摘效率低、工作环境差，具有一定危险性；大型机械采摘虽然能够提升效率，节省人力，但是也同样具有药剂成本、采摘不净、采摘串果品质低的缺点，基于此，本实施例提供了一种基于双目视觉识别的自适应仿生采摘装置。

如图1～图8所示，本实施例的基于双目视觉识别的自适应仿生采摘装置包括移动式升降平台1、机械臂2、仿生采摘机构3、双目相机4、收集箱5和控制系统，机械臂2和收集箱5设置在移动式升降平台1上，仿生采摘机构3和双目相机4设置在机械臂2上，所控制系统分别与机械臂2、仿生采摘机构3、双目相机4连接。

进一步地，移动式升降平台1能够使自适应仿生采摘装置在串果园中移动和升降，可灵活适应多种地形，方便在串果果园中行走，并且拥有升降功能，适应不同高度的采摘环境，可以采摘1-3米范围的串果，其包括升降机构101、底座102、转向杆103和车轮104，机械臂2和收集箱5设置在升降机构101上，升降机构101设置在底座102上，车轮104为五个，转向杆103的末端穿过底座102与其中一个车轮104的轮轴连接，该车轮104位于移动式升降平台1的最前方，另外四个车轮104分为两组，两组车轮前后设置移动式升降平台1的后方，其中一组车轮共用一个轮轴，另一组车轮也共用一个轮轴，两组车轮的轮轴与底座102连接。

更进一步地，升降机构101包括剪叉式升降组件1011、顶板1012和底板1013，剪叉式升降组件1011的两端分别与顶板1012、底板1013连接，并由液压系统驱动升降，机械臂2设置在顶板1012上表面，收集箱5设置在顶板1012一侧，底板1013设置在底座102上，剪叉式升降组件1011是现有的部件，其驱动方式也是常见的，在此不再一一赘述。

本实施例中，双目相机4作用是获取外界图像信息，对目标进行识别图像分割处理、定位、获取目标串果的生长姿态以及对采摘场景识别，双目相机4和相应的算法组成双目视觉系统，双目视觉系统作用是检测识别出串果果实和果梗图像、对串果的果实和果梗图像进行三维空间的定位、规划出正确的采摘姿态以及成功采摘场景，具体为：对串果果实与果梗图像采集、识别、对串果果实和果梗的空间三维位置进行测量与定位随后进行生长位姿识别、场景识别和采摘控制；双目相机4进行单双目标定，获取内外参数和畸变矩阵，利用获取的参数来对相机进行校正，减少视觉误差；利用标定好的相机采集串果图像，对图像进行预处理，随后使用yolov4神经网络模型框显出串果的果实和果梗图像；机械臂2是由多个活动关节组成的机械臂，使得自适应仿生采摘装置的采摘范围变大，采摘角度灵活多变，并且从双目视觉系统获得目标果梗生长姿态后，通过算法实现对自身采摘姿态的调整与规划，机械臂末端到达规划后的末端坐标系，随后控制中心通过分析点云数据中包含的空间三维信息来规划出机械臂的采摘姿态，机械臂沿着规划好的轨迹进行运动，最终达到采摘目标前；收集箱5用于存储采收的串果。

进一步地，控制系统包括控制柜6和控制板7，控制柜6设置在移动式升降平台1上，具体设置在升降机构101的顶板1012上，控制柜6分别与机械臂2、控制板7连接，用于控制机械臂2，控制板7设置在机械臂2上，并分别与仿生采摘机构3、双目相机4连接。

进一步地，仿生采摘机构3可对串果果梗进行抓取并切割，其包括通气软管301、末端底座302、气罐303、电动推杆304、电机305、锯片306和仿生抓取关节组307，末端底座301与机械臂2固定连接，即实现了仿生采摘机构3与机械臂2的固定连接；气罐303和电动推杆304设置在末端底座301上，气罐303与通气软管301连接，通气软管301与仿生抓取关节组307连接，通气软管301通过气罐303以及控制板7控制自身和仿生抓取关节组307，使其姿态发生变化，如同章鱼触腕般抓取目标果梗；气罐303用于给通气软管301充气，配合仿生抓取关节组307完成对目标果梗的抓取；电机305和锯片306设置在电动推杆304上，具体地，电机305通过U形固定件设置在电动推杆304的末端，锯片306设置在U形固定件中，电机305的输出轴与锯片306连接，电机305用于使锯片306高速旋转，完成对目标果梗的切割；控制板7可将双目视觉系统获得的采摘姿态规划传递给控制柜6，并且将采摘信号传递给仿生采摘机构3，使电机305开始带动锯片306转动，随后使电动推杆3-4向目标串果的果梗推动，切割目标串果的果梗，完成采摘；其中，采摘姿态规划算法是将视觉算法处理得到的果实和果梗的三维坐标信息传送给采摘姿态规划算法之中，根据果实坐标和果梗坐标可以获得串果的三维生长姿态轴线，以初始采摘点为基点，构造三维生长姿态轴线的三维法线即是正确的采摘姿态轴线，随后控制柜6通过生长姿态规划算法使初始末端抓取轴线转换为正确的采摘姿态轴线，机械臂2末端到达规划后的末端坐标系，随后控制中心通过分析点云数据中包含的空间三维信息来规划出机械臂的采摘姿态，机械臂2沿着规划好的轨迹进行运动，最终达到采摘目标前。

如图9和图10所示，本实施例还提供了一种串果采摘方法，该方法基于上述的自适应仿生采摘装置实现，包括以下步骤：

S1、根据目标串果种植的高度来调节移动式升降平台的采摘高度。

S2、通过双目相机捕捉到带有目标串果的图像，同时对该图像进行滤波处理。

本实施例在该步骤S2之前，先进行双目相机双目标定和手眼标定，具体说明如下：

1)双目相机双目标定：相机标定指的是求解相机模型参数的过程；单目视觉是多目视觉的基础，因此首先进行单目标定，分别得到左右相机的内参数矩阵和畸变矩阵；在单目标定的基础上再进行双目标定，得到双目标定的重投影矩阵和映射表等矩阵参数；得到相机图像像素距离和目标真实三维空间距离之间的对应关系。

2)手眼标定：确定二维坐标(像素坐标系)到三维坐标(空间机械手坐标系)的转换矩阵。在实际控制中，相机检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵将相机的像素坐标变换到机械手的空间坐标系中，然后根据机械手坐标系计算出各个关节电机该如何运动，从而控制机械手到达指定位置。

S3、针对处理后的图像，通过第一目标检测模型将目标串果的果实和果梗图像框显出来。

本实施例中，第一目标检测模型采用yolov4神经网络模型，训练过程如下：

1)在果园中使用相机拍摄多张串果图像，形成数据集。

2)对数据集中串果图像的果实和果梗打上标签。

3)使用yolov4神经网络模型对数据集进行训练，生成第一目标检测模型。

如图11为以荔枝为例，使用yolov4模型训练的荔枝果实和果梗的第一目标检测识别模型训练、loss曲线与map曲线图，而图12为其权重识别测试集荔枝的效果图。

S4、利用立体匹配算法对目标串果的果实和果梗图像进行立体匹配，经过三维重建来获得目标串果的三维空间信息。

本实施例的立体匹配算法采用半全局块匹配(Semi-Global Block Matching，简称SGBM)算法，利用该算法对分割得到的目标串果的果实和果梗图像进行立体匹配，分别得到目标串果的果实和果梗深度信息，通过三维重建得到目标的三维点云信息，从而计算出目标相对于自适应仿生采摘装置的距离。

S5、将目标串果的果实和果梗的三维空间信息输入给采摘位姿规划算法，规划出机械臂的正确采摘姿态。

采摘位姿规划算法，具体为：从初始的双目相机坐标系X1Y1Z1和末端初始坐标系X2Y2Z2开始，其中，O0(x0,y0,z0)为初始采摘点，此时O0Z2：Y＝A1X+B1Y+C1Z+D1为初始末端抓取轴线，通过拍照获得目标果实和果梗的图片，然后将视觉算法处理得到的果实和果梗的三维坐标信息传送给采摘姿态规划算法之中，根据果实坐标P1(x1,y1,z1)和果梗坐标P2(x2,y2,z2)可以获得串果的三维生长姿态轴线S：Y＝A2X+B2Y+C2Z+D2，以初始采摘点O0为基点，构造三维生长姿态轴线S的三维法线即是正确的采摘姿态轴线F：Y＝A3X+B3Y+C3Z+D3，随后控制柜通过生长姿态规划算法使初始末端抓取轴线O0Z2转换为正确的采摘姿态轴线O0Z2’，机械臂末端到达规划后的末端坐标系X2’Y2’Z2’，随后控制中心通过分析点云数据中包含的空间三维信息来规划出机械臂的采摘姿态(运动学正拟解，P3)，机械臂沿着规划好的轨迹进行运动，最终达到采摘目标前，如图13所示。

S6、当机械臂以正确采摘姿态到达目标串果的果梗位置时，控制仿生采摘机构抓取目标串果的果梗。

本实施例中，控制仿生采摘机构抓取目标串果的果梗，具体为：控制板使仿生采摘机构中的夹持部分闭合，即通气软管和仿生抓取关节组闭合，通过气罐的充气程度来控制仿生抓取关节组的开合范围；在抓取过程中如果爪的抓合太大会导致串果的抓取不成功，如果爪抓合太小会损伤串果本身；仿生抓取关节组在抓取串果后，控制中心会将气流调到原来的3/4大小以确保仿生抓取关节组能够在不损伤串果果梗的情况下紧紧抓取串果果梗。

S7、当抓取目标串果的果梗后，再次打开双目相机，通过第二目标检测模型进行场景识别。

本实施例的第二目标检测模型采用基于FPN的目标检测模型，使其能够识别采摘场景，若为目标场景，说明成功夹住目标串果的果梗，则控制仿生采摘机构切割目标串果的果梗，否则返回循环，即返回到步骤S2。

本实施例中，控制仿生采摘机构切割目标串果的果梗，具体为：控制板控制电机带动圆锯旋转，随后使电动推杆向前平移，切割目标果梗，随后控制电动推杆向后收回，并使电机停止旋转。

S8、当完成目标串果果梗的切割后，控制机械臂到达串果收集位置，使仿生采摘机构将串果放入收集箱中。

本实施例中，控制机械臂到达串果收集位置，使仿生采摘机构将串果放入收集箱中，具体为：控制柜将收集箱位置(P4)发送给机械臂，机械臂到达串果收集位置，随后控制板使夹持机构张开，将串果放入收集箱中；在放下串果时，控制中心会将气流调到原来的1.5倍，仿生抓取关节组开口变大，使得串果能够顺利落在收集箱中。

本实施例的仿生采摘机构是一种仿生机械爪，仿生机械爪的设计是模拟章鱼腕足功能，其爪具有弹柔性可抓取柔性体、生物体或刚性物体，仿生机械爪可对串果果梗进行抓取并切割来完成采摘的功能，通过气罐以及控制板控制通气软管和仿生抓取关节组，使自身姿态发生变化，如同章鱼触腕般抓取目标果梗，如图14所示。

S9、完成一次采摘以后，控制机械臂复位，准备下一次采摘。

在本发明的描述中，需要说明的是，除非另有明确的规定和约定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义，所使用的术语“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

综上所述，本发明涉及到双目视觉对串形簇状果类如荔枝、龙眼等进行图像分割、识别、定位、位姿辨识、场景识别和采摘控制等技术，将人工方法和大型机械方法的优点结合在一起，克服了两者的一些严重缺点，可以节省人力成本、药剂成本，提高采摘串果的效率，通过视觉检测还可以减少串果采摘的漏采率，采摘姿态规划和场景识别算法将会大大提高采摘的成功率，仿生采摘机构的采摘也保证了串果的品质。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (9)

1.一种基于双目视觉识别的自适应仿生采摘装置，其特征在于，包括移动式升降平台、机械臂、仿生采摘机构、双目相机、收集箱和控制系统，所述机械臂和收集箱设置在移动式升降平台上，所述仿生采摘机构和双目相机设置在机械臂上，所述控制系统分别与机械臂、仿生采摘机构、双目相机连接；

所述仿生采摘机构包括通气软管、末端底座、气罐、电动推杆、电机、锯片和仿生抓取关节组，所述末端底座与机械臂固定连接，所述气罐和电动推杆设置在末端底座上，所述气罐与通气软管连接，所述通气软管与仿生抓取关节组连接，所述电机和锯片设置在电动推杆上，且电机的输出轴与锯片连接，通过气罐以及控制系统的控制板控制通气软管和仿生抓取关节组，使仿生抓取关节组姿态发生变化；

针对目标串果，利用立体匹配算法对目标串果的果实和果梗图像进行立体匹配，经过三维重建来获得目标串果的三维空间信息，将目标串果的果实和果梗的三维空间信息传送给采摘姿态规划算法，根据果实坐标和果梗坐标获得串果的三维生长姿态轴线，以初始采摘点为基点，构造三维生长姿态轴线的三维法线即是正确的采摘姿态轴线，通过生长姿态规划算法使初始末端抓取轴线转换为正确的采摘姿态轴线，机械臂末端到达规划后的末端坐标系，通过分析点云数据中包含的空间三维信息来规划出机械臂的采摘姿态，机械臂沿着规划好的轨迹进行运动，最终达到采摘目标前；在控制仿生采摘机构抓取目标串果的果梗后，打开双目相机，通过第二目标检测模型进行场景识别，若为目标场景，说明成功夹住目标串果的果梗，则控制仿生采摘机构切割目标串果的果梗。

2.根据权利要求1所述的自适应仿生采摘装置，其特征在于，所述控制系统包括控制柜和控制板，所述控制柜设置在移动式升降平台上，并分别与机械臂、控制板连接，所述控制板设置在机械臂上，并分别与仿生采摘机构、双目相机连接。

3.根据权利要求1所述的自适应仿生采摘装置，其特征在于，所述移动式升降平台包括升降机构、底座、转向杆和车轮，所述机械臂和收集箱设置在升降机构上，所述升降机构设置在底座上，所述车轮为多个，所述转向杆的末端穿过底座与其中一个车轮的轮轴连接，其余车轮的轮轴分别与底座连接。

4.根据权利要求3所述的自适应仿生采摘装置，其特征在于，所述升降机构包括剪叉式升降组件、顶板和底板，所述剪叉式升降组件的两端分别与顶板、底板连接，并由液压系统驱动升降，所述机械臂设置在顶板上表面，所述收集箱设置在顶板一侧，所述底板设置在底座上。

5.一种串果采摘方法，基于权利要求1-4任一项所述的自适应仿生采摘装置实现，其特征在于，所述方法包括：

根据目标串果种植的高度来调节移动式升降平台的采摘高度；

通过双目相机捕捉到带有目标串果的图像，同时对该图像进行滤波处理；

针对处理后的图像，通过第一目标检测模型将目标串果的果实和果梗图像框显出来；

利用立体匹配算法对目标串果的果实和果梗图像进行立体匹配，经过三维重建来获得目标串果的三维空间信息；

将目标串果的果实和果梗的三维空间信息输入给采摘位姿规划算法，规划出机械臂的正确采摘姿态；

当机械臂以正确采摘姿态到达目标串果的果梗位置时，控制仿生采摘机构抓取目标串果的果梗；

当抓取目标串果的果梗后，再次打开双目相机，通过第二目标检测模型进行场景识别，若为目标场景，说明成功夹住目标串果的果梗，则控制仿生采摘机构切割目标串果的果梗；

当完成目标串果果梗的切割后，控制机械臂到达串果收集位置，使仿生采摘机构将串果放入收集箱中；

完成一次采摘以后，控制机械臂复位，准备下一次采摘。

6.根据权利要求5所述的串果采摘方法，其特征在于，所述通过双目相机捕捉到带有目标串果的图像，同时对该图像进行滤波处理之前，还包括：

对双目相机进行单目标定，分别得到左右相机的内参数矩阵和畸变矩阵；

在单目标定的基础上进行双目标定，得到双目标定的矩阵参数，以及相机图像像素距离和目标真实三维空间距离之间的对应关系；

确定二维坐标到三维坐标的转换矩阵，所述二维坐标为像素坐标系的坐标，所述三维坐标为空间机械手坐标系的坐标。

7.根据权利要求5所述的串果采摘方法，其特征在于，所述第一目标检测模型采用yolov4神经网络模型，训练过程如下：

在果园中使用相机拍摄多张串果图像，形成数据集；

对数据集中串果图像的果实和果梗打上标签；

使用yolov4神经网络模型对数据集进行训练，生成第一目标检测模型。

8.根据权利要求5-7任一项所述的串果采摘方法，其特征在于，所述控制仿生采摘机构抓取目标串果的果梗，具体包括：

控制仿生采摘机构的通气软管和仿生抓取关节组闭合，通过气罐的充气程度来控制仿生抓取关节组的开合范围；

当仿生抓取关节组抓取串果后，调整气流，以使仿生抓取关节组在不损伤串果果梗的情况下紧紧抓取串果果梗。

9.根据权利要求5-7任一项所述的串果采摘方法，其特征在于，所述控制仿生采摘机构切割目标串果的果梗，具体包括：

控制仿生采摘机构的电机带动圆锯旋转，并使电动推杆向前平移，切割目标串果的果梗；

当切割目标串果的果梗后，控制仿生采摘机构的电动推杆向后收回，并使电机停止旋转。