CN117413685A - 基于双目视觉识别的咖啡鲜果采摘装置及采摘方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉识别的咖啡鲜果采摘装置及采摘方法，所述装置包括采摘机构、机械臂、移动底盘、升降平台、双目相机、收集箱、收集管和控制系统，所述升降平台设置在移动底盘上，所述机械臂设置在升降平台上，所述采摘机构和双目相机设置在机械臂上，所述采摘机构和双目相机设置在机械臂上，所述收集箱设置在升降平台上，所述收集管的一端与采摘机构连接，另一端位于收集箱的正上方，所述控制系统分别与采摘机构、机械臂、双目相机连接。本发明结合了人工和大型机械的优点，节省人工劳动力、采摘干净、采摘效率高。

Description

基于双目视觉识别的咖啡鲜果采摘装置及采摘方法

技术领域

本发明涉及一种基于双目视觉识别的咖啡鲜果采摘装置及采摘方法，属于视觉和仿生机器人领域。

背景技术

随着经济全球化的发展，咖啡作为世界三大饮品之一，在我国的需求量逐渐增多。制作咖啡的主要原料是咖啡生豆，而咖啡生豆则是由咖啡鲜果经过加工得到的。因此，对咖啡鲜果的采摘工作是一项关键技术。目前，大部分咖啡鲜果的采摘是以人工采摘的方式，而随着咖啡产量以及人工成本的不断增高，高效迅速的自动化机械化采摘将会逐步替代人工采摘，而基于视觉技术的采摘机器人更是其中一项重要的课题。

机器视觉的关键研究领域之一是利用计算机系统来模仿人类的视觉功能，以从客观世界中提取信息、进行处理和深入理解，最终将这些能力应用于实际的检测、测量和控制任务。机器视觉技术在咖啡果实的生产和处理过程中扮演着重要的角色。机器人通过搭载摄像设备，能够准确捕捉咖啡树上成熟咖啡果实的位置信息，从而实现高效、快速且不损伤的采摘控制。

随着人工劳动力成本的上升和未来可能的劳动力短缺，人们对于实现咖啡果实的机械化智能化采摘需求不断增加。然而，要使机器人能够完全替代或超越人工的效率，关键在于赋予机器视觉系统与人类视觉相当甚至更出色的感知和识别能力。此外，与工业领域相比，农业领域，特别是对于咖啡树上分散生长的豆荚的智能化采摘，要求更高的精度和适应性。然而，据调查和研究显示，目前在国内外市场和研究中，关于咖啡果实的智能采摘机器人仍然处于发展的初期阶段。在咖啡生产中，仍然主要依赖人工采摘，这通常涉及到采摘工人手工采摘成熟的豆荚。这种传统的采摘方法虽然有一定效率，但也存在人工劳动强度高、成本昂贵、效率低下以及工作环境不佳的问题。因此，对于实现咖啡果实的高效、无损采摘需求，将使得高度自动化的仿人采摘机器人，尤其是其视觉感知和识别技术，成为未来咖啡产业发展中的关键创新领域。

发明内容

本发明的第一个目的是为了克服现有技术的不足之处，提供了一种基于双目视觉识别的咖啡鲜果采摘装置，该装置结合了人工和大型机械的优点，节省人工劳动力、采摘干净、采摘效率高。

本发明的第二个目的在于提供一种咖啡鲜果采摘方法，该方法基于上述的咖啡鲜果采摘装置实现。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于双目视觉识别的咖啡鲜果采摘装置，包括采摘机构、机械臂、移动底盘、升降平台、双目相机、收集箱、收集管和控制系统，所述升降平台设置在移动底盘上，所述机械臂设置在升降平台上，所述采摘机构和双目相机设置在机械臂上，所述采摘机构和双目相机设置在机械臂上，所述收集箱设置在升降平台上，所述收集管的一端与采摘机构连接，另一端位于收集箱的正上方，所述控制系统分别与采摘机构、机械臂、双目相机连接。

进一步的，所述采摘机构包括圆筒、橡胶梳齿、传送带、传送带电机、旋转电机和旋转轴，所述旋转电机设置在圆筒的一侧，并与旋转轴连接，旋转轴与圆筒的内侧连接，所述橡胶梳齿和传送带均为多组，且为一一对应的关系，橡胶梳齿和传送带沿圆筒的内侧圆周间隔设置，所述传送带电机为多个，每个传送带电机与一组传送带连接。

进一步的，所述控制系统包括控制柜和工控机，所述控制柜和工控机设置在升降平台上，控制柜与机械臂连接，工控机分别与控制柜、采摘机构、双目相机连接。

进一步的，所述移动底盘为履带式移动底盘，所述升降平台包括剪叉式升降组件、顶板和底板，所述剪叉式升降组件的两端分别与顶板、底板连接，并由液压系统驱动升降，所述机械臂设置在顶板上表面，所述收集箱设置在顶板一侧，所述底板设置在移动底盘上。

进一步的，所述机械臂为由多个活动关节组成的机械臂。

本发明的第二个目的可以通过采取如下技术方案达到：

一种咖啡鲜果采摘方法，基于上述的咖啡鲜果采摘装置实现，所述方法包括：

根据咖啡果实种植的高度来调节升降平台的采摘高度；

通过双目相机捕捉到带有咖啡果实的图像，同时对该图像进行滤波处理；

针对处理后的图像，通过目标检测模型将目标咖啡果实的果实和采摘点图像框显示出来；

利用立体匹配算法对目标咖啡果实的果实和采摘点图像进行立体匹配，经过三维重建获得咖啡果实三维空间信息；

将咖啡果实果实和采摘点的三维空间信息输入给采摘位姿规划算法，通过计算的到各个关机电机的正逆解，规划出机械臂的正确采摘姿态；

当机械臂以正确的采摘姿态到达目标咖啡果实采摘点位置时，控制采摘机构采摘成熟的咖啡果实，通过收集管收集到收集箱中；

完成一次采摘以后，控制机械臂复位，准备下一次采摘。

进一步的，所述双目相机先捕捉到带有咖啡果实的图像，同时对该图像进行滤波处理之前，还包括：

对双目相机进行单目标定，分别得到左右相机的内参数矩阵和畸变矩阵；

在单目标定的基础上进行双目标定，得到双目标定的矩阵参数，以及相机图像像素距离和目标真实三维空间距离之间的对应关系；

确定二维坐标到三维坐标的转换矩阵，所述二维坐标为像素坐标系的坐标，所述三维坐标为空间机械手坐标系的坐标。

进一步的，所述目标检测模型采用yolov7神经网络模型，训练过程如下：

获取多张咖啡果实图像，形成数据集；

对目标果实打上标签；

使用yolov7神经网络模型对数据集进行训练，生成目标检测模型。

进一步的，所述利用立体匹配算法对目标咖啡果实的果实和采摘点图像进行立体匹配，经过三维重建获得目标咖啡果实三维空间信息，具体包括：

利用SGBM立体匹配算法对目标咖啡果实的果实和采摘点图像进行立体匹配，分别得到咖啡果实果实和采摘点的深度信息；

通过对深度信息进行三维重建，得到目标咖啡果实的三维点云信息，从而计算出目标果实相对于装置的距离。

进一步的，所述控制采摘机构采摘成熟的咖啡果实，通过收集管收集到收集箱中，具体包括：

通过旋转电机以及旋转轴来完成整个采摘机构的旋转运动，使橡胶梳齿将成熟的咖啡果实击落在传送带上，由传送带电机供电，使传送带携带成熟的咖啡果实至收集管，以收集到收集箱中。

本发明相对于现有技术具有如下的有益效果：

本发明将人工方法和大型机械方法的优点结合在一起，克服了两者的一些严重缺点，可以节省人力成本、药剂成本，提高采摘咖啡果实的效率，通过视觉检测还可以减少咖啡果实采摘的漏采率；此外，采摘机构采用柔性的橡胶梳齿采摘也保证了咖啡果实的品质。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例的基于双目视觉识别的咖啡鲜果采摘装置的立体结构图。

图2为本发明实施例的基于双目视觉识别的咖啡鲜果采摘装置的正视结构图。

图3为本发明实施例的基于双目视觉识别的咖啡鲜果采摘装置中采摘机构的立体结构图。

图4为本发明实施例的基于双目视觉识别的咖啡鲜果采摘装置中采摘机构的剖视结构图。

图5为本发明实施例的基于双目视觉识别的咖啡鲜果采摘装置中采摘机构的正视结构图。

图6为本发明实施例的基于双目视觉识别的咖啡鲜果采摘装置中机械臂的立体结构图。

图7为本发明实施例的咖啡鲜果采摘方法的原理图。

图8为本发明实施例的咖啡鲜果采摘方法的流程图。

其中，1-采摘机构，101-圆筒，102-橡胶梳齿，103-传送带，104-传送带电机，105-旋转电机，106-旋转轴，2-机械臂，3-移动底盘，4-升降平台，401-剪叉式升降组件，402-顶板，403-底板，5-双目相机，6-收集箱，7-收集管，8-控制柜，9-工控机。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

当前咖啡果实的采摘方式大都可分为人工和大型机械，人工采摘依靠果农双手折断或者有剪刀剪断其结果母枝，实现果实串与树枝的分离，进而完成采摘，而高处的果实常常需要借助梯子或辅助装置完成采摘。传统人工采摘劳动强度大、人工成本高、采摘效率低、工作环境差，具有一定危险性；大型机械采摘虽然能够提升效率，节省人力，但是也同样具有药剂成本、采摘不净、采摘咖啡果实品质低的缺点，因此，本实施例提供了一种基于双目视觉识别的咖啡鲜果采摘装置。

如图1～图6所示，本实施例的基于双目视觉识别的咖啡鲜果采摘装置，该装置包括采摘机构1、机械臂2、移动底盘3、升降平台4、双目相机5、收集箱6、收集管7和控制系统，升降平台4设置在移动底盘3上，机械臂2设置在升降平台4上，采摘机构1和双目相机5设置在机械臂2上，采摘机构1和双目相机5设置在机械臂2上，收集箱6设置在升降平台4上，收集管7的一端与采摘机构连接，另一端位于收集箱的正上方，控制系统分别与采摘机构1、机械臂2、双目相机5连接。

进一步地，采摘机构1可以对咖啡果实进行震动并收集采摘，包括圆筒101、橡胶梳齿102、传送带103、传送带电机104、旋转电机105和旋转轴106，旋转电机105设置在圆筒101的一侧，并与旋转轴1连接，旋转轴106与圆筒101的内侧连接，橡胶梳齿102和传送带103均为三组，且为一一对应的关系，橡胶梳齿102和传送带103沿圆筒101的内侧圆周间隔设置，传送带电机104为三个，每个传送带电机104与一组传送带103连接；橡胶梳齿102的作用是通过旋转电机105以及旋转轴106的旋转以及自身的震动，使成熟的咖啡果实脱落；传送带103用于将橡胶梳齿102所击落的咖啡果实向后运输，最后通过收集管9收集到收集箱6中，完成采摘；传送带电机104用于给传送带1-2供电；旋转电机105用于带动橡胶梳齿1-1以及旋转轴1-5来完成整个采摘机构的旋转运动；旋转轴106用于配合旋转电机105完成整个采摘机构1的旋转运动。

更进一步地，升降平台4拥有升降功能，适应不同高度的采摘环境，可以采摘1-3米范围的咖啡果实，其包括剪叉式升降组件401、顶板402和底板403，剪叉式升降组件401的两端分别与顶板402、底板403连接，并由液压系统驱动升降，机械臂2设置在顶板402上表面，收集箱6设置在顶板402一侧，底板403设置在移动底盘3上，剪叉式升降组件401是现有的部件，其驱动方式也是常见的，在此不再一一赘述。

本实施例中，机械臂2为由多个活动关节组成的机械臂，可实现大范围灵活的空间移动，采摘范围也相应增加，并且从视觉系统获得目标采摘点生长姿态后，通过算法实现对自身采摘姿态的调整与规划；移动底盘3为履带式移动底盘，可灵活适应多种地形，方便在咖啡果实果园中行走；双目相机5作用是获取外界图像信息，对目标进行识别图像分割处理、定位、获取目标咖啡果实的生长姿态以及采摘点的三维坐标，双目相机5和相应的算法组成双目视觉系统，双目视觉系统作用是对咖啡果实果实与采摘点图像采集、识别、对咖啡果实果实和采摘点的空间三维位置进行测量与定位随后进行生长位姿识别、场景识别和采摘控制；收集管7可将采摘机构1收集的咖啡果实收集到收集箱6中，通过收集箱6和收集管7可以大容量地收集和存放采摘后的咖啡果实。

进一步地，控制系统包括控制柜8和工控机9，控制柜8和工控机9设置在升降平台4上，控制柜8与机械臂2连接，用于控制机械臂2和与其他部件进行通讯，工控机9分别与控制柜8、采摘机构1、双目相机5连接，工控机9搭载了采摘机构1、机械臂2和双目相机5的采摘算法。

由此可见，本实施例的咖啡鲜果采摘装置主要包括行走支撑部分(移动底盘和升降平台)、机械臂部分(机械臂)、视觉相机部分(双目相机)和末端采摘执行器(采摘机构)部分，如图7所示，具体工作原理如下：

在采摘作业前，先对双目视觉系统进行单双目标定；做法是通过架起一块标定板，由机器人运动从各个角度拍摄标定板的图像来对相机进行单目标定；在单目标定后获得了左右相机的内外参数和畸变矩阵，依次来对相机进行双目标定，得到将双目相机5校正的重投影矩阵和像素坐标与物体坐标之间的联系；进行手眼标定，确定像素坐标系到空间机械手坐标系的转换矩阵；

采摘时，根据咖啡果实种植的高度来调节升降平台的采摘高度；双目相机5先捕捉到带有咖啡果实的图像，同时对其进行滤波处理，减少干扰；通过yolov7神经网络模型将目标咖啡果实的果实和采摘点图像框显示出来；利用SGBM立体匹配算法对咖啡果实图像进行立体匹配，再经过三维重建来获得咖啡果实三维空间信息；将咖啡果实果实和采摘点的三维空间信息输入给采摘位姿规划算法，通过计算的到各个关机电机的正逆解，进而规划出机械臂2的正确采摘姿态；当机械臂2以正确的采摘姿态到达目标咖啡果实采摘点位置时，通过旋转电机105以及旋转轴106来完成整个采摘机构的旋转运动，使橡胶梳齿102将成熟的咖啡果实击落在传送带103上，最后由传送带电机104供电，使传送带103携带成熟的咖啡果实至收集管9，最后收集到收集箱6中；完成一次采摘以后，控制柜5使机械臂2复位，准备下一次采摘。

如图8所示，本实施例还提供了一种咖啡鲜果采摘方法，该方法基于上述的咖啡鲜果采摘装置实现，其包括以下步骤：

S1、根据咖啡果实种植的高度来调节升降平台的采摘高度。

S2、通过双目相机捕捉到带有咖啡果实的图像，同时对该图像进行滤波处理。

本实施例在该步骤S2之前，先进行双目相机双目标定和手眼标定，具体说明如下：

1)双目立体相机双目标定：相机标定指的是求解相机模型参数的过程；单目视觉是多目视觉的基础，因此首先进行单目标定，分别得到左右相机的内参数矩阵和畸变矩阵；在单目标定的基础上再进行双目标定，得到双目标定的重投影矩阵和映射表等矩阵参数；得到相机图像像素距离和目标真实三维空间距离之间的对应关系。

2)手眼标定：确定二维坐标(像素坐标系)到三维坐标(空间机械手坐标系)的转换矩阵；在实际控制中，相机检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵将相机的像素坐标变换到机械手的空间坐标系中，然后根据机械手坐标系计算出各个关节电机该如何运动，从而控制机械手到达指定位置。

在进行双目标定和手眼标定之后，本实施例双目相机即为校正后的双目相机，利用校正后的双目相机拍摄获取咖啡果实的图像，得到已经校正后的带有咖啡果实的图像，同时对该图像进行滤波处理。

S3、针对处理后的图像，通过目标检测模型将目标咖啡果实的果实和采摘点图像框显示出来。

本实施例的目标检测模型采用yolov7神经网络模型，训练过程如下：

1)获取多张咖啡果实图像，形成数据集，具体为：在果园中使用相机拍摄足够多的咖啡果实图像，形成数据集。

2)对目标果实打上标签，具体为：使用labelimg软件对目标果实打上标签。

3)使用yolov7神经网络模型对数据集进行训练，生成目标检测模型。

S4、利用立体匹配算法对目标咖啡果实的果实和采摘点图像进行立体匹配，经过三维重建获得咖啡果实三维空间信息。

具体地，利用SGBM立体匹配算法对目标咖啡果实的果实和采摘点图像进行立体匹配，分别得到咖啡果实果实和采摘点的深度信息；通过对深度信息进行三维重建，得到目标咖啡果实的三维点云信息，从而计算出目标果实相对于装置的距离。

S5、将咖啡果实果实和采摘点的三维空间信息输入给采摘位姿规划算法，通过计算的到各个关机电机的正逆解，规划出机械臂的正确采摘姿态。

S6、当机械臂以正确的采摘姿态到达目标咖啡果实采摘点位置时，控制采摘机构采摘成熟的咖啡果实，通过收集管收集到收集箱中。

其中，控制采摘机构采摘成熟的咖啡果实，通过收集管收集到收集箱中，具体为：通过旋转电机以及旋转轴来完成整个采摘机构的旋转运动，使橡胶梳齿将成熟的咖啡果实击落在传送带上，由传送带电机供电，使传送带携带成熟的咖啡果实至收集管，以收集到收集箱中。

S7、完成一次采摘以后，控制机械臂复位，准备下一次采摘。

其中，控制机械臂复位，具体为：通过控制系统的控制柜使机械臂复位。

在本发明的描述中，需要说明的是，除非另有明确的规定和约定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义，所使用的术语“上”、“下”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

综上所述，本发明将人工方法和大型机械方法的优点结合在一起，克服了两者的一些严重缺点，可以节省人力成本、药剂成本，提高采摘咖啡果实的效率，通过视觉检测还可以减少咖啡果实采摘的漏采率；此外，采摘机构采用柔性的橡胶梳齿采摘也保证了咖啡果实的品质。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种基于双目视觉识别的咖啡鲜果采摘装置，其特征在于，包括采摘机构、机械臂、移动底盘、升降平台、双目相机、收集箱、收集管和控制系统，所述升降平台设置在移动底盘上，所述机械臂设置在升降平台上，所述采摘机构和双目相机设置在机械臂上，所述采摘机构和双目相机设置在机械臂上，所述收集箱设置在升降平台上，所述收集管的一端与采摘机构连接，另一端位于收集箱的正上方，所述控制系统分别与采摘机构、机械臂、双目相机连接。

2.根据权利要求1所述的咖啡鲜果采摘装置，其特征在于，所述采摘机构包括圆筒、橡胶梳齿、传送带、传送带电机、旋转电机和旋转轴，所述旋转电机设置在圆筒的一侧，并与旋转轴连接，旋转轴与圆筒的内侧连接，所述橡胶梳齿和传送带均为多组，且为一一对应的关系，橡胶梳齿和传送带沿圆筒的内侧圆周间隔设置，所述传送带电机为多个，每个传送带电机与一组传送带连接。

3.根据权利要求1所述的咖啡鲜果采摘装置，其特征在于，所述控制系统包括控制柜和工控机，所述控制柜和工控机设置在升降平台上，控制柜与机械臂连接，工控机分别与控制柜、采摘机构、双目相机连接。

4.根据权利要求1-3任一项所述的咖啡鲜果采摘装置，其特征在于，所述移动底盘为履带式移动底盘，所述升降平台包括剪叉式升降组件、顶板和底板，所述剪叉式升降组件的两端分别与顶板、底板连接，并由液压系统驱动升降，所述机械臂设置在顶板上表面，所述收集箱设置在顶板一侧，所述底板设置在移动底盘上。

5.根据权利要求1-3任一项所述的咖啡鲜果采摘装置，其特征在于，所述机械臂为由多个活动关节组成的机械臂。

6.一种咖啡鲜果采摘方法，基于权利要求1-5任一项所述的咖啡鲜果采摘装置实现，其特征在于，所述方法包括：

根据咖啡果实种植的高度来调节升降平台的采摘高度；

通过双目相机捕捉到带有咖啡果实的图像，同时对该图像进行滤波处理；

针对处理后的图像，通过目标检测模型将目标咖啡果实的果实和采摘点图像框显示出来；

利用立体匹配算法对目标咖啡果实的果实和采摘点图像进行立体匹配，经过三维重建获得咖啡果实三维空间信息；

将咖啡果实果实和采摘点的三维空间信息输入给采摘位姿规划算法，通过计算的到各个关机电机的正逆解，规划出机械臂的正确采摘姿态；

当机械臂以正确的采摘姿态到达目标咖啡果实采摘点位置时，控制采摘机构采摘成熟的咖啡果实，通过收集管收集到收集箱中；

完成一次采摘以后，控制机械臂复位，准备下一次采摘。

7.根据权利要求6所述的咖啡鲜果采摘方法，其特征在于，所述双目相机先捕捉到带有咖啡果实的图像，同时对该图像进行滤波处理之前，还包括：

对双目相机进行单目标定，分别得到左右相机的内参数矩阵和畸变矩阵；

在单目标定的基础上进行双目标定，得到双目标定的矩阵参数，以及相机图像像素距离和目标真实三维空间距离之间的对应关系；

确定二维坐标到三维坐标的转换矩阵，所述二维坐标为像素坐标系的坐标，所述三维坐标为空间机械手坐标系的坐标。

8.根据权利要求6所述的咖啡鲜果采摘方法，其特征在于，所述目标检测模型采用yolov7神经网络模型，训练过程如下：

获取多张咖啡果实图像，形成数据集；

对目标果实打上标签；

使用yolov7神经网络模型对数据集进行训练，生成目标检测模型。

9.根据权利要求6所述的咖啡鲜果采摘方法，其特征在于，所述利用立体匹配算法对目标咖啡果实的果实和采摘点图像进行立体匹配，经过三维重建获得目标咖啡果实三维空间信息，具体包括：

利用SGBM立体匹配算法对目标咖啡果实的果实和采摘点图像进行立体匹配，分别得到咖啡果实果实和采摘点的深度信息；

通过对深度信息进行三维重建，得到目标咖啡果实的三维点云信息，从而计算出目标果实相对于装置的距离。

10.根据权利要求6-9任一项所述的咖啡鲜果采摘方法，其特征在于，所述控制采摘机构采摘成熟的咖啡果实，通过收集管收集到收集箱中，具体包括：

通过旋转电机以及旋转轴来完成整个采摘机构的旋转运动，使橡胶梳齿将成熟的咖啡果实击落在传送带上，由传送带电机供电，使传送带携带成熟的咖啡果实至收集管，以收集到收集箱中。