CN113366973B - 一种保裔芽的菠萝自动采摘机器人及其应用 - Google Patents

Abstract

本发明公开了一种保裔芽的菠萝自动采摘机器人及其应用，包括末端执行器、机械臂、车体底板、电源和双目相机；机械臂和电源固定在车体底板上；末端执行器安装在机械臂的末端；双目相机通过支撑杆安装在车体底板上；所述末端执行器包括内刀片、抓爪、外刀片、直线电机、固定支架、旋转电机；所述抓爪为非对称式鳍条效应结构，包括内侧和外侧，内侧与外侧之间通过筋连接。本发明在切割收获菠萝的过程中，能够有效地保护裔芽不受到破坏，提高了装置的智能化、自动化程度。

Description

一种保裔芽的菠萝自动采摘机器人及其应用

技术领域

本发明属于农业机械领域，具体涉及一种保裔芽的菠萝自动采摘机器人及其应用。

背景技术

菠萝是一种热带经济作物，在我国福建、广东、海南、广西、云南等地均有栽培。以广东为例，菠萝被称为“岭南四大名果之一”，其种植面积和种植品种数量可见一斑。但菠萝的收获存在若干问题：第一，菠萝的收成时间短，一般仅有二十余天就需要从田地里全部收获完成，人工采摘效率较低；第二，菠萝的种植密度大，常规的采摘机器人较难适应菠萝田环境；第三，菠萝成熟时表层的菠萝叶锋利且坚硬，有时菠萝会被包裹在叶片中，需要拨开叶片来采摘菠萝，但人工采摘很容易被割伤；第四，菠萝为多年生草本植物，其栽培方式并非种子繁殖，常见的果园菠萝栽培方式为小苗培育，即利用菠萝果柄处长出来的幼芽，该幼芽称之为裔芽或种芽，人工采摘时会保留裔芽，但目前采摘机械较少考虑保留裔芽，如专利CN112514642A公开的一种菠萝采摘装置，拨茎链条上的拨板将菠萝的叶片收拢，前切割刀片将菠萝从植株上切离，菠萝运动到后切割刀片处时，后切割刀片会将多余果柄切除，但该装置在采摘过程中没有考虑到保护裔芽的问题，采摘准确率也较低。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种保裔芽的菠萝自动采摘机器人及其应用，采摘过程中保护裔芽，结构简单可靠，采摘效果好、效率高、准确度高。

本发明的目的通过下述技术方案实现：

一种保裔芽的菠萝自动采摘机器人，包括末端执行器1、机械臂2、菠萝收集筐3、车体底板4、电源5和双目相机6；机械臂2、菠萝收集筐3和电源5固定在车体底板4上，车体底板4用于支撑和移动整个采摘机器人；六自由度机械臂2为驱动装置，用于实现末端执行器的轨迹行走；末端执行器1安装在机械臂2的末端；双目相机6通过支撑杆安装在车体底板4上。

所述末端执行器1包括内刀片11、抓爪12、外刀片13、连接铰链14、直线电机15、滑轨16、固定支架17、旋转电机18；抓爪12和直线电机15各有三个，三个直接电机15用于分别控制三个抓爪12的张合，抓爪12和直线电机15分别通过连接铰链14安装在固定支架17上；旋转电机18与固定支架17相连接，用于带动固定支架17的旋转；内刀片11安装在抓爪12的内侧底端，外刀片13安装在抓爪12的外侧。

所述抓爪12为非对称式鳍条效应结构，包括内侧和外侧，内侧与外侧之间通过筋连接；所述内侧和外侧的形状均为类似菠萝外轮廓的形状，外侧比内侧厚3～5mm，内侧的底端设置有刀槽用于安装内刀片11，外侧设置有一个以上的刀槽用于安装外刀片13。本发明的抓爪采用非对称式鳍条效应结构，外侧结构比内测结构厚，且中间有镂空，其形状为两侧边界形状，本发明的结构使得抓爪内侧具有自适应性，会根据菠萝的形状而产生自适应变形，从而使得抓取更牢固；同时，抓爪的外侧较厚，具有足够的刚性，不容易产生变形，可以有效地保证抓爪在工作过程中不被茎叶挤压变形。

所述外刀片13为仿生鱼鳞形刀片结构，外刀片的侧面为锯齿状，用于切除菠萝叶片，外刀片13安装于抓爪12的外侧；内刀片11安装于抓爪12的内侧，为单层结构，用于将菠萝切断取下。

弹簧110的两端分别与抓爪12、弹簧连接件19相连接，弹簧110和直线电机模组一起控制抓爪12的张合状态；弹簧连接件19套接在旋转电机18上；直线电机15与滑轨16组成一个直线电机模组，所述模组的一侧与抓爪12相铰接，另一侧与固定支架17相连接。当开始抓取工作时，直线电机启动，沿着滑轨向固定支架17的一侧滑动，旋转电机启动，带动外刀片对遮挡菠萝的茎叶进行切割，抓爪12将弹簧110撑开，形成一个空间；当末端执行器1到达定位切割点时，直线电机停止工作，受到弹簧弹力的作用，抓爪迅速向中间收缩，切断菠萝，即完成一次菠萝采摘过程。

所述保裔芽的菠萝自动采摘机器人的应用，包括下述步骤：

(1)双目相机进行视觉识别，确定切割点；

(2)机械臂带动末端执行器到达切割点，直线电机做功使抓爪张开；旋转电机旋转，带动抓爪夹持菠萝，外刀片对菠萝叶切割；

(3)然后直线电机做功使抓爪闭合，内刀片对果柄进行切割，同时保证刀片不会损伤裔芽；

(4)切割完毕将菠萝运送至菠萝收集筐内。

步骤(1)中，如图4所示，所述视觉识别包括下述步骤：

(1-1)预先存储大量的菠萝和菠萝冠图像，构建菠萝图像库，并运用yolov5网络结构对其进行深度学习；

(1-2)进行单目相机标定，得到相机的内参数矩阵和畸变参数矩阵，然后进行双目标定，得到双目校正的重投影矩阵即相机像素距离与真实距离的转换关系；

(1-3)菠萝采摘机器人在果园前进过程中实时获取双目相机生成的图片，将图片送入已经训练好的yolov5神经网络结构中对菠萝图像进行识别，若有产生菠萝识别框得到框选图像，则进行步骤(1-4)；

(1-4)对框选图像进行灰度处理，然后运用OTUS法对框选图像进行二值化处理，将处理后的图像进行若干次膨胀和腐蚀处理消除噪声；再运用canny边缘检测获得菠萝图像的轮廓，调用边缘检测算法函数(如Marr-Hildreth边缘检测算法)，辅助提取轮廓信息，进行轮廓筛选，将轮廓信息保存，发送给步骤(1-8)；同时进行步骤(1-5)；

(1-5)通过双目相机获取菠萝点云信息并进行三维重构，判断该菠萝果实是否被茎叶遮挡；若菠萝果实未被茎叶遮挡，则进行步骤(1-6)，反之进行步骤(1-7)；

(1-6)若菠萝果实未被茎叶遮挡，则直接提取菠萝的点云信息(即菠萝外观表面的点数据集合的信息)，根据点云信息找到点云质心及菠萝果实底端信息，以重构三维菠萝、计算质心和反求菠萝底部及果柄、计算直线距离，并将数据返回给机械臂，然后进行步骤(1-9)；

(1-7)若菠萝果实被茎叶覆盖遮挡，则分别获取并求出菠萝冠与菠萝果实的点云信息和求出质心，做一条通过两个质心点的直线，该直线上存在菠萝果实质心；获取菠萝最外侧点云信息，并投影到与双目相机平行的平面上，该图像信息为根据点云信息判断的菠萝果实的外轮廓信息；

(1-8)对步骤(1-4)中获得的菠萝轮廓信息和步骤(1-7)点云生成的菠萝外轮廓信息进行拟合，当两曲线上点的最短距离和菠萝冠与菠萝果实之间的距离相等时，则得到所需直线，将该直线提取为菠萝底端，拟合后形成的封闭图像质心即为菠萝图像的质心；

(1-9)判断菠萝是否倾斜，连线菠萝底端到质心的最小距离，若该直线与地面连线倾角大于75°，则采用直接抓取方法进行夹持；若倾角小于15°，则采用侧面抓爪v型块定位方法进行夹持；

(1-10)裔芽长在果柄上，根据菠萝果实体积与菠萝果实底端到裔芽距离的数学模型，在计算切割点时考虑保护裔芽，输入菠萝果实的点云信息即菠萝的体积信息，获得菠萝果实底端到裔芽最短距离，即得到末端执行器的定位切割点。

步骤(1-5)中，判断菠萝果实是否被茎叶遮挡的步骤为：若菠萝果实顶部距离最远两点之间和菠萝底部距离最远两点之间的比值近似相等(近似相等是指允许在一定阈值范围内波动，其范围为菠萝底部距离最远两点直线距离的±20％)，则说明菠萝果实被茎叶遮挡。

步骤(1-10)中，所述数学模型为：根据统计结果，因为菠萝果实体积与菠萝果实底端到裔芽距离具有相关性，将预先存储大量的菠萝果实的点云信息(即菠萝的体积信息)与相对应的菠萝果实底端到裔芽距离进行拟合，获得数据模型，输入变量为菠萝果实体积信息，输出变量为菠萝果实底端到裔芽距离，即切割点数据。

本发明视觉识别的工作原理是：在菠萝收获季节，菠萝果实有时会被遮挡，先分别提取菠萝冠和未被遮挡的菠萝果实的点云信息并分别获取质心，做一条通过两个质心点的直线，该直线上即存在菠萝果实质心；随后通过当前菠萝轮廓对其两边进行拟合，当菠萝底部距离与菠萝果顶即菠萝冠下部平行且相等时，则获取菠萝大致位置；为保护菠萝裔芽，将预先存储大量的菠萝果实的点云信息(即菠萝的体积信息)与相对应的菠萝果实底端到裔芽距离进行拟合，获得数据模型，然后根据实际的菠萝点云信息拟合出具体切割位点位置。

本发明与现有技术相比具有如下优点和效果：

(1)本发明的抓爪(即菠萝夹持机构)外侧具有鱼鳞状双层外刀片，在采摘过程中刀片采用类似鱼鳞逆鳞的安装方式，在有茎叶遮挡时能够削去部分叶片，保证抓爪能夹到果实，同时被夹住的部分叶片因被切断而不会连带在果树上，使得菠萝能够顺利采摘；在非采摘过程中将刀片旋转180°安装，保证了末端执行器的安全性，不会对农民工人造成伤害。

(2)鳍条效应是基于鱼鳍的变形，受力两测中间结构采用镂空的方式，其具有可扩展性和多功能性；本发明的抓爪采用非对称式鳍条效应结构，能够在内侧有效贴合菠萝、不损伤菠萝的情况下保证末端执行器整体的刚度，使其在野外具有一定的适应性。

(3)本发明的视觉系统能够预测菠萝底部和裔芽的位置，在切割收获菠萝的过程中能够有效地保护裔芽不受到破坏，提高了装置的智能化、自动化程度。

附图说明

图1是采摘机器人的整体结构示意图。

图2是末端执行器的结构示意图。

图3是抓爪的结构示意图。

图4是视觉识别菠萝的算法流程图

其中，1、末端执行器；2、机械臂；3、菠萝收集筐；4、车体底板；5、电源；6、双目相机；11、内刀片；12、抓爪；13、外刀片；14、连接铰链；15、直线电机；16、滑轨；17、固定支架；18、旋转电机；19、弹簧连接件；110、弹簧。

具体实施方式

为了便于理解本发明，下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。

实施例1

一种保裔芽的菠萝自动采摘机器人，如图1所示，包括末端执行器1、机械臂2、菠萝收集筐3、履带式车体底板4、电源5和双目相机6；履带式车体底板4用于支撑和移动整个采摘机器人；六自由度机械臂2为驱动装置，用于实现末端执行器的轨迹行走；末端执行器1安装在机械臂2的末端；双目相机6通过支撑杆安装在履带式车体底板4上；电源5和菠萝收集筐3均固定在履带式车体底板4上，分别用于供电和收集菠萝。如图2所示，所述末端执行器1包括内刀片11、抓爪12、外刀片13、连接铰链14、直线电机15、滑轨16、固定支架17、旋转电机18；抓爪12和直线电机15各有三个，三个直接电机15用于分别控制三个抓爪12的升降，抓爪12和直线电机15分别通过连接铰链14安装在固定支架17上；旋转电机18与固定支架17相连接，用于带动固定支架17的旋转；内刀片11安装在抓爪12的内侧底端，外刀片13安装在抓爪12的外侧。如图3所示，所述抓爪12为非对称式鳍条效应结构，包括内侧和外侧，内侧与外侧之间通过筋连接；所述外侧比内侧厚3～5mm，所述内侧的形状为类似菠萝外轮廓的形状，内侧的底端设置有刀槽用于安装内刀片11；外侧的形状与内侧的形状相近似，所述外侧设置有一个以上的刀槽用于安装外刀片13。弹簧110的两端分别与抓爪12、弹簧连接件19相连接，用于控制抓爪12的开闭状态；弹簧连接件19套接在旋转电机18上；直线电机15与滑轨16组成一个直线电机模组，该模组的一侧与抓爪12相铰接，另一侧与固定支架17相连接。

抓爪外侧和抓爪内侧的结构相似，同时外侧需留出两个刀槽用于安装外刀片，其两个刀槽位置约为1/3、2/3处，保证刀片能够顺利切割茎叶。抓爪厚度不宜过大，其目的为保证实施例2的情况下能够抓住菠萝，形成v型块结构。连接内外侧的筋均为平行线，以保证力学结构平衡。

当菠萝正常生长时，即菠萝处于与车体底板倾角大于75°时，可采用本实施例1所述方法夹持。其具体采摘工作过程如下：在采摘过程中，首先将双目相机6和末端执行器1安装在履带式车体底板和机械臂上。通过双目相机寻找识别菠萝并判断菠萝与车体底板的倾角是否大于75°，若大于75°，则末端执行器1通过机械臂2移动到菠萝冠的上方，末端执行器的中心线与地面垂直且经过菠萝的质心，直线电机15工作，撑开弹簧110，使末端执行器抓爪12打开。随后末端执行器在旋转电机18的带动下进行旋转，双层鱼鳞状外刀片13切割掉遮挡菠萝的周围茎叶。接着机械臂2带动末端执行器向下，由于抓爪有自适应性，在小角度倾斜的情况下抓爪可自动将菠萝扶正。若双目相机判断菠萝完整，则末端执行器到达菠萝底端的切割点(通过数学模型计算出切割点)，内刀片11进行切割；若视觉系统判断菠萝不完整，则末端执行器到达双目相机拟合的菠萝底端下一段距离处，内刀片11进行切割。在切割的过程中，为了防止菠萝茎叶纤维含量过高，其韧性过大，摘取菠萝时旋转电机启动，可将菠萝轻松取下置入车体底板上的收集筐中。

实施例2

在菠萝种植区域多半在沿海地区，时常存在台风、海啸、暴雨等不可抗力使菠萝与地面倾斜角过大，本发明的菠萝采摘机器人同样考虑上述情况，具体可采用本实施例所述方法夹持。其具体采摘工作过程如下：采摘过程中抓爪向下夹持，当内刀片合拢过程中，形成了一个v型块，能够准确对其进行定位，由于受自然因素的影响，菠萝与茎叶的连接处及其脆弱，只需机械臂向上提即可使菠萝与枝干分离。

实施例3

若菠萝地为小块地时，可采用本发明的一个机械臂和履带式车体底板的组合结构。当菠萝地为大田时，可同时安装4台或多台机械臂，工作时形成协作采摘机器人，其机械臂安装在拖拉机后的机具上。

以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种保裔芽的菠萝自动采摘机器人，其特征在于：包括末端执行器、机械臂、车体底板、电源和双目相机；机械臂和电源固定在车体底板上；末端执行器安装在机械臂的末端；双目相机通过支撑杆安装在车体底板上；所述末端执行器包括内刀片、抓爪、外刀片、直线电机、固定支架、旋转电机；抓爪和直线电机各有三个，三个直接电机用于分别控制三个抓爪的张合，抓爪通过连接铰链安装在固定支架上；直线电机的上端与抓爪通过连接铰链相连接，直线电机的下端与滑轨的一端连接，滑轨的另一端与固定支架相连接；旋转电机与固定支架相连接，用于带动固定支架的旋转；内刀片安装在抓爪的内侧底端，外刀片安装在抓爪的外侧；弹簧的两端分别与抓爪、弹簧连接件相连接；弹簧连接件套接在旋转电机上；直线电机与滑轨组成直线电机模组，所述模组的一侧与抓爪相铰接，另一侧与固定支架相连接；双目相机进行视觉识别，确定切割点，包括下述步骤：

(1-1)预先存储大量的菠萝和菠萝冠图像，构建菠萝图像库，并运用yolov5网络结构对其进行深度学习；

(1-2)进行单目相机标定，得到相机的内参数矩阵和畸变参数矩阵，然后进行双目标定，得到双目校正的重投影矩阵即相机像素距离与真实距离的转换关系；

(1-3)菠萝采摘机器人在果园前进过程中实时获取双目相机生成的图片，将图片送入已经训练好的yolov5神经网络结构中对菠萝图像进行识别，若有产生菠萝识别框得到框选图像，则进行步骤(1-4)；

(1-4)对框选图像进行灰度处理，然后运用OTUS法对框选图像进行二值化处理，将处理后的图像进行若干次膨胀和腐蚀处理消除噪声；再运用canny边缘检测获得菠萝图像的轮廓，调用边缘检测算法函数，辅助提取轮廓信息，进行轮廓筛选，将轮廓信息保存，发送给步骤(1-8)；同时进行步骤(1-5)；

(1-5)通过双目相机获取菠萝点云信息并进行三维重构，判断该菠萝果实是否被茎叶遮挡；若菠萝果实未被茎叶遮挡，则进行步骤(1-6)，反之进行步骤(1-7)；

(1-6)若菠萝果实未被茎叶遮挡，则直接提取菠萝的点云信息即菠萝外观表面的点数据集合的信息，根据点云信息找到点云质心及菠萝果实底端信息，以重构三维菠萝、计算质心和反求菠萝底部及果柄、计算直线距离，并将数据返回给机械臂，然后进行步骤(1-9)；

(1-7)若菠萝果实被茎叶覆盖遮挡，则分别获取并求出菠萝冠与菠萝果实的点云信息和求出质心，做一条通过两个质心点的直线，该直线上存在菠萝果实质心；获取菠萝最外侧点云信息，并投影到与双目相机平行的平面上，该图像信息为根据点云信息判断的菠萝果实的外轮廓信息；

(1-8)对步骤(1-4)中获得的菠萝轮廓信息和步骤(1-7)点云生成的菠萝外轮廓信息进行拟合，当两曲线上点的最短距离和菠萝冠与菠萝果实之间的距离相等时，则得到所需直线，将该直线提取为菠萝底端，拟合后形成的封闭图像质心即为菠萝图像的质心；

(1-9)判断菠萝是否倾斜，连线菠萝底端到质心的最小距离，若该直线与地面连线倾角大于75°，则采用直接抓取方法进行夹持；若倾角小于15°，则采用侧面抓爪v型块定位方法进行夹持；所述直接抓取方法是末端执行器通过机械臂移动到菠萝冠的上方，末端执行器的中心线与地面垂直且经过菠萝的质心，直线电机工作，撑开弹簧，使末端执行器抓爪打开，接着机械臂带动末端执行器向下对菠萝进行抓取；所述侧面抓爪v型块定位方法是末端执行器通过机械臂移动到菠萝的侧面上方，末端执行器的中心线与地面垂直，采摘过程中抓爪向下夹持，当内刀片合拢过程中，形成了v型块结构，从菠萝的侧面进行定位抓取；

(1-10)裔芽长在果柄上，根据菠萝果实体积与菠萝果实底端到裔芽距离的数学模型，在计算切割点时考虑保护裔芽，输入菠萝果实的点云信息即菠萝的体积信息，获得菠萝果实底端到裔芽最短距离，即得到末端执行器的定位切割点。

2.根据权利要求1所述的菠萝自动采摘机器人，其特征在于：所述抓爪为非对称式鳍条效应结构，包括内侧和外侧，内侧与外侧之间通过筋连接；所述内侧和外侧的形状均为类似菠萝外轮廓的形状，外侧比内侧厚，内侧的底端设置有刀槽用于安装内刀片，外侧设置有一个以上的刀槽用于安装外刀片。

3.根据权利要求1所述的菠萝自动采摘机器人，其特征在于：所述外刀片为仿生鱼鳞形刀片结构，外刀片的侧面为锯齿状，用于切除菠萝叶片；内刀片为单层结构，用于将菠萝切断取下。

4.根据权利要求1所述的菠萝自动采摘机器人，其特征在于：步骤(1-5)中，判断菠萝果实是否被茎叶遮挡的步骤为：若菠萝果实顶部距离最远两点之间和菠萝底部距离最远两点之间的比值近似相等，则说明菠萝果实被茎叶遮挡。

5.根据权利要求1所述的菠萝自动采摘机器人，其特征在于：步骤(1-10)中，所述数学模型为：将预先存储大量的菠萝果实的点云信息即菠萝的体积信息与相对应的菠萝果实底端到裔芽距离进行拟合，获得数据模型，输入变量为菠萝果实体积信息，输出变量为菠萝果实底端到裔芽距离，即切割点数据。

6.一种权利要求1～5中任一项所述的保裔芽的菠萝自动采摘机器人的应用，其特征在于包括下述步骤：

(1)双目相机进行视觉识别，确定切割点；

(2)机械臂带动末端执行器到达切割点，直线电机做功使抓爪张开；旋转电机旋转，带动抓爪夹持菠萝，外刀片对菠萝叶切割；

(3)直线电机做功使抓爪闭合，内刀片对果柄进行切割，同时保证刀片不会损伤裔芽；

(4)切割完毕将菠萝运送至菠萝收集筐内。

Images