CN108401684A - 一种智能水果采摘机及采摘方法 - Google Patents

Abstract

本发明公开了一种智能水果采摘机及采摘方法，采摘机包括车体、水果采摘机构、摄像头、控制装置以及安装固定装置，安装固定装置包括旋转底座、升降支座和伸缩采摘杆，升降支座通过旋转底座固定安装在车体上，伸缩采摘杆通过俯仰机构安装在升降支座的自由伸缩端顶部，水果采摘机构上设有超声波距离传感器，伸缩采摘杆上设有三维姿态传感器，控制装置通过摄像头连续采集图像信息，并计算出水果在摄像头画面中位置信息，然后通过旋转底座和升降支座调整采摘杆与待采摘水果同高的水平位置，最后利用超声波距离传感器反馈的水果距离信息，通过伸缩采摘杆带动水果采摘机构对水果进行采摘。本发明工作稳定，性能可靠，自动化程度高，采摘效率高。

Description

一种智能水果采摘机及采摘方法

技术领域

本发明属于水果采摘领域，涉及一种水果采摘设备，具体涉及一种智能水果采摘机及采摘方法。

背景技术

目前水果采摘主要是靠人工实现，即使是部分自动化采摘设备，也需要人工操作，人工对水果进行定位，然后驱动设备进行采摘，也就是还无法实现高度自动化，采摘效率受到水果定位极大的影响，opencv(一个基于BSD许可(开源)发行的跨平台计算机视觉库)中提供的图像处理和计算机视觉方面的通用算法可以实现苹果的位置定位，该技术主要通过对苹果的颜色与形状轮廓来对苹果进行定位，通过摄像头采集图像数据并将其从RGB格式转换成HSV格式(在此格式之中各个颜色的分区更加明显，使得苹果的分离更加简单)，再对图像进行侵蚀，膨胀的操作来凸显出苹果的位置，返回一个苹果相对于摄像头视角的相对坐标，通过该技术可以实现对水果的定位，再配合一定的采摘设备和控制方法，即可实现高度自动化采摘，但是目前还缺乏相关技术。

发明内容

本发明的目的是利用opencv(一个基于BSD许可(开源)发行的跨平台计算机视觉库)中提供的图像处理和计算机视觉方面的通用算法实现苹果的位置定位，通过自带的微处理器直接控制机电元件的动作而实现整体机械的移动与旋转，通过超声波传感器通过测量发出和接受返回的时间并用其与声速的乘积来间接表示与苹果之间的距离，使得整体机械运行至合理采摘位置，使刀具动作，完成采摘。

为了解决上述技术问题，本发明采用的技术方案是：

一种智能水果采摘机，其特征在于：包括用于行走的车体、用于采摘的水果采摘机构、摄像头、控制装置以及安装固定装置，所述安装固定装置包括旋转底座、升降支座和伸缩采摘杆，旋转底座固定安装在车体上，升降支座安装在旋转底座的自由旋转部分上，伸缩采摘杆通过俯仰机构安装在升降支座的自由伸缩端顶部，所述水果采摘机构安装在伸缩采摘杆的自由伸缩端顶部，水果采摘机构上设有超声波距离传感器，所述摄像头安装在伸缩采摘杆上，伸缩采摘杆上设有测量其与水平面夹角的三维姿态传感器，所述控制装置通过摄像头连续采集图像信息，并计算出水果在摄像头画面中位置信息，然后通过旋转底座和升降支座调整采摘杆与待采摘水果同高的水平位置，最后利用超声波距离传感器反馈的水果距离信息，通过伸缩采摘杆带动水果采摘机构对水果进行采摘。

作为改进，所述旋转底座上设有测量升降支座旋转角度的第一角度传感器，俯仰机构上设有测量其调整伸缩采摘杆俯仰角度的第二角度传感器，升降支座上设有测量其伸缩变化量的第一位移传感器，伸缩采摘杆上设有测量其伸缩变化量的第二位移传感。

作为改进，所述旋转底座为水平旋转舵机，俯仰机构为垂直旋转舵机，升降支座为第一电动推杆，伸缩采摘杆为第二电动推杆，所述水果采摘机构为自动采摘刀，上述水平旋转舵机、垂直旋转舵机、第一电动推杆、第二电动推杆和自动采摘刀均通过控制装置控制。

作为改进，所述车体为自动行走车体或者手动行走车体。

一种智能水果采摘机自动采摘方法，其特征在于，包括以下步骤：

步骤一、首先将车体行走至待采摘的果树对面；

步骤二、通过摄像头采集水果信息，并将摄像头采集画面的中心定义为平面坐标系的原点；

步骤三、通过控制器启动水平旋转舵机和垂直旋转舵机将待采摘水果调整到摄像头画面的原点处；

步骤四、伸缩采摘杆姿态调整，通过俯仰机构将伸缩采摘杆调整为水平姿态，在调整姿态同时，判断待采摘水果在摄像头画面中纵向是否偏移，如果偏移，则通升级支座将待采摘水果调整到摄像头画面中心处；

步骤五、控制器通过超声波距离传感器反馈的水果距离信息控制伸缩采摘杆调整，带动水果采摘机构到达待采摘水果处，完成水果采摘；

步骤六、如此循环直至完成水果树上所有水果采摘，之后移动车体到下一颗水果树。

作为改进，步骤三中，将待采摘水果调整到摄像头画面的原点处具体方法为：

步骤a、定义提取待采摘水果在摄像头画面中的坐标为(a，b)；

步骤b、通过控制器判断|a|<a₀是否成立，如果成立则执行步骤c，否则通过控制器启动水平旋转舵机调整，直至采摘水果的坐标满足|a|<a₀；其中，a₀是一个常数，是水平旋转舵机最小转动精度下对应的摄像头画面中水果水平左右方向偏移的距离；

步骤c、通过控制器判断|b|<b₀是否成立，如果成立则调整结束，否则通过控制器启动垂直旋转舵机调整，直至采摘水果的坐标满足|b|<b₀；其中，b₀是一个常数，是垂直旋转舵机最小转动精度下对应的摄像头画面中水果铅直上下方向偏移的距离。

作为改进，所述伸缩采摘杆的水平姿态调整方法为：

步骤a、通过三维姿态传感器反馈一个伸缩采摘杆与水平面的角度信息ω，通过ω正负判断俯仰机构调整方向，直至伸缩采摘杆为水平状态；

步骤b、俯仰机构调整完后，判断|b}<b₀是否成立，如果成立，则返回步骤a、否则执行步骤c；

步骤c、控制器控制升降支座升降调整，直至|b|<b₀成立，返回步骤a重复执行，直至伸缩采摘杆达到水平装置，即|ω|<ω₀，ω₀为伸缩采摘杆水平度调整精度，为一个常数。

本发明有益效果是：

本发明以解决苹果采摘过程中省力、便捷、高效率及果实的完整性问题的设备为研究对象。提出了一种可远距离操作，无需人工采摘的省时省力结构，以机器视觉代替人眼进行观察，利用卡片式电脑控制机械结构按照规定的动作运行，再通过网状软管进行苹果收集，研发了一套可以智能采摘苹果的设备。实验结果表明，该设备工作稳定，性能可靠，功能实现效果良好。

附图说明

图1为本发明智能水果采摘机结构示意图。

图2为本发明智能水果采摘机在三维坐标系XOY中示意图。

图3为智能水果采摘机自动采摘方法流程示意图。

图4为四边形采摘刀结构示意图；

图5为四边形采摘刀基座部分结构示意图；

图6为四边形采摘刀张开时结构示意图；

图7为四边形采摘刀合拢剪切时结构示意图。

1-车体，2-水果采摘机构，3-摄像头，4-第一电动推杆，5-第二电动推杆，6-旋转底座，7-俯仰机构，8-超声波距离传感器，9-基座，10-主动锥齿轮，11-第一从动锥齿轮，12-第二从动锥齿轮，13-U型槽，14-固定轴，15-第一刀片，16-第二刀片，17-第三刀片，18-第四刀片，19-限位块。

具体实施方式

如图1和图2所示，一种智能水果采摘机，包括用于行走的车体1、用于采摘的水果采摘机构2、摄像头3、控制装置以及安装固定装置，所述安装固定装置包括旋转底座6、升降支座和伸缩采摘杆，旋转底座6固定安装在车体1上，升降支座安装在旋转底座6的自由旋转部分上，伸缩采摘杆通过俯仰机构7安装在升降支座的自由伸缩端顶部，所述水果采摘机构2安装在伸缩采摘杆的自由伸缩端顶部，水果采摘机构2上设有超声波距离传感器8，所述摄像头3安装在伸缩采摘杆上，伸缩采摘杆上设有测量其与水平面夹角的三维姿态传感器，所述控制装置通过摄像头3连续采集图像信息，并计算出水果在摄像头3画面中位置信息，然后通过旋转底座6和升降支座调整采摘杆与待采摘水果同高的水平位置，最后利用超声波距离传感器8反馈的水果距离信息，通过伸缩采摘杆带动水果采摘机构2对水果进行采摘。

所述旋转底座6上设有测量升降支座旋转角度的第一角度传感器，俯仰机构7上设有测量其调整伸缩采摘杆俯仰角度的第二角度传感器，升降支座上设有测量其伸缩变化量的第一位移传感器，伸缩采摘杆上设有测量其伸缩变化量的第二位移传感。

所述旋转底座6为水平旋转舵机，俯仰机构7为垂直旋转舵机，升降支座为第一电动推杆4，伸缩采摘杆为第二电动推杆5，所述水果采摘机构2为自动采摘刀，上述水平旋转舵机、垂直旋转舵机、第一电动推杆4、第二电动推杆5和自动采摘刀均通过控制装置控制。

所述车体1为自动行走车体1或者手动行走车体1，本发明中控制装置为控制器，也是微型处理器。

对于水果采摘机构，可以采用一种四边形采摘刀，如图4至图7所示，其包括基座9和四个刀片，所述基座9为U型槽底座，基座9的U型槽13内设有固定轴14，四个刀片分别为第一刀片15、第二刀片16、第三刀片17、第四刀片18，其中第一刀片15和第二刀片16分别通过轴承安装在固定轴14上下两端，第三刀片17和第四刀片18分别铰接安装在第一刀片15和第二刀片16末端，第三刀片17和第四刀片18末端铰接在一起组成平行四边形结构，所述第一刀片15上设有与其固定相连且与固定轴14同轴的第一从动锥齿轮11，所述第二刀片16上设有与其固定相连且与固定轴14同轴的第二从动锥齿轮12，基座9的U型槽13底部设有同时与第一从动锥齿轮11和第二从动锥齿轮12同时啮合的主动锥齿轮10，主动锥齿轮10通过轴承安装在基座9的U型槽13底部，所述主动锥齿轮10通过动力装置驱动旋转，通过锥齿轮啮合带动第一刀片15和第二刀片16张开或者合拢完成剪切功能。所述主动锥齿轮10通过摇把驱动旋转或者通过电机驱动旋转。所述刀片包括刀体和刀刃，所述刀体采用金属或塑料材质制成，所述刀刃采用金属或陶瓷材料制成。

如图3所示，一种智能水果采摘机自动采摘方法，以小车底盘为原点定义坐标系，x轴为小车前方方向，y轴为小车左方方向，z轴为小车上方方向，则苹果坐标为(x,y,z)，定义θ₁为旋转底座6的旋转转角，θ₂为俯仰机构7旋转角度，ω为三维姿态传感器数值(这里只取用伸缩采摘杆与水平面的夹角)，S为超声波距离传感器8返回的水果距离数据，L为升降支座高度，D为伸缩采摘杆的长度，摄像头3及超声波传感器在伸缩采摘杆的最顶端，以下旋转方向以图2方向为例说明,其不代表对技术方案的限制。

步骤一、首先将车体1行走至待采摘的果树对面；

步骤二、通过摄像头3采集水果图像信息，并将摄像头3采集画面的中心定义为平面坐标系XOY的原点；

步骤三、通过控制器启动水平旋转舵机和垂直旋转舵机将待采摘水果调整到摄像头3画面的原点处，具体方法为：

步骤a、定义提取待采摘水果在摄像头3画面中的坐标为(a，b)，a为图像水平轴横坐标，b为图像铅锤轴纵坐标，设θ₁'为水平旋转舵机转动变动结果，△θ₁为可以控制水平旋转舵机转动的最小角度，设θ₂'为垂直旋转舵机转动变动结果，△θ₂为可以控制垂直旋转舵机转动的最小角度；

步骤b、通过控制器判断|a|<a₀是否成立，如果成立则执行步骤c，否则通过控制器启动水平旋转舵机调整，直至采摘水果的坐标满足|a|<a₀，其中，a₀是一个常数，是水平旋转舵机最小转动精度下对应的摄像头3画面中水果水平左右方向偏移的距离；

调整时，当a<0时，调节θ₁'＝θ₁-△θ₁，此时水平旋转舵机向左旋转；

当a>0时，调节θ₁'＝θ₁+△θ₁，此时水平旋转舵机向右旋转；

步骤c、通过控制器判断|b|<b₀是否成立，如果成立则调整结束，否则通过控制器启动垂直旋转舵机调整，直至采摘水果的坐标满足|b|<b₀；其中，b₀是一个常数，是垂直旋转舵机最小转动精度下对应的摄像头3画面中水果铅直上下方向偏移的距离；

调整时，当b<0时，调节θ₂'＝θ₂-△θ₂，此时垂直旋转舵机向上旋转；

当b>0时，调节θ₂'＝θ₂+△θ₂，此时垂直旋转舵机向下旋转；

|a|<a₀和|b|<b₀均满足，则执行下一步：

步骤四、伸缩采摘杆姿态调整，通过俯仰机构7将伸缩采摘杆调整为水平姿态，在调整姿态同时，判断待采摘水果在摄像头3画面中纵向是否偏移，如果偏移，则通升级支座将待采摘水果调整到摄像头3画面中心处，设L'为变动结果，△L为可以控制第一电动推杆4升降的最小距离：

所述伸缩采摘杆的水平姿态调整方法为：

步骤e、通过三维姿态传感器反馈一个伸缩采摘杆与水平面的角度信息ω，如果|ω|<ω₀成立，则跳过以下步骤执行步骤五，否则按照步骤f和步骤g执行，直至|ω|<ω₀和|b|<b₀同时成立，ω₀为通过垂直旋转舵机最小转动精度下对应的伸缩采摘杆能调整的最小角度，通过ω正负判断俯仰机构7调整方向；

步骤f、当ω>0时，调节θ₂'＝θ₂-△θ₂，此时垂直旋转舵机向上旋转；

当ω<0时，调节θ₂'＝θ₂+△θ₂，此时垂直旋转舵机向下旋转；

步骤g、判断|b|<b₀是否成立，如果成立则返回步骤e，否则按以下方式调整，直至|b|<b₀成立：

当b<0时，调节L'＝L+△L，此时第一电动推杆4向上升；

当b>0时:调节L'＝L-△L，此时第一电动推杆4向下降；

|ω|<ω₀和|b|<b₀同时成立，则执行步骤五，否则重复执行步骤四；

步骤五、控制器通过超声波距离传感器8反馈的水果距离信息控制伸缩采摘杆调整，带动水果采摘机构2到达待采摘水果处，完成水果采摘，超声波距离传感器8安装在伸缩采摘杆上不同位置有不同控制方法，以安装在伸缩采摘杆伸缩的端部为例，此时定义超声波距离传感器8到水果采摘机构2的采摘刀处距离为预置距离S'，超声波距离传感器8测得水果距离为S：

当S<S'，调节D'＝D-△D，第二电动推杆5收缩后退；

当S>S'，调节D'＝D+△D，第二电动推杆5伸出前进；

循环调整，直至S＝S'，执行下一步采摘工作；

此时调整θ₁'＝θ₁-5°，D'＝D+40mm，θ₂'＝θ₂+10°，对水果采摘机构2的采摘刀进行校正，刀具动作完成采摘；

步骤六、如此循环直至完成水果树上所有水果采摘，之后移动车体1到下一颗水果树。

理论上，此种装置的最大采摘范围(x,y,z)为(L_min+D_max)²≤x²+y²+z²≤(L_max+D_max)²

式中x>0,y>0,z>0，L_max和L_min为第一电动推杆4最大和最小伸缩长度，D_max和D_min为第二电动推杆5最大和最小伸缩长度。

Claims (7)

1.一种智能水果采摘机，其特征在于：包括用于行走的车体、用于采摘的水果采摘机构、摄像头、控制装置以及安装固定装置，所述安装固定装置包括旋转底座、升降支座和伸缩采摘杆，旋转底座固定安装在车体上，升降支座安装在旋转底座的自由旋转部分上，伸缩采摘杆通过俯仰机构安装在升降支座的自由伸缩端顶部，所述水果采摘机构安装在伸缩采摘杆的自由伸缩端顶部，水果采摘机构上设有超声波距离传感器，所述摄像头安装在伸缩采摘杆上，伸缩采摘杆上设有测量其与水平面夹角的三维姿态传感器，所述控制装置通过摄像头连续采集图像信息，并计算出水果在摄像头画面中位置信息，然后通过旋转底座和升降支座调整采摘杆与待采摘水果同高的水平位置，最后利用超声波距离传感器反馈的水果距离信息，通过伸缩采摘杆带动水果采摘机构对水果进行采摘。

2.如权利要求1所述一种智能水果采摘机，其特征在于：所述旋转底座上设有测量升降支座旋转角度的第一角度传感器，俯仰机构上设有测量其调整伸缩采摘杆俯仰角度的第二角度传感器，升降支座上设有测量其伸缩变化量的第一位移传感器，伸缩采摘杆上设有测量其伸缩变化量的第二位移传感。

3.如权利要求2所述一种智能水果采摘机，其特征在于：所述旋转底座为水平旋转舵机，俯仰机构为垂直旋转舵机，升降支座为第一电动推杆，伸缩采摘杆为第二电动推杆，所述水果采摘机构为自动采摘刀，上述水平旋转舵机、垂直旋转舵机、第一电动推杆、第二电动推杆和自动采摘刀均通过控制装置控制。

4.如权利要求3所述一种智能水果采摘机，其特征在于：所述车体为自动行走车体或者手动行走车体。

5.一种智能水果采摘机自动采摘方法，其特征在于，包括以下步骤：

步骤一、首先将车体行走至待采摘的果树对面；

步骤二、通过摄像头采集水果信息，并将摄像头采集画面的中心定义为平面坐标系的原点；

步骤三、通过控制器启动水平旋转舵机和垂直旋转舵机将待采摘水果调整到摄像头画面的原点处；

步骤四、伸缩采摘杆姿态调整，通过俯仰机构将伸缩采摘杆调整为水平姿态，在调整姿态同时，判断待采摘水果在摄像头画面中纵向是否偏移，如果偏移，则通升级支座将待采摘水果调整到摄像头画面中心处；

步骤五、控制器通过超声波距离传感器反馈的水果距离信息控制伸缩采摘杆调整，带动水果采摘机构到达待采摘水果处，完成水果采摘；

步骤六、如此循环直至完成水果树上所有水果采摘，之后移动车体到下一颗水果树。

6.如权利要求5所述一种智能水果采摘机自动采摘方法，其特征在于：步骤三中，将待采摘水果调整到摄像头画面的原点处具体方法为：

步骤a、定义并提取待采摘水果在摄像头画面中的坐标为(a，b)；

步骤b、通过控制器判断|a|<a₀是否成立，如果成立则执行步骤c，否则通过控制器启动水平旋转舵机调整，直至采摘水果的坐标满足|a|<a₀；其中，a₀是一个常数，是水平旋转舵机最小转动精度下对应的摄像头画面中水果水平左右方向偏移的距离；

步骤c、通过控制器判断|b|<b₀是否成立，如果成立则调整结束，否则通过控制器启动垂直旋转舵机调整，直至采摘水果的坐标满足|b|<b₀；其中，b₀是一个常数，是垂直旋转舵机最小转动精度下对应的摄像头画面中水果铅直上下方向偏移的距离。

7.如权利要求6所述一种智能水果采摘机自动采摘方法，其特征在于：所述伸缩采摘杆的水平姿态调整方法为：

步骤a、通过三维姿态传感器反馈一个伸缩采摘杆与水平面的角度信息ω，通过ω正负判断俯仰机构调整方向，直至伸缩采摘杆为水平状态；

步骤b、俯仰机构调整完后，判断|b|<b₀是否成立，如果成立，则返回步骤a、否则执行步骤c；

步骤c、控制器控制升降支座升降调整，直至|b|<b₀成立，返回步骤a重复执行，直至伸缩采摘杆达到水平装置，即|ω|<ω₀，ω₀为伸缩采摘杆水平度调整精度，为一个常数。