CN110122073A - 一种基于机器视觉的草莓采摘机器人 - Google Patents

Abstract

本发明提供了一种基于机器视觉的草莓采摘机器人，包括底盘、行走机构、采摘机构、收集机构、主控模块、视觉模块、超声波模块、电机及驱动模块、传感器模块，所述传感器模块置于底盘下方边缘，用来随时检测地面情况控制装置行走；所述电机及驱动模块置于底座下方且与行走机构固接，用于驱动行走机构；所述视觉模块垂直固定于底盘上方，采集草莓的图像；所述超声波模块与视觉模块位于同一轴线上，用于检测机械臂到草莓的距离；所述主控模块接收传感器模块、视觉模块、超声波模块的数据信息并作出控制行走机构、采摘机构动作的决策；实现温室大棚内草莓的智能采摘，完成自主行走、草莓识别定位、草莓抓取及收集功能。

Description

一种基于机器视觉的草莓采摘机器人

技术领域

本发明涉及一个草莓采摘装置，属于农业收获机械技术领域。

背景技术

众所周知，采摘过程在草莓种植中占有重要地位，占用草莓种植生产过程中1/4的时间。传统的人工草莓采摘，耗费大量时间和人力资源，严重影响草莓种植的发展。针对草莓生产和需求现状，研究一种智能草莓采摘机器人，实现草莓的自动采摘，对于草莓种植生产具有重要意义。

随着新型农业的推广和科学技术的不断进步，农业机器人已逐步应用到农业生产的各个领域，并促进机械装备向智能化方向发展。因此，草莓采摘机器人要求其能自动检测成熟草莓的位置信息，并根据信息控制机器人的执行机构动作，实现对草莓的采摘、识别、运输等一系列工作，提高草莓的采摘效率，实现草莓的智能采摘。

目前，草莓采摘机器人的智能水平得到了发展，但离商品化和实用性还有以下一些差距：

1)装置在温室大棚内行走路线常常受栽培方式的影响，位置受限制，不方便转弯，行走不够理想。

2)草莓图像识别不够精准，三维坐标获取方法复杂，图像信息处理时间较长，准确性较低。

3)机械手臂设计不够理想，结构复杂，农业机器人使用者多数主体为农民，他们很少懂得电子、机械方面的专业知识，因此更需要有较高的可靠性并且容易操作。

4)末端采摘器设计不够合理，采摘过程中容易损伤草莓的果皮，对于草莓这种软弱易伤的生物对象，必须要能够轻柔的处理。

为解决当前市场对草莓采摘机器人的需求，针对当前草莓采摘机器人的不足，本项目设计一种满足农户需求，具有结构简单，用户的劳动强度低，草莓的采摘效率高等优点的智能草莓采摘机器人。

发明内容

针对现有草莓采摘机器人不能满足市场需求的问题，本发明提出一种基于机器视觉的草莓智能采摘收集装置，实现温室大棚内自主行走、草莓颜色识别及定位、草莓抓取及收集功能。整个采摘过程由移动式草莓采摘机器人自主完成，节省人力，效率高效。

为达到上述发明目的，本发明采用以下技术方案：

一种基于机器视觉的草莓采摘机器人，其特征在于，包括底盘、行走机构、采摘机构、收集机构、主控模块、视觉模块、超声波模块、电机及驱动模块、传感器模块，

所述行走机构固接于底盘下方，采摘机构固定于底盘的中间偏前方，所述收集机构设置于底座上方左侧位置与底座固接，

所述传感器模块置于底盘下方边缘，用来随时检测地面情况控制装置行走；

所述电机及驱动模块置于底座下方且与行走机构固接，用于驱动行走机构；

所述视觉模块垂直固定于底盘上方，采集草莓的图像；

所述超声波模块与视觉模块位于同一轴线上，用于检测机械臂到草莓的距离；

所述主控模块与视觉模块、超声波模块、电机及驱动模块、传感器模块相连，用于接收传感器模块、视觉模块、超声波模块的数据信息并作出控制行走机构、采摘机构动作的决策，其包括：

图像处理模块：用于对拍摄的图片进行背景分离，通过特征抽离获取草莓图像，以此判断草莓大小、成熟度、位置；

距离确定模块：用于结合图像处理模块获得的草莓视觉模块获取的草莓位置相结合，完成草莓的三维坐标定位，

决策模块：用于根据超声波模块测定的机械臂到草莓的距离，以及传感器模块检测的地面信息，控制电机及驱动模块的工作，使所述机器人移动到采摘位置；并根据草莓的三维坐标确定采摘顺序，并控制采摘机构按照顺序采摘进行草莓采摘。

进一步地，所述图像处理模块，首先是对拍摄的图片进行背景分离，提取成熟草莓的色块，通过对色块的像素的大小的筛选，剔除采摘范围以外、小于设定大小的草莓，对采摘范围内的、大小符合设定大小标准的草莓色块进行统计；

当出现有多块符合标准的色块同时存在，则对多块色块分离部分进行外轮廓点的提取，提取各个色块的中心点坐标(X[i]，Y[i])和半径R[i]以及倾斜角α[i]，并计算色块分离部分中心点距离和到草莓的距离D[i]，筛选D[i]最小值，计算切割点坐标，输出目标点空间坐标系，并输出传送给主控模块；

当仅有一个色块符合标准，提取测量分离部分的外轮廓点，提取中心点坐标和半径r以及倾斜角，计算切割点坐标，输出目标点空间坐标系，并输送给主控模块。

进一步地，还包括与主控模块相连的WIFI模块，将所述机器人检测的状态信息与主控模块执行动作信息实时传输给用户终端。

进一步地，所述行走机构采用4个麦克纳姆全向轮。

进一步地，所述的采摘机构的机械手臂为三个自由度的串联机构，主要包括360度舵机、第一270度舵机、第二270度舵机和机械手抓，

所述第一270度舵机的输出轴与固定在底板上的固定架相连接，第一270度舵机的主体上固定有连接直角架；连接直角架与360度舵机的输出轴相连接，360度舵机的主体固定有直角固定长支架；直角固定长支架与第二270度舵机的主体固定连接，第二270度舵机的输出轴与机械手爪相连。

进一步地，所述机械手爪包括传动杆结构、主动齿轮、从动齿轮、主动弧形抓取杆组件、从动弧形抓取杆组件，

所述主动弧形抓取杆组件、从动弧形抓取杆组件均有两个重叠设置的两根抓取杆及连接在两个抓取杆上的弧形爪，所述抓取杆为具有弯折结构的杆件；

主动齿轮、从动齿轮相啮合并分别装在所述主动弧形抓取杆组件、从动弧形抓取杆组件上；

所述传动杆结构中的长连接杆的一端与第二270度舵机的输出轴固定连接，另一端连接两个短连杆和一根连接细杆，所述两根短连杆的另一端分别连接所述主动弧形抓取杆组件、从动弧形抓取杆组件中的抓取杆的端部，所述连接细杆的另一端连接所述主动弧形抓取杆组件的抓取杆的弯折部。

进一步地，在弧形爪内侧布置海绵防护垫。

本发明的有益效果是：

本发明提出采用麦克纳姆轮全向移动结构作为行走机构，实现装置的全方位自由转向，方便整体结构的运动；

本发明提出视觉模块，提出了具体的图像分割方法，该方法可以在检测过程中面对多个目标进入同一视野时会筛选出最优目标来执行坐标信息的采集和输出功能；该图像分割方法减少了图像处理的冗余程度，避免了图像处理复杂的问题，；

本发明提出齿轮连接弧形爪机构，并内设海绵缓冲垫，通过齿轮作用带动手爪，该结构增大了弧形爪的张角范围，同时齿轮结构使得精度提高，易于草莓的采摘，并减少草莓采摘过程中的损伤。

本发明提出基于机器视觉的草莓采摘机器人，由机器人完成草莓的采摘及收集过程，并实现自主移动，降低了用户的劳动强度，提高了采摘效率。

本发明提出使用WIFI模块，实时传送机器人装置运行信息。将工作中的状态信息实时传送至用户终端，便于用户实时了解工作进度以及工作状态，便于网络化、集群化管理。

附图说明

图1是本发明所述草莓采摘机器人的结构图，不含机械手。

图2是本发明所述草莓采摘机器人的机械手臂的结构图。

图3为本发明所述草莓采摘机器人的系统框图。

图4是本发明所述草莓采摘机器人的图像处理模块进行图像处理的流程图。

图5是图像处理原理示意图。

图6是本发明所述草莓采摘机器人的草莓采摘过程的控制流程图。

图7是本发明所述草莓采摘机器人的机械臂动作的控制流程图。

图中：

1-底座，2-行走机构，3-传感器模块，4-电机及驱动模块，5-电源支座，6-固定件，7-第一270度舵机，8-360度舵机，9-长连接杆，10.第一弧形抓取杆11.连接直角架，12.直角固定长支架，13-第二270度舵机，14-短连杆，15-连接细杆，16-主动齿轮弧形爪，17-第二抓取杆，18-主动齿轮，19-从动齿轮，20-第三抓取杆，21-第四抓取杆，22-从动齿轮弧形爪，23-视觉模块，24-超声波模块，25-固定支架，26-收集机构。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

本发明所述的基于机器视觉的草莓采摘机器人，主要分为机械结构和电控部分，所述机械结构包括底座1、行走机构2、采摘机构、收集机构26，如图1所示。所述行走机构2固接于底盘下方，具体的，所述行走机构2采用360度全向移动车轮结构，例如采用4个麦克纳姆全向轮。车轮机构简单，重量轻，便于控制，位移精度高，使装置可以实现全向移动，克服了装置在小范围内转向困难的问题。

采摘机构固定于底盘的中间偏前方，是一个三自由度机械臂，由一个360度的舵机和两个270度的舵机来控制机械臂的动作完成，主体部分由两根臂膀连接，手臂关节部位处均装有提供动力的舵机，控制机械手臂精准使其达到指定位置，实现装置采摘和放置草莓的功能。具体的，所述机械手臂为三个自由度的串联机构，如图2所示，主要包括360度舵机8、第一270度舵机7、第二270度舵机13和机械手抓。所述第一270度舵机7的输出轴与固定在底板上的固定架6相连接，第一270度舵机7的主体上固定有连接直角架11，使得机械臂绕X的运动。连接直角架11与360度舵机8的输出轴相连接，360度舵机8的主体固定有直角固定长支架12；通过控制360度舵机8实现机械臂绕Y轴旋转。直角固定长支架12与第二270度舵机13的主体固定连接，第二270度舵机13的输出轴与机械手爪相连。

所述的机械手爪采用齿轮结构，舵机带动机械手的一侧运动，通过齿轮作用进一步带动整个手爪的运动，实现抓取功能。所述机械手爪包括传动杆结构、主动齿轮18、从动齿轮19、主动弧形抓取杆组件、从动弧形抓取杆组件。所述主动弧形抓取杆组件、从动弧形抓取杆组件均有两个重叠设置的两根抓取杆及连接在两个抓取杆上的弧形爪，所述抓取杆为具有弯折结构的杆件。即图2中，第一抓取杆10、第二抓取杆17、主动齿轮弧形爪16组成主动弧形抓取杆组件，第三抓取杆20、第四抓取杆21、从动齿轮弧形爪22组成从动弧形抓取杆组件。

主动齿轮18、从动齿轮19相啮合并分别装在所述主动弧形抓取杆组件、从动弧形抓取杆组件上。所述传动杆结构中的长连接杆9的一端与第二270度舵机13的输出轴固定连接，另一端连接两个短连杆14和一根连接细杆15，所述两根短连杆14的另一端分别连接所述主动弧形抓取杆组件、从动弧形抓取杆组件中的抓取杆的端部，所述连接细杆15的另一端连接所述主动弧形抓取杆组件的抓取杆的弯折部。同时在在弧形爪内侧布置海绵防护垫，减少对果实的伤害。

所述收集机构26设置于底座1上方左侧位置与底座1固接，作为草莓存储、固定的空间。所述底座上还设有电源支座5，置于底座上方后侧位置，用于固定电源、控制板。

如图3所述，所述电控部分包括主控模块、视觉模块23、超声波模块24、电机及驱动模块4、传感器模块3。所述传感器模块3置于底盘1下方边缘，用来随时检测地面情况，将检测信息反馈给主控模块自动控制装置行走。所述电机及驱动模块4置于底座1下方且与行走机构2固接，用于驱动行走机构，驱动装置移动。所述视觉模块23通过固定支架25垂直固定于底盘上方，采集草莓的图像；所述超声波模块24与视觉模块位于同一轴线上，用于检测机械臂到草莓的距离；所述的超声波模块24与视觉模块23相结合，完成草莓的定位，同时所述的超声波模块的检测机械臂到草莓的距离，进而确定草莓的三维坐标系中的一个坐标系，并决定草莓的采摘顺序。

所述主控模块安装在所述电源支座上，与视觉模块23、超声波模块24、电机及驱动模块4、传感器模块3相连，用于接收传感器模块3、视觉模块23、超声波模块24的数据信息并作出控制行走机构、采摘机构动作的决策，其包括：

图像处理模块：用于对拍摄的图片进行背景分离，通过特征抽离获取草莓图像，以此判断草莓大小、成熟度、位置；

距离确定模块：用于结合图像处理模块获得的草莓视觉模块获取的草莓位置相结合，完成草莓的三维坐标定位，

决策模块：用于根据超声波模块测定的机械臂到草莓的距离，以及传感器模块检测的地面信息，控制电机及驱动模块的工作，使所述机器人移动到采摘位置；并根据草莓的三维坐标确定采摘顺序，并控制采摘机构按照顺序采摘进行草莓采摘。

本实施例中，还包括WIFI模块，所述WIFI模块与主控板直接相连，将各功能模块检测的状态信息与主控板执行动作信息实时传输给用户终端。可实现装置与用户互联互通，使用户可在线实时了解装置运行过程、运行进度，实现装置的网络化、智能化、实时性等功能，适合于网络化集群管理。

采用摄像头进行拍摄，完成图像采集，图像处理模块对图像进行图像分割、特征抽离、量化得到最终草莓图像，对所述草莓图像进行算法分析获取草莓大小、位置及成熟度等信息，具体的分割方法选择图像红大于200像素点的红色色块，两个色块的间距大于10mm视为两个草莓，否则视为一个草莓，完成草莓的图像分割，采用超声波传模块24识别草莓到机械臂的距离，根据色块的坐标和检测距离确定草莓的三维坐标，超声波模块24检测的距离的远近确定草莓的采摘顺序。

图像处理模块可以基于Python语言进行算法设计，如图4所示，对图像目标进行阈值筛选、优化对比、自动提取执行目标坐标信息来实现在多个目标同时存在时，选取最优目标进行信息提取，最优目标的提取方式，首先进行色块提取后，对色块进行筛选，保留色块像素大于200像素点的色块，保留色块数量A，当色块数量为1个时，提取测量分离部分的外轮廓点，提取中心点坐标和半径r以及倾斜角，计算切割点坐标，输出目标点空间坐标系；当色块数量大于1时，提取测量分离部分的外轮廓点，提取各个色块的中心点坐标(X[i]，Y[i])和半径R[i]以及倾斜角α[i]，并计算色块分离部分中心点距离和到草莓的距离D[i]，筛选D[i]最小值，计算切割点坐标，输出目标点空间坐标系，最终为机械臂的坐标运动提供参考。如图5为基于机器视觉的草莓采摘机器人的摄像头图像处理示意图。包含摄像头模块对采集的色块进行分割提取的外轮廓点(X₂,Y₂)、(X₃,Y₃)、(X₄,Y₄)，中心坐标(X₀,Y₀)，切割点(X₁,Y₁)。

图6所示为基于机器视觉的草莓采摘机器人的整体控制流程图，包括了机器人工作运行时所有模块主要功能的执行以及各模块之间的功能配合关系。对系统进行初始化后，采用视觉模块23对环境进行拍摄，利用视觉模块的算法设计判别是否识别到草莓，如果没有识别到草莓，利用传感器模块3对环境进行采集，判断是否在草莓沟壑内，如果是，智能采摘机器继续移动，直至获得草莓图像，结合超声波模块24，通过图像分割及距离检测，完成草莓的三维坐标的输出，根据坐标信息，控制机械臂移动至草莓采摘的执行位，完成采摘动作。

机械手臂的具体控制方法如图7所示，对舵机进行初始，使得机械回到初始位置，当获得草莓的三维坐标时，通过控制底部的360°舵机进行运动，机械臂到达XY平面坐标点，再控制关节舵机运动执行，机械臂到达XZ、YZ平面坐标点，通过视觉模块23检测，判断是否到达采摘点，控制弧形爪运动，完成采摘；再次控制关机舵机送至收集机构位，弧形爪舵机执行，完成草莓放置；再次控制机械臂恢复初始位。

本发明是一种基于机器视觉的移动式草莓采摘机器人，属于农业机械化技术领域。针对温室大棚草莓种植农户，改进了图像分割的算法，简化了图像分割算法，改进了现有装置的不足，完成本发明的目的，具有操作简单，节省人力，效率高效的优点。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (8)

1.一种基于机器视觉的草莓采摘机器人，其特征在于：包括底盘(1)、行走机构(2)、采摘机构、收集机构(26)、主控模块、视觉模块(23)、超声波模块(24)、电机及驱动模块(4)、传感器模块(3)，

所述行走机构(2)固接于底盘(1)下方，采摘机构固定于底盘的中间偏前方，所述收集机构(26)设置于底座上方左侧位置与底座固接，

所述传感器模块(3)置于底盘(3)下方边缘，用于检测地面情况，并将检测信息反馈给主控模块；

所述电机及驱动模块(4)置于底座下方且与行走机构固接，用于驱动行走机构；

所述视觉模块(23)垂直固定于底盘上方，采集草莓的图像；

所述超声波模块(24)与视觉模块(23)位于同一轴线上，用于检测机械臂到草莓的距离；

所述主控模块与视觉模块(23)、超声波模块(24)、电机及驱动模块(4)、传感器模块(3)相连，用于接收传感器模块(3)、视觉模块(23)、超声波模块(24)的数据信息并作出控制行走机构(2)、采摘机构动作的决策，其包括：

图像处理模块：用于对拍摄的图片进行背景分离，通过特征抽离获取草莓图像，以此判断草莓大小、成熟度、位置；

距离确定模块：用于结合图像处理模块获得的草莓视觉模块获取的草莓位置相结合，完成草莓的三维坐标定位，

决策模块：用于根据超声波模块测定的机械臂到草莓的距离，以及传感器模块检测的地面信息，控制电机及驱动模块的工作，使所述机器人移动到采摘位置；并根据草莓的三维坐标确定采摘顺序，并控制采摘机构按照顺序采摘进行草莓采摘。

2.根据权利要求1所述的基于机器视觉的草莓采摘机器人，其特征在于：所述图像处理模块，首先是对拍摄的图片进行背景分离，提取成熟草莓的色块，通过对色块的像素的大小的筛选，剔除采摘范围以外、小于设定大小的草莓，对采摘范围内的、大小符合设定大小标准的草莓色块进行统计；

当出现有多块符合标准的色块同时存在，则对多块色块分离部分进行外轮廓点的提取，提取各个色块的中心点坐标(X[i]，Y[i])和半径R[i]以及倾斜角α[i]，并计算色块分离部分中心点距离和到草莓的距离D[i]，筛选D[i]最小值，计算切割点坐标，输出目标点空间坐标系，并输出传送给主控模块；

当仅有一个色块符合标准，提取测量分离部分的外轮廓点，提取中心点坐标和半径r以及倾斜角，计算切割点坐标，输出目标点空间坐标系，并输送给主控模块。

3.根据权利要求1所述的基于机器视觉的草莓采摘机器人，其特征在于：图像分割方法为：选择图像红大于200像素点的红色色块，两个色块的间距大于10mm视为两个草莓，否则视为一个草莓。

4.根据权利要求1所述的基于机器视觉的草莓采摘机器人，其特征在于：还包括与主控模块相连的WIFI模块，将所述机器人检测的状态信息与主控模块执行动作信息实时传输给用户终端。

5.根据权利要求1所述的基于机器视觉的草莓采摘机器人，其特征在于：所述行走机构(2)采用4个麦克纳姆全向轮。

6.根据权利要求1所述的基于机器视觉的草莓采摘机器人，其特征在于：所述的采摘机构的机械手臂为三个自由度的串联机构，主要包括360度舵机(8)、第一270度舵机(7)、第二270度舵机(13)和机械手抓；

所述第一270度舵机(7)的输出轴与固定在底板上的固定架(6)相连接，第一270度舵机(7)的主体上固定有连接直角架(11)；连接直角架(11)与360度舵机(8)的输出轴相连接，360度舵机(8)的主体固定有直角固定长支架(12)；直角固定长支架(12)与第二270度舵机(13)的主体固定连接，第二270度舵机(13)的输出轴与机械手爪相连。

7.根据权利要求5所述的基于机器视觉的草莓采摘机器人，其特征在于：所述机械手爪包括传动杆结构、主动齿轮(18)、从动齿轮(19)、主动弧形抓取杆组件、从动弧形抓取杆组件，

所述主动弧形抓取杆组件、从动弧形抓取杆组件均有两个重叠设置的两根抓取杆及连接在两个抓取杆上的弧形爪，所述抓取杆为具有弯折结构的杆件；

主动齿轮(18)、从动齿轮(19)相啮合并分别装在所述主动弧形抓取杆组件、从动弧形抓取杆组件上；

所述传动杆结构中的长连接杆(9)的一端与第二270度舵机(13)的输出轴固定连接，另一端连接两个短连杆(14)和一根连接细杆(15)，所述两根短连杆(14)的另一端分别连接所述主动弧形抓取杆组件、从动弧形抓取杆组件中的抓取杆的端部，所述连接细杆(15)的另一端连接所述主动弧形抓取杆组件的抓取杆的弯折部。

8.根据权利要求6所述的基于机器视觉的草莓采摘机器人，其特征在于：在弧形爪内侧布置海绵防护垫。