CN108064560A - 基于Kinect景深相机的水果自动采摘系统及方法 - Google Patents

Abstract

本发明公开了一种基于Kinect景深相机的水果自动采摘系统，该系统包括：数据采集模块10、图像处理模块20和电机驱动模块30；其中，所述数据采集模块10使用Kinect景深相机，对水果进行图像信息的采集，并传输至图像处理模块20；所述图像处理模块20得到水果的图像信息后，对图像进行灰度化、成熟度判断、障碍物分割、水果区域定位等操作，并计算出机械手采摘所需角度及位置并传输至电机驱动模块30；所述电机驱动模块30根据角度和位置驱动机械手进行水果采摘。本发明方案利用颜色模型对成熟水果与背景的颜色架构进行分析，采用灰度阈值分割法进行分割，实现水果识别与避障，有效解决了成熟果实的识别以及采摘过程中的避障问题。

Description

基于Kinect景深相机的水果自动采摘系统及方法

技术领域

本发明属于图像识别及机器定位，涉及一种基于Kinect景深相机的水果自动采摘系统及方法。

背景技术

进入21世纪，科学技术迅猛发展，农业机械的自动化程度越来越高，已成为当代农业必备的生产工具，直接影响着农民生产的方式和收益。

另外，随着农林业种植水平的提高和经济的发展，水果的种植已经从原先的分散种植向集中种植发展，大型甚至超大型的专一类型水果种植园频繁出现在各地，这使得对果园的作业从人工操作转化为机械操作成为可能。

但对于需要工时最多的果实采摘，由于采摘的专业性和果实分布的发散性，水果的采摘仍需要安排很多采摘人员在固定时间段进行采摘，这种人工采摘方式具有以下弊端：(1)采摘耗时较长，对于要求快速采摘的果实，往往导致很多果实来不及采摘即落下枝干，导致无法食用；(2)采摘成本高，在果实成熟的季节，人工成本较高，给种植园主造成较大的经济负担；(3)每一个采摘人员的专业经验不同，会导致一些尚未成熟的果实也被误采下来。

申请公布号为CN104541775A的发明专利申请公开了一种“智能化果树采摘系统”，该系统包括采摘机构、驱动机构、定位机构、果实信息采集机构和ARM11处理器，驱动机构用于驱动采摘机构，定位机构用于定位采摘机构的当前位置，果实信息采集机构采集并处理果树图像，以确定待采摘果树上的每一颗果实是否成熟以及实际位置，ARM11处理器与驱动机构和果实信息采集机构分别连接，基于每一颗果实是否成熟和实际位置以及采摘机构的当前位置确定对应果实的驱动信号，对应果实的驱动信号用于控制驱动机构驱动采摘机构到达对应果实的实际位置以实现对对应果实的采摘。该发明能够灵活到达每一颗成熟果实的位置并进行采摘，但其在采摘过程中没有考虑被枝干遮挡的情况，无法实现避障操作。

申请公布号为CN105144992A的发明专利申请公开了“一种草莓采摘收集装置”，该装置包括底座及设于底座上的采摘机构，该采摘机构包括垂直设于底座上的第二滑轨，第二滑轨上设有第二电机，第二电机连接有第二丝杆，该第二丝杆上设有第二丝母；第二丝母上水平设有第三滑轨，第三滑轨上设有第三电机，第三电机连接有第三丝杆，该第三丝杆上设有第三丝母座；第三丝母座上设有采摘臂，采摘臂的端部设有刀具，在采摘臂上刀具的下方设有采摘篮。该发明能够通过控制多个滑轨进行直角运动的方式将采摘臂前段的采摘篮运行至该果实的正下方，并通过刀具切断果实，果实在重力作用下沿采摘篮下端的果实传输筒减速滑入收集箱，完成一个草莓的采摘，具有稳定性高、成本低，采摘精度高，不易损伤果实外表，采摘效率高，但其无机器视觉定位技术，无法实现成熟果实的识别及定位。

发明内容

本发明目的在于提供一种基于Kinect景深相机的荔枝自动采摘系统及方法，实现能够准确识别成熟果实、灵活避开障碍物，成功采摘的功能，有效地解决了目前由于人工采摘水果效率低下而造成的经济损失以及对水果种植业发展的不利影响。

为解决上述技术问题，本发明采用如下的技术方案：一种基于Kinect景深相机的水果自动采摘系统，其特征在于，该系统包括：数据采集模块10、图像处理模块20和电机驱动模块30；其中，所述数据采集模块10使用Kinect景深相机，对水果进行图像信息的采集，并传输至图像处理模块20；所述图像处理模块20得到水果的图像信息后，对图像进行灰度化、成熟度判断、障碍物分割、水果区域定位等操作，并计算出机械手采摘所需角度及位置并传输至电机驱动模块30；所述电机驱动模块30根据角度和位置驱动机械手进行水果采摘。

本发明的另一个目的还在于提供一种基于Kinect景深相机的水果自动采摘方法，其中，所述基于Kinect景深相机的水果自动采摘方法包括：提取图像的三维景深图像信息；对三维景深图像进行图像处理，计算障碍物的阻挡区域及阻挡角度；驱动电机实现机械手对水果的采摘。

本发明与现有技术相比具有以下的有益效果：

本发明方案利用颜色模型对成熟水果与背景的颜色架构进行分析，采用灰度阈值分割法进行分割，实现水果识别与避障，有效解决了成熟果实的识别以及采摘过程中的避障问题。

附图说明

图1是基于Kinect景深相机的水果自动采摘系统的结构框架图。

图2是基于Kinect景深相机的水果自动采摘方法的流程图。

图3是机器手臂避障运动角度示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种基于Kinect景深相机的水果自动采摘系统，其包括：数据采集模块10、图像处理模块20和电机驱动模块30；其中，所述数据采集模块10使用Kinect景深相机，对水果进行图像信息的采集，并传输至图像处理模块20；所述图像处理模块20得到水果的图像信息后，对图像进行色彩空间变化、水果区域定位及成熟度判断、障碍物区域计算等操作，并计算出机械手采摘所需角度及位置并传输至电机驱动模块30；所述电机驱动模块30根据角度和位置驱动机械手进行水果采摘。

相对应的，本发明还提供一种基于Kinect景深相机的水果自动采摘方法，具体请参照图2，其是本发明的实施例的基于Kinect景深相机的水果自动采摘方法的流程图。

参照图2，本发明的一种基于Kinect景深相机的水果自动采摘方法，其包括以下步骤：S1提取图像的三维景深图像信息；S2对三维景深图像进行图像处理，计算障碍物的阻挡区域及阻挡角度；S3驱动电机实现机械手对水果的采摘。

具体而言，本发明的实施例描述如下：

S1 提取图像的三维景深图像信息：利用Kinect自带的RGB彩色摄像头对要采摘的水果进行图像采集，摄像头支持640×480分辨率成像，频率为30Hz，获取到图像的三维景深信息及二维图像信息。

S2 对三维景深图像进行图像处理，计算障碍物的阻挡区域及阻挡角度。该步骤具体描述如下：

S21、色彩空间转换：一般情况下，图片都是RGB色彩模型下的。但是RGB三分量间常有很高的相关性，直接利用这些分量往往不能达到预想的效果，所以需要将RGB图像转换到HSV色彩模型下。其中，H、S、V的值可分别由公式(2)、(3)、(4)得到。

V＝MAX (4)

以上公式(1)中MAX、MIN分别是RGB图像的最大值、最小值，H、S、V分别是HSV图像的H值、S值和V值。

S22、水果区域定位并计算成熟度：将二维图像分为果实区域和背景区域，使用Otsu最大类间方差法进行分割，即将图像区域根据颜色聚类，分成果实和背景两种类别，计算两种类别颜色的类内方差和类间方差，设定分割阈值为使得类间方差和类内方差最大时的阈值。此时根据阈值分割得到的区域即是果实区域和背景区域。计算果实区域的H值直方图作为成熟度判别，如果H值直方图的均值与设定的成熟度阈值误差小于给定范围，则认为该果实成熟，否则认为该果实不成熟，放弃采摘。

S23、障碍物区域计算：在采摘被枝叶遮挡的草莓时，容易碰撞到草莓枝干，枝干容易折断，也容易损坏采摘机械手，于是遮挡草莓的枝叶就被定义为障碍物。通过提取与采集障碍物，并与特定特征值匹配，定位障碍物三维空间位置。在检测过程中，根据实际研究分析的草莓枝叶特征，结合HSV颜色模型进行对比，利用迭代阈值分割法去除枝叶以外的区域，再采用灰度对比办法分割出图像的枝叶区域。

S3 驱动电机实现机械手对水果的采摘：获得草莓枝杆区域提取结果后，然后基于C空间对障碍物建立数学模型，根据Kinect相机得到的障碍物三维景深空间信息，结合采摘机械手运动学原理，求出机械手臂的运动范围，就可以成功避开采摘路径上的障碍物。机器手臂避障运动角度参照图3。

枝杆障碍物一般为直线型，重点需要考虑其长度，采摘机械手需要在一定角度内避开枝杆障碍物，具体的C空间计算公式为：

其中，、分别为机械长短手臂的长度；与分别为机械执行手臂角度的最大最小角度；d为机械手臂的连杆偏移量，x，y，z分别为三维空间坐标点。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于Kinect景深相机的水果自动采摘系统，其特征在于，该系统包括：数据采集模块10、图像处理模块20和电机驱动模块30；其中，所述数据采集模块10使用Kinect景深相机，对水果进行图像信息的采集，并传输至图像处理模块20；所述图像处理模块20得到水果的图像信息后，对图像进行灰度化、成熟度判断、障碍物分割、水果区域定位等操作，并计算出机械手采摘所需角度及位置并传输至电机驱动模块30；所述电机驱动模块30根据角度和位置驱动机械手进行水果采摘。

2.一种基于Kinect景深相机的水果自动采摘方法，其中，所述基于Kinect景深相机的水果自动采摘方法包括：提取图像的三维景深图像信息；对三维景深图像进行图像处理，计算障碍物的阻挡区域及阻挡角度；驱动电机实现机械手对水果的采摘。