CN108834576A - 一种基于双目视觉的柑橘采摘机器人及其实现方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的柑橘采摘机器人及其实现方法，机器人包括三自由度移动机构、末端执行机构、双目测距视觉识别机构、超声波测距机构、底座支撑机构和嵌入式主控制端；三自由度移动机构整体位于底座支撑机构之上，同步带直线模组滑台竖直固定于移动平台的上方，丝杆导轨滑台通过升降伸缩机构连接件与同步带直线模组滑台连接，并与同步带直线模组滑台呈15～30度的倾斜角度；末端执行机构固定在丝杆导轨滑台的末端。本发明的结构简单，控制方便，采用导轨行走式结构，运动平稳性好，可以克服果园地势陡峭的地形障碍，减轻人力采摘的工作强度，柑橘采摘的精确度高。

Description

一种基于双目视觉的柑橘采摘机器人及其实现方法

技术领域

本发明涉及农业机器人领域，特别涉及一种基于双目视觉的柑橘采摘机器人及其实现方法。

背景技术

柑橘不仅可以满足我们日常的食用要求，还具有较高的药用价值，中医学认为柑橘的果皮、核、叶和橘络，全是“地道药材”。柑橘的挂果量非常高，并且其成熟时间大致相当。柑橘成熟后要在较短的时间内采摘完成并售出，以保证其新鲜度，故采摘柑橘对于大面积种植柑橘的果农来说是一个很大的挑战。目前，柑橘主要是人工采摘，机械化程度非常低。人工采摘柑橘具有劳动强度大、采摘效率不高且成本较大等缺点，加上近年来越来越多的农业劳动力转移到其他产业，农村劳动力资源不足的问题日益严峻，迫切需要发明一种自动采摘柑橘的机器。

由于柑橘树枝条茂盛，柑橘的挂果方式也各不一样，故采摘过程比较复杂，目前尚未有较成熟的柑橘采摘机器。发明专利“一种轮式移动水果采摘机器人及水果采摘方法”(公开号为CN102124866A)，其移动平台包括第一驱动轮总成、第二驱动轮总成、第一从动轮总成、第二从动轮总成、平台机架、电机控制柜、水果收集箱以及侧面挡板，其中第一驱动轮总成、第二驱动轮总成、第一从动轮总成、第二从动轮总成与平台机架之间采用螺钉联接，侧面挡板用铆钉铆接在平台机架上，电机控制柜固定在轮式智能移动平台的中部；水果收集箱位于机械臂和电机控制柜之间。该移动平台只适合在比较平坦道路上移动，难以适应柑橘园的地势地貌。因为我国栽培柑橘的地区主要集中在湖南、江西、四川、福建、浙江、广西、湖北、广东和重庆等，这些地区的山区较多，柑橘多种在山区上，若使用这种轮式移动平台，需要花很大资本进行路面改造，实施起来难度非常巨大。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种采摘效率高、使用方便、成本低的基于双目视觉的柑橘采摘机器人及其实现方法。

本发明的目的通过下述技术方案实现：

一种基于双目视觉的柑橘采摘机器人，包括三自由度移动机构1、末端执行机构2、嵌入式从控制端3、双目测距视觉识别机构4、超声波测距机构5、PC视觉处理端6、嵌入式主控制端7、底座支撑机构8；三自由度移动机构1整体位于底座支撑机构8之上，三自由度移动机构1包括移动平台39、同步带直线模组滑台18、丝杆导轨滑台28，移动平台39通过同步带固定件33固定在同步带12的上端，同步带直线模组滑台18竖直固定于移动平台39的上方，升降步进电机20位于同步带直线模组滑台18的上部，丝杆导轨滑台28通过3D打印的升降伸缩机构连接件30与同步带直线模组滑台18连接，并与同步带直线模组滑台18呈15～30度的倾斜角度；末端执行机构2固定在丝杆导轨滑台28的末端；双目测距视觉识别机构4固定在竖直放置的同步带直线模组滑台18的顶端；超声波测距机构5中的超声波模块41固定于底座支撑机构8之上，用于测量三自由度移动机构1水平方向的运动距离。

移动平台39由铝型材搭建而成，通过梯形螺母、螺丝及角件进行连接；电机固定架9与轴承固定架17分别固定在底座支撑机构8的左右两侧；直流电机10固定在电机固定架9上，两个整体径向滑动轴承13和15固定在轴承固定架17上，传动杆16通过过盈配合连接固定于两个整体径向滑动轴承13和15的轴承孔内；第一同步带轮11通过螺纹紧固连接安装于直流电机10的电机轴上，第二同步带轮14通过螺纹紧固连接固定于传动杆16上，同步带12的两端分别与第一同步带轮11、第二同步带轮14连接，同步带固定件33固定于移动平台39的一侧。

同步带直线模组滑台18通过铝型材连接竖直固定于移动平台39上，同步带直线模组滑台18上安装有同步带直线模组滑台滑块19。

丝杆导轨滑台28上安装有丝杆导轨滑台滑块27，丝杆导轨滑台滑块27通过滑块—铝型材连接件25与2020欧标铝型材24相连接，限位固定架23固定于丝杆导轨滑台28的末端，用于防止末端执行机构2在受力时的较大范围变形，伸缩步进电机26位于丝杆导轨滑台28的末端。

所述的PC视觉处理端6是一块运行Linux系统的树莓派，树莓派是一款基于ARM的微型电脑主板，具备所有PC的基本功能。

所述的嵌入式主控制端7，包括2.4G无线通信发送模块、蓝牙模块、超声波模块、LCD模块、直流电机驱动电路、步进电机驱动器。

所述的嵌入式从控制端3包含2.4G无线通信接收模块、降压模块、电池。

所述的末端执行机构2包括机械爪21、末端执行器固定架22和嵌入式从控制端3，其中机械爪21内置有舵机、压力传感模块，机械爪21通过末端执行器固定架22固定于铝型材24的末端。嵌入式从控制端3和舵机通过电池电源经降压模块后供电。嵌入式从控制端3通过2.4G无线通信接收模块获取到嵌入式主控制端7的信号，通过舵机带动机械爪21，从而实现控制机械爪21的开合。

所述的双目测距视觉识别机构4，包括相机固定架29和双摄像头图像识别相机38；相机固定架29固定于同步带直线模组滑台18的末端，用于固定双摄像头图像识别相机38，双摄像头图像识别相机38用于识别柑橘的位置。

所述的超声波测距机构5，包括超声波模块41、超声波模块固定架32和挡板40，用于测量三自由度移动机构1的水平方向运动距离；超声波模块41通过超声波模块固定架32固定于底座支撑机构8的侧边；挡板40固定于移动平台39上，与平整地面相垂直，正对于超声波模块41的信号发出方向。

所述的底座支撑机构8，由多套2020型欧标铝型材、梯形螺母、螺丝、90度角件、135度角件以及滑块-移动平台连接件31组合搭建而成；梯形螺母、螺丝、90度角件构成一套连接件，用于连接互成90度的相邻铝型材，主要用于构成四个脚架；梯形螺母、螺丝、135度角件构成一套加固连接件，用于进行整体机构和脚架的加固；滑轨36通过螺纹连接固定在底座支撑机构8的上方，滑轨滑块37安装于滑轨36上，用于移动平台39的低摩擦平移运动。滑块-移动平台连接件31通过螺纹连接与水平的2020欧标铝型材连接。

一种基于双目视觉的柑橘采摘实现方法，是采用上述基于双目视觉的柑橘采摘机器人作为执行机构进行采摘，包括下述步骤：

(1)首先，柑橘采摘机器人进行位置的初始化，即三维空间坐标的初始化；双摄像头图像识别相机获取柑橘所处的空间位置，事先确定某一参照位置，通过双目测距技术计算得到柑橘三维空间坐标即柑橘在水平、竖直、前后方向上相对于左摄像头光心的距离数据，然后通过坐标转换规则将柑橘三维空间坐标转换成机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据；

(2)根据所获得的柑橘在水平方向上相对于机械爪的距离数据，计算出移动平台需在水平方向移动的距离；移动平台与同步带连接并随同步带进行水平方向上的移动，移动平台所处位置由固定于底座支撑机构上的超声波测距机构确定；

(3)根据所获得的柑橘在竖直方向上相对于机械爪的距离数据，确定控制同步带直线模组滑台的升降步进电机的转动圈数，带动同步带直线模组滑台滑块进行竖直方向上的精确移动；

(4)根据所获得的柑橘在前后方向上相对于机械爪的距离数据，确定丝杆导轨滑台上的伸缩步进电机需转动的圈数，通过控制丝杆导轨滑台上伸缩步进电机的转动圈数，使末端执行机构进行水平方向与竖直方向的综合移动；

(5)末端执行机构准确靠近目标柑橘后，机械爪由张开状态缓慢闭合，直到内嵌的压力传感模块探测到有柑橘被抓取，则停止闭合机械爪，实现抓取柑橘动作，再通过模拟人工采摘的上抬动作，以达到果梗与相连接果枝的分离。

上述基于双目视觉的柑橘采摘实现方法，采用下述控制步骤：

(1)PC视觉处理端通过基于视觉的自动识别果实方法识别果实，然后通过基于双目视觉的定位方法来定位果实位置，再通过蓝牙模块发送机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据到嵌入式主控制端；

(2)嵌入式主控制端接收到机器坐标后，利用超声波模块作为距离反馈器件来控制直流电机，使机器人整体移动到机器坐标系Yr轴的目标位置，通过数学公式解算出伸缩步进电机和升降步进电机需要移动的距离，通过步进电机驱动器驱动伸缩步进电机和升降步进电机，使末端执行机构到达目标位置，嵌入式主控制端通过无线通信模块发送夹持信号给嵌入式从控制端；

(3)嵌入式从控制端接收到夹持信号后，控制末端执行机构对果实进行抓取，抓取完成后发送抓取完成信号给嵌入式主控制端，嵌入式主控制端控制Xr轴上的伸缩步进电机、Yr轴上的直流电机、Zr轴上的升降步进电机回到初始位置，并发送张开信号给嵌入式从控制端来控制末端执行机构松开果实，完成一次采摘动作；

(4)嵌入式主控制端通过无线通信模块发送采摘完成信号到PC视觉处理端，再循环开始步骤(1)的动作。

所述的基于视觉的自动识别果实方法，包括下述步骤：

(1)获取双摄像头图像识别相机拍摄的RGB三通道图像；

(2)对图像进行色彩分割，即提取图像的R通道分量和G通道分量，并用R通道分量减去G通道分量获得一个红、橙、黄等颜色高亮度，绿色为低亮度的新图像分量；

(3)使用Otsu自适应阈值法对新图像分量进行二值化，获得成熟果实为白色，背景绿叶为黑色的二值图像；

(4)对二值图像用Canny边缘检测算法提取图像边缘；

(5)利用霍夫变换检测圆，在图像边缘中提取圆形的边缘；

(6)筛选无效区域，把圆形的边缘内部包括区域提取为ROI区域，计算步骤(3)中生成的二值图像中各ROI区域的平均灰度值，若ROI区域的平均灰度值高于128，则该ROI区域为图像中果实所处区域；

(7)若步骤(6)中无平均灰度值高于128的ROI区域，则可判断该图像中无成熟果实。

所述的基于双目视觉的定位方法，包括下述步骤：

(1)首先进行单目标定，对一块标定板在不同方向进行三次以上完整拍照，再通过OpenCV自带的算法，计算获得相机的内参，包括相机的焦距、光心位置、径向畸变和切向畸变；

(2)然后进行双目标定，获得两个相机的平移矩阵和旋转矩阵，即相机的外参；通过标定的内容计算可生成两个双摄像头图像识别相机对应的无畸变平行图片，在此基础上调用OpenCV的SGBM算法，匹配两张图片上的对应点，生成两张图片的视差图和三维点云；再通过三维点云、双摄像头图像识别相机的内参和外参，计算获得指定点的柑橘三维空间坐标。

所述坐标转换规则是基于柑橘三维空间坐标系与机器坐标系的区别所产生的，具体区别为：柑橘三维空间坐标系深度是Zc轴，平行地面向右是Xc轴，垂直地面向下是Yc轴；而机器坐标系中Xr、Zr两轴是随动而Yr轴是柑橘三维空间坐标系的Xc轴，且柑橘三维空间坐标系的原点与末端执行机构中心轴在柑橘三维空间坐标系的Yr轴上有固定距离。基于上述区别，所述坐标转换规则，具体为：机器坐标系下的Xr轴对应柑橘三维空间坐标系下的Zc轴，由数学公式转换成真正的Xr轴数据；机器坐标系下的Zr轴对应柑橘三维空间坐标系下的Yc轴，由数学公式转换成真正的Zr轴数据；机器坐标系下的Yr轴，对应柑橘三维空间坐标系下的Xc轴，由数学公式转换成真正的Yr轴数据。

所述数学公式的计算是：(换算单位为毫米)

(1)先测得丝杆导轨滑台与水平面的倾斜角度θ；

(2)Xr＝Zc/cosθ；

(3)Zr＝400(Zr轴总长度)-Yc-Zc*tanθ；

(4)Yr＝Xc-105(左摄像头光心与末端执行器中心的距离)；

其中，Xr是机器坐标系下柑橘在前后方向上相对于机械爪的距离值；Yr是机器坐标系下柑橘在水平方向上相对于机械爪的距离值；Zr是机器坐标系下柑橘在竖直方向上相对于机械爪的距离值；

Xc是柑橘三维空间坐标下柑橘在水平方向上相对于左摄像头光心的距离值；Yc是柑橘三维空间坐标下柑橘在竖直方向上相对于左摄像头光心的距离值；Zc是柑橘三维空间坐标下柑橘在前后方向上相对于左摄像头光心的距离值；

θ为丝杆导轨滑台与水平面的倾斜角度。

嵌入式主控制端通过蓝牙模块与PC视觉处理端进行通信，获取机器坐标系数据并反馈机器人的运行状态，通过超声波模块和直流电机驱动电路实现机器坐标系Yr轴的运动，通过步进电机驱动器驱动升降步进电机、伸缩步进电机实现机器坐标系Xr、Zr轴的运动，通过LCD显示当前系统的运行状态，通过2.4G无线通信发送模块与嵌入式从控制端进行通信来控制末端执行机构。

所述的嵌入式主控制端，集成了步进电机步数自计算算法、直流电机与超声波模块组成反馈系统的位置控制算法、自动复位算法、实时信息反馈模块；其中步进电机步数自计算算法是目标移动距离根据步进电机导轨的丝杆杆距参数和同步带轮齿数参数计算得到对应步进电机需要转动的圈数；直流电机与超声波模块组成反馈系统的位置控制算法是根据超声波测得移动平台与固定在超声波模块固定架的超声波模块之间的距离，组成一个直流电机反馈系统，从而准确控制直流电机；自动复位算法是通过安装在升降步进电机轨道末端的第一限位开关34和安装在伸缩步进电机轨道末端的第二限位开关35来实现的，当铝型材连接件25和升降伸缩机构连接件30移动到末端并触发第二限位开关35和第一限位开关34时，嵌入式主控制端收到中断信号，表明滑块到达末端位置并向前移动设定距离，到达设定的原点位置；实时信息反馈模块是安装在嵌入式主控制器上的LCD屏幕，能够显示接收三维坐标值，并显示机械爪的夹持状态以及当前的电池电量。

所述的嵌入式从控制端是集成了2.4G通信协议、舵机控制算法、AD转换算法、物体感应算法；嵌入式从控制端通过2.4G通信协议获取到嵌入式主控制端的控制信号，通过舵机控制算法控制舵机的开合对于果实进行夹持，通过AD转换算法对压力传感模块进行压力数值采集，再调用物体感应算法感应是否抓到果实。

本发明与现有技术相比具有如下优点和效果：

(1)本发明的结构简单，控制方便，采用导轨行走式结构，运动平稳性好，可以克服果园地势陡峭的地形障碍，减轻人力采摘的工作强度。

(2)本发明运用双目测距技术进行柑橘空间位置的确定，双目测距误差可控制在2cm内，精确度较高；超声波测距机构保证了移动平台在水平方向上运动的准确性，从而确保了柑橘采摘的精确度。

(3)本发明使用PC视觉处理端与嵌入式控制端协同控制，能够把需要较高运算能力的图像数据交给PC处理，把对实时性要求比较高的底层控制交由嵌入式控制端处理，二者通过无线通信模块进行通信，具有较高的鲁棒性、准确性、实时性，实现对果实的精确识别定位采摘，简单实用，适合产业化推广。

附图说明

图1为本发明的柑橘采摘机器人的整体结构示意图。

图2为本发明的柑橘采摘机器人的俯视图。

图3为本发明的移动平台同步带传动部分的结构示意图。

图4为本发明的同步带直线模组滑台的结构示意图。

图5为本发明的丝杆导轨滑台及末端执行机构的结构示意图。

图6为本发明的相机固定架的结构示意图。

图7为本发明的升降伸缩连接件的结构示意图。

图8为本发明的滑轨—移动平台连接件的结构示意。

图9为本发明的超声波模块固定架的结构示意图。

图10为本发明的同步带固定件的结构示意图。

图11为本发明的柑橘采摘机器人的安装示意图。

图12为本发明的柑橘采摘机器人的立体结构示意图。

图13为柑橘采摘机器人总体流程图

图14为嵌入式主控制端运行流程图

图15为嵌入式从控制端运行流程图

图16为柑橘识别程序流程图

图17为柑橘测距定位程序流程图

图18为PC视觉处理端识别定位流程图

图19为整体系统框图

其中，1、三自由度移动机构；2、末端执行机构；3、嵌入式从控制端；4、双目测距视觉识别机构；5、超声波测距机构；6、PC视觉处理端；7、嵌入式主控制端；8、底座支撑机构；9、电机固定架；10、直流电机；11、第一同步带轮；12、同步带；13、整体径向滑动轴承；14、第二同步带轮；15、整体径向滑动轴承；16、传动杆；17、轴承固定架；18、同步带直线模组滑台；19、同步带直线模组滑台滑块；20、升降步进电机；21、机械爪；22、末端执行器固定架；23、限位固定架；24、铝型材；25、滑块—铝型材连接件；26、伸缩步进电机；27、丝杆导轨滑台滑块；28、丝杆导轨滑台；29、相机固定架；30、升降伸缩机构连接件；31、滑块—移动平台连接件；32、超声波模块固定架；33、同步带固定件；34、第一限位开关；35、第二限位开关；36、滑轨；37、滑轨模块；38、双摄像头图像识别相机；39、移动平台；40、挡板；41、超声波模块。

具体实施方式

下面结合实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1、图2、图11、图12所示，一种基于双目视觉的柑橘采摘机器人，三自由度移动机构1整体位于底座支撑机构8之上，三自由度移动机构1包括移动平台39、同步带直线模组滑台18、丝杆导轨滑台28，如图3所示，移动平台39通过同步带固定件33固定在同步带12的上端，如图4、图10所示，同步带直线模组滑台18竖直固定于移动平台39的上方，升降步进电机20位于同步带直线模组滑台18的上部，如图5所示，丝杆导轨滑台28通过3D打印的升降伸缩机构连接件30与同步带直线模组滑台18连接，如图7所示，并与同步带直线模组滑台18呈15～30度的倾斜角度；末端执行机构2固定在丝杆导轨滑台28的末端；双目测距视觉识别机构4固定在竖直放置的同步带直线模组滑台18的顶端；超声波测距机构5中的超声波模块41固定于底座支撑机构8之上，用于测量三自由度移动机构1水平方向的运动距离。移动平台39由铝型材搭建而成，通过梯形螺母、螺丝及角件进行连接；电机固定架9(如图6)与轴承固定架17分别固定在底座支撑机构8的左右两侧，如图3所示；直流电机10固定在电机固定架9上，两个整体径向滑动轴承13和15固定在轴承固定架17上，传动杆16通过过盈配合连接固定于两个整体径向滑动轴承13和15的轴承孔内；第一同步带轮11通过螺纹紧固连接安装于直流电机10的电机轴上，第二同步带轮14通过螺纹紧固连接固定于传动杆16上，同步带12的两端分别与第一同步带轮11、第二同步带轮14连接，同步带固定件33固定于移动平台39的一侧。同步带直线模组滑台18通过铝型材连接竖直固定于移动平台39上，同步带直线模组滑台18上安装有同步带直线模组滑台滑块19。丝杆导轨滑台28上安装有丝杆导轨滑台滑块27，丝杆导轨滑台滑块27通过滑块—铝型材连接件25与2020欧标铝型材24相连接，限位固定架23固定于丝杆导轨滑台28的末端，用于防止末端执行机构2在受力时的较大范围变形，伸缩步进电机26位于丝杆导轨滑台28的末端。所述的末端执行机构2包括机械爪21、末端执行器固定架22和嵌入式从控制端3，其中机械爪21内置有舵机、压力传感模块，机械爪21通过末端执行器固定架22固定于铝型材24的末端。嵌入式从控制端3和舵机通过电池电源经降压模块后供电。嵌入式从控制端3通过2.4G无线通信接收模块获取到嵌入式主控制端7的信号，通过舵机带动机械爪21，从而实现控制机械爪21的开合。所述的双目测距视觉识别机构4，包括相机固定架29和双摄像头图像识别相机38；相机固定架29固定于同步带直线模组滑台18的末端，用于固定双摄像头图像识别相机38，双摄像头图像识别相机38用于识别柑橘的位置。所述的超声波测距机构5，包括超声波模块41、超声波模块固定架32和挡板40，如图9所示，用于测量三自由度移动机构1的水平方向运动距离；超声波模块41通过超声波模块固定架32固定于底座支撑机构8的侧边；挡板40固定于移动平台39上，与平整地面相垂直，正对于超声波模块41的信号发出方向。所述的底座支撑机构8，由多套2020型欧标铝型材、梯形螺母、螺丝、90度角件、135度角件以及滑块-移动平台连接件31组合搭建而成，如图8所示；梯形螺母、螺丝、90度角件构成一套连接件，用于连接互成90度的相邻铝型材，主要用于构成四个脚架；梯形螺母、螺丝、135度角件构成一套加固连接件，用于进行整体机构和脚架的加固；滑轨36通过螺纹连接与其底下的铝型材进行固定，固定位置为底座支撑机构8的上方，滑轨滑块37安装于滑轨36上，用于移动平台39的低摩擦平移运动。滑块-移动平台连接件31通过螺纹连接与水平的2020欧标铝型材连接。

柑橘采摘机器人的工作过程如下：

如图13、图19所示，一种基于双目视觉的柑橘采摘实现方法，采用上述基于双目视觉的柑橘采摘机器人作为执行机构进行采摘，包括下述步骤：

(1)首先，柑橘采摘机器人进行位置的初始化，即三维空间坐标的初始化；双摄像头图像识别相机获取柑橘所处的空间位置，事先确定某一参照位置，通过双目测距技术计算得到柑橘三维空间坐标即柑橘在水平、竖直、前后方向上相对于左摄像头光心的距离数据，然后坐标转换成机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据；

(2)根据所获得的柑橘在水平方向上相对于机械爪的距离数据，计算出移动平台需在水平方向移动的距离；移动平台与同步带连接并随同步带进行水平方向上的移动，移动平台所处位置由固定于底座支撑机构上的超声波测距机构确定；

(3)根据所获得的柑橘在竖直方向上相对于机械爪的距离数据，确定控制同步带直线模组滑台的升降步进电机的转动圈数，带动同步带直线模组滑台滑块进行竖直方向上的精确移动；

(4)根据所获得的柑橘在前后方向上相对于机械爪的距离数据，确定丝杆导轨滑台上的伸缩步进电机需转动的圈数，通过控制丝杆导轨滑台上伸缩步进电机的转动圈数，使末端执行机构进行水平方向与竖直方向的综合移动；

(5)末端执行机构准确靠近目标柑橘后，机械爪由张开状态缓慢闭合，直到内嵌的压力传感模块探测到有柑橘被抓取，则停止闭合机械爪，实现抓取柑橘动作，再通过模拟人工采摘的上抬动作，以达到果梗与相连接果枝的分离。

上述基于双目视觉的柑橘采摘实现方法，采用下述控制步骤：

(1)PC视觉处理端通过基于视觉的自动识别果实方法识别果实，然后通过基于双目视觉的定位方法来定位果实位置，再通过蓝牙模块发送机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据到嵌入式主控制端；

(2)嵌入式主控制端接收到机器坐标后，利用超声波模块作为距离反馈器件来控制直流电机，使机器人整体移动到机器坐标系Yr轴的目标位置，通过数学公式解算出伸缩步进电机和升降步进电机需要移动的距离，通过步进电机驱动器驱动伸缩步进电机和升降步进电机，使末端执行机构到达目标位置，嵌入式主控制端通过无线通信模块发送夹持信号给嵌入式从控制端；

(3)嵌入式从控制端接收到夹持信号后，控制末端执行机构对果实进行抓取，抓取完成后发送抓取完成信号给嵌入式主控制端，嵌入式主控制端控制Xr轴上的伸缩步进电机、Yr轴上的直流电机、Zr轴上的升降步进电机回到初始位置，并发送张开信号给嵌入式从控制端来控制末端执行机构松开果实，完成一次采摘动作；

(4)嵌入式主控制端通过无线通信模块发送采摘完成信号到PC视觉处理端，再循环开始步骤(1)的动作。

所述的基于视觉的自动识别果实方法，包括下述步骤，如图16所示：

(1)获取双摄像头图像识别相机拍摄的RGB三通道图像；

(2)对图像进行色彩分割，即提取图像的R通道分量和G通道分量，并用R通道分量减去G通道分量获得一个红、橙、黄等颜色高亮度，绿色为低亮度的新图像分量；

(3)使用Otsu自适应阈值法对新图像分量进行二值化，获得成熟果实为白色，背景绿叶为黑色的二值图像；

(4)对二值图像用Canny边缘检测算法提取图像边缘；

(5)利用霍夫变换检测圆，在图像边缘中提取圆形的边缘；

(6)筛选无效区域，把圆形的边缘内部包括区域提取为ROI区域，计算步骤(3)中生成的二值图像中各ROI区域的平均灰度值，若ROI区域的平均灰度值高于128，则该ROI区域为图像中果实所处区域；

(7)若步骤(6)中无平均灰度值高于128的ROI区域，则可判断该图像中无成熟果实。

所述的基于双目视觉的定位方法，包括下述步骤，如图17、图18所示：

(1)首先进行单目标定，对一块标定板在不同方向进行三次以上完整拍照，再通过OpenCV自带的算法，计算获得相机的内参，包括相机的焦距、光心位置、径向畸变和切向畸变；

(2)然后进行双目标定，获得两个相机的平移矩阵和旋转矩阵，即相机的外参；通过标定的内容计算可生成两个双摄像头图像识别相机对应的无畸变平行图片，在此基础上调用OpenCV的SGBM算法，匹配两张图片上的对应点，生成两张图片的视差图和三维点云；再通过三维点云、双摄像头图像识别相机的内参和外参，计算获得指定点的柑橘三维空间坐标。

所述的PC视觉处理端所用的型号是树莓派3B型。所述程序运行平台是MicrosoftVisio Stdiuo2013和OpenCV2.4.9。所用立体匹配算法是SGBM。所用测距方式是双目测距。

如图14所示，嵌入式主控制端通过蓝牙模块与PC视觉处理端进行通信，获取机器坐标系数据并反馈机器人的运行状态，通过超声波模块和直流电机驱动电路实现机器坐标系Yr轴的运动，通过步进电机驱动器驱动升降步进电机、伸缩步进电机实现机器坐标系Xr、Zr轴的运动，通过LCD显示当前系统的运行状态，通过2.4G无线通信发送模块与嵌入式从控制端进行通信来控制末端执行机构。所述嵌入式主控制端，是使用STM32F103ZET6(单片机型号以cortex-M3为内核)作为处理核心。嵌入式主控制端中，与PC视觉处理端进行无线通信的是使用HC-06蓝牙模块，与嵌入式从控制端进行无线通信的是使用NRF24L01无线通信模块。超声波测距模块使用的是US-100模块。伸缩和升降采用的是步进电机，车体移动采用的是直流电机搭配超声波测距模块组成的反馈系统。步进电机驱动使用的都是型号为M542H的驱动器。蓝牙使用的是AT指令设置，NRF24L01模块使用的是SPI通信协议。超声波测距模块利用定时器通过中断的方式得到超声波从发出到接收到回音的时间值换算得到实际距离。步进电机使用的是嵌入式主控制端IO口输出固定脉冲个数的脉冲宽度调制(PWM)，直流电机利用超声波模块测得的距离值作为反馈修整车体与超声波之间的距离。

如图15所示，所述的嵌入式从控制端是集成了2.4G通信协议、舵机控制算法、AD转换算法、物体感应算法；嵌入式从控制端通过2.4G通信协议获取到嵌入式主控制端的控制信号，通过舵机控制算法控制舵机的开合对于果实进行夹持，通过AD转换算法对压力传感模块进行压力数值采集，再调用物体感应算法感应是否抓到果实。所述的嵌入式从控制端是使用STM32F103C8T6(单片机型号以cortex-M3为内核)作为处理核心。使用SPI接口与NRF24L01连接用于与嵌入式主控制端进行通信，嵌入式从控制端通过输出PWM控制舵机的开合，实现对柑橘的抓取。

以上所述的实施例为本发明的优选实施方式，但并非对本发明的其他实施方式进行限制，其他任何未脱离本发明的原理与精神实质下所作的各种变型、修饰、替代和改进，均属于本发明的保护范围之内。

Claims (10)

1.一种基于双目视觉的柑橘采摘机器人，其特征在于：包括三自由度移动机构、末端执行机构、双目测距视觉识别机构、超声波测距机构、底座支撑机构和嵌入式主控制端；三自由度移动机构整体位于底座支撑机构之上，三自由度移动机构包括移动平台、同步带直线模组滑台、丝杆导轨滑台，移动平台固定在同步带的上端，同步带直线模组滑台竖直固定于移动平台的上方，丝杆导轨滑台通过升降伸缩机构连接件与同步带直线模组滑台连接，并与同步带直线模组滑台呈15～30度的倾斜角度；末端执行机构固定在丝杆导轨滑台的末端；双目测距视觉识别机构固定在同步带直线模组滑台的顶端；超声波测距机构中的超声波模块固定于底座支撑机构之上。

2.根据权利要求1所述的基于双目视觉的柑橘采摘机器人，其特征在于：移动平台由铝型材搭建而成，通过梯形螺母、螺丝及角件进行连接；电机固定架与轴承固定架分别固定在底座支撑机构的左右两侧；直流电机固定在电机固定架上，两个整体径向滑动轴承固定在轴承固定架上，传动杆通过过盈配合连接固定于两个整体径向滑动轴承的轴承孔内；第一同步带轮通过螺纹紧固连接安装于直流电机的电机轴上，第二同步带轮通过螺纹紧固连接固定于传动杆上，同步带的两端分别与第一同步带轮、第二同步带轮连接，同步带固定件固定于移动平台的一侧。

3.根据权利要求1所述的基于双目视觉的柑橘采摘机器人，其特征在于：同步带直线模组滑台上安装有同步带直线模组滑台滑块；丝杆导轨滑台上安装有丝杆导轨滑台滑块，丝杆导轨滑台滑块通过连接件与铝型材相连接，限位固定架固定于丝杆导轨滑台的末端，伸缩步进电机位于丝杆导轨滑台的末端。

4.根据权利要求1所述的基于双目视觉的柑橘采摘机器人，其特征在于：所述的末端执行机构包括机械爪、末端执行器固定架和嵌入式从控制端，其中机械爪内置有舵机、压力传感模块，机械爪通过末端执行器固定架固定于铝型材的末端。

5.一种基于双目视觉的柑橘采摘实现方法，其特征在于：采用权利要求1～4中任一项所述的基于双目视觉的柑橘采摘机器人作为执行机构进行采摘，包括下述步骤：

(1)首先，柑橘采摘机器人进行位置的初始化，即三维空间坐标的初始化；双摄像头图像识别相机获取柑橘所处的空间位置，事先确定某一参照位置，通过双目测距技术计算得到柑橘三维空间坐标即柑橘在水平、竖直、前后方向上相对于左摄像头光心的距离数据，然后通过坐标转换规则将柑橘三维空间坐标转换成机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据；

(2)根据所获得的柑橘在水平方向上相对于机械爪的距离数据，计算出移动平台需在水平方向移动的距离；移动平台与同步带连接并随同步带进行水平方向上的移动，移动平台所处位置由固定于底座支撑机构上的超声波测距机构确定；

(3)根据所获得的柑橘在竖直方向上相对于机械爪的距离数据，确定控制同步带直线模组滑台的升降步进电机的转动圈数，带动同步带直线模组滑台滑块进行竖直方向上的精确移动；

(4)根据所获得的柑橘在前后方向上相对于机械爪的距离数据，确定丝杆导轨滑台上的伸缩步进电机需转动的圈数，通过控制丝杆导轨滑台上伸缩步进电机的转动圈数，使末端执行机构进行水平方向与竖直方向的综合移动；

(5)末端执行机构准确靠近目标柑橘后，机械爪由张开状态缓慢闭合，直到内嵌的压力传感模块探测到有柑橘被抓取，则停止闭合机械爪，实现抓取柑橘动作，再通过模拟人工采摘的上抬动作，以达到果梗与相连接果枝的分离。

6.根据权利要求5所述的基于双目视觉的柑橘采摘实现方法，其特征在于采用下述控制步骤：

(1)PC视觉处理端通过基于视觉的自动识别果实方法识别果实，然后通过基于双目视觉的定位方法来定位果实位置，再通过蓝牙模块发送机器坐标即柑橘在水平、竖直、前后方向上相对于机械爪的距离数据到嵌入式主控制端；

(2)嵌入式主控制端接收到机器坐标后，利用超声波模块作为距离反馈器件来控制直流电机，使机器人整体移动到机器坐标系Yr轴的目标位置，通过数学公式解算出伸缩步进电机和升降步进电机需要移动的距离，通过步进电机驱动器驱动伸缩步进电机和升降步进电机，使末端执行机构到达目标位置，嵌入式主控制端通过无线通信模块发送夹持信号给嵌入式从控制端；

(3)嵌入式从控制端接收到夹持信号后，控制末端执行机构对果实进行抓取，抓取完成后发送抓取完成信号给嵌入式主控制端，嵌入式主控制端控制Xr轴上的伸缩步进电机、Yr轴上的直流电机、Zr轴上的升降步进电机回到初始位置，并发送张开信号给嵌入式从控制端来控制末端执行机构松开果实，完成一次采摘动作；

(4)嵌入式主控制端通过无线通信模块发送采摘完成信号到PC视觉处理端，再循环开始步骤(1)的动作。

7.根据权利要求6所述的基于双目视觉的柑橘采摘实现方法，其特征在于：所述的基于视觉的自动识别果实方法，包括下述步骤：

(1)获取双摄像头图像识别相机拍摄的RGB三通道图像；

(2)对图像进行色彩分割，即提取图像的R通道分量和G通道分量，并用R通道分量减去G通道分量获得一个红、橙、黄等颜色高亮度，绿色为低亮度的新图像分量；

(3)使用Otsu自适应阈值法对新图像分量进行二值化，获得成熟果实为白色，背景绿叶为黑色的二值图像；

(4)对二值图像用Canny边缘检测算法提取图像边缘；

(5)利用霍夫变换检测圆，在图像边缘中提取圆形的边缘；

(6)筛选无效区域，把圆形的边缘内部包括区域提取为ROI区域，计算步骤(3)中生成的二值图像中各ROI区域的平均灰度值，若ROI区域的平均灰度值高于128，则该ROI区域为图像中果实所处区域；

(7)若步骤(6)中无平均灰度值高于128的ROI区域，则可判断该图像中无成熟果实。

8.根据权利要求6所述的基于双目视觉的柑橘采摘实现方法，其特征在于：所述的基于双目视觉的定位方法，包括下述步骤：

(1)首先进行单目标定，对一块标定板在不同方向进行三次以上完整拍照，再通过OpenCV自带的算法，计算获得相机的内参，包括相机的焦距、光心位置、径向畸变和切向畸变；

(2)然后进行双目标定，获得两个相机的平移矩阵和旋转矩阵，即相机的外参；通过标定的内容计算可生成两个双摄像头图像识别相机对应的无畸变平行图片，在此基础上调用OpenCV的SGBM算法，匹配两张图片上的对应点，生成两张图片的视差图和三维点云；再通过三维点云、双摄像头图像识别相机的内参和外参，计算获得指定点的柑橘三维空间坐标。

9.根据权利要求6所述的基于双目视觉的柑橘采摘实现方法，其特征在于：嵌入式主控制端通过蓝牙模块与PC视觉处理端进行通信，获取机器坐标系数据并反馈机器人的运行状态，通过超声波模块和直流电机驱动电路实现机器坐标系Yr轴的运动，通过步进电机驱动器驱动升降步进电机、伸缩步进电机实现机器坐标系Xr、Zr轴的运动，通过LCD显示当前系统的运行状态，通过2.4G无线通信发送模块与嵌入式从控制端进行通信来控制末端执行机构。

10.根据权利要求6所述的基于双目视觉的柑橘采摘实现方法，其特征在于：所述的嵌入式从控制端是集成了2.4G通信协议、舵机控制算法、AD转换算法、物体感应算法；嵌入式从控制端通过2.4G通信协议获取到嵌入式主控制端的控制信号，通过舵机控制算法控制舵机的开合对于果实进行夹持，通过AD转换算法对压力传感模块进行压力数值采集，再调用物体感应算法感应是否抓到果实。