CN104584779A - 一种基于双目视觉的苹果成熟度自动检测及采摘机器人 - Google Patents

Abstract

本发明公开了一种基于双目视觉的苹果成熟度自动检测及采摘机器人，其特征是：包括移动平台和与移动平台连接的双目视觉系统、柔性机械手，双目视觉系统设置在柔性机械手上；所述双目视觉系统，由两个图像采集装置组成；图像采集装置通过数据采集卡与智能控制系统连接，图像采集装置设置在距离地面高度约135cm的架子上；架子固定在移动平台的左边，两个图像采集装置的距离相差47cm，并聚焦于柔性机械手前方60cm处。本发明能够自动检测苹果的颜色、大小、形状，然后对获取的图像进行自动处理、检测与识别，以便提高系统的运行效率，且可实时反馈采摘情况，提高了采摘的准确率，大大提高其生产自动化水平，结构简单、自动化程度高，适用性广。

Description

一种基于双目视觉的苹果成熟度自动检测及采摘机器人

技术领域

本发明涉及采摘装置，特别是一种基于双目视觉的苹果成熟度自动检测及采摘机器人。

背景技术

在我国，随着经济水平的增长，劳动力价格不断提高，造成劳动密集型企业的生产成本不断提高，尤其是农业生产领域，如蔬菜以及水果的收割，往往需要耗费大量的人力资源。因此，农业生产机器人发挥了巨大的作用，如：水稻收割机器人、防虫预警机器人等。然而，目前国内外果蔬采摘机器人市场基本空白。由于苹果在树上呈无规律分布，导致难以识别果实的成熟度以及进行精确定位，因此，研制一种能够灵活移动于树枝之间的柔性机械手一直是难以突破的技术难题。此外，机械手采摘果实的力度不易控制而导致出现采摘失败或果实损坏的状况发生。目前，国外研制出了一种果实收割设备，它是先通过摇晃苹果树使苹果落地，然后再收集起地上的苹果，显然成熟的苹果摔落易于导致损坏而造成经济损失。随着劳动力价格的上涨，果蔬采摘机器人的使用将是未来农业机器人发展的一大趋势，研发果蔬采摘机器人具有重要的实际意义。

发明内容

本发明目的是针对现有技术的不足，而提供一种基于双目视觉的苹果成熟度自动检测及采摘机器人。该装置结构简单，适用性广，能显著地提高生产效率，降低生产成本。

为达到上述目的，本发明采取的技术方案是：

一种基于双目视觉的苹果成熟度自动检测及采摘机器人，包括移动平台和与移动平台连接的双目视觉系统、柔性机械手，双目视觉系统以及柔性机械手均设置在移动平台上。

所述双目视觉系统，由两个图像采集装置组成；图像采集装置通过数据采集卡与智能控制系统连接，图像采集装置设置在距离地面高度为135cm的架子上；架子固定在移动平台的左边，两个图像采集装置的距离为47cm，并聚焦于柔性机械手前方60cm处。

所述柔性机械手包括从下至上顺序连接的第一关节、第二关节、第三关节、第四关节、剪刀手机构，每个关节均分别与对应的传动机构、旋转机构、光电机构连接。

所述旋转机构包括能水平、垂直自由旋转的关节转动轴、与关节转动轴连接的关节电机和旋转臂，关节电机与关节电气系统连接。

所述关节转动轴从下至上分为第一关节转动轴、第二关节转动轴、第三关节转动轴和第四关节转动轴，剪刀手机构与第四关节转动轴连接，通过所有关节转动轴的转动，控制剪刀手机构在三维空间中灵活伸缩并采摘果实，其中：

第一关节转动轴平行于水平面做旋转运动，运动角度范围为180°，最大运动速度为60°/s；

第二关节转动轴做垂直于水平面的旋转运动，运动角度范围为120°，最大运动速度为60°/s；

第三关节转动轴做垂直于水平面的旋转运动，运动角度范围为120°，最大运动速度为60°/s；

第四关节转动轴做垂直于水平面的旋转运动，运动角度范围为180°，最大运动速度为60°/s；

第二关节转动轴与第三关节转动轴之间的臂长为380mm，第三关节转动轴至第四关节转动轴之间的臂长为330mm；整个关节转动轴的最大展开半径为850mm；整体直立高度为1050mm。

所述关节电机分别与每个关节转动轴连接，内部设置有失电制动器和减速器，由直流伺服电机驱动，分别控制每个关节转动轴运动，其供电电源和功率分别为24v和400w，其中：减速器为谐波减速器。

所述关节电气系统由直流电机、编码器、制动器和光电开关相连组成。

所述剪刀手机构由气动系统和与气动系统连接的可张开、闭合的剪刀手构成，剪刀手内设有采摘刀片，刀片下设有缓冲垫，利用气动系统带来的压力剪断果实果柄，并夹住果柄末端，将所摘苹果回收至果篮中。

所述的移动平台为一四轮驱动平台；其四轮驱动电机的额定工作电压为48V，功率为100W，并带有线数为2000的编码器，减速比为35，电机额定转速为20 r/s。每个轮子的直径为34.5cm，并配有橡胶胎，抓地性能良好，使移动平台具有很好的越野性能，能够满足机器人在较为崎岖的果园里灵活移动。

本发明的工作过程如下：

当整个装置初始化完成后，视觉系统首先采集图像，对所述的图像进行分析，检索出机械手前方存在的可采摘的苹果，如果没有可采摘的苹果，移动平台通过差速逆时针方向旋转60°，视觉系统再次采集图像并分析，如果仍没有，移动平台重复上一步指令，如果移动平台旋转一周后，视觉系统仍没发现可采摘的苹果，则装置进入休眠模式；如果所述的视觉系统发现可采摘的苹果，则将求解出苹果所处的空间位置，并将得到的目标苹果的三维坐标传递到机械手控制端，接着执行采摘工作；如果机械手无法到达所述的三维坐标的位置，那么移动平台将根据目标苹果的位置做适当调整，直到机械手可以实现采摘，所述的调整，是一个闭环控制环节，所述的闭环控制环节是通过不断的视觉判断，和移动平台的调整，直到使得目标苹果相对于机械手的坐标满足采摘条件；如果所述的双目视觉系统检测到有多个苹果满足采摘条件，则距离装置最近的苹果将优先被采摘，然后再次采摘剩下中的距离最近的苹果，采摘到的苹果放置于移动平台前端的篮子里。

本发明的优点是：本发明利用双目视觉系统进行检测，通过在移动平台上加装一套图像采集装置和一个配有剪刀手的四维度柔性机械手，能够自动检测苹果的颜色、大小、形状，然后对获取的图像进行自动处理、检测与识别，以便提高系统的运行效率，且可实时反馈采摘情况 ，提高了采摘的准确率，将改变目前采摘果蔬环节全部依靠人工的现状，大大提高其生产自动化水平，结构简单、自动化程度高，适用性广、移植性强，能广泛适用于果蔬的采摘和回收，具有广阔的前景。

附图说明

图1是本发明整体系统图；

图2为本发明机械手的结构示意图；

图3是本发明双目视觉识别苹果的程序流程图；

图4是机械手运动规划程序流程图。

具体实施方式

下面结合附图和实施例对本发明进行阐述，但不是对本发明内容的限定。

实施例：

如图1所示，一种基于双目视觉的苹果成熟度自动检测及采摘机器人，由移动平台和与移动平台连接的双目视觉系统、柔性机械手构成，双目视觉系统设置移动平台上。移动平台为四轮驱动平台，其主要目的是调整系统相对地面的位置；由于果园通常不是平地，机器设备需有较好的运动性能方能灵活移动，移动平台每一个轮子均配有单独的驱动电机；当控制器接到运动指令是时，每个电机自主根据CAN总线协议的指令调整其转速及其加速度及工作时间；所述的移动平台运动控制和履带式机械类似，如所述移动平台要左转时，则右边两个轮子的运动速度大于左边两个轮子，实现差速左转；如需右转，则左边两个轮子速度大于右边两个轮子。

整体参考坐标系为右手系，移动平台的正方向为X轴正方向，双目视觉的摄像机聚焦于Y轴的负方向，即移动平台的右侧方向，所述摄像机安装于移动平台左侧，而机械手平行于Z轴，安装于移动平台的右侧，其复位状态为竖直状态；每个关节的运动正方向为图中对应的曲线的方向，如l1表示面向X轴负方向，四关节的运动正方向为平行于ZOY平面做逆时钟方向；l2表示三关节的运动正方向，其方向和l1方向一样；l3表示二关节的运动正方向，与l1相反；l4表示面向Z轴负方向，一关节的运动正方向为平行于XOY平面的逆时钟方向。

如图2所示，该部分为整体系统的柔性机械手部分，从下至上由机械手底座、第一关节、第二关节、第三关节、第四关节、剪刀手依次连接，其中所述的每一个关节都对应着相应的传动机构、旋转机构、光电机构，底座16通过螺栓与移动平台连接。

旋转机构由能水平、垂直四维度自由旋转的关节转动轴、与关节转动轴连接的关节电机、光电机构和旋转臂组成，关节转动轴从下至上分为第一关节转动轴15、第二关节转动轴22、第三关节转动轴10和第四关节转动轴4，各关节转动轴顺序串联，由全直流伺服电机驱动。其中：

第一关节转动轴15做平行于水平面做旋转运动，其运动角度范围为180°，最大运动速度为60°/s；第一关节转动轴15与第一关节电机相连，在该转动轴15右侧设有用于控制旋转关节的复位的第一关节复位光电开关24和与该开关24连接的第一关节光电开关挡片14，当该关节转动时，挡片14将光线挡住,关节会一直转动,直至挡片14没有把光挡住为止；转动轴15左侧设有第一关节机械挡块18，防止机械手转动过多的角度，第一关节转动轴15下端通过第一连接臂17与底座16连接，上端与第二关节转动轴22扣接；

第二关节转动轴22做垂直于水平面的旋转运动，其运动角度范围为120°，最大运动速度为60°/s；第二关节转动轴22通过第二关节动力传送带13与第二关节电机26连接，其一侧设有用于第二关节复位光电开关24和与该开关24连接的第二关节光电开关挡片23，当该关节转动时，挡片23将光线挡住,关节会一直转动,直至挡片23没有把光挡住为止；转动轴22上设有第二关节机械挡块和第三采摘手导气管固定座25，防止机械手转动过多的角度，在第二关节转动轴22上设有机械挡块21，以及在转动轴22下方设有机械辅助挡块20；

第三关节转动轴10做垂直于水平面的旋转运动，其运动角度范围为120°，最大运动速度为60°/s；第三关节转动轴10通过第三关节动力传送带28与第三关节电机12连接，其一端设有第二采摘手导气管固定座11、用于控制旋转关节的转动角度和时间的第三关节复位光电开关8和与该开关8连接的第三关节光电开关挡片9，当该关节转动时，挡片9将光线挡住,关节会一直转动,直至挡片9没有把光挡住为止；第三关节转动臂10通过第二连接臂7与第四关节转动轴4连接；在第三关节电机12内设有第三关节谐波减速器； 

第四关节转动轴4做垂直于水平面的旋转运动，其运动角度范围为180°，最大运动速度为60°/s；第四关节转动轴4通过第四关节动力传送带30与第四关节电机6连接，其一端设有用于控制旋转关节的转动角度和时间的第四关节复位光电开关2和与该开关2连接的第四关节光电开关挡片3，当该关节转动时，挡片3将光线挡住,关节会一直转动,直至挡片3没有把光挡住为止；转动轴4上还设有防止机械手转动过多的角度的第四关节机械挡块、第四采摘手导气管固定座29，第四关节转动臂4通过第三连接臂31与气动剪刀手连接；通过第四关节转动轴4的转动，控制气动剪刀手在三维空间中灵活伸缩并采摘果实。

第二关节转动轴22与第三关节转动轴10之间的连接臂27长为380mm，第三关节转动轴10至第四关节转动轴4之间的连接臂7长为330mm； 整个关节转动轴的最大展开半径为850mm；整体直立高度为1050mm。

第一关节电机、第二关节电机26、第三关节电机12和第四关节电机6分别与关节电气系统连接，其内设置有失电制动器和谐波减速器，由直流伺服电机驱动，分别控制每个关节转动轴运动，其供电电源和功率分别为24v和400w，其中：减速器为谐波减速器。所述关节电气系统由直流电机、编码器、制动器和光电开关相连组成。

所述气动剪刀手由气泵32和与气泵连接的可张开、闭合的剪刀手构成，剪刀手内设有采摘刀片33，刀片33下设有缓冲垫，在刀片一端还设有辅助采摘挡板1，气泵32通过气泵进气管口与气动系统连接，利用气动系统带来的压力瞬间剪断果实果柄，并夹住果柄末端，回收到果篮中。

如图3所示，所述的双目视觉系统主要通过两个高清摄像机采集机械手前端的照片，通过采集卡传送至PC处理端；其工作流程是：

步骤201：初始化摄像机和开启PC处理端；

步骤202：所述的摄像机同时获取图像，并传至PC处理端；

步骤203：对所获取的两幅图像的亮度做直方图均衡化处理，提高图像对比度；

步骤204：正对红色像素做二值化处理，去除非红色区域；

步骤205：对二值图像做腐蚀处理，腐蚀掉红色细微小块，去除干扰；

步骤206：膨胀处理，对大的红色区适度还原；

步骤207：外形校对，判断是否为苹果形，若不是则返回202步；

步骤208：若外形校对通过，则计算出目标的三维坐标，并将数值传送到机械手控制端；

如图4所示，本发明采摘装置的工作流程是：

步骤301：初始化机械臂及PC端；

步骤302：判断CAN总线接收中断标志是否为1，不是则等待；

步骤302：若CAN总线接收中断标志为1，则判断关节角度是否接收完，若不是，返回302步；

步骤303：若关节的角度接收完，则规划从非工作状态初始位姿到工作状态初始位姿的轨迹；

步骤304：通过CAN总线发送上一步所规划的运动参数，机械臂进行复位运动；

步骤305：获取目标点坐标；

步骤306：规划工作状态初始位姿到目标点的轨迹；

步骤307：通过CAN总线发送上一步所规划的运动参数，机械臂执行指令，运动至目标点；

步骤308：控制手抓抓取目标点的苹果；

步骤309：规划目标点到放置点的运动轨迹；

步骤310：通过CAN总线发送上一步所规划的运动参数，机械臂执行指令，运动至放置点；

步骤311：规划放置点到工作状态初始位姿的轨迹；

步骤312：通过CAN纵向发送上一步所规划的运动参数，机械臂执行指令，恢复到初始位姿。

机械臂的位姿运动：机械臂的位姿运动过程有运动至临时位置和运动至采摘位置，所述的临时位置即是机械臂将采摘到的苹果放置至篮子的位姿；运动至临时位置和采摘位置对于能否执行采摘工作至关重要；机械臂的位姿运动实际上就是给出机械臂末端采摘手中心位姿让机械臂走点对点的位置模式运动，该运动过程的步骤为：第一步根据双目视觉系统获取到的三维坐标进行逆运动学分析，求解出机械臂各关节的目标绝对角度；第二步获取当前机械臂各关节的当前绝对角度，由目标绝对角度和当前绝对角度，从而解得机械臂各关节的相对运动角度，再由系统设置的时间确定机械臂各关节的运动速度、加速度的数值大小；第三步向各关节驱动器下发运动速度、加速度、绝对位置指令，机械臂开始运动，使机械臂末端采摘手的中心到达指定的位姿，所述的系统设置时间默认为10s，可通过远程控制上位机修改，所述的远程控制上位机作用在于在必要的情况下使系统可人为控制。

Claims (7)

1.一种基于双目视觉的苹果成熟度自动检测及采摘机器人，其特征是：包括移动平台和与移动平台连接的双目视觉系统、柔性机械手，双目视觉系统设置在柔性机械手上；所述双目视觉系统，由两个图像采集装置组成；图像采集装置通过数据采集卡与智能控制系统连接，图像采集装置设置在距离地面高度约135cm的架子上；架子固定在移动平台的左边，两个图像采集装置的距离相差47cm，并聚焦于柔性机械手前方60cm处。

2.根据权利要求1所述的基于双目视觉的苹果成熟度自动检测及采摘机器人，其特征是：所述柔性机械手包括从下至上顺序连接的第一关节、第二关节、第三关节、第四关节、剪刀手机构，每个关节均分别与对应的传动机构、旋转机构、光电机构连接。

3.根据权利要求2所述的基于双目视觉的苹果成熟度自动检测及采摘机器人，其特征是：所述旋转机构包括能水平、垂直自由旋转的关节转动轴、与关节转动轴连接的关节电机和旋转臂，关节电机、关节电气系统连接，光电机构与旋转机构相连；所述关节转动轴从下至上分为第一关节转动轴、第二关节转动轴、第三关节转动轴和第四关节转动轴，剪刀手机构与第四关节转动轴连接，其中：

第一关节转动轴平行于水平面做旋转运动，运动角度范围为180°，最大运动速度为60°/s；

第二关节转动轴做垂直于水平面的旋转运动，运动角度范围为120°，最大运动速度为60°/s；

第三关节转动轴做垂直于水平面的旋转运动，运动角度范围为120°，最大运动速度为60°/s；

第四关节转动轴做垂直于水平面的旋转运动，运动角度范围为180°，最大运动速度为60°/s；

第二关节转动轴与第三关节转动轴之间的臂长为380mm，第三关节转动轴至第四关节转动轴之间的臂长为330mm；整个关节转动轴的最大展开半径为850mm；整体直立高度为1050mm。

4.根据权利要求2所述的基于双目视觉的苹果成熟度自动检测及采摘机器人，其特征是：所述关节电机分别与每个关节转动轴连接，内设置有失电制动器和减速器，由直流伺服电机驱动，分别控制每个关节转动轴运动，其供电电源和功率分别为24v和400w，其中：减速器为谐波减速器。

5.根据权利要求2所述的基于双目视觉的苹果成熟度自动检测及采摘机器人，其特征是：所述关节电气系统由直流电机、编码器和制动器相连组成。

6.根据权利要求2所述的基于双目视觉的苹果成熟度自动检测及采摘机器人，其特征是：所述剪刀手机构由气动系统和与气动系统连接的可张开、闭合的剪刀手构成，剪刀手内设有刀片，刀片下设有缓冲垫。

7.根据权利要求2所述的基于双目视觉的苹果成熟度自动检测及采摘机器人，其特征是：所述的移动平台为一四轮驱动平台；其四轮驱动电机的额定工作电压为48V，功率为100W，并带有线数为2000的编码器，减速比为35，电机额定转速为20 r/s，每个轮子的直径为34.5cm，并设有橡胶胎。