CN202085493U - 番茄采摘机器人系统 - Google Patents

Abstract

本实用新型公开了一种番茄采摘机器人系统，涉及智能机器人领域。该系统包括：分别和立体视觉模块连接的机械臂控制模块和导航模块；所述立体视觉模块，用于检测番茄、获取番茄的三维坐标，将所述番茄的三维坐标发送给所述机械臂控制模块，以及发送控制指令给所述导航模块，以控制所述系统行进或者停止；所述机械臂控制模块，用于实现对番茄的采摘；所述导航模块，用于实现对所述系统行进过程的控制。本实用新型所述系统采用模块化设计理念，各模块可随时进行升级或替换，具有很好的通用性，结构简单，集成度高，有效提高了番茄采摘机器人系统的环境适应能力和工作效率。

Description

番茄采摘机器人系统

技术领域

本实用新型涉及智能机器人技术领域，特别涉及一种番茄采摘机器人系统。

背景技术

番茄是全世界栽培最为普遍的果菜之一。美国、俄罗斯、意大利和中国为主要生产国。番茄采摘是劳动密集型作业，目前世界上番茄的生产的情况是：一方面由于农业生产环境艰苦，农产品价格偏低，农业产品收益小，造成了大量农业人员的流失；另一方面每年需要采摘番茄数量之巨大，对于规模化、工厂化种植的番茄，人工采摘很难适应市场发展的需要。解决这个问题的出路就是研制番茄采摘机器人。

近些年来，随着电子技术、信息技术、计算机技术等的发展和普及，传统的农业机械水平得到了很大的提高。番茄采摘机器人相对于传统农业机械能更好地适应生物技术的新发展，是智能化最高的农业机械之一，它的出现是现代高科技综合运用和发展于农业上的结果，是农业现代化发展到一定阶段的必然产物。番茄采摘机器人的使用可以改善农业作业条件，提高劳动生产率和作业质量，降低劳动强度。

由于番茄生长的复杂性和农田环境的非结构化的特点，目前市场上尚未出现商品化的番茄采摘机器人。但是，现有的农业机器人的控制系统都是通过PC来实现，其缺陷是：成本过高、通用性差、可扩展性不高、功耗高和体积大。开放式结构的控制系统的机械、传感器和控制三部分分开，采用模块化设计，能够根据使用情况的不同灵活改变各模块的配置，能够有效降低成本，获得更好的通用性和可扩展性，具有更加广泛的发展前景。

实用新型内容

(一)要解决的技术问题

本实用新型要解决的技术问题是：如何提供一种模块化设计的番茄采摘机器人系统。

(二)技术方案

为解决上述技术问题，本实用新型提供一种番茄采摘机器人系统，其包括：分别和立体视觉模块连接的机械臂控制模块和导航模块；

所述立体视觉模块，用于检测番茄、获取番茄的三维坐标，将所述番茄的三维坐标发送给所述机械臂控制模块，以及发送控制指令给所述导航模块；

所述机械臂控制模块，接收所述番茄的三维坐标，实现对番茄的采摘；

所述导航模块，接收所述控制指令，用于实现对所述系统行进过程的控制。

优选地，所述立体视觉模块包括：处理单元和与所述处理单元连接的两个视觉摄像头；

所述处理单元连接所述机械臂控制模块和导航模块，用于对所述视觉摄像头获取的图像进行处理，以实现对番茄的检测以及对番茄的三维坐标的获取；所述处理单元，还用于将所述番茄的三维坐标发送给所述机械臂控制模块；所述处理单元，还用于发送控制指令给所述导航模块，以控制所述系统行进或者停止；

所述两个视觉摄像头，用于分别获取番茄的二维彩色图像。

优选地，所述处理单元采用TMS320DM642处理器。

优选地，所述处理单元通过串口连接所述机械臂控制模块和导航模块。

优选地，所述机械臂控制模块包括：分别和关节驱动器连接的机械臂控制器和机械臂；

所述机械臂控制器，连接所述立体视觉模块，用于接收所述番茄的三维坐标，根据所述三维坐标计算得到所述机械臂的运动轨迹数据，并将所述运动轨迹数据发送给所述关节驱动器；

所述关节驱动器，接收所述运动轨迹数据，对所述运动轨迹数据进行分解处理后，发送给所述机械臂的相应关节；

所述机械臂的多个关节接收相应的运动轨迹数据，根据所述运动轨迹数据，完成对番茄的采摘动作。

优选地，所述机械臂控制器采用S3C2410处理器。

优选地，所述机械臂控制器通过CAN总线连接所述关节驱动器。

优选地，所述导航模块包括：导航处理单元以及分别与所述导航处理单元相连接的导航摄像头、超声波传感器和运动控制器；

所述导航摄像头，用于捕获所述系统前方的导航线的彩色图像，并将所述导航线的彩色图像发送给所述导航处理单元；

所述超声波传感器，用于获取所述系统行进方向前方的障碍物信息，并将所述障碍物信息发送给所述导航处理单元；

所述导航处理单元，用于接收所述导航线的彩色图像，并提取其中的导航线信息；还用于接收所述障碍物信息；还用于根据所述导航线信息和障碍物信息，发送控制信号给所述运动控制器；

所述运动控制器接收所述控制信号，根据所述控制信号控制所述系统行进或者停止。

优选地，所述导航模块还包括电机驱动器和行走机构；所述电机驱动器连接所述运动控制器，用于按照所述运动控制器的控制，为所述行走机构提供行进所需的动力；所述行走机构连接所述电机驱动器，用于执行所述系统的行进或者停止。

优选地，所述系统还包括远程监测模块，所述远程监测模块包括监控摄像头、无线通讯装置和上位机；所述监控摄像头连接所述无线通讯装置，并通过所述无线通讯装置实现与所述上位机之间的数据传输。

(三)有益效果

本实用新型所述系统采用模块化设计理念，各模块可随时进行升级或替换，具有很好的通用性，结构简单，集成度高，有效提高了番茄采摘机器人系统的环境适应能力和工作效率。

附图说明

图1是本实用新型实施例所述的番茄采摘机器人系统结构图。

具体实施方式

下面结合附图和实施例，对本实用新型的具体实施方式作进一步详细描述。以下实施例用于说明本实用新型，但不用来限制本实用新型的范围。

图1是本实用新型实施例所述的番茄采摘机器人系统结构图。如图1所示，该系统包括：分别和立体视觉模块连接的机械臂控制模块和导航模块。

所述立体视觉模块，用于检测番茄、获取番茄的三维坐标，将所述番茄的三维坐标发送给所述机械臂控制模块，以及发送控制指令给所述导航模块；

所述机械臂控制模块，用于接收所述番茄的三维坐标，实现对番茄的采摘；

所述导航模块，用于接收所述控制指令，实现对所述系统运动过程的控制。

所述立体视觉模块包括处理单元和与所述处理单元连接的两个视觉摄像头；所述两个视觉摄像头分别为左摄像头和右摄像头。

所述处理单元连接所述机械臂控制模块和导航模块，用于对所述视觉摄像头获取的图像进行处理，以实现对番茄的检测以及对番茄的三维坐标的获取；所述处理单元，还用于将所述番茄的三维坐标发送给所述机械臂控制模块；所述处理单元，还用于发送控制指令给所述导航模块，以控制所述系统行进或者停止；

所述两个视觉摄像头，用于分别获取番茄的二维彩色图像。

所述处理单元采用TMS320DM642处理器。

所述处理单元通过串口连接所述机械臂控制模块和导航模块。

所述机械臂控制模块包括：分别和关节驱动器连接的机械臂控制器和机械臂；

所述机械臂控制器，连接所述立体视觉模块，用于接收所述番茄的三维坐标，根据所述三维坐标计算得到所述机械臂的运动轨迹数据，并将所述运动轨迹数据发送给所述关节驱动器；

所述关节驱动器，接收所述运动轨迹数据，对所述运动轨迹数据进行分解处理后，发送给所述机械臂的相应关节；

所述机械臂的多个关节接收相应的运动轨迹数据，根据所述运动轨迹数据，完成对番茄的采摘动作。

所述机械臂控制器采用S3C2410处理器。

所述机械臂控制器通过CAN总线连接所述关节驱动器。

所述导航模块包括：导航处理单元以及分别与所述导航处理单元相连接的导航摄像头、超声波传感器和运动控制器；

所述导航摄像头，用于捕获系统前方的导航线的彩色图像；

所述超声波传感器，用于获取所述系统行进方向前方的障碍物信息，并将所述障碍物信息发送给所述导航处理单元；

所述导航处理单元，用于接收所述导航线的彩色图像并提取其中的导航线信息；所述导航处理单元还用于接收所述超声波传感器发送的障碍物信息；然后，所述导航处理单元根据所述障碍物信息和导航线信息，发送控制信号给所述运动控制器。

所述运动控制器接收所述控制信号，根据所述控制信号控制所述系统的行进或者停止。

其中，所述导航处理单元与运动控制器采用串口通讯方式。通讯方式为：RS232，通讯波特率：115200，无校验位，8数据位，1停止位。

所述导航模块还包括电机驱动器和行走机构；所述电机驱动器连接所述运动控制器，用于按照所述运动控制器的控制，为所述行走机构提供运动所需的动力；所述行走机构连接所述电机驱动器，用于执行所述系统的行进过程。所述行走机构可以为一个车体。

所述系统还包括远程监测模块(图1中未示出)，所述远程监测模块连接包括监控摄像头、无线通讯装置和上位机。所述监控摄像头连接所述无线通讯装置，所述无线通讯装置采用TCP/IP协议通过无线局域网连接所述上位机，从而实现将所述监控摄像头获得的图像数据传输给所述上位机。

其中，立体视觉模块对番茄的检测是利用番茄果实红色信息特征进行检测的。比较了番茄彩色图像在RGB、HSI、YCbCr不同颜色空间下的表现后，提出两种不同的番茄果实分割方法：LCD模型、Chromaticity模型，采用多个阈值分割图像的方法，这些阈值由上述的决策函数动态确定的。通过对在不同光照条件下获得的番茄图像进行分割实验表明，LCD模型、Chromaticity模型都能比较好的实现果实与背景的分割。LCD模型、Chromaticity模型函数如式(1)、式(2)所示。

$\left[\begin{array}{c}{D}_{\mathrm{leaf}/\mathrm{fruit}}\\ D_{\mathrm{fruit}/\mathrm{branch}}\\ D_{\mathrm{leaf}/\mathrm{branch}}\end{array}\right]=\left[\begin{array}{ccc}45.12& 540.4& -104.19\\ -61.16& 7527.86& 80.59\\ -15.62& 39.82& -270.98\end{array}\right]\left[\begin{array}{c}Y\\ \mathrm{Cr}\\ 1\end{array}\right]---\left(1\right)$

$\left[\begin{array}{c}{D}_{\mathrm{leaf}/\mathrm{fruit}}\\ D_{\mathrm{fruit}/\mathrm{branch}}\\ D_{\mathrm{leaf}/\mathrm{branch}}\end{array}\right]=\left[\begin{array}{ccc}0.55& -0.105& -0.4\\ -0.07& 0& 0.05\\ -0.05& -0.001& 0.05\end{array}\right]\left[\begin{array}{c}r\\ g\\ 1\end{array}\right]---\left(2\right)$

其中，要获得番茄的三维坐标，首先根据需要提取番茄果实的圆特征，即提取果实的圆心和半径。这里采用随即圆环的方法提取果实的圆心和半径。番茄的轮廓一般不为正规圆形，因此在检测过程中使用圆环的方法，只要番茄轮廓上大部分的点位于圆环内，则认为圆环即为番茄轮廓所在圆环。其原理为：取番茄轮廓图像上任意不共线的三个点(不共线三点确定一个圆)，计算出一个圆。假设圆环的宽度为5个像素，那么当果实圆轮廓上的点大多处于圆环内，则认为提取到的圆就是番茄圆。

番茄果实的三维坐标通过张正友方法确定。首先，以所述左摄像头采集的图像为基准，进行图像处理，根据图像处理结果在所述右摄像头采集的图像中进行匹配。根据极线约束，搜索相应位置，找到匹配共轭对的位置。再根据所述视觉摄像头的内、外参数及所述左摄像头和右摄像头的相对位置信息，可以计算出番茄所在空间坐标系下的三维坐标。

其中，机械臂的运动轨迹运算采用摆线运动模型。摆线运动因其计算简单，轨迹连续平滑，并能在有限区间的端点产生零速度和零加速度，特别适用于PTP的关节空间轨迹规划。

其中，所述导航线信息，通过所述导航处理单元对所述导航摄像头采集到的农田图像进行处理，采用改进的Hough变换进行处理，提取所述导航线信息。然后根据神经网络算法使车体沿导航线行进，本系统选用履带式车体作为所述行走机构，通过双轮差速的方式控制车体的转角。模拟驾驶员经验，有经验的驾驶员在驾驶汽车时，总是在汽车沿直线前进时，用较高的车速，而在转弯时，用较低的速度。因此，在对履带式车体导航时，在转弯处适当降低运行速度，这样可以减小运动路线的误差。

其中，所述超声波传感器是一种集发射器和接收器于一体的传感器，当前面有障碍物时，物体将发射器发出的超声波反射回接收器，于是超声波传感器就“感知”了物体的存在，产生输出信号。当检测到障碍物与车体距离低于25cm时，即控制车体减速停车。

本系统的工作过程如下：系统上电以后，立体视觉模块发送命令给导航小车，使其沿农作物自然形成的行或垄行走，立体视觉模块进行番茄检测，以左摄像头为基准，对单路采集的图像进行实时分析，动态搜索番茄。一旦识别出番茄，立体视觉模块将停车命令传送给导航模块，控制车体停止运行。待小车完全停住，启用视觉摄像头的左摄像头和右摄像头同时采集当前图像，运行番茄三维定位算法。完成对番茄果实三维坐标的计算之后，将该数据通过串口发送给机械臂控制模块。机械臂控制器负责根据此数据进行运动轨迹运算，运算结果被分解成发送给机械臂各关节的数据流，通过CAN总线发送给机械臂各关节，使机械臂到达番茄果实处，最后完成对番茄果实的切割。等切割完成后，再发命令启动小车，继续动态检测番茄，如此循环。

在进行导航、自动采摘的同时，超声波传感器实时动态检测障碍物，当超声波探测到障碍物距离车体25cm处时，即命令小车停止。待障碍物消除后，继续循线导航。整个导航、采摘过程的图像可以通过监控摄像头捕获，经由无线通讯装置实时传送给上位机，可以实现上位机实时检测。

本实用新型实施例所述番茄采摘机器人系统具有以下优势：

(1)本系统采用模块化设计理念，各模块可随时进行升级或替换，具有很好的通用性，结构简单，集成度高，有助于提高番茄采摘机器人系统的环境适应能力和工作效率。

(2)本系统有很强的可扩展性，只要对系统稍加改动就可以应用到许多相关的农业机器人中。

(3)立体视觉模块和导航模块的设计皆基于嵌入式处理平台，更适于高温、潮湿等的工作环境，具有集成能力强、稳定性好、运算速度快、系统成本低、功耗小等优势。

以上实施方式仅用于说明本实用新型，而并非对本实用新型的限制，有关技术领域的普通技术人员，在不脱离本实用新型的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本实用新型的范畴，本实用新型的专利保护范围应由权利要求限定。

Claims (10)

1.一种番茄采摘机器人系统，其特征在于，包括：分别和立体视觉模块连接的机械臂控制模块和导航模块；

所述立体视觉模块，用于检测番茄、获取番茄的三维坐标，将所述番茄的三维坐标发送给所述机械臂控制模块，以及发送控制指令给所述导航模块；

所述机械臂控制模块，用于接收所述番茄的三维坐标，实现对番茄的采摘；

所述导航模块，用于接收所述控制指令，实现对所述系统行进过程的控制。

2.如权利要求1所述的系统，其特征在于，所述立体视觉模块包括：处理单元和与所述处理单元连接的两个视觉摄像头；

所述两个视觉摄像头，用于分别获取番茄的二维彩色图像；

所述处理单元连接所述机械臂控制模块和导航模块，用于对所述二维彩色图像进行处理，以实现对番茄的检测以及对番茄的三维坐标的获取；

所述处理单元，还用于将所述番茄的三维坐标发送给所述机械臂控制模块；所述处理单元，还用于发送控制指令给所述导航模块，以控制所述系统行进或者停止。

3.如权利要求2所述的系统，其特征在于，所述处理单元采用TMS320DM642处理器。

4.如权利要求2所述的系统，其特征在于，所述处理单元通过串口连接所述机械臂控制模块和导航模块。

5.如权利要求1所述的系统，其特征在于，所述机械臂控制模块包括：分别和关节驱动器连接的机械臂控制器和机械臂；

所述机械臂控制器，连接所述立体视觉模块，用于接收所述番茄的三维坐标，根据所述三维坐标计算得到所述机械臂的运动轨迹数据，并将所述运动轨迹数据发送给所述关节驱动器；

所述关节驱动器，接收所述运动轨迹数据，对所述运动轨迹数据进行分解处理后，发送给所述机械臂的相应关节；

所述机械臂的多个关节接收相应的运动轨迹数据，根据所述运动轨迹数据，完成对番茄的采摘动作。

6.如权利要求5所述的系统，其特征在于，所述机械臂控制器采用S3C2410处理器。

7.如权利要求5所述的系统，其特征在于，所述机械臂控制器通过CAN总线连接所述关节驱动器。

8.如权利要求1所述的系统，其特征在于，所述导航模块包括：导航处理单元以及分别与所述导航处理单元相连接的导航摄像头、超声波传感器和运动控制器；

所述导航摄像头，用于捕获所述系统前方的导航线的彩色图像，并将所述导航线的彩色图像发送给所述导航处理单元；

所述超声波传感器，用于获取所述系统行进方向前方的障碍物信息，并将所述障碍物信息发送给所述导航处理单元；

所述导航处理单元，用于接收所述导航线的彩色图像，并提取其中的导航线信息；还用于接收所述障碍物信息；还用于根据所述导航线信息和障碍物信息，发送控制信号给所述运动控制器；

所述运动控制器接收所述控制信号，根据所述控制信号控制所述系统行进或者停止。

9.如权利要求8所述的系统，其特征在于，所述导航模块还包括电机驱动器和行走机构；所述电机驱动器连接所述运动控制器，用于按照所述运动控制器的控制，为所述行走机构提供行进所需的动力；所述行走机构连接所述电机驱动器，用于执行所述系统的行进或者停止。

10.如权利要求1所述的系统，其特征在于，所述系统还包括远程监测模块，所述远程监测模块包括监控摄像头、无线通讯装置和上位机；所述监控摄像头连接所述无线通讯装置，并通过所述无线通讯装置实现与所述上位机之间的数据传输。