CN109197160B - 一种番石榴采摘机器人及其实现方法 - Google Patents

Abstract

本发明公开了一种番石榴采摘机器人及其实现方法。该番石榴采摘机器人，包括3D视觉模块、拉拧式末端执行器、六自由度机器人、收集机构、无人田间移动小车、220v蓄电池组，其中3D视觉模块采用Faster R‑CNN网络和随机抽样一致性算法从RGBD图像中检测、定位番石榴，拉拧式末端执行器包括连接机构、旋转机构和夹持机构，在六自由度机器人控制下，可实现拉、拧两个动作，完成番石榴与树枝的分离。本发明结构简单，自动化程度高，拉拧式末端执行器具有采摘成功率高的特点，简单实用。

Description

一种番石榴采摘机器人及其实现方法

技术领域

本发明涉及农业机械领域，特别涉及一种番石榴采摘机器人及其实现方法。

背景技术

番石榴是一种甘甜多汁、果肉厚、富含蛋白质、维生素A、维生素C等营养物质的水果，在我国华南地区种植较多。在广东省，番石榴收获期较长，每年有8个月的收获期。现阶段，在收获期间，需大量果农手动从事重复性的采摘作业，采摘成本高。另外，从事采摘的果农普遍是女性中老年人，长时间劳作会影响其身体健康。因此，研发自动化的番石榴采摘机器人非常有必要。

番石榴采摘机器人需具备3D感知能力，能够在自然环境下识别定位番石榴。由于番石榴大小和成熟度不一，且在野外容易受非线性光照、树叶遮挡影响，这些因素使得有效的识别定位异常困难。还有，为了分离番石榴和果枝，需设计末端执行器。番石榴果枝短小，常用的剪切式末端执行器容易剪伤番石榴。一种有效的方法是模仿果农的拉、拧动作，设计一种拉拧式末端执行器。此外，为了提高作业效率，需缩短机器人运动轨迹，可设计具有导向软管的收集槽，利用导线软管引导被采摘的番石榴滑落到收集槽中。另外，采摘机器人需具备自主行走能力，以对整片果园进行采摘，因此需具备无人田间小车。

发明内容

本发明的目的在于克服现有技术中存在的缺点，提供一种番石榴采摘机器人，能够在自然环境下识别定位番石榴，并且可以准确地分离番石榴和果枝，提高作业效率。

本发明的另一目的在于提供上述番石榴采摘机器人的实现方法。

本发明的目的通过下述技术方案实现：

一种番石榴采摘机器人，包括拉拧式末端执行器8、3D视觉模块、六自由度机器人、收集机构、无人田间移动小车、220v蓄电池组。

所述拉拧式末端执行器8，包括连接机构、旋转机构和夹持机构；连接机构由法兰盘11、铝型材12和梯形固定座13组成，法兰盘11用于连接铝型材12和六自由度机器人7，铝型材12的前端固定有梯形固定座13；旋转机构由减速电机14和L形板15组成，L形板15固定于梯形固定座13上，L形板15固定有减速电机14，其作用是旋转夹持机构以拧动番石榴，促使番石榴与果枝分离；夹持机构由联轴器16、舵机17和拟人爪18组成，舵机17通过联轴器16与旋转机构的减速电机14刚性连接，拟人爪18呈圆弧状，底端具有不完全齿轮，2个拟人爪的不完全齿轮呈啮合状，舵机17用于驱动不完全齿轮运动，从而使拟人爪由张开状态运动至闭合状态，实现夹持目的。

所述3D视觉模块包括Kinect2(第二代Kinect传感器)相机1、相机固定架和笔记本电脑10；相机固定架由传感器安装座2、铝型材3和锥形座4组成；锥形座4固定于无人田间移动小车5上，锥形座4的上方固定有铝型材3；传感器安装座2固定于铝型材3上，传感器安装座2的上方固定有Kinect2相机；笔记本电脑10放置在无人田间移动小车5上，用于运行识别定位程序，通过串口与六自由度机器人7进行通信；Kinect 2和笔记本电脑由220v蓄电池组6供电。

所述六自由度机器人7采用广东若铂智能机器人有限公司的MC-D015型号的六自由度机器人，通过螺钉、螺母固定于无人田间移动小车5的中部，由220v蓄电池组6供电。六自由度机器人7的作用是在3D视觉模块引导下，控制拉拧式末端执行器运动至番石榴处，使拉拧式末端执行器分离番石榴和果枝，再控制拉拧式末端执行器将番石榴送至收集机构的收集槽中，最后六自由度机器人7复位。

所述收集机构9，包括锥形座19、铝型材20、软管固定座21、软管22和收集槽23；锥形座19通过螺钉、螺母固定在无人田间移动小车5上，锥形座19的上方固定有铝型材20；软管固定座21通过梯形螺母、螺钉固定于铝型材20上；软管22一端连接软管固定座21，另一端连接收集槽23；收集槽23固定于无人田间小车5上，用于收纳果实。

所述无人田间移动小车5包括4个车轮24、4台驱动电机28、上支撑板25、下支撑板27和支撑柱26；车轮24与驱动电机28刚性连接；驱动电机28固定在下支撑板27上，可实现无人田间移动小车5的行走和转向；支撑柱26安装在上支撑板25和下支撑板27的中间，形成一定空间，用于放置220v蓄电池组6；上支撑板25用于固定六自由度机器人7、Kinect2相机锥形座4、软管锥形座19、收集槽23和笔记本电脑10。

一种番石榴采摘机器人的实现方法，包括下述步骤：

(1)采用Kinect2相机采集图像，应用3D视觉模块识别番石榴，计算番石榴的中心坐标和半径值；再用3D视觉模块的坐标转换功能，将Kinect2相机坐标系下的三维坐标转换为机器人用户坐标系下的空间坐标值，得到番石榴的空间坐标值，并通过串口将数据传输给六自由度机器人；

(2)根据所获得的番石榴的空间坐标值，六自由度机器人控制拉拧式末端执行器运动至番石榴处；

(3)根据所获得的番石榴的半径值，六自由度机器人控制拉拧式末端执行器的拟人爪由张开状态缓慢闭合直至番石榴被包裹住；然后，拉拧式末端执行器的减速电机控制拟人爪旋转，同时六自由度机器人使拉拧式末端执行器后退一定距离，产生拉、拧效果，实现番石榴与果枝的分离；

(4)六自由度机器人控制拉拧式末端执行器运动至软管开口上方，拉拧式末端执行器的拟人爪张开，番石榴通过软管滑落到收集槽中；动作结束后，六自由度机器人复位，开始下一下采摘动作。

上述番石榴采摘机器人的3D视觉模块，采用下述识别定位步骤：

(1)应用Kinect2相机采集RGB和深度图像：由于RGB图像分辨率为1920*1080，深度图像为512*424，需利用Kinect2相机的RGB和相机的内参数矩阵和外参数矩阵对RGB和深度图像进行对齐，使RGB图像分辨率调整为512*424；

(2)应用Faster RCNN深度卷积神经网络从RGB图像中检测番石榴；

(3)利用深度图像和Kinect2相机内参数，通过透视投影变换方法计算番石榴的三维点云；因番石榴呈球形，应用随机抽样一致性算法从三维点云中检测球体，以球体的中心坐标为番石榴的三维位置，以球体的半径值为番石榴半径值。

上述Kinect2相机坐标系下的三维坐标转换为机器人用户坐标系下的空间坐标值，转换过程采用下述步骤：

(1)通过示教盒将机器人用户坐标系设定在平面棋盘格标定板上；

(2)使用Kinect2相机采集棋盘格标定板图像，提取角点，通过解PnP问题，得到Kinect2相机坐标系与六自由度机器人用户坐标系的旋转、平移矩阵；

(3)对三维坐标进行平移和旋转变换，可实现坐标转换。

本发明与现有技术相比具有如下优点和效果：

(1)本发明结构简单，便于制造。

(2)本发明采用无人田间小车行走，自动化程度高，减轻人力采摘劳动强度。

(3)本发明应用Faster RCNN深度神经网络检测番石榴，鲁棒性和分割精度高；应用随机抽样一致性算法从番石榴点云中检测球体，以球体中心位置和半径为番石榴空间位置和半径值，具有定位精度高的特点。

(4)本发明通过模仿果农采摘番石榴的方法，设计拉拧式末端执行器，具有采摘成功率高的特点，简单实用。

附图说明

图1为番石榴采摘机器人的立体结构示意图。

图2为番石榴采摘机器人的立体结构示意图。

图3为番石榴采摘机器人的俯视图。

图4为拉拧式末端执行器的结构示意图。

图5为拉拧式末端执行器的梯形固定座的结构示意图。

图6为拉拧式末端执行器的夹持机构的结构示意图。

图7为收集机构的结构示意图。

图8为收集机构的软管固定座的结构示意图。

图9为无人田间小车的结构示意图。

图10为本发明的采摘流程图。

其中，1、Kinect2相机；2、传感器安装座；3、铝型材；4、锥形座；5、无人田间移动小车；6、220v蓄电池组；7、六自由度机器人；8、拉拧式末端执行器；9、收集机构；10、笔记本电脑；11、法兰盘；12、铝型材；13、梯形固定座；14、减速电机；15、L形板；16、联轴器；17、舵机；18、拟人爪；19、锥形座；20、铝型材；21软管固定座；22、软管；23、收集槽；24、车轮；25、上支撑板；26、支撑柱；27、下支撑板；28、驱动电机。

具体实施方式

下面结合实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1、图2、图3所示，番石榴采摘机器人，包括3D视觉模块、六自由度机器人7、拉拧式末端执行器8、收集机构9、无人田间移动小车5、220v蓄电池组6。3D视觉模块包括Kinect2相机1、传感器安装座2、铝型材3、锥形座4和笔记本电脑10，其中，笔记本电脑10通过Kinect传感器1采集的RGB和深度图像进行番石榴检测与定位，并把定位数据通过串口传输给六自由度机器人7。六自由度机器人7采用广东若铂智能机器人有限公司的MC-D015型号的六自由度机器人，其作用是在3D视觉模块引导下，控制拉拧式末端执行器运动到番石榴处以分离番石榴和果枝，并且将番石榴输送到收集机构9中。如图4、图5、图6所示，拉拧式末端执行器8包括法兰盘11、铝型材12、梯形固定座13、减速电机14、L形板15、联轴器16、舵机17、拟人爪18，其中，法兰盘11用于将拉拧式末端执行器8固定在六自由度机器人7；拟人爪18是拉拧式末端执行器8的重要部件，其作用是夹持果实；减速电机14用于旋转拟人爪18，以拧动番石榴，促使番石榴与果枝分离。如图7、图8所示，收集机构9包括锥形座19、铝型材20、软管固定座21、软管22、收集槽23，其作用是通过软管22引导番石榴滑落到收集槽23中，减少六自由度机器人7运动行程以达到减少采摘时间的目的。如图9所示，无人田间移动小车5包括车轮24、上支撑板25、支撑柱26、下支撑板27、驱动电机28，其作用是运载六自由度机器人7在田间运动，实现整块果园采摘；另外，上支撑板25和下支撑板27在支撑柱26作用下，形成一定空间，可用于放置220蓄电池组6和六自由度机器人7的电气箱。

一种番石榴采摘机器人的实现方法，如图10所示，包括下述步骤：

(1)Kinect2相机坐标系与机器人用户坐标系关联。通过示教盒设定机器人用户坐标系位于平面棋盘格标定板上，应用Kinect2相机采集棋盘格标定板的红外图像，检测标定板角点，得到角点图像坐标；接着，手动提取用户坐标系上棋盘格角点的三维坐标；然后，通过求解角点三维坐标与其图像坐标间的映射关系，即求解PnP问题，可得深度相机与机器人用户坐标系之间的平移、旋转矩阵；应用该平移、旋转矩阵，可实现坐标转换。

(2)图像采集。首先，用Kinect2相机采集RGB和深度图像；其次，根据RGB相机和深度相机的内参数矩阵和外参数矩阵，将RGB图像投影到深度图像平面上，使RGB和深度图像对齐，即使RGB图像和深度图像的分辨率一致。

(3)3D视觉模块应用Faster RCNN深度神经网络检测番石榴目标，并将该目标转换为点云；接着，应用随机抽样一致性算法从点云中检测球体，以球体中心值为番石榴空间坐标值P1(x,y,z)，以球体半径值为番石榴半径值d；然后，再将Kinect2相机坐标系下的三维坐标转换至机器人用户坐标系下，并通过串口将数据传输给机器人；

(4)根据所获得的番石榴的空间坐标值P1(x,y,z)，机器人控制末端执行器运动至番石榴处。

(5)根据所获得的番石榴的半径值d，控制末端执行器的拟人爪由张开状态缓慢闭合直至番石榴被包裹住。然后，控制末端执行器旋转，并且沿机器人基坐标系负x方向后退50mm至位置P2，产生拉、拧效果，实现番石榴与果枝的分离。

(5)机器人控制末端执行器运动至软管开口上方，末端执行器的拟人爪张开，番石榴通过软管滑落到收集槽位置P3中。最后，机器人复位到原始位置P4。

Claims (7)

1.一种番石榴采摘机器人，其特征在于：包括拉拧式末端执行器、3D视觉模块、六自由度机器人、收集机构、无人田间移动小车、220v蓄电池组；所述拉拧式末端执行器，包括连接机构、旋转机构和夹持机构；连接机构由法兰盘、铝型材和梯形固定座组成，法兰盘用于连接铝型材和六自由度机器人，铝型材的前端固定有梯形固定座；旋转机构由减速电机和L形板组成，L形板固定于梯形固定座上，L形板固定有减速电机，其作用是旋转夹持机构以拧动番石榴，促使番石榴与果枝分离；夹持机构由联轴器、舵机和拟人爪组成，舵机通过联轴器与旋转机构的减速电机刚性连接，拟人爪呈圆弧状，底端具有不完全齿轮，2个拟人爪的不完全齿轮呈啮合状，舵机用于驱动不完全齿轮运动，从而使拟人爪由张开状态运动至闭合状态，实现夹持目的。

2.根据权利要求1所述的番石榴采摘机器人，其特征在于：所述3D视觉模块包括Kinect2相机、相机固定架和笔记本电脑；相机固定架由传感器安装座、铝型材和锥形座组成；锥形座固定于无人田间移动小车上，锥形座的上方固定有铝型材；传感器安装座固定于铝型材上，传感器安装座的上方固定有Kinect2相机；笔记本电脑放置在无人田间移动小车上，用于运行识别定位程序，通过串口与六自由度机器人进行通信；Kinect 2和笔记本电脑由220v蓄电池组供电。

3.根据权利要求1所述的番石榴采摘机器人，其特征在于：所述六自由度机器人通过螺钉、螺母固定于无人田间移动小车的中部，由220v蓄电池组供电。

4.根据权利要求1所述的番石榴采摘机器人，其特征在于：所述收集机构包括锥形座、铝型材、软管固定座、软管和收集槽；锥形座通过螺钉、螺母固定在无人田间移动小车上，锥形座的上方固定有铝型材；软管固定座通过梯形螺母、螺钉固定于铝型材上；软管一端连接软管固定座，另一端连接收集槽；收集槽固定于无人田间小车上，用于收纳果实。

5.根据权利要求1所述的番石榴采摘机器人，其特征在于：所述无人田间移动小车包括4个车轮、4台驱动电机、上支撑板、下支撑板和支撑柱；车轮与驱动电机刚性连接；驱动电机固定在下支撑板上，可实现无人田间移动小车的行走和转向；支撑柱安装在上支撑板和下支撑板的中间，形成一定空间，用于放置220v蓄电池组；上支撑板用于固定六自由度机器人、Kinect2相机锥形座、软管锥形座、收集槽和笔记本电脑。

6.一种番石榴采摘机器人的实现方法，其特征在于包括下述步骤：

(1)采用Kinect2相机采集图像，应用3D视觉模块识别番石榴，计算番石榴的中心坐标和半径值；再用3D视觉模块的坐标转换功能，将Kinect2相机坐标系下的三维坐标转换为机器人用户坐标系下的空间坐标值，得到番石榴的空间坐标值，并通过串口将数据传输给六自由度机器人；

所述3D视觉模块，采用下述识别定位步骤：

a.应用Kinect2相机采集RGB和深度图像：由于RGB图像分辨率为1920*1080，深度图像为512*424，需利用Kinect2相机的RGB和相机的内参数矩阵和外参数矩阵对RGB和深度图像进行对齐，使RGB图像分辨率调整为512*424；

b.应用Faster RCNN深度卷积神经网络从RGB图像中检测番石榴；

c.利用深度图像和Kinect2相机内参数，通过透视投影变换方法计算番石榴的三维点云；因番石榴呈球形，应用随机抽样一致性算法从三维点云中检测球体，以球体的中心坐标为番石榴的三维位置，以球体的半径值为番石榴半径值；

(2)根据所获得的番石榴的空间坐标值，六自由度机器人控制拉拧式末端执行器运动至番石榴处；

(3)根据所获得的番石榴的半径值，六自由度机器人控制拉拧式末端执行器的拟人爪由张开状态缓慢闭合直至番石榴被包裹住；然后，拉拧式末端执行器的减速电机控制拟人爪旋转，同时六自由度机器人使拉拧式末端执行器后退一定距离，产生拉、拧效果，实现番石榴与果枝的分离；

(4)六自由度机器人控制拉拧式末端执行器运动至软管开口上方，拉拧式末端执行器的拟人爪张开，番石榴通过软管滑落到收集槽中；动作结束后，六自由度机器人复位，开始下一下采摘动作。

7.根据权利要求6所述的番石榴采摘机器人的实现方法，其特征在于：Kinect2相机坐标系下的三维坐标转换为机器人用户坐标系下的空间坐标值，转换过程采用下述步骤：

(1)通过示教盒将机器人用户坐标系设定在平面棋盘格标定板上；

(2)使用Kinect2相机采集棋盘格标定板图像，提取角点，通过解PnP问题，得到Kinect2相机坐标系与六自由度机器人用户坐标系的旋转、平移矩阵；

(3)对三维坐标进行平移和旋转变换，可实现坐标转换。

Images