CN114916314A - 一种智能棉花采摘delta机器人及其方法 - Google Patents

Abstract

本发明属于棉花采摘机器人技术领域，提供了一种智能棉花采摘delta机器人及其方法。其中，该机器人包括图像采集部，其用于采集棉花图像并传送至并联控制部；并联控制部，其用于基于棉花图像目标检测模型及棉花图像来识别棉花位置，同时控制末端执行部移动至识别出的棉花位置处；所述并联控制部包括控制器、静平台、动平台、驱动机构和delta并联机构，所述delta并联机构一端固定在静平台上，另一端固定在动平台上，所述驱动机构安装在静平台上且与控制器相连；末端执行部，其安装在动平台上，用于采摘当前位置处的棉花。

Description

一种智能棉花采摘delta机器人及其方法

技术领域

本发明属于棉花采摘机器人技术领域，尤其涉及一种智能棉花采摘delta机器人及其方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前，机械采摘是棉花采摘的主流方式，当前棉花采摘机主要有摘棉式采棉机和脱棉式采棉机两种，在实践应用中棉花采摘前要喷洒农药将叶子全部脱落，再使用摘棉式采棉机或脱棉式采棉机对棉花进行机械收获。摘棉式采棉机将整株棉花卷入机器分离籽棉，适合大规模采摘，但含杂率高，机械结构复杂，维修困难；摘棉机主要有气力式和切割式两种，在实践应用中切割式采摘机可降低对棉花的破坏并且其消耗的能量少，可是它的采摘遗失率高；气力式采摘机气吸切割式采摘机虽在某些方面避免了气力式和切割式的缺点，但也未获得广泛的应用，原因在于其采摘率低。当前市场上的采摘机既没有减少采摘人员的工作量，也没有提高工作效率，因为大都是一对一工作。

脱棉式采棉机利用梳齿和离心力分离籽棉，采棉质量高，但其成本太高，采摘质量低，对棉花农艺技术要求高，适合采摘品种单一、生产规模大、纤维长、成熟期集中等特点的棉花。而且农业采摘机器人的作业环境特殊，作业对象复杂，对机械手的结构要求很高，而直接购买现有的工业机械手，很难达到理想的采摘效果。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种智能棉花采摘 delta机器人及其方法，其能够提高棉花采摘效率。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种智能棉花采摘delta机器人，其包括：

图像采集部，其用于采集棉花图像并传送至并联控制部；

并联控制部，其用于基于棉花图像目标检测模型及棉花图像来识别棉花位置，同时控制末端执行部移动至识别出的棉花位置处；所述并联控制部包括控制器、静平台、动平台、驱动机构和delta并联机构，所述delta并联机构一端固定在静平台上，另一端固定在动平台上，所述驱动机构安装在静平台上且与控制器相连；

末端执行部，其安装在动平台上，用于采摘当前位置处的棉花。

作为一种实施方式，所述delta并联机构包括驱动臂和执行臂，所述驱动臂一端安装在静平台上，另一端与执行臂相连，所述执行臂连接在动平台上，每个执行臂由三个完全相同的球铰链链接，始终保持三角形的运动特性。

作为一种实施方式，所述智能棉花采摘delta机器人还包括棉花收集部，所述棉花收集部用于缓存末端执行部所采摘的棉花。

作为一种实施方式，所述末端执行部为负压吸入式末端执行器。

作为一种实施方式，所述负压吸入式末端执行器通过布设有纹路的软管与棉花收集部相连通。

作为一种实施方式，所述并联控制部还通过5G通信模块与远程监控终端相连。

作为一种实施方式，所述并联控制部底部设置行走机构，所述行走机构与行走控制器相连。

作为一种实施方式，所述行走机构为腿式结构，所述行走控制器用于采用同速后撤法以控制摆动腿相对于并联控制部的移动速度与支撑腿相对于并联控制部的移动速度相同，采用超速后撤法使摆动腿的后撤速度超过支撑腿的蹬地速度。

本发明的第二个方面提供一种智能棉花采摘delta机器人的工作方法，其包括：

获取棉花图像；

基于棉花图像目标检测模型及棉花图像来识别棉花位置，同时控制末端执行部移动至识别出的棉花位置处；

控制末端执行部采摘当前位置处的棉花。

作为一种实施方式，在智能棉花采摘delta机器人前进时，采用同速后撤法以控制摆动腿相对于并联控制部的移动速度与支撑腿相对于并联控制部的移动速度相同，采用超速后撤法使摆动腿的后撤速度超过支撑腿的蹬地速度。

与现有技术相比，本发明的有益效果是：

本发明采用并联控制部基于棉花图像目标检测模型及棉花图像来识别棉花位置，同时控制末端执行部移动至识别出的棉花位置处，解决了传统农业采摘机器人多采用串联机器人，自重大、动作慢，难于大面积推广应用的问题，提高了棉花采摘速度和效率。

本发明的行走机构采用腿式结构，采用同速后撤法以控制摆动腿相对于并联控制部的移动速度与支撑腿相对于并联控制部的移动速度相同，采用超速后撤法使摆动腿的后撤速度超过支撑腿的蹬地速度，提高了整个机器人前进过程中的稳定性。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例的智能棉花采摘delta机器人结构原理图；

图2是本发明实施例的并联控制部结构示意图；

图3是本发明实施例的delta机器人的棉花抓取时间参数；

图4是本发明实施例的delta机器人的棉花抓取空间参数；

图5是本发明实施例的智能棉花采摘delta机器人的工作方法流程图。

其中：1.多足移动机构，2.舵机，3.移动平台，4.静平台，5.控制器，6.末端执行器收集软管，7.太阳能电池，8.刹车装置，9.末端执行器，10.深度相机， 11.电机，12.驱动臂，13.执行臂，14.动平台。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

参照图1，本实施例提供了一种智能棉花采摘delta机器人，其包括图像采集部、并联控制部和末端执行部。

在具体实施过程中，图像采集部用于采集棉花图像并传送至并联控制部。

此处需要说明的是，图像采集部可采用单目相机或是双目相机来实现，本领技术人员可根据实际情况来具体选择。

在具体实施过程中，并联控制部用于基于棉花图像目标检测模型及棉花图像来识别棉花位置，同时控制末端执行部移动至识别出的棉花位置处。

由于自然场景中棉花田中棉絮是白色的，背景几乎都是绿色的枝叶和处于绿色和黄色之间的枯萎枝叶，将这一重要特征信息作为棉花分割的依据。在本实施例中，棉花图像目标检测模型采用单目视觉+神经网络模型技术来实现。其中，单目视觉用来获取棉花图像信息，神经网络模型采用BP等神经网络经预先构建的棉花图像进行训练，利用labelimg工具对图像数据进行标注，将图像当中的棉花进行框选，并且标注图像类别标签。

在计算机视觉技术中，目标检测是一件比较实际的且具有挑战性的任务，当给定一张图片，目标检测系统的神经网络模型要能够识别出图片的目标并给出其位置，由于图片中目标数是不定的，且要给出目标的精确位置，目标检测任务更复杂。本实施例的棉花图像目标检测模型中的神经网络模型采用YOLO 算法。其中，YOLO算法仅仅使用一个卷积神经网络直接预测图像中不同目标的类别与位置。

利用训练完成的棉花图像目标检测模型对实时获取的棉花图像进行棉花识别和定位。通过实验数据表明，该模型的分割精确度较高达到92.7％，分割速度优于直接使用SVM分割图像的方法，分割稳定性优于阈值分割而且能够有效地避免阳光直射和阴影的干扰，并为下一步棉花的定位研究提供了基础。

此处需要说明的是，在其他实施例中，本领域技术人员也可采用其他现有的目标检测算法来实现棉花图像目标检测模型，此处不再详述。

为了解决传统农业采摘机器人多采用串联机器人，自重大、动作慢，难于大面积推广应用的问题，本实施例采用Delta并联机构，与传统的人工及机械采摘相比，具有定位迅速、重复性好、复用性强、长期稳定、耐疲劳、节约了劳动力、降低了采摘成本、使用寿命长的优点。

结合图2，多足移动机构1与移动平台3连接，移动平台3上设有舵机2、刹车装置8和太阳能电池7，图像采集部为深度相机10，与末端执行器9一起设置在动平台14末端，并联控制部与移动平台3连接，控制器5设置在移动平台3的顶端，与并联控制部连接。

如图2所示，所述并联控制部包括控制器5、静平台4、动平台14、驱动机构和delta并联机构，所述delta并联机构一端固定在静平台4上，另一端固定在动平台14上，所述驱动机构安装在静平台4上且与控制器相连。

在本实施例中，控制器可采用鸿蒙系统来实现，比如鸿蒙润和海思Hi3861 芯片。Hi3861具有全场景、多适配、集成化、开源分布特点，主控芯片内置32 位RISV内核，352KBSRAM、288KB ROM、2MB Flash、2.4G wi-fi天线，最高运行频率160MHz，支持IEEE802.11b/g/n,配置Type-C型USB接口。而且HI3861具有强大的组网能力和通信、网络、安全能力，主板可搭载显示板、NFC、温湿度及可燃气体传感器测试板、JAVA接口板，可拓展循迹接口、舵机接口、超声波传感器接口、电机接口、串口通信接口和PC接口等。

可以理解的是，在其他实施例中，控制器也可采用其他现有芯片来实现，此处不再详述。

其中，驱动机构包括电机11及与其相连的减速机。本实施例将所述驱动机构安装在静平台4上减少了机器人运动惯量，保证了机器人执行的快速性。

所述delta并联机构包括驱动臂12和执行臂13，所述驱动臂12一端安装在静平台4上，在电机的驱动下做一定角度的反复摆动，沿x,y,z三个方向三维运动，该设计具有紧凑、简单、轻巧等优点。驱动臂12另一端与执行臂13相连，所述执行臂13连接在动平台14上，每个执行臂13由三个完全相同的球铰链链接，始终保持三角形的运动特性。

视觉识别摄像头位于Delta机械臂末端上侧与静平台连接，用于获取棉花图像信息，并进行精确定位，指挥Delta机械臂和末端执行器完成棉花采摘与放置。

在具体实施过程中，末端执行部安装在动平台14上，用于采摘当前位置处的棉花。

这样能够实现机器人有选择性地高速采摘。表1给出了Delta并联结构的不同行程速度时间表。

表1 Delta并联结构的不同行程速度时间表

在一个或多个实施例中，所述智能棉花采摘delta机器人还包括棉花收集部，所述棉花收集部用于缓存末端执行部所采摘的棉花。

其中，棉花收集部可采用收集袋或是收集箱来实现，本领域技术人员可根据实际需求来具体设置。

在具体实施过程中，所述末端执行部为负压吸入式末端执行器。该负压吸入式末端执行器的设计具有紧凑、简单、轻巧等优点。

在一些实施例中，所述负压吸入式末端执行器通过布设有纹路的软管与棉花收集部相连通，用于采摘当前位置处的棉花并传送至收集部缓存打包。

其中，负压式末端执行器使用布有纹路的软管作为采摘部件，对棉花纤维的损害较小，能够更好地保证棉花的纤维长度，且能耗低。负压式末端执行器使用吸入式采摘棉花而不是通过与棉花缠绕撕扯下来，因而可以降低对棉花的损伤。负压式末端执行器加工容易，结构简单且成本低廉，便于维护和更换，不需要专用的清洗剂，有很强的市场竞争力。如图3和图4所示给出了本发明实施例的delta机器人的棉花抓取时间和抓取空间参数，验证了该机器人工作空间满足设计要求。

在一个或多个实施例中，所述并联控制部还通过5G通信模块与远程监控终端相连。

在一些具体实施过程中，远程监控终端可采用云端服务器来实现，其可通过5G通信模块实现并联控制部与远程监控终端之间的相互通信。

在其他实施例中，所述并联控制部底部设置行走机构，所述行走机构与行走控制器相连。

为了保障整个机器人行走的稳定性，所述行走机构采用腿式结构，所述行走控制器用于采用同速后撤法以控制摆动腿相对于并联控制部的移动速度与支撑腿相对于并联控制部的移动速度相同，采用超速后撤法使摆动腿的后撤速度超过支撑腿的蹬地速度。

例如：每条腿有3个自由度，全身共有13个自由度。行走机构还通过传动机构与行走控制器相连。其中，传动机构包括步进电机、传动轴及若干个镜像分布于主机架两侧面的舵机。舵机、传动轴和传动装置构成联动配合。舵机通过传动轴带动传动装置运转，形成腿部连杆机构带动主机架在棉田中的运动状态，结构简单，显著提高了工作运行效率。

在另一些实施方式中，将多足仿生机器人应用到棉花采摘移动平台，实现对四足牲畜仿生，集多类动物优点于一身，提高多足仿生机器人的灵活性和对不同棉田地形环境的适应能力。

本实施例在整个机器人抬脚步态规划过程中，采用同速后撤法，使摆动腿与支撑腿在前后方向的运动相关联，保证摆动腿相对于并联控制部的移动速度与支撑腿相对于并联控制部的移动速度相同，从而保证整个机器人在前进时摆动腿竖直抬起，避免踢到地面立面而影响平衡。在并联控制部所属坐标系中，摆动腿和支撑腿后撤速度相同，支撑腿后撤推动躯干前进，摆动腿后撤避免碰撞障碍。从地面坐标系来看，摆动腿末端是竖直抬起的。

当地面障碍立面存在凸起时，采用超速后撤法。该方法可用速度描述或位置描述，在并联控制部所属坐标系中，摆动腿的后撤速度大于支撑腿的后撤速度。从地面坐标系来看，摆动腿末端是边抬起边后撤的。

实施例二

如图5所示，本实施例提供了一种智能棉花采摘delta机器人的工作方法，其包括：

步骤1：获取棉花图像；

步骤2：基于棉花图像目标检测模型及棉花图像来识别棉花位置，同时控制末端执行部移动至识别出的棉花位置处；

本实施例中，基于深度学习技术，通过卷积神经网络提取成熟籽棉图像特征，建立棉花图像目标检测模型，基于深度相机技术识别棉花位置，控制Delta 机械臂及末端执行部移动采摘当前位置处的棉花，实现复杂场景下多角度的鲁棒检测。

步骤3：控制末端执行部采摘当前位置处的棉花。

在具体实施过程中，在智能棉花采摘delta机器人前进时，采用同速后撤法以控制摆动腿相对于并联控制部的移动速度与支撑腿相对于并联控制部的移动速度相同，采用超速后撤法使摆动腿的后撤速度超过支撑腿的蹬地速度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能棉花采摘delta机器人，其特征在于，包括：

图像采集部，其用于采集棉花图像并传送至并联控制部；

并联控制部，其用于基于棉花图像目标检测模型及棉花图像来识别棉花位置，同时控制末端执行部移动至识别出的棉花位置处；所述并联控制部包括控制器、静平台、动平台、驱动机构和delta并联机构，所述delta并联机构一端固定在静平台上，另一端固定在动平台上，所述驱动机构安装在静平台上且与控制器相连；

末端执行部，其安装在动平台上，用于采摘当前位置处的棉花。

2.如权利要求1所述的智能棉花采摘delta机器人，其特征在于，所述delta并联机构包括驱动臂和执行臂，所述驱动臂一端安装在静平台上，另一端与执行臂相连，所述执行臂连接在动平台上，每个执行臂由三个完全相同的球铰链链接，始终保持三角形的运动特性。

3.如权利要求1所述的智能棉花采摘delta机器人，其特征在于，所述智能棉花采摘delta机器人还包括棉花收集部，所述棉花收集部用于缓存末端执行部所采摘的棉花。

4.如权利要求3所述的智能棉花采摘delta机器人，其特征在于，所述末端执行部为负压吸入式末端执行器。

5.如权利要求4所述的智能棉花采摘delta机器人，其特征在于，所述负压吸入式末端执行器通过布设有纹路的软管与棉花收集部相连通。

6.如权利要求1所述的智能棉花采摘delta机器人，其特征在于，所述并联控制部还通过5G通信模块与远程监控终端相连。

7.如权利要求1所述的智能棉花采摘delta机器人，其特征在于，所述并联控制部底部设置行走机构，所述行走机构与行走控制器相连。

8.如权利要求7所述的智能棉花采摘delta机器人，其特征在于，所述行走机构为腿式结构，所述行走控制器用于采用同速后撤法以控制摆动腿相对于并联控制部的移动速度与支撑腿相对于并联控制部的移动速度相同，采用超速后撤法使摆动腿的后撤速度超过支撑腿的蹬地速度。

9.一种如权利要求1-8中任一项所述的智能棉花采摘delta机器人的工作方法，其特征在于，包括：

获取棉花图像；

基于棉花图像目标检测模型及棉花图像来识别棉花位置，同时控制末端执行部移动至识别出的棉花位置处；

控制末端执行部采摘当前位置处的棉花。

10.如权利要求9所述的智能棉花采摘delta机器人的工作方法，其特征在于，在智能棉花采摘delta机器人前进时，采用同速后撤法以控制摆动腿相对于并联控制部的移动速度与支撑腿相对于并联控制部的移动速度相同，采用超速后撤法使摆动腿的后撤速度超过支撑腿的蹬地速度。

Images