CN114916318A - 一种搭载在无人机上的水果自动采收装置及其控制方法 - Google Patents

Abstract

本发明公开了一种搭载在无人机上的水果自动采收装置及其控制方法，装置包括：水果定位组件、控制及信息传输设备和采摘机构；所述水果定位组件包括RGB‑D相机、微型处理器和光电传感器；所述控制及信息传输设备包括Arduino开发板、继电器、电机控制板和USB‑TypeB数据线；所述采摘机构包括电池、电机保护壳、电机、丝杆、套筒、支撑杆、钢条、带夹持机构的剪刀；使用时，光电传感器检测到水果的结果母枝进入剪刀中间时，向微型处理器发射信号；微型处理器收到光电传感器的信号后运行水果定位程序，定位水果并判断无人机是否到达目的地位置。本发明搭载在无人机平台上，能够适应丘陵果园的复杂地形条件，有效解决了采摘机器人面对高大果树上的果实无法工作的问题。

Description

一种搭载在无人机上的水果自动采收装置及其控制方法

技术领域

本发明属于农业机械的技术领域，特别涉及一种搭载在无人机上的水果自动采收装置及其控制方法。

背景技术

荔枝、龙眼等串型水果是热带亚热带地区的特产名果，具有重要的经济价值，在中国南部的丘陵地区广泛种植。由于荔枝、龙眼都是簇状生长，果实分布较为分散，因此，此类水果采摘时需要大量的劳动力，成本较高。当前，荔枝、龙眼等串型水果的采摘主要采用人工操作，不仅费力费时，而且随着农村劳动力向非农产业转移，农村富余劳动力逐渐减少。在成熟季节，遇到炎热天气，很容易因为采摘不及时导致果实品质变差。因此，为降低荔枝、龙眼等串型水果的采摘成本，开发能够自动采摘此类水果的农业机器人是具有经济价值的。已经有相关研究者开发了水果收获机器人，在此基础上，根据山地果园的地形条件和高大荔枝、龙眼树上的串果生长特征，需要研发更加合适的收获机器人。

近几年来，无人机在农业生产中得到广泛应用，包括植物保护、作物监测、农作物产量评估。与地面行走机械设备相比，无人机具有良好的地形适应性和高效率的优势。因此，无人机可用于在非结构化的果园环境中执行采摘任务，研究在无人机上搭载轻便的采收装置及其控制方法，对水果自动采摘无人机的发展具有重要意义。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，本发明提供了一种搭载在无人机上的水果自动采收装置及其控制方法，提高荔枝、龙眼等串型水果采摘的自动化水平。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种搭载在无人机上的水果自动采收装置，包括水果定位组件、控制及信息传输设备和采摘机构；

所述的水果定位组件包括RGB-D相机、微型处理器和光电传感器；所述的RGB-D相机安装在采摘机构的支撑杆中间位置，所述的RGB-D相机同时获取目标的颜色、轮廓和位置特征；所述的微型处理器安装在无人机的最上方，所述的光电传感器包含漫反射红外发射器和红外接收器，红外发射器发射的红外线，有结果母枝进入到剪刀中间时，红外接收器会接收到漫反射回来的红外线，将此信息以光电信号的形式反馈给微型处理器；

所述的控制及信息传输设备包括Arduino开发板、继电器、电机控制板和USB-TypeB数据线；所述继电器与Arduino开发板相连，所述的电机控制板是分别是电源控制板和驱动控制板；所述的电源控制板由一个电磁开关和电路板组成，用于控制电机的启停；所述的驱动控制板用于控制电机的输入电压和电流；所述的USB-TypeB数据线用于连接Arduino开发板与微型处理器，能够实现程序下载和数据通讯；

所述采摘机构包括电池、电机保护壳、电机、丝杆、套筒、支撑杆、钢条、带夹持机构的剪刀；所述的电池为水果自动采收装置提供电能；所述的电机保护壳与支撑杆通过螺钉固定连接；所述的电机与丝杆的一端连接；所述的丝杆的另一端与套筒连接；所述的套筒的另一端与钢条用螺钉连接；所述的钢条的另一端与剪刀的一个刀片通过螺钉连接；所述的剪刀的另一个刀片与支撑杆通过螺钉固定连接；所述的剪刀上的夹持机构的两片夹持片分别与剪刀的两个刀片用螺丝固定。

作为优选的技术方案，所述的RGB-D相机包括彩色相机和红外相机；所述的彩色相机提供了红、绿、蓝三个通道的信息，用于采集RGB图像；所述的红外相机提供了一个深度信息通道，用于采集深度图像。

作为优选的技术方案，微型处理器内置存储器、NVIDIA Jetson TX2 GPU和8GBRAM；所述的存储器为计算机可读存储设备，其存储有Ubuntu18.04操作系统、Python编程语言编写的水果定位算法的相关程序；所述的NVIDIA Jetson TX2 GPU和8GB RAM用于执行Python编程语言的相关程序。

作为优选的技术方案，所述的Arduino开发板包括一块AVR单片机、一个晶振或振荡器和一个直流电源，并含有数字输入/输出引脚、模拟输入、晶振时钟、电源插孔、ICSP接头和复位按钮。

作为优选的技术方案，所述的AVR单片机的处理核心是ATMEGA328P。

所述继电器通过三条杜邦线与Arduino开发板相连接；所述的三条杜邦线分别连接到Arduino开发板上的正负极和信号输出端口上，用于为继电器提供电源和输入信号。

作为优选的技术方案，所述的电机保护壳由3D打印的塑料件；所述的电机为直流电机，用于控制剪刀上一刀片的运动；所述的支撑杆采用碳纤维材料

本发明另一方面提供了一种搭载在无人机上的水果自动采收装置的控制方法，包括下述步骤：

无人机带动水果自动采收装置飞行到第一棵果树前；

采用RGB-D相机采集果实的RGB图像和深度图像，输入给微型处理器；

微型处理器上运行模糊图像判断程序，只保留清晰图像；

微型处理器上运行水果定位程序，将定位信息处理后转换为无人机飞行的路径信息，传输给飞行控制器，控制无人机飞行到目的地位置；

光电传感器检测到水果的结果母枝进入剪刀中间时，向微型处理器发射信号；

微型处理器收到光电传感器的信号后运行水果定位程序，再次定位水果并判断无人机是否到达目的地位置；

微型处理器给Arduino开发板发送运行程序信号，Arduino开发板运行程序后启动继电器开关闭合；

直流电机启动，通过丝杆联动套筒，套筒带动钢条，钢条带动剪刀的一个刀片运动，剪断水果的结果母枝；

剪刀上的夹持装置夹紧水果的结果母枝，并且给飞行控制器发送信号；

无人机飞行到水果收集筐上方，打开剪刀，水果落入水果收集筐中，完成水果采摘。

作为优选的技术方案，所述微型处理器上运行模糊图像判断程序，只保留清晰图像，具体为：

将RGB-D相机实时采集的RGB图像经过LoG算子处理并计算得到RGB图像的灰度方差，如果灰度方差值低于预先设定的阈值k，就可以自动判定为模糊图像，需要重新采集图像再做判断，直到所采集RGB图像的灰度方差值高于阈值k，才能将此清晰的RGB图像和深度图像作为输入图像。

作为优选的技术方案，所述微型处理器上运行水果定位程序，将定位信息处理后转换为无人机飞行的路径信息，具体为：

微型处理器上运行水果定位程序后，输出多个备选水果果实的最大外接矩形框并且给出相应的置信度值，将所有置信度大于0.75的矩形框标记的区域保存，获得水果果实在RGB图像中的像素坐标；将此坐标映射到优化的深度图像上，以提取果实的空间信息，通过融合果实在RGB图像中的像素坐标和在深度图像上提取的深度信息，获得果实在RGB-D相机坐标系中的空间坐标；通过RGB-D相机和无人机中心的位置关系，将RGB-D相机坐标系中的坐标转换为无人机坐标系中的坐标，即可计算得出无人机的飞行目的地坐标。

作为优选的技术方案，所述直流电机启动，通过丝杆联动套筒，套筒带动钢条，钢条带动剪刀的一侧刀片运动，剪断水果的结果母枝，具体为：

直流电机启动后开始转动，带动丝杆做圆周运动，丝杆与套筒之间通过螺纹进行连接，套筒在丝杆上做水平运动，套筒与钢条固定在一起，钢条与剪刀的一侧刀片固定，此时剪刀的一侧刀片做类似圆弧运动，与剪刀的另一侧固定刀片闭合，剪断水果的结果母枝。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明搭载在无人机平台上，能够适应丘陵果园的复杂地形条件，有效解决了采摘机器人面对高大果树上的果实无法工作的问题。

(2)本发明将RGB-D相机、微型处理器、Arduino开发板和采摘机构结合起来，能够实现水果的自动定位和自动控制采摘，为自动采摘无人机的发展提供了基础。

(3)本发明提出的采摘机构带有夹持装置，剪断结果果枝的同时防止果实掉落，能够有效避免水果采摘后掉落导致的损伤。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1的水果自动采收装置的整体示意图；

图2是本发明实施例1的水果自动采收装置的结构立体示意图；

图3是本发明实施例1的水果自动采收装置搭载到无人机上的整体示意图；

图4是本发明实施例2的水果自动采收装置的控制方法的流程图。

附图标号说明：

01、水果定位组件；02、控制及信息传输设备；03、采摘机构；0101、RGB-D相机；0102、微型处理器；0103、光电传感器；0201、Arduino开发板；0202、继电器；0203、电机控制板；0204、USB-TypeB数据线；0301、电池；0302、电机保护壳；0303、电机；0304、、丝杆；0305、套筒；0306、支撑杆；0307、钢条；0308、带夹持机构；0309、剪刀。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，除非另有明确的规定或限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通，也可以是仅为表面接触。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

实施例1：

如图1所示，本实施例提供了一种搭载在无人机上的水果自动采收装置，包括水果定位组件01、控制及信息传输设备02和采摘机构03。

进一步的，如图2所示，所述的水果定位组件01包括RGB-D相机0101、微型处理器(上位机)0102和光电传感器0103；所述的RGB-D相机0101安装在采摘机构的支撑杆0306中间位置，由彩色相机和红外相机组成；所述的彩色相机提供了红、绿、蓝三个通道的信息，用于采集RGB图像；所述的红外相机提供了一个深度信息通道，用于采集深度图像；所述的RGB-D相机0101可以同时获取目标的颜色、轮廓和位置特征；所述的微型处理器0102安装在无人机的最上方，内置存储器、NVIDIA Jetson TX2 GPU和8GB RAM；所述的存储器为计算机可读存储设备，其存储有Ubuntu18.04操作系统、Python编程语言编写的水果定位算法的相关程序；所述的NVIDIA Jetson TX2 GPU和8GB RAM用于执行Python编程语言的相关程序；所述的光电传感器0103包含漫反射红外发射器和红外接收器，红外发射器发射的红外线，有结果母枝进入到剪刀0309中间时，红外接收器会接收到漫反射回来的红外线，将此信息以光电信号的形式反馈给微型处理器0102。

进一步的，如图2所示，所述的控制及信息传输设备02包括Arduino开发板0201、继电器0202、电机控制板0203、USB-TypeB数据线0204和相关电路线；所述的Arduino开发板0201由一块AVR单片机、一个晶振或振荡器和直流电源组成，含有数字输入/输出引脚(其中6个可用作PWM输出)，模拟输入，晶振时钟，电源插孔，ICSP接头和复位按钮；所述的AVR单片机的处理核心是ATMEGA328P；所述的继电器0202是一种电控制器件，是用小电流控制大电流运作的自动开关，它通过三条杜邦线与Arduino开发板0201相连接；所述的三条杜邦线分别连接到Arduino开发板0201上的正负极和信号输出端口上，用于为继电器0202提供电源和输入信号；所述的电机控制板0203是分别是电源控制板和驱动控制板；所述的电源控制板由一个电磁开关和电路板组成，用于控制电机0303的启停；所述的驱动控制板用于控制电机0303的输入电压和电流；所述的USB-TypeB数据线0204用于连接Arduino开发板0201与微型处理器0102，能够实现程序下载和数据通讯；所述的相关电路线为整个控制设备提供电源和数据传输。

进一步的，如图2所示，所述的采摘机构03包括电池0301、电机保护壳0302、电机0303、丝杆0304、套筒0305、支撑杆0306、钢条0307、带夹持机构0308的剪刀0309组成；所述的电池0301为水果自动采收装置提供电能；所述的电机保护壳0302与支撑杆0306通过螺钉固定连接；所述的电机0303与丝杆0304的一端连接；所述的丝杆0304的另一端与套筒0305连接；所述的套筒0305的另一端与钢条0307用螺钉连接；所述的钢条0307的另一端与剪刀0309的一个刀片通过螺钉连接；所述的剪刀0309的另一个刀片与支撑杆0306通过螺钉固定连接；所述的剪刀0309上的夹持机构0308的两片夹持片分别与剪刀0309的两个刀片用螺丝固定；所述的电机保护壳0302由3D打印的塑料件；所述的电机0303为直流电机，用于控制剪刀0309上一刀片的运动；所述的支撑杆0306采用碳纤维材料。

水果自动采收装置搭载到无人机上的整体示意图如图3所示。

实施例2:

本实施例提供了一种搭载在无人机上的水果自动采收装置的控制方法，如图4所示，包括以下步骤：

(1)无人机带动水果自动采收装置飞行到第一棵果树前，采用RGB-D相机0101采集果实的RGB图像和深度图像，输入给微型处理器0102；

(2)微型处理器0102上运行模糊图像判断程序，只保留清晰图像，具体方法为：

将RGB-D相机0101实时采集的RGB图像经过LoG算子处理并计算得到RGB图像的灰度方差，如果灰度方差值低于预先设定的阈值k，就可以自动判定为模糊图像，需要重新采集图像再做判断，直到所采集RGB图像的灰度方差值高于阈值k，才能将此清晰的RGB图像和深度图像作为输入图像。

(3)微型处理器0102上运行水果定位程序，将定位信息处理后转换为无人机飞行的路径信息，传输给飞行控制器，控制无人机飞行到目的地位置，具体方法为：

微型处理器0102上运行水果定位程序后，输出多个备选水果果实的最大外接矩形框并且给出相应的置信度值，将所有置信度大于0.75的矩形框标记的区域保存，获得水果果实在RGB图像中的像素坐标；将此坐标映射到优化的深度图像上，以提取果实的空间信息，通过融合果实在RGB图像中的像素坐标和在深度图像上提取的深度信息，获得果实在RGB-D相机0101坐标系中的空间坐标；通过RGB-D相机0101和无人机中心的位置关系，将RGB-D相机0101坐标系中的坐标转换为无人机坐标系中的坐标，即可计算得出无人机的飞行目的地坐标。

(4)光电传感器0103检测到水果的结果母枝进入剪刀0309中间时，向微型处理器0102发射信号；

(5)微型处理器0102收到光电传感器0103的信号后运行水果定位程序，再次定位水果并判断无人机是否到达目的地位置；

(6)微型处理器0102给Arduino开发板0201发送运行程序信号，Arduino开发板0201运行程序后启动继电器0202开关闭合；

(7)直流电机0303启动，通过丝杆0304联动套筒0305，套筒0305带动钢条0307，钢条0307带动剪刀0309的一个刀片运动，剪断水果的结果母枝，具体方法为：

直流电机0303启动后开始转动，带动丝杆0304做圆周运动，丝杆0304与套筒0305之间通过螺纹进行连接，套筒0305在丝杆0304上做水平运动，套筒0305与钢条0307固定在一起，钢条0307与剪刀0309的一侧刀片固定，此时剪刀0309的一侧刀片做类似圆弧运动，与剪刀0309的另一侧固定刀片闭合，剪断水果的结果母枝。

(8)剪刀0309上的夹持机构0308夹紧水果的结果母枝，并且给飞行控制器发送信号；

(9)无人机飞行到水果收集筐上方，打开剪刀0309，水果落入水果收集筐中，完成水果采摘。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种搭载在无人机上的水果自动采收装置，其特征在于，包括水果定位组件、控制及信息传输设备和采摘机构；

所述的水果定位组件包括RGB-D相机、微型处理器和光电传感器；所述的RGB-D相机安装在采摘机构的支撑杆中间位置，所述的RGB-D相机同时获取目标的颜色、轮廓和位置特征；所述的微型处理器安装在无人机的最上方，所述的光电传感器包含漫反射红外发射器和红外接收器，红外发射器发射的红外线，有结果母枝进入到剪刀中间时，红外接收器会接收到漫反射回来的红外线，将此信息以光电信号的形式反馈给微型处理器；

所述的控制及信息传输设备包括Arduino开发板、继电器、电机控制板和USB-TypeB数据线；所述继电器与Arduino开发板相连，所述的电机控制板是分别是电源控制板和驱动控制板；所述的电源控制板由一个电磁开关和电路板组成，用于控制电机的启停；所述的驱动控制板用于控制电机的输入电压和电流；所述的USB-TypeB数据线用于连接Arduino开发板与微型处理器，能够实现程序下载和数据通讯；

所述采摘机构包括电池、电机保护壳、电机、丝杆、套筒、支撑杆、钢条、带夹持机构的剪刀；所述的电池为水果自动采收装置提供电能；所述的电机保护壳与支撑杆通过螺钉固定连接；所述的电机与丝杆的一端连接；所述的丝杆的另一端与套筒连接；所述的套筒的另一端与钢条用螺钉连接；所述的钢条的另一端与剪刀的一个刀片通过螺钉连接；所述的剪刀的另一个刀片与支撑杆通过螺钉固定连接；所述的剪刀上的夹持机构的两片夹持片分别与剪刀的两个刀片用螺丝固定。

2.根据权利要求1所述一种搭载在无人机上的水果自动采收装置，其特征在于，所述的RGB-D相机包括彩色相机和红外相机；所述的彩色相机提供了红、绿、蓝三个通道的信息，用于采集RGB图像；所述的红外相机提供了一个深度信息通道，用于采集深度图像。

3.根据权利要求1所述一种搭载在无人机上的水果自动采收装置，其特征在于，微型处理器内置存储器、NVIDIA Jetson TX2 GPU和8GB RAM；所述的存储器为计算机可读存储设备，其存储有Ubuntu18.04操作系统、Python编程语言编写的水果定位算法的相关程序；所述的NVIDIA Jetson TX2 GPU和8GB RAM用于执行Python编程语言的相关程序。

4.根据权利要求1所述一种搭载在无人机上的水果自动采收装置，其特征在于，所述的Arduino开发板包括一块AVR单片机、一个晶振或振荡器和一个直流电源，并含有数字输入/输出引脚、模拟输入、晶振时钟、电源插孔、ICSP接头和复位按钮。

5.根据权利要求1所述一种搭载在无人机上的水果自动采收装置，其特征在于，所述的AVR单片机的处理核心是ATMEGA328P。

所述继电器通过三条杜邦线与Arduino开发板相连接；所述的三条杜邦线分别连接到Arduino开发板上的正负极和信号输出端口上，用于为继电器提供电源和输入信号。

6.根据权利要求1所述一种搭载在无人机上的水果自动采收装置，其特征在于，所述的电机保护壳由3D打印的塑料件；所述的电机为直流电机，用于控制剪刀上一刀片的运动；所述的支撑杆采用碳纤维材料。

7.根据权利要求1-6中任一项所述一种搭载在无人机上的水果自动采收装置的控制方法，其特征在于，包括下述步骤：

无人机带动水果自动采收装置飞行到第一棵果树前；

采用RGB-D相机采集果实的RGB图像和深度图像，输入给微型处理器；

微型处理器上运行模糊图像判断程序，只保留清晰图像；

微型处理器上运行水果定位程序，将定位信息处理后转换为无人机飞行的路径信息，传输给飞行控制器，控制无人机飞行到目的地位置；

光电传感器检测到水果的结果母枝进入剪刀中间时，向微型处理器发射信号；

微型处理器收到光电传感器的信号后运行水果定位程序，再次定位水果并判断无人机是否到达目的地位置；

微型处理器给Arduino开发板发送运行程序信号，Arduino开发板运行程序后启动继电器开关闭合；

直流电机启动，通过丝杆联动套筒，套筒带动钢条，钢条带动剪刀的一个刀片运动，剪断水果的结果母枝；

剪刀上的夹持装置夹紧水果的结果母枝，并且给飞行控制器发送信号；

无人机飞行到水果收集筐上方，打开剪刀，水果落入水果收集筐中，完成水果采摘。

8.根据权要求7所述的控制方法，其特征在于，所述微型处理器上运行模糊图像判断程序，只保留清晰图像，具体为：

将RGB-D相机实时采集的RGB图像经过LoG算子处理并计算得到RGB图像的灰度方差，如果灰度方差值低于预先设定的阈值k，就可以自动判定为模糊图像，需要重新采集图像再做判断，直到所采集RGB图像的灰度方差值高于阈值k，才能将此清晰的RGB图像和深度图像作为输入图像。

9.根据权要求7所述的控制方法，其特征在于，所述微型处理器上运行水果定位程序，将定位信息处理后转换为无人机飞行的路径信息，具体为：

微型处理器上运行水果定位程序后，输出多个备选水果果实的最大外接矩形框并且给出相应的置信度值，将所有置信度大于0.75的矩形框标记的区域保存，获得水果果实在RGB图像中的像素坐标；将此坐标映射到优化的深度图像上，以提取果实的空间信息，通过融合果实在RGB图像中的像素坐标和在深度图像上提取的深度信息，获得果实在RGB-D相机坐标系中的空间坐标；通过RGB-D相机和无人机中心的位置关系，将RGB-D相机坐标系中的坐标转换为无人机坐标系中的坐标，即可计算得出无人机的飞行目的地坐标。

10.根据权要求7所述的控制方法，其特征在于，所述直流电机启动，通过丝杆联动套筒，套筒带动钢条，钢条带动剪刀的一侧刀片运动，剪断水果的结果母枝，具体为：

直流电机启动后开始转动，带动丝杆做圆周运动，丝杆与套筒之间通过螺纹进行连接，套筒在丝杆上做水平运动，套筒与钢条固定在一起，钢条与剪刀的一侧刀片固定，此时剪刀的一侧刀片做类似圆弧运动，与剪刀的另一侧固定刀片闭合，剪断水果的结果母枝。

Images