CN114995494A - 一种基于视觉定位的无人机自动除梢装置及其控制方法 - Google Patents

Abstract

本发明公开了一种基于视觉定位的无人机自动除梢装置及其控制方法，装置包括：修剪除梢机构、冬梢和夏梢的视觉定位组件、以及控制及信息传输设备，所述的修剪除梢机构包括电池、支撑杆、电机托板、无刷直流电机和双面刀片；所述的冬梢和夏梢的视觉定位组件包括RGB‑D相机、光纤传感器、光纤放大器和微型处理器；所述的控制及信息传输设备包括Arduino开发板、继电器、电子调速器和USB‑TypeB数据线；本发明搭载在无人机平台上，能够适应丘陵果园的复杂地形条件，有效解决了地面修剪机器人面对高大果树上的冬梢或者夏梢无法工作的问题。

Description

一种基于视觉定位的无人机自动除梢装置及其控制方法

技术领域

本发明属于农业机械的技术领域，特别涉及一种基于视觉定位的无人机自动除梢装置及其控制方法。

背景技术

荔枝、龙眼等冬梢或者夏梢是热带亚热带地区的特产名果，具有重要的经济价值，在中国南部的丘陵地区广泛种植。在每年的10月下旬至11月上旬，是中国南方果树花芽分化的关键时期，特别是这段时期雨水多，温度适宜，荔枝、龙眼等果树已经开始抽生冬梢。为确保下一年荔枝、龙眼等果树丰收，需要果园的工人经常巡查果园，及时掌握冬梢抽生情况，将树上尚未老熟的末次梢，从新老梢交界处剪除。在每年5月份左右荔枝、龙眼等幼果发育期间，如果夏梢大量抽发，会严重影响到幼果的发育，导致幼果发育不良，最终引起落果。因此在夏梢萌发初期的时候，需要人工将夏梢抹除，让养分集中输送到冬梢或者夏梢之上。当前，通过修剪去除冬梢和夏梢的工作主要由人工操作，需要耗费大量的劳动力，对果园来说，每年投入到修剪去除冬梢和夏梢的人力成本较高，而且随着农村劳动力向非农产业转移，农村富余劳动力逐渐减少。因此，为降低荔枝、龙眼等果树修剪去除冬梢和夏梢的成本，开发能够自动修剪去除冬梢和夏梢的农业机器人是具有经济价值的。尤其是需要根据山地果园的地形条件和高大荔枝、龙眼树上的梢叶生长特征，需要研发更加合适的修剪除梢机器人。

近几年来，无人机在农业生产中得到广泛应用，包括冬梢或者夏梢检测、植物保护、作物监测和农作物产量评估。与地面行走修剪机械设备相比，无人机具有良好的地形适应性和高效率的优势。因此，无人机可用于在非结构化的果园环境中执行修剪除梢任务，研究在无人机上搭载轻便的除梢装置及其控制方法，对果树自动修剪除梢无人机的发展具有重要意义。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，本发明提供了一种基于视觉定位的无人机自动除梢装置及其控制方法，提高机械修剪除梢的自动化水平

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于视觉定位的无人机自动除梢装置，包括修剪除梢机构、冬梢和夏梢的视觉定位组件、以及控制及信息传输设备，

所述的修剪除梢机构包括电池、支撑杆、电机托板、无刷直流电机和双面刀片；所述的电池为无人机自动除梢装置提供电能，所述的电机托板一端与支撑杆固定连接，另一端托起无刷直流电机，与无刷直流电机固定连接；所述的双面刀片与无刷直流电机固定连接，无刷直流电机转动时带动双面刀片做旋转运动；

所述的冬梢和夏梢的视觉定位组件包括RGB-D相机、光纤传感器、光纤放大器和微型处理器；所述的RGB-D相机安装在修剪除梢机构的支撑杆中间位置，由彩色相机和红外相机组成；所述的彩色相机提供红、绿、蓝三个通道的信息，用于采集RGB图像；所述的红外相机提供了一个深度信息通道，用于采集深度图像；所述的RGB-D相机同时获取冬梢和夏梢的颜色、轮廓和位置特征；所述的光纤传感器将采集的光信号解析后传输给光纤放大器；所述的微型处理器安装在无人机的最上方；

所述的控制及信息传输设备包括Arduino开发板、继电器、电子调速器和USB-TypeB数据线；所述的Arduino开发板与微型处理器、光纤放大器、继电器连接；所述的电子调速器用于控制调节无刷直流电机的转速；所述的USB-TypeB数据线用于连接Arduino开发板与微型处理器，实现程序下载和数据通讯。

作为优选的技术方案，所述的支撑杆采用碳纤维材料；所述的双面刀片采用SK5高速钢材料。

作为优选的技术方案，所述的无刷直流电机由电动机主体和驱动器组成，以自控式运行。

作为优选的技术方案，所述光纤传感器是漫反射光纤传感器，当有冬梢或者夏梢进入到双面刀片区间时，光纤传感器将对此光信号进行解调分析，将获得的距离传输给光纤放大器。

作为优选的技术方案，所述的微型处理器内置存储器、NVIDIA Jetson NX GPU和8GB RAM，所述的存储器为计算机可读存储设备，其存储有Ubuntu18.04操作系统、Python编程语言编写的冬梢和夏梢的视觉定位算法的相关程序；所述的NVIDIA Jetson NX GPU和8GB RAM用于执行Python编程语言的相关程序。

作为优选的技术方案，所述的继电器通过三条杜邦线与Arduino开发板相连接；所述的三条杜邦线分别连接到Arduino开发板上的正负极和信号输出端口上，用于为继电器提供电源和输入信号。

本发明另一方面提供了一种基于视觉定位的无人机自动除梢装置的控制方法，包括下述步骤：

无人机带动自动除梢装置飞行到第一棵果树的斜上方；

采用RGB-D相机采集冬梢或者夏梢的RGB图像和深度图像，输入给微型处理器；

微型处理器上运行模糊图像判断程序，只保留清晰图像；

微型处理器上运行冬梢或者夏梢视觉定位程序，将定位信息处理后转换为无人机飞行的路径信息，传输给飞行控制器，控制无人机飞行到目的地位置；

光纤传感器检测到冬梢或者夏梢进入双面刀片区间时，光纤放大器向微型处理器发射信号；

微型处理器收到光纤放大器的信号后运行冬梢或者夏梢定位程序，再次定位冬梢或者夏梢并判断无人机是否到达目的地位置；

微型处理器给Arduino开发板发送运行程序信号，Arduino开发板运行程序后启动继电器开关闭合；

电子调速器控制无刷直流电机启动，带动双面刀片做圆周旋转运动，切断冬梢或者夏梢的主枝条；

光纤传感器检测到冬梢或者夏梢被去除后，光纤放大器给微型处理器发送信号，微型处理器给飞行控制器发送信号，完成冬梢或者夏梢除梢任务。

作为优选的技术方案，所述采用RGB-D相机采集冬梢或者夏梢的RGB图像和深度图像，输入给微型处理器，具体为：

RGB-D相机中的彩色相机采集冬梢或者夏梢的RGB图像，红外相机采集冬梢或者夏梢的深度图像，深度图像中每个像素点保存的数据是冬梢或者夏梢与相机之间的距离信息。

作为优选的技术方案，所述微型处理器上运行冬梢或者夏梢视觉定位程序，将定位信息处理后转换为无人机飞行的路径信息，具体为：

微型处理器上运行冬梢或者夏梢视觉定位程序后，输出多个备选冬梢或者夏梢的最大外接矩形框，通过计算获得冬梢或者夏梢的最大外接矩形框在RGB图像中的中心点像素坐标；将此坐标映射到优化的深度图像上，以提取冬梢或者夏梢的三维空间信息，通过融合冬梢或者夏梢在RGB图像中的中心点像素坐标和在深度图像上提取的深度信息，获得冬梢或者夏梢在RGB-D相机坐标系中的三维空间坐标；通过RGB-D相机和无人机中心的位置关系，将RGB-D相机坐标系中的坐标转换为无人机坐标系中的坐标，计算得出无人机的飞行目的地坐标。

作为优选的技术方案，所述电子调速器控制无刷直流电机启动，带动双面刀片做圆周旋转运动，剪断冬梢或者夏梢的枝条，具体为：

电子调速器设定无刷直流电机的电流和电压值后，启动无刷直流电机开始转动，带动双面刀片做圆周旋转运动，当双面刀片与冬梢或者夏梢的枝条接触时，瞬间切断冬梢或者夏梢的主枝条。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明搭载在无人机平台上，能够适应丘陵果园的复杂地形条件，有效解决了地面修剪机器人面对高大果树上的冬梢或者夏梢无法工作的问题。

(2)本发明将RGB-D相机、光纤传感器、光纤放大器、微型处理器、Arduino开发板和修剪除梢机构结合起来，能够实现冬梢或者夏梢的自动视觉定位和自动控制除梢，为自动修剪除梢无人机的发展提供了基础。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例1的自动除梢装置的整体结构示意图；

图2是本发明实施例1的自动除梢装置的结构立体示意图；

图3是本发明实施例1的自动除梢装置搭载到无人机上的整体示意图；

图4是本发明实施例2的自动除梢装置的控制方法的流程图。

附图标号说明：

01、修剪除梢机构；02、冬梢和夏梢的视觉定位组件；03、控制及信息传输设备；0101、电池；0102、支撑杆；0103、电机托板；0140、无刷直流电机；0105、双面刀片；0201、RGB-D相机；0202、光纤传感器；0203、光纤放大器；0204、微型处理器；0301、Arduino开发板；0302、继电器；0303、电子调速器；0304、USB-TypeB数据线。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，除非另有明确的规定或限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通，也可以是仅为表面接触。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

实施例1：

如图1-图3所示，本实施例提供了一种基于视觉定位的无人机自动除梢装置，包括修剪除梢机构01、冬梢和夏梢的视觉定位组件02和控制及信息传输设备03。

进一步的，如图2所示，所述的修剪除梢机构01包括电池0101、支撑杆0102、电机托板0103、无刷直流电机0104、双面刀片0105组成；所述的电池0101为自动除梢装置提供电能；所述的支撑杆0102采用碳纤维材料；所述的电机托板0103一端与支撑杆0102通过螺钉固定连接，另一端托起无刷直流电机0104，与无刷直流电机0104通过螺钉固定连接；所述的无刷直流电机0104由电动机主体和驱动器组成，以自控式运行，不会像变频调速下重载启动的同步电机那样在转子上另加启动绕组，也不会在负载突变时产生振荡和失步，其体积比同容量三相异步电动机缩小了一个机座号；所述的双面刀片0105采用进口SK5高速钢材料，与无刷直流电机0104通过螺丝和螺母固定连接，无刷直流电机0104转动时带动双面刀片0105做旋转运动。

进一步的，如图2所示，所述的冬梢和夏梢的视觉定位组件02包括RGB-D相机0201、光纤传感器0202、光纤放大器0203和微型处理器0204；所述的RGB-D相机0201安装在修剪除梢机构的支撑杆0102中间位置，由彩色相机和红外相机组成；所述的彩色相机提供了红、绿、蓝三个通道的信息，用于采集RGB图像；所述的红外相机提供了一个深度信息通道，用于采集深度图像；所述的RGB-D相机0201可以同时获取冬梢和夏梢的颜色、轮廓和位置特征；所述的光纤传感器0202是漫反射光纤传感器，当有冬梢或者夏梢进入到双面刀片0105区间时，光纤传感器0202将对此光信号进行解调分析，将获得的距离传输给光纤放大器0203；所述的光纤放大器0203是光纤通信中的一个重要的器件，光信号在光纤中传输有一定的损耗，当远距离传输时，就需要光纤放大器0203每隔一段距离对光信号进行放大，并且以光电信号的形式给微型处理器0204发送信号；所述的微型处理器0204安装在无人机的最上方，内置存储器、NVIDIA Jetson NX GPU和8GB RAM；所述的存储器为计算机可读存储设备，其存储有Ubuntu18.04操作系统、Python编程语言编写的冬梢和夏梢的视觉定位算法的相关程序；所述的NVIDIA Jetson NX GPU和8GB RAM用于执行Python编程语言的相关程序。

进一步的，如图2所示，所述的控制及信息传输设备03包括Arduino开发板0301、继电器0302、电子调速器0303、USB-TypeB数据线0304和相关电路线；所述的Arduino开发板0301与微型处理器0204、光纤放大器0203、继电器0302通过相关电线连接；所述的继电器0302是一种电控制器件，是用小电流控制大电流运作的自动开关，它通过三条杜邦线与Arduino开发板0301相连接；所述的三条杜邦线分别连接到Arduino开发板0301上的正负极和信号输出端口上，用于为继电器0302提供电源和输入信号；所述的电子调速器0303是用于控制调节无刷直流电机0104的转速；所述的USB-TypeB数据线0304用于连接Arduino开发板0301与微型处理器0204，能够实现程序下载和数据通讯；所述的相关电路线为整个控制设备提供电源和数据传输。

实施例2:

本实施例提供了一种基于视觉定位的无人机自动除梢装置的控制方法，如图4所示，包括以下步骤：

(1)无人机带动自动除梢装置飞行到第一棵果树的斜上方；

(2)采用RGB-D相机0201采集冬梢或者夏梢的RGB图像和深度图像，输入给微型处理器0204，具体为：

RGB-D相机0201中的彩色相机采集冬梢或者夏梢的RGB图像，红外相机采集冬梢或者夏梢的深度图像，深度图像中每个像素点保存的数据是冬梢或者夏梢与相机之间的距离信息。

(3)微型处理器0204上运行模糊图像判断程序，只保留清晰图像；

(4)微型处理器0204上运行冬梢或者夏梢视觉定位程序，将定位信息处理后转换为无人机飞行的路径信息，传输给飞行控制器，控制无人机飞行到目的地位置，具体为：

微型处理器0204上运行冬梢或者夏梢视觉定位程序后，输出多个备选冬梢或者夏梢的最大外接矩形框，通过计算获得冬梢或者夏梢的最大外接矩形框在RGB图像中的中心点像素坐标；将此坐标映射到优化的深度图像上，以提取冬梢或者夏梢的三维空间信息，通过融合冬梢或者夏梢在RGB图像中的中心点像素坐标和在深度图像上提取的深度信息，获得冬梢或者夏梢在RGB-D相机0201坐标系中的三维空间坐标；通过RGB-D相机0201和无人机中心的位置关系，将RGB-D相机0201坐标系中的坐标转换为无人机坐标系中的坐标，即可计算得出无人机的飞行目的地坐标。

(5)光纤传感器0202检测到冬梢或者夏梢进入双面刀片0105区间时，光纤放大器0203向微型处理器0204发射信号；

(6)微型处理器0204收到光纤放大器0203的信号后运行冬梢或者夏梢定位程序，再次定位冬梢或者夏梢并判断无人机是否到达目的地位置；

(7)微型处理器0204给Arduino开发板0301发送运行程序信号，Arduino开发板0301运行程序后启动继电器0302开关闭合；

(8)电子调速器0303控制无刷直流电机0104启动，带动双面刀片0105做圆周旋转运动，切断冬梢或者夏梢的主枝条，具体为：

电子调速器0303设定无刷直流电机0104的电流和电压值后，启动无刷直流电机0104开始转动，带动双面刀片0105做圆周旋转运动，当双面刀片0105与冬梢或者夏梢的枝条接触时，瞬间切断冬梢或者夏梢的主枝条。

(9)光纤传感器0202检测到冬梢或者夏梢被去除后，光纤放大器0203给微型处理器0204发送信号，微型处理器0204给飞行控制器发送信号，完成冬梢或者夏梢除梢任务。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉定位的无人机自动除梢装置，其特征在于，包括修剪除梢机构、冬梢和夏梢的视觉定位组件、以及控制及信息传输设备，

所述的修剪除梢机构包括电池、支撑杆、电机托板、无刷直流电机和双面刀片；所述的电池为无人机自动除梢装置提供电能，所述的电机托板一端与支撑杆固定连接，另一端托起无刷直流电机，与无刷直流电机固定连接；所述的双面刀片与无刷直流电机固定连接，无刷直流电机转动时带动双面刀片做旋转运动；

所述的冬梢和夏梢的视觉定位组件包括RGB-D相机、光纤传感器、光纤放大器和微型处理器；所述的RGB-D相机安装在修剪除梢机构的支撑杆中间位置，由彩色相机和红外相机组成；所述的彩色相机提供红、绿、蓝三个通道的信息，用于采集RGB图像；所述的红外相机提供了一个深度信息通道，用于采集深度图像；所述的RGB-D相机同时获取冬梢和夏梢的颜色、轮廓和位置特征；所述的光纤传感器将采集的光信号解析后传输给光纤放大器；所述的微型处理器安装在无人机的最上方；

所述的控制及信息传输设备包括Arduino开发板、继电器、电子调速器和USB-TypeB数据线；所述的Arduino开发板与微型处理器、光纤放大器、继电器连接；所述的电子调速器用于控制调节无刷直流电机的转速；所述的USB-TypeB数据线用于连接Arduino开发板与微型处理器，实现程序下载和数据通讯。

2.根据权利要求1所述一种基于视觉定位的无人机自动除梢装置，其特征在于，所述的支撑杆采用碳纤维材料；所述的双面刀片采用SK5高速钢材料。

3.根据权利要求1所述一种基于视觉定位的无人机自动除梢装置，其特征在于，所述的无刷直流电机由电动机主体和驱动器组成，以自控式运行。

4.根据权利要求1所述一种基于视觉定位的无人机自动除梢装置，其特征在于，所述光纤传感器是漫反射光纤传感器，当有冬梢或者夏梢进入到双面刀片区间时，光纤传感器将对此光信号进行解调分析，将获得的距离传输给光纤放大器。

5.根据权利要求1所述一种基于视觉定位的无人机自动除梢装置，其特征在于，所述的微型处理器内置存储器、NVIDIA Jetson NX GPU和8GB RAM，所述的存储器为计算机可读存储设备，其存储有Ubuntu18.04操作系统、Python编程语言编写的冬梢和夏梢的视觉定位算法的相关程序；所述的NVIDIA Jetson NX GPU和8GB RAM用于执行Python编程语言的相关程序。

6.根据权利要求1所述一种基于视觉定位的无人机自动除梢装置，其特征在于，所述的继电器通过三条杜邦线与Arduino开发板相连接；所述的三条杜邦线分别连接到Arduino开发板上的正负极和信号输出端口上，用于为继电器提供电源和输入信号。

7.根据权利要求1-6中任一项所述一种基于视觉定位的无人机自动除梢装置的控制方法，其特征在于，包括下述步骤：

无人机带动自动除梢装置飞行到第一棵果树的斜上方；

采用RGB-D相机采集冬梢或者夏梢的RGB图像和深度图像，输入给微型处理器；

微型处理器上运行模糊图像判断程序，只保留清晰图像；

微型处理器上运行冬梢或者夏梢视觉定位程序，将定位信息处理后转换为无人机飞行的路径信息，传输给飞行控制器，控制无人机飞行到目的地位置；

光纤传感器检测到冬梢或者夏梢进入双面刀片区间时，光纤放大器向微型处理器发射信号；

微型处理器收到光纤放大器的信号后运行冬梢或者夏梢定位程序，再次定位冬梢或者夏梢并判断无人机是否到达目的地位置；

微型处理器给Arduino开发板发送运行程序信号，Arduino开发板运行程序后启动继电器开关闭合；

电子调速器控制无刷直流电机启动，带动双面刀片做圆周旋转运动，切断冬梢或者夏梢的主枝条；

光纤传感器检测到冬梢或者夏梢被去除后，光纤放大器给微型处理器发送信号，微型处理器给飞行控制器发送信号，完成冬梢或者夏梢除梢任务。

8.根据权要求7所述的控制方法，其特征在于，所述采用RGB-D相机采集冬梢或者夏梢的RGB图像和深度图像，输入给微型处理器，具体为：

RGB-D相机中的彩色相机采集冬梢或者夏梢的RGB图像，红外相机采集冬梢或者夏梢的深度图像，深度图像中每个像素点保存的数据是冬梢或者夏梢与相机之间的距离信息。

9.根据权要求7所述的控制方法，其特征在于，所述微型处理器上运行冬梢或者夏梢视觉定位程序，将定位信息处理后转换为无人机飞行的路径信息，具体为：

微型处理器上运行冬梢或者夏梢视觉定位程序后，输出多个备选冬梢或者夏梢的最大外接矩形框，通过计算获得冬梢或者夏梢的最大外接矩形框在RGB图像中的中心点像素坐标；将此坐标映射到优化的深度图像上，以提取冬梢或者夏梢的三维空间信息，通过融合冬梢或者夏梢在RGB图像中的中心点像素坐标和在深度图像上提取的深度信息，获得冬梢或者夏梢在RGB-D相机坐标系中的三维空间坐标；通过RGB-D相机和无人机中心的位置关系，将RGB-D相机坐标系中的坐标转换为无人机坐标系中的坐标，计算得出无人机的飞行目的地坐标。

10.根据权要求7所述的控制方法，其特征在于，所述电子调速器控制无刷直流电机启动，带动双面刀片做圆周旋转运动，剪断冬梢或者夏梢的枝条，具体为：

电子调速器设定无刷直流电机的电流和电压值后，启动无刷直流电机开始转动，带动双面刀片做圆周旋转运动，当双面刀片与冬梢或者夏梢的枝条接触时，瞬间切断冬梢或者夏梢的主枝条。

Images