CN109960250A - 基于无人机视觉进行自动导航的农用无人空气动力船及方法 - Google Patents

Abstract

本发明公开了一种基于无人机视觉进行自动导航的农用无人空气动力船及方法，属于农业机械技术领域，包括船体，还包括对船体进行远程监控和无线控制的岸基设备以及搭载有视觉系统的无人机，视觉系统用于获取水田和田间无人空气动力船的图像；无人机上还设有用于识别图像中的田块和无人空气动力船并计算无人空气动力船在田块中的相对位置的机载计算机，以及对该相对位置信息进行传递的通讯模块；船体上设有动力单元、施药单元和船载控制器，船载控制器接收来自无人机发送的位置信息，结合由安装在船体上的方向传感器获取的航向信息，计算出操舵角。自动控制船体进行航行。通过无线传输的方式将船体的实时状态发送给岸基侧的电脑，供作业员远程监控。

Description

基于无人机视觉进行自动导航的农用无人空气动力船及方法

技术领域

本发明涉及农业机械技术领域，具体地说，涉及一种基于无人机视觉进行自动导航的农用无人空气动力船及方法。

背景技术

空气动力船是一种硬质平底船，其区别与传统船舶的最大特点是没有水下动力装置和水下转向装置。空气动力船是基于空气动力学原理，利用置于船体上部的内燃机或电动机带动空气螺旋桨产生推动力，并由船体后部的尾舵控制方向。该类船吃水深度极浅，机动性高，目前主要应用于滩涂沼泽，湿地浅滩，冰雪湖面和漂浮物多、水底情况复杂的水域，鲜有应用于工农业生产及科学研究领域的产品。

该种应用于稻田环境的无人空气动力船均采用2.4GHz的无线遥控设备，由操作员进行现场控制。为保证作业的顺利进行，需要对操作员进行长期的专业培训，需要耗费大量人力物力。在大区块的稻田环境下，当作业中的空气动力船超出操作员的视距范围后，操作员将无法判断空气动力船的位置、姿态等信息，可能造成作业路径无法控制，重复撒药，重复施肥，甚至碰撞事故等极端险情。

现有应用于自动导航领域的方法主要是利用GPS进行导航。但是普通GPS模块的精度基本无法满足农业生产的任务要求，而高精度的GPS模块价格又十分昂贵。此外，GPS信号容易受到作业环境周围高大遮挡物(树木、楼宇)的干扰，发生定位漂移或GPS信号缺失的问题。

发明内容

本发明的目的为提供一种基于无人机视觉进行自动导航的农用无人空气动力船及方法，可有效解决操作员无法判断农用空气动力船的位置、姿态等信息，可能造成作业路径无法控制，重复撒药，重复施肥等问题。

为了实现上述目的，本发明提供的基于无人机视觉进行自动导航的农用无人空气动力船包括船体，还包括对船体进行无线控制的岸基设备以及搭载有视觉系统的无人机，视觉系统用于获取水田和田间无人空气动力船的图像；无人机上还设有用于识别图像中的田块和无人空气动力船并计算无人空气动力船在田块中的相对位置的机载计算机，以及对该相对位置信息进行传递的无线通讯模块；船体上设有：

动力单元，包括发动机、与所述发动机的输出轴相连的空气螺旋桨以及用于控制船体航行方向的尾舵；

施药单元，包括药箱以及与药箱相连的输液管；

船载控制器，用于处理接收来自于无人机发送的位置信息，结合由安装在船体上的方向传感器获取的航向信息，计算出操舵角。

上述技术方案中，通过尾舵控制船体的行进方向。通过输液管将药箱中的肥料或除草剂等药液输出并流入水田中，优选在输液管上设有节流阀用来控制药液的流量，同时，药箱的开口处封有药箱盖，以防船体在行进过程中摇晃药箱以使药液溅出。另外，船体上还设有为发动机提供燃油的油箱。

通过搭载有视觉系统的无人机获取整块水田及田间空气动力船的图像，由机载计算机识别图片中的田块和空气动力船，计算空气动力船在田块中的相对位置，通过无线通信模块(优选为蓝牙模块)将位置信息发送到空气动力船。船载配对的无线通信模块(优选为蓝牙模块)实时接收来自无人机发送的位置信息，结合由方向传感器获取的航向信息，计算确定操舵角，并自动控制船体进行航行。同时，通过无线传输的方式将船体的实时状态包括船速，导航误差，任务完成情况发送给岸基侧的电脑，供作业员远程监控。无线通信系统优选为3G/4G模块。

具体的方案为空气螺旋桨的两扇叶通过凸轮连杆机构连接到舵机上，以控制两扇叶的倾斜角度。扇叶倾斜角度的大小可以在发动机转速不变的情况下，改变风力的大小；扇叶倾斜角度的正反可以改变风力的方向，进而控制船的前进和后退。

更具体的方案为凸轮连杆机构包括分别与空气螺旋桨的两片扇叶相连的第一支架和第二支架、套设在发动机的机架上的凸轮以及安装在发动机的输出轴上的轴承；第一支架和第二支架连接在轴承的内圈上；凸轮上铰接有第一连杆，该第一连杆的一端铰接在轴承的外圈上，另一端通过与其铰接的第二连杆连接舵机输出端。

轴承可以沿发动机输出轴的轴向进行移动，第一支架和第二支架的一端分别连接两扇叶，另一端固定在轴承的内圈上，扇叶在发动机的带动下旋转并带动轴承的内圈旋转，轴承的外圈相对发动机的机架静止。舵机带动第二连杆移动，进而带动第一连杆绕连接凸轮的中端摆动，从而使铰接在轴承的外圈上的一端沿发动机输出轴的轴向移动，并带动轴承移动，实现改变扇叶的倾斜角度。

另一个更具体的方案为发动机上安装有用于探测发动机转速的磁传感器。

另一个具体的方案为岸基设备具有无线紧急制动器，与设置在船体的无线紧急制动器接收机配合实现迅速关停发动机；还具有与设置在船体上的遥控器接收机配合使用的遥控器，在必要时，实现人工对船体进行远程操作。

无线通信系统优选为3G/4G模块，将船体的实时状态包括船速，导航误差，任务完成情况发送给岸基侧的电脑，供作业员远程监控。岸基侧的遥控器与船载遥控器接收机配合使用，在必要时可以实现远程人工操作。

本发明提供的基于无人机视觉进行自动导航的农用无人空气动力船的导航方法包括以下步骤：

1)获取水田图像，将带有颜色的圆的标识物放置到水田四个边缘角点处，使圆心与水田边缘角点重合，利用无人机拍摄水田图像，并对图像进行投影变换，矫正失真图像，获得矫正后的水田图像；

2)建立坐标系，以矫正后的水田图像中左上方的角点为原点，左上方角点到右上方角点的方向为y轴，过原点做y轴的垂线得到x轴，建立水田直角坐标系；

3)识别空气动力船；

4)计算船体位置信息，将船体视为一个质点，并计算该质点在水田直角坐标系中的坐标(x_boat,y_boat)；

5)航行自动控制，无人机将船体在水田直角坐标系中的坐标信息发送给空气动力船的控制器，控制器结合船载方向传感器获取的实施航向信息，计算操舵角并自动控制空气动力船沿预定的航线航行；

6)远程监控，空气动力船的控制器将船体的船速、导航误差及任务完成情况通过无线通讯的方式传送给岸基设备，供作业员远程监控。

优选的，步骤1)中对图像进行投影变换，矫正失真图像的方法包括：

(a)利用GPS获取标识物圆心的地理坐标；

(b)基于标识物的颜色特征信息，进行二值化处理，再进行椭圆拟合处理，得到圆心的图像坐标；

(c)利用下式求得投影变换的传递矩阵M

其中，(x_1～4,y_1～4)是四个角点的地理坐标，是四个角点的图像坐标；

(d)根据投影变换的传递矩阵M对图像进行投影变换，矫正失真图像。

优选的，步骤3)中识别空气动力船的方法包括利用颜色特征作为阈值，对水田图像进行二值化处理，水田部分为黑色，空气动力船为白色，水田区域内的最大白色连通域为空气动力船船体。

进一步优选的，还包括利用图像处理中的膨胀和腐蚀形态学手段，去掉二值化图中出现的白色噪点。

优选的，步骤4)中将船体视为一个质点包括将船体拟合成椭圆，计算出椭圆的圆心作为空气动力船的质点；

在水田直角坐标系中的质点坐标(x_boat,y_boat)的计算公式如下

其中，(x_{pix_a},y_{pix_a})是左上方角点的图像坐标；(x_{pix_b},y_{pix_b})是右上方角点的图像坐标；(x_pix,y_pix)是空气动力船在图像上的坐标信息。需要注意的是：(x_boat，y_boat)是水田坐标系中的船的坐标，坐标原点是图像中左上方的水田角点；(x_pix，y_pix)是图像坐标系中的船的坐标，坐标原点是当前图像左上方的第一个像素点。

以上导航方法在上述基于无人机视觉进行自动导航的农用无人空气动力船的基础上实现。

附图说明

图1为本发明实施例的农用无人空气动力船的示意图；

图2为本发明实施例的农用无人空气动力船的空气螺旋桨与舵机的连接结构图；

图3为本发明实施例的农用无人空气动力船的硬件支持示意图；

图4为本发明实施例的识别农用无人空气动力船的效果图；

图5为本发明实施例的计算船体位置信息的坐标图；

图6为本发明实施例的农用无人空气动力船的航行模拟图。

其中，1、船体；2、药箱；3、药箱盖；4、输液管；5、节流阀；6、船载控制器；7、油箱；8、机架；9、发动机；10、空气螺旋桨；101、第一支架；102、第二支架；103、轴承；104、第一连杆；105、凸轮；106、第二连杆；107、舵机；11、尾舵。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

农用无人空气动力船实施例

参见图1至图3，本实施例的农用无人空气动力船包括船体1、岸基设备和无人机。其中，岸基设备对船体进行无线控制，包括岸基计算机、遥控器和无线紧急制动器，无线紧急制动器与设置在船体1上的无线紧急制动器接收机配合实现迅速关停船体1上的发动机，遥控器与设置在船体1上的遥控器接收机配合使用实现必要时人工对船体1进行远程操作。

无人机上搭载有视觉系统，该视觉系统为用于获取水田和田间无人空气动力船图像的相机。无人机上还设有用于识别图像中的田块和无人空气动力船并计算无人空气动力船在田块中的相对位置的机载计算机，以及对该相对位置信息进行传递的无线通信模块(优选为蓝牙模块)。

船体1上设有动力单元、施药单元以及船载控制器6。

动力单元包括安装在船体1后部的发动机9、与发动机9的输出轴相连的空气螺旋桨10以及设置在船体尾部的尾舵11。船体1上设有用于安装发动机9的机架8，发动机9的燃油通过油箱7提供，且发动机9上安装有磁传感器用于探测发动机9的转速。发动机9提供输出动力，带动空气螺旋桨10转动产生推力，并由尾舵11控制船体航行方向。

空气螺旋桨10包含两个可变换倾斜角度的扇叶，两扇叶通过凸轮连杆机构连接到舵机107上。本实施例的凸轮连杆机构包括分别与空气螺旋桨10的两片扇叶相连的第一支架101和第二支架102、套设在发动机9的机架上的凸轮105以及安装在发动机14的输出轴上的轴承103。第一支架101和第二支架102连接在轴承103的内圈上，凸轮105上铰接有第一连杆104，该第一连杆104的一端铰接在轴承103的外圈上，另一端通过与其铰接的第二连杆106连接舵机107的输出端。

轴承103可以沿发动机9的输出轴的轴向进行移动，第一支架101和第二支架102的一端分别连接两扇叶，另一端固定在轴承103的内圈上，扇叶在发动机14的带动下旋转并带动轴承103的内圈旋转，轴承的外圈相对发动机9的机架静止。舵机107带动第二连杆106移动，进而带动第一连杆104绕连接凸轮105的中端摆动，从而使铰接在轴承103的外圈上的一端沿发动机9输出轴的轴向移动，并带动轴承103移动，实现改变扇叶的倾斜角度。倾斜角度的大小可以在发动机9转速不变的情况下，改变风力的大小；倾斜角度的正反可以改变风力的方向，进而控制船体1的前进和后退。

施药单元包括药箱2和输液管4，药箱2位于船体的中部，其内装入适量的用于施肥或除草的药液，上部采用药箱盖3封住以避免药箱2在摇晃过程中将药液溅出。输液管4与药箱2相连，其出口处设有节流阀5，药液可以通过输液管4流入水田，节流阀5用来控制药液的流量。

船载控制器6接收来自无人机发送的位置信息，结合由安装在船体上的方向传感器获取的航向信息，计算出操舵角，并自动控制船体航行。船载控制器中还包含有电池，可为船载电子设备提供电能。此外，船载控制器通过无线传输的方式将船体的实时状态包括船速，导航误差，任务完成情况发送给岸基侧的电脑，供作业员远程监控。无线通信系统优选为3G/4G模块。

本实施例的工作步骤如下：

1)获取水田图像，将带有颜色的圆的标识物放置到水田四个边缘角点处，使圆心与水田边缘角点重合，利用无人机拍摄水田图像，并对图像进行投影变换，矫正失真图像，获得矫正后的水田图像；

其中对图像进行投影变换矫正失真的方法包括：

(a)利用GPS获取标识物圆心的地理坐标；

(b)基于标识物的颜色特征信息，进行二值化处理，再进行椭圆拟合处理，得到圆心的图像坐标；

(c)利用下式求得投影变换的传递矩阵M

其中，(x_1～4,y_1～4)是四个角点的地理坐标，是四个角点的图像坐标；

(d)根据投影变换的传递矩阵M对图像进行投影变换，矫正失真图像。

2)建立坐标系，以矫正后的水田图像中左上方的角点为原点，左上方角点到右上方的角点的方向为y轴，过原点做y轴的垂线得到x轴，建立水田直角坐标系；

3)识别空气动力船，利用颜色特征作为阈值，对水田图像进行二值化处理，水田部分为黑色，空气动力船为白色，利用图像处理中的膨胀和腐蚀形态学手段，去掉二值化图中出现的白色噪点，水田区域内的最大白色连通域为空气动力船船体，如图4所示；

4)计算船体位置信息，由于空气动力船是一个左右对称的刚体，可以近似拟合成椭圆，计算出椭圆的圆心作为空气动力船的质点，参见图5，该质点在水田直角坐标系中的坐标为(x_boat,y_boat)，其计算公式如下

其中，(x_{pix_a},y_{pix_a})是左上方角点的图像坐标；(x_{pix_b},y_{pix_b})是右上方角点的图像坐标；(x_pix,y_pix)是空气动力船在图像上的坐标信息。

5)自动控制航行，无人机将船体在水田直角坐标系中的坐标信息发送给空气动力船的控制器，控制器结合船载方向传感器获取的实施航向信息，计算操舵角并自动控制空气动力船沿预定的航线航行；

6)远程监控，空气动力船的控制器将船体的船速、导航误差及任务完成情况通过无线通讯的方式传送给岸基设备，供作业员远程监控。

通过以上方式对农用无人空气动力船进行航行控制的实验测试图如图6所示。

导航方法实施例

本实施例的导航方法已经包含在农用无人空气动力船实施例中，此处不再赘述。

Claims (10)

1.一种基于无人机视觉进行自动导航的农用无人空气动力船，包括船体，其特征在于：

还包括对船体进行无线控制的岸基设备以及搭载有视觉系统的无人机，所述视觉系统用于获取水田和田间无人空气动力船的图像；

所述无人机上还设有用于识别所述图像中的田块和无人空气动力船并计算无人空气动力船在田块中的相对位置的机载计算机，以及对该相对位置信息进行传递的通讯模块；

所述船体上设有：

动力单元，包括发动机、与所述发动机的输出轴相连的空气螺旋桨以及用于控制船体航行方向的尾舵；

施药单元，包括药箱以及与药箱相连的输液管；

船载控制器，用于处理接收来自于所述无人机发送的位置信息，结合由安装在船体上的方向传感器获取的航向信息，计算出操舵角。

2.根据权利要求1所述的农用无人空气动力船，其特征在于：

所述的空气螺旋桨的两扇叶通过凸轮连杆机构连接到舵机上，以控制两扇叶的倾斜角度。

3.根据权利要求2所述的农用无人空气动力船，其特征在于：

所述的凸轮连杆机构包括分别与所述空气螺旋桨的两片扇叶相连的第一支架和第二支架、套设在所述发动机的机架上的凸轮以及安装在所述发动机的输出轴上的轴承；

所述第一支架和第二支架连接在所述轴承的内圈上；

所述凸轮上铰接有第一连杆，该第一连杆的一端铰接在所述轴承的外圈上，另一端通过与其铰接的第二连杆连接所述的舵机输出端。

4.根据权利要求2所述的农用无人空气动力船，其特征在于：

所述的发动机上安装有用于探测发动机转速的磁传感器。

5.根据权利要求1所述的农用无人空气动力船，其特征在于：

所述的岸基设备具有无线紧急制动器，与设置在船体的无线紧急制动器接收机配合实现迅速关停发动机；

还具有与设置在船体上的遥控器接收机配合使用的遥控器，实现人工对船体进行远程操作。

6.一种基于无人机视觉进行自动导航的农用无人空气动力船的导航方法，其特征在于，包括以下步骤：

1)获取水田图像，将带有颜色的圆的标识物放置到水田四个边缘角点处，使圆心与水田边缘角点重合，利用无人机拍摄水田图像，并对图像进行投影变换，矫正失真图像，获得矫正后的水田图像；

2)建立坐标系，以矫正后的水田图像中左上方的角点为原点，左上方角点到右上方角点的方向为y轴，过原点做y轴的垂线得到x轴，建立水田直角坐标系；

3)识别空气动力船；

4)计算船体位置信息，将船体视为一个质点，并计算该质点在水田直角坐标系中的坐标(x_boat,y_boat)；

5)航行自动控制，无人机将船体在水田直角坐标系中的坐标信息发送给空气动力船的控制器，控制器结合船载方向传感器获取的实施航向信息，计算操舵角并自动控制空气动力船沿预定的航线航行；

6)远程监控，空气动力船的控制器将船体的船速、导航误差及任务完成情况通过无线通讯的方式传送给岸基设备，供作业员远程监控。

7.根据权利要求6所述的导航方法，其特征在于：

步骤1)中对图像进行投影变换，矫正失真图像的方法包括：

(a)利用GPS获取标识物圆心的地理坐标；

(b)基于标识物的颜色特征信息，进行二值化处理，再进行椭圆拟合处理，得到圆心的图像坐标；

(c)利用下式求得投影变换的传递矩阵M

其中，(x_1～4,y_1～4)是四个角点的地理坐标，是四个角点的图像坐标；

(d)根据投影变换的传递矩阵M对图像进行投影变换，矫正失真图像。

8.根据权利要求6所述的导航方法，其特征在于：

步骤3)中识别空气动力船的方法包括利用颜色特征作为阈值，对水田图像进行二值化处理，水田部分为黑色，空气动力船为白色，水田区域内的最大白色连通域为空气动力船船体。

9.根据权利要求8所述的导航方法，其特征在于：

还包括利用图像处理中的膨胀和腐蚀形态学手段，去掉二值化图中出现的白色噪点。

10.根据权利要求6所述的导航方法，其特征在于：

步骤4)中将船体视为一个质点包括将船体拟合成椭圆，计算出椭圆的圆心作为空气动力船的质点；

在水田直角坐标系中的质点坐标(x_boat,y_boat)的计算公式如下

其中，(x_{pix_a},y_{pix_a})是左上方角点的图像坐标；(x_{pix_b},y_{pix_b})是右上方角点的图像坐标；(x_pix,y_pix)是空气动力船在图像上的坐标信息。