CN116300989A - 一种基于陆空协同的无人机自主降落控制系统 - Google Patents

Abstract

本发明涉及无人机导航领域，具体涉及一种基于陆空协同的无人机自主降落控制系统，所述系统包括图像采集模块、视觉信息处理模块、上层飞行控制器模块以及安装有地标的无人车；图像采集模块，用于获取地标的视觉信息；视觉信息处理模块，用于对所述视觉信息进行处理与识别，并解算出无人机与所述无人车的位姿关系；上层飞行控制器模块，用于根据所述位姿关系，控制无人机的位姿及飞行轨迹，完成无人机在无人车上的着陆。通过本发明，实现无人机的自主着陆路径规划，提高无人机着陆成功率，减低专业人员操控成本。

Description

一种基于陆空协同的无人机自主降落控制系统

技术领域

本发明涉及无人机导航领域，尤其涉及一种基于陆空协同的无人机自主降落控制系统。

背景技术

无人机技术具有低成本和无人员风险的优势，在航拍、灾后救援、环境监测等许多行业得到了应用，得到了快速发展。与有人驾驶飞机相比，无人机的控制由地面遥控或程序设置实现，在危险、脏乱的环境中作业时对人的身体健康没有影响，保证了作业人员的安全，并且它还能够替代人工重复执行单一任务，提高工作效率。在防控工作中，部分地区将多旋翼无人机普及应用在控防疫情的多个项目中，开辟了多方位立体疫情控防的新时代。

目前的无人机主要由专业操作人员遥控，人力成本高昂，具有很大局限。研究具备自主飞行的无人机对降低人力成本和实现智能化具有重要意义。无人机自主飞行面临的一个挑战性问题是其能否实现安全稳定的自主着陆。在许多场景中，无人机完成任务后需要能够降落在指定区域充电或等待执行下一次任务。传统的引导无人机着陆方式大多依赖INS系统和GPS系统，通常不能提供精确的定位，特别是存在可靠性问题。

发明内容

有鉴于此，本发明的目的在于提出一种基于陆空协同的无人机自主降落控制系统，以解决无人机着陆无法提供精确的定位，着陆可靠性低的问题。

基于上述目的，本发明提供了一种基于陆空协同的无人机自主降落控制系统，所述系统包括图像采集模块、视觉信息处理模块、上层飞行控制器模块以及安装有地标的无人车；

图像采集模块，用于获取地标的视觉信息；

视觉信息处理模块，用于对所述视觉信息进行处理与识别，并解算出无人机与所述无人车的位姿关系；

上层飞行控制器模块，用于根据所述位姿关系，控制无人机的位姿及飞行轨迹，完成无人机在无人车上的着陆。

进一步的，所述系统还包括MAVROS通信模块，所述MAVROS通信模块用于将所述位姿关系以自定义消息类型完成视觉信息处理模块与上层飞行控制器模块的通信。

进一步的，所述图像采集模块通过无人机上的摄像头采集图像，从而获取地标的视觉信息。

进一步的，所述图像采集模块包括：

采集单元，用于采集当前的图像；

存储单元，用于存储所述图像的图像信息；

数据交互单元，用于和视觉信息处理模块进行所述图像信息的数据交互。

进一步的，所述视觉信息处理模块包括：

图像处理单元，用于对所述图像信息进行预处理操作，以完成对图像信息的去噪，获得去噪图像；

地标识别单元，用于识别所述去噪图像中的地标，并进行嵌套式分级特征检测，得到地标的特征点；

位姿解算单元，用于利用获取到的特征点求解无人机与无人车的相对位姿。

进一步的，所述MAVROS通信模块包括：

消息类型单元，用于根据位姿关系，自定义消息类型；

ROS库，用于发布和订阅话题，实现上层飞行控制器模块和视觉信息处理模块之间的通信。

进一步的，所述上层飞行控制器模块包括：

位置控制单元，用于根据所述位姿关系实时控制无人机在三维坐标系下的坐标；

姿态控制单元，用于根据所述位姿关系实时控制无人机的姿态角、偏航角和俯仰角。

本发明的有益效果：采用本发明的一种基于陆空协同的无人机自主降落控制系统，无人车在地面运动时，无人机中的图像采集模块不断获取无人车上地标的视觉信息，并通过视觉信息处理模块对视觉信息进行处理与识别，并解算出无人机与无人车的位姿关系，通过位姿关系，上层飞行控制器模块即可控制无人机的位姿及飞行轨迹，最终使得无人机降落到无人车上，通过本发明，实现无人机的自主着陆路径规划，提高无人机着陆成功率，减低专业人员操控成本。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统结构图；

图2为本发明的地标示意图；

图3为本发明中无人机的着陆示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。

需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明的第一个方面，提出了一种基于陆空协同的无人机自主降落控制系统，如图1、图2、图3所示，所述系统包括图像采集模块、视觉信息处理模块、上层飞行控制器模块以及安装有地标的无人车；

图像采集模块，用于获取地标的视觉信息；

视觉信息处理模块，用于对所述视觉信息进行处理与识别，并解算出无人机与所述无人车的位姿关系；

上层飞行控制器模块，用于根据所述位姿关系，控制无人机的位姿及飞行轨迹，完成无人机在无人车上的着陆。

在本实施例中，无人机的飞行平台采用S500-V2(简称“S500”)。作为一款安全平稳、扩展性强的无人机飞行平台，S500在闭源商业飞行器的基础上具备了二次开发能力和可扩展能力，将开源与闭源的优势结合起来，S500包括了无人机所需的全部飞行设备，包括PX4飞控、动力装置、M8N型GPS、电池、富斯6S遥控器等，它支持多种开发环境，例如Linux、ROS和STM32等。该飞行器的飞行模式有定位(字母“P”表示)、定高(字母“A”表示)、任务(字母“M”表示)三通模式，可通过模式切换启动保护机制，避免“炸机”。定位模式是S500的默认模式，适合新手，利用GPS定位模块可以实现无人机的稳定悬浮。高度模式下只保持水平高度，在外界扰动下无法保持悬浮，会随风的方向发生同向的偏动。将遥控器的拨杆向上拨动时，无人机进入任务模式，这时的S500是支持SDK功能的，飞控系统可与外部设备通信，用户可通过自有设备操纵无人机。同时我们把遥控器作为首要控制端，若无人机发生紧急情况，无人机控制权归属控制器，能够有效避免坠毁等飞行事故，实验的安全性有保障；当无人机从无人车起飞后，无人车在地面运动，无人机中的图像采集模块不断获取无人车上地标的视觉信息，并通过视觉信息处理模块对视觉信息进行处理与识别，并解算出无人机与无人车的位姿关系，通过位姿关系，上层飞行控制器模块即可控制无人机的位姿及飞行轨迹，在无人机降落过程中，最终使得无人机降落到无人车上，通过本发明，实现无人机的自主着陆路径规划，提高无人机着陆成功率，减低专业人员操控成本

作为一种实施方式，所述系统还包括MAVROS通信模块，所述MAVROS通信模块用于将所述位姿关系以自定义消息类型完成视觉信息处理模块与上层飞行控制器模块的通信。

在这里，所述MAVROS通信模块包括：

消息类型单元，用于根据位姿关系，自定义消息类型；

ROS库，用于发布和订阅话题，实现上层飞行控制器模块和视觉信息处理模块之间的通信。

在本实施例中，ROS是一个通用机器人库，可与PX4一起用于无人机通信。它只在Linux平台上得到官方支持。而MAVROS实质为MAVLINK+ROS，通过自定义消息类型，与PX4飞控进行通信；分析MAVROS的源代码可知，在与PX4飞控进行通信时，首先利用链路设备独立的数据接收线程来获取来自PX4飞控的数据；当接收数据后，对比plugin与MAVLINK消息的misgid来选择相对应的回调函数，该函数将MAVLINK消息转换为ROS消息并发布；机主发布的控制命令通过ROS消息被plugin接收，再转换为MAVLINK消息后通过设备的发布话题函数发送给PX4飞控。OpenCV开源视觉库，OpenCV是高效强大的视觉算法库，目前，该库所包括的优化算法高达2500多种，这些算法既能完成图像增强、形态学处理、特征检测等基本操作，又能进一步实现面部识别、立体感知以及目标检测等高级功能。OpenCV支持多种语言，包括C语言与Python语言，并且兼容Windows、Linux、Android系统。它的源码是开放的，用户可轻松地使用和修改代码。OpenCV集算法丰富、跨平台、开源等优势于一体，被广泛应用于图像和视频处理领域。在Linux系统下利用OpenCV视觉库实现关于地标的图像处理算法和识别算法。

作为一种实施方式，所述视觉信息处理模块包括：

图像处理单元，用于对所述图像信息进行预处理操作，以完成对图像信息的去噪，获得去噪图像；

地标识别单元，用于识别所述去噪图像中的地标，并进行嵌套式分级特征检测，得到地标的特征点；

位姿解算单元，用于利用获取到的特征点求解无人机与无人车的相对位姿。

在本实施例中，视觉信息处理器模块，选择树莓派4B微型计算机。树莓派4B拥有40个GPIO口、2个USB2.0接口、2个USB3.0接口、1个CSI视频输入接口等，这些硬件接口使其具备了硬件扩展的能力。树莓派4B通过MicroSD卡存储系统驱动，使用Linux操作系统，电路板仅有一张信用卡大小,大小约45g,却能实现一台低功耗电脑的全部功能。作为机载视觉信息处理器，树莓派4B的体积和重量完全是可以接受的，并且还有足够的计算力支持，它通过CSI口实时读取图像,完成相关的导航参数计算，由串口将数据传送给给PX4飞控板用于控制信号的计算。

作为一种实施方式，所述图像采集模块通过无人机上的摄像头采集图像，从而获取地标的视觉信息。

优选的，所述图像采集模块包括：

采集单元，用于采集当前的图像；

存储单元，用于存储所述图像的图像信息；

数据交互单元，用于和视觉信息处理模块进行所述图像信息的数据交互。

在本实施例中，摄像头使用USB高清摄像头采集图像，通过USB数据线可连接摄像头与树莓派4B，画质高达1080p。在云台的作用下，摄像头垂直向下获取图像，视频流以640×480的分辨率输入树莓派。为减少无人机高频振动对成像的影响，利用二轴无刷云台保持相机平衡稳定。云台顶端布置了4个减震球，核心支撑部分采用超硬的铝合金较厚，不易摔断或变形。云台的重量约145g,可载重约60g，完全可以负担树莓派广角镜头，控制其在横滚、俯仰两个方向的运动，依靠广角优势在空中实现高效的目标识别和跟踪。

作为一种实施方式，所述上层飞行控制器模块包括：

位置控制单元，用于根据所述位姿关系实时控制无人机在三维坐标系下的坐标；

姿态控制单元，用于根据所述位姿关系实时控制无人机的姿态角、偏航角和俯仰角。

在本实施例中，上层飞行控制器模块采用STM32控制器。由于S500最大起飞重量限制是3600g，轻巧的STM32控制器有利于控制飞行器的载重，并且多串口设计方便同S500飞控系统和机载视觉处理系统交互数据。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本发明旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于陆空协同的无人机自主降落控制系统，其特征在于，所述系统包括图像采集模块、视觉信息处理模块、上层飞行控制器模块以及安装有地标的无人车；

图像采集模块，用于获取地标的视觉信息；

视觉信息处理模块，用于对所述视觉信息进行处理与识别，并解算出无人机与所述无人车的位姿关系；

上层飞行控制器模块，用于根据所述位姿关系，控制无人机的位姿及飞行轨迹，完成无人机在无人车上的着陆。

2.根据权利要求1所述的一种基于陆空协同的无人机自主降落控制系统，其特征在于，所述系统还包括MAVROS通信模块，所述MAVROS通信模块用于将所述位姿关系以自定义消息类型完成视觉信息处理模块与上层飞行控制器模块的通信。

3.根据权利要求2所述的一种基于陆空协同的无人机自主降落控制系统，其特征在于，所述图像采集模块通过无人机上的摄像头采集图像，从而获取地标的视觉信息。

4.根据权利要求3所述的一种基于陆空协同的无人机自主降落控制系统，其特征在于，所述图像采集模块包括：

采集单元，用于采集当前的图像；

存储单元，用于存储所述图像的图像信息；

数据交互单元，用于和视觉信息处理模块进行所述图像信息的数据交互。

5.根据权利要求4所述的一种基于陆空协同的无人机自主降落控制系统，其特征在于，所述视觉信息处理模块包括：

图像处理单元，用于对所述图像信息进行预处理操作，以完成对图像信息的去噪，获得去噪图像；

地标识别单元，用于识别所述去噪图像中的地标，并进行嵌套式分级特征检测，得到地标的特征点；

位姿解算单元，用于利用获取到的特征点求解无人机与无人车的相对位姿。

6.根据权利要求5所述的一种基于陆空协同的无人机自主降落控制系统，其特征在于，所述MAVROS通信模块包括：

消息类型单元，用于根据位姿关系，自定义消息类型；

ROS库，用于发布和订阅话题，实现上层飞行控制器模块和视觉信息处理模块之间的通信。

7.根据权利要求5所述的一种基于陆空协同的无人机自主降落控制系统，其特征在于，所述上层飞行控制器模块包括：

位置控制单元，用于根据所述位姿关系实时控制无人机在三维坐标系下的坐标；

姿态控制单元，用于根据所述位姿关系实时控制无人机的姿态角、偏航角和俯仰角。

Images