CN110968112A

CN110968112A - 一种基于单目视觉的无人机自主降落系统及方法

Info

Publication number: CN110968112A
Application number: CN201911288889.7A
Authority: CN
Inventors: 吉明; 梁文鹏; 梁利华; 宋吉广; 张松涛; 史洪宇; 王经甫; 路宝国
Original assignee: Harbin Engineering University
Current assignee: Harbin Engineering University
Priority date: 2019-12-12
Filing date: 2019-12-12
Publication date: 2020-04-07
Anticipated expiration: 2039-12-12
Also published as: CN110968112B

Abstract

本发明属于无人机控制系统和方法领域，具体涉及一种基于单目视觉的无人机自主降落系统及方法。本专利利用无人机机体下方位置挂载的单目摄像头及其重力特性，捕捉无人机下方的地面环境图像，并采用OpenCV计算机视觉库实现图像特征的辨识，获取图像特征，然后通过设计的最大内接正方形搜索算法进行安全降落区域的搜索，并实时、连续地向无人机控制器输出优先降落区域的坐标，引导无人机向目标区域降落。该方法具有较强的环境适应性，提高系统的实时性和节省电力，满足无人机对续航能力的要求。本专利可实现了无人机自主降落系统较为全面的性能提升，在很大程度上提升了系统的适用性、实用性和实时性，具有很高的工程应用价值。

Description

一种基于单目视觉的无人机自主降落系统及方法

技术领域

本发明属于无人机控制系统和方法领域，具体涉及一种基于单目视觉的无人机自主降落系统及方法。

背景技术

无人机(UAV)，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。目前在农业植保、影视航拍、灾难救援、地形测绘、电力巡检等领域的应用，大大的拓展了无人机本身的用途，各个地区都在积极发展无人机技术。

无人机降落技术一直是无人机控制领域的重要组成问题，随着视觉导航技术的发展，研究如何将视觉技术融入到无人机的降落系统中又是无人机自主降落技术的应用方向。

现有的基于视觉的无人机自主降落方法，多采用对地面特征标识物进行识别的方法，而特征标识物需人为提前放置在地面特定位置。对于未知的复杂环境，虽然有采用双目视觉提取图像建立三维外部环境的方法，但是三维场景建立算法的计算量太大，实时性不佳。基于视觉的无人机自主降落相关文献中的主要技术思路为，通过在地面放置印制有特定形状图案的标识物，利用机体搭载的摄像头获取图像，提取图像特征点，若与预定放置图案的特征点匹配，则为预定降落位置；或者通过三维重建方法，建立无人机周边的三维地图，对三维地图进行分析，计算出最佳降落区域；以上两种策略在自主降落时皆不能同时兼顾复杂环境的不确定性与图像处理的实时性，识别特征标识物方案仅能在指定位置降落，不能在未知的通常是复杂的环境中降落，限制了系统的工作环境，而三维建模策略数据处理量过大，造成图像处理的延迟较高，无人机控制实时性不佳，不能及时完成降落任务。

发明内容

为解决现有技术实时性差和需要过多人为干预的不足，本发明的目的在于提供一种简单高效，满足系统实时性和环境适应性的一种基于单目视觉的无人机自主降落系统及方法。

一种基于单目视觉的无人机自主降落方法，该方法包括以下步骤：

步骤1：机载摄像机采集图像；

步骤2：根据采集图像，进行图像预处理；

步骤3：根据图像预处理结果，搜索安全降落区域；

步骤4：根据搜索得到的安全降落区域，无人机控制系统计算出位置向量；

步骤5：根据位置向量，无人机进行俯仰、横滚、偏航机动；

步骤6：判断无人机是否位于安全降落区域的正上方，若无人机没有位于安全降落区域的正上方，则返回步骤1；

步骤7：若无人机位于安全降落区域的正上方，则向下降落；

步骤8：判断无人机是否降落到地面，若无人机没有降落到地面，则返回步骤1；

步骤9：若无人机降落到地面，则降落完成。

步骤1所述的采集图像包括：打开配置的单目摄像头，通过该摄像头采集降落区域的图像信息并保存在根文件系统中。

步骤2所述的图像预处理包括：利用机视觉库，对获取的图像进行灰度化来降低处理的数据量，采用高斯模糊去除噪点，利用Canny算子边缘检测方法检测轮廓边界；预处理后的图像表示为二值图像，其中轮廓边界点表示为黑色，计算机内存表示为0xFF，表示地面不连续区域不平整，禁止降落到该区域；非轮廓边界区域表示为白色，计算机内存表示为0x00，表示地面平整，是候选降落区域；。

步骤3所述的搜索安全降落区域包括：搜索安全降落区域采用最大内接正方形搜索法，从图像矩阵中找出内容为0的面积最大的正方形联结区域，从左到右、从上到下依次对每一个像素点运行搜索方法，假设对点(i,j)搜索，具体包括以下步骤：

步骤3.1：判断点(i,j)的值是否为0xFF，若点(i,j)的值是0xFF，则点(i,j)是轮廓边界点，禁止降落，那么对点(i,j)的搜索停止，对下一个像素点重新开始搜索；若点(i,j)的值等于0，不是轮廓边界点，进入步骤3.2；

步骤3.2：建立一个以点(i,j)为中心且边长为2n+1,n＝1,2,3,…的正方形，边长初始值为0，判断正方形四条边上是否存在值为0xFF的点，若正方形四条边上存在值为0xFF的点，则对点(i,j)的搜索停止，对下一个像素点重新开始搜索，并将当前边长与最大边长进行比较，若当前边长大于最大边长，则将该边长作为最大边长；若正方形四条边上不存在值为0xFF的点，即正方形四条边上的点全为0，n的值增加C，C为常数，即正方形以边长增大的方式向外扩散，重复进行步骤3.2；

步骤3.3：根据步骤3.2确定一个以点(i,j)为中心，不包含值为0xFF且形状为正方形的最大联结区域，对下一个点重复进行步骤3.1和步骤3.2；

步骤3.4：将搜索到的最大内接正方形的中心点和边长输出到无人机控制器。

所述步骤5根据机体对降落区域的限制要求，调整机体的水平位置，直到满足自主降落的安全要求。

一种基于单目视觉的无人机自主降落系统，该系统包括：无人机机载的加速度计，陀螺仪，电子罗盘，GPS定位模块，微机控制模块以及图像采集处理模块，所述图像采集处理模块包括：单目图像采集单元、图像处理单元，单目图像采集单元放置在无人机机体下方，单目图像采集单元获取地面上的分布信息，将采集到的地面图像信息送入图像处理单元，所述图像处理单元利用图像处理技术和搜索策略计算出地面平整的降落区域，再利用GPS定位模块，电子罗盘确定降落坐标，根据加速度计，陀螺仪和GPS定位模块获得的机身姿态及其自身的位置向量制定飞行调整要求，根据图像采集单元位置参考值，确定无人机对于降落区域的位置向量，利用微机控制模块计算出期望的速度向量和飞行姿态。

所述单目图像采集单元采用单目摄像头，图样采集方向为重力方向；所述的图像处理单元的软硬件环境为ARM控制板，搭载Linux系统，运行OpenCV视觉库，图像处理单元采用二级处理方法，第一级利用OpenCV视觉库的图像处理方法进行预处理，第二级利用预处理的图像作为搜索区间，采用OpenCV视觉库的图像灰度化、模糊化和Canny边缘检测方法实现图像处理。

本发明的有益效果在于：

(1)降落过程无人机可自主选择降落区域，不需要人为预设，可节省人工成本，降低无人机对人的依赖，实现智能化降落。

(2)实现了无人机控制系统一体化。将本发明专利将图像处理模块搭载在无人机上，能够独立完成降落，避免了传统无人机降落方法中需要地面控制站辅助决策控制的不足，减少了无人机与地面控制站之间的信号往复传输，有助于减少外干扰的影响，提高无人机的降落效率。

(3)本发明采集的是二维图像数据，数据量小,控制策略迅速有效，能极大提高图像处理模块的工作频率，可满足无人机控制对实时性的要求，避免了以往的视无人机辅助降落方法数据处理量大，策略应对耗时长的不足；同时可减少无人机在降落过程中的时间消耗和电力消耗。

附图说明

图1为本发明的单目无人机自主降落控制系统结构框图。

图2为本发明的单目无人机自主降落流程图。

图3为本发明的图像模块处理后的图像矩阵示意图

具体实施方式

下面结合附图对本发明做进一步的描述。

无人机携带机载图像采集处理模块，自主进行降落区域的识别判断和降落控制，无须操控人员的参与。图像采集处理模块包括：单目图像采集单元、图像处理单元，其中单目图像采集单元获取地面分布信息，并将采集到的地面图像信息送入图像处理单元，所述图像处理单元利用图像处理技术和搜索策略计算出地面平整的降落区域，依据降落坐标和机身的相对位置向量制定飞行调整指令，进行无人机的姿态调整和高度控制，实现自主降落。所述图像采集单元采用单目摄像头。图样采集方向为重力方向。系统图像处理单元的软硬件环境为ARM控制板，搭载Linux系统、运行OpenCV视觉库。采用最大内接正方形搜索算法作为降落区域搜索算法。图像采用二级处理方法，第一级利用OpenCV视觉库的图像处理方法进行预处理，第二级利用预处理的图像作为搜索区间，选择合适的搜索算法实现降落区域的搜索。采用OpenCV视觉库的图像灰度化、模糊化和Canny边缘检测方法实现图像处理。

为实现上述目的，本发明的技术方案为：

本专利包括无人机机载的加速度计、陀螺仪、电子罗盘、GPS定位模块、微机控制模块以及单目图像采集处理模块等，其中单目图像采集处理模块包括：单目图像采集单元、图像处理单元。单目图像采集单元获取地面上的分布信息，将采集到的地面图像信息送入图像处理单元，所述图像处理单元利用图像处理技术和搜索策略计算出地面平整的降落区域，然后再利用GPS定位模块、电子罗盘等确定降落坐标，然后再根据加速度计、陀螺仪和GPS模块获得的机身姿态及其自身的位置向量制定飞行调整指令，进行无人机的姿态调整和高度控制，实现自主降落。

本发明设计的单目无人机自主降落系统结构如图1所示，其中采用的图像采集集单元以单目摄像头为主。本发明专利设计的图像采集单元放置在无人机机体下方，采集方向为重力方向。本发明中图样处理模块软件部分主要采用视觉库OpenCV相关模块提取图像可降落的区域特征，然后根据区域特征，通过设计的优化搜索算法获取平整的降落点。本发明图像处理综合采用图像灰度化、模糊化和Canny边缘检测方法获取可降落区域特征。

本专利包括无人机机载的加速度计、陀螺仪、电子罗盘、GPS定位模块、微机控制模块以及单目图像采集处理模块等。单目机载图像处理模块主要由单目摄像头、搭载Linux系统的ARM图像处理单元、OpenCV视觉库组成，独立完成图像的采集和图像处理，将处理结果直接发送给无人机微机控制器。

(1)机载单目图像处理模块

硬件部分是ARM图像处理单元，配有串行通信接口和USB摄像头接口。软件操作系统移植自Linux系统，主要包括Bootloader、Kernel和根文件系统，其中Kernel包含有串口驱动、摄像头相关驱动等，根文件系统包含图像处理部分的应用程序，以及该应用程序所依赖的OpenCV计算机视觉库文件，该库文件通过Cmake构建项目后编译得到，该应用程序可开机自启动。

(2)目标区域的引导

无人机可利用携带的GPS等卫星导航系统定位模块引导下到达目标降落地区上空，根据高度测量模块提供的高度信息上升或下降达到预定高度，

(3)单目图像采集及特征采集

开启机载图像采集处理模块，打开配置的单目摄像头，通过该摄像头采集降落区域的图像信息并保存在根文件系统中。在保存的同时，利用机视觉库，对获取的图像进行灰度化来降低处理的数据量，采用高斯模糊去除噪点，利用Canny算子边缘检测算法检测轮廓边界。预处理后的图像表示为二值图像，其中轮廓边界点表示为黑色，计算机内存表示为0xFF，表示地面不连续或区域不平整，禁止降落到该区域；非轮廓边界区域表示为白色，计算机内存表示为0x00，表示地面平整，是候选降落区域。然后采用步骤4，根据预处理过的图像进行降落区域的搜索，并将搜索到的最大内接正方形的中心以及边长发送给无人机控制器。如此不断循环图像采集、处理和结果输出的过程，直至降落完成。

(4)最大内接正方形搜索算法

预处理后的降落区域的搜索采用本专利提出的最大内接正方形搜索法。该算法详细如下：

如图3所示，每个格子表示一个像素点，值为0xFF的格子代表轮廓边界点，值为0的格子代表平整区域，搜索算法的目的是从图像矩阵中寻出内容为0的面积最大的正方形联结区域，从左到右、从上到下依次对每一个像素点运行搜索算法：

第一步：假设对点(i,j)搜索，如果点(i,j)的值为0xFF，是轮廓边界点，禁止降落，那么对点(i,j)的搜索停止，对下一个像素点重新开始搜索；如果值等于0，不是轮廓边界点，进行第二步。

第二步：建立这么一个正方形，它以点(i,j)为中心、边长为(2n+1)(n＝1,2,3…)，如果正方形四条边上存在值为0xFF的点，则对点(i,j)的搜索停止，对下一个像素点重新开始搜索，并将当前边长与最大边长(初始值为0)进行比较，如果当前边长大于最大边长，则将该边长作为最大边长；如果正方形四条边上的点全为0，n的值增加1，即正方形以边长增大的方式向外扩散，重复进行第二步。其中，如果要重新开始搜索，将边长初始化成0。

第三步：第二步完成后，确定了以点(i,j)为中心、不包含值为0xFF、形状为正方形的最大联结区域。对下一个点重复进行第一、第二步。为了减轻运算量，提高频率，对正方形的扩散速度，即正方形边长每次增加的值，以及正方形每条边上的点的间隔距离值不一定设置为1，在牺牲精度但保证结果的前提下该值可设置为大于1的整数值。

第四步：将搜索到的最大内接正方形的中心点、边长输出到无人机控制器。

(5)无人机的姿态调整

无人机控制器在获取图像采集处理模块发送的最大内接正方形的中心点和边长后,根据机体对降落区域的限制要求，调整机体的水平位置，直到满足自主降落的安全要求。在水平位置确定后，根据机体正下方的机载单目摄像头位置参考值，确定无人机相对于降落区域的位置向量，利用无人机控制器计算出期望的速度向量和飞行姿态，控制无人机朝降落区域飞行。如此反复，无人机控制器不断自主修正飞行姿态和位置偏差，控制无人机逐步接近降落区域，直至最终降落。

结合上述分析，本发明提出的基于单目视觉的无人机自主降落装置及方法，可降低无人机对人为操纵的依赖性，实现自主智能化降落控制，提高无人机对复杂环境的适应性和可靠性，满足无人机操控的实时性要求。有助于提升无人机的自主控制性能，提高无人机降落过程的智能化。

本发明公开了一种基于单目视觉的无人机自主降落装置及方法。该发明利用加速度计、陀螺仪、电子罗盘、GPS定位模块、微机控制模块以及单目图像采集处理模块构成无人机机载自主降落装置。该装置图像处理模块采用了ARM处理器，搭载了Linux系统，并配备OpenCV计算机视觉库。本专利针对无人机在未知环境下自主降落的要求,采用单目摄像头，给出了无人机的自主安全降落的实现方案。本专利利用无人机机体下方位置挂载的单目摄像头及其重力特性，捕捉无人机下方的地面环境图像，并采用OpenCV计算机视觉库实现图像特征的辨识，获取图像特征，然后通过设计的最大内接正方形搜索算法进行安全降落区域的搜索，并实时、连续地向无人机控制器输出优先降落区域的坐标，引导无人机向目标区域降落。应用该方法，系统可以在未知的复杂地形环境中有效识别出可靠的降落区域。该方法具有较强的环境适应性，提高系统的实时性和节省电力，满足无人机对续航能力的要求。本专利可实现了无人机自主降落系统较为全面的性能提升，在很大程度上提升了系统的适用性、实用性和实时性，具有很高的工程应用价值。

Claims

1.一种基于单目视觉的无人机自主降落方法，其特征在于，该方法包括以下步骤：

步骤1：机载摄像机采集图像；

步骤2：根据采集图像，进行图像预处理；

步骤3：根据图像预处理结果，搜索安全降落区域；

步骤5：根据位置向量，无人机进行俯仰、横滚、偏航机动；

步骤7：若无人机位于安全降落区域的正上方，则向下降落；

步骤9：若无人机降落到地面，则降落完成。

2.根据权利要求1所述的一种基于单目视觉的无人机自主降落方法，其特征在于，步骤1所述的采集图像包括：打开配置的单目摄像头，通过该摄像头采集降落区域的图像信息并保存在根文件系统中。

3.根据权利要求1所述的一种基于单目视觉的无人机自主降落方法，其特征在于，步骤2所述的图像预处理包括：利用机视觉库，对获取的图像进行灰度化来降低处理的数据量，采用高斯模糊去除噪点，利用Canny算子边缘检测方法检测轮廓边界；预处理后的图像表示为二值图像，其中轮廓边界点表示为黑色，计算机内存表示为0xFF，表示地面不连续区域不平整，禁止降落到该区域；非轮廓边界区域表示为白色，计算机内存表示为0x00，表示地面平整，是候选降落区域；。

4.根据权利要求1所述的一种基于单目视觉的无人机自主降落方法，其特征在于，步骤3所述的搜索安全降落区域包括：搜索安全降落区域采用最大内接正方形搜索法，从图像矩阵中找出内容为0的面积最大的正方形联结区域，从左到右、从上到下依次对每一个像素点运行搜索方法，假设对点(i,j)搜索，具体包括以下步骤：

5.根据权利要求1所述的一种基于单目视觉的无人机自主降落方法，其特征在于：所述步骤5根据机体对降落区域的限制要求，调整机体的水平位置，直到满足自主降落的安全要求。

6.一种基于单目视觉的无人机自主降落系统，其特征在于，该系统包括：无人机机载的加速度计，陀螺仪，电子罗盘，GPS定位模块，微机控制模块以及图像采集处理模块，所述图像采集处理模块包括：单目图像采集单元、图像处理单元，单目图像采集单元放置在无人机机体下方，单目图像采集单元获取地面上的分布信息，将采集到的地面图像信息送入图像处理单元，所述图像处理单元利用图像处理技术和搜索策略计算出地面平整的降落区域，再利用GPS定位模块，电子罗盘确定降落坐标，根据加速度计，陀螺仪和GPS定位模块获得的机身姿态及其自身的位置向量制定飞行调整要求，根据图像采集单元位置参考值，确定无人机对于降落区域的位置向量，利用微机控制模块计算出期望的速度向量和飞行姿态。

7.根据权利要求6所述的一种基于单目视觉的无人机自主降落系统，其特征在于：所述单目图像采集单元采用单目摄像头，图样采集方向为重力方向；所述的图像处理单元的软硬件环境为ARM控制板，搭载Linux系统，运行OpenCV视觉库，图像处理单元采用二级处理方法，第一级利用OpenCV视觉库的图像处理方法进行预处理，第二级利用预处理的图像作为搜索区间，采用OpenCV视觉库的图像灰度化、模糊化和Canny边缘检测方法实现图像处理。