CN113220014B - 一种基于四叉树递归的无人机最佳着陆点搜索方法及装置 - Google Patents

Abstract

本发明涉及一种基于四叉树递归的无人机最佳着陆点搜索方法及装置，其中方法包括：步骤S1：采集深度图像，获取深度地图；步骤S2：根据无人机几何尺寸生成匹配模板以及卷积核；步骤S3：对深度地图进行卷积，构建二值化的着陆点候选地图，其中，着陆点候选地图中各点分为可降落点和不可降落点；步骤S4：通过基于四叉树递归算法对着陆点候选地图进行快速搜索，获得最佳着陆点。与现有技术相比，本发明采用基于四叉树递归的最佳着陆点搜索方法，无人机上的机载主板可以在几秒钟内快速计算出最佳着陆点，即距离不可降落点边界最远的点，该方法可应用于实际的应用程序中。

Description

一种基于四叉树递归的无人机最佳着陆点搜索方法及装置

技术领域

本发明涉及无人机着陆控制方法，尤其是涉及一种基于四叉树递归的无人机最佳着陆点搜索方法及装置。

背景技术

无人机(UAV)具有灵活性，可接近一些难以到达甚至无法到达的区域而得到了越来越多的应用。旋翼飞机是能够进行垂直起降的无人机的主流类型，因此避免了使用固定翼飞机的失控。此外，它具有成本低，易于开发，自动化等优点，因此广泛用于民用，商业，军事和救援目的。近年来，一些自动操纵和抓取等功能，在检查和监视等的任务中有广泛应用。根据欧洲机器人战略研究议程(eSRA)的计划制定的未来计划中，基于无人机的航空航天机器人可以实现在飞行中对物体和工具的操纵以及与环境的互动。

但是，在这些场景中自动降落的风险很高。特别是在搜索和救援情况下。研究人员报告说，强制性着陆会导致飞机发生致命事故，潜在的解决方案包括起落架的重新设计。

传统的无人机只能在假定着陆点平坦，开阔和空旷的地面上着陆。当无人机试图降落在不平坦的山区，如倾斜的道路或不规则的废墟地形等时，经常会发生翻滚和坠毁等事故。要完成自适应降落以突破极限，这是一项艰巨的任务。着陆限制，特别是在无人机从遥控器丢失信号或出现功率不足的情况下。

无人机悬停在潜在的可着陆区域上方，然后找到合适的着陆点。通常，自适应着陆可以依次分解为两个阶段，在第一阶段，无人机在预定区域上四处移动。连接到无人机的传感器(包括摄像机或激光雷达)收集下面的地形信息。之后，无人机上的计算系统可以构建地图并通过对地图的每个点评分来选择最佳着陆点，这被定义为“搜索”步骤。第一阶段主要是整个智能着陆系统的感知部分。

一些研究关注了在未知地形上的安全着陆，尽管一些研究已经提到了避免在崎岖地面上进行危险的准备。米塔尔等人根据平整度，陡度，深度精度和能耗等多种危险因素建立评分值作为标准。早些时候，西奥多(Theodore)等人。提出了一种考虑了多个指标的着陆点选择算法，包括着陆面的坡度，粗糙度，着陆点大小等。邓普顿等通过结合最适合平面与水平面的角度，普通误差等对落地质量进行评分。Jongho等人结合深度，平坦度和能耗三项措施确定了安全着陆点。Desaraju等人通过基于视觉的感知系统将着陆点的置信度建模为一个不断演变的高斯过程，以监测一个合适的降落点。

这些算法的目标是为无人机找到相对开放和平坦的区域，这更适合在无人机处于高空时进行大面积搜索。但是，在封闭的环境中或更复杂的场景(如震后场景)中，很难达到这些要求，因此降落效果不佳甚至无法降落。

发明内容

本发明的目的就是为了提供一种基于四叉树递归的无人机最佳着陆点搜索方法及装置，采用基于四叉树递归的最佳着陆点搜索方法，无人机上的机载主板可以在几秒钟内快速计算出最佳着陆点，即距离不可降落点边界最远的点，该方法可应用于实际的应用程序中。

本发明的目的可以通过以下技术方案来实现：

一种基于四叉树递归的无人机最佳着陆点搜索方法，包括：

步骤S1：采集深度图像，获取深度地图；

步骤S2：根据无人机几何尺寸生成匹配模板以及卷积核；

步骤S3：对深度地图进行卷积，构建二值化的着陆点候选地图，其中，着陆点候选地图中各点分为可降落点和不可降落点；

步骤S4：通过基于四叉树递归算法对着陆点候选地图进行快速搜索，获得最佳着陆点。

所述匹配模板为环形，且覆盖无人机起落架与着陆面的接触点在旋转360度的过程中均位于所述环形的覆盖区域中。

所述步骤S3具体包括：

步骤S31：使用高斯模糊滤波器对深度地图进行降噪，得到降噪后的深度图；

步骤S32：采用卷积核对降噪后的深度图进行处理，得到每个像素点的降落性能特征；

步骤S33：对每个像素点的降落性能特征进行归一化和二值化处理，生成着陆点候选图。

所述步骤S32中，当卷积核操作于对降噪后的深度图中的一个像素时，卷积核上的零点将过滤不在着陆区域内的点，其中，所述着陆区域内的点具体为在匹配模板区域中应保留的相关点。

所述步骤S4具体包括：

步骤S41：将着陆点候选地图划分为2×2的网格；

步骤S42：计算每一个网格的距离和半径，其中，网格的距离具体为从网格中心点到可降落点与不可降落点边界的最小长度；

步骤S43：根据网格的距离和半径得到网格的最大可能距离；

步骤S44：选择最大可能距离最大的网格，进一步划分为2×2的网格，并返回步骤S42，直至网格的半径小于指定的值后执行步骤S45；

步骤S45：获得最大可能距离最大对应的网格中心作为最佳着陆点。

所述方法还包括：步骤S5：计算最佳降落点选取的时间复杂度，并判断是否低于设定阈值，若为是，则控制无人机选择该最佳着陆点进行着陆。

一种基于四叉树递归的无人机最佳着陆点搜索装置，包括深度相机、处理器和程序，所述深度相机与处理器连接，所述处理器执行所述程序时实现上述的方法。

所述深度相机为RealSense D435i深度相机。

与现有技术相比，本发明具有以下有益效果：

1)采用基于四叉树递归的最佳着陆点搜索方法，无人机上的机载主板可以在几秒钟内快速计算出最佳着陆点，即距离不可降落点边界最远的点，该方法可应用于实际的应用程序中。

2)采用基于四叉树递归的最佳着陆点搜索方法，降低了复杂度并节省了时间成本，比传统的暴力算法快40倍以上，对于无人飞行器的安全着陆具有重要意义。

附图说明

图1为基于着陆特征图的最优着陆点搜索算法的框架示意图；

图2为双目相机和深度相机的原理示意图；

图3为方向和旋转生成基于起落架的卷积核示意图；

图4为使用起落架的卷积核将深度图像转换为特征图；

图5为最佳搜索算法的流程图；

图6为实施例的原始RGB图像、深度图、LPI映射图、LSC映射和搜索图和结果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

图1展示了本发明最佳着陆点方法的框架，该框架主要由三部分构成，构成了模型的流水线。瀑布式工作流程的第一部分是代表系统硬件部分的深度摄像头，该摄像头生成原始数据，其后是性能估计。评估从上层获取预处理数据，并生成着陆性能指数(LPI)映射。最后一部分将(LPI)地图作为输入，并通过二值化生成着陆点候选地图(LSC)。在着陆点候选地图上，最佳着陆点点确定为基于多边形最大内切圆(PIC)半径，通过算法迭代搜索最佳着陆点。具体的操作步骤如下：

(1)采集深度图

为了获取空中无人机下方地形的深度信息，通常将双目和深度相机用作立体视觉的主要传感器。这两种类型的相机的原理如图2所示。用双目相机模拟人眼，并根据左右相机之间的差异计算深度。以下等式展示了图2中显示的几何关系。

经过基本的数学转换，深度的表达式可以由以下等式获得。

通常具有红外结构光的深度相机可以主动测量每个像素的深度。除了传统的RBG摄像机外，它们还使用发射器生成结构化的红外光，并通过接收器收集反射光数据。处理器单元可以通过相位信息计算反射点的深度，并通过融合RGB和深度数据来重建检测到的对象的3D结构。

在本实施例中，使用了RealSense D435i深度相机作为图像传感器。左右接收器可获取两个红外信号通道，它们利用了双目和深度相机的优势。另外，RGB图像可以与深度图像对齐，而包括俯仰，侧倾和偏航的姿态角可以由集成在6自由度IMU传感器内部的加速器和陀螺仪提供。

(2)根据无人机几何尺寸得到合适的匹配模板以及卷积核。

卷积内核作为预定义模式的过滤数据的模板。首先使用一对平行的扇形以在特定方向上适应传统起落架的形状，然后通过旋转操作将其替换为同心环带，该环带根据飞行器的形状覆盖所有可能的着陆点。如图3所示

(3)对深度图像进行卷积，构建着陆点候选地图。

使用高斯模糊滤波器来减少原始深度数据的随机误差，然后生成较少噪声点的深度图。使用了类似卷积的技术来从深度图中提取降落性能特征。按照以下数学模型的公式：

H＝F*G

其中，G代表图像像素值，F代表核。在这些方程式中，M和N代表核矩阵的行数和列数。图4显示了在点P处的(w_i×h_i)大小的图像和(w_i×h_i)大小的核之间的卷积的基本原理。整个过程将遍历图像的所有点，并获得可以表示抽象特征的新矩阵H原始图像。

当卷积核操作于原始图像中的一个像素时，核矩阵上的零点将过滤不在着陆区域内的点，仅保留相关点。计算出这些保留点的偏差(STD)，以表示平坦度特征，该平坦度特征用于判断该点是否适合降落。由于STD值的范围是动态的，因此使用指数函数对其进行归一化，如以下式所示：

LPI＝exp(-λ·STD(H(i,j)))

该函数具有参数λ，该参数λ可以控制对着陆性能进行LPI评分的严格度。每次遇到新环境时都需要调整此参数，较大的λ允许对点周围区域的平坦性具有更大的包容性。

着陆性能指标(LPI)映射将在上述类似卷积的处理之后生成。决定每个点是否值得着陆。我们通过预设阈值对矩阵进行二值化，该阈值在视觉上形成仅白色和黑色的着陆点候选图。

(4)通过基于四叉树递归算法对着陆点候选地图进行快速搜索，以获得最佳着陆点。

最佳点Popt的确定是选取距离所有不可行的边界最远的可行点，通常位于其“视觉中心”的某个位置，该点是可行域区域内的一个点，周围有尽可能多的空间。即定义是即在可行域地图中找到最大的内切圆的圆心。

得到二值化的着陆点候选图之后，我们需要从这些可行点中选取容错范围最好的，也就是需要求出以下式子中最佳点p_opt表，其中p_nlb表示不可降落点。

P_opt＝maxmin(dist(P,P_nlb))

使用四叉树获得最佳着陆点。四叉树的基本原理是将二维区域逐层递归地划分为四个网格，直到达到指定的最大深度或所需的精度。

图5详细地展示了四叉树递归算法流程图

a)每个网格的距离定义为从网格中心点到可降落点与不可降落点边界的最小长度。

b)将LSC映射递归划分为2×2格的网格，并计算每个网格的最大可能距离。可能的最大距离可以分解为两部分，网格中心的距离和网格的半径。对于中心是可登陆的情况，将两个部分相加，如果中心不可着陆，则该距离等于半径与中心距离之间的差。

c)在每个递归中，如果检测到某个网格中心的距离大于之前检测到的值，则算法会更新最大距离的下边界。

d)若网格可能的最大距离小于下边界，网格将被丢弃。该算法将继续搜索，直到网格的半径小于指定的值为止。

e)直到算法结束时，获得最大距离和其对应的网格中心。网格中心的坐标可以表示最佳着陆点的位置。

(5)评估最佳降落点选取的时间复杂度。

图6展示了本实施例的原始RGB图像、深度图、LPI映射图、LSC映射和搜索图和结果。图6的第1列显示了在室内环境中设置的实验平台。木条包围的矩形区域的大小为2.0m×1.5m。根据一台DJI Mavic Mini无人机的起落架形状，使用了一个同心环带作为内核过滤器，如图3所示。这种起落架的结构是一对平行杆。绕其中心轴旋转，最终可以得到一个可以由内核表示的环带形状。

在实施例中，选择了地面，倾斜，阶梯和非结构化地形作为四种典型的地形。地面是无人机降落的理想地形。将木地板用作该实验的基础。然后，阶梯由黑色塑料泡沫材料制成，高度分别为10厘米和20厘米将阶梯状地形视为极限情况，即倾斜表面的坡度非常大，从而形成高度的突然变化。实验中的非结构化地形是一个由杂物组成的类似废墟的场景。原始RGB图像，深度图，LPI图，LSC图和OSS图在图6中进行了展示。我们发现，评分参数的最佳公差约为5mm。使用较大的阈值，坡度上的某些点会被误认为是着陆点，如果条件过于严格，则地面上的许多点都将被认为是不可着陆的。

根据结果发现，发现地面地形的LSC地图的白色区域几乎覆盖了整个地图，表明存在连续的平台区域，这与实际生活认识是一致的。但是在右下角看到一些黑色空间。这是由于来自上方的光线对D435i摄像机的感光度造成的干扰影响。最后，可以证明该方法选择了一个合适的着陆点位置。

Claims (8)

1.一种基于四叉树递归的无人机最佳着陆点搜索方法，其特征在于，包括：

步骤S1：采集深度图像，获取深度地图；

步骤S2：根据无人机几何尺寸生成匹配模板以及卷积核；

步骤S3：对深度地图进行卷积，构建二值化的着陆点候选地图，其中，着陆点候选地图中各点分为可降落点和不可降落点；

步骤S4：通过基于四叉树递归算法对着陆点候选地图进行快速搜索，获得最佳着陆点；

所述步骤S4具体包括：

步骤S41：将着陆点候选地图划分为2×2的网格；

步骤S42：计算每一个网格的距离和半径，其中，网格的距离具体为从网格中心点到可降落点与不可降落点边界的最小长度；

步骤S43：根据网格的距离和半径得到网格的最大可能距离；

步骤S44：选择最大可能距离最大的网格，进一步划分为2×2的网格，并返回步骤S42，直至网格的半径小于指定的值后执行步骤S45；

步骤S45：获得最大可能距离最大对应的网格中心作为最佳着陆点。

2.根据权利要求1所述的一种基于四叉树递归的无人机最佳着陆点搜索方法，其特征在于，所述匹配模板为环形，且覆盖无人机起落架与着陆面的接触点在旋转360度的过程中均位于所述环形的覆盖区域中。

3.根据权利要求1所述的一种基于四叉树递归的无人机最佳着陆点搜索方法，其特征在于，所述步骤S3具体包括：

步骤S31：使用高斯模糊滤波器对深度地图进行降噪，得到降噪后的深度图；

步骤S32：采用卷积核对降噪后的深度图进行处理，得到每个像素点的降落性能特征；

步骤S33：对每个像素点的降落性能特征进行归一化和二值化处理，生成着陆点候选图。

4.根据权利要求3所述的一种基于四叉树递归的无人机最佳着陆点搜索方法，其特征在于，所述步骤S32中，当卷积核操作于对降噪后的深度图中的一个像素时，卷积核上的零点将过滤不在着陆区域内的点，其中，所述着陆区域内的点具体为在匹配模板区域中保留的相关点。

5.根据权利要求1所述的一种基于四叉树递归的无人机最佳着陆点搜索方法，其特征在于，所述方法还包括：

步骤S5：计算最佳降落点选取的时间复杂度，并判断是否低于设定阈值，若为是，则控制无人机选择该最佳着陆点进行着陆。

6.一种基于四叉树递归的无人机最佳着陆点搜索装置，包括深度相机、处理器和程序，所述深度相机与处理器连接，其特征在于，所述处理器执行所述程序时实现以下步骤：

步骤S1：采集深度图像，获取深度地图；

步骤S2：根据无人机几何尺寸生成匹配模板以及卷积核；

步骤S3：对深度地图进行卷积，构建二值化的着陆点候选地图，其中，着陆点候选地图中各点分为可降落点和不可降落点；

步骤S4：通过基于四叉树递归算法对着陆点候选地图进行快速搜索，获得最佳着陆点；

所述步骤S4具体包括：

步骤S41：将着陆点候选地图划分为2×2的网格；

步骤S42：计算每一个网格的距离和半径，其中，网格的距离具体为从网格中心点到可降落点与不可降落点边界的最小长度；

步骤S43：根据网格的距离和半径得到网格的最大可能距离；

步骤S44：选择最大可能距离最大的网格，进一步划分为2×2的网格，并返回步骤S42，直至网格的半径小于指定的值后执行步骤S45；

步骤S45：获得最大可能距离最大对应的网格中心作为最佳着陆点。

7.根据权利要求6所述的一种基于四叉树递归的无人机最佳着陆点搜索装置，其特征在于，所述深度相机为RealSense D435i深度相机。

8.根据权利要求6所述的一种基于四叉树递归的无人机最佳着陆点搜索装置，其特征在于，所述步骤S3具体包括：

步骤S31：使用高斯模糊滤波器对深度地图进行降噪，得到降噪后的深度图；

步骤S32：采用卷积核对降噪后的深度图进行处理，得到每个像素点的降落性能特征；

步骤S33：对每个像素点的降落性能特征进行归一化和二值化处理，生成着陆点候选图。

Images