CN110989687A - 一种基于嵌套正方形视觉信息的无人机降落方法 - Google Patents

Abstract

本发明涉及一种基于嵌套正方形视觉信息的无人机降落方法，该方法包括如下步骤：(1)设计嵌套正方形地标；(2)无人机降落过程实时采集地标图像；(3)提取地标图像中的嵌套正方形轮廓信息；(4)根据嵌套正方形轮廓信息确定无人机与地标的相对位置并生成追踪控制指令；(5)根据跟踪控制指令控制无人机降落。与现有技术相比，本发明考虑了无人机因高度变化或水平位移丢失视野以及图像运算导致相对位姿滞后的问题，降落精度高，可靠性好。

Description

一种基于嵌套正方形视觉信息的无人机降落方法

技术领域

本发明涉及一种基于视觉信息的无人机降落方法，尤其是涉及一种基于嵌套正方形视觉信息的无人机降落方法。

背景技术

无人机最早被用于军事作战，在侦查、监视、情报搜集的方面发挥了重要作用。随着科技进步，无人机还被广泛应用于石油、农业、海洋等领域。在某些应用场景中，无人机必须能执行自主降落，这也是当前无人机技术发展面临的挑战之一。

传统的无人机降落方式采用GPS定位(Global Positioning System,全球定位系统)，但是小型无人机的GPS精度通常为米级，无法满足降落高精度的要求，当GPS信号不好时，效果不理想。

为了提高无人机的降落精度，现有很多研究利用视觉信息辅助降落。这种降落方式将视觉标识置于降落平台上，利用机载计算机和云台相机实现视觉辅助降落。该方式成本低易实现，但应用在无人机降落过程中也存在一定的局限，主要体现在如下两个方面：

其一，机载计算机运算能力有限，检测地标频率低造成位姿迟滞，无法实现实时检测。例如采用AprilTags视觉基准系统实现自主降落的方法时，机载ARM计算机对AprilTags视觉标识检测频率仅在6Hz-10Hz，给出的位姿总落后于实时位姿，使得无人机在高速运动平台上的降落控制变得困难。

其二，图像的分辨率不变，随着机体高度变化，视野中图像尺寸和形状会发生变化。当无人机离地标过远时，看不清视觉标识。当无人机离地标较近时，只能看到地标的局部信息。此外由于翼地效应和外界干扰，无人机在接近地标的过程中易发生水平偏移，这也会导致只能看到部分地标，甚至丢失地标。这些情况都属于无人机摄像头失去对地标的视野。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于嵌套正方形视觉信息的无人机降落方法。

本发明的目的可以通过以下技术方案来实现：

一种基于嵌套正方形视觉信息的无人机降落方法，该方法包括如下步骤：

(1)设计嵌套正方形地标；

(2)无人机降落过程实时采集地标图像；

(3)提取地标图像中的嵌套正方形轮廓信息；

(4)根据嵌套正方形轮廓信息确定无人机与地标的相对位置并生成追踪控制指令；

(5)根据跟踪控制指令控制无人机降落。

步骤(1)中嵌套正方形地标具体为：包括嵌套设置且中心点重合的多层正方形图案，由外向内嵌套的正方形图案面积逐个减小，且各正方形图案的间隔距离不等。

步骤(3)中具体为：

当无人机飞行高度高于上限值时，检测地标图像中嵌套正方形的外部数层正方形，并提取正方形轮廓信息；

当无人机飞行高度低于下限值时，检测地标图像中嵌套正方形的内部数层正方形，并提取正方形轮廓信息；

当无人机飞行高度于上限值和上限值之间时，检测地标图像中嵌套正方形的所有正方形，并提取正方形轮廓信息。

无人机飞行高度低于下限值时还根据无人机下降高度逐步减少检测的内部数层正方形轮廓信息的层数。

无人机飞行高度通过地标图像中最外层正方形像素边长确定，对应的无人机飞行高度的上限值对应有一个最外层正方形像素边长最小值，无人机飞行高度的下限值对应有一个奇数层轮廓与图像面积比最大值。

无人机飞行高度低于下限值且持续下降过程中，若无人机丢失对地标的视野后，则无人机垂直上升，检测到目标后重新降落。

步骤(3)中检测地标图像中嵌套正方形并提取正方形轮廓信息具体为：

(31)计算地标图像的中心位置(C_w，C_h)：

其中，w为地标图像宽度，h为地标图像高度；

(32)对地标图像进行灰度处理、高斯滤波、阈值分割和二值化操作；

(33)对处理后的地标图像进行轮廓检测，获取待检测的数层正方形轮廓；

(34)根据地标图像中正方形面积比确定检测的正方形轮廓是否正确，若是则执行步骤(35)，否则获取下一帧地标图像并返回步骤(31)；

(35)分别提取检测的数层正方形轮廓的四个角点像素坐标。

步骤(4)确定无人机与地标的相对位置具体为：

(41)对检测的数层正方形轮廓的四个角点像素坐标取均值获取嵌套正方形中心点的像素坐标

(42)计算无人机到地标中心点的真实水平距离x_d、y_d：

其中，k为地标水平面内真实尺寸与像素尺寸的比例，θ为方向角；

(43)根据最内层正方形像素边长与预先拟合的高度预估函数确定无人机高度H，所述的高度预估函数为以最内层像素边长为变量的分段线性函数。

与现有技术相比，本发明具有如下优点：

(1)本发明嵌套正方形地标中正方形图案的间隔距离不等，保证了各层轮廓具有独特的面积比，识别到的结果是唯一的，不会跟其他轮廓混淆，保证了地标识别的准确性，从而进一步保证降落精度；

(2)本发明地标检测时通过飞行器飞行高度对外部数层正方形、内部数层正方形和所有正方形轮廓的检测，解决了无人机因高度变化或水平位移丢失视野的问题；

(3)本发明只需提取正方形轮廓各个角点的像素坐标，提高检测频率，增强算法的实时性，解决相对位姿滞后问题，提高降落精度。

附图说明

图1为本发明基于嵌套正方形视觉信息的无人机降落方法的整体流程框图；

图2为实施例中四层嵌套正方形地标的结构示意图；

图3为地标图像处理的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

如图1所示，一种基于嵌套正方形视觉信息的无人机降落方法，该方法包括如下步骤：

S1：设计嵌套正方形地标；

S2：无人机降落过程实时采集地标图像；

S3：提取地标图像中的嵌套正方形轮廓信息；

S4：根据嵌套正方形轮廓信息确定无人机与地标的相对位置并生成追踪控制指令；

S5：根据跟踪控制指令控制无人机降落。

步骤S1中嵌套正方形地标具体为：包括嵌套设置且中心点重合的多层正方形图案，由外向内嵌套的正方形图案面积逐个减小，且各正方形图案的间隔距离不等。

步骤S3中具体为：

当无人机飞行高度高于上限值时，检测地标图像中嵌套正方形的外部数层正方形，并提取正方形轮廓信息；

当无人机飞行高度低于下限值时，检测地标图像中嵌套正方形的内部数层正方形，并提取正方形轮廓信息；

当无人机飞行高度于上限值和上限值之间时，检测地标图像中嵌套正方形的所有正方形，并提取正方形轮廓信息。

无人机飞行高度低于下限值时还根据无人机下降高度逐步减少检测的内部数层正方形轮廓信息的层数。

无人机飞行高度通过地标图像中最外层正方形像素边长确定，对应的无人机飞行高度的上限值对应有一个最外层正方形像素边长最小值，无人机飞行高度的下限值对应有一个奇数层轮廓与图像面积比最大值。

无人机飞行高度低于下限值且持续下降过程中，若无人机丢失对地标的视野后，则无人机垂直上升，检测到目标后重新降落。

步骤S3中检测地标图像中嵌套正方形并提取正方形轮廓信息具体为：

(31)计算地标图像的中心位置(C_w，C_h)：

其中，w为地标图像宽度，h为地标图像高度；

(32)对地标图像进行灰度处理、高斯滤波、阈值分割和二值化操作；

(33)对处理后的地标图像进行轮廓检测，获取待检测的数层正方形轮廓；

(34)根据地标图像中正方形面积比确定检测的正方形轮廓是否正确，若是则执行步骤(35)，否则获取下一帧地标图像并返回步骤(31)；

(35)分别提取检测的数层正方形轮廓的四个角点像素坐标。

步骤S4确定无人机与地标的相对位置具体为：

(41)对检测的数层正方形轮廓的四个角点像素坐标取均值获取嵌套正方形中心点的像素坐标

(42)计算无人机到地标中心点的真实水平距离x_d、y_d：

其中，k为地标水平面内真实尺寸与像素尺寸的比例，θ为方向角；

(43)根据最内层正方形像素边长与预先拟合的高度预估函数确定无人机高度H，所述的高度预估函数为以最内层像素边长为变量的分段线性函数。

本实施例所使用的无人机自主降落系统包含机载计算机、机载云台相机、多层嵌套正方形标识。其中，多层嵌套标识作为检测目标，机载云台相机用于采集图像信息，机载计算机用于实现图像及数据的处理运算。本实施例以基于四层嵌套正方形视觉信息的四旋翼无人机自主降落为例具体说明本发明方法的实时过程：

步骤1：设计并制作嵌套正方形地标。嵌套正方形的视觉标识如图2所示，由外而内的边长分别为38cm、27cm、8cm和3cm，颜色依次为黑色、白色、黑色、白色。为减少反光的影响，采用粗糙的纸打印张贴。

步骤2：采集图像，并对每帧图像进行步骤3至步骤6的操作。

步骤3：嵌套正方形地标检测。该过程分为以下(1)～(6)个子步骤。

(1)机载计算机配置OpenCV计算机视觉库。

(2)开启云台相机捕捉图像信息，对地标图像进行宽度为w、高度为h的尺寸变换，计算地标图像的中心位置(C_w，C_h)：

(3)依次对图像进行灰度处理、高斯滤波、阈值分割和二值化操作。

(4)检测图像的树形轮廓，得到整体层次结构后，遍历轮廓，找到各个轮廓的子轮廓存储起来。判断轮廓间的位置关系是否为四层嵌套，滤除不符合嵌套条件的轮廓。本实施例中以检测全部正方形为例来说明，因此此处检测是否为四层嵌套，若飞行器高度位于某一高度只需检测外部数层正方形或内部数层正方形时则只需检测是否为相应层数的嵌套即可。

(5)计算实际地标各层的面积比作为先验知识，判断(3)步中得到的轮廓是否正确，具体为：

第一步，检测图像的轮廓以及它们的层次后，找到各个轮廓的子轮廓存储起来，寻找2m层嵌套的轮廓，排除不符合嵌套条件的轮廓。本实施例中为四层嵌套，因此m＝2。

第二步，将上一步得到的2m层嵌套轮廓记为：

contour[1],contour[2],contour[3],，……，contour[2m]；

计算轮廓面积，记为S'₁,S'₂,……,S'_2m-1,S'_2m计算出实际地标图案各层正方形间的面积比S_i/S_j(这里i和j表示层数，i＝1,2,…….,2m，j＝1,2,…….,2m，i≠j)作为上限参考值，当S'_i/S'_j接近实际图案的面积比时，将这2m层轮廓视为正确的(6)用OpenCV多边形拟合函数(5)步中得到的正确轮廓，忽略最内部的正方形，提取其他三层轮廓的角点像素坐标，(x_i,y_i)，i∈(1,12)，顺时针排列。

步骤4：获取无人机与地标的相对位置，发送跟踪指令。方块中心点的像素坐标为：

由此，计算无人机到地标中心点的真实水平距离x_d、y_d：

其中，k为地标水平面内真实尺寸与像素尺寸的比例，θ为方向角。

最后，通过线性插值的方法求得无人机高度H。

步骤5：距离较远时检测模糊地标图像。当无人机高度较高时，识别不清最内部的小正方形，此时只检测外部三个轮廓。在无人机下降过程中，切换到检测所有轮廓的模式。切换的临界值threshold由图像中外层轮廓的最大值决定，经多次探测，这里取threshold＝16。

步骤6：距离较近时检测地标图像。取ρ₁＝0.035，ρ₂＝0.003，下落过程中S₁/S＞ρ₁时，切换到检测内部三层轮廓，随着高度减少，当S₃/S＞ρ₂时，识别最内部两层轮廓。在这个过程中输出外三层轮廓的角点坐标，检测不到的用0代替。

步骤7：步骤5、6两步得到角点的像素坐标值后，按照步骤4来处理得到地标与无人机的相对位置，发送跟踪指令。

步骤8：近处失去视野后重新检测地标。丢失对地标的视野后，无人机垂直上升，重新识别地标轮廓信息。检测到目标后，重新降落。

综上，图3为本发明地标图像处理的整体流程框图，具体包括获取RGB图像，然后进行尺寸变化，接着对图像进行预处理，包括灰度化、阈值分割和二值化，紧接着对图像进行轮廓检测并判断地标轮廓，成功获取地标轮廓后提取角点坐标，进而基于角点坐标获得无人机与地标的相对位置。

本发明具有如下特点：首先，地标设计简单且是对称图形，结合OpenCV计算机视觉库，只需提取的是各个角点的像素坐标，提高检测频率，增强算法的实时性，解决相对位姿滞后问题，实验的帧率在20Hz左右，无明显延迟。其次，分层检测地标，由于正方形的间隔距离不等，各层轮廓具有独特的面积比，识别到的结果是唯一的，解决了无人机因高度变化或水平位移丢失视野的问题。最后，不仅能获得无人机相对地标的水平位置信息，还对高度进行标定，利用线性插值方法获取垂直方向的高度信息。

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (8)

1.一种基于嵌套正方形视觉信息的无人机降落方法，其特征在于，该方法包括如下步骤：

(1)设计嵌套正方形地标；

(2)无人机降落过程实时采集地标图像；

(3)提取地标图像中的嵌套正方形轮廓信息；

(4)根据嵌套正方形轮廓信息确定无人机与地标的相对位置并生成追踪控制指令；

(5)根据跟踪控制指令控制无人机降落。

2.根据权利要求1所述的一种基于嵌套正方形视觉信息的无人机降落方法，其特征在于，步骤(1)中嵌套正方形地标具体为：包括嵌套设置且中心点重合的多层正方形图案，由外向内嵌套的正方形图案面积逐个减小，且各正方形图案的间隔距离不等。

3.根据权利要求2所述的一种基于嵌套正方形视觉信息的无人机降落方法，其特征在于，步骤(3)中具体为：

当无人机飞行高度高于上限值时，检测地标图像中嵌套正方形的外部数层正方形，并提取正方形轮廓信息；

当无人机飞行高度低于下限值时，检测地标图像中嵌套正方形的内部数层正方形，并提取正方形轮廓信息；

当无人机飞行高度于上限值和上限值之间时，检测地标图像中嵌套正方形的所有正方形，并提取正方形轮廓信息。

4.根据权利要求3所述的一种基于嵌套正方形视觉信息的无人机降落方法，其特征在于，无人机飞行高度低于下限值时还根据无人机下降高度逐步减少检测的内部数层正方形轮廓信息的层数。

5.根据权利要求3所述的一种基于嵌套正方形视觉信息的无人机降落方法，其特征在于，无人机飞行高度通过地标图像中最外层正方形像素边长确定，对应的无人机飞行高度的上限值对应有一个最外层正方形像素边长最小值，无人机飞行高度的下限值对应有一个奇数层轮廓与图像面积比最大值。

6.根据权利要求3所述的一种基于嵌套正方形视觉信息的无人机降落方法，其特征在于，无人机飞行高度低于下限值且持续下降过程中，若无人机丢失对地标的视野后，则无人机垂直上升，检测到目标后重新降落。

7.根据权利要求3所述的一种基于嵌套正方形视觉信息的无人机降落方法，其特征在于，步骤(3)中检测地标图像中嵌套正方形并提取正方形轮廓信息具体为：

(31)计算地标图像的中心位置(C_w，C_h)：

其中，w为地标图像宽度，h为地标图像高度；

(32)对地标图像进行灰度处理、高斯滤波、阈值分割和二值化操作；

(33)对处理后的地标图像进行轮廓检测，获取待检测的数层正方形轮廓；

(34)根据地标图像中正方形面积比确定检测的正方形轮廓是否正确，若是则执行步骤(35)，否则获取下一帧地标图像并返回步骤(31)；

(35)分别提取检测的数层正方形轮廓的四个角点像素坐标。

8.根据权利要求7所述的一种基于嵌套正方形视觉信息的无人机降落方法，其特征在于，步骤(4)确定无人机与地标的相对位置具体为：

(41)对检测的数层正方形轮廓的四个角点像素坐标取均值获取嵌套正方形中心点的像素坐标

(42)计算无人机到地标中心点的真实水平距离x_d、y_d：

其中，k为地标水平面内真实尺寸与像素尺寸的比例，θ为方向角；

(43)根据最内层正方形像素边长与预先拟合的高度预估函数确定无人机高度H，所述的高度预估函数为以最内层像素边长为变量的分段线性函数。

Images