CN101000243A - 无人直升机着陆引导方法及其装置 - Google Patents

Abstract

一种无人直升机着陆引导方法及用于实施该方法的装置，其应用视觉传感器和视觉图像处理技术实时获取着陆点地面信息和飞机的瞬时全局运动信息，从而引导无人直升机自主定点着陆。其首先应用视觉传感器采集图像信号，并根据该图像信息搜索着陆航标点所在的小区域；然后在上述小区域内寻找特征点，并对其进行跟踪和匹配；最后若匹配成功，则利用上述跟踪和匹配信息求出无人直升机的全局运动参数，并发出着陆指令。本发明的方法及装置的优势在于：这种方法计算复杂度低，不依赖于特定的着陆点航标图案，同时有很高的精确度，可以确保着陆引导的成功率和实时性要求，大大降低了成本，并可发挥无人直升机轻巧灵活的优点。

Description

无人直升机着陆引导方法及其装置

技术领域

本发明属于图像识别和导航通信技术领域，具体涉及一种无人直升机着陆引导方法及实施该方法的装置。

背景技术

无人直升机在实施自主着陆时，必须准确掌握着陆点的定位信息，同时必须获得精确的高度、速度、航向等自身运动信息，并将上述信息提供给自主着陆系统。以往，作为引导无人直升机自主定点着陆的普遍方法是，借助惯性测量单元、GPS、无线电高度表等方法获取上述着陆点的定位信息以及无人直升机的自身运动信息。

但在以往的方法中，存在着实时性差的缺点，而在无人直升机自主着陆阶段，飞机的姿态变化很快，必须保证获取姿态信息的实时性，才能满足自主着陆系统的要求。

因此，近来出现了应用视觉传感器来提取自主着陆信息的方法。但应用方法多为采用CCD光学摄像机作为主要视觉传感器，并对来自采集的图像进行运算处理，以提取上述自主着陆信息。而这通常需要对摄像机采集到的图像进行复杂的前期处理，主要包括：对图像进行图像增强、边缘提取、图像分割等步骤，以滤去大部分背景等无关信息。

此外，在取得无人直升机自身运动信息时，需要对图像进行性能较好的滤波处理，例如使其经过卡尔曼滤波器等，才能得到能够保证对无人直升机的着陆可靠性起到支持作用的数据。

而上述的处理步骤无疑将增加算法的复杂度，虽然在计算机及电子技术高度发达的今天，实现任意一种确定的算法已经不是技术发展的瓶颈所在，然而复杂算法的实现仍然往往是以消耗计算时间或电子设备体积、面积为代价的，而这就意味着将出现实时性差或者设备规模较大的问题，而上述问题对小型的无人直升机而言，将失去其轻巧灵活的优势特性。所以仍有必要寻找处于复杂度和引导成功率的平衡点之上的方法。

此外，以往通常使用直升机降落场地所习惯使用的“H”型或专门设计的标志作为用于引导无人直升机自主定点着陆的着陆航标点，而这就大大限制了无人直升机可轻便灵活地降落于任意平坦区域的特点的发挥。

发明内容

本发明的目的在于提供一种可以将任意图案的着陆点航标作为导引定点着陆信息，利用视觉传感器和视觉图像处理技术进行实时捕捉，从而引导无人直升机自主定点着陆的方法及其装置，满足飞机控制的实时性要求并同时提高了导引精确度。

本发明的主要方案是：由配设于无人直升机上的视觉传感器采集图像信息；由着陆航标点搜索模块，根据上述图像信息，搜索无人直升机的欲着陆位置区域内有别于周围环境的事先约定的着陆航标点；搜索到着陆航标点后，由特征点选取模块，确定一帧基准图像，并在该帧基准图像内围绕航标点划定特征点选取区域，并选取特征点；然后由跟踪匹配模块，在相对于基准图像的后续图像序列中，对上述特征点进行跟踪和匹配；当匹配成功时，确定匹配点，由全局运动参数计算模块利用匹配点求出上述无人直升机的全局运动参数；当上述全局运动参数符合着陆要求时，着陆指令发出模块，发出着陆指令。

优选地，在上述方案中，由上述视觉传感器对目标的视觉图像进行采集，并根据计算机视觉原理从目标的视觉图像中提取关于目标的姿态、高度、速度等信息。

优选地，在上述方案中，上述视觉传感器采用光学摄像机。

优选地，在上述方案中，将视觉传感器输出的图像信息变换为灰度图像。

优选地，在上述方案中，在划定特征点选取区域的步骤中，对灰度图像利用阈值分割方法提取图标，然后对所得二值图像进行形态学方法中的膨胀操作，由此得到图标所占的黑色(也可定义为白色)区域，并将上述黑色区域划定为特征点选取区域。

优选地，在上述方案中，上述特征点为着陆航标点的角点。

优选地，在上述方案中，在上述求出全局运动参数的步骤中，简化认为两帧序列图像之间飞机只有平移和垂直方向的运动，并采用运动模型求出全局运动参数。

优选地，在上述方案中，应用迭代最小二乘法求解用于求得无人直升机当前相对速度信息和相对高度信息的尺度参数和平移参数，并以上述相对速度和相对高度信息为上述无人直升机的上述全局运动参数。

根据本发明的无人直升机着陆引导方案，由于使用了灰度图象处理寻找可能的着陆点航标区域，只对着陆点航标区域内的部分进行点跟踪，较之对整幅图像进行特征点跟踪的方法，大大减少了计算复杂度，足以保证运算处理的实时性；此外由于应用的点跟踪技术，因此避免了着陆点航标图案设计的限制，此方法可以应用于各类不同图案的着陆点航标，即着陆点航标图案选取不受限。同时，点跟踪技术保证了该方法的精确性。

此外由于使用了视觉传感器实时获取信息，使整个方案的成本大大降低并呈继续下降的趋势，同时由于该方法采用的算法复杂度的降低，能够将实现该方案的手段的规模控制在所需范围内，切实提高无人直升机的可操作性，并充分发挥无人直升机价格低廉、轻巧灵活的优势。

附图说明

图1为本发明的无人直升机着陆引导装置的功能框图示意图；

图2为本发明的无人直升机着陆引导方法的流程图；

图3为包含着陆航标点的灰度图像的一个示例；

图4为对图3的灰度图像进行阈值分割后的二值图像；

图5为对图4的二值图像进行膨胀操作后所得的图像；

图6为图3中的着陆航标点的特征点选取图；

图7为对图6中的特征点进行跟踪的特征点跟踪图。

具体实施方式

图1是本发明涉及的无人直升机着陆引导装置的功能框图的示例。

如图1所示，无人直升机着陆引导装置的基本结构包括：视觉传感器1、着陆航标点搜索模块2、特征点选取模块3、跟踪匹配模块4、全局运动参数计算模块5和着陆指令发出模块6。

视觉传感器1配置于无人直升机上，用来实时获取地面图像信息，着陆航标点模块2对于视觉传感器1获取的图像进行处理，用来进行搜寻着陆航标点区域，如果搜寻到航标点，则由特征点选取模块3进行特征点选取，随后由跟踪模块4进行特征点的跟踪匹配，全局运动参数计算模块5根据跟踪模块4获取的匹配点计算运动参数，提供给着陆指令发出模块6，如果符合着陆条件，则着陆指令发出模块6发出着陆指令。

其中视觉传感器1配置于无人直升机上，实时采集来自相对于上述无人直升机的地面图像信息，并将采集到的图像信息实时输出，提供给后续模块完成其功能。同时，上述视觉传感器1的图像信息还可应用于无人直升机的其他功能方面。

其它各模块的具体功能，将在后述段落中予以说明。

作为本发明的无人直升机着陆引导装置及其各功能模块，均可以由单片机、数字信号处理器(DSP)、现场可编程逻辑器件(FPGA)或定制芯片等符合无人直升机使用条件的各种手段实现，且在不脱离本发明的主旨的条件下，并不限于以上实施方式。

接下来，结合图2的流程图来说明无人直升机着陆引导装置的处理方案。

首先在步骤1如图中所示S1中，进行搜索着陆航标点的处理。由着陆航标点搜索模块2接收到来自视觉传感器1的图像信息，并进行运算从而搜索着陆航标点。

众所周知，航标点通常有着区别于背景的颜色和图案，其目的就是为了方便驾驶员在各种环境下容易识别着陆地点。由于本实施方式采取了基于特征点信息的着陆信息提取，因此对着陆航标点的图案和几何结构均没有特殊要求，仅在一般意义上，使其满足“区别于背景”、“容易识别”的特征即可。为了不失一般性，本专利中我们使用英文字母“A”作为示例图标。

着陆航标点搜索模块2在步骤1中进行的具体操作为，将来自视觉传感器的图像信息变为灰度图像，变换公式如下：

Y＝0.299×R+0.587×G+0.114×B    (1)

其中式(1)中的“R”、“G”、“B”为彩色图像每个象素点上色光三原色，也就是红、绿、蓝三种颜色的值，经式(1)计算后，得到该点的灰度值，即将彩色图像信息变换为了灰度图像，完成了图像的二值化。当然，也可以采用黑白摄像机等视觉传感器，使着陆航标点搜索模块2接收灰度图像。

用于示例的灰度图像如图3所示。

其中，着陆航标点满足一般意义区别特征，因此在灰度图像中，其通常具有最高的灰度值，如图3所示的灰度图像内肉眼可辨识的深色图标即为本实施方式所设置的着陆航标点图案“A”。由于上述原因，采取简单的阈值分割方法即可提取图标。对图3进行阈值分割后的图像如图4所示。

随后，进入步骤2即如图2所示的S2步骤，询问是否搜索到了着陆航标点，如果着陆航标点搜索模块2回答“是”，则进入下一步骤，步骤3即S3；否则，返回步骤1即S1，重新搜索着陆航标点，直至搜索到为止。

接下来，步骤3及步骤4的处理均由特征点选取模块3完成。

首先，若着陆航标点搜索模块2搜索到着陆航标点，则其将向特征点选取模块3输出一个信号，以通知特征点选取模块3进入下一步骤，同时还应将上述进行阈值分割后的图像与其原始灰度图像输出至特征点选取模块3，用于步骤3即S3及步骤4即S4的处理。

接收到进行阈值分割后的图像与其原始灰度图像后，进行步骤3、确定基准图像，由特征点选取模块3缓存该原始灰度图像作为基准图像。

另外，也进行步骤4即S4、选取特征点。

在步骤4即S4中，具体地，对上述阈值分割后的二值图像进行形态学膨胀操作，此操作可以填充图标区域的孔洞，得到了黑色区域即是后续步骤所需对其进行操作的图像区域。如，对图4的阈值分割后的二值图像进行膨胀操作则可得到图5所示的图面效果即膨胀了的“A”。

由于在上述缓存于特征点选取模块3内的两幅图像中，具体图案的位置是重叠的，因此可将膨胀操作后得到的黑色区域应用于原始灰度图像，得到的区域即可认为是着陆航标点的图像所在的区域，将其划定为特征点选取区域。而对上述黑色区域以外的区域均可认为是背景区域，由于该区域内的信息对于后续的选取着陆航标点的步骤不构成任何影响，因此，可以舍去该部分信息。这样，还带来了减小数据量的良好效果。

在上述划定了的特征点选取区域内，选取特征点。具体方法如下：

采用Harris角点检测算子，该算子基于图像的局部自相关，局部自相关函数衡量由于图像块平移一个小的位移造成的区域变换。

假设水平和垂直方向的位移矢量(Δu，Δv)，则象素点(u，v)的自相关函数定义为：

$E_{x,y}=\underset{W}{\mathrm{\Σ}}{(I(u,v)-I(u+\mathrm{\Δu},v+\mathrm{\Δv}))}^2---\left(2\right)$

这里I(u，v)代表象素点(u，v)的亮度值，W表示中心位于(u，v)的一个窗口。

由于假设位移量很小，将上式进行泰勒展开，舍去二阶以后的项，

$I(u+\mathrm{\Δu},v+\mathrm{\Δv})\≈I(u,v)+\left[I_x(u,v)I_y(u,v)\right]\left[\begin{array}{c}\mathrm{\Δu}\\ \mathrm{\Δv}\end{array}\right]---\left(3\right)$

将(3)式代入(2)式，得到：

$E_{x,y}=\underset{W}{\mathrm{\Σ}}(-\left[I_x(u,v)I_y(u,v)\right]\left[\begin{array}{c}\mathrm{\Δu}\\ \mathrm{\Δv}\end{array}\right]{)}^2$

$=\left[\mathrm{\Δu\Δv}\right]\left[\begin{array}{cc}\underset{W}{\mathrm{\Σ}}{\left(I_x(u,v)\right)}^2& \underset{W}{\mathrm{\Σ}}{I}_x(u,v)I_y(u,v)\\ \underset{W}{\mathrm{\Σ}}{I}_x(u,v)I_y(u,v)& \underset{W}{\mathrm{\Σ}}{\left(I_y(u,v)\right)}^2\end{array}\right]\left[\begin{array}{c}\mathrm{\Δu}\\ \mathrm{\Δv}\end{array}\right]---\left(4\right)$

$=\left[\mathrm{\Δu\Δv}\right]C(u,v)\left[\begin{array}{c}\mathrm{\Δu}\\ \mathrm{\Δv}\end{array}\right]$

其中I_x(u，v)表示亮度水平方向的梯度；I_y(u，v)表示亮度垂直方向的梯度

这里矩阵C(u，v)实质上表示了当前点周邻的亮度结构。我们用λ₁，λ₂表示矩阵C(u，v)的特征值。根据特征值的大小，我们将当前点分为三类，如下所述：

如果λ₁，λ₂都很小，则整个窗口区域为平坦区域

如果两者一个大，一个小，则此点为边界点

如果两者值都比较大，则此点为角点。

由于上述步骤我们检测到了图标位置，而图标通常具有丰富的角点信息，因此只对图标区域进行角点检测，即得到所需特征点，如图6所示的“A”中的“x”点。

然后，由特征点选取模块3发出信号，开始跟踪匹配模块4采用KLT跟踪算法对上述特征点的跟踪，即步骤5图2所示的S5；图7所示的就是对图6中的特征点进行跟踪而得到的特征点跟踪图。

具体来说：KLT跟踪算法一个根本出发点就是，假设前帧某点和当前帧其对应点亮度值相同。

I(x，y，t+τ)＝I(x-Δx，y-Δy，t)    (5)

现在我们考虑一个窗口，前帧窗口中每个点都对应于经过某个位移(Δx，Δy)后的当前帧的某个窗口中的对应点。因此通过最小化目标函数可以得出位移值(Δx，Δy)

$E_{x,y}=\underset{W}{\mathrm{\Σ}}{(I(x,y,t+\mathrm{\τ})-I(x-\mathrm{\Δx},y-\mathrm{\Δy},t))}^2---\left(6\right)$

这样通过对每个特征点进行上述运算，完成对所有特征点的跟踪。

随后执行步骤6即S6，询问上述的跟踪相对于特征点是否匹配，这里可以根据环境条件等因素设定某一阈值，对于最小化的目标函数值仍超过某个阈值的点，标志为跟踪失败或者不可靠跟踪，即不匹配，于是，返回步骤1S1，重新进行上述S1-S6的步骤；反之，即匹配成功则进入下一步骤7即图2所示的S7，求出全局运动参数。

由全局运动参数计算模块5承担上述步骤7即S7的计算工作，该模块5接收来自上述模块4的匹配成功信号和后续图像信息，并基于上述信号进行运算处理。如果接收到匹配成功信号，就开始运算处理。通过上述跟踪匹配得到的点可以求出相对于基准图像的后续图像序列的全局运动参数，由于采样率比较高，我们可以认为两帧序列图像之间飞机只有平移和垂直方向的运动，因此我们采用模型计算运动参数：

$\left[\begin{array}{c}{\mathrm{\Δ}}_x\left(k\right)\\ {\mathrm{\Δ}}_y\left(k\right)\end{array}\right]=\left[\begin{array}{c}{a}_{1}x\left(k\right)\\ a_{3}x\left(k\right)\end{array}\right]+\left[\begin{array}{c}{a}_2\\ a_4\end{array}\right]---\left(7\right)$

这里x(k)，y(k)代表前帧图像第k个特征点的坐标，而Δ_x(k)，Δ_y(k)代表前帧图像特征点在当前帧的位移。

我们应用迭代最小二乘法求解尺度参数(α₁，α₂)和平移参数(α₃，α₄)。

最后我们根据求得的图像全局运动参数和其他传感器参数求得飞机当前相对速度。而尺度参数可以求得飞机的相对高度信息，并将这些全局运动参数输出至着陆指令发出模块6。

接下来，由着陆指令发出模块6进行发出着陆指令的步骤8即图2所示的S8，将上述用于着陆控制的全局运动参数及着陆指令一起输出至本发明的无人直升机着陆引导装置外，结束本流程。依此无人直升机可实现安全定点着陆。

Claims (14)

1.一种无人直升机着陆引导方法，该方法包括如下步骤：

由视觉传感器采集图像信息的步骤，上述视觉传感器配设于上述无人直升机上；

根据上述图像信息，搜索着陆航标点的步骤；

其特征在于，该方法还包括下述步骤：

根据上述着陆航标点的搜索信息，在上述图像信息内，确定基准图像的步骤；

在上述基准图像内，划定特征点选取区域的步骤；

在上述特征点选取区域内，选取特征点的步骤，在选取特征点的步骤中只选取航标点区域范围内的特征点；

在上述图像信息内，在相对于基准图像的后续图像序列中，对上述特征点进行跟踪和匹配的步骤；

当匹配成功时，确定匹配点，并利用匹配点求出上述无人直升机的全局运动参数的步骤，在计算全局运动参数的步骤中应用迭代最小二乘法，剔除了匹配过程中出现的错误；

当上述全局运动参数符合着陆要求时，发出着陆指令的步骤，上述着陆指令即无人直升机可降落的信号；

特别是，在搜索着陆航标点步骤中可以针对任意事先设计的图案进行搜索，只要求航标点图案应明显区别于背景。

2.根据权利要求1所述的无人直升机着陆引导方法，其特征在于，在上述视觉传感器对目标的视觉图像进行采集，并根据计算机视觉原理从目标的视觉图像中提取关于目标的姿态、高度、速度信息。

3.根据权利要求1或2所述的无人直升机着陆引导方法，其特征在于，上述视觉传感器采用光学摄像机。

4.根据权利要求1所述的无人直升机着陆引导方法，其特征在于，在划定特征点选取区域的步骤中，利用阈值分割方法提取图标，然后对所得二值图像进行膨胀操作，由此得到图标所占的黑色区域，并将上述黑色区域划定为特征点选取区域。

5.根据权利要求1所述的无人直升机着陆引导方法，其特征在于，上述特征点为着陆航标点的角点。

6.根据权利要求1所述的无人直升机着陆引导方法，其特征在于，在上述求出全局运动参数的步骤中，简化认为两帧序列图像之间飞机只有平移和垂直方向的运动，并采用运动模型求出全局运动参数。

7.根据权利要求6所述的无人直升机着陆引导方法，其特征在于，应用迭代最小二乘法求解用于求得无人直升机当前相对速度信息和相对高度信息的尺度参数和平移参数，并以上述相对速度和相对高度信息为所述无人直升机的全局运动参数。

8.一种无人直升机着陆引导装置，包括：

视觉传感器，其配置于上述无人直升机上，用于采集相对于上述无人直升机的地面图像信息；

着陆航标点搜索模块，其接收来自上述视觉传感器的上述图像信息，并根据上述图像信息搜索着陆航标点；

特征点选取模块，其根据上述着陆航标点搜索信息确定基准图像，在上述基准图像内划定特征点选取区域，并选取特征点；

跟踪匹配模块，其在相对于基准图像的后续图像序列中，对上述特征点进行跟踪和匹配；

全局运动参数计算模块，其在上述特征点匹配成功时，计算上述无人直升机的全局运动参数；

着陆指令发出模块，其在上述全局运动参数符合着陆要求时，发出着陆指令；

其特征在于：着陆航标点搜寻模块可以针对任意图案设计方案，只要求航标点图案应明显区别于背景；

特征点选取模块只选取航标点区域范围内的特征点，而不是整幅图像；

全局运动参数计算模块应用迭代最小二乘法，消除了匹配过程中出现的错误。

9.根据权利要求8所述的无人直升机着陆引导装置，其特征在于，所述视觉传感器对目标的视觉图像进行采集，并根据计算机视觉原理从目标的视觉图像中提取关于目标的姿态、高度、速度信息。

10.根据权利要求8所述的无人直升机着陆引导装置，其特征在于，在划定特征点选取模块中，利用阈值分割方法提取图标，然后对所得二值图像进行膨胀操作，由此得到图标所占的黑色区域，并将上述黑色区域划定为特征点选取区域。

11.根据权利要求8所述的无人直升机着陆引导装置，其特征在于，上述特征点为着陆航标点的角点。

12.根据权利要求8所述的无人直升机着陆引导装置，其特征在于，在全局运动参数计算模块中，简化认为两帧序列图像之间飞机只有平移和垂直方向的运动，并采用运动模型求出全局运动参数。

13.根据权利要求8或12所述的无人直升机着陆引导装置，其特征在于，全局运动参数计算模块中应用迭代最小二乘法求得无人直升机当前相对速度信息和相对高度信息的尺度参数和平移参数，并以上述相对速度和相对高度信息为所述无人直升机的全局运动参数。

14.根据权利要求8所述的无人直升机着陆引导装置，其特征在于，上述视觉传感器采用光学摄像机。

Images