CN105501457A - 基于红外视觉的固定翼无人机自动着陆引导方法及系统 - Google Patents

Abstract

本发明公开了基于红外视觉的固定翼无人机自动着陆引导方法及系统，系统包括两个相同的图像跟踪模块、图像处理模块、控制模块、无线传输模块，图像跟踪模块包括摄像机和二轴云台。该方法利用图像跟踪技术在图像中检测识别并跟踪无人机，并精确记录云台的偏转角度；利用两云台俯仰航向角度及云台间的距离，经过几何关系解析和三角计算可确定无人机的相对空间位置，然后通过无线传输模块将无人机的位置信息发送给无人机，从而引导无人机精确着陆。本发明在无人机着陆跑道两侧搭建一套基于红外视觉的自动着陆引导系统，利用地面计算机的强大计算能力进行复杂的图像处理，最大限度利用各引导设备，提高了系统的精度，控制简单、实时性好、稳定性好。

Description

基于红外视觉的固定翼无人机自动着陆引导方法及系统

技术领域

本发明涉及一种基于红外视觉的固定翼无人机自动着陆引导方法及系统，属于导航定位与控制技术领域。

背景技术

无人机(UnmannedAerialVehicle)是指无人驾驶飞行器，主要用于执行战场侦察、炮火校正、目标指示、战场监视、中继制导、电子对抗等比较危险的任务。由于无人机具有预警时间短、隐蔽性好、侦察能力强、巡航时间长、成本低、作战环境要求低、战场生存能力强等特点，越来越受到各国军队的青睐，已成为军事强国追求现代战争“非接触”和“零伤亡”的理想武器。

自动着陆是固定翼无人机整个自动飞行过程中最危险也是要求最高的过程。要实现无人机的精确着陆，就必须具备自主导航能力。因此高精度的自主导航技术是无人机精确着陆的关键技术。目前国内外研究的用于无人机精确着陆的导航技术包括：惯性导航系统(InertialNavigationSystem，INS)、全球定位系统(GlobalPositionSystem，GPS)。其中惯性导航系统是最早最成熟的导航技术，它利用陀螺加速度计等惯性元器件感受无人机在运动过程中的加速度，然后通过积分计算，得到机体大概位置与速度等导航参数，它最大的缺点是误差会随着时间的推移而不断累加；GPS应用最为广泛，技术也相对成熟，它利用导航卫星来进行导航定位，具有精度高，使用简单等优点，但由于完全依靠卫星，在战争期间极易受到破坏，特别反卫星武器的发展，使得卫星导航的方式可能在战争中完全失去意义。同时，由于GPS的空间卫星结构不能保证100％的无故障率，以及飞行器在飞行过程中的飞行动作可能会影响接收机对GPS信号的接收。

视觉导航技术的飞速发展，为解决这一问题提供了新的方法。视觉导航利用传感器获得图像，通过图像处理得到无人机导航定位姿态参数。视觉传感器具有善于捕捉运动的信息，轻便、低功耗、体积小等优点；并且视觉传感器是被动传感器，抗干扰性能较好；精度适中，成本低。采用它独立完成或辅助完成无人机的精确着陆已成为国际上的一种发展趋势。然而，目前很多学者设计的视觉引导方案都是放在无人机上，不仅增加了无人机的重量，还因为载重有限，图像处理器性能不足，所以很难满足固定翼无人机速度快，着陆精度要求高的特点。

发明内容

本发明所要解决的技术问题是：提供一种基于红外视觉的固定翼无人机自动着陆引导方法及系统，在无人机着陆跑道两侧搭建一套基于红外视觉的自动着陆引导系统，该系统跟踪速度快、精度高。

本发明为解决上述技术问题采用以下技术方案：

基于红外视觉的固定翼无人机自动着陆引导方法，包括如下步骤：

步骤1，利用两个摄像机各自采集图像，且两个摄像机分别设置于无人机着陆跑道的左右两侧，对采集的图像进行预处理、边缘检测和轮廓跟踪，判断无人机是否出现在图像上；

步骤2，当无人机出现在图像上时，对无人机进行目标识别，并在识别到无人机时，计算无人机的中心在图像中的位置，判断无人机的中心与图像中心是否一致；

步骤3，当无人机的中心与图像中心不一致时，控制摄像机运动使无人机的中心始终与摄像机采集到的图像中心保持一致；

步骤4，当无人机的中心与图像中心一致时，根据两个摄像机的偏转角度和两个摄像机之间的距离计算出无人机相对于地面的位置信息；

步骤5，将该位置信息与无人机中预先设定的理想下滑轨迹信息进行对比，当出现误差时，调整无人机的飞行轨迹，使该飞行轨迹与理想下滑轨迹同步。

优选的，所述两个摄像机的镜头前均设置有红外滤光片。

优选的，所述无人机的机翼上平均设置有多个呈直线排列的红外LED。

优选的，步骤4所述无人机相对于地面的位置信息的计算公式为：

$\left\{\begin{array}{c}x=\frac{{\mathrm{Dtan\β}}_l}{{\mathrm{tan\β}}_l-{\mathrm{tan\β}}_r}\\ y=\frac{D}{{\mathrm{tan\β}}_l-{\mathrm{tan\β}}_r}\\ z=\frac{{\mathrm{Dtan\α}}_l}{{\mathrm{cos\β}}_l({\mathrm{tan\β}}_l-{\mathrm{tan\β}}_r)}\end{array}\right.,$

其中，x、y、z分别表示无人机在地面坐标系中的坐标，该地面坐标系以着陆跑道左边的摄像机镜头中心为原点，x轴垂直于着陆跑道，y轴平行于着陆跑道，D表示两个摄像机之间的距离，β_l、β_r分别表示着陆跑道左右两侧摄像机的航向角，α_l表示着陆跑道左边摄像机的俯仰角。

基于红外视觉的固定翼无人机自动着陆引导系统，包括两个相同的图像跟踪模块，以及图像处理模块、控制模块、无线传输模块；所述图像跟踪模块分别设置于着陆跑道的左右两侧，图像跟踪模块包括摄像机和二轴云台，摄像机设置于二轴云台的顶部；

所述图像跟踪模块用于采集图像，对无人机进行跟踪，并且在无人机的中心与图像中心一致时，记录二轴云台的偏转角度；

所述图像处理模块用于对图像进行预处理、边缘检测和轮廓跟踪；

所述控制模块用于判断经过处理后的图像上是否出现无人机，当无人机出现在图像上时，对无人机进行目标识别，并在识别到无人机时，计算无人机的中心在图像中的位置，判断无人机的中心与图像中心是否一致；当不一致时，控制图像跟踪模块运动使无人机的中心始终与摄像机采集到的图像中心保持一致；根据二轴云台的偏转角度和两个摄像机之间的距离计算出无人机相对于地面的位置信息；将该位置信息经无线传输模块发送至无人机，与无人机中预先设定的理想下滑轨迹信息进行对比，当出现误差时，调整无人机的飞行轨迹，使该飞行轨迹与理想下滑轨迹同步。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明自动着陆引导系统是放在地面或舰船上，地面视觉引导系统将图像处理得到的无人机姿态和位置参数通过无线传输模块传递给无人机的飞控系统，从而引导无人机完成特定功能。这种引导方式利用地面计算机的强大计算能力可以进行复杂的图像处理，最大限度利用各引导设备，提高系统的精度。该方式适合于对图像处理和运算要求比较高的固定翼无人机上。

2、本发明采用基于红外视觉的图像处理方案，在无人机机翼前缘安装一排红外LED，用以增强无人机的目标特征；在摄像机镜头前增加一片红外滤光片，允许红外光透过而截止可见光，从而排除可见光的影响，降低识别的难度。同时，也为后续图像的处理提供了方便，提高了系统的实时性。测试表明采用本方案处理一帧图像的时间为40ms，满足无人机着陆需要。

3、本发明自动着陆引导方法，具有控制简单、实时性好、精度高、稳定性好等优点，具有广阔的应用前景。

附图说明

图1是本发明自动着陆引导系统的整体架构图。

图2是本发明自动着陆引导系统的数学模型图。

图3是本发明自动着陆引导方法的流程图。

图4是本发明红外滤光片的特性图。

图5(a)、图5(b)分别是滤光前、滤光后的效果图。

图6是本发明摄像机成像关系图。

图7是本发明图像处理流程图。

图8是本发明无人机中心与图像中心一致时的图像。

图9是本发明纵向着陆控制结构图。

图10是本发明侧向着陆控制结构图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明自动着陆引导系统由两个相同的图像跟踪模块、图像处理模块、控制模块、无线传输模块组成，其中图像跟踪模块由摄像机和和高精度二轴云台(PTU)组成并分别置于跑道两侧，摄像机安装在二轴云台的顶部，如图1所示，利用图像跟踪技术在图像中检测识别并跟踪无人机，并精确记录云台偏转角度。利用两云台俯仰航向角度及云台间的距离，经过几何关系解析和三角计算可确定无人机的相对空间位置，然后通过数传将无人机的位置信息发送给无人机，从而引导无人机精确着陆。

假设地面坐标系原点在系统中的某台摄像机镜头中心(如左摄像机)，X轴垂直于跑道，Y轴平行于跑道，如图2所示，O_l和O_r是左右摄像机镜头中心，O_lO_r为系统基线(两云台间的距离)。α_l、β_l、α_r、β_r分别代表左右两侧云台的俯仰角和航向角。假设云台在初始位置时，α_l＝0、β_l＝0、α_r＝0、β_r＝0，顺时针方向转动为正。P为飞机所在位置，Q为P在XOY平面的垂向投影，设QR＝h，O_lO_r＝D，俯仰角α_l、α_r，航向角β_l、β_r可从着陆引导系统的云台中直接获取。

由于，htanβ_l-htanβ_r＝D，得到飞机在地面坐标系中的坐标为：

$\left\{\begin{array}{c}{x}_p={\mathrm{htan\β}}_l=\frac{{\mathrm{Dtan\β}}_l}{{\mathrm{tan\β}}_l-{\mathrm{tan\β}}_r}\\ y_p=h=\frac{D}{{\mathrm{tan\β}}_l-{\mathrm{tan\β}}_r}\\ z_p=\frac{{\mathrm{htan\α}}_l}{{\mathrm{cos\β}}_l}=\frac{{\mathrm{Dtan\α}}_l}{{\mathrm{cos\β}}_l({\mathrm{tan\β}}_l-{\mathrm{tan\β}}_r)}\end{array}\right..$

着陆引导系统工作流程如图3所示，由四个环节组成：图像处理、目标识别与跟踪、无人机相对位置参解算、着陆引导控制。当系统接收到开始导航的指令后，云台上的摄像机就开始采集周围图像，计算机对采集的图像进行预处理、边缘检测和轮廓跟踪，当无人机出现在视觉导航系统捕捉的范围内时，利用无人机的特征进行目标鉴别，找到该目标后计算目标轮廓的中心在图像中的位置，控制云台俯仰滚转运动使目标始终保持在图像的正中间，这时根据云台偏转角度和基线(两云台之间的距离)的距离解算出无人机相对于该系统的相对位置信息，通过无线传输模块将位置信息传递给无人机的着陆控制系统，从而控制无人机，使无人机沿着预定的理想下滑轨迹飞行，最终实现安全精确的着陆。

自动着陆引导系统的关键环节就是对无人机特征目标的识别。跑道复杂的背景以及无人机的姿态变化都不利于对飞机固有特征进行提取与识别，且太阳光对摄像头影响很大，解决的办法是在无飞机机翼前缘安装一排红外LED，用以增强无人机的目标特征。摄像机能同时接受红外和可见光，为排除可见光的影响，需要在摄像头前增加一片红外滤光片。红外滤光片即允许红外光透过而截止可见光的光学滤光片，是一种应用于过滤可见光波段的滤镜。深圳众来科技有限公司的ZL系列厚度为2mm的红外滤光片，其特性如图4所示。由图4可知，该红外滤光片对可见光截止，对800nm-1100nm波长的光线高透。选择功率为5w，波长930nm的红外LED，实验结果如图5(b)。

由图5(a)、5(b)对比可知，红外滤光片能极大程度削减可见光的干扰，增强无人机的特征降低识别的难度。同时，也为后续图像的处理提供了方便。

图像的成像模型按线性点来处理，如图6所示。其中,O_l、O_r两点为摄像机镜头的光心，x_loy_l面为成像平面，P_l、P_r分别为无人机显示在左右两个摄像机图像中的点。经红外特殊处理，对飞机特征识别转化为对红外LED灯的识别，处理后的图像背景较简单，通过OPENCV函数库对其识别的流程如图7所示。首先对获取的视频序列进行颜色通道分离及阈值化处理得到二值图像，然后进行轮廓提取并计算每个红外LED灯轮廓的中心坐标，无人机在图像中的位置可用6个红外LED灯的轮廓中心的均值来代替。如图8所示，图中较大的白色圆圈即为处理后无人机在图像中的位置，可利用图像点成像模型得到云台偏角。选取图像中心点(图像原点)作为图像中飞机运动的基准点，当飞机几何中心(x₀,y₀)偏离图像原点时，通过这两个值，即可求出偏转角，根据偏转角控制云台转动，从而使无人机在图像中始终位于图像中心，达到利用云台锁定无人机的目的。其偏转角：

$\left\{\begin{array}{c}\mathrm{\α}=arctan(x/y)\\ \mathrm{\β}=\arcsin (\sqrt{x^2+y^2}/f)\end{array}\right.,$

其中，f是摄像机焦距，x是x₀坐标换算成的实际长度，y是y₀坐标换算成的实际长度。

然后根据前面介绍的数学模型解算出无人机的相对空间位置，最后将其发送给导航计算机用以引导无人机着陆。实验结果表明，该视觉处理程序处理一帧图像的时间为40ms，满足无人机着陆控制需要。

自动着陆引导控制包括纵向和侧向着陆控制，如图9和图10所示。

图9中，视觉引导系统给出的高度H_s与理想基准下滑轨迹H_c不一致时，则出现着陆高度偏差H_er，通过飞行控制系统来控制飞机的姿态(Δθ)，使无人机飞行高度不断跟踪基准的下滑轨迹H_c，从而完成对高度的纠偏。

图10给出了基于视觉信息的侧向着陆控制结构，若视觉引导系统测得无人机的轨迹相对于理想轨迹有侧偏，则形成误差信号y_er，通过无人机轨迹L1控制器计算得到航向角偏差无人机上的侧向飞行控制系统收到该指令后操纵无人机不断修正航迹，以最终消除侧偏。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.基于红外视觉的固定翼无人机自动着陆引导方法，其特征在于，包括如下步骤：

步骤1，利用两个摄像机各自采集图像，且两个摄像机分别设置于无人机着陆跑道的左右两侧，对采集的图像进行预处理、边缘检测和轮廓跟踪，判断无人机是否出现在图像上；

步骤2，当无人机出现在图像上时，对无人机进行目标识别，并在识别到无人机时，计算无人机的中心在图像中的位置，判断无人机的中心与图像中心是否一致；

步骤3，当无人机的中心与图像中心不一致时，控制摄像机运动使无人机的中心始终与摄像机采集到的图像中心保持一致；

步骤4，当无人机的中心与图像中心一致时，根据两个摄像机的偏转角度和两个摄像机之间的距离计算出无人机相对于地面的位置信息；

步骤5，将该位置信息与无人机中预先设定的理想下滑轨迹信息进行对比，当出现误差时，调整无人机的飞行轨迹，使该飞行轨迹与理想下滑轨迹同步。

2.如权利要求1所述基于红外视觉的固定翼无人机自动着陆引导方法，其特征在于，所述两个摄像机的镜头前均设置有红外滤光片。

3.如权利要求1所述基于红外视觉的固定翼无人机自动着陆引导方法，其特征在于，所述无人机的机翼上平均设置有多个呈直线排列的红外LED。

4.如权利要求1所述基于红外视觉的固定翼无人机自动着陆引导方法，其特征在于，步骤4所述无人机相对于地面的位置信息的计算公式为：

$\left\{\begin{array}{c}x=\frac{D{\mathrm{tan\β}}_l}{{\mathrm{tan\β}}_l-{\mathrm{tan\β}}_r}\\ y=\frac{D}{{\mathrm{tan\β}}_l-{\mathrm{tan\β}}_r}\\ z=\frac{D{\mathrm{tan\α}}_l}{{\mathrm{cos\β}}_l({\mathrm{tan\β}}_l-{\mathrm{tan\β}}_r)}\end{array}\right.,$

其中，x、y、z分别表示无人机在地面坐标系中的坐标，该地面坐标系以着陆跑道左边的摄像机镜头中心为原点，x轴垂直于着陆跑道，y轴平行于着陆跑道，D表示两个摄像机之间的距离，β_l、β_r分别表示着陆跑道左右两侧摄像机的航向角，α_l表示着陆跑道左边摄像机的俯仰角。

5.基于红外视觉的固定翼无人机自动着陆引导系统，其特征在于，包括两个相同的图像跟踪模块，以及图像处理模块、控制模块、无线传输模块；所述图像跟踪模块分别设置于着陆跑道的左右两侧，图像跟踪模块包括摄像机和二轴云台，摄像机设置于二轴云台的顶部；

所述图像跟踪模块用于采集图像，对无人机进行跟踪，并且在无人机的中心与图像中心一致时，记录二轴云台的偏转角度；

所述图像处理模块用于对图像进行预处理、边缘检测和轮廓跟踪；

所述控制模块用于判断经过处理后的图像上是否出现无人机，当无人机出现在图像上时，对无人机进行目标识别，并在识别到无人机时，计算无人机的中心在图像中的位置，判断无人机的中心与图像中心是否一致；当不一致时，控制图像跟踪模块运动使无人机的中心始终与摄像机采集到的图像中心保持一致；根据二轴云台的偏转角度和两个摄像机之间的距离计算出无人机相对于地面的位置信息；将该位置信息经无线传输模块发送至无人机，与无人机中预先设定的理想下滑轨迹信息进行对比，当出现误差时，调整无人机的飞行轨迹，使该飞行轨迹与理想下滑轨迹同步。