CN107576329B - 基于机器视觉的固定翼无人机着降引导合作信标设计方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的固定翼无人机着降引导合作信标设计方法，针对点特征合作信标，在视觉设备参数确定的情况下，根据视觉引导的精度指标，使用视觉成像模型设计合作信标，以保证合作信标一直处于变化视场中并满足着降引导性能要求。本发明可以适用于无人机着降引导，实施方便、可操作性强，具有广泛的发展前景以及工程应用价值。

Description

基于机器视觉的固定翼无人机着降引导合作信标设计方法

技术领域

本发明属于合作信标设计方法，涉及一种基于机器视觉的固定翼无人机着降引导合作信标设计方法，使用视觉成像模型设计合作信标，可保证在进行无人机着降引导的过程中所搭载的视觉系统可以捕获合作信标，对有效实现信标的检测、识别及相对位姿解算，进而实现固定翼无人机着降引导具有重要意义。

背景技术

国内外目前主要使用全球导航卫星系统(Global Navigation SatelliteSystem,GNSS)进行固定翼无人机自主着降引导，但是该系统在使用中易受环境限制及信号干扰影响。因此，需要寻求一种简易、快捷、自主、可靠、精确的固定翼无人机着降引导方式。

基于视觉的着陆引导技术具有设备简单便宜、抗电子干扰等显著优点。该技术主要是通过安装在无人机上的视觉传感器来捕获设置有特征图案的导航标志图像，然后从中提取出标志点(或线)，根据这些标志点(或线)的物理位置信息来计算当前无人机相对于着陆平台的相对位姿信息，最后结合飞控系统一起引导并控制无人机安全着降到指定位置。

合作信标的设计是实现视觉着降引导的关键技术。目前所设计的合作信标多是圆形、矩形、三角形、特征点和特征线。固定翼无人机在着降过程中，根据已选定的视觉设备以及无人机着降引导的精度要求，当可见视场范围由大到小变化时，需要设计合作信标的间距、布置形状和布置范围，以保证合作信标一直处于变化视场中并满足着降引导性能要求。

当前利用机器视觉引导无人机着降的系统所采用的合作信标设计，一般都是从利于图像检测、识别和特征匹配出发的，并没有考虑到合作信标布局对引导精度、以及如何有效捕获该信标的影响。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于机器视觉的固定翼无人机着降引导合作信标设计方法，针对点特征合作信标，在视觉设备参数确定的情况下，根据视觉引导的精度指标，使用视觉成像模型设计合作信标，以保证合作信标一直处于变化视场中并满足着降引导性能要求。

技术方案

一种基于机器视觉的固定翼无人机着降引导合作信标设计方法，其特征在于步骤如下：

步骤1：通过相机与合作信标的距离h计算分辨率p：

其中：FOV为视觉设备的视场角，f为视觉设备的焦距，u为视觉设备的水平方向像素个数，v为视觉设备的竖直方向像素个数；

步骤2：利用小孔成像模型确定在与光轴垂直的平面上，合作信标特征点的最小间距D：

其中：x表示相机与被拍摄物体的垂直距离，Δx表示相机沿光轴方向移动到距离，μ表示真实成像单元的大小；

步骤3：

合作信标特征点间纵向距离D_r为：

合作信标特征点间横向排列间距D_c为：

其中：h_mark、l_mark和w_mark表示合作信标布置参数，α表示相机与无人机间的安装角，x_实际距离表示无人机与合作信标特征点间的垂直距离，h表示无人机距地面高度，θ表示无人机俯仰角，ψ表示无人机的偏航角；

步骤4、计算合作信标的可布置范围：

1、当无人机沿跑道中心线方向着降时，视场边界的坐标为(-w₁',l₂)、(w₂',l₂)、(-w₁,l₁)和(w₂,-l₁)，计算方法为：

其中：

2、当无人机不沿跑道中心线方向着降时，重新计算视场边界点位置，设在o'x'y'坐标系中的一点坐标为(x',y')，而该点在oxy坐标系中的坐标为(x,y)，根据下述公式得到视场边界点在oxy坐标系下的坐标：

其中：γ表示无人机质心与着降点之间的距离x在水平面上的投影与机场中心线间的夹角，无人机视场边界四个点在o'x'y'坐标系中的的坐标分别为：(-w₁',l₂)、(w₂',l₂)、(-w₁,l₁)和(w₂,-l₁)；

步骤5：当合作信标特征点间的关系满足步骤3中的条件时，合作信标特征点坐标(x,y)满足

以此确定合作信标布置位置；所述合作信标特征点坐标(x,y)在o'x'y'坐标系下的坐标为(x',y')。

所述视觉设备需要标定视觉设备的内部参数，确定视觉设备的视场角FOV、焦距f、相机水平方向像素个数u和竖直方向像素个数v。

有益效果

本发明提出的一种基于机器视觉的固定翼无人机着降引导合作信标设计方法，针对点特征合作信标，在视觉设备参数确定的情况下，根据视觉引导的精度指标，使用视觉成像模型设计合作信标，以保证合作信标一直处于变化视场中并满足着降引导性能要求。本发明可以适用于无人机着降引导，实施方便、可操作性强，具有广泛的发展前景以及工程应用价值。

本方法针对点特征合作信标进行设计，在视觉设备参数确定的情况下，根据视觉引导的精度指标，可实现：

1.保证合作信标一直处于变化视场中；

2.保证合作信标满足着降引导性能要求。

本合作信标设计方法可以适用于无人机着降引导，实施方便、可操作性强，具有广泛的发展前景以及工程应用价值。

附图说明

图1为视觉设备实际分辨率计算示意图

图2为合作信标特征点间距计算示意图

图3为合作信标纵向间距设计示意图

图4为合作信标横向间距设计示意图

图5为合作信标可布置的纵向距离示意图

图6为合作信标可布置的横向距离示意图

图7为合作信标的布置范围

图8为无人机视场范围示意图

图9为可布置合作信标的范围

图10为合作信标设计俯视图(左)与正视图(正)

具体实施方式

现结合实施例、附图对本发明作进一步描述：

基于机器视觉的固定翼无人机着降引导合作信标的设计方法，包括以下几个步骤：

第一步，标定视觉设备的内部参数，确定视觉设备的视场角FOV、焦距f、相机水平方向像素个数u和竖直方向像素个数v。如图1所示，通过相机与被拍摄物体的距离h计算分辨率p：

第二步，根据视觉引导精度需求，以图像敏感性为条件，利用小孔成像模型确定在与光轴垂直的平面上，合作信标特征点的最小间距D：

如图2所示，其中x表示相机与被拍摄物体的垂直距离，Δx表示相机沿光轴方向移动到距离，μ表示真实成像单元的大小。

第三步，结合视觉系统的安装角与无人机的姿态角，基于第二步，利用弱透视成像模型计算合作信标纵向排列间距与横向排列间距。

如图3所示，合作信标特征点间纵向距离D_r为：

如图4所示，合作信标特征点间横向排列间距D_c为：

其中h_mark、l_mark和w_mark表示合作信标布置参数，α表示相机与无人机间的安装角，x_实际距离表示无人机与合作信标特征点间的垂直距离，h表示无人机距地面高度，θ表示无人机俯仰角，ψ表示无人机的偏航角。

第四步，根据固定翼无人机在着降过程中的着降航迹，在保证整个着降过程中合作信标都可见的情况下，计算合作信标的可布置范围。

如图5所示，无人机沿跑道中心线方向着降时，视场边界的坐标(如图7所示)为(-w₁',l₂)、(w₂',l₂)、(-w₁,l₁)和(w₂,-l₁)，具体计算方法如式(5)式(6)所示。

如图8所示，无人机不沿跑道中心线方向着降时，需要重新计算视场边界点位置。设在o'x'y'坐标系中的一点坐标为(x',y')，而该点在oxy坐标系中的坐标为(x,y)，则有：

由几何关系易知：

其中γ表示无人机质心与着降点之间的距离x在水平面上的投影与机场中心线间的夹角。无人机视场边界四个点在o'x'y'坐标系中的的坐标分别为：(-w₁',l₂)、(w₂',l₂)、(-w₁,l₁)和(w₂,-l₁)，通过式(7)和式(8)则可以计算出视场边界点在oxy坐标系下的坐标。

第五步，在满足视觉引导精度需求、视场可变的条件下，设计合作信标形状，如图10所示，其中合作信标特征点间的关系满足式(3)与式(4)的条件。此外，合作信标特征点坐标(x,y)，其在图8中o'x'y'坐标系下的坐标为(x',y')，应满足式(9)的条件，由此便可以确定合作信标布置位置。

具体实施例：

若无人机着降视觉引导系统的引导需求如表1所示。

表1视觉引导系统引导精度要求

第一步，标定视觉设备的内部参数，确定视觉设备的分辨率、视场角和焦距。

视觉引导系统的相机参数如表2所示，镜头参数如表3所示。

表2相机参数

如图1所示，相机所拍摄的图像中，计算每一像素实际代表的物理距离方法如下所示：

其中FOV为相机视场角，u表示水平方向像素个数，v表示竖直方向像素个数，h表示相机距拍摄物体的距离，p为每像素对应的实际物理尺寸。

第二步，根据视觉引导精度需求，以图像敏感性为条件，利用小孔成像模型确定在与光轴垂直的平面上，合作信标特征点的最小间距。

在无人机着降引导过程中，无人机移动一段距离前后所捕获到的物象大小是否变化，会直接影响位姿解算的精度。考虑视觉系统的精度适用条件，如表1中在纵向距离1000米时需要保证纵向距离的计算精度为10米，这就表示在无人机与信标相距1000米变化到相距990米后，视觉设备所捕获的图像应该能反映出信标大小的变化，即信标光源间的距离投影到图像像素坐标系上的变化，本方法称此为合作信标的图像敏感性。

考虑图2所示的情况，当无人机从P1位置移动到P2位置时，即无人机与物体D的距离由x变化到x-Δx时，该物体D在图像物理坐标平面的成像由h-Δh变化到h。而Δh表示物像的实际变化情况，要把这种情况表现在图像像素坐标中则需要考虑真实成像单元的大小μ，由表2所示，在本例中表示为μ＝5.5μm。f表示相机焦距。

根据相似三角形原理，可得无人机位移Δx与D的关系为：

因此D应该满足的条件是：

将本例的约束条件

带入式(12)可得，D≥10.89m，即在与光轴垂直的平面上，信标光源间距最小设置为10.89米。

第三步，结合视觉系统的安装角与无人机的姿态角，基于第二步，利用弱透视成像模型计算合作信标纵向排列间距与横向排列间距。

1、合作信标纵向排列间距

在实际情况中，无人机着降时，光轴并不能总与信标光源之间的连线垂直，如图3所示。此时无人机距地面高度为h，与着降点的距离为x_实际距离，相机光轴与机体有一安装角α，相机的视场角为FOV，整个着降过程中无人机会调整俯仰角θ，放置两个信标特征点，特征点1放置在跑道上，特征点2放置在距地面h_mark高，其在跑道上的投影与特征点1的距离为l_mark，D表示两信标光源间距在与光轴垂直的平面上的投影，为便于分析，采用弱透视模型投影，根据几何关系易知：

2、合作信标横向排列间距

同理可得，在图4对于无人机有一偏航角ψ的情况，信标特征点间的相对位置用w_mark表示，使用弱透视模型，采用近似计算，根据几何关系易知：

第四步，根据固定翼无人机在着降过程中的着降航迹，在保证整个着降过程中合作信标都可见的情况下，计算合作信标的可布置范围。

1、无人机沿跑道中心线方向着降时

如图5所示，相机光轴与机体有一安装角α，相机的视场角为FOV，整个着降过程中无人机会调整俯仰角θ，飞机质心与着降点的距离为x，飞机质心距地高度为h，则信标光源布置范围l₁和l₂可表示为：

考虑无人机存在需要调整的偏航角ψ，如图6所示，则信标光源布置范围w₁和w₂可表示为：

其中x_light表示无人机上的相机光心到地面某处的距离，结合式(16)与式(17)可知信标光源的布置范围，如图7所示。其中：

2、无人机不沿跑道中心线方向着降时

上述情况假设开始进行视觉引导时无人机机头朝向在地面的投影与机场跑道平行，此外，无人机在整个着降过程中的着降航迹必须在包含机场跑道线且与地面垂直的平面内时，视觉导航方法才有效，这在现实操作中是很不实际的。

从实际出发，考虑无人机在一定空间范围内着降，如图8所示，当开始进行视觉导航时，无人机与跑道中心线在水平面有一偏移距离d，此时对应无人机需要调整的偏航角为ψ，设偏移距离d与无人机偏航角ψ之间存在某一函数关系，则有：

d＝f(ψ) (19)

无人机质心与着降点之间的距离x在水平面上的投影为x_flat，即：

其与机场中心线间的夹角为γ，则设偏移距离d与x_flat间的关系为：

d＝x_flatsinγ (21)

主要研究在这种情况下信标光源布置的有效位置，为方便分析，分别按照着降点与伪着降点为原点建立如图8中所示的平面直角坐标系oxy和o'x'y'。

设在o'x'y'坐标系中的一点坐标为(x',y')，而该点在oxy坐标系中的坐标为(x,y)，则有：

由几何关系易知：

图中(ψ左偏为负值)：

a＝x_flat(sin(-γ)-sin(-ψ)) (24)

图8中，无人机视场边界四个点在o'x'y'坐标系中的的坐标分别为：(-w₁',l₂)、(w₂',l₂)、(-w₁,l₁)和(w₂,-l₁)，联立式(16)至式(24)则可以计算出视场边界点在oxy坐标系下的坐标。

若无人机着降状态如表4中所示，远距离时无人机的位置可能在进场过程中与跑道中线有一定的距离，这时需要调整偏航角使其进入着降轨道；近距离条件下无人机的着降航迹在地面的投影应与跑道中线重合。

表4无人机着降中的状态

根据表4中的数据，计算每个状态下的可见视场，将其绘制在图9中。图中从左到右为同一场景的逐步放大图，右侧两幅图中所标注的红色区域就是无人机在所有状态下，成像设备可以拍摄到的视场重合部分，也就是可以布置合作信标的区域。

可以布置合作信标的区域是通过四个角点确定的梯形，其坐标值如表5所示。

表5可布置合作信标的区域角点坐标

第五步，在满足视觉引导精度需求、视场可变的条件下，设计合作信标形状并确定布置参数。

由此所设计的信标示意图的俯视图如图10(左)，其正视图如图10(右)所示，所设计的信标光源间位置需要满足式(14)与式(15)的条件，其中w'_mark，表示前两个特征点间的横向距离，w'_mark表示后两个特征点间的横向距离，h_mark与h'_mark表示后两个特征点的离地高度，当满足式(25)时，所设计的合作信标满足图像敏感性要求。

在图8中，以着降点为原点建立的平面直角坐标oxy中，每一个信标光源在水平面垂直投影的坐标(x,y)，对应于在以伪着降点为原点建立的平面直角坐标系o'x'y'中的坐标为(x',y')，应小于通过式(16)至式(24)所计算出视场边界点坐标，则有：

联立式(12)、式(14)与式(15)，由已知参数条件可得到h_mark、l_mark和w_mark的值，首先将合作信标某一特征点坐标设置为(x，y)，接着利用h_mark、l_mark和w_mark的值确定其他特征点的坐标，根据表1中所示的条件，若每个特征点的坐标都满足式(26)的约束，则该信标布局满足设计条件，否则重新选择初始点坐标。

根据本方法设计的视觉检测设备参数，安装角及表1所示的条件可得h_mark、l_mark和w_mark的关系如表6所示。

表6信标光源点间布置条件

Claims (2)

1.一种基于机器视觉的固定翼无人机着降引导合作信标设计方法，其特征在于步骤如下：

步骤1：通过相机与合作信标的距离h计算分辨率p：

其中：FOV为视觉设备的视场角，u为视觉设备的水平方向像素个数，v为视觉设备的竖直方向像素个数；

步骤2：利用小孔成像模型确定在与光轴垂直的平面上，合作信标特征点的最小间距D：

其中：x表示相机与被拍摄物体的垂直距离，Δx表示相机沿光轴方向移动到距离，μ表示真实成像单元的大小；f为视觉设备的焦距；

步骤3：

合作信标特征点间纵向距离D_r为：

合作信标特征点间横向排列间距D_c为：

其中：h_mark、l_mark和w_mark表示合作信标布置参数，α表示相机与无人机间的安装角，x_实际距离表示无人机与合作信标特征点间的垂直距离，h表示无人机距地面高度，θ表示无人机俯仰角，ψ表示无人机的偏航角；

步骤4、计算合作信标的可布置范围：

1、当无人机沿跑道中心线方向着降时，视场边界的坐标为(-w₁',l₂)、(w₂',l₂)、(-w₁,l₁)和(w₂,-l₁)，计算方法为：

其中：

2、当无人机不沿跑道中心线方向着降时，重新计算视场边界点位置，设在o'x'y'坐标系中的一点坐标为(x',y')，而该点在oxy坐标系中的坐标为(x,y)，根据下述公式得到视场边界点在oxy坐标系下的坐标：

其中：γ表示无人机质心与着降点之间的距离x在水平面上的投影与机场中心线间的夹角，无人机视场边界四个点在o'x'y'坐标系中的的坐标分别为：(-w₁',l₂)、(w₂',l₂)、(-w₁,l₁)和(w₂,-l₁)；

步骤5：当合作信标特征点间的关系满足步骤3中的条件时，合作信标特征点坐标(x,y)满足

以此确定合作信标布置位置；所述合作信标特征点坐标(x,y)在o'x'y'坐标系下的坐标为(x',y')。

2.根据权利要求1所述基于机器视觉的固定翼无人机着降引导合作信标设计方法，其特征在于：所述视觉设备需要标定视觉设备的内部参数，确定视觉设备的视场角FOV、焦距f、相机水平方向像素个数u和竖直方向像素个数v。

Images