CN113295164B - 一种基于机场跑道的无人机视觉定位方法及装置 - Google Patents

Abstract

本发明公开了一种基于机场跑道的无人机视觉定位方法及装置，涉及飞行器导航定位技术领域，本发明通过跑道信息和摄像单元所获得的跑道视觉图像实现了对于无人机的视觉定位，无需增加额外设备，对机场设施无要求，无需依赖外部信号源，避免了受到外界的干扰，相较于传统方式当中的定位方法，本发明有效简化了系统，降低了实施成本。

Description

一种基于机场跑道的无人机视觉定位方法及装置

技术领域

本发明涉及飞行器导航定位技术领域，具体而言，涉及一种基于机场跑道的无人机视觉定位方法及装置。

背景技术

飞行器着陆阶段的需要进行精确的下滑轨迹控制，以保证着陆点在合适的区域，这对飞行器起降安全至关重要。落点过于提前，在进入跑道前下降高度过快，有碰到障碍物的风险；落点过于推后，则对跑道长度利用不足，有冲出跑道的风险。起飞和降落时还需要使飞行器保持在跑道中心线附近，偏离过远则有从侧面滑出跑道的风险。

对于有人驾驶飞机，起降时相对跑道的位置判断是由飞行员依靠目视人工完成，起降阶段也是飞行员精神压力最大的阶段，现代航空的事故也多发生在起降阶段。现代化的飞机配备了自动驾驶仪，有效减轻了飞行员的负担，无人飞行器则主要依靠自主控制完成起降过程。

自动驾驶设备在起降阶段需要对下滑轨迹进行精确控制，目前主要有两种方式实现飞行器的定位。一种是微波波束导引，由机场专用设备在降落航迹上发出微波波束，相应的机载设备根据接收到的波束信号判断相对预定航迹的偏差，不断修正保持在合适轨迹上，实现安全着陆。另一种是差分GNSS定位。GNSS(全球卫星导航系统)定位的精度在10米的量级，由于飞机降落时下滑角较小，这通常会导致几百米的落点偏差。但同一时间这种偏差在一定区域是变化不大的，在地面设置差分站，实时测量GNSS定位与实际位置的偏差，为飞行器上的GNSS提供偏差修正，可有效提高定位精度至厘米级，满足飞行器降落轨迹控制的需要。

微波波束导引和差分GNSS都需要在机场及机上安装相应专用设备，增加系统的复杂性和成本。微波波束导引设备价格昂贵，往往在比较高等级的机场才会装备；差分GNSS设备相对廉价，但仍会增加一定的设备成本，差分GNSS与机上的通讯及机上的GNSS接收机还有受到干扰的可能。

发明内容

本发明旨在提供一种基于机场跑道的无人机视觉定位方法，其能够较为简单地、低成本地实现对无人机起降阶段的定位，或者较为简单地、低成本地实现对陌生起降环境中跑道宽度的识别。

本发明的实施例是这样实现的：

一种基于机场跑道的无人机视觉定位方法，包括步骤：

利用摄像单元获取跑道视觉图像；

建立视觉图像与摄像单元坐标系的映射关系；

获取摄像单元的姿态信息，然后识别视觉图像中跑道两侧的边线和中线，然后依据摄像单元的姿态信息、视觉图像与摄像单元坐标系的映射关系对所获得跑道视觉图像进行变换，获得摄像单元光轴与跑道方向平行的变换图像；

在变换图像中，以跑道一侧边线的最低点起始点做水平线，该水平线与跑道两侧边线所在直线分别交于A点、B点；将跑道两边线所在直线交点视为处于无穷远投影点，并以该交点为起始点做与所述水平线相交的垂线；

依据公式

在跑道实际宽度已知时，获得摄像单元视点相对于跑道的高度；然后依据摄像单元相对于跑道的高度，判断飞行器是否已起飞或已降落；

或者依据公式

在摄像单元视点相对于跑道的高度已知时，获得跑道实际宽度；

其中，H_o为摄像单元视点相对于跑道的高度，h为所述变换图像中垂线的长度，w为跑道实际宽度，d为变换图像中水平线上AB段的长度。

优选的，所述摄像单元的姿态信息包括摄像单元的俯仰角θ、偏航角ψ和滚转角φ。

优选的，所述步骤建立视觉图像与摄像单元坐标系的映射关系，包括步骤：

以x轴为摄像单元水平方向，y轴为摄像单元垂直方向，z轴为摄像单元光轴方向定义摄像单元坐标系Oxyz；位于坐标系中(x，y，z)处的物点在视觉图像上位置为(u，v)，则有：

其中，u₀、v₀、f_x、f_y为摄像单元内参，K为摄像单元内参矩阵。

优选的，所述步骤获取摄像单元的姿态信息并识别视觉图像中跑道两侧的边线和中线，然后依据摄像单元的姿态信息、视觉图像与摄像单元坐标系的映射关系对所获得跑道视觉图像进行变换，获得摄像单元光轴与跑道方向平行的变换图像，包括步骤：

使摄像单元与飞行器固定，飞机器获得自身的实时姿态信息，从而获得摄像单元的实时姿态信息；

消除视觉图像的滚转角及垂直水平相差，以光轴中心为坐标原点：

识别出视觉图像中跑道边线和中线，将跑道边线视为两条直线，在视觉图像中两条跑道边线的交点处于无穷远投影点，设该交点为P(u′_p，v′_p)，则摄像单元相对跑道的偏航角和俯仰角分别为：

Δθ＝--atanv′_p

Δψ＝--atan(u′_pcosΔθ)；

然后通过变换消除视觉图像中摄像单元相对跑道的俯仰角和偏航角：

从而获得摄像单元光轴与跑道方向平行的变换图像；

其中，m＝cosΔψ(cosΔθ-v′sinΔθ)-u′sinΔψ，以使矢量的第三分量等于1。

优选的，在跑道实际宽度已知时，还包括步骤获取飞机相对跑道中线偏距，具体包括以下步骤：

确定摄像单元、飞机器的相对安装位置；

获取所述摄像单元的视点相对跑道中线的偏距；

依据摄像单元视点与跑道中线的偏距、摄像单元、飞行器的相对安装位置获取飞机相对跑道中线的偏距。

优选的，所述步骤获取所述摄像单元的视点相对跑道中线的偏距包括步骤：

在变换图像中，依据公式：

而获取摄像单元视点相对跑道中线的偏距；

其中，S_o为所述摄像单元视点相对跑道中线的偏距，s为变换图像中所述水平线与跑道中线交点C点和水平点与垂线交点D点之间的间距。

优选的，在所述摄像单元、飞行器的相对安装位置为：所述摄像单元安装在飞行器的中面上时，所述摄像单元视点相对跑道中线的偏距即为飞行器相对于跑道中线的偏距。

优选的，在飞行器处于飞行姿态而跑道实际宽度已知时，还包括步骤：

确定所述摄像单元视点与飞行器起落架之间的高度差；

依据所述摄像单元视点相对于跑道的高度，判断飞行器起飞时，起落架是否离地，或者判断飞行器降落时，起落架是否接地。

优选的，所述摄像单元为前视摄像头。

本发明还提供一种基于机场跑道的无人机视觉定位装置，包括：

摄像单元，所述摄像单元用于获取跑道视觉图像；

视觉分析模块，所述视觉分析模块用于建立视觉图像与摄像单元坐标系的映射关系；所述视觉分析模块还用于获取摄像单元的姿态信息，然后识别视觉图像中跑道两侧的边线和中线，并依据摄像单元的姿态信息、视觉图像与摄像单元坐标系的映射关系对所获得跑道视觉图像进行变换，获得摄像单元光轴与跑道方向平行的变换图像；

处理模块，所述处理模块用于在所获得的变换图像中，以跑道一侧边线的最低点起始点做水平线，该水平线与跑道两侧边线所在直线分别交于A点、B点；将跑道两边线所在直线交点视为处于无穷远投影点，并以该交点为起始点做与所述水平线相交的垂线；然后依据公式

在跑道实际宽度已知时，获得摄像单元视点相对于跑道的高度；

其中，H_o为摄像单元视点相对于跑道的高度，h为所述变换图像中垂线的长度，w为跑道实际宽度，d为变换图像中水平线上AB段的长度。

由于采用了上述技术方案，本发明的有益效果包括：

本发明通过跑道信息和摄像单元所获得的跑道视觉图像实现了对于无人机的视觉定位，无需增加额外设备，对机场设施无要求，无需依赖外部信号源，避免了受到外界的干扰，相较于传统方式当中的定位方法，本发明有效简化了系统，降低了实施成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明所提供实施例1中经过变换后所获得的变换图像。

附图标记说明：

1-边线，2-中线。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，本发明的描述中若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，本发明的描述中若出现“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

本实施例提出一种基于机场跑道的无人机视觉定位方法，包括步骤：

利用摄像单元获取跑道视觉图像；

建立视觉图像与摄像单元坐标系的映射关系；

获取摄像单元的姿态信息，然后识别视觉图像中跑道两侧的边线和中线，然后依据摄像单元的姿态信息、视觉图像与摄像单元坐标系的映射关系对所获得跑道视觉图像进行变换，获得摄像单元光轴与跑道方向平行的变换图像；

在变换图像中，以跑道一侧边线的最低点起始点做水平线，该水平线与跑道两侧边线所在直线分别交于A点、B点；将跑道两边线所在直线交点视为处于无穷远投影点，并以该交点为起始点做与所述水平线相交的垂线；

依据公式

在跑道实际宽度已知时，获得摄像单元视点相对于跑道的高度；然后依据摄像单元相对于跑道的高度，判断飞行器是否已起飞或已降落；

其中，H_o为摄像单元视点相对于跑道的高度，h为所述变换图像中垂线的长度，w为跑道实际宽度，d为变换图像中水平线上AB段的长度。

请参见图1，本实施例中经过变换后的图像，经过对变换图像中各线段关系进行解算即可获得相机视点相对于跑道的高度，依据高度来判断飞行器是否离地或接地，从而实现对于无人机定位。

在本实施例中，上述无人机处于飞行姿态，而跑道实际宽度已知。同时，如果飞行器停放于陌生的起降环境，即摄像单元视点相对于跑道的高度能够较为轻易地获得时，而跑道实际宽度未知时，则依据公式

获得跑道实际宽度。

同时，所述摄像单元的姿态信息包括摄像单元的俯仰角θ、偏航角ψ和滚转角φ。在本实施例中，摄像单元与飞行器之间的位置关系是固定的，所以飞行器的俯仰角θ、偏航角ψ和滚转角φ即为摄像单元的姿态信息。实施人员可以通过实时获取飞行器的俯仰角θ、偏航角ψ和滚转角φ而获得摄像单元的姿态信息。

更为具体的，在本实施例中，所述步骤建立视觉图像与摄像单元坐标系的映射关系，具体包括步骤：

以x轴为摄像单元水平方向，y轴为摄像单元垂直方向，z轴为摄像单元光轴方向定义摄像单元坐标系Oxyz；位于坐标系中(x，y，z)处的物点在视觉图像上位置为(u，v)，则有：

其中，u₀、v₀、f_x、f_y为摄像单元内参，K为摄像单元内参矩阵。

所述步骤获取摄像单元的姿态信息并识别视觉图像中跑道两侧的边线和中线，然后依据摄像单元的姿态信息、视觉图像与摄像单元坐标系的映射关系对所获得跑道视觉图像进行变换，获得摄像单元光轴与跑道方向平行的变换图像，包括步骤：

使摄像单元与飞行器固定，飞机器获得自身的实时姿态信息，从而获得摄像单元的实时姿态信息；

消除视觉图像的滚转角及垂直水平相差，以光轴中心为坐标原点：

识别出视觉图像中跑道边线和中线，将跑道边线视为两条直线，在视觉图像中两条跑道边线的交点处于无穷远投影点，设该交点为P(u′_p，v′_p)，则摄像单元相对跑道的偏航角和俯仰角分别为：

Δθ＝--atanv′_p

Δψ＝--atan(u′_pcosΔθ)；

然后通过变换消除视觉图像中摄像单元相对跑道的俯仰角和偏航角：

从而获得摄像单元光轴与跑道方向平行的变换图像；

其中，m＝cosΔψ(cosΔθ-v′sinΔθ)-u′sinΔψ，以使矢量的第三分量等于1。

另外，对于无人机的定位而言，除了相机视点相对于跑道的高度外，飞机相对跑道中线的偏距也是一个重要参数。在本实施例中，跑道实际宽度已知，所以还包括有步骤获取飞机相对跑道中线偏距，其具体包括以下步骤：

确定摄像单元、飞机器的相对安装位置；

获取所述摄像单元的视点相对跑道中线的偏距；

依据摄像单元视点与跑道中线的偏距、摄像单元、飞行器的相对安装位置获取飞机相对跑道中线的偏距。

所述步骤获取所述摄像单元的视点相对跑道中线的偏距包括步骤：

在变换图像中，依据公式：

而获取摄像单元视点相对跑道中线的偏距；

其中，S_o为所述摄像单元视点相对跑道中线的偏距，s为变换图像中所述水平线与跑道中线交点C点和水平点与垂线交点D点之间的间距；d为变换图像中水平线上AB段的长度。

在本实施例中，所述摄像单元、飞行器的相对安装位置为所述摄像单元安装在飞行器的中面，所述摄像单元视点相对跑道中线的偏距即为飞行器相对于跑道中线的偏距。其中，上述中面即指无人机在其前行方向上左右对称的对称平面。

另外，在获取摄像单元视点相对跑道的高度后，为进一步更为直接地实现对于无人机的定位，在本实施例中，还包括步骤：

确定所述摄像单元视点与飞行器起落架之间的高度差；

依据所述摄像单元视点相对于跑道的高度，判断飞行器起飞时，起落架是否离地，或者判断飞行器降落时，起落架是否接地。具体是通过比较高度差的大小。

其中，由于飞行器的结构是固定的，所以上述摄像单元视点与飞行器起落架之间的高度差是较容易获知的。实施人员即可依据上述摄像单元视点与跑道的高度差而获知飞行器起降时的具体状态。

在本实施例中，上述摄像单元均为前视摄像头，其处于无人机的前端中面之上，前视摄像头是多数无人飞行器的标准配置，利用前视摄像头无须增加额外设备。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于机场跑道的无人机视觉定位方法，其特征在于，包括步骤：

利用摄像单元获取跑道视觉图像；

建立视觉图像与摄像单元坐标系的映射关系；

获取摄像单元的姿态信息，然后识别视觉图像中跑道两侧的边线和中线，然后依据摄像单元的姿态信息、视觉图像与摄像单元坐标系的映射关系对所获得跑道视觉图像进行变换，获得摄像单元光轴与跑道方向平行的变换图像；

在变换图像中，以跑道一侧边线的最低点起始点做水平线，该水平线与跑道两侧边线所在直线分别交于A点、B点；将跑道两边线所在直线交点视为处于无穷远投影点，并以该交点为起始点做与所述水平线相交的垂线；

依据公式

在跑道实际宽度已知时，获得摄像单元视点相对于跑道的高度；然后依据摄像单元视点相对于跑道的高度，判断飞行器是否已起飞或已降落；

或者依据公式

在摄像单元视点相对于跑道的高度已知时，获得跑道实际宽度；

其中，H_o为摄像单元视点相对于跑道的高度，h为所述变换图像中垂线的长度，w为跑道实际宽度，d为变换图像中水平线上AB段的长度；

所述摄像单元的姿态信息包括摄像单元的俯仰角θ、偏航角ψ和滚转角φ；

所述步骤建立视觉图像与摄像单元坐标系的映射关系，包括步骤：

以x轴为摄像单元水平方向，y轴为摄像单元垂直方向，z轴为摄像单元光轴方向定义摄像单元坐标系Oxyz；位于坐标系中(x，y，z)处的物点在视觉图像上位置为(u，v)，则有：

其中，u₀、v₀、f_x、f_y为摄像单元内参，K为摄像单元内参矩阵；

所述步骤获取摄像单元的姿态信息并识别视觉图像中跑道两侧的边线和中线，然后依据摄像单元的姿态信息、视觉图像与摄像单元坐标系的映射关系对所获得跑道视觉图像进行变换，获得摄像单元光轴与跑道方向平行的变换图像，包括步骤：

使摄像单元与飞行器固定，飞机器获得自身的实时姿态信息，从而获得摄像单元的实时姿态信息；

消除视觉图像的滚转角及垂直水平相差，以光轴中心为坐标原点：

识别出视觉图像中跑道边线和中线，将跑道边线视为两条直线，在视觉图像中两条跑道边线的交点处于无穷远投影点，设该交点为P(u′_p,v′_p)，则摄像单元相对跑道的偏航角和俯仰角分别为：

Δθ＝-atanv′_p

Δψ＝-atan(u′_pcosΔθ)；

然后通过变换消除视觉图像中摄像单元相对跑道的俯仰角和偏航角：

从而获得摄像单元光轴与跑道方向平行的变换图像；

其中，m＝cosΔψ(cosΔθ-v′sinΔθ)-u′sinΔψ，以使矢量的第三分量等于1。

2.如权利要求1所述一种基于机场跑道的无人机视觉定位方法，其特征在于，获取飞机相对跑道中线偏距，具体包括以下步骤：

确定摄像单元、飞机器的相对安装位置；

获取所述摄像单元的视点相对跑道中线的偏距；

依据摄像单元视点与跑道中线的偏距、摄像单元、飞行器的相对安装位置获取飞机相对跑道中线的偏距。

3.如权利要求2所述一种基于机场跑道的无人机视觉定位方法，其特征在于，所述步骤获取所述摄像单元的视点相对跑道中线的偏距包括步骤：

在变换图像中，依据公式：

而获取摄像单元视点相对跑道中线的偏距；

其中，S_o为所述摄像单元视点相对跑道中线的偏距，s为变换图像中所述水平线与跑道中线交点C点和水平点与垂线交点D点之间的间距。

4.如权利要求3所述一种基于机场跑道的无人机视觉定位方法，其特征在于，在所述摄像单元、飞行器的相对安装位置为：所述摄像单元安装在飞行器的中面上时，所述摄像单元视点相对跑道中线的偏距即为飞行器相对于跑道中线的偏距。

5.如权利要求1所述一种基于机场跑道的无人机视觉定位方法，其特征在于，在飞行器处于飞行姿态而跑道实际宽度已知时，还包括步骤：

确定所述摄像单元视点与飞行器起落架之间的高度差；

依据所述摄像单元视点相对于跑道的高度，判断飞行器起飞时，起落架是否离地，或者判断飞行器降落时，起落架是否接地。

6.如权利要求1所述一种基于机场跑道的无人机视觉定位方法，其特征在于，所述摄像单元为前视摄像头。

7.一种基于机场跑道的无人机视觉定位装置，其特征在于，包括：

摄像单元，所述摄像单元用于获取跑道视觉图像；

视觉分析模块，所述视觉分析模块用于建立视觉图像与摄像单元坐标系的映射关系；所述视觉分析模块还用于获取摄像单元的姿态信息，然后识别视觉图像中跑道两侧的边线和中线，并依据摄像单元的姿态信息、视觉图像与摄像单元坐标系的映射关系对所获得跑道视觉图像进行变换，获得摄像单元光轴与跑道方向平行的变换图像；

所述摄像单元的姿态信息包括摄像单元的俯仰角θ、偏航角ψ和滚转角φ；

所述建立视觉图像与摄像单元坐标系的映射关系，包括步骤：

以x轴为摄像单元水平方向，y轴为摄像单元垂直方向，z轴为摄像单元光轴方向定义摄像单元坐标系Oxyz；位于坐标系中(x，y，z)处的物点在视觉图像上位置为(u，v)，则有：

其中，u₀、v₀、f_x、f_y为摄像单元内参，K为摄像单元内参矩阵；

所述获取摄像单元的姿态信息并识别视觉图像中跑道两侧的边线和中线，然后依据摄像单元的姿态信息、视觉图像与摄像单元坐标系的映射关系对所获得跑道视觉图像进行变换，获得摄像单元光轴与跑道方向平行的变换图像，包括步骤：

使摄像单元与飞行器固定，飞机器获得自身的实时姿态信息，从而获得摄像单元的实时姿态信息；

消除视觉图像的滚转角及垂直水平相差，以光轴中心为坐标原点：

识别出视觉图像中跑道边线和中线，将跑道边线视为两条直线，在视觉图像中两条跑道边线的交点处于无穷远投影点，设该交点为P(u′_p,v′_p)，则摄像单元相对跑道的偏航角和俯仰角分别为：

Δθ＝-atanv′_p

Δψ＝-atan(u′_pcosΔθ)；

然后通过变换消除视觉图像中摄像单元相对跑道的俯仰角和偏航角：

从而获得摄像单元光轴与跑道方向平行的变换图像；

其中，m＝cosΔψ(cosΔθ-v′sinΔθ)-u′sinΔψ，以使矢量的第三分量等于1；

处理模块，所述处理模块用于在所获得的变换图像中，以跑道一侧边线的最低点起始点做水平线，该水平线与跑道两侧边线所在直线分别交于A点、B点；将跑道两边线所在直线交点视为处于无穷远投影点，并以该交点为起始点做与所述水平线相交的垂线；然后依据公式

在跑道实际宽度已知时，获得摄像单元视点相对于跑道的高度；然后依据摄像单元视点相对于跑道的高度，判断飞行器是否已起飞或已降落；

其中，H_o为摄像单元视点相对于跑道的高度，h为所述变换图像中垂线的长度，w为跑道实际宽度，d为变换图像中水平线上AB段的长度。

Images