CN112686149B - 一种基于视觉的固定翼无人机近地段自主着陆方法 - Google Patents
一种基于视觉的固定翼无人机近地段自主着陆方法 Download PDFInfo
- Publication number
- CN112686149B CN112686149B CN202011604372.7A CN202011604372A CN112686149B CN 112686149 B CN112686149 B CN 112686149B CN 202011604372 A CN202011604372 A CN 202011604372A CN 112686149 B CN112686149 B CN 112686149B
- Authority
- CN
- China
- Prior art keywords
- runway
- image
- aerial vehicle
- unmanned aerial
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 13
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提出了一种基于视觉的固定翼无人机近地段自主着陆方法、系统、装置、电子设备及存储介质，所述方法通过实时识别、跟踪图像中跑道线和地平线；基于摄影几何知识求解固定翼无人机的位姿；根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆，在GPS应用场景受限且受干扰、GPS或者惯性导航失效的情况下无人机仍然可以借助跑道图像实现安全自主着陆。
Description
技术领域
本发明涉及计算机视觉、图像处理技术领域，尤其涉及一种基于视觉的固定翼无人机近地段自主着陆方法、系统、电子设备及存储介质。
背景技术
无人机的自主着陆是指只依靠飞控系统和机载导航设备来完成降落任务。其中机载导航实时为飞控系统提供无人机的位置和姿态等飞行参数，对精度要求较高。传统的无人机导航系统通常是基于GPS和惯性导航系统，然而GPS应用场景受限且易受干扰，惯导的误差具有累积效应、精度无法维持，甚至在GPS或者惯性导航失效的情况下，无法完成自主着陆。
发明内容
本发明的目的在于提供一种基于视觉的固定翼无人机近地段自主着陆方法、系统、电子设备及存储介质，在GPS或者惯性导航失效的情况下解决跑道线和地平线识别与跟踪、无人机位姿解算以及嵌入式系统实现等关键技术问题。
第一方面，本发明实施例提供了一种基于视觉的固定翼无人机近地段自主着陆方法，所述方法包括以下步骤：
实时识别、跟踪图像中跑道线和地平线；
基于摄影几何知识求解固定翼无人机的位姿；
根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆。
其中，实时识别、跟踪跑道线和地平线包括：
采取阈值分割、中值滤波、边缘检测以及Hough变换的图像处理方法，得到跑道线检测结果；
基于图像消影点对检测的跑道线进行筛选；
基于最大类间方差识别地平线。
可选地，基于图像消影点对检测的跑道线进行筛选，图像上的任意两条跑道线与地平线三线相交于消影点，具体包括：
两两计算所有左右跑道线的交点；
计算所有跑道中线与地平线的交点并取均值，得到均值交点；
计算所有左右跑道线交点与均值交点的欧式距离，确定距离最小的交点所对应的左右跑道线为最终筛选的跑道线。
可选地，基于最大类间方差识别地平线包括：
穷举直线，并将使得直线上方和下方具有最大类间方差的直线作为粗检测结果；
在图像上等距离地选取若干个水平坐标，根据最大类间方差在地平线粗检测结果附近找到对应于这些水平坐标的最有可能在真实地平线上的点作为粗检测结果的地平线附近找到对应于这些水平坐标的点集；
结合根据随机抽样一致算法对水平坐标的点集进行最小二乘直线拟合，得到细检测的地平线。
可选地，基于摄影几何知识求解固定翼无人机的位姿包括：
所述固定翼无人机的位姿由识别的地平线和跑道线参数以及相机的主点内部参数，根据摄影几何知识推导得到。
第二方面，本发明实施例提供了一种基于视觉的固定翼无人机近地段自主着陆系统，其特征在于，所述近地段自主着陆系统包括：
机载摄像头，用于实时采集机场跑道图像；
视频采集模块，用于接收所述机载摄像头的传输图像；
图像处理板卡，其视频扩展输入口与视频采集模块连接，实时完成图像的采集，UART口与飞控计算机完成串口通讯，以太网口连接飞控计算机，完成对所述图像处理板卡的远程控制。
第三方面，本发明实施例提供了一种基于视觉的固定翼无人机近地段自主着陆控制装置，所述装置包括：
图像识别模块，用于实时识别、跟踪图像中跑道线和地平线；
计算模块，基于摄影几何知识求解固定翼无人机的位姿；
控制模块，根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆。
可选地，所述图像识别模块包括：
检测单元，采取阈值分割、中值滤波、边缘检测以及Hough变换的图像处理方法，得到跑道线检测结果；基于最大类间方差识别地平线。
筛选单元，基于图像消影点对检测的跑道线进行筛选。
第四方面，本发明实施例提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现上述的基于视觉的固定翼无人机近地段自主着陆方法。
第五方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：执行上述的基于视觉的固定翼无人机近地段自主着陆方法。
有益效果
本发明提出了一种基于视觉的固定翼无人机近地段自主着陆方法，通过实时识别、跟踪图像中跑道线和地平线；基于摄影几何知识求解固定翼无人机的位姿；根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆，在GPS应用场景受限且受干扰、GPS或者惯性导航失效的情况下无人机仍然可以借助跑道图像实现安全自主着陆。
附图说明
图1为本发明基于视觉的固定翼无人机近地段自主着陆方法一种实施例的流程图；
图2为图1中实时识别、跟踪跑道线和地平线方法的流程图；
图3为本发明基于视觉的固定翼无人机近地段自主着陆系统一种实施例的结构示意图；
图4为步骤S40中基于摄影几何知识求解固定翼无人机的位姿时的地面坐标系和机体坐标系；
图5为步骤S40中基于摄影几何知识求解固定翼无人机的位姿时的相机和图像坐标系；
图6为本发明基于视觉的固定翼无人机近地段自主着陆装置一种实施例的结构框图；
图7为图6中图像识别模块的结构框图；
图8为本发明一个实施例的电子设备的结构框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"内"、"外"、等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或系统必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
基于视觉的自主着陆是根据机载相机拍摄的实时着陆场景图像，通过识别跑道和地平线或者合作地标的点和线特征，再利用视觉测量方法达到计算位姿的目的。具有被动测量、低成本、高精度、测量全面和抗电磁干扰等优势。其中，基于合作地标的自主着陆需要在着陆场布置地标，不适用于固定翼无人机着陆。
本发明针对固定翼无人机近地段着陆，提出了实时识别、跟踪跑道线和地平线，并基于摄影几何知识求解位姿，最后在嵌入式系统上实现该方法。
下面结合附图说明和具体实施例对本发明作进一步描述：
本发明的目的在于提供一种基于视觉的固定翼无人机近地段自主着陆方法、系统、电子设备及存储介质，在GPS或者惯性导航失效的情况下解决跑道线和地平线识别与跟踪、无人机位姿解算以及嵌入式系统实现等关键技术问题。
图1示出了一种基于视觉的固定翼无人机近地段自主着陆方法一种实施例的流程图，如图1所示，本发明实施例提供了一种基于视觉的固定翼无人机近地段自主着陆方法，所述方法包括以下步骤：
S20、实时识别、跟踪图像中跑道线和地平线；
S40、基于摄影几何知识求解固定翼无人机的位姿；
S60、根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆。
本实施例提出了一种基于视觉的固定翼无人机近地段自主着陆方法，通过实时识别、跟踪图像中跑道线和地平线；基于摄影几何知识求解固定翼无人机的位姿；根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆，在GPS应用场景受限且易受干扰、GPS或者惯性导航失效的情况下无人机仍然可以借助跑道图像实现安全自主着陆。
具体地，S20实时识别、跟踪跑道线和地平线包括：
基于跑道在图像中占据较大面积且灰度值较大的特点，采取阈值分割、中值滤波、边缘检测以及Hough变换的图像处理方法，得到跑道线检测结果；基于图像消影点筛选最终的跑道线。
具体地，如图2所示，基于图像消影点对检测的跑道线进行筛选，是基于图像上的任意两条跑道线与地平线三线相交于消影点的原理，具体步骤为：
S201、两两计算所有左右跑道线的交点；
S202、计算所有跑道中线与地平线的交点并取均值，得到均值交点；
S203、计算所有左右跑道线交点与均值交点的欧式距离，取距离最小的交点所对应的左右跑道线为最终筛选的跑道线。
基于地平线的上方与下方区域内的灰度值都近似均匀的特点，采用一种基于最大类间方差的由粗到细的地平线检测方法。首先穷举直线，将直线上方和下方具有最大类间方差的直线作为粗检测结果，然后在图像上等距离地选取若干个水平坐标，同样根据最大类间方差在粗略的地平线附近找到对应于这些水平坐标的最有可能在真实地平线上的点。最后根据随机抽样一致(Random Sample Consensus,RANSAC)算法对这些点进行最小二乘直线拟合，得到细检测的地平线。
具体地，S40基于摄影几何知识求解固定翼无人机的位姿包括：
根据摄影几何知识解算无人机位姿。首先定义地面坐标系和机体坐标系，如图3所示，其中地面坐标系的原点位于跑道中线上。
(a)滚转角地平线在像素坐标系下的直线斜率的倾斜角(相机的光轴与机身轴线平行)。
(b)俯仰角θ：过图像中两条跑道线的交点，作与地平线平行的直线，图像中心到这条直线的距离与相机焦距的比值的反正切。
(c)偏航角ψ：地面坐标系和相机坐标系下的三维点满足：
记滚转、俯仰和偏航角分别为θ和ψ，那么
按照图4所示定义相机和图像坐标系。那么，图像像素、图像物理坐标以及相机坐标具有关系
X/f＝xc/zc＝(u-u0)/αx
Y/f＝yc/zc＝(v-v0)/αy (3)
图像中左右跑道线的交点，在地面坐标系下满足：当xw→∞时，yw＝zw＝0，那么
因此，偏航角ψ的计算公式为
当U＝u0,V＝v0 ψ＝0
当U≠u0
当U＝u0,V≠v0
(d)高度和侧偏距：分别定义成相机光心距离地面的垂直距离以及光心在地面的投影点距离跑道中线的距离。公式(1)也可以写成
那么，ty和tz即为侧偏距和高度。
左右两条跑道线在地面和图像坐标系的方程分别为
yi＝±L
aiu+biv+ci＝0 (7)
根据摄影几何知识以及矩阵的刚性变换，地面坐标系和图像坐标系下的跑道满足关系
记变量A为
那么公式(8)化简为
也即
由于对跑道上任意xw＞0，上式都成立，因此
L-ty-(Ar3/Ar2)tz＝0
-L-ty-(Al3/Al2)tz＝0 (12)
求解上线性方程组即可解得高度和侧偏距。
如图5所示，本发明实施例提供了一种基于视觉的固定翼无人机近地段自主着陆系统，所述近地段自主着陆系统包括：
机载摄像头，用于实时采集机场跑道图像；
视频采集模块，用于接收所述机载摄像头的传输图像；
图像处理板卡，其视频扩展输入口与视频采集模块连接，实时完成图像的采集，UART口与飞控计算机完成串口通讯，以太网口连接飞控计算机，完成对所述图像处理板卡的远程控制。
其中，图像处理板卡是基于ARM Cortex-A15，主频达1.5GHz，可在40ms内处理一帧图像，满足算法的实时性要求。板卡为Linux-4.4.19内核，直接通过制作SD启动卡完成系统移植，并在笔记本虚拟机的Ubuntu系统上完成交叉编译环境的搭建。
图像处理板卡具有丰富的外接设备，其视频扩展输入口可与视频采集模块连接，实时完成图像的采集；UART口与飞控计算机的串口模块完成串口通讯；以太网口直连飞控计算机，完成对图像处理板卡的远程控制。
如图6所示，本发明实施例提供了一种基于视觉的固定翼无人机近地段自主着陆控制装置，所述装置包括：
图像识别模块20，用于实时识别、跟踪图像中跑道线和地平线；
计算模块40，基于摄影几何知识求解固定翼无人机的位姿；
控制模块60，根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆。
优选的，如图7所示，所述图像识别模块20包括：
检测单元201，采取阈值分割、中值滤波、边缘检测以及Hough变换的图像处理方法，得到跑道线检测结果；基于最大类间方差识别地平线。
筛选单元202，基于图像消影点对检测的跑道线进行筛选。
本实施例提出了一种基于视觉的固定翼无人机近地段自主着陆装置，通过图像识别模块20实时识别、跟踪图像中跑道线和地平线；计算模块40基于摄影几何知识求解固定翼无人机的位姿；控制模块60根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆，在GPS应用场景受限且易受干扰、GPS或者惯性导航失效的情况下无人机仍然可以借助跑道图像实现安全自主着陆。
本申请实施例还提供了一种计算机电子设备，图8示出了可以应用本申请实施例的电子设备的结构示意图，如图8所示，该计算机电子设备包括，中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述软件安装装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的基于视觉的固定翼无人机近地段自主着陆方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于视觉的固定翼无人机近地段自主着陆方法，其特征在于，包括以下步骤：
实时识别、跟踪图像中跑道线和地平线；
基于摄影几何知识求解固定翼无人机的位姿；
基于摄影几何知识求解固定翼无人机的位姿包括：
根据摄影几何知识解算无人机位姿，首先定义地面坐标系和机体坐标系，其中地面坐标系的原点位于跑道中线上；
(a)滚转角地平线在像素坐标系下的直线斜率的倾斜角，相机的光轴与机身轴线平行；
(b)俯仰角θ：过图像中两条跑道线的交点，作与地平线平行的直线，图像中心到这条直线的距离与相机焦距的比值的反正切；
(c)偏航角ψ：地面坐标系和相机坐标系下的三维点满足：
记滚转、俯仰和偏航角分别为θ和ψ，那么：
定义相机和图像坐标系；那么，图像像素、图像物理坐标以及相机坐标具有关系；
X/f＝xc/zc＝(u-u0)/αx
Y/f＝yc/zc＝(v-v0)/αy (3)
图像中左右跑道线的交点，在地面坐标系下满足：当xw→∞时，yw＝zw＝0，那么：
因此，偏航角ψ的计算公式为：
当U＝u0,V＝v0ψ＝0；
当U≠u0；
当U＝u0,V≠v0
(d)高度和侧偏距：分别定义成相机光心距离地面的垂直距离以及光心在地面的投影点距离跑道中线的距离；公式(1)也可以写成：
那么，ty和tz即为侧偏距和高度；
左右两条跑道线在地面和图像坐标系的方程分别为：
yi＝±L
aiu+biv+ci＝0 (7)
根据摄影几何知识以及矩阵的刚性变换，地面坐标系和图像坐标系下的跑道满足关系：
记变量A为：
那么公式(8)化简为：
也即：
(Ar1/Ar2)xw+L-(Ar1/Ar2)tx-ty-(Ar3/Ar2)tz＝0
(Al1/Al2)xw-L-(Al1/Al2)tx-ty-(Al3/Al2)tz＝0 (11)
由于对跑道上任意xw>0，上式都成立，因此：
L-ty-(Ar3/Ar2)tz＝0
-L-ty-(Al3/Al2)tz＝0 (12)求解上线性方程组即可解得高度和侧偏距；
根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆。
2.根据权利要求1所述的近地段自主着陆方法，其特征在于，实时识别、跟踪跑道线和地平线包括：
采取阈值分割、中值滤波、边缘检测以及Hough变换的图像处理方法，得到跑道线检测结果；
基于图像消影点对检测的跑道线进行筛选；
基于最大类间方差识别地平线。
3.根据权利要求2所述的近地段自主着陆方法，其特征在于，所述基于图像消影点对检测的跑道线进行筛选，具体包括：
两两计算所有左右跑道线的交点；
计算所有跑道中线与地平线的交点并取均值，得到均值交点；
计算所有左右跑道线交点与均值交点的欧式距离，确定距离最小的交点所对应的左右跑道线为最终筛选的跑道线。
4.根据权利要求2所述的近地段自主着陆方法，其特征在于，基于最大类间方差识别地平线，是利用了地平线的上方为天空，下方为地面，两者区域内的灰度值都近似一致均匀的特点，具体步骤包括：
穷举直线，并将使得直线上方和下方具有最大类间方差的直线作为粗检测结果；
在图像上等距离地选取若干个水平坐标，根据最大类间方差在地平线粗检测结果附近找到对应于这些水平坐标的最有可能在真实地平线上的点作为粗检测结果的地平线附近找到对应于这些水平坐标的点集；
结合根据随机抽样一致算法对水平坐标的点集进行最小二乘直线拟合，得到细检测的地平线。
5.根据权利要求1所述的近地段自主着陆方法，其特征在于，基于摄影几何知识求解固定翼无人机的位姿包括：
所述固定翼无人机的位姿由识别的地平线和跑道线参数以及相机的主点内部参数，根据摄影几何知识推导得到。
6.一种基于视觉的固定翼无人机近地段自主着陆系统，其特征在于，基于权利要求1到5任意所述的方法，所述近地段自主着陆系统包括：
机载摄像头，用于实时采集机场跑道图像；
视频采集模块，用于接收所述机载摄像头的传输图像；
图像处理板卡，其视频扩展输入口与视频采集模块连接，实时完成图像的采集，UART口与飞控计算机完成串口通讯，以太网口连接飞控计算机，完成对所述图像处理板卡的远程控制。
7.一种基于视觉的固定翼无人机近地段自主着陆控制装置，其特征在于，所述装置包括：
图像识别模块，用于实时识别、跟踪图像中跑道线和地平线；
计算模块，基于摄影几何知识求解固定翼无人机的位姿；
基于摄影几何知识求解固定翼无人机的位姿包括：
根据摄影几何知识解算无人机位姿，首先定义地面坐标系和机体坐标系，其中地面坐标系的原点位于跑道中线上；
(a)滚转角地平线在像素坐标系下的直线斜率的倾斜角，相机的光轴与机身轴线平行；
(b)俯仰角θ：过图像中两条跑道线的交点，作与地平线平行的直线，图像中心到这条直线的距离与相机焦距的比值的反正切；
(c)偏航角ψ：地面坐标系和相机坐标系下的三维点满足：
记滚转、俯仰和偏航角分别为θ和ψ，那么：
定义相机和图像坐标系；那么，图像像素、图像物理坐标以及相机坐标具有关系；
X/f＝xc/zc＝(u-u0)/αx
Y/f＝yc/zc＝(v-v0)/αy (3)
图像中左右跑道线的交点，在地面坐标系下满足：当xw→∞时，yw＝zw＝0，那么：
因此，偏航角ψ的计算公式为：
当U＝u0,V＝v0ψ＝0；
当U≠u0；
当U＝u0,V≠v0
(d)高度和侧偏距：分别定义成相机光心距离地面的垂直距离以及光心在地面的投影点距离跑道中线的距离；公式(1)也可以写成：
那么，ty和tz即为侧偏距和高度；
左右两条跑道线在地面和图像坐标系的方程分别为：
yi＝±L
aiu+biv+ci＝0 (7)
根据摄影几何知识以及矩阵的刚性变换，地面坐标系和图像坐标系下的跑道满足关系：
记变量A为：
那么公式(8)化简为：
也即：
(Ar1/Ar2)xw+L-(Ar1/Ar2)tx-ty-(Ar3/Ar2)tz＝0
(Al1/Al2)xw-L-(Al1/Al2)tx-ty-(Al3/Al2)tz＝0 (11)
由于对跑道上任意xw>0，上式都成立，因此：
L-ty-(Ar3/Ar2)tz＝0
-L-ty-(Al3/Al2)tz＝0 (12)求解上线性方程组即可解得高度和侧偏距；
控制模块，根据固定翼无人机的位姿数据控制所述固定翼无人机准确着陆。
8.根据权利要求7所述的近地段自主着陆控制装置，其特征在于，所述图像识别模块包括：
检测单元，采取阈值分割、中值滤波、边缘检测以及Hough变换的图像处理方法，得到跑道线检测结果，基于最大类间方差识别地平线；
筛选单元，基于图像消影点对检测的跑道线进行筛选。
9.一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如权利要求1-5中任一项所述的基于视觉的固定翼无人机近地段自主着陆方法。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：执行权利要求1-5任一项所述的基于视觉的固定翼无人机近地段自主着陆方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011604372.7A CN112686149B (zh) | 2020-12-29 | 2020-12-29 | 一种基于视觉的固定翼无人机近地段自主着陆方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011604372.7A CN112686149B (zh) | 2020-12-29 | 2020-12-29 | 一种基于视觉的固定翼无人机近地段自主着陆方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686149A CN112686149A (zh) | 2021-04-20 |
| CN112686149B true CN112686149B (zh) | 2024-03-19 |
Family
ID=75454686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011604372.7A Active CN112686149B (zh) | 2020-12-29 | 2020-12-29 | 一种基于视觉的固定翼无人机近地段自主着陆方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686149B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113295164B (zh) * | 2021-04-23 | 2022-11-04 | 四川腾盾科技有限公司 | 一种基于机场跑道的无人机视觉定位方法及装置 |
| CN116661470A (zh) * | 2023-04-14 | 2023-08-29 | 成都飞机工业（集团）有限责任公司 | 一种基于双目视觉导引着陆的无人机位姿估计方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104977912A (zh) * | 2015-07-02 | 2015-10-14 | 深圳市蜂鸟智航科技有限公司 | 一种基于以太网交换总线的无人机飞行控制系统及方法 |
| CN105644785A (zh) * | 2015-12-31 | 2016-06-08 | 哈尔滨工业大学 | 一种基于光流法和地平线检测的无人机着陆方法 |
| CN107202982A (zh) * | 2017-05-22 | 2017-09-26 | 徐泽宇 | 一种基于无人机位姿计算的信标布置及图像处理方法 |
-
2020
- 2020-12-29 CN CN202011604372.7A patent/CN112686149B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104977912A (zh) * | 2015-07-02 | 2015-10-14 | 深圳市蜂鸟智航科技有限公司 | 一种基于以太网交换总线的无人机飞行控制系统及方法 |
| CN105644785A (zh) * | 2015-12-31 | 2016-06-08 | 哈尔滨工业大学 | 一种基于光流法和地平线检测的无人机着陆方法 |
| CN107202982A (zh) * | 2017-05-22 | 2017-09-26 | 徐泽宇 | 一种基于无人机位姿计算的信标布置及图像处理方法 |
Non-Patent Citations (3)
| Title |
|---|
| 利用地平线与跑道边缘线估计无人机着陆参数;庄丽葵;丁萌;曹云峰;;传感器与微系统(第03期);104-108 * |
| 基于机载视觉的无人机自主着舰引导关键技术研究;桂阳;《中国优秀博士论文全文数据库信息科技辑》;第C031-39页 * |
| 庄丽葵 ; 丁萌 ; 曹云峰 ; .利用地平线与跑道边缘线估计无人机着陆参数.传感器与微系统.2010,(第03期),104-108. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686149A (zh) | 2021-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210534B2 (en) | Method for position detection, device, and storage medium | |
| US10964054B2 (en) | Method and device for positioning | |
| CN109345593B (zh) | 一种摄像机姿态的检测方法及装置 | |
| US10102644B2 (en) | Method and a device for estimating an orientation of a camera relative to a road surface | |
| US8284997B2 (en) | Vision-based vehicle navigation system and method | |
| EP3968266B1 (en) | Obstacle three-dimensional position acquisition method and apparatus for roadside computing device | |
| CN109115173B (zh) | 基于直线定位模型的掘进机机身位姿单目视觉测量方法 | |
| CN112686149B (zh) | 一种基于视觉的固定翼无人机近地段自主着陆方法 | |
| CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
| CN109997150B (zh) | 用于对道路特征进行分类的系统和方法 | |
| CN112307810B (zh) | 一种视觉定位效果自检方法及车载终端 | |
| CN111598952B (zh) | 一种多尺度合作靶标设计与在线检测识别方法及系统 | |
| US11151729B2 (en) | Mobile entity position estimation device and position estimation method | |
| Dusha et al. | Fixed-wing attitude estimation using computer vision based horizon detection | |
| CN113781562B (zh) | 一种基于道路模型的车道线虚实配准和自车定位方法 | |
| US11953602B2 (en) | Detecting three-dimensional structure models at runtime in vehicles | |
| CN107543539B (zh) | 一种无人机的位置信息获取方法及无人机 | |
| CN115578470A (zh) | 一种单目视觉定位方法、装置、存储介质和电子设备 | |
| JP3005682B1 (ja) | 滑走路画像を用いた位置・姿勢の割出し方法およびその装置 | |
| CN113011212B (zh) | 图像识别方法、装置及车辆 | |
| CN114518106A (zh) | 高精度地图垂向要素更新检测方法、系统、介质及设备 | |
| CN114485577B (zh) | 一种基于视觉的无人机着陆姿态估计方法 | |
| CN115294234B (zh) | 图像的生成方法、装置、电子设备和存储介质 | |
| CN116740332B (zh) | 基于区域检测的星上空间目标部件中心定位和测角方法 | |
| CN117523004A (zh) | 相机外参标定方法、装置、设备和车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |