CN104215239A - 基于视觉的无人机自主着陆导引装置及导引方法 - Google Patents

基于视觉的无人机自主着陆导引装置及导引方法 Download PDF

Info

Publication number
CN104215239A
CN104215239A CN201410436145.6A CN201410436145A CN104215239A CN 104215239 A CN104215239 A CN 104215239A CN 201410436145 A CN201410436145 A CN 201410436145A CN 104215239 A CN104215239 A CN 104215239A
Authority
CN
China
Prior art keywords
centerdot
camera
unmanned plane
identification light
cooperation identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410436145.6A
Other languages
English (en)
Other versions
CN104215239B (zh
Inventor
张艳宁
杨涛
陈挺
余瑞
张晓强
冉令燕
卓涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201410436145.6A priority Critical patent/CN104215239B/zh
Publication of CN104215239A publication Critical patent/CN104215239A/zh
Application granted granted Critical
Publication of CN104215239B publication Critical patent/CN104215239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00

Abstract

本发明涉及一种基于视觉的无人机自主着陆导引装置及导引方法,利用在跑道两侧布置的已经过离线标定好的测量相机,实时检测进入自主导引降落航道后的搭载在无人机正前方的强光标志灯,利用经过大场景范围精确标定后的四个相机进行双目立体视觉测量技术获取无人机的三维空间位置信息进行无人机跟踪和定位,实时求解无人机位置和速度等飞行参数,并通过无线传输数据链将飞行参数传给飞行控制系统,飞控系统则根据无人机当前状态调整飞行参数保持飞机平稳飞行,从而实现无人机的精准自主着陆。

Description

基于视觉的无人机自主着陆导引装置及导引方法
技术领域
本发明涉及一种基于视觉的无人机自主着陆导引装置及导引方法,特别是涉及一套基于长短焦相机优化布局装置的无人机自主着陆导引方法。
背景技术
无人机自主着陆是指无人机利用导航设备和飞行控制系统进行定位导航并最终控制无人机降落着陆的过程。自主着陆对导航与控制精度及可靠性均有较高的要求,是无人机实现自主飞行的重要基础和关键技术。传统的无人机自主着陆的导航技术包括:惯性导航系统(INS)、GPS导航系统和INS/GPS组合导航系统。惯性导航系统是利用陀螺、加速度计等惯性元件感受运载器在运动过程中的加速度,然后通过积分计算,得到载体的位置与速度等导航参数,其最大缺点是误差会随着时间的推移而发散,因此难以长时间独立工作,而需与其它导航方法组合使用;GPS导航系统利用导航卫星进行导航定位,但由于完全依靠导航卫星,存在信号易受干扰和技术垄断等问题,在和平时期是一种很好的自主导航方法,但是在战争时期,其应用受到限制,因此并不是一种完全自主的导航技术。综上所述,传统导航方式在使用上受到很大限制,因而研究新型无人机自主着陆引导技术具有重要意义。现有的基于视觉的无人机导航系统主要包括:基于人工标志物的机载着陆导航系统、基于自然场景的机载着陆导航系统和基于地基信息的无人机着陆导航系统。
文献“无人机平台运动目标检测与跟踪及其视觉辅助着陆系统研究.国防科学技术大学,2008”公开实现了一套完整的基于地基信息的视觉导引着陆系统。为了减小环境因素对合作标志物检测的影响,该系统在无人机上安装红外LED灯,选择宽动态摄像机并在摄像机镜头前加载一带通滤光片,有效消除了光线强弱变化等带来的影响。但是该系统主要采用一种单帧目标权值计算方法进行复杂背景下的运动目标检测跟踪,该方法虽然对彩色或灰度图像上目标计算出基本符合人类视觉的权值,但是受限于红外LED的探测距离不超过200米的缺陷,红外弱小目标的远距离检测存在很大的问题;而且,该系统虽然可以实时准确地获得飞机相对跑道的位置信息,但是还不能获得无人机的姿态、速度和加速度等信息,无法精准的进行基于视觉的无人机自主着陆导引。
发明内容
要解决的技术问题
为了避免现有技术的无人机平台运动目标检测与跟踪及其视觉辅助着陆系统着陆精准度的不足以及红外LED探测距离小于200米的限制而导致的红外弱小目标远距离检测鲁棒性的不足,本发明提出一种基于视觉的无人机自主着陆导引装置及导引方法。
技术方案
一种基于视觉的无人机自主着陆导引装置,包括测量相机、可见光手电、全站仪、合作标志灯、三脚架、棱镜和计算机,其特征在于测量相机为四个,其中两个测量相机搭配12mm的长焦镜头进行远距离空中无人机目标检测定位,两个测量相机搭配8mm的短焦镜头进行无人机进入跑道区域之后的精准滑行定位;四个测量相机分为两组,每一组包含一个长焦测量相机和一个短焦测量相机固定在相机底座上,长焦测量相机和短焦测量相机间距为3cm,一组相机底座固定在一个相机支架上,两个相机支架对称装置在离跑道中轴线8m,离无人机着陆点60m的位置,两个相机支架保持平行安装,测量相机与跑道中轴线具有5°的夹角;8个合作标志灯位于跑道的两侧且满足在四个相机公共视野区域内,第1号合作标志灯和第5号合作标志灯对称,第2号合作标志灯和第6号合作标志灯对称,第3号合作标志灯和第7号合作标志灯对称,第4号合作标志灯和第8号合作标志灯对称,且第5号合作标志灯与第6号合作标志灯间距为50m,且第6号合作标志灯与第7号合作标志灯间距为100m,且第7号合作标志灯与第8号合作标志灯间距为150m。
所述的可见光手电的型号为美国神火强光手电,长和宽尺寸均为80cm,重量为200克,可见度超过400米。
所述的测量相机型号为PointGrey Flea 3-FW-03S1C/M-C,相机的规格为3cm×3cm×6cm;相机底座的规格大小1cm×9cm×11cm。
一种利用所述的基于视觉的无人机自主着陆导引装置实现的导引方法,其特征在于步骤如下:
步骤1:采用基于平面标定板的方法对相机进行内参标定,确定相机内参和基准点的空间坐标,所述的基准点为合作标志灯设置的位置,计算基准点平面与相机成像平面之间的单应变换H,将单应矩阵H分解为旋转矩阵R和平移向量T,完成外参标定;
步骤2:对相机采集的图像进行简单形态学预处理去除图像上的噪声,然后进行阈值分割,当图像像素值大于分割阈值T为候选目标前景图;对前景图进行聚类,像素距离fpd(pi,pj)小于前景聚类窗J聚为一类xi(i≥0),将每一个聚类的图像质心坐标确定为候选目标xi在图像中的坐标:
f pd ( p i , p j ) = ( p i x - p j x ) 2 + ( p i y - p j y ) 2
其中,pi、pj为图像像素点,分别为pi、pj像素点坐标值;
步骤3:计算两个相机采集的图像之间的对称转移误差,将其作为距离度量:
d ( x i 1 , x j 2 ) = d ( x i 1 , F T x j 2 ) + d ( x i 1 , Fx i 1 )
其中, I 1 = { x 1 1 , x 2 1 , · · · x i 1 , · · · x m 1 } 为第一个相机的候选目标集合, I 2 = { x 1 2 , x 2 2 , · · · x j 2 , · · · x n 2 } 为第二个相机的候选目标集合,F为两相机所成图像的基本矩阵;求解两个图像之间的匹配矩阵D:
D = d ( x 1 1 , x 1 2 ) d ( x 1 1 , x 2 2 ) · · · d ( x 1 1 , x n 2 ) d ( x 2 1 , x 1 2 ) d ( x 2 1 , x 2 2 ) · · · d ( x 2 1 , x n 2 ) · · · · · · · · · · · · d ( x m 1 , x 1 2 ) d ( x m 1 , x 2 2 ) · · · d ( x m 1 , x n 2 )
采用匈牙利算法求解匹配矩阵D获得t时刻的全局最优匹配作为检测定位结果Qt
步骤4:计算t-1时刻的目标跟踪结果Tt-1={Tt-1,Tt-2,…,Tt-Δ}(Δ≥3)和t时刻的检测定位结果之间的欧氏距离作为距离度量:
d 2 ( T t - i , Q j t ) = f ( X ) + f ( Y ) + f ( Z )
f ( X ) = ( X t - i - X j t ) 2 - ( X t - i - X t - i - 1 ) 2
f ( Y ) = ( Y t - i - Y j t ) 2 - ( Y t - i - Y t - i - 1 ) 2
f ( Z ) = ( Z t - i - Z j t ) 2 - ( Z t - i - Z t - i - 1 ) 2
其中,(Xt-i,Yt-i,Zt-i)为Tt-i的空间坐标,的空间坐标,取作为t时刻的目标跟踪结果 T t = { T t , T t - 1 , T t - 2 , · · · , T t - Δ } = { Q k t , T t - 1 , T t - 2 , · · · , T t - Δ } ;
步骤5:根据t时刻目标检测结果Tt在测量相机上的图像点p1与p2,利用双目相机测距方法计算无人机飞行空间坐标(X,Y,Z)和无人机飞行速度Speed:
( u 1 m 31 1 - m 11 1 ) X + ( u 1 m 32 1 - m 12 1 ) Y + ( u 1 m 33 1 - m 13 1 ) Z = m 14 1 - u 1 m 34 1 ( v 1 m 31 1 - m 21 1 ) X + ( v 1 m 32 1 - m 22 1 ) Y + ( v 1 m 33 1 - m 23 1 ) Z = m 24 1 - v 2 m 34 1
( u 2 m 31 2 - m 11 2 ) X + ( u 2 m 32 2 - m 12 2 ) Y + ( u 2 m 33 2 - m 13 2 ) Z = m 14 2 - u 2 m 34 2 ( v 2 m 31 2 - m 21 2 ) X + ( v 2 m 32 2 - m 22 2 ) Y + ( v 2 m 33 2 - m 23 2 ) Z = m 24 2 - v 2 m 34 2
Speed = ( X t - X t - 1 ) 2 + ( Y t - Y t - 1 ) 2 + ( Z t - Z t - 1 ) 2 3
其中,(u1,v1,1)与(u2,v2,1)分别为p1与p2点在图像中的图像齐次坐标,(X,Y,Z,1)为Tt点在世界坐标系下的齐次坐标;分别为Mk的第i行第j列元素;(Xt-1,Yt-1,Zt-1)和(Xt,Yt,Zt)分别为无人机在t-1和t时刻的空间坐标。
分割阈值T∈[40,100],前景聚类窗J∈[40,100]。
有益效果
本发明的有益效果是:基于长短焦相机优化布局装置的无人机自主着陆导引方法能够鲁棒地检测与跟踪无人机,实时高精度地测量无人机空间三维位置等参数,为无人机自动进场与高精度着陆提供精确导航信息。该系统的有效导引距离大于400m、该系统目标检测定位测量总延时小于25ms,包括采集、传输和处理的时间、该系统定位精度根据无人机与着陆点的距离,分别达到如下精度:①距着陆点400m处,光测系统XYZ方向的定位精度分别为20m、2m和2m;②距着陆点200米处,定位精度分别为5m、50cm和50cm;③距着陆点最后50米的定位精度均为20cm。
附图说明
图1本发明相机布局方案示意图1
图2本发明相机布局方案示意图2
图3本发明相机测量范围示意图
图4本发明场景高精度多相机协同标定布局设计示意图
具体实施方式
现结合实施例、附图对本发明作进一步描述:
一种基于视觉的无人机自主着陆导引装置,包括测量相机、可见光手电、全站仪、合作标志灯、三脚架、棱镜和计算机,所述的相机为4个,其型号为PointGrey Flea3-FW-03S1C/M-C高帧率测量相机,采用1/4 CCD传感器,帧率最高可达120Hz,分辨率为640×480,相机的规格大小为3cm×3cm×6cm,相机底座的规格大小1cm×9cm×11cm。其安装位置如图1-2所示,其中两个测量相机搭配12mm的长焦镜头进行远距离空中无人机目标检测定位,两个测量相机搭配8mm的短焦镜头进行无人机进入跑道区域之后的精准滑行定位;四个测量相机分为两组,每一组包含一个长焦测量相机和一个短焦测量相机固定在相机底座上,长焦测量相机和短焦测量相机间距为3cm,一组相机底座固定在一个相机支架上,两个相机支架对称装置在离跑道中轴线8m,离无人机着陆点60m的位置,两个相机支架保持平行安装,测量相机与跑道中轴线具有5°的夹角。
两个短焦镜头测量相机的公共视场范围覆盖无人机的跑道通道、两个长焦镜头测量相机的公共视场范围覆盖无人机的空中降落通道并且短焦镜头测量相机与长焦镜头测量相机有共同的公共视场范围覆盖,如附图3所示。当无人机下降距离小于400米时,利用长焦测量相机无人机图像进行远距离的无人机检测,控制无人机的飞行姿态、调整无人机的下降速度;当无人机下降距离小于100米时,利用短焦相机获取无人机图像进行近距离高精度的无人机定点着陆。
本装置采用8个合作标志灯,其安装位置如图4所示,8个合作标志灯位于跑道的两侧且满足在四个相机公共视野区域内,第1号合作标志灯和第5号合作标志灯对称,第2号合作标志灯和第6号合作标志灯对称,第3号合作标志灯和第7号合作标志灯对称,第4号合作标志灯和第8号合作标志灯对称,且第5号合作标志灯与第6号合作标志灯间距为50m,且第6号合作标志灯与第7号合作标志灯间距为100m,且第7号合作标志灯与第8号合作标志灯间距为150m。
在无人机上搭载可见度超过400米的超高强度的可见光手电,其中该手电型号为美国神火强光手电(SupFire),手电的长和宽尺寸均为80cm,重量为200克。强光手电的使用,突破了传统红外LED探测距离小于200米的限制,使该系统的测控距离提升至400米,实现了无人机远距离的探测定位,为保证该系统在不同复杂自然条件下对光源的鲁棒检测,强光手电装置在无人机正前方位置。
利用上述的导引装置实现的导引方法,步骤如下:
步骤1:采用基于平面标定板的方法对相机进行内参标定,确定相机内参和基准点的空间坐标,所述的基准点为合作标志灯设置的位置,计算基准点平面与相机成像平面之间的单应变换H,将单应矩阵H分解为旋转矩阵R和平移向量T,完成外参标定;
步骤2:由于相机获取的图像中,目标与背景灰度差异明显,因此首先对图像进行简单形态学预处理后去除图像上的噪声;然后进行阈值分割获得候选目标的前景图,其中,图像像素值大于分割阈值T∈[40,100]的即为候选目标前景图;接着对检测前景图进行目标聚类,每一个聚类的图像质心坐标确定为候选目标xi在图像中的坐标。其中,像素距离fpd(pi,pj)小于前景聚类窗宽J∈[40,100]聚为一类xi(i≥0)。本实施例中,T=60,J=60。
f pd ( p i , p j ) = ( p i x - p j x ) 2 + ( p i y - p j y ) 2
其中,pi、pj为图像像素点,分别为pi、pi像素点坐标值。
步骤3:设第一个相机的候选目标检测结果集合为第二个相机的候选目标检测结果集合为数据关联的任务就是确定的对应关系。空间目标在两相机上的像应满足对极几何约束,检测结果之间的对称转移误差作为距离度量即:
d ( x i 1 , x j 2 ) = d ( x i 1 , F T x j 2 ) + d ( x i 1 , Fx i 1 )
其中,F为一个秩为2的3×3矩阵,称为两相机之间的基本矩阵。等式右边为两摄像机中像点与对极线之间的距离。为获得两视图间最优的匹配结果,求解匹配矩阵D:
D = d ( x 1 1 , x 1 2 ) d ( x 1 1 , x 2 2 ) · · · d ( x 1 1 , x n 2 ) d ( x 2 1 , x 1 2 ) d ( x 2 1 , x 2 2 ) · · · d ( x 2 1 , x n 2 ) · · · · · · · · · · · · d ( x m 1 , x 1 2 ) d ( x m 1 , x 2 2 ) · · · d ( x m 1 , x n 2 )
采用匈牙利算法求解匹配矩阵D获得t时刻的全局最优匹配结果作为检测定位结果Qt
步骤4:设t-1时刻的目标跟踪结果为Tt-1={Tt-1,Tt-2,…,Tt-Δ}(Δ≥3),t时刻的检测定位结果为跟踪的任务就是确定Tt-i(i=1,...,Δ)和之间的对应关系。由于物体的运动是时空连续的,采用定位结果在三维空间中的欧氏距离作为距离度量:
d 2 ( T t - i , Q j t ) = f ( X ) + f ( Y ) + f ( Z )
f ( X ) = ( X t - i - X j t ) 2 - ( X t - i - X t - i - 1 ) 2
f ( Y ) = ( Y t - i - Y j t ) 2 - ( Y t - i - Y t - i - 1 ) 2
f ( Z ) = ( Z t - i - Z j t ) 2 - ( Z t - i - Z t - i - 1 ) 2
其中,(Xt-i,Yt-i,Zt-i)为Tt-i的空间坐标,的空间坐标。取做为t时刻的目标跟踪结果 T t = { T t , T t - 1 , T t - 2 , · · · , T t - Δ } = { Q k t , T t - 1 , T t - 2 , · · · , T t - Δ } .
步骤5:当无人机距离着陆点小于400m位置时,长焦镜头测量相机捕获无人机目标,在长焦镜头测量相机图像上进行实时解算获取无人机飞行速度及飞行空间坐标,并反馈飞行参数给飞控软件控制无人机飞行;当无人机距离着落点小于100m位置时,长焦镜头测量相机与短焦镜头测量同时捕获无人机目标,在短焦镜头测量相机图像上进行实时解算获取无人机飞行速度及飞行空间坐标,并反馈飞行参数给飞控软件控制无人机飞行;其中,无人机飞行空间坐标(X,Y,Z)和无人机飞行速度Speed的计算如下:
①无人机飞行空间坐标(X,Y,Z)的计算:无人机目标跟踪结果Tt在两个测量相机C1与C2上检测出来的是图像点p1与p2,即已知p1与p2为空间同一点Tt在两个图像上的对应点。因此在知道C1与C2摄像机的参数及它们的投影矩阵M1与M2后。就有
Z C 1 u 1 v 1 1 = M 1 X Y Z 1 = m 11 1 m 12 1 m 13 1 m 14 1 m 21 1 m 22 1 m 23 1 m 24 1 m 31 1 m 32 1 m 33 1 m 34 1 X Y Z 1
Z C 2 u 2 v 2 1 = M 2 X Y Z 1 = m 11 2 m 12 2 m 13 2 m 14 2 m 21 2 m 22 2 m 23 2 m 24 2 m 31 2 m 32 2 m 33 2 m 34 2 X Y Z 1
其中,(u1,v1,1)与(u2,v2,1)分别为p1与p2点在各自图像中的图像齐次坐标;(X,Y,Z,1)为Tt点在世界坐标系下的齐次坐标;分别为Mk的第i行第j列元素。按照摄像机的线性模型公式,可在上式中消去ZC1和ZC2,得到关于X,Y,Z的四个线性方程:
( u 1 m 31 1 - m 11 1 ) X + ( u 1 m 32 1 - m 12 1 ) Y + ( u 1 m 33 1 - m 13 1 ) Z = m 14 1 - u 1 m 34 1 ( v 1 m 31 1 - m 21 1 ) X + ( v 1 m 32 1 - m 22 1 ) Y + ( v 1 m 33 1 - m 23 1 ) Z = m 24 1 - v 2 m 34 1
( u 2 m 31 2 - m 11 2 ) X + ( u 2 m 32 2 - m 12 2 ) Y + ( u 2 m 33 2 - m 13 2 ) Z = m 14 2 - u 2 m 34 2 ( v 2 m 31 2 - m 21 2 ) X + ( v 2 m 32 2 - m 22 2 ) Y + ( v 2 m 33 2 - m 23 2 ) Z = m 24 2 - v 2 m 34 2
联立方程求出Tt的空间坐标(X,Y,Z)。
②无人机飞行速度Speed的计算:
Speed = ( X t - X t - 1 ) 2 + ( Y t - Y t - 1 ) 2 + ( Z t - Z t - 1 ) 2 3
其中,(Xt-1,Yt-1,Zt-1)和(Xt,Yt,Zt)分别为无人机在t-1和t时刻的空间坐标。

Claims (5)

1.一种基于视觉的无人机自主着陆导引装置,包括测量相机、可见光手电、全站仪、合作标志灯、三脚架、棱镜和计算机,其特征在于测量相机为四个,其中两个测量相机搭配12mm的长焦镜头进行远距离空中无人机目标检测定位,两个测量相机搭配8mm的短焦镜头进行无人机进入跑道区域之后的精准滑行定位;四个测量相机分为两组,每一组包含一个长焦测量相机和一个短焦测量相机固定在相机底座上,长焦测量相机和短焦测量相机间距为3cm,一组相机底座固定在一个相机支架上,两个相机支架对称装置在离跑道中轴线8m,离无人机着陆点60m的位置,两个相机支架保持平行安装,测量相机与跑道中轴线具有5°的夹角;8个合作标志灯位于跑道的两侧且满足在四个相机公共视野区域内,第1号合作标志灯和第5号合作标志灯对称,第2号合作标志灯和第6号合作标志灯对称,第3号合作标志灯和第7号合作标志灯对称,第4号合作标志灯和第8号合作标志灯对称,且第5号合作标志灯与第6号合作标志灯间距为50m,且第6号合作标志灯与第7号合作标志灯间距为100m,且第7号合作标志灯与第8号合作标志灯间距为150m。
2.根据权利要求1所述的基于视觉的无人机自主着陆导引装置,其特征在于所述的可见光手电的型号为美国神火强光手电,长和宽尺寸均为80cm,重量为200克,可见度超过400米。
3.根据权利要求1所述的基于视觉的无人机自主着陆导引装置,其特征在于所述的测量相机型号为PointGrey Flea 3-FW-03S1C/M-C,相机的规格为3cm×3cm×6cm;相机底座的规格大小1cm×9cm×11cm。
4.一种利用权利要求1所述的基于视觉的无人机自主着陆导引装置实现的导引方法,其特征在于步骤如下:
步骤1:采用基于平面标定板的方法对相机进行内参标定,确定相机内参和基准点的空间坐标,所述的基准点为合作标志灯设置的位置,计算基准点平面与相机成像平面之间的单应变换H,将单应矩阵H分解为旋转矩阵R和平移向量T,完成外参标定;
步骤2:对相机采集的图像进行简单形态学预处理去除图像上的噪声,然后进行阈值分割,当图像像素值大于分割阈值T为候选目标前景图;对前景图进行聚类,像素距离fpd(pi,pj)小于前景聚类窗J聚为一类xi(i≥0),将每一个聚类的图像质心坐标确定为候选目标xi在图像中的坐标:
f pd ( p i , p j ) = ( p i x - p j x ) 2 + ( p i y - p j y ) 2
其中,pi、pj为图像像素点,分别为pi、pj像素点坐标值;
步骤3:计算两个相机采集的图像之间的对称转移误差,将其作为距离度量:
d ( x i 1 , x j 2 ) = d ( x i 1 , F T x j 2 ) + d ( x i 1 , Fx i 1 )
其中, I 1 = { x 1 1 , x 2 1 , · · · x i 1 , · · · x m 1 } 为第一个相机的候选目标集合, I 2 = { x 1 2 , x 2 2 , · · · x j 2 , · · · x n 2 } 为第二个相机的候选目标集合,F为两相机所成图像的基本矩阵;求解两个图像之间的匹配矩阵D:
D = d ( x 1 1 , x 1 2 ) d ( x 1 1 , x 2 2 ) · · · d ( x 1 1 , x n 2 ) d ( x 2 1 , x 1 2 ) d ( x 2 1 , x 2 2 ) · · · d ( x 2 1 , x n 2 ) · · · · · · · · · · · · d ( x m 1 , x 1 2 ) d ( x m 1 , x 2 2 ) · · · d ( x m 1 , x n 2 )
采用匈牙利算法求解匹配矩阵D获得t时刻的全局最优匹配作为检测定位结果Qt
步骤4:计算t-1时刻的目标跟踪结果Tt-1={Tt-1,Tt-2,…,Tt-Δ}(Δ≥3)和t时刻的检测定位结果之间的欧氏距离作为距离度量:
d 2 ( T t - i , Q j t ) = f ( X ) + f ( Y ) + f ( Z )
f ( X ) = ( X t - i - X j t ) 2 - ( X t - i - X t - i - 1 ) 2
f ( Y ) = ( Y t - i - Y j t ) 2 - ( Y t - i - Y t - i - 1 ) 2
f ( Z ) = ( Z t - i - Z j t ) 2 - ( Z t - i - Z t - i - 1 ) 2
其中,(Xt-i,Yt-i,Zt-i)为Tt-i的空间坐标,的空间坐标,取作为t时刻的目标跟踪结果 T t = { T t , T t - 1 , T t - 2 , · · · , T t - Δ } = { Q k t , T t - 1 , T t - 2 , · · · , T t - Δ } ;
步骤5:根据t时刻目标检测结果Tt在测量相机上的图像点p1与p2,利用双目相机测距方法计算无人机飞行空间坐标(X,Y,Z)和无人机飞行速度Speed:
( u 1 m 31 1 - m 11 1 ) X + ( u 1 m 32 1 - m 12 1 ) Y + ( u 1 m 33 1 - m 13 1 ) Z = m 14 1 - u 1 m 34 1 ( v 1 m 31 1 - m 21 1 ) X + ( v 1 m 32 1 - m 22 1 ) Y + ( v 1 m 33 1 - m 23 1 ) Z = m 24 1 - v 2 m 34 1
( u 2 m 31 2 - m 11 2 ) X + ( u 2 m 32 2 - m 12 2 ) Y + ( u 2 m 33 2 - m 13 2 ) Z = m 14 2 - u 2 m 34 2 ( v 2 m 31 2 - m 21 2 ) X + ( v 2 m 32 2 - m 22 2 ) Y + ( v 2 m 33 2 - m 23 2 ) Z = m 24 2 - v 2 m 34 2
Speed = ( X t - X t - 1 ) 2 + ( Y t - Y t - 1 ) 2 + ( Z t - Z t - 1 ) 2 3
其中,(u1,v1,1)与(u2,v2,1)分别为p1与p2点在图像中的图像齐次坐标,(X,Y,Z,1)为Tt点在世界坐标系下的齐次坐标;分别为Mk的第i行第j列元素;(Xt-1,Yt-1,Zt-1)和(Xt,Yt,Zt)分别为无人机在t-1和t时刻的空间坐标。
5.根据权利要求1所述的基于视觉的无人机自主着陆导引方法,其特征在于分割阈值T∈[40,100],前景聚类窗J∈[40,100]。
CN201410436145.6A 2014-08-29 2014-08-29 基于视觉的无人机自主着陆导引装置实现的导引方法 Active CN104215239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410436145.6A CN104215239B (zh) 2014-08-29 2014-08-29 基于视觉的无人机自主着陆导引装置实现的导引方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410436145.6A CN104215239B (zh) 2014-08-29 2014-08-29 基于视觉的无人机自主着陆导引装置实现的导引方法

Publications (2)

Publication Number Publication Date
CN104215239A true CN104215239A (zh) 2014-12-17
CN104215239B CN104215239B (zh) 2017-02-08

Family

ID=52096977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410436145.6A Active CN104215239B (zh) 2014-08-29 2014-08-29 基于视觉的无人机自主着陆导引装置实现的导引方法

Country Status (1)

Country Link
CN (1) CN104215239B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105068548A (zh) * 2015-08-12 2015-11-18 北京贯中精仪科技有限公司 无人机着陆引导系统
CN105197252A (zh) * 2015-09-17 2015-12-30 武汉理工大学 一种小型无人机降落方法及系统
CN105335733A (zh) * 2015-11-23 2016-02-17 西安韦德沃德航空科技有限公司 一种无人机自主着陆视觉定位方法及系统
CN105387860A (zh) * 2015-12-16 2016-03-09 西北工业大学 结合单目视觉与激光测距的无人机自主着陆导引方法
CN105424059A (zh) * 2015-11-06 2016-03-23 西北工业大学 宽基线近红外相机位姿估计方法
CN105487550A (zh) * 2015-12-29 2016-04-13 西安斯凯智能科技有限公司 一种飞行装置的自主降落的系统及降落方法
CN105501457A (zh) * 2015-12-16 2016-04-20 南京航空航天大学 基于红外视觉的固定翼无人机自动着陆引导方法及系统
CN105890590A (zh) * 2016-04-12 2016-08-24 西北工业大学 基于红外激光灯与多相机阵列无人机远距离光学导引着陆系统
CN105929837A (zh) * 2016-04-23 2016-09-07 上海大学 小型无人旋翼机自主着陆位姿估计方法
CN105929847A (zh) * 2016-06-24 2016-09-07 南京奇蛙智能科技有限公司 一种无人机跟随航点可靠性的判断方法
CN106940888A (zh) * 2017-04-14 2017-07-11 上海工程技术大学 一种用于高空结构物的图像像素标定的辅助装置
CN107194941A (zh) * 2017-05-23 2017-09-22 武汉科技大学 一种基于单目视觉的无人机自主着陆方法、系统及电子设备
CN107239077A (zh) * 2017-06-28 2017-10-10 歌尔科技有限公司 一种无人机移动距离计算系统及方法
CN107437050A (zh) * 2016-05-28 2017-12-05 上海大学 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法
CN107798691A (zh) * 2017-08-30 2018-03-13 西北工业大学 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN108702462A (zh) * 2016-03-07 2018-10-23 亚马逊技术股份有限公司 自主运载工具上的入射光传感器
CN108974373A (zh) * 2018-07-19 2018-12-11 西安恒宇众科空间技术有限公司 基于双目视觉飞行器自主着陆装置
CN109032167A (zh) * 2018-04-27 2018-12-18 中国航空无线电电子研究所 基于并行启发式算法的无人机路径规划方法
CN109857128A (zh) * 2018-12-18 2019-06-07 顺丰科技有限公司 无人机视觉定点降落方法、系统、设备及存储介质
CN110231835A (zh) * 2019-07-04 2019-09-13 深圳市科卫泰实业发展有限公司 一种基于机器视觉的无人机精准降落方法
CN110244749A (zh) * 2019-04-22 2019-09-17 西北农林科技大学 一种农用无人机移动平台自主精准降落控制系统与方法
WO2020024211A1 (zh) * 2018-08-02 2020-02-06 深圳市道通智能航空技术有限公司 无人机降落方法、装置及无人机
CN111192318A (zh) * 2018-11-15 2020-05-22 杭州海康机器人技术有限公司 确定无人机位置和飞行方向的方法、装置及无人机
CN111412898A (zh) * 2020-04-16 2020-07-14 中国建筑股份有限公司 基于地空耦合的大区域变形摄影测量方法
CN112368741A (zh) * 2018-06-29 2021-02-12 祖克斯有限公司 传感器校准
CN112650304A (zh) * 2021-01-20 2021-04-13 中国商用飞机有限责任公司北京民用飞机技术研究中心 无人机自主着陆系统、方法和无人机
CN113747398A (zh) * 2020-05-29 2021-12-03 沃科波特有限公司 用于管理飞行器操作的系统和方法
US11767110B2 (en) 2019-12-16 2023-09-26 FLIR Unmanned Aerial Systems AS System for storing, autonomously launching and landing unmanned aerial vehicles
US11829162B2 (en) 2019-08-15 2023-11-28 Teledyne Flir Detection, Inc. Unmanned aerial vehicle locking landing pad

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007047953A2 (en) * 2005-10-20 2007-04-26 Prioria, Inc. System and method for onboard vision processing
EP1995560A2 (en) * 2007-05-24 2008-11-26 Honeywell International Inc. Flight path planning to reduce detection of an unmanned aerial vehicle
CN102156480A (zh) * 2010-12-30 2011-08-17 清华大学 基于自然地标和视觉导航的无人直升机自主着陆方法
CN103248139A (zh) * 2013-05-28 2013-08-14 东南大学 一种具备防窃电功能的磁耦合谐振式无线电能传输装置
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007047953A2 (en) * 2005-10-20 2007-04-26 Prioria, Inc. System and method for onboard vision processing
EP1995560A2 (en) * 2007-05-24 2008-11-26 Honeywell International Inc. Flight path planning to reduce detection of an unmanned aerial vehicle
CN102156480A (zh) * 2010-12-30 2011-08-17 清华大学 基于自然地标和视觉导航的无人直升机自主着陆方法
CN103278139A (zh) * 2013-05-06 2013-09-04 北京航空航天大学 一种可变焦单双目视觉传感装置
CN103248139A (zh) * 2013-05-28 2013-08-14 东南大学 一种具备防窃电功能的磁耦合谐振式无线电能传输装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
XU GUILI,ET AL: "Use of land’s cooperative object to estimate UAV’s pose for autonomous landing", 《CHINESE JOURNAL OF AERONAUTICS,》 *
张恒: "无人机平台运动目标检测与跟踪及其视觉辅助着陆系统研究", 《中国博士学位论文全文数据库,信息科技辑》 *
杨娇华,黄春雨: "长焦与短焦的光学系统对比应用的研究", 《才智 》 *
邓红德,王丽君,金波: "一种无人机自主着陆视觉跟踪方法", 《计算机测量与控制》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105068548B (zh) * 2015-08-12 2019-06-28 北京贯中精仪科技有限公司 无人机着陆引导系统
CN105068548A (zh) * 2015-08-12 2015-11-18 北京贯中精仪科技有限公司 无人机着陆引导系统
CN105197252A (zh) * 2015-09-17 2015-12-30 武汉理工大学 一种小型无人机降落方法及系统
CN105424059B (zh) * 2015-11-06 2018-10-16 西北工业大学 宽基线近红外相机位姿估计方法
CN105424059A (zh) * 2015-11-06 2016-03-23 西北工业大学 宽基线近红外相机位姿估计方法
CN105335733B (zh) * 2015-11-23 2023-08-11 西安韦德沃德航空科技有限公司 一种无人机自主着陆视觉定位方法及系统
CN105335733A (zh) * 2015-11-23 2016-02-17 西安韦德沃德航空科技有限公司 一种无人机自主着陆视觉定位方法及系统
CN105387860A (zh) * 2015-12-16 2016-03-09 西北工业大学 结合单目视觉与激光测距的无人机自主着陆导引方法
CN105501457A (zh) * 2015-12-16 2016-04-20 南京航空航天大学 基于红外视觉的固定翼无人机自动着陆引导方法及系统
CN105487550A (zh) * 2015-12-29 2016-04-13 西安斯凯智能科技有限公司 一种飞行装置的自主降落的系统及降落方法
CN108702462A (zh) * 2016-03-07 2018-10-23 亚马逊技术股份有限公司 自主运载工具上的入射光传感器
CN105890590A (zh) * 2016-04-12 2016-08-24 西北工业大学 基于红外激光灯与多相机阵列无人机远距离光学导引着陆系统
CN105929837A (zh) * 2016-04-23 2016-09-07 上海大学 小型无人旋翼机自主着陆位姿估计方法
CN105929837B (zh) * 2016-04-23 2019-04-02 上海大学 小型无人旋翼机自主着陆位姿估计方法
CN107437050B (zh) * 2016-05-28 2021-02-23 上海大学 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法
CN107437050A (zh) * 2016-05-28 2017-12-05 上海大学 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法
CN105929847B (zh) * 2016-06-24 2018-12-18 南京奇蛙智能科技有限公司 一种无人机跟随航点可靠性的判断方法
CN105929847A (zh) * 2016-06-24 2016-09-07 南京奇蛙智能科技有限公司 一种无人机跟随航点可靠性的判断方法
CN106940888B (zh) * 2017-04-14 2023-11-24 上海工程技术大学 一种用于高空结构物的图像像素标定的辅助装置
CN106940888A (zh) * 2017-04-14 2017-07-11 上海工程技术大学 一种用于高空结构物的图像像素标定的辅助装置
CN107194941A (zh) * 2017-05-23 2017-09-22 武汉科技大学 一种基于单目视觉的无人机自主着陆方法、系统及电子设备
CN107239077A (zh) * 2017-06-28 2017-10-10 歌尔科技有限公司 一种无人机移动距离计算系统及方法
CN107798691A (zh) * 2017-08-30 2018-03-13 西北工业大学 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN109032167A (zh) * 2018-04-27 2018-12-18 中国航空无线电电子研究所 基于并行启发式算法的无人机路径规划方法
CN112368741A (zh) * 2018-06-29 2021-02-12 祖克斯有限公司 传感器校准
CN108974373A (zh) * 2018-07-19 2018-12-11 西安恒宇众科空间技术有限公司 基于双目视觉飞行器自主着陆装置
CN108974373B (zh) * 2018-07-19 2019-12-13 西安恒宇众科空间技术有限公司 一种飞行器自主着陆方法和基于双目视觉飞行器自主着陆装置
WO2020024211A1 (zh) * 2018-08-02 2020-02-06 深圳市道通智能航空技术有限公司 无人机降落方法、装置及无人机
CN111192318A (zh) * 2018-11-15 2020-05-22 杭州海康机器人技术有限公司 确定无人机位置和飞行方向的方法、装置及无人机
CN111192318B (zh) * 2018-11-15 2023-09-01 杭州海康威视数字技术股份有限公司 确定无人机位置和飞行方向的方法、装置及无人机
CN109857128A (zh) * 2018-12-18 2019-06-07 顺丰科技有限公司 无人机视觉定点降落方法、系统、设备及存储介质
CN110244749A (zh) * 2019-04-22 2019-09-17 西北农林科技大学 一种农用无人机移动平台自主精准降落控制系统与方法
CN110231835A (zh) * 2019-07-04 2019-09-13 深圳市科卫泰实业发展有限公司 一种基于机器视觉的无人机精准降落方法
US11829162B2 (en) 2019-08-15 2023-11-28 Teledyne Flir Detection, Inc. Unmanned aerial vehicle locking landing pad
US11767110B2 (en) 2019-12-16 2023-09-26 FLIR Unmanned Aerial Systems AS System for storing, autonomously launching and landing unmanned aerial vehicles
CN111412898A (zh) * 2020-04-16 2020-07-14 中国建筑股份有限公司 基于地空耦合的大区域变形摄影测量方法
CN113747398A (zh) * 2020-05-29 2021-12-03 沃科波特有限公司 用于管理飞行器操作的系统和方法
CN113747398B (zh) * 2020-05-29 2023-12-08 沃科波特有限公司 用于管理飞行器操作的系统和方法
CN112650304A (zh) * 2021-01-20 2021-04-13 中国商用飞机有限责任公司北京民用飞机技术研究中心 无人机自主着陆系统、方法和无人机
CN112650304B (zh) * 2021-01-20 2024-03-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 无人机自主着陆系统、方法和无人机

Also Published As

Publication number Publication date
CN104215239B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN104215239B (zh) 基于视觉的无人机自主着陆导引装置实现的导引方法
CN104197928B (zh) 多摄像机协同的无人机检测、定位及跟踪方法
KR102434580B1 (ko) 가상 경로를 디스플레이하는 방법 및 장치
JP7125214B2 (ja) プログラムおよびコンピューティングデバイス
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
US20220124303A1 (en) Methods and systems for selective sensor fusion
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
Strydom et al. Visual odometry: autonomous uav navigation using optic flow and stereo
CN103680291B (zh) 基于天花板视觉的同步定位与地图绘制的方法
CN102967305B (zh) 基于大小回字标志物的多旋翼无人机位姿获取方法
CN110446159A (zh) 一种室内无人机精确定位与自主导航的系统及方法
CN107390704B (zh) 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN109911188A (zh) 非卫星导航定位环境的桥梁检测无人机系统
Yang et al. Panoramic UAV surveillance and recycling system based on structure-free camera array
CN105222760A (zh) 一种基于双目视觉的无人机自主障碍物检测系统及方法
CN103983263A (zh) 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
CN105424006A (zh) 基于双目视觉的无人机悬停精度测量方法
CN106019264A (zh) 一种基于双目视觉的无人机危险车距识别系统及方法
CN106767791A (zh) 一种采用基于粒子群优化的ckf的惯性/视觉组合导航方法
CN104076817A (zh) 一种高清视频航拍多模传感器自外感知智能导航系统及其方法
CN108416263A (zh) 一种适用于农情低空遥感监测的低成本的无人机高度测量方法
CN110081875A (zh) 一种仿鸽子智能的无人机自主导航系统及方法
CN111649737A (zh) 一种面向飞机精密进近着陆的视觉-惯性组合导航方法
Kong et al. Review on bio-inspired polarized skylight navigation
CN105807083A (zh) 一种无人飞行器实时测速方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant