CN105021184A - 一种用于移动平台下视觉着舰导航的位姿估计系统及方法 - Google Patents

一种用于移动平台下视觉着舰导航的位姿估计系统及方法 Download PDF

Info

Publication number
CN105021184A
CN105021184A CN201510397043.2A CN201510397043A CN105021184A CN 105021184 A CN105021184 A CN 105021184A CN 201510397043 A CN201510397043 A CN 201510397043A CN 105021184 A CN105021184 A CN 105021184A
Authority
CN
China
Prior art keywords
angle
pose
angle point
module
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510397043.2A
Other languages
English (en)
Other versions
CN105021184B (zh
Inventor
刘贵喜
黄楠楠
范勇涛
李斯
唐海军
姚李阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201510397043.2A priority Critical patent/CN105021184B/zh
Publication of CN105021184A publication Critical patent/CN105021184A/zh
Application granted granted Critical
Publication of CN105021184B publication Critical patent/CN105021184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00

Abstract

本发明属于无人机自主着舰领域,具体涉及一种用于移动平台下视觉着舰导航的位姿估计系统及方法。本发明通过对合作地标的处理可实时的解算出移动舰船相对于无人机的位姿信息,算法计算量小,实时性好,实施起来简单,为无人机的安全着舰提供了前提;本方法用摄像机作为主要的传感器,可降低研发成本,缩短研发周期。

Description

一种用于移动平台下视觉着舰导航的位姿估计系统及方法
技术领域
本发明属于无人机自主着舰领域,具体涉及一种用于移动平台下视觉着舰导航的位姿估计系统及方法。
背景技术
无人机自主着降能力是自主飞行能力的核心部分。在现有的着陆导航方式中,惯性导航由于需要通过积分运算来得到飞行器大概位置和速度信息,使得误差会随着时间的推移不断增加;GPS(GlobalPositioning System)卫星导航容易受到电子干扰;INS/GPS(INS:InertialNavigation System)组合导航系统只能定位自身的位姿信息,若在特定地点实施降落,即便在提前知晓降落点经纬度的情况下,也难以保证降落的精度。当需要在移动平台上实施自主降落时,除非能获知平台的实时姿态及位置信息,否则无法完成降落任务。由此可知,单独使用INS/GPS组合导航系统并不能提供无人机自主降落所需的导航信息。
现有的基于计算机视觉着陆导航技术主要解决无人机在静止平台上的着陆问题,很少涉及到移动平台上的着舰问题;并且对于获取全部三维位姿信息的情况,现有技术一般采用双目立体视觉对场景进行三维重建而获得目标的位姿信息,采用双目立体视觉方法可以处理大部分的场景,但重建后获得的深度信息可能有深度丢失的情况从而导致位姿信息计算不完整或错误;同时基于双目视觉的三维重建计算量大,实时性不好。
发明内容
本发明的目的是提供一种用于移动平台下视觉着舰导航的位姿估计系统及方法,以便有效的降低开发成本,缩短视觉导航技术的研发周期,实现无人机在移动平台上安全着陆。
本发明的技术方案是:一种用于移动平台下视觉着舰导航的位姿估计方法,具体步骤是:
步骤101:开始对无人机视觉着舰导航进行位姿估计;
步骤102:设计一个由两个长3米、宽1米的矩形组成的黑色“T”型地标;正视地标时,左上角角点定为地标坐标系原点,坐标为(0,0);
步骤103:由全球定位系统导航和惯性导航组成的组合导航方式引导无人机飞行;
步骤104:通过目标匹配判断无人机是否到达着舰地标上空,若是则执行步骤105,否则执行步骤103,继续引导飞行;
步骤105:摄像机获取图像;
步骤106:对获取的图像进行二值化、形态学运算、轮廓提取处理,为步骤108提取角点做准备;
步骤107:运用直方图匹配算法进行目标匹配;
步骤108:对匹配成功的图像提取8个Harris角点,结果为像素坐标系下y坐标最小的点为初始点,其余各点依轮廓顺时针排列,并保留每个角点的像素坐标;
步骤109:跟踪步骤108提取的角点;
步骤110:判断步骤108得到的角点排列方式,当a、b两点之间距离大于a、h两点之间距离时步骤109所得排序即为正确顺序,当a、b两点之间距离小于a、h两点之间距离时需要对所有点重新排序,遍历轮廓,取x坐标最小的点为初始点,其余各点按轮廓顺时针依次排序;
步骤111:使用步骤110得到的角点像素坐标、初始化得到的角点世界坐标、摄像机参数矩阵、各坐标系之间的关系求解位姿估计值;
步骤112:对由惯性传感器和全球定位系统估计到的位姿数据和视觉算法解算的位姿数据进行融合,得到最终结果;
步骤113:判断位姿估计算法是否完成,如果是,则视觉着舰导航位姿估计算法结束,否则转至步骤103;
步骤114:视觉着舰导航位姿估计算法结束。
一种用于移动平台下视觉着舰导航的位姿估计系统,其特征是包括:
地标设计模块,用于提供需要的地标;
图像处理模块,用于对当前帧图像进行图像处理,使用多边形拟合算法对着陆地标进行多边形拟合并进行直方图匹配,匹配成功后提取8个Harris角点,对所得角点顺时针排序与着陆地标对应后将结果传至位姿解算模块;
数据融合模块,用于提高位姿估计的准确性;
位姿解算模块,用于计算移动舰船相对于无人机的位姿数据;首先计算无人机相对于着陆地标的旋转矩阵和平移矩阵,然后通过欧拉角与旋转矩阵关系得到姿态角估计值,通过平移矩阵和系统坐标系转换关系计算得到位置估计值,最后,用求得的位姿数据减去由惯性传感器和全球定位系统得到的无人机的位姿数据即可得到船相对于无人机的位姿数据,实时估计位姿数据;
角点提取模块,对摄像机模块传送的图像数据进行角点提取,把提取到的8个角点送至角点跟踪模块;
角点跟踪模块,把跟踪的角点送至角点排序模块;
角点排序模块,对所得到地标角点进行排序,与物理坐标系下着陆地标各角点一一对应并将角点序列传送至位姿解算模块。
所述的位姿解算模块使用摄像机内参矩阵、三维空间到二维平面的投影关系计算摄像机坐标系相对于着舰地标坐标系的旋转平移矩阵RT,并利用欧拉角与旋转矩阵关系得到姿态角估计值;使用姿态角估计所计算得到的平移矩阵和系统坐标系转换关系计算得到位置估计值,再用求得的位姿数据减去由惯性传感器和全球定位系统得到的无人机的位姿数据即可得到船相对于无人机的位姿数据,然后经过数据融合模块得到最终数据。
所述的地标设计模块设计了由两个长3米、宽1米的矩形组成的“T”型地标,地标的颜色为黑色,比值长3米、宽1米可以保证8个角点的提取和排序;正视地标时,左上角角点定为地标坐标系原点,坐标为(0,0),其余各点顺时针排序,坐标依次为(3,0)、(3,1)、(2,1)、(2,4)、(1,4)、(1,1)、(0,1)。
所述图像处理模块,包括图像预处理模块、角点提取模块、角点跟踪模块和角点排序模块;图像预处理模块首先对摄像机拍摄到的图像进行灰度化、二值化、形态学运算、轮廓提取、直方图匹配处理;角点提取模块用于提取“T”型地标的8个Harris角点,从左上角开始顺时针依次标记为a,b,c,d,e,f,g,h;角点跟踪模块是运用高斯光流法跟踪运动中的角点,防止目标丢失;角点排序模块用于将所保留的角点顺序为像素坐标系下y坐标最小的点为初始点,其余各点顺时针依次排列;当角点排序模块所得图像角点a、b两点之间距离大于a、h两点之间距离时的角点排序即为正确顺序;当角点排序所得图像角点a、b两点之间距离小于a、h两点之间距离时需要对所有点重新排序,遍历轮廓,取图像像素坐标系下x坐标最小的点为初始点,其余各点按顺时针依次排序;角点排序模块所得图像角点最终排序结果和物理坐标系下地标各角点一一对应。
所述的位姿解算模块,规定无人机的俯仰角、滚转角、偏航角分别记为Ω2、α2,船的俯仰角、滚转角、偏航角分别记为Ω1、α1,其中无人机自身的姿态角可通过陀螺仪和加速度计这样的传感器得到,船相对于无人机的姿态角通过位姿解算模块计算得到;可通过根据图像坐标系、摄像机坐标系、机体坐标系和世界坐标系之间的关系可推导出像素坐标系和世界坐标系之间的关系:
如下式
XYT=xd
式中X=[xwyd ywyd zwyd yd-xwxd-ywxd-zwxd]是已知的,Y=[p1/ty p2/ty P3/ty tx/ty P4/ty P5/ty P6/ty]是待求参数;(xd,yd)是角点像素坐标,(xw,yw,zw)为角点世界坐标;当存在N>=7个已知点时,方程具有唯一解或最小二乘解;视觉算法中提取了8个角点进行解算,在保证有解的前提下计算量最小;因此把摄像机内参矩阵Μ、8个地标角点物理坐标(xd,yd)和世界坐标(xw,yw,zw),并带入公式从而得到式子Y中的未知参数;从而得到旋转平移矩阵RT;
R T = P 1 P 2 P 3 t x P 4 P 5 P 6 t y P 7 P 8 P 9 t z 0 0 0 1
式中T=[tx ty tz]T为3×1的平移向量,tx、ty、tz分别是x、y、z方向的平移量;p=[Px Py Pz]为3×3的旋转矩阵,其中px=[P1 P4 P7]T,Py=[P2 P5 P8]T,Pz=[P3 P6 P9]T分别为世界坐标系Xw轴,Yw轴,Zw轴在摄像机坐标系中的方向向量,其中p1、p4、p7对应世界坐标系Xw轴在摄像机坐标系中方向向量的x、y、z坐标值,p2、p5、p8对应世界坐标系Yw轴在摄像机坐标系中方向向量的x、y、z坐标值,p3、p6、p9对应世界坐标系Zw轴在摄像机坐标系中方向向量的x、y、z坐标值;根据各约束对应关系可得
式中,求得的总俯仰角滚转角Ω、偏航角α;由相对关系知船的姿态角为(Ω-Ω2 α-α2 ),位置估计用于计算舰船相对于无人机的位置,已知着舰地标的原点在世界坐标系中的坐标为(x,y,z)和姿态估计所求得的平移向量(tx,ty,tz),由坐标系转换关系知船位置为(x-tx,y+ty,z+tz)。
所述数据融合模块是利用卡尔曼滤波融合视觉算法解算出的位姿数据和由惯性传感器和全球定位系统得到的数据,提高位姿估计结果的准确性。
本发明的优点是通过对合作地标的处理可实时的解算出移动舰船相对于无人机的位姿信息,算法计算量小,实时性好,实施起来简单,为无人机的安全着舰提供了前提;本方法用摄像机作为主要的传感器,可降低研发成本,缩短研发周期。
下面结合实施例对本发明做进一步的说明:
附图说明
图1一种用于移动平台下视觉着舰导航的位姿估计系统及方法流程图;
图2一种用于移动平台下视觉着舰导航的位姿估计系统及方法结构图;
图3系统坐标系关系图;
图4角点排序结果图。
具体实施方式
如图1所示,一种用于视觉着舰导航的位姿估计方法,具体步骤是:
步骤101:开始对无人机视觉着舰导航进行位姿估计;
步骤102:设计一个由两个长3米、宽1米的矩形组成的黑色“T”型地标;正视地标时,左上角角点定为地标坐标系原点,坐标为(0,0);
步骤103:由全球定位系统导航和惯性导航组成的组合导航方式引导无人机飞行;
步骤104:通过目标匹配判断无人机是否到达着舰地标上空,若是则执行步骤105,否则执行步骤103,继续引导飞行;
步骤105:摄像机获取图像;
步骤106:对获取的图像进行二值化、形态学运算、轮廓提取处理,为步骤108提取角点做准备;
步骤107:运用直方图匹配算法进行目标匹配;
步骤108:对匹配成功的图像提取8个Harris角点,结果为像素坐标系下y坐标最小的点为初始点,其余各点依轮廓顺时针排列,并保留每个角点的像素坐标;
步骤109:跟踪步骤108提取的角点;
步骤110:判断步骤108得到的角点排列方式,当a、b两点之间距离大于a、h两点之间距离时步骤109所得排序即为正确顺序,当a、b两点之间距离小于a、h两点之间距离时需要对所有点重新排序,遍历轮廓,取x坐标最小的点为初始点,其余各点按轮廓顺时针依次排序;
步骤111:使用步骤110得到的角点像素坐标、初始化得到的角点世界坐标、摄像机参数矩阵、各坐标系之间的关系求解位姿估计值;
步骤112:对由惯性传感器和全球定位系统估计到的位姿数据和视觉算法解算的位姿数据进行融合,得到最终结果;
步骤113:判断位姿估计算法是否完成,如果是,则视觉着舰导航位姿估计算法结束,否则转至步骤103;
步骤114:视觉着舰导航位姿估计算法结束。
无人机的整个着舰过程分为几个阶段,本发明假设无人机依靠全球定位系统导航和惯性导航组成的组合导航方式引导其飞行至着舰地标上空,然后无人机与船以相同的速度在运动,并且地标总是在摄像机图像范围内。
如图2所示,一种用于视觉着舰导航的位姿估计系统,其特征是:包括地标设计模块1、图像处理模块2、位姿解算模块3和数据融合模块4;
地标设计模块1用于提供需要的地标;
图像处理模块2用于对当前帧图像进行图像处理,使用多边形拟合算法对着陆地标进行多边形拟合并进行直方图匹配,匹配成功后提取8个Harris角点,对所得角点顺时针排序与着陆地标对应后将结果传至位姿解算模块3;
数据融合模块4用于提高位姿估计的准确性;
位姿解算模块3用于计算移动舰船相对于无人机的位姿数据;首先计算无人机相对于着陆地标的旋转矩阵和平移矩阵,然后通过欧拉角与旋转矩阵关系得到姿态角估计值,通过平移矩阵和系统坐标系转换关系计算得到位置估计值,最后,用求得的位姿数据减去由惯性传感器和全球定位系统得到的无人机的位姿数据(由其它传感器得到)即可得到船相对于无人机的位姿数据,实时估计位姿数据;
角点提取模块6对摄像机模块传送的图像数据进行角点提取,把提取到的8个角点送至角点跟踪模块7;
角点跟踪模块7把跟踪的角点送至角点排序模块8;
角点排序模块8对所得到地标角点进行排序,与物理坐标系下着陆地标各角点一一对应并将角点序列传送至位姿解算模块3。
所述的位姿解算模块3使用摄像机内参矩阵、三维空间到二维平面的投影关系计算摄像机坐标系相对于着舰地标坐标系的旋转平移矩阵RT,并利用欧拉角与旋转矩阵关系得到姿态估计值;使用姿态估计所计算得到的平移矩阵和系统坐标系转换关系计算得到位置估计值;然后经过数据融合模块4得到最终数据。
所述的地标设计模块1由两个长3米、宽1米的矩形组成的“T”型地标,地标的颜色为黑色,比值长3米、宽1米可以保证8个角点的提取和排序;正视地标时,左上角角点定为地标坐标系原点,坐标为(0,0),其余各点顺时针排序,坐标依次为(3,0)、(3,1)、(2,1)、(2,4)、(1,4)、(1,1)、(0,1)。
如图4所示,其中,(a)图为初始点X坐标最小,(b)图为初始点Y坐标最小;所述图像处理模块2,包括图像预处理模块5、角点提取模块6、角点跟踪模块7和角点排序模块8;图像预处理模块5首先对摄像机拍摄到的图像进行灰度化、二值化、形态学运算、轮廓提取、直方图匹配处理;角点提取模块6用于提取“T”型地标的8个Harris角点,从左上角开始顺时针依次标记为a,b,c,d,e,f,g,h;角点跟踪模块7是运用高斯光流法跟踪运动中的角点,防止目标丢失;角点排序模块8用于将所保留的角点顺序为像素坐标系下y坐标最小的点为初始点,其余各点顺时针依次排列;当角点排序模块8所得图像角点a、b两点之间距离大于a、h两点之间距离时的角点排序即为正确顺序;当角点排序所得图像角点a、b两点之间距离小于a、h两点之间距离时需要对所有点重新排序,遍历轮廓,取图像像素坐标系下x坐标最小的点为初始点,其余各点按顺时针依次排序;角点排序模块8所得图像角点最终排序结果和物理坐标系下地标各角点一一对应。
如图3所示,其中,(a)图为空间示意图,(b)图为转换关系;所述的位姿解算模块3,规定无人机的俯仰角、滚转角、偏航角分别记为Ω2、α2,船的俯仰角、滚转角、偏航角分别记为Ω1、α1,其中无人机自身的姿态角可通过陀螺仪和加速度计这样的传感器得到,船相对于无人机的姿态角通过位姿解算模块3计算得到;可通过根据图像坐标系、摄像机坐标系、机体坐标系和世界坐标系之间的关系可推导出像素坐标系和世界坐标系之间的关系:
如下式
XYT=xd
式中X=[xwyd ywyd zwyd yd -xwxd -ywxd -zwxd]是已知的,Y=[p1/ty p2/ty P3/ty tx/ty P4/ty P5/ty P6/ty]是待求参数;(xd,yd)是角点像素坐标,(xw,yw,zw)为角点世界坐标;当存在N>=7个已知点时,方程具有唯一解或最小二乘解;视觉算法中提取了8个角点进行解算,在保证有解的前提下计算量最小;因此把摄像机内参矩阵Μ、8个地标角点物理坐标(xd,yd)和世界坐标(xw,yw,zw),并带入公式从而得到式子Y中的未知参数;从而得到旋转平移矩阵RT;
R T = P 1 P 2 P 3 t x P 4 P 5 P 6 t y P 7 P 8 P 9 t z 0 0 0 1
式中T=[tx ty tz]T为3×1的平移向量,tx、ty、tz分别是x、y、z方向的平移量;p=[Px Py Pz]为3×3的旋转矩阵,其中px=[P1 P4 P7]T,Py=[P2 P5 P8]T,Pz=[P3 P6 P9]T分别为世界坐标系Xw轴,Yw轴,Zw轴在摄像机坐标系中的方向向量,其中p1、p4、p7对应世界坐标系Xw轴在摄像机坐标系中方向向量的x、y、z坐标值,p2、p5、p8对应世界坐标系Yw轴在摄像机坐标系中方向向量的x、y、z坐标值,p3、p6、p9对应世界坐标系Zw轴在摄像机坐标系中方向向量的x、y、z坐标值;根据各约束对应关系可得
式中,求得的总俯仰角滚转角Ω、偏航角α;由相对关系知船的姿态角为(Ω-Ω2 α-α2 ),位置估计用于计算舰船相对于无人机的位置,已知着舰地标的原点在世界坐标系中的坐标为(x,y,z)和姿态估计所求得的平移向量(tx,ty,tz),由坐标系转换关系知船位置为(x-tx,y+ty,z+tz)。
所述数据融合模块4是利用卡尔曼滤波融合视觉算法解算出位姿数据和惯性传感器及全球定位系统得到的数据,提高位姿估计结果的准确性。
本发明通过地标设计模块1设计出易于识别和处理的地标,摄像机拍摄地标图像并发送图像数据到图像处理模块2;角点提取模块6对摄像机模块传送的图像数据进行角点提取,把提取到的8个角点送至角点跟踪模块7,角点跟踪模块7把跟踪的角点送至角点排序模块8;角点排序模块8对所得到地标角点进行排序,与物理坐标系下着陆地标各角点一一对应并将角点序列传送至位姿解算模块3;位姿解算模块3使用摄像机内参矩阵、三维空间到二维平面的投影关系计算摄像机坐标系相对于着舰地标坐标系的旋转平移矩阵RT,并利用欧拉角与旋转矩阵关系得到姿态估计值;位置估计使用姿态估计所计算得到的平移矩阵和系统坐标系转换关系计算得到位置估计值;然后经过数据融合模块4得到最终数据。
本实施例没有详细叙述的部分属本行业公知的常用手段,这里不一一叙述。以上例举仅是对本发明的举例说明,并不构成对本发明的保护范围的限制,凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (7)

1.一种用于移动平台下视觉着舰导航的位姿估计方法,具体步骤是:
步骤101:开始对无人机视觉着舰导航进行位姿估计;
步骤102:设计一个由两个长3米、宽1米的矩形组成的黑色“T”型地标;正视地标时,左上角角点定为地标坐标系原点,坐标为(0,0);
步骤103:由全球定位系统导航和惯性导航组成的组合导航方式引导无人机飞行;
步骤104:通过目标匹配判断无人机是否到达着舰地标上空,若是则执行步骤105,否则执行步骤103,继续引导飞行;
步骤105:摄像机获取图像;
步骤106:对获取的图像进行二值化、形态学运算、轮廓提取处理,为步骤108提取角点做准备;
步骤107:运用直方图匹配算法进行目标匹配;
步骤108:对匹配成功的图像提取8个Harris角点,结果为像素坐标系下y坐标最小的点为初始点,其余各点依轮廓顺时针排列,并保留每个角点的像素坐标;
步骤109:跟踪步骤108提取的角点;
步骤110:判断步骤108得到的角点排列方式,当a、b两点之间距离大于a、h两点之间距离时步骤109所得排序即为正确顺序,当a、b两点之间距离小于a、h两点之间距离时需要对所有点重新排序,遍历轮廓,取x坐标最小的点为初始点,其余各点按轮廓顺时针依次排序;
步骤111:使用步骤110得到的角点像素坐标、初始化得到的角点世界坐标、摄像机参数矩阵、各坐标系之间的关系求解位姿估计值;
步骤112:对由惯性传感器和全球定位系统估计到的位姿数据和视觉算法解算的位姿数据进行融合,得到最终结果;
步骤113:判断位姿估计算法是否完成,如果是,则视觉着舰导航位姿估计算法结束,否则转至步骤103;
步骤114:视觉着舰导航位姿估计算法结束。
2.一种用于移动平台下视觉着舰导航的位姿估计系统,其特征
是包括:
地标设计模块(1),用于提供需要的地标;
图像处理模块(2),用于对当前帧图像进行图像处理,使用多边形拟合算法对着陆地标进行多边形拟合并进行直方图匹配,匹配成功后提取8个Harris角点,对所得角点顺时针排序与着陆地标对应后将结果传至位姿解算模块(3);
数据融合模块(4),用于提高位姿估计的准确性;
位姿解算模块(3),用于计算移动舰船相对于无人机的位姿数据;首先计算无人机相对于着陆地标的旋转矩阵和平移矩阵,然后通过欧拉角与旋转矩阵关系得到姿态角估计值,通过平移矩阵和系统坐标系转换关系计算得到位置估计值,最后,用求得的位姿数据减去由惯性传感器和全球定位系统得到的无人机的位姿数据即可得到船相对于无人机的位姿数据,实时估计位姿数据;
角点提取模块(6),对摄像机模块传送的图像数据进行角点提取,把提取到的8个角点送至角点跟踪模块(7);
角点跟踪模块(7),把跟踪的角点送至角点排序模块(8);
角点排序模块(8),对所得到地标角点进行排序,与物理坐标系下着陆地标各角点一一对应并将角点序列传送至位姿解算模块(3)。
3.根据权利要求2所述的一种用于移动平台下视觉着舰导航的位姿估计系统,其特征是:所述的位姿解算模块(3)使用摄像机内参矩阵、三维空间到二维平面的投影关系计算摄像机坐标系相对于着舰地标坐标系的旋转平移矩阵RT,并利用欧拉角与旋转矩阵关系得到姿态角估计值;使用姿态角估计所计算得到的平移矩阵和系统坐标系转换关系计算得到位置估计值,再用求得的位姿数据减去由惯性传感器和全球定位系统得到的无人机的位姿数据即可得到船相对于无人机的位姿数据,然后经过数据融合模块(4)得到最终数据。
4.根据权利要求2所述的一种用于移动平台下视觉着舰导航的位姿估计系统,其特征是:所述的地标设计模块(1)设计了由两个长3米、宽1米的矩形组成的“T”型地标,地标的颜色为黑色,比值长3米、宽1米可以保证8个角点的提取和排序;正视地标时,左上角角点定为地标坐标系原点,坐标为(0,0),其余各点顺时针排序,坐标依次为(3,0)、(3,1)、(2,1)、(2,4)、(1,4)、(1,1)、(0,1)。
5.根据权利要求2所述的一种用于移动平台下视觉着舰导航的位姿估计系统,其特征是:所述图像处理模块(2),包括图像预处理模块(5)、角点提取模块(6)、角点跟踪模块(7)和角点排序模块(8);图像预处理模块(5)首先对摄像机拍摄到的图像进行灰度化、二值化、形态学运算、轮廓提取、直方图匹配处理;角点提取模块(6)用于提取“T”型地标的8个Harris角点,从左上角开始顺时针依次标记为a,b,c,d,e,f,g,h;角点跟踪模块(7)是运用高斯光流法跟踪运动中的角点,防止目标丢失;角点排序模块(8)用于将所保留的角点顺序为像素坐标系下y坐标最小的点为初始点,其余各点顺时针依次排列;当角点排序模块(8)所得图像角点a、b两点之间距离大于a、h两点之间距离时的角点排序即为正确顺序;当角点排序所得图像角点a、b两点之间距离小于a、h两点之间距离时需要对所有点重新排序,遍历轮廓,取图像像素坐标系下x坐标最小的点为初始点,其余各点按顺时针依次排序;角点排序模块(8)所得图像角点最终排序结果和物理坐标系下地标各角点一一对应。
6.根据权利要求2所述的一种用于移动平台下视觉着舰导航的位姿估计系统,其特征是:所述的位姿解算模块(3),规定无人机的俯仰角、滚转角、偏航角分别记为Ω2、α2,船的俯仰角、滚转角、偏航角分别记为Ω1、α1,其中无人机自身的姿态角可通过陀螺仪和加速度计这样的传感器得到,船相对于无人机的姿态角通过位姿解算模块(3)计算得到;可通过根据图像坐标系、摄像机坐标系、机体坐标系和世界坐标系之间的关系可推导出像素坐标系和世界坐标系之间的关系:
如下式
XYT=xd
式中X=[xwyd ywyd zwyd yd -xwxd -ywxd -zwxd]是已知的,Y=[p1/ty p2/ty P3/ty tx/ty P4/ty P5/ty P6/ty]是待求参数;(xd,yd)是角点像素坐标,(xw,yw,zw)为角点世界坐标;当存在N>=7个已知点时,方程具有唯一解或最小二乘解;视觉算法中提取了8个角点进行解算,在保证有解的前提下计算量最小;因此把摄像机内参矩阵Μ、8个地标角点物理坐标(xd,yd)和世界坐标(xw,yw,zw),并带入公式从而得到式子Y中的未知参数;从而得到旋转平移矩阵RT;
R T = P 1 P 2 P 3 t x P 4 P 5 P 6 t y P 7 P 8 P 9 t z 0 0 0 1
式中T=[tx ty tz]T为3×1的平移向量,tx、ty、tz分别是x、y、z方向的平移量;p=[Px Py Pz]为3×3的旋转矩阵,其中px=[P1 P4 P7]T,Py=[P2 P5 P8]T,Pz=[P3 P6 P9]T分别为世界坐标系Xw轴,Yw轴,Zw轴在摄像机坐标系中的方向向量,其中p1、p4、p7对应世界坐标系Xw轴在摄像机坐标系中方向向量的x、y、z坐标值,p2、p5、p8对应世界坐标系Yw轴在摄像机坐标系中方向向量的x、y、z坐标值,p3、p6、p9对应世界坐标系Zw轴在摄像机坐标系中方向向量的x、y、z坐标值;根据各约束对应关系可得
式中,求得的总俯仰角滚转角Ω、偏航角α;由相对关系知船的姿态角为位置估计用于计算舰船相对于无人机的位置,已知着舰地标的原点在世界坐标系中的坐标为(x,y,z)和姿态估计所求得的平移向量(tx,ty,tz),由坐标系转换关系知船位置为(x-tx,y+ty,z+tz)。
7.根据权利要求2所述的一种用于移动平台下视觉着舰导航的位姿估计系统,其特征是:所述数据融合模块(4)是利用卡尔曼滤波融合视觉算法解算出的位姿数据和由惯性传感器和全球定位系统得到的数据,提高位姿估计结果的准确性。
CN201510397043.2A 2015-07-08 2015-07-08 一种用于移动平台下视觉着舰导航的位姿估计系统及方法 Active CN105021184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510397043.2A CN105021184B (zh) 2015-07-08 2015-07-08 一种用于移动平台下视觉着舰导航的位姿估计系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510397043.2A CN105021184B (zh) 2015-07-08 2015-07-08 一种用于移动平台下视觉着舰导航的位姿估计系统及方法

Publications (2)

Publication Number Publication Date
CN105021184A true CN105021184A (zh) 2015-11-04
CN105021184B CN105021184B (zh) 2017-10-24

Family

ID=54411333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510397043.2A Active CN105021184B (zh) 2015-07-08 2015-07-08 一种用于移动平台下视觉着舰导航的位姿估计系统及方法

Country Status (1)

Country Link
CN (1) CN105021184B (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105501457A (zh) * 2015-12-16 2016-04-20 南京航空航天大学 基于红外视觉的固定翼无人机自动着陆引导方法及系统
CN105550692A (zh) * 2015-12-30 2016-05-04 南京邮电大学 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法
CN105644785A (zh) * 2015-12-31 2016-06-08 哈尔滨工业大学 一种基于光流法和地平线检测的无人机着陆方法
CN106647327A (zh) * 2016-11-22 2017-05-10 中国人民解放军海军航空工程学院 基于虚拟飞行经验的着舰指挥员纵向强制指令建模方法
CN106874626A (zh) * 2017-03-21 2017-06-20 中国人民解放军63655部队 一种基于三维特征值空间的自适应目标指示数据估计方法
CN107498559A (zh) * 2017-09-26 2017-12-22 珠海市微半导体有限公司 基于视觉的机器人转向的检测方法和芯片
CN107543539A (zh) * 2016-06-29 2018-01-05 联芯科技有限公司 一种无人机的位置信息获取方法及无人机
CN107796417A (zh) * 2016-09-06 2018-03-13 北京自动化控制设备研究所 一种自适应估计景象匹配与惯导安装误差的方法
CN108122255A (zh) * 2017-12-20 2018-06-05 哈尔滨工业大学 一种基于梯形与圆形组合地标的无人机位姿估计方法
CN108227751A (zh) * 2018-01-29 2018-06-29 广州亿航智能技术有限公司 一种无人机的降落方法及系统
CN108399638A (zh) * 2018-02-08 2018-08-14 重庆爱奇艺智能科技有限公司 一种基于标记的增强现实交互方法、装置及电子设备
CN108549397A (zh) * 2018-04-19 2018-09-18 武汉大学 基于二维码和惯导辅助的无人机自主降落方法及系统
CN108594848A (zh) * 2018-03-29 2018-09-28 上海交通大学 一种基于视觉信息融合的无人机分阶段自主着艇方法
CN108765444A (zh) * 2018-05-25 2018-11-06 哈尔滨工业大学 基于单目视觉的地面t形运动目标检测与定位方法
CN108897337A (zh) * 2018-06-19 2018-11-27 西安电子科技大学 一种非可视环境下舰载机虚拟甲板着舰方法
CN108983812A (zh) * 2018-07-25 2018-12-11 哈尔滨工业大学 一种无人机海上着陆的船载控制系统
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
CN109341700A (zh) * 2018-12-04 2019-02-15 中国航空工业集团公司西安航空计算技术研究所 一种低能见度下固定翼飞机视觉辅助着陆导航方法
CN109405821A (zh) * 2018-09-21 2019-03-01 北京三快在线科技有限公司 用于定位的方法、装置及目标设备
CN109445455A (zh) * 2018-09-21 2019-03-08 深圳供电局有限公司 一种无人飞行器自主降落方法及其控制系统
CN109613923A (zh) * 2018-11-06 2019-04-12 武汉华中天经通视科技有限公司 一种无人直升机的着舰控制方法
CN109690250A (zh) * 2016-09-02 2019-04-26 菲力尔比利时有限公司 无人机系统辅助导航系统和方法
CN109753079A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机精准降落于移动平台方法
CN109947128A (zh) * 2019-03-13 2019-06-28 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN110068321A (zh) * 2019-03-27 2019-07-30 清华大学 定点降落标志的uav相对位姿估计方法
CN110081881A (zh) * 2019-04-19 2019-08-02 成都飞机工业(集团)有限责任公司 一种基于无人机多传感器信息融合技术的着舰引导方法
CN110253580A (zh) * 2019-06-24 2019-09-20 昆明滇鹰科技有限公司 动平台降落复合地标导航系统
CN110989687A (zh) * 2019-11-08 2020-04-10 上海交通大学 一种基于嵌套正方形视觉信息的无人机降落方法
CN111238469A (zh) * 2019-12-13 2020-06-05 南京航空航天大学 一种基于惯性/数据链的无人机编队相对导航方法
CN111679680A (zh) * 2019-12-31 2020-09-18 华东理工大学 一种无人机自主着舰方法及系统
CN112764355A (zh) * 2020-12-05 2021-05-07 西安翔腾微电子科技有限公司 一种基于视觉的飞机自主着舰定位开发系统及方法
CN112857367A (zh) * 2021-01-21 2021-05-28 中国煤炭科工集团太原研究院有限公司 一种基于机器视觉和惯性导航的掘进机位姿检测方法
WO2021160182A1 (en) * 2020-02-14 2021-08-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for estimating pose of image capturing device
CN113390410A (zh) * 2021-08-04 2021-09-14 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航方法
CN113847874A (zh) * 2021-08-20 2021-12-28 天津大学 一种基于视觉的位移台位移方向标定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000243A (zh) * 2007-01-16 2007-07-18 北京航空航天大学 无人直升机着陆引导方法及其装置
CN101126639A (zh) * 2007-09-18 2008-02-20 武汉大学 快速进行低空遥感影像自动匹配与空中三角测量方法
CN101441769A (zh) * 2008-12-11 2009-05-27 上海交通大学 单目摄像机实时视觉定位方法
CN101839721A (zh) * 2010-03-12 2010-09-22 西安电子科技大学 自主交会对接中的视觉导航方法
CN103150737A (zh) * 2013-01-18 2013-06-12 西北工业大学 一种适用于空间绳系机器人的实时空间目标特征点跟踪方法
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法
CN104236528A (zh) * 2013-06-06 2014-12-24 上海宇航系统工程研究所 一种非合作目标相对位姿测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101000243A (zh) * 2007-01-16 2007-07-18 北京航空航天大学 无人直升机着陆引导方法及其装置
CN101126639A (zh) * 2007-09-18 2008-02-20 武汉大学 快速进行低空遥感影像自动匹配与空中三角测量方法
CN101441769A (zh) * 2008-12-11 2009-05-27 上海交通大学 单目摄像机实时视觉定位方法
CN101839721A (zh) * 2010-03-12 2010-09-22 西安电子科技大学 自主交会对接中的视觉导航方法
CN103150737A (zh) * 2013-01-18 2013-06-12 西北工业大学 一种适用于空间绳系机器人的实时空间目标特征点跟踪方法
CN104236528A (zh) * 2013-06-06 2014-12-24 上海宇航系统工程研究所 一种非合作目标相对位姿测量方法
CN103345751A (zh) * 2013-07-02 2013-10-09 北京邮电大学 一种基于鲁棒特征跟踪的视觉定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张友安等: "参考地物的飞航导弹视觉辅助导航", 《海军航空工程学院学报》 *
李宇等: "基于视觉的无人机自主着陆地标识别方法", 《计算机应用研究》 *
王民钢等: "基于图像匹配的飞行器导航定位算法及仿真", 《计算机仿真》 *

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105501457A (zh) * 2015-12-16 2016-04-20 南京航空航天大学 基于红外视觉的固定翼无人机自动着陆引导方法及系统
CN105550692A (zh) * 2015-12-30 2016-05-04 南京邮电大学 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法
CN105550692B (zh) * 2015-12-30 2018-08-31 南京邮电大学 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法
CN105644785A (zh) * 2015-12-31 2016-06-08 哈尔滨工业大学 一种基于光流法和地平线检测的无人机着陆方法
CN105644785B (zh) * 2015-12-31 2017-06-27 哈尔滨工业大学 一种基于光流法和地平线检测的无人机着陆方法
CN107543539A (zh) * 2016-06-29 2018-01-05 联芯科技有限公司 一种无人机的位置信息获取方法及无人机
CN109690250A (zh) * 2016-09-02 2019-04-26 菲力尔比利时有限公司 无人机系统辅助导航系统和方法
CN109690250B (zh) * 2016-09-02 2023-10-27 菲力尔比利时有限公司 无人机系统辅助导航系统和方法
CN107796417A (zh) * 2016-09-06 2018-03-13 北京自动化控制设备研究所 一种自适应估计景象匹配与惯导安装误差的方法
CN107796417B (zh) * 2016-09-06 2021-02-05 北京自动化控制设备研究所 一种自适应估计景象匹配与惯导安装误差的方法
CN106647327B (zh) * 2016-11-22 2019-05-07 中国人民解放军海军航空工程学院 基于虚拟飞行经验的着舰指挥员纵向强制指令建模方法
CN106647327A (zh) * 2016-11-22 2017-05-10 中国人民解放军海军航空工程学院 基于虚拟飞行经验的着舰指挥员纵向强制指令建模方法
CN106874626B (zh) * 2017-03-21 2020-08-04 中国人民解放军国防大学联合勤务学院 一种基于三维特征值空间的自适应目标指示数据估计方法
CN106874626A (zh) * 2017-03-21 2017-06-20 中国人民解放军63655部队 一种基于三维特征值空间的自适应目标指示数据估计方法
CN107498559A (zh) * 2017-09-26 2017-12-22 珠海市微半导体有限公司 基于视觉的机器人转向的检测方法和芯片
CN109753079A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机精准降落于移动平台方法
CN108122255A (zh) * 2017-12-20 2018-06-05 哈尔滨工业大学 一种基于梯形与圆形组合地标的无人机位姿估计方法
CN108122255B (zh) * 2017-12-20 2021-10-22 哈尔滨工业大学 一种基于梯形与圆形组合地标的无人机位姿估计方法
CN108227751A (zh) * 2018-01-29 2018-06-29 广州亿航智能技术有限公司 一种无人机的降落方法及系统
CN108227751B (zh) * 2018-01-29 2020-12-29 广州亿航智能技术有限公司 一种无人机的降落方法及系统
CN108399638B (zh) * 2018-02-08 2021-07-20 重庆爱奇艺智能科技有限公司 一种基于标记的增强现实交互方法、装置及电子设备
CN108399638A (zh) * 2018-02-08 2018-08-14 重庆爱奇艺智能科技有限公司 一种基于标记的增强现实交互方法、装置及电子设备
CN108594848B (zh) * 2018-03-29 2021-01-22 上海交通大学 一种基于视觉信息融合的无人机分阶段自主着艇方法
CN108594848A (zh) * 2018-03-29 2018-09-28 上海交通大学 一种基于视觉信息融合的无人机分阶段自主着艇方法
CN108549397A (zh) * 2018-04-19 2018-09-18 武汉大学 基于二维码和惯导辅助的无人机自主降落方法及系统
CN108765444A (zh) * 2018-05-25 2018-11-06 哈尔滨工业大学 基于单目视觉的地面t形运动目标检测与定位方法
CN108897337A (zh) * 2018-06-19 2018-11-27 西安电子科技大学 一种非可视环境下舰载机虚拟甲板着舰方法
CN108983812B (zh) * 2018-07-25 2021-06-04 哈尔滨工业大学 一种无人机海上着陆的船载控制系统
CN108983812A (zh) * 2018-07-25 2018-12-11 哈尔滨工业大学 一种无人机海上着陆的船载控制系统
CN109164825A (zh) * 2018-08-13 2019-01-08 上海机电工程研究所 一种用于多旋翼无人机的自主导航避障方法及装置
CN109445455A (zh) * 2018-09-21 2019-03-08 深圳供电局有限公司 一种无人飞行器自主降落方法及其控制系统
CN109405821A (zh) * 2018-09-21 2019-03-01 北京三快在线科技有限公司 用于定位的方法、装置及目标设备
CN109405821B (zh) * 2018-09-21 2020-01-03 北京三快在线科技有限公司 用于定位的方法、装置及目标设备
CN109613923A (zh) * 2018-11-06 2019-04-12 武汉华中天经通视科技有限公司 一种无人直升机的着舰控制方法
CN109341700A (zh) * 2018-12-04 2019-02-15 中国航空工业集团公司西安航空计算技术研究所 一种低能见度下固定翼飞机视觉辅助着陆导航方法
CN109947128B (zh) * 2019-03-13 2020-05-15 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统
US11573576B2 (en) 2019-03-13 2023-02-07 Goertek Inc. Method for controlling a drone, drone and system
CN109947128A (zh) * 2019-03-13 2019-06-28 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统
CN110068321A (zh) * 2019-03-27 2019-07-30 清华大学 定点降落标志的uav相对位姿估计方法
CN110081881A (zh) * 2019-04-19 2019-08-02 成都飞机工业(集团)有限责任公司 一种基于无人机多传感器信息融合技术的着舰引导方法
CN110081881B (zh) * 2019-04-19 2022-05-10 成都飞机工业(集团)有限责任公司 一种基于无人机多传感器信息融合技术的着舰引导方法
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN110253580B (zh) * 2019-06-24 2022-07-22 昆明滇鹰科技有限公司 动平台降落复合地标导航系统
CN110253580A (zh) * 2019-06-24 2019-09-20 昆明滇鹰科技有限公司 动平台降落复合地标导航系统
CN110989687A (zh) * 2019-11-08 2020-04-10 上海交通大学 一种基于嵌套正方形视觉信息的无人机降落方法
CN110989687B (zh) * 2019-11-08 2021-08-10 上海交通大学 一种基于嵌套正方形视觉信息的无人机降落方法
CN111238469A (zh) * 2019-12-13 2020-06-05 南京航空航天大学 一种基于惯性/数据链的无人机编队相对导航方法
CN111238469B (zh) * 2019-12-13 2023-09-29 南京航空航天大学 一种基于惯性/数据链的无人机编队相对导航方法
CN111679680A (zh) * 2019-12-31 2020-09-18 华东理工大学 一种无人机自主着舰方法及系统
WO2021160182A1 (en) * 2020-02-14 2021-08-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for estimating pose of image capturing device
CN112764355A (zh) * 2020-12-05 2021-05-07 西安翔腾微电子科技有限公司 一种基于视觉的飞机自主着舰定位开发系统及方法
CN112857367A (zh) * 2021-01-21 2021-05-28 中国煤炭科工集团太原研究院有限公司 一种基于机器视觉和惯性导航的掘进机位姿检测方法
CN112857367B (zh) * 2021-01-21 2023-10-13 中国煤炭科工集团太原研究院有限公司 一种基于机器视觉和惯性导航的掘进机位姿检测方法
CN113390410A (zh) * 2021-08-04 2021-09-14 北京云恒科技研究院有限公司 一种适用于无人机的惯性组合导航方法
CN113847874A (zh) * 2021-08-20 2021-12-28 天津大学 一种基于视觉的位移台位移方向标定方法

Also Published As

Publication number Publication date
CN105021184B (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN105021184A (zh) 一种用于移动平台下视觉着舰导航的位姿估计系统及方法
EP3407294B1 (en) Information processing method, device, and terminal
CN106708066B (zh) 基于视觉/惯导的无人机自主着陆方法
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN105644785B (zh) 一种基于光流法和地平线检测的无人机着陆方法
CN103175524B (zh) 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
CN104457761B (zh) 基于多目视觉的相对位置和姿态的特征接力方法
CN106054929A (zh) 一种基于光流的无人机自动降落引导方法
CN106407315A (zh) 一种基于街景图像数据库的车辆自主定位方法
CN105335733A (zh) 一种无人机自主着陆视觉定位方法及系统
CN107833249A (zh) 一种基于视觉引导的舰载机着陆过程姿态预估方法
Xu et al. Use of land’s cooperative object to estimate UAV’s pose for autonomous landing
CN107688184A (zh) 一种定位方法以及系统
CN103424126A (zh) 一种无人机视觉自主着陆仿真验证系统及方法
Coutard et al. Visual detection and 3D model-based tracking for landing on an aircraft carrier
Haala et al. Dense multiple stereo matching of highly overlapping UAV imagery
CN109341686B (zh) 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法
CN108122255A (zh) 一种基于梯形与圆形组合地标的无人机位姿估计方法
CN106815553A (zh) 一种基于边缘匹配的红外前视图像舰船检测方法
Williams et al. Feature and pose constrained visual aided inertial navigation for computationally constrained aerial vehicles
Li et al. Metric sensing and control of a quadrotor using a homography-based visual inertial fusion method
Wu et al. Autonomous UAV landing system based on visual navigation
Zhuang et al. Method of pose estimation for UAV landing
Zhang et al. Tracking and position of drogue for autonomous aerial refueling
Chen et al. Overview of landmarks for autonomous, vision-based landing of unmanned helicopters

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant