CN108731683A - 一种基于导航信息的无人机自主回收目标预测方法 - Google Patents

一种基于导航信息的无人机自主回收目标预测方法 Download PDF

Info

Publication number
CN108731683A
CN108731683A CN201810424189.5A CN201810424189A CN108731683A CN 108731683 A CN108731683 A CN 108731683A CN 201810424189 A CN201810424189 A CN 201810424189A CN 108731683 A CN108731683 A CN 108731683A
Authority
CN
China
Prior art keywords
target
coordinate system
cooperative target
unmanned plane
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810424189.5A
Other languages
English (en)
Other versions
CN108731683B (zh
Inventor
方强
周正元
周勇
周晗
唐邓清
赵框
曹正江
王树源
高平海
徐中洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810424189.5A priority Critical patent/CN108731683B/zh
Publication of CN108731683A publication Critical patent/CN108731683A/zh
Application granted granted Critical
Publication of CN108731683B publication Critical patent/CN108731683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Abstract

针对合作目标为静止的情况下，本发明提供一种基于导航信息的无人机自主回收目标预测方法。合作目标静止意味着合作目标在世界坐标系中的位移分量不发生改变，即不发生变化。在无人机自主回收的过程中，无人机能够实时提供位姿等导航信息，本发明基于前一段时刻的无人机的位姿信息，利用相关的数值方法拟合合作目标的运动曲线，根据该曲线预估合作目标当前时刻的空间运动位置，再结合导航信息预测合作目标的成像点。本发明结合导航信息可以预测合作目标的成像区域，仅在该区域内进行目标检测跟踪以及相对位姿解算，从而提高合作目标位姿估计算法的实时性和准确性。

Description

一种基于导航信息的无人机自主回收目标预测方法
技术领域
本发明涉及无人机自主回收技术领域，特别是涉及一种基于导航信息的无人机自主回收目标预测方法。
背景技术
当前对无人机进行自主回收(地面回收或者车载回收等)在民用领域是一个研究的热点和难点，而要实现安全的自主回收，准确实时的相对位姿估计是基础，特别是对于小型无人机(特别是高速运动的无人机)而言更是一个挑战。
目前常用的自主回收方法是基于合作目标的方法，通过检测和跟踪地面或者车上的合作目标来对无人机的相对位姿进行估计，然而小型无人机载荷有限，机载处理能力受到限制，常规的基于合作目标的方法很可能不能满足实时性要求，或者由于合作目标在图像中的位置变化过快导致位姿估计效果差。
因此，亟需研究处一种方法用来一定程度上解决无人机自主回收中合作目标预测的实时性和准确性的问题。
发明内容
为克服现有技术存在的缺陷，针对合作目标为静止的情况下，本发明提供一种基于导航信息的无人机自主回收目标预测方法。合作目标静止意味着合作目标在世界坐标系中的位移分量不发生改变，即不发生变化。
在无人机自主回收的过程中，无人机能够实时提供位姿等导航信息，本发明基于前一段时刻的无人机的位姿信息，利用相关的数值方法拟合合作目标的运动曲线，根据该曲线预估合作目标当前时刻的空间运动位置，再结合导航信息预测合作目标的成像点。具体实施步骤如下：
(1)定义坐标系
摄像机坐标系ocxcyczc：原点为摄像机的光心，ocxc和ocyc轴与图像的u,v轴平行，oczc轴为摄像即光轴，焦距为f，ocxc和ocyc方向的有效焦距分别为fx和fy；
无人机机体坐标系obxbybzb：ocyc轴沿机身对称轴线指向机头，ocxc垂直于无人机对称面指向机身右方，oczc轴满足右手法则；
成像平面坐标系：原点为图像的中心点，横坐标x和纵坐标y分别平行于图像所在的行和列；
图像坐标系：原点为图像的左上角，横坐标u和纵坐标v分别是图像所在的行和列，中心点(u0,v0)为主点坐标；
(2)合作目标静止意味着合作目标在世界坐标系中的位移分量不发生改变，即不发生变化；
设目标点P为合作目标的中心点，如图2所示，考虑针孔摄像机模型，其中Oc点为光心，Oczc轴为光轴，f为焦距。目标点P相对于摄像机光心Oc的距离在摄像机坐标系的投影(xc,yc,zc)可以表示为:
其中为目标点P在世界坐标系中的投影，为无人机在世界坐标系中的投影，为无人机机体坐标系到摄像机坐标系的旋转矩阵，为无人机的姿态旋转矩阵。
假设目标点P在成像平面坐标系和图像坐标系的坐标分别为(x,y)和(u,v)，图像坐标系中的主点坐标为(u0,v0)，则目标点P在这两个坐标系下的投影有如下关系
(3)基于均值估计合作目标在下一时刻的空间位置。
设无人机在前n个时刻的相对位置为(xc(tk-i),yc(tk-i),zc(tk-i))，其中i＝1,…n；结合合作目标相对位姿信息，根据位移分量的不变性，同时考虑到噪声等误差的影响，根据前n个时刻获得的合作目标的空间位置其中i＝1,…n；当t＝n+1时，通过求取前n个时刻的合作目标的空间位置的平均值作为合作目标在该时刻(tk时刻)的空间位置的估计值
(4)预测合作目标的成像位置。
根据tk时刻的无人机导航信息和以及tk时刻估计的利用式(1)可以得到(xc(tk),yc(tk),zc(tk))，再根据公式(2)，可以预测合作目标的成像像素点(u(tk),v(tk))。
与现有技术相比，本发明能够产生以下技术效果：
考虑在位姿估计过程中，并不需要对整幅图像进行处理，而只需要对目标区域进行处理就可以，从而可以减少检测时间。同时无人机上集成了导航系统，能够实时提供导航信息，而目标成像几何原理是与导航信息有关的。因此本发明结合导航信息可以预测合作目标的成像区域，仅在该区域内进行目标检测跟踪以及相对位姿解算，从而提高合作目标位姿估计算法的实时性和准确性。
附图说明
图1是一种合作目标的示意图。
图2是摄像机成像原理示意图。
具体实施方式
下面对本发明的进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
针对合作目标为静止的情况下，本发明提供一种基于导航信息的无人机自主回收目标预测方法。合作目标静止意味着合作目标在世界坐标系中的位移分量不发生改变，即不发生变化。在无人机自主回收的过程中，无人机能够实时提供位姿等导航信息，本发明基于前一段时刻的无人机的位姿信息，利用相关的数值方法拟合合作目标的运动曲线，根据该曲线预估合作目标当前时刻的空间运动位置，再结合导航信息预测合作目标的成像点。
下面给出一具体实施例：
案例：假设摄像机的焦距为fx＝fy＝1000，分辨率为1280×720；当前时刻无人机在世界坐标系中的投影无人机的姿态旋转矩阵为单位矩阵，摄像机与无人机机体的旋转矩阵前期估计的合作目标的空间位置序列(这里以5个值为例)为(9.2,9.8,0.1),(9.3,9.9,0.15),(9.15,9.95,0.2),(9.25,9.6,0.05),(9.16,9.5,0.12)。需要预测当前时刻合作目标的成像位置。
采用本发明方法，步骤如下：
1)根据已知的合作目标空间位置序列，由于合作目标静止，因此可以通过求取平均预测当前时刻合作目标的空间位置
2)根据已知条件和公式(1)获得目标在摄像机坐标系的投影(xc,yc,zc)
3)根据公式(2)预测tk时刻目标在图像中的成像位置(u(tk),v(tk))
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于导航信息的无人机自主回收目标预测方法，其特征在于：包括以下步骤：
(1)定义坐标系
摄像机坐标系ocxcyczc：原点为摄像机的光心，ocxc和ocyc轴与图像的u,v轴平行，oczc轴为摄像即光轴，焦距为f，ocxc和ocyc方向的有效焦距分别为fx和fy；
无人机机体坐标系obxbybzb：ocyc轴沿机身对称轴线指向机头，ocxc垂直于无人机对称面指向机身右方，oczc轴满足右手法则；
成像平面坐标系：原点为图像的中心点，横坐标x和纵坐标y分别平行于图像所在的行和列；
图像坐标系：原点为图像的左上角，横坐标u和纵坐标v分别是图像所在的行和列，中心点(u0,v0)为主点坐标；
(2)合作目标静止意味着合作目标在世界坐标系中的位移分量不发生改变，即不发生变化；
设目标点P为合作目标的中心点，考虑针孔摄像机模型，其中Oc点为光心，Oczc轴为光轴，f为焦距。目标点P相对于摄像机光心Oc的距离在摄像机坐标系的投影(xc,yc,zc)可以表示为:
其中为目标点P在世界坐标系中的投影，为无人机在世界坐标系中的投影，为无人机机体坐标系到摄像机坐标系的旋转矩阵，为无人机的姿态旋转矩阵；
假设目标点P在成像平面坐标系和图像坐标系的坐标分别为(x,y)和(u,v)，图像坐标系中的主点坐标为(u0,v0)，则目标点P在这两个坐标系下的投影有如下关系
(3)基于均值估计合作目标在下一时刻的空间位置；
(4)预测合作目标的成像位置。
2.根据权利要求1所述的基于导航信息的无人机自主回收目标预测方法，其特征在于，步骤(3)中：设无人机在前n个时刻的相对位置为(xc(tk-i),yc(tk-i),zc(tk-i))，其中i＝1,…n；根据前n个时刻获得的合作目标的空间位置其中i＝1,…n；当t＝n+1时，通过求取前n个时刻的合作目标的空间位置的平均值作为合作目标在tk时刻的空间位置的估计值
3.根据权利要求2所述的基于导航信息的无人机自主回收目标预测方法，其特征在于，步骤(4)中：根据tk时刻的无人机导航信息和以及tk时刻估计的利用式(1)可以得到(xc(tk),yc(tk),zc(tk))，再根据公式(2)，可以预测合作目标的成像像素点(u(tk),v(tk))。
CN201810424189.5A 2018-05-07 2018-05-07 一种基于导航信息的无人机自主回收目标预测方法 Active CN108731683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810424189.5A CN108731683B (zh) 2018-05-07 2018-05-07 一种基于导航信息的无人机自主回收目标预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810424189.5A CN108731683B (zh) 2018-05-07 2018-05-07 一种基于导航信息的无人机自主回收目标预测方法

Publications (2)

Publication Number Publication Date
CN108731683A true CN108731683A (zh) 2018-11-02
CN108731683B CN108731683B (zh) 2020-09-18

Family

ID=63937970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810424189.5A Active CN108731683B (zh) 2018-05-07 2018-05-07 一种基于导航信息的无人机自主回收目标预测方法

Country Status (1)

Country Link
CN (1) CN108731683B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111536968A (zh) * 2020-04-15 2020-08-14 北京百度网讯科技有限公司 确定感知设备的动态姿态的方法和装置
CN114049798A (zh) * 2021-11-10 2022-02-15 中国人民解放军国防科技大学 一种无人机自主撞网回收航线的自动生成方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103604427A (zh) * 2013-12-10 2014-02-26 中国航天空气动力技术研究院 对地面移动目标动态定位的无人机系统和方法
CN103700286A (zh) * 2013-12-11 2014-04-02 南京航空航天大学 一种舰载无人机自动着舰引导方法
CN105206109A (zh) * 2015-08-13 2015-12-30 长安大学 一种基于红外ccd的车辆雾天识别预警系统及方法
CN104180808B (zh) * 2014-08-05 2017-02-15 南京航空航天大学 一种用于自主空中加油的圆形锥套视觉位姿解算方法
WO2018067327A1 (en) * 2016-10-04 2018-04-12 Wal-Mart Stores, Inc. Landing pad receptacle for package delivery and receipt

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103604427A (zh) * 2013-12-10 2014-02-26 中国航天空气动力技术研究院 对地面移动目标动态定位的无人机系统和方法
CN103700286A (zh) * 2013-12-11 2014-04-02 南京航空航天大学 一种舰载无人机自动着舰引导方法
CN104180808B (zh) * 2014-08-05 2017-02-15 南京航空航天大学 一种用于自主空中加油的圆形锥套视觉位姿解算方法
CN105206109A (zh) * 2015-08-13 2015-12-30 长安大学 一种基于红外ccd的车辆雾天识别预警系统及方法
WO2018067327A1 (en) * 2016-10-04 2018-04-12 Wal-Mart Stores, Inc. Landing pad receptacle for package delivery and receipt

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111536968A (zh) * 2020-04-15 2020-08-14 北京百度网讯科技有限公司 确定感知设备的动态姿态的方法和装置
CN114049798A (zh) * 2021-11-10 2022-02-15 中国人民解放军国防科技大学 一种无人机自主撞网回收航线的自动生成方法和装置
CN114049798B (zh) * 2021-11-10 2022-07-29 中国人民解放军国防科技大学 一种无人机自主撞网回收航线的自动生成方法和装置

Also Published As

Publication number Publication date
CN108731683B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
WO2016035324A1 (en) Method for estimating motion, mobile agent and non-transitory computer-readable medium encoded with a computer program code for causing a processor to execute a method for estimating motion
CN108645408A (zh) 一种基于导航信息的无人机自主回收目标预测方法
Nerurkar et al. C-KLAM: Constrained keyframe-based localization and mapping
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
CN106934809A (zh) 基于双目视觉的无人机空中自主加油快速对接导航方法
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
WO2018027339A1 (en) Copyright notice
Coutard et al. Visual detection and 3D model-based tracking for landing on an aircraft carrier
CN110570453A (zh) 一种基于双目视觉的闭环式跟踪特征的视觉里程计方法
CN110887486B (zh) 一种基于激光线辅助的无人机视觉导航定位方法
Premachandra et al. A study on hovering control of small aerial robot by sensing existing floor features
Lippiello et al. 3D monocular robotic ball catching
Wang et al. A visual navigation framework for the aerial recovery of UAVs
Chen et al. Stereo visual inertial pose estimation based on feedforward-feedback loops
CN108731683A (zh) 一种基于导航信息的无人机自主回收目标预测方法
Zhang et al. The use of optical flow for UAV motion estimation in indoor environment
Kim et al. Autonomous flight system using marker recognition on drone
Zhuang et al. Method of pose estimation for UAV landing
CN108733076B (zh) 一种无人机抓取目标物体的方法、装置及电子设备
Wang et al. Research on UAV Obstacle Detection based on Data Fusion of Millimeter Wave Radar and Monocular Camera
CN113011212B (zh) 图像识别方法、装置及车辆
Lin et al. Vision aided motion estimation for unmanned helicopters in GPS denied environments
Deng et al. Robust 3D-SLAM with tight RGB-D-inertial fusion
Tang et al. Toward autonomous navigation using an RGB-D camera for flight in unknown indoor environments
Lee et al. A Gyro-based Tracking Assistant for Drones with Uncooled Infrared Camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant