CN108873031A - 一种2自由度吊舱的外参标定优化方法 - Google Patents

一种2自由度吊舱的外参标定优化方法 Download PDF

Info

Publication number
CN108873031A
CN108873031A CN201810424166.4A CN201810424166A CN108873031A CN 108873031 A CN108873031 A CN 108873031A CN 201810424166 A CN201810424166 A CN 201810424166A CN 108873031 A CN108873031 A CN 108873031A
Authority
CN
China
Prior art keywords
gondola
coordinate system
unmanned plane
target
ground target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810424166.4A
Other languages
English (en)
Other versions
CN108873031B (zh
Inventor
周晗
方强
唐邓清
周勇
王树源
曹正江
高平海
赵框
周正元
王熙童
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810424166.4A priority Critical patent/CN108873031B/zh
Publication of CN108873031A publication Critical patent/CN108873031A/zh
Application granted granted Critical
Publication of CN108873031B publication Critical patent/CN108873031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明属于吊舱外参标定技术领域，尤其是涉及一种2自由度吊舱的外参标定优化方法。本发明考虑到吊舱的2个姿态角即俯仰角和偏航角的输出是已知的，同时吊舱和无人机是捷联的，利用无人机自身携带的导航系统提供的无人机姿态和位置信息、地面目标的位置信息以及吊舱自身反馈的姿态信息，通过相关的数值优化方法，可以对吊舱外参进行优化标定。该方法可以对地面目标进行更精确的定位。

Description

一种2自由度吊舱的外参标定优化方法
技术领域
本发明属于吊舱外参标定技术领域，尤其是涉及一种2自由度吊舱的外参标定优化方法。
背景技术
无人机在执行对地面目标定位任务的过程中，一般要求能够对目标实现无死角的定位，也就是说尽可能的全方位输出目标的空间位置。要实现这个任务，仅仅依靠相机是无法实现的，因此需要带有旋转功能的吊舱来实现。由于低成本且小型化，无人机的机载载荷重量和体积有限，一般小型无人机携带的吊舱都为二自由度的吊舱。
由于吊舱的旋转机构和其中的摄像机是固连安装的，目前常用的方法通常默认为这两者的坐标系是重叠的，事实上，由于机械误差和安装误差等因素的影响，这两者并不是严格重叠的，而无人机对地面目标的定位需要对目标进行投影映射，为了能够实现准确的目标空间定位，需要能够同时标定出吊舱相对于无人机的外参姿态以及吊舱中的旋转机构坐标和摄像机坐标之间的姿态。
发明内容
本发明的目的是提供一种2自由度吊舱的外参标定优化方法，适用于空中无人机对地面运动目标的实时定位的应用。
具体地，本发明采用的技术方案如下：
一种2自由度吊舱的外参标定优化方法，包括以下步骤：
(1)对于固定翼或者旋翼无人机，给定其一条标定优化数据采集的飞行航迹，无人机采用盘旋绕圈的模式按照给定的飞行轨迹飞行，无人机其吊舱能够实时的跟踪地面目标；地面目标上安装有GPS传感器且地面目标静止不动；
实时获取无人机的GPS信息即无人机在世界坐标系(即东北天坐标系)中的空间位置Posw＝[xw,yw,zw]、无人机机载坐标系到世界坐标系的旋转矩阵和吊舱反馈的姿态角(φ,θ,0)。
(2)通过GPS传感器采集一段时间(比如1分钟)地面目标实时空间位置数据，然后取平均，获得一个准确的地面目标空间位置PosT＝[xT,yT,zT]。
(3)首先对本发明所用到的几个坐标系进行说明。世界坐标系owxwywzw的原点为无人机的起飞点，owxw,owyw,owzw分别指向东、北和天；图像坐标系o0uv的原点为图像左上角点o0，横坐标u和纵坐标v分别是图像所在的行和列，主点为(u0,v0)；摄像机坐标系ocxcyczc原点为相机的光心，ocxc和ocyc轴与图像的u,v轴平行，oczc轴为相机光轴，焦距为f，ocxc和ocyc方向的有效焦距分别为fx和fy；吊舱坐标系opodxpodypodzpod的原点为吊舱安装轴的中心点，opodxpod和opodypod轴分别为吊舱的右侧和正前方，opodzpod满足右手法则。
假设地面目标中心位置在吊舱中成像位置为(u,v)，根据目标投影原理、无人机信息(即步骤(1)中得到的无人机的GPS信息)和吊舱姿态输出信息(即步骤(1)中得到的吊舱反馈的姿态角)，地面目标相对于无人机的距离在世界坐标系中的投影(xw,yw,zw)估计如下:
其中为吊舱中的摄像机坐标系到世界坐标系的旋转矩阵；为初始时刻吊舱坐标系到无人机机载坐标系的旋转矩阵，对应的欧拉角为为吊舱坐标系从初始时刻到tk时刻的旋转矩阵，可以实时获取；为摄像机坐标系与吊舱坐标系的旋转矩阵，实时上这个旋转矩阵是固定不变的，对应的欧拉角为(u0,v0)为相机主点坐标；(fx,fy)分别为(u,v)方向上对应的有效焦距(u,v)；zc为目标在光轴的投影。
因此需要优化的外参为和
(4)根据步骤(2)中得到的地面目标空间位置PosT＝[xT,yT,zT]，结合公式(1)，且最终的目的是能够使得地面目标的定位准确，因此定义如下能量函数
其中N为采集的数量(无人机在步骤(1)中的飞行采集过程中，检测到地面目标的次数即为采集的数量)，(xw,yw,zw)为估计的目标空间位置，(xT,yT,zT)为目标实际的空间位置。
根据公式(1)和公式(2)，采用Matlab中的fminsearch(fun,x0)优化函数来进行外参优化，其中fun为公式(2)(将公式(1)带入(2))，x0为初始输入，包含初始的输入外参姿态角和一般来说，为吊舱上电时刻的角度输出值，为零向量，最终获得的结果和就是外参姿态标定优化的结果，从而可以利用公式(1)实时的解算地面目标的空间位置。
与现有技术相比，本发明能够产生以下技术效果：
本发明考虑到吊舱的2个姿态角(俯仰角和偏航角)的输出是已知的，同时吊舱和无人机是捷联的，利用无人机自身携带的导航系统提供的无人机姿态和位置信息、地面目标的位置信息(携带GPS等传感器)以及吊舱自身反馈的姿态信息，通过相关的数值优化方法，可以对吊舱外参进行优化标定。该方法可以对地面目标进行更精确的定位。
附图说明
图1是本发明提供的飞行轨迹示意图；
图2是坐标系定义示意图。
具体实施方式
下面对本发明的进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
本发明适用于空中无人机对地面运动目标的实时定位的应用，具体实施流程如下：
(1)对于固定翼或者旋翼无人机，如图1所示，给定其一条标定优化数据采集的飞行航迹。无人机采用盘旋绕圈的模式按照给定的飞行轨迹飞行，无人机其吊舱能够实时的跟踪地面目标；地面目标上安装有GPS且地面目标静止不动；
实时获取无人机的GPS信息即无人机在世界坐标系(即东北天坐标系)中的空间位置Posw＝[xw,yw,zw]、无人机机载坐标系到世界坐标系的旋转矩阵和吊舱反馈的姿态角(φ,θ,0)。
(2)通过GPS传感器采集一段时间(比如1分钟)地面目标实时空间位置数据，然后取平均，获得一个准确的地面目标空间位置PosT＝[xT,yT,zT]。
(3)图2描述了摄像机坐标系、吊舱坐标系、世界坐标系和图像坐标系的对应关系。世界坐标系owxwywzw的原点为无人机的起飞点，owxw,owyw,owzw分别指向东、北和天；图像坐标系o0uv的原点为图像左上角点o0，横坐标u和纵坐标v分别是图像所在的行和列，主点为(u0,v0)；摄像机坐标系ocxcyczc原点为相机的光心，ocxc和ocyc轴与图像的u,v轴平行，oczc轴为相机光轴，焦距为f，ocxc和ocyc方向的有效焦距分别为fx和fy；吊舱坐标系opodxpodypodzpod的原点为吊舱安装轴的中心点，opodxpod和opodypod轴分别为吊舱的右侧和正前方，opodzpod满足右手法则。
假设地面目标中心位置在吊舱中成像位置为(u,v)，根据目标投影原理、无人机信息(即步骤(1)中得到的无人机的GPS信息)和吊舱姿态输出信息(即步骤(1)中得到的吊舱反馈的姿态角)，地面目标相对于无人机的距离在世界坐标系中的投影(xw,yw,zw)估计如下:
其中为吊舱中的摄像机坐标系到世界坐标系的旋转矩阵；为初始时刻吊舱坐标系到无人机机载坐标系的旋转矩阵，对应的欧拉角为为吊舱坐标系从初始时刻到tk时刻的旋转矩阵，可以实时获取；为摄像机坐标系与吊舱坐标系的旋转矩阵，实时上这个旋转矩阵是固定不变的，对应的欧拉角为(u0,v0)为相机主点坐标；(fx,fy)分别为(u,v)方向上对应的有效焦距(u,v)；zc为目标在光轴的投影。
因此需要优化的外参为和
(4)根据步骤(2)中得到的地面目标空间位置PosT＝[xT,yT,zT]，结合公式(1)，假设地面目标的高度与飞机的高度保持相同，且最终的目的是能够使得地面目标的定位准确，因此定义如下能量函数
其中N为采集的数据量(无人机在步骤(1)中的飞行采集过程中，检测到地面目标的次数即为采集的数量)，(xw,yw,zw)为估计的目标空间位置，(xT,yT,zT)为步骤(2)中得到的地面目标空间位置。
根据公式(1)和公式(2)，采用Matlab中的fminsearch(fun,x0)优化函数来进行外参优化，其中fun为公式(2)(将公式(1)带入(2))，x0为初始输入，包含初始的输入外参姿态角和一般来说，为吊舱上电时刻的角度输出值，为零向量，最终获得的结果和就是外参姿态标定优化的结果，从而可以利用公式(1)实时的解算地面目标的空间位置。
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种2自由度吊舱的外参标定优化方法，其特征在于：包括以下步骤：
(1)给定无人机一条标定优化数据采集的飞行航迹，无人机采用盘旋绕圈的模式进行按照给定的飞行轨迹飞行，无人机其吊舱能够实时的跟踪地面目标；地面目标上安装有GPS传感器且地面目标静止不动；
实时获取无人机的GPS信息即无人机在世界坐标系中的空间位置Posw＝[xw,yw,zw]、无人机机载坐标系到世界坐标系的旋转矩阵Cbw和吊舱反馈的姿态角(φ,θ,0)；
(2)获得地面目标空间位置PosT＝[xT,yT,zT]；
(3)假设地面目标中心位置在吊舱中成像位置为(u,v)，根据目标投影原理、步骤(1)中得到的无人机的GPS信息和步骤(1)中得到的吊舱反馈的姿态角，地面目标相对于无人机的距离在世界坐标系中的投影(xw,yw,zw)估计如下:
其中为吊舱中的摄像机坐标系到世界坐标系的旋转矩阵；为初始时刻吊舱坐标系到无人机机载坐标系的旋转矩阵，对应的欧拉角为 为吊舱坐标系从初始时刻到tk时刻的旋转矩阵，可以实时获取；为摄像机坐标系与吊舱坐标系的旋转矩阵，这个旋转矩阵是固定不变的，对应的欧拉角为(u0,v0)为相机主点坐标；(fx,fy)分别为(u,v)方向上对应的有效焦距(u,v)；zc为目标在光轴的投影；
因此需要优化的外参为和
(4)定义如下能量函数
其中N为采集的数量，无人机在步骤(1)中的飞行采集过程中，检测到地面目标的次数即为采集的数量N，(xw,yw,zw)为估计的目标空间位置，(xT,yT,zT)为步骤(2)中得到的地面目标空间位置；
根据公式(1)和公式(2)，采用Matlab中的fminsearch(fun,x0)优化函数来进行外参优化，其中fun为公式(2)，x0为初始输入，包含初始的输入外参姿态角和为吊舱上电时刻的角度输出值，为零向量，最终获得的结果和就是外参姿态标定优化的结果，从而可以利用公式(1)实时的解算地面目标的空间位置。
2.根据权利要求1所述的2自由度吊舱的外参标定优化方法，其特征在于：无人机为固定翼或者旋翼无人机。
3.根据权利要求1或2所述的2自由度吊舱的外参标定优化方法，其特征在于：步骤(2)中，基于GPS传感器采集一段时间内地面目标实时空间位置数据，然后取平均，即得到地面目标空间位置PosT＝[xT,yT,zT]。
CN201810424166.4A 2018-05-07 2018-05-07 一种2自由度吊舱的外参标定优化方法 Active CN108873031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810424166.4A CN108873031B (zh) 2018-05-07 2018-05-07 一种2自由度吊舱的外参标定优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810424166.4A CN108873031B (zh) 2018-05-07 2018-05-07 一种2自由度吊舱的外参标定优化方法

Publications (2)

Publication Number Publication Date
CN108873031A true CN108873031A (zh) 2018-11-23
CN108873031B CN108873031B (zh) 2020-09-18

Family

ID=64327082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810424166.4A Active CN108873031B (zh) 2018-05-07 2018-05-07 一种2自由度吊舱的外参标定优化方法

Country Status (1)

Country Link
CN (1) CN108873031B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347186A (zh) * 2019-07-17 2019-10-18 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪系统
CN113252079A (zh) * 2021-07-05 2021-08-13 北京远度互联科技有限公司 无人机的吊舱校准方法、装置、电子设备及存储介质
CN114973037A (zh) * 2022-06-15 2022-08-30 中国人民解放军军事科学院国防科技创新研究院 一种无人机智能检测与同步定位多目标的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509304A (zh) * 2011-11-24 2012-06-20 江南大学 基于智能优化的摄像机标定方法
CN104019829A (zh) * 2014-06-09 2014-09-03 武汉克利福昇科技有限责任公司 一种基于pos系统的车载全景相机和线阵激光扫描仪的外参标定方法
CN106803270A (zh) * 2017-01-13 2017-06-06 西北工业大学深圳研究院 无人机平台基于单目slam的多关键帧协同地面目标定位方法
CN106875449A (zh) * 2017-02-17 2017-06-20 深圳飞马机器人科技有限公司 一种基于飞行数据的无人机非量测型相机检校方法
CN107464264A (zh) * 2016-06-02 2017-12-12 南京理工大学 一种基于gps的相机参数标定方法
CN107783555A (zh) * 2016-08-29 2018-03-09 杭州海康机器人技术有限公司 一种基于无人机的目标定位方法、装置及系统
CN107808402A (zh) * 2017-10-31 2018-03-16 深圳市瑞立视多媒体科技有限公司 多相机系统的标定方法、多相机系统及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509304A (zh) * 2011-11-24 2012-06-20 江南大学 基于智能优化的摄像机标定方法
CN104019829A (zh) * 2014-06-09 2014-09-03 武汉克利福昇科技有限责任公司 一种基于pos系统的车载全景相机和线阵激光扫描仪的外参标定方法
CN107464264A (zh) * 2016-06-02 2017-12-12 南京理工大学 一种基于gps的相机参数标定方法
CN107783555A (zh) * 2016-08-29 2018-03-09 杭州海康机器人技术有限公司 一种基于无人机的目标定位方法、装置及系统
CN106803270A (zh) * 2017-01-13 2017-06-06 西北工业大学深圳研究院 无人机平台基于单目slam的多关键帧协同地面目标定位方法
CN106875449A (zh) * 2017-02-17 2017-06-20 深圳飞马机器人科技有限公司 一种基于飞行数据的无人机非量测型相机检校方法
CN107808402A (zh) * 2017-10-31 2018-03-16 深圳市瑞立视多媒体科技有限公司 多相机系统的标定方法、多相机系统及终端设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AI-PING HU: "Camera calibration for UAV ground feature localization", 《2011 IEEE/ASME INTERNATIONAL CONFERENCE ON ADVANCED INTELLIGENT MECHATRONICS (AIM)》 *
吴修振 等: "基于单目视觉的GPS辅助相机外参数标定", 《光学精密工程》 *
顾国华 等: "二维旋转平台下的相机参数标定", 《光学精密工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347186A (zh) * 2019-07-17 2019-10-18 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪系统
CN110347186B (zh) * 2019-07-17 2022-04-05 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪系统
CN113252079A (zh) * 2021-07-05 2021-08-13 北京远度互联科技有限公司 无人机的吊舱校准方法、装置、电子设备及存储介质
CN113252079B (zh) * 2021-07-05 2022-03-29 北京远度互联科技有限公司 无人机的吊舱校准方法、装置、电子设备及存储介质
CN114973037A (zh) * 2022-06-15 2022-08-30 中国人民解放军军事科学院国防科技创新研究院 一种无人机智能检测与同步定位多目标的方法
CN114973037B (zh) * 2022-06-15 2024-05-07 中国人民解放军军事科学院国防科技创新研究院 一种无人机智能检测与同步定位多目标的方法

Also Published As

Publication number Publication date
CN108873031B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
Borowczyk et al. Autonomous landing of a quadcopter on a high-speed ground vehicle
US9870005B2 (en) Apparatus for close formation flight
CN100557540C (zh) 一种基于磁航向传感器的无人机航向自动修正方法
CN105698762A (zh) 一种单机航迹上基于不同时刻观测点的目标快速定位方法
CN104615142A (zh) 基于民用小型无人机的飞行控制器
CN103196443B (zh) 基于光流和附加信息的飞行体姿态测量方法与系统
CN112789672B (zh) 控制和导航系统、姿态优化、映射和定位技术
CN106155081B (zh) 一种旋翼无人机大范围目标监测和精确定位方法
CN105865455B (zh) 一种利用gps与加速度计计算飞行器姿态角的方法
Sohn et al. Vision-based real-time target localization for single-antenna GPS-guided UAV
CN108873031A (zh) 一种2自由度吊舱的外参标定优化方法
Montenegro et al. A review on distributed control of cooperating mini UAVs
CN108733064A (zh) 一种无人机的视觉定位避障系统及其方法
Wolf et al. Toward improved landing precision on Mars
CN109084760A (zh) 一种楼宇间导航系统
CN108445900A (zh) 一种无人机视觉定位替代差分技术
Zhao et al. Design on altitude control system of quad rotor based on laser radar
CN201004180Y (zh) 无人机姿态控制系统
Yang et al. Multi-sensor data fusion for UAV navigation during landing operations
Lyu et al. A model-aided optical flow/inertial sensor fusion method for a quadrotor
Kopecki et al. Algorithms of measurement system for a micro UAV
Lyu et al. Simultaneously multi-uav mapping and control with visual servoing
Kaiser et al. Localization and control of an aerial vehicle through chained, vision-based pose reconstruction
Xiao-Hong et al. UAV's automatic landing in all weather based on the cooperative object and computer vision
Xian et al. Hovering control of a nano quadrotor unmanned aerial vehicle using optical flow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant