CN108733066B - 一种基于吊舱姿态反馈的目标跟踪控制方法 - Google Patents

一种基于吊舱姿态反馈的目标跟踪控制方法 Download PDF

Info

Publication number
CN108733066B
CN108733066B CN201810424169.8A CN201810424169A CN108733066B CN 108733066 B CN108733066 B CN 108733066B CN 201810424169 A CN201810424169 A CN 201810424169A CN 108733066 B CN108733066 B CN 108733066B
Authority
CN
China
Prior art keywords
coordinate system
pod
nacelle
angle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810424169.8A
Other languages
English (en)
Other versions
CN108733066A (zh
Inventor
方强
赵框
周勇
唐邓清
曹正江
周正元
周晗
王树源
高平海
胡天江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810424169.8A priority Critical patent/CN108733066B/zh
Publication of CN108733066A publication Critical patent/CN108733066A/zh
Application granted granted Critical
Publication of CN108733066B publication Critical patent/CN108733066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明提供一种基于吊舱姿态反馈的目标跟踪控制方法。在已知目标检测成像结果的前提下，考虑到吊舱的2个姿态角(俯仰角和偏航角)的输出是已知的，同时吊舱和无人机是捷联的，因此可以利用吊舱的姿态信息来生成所需的角度输入，进而产生吊舱速度控制指令，从而使得目标保持在视场中心。通过该方法能够快速准确的控制吊舱的旋转，使得目标在视场中心。

Description

一种基于吊舱姿态反馈的目标跟踪控制方法
技术领域
本发明涉及无人机控制技术领域，特别是涉及一种无人机机载吊 舱在线控制跟踪目标的方法。
背景技术
无人机在执行目标跟踪任务的过程中，一般要求能够锁定目标， 也就是说尽可能的使得目标在视场中心。要实现这个任务，仅仅依靠 相机是无法实现的，因此需要带有旋转功能的吊舱来实现。
由于低成本且小型化，无人机的机载载荷重量和体积有限，因此 一般小型无人机携带的吊舱都为二自由度的吊舱(三自由度吊舱相对 重，体积相对大)，而实现吊舱的目标跟踪控制是一个难点。
关于吊舱的目标跟踪控制方法，目前常规的方法主要是基于纯图 像像素的吊舱跟踪控制，这种控制方法的参数调试与无人机和目标的 运动紧密相关，不同场合可能需要多次调试不同的控制参数。因此从 通用性的角度出发，需要一种能够适用于大多数吊舱目标跟踪的控制 方法。
发明内容
针对现有技术存在的缺陷，本发明的目的是提供一种基于吊舱姿 态反馈的目标跟踪控制方法，通过该方法能够快速准确的控制吊舱的 旋转，使得目标在视场中心。
具体地，本发明采用的技术方案如下：
本发明提供一种基于吊舱姿态反馈的目标跟踪控制方法，该方法 是在已知目标检测成像结果的前提下，通过本发明提供的上述控制方 法，能够快速准确的控制吊舱的旋转，使得目标在视场中心，具体实 施步骤如下：
(1)确定吊舱坐标系到摄像机坐标系的旋转的顺序为先偏航后 俯仰最后再滚转。考虑到吊舱没有滚转角的自由度，而且如果要保证 目标在视场中心，滚转角只会影响目标在中心的朝向(将目标看出区 域)，旋转滚转角并不会使得目标偏离中心，因此将滚转角的旋转定 义在最后。
(2)定义坐标系和转换关系
关于吊舱坐标系、摄像机坐标系：
摄像机坐标系ocxcyczc原点为相机的光心，ocxc和ocyc轴与图 像的u,v轴平行，oczc轴为相机光轴，焦距为f，ocxc和ocyc方向的 有效焦距分别为fx和fy；吊舱坐标系opxpypzp的原点为吊舱安装轴 的中心点，opxp和opyp轴分别为吊舱的右侧和正前方，opzp满足 右手法则。
如图1所示，
Figure BDA0001651544930000021
为摄像机坐标系到吊舱坐标系的方向余弦矩阵，
Figure BDA0001651544930000022
为tj时刻吊舱坐标系到ti时刻吊舱坐标系的方向余弦矩阵(其中 i,j＝0,...k,i≠j)，对应的欧拉角为
Figure BDA0001651544930000023
分别表示偏航角，俯 仰角和滚转角。
Figure BDA0001651544930000024
为tj时刻摄像机坐标系到ti时刻摄像机坐标系的 方向余弦矩阵(其中i,j＝0,...k,i≠j)，对应的欧拉角为
Figure BDA0001651544930000025
(3)计算目标偏离视场中心的大小(Δu,Δv)
Figure BDA0001651544930000031
其中(u0,v0)是图像的中心点，也叫主点坐标，(u1,v1)是检测到的 目标在图像中的成像位置坐标。
(4)计算在u，v方向上目标偏离的角度
Figure BDA0001651544930000032
其中 u的方向是指沿着图像的行的方向，v方向指沿着图像的列的方向。
Figure RE-GDA0001800600560000032
Figure RE-GDA0001800600560000033
Figure BDA0001651544930000035
Δψ表示偏离的偏航角。参见图3，图3为目标u方向上的角度 示意图。
(5)根据欧拉角和旋转矩阵的转换关系，可以获得从tk时刻到tk+1时刻目标偏离角度的旋转矩阵
Figure BDA0001651544930000036
Figure BDA0001651544930000037
(6)由于吊舱相对内置相机的旋转矩阵事先已经进行标定，是一 个已知的输入，即
Figure BDA0001651544930000038
已知，而且上一时刻吊舱旋转的旋转矩 阵
Figure BDA0001651544930000039
已知，因此可以获得吊舱此时的旋转矩阵
Figure BDA00016515449300000310
Figure BDA00016515449300000311
(7)根据旋转矩阵和欧拉角的转换关系和式(4)，得到吊舱的欧 拉角输出
Figure BDA0001651544930000041
由于吊舱为2自由度，结合(1)的分 析，直接默认滚转角为0，因此得到2自由度吊舱的输入角
Figure BDA0001651544930000042
获得输入角
Figure BDA0001651544930000043
后，就可以利用常规的控制方法生成 吊舱的速度控制指令，从而实现目标的稳定跟踪。
与现有技术相比，本发明能够产生以下技术效果：
本发明是在已知目标检测成像结果的前提下，考虑到吊舱的2个 姿态角(俯仰角和偏航角)的输出是已知的，同时吊舱和无人机是捷 联的，因此可以利用吊舱的姿态信息来生成所需的角度输入，进而产 生吊舱速度控制指令，从而使得目标保持在视场中心。通过该方法能 够快速准确的控制吊舱的旋转，使得目标在视场中心。
附图说明
图1是舱坐标系和摄像机坐标系转换示意图。
图2是目标图像像素位置示意图。
图3是目标u方向上的角度示意图。
具体实施方式
下面对本发明的进行详细阐述，以使本发明的优点和特征能更易 于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明 确的界定。
本发明是在已知目标检测成像结果的前提下，通过本发明提供的 上述控制方法，能够快速准确的控制吊舱的旋转，使得目标在视场中 心。
下面给出一具体实施例：
假设摄像机的焦距为fx＝fy＝1000，分辨率为1280×720；摄像机 坐标系到吊舱坐标系的方向余弦矩阵
Figure BDA0001651544930000051
为单位矩阵；上一时刻tk吊 舱旋转的欧拉角为
Figure BDA0001651544930000052
当前目标的成像位置 像素坐标为(u1,v1)＝(740,560)。需要获得当前时刻tk+1时的吊舱控制速 度控制回路中的角度输入
Figure BDA0001651544930000053
采用本发明提供的方法获得2自由度吊舱的输入角，具体实施流 程如下：
1)根据已知条件和公式(1)计算出目标在偏离偏离视场中心的 大小
Figure BDA0001651544930000054
Figure BDA0001651544930000055
2)根据公式(2)计算出目标距离上一时刻偏离的角度
Figure BDA0001651544930000056
Figure BDA0001651544930000057
Figure BDA0001651544930000058
3)根据2)的结果以及公式(3)计算出旋转矩阵
Figure BDA0001651544930000059
Figure BDA0001651544930000061
4)根据已知条件计算出上一时刻tk吊舱的旋转矩阵
Figure BDA0001651544930000062
Figure BDA0001651544930000063
5)利用公式(4)可以获得旋转矩阵
Figure BDA0001651544930000064
Figure BDA0001651544930000065
6)根据5)的结果可以获得2自由度吊舱的角度输出(单位为 度)
Figure BDA0001651544930000066
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明， 对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本 发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应 包含在本发明的保护范围之内。

Claims (1)

1.一种基于吊舱姿态反馈的目标跟踪控制方法，其特征在于：包括以下步骤：
(1)确定吊舱坐标系到摄像机坐标系的旋转的顺序为先偏航后俯仰最后再滚转；
(2)定义坐标系和转换关系
关于吊舱坐标系、摄像机坐标系：
摄像机坐标系ocxcyczc原点为相机的光心，ocxc和ocyc轴与图像的u,v轴平行，oczc轴为相机光轴，焦距为f，ocxc和ocyc方向的有效焦距分别为fx和fy；吊舱坐标系opxpypzp的原点为吊舱安装轴的中心点，opxp和opyp轴分别为吊舱的右侧和正前方，opzp满足右手法则；
Figure RE-FDA0001800600550000011
为摄像机坐标系到吊舱坐标系的方向余弦矩阵，
Figure RE-FDA0001800600550000012
为tj时刻吊舱坐标系到ti时刻吊舱坐标系的方向余弦矩阵，其中i,j＝0,...k,i≠j，对应的欧拉角为
Figure RE-FDA0001800600550000013
分别表示偏航角，俯仰角和滚转角；
Figure RE-FDA0001800600550000014
为tj时刻摄像机坐标系到ti时刻摄像机坐标系的方向余弦矩阵，对应的欧拉角为
Figure RE-FDA0001800600550000015
(3)计算目标偏离视场中心的大小(Δu,Δv)
Figure RE-FDA0001800600550000016
其中(u0,v0)是图像的中心点，也叫主点坐标，(u1,v1)是检测到的目标在图像中的成像位置坐标；
(4)计算在u，v方向上目标偏离的角度
Figure RE-FDA0001800600550000021
Figure RE-FDA0001800600550000022
其中：Δψ表示偏离的偏航角；
(5)根据欧拉角和旋转矩阵的转换关系，可以获得从tk时刻到tk+1时刻目标偏离角度的旋转矩阵
Figure RE-FDA0001800600550000023
Figure RE-FDA0001800600550000024
(6)由于吊舱相对内置相机的旋转矩阵事先已经进行标定，即
Figure RE-FDA0001800600550000025
已知，而且上一时刻吊舱旋转的旋转矩阵
Figure RE-FDA0001800600550000026
已知，因此可以获得吊舱此时的旋转矩阵
Figure RE-FDA0001800600550000027
Figure RE-FDA0001800600550000028
(7)根据旋转矩阵和欧拉角的转换关系和式(4)，得到吊舱的欧拉角输出
Figure RE-FDA0001800600550000029
由于吊舱为2自由度，默认滚转角为0，因此得到2自由度吊舱的输入角
Figure RE-FDA00018006005500000210
获得输入角
Figure RE-FDA00018006005500000211
后，即可生成吊舱的速度控制指令，从而实现目标的稳定跟踪。
CN201810424169.8A 2018-05-07 2018-05-07 一种基于吊舱姿态反馈的目标跟踪控制方法 Active CN108733066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810424169.8A CN108733066B (zh) 2018-05-07 2018-05-07 一种基于吊舱姿态反馈的目标跟踪控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810424169.8A CN108733066B (zh) 2018-05-07 2018-05-07 一种基于吊舱姿态反馈的目标跟踪控制方法

Publications (2)

Publication Number Publication Date
CN108733066A CN108733066A (zh) 2018-11-02
CN108733066B true CN108733066B (zh) 2021-05-07

Family

ID=63937697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810424169.8A Active CN108733066B (zh) 2018-05-07 2018-05-07 一种基于吊舱姿态反馈的目标跟踪控制方法

Country Status (1)

Country Link
CN (1) CN108733066B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800589B (zh) * 2019-04-08 2022-04-19 清华大学 图像处理方法、装置和系统，以及机器人
CN110220491B (zh) * 2019-05-31 2021-07-09 彩虹无人机科技有限公司 一种无人机的光学吊舱安装误差角估算方法
CN110347186B (zh) * 2019-07-17 2022-04-05 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪系统
CN110580054B (zh) * 2019-08-21 2022-06-14 东北大学 一种基于自主视觉跟踪的光电吊舱的控制系统及方法
CN113395448B (zh) * 2021-06-15 2023-02-21 西安视成航空科技有限公司 一种机载吊舱图像搜索跟踪处理系统
CN113415433B (zh) * 2021-07-30 2022-11-29 成都纵横大鹏无人机科技有限公司 基于三维场景模型的吊舱姿态修正方法、装置和无人机

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833099A (zh) * 2010-05-25 2010-09-15 广州科易光电技术有限公司 直升机巡检电力线路的锁定跟踪方法
CN102622764A (zh) * 2012-02-23 2012-08-01 大连民族学院 一种基于移动相机平台的目标跟踪方法
CN104976991A (zh) * 2015-05-06 2015-10-14 同济大学 一种考虑卫星姿态变化的三线阵影像像方偏差的获取方法
CN105549060A (zh) * 2015-12-15 2016-05-04 大连海事大学 基于机载光电吊舱位置和姿态的目标定位系统
CN105698762A (zh) * 2016-01-15 2016-06-22 中国人民解放军国防科学技术大学 一种单机航迹上基于不同时刻观测点的目标快速定位方法
CN105809702A (zh) * 2016-03-29 2016-07-27 南京航空航天大学 一种基于Tsai算法的改进位姿估计方法
CN106027904A (zh) * 2016-06-29 2016-10-12 中国人民解放军国防科学技术大学 视频卫星姿态运动图像补偿方法
CN106705966A (zh) * 2016-09-18 2017-05-24 北京星网卫通科技开发有限公司 一种可实现高精度绝对位置及姿态测量的稳定平台系统
CN106777489A (zh) * 2016-11-22 2017-05-31 中国人民解放军陆军军官学院 无人机载光电稳定转台跟踪态建模仿真方法
CN106737859A (zh) * 2016-11-29 2017-05-31 江苏瑞伯特视觉科技股份有限公司 基于不变平面的传感器与机器人的外部参数标定方法
CN106989744A (zh) * 2017-02-24 2017-07-28 中山大学 一种融合机载多传感器的旋翼无人机自主定位方法
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833099A (zh) * 2010-05-25 2010-09-15 广州科易光电技术有限公司 直升机巡检电力线路的锁定跟踪方法
CN102622764A (zh) * 2012-02-23 2012-08-01 大连民族学院 一种基于移动相机平台的目标跟踪方法
CN104976991A (zh) * 2015-05-06 2015-10-14 同济大学 一种考虑卫星姿态变化的三线阵影像像方偏差的获取方法
CN105549060A (zh) * 2015-12-15 2016-05-04 大连海事大学 基于机载光电吊舱位置和姿态的目标定位系统
CN105698762A (zh) * 2016-01-15 2016-06-22 中国人民解放军国防科学技术大学 一种单机航迹上基于不同时刻观测点的目标快速定位方法
CN105809702A (zh) * 2016-03-29 2016-07-27 南京航空航天大学 一种基于Tsai算法的改进位姿估计方法
CN106027904A (zh) * 2016-06-29 2016-10-12 中国人民解放军国防科学技术大学 视频卫星姿态运动图像补偿方法
CN106705966A (zh) * 2016-09-18 2017-05-24 北京星网卫通科技开发有限公司 一种可实现高精度绝对位置及姿态测量的稳定平台系统
CN106777489A (zh) * 2016-11-22 2017-05-31 中国人民解放军陆军军官学院 无人机载光电稳定转台跟踪态建模仿真方法
CN106737859A (zh) * 2016-11-29 2017-05-31 江苏瑞伯特视觉科技股份有限公司 基于不变平面的传感器与机器人的外部参数标定方法
CN106989744A (zh) * 2017-02-24 2017-07-28 中山大学 一种融合机载多传感器的旋翼无人机自主定位方法
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Inference of flight angles associating the flight images movement with camera parameters;Milton Macena Ramos de Lima 等;《2013 International Conference on Unmanned Aircraft Systems (ICUAS)》;20131231;全文 *
一种空对地可见光图像制导跟踪算法;刘学 等;《长春理工大学学报（自然科学版）》;20141031;第37卷(第5期);全文 *
基于IMU与单目视觉融合的姿态测量方法;孙长库 等;《天津大学学报（自然科学与工程技术版）》;20170331;第50卷(第3期);第87-91页 *
基于极线约束的图像目标识别可信度评价方法;岳冬雪;《小型微型计算机系统》;20080229;第29卷(第2期);全文 *
基于连续图像的无人平台载荷目标定位算法研究;刘俊涛 等;《军民两用技术与产品》;20161231;全文 *
空对地可见光图像制导跟踪算法研究;丁洋;《中国优秀硕士学位论文全文数据库信息科技辑》;20140815(第08期);正文第11-13，33-34页 *

Also Published As

Publication number Publication date
CN108733066A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108733066B (zh) 一种基于吊舱姿态反馈的目标跟踪控制方法
CN111596693B (zh) 基于云台相机的无人机对地面目标跟踪控制方法及系统
US8098893B2 (en) Moving object image tracking apparatus and method
US20120212622A1 (en) Moving object image tracking apparatus and method
CN111966133A (zh) 一种云台视觉伺服控制系统
US20090096664A1 (en) Method, Apparatus and Computer Program Product for Providing Stabilization During a Tracking Operation
CN109782810B (zh) 基于图像引导的视频卫星运动目标跟踪成像方法及其装置
CN113311873B (zh) 一种基于视觉的无人机伺服跟踪方法
CN109765530B (zh) 一种运动平台雷达波束解耦方法
JP2009200949A (ja) 移動体画像追尾装置及び方法
WO2018027339A1 (en) Copyright notice
Mills et al. Vision based control for fixed wing UAVs inspecting locally linear infrastructure using skid-to-turn maneuvers
Gur fil et al. Partial aircraft state estimation from visual motion using the subspace constraints approach
KR20160086467A (ko) 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법
EP4068042A1 (en) Recovery control method and apparatus for rocket, electronic device and storage medium
CN111247389B (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
CN114879709A (zh) 一种面向运动目标跟踪观测的卫星姿态控制方法及装置
CN108427429B (zh) 一种考虑动态指向约束的航天器视轴机动控制方法
CN108592860B (zh) 用于机载光电观瞄系统基轴对准操作后的瞄准线输出角度计算方法
CN115933724A (zh) 一种无人机跟踪目标时的控制方法、系统、设备及介质
CN108731683B (zh) 一种基于导航信息的无人机自主回收目标预测方法
US11019265B1 (en) Optimized motion compensation via fast steering mirror and roll axis gimbal
Liu et al. Visual-based online control of gimbal on the uav for target tracking
CN113741548A (zh) 一种无人机编队非线性协同导引方法、装置及存储介质
US11549785B2 (en) Arrangement and method for autoalignment of a stabilized subsystem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant