CN109592057B - 一种基于视觉伺服的空中加油机受油实现方法 - Google Patents

一种基于视觉伺服的空中加油机受油实现方法 Download PDF

Info

Publication number
CN109592057B
CN109592057B CN201811492037.5A CN201811492037A CN109592057B CN 109592057 B CN109592057 B CN 109592057B CN 201811492037 A CN201811492037 A CN 201811492037A CN 109592057 B CN109592057 B CN 109592057B
Authority
CN
China
Prior art keywords
coordinate system
image
camera coordinate
airplane
oil receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811492037.5A
Other languages
English (en)
Other versions
CN109592057A (zh
Inventor
潘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Jinhang Computing Technology Research Institute
Original Assignee
Tianjin Jinhang Computing Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Jinhang Computing Technology Research Institute filed Critical Tianjin Jinhang Computing Technology Research Institute
Priority to CN201811492037.5A priority Critical patent/CN109592057B/zh
Publication of CN109592057A publication Critical patent/CN109592057A/zh
Application granted granted Critical
Publication of CN109592057B publication Critical patent/CN109592057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D39/00—Refuelling during flight

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种基于视觉伺服的空中加油机受油实现方法，包括：步骤一：飞行员操纵飞机接近加油机，获取加油机图像，提取特征点坐标；步骤二：对步骤一中图像坐标求导，再根据步骤一中关系得广义速度；步骤三：将提取到的加油机的图像特征点在摄像机坐标系下换算到机载摄像机坐标系，据此得出飞机各个方向的速度和个轴向角速度在摄像机坐标系下的表示。本发明利用摄像机获取当前加油机图像，提取合适的特征并与参考图像特征比较，根据视觉控制律不断调整飞机的位姿。

Description

一种基于视觉伺服的空中加油机受油实现方法
技术领域
本发明属于模式识别与人工智能领域，具体涉及一种利用视觉伺服的空中加油机加油实现方法。
背景技术
机器人视觉伺服控制是模式识别与人工智能领域中的重要技术，通过引入视觉传感器，使机器人具备感知外界环境的能力，是多传感器信息融合与集成技术在机器人技术中的重要应用，与基于传统的非视觉传感器的机器人控制技术相比具有更高的灵活性，更高的精度，具备了较强的环境自适应能力，能够更好地完成各种任务。
机器人视觉伺服系统由视觉传感器向机器人提供外部信息，从而控制机器人实时调整其位姿，实现精确地跟踪或定位，完成相应的工作。
当前飞机空中加油靠飞行员操纵飞机完成，需要靠肉眼观察加油机位置，不断手动调整受油机的位置和姿态，费时费力。飞机加油过程主要是飞机受油口的对准，这与机器人识别目标物体进行抓取过程类似，因此，研究借鉴利用机器人视觉伺服方法实现飞机加油过程中受油口的自动对接具有可行性，且飞机空中自动加油具有重要的意义。
发明内容
本发明的目的在于提供一种基于视觉伺服的空中加油机受油实现方法，用于解决上述现有技术的问题。
本发明一种基于视觉伺服的空中加油机受油实现方法，包括：步骤一：飞行员操纵飞机接近加油机，获取加油机图像，提取特征点坐标，设特征点在摄像机坐标系下坐标为cP＝[Xc，Yc，Zc]T，其图像坐标为[u,v]T，根据成像模型有
Figure BDA0001895942220000021
其中fx和fy为摄像机等效焦距；由于飞机运动，点cP在视觉传感器坐标系下是变化的，假设该点在摄像机坐标系下的运动速度为
Figure BDA0001895942220000022
则有
Figure BDA0001895942220000023
其中cV＝[cvx,cvy,cvz,]T，cΩ＝[cωx,cωy,cωz,]T分别为cP在摄像机坐标系下的线速度和角速度；步骤二：对步骤一中图像坐标求导，再根据步骤一中关系得：
Figure BDA0001895942220000024
其中，
Figure BDA0001895942220000025
称为图像雅克比矩阵，cΨ＝[cvx cvy cvz cωx cωy cωz]T为广义速度；
步骤三：将提取到的加油机的图像特征点在摄像机坐标系下换算到机载摄像机坐标系，据此得出飞机各个方向的速度和个轴向角速度在摄像机坐标系下的表示。
根据本发明的基于视觉伺服的空中加油机受油实现方法的一实施例，其中，飞机各个方向的速度和个轴向角速度在摄像机坐标系下的表示包括：
Figure BDA0001895942220000031
其中
Figure BDA0001895942220000032
S(ePc)为由ePc的元素组成的反对称矩阵，广义速度eΨ＝[evx evy evz eωx eωy eωz]T是待求的飞机各个方向速度和个轴向角速度。
根据本发明的基于视觉伺服的空中加油机受油实现方法的一实施例，其中，还包括：步骤四：根据步骤三给出的广义速度eΨ，设计控制律，控制飞机调整位姿向加油机靠近，最终实现受油口的自动对接。
根据本发明的基于视觉伺服的空中加油机受油实现方法的一实施例，其中，由飞行员操纵飞机进行空中加油，当受油口对准后用机载摄像机获取当前加油机图像作为参考图像。
本发明给出一种快速有效的基于机器人视觉伺服控制方法的加油机受油方法，能够快速完成飞机受油口的自动对接工作。
本发明利用摄像机获取当前加油机图像，提取合适的特征并与参考图像特征比较，根据视觉控制律不断调整飞机的位姿，直到飞机调整到合适的位置和姿态，当视觉传感器获取的受油口图像特征与参考图像特征完全相同时就完成了受油口的对准。
附图说明
图1为本发明提出的一种基于机器人视觉伺服方法的空中加油系统框图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明基于视觉伺服的空中加油机受油实现方法，包括：
步骤一：飞行员操纵飞机接近加油机，获取加油机图像，提取特征点坐标，设特征点在摄像机坐标系下坐标为cP＝[Xc,Yc,Zc]T，其图像坐标为[u，v]T，根据成像模型有
Figure BDA0001895942220000041
其中fx和fy为摄像机等效焦距；由于飞机运动，点cP在视觉传感器坐标系下是变化的，假设该点在摄像机坐标系下的运动速度为
Figure BDA0001895942220000042
则有
Figure BDA0001895942220000043
其中cV＝[cvx,cvy,cvz,]T，cΩ＝[cωx,cωy,cωz,]T分别为cP在摄像机坐标系下的线速度和角速度。
步骤二：对步骤一中图像坐标求导，再根据步骤一中关系得：
Figure BDA0001895942220000044
，其中，
Figure BDA0001895942220000051
称为图像雅克比矩阵，
cΨ＝[cvx cvy cvz cωx cωy cωz]T为广义速度。
步骤三：将提取到的加油机的图像特征点在摄像机坐标系下换算到机载摄像机坐标系，据此得出飞机各个方向的速度和个轴向角速度在摄像机坐标系下的表示。
Figure BDA0001895942220000052
其中
Figure BDA0001895942220000053
S(ePc)为由ePc的元素组成的反对称矩阵，广义速度eΨ＝[evx evy evz eωx eωy eωz]T就是待求的飞机各个方向速度和个轴向角速度。
步骤四：根据步骤三给出的广义速度eΨ，设计控制律，控制飞机调整位姿向加油机靠近，最终实现受油口的自动对接。
进一步来说，第一次使用需要进行示教，由飞行员操纵飞机进行空中加油，当受油口对准后用机载摄像机获取当前加油机图像作为参考图像，在以后进行加油时就可以以此为参考控制飞机进行受油口的自动对接，
本发明提出了一种基于机器人视觉伺服控制的飞机加油过程中受油口自动对接方法，可有效提高飞机空中加油效率。主要应用于空中加油机加油过程中两飞机受油口的自动对准，显著提高飞机受油效率。
综上所述，本发明利用基于视觉图像的机器人视觉伺服控制方法实现为飞机空中加油的受油口自动对接的方法，能够实现空中加油的自动化，把飞行员从繁杂操作中解放出来，大大提高加油效率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种基于视觉伺服的空中加油机受油实现方法，包括：
步骤一：飞行员操纵飞机接近加油机，获取加油机图像，提取特征点坐标，设特征点在摄像机坐标系下坐标为cP＝[Xc,Yc,Zc]T，其图像坐标为[u,v]T，根据成像模型有
Figure FDA0003355626000000011
其中fx和fy为摄像机等效焦距；由于飞机运动，点cP在视觉传感器坐标系下是变化的，假设该点在摄像机坐标系下的运动速度为
Figure FDA0003355626000000012
则有
Figure FDA0003355626000000013
其中cV＝[cvx,cvy,cvz,]T，cΩ＝[cωx,cωy,cωz,]T分别为cP在摄像机坐标系下的线速度和角速度；
步骤二：对步骤一中图像坐标求导，再根据步骤一中关系得：
Figure FDA0003355626000000014
其中，
Figure FDA0003355626000000015
称为图像雅克比矩阵，cΨ＝[cvx cvy cvz cωx cωy cωz]T为广义速度；
步骤三：将提取到的加油机的图像特征点在摄像机坐标系下换算到机载摄像机坐标系，据此得出飞机各个方向的速度和各 轴向角速度在摄像机坐标系下的表示；
飞机各个方向的速度和各 轴向角速度在摄像机坐标系下的表示包括：
Figure FDA0003355626000000021
其中
Figure FDA0003355626000000022
S(ePc)为由ePc的元素组成的反对称矩阵，广义速度eΨ＝[evx evy evz eωx eωy eωz]T是待求的飞机各个方向速度和各轴向角速度；
步骤四：根据步骤三给出的广义速度eΨ，设计控制律，控制飞机调整位姿向加油机靠近，最终实现受油口的自动对接。
2.如权利要求1所述的基于视觉伺服的空中加油机受油实现方法，其特征在于，由飞行员操纵飞机进行空中加油，当受油口对准后用机载摄像机获取当前加油机图像作为参考图像。
CN201811492037.5A 2018-12-07 2018-12-07 一种基于视觉伺服的空中加油机受油实现方法 Active CN109592057B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811492037.5A CN109592057B (zh) 2018-12-07 2018-12-07 一种基于视觉伺服的空中加油机受油实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811492037.5A CN109592057B (zh) 2018-12-07 2018-12-07 一种基于视觉伺服的空中加油机受油实现方法

Publications (2)

Publication Number Publication Date
CN109592057A CN109592057A (zh) 2019-04-09
CN109592057B true CN109592057B (zh) 2021-12-31

Family

ID=65961366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811492037.5A Active CN109592057B (zh) 2018-12-07 2018-12-07 一种基于视觉伺服的空中加油机受油实现方法

Country Status (1)

Country Link
CN (1) CN109592057B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111258231B (zh) * 2020-01-20 2021-03-30 北京航空航天大学 仿猛禽视觉导航的自主空中加油对接半物理系统及其方法
CN113978742B (zh) * 2021-10-25 2023-07-21 中航通飞华南飞机工业有限公司 一种加油系统、水上加油飞机及加油方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278906B1 (en) * 1999-01-29 2001-08-21 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CN204776046U (zh) * 2015-06-18 2015-11-18 南京航空航天大学 一种空中加油系统
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278906B1 (en) * 1999-01-29 2001-08-21 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
CN204776046U (zh) * 2015-06-18 2015-11-18 南京航空航天大学 一种空中加油系统
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焊接机器人焊接路径识别与自主控制方法研究及应用;刘卫鹏;《中国博士学位论文全文》;20170815;第55-76页 *

Also Published As

Publication number Publication date
CN109592057A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
EP2916106B1 (de) Verfahren zur Positions- und Lagebestimmung mittels virtueller Referenzbilder
CN108229587B (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN109405835B (zh) 基于非合作目标直线与圆单目图像的相对位姿测量方法
AU2012323096B2 (en) Method of calibrating a computer-based vision system onboard a craft
CN109592057B (zh) 一种基于视觉伺服的空中加油机受油实现方法
CN106182004A (zh) 基于视觉引导的工业机器人自动销孔装配的方法
CN103995538B (zh) 一种基于图像识别的空中受油控制方法
CN105965519A (zh) 一种视觉引导下的离合器下料定位方法
CN108015764A (zh) 一种基于多源视觉信息融合的空间零先验目标捕获方法
Duan et al. A binocular vision-based UAVs autonomous aerial refueling platform
CN104325268A (zh) 一种基于智能学习的工业机器人三维空间自主装配方法
CN108733064A (zh) 一种无人机的视觉定位避障系统及其方法
CN109291048A (zh) 一种磨抛工业机器人实时在线编程系统及方法
CN108945536B (zh) 一种基于旋翼飞行器的交会对接实验平台
EP3578321A1 (de) Verfahren zum verwenden mit einer maschine zum erstellen einer erweiterte-realität-anzeigeumgebung
CN112975929A (zh) 基于多特征融合的客机充电插座识别定位对接系统与方法
CN109459023A (zh) 一种基于无人机视觉slam的辅助地面机器人导航方法及装置
CN104965513A (zh) 一种子弹跳机器人的回收系统及回收方法
CN109472778A (zh) 一种基于无人机的高耸结构外观检测方法
CN107932514A (zh) 基于机器人视觉伺服控制的机载设备挂装方法
CN112588621A (zh) 一种基于视觉伺服的农产品分拣方法及系统
Lee et al. Autonomous landing system for aerial mobile robot cooperation
Srivastava et al. Range estimation and visual servoing of a dynamic target using a monocular camera
CN113269100B (zh) 基于视觉的飞机海上平台着陆飞行视景仿真系统及方法
CN116079732A (zh) 基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant