CN109085845A - 一种自主空中加油对接仿生视觉导航控制系统及方法 - Google Patents

一种自主空中加油对接仿生视觉导航控制系统及方法 Download PDF

Info

Publication number
CN109085845A
CN109085845A CN201810856669.9A CN201810856669A CN109085845A CN 109085845 A CN109085845 A CN 109085845A CN 201810856669 A CN201810856669 A CN 201810856669A CN 109085845 A CN109085845 A CN 109085845A
Authority
CN
China
Prior art keywords
control
tapered sleeve
vision
navigation
refueled aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810856669.9A
Other languages
English (en)
Other versions
CN109085845B (zh
Inventor
段海滨
孙永斌
费伦
邓亦敏
邱华鑫
辛龙
李晗
徐小斌
霍梦真
魏晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810856669.9A priority Critical patent/CN109085845B/zh
Priority to US16/147,240 priority patent/US11427316B2/en
Publication of CN109085845A publication Critical patent/CN109085845A/zh
Application granted granted Critical
Publication of CN109085845B publication Critical patent/CN109085845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D39/00—Refuelling during flight
    • B64D39/06—Connecting hose to aircraft; Disconnecting hose therefrom
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B6/00—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential
    • G05B6/02—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/30—Supply or distribution of electrical power
    • B64U50/34—In-flight charging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种自主空中加油对接仿生视觉导航控制系统及方法，该系统包括：加/受油机底层控制模块、多干扰软管‑锥套稳定控制模块、使能与选择模块、近距视觉相对导航模块、受油机相对位置精确控制模块。该方法如下：步骤一：受油机、软管‑锥套、多种风干扰建模，给定初始状态；步骤二：锥套位置稳定控制；步骤三：加/受油机相对位置计算，视觉使能判断；步骤四：相对位置精确控制；步骤五：利用仿鹰眼颜色视觉进行导航方法选择；步骤六：锥套所有标志点检测正常的近距视觉导航；步骤七：锥套距离远或者部分标志点被遮挡情况下的近距视觉导航；步骤八：选择利用GPS信号或视觉导航信号控制，并设计视觉导航下的控制；步骤九：判断对接是否成功。

Description

一种自主空中加油对接仿生视觉导航控制系统及方法
技术领域
本发明涉及一种自主空中加油对接仿生视觉导航控制系统及方法，属于无人机导航与控制领域。
背景技术
自主空中加油(Autonomous Aerial Refueling,AAR)技术是解决无人机在载重和续航能力上的缺陷提高无人机性能的一种有效途径，空中加油技术通过提升无人机的续航能力可以显著的提高无人机的任务执行能力，提高无人机的自主性。
软式自主空中加油主要分为会合、对接、加油和分离四个阶段，相比于其它阶段，软式空中加油对接阶段面临的情况最复杂，对导航与控制系统的要求最高、最难。软式自主空中加油对接阶段不仅需要准确获取多种风干扰下加油锥套的位姿信息，而且需要对受油机进行相对位置精确控制，因此设计合理高效的无人机自主空中加油导航与控制方法至关重要。本发明旨在通过设计一种自主空中加油对接仿生视觉导航控制系统及其方法，提高无人受油机在对接过程中的近距导航与相对位置控制精度，促进软式自主空中加油的成功实现，提高无人机的自主能力。
目前，自主空中加油过程中常用的导航技术包括惯性导航系统、差分GPS(GlobalPositioning System，GPS)系统等。惯性导航系统存在随着时间不断累加误差的缺陷；GPS技术虽然使用起来非常方便，但是由于其依靠卫星来定位，精度和抗干扰能力有待加强。再者，由于与加油机相连的锥套在多种风干扰下相对于加油机的位置和姿态不断变化，即使通过惯性和GPS导航得到了加/受油机之间的相对位置和姿态信息，也无法实现加油锥套和受油探头之间的准确对接，因此传统的导航方式无法实现加油锥套与受油探头的近距相对导航。同时，在自主空中加油不同阶段受油机的控制目标不同，相同的控制率无法满足不同的控制目标，仅对接阶段的前后存在GPS与视觉信号的切换，因此需要设计无人受油机前向、侧向与高度方向的精确相对位置控制。本发明针对现有软式自主空中加油导航方法在加油锥套与受油探头近距导航上的可行性、抗干扰性以及精确性等方面的不足，并且考虑GPS与视觉切换的受油机位置精确控制率，基于仿生视觉设计了一种自主空中加油近距相对导航与控制系统及其方法。
视觉导航技术通过图像处理来提取目标的特征点进行位姿测量，从而为无人机提供导引信息。相对于其它导航系统，视觉传感器具有轻便、低功耗、体积小、重量轻、成本低等特点，此外视觉导航系统的工作波段远离当前电磁对抗的频率范围，在近距测量锥套的位置与姿态信息时精度较高。鉴于视觉导航能够满足多风干扰下加油锥套摆动过程中的位姿测量要求，与对接阶段近距相对导航的稳定性、精确性、抗干扰性等要求有着紧密的契合之处，本发明提出了一种自主空中加油对接仿生视觉导航控制系统及其方法，以解决现有软式自主空中加油对接阶段锥套位姿精确测量与受油机位置精确控制上的不足，促进软式自主空中加油近距对接地顺利实现，有效提高无人机自主性。
发明内容
本发明提供了一种自主空中加油对接仿生视觉导航控制系统及方法，其目的是提供一种软式自主空中加油对接过程中的导航控制系统及方法，旨在提高自主空中加油对接阶段近距相对导航的可靠性、抗干扰性以及精确性，并且设计与之相匹配的带有控制切换的相对位置精确控制方法，从而提高近距导航与控制的精度，促进软式自主空中加油的顺利实现，提高无人机的自主能力水平。
本发明针对软式自主空中加油对接阶段近距导航与控制问题，开发了一种自主空中加油对接仿生视觉导航控制系统，具体如下：
系统框架如图1所示，自主空中加油对接仿生视觉导航控制系统由5部分组成，分别为：加/受油机底层控制模块、多干扰软管-锥套稳定控制模块、使能与选择模块、近距视觉相对导航模块、受油机相对位置精确控制模块。
1)加/受油机底层控制模块，包括加/受油机俯仰角、滚转角、偏航角与速度控制。俯仰角控制实现对升降舵的控制，内环设计为俯仰角速度的PI控制，同时比例反馈迎角对飞机进行增稳，外环设计为俯仰角的PI控制，解算得到内环俯仰角速度指令，实现俯仰角稳定与控制；滚转角控制实现对副翼的控制，内环设计为滚转角速度的PI控制，外环设计为滚转角的PI控制，解算得到内环滚转角速度指令，实现滚转角稳定与控制；偏航角控制实现对方向舵的控制，比例反馈偏航角速度进行增稳，并设计偏航角的PI控制，实现偏航角稳定与控制；速度控制实现对油门推力的控制，设计速度的PI控制，解算得到期望的发动机推力，实现速度的稳定与控制。自主空中加油对接阶段，受油机通过相对位置精确控制模块得到俯仰角、滚转角与速度指令，作为受油机底层控制模块的输入，由于采用定直侧滑侧向偏离控制，偏航角一直保持为零；本发明加油机假设为定直平飞状态，俯仰角保持配平状态值，滚转角、偏航角保持为零。
2)多干扰软管-锥套稳定控制模块，包括软管-锥套模型、多种大气扰动模型(大气紊流、受油机头波、加油机尾流)以及锥套位置稳定控制。具体如图2所示，软管-锥套模型，包括软管多刚体动力学与运动学、锥套动力学与运动学，软管-锥套组合体与加油机固连在一起，建立的软管-锥套模型由多段质量集中的连杆(即软管)与可控锥套组成，各段连杆与锥套容易受到多种大气扰动的影响；多种大气扰动模型，包括大气紊流、加油机尾流、受油机头波模型，模型建立了软式自主空中加油对接过程风干扰环境，增强了仿真系统的真实性，通过仿真分别得到三种大气扰动在坐标系三个方向上的风速分量并进行风速叠加，合成风速会作用到软管及锥套的质心处，进而影响软管与锥套受到的气动力，造成软管与锥套稳定位置的大幅震荡，很难实现自主对接；锥套位置稳定控制，包括锥套侧向位置PID控制器、垂向位置PID控制器、锥套作动器分配，为了降低自主对接的难度，根据锥套稳定位置分别设计锥套位置侧向与垂向的PID控制器，得到侧向与垂向的期望主动控制力，并根据锥套气动，分配锥套相应的作动器产生实际的主动控制力，减小锥套飘摆的范围，降低自主对接的难度。
3)使能与选择模块，包括视觉使能、视觉导航方法选择、控制选择。视觉使能，使得仿生视觉导航系统工作，获取虚拟现实(Virtual Reality,VR)仿真中的图像，进行视觉导航处理，首先进行视觉导航方法选择，视觉导航方法选择，包括VR视景仿真、仿鹰眼标志点检测、判断是否检测到所有标志点，对VR图像上的锥套标志点进行仿鹰眼检测，根据是否检测到所设计的锥套上的所有标志点，判断使用不同的近距视觉相对导航方法；控制选择，根据受油插头与加油锥套之间的视觉解算位置差，判断是否使用视觉导航信号。
4)近距视觉相对导航模块，包括锥套检测正常、锥套距离远或者部分遮挡两种情况。根据视觉导航方法选择结果，如果锥套检测正常则进行标志点匹配，进而进行精确位姿估计；如果锥套距离过远或者部分遮挡，造成标志点不能全部检测到，则根据锥套颜色信息进行椭圆拟合，进而进行位姿估计。
5)受油机相对位置精确控制模块，包括受油机高度控制、侧向偏离控制与前向偏离控制。高度控制以俯仰角控制为内环，前向偏离控制以速度控制为内环，侧向偏离控制采用受油机定直侧滑的方式，以滚转角为内环。通过反馈加/受油机之间的相对位置，进行相对位置精确控制。
一种自主空中加油对接仿生视觉导航控制方法，实现步骤如下：
步骤一：受油机、软管-锥套、多种风干扰建模，并给定初始状态
建立加/受油机六自由度非线性模型：
其中，分别为飞机三个方位参数、空速、迎角、侧滑角、滚转角、俯仰角、偏航角、滚转角速度、俯仰角速度、偏航角速度的一阶导数；u,v,w分别为空速V在机体坐标系各轴上的分量，为其一阶导数；L,M,N分别为气动滚转力矩、俯仰力矩、偏航力矩；Ix,Iy,Iz,Ixz为转动惯量。
建立软管-锥套多刚体分段模型，将软管分为N段，各段状态角可以表示为
其中，dk为软管k-1指向软管k的距离矢量；ak为软管k段的加速度；lk为软管k段的长度；αw为牵连角加速度；ωw为牵连角速度；偏导数
建立多种风干扰的模型，包括加油机尾流、受油机头波、大气紊流的模型。加油机尾流采用Hallock-Burnham尾涡模型；受油机头波采用兰金半体模型；大气紊流采用Dryden紊流模型。
步骤二：锥套位置稳定控制
根据锥套在稳定流场(自由流与尾流)中的稳定位置，分别设计可控锥套侧向与垂向位置PID稳定控制，通过锥套作动器分配，得到可控锥套四个舵面的控制量，改变锥套受到的气动力，抵抗多风干扰对加油锥套位置的影响，维持加油锥套在较小的范围内摆动。
步骤三：加/受油机相对位置计算，视觉使能判断
对接初始阶段，将加油机位置xT,yT,hT与受油机位置xR,yR,hR做差，得到相对位置Δx,Δy,Δh。判断是否使能视觉导航系统，如果Δx＞Δxthr，根据相对位置进行GPS信号下的相对位置精确控制，进行步骤四；否则，仿生视觉导航系统开始工作，进行步骤五～七。
步骤四：GPS信号下的相对位置精确控制
分别设计加/受油机高度、前向偏离以及侧向偏离的相对位置精确控制率。
高度控制以俯仰角控制回路为内环，采用PID控制形式：
其中，θcmd为内环俯仰角指令；eh为高度偏差；Δhcmd为期望加/受油机高度差；Δh为实际加/受油机高度差；分别为高度比例、微分以及积分系数。
前向偏离控制以速度控制回路为内环，不能存在超调，采用比例控制形式：
其中，Vcmd为内环速度指令；ex为前向偏离偏差；Δxcmd为期望加/受油机前向偏离；Δx为实际加/受油机前向偏离；分别为前向偏离比例系数。
侧向偏离控制采用受油机定直侧滑侧向偏离控制方式，以滚转角控制回路为内环，方向舵控制消除偏航角。定制侧滑侧向偏离控制采用PD控制形式，为提高侧向偏离的控制精确，增加带门限的积分环节：
其中，φcmd为内环滚转角指令；ey为侧向偏离偏差；Δycmd为期望加/受油机侧向偏离；Δy为实际加/受油机侧向偏离；为侧向偏离积分门限，当时，带门限的积分环节开始起作用；分别为侧向偏离比例、微分以及积分系数。
内环速度、俯仰角、滚转角、偏航角控制按照经典飞行控制系统进行设计。
步骤五：利用仿鹰眼颜色视觉进行导航方法选择
VR视景中，加油锥套设计为红色并且在外围添加一个绿色标志点与六个蓝色标志点，如图3所示。
利用仿鹰眼颜色视觉机制构建仿鹰眼颜色区域及标志点检测，提取加油锥套图像中不同波段信号信息。仿鹰眼长波通路主要吸收彩色(Red-Green-Blue,RGB)图像中的红色信号，并对其它颜色进行抑制，RGB图像中R通道的灰度值占R、G、B三通道灰度值之和的比例越大，长波通路的响应越大；同样地，中波通路、短波通路分别吸收彩色图像中的绿色与蓝色信号，并对其它颜色信号进行抑制；紫外通路吸收图像中的亮度信号。通过在长波、中波、短波通路中分别保持红色、绿色和蓝色成分灰度值对比度并削弱其它颜色成分灰度值对比度来构建仿鹰眼颜色视觉模型，检测加油锥套中颜色信息，提取标志点。具体公式如下：
其中，IL,IM,IS,IU分别为长波、中波、短波以及紫外波段四个通路对图像的输出响应；r,g,b表示输入彩色图像中三个颜色通道的灰度值；Lthr,Mthr,Sthr分别为长波、中波、短波阈值；max(s1,s2)表示取s1与s2的最大值；min(s1,s2)表示取s1与s2的最小值。
首先对VR视景中获得的图像进行仿鹰眼颜色视觉机制的颜色分割，选择长波通道的输出响应图像进行二值化处理，从而得到只包括红色区域的二值图像；接着对只包括红色区域的二值图像进行孔洞填充，滤除杂点，得到圆形锥套二值图像；将圆形锥套二值图像与原图像(即VR视景中获得的图像)进行相与操作得到只包含圆形锥套的彩色图像；利用基于仿鹰眼颜色视觉机制的图像颜色分割方法对只包含圆形锥套的彩色图像再次进行颜色分割，首先选择中波通道的输出响应图像进行二值化处理，得到绿色圆形标志点二值图像，然后进行斑点检测，得到绿色圆形标志点数量以及所对应标志点的中心像素坐标，再选择短波通道的输出响应图像进行二值化处理，得到蓝色圆形标志点二值图像，进行斑点检测，得到蓝色圆形标志点数量以及所对应标志点的中心像素坐标。将检测到的绿色与蓝色标志点数量相加，判断是否检测到全部的七个标志点。如果检测到所有标志点，进行步骤六；否则，检测到部分或者没有检测到标志点，进行步骤七。
步骤六：锥套所有标志点检测正常的近距视觉导航
如果检测到锥套上的所有标志点，进行标志点的匹配。根据步骤五检测到的所有标志点的坐标，首先进行凸包变换把所有标志点的坐标顺时针排序；然后判定初始绿色标志点，根据步骤五检测到的绿色标志点的坐标，依次对所有七个标志点坐标做平方差，平方差最小值对应的坐标点即为绿色标志点的坐标；最后按照顺时针依次对剩下的六个蓝色标志点进行匹配，得到所有七个标志点的匹配结果。
对匹配正确的所有标志点，利用RPnP(A Robust Solution to the Perspective-n-Point Problem)算法进行精确位姿测量，算法具体实施不再详细叙述，得到相机坐标系下的加油锥套位置，并进行相机坐标系、机体坐标系、地面惯性系的坐标转换，得到加油锥套与受油插头在地面惯性系下的位置差Δxv,Δyv,Δhv。
步骤七：锥套距离远或者部分标志点被遮挡情况下的近距视觉导航
当锥套距离较远时，由于标志点太小，会检测不到部分甚至全部标志点；当加油锥套距离受油插头距离较近时，受油插头会遮挡部分标志点。因此，当出现这两种情况时，需要进行标志点检测不完全的近距视觉导航。
首先对VR视景中获得的图像进行仿鹰眼颜色视觉机制的颜色分割，选择长波通道的输出响应图像进行二值化处理，从而得到只包括红色区域的二值图像；接着对只包括红色区域的二值图像进行孔洞填充，滤除杂点，得到圆形锥套二值图像；将圆形锥套二值图像与原图像(即VR视景中获得的图像)进行相与操作得到只包含圆形锥套的彩色图像；然后对只包含圆形锥套的彩色图像提取锥套边缘点；再对边缘像素点进行椭圆拟合，得到拟合椭圆的外接矩形四个顶点的像素点；最后，根据锥套实际尺寸的外接矩形对四个顶点像素点进行匹配。
利用匹配好的顶点像素点进行RPnP精确位姿测量，得到相机坐标系下的加油锥套位置，并进行相机坐标系、机体坐标系、地面惯性系的坐标转换，得到加油锥套与受油插头在地面惯性系下的位置差Δxv,Δyv,Δhv。
步骤八：选择利用GPS信号或者视觉导航信号进行控制，并设计视觉导航下的控制
当加/受油机距离小于Δxthr时，经过步骤五～七得到近距视觉相对导航得到的位置差Δxv,Δyv,Δhv，判断仿生视觉导航得到的前向位置差Δxv是否大于如果则依旧按照GPS信号进行导航控制，按照步骤四进行精确位置控制；如果则按照视觉导航信号进行导航控制。
视觉导航控制率仍采用步骤四的位置精确控制形式：
其中，分别为内环俯仰角、速度、滚转角指令； 分别为视觉导航控制高度、前向偏离、侧向偏离的比例、积分、微分系数；为侧向偏离积分门限。
步骤九：判断对接是否成功
当视觉导航时，判断Δyv与Δhv是否小于如果Δyv与Δhv小于表示对接成功，结束对接过程；否则，表示对接失败，则受油机减速，将前向偏离目标设为使得加/受油机相对距离回到重新进行对接过程。
本发明提出了一种自主空中加油对接仿生视觉导航控制系统及其方法，其优点及功效在于：一、本发明提供了完整软式自主空中加油对接阶段导航与控制系统框架及其工作流程，系统框架以及流程合理、高效，能够满足软式自主空中加油对接功能指标；二、本发明模仿鹰眼颜色视觉机制构建仿鹰眼颜色区域及标志点检测方法，提高了锥套区域及标志点的检测效率及准确性；三、本发明给出了仿生视觉导航与GPS导航的切换逻辑，提供了两种不同的视觉导航方法，解决了标志点较远或被部分遮挡情况下的视觉导航问题，能够实现对接区域全过程的视觉导航，提高视觉导航的抗干扰性、稳定性；四、本发明设计了GPS信号与视觉导航信号下的受油机控制率，并进行了切换，提高了相对位置控制精度。
附图说明
图1自主空中加油对接仿生视觉导航控制系统及其方法框架图
图2自主空中加油软管-锥套位置稳定控制结构图
图3自主空中加油锥套标志点示意图
图4自主空中加油对接仿生视觉导航控制系统及其方法流程图
图5自主空中加油对接仿生视觉导航控制位置响应曲线
图中标号及符号说明如下：
(Δx,Δy,Δh)——加油机相对受油机的位置
(xR,yR,hR)——受油机的位置
(xT,yT,hT)——加油机的位置
(Δxv,Δyv,Δhv)——仿生视觉导航得到的锥套位置
(wu,wv,ww)——合成风干扰的三个分量
a——加油机加速度
ω——加油机角速度
(xdro,ydro,zdro)——锥套的位置
Fs——锥套侧向期望主动控制力
Fv——锥套垂向期望主动控制力
(act1,act2,act3,act4)——锥套四个作动器张开角
——软管第k段两个状态角
ak——软管第k段的加速度
Qdro——锥套受到的气动力
具体实施方式
见图1至图5，下面通过一个具体的自主空中加油对接仿生视觉导航控制实例来验证本发明所提出的系统及其方法的有效性。一种自主空中加油对接仿生视觉导航控制系统及方法，该系统框架如图1所示，自主空中加油对接仿生视觉导航控制系统由5部分组成，分别为：加/受油机底层控制模块、多干扰软管-锥套稳定控制模块、使能与选择模块、近距视觉相对导航模块、受油机相对位置精确控制模块。
该方法其实现流程如图4所示，具体步骤如下：
步骤一：受油机、软管-锥套、多种风干扰建模，并给定初始状态
按照公式(1)～(2)，分别建立受油机以及软管-锥套的模型。以机翼后缘两尾涡中心间连线的中点为原点Ov，Yv轴与中心连线重合，正方向指向右侧翼尖，Xv与Zv轴分别平行于加油机机体坐标系对应的两个轴，建立尾涡坐标系OvXvYvZv。加油机尾流Hallock-Burnham模型风速为vvor＝[vvorx vvory vvorz]，根据模型性质vvorx≈0，其它两个分量具体计算公式如下：
其中，(xrel yrel zrel)为尾涡坐标系中某一点的坐标；Γ0为尾涡初始强度，Γ0＝4GT/(πρVTbT)，GT为加油机重力，ρ为大气密度，VT为加油机速度，bT为加油机翼展；rc为尾涡半径，
受油机头波兰金半体模型，可以由均流与点源流的叠加获得，以点源流的重心为原点Ob，Xb、Yb、Zb分别平行于受油机机体坐标系对应的三个轴，建立头波坐标系ObXbYbZb。头波风速可以表示为vbow＝[vbowx vbowy vbowz]，三个分量的具体表达式为：
其中，(xb yb zb)为头波坐标系中某一点的坐标；头波模型在Ob为原点的极坐标系统中，径向速度vr与周向速度vθ可以表示为：
vη＝-Usinη (14)
其中，U为均流的速度；Qb为点源流的强度，Qb＝2πUbn，bn＝hnose/π，hnose为机身在宽度方向上的最大半径；r为极径；η为极角。
给定加/受油机初始状态，自主会合结束后，受油机高度hR＝7300m，加/受油机速度VR＝VT＝180m/s，加油机相对受油机初始距离Δx≈368m、Δy≈0m、Δh≈30m，软管长度l＝22.86m，软管段数N＝20，软管k段的长度lk＝l/N＝1.143m，加油机质量mT＝120000kg，翼展bT＝39.88m，U＝VT，hhose＝0.4m，ρ＝1.293kg/m3。设定仿真步长0.02s，仿真时间200s，轻度紊流强度。
步骤二：锥套位置稳定控制
在仿真时间50s前，软管受到自由流与加油机尾流得到相对稳定位置。仿真时间50s之后，加入受油机头波、大气紊流的影响，大气紊流为轻度紊流。
根据仿真时间t＝50s时的加油锥套稳定位置，分别设计锥套侧向与垂向位置PID控制器，通过作动器分配，得到可控锥套的四个舵面的控制量，改变锥套受到的气动力，抵抗风干扰对锥套位置的影响。
步骤三：加/受油机相对位置计算，视觉使能判断
加油机与受油机位置做差，得到加油机相对受油机的位置Δx,Δy,Δh，如果Δx＞80m(加油锥套与受油插头之间的距离大约在40m)，根据相对位置进行GPS信号下的相对位置精确控制，进行步骤四；否则，仿生视觉导航系统开始工作，进行步骤五～七。
步骤四：GPS信号下的相对位置精确控制
高度控制器可以描述为公式(3)，控制器比例、微分以及积分系数前向偏离控制器可以描述为公式(4)，控制器比例系数侧向偏离控制器可以描述为公式(5)，控制器比例、微分以及积分系数带门限的积分环节阈值
步骤五：利用仿鹰眼颜色视觉进行导航方法选择
仿鹰眼颜色检测可以描述为公式(6)，仿鹰眼颜色视觉模型长波、中波、短波阈值Lthr＝20,Mthr＝20,Sthr＝20。首先对VR视景中获得的图像进行仿鹰眼颜色视觉机制的颜色分割，选择长波通道的输出响应图像进行二值化处理，从而得到只包括红色区域的二值图像；接着对只包括红色区域的二值图像进行孔洞填充，滤除杂点，得到圆形锥套二值图像；将圆形锥套二值图像与原图像(即VR视景中获得的图像)进行相与操作得到只包含圆形锥套的彩色图像；利用基于仿鹰眼颜色视觉机制的图像颜色分割方法对只包含圆形锥套的彩色图像再次进行颜色分割，首先选择中波通道的输出响应图像进行二值化处理，得到绿色圆形标志点二值图像，然后进行斑点检测，得到绿色圆形标志点数量以及所对应标志点的中心像素坐标，再选择短波通道的输出响应图像进行二值化处理，得到蓝色圆形标志点二值图像，进行斑点检测，得到蓝色圆形标志点数量以及所对应标志点的中心像素坐标。将检测到的绿色与蓝色标志点数量相加，判断是否检测到全部的七个标志点。如果检测到所有标志点，进行步骤六；否则，检测到部分或者没有检测到标志点，进行步骤七。
步骤六：锥套所有标志点检测正常的近距视觉导航
对检测到锥套上的所有标志点，进行标志点的匹配。根据步骤五检测到的所有标志点的坐标，首先进行凸包变换把所有标志点的坐标顺时针排序；然后判定初始绿色标志点，根据步骤五检测到的绿色标志点的坐标，依次对所有七个标志点坐标做平方差，平方差最小值对应的坐标点即为绿色志点的坐标；最后按照顺时针依次对剩下的六个蓝色标志点进行匹配，得到所有七个标志点的匹配结果。
利用RPnP位姿估计算法进行加油锥套精确位姿估计：1)建立锥套标志点四阶多项式，在锥套坐标系下，选择两个标志点的连线记作旋转轴，以该条连线的中点为坐标原点，连线所在方向为Z轴方向建立新的坐标系OaXaYaZa，并将原锥套坐标系下的7个三维特征点的坐标转换到坐标系OaXaYaZa下，将7个在新坐标系下的三维标志点进行三三组合分为5个不同的点集。根据三角几何原理每三个点都可以构造一个四阶多项式，5个点集可以形成由5个四阶多项式形成的方程组；2)标志点在摄像机坐标系下坐标的求解，将四阶多项式方程组中的每一个四阶多项式平方求和，构建一个八阶的代价函数，通过对该八阶代价函数进行求导，再求代价函数导数的零解，得到至多四个特征根，由这些特征根计算出7个三维标志点在摄像机坐标系下的坐标，由RPnP算法第一步中确定旋转轴的两个标志点在摄像机坐标系下所对应的坐标所确定的Zc轴为3)位姿求解，已知坐标系OaXaYaZa的Za轴在摄像机坐标系OcXcYcZc下所对应的Zc轴，则这两个坐标系之间的旋转矩阵R可以表示成一个旋转角度ξ的表达式，这样R中只有一个参数ξ，表达式如下：
其中，H是一个任意的正交旋转矩阵，它的第三列[h7h8h9]T等于Zc，rot(Zc,ξ)表示绕Zc轴的旋转角度ξ。根据摄像机成像原理，三维特征点到二维归一化图像平面的投影可以表示为：
其中，(ui,vi)为特征点的像素坐标，(Xi,Yi,Zi)为特征点在OaXaYaZa坐标系下的坐标，t＝[tx ty tz]T为坐标系OaXaYaZa与摄像机坐标系OcXcYcZc之间的平移向量。为了求解参数[cosξsinξtx ty tz 1]T将公式(16)进行化解，则每个特征点可以构造一个2×6的方程组，将全部特征点多构成的方程组进行组合，并利用奇异值分解的方法对组合后的方程组进行求解，从而求出两个坐标系之间的旋转矩阵R和平移向量t。
最终得到相机坐标系下的加油锥套位置，并进行相机坐标系、机体坐标系、地面惯性系的坐标转换，得到加油锥套与受油插头在地面惯性系下的位置差Δxv,Δyv,Δhv。
步骤七：锥套距离远或者部分标志点被遮挡情况下的近距视觉导航
当锥套距离较远或标志点被部分遮挡时，对锥套进行椭圆拟合，并对外界矩形像素点进行匹配。利用RPnP位姿估计算法进行加油锥套精确位姿估计，得到相机坐标系下的加油锥套位置，并进行相机坐标系、机体坐标系、地面惯性系的坐标转换，得到加油锥套与受油插头在地面惯性系下的位置差Δxv,Δyv,Δhv。
步骤八：选择利用GPS信号或者视觉导航信号进行控制，并设计视觉导航下的控制
当加/受油机距离小于80m即加油锥套与受油插头之间的距离在40m左右时，经过步骤五～七得到近距视觉相对导航得到的位置差Δxv,Δyv,Δhv，如果Δxv＞30m，则依旧按照GPS信号进行导航控制，按照步骤四进行精确位置控制；如果Δxv＜30m，则按照视觉导航信号进行导航控制。
视觉导航精确位置控制器可以描述为公示(7)～(9)，视觉导航控制高度前向偏离侧向偏离侧向偏离积分门限
步骤九：判断对接是否成功
当视觉导航Δxv＜0.1m时，判断Δyv＜0.25m与Δhv＜0.25m是否成立。如果成立，表示对接成功，结束对接过程；否则，表示对接失败，则受油机减速，将前向偏离目标设为30m，使得加/受油机相对距离回到30m，重新进行对接过程。对接成功过程中，视觉导航控制加油锥套位置响应曲线，如图5所示。

Claims (2)

1.一种自主空中加油对接仿生视觉导航控制系统，其特征在于：该系统由5部分组成，分别为：加/受油机底层控制模块、多干扰软管-锥套稳定控制模块、使能与选择模块、近距视觉相对导航模块、受油机相对位置精确控制模块；
1)加/受油机底层控制模块，包括加/受油机俯仰角、滚转角、偏航角与速度控制；俯仰角控制实现对升降舵的控制，内环设计为俯仰角速度的PI控制，同时比例反馈迎角对飞机进行增稳，外环设计为俯仰角的PI控制，解算得到内环俯仰角速度指令，实现俯仰角稳定与控制；滚转角控制实现对副翼的控制，内环设计为滚转角速度的PI控制，外环设计为滚转角的PI控制，解算得到内环滚转角速度指令，实现滚转角稳定与控制；偏航角控制实现对方向舵的控制，比例反馈偏航角速度进行增稳，并设计偏航角的PI控制，实现偏航角稳定与控制；速度控制实现对油门推力的控制，设计速度的PI控制，解算得到期望的发动机推力，实现速度的稳定与控制；自主空中加油对接阶段，受油机通过相对位置精确控制模块得到俯仰角、滚转角与速度指令，作为受油机底层控制模块的输入，由于采用定直侧滑侧向偏离控制，偏航角一直保持为零；加油机假设为定直平飞状态，俯仰角保持配平状态值，滚转角、偏航角保持为零；
2)多干扰软管-锥套稳定控制模块，包括软管-锥套模型、多种大气扰动模型以及锥套位置稳定控制；软管-锥套模型，包括软管多刚体动力学与运动学、锥套动力学与运动学，软管-锥套组合体与加油机固连在一起，建立的软管-锥套模型由多段质量集中的连杆即软管与可控锥套组成，各段连杆与锥套容易受到多种大气扰动的影响；多种大气扰动模型，包括大气紊流、加油机尾流、受油机头波模型，模型建立软式自主空中加油对接过程风干扰环境，增强仿真系统的真实性，通过仿真分别得到三种大气扰动在坐标系三个方向上的风速分量并进行风速叠加，合成风速会作用到软管及锥套的质心处，进而影响软管与锥套受到的气动力，造成软管与锥套稳定位置的大幅震荡；锥套位置稳定控制，包括锥套侧向位置PID控制器、垂向位置PID控制器、锥套作动器分配，根据锥套稳定位置分别设计锥套位置侧向与垂向的PID控制器，得到侧向与垂向的期望主动控制力，并根据锥套气动，分配锥套相应的作动器产生实际的主动控制力，减小锥套飘摆的范围，降低自主对接的难度；
3)使能与选择模块，包括视觉使能、视觉导航方法选择、控制选择；视觉使能，使得仿生视觉导航系统工作，获取虚拟现实VR仿真中的图像，进行视觉导航处理，首先进行视觉导航方法选择，视觉导航方法选择，包括VR视景仿真、仿鹰眼标志点检测、判断是否检测到所有标志点，对VR图像上的锥套标志点进行仿鹰眼检测，根据是否检测到所设计的锥套上的所有标志点，判断使用不同的近距视觉相对导航方法；控制选择，根据受油插头与加油锥套之间的视觉解算位置差，判断是否使用视觉导航信号；
4)近距视觉相对导航模块，包括锥套检测正常、锥套距离远或者部分遮挡两种情况；根据视觉导航方法选择结果，如果锥套检测正常则进行标志点匹配，进而进行精确位姿估计；如果锥套距离过远或者部分遮挡，造成标志点不能全部检测到，则根据锥套颜色信息进行椭圆拟合，进而进行位姿估计；
5)受油机相对位置精确控制模块，包括受油机高度控制、侧向偏离控制与前向偏离控制；高度控制以俯仰角控制为内环，前向偏离控制以速度控制为内环，侧向偏离控制采用受油机定直侧滑的方式，以滚转角为内环；通过反馈加/受油机之间的相对位置，进行相对位置精确控制。
2.一种自主空中加油对接仿生视觉导航控制方法，其特征在于：该方法实现步骤如下：
步骤一：受油机、软管-锥套、多种风干扰建模，并给定初始状态
建立加/受油机六自由度非线性模型：
其中，分别为飞机三个方位参数、空速、迎角、侧滑角、滚转角、俯仰角、偏航角、滚转角速度、俯仰角速度、偏航角速度的一阶导数；u,v,w分别为空速V在机体坐标系各轴上的分量，为其一阶导数；L,M,N分别为气动滚转力矩、俯仰力矩、偏航力矩；Ix,Iy,Iz,Ixz为转动惯量；
建立软管-锥套多刚体分段模型，将软管分为N段，各段状态角可以表示为
其中，dk为软管k-1指向软管k的距离矢量；ak为软管k段的加速度；lk为软管k段的长度；αw为牵连角加速度；ωw为牵连角速度；偏导数
建立多种风干扰的模型，包括加油机尾流、受油机头波、大气紊流的模型；加油机尾流采用Hallock-Burnham尾涡模型；受油机头波采用兰金半体模型；大气紊流采用Dryden紊流模型；
步骤二：锥套位置稳定控制
根据锥套在稳定流场中的稳定位置，分别设计可控锥套侧向与垂向位置PID稳定控制，通过锥套作动器分配，得到可控锥套四个舵面的控制量，改变锥套受到的气动力，抵抗多风干扰对加油锥套位置的影响，维持加油锥套在较小的范围内摆动；
步骤三：加/受油机相对位置计算，视觉使能判断
对接初始阶段，将加油机位置xT,yT,hT与受油机位置xR,yR,hR做差，得到相对位置Δx,Δy,Δh；判断是否使能视觉导航系统，如果Δx＞Δxthr，根据相对位置进行GPS信号下的相对位置精确控制，进行步骤四；否则，仿生视觉导航系统开始工作，进行步骤五～七；
步骤四：GPS信号下的相对位置精确控制
分别设计加/受油机高度、前向偏离以及侧向偏离的相对位置精确控制率；
高度控制以俯仰角控制回路为内环，采用PID控制形式：
其中，θcmd为内环俯仰角指令；eh为高度偏差；Δhcmd为期望加/受油机高度差；Δh为实际加/受油机高度差；分别为高度比例、微分以及积分系数；
前向偏离控制以速度控制回路为内环，不能存在超调，采用比例控制形式：
其中，Vcmd为内环速度指令；ex为前向偏离偏差；Δxcmd为期望加/受油机前向偏离；Δx为实际加/受油机前向偏离；分别为前向偏离比例系数；
侧向偏离控制采用受油机定直侧滑侧向偏离控制方式，以滚转角控制回路为内环，方向舵控制消除偏航角；定制侧滑侧向偏离控制采用PD控制形式，为提高侧向偏离的控制精确，增加带门限的积分环节：
其中，φcmd为内环滚转角指令；ey为侧向偏离偏差；Δycmd为期望加/受油机侧向偏离；Δy为实际加/受油机侧向偏离；为侧向偏离积分门限，当时，带门限的积分环节开始起作用；分别为侧向偏离比例、微分以及积分系数；
内环速度、俯仰角、滚转角、偏航角控制按照经典飞行控制系统进行设计；
步骤五：利用仿鹰眼颜色视觉进行导航方法选择
VR视景中，加油锥套设计为红色并且在外围添加一个绿色标志点与六个蓝色标志点；
利用仿鹰眼颜色视觉机制构建仿鹰眼颜色区域及标志点检测，提取加油锥套图像中不同波段信号信息；仿鹰眼长波通路主要吸收彩色Red-Green-Blue即RGB图像中的红色信号，并对其它颜色进行抑制，RGB图像中R通道的灰度值占R、G、B三通道灰度值之和的比例越大，长波通路的响应越大；同样地，中波通路、短波通路分别吸收彩色图像中的绿色与蓝色信号，并对其它颜色信号进行抑制；紫外通路吸收图像中的亮度信号；通过在长波、中波、短波通路中分别保持红色、绿色和蓝色成分灰度值对比度并削弱其它颜色成分灰度值对比度来构建仿鹰眼颜色视觉模型，检测加油锥套中颜色信息，提取标志点；具体公式如下：
其中，IL,IM,IS,IU分别为长波、中波、短波以及紫外波段四个通路对图像的输出响应；r,g,b表示输入彩色图像中三个颜色通道的灰度值；Lthr,Mthr,Sthr分别为长波、中波、短波阈值；max(s1,s2)表示取s1与s2的最大值；min(s1,s2)表示取s1与s2的最小值；
首先对VR视景中获得的图像进行仿鹰眼颜色视觉机制的颜色分割，选择长波通道的输出响应图像进行二值化处理，从而得到只包括红色区域的二值图像；接着对只包括红色区域的二值图像进行孔洞填充，滤除杂点，得到圆形锥套二值图像；将圆形锥套二值图像与VR视景中获得的图像进行相与操作得到只包含圆形锥套的彩色图像；利用基于仿鹰眼颜色视觉机制的图像颜色分割方法对只包含圆形锥套的彩色图像再次进行颜色分割，首先选择中波通道的输出响应图像进行二值化处理，得到绿色圆形标志点二值图像，然后进行斑点检测，得到绿色圆形标志点数量以及所对应标志点的中心像素坐标，再选择短波通道的输出响应图像进行二值化处理，得到蓝色圆形标志点二值图像，进行斑点检测，得到蓝色圆形标志点数量以及所对应标志点的中心像素坐标；将检测到的绿色与蓝色标志点数量相加，判断是否检测到全部的七个标志点；如果检测到所有标志点，进行步骤六；否则，检测到部分或者没有检测到标志点，进行步骤七；
步骤六：锥套所有标志点检测正常的近距视觉导航
如果检测到锥套上的所有标志点，进行标志点的匹配；根据步骤五检测到的所有标志点的坐标，首先进行凸包变换把所有标志点的坐标顺时针排序；然后判定初始绿色标志点，根据步骤五检测到的绿色标志点的坐标，依次对所有七个标志点坐标做平方差，平方差最小值对应的坐标点即为绿色标志点的坐标；最后按照顺时针依次对剩下的六个蓝色标志点进行匹配，得到所有七个标志点的匹配结果；
对匹配正确的所有标志点，利用RPnP算法进行精确位姿测量，得到相机坐标系下的加油锥套位置，并进行相机坐标系、机体坐标系、地面惯性系的坐标转换，得到加油锥套与受油插头在地面惯性系下的位置差Δxv,Δyv,Δhv；
步骤七：锥套距离远或者部分标志点被遮挡情况下的近距视觉导航
首先对VR视景中获得的图像进行仿鹰眼颜色视觉机制的颜色分割，选择长波通道的输出响应图像进行二值化处理，从而得到只包括红色区域的二值图像；接着对只包括红色区域的二值图像进行孔洞填充，滤除杂点，得到圆形锥套二值图像；将圆形锥套二值图像与VR视景中获得的图像进行相与操作得到只包含圆形锥套的彩色图像；然后对只包含圆形锥套的彩色图像提取锥套边缘点；再对边缘像素点进行椭圆拟合，得到拟合椭圆的外接矩形四个顶点的像素点；最后，根据锥套实际尺寸的外接矩形对四个顶点像素点进行匹配；
利用匹配好的顶点像素点进行RPnP精确位姿测量，得到相机坐标系下的加油锥套位置，并进行相机坐标系、机体坐标系、地面惯性系的坐标转换，得到加油锥套与受油插头在地面惯性系下的位置差Δxv,Δyv,Δhv；
步骤八：选择利用GPS信号或者视觉导航信号进行控制，并设计视觉导航下的控制
当加/受油机距离小于Δxthr时，经过步骤五～七得到近距视觉相对导航得到的位置差Δxv,Δyv,Δhv，判断仿生视觉导航得到的前向位置差Δxv是否大于如果则依旧按照GPS信号进行导航控制，按照步骤四进行精确位置控制；如果则按照视觉导航信号进行导航控制；
视觉导航控制率仍采用步骤四的位置精确控制形式：
其中，分别为内环俯仰角、速度、滚转角指令； 分别为视觉导航控制高度、前向偏离、侧向偏离的比例、积分、微分系数；为侧向偏离积分门限；
步骤九：判断对接是否成功
当视觉导航时，判断Δyv与Δhv是否小于如果Δyv与Δhv小于表示对接成功，结束对接过程；否则，表示对接失败，则受油机减速，将前向偏离目标设为使得加/受油机相对距离回到重新进行对接过程。
CN201810856669.9A 2018-07-31 2018-07-31 一种自主空中加油对接仿生视觉导航控制系统及方法 Active CN109085845B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810856669.9A CN109085845B (zh) 2018-07-31 2018-07-31 一种自主空中加油对接仿生视觉导航控制系统及方法
US16/147,240 US11427316B2 (en) 2018-07-31 2018-09-28 Bionic visual navigation control system and method thereof for autonomous aerial refueling docking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810856669.9A CN109085845B (zh) 2018-07-31 2018-07-31 一种自主空中加油对接仿生视觉导航控制系统及方法

Publications (2)

Publication Number Publication Date
CN109085845A true CN109085845A (zh) 2018-12-25
CN109085845B CN109085845B (zh) 2020-08-11

Family

ID=64831039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810856669.9A Active CN109085845B (zh) 2018-07-31 2018-07-31 一种自主空中加油对接仿生视觉导航控制系统及方法

Country Status (2)

Country Link
US (1) US11427316B2 (zh)
CN (1) CN109085845B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162929A (zh) * 2019-06-10 2019-08-23 西北工业大学 一种自主空中加油软管锥套平衡位置计算方法
CN110470453A (zh) * 2019-08-13 2019-11-19 中国航空工业集团公司哈尔滨空气动力研究所 一种低速风洞空中加油软管-锥套动态特性试验装置
CN111159920A (zh) * 2020-01-13 2020-05-15 西北工业大学 一种自主空中加油软管锥套动力学建模方法
CN111258231A (zh) * 2020-01-20 2020-06-09 北京航空航天大学 仿猛禽视觉导航的自主空中加油对接半物理系统及其方法
CN113184202A (zh) * 2021-05-17 2021-07-30 湖北怡辉河天科技有限公司 基于图像识别技术的空中加油机输油软管预警方法及系统
CN115196026A (zh) * 2022-09-13 2022-10-18 中国航空工业集团公司沈阳空气动力研究所 一种用于软式加油管的位姿主动控制锥套及工作方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2584554B2 (es) * 2015-11-30 2017-06-13 Defensya Ingeniería Internacional, S.L. Sistema de detección de punta de la pértiga y boca de receptáculo, automatización progresiva del repostaje aéreo con botalón y procedimiento de repostaje
US10814998B2 (en) * 2017-03-06 2020-10-27 Omnitek Partners Llc Non-GPS methods and devices for refueling remotely piloted aircraft
IL253015B2 (en) * 2017-06-18 2023-07-01 Israel Aerospace Ind Ltd System and method for refueling aerial vehicles
CN109948275B (zh) * 2019-03-28 2022-12-02 湘潭大学 一种基于cfd-dem耦合仿真的履带履刺结构优化计算方法
CN110488850A (zh) * 2019-08-02 2019-11-22 南京理工大学 一种基于树莓派的四旋翼无人机视觉导航系统及方法
CN111123889B (zh) * 2019-12-20 2021-02-05 北京空天技术研究所 飞行器制导控制仿真测试方法及装置
CN112215902B (zh) * 2020-10-10 2022-11-18 北京航空航天大学 仿鹰眼中脑回路返回抑制机制的无人靶机目标检测方法
CN112671489B (zh) * 2020-12-17 2022-07-12 重庆邮电大学 基于沃特森模型的短波航空移动信道建模方法
CN112925864A (zh) * 2021-02-01 2021-06-08 武汉徕得智能技术有限公司 一种航带自动划分的方法
CN112862862B (zh) * 2021-02-10 2023-11-17 中国飞行试验研究院 基于人工智能视觉跟踪的飞机自主受油装置及应用方法
CN113432597B (zh) * 2021-08-02 2022-12-13 华中农业大学 一种应用于复杂户外环境行间管理的复合视觉导航系统
CN114485648B (zh) * 2022-02-08 2024-02-02 北京理工大学 一种基于仿生复眼惯性系统的导航定位方法
CN114800614B (zh) * 2022-04-28 2024-01-16 西北工业大学 一种刚柔耦合机器人状态测量与控制系统和方法
CN115145294B (zh) * 2022-06-30 2024-05-07 西北工业大学 一种用于自主空中加油对接的组合导航系统和方法
CN115657700B (zh) * 2022-10-12 2024-06-21 北京理工大学 可重构无人机三阶段对接控制方法
CN115826624B (zh) * 2023-02-20 2023-04-28 北京航空航天大学 一种针对海面低空侧风切变的无人机抗扰方法和抗扰系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995538A (zh) * 2014-05-12 2014-08-20 中国航空工业集团公司沈阳飞机设计研究所 一种基于图像识别的空中受油控制方法
CN104133480A (zh) * 2014-04-17 2014-11-05 中国航空工业集团公司沈阳飞机设计研究所 一种基于机器视觉的空中受油引导控制方法
CN105825505A (zh) * 2016-03-14 2016-08-03 北京航空航天大学 一种面向硬式空中加油的视觉测量方法
EP3064435A1 (en) * 2015-03-03 2016-09-07 Airbus Defence and Space, S.A. Systems and methods for the calculation of relative distances and speeds in the three coordinate axis between aircraft in flight
CN106875403A (zh) * 2017-01-12 2017-06-20 北京航空航天大学 一种用于空中加油的仿鹰眼视觉运动目标检测方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法
CN107392963A (zh) * 2017-06-28 2017-11-24 北京航空航天大学 一种用于软式自主空中加油的仿鹰眼运动目标定位方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582195B2 (en) * 2011-11-29 2013-11-12 General Electric Company Systems and methods for relative positioning
US9150311B2 (en) * 2012-01-04 2015-10-06 Israel Aerospace Industries Ltd. Systems and methods for air vehicles
US10618673B2 (en) * 2016-04-15 2020-04-14 Massachusetts Institute Of Technology Systems and methods for dynamic planning and operation of autonomous systems using image observation and information theory
US11046430B1 (en) * 2017-04-17 2021-06-29 United States Of America As Represented By The Administrator Of Nasa Intelligent trajectory adviser system for unmanned aerial vehicles in complex environments
US11175146B2 (en) * 2017-05-11 2021-11-16 Anantak Robotics Inc. Autonomously moving machine and method for operating an autonomously moving machine
JP7362320B2 (ja) * 2019-07-04 2023-10-17 フォルシアクラリオン・エレクトロニクス株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133480A (zh) * 2014-04-17 2014-11-05 中国航空工业集团公司沈阳飞机设计研究所 一种基于机器视觉的空中受油引导控制方法
CN103995538A (zh) * 2014-05-12 2014-08-20 中国航空工业集团公司沈阳飞机设计研究所 一种基于图像识别的空中受油控制方法
EP3064435A1 (en) * 2015-03-03 2016-09-07 Airbus Defence and Space, S.A. Systems and methods for the calculation of relative distances and speeds in the three coordinate axis between aircraft in flight
CN105825505A (zh) * 2016-03-14 2016-08-03 北京航空航天大学 一种面向硬式空中加油的视觉测量方法
CN106875403A (zh) * 2017-01-12 2017-06-20 北京航空航天大学 一种用于空中加油的仿鹰眼视觉运动目标检测方法
CN106934809A (zh) * 2017-03-29 2017-07-07 厦门大学 基于双目视觉的无人机空中自主加油快速对接导航方法
CN107392963A (zh) * 2017-06-28 2017-11-24 北京航空航天大学 一种用于软式自主空中加油的仿鹰眼运动目标定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱虎: "基于视觉/GPS混合引导的无人机空中加油对接控制", 《中国优秀硕士学位论文全文数据库（电子期刊） 工程科技II辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162929A (zh) * 2019-06-10 2019-08-23 西北工业大学 一种自主空中加油软管锥套平衡位置计算方法
CN110162929B (zh) * 2019-06-10 2022-04-08 西北工业大学 一种自主空中加油软管锥套平衡位置计算方法
CN110470453A (zh) * 2019-08-13 2019-11-19 中国航空工业集团公司哈尔滨空气动力研究所 一种低速风洞空中加油软管-锥套动态特性试验装置
CN111159920A (zh) * 2020-01-13 2020-05-15 西北工业大学 一种自主空中加油软管锥套动力学建模方法
CN111258231A (zh) * 2020-01-20 2020-06-09 北京航空航天大学 仿猛禽视觉导航的自主空中加油对接半物理系统及其方法
CN111258231B (zh) * 2020-01-20 2021-03-30 北京航空航天大学 仿猛禽视觉导航的自主空中加油对接半物理系统及其方法
CN113184202A (zh) * 2021-05-17 2021-07-30 湖北怡辉河天科技有限公司 基于图像识别技术的空中加油机输油软管预警方法及系统
CN115196026A (zh) * 2022-09-13 2022-10-18 中国航空工业集团公司沈阳空气动力研究所 一种用于软式加油管的位姿主动控制锥套及工作方法

Also Published As

Publication number Publication date
US11427316B2 (en) 2022-08-30
US20190031347A1 (en) 2019-01-31
CN109085845B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN109085845A (zh) 一种自主空中加油对接仿生视觉导航控制系统及方法
CN111258231B (zh) 仿猛禽视觉导航的自主空中加油对接半物理系统及其方法
CN109992006B (zh) 一种电力巡检无人机的精准回收方法和系统
US8922041B1 (en) Tethered vehicle control and tracking system
CN109405835B (zh) 基于非合作目标直线与圆单目图像的相对位姿测量方法
Sun et al. Bionic visual close-range navigation control system for the docking stage of probe-and-drogue autonomous aerial refueling
CN108955685A (zh) 一种基于立体视觉的加油飞机锥套位姿测量方法
CN108492333A (zh) 基于星箭对接环图像信息的航天器姿态估计方法
CN107741229A (zh) 一种光电/雷达/惯性组合的舰载机着舰导引方法
CN108536132A (zh) 一种固定翼无人机空中加油平台及其加油方法
CN109683629A (zh) 基于组合导航和计算机视觉的无人机电力架线系统
CN103995538B (zh) 一种基于图像识别的空中受油控制方法
Chiu et al. Vision-only automatic flight control for small UAVs
CN109343551A (zh) 一种旋翼机协调转弯控制方法及系统
CN112380623A (zh) 一种水陆两栖飞机飞行品质适航符合性的评估方法
CN108873031A (zh) 一种2自由度吊舱的外参标定优化方法
CN109886889B (zh) 一种基于圆心偏差补偿法的空中加受油锥套精准定位方法
CN110136298A (zh) 一种无人机地面监控系统及方法
Chen et al. Overview of landmarks for autonomous, vision-based landing of unmanned helicopters
CN112577463B (zh) 姿态参数修正的航天器单目视觉测距方法
Bunge et al. Approaches to automatic stall/spin detection based on small-scale uav flight testing
Behrel et al. Application of phase averaging method for measuring kites performance: Onshore results
Ariff et al. Dynamic soaring of small-scale UAVs using differential geometry
CN112862862A (zh) 基于人工智能视觉跟踪的飞机自主受油装置及应用方法
Martín et al. Tanker UAV for autonomous aerial refueling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant