CN114115345A - 一种旋翼无人机视觉着舰引导方法与系统 - Google Patents

一种旋翼无人机视觉着舰引导方法与系统 Download PDF

Info

Publication number
CN114115345A
CN114115345A CN202111382286.0A CN202111382286A CN114115345A CN 114115345 A CN114115345 A CN 114115345A CN 202111382286 A CN202111382286 A CN 202111382286A CN 114115345 A CN114115345 A CN 114115345A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
landing
speed
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111382286.0A
Other languages
English (en)
Inventor
宋平
李瑜强
李怡伟
张大高
田学稳
宋海薇
宋乐
肖光华
张茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Helicopter Research and Development Institute
Original Assignee
China Helicopter Research and Development Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Helicopter Research and Development Institute filed Critical China Helicopter Research and Development Institute
Priority to CN202111382286.0A priority Critical patent/CN114115345A/zh
Publication of CN114115345A publication Critical patent/CN114115345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于航空航天技术领域,具体涉及一种旋翼无人机视觉着舰引导方法与系统。包括机载智能终端和地面辅助标识;机载智能终端包括视觉处理单元、可见光相机和红外相机,可见光相机或红外相机用于实时获取地面辅助标识图像信息,发送给视觉处理单元;视觉处理单元将接收的图像信息与视觉处理单元中的目标图像库进行比对,获取当前采集图像时刻对应的无人机着舰所需要的速度量,并反馈给飞控系统;飞控系统判断无人机当前速度是否满足无人机着舰所需要的速度量。本发明基于图像的视觉伺服控制,实现有监督控制下的无人机自主降落。

Description

一种旋翼无人机视觉着舰引导方法与系统
技术领域
本发明属于航空航天技术领域,具体涉及一种旋翼无人机视觉着舰引导方法与系统。
背景技术
目前,国内外成熟应用于旋翼无人机自动着舰引导的技术主要包括雷达引导和差分卫星引导两种方法,雷达引导方式通过在载舰平台安装引导雷达,在载机安装雷达应答机,雷达跟踪解算无人机与舰船的相对位置信息,通过测控数据链上传至无人机,引导无人机完成着舰控制;差分卫星引导方式通过在载舰平台布置差分卫星站,获取差分观测量信息,通过测控数据链上传至无人机,与机载差分卫星信息进行实时动态(RTK,Real-timeKinematic)解算,形成高精度的无人机与舰船相对位置信息,引导无人机完成着舰控制。
在实际工程应用中,这两种着舰引导方式均存在依赖测控数据链的问题,因数据链电磁信号易受外部干扰,进而会影响无人机的着舰稳定性。
发明内容
发明目的:提出一种可见光结合红外的视觉着舰方法及系统,基于图像的视觉伺服控制,实现有监督控制下的无人机自主降落。
技术方案:一方面,提供一种旋翼无人机视觉着舰引导系统,包括机载智能终端和地面辅助标识;机载智能终端包括视觉处理单元、可见光相机和红外相机,可见光相机或红外相机用于实时获取地面辅助标识图像信息,发送给视觉处理单元;
视觉处理单元将接收的图像信息与视觉处理单元中的目标图像库进行比对,获取当前采集图像时刻对应的无人机着舰所需要的速度量,并反馈给飞控系统;飞控系统判断无人机当前速度是否满足无人机着舰所需要的速度量;
若不满足,控制无人机的速度直至满足无人机着舰所需要的速度量;
若满足,则控制无人机下降高度,视觉处理单元根据接收的图像信息判断无人机相对地面辅助标识的位置,当地面辅助标识位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度,完成着舰;
当地面辅助标识偏离光相机和红外相机的视场中心时,视觉处理单元重新获取当前采集图像时刻所对应的无人机着舰所需要的速度量,并反馈给飞控系统;飞控系统控制无人机的速度直至满足无人机着舰所需要的速度量。
进一步地,地面辅助标识包括嵌套二维码标识和二维码标识周边的红外灯带。
进一步地,嵌套二维码标识包括内层二维码和外层二维码,内层二维码嵌套于外层二维码。
进一步地,视觉处理单元根据接收的图像信息判断无人机相对外层二维码的位置,当外层二维码位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度;
飞控系统控制无人机下降高度,当下降到可见光相机和红外相机视场不能覆盖外层二维码时,视觉处理单元根据接收的图像信息判断无人机相对内层二维码的位置;当内层二维码位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度,完成着舰。
进一步地,可见光相机的视频分辨率不低于1080P、红外相机视频分辨率不低于800×600P。
另一方面,提供一种旋翼无人机视觉着舰引导方法,利用如上所述的着舰引导系统,所述引导方法包括:
步骤1:通过可见光相机和红外相机大量采集着舰区域目标图像,建立着舰区域目标图像训练库;
步骤2:针对目标图像训练库中采集的每一张图像,标定出每张图像采集时刻旋翼无人机所对应的速度量,作为标签数据;
步骤3:建立从图像输入到无人机速度控制量输出的深度神经网络模型;利用完成数据标签后的目标图像训练库对所述神经网络模型进行训练,使神经网络模型能够根据输入的图像来输出速度控制量;利用所述神经网络模型对目标图像训练库中图像进行筛选,形成目标图像库;
步骤4:将目标图像库加装至视觉处理单元,视觉处理单元将接收的图像信息与视觉处理单元中的目标图像库进行比对,获取当前时刻采集图像在目标图像库中对应图像的标签数据。
进一步地,着舰区域目标图像所包含的数据包括地面环境和降落平台环境的图像数据;采集过程涵盖不同时间、不同光照条件和不同背景环境。
进一步地,速度量包括υx,υy,υz,ωz,分别为航向x、纵向y、垂向z方向的线速度和z轴角速度。
技术效果:采用视觉着舰引导方法,在载机平台进行视觉信号采集与处理,不依赖载舰通过数据链上传信息,可避免数据链不稳定造成的影响。目前已知的视觉着舰引导方法均为单可见光或红外方式,同时利用可见光和红外传感器实现旋翼无人机视觉着舰引导的发明并未出现,本发明采用可见光和红外两种视觉采集与处理方式,在载舰平台设置可见光和红外一体化标识,解决了视觉引导系统昼夜全天使用问题。载舰甲板布置的可见光红外合作标识,可引导旋翼无人机实现昼夜条件下的自动着舰控制。
附图说明
图1为训练用数据库采集过程示意图;
图2为视觉着舰引导系统组成图;
图3为地面辅助标识示意图。
具体实施方式
本发明设计了一种从单目视觉输入到无人机运动控制输出的通用端到端深度学习网络模型和技术实现框架。借助辅助定位系统,利用基于图像的视觉伺服控制算法,设计并构建深度学习图像-控制量的端到端数据库。通过设计数据库处理和模型训练的流程,实现有监督控制下的无人机自主降落。该部分为离线训练部分。将离线训练的结果输入视觉智能处理终端原理样机中,实现无人机的在线降落。
实施例1
结合图2所示,本实施例,提供一种旋翼无人机视觉着舰引导系统,包括机载智能终端和地面辅助标识;机载智能终端包括视觉处理单元、可见光相机和红外相机。地面辅助标识包括嵌套二维码标识和二维码标识周边的红外灯带,嵌套二维码标识包括内层二维码和外层二维码,内层二维码嵌套于外层二维码。
可见光相机或红外相机用于实时获取地面辅助标识图像信息,发送给视觉处理单元。
视觉处理单元将接收的图像信息与视觉处理单元中的目标图像库进行比对,获取当前采集图像时刻对应的无人机着舰所需要的速度量,并反馈给飞控系统;飞控系统判断无人机当前速度是否满足无人机着舰所需要的速度量。
若飞控系统判断无人机当前速度不满足无人机着舰所需要的速度量,控制无人机的速度直至满足无人机着舰所需要的速度量。
若飞控系统判断无人机当前速度满足无人机着舰所需要的速度量,则控制无人机下降高度,视觉处理单元根据接收的图像信息判断无人机相对地面辅助标识的位置,当地面辅助标识位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度,完成着舰。当地面辅助标识偏离可见光相机和红外相机的视场中心时,视觉处理单元重新获取当前采集图像时刻所对应的无人机着舰所需要的速度量,并反馈给飞控系统,飞控系统控制无人机的速度直至满足无人机着舰所需要的速度量。
其中,本实施例,视觉处理单元根据接收的图像信息判断无人机相对外层二维码的位置,当外层二维码位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度。飞控系统控制无人机下降高度,当下降到可见光相机和红外相机视场不能覆盖外层二维码时,视觉处理单元根据接收的图像信息判断无人机相对内层二维码的位置;当内层二维码位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度,完成着舰。
本实施例,在飞控系统控制无人机下降高度后,当地面辅助标识偏离可见光相机和红外相机的视场中心时,视觉处理单元重新获取下降高度后采集图像时刻所对应的无人机着舰所需要的速度量,并反馈给飞控系统,飞控系统控制无人机的速度直至满足无人机着舰所需要的速度量;在无人机的速度再次达到无人机着舰所需要的速度量后,飞控系统控制无人机再次下降高度,并再次判断地面辅助标识是否位于可见光相机和红外相机的视场中心;依次循环,直至完成着舰。
进一步地,本实施例,可见光相机的视频分辨率不低于1080P、红外相机视频分辨率不低于800×600P;视觉处理单元具备图像压缩处理能力、具备基于深度学习算法的图像检测识别等处理能力,且图像处理能力不小于20fps。
实施例2
本实施例,提供一种旋翼无人机视觉着舰引导方法,利用如上所述的着舰引导系统,所述引导方法包括:
步骤1:通过可见光相机和红外相机大量采集着舰区域目标图像,建立着舰区域目标图像训练库;着舰区域目标图像所包含的数据包括地面环境和降落平台环境的图像数据;采集过程涵盖不同时间、不同光照条件和不同背景环境。图像采集过程如图1所示。
步骤2:针对目标图像训练库中采集的每一张图像,标定出每张图像采集时刻旋翼无人机所对应的速度量,作为标签数据;速度量包括υx,υy,υz,ωz,分别为航向x、纵向y、垂向z方向的线速度和z轴角速度。
步骤3:建立从图像输入到无人机速度控制量输出的深度神经网络模型;利用完成数据标签后的目标图像训练库对所述神经网络模型进行训练,使神经网络模型能够根据输入的图像来输出速度控制量,确保无人机稳定、精确地降落到指定位置;利用所述神经网络模型对目标图像训练库中图像进行筛选,形成目标图像库。本实施例,基于深度学习框架TensorFlow,设计从图像输入到无人机速度控制量输出的深度神经网络模型。
步骤4:将目标图像库加装至视觉处理单元,视觉处理单元将接收的图像信息与视觉处理单元中的目标图像库进行比对,获取当前时刻采集图像在目标图像库中对应图像的标签数据。
本实施例,视觉着舰在线应用,将相机实时采集的原始图像输入到视觉处理单元,在线计算处理,输出无人机的四维速度控制量,并将结果发送到无人机的飞行控制系统,对无人机进行速度控制。
步骤5:飞控系统判断无人机当前速度是否满足无人机着舰所需要的速度量。
若不满足,控制无人机的速度直至满足无人机着舰所需要的速度量;
若满足,则控制无人机下降高度,视觉处理单元根据接收的图像信息判断无人机相对地面辅助标识的位置,当地面辅助标识位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度,完成着舰。
当地面辅助标识偏离光相机和红外相机的视场中心时,视觉处理单元重新获取当前采集图像时刻所对应的无人机着舰所需要的速度量,并反馈给飞控系统;飞控系统控制无人机的速度直至满足无人机着舰所需要的速度量。
视觉处理单元根据再次接收的当前图像信息判断无人机相对地面辅助标识的位置,并根据地面辅助标识是否位于光相机和红外相机的视场中心,进行高度和速度控制。
本发明提出了一套基于可见光和红外结合的视觉着舰引导方法,并配套设计了地面辅助标识,可满足旋翼无人机着舰引导昼夜使用条件;采用了一种基于深度学习算法的图像处理方法,相较于常规方法,该方法具有更强的抗干扰能力,并且通过构建并不断完善训练数据库,可持续提高着舰引导系统的成功率;
设计了一种机载智能终端,该终端内集成了可见光和红外传感器,同时支持图像采集与处理,且能满足图像深度学习算法在机载环境运行。

Claims (8)

1.一种旋翼无人机视觉着舰引导系统,其特征在于,包括机载智能终端和地面辅助标识;机载智能终端包括视觉处理单元、可见光相机和红外相机,可见光相机或红外相机用于实时获取地面辅助标识图像信息,发送给视觉处理单元;
视觉处理单元将接收的图像信息与视觉处理单元中的目标图像库进行比对,获取当前采集图像时刻对应的无人机着舰所需要的速度量,并反馈给飞控系统;飞控系统判断无人机当前速度是否满足无人机着舰所需要的速度量;
若不满足,控制无人机的速度直至满足无人机着舰所需要的速度量;
若满足,则控制无人机下降高度,视觉处理单元根据接收的图像信息判断无人机相对地面辅助标识的位置,当地面辅助标识位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度,完成着舰;
当地面辅助标识偏离光相机和红外相机的视场中心时,视觉处理单元重新获取当前采集图像时刻所对应的无人机着舰所需要的速度量,并反馈给飞控系统;飞控系统控制无人机的速度直至满足无人机着舰所需要的速度量。
2.根据权利要求1所述的着舰引导系统,其特征在于,地面辅助标识包括嵌套二维码标识和二维码标识周边的红外灯带。
3.根据权利要求2所述的着舰引导系统,其特征在于,嵌套二维码标识包括内层二维码和外层二维码,内层二维码嵌套于外层二维码。
4.根据权利要求3所述的着舰引导系统,其特征在于,视觉处理单元根据接收的图像信息判断无人机相对外层二维码的位置,当外层二维码位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度;
飞控系统控制无人机下降高度,当下降到可见光相机和红外相机视场不能覆盖外层二维码时,视觉处理单元根据接收的图像信息判断无人机相对内层二维码的位置;当内层二维码位于光相机和红外相机的视场中心时,飞控系统控制无人机下降高度,完成着舰。
5.根据权利要求2所述的着舰引导系统,其特征在于,可见光相机的视频分辨率不低于1080P、红外相机视频分辨率不低于800×600P。
6.一种旋翼无人机视觉着舰引导方法,利用权利要求1至5任一项所述的着舰引导系统,其特征在于,所述引导方法包括:
步骤1:通过可见光相机和红外相机大量采集着舰区域目标图像,建立着舰区域目标图像训练库;
步骤2:针对目标图像训练库中采集的每一张图像,标定出每张图像采集时刻旋翼无人机所对应的速度量,作为标签数据;
步骤3:建立从图像输入到无人机速度控制量输出的深度神经网络模型;利用完成数据标签后的目标图像训练库对所述神经网络模型进行训练,使神经网络模型能够根据输入的图像来输出速度控制量;利用所述神经网络模型对目标图像训练库中图像进行筛选,形成目标图像库;
步骤4:将目标图像库加装至视觉处理单元,视觉处理单元将接收的图像信息与视觉处理单元中的目标图像库进行比对,获取当前时刻采集图像在目标图像库中对应图像的标签数据。
7.根据权利要求6所述的视觉着舰引导方法,其特征在于,着舰区域目标图像所包含的数据包括地面环境和降落平台环境的图像数据;采集过程涵盖不同时间、不同光照条件和不同背景环境。
8.根据权利要求6所述的视觉着舰引导方法,其特征在于,速度量包括υx,υy,υz,ωz,分别为航向x、纵向y、垂向z方向的线速度和z轴角速度。
CN202111382286.0A 2021-11-19 2021-11-19 一种旋翼无人机视觉着舰引导方法与系统 Pending CN114115345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111382286.0A CN114115345A (zh) 2021-11-19 2021-11-19 一种旋翼无人机视觉着舰引导方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111382286.0A CN114115345A (zh) 2021-11-19 2021-11-19 一种旋翼无人机视觉着舰引导方法与系统

Publications (1)

Publication Number Publication Date
CN114115345A true CN114115345A (zh) 2022-03-01

Family

ID=80438932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111382286.0A Pending CN114115345A (zh) 2021-11-19 2021-11-19 一种旋翼无人机视觉着舰引导方法与系统

Country Status (1)

Country Link
CN (1) CN114115345A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843242B (zh) * 2016-04-22 2017-07-07 四方继保(武汉)软件有限公司 无人船舰载平台的无人机图像引导降落方法
WO2018045712A1 (zh) * 2016-09-09 2018-03-15 中兴通讯股份有限公司 一种二维码图像识别方法及移动终端
CN108227722A (zh) * 2017-12-28 2018-06-29 南京航空航天大学 一种基于红外视觉的无人直升机着舰引导控制方法
CN108227751A (zh) * 2018-01-29 2018-06-29 广州亿航智能技术有限公司 一种无人机的降落方法及系统
CN109085851A (zh) * 2018-09-12 2018-12-25 哈尔滨工业大学(威海) 无人机定点降落方法
CN109911231A (zh) * 2019-03-20 2019-06-21 武汉理工大学 基于gps和图像识别混合导航的无人机自主着舰方法与系统
CN110861779A (zh) * 2019-12-02 2020-03-06 中电科特种飞机系统工程有限公司 一种垂直起降无人机着舰系统及着舰方法
CN111142546A (zh) * 2019-11-22 2020-05-12 航天时代飞鸿技术有限公司 一种多旋翼无人机精准降落引导系统及方法
CN111679680A (zh) * 2019-12-31 2020-09-18 华东理工大学 一种无人机自主着舰方法及系统
CN111966126A (zh) * 2020-08-24 2020-11-20 苏州臻迪智能科技有限公司 无人机巡逻方法、装置及无人机
CN112904874A (zh) * 2021-03-05 2021-06-04 广东海洋大学 一种面向无人艇的无人机自主降落控制方法
CN112925334A (zh) * 2021-02-02 2021-06-08 国网江苏省电力有限公司泰州供电分公司 一种智能巡检无人机降落系统及降落方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843242B (zh) * 2016-04-22 2017-07-07 四方继保(武汉)软件有限公司 无人船舰载平台的无人机图像引导降落方法
WO2018045712A1 (zh) * 2016-09-09 2018-03-15 中兴通讯股份有限公司 一种二维码图像识别方法及移动终端
CN108227722A (zh) * 2017-12-28 2018-06-29 南京航空航天大学 一种基于红外视觉的无人直升机着舰引导控制方法
CN108227751A (zh) * 2018-01-29 2018-06-29 广州亿航智能技术有限公司 一种无人机的降落方法及系统
CN109085851A (zh) * 2018-09-12 2018-12-25 哈尔滨工业大学(威海) 无人机定点降落方法
CN109911231A (zh) * 2019-03-20 2019-06-21 武汉理工大学 基于gps和图像识别混合导航的无人机自主着舰方法与系统
CN111142546A (zh) * 2019-11-22 2020-05-12 航天时代飞鸿技术有限公司 一种多旋翼无人机精准降落引导系统及方法
CN110861779A (zh) * 2019-12-02 2020-03-06 中电科特种飞机系统工程有限公司 一种垂直起降无人机着舰系统及着舰方法
CN111679680A (zh) * 2019-12-31 2020-09-18 华东理工大学 一种无人机自主着舰方法及系统
CN111966126A (zh) * 2020-08-24 2020-11-20 苏州臻迪智能科技有限公司 无人机巡逻方法、装置及无人机
CN112925334A (zh) * 2021-02-02 2021-06-08 国网江苏省电力有限公司泰州供电分公司 一种智能巡检无人机降落系统及降落方法
CN112904874A (zh) * 2021-03-05 2021-06-04 广东海洋大学 一种面向无人艇的无人机自主降落控制方法

Similar Documents

Publication Publication Date Title
EP3901728B1 (en) Methods and system for autonomous landing
Alam et al. A survey of safe landing zone detection techniques for autonomous unmanned aerial vehicles (UAVs)
Martínez et al. On-board and ground visual pose estimation techniques for UAV control
CN112130579A (zh) 一种隧道无人机巡检方法及系统
CN104808674A (zh) 多旋翼飞行器的控制系统、终端及机载飞控系统
CN104808685A (zh) 用于无人机自主降落的视觉辅助装置及视觉辅助方法
CN105157708A (zh) 基于图像处理与雷达的无人机自主导航系统及方法
CN109376587A (zh) 基于物联网的检测查勘通信铁塔智能巡检系统和方法
Chen et al. System integration of a vision-guided UAV for autonomous landing on moving platform
CN112162565B (zh) 一种基于多机协同作业的不间断自主杆塔巡检方法
CN113110529B (zh) 复杂环境下无人机远距离复合自主导航着降系统及方法
Mansouri et al. Vision-based mav navigation in underground mine using convolutional neural network
CN112462791A (zh) 一种车载无人机机场全自动高精度飞行着陆系统及方法
Urieva et al. Collision detection and avoidance using optical flow for multicopter UAVs
Paneque et al. Autonomous reactive LiDAR-based mapping for powerline inspection
Schell et al. Autonomous landing of airplanes by dynamic machine vision
CN114115345A (zh) 一种旋翼无人机视觉着舰引导方法与系统
Deniz et al. Autonomous Landing of eVTOL Vehicles via Deep Q-Networks
Saska et al. Vision-based high-speed autonomous landing and cooperative objects grasping-towards the MBZIRC competition
CN115755575A (zh) 一种基于ros的双云台无人机自主降落方法
Lee et al. Safe landing of drone using AI-based obstacle avoidance
CN112241180B (zh) 一种无人机移动平台降落引导的视觉处理方法
Qi et al. Detection and tracking of a moving target for UAV based on machine vision
Li et al. Development of an unmanned aerial vehicle for rooftop landing and surveillance
US20230023069A1 (en) Vision-based landing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination