CN109343565A - 一种基于手势感知识别的无人机智能地面引导控制方法 - Google Patents

一种基于手势感知识别的无人机智能地面引导控制方法 Download PDF

Info

Publication number
CN109343565A
CN109343565A CN201811274657.1A CN201811274657A CN109343565A CN 109343565 A CN109343565 A CN 109343565A CN 201811274657 A CN201811274657 A CN 201811274657A CN 109343565 A CN109343565 A CN 109343565A
Authority
CN
China
Prior art keywords
gesture
control
uav
unmanned plane
pilot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811274657.1A
Other languages
English (en)
Inventor
李昱辉
刘国梁
蒋丰亦
章豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aeronautical Radio Electronics Research Institute
Original Assignee
China Aeronautical Radio Electronics Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aeronautical Radio Electronics Research Institute filed Critical China Aeronautical Radio Electronics Research Institute
Priority to CN201811274657.1A priority Critical patent/CN109343565A/zh
Publication of CN109343565A publication Critical patent/CN109343565A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Abstract

本发明公开了一种基于手势感知识别的无人机智能地面引导控制方法，解决了有人/无人机指挥引导系统相互独立，地面引导对机场设备依赖严重，应急反映能力差且互操作效率低下的三大问题。实现了有人/无人机指挥引导一体化，全天候、全视野无人机智能手势引导跟随，以及无人机控制权交接和应急抢夺功能。满足未来有人/无人机进一步协同作战需求，填补了该应用领域的空白，具有较好的军事效益和推广应用前景。

Description

一种基于手势感知识别的无人机智能地面引导控制方法
技术领域
本发明属于无人机指挥控制体系架构应用领域，具体涉及一种基于手势感知识别的无人机智能地面引导控制方法。
背景技术
随着战场对远距离、长航时无人机需求的不断增加，大型无人机得到了长足的发展。现有传统的大型无人机地面引导系统面临着三大问题，第一，与有人机指挥体系相分离，有人机/无人机地面指挥引导人员复用率低、设备冗赘，徒增的后勤保障的难度；第二，地面引导对机场引导设备依赖严重，无人机地面/舰面出入库和起降就位主要依靠拖车牵引，在战时临时或设备简陋机场使用困难，不利于灵活起降部署；第三，应急反映能力差且互操作效率低下，无人机在无动力状态下受拖车牵引，突发情况下应急反映慢，且切换控制权限过程复杂，造成了不必要的损失。随着未来有人/无人机的协同作战体系的进一步深入，现有的地面引导显然已无法充分满足未来作战需求。
发明内容
发明目的
本发明针对无人机地面指挥引导系统现存的上述三大问题，创新性地提出了在无人机地面引导中应用一种基于手势感知识别的无人机智能地面引导控制方法，支撑无人机与有人机一样无差别地接受地勤工作人员的引导，解决了有人机/无人机地面指挥引导人员的复用率低、设备冗赘和应急互操作性差的问题，实现有人/无人机地面指挥引导一体化。
发明技术解决方案
为了实现上述发明目的，本发明采用下述的技术方案：
一种基于手势感知识别的无人机智能地面引导控制方法，包括如下步骤：
步骤1：采用安装在无人机上的传感器实现全天候、全视野无人机环境态势识感知，智能识别引导员、手势、障碍物等不同物体；
步骤2：确定一个手势作为引导员控制接管无人机控制权的手势，引导员以该手势向无人机发送信号，无人机感知识别后，发送请求信号给无人机控制站，由控制站选择同意与否，在同意的情况下将无人机控制权交由引导员，引导员引导无人机完成地面/舰面出入库、智能引导跟随、起降就位任务；
步骤3：当无人机识别到地勤工作人员或有人机引导员做出的控制接管无人机控制权的手势时，无人机在已识别的环境态势基础上完成沿途的自主避障，接受地勤工作人员或有人机引导员的引导完成相关任务。
优选的，步骤1中所述的传感器采用基于飞行时间原理和基于双目摄像原理的双模式3D传感器。
优选的，所述双模式3D传感器包括TOF传感器和双目传感器。
优选的，所述传感器可360度旋转。
优选的，所述传感器安装于球形的安装座上，转轴一端连接于安装座上，另一端转动连接于无人机上，通过转轴的转动带动安装座转动。
优选的，引导员采用国际通用的MH/T3010标准手势。
优选的，控制权交于引导员、地勤工作人员或有人机引导员后，无人机控制站与无人机之间的链路保持通信状态，在应急情况下，无人机控制站可以紧急夺回无人机控制权，保障无人机系统的安全。
本发明的优点
本发明的优点在于：
(1)有人/无人机指挥引导一体化：本发明提出的方法实现了有人/无人机地面指挥引导人员的高效复用和设备精简，有人/无人机地面引导指挥体系的无缝融合，满足了有人/无人机进一步协同作战的需求。
(2)摆脱对机场引导设备的依赖：本发明提出的方法不依赖于机场引导设备，完全可由引导员和指挥棒完成任务，极大地拓展了应用场景，为无人机灵活使用于战时临时机场或中小型简易机场提供便利。
(3)提高应急反映能力：本发明提出的方法可以保证起降引导过程中无人机动力处于开启状态，可由有人机指挥系统应急指挥。同时保持无人机控制站与无人机之间的链路通信，实时可接管控制权，缩短了战时的应急反映时间。
附图说明
图1为本发明的一种基于手势感知识别的无人机智能地面引导控制方法示意图。
图2双模式3D传感器系统感知、识别原理示意图。
图3为双模式3D传感器组成示意图。
图4为无人机控制权限示意图。
具体实施方式
本发明创新性地在无人机地面指挥引导中应用一种基于手势感知识别的无人机智能地面引导控制方法，解决了有人/无人机指挥引导系统相互独立，地面引导对机场设备依赖严重，应急反映能力差且互操作效率低下的三大问题，实现了有人/无人机指挥引导一体化，全天候、全视野无人机智能手势引导跟随，无人机控制权交接和应急抢夺功能，满足未来有人/无人机进一步协同作战需求，填补了该应用领域的空白，具有较好的军事效益和推广应用前景。
具体实现过程如下，该方法运用的场景示意如图1所示：
步骤1：全天候、全视野无人机智能手势引导跟随。采用双模式3D传感器，配合远感知、近识别的方案，实现全天候、全视野智能环境感知和指令识别。双模式3D传感器系统感知、识别示意图如图2所示。
采用双模式3D传感器进行3D环境建模态势感知。设备集成了基于飞行时间(TOF)原理和基于双目摄像原理的双模式3D传感器，实现全天候、全视域远感知、近识别功能，双模式3D传感器可安装于机身任何位置，并可360度旋转。双模式3D传感器系统原理组成示意图如图3所示。
双目摄像原理采用双摄像机立体成像，完成对远处的粗略3D环境建模，主要负责广域的初步引导员、障碍物初步识别。在接受到引导员手势指令后，经无人机控制站确认允许，引导无人机向引导员运动，在接近到5米内时，切换采用TOF传感器精确识别。引导员手势控制权申请手势为国际通用的MH/T3010标准手势的发动机开机手势。
飞行时间(TOF)原理采用红外线投射物体后返回的时间差，实现物体表面每个像素的测量，受激光投射距离限制，完成近处3D环境建模，主要负责引导员手势、障碍物位置形状精确识别，手势指令采用国际通用的MH/T3010标准手势。
手势识别由传感器进行初步的图像获取，使用光流法进行手势检测和分割后进行特征值提取和手势模型参数估计，基于模板匹配法、人工神经网络，概率统计模型法完成手势识别，结合数据库中MH/T3010标准手势发送指令信号给无人机。
步骤2：无人机控制权交接和应急抢夺功能，实现无人机控制站与引导员的控制员交接，并确立在应急情况下的抢夺逻辑。具体控制权限示意图如图4所示。
引导员以手势控制接管无人机控制权，纳入有人机指挥体系。
引导员以手势动作向无人机发送信号，无人机感知识别后，发送请求信号给无人机控制站，由控制站选择同意与否，在同意的情况下将无人机控制权交由引导员，引导员采用国际通用的MH/T3010标准手势完成地面/舰面、出入库智能引导跟随、起降就位任务。
步骤3：有人/无人机指挥引导一体化体系实现，完成无人机地面指挥引导无缝融入有人机指挥流程中。
兼容有人机人员和设备配置环境。可以在任何一个机场/舰面，与有人机一样无差别地接受地勤工作人员的引导，采用国际通用的MH/T3010标准手势，完成无人机昼夜地面/舰面出入库智能引导跟随、起降就位任务。
统一接受有人机指挥体系指挥。无人机接收有人机引导员的引导信号，融入有人机指挥体系下，结合有人机机位安排和起降作战任务分配，提前做好出入库就位准备，满足未来有人/无人机进一步协同作战需求。
步骤2和步骤3中控制权交接后，无人机控制站与无人机之间的链路保持通信状态，在应急情况下，无人机控制站可以紧急夺回无人机控制权，保障无人机系统的安全。

Claims (7)

1.一种基于手势感知识别的无人机智能地面引导控制方法，其特征在于，包括如下步骤：
步骤1：采用安装在无人机上的传感器实现全天候、全视野无人机环境态势识感知，智能识别引导员、手势、障碍物等不同物体；
步骤2：确定一个手势作为引导员控制接管无人机控制权的手势，引导员以该手势向无人机发送信号，无人机感知识别后，发送请求信号给无人机控制站，由控制站选择同意与否，在同意的情况下将无人机控制权交由引导员，引导员引导无人机完成地面/舰面出入库、智能引导跟随、起降就位任务；
步骤3：当无人机识别到地勤工作人员或有人机引导员做出的控制接管无人机控制权的手势时，无人机在已识别的环境态势基础上完成沿途的自主避障，接受地勤工作人员或有人机引导员的引导完成相关任务。
2.如权利要求1所述的一种基于手势感知识别的无人机智能地面引导控制方法，其特征在于，步骤1中所述的传感器采用基于飞行时间原理和基于双目摄像原理的双模式3D传感器。
3.如权利要求2所述的一种基于手势感知识别的无人机智能地面引导控制方法，其特征在于，所述双模式3D传感器包括TOF传感器和双目传感器。
4.如权利要求1所述的一种基于手势感知识别的无人机智能地面引导控制方法，其特征在于，所述传感器可360度旋转。
5.如权利要求4所述的一种基于手势感知识别的无人机智能地面引导控制方法，其特征在于，所述传感器安装于球形的安装座上，转轴一端连接于安装座上，另一端转动连接于无人机上，通过转轴的转动带动安装座转动。
6.如权利要求1所述的一种基于手势感知识别的无人机智能地面引导控制方法，其特征在于，引导员采用国际通用的MH/T3010标准手势。
7.如权利要求1所述的一种基于手势感知识别的无人机智能地面引导控制方法，其特征在于，控制权交于引导员、地勤工作人员或有人机引导员后，无人机控制站与无人机之间的链路保持通信状态，在应急情况下，无人机控制站可以紧急夺回无人机控制权，保障无人机系统的安全。
CN201811274657.1A 2018-10-29 2018-10-29 一种基于手势感知识别的无人机智能地面引导控制方法 Pending CN109343565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811274657.1A CN109343565A (zh) 2018-10-29 2018-10-29 一种基于手势感知识别的无人机智能地面引导控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811274657.1A CN109343565A (zh) 2018-10-29 2018-10-29 一种基于手势感知识别的无人机智能地面引导控制方法

Publications (1)

Publication Number Publication Date
CN109343565A true CN109343565A (zh) 2019-02-15

Family

ID=65311078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811274657.1A Pending CN109343565A (zh) 2018-10-29 2018-10-29 一种基于手势感知识别的无人机智能地面引导控制方法

Country Status (1)

Country Link
CN (1) CN109343565A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947568A (zh) * 2021-03-09 2021-06-11 四川腾盾科技有限公司 一种长航时大型无人机空中动态接入控制方法
CN114527869A (zh) * 2021-12-30 2022-05-24 中国航空工业集团公司沈阳飞机设计研究所 一种自主转运手势引导识别方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700088A (zh) * 2015-03-23 2015-06-10 南京航空航天大学 一种基于单目视觉移动拍摄下的手势轨迹识别方法
CN105955295A (zh) * 2016-05-27 2016-09-21 北京小米移动软件有限公司 无人机控制方法及装置
CN106468945A (zh) * 2015-08-20 2017-03-01 上海汽车集团股份有限公司 可穿戴设备及其控制方法
CN106598226A (zh) * 2016-11-16 2017-04-26 天津大学 一种基于双目视觉和深度学习的无人机人机交互方法
CN106774947A (zh) * 2017-02-08 2017-05-31 亿航智能设备（广州）有限公司 一种飞行器及其控制方法
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN107957732A (zh) * 2017-11-29 2018-04-24 重庆固恒通信设备有限公司 无人机自动降落辅助引导系统
CN108337414A (zh) * 2018-02-28 2018-07-27 信利光电股份有限公司 一种用于获取景深信息的摄像设备以及电子设备
CN207718231U (zh) * 2018-01-15 2018-08-10 江西理工大学 一种手势识别遥控无人机

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700088A (zh) * 2015-03-23 2015-06-10 南京航空航天大学 一种基于单目视觉移动拍摄下的手势轨迹识别方法
CN106468945A (zh) * 2015-08-20 2017-03-01 上海汽车集团股份有限公司 可穿戴设备及其控制方法
CN105955295A (zh) * 2016-05-27 2016-09-21 北京小米移动软件有限公司 无人机控制方法及装置
CN106598226A (zh) * 2016-11-16 2017-04-26 天津大学 一种基于双目视觉和深度学习的无人机人机交互方法
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN106774947A (zh) * 2017-02-08 2017-05-31 亿航智能设备（广州）有限公司 一种飞行器及其控制方法
CN107957732A (zh) * 2017-11-29 2018-04-24 重庆固恒通信设备有限公司 无人机自动降落辅助引导系统
CN207718231U (zh) * 2018-01-15 2018-08-10 江西理工大学 一种手势识别遥控无人机
CN108337414A (zh) * 2018-02-28 2018-07-27 信利光电股份有限公司 一种用于获取景深信息的摄像设备以及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
俞俊生: "《从云到终端提升移动流媒体性能技术研究》", 30 September 2015, 电子科技大学出版社 *
孙哲: "基于置信度的TOF与双目系统深度数据融合", 《北京航空航天大学学报》 *
王亚洲: "采用TOF面阵传感器与双目视觉融合的三维深度相机设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947568A (zh) * 2021-03-09 2021-06-11 四川腾盾科技有限公司 一种长航时大型无人机空中动态接入控制方法
CN112947568B (zh) * 2021-03-09 2022-10-25 四川腾盾科技有限公司 一种长航时大型无人机空中动态接入控制方法
CN114527869A (zh) * 2021-12-30 2022-05-24 中国航空工业集团公司沈阳飞机设计研究所 一种自主转运手势引导识别方法及装置

Similar Documents

Publication Publication Date Title
CN102707724B (zh) 一种无人机的视觉定位与避障方法及系统
CN108833833A (zh) 面向智能网联汽车场景图像数据感知与协同处理系统
CN105517664B (zh) 无人飞行器对接系统及方法
US20200039068A1 (en) Control system to control intelligent robot device
GB2556644A (en) Unmanned aerial vehicles
CN107650908A (zh) 无人车环境感知系统
CN105759833A (zh) 一种沉浸式无人机驾驶飞行系统
JP2018504652A (ja) 顕著特徴ベースの移動体測位
CN103914076A (zh) 一种基于无人机的货物传送系统和方法
CN104036661A (zh) 自动飞行器指引移动单元
CN109343565A (zh) 一种基于手势感知识别的无人机智能地面引导控制方法
US11812197B2 (en) Information processing device, information processing method, and moving body
CN106227232A (zh) 无人机的控制方法、装置和设备
CA3136909A1 (en) SYSTEMS AND METHODS FOR SIMULTANEOUS LOCATION AND MAPPING USING ASYNCHRONOUS MULTI-ANGLE CAMERAS
WO2021078003A1 (zh) 无人载具的避障方法、避障装置及无人载具
CN204808575U (zh) 一种带姿态感应的蓝牙智能控制系统
CN116166041A (zh) 一种evtol飞行器航电控制系统
CN112799409A (zh) 基于车路云协同架构的用于机场的地面交通管控集成系统
CN114084170A (zh) 一种服务于cvcs的车载智能单元及其控制方法
CN109177753A (zh) 车用飞行器以及搭载飞行器的汽车
Hayajneh et al. Automatic UAV wireless charging over solar vehicle to enable frequent flight missions
CN112198903A (zh) 一种模块化的多功能机载计算机体系
CN207274661U (zh) 无人车环境感知系统
CN113917948B (zh) 一种低可视环境无人机地基辅助降落方法
CN105044672B (zh) 基于光学编码的追踪与定位系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215