CN106200657B - 一种无人机控制方法 - Google Patents

一种无人机控制方法 Download PDF

Info

Publication number
CN106200657B
CN106200657B CN201610543858.1A CN201610543858A CN106200657B CN 106200657 B CN106200657 B CN 106200657B CN 201610543858 A CN201610543858 A CN 201610543858A CN 106200657 B CN106200657 B CN 106200657B
Authority
CN
China
Prior art keywords
palm
unmanned plane
camera
image pattern
palm image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610543858.1A
Other languages
English (en)
Other versions
CN106200657A (zh
Inventor
连汉念
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Huarui Electronic Technology Co Ltd
Original Assignee
Dongguan Huarui Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Huarui Electronic Technology Co Ltd filed Critical Dongguan Huarui Electronic Technology Co Ltd
Priority to CN201610543858.1A priority Critical patent/CN106200657B/zh
Publication of CN106200657A publication Critical patent/CN106200657A/zh
Application granted granted Critical
Publication of CN106200657B publication Critical patent/CN106200657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种无人机控制方法，该方法包括：手掌摄像头获取用户手掌图像，所述手掌摄像头设置于所述无人机底面；所述手掌摄像头对采集到的用户手掌图像进行识别；若识别通过，则所述手掌摄像头实时追踪用户的手势信息；所述无人机的控制器根据所述手势信息生成控制指令并发送给所述无人机的动力系统，使得所述动力系统控制所述无人机的运动。

Description

一种无人机控制方法
技术领域
本发明通信领域，尤其涉及一种无人机控制方法。
技术领域
随着无人机技术的发展，无人机在市场上越来越普及。
目前对无人机的控制一般是采用遥控器进行，用户通过目测无人机的位置使用遥控器控制无人机的运行轨迹。
但是，目前的无人机只会按照用户通过遥控器发送的指令进行飞行，而不能发现用户所在位置。
发明内容
本发明提供了一种无人机控制方法。
本发明提供的无人机控制方法，包括：
手掌摄像头获取用户手掌图像，所述手掌摄像头设置于所述无人机底面；
所述手掌摄像头对采集到的用户手掌图像进行识别；
若识别通过，则所述手掌摄像头实时追踪用户的手势信息；
所述无人机的控制器根据所述手势信息生成控制指令并发送给所述无人机的动力系统，使得所述动力系统控制所述无人机的运动。
本发明无人机可以通过手掌摄像头先定位到用户的位置，然后对采集到的图像进行识别，若识别通过，则确定该用户为合法用户，并开始不断采集用户的手势，从而根据手势信息进行飞行。
附图说明
图1为无人机控制方法流程示意图。
具体实施方式
为了使本领域的技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
请参阅图1，本发明实施例中一种无人机控制方法包括：
101、手掌摄像头获取用户手掌图像，所述手掌摄像头设置于所述无人机底面；
102、所述手掌摄像头对采集到的用户手掌图像进行识别；
本实施例中，手掌摄像头采集到用户手掌图像之后，会进行识别以确定是否为合法用户。
具体的识别过程需要先确定ROI，然后在ROI中提取特征点进行识别。
确定ROI的过程可以包括：
采集N个手掌图像样本，在每一个手掌图像样本上标注真实关键点位置，所述N为正整数；
对所述N个手掌图像样本以及每一个手掌图像样本中的真实关键点位置进行训练，得到一个级联回归器；
根据所述级联回归器，定位待识别人脸图像中的目标关键点位置，根据所述目标关键点位置确定感兴趣区域ROI。
本实施例中，对所述N个手掌图像样本以及每一个手掌图像样本中的真实关键点位置进行训练，得到一个级联回归器包括：
根据所述N个手掌图像样本中的真实关键点位置，得到每一个手掌图像样本中每一个真实关键点位置对应的初始估计位置；
对每一个初始估计位置进行训练，以使所述初始估计位置逼近对应的真实关键点位置，得到一个级联回归器。
对每一个初始估计位置进行训练，以使所述初始估计位置逼近对应的真实关键点位置，得到一个级联回归器包括：
依次以每一个手掌图像样本中的每一个真实关键点位置对应的初始估计位置为目标点，根据所述目标点获取一个特征训练点；
组合一个手掌图像样本中的所有真实关键点位置对应的初始估计位置，得到P个特征训练点，并记录所述P个特征训练点的位置信息；
按照组合方式从所述P个特征训练点中选取两个特征训练点，计算选取的两个特征训练点的像素灰度值的第一差值，每一个第一差值为一个训练特征，得到F个训练特征；
计算每一个手掌图像样本中的每一个真实关键点位置与对应的初始估计位置之间的第二差值，以所述第二差值作为训练目标，对每一个手掌图像样本中的F个训练特征进行训练得到一个弱回归器；
根据所述弱回归器，对所述F个训练特征进行回归得到每一个初始估计位置的增量值；
计算所述增量值与对应初始估计位置的和，得到新的初始估计位置；
判断低层训练次数是否满足L1次，若没有满足L1次，则转向执行按照组合方式从所述P个特征训练点中选取两个特征训练点的步骤；
若是满足L1次，则判断上层训练次数是否满足L2次，若没有满足L2次，则转向执行依次以每一个手掌图像样本中的每一个真实关键点位置对应的初始估计位置为目标点，根据所述目标点获取一个特征训练点的步骤；若满足L2次，则完成训练，得到所述级联回归器。
N、P、F、L1、L2均为正整数，可以根据实际需求进行选择，当要求识别精度较高时，这些数值可以选择较大的数值，当要求识别精度较低时，这些数值可以选择较小的数值。
103、若识别通过，则所述手掌摄像头实时追踪用户的手势信息；
本实施例中，无人机需要预先创建手势工作区域和兴趣区域，所述兴趣区域包含于所述手掌摄像头的拍摄范围。
随后，无人机获取自身的位置参数；
无人机根据所述位置参数调整所述兴趣区域，以使得所述兴趣区域覆盖所述手势工作区域。
具体的，无人机根据所述位置参数调整所述兴趣区域包括：
当所述无人机进行俯视或仰视时，所述无人机通过所述位置参数获得俯仰角，所述俯仰角用于指示所述无人机向下或向上偏移的角度；
所述无人机根据所述俯仰角利用第一关系式计算所述手掌摄像头的调整角度；
所述无人机根据所述调整角度调整反射镜的角度和/或通过旋转马达调整所述手掌摄像头的拍摄角度，进而调整所述兴趣区域，所述反射镜用于将所述无人机的视野范围内的影像反射进所述手掌摄像头的拍摄范围内；
所述第一关系式为：
或，
所述(Xworld,Yworld,Zworld)为所述手势工作区域的坐标，所述(Xcamera,Ycamera,Zcamera)为所述兴趣区域的坐标，所述为所述俯仰角，所述φ为所述调整角度，所述θ为所述兴趣区域的视角度，所述1为所述手掌摄像头的长度，所述dx为所述手掌摄像头与所述手势工作区域的垂直距离，所述dz为所述手掌摄像头与所述手势工作区域的水平距离。
104、所述无人机的控制器根据所述手势信息生成控制指令并发送给所述无人机的动力系统，使得所述动力系统控制所述无人机的运动。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (2)

1.一种无人机控制方法，其特征在于，包括：
手掌摄像头获取用户手掌图像，所述手掌摄像头设置于所述无人机底面；
所述手掌摄像头对采集到的用户手掌图像进行识别；
若识别通过，则所述手掌摄像头实时追踪用户的手势信息；
所述无人机的控制器根据所述手势信息生成控制指令并发送给所述无人机的动力系统，使得所述动力系统控制所述无人机的运动；
所述方法还包括：
所述无人机创建手势工作区域和兴趣区域，所述兴趣区域包含于所述手掌摄像头的拍摄范围；
所述手掌摄像头实时追踪用户的手势信息包括：
所述无人机获取自身的位置参数；
所述无人机根据所述位置参数调整所述兴趣区域，以使得所述兴趣区域覆盖所述手势工作区域；
所述无人机根据所述位置参数调整所述兴趣区域包括：
当所述无人机进行俯视或仰视时，所述无人机通过所述位置参数获得俯仰角，所述俯仰角用于指示所述无人机向下或向上偏移的角度；
所述无人机根据所述俯仰角利用第一关系式计算所述手掌摄像头的调整角度；
所述无人机根据所述调整角度调整反射镜的角度和/或通过旋转马达调整所述手掌摄像头的拍摄角度，进而调整所述兴趣区域，所述反射镜用于将所述无人机的视野范围内的影像反射进所述手掌摄像头的拍摄范围内；
所述第一关系式为：
或，
所述(Xworld,Yworld,Zworld)为所述手势工作区域的坐标，所述(Xcamera,Ycamera,Zcamera)为所述兴趣区域的坐标，所述为所述俯仰角，所述φ为所述调整角度，所述θ为所述兴趣区域的视角度，所述1为所述手掌摄像头的长度，所述dx为所述手掌摄像头与所述手势工作区域的垂直距离，所述dz为所述手掌摄像头与所述手势工作区域的水平距离；
所述手掌摄像头对采集到的用户手掌图像进行识别包括：
根据采集到的用户手掌图像确定ROI；
从所述ROI中提取特征点进行识别；
所述根据采集到的用户手掌图像确定ROI包括：
采集N个手掌图像样本，在每一个手掌图像样本上标注真实关键点位置，所述N为正整数；
对所述N个手掌图像样本以及每一个手掌图像样本中的真实关键点位置进行训练，得到一个级联回归器；
根据所述级联回归器，定位待识别人脸图像中的目标关键点位置，根据所述目标关键点位置确定感兴趣区域ROI；
所述对所述N个手掌图像样本以及每一个手掌图像样本中的真实关键点位置进行训练，得到一个级联回归器包括：
根据所述N个手掌图像样本中的真实关键点位置，得到每一个手掌图像样本中每一个真实关键点位置对应的初始估计位置；
对每一个初始估计位置进行训练，以使所述初始估计位置逼近对应的真实关键点位置，得到一个级联回归器。
2.根据权利要求1所述的方法，其特征在于，所述对每一个初始估计位置进行训练，以使所述初始估计位置逼近对应的真实关键点位置，得到一个级联回归器包括：
依次以每一个手掌图像样本中的每一个真实关键点位置对应的初始估计位置为目标点，根据所述目标点获取一个特征训练点；
组合一个手掌图像样本中的所有真实关键点位置对应的初始估计位置，得到P个特征训练点，并记录所述P个特征训练点的位置信息；
按照组合方式从所述P个特征训练点中选取两个特征训练点，计算选取的两个特征训练点的像素灰度值的第一差值，每一个第一差值为一个训练特征，得到F个训练特征；
计算每一个手掌图像样本中的每一个真实关键点位置与对应的初始估计位置之间的第二差值，以所述第二差值作为训练目标，对每一个手掌图像样本中的F个训练特征进行训练得到一个弱回归器；
根据所述弱回归器，对所述F个训练特征进行回归得到每一个初始估计位置的增量值；
计算所述增量值与对应初始估计位置的和，得到新的初始估计位置；
判断低层训练次数是否满足L1次，若没有满足L1次，则转向执行按照组合方式从所述P个特征训练点中选取两个特征训练点的步骤；
若是满足L1次，则判断上层训练次数是否满足L2次，若没有满足L2次，则转向执行依次以每一个手掌图像样本中的每一个真实关键点位置对应的初始估计位置为目标点，根据所述目标点获取一个特征训练点的步骤；若满足L2次，则完成训练，得到所述级联回归器；
所述P、F、L1、L2均为正整数。
CN201610543858.1A 2016-07-09 2016-07-09 一种无人机控制方法 Active CN106200657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610543858.1A CN106200657B (zh) 2016-07-09 2016-07-09 一种无人机控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610543858.1A CN106200657B (zh) 2016-07-09 2016-07-09 一种无人机控制方法

Publications (2)

Publication Number Publication Date
CN106200657A CN106200657A (zh) 2016-12-07
CN106200657B true CN106200657B (zh) 2018-12-07

Family

ID=57476773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610543858.1A Active CN106200657B (zh) 2016-07-09 2016-07-09 一种无人机控制方法

Country Status (1)

Country Link
CN (1) CN106200657B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
WO2018123747A1 (ja) * 2016-12-28 2018-07-05 Ｎｅｃソリューションイノベータ株式会社 ドローン操縦システム、操縦シグナル送信機セットおよびドローン操縦方法
CN106843489B (zh) * 2017-01-24 2019-02-19 腾讯科技（深圳）有限公司 一种飞行器的飞行路线控制方法及飞行器
CN106933236A (zh) * 2017-02-25 2017-07-07 上海瞬动科技有限公司合肥分公司 一种骨架控制无人机放飞和回收的方法及装置
CN107357307A (zh) * 2017-07-05 2017-11-17 李奕铭 基于手掌识别的无人飞行器控制方法、控制装置和无人飞行器
WO2019061466A1 (zh) * 2017-09-30 2019-04-04 深圳市大疆创新科技有限公司 一种飞行控制方法、遥控装置、遥控系统
CN107831791B (zh) * 2017-11-17 2020-12-15 深圳意动航空科技有限公司 一种无人机的操控方法、装置、操控设备及存储介质
WO2019144295A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 一种飞行控制方法、设备、飞行器、系统及存储介质
CN109074168B (zh) * 2018-01-23 2022-06-17 深圳市大疆创新科技有限公司 无人机的控制方法、设备和无人机
CN108459620B (zh) * 2018-03-25 2021-06-04 东莞市华睿电子科技有限公司 一种多旋翼无人飞行器的飞行控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102353351A (zh) * 2011-06-28 2012-02-15 惠州Tcl移动通信有限公司 偏侧拍摄角度检测方法、倾斜拍摄角度检测方法及手机
CN102385766A (zh) * 2011-06-23 2012-03-21 哈尔滨工业大学深圳研究生院 基于掌纹的认证开锁方法、终端及系统
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
CN104700088A (zh) * 2015-03-23 2015-06-10 南京航空航天大学 一种基于单目视觉移动拍摄下的手势轨迹识别方法
CN104808799A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种能够识别手势的无人机及其识别方法
CN105474234A (zh) * 2015-11-24 2016-04-06 厦门中控生物识别信息技术有限公司 一种掌静脉识别的方法和掌静脉识别装置
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9651950B2 (en) * 2012-07-18 2017-05-16 The Boeing Company Mission re-planning for coordinated multivehicle task allocation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385766A (zh) * 2011-06-23 2012-03-21 哈尔滨工业大学深圳研究生院 基于掌纹的认证开锁方法、终端及系统
CN102353351A (zh) * 2011-06-28 2012-02-15 惠州Tcl移动通信有限公司 偏侧拍摄角度检测方法、倾斜拍摄角度检测方法及手机
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
CN104700088A (zh) * 2015-03-23 2015-06-10 南京航空航天大学 一种基于单目视觉移动拍摄下的手势轨迹识别方法
CN104808799A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种能够识别手势的无人机及其识别方法
CN105474234A (zh) * 2015-11-24 2016-04-06 厦门中控生物识别信息技术有限公司 一种掌静脉识别的方法和掌静脉识别装置
CN105739525A (zh) * 2016-02-14 2016-07-06 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于级联回归模型的人脸配准研究;邓健康;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315;第11-30页 *

Also Published As

Publication number Publication date
CN106200657A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106200657B (zh) 一种无人机控制方法
CN110222581B (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN106055091B (zh) 一种基于深度信息和校正方式的手部姿态估计方法
CN106548173B (zh) 一种基于分级匹配策略的改进无人机三维信息获取方法
CN107423729B (zh) 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法
CN109923583A (zh) 一种姿态的识别方法、设备及可移动平台
CN106054929B (zh) 一种基于光流的无人机自动降落引导方法
CN109448025B (zh) 视频中短道速滑运动员的自动跟踪与轨迹建模方法
CN105739702B (zh) 用于自然人机交互的多姿态指尖跟踪方法
JP4148281B2 (ja) モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
CN101968846B (zh) 一种人脸跟踪方法
CN106973221B (zh) 基于美学评价的无人机摄像方法和系统
CN108303994B (zh) 面向无人机的群控交互方法
CN109564432B (zh) 通过姿势与可移动设备通信/控制可移动设备的方法和相关系统
CN110471526A (zh) 一种人体姿态估计与手势识别结合的无人机控制方法
JP2007538318A5 (zh)
Zhang et al. Real-time spin estimation of ping-pong ball using its natural brand
CN105159452B (zh) 一种基于人脸姿态估计的控制方法与系统
CN108334099A (zh) 一种高效的无人机人体跟踪方法
CN109483507B (zh) 一种多个轮式机器人行走的室内视觉定位方法
CN111178170B (zh) 一种手势识别方法和一种电子设备
CN108089695A (zh) 一种控制可移动设备的方法和装置
CN108074251A (zh) 基于单目视觉的移动机器人导航控制方法
CN109028488A (zh) 一种空调控制方法、系统及存储介质
CN113867373A (zh) 无人机降落方法、装置、停机坪以及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Lian Hannian

Inventor before: Xiang Minming

GR01 Patent grant
GR01 Patent grant