CN111290574B - 一种利用手势控制无人机的方法，设备及可读存储介质 - Google Patents

一种利用手势控制无人机的方法，设备及可读存储介质 Download PDF

Info

Publication number
CN111290574B
CN111290574B CN202010060853.XA CN202010060853A CN111290574B CN 111290574 B CN111290574 B CN 111290574B CN 202010060853 A CN202010060853 A CN 202010060853A CN 111290574 B CN111290574 B CN 111290574B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
gesture
control
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010060853.XA
Other languages
English (en)
Other versions
CN111290574A (zh
Inventor
陈淑敏
杨坤龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chaoyue Technology Co Ltd
Original Assignee
Chaoyue Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chaoyue Technology Co Ltd filed Critical Chaoyue Technology Co Ltd
Priority to CN202010060853.XA priority Critical patent/CN111290574B/zh
Publication of CN111290574A publication Critical patent/CN111290574A/zh
Application granted granted Critical
Publication of CN111290574B publication Critical patent/CN111290574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种利用手势控制无人机的方法，设备及可读存储介质，将体感控制器连接至控制终端；在无人机端，将无线通信模块与单片机相连，接收控制数据；将单片机的输出与无人机的飞控、机械手的控制端相连；体感控制器接收无人机手势控制信息，将无人机手势控制信息传输至单片机；单片机接收无人机手势控制信息，并执行。将手势识别技术与无人机相结合进行控制。通过绑定视野范围能的手、手指或者工具来提供手势及坐标的实时数据。通过NRF24L01对数据进行收发。在无人机端将收到的数据进行处理来改变无人机的飞行状态。本发明可通过对根据手势的姿态进行相应的飞行状态，精确度高。

Description

一种利用手势控制无人机的方法，设备及可读存储介质
技术领域
本发明涉及无人机控制领域，尤其涉及一种利用手势控制无人机的方法，设备及可读存储介质。
背景技术
当前无人机已经不单单应用于军事，民用也得到了广泛的使用。无人机的控制是使用无人机至关重要的一方面，因为无人机通常是需要远程控制，这样就需要控制的准确度和精准度。目前多数无人机的操控都是通过无人机来实现。
用户使用遥控器控制无人机，可能需要深入熟悉无人机遥控器舵机的使用，油门灵敏度等，并进行大量的模拟操作以及实地飞行操作才能掌握，避免事故发生。目前的无人机遥控器远程控制需要有一定的专业既能，而且操作较为复杂，新手适应时间长，操作也不直观。所以使用遥控器远程控制无人机弊端较多，无法灵活操作，用户上手较为复杂。
发明内容
为了克服上述现有技术中的不足，本发明提供一种利用手势控制无人机的方法，方法包括：
S1，将体感控制器连接至控制终端；
S2，在无人机端，将无线通信模块与单片机相连，接收控制数据；
S3，将单片机的输出与无人机的飞控、机械手的控制端相连；
S4，体感控制器接收无人机手势控制信息，将无人机手势控制信息传输至单片机；
S5，单片机接收无人机手势控制信息，并执行。
基于上述方法本发明还提供一种实现利用手势控制无人机的方法的设备，包括：
存储器，用于存储计算机程序及利用手势控制无人机的方法；处理器，用于执行所述计算机程序及利用手势控制无人机的方法，以实现利用手势控制无人机的方法的步骤。
基于上述方法本发明还提供一种具有利用手势控制无人机的方法的可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现利用手势控制无人机的方法的步骤。
基于上述方法本发明还提供一种实现利用手势控制无人机的方法的设备，包括：存储器，用于存储计算机程序及利用手势控制无人机的方法；处理器，用于执行所述计算机程序及利用手势控制无人机的方法，以实现利用手势控制无人机的方法的步骤。
基于上述方法本发明还提供一种具有利用手势控制无人机的方法的可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现利用手势控制无人机的方法的步骤。
从以上技术方案可以看出，本发明具有以下优点：
本发明涉及的利用手势控制无人机的方法，是将手势识别技术与无人机相结合进行控制。通过绑定视野范围能的手、手指或者工具来提供手势及坐标的实时数据。使用C++并结合leapmotionv2SDK库将双目识别到的数据进行处理，同时通过NRF24L01对数据进行收发。在无人机端将收到的数据进行处理来改变无人机的飞行状态。本发明可通过对根据手势的姿态进行相应的飞行状态，精确度高，避免了使用遥控器远程控制无人机弊端较多，无法灵活操作，用户上手较为复杂的问题。
附图说明
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为利用手势控制无人机的方法流程图；
图2为利用手势控制无人机的方法实施例示意图。
具体实施方式
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明涉及的利用手势控制无人机的方法用于无人机的控制，如图1所示，其中，无人机可以包括所需要的传感器比如磁强计、惯性传感器、超声波传感模块、激光测距传感模块、图像传感模块等。还涉及无人接飞行所用的各种元件比如机翼，机身等等。无人机可以将飞行过程中的姿态信息、高度数据、航向数据、图像数据、距离数据等发送给控制终端，便于无人机做自身的调整。
如果无人机在飞行过程中，遇到刮风影响时，利用惯性传感器可以检测出无人机的姿态数据发生变化，通过获取姿态数据后调整自身姿态以保证按照操控指令飞行。
如果无人机飞行过程中某个方向遇到障碍物时，可以利用距离传感器检测出与障碍物的距离，从而通过体感控制器接收无人机手势控制信息，将无人机手势控制信息传输至单片机；迅速做出避障动作，从而保证机身不损伤。
具体的，方法包括：
S1，将体感控制器连接至控制终端；
利用USB串口转NRF24L01模块，将体感控制器与控制终端连接。
S2，在无人机端，将无线通信模块与单片机相连，接收控制数据；
S3，将单片机的输出与无人机的飞控、机械手的控制端相连；
S4，体感控制器接收无人机手势控制信息，将无人机手势控制信息传输至单片机；
这里，使用了双目传感器进行手势数据的采集并在控制终端进行处理；使用C++并结合leapmotionv2SDK库将双目识别到的数据进行处理，使用Qt编写获取到的无人机手势控制信息进行显示，使用户观察自己的手势状态；同时将处理后的无人机手势控制信息进行自定义编码；启动发送控制指令，并向单片机发送无人机手势控制信息。
控制终端将无人机手势控制信息通过UART协议发送到串口中，通过NRF24L01模块进行无线发射；单片机实时进行NRF24L01数据的接收；单片机将接收的无人机手势控制信息进行处理，并执行。
作为本发明涉及的一种优选实施方式，步骤S4还包括：体感控制器利用摄像头采集人体手势动作图像，对人体手势动作图像进行解析，并判断出当前的人体手势动作方向；
将人体手势动作方向配置成无人机手势控制信息。
读取人体手势动作图像，提取人体手势动作图像中手部的无人机控制特征基准点，并获取无人机控制特征基准点的位移量，位移角度以及位移方向；
将无人机控制特征基准点的位移量，位移角度以及位移方向配置为无人机控制梯度方向，将无人机控制梯度方向配置为N个方向，对每个人体手势动作图像中特征点在预设范围内的梯度方向，基于同一个梯度方向进行获取，利用无人机控制梯度方向相似度对照表，对每个人体手势动作图像中特征点的无人机控制梯度方向配置为该方向的相似度方向；
将人体手势动作图像中每一帧图像的无人机控制梯度方向与预设范围内的梯度方向进行匹配，且在梯度方向移动阈值内，得到每一帧图像中多个方向区域；
再以该方向区域作为匹配标准，在图像中进行移动，将每个对应位置无人机控制特征基准点的方向与预设置无人机控制方位模板的方向进行匹配；
匹配成功后得到无人机控制相似度值；
将无人机控制相似度值，位移量，位移角度以及位移方向配置到的控制执行区域；
将控制执行区域内的无人机手势控制信息按照时间的顺序进行排列，得到控制序列，按照预设的次序进行发送，并由单片机接收并执行。
人体手势动作图像中手部的无人机控制特征基准点，可以以手掌心作为特征基准点，也可以基于某个手指等等。
人体的手可以作为一个整体来进行获取，也可以进行划分区域，仅仅获取某一个区域的运动轨迹，进而得到无人机手势控制信息。
人体手势动作可以包括：手部向上、手部向上左、手部向上右、手部向左、手部向右、手部向下左、手部向下以及手部向下右。作为刹车或减速，可以通过握拳，或者其他动作来进行设置。
S5，单片机接收无人机手势控制信息，并执行。
单片机采用arduino解码收到的无人机手势控制信息；单片机进行数据的处理，并输出pwm信息，基于pixhawk以及机械臂，实现控制无人机的飞行以及机械臂的抓取。
其中，单片机接收无人机手势控制信息，并生成用于控制无人机进行过程飞行的高度数据、姿态角数据、航向数据信息以及与控制者的距离数据信息。
这里所描述的控制终端可以实现在硬件，软件，固件或它们的任何组合。所述的各种特征为模块，单元或组件可以一起实现在集成逻辑装置或分开作为离散的但可互操作的逻辑器件或其他硬件设备。在一些情况下，电子电路的各种特征可以被实现为一个或多个集成电路器件，诸如集成电路芯片或芯片组。
单片机包括一个或多个处理器执行，如一个或多个数字信号处理器(DSP)，通用微处理器，特定应用集成电路(ASICs)，现场可编程门阵列(FPGA)，或者其它等价物把集成电路或离散逻辑电路。因此，术语“处理器，”由于在用于本文时可以指任何前述结构或任何其它的结构更适于实现的这里所描述的技术。另外，在一些方面，本公开中所描述的功能可以提供在软件模块和硬件模块。
基于上述方法本发明还提供一种实现利用手势控制无人机的方法的设备，包括：
存储器，用于存储计算机程序及利用手势控制无人机的方法；处理器，用于执行所述计算机程序及利用手势控制无人机的方法，以实现利用手势控制无人机的方法的步骤。
基于上述方法本发明还提供一种具有利用手势控制无人机的方法的可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现利用手势控制无人机的方法的步骤。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种利用手势控制无人机的方法，其特征在于，方法包括：
S1，将体感控制器连接至控制终端；利用USB串口转NRF24L01模块，将体感控制器与控制终端连接；
S2，在无人机端，将无线通信模块与单片机相连，接收控制数据；
S3，将单片机的输出与无人机的飞控、机械手的控制端相连；
S4，体感控制器接收无人机手势控制信息，将无人机手势控制信息传输至单片机；
使用了双目传感器进行手势数据的采集并在控制终端进行处理；
使用C++并结合leapmotionv2SDK库将双目识别到的数据进行处理，使用Qt编写获取到的无人机手势控制信息进行显示，使用户观察自己的手势状态；
同时将处理后的无人机手势控制信息进行自定义编码；
启动发送控制指令，并向单片机发送无人机手势控制信息；
读取人体手势动作图像，提取人体手势动作图像中手部的无人机控制特征基准点，并获取无人机控制特征基准点的位移量，位移角度以及位移方向；
将无人机控制特征基准点的位移量，位移角度以及位移方向配置为无人机控制梯度方向，将无人机控制梯度方向配置为N个方向，对每个人体手势动作图像中特征点在预设范围内的梯度方向，基于同一个梯度方向进行获取，利用无人机控制梯度方向相似度对照表，对每个人体手势动作图像中特征点的无人机控制梯度方向配置为该方向的相似度方向；
将人体手势动作图像中每一帧图像的无人机控制梯度方向与预设范围内的梯度方向进行匹配，且在梯度方向移动阈值内，得到每一帧图像中多个方向区域；
再以该方向区域作为匹配标准，在图像中进行移动，将每个对应位置无人机控制特征基准点的方向与预设置无人机控制方位模板的方向进行匹配；
匹配成功后得到无人机控制相似度值；
将无人机控制相似度值，位移量，位移角度以及位移方向配置到的控制执行区域；
将控制执行区域内的无人机手势控制信息按照时间的顺序进行排列，得到控制序列，按照预设的次序进行发送，并由单片机接收并执行；
S5，单片机接收无人机手势控制信息，并执行。
2.根据权利要求1所述的利用手势控制无人机的方法，其特征在于，
步骤S4还包括：
控制终端将无人机手势控制信息通过UART协议发送到串口中，通过NRF24L01模块进行无线发射；
单片机实时进行NRF24L01数据的接收；
单片机将接收的无人机手势控制信息进行处理，并执行。
3.根据权利要求1所述的利用手势控制无人机的方法，其特征在于，
步骤S5还包括：
单片机采用arduino解码收到的无人机手势控制信息；
单片机进行数据的处理，并输出pwm信息，基于pixhawk以及机械臂，实现控制无人机的飞行以及机械臂的抓取。
4.根据权利要求1所述的利用手势控制无人机的方法，其特征在于，
步骤S4还包括：体感控制器利用摄像头采集人体手势动作图像，对人体手势动作图像进行解析，并判断出当前的人体手势动作方向；
将人体手势动作方向配置成无人机手势控制信息。
5.根据权利要求1所述的利用手势控制无人机的方法，其特征在于，
步骤S5还包括：
单片机接收无人机手势控制信息，并生成用于控制无人机进行过程飞行的高度数据、姿态角数据、航向数据信息以及与控制者的距离数据信息。
6.一种实现利用手势控制无人机的方法的设备，其特征在于，包括：
存储器，用于存储计算机程序及利用手势控制无人机的方法；
处理器，用于执行所述计算机程序及利用手势控制无人机的方法，以实现如权利要求1至5任意一项所述利用手势控制无人机的方法的步骤。
7.一种具有利用手势控制无人机的方法的可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至5任意一项所述利用手势控制无人机的方法的步骤。
CN202010060853.XA 2020-01-19 2020-01-19 一种利用手势控制无人机的方法，设备及可读存储介质 Active CN111290574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010060853.XA CN111290574B (zh) 2020-01-19 2020-01-19 一种利用手势控制无人机的方法，设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010060853.XA CN111290574B (zh) 2020-01-19 2020-01-19 一种利用手势控制无人机的方法，设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111290574A CN111290574A (zh) 2020-06-16
CN111290574B true CN111290574B (zh) 2022-09-09

Family

ID=71021256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010060853.XA Active CN111290574B (zh) 2020-01-19 2020-01-19 一种利用手势控制无人机的方法，设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111290574B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064442A (zh) * 2021-03-05 2021-07-02 江苏师范大学 一种基于ros的手势远程控制无人机
CN113282110B (zh) * 2021-07-23 2021-10-22 季华实验室 飞行机器人与人的协同作业方法及其装置、飞行机器人

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182728A (zh) * 2018-01-19 2018-06-19 武汉理工大学 一种基于Leap Motion的在线体感三维建模方法及系统
CN109634300A (zh) * 2018-11-23 2019-04-16 中国运载火箭技术研究院 基于隔空手势和超声波触觉反馈的多无人机操控系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319289A (zh) * 2017-01-16 2018-07-24 翔升（上海）电子技术有限公司 头戴显示装置、无人机、飞行系统和无人机控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182728A (zh) * 2018-01-19 2018-06-19 武汉理工大学 一种基于Leap Motion的在线体感三维建模方法及系统
CN109634300A (zh) * 2018-11-23 2019-04-16 中国运载火箭技术研究院 基于隔空手势和超声波触觉反馈的多无人机操控系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Leap Motion的可抓取无人机系统;杨星，陈淑敏等;《测控技术》;20190618;正文第1-4章 *
杨星，陈淑敏等.基于Leap Motion的可抓取无人机系统.《测控技术》.2019,第96-104页. *

Also Published As

Publication number Publication date
CN111290574A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
US11615884B2 (en) Techniques for virtualized tool interaction
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
CN103977539B (zh) 颈椎康复保健辅助训练系统
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
CN108572659A (zh) 控制无人机的方法和支持该方法的无人机
CN111290574B (zh) 一种利用手势控制无人机的方法，设备及可读存储介质
CN105159452B (zh) 一种基于人脸姿态估计的控制方法与系统
EP3460756B1 (en) Tracking system and method thereof
US11163360B2 (en) Wearable computing apparatus for augmented reality, virtual reality and artificial intelligence interactions, and methods relating thereto
WO2021127888A1 (zh) 控制方法、智能眼镜、可移动平台、云台、控制系统及计算机可读存储介质
JP6927937B2 (ja) 三次元骨格表現を生成するためのシステム及び方法
CN108415675B (zh) 信息处理设备、信息处理系统和信息处理方法
CN113448343B (zh) 用于设定飞行器的目标飞行路径的方法、系统和可读介质
CN112740226A (zh) 基于人体指示的可移动物体的操作系统和方法
CN107341952B (zh) 无人飞行器对频的方法、系统、无人飞行器及遥控器
Konomura et al. Phenox: Zynq 7000 based quadcopter robot
US20210181769A1 (en) Movable platform control method, movable platform, terminal device, and system
US20190187692A1 (en) Remote control device and method for uav and motion control device attached to uav
CN116175582A (zh) 一种基于机器视觉的智能机械臂操控系统及控制方法
KR20190128425A (ko) 원통좌표계 기반 무인이동체 조종 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
CN114815689A (zh) 一种实现手势控制的无人机及其控制系统和控制方法
Yeh et al. Research on intuitive gesture recognition control and navigation system of UAV
Lu et al. I am the uav: A wearable approach for manipulation of unmanned aerial vehicle
CN108415676B (zh) 信息处理设备和信息处理方法
CN113168532A (zh) 目标检测方法、装置、无人机及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 250101 no.2877 Kehang Road, Suncun Town, high tech Zone, Jinan City, Shandong Province

Applicant after: Chaoyue Technology Co.,Ltd.

Address before: 250101 no.2877 Kehang Road, Suncun Town, high tech Zone, Jinan City, Shandong Province

Applicant before: SHANDONG CHAOYUE DATA CONTROL ELECTRONICS Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant