CN105676860A - 一种可穿戴设备、无人机控制装置和控制实现方法 - Google Patents

一种可穿戴设备、无人机控制装置和控制实现方法 Download PDF

Info

Publication number
CN105676860A
CN105676860A CN201610153736.1A CN201610153736A CN105676860A CN 105676860 A CN105676860 A CN 105676860A CN 201610153736 A CN201610153736 A CN 201610153736A CN 105676860 A CN105676860 A CN 105676860A
Authority
CN
China
Prior art keywords
control
unmanned plane
gesture
module
gesture motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610153736.1A
Other languages
English (en)
Inventor
苏鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201610153736.1A priority Critical patent/CN105676860A/zh
Publication of CN105676860A publication Critical patent/CN105676860A/zh
Priority to PCT/CN2017/076902 priority patent/WO2017157313A1/zh
Priority to US16/079,100 priority patent/US11067977B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Toys (AREA)

Abstract

本发明公开一种可穿戴设备、无人机控制装置以及控制无人机的实现方法，该可穿戴设备包括：手势配置识别模块，通过传感器采集得到佩戴者的待识别特征数据，识别出佩戴者当前的手势动作，查找预先配置并保存的手势动作与无人机控制命令间的对应关系，将该手势动作对应的无人机控制命令发送给地面控制站模块；地面控制站模块，通过数据接口接收无人机控制命令，对控制命令进行编码并转换为控制报文后发送给无线传输模块；无线传输模块接收控制报文并无线发送至无人机以实现根据控制报文控制无人机的飞行状态。本发明建立了可穿戴设备和无人机间的无线连接，当用户通过可穿戴设备做出相应的手势动作即可控制无人机，实现了方便直观地智能化交互操作。

Description

一种可穿戴设备、无人机控制装置和控制实现方法
技术领域
本发明涉及人机交互领域，具体涉及一种可穿戴设备、无人机控制装置和控制实现方法。
背景技术
随着技术进步，无人机(UnmannedAerialVehicle，UAV)得到了快速地发展。无人机是无人驾驶飞行器的统称，以无线遥控或嵌入式程序控制来代替人工完成各种任务。其中，微小型无人机凭借着其体积小、成本低、使用方便等优点，在民用领域得到了越来越广泛的应用。
目前，无人机控制系统一般由位于机身上的飞控板，运行在个人电脑(PersonalComputer，PC)等设备上的地面控制站(GroundControlSystem，GCS)，遥控器等组成。其中，飞控板通过内置的加速度计、陀螺仪、地磁传感器等获取无人机的姿态并控制无人机的飞行；运行在地面计算机上的地面控制站相当于有人飞行器的驾驶舱，是整个无人机系统的指挥中心，地面控制站通过无线数据传输技术与无人机建立连接，可以实时显示无人机的位置和飞行数据以对无人机飞行状态进行监控，并进行相应的调整和干预(如控制无人机的飞行模式和参数，定制飞行任务等)。另外，为了安全和方便操作，一般还包含有遥控器，以对无人机进行人工遥控。
由上可见，这种通常的无人机控制方案，至少需要准备PC和遥控器，携带和操作起来都非常不便，用户体验较差。
发明内容
本发明提供了一种可穿戴设备、无人机控制装置和控制实现方法，以解决现有的无人机控制方案存在的携带、操作不便，用户体验差的问题。
根据本发明的一个方面，提供了一种可穿戴设备，该可穿戴设备包括：手势配置识别模块、地面控制站模块和无线传输模块；
手势配置识别模块，用于通过传感器采集得到佩戴者的待识别特征数据，识别出佩戴者当前的手势动作，查找预先配置并保存的手势动作与无人机控制命令间的对应关系，将该手势动作对应的无人机控制命令发送给地面控制站模块；
地面控制站模块，用于通过与手势配置识别模块之间的数据接口接收无人机控制命令，对无人机控制命令进行编码并转换为符合无人机通信协议的控制报文，将控制报文发送给无线传输模块；
无线传输模块，用于接收控制报文并将控制报文无线发送至无人机以实现根据控制报文控制无人机的飞行状态。
可选地，手势配置识别模块中设置有默认手势动作，手势配置识别模块，建立默认手势动作与无人机控制命令间的对应关系后保存；或者，手势配置识别模块，识别佩戴者通过可穿戴设备的交互界面输入的自选手势动作，并建立自选手势动作与无人机控制命令间的对应关系后保存。
可选地，手势配置识别模块具体通过如下方式建立默认手势动作与无人机控制命令间的对应关系：
将从上到下方向的画第一折线的手势动作和从下到上方向的画第一折线的手势动作分别对应于无人机的降落控制命令和起飞控制命令；
将顺时针方向的画矩形的手势动作和逆时针方向的画矩形的手势动作分别对应于无人机的右转控制命令和左转控制命令；
将从上到下方向的画第二折线的手势动作和从下到上方向的画第二折线的手势动作分别对应于无人机的升高控制命令和降低控制命令；
将顺时针方向的画三角形的手势动作对应于无人机的悬停控制命令。
可选的，手势配置识别模块，具体用于通过三轴加速度传感器或三轴角速度传感器采集得到佩戴者的待识别三轴加速度数据序列或三轴角速度数据序列；
利用主成分分析对三轴加速度数据序列或三轴角速度数据序列进行特征提取，降低三轴加速度数据序列或三轴角速度数据序列的数据维数至一维；
将降维后的一维加速度数据序列或一维角速度数据序列与对应的模板特征数据序列进行比较，以识别出佩戴者当前的手势动作；
其中，模板特征数据序列包括加速度模板数据序列和角速度模板数据序列，且加速度模板数据序列的数据维数和角速度模板数据序列的数据维数也为一维。
可选地，该可穿戴设备还包括：模式控制模块，用于接收外部输入的指令或者检测可穿戴设备当前的电量，并在外部输入的指令指示开启手势控制或当前的电量满足开启手势控制的条件时，通知手势配置识别模块通过传感器采集得到佩戴者的待识别特征数据。
可选地，地面控制站模块，提供与可穿戴设备屏幕尺寸和操作系统相适配的用户交互界面，并通过用户交互界面显示从无线传输模块获取的无人机返回的飞行数据；以及接收用户通过用户交互界面设定的飞行任务、飞行模式、飞行数据。
可选地，无线传输模块为蓝牙无线传输模块；
蓝牙无线传输模块与无人机的蓝牙通信模块建立连接，并通过蓝牙通信方式将控制报文发送至无人机；
或者，蓝牙无线传输模块与可穿戴设备外置的无线数据通信单元建立连接，经该无线数据通信单元与无人机的无线通信模块通信，以将控制报文发送至无人机。
根据本发明的另一个方面，一种无人机控制装置，其特征在于，该无人机控制装置包括：无线通信模块，命令解析模块和飞行控制模块：
无线通信模块，用于与可穿戴设备进行无线通信，接收可穿戴设备发送的控制报文，将控制报文发送至命令解析模块；
命令解析模块，用于对接收的控制报文进行解析，将解析得到的控制命令发送至飞行控制模块；
飞行控制模块，用于根据接收到控制命令控制无人机的飞行状态。
可选地，飞行控制模块，具体用于根据接收的控制命令计算无人机相应飞行控制参数的目标值，并利用获取的无人机相应飞行控制参数的当前值，运行比例积分微分PID控制器生成控制信号，以调整无人机旋翼的转速进而实现对无人机飞行状态的控制。
根据本发明的又一个方面，提供了一种可穿戴设备控制无人机的实现方法，可穿戴设备中设置有传感器，该方法包括：
通过传感器采集佩戴者的待识别特征数据，识别出佩戴者当前的手势动作；
利用预先配置并保存的相应手势动作与无人机控制命令间的对应关系，找到当前手势动作对应的无人机控制命令后进行编码并生成符合无人机通信协议的控制报文；
将生成的控制报文无线发送至无人机，以使得无人机根据控制报文控制飞行状态。
可选地，该方法还包括：通过如下方式建立相应手势动作与无人机控制命令间的对应关系：
接收佩戴者在可穿戴设备的交互界面呈现的无人机控制命令列表中选择的控制命令，并建立佩戴者选中的控制命令与相应手势动作间的对应关系；或者，接收佩戴者的解除指令，解除无人机的控制命令与相应手势动作间的对应关系；其中，相应手势动作包括：默认手势动作和自选手势动作。
根据本发明的再一个方面，提供了一种可穿戴设备控制无人机的实现方法，该方法包括：
监听可穿戴设备的连接请求，与可穿戴设备建立无线通信，接收可穿戴设备发送的控制报文；
对控制报文进行解析得到无人机控制命令；
根据无人机控制命令控制无人机的飞行状态。
本发明的有益效果是：本发明的这种可穿戴设备中运行有无人机的地面控制站，并内置传感器，用户通过随身佩戴的可穿戴设备，执行一定的手势动作就可以对无人机进行方便直观的控制，不需要携带地面站或遥控器等其它设备，而且避免了通过其它设备相对繁琐的控制方式。这种基于可穿戴设备中传感器的手势识别方式灵活可靠，不受环境、光线的影响，系统实现简单。另外，可穿戴设备一般都会长期戴在用户身上，用户随时可以通过执行一定的手势动作就可发出不同的无人机控制命令，可以更便捷、直观地实现佩戴者与无人机之间的交互，与传统无人机控制方式相比，大大增强了用户体验。
附图说明
图1是本发明一个实施例的一种可穿戴设备的结构框图；
图2是本发明一个实施例的智能手表端的结构框图；
图3是本发明一个实施例的手势识别的流程示意图；
图4是本发明一个实施例的智能手表端的工作流程示意图；
图5是本发明一个实施例的无人机端的结构框图；
图6是本发明一个实施例无人机端的控制流程图；
图7是本发明一个实施例的可穿戴设备控制无人机的实现方法的流程图；
图8是本发明另一个实施例的可穿戴设备控制无人机的实现方法的流程图。
具体实施方式
本发明的核心思想是：智能手表等可穿戴设备目前得到了迅猛的发展，它们有自己的计算能力和资源，而且一般都会嵌入多种MEMS(MicroelectroMechanicalSystems，微机电系统)传感器，数据运算和基于传感器的手势识别为利用智能手表控制无人机提供了软硬件支持，这种手势识别控制方式灵活可靠，不受环境、光线的影响，系统实现简单。另外，可穿戴设备一般都会长期佩戴在用户身上，将无人机的地面控制站移植到智能手表上，用户就可以随时在智能手表上进行无人机的监控和控制操作。同时，还可以利用智能手表代替和执行现有技术中遥控器的功能，只需执行一定的手势动作就可发出无人机控制命令，从而更加便捷、直观地实现用户与无人机之间的交互，增强用户体验。
实施例一
图1是本发明一个实施例的一种可穿戴设备的结构框图，参见图1，该可穿戴设备10包括：手势配置识别模块101、地面控制站模块102和无线传输模块103；
手势配置识别模块101，用于通过传感器采集得到佩戴者的待识别特征数据，识别出佩戴者当前的手势动作，查找预先配置并保存的手势动作与无人机控制命令间的对应关系，将该手势动作对应的无人机控制命令发送给地面控制站模块102；
地面控制站模块102，用于通过与手势配置识别模块101之间的数据接口接收无人机控制命令，对无人机控制命令进行编码并转换为符合无人机通信协议的控制报文，将控制报文发送给无线传输模块103；
无线传输模块103，用于接收控制报文并将控制报文无线发送至无人机以实现根据控制报文控制无人机的飞行状态。
通过图1所述的集成地面控制站模块的可穿戴设备，并基于内置的传感器采集用户执行的手势动作，由地面控制站模块处理转换为相应的无人机控制命令后发送给无人机，以使得无人机根据收到的控制命令，改变相应的飞行模式或飞行状态。如此用户只需要执行手势动作，即可实现对无人机的方便、直观控制。避免了携带和操作遥控器等其他控制设备的繁琐，提升了用户体验。
另外，通过智能手表等可穿戴设备实现对无人机的控制，还必须克服以下技术困难：
(1)基于可穿戴设备的手势识别需要考虑计算量和功耗的问题。智能手表等可穿戴设备是资源受限的设备，在手势识别过程中，对动作的持续感知需要消耗不少的能量，因而需要进一步采取有效手段，在降低算法的复杂性、减少计算量的同时，保证手势动作识别的可靠性。
(2)如何通过不同的手势动作实现相应的无人机控制命令，并对无人机进行控制。
(3)地面控制站对于智能手表等可穿戴设备的适配。
以下结合本发明其他实施例，对本发明技术方案中为克服上述技术困难而采取的技术手段进行具体说明。
实施例二
图2是本发明一个实施例的智能手表端的结构框图，本实施例中主要是以智能手表为例对可穿戴设备的功能结构进行示意性说明，其他内容参见本发明的其他实施例。
首次使用智能手表对无人机进行控制时，先将智能手表通过BLE(BluetoothLowEnergy，蓝牙低功耗)等无线方式与无人机建立连接，然后对无人机进行控制。智能手表建立自选手势动作或默认手势动作与无人机控制命令间的对应关系，自选手势动作可以由佩戴者在智能手表的交互界面中自定义。默认的手势动作预先保存在智能手表中，而不需要用户在应用时自己设计，方便用户直接使用。
本实施例中，智能手表端20包括：手势配置识别模块201、地面控制站模块202以及无线传输模块203；
在具体应用过程中，佩戴者执行一定的手势动作，手势配置识别模块201从传感器中采集数据并识别出该手势动作后，从预先保存的相应手势动作与无人机控制命令的对应关系中查询该手势对应的无人机控制命令，将该控制命令发送给地面控制站模块202，地面控制站模块202，对接收到的无人机控制命令进行编码，将无人机控制命令转换成符合无人机通信协议的控制报文，然后由无线传输模块203将控制报文无线发送到无人机。
以下结合图2对智能手表端中上述模块的功能说明如下：
手势配置识别模块201
手势配置识别模块201主要用于创建手势模板、执行用户手势识别功能，从而为用户提供一种自然直观的手势控制方式。该模块使用MEMS传感器采集佩戴者的手势数据并进行手势识别。手势配置识别模块201中设置有默认手势动作(如预先创建的手势动作模板)，能够建立默认手势动作与无人机控制命令间的对应关系后保存；或者，手势配置识别模块，识别佩戴者通过可穿戴设备的交互界面输入的自选手势动作，并建立自选手势动作与无人机控制命令间的对应关系后保存。
功能一，手势动作模板的创建
本实施例在创建手势动作模板时考虑如下两个因素：一是手势应尽量简单，用户可以很轻松地掌握和使用；二是手势易被识别和区分。由于本实施例中手势动作主要用于控制无人机，根据无人机的特点预先设计几种默认的手势动作并建立默认手势动作与无人机控制命令间的对应关系后保存，参见下表1，表1是手势动作与无人机不同控制命令间的对应关系表。
在表1中，定义了从上到下方向的画第一折线的手势动作和从下到上方向的画第一折线的手势动作分别对应于无人机的降落控制命令和起飞控制命令；顺时针方向的画矩形的手势动作和逆时针方向的画矩形的手势动作分别对应于无人机的右转控制命令和左转控制命令；从上到下方向的画第二折线的手势动作和从下到上方向的画第二折线的手势动作分别对应于无人机的升高控制命令和降低控制命令；顺时针方向的画三角形的手势动作对应于无人机的悬停控制命令。
需要说明的是，表1只是示意性的示出了几种手势动作，实际应用时还可以在手势配置识别模块提供的用户交互界面由用户自定义无人机的控制命令与手势动作的对应关系。例如，通过在本实施例的智能手表的交互界面上，呈现无人机控制命令列表，接收佩戴者在交互界面呈现的无人机控制命令列表中的选择，并建立佩戴者选中的控制命令与相应手势动作间的对应关系；或者，接收佩戴者的解除指令，解除无人机的控制命令与相应手势动作间的对应关系；这里的相应手势动作既可以是智能手表中的默认手势动作亦可以是佩戴者自己输入的自选手势动作。
这样，一方面更加个性化增强用户的参与感，优化用户使用体验。另一方面，每个手势动作可以重复使用以实现不同控制命令。例如，用户一段时间内比较喜欢做某一手势动作，可将该手动动作对应为无人机的常用控制命令(如起飞)，如果后续不再经常使用该手势动作可以删除该手势动作并解除手势动作与无人机的控制命令的对应关系，这样，同一个手势动作也可以被重复使用，避免了多次设计不同的手势动作。
通过将无人机的不同控制命令与相应的手势进行关联然后保存到智能手表的数据库中以方便后续进行手势动作查找、匹配。配置成功后，智能手表即可通过发出不同手势动作控制无人机执行相对应操作。
功能二，手势识别；
为了增强用户体验，应该尽量降低对用户执行手势动作时的姿态要求。并且为了降低功耗，也需要尽量降低算法的复杂性，在减少计算量的同时，保证动作识别的可靠性。因此，在本实施例中在MEMS传感器采集到待识别特征数据后，先利用PCA(PrincipalComponentAnalysis，主成分分析)算法降低待识别特征数据的数据维数。
通过采用PCA根据计算过程中的特征值大小来决定各独立成分的重要性，并选择最重要的成分，将原始加速度信号降至一维，在降低计算复杂度的同时，可以去除一部分噪声，并降低对用户执行手势时的姿态要求。然后再对降维后的数据进一步执行识别算法(模板匹配或机器学习等算法)，在降低计算复杂度的同时实现准确的手势识别。
图3是本发明一个实施例的手势识别的流程示意图；参见图3，采用基于加速度传感器(或角速度传感器)的手势识别包括预处理、主成分分析处理、特征提取、手势匹配等过程。对于手势动作模板和测试序列(即某一具体待识别特征数据)的具体处理过程如下：
步骤S31，通过加速度传感器采集数据，得到模板序列(或测试序列)；
步骤S32，预处理，对采集到的三维加速度传感器数据进行预处理，可以采用均值滤波、Butterworth滤波等处理方法，以滤除干扰噪声。
步骤S330，对于模板序列，将三维加速度序列进行PCA处理，得到降维后的一维模板数据，并得到主成分的特征向量空间。
步骤S331，对于测试序列，将三维加速度序列投影到模板序列的主成分特征向量空间，得到降维后的一维测试数据。
步骤S34，对获得的一维数据提取特征(如，相邻数据点的均值、方差，或直接提取波形变化特征)，得到模板序列或测试序列的特征序列，其中，模板特征序列可以保存到手势动作模板数据库中用于手势匹配。将测试特征序列与各模板特征序列进行匹配(如，模板匹配或机器学习方法匹配识别)，得到识别结果。
手势动作识别更详细的计算过程可以参见现有技术中的主成分分析的相关内容，本实施例中不再赘述。
需要说明的是，本实施例中采用主成分分析对采集的原始加速度信号进行特征提取和数据降维，但不限于此，在其他实施例中也可以采取其他的降维手段。另外，本实施例主要是通过三轴加速度传感器采集数据序列的处理过程，但是可以理解，本发明技术方案也可以采用基于其他传感器的手势识别，如三轴角速度传感器，三轴角速度的数据处理过程可以参见前述基于加速度传感器(或角速度传感器)的数据处理说明。
地面控制站模块202
该模块可以实时显示无人机的位置和飞行数据，并可以控制无人机的飞行模式和参数，定制飞行任务等。与现有技术中设置在PC上的地面控制站不同，为了适应智能手表显示界面较小等特点，本实施例中地面控制站模块202提供与智能手表屏幕尺寸和操作系统相适配的用户交互界面，并通过用户交互界面显示从无线传输模块203获取的无人机返回的飞行数据；以及接收用户通过用户交互界面设定的飞行任务、飞行模式、飞行数据。
实际应用中，智能手表中地面控制站的组织方式和操作界面进行重新设计，以方便用户的浏览和操作。同时，在地面控制站中增加了与手势配置识别模块201的接口，以接收手势配置识别模块201发送的无人机控制命令以及无人机返回的飞行数据。
此外，考虑到智能手表是资源受限的设备，在手势识别过程中，对动作的持续感知需要消耗不少的能量。因此，本实施例中在智能手表上设置了模式控制模块，以接收外部输入的指令或者检测可穿戴设备当前的电量，并在外部输入的指令指示开启手势控制或当前的电量满足开启手势控制的条件时，通知手势配置识别模块201通过传感器采集得到佩戴者的待识别特征数据。
例如，在智能手表的交互界面上显示手势控制模式的开关选择界面，当接收到佩戴者输入的打开手势控制模式时，通知手势配置识别模块持续检测和识别用户的手势。或者，模式控制模块检测智能手表中电池的电量，如果智能手表当前的电池电量低于一个阈值，则向手势配置识别模块发送不获取传感器数据的信号。这样通过对智能手表控制无人机的功能设置一个选择开启的选项，方便用户在智能手表电池电量不足时，切换到常规的无人机控制方式，既满足了无人机的控制需求也能够节省智能手表的功耗。
在收到手势配置识别模块201发送过来的控制命令后，地面控制站模块202将其进行编码并转换为符合MAVLink(MicroAirVehicleLink)协议的控制报文，然后通过无线传输模块203发送给无人机。MAVLink协议是一个为微型飞行器设计的非常轻巧的、只由头文件构成的信息编组库。该协议广泛应用于地面控制站与无人机之间的通信。
无线传输模块203
无线传输模块203主要用于与无人机进行无线通信。本实施例中智能手表中的无线传输模块为蓝牙无线传输模块；智能手表与无人机之间的无线通信有两种实现方式，一种方式是智能手表的蓝牙无线传输模块与无人机的蓝牙通信模块建立连接，并通过蓝牙通信方式将控制报文发送至无人机；或者，蓝牙无线传输模块与独立于智能手表的无线数据通信单元建立连接，以将控制报文发送至无人机，这种情况下，无线数据通信单元中包括了蓝牙模块以及其他无线模块，蓝牙模块与智能手表中的蓝牙无线传输模块通信，其他无线模块与无人机的对应无线通信模块通信。
无线传输模块203用于对智能手表端的无线数据收发进行管理，在收到控制报文后，将该控制报文通过无线链路发送给无人机。并且，该模块还用于接收无人机反馈的信号或其它飞行数据。
实施例三
图4是本发明一个实施例的智能手表端的工作流程示意图，参见图4，智能手表的一次控制过程包括如下步骤S41至步骤S46：
步骤S41，传感器采集数据；
通过传感器采集佩戴者的待识别特征数据，这里的传感器包括加速度传感器和角速度传感器(如陀螺仪)，通过三轴加速度传感器或三轴角速度传感器采集得到佩戴者的待识别三轴加速度数据序列或三轴角速度数据序列。
步骤S42，判断是否为手势数据，是则执行步骤S43，否则执行步骤S41；
具体的，以加速度传感器为例，当采集到三轴加速度数据信号后，统计加速度数据的幅值变化、方差等数据，因为真正的手势动作发生时，加速度的幅值和方差等都会有一定的变化范围，如果不在正常的范围内，则认为不是手势数据，不进行下面的处理步骤，并返回步骤S41。由于实际应用过程中佩戴者可能发生误操作或其它动作，所以需要判断采集的数据是否为手势数据，如果不是手势数据即可不进行下面的处理步骤结束流程，降低了计算量并保证了控制的准确性。
步骤S43，手势动作识别；
利用预先保存的手势动作模板，对当前的手势动作进行匹配，识别出当前的手势动作类型。具体的，以加速度传感器为例，通过步骤S42判断出是可能的手势动作后，对该三轴加速度数据信号先降低数据维数处理，降至一维，从而降低计算复杂度，减少噪声，然后再对一维的加速度信号提取特征生成测试特征序列，并和预先保存的手势动作模板中的手势动作序列进行匹配，确定出手势动作的类型。
步骤S44，查询保存的对应关系；
这里智能手表端在收到步骤S43确定的手势动作类型后，查询保存的相应手势动作与无人机控制命令间对应关系，从而找到与该手势动作匹配的无人机控制命令。
步骤S45，判断是否为有效手势动作；是则，执行步骤S46，否则执行步骤S41；
可选地，本实施例中还提供了判断是否为有效手势动作的步骤(即步骤S45)，以进一步保证手势动作控制的准确性。由于实际应用时，佩戴者可通过智能手表的交互界面上对手势动作与无人机控制命令的对应关系进行修改，这时可能出现基于手势动作模板识别出的手势动作中已经过时的情况，例如，在修改前，起飞这一控制命令对应的手势动作为顺时针画圆，在后续使用时，佩戴者将这一控制命令修改为顺时针画矩形。如果此时智能手表识别出用户当前的手势动作为顺时针画圆，则判断该手势动作为无效手势动作(即与当前保存的手势动作与无人机控制命令的对应关系不符合)。
步骤S46，生成控制报文并发送；
生成控制报文并无线发送至无人机，以使得无人机根据控制报文控制飞行状态。具体的，在得到无人机控制命令后，根据该无人机控制命令制作生成控制报文并将控制报文输出，至此完成了一次手势动作控制。然后返回重复步骤S41至步骤S46。
经过上述说明，本领域普通技术人员对智能手表端的的工作流程已经清楚了解，接下来对无人机端的功能结构进行描述。
实施例四
图5是本发明一个实施例的无人机端的结构框图，参见图5，无人机端50主要包括三个模块，分别是无线通信模块501、命令解析模块502、飞行控制模块503；无线通信模块501与可穿戴设备进行无线通信，接收可穿戴设备发送的控制报文，将控制报文发送至命令解析模块502；命令解析模块502对接收的控制报文进行解析，将解析得到的控制命令发送至飞行控制模块503；飞行控制模块503根据接收到控制命令控制无人机的飞行状态。
无人机端监听并收到智能手表端发送过来的控制报文后，解析出相应的控制命令，然后再控制无人机的相应参数，完成佩戴者的控制命令，并可以将相关的反馈信息无线发送给智能手表端。
无线通信模块401
无线通信模块401用于与智能手表间通信数据的接收和发送。该模块监听智能手表端的连接请求；建立与智能手表之间的蓝牙等无线数据链路，建立连接后，可以进一步接收其控制命令；以及接收智能手表端发送的控制报文，并交给飞行控制模块进行处理。此外，该模块还可以向智能手表端发送相关的反馈信息(如位置、参数等飞行数据)。
命令解析模块402
命令解析模块402主要负责对无线通信模块收到的控制报文进行解析和解码，获取数据包中的控制命令等信息。其中，控制命令可以有两种类型：改变飞行模式的命令和改变飞行状态的命令。该模块在解析出具体的控制命令后，将这些信息传输给飞行控制模块403做进一步处理。
飞行控制模块403
飞行控制模块403在收到智能手表端的控制命令后，根据控制命令对无人机的飞行模式或飞行状态进行调整。例如，根据接收的控制命令计算无人机相应飞行控制参数的目标值，并利用获取的无人机相应飞行控制参数的当前值，运行比例积分微分PID控制器生成控制信号，以调整无人机旋翼的转速进而实现对无人机飞行状态的控制。
本实施例中，该模块又可以细分为两个相互联系的子模块：航姿参考子模块和飞行控制处理子模块：两个子模块分别完成航姿信息采集和飞行控制处理功能。航姿参考子模块主要负责实时从无人机上的传感器采集数据，运行滤波算法解算出无人机当前的姿态、位置、速率等信息，并将这些信息传递给飞行控制处理子模块。
飞行控制处理子模块实时接收来自智能手表端的控制命令后，解算并设定无人机相应飞行控制参数(如滚转角、俯仰角、航向角、角速率)需要达到值(目标值)，并根据航姿参考子模块反馈的实际信息(当前值)，运行PID(ProportionIntegrationDifferentiation，比例积分微分)等控制器，计算出输出给各电机的控制信号，并以PWM(PulseWidthModulation，脉冲宽度调制)信号的形式发送给驱动电路来驱动电机转动，以调整无人机旋翼的转速进而实现对无人机的控制。
并且，飞行控制模块403通过无线通信模块401将反馈信息(如，当前的飞行状态)发送回智能手表端。
实施例五
图6是本发明一个实施例无人机端的控制流程图，如图6所示。无人机控制端的的一次控制的工作流程如下步骤S61至步骤S66。
步骤S61，监听连接请求并接收智能手表端的控制报文；
具体的，无人机建立与智能手表端之间的BLE等无线连接，并监听连接状态，连接建立后接收智能手表端发送来的控制报文。
步骤S62，解析获得无人机控制命令；
对控制报文进行解析，得到具体的无人机控制命令。
步骤S63，判断控制命令是否为改变飞行模式，是则，执行步骤S64，否则，执行步骤S65；
实际应用过程中，可将无人机控制命令分为两类，一是改变飞行模式的控制命令另一类是飞行控制命令。当无人机端接收到一个控制命令后，先判断该控制命令是否为飞行模式命令，这里的飞行模式，如起飞飞行模式、降落飞行模式。如果不是改变飞行模式的控制命令则为进行飞行控制的控制命令。
步骤S64，设置相应飞行模式；
无人机根据控制命令中解析得到的信息，调整相应的飞行控制参数以完成控制命令。
步骤S65，进行飞行控制；
根据控制命令进行飞行控制，如控制命令指示升高，则无人机接收并解析得到这一控制命令后，调整无人机相应方向的旋翼的旋转速度，进而控制无人机完成升高操作。
步骤S66，向智能手表端发送反馈信息。
在执行完成后，无人机将执行结果(如当前无人机升高的高度、位置、飞行状态)，反馈给智能手表端，使得智能手表端可以显示输出反馈信息，以实时监测无人机的状态，并做出相应的控制。
经过上述过程，无人机实现了根据智能手表的手势动作执行相应控制操作，从而避免了携带和操作遥控器、PC等控制设备的繁琐，方便了用户对无人机的控制操作。
实施例六
图7是本发明一个实施例的可穿戴设备控制无人机的实现方法的流程图；可穿戴设备中设置有传感器，该方法包括：
步骤S71，通过传感器采集佩戴者的待识别特征数据，识别出佩戴者当前的手势动作；
步骤S72，利用预先配置并保存的相应手势动作与无人机控制命令间的对应关系，找到当前手势动作对应的无人机控制命令后进行编码并生成符合无人机通信协议的控制报文；
步骤S73，将生成的控制报文无线发送至无人机，以使得无人机根据控制报文控制飞行状态。
在本实施例中，智能手表与无人机之间可以有两种无线连接方式：1)智能手表通过BLE直接与无人机对应的蓝牙接收模块建立连接，将生成的控制报文无线发送至无人机。该种连接方式简单，但通信距离有限；
2)智能手表通过BLE与外置的无线数据通信单元建立连接，同时该无线数据通信单元与无人机端的无线通信模块建立连接将生成的控制报文无线发送至无人机。该种连接方式可以支持较远的通信距离。
本实施例中，利用可穿戴设备控制无人机的实现方法包括：首先，按照上述两种方式，智能手表与无人机之间建立无线连接。然后，在智能手表开启手势控制模式后，利用智能手表中MEMS传感器获取三维加速度数据，采用预设算法识别用户执行的具体手势动作，并发出手势动作对应的控制命令给无人机。最后，无人机的飞行控制模块根据所接收的手势控制命令，改变飞行模式或者调整相应的飞行参数。
为了满足智能手表对资源和功耗的要求，本实施例采用PCA(主成分分析)等算法降低数据维数。通过采用主成分分析法，可以根据计算过程中的特征值大小来决定各独立成分的重要性。并选择最重要的成分，将原始加速度信号降至一维，在降低计算复杂度的同时，可以去除一部分噪声，并降低对用户执行手势时的姿态要求。然后再对降维后的数据进一步执行识别算法(模板匹配或机器学习等算法)，在降低计算复杂度的同时实现准确的手势识别。
要实现智能手表对无人机进行控制，在初次使用之前，通过如下方式建立相应手势动作与无人机控制命令间的对应关系：接收佩戴者在可穿戴设备的交互界面呈现的无人机控制命令列表中选择的控制命令，并建立佩戴者选中的控制命令与相应手势动作间的对应关系；或者，接收佩戴者的解除指令，解除无人机的控制命令与相应手势动作间的对应关系；其中，相应手势动作包括：默认手势动作和自选手势动作。
例如，在地面控制站的配置界面中，对于改变飞行模式的控制命令或者改变飞行状态的控制命令，接收佩戴者输入的自定义手势动作，或采用默认的手势动作，并与无人机的不同控制命令相关联。在实际控制时，佩戴通过智能手表执行不同的手势动作，即可发出相应的控制命令给无人机，再由无人机的飞行控制模块根据控制命令进一步控制无人机的飞行模式或位姿状态。
需要说明的是，本发明实施例中的可穿戴设备控制无人机的实现方法的其他步骤可以参见本发明前述可穿戴设备的工作过程中的相关描述，这里不再赘述。
实施例七
图8是本发明另一个实施例的可穿戴设备控制无人机的实现方法的流程图，该可穿戴设备控制无人机的实现方法包括：
步骤S81，监听可穿戴设备的连接请求，与可穿戴设备建立无线通信，接收可穿戴设备发送的控制报文；
步骤S82，对控制报文进行解析得到无人机控制命令；
步骤S83，根据无人机控制命令控制无人机的飞行状态。
需要说明的是，本发明实施例中的可穿戴设备控制无人机的实现方法的其他步骤可以参见本发明前述无人机控制装置的工作过程中的相关说明，这里不再赘述。
综上可知，本发明实施例的可穿戴设备中运行地面控制站，并通过内置的传感器采集佩戴者的手势动作，这样用户通过随身佩戴的智能手表可穿戴设备，执行一定的手势动作就可对无人机进行方便直观的控制，不需要携带地面控制站或遥控器等其它设备，而且避免了通过其它设备相对繁琐的控制方式。这种基于传感器的手势识别方式灵活可靠，不受环境、光线的影响，系统实现简单。
另外，可穿戴设备一般都会长期戴在用户身上，用户随时可以通过执行一定的手势动作就可发出不同的控制命令，可以更便捷直观地实现人与无人机之间的交互，与无人机传统控制方式相比，大大增强了用户体验。
而且，本发明实施例对手势动作识别算法进行了改进，通过采用PCA将原始待识别特征数据降至一维，而通常的方法基本都是在三维数据上分别进行操作，因此本发明大大降低了计算复杂度，节省了通过可穿戴设备控制无人机时的功耗；由于三维数据变成了一维，也大大降低对用户执行手势时的姿态要求，可以相对随意地执行手势，提高了可穿戴设备的竞争力。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种可穿戴设备，其特征在于，该可穿戴设备包括：手势配置识别模块、地面控制站模块和无线传输模块；
所述手势配置识别模块，用于通过传感器采集得到佩戴者的待识别特征数据，识别出佩戴者当前的手势动作，查找预先配置并保存的手势动作与无人机控制命令间的对应关系，将该手势动作对应的无人机控制命令发送给所述地面控制站模块；
所述地面控制站模块，用于通过与所述手势配置识别模块之间的数据接口接收所述无人机控制命令，对无人机控制命令进行编码并转换为符合无人机通信协议的控制报文，将所述控制报文发送给所述无线传输模块；
所述无线传输模块，用于接收所述控制报文并将所述控制报文无线发送至无人机以实现根据所述控制报文控制无人机的飞行状态。
2.根据权利要求1所述的可穿戴设备，其特征在于，所述手势配置识别模块中设置有默认手势动作，所述手势配置识别模块，建立默认手势动作与无人机控制命令间的对应关系后保存；
或者，所述手势配置识别模块，识别佩戴者通过可穿戴设备的交互界面输入的自选手势动作，并建立自选手势动作与无人机控制命令间的对应关系后保存。
3.根据权利要求2所述的可穿戴设备，其特征在于，所述手势配置识别模块具体通过如下方式建立默认手势动作与无人机控制命令间的对应关系：
将从上到下方向的画第一折线的手势动作和从下到上方向的画第一折线的手势动作分别对应于无人机的降落控制命令和起飞控制命令；
将顺时针方向的画矩形的手势动作和逆时针方向的画矩形的手势动作分别对应于无人机的右转控制命令和左转控制命令；
将从上到下方向的画第二折线的手势动作和从下到上方向的画第二折线的手势动作分别对应于无人机的升高控制命令和降低控制命令；
将顺时针方向的画三角形的手势动作对应于无人机的悬停控制命令。
4.根据权利要求1-3任一项所述的可穿戴设备，其特征在于，所述手势配置识别模块，具体用于通过三轴加速度传感器或三轴角速度传感器采集得到佩戴者的待识别三轴加速度数据序列或三轴角速度数据序列；
利用主成分分析对所述三轴加速度数据序列或三轴角速度数据序列进行特征提取，降低所述三轴加速度数据序列或三轴角速度数据序列的数据维数至一维；
将降维后的一维加速度数据序列或一维角速度数据序列与对应的模板特征数据序列进行比较，以识别出佩戴者当前的手势动作；
其中，所述模板特征数据序列包括加速度模板数据序列和角速度模板数据序列，且加速度模板数据序列的数据维数和角速度模板数据序列的数据维数也为一维。
5.根据权利要求1所述的可穿戴设备，其特征在于，该可穿戴设备还包括：模式控制模块，用于接收外部输入的指令或者检测可穿戴设备当前的电量，并在外部输入的指令指示开启手势控制或当前的电量满足开启手势控制的条件时，通知所述手势配置识别模块通过传感器采集得到佩戴者的待识别特征数据。
6.根据权利要求1所述的可穿戴设备，其特征在于，所述地面控制站模块，提供与所述可穿戴设备屏幕尺寸和操作系统相适配的用户交互界面，并通过所述用户交互界面显示从所述无线传输模块获取的无人机返回的飞行数据；以及接收用户通过所述用户交互界面设定的飞行任务、飞行模式、飞行数据。
7.根据权利要求1所述的可穿戴设备，其特征在于，所述无线传输模块为蓝牙无线传输模块；
所述蓝牙无线传输模块与无人机的蓝牙通信模块建立连接，并通过蓝牙通信方式将所述控制报文发送至无人机；
或者，所述蓝牙无线传输模块与可穿戴设备外置的无线数据通信单元建立连接，经该无线数据通信单元与无人机的无线通信模块通信，以将所述控制报文发送至无人机。
8.一种无人机控制装置，其特征在于，该无人机控制装置包括：无线通信模块，命令解析模块和飞行控制模块：
所述无线通信模块，用于与可穿戴设备进行无线通信，接收可穿戴设备发送的控制报文，将所述控制报文发送至所述命令解析模块；
所述命令解析模块，用于对接收的控制报文进行解析，将解析得到的控制命令发送至所述飞行控制模块；
所述飞行控制模块，用于根据接收到控制命令控制无人机的飞行状态。
9.根据权利要求8所述的无人机控制装置，其特征在于，
所述飞行控制模块，具体用于根据接收的控制命令计算无人机相应飞行控制参数的目标值，并利用获取的无人机相应飞行控制参数的当前值，运行比例积分微分PID控制器生成控制信号，以调整无人机旋翼的转速进而实现对无人机飞行状态的控制。
10.一种可穿戴设备控制无人机的实现方法，其特征在于，所述可穿戴设备中设置有传感器，该方法包括：
通过传感器采集佩戴者的待识别特征数据，识别出佩戴者当前的手势动作；
利用预先配置并保存的相应手势动作与无人机控制命令间的对应关系，找到当前手势动作对应的无人机控制命令后进行编码并生成符合无人机通信协议的控制报文；
将生成的控制报文无线发送至无人机，以使得无人机根据所述控制报文控制飞行状态。
11.根据权利要求10所述的方法，其特征在于，该方法还包括：通过如下方式建立相应手势动作与无人机控制命令间的对应关系：
接收佩戴者在可穿戴设备的交互界面呈现的无人机控制命令列表中选择的控制命令，并建立佩戴者选中的控制命令与相应手势动作间的对应关系；或者，接收佩戴者的解除指令，解除无人机的控制命令与相应手势动作间的对应关系；
其中，所述相应手势动作包括：默认手势动作和自选手势动作。
12.一种可穿戴设备控制无人机的实现方法，其特征在于，该方法包括：
监听可穿戴设备的连接请求，与所述可穿戴设备建立无线通信，接收所述可穿戴设备发送的控制报文；
对所述控制报文进行解析得到无人机控制命令；
根据所述无人机控制命令控制无人机的飞行状态。
CN201610153736.1A 2016-03-17 2016-03-17 一种可穿戴设备、无人机控制装置和控制实现方法 Pending CN105676860A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610153736.1A CN105676860A (zh) 2016-03-17 2016-03-17 一种可穿戴设备、无人机控制装置和控制实现方法
PCT/CN2017/076902 WO2017157313A1 (zh) 2016-03-17 2017-03-16 一种可穿戴设备、无人机控制装置和控制实现方法
US16/079,100 US11067977B2 (en) 2016-03-17 2017-03-16 Wearable device, apparatus for controlling unmanned aerial vehicle and method for realizing controlling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610153736.1A CN105676860A (zh) 2016-03-17 2016-03-17 一种可穿戴设备、无人机控制装置和控制实现方法

Publications (1)

Publication Number Publication Date
CN105676860A true CN105676860A (zh) 2016-06-15

Family

ID=56310708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610153736.1A Pending CN105676860A (zh) 2016-03-17 2016-03-17 一种可穿戴设备、无人机控制装置和控制实现方法

Country Status (3)

Country Link
US (1) US11067977B2 (zh)
CN (1) CN105676860A (zh)
WO (1) WO2017157313A1 (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955306A (zh) * 2016-07-20 2016-09-21 西安中科比奇创新科技有限责任公司 可穿戴设备、基于可穿戴设备的无人机控制方法及系统
CN106127146A (zh) * 2016-06-22 2016-11-16 电子科技大学 一种基于手势识别的无人机航迹指引方法
CN106155090A (zh) * 2016-08-29 2016-11-23 电子科技大学 基于体感的可穿戴无人机控制设备
CN106292710A (zh) * 2016-10-20 2017-01-04 西北工业大学 基于Kinect传感器的四旋翼无人机控制方法
CN106406350A (zh) * 2016-10-28 2017-02-15 易瓦特科技股份公司 一种控制无人机的方法和系统
CN106444843A (zh) * 2016-12-07 2017-02-22 北京奇虎科技有限公司 无人机相对方位控制方法及装置
CN106598075A (zh) * 2016-07-21 2017-04-26 深圳曼塔智能科技有限公司 一种基于发光目标识别的无人机跟踪控制系统及方法
CN106647788A (zh) * 2016-12-01 2017-05-10 北京奇虎科技有限公司 无人机飞行控制方法及装置
CN106681354A (zh) * 2016-12-02 2017-05-17 广州亿航智能技术有限公司 无人机的飞行控制方法和装置
CN107077270A (zh) * 2016-09-27 2017-08-18 深圳市大疆创新科技有限公司 控制方法、控制装置及电子装置
WO2017157313A1 (zh) * 2016-03-17 2017-09-21 歌尔股份有限公司 一种可穿戴设备、无人机控制装置和控制实现方法
CN107239728A (zh) * 2017-01-04 2017-10-10 北京深鉴智能科技有限公司 基于深度学习姿态估计的无人机交互装置与方法
CN107831791A (zh) * 2017-11-17 2018-03-23 南方科技大学 一种无人机的操控方法、装置、操控设备及存储介质
WO2018072155A1 (zh) * 2016-10-19 2018-04-26 深圳市大疆创新科技有限公司 一种用于控制无人机的穿戴式设备及无人机系统
CN108196557A (zh) * 2017-12-29 2018-06-22 易瓦特科技股份公司 无人机的控制方法及装置
CN108255297A (zh) * 2017-12-29 2018-07-06 青岛真时科技有限公司 一种可穿戴设备应用控制方法和装置
CN108466263A (zh) * 2018-01-29 2018-08-31 青岛真时科技有限公司 一种机器人控制方法和装置
CN108496141A (zh) * 2017-06-30 2018-09-04 深圳市大疆创新科技有限公司 控制可移动设备跟随的方法、控制设备和跟随系统
WO2018176426A1 (zh) * 2017-03-31 2018-10-04 深圳市大疆创新科技有限公司 一种无人机的飞行控制方法及无人机
WO2018187918A1 (zh) * 2017-04-10 2018-10-18 深圳市大疆创新科技有限公司 控制方法、飞行器控制系统和旋翼飞行器
CN108769531A (zh) * 2018-06-21 2018-11-06 深圳市道通智能航空技术有限公司 控制拍摄装置的拍摄角度的方法、控制装置及可穿戴设备
CN108835738A (zh) * 2018-06-26 2018-11-20 四川大学 基于激光测距的导盲手套
CN108885466A (zh) * 2017-11-22 2018-11-23 深圳市大疆创新科技有限公司 一种控制参数配置方法及无人机
WO2018227372A1 (zh) * 2017-06-13 2018-12-20 深圳市伊特利网络科技有限公司 终端定位的无人机控制方法及系统
CN109270954A (zh) * 2018-10-30 2019-01-25 西南科技大学 一种基于姿态识别的无人机交互系统及其控制方法
CN109286919A (zh) * 2017-07-20 2019-01-29 展讯通信（上海）有限公司 Ble设备及其数据包接收方法、计算机可读存储介质
CN109409233A (zh) * 2018-09-27 2019-03-01 普宙飞行器科技（深圳）有限公司 动作识别装置、动作识别方法以及无人机
CN109521784A (zh) * 2018-12-13 2019-03-26 华南农业大学 一种触觉感知式可穿戴上肢外骨骼无人机控制系统及方法
CN110154030A (zh) * 2019-06-13 2019-08-23 哈尔滨玄智科技有限公司 一种机器人控制方法、机器人及控制终端
CN110291363A (zh) * 2018-04-26 2019-09-27 深圳市大疆创新科技有限公司 可移动平台的导航传感器检测的方法及相关设备
CN110412996A (zh) * 2019-06-18 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于手势和眼动的无人机操控方法、装置和系统
CN110657386A (zh) * 2019-10-12 2020-01-07 上海理工大学 一种降低无线控制延时的智能舞台莲花艺术灯具
CN111297366A (zh) * 2018-12-12 2020-06-19 中国科学院软件研究所 基于日常生活用品的辅助疾病诊断的数据处理方法和诊断装置
CN112379689A (zh) * 2020-11-03 2021-02-19 嘉应学院 一种用于无人机升降时的安全预警方法及装置
CN114714358A (zh) * 2022-04-18 2022-07-08 山东大学 基于手势协议遥操作机械臂方法及系统
CN115884149A (zh) * 2023-01-17 2023-03-31 南京开天眼无人机科技有限公司 一种控制方法、智能穿戴终端、无人机、交互及救援系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10739990B1 (en) * 2016-12-18 2020-08-11 Leonid Despotuli Gesture-based mobile device user interface
US10969777B2 (en) * 2017-06-23 2021-04-06 Qualcomm Incorporated Local drone identification verification
JP2019041543A (ja) * 2017-08-28 2019-03-14 株式会社東芝 モータ駆動制御装置
CN107565989B (zh) * 2017-09-28 2020-07-10 歌尔股份有限公司 一种无人机宽频天线复用方法及装置
US11771283B2 (en) * 2017-12-06 2023-10-03 BISSELL , Inc. Method and system for manual control of autonomous floor cleaner
US10819795B2 (en) * 2018-04-26 2020-10-27 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Transmitting principal components of sensor data that are responsive to a continuous query
GB2574886A (en) 2018-06-22 2019-12-25 Ecole Polytechnique Fed Lausanne Epfl Teleoperation with a wearable sensor system
KR102032067B1 (ko) * 2018-12-05 2019-10-14 세종대학교산학협력단 강화학습 기반 무인 항공기 원격 제어 방법 및 장치
US11455336B2 (en) 2019-03-21 2022-09-27 Performance Drone Works Llc Quadcopter hardware characterization and simulation
US11409291B2 (en) * 2019-03-21 2022-08-09 Performance Drone Works Llc Modular autonomous drone
US11721235B2 (en) * 2019-03-21 2023-08-08 Performance Drone Works Llc Quadcopter sensor noise and camera noise recording and simulation
US11312506B2 (en) 2019-03-21 2022-04-26 Performance Drone Works Llc Autonomous quadcopter piloting controller and debugger
CN110096159A (zh) * 2019-06-11 2019-08-06 四川铁投信息技术产业投资有限公司 一种手势控制的显示系统
CN110688014B (zh) * 2019-10-11 2022-11-22 长安大学 一种用于设备巡检的多功能手势控制可穿戴装置
CN112085052A (zh) * 2020-07-28 2020-12-15 中国科学院深圳先进技术研究院 运动想象分类模型的训练方法、运动想象方法及相关设备
US20220132352A1 (en) * 2020-10-23 2022-04-28 Vubiq Networks, Inc. Api driven remote radiofrequency front end device and methods of use thereof
CN113377129B (zh) * 2021-08-13 2021-11-16 四川腾盾科技有限公司 一种两个地面站协同控制一架无人机的方法
CN114035689A (zh) * 2021-11-26 2022-02-11 朱芳程 一种基于人工智能的可追随飞行人机交互系统和方法
US20230280741A1 (en) * 2022-03-01 2023-09-07 Logistics and Supply Chain MultiTech R&D Centre Limited Wearable Remote Control Device And Tracking System

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104639966A (zh) * 2015-01-29 2015-05-20 小米科技有限责任公司 遥控方法及装置
WO2015103563A1 (en) * 2014-01-05 2015-07-09 Vorbeck Materials Wearable electronic devices
CN104834249A (zh) * 2015-03-16 2015-08-12 张时勉 穿戴式远程控制器
CN104950902A (zh) * 2015-06-10 2015-09-30 杨珊珊 多旋翼飞行器的控制方法及多旋翼飞行器
CN204808575U (zh) * 2015-07-17 2015-11-25 深圳市浩瀚卓越科技有限公司 一种带姿态感应的蓝牙智能控制系统
CN105184325A (zh) * 2015-09-23 2015-12-23 歌尔声学股份有限公司 一种人体动作识别方法和移动智能终端
CN105185083A (zh) * 2015-09-21 2015-12-23 深圳飞豹航天航空科技有限公司 可控制移动设备做跟随的智能设备及系统
CN105302021A (zh) * 2015-10-23 2016-02-03 哈尔滨工业大学 人机协作再制造中控制机器人运动的穿戴式手势控制装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
US9170117B1 (en) * 2014-08-21 2015-10-27 International Business Machines Corporation Unmanned aerial vehicle navigation assistance
CN112908042A (zh) * 2015-03-31 2021-06-04 深圳市大疆创新科技有限公司 用于操作无人飞行器的系统和遥控器
CN104808799A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种能够识别手势的无人机及其识别方法
CN105242779B (zh) * 2015-09-23 2018-09-04 歌尔股份有限公司 一种识别用户动作的方法和移动智能终端
CN105676860A (zh) * 2016-03-17 2016-06-15 歌尔声学股份有限公司 一种可穿戴设备、无人机控制装置和控制实现方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015103563A1 (en) * 2014-01-05 2015-07-09 Vorbeck Materials Wearable electronic devices
CN104639966A (zh) * 2015-01-29 2015-05-20 小米科技有限责任公司 遥控方法及装置
CN104834249A (zh) * 2015-03-16 2015-08-12 张时勉 穿戴式远程控制器
CN104950902A (zh) * 2015-06-10 2015-09-30 杨珊珊 多旋翼飞行器的控制方法及多旋翼飞行器
CN204808575U (zh) * 2015-07-17 2015-11-25 深圳市浩瀚卓越科技有限公司 一种带姿态感应的蓝牙智能控制系统
CN105185083A (zh) * 2015-09-21 2015-12-23 深圳飞豹航天航空科技有限公司 可控制移动设备做跟随的智能设备及系统
CN105184325A (zh) * 2015-09-23 2015-12-23 歌尔声学股份有限公司 一种人体动作识别方法和移动智能终端
CN105302021A (zh) * 2015-10-23 2016-02-03 哈尔滨工业大学 人机协作再制造中控制机器人运动的穿戴式手势控制装置

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11067977B2 (en) 2016-03-17 2021-07-20 Goertek Inc. Wearable device, apparatus for controlling unmanned aerial vehicle and method for realizing controlling
WO2017157313A1 (zh) * 2016-03-17 2017-09-21 歌尔股份有限公司 一种可穿戴设备、无人机控制装置和控制实现方法
CN106127146A (zh) * 2016-06-22 2016-11-16 电子科技大学 一种基于手势识别的无人机航迹指引方法
CN105955306A (zh) * 2016-07-20 2016-09-21 西安中科比奇创新科技有限责任公司 可穿戴设备、基于可穿戴设备的无人机控制方法及系统
CN106598075A (zh) * 2016-07-21 2017-04-26 深圳曼塔智能科技有限公司 一种基于发光目标识别的无人机跟踪控制系统及方法
CN106155090A (zh) * 2016-08-29 2016-11-23 电子科技大学 基于体感的可穿戴无人机控制设备
CN106155090B (zh) * 2016-08-29 2019-04-19 电子科技大学 基于体感的可穿戴无人机控制设备
CN107077270A (zh) * 2016-09-27 2017-08-18 深圳市大疆创新科技有限公司 控制方法、控制装置及电子装置
WO2018072155A1 (zh) * 2016-10-19 2018-04-26 深圳市大疆创新科技有限公司 一种用于控制无人机的穿戴式设备及无人机系统
CN106292710A (zh) * 2016-10-20 2017-01-04 西北工业大学 基于Kinect传感器的四旋翼无人机控制方法
CN106292710B (zh) * 2016-10-20 2019-02-01 西北工业大学 基于Kinect传感器的四旋翼无人机控制方法
CN106406350A (zh) * 2016-10-28 2017-02-15 易瓦特科技股份公司 一种控制无人机的方法和系统
CN106647788A (zh) * 2016-12-01 2017-05-10 北京奇虎科技有限公司 无人机飞行控制方法及装置
CN106647788B (zh) * 2016-12-01 2019-08-27 北京奇虎科技有限公司 无人机飞行控制方法及装置
CN106681354A (zh) * 2016-12-02 2017-05-17 广州亿航智能技术有限公司 无人机的飞行控制方法和装置
WO2018103689A1 (zh) * 2016-12-07 2018-06-14 北京奇虎科技有限公司 无人机相对方位控制方法及装置
CN106444843A (zh) * 2016-12-07 2017-02-22 北京奇虎科技有限公司 无人机相对方位控制方法及装置
CN107239728A (zh) * 2017-01-04 2017-10-10 北京深鉴智能科技有限公司 基于深度学习姿态估计的无人机交互装置与方法
WO2018176426A1 (zh) * 2017-03-31 2018-10-04 深圳市大疆创新科技有限公司 一种无人机的飞行控制方法及无人机
WO2018187918A1 (zh) * 2017-04-10 2018-10-18 深圳市大疆创新科技有限公司 控制方法、飞行器控制系统和旋翼飞行器
WO2018227372A1 (zh) * 2017-06-13 2018-12-20 深圳市伊特利网络科技有限公司 终端定位的无人机控制方法及系统
CN108496141A (zh) * 2017-06-30 2018-09-04 深圳市大疆创新科技有限公司 控制可移动设备跟随的方法、控制设备和跟随系统
CN108496141B (zh) * 2017-06-30 2021-11-12 深圳市大疆创新科技有限公司 控制可移动设备跟随的方法、控制设备和跟随系统
CN109286919A (zh) * 2017-07-20 2019-01-29 展讯通信（上海）有限公司 Ble设备及其数据包接收方法、计算机可读存储介质
CN107831791A (zh) * 2017-11-17 2018-03-23 南方科技大学 一种无人机的操控方法、装置、操控设备及存储介质
CN107831791B (zh) * 2017-11-17 2020-12-15 深圳意动航空科技有限公司 一种无人机的操控方法、装置、操控设备及存储介质
CN108885466A (zh) * 2017-11-22 2018-11-23 深圳市大疆创新科技有限公司 一种控制参数配置方法及无人机
CN108196557A (zh) * 2017-12-29 2018-06-22 易瓦特科技股份公司 无人机的控制方法及装置
CN108196557B (zh) * 2017-12-29 2021-07-09 易瓦特科技股份公司 无人机的控制方法及装置
CN108255297A (zh) * 2017-12-29 2018-07-06 青岛真时科技有限公司 一种可穿戴设备应用控制方法和装置
CN108466263A (zh) * 2018-01-29 2018-08-31 青岛真时科技有限公司 一种机器人控制方法和装置
CN110291363A (zh) * 2018-04-26 2019-09-27 深圳市大疆创新科技有限公司 可移动平台的导航传感器检测的方法及相关设备
CN108769531B (zh) * 2018-06-21 2020-10-23 深圳市道通智能航空技术有限公司 控制拍摄装置的拍摄角度的方法、控制装置及遥控器
CN108769531A (zh) * 2018-06-21 2018-11-06 深圳市道通智能航空技术有限公司 控制拍摄装置的拍摄角度的方法、控制装置及可穿戴设备
CN108835738A (zh) * 2018-06-26 2018-11-20 四川大学 基于激光测距的导盲手套
CN109409233A (zh) * 2018-09-27 2019-03-01 普宙飞行器科技（深圳）有限公司 动作识别装置、动作识别方法以及无人机
CN109270954A (zh) * 2018-10-30 2019-01-25 西南科技大学 一种基于姿态识别的无人机交互系统及其控制方法
CN111297366B (zh) * 2018-12-12 2021-07-06 中国科学院软件研究所 基于日常生活用品的辅助疾病诊断的数据处理方法和诊断装置
CN111297366A (zh) * 2018-12-12 2020-06-19 中国科学院软件研究所 基于日常生活用品的辅助疾病诊断的数据处理方法和诊断装置
CN109521784B (zh) * 2018-12-13 2021-05-11 华南农业大学 一种触觉感知式可穿戴上肢外骨骼无人机控制系统及方法
CN109521784A (zh) * 2018-12-13 2019-03-26 华南农业大学 一种触觉感知式可穿戴上肢外骨骼无人机控制系统及方法
CN110154030A (zh) * 2019-06-13 2019-08-23 哈尔滨玄智科技有限公司 一种机器人控制方法、机器人及控制终端
CN110412996A (zh) * 2019-06-18 2019-11-05 中国人民解放军军事科学院国防科技创新研究院 一种基于手势和眼动的无人机操控方法、装置和系统
CN110657386A (zh) * 2019-10-12 2020-01-07 上海理工大学 一种降低无线控制延时的智能舞台莲花艺术灯具
CN112379689A (zh) * 2020-11-03 2021-02-19 嘉应学院 一种用于无人机升降时的安全预警方法及装置
CN114714358A (zh) * 2022-04-18 2022-07-08 山东大学 基于手势协议遥操作机械臂方法及系统
CN115884149A (zh) * 2023-01-17 2023-03-31 南京开天眼无人机科技有限公司 一种控制方法、智能穿戴终端、无人机、交互及救援系统

Also Published As

Publication number Publication date
WO2017157313A1 (zh) 2017-09-21
US11067977B2 (en) 2021-07-20
US20190056725A1 (en) 2019-02-21

Similar Documents

Publication Publication Date Title
CN105676860A (zh) 一种可穿戴设备、无人机控制装置和控制实现方法
CN110308753B (zh) 一种智能农业机器人云控制系统及方法
CN104995575B (zh) 一种数据处理方法、装置及飞行器
KR20170109999A (ko) 인공 지능을 기반으로 하는 로봇 디버깅 시스템
CN103901889A (zh) 一种基于蓝牙通信的多机器人编队控制路径跟踪方法
CN105620731B (zh) 一种无人机控制方法及无人机控制系统
CN105955306A (zh) 可穿戴设备、基于可穿戴设备的无人机控制方法及系统
CN103428552B (zh) 遥控器空中鼠标的实现方法
CN106020234A (zh) 一种无人机飞行控制的方法、装置及设备
CN104794214A (zh) 一种设计大数据驱动云机器人的方法
CN205121351U (zh) 一种用于控制无人机的智能眼镜及系统
CN105843245A (zh) 无人机控制系统及控制方法
WO2021088684A1 (zh) 全向避障方法及无人飞行器
CN113253750B (zh) 一种面向扑翼飞行器的多模态控制系统
CN109933191A (zh) 手势识别和控制方法及其系统
CN207718231U (zh) 一种手势识别遥控无人机
CN110045750A (zh) 一种基于四旋翼无人机的室内场景构建系统及其实现方法
CN108196534A (zh) 一种多旋翼无人机控制端、飞控系统及控制方法
CN207282003U (zh) 无人机的智能控制手环及无人机系统
WO2017173502A1 (en) Aerial devices, rotor assemblies for aerial devices, and device frameworks and methodologies configured to enable control of aerial devices
CN111061298B (zh) 飞行控制方法及装置、无人机
CN205353764U (zh) 一种体感六轴飞行器
WO2023193611A1 (zh) 无人飞行器及其控制方法、装置、系统
CN106292547B (zh) 一种机器人扩展方法及装置
CN205017461U (zh) 远程第一视角视频监控控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Applicant after: Goertek Inc.

Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Applicant before: Goertek Inc.

COR Change of bibliographic data
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160615