CN107667321B - 无人机控制设备和方法 - Google Patents

无人机控制设备和方法 Download PDF

Info

Publication number
CN107667321B
CN107667321B CN201680027270.9A CN201680027270A CN107667321B CN 107667321 B CN107667321 B CN 107667321B CN 201680027270 A CN201680027270 A CN 201680027270A CN 107667321 B CN107667321 B CN 107667321B
Authority
CN
China
Prior art keywords
drone
flight
flight path
command
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680027270.9A
Other languages
English (en)
Other versions
CN107667321A (zh
Inventor
J·艾坎戴姆
G·J·安德森
L·M·德拉姆
R·T·贝克维斯
G·拉法
J·舍曼
K·袁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107667321A publication Critical patent/CN107667321A/zh
Application granted granted Critical
Publication of CN107667321B publication Critical patent/CN107667321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/04—Initiating means actuated personally
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/24—Transmitting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在各实施例中，描述了如下装置、方法和存储介质(瞬态和非瞬态)：接收来自一个或多个传感器设备的描绘三维空间中的用户姿势的传感器数据；至少部分地基于所述传感器数据来确定飞行路径；以及将所述飞行路径存储在存储器中以供用于控制无人机的操作。可描述并且/或者要求保护其他实施例。

Description

无人机控制设备和方法
相关申请
本申请要求2015年6月11日提交的题为“DRONE CONTROLLING DEVICE AND METHOD(无人机控制设备和方法)”的美国专利申请14/737,322的优先权。
技术领域
本公开涉及远程或自主交通工具领域，尤其涉及无人机控制装置和方法。
背景技术
本文中所提供的背景描述用于总地呈现本公开的上下文的目的。除非在本文中另有指示，本部分中描述的材料不是本申请中的权利要求的现有技术，并且不因为包含在本部分中而被承认为现有技术。
消费者无人机被用于许多情境中，诸如消遣、监督、环境监测、以及科学研究。大多数消费者无人机通常使用可类似于游戏控制器、传统操纵杆、或仅仅智能电话或平板控制设备上的2D用户界面的控制器来控制。这些类型的控制器具有限制并且可能不适用于其中多个无人机可被选择来控制、需要使用加速度变化的控制、或者需要重复复杂图案的系统。
附图说明
通过下列具体实施方式结合附图，将容易理解实施例。为了便于该描述，相同的附图标记指示相同的结构元件。在附图中，通过示例而非限制地说明实施例。
图1是根据各实施例的包括具有本公开的无人机控制技术的无人机系统的无人机环境的框图。
图2是根据各实施例的使用无人机的无人机训练姿势以及对应无人机飞行路径的示图。
图3是根据各实施例的使用移动通信设备的无人机训练姿势以及对应无人机飞行路径的示图。
图4是根据各实施例的模仿物体的移动路径的无人机飞行路径的示图。
图5是根据各实施例的可被实现在本文描述的各种计算设备上的训练和控制无人机的示例过程的流程图。
图6是根据各实施例的可被实现在本文描述的各种计算设备上的训练和控制无人机的另一示例过程的流程图。
图7解说了根据各实施例的适用于实施本公开的各方面的示例计算环境。
图8解说了根据各实施例的具有指令的示例存储介质，该指令被配置成使得一装置能够实施本公开的各方面。
具体实施方式
在以下详细描述中，参考形成本文一部分的附图，其中相同的标记指示全文中相同的部分，并且其中通过说明示出了可以实现的实施例。应理解，可利用其它实施例并作出结构或逻辑改变而不背离本公开的范围。因此，以下详细描述不旨在作为限制，并且实施例的范围由所附权利要求及其等效方案来限定。
可以按在理解要求保护的主题中最有帮助的方式轮流将各操作描述为多个分立动作或操作。然而，不应将描述的顺序解释为意味着这些操作必然取决于顺序。具体而言，可以不按照呈现的顺序执行这些操作。可以以不同于描述的实施例的顺序执行描述的操作。在附加的实施例中，可以执行各种附加操作和/或可以省略描述的操作。
对于本公开的目的，短语“A和/或B”意思是(A)、(B)或(A和B)。对于本公开的目的，短语“A、B和/或C”意思是(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。
说明书可使用短语“在一个实施例中”或“在多个实施例中”，其每一个可指代相同或不同实施例中的一个或多个。此外，相对于本公开的实施例使用的术语“包含”、“包括”、“具有”等同义。
如本文中所使用的那样，术语模块“逻辑”和“模块”可以是指执行提供所描述功能的一个或多个软件或固件程序、组合逻辑电路和/或其他合适的组件的专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)和/或存储器(共享的、专用的或成组的)，或可以是上述各项的部分，或可包括上述各项。术语“模块”可以指被配置成执行或使得执行根据本公开的一个或多个操作的软件、固件和/或电路。软件可以具体化为记录在非暂态计算机可读存储介质上的软件包、代码、指令，指令集和/或数据。固件可以实现如硬编码(例如，非易失性)在存储器设备中的代码、指令或指令集和/或数据。如本文任何实施例中所使用的那样，“电路”可单独或以任何组合方式包括诸如：硬连线电路；可编程电路，诸如包括一个或更多单独指令处理核的计算机处理器；状态机电路；软件；和/或存储由可编程电路执行的指令的固件。各模块可共同地或单独地被实现为形成计算设备的一部分的电路。如本文所使用的，术语“处理器”可以是处理器核。
现在参考图1，解说了根据各实施例的无人机环境100，它包括具有本公开的无人机控制技术的无人机系统102。在各实施例中，无人机系统102可以与移动通信设备104、通信网络106或者物体108处于无线数据通信中。在各实施例中，超过一个无人机系统102可存在于无人机环境100中。无人机系统102可被包括在飞行无人机(诸如四螺旋桨直升机)中，或者可被包括在不同类型的遥控或自主交通工具(诸如例如潜艇或气垫船)中。
如图所示，无人机系统102可包括多个组件110-152，包括无人机控制设备110；各种传感器，可包括加速度计112、陀螺仪114、磁力计116、超声传感器118、光学传感器120、或其他传感器122；地理定位系统(GPS)124；话筒126；输入设备128；收发机130；以及电机132。在各实施例中，其他传感器122可包括作为加速度计112和陀螺仪114的替换或补充的惯性传感器或惯性测量单元。在各实施例中，无人机控制设备110可包括可被耦合在一起并配置成彼此合作来训练和控制可包括无人机系统102的无人机的处理器134、系统存储器136、执行环境138、转换模块140、导航模块142、以及视频分析模块144。在各实施例中，执行环境138还可包括其他模块146和存储148。视频分析模块144可包括物体识别模块。
在各实施例中，收发机130可包括发射机150和接收机152。在各实施例中，电机132可被用来驱动螺旋桨或其他推进设备。存储148可包括针对各种条件下的无人机行为的导航和规则数据以及语音命令到动作映射。存储148还可包括连接性数据、消息存储、以及可以与用于无人机导航的飞行路径相关联的传感器导航数据，包括运动、方向、力、以及高度。其他模块146可包括用于控制对无人机操作、训练或数字内容的访问的冲突避免模块或安全模块。收发机130可被配置成使用一种或多种无线通信方法进行通信，诸如IEEE802.11x(WiFi)、蓝牙、或使用无线电接入网的无线蜂窝通信，无线电接入网可包括全球移动通信系统(GSM)、通用分组无线电服务(GPRS)、通用移动电信系统(UMTS)、高速分组接入(HSPA)、演进型HSPA(E-HSPA)、长期演进(LTE)网络、用于GSM演进的GSM增强型数据速率(EDGE)无线电接入网(GERAN)、通用陆地无线电接入网(UTRAN)、或演进型UTRAN(E-UTRAN)。
如图所示，移动通信设备104可包括多个组件160-190，包括无人机控制设备160；传感器162，可包括一个或多个传感器，诸如加速度计、陀螺仪、磁力计、超声传感器、惯性传感器、惯性测量单元、光学传感器、或其他传感器；GPS 163；触摸屏显示器164；话筒166；以及收发机168。在各实施例中，无人机控制设备160可包括可被耦合在一起并配置成彼此合作来训练和控制无人机的处理器170、系统存储器172、执行环境174、转换模块176、导航模块178、协调模块180以及用户交互模块182。在各实施例中，执行环境还可包括其他模块184和存储186。在各实施例中，存储186可包括针对各种条件下的无人机行为的导航规则数据以及语音命令到动作映射数据。在各实施例中，收发机168可包括发射机188和接收机190。在各实施例中，收发机168可被配置成使用一种或多种无线通信方法进行通信，诸如WiFi、蓝牙、或无线蜂窝通信。
在各实施例中，物体108可包括传感器192和用于传送传感器数据的发射机194。传感器192可包括一个或多个传感器，诸如加速度计、陀螺仪、磁力计、或其他传感器。在一些实施例中，附加组件(诸如接收机、处理器、或存储器)可被包括在物体108中。物体108可以是旨在由用户抛出或以其他方式移动的球或其他物体，其中传感器192生成与物体108的移动路径相对应的由发射机194传送的数据。在各实施例中，无人机系统102或移动通信设备104可以接收由物体108传送的传感器数据，所以无人机控制设备110或160可以确定飞行路径以控制无人机以模仿物体108的移动路径。在各实施例中，无人机系统102或移动通信设备可以通过网络106与节点196进行数据通信。节点196可以是包括一个或多个服务器的计算节点。
图2是根据各实施例的示出了使用无人机204沿训练路径202的用户无人机训练姿势的无人机训练会话200以及示出了无人机204稍后沿与无人机训练路径202相对应的无人机飞行路径208飞行的无人机飞行会话206的示图。在各实施例中，无人机204可包括无人机系统102。如图所示，无人机204可以是四螺旋桨直升机设计，但在各实施例中可以使用其他无人机设计。训练路径202被示为数字8姿势。飞行路径208也被示为数字8图案，对应于训练路径202。在各实施例中，飞行路径208可以是训练路径202的经伸缩和/或经平滑版本。在一些实施例中，用户可以使用无人机204沿所需训练路径多次作出姿势，并且飞行路径208可至少部分地基于该多个训练路径姿势的平均或经平滑版本。
图3是根据各实施例的示出了使用移动通信设备304沿训练路径302的用户无人机训练姿势的无人机训练会话300以及示出了无人机308稍后沿与训练路径302相对应的无人机飞行路径310飞行的无人机飞行会话306的示图。移动通信设备304在各实施例中可以是智能电话且可如关于移动通信设备104描述地配置。如图所示，无人机308可以是四螺旋桨直升机设计，但在各实施例中可以使用其他无人机设计。训练路径302被示为数字8姿势。飞行路径310也被示为数字8图案，对应于训练路径302。
在各实施例中，飞行路径310可以是训练路径302的经伸缩和/或经平滑版本。在一些实施例中，用户可以使用移动通信设备204沿所需训练路径多次作出姿势，并且飞行路径310可至少部分地基于该多个训练路径姿势的平均或经平滑版本。在无人机训练会话300中也可以使用一个或多个语音命令。例如，重复或伸缩命令可被呈现给移动通信设备304。用户可以例如说出“一百倍”来在无人机308飞行对应飞行路径310时放大训练路径302的规模。作为替换或补充，重复语音命令可被呈现以在无人机308飞行飞行路径310时重复训练路径302的姿势达该重复命令中给出的特定次数。
图4是根据各实施例的示出由移动通信设备404控制的无人机402、沿移动路径408行进的球406、以及模仿球406的移动路径408的无人机飞行路径410的无人机飞行会话400的示图。在各实施例中，无人机402可包括无人机系统102，且移动通信设备404可如关于移动通信设备104所描述地配置。在各实施例中，球406可以是关于图1描述的物体108的实现。球406中的传感器192可以感测加速度、位置、或移动，诸如使用可被包括在可包含于球406中的惯性测量单元中的加速度计、陀螺仪、以及磁力计。来自各传感器的传感器数据可以由发射机194来传送并由无人机402接收。球406的移动路径408可至少部分地基于接收到的传感器数据来确定，并且无人机402的飞行路径410可至少部分地基于移动路径408来确定，使得无人机402在被指导沿飞行路径410飞行时模仿球406的移动路径408。在一些实施例中，无人机402可以使用跟踪传感器(诸如光学传感器、相机或摄像机)来跟踪球406，并作为基于来自球406的传感器数据确定球406的移动路径408的替换或补充，至少部分地基于跟踪传感器数据来确定移动路径408。
图5是根据各实施例的可被实现在本文描述的各种计算设备上的训练和控制无人机的示例过程500的流程图。在各示例中，过程500中的一些或全部可以由关于图1描述的无人机控制设备160的转换模块176、导航模块178、协调模块180、用户交互模块182、或其他模块184执行，或者由无人机控制设备110的转换模块140、导航模块142、视频分析模块144或其他模块146来执行。在其他实施例中，过程500可以用更多或更少模块和/或使用不同次序的一些操作来执行。
如图所示，对于各实施例，过程500可在框502开始。在框504，可以接收用户打开智能电话(诸如移动通信设备104)上的无人机应用的指示。在各实施例中，无人机应用可包括转换模块176、导航模块178、协调模块180、用户交互模块182、以及其他模块184。在框506，可能连接到的无人机的列表可被显示给用户，诸如通过将该列表呈现在触摸屏显示器164上。在各实施例中，无人机的列表可至少部分地基于使用诸如蓝牙等无线通信机制的发现过程来确定。在一些实施例中，该列表可至少部分地基于先前已在注册过程中标识的无人机。在各实施例中，无人机可以通过序列号或其他标识符来标识。在一些实施例中，列表可以从节点196获得。在框508，可以接收一个或多个用户无人机选择和连接指示。在各实施例中，连接指示可包括用户已按下连接按钮的指示。在各实施例中，用户可能够从无人机的列表选择单个无人机。在其他实施例中，用户可能够选择超过一个无人机来并发地训练和/或飞行。在各实施例中，用户交互模块182可由处理器170操作以在框506将无人机的列表呈现在触摸屏显示器164上并且在框508对用户按下连接按钮(可以是触摸屏显示器164上呈现的按钮)作出响应。协调模块180可由处理器170操作来至少部分地基于无人机选择提供无人机到控制机制映射。
在决策框510，可以确定飞行前训练模式是否已被选择。在各实施例中，用户交互模块182可由处理器170操作来呈现包括用于选择飞行前训练模式的选项的用户界面。如果在决策框510确定飞行前训练模式已被选择，则过程500可在框512进至飞行前训练模式。在框514，在用户按所需的一个或多个图案(诸如分别关于图2或图3描述的训练路径202或训练路径302)移动无人机和/或智能电话以用于在所选一个或多个无人机上训练飞行图案时，传感器数据可被接收。在各实施例中，如果智能电话被用于飞行前训练，则传感器162或GPS 163可以在智能电话沿训练路径的移动期间生成传感器数据。转换模块176可由处理器170操作以接收传感器数据，至少部分地基于传感器数据来确定飞行路径，以及将飞行路径存储在存储器172或存储186中。如果无人机被用于飞行前训练，则加速度计112、陀螺仪114、磁力计116、超声传感器118、光学传感器120、其他传感器122、或GPS 124中的一者或多者可以在无人机沿训练路径的移动期间生成传感器数据。转换模块140可由处理器134操作以接收传感器数据，至少部分地基于传感器数据来确定飞行路径，以及将飞行路径存储在存储器136或存储148中。在各实施例中，确定飞行路径可包括将与用户姿势移动相对应的传感器数据进行平滑。在各实施例中，飞行路径可以与相关联的标识符一起存储，这可允许稍后使用该标识符检索飞行路径。例如，诸如‘Figure-8(数字8)’、‘Figure-8，scale 10(数字8，比例10)’、‘Figure-8，repeat 5(数字8，重复5次)’、‘Figure-8，scale 10&repeat 5(数字8，比例10并重复5次)’、或‘Loop-de-loop(翻跟头)’等标识符可被使用。在各实施例中，诸如‘A’、‘B’、‘1’、‘2’或‘A1’等简单标识符也可被使用。
在各实施例中，在框514，语音命令也可被训练。如果智能电话被用于飞行前训练，则话筒166可以接收语音命令并且转换模块176可由处理器170操作以还至少部分地基于接收到的语音命令来确定飞行路径。例如，语音命令可包括伸缩或重复命令并且转换模块可以相应地伸缩或重复飞行路径。如果无人机被用于飞行前训练，则话筒126可以接收语音命令并且转换模块140可由处理器134操作以还至少部分地基于接收到的语音命令来确定飞行路径。在框516，可在智能电话上从用户接收训练模式退出指示。在各实施例中，训练模式退出指示可以在无人机系统而非智能电话上接收。
如果在决策框510确定没有选择飞行前训练模式，或者在框516用户退出训练模式后，过程500可进至框518，在此可从用户接收无人机飞行开始指示以开始所选一个或多个无人机的飞行。在各实施例中，用户可以通过使用输入128激活飞行模式或通过选择由用户交互模块182呈现的飞行模式选项来开始所选(诸)无人机的飞行。在各实施例中，如果(诸)无人机最初要自主飞行，则它们可以遵循最近存储的飞行路径，或者可以遵循使用与飞行路径相关联的标识符来选择的飞行路径。在一些实施例中，(诸)无人机可在开始所存储的飞行路径之前首先按默认图案飞行，诸如例如通过在开始飞行路径之前向上飞20英尺。在各实施例中，如果用户使用智能电话开始(诸)无人机飞行，则用户可以使用语音命令、智能电话的主动运动、或通过触摸屏显示器164上的用户界面交互来开始无人机的飞行。例如，用户可以按住触摸屏显示器164上呈现的主动模式按钮并将智能电话举在空中以引导无人机从静止位置升入空中。在各实施例中，用户可以引导(诸)无人机遵循最近训练和/或存储的飞行路径，或者可以选择不同飞行路径，诸如通过选择与较早训练的飞行路径相关联的标识符。在一些实施例中，飞行路径可被存储在节点196上并通过网络106检索。在各实施例中，可由用户交互模块182或另选地由在无人机系统102上操作的模块接收用于开始无人机飞行的各种指示。
在框520，在各实施例中，在(诸)无人机遵循最后用户命令(它可以是语音、运动、或用户界面(UI)命令)飞行时在用户与智能电话上的无人机应用交互时可以接收用户命令。在决策框522，可以确定用户是否按住将智能电话置于主动模式的按钮。如果在决策框522确定用户按住将智能电话置于主动模式的按钮，则过程500可进至框524，在此可执行经由智能电话对无人机的姿势控制。在各实施例中，姿势控制可包括用户可选择的标准模式或强制伸缩(force to sacle)模式。在各实施例中，在强制伸缩模式中，智能电话的较快移动(这可包括电话的较大相对加速度和减速度)可指示无人机的较大所需移动。在各实施例中，在强制伸缩模式中，无人机可被引导按与智能电话的移动速度成比例的方式来飞行。在一些实施例中，无人机可被引导按与智能电话的加速度成比例的方式来飞行。在标准模式中，智能电话的移动速度可不被使用，使得用户可能够作出智能电话的更复杂移动而不必担心该姿势或效果的定时。在各实施例中，用户交互模块182可以允许用户在标准和强制伸缩模式之间选择性地控制。在各实施例中，无人机方向和高度可对应于用户的智能电话的方向和高度(例如，无人机可模仿用户的智能电话的三维移动)。
在框526，在用户按住智能电话上的主动模式按钮的同时在各个方向上移动智能电话时，传感器数据可被接收。例如，如果用户拿住智能电话使相机指向北方，则用户可以将智能电话向左或向右移动以分别引导(诸)无人机在更偏西或偏东方向上悬停。在各实施例中，方向可以相对于智能电话的左移或右移反转，或者可以是用户可选择的。在框528，智能电话坐标或其他传感器数据可被近乎实时地传送给一个或多个无人机。在框530，(诸)无人机可以处理坐标信息或其他传感器数据并以与用户使用智能电话作出的运动相同的方式来移动。在其他实施例中，智能电话可以处理坐标信息或其他传感器数据并将经更改的飞行路径传送给无人机，而非发送坐标或其他传感器数据以由无人机处理。在各实施例中，过程500随后返回框520。
如果在决策框522确定用户没有按住将智能电话置于主动模式的按钮，则过程500可进至决策框532，在此可确定用户是否发出语音命令。在各实施例中，转换模块176可由处理器170操作来监视话筒166以寻找可由用户发出的语音命令。如果在决策框532确定用户发出了语音命令，则过程500可进至框534，在此语音命令控制可被执行。在框536，语音命令可被发送给(诸)无人机。在框538，(诸)无人机可以处理接收到的语音命令并适当地改变飞行。在其他实施例中，智能电话可以处理语音命令并将经更改的飞行路径传送给无人机，而非发送语音命令给无人机以供处理。在各实施例中，过程500可随后返回框520。
如果在决策框522确定用户没有发出语音命令，则过程500可进至决策框540，在此可以确定用户是否点击用于停止(诸)无人机飞行的按钮。如果在决策框540确定用户点击了用于停止(诸)无人机飞行的按钮，则过程500可进至框542，在此过程500可通过使无人机着陆来结束。在一些实施例中，无人机可被引导在其起始点或距其起始点预定义距离内着陆。在各实施例中，无人机可被引导在距智能电话的当前位置的预定义距离内着陆。如果在决策框540确定用户没有点击用于停止(诸)无人机飞行的按钮，则过程500可返回框520。
图6是根据各实施例的可被实现在本文描述的各种计算设备上的训练和控制无人机的另一示例过程600的流程图。在各实施例中，过程600中的一些或全部可以由关于图1描述的无人机控制设备160的转换模块176、导航模块178、协调模块180、用户交互模块182、或其他模块184执行，或者由无人机控制设备110的转换模块140、导航模块142、视频分析模块144或其他模块146来执行。在其他实施例中，过程600可以用更多或更少模块和/或使用不同次序的一些操作来执行。
如图所示，对于各实施例，过程600可在决策框602开始，在此可确定是否已进入训练模式。在各实施例中，用户可以使用输入128或由用户交互模块182呈现的用户界面来选择训练模式。如果在决策框602确定已进入训练模式，则过程600可进至框604，在此可接收传感器数据。在各实施例中，传感器数据可来自加速度计112、陀螺仪114、磁力计116、超声传感器118、光学传感器120、其他传感器122、GPS 124、传感器162、或GPS 163中的一者或多者。在各实施例中，传感器数据可对应于并描绘具有无人机系统102的无人机的三维空间中的用户姿势或移动通信设备104的用户姿势。转换模块140或转换模块176可以接收传感器数据。
在框606，可至少部分地基于接收到的传感器数据来确定飞行路径。在框608，飞行路径可被存储。在各实施例中，飞行路径可被存储在存储器136、存储148、存储器172、存储186、或节点196中。在各实施例中，转换模块140可由处理器134操作或者转换模块176可由处理器170操作来确定并存储飞行路径。在框608存储了飞行路径之后，过程600可进至框612，在此可至少部分地基于所存储的飞行路径来引导无人机飞行。在各实施例中，导航模块142可由处理器134操作或者导航模块178可由处理器170操作来引导无人机飞行。如果在决策框602确定尚未进入训练模式，则过程600可进至框610，在此可接收飞行命令。在各实施例中，飞行命令可以在话筒126或输入128处接收。在其他实施例中，飞行命令可以在话筒166处、通过移动通信设备104的运动、或者使用触摸屏显示器164上呈现的用户界面来接收。在各实施例中，过程600随后可进至框612，在此可至少部分地基于当前飞行路径来引导无人机飞行。在各实施例中，导航模块142或导航模块178可以引导无人机飞行。
在决策框614，可以确定是否已接收到停止飞行命令。如果在决策框614确定已接收到停止飞行命令，则过程600可进至框616，在此飞行路径可至少部分地基于停止飞行命令来被更改。在各实施例中，飞行路径可被更改以包括到无人机起始点或无人机起始点的预定义距离内的点的返回。在各实施例中，飞行路径可被更改以包括飞向移动通信设备的当前位置或移动通信设备的预定义距离内。在各实施例中，导航模块142或导航模块178可以接收停止飞行命令并相应地更改飞行路径。过程600随后可返回框612，在此可至少部分地基于经更改的飞行路径来引导无人机飞行。
如果在决策框614确定尚未接收到停止飞行命令，则过程600可进至决策框618，在此可以确定是否已接收到主动模式数据。在各实施例中，主动模式数据可由导航模块142经由收发机130从移动通信设备104接收到。在各实施例中，主动模式数据可包括传感器数据、坐标信息、经更改飞行路径、模式选择(主动、强制伸缩、标准)、或其他信息中的一者或多者。如果主动模式数据已被接收到，则过程600可进至框620，在此可至少部分地基于接收到的主动模式数据来更改飞行路径。在各实施例中，导航模块可由处理器134操作以更改飞行路径。过程600随后可返回框612，在此可至少部分地基于经更改的飞行路径来引导无人机飞行。
如果在决策框618确定尚未接收到主动模式数据，则过程600可进至决策框622，在此可以确定是否已接收到修改命令。在各实施例中，修改命令可以例如是由无人机系统102从移动通信设备104接收到的伸缩或重复语音命令。如果修改命令已被接收到，则过程600可进至框624，在此可至少部分地基于接收到的修改命令来更改飞行路径。在各实施例中，导航模块142可以接收修改命令并相应地更改飞行路径。过程600随后可返回框612，在此可至少部分地基于经更改的飞行路径来引导无人机飞行。
如果在决策框622确定尚未接收到修改命令，则过程600可进至决策框626，在此可以确定是否要模仿物体。在各实施例中，导航模块142可以接收来自移动通信设备104的存在要模仿的物体的指示。如果在决策框626确定要模仿物体，则过程600可进至决策框628，在此可以确定物体传感器数据是否可用。如果物体传感器数据可用，则过程600可进至框630，在此可接收来自物体的传感器数据。在各实施例中，传感器数据可来自物体(诸如图4中所示的球406)中的传感器192。
如果物体传感器数据不可用，则过程600可进至框632，在此可接收物体跟踪传感器数据。跟踪传感器数据可来自光学传感器120、超声传感器118、或其他传感器122，诸如例如雷达设备。在各实施例中，无人机可至少部分地基于跟踪传感器数据来被引导以跟踪诸如动物(例如，昆虫或鸟)之类的物体。在一些实施例中，无人机可以至少部分地基于使用光学或其他传感器来识别球的训练过程(这可包括学习球或其他物体上的特定颜色或颜色图案)来跟踪诸如球等没有传感器的物体。
过程600随后可进至框634，在此，可至少部分地基于接收到的来自物体的传感器数据或接收到的物体跟踪传感器数据来确定物体移动路径。导航模块142可由处理器134操作来至少部分地基于接收到的传感器数据或物体跟踪传感器数据确定路径。在一些实施例中，视频分析模块144可由处理器134操作来基于光学传感器数据确定路径。在框636，可至少部分地基于所确定的物体移动路径来更改飞行路径。在各实施例中，过程600随后可返回框612，在此可至少部分地基于经更改的飞行路径来引导无人机飞行。
如果在决策框626确定不要模仿物体，则过程600可进至决策框638，在此可以确定飞行是否已结束。在各实施例中，导航模块142可以接收来自一个或多个传感器的数据以确定无人机是否静止。如果飞行尚未结束，则过程600随后可返回框612，在此可至少部分地基于当前飞行路径来引导无人机飞行。如果飞行已结束，则过程600可在框640结束。
现在参考图7，解说了根据各实施例的适于实施早先参考图1-6描述的本公开的示例计算机700。如所示出的那样，计算机700可包括一个或多个处理器或处理器核702以及系统存储器704。出于本申请(包括权利要求书)的目的，术语“处理器”指的是物理处理器，且术语“处理器”和“处理器核”可被认为是同义的，除非上下文另外清楚地作出要求。此外，计算机700可包括一个或多个图形处理器705、大容量存储设备706(诸如，盘、硬盘驱动器、紧致盘只读存储器(CD-ROM)等)、输入/输出设备708(诸如，显示器、键盘、光标控制器、遥控器、游戏控制器、图像捕捉设备等)、传感器中枢709、和通信接口710(诸如，网络接口卡、调制解调器、红外接收机、无线电接收机(例如，蓝牙)等)。可经由系统总线712(其可表示一个或多个总线)将这些元件彼此耦合。在多个总线的情况下，可由一个或多个总线桥(未示出)来桥接它们。
通信接口710可包括可使有线和/或无线通信能用于去往以及来自计算设备700的数据传递的一个或多个通信芯片。术语“无线”和其衍生物可用于描述可使用通过非固态介质调制的电磁辐射来传递数据的电路、设备、系统、方法、技术、通信信道等。尽管相关联的设备在一些实施例中可能不包含任何线，但是该术语并不暗示相关联的设备不包含任何线。通信接口710可实现多种无线标准或协议的任何一个，包括但不限于IEEE702.20、长期演进(LTE)、LTE高级(LTE-A)、通用分组无线服务(GPRS)、演进数据最优化(Ev-DO)、演进型高速分组接入(HSPA+)、演进型高速下行链路分组接入(HSDPA+)、演进型高速上行链路分组接入(HSUPA+)、全球移动通信系统(GSM)、GSM演进增强型数据速率(EDGE)、码分多址(CDMA)、时分多址(TDMA)、数字增强型无绳电信(DECT)、全球微波互联接入(WiMAX)、蓝牙、其衍生物和称为3G、4G、5G以及进一步的任何其他无线协议。通信接口710可包括多个通信芯片。例如，第一通信芯片可专用于较短程的无线通信(诸如Wi-Fi和蓝牙)，而第二通信芯片可专用于较长程的无线通信(诸如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO以及其它)。
这些元件中的每一个可执行其本领域中已知的常规功能。具体而言，系统存储器704和大容量存储设备706可被采用来存储实现与无人机系统102或移动通信设备104相关联的操作的程序指令的工作副本和永久副本，例如针对图1中所示的转换模块140、导航模块142、视频分析模块144、其他模块146、存储148、转换模块176、导航模块178、协调模块180、用户交互模块182、其他模块184、或存储186描述的操作或者图5的过程500或图6的过程600中示出的操作，它们被共同表示为计算逻辑722。系统存储器704和大容量存储设备706还可被采用来存储实现与在无人机系统102或移动通信设备104上运行的操作系统相关联的操作的程序指令的工作副本和永久副本。在各实施例中，系统存储器704和大容量存储设备706还可被采用来存储数据或本地资源。可由受处理器702支持的汇编指令或可编译成此类指令的诸如C之类的高级语言来实现各种元件。
可通过诸如紧凑盘(CD)的分发介质(未示出)或通过通信接口710(来自分布式服务器(未示出))来将编程指令的永久副本放置在工厂或现场的大容量存储设备706中。即，具有代理程序的实现的一个或多个分发介质可用于分发代理并对各计算设备编程。
取决于计算机700是诸如服务器、高性能计算节点、机顶盒或台式计算机之类的固定计算设备还是诸如平板计算设备、膝上型计算机或智能电话、或嵌入式计算设备之类的移动计算设备，这些元件702-722的数量、能力和/或容量可变化。它们的构造以其他方式已知，并且因此将不进一步描述。在各实施例中，可使用图7中示出的不同元件或元件子集。例如，一些设备可被包括图形处理器705，可以使用充当存储器和存储两者的统一存储器，或可在无需使用传感器中枢的情况下耦合传感器。
图8解说了根据各实施例的具有配置成实施与早先描述的无人机系统102或移动通信设备104相关联的操作中的全部或所选操作的指令的示例至少一个非瞬态计算机可读存储介质802。如图所示，至少一个非瞬态计算机可读存储介质802可包括多个编程指令804。存储介质802可以表示本领域已知的各种各样的持久存储介质，包括但不限于闪存存储器、动态随机存取存储器、静态随机存取存储器、光盘、磁盘，等等。编程指令804可被配置成使设备(例如，计算机700、无人机系统102或移动计算设备104)能够响应于编程指令804的执行来执行例如但不限于针对图1中示出的转换模块140、导航模块142、视频分析模块144、其他模块146、存储148、转换模块176、导航模块178、协调模块180、用户交互模块182、其他模块184、或存储186描述的各种操作或者图5的过程500或图6的过程600中示出的操作。在替代实施例中，编程指令804可被设置在多个计算机可读存储介质802上。在替换实施例中，存储介质802可以是瞬态的，例如使用编程指令804编码的信号。
回头参考图7，对于一实施例，处理器702中的至少一者可与具有计算逻辑722的存储器封装在一起，计算逻辑722被配置成实施针对图1中示出的转换模块140、导航模块142、视频分析模块144、其他模块146、存储148、转换模块176、导航模块178、协调模块180、用户交互模块182、其他模块184、或存储186描述的各方面或者图5的过程500或图6的过程600中示出的操作。对于一实施例，处理器702中的至少一者可与具有计算逻辑722的存储器封装在一起以形成封装中系统(SiP)，计算逻辑722被配置成实施针对图1中示出的转换模块140、导航模块142、视频分析模块144、其他模块146、存储148、转换模块176、导航模块178、协调模块180、用户交互模块182、其他模块184、或存储186描述的各方面或者图5的过程500或图6的过程600中示出的操作。对于一实施例，处理器702中的至少一者可与具有计算逻辑722的存储器集成在同一管芯上，计算逻辑722被配置成实施针对图1中示出的转换模块140、导航模块142、视频分析模块144、其他模块146、存储148、转换模块176、导航模块178、协调模块180、用户交互模块182、其他模块184、或存储186描述的各方面或者图5的过程500或图6的过程600中示出的操作。对于一实施例，处理器702中的至少一者可与具有计算逻辑722的存储器封装在一起以形成片上系统(SoC)，计算逻辑722被配置成实施针对图1中示出的转换模块140、导航模块142、视频分析模块144、其他模块146、存储148、转换模块176、导航模块178、协调模块180、用户交互模块182、其他模块184、或存储186描述的各方面或者图5的过程500或图6的过程600中示出的操作。对于至少一个实施例，SoC可被用在例如但不限于移动计算设备(诸如可穿戴设备和/或智能电话)中。
用于执行上述技术的机器可读介质(包括非瞬态机器可读介质，诸如机器可读存储介质)、方法、系统和设备是本文公开的实施例的解说性示例。另外，上述交互中的其他设备可被配置成执行各种所公开的技术。
示例
示例1可包括一种电子无人机控制设备，包括：一个或多个处理器；与该一个或多个处理器耦合的存储器；由该一个或多个处理器操作以执行以下动作的转换模块：接收来自一个或多个传感器设备的描绘三维空间中的用户姿势的传感器数据；至少部分地基于该传感器数据来确定飞行路径；以及将飞行路径存储在存储器中以供用于控制无人机的操作。
示例2可包括示例1的主题，其中所述一个或多个传感器设备包括位置传感器、加速度计、陀螺仪、磁力计、超声传感器、惯性传感器、或光学传感器中的至少一者。
示例3可包括示例1-2中的任一者的主题，其中所述无人机包括所述一个或多个传感器设备，并且所述用户姿势是使用所述无人机作出的。
示例4可包括示例1-3中的任一者的主题，还包括导航模块，所述导航模块由所述一个或多个处理器操作来至少部分地基于所述飞行路径来引导所述无人机飞行。
示例5可包括示例5的主题，其中所述导航模块还用于：接收来自移动通信设备的飞行修改命令；至少部分地基于所述飞行修改命令来更改所述飞行路径；以及至少部分地基于经更改的飞行路径来引导所述无人机飞行。
示例6可包括示例5的主题，其中所述飞行修改命令包括伸缩命令或重复命令中的至少一者。
示例7可包括示例5-6中的任一者的主题，其中所述飞行修改命令是语音命令。
示例8可包括示例4-7中的任一者的主题，其中所述导航模块还用于：接收来自移动通信设备的主动模式传感器数据；以及至少部分地基于所述主动模式传感器数据来引导所述无人机飞行。
示例9可包括示例8的主题，其中所述主动模式传感器数据至少部分地基于所述移动通信设备的加速度，并且其中所述导航模块还用于：按与所述加速度成比例的方式更改所述飞行路径；以及至少部分地基于经更改的飞行路径来引导所述无人机飞行。
示例10可包括示例4-9中的任一者的主题，其中所述导航模块还用于：接收来自移动通信设备的停止飞行命令；以及引导所述无人机飞到所述移动通信设备的预定义距离内。
示例11可包括示例4-10中的任一者的主题，其中所述导航模块还用于：接收来自物体的传感器数据；至少部分地基于所述传感器数据来确定所述物体的移动路径；至少部分地基于所述移动路径来更改所述飞行路径以生成模仿物体飞行路径；以及至少部分地基于所述模仿物体飞行路径来引导所述无人机飞行。
示例12可包括示例4-11中的任一者的主题，其中所述导航模块还用于：接收来自一个或多个物体跟踪传感器的物体跟踪传感器数据；至少部分地基于所述物体跟踪传感器来确定物体的移动路径；至少部分地基于所述移动路径来更改所述飞行路径以生成模仿物体飞行路径；以及至少部分地基于所述模仿物体飞行路径来引导所述无人机飞行。
示例13可包括一种计算机实现的无人机控制方法，包括：在计算设备处接收来自一个或多个传感器设备的描绘三维空间中的用户姿势的传感器数据；由所述计算设备至少部分地基于所述传感器数据来确定飞行路径；以及由所述计算设备存储所述飞行路径以供用于控制无人机的操作。
示例14可包括示例13的主题，其中所述无人机包括所述一个或多个传感器设备，并且所述用户姿势是使用所述无人机作出的。
示例15可包括示例13的主题，其中移动通信设备包括所述一个或多个传感器设备，并且所述用户姿势是使用所述移动通信设备作出的。
示例14可包括示例13-15中的任一者的主题，还包括：由所述计算设备接收飞行修改命令；以及至少部分地基于所述飞行修改命令来引导所述无人机飞行。
示例17可包括示例13-16中的任一者的主题，还包括：由所述计算设备接收主动模式命令；以及至少部分地基于来自移动通信设备的主动模式传感器数据来引导所述无人机飞行。
示例18可包括其上存储有指令的至少一个计算机可读介质，响应于所述指令由计算设备的一个或多个处理器执行使得所述计算设备：接收来自一个或多个传感器设备的描绘三维空间中的用户姿势的传感器数据；至少部分地基于所述传感器数据来确定飞行路径；以及将所述飞行路径存储在存储器中以供用于控制无人机的操作。
示例19可包括示例18的主题，其中所述一个或多个传感器设备包括位置传感器、加速度计、陀螺仪、磁力计、超声传感器、惯性传感器、或光学传感器中的至少一者。
示例20可包括示例18-19中的任一者的主题，其中：还使得所述计算设备将所述飞行路径传送给无人机；移动通信设备包括所述一个或多个传感器设备，并且所述用户姿势是使用所述移动通信设备作出的。
示例21可包括示例18-20中的任一者的主题，其中所述用户姿势是第一用户姿势并且还使得所述计算设备：接收指示所述计算设备是否处于主动模式的模式命令；接收来自所述一个或多个传感器设备的描绘三维空间中的第二用户姿势的主动传感器数据；响应于所述模式命令指示所述计算设备处于主动模式，在所述无人机正在飞行时，至少部分地基于所述主动传感器数据将信号传送给所述无人机。
示例22可包括示例18-21中的任一者的主题，其中还使得所述计算设备：接收飞行修改命令；以及在所述无人机正在飞行时至少部分地基于所述修改命令将飞行修改信号传送给所述无人机，其中所述修改命令包括伸缩命令或重复命令中的至少一者。
示例23可包括示例22的主题，其中所述修改命令是语音命令。
示例24可包括示例18-23中的任一者的主题，其中还使得所述计算设备：接收停止飞行命令；以及在无人机正在飞行时至少部分地基于所述停止飞行命令将信号传送给所述无人机，其中所述信号包括引导所述无人机返回起始点的数据。
示例25可包括示例18-24中的任一者的主题，其中还使得所述计算设备接收无人机选择命令，其中使得所述计算设备至少部分地基于所述无人机选择命令将所述飞行路径传送给无人机。
示例26可包括一种电子无人机控制设备，包括：用于接收来自描绘三维空间中的用户姿势的一个或多个传感器设备的传感器数据的装置；用于至少部分地基于所述传感器数据来确定飞行路径的装置；以及用于存储所述飞行路径以供用于控制无人机的操作的装置。
示例27可包括示例26的主题，其中所述无人机包括所述一个或多个传感器设备，并且所述用户姿势是使用所述无人机作出的。
示例28可包括示例26的主题，其中移动通信设备包括所述一个或多个传感器设备，并且所述用户姿势是使用所述移动通信设备作出的。
示例29可包括示例26-28中的任一者的主题，还包括：用于接收飞行修改命令的装置；以及用于至少部分地基于所述飞行修改命令来引导所述无人机飞行的装置。
示例30可包括示例26-29中的任一者的主题，还包括：用于接收主动模式命令的装置；以及用于至少部分地基于来自移动通信设备的主动模式传感器数据来引导所述无人机飞行的装置。
虽然出于描述的目的已经说明和描述了某些实施例，但经计算以实现相同目的的各种各样的替代和/或等价实施例或实现方式可替代所示和所描述的实施例，而不背离本公开的范围。本申请旨在涵盖本文讨论的实施例的任何改编或变型。因此，明确地旨在仅由权利要求来限定本文所描述的实施例。
其中本公开记载“一个”或“第一”要素或其等效物，这种公开包括一个或多个这种要素，既不要求也不排除两个或多个这种要素。此外，对于被标识的要素的按顺序的指示(例如，第一、第二或第三)是用于在要素之间区分，而不指示或暗示要求或限制数量的这种要素，它们也不指示这种要素的特定位置或顺序，除非以其他方式具体说明。

Claims (23)

1.一种电子无人机控制设备，包括：
一个或多个处理器；
存储器，与所述一个或多个处理器耦合；
转换模块，由所述一个或多个处理器操作以执行以下动作：
接收来自一个或多个传感器设备的传感器数据，所述传感器数据描绘沿三维空间中的训练路径的飞行前用户无人机训练姿势；
接收伸缩命令或重复命令中的一个或多个；
至少部分地基于所述传感器数据来确定飞行路径；
至少部分地基于所述伸缩命令或所述重复命令中的一个或多个来调整所述飞行路径；以及
将经调整的飞行路径以及与所述经调整的飞行路径相关联的标识符存储在所述存储器中；以及
导航模块，所述导航模块能够由所述一个或多个处理器操作以响应于用户对与所述经调整的飞行路径相关联的标识符的选择而从所述存储器检索所述经调整的飞行路径，并至少部分地基于检索到的经调整的飞行路径来引导无人机飞行，其中，所述飞行前用户无人机训练姿势以及所述伸缩命令或所述重复命令中的一个或多个在无人机飞行前、当所述无人机不在飞行时被接收。
2.如权利要求1所述的电子无人机控制设备，其特征在于，所述一个或多个传感器设备包括位置传感器、加速度计、陀螺仪、磁力计、超声传感器、惯性传感器、光学传感器中的至少一者。
3.如权利要求1所述的电子无人机控制设备，其特征在于，所述无人机包括所述一个或多个传感器设备，并且所述飞行前用户无人机训练姿势是使用所述无人机作出的。
4.如权利要求1所述的电子无人机控制设备，其特征在于，所述飞行前用户无人机训练姿势是使用移动通信设备作出的。
5.如权利要求1所述的电子无人机控制设备，其特征在于，所述导航模块还用于：
接收来自移动通信设备的飞行修改命令；
至少部分地基于所述飞行修改命令来更改所述飞行路径；以及
至少部分地基于经更改的飞行路径来引导所述无人机飞行。
6.如权利要求5所述的电子无人机控制设备，其特征在于，所述飞行修改命令包括伸缩命令或重复命令中的至少一者。
7.如权利要求6所述的电子无人机控制设备，其特征在于，所述飞行修改命令是语音命令。
8.如权利要求1所述的电子无人机控制设备，其特征在于，所述导航模块还用于：
接收来自移动通信设备的主动模式传感器数据；以及
至少部分地基于所述主动模式传感器数据来引导所述无人机飞行。
9.如权利要求8所述的电子无人机控制设备，其特征在于，所述主动模式传感器数据至少部分地基于所述移动通信设备的加速度，并且其中所述导航模块还用于：
按与所述加速度成比例的方式更改所述飞行路径；以及
至少部分地基于经更改的飞行路径来引导所述无人机飞行。
10.如权利要求1-9中的任一项所述的电子无人机控制设备，其特征在于，所述导航模块还用于：
接收来自移动通信设备的停止飞行命令；以及
引导所述无人机飞到所述移动通信设备的预定义距离内。
11.如权利要求1-9中的任一项所述的电子无人机控制设备，其特征在于，所述导航模块还用于：
接收来自物体的传感器数据；
至少部分地基于所述传感器数据来确定所述物体的移动路径；
至少部分地基于所述移动路径来更改所述飞行路径以生成模仿物体飞行路径；以及
至少部分地基于所述模仿物体飞行路径来引导所述无人机飞行。
12.如权利要求1-9中的任一项所述的电子无人机控制设备，其特征在于，所述导航模块还用于：
接收来自一个或多个物体跟踪传感器的物体跟踪传感器数据；
至少部分地基于所述物体跟踪传感器来确定物体的移动路径；
至少部分地基于所述移动路径来更改所述飞行路径以生成模仿物体飞行路径；以及
至少部分地基于所述模仿物体飞行路径来引导所述无人机飞行。
13.一种计算机实现的无人机控制方法，包括：
当无人机不在飞行时，在计算设备处接收来自一个或多个传感器设备的传感器数据，所述传感器数据描绘多个飞行前用户无人机训练姿势，所述多个飞行前用户无人机训练姿势使所述一个或多个传感器设备沿三维空间中的训练路径移动；
由所述计算设备至少部分地基于所述传感器数据来确定飞行路径，其中，所述飞行路径至少部分地基于所述多个飞行前用户无人机训练姿势的平均版本；
由所述计算设备将所述飞行路径存储在存储器中；
响应于用户对所述飞行路径的选择，从所述存储器检索所述飞行路径；以及
由导航模块至少部分地基于检索到的飞行路径来引导所述无人机飞行。
14.如权利要求13所述的方法，其特征在于，所述无人机包括所述一个或多个传感器设备，并且所述飞行前用户无人机训练姿势是使用所述无人机作出的。
15.如权利要求13所述的方法，其特征在于，所述飞行前用户无人机训练姿势是使用移动通信设备作出的。
16.如权利要求13-15中的任一项所述的方法，其特征在于，还包括：
由所述计算设备接收飞行修改命令；以及
至少部分地基于所述飞行修改命令来引导所述无人机飞行。
17.如权利要求13-15中的任一项所述的方法，其特征在于，所述方法还包括：
由所述计算设备接收主动模式命令；以及
至少部分地基于来自移动通信设备的主动传感器数据来引导所述无人机飞行。
18.一种电子无人机控制设备，包括：
用于判定飞行前训练模式是否已被选择的装置；
用于响应于判定了所述飞行前训练模式已被选择而在无人机不在飞行时接收来自一个或多个传感器设备的传感器数据的装置，所述传感器数据描绘沿三维空间中的训练路径的飞行前用户无人机训练姿势；
用于至少部分地基于所述传感器数据来确定飞行路径的装置；
用于将所述飞行路径以及与所述飞行路径相关联的标识符存储在存储器中的装置；
用于响应于用户对与所述飞行路径相关联的标识符的选择而从所述存储器检索所述飞行路径的装置；以及
用于至少部分地基于检索到的飞行路径来引导所述无人机飞行的装置。
19.如权利要求18所述的电子无人机控制设备，其特征在于，所述一个或多个传感器设备包括位置传感器、加速度计、陀螺仪、磁力计、超声传感器、惯性传感器、光学传感器中的至少一者。
20.如权利要求18所述的电子无人机控制设备，其特征在于，还包括：
用于将所述飞行路径传输到无人机的装置；
其中，移动通信设备包括所述一个或多个传感器设备；并且
其中，所述飞行前用户无人机训练姿势是使用所述移动通信设备作出的。
21.如权利要求18-20中的任一项所述的电子无人机控制设备，其特征在于，还包括：
用于接收飞行修改命令的装置；以及
用于当所述无人机不在飞行时至少部分地基于所述飞行修改命令而将飞行修改信号传输到所述无人机的装置，其中，所述飞行修改命令包括伸缩命令或重复命令中的至少一个。
22.如权利要求18-20中的任一项所述的电子无人机控制设备，其特征在于，所述电子无人机控制设备还包括：
用于接收主动模式命令的装置；
以及
用于至少部分地基于来自移动通信设备的主动模式传感器数据来引导所述无人机飞行的装置。
23.一种其上存储有指令的计算机可读介质，响应于所述指令由计算设备的一个或多个处理器执行使得所述计算设备执行权利要求13-17中的任一项所述的方法。
CN201680027270.9A 2015-06-11 2016-05-03 无人机控制设备和方法 Active CN107667321B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/737,322 2015-06-11
US14/737,322 US10310617B2 (en) 2015-06-11 2015-06-11 Drone controlling device and method
PCT/US2016/030588 WO2016200508A1 (en) 2015-06-11 2016-05-03 Drone controlling device and method

Publications (2)

Publication Number Publication Date
CN107667321A CN107667321A (zh) 2018-02-06
CN107667321B true CN107667321B (zh) 2021-09-07

Family

ID=57503887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680027270.9A Active CN107667321B (zh) 2015-06-11 2016-05-03 无人机控制设备和方法

Country Status (5)

Country Link
US (1) US10310617B2 (zh)
EP (1) EP3308233B1 (zh)
JP (1) JP6949719B2 (zh)
CN (1) CN107667321B (zh)
WO (1) WO2016200508A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104808675B (zh) * 2015-03-03 2018-05-04 广州亿航智能技术有限公司 基于智能终端的体感飞行操控系统及终端设备
KR101729564B1 (ko) * 2015-09-07 2017-05-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20170331571A1 (en) * 2015-12-03 2017-11-16 Molex, Llc Flexible media modules and systems and methods of using same
DE102015122183B4 (de) * 2015-12-18 2018-12-06 Antony Pfoertzsch Vorrichtung und Verfahren für ein unbemanntes Flugobjekt
US9658619B1 (en) * 2016-03-31 2017-05-23 Unmanned Innovation, Inc. Unmanned aerial vehicle modular command priority determination and filtering system
US11086313B2 (en) * 2016-04-27 2021-08-10 Atlas Dynamic Limited Gesture-based unmanned aerial vehicle (UAV) control
WO2017200553A1 (en) * 2016-05-20 2017-11-23 Ford Global Technologies, Llc Sign language inputs to a vehicle user interface
KR20180062267A (ko) * 2016-11-30 2018-06-08 삼성전자주식회사 무인 비행 장치 및 무인 비행 장치의 비행 제어방법
US10409276B2 (en) * 2016-12-21 2019-09-10 Hangzhou Zero Zero Technology Co., Ltd. System and method for controller-free user drone interaction
CN108629842B (zh) * 2017-03-16 2023-01-31 亮风台（上海）信息科技有限公司 一种无人驾驶设备运动信息提供及运动控制方法与设备
JP6910592B2 (ja) * 2017-03-27 2021-07-28 カシオ計算機株式会社 プログラミング装置及びその制御プログラム、プログラミング方法
CN107454609A (zh) * 2017-03-28 2017-12-08 亿航智能设备（广州）有限公司 通过移动网络与无人机进行远距离通信的装置及方法
US11496884B2 (en) * 2017-05-03 2022-11-08 Qualcomm Incorporated Exchanging a message including drone-coupled capability information between a drone-coupled user equipment and a component of a terrestrial wireless communication subscriber network
CN206894795U (zh) * 2017-05-23 2018-01-16 深圳市道通智能航空技术有限公司 一种实现图像处理的遥控器及无人飞行系统
EP3668788B1 (en) * 2017-08-15 2023-10-18 Saronikos Trading and Services, Unipessoal Lda Improved multirotor aircraft and interface device
GB2560396B (en) * 2017-09-01 2019-01-30 Matthew Russell Iain Unmanned aerial vehicles
US11781890B2 (en) * 2017-12-29 2023-10-10 Intel Corporation Method, a circuit and a system for environmental sensing
CN110192168B (zh) * 2017-12-29 2022-06-10 深圳市大疆创新科技有限公司 一种无人机拍照方法、图像处理方法和装置
US10800039B2 (en) * 2018-01-23 2020-10-13 General Electric Company Controlling and commanding an unmanned robot using natural interfaces
JP6669790B2 (ja) * 2018-02-16 2020-03-18 大豊精機株式会社 遠隔操作装置
US11358718B2 (en) * 2018-08-21 2022-06-14 Seung Hee CHOI Low-altitude unmanned aerial vehicle surveillance system
CN109116863B (zh) * 2018-08-24 2021-12-03 北京京东乾石科技有限公司 无人机调度方法、装置、系统、电子设备及可读介质
CN108919834A (zh) * 2018-08-29 2018-11-30 芜湖翼讯飞行智能装备有限公司 多无人机在复杂地形的赛事中保障控制装置及其使用方法
JP2020064623A (ja) * 2018-10-01 2020-04-23 フィッシャー−ローズマウント システムズ，インコーポレイテッド ドローン使用可能なオペレータ巡回
US11868144B2 (en) * 2019-01-23 2024-01-09 Nileworks Inc. Drone system, drone, plan management apparatus, plan management method for drone system, and plan management program for drone system
US11625034B2 (en) * 2019-02-21 2023-04-11 Hangzhou Zero Zero Technology Co., Ltd One-handed remote-control device for aerial system
US11080327B2 (en) * 2019-04-18 2021-08-03 Markus Garcia Method for the physical, in particular optical, detection of at least one usage object
WO2021056436A1 (zh) * 2019-09-27 2021-04-01 深圳市大疆创新科技有限公司 飞行器控制方法、控制终端及计算机可读存储介质
CN110796767A (zh) * 2019-10-31 2020-02-14 的卢技术有限公司 一种基于手势识别实现无按键汽车钥匙控制方法和系统
US20230033760A1 (en) * 2019-12-23 2023-02-02 AirSelfie, Inc. Aerial Camera Device, Systems, and Methods
DE102020210351A1 (de) * 2020-05-18 2021-11-18 Zf Friedrichshafen Ag Steuerung eines Fahrzeugs über Referenz-Sensordaten
EP3913455B1 (de) * 2020-05-18 2023-08-16 ZF Friedrichshafen AG Steuerung eines fahrzeugs über referenz- sensordaten
CN111784996A (zh) * 2020-07-01 2020-10-16 思翼科技（深圳）有限公司 自适应带宽的无人机遥控方法
CN112269401B (zh) * 2020-09-04 2021-07-20 河南大学 基于跟踪精度与风险控制的自适应主动传感器跟踪方法
CN112906511B (zh) * 2021-02-02 2022-08-02 东北林业大学 一种联合个体图像和足迹图像的野生动物智能监测方法
CN113050692B (zh) * 2021-03-26 2023-01-13 极研(福建)信息科技有限公司 一种具有社交功能的智能陪伴设备
US11908331B2 (en) 2021-06-23 2024-02-20 Wing Aviation Llc Systems and methods for concurrent management of multiple unmanned aircraft
US11335203B1 (en) 2021-08-20 2022-05-17 Beta Air, Llc Methods and systems for voice recognition in autonomous flight of an electric aircraft
EP4350378A1 (en) * 2022-10-03 2024-04-10 Paradox Engineering SA Method for determining position of an object in a space

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002036152A (ja) * 2000-07-26 2002-02-05 Matsushita Electric Works Ltd 自律移動ロボット
JP2012143447A (ja) * 2011-01-13 2012-08-02 Sharp Corp ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム
CN102939576A (zh) * 2010-06-16 2013-02-20 高通股份有限公司 用于基于手势的远程控制的方法和装置
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN104615145A (zh) * 2015-02-03 2015-05-13 深圳市华海技术有限公司 无人机、无人机控制系统及控制方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6025896A (ja) * 1983-07-21 1985-02-08 防衛庁技術研究本部長 無人機のプログラム旋回飛行制御方式
JP4257266B2 (ja) * 2004-06-18 2009-04-22 独立行政法人科学技術振興機構 浮遊体の誘導装置
DE05858317T1 (de) * 2005-11-15 2009-04-30 Bell Helicopter Textron, Inc., Fort Worth Flugsteuersystem für automatische Kreisflüge
US7970532B2 (en) * 2007-05-24 2011-06-28 Honeywell International Inc. Flight path planning to reduce detection of an unmanned aerial vehicle
JP5160322B2 (ja) * 2008-06-30 2013-03-13 株式会社Ｉｈｉ 自律移動ロボット装置及び自律移動ロボット装置の制御方法
US20100228427A1 (en) 2009-03-05 2010-09-09 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
KR101177875B1 (ko) 2009-09-16 2012-08-28 건국대학교 산학협력단 컨트롤러의 자세 변화를 이용한 무인비행체 비행 제어 시스템 및 비행 제어 시스템의 운영방법
WO2011066400A1 (en) * 2009-11-25 2011-06-03 Aerovironment, Inc. Automatic configuration control of a device
FR2972364B1 (fr) * 2011-03-08 2014-06-06 Parrot Procede de pilotage suivant un virage curviligne d'un drone a voilure tournante a rotors multiples.
TW201339903A (zh) 2012-03-26 2013-10-01 Hon Hai Prec Ind Co Ltd 無人飛行載具控制系統及方法
US20140008496A1 (en) 2012-07-05 2014-01-09 Zhou Ye Using handheld device to control flying object
EP3014407A4 (en) * 2013-06-28 2017-08-02 Chia Ming Chen Controlling device operation according to hand gestures
JP2015091282A (ja) * 2013-10-03 2015-05-14 稲葉 正和 ラジコン玩具自動操縦装置及びコンピュータプログラム
KR102294078B1 (ko) * 2014-04-25 2021-08-25 소니그룹주식회사 정보 처리 장치, 정보 처리 방법, 프로그램 및 촬상 시스템
HUE049822T2 (hu) * 2014-05-01 2020-10-28 Alakai Tech Corporation Tiszta üzemanyagos több rotoros (multirotor) légi jármû személyes légi szállításra pilótával ellátott és pilóta nélküli mûködéssel
EP2960154A1 (en) * 2014-06-23 2015-12-30 Thomson Licensing A method for controlling a path of a rotary-wing drone, a corresponding system, a rotary-wing drone implementing this system and the related uses of such a drone
US9720519B2 (en) * 2014-07-30 2017-08-01 Pramod Kumar Verma Flying user interface
US9459620B1 (en) * 2014-09-29 2016-10-04 Amazon Technologies, Inc. Human interaction with unmanned aerial vehicles
EP3015146A1 (en) * 2014-10-28 2016-05-04 Thomson Licensing Method for generating a target trajectory of a camera embarked on a drone and corresponding system
CN108137153B (zh) * 2015-01-18 2022-07-15 基础制造有限公司 用于无人机的装置、系统和方法
EP3065042B1 (en) * 2015-02-13 2018-11-07 LG Electronics Inc. Mobile terminal and method for controlling the same
US10503393B2 (en) * 2015-03-06 2019-12-10 FLIR Belgium BVBA Touch screen sonar adjustment systems and methods
US20160307449A1 (en) * 2015-04-15 2016-10-20 International Business Machines Corporation Autonomous drone service system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002036152A (ja) * 2000-07-26 2002-02-05 Matsushita Electric Works Ltd 自律移動ロボット
CN102939576A (zh) * 2010-06-16 2013-02-20 高通股份有限公司 用于基于手势的远程控制的方法和装置
JP2012143447A (ja) * 2011-01-13 2012-08-02 Sharp Corp ネットワークシステム、コントロール方法、コントローラ、およびコントロールプログラム
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
CN104615145A (zh) * 2015-02-03 2015-05-13 深圳市华海技术有限公司 无人机、无人机控制系统及控制方法

Also Published As

Publication number Publication date
EP3308233A1 (en) 2018-04-18
WO2016200508A1 (en) 2016-12-15
CN107667321A (zh) 2018-02-06
JP2018522306A (ja) 2018-08-09
US20160364004A1 (en) 2016-12-15
JP6949719B2 (ja) 2021-10-13
US10310617B2 (en) 2019-06-04
EP3308233A4 (en) 2019-03-13
EP3308233B1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
CN107667321B (zh) 无人机控制设备和方法
US11720126B2 (en) Motion and image-based control system
WO2018218516A1 (zh) 无人机返航路径规划方法及装置
US20180067631A1 (en) Graphical user interface customization in a movable object environment
US11348265B1 (en) Computing a point cloud from stitched images
CN111552320B (zh) 一种返航方法、控制器、无人机及存储介质
US10464669B2 (en) Unmanned aerial vehicle collision avoidance system
US20170315547A1 (en) Gesture-based unmanned aerial vehicle (uav) control
US20200050184A1 (en) Wind velocity force feedback
JP2017077878A (ja) 無人飛行体、飛行制御方法、飛行基本プログラム及び強制移動プログラム
WO2022141369A1 (en) Systems and methods for supporting automatic video capture and video editing
US10896520B2 (en) System and method for moment capturing
US20210181769A1 (en) Movable platform control method, movable platform, terminal device, and system
US11620913B2 (en) Movable object application framework
JP7333129B2 (ja) 撮影方法
Freistetter et al. Human-drone teaming: Use case bookshelf inventory
WO2022141187A1 (en) Systems and methods for controlling an unmanned aerial vehicle using a body-attached remote control
WO2017013840A1 (ja) 無人飛行体、飛行制御方法、飛行基本プログラム及び強制移動プログラム
US11531357B1 (en) Spatial vector-based drone control
JP6915109B2 (ja) 無人飛行体、方法及びプログラム
Freistetter Johannes Kepler University Linz, Austria alexander. freistetter@ gmx. at
JP2023021812A (ja) 対象物撮影システム、制御装置、対象物撮影システムにおける制御方法及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant