CN109416535A - 基于图像识别的飞行器导航技术 - Google Patents

基于图像识别的飞行器导航技术 Download PDF

Info

Publication number
CN109416535A
CN109416535A CN201680086080.4A CN201680086080A CN109416535A CN 109416535 A CN109416535 A CN 109416535A CN 201680086080 A CN201680086080 A CN 201680086080A CN 109416535 A CN109416535 A CN 109416535A
Authority
CN
China
Prior art keywords
reference coordinate
gesture
view
control data
loose impediment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680086080.4A
Other languages
English (en)
Other versions
CN109416535B (zh
Inventor
栗培梁
钱杰
赵丛
封旭阳
周游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109416535A publication Critical patent/CN109416535A/zh
Application granted granted Critical
Publication of CN109416535B publication Critical patent/CN109416535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D13/00—Arrangements or adaptations of air-treatment apparatus for aircraft crew or passengers, or freight space, or structural parts of the aircraft
    • B64D13/06—Arrangements or adaptations of air-treatment apparatus for aircraft crew or passengers, or freight space, or structural parts of the aircraft the air being conditioned
    • B64D2013/0603—Environmental Control Systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了根据基于手势的输入来控制可移动物体的技术。客户端装置(304)可以从图像捕捉装置(312)接收与第一视图相关联的图像数据。客户端装置(304)可以检测指示从来自图像捕捉装置(312)的第一视图(308)到第二视图的改变的基于手势的输入。基于手势的输入可以与图像数据的至少一个第一区域(322)相关联。可以基于与基于手势的输入相关联的一个或多个参考坐标来确定与从第一视图(308)到第二视图的改变相关联的控制数据。

Description

基于图像识别的飞行器导航技术
技术领域
所公开的实施例总体上涉及用于控制移动物体导航的技术，并且更具体地但不排他地涉及基于手势的控制。
背景技术
无人机(UAV)等飞行器可用于针对各种应用执行监视、侦察和勘探任务。例如，航空摄影爱好者越来越多地使用UAV与成像装置来捕捉以前无法捕捉的图像或者只能以巨大的代价才能捕捉到的图像。但是，为了捕捉想要的图像，必须将UAV和成像装置移动到位来进行拍摄构图。这通常需要操纵UAV的引航员和相机操作员对安装在UAV上的成像装置进行定向。引航员和相机操作员必须协调运动以适当地进行照片拍摄构图，在获得令人满意的角度之前通常要进行多次试验。因此，设置这样的镜头可能是一个高成本且耗时的过程。
此外，UAV通常使用遥控器(作为应用的一部分提供的物理遥控器或虚拟遥控器)进行控制。物理遥控器和虚拟遥控器都通过直接控制UAV的姿态和速度来操作的。这种控制为引航员提供了一种相对简单和直观的方式来操纵UAV到特定的位置。然而，当用于航拍时，UAV可以包括独立于UAV控制的图像捕捉装置。因此，为了对航拍照片进行构图，引航员必须将UAV重定位，以间接地改变图像捕捉装置的朝向并调整航拍照片的构图。这种间接的控制方法可能需要很大的努力来充分地进行照片构图。另外，当图像捕捉装置朝向用户时，这样的控制方法可能难以捕捉自拍。这就要求用户在相反的方向上调整UAV的位置，这使得这种照片的构图更加困难。本发明的实施例解决了这些和其他问题。
发明内容
本文描述了用于控制移动物体导航的技术。客户端装置可以从图像捕捉装置接收与第一视图相关联的图像数据。客户端装置可以检测指示从来自图像捕捉装置的第一视图到第二视图的改变的基于手势的输入。基于手势的输入可以与图像数据的至少一个第一区域相关联。可以基于与基于手势的输入相关联的一个或多个参考坐标来确定与从第一视图到第二视图的改变相关联的控制数据。
本文描述了用于控制具有图像捕捉装置的可移动物体的系统和方法。客户端装置可以从图像捕捉装置接收与第一视图相关联的图像数据。客户端装置可以检测指示从来自图像捕捉装置的第一视图到第二视图的改变的基于手势的输入。基于手势的输入可以与图像数据的至少一个第一区域相关联。客户端装置可以确定与从第一视图到第二视图的改变相关联的控制数据。控制数据可以基于与基于手势的输入相关联的一个或多个参考坐标来确定。
根据实施例，一种用于控制具有图像捕捉装置的可移动物体的系统可以包括与可移动物体或图像捕捉装置中的至少一个相关联的通信模块，一个或多个微处理器以及存储器。所述系统还可以包括一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个微处理器执行。所述一个或多个程序包括用于执行以下步骤的指令，所述步骤包括：从所述通信模块接收与第一视图相关联的图像数据，实时显示由所述图像捕捉装置捕捉的图像数据，检测指示从第一视图到第二视图的改变的基于手势的输入，其中所述基于手势的输入与所述图像数据的至少一个第一区域相关联，确定与从所述第一视图到所述第二视图的改变相关联的控制数据，其中所述控制数据与所述图像数据的至少一个第一区域、以及与所述基于手势的输入相关联的一个或多个参考坐标相关联；以及向所述通信模块发送所述控制数据。
还描述了用于控制无人机(UAV)的系统和方法。一种包括一个或多个微处理器的无人机(UAV)，可以被配置为响应于控制数据而移动。相机可以与所述UAV耦接，所述相机操作用于捕捉图像数据。在一个或多个微处理器上运行的控制器可以操作用于将图像数据实时发送到客户端装置，所述图像数据与相机的第一视图相关联；从所述客户端装置接收控制数据，其中所述控制数据与对应于基于手势的输入的一个或多个参考坐标相关联，其中所述基于手势的输入指示从所述相机的第一视图到第二视图的改变，所述基于手势的输入与所述图像数据的至少一个第一区域相关联；以及使所述UAV的位置或姿态中的至少一个基于控制数据而改变。
本文还描述了用于控制具有图像捕捉装置的可移动物体的系统和方法。可移动物体可以包括图像捕捉装置，所述图像捕捉装置被配置成捕捉与所述可移动物体上的所述图像捕捉装置的第一视图相关联的图像数据。所述可移动物体可以接收控制数据，所述控制数据可以与对应于基于手势的输入的一个或多个参考坐标相关联，所述基于手势的输入指示从可移动物体上的图像捕捉装置的第一视图到第二视图的改变。基于手势的输入可以与图像数据的至少一个第一区域相关联。可以使可移动物体或图像捕捉装置中的至少一个基于所述控制数据移动。
附图说明
图1示出了根据本公开的各种实施例的可移动物体环境。
图2示出了根据实施例的可移动物体环境中的示例性载体。
图3示出了根据本发明的各种实施例的在可移动物体环境中提供基于图像的导航的系统。
图4示出了根据本发明的各种实施例的使用图像中的特征点的位置来控制可移动物体在可移动物体环境中的导航。
图5示出了根据本发明的各种实施例的在可移动物体环境中将对象从三维坐标系投影到二维坐标系。
图6示出了根据本发明的各种实施例的示例性的基于图像的导航命令。
图7示出了根据本发明的各种实施例的可移动物体环境中相对于可移动物体的图像坐标。
图8示出了根据本发明的各种实施例的提供基于图像的导航的系统的框图。
图9示出了根据本发明的各种实施例的可移动物体环境中的基于手势的控制系统的框图。
图10示出了根据本发明的各种实施例的可移动物体环境中的图像朝向控制器的框图。
图11示出了根据本发明的各种实施例的使用对象识别来识别可移动物体环境中的对象表示。
图12示出了根据本发明的各种实施例的在可移动物体环境中使用基于手势的控制来导航可移动物体的流程图。
图13示出了根据本发明的各种实施例的在可移动物体环境中根据基于手势的控制来接收导航命令的流程图。
具体实施方式
作为示例而非限制，在附图的各图中示出了本发明，其中相似的附图标记指示相似的元素。应当注意到，在本公开中针对“实施例”或“一个实施例”或“一些实施例”的引用不一定指的是相同实施例，且这种引用意味着至少一个实施例。
以下对本发明的描述描述了可移动物体的控制和导航。为了简化说明，通常使用无人机(UAV)作为可移动物体的示例。对于本领域技术人员显而易见的是，可以使用其他类型的可移动物体而没有限制。
根据本发明的各种实施例，基于与从可移动物体接收的图像数据的交互，可以在飞行中控制可移动物体。可移动物体可以包括图像捕捉装置，该图像捕捉装置被配置为捕捉实时图像数据并将其发送到客户端装置。客户端装置可以显示图像数据，并接收例如对图像数据的基于手势的输入。例如，可以检测基于手势的输入，诸如轻扫、轻敲、捏和缩放等。该系统可以识别与基于手势的输入相关联的特征区域和参考触摸点(例如，与用户手指的初始位置、用户手指的释放位置、用户手指的当前位置或沿着手势的任何其他位置相对应的触摸点)。基于如显示器上所示的特征区域和参考触摸点之间的差，可以确定用于移动可移动物体的控制数据。当可移动物体移动时，特征区域相对于参考触摸点的位置改变可以被用作反馈，使得能够基于检测到的基于手势的输入来调整所显示的图像。
在各种实施例中，当检测到手势时，手势上的初始点可以被用作参考触摸点。用户可以用他们的手指或触笔，在触摸屏上或通过任何其他界面来做出手势。例如，头戴式显示器(诸如虚拟现实头戴设备)可以被配置为监视用户眼睛的移动和/或焦点，并且可以将其用作输入来控制可移动物体。可以基于所监视的用户眼睛和/或头部的移动来检测手势。如所讨论的，可以定期(例如，周期性地、连续地或间歇地)更新参考触摸点。例如，当做出手势时，沿手势的附加点可以用作参考触摸点。在一些实施例中，与当前位置用户手指的位置相对应的当前触摸点可以被用作参考触摸点，并且随着用户移动他或她的手指而被更新。这样，图像的朝向就跟随着手势。
图1示出了根据本公开的各种实施例的可移动物体环境。如图1所示，可移动物体环境100中的可移动物体118可以包括载体102和负载104。尽管可移动物体118可以被描绘为飞行器，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体。本领域技术人员将理解，本文在飞行器系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体(例如，UAV)。在某些实例中，负载104可以设置在可移动物体118上，而不需要载体102。
根据本发明的各种实施例，可移动物体118可以包括一个或多个移动机构106(例如，推进机构)、感测系统108和通信系统110。
移动机构106可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体、喷嘴、动物或人类中的一个或多个。例如，可移动物体可以具有一个或多个推进机构。全部移动机构可以是相同类型的。备选地，移动机构106可以是不同类型的移动机构。移动机构106可以使用诸如支撑元件(例如，驱动轴)的任何合适的方法安装在可移动物体118上(反之亦然)。移动机构106可以安装在可移动物体1100的任何合适的部分上，诸如顶部、底部、前部、后部、侧面或其合适的组合。
在一些实施例中，移动机构106可以使可移动物体118能够垂直地从表面起飞或垂直地降落在表面上，而不需要可移动物体118的任何水平移动(例如，无需沿着跑道行进)。可选地，移动机构106可以可操作地允许可移动物体1100以特定位置和/或朝向悬停在空中。移动机构106中的一个或多个可以独立于其它移动机构受到控制。备选地，移动机构106可以被配置为同时受到控制。例如，可移动物体118可以具有多个水平朝向的旋翼，其可以向可移动物体提供升力和/或推力。可以致动多个水平朝向的旋翼以向可移动物体118提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或多个可沿顺时针方向旋转，而水平旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动物体118(例如，相对于多达三个平移度和三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。
感测系统108可以包括可感测可移动物体118(例如，相对于各个平移度和各个旋转度)的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器中的任一个。感测系统108提供的感测数据可用于(例如，使用合适的处理单元和/或控制模块)控制可移动物体118的空间布置、速度和/或朝向。备选地，感测系统108可用于提供关于可移动物体周围的环境的数据，例如天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置等。
通信系统110能够经由无线信号116与具有通信系统114的终端112进行通信。通信系统110、114可以包括适合于无线通信的任意数量的发射机、接收机和/或收发机。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体118向终端112发送数据，反之亦然。可以从通信系统110的一个或多个发射机向通信系统112的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体118和终端112之间的两个方向上发送数据。双向通信可以涉及从通信系统110的一个或多个发射机向通信系统114的一个或多个接收机发送数据，并且反之亦然。
在一些实施例中，终端112可以向可移动物体118、载体102和负载104中的一个或多个提供控制数据，并且从可移动物体118、载体102和负载104中的一个或多个接收信息(例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测的数据，例如由负载相机捕获的图像数据；以及由负载相机捕获的图像数据生成的数据)。在某些实例中，来自终端的控制数据可以包括用于可移动物体、载体和/或负载的相对位置、移动、致动或控制的指令。例如，控制数据(例如，通过移动机构106的控制)可以导致可移动物体的位置和/或朝向的修改，或(例如，通过载体102的控制)导致负载相对于可移动物体的移动。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕捉装置的操作的控制(例如，拍摄静止或移动的图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。
在某些实例中，来自可移动物体、载体和/或负载的通信可以包括来自(例如，感测系统108或负载104的)一个或多个传感器的信息和/或基于感测信息生成的数据的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或负载的定位(例如位置，朝向)、移动或加速度。来自负载的这种信息可以包括由负载捕获的数据或负载的感测状态。由终端112提供的控制数据可以被配置为控制可移动物体118、载体102或负载104中的一个或多个的状态。备选地或组合地，载体102和负载104也可以各自包括被配置为与终端112进行通信的通信模块，使得该终端可以独立地与可移动物体118、载体102和有效负载104中的每一个进行通信并对其进行控制。
在一些实施例中，可移动物体118可被配置为与除了终端112之外的或者代替终端112的另一远程通信设备。终端112还可以被配置为与另一远程设备以及可移动物体118进行通信。例如，可移动物体118和/或终端112可以与另一可移动物体或另一可移动物体的载体或负载通信。当需要时，远程设备可以是第二终端或其他计算设备(例如，计算机、膝上型电脑、平板电脑、智能电话或其他移动设备)。远程设备可以被配置为向可移动物体118发送数据、从可移动物体118接收数据、向终端112发送数据，和/或从终端112接收数据。可选地，远程设备可以与因特网或其他电信网络连接，使得从可移动物体118和/或终端112接收的数据可以上传到网站或服务器。
图2示出了根据实施例的可移动物体环境中的示例性载体。载体200可以用于将诸如图像捕捉装置的负载202耦接到诸如UAV的可移动物体。
载体200可以被配置为允许负载202围绕一个或多个轴(例如，相对于可移动物体的三个轴：X或俯仰轴、Z或横滚轴、以及Y或航向轴)旋转。例如，载体200可以被配置为允许负载202仅围绕轴中的一个、两个或三个轴旋转。轴可以彼此正交或可以彼此不正交。围绕任何轴的旋转范围可以被限制或可以不被限制，并且可以针对每个轴而变化。旋转轴可以彼此相交或不相交。例如，正交轴可以彼此相交。它们可以或者可以不在负载202处相交。备选地，它们可以不相交。
载体200可以包括具有一个或多个框架构件的框架组件211。例如，框架构件可以被配置为与负载202(例如，图像捕捉装置)耦接并且支撑该负载202。
在一些实施例中，载体200可以包括一个或多个载体传感器213，其用于确定载体200或者载体200所承载的负载202的状态。状态信息可以包括关于载体、其组件和/或负载的空间布置(例如位置、朝向或姿态)、速度(例如线速度或角速度)、加速度(例如线加速度或角加速度)和/或其他信息。在一些实施例中，从传感器数据中获取或计算的状态信息可被用作反馈数据以控制载体的部件(例如框架构件)的旋转。这种载体传感器的示例可以包括运动传感器(例如加速度计)、旋转传感器(例如陀螺仪)、惯性传感器等。
载体传感器213可以耦接到载体(例如框架构件和/或致动器构件)的任何(一个或多个)合适的部分，并且可以或可以不相对于UAV移动。附加地或备选地，载体传感器中的至少一些可以直接耦接到载体200所承载的负载202。
载体传感器213可以与载体的一些或全部致动器构件耦接。例如，三个载体传感器可以分别耦接到三轴载体的致动器构件212，并且被配置为测量三轴载体的各个致动器构件212的驱动。这种传感器可以包括电位计或其他类似的传感器。在实施例中，可以在电机的电机轴上插入传感器(例如电位计)，以测量电机转子和电机定子的相对位置，由此测量转子和定子的相对位置并产生表示该相对位置的位置信号。在实施例中，每个与致动器耦接的传感器被配置为提供其所测量的相应的致动器构件的位置信号。例如，可以使用第一电位计来产生第一致动器构件的第一位置信号，可以使用第二电位器来产生第二致动器构件的第二位置信号，并且可以使用第三电位计来产生第三致动器构件的第三位置信号。在一些实施例中，载体传感器213也可以耦接到载体的一些或全部框架构件。传感器可以能够传送关于载体和/或图像捕捉装置的一个或多个框架构件的位置和/或朝向的信息。传感器数据可以用于确定图像捕捉装置相对于可移动物体和/或参考框架的位置和/或朝向。
载体传感器213可以提供可被发送到载体或可移动物体上的一个或多个控制器(未示出)的位置和/或朝向数据。传感器数据可以在基于反馈的控制方案中使用。控制方案可以用于控制对一个或多个致动器构件(例如一个或多个电机)的驱动。可以位于载体上或者位于承载载体的可移动物体上的一个或多个控制器可以产生用于对致动器构件进行驱动的控制信号。在某些实例中，可以基于从载体传感器接收的指示载体或载体200所承载的负载202的空间布置的数据来生成控制信号。载体传感器可以位于载体或负载202上，如前所述。控制器产生的控制信号可以被不同的致动器驱动器接收。基于控制信号，不同的致动器驱动器可以控制不同致动器构件的驱动，例如以实现载体的一个或多个组件的旋转。致动器驱动器可以包括适合于控制相应的致动器构件的驱动和从相应的传感器(例如电位计)接收位置信号的硬件和/或软件组件。控制信号可以被同时发送到致动器驱动器，以产生对致动器构件的同时驱动。备选地，控制信号可以被顺序地发送，或者仅被发送到致动器驱动器中的一个。有利地，控制方案可以被用于提供用于驱动载体的致动器构件的反馈控制，从而能够实现载体组件的更精确和准确的旋转。
在某些实例中，载体200可以经由一个或多个减震元件间接地耦接到可移动物体。减震元件可以被配置为减少或消除由可移动物体(例如，UAV)的移动引起的载荷(例如负载、载体或这两者)的移动。减震元件可以包括适于对耦接载荷的运动进行减震的任何元件，诸如主动减震元件、被动减震元件或具有主动和被动减震特性的混合减震元件。由本文提供的减震元件减震的运动可以包括振动、摆动、摇动或撞击中的一个或多个。这种移动可以源自传输到负载的可移动对象的移动。例如，所述移动可以包括由推进系统和/或可移动物体的其他组件的操作引起的振动。
减震元件可通过消散或减少传送到载荷的运动量(例如振动隔离)而将载荷与不希望的运动源隔离，从而提供运动减震。减震元件可以减小载荷原本将经受的运动的量值(例如幅值)。减震元件所施加的运动减震可以用于使载荷稳定，从而提高由载荷(例如，图像捕捉装置)捕捉的图像的质量，并且降低基于捕捉图像来生成全景图像所需的图像拼接步骤的计算复杂度。
本文所述的减震元件可以由任何合适的材料或材料组合形成，包括固体、液体或气体材料。用于减震元件的材料可以是可压缩的和/或可变形的。例如，减震元件可以由海绵、泡沫、橡胶、凝胶等制成。例如，减震元件可以包括大致球形的橡胶球。减震元件可以具有任何合适的形状，例如大致球形、矩形、圆柱形等。备选地或附加地，减震元件可以包括压电材料或形状记忆材料。减震元件可以包括一个或多个机械元件，例如弹簧、活塞、液压装置、气动装置、缓冲器、减震器、隔离器等。可以选择减震元件的特性以提供预定量的运动减震。在某些实例中，减震元件可以具有粘弹属性。减震元件的属性可以是各向同性的或各向异性的。例如，减震元件可以沿所有运动方向均匀地提供运动减震。相反，减震元件可以仅沿着运动方向的子集(例如，沿着单个运动方向)提供运动减震。例如，减震元件可以主要沿着Y(航向)轴提供减震。由此，所示出的减震元件可以被配置为减小竖直运动。
尽管各种实施例可以被描述为利用单一类型的减震元件(例如，橡胶球)，但是应当理解的是，可以使用任何合适的减震元件类型的组合。例如，可以使用任何合适类型的一个或多个减震元件将载体耦接到可移动物体。减震元件可以具有相同或不同的特性或性质，例如刚度、粘弹性等。每个减震元件可以连接到载荷的不同部分或仅连接到载荷的特定部分。例如，减震元件可以位于载荷与可移动物体之间的接触点或耦接点或表面附近。在某些实例中，载荷可以嵌入在一个或多个减震元件内或由其包围。
图3示出了根据本发明的各种实施例的在可移动物体环境中提供基于图像的导航的系统300。如图3所示，系统300可以基于通过在控制终端304上执行的应用306接收的输入来使可移动物体302能够被控制。应用306可以包括实时图像视图308。虽然可移动物体302被描绘为无人机(UAV)，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体，如本文所述。本领域技术人员将理解，本文在飞行器系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体。类似地，虽然控制终端304、应用306和图像视图308是参照平板电脑或智能手机和触摸屏实现来描述的，但是可以使用能够显示或以其他方式中继视觉数据并且接收与视觉数据有关的基于手势的输入的任何客户端装置。
在一些实施例中，可移动物体302可以包括载体310和图像捕捉装置312。载体310可以允许图像捕捉装置312相对于可移动物体302移动。例如，载体310(例如云台)可以允许图像捕捉装置312围绕一个或多个轴旋转。备选地或附加地，载体310可以允许图像捕捉装置312沿着一个或多个轴线性移动。用于旋转或平移移动的轴可以彼此正交或可以彼此不正交。
在一些实施例中，图像捕捉装置312可以刚性耦接到可移动物体302或与可移动物体302刚性连接，使得图像捕捉装置312相对于可移动物体302保持基本静止。例如，将可移动物体302和图像捕捉装置312相连的载体310可以不允许负载301相对于可移动物体302移动。备选地，负载104可以直接耦接到可移动物体101，而不需要载体。
在一些实施例中，可移动物体302或载体310可以包括一个或多个传感器。这样的传感器的示例可以包括光学传感器(例如相机或摄像机、红外成像装置、紫外成像装置等)、音频捕捉设备(例如抛物面麦克风)等。可以将任何合适的传感器集成到图像捕捉装置312中以捕捉任何视觉、音频、电磁或任何其他期望的信号。传感器可以提供静态感测数据(例如照片)或动态感测数据(例如，视频)。传感器可以实时或以高频率连续捕获感测数据。
在一些实施例中，可移动物体302可以被配置为提供诸如由可移动物体302上的传感器获取的感测数据，并且控制终端304可以被配置为接收所述感测数据。感测数据的示例可以包括由可移动物体302承载的一个或多个传感器获取的光学、音频、位置、姿态或其它数据，或者由其他传感器获取的其他数据。例如，如所讨论的，可以将实时或接近实时的视频从可移动物体302和/或图像捕捉装置312流式传输到控制终端304。一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器获取的数据。在各种实施例中，控制终端接收的数据可以包括原始数据(例如，传感器获取的原始感测数据)和/或处理后的数据(例如，可移动物体上的一个或多个处理器处理后的跟踪信息)。
在一些实施例中，控制终端304可以位于与可移动物体302、载体310和/或图像捕捉装置312远离的位置。控制终端304可以放置在或固定在支撑平台上。备选地，控制终端304可以是客户端装置，包括手持装置或可穿戴装置。例如，控制终端304可以包括智能电话、平板电脑、膝上型电脑、计算机、眼镜、手套、头盔、麦克风或其合适的组合。而且，控制终端304可以支持一个或多个应用306(诸如移动应用)的运行。
控制终端304可以被配置为经由显示器显示从可移动物体302接收的数据。所显示的数据可以包括感测数据，例如，由可移动物体302承载的成像装置获取的图像(例如，静止图像和视频)。所显示的数据还可以包括与图像数据分开显示或叠加在图像数据上的信息。例如，显示器可以被配置为显示用指示符(例如框、圆圈、或者围绕特征区域或对象的任何其他几何形状)来指示或高亮特征区域或对象的图像。在一些实施例中，接收到的手势的轨迹或轮廓可以叠加在图像数据上，并且可以基于可移动物体的移动而改变大小。例如，当图像视图的调整时，手势轨迹可能会减小。在一些实施例中，当从可移动物体接收图像数据和跟踪信息和/或获取图像数据时，基本实时地显示图像和跟踪指示符。在其他实施例中，可以在一些延迟之后提供显示。
控制终端304可以被配置为经由输入设备接收用户输入。输入设备可以包括操纵杆、键盘、鼠标、触笔、麦克风、图像或运动传感器、惯性传感器、触摸屏、对象跟踪器等。可以使用任何合适的用户输入来与终端进行交互，诸如手动输入的命令、语音控制、手势控制或位置控制(例如，通过终端的移动、位置或倾斜)。例如，控制终端304可以被配置成允许用户通过操纵操纵杆、改变控制终端的朝向或姿态，使用键盘、鼠标、手指或触笔与图形用户界面交互、或通过使用任何其他合适的方法，来控制可移动物体、载体、负载或其任何组件的状态。
在一些实施例中，控制终端304可以被配置为提供控制数据或提供可以由可移动物体302上的控制器314用于生成控制数据的数据。控制数据可以用于直接或间接地控制可移动物体302的各个方面。在一些实施例中，控制数据可以包括用于控制可移动物体的导航参数(例如，可移动物体302的位置、速度、朝向或姿态)的导航命令。例如，控制数据可以用于控制可移动物体的飞行。控制数据可以影响一个或多个可影响可移动物体的飞行的推进单元的操作。在其他情况下，控制数据可以包括用于控制可移动物体302的各个组件的命令。
在一些实施例中，控制数据可以包括用于控制载体310的操作的信息。例如，控制数据可以用于控制载体310的致动机构，以引起图像捕捉装置312相对于可移动物体302的角度移动和/或线性移动。作为另一示例，控制数据可以被用来控制载体310的移动。作为另一示例，控制数据可以用于调整图像捕捉装置312的一个或多个操作参数，例如，拍摄静止或移动图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变镜头速度、改变视角或视野等。在其他实施例中，控制数据可以用于控制可移动物体302的感测系统(未示出)、通信系统(未示出)等。
在一些实施例中，来自控制终端304的控制数据可以包括与通过应用306接收的基于手势的输入相关联的数据，所述数据可以由可移动物体302上的控制器304用于生成控制数据。例如，图像捕捉装置312可以捕捉实况图像数据并将其流式传输给应用306，应用306可以将实况图像数据显示为图像视图308。图像视图308可以包括可移动物体302附近的任何自然的或人造的对象或结构，例如，地理景观(例如山脉、植被、山谷、湖泊或河流)、建筑物、交通工具(例如飞机、轮船、小汽车、卡车、公共汽车或摩托车)、人或动物。可以通过应用306来接收基于手势的输入(例如，轻扫、捏、轻击或其他手势)。例如，在图像视图308显示在触摸屏上的情况下，当触摸屏检测到手势时，可以接收基于手势的输入。在各种实施例中，图像视图308可以由各种客户端装置来显示，并且可以根据客户端装置的能力来检测手势。例如，虚拟现实头戴式显示器可以显示图像视图308并且监视用户眼睛的位置(例如，焦点、方向等)，并且基于用户眼睛的移动来检测手势。在某些实例中，应用306和/或可移动物体302可以被配置为对图像捕捉装置312捕捉的图像数据执行对象识别以识别在图像数据中表示的特定对象(例如建筑物、地标、人、车等)。可以针对所识别的对象来确定已知对象的细节(例如，建筑物的高度和海拔以及位置坐标)。
在一些实施例中，当检测到手势时，系统可以确定手势的类型。例如，轻扫手势可以被确定为包括图像视图308的坐标系内的触摸点316(例如，手势的开始)、释放点318(例如，手势的结束)以及沿着手势320之间的各个点。捏放手势可以被确定为具有多个触摸点和多个释放点。其他手势可以与触摸点、释放点和干预运动的不同组合相关联。基于触摸点和释放点坐标，可以确定手势的大小和方向。附加地或备选地，可以在图像数据中识别与触摸点相关联的特征区域322。特征区域322可以包括图像视图308中与用于接触图像视图308的手指或触笔大小相似的区域。在一些实施例中，特征区域的大小可以是由用户、管理员、制造商或其他实体设置的可配置值。在特征区域内，可以识别出一个或多个特征点。特征点可以对应于在图像视图中表示的一个或多个视觉特征，例如，高对比度区域、边缘、感兴趣区域、或者可以使用计算机视觉和图像处理技术来识别的其他特征。
一旦识别出一个或多个特征点，就可以跟踪图像视图中特征点的坐标。可以将特征点的当前位置信息与检测到的手势的坐标进行比较。至少部分基于图像视图中的特征点的当前位置与参考点(诸如手势的释放点)之间的差，可以生成控制信号(例如，通过可移动物体上的一个或多个处理器来生成)，所述控制信号使得进行调整以改变可移动物体302的位置，从而减小特征区域322的显示位置与手势的释放点318之间的差。
调整可以涉及可移动物体、载体和/或图像捕捉装置(或其他负载)。例如，调整可以使得可移动物体和/或负载(例如，图像捕捉装置)改变其位置、姿态、朝向、角速度和/或线速度等。调整可以使得载体将负载(例如，图像捕捉装置)相对于可移动物体进行移动，例如，围绕或沿着一个、两个、三个或更多个轴移动。此外，调整可以包括对负载(例如图像捕捉装置)本身的缩放、聚焦或其他操作参数进行调整(例如放大/缩小)。
在一些实施例中，可以至少部分地基于检测到的手势的类型来生成调整。例如，轻扫手势可以对应于可移动物体和/或负载(例如经由载体)围绕一个或两个旋转轴旋转，而捏放手势可以对应于可移动物体的位置改变，以便被置于与特征区域或感兴趣对象更接近或更远离(例如，增大或减小特征区域322的大小)。其他手势可以对应于可移动物体和/或负载围绕两个或三个旋转轴旋转、负载设置(例如相机变焦)的调整或其他调整。在一些实施例中，多个手势可以组合成一个输入。例如，可以使用多点捏放手势进行放大或缩小，同时可以旋转保持接触触摸点，以调整视图的朝向。
在各种实施例中，可以经由控制信号控制诸如可移动物体、载体、成像装置或其任意组合的一个或多个可控对象来实现与检测到的手势相对应的调整。在一些实施例中，可以选择可控对象来实现调整，并且可以至少部分地基于可控对象的配置或设置来生成相应的控制信号。例如，对应于轻扫手势的调整(例如，改变图像视图308的朝向)涉及围绕两个轴(例如，航向和俯仰)的旋转，如果成像装置刚性耦接到可移动物体并因此不允许相对于可移动物体移动的话，则可以仅通过可移动物体围绕这两个轴的相应旋转来实现该调整。当成像装置直接耦接到可移动物体时，或者当成像装置经由不允许成像装置和可移动物体之间的相对移动的载体而耦接到可移动物体时，可能是这种情况。如果载体允许成像装置相对于可移动物体围绕至少一个轴旋转，则可以通过将对可调整对象和载体的调整组合来实现相同的双轴调整。在这种情况下，可以控制载体以实现围绕调整所需的两个轴中的一个或两个轴的旋转，并且可以控制可移动物体以实现围绕两个轴中的一个或两个轴的旋转。例如，载体可以包括单轴云台，其允许成像装置围绕调整所需的两个轴中的一个轴旋转，而围绕其他轴的旋转则由可移动物体来实现。备选地，如果载体允许成像装置相对于可移动物体围绕两个或更多个轴旋转，则载体可以单独实现相同的双轴调整。例如，载体可以包括双轴或三轴云台。
作为另一示例，可以通过控制成像装置的放大/缩小(例如，如果成像装置支持所要求的缩放水平)，通过控制可移动物体的移动(例如，以便接近或远离给定特征区域)，或者通过组合成像装置的放大/缩小和可移动物体的移动，来实现对应于捏放手势的调整，例如，对图像视图进行缩放。可移动物体上的处理器可以做出关于要调整哪个对象或对象组合的确定。例如，如果成像装置不支持所要求的缩放水平，则可以控制成像装置进行移动而不是调整成像装置的变焦，或除了调整成像装置的变焦之外还进行移动。
其他约束的示例可以包括可移动物体、载体和/或负载(例如成像装置)的旋转角度、角速度和/或线速度、操作参数等的最大和/或最小限制。这样的最大和/或最小阈值可以用于限制调整的范围。例如，可移动物体和/或成像装置围绕特定轴的角速度可以受到可移动物体、载体和/或负载(例如成像装置)所允许的最大角速度的限制。作为另一示例，可移动物体和/或载体的线速度可以受到可移动物体、载体和/或负载(例如成像装置)所允许的最大线速度的限制。作为又一示例，对成像装置的焦距的调整可能受到特定成像装置的最大焦距和/或最小焦距的限制。在一些实施例中，这样的限制可以是预定的，并且取决于可移动物体、载体和/或负载(例如成像装置)的特定配置。在某些实例中，这样的配置可以是可配置的(例如，由制造商、管理员或用户来配置)。
图4示出了根据本发明的各种实施例的使用图像中的特征点的位置来控制可移动物体环境中的可移动物体的导航。如上所述，图像视图308中所示的图像数据可以从图像捕捉装置312实时获得。由此，一旦控制信号开始使得图像捕捉装置312和/或可移动物体302改变位置和/或姿态，图像视图308中的特征区域322的位置将改变。如图3所示，图像视图308表示时间t0处的图像数据。在图4中，分别示出了表示时间t1、t2和t3处的图像数据的三个附加的图像视图400、402和404。如本文所使用的，特征区域或者手势内点(包括触摸点和释放点)的坐标可以表示该特征区域或手势点的中心点。基于检测到手势的客户端装置，可以通过几何方法或者其他技术来确定中心点。
如图4所示，在时间t1的图像视图400中，特征区域406表现为更接近释放点318。可以将特征区域406的图像视图400中的坐标与释放点318的坐标进行比较以确定控制向量408。如下面进一步讨论的，可移动物体和/或应用可以使用控制向量来生成上述调整。因此，该差可以用作反馈信号，减少调整，直至特征区域表示在手势所示的位置上。例如，如图像402所示，在时间t2，特征区域410表示在更靠近释放点的新位置处。因此，表示图像视图402中特征区域410与释放点318之间的坐标差的控制向量412较小。因此，基于控制向量412做出的调整将比基于控制向量408做出的调整产生较小的改变。图像视图404示出了时间t3处在适合的位置处的特征区域414，其覆盖了释放点318。系统可以通过确定控制向量小于阈值来确定特征区域在图像视图404中适合的位置上示出，或者可以在不计算特征向量的情况下，确定特征区域的坐标在释放点的坐标的阈值偏差以内。尽管参照释放点讨论了图4的实施例，但可以使用任何参考触摸点来控制图像视图。例如，释放点318可以表示当前触摸点、初始触摸点或沿着手势的任何其他点。
图5示出了根据本发明的各种实施例的在可移动物体环境中将对象从三维坐标系投影到二维坐标系。如图5所示，可移动物体环境500中的可移动物体502可以包括诸如相机504的图像捕捉装置。在各种实施例中，如上所述，相机504可以经由载体耦接到可移动物体502，该载体使得能够独立于和/或与可移动物体502的姿态一致地控制相机的姿态。相机504可以捕捉表示可移动物体环境500的图像数据。图像数据表示相机视场内的可移动物体环境在具有图像坐标508的图像平面506上的投影。
如图5所示，可以基于孔径成像模型来表示可移动物体环境的成像，该孔径成像模型假定来自三维空间中的物点的光线可被投影到图像平面上以形成图像点。光轴510可以穿过镜中心512和图像中心。如实线514所示，镜中心和图像中心之间的距离可以等于或基本类似于焦距。仅用于说明的目的，可以将图像平面506移动到光轴510上与镜中心512的距离为焦距的镜位置处。
可移动物体环境500中的各种对象(例如对象514)可以用可移动物体环境500中的世界坐标516和代表该对象在图像平面506上的投影的图像坐标506来表征。例如，对象514可以具有世界坐标516中的顶点(xt，yt，zt)和底点(xb，yb，zb)，其在图像平面506上分别投影为图像中的顶图像点(ut，vt)和底图像点(ub，vb)。相机504的视场内的每个对象可以从三维空间投影到图像平面506的二维空间。
表示三维可移动物体环境在二维图像平面上的投影的图像数据可以显示在一个或多个参考显示器上。图像数据中表示的对象和/或特征的位置可以被确定为参考显示器上的坐标。例如，平板电脑可以接收并显示图像数据。平板电脑可以包括触摸屏界面，图像数据显示在触摸屏界面上，并且通过触摸屏界面可以接收基于手势的输入。因此，平板电脑可以用作参考显示器，在参考显示器中可以确定与基于手势的输入相对应的触摸点的坐标和与图像数据中表示的对象和/或特征相对应的坐标。然后可以使用参照相同参考显示器确定的坐标来控制可移动物体和/或载体。
图6示出了根据本发明的各种实施例的示例性的基于图像的导航命令。如上所述，在各种实施例中，可以通过与从可移动物体和/或从与其耦接的图像捕捉装置接收的图像数据的交互来控制可移动物体。如图6所示，这种交互可以是通过客户端装置的触摸屏界面接收的基于手势的输入。尽管这里参照触摸屏界面描述了实施例，但是也可以使用由客户端装置实现的其他界面来接收可以用于控制可移动物体的输入。例如，客户端装置可以包括检测例如客户端装置在被用户操纵时的位置和/或朝向的各种位置传感器和/或朝向传感器。在一些实施例中，客户端装置可以被配置为检测相对于客户端装置的环境变化。例如，头戴式显示器(诸如虚拟现实头戴设备)可以被配置为监视用户眼睛的移动和/或焦点，并且可以将其用作输入来控制可移动物体。基于眼睛或头部的手势的参考触摸点可以包括：用户当前聚焦在显示器上的点、当检测到手势时用户聚焦在显示器上的初始点、当手势结束时用户聚焦在显示器上的释放点、或者沿着手势的任何其他点。
如图6所示，在客户端装置602上执行的应用600可以显示由可移动物体和/或耦接到可移动物体的相机捕捉到的图像数据604。在一些实施例中，可以从捕捉图像数据的可移动物体和/或相机接收图像数据，或者可以从另一个数据源接收图像数据。例如，图像数据可以被发送到服务器(例如，在基于云的基础设施环境、内容传递网络或其他服务器环境中)，并且客户端装置602可以被配置为从服务器接收图像数据。在一些实施例中，客户端装置602可以包括触摸屏界面，通过触摸屏界面可以接收一个或多个输入命令。如所讨论的，这些输入命令可以以基于手势的输入的形式被接收，在基于手势的输入中，用户选择触摸屏上的一个或多个触摸点，并且在保持与触摸屏接触的同时向触摸屏上的一个或多个释放点移动，从而形成手势。
例如，在应用600中，用户选择触摸点606并轻扫至释放点608。如所讨论的，可以分析触摸点606周围的特征区域，并且可以识别特征区域内的一个或多个特征点。如图6所示，特征区域包括建筑物的一部分，并且可以识别表示建筑物的该部分的各个特征点。手势可以指示可移动物体和/或应当移动相机，使得在触摸点606处被识别的特征点应该在释放点608处被表示。类似地，在应用610中，用户用捏放手势来选择多个触摸点612、614。可以分析每个触摸点612、614的特征区域，并且可以识别每个特征区域的对应特征点。捏放手势可以指示可移动物体和/或相机应该移动以基于该手势中触摸点的位置变化来进行放大或缩小(例如，使用相机上的机械或数字变焦，或通过从当前位置移动可移动物体)。如上所述，在一些实施例中，可以将手势组合以产生不同的视图变化。例如，捏放手势可以与旋转手势组合，其中触摸点612、614围绕触摸点612、614之间的中心点以基本圆形的旋转进行旋转。然后，可以基于组合手势来放大和旋转视图。
图7示出了根据本发明的各种实施例的在可移动物体环境700中相对于可移动物体的图像坐标。作为上面参照图5描述的投影的结果，可以基于可移动物体702和/或耦接到可移动物体的图像捕捉装置704的姿态来建立坐标系。
如图7所示，(Vx，Vy，Vz)表示坐标系，具有形成图像平面的由Vx指示的平行于镜头的方向(例如，在与页面正交的方向上)和与Vx正交的Vy方向、以及由Vz指示的与镜头正交的方向。使用该图像坐标系，诸如图像视图706和图像视图708的图像视图可以在(x，y)平面上进行表征。
在图像视图706中，接收图像视图706内的基于手势的输入。初始接触点由点f表示，释放点由点t表示。尽管参照包括触摸点和释放点的已完成手势来讨论本示例，但是这是为了简化说明，而不意图进行限制。本发明的实施例可以应用于手势期间的任何点，因为这样的点t可以被用来表示基于手势输入中的任何第二点，并且不限于基于手势的输入中的最后一个点。可以根据基于手势的输入来计算控制。例如，与图像视图706中示出的手势对应的、用于可移动物体、载体和/或图像捕捉装置在x和y方向上的速度控制信号可以计算如下：
Vx＝KP1*(Xf-Xt)
Vy＝KP2*(Yf-Yt)
相应地，特征区域和释放点之间的距离越大，在x方向和y方向上的相应的速度控制信号越大。类似地，如图像视图708所示，对于诸如捏放手势的多点触摸手势，可移动物体在z方向上的速度控制信号可以计算如下：
Vz＝KP3*(Distance(f1，f2)-Distance(t1，t2))
其中“Distance”表示连接两个点的向量的大小，表示这些点相隔多远。
如上所示，每个速度控制等式包括控制参数KP1，KP2，KP3，所述控制参数可以是可调整的(例如，由用户、制造商、管理员来调整，或者由应用或控制器自动调整)。可以基于例如可移动物体的响应时间、环境条件、通信延迟或可能影响性能的其他因素来调整控制参数。在一些实施例中，速度控制信号可以由应用来计算并且被发送到可移动物体上的控制器，用于生成可移动物体的相应导航命令。如下面进一步讨论的，特征区域的坐标和当前参考手指位置之间的差可以用作实时反馈，使得可移动物体和/或图像捕捉装置的位置和朝向能够被实时地调整，以遵循基于手势的输入。
图8示出了根据本发明的各种实施例的提供基于图像的导航的系统800的框图。如图8所示，可以使用在控制终端808或其他客户端装置上执行的应用804来控制可移动物体802。可移动物体802可以包括图像捕捉装置806，图像捕捉装置被配置为捕捉可移动物体环境中的图像数据且将数据发送到控制终端808。图像数据可以显示在应用804的图像视图810中。如上所讨论的，图像视图810可以包括由图像捕捉装置806捕捉的图像数据的实时或基本实时的视图。
可以通过图像视图810来接收基于手势的输入。例如，应用804可以显示在触摸屏界面上，触摸屏界面包括在控制终端808中或可通信地耦接到控制终端808。如所讨论的，基于手势的输入可以包括轻扫、轻敲、捏放、或其他单点触摸或多点触摸手势。应用804可以检测通过图像视图810接收的基于手势的输入。在一些实施例中，应用804可以检测手势是单点触摸还是多点触摸手势。附加地或备选地，应用804可以确定图像视图810中与基于手势的输入相关联的坐标，包括触摸点、释放点以及触摸点和释放点之间的一个或多个点。应用804可以通过控制终端808将手势的坐标和类型指示(例如，单点触摸或多点触摸)发送给可移动物体802。
在一些实施例中，当检测到单点触摸手势时，识别基本上以手势的第一触摸点为中心的特征区域。当用户的手指移动时，实时跟踪特征区域的坐标和用户的手指的坐标。如所讨论的，可以确定表示特征区域的位置和用户手指之间的差的控制向量。基于控制向量，可以确定控制数据，所述控制数据包括用于控制可移动物体的导航参数(例如，可移动物体802的位置、速度、朝向或姿态)的导航命令。在各种实施例中，控制数据可以包括用于调整可移动物体、载体和/或图像捕捉装置(或其他负载)的指令。在一些实施例中，控制数据可以由应用804来确定，并且通过控制终端808发送给控制器812。在一些实施例中，控制数据可以由控制器812基于从应用804接收的基于手势的输入数据来确定。图像捕捉装置806可以持续地捕捉图像数据并且通过控制终端808将图像数据返回给应用804。在用户完成手势之前(例如，在检测到释放点之前)，用户手指在图像视图810上的坐标可以持续地被应用804检测到并被发送给可移动物体802。在一些实施例中，当特征区域的位置在图像数据中移动时，应用804还可以识别图像视图810中的特征区域。特征区域的坐标可以被返回给可移动物体804。在各种实施例中，控制数据可以包括用于调整可移动物体、载体和/或图像捕捉装置(或其他负载)的指令和/或可以用于生成用于调整可移动物体、载体和/或图像捕捉装置(或其他负载)的指令。
使用控制数据，控制器812可以生成导航命令。例如，如果基于手势的输入指示要向上或向下移动图像，则导航指令可以使可移动物体相应地向上或向下移动。在一些实施例中，当可移动物体向上或向下移动时，导航命令可以考虑图像捕捉装置的姿态以保持图像视图810的朝向。例如，导航命令可以使可移动物体相对于图像捕捉装置的俯仰角以对角方式向上或向下移动，使得图像视图看起来向上或向下移动，而不改变其朝向。类似地，如果基于手势的输入指示要向左或向右移动图像，则导航命令可以使可移动物体802相对于机身相应地向左或向右移动，使得图像相应地向左或向右移动。在一些实施例中，图像捕捉装置806可以通过使图像捕捉装置能够独立于可移动物体移动的载体与可移动物体802耦接。导航命令可以包括给载体的使图像捕捉装置相应地向左或向右移动的命令。类似地，如果基于手势的输入指示图像将被对角地移动，则导航命令可以使可移动物体双向移动，使得根据检测到的手势来调整图像视图810。
在一些实施例中，在检测到多点触摸手势(例如，捏放手势)的情况下，每个初始触摸点都可以被识别为特征区域。可以确定特征区域之间的差(例如，两个初始点之间的向量的大小)，并且还可以确定用户手指的位置之间的差。如所讨论的，可以使用这些量值之间的差来确定针对可移动物体在z方向上移动的控制数据。在一些实施例中，控制器812可以从应用804接收坐标，并且可以确定量值的差和对应的导航命令。在一些实施例中，应用804可以确定量值的差，并且控制器812可以使用该差来确定导航命令。本领域的普通技术人员将认识到，控制数据和导航命令的特定处理可以由应用804、可移动物体804或其任意组合来执行。在一些实施例中，与应用804和可移动物体802通信的远程服务器可以处理坐标并确定控制数据和/或导航指令。
图9示出了根据本发明的各种实施例的可移动物体环境中的基于手势的系统900的框图。如上讨论的，控制器902可以基于从应用904接收的基于手势的输入来确定可移动物体的导航命令。可以在图像捕捉装置906捕捉并且在图像视图908中显示的图像数据中识别与基于手势的输入相对应的特征区域。参考触摸点的坐标(例如，与用户手指的初始位置对应的触摸点、用户手指的释放位置、用户当前正用手指、触笔或其他工具触摸的当前位置、或者沿手势的任何其他位置)以及图像视图908中的特征区域的坐标可以被发送到控制器902。例如，控制器902可以包括被配置为接收用户的参考触摸点的坐标的导航输入模块910。在一些实施例中，应用904还可以确定图像视图908中的特征区域的坐标。附加地或备选地，控制器902可以从图像捕捉装置906接收图像数据，并且特征区域监视器912可以识别图像数据中的特征区域的坐标。
根据本发明的各种实施例，特征区域监视器912可以确定图像数据中的各种特征之间的相似性。在一些实施例中，与初始触摸点相关联的特征区域可以存储为特征模型，并用于识别后续图像数据中的特征区域。在一些实施例中，特征区域中的一个或多个特征点可以被识别并用于识别后续图像数据中的特征区域。例如，可以将对应于特征区域的特征模型和/或一个或多个特征点与后续图像数据进行比较，以识别匹配区域。在一些实施例中，可以基于该比较，针对后续图像数据的各个区域来计算相似度得分或值。具有高于阈值的相似度得分的区域可以被确定为后续图像数据的特征区域。然后，可以确定后续图像数据的特征区域的坐标。
在一些实施例中，图像朝向控制器914可以接收参考点(例如，当前的触摸点、释放点或沿手势的任何其他触摸点)的坐标和特征区域的坐标。如下面进一步讨论的，图像朝向控制器可以确定参考触摸点和特征区域之间的差，并且确定与该差相对应的控制数据。例如，控制数据可以包括用于控制可移动物体沿一个或多个轴的速度的速度控制信号。控制信号可以被导航模块916接收，所述导航模块916接收来自图像朝向控制器的控制数据并生成用于控制可移动物体的导航参数(例如可移动物体的位置、速度、朝向或姿态)的导航命令。例如，导航命令可以影响一个或多个可影响可移动物体的飞行的推进单元的操作。在其他情况下，导航命令可以包括用于控制可移动物体的各个组件的命令。在一些实施例中，导航命令可以包括用于控制载体以独立于可移动物体的方式来控制图像捕捉装置906的命令。
图10示出了根据本发明的各种实施例的可移动物体环境中的图像方向控制器1000的框图。参照单点触摸输入手势来描述图10所示的实施例。如所讨论的，本领域的普通技术人员将会理解，多触摸手势也得到本发明的各种实施例支持，并且可以与类似的控制图相关联。如所讨论的，在1002，图像朝向控制器1000可以接收图像视图中与参考触摸点相对应的坐标。如所讨论的，参考触摸点可以包括与用户手势的初始位置、用户手势的释放位置、用户手势的当前位置或沿手势的任何其他位置相对应的触摸点。另外，在1004，可以接收与特征区域(或一个或多个特征点)相对应的坐标。可以确定坐标之间的差1006，以生成表示两组坐标之间的误差(例如，差)的控制向量。控制向量包括分别表示触摸坐标和特征区域坐标之间在X方向和Y方向上的误差(例如，差)的X分量1010和Y分量1012。
如图10所示，控制向量的Y分量可以首先用作载体俯仰的控制信号。载体控制俯仰信号1014可以基于Y误差1012来确定，并且可以从当前载体俯仰值1016中减去载体控制俯仰信号1014。如上所述，可以使用载体俯仰传感器来确定载体的当前俯仰位置。当前载体俯仰值1016可以取负(negatively)以与载体控制俯仰信号1014进行组合1018。然后可以将得到的载体俯仰控制信号与Y误差信号1012进行加性组合(1020)。然后可以使用得到的控制信号来驱动可移动物体的竖直运动1022。这样，可以首先基于Y误差信号来调整载体俯仰，并且如果载体俯仰调整适当，则可以减少或消除由此产生的可移动物体竖直移动。如果当前的载体俯仰使得图像捕捉装置不能被进一步调整，则通过调整可移动物体的竖直位置来进行调整。
另外，如图10所示，X误差1010可以类似地用于控制载体航向。如在上述载体俯仰中那样，X误差1010可以用于确定载体航向控制信号1024，载体航向控制信号1024可以取负以与当前载体航向值1026组合1028。如上所述，可以使用载体航向传感器来确定载体的当前航向位置。然后可以将得到的载体航向控制信号与X误差信号1010进行加性组合(1030)。然后，可以使用得到的载体调整航向控制信号来确定可移动物体1032的航向控制信号。由此，可以首先基于X误差信号来调整载体航向，并且如果载体航向调整适当，则可以减少或消除由此产生的可移动物体航向运动。如果当前的载体航向使得图像捕捉装置不能被进一步调整，则通过调整可移动物体的航向来进行调整。可移动物体的航向控制信号1032可以取负以与可移动物体1034的当前航向位置组合1036。得到的控制信号可以与载体调整航向控制信号进行加性组合1038，以驱动可移动物体的横向移动1040。
得到的横向移动1040和竖直移动1022控制信号可以被组合1042并且被用于生成导航命令，并且可以使得可移动物体相应地移动。然后可以确定1044特征区域的新坐标，并将其用作图像朝向控制器的反馈，并用作特征区域坐标1004的新值。附加地或备选地，还可以确定当前触摸点1002的新坐标，并且控制循环可以继续进行处理。在一些实施例中，控制循环可以继续，直到坐标误差1008被驱动为零或低于最小阈值。
根据本发明的各种实施例，图像朝向控制器1000可以被实现为一个或多个硬件和/或软件控制器，包括例如比例积分微分控制器(PID控制器)或其他控制器。
图11示出了根据本发明的各种实施例的使用对象识别来识别可移动物体环境中的对象表示。如图11所示，可移动物体1100可以与应用1102通信。如所讨论的，应用1102可以在包括诸如台式计算机、膝上型计算机、平板电脑、智能电话、可穿戴计算机或其他移动设备的客户端装置在内的控制终端上执行。应用1102可以包括显示从图像捕捉装置1106接收的图像数据的图像视图1104。图像数据可以包括可移动物体环境中的图像捕捉装置1106的视图内的各种对象1108。
在各种实施例中，可移动物体1100可以包括对象识别模块1110。使用对象识别模块，可以识别图像数据中描绘的与至少一个特征点相关联的至少一个对象。例如，对象B可以是与至少一个对象相对应的特征模型，然后可以获得。特征模型可以表示至少一个对象的图像特征。在一些实施例中，例如，可以通过将图像视图1104中的每个对象1108与对象识别模块1110可访问的特征模型库进行比较来自动识别每个对象。在一些实施例中，可以在选择时识别对象，所述选择例如是基于手势的输入的一部分。例如，如图11所示，选择了对象B。然后可以将对象B与可用特征模型进行比较来识别该对象。如所讨论的，可以基于对象识别和计算机视觉技术，针对每个对象-特征模型对来计算相似度得分。当相似度得分大于阈值得分时，可以确定匹配。在一些实施例中，还可以针对所识别的对象来获取诸如高度、海拔和地理坐标的对象数据。
当从图像捕捉装置1106接收附加图像数据时，可以监视所识别的对象的坐标。在一些实施例中，可以从图像捕捉装置接收后续图像数据。可以从后续图像数据中提取一个或多个特征，并将其与特征模型进行匹配。然后，可以确定与后续图像数据中的至少一个对象的位置相对应的第三参考坐标。在一些实施例中，可以基于与至少一个对象相关联的对象数据来确定可移动物体相对于至少一个对象的位置。
图12示出了根据本发明的各种实施例的在可移动物体环境中使用基于手势的控制来导航可移动物体的流程图1200。在步骤1202，可以从图像捕捉装置接收与第一视图相关联的图像数据。
在步骤1204，可以检测指示从来自图像捕捉装置的第一视图到第二视图的改变的基于手势的输入。基于手势的输入可以与图像数据的至少一个第一区域相关联。在一些实施例中，可以分析基于手势的输入以识别与图像数据的至少一个第一区域相关联的图像数据中的至少一个特征点。基于手势的输入可以包括与图像数据的至少一个第一区域相对应的第一点。可以计算与表示至少一个第一区域的第一点相对应的第一参考坐标。
在一些实施例中，可以确定与基于手势的输入的第二点相对应的第二参考坐标，并且然后可以确定表示第一参考坐标和第二参考坐标之间的差的控制向量。控制向量可以表示两个坐标之间的差或误差。然后，包括基于控制向量的控制信号在内的控制数据可以被发送到可移动物体。在一些实施例中，可以从图像捕捉装置接收后续图像数据，并且可以在后续图像数据中识别至少一个特征点。然后，可以确定与后续图像数据中的至少一个特征点的位置相对应的第三参考坐标。如所讨论的，控制循环可以继续处理，并且可以确定表示第三参考坐标和第二参考坐标之间的差的后续控制向量。后续控制信号可以基于后续控制向量来确定并被发送到可移动物体。
在步骤1206，可以确定与从第一视图到第二视图的改变相关联的控制数据。控制数据可以基于与基于手势的输入相关联的一个或多个参考坐标来确定。在一些实施例中，控制数据可以被发送到与例如可移动物体、服务器、客户端装置或其他计算设备相关联的通信模块。
在一些实施例中，可以确定基于手势的输入与图像数据的至少一个第二区域相关联。例如，多点触摸手势可以与多个图像数据区域相关联，所述多个图像数据区域与检测到的每个初始触摸点相对应。可以计算与至少一个第一区域相对应的第一参考坐标和与至少一个第二区域相对应的第二参考坐标。然后可以基于第一参考坐标和第二参考坐标之间的差来计算控制向量。计算控制向量可以包括：确定与第一参考坐标和第二参考坐标之间的距离相对应的第一值，并且确定与至少一个第一区域和至少一个第二区域之间的距离相对应的第二值。然后，可以基于第一值和第二值之间的差来确定控制向量。
如所讨论的，在一些实施例中，控制数据可以包括用于控制所述可移动物体的导航参数的导航命令，所述导航参数是使用所述图像数据的所述至少一个第一区域和所述一个或多个参考坐标来计算的。在各种实施例中，基于手势的输入包括一次或多次轻击、轻扫手势、捏放手势、眼睛姿态或音频命令中的一个或多个。在各种实施例中，与所述基于手势的输入相关联的所述一个或多个参考坐标对应于显示所述图像数据的参考显示器，其中所述参考显示器包括头戴式显示器、触摸屏显示器或投影显示器中的一个或多个。
图13示出了根据本发明的各种实施例的在可移动物体环境中基于基于手势的控制来接收导航命令的流程图1300。在步骤1302，可以捕捉与可移动物体上的图像捕捉装置的第一视图相关联的图像数据。
在步骤1304，可以接收控制数据。控制数据可以与对应于基于手势的输入的一个或多个参考坐标相关联，所述基于手势的输入指示从可移动物体上的图像捕捉装置的第一视图到第二视图的改变。基于手势的输入可以与图像数据的至少一个第一区域相关联。
在一些实施例中，可以接收与至少一个第一区域相对应的第一参考坐标。第一参考坐标可以表示与图像数据的至少一个第一区域相关联的第一点。也可以接收与基于手势的输入的第二点相对应的第二参考坐标。可以获得基于表示第一参考坐标和第二参考坐标之间的差的控制向量的控制信号。例如，如所讨论的，控制信号可以由可移动物体上的控制器、应用、或者可通信地耦接到可移动物体和应用的任何其他计算设备来确定。
在步骤1306，可以基于控制数据使可移动物体或图像捕捉装置中的至少一个移动。在一些实施例中，可以基于控制信号来确定第一控制数据。第一控制数据可以对应于与从第一视图到第二视图的改变相关联的图像捕捉装置的移动。可以基于控制信号和第一控制数据，确定第二控制数据。第二控制数据可以对应于与从第一视图到第二视图的改变相关联的可移动物体的位置改变或姿态改变中的至少一个。然后，可以基于第二控制数据来确定导航指令。在一些实施例中，可以使用第一控制数据来使图像捕捉装置旋转。可以执行导航指令以使可移动物体改变位置或姿态中的至少一个。
在一些实施例中，可以捕捉后续图像数据，并且可以接收后续控制数据。后续控制数据包括至少第三参考坐标，所述第三参考坐标对应于与所述后续图像数据中的所述至少一个第一区域相关联的一个或多个特征的位置。然后，可以获得基于表示所述第三参考坐标和所述第二参考坐标之间的差的后续控制向量的后续控制信号。在一些实施例中，基于后续控制信号确定第一后续控制数据，所述第一后续控制数据对应于与从第一视图到第二视图的改变相关联的图像捕捉装置的移动。基于后续控制信号和第一后续控制数据来确定第二控制数据，所述第二控制数据对应于与从第一视图到第二视图的改变相关联的可移动物体的位置改变或姿态改变中的至少一个。然后，可以基于第二后续控制数据来确定后续导航指令。
在一些实施例中，可以使用第一后续控制数据使图像捕捉装置进一步旋转。类似地，可以执行一个或多个后续导航指令以使可移动物体进一步改变位置或姿态中的至少一个。
在一些实施例中，可以确定控制数据与图像数据的至少一个第二区域以及对应于该至少一个第一区域的第一参考坐标相关联，并且，可以获得与该至少一个第二区域相对应的第二参考坐标。然后可以基于第一参考坐标和第二参考坐标之间的差来计算控制向量。在一些实施例中，可以通过确定与第一参考坐标和第二参考坐标之间的距离相对应的第一值以及与至少一个第一区域和至少一个第二区域之间的距离相对应的第二值来计算控制向量。然后，可以基于第一值和第二值之间的差来确定控制向量。使用控制向量，可以确定与从第一视图到第二视图的改变相关联的可移动物体的位置改变相对应的第一控制数据。然后，可以基于第一控制数据来确定一个或多个导航指令。可以执行一个或多个导航指令以使可移动物体基于控制向量来改变位置。
本发明的许多特征可以以硬件、软件、固件或其组合的形式执行，或者使用硬件、软件、固件或其组合执行，或者借助于硬件、软件、固件或其组合执行。因此，可以使用处理系统(例如，包括一个或多个处理器)来实现本发明的特征。示例性处理器可以包括但不限于：一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
本发明的特征可以以计算机程序产品的形式、或者使用计算机程序产品、或者借助于计算机程序产品执行，计算机程序产品例如是具有存储在其上/内的指令的存储介质(媒介)或计算机可读介质(媒介)，这些指令可用于对处理系统进行编程以执行本文陈述的任何特征。存储介质可以包括但不限于任何类型的盘，包括：软盘，光盘，DVD，CD-ROM，微型驱动器和磁光盘，ROM，RAM，EPROM，EEPROM，DRAM，VRAM，闪存设备，磁卡或光卡，纳米系统(包括分子存储器IC)或者适于存储指令和/或数据的任何类型的介质或设备。
存储在任何一个机器可读介质(媒介)上的本发明的特征可以并入软件和/或固件中，用来对处理系统的硬件进行控制，并且用来使处理系统能够利用本发明的结果与其他机构进行交互。这样的软件或固件可以包括但不限于应用代码、设备驱动程序、操作系统和执行环境/容器。
本发明的特征还可以使用例如诸如专用集成电路(ASIC)和现场可编程门阵列(FPGA)设备的硬件组件以硬件实现。实现硬件状态机以执行在此描述的功能对于相关领域的技术人员将是显而易见的。
此外，可以使用包括一个或多个处理器、存储器和/或根据本公开的教导编程的计算机可读存储介质在内的一个或多个常规通用或专用数字计算机、计算设备、机器或微处理器，来方便地实现本公开的实施例。编程技术人员可以根据本公开的教导容易地准备适当的软件编码，这对软件领域的技术人员将是显然的。
尽管上面已经描述了本发明的各种实施例，但是应当理解，它们仅仅是作为示例而不是限制来提出的。本领域普通技术人员应该清楚的是在不脱离本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
以上已经在功能构建块的辅助下描述了本发明，这些功能构建块示出了指定功能及其关系的执行。为便于描述，本文通常任意定义这些功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义备选边界。因此，任何这样的替代的边界都在本发明的范围和精神内。
已经提供了本发明的上述描述，用于说明和描述的目的。不是旨在是穷尽性的或将公开的精确形式作为对本发明的限制。本发明的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是显而易见的。这些修改和变化包括所公开的特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明的各种实施例以及适合于预期特定用途的各种修改。意图在于，本发明的范围由所附权利要求及其等同物限定。
在上述各种实施例中，除非另外特别指出，诸如短语“A、B或C中的至少一个”之类的分离性语言旨在被理解为意指A、B或C中任一个或其任意组合(例如，A、B和/或C)。因此，分离性语言不意图也不应该理解为暗示给定实施例要求存在至少一个A、至少一个B或者至少一个C。

Claims (60)

1.一种用于控制具有图像捕捉装置的可移动物体的方法，包括：
从所述图像捕捉装置接收与第一视图相关联的图像数据；
检测指示从来自所述图像捕捉装置的第一视图到第二视图的改变的基于手势的输入，其中所述基于手势的输入与所述图像数据的至少一个第一区域相关联；以及
确定与从所述第一视图到所述第二视图的改变相关联的控制数据，其中所述控制数据是基于与所述基于手势的输入相关联的一个或多个参考坐标来确定的。
2.根据权利要求1所述的方法，其中，检测指示从来自图像捕捉装置的第一视图到第二视图的改变的基于手势的输入还包括：
分析所述基于手势的输入以识别所述图像数据中与所述图像数据的所述至少一个第一区域相关联的至少一个特征点，其中所述基于手势的输入包括与所述图像数据的所述至少一个第一区域相对应的第一点；以及
计算与表示所述至少一个第一区域的所述第一点相对应的第一参考坐标。
3.根据权利要求2所述的方法，还包括：
确定与所述基于手势的输入的第二点相对应的第二参考坐标；
确定表示所述第一参考坐标和所述第二参考坐标之间的差的控制向量；以及
向所述可移动物体发送包括基于所述控制向量的控制信号的控制数据。
4.根据权利要求3所述的方法，还包括：
从所述图像捕捉装置接收后续图像数据；
识别所述后续图像数据中的所述至少一个特征点；以及
确定与所述后续图像数据中的所述至少一个特征点的位置相对应的第三参考坐标。
5.根据权利要求4所述的方法，还包括：
确定表示所述第三参考坐标和所述第二参考坐标之间的差的后续控制向量；以及
向所述可移动物体发送基于所述后续控制向量的后续控制信号。
6.根据权利要求2所述的方法，检测指示从来自图像捕捉装置的第一视图到第二视图的改变的基于手势的输入还包括：
识别所述图像数据中描绘的与所述至少一个特征点相关联的至少一个对象；以及
获得与所述至少一个对象相对应的特征模型，所述特征模型表示所述至少一个对象的图像特征。
7.根据权利要求6所述的方法，还包括：
从所述图像捕捉装置接收后续图像数据；
从所述后续图像数据中提取一个或多个特征；
将来自所述后续图像数据的一个或多个特征与所述特征模型进行匹配；以及
确定与所述后续图像数据中的所述至少一个对象的位置相对应的第三参考坐标。
8.根据权利要求7所述的方法，还包括：
基于与所述至少一个对象相关联的对象特征来确定所述可移动物体相对于所述至少一个对象的位置。
9.根据权利要求1所述的方法，其中，确定与从所述第一视图到所述第二视图的改变相关联的控制数据还包括：
确定所述基于手势的输入与图像数据的至少一个第二区域相关联；
计算与所述至少一个第一区域相对应的第一参考坐标；
计算与所述至少一个第二区域相对应的第二参考坐标；以及
基于所述第一参考坐标和所述第二参考坐标之间的差来计算控制向量。
10.根据权利要求9所述的方法，其中，基于所述第一参考坐标与所述第二参考坐标之间的差来计算控制向量还包括：
确定与所述第一参考坐标和所述第二参考坐标之间的距离相对应的第一值；
确定与所述至少一个第一区域和所述至少一个第二区域之间的距离相对应的第二值；以及
基于所述第一值和所述第二值之间的差来确定所述控制向量。
11.根据权利要求1所述的方法，其中，所述控制数据包括用于控制所述可移动物体的导航参数的导航命令，所述导航参数是使用所述图像数据的所述至少一个第一区域和所述一个或多个参考坐标来计算的。
12.根据权利要求1所述的方法，其中，所述基于手势的输入包括一次或多次轻击、轻扫手势、捏放手势、眼睛姿态或音频命令中的一个或多个。
13.根据权利要求1所述的方法，其中，与所述基于手势的输入相关联的所述一个或多个参考坐标对应于显示所述图像数据的参考显示器，其中所述参考显示器包括头戴式显示器、触摸屏显示器或投影显示器中的一个或多个。
14.一种用于控制具有图像捕捉装置的可移动物体的系统，包括：
一个或多个微处理器；
在所述一个或多个微处理器上运行的控制器，其中所述控制器操作用于：
从所述图像捕捉装置接收与第一视图相关联的图像数据；
检测指示从来自所述图像捕捉装置的第一视图到第二视图的改变的基于手势的输入，其中所述基于手势的输入与所述图像数据的至少一个第一区域相关联；以及
确定与从所述第一视图到所述第二视图的改变相关联的控制数据，其中所述控制数据是基于与所述基于手势的输入相关联的一个或多个参考坐标来确定的。
15.根据权利要求14所述的系统，其中，为检测指示从图像捕捉装置的第一视图到第二视图的改变的基于手势的输入，所述控制器还操作用于：
分析所述基于手势的输入以识别所述图像数据中与所述图像数据的所述至少一个第一区域相关联的至少一个特征点，其中所述基于手势的输入包括与所述图像数据的所述至少一个第一区域相对应的第一点；以及
计算与表示所述至少一个第一区域的所述第一点相对应的第一参考坐标。
16.根据权利要求15所述的系统，其中，所述控制器还操作用于：
确定与所述基于手势的输入的第二点相对应的第二参考坐标；
确定表示所述第一参考坐标和所述第二参考坐标之间的差的控制向量；以及
向所述可移动物体发送包括基于所述控制向量的控制信号的控制数据。
17.根据权利要求16所述的系统，其中，所述控制器还操作用于：
从所述图像捕捉装置接收后续图像数据；
识别所述后续图像数据中的所述至少一个特征点；以及
确定与所述后续图像数据中的所述至少一个特征点的位置相对应的第三参考坐标。
18.根据权利要求17所述的系统，其中，所述控制器还操作用于：
确定表示所述第三参考坐标和所述第二参考坐标之间的差的后续控制向量；以及
向所述可移动物体发送基于所述后续控制向量的后续控制信号。
19.根据权利要求15所述的系统，其中，为检测指示从图像捕捉装置的第一视图到第二视图的改变的基于手势的输入，所述控制器还操作用于：
识别所述图像数据中描绘的与所述至少一个特征点相关联的至少一个对象；以及
获得与所述至少一个对象相对应的特征模型，所述特征模型表示所述至少一个对象的图像特征。
20.根据权利要求19所述的系统，其中，所述控制器还操作用于：
从所述图像捕捉装置接收后续图像数据；
从所述后续图像数据中提取一个或多个特征；
将来自所述后续图像数据的一个或多个特征与所述特征模型进行匹配；以及
确定与所述后续图像数据中的所述至少一个对象的位置相对应的第三参考坐标。
21.根据权利要求20所述的系统，其中，所述控制器还操作用于：
基于与所述至少一个对象相关联的对象特征来确定所述可移动物体相对于所述至少一个对象的位置。
22.根据权利要求14所述的系统，其中，为确定与从所述第一视图到所述第二视图的改变相关联的控制数据，所述控制器还操作用于：
确定所述基于手势的输入与图像数据的至少一个第二区域相关联；
计算与所述至少一个第一区域相对应的第一参考坐标；
计算与所述至少一个第二区域相对应的第二参考坐标；以及
基于所述第一参考坐标和所述第二参考坐标之间的差来计算控制向量。
23.根据权利要求22所述的系统，其中，为基于所述第一参考坐标与所述第二参考坐标之间的差来计算控制向量，所述控制器还操作用于：
确定与所述第一参考坐标和所述第二参考坐标之间的距离相对应的第一值；
确定与所述至少一个第一区域和所述至少一个第二区域之间的距离相对应的第二值；以及
基于所述第一值和所述第二值之间的差来确定所述控制向量。
24.根据权利要求14所述的系统，其中，所述控制数据包括用于控制所述可移动物体的导航参数的导航命令，所述导航参数是使用所述图像数据的所述至少一个第一区域和所述一个或多个参考坐标来计算的。
25.根据权利要求14所述的系统，其中，所述基于手势的输入包括一次或多次轻击、轻扫手势、捏放手势、眼睛姿态或音频命令中的一个或多个。
26.根据权利要求14所述的系统，其中，与所述基于手势的输入相关联的所述一个或多个参考坐标对应于显示所述图像数据的参考显示器，其中所述参考显示器包括头戴式显示器、触摸屏显示器或投影显示器中的一个或多个。
27.根据权利要求26所述的系统，其中，所述参考显示器包括头戴式显示器，并且为检测指示从来自所述图像捕捉装置的第一视图到第二视图的改变的基于手势的输入，所述控制器还操作用于：
监视用户的眼睛或头部的运动；以及
确定与所述运动相关联的所述基于手势的输入。
28.一种包括在其上存储的指令的非暂时性计算机可读介质，所述指令在由处理器执行时，使所述处理器执行以下步骤：
从所述图像捕捉装置接收与第一视图相关联的图像数据；
检测指示从来自所述图像捕捉装置的第一视图到第二视图的改变的基于手势的输入，其中所述基于手势的输入与所述图像数据的至少一个第一区域相关联；以及
确定与从所述第一视图到所述第二视图的改变相关联的控制数据，其中所述控制数据是基于与所述基于手势的输入相关联的一个或多个参考坐标来确定的。
29.根据权利要求28所述的非暂时性计算机可读介质，其中，用于执行检测指示从来自所述图像捕捉装置的第一视图到第二视图的改变的基于手势的输入的步骤的指令还使所述处理器执行以下步骤：
分析所述基于手势的输入以识别所述图像数据中与所述图像数据的所述至少一个第一区域相关联的至少一个特征点，其中所述基于手势的输入包括与所述图像数据的所述至少一个第一区域相对应的第一点；以及
计算与表示所述至少一个第一区域的所述第一点相对应的第一参考坐标。
30.一种用于控制具有图像捕捉装置的可移动物体的系统，包括：
与所述可移动物体或所述图像捕捉装置中的至少一个相关联的通信模块；
一个或多个微处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个微处理器执行，所述一个或多个程序包括用于执行以下步骤的指令，所述步骤包括：
从所述通信模块接收与第一视图相关联的图像数据，
实时显示由所述图像捕捉装置捕捉的图像数据，
检测指示从第一视图到第二视图的改变的基于手势的输入，其中所述基于手势的输入与所述图像数据的至少一个第一区域相关联；
确定与从所述第一视图到所述第二视图的改变相关联的控制数据，其中所述控制数据与所述图像数据的至少一个第一区域、以及与所述基于手势的输入相关联的一个或多个参考坐标相关联；以及
向所述通信模块发送所述控制数据。
31.一种用于控制无人机UAV的系统，包括：
包括一个或多个微处理器的无人机UAV，所述UAV被配置为响应于控制数据而移动；
与所述UAV耦接的相机，其中所述相机操作用于捕捉图像数据；以及
在所述一个或多个微处理器上运行的控制器，其中所述控制器操作用于：
将所述图像数据实时发送到客户端装置，所述图像数据与所述相机的第一视图相关联；
从所述客户端装置接收控制数据，其中所述控制数据与对应于基于手势的输入的一个或多个参考坐标相关联，其中所述基于手势的输入指示从所述相机的第一视图到第二视图的改变，所述基于手势的输入与所述图像数据的至少一个第一区域相关联；以及
使所述UAV的位置或姿态中的至少一个基于控制数据而改变。
32.根据权利要求31所述的系统，其中，为使所述UAV的位置或姿态中的至少一个基于控制数据而改变，所述控制器还操作用于：
确定与所述相机的移动相对应的第一控制数据，所述相机的移动与从所述第一视图到所述第二视图的改变相关联；
确定与所述UAV的位置改变或姿态改变中的至少一个相对应的第二控制数据，所述UAV的位置改变或姿态改变与从所述第一视图到所述第二视图的改变相关联；
基于所述第二控制数据来确定一个或多个导航指令；
使用所述第一控制数据使所述相机旋转；以及
执行所述一个或多个导航指令以使所述UAV改变位置或姿态中的至少一个。
33.根据权利要求31所述的系统，其中，所述控制器还操作用于：
获得所述图像数据中与所述至少一个第一区域相对应的第一参考坐标；
获得与所述基于手势的输入的第二点相对应的第二参考坐标；以及
确定表示所述第一参考坐标和所述第二参考坐标之间的差的控制向量。
34.根据权利要求31所述的系统，其中，所述控制器还操作用于：
使所述相机捕捉后续图像数据；以及
接收后续控制数据，所述后续控制数据包括至少第三参考坐标，所述第三参考坐标对应于与所述后续图像数据中的所述至少一个第一区域相关联的至少一个特征的位置。
35.根据权利要求34所述的系统，其中，所述控制器还操作用于：
确定表示所述第三参考坐标和所述第二参考坐标之间的差的后续控制向量。
36.一种用于控制具有图像捕捉装置的可移动物体的方法，包括：
捕捉与所述可移动物体上的所述图像捕捉装置的第一视图相关联的图像数据；
接收控制数据，其中所述控制数据与对应于基于手势的输入的一个或多个参考坐标相关联，其中所述基于手势的输入指示从所述可移动物体上的所述图像捕捉装置的第一视图到第二视图的改变，所述基于手势的输入与所述图像数据的至少一个第一区域相关联；以及
使所述可移动物体或所述图像捕捉装置中的至少一个基于所述控制数据移动。
37.根据权利要求36所述的方法，其中，接收控制数据还包括：
接收与所述至少一个第一区域相对应的第一参考坐标，其中所述第一参考坐标表示与所述图像数据的所述至少一个第一区域相关联的第一点；
接收与所述基于手势的输入的第二点相对应的第二参考坐标；以及
获得基于表示所述第一参考坐标和所述第二参考坐标之间的差的控制向量的控制信号。
38.根据权利要求37所述的方法，还包括：
基于所述控制信号确定第一控制数据，所述第一控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述图像捕捉装置的移动；
基于所述控制信号和所述第一控制数据确定第二控制数据，所述第二控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述可移动物体的位置改变或姿态改变中的至少一个；以及
基于所述第二控制数据确定一个或多个导航指令。
39.根据权利要求38所述的方法，还包括：
使用所述第一控制数据使所述图像捕捉装置旋转；以及
执行所述一个或多个导航指令以使所述可移动物体改变位置或姿态中的至少一个。
40.根据权利要求37所述的方法，还包括：
捕捉后续图像数据；
接收后续控制数据，所述后续控制数据包括至少第三参考坐标，所述第三参考坐标对应于与所述后续图像数据中的所述至少一个第一区域相关联的一个或多个特征的位置；以及
获得基于表示所述第三参考坐标和所述第二参考坐标之间的差的后续控制向量的后续控制信号。
41.根据权利要求40所述的方法，还包括：
基于所述后续控制信号确定第一后续控制数据，所述第一后续控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述图像捕捉装置的移动；
基于所述后续控制信号和所述第一后续控制数据确定第二后续控制数据，所述第二后续控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述可移动物体的位置改变或姿态改变中的至少一个；以及
基于所述第二后续控制数据确定一个或多个后续导航指令。
42.根据权利要求41所述的方法，还包括：
使用所述第一后续控制数据使所述图像捕捉装置进一步旋转；以及
执行所述一个或多个导航指令以使所述可移动物体进一步改变位置或姿态中的至少一个。
43.根据权利要求36所述的方法，其中，接收控制数据还包括：
确定所述控制数据与图像数据的至少一个第二区域相关联；
获得与所述至少一个第一区域相对应的第一参考坐标；
获得与所述至少一个第二区域相对应的第二参考坐标；以及
基于所述第一参考坐标和所述第二参考坐标之间的差来计算控制向量。
44.根据权利要求42所述的方法，其中，基于所述第一参考坐标与所述第二参考坐标之间的差来计算所述控制向量还包括：
确定与所述第一参考坐标和所述第二参考坐标之间的距离相对应的第一值；
确定与所述至少一个第一区域和所述至少一个第二区域之间的距离相对应的第二值；以及
基于所述第一值和所述第二值之间的差来确定所述控制向量。
45.根据权利要求44所述的方法，还包括：
基于所述控制向量确定第一控制数据，所述第一控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述可移动物体的位置改变；
基于所述第一控制数据确定一个或多个导航指令；以及
执行所述一个或多个导航指令以使所述可移动物体基于所述控制向量来改变位置。
46.根据权利要求36所述的方法，其中，与所述基于手势的输入相对应的所述一个或多个参考坐标对应于参考显示器上的位置，其中所述参考显示器包括头戴式显示器、触摸屏显示器或投影显示器中的一个或多个。
47.一种包括在其上存储的指令的非暂时性计算机可读介质，所述指令在由处理器执行时，使所述处理器执行以下步骤：
捕捉与所述可移动物体上的所述图像捕捉装置的第一视图相关联的图像数据；
接收控制数据，其中所述控制数据与对应于基于手势的输入的一个或多个参考坐标相关联，其中所述基于手势的输入指示从所述可移动物体上的所述图像捕捉装置的第一视图到第二视图的改变，所述基于手势的输入与所述图像数据的至少一个第一区域相关联；以及
使所述可移动物体或所述图像捕捉装置中的至少一个基于所述控制数据移动。
48.根据权利要求47所述的非暂时性计算机可读介质，其中，用于执行接收控制数据的步骤的指令还使所述处理器执行以下步骤：
接收与所述至少一个第一区域相对应的第一参考坐标，其中所述第一参考坐标表示与所述图像数据的所述至少一个第一区域相关联的第一点；
接收与所述基于手势的输入的第二点相对应的第二参考坐标；以及
获得基于表示所述第一参考坐标和所述第二参考坐标之间的差的控制向量的控制信号。
49.根据权利要求48所述的非暂时性计算机可读介质，其中，在其上存储的所述指令还使所述处理器执行以下步骤：
基于所述控制信号确定第一控制数据，所述第一控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述图像捕捉装置的移动；
基于所述控制信号和所述第一控制数据确定第二控制数据，所述第二控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述可移动物体的位置改变或姿态改变中的至少一个；
基于所述第二控制数据确定一个或多个导航指令；
使用所述第一控制数据使所述图像捕捉装置旋转；以及
执行所述一个或多个导航指令以使所述可移动物体改变位置或姿态中的至少一个。
50.一种用于控制可移动物体的系统，包括：
与可移动物体耦接的图像捕捉装置，其中所述图像捕捉装置用于捕捉图像数据；以及
包括在其上存储的指令的非暂时性计算机可读介质，所述指令在由处理器执行时，使所述处理器执行以下步骤：
捕捉与所述可移动物体上的所述图像捕捉装置的第一视图相关联的图像数据；
接收控制数据，其中所述控制数据与对应于基于手势的输入的一个或多个参考坐标相关联，其中所述基于手势的输入指示从所述可移动物体上的所述图像捕捉装置的第一视图到第二视图的改变，所述基于手势的输入与所述图像数据的至少一个第一区域相关联；以及
使所述可移动物体或所述图像捕捉装置中的至少一个基于所述控制数据移动。
51.根据权利要求50所述的系统，其中，用于执行接收控制数据的步骤的指令还使所述处理器执行以下步骤：
接收与所述至少一个第一区域相对应的第一参考坐标，其中所述第一参考坐标表示与所述图像数据的所述至少一个第一区域相关联的第一点；
接收与所述基于手势的输入的第二点相对应的第二参考坐标；以及
获得基于表示所述第一参考坐标和所述第二参考坐标之间的差的控制向量的控制信号。
52.根据权利要求51所述的系统，其中，所述指令还使所述处理器执行以下步骤：
基于所述控制信号确定第一控制数据，所述第一控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述图像捕捉装置的移动；
基于所述控制信号和所述第一控制数据确定第二控制数据，所述第二控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述可移动物体的位置改变或姿态改变中的至少一个；以及
基于所述第二控制数据确定一个或多个导航指令。
53.根据权利要求52所述的系统，其中，所述指令还使所述处理器执行以下步骤：
使用所述第一控制数据使所述图像捕捉装置旋转；以及
执行所述一个或多个导航指令以使所述可移动物体改变位置或姿态中的至少一个。
54.根据权利要求51所述的系统，其中，所述指令还使所述处理器执行以下步骤：
捕捉后续图像数据；
接收后续控制数据，所述后续控制数据包括至少第三参考坐标，所述第三参考坐标对应于与所述后续图像数据中的所述至少一个第一区域相关联的一个或多个特征的位置；以及
获得基于表示所述第三参考坐标和所述第二参考坐标之间的差的后续控制向量的后续控制信号。
55.根据权利要求54所述的系统，其中，所述指令还使所述处理器执行以下步骤：
基于后续控制信号确定第一后续控制数据，所述第一后续控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述图像捕捉装置的移动；
基于所述控制信号和所述第一后续控制数据确定第二后续控制数据，所述第二后续控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述可移动物体的位置改变或姿态改变中的至少一个；以及
基于所述第二后续控制数据确定一个或多个后续导航指令。
56.根据权利要求55所述的系统，其中，所述指令还使所述处理器执行以下步骤：
使用所述第一后续控制数据使所述图像捕捉装置进一步旋转；以及
执行所述一个或多个导航指令以使所述可移动物体进一步改变位置或姿态中的至少一个。
57.根据权利要求50所述的系统，其中，用于执行接收控制数据的步骤的指令还使所述处理器执行以下步骤：
确定所述控制数据与图像数据的至少一个第二区域相关联；
获得与所述至少一个第一区域相对应的第一参考坐标；
获得与所述至少一个第二区域相对应的第二参考坐标；以及
基于所述第一参考坐标和所述第二参考坐标之间的差来计算控制向量。
58.根据权利要求57所述的系统，其中，用于执行基于所述第一参考坐标和所述第二参考坐标之间的差来计算所述控制向量的步骤的指令还使所述处理器执行以下步骤：
确定与所述第一参考坐标和所述第二参考坐标之间的距离相对应的第一值；
确定与所述至少一个第一区域和所述至少一个第二区域之间的距离相对应的第二值；以及
基于所述第一值和所述第二值之间的差来确定所述控制向量。
59.根据权利要求58所述的系统，其中，所述指令还使所述处理器执行以下步骤：
基于所述控制向量确定第一控制数据，所述第一控制数据对应于与从所述第一视图到所述第二视图的改变相关联的所述可移动物体的位置改变；以及
基于所述第一控制数据确定一个或多个导航指令；以及
执行所述一个或多个导航指令以使所述可移动物体基于所述控制向量来改变位置。
60.根据权利要求50所述的系统，其中，与所述基于手势的输入相关联的所述一个或多个参考坐标对应于参考显示器上的位置，其中所述参考显示器包括头戴式显示器、触摸屏显示器或投影显示器中的一个或多个。
CN201680086080.4A 2016-05-25 2016-05-25 基于图像识别的飞行器导航技术 Active CN109416535B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/083363 WO2017201697A1 (en) 2016-05-25 2016-05-25 Techniques for image recognition-based aerial vehicle navigation

Publications (2)

Publication Number Publication Date
CN109416535A true CN109416535A (zh) 2019-03-01
CN109416535B CN109416535B (zh) 2022-11-11

Family

ID=60412055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680086080.4A Active CN109416535B (zh) 2016-05-25 2016-05-25 基于图像识别的飞行器导航技术

Country Status (3)

Country Link
US (2) US10802479B2 (zh)
CN (1) CN109416535B (zh)
WO (1) WO2017201697A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947128A (zh) * 2019-03-13 2019-06-28 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统
CN111966217A (zh) * 2020-07-20 2020-11-20 中国人民解放军军事科学院国防科技创新研究院 基于手势和眼动的无人机控制方法和系统
TWI711560B (zh) * 2019-05-09 2020-12-01 經緯航太科技股份有限公司 無人機降落設備及方法
CN112740226A (zh) * 2020-04-28 2021-04-30 深圳市大疆创新科技有限公司 基于人体指示的可移动物体的操作系统和方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792017B1 (en) 2011-07-12 2017-10-17 Domo, Inc. Automatic creation of drill paths
US9202297B1 (en) * 2011-07-12 2015-12-01 Domo, Inc. Dynamic expansion of data visualizations
EP3518063A1 (en) * 2018-01-25 2019-07-31 Nokia Technologies Oy Combined video display and gimbal control
JP6974247B2 (ja) * 2018-04-27 2021-12-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 情報処理装置、情報提示指示方法、プログラム、及び記録媒体
US20220205791A1 (en) * 2019-08-08 2022-06-30 Sony Group Corporation Information processing apparatus, moving body, information processing system, information processing method, and program
TWI726536B (zh) * 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
WO2022153788A1 (ja) * 2021-01-18 2022-07-21 古野電気株式会社 Ａｒ操船システム、及びａｒ操船方法
US20220229535A1 (en) * 2021-01-19 2022-07-21 Samsung Electronics Company, Ltd. Systems and Methods for Manipulating Views and Shared Objects in XR Space
WO2022268316A1 (en) * 2021-06-23 2022-12-29 Hexagon Geosystems Services Ag Unmanned aerial vehicle
KR20230161072A (ko) * 2022-05-18 2023-11-27 (주)투비소프트 Ui 설계안에 대한 이미지 분석을 통해 ui 컴포넌트 자동 생성 기능을 제공할 수 있는 ui 개발 툴이 탑재된 전자 단말 장치 및 그 동작 방법
WO2024002479A1 (en) * 2022-06-29 2024-01-04 Anybotics Ag Method to control a movement of a robot and a controller

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819398A (zh) * 2012-08-08 2012-12-12 许继集团有限公司 一种在触摸屏设备上滑动控制摄像机的方法
CN103329057A (zh) * 2010-09-03 2013-09-25 奥尔德巴伦机器人公司 移动式机器人
CN103442177A (zh) * 2013-08-30 2013-12-11 程治永 一种基于手势识别的ptz摄像机控制系统及方法
CN104240266A (zh) * 2014-09-04 2014-12-24 成都理想境界科技有限公司 基于颜色-结构特征的目标对象跟踪方法
CN104699244A (zh) * 2015-02-26 2015-06-10 小米科技有限责任公司 智能设备的操控方法及装置
CN105283816A (zh) * 2013-07-31 2016-01-27 深圳市大疆创新科技有限公司 远程控制方法及终端
CN105391939A (zh) * 2015-11-04 2016-03-09 腾讯科技（深圳）有限公司 无人机拍摄控制方法和装置、无人机拍摄方法和无人机
CN105425952A (zh) * 2015-11-04 2016-03-23 腾讯科技（深圳）有限公司 无人机操控界面交互方法和装置
CN105518555A (zh) * 2014-07-30 2016-04-20 深圳市大疆创新科技有限公司 目标追踪系统及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2957266B1 (fr) * 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
CN102043410A (zh) * 2010-09-30 2011-05-04 清华大学 操纵人员头部运动指示无人机云台伺服系统
US8903568B1 (en) * 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
US20150321758A1 (en) * 2013-08-31 2015-11-12 II Peter Christopher Sarna UAV deployment and control system
CN105052203B (zh) * 2014-02-10 2018-09-14 深圳市大疆创新科技有限公司 自适应通信模式切换
CN103955228A (zh) * 2014-04-29 2014-07-30 西安交通大学 一种航拍成像及控制装置
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) * 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
EP3101889A3 (en) * 2015-06-02 2017-03-08 LG Electronics Inc. Mobile terminal and controlling method thereof
KR20170005650A (ko) * 2015-07-06 2017-01-16 엘지전자 주식회사 무인 항공기, 이동 단말기 및 그것들의 제어방법
US10021339B2 (en) * 2015-12-01 2018-07-10 Qualcomm Incorporated Electronic device for generating video data
US20170214856A1 (en) * 2016-01-22 2017-07-27 Mediatek Inc. Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
GB2564293A (en) * 2016-03-24 2019-01-09 Motorola Solutions Inc Methods and apparatus for continuing a zoom of a stationary camera utilizing a drone
CN105867362A (zh) * 2016-04-20 2016-08-17 北京博瑞爱飞科技发展有限公司 终端设备和无人驾驶飞行器的控制系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103329057A (zh) * 2010-09-03 2013-09-25 奥尔德巴伦机器人公司 移动式机器人
CN102819398A (zh) * 2012-08-08 2012-12-12 许继集团有限公司 一种在触摸屏设备上滑动控制摄像机的方法
CN105283816A (zh) * 2013-07-31 2016-01-27 深圳市大疆创新科技有限公司 远程控制方法及终端
CN103442177A (zh) * 2013-08-30 2013-12-11 程治永 一种基于手势识别的ptz摄像机控制系统及方法
CN105518555A (zh) * 2014-07-30 2016-04-20 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN104240266A (zh) * 2014-09-04 2014-12-24 成都理想境界科技有限公司 基于颜色-结构特征的目标对象跟踪方法
CN104699244A (zh) * 2015-02-26 2015-06-10 小米科技有限责任公司 智能设备的操控方法及装置
CN105391939A (zh) * 2015-11-04 2016-03-09 腾讯科技（深圳）有限公司 无人机拍摄控制方法和装置、无人机拍摄方法和无人机
CN105425952A (zh) * 2015-11-04 2016-03-23 腾讯科技（深圳）有限公司 无人机操控界面交互方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947128A (zh) * 2019-03-13 2019-06-28 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统
CN109947128B (zh) * 2019-03-13 2020-05-15 歌尔股份有限公司 无人机控制方法、无人机控制装置、无人机及系统
US11573576B2 (en) 2019-03-13 2023-02-07 Goertek Inc. Method for controlling a drone, drone and system
TWI711560B (zh) * 2019-05-09 2020-12-01 經緯航太科技股份有限公司 無人機降落設備及方法
CN112740226A (zh) * 2020-04-28 2021-04-30 深圳市大疆创新科技有限公司 基于人体指示的可移动物体的操作系统和方法
CN111966217A (zh) * 2020-07-20 2020-11-20 中国人民解放军军事科学院国防科技创新研究院 基于手势和眼动的无人机控制方法和系统
CN111966217B (zh) * 2020-07-20 2023-08-18 中国人民解放军军事科学院国防科技创新研究院 基于手势和眼动的无人机控制方法和系统

Also Published As

Publication number Publication date
US11513511B2 (en) 2022-11-29
US20210018910A1 (en) 2021-01-21
WO2017201697A1 (en) 2017-11-30
CN109416535B (zh) 2022-11-11
US20190094850A1 (en) 2019-03-28
US10802479B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN109416535A (zh) 基于图像识别的飞行器导航技术
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US20210223795A1 (en) System and method for supporting smooth target following
CN106029501B (zh) Uav全景成像
US10897567B2 (en) Systems and methods for controlling an image captured by an imaging device
US20210133996A1 (en) Techniques for motion-based automatic image capture
CN112567201A (zh) 距离测量方法以及设备
JP2017503226A5 (zh)
JP2017503226A (ja) 目標追跡システム、デバイスおよび方法
EP3106963B1 (en) Mediated reality
CN108886572A (zh) 调整图像焦点的方法和系统
US10896520B2 (en) System and method for moment capturing
CN108731681A (zh) 旋翼无人机领航方法、相关计算机程序、电子设备和无人机
CN108450032A (zh) 飞行控制方法和装置
JP2018129063A (ja) 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
US20220166917A1 (en) Information processing apparatus, information processing method, and program
JP2021073796A (ja) 制御装置、及び画像を取得する方法
EP3348055B1 (en) System and method for supporting three-dimensional display in first person view (fpv)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant