CN108701362B - 目标跟踪期间的障碍避免 - Google Patents

目标跟踪期间的障碍避免 Download PDF

Info

Publication number
CN108701362B
CN108701362B CN201680082508.8A CN201680082508A CN108701362B CN 108701362 B CN108701362 B CN 108701362B CN 201680082508 A CN201680082508 A CN 201680082508A CN 108701362 B CN108701362 B CN 108701362B
Authority
CN
China
Prior art keywords
movable object
obstacle
target
movement
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680082508.8A
Other languages
English (en)
Other versions
CN108701362A (zh
Inventor
赵丛
沈劭劼
钱杰
封旭阳
庞敏健
余俊峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN108701362A publication Critical patent/CN108701362A/zh
Application granted granted Critical
Publication of CN108701362B publication Critical patent/CN108701362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Telephonic Communication Services (AREA)

Abstract

系统、方法和/或装置用于控制可移动物体。在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息。基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应。响应于确定所述障碍物的位置与所述反应区域相对应时，以反应方式调节所述可移动物体的一个或多个移动特性，从而避免所述可移动物体与所述障碍物的碰撞。响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，使得所述可移动物体与所述障碍物之间的距离超过第一预定距离。

Description

目标跟踪期间的障碍避免
技术领域
所公开的实施例总体上涉及目标跟踪，并且更具体地但不排他地涉及跟踪期间的障碍避免。
背景技术
诸如无人机(UAV)的可移动物体可以用于执行针对军事和民用应用的监视、侦察和勘探任务。可移动物体可以携带被配置为执行特定功能(诸如，捕获周围环境的图像或者跟踪特定目标)的负载。例如，可移动物体可以跟踪沿着地面或通过空气移动的对象。用于控制可移动物体的移动控制信息通常是由可移动物体从远程装置接收的和/或由可移动物体确定的。
当在可移动物体和目标之间检测到障碍物时，可以为可移动物体生成额外的移动控制信息，以在跟踪目标的同时避免障碍物。
发明内容
用于目标跟踪期间的障碍避免的系统和方法是有需求的。这种系统和方法可选地补充或取代传统的用于障碍避免的方法。
根据一些实施例，一种用于控制可移动物体的方法包括在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息。该方法基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；响应于确定所述障碍物的位置与所述反应区域相对应时，以反应方式调节所述可移动物体的一个或多个移动特性，从而避免所述可移动物体与所述障碍物的碰撞。响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，使得所述可移动物体与所述障碍物之间的距离超过第一预定距离。
根据一些实施例，用于控制可移动物体的系统包括一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并配置为由所述一个或多个处理器执行，其中所述一个或多个程序包括用于执行以下操作的指令：在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；响应于确定所述障碍物的位置与所述反应区域相对应时，以反应方式调节所述可移动物体的一个或多个移动特性，从而避免所述可移动物体与所述障碍物的碰撞；以及响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，使得所述可移动物体与所述障碍物之间的距离超过第一预定距离。
根据一些实施例，非暂时性计算机可读记录介质存储一个或多个程序，所述一个或多个程序包括指令，其中当所述指令由可移动物体执行时引起可移动物体：在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；响应于确定所述障碍物的位置与所述反应区域相对应时，以反应方式调节所述可移动物体的一个或多个移动特性，从而避免所述可移动物体与所述障碍物的碰撞；以及响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，使得所述可移动物体与所述障碍物之间的距离超过第一预定距离。
根据一些实施例，无人机(UAV)包括：动力系统和一个或多个传感器。所述UAV被配置为：在所述UAV跟踪目标的同时使用所述一个或多个传感器获得障碍物的当前位置信息；基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述UAV的反应区域相对应；响应于确定所述障碍物的位置与所述反应区域相对应时，以反应方式调节所述UAV的一个或多个移动特性，从而避免所述UAV与所述障碍物的碰撞；以及响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述UAV的一个或多个移动特性，使得所述UAV与所述障碍物之间的距离超过第一预定距离。
根据一些实施例，用于控制可移动物体的方法包括：在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；响应于确定所述障碍物的位置与所述反应区域相对应时：调节所述可移动物体的一个或多个移动特性；基于所述障碍物与所述可移动物体之间的距离来更新目标信息；以及向控制单元发送更新后的目标信息，其中，所述控制单元被配置为根据更新后的目标信息更新所显示的用户界面。
根据一些实施例，用于控制可移动物体的系统包括一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并配置为由所述一个或多个处理器执行，其中所述一个或多个程序包括用于执行以下操作的指令：在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述可移动物体的一个或多个移动特性；基于所述障碍物与所述可移动物体之间的距离来更新目标信息；以及向控制单元发送更新后的目标信息，其中，所述控制单元被配置为根据更新后的目标信息更新所显示的用户界面。
根据一些实施例，非暂时性计算机可读记录介质存储一个或多个程序，所述一个或多个程序包括指令，其中当所述指令由可移动物体执行时引起可移动物体：在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述可移动物体的一个或多个移动特性；基于所述障碍物与所述可移动物体之间的距离来更新目标信息；以及向控制单元发送更新后的目标信息，其中，所述控制单元被配置为根据更新后的目标信息更新所显示的用户界面。
根据一些实施例，一种无人机(UAV)包括动力系统以及一个或多个处理器。所述UAV被配置为：在所述可移动物体跟踪目标的同时使用所述一个或多个传感器获得障碍物的当前位置信息；基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述可移动物体的一个或多个移动特性；基于所述障碍物与所述可移动物体之间的距离来更新目标信息；以及向控制单元发送更新后的目标信息，其中，所述控制单元被配置为根据更新后的目标信息更新所显示的用户界面。
根据一些实施例，一种用于控制可移动物体的方法包括在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息。基于所述障碍物的当前位置信息以及所述可移动物体的当前移动特性集合，生成多个候选移动特性集合；从所述可移动物体的所述多个候选移动特性集合中选择所述可移动物体的移动特性集合；以及基于所选择的所述可移动物体的移动特性集合来调节所述可移动物体的一个或多个移动特性。
根据一些实施例，用于控制可移动物体的系统包括一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并配置为由所述一个或多个处理器执行，其中所述一个或多个程序包括用于执行以下操作的指令：在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；基于所述障碍物的当前位置信息以及所述可移动物体的当前移动特性集合，生成多个候选移动特性集合；从所述可移动物体的所述多个候选移动特性集合中选择所述可移动物体的移动特性集合；以及基于所选择的所述可移动物体的移动特性集合来调节所述可移动物体的一个或多个移动特性。
根据一些实施例，非暂时性计算机可读记录介质存储一个或多个程序，所述一个或多个程序包括指令，其中当所述指令由可移动物体执行时引起可移动物体：在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；基于所述障碍物的当前位置信息以及所述可移动物体的当前移动特性集合，生成多个候选移动特性集合；从所述可移动物体的所述多个候选移动特性集合中选择所述可移动物体的移动特性集合；以及基于所选择的所述可移动物体的移动特性集合来调节所述可移动物体的一个或多个移动特性。
根据一些实施例，一种无人机(UAV)包括动力系统以及一个或多个处理器。所述UAV被配置为：在所述可移动物体跟踪目标的同时使用所述一个或多个传感器获得障碍物的当前位置信息；基于所述障碍物的当前位置信息以及所述可移动物体的当前移动特性集合，生成多个候选移动特性集合；从所述可移动物体的所述多个候选移动特性集合中选择所述可移动物体的移动特性集合；以及基于所选择的所述可移动物体的移动特性集合来调节所述可移动物体的一个或多个移动特性。
附图说明
图1示出了根据一些实施例的目标跟踪系统。
图2A示出了根据一些实施例的在目标跟踪系统中的示例可移动物体。
图2B示出了根据一些实施例的可移动物体的示例性载体。
图2C示出了根据一些实施例的可移动物体的示例性负载。
图3示出了根据一些实施例的可移动物体的示例性感测系统。
图4是示出了根据一些实施例的可移动物体的存储器的实现方式的框图。
图5示出了根据一些实施例的目标跟踪系统的示例控制单元。
图6示出了根据一些实施例的用于控制可移动物体的示例性计算装置。
图7是示出了根据一些实施例的用于实现目标跟踪的方法的流程图。
图8示出了根据一些实施例的可移动物体、载体和负载的示例性配置。
图9示出了根据一些实施例的用于保持目标的预期位置的示例性跟踪方法。
图10示出了根据一些实施例的用于保持目标的预期大小的示例性跟踪方法。
图11示出了根据一些实施例的用于实现目标跟踪的示例过程。
图12示出根据一些实施例的用于选择和/或跟踪目标的示例性用户界面。
图13示出了根据一些实施例的用于避免障碍物的对可移动物体的控制。
图14示出根据一些实施例的以主动方式调节可移动物体的移动特性。
图15示出根据一些实施例的以反应方式调节可移动物体的移动特性。
图16示出根据一些实施例的反应区域。
图17示出根据一些实施例的反应区域的子区域。
图18A-18B示出了根据一些实施例的响应于接收到的调节后的目标跟踪信息对用户界面作出的示例性调节。
图19示出了根据一些实施例的用于以主动方式调节可移动物体的一个或多个移动特性的参考系。
图20示出了根据一些实施例的用于确定(VY，VZ)运动调节的候选移动特性集合。
图21示出了根据一些实施例的用于确定(Vx，ωZ)运动调节的候选移动特性集合。
图22A-22B示出根据一些实施例的应用于确定是使用(VY，VZ)运动调节还是使用(VX，ωZ)运动调节的障碍物大小标准。
图23A-23F是示出根据一些实施例的用于控制可移动物体的方法的流程图。
图24A-24G是示出根据一些实施例的用于控制可移动物体的方法的流程图。
图25A-25G是示出根据一些实施例的用于控制可移动物体的方法的流程图。
具体实施方式
现将详细参照多个实施例，其示例在附图中示出。在下面的详细描述中，阐述了许多具体细节以便提供对各种所描述的实施例的透彻理解。然而，本领域技术人员将清楚，可以在无需这些特定细节的情况下实践各种所描述的实施例。在其他实例中，没有详细描述公知的方法、过程、组件、电路和网络，以避免不必要地使实施例的细节模糊不清。
下面的描述使用无人机(UAV)作为可移动物体的示例。UAV包括例如固定翼飞行器和旋转翼飞行器，其中旋转翼飞行器例如是直升机、四旋翼机和具有其它数量的旋翼和/或旋翼配置的飞行器。本领域技术人员显而易见的是，根据本发明的实施例，其他类型的可移动物体可以代替下文所述的UAV。
本发明描述了与通过UAV进行目标跟踪相关的技术。在一些实施例中，UAV被配置为从远程控制单元(诸如用户操作的装置)接收目标信息。目标信息与要由连接到UAV的成像装置跟踪的目标有关。UAV使用目标信息使成像装置自动地跟踪目标，例如将目标保持在由成像装置捕捉的一个或多个图像内的预定位置和/或大小。在一些实施例中，在通过来自控制单元的通信(诸如包括用户命令的通信)和/或预定导航路径来控制UAV的同时，执行目标的跟踪。在一些实施例中，控制单元被配置为显示来自成像装置的图像以及允许与目标信息相关的用户输入。
在一些实施例中，用户从显示在控制单元的用户界面上的图像中选择目标。例如，显示图像并且通过控制单元的触摸屏接收输入。在一些实施例中，当目标信息被配置时，控制单元和/或UAV管理与目标跟踪相关联的操作。管理目标跟踪操作包括例如调节UAV的移动、调节载体和/或调节成像装置。例如，UAV和/或成像装置的姿态、位置、速度、变焦和/或其它方面被自动调节，以确保将目标保持在由成像装置捕获的图像内的指定位置和/或大小。在一些实施例中，在跟踪过程期间捕获的图像(例如，视频或图片)被实时或基本上实时地流式传输到控制单元以用于显示、回放、存储和/或其它目的。以这种方式，使用户能够管理目标跟踪(例如，通过选择跟踪的目标)，而不用费力管理那些与引导UAV以将目标保持在视野中涉及的操作。
根据本文描述的各种实施例，UAV避免在UAV跟踪目标时检测到的障碍物。当检测到障碍物时，确定UAV与障碍物之间的距离。如果障碍物不会对UAV的安全造成立即的威胁(例如，离UAV还很远)，则以主动方式调节UAV的移动特性，以保持障碍物与UAV之间的预定距离。移动特性的主动调节可以包括选择一组可能的移动调节选项并且为每个选项确定路线优化分数。根据具有最高路线优化分数或至少高于预定义阈值的路线优化分数的调节选项来调节UAV的移动。如果障碍物可能对UAV的安全造成立即的威胁(例如，非常靠近UAV)，则以反应方式调节UAV的移动特性以避免UAV与障碍物的碰撞，取决于UAV与障碍物的接近程度，这种调节包括从减小UAV的加速度或速度到反转UAV的运动方向的各种方法。
图1示出了根据本公开各种实施例的目标跟踪系统100。目标跟踪系统100包括可移动物体102和控制单元104。在一些实施例中，目标跟踪系统100用于跟踪目标106。
在一些实施例中，目标106包括自然对象和/或人造对象，诸如，地理地形(例如，山、植被、山谷、湖泊和/或河流)、建筑物和/或交通工具(例如，飞机、轮船、汽车、卡车、公交车、火车和/或摩托车)。在一些实施例中，目标106包括诸如人和/或动物的活的生物。在一些实施例中，目标106是移动的，例如，相对于参考系移动(诸如大地和/或可移动物体102)。在一些实施例中，目标106是静止的。在一些实施例中，目标106包括向可移动物体102、控制单元104和/或计算装置126发送关于目标106的信息(诸如目标的GPS位置)的主动目标系统。例如，经由无线通信从主动目标的通信单元向可移动物体102的通信系统120向可移动物体102发送信息。主动目标包括例如友好的交通工具、建筑物和/或部队。在一些实施例中，目标106包括被动目标(例如，不发送关于目标106的信息的目标)。被动目标包括例如中立的或敌对的交通工具、建筑物和/或部队。
在一些实施例中，可移动物体102被配置为例如经由无线通信124与控制单元104进行通信。例如，可移动物体102从控制单元104接收控制指令和/或向控制单元104发送数据(例如，来自可移动物体感测系统122的数据)。
控制指令包括例如用于控制可移动物体102的导航参数(诸如可移动物体102、载体108和/或负载110的位置、方位、高度和/或一个或多个移动特性)的导航指令。在一些实施例中，控制指令包括引导一个或多个移动机构114的移动的指令。例如，控制指令用于控制UAV的飞行。在一些实施例中，控制指令包括用于控制载体108的操作(例如，移动)的信息。例如，控制指令用于控制载体108的致动机构，以便引起负载110相对可移动物体102的角度移动和/或线性移动。在一些实施例中，控制指令用于针对负载110调节一个或多个可操作参数，诸如，用于捕获一个或多个图像、捕获视频、调节缩放程度、电源打开或关闭、调节成像模式(例如，捕获静止图像或捕获视频)、调节图像分辨率、调节焦点、调节视角、调节视场、调节场深度、调节曝光时间、调节快门速度、调节镜头速度、调节ISO、改变镜头和/或移动负载110(和/或负载110的一部分，诸如成像设备214)的指令。在一些实施例中，控制指令用于控制通信系统120、感测系统122和/或可移动物体102的其他组件。
在一些实施例中，来自控制单元104的控制指令包括目标信息，如以下关于图7进一步所详述。
在一些实施例中，可移动物体102被配置为与计算装置126进行通信。例如，可移动物体102从计算装置126接收控制指令和/或向计算装置126发送数据(例如，来自可移动物体感测系统122的数据)。在一些实施例中，将从计算设备126到可移动物体102的通信从计算设备126发送到小区塔130(例如，经由互联网128)并且从小区塔130发送到可移动物体102(例如，经由RF信号)。在一些实施例中，使用卫星代替小区塔130或除了小区塔130之外使用卫星。
在一些实施例中，目标跟踪系统包括附加控制单元104和/或计算装置126，被配置为与可移动物体102通信。
图2A示出了根据一些实施例的在目标跟踪系统100中的示例可移动物体102。在一些实施例中，诸如处理器116、存储器118、通信系统120和感测系统122的可移动物体的一个或多个组件通过诸如控制总线112的数据连接来连接。控制总线可选地包括互连和控制系统组件之间的通信的电路(有时称作芯片组)。
可移动物体102通常包括一个或多个处理单元116、存储器118、一个或多个网络或其他通信接口120、感测系统112以及用于将这些组件互连的一个或多个通信总线112。在一些实施例中，可移动物体102是UAV。尽管可移动物体102被描绘为飞行器，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体。
在一些实施例中，可移动物体102包括移动机构114(例如，动力机构)。尽管为了便于参考而使用复数术语“移动机构”，但是“移动机构114”指单个移动机构(例如，单个螺旋桨)或多个移动机构(例如，多个旋翼)。移动机构114包括一个或多个移动机构类型，例如旋翼、螺旋桨、叶片、发动机、电机、轮、轴、磁体、喷嘴、动物和/或人类。移动机构114在例如顶部、底部、前部、后部和/或侧面处与可移动物体102连接。在一些实施例中，单个可移动物体102的移动机构114包括各具有相同类型的多个移动机构。在一些实施例中，单个可移动物体102的移动机构114包括具有不同移动机构类型的多个移动机构。移动机构114使用诸如支撑元件(例如驱动轴)或其它致动元件(例如致动器132)的任何合适装置，来与可移动物体102相连接(或反之)。例如，致动器132从处理器116接收控制信号(例如，经由控制总线112)，该控制信号激活致动器以引起移动机构114的移动。例如，处理器116包括向致动器134提供控制信号的电子速度控制器。
在一些实施例中，移动机构114使可移动物体102从表面垂直起飞或在表面上垂直着陆，而不需要可移动物体102的任何水平移动(例如，不沿着跑道行驶)。在一些实施例中，移动机构114可以运行以允许可移动物体102在空气中悬停在指定位置和/或以特定朝向悬停。在一些实施例中，一个或多个移动机构114可独立于其他移动结构114中的一个或多个来控制。例如，当可移动物体102是四旋翼机时，四旋翼机的每个旋翼都是可独立于四旋翼机的其他旋翼被控制的。在一些实施例中，多个移动机构114被配置为用于同时移动。
在一些实施例中，移动机构114包括为可移动物体提供升力和/或推力的多个旋翼。可以致动多个旋翼，以向可移动物体102提供例如垂直起飞、垂直着陆和悬停能力。在一些实施例中，一个或多个旋翼沿顺时针方向旋转，而一个或多个旋翼沿逆时针方向旋转。例如，顺时针旋翼的数量等于逆时针旋翼的数量。在一些实施例中，每个旋翼的旋转速率可以独立地变化，以便例如控制由每个旋翼产生的升力和/或推力，从而调节可移动物体102的空间部署、速度和/或加速度(例如，关于高达三个平移度和/或高达三个旋转度)。
在一些实施例中，载体108与可移动物体102相连接。负载110与载体108相连接。在一些实施例中，载体108包括使负载110能够相对于可移动物体102移动的一个或多个机构，如参照图2B进一步描述的。在一些实施例中，负载110刚性地连接到可移动物体102，使得负载110相对于可移动物体102保持基本静止。例如，载体108连接到负载110，使得负载不能相对于可移动物体102移动。在一些实施例中，负载110连接到可移动物体102而不需要载体108。
通信系统120支持例如经由无线信号124与控制单元104和/或计算装置126进行通信。通信系统120包括例如用于无线通信的发射机、接收机和/或收发机。在一些实施例中，通信是单向通信，使得仅从可移动物体102向控制单元104传送数据，反之亦然。在一些实施例中，通信是双向通信，使得在可移动物体102和控制单元104之间的两个方向上传送数据。
在一些实施例中，可移动物体102与计算装置126进行通信。在一些实施例中，可移动物体102、控制单元104和/或远程装置连接到互联网或其它电信网络，例如使得由可移动物体102、控制单元104和/或计算装置126生成的数据被传送到服务器以用于数据存储和/或数据获取(例如，用于由网站显示)。
在一些实施例中，可移动物体102的感测系统122包括一个或多个传感器，如参照图3进一步描述的。在一些实施例中，可移动物体102和/或控制单元104使用由感测系统122的传感器生成的感测数据来确定信息，诸如可移动物体102的位置、可移动物体102的朝向、可移动物体102的移动特性(例如，角速度、角加速度、平移速度、平移加速度和/或沿着一个或多个轴的移动方向)、可移动物体102与潜在障碍物的接近度、天气状况、地理特征的位置和/或人造结构的位置。
图2B示出了根据实施例的在目标跟踪系统100中的示例性载体108。在一些实施例中，载体108将负载110连接到可移动物体102。
在一些实施例中，载体108包括将一个或多个框架构件202包含在内的框架构件。在一些实施例中，框架构件202与可移动物体102和负载110相连接。在一些实施例中，框架构件202支撑负载110。
在一些实施例中，载体108包括一个或多个机构(例如，一个或多个致动器204)以引起载体108和/或负载110的移动。致动器204例如是诸如液压、气动、电、热、磁和/或机械电机的电机。在一些实施例中，致动器204引起框架构件202的移动。在一些实施例中，致动器204围绕一个或多个轴转动有效载荷110，诸如，以下三个轴：相对于可移动物体102的X轴(“俯仰轴”)、Z轴(“横滚轴”)和Y轴(“航向轴”)。在一些实施例中，致动器204沿着相对于可移动物体102的一个或多个轴平移负载110。
在一些实施例中，载体108包括一个或多个载体感测系统206，例如，用于确定载体108或负载110的状态。载体感测系统206包括例如运动传感器(例如，加速度计)、旋转传感器(例如，陀螺仪)、电位计和/或惯性传感器。在一些实施例中，载体感测系统206包括可移动物体感测系统122的一个或多个传感器，如以下相对图3所描述的。由载波感测系统206确定的传感器数据包括例如载体108和/或负载110的空间布置(例如，位置、朝向或姿态)和/或诸如速度(例如，线速度或角速度)和/或加速度(例如，线加速度或角加速)的移动信息。在一些实施例中，感测数据和/或根据感测数据计算的状态信息被用作反馈数据以控制载体108的一个或多个组件(例如，框架构件202、致动器204和/或阻尼元件208)的移动。载体传感器206连接到例如框架构件202、致动器204，阻尼元件208和/或负载110。在一个实施例中，载体传感器206(例如，电位计)测量致动器204的移动(例如，电机转子和电机定子的相对位置)并且生成表示致动器204的移动的位置信号(例如，表示电机转子和电机定子的相对位置的位置信号)。在一些实施例中，由可移动物体102的处理器116和/或存储器118接收由载体传感器206产生的数据。
在一些实施例中，载体108与可移动物体102的连接包括一个或多个阻尼元件208。阻尼元件208被配置为减少或消除由可移动物体102的移动引起的负载(例如，负载110和/或载体108)的移动。阻尼元件208包括例如主动阻尼元件、被动阻尼元件和/或具有主动和被动阻尼特性的混合阻尼元件。由阻尼元件208阻尼的移动可以包括振动、摆动、晃动或冲击中的一个或多个。这种移动可以源自传输到负载的可移动物体的移动。例如，所述移动可以包括由动力系统和/或可移动物体101的其他组件的操作引起的振动。
在一些实施例中，阻尼元件208通过消除或减少传递到负载的移动量来将负载与不希望的移动来源相隔离(例如，振动隔离)，从而提供移动阻尼。在一些实施例中，阻尼元件208减小可能由负载经历的移动的幅度(例如，幅值)。在一些实施例中，由阻尼元件208施加的移动阻尼被用于稳定负载，由此改善由负载(例如，图像捕获装置)捕获的图像的质量，并降低基于捕获的图像生成全景图像所需的图像拼接步骤的计算复杂度。
本文描述的阻尼元件208可以由任何合适的材料或包括固体、液体或气体材料的材料的组合形成。用于减震元件的材料可以是可压缩的和/或可变形的。例如，阻尼元件208由例如海绵、泡沫、橡胶、凝胶等制成。例如，阻尼元件208包括大致球形的橡胶球。阻尼元件208例如为大致球形、矩形和/或圆柱形。在一些实施例中，阻尼元件208包括压电材料或形状记忆材料。在一些实施例中，阻尼元件208包括一个或多个机械元件，例如弹簧、活塞、液压装置、气动装置、缓冲器、减震器、隔离器等。在一些实施例中，阻尼元件208的特性被选择为提供预定量的移动阻尼。在一些情况下，阻尼元件208具有粘弹性。阻尼元件208的特性例如是各向同性或各向异性的。在一些实施例中，阻尼元件208沿所有移动方向均匀地提供移动阻尼。在一些实施例中，阻尼元件208仅沿着移动方向的子集(例如，沿着单个移动方向)提供移动阻尼。例如，阻尼元件208可以主要沿着Y(航向)轴提供阻尼。这样，所示的阻尼元件208减少了垂直移动。
在一些实施例中，载体108包括控制器210。控制器210包括例如一个或多个控制器和/或处理器。在一些实施例中，控制器210从可移动物体102的处理器116接收指令。例如，控制器210经由控制总线112连接到处理器116。在一些实施例中，控制器210控制致动器204的移动，调节载体传感器206的一个或多个参数，从载体传感器206接收数据和/或向处理器116发送数据。
图2C示出了根据一些实施例的在目标跟踪系统100中的示例性负载110。在一些实施例中，负载110包括负载感测系统212和控制器218。在一些实施例中，负载感测系统212包括成像装置214，诸如，相机。在一些实施例中，负载感测系统212包括可移动物体感测系统122的一个或多个传感器，如以下相对图3所描述的。
负载感测系统212产生静态感测数据(例如，响应于接收到的指令而捕获的单个图像)和/或动态感测数据(例如，以周期性速率捕获的一系列图像，诸如视频)。成像装置214包括例如用于检测光(诸如可见光、红外光和/或紫外光)的图像传感器216。在一些实施例中，成像装置214包括一个或多个光学装置(例如，镜头)以将光聚焦到或以其他方式改变到图像传感器216上。
在一些实施例中，图像传感器216包括例如半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS，Live MOS)技术的有源像素传感器、或任何其他类型的传感器。图像传感器216和/或成像装置214捕获例如图像和/或图像流(例如，视频)。成像装置214的可调参数包括例如宽度、高度、长宽比、像素数、分辨率、质量、成像模式、焦距、景深、曝光时间、快门速度和/或镜头配置。在一些实施例中，成像装置214被配置成捕获高清或超高清视频(例如，720p、1080i、1080p、1440p、2000p、2160p、2540p、4000p、4320p等)。
在一些实施例中，负载110包括控制器218。控制器218包括例如一个或多个控制器和/或处理器。在一些实施例中，控制器218从可移动物体102的处理器116接收指令。例如，控制器218经由控制总线112连接到处理器116。在一些实施例中，控制器218调节有效载荷感测系统212的一个或多个传感器的一个或多个参数；从有效载荷感测系统212的一个或多个传感器接收数据；和/或将来自图像传感器216的诸如图像数据的数据传输到处理器116、存储器118和/或控制单元104。
在一些实施例中，例如由存储器118存储由负载传感器系统212的一个或多个传感器产生的数据。在一些实施例中，由负载传感器系统212产生的数据被传送到控制单元104(例如，经由通信系统120)。例如，视频从负载110(例如，成像装置214)流传播到控制单元104。这样，控制单元104显示例如从成像装置214接收的实时(或稍微延迟的)视频。
在一些实施例中，可移动物体102、载体108和/或负载110的朝向、位置、姿态和/或一个或多个移动特性的调节至少部分基于可移动物体102、载体108和/或负载110的配置(例如，在系统配置400中预设和/或用户配置的)。例如，如果包括成像装置214在内的负载110刚性地连接到可移动物体102(并且因此相对于可移动物体102不可移动)，和/或经由不允许成像装置214和可移动物体102之间的相对移动的载体108将负载110连接到可移动物体102，则仅通过可移动物体围绕两个轴(例如，航向和俯仰)的相应旋转来实现涉及围绕所述两个轴的旋转的调节。如果载体108允许成像装置214相对于可移动物体102围绕至少一个轴旋转，则通过例如对可移动物体102和载体108二者的组合调节来实现相同的双轴调节。在这种情况下，可以控制载体108以实现围绕所述调节所需的两个轴中的一个或两个轴的旋转，且可以控制可移动物体120以实现围绕所述两个轴中的一个或两个轴的旋转。例如，载体108包括例如单轴云台，其允许成像装置214围绕调节所需的两个轴之一旋转，同时由可移动物体102实现围绕另一轴的旋转。在一些实施例中，当载体108允许成像装置214相对于可移动物体102围绕两个或更多个轴旋转时，由载体108单独地实现相同的双轴调节。例如，载体108包括双轴或三轴云台。
图3示出了根据一些实施例的可移动物体102的示例性感测系统122。在一些实施例中，可移动物体感测系统122的一个或多个传感器安装到可移动物体102的外部、位于其中或以其他方式与之相连接。在一些实施例中，可移动物体感测系统的一个或多个传感器是载体感测系统206和/或负载感测系统212的组件。在将感测操作描述为由此处的可移动物体感测系统122执行的情况下，将认识到这样的操作可选地由载体感测系统206和/或负载感测系统212来执行。
可移动物体感测系统122产生静态感测数据(例如，响应于接收到的指令而捕获的单个图像)和/或动态感测数据(例如，以周期性速率捕获的一系列图像，诸如视频)。
在一些实施例中，可移动物体感测系统122包括诸如图像传感器308(例如，左立体图像传感器)和/或图像传感器310(例如，右立体图像传感器)的一个或多个图像传感器302。图像传感器302捕获例如图像、图像流(例如视频)、立体图像和/或立体图像流(例如，立体图像视频)。图像传感器302检测诸如可见光、红外光和/或紫外光的光。在一些实施例中，可移动物体感测系统122包括一个或多个光学装置(例如，镜头)以将光聚焦到或以其他方式改变到一个或多个图像传感器302上。在一些实施例中，图像传感器302包括例如半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS，Live MOS)技术的有源像素传感器、或任何其他类型的传感器。
在一些实施例中，可移动物体感测系统122包括一个或多个音频换能器304。例如，音频检测系统包括音频输出换能器312(例如，扬声器)和音频输入换能器314(例如，诸如抛物线麦克风的麦克风)。在一些实施例中，麦克风和扬声器用作声纳系统的组件。在一些实施例中，使用声纳系统来检测障碍物的当前位置信息(例如，图15中所示的障碍物1316)。
在一些实施例中，可移动物体感测系统122包括一个或多个红外传感器306。在一些实施例中，距离测量系统包括一对红外传感器，例如红外传感器316(诸如，左红外传感器)和红外传感器318(诸如，右红外传感器)或另一传感器或传感器对。距离测量系统用于例如测量到目标106和/或障碍物1316的距离。
在一些实施例中，产生深度图的系统包括可移动物体感测系统122的一个或多个传感器或传感器对(诸如，左立体图像传感器308和右立体图像传感器310；音频输出换能器312和音频输入换能器314；和/或左红外传感器316和右红外传感器318)。在一些实施例中，立体数据系统(例如，立体成像系统)中的一对传感器同时捕获来自不同位置的数据。在一些实施例中，深度图由立体数据系统通过使用同时捕获的数据来生成。在一些实施例中，深度图用于定位和/或检测操作，诸如检测障碍物1316、检测障碍物1316的当前位置信息、检测目标106和/或检测目标106的当前位置信息。
在一些实施例中，可移动物体感测系统122包括一个或多个全球定位系统(GPS)传感器、运动传感器(例如，加速度计)、旋转传感器(例如，陀螺仪)、惯性传感器、接近传感器(例如，红外传感器)或天气传感器(例如，压力传感器、温度传感器、湿度传感器和/或风传感器)。
在一些实施例中，由可移动物体感测系统122的一个或多个传感器产生的感测数据和/或使用来自可移动物体感测系统122的一个或多个传感器的感测数据确定的信息被传输到控制单元104(例如，经由通信系统120)。在一些实施例中，存储器118存储由可移动物体感测系统122的一个或多个传感器产生的数据和/或使用来自可移动物体感测系统122的一个或多个传感器的感测数据确定的信息。
图4是示出了根据一些实施例的存储器118的实现方式的框图。在一些实施例中，图4中示出的一个或多个元件位于控制单元104、计算装置126和/或另一装置中。
在一些实施例中，存储器118存储系统配置400。系统配置400包括一个或多个系统设置(例如，如由制造商、管理员和/或用户配置的)。例如，将对可移动物体102、载体108和/或负载110的朝向、位置、姿态和/或一个或多个移动特性中的一个或多个的约束存储为系统配置400的系统设置。
在一些实施例中，存储器118存储运动控制模块402。运动控制模块存储例如控制指令，诸如从控制模块104和/或计算装置126接收的控制指令。控制指令用于例如控制移动机构114、载体108和/或负载110的操作。
在一些实施例中，存储器118存储跟踪模块404。在一些实施例中，跟踪模块404针对正在被可移动物体102跟踪的目标106生成跟踪信息。在一些实施例中，基于由成像装置214捕获的和/或从图像分析模块406输出的图像(例如，在对一个或多个图像执行预处理和/或处理操作之后)，生成跟踪信息。跟踪模块404生成的跟踪信息包括例如一个或多个图像内的目标106的位置、大小或其他特性。在一些实施例中，由跟踪模块404生成的跟踪信息被发送到控制单元104和/或计算装置126(例如，扩大或以其他方式与来自图像分析模块406的图像和/或输出相组合)。例如，响应于来自控制单元104的请求和/或周期性地，将跟踪信息发送到控制单元104。
在一些实施例中，存储器118包括图像分析模块406。图像分析模块406对诸如由成像装置214捕获的图像的图像执行处理操作。在一些实施例中，图像分析模块对原始图像数据执行预处理(诸如重新采样)以确保图像坐标系统的正确性、降噪、对比度增强和/或尺度空间表示。在一些实施例中，对图像数据(包括已被预处理的图像数据)执行的处理操作包括特征提取、图像分割、数据验证、图像识别、图像注册和/或图像匹配。在一些实施例中，在对一个或多个图像执行了预处理和/或处理操作之后，将来自图像分析模块406的输出传输到控制单元104。
在一些实施例中，存储器118存储目标信息408。在一些实施例中，可移动物体102(例如经由通信系统120)从控制单元104、计算装置126、目标106和/或另一可移动物体接收目标信息408。
在一些实施例中，目标信息408包括对目标106将被跟踪的时间段加以指示的时间值和/或到期时间。在一些实施例中，目标信息408包括指示目标信息条目408是否包括特定目标信息412和/或目标类型信息410的标志。
在一些实施例中，目标信息408包括诸如颜色、纹理、图案、大小、形状和/或尺寸的目标类型信息410。例如由用户向用户输入装置(诸如，控制单元104的用户输入装置)提供目标类型信息410。在一些实施例中，用户可以选择预先存在的目标模式或类型(例如，黑色对象或半径大于或小于特定值的圆形对象)。在一些实施例中，提供目标类型信息的用户输入包括用户从一个或多个图像内对一个或多个目标106的选择。在一些实施例中，提取和/或归纳所选择的目标的特征或特性，以产生用于例如识别具有由目标类型信息410指示的特征或特性的目标的目标类型信息410。在一些实施例中，由控制单元104、可移动物体102的处理器116和/或计算装置126执行特征提取。
在一些实施例中，目标信息408包括针对特定目标106的特定目标信息412。特定目标信息412包括例如目标106的图像、目标106的初始位置(例如，位置坐标，诸如图像内的像素坐标)和/或在一个或多个图像(例如，由负载110的成像装置214捕获的图像)内的目标106的大小。目标106的大小被存储为例如长度(例如，mm或其他长度单位)、面积(例如，mm2或其它面积单位)、一行中的像素的数量(例如，对长度、宽度和/或直径加以指示)、目标在图像中的表示的长度相对于总图像长度的比值(例如，百分比)、目标在图像中的表示的面积相对于总图像面积的比值(例如，百分比)、对目标106的面积加以指示的像素的数目和/或目标106与可移动物体102之间的对应距离(例如，目标106的面积基于目标106距可移动物体102的距离而改变)。
在一些实施例中，目标信息408包括预期目标信息414。预期目标信息414指定目标106的一个或多个特性，诸如大小参数(例如，面积、直径、长度和/或宽度)、位置(例如，相对于图像中心和/或图像边界)和/或形状。在一些实施例中，目标106的一个或多个特性是根据目标106的图像而确定的(例如，对由成像装置112捕获的图像使用图像分析技术)。例如，目标106的一个或多个特性是根据目标106的朝向和/或所识别边界的一部分或全部来确定的。在一些实施例中，预期目标信息包括像素坐标和/或像素计数，用于指示例如目标106的大小参数、位置和/或形状。在一些实施例中，在可移动物体102跟踪目标106时要保持预期目标信息414的一个或多个特性(例如，在成像装置214捕获目标106的图像时要保持预期目标信息414)。预期目标信息414用于例如调节可移动物体102、载体108和/或成像装置214，例如使得基本上保持目标106的指定特性。在一些实施例中，预期目标信息414是基于目标类型410和/或特定目标信息412中的一个或多个来确定的。例如，根据特定目标信息412(例如，目标106的图像)确定目标的大小，并且将表示目标的面积的值存储为预期目标信息414。
在一些实施例中，基于用户输入(诸如，在控制单元104的用户输入装置506处接收到的输入)来生成目标信息408(包括例如目标类型信息410、针对特定目标412的信息和/或预期目标信息414)。附加地或备选地，基于来自除了控制单元104之外的源的数据来生成目标信息。例如，目标类型信息可以基于存储的目标106的先前图像(例如，由成像装置214捕获并由存储器118存储的图像)、由存储器118存储的其他数据和/或来自远离控制单元104和/或可移动物体102的数据存储装置的数据。在一些实施例中，使用目标106的计算机生成的图像来生成目标信息。
在一些实施例中，可移动物体102将目标信息408用来跟踪目标106。例如，由跟踪模块404使用目标信息408。在一些实施例中，目标信息408被图像分析模块406用来识别目标106。在一些情况下，目标识别涉及基于例如CAD类对象模型、基于外观的方法、基于特征的方法和/或遗传算法进行图像识别和/或匹配算法。在一些实施例中，目标识别包括：比较两个或更多个图像以确定、提取和/或匹配图像中所包含的特征。
上述模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块，因此可以在各种实施例中组合或重新排列这些模块的各种子集。在一些实施例中，存储器118可以存储以上描述的模块和数据结构的子集。此外，存储器118可以存储以上没有描述的附加模块和数据结构。在一些实施例中，存储在存储器118或存储器118的非暂时性计算机可读存储介质中的程序、模块和数据结构提供用于实现下面描述的方法中的各个操作的指令。在一些实施例中，这些模块中的一些或全部可以用包含模块功能的部分或全部的专用硬件电路来实现。可以由可移动物体102的一个或多个处理器116执行一个或多个上述元件。在一些实施例中，由远离可移动物体102的装置(诸如，控制单元104和/或计算装置126)的一个或多个处理器执行一个或多个上述标识元件。
图5示出了根据一些实施例的目标跟踪系统100的示例控制单元104。在一些实施例中，控制单元104经由通信系统120与可移动物体102通信，例如以向可移动物体102提供控制指令。尽管控制单元104通常是便携式(例如，手持式)装置，但是控制单元104不需要是便携式的。在一些实施例中，控制单元104是专用控制装置(例如，专用于可移动物体102的操作)、膝上型计算机、台式计算机、平板计算机、游戏系统、可穿戴装置(例如，眼镜、手套和/或头盔)、麦克风和/或其组合。
控制单元104通常包括一个或多个处理单元502、通信系统510(例如，包括一个或多个网络或其他通信接口)、存储器504、一个或多个输入/输出(I/O)接口(例如，显示器506和/或输入装置508)以及用于将这些组件互连的一个或多个通信总线512。
在一些实施例中，触摸屏显示器包括显示器508和输入装置506。触摸屏显示器可选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，但是在其他实施例中使用其他显示技术。触摸屏显示器和处理器502可选地使用现在已知的或将来研发的多种触敏技术中的任何一种来检测接触及其任何移动或中断，所述触敏技术包括但不限于电容式、电阻式、红外和表面声波技术，以及其它接近传感器阵列或用于确定与触摸屏显示器的一个或多个接触点的其它元件。
在一些实施例中，输入装置506包括例如一个或多个操纵杆、开关、旋钮、滑动开关、按钮、拨号盘、键区、键盘、鼠标、音频换能器(例如，用于语音控制系统的麦克风)、运动传感器和/或手势控制。在一些实施例中，控制单元104的I/O接口包括传感器(例如，GPS传感器和/或加速度计)、音频输出换能器(例如，扬声器)和/或一个或多个用于生成触觉输出的触觉输出生成器。
在一些实施例中，输入装置506接收用户输入以控制可移动物体102、载体108、负载110或其组件的各方面。这些方面包括例如姿态、位置、朝向、速度、加速度、导航和/或跟踪。例如，输入装置506由用户手动设置到一个或多个位置，其中每个位置对应于用于控制可移动物体102的预定输入。在一些实施例中，输入装置506由用户操纵以输入用于控制可移动物体102的导航的控制指令。在一些实施例中，输入装置506用于输入针对可移动物体102的飞行模式，例如，自动驾驶或根据预定导航路径的导航。
在一些实施例中，输入装置506用于输入针对可移动物体102的目标跟踪模式，诸如，手动跟踪模式或自动跟踪模式。在一些实施例中，用户通过改变控制单元104的位置(例如，通过倾斜或以其他方式移动控制单元104)来控制可移动物体102(例如，可移动物体102的位置、姿态和/或朝向)。例如，通过例如一个或多个惯性传感器来检测控制单元104的位置改变，并将所述一个或多个惯性传感器的输出用于生成命令数据。在一些实施例中，输入装置506用于调节负载的操作参数，诸如，负载感测系统212的参数(例如，以调节成像装置214的缩放参数)和/或负载110相对于载体108和/或可移动物体102的位置。
在一些实施例中，输入装置506用于指示关于目标106的信息，例如，以选择跟踪的目标106和/或指示目标类型信息412。在一些实施例中，输入装置506用于与增强型图像数据进行交互。例如，由显示器508显示的图像包括一个或多个目标106的表示。在一些实施例中，增强一个或多个目标106的表示，以指示用于潜在跟踪的识别对象和/或当前正被跟踪的目标106。增强包括例如与相应目标106相邻或围绕相应目标106的图形跟踪指示符(例如，方框)。在一些实施例中，输入装置506用于选择要跟踪的目标106或将正被跟踪的目标106改变为不同目标以便跟踪。在一些实施例中，当通过例如手指、触控笔、鼠标、操纵杆或输入装置506的其他部件选择与目标106的表示相对应的区域时，选择目标106。在一些实施例中，当用户选择要跟踪的目标106时，生成特定目标信息412。
控制单元112还可以配置为允许用户使用任何合适的方法来输入目标信息。在一些实施例中，输入装置506接收对来自显示器508所显示的一个或多个图像(例如，视频或快照)的目标106的选择。例如，输入装置506接收输入，该输入包括由围绕图像中的目标106的手势和/或在与目标106相对应的位置处的接触执行的选择。在一些实施例中，使用计算机视觉或其他技术来确定目标106的边界。在一些实施例中，在输入装置506处接收到的输入定义目标106的边界。在一些实施例中，同时选择多个目标。在一些实施例中，选定的目标显示有选择指示符，以指示该目标被选择用于跟踪。在一些其他实施例中，输入装置506接收对与目标106相关联的信息(例如，颜色、纹理、形状、尺寸和/或其他特性)加以指示的输入。例如，输入装置506包括用于接收指示目标信息408的键入输入的键盘。
在一些实施例中，控制单元104提供使得用户能够在手动跟踪模式和自动跟踪模式之间进行选择(例如，使用输入装置506)的界面。当选择手动跟踪模式时，该界面使用户能够选择要跟踪的目标106。例如，用户能够从控制单元104的显示器508所显示的图像中手动选择目标106的表示。将与所选目标106相关联的特定目标信息412发送给可移动目标102，例如作为初始预期目标信息。
在一些实施例中，当选择自动跟踪模式时，用户不提供选择要跟踪的目标106的输入。在一些实施例中，输入装置506接收来自用户输入的目标类型信息410。在一些实施例中，可移动物体102使用目标类型信息410，例如，以自动识别待跟踪的目标106和/或跟踪所识别的目标106。
典型地，手动跟踪需要更多的用户对目标的跟踪的控制，且可移动物体102的处理器116的较少的自动化处理或计算(例如，图像或目标识别)，而自动跟踪需要较少的对跟踪过程的用户控制且可移动物体102的处理器116(例如，通过图像分析模块406)执行更多的计算。在一些实施例中，例如根据诸如可移动物体102的周围环境、可移动物体102的移动、可移动物体102的高度、系统配置400(例如，用户偏好)和/或可移动物体102、控制单元104和/或计算装置126的可用计算资源(例如，CPU或存储器)等因素，来调节对用户与机载处理系统之间的跟踪过程的控制的分配。例如，相较于当可移动物体在比较简单的环境中(例如，宽敞的空间或室外)导航时，当可移动物体在相对复杂的环境中(例如，具有多个建筑物或障碍物或室内)导航时，向用户分配相对更多的控制。作为另一示例，相较于当可移动物体102处于较高高度时，当可移动物体102处于较低高度时，向用户分配相对更多的控制。作为另一示例，如果可移动物体配备有适于相对快速地执行复杂计算的高速处理器，则向可移动物体102分配更多的控制。在一些实施例中，基于这里描述的一个或多个因素，动态地调节对用户和可移动物体102之间的跟踪过程的控制的分配。
在一些实施例中，控制单元104包括电子装置(例如，便携式电子装置)和输入装置506，输入装置506是通信连接到(例如，经由无线和/或有线连接)和/或机械连接到该电子装置的外围装置。例如，控制单元104包括便携式电子装置(例如，智能电话)和连接到该便携式电子装置的遥控装置(例如，具有操纵杆的标准遥控器)。在该示例中，由智能电话执行的应用基于在遥控装置处接收到的输入来生成控制指令。
在一些实施例中，显示装置508显示关于可移动物体102、载体108和/或负载110的信息，诸如，可移动物体102的位置、姿态、朝向、移动特性和/或可移动物体102与另一物体(例如，目标106和/或障碍物)之间的距离。在一些实施例中，由显示装置508显示的信息包括由成像装置214捕获的图像、跟踪数据(例如，应用于目标106的表示的图形跟踪指示符，诸如目标106周围的框或其他形状，被示为指示当前正在跟踪目标106)和/或传送到可移动物体102的控制数据的指示。在一些实施例中，当从可移动物体102接收图像数据和跟踪信息时和/或当获取图像数据时，基本上实时显示包括目标106的表示和图形跟踪指示符的图像。
通信系统510支持经由有线或无线通信连接与可移动物体102的通信系统120、计算装置126的通信系统610和/或基站(例如，计算装置126)进行通信。在一些实施例中，通信系统510发送控制指令(例如，导航控制指令、目标信息和/或跟踪指令)。在一些实施例中，通信系统510接收数据(例如，来自负载成像装置214的跟踪数据和/或来自可移动物体感测系统122的数据)。在一些实施例中，控制单元104从可移动物体102接收跟踪数据(例如，经由无线通信124)。当正跟踪目标时，控制单元104将跟踪数据用于例如显示目标106。在一些实施例中，由控制单元104接收的数据包括原始数据(例如，由一个或多个传感器获取的原始感测数据)和/或经处理的数据(例如，由例如跟踪模块404处理的原始数据)。
在一些实施例中，存储器504存储用于自动地和/或基于经由输入装置506接收的输入地生成控制指令的指令。控制指令包括例如用于操作可移动物体102的移动机构114(例如，诸如通过向致动器132提供控制指令来调节可移动物体102的位置、姿态、朝向和/或移动特性)的控制指令。在一些实施例中，控制指令以多达六个自由度来调节可移动物体102的移动。在一些实施例中，生成控制指令以保持对目标106的跟踪(例如，如对图7进一步描述的那样，对目标106与预期目标信息的检测到的偏差进行校正)。在一些实施例中，控制指令包括用于调节载体108的指令(例如，用于调节载体108的载体感测系统206的阻尼元件208、致动器204和/或一个或多个传感器的指令)。在一些实施例中，控制指令包括用于调节负载110的指令(例如，用于调节有效感测系统212的一个或多个传感器的指令)。在一些实施例中，控制指令包括用于调节可移动物体感测系统122的一个或多个传感器的操作的控制指令。
在一些实施例中，输入装置506接收用户输入以控制可移动物体102的一个方面(例如，成像装置214的缩放)，同时控制应用产生用于调节可移动物体102的另一方面的控制指令(例如，以控制可移动物体102的一个或多个移动特性)。控制应用包括例如控制模块402、跟踪模块404和/或控制单元104和/或计算装置126的控制应用。例如，当控制应用生成用于调节成像装置214的参数的控制指令时，输入装置506接收用户输入以控制可移动物体102的一个或多个移动特性。这样，用户能够专注于控制可移动物体的导航，而不必提供用于跟踪目标的输入(例如，由控制应用自动执行跟踪)。
在一些实施例中，在输入装置506处接收的用户输入和控制应用之间对跟踪控制的分配根据诸如可移动物体102的周围环境、可移动物体102的移动、可移动物体102的高度、系统配置(例如，用户偏好)和/或可移动物体102、控制单元104和/或计算装置126的可用计算资源(例如，CPU或存储器)等因素而改变。例如，相较于当可移动物体在比较简单的环境中(例如，宽敞的空间或室外)导航时，当可移动物体在相对复杂的环境中(例如，具有多个建筑物或障碍物或室内)导航时，向用户分配相对更多的控制。作为另一示例，相较于当可移动物体102处于较高高度时，当可移动物体102处于较低高度时，向用户分配相对更多的控制。作为另一示例，如果可移动物体102配备有适于相对快速地执行复杂计算的高速处理器，则向可移动物体102分配更多的控制。在一些实施例中，基于这里描述的一个或多个因素，动态地调节对用户和可移动物体之间的跟踪过程的控制的分配。
图6示出了根据实施例的用于控制可移动物体102的示例性计算装置126。计算装置126是例如服务器计算机、膝上型计算机、台式计算机、平板电脑或电话。计算装置126通常包括一个或多个处理单元602、存储器604、通信系统610以及用于将这些组件互连的一个或多个通信总线612。在一些实施例中，计算装置126包括输入/输出(I/O)接口606，例如，显示器614和/或输入装置616。
在一些实施例中，计算装置126是与可移动物体102和/或控制单元104进行通信(例如，无线地)的基站。
在一些实施例中，计算装置126提供数据存储、数据获取和/或数据处理操作，例如以降低可移动物体102和/或控制单元104的处理能力要求和/或数据存储要求。例如，计算装置126可通信地连接到数据库614(例如，经由通信610)，和/或计算装置126包括数据库614(例如，数据库614连接到通信总线612)。
通信系统610包括一个或多个网络或其他通信接口。在一些实施例中，计算装置126从可移动物体102(例如，从可移动物体感测系统122的一个或多个传感器)和/或控制单元104接收数据。在一些实施例中，计算装置126将数据传输到可移动物体102和/或控制单元104。例如，计算装置向可移动物体102提供控制指令。
图7是示出了根据一些实施例的用于实现目标跟踪的方法700的流程图。方法700在诸如移动物体102、控制单元104和/或计算装置126之类的装置处执行。例如，用于执行方法700的指令被存储在存储器118的跟踪模块404中并且由处理器116执行。
该装置获得(702)一个或多个目标106的目标信息408。例如，从可移动物体102的存储器118、控制单元104的存储器504和/或计算装置126的存储器604获得目标信息408。在一些实施例中，由该装置获得的目标信息408是预期目标信息414。
该装置基于目标信息408识别(704)目标106。例如，该装置使用由成像装置214和/或可移动物体感测系统122的一个或多个传感器捕获的图像来识别目标106。在一些实施例中，使用图像辨识或识别技术(例如，通过图像分析模块406)来识别目标106。
该装置确定(706)所识别目标106的初始预期目标信息。例如，该装置确定由成像装置214和/或可移动物体感测系统122的一个或多个传感器捕获的初始图像内的所识别目标106的初始位置，并将该初始位置存储为预期目标信息414。
该装置确定(708)所识别目标106的更新的目标信息。例如，该装置确定目标106的更新位置，例如，如在初始图像之后捕获的一个或多个后续图像中所识别的。在一些实施例中，所识别目标106的更新的目标信息被存储为预期目标信息414(例如，替换目标106的先前预期目标信息414)。
在一些实施例中，该装置将在操作708中确定的更新的目标信息与预期目标信息414进行比较(710)(例如，以确定目标106已经从预期目标信息414偏离的程度)。例如，该装置确定目标106的表示的位置(例如，如在初始图像之后捕获的一个或多个后续图像内所识别的)与初始图像内的目标106的位置之间的偏差。
在一些实施例中，目标106与预期目标信息414的偏差包括目标106的位置的改变。例如，目标106的位置的改变通过以下方法来检测：将图像内(例如，在初始图像之后捕获的一个或多个后续图像内)的目标106的表示的坐标(例如，目标106的中心点的坐标)与预期目标信息414(例如，预期目标位置的坐标)进行比较。
在一些实施例中，目标106与预期目标信息414的偏差包括目标106的大小的改变。目标106的大小的改变通过以下方法来确定：将图像内(例如，在初始图像之后捕获的一个或多个后续图像内)的目标106的表示的大小参数(例如，面积(例如以像素为单位))与预期目标信息414(例如，目标106的预期面积)进行比较。
该装置确定(712)目标106与预期目标信息414的偏差(例如，如在操作710中所确定的)是否需要校正调节。在一些实施例中，应用容差标准来确定目标与预期目标信息414的偏差是否需要校正调节。在一些实施例中，当更新的目标信息(诸如图像内的目标106的表示的位置)处于预期目标信息414(诸如之前图像内的目标106的表示的位置)的预定的最小像素数以内时，满足容差标准。例如，当图像内的目标106的表示的位置与根据预期目标信息414的目标106的位置相比偏差了小于预定像素数时，满足容差标准。在一些实施例中，当目标106的表示的大小参数高于最小大小参数和/或低于最大大小参数时，满足容差标准。在一些实施例中，当目标106的表示的大小参数与预期目标信息相比偏差了小于预定量(例如，小于预定像素数)时，满足容差标准。在一些实施例中，容差标准由例如系统参数(例如，系统配置400)、例如预设和/或可调参数(例如由装置和/或由用户可调)来定义。
当目标106与预期目标信息414的偏差需要校正调节(例如，不满足容差标准)时，流程进行到操作714。当目标106与预期目标信息414的偏差不需要校正调节(例如，满足容差标准)时，流程进行到操作708。
该装置生成用于基本上校正偏差的指令(714)。以这种方式，例如，该装置根据预期目标信息414基本上校正偏差和/或基本上保持目标106的表示，例如以促进对目标106的持续跟踪。在一些实施例中，基本上校正偏差包括对可移动物体102、载体108和/或负载110的朝向、位置、姿态和/或一个或多个移动特性的调节。在一些实施例中，用于基本上校正偏差的指令改变成像装置214和/或可移动物体感测系统122的一个或多个传感器的参数，例如改变与成像装置214相关联的变焦、聚焦或其它特性。
在一些实施例中，用于基本上校正偏差的调节包括：通过调节可移动物体102的一个或多个移动特性、或通过调节成像装置214的缩放水平以及调节可移动物体102的一个或多个移动特性的组合，调节成像装置214的缩放水平(例如，如果成像装置支持所需的缩放水平)。在一些实施例中，控制应用(例如控制模块402、跟踪模块404和/或控制单元104和/或计算装置126的控制应用)确定一个或多个调节。例如，如果成像装置214不支持基本上校正偏差所需的缩放水平，则代替调节成像装置214的缩放水平或除了调节成像装置214的缩放水平之外，还调节可移动物体102的一个或多个移动特性。
在一些实施例中，对可移动物体102、载体108和/或负载110的朝向、位置、姿态、一个或多个移动特性和/或其他操作参数的调节受到由系统配置400(例如，由制造商、管理员或用户配置的)、由控制单元104(例如，在控制单元104处接收的用户控制输入)和/或由计算装置126施加的一个或多个约束限制。约束的示例包括针对沿着一个或多个轴的旋转角度、角速度和/或线速度的限制(例如，最大和/或最小限制)。例如，可移动物体102、载体108和/或负载110围绕轴的角速度受例如可移动物体102、载体108和/或负载110所允许的最大角速度的约束。在一些实施例中，可移动物体102、载体108和/或负载110的线速度受例如可移动物体102、载体108和/或负载110所允许的最大线速度的约束。在一些实施例中，成像装置214的焦距的调节受成像装置214的最大焦距和/或最小焦距的约束。
在一些实施例中，在预先确定了可移动物体102的导航路径的情况下，通过载体108和/或负载110实现对朝向、位置、姿态和/或一个或多个移动特性的调节，而不影响可移动物体102的移动。例如，如果远程用户正通过控制单元主动地控制可移动物体的导航，或者如果可移动物体正在根据预存储的导航路径(例如，自主或半自主地)进行导航，则可移动物体102的导航路径可以是预先确定的。
在一些实施例中，当对朝向、位置、姿态和/或一个或多个移动特性的调节受到如上所述的约束的限制时，提供警告指示符。在一些实施例中，警告指示符包括文本、音频(例如，警笛或嘟嘟声)、图像或其他视觉指示符(例如，改变的用户界面背景颜色和/或闪光灯)和/或触觉反馈。在例如可移动物体102、控制单元104和/或计算装置126处提供警告指示符。
在一些实施例中，当可移动物体102正在执行用户提供的导航控制指令或预定的飞行路径时，基本上实时地执行对朝向、位置、姿态和/或一个或多个移动特性的调节。
在一些实施例中，使用例如由可移动物体感测系统122的一个或多个传感器(例如，接近传感器和/或GPS传感器)获取的感测数据和/或由目标106发射的位置信息(例如，GPS位置)等信息，来生成用于基本上校正偏差的指令。
在一些实施例中，周期性地(例如，每0.01秒、0.1秒、0.2秒、0.5秒或1秒)和/或响应于从可移动物体102、载体108和/或负载110接收到的指令来确定所识别目标的更新的目标信息(708)。
图8示出了根据实施例的可移动物体102、载体108和负载110的示例性配置800。配置800用于图示对可移动物体102、载体108和/或负载110的朝向、位置、姿态和/或一个或多个移动特性的示例性调节，该示例性调节例如用于跟踪目标106。
在一些实施例中，可移动物体102围绕三个正交轴(诸如，X1(俯仰)810、Y1(航向)808和Z1(横滚)812轴)旋转。围绕三个轴的旋转在此分别被称为俯仰旋转822、航向旋转820和横滚旋转824。围绕X1、Y1和Z1轴的可移动物体102的角速度在本文中分别被称为ωX1、ωY1和ωZ1。在一些实施例中，可移动物体102分别沿着X1、Y1和Z1轴进行平移移动828、826和830。沿着X1、Y1和Z1轴的可移动物体102的线速度在本文中分别被称为VX1、VY1和VZ1。
在一些实施例中，负载110经由载体108连接到可移动物体102。在一些实施例中，负载110相对于可移动物体102移动(例如，由载体108的致动器204引起负载110相对于可移动物体102移动)。
在一些实施例中，负载110围绕和/或沿着最多三个正交轴X2(俯仰)816、Y2(航向)814和Z2(横滚)818移动。X2、Y2和Z2轴分别平行于X1、Y1和Z1轴。在一些实施例中，在负载110包括成像装置214(例如，包括光学模块802)的情况下，横滚轴Z2818基本上平行于光学模块802的光路或光轴。在一些实施例中，光学模块802光学连接到图像传感器216(和/或可移动物体感测系统122的一个或多个传感器)。在一些实施例中，例如基于提供给载体108的致动器204的控制指令，载体108引起负载110围绕多达三个正交轴X2(俯仰)816、Y2(航向)814和Z2(横滚)818旋转。围绕三个轴的旋转在此分别被称为俯仰旋转834、航向旋转832和横滚旋转836。围绕X2、Y2和Z2轴的负载110的角速度在本文中分别被称为ωX2、ωY2和ωZ2。在一些实施例中，载体108使得负载110相对于可移动物体102分别沿着X2、Y2和Z2轴进行平移移动840、838和842。负载110沿着X2、Y2和Z2轴的线速度在这里分别被称为VX2、VY2和VZ2。
在一些实施例中，可以限制负载110的移动(例如，载体108限制负载110的移动，例如，由于限制致动器204的移动和/或由于缺少能够引起特定移动的致动器)。
在一些实施例中，负载110的移动可以被限制为相对于可移动物体102围绕和/或沿着三个轴X2、Y2和Z2的子集移动。例如，负载110可围绕X2、Y2、Z2或其任何组合旋转(移动832、834、836)，负载110不可沿着任何轴移动(例如，载体108不允许负载110进行移动838、840、842)。在一些实施例中，负载110被限制为围绕X2、Y2和Z2轴之一旋转。例如，负载110只能绕Y2轴旋转(例如，旋转832)。在一些实施例中，负载110被限制为围绕X2、Y2和Z2轴中的仅两个轴旋转。在一些实施例中，负载110可围绕X2、Y2和Z2轴中的所有三个轴旋转。
在一些实施例中，负载110被限制为沿着X2、Y2或Z2轴(移动838、840、842)或其任何组合移动，且负载110不能围绕任何轴旋转(例如，载体108不允许负载110进行移动832、834、836)。在一些实施例中，负载110被限制为沿着X2、Y2和Z2轴中的仅一个轴移动。例如，负载110的移动被限制为沿着X2轴的移动840。在一些实施例中，负载110被限制为沿着X2、Y2和Z2轴中的仅两个轴移动。在一些实施例中，负载110可沿着X2、Y2和Z2轴中的所有三个轴移动。
在一些实施例中，负载110能够执行相对于可移动物体102的旋转和平移移动。例如，负载110能够沿着和/或围绕X2、Y2和Z2轴中的一个轴、两个轴或三个轴移动和/或旋转。
在一些实施例中，负载110直接连接到可移动物体102而无需载体108，或载体108不允许负载110相对于可移动物体102移动。在一些实施例中，在这种情况下，负载110的姿态、位置和/或朝向相对于可移动物体102是固定的。
在一些实施例中，通过调节可移动物体102、载体108和/或负载110，诸如调节可移动物体102、载体108和/或负载110中的两个或更多个的组合，执行对负载110的姿态、朝向和/或位置的调节。例如，通过仅将可移动物体旋转60度、由载体执行将负载相对于可移动物体旋转60度或将可移动物体旋转40度和将负载相对于可移动物体旋转20度的组合，来实现负载围绕给定轴(例如，航向轴)旋转60度。
在一些实施例中，通过调节可移动物体102、载体108和/或负载110，诸如调节可移动物体102、载体108和/或负载110中的两个或更多个的组合，实现负载的平移移动。在一些实施例中，通过调节负载的操作参数(诸如调节成像装置214的缩放级别或焦距)来实现期望的调节。
图9示出了根据实施例的用于保持目标106的预期位置的示例性跟踪方法。示例性图像900例如是由成像装置214捕获的图像。假设图像具有W像素的宽度和H像素的高度(其中W和H是正整数)。图像内的位置由沿着轴901(沿着图像的宽度)和轴903(沿着图像的高度)的一对坐标定义，其中图像的左上角具有坐标(0，0)，图像的右下角具有坐标(W，H)。
假定如图像900中所捕获的目标106的表示位于位置P(u，v)902处，并且目标的预期位置(例如，如由预期目标位置414所指示的)是不同于P 902的P0(u0，v0)904。在一些实施例中，目标的预期位置P0(u0，v0)可以靠近图像的中心，使得u0＝W/2和/或v0＝H/2。在一些实施例中，目标的预期位置位于图像内的其他位置(例如偏离中心)。在一些实施例中，目标的预期位置可以或可以不与目标的初始位置(例如，如在706中所确定的)相同。假设当前位置P与预期目标信息414(例如预期位置P0)的偏差需要校正调节(例如，如在710-712中所确定的)，生成用于调节的指令(例如，如在操作714中生成的)以将目标位置从P调节到靠近预期位置P0。在一些实施例中，偏差被表示为相对于u0的Δx和相对于v0的Δy。
在一些实施例中，使用与预期目标位置的偏差来导出成像装置的视野围绕一个或多个轴旋转的一个或多个角速度。例如，使用沿着图像的轴901(例如，u和u0之间)的偏差来确定成像装置214的视野围绕Y(航向)轴906旋转的角速度wY 910，如下所示：
Figure BDA0001775122890000331
在一些实施例中，成像装置214的视野围绕Y轴的旋转通过可移动物体102的旋转、负载110(例如经由载体108)相对于可移动物体102的旋转、或者两者的组合来实现。在一些实施例中，当无法进行或者不希望进行对可移动物体102的调节时(例如，当可移动物体的导航路径是预定的时)，对负载110进行调节。在等式(1)中，α是可以基于可移动物体的配置(例如，当由可移动物体实现旋转时)、载体的配置(例如，当由载体实现旋转时)或者这两者(例如，当由可移动物体和载体的组合实现旋转时)预定义和/或校准的常数。在一些实施例中，α大于零(α＞0)。在其他实施例中，α可以不大于零(α≤0)。在一些实施例中，α可用于将所计算的像素值映射到用于控制围绕特定轴(例如，航向轴)的角速度的对应的控制杆量或灵敏度。通常，控制杆可以用于控制可控物体(例如可移动物体102或载体108)的角度或线性移动。更大的控制杆量对应于(角度或线性移动的)更高的灵敏度和更高的速度。在一些实施例中，控制杆量或其范围由可移动物体102的飞行控制系统的配置参数(例如，由系统配置400和/或运动控制模块402存储)确定，或者由载体108的控制系统的配置参数确定。控制杆量的范围的上限和下限可以包括任意数量。例如，对于一个飞行控制系统，控制杆量的范围可以是(1000，-1000)，对于另一个飞行控制系统，控制杆量的范围可以是(-1000，1000)。
例如，假定图像的宽度为W＝1024像素，高度为H＝768像素。因此，图像的大小是1024*768。进一步假设目标的预期位置具有u0＝512。因此，(u-u0)∈(-512，512)。假定围绕航向轴的控制杆量的范围是(-1000，1000)，则最大控制杆量或最大灵敏度是1000并且α＝1000/512。因此，α的值可受成像装置提供的图像分辨率或大小、控制杆量的范围(例如，围绕特定旋转轴)、最大控制杆量或最大灵敏度和/或其他因素的影响。
例如，当通过可移动物体102的旋转来实现旋转时，图9的Y轴906对应于如图8所示的可移动物体的Y1轴线808，并且视野的总角速度ωY被表示为可移动物体的角速度ωY1：
Figure BDA0001775122890000341
在等式(2)中，α1是基于可移动物体的配置定义的常数。在一些实施例中，α1大于零(α1＞0)。α1可以类似于上面讨论的α来定义。例如，可以基于图像分辨率或大小和/或可移动物体的控制杆量的范围(例如，围绕航向轴)来定义α1的值。
类似地，当通过负载110(例如经由载体108)相对于可移动物体102的旋转来实现旋转时，图9的Y轴906对应于如图8所示的负载的Y2轴814，并且视野的总角速度ωY被表示为负载相对于可移动物体的角速度ωY2：
Figure BDA0001775122890000342
在等式(3)中，α2是基于载体和/负载的配置而定义的常数。在一些实施例中，α2大于零(α2＞0)。α2可以类似于上面讨论的α来定义。例如，可以基于图像分辨率或大小和/或载体108的控制杆量范围(例如，围绕航向轴)来定义α2的值。
通常，围绕Y(航向)轴906的视野的角速度可以表示为可移动物体的角速度ωY1和负载相对于可移动物体的角速度ωY2的组合，例如下式：
ωY＝ωY1+ωY2 (4)
在等式(4)中，ωY1或ωY2可以为零。
如这里所示，围绕Y(航向)轴的旋转的方向可以取决于u-u0的符号。例如，如果预期位置位于实际位置的右侧(如图9所示)，则u-u0＜0，视野需要围绕航向轴906以逆时针方式旋转(例如，左转)，以便把目标带到预期位置。另一方面，如果预期位置位于实际位置的左侧，则u-u0＞0，视野需要围绕航向轴906以顺时针方式旋转(例如，右转)，以便把目标带到预期位置。
如本文所示，围绕给定轴(例如Y(航向)轴)的转速(例如，角速度的绝对值)可以取决于目标的预期位置与实际位置之间的沿轴的距离(即，|u-u0|)。距离越远，转速越快。同样，距离越近，转速越慢。当沿轴的预期位置与目标位置一致(例如，u＝u0)时，绕轴的转速为零，旋转停止。
如上所述的用于调整预期目标位置和实际目标位置沿着轴901的偏差的方法可以以类似的方式应用，以校正目标沿不同轴903的偏差。例如，可以使用沿着图像的轴903(例如，v和v0之间)的偏差来导出成像装置的视野围绕X(俯仰)轴908的角速度X914，如下所示：
Figure BDA0001775122890000351
成像装置的视野围绕X轴的旋转可以通过可移动物体的旋转、负载110(例如经由载体108)相对于可移动物体102的旋转、或者两者的组合来实现。在此，在等式(5)中，β是可以基于可移动物体的配置(例如，当由可移动物体实现旋转时)、载体的配置(例如，当由载体实现旋转时)或者这两者(例如，当由可移动物体和载体的组合实现旋转时)预定义和/或校准的常数。在一些实施例中，β大于零(β＞0)。在其他实施例中，β可以不大于零(β≤0)。在一些实施例中，β可用于将所计算的像素值映射到用于控制围绕特定轴(例如，俯仰轴)的角速度的对应的控制杆量。通常，控制杆可以用于控制可控物体(例如可移动物体102或载体108)的角度或线性移动。更大的控制杆量对应于更高的灵敏度和更高的速度(针对角度或线性移动)。在一些实施例中，控制杆量或其范围可以由可移动物体102的飞行控制系统的配置参数确定，或者由载体108的载体控制系统的配置参数确定。控制杆量的范围的上限和下限可以包括任意数量。例如，对于一个控制系统(例如，飞行控制系统或载体控制系统)，控制杆量的范围可以是(1000，-1000)，对于另一个控制系统，控制杆量的范围可以是(-1000，1000)。
例如，假定图像的宽度为W＝1024像素，高度为H＝768像素。因此，图像的大小是1024*768。进一步假设目标的预期位置具有v0＝384。因此，(v-v0)∈(-384，384)。假定围绕俯仰轴的控制杆量的范围是(-1000，1000)，则最大控制杆量或最大灵敏度是1000并且β＝1000/384。因此，β的值可受成像装置提供的图像分辨率或大小、控制杆量的范围(例如，围绕特定旋转轴)、最大控制杆量或最大灵敏度和/或其他因素的影响。
例如，当通过可移动物体的旋转来实现旋转时，图9的X轴908对应于如图8所示的可移动物体的X1轴810，并且视野的角速度ωX被表示为可移动物体的角速度ωX1：
Figure BDA0001775122890000361
在等式(6)中，β1是基于可移动物体的配置定义的常数。在一些实施例中，β1大于零(β1＞0)。β1可以类似于上面讨论的β来定义。例如，可以基于图像分辨率或大小和/或可移动物体的控制杆量的范围(例如，围绕俯仰轴)来定义β1的值。
类似地，当通过负载(例如经由载体)相对于可移动物体的旋转来实现旋转时，图9的X轴908对应于如图8所示的负载的X2轴816，并且视野的角速度ωX被表示为负载相对于可移动物体的角速度ωX2：
Figure BDA0001775122890000371
在等式(6)中，β2是基于载体和/负载的配置定义的常数。在一些实施例中，β2大于零(β2＞0)。β2可以类似于上面讨论的β来定义。例如，可以基于图像分辨率或大小和/或可移动物体的控制杆量的范围(例如，围绕俯仰轴)来定义β2的值。
通常，围绕X(俯仰)轴608的视野的角速度可以表示为可移动物体的角速度ωX1和负载相对于可移动物体的角速度ωX2的组合，例如下式：
ωX＝ωX1+ωX2 (7)
在等式(7)中，ωX1或ωX2可以为零。
如这里所示，围绕X(航向)轴的旋转的方向可以取决于v-v0的符号。例如，如果预期位置位于实际位置的上侧(如图9所示)，则v-v0＞0，视野需要围绕俯仰轴908以顺时针方式旋转(例如，下转)，以便把目标带到预期位置。另一方面，如果预期位置位于实际位置的下侧，则v-v0＜0，视野需要围绕俯仰轴608以逆时针方式旋转(例如，上转)，以便把目标带到预期位置。
如本文所示，转速(例如，角速度的绝对值)取决于目标的预期位置与实际位置之间的沿给定轴(例如，X(俯仰)轴)的距离(例如，|v-v0|)。距离越远，转速越快。距离越近，转速越慢。当预期位置与目标的位置一致(例如，v＝v0)时，绕轴的转速为零，旋转停止。
在一些实施例中，如上所计算的角速度的值可以由系统的各种限制进行约束或修改。这样的限制可以包括可移动物体和/或成像装置可以实现的最大和/或最小速度、可移动物体和/或载体的控制系统的控制杆量的范围或者最大控制杆量或最大灵敏度等。例如，转速可以是所计算的转速和允许的最大速度中的最小值。
在一些实施例中，当需要根据本文描述的约束来修改所计算的角速度时，提供警告指示符(例如，由显示器508显示或者由控制单元104输出)。这种警告指示符的示例可以包括文本的、音频的(例如，警笛或嘟嘟声)、视觉的(例如，某种颜色的光或闪光)、机械的和任何其他合适类型的信号。这种警告指示符例如直接由可移动物体102、载体108、负载110或其组件提供。在一些实施例中，警告指示符由控制单元104提供(例如，通过显示器508)。在一些实施例中，控制单元104基于从可移动物体102接收的指令提供警告指示符。
图10示出根据实施例的用于保持目标106的预期大小的示例性跟踪方法。示例性图像1000例如是由可移动物体102搭载的成像装置214捕获的图像。图像1000包括目标106的表示1002。在一些实施例中，图像1000内的目标106的表示1002的当前大小s用像素来指示(如按照表示1002的宽度与表示1002的高度的乘积计算)。在一些实施例中，预期目标大小(例如，如预期目标信息414所指示的)比当前大小s小(例如，预期目标可由1004表示，并且S＝s0)或大(例如，预期目标可由1005表示，并且S＝s1)。在一些实施例中，预期目标大小是从s0到s1的范围。预期目标大小可以与目标的初始大小(例如，如特定目标信息412(如由控制单元104提供给可移动物体102的特定目标信息412)中所指示的)相同或不同。在一些实施例中，在当前目标大小s(例如，图像1000内的目标106的表示的面积)与预期目标大小s0或s1(或范围为从s0到s1的预期目标大小)的偏差需要校正调节(例如，如在操作710-712中所确定的)时，生成用于调节的指令(例如，如在操作714中所生成的)，例如用于减小目标大小与预期大小的偏差。
虽然图像1000的显示区域和目标106的表示1002被显示为矩形，但是这仅仅是为了说明的目的，而不是限制性的。在一些实施例中，使用例如线(例如半径或其他尺寸)、圆形、椭圆形、多边形、球形、矩形棱柱和/或多面体等表示来指示目标的预期大小(例如，作为预期目标信息414存储)。同样，虽然预期目标大小以像素表示，但这仅用于说明的目的，而不是限制性的。在一些实施例中，目标的预期大小(例如，作为预期目标信息414存储)被表示为例如长度(例如，mm或其他长度单位)、面积(例如，mm2或其它面积单位)、目标在图像中的表示的长度相对于总图像长度的比值(例如，百分比)、目标在图像中的表示的面积相对于总图像面积的比值(例如，百分比)、一行中的像素数(例如，对应于目标106的直径、长度和/或宽度)和/或区域中的像素数。
在一些实施例中，目标106与预期目标信息414(例如，预期目标大小)的偏差用于导出可移动物体102和/或负载110沿着一个或多个轴的一个或多个线速度。例如，可以使用当前目标大小s与预期目标大小S(例如，S＝s0或s1)之间的目标大小的偏差来确定用于沿着Z(横滚)轴1010移动可移动物体的线速度V，如下所示：
Figure BDA0001775122890000391
在等式(8)中，δ是基于可移动物体或可以使视野朝向和/或远离目标移动的任何合适的可控物体(例如载体)的配置而定义的常数。在一些实施例中，δ大于零(δ＞0)。在其他实施例中，δ可以不大于零(δ≤0)。在一些实施例中，δ可用于将所计算的像素值映射到用于控制线速度的对应的控制杆量或灵敏度。
通常，V表示可移动物体102朝向或远离目标106的速度。速度矢量从可移动物体102指向目标106。如果目标106的表示1002的当前大小s小于预期大小S，则V＞0并且可移动物体朝向目标移动，以便增加在图像中捕获的目标的大小。另一方面，如果目标的当前大小s大于预期大小S，则V＜0并且可移动物体远离目标移动，以便减小在图像中捕获的目标的大小。
例如，假定图像的宽度为W＝1024像素，高度为H＝768像素。因此，图像的大小是1024*768。假定用于控制线速度的控制杆量的范围是(-1000，000)。在示例性实施例中，当s/S＝3时δ＝-1000，当s/S＝1/3时δ＝1000。
在一些实施例中，如上所计算的速度的值由系统的各种限制进行约束或修改。这样的限制包括例如可移动物体和/或成像装置可以实现的最大和/或最小速度、可移动物体和/或载体的控制系统的最大灵敏度等。例如，可移动物体的速度可以是所计算的速度和允许的最大速度中的最小值。
备选地或附加地，可以使用实际目标大小与预期目标大小之间的偏差来导出对成像装置的操作参数(例如缩放水平或焦距)的调节，以校正偏差。当无法进行或者不希望进行可移动物体的调节时(例如，当可移动物体的导航路径是预定的时)，会需要对成像装置进行这种调节。示例性的焦距调节F可以表示如下：
Figure BDA0001775122890000401
其中γ是基于成像装置的配置定义的常数。在一些实施例中，γ大于零(γ＞0)。在其他实施例中，γ不大于零(γ≤0)。γ的值可以基于镜头和/或成像装置的类型来定义。
如果目标106的表示1002的当前大小s小于预期大小S，则F＞0并且焦距增加|F|，以便增加在图像中捕获的目标的大小。另一方面，如果目标的实际大小s大于预期大小S，则F＜0并且焦距减小|F|，以便减小在图像中捕获的目标106的大小。例如，在一个实施例中，γ＝10。这意味着，例如，当目标的实际大小是预期大小S的两倍时，焦距应相应地减小10mm(即，
Figure BDA0001775122890000402
反之亦然)。
在一些实施例中，对成像装置的操作参数(例如焦距)的调节可以由系统的各种限制进行约束或修改。这样的约束可以包括例如可以由成像装置214实现的最大焦距和/或最小焦距。例如，假设焦距范围是(20mm，58mm)。进一步假定初始焦距是40mm。那么当s＞S时，焦距应按等式(9)减小；并且当s＜S时，焦距应按等式(9)增大。然而，这样的调节受到焦距范围的下限和上限(例如，20mm到58mm)的限制。换句话说，调节后的焦距应不小于最小焦距(例如20mm)且不大于最大焦距(例如58mm)。
如上文在图9中所讨论的，在一些实施例中，当根据本文所述的约束来修改所计算的调节(例如，可移动物体的线速度或焦距)时，(例如，在控制单元104处)提供警告指示符。
图11示出了根据一些实施例的用于实现目标跟踪的示例过程1100。方法1100在诸如移动物体102、控制单元104和/或计算装置126之类的装置处执行。例如，用于执行方法1100的指令存储在存储器118的跟踪模块404中并且由可移动物体102的处理器116执行。
该装置例如从控制单元104和/或计算装置126获得(1102)诸如导航控制指令之类的用户控制指令。在一些实施例中，导航控制指令用于控制可移动物体102的导航参数，诸如可移动物体102的位置、速度、朝向、姿态或一个或多个移动特性。在一些情况下，导航控制指令包括用于可移动物体102执行预先存储的导航控制指令(例如，由运动控制模块402存储)的指令，例如对应于预定导航路径的控制指令。导航控制指令用于例如控制可移动物体根据用户指定的或预先存储的导航路径进行导航。
该装置例如从控制单元104和/或计算装置126获得(1104)目标信息408。在一些实施例中，从存储器118获得目标信息408中的一些或全部(例如，代替从控制单元104和/或计算装置126接收目标信息)。在一些实施例中，目标信息408中的一些或全部是从存储器504、存储器604和/或数据库614获得的。目标信息408包括例如特定目标信息412、目标类型信息410和/或预期目标信息414。
在一些实施例中，目标信息408至少部分地基于在控制单元104的输入装置506处接收到的输入来生成。在一些实施例中，目标信息408至少部分地使用来自存储器118、存储器504、存储器604和/或数据库614的数据来生成。例如，基于例如所存储的图像(例如，由成像装置214先前捕获的图像)来导出目标类型信息410。
在一些实施例中，响应于在操作1102中获得的导航控制指令，该装置生成用于调节可移动物体102的朝向、位置、姿态和/或一个或多个移动特性的指令(1106)。在一些实施例中，所生成的指令用于根据用户指定的和/或预先存储的导航路径来导航可移动物体102。
在一些实施例中，该装置根据目标信息408生成用于调节可移动物体102、载体108和/或负载110的的朝向、位置、姿态和/或一个或多个移动特性以跟踪目标106的指令(1108)(例如，使用关于图7讨论的操作)。
图12示出根据一些实施例的用于选择和/或跟踪目标106的示例性用户界面1200。在一些实施例中，用户界面1200由控制单元104和/或计算装置126显示。在一些实施例中，由控制终端104的显示器508显示用户界面。用户界面包括一个或多个对象，诸如对象1202、1204和1206。在一些实施例中，对象1202、1204、1206中的一个或多个是目标106的表示。在一些实施例中，用户界面1200显示由成像装置214捕获的图像，并且该图像包括一个或多个对象1202、1204、1206。在一些实施例中，图形跟踪指示符1208例如邻近或围绕被跟踪目标106(例如，对象1202)显示在用户界面1200中。在一些实施例中，图形跟踪指示符1208的位置随着对象1202的位置改变而改变，例如，使得图形跟踪指示符1208保持与对象1202相关联(例如，邻近或围绕)，而对象1202是被跟踪目标106。
在一些实施例中，控制单元104包括用于接收用户输入的一个或多个输入装置506。在一些实施例中，由输入装置506接收到的输入用来提供指示要与图形跟踪指示符1208相关联的对象1202、1204、1206的输入。这样，根据一些实施例，用户指示要跟踪的目标106。在一些实施例中，基于将图形跟踪指示符1208与对象1202相关联的接收到的输入(例如，将对象1202指定为目标106)来生成目标信息408。在一些实施例中，在输入装置506处接收到的用于将图形跟踪指示符1208与对象1202相关联的用户输入包括在与对象(例如1202)相对应的点处接收到的输入手势。在一些实施例中，由在显示器508(例如，触摸屏显示器)处的接触(例如，通过手指和/或触控笔)提供输入手势。在一些实施例中，由用户操纵的输入装置506(诸如，鼠标、按钮、操纵杆、键盘等)提供对于对象1202的选择。
图13示出了根据一些实施例的用于避免障碍物的对可移动物体102的控制。
可移动物体102沿着路径1302移动。在一些实施例中，路径1302是预定导航路径和/或可移动物体102响应于导航控制指令(例如，从控制单元104和/或计算装置126接收的导航控制指令)而沿着其移动的路径。在一些实施例中，路径1302至少部分地响应于为跟踪目标106而生成的指令(例如，如关于图7所描述的那样生成的指令)来确定。
可移动物体102沿着路径1302从初始时间t0处的第一位置1304移动到晚于t0的第二时间t1处的后续位置1306，并且分别在时间t2、t3处继续移动到位置1308、1310。可移动物体102在此以虚线示出，以指示可移动物体102在当前时间(在当前时间处可移动物体102用实线示出)之前的时间处的先前位置，或者可移动物体102在当前时间之后的时间处的稍后位置。
障碍物1316位于路径1302上，使得如果可移动物体102在时间t3之后沿着路径1302继续移动，则可移动物体102将最终与障碍物1316碰撞。在一些实施例中，障碍物1316是基本静止的物体，例如人造和/或自然结构，例如交通标志、无线电塔、建筑物、桥梁或地质特征。在一些实施例中，障碍物1316是动态物体，例如车辆、树木、人类、动物或另一个可移动物体(例如，UAV)。
在一些实施例中，可移动物体102从路径1302转向到替代路径1318，例如使得可移动物体避免与障碍物1316碰撞。例如，在时刻t5，可移动物体102已经沿着替代路径1318移动，例如以避免与障碍物1316碰撞和/或保持与障碍物1316相距预定距离。
在一些实施例中，取决于可移动物体102与障碍物1316之间的距离，采取不同的方法(例如“反应”方法或“主动方法”)来控制可移动物体102以避免碰撞。在一些实施例中，用于确定是使用反应方法还是主动方法的阈值距离被称为“反应区域”。反应区域通常相对于可移动物体102定义。在一些实施例中，当障碍物1316超出可移动物体102的反应区域时(例如，障碍物1316位于距可移动物体102相对较大的距离处，例如超过10米的距离)，可移动物体102的一个或多个移动特性如下面参考图14和图19-22进一步描述的那样以主动方式进行调节。
图14示出根据一些实施例的以主动方式调节可移动物体102的移动特性。当可移动物体102跟踪目标106时，为可移动物体102确定导航路径1402(例如，诸如通过目标跟踪过程700为可移动物体102生成指令)。在一些实施例中，响应于检测到障碍物1316，调节可移动物体102的一个或多个移动特性，例如使得可移动物体沿着替代路径1404移动。例如，以主动方式调节可移动物体102的一个或多个移动特性。在一些实施例中，以主动方式调节可移动物体102的一个或多个移动特性包括：调节可移动物体102的一个或多个移动特性，使得可移动物体102与障碍物之间的距离超过预定距离1406(例如，在可移动物体102相对于障碍物1316移动时，可移动物体102与障碍物1316之间的距离保持为等于和/或超出预定距离1406)。预定距离1406是例如5到20米之间的距离，例如10米。
在一些实施例中，在可移动物体102沿着替代路径1404移动之后，可移动物体102恢复沿着导航路径1408移动以跟踪目标106。在一些实施例中，当以主动方式调节可移动物体102的一个或多个移动特性时，可移动物体102连续跟踪目标106。在一些实施例中，当以主动方式调节可移动物体102的一个或多个移动特性时和/或当检测到障碍物1316时，可移动物体102停止跟踪目标106。在一些实施例中，在停止跟踪目标106之后，当避开了障碍物1316时(例如，当可移动物体102的运动沿着指向远离障碍物1316的矢量时)和/或当不再检测到障碍物1316时，可移动物体102恢复跟踪目标106。
图15示出根据一些实施例的以反应方式调节可移动物体102的移动特性。例如，以反应方式调节可移动物体102的移动特性，例如使得障碍物1316与可移动物体102之间的碰撞得到避免。当可移动物体102跟踪目标106时，为可移动物体102确定导航路径1502(例如，诸如通过目标跟踪过程700为可移动物体102生成指令)。在一些实施例中，响应于检测到障碍物1316，并且响应于确定障碍物1316的位置与反应区域相对应(例如，障碍物1316位于可移动物体102的10米内)，调节可移动物体102的一个或多个移动特性，例如使得可移动物体102停止移动或沿着反向路径1504移动。例如，以反应方式调节可移动物体102的一个或多个移动特性。以反应方式调节可移动物体102的一个或多个移动特性包括：调节一个或多个移动特性以减小可移动物体102的加速度、减小可移动物体102的速度、停止可移动物体102的移动和/或反转可移动物体102的移动方向。例如，调节可移动物体102的一个或多个移动特性，使得可移动物体102沿着替代路径1504移动(例如，沿着增大可移动物体102与障碍物1316之间的距离的方向移动，例如沿着与导航路径1502相反的方向移动)。
图16示出根据一些实施例的反应区域1602。反应区域1602是以下区域：在该区域中，以反应方式调节可移动物体102的一个或多个移动特性，例如，以避免可移动物体102与障碍物1316的碰撞。通常，反应区域1602是相对于可移动物体102定义的区域，该区域以可移动物体102为中心和/或围绕可移动物体102。例如，反应区域1602是例如圆形或球形(例如，以可移动物体102和/或相对于可移动物体102定义的点(诸如可移动物体102的质心)为中心)。在一些实施例中，反应区域1602从可移动物体102起在可移动物体102的移动方向上延伸。例如，反应区域1602是例如圆锥或三角形(例如，以可移动物体102和/或相对于可移动物体102定义的点(诸如可移动物体102的质心)为顶点)。在一些实施例中，反应区域1602由半径1604定义。在一些实施例中，半径1604的长度例如是5至20米之间的距离，诸如10米。在一些实施例中，反应区域1602是沿着轴的距可移动物体102的距离，该轴是由可移动物体102(和/或相对于可移动物体102定义的点)和障碍物1316(例如，根据障碍物1316的当前位置信息确定的点和/或由障碍物1316的当前位置信息指示的点)定义的直线。在一些实施例中，反应区域1602是沿着路径1302的距可移动物体102的预定义距离。
例如响应于周期性扫描、响应于用户或装置发起的扫描、基于导航信息、或者响应于确定障碍物与可移动物体102的路径1302相交，而发现障碍物1316。在一些实施例中，使用存储的深度图和/或实时生成的深度图(使用可移动物体感测系统122的一个或多个传感器)来发现障碍物1316。障碍物1316由可移动物体102、控制单元104、计算装置126发现，和/或基于接收到的指示存在障碍物的用户输入发现。在一些实施例中，可移动物体102、控制单元104和/或计算装置126基于障碍物1316的当前位置信息来确定障碍物1316的位置是否与反应区域1602相对应。在一些实施例中，检测障碍物包括获得障碍物1316的当前位置信息。在一些实施例中，响应于检测到障碍物而获得障碍物1316的当前位置信息。
给出障碍物1316-A作为与反应区域1602不对应的障碍物1316的例子(例如，因为障碍物1316-A在反应区域1602之外)。例如，障碍物1316-A的点、尺寸、轮廓、面积和/或体积(例如，如由图像分析模块406确定的)或关于障碍物1316-A定义的点(例如，障碍物1316-A的质心)部分地(例如，至少90％)或完全地在反应区域1602之外和/或超出反应区域1602。在一些实施例中，响应于确定障碍物1316-A的位置与反应区域1602不对应，以主动方式调节可移动物体102的一个或多个移动特性(例如，使得可移动物体102与障碍物1316-A之间的距离超过第一预定距离1406)。在一些实施例中，第一预定距离1406大于或等于半径1604的长度。
给出障碍物1316-B作为与反应区域1602相对应的障碍物1316的示例。在反应区域1602内(例如，至少部分地在反应区域1602内和/或与反应区域1602重叠)示出障碍物1316-B。例如，障碍物1316-B的点、尺寸、轮廓、面积和/或体积(例如，如由图像分析模块406确定的)或关于障碍物1316-A定义的点(例如，障碍物1316-B的质心)在反应区域1602内(例如，至少部分地(例如至少10％)在反应区域1602内和/或与反应区域1602重叠)。在一些实施例中，响应于确定障碍物1316-B的位置与反应区域1602相对应，以反应方式调节可移动物体102的一个或多个移动特性(例如，使得避免可移动物体102与障碍物1316-B之间的碰撞)。
图17示出根据一些实施例的反应区域1602的子区域。在一些实施例中，反应区域1602包括两个或更多个子区域。例如，如图17中所示的反应区域1602包括第一子区域1702、第二子区域1704和第三子区域1706。
反应区域1602的第一子区域1702例如是由第一边界1714(例如，具有以1708指示的半径的球体)和第二边界1708(例如，具有以1710指示的半径的球体)定义的区域，诸如第一边界1714与第二边界1716之间的体积。
反应区域1602的第二子区域1704例如是由第二边界1716(例如，具有以1710指示的半径的球体)和第三边界1718(例如，具有以1712指示的半径的球体)定义的区域，诸如第二边界1716与第三边界1718之间的体积。
反应区域1602的第三子区域1706例如是由第三边界1718定义的区域，诸如边界1718内的球形体积。
在一些实施例中，半径1712、1710和1708的长度分别是例如2米、5米和10米。
在一些实施例中，第一子区域1702、第二子区域1704和第三子区域1706中的一个或多个由沿着轴的距可移动物体102的距离来定义，该轴是从可移动物体102到障碍物1316的直线。在一些实施例中，第一子区域1702、第二子区域1704和第三子区域1706中的一个或多个由特定平面内的一个或多个圆来定义，和/或由其他几何形状、体积形状和/或不规则形状来定义。
在一些实施例中，当障碍物1316的确定位置与第一子区域1702相对应时，调节可移动物体102的一个或多个移动特性，例如以减小可移动物体102的加速度(诸如在障碍物1316-C的方向上的加速度)。在图17中，障碍物1316-C与第一子区域1702相对应，因为障碍物1316-C位于(例如至少部分地位于)第一子区域1702内。例如，当障碍物1316-C的点、尺寸、轮廓、面积和/或体积(例如，如由图像分析模块406确定的)或关于障碍物1316-C定义的点(例如，障碍物1316-C的质心)部分地(例如，至少10％)位于第一子区域1702内时，障碍物1316-C的位置与第一子区域1702相对应。
在一些实施例中，当障碍物1316的确定位置与第二子区域1704相对应时，调节可移动物体102的一个或多个移动特性，例如以减小可移动物体102的速度(诸如在障碍物1316-D的方向上的速度)。在图17中，障碍物1316-D与第二子区域1704相对应(例如，障碍物1316-D位于(例如至少部分地位于)第二子区域1702内)。例如，当障碍物1316-D的点、尺寸、轮廓、面积和/或体积(例如，如由图像分析模块406确定的)或关于障碍物1316-D定义的点(例如，障碍物1316-D的质心)部分地(例如，至少10％)位于第二子区域1704内时，障碍物1316-D的位置与第二子区域1704相对应。
在一些实施例中，当障碍物1316的确定位置与第三子区域1706相对应时，调节可移动物体102的一个或多个移动特性，例如以反转可移动物体102的移动方向和/或停止可移动物体102的移动。例如，可移动物体102朝向障碍物1316-E的移动被反转，使得可移动物体102停止朝向障碍物1316-E移动并且远离障碍物1316-E移动。在图17中，障碍物1316-E与第三子区域1706相对应，因为障碍物1316-E位于(例如至少部分地位于)第三子区域1706内。例如，当障碍物1316-E的点、尺寸、轮廓、面积和/或体积(例如，如由图像分析模块406确定的)或关于障碍物1316-E定义的点(例如，障碍物1316-E的质心)部分地(例如，至少10％)位于第三子区域1706内时，障碍物1316-E的位置与第三子区域1706相对应。
图18A-18B示出了根据一些实施例的响应于接收到的调节后的目标跟踪信息对用户界面1200作出的示例性调节。
在图18A中，显示器508显示(例如参照图12所述的)用于选择和/或跟踪目标106的用户界面1200的第一状态1800。例如，在第一状态1800中，通过图形跟踪指示符1208来指示对目标106的选择和/或正在进行的跟踪。
在图18B中，显示器508显示用户界面1200的第二状态1850，例如响应于接收到的调节后的目标追踪信息而呈现的用户界面1200的第二状态1850。在一些实施例中，调节后的目标跟踪信息由控制单元104从计算装置126和/或可移动物体102接收。例如，响应于确定障碍物1316的位置与反应区域1602、第一子区域1702、第二子区域1704和/或第三子区域1706相对应，生成更新的目标跟踪。在一些实施例中，响应于以反应方式调节可移动物体102的一个或多个移动特性，生成调节后的目标跟踪信息。
在一些实施例中，响应于接收到调节后的目标追踪信息(例如，当以反应方式更新可移动物体102的一个或多个移动特性时)，改变图形追踪指示符1208的外观的至少一个方面。例如，改变图形跟踪指示符1208的轮廓的颜色、图形跟踪指示符1208的部分或全部区域变成阴影、改变部分或全部图形跟踪指示符1208的阴影颜色、和/或改变图形跟踪指示符1208的大小。在一些实施例中，图形跟踪指示符与障碍物1316和/或目标106重叠(例如，部分重叠)。在一些实施例中，图形跟踪指示符1208的至少一部分的阴影是透明的(例如，部分透明的)，使得障碍物1316和/或目标106通过图形跟踪指示符1208的阴影是可见的。在一些实施例中，响应于接收到调节后的目标跟踪信息，停止显示图形跟踪指示符1208。改变图形跟踪指示符1208的外观的至少一个方面和/或停止显示图形跟踪指示符1208，例如以指示目标106的跟踪已被禁用(例如，暂时禁用)。
在一些实施例中，响应于接收到调节后的目标追踪信息(例如，当以反应方式调节可移动物体102的一个或多个移动特性时)，防止用户选择目标106。
在一些实施例中，响应于接收到调节后的目标追踪信息(例如，当以反应方式调节可移动物体102的一个或多个移动特性时)，给出警告指示符1852。在一些实施例中，警告指示符1852包括由显示器508显示的文本、图像或其他视觉指示(例如，改变的用户界面背景颜色和/或闪光灯)、由控制单元104输出的音频(例如，警笛声或嘟嘟声)和/或由控制单元104输出的触觉反馈。
图19示出了根据一些实施例的用于以主动方式调节可移动物体102的一个或多个移动特性的参考系。在一些实施例中，参考系1900相对于与可移动物体102对应的点来定义，例如可移动物体102的重心或尺寸(例如，长度、宽度或高度)、区域或体积的中心点。在一些实施例中，如图19所示的可移动物体102沿着如图13所示的路径1302移动。参考系1900包括分别沿x轴、y轴和z轴的速度矢量分量VX、VY、VZ。在一些实施例中，Vx 1902沿着可移动物体102的移动矢量(例如，沿着路径1302的矢量，诸如沿着轴的矢量，该轴是由对应于可移动物体102的点和对应于目标106的点定义的直线)取向。在一些实施例中，在一些实施例中，VY 1904和VZ 1906与VX 1902正交。角速度ωZ 1908(航向)表示围绕z轴的转速。在一些实施例中，以主动方式调节可移动物体的一个或多个移动特性包括：调节沿着轴VY 1904和轴VZ 1906的移动特性(例如，优选地调节沿着轴VY 1904和轴VZ 1906的移动特性)，例如，以允许可移动物体102保持与障碍物1316的预定距离，同时使角速度Z1908和/或沿着VX 1902的移动保持不变和/或得到最小化地调节。
图20示出了根据一些实施例的用于确定(VY，VZ)运动调节的候选移动特性集合。在一些实施例中，响应于确定障碍物的位置与反应区域1602不对应，以主动方式调节可移动物体102的一个或多个移动特性(例如，使得可移动物体102与障碍物1316之间的距离超过第一预定距离)。在一些实施例中，以主动方式调节可移动物体102的一个或多个移动特性包括确定多个候选移动特性集合的路线优化分数。候选移动特性集合是例如参考系1900中的(VY，VZ)坐标集合(例如，集合2002)。绘图2000包括候选移动特性的多个集合(例如，集合2002、2004、2006等)。在一些实施例中，针对每个(VY，VZ)坐标集合确定路线优化分数。在一些实施例中，路线优化分数是对一些因素的指示，这些因素例如是：可移动物体102与障碍物1316碰撞之前的预测时间量、候选移动特性集合与可移动物体102的当前移动特性集合之间的差、和/或在预定的未来时间处可移动物体102与目标106(例如，被跟踪的目标)之间的距离。在一些实施例中，选择具有最高路线优化分数的(VY，VZ)坐标集合，并基于所选择的集合来调节可移动物体102的一个或多个移动特性。
例如，集合2002、2004、2006分别对应于(VY，VZ)坐标(24，21)、(26，21)、(28，21)，其中每个值表示沿着相应轴的速度矢量的分量VY，VZ(例如，以米每秒为单位)。应用一个或多个规则来确定每个集合的路线优化分数。例如，对于集合2002、2004和2006，分别确定0.4、0.62和0.51的路线优化分数。在这个例子中(为了便于描述，只评估了三个集合)，因为集合2004具有最高的路线优化分数，所以选择集合2004。调节可移动物体102的移动，例如，将其(VY，VZ)运动调节为(26，21)米每秒。
图21示出了根据一些实施例的用于确定(VX，ωZ)运动调节的候选移动特性集合。在一些实施例中，响应于确定障碍物的位置与反应区域1602不对应，以主动方式调节可移动物体102的一个或多个移动特性(例如，使得可移动物体102与障碍物1316之间的距离超过第一预定距离)。在一些实施例中，应用(VX，ωZ)调节标准来确定是使用(VY，VZ)调节还是使用(VX，ωZ)运动调节。例如，在一些实施例中，当(VY，VZ)调节不足以调节可移动物体102的移动特性使得可移动物体102与障碍物1316之间的距离超过第一预定距离时，使用(VX，ωZ)运动调节。在一些实施例中，(VX，ωZ)调节标准包括确定障碍物1316的大小是否超过阈值大小(例如，取决于可移动物体102和/或障碍物1316的运动而变化的阈值大小)，从而在障碍物1316的大小超过阈值大小时使用(VX，ωZ)运动调整。在一些实施例中，以主动方式调节可移动物体102的一个或多个移动特性包括(VY，VZ)调节和(VX，ωZ)运动调节。
在一些实施例中，以主动方式调节可移动物体102的一个或多个移动特性包括确定多个候选(VX，ωZ)移动特性集合的路线优化分数。候选移动特性集合是例如参考系1900中的(VX，ωZ)坐标集合(例如，集合2102)。绘图2100包括候选移动特性的多个集合(例如，集合2102、2104、2106等)。在一些实施例中，针对每个(VX，ωZ)坐标集合确定路线优化分数。在一些实施例中，路线优化分数是对一些因素的指示，这些因素例如是：可移动物体102与障碍物1316碰撞之前的预测时间量、候选移动特性集合与可移动物体102的当前移动特性集合之间的差、和/或在预定的未来时间处可移动物体102与目标106(例如，被跟踪的目标)之间的距离。在一些实施例中，选择具有最高路线优化分数的(VX，ωZ)坐标集合，并基于所选择的集合来调节可移动物体102的一个或多个移动特性。
图22A-22B示出根据一些实施例的应用(VX，ωZ)调节标准(例如，障碍物大小标准)来确定是使用(VY，VZ)调节还是使用(VX，ωZ)运动调节。在一些实施例中，在障碍物1316的大小超过阈值大小时满足障碍物大小标准。在图22A中，障碍物1316-F超过阈值大小。例如，1316-F的大小足够大，使得(VY，VZ)调节将不足够，因此需要(VX，ωZ)调节。在一些实施例中，因为障碍物1316-F超过阈值大小，所以满足障碍物大小标准，并且从绘图2100中选择(VX，ωZ)集合来调节可移动物体102的一个或多个移动特性。
在图22B中，障碍物1316-G不超过阈值大小。例如，1316-G的大小足够小，使得(VY，VZ)调节将是足够的。在一些实施例中，因为障碍物1316-G不超过阈值大小，所以不满足(VX，ωZ)障碍物大小标准，并且从绘图2000中选择(VY，VZ)集合来调节可移动物体102的一个或多个移动特性。
图23A-23F是示出根据一些实施例的用于控制可移动物体的方法2300的流程图。方法2300在诸如移动物体102、控制单元104和/或计算装置126之类的装置处执行。例如，用于执行方法2300的指令被存储在存储器118的运动控制模块402中并且由处理器116执行。
该装置在可移动物体102跟踪目标106的同时获得(2212)障碍物1316的当前位置信息。障碍物1316的当前位置信息例如包括：障碍物1316的绝对位置(例如障碍物1316的GPS坐标)、障碍物的相对位置(例如，从可移动物体102到障碍物1316的矢量)、从可移动物体102到障碍物1316的标量距离、和/或障碍物的一个或多个运动属性，诸如障碍物1316的速度、加速度和/或移动方向。
该装置基于障碍物1316的当前位置信息，确定(2214)障碍物1316的位置是否与相对于可移动物体102的反应区域1602(例如，反应避障区域)相对应(例如，位于该区域内)。
响应于确定障碍物1316的位置与反应区域1602相对应(例如，位于该区域内)，该装置以反应方式调节(2216)可移动物体102的一个或多个移动特性(例如，减小可移动物体102沿着一个或多个轴的加速度、减小可移动物体102沿着一个或多个轴的速度、和/或反转可移动物体102的移动方向)，从而避免可移动物体102与障碍物1316的碰撞。
响应于确定障碍物1316的位置与反应区域1602不对应(例如，不位于该区域内)，该装置以主动方式调节(2308)可移动物体102的一个或多个移动特性，使得可移动物体102与障碍物1316之间的距离超过第一预定距离。
在一些实施例中，障碍物1316的当前位置信息包括使用一个或多个深度图获得(2310)的信息。在一些实施例中，使用多个深度图来例如确定障碍物1316的运动属性，诸如障碍物1316的速度、障碍物1316的加速度和/或障碍物1316沿着一个或多个轴的移动方向。
在一些实施例中，深度图是包括与每个点对应的从视点到表面的距离的指示(例如，到距视点最近的表面的距离)的点的集合。例如，深度图是其中每个像素包括从视点到表面(例如，距视点最近的表面)的距离的指示的图像。在一些实施例中，视点是可移动物体102和/或其一部分。
在一些实施例中，使用可移动物体感测系统122的一个或多个传感器获得(2312)相应的深度图。在一些实施例中，所述至少一个传感器是光传感器(例如，左立体图像传感器308、右立体图像传感器310、左红外传感器316和/或右红外传感器318)。在一些实施例中，所述至少一个传感器是压力传感器(诸如声压级传感器，例如一个或多个音频换能器314)。在一些实施例中，使用包括音频输出换能器312和音频输入换能器314在内的声纳系统来获得深度图。
在一些实施例中，可移动物体102的至少一个传感器包括(2314)用于深度成图的一对传感器(左立体图像传感器308、右立体图像传感器310)。
在一些实施例中，障碍物1316的当前位置信息包括(2316)使用可移动物体102的至少一个传感器(例如，可移动物体感测系统122的一个或多个传感器)获得的信息。
在一些实施例中，至少一个传感器用于确定到障碍物1316的距离(例如，作为使用深度图来确定障碍物1316的当前位置信息的代替或附加)。
在一些实施例中，障碍物1316的当前位置信息包括障碍物1316的位置(2318)，诸如障碍物1316的GPS坐标。
在一些实施例中，当前位置信息包括(2320)一个或多个移动特性(例如，速度(例如，沿着一个或多个轴的速度)、加速度(例如，沿着一个或多个轴的加速度)和/或指示障碍物1316的移动方向的矢量)。
在一些实施例中，障碍物1316的当前位置信息从计算装置126发送(2322)到可移动物体102(例如，经由无线通信信道传送并由可移动物体的通信系统接收)。
在一些实施例中，障碍物1316的当前位置信息由可移动物体102从计算装置126接收(2324)。
在一些实施例中，反应区域1602至少部分地基于距可移动物体102的确定距离来定义(2326)(例如，反应区域1602是与可移动物体102对应的圆形区域和/或球形体积(例如，以可移动物体102为中心)，并且圆形区域和/或球形体积具有等于距可移动物体102的预定距离的半径1604)。在一些实施例中，该确定距离基于可移动物体102的一个或多个当前移动特性。例如，随着可移动物体102的速度增加，可移动物体102与障碍物1316之间的确定距离增加，例如，因为可移动物体102需要更多时间进行调节以避开障碍物1316。
在一些实施例中，该确定距离还基于(2328)障碍物1316的一个或多个当前移动特性。例如，如果障碍物1316朝向可移动物体102移动，则可移动物体102与障碍物1316之间的确定距离增加，例如，因为可移动物体102需要更多时间进行调节以避开障碍物1316。
在一些实施例中，响应于确定障碍物1316的位置与反应区域不对应，装置(2330)：基于可移动物体102的一个或多个移动特性来选择多个候选移动特性集合(例如，绘图2000、绘图2100)；根据第一规则集合，针对所述多个候选移动特性集合中的每个候选移动特性集合，获得路线优化分数；选择具有最高路线优化分数的候选移动特性；以及基于所选择的所述候选移动特性来调节可移动物体102的一个或多个移动特性。
在一些实施例中，该装置针对一个候选移动特性集合，预测(2332)可移动物体102将与障碍物1316碰撞的时间；以及基于当前时间与可移动物体102将与所述障碍物碰撞的预测时间之间的差，确定所述候选移动特性集合的路线优化分数。例如，指派给候选移动特性集合的路线优化分数随着当前时间与预测时间之间的差增加而增加。
在一些实施例中，使用障碍物1316的一个或多个移动特性来确定(2334)可移动物体102将与障碍物1316碰撞之前的预测时间量。
在一些实施例中，针对一个候选移动特性集合的路线优化分数至少部分地取决于(2336)所述候选移动特性集合与可移动物体102的当前移动特性集合之间的一个或多个差异。例如，随着候选移动特性集合(VY，VZ)和/或(VX，ωZ)与当前(VY，VZ)和/或(VX，ωZ)之间的差异增大(例如，以较高的ΔVY、ΔVZ、ΔVX和/或ΔωZ增大)。
在一些实施例中，该装置针对一个候选移动特性集合，预测(2338)在预定的未来时间处可移动物体102与目标106之间的距离。预定时间是例如距当前时间的预定时间量(例如，在0.1和10秒之间的时间，诸如3秒)的时间。预定时间基于例如可移动物体102和/或目标106的一个或多个移动特性而变化。在一些实施例中，针对所述候选移动特性集合的路线优化分数至少部分地取决于在所述预定的未来时间处可移动物体102与目标106之间的预测距离。例如，随着可移动物体102与目标106之间的距离减小，路线优化分数增加。
在一些实施例中，各候选移动特性集合包括(2340)在与可移动物体102的移动垂直的第一方向上的第一移动特性(例如，沿着路径1302和/或沿着可移动物体102在跟踪目标106时的方向)以及在与可移动物体102的移动垂直的第二方向上的第二移动特性。例如，第一方向垂直于第二方向，并且第一方向和第二方向都与沿着可移动物体102的移动路径对齐的轴垂直。
在一些实施例中，各候选移动特性集合包括(2342)y轴移动特性VY和z轴移动特性VZ(例如，如关于图19和图20所描述的)。
在一些实施例中，各候选移动特性集合包括(2344)在可移动物体102的移动方向上的移动特性(例如，沿着路径1302和/或沿着可移动物体102在跟踪目标106时的方向)和角速度。
在一些实施例中，各候选移动特性集合包括(2346)x轴移动特性VX和角速度ωX(例如，如关于图19和图21所描述的)。
在一些实施例中，该装置确定(2348)障碍物1316的大小；。确定所述障碍物1316的大小是否满足第一障碍物大小标准，其中：响应于确定所述障碍物1316的大小满足第一障碍物大小标准，所述多个候选移动特性集合包括可移动物体102沿着相对于可移动物体102的y轴和z轴的移动(例如(VY，VZ))，以及响应于确定所述障碍物的大小不满足第一障碍物大小标准，所述多个候选移动特性集合中的各候选移动特性集合包括：
可移动物体102沿着相对于可移动物体102的x轴的移动，以及可移动物体102的角速度(例如，(VX，ωX))。
在一些实施例中，响应于确定障碍物1316的位置与所述反应区域1602相对应，调节一个或多个移动特性包括(2350)：基于障碍物1316的当前位置信息，确定障碍物1316的位置是否与相对于可移动物体102的所述反应区域的第一子区域1702相对应；以及响应于确定障碍物1316的位置与相对于可移动物体102的所述反应区域的所述第一子区域1702相对应，减小可移动物体102的加速度(例如，沿着一个或多个轴)。例如，减小可移动物体102朝着障碍物1316的加速度。
在一些实施例中，响应于确定障碍物1316的位置与所述反应区域1602相对应，调节一个或多个移动特性包括(2352)：基于障碍物1316的当前位置信息，确定障碍物1316的位置是否与相对于可移动物体102的所述反应区域的第二子区域相对应；以及响应于确定障碍物1316的位置与相对于可移动物体102的所述反应区域的所述第二子区域1704相对应，减小可移动物体102的速度(例如，沿着一个或多个轴)。
在一些实施例中，相对于可移动物体102的所述反应区域的所述第二子区域1704的面积(和/或体积)小于(2354)相对于可移动物体102的所述反应区域的所述第一子区域1702的面积(和/或体积)。
在一些实施例中，响应于确定障碍物1316的位置与所述反应区域1602相对应，调节一个或多个移动特性包括(2356)：基于障碍物1316的当前位置信息，确定障碍物1316的位置是否与相对于可移动物体102的所述反应区域的第三子区域1706相对应；以及响应于确定障碍物1316的位置与相对于可移动物体102的所述反应区域的所述第三子区域1706相对应，反转可移动物体102的移动方向(例如，沿着一个或多个轴)。
在一些实施例中，相对于可移动物体102的所述反应区域1602的所述第三子区域1706的面积(和/或体积)小于(2358)相对于可移动物体102的所述反应区域的所述第二子区域1706的面积(和/或体积)。
在一些实施例中，响应于确定障碍物1316的位置与所述反应区域1602相对应，该装置向控制单元104发送(2360)更新后的跟踪信息(例如，表示要暂停目标106的跟踪的指示和/或指令)(例如，如关于图18A至图18B所描述的)。
在一些实施例中，调节后的目标跟踪信息包括(2362)关于所述障碍物1316的信息(例如，障碍物1316的图像、障碍物1316的一个或多个移动特性、和/或障碍物1316的当前位置信息)。
图24A-24G是示出根据一些实施例的用于控制可移动物体102的方法2400的流程图。方法2400在诸如移动物体102、控制单元104和/或计算装置126之类的装置处执行。例如，用于执行方法2400的指令被存储在存储器118的运动控制模块402中并且由处理器116执行。
该装置在可移动物体102跟踪目标106的同时获得(2402)障碍物1316的当前位置信息。
该装置基于所述障碍物1316的当前位置信息，确定(2406)所述障碍物1316的位置是否与相对于所述可移动物体102的反应区域1602相对应。
响应于确定障碍物1316的位置与反应区域相对应，该装置(2408)：调节所述可移动物体102的一个或多个移动特性；基于所述障碍物1316与所述可移动物体102之间的距离来调节目标跟踪信息；以及向控制单元104发送调节后的所述目标跟踪信息。控制单元104被配置为根据调节后的目标跟踪信息更新所显示的用户界面1200。
在一些实施例中，基于所述障碍物1316的当前位置信息来确定(2410)所述障碍物1316与所述可移动物体102之间的距离。
在一些实施例中，基于可移动物体感测系统122的一个或多个传感器的输出来确定(2412)所述障碍物1316与所述可移动物体102之间的距离。
在一些实施例中，调节所述可移动物体102的所述一个或多个移动特性包括(2414)基于以下内容调节所述可移动物体102的所述一个或多个移动特性：所述障碍物1316与所述可移动物体102之间的距离；以及所述可移动物体102的一个或多个当前移动特性。
在一些实施例中，调节所述可移动物体102的所述一个或多个移动特性还包括(2416)：确定所述障碍物1316的一个或多个移动特性。所述可移动物体102的所述一个或多个移动特性基于所述障碍物1316的运动进行调节。
在一些实施例中，基于所述障碍物1316的当前位置信息来确定(2418)所述障碍物1316的运动。
在一些实施例中，基于可移动物体感测系统122的一个或多个传感器的输出来确定(2420)所述障碍物1316的运动。
在一些实施例中，调节所述可移动物体102的所述一个或多个移动特性还包括(2422)：当所述障碍物1316与所述可移动物体102之间的距离满足第一距离标准时(例如，当障碍物1316位于可移动物体102周围的第一区域1702中时)，对所述可移动物体102的移动(例如，朝向障碍物1316)应用第一移动调节。在一些实施例中，当所述障碍物1316与所述可移动物体102之间的距离满足第二距离标准时(例如，当障碍物1316位于可移动物体102周围的第二区域1704中时，第二区域1704小于第一区域1702)，该装置对所述可移动物体102的移动(例如，朝向障碍物1316)应用第二移动调节。
在一些实施例中，当所述障碍物1316与所述可移动物体102之间的距离超过第一距离(例如，半径1710的距离)时满足(2424)所述第一距离标准，并且，当所述障碍物1316与所述可移动物体102之间的距离超过小于所述第一距离的第二距离(例如，半径1712的距离)时满足所述第二距离标准。
在一些实施例中，当所述障碍物1316的位置与相对于所述可移动物体102的所述反应区域1602的第一子区域1702相对应时满足(2426)所述第一距离标准，并且当所述障碍物1316的位置与相对于所述可移动物体102的所述反应区域1602的第二子区域1704相对应时满足所述第二距离标准。例如，当障碍物1316位于第一子区域1702内(例如，超出第二子区域1704)时满足第一距离标准，并且当障碍物1316位于第二子区域1704内(例如，超出第三子区域1706)时满足第二距离标准。
在一些实施例中，应用所述第一移动调节包括(2428)减小所述可移动物体的加速度。在一些实施例中，应用所述第二移动调节包括(2428)减小所述可移动物体的速度。
在一些实施例中，调节所述可移动物体102的所述一个或多个移动特性包括(2430)：当所述障碍物1316与所述可移动物体102之间的距离满足第三距离标准时，对可移动物体102的移动应用第三移动调节。在一些实施例中，当所述障碍物1316与所述可移动物体102之间的距离是小于所述第二距离的第三距离(例如，所述障碍物1316与所述可移动物体102之间的距离是小于或等于半径1712的距离的距离)时满足所述第三距离标准。
在一些实施例中，应用所述第三移动调节包括反转(2432)所述可移动物体的运动。
在一些实施例中，应用所述第三移动调节包括停止(2434)所述可移动物体的运动。
在一些实施例中，调节所述可移动物体102的所述一个或多个移动特性包括(2436)：当所述障碍物1316与所述可移动物体102之间的距离满足第三距离标准时，对可移动物体102的移动应用第三移动调节(例如，反转所述可移动物体102的移动方向)，其中，当所述障碍物1316的位置与相对于所述可移动物体102的所述反应区域1602的第三子区域1706相对应时满足所述第三距离标准。例如，当障碍物1316位于第三子区域1706内时满足第三距离标准。
在一些实施例中，调节所述可移动物体102的所述一个或多个移动特性包括(2438)：当所述障碍物1316与所述可移动物体102之间的距离满足第三距离标准时，确定所述可移动物体102的速度是否满足速度标准；响应于确定所述可移动物体102的速度满足速度标准，停止所述可移动物体102的运动；以及响应于确定所述可移动物体102的速度不满足速度标准，反转所述可移动物体102的移动方向。
在一些实施例中，当所述可移动物体102的速度超过阈值速度(例如，5米每秒与60米每秒之间的阈值速度，诸如25米每秒的阈值速度)时满足(2440)所述速度标准。
在一些实施例中，调节后的目标跟踪信息包括(2442)用于改变与所述目标106对应的图形跟踪指示符1208的信息。
在一些实施例中，用于改变与所述目标106对应的所述图形跟踪指示符1208的信息包括(2444)用于改变所述图形跟踪指示符1208的颜色的信息。
在一些实施例中，用于改变与所述目标106对应的所述图形跟踪指示符1208的信息包括(2446)用于停止显示所述图形跟踪指示符1208的信息。
在一些实施例中，该装置确定(2448)障碍物1316的更新后的位置。例如，该装置在改变图形跟踪指示符1208之后和/或在调节可移动物体102的一个或多个移动特性之后确定障碍物1316的更新后的位置。障碍物1316的更新后的位置取决于例如可移动物体012的移动和/或障碍物1316的移动。在一些实施例中，该装置确定(2450)所述障碍物1316的所述更新后的位置是否与相对于所述可移动物体102的所述反应区域1602相对应(例如，该装置确定障碍物是否至少部分地位于反应区域1602内)。响应于确定所述障碍物1316的所述更新后的位置与相对于所述可移动物体102的所述反应区域1602不对应，该装置进一步调节(2452)所述目标跟踪信息。在一些实施例中，该装置向控制单元104发送进一步调节后的目标跟踪信息。在一些实施例中，进一步调节后的目标跟踪信息包括用于停止改变所述图形跟踪指示符的信息。例如，当可移动物体102不再具有与障碍物1316(立即)碰撞的危险时，重新显示图形跟踪指示符和/或以其先前的颜色显示图形跟踪指示符。
在一些实施例中，调节后的目标跟踪信息包括(2454)用于改变(例如，暂时改变)对由控制单元104接收的预定义用户输入的响应的信息。
在一些实施例中，所述预定义用户输入包括(2456)用于控制所述可移动物体102的至少一个移动特性的控制输入(例如，如关于图5和图12所描述的)。
在一些实施例中，所述预定义用户输入包括(2458)用于选择要跟踪的目标106的选择输入(例如，如关于图12所描述的)。
在一些实施例中，改变对所述预定义用户输入的所述响应包括(2460)停止响应所述预定义用户输入。
在一些实施例中，该装置确定(2462)障碍物1316的更新后的位置。在一些实施例中，该装置确定(2464)所述障碍物1316的所述更新后的位置是否与相对于所述可移动物体102的反应区域1602相对应。在一些实施例中，响应于确定所述障碍物1316的所述更新后的位置与相对于所述可移动物体102的反应区域1602不对应，该装置进一步调节(2466)所述目标跟踪信息，并向所述控制单元104发送所述进一步调节后的目标跟踪信息。在一些实施例中，进一步调节后的目标跟踪信息包括用于停止改变对由所述控制单元104接收的所述预定义用户输入的响应的信息。例如，当可移动物体102不再具有与障碍物1316(立即)碰撞的危险时，用户使用控制装置104控制可移动物体102的能力恢复。
在一些实施例中，障碍物1316的当前位置信息包括(2468)使用一个或多个深度图获得的信息。
在一些实施例中，障碍物1316的当前位置信息包括(2470)使用可移动物体感测系统122的一个或多个传感器获得的信息。
在一些实施例中，所述反应区域1602至少部分地基于距所述可移动物体102的确定距离(例如1604)来定义(2472)。在一些实施例中，该确定距离基于可移动物体102的一个或多个当前移动特性。
在一些实施例中，该确定距离还基于(2474)障碍物1316的一个或多个当前移动特性。
图25A-25G是示出根据一些实施例的用于控制可移动物体102的方法2500的流程图。方法2500在诸如移动物体102、控制单元104和/或计算装置126之类的装置处执行。例如，用于执行方法2500的指令被存储在存储器118的运动控制模块402中并且由处理器116执行。
该装置在可移动物体102跟踪目标106的同时获得(2502)障碍物1316的当前位置信息。
该装置生成(2504)所述可移动物体102的多个候选移动特性集合(例如，绘图2000的集合2002、2004、2006；绘图2001的集合2102、2104、2106)，该生成基于以下内容：所述障碍物1316的当前位置信息，以及所述可移动物体102的当前移动特性集合。
该装置从所述可移动物体102的所述多个候选移动特性集合中选择(2506)所述可移动物体102的移动特性集合。
该装置基于选择的所述可移动物体102的移动特性集合来调节(2508)所述可移动物体102的一个或多个移动特性。
在一些实施例中，在基于选择的所述可移动物体102的移动特性集合来调节(2510)所述可移动物体102的一个或多个移动特性之后(例如，在预定义时间段(例如1秒)调节所述一个或多个移动特性之后)，该装置重复所述获得、生成、选择和调节操作。
在一些实施例中，该装置向所述多个候选移动特性集合中的每个候选移动特性集合指派(2512)路线优化分数，并且确定具有最高路线优化分数的所述可移动物体102的移动特性集合。在一些实施例中，选择所述可移动物体102的移动特性集合包括选择具有所述最高路线优化分数的所述可移动物体102的候选移动特性集合。
在一些实施例中，在基于选择的所述可移动物体102的移动特性集合来调节(2514)所述可移动物体102的所述一个或多个移动特性之后(例如，在预定义时间段(例如1秒)调节所述一个或多个移动特性之后)，该装置重复所述获得、生成、指派、确定、选择和调节操作。
在一些实施例中，该装置针对一个候选移动特性集合，预测(2516)所述可移动物体102将与所述障碍物1316碰撞的时间，以及至少部分地基于当前时间与所述可移动物体102将与所述障碍物1316碰撞的所述预测时间之间的差，确定要指派给所述候选移动特性集合的路线优化分数。
在一些实施例中，该装置针对一个候选移动特性集合，确定(2518)所述可移动物体102是否将与所述障碍物1316碰撞；响应于确定所述可移动物体102将与所述障碍物1316碰撞，该装置针对一个候选移动特性集合，预测所述可移动物体102将与所述障碍物1316碰撞的时间，以及至少部分地基于当前时间与所述可移动物体102将与所述障碍物1316碰撞的所述预测时间之间的差，确定要指派给所述候选移动特性集合的路线优化分数。响应于确定所述可移动物体102将不与所述障碍物1316碰撞，该装置至少部分地基于与所述可移动物体102将不与所述障碍物1316碰撞的确定相对应的默认值，确定要指派给所述候选移动特性集合的路线优化分数。
在一些实施例中，使用障碍物1316的一个或多个当前移动特性来确定(2520)可移动物体102将与障碍物1316碰撞之前的预测时间量。
在一些实施例中，障碍物1316的当前位置信息包括(2522)障碍物1316的一个或多个当前移动特性。
在一些实施例中，障碍物1316的一个或多个当前移动特性使用可移动物体感测系统122的一个或多个传感器来确定(2524)。
在一些实施例中，该装置至少部分地基于所述候选移动特性集合与所述可移动物体102的当前移动特性集合之间的差，确定(2526)要指派给各候选移动特性集合的路线优化分数。
在一些实施例中，该装置针对一个候选移动特性集合，预测(2528)在预定的未来时间处可移动物体102与目标106之间的距离；并且该装置至少部分地基于在所述预定的未来时间处所述可移动物体102与所述目标106之间的预测距离，确定要指派给所述候选移动特性集合的路线优化分数。
在一些实施例中，预测在预定的未来时间处所述可移动物体102与所述目标106之间的距离包括(2530)获得所述目标106的至少一个当前移动特性。该装置使用所获得的所述目标106的至少一个当前移动特性来预测所述距离。
在一些实施例中，该装置向所述多个候选移动特性集合中的每个候选移动特性集合指派路线优化分数。该装置确定具有最高路线优化分数的所述可移动物体102的移动特性集合。该装置确定所述可移动物体102的具有最高路线优化分数的移动特性集合是否符合(2532)约束条件。响应于确定所述候选移动特性集合符合约束条件，该装置选择所述可移动物体102的具有最高路线优化分数的移动特性集合。响应于确定所述候选移动特性集合不符合所述约束条件，该装置选择所述可移动物体102的备选移动特性集合。
例如，在一些实施例中，可移动物体102的一个或多个移动特性(诸如线速度、角速度、线性加速度、角加速度和/或高度)受到约束。例如，由于例如机械极限(例如，控制移动机构114的致动器的机械极限)和/或策略极限(例如，限制可允许的速度、加速度和/或高度的规则)，存在约束。
在一些实施例中，基于这些约束来约束对候选移动特性集合的选择和/或对候选移动特性的生成。
在一些实施例中，约束条件包括(2534)所述可移动物体102的最大线速度。
在一些实施例中，约束条件包括(2536)所述可移动物体102的最大角速度。
在一些实施例中，所述多个候选移动特性集合是受到约束条件限制而生成(2538)的。
在一些实施例中，约束条件包括(2540)所述可移动物体102的最大线速度。
在一些实施例中，约束条件包括(2542)所述可移动物体102的最大角速度。
在一些实施例中，各候选移动特性集合包括(2544)y轴移动特性和z轴移动特性(例如，VZ)。移动特性例如是x轴速度VX、x轴加速度、y轴速度VY、y轴加速度、z轴速度VZ和/或z轴加速度。
在一些实施例中，在可移动物体102的参考系1900中(例如，如关于图19所描述的)确定(2546)y轴移动特性和z轴移动特性。
在一些实施例中，各候选移动特性集合包括(2548)y轴速度VY和z轴速度VZ。
在一些实施例中，所述多个候选移动特性集合包括(2550)：包括负的y轴速度值和负的z轴速度值的各候选移动特性集合；包括负的y轴速度值和正的z轴速度值的候选移动特性集合；包括正的y轴速度值和负的z轴速度值的候选移动特性集合；以及包括正的y轴速度值和正的z轴速度值的候选移动特性集合。例如，图20中的候选移动特性显示在坐标图2000的每个象限中。
在一些实施例中，各候选移动特性集合包括(2552)x轴移动特性和角速度(例如，ωX)。x轴移动特性是例如x轴速度VX和/或x轴加速度。
在一些实施例中，在可移动物体102的参考系1900中确定(2554)x轴移动特性和角速度。
在一些实施例中，x轴移动特性(2556)是速度VX。
在一些实施例中，所述多个候选移动特性集合包括(2558)：包括负的x轴速度值和负的角速度值的候选移动特性集合；包括负的x轴速度值和正的角速度值的候选移动特性集合；包括正的x轴速度值和负的角速度值的候选移动特性集合；以及包括正的x轴速度值和正的角速度值的候选移动特性集合。例如，图22中的候选移动特性显示在坐标图2100的每个象限中。
在一些实施例中，该装置确定(2560)障碍物1316的大小。该装置确定所述障碍物的大小是否满足第一障碍物大小标准。响应于确定所述障碍物的大小满足第一障碍物大小标准，所述多个候选移动特性集合包括所述可移动物体沿着相对于所述可移动物体的y轴和z轴的移动。响应于确定所述障碍物的大小不满足第一障碍物大小标准，所述多个候选移动特性集合中的各候选移动特性集合包括：所述可移动物体沿着相对于所述可移动物体的x轴的移动，以及所述可移动物体的角速度。
本发明的许多特征可以以硬件、软件、固件或其组合的形式执行，或者使用硬件、软件、固件或其组合执行，或者借助于硬件、软件、固件或其组合执行。因此，本发明的特征可以使用处理系统来实现。示例性处理系统(例如，处理器116、控制器210、控制器218、处理器502和/或处理器602)包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、现场可编程门阵列、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
本发明的特征可以使用或借助于计算机程序产品来实现，诸如存储有指令的存储介质(介质)或计算机可读介质(介质)，其中可以将所述指令用来对处理系统进行编程以执行本文中呈现的任何特征。存储介质(例如(例如存储器118、504、604)可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR RAM、闪存装置、磁卡或光卡、纳米系统(包括分子存储器IC)或适用于存储指令和/或数据的任何类型的介质或装置。
存储在任何一个机器可读介质(媒介)上的本发明的特征可以并入软件和/或固件中，用来对处理系统的硬件进行控制，并且用来使处理系统能够利用本发明的结果与其他机构进行交互。这样的软件或固件可以包括但不限于应用代码、装置驱动程序、操作系统和执行环境/容器。
这里所指的通信系统(例如，通信系统120、510、610)可选地经由有线和/或无线通信连接进行通信。例如，通信系统可选地接收和发送也称为电磁信号的RF信号。通信系统的RF电路将电信号与电磁信号相互转换，并经由电磁信号与通信网络和其他通信装置进行通信。RF电路可选地包括用于执行这些功能的众所周知的电路，包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户身份模块(SIM)卡、内存等。通信系统可选地与网络通信，例如因特网(也称为万维网(WWW))、内联网和/或无线网络、例如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN)，并且可选地与其他装置通过无线通信来进行通信。无线通信连接可选地使用多种通信标准、协议和技术中的任何一种，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进仅数据(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE102.11a、IEEE 102.11ac、IEEE 102.11ax、IEEE 102.11b、IEEE 102.11g和/或IEEE102.11n)、基于因特网协议语音(VoIP)、Wi-MAX、用于电子邮件的协议(例如，因特网消息接入协议(IMAP)和/或邮局协议(POP))、即时消息传递(例如，可扩展消息传递和呈现协议(XMPP))、即时消息与呈现扩展的会话初始协议(SIMPLE)、即时消息和状态信息服务(IMPS))和/或短消息服务(SMS)或任何其他合适的通信协议，包括在本文档的提交日期尚未开发的通信协议。
尽管上面已经描述了本发明的各种实施例，但是应当理解，它们仅仅是作为示例而不是限制来呈现的。本领域普通技术人员应该清楚的是在不脱离本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
以上已经在功能构建块的辅助下描述了本发明，这些功能构建块示出了指定功能及其关系的执行。为便于描述，本文通常任意定义这些功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义替代的边界。因此，任何这样的替代的边界都在本发明的范围和精神内。
在本文所述的各种实施例的描述中所使用的术语仅仅是为了描述具体实施例，而不是意在进行限制。除非上下文另有明确说明，否则如各种所述实施例的描述和所附权利要求中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式。还应理解，如本文所使用的术语“和/或”是指并且包括一个或多个相关联的所列项目的任何一个和所有可能的组合。还将理解，术语“包括”和/或“包含”当在本说明书中使用时，规定了存在所声明的特征、整数、步骤、操作、要素和/或组件，但是并没有排除存在或添加一个或多个其他特征、整数、步骤、操作、要素、组件和/或其组合。
如本文所使用的，术语“如果”可以被解释为表示“当”或“一旦”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，这取决于上下文。同样，“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”的表述可以解释为表示“一旦确定”或“响应于确定”或“根据确定”或“一旦检测到”或“响应于检测到”所述先决条件为真，这取决于上下文。
已经提供了本发明的上述描述，用于说明和描述的目的。不是旨在是穷尽性的或将公开的精确形式作为对本发明的限制。本发明的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是显而易见的。这些修改和变化包括所公开的特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明的各种实施例以及适合于预期特定用途的各种修改。意图在于，本发明的范围由所附权利要求及其等同物限定。

Claims (66)

1.一种用于控制可移动物体的方法，所述方法包括：
在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；
响应于确定所述障碍物的位置与所述反应区域相对应时，以反应方式调节所述可移动物体的一个或多个移动特性，包括：减小所述可移动物体的加速度、减小所述可移动物体的速度、停止所述可移动物体的移动和/或反转所述可移动物体的移动方向；以及
响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，包括：使所述可移动物体沿绕过所述障碍物的替代路径移动；并且，当所述可移动物体沿所述替代路径移动时，所述可移动物体连续跟踪所述目标，或，所述可移动物体暂时停止跟踪所述目标但当避开所述障碍物和/或不再检测到所述障碍物时恢复跟踪所述目标；
其中，所述障碍物的位置与所述反应区域相对应表示所述障碍物会对所述可移动物体的安全造成立即的威胁，所述障碍物的位置与所述反应区域不对应表示所述障碍物不会对所述可移动物体的安全造成立即的威胁。
2.根据权利要求1所述的方法，其中所述障碍物的当前位置信息包括使用一个或多个深度图获得的信息。
3.根据权利要求2所述的方法，其中相应的深度图使用所述可移动物体的至少一个传感器来获得。
4.根据权利要求3所述的方法，其中所述可移动物体的至少一个传感器包括用于立体深度成图的一对传感器。
5.根据权利要求1所述的方法，其中所述障碍物的当前位置信息包括使用所述可移动物体的至少一个传感器获得的信息。
6.根据权利要求1所述的方法，其中所述障碍物的当前位置信息包括所述障碍物的位置。
7.根据权利要求1所述的方法，其中所述当前位置信息包括所述障碍物的一个或多个移动特性。
8.根据权利要求1所述的方法，其中所述障碍物的当前位置信息从计算装置发送到所述可移动物体。
9.根据权利要求1所述的方法，其中所述障碍物的当前位置信息由所述可移动物体从计算装置接收。
10.根据权利要求1所述的方法，其中：
所述反应区域至少部分地基于距所述可移动物体的确定距离来定义；以及
所述确定距离基于所述可移动物体的一个或多个当前移动特性。
11.根据权利要求10所述的方法，其中，所述确定距离还基于所述障碍物的一个或多个当前移动特性。
12.根据权利要求1所述的方法，其中，响应于确定所述障碍物的位置与所述反应区域不对应时：
基于所述可移动物体的一个或多个移动特性来选择多个候选移动特性集合；
针对所述多个候选移动特性集合中的每个候选移动特性集合，获得路线优化分数；
选择具有最高路线优化分数的候选移动特性；以及
基于所选择的候选移动特性来调节所述可移动物体的一个或多个移动特性。
13.根据权利要求12所述的方法，还包括：
针对一个候选移动特性集合，预测所述可移动物体将与所述障碍物碰撞的时间；以及
基于当前时间与所述可移动物体将与所述障碍物碰撞的预测时间之间的差，确定所述候选移动特性集合的路线优化分数。
14.根据权利要求13所述的方法，其中，使用所述障碍物的一个或多个移动特性来确定所述可移动物体将与所述障碍物碰撞之前的预测时间量。
15.根据权利要求12所述的方法，其中，针对一个候选移动特性集合的路线优化分数至少部分地取决于所述候选移动特性集合与所述可移动物体的当前移动特性集合之间的差异。
16.根据权利要求12所述的方法，还包括：
针对一个候选移动特性集合，预测在预定的未来时间处所述可移动物体与所述目标之间的距离；以及
其中，所述候选移动特性集合的路线优化分数至少部分地取决于在所述预定的未来时间处所述可移动物体与所述目标之间的预测距离。
17.根据权利要求12所述的方法，其中，各候选移动特性集合包括在与所述可移动物体的移动垂直的第一方向上的第一移动特性和在与所述可移动物体的移动垂直的第二方向上的第二移动特性。
18.根据权利要求12所述的方法，其中，各候选移动特性集合包括y轴移动特性和z轴移动特性。
19.根据权利要求12所述的方法，其中，各候选移动特性集合包括在所述可移动物体的移动方向上的移动特性和角速度。
20.根据权利要求12所述的方法，其中，各候选移动特性集合包括x轴移动特性和角速度。
21.根据权利要求12所述的方法，包括：
确定所述障碍物的大小；
确定所述障碍物的大小是否满足第一障碍物大小标准，其中：
响应于确定所述障碍物的大小满足第一障碍物大小标准时，所述多个候选移动特性集合包括所述可移动物体沿着相对于所述可移动物体的y轴和z轴的移动，以及
响应于确定所述障碍物的大小不满足第一障碍物大小标准时，所述多个候选移动特性集合中的各候选移动特性集合包括：
所述可移动物体沿着相对于所述可移动物体的x轴的移动，以及
所述可移动物体的角速度。
22.根据权利要求1所述的方法，其中，响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述一个或多个移动特性包括：
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的所述反应区域的第一子区域相对应；以及
响应于确定所述障碍物的位置与相对于所述可移动物体的反应区域的第一子区域相对应时，减小所述可移动物体的加速度。
23.根据权利要求22所述的方法，其中，响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述一个或多个移动特性包括：
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的所述反应区域的第二子区域相对应；以及
响应于确定所述障碍物的位置与相对于所述可移动物体的反应区域的第二子区域相对应，减小所述可移动物体的速度。
24.根据权利要求23所述的方法，其中，相对于所述可移动物体的反应区域的第二子区域的面积小于相对于所述可移动物体的反应区域的第一子区域的面积。
25.根据权利要求24所述的方法，其中，响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述一个或多个移动特性包括：
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域的第三子区域相对应；以及
响应于确定所述障碍物的位置与相对于所述可移动物体的反应区域的第三子区域相对应时，反转所述可移动物体的移动方向。
26.根据权利要求25所述的方法，其中，相对于所述可移动物体的反应区域的第三子区域的面积小于相对于所述可移动物体的反应区域的第二子区域的面积。
27.根据权利要求1所述的方法，其中，响应于确定所述障碍物的位置与所述反应区域相对应时，向控制单元发送调节后的目标跟踪信息。
28.根据权利要求27所述的方法，其中，调节后的目标跟踪信息包括关于所述障碍物的信息。
29.一种用于控制可移动物体的系统，所述系统包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并配置为由所述一个或多个处理器执行，其中所述一个或多个程序包括用于执行以下操作的指令：
在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；
响应于确定所述障碍物的位置与所述反应区域相对应时，以反应方式调节所述可移动物体的一个或多个移动特性，包括：减小所述可移动物体的加速度、减小所述可移动物体的速度、停止所述可移动物体的移动和/或反转所述可移动物体的移动方向；以及
响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，包括：使所述可移动物体沿绕过所述障碍物的替代路径移动；并且，当所述可移动物体沿所述替代路径移动时，所述可移动物体连续跟踪所述目标，或，所述可移动物体暂时停止跟踪所述目标但当避开所述障碍物和/或不再检测到所述障碍物时恢复跟踪所述目标；
其中，所述障碍物的位置与所述反应区域相对应表示所述障碍物会对所述可移动物体的安全造成立即的威胁，所述障碍物的位置与所述反应区域不对应表示所述障碍物不会对所述可移动物体的安全造成立即的威胁。
30.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由可移动物体执行时使所述可移动物体：
在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；
响应于确定所述障碍物的位置与所述反应区域相对应时，以反应方式调节所述可移动物体的一个或多个移动特性，包括：减小所述可移动物体的加速度、减小所述可移动物体的速度、停止所述可移动物体的移动和/或反转所述可移动物体的移动方向；以及
响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，包括：使所述可移动物体沿绕过所述障碍物的替代路径移动；并且，当所述可移动物体沿所述替代路径移动时，所述可移动物体连续跟踪所述目标，或，所述可移动物体暂时停止跟踪所述目标但当避开所述障碍物和/或不再检测到所述障碍物时恢复跟踪所述目标；
其中，所述障碍物的位置与所述反应区域相对应表示所述障碍物会对所述可移动物体的安全造成立即的威胁，所述障碍物的位置与所述反应区域不对应表示所述障碍物不会对所述可移动物体的安全造成立即的威胁。
31.一种无人机，包括：
动力系统；以及
一个或多个传感器，以及
所述无人机被配置为：
在所述无人机跟踪目标的同时使用所述一个或多个传感器获得障碍物的当前位置信息；
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述无人机的反应区域相对应；
响应于确定所述障碍物的位置与所述反应区域相对应时，以反应方式调节所述无人机的一个或多个移动特性，包括：减小所述无人机的加速度、减小所述无人机的速度、停止所述无人机的移动和/或反转所述无人机的移动方向；以及
响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述无人机的一个或多个移动特性，包括：使所述无人机沿绕过所述障碍物的替代路径移动；并且，当所述无人机沿所述替代路径移动时，所述无人机连续跟踪所述目标，或，所述无人机暂时停止跟踪所述目标但当避开所述障碍物和/或不再检测到所述障碍物时恢复跟踪所述目标；
其中，所述障碍物的位置与所述反应区域相对应表示所述障碍物会对所述无人机的安全造成立即的威胁，所述障碍物的位置与所述反应区域不对应表示所述障碍物不会对所述无人机的安全造成立即的威胁。
32.根据权利要求31所述的无人机，其中，所述一个或多个传感器包括用于立体深度成图的一对传感器。
33.根据权利要求32所述的无人机，其中，所述无人机使用深度图来确定所述障碍物的当前位置信息。
34.一种用于控制可移动物体的方法，所述方法包括：
在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；
响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述可移动物体的一个或多个移动特性，包括：减小所述可移动物体的加速度、减小所述可移动物体的速度、停止所述可移动物体的移动和/或反转所述可移动物体的移动方向；
响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，包括：使所述可移动物体沿绕过所述障碍物的替代路径移动；并且，当所述可移动物体沿所述替代路径移动时，所述可移动物体连续跟踪所述目标，或，所述可移动物体暂时停止跟踪所述目标但当避开所述障碍物和/或不再检测到所述障碍物时恢复跟踪所述目标；
基于所述障碍物与所述可移动物体之间的距离来调节目标跟踪信息；以及
向控制单元发送调节后的目标跟踪信息，其中，所述控制单元被配置为根据更新后的目标信息来更新所显示的用户界面；
其中，所述障碍物的位置与所述反应区域相对应表示所述障碍物会对所述可移动物体的安全造成立即的威胁，所述障碍物的位置与所述反应区域不对应表示所述障碍物不会对所述可移动物体的安全造成立即的威胁。
35.根据权利要求34所述的方法，其中，所述障碍物与所述可移动物体之间的距离基于所述障碍物的当前位置信息来确定。
36.根据权利要求34所述的方法，其中，所述障碍物与所述可移动物体之间的距离基于所述可移动物体的一个或多个传感器的输出来确定。
37.根据权利要求34所述的方法，其中，调节所述可移动物体的一个或多个移动特性包括基于以下各项来调节所述可移动物体的一个或多个移动特性：
所述障碍物与所述可移动物体之间的距离；以及
所述可移动物体的一个或多个当前移动特性。
38.根据权利要求37所述的方法，其中，调节所述可移动物体的一个或多个移动特性还包括：
确定所述障碍物的一个或多个移动特性；以及
其中，基于所述障碍物的运动来调节所述可移动物体的一个或多个移动特性。
39.根据权利要求38所述的方法，其中，所述障碍物的运动基于所述障碍物的当前位置信息来确定。
40.根据权利要求38所述的方法，其中，所述障碍物的运动基于所述可移动物体的一个或多个传感器的输出来确定。
41.根据权利要求37所述的方法，其中，调节所述可移动物体的一个或多个移动特性还包括：
当所述障碍物与所述可移动物体之间的距离满足第一距离标准时，对所述可移动物体的移动应用第一移动调节；以及
当所述障碍物与所述可移动物体之间的距离满足第二距离标准时，对所述可移动物体的移动应用第二移动调节。
42.根据权利要求41所述的方法，其中，应用所述第一移动调节包括减小所述可移动物体的加速度，并且应用所述第二移动调节包括减小所述可移动物体的速度。
43.根据权利要求41所述的方法，其中，当所述障碍物与所述可移动物体之间的距离超过第一距离时满足所述第一距离标准，并且当所述障碍物与所述可移动物体之间的距离超过小于所述第一距离的第二距离时满足所述第二距离标准。
44.根据权利要求42所述的方法，其中，调节所述可移动物体的一个或多个移动特性包括：
当所述障碍物与所述可移动物体之间的距离满足第三距离标准时，对所述可移动物体的移动应用第三移动调节，其中，当所述障碍物与所述可移动物体之间的距离是小于第二距离的第三距离时满足所述第三距离标准。
45.根据权利要求44所述的方法，其中，应用所述第三移动调节包括反转所述可移动物体的运动。
46.根据权利要求44所述的方法，其中，应用所述第三移动调节包括停止所述可移动物体的运动。
47.根据权利要求42所述的方法，其中，调节所述可移动物体的所述一个或多个移动特性还包括：
当所述障碍物与所述可移动物体之间的距离满足第三距离标准时，确定所述可移动物体的速度是否满足速度标准；
响应于确定所述可移动物体的速度满足速度标准时，停止所述可移动物体的运动；以及
响应于确定所述可移动物体的速度不满足速度标准时，反转所述可移动物体的至少一个运动参数。
48.根据权利要求45所述的方法，其中，当所述可移动物体的速度超过阈值速度时满足速度标准。
49.根据权利要求41所述的方法，其中：
当所述障碍物的位置与相对于所述可移动物体的反应区域的第一子区域相对应时，满足所述第一距离标准；以及
当所述障碍物的位置与相对于所述可移动物体的反应区域的第二子区域相对应时，满足所述第二距离标准。
50.根据权利要求49所述的方法，其中，调节所述可移动物体的所述一个或多个移动特性包括：
当所述障碍物与所述可移动物体之间的距离满足第三距离标准时，反转所述可移动物体的移动方向，其中，当所述障碍物的位置与相对于所述可移动物体的所述反应区域的第三子区域相对应时，满足所述第三距离标准。
51.根据权利要求34所述的方法，其中，更新后的目标信息包括用于改变与所述目标对应的图形跟踪指示符的信息。
52.根据权利要求51所述的方法，其中，用于改变与所述目标对应的图形跟踪指示符的信息包括用于改变所述图形跟踪指示符的颜色的信息。
53.根据权利要求51所述的方法，其中，用于改变与所述目标对应的图形跟踪指示符的信息包括用于停止显示所述图形跟踪指示符的信息。
54.根据权利要求51所述的方法，还包括：
确定所述障碍物的更新后的位置；
确定所述障碍物的更新后的位置是否与相对于所述可移动物体的反应区域相对应；以及
响应于确定所述障碍物的更新后的位置与相对于所述可移动物体的反应区域不对应时：
进一步调节所述目标跟踪信息；以及
向所述控制单元发送所述进一步调节后的目标跟踪信息，其中，所述进一步调节后的目标跟踪信息包括用于停止改变所述图形跟踪指示符的信息。
55.根据权利要求34所述的方法，其中，调节后的目标跟踪信息包括用于改变对由所述控制单元接收的预定义用户输入的响应的信息。
56.根据权利要求55所述的方法，其中，所述预定义用户输入包括用于控制所述可移动物体的至少一个移动特性的控制输入。
57.根据权利要求55所述的方法，其中，所述预定义用户输入包括用于选择要跟踪的目标的选择输入。
58.根据权利要求55所述的方法，其中，改变对所述预定义用户输入的响应包括停止响应所述预定义用户输入。
59.根据权利要求55所述的方法，还包括：
确定所述障碍物的更新后的位置；
确定所述障碍物的更新后的位置是否与相对于所述可移动物体的反应区域相对应；以及
响应于确定所述障碍物的更新后的位置与相对于所述可移动物体的反应区域不对应时：
进一步调节所述目标跟踪信息；
向所述控制单元发送所述进一步调节后的目标跟踪信息，其中，所述进一步调节后的目标跟踪信息包括用于停止改变对由所述控制单元接收的所述预定义用户输入的响应的信息。
60.根据权利要求34所述的方法，其中所述障碍物的当前位置信息包括使用一个或多个深度图获得的信息。
61.根据权利要求34所述的方法，其中所述障碍物的当前位置信息包括使用所述可移动物体的至少一个传感器获得的信息。
62.根据权利要求34所述的方法，其中：
所述反应区域至少部分地基于距所述可移动物体的确定距离来定义；以及
所述确定距离基于所述可移动物体的一个或多个当前移动特性。
63.根据权利要求62所述的方法，其中，所述确定距离还基于所述障碍物的一个或多个当前移动特性。
64.一种用于控制可移动物体的系统，所述系统包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并配置为由所述一个或多个处理器执行，其中所述一个或多个程序包括用于执行以下操作的指令：
在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；
响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述可移动物体的一个或多个移动特性，包括：减小所述可移动物体的加速度、减小所述可移动物体的速度、停止所述可移动物体的移动和/或反转所述可移动物体的移动方向；
响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，包括：使所述可移动物体沿绕过所述障碍物的替代路径移动；并且，当所述可移动物体沿所述替代路径移动时，所述可移动物体连续跟踪所述目标，或，所述可移动物体暂时停止跟踪所述目标但当避开所述障碍物和/或不再检测到所述障碍物时恢复跟踪所述目标；
基于所述障碍物与所述可移动物体之间的距离来调节目标跟踪信息；以及
向控制单元发送调节后的目标跟踪信息，其中，所述控制单元被配置为根据调节后的目标跟踪信息更新所显示的用户界面；
其中，所述障碍物的位置与所述反应区域相对应表示所述障碍物会对所述可移动物体的安全造成立即的威胁，所述障碍物的位置与所述反应区域不对应表示所述障碍物不会对所述可移动物体的安全造成立即的威胁。
65.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，当所述指令由可移动物体执行时使所述可移动物体：
在所述可移动物体跟踪目标的同时获得障碍物的当前位置信息；
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述可移动物体的反应区域相对应；
响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述可移动物体的一个或多个移动特性，包括：减小所述可移动物体的加速度、减小所述可移动物体的速度、停止所述可移动物体的移动和/或反转所述可移动物体的移动方向；
响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述可移动物体的一个或多个移动特性，包括：使所述可移动物体沿绕过所述障碍物的替代路径移动；并且，当所述可移动物体沿所述替代路径移动时，所述可移动物体连续跟踪所述目标，或，所述可移动物体暂时停止跟踪所述目标但当避开所述障碍物和/或不再检测到所述障碍物时恢复跟踪所述目标；
基于所述障碍物与所述可移动物体之间的距离来调节目标跟踪信息；以及
向控制单元发送调节后的目标跟踪信息，其中，所述控制单元被配置为根据调节后的目标跟踪信息更新所显示的用户界面。
66.一种无人机，包括：
动力系统；以及
一个或多个传感器，以及
所述无人机被配置为：
在所述无人机跟踪目标的同时使用所述一个或多个传感器获得障碍物的当前位置信息；
基于所述障碍物的当前位置信息，确定所述障碍物的位置是否与相对于所述无人机的反应区域相对应；
响应于确定所述障碍物的位置与所述反应区域相对应时，调节所述无人机的一个或多个移动特性，包括：减小所述无人机的加速度、减小所述无人机的速度、停止所述无人机的移动和/或反转所述无人机的移动方向；
响应于确定所述障碍物的位置与所述反应区域不对应时，以主动方式调节所述无人机的一个或多个移动特性，包括：使所述无人机沿绕过所述障碍物的替代路径移动；并且，当所述无人机沿所述替代路径移动时，所述无人机连续跟踪所述目标，或，所述无人机暂时停止跟踪所述目标但当避开所述障碍物和/或不再检测到所述障碍物时恢复跟踪所述目标；
基于所述障碍物与所述无人机之间的距离来调节目标跟踪信息；以及
向控制单元发送调节后的目标跟踪信息，其中，所述控制单元被配置为根据调节后的目标跟踪信息更新所显示的用户界面；
其中，所述障碍物的位置与所述反应区域相对应表示所述障碍物会对所述无人机的安全造成立即的威胁，所述障碍物的位置与所述反应区域不对应表示所述障碍物不会对所述无人机的安全造成立即的威胁。
CN201680082508.8A 2016-02-29 2016-02-29 目标跟踪期间的障碍避免 Active CN108701362B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/074821 WO2017147747A1 (en) 2016-02-29 2016-02-29 Obstacle avoidance during target tracking

Publications (2)

Publication Number Publication Date
CN108701362A CN108701362A (zh) 2018-10-23
CN108701362B true CN108701362B (zh) 2022-12-27

Family

ID=59743331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680082508.8A Active CN108701362B (zh) 2016-02-29 2016-02-29 目标跟踪期间的障碍避免

Country Status (3)

Country Link
US (3) US10929999B2 (zh)
CN (1) CN108701362B (zh)
WO (1) WO2017147747A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017147747A1 (en) * 2016-02-29 2017-09-08 SZ DJI Technology Co., Ltd. Obstacle avoidance during target tracking
US10317915B2 (en) * 2017-02-28 2019-06-11 Gopro, Inc. Autonomous tracking based on radius
CN108121347B (zh) * 2017-12-29 2020-04-07 北京三快在线科技有限公司 用于控制设备运动的方法、装置及电子设备
CN111867935B (zh) * 2018-03-19 2024-02-09 本田技研工业株式会社 飞行器和飞行器的控制方法
US11645762B2 (en) * 2018-10-15 2023-05-09 Nokia Solutions And Networks Oy Obstacle detection
CN109709554B (zh) * 2018-12-13 2021-01-19 广州极飞科技有限公司 作业设备及其控制方法和装置
CN109739267A (zh) * 2018-12-21 2019-05-10 北京智行者科技有限公司 跟随路径的确定方法
CN109887056B (zh) * 2019-01-11 2023-01-03 安徽宏途机器人科技有限公司 基于cad的移动设备所处场地内障碍物检测系统及方法
WO2020172862A1 (zh) * 2019-02-28 2020-09-03 深圳市大疆创新科技有限公司 通信方法、设备及存储介质
US11314254B2 (en) * 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping
CN110147096A (zh) * 2019-04-01 2019-08-20 江苏大学 一种基于视觉跟随的多机协调控制方法
CN110262568B (zh) * 2019-07-19 2021-10-22 深圳市道通智能航空技术股份有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
US11747802B2 (en) * 2019-12-11 2023-09-05 Mason Electric Co. Ruggedized remote control display management system for harsh and safety-critical environments
US20210261158A1 (en) * 2020-02-21 2021-08-26 BlueSpace.ai, Inc. Method for object avoidance during autonomous navigation
CN113469159B (zh) * 2021-09-06 2021-12-07 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044321A (en) * 1996-06-07 2000-03-28 Hitachi, Ltd. Intelligent cruise control system for moving body
CN103543751A (zh) * 2013-09-12 2014-01-29 深圳市大疆创新科技有限公司 无人飞行器的控制装置及无人飞行器
CN105204520A (zh) * 2015-09-17 2015-12-30 深圳市十方联智科技有限公司 一种无人飞行器的控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7818127B1 (en) * 2004-06-18 2010-10-19 Geneva Aerospace, Inc. Collision avoidance for vehicle control systems
US8060306B2 (en) * 2007-10-04 2011-11-15 Deere & Company Method and system for obstacle avoidance for a vehicle
CN101419667B (zh) * 2008-12-15 2010-12-08 东软集团股份有限公司 识别图像中障碍物的方法和装置
FR2947656B1 (fr) * 2009-07-06 2016-05-27 Valeo Vision Procede de detection d'un obstacle pour vehicule automobile
TW201351301A (zh) * 2012-06-08 2013-12-16 Automotive Res & Testing Ct 自適應障礙物影像偵測方法
CN103335658B (zh) * 2013-06-19 2016-09-14 华南农业大学 一种基于弧线路径生成的自主车辆避障方法
CN103576692A (zh) * 2013-11-07 2014-02-12 哈尔滨工程大学 一种多无人机协同飞行方法
CN105303595B (zh) * 2014-07-30 2019-06-11 Tcl集团股份有限公司 一种基于三维虚拟场景的物体智能避障方法及系统
CN104504724B (zh) * 2015-01-15 2018-04-06 杭州国策商图科技有限公司 一种不受障碍物影响的运动物体跟踪及提取算法
CN104933228B (zh) * 2015-05-27 2018-03-02 西安交通大学 基于速度障碍的无人车实时轨迹规划方法
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
WO2017147747A1 (en) * 2016-02-29 2017-09-08 SZ DJI Technology Co., Ltd. Obstacle avoidance during target tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044321A (en) * 1996-06-07 2000-03-28 Hitachi, Ltd. Intelligent cruise control system for moving body
CN103543751A (zh) * 2013-09-12 2014-01-29 深圳市大疆创新科技有限公司 无人飞行器的控制装置及无人飞行器
CN105204520A (zh) * 2015-09-17 2015-12-30 深圳市十方联智科技有限公司 一种无人飞行器的控制方法

Also Published As

Publication number Publication date
US11669987B2 (en) 2023-06-06
CN108701362A (zh) 2018-10-23
WO2017147747A1 (en) 2017-09-08
US20230386064A1 (en) 2023-11-30
US20200027230A1 (en) 2020-01-23
US10929999B2 (en) 2021-02-23
US20210256723A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
US11669987B2 (en) Obstacle avoidance during target tracking
US10802491B2 (en) Methods and systems for target tracking
US20220091607A1 (en) Systems and methods for target tracking
US11632497B2 (en) Systems and methods for controlling an image captured by an imaging device
US20210192764A1 (en) Method and system for detecting and tracking objects using characteristic points
US11019255B2 (en) Depth imaging system and method of rendering a processed image to include in-focus and out-of-focus regions of one or more objects based on user selection of an object
US20190094850A1 (en) Techniques for image recognition-based aerial vehicle navigation
WO2022141369A1 (en) Systems and methods for supporting automatic video capture and video editing
US20200050184A1 (en) Wind velocity force feedback
WO2022141187A1 (en) Systems and methods for controlling an unmanned aerial vehicle using a body-attached remote control
US20200106958A1 (en) Method and system for operating a movable platform using ray-casting mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant