CN108292141A - 用于目标跟踪的方法和系统 - Google Patents

用于目标跟踪的方法和系统 Download PDF

Info

Publication number
CN108292141A
CN108292141A CN201680068061.9A CN201680068061A CN108292141A CN 108292141 A CN108292141 A CN 108292141A CN 201680068061 A CN201680068061 A CN 201680068061A CN 108292141 A CN108292141 A CN 108292141A
Authority
CN
China
Prior art keywords
target object
target
predetermined
object type
transport
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680068061.9A
Other languages
English (en)
Other versions
CN108292141B (zh
Inventor
封旭阳
赵丛
钱杰
余俊峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108292141A publication Critical patent/CN108292141A/zh
Application granted granted Critical
Publication of CN108292141B publication Critical patent/CN108292141B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)

Abstract

用于跟踪目标物体的方法、用于控制可移动物体的系统、用于存储一个或多个程序的计算机可读存储介质、以及无人机。其中，由无人载运工具承载的成像设备获得图像。从所述图像中提取目标物体的一个或多个特征。所述目标物体位于用户在图像帧上选择的区域内。基于将所提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定目标物体是否是预定可识别物体类型。根据对目标物体是预定可识别物体类型的确定，初始化与预定可识别物体类型相关联的跟踪功能。根据对目标物体不属于任何预定可识别物体类型的确定，初始化与一般物体类型相关联的跟踪功能。

Description

用于目标跟踪的方法和系统
技术领域
本公开涉及目标跟踪领域，尤其涉及通过与可识别物体类型相关联的特征进行初始化自动目标跟踪的方法和系统。
背景技术
诸如无人机(UAV)的可移动物体可以用于执行军事和民用应用的监视、侦察和勘探任务。可移动物体可以承载被配置为执行特定功能(诸如，捕获周围环境的图像或者跟踪特定目标)的负载。例如，可移动物体可以跟踪沿着地面或通过空气移动的物体。用于控制可移动物体的移动控制信息通常是由可移动物体从远程设备接收的和/或由可移动物体确定的。
在UAV开始跟踪目标之前，可以执行初始化过程以确保优化一个或多个情形来自动跟踪目标。可以使用各种方法来改善所述初始化过程。
发明内容
改善目标跟踪的系统和方法是有必要的，所述系统和方法可选地用于补充或取代传统的目标跟踪的方法。
本公开实施例公开了一种用于跟踪目标物体的方法，所述方法包括：获得由无人载运工具承载的成像设备捕获的第一图像帧，所述第一图像帧包含目标物体。所述方法从第一图像帧中提取目标物体的一个或多个特征。所述目标物体位于用户在第一图像帧上选择的区域内。所述方法还基于提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，来确定目标物体是否是预定可识别物体类型。根据对目标物体是预定可识别物体类型的确定，初始化在计算系统中提供的并与预定可识别物体类型相关联的跟踪功能。根据对目标物体不属于任何预定可识别物体类型的确定，初始化在计算系统中提供的并与一般物体类型相关联的跟踪功能。
本公开实施例公开了一种用于跟踪目标物体的系统，所述系统包括一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在存储器中并配置为由所述一个或多个处理器执行，其中所述一个或多个程序包括用于执行以下操作的指令：获得由无人载运工具承载的成像设备捕获的第一图像帧，所述第一图像帧包含目标物体；从所述第一图像帧中提取所述目标物体的一个或多个特征，其中所述目标物体位于用户在第一图像帧上选择的区域内；基于提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定目标物体是否是预定可识别物体类型；根据对目标物体是预定可识别物体类型的确定，初始化在计算系统中提供的并与预定可识别物体类型相关联的跟踪功能；以及根据对目标物体不属于任何预定可识别物体类型的确定，初始化在计算系统中提供的并与一般物体类型相关联的跟踪功能。
本公开实施例公开了一种非暂时性计算机可读存储介质，用于存储一个或多个程序，所述一个或多个程序包括指令，其中当所述指令由可移动物体执行时使可移动物体：获得由无人载运工具承载的成像设备捕获的第一图像帧，所述第一图像帧包含目标物体；从所述第一图像帧中提取所述目标物体的一个或多个特征，其中所述目标物体位于用户在第一图像帧上选择的区域内；基于提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定目标物体是否是预定可识别物体类型；根据对目标物体是预定可识别物体类型的确定，初始化在计算系统中提供的并与预定可识别物体类型相关联的跟踪功能；以及根据对目标物体不属于任何预定可识别物体类型的确定，初始化在计算系统中提供的并与一般物体类型相关联的跟踪功能。
本公开实施例公开了一种无人机(UAV)，包括动力系统和一个或多个传感器。所述UAV被配置为：获得由无人载运工具承载的成像设备捕获的第一图像帧，所述第一图像帧包含目标物体；从所述第一图像帧中提取所述目标物体的一个或多个特征，其中所述目标物体位于用户在第一图像帧上选择的区域内；基于提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定目标物体是否是预定可识别物体类型；根据对目标物体是预定可识别物体类型的确定，初始化在计算系统中提供的并与预定可识别物体类型相关联的跟踪功能；以及根据对目标物体不属于任何预定可识别物体类型的确定，初始化在计算系统中提供的并与一般物体类型相关联的跟踪功能。
附图说明
图1示出了本公开实施例的目标跟踪系统。
图2A示出了本公开实施例的在目标跟踪系统中的示例性可移动物体。
图2B示出了本公开实施例的可移动物体的示例性载体。
图2C示出了本公开实施例的可移动物体的示例性负载。
图3示出了本公开实施例的可移动物体的示例性感测系统。
图4是示出了本公开实施例的可移动物体的存储器的实现方式的框图。
图5示出了本公开实施例的目标跟踪系统的示例性控制单元。
图6示出了本公开实施例的用于控制可移动物体的示例性计算设备。
图7是示出了本公开实施例的用于执行目标跟踪初始化的方法的流程图。
图8示出了本公开实施例的可移动物体、载体和负载的示例性配置。
图9A示出了本公开实施例的用于追踪目标的示例性初始化过程。
图9B-9C示出了本公开实施例的显示在用户界面950上的包含有目标的图像。
图10A示出了本公开实施例的用于追踪目标的示例性初始化过程。
图10B示出了本公开实施例的显示在用户界面上的包含有目标的图像。
图11示出了本公开实施例的用于确定俯仰角的示例性方法。
图12示出了本公开实施例的用于确定目标106的俯仰角的示例性方法。
图13A示出了本公开实施例的用于追踪目标的初始化过程。
图13B示出了本公开实施例的显示在用户界面上的包含有目标的图像。
图14示出了本公开实施例的用于确定目标和可移动物体之间的水平距离的示例性方法。
图15示出了本公开实施例的用于确定一般目标和可移动物体之间的水平距离的示例性方法。
图16A-16G示出了本公开实施例的用于跟踪目标的方法的流程图。
具体实施方式
现将结合本公开实施例中的附图，对本公开实施例中进行详细介绍。在下面的详细描述中，阐述了许多具体细节以便提供对所述实施例的透彻理解。然而，本领域技术人员可以理解，在无需所述具体细节的情况下也可以实施所述实施例。在其他实例中，没有详细描述公知的方法、过程、组件、电路和网络，以避免造成实施例不必要的模糊不清。
以下描述使用无人机(UAV)作为可移动物体的示例。UAV包括例如固定机翼的飞行器和旋转机翼的飞行器，诸如，直升机、四轴飞行器以及具有其他数量和/或配置的转子的飞行器。本领域技术人员显而易见的是，根据本发明的实施例，其他类型的可移动物体可以代替下文所述的UAV。
本发明提供了与用于由UAV进行目标跟踪的初始化相关的技术。在一些实施例中，用户从显示在控制单元的用户界面上的图像选择目标。例如，显示该图像，并经由控制单元的触摸屏接收输入。在一些实施例中，系统执行目标跟踪的初始化。初始化过程包括特征提取和目标分类。在一些实施例中，所述系统确定目标是预定可识别类型还是一般类型。与预定可识别类型相关联的预设特征可以用于确定UAV是否具备自动目标跟踪的条件。与预定可识别类型相关联的预设特征还可以用于调节一个或多个用于控制UAV、载体和/或成像设备的控制参数。在一些实施例中，当初始化完成后，控制单元和/或UAV管理与目标跟踪相关联的操作。在一些实施例中，只有目标的图像数据用于执行初始化过程。这样，所述系统可以跟踪不包括用于提供目标的位置信息的位置测量单元(例如，GPS)的目标。
图1示出了根据本公开多种实施例的目标跟踪系统100。目标跟踪系统100包括可移动物体102和控制单元104。在一些实施例中，目标跟踪系统100用于跟踪目标106和/或初始化跟踪目标106。
在一些实施例中，目标106包括自然物体和/或人造物体，诸如，地理地形(例如，山、植被、山谷、湖泊和/或河流)、建筑物和/或交通工具(例如，飞机、轮船、汽车、卡车、公交车、火车和/或摩托车)。在一些实施例中，目标106包括诸如人和/或动物的活的生物。在一些实施例中，目标106是移动的，例如，相对于参考系移动(诸如大地和/或可移动物体102)。在一些实施例中，目标106是静止的。在一些实施例中，目标106包括向可移动物体102、控制单元104和/或计算设备126发送关于目标106的信息(诸如目标的GPS位置)的主动目标系统。例如，经由无线通信的方式从主动目标的通信单元至可移动物体102的通信系统120(如图2A中所示)来向可移动物体102发送信息。主动目标包括例如友好的交通工具、建筑物和/或部队。在一些实施例中，目标106包括被动目标(例如，不发送关于目标106的信息的目标)。被动目标包括例如中立的或敌对的交通工具、建筑物和/或部队。
在一些实施例中，可移动物体102被配置为例如经由无线通信124与控制单元104进行通信。例如，可移动物体102从控制单元104接收控制指令和/或向控制单元104发送数据(例如，来自可移动物体感测系统122(如图2A中所示)的数据)。
控制指令包括例如用于控制可移动物体102的导航参数(诸如可移动物体102、载体108和/或负载110的位置、方向、姿态和/或一个或多个移动特性)的导航指令。在一些实施例中，控制指令包括命令移动结构114(如图2A中示出)中的一个或多个的移动的指令。例如，控制指令用于控制UAV的飞行。在一些实施例中，控制指令包括用于控制载体108的操作(例如，移动)的信息。例如，控制指令用于控制载体108的致动结构，以便引起负载110相对可移动物体102的角度移动和/或线性移动。在一些实施例中，控制指令用于针对负载110调节一个或多个可操作参数，诸如，用于捕获一个或多个图像、捕获视频、调节变焦水平、电源打开或关闭、调节成像模式(例如，捕获静止图像或捕获视频)、调节图像分辨率、调节焦点、调节视角、调节视场、调节景深、调节曝光时间、调节快门速度、调节镜头速度、调节ISO、改变镜头和/或移动负载110(和/或负载110的一部分，诸如成像设备214(如图2C中所示))的指令。在一些实施例中，控制指令用于控制通信系统120、感测系统122和/或可移动物体102的其他组件。
在一些实施例中，来自控制单元104的控制指令包括目标信息，以下参考图7做进一步详细描述。
在一些实施例中，可移动物体102被配置为与计算设备126进行通信。例如，可移动物体102从计算设备126接收控制指令和/或向计算设备126发送数据(例如，来自可移动物体感测系统122的数据)。在一些实施例中，从计算设备126到可移动物体102的通信可以从计算设备126发送到手机信号塔130(例如，经由互联网128)，再从手机信号塔130发送到可移动物体102(例如，经由RF信号)。在一些实施例中，可以使用卫星代替手机信号塔130或除了手机信号塔130之外还使用卫星。
在一些实施例中，目标跟踪系统包括被配置为与可移动物体102通信的附加控制单元104和/或计算设备126。
图2A示出了本公开实施例的在目标跟踪系统100中的示例性可移动物体102。在一些实施例中，诸如处理器116、存储器118、通信系统120和感测系统122的可移动物体的一个或多个组件通过诸如控制总线112的数据连接来连接。控制总线可选地包括互连和控制系统组件之间的通信的电路(有时称作芯片组)。
可移动物体102通常包括一个或多个处理单元116、存储器118、一个或多个网络或其他通信接口120、感测系统122以及用于将这些组件互连的一个或多个通信总线112。在一些实施例中，可移动物体102是UAV。尽管可移动物体102被描绘为飞行器，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体。
在一些实施例中，可移动物体102包括移动结构114(例如，动力结构)。尽管为了便于参考而使用复数术语“多个移动结构”，但是“移动结构114”可以指单个移动结构(例如，单个螺旋桨)或多个移动结构(例如，多个转子)。移动结构114包括一个或多个移动结构类型，例如转子、螺旋桨、叶片、发动机、电机、车轮、车轴、磁体、喷嘴、动物和/或人类。移动结构114在例如顶部、底部、前部、后部和/或侧部与可移动物体102相连接。在一些实施例中，单个可移动物体102的移动结构114包括具有相同类型的多个移动结构。在一些实施例中，单个可移动物体102的移动结构114包括具有不同移动结构类型的多个移动结构。移动结构114使用诸如支撑元件(例如驱动轴)或其它致动元件(例如致动器132)的任何合适装置，来与可移动物体102相连接(或反之亦然)。例如，致动器132从处理器116接收控制信号(例如，经由控制总线112)，所述控制信号激活致动器以引起移动结构114的移动。例如，处理器116包括向致动器132提供控制信号的电子速度控制器。
在一些实施例中，移动结构114使可移动物体102从表面垂直起飞或在表面上垂直着陆，而不需要可移动物体102的任何水平移动(例如，不沿着跑道行驶)。在一些实施例中，移动结构114可以运行以允许可移动物体102在空气中悬停在指定位置和/或方向。在一些实施例中，移动结构114中的一个或多个可独立于其他移动结构114中的一个或多个来控制。例如，当可移动物体102是四轴飞行器时，四轴飞行器的每个转子都可独立于四轴飞行器的其他转子进行控制。在一些实施例中，多个移动结构114被配置为用于同时移动。
在一些实施例中，移动结构114包括为可移动物体提供升力和/或推力的多个转子。可以致动多个转子，以向可移动物体102提供例如垂直起飞、垂直着陆和悬停能力。在一些实施例中，一个或多个转子沿顺时针方向旋转，而一个或多个转子沿逆时针方向旋转。例如，顺时针转子的数量等于逆时针转子的数量。在一些实施例中，每个转子的旋转速率可以独立地变化，以便例如控制由每个转子产生的升力和/或推力，从而调节可移动物体102的空间配置、速度和/或加速度(例如，关于高达三个自由度的平移和/或高达三个自由度的旋转)。
在一些实施例中，载体108与可移动物体102相连接。负载110与载体108相连接。在一些实施例中，载体108包括使负载110能够相对于可移动物体102移动的一个或多个结构，如参照图2B进一步所示。在一些实施例中，负载110刚性地连接到可移动物体102，使得负载110相对于可移动物体102基本保持静止。例如，载体108连接到负载110，使得负载相对于可移动物体102不能移动。在一些实施例中，负载110可连接到可移动物体102而不需要载体108。
通信系统120支持例如经由无线信号124与控制单元104和/或计算设备126进行通信。通信系统120包括例如用于无线通信的发射器、接收器和/或收发器。在一些实施例中，通信是单向通信，使得仅从可移动物体102向控制单元104传送数据，反之亦然。在一些实施例中，通信是双向通信，使得在可移动物体102和控制单元104之间的两个方向上传送数据。
在一些实施例中，可移动物体102与计算设备126进行通信。在一些实施例中，可移动物体102、控制单元104和/或远程设备连接到互联网或其它电信网络，例如使得由可移动物体102、控制单元104和/或计算设备126生成的数据被传送到服务器以用于数据存储和/或数据获取(例如，用于由网站显示)。
在一些实施例中，可移动物体102的感测系统122包括一个或多个传感器，如参照图3进一步所示。在一些实施例中，可移动物体102和/或控制单元104使用由感测系统122的传感器生成的感测数据来确定信息，诸如可移动物体102的位置、可移动物体102的方向、可移动物体102的移动特性(例如，角速度、角加速度、平移速度、平移加速度和/或沿着一个或多个轴的移动方向)、可移动物体102与潜在障碍物的接近度、天气状况、地理特征的位置和/或人造结构的位置。
图2B示出了根据实施例的在目标跟踪系统100中的示例性载体108。在一些实施例中，载体108将负载110连接到可移动物体102。
在一些实施例中，载体108包括将一个或多个框架构件202包含在内的框架组件。在一些实施例中，框架构件202与可移动物体102和负载110相连接。在一些实施例中，框架构件202支撑负载110。
在一些实施例中，载体108包括一个或多个结构(例如，一个或多个致动器204)以引起载体108和/或负载110的移动。致动器204例如是诸如液压、气动、电、热、磁和/或机械电机的电机。在一些实施例中，致动器204引起框架构件202的移动。在一些实施例中，致动器204相对于可移动物体102围绕一个或多个轴转动负载110，诸如，围绕以下三个轴：x轴(“俯仰轴”)、Z轴(“横滚轴”)和Y轴(“偏航轴”)。在一些实施例中，致动器204相对于可移动物体102沿着一个或多个轴平移负载110。
在一些实施例中，载体108包括一个或多个载体感测系统206，例如，用于确定载体108或负载110的状态。载体感测系统206包括例如运动传感器(例如，加速度计)、旋转传感器(例如，陀螺仪)、电位计和/或惯性传感器。在一些实施例中，载体感测系统206包括可移动物体感测系统122的一个或多个传感器，如以下图3所示。由载波感测系统206确定的传感器数据包括例如载体108和/或负载110的空间布置(例如，位置、方向或姿态)和/或诸如速度(例如，线速度或角速度)和/或加速度(例如，线加速度或角加速)的移动信息。在一些实施例中，感测数据和/或根据感测数据计算的状态信息被用作反馈数据以控制载体108的一个或多个组件(例如，框架构件202、致动器204和/或阻尼元件208)的移动。载体传感器206连接到例如框架构件202、致动器204，阻尼元件208和/或负载110。在一个实施例中，载体传感器206(例如，电位计)测量致动器204的移动(例如，电机转子和电机定子的相对位置)并且生成表示致动器204的移动的位置信号(例如，表示电机转子和电机定子的相对位置的位置信号)。在一些实施例中，由可移动物体102的处理器116和/或存储器118接收由载体传感器206产生的数据。
在一些实施例中，载体108与可移动物体102的连接包括一个或多个阻尼元件208。阻尼元件208被配置为减少或消除由可移动物体102的移动引起的负载(例如，负载110和/或载体108)的移动。阻尼元件208包括例如主动阻尼元件、被动阻尼元件和/或具有主动和被动阻尼特性的混合阻尼元件。由阻尼元件208阻尼的移动可以包括振动、摆动、晃动或冲击中的一个或多个。这种移动可以源自传输到负载的可移动物体的移动。例如，所述移动可以包括由可移动物体101的动力系统和/或其他组件的操作引起的振动。
在一些实施例中，阻尼元件208通过消散或减少传递到负载的移动来隔离来自不希望的移动源的负载(例如，振动隔离)，提供移动阻尼。在一些实施例中，阻尼元件208可以减小原本由负载承受的移动的幅度(例如，幅值)。在一些实施例中，由阻尼元件208施加的移动阻尼被用于稳定负载，由此改善由负载(例如，图像捕获设备或成像设备)捕获的图像的质量，并降低基于捕获的图像生成全景图像所需的图像拼接步骤的计算复杂度。
本文描述的阻尼元件208可以由任何合适的材料或包括固体、液体或气体材料的组合形成。用于阻尼元件的材料可以是可压缩的和/或可变形的。例如，阻尼元件208由例如海绵、泡沫、橡胶、凝胶等制成。例如，阻尼元件208包括大致球形的橡胶球。阻尼元件208例如为大致球形、矩形和/或圆柱形。在一些实施例中，阻尼元件208包括压电材料或形状记忆材料。在一些实施例中，阻尼元件208包括一个或多个机械元件，例如弹簧、活塞、液压设备、气动设备、缓冲器、减震器、隔离器等。在一些实施例中，阻尼元件208的特性被选择为提供预定量的移动阻尼。在一些情况下，阻尼元件208具有粘弹性。阻尼元件208的特性例如是各向同性或各向异性的。在一些实施例中，阻尼元件208沿所有移动方向均匀地提供移动阻尼。在一些实施例中，阻尼元件208仅沿着移动方向的子集(例如，沿着单个移动方向)提供移动阻尼。例如，阻尼元件208可以主要沿着Y(偏航)轴提供阻尼。这样，所示的阻尼元件208减少了垂直移动。
在一些实施例中，载体108包括控制器210。控制器210包括例如一个或多个控制器和/或处理器。在一些实施例中，控制器210从可移动物体102的处理器116接收指令。例如，控制器210经由控制总线112连接到处理器116。在一些实施例中，控制器210控制致动器204的移动，调节载体传感器206的一个或多个参数，从载体传感器206接收数据和/或向处理器116发送数据。
图2C示出了本公开实施例的在目标跟踪系统100中的示例性负载110。在一些实施例中，负载110包括负载感测系统212和控制器218。在一些实施例中，负载感测系统212包括成像设备214，诸如，照相机。在一些实施例中，负载感测系统212包括可移动物体感测系统122的一个或多个传感器，如以下图3所示。
负载感测系统212产生静态感测数据(例如，响应于接收到的指令而捕获的单个图像)和/或动态感测数据(例如，以周期性速率捕获的一系列图像，诸如视频)。成像设备214包括例如用于检测光(诸如可见光、红外光和/或紫外光)的图像传感器216。在一些实施例中，成像设备214包括一个或多个光学设备(例如，镜头)以将光聚焦到或以其他方式改变到图像传感器216上。
在一些实施例中，图像传感器216包括例如半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS，Live MOS)技术的有源像素传感器、或任何其他类型的传感器。图像传感器216和/或成像设备214捕获例如图像和/或图像流(例如，视频)。成像设备214的可调参数包括例如宽度、高度、长宽比、像素数、分辨率、质量、成像模式、焦距、景深、曝光时间、快门速度和/或镜头配置。在一些实施例中，成像设备214被配置成捕获高清或超高清视频(例如，720p、1080i、1080p、1440p、2000p、2160p、2540p、4000p、4320p等)。
在一些实施例中，负载110包括控制器218。控制器218包括例如一个或多个控制器和/或处理器。在一些实施例中，控制器218从可移动物体102的处理器116接收指令。例如，控制器218经由控制总线112连接到处理器116。在一些实施例中，控制器218调节负载感测系统212的一个或多个传感器的一个或多个参数；从负载感测系统212的一个或多个传感器接收数据；和/或将来自图像传感器216的诸如图像数据的数据传输到处理器116、存储器118和/或控制单元104。
在一些实施例中，例如由存储器118存储由负载传感器系统212的一个或多个传感器产生的数据。在一些实施例中，由负载传感器系统212产生的数据被传送到控制单元104(例如，经由通信系统120)。例如，视频从负载110(例如，成像设备214)流传播到控制单元104。这样，控制单元104显示例如从成像设备214接收的实时(或稍微延迟的)视频。
在一些实施例中，可移动物体102、载体108和/或负载110的方向、位置、姿态和/或一个或多个移动特性的调节至少部分基于可移动物体102、载体108和/或负载110的配置(例如，在系统配置400中预设和/或用户配置的)。例如，如果包括成像设备214的负载110刚性地连接到可移动物体102(并且因此相对于可移动物体102不可移动)，和/或经由不允许成像设备214和可移动物体102之间的相对移动的载体108将负载110连接到可移动物体102，则仅通过可移动物体围绕两个轴(例如，偏航和俯仰)的相应旋转来实现涉及围绕所述两个轴的旋转的调节。如果载体108允许成像设备214相对于可移动物体102围绕至少一个轴旋转，则通过例如对可移动物体102和载体108二者的组合调节来实现相同的双轴调节。在这种情况下，可以控制载体108以实现围绕所述调节所需的两个轴中的一个或两个轴的旋转，且可以控制可移动物体120以实现围绕所述两个轴中的一个或两个轴的旋转。例如，载体108包括例如单轴云台，其允许成像设备214围绕调节所需的两个轴之一旋转，同时由可移动物体102实现围绕另一轴的旋转。在一些实施例中，当载体108允许成像设备214相对于可移动物体102围绕两个或更多个轴旋转时，由载体108单独地实现相同的双轴调节。例如，载体108包括双轴或三轴云台。
图3示出了本公开实施例的可移动物体102的示例性感测系统122。在一些实施例中，可移动物体感测系统122的一个或多个传感器安装到可移动物体102的外部、位于其中或以其他方式与之相连接。在一些实施例中，可移动物体感测系统的一个或多个传感器是载体感测系统206和/或负载感测系统212的组件。可以理解，虽然本实施例将感测操作描述为由可移动物体感测系统122执行，可选地，所述操作也可以由载体感测系统206和/或负载感测系统212来执行。
可移动物体感测系统122产生静态感测数据(例如，响应于接收到的指令而捕获的单个图像)和/或动态感测数据(例如，以周期性速率捕获的一系列图像，诸如视频)。
在一些实施例中，可移动物体感测系统122包括诸如图像传感器308(例如，左立体图像传感器)和/或图像传感器310(例如，右立体图像传感器)的一个或多个图像传感器302。图像传感器302捕获例如图像、图像流(例如视频)、立体图像和/或立体图像流(例如，立体图像视频)。图像传感器302检测诸如可见光、红外光和/或紫外光的光。在一些实施例中，可移动物体感测系统122包括一个或多个光学设备(例如，镜头)以将光聚焦到或以其他方式改变到一个或多个图像传感器302上。在一些实施例中，图像传感器302包括例如半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS，Live MOS)技术的有源像素传感器、或任何其他类型的传感器。
在一些实施例中，可移动物体感测系统122包括一个或多个音频换能器304。例如，音频检测系统包括音频输出换能器312(例如，扬声器)和音频输入换能器314(例如，诸如抛物线麦克风的麦克风)。在一些实施例中，麦克风和扬声器被用作声纳系统的组件。在一些实施例中，例如通过检测目标物体的位置信息，将声纳系统用来跟踪目标物体。
在一些实施例中，可移动物体感测系统122包括一个或多个红外传感器306。在一些实施例中，距离测量系统包括一对红外传感器，例如红外传感器316(诸如，左红外传感器)和红外传感器318(诸如，右红外传感器)或另一传感器或传感器对。距离测量系统用于例如测量到目标106的距离。
在一些实施例中，产生深度图的系统包括可移动物体感测系统122的一个或多个传感器或传感器对(诸如，左立体图像传感器308和右立体图像传感器310；音频输出换能器312和音频输入换能器314；和/或左红外传感器316和右红外传感器318)。在一些实施例中，立体数据系统(例如，立体成像系统)中的一对传感器同时捕获来自不同位置的数据。在一些实施例中，深度图由立体数据系统通过使用同时捕获的数据来生成。在一些实施例中，深度图用于定位和/或检测操作，诸如检测目标物体106和/或检测目标物体106的当前位置信息。
在一些实施例中，可移动物体感测系统122包括一个或多个全球定位系统(6PS)传感器、运动传感器(例如，加速度计)、旋转传感器(例如，陀螺仪)、惯性传感器、接近传感器(例如，红外传感器)或天气传感器(例如，压力传感器、温度传感器、湿度传感器和/或风传感器)。
在一些实施例中，由可移动物体感测系统122的一个或多个传感器产生的感测数据和/或使用来自可移动物体感测系统122的一个或多个传感器的感测数据确定的信息被传输到控制单元104(例如，经由通信系统120)。在一些实施例中，存储器118存储由可移动物体感测系统122的一个或多个传感器产生的数据和/或使用来自可移动物体感测系统122的一个或多个传感器的感测数据确定的信息。
图4是示出了本公开实施例的存储器118的实现方式的框图。在一些实施例中，图4中示出的一个或多个元件位于控制单元104、计算设备126和/或另一设备中。
在一些实施例中，存储器118存储系统配置400。系统配置400包括一个或多个系统设置(例如，如由制造商、管理员和/或用户配置的)。例如，将对可移动物体102、载体108和/或负载110的方向、位置、姿态和/或一个或多个移动特性中的一个或多个的约束存储为系统配置400的系统设置。
在一些实施例中，存储器118存储运动控制模块402。运动控制模块存储例如控制指令，诸如从控制模块104和/或计算设备126接收的控制指令。控制指令用于例如控制移动结构114、载体108和/或负载110的操作。
在一些实施例中，存储器118存储跟踪模块404。在一些实施例中，跟踪模块404针对正在被可移动物体102跟踪的目标106生成跟踪信息。在一些实施例中，基于由成像设备214捕获的和/或从图像分析模块406输出的图像(例如，在对一个或多个图像执行预处理和/或处理操作之后)，生成跟踪信息。备选地或组合地，基于对人类目标的手势的分析来生成跟踪信息。由成像设备214捕获和/或由手势分析模块403分析所述手势。跟踪模块404生成的跟踪信息包括例如一个或多个图像内的目标106的位置、大小或其他特性。在一些实施例中，由跟踪模块404生成的跟踪信息被发送到控制单元104和/或计算设备126(例如，扩大或以其他方式与来自图像分析模块406的图像和/或输出相组合)。例如，响应于来自控制单元104的请求和/或周期性地，将跟踪信息发送到控制单元104。
在一些实施例中，存储器118包括图像分析模块406。图像分析模块406对诸如由成像设备214捕获的图像执行处理操作。在一些实施例中，图像分析模块对原始图像数据执行预处理(诸如重新采样)以确保图像坐标系统的正确性、降噪、对比度增强和/或尺度空间表示。在一些实施例中，对图像数据(包括已被预处理的图像数据)执行的处理操作包括特征提取、图像分割、数据验证、图像识别、图像注册和/或图像匹配。在一些实施例中，在对一个或多个图像执行了预处理和/或处理操作之后，将来自图像分析模块406的输出传输到控制单元104。在一些实施例中，由控制单元104、可移动物体102的处理器116和/或计算设备126执行特征提取。在一些实施例中，图像分析模块406可以使用神经网络来对图像中包括的物体执行图像识别和/或分类。例如，通过将从该图像包括的目标106提取的特征与一个或多个预定的可识别的目标物体类型的特征进行比较，图像分析模块406可以将目标106识别为某个预定的可识别目标物体类型，例如，人类。
在一些实施例中，存储器118包括手势分析模块403。手势分析模块403对一个或多个人类目标的手势执行处理操作。可以由成像设备214捕获手势。手势分析结果可以被馈送到跟踪模块404和/或运动控制模块402，以用于分别生成跟踪信息和/或用于控制可移动物体102的移动结构114、载体108和/或负载110的操作的控制指令。在一些实施例中，可以在使用人类目标的手势来控制可移动物体102之前执行校准处理。例如，在校准期间，手势分析模块403捕获与某个控制命令相关联的人类手势的某些特征，并将该手势特征存储在存储器118中。当接收到人的手势时，手势分析模块403可以提取人的手势的特征并与所存储的特征进行比较以确定用户是否执行某个命令。与某个人类目标相关的手势和控制命令之间的相关性与和另一个人类目标相关的这种相关性可以是不同的，或也可以是相同的。
在一些实施例中，存储器118包括空间关系确定模块405。空间关系确定模块405计算目标106与可移动物体102之间的一个或多个空间关系。在一些实施例中，目标106与可移动物体102之间的空间关系包括目标106与可移动物体102之间的水平距离和/或目标106与可移动物体102之间的俯仰角。
在一些实施例中，存储器118存储目标信息408。在一些实施例中，可移动物体102(例如经由通信系统120)从控制单元104、计算设备126、目标106和/或另一可移动物体102接收目标信息408。
在一些实施例中，目标信息408包括对目标106将被跟踪的时间段加以指示的时间值和/或到期时间。在一些实施例中，目标信息408包括指示目标信息条目是否包括特定目标信息412和/或目标类型信息410的标志。
在一些实施例中，目标信息408包括诸如颜色、纹理、图案、大小、形状和/或尺寸的目标类型信息410。在一些实施例中，目标类型信息包括但不限于由图像分析模块406识别的预定可识别物体类型和一般物体类型。在一些实施例中，目标类型信息410包括针对每种类型的目标的特点或特征，并被预设和存储在存储器118中。在一些实施例中，例如由用户向用户输入设备(诸如，控制单元104的用户输入设备)提供目标类型信息410。在一些实施例中，用户可以选择预先存在的目标模式或类型(例如，黑色物体或半径大于或小于特定值的圆形物体)。
在一些实施例中，目标信息408包括针对被跟踪的特定目标106的跟踪目标信息412。可以由图像分析模块406通过分析捕获图像中的目标来识别目标信息408。跟踪目标信息412包括例如目标106的图像、目标106的初始位置(例如，位置坐标，诸如图像内的像素坐标)和/或在一个或多个图像(例如，由负载110的成像设备214捕获的图像)内的目标106的尺寸。目标106的尺寸被存储为例如长度(例如，mm或其他长度单位)、面积(例如，mm2或其它面积单位)、一行中的像素的数量(例如，用以指示长度、宽度和/或直径)、目标在图像中的表示的长度相对于总图像长度的比值(例如，百分比)、目标在图像中的表示的面积相对于总图像面积的比值(例如，百分比)、用以指示目标106的面积的像素的数目和/或目标106与可移动目标102之间的对应空间关系(例如，垂直距离和/或水平距离)(例如，目标106的面积基于目标106距可移动物体102的距离而改变)。
在一些实施例中，目标106的一个或多个特点(例如，特征)是根据目标106的图像而确定的(例如，对由成像设备112捕获的图像使用图像分析技术)。例如，目标106的一个或多个特征是根据目标106的识别边界的方向和/或其一部分或全部来确定的。在一些实施例中，跟踪目标信息412包括像素坐标和/或像素计数用以指示例如目标106的尺寸参数、位置和/或形状。在一些实施例中，将随着可移动物体102跟踪目标106而保持跟踪目标信息412的一个或多个特征(例如，当成像设备214捕获目标106的图像时保持跟踪目标信息412)。跟踪目标信息412用于例如调节可移动物体102、载体108和/或成像设备214，例如使得基本上保持目标106的指定特征。在一些实施例中，跟踪目标信息412是基于目标类型410中的一个或多个来确定的。
在一些实施例中，存储器118还包括预定可识别目标类型信息414。预定可识别目标类型信息414指定某个预定的可识别目标类型(例如，类型1、类型2...类型n)的一个或多个特征。每个预定的可识别目标类型可以包括一个或多个特征，诸如尺寸参数(例如，面积、直径、高度、长度和/或宽度)、位置(例如，相对于图像中心和/或图像边界)、移动(例如，速度、加速度、高度)和/或形状。在一个示例中，类型1可以是人类目标。与人类目标相关联的一个或多个特征可以包括：从约1.5米至约2米的范围内的高度；包括人类头部、人类躯干和人类肢体的图案；和/或在从约2公里/小时至约25公里/小时的范围内的移动速度。在另一示例中，类型2可以是汽车目标。与汽车目标相关的一个或多个特征可以包括：从约1.4米至约4.5米的范围内的高度；从约3米至约10米的范围内的长度；从5公里/小时到约140公里/小时的移动速度；和/或轿车、SUV、卡车或公共汽车的图案。在另一示例中，类型3可以是轮船目标。其他类型的预定的可识别目标物体还可以包括飞机目标、动物目标等。每种类型可以进一步包括一种或多种子类型，其针对每种子类型包括更具体的特征。每个子类型的特征可以提供更准确的目标分类结果。
在一些实施例中，基于用户输入(诸如，在控制单元104的用户输入设备506(如图5所示)处接收到的输入)来生成目标信息408(包括例如目标类型信息410和针对被跟踪的目标的信息412)和/或预定可识别目标类型信息414。附加地或备选地，基于来自除了控制单元104之外的源的数据来生成目标信息。例如，目标类型信息410可以基于存储的目标106的先前图像(例如，由成像设备214捕获并由存储器118存储的图像)、由存储器118存储的其他数据和/或来自远离控制单元104和/或可移动物体102的数据存储装置的数据。在一些实施例中，使用目标106的计算机生成图像来生成目标类型信息410。
在一些实施例中，可移动物体102将目标信息408用来跟踪目标106。例如，由跟踪模块404使用目标信息408。在一些实施例中，目标信息408被图像分析模块406用来识别和/或分类目标106。在一些情况下，目标识别涉及基于例如CAD类物体模型、基于外观的方法、基于特征的方法和/或遗传算法进行图像识别和/或匹配算法。在一些实施例中，目标识别包括将两个或更多个图像进行比较，以确定、提取和/或匹配其中包含的特征。
上述标识模块或程序(即，指令集)不需要作为单独的软件程序、过程或模块来实现，因此可以在各种实施例中组合或重新排列这些模块的各种子集。在一些实施例中，存储器118可以存储以上描述的模块和数据结构的子集。此外，存储器118可以存储以上没有描述的附加模块和数据结构。在一些实施例中，存储在存储器118或存储器118的非暂时性计算机可读存储介质中的程序、模块和数据结构提供用于实现下面描述的方法中的各个操作的指令。在一些实施例中，这些模块中的一些或全部可以实现为包含部分或全部模块功能的专用硬件电路。可以由可移动物体102的一个或多个处理器116执行一个或多个上述标识元件。在一些实施例中，由远离可移动物体102的设备的一个或多个处理器(诸如，控制单元104和/或计算设备126)执行一个或多个上述标识元件。
图5示出了本公开实施例的目标跟踪系统100的示例控制单元104。在一些实施例中，控制单元104经由通信系统120与可移动物体102通信，例如以向可移动物体102提供控制指令。尽管控制单元104通常是便携式(例如，手持式)设备，但是控制单元104不需要是便携式的。在一些实施例中，控制单元104是专用控制设备(例如，专用于可移动物体102的操作)、膝上型计算机、台式计算机、平板计算机、游戏系统、可穿戴设备(例如，手表、手套和/或头盔)、麦克风和/或其组合。
控制单元104通常包括一个或多个处理单元502、通信系统510(例如，包括一个或多个网络或其他通信接口)、存储器504、一个或多个输入/输出(I/O)接口(例如，显示器506和/或输入设备508)以及用于将这些组件互连的一个或多个通信总线512。
在一些实施例中，触摸屏显示器包括显示器508和输入设备506。触摸屏显示器可选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，但是在其他实施例中也可以使用其他显示技术。触摸屏显示器和处理器502可选地使用现在已知的或将来研发的多种触敏技术中的任何一种来检测接触及其任何移动或中断，所述触敏技术包括但不限于电容式、电阻式、红外和表面声波技术，以及其它接近传感器阵列或用于确定与触摸屏显示器的一个或多个接触点的其它元件。
在一些实施例中，输入设备506包括例如一个或多个操纵杆、开关、旋钮、滑动开关、按钮、拨号盘、键区、键盘、鼠标、音频换能器(例如，用于语音控制系统的麦克风)、运动传感器和/或手势控制。在一些实施例中，控制单元104的I/O接口包括传感器(例如，GPS传感器和/或加速度计)、音频输出换能器(例如，扬声器)和/或一个或多个用于生成触觉输出的触觉输出生成器。
在一些实施例中，输入设备506接收用户输入以控制可移动物体102、载体108、负载110或其组件的各方面。这些方面包括例如姿态、位置、方向、速度、加速度、导航和/或跟踪。例如，输入设备506由用户手动设置到一个或多个位置，其中每个位置对应于用于控制可移动物体102的预定输入。在一些实施例中，输入设备506由用户操纵以输入用于控制可移动物体102的导航的控制指令。在一些实施例中，输入设备506用于输入针对可移动物体102的飞行模式，例如，自动驾驶或根据预定导航路径的导航。
在一些实施例中，输入设备506用于输入针对可移动物体102的目标跟踪模式，诸如，手动跟踪模式或自动跟踪模式。在一些实施例中，用户通过改变控制单元104的位置(例如，通过倾斜或以其他方式移动控制单元104)来控制可移动物体102(例如，可移动物体102的位置、姿态和/或方向)。例如，通过例如一个或多个惯性传感器来检测控制单元104的位置改变，并将所述一个或多个惯性传感器的输出用于生成命令数据。在一些实施例中，输入设备506用于调节负载的操作参数，诸如，负载感测系统212的参数(例如，以调节成像设备214的变焦参数)和/或负载110相对于载体108和/或可移动物体102的位置。
在一些实施例中，输入设备506用于指示关于目标106的信息，例如，以选择跟踪的目标106和/或指示目标类型信息412。在一些实施例中，输入设备506用于与增强型图像数据进行交互。例如，由显示器508显示的图像包括一个或多个目标106的表示。在一些实施例中，增强一个或多个目标106的表示，以指示用于潜在跟踪的识别物体和/或当前正被跟踪的目标106。增强包括例如与相应目标106相邻或围绕相应目标106的图形跟踪指示符(例如，方框)。在一些实施例中，输入设备506用于选择要跟踪的目标106或将正被跟踪的目标106改变为不同目标以便跟踪。在一些实施例中，当通过例如手指、触控笔、鼠标、操纵杆或输入设备506的其他部件选择与目标106的表示相对应的区域时，选择目标106。在一些实施例中，当用户选择要跟踪的目标106时，生成特定目标信息412。
控制单元104还可以配置为允许用户使用任何合适的方法来输入目标信息。在一些实施例中，输入设备506接收对来自显示器508所显示的一个或多个图像(例如，视频或快照)的目标106的选择。例如，输入设备506接收输入，所述输入包括由围绕图像中的目标106的手势和/或在与目标106相对应的位置处的接触执行的选择。在一些实施例中，使用计算机视觉或其他技术来确定目标106的边界。在一些实施例中，在输入设备506处接收到的输入确定目标106的边界。在一些实施例中，同时选择多个目标。在一些实施例中，选定的目标显示有选择指示符(例如，边界框)，以指示该目标被选择用于跟踪。在一些其他实施例中，输入设备506接收对与目标106相关联的信息(例如，颜色、纹理、形状、尺寸和/或其他特性)加以指示的输入。例如，输入设备506包括用于接收指示目标信息408的输入的键盘。
在一些实施例中，控制单元104提供使得用户能够在手动跟踪模式和自动跟踪模式之间进行选择(例如，使用输入设备506)的界面。当选择手动跟踪模式时，所述界面使用户能够选择要跟踪的目标106。例如，用户能够从控制单元104的显示器508所显示的图像中手动选择目标106的表示。将与所选目标106相关联的特定目标信息412发送给可移动目标102，例如可作为初始的预期目标信息。
在一些实施例中，当选择自动跟踪模式时，用户不提供选择要跟踪的目标106的输入。在一些实施例中，输入设备506接收来自用户输入的目标类型信息410。在一些实施例中，可移动物体102使用目标类型信息410，例如，以自动识别待跟踪的目标106和/或跟踪所识别的目标106。
通常，手动跟踪需要较多的用户对目标的跟踪的控制，且较少的可移动物体102的处理器116的自动化处理或计算(例如，图像或目标识别)，而自动跟踪需要较少的对跟踪过程的用户控制，且较多的可移动物体102的处理器116(例如，通过图像分析模块406)执行的计算。在一些实施例中，例如可根据诸如可移动物体102的周围环境、可移动物体102的移动、可移动物体102的高度、系统配置400(例如，用户偏好)和/或可移动物体102、控制单元104和/或计算设备126的可用计算资源(例如，CPU或存储器)等因素，来调节对用户与机载处理系统之间的跟踪过程的控制的分配。例如，相较于当可移动物体在比较简单的环境中(例如，宽敞的空间或室外)航行时，当可移动物体在相对复杂的环境中(例如，具有多个建筑物或障碍物或室内)航行时，向用户分配相对更多的控制。在另一种实施例中，相较于当可移动物体102处于较高高度时，当可移动物体102处于较低高度时，向用户分配相对更多的控制。在进一步的实施例中，如果可移动物体配备有适于相对快速地执行复杂计算的高速处理器，则向可移动物体102分配更多的控制。在一些实施例中，基于上述的一个或多个因素，可动态地调节对用户和可移动物体102之间的跟踪过程的控制的分配。
在一些实施例中，控制单元104包括电子设备(例如，便携式电子设备)和输入设备506，输入设备是通信连接(例如，经由无线和/或有线连接)和/或机械连接到所述电子设备的外围设备。例如，控制单元104包括便携式电子设备(例如，智能电话)和连接到所述便携式电子设备的遥控设备(例如，具有操纵杆的标准遥控器)。在所述实施例中，由智能电话控制的应用程序基于在遥控设备处接收到的输入来生成控制指令。
在一些实施例中，显示设备508显示关于可移动物体102、载体108和/或负载110的信息，诸如，可移动物体102的位置、姿态、方向、移动特性和/或可移动物体102与另一物体(例如，目标106和/或障碍物)之间的距离。在一些实施例中，由显示设备508显示的信息包括由成像设备214捕获的图像、跟踪数据(例如，应用于目标106的表示的图形跟踪指示符，诸如目标106周围的框或其他形状，被示为指示当前正在跟踪目标106)和/或传送到可移动物体102的控制数据的指示。在一些实施例中，当从可移动物体102接收图像数据和跟踪信息时和/或当获取图像数据时，基本上实时显示包括目标106的表示和图形跟踪指示符的图像。
通信系统510支持经由有线或无线通信连接与可移动物体102的通信系统120、计算设备126的通信系统610和/或基站(例如，计算设备126)进行通信。在一些实施例中，通信系统510发送控制指令(例如，航行控制指令、目标信息和/或跟踪指令)。在一些实施例中，通信系统510接收数据(例如，来自负载成像设备214的跟踪数据和/或来自可移动物体感测系统122的数据)。在一些实施例中，控制单元104从可移动物体102接收跟踪数据(例如，经由无线通信124)。当正跟踪目标时，控制单元104将跟踪数据用于例如显示目标106。在一些实施例中，由控制单元104接收的数据包括原始数据(例如，由一个或多个传感器获取的原始感测数据)和/或经处理的数据(例如，由例如跟踪模块404处理的原始数据)。
在一些实施例中，存储器504存储用于自动生成控制指令的指令，和/或基于经由输入设备506接收的输入而生成控制指令的指令。控制指令包括例如用于操作可移动物体102的移动结构114(例如，诸如通过向致动器132提供控制指令来调节可移动物体102的位置、姿态、方向和/或移动特性)的控制指令。在一些实施例中，控制指令以多达六个自由度来调节可移动物体102的移动。在一些实施例中，生成控制指令以初始化和/或维持对目标106的跟踪(例如，如图7进一步所示)。在一些实施例中，控制指令包括用于调节载体108的指令(例如，用于调节载体108的载体感测系统206的阻尼元件208、致动器204和/或一个或多个传感器的指令)。在一些实施例中，控制指令包括用于调节负载110的指令(例如，用于调节有效感测系统212的一个或多个传感器的指令)。在一些实施例中，控制指令包括用于调节可移动物体感测系统122的一个或多个传感器的操作的控制指令。
在一些实施例中，存储器504还存储用于执行与如图4所示的相应功能类似的图像识别、目标分类、空间关系确定和/或手势分析的指令。存储器还可以存储目标信息，诸如，如图4所示的跟踪目标信息和/或预定的可识别目标类型信息。
在一些实施例中，输入设备506接收用户输入以控制可移动物体102的一个方面(例如，成像设备214的变焦)，同时控制应用程序产生用于调节可移动物体102的另一方面的控制指令(例如，控制可移动物体102的一个或多个移动特性)。控制应用程序包括例如控制模块402、跟踪模块404和/或控制单元104和/或计算设备126的控制应用程序。例如，当控制应用程序生成用于调节成像设备214的参数的控制指令时，输入设备506接收用户输入以控制可移动物体102的一个或多个移动特性。这样，用户能够专注于控制可移动物体的航行，而不必提供用于跟踪目标的输入(例如，由控制应用程序自动执行跟踪)。
在一些实施例中，在输入设备506处接收的用户输入和控制应用程序之间对跟踪控制的分配根据诸如可移动物体102的周围环境、可移动物体102的移动、可移动物体102的高度、系统配置(例如，用户偏好)和/或可移动物体102、控制单元104和/或计算设备126的可用计算资源(例如，CPU或存储器)等因素而改变。例如，相较于当可移动物体在比较简单的环境中(例如，宽敞的空间或室外)航行时，当可移动物体在相对复杂的环境中(例如，具有多个建筑物或障碍物或室内)航行时，向用户分配相对更多的控制。在另一种实施例中，相较于当可移动物体102处于较高高度时，当可移动物体102处于较低高度时，向用户分配更多的控制。在进一步的实施例中，如果可移动物体102配备有适于相对快速地执行复杂计算的高速处理器，则向可移动物体102分配更多的控制。在一些实施例中，基于上述的一个或多个因素，可动态地调节对用户和可移动物体之间的跟踪过程的控制的分配。
图6示出了根据实施例的用于控制可移动物体102的示例性计算设备126。计算设备126是诸如服务器计算机、膝上型计算机、台式计算机、平板电脑或电话。计算设备126通常包括一个或多个处理单元602、存储器604、通信系统610以及用于将这些组件互连的一个或多个通信总线612。在一些实施例中，计算设备126包括输入/输出(I/O)接口606，例如，显示器614和/或输入设备616。
在一些实施例中，计算设备126是与可移动物体102和/或控制单元104进行通信(例如，无线地)的基站。
在一些实施例中，计算设备126提供数据存储、数据获取和/或数据处理操作，例如以降低可移动物体102和/或控制单元104的处理能力要求和/或数据存储要求。例如，计算设备126可通信地连接到数据库(例如，经由通信系统610)，和/或包括有数据库的计算设备126(例如，数据库连接到通信总线612)。
通信系统610包括一个或多个网络或其他通信接口。在一些实施例中，计算设备126从可移动物体102(例如，从可移动物体感测系统122的一个或多个传感器)和/或控制单元104接收数据。在一些实施例中，计算设备126将数据传输到可移动物体102和/或控制单元104。例如，计算设备向可移动物体102提供控制指令。
在一些实施例中，存储器604存储用于执行如图4所示的相应功能类似的图像识别、目标分类、空间关系确定和/或手势分析的指令。存储器604还可以存储目标信息，诸如，如图4所示的跟踪目标信息和/或预定的可识别目标类型信息。
图7是示出了本公开实施例的用于执行初始化以便目标跟踪的方法700的流程图。所述方法700在设备或包括一个或多个设备的系统(例如可移动物体102、控制单元104和/或计算设备126)处执行。
系统获得(702)由可移动物体102承载的成像设备214捕获的图像帧。在一些实施例中，成像设备214捕获图像，且当用户在设备(例如，显示器508和/或显示器616)上观看捕获图像时，用户可以识别目标106。例如，用户可以轻触、圈选、点击或使用任何其他合适的交互方法(例如，使用手势)来指示用户对包含在图像帧中的目标106感兴趣。可以从输入设备506和/或输入设备614接收用户输入。在一些实施例中，图像帧中可以包含多于一个的目标106。在一些实施例中，目标106显示有选择指示符(例如，边界框)，以指示用户选择了该目标。
在一些实施例中，用户可以首先提供一些目标信息，例如，目标106的位置信息。可以使用如本文讨论的任何输入设备来提供这种目标信息。运动控制模块402可以基于提供的目标信息，手动地或自动地调节可移动物体102和/或载体108，以将成像设备214指向目标106的方向。在一些实施例中，可移动物体感测系统122的一个或多个传感器可以独立地或与成像设备214相结合地使用，以识别目标106。然后，成像设备214可以捕获包含目标106的图像。当用户观看显示在设备上的图像时，用户还可以在捕获图像中识别/确认目标106，如本文其他地方所述。
系统执行(704)目标分类。在一些实施例中，系统提取捕获图像中的目标106的一个或多个特征。在一些实施例中，图像分析模块(例如，图像分析模块406和/或存储器504和/或存储器604处的类似图像分析模块)可以基于所提取的特征，识别诸如目标类型410和/或跟踪目标信息412的目标信息408。在一些实施例中，可以从可移动物体102的存储器118、控制单元104的存储器504和/或计算设备126的存储器604获得目标信息408。
在一些实施例中，图像分析模块(诸如，图像分析模块406和/或存储器504和/或存储器604处的类似图像分析模块)基于提取的目标信息408，执行图像识别或识别技术以识别目标106。在一些实施例中，系统可以识别目标106的类型(例如，或类别)。例如，目标106可以被识别为移动物体或静止物体。目标106可以被识别为人类、动物、汽车、船舶或任何其它合适的物体类型。在一些实施例中，图像分析模块可以使用神经网络来对图像中包括的物体执行图像识别和/或分类。在一些实施例中，系统自动执行目标分类。在一些实施例中，可以由用户手动执行目标分类的一个或多个步骤。在一个示例中，用户可以使用输入设备来指示目标106的类型。在另一示例中，该系统可以向用户呈现经由图像分析识别的多于一个的目标类型候选，且用户可以选择与目标106相关联的某种类型。
系统确定(706)目标106是否是预先存储的预定可识别目标(例如，PRT)类型。例如，一个或多个预定可识别目标类型和相应特征被存储在可移动物体102的存储器118、控制单元104的存储器504和/或计算设备126的存储器604中，如本文其他地方所讨论的。在一些实施例中，图像分析模块(诸如，图像分析模块406和/或存储器504和/或存储器604处的类似图像分析模块)将提取的特征与和预定每个类型的预定可识别目标类型信息414相关联的一个或多个特征进行比较。可以向目标106的一个或多个特征与某个预定可识别目标类型的一个或多个特征之间的比较结果分配匹配分数。可以基于最高的匹配分数，将目标106识别为某个预定可识别目标类型，例如，人类目标。在一个示例中，目标106的图案(或形状)、高度和/或速度可以被确定为类似于存储在预定可识别目标类型信息414处的人类目标类型的人类图案、在其高度范围内以及在其速度范围内。因此，目标106被确定为作为预定可识别目标类型的人类目标。
当系统确定目标106是某个预定可识别目标类型时，系统确定(708)目标106的尺寸是否满足用于跟踪与预定可识别目标类型相关联的目标的要求。例如，该系统将目标106的尺寸与第一预定阈值进行比较。当目标106的尺寸小于第一预定阈值时，该系统可能无法获得准确或足够的目标信息以准确地执行自动目标跟踪。在一些实施例中，当目标106的尺寸大于第二预定阈值(其大于第一预定阈值)时，系统可能由于目标尺寸较大，而无法获得准确的目标信息以准确地执行自动目标跟踪。在一些实施例中，系统确定目标106的长度、高度、宽度、厚度、直径、面积和/或任何其他合适的尺寸因素。在一些实施例中，系统使用如图4所示的像素信息来确定目标106的尺寸。在一些实施例中，预定阈值可以是捕获图像上的预定最小数量的像素。在一些实施例中，针对在步骤706中识别的不同类型的目标，预定阈值可以是不同的或也可以是相同的。
当系统确定捕获图像中的目标106的尺寸适合于自动目标跟踪时，系统进入模式710以初始化与识别的预定可识别目标(PRT)类型相关联的目标跟踪(例如，使用PRT模式710)。例如，在针对目标跟踪的初始化过程和/或目标跟踪过程期间，使用与识别的预定可识别目标类型相关联的一个或多个特征。
在一些备选实施例中，步骤708在方法700中是可选性的。例如，当系统确定(706)目标106是某个预定可识别目标类型时，该系统进入PRT模式710。系统初始化与识别的预定可识别目标类型相关联的目标跟踪特征。例如，该系统使用与在目标跟踪的初始化过程和/或目标跟踪过程中识别的预定可识别目标类型相关联的一个或多个特征(例如，预定可识别目标类型信息414的目标大小和/或目标速度)。
在PRT模式710中，系统确定(712)目标106和可移动物体102之间的空间关系。在一些实施例中，使用所识别的预定可识别目标类型的一个或多个特征来确定空间关系。例如，当目标106被识别为人类目标时，系统基于预定可识别目标类型信息414将目标与平均高度为1.7米的人相关联。然后，基于捕获图像沿着约1.7米高的人类目标的高度维度上的像素数量，系统知道每个像素对应的真实世界大小。该信息可以用于计算和/或验证目标106和可移动物体102之间的空间关系。在一些实施例中，空间关系包括目标106与可移动物体102之间的水平距离。在一些实施例中，空间关系包括俯仰角，以指示目标106与可移动物体102之间的相对位置关系。可以使用用于携带成像设备214的可移动物体102承载的云台的俯仰角和显示在捕获图像上的目标106的目标俯仰角，来确定俯仰角。在一些实施例中，空间关系还可以包括可移动物体102的高度。
系统确定(714)目标106和可移动物体102之间的空间关系是否适合于目标跟踪。
在一个示例中，当可移动物体102太高(例如高于约50米)时，系统可能无法获得地面上的目标106的足够的像素信息。但是当可移动物体102太低(例如低于2米)时，可能存在安全问题。因此该系统可以维持用于目标跟踪的合适高度范围。在一些实施例中，基于可移动物体102的高度来确定合适的水平距离范围。在一些实施例中，可移动物体越高，合适的水平距离范围越宽。例如，当可移动物体102的高度约为3米时，允许的水平距离范围从约3米到约10米。当可移动物体102的高度约为20米时，允许的水平距离范围从约0米到约30米。
在另一示例中，当俯仰角小于预定阈值(例如，大约-40°)时，可移动物体102可能无法获得捕获图像中的目标的足够特征，因此目标信息可能对于目标跟踪是不准确的。为了避免这种情况，该系统可以维持俯仰角的阈值。在步骤714，可以独立地或组合地确定一个或多个空间关系因素(例如，水平距离、俯仰角、高度等)以确定空间关系是否充足。
在另一示例中，当目标106和可移动目标102之间的水平距离太大时，系统可能无法获得目标106的足够的像素信息以用于目标跟踪。为了安全考虑，水平距离也不应太小。因此，系统可以维持合适的水平距离范围(例如，安全距离范围或允许的水平距离范围)。
当确定一个或多个空间关系因素适合于目标跟踪时，该系统允许(716)用户确认在PRT模式下初始化自动目标跟踪。在一些实施例中，系统在显示设备(诸如控制单元104的显示器508和/或计算设备126的显示设备616)上发送通知。显示设备的用户可以通过经由显示设备616确认是否进入自动目标跟踪模式来响应该通知，其中显示设备生成响应并将响应返回给系统。例如，用户可以通过轻触触摸屏、点击鼠标或者使用任何其他合适的交互用户输入方法来生成响应，以确认初始化自动目标跟踪。
一旦接收到所述响应，系统确定(718)用户是否确认开始自动目标跟踪。当系统接收到用户的确认以开始自动目标跟踪时，系统终止(720)针对自动目标跟踪的初始化过程。系统继续进行以在PRT模式下自动跟踪作为预定的可识别目标类型的目标106。
当系统没有接收到用于开始自动目标跟踪的用户确认时，系统细化(722)控制增益，以保持跟踪目标106并由成像设备214捕获一个或多个后续图像。在一些实施例中，系统(位于可移动物体102、控制单元104和/或计算设备126的运动控制模块和/或跟踪模块)基于所确定的目标106和可移动物体102之间的空间关系(例如，水平距离和/或俯仰角)，调整可移动物体102和/或载体108的一个或多个控制参数。在一些实施例中，可以基于与所识别的预定可识别目标类型相关联的一个或多个特征来调节一个或多个控制参数。例如，当目标106被确定为人类目标时，可以将可移动目标102的速度调节为与人类目标的移动速度同步。
在一些实施例中，调节一个或多个控制参数包括调节可移动物体102、载体108和/或负载110的方向、位置、姿态和/或一个或多个移动特性。在一些实施例中，生成指令以基本上改变成像设备214和/或可移动物体感测系统122的一个或多个传感器的控制参数，例如，改变与成像设备214相关联的变焦、聚焦或其他特性。在一些实施例中，使用来自图像数据的信息以及由可移动物体感测系统122的一个或多个传感器(例如，接近传感器和/或GPS传感器)获取的感测数据和/或由目标106发射的位置信息(例如，GPS位置)，生成用于细化控制增益的指令。
在一些实施例中，系统通过调节成像设备214的变焦水平(假设成像设备支持所需的变焦水平)，通过调节可移动物体102的一个或多个移动特性，或通过调节成像设备214的变焦水平以及调节可移动物体102的一个或多个移动特性的组合，来细化控制增益。在一些实施例中，控制应用程序(例如控制模块402、跟踪模块404和/或控制单元104和/或计算设备126的控制应用程序)确定一个或多个调节。例如，如果成像设备214不支持实质上跟踪目标106所需的变焦水平，则代替调节成像设备214的变焦水平或除了调节成像设备的变焦水平之外，还调节可移动物体102的一个或多个移动特性。
在一些实施例中，对可移动物体102、载体108和/或负载110的方向、位置、姿态、一个或多个移动特征和/或其他操作参数的调节受到由系统配置400(例如，由制造商、管理员或用户配置的)、由控制单元104(例如，在控制单元104处接收的用户控制输入)和/或由计算设备126施加的一个或多个约束。约束的示例包括针对沿着一个或多个轴的旋转角度、角速度和/或线速度的极限(例如，最大和/或最小极限)。例如，可移动物体102、载体108和/或负载110围绕轴的角速度受例如可移动物体102、载体108和/或负载110所允许的最大角速度的约束。在一些实施例中，可移动物体102、载体108和/或负载110的线速度受例如可移动物体102、载体108和/或负载110所允许的最大线速度的约束。在一些实施例中，成像设备214的焦距的调节受成像设备214的最大焦距和/或最小焦距的约束。
当一个或多个空间关系因素(例如，水平距离、俯仰角、高度等)被确定为不适合用于目标跟踪时，系统不开始自动目标跟踪。在一些实施例中，所述系统发送(724)警告指示符。警告指示符包括文本、音频(例如，警笛或嘟嘟声)、图像或其他视觉指示符(例如，改变的用户界面背景颜色和/或闪光灯)和/或触觉反馈。在例如可移动物体102、控制单元104和/或计算设备126处提供警告指示符。例如，警告指示符包括向用户显示“目标太近”或“目标太远”的文本框。
在系统细化(722)控制增益之后或在系统发送(724)警告指示符之后，系统使用成像设备214获得(760)包含目标的下一图像。在一些实施例中，下一图像是在特定时间段(例如，0.01秒、0.1秒、0.2秒、0.5秒或1秒)之后捕获的图像。在一些实施例中，下一图像是视频的下一图像帧，例如，紧接的下一图像帧，或者在一定数量的帧之后的图像帧。在一些实施例中，下一个图像包含与先前图像中的目标106相同的目标。在一些实施例中，下一图像包含与先前图像中包含的目标不同的目标。
然后，系统确定(762)当前图像中的目标106是否是预定可识别目标类型。在一些实施例中，目标106被确定为与之前识别的可识别目标类型相同。在一些实施例中，由于在当前图像中捕获的不同目标信息，可以将目标106确定为不同的预定可识别目标类型。因为可移动物体102的位置和/或成像设备214的镜头配置可以从上一图像改变，所以系统继续进行以确定(708)目标106的尺寸并计算(712)目标106和可移动物体102之间的空间关系。在一些实施例中，当方法700中不包括步骤708时，系统继续进行以进入PRT模式710，从而计算(712)目标106和可移动物体102之间的空间关系712。
在一些实施例中，当前图像中的目标106的特征可以与预定可识别目标类型信息414的任何特征不匹配，则系统将目标106与一般目标类型相关联。系统退出PRT模式710并进入GT模式740，如下所述。
在一些实施例中，在步骤706或762，当目标106未被确定为任何预定可识别目标类型(例如，被确定为不匹配任何预定可识别目标类型)时，系统进入用于初始化与一般目标(GT)类型相关联的目标跟踪的模式(740)(例如GT模式740)。在一些实施例中，当方法700包括步骤708时，在步骤708，当系统确定捕获图像中的目标106的尺寸不适于初始化针对预定可识别目标的自动目标跟踪时，系统也进入GT模式740。
在GT模式740中，系统确定(742)目标106和可移动物体102之间的空间关系。在一些实施例中，空间关系包括一个或多个因素，例如，目标106与可移动物体102之间的水平距离、可移动物体102的高度以及俯仰角。在一些实施例中，使用三角测量方法来确定目标106与可移动物体102之间的水平距离。例如，可以使用可移动物体102的高度以及可移动物体102和目标106之间的俯仰角来计算水平距离。可以使用可移动物体102、载体108和/或负载110的俯仰移动来确定俯仰角。在一些实施例中，系统基于可移动物体102的高度来确定安全距离范围。例如，当可移动物体102的高度约为3米时，允许的水平距离范围从约3米到约10米。当可移动物体102的高度约为20米时，允许的水平距离范围从约0米到约30米。
系统确定(744)水平距离是否在确定的安全距离范围内。当确定一个或多个空间关系因素适合于目标跟踪时，该系统允许(746)用户确认在GT模式下初始化自动目标跟踪。在一些实施例中，系统在显示设备(诸如控制单元104的显示器508和/或计算设备126的显示设备616)上发送通知。然后，用户以与PRT模式中所述类似的方式进行响应。例如，用户可以轻触触摸屏、点击鼠标或者使用任何其他合适的交互用户输入方法，以确认初始化自动目标跟踪。
一旦接收到所述响应，系统确定(748)用户是否确认开始自动目标跟踪。当系统接收到用户的确认以开始自动目标跟踪时，系统终止(750)针对目标跟踪的初始化过程。系统继续进行到在GT模式下自动跟踪作为一般目标类型的目标106。
当系统没有接收到用于开始自动目标跟踪的用户确认时，系统细化(752)控制增益，以保持跟踪目标106并由成像设备214捕获一个或多个后续图像。在一些实施例中，系统(位于可移动物体102、控制单元104和/或计算设备126的运动控制模块和/或跟踪模块)基于所确定的目标106和可移动物体102之间的空间关系(例如，水平距离和/或俯仰角)，调整可移动物体102和/或载体108的一个或多个控制参数。
在一些实施例中，调节一个或多个控制参数包括调节可移动物体102、载体108和/或负载110的方向、位置、姿态和/或一个或多个移动特性。在一些实施例中，生成指令以基本上改变成像设备214和/或可移动物体感测系统122的一个或多个传感器的控制参数，例如，改变与成像设备214相关联的变焦、聚焦或其他特性。在一些实施例中，使用来自图像数据的信息以及由可移动物体感测系统122的一个或多个传感器(例如，接近传感器和/或GPS传感器)获取的感测数据和/或由目标106发射的位置信息(例如，GPS位置)，来生成用于细化控制增益的指令。
在一些实施例中，系统通过调节成像设备214的变焦水平(例如，如果成像设备支持所需的变焦水平)，通过调节可移动物体102的一个或多个移动特性，或通过调节成像设备214的变焦水平以及调节可移动物体102的一个或多个移动特性的组合，来细化控制增益。在一些实施例中，控制应用程序(例如控制模块402、跟踪模块404和/或控制单元104和/或计算设备126的控制应用程序)确定一个或多个调节。例如，如果成像设备214不支持实质上跟踪目标106所需的变焦水平，则代替调节成像设备214的变焦水平或除了调节成像设备的变焦水平之外，还调节可移动物体102的一个或多个移动特性。
如本文其他地方所讨论的，在一些实施例中，对可移动物体102、载体108和/或负载110的方向、位置、姿态、一个或多个移动特征和/或其他操作参数的调节受到由系统配置400(例如，由制造商、管理员或用户配置的)、由控制单元104(例如，在控制单元104处接收的用户控制输入)和/或由计算设备126施加的一个或多个约束。
当一个或多个空间关系因素(例如，水平距离、俯仰角、高度等)被确定为不足以用于目标跟踪时，系统不允许用户开始自动目标跟踪。系统还发送(754)警告指示符。在一些实施例中，警告指示符包括文本、音频(例如，警笛或嘟嘟声)、图像或其他视觉指示符(例如，改变的用户界面背景颜色和/或闪光灯)和/或触觉反馈。在例如可移动物体102、控制单元104和/或计算设备126处提供警告指示符。在一个示例中，警告指示符包括向用户显示“目标太远”或“目标太近”的文本框。
在系统细化(752)控制增益之后或在系统发送(754)警告指示符之后，系统使用成像设备214获得(760)包含目标的下一图像，如本文其他地方所述。然后，系统确定(762)当前图像中的目标(例如，目标106)是否是预定可识别目标类型。
在当前图像中的目标106被确定为预定可识别目标类型时，系统继续进行以确定(708)目标106的尺寸并计算(712)目标106与可移动物体102之间的空间关系。在当前图像中的目标106不属于任何预定可识别目标类型时，系统将目标106与一般目标类型相关联，并如上所述地以GT模式740继续进行。
图8示出了根据实施例的可移动物体102、载体108和负载110的示例性配置800。配置800用于说明对可移动物体102、载体108和/或负载110的方向、位置、姿态和/或一个或多个移动特征的示例性调节，例如，用于执行目标跟踪的初始化和/或跟踪目标106。
在一些实施例中，可移动物体102围绕多达三个正交轴(诸如，X1(俯仰)810、Y1(偏航)808和Z1(横滚)812轴)旋转。围绕三个轴的旋转在此分别被称为俯仰旋转822、偏航旋转820和横滚旋转824。围绕X1、Y1和Z1轴的可移动物体102的角速度分别被称为ωX1、ωY1和ωZ1。在一些实施例中，可移动物体102分别沿着X1、Y1和Z1轴进行平移移动828、826和830。沿着X1、Y1和Z1轴的可移动物体102的线速度分别被称为VX1、VY1和VZ1。
在一些实施例中，负载110经由载体108连接到可移动物体102。在一些实施例中，负载110相对于可移动物体102移动(例如，由载体108的致动器204引起负载110相对于可移动物体102移动)。
在一些实施例中，负载110围绕和/或沿着最多三个正交轴x2(俯仰)816、Y2(偏航)814和Z2(横滚)818移动。X2、Y2和Z2轴分别平行于X1、Y1和Z1轴。在一些实施例中，在负载110包括成像设备214(例如，包括光学模块802)的情况下，横滚轴Z2 818基本上平行于光学模块802的光路或光轴。在一些实施例中，光学模块802光耦合到图像传感器216(和/或可移动物体感测系统122的一个或多个传感器)。在一些实施例中，例如基于提供给载体108的致动器204的控制指令，载体108引起负载110围绕多达三个正交轴X2(俯仰)816、Y2(偏航)814和Z2(横滚)818旋转。围绕三个轴的旋转在此分别被称为俯仰旋转834、偏航旋转832和横滚旋转836。这里将负载110围绕X2、Y2和Z2轴的角速度分别称为ωX2、ωY2和ωZ2。在一些实施例中，载体108使得负载110相对于可移动物体102分别沿着X2、Y2和Z2轴进行平移移动840、838和842。负载110沿着x2、Y2和Z2轴的线速度在这里分别被称为VX2、VY2和VZ2。
在一些实施例中，可以限制负载110的移动(例如，载体108限制负载110的移动，例如，由于限制致动器204的移动和/或由于缺少能够引起特定移动的致动器)。
在一些实施例中，负载110的移动可以被限制为相对于可移动物体102围绕和/或沿着三个轴x2、Y2和Z2的子集移动。例如，负载110可围绕x2、Y2、Z2或其任何组合旋转(移动832、834、836)，负载110不可沿着任何轴移动(例如，载体108不允许负载110进行移动838、840、842)。在一些实施例中，负载110被限制为围绕X2、Y2和Z2轴之一旋转。例如，负载110只能绕Y2轴旋转(例如，旋转832)。在一些实施例中，负载110被限制为围绕x2、Y2和Z2轴中的两个轴旋转。在一些实施例中，负载110可围绕X2、Y2和Z2轴中的全部三个轴旋转。
在一些实施例中，负载110被限制为沿着X2、Y2或Z2轴(移动838、840、842)或其任何组合移动，且负载110不能围绕任何轴旋转(例如，载体108不允许负载110进行移动832、834、836)。在一些实施例中，负载110被限制为沿着X2、Y2和Z2轴中的一个轴移动。例如，负载110的移动被限制为沿着X2轴的移动840)。在一些实施例中，负载110被限制为沿着X2、Y2和Z2轴中的两个轴移动。在一些实施例中，负载110可沿着X2、Y2和Z2轴中的全部三个轴移动。
在一些实施例中，负载110能够执行相对于可移动物体102的旋转和平移移动。例如，负载110能够沿着X2、Y2和Z2轴中的一个轴、两个轴或三个轴移动和/或围绕其旋转。
在一些实施例中，负载110直接连接到可移动物体102而无需载体108，或载体108不允许负载110相对于可移动物体102移动。在一些实施例中，在这种情况下，负载110的姿态、位置和/或方向相对于可移动物体102是固定的。
在一些实施例中，通过调节可移动物体102、载体108和/或负载110，诸如调节可移动物体102、载体108和/或负载110中的两个或更多个的组合，执行对负载110的姿态、方向和/或位置的调节。例如，通过仅将可移动物体旋转60度、由载体执行将负载相对于可移动物体旋转60度或将可移动物体旋转40度和将负载相对于可移动物体旋转20度的组合，来实现负载围绕给定轴(例如，偏航轴)旋转60度。
在一些实施例中，通过调节可移动物体102、载体108和/或负载110，诸如调节可移动物体102、载体108和/或负载110中的两个或更多个的组合，实现负载的平移移动。在一些实施例中，通过调节负载的操作参数(诸如调节成像设备214的变焦级别或焦距)来实现期望的调节。
图9A示出了本公开实施例的用于追踪目标106的示例性初始化过程。图9B-9C示出了根据实施例的包括有显示在用户界面950上的目标106的图像952。在一些实施例中，由可移动物体102的负载110承载的成像设备214捕获如图9B-9C所示的图像952。在一些实施例中，用户界面950可以用于选择和/或初始化对目标106的跟踪。在一些实施例中，由控制单元104和/或计算设备126显示用户界面950。在一些实施例中，由控制终端104的显示器508显示用户界面。除了目标106之外，用户界面950上的图像952还可以包括由成像设备214捕获的一个或多个物体(图中未示出)。
在一些实施例中，控制单元104和/或计算机设备126包括用于接收用户输入的一个或多个输入设备506。在一些实施例中，由输入设备506接收的输入用于提供指示用户对目标106感兴趣的输入，其中图形选择指示符954将与该目标相关联。这样，本公开实施例中，用户指示要跟踪的目标106。在一些实施例中，在输入设备506处接收到的用于将图形选择指示符954与目标106相关联的用户输入包括在与目标106相对应的点处接收到的输入手势。在一些实施例中，由显示器508(例如，触摸屏显示器)处的接触(例如，通过手指和/或触控笔)提供输入手势。在一些实施例中，由用户操纵的输入设备506(诸如，鼠标、按钮、操纵杆、键盘等)提供对目标106的选择。
如图9C所示，图形跟踪指示符955被示出为与目标106相关联。在一些实施例中，图形跟踪指示符955可以与图形选择指示符954相同。在一些实施例中，可以由系统基于图形选择指示符954来生成图形跟踪指示符955。例如，图形跟踪指示符955可以是由系统生成的用于包围目标106的规则形状框的边界框。在一些实施例中，基于接收输入(例如，与图形选择指示符954相关联)和/或与目标106相关联的图形跟踪指示符955，生成目标信息408。在一些实施例中，图形跟踪指示符955的位置随着目标106的位置改变而改变，例如，使得图形跟踪指示符955保持与跟踪目标106相关联(例如，与之相邻或在其四周)。
在一些实施例中，如方法700中讨论地，系统将目标信息408的提取特征与和一个或多个预定可识别目标类型相关联的一个或多个特征进行比较。例如，如图9C所示，目标106可以被识别为人类目标。在一些实施例中，系统显示指示框960以通知用户该目标106被识别为预定可识别目标类型。
图10A示出了本公开实施例的用于追踪目标106的示例性初始化过程。图10B示出了根据实施例的包括在用户界面1050上显示的目标106的图像1052。如参照图7的方法700所述，在一些实施例中，系统使用包括在图像1052中的像素数量来确定目标的尺寸。例如，系统使用沿着高度维度的像素数量来确定边界框1055(box_h)的高度。在一些实施例中，当高度box_h被确定为小于预定阈值时，系统显示警告指示符1060以通知用户目标106在图像1052中太小。如参照图7所讨论的，系统可以切换到GT模式740。
图11示出本公开实施例的用于确定目标106与可移动物体102之间的俯仰角的示例性方法。在一些实施例中，基于由可移动物体102承载的载体的俯仰角(α)和捕获图像上的目标俯仰角(β)，来确定俯仰角。例如，如图11所示，俯仰角α表示当前图像中心(例如，摄像机中心或成像设备214的光轴)相对于水平面的俯仰角。在一些实施例中，基于载体(例如，云台)的俯仰角来确定俯仰角α。在一些实施例中，基于负载的俯仰角、云台的俯仰角和/或可移动物体102的俯仰角的组合来确定俯仰角α。
在一些实施例中，基于与从图像的中心延伸到目标106的底部的高度(h)有关的像素数量，来确定目标俯仰角β。例如，在图11中，高度h从图像的中心延伸到地面(例如，假设人类目标站在地面上)。
图12示出了根据实施例的用于确定目标106的俯仰角的示例性方法。假设图像1200具有W个像素的宽度和H个像素的高度(其中，W和H是正整数)。图像中的位置由沿着图像宽度和沿着图像高度的一对坐标界定，其中图像的左上角的坐标为(0，0)，且图像的右下角的坐标为(W，H)。中心像素P的一对坐标为(u0，v0)，其中u0＝W/2和/或v0＝H/2。人类目标的脚附近的像素B的一对坐标为(u1，v1)。可以将如图11中所示的图像中心与目标106的底部之间的高度(h)计算为|v1-v0|。假设图像1200覆盖沿图像宽度的度数范围(γ1)和沿图像高度的度数范围(γ2)，那么可以通过θ＝γ1/W＝γ2/H确定图像1200中每像素(θ)的度数。例如，当图像1200沿图像宽度覆盖81.9281°且沿图像高度覆盖46.0846°，并且分辨率为640×360时，每像素(θ)的度数计算为0.1280127°。
再参照图11，目标俯仰角β可以计算为β＝h×θ。因此，目标106与可移动物体102之间的俯仰角可以通过云台俯仰角α与目标俯仰角β的和来确定。如在图7的方法700中讨论的，在一些实施例中，系统将计算的目标106和可移动物体102之间的俯仰角与预定阈值(例如-40°)进行比较。当计算的目标106与可移动物体102之间的俯仰角小于预定阈值时，例如，当计算的目标106与可移动物体102之间的俯仰角被计算为-60°时，系统可以发送警告指示符(例如，视觉或音频指示符)以通知用户俯仰角不适用于自动目标跟踪。
图13A示出了本公开实施例的用于追踪目标106的初始化过程。图13B示出了根据实施例的包括在用户界面1350上显示的目标106的图像1352。在一些实施例中，当目标106和可移动目标102之间的俯仰角小于预定阈值时，可移动目标102悬停在目标106的顶部，如图13A所示。成像设备214可能无法从该俯仰角捕获足够多的目标106的信息。例如，图13B的图像1352中示出的目标106可以展示与预定可识别目标(例如，人类目标)的特征不同的特征(例如，形状、图案或尺寸)。因此，系统显示警告指示符1360以通知用户，例如通过在用户界面1350上显示文本“警告：俯仰角太低”。
图14示出了根据实施例的用于确定预定可识别目标和可移动物体102之间的水平距离的示例性方法。在一些实施例中，可移动物体102处于与目标106的高度相似的高度。在一些实施例中，当目标106被识别为预定的可识别目标(例如，人类目标)时，使用与预定可识别目标相关联的一个或多个特征(诸如，人类目标的高度(target_h))来确定目标106与可移动目标102之间的水平距离(d)。例如，在将目标106识别为人类目标之后，基于预定可识别目标类型信息414的预设特征的高度1.7米被分配给目标106。目标106与可移动物体102之间的距离d可以表示为：
其中target_h是由预定可识别目标类型信息414(例如，人的平均高度)预设的预定可识别目标的特征，box_h是包围目标106的边界框的高度(其近似于显示在当前图像中的目标106的高度)，且θ是如图12中所示的当前图像中每像素的度数。在一些实施例中，如图7的方法700中讨论的，基于可移动物体102的高度来确定安全距离范围。系统将计算出的距离d与安全距离范围进行比较，当距离d不在安全距离范围内时向用户发送警告指示符。
图15示出了根据实施例的用于确定一般目标和可移动物体102之间的水平距离的示例性方法。在一些实施例中，当目标106被识别为一般目标时，系统使用三角测量方法来确定目标106与可移动目标102之间的水平距离(d)。例如，一般目标106与可移动物体102之间的距离d可以表示为：
其中H是可移动物体102的高度，且α是诸如云台的成像设备214的载体的俯仰角。
图16A-16F示出了本公开实施例的用于跟踪可移动物体的方法1600的流程图。方法1600在诸如包括移动物体102、控制单元104和/或计算设备126的一个或多个设备的系统处执行。例如，用于执行方法1600的指令被存储在存储器118的运动控制模块402中并且由处理器116执行。在一些实施例中，在可移动物体102处、在地面控制器(诸如控制单元104和/或计算设备126)处或在包含在可移动物体102和地面控制器两者中的某些计算功能性的组合处执行在此讨论的计算功能。在一些实施例中，在地面控制器处执行方法1600的一个或多个步骤，并且在可移动物体102处执行方法1600的一个或多个其他步骤。
系统获得(1602)由可移动物体102承载的成像设备214捕获的第一图像帧。第一图像帧包含目标106。
系统从第一图像帧提取(1604)目标106的一个或多个特征。目标106在用户在第一图像帧上选择的区域内。目标物体的一个或多个特征包括(1652)在第一图像帧上显示的一个或多个尺寸特征。一个或多个尺寸特征包括目标物体的形状、图案、长度、宽度和/或高度。系统基于目标106的一个或多个尺寸特征来生成(1654)边界框，用来确定第一图像帧上的目标106。系统获得(1656)包括由成像设备214捕获的目标106的第二图像帧。目标106的一个或多个特征还包括基于目标106的一个或多个尺寸特征计算的目标106的速度和加速度。在一些实施例中，第二图像帧是第一图像帧的下一图像帧。在一些实施例中，第二图像帧是在第一图像帧后的特定时间段之后捕获的图像。
系统还基于提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定(1606)目标106是否是预定可识别物体类型。在一些实施例中，系统执行图像识别和/或物体分类以识别目标106。
根据对目标106是预定可识别物体类型(例如，人类目标)的确定，系统初始化(1608)在系统中提供的并与预定可识别物体类型相关联的跟踪功能。根据对目标106不属于任何预定可识别物体类型的确定，系统初始化(1610)在计算系统中提供的并与一般物体类型相关联的跟踪功能。
当确定目标106是预定可识别物体类型时，与预定可识别物体类型相关联的跟踪功能包括(1612)调节一个或多个控制参数，所述一个或多个控制参数控制选自可移动物体102和目标106之间的空间关系、可移动物体102的移动以及由可移动物体102承载的载体108(例如，云台)的移动中的一个或多个。在一些实施例中，系统调节控制参数和可移动物体102与目标物体106之间的空间关系。在一些实施例中，系统启用允许某些高级控制的某些功能模块。例如，该系统支持使用人类手势来控制可移动物体102的飞行模式和/或调节载体108的位置。
在一些实施例中，当目标106被识别为人类时，系统识别(1638)人类目标的一个或多个体态。例如，系统可以识别手部摆动、手指手势以及人类目标的任何其他体态。在一些实施例中，系统根据人类目标的一个或多个体态来调节(1640)可移动物体102的一个或多个控制参数。在一些实施例中，当目标106被识别为人类时，系统执行(1642)对人类目标的面部识别，以获取人类目标的一个或多个面部特征。在一些实施例中，当可移动物体102在随后捕获的图像中失去人类目标时，可以使用人类目标的面部特征来寻找先前的人类目标并且避免识别错误的人类目标。在一些实施例中，当目标106被识别为人类时，系统执行(1644)机器学习以获得人类目标的一个或多个个人特征。所获得的个人特征可以用于通过可移动物体102自动跟踪人类目标。
在一些实施例中，根据与预定可识别物体类型相关联的一个或多个特征，生成(1614)一个或多个控制参数。例如，将特征(例如，速度、高度等)用来生成一个或多个控制参数。在一些实施例中，一个或多个控制参数包括(1616)可移动物体102的偏航角移动、可移动物体102的平移移动、可移动物体102的速度以及可移动物体102的加速度。在一些实施例中，可移动物体102的平移移动包括可移动物体102的水平移动和/或可移动物体102的垂直移动。
在一些实施例中，成像设备214被连接(1618)到由可移动物体102承载的载体108(例如，云台)。一个或多个控制参数还包括(1618)云台的偏航角移动和/或云台的俯仰角移动。
在一些实施例中，系统通过至少使用与预定可识别物体类型相关联的一个或多个特征，确定(1620)可移动物体102和目标106之间的空间关系。
在一些实施例中，在确定可移动物体102与目标106之间的空间关系之前，系统确定(1622)显示在第一图像帧中的目标102的尺寸是否高于预定阈值。在一些实施例中，由显示在第一图像帧上的像素数目确定目标102的尺寸。在一些实施例中，将最小数量的像素预设为足以使可移动物体102跟踪目标106的阈值。在一些实施例中，根据对目标106的尺寸高于或等于预定阈值的确定，系统确定(1622)可移动物体102与目标106之间的空间关系。在一些实施例中，根据目标106的尺寸低于预定阈值的确定，系统初始化(1622)与一般物体类型相关联的跟踪功能。在一些实施例中，当系统确定目标106的尺寸低于预定阈值时，系统从PRT模式切换到GT模式，如图7的方法700中所述。
在一些实施例中，可移动物体102与目标106之间的空间关系包括(1624)可移动物体102与目标106之间的水平距离。在一些实施例中，空间关系包括(1626)可移动物体102和目标106之间的俯仰角。系统还确定(1626)俯仰角是否低于预定值(例如，-40度)。在一些实施例中，使用由可移动物体102承载的用于携带成像设备的云台的俯仰角(例如，图11的俯仰角α)和第一图像帧上显示的目标106的目标俯仰角(例如，图11的俯仰角β)，来确定俯仰角(1628)。
根据对俯仰角小于预定值的确定，系统向用户发送(1630)警告指示(例如，如图13B所示)。在一些实施例中，系统调节(1632)或允许(1632)用户调节可移动物体102的一个或多个控制参数，使得更新后的俯仰角等于或大于预定值。系统获得(1632)在第一图像帧之后的一个或多个图像帧，以用于确定更新后的俯仰角。
根据对俯仰角大于或等于预定值的确定，系统向用户发送(1634)请求以确认初始化自动跟踪模式。例如，系统向用户发送请求，以根据一个或多个相关联的特征开始自动跟踪所识别的预定识别目标。
根据对用户没有确认初始化自动跟踪模式的确定，系统获得(1636)包括目标106的第二图像帧。该系统还基于从第二图像帧提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定(1636)目标106是否是预定可识别物体类型。根据对目标106不属于任何预定可识别物体类型的确定，该系统初始化(1636)与一般物体类型相关联的跟踪选项。在一些实施例中，在接收到对第一图像帧的用户确认之前，当下一帧上的目标特征与任何预定可识别目标类型不匹配时，系统从PRT模式切换到GT模式。
在一些实施例中，系统确定(1646)可移动物体102相对于地面的高度是否在预定高度范围内(例如，从约1米到约50米的范围)。当可移动物体102太高时，目标106可能变得太小而不能提取用于目标跟踪的足够的特征。为了安全考虑，可移动物体102不能太低。根据对可移动物体102的高度不在预定高度范围内的确定，系统向用户发送警告信号。用户可以手动地将可移动物体102的高度调节到预定高度范围内。所述高度的确定可以发生在方法700的任何步骤处。
在一些实施例中，系统分别获得(1648)与一个或多个预定可识别物体类型相关联的一个或多个特征。可以根据用户输入、根据图像识别和/或根据计算机网络上可用的任何信息获得与一个或多个预定可识别物体类型相关联的一个或多个特征。
在一些实施例中，与预定可识别物体类型相关联的一个或多个特征包括(1650)预定可识别物体类型的一个或多个物体的类别、形状、图案、长度范围、宽度范围、高度范围、速度范围和/或加速度范围。
在一些实施例中，系统针对用户选择提供(1658)一个或多个候选可识别物体类型。基于所提取的一个或多个特征与和一个或多个预定可识别物体类型相关联的一个或多个特征之间的比较，分别识别一个或多个候选可识别物体类型。在一些实施例中，系统确定目标106的特征与多于一个的预定可识别物体类型的特征相匹配。系统向用户显示所识别的多于一个的预定可识别物体类型以供用户选择。系统接收(1658)对目标物体是选自一个或多个候选可识别物体类型的预定可识别物体类型加以指示的用户输入。
当确定目标106是一般目标物体类型时，系统使用一个或多个提取的特征来确定(1660)目标106和可移动物体102之间的空间关系。在一些实施例中，目标106与可移动物体102之间的空间关系包括(1662)目标106与可移动物体102之间的水平距离。系统确定(1662)水平距离是否在预定距离范围内。
根据对水平距离在预定距离范围内的确定，系统向用户提供(1664)选项以确认初始化自动跟踪模式。
根据对用户没有确认初始化自动跟踪模式的确定，系统获得(1666)在第一图像帧之后包括目标106的第二图像帧。该系统还基于从第二图像帧提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定(1666)目标106是否是预定可识别物体类型。根据对目标106是预定可识别物体类型的确定，该系统初始化(1666)与预定可识别物体类型相关联的跟踪选项。在一些实施例中，在接收到对第一图像帧的用户确认之前，当下一帧上的目标被识别为预定可识别目标类型时，系统从GT模式切换到PRT模式。
在一些实施例中，根据可移动物体102相对于地面的高度来确定(1670)水平距离范围。例如，安全距离范围随着可移动物体102的高度增加而增加。根据对水平距离不在预定距离范围内的确定，系统向用户发送(1672)警告指示。在一些实施例中，系统调节(1674)或允许(1674)用户调节可移动物体102的一个或多个控制参数，使得可移动物体102和目标106之间的更新后的空间关系变得适合于初始化自动跟踪模式。系统获得(1674)在第一图像帧之后的一个或多个图像帧，以用于确定可移动物体102和目标106之间的更新后的空间关系。
在一些实施例中，与预定可识别物体类型相关联的跟踪功能包括(1676)启用允许由用户输入控制可移动物体102的一个或多个功能模块。在一些实施例中，该系统接收用于指示用户对在第一图像帧上的目标106感兴趣的用户输入。在一些实施例中，当用户观看设备上的第一图像帧时，从设备(例如，控制设备104和/或计算机设备126)接收用户输入。在一些实施例中，用户输入指示围绕设备上显示的目标106的至少一部分的边界。在一些实施例中，用户输入指示在设备上显示的目标106的位置。在一些实施例中，用户输入是由可移动物体102承载的成像设备214捕获的用户手势。
在一些实施例中，系统获得(1678)由成像设备214捕获的第二图像帧。系统确定第一图像帧中的目标106是否仍包含在第二图像帧中。根据对目标物体没有被包括在第二图像帧中的确定，系统从第二图像帧中识别(1678)一个或多个候选目标物体。候选目标物体可以被识别为属于相同的预定可识别物体类型。基于分别从一个或多个候选目标物体提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征之间的比较，识别一个或多个候选目标物体。系统确定(1678)相应的一个或多个候选目标物体的一个或多个提取特征是否符合基于第一图像帧中的目标物体的一个或多个提取特征生成的目标物体模型。根据对候选目标物体的一个或多个提取特征符合目标物体模型的确定，系统初始化(1678)与目标物体相关联的跟踪操作。可以使用与预定可识别目标物体类型相关联的一个或多个特征来生成目标物体模型。在一些实施例中，系统生成可移动物体102的一个或多个控制参数，以确保目标106位于由成像设备214捕获的第一图像帧之后的一个或多个图像帧的中心。
可以使用硬件、软件、固件或其组合，或在硬件、软件、固件或其组合的帮助下，来执行本发明的许多特征。因此，可以使用处理系统来实现本发明的特征。示例性处理系统(例如，处理器116、控制器210、控制器218、处理器502和/或处理器602)包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、现场可编程门阵列、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
本发明的特征可以使用或借助于计算机程序产品来实现，诸如存储有指令的存储介质(介质)或计算机可读介质(介质)，其中可以将所述指令用来对处理系统进行编程以执行本文中呈现的任何特征。存储介质(例如(例如存储器118、504、604)可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR RAM、闪存设备、磁卡或光卡、纳米系统(包括分子存储器IC)或适用于存储指令和/或数据的任何类型的介质或设备。
存储在任何机器可读介质(介质)上的本发明的特征可以结合到用于控制处理系统的硬件以及用于支持处理系统使通过利用本发明的结果与其他机制进行交互的软件和/或固件中。这样的软件或固件可以包括但不限于应用代码、设备驱动程序、操作系统和执行环境/容器。
这里所指的通信系统(例如，通信系统120、510、610)可选地经由有线和/或无线通信连接进行通信。例如，通信系统可选地接收和发送RF信号，也称为电磁信号。通信系统的RF电路将电信号转换成电磁信号/从电磁信号转换层电信号，并且经由电磁信号与通信网络和其他通信设备通信。RF电路可选地包括用于执行这些功能的公知电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户身份模块(SIM)卡、存储器等。通信系统可选地通过无线通信与互联网(诸如也被称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))以及其他设备进行通信。无线通信连接可选地使用多种通信标准、协议和技术中的任一种，包括但不限于全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、仅数据(EV-DO)、HSPA、HSPA+、双小区HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如IEEE102.11a、IEEE102.11ac、IEEE102.11ax、IEEE 102.11b、IEEE 102.11g和/或IEEE102.11n)、互联网协议语音(VoIP)、Wi-MAX、用于电子邮件的协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息传递和存在协议(XMPP)、用于即时消息的会话发起协议和存在利用扩展(SIMPLE)、即时消息和存在服务(IMPS))和/或短消息服务(SMS)或者任何其他合适的通信协议，包括在本文件的提交日期之前尚未开发的通信协议。
尽管上面已经描述了本发明各种实施例，但是应当理解，它们是作为示例而不是限制来呈现的。本领域普通技术人员应该理解的是，在不脱离本发明的精神和范围的情况下，可以进行形式和细节上的各种变化。
以上已经在示出指定功能及其关系的表现的功能构件的辅助下，描述了本发明。为了描述方便，本文通常任意定义这些功能构件的边界。可以理解，只要所指定的功能及其关系被适当地执行，就可以定义备选边界。因此任何这样的替代边界都在本发明的范围和精神之内。
本文的各种所述实施例的描述中所使用的术语仅仅是为了描述具体实施例，而不是意在进行限制。除非上下文另有明确说明，否则如本文提供的本公开的描述和所附权利要求中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式。还应理解，如本文所使用的术语“和/或”是指并且包括一个或多个相关联的所列项目的任何一个和所有可能的组合。还将理解，术语“包括”、“包括了”、“包含”和/或“包含了”当在本说明书中使用时，规定了存在所声明的特征、整数、步骤、操作、要素和/或组件，但是并没有排除存在或添加一个或多个其他特征、整数、步骤、操作、要素、组件和/或其组合。
如本文所使用的，取决于上下文，术语“如果”可以被解释为意指“当……时”或“在……时”或“响应于确定”或“根据确定”或“响应于检测”，所陈述的先决条件是真的。类似地，取决于上下文，短语“如果确定[所陈述的先决条件是真的]”或“如果[所陈述的先决条件是真的]”或“当[所陈述的先决条件是真的]时”可以解释为表示“在确定……时”或“响应于确定”或“根据确定”或“在检测到”或“响应于检测到”所陈述的先决条件为真时。
本发明的上述实施例用于说明和描述的目的。不是旨在是穷尽性的或将公开的当前形式作为对本发明的限制。本发明的广度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是明显的，所述修改和变化包括公开特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明以及具有适合于预期特定用途的各种修改的各种实施例。旨在由以下权利要求及其等同物来界定本发明的范围。

Claims (55)

1.一种用于跟踪目标物体的方法，所述方法包括：
在具有一个或多个处理器和存储所述一个或多个处理器执行的程序的存储器的计算系统处：
获得由无人载运工具承载的成像设备捕获的第一图像帧，所述第一图像帧包含目标物体；
从所述第一图像帧中提取所述目标物体的一个或多个特征，其中所述目标物体位于用户在第一图像帧上选择的区域内；
基于提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定目标物体是否是预定可识别物体类型；
根据对目标物体是预定可识别物体类型的确定，初始化在计算系统中提供的并与预定可识别物体类型相关联的跟踪功能；以及
根据对目标物体不属于任何预定可识别物体类型的确定，初始化在计算系统中提供的并与一般物体类型相关联的跟踪功能。
2.根据权利要求1所述的方法，其中，当确定目标物体是预定可识别物体类型时，与预定可识别物体类型相关联的跟踪功能包括调节一个或多个控制参数，所述一个或多个控制参数控制无人载运工具和目标物体之间的空间关系、无人载运工具的移动以及由无人载运工具承载的云台的移动中的一个或多个。
3.根据权利要求2所述的方法，其中，根据与预定可识别物体类型相关联的一个或多个特征来生成所述一个或多个控制参数。
4.根据权利要求2所述的方法，其中，所述一个或多个控制参数包括无人载运工具的偏航角移动、无人载运工具的平移移动、无人载运工具的速度和无人载运工具的加速度中的一个或多个。
5.根据权利要求2所述的方法，其中，所述成像设备连接到由无人载运工具承载的云台，其中所述一个或多个控制参数还包括云台的偏航角移动和云台的俯仰角移动中的一个或多个。
6.根据权利要求2所述的方法，还包括：使用与预定可识别物体类型相关联的至少一个或多个特征，确定无人载运工具和目标物体之间的空间关系。
7.根据权利要求2所述的方法，还包括：
确定显示在第一图像帧中的目标物体的尺寸是否大于预定阈值；
根据对目标物体的尺寸大于或等于预定阈值的确定，确定无人载运工具和目标物体之间的空间关系；以及
根据对目标物体的尺寸低于预定阈值的确定，初始化与一般物体类型相关联的跟踪功能。
8.根据权利要求2所述的方法，其中，所述无人载运工具和目标物体之间的空间关系包括无人载运工具和目标物体之间的水平距离。
9.根据权利要求2所述的方法，其中，所述空间关系包括无人载运工具和目标物体之间的俯仰角，且所述方法还包括：确定所述俯仰角是否低于预定值。
10.根据权利要求9所述的方法，其中，使用由无人载运工具承载的用于携带成像设备的云台的俯仰角以及显示在第一图像帧上的目标物体的目标俯仰角，来确定所述俯仰角。
11.根据权利要求9所述的方法，根据对所述俯仰角小于预定值的确定，向用户发送警告指示。
12.根据权利要求11所述的方法，其中，所述方法还包括：
调节或允许用户调节无人载运工具的一个或多个控制参数，使得更新后的俯仰角等于或大于所述预定值；以及
获得第一图像帧之后的一个或多个图像帧，所述一个或多个图像帧用于确定更新后的俯仰角。
13.根据权利要求9所述的方法，其中，根据对所述俯仰角高于或等于所述预定值的确定，所述方法还包括向用户发送请求以确认初始化自动跟踪模式。
14.根据权利要求13所述的方法，根据对用户没有确认初始化自动跟踪模式的确定，所述方法还包括：
获得第一图像帧之后的包括目标物体的第二图像帧；
基于从第二图像帧提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定目标物体是否是预定可识别物体类型；以及
根据对目标物体不属于任何预定可识别物体类型的确定，初始化与一般物体类型相关联的跟踪选项。
15.根据权利要求2所述的方法，其中，当目标物体被识别为人类时，所述方法还包括：识别目标物体的一个或多个体态。
16.根据权利要求15所述的方法，其中，所述方法还包括：根据目标物体的一个或多个体态来调节无人载运工具的一个或多个控制参数。
17.根据权利要求2所述的方法，其中，当目标物体被识别为人类时，所述方法还包括：执行对目标物体的面部识别以获取目标物体的一个或多个面部特征。
18.根据权利要求2所述的方法，其中，当目标物体被识别为人类时，所述方法还包括：执行机器学习以获得目标物体的一个或多个个人特征，其中所获得的个人特征用于由无人载运工具自动跟踪目标物体。
19.根据权利要求1所述的方法，还包括：确定无人载运工具相对于地面的高度是否在预定高度范围内。
20.根据权利要求1所述的方法，还包括：分别获得与一个或多个预定可识别物体类型相关联的一个或多个特征。
21.根据权利要求1所述的方法，其中，与预定可识别物体类型相关联的一个或多个特征包括以下的一个或多个：预定可识别物体类型的一个或多个物体的类别、形状、图案、长度范围、宽度范围、高度范围、速度范围和加速度范围。
22.根据权利要求1所述的方法，其中，所述目标物体的一个或多个特征包括显示在第一图像帧上的一个或多个尺寸特征，其中所述一个或多个尺寸特征选自目标物体的形状、图案、长度、宽度和高度。
23.根据权利要求22所述的方法，还包括：基于目标物体的一个或多个尺寸特征生成用于确定第一图像帧上的目标物体的边界框。
24.根据权利要求22所述的方法，还包括：获得由成像设备捕获的包括所述目标物体的第二图像帧，其中所述目标的一个或多个特征还包括基于所述目标物体的一个或多个尺寸特征计算的所述目标物体的速度和加速度。
25.根据权利要求1所述的方法，其中，确定目标物体是否是预定可识别物体类型包括：
提供一个或多个候选可识别物体类型以供用户选择，其中基于所提取的一个或多个特征与和一个或多个预定可识别物体类型相关联的一个或多个特征之间的比较，分别识别一个或多个候选可识别物体类型；以及
接收用户输入，所述用户输入指示目标物体是选自一个或多个候选可识别物体类型的预定可识别物体类型。
26.根据权利要求1所述的方法，其中，当将目标物体确定为一般物体类型时，与所述一般物体类型相关联的跟踪功能包括：使用一个或多个所提取的特征来确定目标物体和无人载运工具之间的空间关系。
27.根据权利要求26所述的方法，其中，所述目标物体和无人载运工具之间的空间关系包括目标物体和无人载运工具之间的水平距离；以及
所述方法还包括确定水平距离是否在预定距离范围内。
28.根据权利要求27所述的方法，其中，根据对水平距离在预定距离范围内的确定，所述方法还包括：向用户提供选项以确认初始化自动跟踪模式。
29.根据权利要求28所述的方法，其中，根据对用户没有确认初始化自动跟踪模式的确定，所述方法还包括：
获得第一图像帧之后的包括目标物体的第二图像帧；
基于从第二图像帧提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定所述目标物体是否是预定可识别物体类型；以及
根据对所述目标物体是预定可识别物体类型的确定，初始化与预定可识别物体类型相关联的跟踪选项。
30.根据权利要求27所述的方法，其中，根据无人载运工具相对于地面的高度来确定水平距离范围。
31.根据权利要求27所述的方法，其中，根据对水平距离不在预定距离范围内的确定，向用户发送警告指示。
32.根据权利要求31所述的方法，其中，所述方法还包括：
调节或允许用户调节无人载运工具的一个或多个控制参数，使得无人载运工具和目标物体之间的更新后的空间关系变得适合于初始化自动跟踪模式；以及
获得第一图像帧之后的一个或多个图像帧，以用于确定无人载运工具和目标物体之间的更新后的空间关系。
33.根据权利要求1所述的方法，其中，与预定可识别物体类型相关联的跟踪功能包括启用允许由用户输入控制无人载运工具的一个或多个功能模块。
34.根据权利要求1所述的方法，还包括：
获得由成像设备捕获的第二图像帧；
根据对目标物体没有被包括在第二图像帧中的确定，
从第二图像帧中识别属于预定可识别物体类型的一个或多个候选目标物体，其中基于分别从一个或多个候选目标物体提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征之间的比较，识别所述一个或多个候选目标物体；以及
确定相应的一个或多个候选目标物体的一个或多个提取特征是否符合基于目标物体的一个或多个提取特征生成的目标物体模型；以及
根据对候选目标物体的一个或多个提取特征符合目标物体模型的确定，初始化与目标物体相关联的跟踪操作。
35.一种用于控制可移动物体的系统，所述系统包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序存储在存储器中并配置为由所述一个或多个处理器执行，其中所述一个或多个程序包括用于执行以下操作的指令：
获得由无人载运工具承载的成像设备捕获的第一图像帧，所述第一图像帧包含目标物体；
从所述第一图像帧中提取所述目标物体的一个或多个特征，其中所述目标物体位于用户在第一图像帧上选择的区域内；
基于提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定目标物体是否是预定可识别物体类型；
根据对目标物体是预定可识别物体类型的确定，初始化在计算系统中提供的并与预定可识别物体类型相关联的跟踪功能；以及
根据对目标物体不属于任何预定可识别物体类型的确定，初始化在计算系统中提供的并与一般物体类型相关联的跟踪功能。
36.根据权利要求35所述的系统，其中，当确定目标物体是预定可识别物体类型时，与预定可识别物体类型相关联的跟踪功能包括调节一个或多个控制参数，所述一个或多个控制参数控制无人载运工具和目标物体之间的空间关系、无人载运工具的移动以及由无人载运工具承载的云台的移动中的一个或多个。
37.根据权利要求36所述的系统，其中，所述空间关系包括无人载运工具和目标物体之间的俯仰角，且其中所述一个或多个程序还包括用于执行以下操作的指令：
确定所述俯仰角是否低于预定值；以及
根据对所述俯仰角大于或等于预定值的确定，向用户发送请求以确认初始化自动跟踪模式。
38.根据权利要求36所述的系统，其中，当目标物体被识别为人类时，所述一个或多个程序还包括用于执行以下操作的指令：
识别目标物体的一个或多个体态；以及
根据目标物体的一个或多个体态来调节无人载运工具的一个或多个控制参数。
39.根据权利要求35所述的系统，其中，与预定可识别物体类型相关联的一个或多个特征包括以下的一个或多个：预定可识别物体类型的一个或多个物体的类别、形状、图案、长度范围、宽度范围、高度范围、速度范围和加速度范围。
40.根据权利要求35所述的系统，其中，所述目标物体的一个或多个特征包括显示在第一图像帧上的一个或多个尺寸特征，其中所述一个或多个尺寸特征选自目标物体的形状、图案、长度、宽度和高度。
41.根据权利要求35所述的系统，其中，当将目标物体确定为一般物体类型时，与所述一般物体类型相关联的跟踪功能包括：
使用一个或多个提取特征来确定目标物体和无人载运工具之间的空间关系，其中所述空间关系包括目标物体和无人载运工具之间的水平距离；
确定水平距离是否在预定距离范围内；以及
根据对水平距离在预定距离范围内的确定，向用户提供选项以确认初始化自动跟踪模式。
42.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，其中当所述指令由可移动物体执行时使所述可移动物体：
获得由无人载运工具承载的成像设备捕获的第一图像帧，所述第一图像帧包含目标物体；
从所述第一图像帧中提取所述目标物体的一个或多个特征，其中所述目标物体位于用户在第一图像帧上选择的区域内；
基于提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定目标物体是否是预定可识别物体类型；
根据对目标物体是预定可识别物体类型的确定，初始化在计算系统中提供的并与预定可识别物体类型相关联的跟踪功能；以及
根据对目标物体不属于任何预定可识别物体类型的确定，初始化在计算系统中提供的并与一般物体类型相关联的跟踪功能。
43.根据权利要求42所述的计算机可读存储介质，其中，当确定目标物体是预定可识别物体类型时，与预定可识别物体类型相关联的跟踪功能包括调节一个或多个控制参数，所述一个或多个控制参数控制无人载运工具和目标物体之间的空间关系、无人载运工具的移动以及由无人载运工具承载的云台的移动中的一个或多个。
44.根据权利要求43所述的计算机可读存储介质，其中，所述空间关系包括无人载运工具和目标物体之间的俯仰角，且其中所述一个或多个程序还包括使可移动物体执行以下操作的指令：
确定所述俯仰角是否低于预定值；以及
根据对所述俯仰角大于或等于预定值的确定，向用户发送请求以确认初始化自动跟踪模式。
45.根据权利要求43所述的计算机可读存储介质，其中，当目标物体被识别为人类时，所述一个或多个程序还包括使可移动物体执行以下操作的指令：
识别目标物体的一个或多个体态；以及
根据目标物体的一个或多个体态来调节无人载运工具的一个或多个控制参数。
46.根据权利要求42所述的计算机可读存储介质，其中，与预定可识别物体类型相关联的一个或多个特征包括以下的一个或多个：预定可识别物体类型的一个或多个物体的类别、形状、图案、长度范围、宽度范围、高度范围、速度范围和加速度范围。
47.根据权利要求42所述的计算机可读存储介质，其中，所述目标物体的一个或多个特征包括显示在第一图像帧上的一个或多个尺寸特征，其中所述一个或多个尺寸特征选自目标物体的形状、图案、长度、宽度和高度。
48.根据权利要求42所述的计算机可读存储介质，其中，当将目标物体确定为一般物体类型时，与所述一般物体类型相关联的跟踪功能包括：
使用一个或多个提取特征来确定目标物体和无人载运工具之间的空间关系，其中所述空间关系包括目标物体和无人载运工具之间的水平距离；
确定水平距离是否在预定距离范围内；以及
根据对水平距离在预定距离范围内的确定，向用户提供选项以确认初始化自动跟踪模式。
49.一种无人机UAV，包括：
动力系统；以及
一个或多个传感器；以及
所述UAV被配置为：
获得由无人载运工具承载的成像设备捕获的第一图像帧，所述第一图像帧包含目标物体；
从所述第一图像帧中提取所述目标物体的一个或多个特征，其中所述目标物体位于用户在第一图像帧上选择的区域内；
基于提取的一个或多个特征与和预定可识别物体类型相关联的一个或多个特征的比较，确定目标物体是否是预定可识别物体类型；
根据对目标物体是预定可识别物体类型的确定，初始化在计算系统中提供的并与预定可识别物体类型相关联的跟踪功能；以及
根据对目标物体不属于任何预定可识别物体类型的确定，初始化在计算系统中提供的并与一般物体类型相关联的跟踪功能。
50.根据权利要求49所述的UAV，其中，当确定目标物体是预定可识别物体类型时，与预定可识别物体类型相关联的跟踪功能包括调节一个或多个控制参数，所述一个或多个控制参数控制无人载运工具和目标物体之间的空间关系、无人载运工具的移动以及由无人载运工具承载的云台的移动中的一个或多个。
51.根据权利要求50所述的UAV，其中，所述空间关系包括无人载运工具和目标物体之间的俯仰角，且其中所述UAV还被配置为：
确定所述俯仰角是否低于预定值；以及
根据对所述俯仰角大于或等于预定值的确定，向用户发送请求以确认初始化自动跟踪模式。
52.根据权利要求50所述的UAV，其中，当目标物体被识别为人类时，所述UAV还配置为：
识别目标物体的一个或多个体态；以及
根据目标物体的一个或多个体态来调节无人载运工具的一个或多个控制参数。
53.根据权利要求49所述的UAV，其中，与预定可识别物体类型相关联的一个或多个特征包括以下的一个或多个：预定可识别物体类型的一个或多个物体的类别、形状、图案、长度范围、宽度范围、高度范围、速度范围和加速度范围。
54.根据权利要求49所述的UAV，其中，所述目标物体的一个或多个特征包括显示在第一图像帧上的一个或多个尺寸特征，其中所述一个或多个尺寸特征选自目标物体的形状、图案、长度、宽度和高度。
55.根据权利要求49所述的UAV，其中，当将目标物体确定为一般物体类型时，与所述一般物体类型相关联的跟踪功能包括：
使用一个或多个提取特征来确定目标物体和无人载运工具之间的空间关系，其中所述空间关系包括目标物体和无人载运工具之间的水平距离；
确定水平距离是否在预定距离范围内；以及
根据对水平距离在预定距离范围内的确定，向用户提供选项以确认初始化自动跟踪模式。
CN201680068061.9A 2016-03-01 2016-03-01 用于目标跟踪的方法和系统 Expired - Fee Related CN108292141B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/075247 WO2017147792A1 (en) 2016-03-01 2016-03-01 Methods and systems for target tracking

Publications (2)

Publication Number Publication Date
CN108292141A true CN108292141A (zh) 2018-07-17
CN108292141B CN108292141B (zh) 2022-07-01

Family

ID=59742391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680068061.9A Expired - Fee Related CN108292141B (zh) 2016-03-01 2016-03-01 用于目标跟踪的方法和系统

Country Status (3)

Country Link
US (2) US10802491B2 (zh)
CN (1) CN108292141B (zh)
WO (1) WO2017147792A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240346A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 用于跟踪目标对象的方法及装置
CN109279016A (zh) * 2018-10-31 2019-01-29 广州成至智能机器科技有限公司 无人机数字语音播报系统
CN109709975A (zh) * 2019-01-15 2019-05-03 湖南大学 一种基于视觉slam的四旋翼飞行器室内安防系统及方法
CN109947117A (zh) * 2019-04-19 2019-06-28 辽宁工业大学 一种适用于单目视觉物流配送小车的伺服同步控制系统及控制方法
CN111103891A (zh) * 2019-12-30 2020-05-05 西安交通大学 一种基于骨骼点检测的无人机快速姿势控制系统与方法
CN111931657A (zh) * 2020-08-11 2020-11-13 中国原子能科学研究院 目标物识别系统、方法以及存储介质
WO2020252688A1 (en) * 2019-06-19 2020-12-24 Powervision Tech (Suzhou) Ltd. Target recognition based on image information, system for target recognition based on image information
WO2021003692A1 (zh) * 2019-07-10 2021-01-14 深圳市大疆创新科技有限公司 算法配置方法、设备、系统及可移动平台
CN112748755A (zh) * 2019-10-30 2021-05-04 山东科技大学 一种基于视觉识别的温度控制装置
US20210278217A1 (en) * 2018-10-24 2021-09-09 Pioneer Corporation Measurement accuracy calculation device, self-position estimation device, control method, program and storage medium
CN113841380A (zh) * 2020-10-20 2021-12-24 深圳市大疆创新科技有限公司 确定目标跟随策略的方法、装置、系统、设备及存储介质
CN116563835A (zh) * 2023-05-11 2023-08-08 梅卡曼德（北京）机器人科技有限公司 转运方法、转运设备和电子设备

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11608173B2 (en) * 2016-07-01 2023-03-21 Textron Innovations Inc. Aerial delivery systems using unmanned aircraft
US10633088B2 (en) * 2016-07-01 2020-04-28 Textron Innovations Inc. Aerial imaging aircraft having attitude stability during translation
CN107577245A (zh) * 2017-09-18 2018-01-12 深圳市道通科技股份有限公司 一种飞行器参数设定方法和装置及计算机可读存储介质
US10607406B2 (en) * 2018-01-25 2020-03-31 General Electric Company Automated and adaptive three-dimensional robotic site surveying
CN110197097B (zh) * 2018-02-24 2024-04-19 北京图森智途科技有限公司 一种港区监控方法及系统、中控系统
CN108646787B (zh) * 2018-04-12 2021-03-02 广州杰赛科技股份有限公司 目标追踪方法、装置以及无人机
US20200090501A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Accident avoidance system for pedestrians
CN109649255A (zh) * 2019-01-11 2019-04-19 福建天眼视讯网络科技有限公司 基于神经网络的智能车灯控制系统及其方法
JP7452533B2 (ja) * 2019-04-02 2024-03-19 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
CN110083180A (zh) * 2019-05-22 2019-08-02 深圳市道通智能航空技术有限公司 云台控制方法、装置、控制终端及飞行器系统
CN110348418B (zh) * 2019-07-17 2022-03-11 上海商汤智能科技有限公司 目标跟踪方法及装置、智能移动设备和存储介质
CN111308993B (zh) * 2020-02-13 2022-04-01 青岛联合创智科技有限公司 一种基于单目视觉的人体目标跟随方法
CN111457895B (zh) * 2020-03-31 2022-04-22 彩虹无人机科技有限公司 一种无人机光电载荷的目标尺寸计算与显示方法
US11827215B2 (en) * 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
WO2021217430A1 (en) 2020-04-28 2021-11-04 SZ DJI Technology Co., Ltd. System and method for operating a movable object based on human body indications
US11222245B2 (en) * 2020-05-29 2022-01-11 Raytheon Company Systems and methods for feature extraction and artificial decision explainability
SE2050738A1 (en) * 2020-06-22 2021-12-23 Sony Group Corp System and method for image content recording of a moving user
CN112333468B (zh) * 2020-09-28 2023-05-12 影石创新科技股份有限公司 图像处理方法、装置、设备及存储介质
US20220351626A1 (en) * 2021-04-29 2022-11-03 Skygrid, Llc Multi-objective mission planning and execution for an unmanned aerial vehicle
CN113450258B (zh) * 2021-08-31 2021-11-05 贝壳技术有限公司 视角转换方法和装置、存储介质、电子设备
CN114545954B (zh) * 2022-03-01 2022-07-26 哈尔滨工业大学 一种面向小型舰船的无人机安全着陆窗口预测系统及方法
WO2024049979A2 (en) 2022-08-31 2024-03-07 Senda Biosciences, Inc. Novel ionizable lipids and lipid nanoparticles and methods of using the same
CN116596958B (zh) * 2023-07-18 2023-10-10 四川迪晟新达类脑智能技术有限公司 一种基于在线样本增广的目标跟踪方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953547A (zh) * 2006-09-21 2007-04-25 上海大学 无人飞行器对地面移动目标的低空跟踪系统及方法
CN101511022A (zh) * 2009-03-20 2009-08-19 北京航空航天大学 一种机载视频压缩与目标跟踪联合实现方法
CN102045549A (zh) * 2010-12-28 2011-05-04 天津市亚安科技电子有限公司 一种控制监控设备联动跟踪运动目标的方法及装置
CN102355574A (zh) * 2011-10-17 2012-02-15 上海大学 机载云台运动目标自主跟踪系统的图像稳定方法
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103810226A (zh) * 2012-08-17 2014-05-21 通用电气航空系统有限责任公司 确定高光谱数据处理中所用的跟踪对象的方法
GB2516691A (en) * 2013-07-30 2015-02-04 Bifold Fluidpower Ltd Visualisation method
CN104811667A (zh) * 2015-04-29 2015-07-29 深圳市保千里电子有限公司 一种无人机跟踪目标的方法及系统
CN104850234A (zh) * 2015-05-28 2015-08-19 成都通甲优博科技有限责任公司 一种基于表情识别的无人机控制方法及系统
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567046B (zh) * 2009-06-11 2011-09-21 北京航空航天大学 一种基于最小覆盖圆匹配的无人机目标识别方法
US8532402B2 (en) * 2011-06-22 2013-09-10 The Boeing Company Image registration
DE102012002067A1 (de) * 2012-02-03 2013-08-08 Eads Deutschland Gmbh Luft-Boden-Überwachungs- und/oder Wirksystem und Verfahren zur luftgestützten Inspektion und/oder Bekämpfung von auf dem Land oder auf See befindlichen Objekten
KR20150004915A (ko) * 2012-04-30 2015-01-13 더 트러스티스 오브 더 유니버시티 오브 펜실바니아 쿼드로터 팀의 3차원적 조정
US9489839B2 (en) * 2012-08-06 2016-11-08 Cloudparc, Inc. Tracking a vehicle using an unmanned aerial vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953547A (zh) * 2006-09-21 2007-04-25 上海大学 无人飞行器对地面移动目标的低空跟踪系统及方法
CN101511022A (zh) * 2009-03-20 2009-08-19 北京航空航天大学 一种机载视频压缩与目标跟踪联合实现方法
CN102045549A (zh) * 2010-12-28 2011-05-04 天津市亚安科技电子有限公司 一种控制监控设备联动跟踪运动目标的方法及装置
CN102355574A (zh) * 2011-10-17 2012-02-15 上海大学 机载云台运动目标自主跟踪系统的图像稳定方法
CN103810226A (zh) * 2012-08-17 2014-05-21 通用电气航空系统有限责任公司 确定高光谱数据处理中所用的跟踪对象的方法
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
GB2516691A (en) * 2013-07-30 2015-02-04 Bifold Fluidpower Ltd Visualisation method
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking
CN104811667A (zh) * 2015-04-29 2015-07-29 深圳市保千里电子有限公司 一种无人机跟踪目标的方法及系统
CN104850234A (zh) * 2015-05-28 2015-08-19 成都通甲优博科技有限责任公司 一种基于表情识别的无人机控制方法及系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109240346A (zh) * 2018-09-27 2019-01-18 易瓦特科技股份公司 用于跟踪目标对象的方法及装置
US20210278217A1 (en) * 2018-10-24 2021-09-09 Pioneer Corporation Measurement accuracy calculation device, self-position estimation device, control method, program and storage medium
CN109279016A (zh) * 2018-10-31 2019-01-29 广州成至智能机器科技有限公司 无人机数字语音播报系统
CN109709975A (zh) * 2019-01-15 2019-05-03 湖南大学 一种基于视觉slam的四旋翼飞行器室内安防系统及方法
CN109709975B (zh) * 2019-01-15 2021-08-31 湖南大学 一种基于视觉slam的四旋翼飞行器室内安防系统及方法
CN109947117A (zh) * 2019-04-19 2019-06-28 辽宁工业大学 一种适用于单目视觉物流配送小车的伺服同步控制系统及控制方法
WO2020252688A1 (en) * 2019-06-19 2020-12-24 Powervision Tech (Suzhou) Ltd. Target recognition based on image information, system for target recognition based on image information
CN112400147A (zh) * 2019-07-10 2021-02-23 深圳市大疆创新科技有限公司 算法配置方法、设备、系统及可移动平台
WO2021003692A1 (zh) * 2019-07-10 2021-01-14 深圳市大疆创新科技有限公司 算法配置方法、设备、系统及可移动平台
CN112748755A (zh) * 2019-10-30 2021-05-04 山东科技大学 一种基于视觉识别的温度控制装置
CN112748755B (zh) * 2019-10-30 2022-06-03 山东科技大学 一种基于视觉识别的温度控制装置
CN111103891B (zh) * 2019-12-30 2021-03-16 西安交通大学 一种基于骨骼点检测的无人机快速姿势控制系统与方法
CN111103891A (zh) * 2019-12-30 2020-05-05 西安交通大学 一种基于骨骼点检测的无人机快速姿势控制系统与方法
CN111931657A (zh) * 2020-08-11 2020-11-13 中国原子能科学研究院 目标物识别系统、方法以及存储介质
CN113841380A (zh) * 2020-10-20 2021-12-24 深圳市大疆创新科技有限公司 确定目标跟随策略的方法、装置、系统、设备及存储介质
WO2022082440A1 (zh) * 2020-10-20 2022-04-28 深圳市大疆创新科技有限公司 确定目标跟随策略的方法、装置、系统、设备及存储介质
CN116563835A (zh) * 2023-05-11 2023-08-08 梅卡曼德（北京）机器人科技有限公司 转运方法、转运设备和电子设备
CN116563835B (zh) * 2023-05-11 2024-01-26 梅卡曼德（北京）机器人科技有限公司 转运方法、转运设备和电子设备

Also Published As

Publication number Publication date
US10802491B2 (en) 2020-10-13
WO2017147792A1 (en) 2017-09-08
US20190011922A1 (en) 2019-01-10
CN108292141B (zh) 2022-07-01
US20210011478A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
CN108292141A (zh) 用于目标跟踪的方法和系统
US11720126B2 (en) Motion and image-based control system
CN105518555B (zh) 目标追踪系统及方法
CN108701362A (zh) 目标跟踪期间的障碍避免
US11295458B2 (en) Object tracking by an unmanned aerial vehicle using visual sensors
CN107111361B (zh) 促进用于增强现实的动态非视觉标记的方法和装置
US11048277B1 (en) Objective-based control of an autonomous unmanned aerial vehicle
CN109791405A (zh) 用于控制由成像装置捕捉的图像的系统和方法
CN109643129A (zh) 自主着陆的方法和系统
CN108886572A (zh) 调整图像焦点的方法和系统
CN107209854A (zh) 用于支持顺畅的目标跟随的系统和方法
CN110049921A (zh) 用于红外跟踪的方法和系统
CN109983468A (zh) 使用特征点检测和跟踪对象的方法和系统
CN111344644A (zh) 用于基于运动的自动图像捕获的技术
CN109792543A (zh) 根据可移动物捕获的图像数据创建视频抽象的方法和系统
US20230259132A1 (en) Systems and methods for determining the position of an object using an unmanned aerial vehicle
WO2022141187A1 (en) Systems and methods for controlling an unmanned aerial vehicle using a body-attached remote control
JP2021073796A (ja) 制御装置、及び画像を取得する方法
US20200106958A1 (en) Method and system for operating a movable platform using ray-casting mapping
WO2024087456A1 (zh) 确定朝向信息以及自动驾驶车辆
CN109073877A (zh) 光程调节

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220701

CF01 Termination of patent right due to non-payment of annual fee