CN113589833A - 用于视觉目标跟踪的方法 - Google Patents

用于视觉目标跟踪的方法 Download PDF

Info

Publication number
CN113589833A
CN113589833A CN202110917955.3A CN202110917955A CN113589833A CN 113589833 A CN113589833 A CN 113589833A CN 202110917955 A CN202110917955 A CN 202110917955A CN 113589833 A CN113589833 A CN 113589833A
Authority
CN
China
Prior art keywords
target object
image
bounding box
imaging device
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110917955.3A
Other languages
English (en)
Inventor
钱杰
赵从
封旭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202110917955.3A priority Critical patent/CN113589833A/zh
Publication of CN113589833A publication Critical patent/CN113589833A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B64U2101/64—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons for parcel delivery or retrieval
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种用于控制可移动物体对目标物体进行跟踪的方法。所述方法可以包括：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。

Description

用于视觉目标跟踪的方法
技术领域
本发明涉及视觉处理技术领域，更具体地涉及一种对目标进行视觉跟踪的方法。
背景技术
在一些用于现实世界应用的监控、侦察和勘探任务中，可能需要检测和跟踪移动目标物体。携带负载的可移动物体(例如，携带相机的飞行器)可以用于使用例如视觉跟踪方法来跟踪目标物体。然而，现有的视觉跟踪方法通常可能未顾及到飞行器和/或相机相对于目标的空间排列。在一些情况下，一个或多个操作者可能必须手动选择所要跟踪的目标物体，以及手动控制飞行器和/或相机来跟踪移动目标。这种有限的跟踪能力可能降低飞行器在某些应用中的效用。
发明内容
需要改进用于移动目标视觉跟踪的现有方法。改进的跟踪能力可以使得携带成像设备的可移动物体能够准确地跟踪目标，即使所述可移动物体和所述成像设备可能相对于所述目标处于不同的空间排列。改进的跟踪能力可以允许自动检测目标物体及其移动。所述可移动物体和所述成像设备可以用于自主地跟踪所述目标物体，而无需用户的手动输入或操作。当所述可移动物体和所述成像设备相对于所述目标处于不同的高度、距离和/或朝向时，改进的跟踪能力可能特别有用。改进的跟踪能力可以合并到飞行器(诸如无人飞行器(UAV))中。
在基于视觉的跟踪方法中，可以使用位于飞行器上的成像设备来跟踪目标物体。视觉跟踪方法可以是手动的或自动的。
在一些手动视觉跟踪方法中，可以首先使用成像设备来捕获一个或多个图像帧，并且操作者可以手动地从所述一个或多个图像帧中选择所要跟踪的目标物体。所述手动选择可以使用输入设备，例如，使用平板计算机、移动设备或个人计算机(PC)来执行。在一些情况下，飞行器可被配置为在所述操作者已经使用所述输入装置手动选择目标物体之后自动跟踪所述目标物体。在其他情况下，即使在已经选择所述目标物体之后，所述操作者仍可继续手动控制所述飞行器所述目标物体进行跟踪。
在一些自动视觉跟踪方法中，可以使用可自动检测特定类型的物体或携带标记的物体的跟踪算法来实现跟踪。物体的类型可以基于不同的物体类别(例如，人、建筑物、地貌等)。所述标记可以包括一个或多个包含独特图案的光学标记。还可以基于预定特征(例如，颜色、结构、显著特征等)和/或通过建模(例如，物体类别)来定义目标物体。在定义了目标物体之后，可以在所述目标物体移动时实时地检测和计算所述特征和/或模型的移动。在这些方法中，对所述目标的精确跟踪可能通常需要所述特征和/或模型的高一致性。特别地，所述跟踪精度水平可取决于所述特征之间的空间关系和/或所述模型中的误差。
在一些情况下，可以由跟踪指示符来注释目标物体的图像，以将所述目标物体与图像帧内的其他非跟踪物体区分开。所述跟踪指示符可以是围绕所述图像帧内的所述目标物体的所述图像的框、圆圈或任何其他几何形状。所述图像帧和所述跟踪指示符通常位于二维图像平面上。因此，仅所述跟踪指示符本身可能无法提供关于所述飞行器/成像设备与所述目标之间的空间排列的足够信息。例如，空间指示符可以在一组图像帧内具有相同的大小、形状和/或位置，即使该组图像帧是在所述飞行器/成像设备相对于所述目标处于不同的空间排列时捕获的。因此，现有的视觉跟踪方法对于跟踪移动目标可能是不足的，特别是当所述飞行器/成像设备相对于所述目标处于不同的距离(横向/垂直)和/或不同的朝向(俯仰/横滚/航向)时情况尤为如此。
因此，需要提高可移动物体(例如，飞行器)在不同条件下针对要求高准确度/精确度的多种应用的跟踪能力和稳健性。所述条件可以包括室内环境和室外环境、无GPS信号的地点或GPS信号接收不良的地点等。所述应用可以包括当所述可移动物体/成像设备相对于所述目标物体处于不同的空间排列时，对正在移动的目标物体进行精确跟踪。所述目标物体可以包括不携带GPS装置的物体、能够在任何方向上移动的物体，或者上述物体的任何组合。本文提供了至少满足上述需求的系统、方法和设备。
例如，在本发明的一些方面，可以提供一种用于控制可移动物体对目标物体进行跟踪的方法。所述方法可以包括：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。
根据本发明的另一方面，可以提供一种用于控制可移动物体对目标物体进行跟踪的装置。所述装置可以包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。
本发明的其他方面可以涉及一种非易失性计算机可读介质，其储存指令，所述指令当被执行时使计算机执行用于控制可移动物体对目标物体进行跟踪的方法。所述方法可以包括：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。
根据本发明的附加方面，可以提供一种无人飞行器(UAV)系统。所述无人飞行器系统可以包括：一种能够操作用于控制所述无人飞行器对目标物体进行跟踪的装置，所述装置包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置为：确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；以及基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述无人飞行器的移动。
应当明白，本发明的不同方面可被单独地、共同地或彼此结合地理解。本文所描述的本发明的各个方面可以适用于下文阐述的任何特定应用或者适用于任何其他类型的可移动物体。本文对飞行器的任何描述均可适用于和用于任何可移动物体，诸如任何载具。此外，本文在空中运动(例如，飞行)的情景下公开的系统、设备和方法还可以适用于其他类型运动的情景下，诸如在地面上或在水上的移动、水下运动或者在太空中的运动。
通过考察说明书、权利要求书和附图，本发明的其他目标和特征将会变得显而易见。
援引并入
本说明书中所提及的所有出版物、专利和专利申请均通过引用而并入于此，其程度犹如具体地和个别地指出要通过引用而并入每一个别出版物、专利或专利申请。
附图说明
本发明的新颖特征特别地体现在后述权利要求项中。为更好地理解本发明的所述特征和有益效果，可结合参考下述具体实施方式中的实施方式及相对应的附图：
图1图示了根据一些实施方式的视觉跟踪系统；
图2图示了根据一些实施方式，跟踪设备相对于目标物体的不同空间排列；
图3图示了根据一些实施方式，当跟踪设备位于相对于目标物体的不同位置时，目标物体向图像平面上的投影；
图4图示了根据一些实施方式，当跟踪设备在该跟踪设备的运动期间相对于目标物体处于不同空间排列时，目标物体向图像平面上的投影；
图5图示了根据一些实施方式的，被配置为控制跟踪设备对目标物体进行跟踪的视觉跟踪系统的框图；
图6图示了根据一些实施方式，由跟踪设备上的成像设备生成的图像平面上的横向方向和纵向方向上的每个像素表示的示例性角度；
图7图示了根据一些实施方式，当目标物体在与跟踪设备上的成像设备的光轴正交的方向上相对于跟踪设备移动时，多个图像帧中的边界框的位置变化；
图8图示了根据一些实施方式，图7的实施方式的不同视觉描绘；
图9图示了根据一些实施方式的，用于基于跟踪设备与目标物体之间的相对平移移动来跟踪图7和图8中的目标物体的示例性反馈控制回路的框图；
图10图示了根据一些实施方式，通过相对于目标物体围绕俯仰轴旋转跟踪设备上的成像设备来跟踪目标物体；
图11图示了根据一些实施方式，通过相对于目标物体围绕航向轴旋转跟踪设备上的成像设备来跟踪目标物体；
图12图示了根据一些实施方式的，用于基于跟踪设备相对于目标物体的朝向的变化来跟踪图10和图11中的目标物体的示例性反馈控制回路的框图；
图13图示了根据一些实施方式，当目标物体在沿着和平行于跟踪设备上的成像设备的光轴的方向上相对于跟踪设备移动时，多个图像帧中的边界框的大小变化；
图14图示了根据一些实施方式的，用于基于跟踪设备与目标物体之间在沿着和平行于光轴的方向上的相对平移移动来跟踪图13中的目标物体的示例性反馈控制回路的框图；
图15图示了根据一些实施方式，当跟踪设备相对于目标物体处于任意空间排列时，对目标物体的跟踪；
图16图示了根据一些实施方式，当图15中的目标物体以相对于跟踪设备以平移运动移动时，对该目标物体的跟踪；
图17图示了根据一些实施方式，图16的实施方式的不同视觉描绘；
图18图示了根据一些实施方式的，用于基于跟踪设备与目标物体之间的相对平移移动来跟踪图16和图17中的目标物体的示例性反馈控制回路的框图；
图19图示了根据一些实施方式，使用图18的反馈控制系统对图16和图17的目标物体的跟踪；
图20图示了根据一些实施方式的，用于基于跟踪设备与目标物体之间的相对位移变化的最小化来跟踪图16和图17中的目标物体的示例性反馈控制回路的框图；
图21图示了根据一些实施方式，通过改变跟踪设备相对于目标物体的朝向对图15的目标物体的跟踪；
图22图示了根据一些实施方式，图21的实施方式的不同视觉描绘；
图23图示了根据一些实施方式，当跟踪设备相对于目标物体在航向方向和俯仰方向上改变其朝向时，多个图像帧中的边界框的位置变化；
图24是根据一些实施方式的，用于控制跟踪设备的系统的示意框图。
具体实施方式
本文所描述的系统、方法和设备允许以高精度和准确度来跟踪目标物体。这可以提高跟踪设备的跟踪能力。例如，所述系统、方法和设备可以用于在跟踪设备相对于移动目标物体处于不同的空间排列的同时准确地跟踪该目标物体。跟踪设备可以包括被配置为跟踪和/或跟随目标物体的可移动物体。可移动物体可以携带负载，该负载包括提供视觉跟踪能力的成像设备。在一些实施方式中，成像设备可以刚性地附接到可移动物体，使得可移动物体和成像设备的平移和/或旋转移动关于一个或多个轴相同。可选地，成像设备可以集成到可移动物体的外壳中以形成可移动物体的一部分。在其他实施方式中，成像设备可以经由载体而可旋转地耦合到可移动物体。该载体可以包括一个或多个云台级，所述云台级可以允许载体相对于可移动物体围绕一个或多个轴的移动。本文所使用的跟踪设备可以是指成像设备。本文所使用的跟踪设备还可以是指成像设备所附接/耦合到的可移动物体。可选地，本文所使用的跟踪设备可以是指成像设备所附接/耦合到的不可移动物体。在本发明的各个实施方式中，可移动物体和位于其上的成像设备可以统称为跟踪设备。本领域普通技术人员将会很容易理解，本文所使用的跟踪设备可以包括能够用于支持目标物体视觉跟踪的可移动和/或不可移动物体、光学和/或机械设备、硬件和/或软件组件等。
成像设备可被配置为捕获目标物体的图像。所述目标物体的图像可以描绘于多个图像帧内。例如，第一图像帧可以包括目标物体的第一图像，而第二图像帧可以包括目标物体的第二图像。可以在不同的时间点捕获目标物体的第一图像和第二图像。
跟踪设备可以包括图像分析器。图像分析器可别配置为分析第一图像帧和第二图像帧，以确定一个或多个特征在目标物体的第一图像与目标物体的第二图像之间的变化。所述一个或多个特征可以与目标物体的图像相关联。所述一个或多个特征的变化可以包括该一个或多个特征的大小和/或位置的变化。所述一个或多个特征还可以与跟踪指示符相关联。目标物体的图像可以由跟踪指示符注释，以便在图像帧内区分目标物体与其他非跟踪物体。跟踪指示符可以是围绕图像帧内的目标物体的图像的框、圆圈或任何其他几何形状。
图像分析器可以使用软件和/或硬件来实现，并且可以位于跟踪设备上或远离跟踪设备的任何位置。例如，在一些实施方式中，图像分析器可以具备成像设备。在其他实施方式中，图像分析器可以具备用于可移动物体的运动控制器。运动控制器可以位于可移动物体上或远离可移动物体之处。在一些其他实施方式中，图像分析器可以提供在用于控制跟踪设备的远程用户终端上。例如，用户可以使用远程用户终端来控制可移动物体和成像设备中的每一个的移动和/或感测功能。在一些其他实施方式中，图像分析器可以提供在远程服务器或地面站处。远程服务器或地面站可以与跟踪设备直接通信。或者，远程服务器或地面站可以经由远程用户终端而与跟踪设备通信。
在一些实施方式中，跟踪指示符可以是边界框。边界框可被配置成基本上围绕第一图像帧和第二图像帧内的目标物体的第一图像和第二图像。边界框可以具有规则形状或不规则形状。例如，边界框可以是圆形、椭圆形、多边形或任何其他几何形状。
所述一个或多个特征可以对应于边界框的一个或多个几何和/或位置特性。例如，边界框的一个或多个几何特性可以对应于图像帧内的边界框的大小。边界框的大小例如可以包括边界框的高度。边界框的位置特性可以对应于图像帧内的边界框的位置。边界框的位置可以由图像帧内的一组图像坐标来表示。边界框的大小和/或位置可随着目标物体与跟踪设备之间的空间排列的变化而变化。在一些情况下，空间排列的变化可以是在目标物体与成像设备之间。或者，空间排列的变化可以是在目标物体与可移动物体之间。空间排列的变化可以包括目标物体与跟踪设备之间的距离和/或朝向的变化。在一些情况下，距离和/或朝向的变化可以是在目标物体与成像设备之间。或者，距离和/或朝向的变化可以是在目标物体与可移动物体之间。
在一些实施方式中，图像分析器可被配置为确定第一图像帧与第二图像帧之间的边界框的大小和/或位置的变化。图像分析器还可被配置为向运动控制器提供指示出边界框的大小和/或位置的变化的数据。运动控制器可被配置为基于第一图像帧与第二图像帧之间的边界框的大小和/或位置的变化来调整跟踪设备的移动以便跟踪目标物体。运动控制器可以调整跟踪设备的一个或多个组件的移动。例如，运动控制器可以基于第一图像帧与第二图像帧之间的边界框的大小和/或位置的变化，来调整成像设备和/或可移动物体的移动以便跟踪目标物体。
因此，可以使用上述系统、方法或设备中的一个或多个来准确地和精确地跟踪目标物体。目标物体可以包括不携带GPS装置的物体、能够在任何方向上移动的物体，或者上述的任何组合。
应当明白，本发明的不同方面可被单独地、共同地或彼此结合地理解。本文所描述的本发明的各个方面可以适用于下文阐述的任何特定应用或者适用于任何其他类型的遥控载具或可移动物体。
本发明提供了用于提高跟踪设备的跟踪能力的系统、设备和/或方法的实施方式。跟踪设备可以是可移动物体，诸如携带用于支持目标物体视觉跟踪的成像设备的无人飞行器(UAV)。提高的跟踪能力可以实现当跟踪设备相对于目标物体位于不同的空间排列时对移动目标物体的自主跟踪。不同的空间排列可以包括跟踪设备相对于目标的不同高度、距离和/或朝向。对UAV的描述可适用于任何类型的载具，例如，陆行、地下、水下、水面、空中或天基载具。
图1图示了根据一些实施方式的视觉跟踪系统。视觉跟踪系统可以包括一个或多个跟踪设备。跟踪设备可被配置为跟踪或跟随一个或多个目标物体。跟踪设备可以是成像设备或携带成像设备的可移动物体。成像设备可以形成由可移动物体携带的负载的一部分。可选地，成像设备可以集成到可移动物体中并且形成其一部分。
图1的部分A示出了视觉跟踪系统100，其包括被配置为在环境内跟踪或跟随目标物体108的跟踪设备101。跟踪设备可以包括被配置为在环境内跟踪或跟随目标物体的可移动物体102。可移动物体可以是能够穿越环境的任何物体。可移动物体可以能够穿越空气、水、陆地和/或空间。环境可以包含不能运动的物体(静止物体)和能够运动的物体。静止物体的示例可以包括地理特征、植物、地标、建筑物、整体构造物或任何固定构造物。能够运动的物体的示例包括人、载具、动物、抛射物等。
在一些情况下，环境可以是惯性参考系。惯性参考系可以用于均一地、各向同性地，并以与时间无关的方式描述时间和空间。惯性参考系可以相对于可移动物体而建立，并且可以根据可移动物体而移动。可以通过变换(例如，牛顿物理学中的伽利略变换)来将该惯性参考系中的测量结果转换成另一参考系(例如，整体参考系)中的测量结果。
可移动物体可以是载具。载具可以是自推进式载具。载具可以借助于一个或多个动力单元而穿越环境。载具可以是飞行器、陆基载具、水基载具或天基载具。载具可以是无人载具。载具可以能够在不搭载人类乘员的情况下穿越环境。或者，载具可以携带人类乘员。在一些实施方式中，可移动物体可以是无人飞行器(UAV)。
本文对UAV或任何其他类型的可移动物体的任何描述总体上均可适用于任何其他类型的可移动物体或各类可移动物体，或者反之亦然。例如，本文对UAV的任何描述均可适用于任何无人陆行载具、水基载具或天基载具。在本文其他各处更详细地提供了可移动物体的进一步示例。
如上文所述，可移动物体可以能够穿越环境。可移动物体可以能够在三个维度内飞行。可移动物体可以能够沿着一个、两个或三个轴空间平移。该一个、两个或三个轴可彼此正交。所述轴可以是沿着俯仰轴、航向轴和/或横滚轴。该可移动物体可以能够围绕一个、两个或三个轴旋转。该一个、两个或三个轴可彼此正交。该轴可以是俯仰轴、航向轴和/或横滚轴。可移动物体可以能够沿着多达六个自由度移动。可移动物体可以包括可协助该可移动物体进行移动的一个或多个动力单元。例如，可移动物体可以是具有一个、两个或更多个动力单元的UAV。动力单元可被配置为为UAV生成升力。动力单元可以包括旋翼。可移动物体可以是多旋翼UAV。
可移动物体可以具有任何物理配置。例如，可移动物体可以具有中央主体，以及从该中央主体延伸的一个或多个臂或分支。所述臂可从中央主体横向或径向延伸。该臂可以是相对于中央主体可移动的，或者可以是相对于中央主体静止的。该臂可以支撑一个或多个动力单元。例如，每个臂可以支撑一个、两个或更多个动力单元。
可移动物体可以具有外壳。该外壳可以是由单个整体件、两个整体件或多个零件形成的。该外壳可以包括空腔，在该空腔内安置一个或多个部件。该部件可以是电气部件，诸如飞行控制器、一个或多个处理器、一个或多个存储器存储单元、一个或多个传感器(例如，一个或多个惯性传感器或本文其他各处描述的任何其他类型的传感器)、一个或多个导航单元(例如，全球定位系统(GPS)单元)、一个或多个通信单元，或者任何其他类型的部件。所述外壳可以具有单个空腔或多个空腔。在一些情况下，飞行控制器可与一个或多个动力单元通信，并且/或者可控制一个或多个动力单元的操作。该飞行控制器可借助于一个或多个电子调速(electronic speed control，ESC)模块而与一个或多个动力单元通信以及/或者控制其操作。该飞行控制器可与ESC模块通信以控制动力单元的操作。
可移动物体可以支撑机载负载106。在图1的部分A中，负载可以固定或集成到可移动物体中，使得该负载相对于可移动物体具有固定位置。可选地，负载可以耦合到可移动物体并且能够相对于可移动物体移动，如下文参考图1的部分B所述。
负载可以包括能够感测可移动物体周围环境的设备、能够向环境中发射信号的设备和/或能够与环境相互作用的设备。
一个或多个传感器可被提供作为负载，并且可以能够感测环境。该一个或多个传感器可以包括成像设备。成像设备可以是物理成像设备。成像设备可被配置为检测电磁辐射(例如，可见光、红外光和/或紫外光)，以及基于所检测到的电磁辐射来生成图像数据。成像设备可以包括响应于各个波长的光而生成电信号的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。可以处理所得的电信号以产生图像数据。由成像设备生成的图像数据可以包括一个或多个图像，所述图像可以是静态图像(例如，照片)、动态图像(例如，视频)，或者其适当组合。图像数据可以是多色的(例如，RGB、CMKY、HSV)或单色的(例如，灰度、黑白、棕褐)。成像设备可以包括镜头，该镜头被配置为将光导引到图像传感器上。
成像设备可以是相机。相机可以是捕获动态图像数据(例如，视频)的摄像机或视频相机。相机可以是捕获静态图像(例如，照片)的照相机。相机可以既捕获动态图像数据又捕获静态图像。相机可以在捕获动态图像数据与静态图像之间切换。尽管在相机的上下文中描述了本文提供的某些实施方式，但应当理解，本公开内容可以适用于任何合适的成像设备，并且本文关于相机的任何描述亦可适用于任何合适的成像设备，并且本文关于相机的任何描述亦可适用于其他类型的成像设备。相机可以用于生成3D场景(例如，环境、一个或多个物体等)的2D图像。由相机生成的图像可以表示3D场景到2D图像平面上的投影。因此，2D图像中的每个点对应于场景中的3D空间坐标。相机可以包含光学元件(例如，透镜、反射镜、滤光器等)。相机可以捕获彩色图像、灰度图像、红外图像等。当相机被配置为捕获红外图像时，其可以是热成像设备。
在一些实施方式中，负载可以包括多个成像设备，或者包括具有多个镜头和/或图像传感器的成像设备。负载可以能够基本上同时地拍摄多个图像。该多个图像可以帮助创建3D场景、3D虚拟环境、3D地图或3D模型。例如，可以拍摄右图像和左图像，并将其用于立体绘图。可以从经校准的双目图像来计算深度图。可以同时拍摄任何数目的图像(例如，2个或更多个、3个或更多个、4个或更多个、5个或更多个、6个或更多个、7个或更多个、8个或更多个、9个或更多个)来帮助创建3D场景/虚拟环境/模型以及/或者深度绘图。所述图像可以定向于基本上相同的方向上，或者可以定向于略有不同的方向上。在一些情况下，来自其他传感器的数据(例如，超声数据、激光雷达(LIDAR)数据、来自本文其他各处描述的任何其他传感器的数据，或者来自外部设备的数据)可以帮助创建2D或3D图像或地图。
成像设备可以按特定图像分辨率来捕获图像或图像序列。在一些实施方式中，图像分辨率可由图像中像素的数目来定义。在一些实施方式中，图像分辨率可大于或等于约352x420像素、480x320像素、720x480像素、1280x720像素、1440x1080像素、1920x1080像素、2048x1080像素、3840x2160像素、4096x2160像素、7680x4320像素，或者15360x8640像素。在一些实施方式中，相机可以是4K相机或具有更高分辨率的相机。
成像设备可以按特定的捕获速率来捕获图像序列。在一些实施方式中，该图像序列可以是按标准视频帧率捕获的，所述标准视频帧率诸如为约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i。在一些实施方式中，该图像序列可以是按小于或等于约每0.0001秒一个图像、每0.0002秒一个图像、每0.0005秒一个图像、每0.001秒一个图像、每0.002秒一个图像、每0.005秒一个图像、每0.01秒一个图像、每0.02秒一个图像、每0.05秒一个图像、每0.1秒一个图像、每0.2秒一个图像、每0.5秒一个图像、每1秒一个图像、每2秒一个图像、每5秒一个图像或每10秒一个图像的速率捕获的。在一些实施方式中，该捕获速率可根据用户输入和/或外部条件(例如，环境的雨、雪、风、不明显表面纹理)而改变。
成像设备可以具有可调参数。在不同参数下，可以在经受相同外部条件(例如，位置、光照)的同时通过成像设备来捕获不同图像。可调参数可以包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、反差系数(gamma)、感兴趣区域、像素组合(binning)/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达成像设备中的图像传感器的光量。例如，快门速度可以控制到达图像传感器的光的时间量，而光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制来自光学传感器的信号的放大。ISO可以控制相机对可用光的敏感度水平。控制曝光和增益的参数在本文中可共同视为和称为EXPO。
在一些备选实施方式中，成像设备可扩展到物理成像设备之外。例如，成像设备可以包括能够捕获和/或生成图像或视频帧的任何技术。在一些实施方式中，成像设备可以涉及能够处理从另一物理设备获得的图像的算法。
负载可以包括一种或多种类型的传感器。各种类型的传感器的一些示例可以包括位置传感器(例如，全球定位系统(GPS)传感器、支持位置三角测量法的移动设备发射器)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像设备，诸如相机)、距离或范围传感器(例如，超声传感器、激光雷达、渡越时间或深度相机)、惯性传感器(例如，加速度计、陀螺仪和/或重力检测传感器，其可形成惯性测量单元(inertial measurement unit，IMU))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)、温度传感器、湿度传感器、振动传感器、音频传感器(例如，麦克风)和/或场传感器(例如，磁力计、电磁传感器、无线电传感器)。
负载可以包括一个或多个能够向环境中发射信号的设备。例如，负载可以包括沿着电磁频谱的发射器(例如，可见光发射器、紫外发射器、红外发射器)。负载可以包括激光器或任何其他类型的电磁发射器。负载可以发射一个或多个振动，诸如超声信号。负载可以发射可听的声音(例如，来自扬声器)。负载可以发射无线信号，诸如无线电信号或其他类型的信号。
负载可以能够与环境相互作用。例如，负载可以包括机械臂。负载可以包括用于递送诸如液体、气体和/或固体组分的物品。例如，负载可以包括杀虫剂、水、肥料、消防材料、食物、包装或任何其他物品。
本文中负载的任何示例均可适用于可以由可移动物体携带的或者可以作为可移动物体的一部分的设备。例如，一个或多个传感器可以是可移动物体的一部分。可以提供或者可以不提供除了负载之外的一个或多个传感器。这可以适用于任何类型的负载，诸如本文中所述的那些负载。
可移动物体可以朝着目标物体行进、跟随目标物体和/或跟踪目标物体。目标物体可以是静止目标或移动目标。在一些情况下，用户可以从图像帧识别目标物体，并且还可以指定目标物体是静止目标还是移动目标。或者，用户可以提供对于目标物体是静止目标还是移动目标的任何其他类型的指示符。或者，可以不提供任何指示，并且可以借助于一个或多个处理器自动进行确定，可选地，不需要用户输入目标物体是静止目标还是移动目标。目标物体可以根据其运动状态被分类为静止目标或移动目标。在一些情况下，目标物体可在任何给定时间点移动或静止。当目标物体移动时，目标物体可以被分类为移动目标。相反，当同一目标物体静止时，目标物体可以被分类为静止目标。或者，目标物体可以由诸如人或动物等活体或者诸如载具等可移动物体所携带。
静止目标可以在环境内保持基本上静止。静止目标的示例可以包括但不限于地貌特征(例如，树木、植物、山岳、丘陵、河流、溪流、小溪、山谷、巨石、岩石等)或人造特征(例如，构造物、建筑物、道路、桥梁、杆、栅栏、不动的载具、标牌、灯等)。静止目标可以包括大目标或小目标。用户可选择静止目标。或者，可以使用一个或多个图像识别方法来识别静止目标。可选地，可以对静止目标进行绘图。可移动物体可以向静止目标行进。可以规划使可移动物体向静止目标行进的路径(例如，飞行路径)。或者，可移动物体可以在无需规划路径的情况下向静止目标行进。在一些情况下，静止目标可以对应于构造物或物体的选定部分。例如，静止目标可对应于摩天大楼的特定部分(例如，顶楼)。
移动目标可以能够在环境内移动。移动目标可以总是处于运动中，或者可以在部分时间内处于运动中。移动目标可以在相当稳定的方向上移动或者可以改变方向。移动目标可以在空中、在陆地上、在地下、在水上或水中和/或在太空中移动。移动目标可以是活体移动目标(例如，人、动物)或非活体移动目标(例如，移动载具、移动机械、风中吹动的物体或由水携带的物体、由活体目标携带的物体)。移动目标可以包括单个移动物体或一组移动物体。例如，移动目标可以包括单个人或一组移动的人。移动目标可以是大目标或小目标。用户可以选择移动目标。可以识别移动目标。可选地，可以对移动目标进行绘图。可移动物体可以向移动目标行进和/或视觉地跟踪移动目标。可以规划使可移动物体向移动目标行进的路径(例如，飞行路径)。当移动目标移动时，可以改变或更新路径。或者，可移动物体可以在无需规划路径的情况下向移动目标行进和/或视觉地跟踪移动目标。
移动目标可以是被配置为在任何合适的环境内移动的任何物体，诸如在空中(例如，固定翼航空器、旋翼航空器或者既不具有固定翼也不具有旋翼的航空器)、在水中(例如，船舶或潜艇)、在地面上(例如，机动车，诸如轿车、卡车、公交车、厢式货车、摩托车；可移动构造物或框架，诸如棒状物、钓鱼竿；或者火车)、在地下(例如，地铁)、在太空(例如，航天飞机、卫星或探测器)，或者这些环境的任何组合。
移动目标可能能够在所述环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)而自由移动。或者，移动目标的移动可能关于一个或多个自由度受到约束，诸如由预定路径、轨迹或朝向所约束。所述移动可以由诸如引擎或马达等任何合适的致动机构所致动。移动目标的致动机构可以由任何合适的能源提供动力，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。移动目标可以经由动力系统而自推进，如下文进一步描述。所述动力系统可以可选地依靠能源运行，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。
在一些情况下，移动目标可以是诸如遥控载具等载具。合适的载具可以包括水上载具、飞行器、太空载具或地面载具。例如，飞行器可以是固定翼航空器(例如，飞机、滑翔机)、旋翼航空器(例如，直升机、旋翼飞机)、同时具有固定翼和旋翼的航空器或者既无固定翼又无旋翼的航空器(例如，飞艇、热气球)。载具可以是自推进式，诸如在空中、在水上或水中、在太空中或者在地上或地下自推进。自推进式载具可以利用动力系统，诸如包括一个或多个引擎、马达、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的动力系统。在一些情况下，动力系统可以用于使可移动物体能够从表面起飞、降落到表面上、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。
可移动物体例如可以是UAV。目标物体可以是与跟踪设备相同类型的可移动物体，或者可以是与跟踪设备不同类型的可移动物体。例如，在一些实施方式中，跟踪设备和目标物体可以全都是UAV。跟踪设备和目标物体可以是相同类型的UAV或不同类型的UAV。不同类型的UAV可以具有不同的形状、形状因子、功能性或其他特性。目标物体和跟踪设备可相对于一个或多个背景物体在三维空间中移动。本文使用的背景物体可以是指基本上固定于某一位置处的物体。背景物体可能不能够运动，诸如静止物体。背景物体的示例可以包括地理特征(例如，山岳)、地标(例如，桥梁)、建筑物(例如，摩天大楼、体育场等)或任何固定构造物。此外，背景物体可以包括在第一时刻静止于某一位置而在第二时刻移动的物体。一些背景物体或背景物体的一部分可能能够运动(例如，具有可伸缩屋顶的体育场、抬升以允许水上载具通过的可移动桥梁等)。
如图1的部分A中所示，视觉跟踪系统100还可以包括图像分析器107。图像分析器可以是位于跟踪设备上或远离跟踪设备的硬件和/或软件部件。图像分析器可以与负载可操作地通信。例如，图像分析器可被配置为接收和分析由负载(例如，由成像设备)收集的图像数据。图像数据可以包括由成像设备捕获的目标物体的图像。所述目标物体的图像可以描绘于多个图像帧内。例如，第一图像帧可以包括目标物体的第一图像，而第二图像帧可以包括目标物体的第二图像。可以在不同的时间点捕获目标物体的第一图像和第二图像。
图像分析器可被配置为分析第一图像帧和第二图像帧，以确定一个或多个特征在目标物体的第一图像与目标物体的第二图像之间的变化。所述一个或多个特征可以与目标物体的图像相关联。所述一个或多个特征的变化可以包括该一个或多个特征的大小和/或位置的变化。所述一个或多个特征还可以与跟踪指示符相关联。目标物体的图像可以由跟踪指示符注释，以便在图像帧内区分目标物体与其他非跟踪物体。跟踪指示符可以是围绕图像帧内的目标物体的图像的框、圆圈或任何其他几何形状。
在一些实施方式中，跟踪指示符可以是边界框。边界框可被配置成基本上围绕第一图像帧/第二图像帧内的目标物体的第一图像/第二图像。边界框可以具有规则形状或不规则形状。例如，边界框可以是圆形、椭圆形、多边形或任何其他几何形状。
所述一个或多个特征可以对应于边界框的一个或多个几何和/或位置特性。例如，边界框的一个或多个几何特性可以对应于图像帧内的边界框的大小。边界框的位置特性可以对应于图像帧内的边界框的位置。边界框的大小和/或位置可随着目标物体与跟踪设备之间的空间排列的变化而变化。空间排列的变化可以包括目标物体与跟踪设备之间的距离和/或朝向的变化。
在一些实施方式中，图像分析器可被配置为确定第一图像帧与第二图像帧之间的边界框的大小和/或位置的变化。图像分析器还可被配置为向反馈控制器(未示出)提供指示出边界框的大小和/或位置的变化的数据。反馈控制器可被配置为基于第一图像帧与第二图像帧之间的边界框的大小和/或位置的变化来调整跟踪设备的移动以便跟踪目标物体。反馈控制器可以提供于视觉跟踪系统100内的任何位置。例如，反馈控制器可以是跟踪设备的运动控制器的一部分。运动控制器可以位于可移动物体的主体上，或者远离跟踪设备。例如，运动控制器可以位于用来控制跟踪设备的远程用户终端(未示出)上。在一些实施方式中，反馈控制器可被配置为基于边界框的大小和/或位置在第一图像帧与第二图像帧之间的变化，来调整成像设备的移动以便跟踪目标物体。
如先前所述，所述一个或多个特征可以与目标物体的图像相关联。在一些实施方式中，所述一个或多个特征可以包括一个或多个特征点。特征点可以是可从图像的其余部分和/或图像中的其它特征点唯一地区分开的图像部分(例如，边缘、角点、兴趣点、斑点、凸脊等)。可选地，特征点对于所成像的物体的变换(例如，平移、旋转、缩放)和/或图像的特性变化(例如，亮度、曝光)可以是相对不变的。可以在富含信息内容(例如，显着的2D纹理)的图像部分中检测特征点。可以在扰动下(例如，当改变图像的照明和亮度时)稳定的图像部分中检测特征点。
可以使用可从图像数据提取一个或多个特征点的各种算法(例如，纹理检测算法)来检测特征点。算法可以附加地关于特征点进行各种计算。例如，算法可以计算特征点的总数或“特征点数”。算法还可以计算特征点的分布。例如，特征点可以广泛地分布在图像(例如，图像数据)或图像的分段内。例如，特征点可以狭窄地分布在图像(例如，图像数据)或图像的分段内。算法还可以计算特征点的质量。在一些情况下，可以基于通过本文提到的算法(例如，FAST、角点检测器、Harris等)计算得出的值来确定或评价特征点的质量。
该算法可以是边缘检测算法、角点检测算法、斑点检测算法或凸脊检测算法。在一些实施方式中，角点检测算法可以是“加速分割检测特征”(features from acceleratedsegment test，FAST)。在一些实施方式中，特征检测器可以提取特征点以及使用FAST进行关于特征点的计算。在一些实施方式中，特征检测器可以是Canny边缘检测器、Sobel算子、Harris&Stephens/Plessy/Shi-Tomasi角点检测算法、SUSAN角点检测器、水平曲线曲率法、高斯拉普拉斯算子、高斯差分、Hessian行列式、MSER、PCBR或灰度斑点、ORB、FREAK，或者其合适的组合。
在一些实施方式中，特征点可以包括一个或多个非显著特征。如本文所使用，非显著特征可以是指图像内的非显著区域或非明显(例如，不可识别)物体。非显著特征可以是指图像内不太可能突显或引起人类观察者注意的元素。非显著特征的示例可以包括当在其周围像素的情景之外查看时，对于观看者而言不明显或不可识别的单个像素或像素组。
在一些备选实施方式中，特征点可以包括一个或多个显著特征。显著特征可以是指图像内的显著区域或明显的(例如，可识别的)物体。如本文所使用，显著特征可以是指图像内的显著区域或明显的(例如，可识别的)物体。显著特征可以是指图像内很可能突显或引起人类观察者注意的元素。显著特征可以具有语义意义。显著特征可以是指可在计算机视觉处理下得到一致识别的元素。显著特征可以是指图像内的有生命物体、无生命物体、地标、标记、徽标、障碍物等。在不同条件下可以持续观察到显著特征。例如，在不同的观察点、在一天中不同时间、不同光照条件下、不同天气条件下、不同图像采集设置(例如，不同的增益、曝光等)下获取的图像中可以持续地识别出(例如，由人类观察者或由计算机程序识别出)显著特征。例如，显著特征可以包括人类、动物、面部、身体、构造物、建筑物、载具、飞机、标牌等。
可以使用任何现有的显著度计算方法来识别或确定显著特征。例如，可以通过基于对比度的滤波(例如，基于颜色、强度、朝向、大小、运动、深度等)、使用光谱残差法、通过频率调谐显著区域检测、通过用于对象性估计的二值化规范梯度、使用情景感知自上而下法、通过以部位熵率测量视觉显著度等来识别显著特征。例如，可以在通过使一个或多个图像经受基于对比度的滤波(例如，颜色、强度、朝向等)而生成的显著图中识别显著特征。显著图可以表示具有特征对比度的区域。显著图可以是关于人们将会看向何处的预测指标。显著图可以包括特征或注视点的空间热图表示。例如，在显著图中，显著区域可以具有比非显著区域更高的亮度对比度、颜色对比度、边缘内容、强度等。在一些实施方式中，可以使用物体识别算法(例如，基于特征的方法、基于外观的方法等)来识别显著特征。可选地，可以预先储存图案、物体、图形、颜色、徽标、轮廓等一个或多个物体或类型作为可能的显著特征。可以分析图像以识别预先储存的显著特征(例如，物体或物体类型)。可以更新预先储存的显著特征。或者，可能不需要预先储存显著特征。可以与预先储存的信息无关地实时识别显著特征。
在一些实施方式中，在将成像设备(负载106)所捕获的图像数据提供给图像分析器107之前，可以将该图像数据储存在媒体存储(图中未示出)中。图像分析器可被配置为从媒体存储直接接收图像数据。在一些实施方式中，图像分析器可被配置为从成像设备和媒体存储两者同时接收图像数据。媒体存储可以是能够储存多个物体的图像数据的任何类型的存储介质。如前文所述，图像数据可以包括视频或静态图像。该视频或静态图像可由图像分析器进行处理和分析，如说明书中后续描述。媒体存储可以提供为CD、DVD、蓝光盘、硬盘、磁带、闪速存储器卡/驱动器、固态驱动器、易失性或非易失性存储器、全息数据存储以及任何其他类型的存储介质。在一些实施方式中，该媒体存储还可以是能够将图像数据提供给图像分析器的计算机。
作为另一示例，媒体存储可以是网络服务器、企业服务器或任何其他类型的计算机服务器。媒体存储可以是被编程用于接受来自图像分析器的请求(例如，HTTP或可以发起数据传输的其他协议)和向图像分析器供应所请求的图像数据的计算机。此外，媒体存储可以是广播设施(诸如免费接收、线缆、卫星和其他广播设施)，以用于分发图像数据。媒体存储还可以是数据网络(例如，云计算网络)中的服务器。
在一些实施方式中，媒体存储可以位于成像设备之上。在一些其他实施方式中，媒体存储可以位于可移动物体之上，但不位于成像设备之上。在一些其他实施方式中，媒体存储可以位于未搭载于可移动物体和/或成像设备上的一个或多个外部设备之上。在那些其他实施方式中，媒体存储可以位于遥控器、地面站、服务器等之上。可以考虑上述部件的任何布置或组合。在一些实施方式中，媒体存储可以经由对等网络架构而与成像设备和可移动物体通信。在一些实施方式中，可以使用云计算架构来实现媒体存储。
图像数据可以按图像信号的形式提供给图像分析器以供图像处理/分析。图像分析器可以实现为执行于处理器中的软件程序和/或实现为硬件，其分析多个图像帧以确定一个或多个特征在目标物体的多个图像之间的变化。例如，图像分析器可被配置为分析第一图像帧和第二帧，以确定一个或多个特征在连续或非连续图像帧之间的目标物体的第一图像与第二图像之间的变化。在一些实施方式中，图像分析器可被配置为当可移动物体、成像设备和/或目标物体中的至少一个正在运动时确定一个或多个特征的变化。在任何给定时刻，可移动物体、成像设备和/或目标物体可以能够移动和/或停止。例如，支撑成像设备的可移动物体可以在移动到不同位置之前悬停一段时间以跟踪和/或跟随目标物体。
图1的部分B示出了与图1的部分A中所示的系统100类似的视觉跟踪系统120，区别在于以下差异。在图1的部分B中，负载106可以经由载体104而可移动地耦合到可移动物体102，并且可以位于可移动物体的壳体的外部。负载可以是可相对于可移动物体移动的。负载可以相对于可移动物体在平移运动中移动。例如，负载可以相对于可移动物体沿着一个、两个或三个轴移动。负载还可以相对于可移动物体旋转。例如，负载可以相对于可移动物体围绕一个、两个或三个轴旋转。所述轴可彼此正交。所述轴可以是载体、成像设备和/或可移动物体的俯仰、航向和/或横滚轴。
负载可以借助于载体而相对于可移动物体移动。该载体可以包括一个或多个云台级，所述云台级可允许载体相对于可移动物体的移动。例如，载体可以包括第一云台级、第二云台级和/或第三云台级，其中所述第一云台级可以允许载体相对于可移动物体围绕第一轴旋转，所述第二云台级可以允许载体相对于可移动物体围绕第二轴旋转，而所述第三云台级可以允许载体相对于可移动物体围绕第三轴旋转。本文其他各处描述的载体的任何描述和/或特性均可适用。
尽管在图1中被示出为可操作地连接的单独部件，但应当注意，成像设备(负载106)和图像分析器可以共同位于一个设备中。例如，图像分析器可以位于成像设备内或形成成像设备的一部分。相反，成像设备可以位于图像分析器内或形成图像分析器的一部分。
可选地，图像分析器可以位于远离成像设备之处。例如，图像分析器可以安置在与成像设备通信的远程服务器中。图像分析器可以提供在任何其他类型的外部设备(例如，用于可移动物体的遥控器、由目标物体携带的物体、诸如基站等参考位置或跟踪设备)处，或者可以分布在云计算基础设施上。
在一些实施方式中，图像分析器和用于储存图像数据的媒体存储可以位于同一设备上。在其他实施方式中，图像分析器和用于储存图像数据的媒体存储可以位于不同设备上。图像分析器和媒体存储可以经由有线或无线连接来通信。
在一些实施方式中，图像分析器可以位于可移动物体上。例如，图像分析器可以安置在可移动物体的外壳中。在一些其他实施方式中，图像分析器可以位于目标物体上。例如，图像分析器可以安置在目标物体的主体上。在一些其他实施方式中，图像分析器可以安置在与可移动物体、成像设备和/或目标物体通信的基站处。图像分析器可以位于任何位置，只要图像分析器能够进行下列各项即可：接收使用成像设备在不同时间捕获的多个图像帧，以及分析该多个图像帧以确定一个或多个特征在所述图像帧内的目标物体的图像之间的变化。图像分析器可以与上述可移动物体、成像设备、目标物体、基站和/或任何其他设备中的一个或多个通信，以接收能够从中确定一个或多个特征的变化的图像数据。如先前所述，反馈控制器(其可以是运动控制器的一部分)可被配置为基于一个或多个特征在第一图像与第二图像之间的变化来调整可移动物体的运动以跟踪目标物体。应当理解，图1中所示的配置仅用于说明目的。可以移除或组合某些部件或设备，并且可以添加其他部件或设备。
图2图示了根据一些实施方式，跟踪设备相对于目标物体的不同空间排列。跟踪设备可以包括被配置为支撑负载的可移动物体202。负载可以包括成像设备206。成像设备可以使用载体204耦合到可移动物体。载体可以允许成像设备相对于可移动物体围绕一个或多个轴移动(例如，旋转)。可选地，成像设备可以刚性地固定到可移动物体而不使用载体，使得成像设备根据可移动物体而移动。光轴212可以从成像设备朝着目标物体延伸。光轴可以是在光学系统(例如，成像设备)中存在的一定程度的旋转对称所沿着的线。光轴可以是一条假想线，其定义光线通过系统传播所沿着的路径，达到第一近似。
如图2中所示，跟踪设备可以最初位于相对于目标物体的位置A。在该位置处，光轴212-0可以在与世界坐标系的X轴平行的方向上从成像设备的中心延伸到目标物体。
接下来，跟踪设备可以相对于目标物体移动到位置B，使得跟踪设备与目标物体之间存在高度差。高度差可以沿着正Z轴。为了将目标物体保持在成像设备的视野中，可以使成像设备围绕Y轴顺时针旋转角度θ1，这导致成像设备相对于可移动物体的向下俯仰。因此，从成像设备的中心延伸的光轴212-1也可以围绕Y轴顺时针旋转相同的角度θ1。
接下来，跟踪设备可以相对于目标物体移动到位置C，使得跟踪设备与目标物体之间存在高度差。与位置B不同，位置C处的高度差可以在沿着负Z轴的相反方向上产生。为了将目标物体保持在成像设备的视野中，可以使成像设备围绕Y轴逆时针旋转角度θ2，这导致成像设备相对于可移动物体的向上俯仰。因此，从成像设备的中心延伸的光轴212-2也可以围绕Y轴逆时针旋转相同的角度θ2。
在图3中可以观察到图2中的不同空间排列(例如，位置B和位置C)的效果，其图示了当跟踪设备(包括可移动物体302和成像设备306)相对于目标物体位于位置B和位置C时目标物体308到图像平面310上的投影。成像设备可以使用载体304耦合到可移动物体。载体可以允许成像设备相对于可移动物体围绕一个或多个轴移动(例如，旋转)。可选地，成像设备可以刚性地固定到可移动物体而不使用载体，使得成像设备根据可移动物体而移动。
如图3中所示，可以使用孔径成像模型来近似目标物体的成像，该模型假设来自三维空间中的目标物体上的点的光线可以投影到图像平面310上以形成图像点。成像设备可以包括反射镜(或透镜)。光轴312可以穿过反射镜的中心和图像平面310的中心。反射镜中心与图像中心之间的距离可以基本上等于成像设备的焦距309。为了图示的目的，可以将图像平面310描绘为处于成像设备与目标物体之间沿着光轴312的焦距距离处。
当跟踪设备相对于目标物体处于位置B时，成像设备可以围绕世界坐标322的Y轴顺时针旋转角度θ1，这导致成像设备相对于可移动物体的向下俯仰。因此，从成像设备的反射镜中心延伸的光轴312-1也可以围绕Y轴顺时针旋转相同的角度θ1。光轴312-1可以穿过位于焦距距离309处的第一图像平面310-1的中心。在位置B处，成像设备可被配置为将目标物体的第一图像314-1捕获到第一图像平面310-1上。第一图像平面310-1上的点可以由一组(u，v)图像坐标来表示。第一边界框316-1可被配置成基本上围绕目标物体的第一图像314-1。边界框以用于包围一个或多个兴趣点(例如，包围目标物体的图像)。边界框的使用可以简化对目标物体的跟踪。例如，可以将复杂几何形状包围在边界框内并且使用边界框来对其进行跟踪，这消除了对监视复杂几何形状的大小/形状/位置的离散变化的需要。边界框可被配置成随着目标物体的图像从一个图像帧到下一个图像帧变化而在大小和/或位置上改变。在一些情况下，边界框的形状可以在图像帧之间改变(例如，从正方形框变为圆形，或者反之亦然，或者在任何形状之间变化)。
目标物体308可以具有世界坐标322中的顶部目标点(xt，yt，zt)和底部目标点(xb，yb，zb)，其可以分别作为第一目标图像314-1中的顶部图像点(ut，vt)和底部图像点(ub，vb)投影到第一图像平面310-1上。光线318-1可以穿过成像设备的反射镜中心、第一图像平面310-1上的顶部图像点和目标物体308上的顶部目标点。光线318-1可以具有围绕世界坐标322的Y轴顺时针方向的角度φ1。类似地，另一光线320-1可以穿过成像设备的反射镜中心、第一图像平面310-1上的底部图像点和目标物体308上的底部目标点。光线320-1可以具有围绕世界坐标322的Y轴顺时针方向的角度φ2。如图3中所示，当跟踪设备相对于目标物体处于位置B时，φ2(底部目标/图像点)＞θ1(图像平面的中心)＞φ1(顶部目标/图像点)。上述光角被定义成使得当跟踪设备处于位置B时，第一边界框316-1可以基本上位于第一图像平面310-1的中心部分。
接下来，当跟踪设备相对于目标物体处于位置C时，成像设备可以围绕世界坐标322的Y轴逆时针旋转角度θ2，这导致成像设备相对于可移动物体的向上俯仰。因此，从成像设备的反射镜中心延伸的光轴312-2也可以围绕Y轴逆时针旋转相同的角度θ2。光轴312-2可以穿过位于焦距距离309处的第二图像平面310-2的中心。在位置C处，成像设备可被配置为将目标物体的第二图像314-2捕获到第二图像平面310-2上。第二图像平面310-2上的点也可以由一组(u，v)图像坐标来表示。第二边界框316-2可被配置成基本上围绕第二图像平面310-2上的目标物体的第二图像314-2。
可以将目标物体308的世界坐标322中的顶部目标点(xt，yt，zt)和底部目标点(xb，yb，zb)投影到第二图像平面310-2上，分别作为第二目标图像314-2中的顶部图像点(ut，vt)’和底部图像点(ub，vb)’。光线318-2可以穿过成像设备的反射镜中心、第二图像平面310-2上的顶部图像点和目标物体308上的顶部目标点。光线318-2可以具有围绕世界坐标322的Y轴逆时针方向的角度γ1。类似地，另一光线320-2可以穿过成像设备的反射镜中心、第二图像平面310-2上的底部图像点和目标物体308上的底部目标点。光线320-2可以具有围绕世界坐标322的Y轴逆时针方向的角度γ2。如图3中所示，当跟踪设备相对于目标物体处于位置C时，γ1(顶部目标/图像点)＞θ1(图像平面的中心)＞γ2(底部目标/图像点)。上述光角被定义为使得当跟踪设备处于位置C时，第二边界框316-2可以基本上位于第二图像平面310-2的中心部分。
通过比较第一边界框316-1和第二边界框316-2，可以观察到，在第一图像平面310-1与第二图像平面310-2之间，边界框的大小和/或位置没有显着差异。例如，第一边界框316-1和第二边界框316-2两者可以基本上位于第一图像平面310-1和第二图像平面310-2中的每一个的中心部分。然而，如图3中所示，当生成目标物体的上述图像(和对应的边界框)时，跟踪设备在物理上位于相对于目标物体的明显不同的位置(B和C)。例如，当跟踪设备处于位置B时，跟踪设备位于目标物体的上方，并且成像设备具有向下的俯仰角θ1。相反，当跟踪设备处于位置C时，跟踪设备位于目标物体的下方，并且成像设备具有向上的俯仰角θ2。向上的俯仰角θ2可以与向下的俯仰角θ1相同或不同。如图3中所示，即使图像帧可能是在跟踪设备相对于目标物体处于明显不同的空间位置时捕获到的，但不同图像帧中的边界框仍可以具有相同的大小和/或位置。因此，需要能够将跟踪设备与目标物体之间的相对空间位置的变化与图像帧之间的边界框的大小和/或位置的变化相关联的方法和系统，以便实现对目标物体的实时准确跟踪。本发明的各个实施方式可以解决上述需求，如后续在说明书中详细描述。
图4图示了根据一些实施方式，当跟踪设备在跟踪设备处于运动中的同时相对于目标处于不同空间排列时，目标物体向图像平面上的投影。
如图4中所示，跟踪设备可以包括可移动物体402，该可移动物体402被配置为携带负载(例如，成像设备406)。成像设备可以使用载体404耦合到可移动物体。载体可以允许成像设备相对于可移动物体围绕一个或多个轴移动(例如，旋转)。可选地，成像设备可以刚性地固定到可移动物体而不使用载体，使得成像设备根据可移动物体而移动。跟踪设备可被配置为跟踪目标物体408。
跟踪设备可被配置成沿着运动路径424移动，使得跟踪设备相对于目标物体在时间t1处于位置A’、在时间t2处于位置B’以及在时间t3处于位置C’。时间t1、时间t2和时间t3可以是不同的时间点。
当跟踪设备相对于目标物体处于位置A’时，成像设备可以围绕Y轴顺时针旋转角度
Figure BDA0003206338000000241
可移动物体可以水平安置(平行于X轴)，并且可以在位置A’处不具有任何倾斜。从成像设备的反射镜中心延伸的光轴也可以围绕Y轴顺时针旋转相同的角度
Figure BDA0003206338000000242
光轴可以穿过位于距成像设备的焦距距离处的第一图像平面410-1的中心。在位置A’处，成像设备可被配置为将目标物体的第一图像414-1捕获到第一图像平面410-1上。第一边界框416-1可被配置成基本上围绕第一图像帧内的目标物体的第一图像414-1。
当跟踪设备相对于目标物体处于位置B’时，成像设备可以围绕Y轴顺时针旋转角度
Figure BDA0003206338000000251
在图4的示例中，
Figure BDA0003206338000000252
但本发明并不仅限于此。在其他实施方式中，
Figure BDA0003206338000000253
可以小于或等于
Figure BDA0003206338000000254
从成像设备的反射镜中心延伸的光轴也可以围绕Y轴顺时针旋转相同的角度
Figure BDA0003206338000000255
由于可移动物体在位置B’处可以处于运动中，因此可移动物体可以根据作用于可移动物体上的向心力的大小而倾斜。例如，可移动物体可以围绕Y轴顺时针倾斜角度σ2。光轴可以穿过位于距成像设备的焦距距离处的第二图像平面410-2的中心。在位置B’处，成像设备可被配置为将目标物体的第二图像414-2捕获到第二图像平面410-2上。第二边界框416-2可被配置成基本上围绕目标物体的第二图像414-2。
当跟踪设备相对于目标物体处于位置C’时，成像设备可以围绕Y轴顺时针旋转角度
Figure BDA0003206338000000256
在图4的示例中，
Figure BDA0003206338000000257
但是本发明并不仅限于此。在其他实施方式中，
Figure BDA0003206338000000258
可以小于或等于
Figure BDA0003206338000000259
和/或
Figure BDA00032063380000002510
从成像设备的反射镜中心延伸的光轴也可以围绕Y轴顺时针旋转相同的角度
Figure BDA00032063380000002511
由于可移动物体在位置C’处可以处于运动中，因此可移动物体可以根据作用于可移动物体上的向心力的大小而倾斜。例如，可移动物体可以围绕Y轴顺时针倾斜角度σ3。在图4的示例中，σ3>σ2，但本发明并不仅限于此。在其他实施方式中，σ3可以小于或等于σ2。光轴可以穿过位于距成像设备的焦距距离处的第三图像平面410-3的中心。在位置C’处，成像设备可被配置为将目标物体的第三图像414-3捕获到第三图像平面410-3上。第三边界框416-3可被配置成基本上围绕目标物体的第三图像414-3。
如图4中所示，边界框416-1、边界框416-2和边界框416-3的位置可在图像平面410-1、图像平面410-2和图像平面410-3内位于基本上相同的位置处。虽然目标物体可以位于距位置A’、位置B’和位置C’处的跟踪设备基本上相同的距离处，但边界框416-1、边界框416-2和边界框416-3的大小可根据跟踪设备相对于目标物体的朝向而不同。因此，需要能够将跟踪设备相对于目标物体的朝向的变化与图像帧之间的边界框的大小和/或位置的变化相关联的方法和系统，以便实现对目标物体的实时准确跟踪。
本文提供的系统、方法和设备可以从图像帧之间的边界框的一个或多个特征的变化中提取有用的信息。所述变化可以是由于目标物体与跟踪设备之间的相对移动而产生的。例如，本文提供的系统、方法和设备可以确定图像帧之间的边界框的大小和/或位置的变化，并且基于边界框的大小和/或位置的变化来调整跟踪设备的移动以便准确地跟踪目标物体。接下来参照图5至图24详细描述本发明的实施方式。
图5图示了根据一些实施方式的，被配置为控制跟踪设备对目标物体进行跟踪或跟随的视觉跟踪系统的框图。跟踪设备可以构成视觉跟踪系统的一部分。跟踪设备可以包括被配置为携带负载的可移动物体。负载可以是支持视觉跟踪的成像设备。在一些实施方式中，视觉跟踪系统可以实现为独立系统，并且不需要提供于可移动物体上。在一些其他实施方式中，视觉跟踪系统可以提供于可移动物体上。如图5中所示，视觉跟踪系统500可以包括成像设备506、图像分析器507和运动控制器550。视觉跟踪系统可被配置为确定一个或多个特征在多个图像帧之间的变化(例如，边界框的大小和/或位置的变化)，以及基于所述一个或多个特征的变化来调整跟踪设备的移动。所述多个图像帧可以包括当目标物体和跟踪设备相对于彼此处于不同的空间排列时捕获的目标物体的图像。
成像设备可被配置为捕获多个物体505的图像数据。例如，图像数据可以对应于多个物体的静态图像或视频帧。物体可以包括可由跟踪设备实时地光学识别和/或跟踪的任何物理物体或构造物。光学跟踪具有若干个优点。例如，光学跟踪允许无线“传感器”较不容易受到噪声影响，并且可以实现同时跟踪许多物体(例如，不同类型的物体)。该物体能够以2D或3D格式描绘于静态图像和/或视频帧中，可以是现实的和/或动画的，可以是彩色的、黑白的或灰度的以及可以处于任何色彩空间中。
可以在成像设备与多个物体之间提供清晰的视觉路径，使得物体位于成像设备的视野中。在一些实施方式中，物体可以可操作地连接到图5中的一个或多个部件。例如，物体可以与系统500中的一个或多个部件通信。在一些实施方式中，物体可以包括安置在其上的GPS装置(例如，GPS接收器)。
在一些其他实施方式中，物体不需要可操作地连接到图5中的任何部件。例如，物体不需要与系统500中的任何部件通信。物体也不需要包括安置在其上的任何GPS装置(例如，GPS接收器)。相反，物体可以是任何独立的物理物体或构造物。一些物体可以能够运动(例如，平移和/或旋转、陆地行进、空中飞行等)。如下文所述，可以考虑一些或所有物体的运动的任何类型、范围和幅度。物体可以包括所要跟踪的目标物体508。视觉跟踪系统500可被配置为控制跟踪设备来跟踪目标物体。
由成像设备捕获的图像数据可以编码于多个图像信号中。可以使用成像设备来生成多个图像信号。图像信号可以包括使用成像设备在不同时间捕获的多个图像帧。例如，图像信号可以包括在时间t1捕获的第一图像帧510-1和在时间t2捕获的第二图像帧510-2，其中时间t2可以是发生在时间t1之后的时间点。第一图像帧和第二图像帧可以包括目标物体的图像。例如，第一图像帧可以包括目标物体的第一图像，而第二图像帧可以包括目标物体的第二图像。目标物体的第一图像可以基本上由第一图像帧内的第一边界框所围绕。目标物体的第二图像可以基本上由第二图像帧内的第二边界框所围绕。第一边界框和第二边界框可以具有一个或多个不同的几何和/或位置特性。例如，在一些实施方式中，第一边界框和第二边界框在不同图像帧中可以具有不同的大小(例如，高度)。在其他实施方式中，第一边界框和第二边界框在不同图像帧内可以位于不同位置。
在一些实施方式中，从跟踪设备获得的跟踪信息可由控制终端用于在目标物体正在被跟踪时显示该目标物体(例如，经由诸如目标物体的图像周围的边界框等图形跟踪指示符)。在各个实施方式中，由控制终端接收的数据可以包括原始数据(例如，由传感器获取的原始感测数据)和/或经处理的数据(例如，由跟踪设备上的一个或多个处理器处理的跟踪信息)。
控制终端可被配置为经由显示器显示从跟踪设备接收的数据。所显示的数据可以包括感测数据，诸如由跟踪设备上的成像设备获取的图像(例如，静态图像和视频)。所显示的数据还可以包括与图像数据分开显示或叠加在图像数据之上的跟踪信息。例如，显示器可被配置为如此显示图像：其中使用诸如框、圆圈或任何其他几何形状等围绕所跟踪的目标物体的跟踪指示符来指示或突出显示目标物体。在一些实施方式中，当从跟踪设备接收图像数据和跟踪信息以及/或者获取图像数据时，基本上实时地显示图像和跟踪指示符。在其他实施方式中，可以在一些延迟之后提供显示。
在一些实施方式中，图像数据可以通过由一个或多个处理器产生的跟踪信息的得到增强或者以其他方式与之相结合，以连同跟踪指示符(例如，围绕目标物体的圆圈或框)示出目标物体。用户可以观看增强的图像数据，以便查看当被成像设备跟踪时的目标物体。用户还可以基于增强的图像数据而与控制终端进行交互。例如，用户可以从增强的图像数据中选择不同的目标物体来进行跟踪(例如，通过触摸对应于不同目标物体的屏幕区域)。
接收到的图像可以随同跟踪数据显示，以示出跟踪设备正在跟踪的目标物体。例如，跟踪数据可以用于确定在一些或所有图像中被跟踪的目标物体的位置和/或大小。基于该信息，可以生成和显示跟踪指示符。例如，在给定在给定图像内的目标位置的情况下，可以随同跟踪指示符显示图像，所述跟踪指示符大致位于目标位置处并且具有大到足以覆盖目标物体或其一部分的大小。跟踪指示符的示例可以包括框、圆圈、椭圆或者任何其他合适形状、颜色或大小的图形对象。
在一些实施方式中，当跟踪设备和目标物体相对于彼此处于第一位置时，可以捕获第一图像帧(包括目标物体的第一图像)。当跟踪设备和目标物体相对于彼此处于第二位置时，可以捕获第二图像帧(包括目标物体的第二图像)。第二位置可以不同于第一位置。第一位置与第二位置之间的差异可以包括跟踪设备与目标物体之间的相对朝向和/或相对距离的变化。
每个图像帧可以包括多个像素。在一些实施方式中，多个图像帧可以包括多个彩色图像，并且多个像素可以包括彩色像素。在其他实施方式中，多个图像帧可以包括多个灰度图像，并且多个像素可以包括灰度像素。在一些实施方式中，多个灰度图像中的每个像素可以具有归一化的灰度值。
图像帧中的多个像素可以关联于多个特征点。一些特征点可以关联于或者可以不关联于目标物体。特征点可以对应于物体上的点或区域。在一些实施方式中，特征点可以由图像帧中的单个像素表示。例如，每个特征点可以与对应的像素具有1：1对应(或1：1相关)。在一些实施方式中，每个特征点可以与对应的像素的灰度值直接相关。在一些实施方式中，特征点可以由图像帧中的像素簇表示。例如，每个特征点可以与n个像素具有1：n对应(或1：n相关)，其中n是大于1的任何整数。像素簇可以包括2、3、4、5、6、7、8、9、10个或更多个像素。可以同时或顺序地单个分析所有像素。同样地，可以同时或顺序地单个分析所有像素簇。对像素簇的分析可以帮助减少分析图像帧中所有像素所需的处理时间(以及处理能力)。
在一些实施方式中，特征可以包括一组特征点。特征例如可以是基本上围绕图像帧内的目标物体的图像的边界框。可选地，特征可以是与一组特征点相关联的一个或多个几何和/或位置特性或参数。例如，特征可以对应于由该组特征点定义的边界框的大小和/或位置。
在一些实施方式中，可以将图像帧提供给输出设备(图中未示出)。例如，可以在输出设备上显示的一个或多个所得图像帧中描绘目标物体的图像和边界框。所得图像帧可以编码于所分析的信号中。所得图像帧可以包括将目标物体与背景物体区分开的注释(例如，边界框、标签、圆圈区域、不同的颜色编码等)。输出设备可以是显示设备，例如，显示面板、监视器、电视、投影仪或任何其他显示设备。在一些实施方式中，输出设备例如可以是蜂窝电话或智能电话、个人数字助理(PDA)、计算机、膝上型计算机、台式计算机、平板PC、媒体内容播放器、机顶盒、包括广播调谐器的电视机、视频游戏站/系统，或者能够访问数据网络和/或从图像分析器接收所分析的图像数据的任何电子设备。
如上文所述，每个图像帧可以包括多个像素。根据成像设备的视野和图像平面的大小，可以由每个像素表示某一角度。图6图示了根据一些实施方式，由图像平面上的横向方向和纵向方向上的每个像素表示的示例性角度。在图6中，可以在距点O的焦距距离处提供图像平面610。点O可以对应于成像设备的反射镜中心(图中未示出)。成像设备可以具有由X-Y平面中的角α和X-Z平面中的角β表征的视野。角α可以限定X-Y平面中的第一三角形626(在部分A中示出)，并且角β可以限定X-Z平面中的第二三角形628(在部分B中示出)。在图像平面上形成的图像帧可以包括m×n个像素(如部分C中示出)。因此，图像帧可以具有m×n个像素的分辨率。例如，图像帧可以在平行于Y轴的方向上具有m个像素，以及在平行于Z轴的方向上具有n个像素。m和n可以是整数的任何组合。例如，在一些实施方式中，m可以是640而n可以是360，使得图像帧具有640×360的分辨率。部分D示出了图像帧的区段632的特写。区段632可以包括多个像素(例如，九个像素)630-1至630-9。像素可以具有或者可以不具有相同的大小。由每个像素表示的角p可以包括X-Y平面上的角px和X-Z平面上的角pz。角px可由px＝α/m给出。角pz可由pz＝β/n给出。在一些实施方式中，每个像素可以是正方形像素，使得p＝px＝pz(即，α/m＝β/n)。
如上文所述，可以在图像帧内生成边界框。边界框可被配置成基本上围绕与目标物体相关联的像素(或特征点)。边界框可以具有规则形状或不规则形状。例如，边界框可以是圆形、椭圆形或多边形。边界框可被配置成基本上围绕图像帧内的目标物体的图像。例如，边界框可以基本上围绕第一图像帧内的目标物体的第一图像，以及第二图像帧内的目标物体的第二图像。
返回参考图5，图像分析器可被配置为接收和分析来自成像设备的图像数据。例如，图像分析器可被配置为确定边界框的位置在第一图像帧与第二图像帧之间的变化。当在跟踪设备与目标物体之间沿着与跟踪设备上的成像设备的光轴正交的方向发生平移运动时，可以产生边界框的位置(偏移距离)在图像帧之间的变化。此外，当跟踪设备相对于目标物体围绕航向轴、横滚轴或俯仰轴中的至少一个旋转时，可以产生边界框的位置(偏移距离)在图像帧之间的变化。图像分析器可被配置为测量边界框相对于第一图像帧和第二图像帧内的参考点的位置的变化。在一些情况下，参考点可以位于第一图像帧和第二图像帧的中心部分。在其他情况下，参考点可以位于远离第一图像帧和第二图像帧的中心部分之处。图像分析器还可以确定图像帧中的参考点与关联于边界框的目标基准点之间的偏移距离。目标基准点可以位于边界框之内或之上。可以基于边界框的位置在第一图像帧与第二图像帧之间的变化来确定偏移距离。
图像分析器可以将边界框的位置(偏移距离)的变化提供给运动控制器550。如上文所述，边界框的位置(偏移距离)的变化可能由于以下原因而产生：(1)跟踪设备与目标物体之间沿着与光轴正交的方向的相对平移运动，和/或(2)跟踪设备与目标物体之间围绕跟踪设备的航向轴、横滚轴和/或俯仰轴的相对旋转运动。运动控制器可被配置为基于偏移距离来控制跟踪设备与目标物体之间的相对移动。例如，运动控制器可以通过引导跟踪设备朝着或远离目标物体移动，以及/或者相对于目标物体(例如，围绕航向轴、横滚轴和/或俯仰轴)旋转，来控制所述相对移动。在一些情况下，运动控制器可以通过引导跟踪设备横向朝着或远离目标物体移动来控制所述相对移动。运动控制器还可以基于边界框的位置的变化来确定跟踪设备与目标物体之间的距离和/或朝向的变化。朝向的变化可以包括跟踪设备的姿态(例如，关于跟踪设备的航向轴、横滚轴和/或俯仰轴)的变化。跟踪设备与目标物体之间的距离的变化可以随着目标物体朝着或远离跟踪设备移动而产生。跟踪设备与目标物体之间的朝向的变化可以随着跟踪设备相对于目标物体围绕航向轴、横滚轴和/或俯仰轴旋转而产生。或者，跟踪设备与目标物体之间的距离的变化可以随着目标物体和跟踪设备朝着和/或远离彼此移动而产生。目标物体与跟踪设备之间的相对移动可以在横向方向上。跟踪设备与目标物体之间的距离的变化可以在第一方向上产生。本文使用的第一方向可以是指自然方向。第一方向可以与从成像设备延伸的成像设备的光轴正交。在一些情况下，第一方向可以平行于参考表面。参考表面例如可以是地平面。图像分析器还可被配置为确定边界框的大小在第一图像帧与第二图像帧之间的变化。边界框的大小的变化可以包括边界框的高度变化。图像分析器可以将边界框的大小的变化(高度差)提供给运动控制器550。运动控制器可以基于边界框的高度变化来确定跟踪设备与目标物体之间的距离的变化。运动控制器可被配置为基于距离的变化来控制跟踪设备与目标物体之间的相对移动。例如，运动控制器可以通过基于距离的变化引导跟踪设备朝着或远离目标物体移动来控制相对移动。跟踪设备与目标物体之间的距离的变化可以随着目标物体朝着或远离跟踪设备移动而产生。或者，跟踪设备与目标物体之间的距离的变化可以随着目标物体和跟踪设备朝着和/或远离彼此移动而产生。跟踪设备与目标物体之间的距离的变化可以在第二方向上产生。第二方向可以平行于从跟踪设备延伸的成像设备的光轴。第二方向可以与第一方向正交。在一些情况下，第二方向可以平行于参考表面。参考表面例如可以是地平面。
因此，运动控制器可被配置为基于跟踪设备与目标物体之间在第一方向和/或第二方向上的距离的变化来控制跟踪设备与目标物体之间的相对移动。例如，运动控制器可以根据跟踪设备与目标物体之间的距离的变化以及产生距离变化的方向，引导跟踪设备朝着或远离目标物体移动。运动控制器还可以根据边界框的位置在图像帧之间的变化来引导跟踪设备相对于目标物体改变其朝向。跟踪设备的朝向的变化可以包括跟踪设备围绕航向轴、横滚轴和/或俯仰轴的旋转运动。在一些实施方式中，基于不同图像帧之间的边界框的大小和/或位置的变化，运动控制器可以同时地控制跟踪设备相对于目标物体的平移和旋转。
运动控制器可被配置为基于多个图像帧之间的一个或多个特征的变化来调整跟踪设备的朝向。例如，运动控制器可以基于边界框的大小和/或位置在第一图像帧与第二图像帧之间的变化来调整跟踪设备的朝向。运动控制器可以通过调整跟踪设备的航向角、横滚角和/或俯仰角来调整跟踪设备的朝向。在一些情况下，运动控制器可以基于一个或多个特征的变化来调整跟踪设备相对于目标物体的朝向。在其他情况下，运动控制器可以基于一个或多个特征的变化来调整跟踪设备相对于目标物体的移动。在一些其他情况下，运动控制器可以在从世界坐标系中的多个方向中选择的至少一个方向上调整跟踪设备的移动。
在一些实施方式中，运动控制器可以基于预期速度向量和预期旋转角速度来调整跟踪设备的移动，以便实现对目标物体的跟踪。运动控制器可以基于与一个或多个特征相关联的一个或多个特性的变化来获得预期速度向量和预期旋转角速度。所述一个或多个特性可以包括与一个或多个特征相关联的几何和/或位置特性。例如，几何特性可以包括一个或多个图像帧内的一个或多个特征的大小(或高度)。位置特征可以包括一个或多个图像帧内的一个或多个特征的位置。
运动控制器可被配置为使一个或多个特征的横向位置(transverse position)的变化最小化以获得预期旋转角速度。一个或多个特征的横向位置的变化可以关联于跟踪设备与目标物体之间在第一方向上的相对移动。第一方向可以平行于参考表面，以及可以与从成像设备延伸到目标物体的光轴正交。
在一些实施方式中，运动控制器可以使一个或多个特征的位置变化最小化以获得第一速度分量。第一速度分量可以是在与跟踪设备上的成像设备的光轴正交的方向上。运动控制器还可以使一个或多个特征的大小的变化最小化以获得第二速度分量。第二速度分量可以是在沿着或平行于跟踪设备的光轴的方向上。运动控制器还可以将第一速度分量和第二速度分量融合在一起(例如，组合)以获得预期速度向量。一个或多个特征的位置变化可以关联于跟踪设备与目标物体之间在第一方向上的相对平移移动。一个或多个特征的位置变化还可以关联于跟踪设备与目标物体之间的相对旋转移动。相对旋转移动可以围绕跟踪设备的航向轴、横滚轴和/或俯仰轴发生。一个或多个特征的大小变化可以关联于跟踪设备与目标物体之间在第二方向上的相对移动。第一方向可以与跟踪设备上的成像设备的光轴正交。第二方向可以沿着或平行于跟踪设备上的成像设备的光轴。第二方向可以与第一方向正交。预期速度向量可以在不同于第一方向和第二方向的第三方向上延伸。在一些实施方式中，运动控制器可被配置为使用一个或多个反馈控制回路来使一个或多个特征的大小和/或位置的变化最小化，以便实现对目标物体的跟踪。在一些情况下，可以使用比例积分微分(proportional-integral-derivative，PID)控制器来实现至少一个反馈控制回路。可选地，可以使用比例微分(proportional-derivative，PD)控制器来实现至少一个反馈控制回路。
在一些实施方式中，运动控制器不是将一个或多个特征的位置和大小的变化最小化，而是可以计算跟踪设备与目标物体之间的相对位移，并且使位移的变化最小化以实现对目标物体的跟踪。例如，运动控制器可以基于一个或多个特征的位置变化来获得第一位移，以及基于一个或多个特征的大小的变化来获得第二位移。运动控制器可以组合第一位移和第二位移以获得组合位移。运动控制器还可以使组合位移的变化最小化以获得预期速度向量。一个或多个特征的位置变化可以关联于跟踪设备与目标物体之间在第一方向上的相对移动。一个或多个特征的大小变化可以关联于跟踪设备与目标物体之间在第二方向上的相对移动。第一方向可以与跟踪设备上的成像设备的光轴正交。第二方向可以沿着或平行于成像设备的光轴，并且可以与第一方向正交。预期速度向量可以在不同于第一方向和第二方向的第三方向上延伸。在一些情况下，第三方向可以平行于参考表面。在一些实施方式中，运动控制器可被配置为使用一个或多个反馈控制回路来使组合位移的变化最小化，以便实现对目标物体的跟踪。在一些情况下，可以使用比例积分微分(PID)控制器来实现至少一个反馈控制回路。可选地，可以使用比例微分(PD)控制器来实现至少一个反馈控制回路。
如上文所述，运动控制器可被配置为使用一个或多个反馈控制回路使一个或多个特征的大小和/或位置的变化最小化，以便实现对目标物体的跟踪。在一些情况下，可以使用比例积分微分(PID)控制器来实现至少一个反馈控制回路。可选地，可以使用比例微分(PD)控制器来实现至少一个反馈控制回路。在一些情况下，PID控制器(或PD控制器)可被配置为使一个或多个特征的位置变化最小化以获得预期速度向量和预期旋转角速度。PID控制器还可被配置为使一个或多个特征的大小变化最小化以更新/获得预期速度向量。
在一些实施方式中，运动控制器可以通过调整跟踪设备的姿态而使一个或多个特征的位置变化最小化，以及通过调整跟踪设备距目标物体的距离而使一个或多个特征的大小变化最小化。运动控制器可以首先使一个或多个特征的位置的变化最小化，随后使该一个或多个特征的大小变化最小化。或者，运动控制器可以首先使一个或多个特征的大小变化最小化，随后使该一个或多个特征的位置变化最小化。可选地，运动控制器可以同时使一个或多个特征的位置和大小的变化最小化。借助于包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距离传感器、激光雷达、雷达、渡越时间相机等传感器，可以测量跟踪设备的姿态和跟踪设备距目标物体的距离。
如上文所述，运动控制器可被配置为通过使用一个或多个反馈控制回路使一个或多个特征在图像帧之间的变化(例如，边界框的大小和/或位置的变化)最小化来获得预期速度向量。图7和图8图示了边界框的位置在多个图像帧内的变化。图9图示了用于使边界框的位置变化最小化以获得第一速度分量的示例性反馈控制回路，其可以用于实现跟踪设备的运动以跟踪目标物体。
图7图示了根据一些实施方式，当目标物体相对于跟踪设备在与跟踪设备上的成像设备的光轴正交的方向上移动时，多个图像帧中的边界框的位置的变化。跟踪设备可以包括携带成像设备的可移动物体。在图7的部分A中，携带成像设备706的可移动物体702可以在时间t1位于目标物体708的正上方。光轴712可以从成像设备的反射镜中心延伸到目标物体的中心部分。光轴712可以穿过位于距成像设备的反射镜中心的焦距距离709的第一图像平面710-1的中心。
成像设备可被配置为将目标物体的第一图像714-1捕获到第一图像平面710-1上。第一图像平面710-1上的点可以由一组(u,v)图像坐标表示。第一边界框716-1可被配置成基本上围绕目标物体的第一图像714-1。边界框可被配置成在目标物体相对于跟踪设备移动时在大小和/或位置上改变。
第一边界框的大小和位置可以由光线718-1和光线720-1所定义。光线718-1可以穿过成像设备的反射镜中心、第一图像平面710-1上的第一图像点和目标物体708上的第一目标点。光线720-1可以穿过成像设备的反射镜中心、第一图像平面710-1上的第二图像点和目标物体708上的第二目标点。在部分A中，第一边界框可以基本上位于第一图像平面710-1的中心部分。例如，第一边界框的一组中心坐标(x1,y1)可以与第一图像平面的中心C重合。在一些备选实施方式中，第一边界框可以基本上位于远离第一图像平面710-1的中心部分之处，并且第一边界框的中心坐标(x1,y1)可以不与第一图像平面的中心C重合。
在部分B中，目标物体可能已经在时间t2移动到相对于跟踪设备的不同位置。例如，目标物体可能已经沿着X轴移动。因此，在时间t2，光轴712可能不再从成像设备的反射镜中心延伸到目标物体的中心部分。
成像设备可被配置为将目标物体的第二图像714-2捕获到第二图像平面710-2上。第二图像平面710-2上的点也可以由一组(u,v)图像坐标表示。第二边界框716-2可被配置成基本上围绕目标物体的第二图像714-2。第二边界框的大小和位置可以由光线718-2和光线720-2所定义。光线718-2可以穿过成像设备的反射镜中心、第二图像平面710-2上的第一图像点和目标物体808的第一目标点。光线720-2可以穿过成像设备的反射镜中心、第二图像平面710-2上的第二图像点和目标物体708上的第二目标点。与部分A不同，部分B中的第二边界框可以不位于第二图像平面710-2的中心部分。例如，第二边界框的一组中心坐标(x2,y2)可以不与第二图像平面的中心C重合。如部分B中所示，坐标x2可以从第二图像平面的中心C移位达偏移距离δ。
图7的部分C和部分D图示了从上方观看的跟踪设备和目标物体的视图。部分C对应于部分A中所示的配置，而部分D对应于部分B中所示的配置。参考部分A和部分C，目标物体在时间t1位于跟踪设备的正下方，使得成像设备的光轴穿过目标物体的中心。参考部分B和部分D，目标物体在时间t2已经沿着X轴远离跟踪设备移动，使得成像设备的光轴不再穿过目标物体的中心。
图8提供了根据一些实施方式，图7的实施方式的不同的视觉描绘。图8类似于图7，区别在于第一图像平面和第二图像平面在部分A中重叠在一起，以图示在时间t2(相对于时间t1)的边界框的位置的变化。部分B是第一图像平面和第二图像平面的分解图，并且示出了第一图像平面中的第一边界框与第二图像平面中的第二边界框之间的偏移距离δ。
图9图示了根据一些实施方式，用于根据图7和图8中的边界框的位置变化来调整跟踪设备的移动的示例性反馈控制系统的框图。图像帧之间的边界框的位置的变化可以由跟踪设备与目标物体之间在与成像设备的光轴正交的方向上的相对平移移动所造成。如图9中所示，反馈控制系统900可以包括成像设备906、图像分析器907、运动控制器950和致动系统954。运动控制器可以包括反馈控制器952。反馈控制系统可被配置为通过使边界框的位置在图像帧之间的变化最小化来获得第一速度分量。第一速度分量可以是平移速度分量。反馈控制系统还可被配置为通过基于第一速度分量调整跟踪设备的移动来跟踪目标物体。
可以通过使用反馈控制回路使位置误差最小化来获得第一速度分量。可以基于边界框的位置在第一图像帧与第二图像帧之间的变化来计算位置误差。可以相对于第一图像帧和第二图像帧内的参考点来确定边界框的位置变化。可以通过使用反馈控制回路使在时间t1与t2处的边界框的位置之间的差异最小化来获得第一速度分量。如先前在图7和图8中所描述，边界框的位置变化可以与偏移距离δ相关联。系统900的输入可以包括阈值位置偏移。在一些情况下，为了使偏移距离δ最小化，阈值位置偏移可以为零或基本上为零。当阈值位置偏移为零时，系统可以调整跟踪设备的平移移动，使得边界框在图像帧之间保持基本上相同的位置。
成像设备可被配置为捕获图像数据(例如，图7和图8中的第一图像帧和第二图像帧)。可以将图像数据提供给图像分析器。图像分析器可被配置为分析图像数据以确定图像帧之间的边界框的位置(偏移距离δ)的变化。可以将边界框的位置变化与输入进行比较，并将其提供给反馈控制器。反馈控制器可被配置为使用以下等式来计算在时间t2处边界框中的位置误差d_error1：
d_error1＝tan(δ*p)*Dz；
其中δ是偏移距离，p是由第一图像帧中的每个像素表示的角度，并且Dz对应于跟踪设备与目标物体之间沿着Z轴的垂直距离。
接下来，反馈控制器可以使用比例积分微分(PID)方法(或比例微分(PD)方法)使d_error1最小化，从而获得第一速度分量Vt。第一速度分量Vt可以被提供给致动系统954。致动系统可被配置为基于第一速度分量Vt来调整跟踪设备沿着预定轴(例如，X轴)的移动，以便跟踪目标物体。第一速度分量可以是平移速度分量。通过基于第一速度分量Vt调整跟踪设备的移动，边界框可以在图像帧之间保持基本上相同的位置。跟踪设备的经调整的移动可以对应于反馈控制系统的运动输出。可以在闭环中迭代地重复上述步骤，直到误差d_error1等于或小于阈值位置偏移。在上述步骤中的一次或多次迭代期间，第一速度分量Vt可以动态地变化。
图10和图11图示了当跟踪设备改变其朝向(例如，姿态)以跟踪目标物体的移动时，多个图像帧内的边界框的位置的变化。图12图示了用于使图10和图11中的边界框的位置变化最小化的示例性反馈控制回路，用以获得跟踪设备的旋转速度分量。
图10图示了根据一些实施方式，通过相对于目标物体围绕俯仰轴旋转跟踪设备上的成像设备来跟踪目标物体。图10的部分A可以类似于图7的部分A。
在图10的部分B中，目标物体可能在时间t2已经移动到不同的位置。为了继续跟踪目标物体，跟踪设备上的成像设备可以在时间t2相对于目标物体旋转到不同位置，以便将目标物体的图像的位置基本上保持在图像平面的中心。例如，成像设备可以围绕俯仰轴(Y轴)旋转以跟踪目标物体的移动。因此，在时间t2，光轴继续从成像设备的反射镜中心延伸到目标物体的中心部分。这样，部分B中的第二边界框可以位于第二图像平面的中心部分。例如，第二边界框716-2的一组中心坐标(x2,y2)可以与第二图像平面710-2的中心C’重合。如部分B中所示，坐标x2可以从第一图像平面710-1的中心C移位达偏移距离δ。
图10的部分C和部分D图示了从上方观看的跟踪设备和目标物体的视图。部分C对应于部分A中所示的配置，而部分D对应于部分B中所示的配置。参考部分A和部分C，目标物体可以在时间t1位于跟踪设备的中心的正下方，使得成像设备的光轴穿过目标物体的中心，从而导致第一边界框位于第一图像平面的中心。参考部分B和部分D，目标物体可以在时间t2位于跟踪设备的下方并从其中心偏离。然而，由于成像设备的光轴因为成像设备围绕俯仰轴的旋转而在时间t2穿过目标物体的中心，因此第二边界框位于第二图像平面的中心。
图11图示了根据一些实施方式，通过相对于目标物体围绕航向轴旋转跟踪设备上的成像设备来跟踪目标物体。图11中的视图是从跟踪设备和目标物体的上方提供的。
在图11的部分A中，携带成像设备706的可移动物体702可以在时间t1位于距目标物体708一定距离处。跟踪设备和目标物体可以基本上位于同一水平面上(例如，处于基本上相同的高度)。光轴712可以从成像设备的反射镜中心延伸到目标物体的中心部分。光轴可以穿过位于距成像设备的反射镜中心的焦距距离处的第一图像平面710-1的中心。
成像设备可被配置为在时间t1将目标物体的第一图像714-1捕获到第一图像平面710-1上。第一图像平面710-1上的点可以由一组(u,v)图像坐标表示。第一边界框716-1可被配置成基本上围绕目标物体的第一图像714-1。边界框可被配置成当跟踪设备改变其相对于目标物体的朝向(例如，在航向方向上)时改变边界框的位置。
第一边界框的大小和位置可以由光线718-1和光线720-1定义。光线718-1可以穿过成像设备的反射镜中心、第一图像平面710-1上的顶部图像点和目标物体708上的第一目标点。光线720-1可以穿过成像设备的反射镜中心、第一图像平面710-1上的底部图像点和目标物体708上的第二目标点。在一些实施方式中，第一边界框可以基本上位于第一图像平面的中心部分。例如，第一边界框的一组中心坐标(x1,y1)可以与第一图像平面的中心C重合。在一些备选实施方式中，第一边界框可以基本上位于远离第一图像平面710-1的中心部分之处，并且第一边界框的中心坐标(x1,y1)可以不与第一图像平面的中心C重合。
在部分B中，目标物体可能在时间t2已经移动到不同位置。为了继续跟踪目标物体，成像设备可以在时间t2相对于目标物体旋转到不同位置，以便将目标物体的图像的位置基本上保持在图像平面的中心。例如，成像设备可以围绕航向轴(Z轴)旋转以跟踪目标物体的移动。因此，在时间t2，光轴继续从成像设备的反射镜中心延伸到目标物体的中心部分。这样，部分B中的第二边界框可以位于第二图像平面的中心部分。例如，第二边界框716-2的一组中心坐标(x2,y2)可以与第二图像平面710-2的中心C’重合。如部分B中所示，坐标x2可以从第一图像平面710-1的中心C移位达偏移距离δ。
图11的部分C图示了从侧面观看的跟踪设备和目标物体的视图。参考部分C，跟踪设备和目标物体可以在时间t1和时间t2基本上位于同一水平面上(例如，处于基本上相同的高度)，即使成像设备可能在时间t2已围绕航向轴旋转。如上文所述，成像设备的光轴穿过部分A中的目标物体的中心，从而导致第一边界框位于第一图像平面的中心。类似地，由于成像设备围绕航向轴的旋转，成像设备的光轴穿过部分B中的目标物体的中心，从而导致第二边界框位于第二图像平面的中心。
图12图示了根据一些实施方式的，用于基于图10和图11中的边界框的位置变化来调整可移动物体的移动的示例性反馈控制系统的框图。边界框的位置的变化可以由跟踪设备与目标物体之间的相对旋转移动所造成。例如，跟踪设备可以相对于目标物体围绕航向轴、横滚轴和/或俯仰轴旋转。如图12中所示，反馈控制系统1200可以包括成像设备1206、图像分析器1207、运动控制器1250和致动系统1254。运动控制器可以包括反馈控制器1252。反馈控制系统可被配置为通过使边界框的位置在图像帧之间的变化最小化来获得旋转速度分量。反馈控制系统还可被配置为通过基于旋转速度分量调整可移动物体的移动来跟踪目标物体。
可以通过使用反馈控制回路使位置误差最小化来获得旋转速度分量。可以基于边界框的位置在第一图像帧与第二图像帧之间的变化来计算位置误差。可以相对于第一图像帧和第二图像帧内的参考点来确定边界框的位置变化。可以通过使用反馈控制回路使边界框在时间t1和时间t2的位置之间的差异最小化来获得旋转速度分量。如先前在图10和图11中所描述，边界框的位置变化可以与偏移距离δ相关联。系统1200的输入可以包括阈值位置偏移。在一些情况下，为了使偏移距离δ最小化，阈值位置偏移可以为零或基本上为零。当阈值位置偏移为零时，系统可以调整跟踪设备的旋转移动，使得边界框在图像帧之间保持基本上相同的位置。
图13图示了根据一些实施方式，当目标物体相对于跟踪设备在沿着或平行于跟踪设备上的成像设备的光轴的方向上移动时，多个图像帧中的边界框的大小变化。跟踪设备可以包括携带成像设备的可移动物体。在图13的部分A中，携带成像设备1306的可移动物体1302可以在时间t1位于距目标物体1308的距离Dx_1处。可移动物体和目标物体可以基本上位于同一水平面上(例如，处于基本上相同的高度)。目标物体可以具有高度H。可以基于图像帧内的尺度来确定目标物体的高度。可选地，可以根据物体类型或物体类别(例如，人、载具等)来估计目标物体的高度。光轴1312可以从成像设备的反射镜中心延伸到目标物体的中心部分。光轴1312-1可以穿过位于距成像设备的反射镜中心的焦距距离1309处的第一图像平面1310-1的中心。
成像设备可被配置为在时间t1将目标物体的第一图像1314-1捕获到第一图像平面1310-1上。第一图像平面1310-1上的点可以由一组(u,v)图像坐标表示。第一边界框1316-1可被配置成基本上围绕目标物体的第一图像1314-1。边界框可被配置成当目标物体相对于跟踪设备在沿着光轴的方向上移动时在大小上变化。
第一边界框的大小和位置可以由光线1318-1和光线1320-1定义。光线1318-1可以穿过成像设备的反射镜中心、第一图像平面1310-1上的顶部图像点和目标物体1308上的顶部目标点。光线1320-1可以穿过成像设备的反射镜中心、第一图像平面1310-1上的底部图像点和目标物体1308上的底部目标点。在部分A中，第一边界框的大小可以由第一高度h1来表征。在一些实施方式中，第一边界框可以基本上位于第一图像平面的中心部分。例如，第一边界框的一组中心坐标(x1,y1)可以与第一图像平面的中心C重合。在一些备选实施方式中，第一边界框可以基本上位于远离第一图像平面1310-1的中心部分之处，并且第一边界框的中心坐标(x1,y1)可以不与第一图像平面的中心C重合。
在部分B中，目标物体可能在时间t2已经移动到相对于跟踪设备的不同位置。例如，目标物体可能已经沿着X轴移动。如部分B中所示，目标物体的移动可以是在沿着光轴的方向上。因此，光轴1312可以继续从成像设备的反射镜中心延伸到目标物体的中心部分。
成像设备可被配置为在时间t2将目标物体的第二图像1314-2捕获到第二图像平面1310-2上。第二图像平面1310-2上的点也可以由一组(u,v)图像坐标表示。第二边界框1316-2可被配置成基本上围绕目标物体的第二图像1314-2。第二边界框的大小和位置可以由光线1318-2和光线1320-2定义。光线1318-2可以穿过成像设备的反射镜中心、第二图像平面1310-2上的顶部图像点和目标物体1308上的顶部目标点。光线1320-2可以穿过成像设备的反射镜中心、第一图像平面1310-2上的底部图像点和目标物体1308上的底部目标点。
如图13中所示，当目标物体在沿着光轴的方向上进一步远离跟踪设备移动时，边界框的大小可以减小。例如，第二图像帧中的第二边界框的大小可以由第二高度h2来表征，其中h2<h1。由于目标物体与跟踪设备之间的相对移动是在沿着光轴1312的方向上，因此第二边界框可以位于与第一图像帧内和第二图像帧内的第一边界框基本上相同的位置。在一些实施方式中，第二边界框可以基本上位于第二图像平面的中心部分。例如，第二边界框的一组中心坐标(x2,y2)可以与第二图像平面的中心C重合。在一些备选实施方式中，第二边界框可以基本上位于远离第二图像平面1310-2的中心部分之处，并且第二边界框的中心坐标(x2,y2)可以不与第二图像平面的中心C重合。
图14图示了根据一些实施方式的，用于基于图13中的边界框的大小变化来调整跟踪设备的移动的示例性反馈控制系统的框图。如图14中所示，反馈控制系统1400可以包括成像设备1406、图像分析器1407、运动控制器1450和致动系统1454。运动控制器可以包括反馈控制器1452。反馈控制系统可被配置为通过使边界框的大小在图像帧之间的变化最小化来获得第二速度分量。反馈控制系统还可被配置为通过基于第二速度分量调整跟踪设备的移动来跟踪目标物体。
可以通过使边界框的大小在图像帧之间的变化最小化来获得第二速度分量。可以通过使用反馈控制回路使距离误差最小化来获得第二速度分量。可以基于在第一时刻(t1)跟踪设备与目标物体之间的第一距离以及在第二时刻(t2)跟踪设备与目标物体之间的第二距离来计算距离误差。可以基于第一图像帧和第二图像帧中的边界框的大小(例如，高度)来计算第一距离和第二距离。
系统1400的输入可以包括阈值距离。在一些情况下，为了使距离误差最小化，阈值距离可以为零或基本上为零。当阈值距离为零时，系统可以调整跟踪设备的移动，使得边界框在图像帧之间保持基本上相同的大小。
成像设备可被配置为捕获图像数据(例如，图13中的第一图像帧和第二图像帧)。图像数据可以被提供给图像分析器。图像分析器可被配置为分析图像数据以确定第一图像帧和第二图像帧中的边界框的高度。边界框的高度可以被提供给反馈控制器1452。可以基于每个图像帧中的边界框的大小(高度)来获得跟踪设备与目标物体之间的距离。例如，反馈控制器可被配置为计算跟踪设备与目标物体之间在时间t1的第一距离Dx_1以及跟踪设备与目标物体之间在时间t2的距离Dx_2，所述计算使用以下等式：
Figure BDA0003206338000000421
Figure BDA0003206338000000422
其中p是由第一图像帧和第二图像帧中的每个像素表示的角度，H是目标物体的高度，h1是第一边界框的高度，并且h2是第二边界框的高度。
反馈控制器还可被配置为计算目标物体在时间t1和时间t2的位置之间的距离误差d_error2，该距离误差使用以下等式来计算：
d_error2＝Dx_1–Dx_2；
接下来，反馈控制器可以使用比例积分微分(PID)方法(或比例微分(PD)方法)使d_error2最小化，从而获得第二速度分量Vc。第二速度分量Vc可以提供给致动系统1454。致动系统可被配置为基于第二速度分量Vc来调整跟踪设备沿着预定轴(例如，图13中的X轴或光轴)的移动，以便跟踪目标物体。通过基于第二速度分量Vc调整跟踪设备的移动，边界框可以在图像帧之间保持基本上相同的大小。跟踪设备的经调整的移动可以对应于反馈控制系统的运动输出。可以在闭环中迭代地重复上述步骤，直到差异d_error2等于或小于阈值距离。在上述步骤的一次或多次迭代期间，第二速度分量Vc可以动态地变化。
如先前在图7和图8的示例中所指出，目标物体与跟踪设备之间的相对移动可以是在与成像设备的光轴正交的方向上，并且跟踪设备和目标物体可以基本上位于同一垂直面上。相反，在图13的示例中，目标物体与跟踪设备之间的相对移动可以是在沿着和平行于成像设备的光轴的方向上，使得跟踪设备和目标物体可以基本上位于同一水平面上。或者，在图10和图11的示例中，目标物体与跟踪设备之间的相对移动可以是跟踪设备围绕其航向轴、横滚轴和/或俯仰轴的旋转运动，而跟踪设备与目标物体之间的距离保持不变。在一些实施方式中，目标物体与跟踪设备之间的相对移动可以是在既不与成像设备的光轴正交也不沿着成像设备的光轴的方向上。此外，跟踪设备和目标物体可以不位于相同的水平面或垂直面上。例如，跟踪设备可以在任意高度和任意角度下跟踪和/或跟随目标物体。这些实施方式的示例可以在图15和图16中图示。
图15图示了根据一些实施方式，跟踪设备在相对于目标物体处于任意空间排列时对目标物体的跟踪。跟踪设备可以包括携带成像设备1506的可移动物体1502。成像设备可以使用载体1504耦合到可移动物体。载体可以允许成像设备相对于可移动物体关于一个或多个轴移动(例如，旋转)。跟踪设备可被配置为跟踪目标物体1508。
如图15中所示，跟踪设备可以位于沿着X轴距目标物体的距离Dx处，以及沿着Z轴距目标物体的距离Dz处。距离Dx可以对应于水平距离，而距离Dz可以对应于垂直距离。成像设备可以围绕Y轴(俯仰方向)并相对于可移动物体逆时针旋转角度θ，以便将目标物体定位在其视野中。光轴1512可以从成像设备的反射镜中心延伸到目标物体的中心部分。光轴可以穿过位于距成像设备的反射镜中心的焦距距离1509处的图像平面1510的中心。
成像设备可被配置为将目标物体的图像1514捕获到图像平面1510上。图像平面1510上的点可以由一组(u,v)图像坐标表示。边界框1516可被配置成基本上围绕目标物体的图像1514。边界框可被配置成当目标物体相对于跟踪设备移动时在大小和/或位置上变化。
边界框的大小和位置可以由光线1518和光线1520定义。光线1518可以穿过成像设备的反射镜中心、图像平面1510上的第一图像点和目标物体1508上的第一目标点。光线1520可以穿过成像设备的反射镜中心、图像平面1510上的第二图像点和目标物体1508上的第二目标点。边界框可以基本上位于图像平面1510的中心部分。例如，边界框的一组中心坐标(x,y)可以与图像平面的中心C重合。在一些备选实施方式中，边界框可以基本上位于远离图像平面1510的中心部分之处，并且边界框的中心坐标(x,y)可以不与图像平面的中心C重合。
图16图示了根据一些实施方式，当图15的目标物体相对于跟踪设备移动时，对该目标物体的跟踪。如图16的部分A中所示，目标物体可以在时间t1位于距跟踪设备的水平距离Dx_1和垂直距离Dz处。目标物体可以具有高度H。可以基于图像帧内的尺度来确定目标物体的高度。可选地，可以根据物体类型或物体类别(例如，人、载具等)来估计目标物体的高度。
成像设备可被配置为在时间t1将目标物体1508的第一图像1514-1捕获到第一图像平面1510-1上。第一图像平面1510-1上的点可以由一组(u,v)图像坐标表示。第一边界框1516-1可被配置成基本上围绕目标物体的第一图像1514-1。边界框可被配置成当目标物体相对于跟踪设备移动时在大小和/或位置上变化。
第一边界框的大小和位置可以由光线1518-1和光线1520-1定义。光线1518-1可以穿过成像设备的反射镜中心、第一图像平面1510-1上的第一图像点和目标物体1508上的第一目标点。光线1520-1可以穿过成像设备的反射镜中心、第一图像平面1510-1上的第二图像点和目标物体1508上的第二目标点。第一边界框可以基本上位于第一图像平面1510-1的中心部分。例如，第一边界框的一组中心坐标(x1,y1)可以与第一图像平面的中心C重合。在一些备选实施方式中，第一边界框可以基本上位于远离第一图像平面1510-1的中心部分之处，并且第一边界框的中心坐标(x1,y1)可以不与第一图像平面的中心C重合。如图16的部分A中所示，第一边界框的大小可以由第一高度h1来表征。
在时间t2，目标物体可能已经相对于跟踪设备移动到不同位置。例如，目标物体可能已经沿着X轴和Y轴(例如，如图17中所示)远离跟踪设备移动，使得目标物体位于距跟踪设备的距离Dx_2处。图17图示了从上方观看的跟踪设备和目标物体，并且示出了当目标物体远离跟踪设备移动时目标物体沿着X-Y平面(例如，参考表面或地平面)的平移移动。目标物体与跟踪设备之间的垂直距离Dz可能保持不变。如图16的部分A中所示，在时间t2，光轴1512可能不再从成像设备的反射镜中心延伸到目标物体的中心部分。当目标物体进一步远离跟踪设备移动时，边界框的大小可以减小。例如，如图16的部分B中所示，第二图像帧中的第二边界框的大小可以由第二高度h2来表征，其中h2<h1。
成像设备可被配置为在时间t2将目标物体的第二图像1514-2捕获到第二图像平面1510-2上。第二图像平面1510-2上的点也可以由一组(u,v)图像坐标表示。第二边界框1516-2可被配置成基本上围绕目标物体的第二图像1514-2。第二边界框的大小和位置可以由光线1518-2和光线1520-2定义。光线1518-2可以穿过成像设备的反射镜中心、第二图像平面1510-2上的第一图像点和目标物体1508上的第一目标点。光线1520-2可以穿过成像设备的反射镜中心、第二图像平面1510-2上的第二图像点和目标物体1508上的第二目标点。与第一边界框不同，第二边界框可以不位于第二图像平面1510-2的中心部分。例如，第二边界框的一组中心坐标(x2,y2)可以不与第二图像平面的中心C重合。例如，如图16和图17中所示，第二边界框可以从第二图像平面的中心C移位达偏移距离δ。
图18图示了根据一些实施方式的，用于基于图16和图17中的边界框的大小和位置的变化来调整跟踪设备的移动的示例性反馈控制系统的框图。如图18中所示，反馈控制系统1800可以包括成像设备1806、图像分析器1807、运动控制器1850和致动系统1854。运动控制器可以包括反馈控制器1852。反馈控制系统可被配置为通过使边界框的位置在图像帧之间的变化最小化而获得第一速度分量，以及通过使边界框的大小在图像帧之间的变化最小化而获得第二速度分量。反馈控制系统还可被配置为通过基于第一速度分量和第二速度分量调整跟踪设备的移动来跟踪目标物体。
可以通过使用反馈控制回路使位置误差最小化来获得第一速度分量。可以基于边界框的位置在图16和图17中的第一图像帧与第二图像帧之间的变化来计算位置误差。可以相对于第一图像帧和第二图像帧内的参考点来确定边界框的位置变化。可以通过使用反馈控制回路使边界框在时间t1和时间t2的位置之间的差异最小化来获得第一速度分量。如上文所述，边界框的位置变化可以与偏移距离δ相关联。
可以通过使边界框的大小在图像帧之间的变化最小化来获得第二速度分量。可以通过使用反馈控制回路使距离误差最小化来获得第二速度分量。可以基于在第一时刻(t1)跟踪设备与目标物体之间的第一距离以及在第二时刻(t2)跟踪设备与目标物体之间的第二距离来计算距离误差。可以基于第一图像帧和第二图像帧中的边界框的大小(例如，高度)来计算第一距离和第二距离。
系统1800的输入可以包括阈值位置偏移和阈值距离。在一些情况下，为了使偏移距离δ和距离误差最小化，阈值位置偏移和阈值距离可以为零或基本上为零。当阈值位置偏移和距离误差为零时，系统可以调整跟踪设备的移动，使得边界框在图像帧之间保持基本上相同的位置和大小。
成像设备可被配置为捕获图像数据(例如，图16中的第一图像帧和第二图像帧)。图像数据可以被提供给图像分析器。图像分析器可被配置为分析图像数据以确定边界框的位置在图像帧之间的变化(偏移距离δ)。可以将边界框的位置变化与输入进行比较，并将其提供给反馈控制器。在图16中，由于目标物体的移动与光轴不正交(参照图17)，因此可能需要校正图7、图8和图9中描述的位置误差d_error1以便顾及成像设备中的朝向(倾斜)。反馈控制器可被配置为通过计算在时间t2的边界框中的位置误差d_error3来校正位置误差d_error1，该计算使用以下等式：
Figure BDA0003206338000000461
其中δ是偏移距离，p是由第二图像帧中的每个像素表示的角度，Dz对应于跟踪设备与目标物体之间沿着Z轴的垂直距离，并且τ是成像设备的朝向。成像设备的朝向可以包括相对于跟踪设备和/或可移动物体定义的成像设备的横滚角、航向角和/或俯仰角。在图16的示例中，成像设备的朝向τ可以对应于成像设备的俯仰角θ。
图像分析器还可被配置为分析图像数据以确定第一图像帧和第二图像帧中的边界框的高度。边界框的高度可以被提供给反馈控制器1852。可以基于每个图像帧中的边界框的大小(高度)来获得跟踪设备与目标物体之间的距离。例如，反馈控制器可被配置为计算在时间t1的跟踪设备与目标物体之间的第一距离Dx_1以及在时间t2的跟踪设备与目标物体之间的距离Dx_2，该计算使用以下等式：
Figure BDA0003206338000000462
Figure BDA0003206338000000463
其中p是由第一图像帧和第二图像帧中的每个像素表示的角度，H是目标物体的高度，h1是第一边界框的高度，并且h2是第二边界框的高度。
反馈控制器还可被配置为计算目标物体在时间t1与t2的位置之间的距离误差d_error2，该距离误差使用以下等式来计算：
d_error2＝Dx_1–Dx_2；
接下来，反馈控制器可以使用比例积分微分(PID)方法(或比例微分(PD)方法)使d_error3和d_error2最小化，从而获得第一速度分量Vt和第二速度分量Vc。第一速度分量和第二速度分量可以被提供给致动系统1854。致动系统可被配置为基于第一速度分量和第二速度分量来调整跟踪设备沿着预定轴X’的移动，以便跟踪目标物体。预定轴X’可以对应于跟踪设备的移动所沿着的自然方向(例如，参照图16和图19)。在一些实施方法中，预定轴X’可以平行于参考表面(例如，水平地平面)。光轴可以倾斜于预定轴，使得光轴可以相对于预定轴成角度θ。光轴可以位于倾斜于水平地平面的平面上。在图16中，第一速度分量Vt可以与光轴1612正交，并且第二速度分量Vc可以平行于或沿着光轴。因此，第一速度分量Vt和第二速度分量Vc可以彼此正交。
通过基于第一速度分量和第二速度分量来调整跟踪设备的移动，边界框可以在图像帧之间保持基本上相同的位置和大小。跟踪设备的经调整的移动可以对应于反馈控制系统的运动输出。可以在闭环中迭代地重复上述步骤，直到位置误差d_error3等于或小于阈值位置偏移，并且距离误差d_error2等于或小于阈值距离。在上述步骤中的一次或多次迭代期间，第一速度分量和/或第二速度分量可以动态地改变。
在图15至图19的示例中，致动系统可被配置为使用预期速度向量Ve来调整跟踪设备沿着预定轴X’的移动，以便当目标物体相对于跟踪设备以平移运动移动时跟踪目标物体。预期速度向量Ve可以沿着预定轴X’的方向延伸，例如，如图19中所示。致动系统可被配置为基于第一速度分量Vt、第二速度分量Vc和成像设备的朝向τ来获得(计算)预期速度向量Ve。预期速度向量可以是第一速度分量和第二速度分量的融合(或组合)。融合因子λ可以是成像设备的朝向的函数。在一些情况下，融合因子λ可以由sin2τ给出。在其他情况下，融合因子λ可以由cos2τ给出。在一些实施方式中，预期速度向量可以通过以下方式获得：(1)将Vt乘以λ，(2)将Vc乘以(1-λ)，以及(3)取(1)和(2)中的乘积之和的平方根。在一些实施方式中，可以通过对第一速度分量Vt和第二速度分量Vc施加不同的权重来获得预期速度向量。不同的权重可以基于朝向τ和/或融合因子λ。例如，当跟踪设备基本上位于目标物体的上方(例如，如图7中所示)时，可以对第一速度分量Vt施加比第二速度分量Vc更高的权重。相反，当跟踪设备在水平轴(例如，如图13中所示)上与目标物体基本上齐平时，可以对第二速度分量Vc施加比第一速度分量Vt更高的权重。
成像设备的朝向可以包括成像设备的横滚角、航向角和/或俯仰角。在图15至图19的示例中，成像设备的朝向τ可以对应于成像设备的俯仰角θ。图20图示了根据一些进一步实施方式的，用于基于图16和图17中的边界框的大小和位置变化来调整跟踪设备的移动的示例性反馈控制系统的框图。图20的系统可以类似于图18的系统，区别在于以下差异。如图20的部分A中所示，运动控制器2050还可以包括位移计算器2051。位移计算器可被配置为基于边界框的位置在图16和图17中的第一图像帧与第二图像帧之间的变化来计算跟踪设备与目标物体之间的第一相对位移。位移计算器可被配置为基于边界框的大小在图16和图17中的第一图像帧与第二图像帧之间的变化来计算跟踪设备与目标物体之间的第二相对位移。
反馈控制器可被配置为从位移计算器接收指示出第一相对位移和第二相对位移的信号。接下来，反馈控制器可以使用比例积分微分(PID)方法(或比例微分(PD)方法)使第一相对位移和第二相对位移最小化，从而获得第一速度分量Vt和第二速度分量Vc。第一速度分量和第二速度分量可以被提供给致动系统2054。致动系统可被配置为基于第一速度分量和第二速度分量来调整跟踪设备沿着预定轴X’的移动，以便跟踪目标物体。
通过基于第一速度分量和第二速度分量来调整跟踪设备的移动，边界框可以在图像帧之间保持基本上相同的位置和大小。跟踪设备的经调整的移动可以对应于反馈控制系统的运动输出。可以在闭环中迭代地重复上述步骤，直到第一相对位移等于或小于第一阈值位移，并且第二相对位移等于或小于第二阈值位移。第一阈值位移和第二阈值位移可以相同或不同。在一些情况下，第一阈值位移和第二阈值位移可以基本上等于零。在上述步骤中的一次或多次迭代期间，第一速度分量和/或第二速度分量可以动态地改变。
图20的部分B图示了运动控制器的另一实施方式，并且除了以下差异之外类似于部分A中的运动控制器。在部分B中，位移计算器可被配置为通过将第一相对位移和第二相对位移融合或组合在一起来进一步计算组合位移。反馈控制器可被配置为从位移计算器接收指示出组合位移的信号。接下来，反馈控制器可以使用比例积分微分(PID)方法(或比例微分(PD)方法)使组合位移最小化，从而获得预期速度分量Ve。如上文所述，预期速度分量Ve可以是第一速度分量Vt和第二速度分量Vc的融合。然而，在图20的部分B中，不需要执行将第一速度分量和第二速度分量融合在一起，原因在于可以从组合位移直接获得预期速度分量(例如，作为组合位移关于时间的函数的导数)。可以将预期速度分量提供给致动系统2054。致动系统可被配置为基于预期速度分量来调整跟踪设备沿着预定轴X’的移动，以便跟踪目标物体。
通过基于预期速度分量来调整跟踪设备的移动，边界框可以在图像帧之间保持基本上相同的位置和大小。跟踪设备的经调整的移动可以对应于反馈控制系统的运动输出。可以在闭环中迭代地重复上述步骤，直到组合位移等于或小于阈值组合位移。在一些情况下，阈值组合位移可以基本上等于零。预期速度分量可以在上述步骤中的一次或多次迭代期间动态地改变。
在一些实施方式中，可以基于与一个或多个特征相关联的一个或多个特性的变化来获得可移动物体的预期旋转角速度，如下文参考图21和图22所述。
参考图21，跟踪设备上的成像设备可被配置为在时间t1将目标物体的第一图像2114-1捕获到第一图像平面2110-1上。第一边界框2116-1可被配置成基本上围绕目标物体的第一图像2114-1。边界框可被配置成当跟踪设备的朝向相对于目标物体改变时在大小和/或位置上变化。例如，跟踪设备可以围绕相对于携带跟踪设备的可移动物体定义的航向轴、横滚轴和/或俯仰轴旋转。第一边界框可以在时间t1基本上位于第一图像平面2110-1的中心部分。例如，第一边界框的一组中心坐标(x1,y1)可以与第一图像平面的中心C重合。在一些备选实施方式中，第一边界框可以基本上位于远离第一图像平面2110-1的中心部分之处，并且第一边界框的中心坐标(x1,y1)可以不与第一图像平面的中心C重合。
在时间t2，目标物体可能已经在X方向和Y方向上移动到不同位置。为了继续跟踪目标物体，如图22中所示，成像设备(或跟踪设备)可以相对于目标物体在航向方向(例如，围绕Z轴)旋转。成像设备可被配置为在时间t2将目标物体的第二图像2114-2捕获到第二图像平面2110-2上。第二边界框2116-2可被配置成基本上围绕目标物体的第二图像2114-2。类似于第一边界框，由于成像设备围绕航向轴的旋转，第二边界框可以位于第二图像平面2110-2的中心部分。例如，第二边界框的一组中心坐标(x2,y2)可以与第二图像平面的中心C重合。坐标y2可以从第一图像平面的中心C移位达偏移距离Δ。
在一些实施方式中，跟踪设备的朝向的变化可以包括跟踪设备在航向方向(Z轴)和俯仰方向(Y轴)上的旋转。例如，如图23中所示，坐标y2可以从第二图像平面的中心C移位达偏移距离Δy，并且坐标x2可以从第二图像平面的中心C移位达偏移距离Δx。偏移距离Δy可以由跟踪设备围绕俯仰轴的旋转所造成，而偏移距离Δx可以由跟踪设备围绕航向轴的旋转所造成。
图12的反馈控制系统可被配置为基于与一个或多个特征相关联的一个或多个特性的变化来获得预期旋转角速度。例如，可以基于沿着图像帧或图像平面的u轴和/或v轴的偏移距离Δ来获得预期旋转角速度。反馈控制系统可被配置为通过使边界框的位置在图像帧之间的变化(位置偏移)最小化来获得预期旋转角速度。反馈控制系统还可被配置为基于预期旋转角速度来调整跟踪设备的移动以跟踪目标物体。例如，反馈控制系统可以根据预期旋转角速度来实现跟踪设备的朝向(例如，围绕航向轴、横滚轴和/或俯仰轴)的变化，以跟踪目标物体。
可以通过使用反馈控制回路使位置误差最小化来获得预期旋转角速度。可以基于图21、图22和图23中的边界框的位置在第一图像帧与第二图像帧之间的变化来计算位置误差。可以相对于第一图像帧和第二图像帧内的参考点来确定边界框的位置变化。可以通过使用反馈控制回路使边界框在时间t1和时间t2的位置之间的差异最小化来获得预期旋转角速度。如先前在图21、图22和图23中所描述，边界框的位置变化可以与偏移距离Δ相关联。偏移距离Δ可以沿着图像帧或图像平面的u轴和/或v轴。系统的输入可以包括阈值位置偏移。在一些情况下，为了使偏移距离Δ最小化，阈值位置偏移可以为零或基本上为零。当阈值位置偏移为零时，系统可以调整跟踪设备的移动(例如，围绕航向轴、横滚轴和/或俯仰轴的旋转)，使得边界框在图像帧之间保持基本上相同的位置。
成像设备可被配置为捕获图像数据(例如，图21、图22和图23中的第一图像帧和第二图像帧)。图像数据可以被提供给图像分析器。图像分析器可被配置为分析图像数据以确定边界框的位置在图像帧之间的变化(偏移距离Δ)。可以将边界框的位置变化与输入进行比较，并将其提供给反馈控制器。
接下来，反馈控制器可以使用比例积分微分(PID)方法(或比例微分(PD)方法)使偏移距离Δ最小化，从而获得预期旋转角速度。预期旋转角速度可以被提供给致动系统。致动系统可被配置为基于预期旋转角速度来调整跟踪设备关于轴(例如，航向轴、横滚轴和/或俯仰轴)的移动，以便跟踪目标物体。通过基于预期旋转角速度来调整跟踪设备的移动，边界框可以在图像帧之间保持基本上相同的位置。跟踪设备的经调整的移动可以对应于反馈控制系统的运动输出。可以在闭环中迭代地重复上述步骤，直到偏移距离Δ等于或小于阈值位置偏移。预期旋转角速度可以在上述步骤中的一次或多次迭代期间动态地改变。
在上述示例中，可以使用偏移距离Δ来确定跟踪设备的预期旋转角速度以便跟踪目标物体。然而，本发明并不仅限于此。如本领域普通技术人员将会理解，偏移距离Δ还可以用于计算第三速度分量Vt'。与在X方向上的第一速度分量Vt不同，第三速度分量Vt'可以在Y方向上。因此，还可以沿着Y方向调整跟踪设备的移动，以跟踪目标物体。例如，反馈控制器可被配置为计算在时间t2的边界框中的位置误差d_error4，该计算使用以下等式：
d_error4＝tan(Δy*p)*Dz；
其中Δy是沿着第二图像帧中的v轴的偏移距离，p是由第二图像帧中的每个像素表示的角度，并且Dz对应于跟踪设备与目标物体之间沿着Z轴的垂直距离。
接下来，反馈控制器可以使用比例积分微分(PID)方法(或比例微分(PD)方法)使d_error4最小化，从而获得第三速度分量Vt'。第三速度分量Vt'可以被提供给致动系统。致动系统可被配置为基于第三速度分量Vt'来调整跟踪设备沿着预定轴(例如，Y轴)的移动，以便跟踪目标物体。通过基于第三速度分量Vt'来调整跟踪设备的移动，边界框可以在图像帧之间保持基本上相同的位置。跟踪设备的经调整的移动可以对应于反馈控制系统的运动输出。可以在闭环中迭代地重复上述步骤，直到位置误差d_error4等于或小于阈值位置偏移。在上述步骤中的一次或多次迭代期间第三速度分量Vt'可以动态地改变。
如上文所述，偏移距离δ可以用于确定第一速度分量Vt。在一些实施方式中，偏移距离δ还可以用于计算预期云台俯仰角θ’，以便控制跟踪设备的俯仰角。在这些实施方式中，可以通过将当前云台俯仰角与初始云台俯仰角之间的差异作为误差量，以及使该误差量最小化以获得预期云台俯仰角θ’来获得沿着预定轴(例如，X轴)的预期速度向量，以便实现对目标物体的跟踪。
在一些实施方式中，图9、图12、图14和图18以及图20的反馈控制系统可以包括用于过滤图像数据的一个或多个滤波器。可以应用滤波器来降低图像数据中的噪声。滤波器可以包括一个或多个一阶滤波器。在一些实施方式中，滤波器可以包括一个或多个更高阶的复数滤波器，例如有限脉冲响应(FIR)滤波器或无限脉冲响应(IIR)滤波器。例如，滤波器可以包括卡尔曼滤波器或Parks-McClellan滤波器。在一些情况下，目标物体的图像可能不完全位于第一图像帧中的第一边界框内，并且/或者第一边界框的中心可能不与第一图像帧中的目标物体的图像的中心对准。同样地，在一些情况下，目标物体的图像可能不完全位于第二图像帧中的第二边界框内，并且/或者第二边界框的中心可能不与第二图像帧中的目标物体的图像的中心对准。在这些情况下，当使位置偏移和/或距离误差最小化以分别获得第一速度分量和第二速度分量时，可以将一个或多个滤波器应用于图像数据。可以应用一个或多个滤波器来补偿第一图像帧中的第一边界框与目标物体的图像之间的偏移，以及/或者第二图像帧中的第二边界框与目标物体的图像之间的偏移。
本文所描述的系统、设备和方法可以适用于多种可移动物体。可移动物体可以充当跟踪设备或构成跟踪设备的一部分。如前文所述，本文对飞行器的任何描述均可适用于和用于任何可移动物体。本发明的可移动物体可被配置为在任何合适的环境内移动，诸如在空中(例如，固定翼航空器、旋翼航空器或者既不具有固定翼也不具有旋翼的航空器)、在水中(例如，船舶或潜艇)、在地面上(例如，机动车，诸如轿车、卡车、公交车、厢式货车、摩托车；可移动构造物或框架，诸如棒状物、钓鱼竿；或者火车)、在地下(例如，地铁)、在太空(例如，航天飞机、卫星或探测器)，或者这些环境的任何组合。可移动物体可以是载具，诸如本文其他各处所描述的载具。在一些实施方式中，可移动物体可以安装在诸如人类或动物等活体身上。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚、啮齿类或昆虫。
可移动物体可能能够在所述环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)而自由移动。或者，可移动物体的移动可能关于一个或多个自由度受到约束，诸如由预定路径、轨迹或朝向所约束。所述移动可以由诸如引擎或马达等任何合适的致动机构所致动。可移动物体的致动机构可以由任何合适的能源提供动力，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。可移动物体可以如本文其他各处所述，经由动力系统而自推进。所述动力系统可以可选地依靠能源运行，所述能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。或者，可移动物体可以由生物所携带。
在一些情况下，可移动物体可以是载具。合适的载具可以包括水上载具、飞行器、太空载具或地面载具。例如，飞行器可以是固定翼航空器(例如，飞机、滑翔机)、旋翼航空器(例如，直升机、旋翼飞机)、同时具有固定翼和旋翼的航空器或者既无固定翼又无旋翼的航空器(例如，飞艇、热气球)。载具可以是自推进式，诸如在空中、在水上或水中、在太空中或者在地上或地下自推进。自推进式载具可以利用动力系统，诸如包括一个或多个引擎、马达、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其任何合适组合的动力系统。在一些情况下，动力系统可以用于使可移动物体能够从表面起飞、降落到表面上、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。
可移动物体可以由用户遥控或者由可移动物体之内或之上的乘员在本地控制。在一些实施方式中，可移动物体是无人的可移动物体，诸如UAV。无人的可移动物体，诸如UAV，可以不具有搭乘该可移动物体的乘员。可移动物体可以由人类或自主控制系统(例如，计算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器人，诸如配置有人工智能的机器人。
可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中，可移动物体可以具有能容纳人类乘员身处载具之内或之上的大小和/或尺寸。或者，可移动物体可以具有比能够容纳人类乘员身处载具之内或之上的大小和/或尺寸更小的大小/或尺寸。可移动物体可以具有适合于由人类搬运或携带的大小和/或尺寸。或者，可移动物体可以大于适合由人类搬运或携带的大小和/或尺寸。在一些情况下，可移动物体可以具有的最大尺寸(例如，长度、宽度、高度、直径、对角线)小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。该最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对的旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。或者，相对的旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中，可移动物体可以具有小于100cm x100cm x100cm、小于50cmx50cm x30cm或小于5cm x5cm x3cm的体积。可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。相反地，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3或10m3。
在一些实施方式中，可移动物体可以具有的占地面积(这可以指由所述可移动物体所包围的横截面面积)小于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。相反地，所述占地面积可以大于或等于约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情况下，可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反地，所述重量可以大于或等于约：1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中，可移动物体相对于该可移动物体所携带的负荷可以较小。如下文进一步详述，所述负荷可以包括负载和/或载体。在一些示例中，可移动物体的重量与负荷重量之比可以大于、小于或等于约1:1。在一些情况下，可移动物体的重量与负荷重量之比可以大于、小于或等于约1:1。可选地，载体重量与负荷重量之比可以大于、小于或等于约1:1。当需要时，可移动物体的重量与负荷重量之比可以小于或等于：1:2、1:3、1:4、1:5、1:10或者甚至更小。相反地，可移动物体的重量与负荷重量之比还可以大于或等于：2:1、3:1、4:1、5:1、10:1或者甚至更大。
在一些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情况下，可移动物体的载体可以具有低能耗。例如，所述载体可以使用小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的负载可以具有低能耗，诸如小于约：5W/h、4W/h、3W/h、2W/h、1W/h或更小。
在一些实施方式中，UAV可以包括具有多个旋翼的动力系统。可以提供任何数目的旋翼(例如，一个、两个、三个、四个、五个、六个或更多)。无人飞行器的旋翼、旋翼组件或其他动力系统可使该无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对的旋翼的轴之间的距离可以是任何合适的长度。例如，长度可以小于或等于2m，或者小于或等于5m。在一些实施方式中，长度可以在从40cm到1m、从10cm到2m或者从5cm到5m的范围内。本文对UAV的任何描述均可适用于可移动物体，诸如不同类型的可移动物体，并且反之亦然。
在一些实施方式中，可移动物体可被配置为携带负荷。该负荷可以包括乘客、货物、设备、仪器等之中的一种或多种。该负荷可以提供在外壳内。该外壳可以与可移动物体的外壳相分离，或者是可移动物体的外壳的一部分。或者，负荷可以具备外壳，而可移动物体不具有外壳。或者，负荷的一些部分或者整个负荷可以在不具有外壳的情况下提供。负荷可以相对于所述可移动物体刚性固定。可选地，负荷可以是相对于可移动物体可以移动的(例如，可以相对于可移动物体平移或旋转)。
在一些实施方式中，负荷包括负载。负载可被配置成不执行任何操作或功能。或者，负载可以是被配置为执行操作或功能的负载，亦称为功能性负载。例如，负载可以包括用于勘测一个或多个目标的一个或多个传感器。可以将任何合适的传感器集成到负载中，所述传感器诸如为图像捕获设备(例如，相机)、音频捕获设备(例如，抛物面麦克风)、红外成像设备或紫外成像设备。传感器可以提供静态感测数据(例如，照片)或动态感测数据(例如，视频)。在一些实施方式中，传感器提供负载的目标的感测数据。备选地或组合地，负载可以包括用于向一个或多个目标提供信号的一个或多个发射器。可以使用任何合适的发射器，诸如照明源或声音源。在一些实施方式中，负载包括一个或多个收发器，诸如用于与远离可移动物体的模块通信。可选地，负载可被配置为与环境或目标相互作用。例如，负载可以包括工具、仪器，或者能够操纵物体的机构，诸如机械臂。
可选地，负荷可以包括载体。载体可被提供用于负载，并且负载可以经由载体而直接地(例如，直接接触可移动物体)或间接地(例如，不接触可移动物体)耦合至可移动物体。相反地，负载可以在无需载体的情况下安装在可移动物体上。负载可以与载体一体形成。或者，负载可以可释放地耦合到载体。在一些实施方式中，负载可以包括一个或多个负载元件，并且所述负载元件中的一个或多个可以是相对于可移动物体和/或载体可以移动的，如上文所述。
载体可以与可移动物体一体形成。或者，载体可以可释放地耦合至可移动物体。载体可以直接地或间接地耦合至可移动物体。载体可以向负载提供支撑(例如，承载负载的重量的至少一部分)。载体可以包括能够稳定和/或引导负载的移动的合适的安装构造物(例如，云台平台)。在一些实施方式中，载体可以适于控制负载相对于可移动物体的状态(例如，位置和/或朝向)。例如，载体可被配置成相对于可移动物体(例如，关于一个、两个或三个平移自由度以及/或者一个、两个或三个旋转自由度)移动，以使得负载保持其相对于合适的参考系的位置和/或朝向，而与可移动物体的移动无关。该参考系可以是固定参考系(例如，周围环境)。或者，该参考系可以是移动参考系(例如，可移动物体、负载目标)。
在一些实施方式中，载体可被配置为允许负载相对于载体和/或可移动物体的移动。该移动可以是关于多达三个自由度(例如，沿着一个、两个或三个轴)的平移，或者关于多达三个自由度(例如，围绕一个、两个或三个轴)的旋转，或者其任何合适的组合。
在一些情况下，载体可以包括载体框架组件和载体致动组件。载体框架组件可以向负载提供结构支撑。载体框架组件可以包括单个载体框架部件，其中一些部件可以是相对于彼此可移动的。载体致动组件可以包括致动单个载体框架部件的移动的一个或多个致动器(例如，马达)。致动器可以允许多个载体框架部件同时移动，或者可被配置为允许每次移动单个载体框架部件。载体框架部件的移动可以产生负载的对应移动。例如，载体致动组件可以致动一个或多个载体框架部件围绕一个或多个旋转轴(例如，横滚轴、俯仰轴或航向轴)的旋转。该一个或多个载体框架部件的旋转可以使负载相对于可移动物体围绕一个或多个旋转轴旋转。备选地或组合地，载体致动组件可以致动一个或多个载体框架部件沿着一个或多个平移轴的平移，并从而产生负载相对于可移动物体沿着一个或多个对应轴的平移。
在一些实施方式中，可移动物体、载体和负载相对于固定参考系(例如，周围环境)和/或相对于彼此的移动可以由终端来控制。所述终端可以是处于远离所述可移动物体、载体和/或负载的位置处的遥控设备。终端可以安置于支撑平台上或者固定至支撑平台。或者，终端可以是手持式或可穿戴式设备。例如，终端可以包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适的组合。终端可以包括用户接口，诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互，诸如手动输入命令、语音控制、手势控制或位置控制(例如，经由终端的移动、位置或倾斜)。
终端可以用于控制可移动物体、载体和/或负载的任何合适的状态。例如，终端可以用于控制可移动物体、载体和/或负载相对于固定参考物从和/或相对于彼此的位置和/或朝向。在一些实施方式中，终端可以用于控制可移动物体、载体和/或负载的单个元件，诸如载体的致动组件、负载的传感器或者负载的发射体。终端可以包括适于与可移动物体、载体或负载中的一个或多个相通信的无线通信设备。
终端可以包括用于查看可移动物体、载体和/或负载的信息的合适的显示单元。例如，终端可被配置为显示可移动物体、载体和/或负载的信息，所述信息关于位置、平移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。在一些实施方式中，终端可以显示由负载提供的信息，诸如由功能性负载提供的数据(例如，由相机或其他图像捕获设备记录的图像)。
可选地，同一终端可以同时控制可移动物体、载体和/或负载或者所述可移动物体、载体和/或负载的状态，以及接收和/或显示来自所述可移动物体、载体和/或负载的信息。例如，终端可以控制负载相对于环境的定位，同时显示由负载捕获的图像数据，或者关于负载的位置的信息。或者，不同的终端可以用于不同的功能。例如，第一终端可以控制可移动物体、载体和/或负载的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体和/或负载的信息。例如，第一终端可以用于控制负载相对于环境的定位，而第二终端显示由该负载捕获的图像数据。可以在可移动物体与同时控制该可移动物体并接收数据的集成式终端之间，或者在可移动物体与同时控制该可移动物体并接收数据的多个终端之间利用各种通信模式。例如，可以在可移动物体与同时控制该可移动物体并接收来自该可移动物体的数据的终端之间形成至少两种不同的通信模式。
图24图示了根据实施方式，包括载体2402和负载2404的可移动物体2400。虽然可移动物体2400被描绘为飞行器，但这样的描绘并不旨在成为限制性的，并且如前文所述可以使用任何合适类型的可移动物体。本领域技术人员将会理解，本文在航空器系统的情景下描述的任何实施方式均可适用于任何合适的可移动物体(例如，UAV)。在一些情况下，可以在可移动物体2400上提供负载2404而无需载体2402。可移动物体2400可以包括动力机构2406、感测系统2408和通信系统2410。
如前文所述，动力机构2406可以包括旋翼、螺旋桨、桨叶、引擎、马达、轮子、轮轴、磁体或喷嘴中的一种或多种。例如，动力机构2406可以是自紧式旋翼、旋翼组件，或者如本文其他各处所公开的其他旋转动力单元。可移动物体可以具有一个或多个、两个或更多个、三个或更多个或者四个或更多个动力机构。动力机构可以全都是同一类型。或者，一个或多个动力机构可以是不同类型的动力机构。动力机构2406可以使用任何合适的装置而安装在可移动物体2400上，所述装置诸如为本文其他各处所述的支撑元件(例如，驱动轴)。动力机构2406可以安装在可移动物体2400的任何合适的部分上，诸如顶部、底部、前面、后面、侧面或其合适的组合。
在一些实施方式中，动力机构2406可以使得可移动物体2400能够从表面垂直地起飞或者垂直地降落在表面上，而无需可移动物体2400的任何水平移动(例如，无需沿着跑道行进)。可选地，动力机构2406可以可操作地允许可移动物体2400以指定位置和/或朝向悬停于空中。一个或多个动力机构2400可以独立于其他动力机构得到控制。或者，动力机构2400可被配置成同时受到控制。例如，可移动物体2400可以具有多个水平朝向的旋翼，所述旋翼可以向该可移动物体提供升力和/或推力。可以致动所述多个水平朝向的旋翼以向可移动物体2400提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中，所述水平朝向的旋翼中的一个或多个可以在顺时针方向上旋转，同时所述水平旋翼中的一个或多个可以在逆时针方向上旋转。例如，顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平朝向的旋翼的旋转速率可独立地改变，以便控制由每个旋翼产生的升力和/或推力，并从而调整可移动物体2400的空间排列、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。
感测系统2408可以包括一个或多个传感器，所述传感器可以感测可移动物体2400的空间排列、速度和/或加速度(例如，关于多达三个平移自由度和多达三个旋转自由度)。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距离传感器或图像传感器。由感测系统2408提供的感测数据可以用于控制可移动物体2400的空间排列、速度和/或朝向(例如，使用合适的处理单元和/或控制模块，如下文所述)。或者，感测系统2408可以用于提供关于可移动物体周围环境的数据，诸如气象条件、距潜在障碍物的距离、地理特征的位置、人造构造物的位置等。
通信系统2410支持经由无线信号2416与具有通信系统2414的终端2412的通信。通信系统2410、通信系统2414可以包括任何数目的适合于无线通信的发射器、接收器和/或收发器。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅涉及可移动物体2400向终端2412传输数据，或者反之亦然。数据可以从通信系统2410的一个或多个发射器传输至通信系统2412的一个或多个接收器，或者反之亦然。或者，所述通信可以是双向通信，使得数据在可移动物体2400与终端2412之间的两个方向上均可传输。双向通信可以涉及从通信系统2410的一个或多个发射器向通信系统2414的一个或多个接收器传输数据，并且反之亦然。
在一些实施方式中，终端2412可以向可移动物体2400、载体2402和负载2404中的一个或多个提供控制数据，以及从可移动物体2400、载体2402和负载2404中的一个或多个接收信息(例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测的数据，诸如由负载相机捕获的图像数据)。在一些情况下，来自终端的控制数据可以包括针对可移动物体、载体和/或负载的相对位置、移动、致动或控制的指令。例如，控制数据可以导致可移动物体的位置和/或朝向的修改(例如，经由动力机构2406的控制)，或者负载相对于可移动物体的移动(例如，经由载体2402的控制)。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕获设备的操作的控制(例如，拍摄静态或移动图片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时间、改变视角或视野)。在一些情况下，来自可移动物体、载体和/或负载的通信可以包括来自一个或多个传感器(例如，感测系统2408的或负载2404的传感器)的信息。所述通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测到的信息。这样的信息可以关于可移动物体、载体和/或负载的位置(例如，位置、朝向)、移动或加速度。来自负载的这样的信息可以包括由该负载捕获的数据或该负载的感测到的状态。由终端2412提供并传输的控制数据可被配置为控制可移动物体2400、载体2402或负载2404中的一个或多个的状态。备选地或组合地，载体2402和负载2404还可以各自包括通信模块，该通信模块被配置为与终端2412通信，以使得该终端可独立地与可移动物体2400、载体2402和负载2404中的每一个通信和对其加以控制。
在一些实施方式中，可移动物体2400可被配置为与另一远程设备相通信——附加于终端2412或代替终端2412。终端2412也可被配置为与另一远程设备以及可移动物体2400相通信。例如，可移动物体2400和/或终端2412可以与另一可移动物体或者另一可移动物体的载体或负载相通信。当需要时，所述远程设备可以是第二终端或其他计算设备(例如，计算机、膝上型计算机、平板计算机、智能电话或其他移动设备)。远程设备可被配置为向可移动物体2400传输数据、从可移动物体2400接收数据、向终端2412传输数据以及/或者从终端2412接收数据。可选地，远程设备可以连接至因特网或其他电信网络，以使得从可移动物体2400和/或终端2412接收的数据可被上传至网站或服务器。
在一些实施方式中，可以根据各实施方式提供用于控制可移动物体的系统。该系统可以与本文公开的系统、设备和方法的任何合适的实施方式相结合使用。该系统可以包括感测模块、处理单元、非易失性计算机可读介质、控制模块和通信模块。
感测模块可以利用以不同方式收集与可移动物体有关的信息的不同类型的传感器。不同类型的传感器可以感测不同类型的信号或来自不同来源的信号。例如，所述传感器可以包括惯性传感器、GPS传感器、距离传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块可以可操作地耦合至具有多个处理器的处理单元。在一些实施方式中，感测模块可以可操作地耦合至传输模块(例如，Wi-Fi图像传输模块)，该传输模块被配置为向合适的外部设备或系统直接传输感测数据。例如，传输模块可以用于向远程终端传输由感测模块的相机捕获的图像。
处理单元可具有一个或多个处理器，诸如可编程处理器(例如，中央处理器(CPU))。处理单元可以可操作地耦合至非易失性计算机可读介质。非易失性计算机可读介质可以储存可由处理单元执行的逻辑、代码和/或程序指令，用以执行一个或多个步骤。非易失性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储，诸如SD卡或随机存取存储器(RAM))。在一些实施方式中，来自感测模块的数据可直接传送至并储存于非易失性计算机可读介质的存储器单元内。非易失性计算机可读介质的存储器单元可以储存可由处理单元执行的逻辑、代码和/或程序指令，用以执行本文所描述的方法的任何合适的实施方式。例如，处理单元可被配置为执行指令，从而使处理单元的一个或多个处理器分析由感测模块产生的感测数据。存储器单元可以储存要由处理单元处理的、来自感测模块的感测数据。在一些实施方式中，非易失性计算机可读介质的存储器单元可以用于储存由处理单元产生的处理结果。
在一些实施方式中，处理单元可以可操作地耦合至控制模块，该控制模块被配置为控制可移动物体的状态。例如，控制模块可被配置为控制可移动物体的动力机构以调整可移动物体关于六个自由度的空间排列、速度和/或加速度。备选地或组合地，控制模块可以控制载体、负载或感测模块的状态中的一个或多个。
处理单元可以可操作地耦合至通信模块，该通信模块被配置为传输数据和/或接收来自一个或多个外部设备(例如，终端、显示设备或其他遥控器)的数据。可以使用任何合适的通信手段，诸如有线通信或无线通信。例如，通信模块可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中的一种或多种。可选地，可以使用中继站，诸如塔台、卫星或移动台。无线通信可以依赖于距离或独立于距离。在一些实施方式中，通信可能需要或者可能不需要视线。通信模块可以传输和/或接收来自感测模块的感测数据、由处理单元产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等之中的一个或多个。
系统的部件可以按任何合适的配置来布置。例如，系统的一个或多个部件可以位于可移动物体、载体、负载、终端、感测系统或与上述的一个或多个相通信的附加的外部设备上。在一些实施方式中，多个处理单元和/或非易失性计算机可读介质中的一个或多个可以位于不同的位置，诸如在可移动物体、载体、负载、终端、感测模块、与上述的一个或多个相通信的附加的外部设备上或其合适的组合，以使得由系统执行的处理和/或存储器功能的任何合适的方面可以发生于一个或多个上述位置处。
本文所使用的A和/或B包括A或B中的一个或多个及其组合，诸如A和B。应当理解，尽管术语“第一”、“第二”、“第三”等可在本文中用来描述各种元件、部件、区域和/或部分，但这些元件、部件、区域和/或部分不应当受到这些术语的限制。这些术语仅用于将一个元件、部件、区域或部分与另一元件、部件、区域或部分相区分。因此，在不偏离本发明的教导的情况下，下文讨论的第一元件、部件、区域或部分可被称为第二元件、部件、区域或部分。
本文所使用的术语仅为了描述特定实施方式的目的，并且并不旨在对本发明作出限制。如本文所使用，单数形式“一种”、“一个”和“该”还旨在包括复数形式，除非上下文另有明确指示。还应当理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所陈述的特征、区域、整数、步骤、操作、元件和/或部件的存在，但并不排除一个或多个其他特征、区域、整数、步骤、操作、元件、部件和/或其组的存在或添加。
此外，相对术语，诸如“下方”或“底部”以及“上方”或“顶部”等，可以在本文中用来描述图中所示一个元件与其他元件的关系。应当理解，相对术语旨在包含元件的除了图中描绘的朝向之外的不同朝向。例如，如果附图之一中的元件被翻转，则被描述为位于其他元件的“下”侧的元件的朝向将会是在该其他元件的“上”侧。因此，根据附图的具体朝向，示例性术语“下方”可以同时包括“下方”朝向和“上方”朝向。类似地，如果附图之一中的元件被翻转，则被描述为位于其他元件“下方”或“之下”的元件的朝向将会是在该其他元件的“上方”。因此，示例性术语“下方”或“之下”可以同时包括上方朝向和下方朝向。
虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而易见的是，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本文所描述的本发明实施方式的各种替代方案。本文所述实施方式的多种不同组合是可能的，并且这样的组合被认为是本公开内容的一部分。此外，关于本文任一实施方式讨论的所有特征可以很容易地适于在本文其他实施方式中使用。以下权利要求旨在限定本发明的范围，并因此覆盖这些权利要求范围内的方法和构造物及其等效项。

Claims (19)

1.一种用于控制可移动物体对目标物体进行跟踪的方法，包括：
确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；其中，一个或多个特征包括边界框；以及
基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化来调整所述可移动物体的移动。
2.根据权利要求1所述的方法，还包括：当所述成像设备、所述可移动物体和/或所述目标物体相对于彼此处于第一位置时，捕获所述第一图像帧；当所述成像设备、所述可移动物体和/或所述目标物体相对于彼此处于第二位置时，捕获所述第二图像帧。
3.根据权利要求2所述的方法，其中所述第二位置不同于所述第一位置，其中所述第一位置与所述第二位置之间的差异包括所述成像设备、所述可移动物体和/或所述目标物体之间的相对朝向和/或相对距离的变化。
4.根据权利要求1所述的方法，其中所述一个或多个特征的所述变化包括所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的大小变化。
5.根据权利要求1所述的方法，其中所述一个或多个特征的所述变化包括所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的位置变化。
6.根据权利要求1所述的方法，还包括：测量所述边界框相对于所述第一图像帧和所述第二图像帧内的参考点的位置变化；基于所述边界框的位置变化，确定所述参考点与关联于所述边界框的基准点之间的偏移距离。
7.根据权利要求6所述的方法，还包括：基于所述偏移距离来控制所述可移动物体与所述目标物体之间的相对移动。
8.根据权利要求7所述的方法，其中控制所述相对移动包括引导所述可移动物体朝着或远离所述目标物体移动。
9.根据权利要求6所述的方法，其中当所述目标物体和所述可移动物体朝着和/或远离彼此移动时产生所述偏移距离。
10.根据权利要求7所述的方法，其中在第一方向上控制和产生所述相对移动。
11.根据权利要求10所述的方法，其中在第一方向上控制和产生所述相对移动，其中所述第一方向与所述成像设备的光轴正交，所述光轴从所述成像设备延伸到所述目标物体；或所述第一方向平行于地平面。
12.根据权利要求1所述的方法，其中所述一个或多个特征的所述变化包括所述边界框在所述第一图像帧与所述第二图像帧之间的大小变化。
13.根据权利要求12所述的方法，其中所述边界框的大小变化包括所述边界框的高度变化。
14.根据权利要求12所述的方法，还包括：基于所述边界框的高度变化，确定所述可移动物体与所述目标物体之间的距离变化。
15.根据权利要求14所述的方法，还包括：基于所述距离变化，控制所述可移动物体与所述目标物体之间的相对移动。
16.根据权利要求15所述的方法，其中控制所述相对移动包括：基于所述距离变化，引导所述可移动物体朝着或远离所述目标物体移动。
17.根据权利要求15所述的方法，其中在第二方向上控制和产生所述相对移动，其中所述第二方向平行于所述成像设备的光轴，所述光轴从所述成像设备延伸到所述目标物体；和/或，其中所述第二方向与所述第一方向正交。
18.根据权利要求2所述的方法，还包括：基于所述一个或多个特征在所述第一图像帧与所述第二图像帧之间的所述变化，调整所述成像设备的朝向。
19.一种用于控制可移动物体对目标物体进行跟踪的方法，其特征在于，包括：
确定一个或多个特征在第一图像帧与第二图像帧之间的变化，其中所述一个或多个特征与所述目标物体相关联，并且其中在不同的时间点捕获所述第一图像帧和所述第二图像帧；
使所述一个或多个特征的位置变化最小化以获得第一速度分量，使所述一个或多个特征的大小变化最小化以获得第二速度分量，以及将所述第一速度分量和所述第二速度分量相融合以获得所述预期速度向量。
CN202110917955.3A 2016-02-26 2016-02-26 用于视觉目标跟踪的方法 Withdrawn CN113589833A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110917955.3A CN113589833A (zh) 2016-02-26 2016-02-26 用于视觉目标跟踪的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201680065835.2A CN108351654B (zh) 2016-02-26 2016-02-26 用于视觉目标跟踪的系统和方法
CN202110917955.3A CN113589833A (zh) 2016-02-26 2016-02-26 用于视觉目标跟踪的方法
PCT/CN2016/074693 WO2017143589A1 (en) 2016-02-26 2016-02-26 Systems and methods for visual target tracking

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680065835.2A Division CN108351654B (zh) 2016-02-26 2016-02-26 用于视觉目标跟踪的系统和方法

Publications (1)

Publication Number Publication Date
CN113589833A true CN113589833A (zh) 2021-11-02

Family

ID=59684947

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680065835.2A Active CN108351654B (zh) 2016-02-26 2016-02-26 用于视觉目标跟踪的系统和方法
CN202110917955.3A Withdrawn CN113589833A (zh) 2016-02-26 2016-02-26 用于视觉目标跟踪的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680065835.2A Active CN108351654B (zh) 2016-02-26 2016-02-26 用于视觉目标跟踪的系统和方法

Country Status (4)

Country Link
US (1) US11263761B2 (zh)
EP (2) EP4016228A1 (zh)
CN (2) CN108351654B (zh)
WO (1) WO2017143589A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114225361A (zh) * 2021-12-09 2022-03-25 栾金源 一种网球测速方法
CN115442521A (zh) * 2022-08-08 2022-12-06 杭州华橙软件技术有限公司 摄像控制方法及相关装置、摄像机和存储介质

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095170B (zh) * 2016-06-02 2019-07-09 深圳创维－Rgb电子有限公司 一种osd触发区域偏移校正方法及系统
US20180204331A1 (en) * 2016-07-21 2018-07-19 Gopro, Inc. Subject tracking systems for a movable imaging system
WO2018195979A1 (zh) * 2017-04-28 2018-11-01 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
JP7186216B2 (ja) * 2017-08-17 2022-12-08 ボブスト メックス ソシエテ アノニム 製品の品質を検査するための方法及び機械
US10649460B2 (en) * 2017-11-14 2020-05-12 Facebook, Inc. Interactive robots positionable for optimal interactions
WO2019104684A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 无人机的控制方法、装置和系统
EP3531375B1 (en) 2017-12-25 2021-08-18 Autel Robotics Co., Ltd. Method and apparatus for measuring distance, and unmanned aerial vehicle
CN111527463B (zh) 2018-01-22 2024-02-23 深圳市大疆创新科技有限公司 用于多目标跟踪的方法和系统
CN108460787B (zh) 2018-03-06 2020-11-27 北京市商汤科技开发有限公司 目标跟踪方法和装置、电子设备、程序、存储介质
JP7163372B2 (ja) * 2018-03-06 2022-10-31 北京市商▲湯▼科技▲開▼▲発▼有限公司 目標トラッキング方法及び装置、電子機器並びに記憶媒体
JP7169752B2 (ja) * 2018-03-22 2022-11-11 キヤノン株式会社 監視装置、監視システム、制御方法、及びプログラム
US10982968B2 (en) * 2018-03-29 2021-04-20 Nio Usa, Inc. Sensor fusion methods for augmented reality navigation
CN110475226A (zh) * 2018-05-11 2019-11-19 深圳Tcl新技术有限公司 一种基于无人机的基站信号覆盖方法、系统及无人机
US10593049B2 (en) * 2018-05-30 2020-03-17 Chiral Software, Inc. System and method for real-time detection of objects in motion
CN111344644B (zh) * 2018-08-01 2024-02-20 深圳市大疆创新科技有限公司 用于基于运动的自动图像捕获的技术
CN108958297A (zh) * 2018-08-03 2018-12-07 南京航空航天大学 一种多无人机协同目标跟踪地面站
US10721404B1 (en) * 2018-08-29 2020-07-21 Amazon Technologies, Inc. Configuring imaging devices based on control signals
EP3835913A1 (en) * 2018-09-13 2021-06-16 SZ DJI Technology Co., Ltd. Control method of handheld gimbal, handheld gimbal, and handheld device
CN109407526B (zh) * 2018-09-14 2020-10-02 珠海格力电器股份有限公司 设备检测方法和装置、家电设备
EP3891523A1 (en) * 2018-12-03 2021-10-13 Lac Camera Systems OY Self-positioning method, self-positioning system and tracking beacon unit
US11159734B2 (en) * 2018-12-06 2021-10-26 Heimavista Inc. Automatic object tracking system and automatic object tracking method
US10855926B2 (en) * 2018-12-06 2020-12-01 Heimavista Inc. Automatic object tracking system and automatic object tracking method
US11849223B2 (en) * 2018-12-21 2023-12-19 Chronoptics Limited Time of flight camera data processing system
CN109993775B (zh) * 2019-04-01 2023-03-21 云南大学 基于特征补偿的单目标跟踪方法
CN110045636B (zh) * 2019-04-29 2020-09-11 北方工业大学 一种面向自主扫雪的感知系统及方法
CN110245566B (zh) * 2019-05-16 2021-07-13 西安交通大学 一种基于背景特征的红外目标远距离追踪方法
US11734783B2 (en) * 2019-06-11 2023-08-22 Tata Consultancy Services Limited System and method for detecting on-street parking violations
CN110207537A (zh) * 2019-06-19 2019-09-06 赵天昊 基于计算机视觉技术的火控装置及其自动瞄准方法
CN112131917A (zh) * 2019-06-25 2020-12-25 北京京东尚科信息技术有限公司 测量方法、装置、系统和计算机可读存储介质
CN110393165B (zh) * 2019-07-11 2021-06-25 浙江大学宁波理工学院 一种基于自动投饵船的远海养殖网箱投饵方法
CN110348418B (zh) * 2019-07-17 2022-03-11 上海商汤智能科技有限公司 目标跟踪方法及装置、智能移动设备和存储介质
CN110543015B (zh) * 2019-09-08 2022-02-18 哈尔滨理工大学 一种非三维成像双目视觉红外图像目标跟踪装置与方法
CN111079607A (zh) * 2019-12-05 2020-04-28 灵动科技（北京）有限公司 具有追踪功能的自动驾驶系统
TWI726536B (zh) 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
US10846880B1 (en) * 2020-01-03 2020-11-24 Altec Industries, Inc. Camera embedded joystick
US11415990B2 (en) * 2020-05-04 2022-08-16 Honeywell International Inc. Optical object tracking on focal plane with dynamic focal length
CN113923277A (zh) * 2020-07-07 2022-01-11 黑快马股份有限公司 自动摄录影跟拍系统及自动摄录影跟拍方法
CN111862154B (zh) * 2020-07-13 2024-03-01 中移（杭州）信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
TWI780468B (zh) 2020-08-13 2022-10-11 國立陽明交通大學 機器人對人員跟隨之控制方法與系統
CN114466129A (zh) * 2020-11-09 2022-05-10 哲库科技(上海)有限公司 图像处理方法、装置、存储介质及电子设备
CN112405540B (zh) * 2020-11-11 2022-01-07 深圳优地科技有限公司 机器人控制方法、装置、机器人及可读存储介质
US12003894B1 (en) 2020-12-29 2024-06-04 Waymo Llc Systems, methods, and apparatus for event detection
US11922640B2 (en) 2021-03-08 2024-03-05 Toyota Research Institute, Inc. Semi-supervised 3D object tracking in videos via 2D semantic keypoints
US11297247B1 (en) * 2021-05-03 2022-04-05 X Development Llc Automated camera positioning for feeding behavior monitoring
CN113344966B (zh) * 2021-06-18 2023-09-22 北京星航科创技术有限公司 一种运动相机的目标运动状态修正方法
CN113673457B (zh) * 2021-08-26 2023-06-30 北京环境特性研究所 模拟测量图像处理方法、装置、计算设备及存储介质
US20230079054A1 (en) * 2021-09-10 2023-03-16 Exploration Robotics Technologies Inc. System and method for autonomous inspection for asset maintenance and management
US20230109164A1 (en) * 2021-10-05 2023-04-06 Transportation Ip Holdings, Llc System and method for vehicle-based localizing of offboard features
US12055377B2 (en) * 2021-10-14 2024-08-06 Electronics For Imaging, Inc. Systems and methods for optical tracking of high precision
CN113984763B (zh) * 2021-10-28 2024-03-26 内蒙古大学 一种基于视觉识别的驱虫剂药效实验装置及方法
CN114353818B (zh) * 2021-12-31 2024-05-14 上海洛轲智能科技有限公司 目标对象跟随方法、装置、设备、介质和计算机程序产品
CN114646457B (zh) * 2022-05-20 2022-08-12 南昌虚拟现实研究院股份有限公司 眼动追踪精准度测试方法及系统
CN115147723B (zh) * 2022-07-11 2023-05-09 武汉理工大学 一种内河船舶识别与测距方法、系统、介质、设备及终端
CN117472038A (zh) * 2022-07-18 2024-01-30 北京小米机器人技术有限公司 机器人的跟随控制方法、装置及机器人
KR20240088178A (ko) * 2022-12-13 2024-06-20 (주)이오시스템 드론 전투체계를 위한 표적추적시스템 및 그 제어방법
CN116309590B (zh) * 2023-05-22 2023-08-04 四川新迎顺信息技术股份有限公司 一种基于人工智能的视觉计算方法、系统、电子设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434617A (en) * 1993-01-29 1995-07-18 Bell Communications Research, Inc. Automatic tracking camera control system
US20110316968A1 (en) * 2010-06-29 2011-12-29 Yuichi Taguchi Digital Refocusing for Wide-Angle Images Using Axial-Cone Cameras
US20120307042A1 (en) * 2011-06-02 2012-12-06 Hon Hai Precision Industry Co., Ltd. System and method for controlling unmanned aerial vehicle
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
US20160031559A1 (en) * 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd Systems and methods for target tracking

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785080B1 (en) * 2000-10-10 2004-08-31 Maxtor Corporation Method and apparatus for providing a variable rate oversampling digital filter for resonance compensation in disk drive servo control systems
CN102142147A (zh) * 2010-01-29 2011-08-03 索尼公司 场地内容分析装置和方法及目标检测与跟踪装置和方法
TW201248347A (en) * 2011-05-18 2012-12-01 Hon Hai Prec Ind Co Ltd System and method for controlling unmanned aerial vehicle
CN202583884U (zh) * 2012-04-18 2012-12-05 北京刘氏尊德科技有限责任公司 无人飞行器有效载荷与自动驾驶仪综合控制计算机系统
CN102750708B (zh) * 2012-05-11 2014-10-15 天津大学 基于快速鲁棒特征匹配的仿射运动目标跟踪算法
CN103604427B (zh) * 2013-12-10 2016-10-12 中国航天空气动力技术研究院 对地面移动目标动态定位的无人机系统和方法
CN104484868B (zh) * 2014-10-08 2017-06-30 浙江工业大学 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434617A (en) * 1993-01-29 1995-07-18 Bell Communications Research, Inc. Automatic tracking camera control system
US20110316968A1 (en) * 2010-06-29 2011-12-29 Yuichi Taguchi Digital Refocusing for Wide-Angle Images Using Axial-Cone Cameras
US20120307042A1 (en) * 2011-06-02 2012-12-06 Hon Hai Precision Industry Co., Ltd. System and method for controlling unmanned aerial vehicle
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
US20160031559A1 (en) * 2014-07-30 2016-02-04 SZ DJI Technology Co., Ltd Systems and methods for target tracking

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114225361A (zh) * 2021-12-09 2022-03-25 栾金源 一种网球测速方法
CN115442521A (zh) * 2022-08-08 2022-12-06 杭州华橙软件技术有限公司 摄像控制方法及相关装置、摄像机和存储介质
CN115442521B (zh) * 2022-08-08 2023-10-27 杭州华橙软件技术有限公司 摄像控制方法及相关装置、摄像机和存储介质

Also Published As

Publication number Publication date
EP3420428B1 (en) 2022-03-23
CN108351654A (zh) 2018-07-31
WO2017143589A1 (en) 2017-08-31
US11263761B2 (en) 2022-03-01
EP3420428A1 (en) 2019-01-02
US20190096069A1 (en) 2019-03-28
CN108351654B (zh) 2021-08-17
EP4016228A1 (en) 2022-06-22
EP3420428A4 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
CN111527463B (zh) 用于多目标跟踪的方法和系统
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
US10650235B2 (en) Systems and methods for detecting and tracking movable objects
US20210116944A1 (en) Systems and methods for uav path planning and control
US20210065400A1 (en) Selective processing of sensor data
CN108351653B (zh) 用于uav飞行控制的系统和方法
US10599149B2 (en) Salient feature based vehicle positioning
CN107850902B (zh) 可移动物体上的相机配置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20211102

WW01 Invention patent application withdrawn after publication