CN113038020B - 用于时刻捕获的系统和方法 - Google Patents

Abstract

系统和方法可以支持成像环境中的时刻捕获。该系统可以获得对象的多个图像，其中，在跟踪对象的同时在一段时间内使用一个或多个成像设备捕获多个图像。此外，系统可以在该段时间中执行对象的运动和/或状态估计。然后，系统可以基于对象的运动和/或状态估计从多个图像中选择与时刻相关的一个或多个图像。

Description

用于时刻捕获的系统和方法

技术领域

所公开的实施例总体上涉及图像捕获，并且更具体地但非排他地涉及时刻捕获。

背景技术

所有摄影师(无论是业余摄影师还是专业摄影师)都在不断寻找合适的时刻。一个普遍的挑战是如何预测正确的时机，以用于捕获不可能或难以复制的令人兴奋和难忘的时刻。这是本发明的实施例旨在解决的一般领域。

发明内容

本文描述的是为成像环境中的时刻捕获提供技术解决方案的系统和方法。该系统可以获得对象的多个图像，其中，在跟踪对象的同时在一段时间内使用一个或多个成像设备捕获多个图像。此外，系统可以在该段时间中执行对象的运动和/或状态估计。然后，系统可以基于对象的运动和/或状态估计从多个图像中选择与时刻相关的一个或多个图像。

附图说明

图1示出了根据本发明各种实施例的可移动平台环境。

图2示出了根据实施例的可移动平台环境中的示例性载体。

图3示出了根据本发明各种实施例的成像环境中的时刻捕获。

图4示出了根据本发明各种实施例的用于时刻捕获的示例性成像系统。

图5示出了根据本发明各种实施例的基于成像环境中的运动跟踪的时刻捕获的示例性图示。

图6示出了根据本发明各种实施例的基于跟踪对象在成像环境中的运动来捕获对象的时刻。

图7示出了根据本发明的各种实施例的基于成像环境中的状态估计的时刻捕获的示例性图示。

图8示出了根据本发明各种实施例的基于在成像环境中跟踪具有改变状态的对象来捕获时刻。

图9示出了根据本发明各种实施例的基于使用无人飞行器(UAV)的对象跟踪的时刻捕获。

图10示出了根据本发明各种实施例的成像环境中的时刻捕获的流程图。

具体实施方式

作为示例而非限制，在附图的各图中示出了本发明，其中相似的附图标记指示相似的元素。应当注意到，在本公开中针对“实施例”或“一个实施例”或“某个(一些)实施例”的引用不一定指的是相同实施例，且这种引用意味着至少一个实施例。

以下对本发明的描述使用无人飞行器(UAV)作为可移动平台的示例。对于本领域技术人员显而易见的是，可以使用其他类型的可移动平台而没有限制。

传统上，只有专业人士才能捕获令人兴奋和难忘的时刻。使用传统技术，摄影师必须具备高水平的技能、十足的耐心和丰富的资源来捕获这些珍贵的时刻。例如，为了捕获简单跳跃动作中的人的完美画面，跳跃者和摄影师可能需要合作并重复该过程多次直到成功。

根据本发明的各种实施例，该系统可以提供用于支持图像环境中的方便时刻捕获的技术方案。系统可以获得对象的多个图像，其中，在跟踪对象的同时，在一段时间内使用一个或多个成像设备(例如，由诸如UAV的可移动平台承载的相机)来捕获多个图像。此外，系统可以在该段时间中执行对象的运动和/或状态估计。然后，系统可以基于对象的运动和/或状态估计从多个图像中选择与时刻相关的一个或多个图像。因此，该技术方案可以避免传统的试错法，并且允许单个用户方便地执行时刻捕获任务，而无需额外的资源和时间。

图1示出了根据本发明各种实施例的可移动平台环境。如图1所示，可移动平台环境100中的可移动平台118(也称为可移动物体)可以包括载体102和负载104。尽管可移动平台118可以被描绘为飞行器，但是该描述并不旨在进行限制，并且可以使用任何合适类型的可移动平台。本领域技术人员将理解，本文在飞行器系统的上下文中描述的任何实施例可以应用于任何合适的可移动平台(例如，UAV)。在一些情况下，负载104可以设置在可移动平台118上而不需要载体102。

根据本发明各种实施例，可移动平台118可以包括一个或多个移动机构106(例如推进机构)、感测系统108和通信系统110。

移动机构106可以包括旋翼、螺旋桨、叶片、发动机、电机、轮、轴、磁体、喷嘴或动物或人类可用于实现移动的任何机构中的一个或多个。例如，可移动平台可以具有一个或多个推进机构。移动机构106可以全部是同一类型的。备选地，移动机构106可以是不同类型的移动机构。移动机构106可以使用任何合适的装置(如支撑元件；例如，驱动轴)而被安装在可移动平台118上(或反之亦然)。移动机构106可以安装在可移动平台118的任何合适部分上，例如安装在顶部、底部、前部、后部、侧面或其合适的组合上。

在一些实施例中，移动机构106可以使得可移动平台118能够垂直地从表面垂直起飞或垂直落在表面上，而不需要可移动平台118的任何水平移动(例如，无需沿着跑道行进)。可选地，移动机构106可操作以允许可移动平台118以指定位置和/或朝向悬停在空气中。可以独立于其他移动机构来控制一个或多个移动机构106。备选地，移动机构106可以配置为被同时控制。例如，可移动平台118可以具有多个水平朝向的旋翼，其可以向可移动平台提供升力和/或推力。可以致动多个水平朝向的旋翼以向可移动平台118提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，水平朝向旋翼中的一个或多个可沿顺时针方向旋转，而水平旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动平台118(例如，相对于高达三个平移度和高达三个旋转度)的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。

感测系统108可以包括可感测可移动平台118(例如，相对于各种平移度和各种旋转度)的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括任何传感器，包括GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统108提供的感测数据可以用于(例如，使用合适的处理单元和/或控制模块)控制可移动平台118的空间布置、速度和/或朝向。备选地，感测系统108可以用于提供关于可移动平台周围的环境的数据，例如天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置等。

通信系统110能够经由无线信号116与具有通信系统114的终端112进行通信。通信系统110、114可以包括适合于无线通信的任何数量的发射机、接收机和/或收发机。所述通信可以是单向通信，使得数据只能在一个方向上发送。例如，单向通信可以仅涉及可移动平台118向终端112发送数据，反之亦然。可以从通信系统110的一个或多个发射机向通信系统112的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动平台118和终端112之间的两个方向上发送数据。双向通信可以涉及从通信系统110的一个或多个发射机向通信系统114的一个或多个接收机发送数据，并且反之亦然。

在一些实施例中，终端112可以向可移动平台118、载体102和负载104中的一个或更多个提供控制数据，并且从可移动平台118、载体102和负载104中的一个或更多个接收信息(例如，可移动平台、载体或负载的位置和/或运动信息；由负载感测的数据，例如由负载相机捕获的图像数据；以及从负载相机捕获的图像数据生成的数据)。在某些实例中，来自终端的控制数据可以包括用于可移动平台、载体和/或负载的相对位置、移动、致动或控制的指令。例如，控制数据可以(例如，通过推进机构106的控制)导致可移动平台的位置和/或朝向的修改，或(例如，通过载体102的控制)导致负载相对于可移动平台的移动。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕获设备的操作的控制(例如，拍摄静止或移动的图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野)。

在某些实例中，来自可移动平台、载体和/或负载的通信可以包括来自(例如，感测系统108或负载104的)一个或多个传感器的信息、和/或基于传感信息生成的数据。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这样的信息可以涉及可移动物体、载体和/或负载的定位(例如，位置、朝向)、移动或加速度。来自负载的这种信息可以包括由负载捕获的数据或负载的感测状态。由终端112发送的控制数据可以被配置为控制可移动平台118、载体102或负载104中的一个或多个的状态。备选地或组合地，载体102和负载104也可以各自包括被配置为与终端112进行通信的通信模块，使得该终端可以独立地与可移动平台118、载体102和有效负载104中的每一个进行通信并对其进行控制。

在一些实施例中，可移动平台118可被配置为与除了终端112之外的或者代替终端112的另一远程设备通信。终端112还可以被配置为与另一远程设备以及可移动平台118进行通信。例如，可移动平台118和/或终端112可以与另一可移动平台或另一可移动平台的载体或负载进行通信。当需要时，远程设备可以是第二终端或其他计算设备(例如，计算机、笔记本电脑、平板电脑、智能手机手机或其他移动设备)。远程设备可以被配置为向可移动平台118发送数据，从可移动平台118接收数据，向终端112发送数据，和/或从终端112接收数据。可选地，远程设备可以连接到因特网或其他电信网络，使得从可移动平台118和/或终端112接收的数据可以上载到网站或服务器。

图2示出了根据实施例的可移动平台环境中的示例性载体。载体200可用于将诸如图像捕获设备的负载202耦合到诸如UAV的可移动平台。

载体200可以配置为允许负载202围绕一个或多个轴旋转，例如以下三个轴：相对于可移动平台的X或俯仰轴、Z或横滚轴以及Y或偏航轴。例如，载体200可以被配置为允许负载202仅围绕一个、两个或三个轴旋转。轴可以彼此正交或不正交。围绕任何轴的旋转范围可以受到限制或可以不受限制，并且可以针对每个轴而变化。旋转轴可以相互交叉或不相交。例如，正交轴可以彼此交叉。它们可以或可以不在负载202处相交。备选地，它们可以不相交。

载体200可包括框架组件211，框架组件211包括一个或多个框架构件。例如，框架构件可以被配置为与负载202(例如，图像捕获设备)耦合并且支撑负载202。

在一些实施例中，载体201可包括一个或多个载体传感器213，用于确定载体201或载体201承载的负载202的状态。状态信息可以包括空间位置(例如，定位、朝向或姿态)、速度(例如，线速度或角速度)、加速度(例如，线加速度或角加速度)和/或关于载体、载体的组件和/或负载202的其他信息。在一些实施例中，从传感器数据获取或计算的状态信息可以用作反馈数据，以控制载体的组件(例如，框架构件)的旋转。这种载体传感器的示例可以包括运动传感器(例如，加速度计)、旋转传感器(例如，陀螺仪)、惯性传感器等。

载体传感器213可以耦合到载体的任何合适的一个或多个部分(例如，框架构件和/或致动器构件)，并且可以相对于UAV可移动或不可移动。附加地或备选地，至少一些载体传感器可以直接耦合到由载体201承载的负载202。

载体传感器213可以与载体的一些或所有致动器构件耦合。例如，三个载体传感器可以分别耦合到用于三轴载体的致动器构件212，并且被配置为测量用于三轴载体的相应致动器构件212的驱动。这种传感器可以包括电位计或其他类似的传感器。在实施例中，传感器(例如，电位计)可以插在电动机的电动机轴上，以便测量电动机转子和电动机定子的相对位置，从而测量转子和定子的相对位置并产生代表其的位置信号。在实施例中，每个致动器耦合的传感器被配置为为其测量的对应致动器构件提供位置信号。例如，第一电位计可以用于产生第一致动器构件的第一位置信号，第二电位计可以用于产生第二致动器构件的第二位置信号，并且第三电位计可以用于产生第三致动器构件的第三位置信号。在一些实施例中，载体传感器213还可以耦合到载体的一些或所有框架构件。传感器可以能够传达关于载体和/或图像捕获设备的一个或多个框架构件的定位和/或朝向的信息。传感器数据可以用于确定图像捕获设备相对于可移动平台和/或参考框架的位置和/或朝向。

载体传感器213可以提供位置和/或朝向数据，该数据可以被发送到载体或可移动平台上的一个或多个控制器(未示出)。传感器数据可以用在基于反馈的控制方案中。控制方案可以用于控制一个或多个致动器构件(例如一个或多个电机)的驱动。一个或多个控制器可以位于载体上或承载载体的可移动平台上，一个或多个控制器可以产生用于驱动致动器构件的控制信号。在一些情况下，可以基于从载体传感器接收的数据生成控制信号，该载体传感器指示载体或由载体201承载的负载202的空间布置。载体传感器可以位于载体或负载202上，如本文先前所述。由控制器产生的控制信号可以由不同的致动器驱动器接收。基于控制信号，不同的致动器驱动器可以控制不同致动器构件的驱动，例如，以实现载体的一个或多个部件的旋转。致动器驱动器可以包括适于控制对应致动器构件的驱动和从对应传感器(例如，电位计)接收位置信号的硬件和/或软件组件。控制信号可以同时发送到致动器驱动器，以产生致动器构件的同时驱动。备选地，控制信号可以顺序发送，或者仅发送到一个致动器驱动器。有利地，控制方案可以用于提供用于驱动载体的致动器构件的反馈控制，从而实现载体组件的更精确和准确的旋转。

在一些情况下，载体201可以经由一个或多个阻尼元件间接地耦合到UAV。阻尼元件可以配置为减少或消除由可移动平台(例如，UAV)的移动引起的载荷(例如，负载、载体或两者)的移动。阻尼元件可以是适于阻尼载体和/或负载的运动的任何元件，诸如主动阻尼元件、被动阻尼元件或具有主动和被动阻尼特性的混合阻尼元件。由本文提供的阻尼元件阻尼的运动可以包括振动、摆动、摇动或撞击中的一个或多个。这种运动可以源自传输到载荷的可移动平台的运动。例如，该运动可以包括由推进系统和/或UAV的其他组件的操作引起的振动。

阻尼元件可以通过消散或减少传输到载荷的运动来隔离来自不希望的运动源的载荷(例如，振动隔离)，从而提供运动阻尼。阻尼元件可以减小负载运动的幅度(例如，幅值)，否则会由负载经历。由阻尼元件施加的运动阻尼可以用于稳定载荷，由此改善由负载(例如，图像捕获设备)捕获的图像的质量，并降低基于捕获的图像生成全景图像所需的图像拼接步骤的计算复杂度。

本文描述的阻尼元件可以由任何合适的材料或材料的组合(包括固体、液体或气体材料)形成。用于阻尼元件的材料可以是可压缩的和/或可变形的。例如，阻尼元件由海绵、泡沫、橡胶、凝胶等制成。例如，阻尼元件可以包括大致球形形状的橡胶球。阻尼元件可以是任何合适的形状，例如基本上球形、矩形、圆柱形等。备选地或另外地，阻尼元件可以包括压电材料或形状记忆材料。阻尼元件可以包括一个或多个机械元件，例如弹簧、活塞、液压装置、气动装置、缓冲器、减震器、隔离器等。可以选择阻尼元件的特性，以便提供预定量的运动阻尼。在一些情况下，阻尼元件可以具有粘弹性特性。阻尼元件的特性可以是各向同性的或各向异性的。例如，阻尼元件可以沿所有运动方向均等地提供运动阻尼。相反，阻尼元件可以仅沿着运动方向的子集(例如，沿着单个运动方向)提供运动阻尼。例如，阻尼元件可以主要沿着Y(偏航)轴提供阻尼。这样，所示的阻尼元件可以配置为减少垂直运动。

尽管可以将各种实施例描述为利用单个类型的阻尼元件(例如，橡胶球)，但是应该理解，可以使用任何合适类型组合的阻尼元件。例如，载体可以使用任何合适类型的一个或多个阻尼元件耦合到可移动平台。阻尼元件可以具有相同或不同的特点或特性，例如刚度、粘弹性等。每个阻尼元件可以耦合到载荷的不同部分或仅耦合到载荷的特定部分。例如，阻尼元件可以位于载荷和可移动平台之间的接触点或耦合点或表面附近。在一些情况下，载荷可以嵌入到一个或多个阻尼元件内或由一个或多个阻尼元件包围。

图3示出了根据本发明各种实施例的成像环境中的时刻捕获。如图3所示，成像环境300中的成像设备301(例如，相机)可以用于捕获与对象302相关联的时刻305。例如，成像环境300可以包括无人飞行器(UAV)，其携带用于捕获对象302的图像的成像设备，例如相机。备选地，成像环境300中的成像设备301可以是任何其他类型的成像设备，例如安装在固定位置或附接到便携式处理器或载体的成像设备。

根据各种实施例，时刻305可以涉及对象302的运动和/或任何状态变化。在一个示例中，摄影师可能希望捕获一个人处于跳跃的最高点的时刻或人的身体就在进入水中之前在跳水时完全伸展的时刻。在另一示例中，摄影师可能希望捕获完全显示烟花的时刻或者赛车在比赛的最后一圈经过另一汽车的时刻。在又一示例中，摄影师可能希望捕获海湾微笑或花朵开花的时刻。有许多不同类型的时刻，其中甚至可能存在一些时刻，并且这些时刻可以超越语言的描述而被欣赏。

根据各种实施例，成像系统可以支持成像环境300中的便利时刻捕获。如图3所示，成像设备301可以在接收到触发304之后捕获多个图像311至315。

根据各种实施例，触发304可以基于由对象302生成的一个或多个信号或指示。备选地，该触发可以基于由用户或周围环境中的任何对象生成的一个或多个信号或指示。因此，图像处理的开始可以是简单和方便的。例如，一个人可以在没有额外帮助的情况下操作成像系统。

根据各种实施例，触发304可以是基于图像的。例如，由成像设备301捕获的图像中的对象302可以是人。该人可以使用诸如姿势之类的指示与成像设备301交互，这些指示对于传达各种消息(例如开始捕获图像)是有用的。作为可见的身体动作的姿势可以包括人的各种身体运动，例如手、脸或人体的其他部分的运动。另外，姿势控制机制可以用于检测触发304，例如识别和理解不同类型的姿势。在一些实施例中，姿势控制机制可以基于各种人工智能和机器学习技术，例如，卷积神经网络(CNN)。

根据各种实施例，触发304可以是基于设备的。例如，附接到对象302的设备303可以向成像设备302发送信号以触发图像捕获过程的开始。该信号可以包括对象302的位置信息，例如，相关的全球导航卫星系统(GNSS)数据和对成像设备301的指令。

根据各种实施例，成像系统可以通过利用图像缓冲器来支持时刻捕获。如图3所示，捕获的图像311至315可以保持在缓冲器310中(例如，存储在存储器中)。在一些实施例中，捕获的图像311至315的缓冲可以以不同模式(例如，基于各种规则)配置。例如，可以将缓冲设置为预定频率，或者可以基于预定规则动态地配置缓冲。而且，用于缓冲的时间段的长度可以是预定的、可配置的和/或动态确定的。因此，用户可以方便地调整成像环境300中捕获的图像的缓冲。

根据各种实施例，成像系统可以从缓冲的图像中自动地选择与时刻305对应的对象302的图像314(或图像的子集)。选择可以是可配置的，例如基于各种选择规则。例如，可以基于对象302的运动/状态估计来规定选择规则。备选地，选择可以是由用户控制或执行的随机过程。例如，可以在与特定时刻305相关的时间点(或时间段)选择(一个或多个)图像。

图4示出了根据本发明各种实施例的用于时刻捕获的示例性成像系统。如图4所示，成像系统400可以在检测到触发401时开始捕获图像(例如，通过检测触发事件或从对象接收触发信号)。捕获的图像可以被保持，例如，使用缓冲过程402来存储。此外，成像系统400可以执行运动/状态估计403以获得对象的运动信息和/或状态信息。然后，选择过程404可以使用这样的信息从缓冲的图像402中选择与时刻405相关的一个或多个图像(用于捕获时刻405)。

根据各种实施例，成像系统400可以基于对象跟踪406来支持时刻捕获。对象跟踪可以基于图像或基于设备。例如，被跟踪的对象(例如，人)可以佩戴诸如全球定位卫星(GPS)接收器的位置传感器之类的设备，其可以向跟踪设备(例如，UAV)提供位置信号。在其他示例中，设备可以嵌入或以其他方式附接到被跟踪的对象。备选地，可以基于计算机视觉技术执行跟踪。例如，当对象移动时，用于识别被跟踪对象的边界框可以与捕获图像中的对象一致地移动。因此，成像系统400可以基于所接收的位置信号或捕获的图像来了解被跟踪对象的位置和移动信息。

根据各种实施例，成像系统400可以基于所获得的对象的位置和移动信息来执行运动和/或状态估计403。例如，基于对象跟踪，成像系统400可以通过评估被跟踪对象周围的边界框的移动来获得对象的速度、加速度和空间坐标。此外，成像系统400可以基于对象的位置信息获得包括对象的温度、颜色、形状的状态信息。然后，基于对象的运动和/或状态信息，成像系统400可以自动选择与时刻405相关的一个或多个图像，或者允许用户方便地选择时刻405所需的图像。

此外，成像系统400可以使估计的对象的运动和/或状态与使用成像设备捕获的多个图像同步。例如，UAV可以独立于由机载主相机捕获的图像来跟踪对象。在这种情况下，成像系统400可以使用时间戳来确保用于跟踪对象的定时与用于由主相机捕获图像的定时同步。

根据各种实施例，选择过程404可以用于选择与时刻405相关的图像，以便减少被缓冲的图像的数量。例如，选择过程可以使用选择规则来确定所选图像之间的时间间隔。示例性选择规则可以在基于估计的对象的运动和/或状态来选择图像时定义固定或可变频率。然后，成像系统400可以应用所确定的时间间隔来更新缓冲的图像。

根据各种实施例，成像系统400可以包括控制器(未示出)，该控制器可以生成用于控制成像系统400中的各种组件的指令。例如，控制器可以在成像设备上的一个或多个微处理器、承载成像设备的可移动平台、用户终端或成像系统(例如智能手机)中的任何其他计算设备上运行。

根据各种实施例，成像系统400可以使用多个设备(例如多个UAV)来跟踪对象(例如，人)，以便同时从不同角度捕获对象的时刻。例如，当任何跟踪设备接收到信号或检测到指示(例如，来自被跟踪的对象等)时，在检测到触发401之后，成像系统400可以开始缓冲过程402。然后，基于捕获的图像或(通过任何或所有设备)接收的信号，成像系统400可以对被跟踪的对象执行运动/状态估计403。此外，基于所获得的运动和/或状态信息，成像系统400可以从缓冲的图像402中选择与时刻405相关的一个或多个图像(即，用于捕获时刻405)。

在一些实施例中，成像系统400可以采用定时控制机制来同步多个设备之间的图像捕获过程。例如，成像系统400可以将时间戳应用于由不同设备捕获的图像。备选地，成像系统400可以向多个设备发送信号以同时捕获图像。因此，通过利用定时控制系统，成像系统400可以获得(然后缓冲)与特定时刻405相关的多组图像，其中被跟踪的对象的每组图像在基本上同一时间从不同角度被捕获。另外，用户可以选择和编辑与时刻405相关的一组图像，以从理想角度捕获时刻405。

图5示出了根据本发明各种实施例的基于成像环境中的运动跟踪的时刻捕获的示例性图示。如图5所示，当对象在一段时间内沿着路径510移动时，成像系统500可以捕获多个图像。例如，对象在时间点T0处于位置511，以及对象在时间点T1处处于位置513。

根据各种实施例，成像系统500可以将捕获的图像501保持在图像缓冲器(未示出)中。此外，成像系统500可以分析缓冲图像301中的对象的位置，以执行运动估计，以获得对象在T0和T1之间的时间段上的运动信息。例如，运动信息可以指示对象的不同运动模式，例如，一个人是跳跃还是跳水，或者多个对象是否相互碰撞或者单个对象被分成多块。另外，运动信息可以包含表征对象运动的信息，例如对象的位置、速度或加速度和/或对象的旋转和朝向。

根据各种实施例，成像系统500可以基于对象跟踪来执行运动估计。例如，成像系统500可以通过评估用于识别缓冲图像501中的对象的边界框的移动来估计在T0和T1之间的时间段期间被跟踪的对象的运动。然后，基于估计的运动信息，成像系统500可以从缓冲图像501中选择一个或多个图像，例如，图像502。如图5所示，图像502包含对象522的与在时刻Tc处的位置512处的对象对应的部分。另外，成像系统500允许用户选择期望的图像，该图像可能不是刚好在时刻Tc。

备选地，对象的跟踪可以基于由图像传感器捕获的图像帧，图像传感器与用于捕获缓冲图像的成像设备不同地布置。例如，除了主相机之外，UAV可以配备有一组成像设备，该组成像设备被布置在UAV上的不同位置，例如用于避障和对象跟踪的目的。因此，可以基于补偿成像设备和主相机之间的朝向和视场(FOV)的差异的透视变换来执行被跟踪对象的运动估计。

图6示出了根据本发明各种实施例的基于跟踪对象在成像环境中的运动来捕获对象的时刻。如图6所示，成像系统600可以基于对象跟踪来捕获时刻(例如Tc)。

根据各种实施例，成像系统600可以在跟踪对象的同时基于图像缓冲捕获与对象相关联的时刻。如图6所示，当对象沿着运动路径620移动一段时间时(例如，沿着时间线610在时间点T0和T1之间)，成像系统600可以缓冲对象的多个图像。在时间点T0，可以捕获位于位置611的对象的图像。触发603(例如在图像601中检测到的姿势)可以触发图像缓冲和时刻捕获过程的开始。在时间点T01，可以捕获位于位置613处的对象的图像。在检测到指示605之后(例如，基于运动/状态估计)或者在接收到用户规定的信号或预定时间段之后，成像系统600可以停止图像缓冲和时刻捕获过程。

例如，成像系统600可以捕获跳跃运动中的人。一旦成像系统检测到处于初始位置的人跳跃，成像设备就可以开始捕获跟踪空中的人的图像，直到人着陆回到地面上。当人在空中(即实时地)或在人实际着陆之后(即用于后处理)时，成像系统可以分析人的运动，例如，通过获得人与地面的垂直距离、人的垂直和水平速度以及每个捕获图像中身体的延伸或倾斜度。

然后，基于所获得的人的运动信息，成像系统600可以输出图像602，或者允许用户从缓冲的图像中获取时刻Tc的图像602。在如图6所示的示例中，人可以在时刻Tc处位于轨迹路径线620的顶部。备选地，可以针对人的身体完全伸展或具有最大倾斜度的时刻来选择图像602。另外，成像系统600允许用户选择期望的图像，该图像可能不是刚好在时刻Tc。

图7示出了根据本发明的各种实施例的基于成像环境中的状态估计的时刻捕获的示例性图示。如图7所示，当对象的状态在一段时间期间(例如，在沿着时间线720的时间点T0和T1之间)变化时，成像系统700可以捕获多个图像。

根据各种实施例，成像系统700可以将捕获的图像701保持在图像缓冲器(未示出)中。此外，成像系统700可以分析缓冲图像701之中的对象的状态变化，以捕获与对象的状态变化相关联的时刻。

如图7所示，沿着时间线720，对象在时间点T0处于状态711，以及对象在时间点T1处于状态713。在时间点Tc，对象处于特殊状态712，这是捕获所需的时刻。通过利用状态估计过程，成像系统700可以获得与对象相关联的各种状态信息，例如对象的颜色、形状或温度。然后，成像系统700可以选择一个或多个图像，例如，来自缓冲图像701的图像702。如图7所示，图像702包含对象722的与在时刻Tc处的状态712下的对象对应的部分。

根据各种实施例，成像系统600可以基于运动估计来执行状态估计。例如，基于对象跟踪，成像系统600可以知道对象的位置以及对象的其他移动特性，例如被跟踪对象的速度、加速度、旋转和朝向。另一方面，对象的跟踪可以考虑与被跟踪对象相关联的状态改变。例如，成像系统600可以确保即使在对象改变颜色或形状时也跟踪对象。

图8示出了根据本发明各种实施例的基于在成像环境中跟踪具有改变状态的对象来捕获时刻。如图8所示，成像系统800可以基于在对象的状态改变时跟踪对象来捕获对象的时刻(例如，Tc)。

根据各种实施例，成像系统800可以在跟踪具有改变状态的对象的同时基于图像缓冲来支持时刻捕获。如图8所示，成像系统800可以缓冲对象的多个图像，对象在一段时间处于状态转换820(例如，沿着时间线810的时间点T0和时间点T1之间的时间段)。例如，在时间点T0，可以捕获处于状态811的对象的图像。可以在图像801中检测触发803(例如信号或预定状态)，例如，当人构成触发图像缓冲开始的特定姿势时。然后，成像系统可以输出图像802，或者让用户从在时刻Tc缓冲的图像中选择图像802。

例如，成像系统可以基于对象跟踪和缓冲在时刻Tc捕获烟花的爆炸。一旦检测到来自发射壳体的噪声，成像系统800就可以引导或使成像设备开始捕获图像。成像设备可以捕获一系列图像，这些图像跟踪爆炸前后的壳体和火花。当烟花在空中(即实时地)或在闪光消失后(即，用于后处理)时，成像系统800可以分析烟花的状态，例如，评估缓冲的图像中的烟花的阶段(例如在爆炸之前和之后)。而且，成像系统800可以分析每个图像中的烟花的颜色、亮度和图案。另外，成像系统可以分析空中烟花的运动信息，例如，获得烟花与地面的距离、烟花的垂直和水平速度、以及相对于另一烟花的比例和位置。在一些实施例中，烟花的这种运动信息可以由成像系统800用于分析烟花的状态。例如，不同壳体的运动信息可以有利于确定用于捕获具有同时显示的多个烟花的图片的正确时刻。

然后，基于所获得的人的运动信息，成像系统800可以输出图像802，或者允许用户从缓冲的图像中选取时刻Tc的图像802。在如图8所示的示例中，烟花可以在时刻Tc完全爆炸(例如，显示笑脸)。备选地，可以选择在同时显示多个烟花的时刻的图像802。另外，成像系统800允许用户选择期望的图像，该图像可能不是刚好在时刻Tc。

图9示出了根据本发明各种实施例的基于使用无人飞行器(UAV)的对象跟踪的时刻捕获。如图9所示，由UAV 901携带的相机903可以在跟踪成像环境900中的对象(例如，人904)的移动的同时捕获图像902。

例如，在人904在三维(3D)空间中正沿着路径线911以跳跃运动移动或正沿着路径线912慢跑的同时，UAV 901可以跟踪人904，例如用户自己。UAV 901可以通过利用视场(FOV)920分析使用相机903捕获的图像来跟踪和监视人904的移动。用于确定用户的运动特性的一种示例性方法可以通过利用各种计算机视觉技术(例如光流算法)和其他有用技术(例如各种步态识别方法)来执行。

根据各种实施例，成像系统可以包括控制器(未示出)，该控制器可以生成用于控制成像系统中的各种组件的指令。例如，控制器可以在成像设备903上的一个或多个微处理器、承载成像设备的可移动平台901、用户终端或成像系统(例如智能手机)中的任何其他计算设备上运行。

如图9所示，成像系统可以基于用于识别和跟踪人904的边界框来获得必要的尺寸信息，例如，人的身高信息。此外，成像系统可以基于所获得的尺寸信息执行更专业的运动估计。例如，用于UAV 901的成像系统可以执行跳跃检测，以便区分人904的跳跃运动和人体的正常上下运动，例如，在人904正在慢跑时。为了执行跳跃检测，当用于跟踪人的边界框向上移动相当大的距离(例如，超过阈值距离的距离921)时，UAV 901可以确定该人处于跳跃运动。另一方面，UAV901可以识别在人慢跑时人体922的正常上下运动，例如，低于阈值距离的距离922。

根据各种实施例，成像系统可以在从人跳跃开始到着陆的时间段中选择和维护(例如存储)缓冲的图像。在一些实施例中，选择可以基于各种预定规则。例如，可以基于预定时间间隔或预定垂直距离间隔来选择图像。备选地，当人靠近或处于顶点时，可以选择一组图像。因此，成像系统可以自动选择与特定时刻相关的图像。

在一些实施例中，图像902可以被发送到远离UAV 901的用户终端。因此，成像系统可以允许用户从缓冲的一组图像中选择图像。

图10示出了根据本发明各种实施例的成像环境中的时刻捕获的流程图。如图10所示，在步骤1001中，系统可以获得对象的多个图像，其中，在跟踪对象的同时在一段时间内使用一个或多个成像设备捕获多个图像；此外，在步骤1002中，系统可以在该段时间中执行对象的运动和/或状态估计。然后，在步骤1003中，系统可以基于对象的运动和/或状态估计从多个图像中选择一个或多个图像。

本发明的许多特征可以以硬件、软件、固件或其组合的形式执行，或者使用硬件、软件、固件或其组合执行，或者借助于硬件、软件、固件或其组合执行。因此，可以使用处理系统(例如，包括一个或多个处理器)来实现本发明的特征。示例性处理系统可以包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。

本发明的特征可以使用或借助于计算机程序产品来实现，该计算机程序产品是其上/其中存储有指令的存储介质(媒体)或计算机可读介质(媒体)，可以将所述指令用来对处理系统进行编程以执行本文中呈现的任何特征。存储介质可以包括但不限于任何类型的盘，包括：软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存设备、磁卡或光卡、纳米系统(包括分子存储器IC)或者适于存储指令和/或数据的任何类型的介质或设备。

存储在任何机器可读介质(媒体)上的本发明的特征可以结合到用于控制处理系统的硬件以及用于支持处理系统使通过利用本发明的结果与其他机制进行交互的软件和/或固件中。这样的软件或固件可以包括但不限于应用代码、设备驱动器、操作系统和执行环境/容器。

本发明的特征还可以使用例如专用集成电路(ASIC)和现场可编程门阵列(FPGA)设备之类的硬件组件以硬件实现。对于相关领域的技术人员来说，实现硬件状态机以便执行本文描述的功能将是显然的。

另外，本发明可以使用包括一个或多个处理器、存储器和/或根据本公开的教导编程的计算机可读存储介质在内的一个或多个常规通用或专用数字计算机、计算设备、机器或微处理器，来方便地实现本发明。编程技术人员可以根据本公开的教导容易地准备适当的软件编码，这对软件领域的技术人员将是显然的。

尽管上面已经描述了本发明各种实施例，但是应当理解，它们是作为示例而不是限制来呈现的。本领域普通技术人员应该理解的是，在不脱离本发明的精神和范围的情况下，可以进行形式和细节上的各种变化。

以上已经在示出指定功能及其关系的执行的功能构建块的辅助下，描述了本发明。为便于描述，本文通常任意定义这些功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义替代的边界。因此，任何这样的替代的边界都在本发明的范围和精神内。

已经提供了本发明的上述描述，用于说明和描述的目的。不是旨在是穷尽性的或将公开的精确形式作为对本发明的限制。本发明的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是明显的。这些修改和变化包括所公开的特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明的各种实施例以及适合于预期特定用途的各种修改。意图在于，本发明的范围由所附权利要求及其等同物来限定。

Claims (11)

1.一种成像方法，包括：

获得对象的多个图像，其中，在自动跟踪所述对象的同时在一段时间内使用一个或多个成像设备来捕获所述多个图像；

在所述一段时间中，根据所述多个图像执行所述对象的运动和/或状态估计；以及

基于所述对象的运动和/或状态估计从所述多个图像中选择与所述对象的特定运动和/或状态变化的时刻相关的一个或多个图像；

根据所述多个图像执行所述对象的运动和/或状态估计包括：

根据所述多个图像获取所述对象的位置和移动信息；

根据所述对象的位置和移动信息执行所述对象的运动和/或状态估计，所述对象的位置和移动信息由所述多个图像中自动跟踪所述对象时所述对象的边界框的移动确定。

2.根据权利要求1所述的方法，其中，根据所述多个图像获取所述对象的位置和移动信息包括：

根据边界框在所述多个图像中的移动获取所述对象的位置和移动信息，所述边界框用于在所述多个图像中识别所述对象。

3.根据权利要求1所述的方法，还包括：

将所述多个图像保持在图像缓冲器中，其中，所述多个图像以预定频率或基于规则而动态配置的频率进行缓冲。

4.根据权利要求3所述的方法，还包括：

在接收到触发时，使所述一个或多个成像设备捕获所述多个图像。

5.根据权利要求4所述的方法，其中，

所述触发是从所述对象的图像检测到的指示或从所述对象接收到的信号。

6.根据权利要求1所述的方法，还包括：

将所估计的所述对象的运动和/或状态与使用所述一个或多个成像设备捕获的多个图像同步。

7.根据权利要求1所述的方法，还包括：

基于选择规则来确定所选图像之间的时间间隔，其中，所述时间间隔用于选择所述一个或多个图像。

8.根据权利要求7所述的方法，还包括：

将所选图像存储在图像缓冲器中，和/或

基于用户输入从所选图像中识别图像。

9.根据权利要求1所述的方法，其中，

从无人飞行器UAV接收所述对象的多个图像。

10.一种成像系统，包括：

一个或多个微处理器；

在所述一个或多个微处理器上运行的控制器，其中，所述控制器操作为获得对象的多个图像，其中，在自动跟踪所述对象的同时在一段时间内使用一个或多个成像设备捕获所述多个图像；

在所述一段时间中，根据所述多个图像执行所述对象的运动和/或状态估计；以及

基于所述对象的运动和/或状态估计，从所述多个图像中选择与所述对象的特定运动和/或状态变化的时刻相关的一个或多个图像；

根据所述多个图像执行所述对象的运动和/或状态估计包括：

根据所述多个图像获取所述对象的位置和移动信息；

根据所述对象的位置和移动信息执行所述对象的运动和/或状态估计，所述对象的位置和移动信息由所述多个图像中自动跟踪所述对象时所述对象的边界框的移动确定。

11.一种无人飞行器UAV，包括：

存储器，存储一个或多个计算机可执行指令；

以及

一个或多个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行方法，所述方法包括：

引导所述UAV跟踪对象；

获得所述对象的多个图像，其中，在所述UAV自动跟踪所述对象的同时在一段时间内由所述UAV携带的一个或多个成像设备捕获所述多个图像；

在所述一段时间中，根据所述多个图像执行所述对象的运动和/或状态估计；以及

基于所述对象的运动和/或状态估计从所述多个图像中选择与所述对象的特定运动和/或状态变化的时刻相关的一个或多个图像；

根据所述多个图像执行所述对象的运动和/或状态估计包括：

根据所述多个图像获取所述对象的位置和移动信息；

根据所述对象的位置和移动信息执行所述对象的运动和/或状态估计，所述对象的位置和移动信息由所述多个图像中自动跟踪所述对象时所述对象的边界框的移动确定。

Images