CN112136314A - 用于稳定视频的系统和方法 - Google Patents

Abstract

由图像捕获设备捕获具有光学视场的图像。可以确定图像捕获设备的反映图像捕获设备在不同时刻的位置的观测轨迹。图像捕获设备的捕获轨迹反映了可以从其生成视频内容的图像捕获设备的虚拟位置。基于观测轨迹的后续部分来确定捕获轨迹，使得基于观测轨迹的后续部分来确定捕获轨迹的与观测轨迹的一部分相对应的部分。基于捕获轨迹确定图像的截取部的取向。基于截取部内的图像的视觉内容来生成视频内容。

Description

用于稳定视频的系统和方法

技术领域

本发明涉及使用图像捕获设备在捕获持续时间期间的位置来稳定视频。

背景技术

视频可能已经由运动中的图像捕获设备捕获。图像捕获设备在视频捕获期间的运动可能导致视频出现不平稳/晃动。

发明内容

本发明涉及稳定视频。具有光学视场的图像可以由图像捕获设备在捕获持续时间期间捕获。在捕获持续时间期间，可以获得限定图像的图像信息、表征图像捕获设备在捕获持续时间内的不同时刻的位置的位置信息和/或其它信息。可以基于位置信息和/或其它信息来确定图像捕获设备在捕获持续时间期间的观测轨迹(observed trajectory)。观测轨迹可以反映图像捕获设备在捕获持续时间内的不同时刻的位置。观测轨迹可以包括与捕获持续时间内的第一时刻相对应的第一部分和与捕获持续时间内的在第一时刻之后的第二时刻相对应的第二部分。可以基于观测轨迹的后续部分和/或其它信息来确定图像捕获设备的捕获轨迹(capture trajectory)，使得可以基于观测轨迹的第二部分来确定捕获轨迹的与观测轨迹的第一部分相对应的部分。在图像捕获设备的各位置中，捕获轨迹可以具有比观测轨迹更平滑的变化。可以基于图像捕获设备的捕获轨迹和/或其它信息来确定图像的捕获视场相对于图像的光学视场的取向。可以基于捕获视场内的图像的视觉内容和/或其它信息来生成视频内容。

稳定视频的系统可以包括一个或多个电子存储器、一个或多个处理器、和/或其它部件。电子存储器可以存储图像信息、位置信息、与图像捕获设备的观测轨迹有关的信息、与捕获轨迹有关的信息、与光学视场有关的信息、与捕获视场有关的信息、与视频内容有关的信息、和/或其它信息。在一些实施方式中，该系统可以包括一个或多个图像传感器、一个或多个位置传感器和/或其它部件。

系统的一个或多个部件可以由壳体(诸如图像捕获设备的壳体)承载。例如，系统的(一个或多个)图像传感器和(一个或多个)位置传感器可以由壳体承载。壳体可以承载其它部件，例如(一个或多个)处理器和/或一个或多个光学元件。光学元件可以被配置为将光学视场内的光引导至图像传感器。光学视场可以大于用于生成视频内容的捕获视场。图像传感器可以被配置为基于在捕获持续时间期间入射到该图像传感器上的光来生成图像输出信号。图像输出信号可以传递限定具有光学视场的图像的图像信息。

位置传感器可以被配置为在捕获持续时间期间基于壳体的位置生成位置输出信号。位置输出信号可以传递表征壳体在捕获持续时间内的不同时刻的位置的位置信息。在一些实施方式中，位置传感器可以包括陀螺仪、加速度计和/或惯性测量单元中的一者或多者。可以独立于图像信息来确定位置信息。

可以通过机器可读指令来配置(一个或多个)处理器。执行机器可读指令可以使(一个或多个)处理器促进稳定视频。机器可读指令可以包括一个或多个计算机程序组件。该计算机程序组件可以包括观测轨迹组件、捕获轨迹组件、取向组件、生成组件和/或其它计算机程序组件中的一者或多者。

观测轨迹组件可以被配置为基于位置信息和/或其它信息来确定壳体在捕获持续时间期间的观测轨迹。观测轨迹可以反映壳体在捕获持续时间内的不同时刻的位置。壳体的位置可以包括壳体的旋转位置和/或平移位置。观测轨迹可以包括与捕获持续时间内的第一时刻相对应的第一部分和与捕获持续时间内的在第一时刻之后的第二时刻相对应的第二部分。

捕获轨迹组件可以被配置为基于观测轨迹的后续部分和/或其它信息来确定壳体的捕获轨迹。可以确定捕获轨迹，使得基于观测轨迹的第二部分来确定捕获轨迹的与观测轨迹的第一部分相对应的部分。在壳体的各位置中，捕获轨迹可以具有比观测轨迹更平滑的变化。

在一些实施方式中，在壳体的各位置中具有比观测轨迹更平滑的变化的捕获轨迹的特征可以在于，在壳体的各位置中，捕获轨迹具有比观测轨迹更少的抖动。

在一些实施方式中，可以基于壳体的旋转速度和壳体的旋转加速度的最小化同时遵守一组约束来确定壳体的捕获轨迹。该一组约束可以包括边界(margin)约束、轨迹约束、目标约束、和/或其它约束。可以基于光学视场和捕获视场之间的差异和/或其它信息来确定边界约束。可以基于观测轨迹的后续部分和/或其它信息来确定轨迹约束。可以基于图像中目标的位置和/或其它信息来确定目标约束。

取向组件可以被配置为基于壳体的捕获轨迹和/或其它信息来确定图像的捕获视场相对于图像的光学视场的取向。

生成组件可以被配置为基于捕获视场内的图像的视觉内容和/或其它信息来生成视频内容。

通过参考附图考虑以下描述和所附权利要求(这些描述和所附权利要求形成本申请文件的一部分)，本文中所公开的系统和/或方法的这些目的、特征和特性以及其它目的、特征和特性，以及相关结构元件的操作方法和功能，以及各部分的组合和制造的经济性将变得更加明显，其中，在各个附图中，相同的附图标记表示相应部分。然而，应该明确地理解，附图仅出于说明和描述的目的，并且不旨在作为对本发明的范围的限定。如说明书和权利要求书中所使用的，除非上下文另外明确指出，否则单数形式的“一(“a”或“an”)”和“该”包括复数的指示物。

附图说明

图1示出了稳定视频的系统。

图2示出了用于稳定视频的方法。

图3示出了示例性图像捕获设备。

图4示出了示例性观测轨迹。

图5A示出了示例性预测轨迹。

图5B示出了示例性平滑轨迹。

图5C示出了示例性捕获轨迹。

图6A示出了示例性光学视场和捕获视场。

图6B示出了示例性的捕获视场相对于光学视场的取向。

具体实施方式

图1示出了用于稳定视频的系统10。系统10可以包括处理器11、接口12(例如，总线接口、无线接口)、电子存储器13和/或其它部件中的一者或多者。在一些实施方式中，系统10可以包括一个或多个图像传感器、一个或多个位置传感器和/或其它部件。可以在捕获持续时间期间由图像捕获设备捕获具有光学视场的图像。可以在捕获持续时间期间获得限定图像的图像信息、表征图像捕获设备在捕获持续时间内的不同时刻的位置的位置信息和/或其它信息。图像信息、位置信息和/或其它信息可以被处理器11获得。可以基于位置信息和/或其它信息来确定图像捕获设备在捕获持续时间期间的观测轨迹。观测轨迹可以反映图像捕获设备在捕获持续时间内的不同时刻的位置。观测轨迹可以包括与捕获持续时间内的第一时刻相对应的第一部分和与捕获持续时间内的在第一时刻之后的第二时刻相对应的第二部分。可以基于观测轨迹的后续部分和/或其它信息来确定图像捕获设备的捕获轨迹，使得可以基于观测轨迹的第二部分来确定捕获轨迹的与观测轨迹的第一部分相对应的部分。在图像捕获设备的各位置中，捕获轨迹可以具有比观测轨迹更平滑的变化。可以基于图像捕获设备的捕获轨迹和/或其它信息来确定图像的捕获视场相对于图像的光学视场的取向。可以基于捕获视场内的图像的视觉内容和/或其它信息来生成视频内容。

电子存储器13可以被配置为包括电子地存储信息的电子存储媒介。电子存储器13可以存储软件算法、由处理器11确定的信息、远程接收的信息和/或使系统10能够正常运行的其它信息。例如，电子存储器13可以存储与图像有关的信息、图像信息、与图像捕获设备有关的信息、与光学元件有关的信息、与图像传感器有关的信息、与位置传感器有关的信息、位置信息、与图像捕获设备的观测轨迹有关的信息、与图像捕获设备的捕获轨迹有关的信息、与光学视场有关的信息、与捕获视场有关的信息、与视频内容有关的信息和/或其它信息。

处理器11可以被配置为在系统10中提供信息处理能力。因此，处理器11可以包括数字处理器、模拟处理器、被设计用于处理信息的数字电路、中央处理单元、图形处理单元、微控制器、被设计用于处理信息的模拟电路、状态机和/或用于电子地处理信息的其它机构中的一者或多者。处理器11可以被配置为执行一个或多个机器可读指令100以促进稳定视频。机器可读指令100可以包括一个或多个计算机程序组件。机器可读指令100可以包括观测轨迹组件102、捕获轨迹组件104、取向组件106、生成组件108和/或其它计算机程序组件中的一者或多者。

在捕获持续时间期间，图像捕获设备可以捕获具有光学视场的图像。图像的光学视场可以限定图像内捕获的场景的视场。可以按照持续时间和/或帧数来测量/限定捕获持续时间。例如，可以在60秒的捕获持续时间期间和/或从一个时间点到另一时间点来捕获图像。可以在捕获持续时间期间捕获图像，包括捕获1800张图像。如果以30张图像/秒的速度来捕获图像，则捕获持续时间可以对应于60秒。可以设想其它捕获持续时间。

系统10可以远离图像捕获设备或者位于图像捕获设备本地。图像捕获设备的一个或多个部分可以远离系统10或者是系统10的一部分。系统10的一个或多个部分可以远离图像捕获设备或者是图像捕获设备的一部分。

例如，系统10的一个或多个部件可以由壳体承载，所述壳体例如图像捕获设备的壳体。例如，系统10的(一个或多个)图像传感器和(一个或多个)位置传感器可以由图像捕获设备的壳体承载。壳体可以承载其它部件，例如处理器11和/或一个或多个光学元件。

图像捕获设备可以指用于以图像、视频和/或其它媒介的形式记录视觉信息的设备。图像捕获设备可以是独立设备(例如，相机)，或者可以是另一设备的一部分(例如，智能手机的一部分)。图3示出了示例性图像捕获设备302。图像捕获设备302可以包括壳体312，并且壳体312可以承载(附接至、支撑、保持和/或以其它方式承载)光学元件304、图像传感器306、位置传感器308、处理器310和/或其它部件。可以设想图像捕获设备的其它配置。

光学元件304可以包括(一个或多个)仪器、(一个或多个)工具、和/或媒介，该(一个或多个)仪器/(一个或多个)工具/媒介对穿过它们的光起作用。例如，光学元件304可以包括透镜、反射镜、棱镜和/或其它光学元件中的一者或多者。光学元件304可以影响穿过光学元件304的光的方向、偏离和/或路径。光学元件304可以被配置为将光学视场305内的光引导至图像传感器306。光学视场305可以包括在光学元件304的视场内的场景的视场和/或传送到图像传感器306的场景的视场。例如，光学元件304可以将其视场内的光引导至图像传感器306，或者可以将其视场的一部分内的光引导至图像传感器306。光学视场305可以大于用于生成视频内容的捕获视场。

图像传感器306可以包括将接收的光转换成输出信号的(一个或多个)传感器。输出信号可以包括电信号。例如，图像传感器306可以包括电荷耦合器件传感器、有源像素传感器、互补金属氧化物半导体传感器、N型金属氧化物半导体传感器和/或其它图像传感器中的一者或多者。图像传感器306可以生成输出信号，该输出信号传递限定一个或多个图像(例如，视频的视频帧)的信息。例如，图像传感器306可以被配置为基于在捕获持续时间期间入射到该图像传感器306上的光来生成图像输出信号。图像输出信号可以传递限定具有光学视场的图像的图像信息。

位置传感器308可以包括将经历的位置/运动转换成输出信号的(一个或多个)传感器。输出信号可以包括电信号。例如，位置传感器308可以指一组位置传感器，该一组位置传感器可以包括一个或多个惯性测量单元、一个或多个加速度计、一个或多个陀螺仪、和/或其它位置传感器。位置传感器308可以生成输出信号，该输出信号传递表征位置传感器308和/或承载位置传感器308的(一个或多个)设备的位置的信息。例如，位置传感器308可以被配置为基于壳体/图像捕获设备在捕获持续时间期间的位置来生成位置输出信号。位置输出信号可以传递表征壳体312在捕获持续时间内的不同时刻(时间点、持续时间)的位置的位置信息。位置信息可以基于壳体312的特定的平移位置和/或旋转位置、和/或基于壳体312的平移位置和/或旋转位置随捕获持续时间内的进展的变化来表征壳体312的位置。也就是说，位置信息可以表征在捕获持续时间期间壳体312的平移位置和/或旋转位置、和/或壳体312的平移位置和/或旋转位置的变化(运动)(例如，方向、量、速度、加速度)。

可以基于由位置传感器308生成的信号、以及独立于由图像传感器306生成的信息/信号来确定位置信息。也就是说，可以不使用由图像传感器306生成的图像/视频来确定位置信息。就处理功率、处理时间和/或电池消耗而言，使用图像/视频来确定壳体312/图像捕获设备302的位置/运动在计算上可能是昂贵的。使用来自位置传感器308的信息/信号来确定壳体312/图像捕获设备302的位置/运动可以在计算上更便宜。也就是说，当根据来自位置传感器308的信息/信号来确定壳体312/图像捕获设备302的位置/运动时，与根据来自图像传感器306的信息/信号来确定壳体312/图像捕获设备302的位置/运动相比，可以需要更少的处理功率、处理时间和/或电池消耗。独立于图像信息确定的位置信息可以用于确定壳体312/图像捕获设备302在捕获持续时间期间的轨迹。

处理器310可以包括在图像捕获设备302中提供信息处理能力的一个或多个处理器(逻辑电路)。处理器310可以为图像捕获设备302提供一个或多个计算功能。处理器310可以将命令信号操作/发送到图像捕获设备302的一个或多个部件以操作图像捕获设备302。例如，处理器310可以促进图像捕获设备302在捕获(一个或多个)图像和/或(一个或多个)视频时的操作、促进光学元件304的操作(例如，改变光学元件304如何引导光)、和/或促进图像传感器306的操作(例如，改变接收到的光被如何转换成限定图像/视频的信息、和/或捕获后如何对图像/视频进行后处理)。处理器310可以从图像传感器306和/或位置传感器308获得信息，和/或促进将信息从图像传感器306和/或位置传感器308传输到另一设备/部件。处理器310可以远离处理器11或位于处理器11本地。处理器310的一个或多个部分可以是处理器11的一部分，和/或处理器10的一个或多个部分可以是处理器310的一部分。

返回参照图1，处理器11(或处理器11的一个或多个组件)可以被配置为获得信息以促进稳定视频。获得信息可以包括访问、获取、分析、确定、审查、识别、加载、定位、打开、接收、检索、检查、存储信息和/或以其它方式获得信息中的一者或多者。处理器11可以从一个或多个位置获得信息。例如，处理器11可从存储器位置(例如电子存储器13、由一个或多个传感器生成的信息和/或信号的电子存储器、可通过网络访问的设备的电子存储器)和/或其它位置获得信息。处理器11可以从一个或多个硬件部件(例如，图像传感器、位置传感器)和/或一个或多个软件组件(例如，在计算设备上运行的软件)获得信息。

例如，处理器11(或处理器11的一个或多个组件)可以获得限定具有光学视场的图像的图像信息、表征图像捕获设备在捕获持续时间内的不同时刻的位置的位置信息、和/或其它信息。可以在图像捕获设备获取图像期间和/或在获取图像之后获得一个或多个信息。例如，可以在图像被图像捕获设备捕获时和/或在图像已经被捕获并存储在内存(例如，电子存储器13)中之后获得图像信息、位置信息和/或其它信息。

观测轨迹组件102可以被配置为基于位置信息和/或其它信息来确定图像捕获设备/图像捕获设备的壳体在捕获持续时间期间的观测轨迹。观测轨迹的确定可以被称为轨迹生成/观测轨迹生成。观测轨迹可以指在捕获持续时间期间图像捕获设备/壳体遵循的一个或多个路径和/或进程(progression)。观测轨迹可以反映图像捕获设备/图像捕获设备的壳体在捕获持续时间内的不同时刻的位置。图像捕获设备/图像捕获设备的壳体的位置可以包括旋转位置(例如，围绕图像捕获设备的一个或多个轴线的旋转)和/或图像捕获设备/图像捕获设备的壳体的平移位置。例如，观测轨迹组件102可以基于表征图像捕获设备/壳体的特定的平移位置和/或旋转位置、和/或表征图像捕获设备/壳体的平移位置和/或旋转位置随捕获持续时间内的进展的变化的位置信息，来确定图像捕获设备/图像捕获设备的壳体在捕获持续时间期间的观测轨迹。

观测轨迹可以包括与捕获持续时间内的不同时刻相对应的不同部分。例如，观测轨迹可以包括与捕获持续时间内的第一时刻相对应的第一部分和与捕获持续时间内的第二时刻相对应的第二部分。第二时刻可以在捕获持续时间内在第一时刻之后。

图4示出了图像捕获设备的示例性观测轨迹。该观测轨迹可以包括图像捕获设备的观测偏航轨迹(observed yaw trajectory)400。观测偏航轨迹400可以反映图像捕获设备/图像捕获设备的壳体在捕获持续时间内的不同时刻的偏航角位置(例如，相对于偏航轴限定的向左旋转或向右旋转的旋转位置)。观测偏航轨迹400可以示出图像捕获设备沿负偏航方向旋转、沿正偏航方向旋转、旋转回向前配置、然后沿负偏航方向旋转。例如，在捕获图像期间，图像捕获设备可以已经向右旋转，然后向左旋转，向前旋转，然后向右旋转。可以设想其它类型的观测轨迹(例如，俯仰轨迹、滚动轨迹、平移轨迹)。

基于沿观测偏航轨迹400捕获的图像来生成视频可能是不期望的。例如，基于沿观测偏航轨迹400捕获的图像生成视频可能导致视频具有晃动和/或看起来包括意外的相机运动的镜头。例如，图像捕获设备的偏航角位置中的急剧/快速变化可能导致视频内的视觉方向的突然变化(例如，快速的向左或向右相机运动)。图像捕获设备的偏航角位置的多次变化可能导致正在改变观看方向的镜头(例如，向右、向左、向前、向右)。

可以稳定从这种图像生成的视频，以提供捕获内容的更平滑视图。稳定这种视频可以包括使用图像的较小的视觉内容部分来提供图像的截取视图(punch-out view)，该截取视图比通过使用图像的整个视觉内容生成视频时产生更稳定的视图。例如，可以通过在捕获持续时间内创建稳定轨迹并基于稳定轨迹从图像确定截取部来提供这种稳定。图像的截取部可以指图像的用于呈现的一个或多个部分，例如图像的剪切部分或图像的裁剪部分。图像的截取部可以包括图像的在显示器上呈现的一个或多个视觉部分和/或图像的用于生成视频内容的视频帧的一个或多个视觉部分。然而，一些稳定技术可能不能保留捕获图像的用户的意图。

例如，可以通过基于过去的位置/运动来预测相机的位置/运动来使视频稳定。例如，当尝试确定在捕获持续时间内的给定时刻捕获的图像的截取部的位置和/或形状时，图像捕获设备的在该时刻之前的位置/运动可以用于确定如何定位截取部/使截取部成形以创建稳定的视图。这种“过去的”位置/运动信息的使用可能与图像捕获设备的用户想要的运动冲突。

例如，在观测偏航轨迹400中，图像捕获设备向右、然后向左、然后向前的旋转可能是图像捕获设备无意中向右旋转、用户过度向左旋转、然后将图像捕获设备向右旋转到向前方向的结果。使用“过去的”位置/运动信息确定图像的截取部可以导致如图5A中所示的预测轨迹。

例如，基于在持续时间A 502期间图像捕获设备的向右旋转，可以为持续时间B504预测继续向右旋转的预测偏航轨迹A 512。基于在持续时间D 506期间图像捕获设备的向右的较小旋转，可以为持续时间D 508预测继续向右的较小旋转的预测偏航轨迹B 514。预测偏航轨迹A 512可能在持续时间B 504期间沿与图像捕获设备的实际运动相反的方向，并且预测偏航轨迹B 514可能与观测偏航轨迹相差很大。观测偏航轨迹与预测偏航轨迹之间的这种差异可能导致图像不包括足够的视觉信息(例如，像素)来考虑尝试稳定的和/或截取的位置/形状。

作为另一示例，可以通过使图像捕获设备的位置/运动中观测的变化平滑来稳定视频。例如，可以将低通滤波器应用于观测轨迹，以使图像捕获设备的位置/运动中的突然旋转和/或平移变化平滑。

例如，如图5B中所示，通过将低通滤波器应用于观测偏航轨迹400，可以确定平滑偏航轨迹516。与观测偏航轨迹相比，平滑偏航轨迹516可以在图像捕获设备的位置/运动中具有更平滑的变化。然而，这种平滑可能没有考虑到位置/动作在捕获持续时间期间如何变化，并且可能不会保留捕获图像的用户的意图。例如，尽管从平滑偏航轨迹516生成的视频可能不包括视频内视觉方向的突然变化，但该视频可能仍包含正在将观看方向以不连续的运动向右、然后向左、向前、然后向右改变(例如，向右旋转一定角度，保持该位置一段时间，然后向右旋转，然后向左转回一点，然后再次向右旋转)的镜头。

捕获轨迹组件104可以被配置为基于观测轨迹的后续部分和/或其它信息来确定图像捕获设备/图像捕获设备的壳体的捕获轨迹。捕获轨迹的确定可以被称为轨迹生成/捕获轨迹生成。捕获轨迹可以指用于确定图像的视觉内容的哪些部分(截取部)可以用于生成视频的一个或多个路径和/或进程。捕获轨迹可以反映图像捕获设备/图像捕获设备的壳体在捕获持续时间内的不同时刻的实际位置和/或虚拟位置。实际位置可以指由图像捕获设备/图像捕获的壳体所采取的位置。虚拟位置可以指未被图像捕获设备/图像捕获设备的壳体所采取的位置。虚拟位置可以从图像捕获设备/图像捕获设备的壳体的实际位置(旋转地和/或平移地)偏移。在图像捕获设备/图像捕获设备的壳体的各位置中，捕获轨迹可以具有比与观测轨迹更平滑的变化。也就是说，在图像捕获设备/图像捕获设备的壳体的各位置中，与观测轨迹相比，捕获轨迹可以具有更少的抖动(轻微的不规则移动/变化)、更少的突变和/或更少的不连续改变。

基于观测轨迹的后续部分来确定捕获轨迹(捕获轨迹生成)可以包括基于观测轨迹的与捕获持续时间内的一个或多个随后时刻(超过给定时刻的(一个或多个)时刻)相对应的一个或多个部分来确定捕获轨迹的与捕获持续时间内给定时刻相对应的部分。也就是说，捕获轨迹组件104可以及时“向前看(look ahead)”以确定捕获轨迹的一部分。向前看可以包括使用观测轨迹的一个或多个后续部分来确定捕获轨迹的先前部分。这样的轨迹生成可以被称为向前看轨迹的生成。持续时间内的后续时刻可以与给定时刻相邻或不与给定时刻相邻。使用观测轨迹的(一个或多个)后续部分可以使捕获轨迹组件104能够确定捕获轨迹，该捕获轨迹保留了用户对于图像捕获设备的预期运动。用户的预期运动可以指用户计划/打算执行的图像捕获设备的运动。

可以分析(向前看)图像捕获设备“未来”的位置/运动，以确定图像捕获设备在某个时刻的特定(一个或多个)位置/(一个或多个)运动是预期运动还是意外运动(例如，由于振动引起的晃动、由于图像捕获设备的碰撞/处理不当引起的旋转)。例如，当确定捕获持续时间内的某个时刻(例如，对应于第1000个视频帧)的捕获轨迹时，对在该时刻之后的持续时间内(例如，对应于接下来的30个视频帧)图像捕获设备的(一个或多个)位置/(一个或多个)运动进行分析，以确定该时刻的图像捕获设备的位置/运动是否是预期的。在一些实施方式中，捕获轨迹组件104可以进一步基于观测轨迹的一个或多个先前部分来确定图像捕获设备/图像捕获设备的壳体的捕获轨迹。图像捕获设备的过去位置/运动信息可以提供预期运动的上下文。

图5C示出了由捕获轨迹组件104确定的示例性捕获轨迹。该捕获轨迹可以包括捕获偏航轨迹532。捕获偏航轨迹532可以反映待用于确定图像的视觉内容的哪些部分(截取部)可以用于生成视频的、图像捕获设备/图像捕获设备的壳体的偏航角位置(例如，相对于偏航轴限定的向左或向右旋转的旋转位置)。例如，捕获偏航轨迹532可以包括在持续时间522、524、526内围绕偏航轴(向前方向)的零旋转，然后在持续时间528、530内向右的平滑旋转。可以设想其它类型的捕获轨迹(例如，捕获俯仰轨迹、捕获滚动轨迹、捕获平移轨迹)。

可以确定捕获偏航轨迹532，使得基于观测偏航轨迹400的后续部分确定捕获偏航轨迹532的与观测偏航轨迹400的一部分相对应的部分。例如，可以基于在持续时间B 524和/或持续时间C 526内的观测偏航轨迹400的(一个或多个)部分(持续时间B 524和/或持续时间C 526向前看)来确定捕获偏航轨迹532在持续时间A 522的一个或多个部分内的部分。观测偏航轨迹400在持续时间B 524和/或持续时间C 526内的(一个或多个)部分可以用于确定捕获偏航轨迹532在持续时间A 522的(一个或多个)部分内可以与观测偏航轨迹400在哪个方向不同和/或相差多少量。可以基于观测轨迹400的(一个或多个)后续部分来确定捕获偏航轨迹532，使得捕获偏航轨迹532保留用户对图像捕获设备的预期运动。例如，基于观测轨迹400的(一个或多个)后续部分(向前看)，捕获轨迹组件104可以确定图像捕获设备在持续时间522、524期间向右和向左的旋转是意外运动(例如，图像捕获设备无意中向右旋转，然后用户过度向左旋转来纠正)，并且可以确定在持续时间522、524期间要将捕获偏航轨迹532向前指引。基于观测轨迹400的(一个或多个)后续部分(向前看)，捕获轨迹组件104可以确定图像捕获设备在持续时间528、530期间向右的错列旋转包括意外运动(非连续的向右旋转)，并且可以确定捕获偏航轨迹532在持续时间528、530期间包括连续的向右旋转。可以设想捕获轨迹的其它确定。

在一些实施方式中，可以基于图像捕获设备/图像捕获设备的壳体的旋转速度以及图像捕获设备/图像捕获设备的壳体的旋转加速度的最小化同时遵守一组约束来确定捕获轨迹。例如，可以通过生成遵守该组约束的平滑路径而不是通过修改观测轨迹来确定捕获轨迹。例如，可以在遵守该组约束的同时，通过找到图像捕获设备/图像捕获设备的壳体的使偏航角位置、俯仰角位置和/或滚动角位置的时间导数、二阶时间导数和/或(一个或多个)其它时间导数的组合最小化的路径，来生成限定偏航角位置、俯仰角位置和/或滚动角位置的平滑路径：

在一些实施方式中，最小化计算的一个或多个部分可以被改变。例如，最小化计算的一个或多个部分(例如，一阶时间导数)可以被改变为比最小化计算的(一个或多个)其它部分(例如，二阶时间导数)具有更大的影响或更小的影响，和/或可以将其它因素引入所述计算中。

在一些实施方式中，关于图像捕获的高频(抖动)的信息可以用于改善所生成的视频内容的视觉特性。可以基于图像捕获配置来保持输入中的高频的特定部分，诸如曝光开始时间和曝光持续时间、位置信息(例如位置传感器读数)和/或其它信息。例如，在帧曝光期间图像捕获设备/图像传感器的其中可能包含高频的运动可以被分析并用于生成/修改使帧间运动最小化(例如，使帧间运动平滑)同时保留帧内运动的捕获轨迹。这可以例如通过补偿运动模糊和/或低光图像捕获条件来提供所生成的视频内容的改善的视觉特性。

例如，图像捕获可能不会立即发生。而是，图像传感器像素点(site)可能需要一定时间才能聚集光。这可能会导致图像传感器运动在时间上分为两个阶段：可能无法被捕获并可能被抑制的帧间运动、以及可能被“包”在图像中并且可能无法去除的帧内运动。当考虑帧内运动时，可以提供更好的视觉特性(例如，印象)，使得捕获轨迹对于帧间阶段是平滑的，而对于帧内阶段则对应于原始运动。也就是说，捕获轨迹可以在与帧曝光阶段期间相同的方向上以相同的速度移动/跟随，从而使其运动与图像中的运动模糊一致。

所述一组约束可以包括提供关于如何生成平滑路径的限制/限定/规则的一个或多个约束。例如，所述一组约束可以包括边界约束，该边界约束提供关于可以距观测轨迹多远生成平滑路径的(一个或多个)限制/(一个或多个)限定/(一个或多个)规则。可以基于光学视场和捕获视场之间的差异和/或其它信息来确定边界约束。光学视场可以指在图像内捕获的场景的视场。也就是说，光学视场可以指在图像内捕获的场景的空间范围/角度。捕获视场可以指用于基于图像的视觉内容来生成视频的视场。也就是说，可以基于捕获视场内的图像的视觉内容来生成视频。可以根据形状和/或尺寸来限定捕获视场。

例如，图6A示出了图像A 600的示例性光学视场602和示例捕获视场604。图像A600可以包括在由光学视场602限定的角度内的场景的捕获。捕获视场604可以提供要用于视频生成的图像A 600的截取部。平滑路径可以偏离观测轨迹的量和/或方向可以取决于光学视场602和捕获视场604之间的差异。光学视场602和捕获视场604之间的差异(例如，10％)可以限定边界606，捕获视场604可以在边界606内相对于光学视场602移动。例如，参照图6B，捕获视场614可以相对于光学视场612旋转而不超出图像B 610内捕获的像素，并且捕获视场624可以相对于光学视场622横向地移动而不超出在图像C 620内捕获的像素。

光学视场602与捕获视场604之间的较大差异可以实现捕获视场604相对于光学视场602的较大移动，而光学视场602与捕获视场604之间的较小的差异可以实现捕获视场604相对于光学视场602的较小移动。然而，较大的边界606可能导致像素空间和计算资源(例如，用于捕获具有比生成视频所需的光学视场更大的光学视场的图像的处理器功率和/或电池消耗)的浪费。

在一些实施方式中，该组约束可以包括轨迹约束，该轨迹约束提供关于可以如何基于观测轨迹的后续部分来生成平滑路径的(一个或多个)限制/(一个或多个)限定/(一个或多个)规则。可以基于观测轨迹的后续部分和/或其它信息来确定轨迹约束。也就是说，轨迹约束可以包括与观测轨迹“未来”的形状有关的一个或多个约束。轨迹约束可以在生成的路径中保留图像捕获设备的预期运动。

在一些实施方式中，该组约束可以包括目标约束，该目标约束提供关于可以如何基于图像内的目标来生成平滑路径的(一个或多个)限制/(一个或多个)限定/(一个或多个)规则。目标可以指可以被选择包含在视频中的人、物体和/或事物。例如，由图像捕获设备捕获的图像可以包括人(例如，感兴趣的人)的一个或多个视图，并且用户可能希望创建包括该人的视频。目标约束可以包括与图像内目标的位置有关的使得图像在图像内的目标的位置周围稳定的一个或多个约束。也就是说，目标约束可能影响平滑路径的生成，以使目标位于图像的一个或多个截取部内。可以设想其它约束。

取向组件106可以被配置为基于图像捕获设备/图像捕获设备的壳体的捕获轨迹和/或其它信息来确定图像的捕获视场相对于图像的光学视场的取向。图像的捕获视场相对于图像的光学视场的取向可以确定图像的视觉内容的哪些部分(截取部)可以用于生成视频。也就是说，取向组件106可以确定图像的截取部可以相对于图像的捕获视场如何取向。捕获轨迹可以用于确定捕获视场相对于光学视场旋转多少以及沿哪个方向旋转。在一些实施方式中，取向组件106可以确定图像的截取部可以相对于图像的捕获视场如何横向地和/或竖直地定位。捕获轨迹可以确定捕获视场相对于光学视场旋转多少以及沿哪个方向旋转。捕获轨迹可以用于确定捕获视场相对于光学视场横向地/竖直地定位多远以及沿哪个方向定位。

例如，参照图6B，取向组件106可以基于特定时刻的捕获轨迹来确定图像B 610的捕获视场614相对于光学视场612的取向。捕获视场614可以相对于光学视场612取向，以提供图像B 610的截取部，该截取部相对于图像的先前的和/或下一个截取部是稳定的(例如，相对于如图6A中所示的使用图像A 600的捕获视场604的图像A 600的截取部是稳定的)。取向组件106可以基于在特定时刻的捕获轨迹来确定图像C 620的捕获视场624相对于光学视场622的取向。捕获视场624可以相对于光学视场622取向，以提供图像C 620的截取部，该截取部相对于图像的先前的和/或下一个截取部是稳定的(例如，相对于使用图像B 610的捕获视场614的图像B 610的截取部稳定)。

生成组件108可以被配置为基于捕获视场内的图像的视觉内容和/或其它信息来生成视频内容。视频内容可以指可以作为一个或多个视频/视频片段使用的媒体内容。视频内容可以包括以一种或多种格式/容器存储的一个或多个视频/视频片段、和/或其它视频内容。格式可以指其中布置/布局限定视频内容的信息的一种或多种方式(例如，文件格式)。容器可以指其中限定视频内容的信息与其它信息相关联地布置/布局的一种或多种方式(例如，包装器格式)。视频内容可以根据通过视频内容的进度长度的进度来限定可视的视觉内容。视频内容可以包括限定视觉内容的视频帧。也就是说，该视频内容的视觉内容可以被包括在视频内容的视频帧内。

可以基于捕获视场内的图像的视觉内容和/或其它信息来确定视频内容的视频帧。可以根据捕获轨迹、捕获视场和/或其它信息，基于图像的截取部来确定视频内容的视频帧。例如，参照图6A-图6B，可以基于捕获视场604内的图像A 600的视觉内容、捕获视场614内的图像B 610的视觉内容、捕获视场624内的图像C 620的视觉内容和/或其它信息来确定视频内容的视频帧。图像的视觉内容包括在视频内容中的这种确定可以实现视频内容的稳定。

在一些实施方式中，可以基于图像(例如，图像的视觉内容的一个或多个部分)的扭曲来确定视频内容的视频帧。图像的扭曲可以提供在图像内捕获的内容的不同视角，如果已经从捕获轨迹上的图像捕获设备捕获图像，不同的视角对应于内容将看起来如何。

在一些实施方式中，可以将用于生成视频内容的一个或多个图像和/或图像的一个或多个部分存储在缓冲器(例如1s缓冲器)中。缓冲器可以用于存储图像/包括视觉内容的图像的将被包括在该视觉内容中的部分、和/或图像/包括视觉内容的图像的将被转换(扭曲)以包括在该视觉内容中的部分。缓冲器可以用于存储图像信息、位置信息和/或用于向前看和/或轨迹生成的其它信息。例如，缓冲器可以用于存储正在使用向前看对其执行轨迹生成的图像。在生成捕获轨迹的相应部分之后，缓冲器中的图像的相关部分(捕获视场内的图像的可视内容)可以用于生成视频内容。

可以由视频信息来限定由生成组件108生成的视频内容。限定视频内容的视频信息可以限定视频内容的编码版本/副本和/或用于渲染视频内容的指令。例如，视频信息可以限定视频内容的编码版本/副本，并且可以在视频播放器中打开视频信息(例如，视频文件)以呈现视频内容。视频信息可以限定渲染用于呈现的视频内容的指令。例如，视频信息可以限定导演轨迹，该导演轨迹包括关于图像的哪些视觉部分应当被包括在视频内容的呈现内的信息。导演轨迹可以包括关于图像的截取部的位置和/或形状的信息，这些信息将根据通过视频内容的进度被使用以提供图像的稳定视图。当视频内容被打开/将被呈现时，视频播放器可以使用导演轨迹来检索图像的相关视觉部分。

生成组件108可以被配置为实现将视频信息和/或其它信息存储在一个或多个存储媒介中。例如，视频信息可以存储在电子存储器13、远程存储位置(位于服务器处/可通过服务器访问的存储媒介)和/或其它位置中。在一些实施方式中，生成组件108可以通过一个或多个中间设备来实现视频信息的存储。例如，处理器11可以位于不与存储设备连接的计算设备内(例如，该计算设备缺少与存储设备的WiFi/蜂窝连接)。生成组件108可以通过具有必要连接的另一设备(例如，使用配对移动设备(例如，智能手机、平板电脑、笔记本电脑)的WiFi/蜂窝连接以将信息存储在一种或多种存储媒介中的计算设备)来实现视频信息的存储。可以设想用于视频信息的其它存储位置和存储。

尽管本文中的描述可以针对图像和视频，但是本文中描述的系统/方法的一个或多个其它实施方式可以被配置用于其它类型的媒体内容。其它类型的媒体内容可以包括音频内容(例如，音乐、播客、有声读物和/或其它音频内容)、多媒体演示、图像、幻灯片、视觉内容(例如，一个或多个图像和/或视频)和/或其它媒体内容中的一者或多者。

可以以硬件、固件、软件或其任何合适的组合来进行本发明的实施。本发明的各个方面可以被实现为存储在机器可读媒介上的指令，该指令可以由一个或多个处理器读取和执行。机器可读媒介可以包括用于以机器(例如，计算设备)可读的形式存储或传输信息的任何机构。例如，有形计算机可读存储媒介可以包括只读存储器、随机存取存储器、磁盘存储媒介、光存储媒介、闪存器件等，并且机器可读传输媒介可以包括诸如载波的传播信号、红外信号、数字信号等的形式。可以根据本发明的具体示例性方面和实施方式并执行特定动作来在本文中描述固件、软件、例程或指令。

在一些实施方式中，本文归属于系统10的一些或全部功能可以由未包括在系统10中的外部资源提供。外部资源可以包括信息、计算和/或处理的主机/源、和/或系统10外部的信息、计算和/或处理的其它提供者。

尽管在图1中示出处理器11和电子存储器13连接到接口12，但是可以使用任何通信媒介来促进系统10的任何部件之间的交互。系统10的一个或多个部件可以通过硬连线通信、无线通信、或者硬连线通信和无线通信两者相互通信。例如，系统10的一个或多个部件可以通过网络彼此通信。例如，处理器11可以与电子存储器13无线地通信。作为非限制性示例，无线通信可以包括无线电通信、蓝牙通信、Wi-Fi通信、蜂窝通信、红外通信、Li-Fi或其它无线通信中的一者或多者。本发明可以设想其它类型的通信。

尽管在图1中处理器11作为单个实体示出，但这仅用于说明目的。在一些实施方式中，处理器11可以包括多个处理单元。这些处理单元可以物理上位于同一设备内，或者处理器11可以表现协同操作的多个设备的处理功能。处理器11可以被配置为通过软件，硬件，固件，软件、硬件和/或固件的一些组合，和/或用于在处理器11上配置处理能力的其它机构来运行一个或多个组件。

应当理解，尽管在图1中示出了计算机组件共同位于单个处理单元内，但是，在处理器11包括多个处理单元的实施方式中，一个或多个计算机程序组件可以远离其它计算机程序组件定位。

尽管在本文中将计算机程序组件描述为经由处理器11通过机器可读指令100来实现，但这仅是为了便于参考而不意图进行限制。在一些实施方式中，本文中描述的计算机程序组件的一个或多个功能可经由硬件(例如，专用芯片、现场可编程门阵列)而非软件来实现。本文中描述的计算机程序组件的一个或多个功能可以是软件实现的、硬件实现的、或软件和硬件实现的

本文中描述的不同计算机程序组件所提供的功能的描述是出于说明的目的，而不是意图进行限制，因为任何计算机程序组件都可以提供比所描述的更多或更少的功能。例如，可以去除一个或多个计算机程序组件，并且其功能的一些或全部可以由其它计算机程序组件提供。作为另一示例，处理器11可以被配置为运行一个或多个附加计算机程序组件，该一个或多个附加计算机程序组件可以执行归属于本文中所述的一个或多个计算机程序组件的一些或全部功能。

电子存储器13的电子存储媒介可以经由例如端口(例如USB端口、火线(Firewire)端口等)或驱动器(例如磁盘驱动器等)与系统10的一个或多个部件和/或可连接到系统10的一个或多个部件的可移除存储器一体地(即，基本上不可移除的)提供。电子存储器13可以包括光学可读存储媒介(例如，光盘等)、磁性可读存储媒介(例如，磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储器媒介(例如，EPROM、EEPROM、RAM等)、固态存储媒介(例如，闪存驱动器等)和/或其它电子可读存储媒介中的一者或多者。电子存储器13可以是系统10内的单独部件，或者电子存储器13可以与系统10的一个或多个其它部件(例如，处理器11)一体地提供。尽管电子存储器13在图1中作为单个实体示出，但是，这仅用于说明目的。在一些实施方式中，电子存储器13可以包括多个存储单元。这些存储单元可以物理地位于同一设备内，或者电子存储器13可以表现协同操作的多个设备的存储功能。

图2示出了用于稳定视频的方法200。以下呈现的方法200的操作旨在说明。在一些实施方式中，方法200可以利用未描述的一个或多个附加操作和/或不具有所讨论的一个或多个操作来实现。在一些实施方式中，两个或更多操作可以基本上同时发生。

在一些实施方式中，方法200可以在一个或多个处理设备(例如，数字处理器、模拟处理器、被设计用于处理信息的数字电路、中央处理单元、图形处理单元、微控制器、被设计用于处理信息的模拟电路、状态机和/或用于电子地处理信息的其它机构)中实施。该一个或多个处理设备可以包括响应于电子地存储在一个或多个电子存储媒介上的指令而执行方法200的一些或全部操作的一个或多个设备。该一个或多个处理设备可以包括通过硬件、固件和/或软件配置的一个或多个设备，这些设备被专门设计用于执行方法200的一个或多个操作。

参照图2和方法200，在操作201处，可以生成图像输出信号。图像输出信号可以传递限定具有光学视场的图像的图像信息。在一些实施方式中，操作201可以由与图像传感器306(在图3中示出并且在本文中描述)相同或相似的部件来执行。

在操作202处，可以生成位置输出信号。位置输出信号可以传递表征图像捕获设备在捕获持续时间内的不同时刻的位置的位置信息。在一些实施方式中，操作202可以由与位置传感器308(图3中示出并且在本文中描述)相同或相似的处理器部件执行。

在操作203处，可以基于位置信息来确定图像捕获设备在捕获持续时间期间的观测轨迹。在一些实施方式中，操作203可以由与观测轨迹组件102(在图1中示出并且在本文中描述)相同或相似的处理器组件执行。

在操作204处，可以基于观测轨迹的后续部分来确定图像捕获设备的捕获轨迹。在一些实施方式中，操作204可以由与捕获轨迹组件104(在图1中示出并且在本文中描述)相同或相似的处理器组件来执行。

在操作205处，可以基于捕获轨迹来确定图像的捕获视场相对于光学视场的取向。在一些实施方式中，操作205可以由与取向组件106(在图1中示出并且在本文中描述)相同或相似的处理器组件来执行。

在操作206处，可以基于捕获视场内的图像的视觉内容来生成视频内容。在一些实施方式中，操作206可以由与生成组件108(在图1中示出并且在本文中描述)相同或相似的处理器组件来执行。

尽管已经出于说明的目的基于当前被认为是最实际且最优选的实施方式详细描述了本发明的系统(一种或多种)和/或方法(一种或多种)，但是应当理解，这样的细节仅出于该目的，并且本发明并不限于所公开的实施方式，而是相反，本发明旨在覆盖在所附权利要求的精神和范围内的各种修改和等同布置。例如，应当理解，本发明预期，在可能的范围内，任何实施方式中的一个或多个特征可以与任何其它实施方式中的一个或多个特征组合。

Claims (20)

1.一种稳定视频的图像捕获设备，所述图像捕获设备包括：

壳体；

光学元件，所述光学元件由所述壳体承载，并且被配置为将光学视场内的光引导至图像传感器，所述光学视场大于用于生成视频内容的捕获视场；

所述图像传感器，所述图像传感器由所述壳体承载，并且被配置为基于在捕获持续时间期间入射到所述图像传感器上的光来生成图像输出信号，所述图像输出信号传递限定具有所述光学视场的图像的图像信息；

位置传感器，所述位置传感器由所述壳体承载，并且被配置为基于所述壳体在所述捕获持续时间期间的各位置来生成位置输出信号，所述位置输出信号传递表征所述壳体在所述捕获持续时间内的不同时刻的位置的位置信息，所表征的所述壳体的位置包括所述壳体的旋转位置，所述位置信息独立于所述图像信息通过所述位置传感器的所述位置输出信号传递；以及

一个或多个物理处理器，所述一个或多个物理处理器由机器可读指令配置为：

基于所述位置信息来确定所述壳体在所述捕获持续时间期间的观测轨迹，所述观测轨迹反映所述壳体在所述捕获持续时间内的不同时刻的位置，所述观测轨迹包括与所述捕获持续时间内的第一时刻相对应的第一部分和与所述捕获持续时间内的在所述第一时刻之后的第二时刻相对应的第二部分；

基于所述观测轨迹的向前看来确定所述壳体的捕获轨迹，所述捕获轨迹反映所述壳体的实际位置和/或虚拟位置，从所述实际位置和/或虚拟位置确定所述捕获视场的取向，所述观测轨迹的向前看包括使用所述观测轨迹的后续部分来确定所述捕获轨迹的先前部分，使得基于所述观测轨迹的与所述捕获持续时间内的所述第二时刻相对应的所述第二部分来确定所述捕获轨迹的对应于所述观测轨迹的与所述捕获持续时间内的所述第一时刻相对应的所述第一部分的部分，在所述壳体的各位置中，所述捕获轨迹具有比所述观测轨迹更平滑的变化；

基于所述壳体的所述捕获轨迹，确定所述图像的所述捕获视场相对于所述图像的所述光学视场的取向，所述捕获视场包括在所述光学视场内的更小的视场；以及

基于所述捕获视场内的所述图像的视觉内容的截取来生成所述视频内容。

2.根据权利要求1所述的图像捕获设备，其中，所表征的所述壳体的位置还包括所述壳体的平移位置。

3.根据权利要求1所述的图像捕获设备，其中，所述位置传感器包括陀螺仪、加速度计和/或惯性测量单元。

4.根据权利要求1所述的图像捕获设备，其中，在所述壳体的各位置中所述捕获轨迹具有比所述观测轨迹更平滑的变化的特征在于，在所述壳体的各位置中所述捕获轨迹具有比所述观测轨迹更少的抖动。

5.根据权利要求4所述的图像捕获设备，其中，在所述壳体的各位置中所述捕获轨迹具有比所述观测轨迹更平滑的变化包括从所述捕获轨迹移除所述观测轨迹中的所述壳体的各位置的高频变化。

6.根据权利要求1所述的图像捕获设备，其中，基于最小化所述壳体的旋转速度和所述壳体的旋转加速度的组合同时遵守一组约束来确定所述壳体的所述捕获轨迹。

7.根据权利要求6所述的图像捕获设备，其中，所述一组约束包括基于所述光学视场与所述捕获视场之间的差异确定的边界约束。

8.根据权利要求7所述的图像捕获设备，其中，所述一组约束包括基于所述观测轨迹的所述后续部分确定的轨迹约束。

9.根据权利要求8所述的图像捕获设备，其中，所述一组约束包括基于所述图像中的目标的位置确定的目标约束。

10.根据权利要求1所述的图像捕获设备，其中，所述一个或多个物理处理器用于基于所述捕获视场内的所述图像的视觉内容的截取来生成所述视频内容，所述一个或多个物理处理器还由机器可读指令配置为裁剪所述捕获视场内的所述图像的视觉内容。

11.一种用于稳定视频的方法，所述方法由包括壳体和一个或多个处理器的图像捕获设备执行，所述壳体承载光学元件、图像传感器和位置传感器，所述光学元件被配置为将光学视场内的光引导至所述图像传感器，所述光学视场大于用于生成视频内容的捕获视场，所述方法包括：

由所述图像传感器基于在捕获持续时间期间入射到所述图像传感器上的光生成图像输出信号，所述图像输出信号传递限定具有所述光学视场的图像的图像信息；

由所述位置传感器基于所述壳体在所述捕获持续时间内的各位置生成位置输出信号，所述位置输出信号传递表征所述壳体在所述捕获持续时间内的不同时刻的位置的位置信息，所表征的所述壳体的位置包括所述壳体的旋转位置，所述位置信息独立于所述图像信息通过所述位置传感器的所述位置输出信号传递；

由所述一个或多个处理器基于所述位置信息确定所述壳体在所述捕获持续时间期间的观测轨迹，所述观测轨迹反映所述壳体在所述捕获持续时间内的不同时刻的位置，所述观测轨迹包括与所述捕获持续时间内的第一时刻相对应的第一部分和与所述捕获持续时间内的在所述第一时刻之后的第二时刻相对应的第二部分；

由所述一个或多个处理器基于所述观测轨迹的向前看来确定所述壳体的捕获轨迹，所述捕获轨迹反映所述壳体的实际位置和/或虚拟位置，从所述实际位置和/或虚拟位置确定所述捕获视场的取向，所述观测轨迹的向前看包括使用所述观测轨迹的后续部分来确定所述捕获轨迹的先前部分，使得基于所述观测轨迹的与所述捕获持续时间内的所述第二时刻相对应的所述第二部分来确定所述捕获轨迹的对应于所述观测轨迹的与所述捕获持续时间内的所述第一时刻相对应的所述第一部分的部分，在所述壳体的各位置中，所述捕获轨迹具有比所述观测轨迹更平滑的变化；

由所述一个或多个处理器基于所述壳体的所述捕获轨迹，确定所述图像的所述捕获视场相对于所述图像的所述光学视场的取向，所述捕获视场包括在所述光学视场内的更小的视场；以及

由所述一个或多个处理器基于所述捕获视场内的所述图像的视觉内容的截取来生成所述视频内容。

12.根据权利要求11所述的方法，其中，所表征的所述壳体的位置还包括所述壳体的平移位置。

13.根据权利要求11所述的方法，其中，所述位置传感器包括陀螺仪、加速度计和/或惯性测量单元。

14.根据权利要求11所述的方法，其中，在所述壳体的各位置中所述捕获轨迹具有比所述观测轨迹更平滑的变化的特征在于，在所述壳体的各位置中所述捕获轨迹具有比所述观测轨迹更少的抖动。

15.根据权利要求14所述的方法，其中，在所述壳体的各位置中所述捕获轨迹具有比所述观测轨迹更平滑的变化包括从所述捕获轨迹移除所述观测轨迹中的所述壳体的各位置的高频变化。

16.根据权利要求11所述的方法，其中，基于最小化所述壳体的旋转速度和所述壳体的旋转加速度的组合同时遵守一组约束来确定所述壳体的所述捕获轨迹。

17.根据权利要求16所述的方法，其中，所述一组约束包括基于所述光学视场与所述捕获视场之间的差异确定的边界约束。

18.根据权利要求17所述的方法，其中，所述一组约束包括基于所述观测轨迹的所述后续部分确定的轨迹约束。

19.根据权利要求18所述的方法，其中，所述一组约束包括基于所述图像中的目标的位置确定的目标约束。

20.根据权利要求11所述的方法，其中，基于所述捕获视场内的所述图像的视觉内容的截取来生成所述视频内容包括裁剪所述捕获视场内的所述图像的视觉内容。

Images