CN108605098A

CN108605098A - 用于卷帘快门校正的系统和方法

Info

Publication number: CN108605098A
Application number: CN201680081296.1A
Authority: CN
Inventors: 周游; 赵丛; 钱杰; 栗培梁
Original assignee: Shenzhen Dajiang Innovations Technology Co Ltd
Current assignee: Shenzhen Dajiang Innovations Technology Co Ltd
Priority date: 2016-05-20
Filing date: 2016-05-20
Publication date: 2018-09-28
Anticipated expiration: 2036-05-20
Also published as: US10771699B2; US20200389595A1; US20190098217A1; CN108605098B; WO2017197651A1

Abstract

本发明通过三维运动分析提供了与卷帘快门视频校正相关的系统、方法和装置。可以提供一种用于图像处理的方法。所述方法可以包括：(a)借助于成像装置在一时间段内获取图像帧，其中所述图像帧包括在所述时间段内的不同时间点曝光的多组像素；(b)获取所述成像装置的姿态信息以得到所述多组像素中的单组像素的位置状态，其中(b)与(a)是同时发生的；以及(c)利用(b)中得到的位置状态处理所述图像帧。

Description

用于卷帘快门校正的系统和方法

背景技术

如今大多数数码相机能够支持视频捕捉。消费产品的示例包括常规相机、便携式手持电子装置以及其他可移动装置。这些消费装置中的一部分可使用基于互补金属氧化物半导体(CMOS)的相机传感器。与使用全局快门(GS)(例如，基于电荷耦合器件(CCD)的相机传感器)相反，大多数CMOS传感器使用卷帘快门(RS)机构。在RS相机中，检测器行是被顺序地读取并重置。CMOS传感器的每行是在略不同的时间窗口内被曝光。由于像素是在不同的时间点获取的，则相机或成像物体中任一个的运动可能导致捕捉的图像的几何失真。当RS相机连接至诸如无人飞行器(UAV)的可移动物体时，可能使几何失真加剧。在某些情况下，可移动物体的运动可能导致产生的图像倾斜或歪斜一定角度。

在一些情况下，可以使用机械系统来改善视频质量。例如，可以使用机械图像增稳(MIS)系统来致动相机镜头或CMOS图像传感器，以补偿较小的摇摄和倾斜旋转运动。MIS系统基本上可以实时地增稳图像，并且不需要相机进行大量计算(例如，图像处理)。然而，MIS系统可能无法补偿快速高频运动，例如，由载运工具引擎的振动引起的快速高频运动。此外，由于MIS系统的成本和外形因素，MIS系统通常不适用于大多数以消费者为主的数码相机。

发明内容

因此，需要改善视频质量并校正卷帘快门效应。本文所述的实施方式可以通过提供一种图像处理方法来解决以上需要，该方法可以实时校正卷帘快门效应，而不需要后期离线计算或批量图像处理。所述图像处理方法可以用于不同成像装置以及不同的环境条件，且所述图像处理方法在图像捕捉时基本上可以实时地针对卷帘快门效应校正图像。

在一个方面，本发明提供了一种用于处理图像的设备。在实际中，所述设备可以包括一个或多个处理器，单独地或共同地被配置成：借助于成像装置在一时间段内获取图像帧，其中所述图像帧包括在所述时间段内的不同时间点曝光的多组像素；获取所述成像装置的姿态信息以得到所述多组像素中的单组像素的位置状态；且与(a)同时发生；以及利用(b)中得到的位置状态处理所述图像帧。

在一些实施方式中，所述各组像素被连续地曝光并由运动中的成像装置捕捉。在一些实施方式中，所述设备中使用的成像装置包括视频摄像机，所述视频摄像机被配置成借助于卷帘快门拍摄包括一系列图像帧的视频。在一些实施方式中，由图像处理设备处理的图像帧包括目标或所述目标一部分的图像，且所述目标和所述成像装置相对于彼此移动。在一些实施方式中，响应于触发信号，在所述帧处同时发生由所述设备执行的步骤(a)和(b)。

在一些实施方式中，当在所述时间段内的特定时间点曝光相应组像素时，可以从成像装置的姿态信息得到所述设备中使用的单组像素的位置状态。在一些实施方式中，用于得到位置状态的所述姿态信息包括包含所述成像装置相对于参考坐标系的俯仰角、偏航角和/或横滚角的姿态信息。或者，所述成像装置的姿态信息可以包括所述成像装置的纬度坐标、经度坐标、高度和/或位移。

在一些实施方式中，图像处理设备的步骤(b)中获取所述成像装置的姿态信息包括：获取所述成像装置的第一组位置数据以得到在第一时间点曝光的初始组像素的位置状态；获得所述成像装置的第二组位置数据以得到在第二时间点曝光的最末组像素的位置状态，其中所述第一组位置数据和所述第二组位置数据为从可操作地连接至所述成像装置的一个或多个传感器获取；以及计算所述成像装置的单组位置数据以得到在所述第一时间点和所述第二时间点之间的时间点曝光的单组像素的位置状态，其中所述单组位置数据是基于线性/非线性仿真模型计算的。

在一些实施方式中，用于获得单组像素的位置状态的位置数据是从一个或多个位置传感器获取。在一些实施方式中，惯性测量单元(IMU)被配置成通过刚性地连接至所述成像装置来测量所述成像装置的姿态信息，其中IMU可以包括加速度计、陀螺仪、罗盘和/或GPS。或者，所述成像装置的姿态信息可以由远离所述成像装置布置的运动捕捉系统测量，其中运动捕捉系统选自由视觉传感器、气压计、基于超声波的导航系统、室内定位系统和激光雷达导航/定位构成的组。

在一些实施方式中，步骤(c)中要处理的单组像素是利用位置数据校正，其中所述单组像素是利用从所述位置数据得到的方向和大小补偿，且其中用于补偿的所述方向与根据所述位置信息确定的所述成像装置的平移方向相反。在一些实施方式中，平移与所述帧内的第一组像素相关。或者，可以利用从姿态数据得到的变换矩阵或结合姿态数据和位置数据来校正单组像素。在一些实施方式中，所述变换矩阵是根据与第一组像素相对应的位置数据和姿态数据以及与单组像素相对应的位置数据和姿态数据确定。

在一些实施方式中，在图像处理设备中使用的成像装置是可操作地连接至可移动物体，其中期望的所述可移动物体可以是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数码相机。在一些实施方式中，所述可移动物体相对于所述成像装置是静止的，使得可以从被配置成测量所述可移动物体的姿态信息的一个或多个传感器获取所述姿态信息。或者，所述可移动物体允许所述成像装置和所述可移动物体之间的相对移动。在这种情况下，可操作地连接至所述可移动物体的第一IMU被配置成测量所述可移动物体的姿态信息，可操作地连接至所述成像装置的第二IMU被配置成结合第一IMU一起提供所述成像装置和所述可移动物体之间的相对移动。在一些实施方式中，所述成像装置通过安装在由所述可移动物体支撑的增稳系统上而连接至所述可移动物体，且所述增稳系统允许所述成像装置相对于所述可移动物体沿一条或多条轴线旋转。在这种情况下，可操作地连接至所述成像装置的第一IMU被配置成测量所述可移动物体的姿态信息，设置在所述增稳系统的框架上的第二IMU刚性地连接至所述成像装置，使得通过利用从所述第二IMU得到的姿态信息调整从所述第一IMU得到的姿态信息而获取所述成像装置的姿态信息。

在一些实施方式中，所述设备中使用的一个或多个处理器位于所述可移动物体和/或所述成像装置上，其中用于处理所述图像帧的至少一个处理器位于所述可移动物体上，且用于调整镜头的孔径或变焦的至少一个处理器位于所述成像装置上。或者，一个或多个处理器远离所述可移动物体并位于外部设备(例如，远程终端、遥控器、显示装置)上。在一些实施方式中，在由卷帘快门视频摄像机拍摄的同时，输出视频镜头以显示在远离所述视频摄像机布置的外部设备上。在一些实施方式中，可以在完成获取所述视频的一个或多个后续的图像帧的之前或同时输出经处理的图像帧。在一些实施方式中，图像帧的一组或多组像素可以是在获取所述视频的一个或多个后续的图像帧的之前或同时处理。在一些实施方式中，单组像素包括所述图像帧中预定数量的列或行的像素。在一些实施方式中，曝光后续的两组像素之间的时间间隔在约1μs到约50μs的范围内，借助于所述成像装置拍摄两个后续的图像帧之间的时间间隔在约5ms到约50ms的范围内。

在一单独且相关的方面，本发明提供了一种用于处理图像的方法。在实际中，所述方法可以包括：(a)借助于成像装置在一时间段内获取图像帧，其中所述图像帧包括在所述时间段内的不同时间点曝光的多组像素；(b)获取所述成像装置的姿态信息以得到所述多组像素中的单组像素的位置状态，且与(a)同时；以及(c)利用(b)中得到的位置状态处理所述图像帧。

在另一方面，本发明提供了一种用于处理包括多个像素的图像帧的方法。在实际中，所述方法可以包括：借助一个或多个处理器单独地或共同地，处理由可操作地连接至可移动物体的成像装置捕捉的图像帧，其中所述多个像素中的各组像素在不同时间点曝光，且其中所述处理(1)发生在所述可移动物体上；以及(2)利用所述成像装置和/或所述可移动物体的姿态信息。

在一些实施方式中，所述图像处理方法可以发生在捕捉所述图像帧的同时或在捕捉所述图像帧之后。在一些实施方式中，在所述方法中利用的所述可移动物体在运动中，其中期望的所述可移动物体可以是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数码相机。在一些实施方式中，所述图像处理方法进一步包括：获取所述成像装置的姿态信息，其中曝光单组像素以得到所述单组像素的位置状态。在一些实施方式中，所述成像装置的姿态信息包括包含所述成像装置相对于参考坐标系的俯仰角、偏航角和/或横滚角的姿态信息，或者，所述姿态信息可以包括包含所述成像装置的纬度坐标、经度坐标、高度和/或位移。

在一些实施方式中，所述成像装置的姿态信息是从刚性地连接至所述成像装置的一个或多个传感器获取。在一些实施方式中，一个或多个传感器可以是包括IMU的姿态测量单元。在一些实施方式中，所述一个或多个传感器是可操作地连接至所述可移动物体并被配置成测量所述可移动物体的姿态信息，其中所述可移动物体允许所述成像装置和所述可移动物体之间的相对移动，并且其中所述成像装置的姿态信息是通过基于所述可移动物体和所述成像装置之间的相对运动补偿可移动物体的姿态信息而获取。

在一些实施方式中，所述成像装置安装在由所述可移动物体支撑的增稳系统上，其中所述增稳系统允许所述成像装置相对于所述可移动物体沿着一条或多条轴线旋转，并且其中所述可移动物体是可操作地连接至被配置成测量所述可移动物体的姿态信息的第一IMU。在这种情况下，所述成像装置的姿态信息是通过补偿沿着一条或多条旋转轴线的所述可移动物体的姿态信息而获取，并且其中沿着一条或多条旋转轴线的旋转信息由所述增稳系统的一个或多个电机提供，另一第二IMU设置在刚性地连接至所述成像装置的所述增稳系统的框架上，且其中所述姿态信息是通过利用从所述第二IMU得到的姿态信息调整从所述第一IMU得到的姿态信息而获取。

在一些实施方式中，可以基于位置数据和姿态数据中的一个或其组合来处理所述单组独像素。在一些实施方式中，用于处理所述图像帧的一个或多个处理器位于所述可移动物体或所述成像装置上，其中用于处理所述图像帧的至少一个处理器位于所述可移动物体上，且用于调整镜头的孔径或变焦的至少一个处理器位于所述成像装置上。在一些实施方式中，待处理的单组像素可以包括所述图像帧的预定数量的列或行的像素，其中所述图像帧是借助于卷帘快门从所述成像装置获取，使得在所述时间段内的不同时间点曝光多组像素。在一些实施方式中，所述图像处理方法进一步包括获取所述成像装置的姿态信息，其中单组像素被曝光且所述单组像素的位置状态基于所述获取的成像装置的姿态信息而得到。

在本发明的一单独且相关的方面，提供了一种用于处理包括多组像素的图像帧的设备。实践中，所述设备可以包括一个或多个处理器，单独地或共同地被配置成：处理由可操作地连接至可移动物体的成像装置捕捉的图像帧,其中所述多个像素中的各组像素在不同时间点曝光，且其中所述处理(1)发生在所述可移动物体上；以及(2)利用所述成像装置和/或所述可移动物体的姿态信息。

在本发明的另一方面中，可以提供一种拍摄包括一系列图像帧的视频的方法。在实际中，所述方法可以包括：(a)由可操作地连接至可移动物体的成像装置拍摄视频，其中所述一系列图像帧中的单个图像帧为通过曝光与所述单个图像帧中的部分像素对应的部分光传感器产生；(b)借助于一个或多个处理器单独地或共同地，评估所述成像装置和/或所述可移动物体的姿态信息；以及(c)在所述成像装置和/或所述可移动物体上，利用所评估的姿态信息调整所述一系列图像帧中的至少一个图像帧。

在一些实施方式中，所述方法进一步包括步骤(d)将调整后的图像帧中的至少一个或包括一系列调整后的图像帧的视频从所述成像装置或所述可移动物体输出到外部设备。在一些实施方式中，所述拍摄视频的方法还可以进一步包括在通过所述成像装置拍摄和/或调整所述视频的一个或多个后续的图像帧的之前或同时输出单个调整后的图像帧。在一些实施方式中，在所述方法的步骤(c)中一次仅调整单个图像帧中的部分像素，并且在一些情况下，在调整特定图像帧的单组像素的同时曝光与所述特定图像帧内的后续的一组或多组像素对应的部分光传感器。在一些实施方式中，在所述方法的步骤(a)中，在时间段内的不同时间点曝光不同部分的所述光传感器以曝光与单个图像帧上的所有像素对应的所有光传感器。在一些实施方式中，所述方法的步骤(b)可以包括：获取所述成像装置的第一组位置数据以得到在第一时间点曝光的特定图像帧的初始组像素的位置状态；获取所述成像装置的第二组位置数据以得到在第二时间点曝光的所述特定图像帧的最末组像素的位置状态，其中所述第一组位置数据和所述第二组位置数据为从可操作地连接至所述成像装置和/或所述可移动物体的一个或多个传感器获取；以及计算所述成像装置的单组位置数据以得到在所述第一时间点和所述第二时间点之间的时间点曝光的所述特定图像帧的单组像素的位置状态，其中所述单组位置数据是基于线性仿真模型计算的。

在一些实施方式中，所述姿态信息包括包含所述成像装置和/或所述可移动物体的纬度坐标、经度坐标、高度和/或位移的位置信息，且所述姿态信息还可以包括包含所述成像装置和/或所述可移动物体相对于参考坐标系的俯仰角、偏航角和/或横滚角的姿态信息。在一些实施方式中，用于调整单组像素的姿态信息可以是位置数据和姿态数据中的一个或其组合。在一些实施方式中，所述一个或多个处理器位于所述可移动物体和/或所述成像装置上，且用于处理图像帧的至少一个处理器位于所述可移动物体上，且用于调整镜头的孔径或变焦的至少一个处理器位于所述成像装置上。

在本发明的一单独且相关的方面，可以提供一种用于拍摄包括一系列图像帧的视频的设备。在实际中，所述设备可以包括一个或多个处理器，单独地或共同地被配置成：由可操作地连接至可移动物体的成像装置拍摄视频，其中所述一系列图像帧中的单个图像帧为通过曝光与所述单个图像帧的部分像素对应的部分光传感器产生；借助于一个或多个处理器单独地或共同地，评估所述成像装置和/或所述可移动物体的姿态信息；以及在所述成像装置和/或所述可移动物体上，利用所评估的姿态信息调整所述一系列图像帧中的至少一个图像帧。

应当理解，本发明的不同方面可以单独地、共同地或相互结合地来进行理解。本文所描述的本发明的各个方面可以应用于以下阐述的任何特定应用。通过浏览说明书、权利要求书和附图，本发明的其它目标和特征将变得显而易见。因此，附图和描述在本质上被认为是说明性的，而不是限制性的。

援引并入

本说明书所提到的所有出版物、专利和专利申请都是通过引用结合在此，就如同每个单独的出版物、专利和专利申请被明确地并且单独地指明为是通过援引并入的。

附图说明

本发明的新颖特征在所附权利要求书中进行了具体阐述。通过参考以下详细说明将获得对本发明的特征和优点的更好理解，以下详细说明阐述了其中利用本发明原理的说明性实施例，在附图中：

图1描述了由成像装置借助于卷帘快门捕捉的示例性图像帧以及示例性卷帘快门效应。

图2描述了根据一些实施方式的其中包含多组像素的示例性图像帧。

图3展示了根据一些实施方式的示例性的分组卷帘快门校正处理。

图4展示了根据一些实施方式的示例性图像分析仪的框图。

图5展示了根据一些实施方式的用于处理由图像捕捉设备捕捉的图像的示例性过程。

图6展示了图像处理系统的示例性框图。

图7展示了另一图像处理系统的示例性框图。

图8是根据一些实施方式的用于在可移动物体上处理图像的系统的示意性框图。

图9展示了根据一些实施方式的用于实时卷帘快门校正的示例性方法。

详细说明

本文公开的实施方式提供了用于处理图像以校正卷帘快门效应的设备和方法。应当理解，本发明的不同方面可以单独地、共同地或相互结合地来进行理解。本文描述的本发明的各个方面可以应用于下列出的任何特定应用或任何其它类型的遥控载运工具或可移动物体。

在一个方面，本发明提供了一种用于处理图像帧的方法。在实际中，可以利用成像装置在一时间段内捕捉图像帧。图像帧可以包括在时间段内的不同时间点曝光的多组像素。在获取图像帧的同时，可以通过成像装置的姿态信息得到单组像素的状态。因此，可以利用得到的多组像素的位置状态处理图像帧。

卷帘快门效应可以利用本文提供的方法、系统和设备来进行实时校正。应当理解，本发明的不同方面可以单独地、共同地或互相结合来进行理解。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用或任何其它类型的遥控载运工具或可移动物体。

因此，本发明提供了用于处理图像以校正卷帘快门效应的系统、装置和/或方法的实施方式。

图1描述了由成像装置借助于卷帘快门捕捉的示例性图像帧以及示例性卷帘快门效应。在卷帘快门成像装置中，图像传感器的像素是从上到下、从左到右读取，使得在帧顶部读取的数据的获取时间不同于在帧底部的数据的获取时间。因此，当成像装置在卷帘快门序列期间移动(例如，平移)时，所得到的图像可能出现倾斜或歪斜。曝光时间内的成像装置运动可能会影响图像的变形。例如，如果成像装置在快门滚动时从一侧摇摆到另一侧，则输出图像可能变形，如101所示。由于在图像平面中投射到每行105的成像装置的3D运动的影响，图像的全局线性变换不能完全纠正变形，如103所示。

本文所述的成像装置可以作为图像捕捉装置。成像装置可以包括互补金属氧化物半导体(CMOS)传感器，其响应于光的波长而产生电信号。可以对所产生的电信号进行处理以产生图像数据。由成像装置产生的图像数据可以包括一张或多张图像，其中图像可以是静态图像(例如，照片)、动态图像(例如，视频)或其适当组合。图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、棕褐色)。成像装置可以包括配置成将光引导至图像传感器上的镜头。图像传感器可以采用卷帘快门，其中图像的行或列是被依次读出并重置。

在一些实施方式中，成像装置可以是相机。相机可以是捕获动态图像数据(例如，视频)的电影或视频摄像机。相机可以是捕获静态图像(例如照片)的静物摄影机。相机可以捕捉动态图像数据和静态图像二者。相机可以在捕捉动态图像数据和静态图像之间切换。尽管在相机的背景下描述了本文提供的一些示例性实施方式，但是应当理解，本公开可以应用于任何适合的成像装置，并且本文中关于相机的任何描述也可以应用于任何适合的成像装置，且本文中关于相机的任何描述也可以应用于其它类型的成像装置。可以使用相机来生成3D场景(例如，环境、一个或多个物体等)的2D图像。相机生成的图像可以呈现3D场景在2D图像平面上的投影。因此，2D图像中的每个点与场景中的3D空间坐标相对应。相机可以包括光学元件(例如，镜头、反射镜、滤光片等)。相机可以捕捉彩色图像、灰度图像等。

成像装置可以以特定图像分辨率来捕捉图像帧或图像帧序列。在一些实施方式中，图像帧分辨率可以由帧中的像素的数量来定义。在一些实施方式中，图像分辨率可以大于或等于约352×420像素、480×320像素、720×480像素、1280×720像素、1440×1080像素、1920×1080像素、2048×1080像素、3840×2160像素、4096×2160像素、7680×4320像素或15360×8640像素。在一些实施方式中，相机可以是4K相机或具有更高分辨率的相机。相机的像素可以是方形的。在其他实施方式中，可以考虑非方形的像素或其他光学失真。

成像装置可以以特定捕捉速率来捕捉图像帧序列。在一些实施方式中，可以以诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率来捕捉图像序列。在一些实施方式中，可以以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率来捕捉图像序列。在一些实施方式中，捕捉速率可以根据用户输入和/或外部条件(例如，照明亮度)而改变。

图2描绘了其中包含多组像素的示例性图像帧。图像帧可以由包括卷帘快门的相机捕捉，使得图像帧可以包括多组像素。多组像素可以在连续时间点曝光。卷帘快门可以是垂直的或水平的。在图2的示例中,图像帧205包括多个图像行203。每个图像行可以在稍不同的时间曝光。相邻行的曝光时间的延迟可以由帧的曝光持续时间和帧中行的总数来确定。例如，对于包含1080行并以0.0001秒的速率捕捉的图像帧，两个相邻行之间的延迟可以约为0.093μs(0.0001/1080秒)。一行或多行可以被组合在一起作为一组像素201。在图2的示例中，图像帧205可以被分成n组，其中n可以是任何整数。包含在每个组中的行数207可以由帧的总行数和n来确定。因此，每组的曝光时间可以由帧速率和组的数量来确定。在某些情况下，每组的曝光时间范围可以从0.093μs到10s。因此，与两个相邻组相关联的相邻时间点之间的差异可以从0.093μs到10s。在某些情况下，每组的曝光时间可以小于0.093μs或大于10s。因此，与两个相邻组相关联的相邻时间点之间的差异可以取决于曝光时间。

在一些实施方式中，一组像素可以表示一行或多行像素201。在一些可选实施方式中，一组像素可以表示一列或多列像素。考虑到相邻组之间的时间差异很小(例如，0.093μs)，组内的所有像素可以与同一时间点相关联。例如，帧的第一组可以与时间t₁相关联，第二组可以与时间t₂相关联。与单个组相关联的时间点可以是捕捉该组中的第一行的时间。在其他示例中，与单个组相关联的时间点可以是捕获捉该组内任意行的时间点。

如图2所示，在从顶行捕捉到底行的时间段期间，每组像素是顺序地被曝光并读出。帧内的多组像素可以以各种顺序(例如，从上到下、从下到上、从左到右或从右到左)被曝光。每组像素的曝光时间不必相同。例如，t₁和t₂之间的时间差异不必等于t₂和t₃之间的时间差异。

在一些实施方式中，成像装置可以用于捕捉图像帧，使得图像帧可以包括目标或目标的一部分的图像。在正捕获至少一组像素的一段时间内，目标可以相对于成像装置的坐标具有相对移动。相对移动可以是装置的平移运动、旋转运动、曲线运动、改变朝向(例如，姿态、俯仰、横滚、偏航)或上述的任何组合中的形式。

在一些实施方式中，成像装置可以是运动的。成像装置的运动可以包括装置的平移运动、装置的旋转运动、装置的曲线运动、改变装置的朝向(例如，姿态、俯仰、横滚、偏航)、装置的镜头拉近或镜头推远(放大)或以上的任何组合。成像装置的运动可以是高频的，使得频率可以足够高以引起卷帘快门效应。在一些实施方式中，成像装置可以可操作地连接至可移动物体，使得可移动物体的运动可以影响成像装置的运动。本文稍后描述关于可移动物体和可移动物体与成像装置之间的相对移动的细节。

针对校正卷帘快门效应而处理的单组像素可以与位置状态相关联。单组像素的位置状态可以表示为旋转矩阵R(t)，其中R(t)∈SO(3)。旋转矩阵可以是与一组像素相关联的时间的函数。旋转矩阵R(t)可以包含与捕捉相关组像素的时间对应的成像装置的朝向。在一些实施方式中，四元法可以用于表示旋转。需要指出的是，可以存在多种用于表示旋转的方法，只要所述表示能够有利于平滑插值。

在一些实施方式中，如本文所述，可以利用从姿态数据确定的变换矩阵来校正单组像素。

参考图3，可以通过以下示例等式来表示依据在两个不同的帧中成像的两点的图像平面坐标的关系：

x_j＝KR(t_j)R(t_i)^TK^-1x_i

其中K是相机的固有矩阵。矩阵K可以包含图像平面中相机轴线的原点和焦距的参数。可以根据相机的工厂标准(例如，28mm、106mm等)获取相机的焦距。在平面图像平面中，项KR(t_j)R(t_i)^TK^-1可以表示在时间i和j成像的图像点之间的相对平移。

KR(t_j)R(t_i)^TK^-1是将图像点x_i映射到新图像平面坐标x_j的变换矩阵304。如图3所示，当变换矩阵的第二项R(t_i)表示组Gi302的位置状态，且第一项R(t_j)表示在t_j捕捉的参考组的位置状态时，所得到的组Gi的变换是相对于参考组位置的平移。应该意识到，t_i和t_j可以对应于帧内的任何连续的Gi(组i)和Gj(组j)，其中Gi可以是在晚于参考组Gj的时间点捕捉的。因此，在应用上述变换矩阵之后，将G_i的坐标映射到新位置，其中参考组G_i的新位置和图像位置共享相同的相机朝向R(t_j)。图3展示了以第一组像素为基准校正平移方向上的多组像素的示例。例如，可以通过变换304将G2平移为与G1相对齐。可以通过以下示例等式来计算G2在行方向上的新位置306：

x′₂＝KR(t₁)R(t₂)^TK^-1x₂

其中R(t₂)是对应于G2的朝向矩阵，R(t₁)是对应于G1的朝向矩阵。但是，应该理解的是，参考组可以是帧(例如，中间组)内的任何组，并且在不同组之间可以没有数学关系。

在一些实施方式中，用于相对于参考组校正单个组的变换矩阵KR(t_i)R(t_j)^TK^-1可以仅依据旋转或主要依据旋转对相机朝向进行建模。变换矩阵可以基于与参考组像素和待校正组像素相关联的姿态信息来确定。

一组像素的位置状态可以根据捕捉该组像素时成像装置的姿态信息而得到。成像装置的姿态信息可以至少包括成像装置相对于参考坐标系的俯仰角、偏航角和/或横滚角。参考坐标系可以与全局坐标系相关联。通过对成像装置的角速度进行积分可以来计算如上所述的角度。成像装置的角速度可以包括成像装置的旋转方向和旋转速度。在可选的实施方式中，可以通过对角加速度数据的二次积分得到朝向角度。

在其他实施方式中，用于相对于参考组校正单个组的变换矩阵可以依据旋转和平移/位移对相机朝向进行建模。在这种情况下，变换矩阵可以基于姿态数据以及与参考组像素和待校正组像素相关联的位置数据来确定。变换矩阵还可以包括表示成像装置的平移运动的项。变换矩阵可以表示为

KR(t_i)D(t_i)D(t_j)^-1R(t_j)^TK^-1

其中D(t_i)是在时间t_i处的平移估计矩阵。D(t_j)^-1是在时间t_j处的逆平移矩阵。

在一些实施方式中，成像装置的姿态信息可以至少包括包含成像装置的纬度坐标、经度坐标、高度和/或位移的位置信息。成像装置的位移可以通过对线速度进行积分来计算。成像装置的线速度可以包括成像装置的线性方向和线性速率。在可选的实施方式中，成像装置的位移可以从成像装置的线性加速度的二次积分中得到。

在一些实施方式中，成像装置的单组位置数据可以从一个或多个传感器获取。各种传感器的选择可以用来得到成像装置的位置数据。在一些实施方式中，位置传感器可以用来指代如本文所述的一个或多个传感器。在一些情况下，位置传感器可以包括运动传感器，从而可以通过对由运动传感器测量的线速度/角速度进行积分来得到成像装置的位置数据。在其他情况下，位置传感器可以包括绝对/相对位置传感器，使得可以在不用积分的情况下得到姿态和位置数据。在一些实施方式中，可以使用测距和/或定位装置来确定成像装置的绝对位置。测距和/或定位装置可以是位置传感器(例如，全球定位系统(GPS))装置、移动装置、支持位置三角测量法的发射机。在一些实施方式中，可以从惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)和/或电场传感器(例如，磁力计、电磁传感器)获取成像装置的位置数据。在一些实施方式中，可以从远离成像装置的运动捕获系统中获取成像装置的位置数据。在一些实施方式中，运动捕获系统可以选自由视觉传感器、气压计、基于超声波的导航系统、室内定位系统和激光雷达导航/位置组成的组。

在一些实施方式中，惯性测量单元(IMU)可以被配置成测量成像装置的姿态信息(例如，姿态)。在实际中，当将陀螺仪用于测量姿态信息时，陀螺漂移可能是不可避免的。由于陀螺漂移能够明显损害测量精度，各种方法已被用于补偿漂移。一种实现陀螺仪校正的方式是运行校准操作以确定漂移值。或者，可以通过向一组或多组位置数据实时地应用滤波器来消除陀螺漂移。

在本发明中，可以通过借助于加速度计、罗盘或GPS实现滤波器(例如，卡尔曼滤波器、互补滤波器)来消除陀螺漂移。在一些实施方式中，可以使用互补滤波器基于加速度计数据和陀螺仪数据来克服陀螺漂移。可以基于以下等式来获取成像装置在没有陀螺仪漂移的采样时间的成像装置的朝向角：

其中θ_i+1是成像装置在当前陀螺仪采样时刻的朝向角，θ_i是成像装置在上一陀螺仪采样时刻的朝向角，α是范围从0到1的数，ω_i+1是在当前陀螺仪采样时刻的陀螺仪输出角速度，θ_iacc是从加速度计数据得到的成像装置的朝向角。Δt可以是与多组像素的曝光率相对应的采样时间。应注意的是，互补滤波器可以具有不同阶次，在所示示例中，使用一阶，然而可以采用更高阶次来改善滤波结果。在其他实施方式中，卡尔曼滤波器通过合并加速度计数据和陀螺仪数据可以用于最小化螺仪漂移。在另一其他实施方式中，传感器融合的各种组合可以用于校正陀螺漂移，诸如，与罗盘结合的陀螺仪、与GPS结合的陀螺仪、与GPS和罗盘结合的陀螺仪。

在一些实施方式中，IMU可以可操作地连接至成像装置。IMU可以位于可移动物体的中心体上或位于成像装置的外围部分上(例如，位于联接至成像装置的载体上)。本公开的IMU可以位于成像装置的任何合适的部分上，诸如在成像装置的主体的上方、下方、侧面或内部。IMU可以位于成像装置的中心或偏离中心。IMU可以经由刚性连接联接至成像装置，使得IMU不会相对于其所附接的成像装置的部分移动。因此，IMU和成像装置的坐标系相对彼此静止。然而，需要说明的是，IMU的坐标系可以与成像装置的坐标系对齐或不对齐。例如，IMU坐标系和成像装置坐标系之间可能存在固定的角度。该角度可以是任何数值，只要它是一个常数。连接可以是永久性连接或非永久性(例如可拆卸的)连接。合适的连接方法可以包括胶粘剂、粘合、焊接和/或紧固件(例如，螺钉、钉子、销钉等)。可选地，IMU可以与成像装置的一部分一体地形成。此外，IMU可以与成像装置的一部分(例如，处理单元、控制系统、数据存储器)进行可操作地连接。

在一些实施方式中，可以在单组像素被曝光时获取成像装置的姿态信息，使得同时获取位置数据和图像数据。每个单组的位置状态可以基于一组直接的传感器读数。与一系列组相关联的一组姿态信息可以从选择的传感器中获取。例如，图像帧可以包含N组像素。因此，可以在捕捉每个组的时间点顺序地获得N组位置数据。此外，可以根据用于图像变换操作的位置数据来计算N个朝向矩阵。

在其它实施方式中，可以通过在第一位置状态和第二位置状态之间内插入(线性或非线性)一系列位置状态来获取每个单组像素的位置状态。第一位置状态可以对应于在帧中捕捉的初始组像素；第二位置状态可以对应于在同一帧中捕获的最末组像素；然而，应注意的是，第一组像素和第二组像素可以是帧中的任何两个后续的组。在一些实施方式中，至少一个组在两个后续的组之间曝光。位置状态的参数可以用四元数或旋转矩阵表示。任何一种表示的参数都可能能够促进平滑插值。可以使用各种方法进行插值，例如线性或三次插值(例如，球面线性插值或编组)。可以在第一位置状态和第二位置状态之间计算一组位置状态，并将其进一步用于计算变换矩阵。

为了校正卷帘快门效应，在特定组像素曝光时的成像装置的朝向可能是需要的。在实际中，图像数据和位置数据并非是同时捕捉的，这导致图像数据和相应的位置数据之间的延迟或时间偏移。各种方法已被采用以确定该时间偏移。解决时间偏移的一种方法是执行离线后校准。但是，当需要实时图像处理时，这种方法可能是不适用的。在本发明中，可以通过利用同步单元来消除图像数据与位置数据之间的时间偏移来实现实时图像处理。在一些实施方式中，同步单元可以是允许从相机控制器向处理器发射电触发信号的硬件。在一些实施方式中，该电信号可以是触发相机快门的相同信号。同步单元可以与相机处理器(例如快门控制器)结合使用。同步单元可以以本领域中众所周知的以下技术中的任一种或其组合来实现：分立电子部件、具有用于在数据信号上实现逻辑功能的逻辑门的分立逻辑电路、具有适合逻辑门的专用集成电路、可编程门阵列、现场可编程门阵列(FPGA)等。同步单元不限于任何特定的固件或软件配置。在一些实施方式中，同步单元可以被编程为允许以相机快门的速率或低于相机快门的速率生成触发信号。例如，可以在曝光相机传感器(例如，A/D时钟)的每行时生成触发信号。或者，可以在每若干数量的行(例如，5行、10行、20行等)处产生信号。处理器可以被配置成响应于电触发信号从运动/位置传感器读取位置数据。如本文后续所述，处理器可以包括图像校正单元，该图像校正单元被配置成基于位置数据来处理图像数据。更多关于图像校正单元或图像分析仪的详情将在后续的图4中描述。

在另一方面，本发明提供了一种用于处理图像的设备。在实际中，该设备可以包括一个或多个处理器，单独或共同地被配置成：借助于成像装置在一时间段内获取图像帧，其中图像帧包括在时间段内的不同时间点曝光的多组像素；获取成像装置的姿态信息以得到多组像素中的单组像素的位置状态；以及与(a)同时；以及利用(b)中得到的位置状态处理图像帧。

图4展示了根据一些实施方式的示例性图像分析仪400的框图。图像分析仪400可以包括姿态信息计算单元401和图像校正单元403。图像校正单元403可以被配置成接收由成像装置捕捉的多组像素，其中多组像素在随后一时间段内被曝光。同时，姿态信息计算单元401可以接收由与多组像素相关联的位置传感器捕捉的一组姿态数据和/或位置数据。随后，姿态信息计算单元401可以计算每组像素的位置状态。图像校正单元403可以基于关联的位置状态来处理每组像素并输出多组校正后的像素。在一些实施方式中，图像分析仪400可以被实现为在处理器中执行的软件程序和/或作为处理多个图像帧以校正卷帘快门效应的硬件。在一些实施方式中，图像校正单元401可以直接从位置传感器接收姿态和位置数据以进行图像处理。

在一些实施方式中，姿态信息计算单元401可以具有一个或多个处理器，诸如，可编程处理器(例如，中央处理单元(CPU)或微控制器)。例如，姿态信息计算单元可以包括现场可编程门阵列(FPGA)和/或一个或多个ARM处理器。姿态信息计算单元401可以可操作地联接至非暂时性计算机可读介质。非暂时性计算机可读介质可以存储由姿态信息计算单元可执行的用于执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储单元(例如，可移动介质或诸如SD卡或随机存取存储器(RAM)的外部储存器)。在一些实施方式中，来自运动或位置传感器的数据可以被直接传送至非暂时性计算机可读介质的存储单元并存储于其中。非暂时性计算机可读介质的存储单元可以存储由姿态信息计算单元可执行的逻辑、代码和/或程序指令，以执行本文描述的方法的任何合适的实施方式。例如，姿态信息计算单元可以被配置为执行指令，以计算在捕捉每个单组像素时成像装置的姿势信息，如本文所讨论的。存储单元可以存储来自运动和位置传感器的位置数据和姿态数据，以由姿态信息计算单元处理。在一些实施方式中，非暂时性计算机可读介质的存储单元可以用于存储由姿态信息计算单元产生的处理结果。

在一些实施方式中，图像校正单元403可以具有一个或多个处理器，诸如，可编程处理器(例如，中央处理单元(CPU)或微控制器)。用于处理图像数据的处理器可以可操作地连接至预处理单元和姿态信息计算单元(例如，经由通用存储控制器(GPMC)连接)。可以使用任何合适的传送图像数据的手段，例如，有线传输或无线传输。图像校正单元可以可操作地联接至存储器。存储器可以包括暂时性和/或非暂时性存储介质，其被配置成存储数据和/或逻辑、代码和/或由图像校正单元可执行的用于图像处理的程序指令。存储器可以包括一个或多个存储器单元(例如，可移动介质或诸如SD卡或随机存取存储器(RAM)的外部储存器)。存储器单元可以存储从成像传感器接收的图像数据或从运动和定位装置接收的位置数据。在一些实施方式中，存储器可以用于存储由图像校正单元产生的处理结果。在一些实施方式中，用于计算姿态信息的处理器可以与用于校正图像的处理器分离。在一些实施方式中，用于计算姿态信息的处理器可以是用于校正图像的同一处理器。

在一单独且相关的方面，本发明提供了一种用于处理图像的方法。在实际中，该方法可以包括：(a)借助于成像装置在一时间段内获取图像帧，其中图像帧包括在时间段内的不同时间点曝光的多组像素；(b)获取成像装置的姿态信息以得到多组像素中的单组像素的位置状态，且与(a)同时；以及(c)利用(b)中得到的位置状态处理图像帧。

图5展示了根据一些实施方式的用于处理由成像装置捕捉的图像的示例性过程。本文先前已经描述了成像装置。在一些实施方式中，成像装置可以包括连接至嵌入在成像装置中的一个或多个成像传感器的一个或多个处理器(例如，FPGA)。处理器可以被嵌入在成像装置中或者与成像装置分离。处理器可以包括用于控制成像装置的参数(例如，曝光、增益)的算法，或调整镜头的孔径和变焦。用于控制成像装置的参数的算法可以是传统的AEC/AGC算法。处理器可以输出参考曝光和增益配置以使得成像装置适配用于获取图像。例如，成像装置可以通过改变快门时间或孔径大小来改变曝光时间和曝光量。

在一些实施方式中，获取成像装置的姿态信息可以与从成像装置获取图像帧同时发生。在本发明中，可以利用触发信号来同步在图像处理方法中包括的步骤(a)和(b)。如图5所示，在步骤502中，成像装置和一个或多个处理器(例如，图4所述的姿态信息计算单元和/或图像校正单元)可以同时接收触发信号。触发信号可以由同步单元发射。在一些实施方式中，触发信号可以是触发相机快门的相同信号。在一些实施方式中，同步单元可以与相机处理器(例如快门控制器)结合使用。同步单元可以以本领域中众所周知的以下技术中的任一种或其组合来实现：分立电子部件、具有用于在数据信号上实现逻辑功能的逻辑门的分立逻辑电路、具有适合逻辑门的专用集成电路、可编程门阵列、现场可编程门阵列(FPGA)等。同步单元不限于任何特定的固件或软件配置。在一些实施方式中，同步单元可以被编程为允许以相机快门的速率或低于相机快门的速率生成触发信号。例如，可以在曝光相机传感器(例如，A/D时钟)的每行时产生触发信号，或者，可以在每若干数量行(例如，5行、10行、20行等)处产生触发信号。一个或多个处理器可以被配置成响应于电触发信号从运动/位置传感器读取位置数据。

在步骤504中，成像装置可以被配置成响应于触发信号接收一组像素。在一些实施方式中，由成像装置捕捉的图像数据可以由预处理单元进行预处理。预处理单元可以包括任何硬件、软件或其组合。在一些实施方式中，预处理单元可以包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、数字信号处理器(DSP)、中央处理器(CPU)、图形处理器(GPU)、视觉处理器(VPU)、复杂可编程逻辑器件(CPLD)等。在一些实施方式中，处理器可以是在可移动物体(例如，UAV)上或由成像装置携带的嵌入式处理器。或者，处理器可以是与成像装置分离的场外的处理器(例如，位于地面站，与相机通信)。预处理单元可以可操作地连接至成像装置，以便在对图像数据进行处理以校正卷帘快门效应之前对原始图像数据进行预处理。由预处理单元执行的任务的示例可以包括重新采样以确保图像坐标系的正确性、降噪、对比度增强、尺度空间表示等。在一些实施方式中，用于处理图像帧的至少一个处理器位于可移动物体上，且用于调整镜头的孔径或变焦的至少一个处理器位于成像装置上。

在步骤506中，一个或多个位置传感器可以被配置成响应于触发信号来接收成像装置的位置数据和姿态数据。在一些实施方式中，位置传感器可以包括能够测量成像装置的定位、朝向和位置数据的传感器(例如，加速度计、罗盘或GPS等)。位置传感器可以响应于触发信号来捕捉位置和姿态数据。或者，成像装置的位置和姿态数据可以从运动捕捉系统获取。在一些实施方式中，运动捕捉系统可远离成像装置布置。在一些实施方式中，运动捕捉系统可以选自由视觉传感器、气压计、基于超声波的导航系统、室内定位系统和激光雷达导航/定位组成的组。

在步骤508中，姿态信息计算单元可以从一个或多个位置传感器接收一系列位置和姿态数据。随后，如上所述，姿态信息计算单元可以计算与该组像素相关联的姿态信息(例如，在一时间段内对位置状态进行插值)。在一些实施方式中，如果以低于成像曝光速率的速率来生成触发信号，则可以计算中间位置状态。例如，如果仅在包括N(N>2)组像素的图像帧的初始组和最末组处产生触发信号，则可以针对相应位置状态计算初始组和最末组的姿态和位置数据。此外，可以通过基于初始位置状态和最末位置状态的已知位置的插值方法来计算N-2个中间位置状态。在其他实施方式中，如果以成像曝光速率的相同速率生成触发信号，则可以直接计算与每组像素相关联的位置状态而无需插值。

在步骤510，图像校正单元可以被配置成处理多组像素，使得所得到的帧内的多组像素可以是相对齐的并且卷帘快门效应可以是消除了的。图3中已经基本上描述了用于处理图像数据的操作。每个单组像素是基于相关联的姿态信息(例如，变换矩阵)校正，使得所得到的图像帧没有失真。

可以以期望速率重复步骤502。该速率可以小于或等于约0.01μs、0.02μs、0.05μs、0.1μs、0.2μs、0.5μs、1μs、10μs、100μs。重复步骤502的速率可能与成像装置的图像捕捉速率/曝光速率有关。该速率可以与捕捉/曝光该组像素的速率相同或更低。在某些情况下，重复步骤502的速率可能并非均匀。例如，该速率可以对应于成像装置的运动，当检测到快速运动时可以增加该速率，且当成像装置处于慢速运动时可以减小该速率。在其他实施方式中，重复步骤502的速率可能与成像装置的图像捕捉速率无关。

如图6所示，在一些实施方式中，通过成像装置605获取的多组像素以及通过一个或多个位置传感器601获取的姿态信息可以借助同步单元603同时发生。在其他实施方式中，姿态信息可以是从运动捕捉系统中获取。在一些实施方式中，位置传感器601和成像装置605可以被配置成响应于触发信号来捕捉位置数据和图像数据。随后，诸如姿态信息计算单元(例如，图4中的姿态信息计算单元401)和图像校正单元607的一个或多个处理器可以顺序地接收多组位置数据和图像数据。在一些实施方式中，电信号可以是触发相机快门的相同信号。在一些实施方式中，同步单元603可以与相机处理器(例如快门控制器)结合使用。

在其他实施方式中，如图7所示，通过成像装置705获取多组像素与通过一个或多个位置传感器701获取姿态信息可以不同时发生，使得在未收到图像数据时接收位置数据。在这些实施方式中，可以利用时间戳来关联多组像素与位置数据。单组像素可以与指示得到该单组像素的时间的图像时间戳相关联。图像时间戳可以包括任何长度的数据，诸如，32位或64位，并且可以指示时间。在一些实施方式中，可以由成像装置705响应于快门信号来生成图像时间戳。或者，图像时间戳可以是响应于中断信号(例如，数据就绪中断)而生成的。类似地，所捕获的成像装置的姿态信息还可以包括指示得到单组位置数据的时间的位置时间戳。在一些实施方式中，位置时间戳可以由一个或多个位置传感器(例如，IMU)来产生，并指示由位置传感器测量关联组的位置数据的时间。在一些实施方式中，可以在输出中断时生成位置时间戳。例如，当获取由诸如陀螺仪测量的角速度的一组位置数据时，陀螺仪可以生成对陀螺仪具有用于输出的位置数据加以指示的中断(例如，数据就绪中断)。

位置状态和多组像素可以是基于图像时间戳和位置时间戳相关的。假设图像时间戳和位置时间戳在时间上是线性的，则可以通过以下等式来关联两组时间戳：

ts＝m·ti+d

其中系数m可以是由数据采集速率确定的常数。时间差/偏移量d也可以是常数。各种原因可以导致恒定的时间差，例如用于产生两个时间戳的非同步系统时钟或数据传输延迟等。在一些实施方式中，可以将校准过程用于确定时间差。可以通过对关于时间戳的已知位置状态进行插值来得到与每个单组相关联的位置状态。在一些实施方式中，球面线性插值(SLERP)可以被用来得到两个已知位置状态之间的中间位置。应该理解的是，SLERP插值仅是一个示例，任何形式的插值都可以与示例实施方式一起使用。进一步地，图像校正单元707被配置成基于所得到的位置状态来处理多组像素。

一个或多个位置传感器701可以被配置成通过测量位置数据和姿态数据来提供成像装置的姿态信息。位置传感器可以包含感测成像装置的空间布局、速度和加速度的一个或多个运动或定位传感器。一个或多个传感器可以包括定位传感器(例如，全球定位系统(GPS)传感器、实现位置三角测量的移动设备发射机)、惯性传感器(例如，加速计、陀螺仪、惯性测量单元(IMU))、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)或电场传感器(例如，磁力计、电磁传感器)。可以使用任何合适的数量以及组合的传感器，例如，1、2、3、4、5、6、7、8或更多个传感器。本文公开的传感器可以生成绝对测量数据，该绝对测量数据为依据全局坐标系(例如，由GPS传感器提供的位置数据、由罗盘或磁力计提供的姿态数据)提供。

在本发明的一单独且相关方面，提供了一种用于处理包括多组像素的图像帧的设备。在实际中，该设备可以包括一个或多个处理器，单独地或共同地被配置成：处理由可操作地连接至可移动物体的成像装置捕捉的图像帧，其中多个像素中的各组像素在不同时间点曝光，且其中处理(1)发生在可移动物体上；以及(2)利用成像装置和/或可移动物体的姿态信息。

图8是根据一些实施方式的用于在可移动物体上处理图像的系统的示意性框图。在一些实施方式中，成像装置806可以可操作地连接至可移动物体800。可移动物体800可以是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机、可穿戴设备或数码相机。本发明的可移动物体可以被配置成在任何合适的环境中移动，例如在空中(例如，固定翼飞机、旋翼飞机、或既无固定翼也无旋翼的飞行器)、在水中(例如船舶或潜艇)、在地面上(例如汽车，诸如轿车、卡车、巴士、面包车、摩托车；诸如拐杖、钓竿的可移动的结构或框架；或火车)、在地面下(例如，地铁)、在太空(例如，航天飞机、人造卫星或探测器)，或这些环境的任何组合。可移动物体可以是运载工具，诸如本文别处描述的运载工具。在一些实施方式中，可移动物体可以安装在生物上，诸如人或动物。合适的动物可以包括禽类、犬类、猫类、马类、牛类、羊类、猪类、海豚类、啮齿类或昆虫类。

可移动物体800可以在环境内相对于六个自由度(例如三个平移自由度和三个旋转自由度)自由移动。或者，可移动物体的运动可能在一个或多个自由度上是受到如通过预定的路径、轨道或朝向的限制。该运动可由任何合适的驱动机构(例如发动机或电机)来驱动。可移动物体的驱动机构可以由任何合适的能源(例如电能、磁能、太阳能、风能、重力能、化学能、核能或其任何合适的组合)供电。如本文别处，所述可移动物体可以经由推进系统自推进。推进系统可以可选地依靠能源运行(例如电能、磁能、太阳能、风能、重力能、化学能、核能或其任何合适的组合)。或者，可移动物体可以由生物搭载。可移动物体不限于任何类型的运动或振动，诸如由任何致动系统导致的高频振动、中频振动和低频振动。

在一些情况下，可移动物体800可以是载运工具。合适的运载工具可以包括水中运载工具、飞行器、太空运载工具或地面运载工具。例如，飞行器可以是固定翼飞机(例如飞机、滑翔机)、旋翼飞机(例如直升机、旋翼机)、具有固定翼和旋翼的飞机，或既无固定翼又无旋翼的飞机(例如，飞艇、热气球)。运载工具可以是自推进，例如通过空气、在水上或水中、在太空中、或在地面上或地下自推进。自推进运载工具可以利用推进系统，例如包括一个或多个发动机、电机、轮子、轴、磁体、旋翼、螺旋桨、叶片、喷嘴或其任何合适的组合的推进系统。在某些情况下，推进系统可以用于使可移动物体从表面起飞、在表面上降落、保持其当前位置和/或朝向(例如，悬停)、改变朝向和/或改变位置。

可移动物体800可以由使用者远程控制，也可由在可移动物体内或可移动物体上的乘员本地控制。在一些实施方式中，可移动物体是诸如UAV的无人可移动物体。诸如UAV的无人可移动物体可以在该可移动物体上没有乘员。可移动物体可以由人或自主控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主的或半自主的机器人，例如配置有人工智能的机器人。

可移动物体800可以具有任何合适的大小和/或尺寸。在一些实施方式中，可移动物体可以具有一定大小和/或尺寸以在运载工具内或运载工具上容纳人类乘员。或者，可移动物体可以具有小于能够在运载工具内部或运载工具上容纳人类乘员的大小和/或尺寸。可移动物体可以具有适于被人举起或携带的大小和/或尺寸。或者，可移动物体可以比适于被人举起或携带的大小和/或尺寸大。在一些情况中，可移动物体可以具有小于或等于2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如，长度、宽度、高度、直径、对角线)。最大尺寸可以大于或等于约2cm、5cm、10cm、50cm、1m、2m、5m或者10m。例如，可移动物体的相对旋翼的轴之间的距离可以小于或等于约2cm、5cm、10cm、50cm、1m、2m、5m或者10m。或者，相对旋翼的轴之间的距离可以大于或等于约2cm、5cm、10cm、50cm、1m、2m、5m或者10m。

在一些实施方式中，可移动物体相对于由可移动物体承载的负载可能较小。如下面进一步详细描述的，负载可以包括有效载荷和/或载体。在某些示例中，可移动物体重量与负载重量之比可以大于、小于或等于约1:1。在某些情况中，可移动物体重量与负载重量之比可以大于、小于或等于约1:1。可选地，载体重量与负载重量之比可以大于、小于或等于约1:1。当需要时，可移动物体重量与负载重量之比可以小于或等于1:2、1:3、1:4、1:5、1:10或甚至更小。相反，可移动物体重量与负载重量之比也可以大于或等于2:1、3:1、4:1、5:1、10:1或甚至更大。

在一些实施方式中，可移动物体800可以具有低能耗。例如，可移动物体可以使用小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。在某些情况中，可移动物体的载体可具有低能耗。例如，载体可使用小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地，可移动物体的有效载荷可以具有低能耗,诸如小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。

如图8所示,可移动物体800可以包括载体801和主体802。虽然可移动物体800被描绘为飞行器，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体，如本文前面所述。本领域技术人员应理解，本文中在飞机系统背景下所描述的任何实施方式可以应用于任何合适的可移动物体(例如，UAV)。

在一些实施方式中，可移动物体800可以是UAV。UAV可以包括含有任意数量旋翼(例如，一个、两个、三个、四个、五个、六个或更多个)的推进系统。无人飞行器的旋翼或其他推进系统可以使得无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对旋翼的轴之间的距离可以是任何合适的长度。例如，长度可以小于或等于2m、或小于等于5m。在一些实施方式中，长度可以在40cm至7m、70cm至2m，或5cm至5m的范围内。本文对UAV的任何描述可以应用于可移动物体，例如不同类型的可移动物体，并且反之亦然。

可移动物体800可以包括推进机构803、感测系统804和通信系统808。当推进机构运行时，可移动物体可能受到可以引起卷帘快门效应的振动。如前所述，推进机构803可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴中的一个或多个。可移动物体可以具有一个或多个、两个或更多个、三个或更多个，或四个或更多个推进机构。推进机构可以全部是相同类型的。或者，一个或多个推进机构可以是不同类型的推进机构。在一些实施方式中，推进机构803可以使可移动物体800能够从表面垂直起飞或垂直降落在表面上而不需要可移动物体800的任何水平移动(例如，无需沿着跑道滑行)。可选地，推进机构803可以操作以允许可移动物体800在空中悬停在特定位置和/或朝向。

例如，可移动物体800可以具有多个水平取向的旋翼，其可以为可移动物体提供升力和/或推力。多个水平取向的旋翼可以被致动以便为可移动物体800提供垂直起飞、垂直着陆和悬停能力。在一些实施方式中，水平取向的旋翼中的一个或多个可沿顺时针方向旋转，而水平旋翼中的一个或多个可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，从而调整可移动物体800(例如，关于多达三个平移度和三个旋转度)的空间布局、速度和/或加速度，可以独立地改变每个水平取向的旋翼的旋转速率。

感测系统804可以包括可感测可移动物体800的空间布局、速度和/或加速度(例如，关于多达三个平移度和多达三个旋转度)的一个或多个传感器。一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器(IMU)、近距离传感器或图像传感器。感测系统800提供的感测数据可用于控制可移动物体800的空间布局、速度和/或朝向(例如，如下所述，使用合适的处理单元和/或控制模块)。或者，感测系统800可以用于提供关于可移动物体800的姿态信息。姿态信息可以包括可移动物体800的姿态和位置数据，以便结合成像装置806的姿态信息用来进一步计算图像数据的位置状态。

在一些实施方式中，通信系统808可以支持经由无线信号与具有通信系统的显示装置810进行通信。通信系统808以及嵌入在显示装置810中的通信系统可以包括适合于无线通信的任何数量的发射机、接收机和/或收发机。所述通信可以是单向通信，使得数据可以仅朝一个方向传输。例如，单向通信可以仅涉及可移动物体800向显示装置810传输数据。数据可以从通信系统808的一个或多个发射机向显示装置810的一个或多个接收机发送，或者反之亦然。或者，所述通信可以是双向通信，使得数据可以在可移动物体800和显示装置810之间朝两个方向传输。双向通信可以涉及将数据从通信系统808的一个或多个发射机向显示装置810的一个或多个接收机发送，并且反之亦然。

在其它实施方式中，显示装置810可以能够经由图像输出单元812接收来自图像分析仪的图像数据。在一些实施方式中，图像输出单元可以被配置成从图像分析仪接收经处理的图像帧并将视频数据传输至显示装置810。图像输出单元与图像分析仪、图像输出单元和显示装置之间的通信可以是有线传输或无线传输。可以使用任何合适的传输图像数据的手段，例如光纤、存储介质、计算机总线等。在一些实施方式中，图像输出单元可以被配置成在将校正后的图像数据发送到显示装置之前进一步处理(诸如压缩或裁剪)所述校正后的图像数据。

为了说明的目的，如图8所示的实施方式包括单个显示装置。然而，在其他实施方式中，可以包括更多的显示装置。

有效载荷可以设置在可移动物体800上。在一些实施方式中，有效载荷可以包括成像装置806。在一些实施方式中，成像装置806可以经由载体801联接至可移动物体800。

在一些实施方式中，成像装置806相对于可移动物体800可以是静止的。成像装置可以与载体801一体形成。或者，成像装置可以可拆卸地联接至载体。只要在载体801和成像装置806之间不存在相对移动，成像装置可以以任何合适的配置联接至载体。进一步地，载体801可以与可移动物体800一体形成。或者，载体801可以可拆卸地联接至可移动物体800。载体可以直接或间接地连接至可移动物体。只要在载体801和可移动物体800之间不存在相对移动，载体801可以以任何合适配置联接至可移动物体800。因此，成像装置806相对于可移动物体800是静止的。在成像装置相对于可移动物体移动的这些实施方式中，可移动物体的运动感测系统804(例如，IMU)可以用于提供成像装置的姿态信息。在一些实施方式中，运动感测系统可以包括被配置成提供可移动物体800的姿态和位置数据的IMU。

在一些实施方式中，成像装置806可以是运动的。成像装置的运动可以包括装置的平移运动、装置的旋转运动、装置的曲线运动、改变装置的朝向(例如，姿态、俯仰、横滚、偏航)、装置的镜头拉近或镜头推远(放大)或以上的任何组合。成像装置的运动可以是高频的，该频率可以高到足以引起卷帘快门效应。

此外，成像装置806可以可操作地连接至UAV的一部分(例如，处理单元、控制系统、数据存储)。一个或多个成像装置可以位于UAV上。例如，1、2、3、4、5或更多个成像装置可以位于UAV上。一个或多个成像装置可以具有相同的视场或不同的视场。一个或多个成像装置中的每一个可以联接至一个或多个处理器。在一些实施方式中，一个或多个成像装置可以共享相同的位置传感器(例如，IMU)。在其他实施方式中，每个成像装置可以与单独的IMU相关联。一个或多个成像装置中的每一个可以单独地或共同地执行本文提到的方法。

或者，成像装置806可以相对于可移动物体800具有相对移动。该移动可以是相对于多达三个自由度(例如，沿着一个、两个或三个轴)的平移或者相对于多达三个自由度的旋转(例如，围绕一个、两个或三个轴)或其任何合适的组合。在这些实施方式中，第一运动传感器(例如，IMU 804)可以可操作地联接至可移动物体800，从而提供可移动物体的姿态信息，并且第二运动传感器805可以可操作地联接至成像装置806，其中第二运动传感器可以提供可移动物体和成像装置之间的相对移动的姿态信息。因此，成像装置的姿态信息可以基于可移动物体800的姿态信息和相对于可移动物体800的相对移动的组合来得到。

在一些实施方式中，成像装置806被安装在由可移动物体800支撑的增稳系统上。增稳系统可以被配置成基于来自云台的驱动力允许成像装置806沿着一条或多条轴线相对于可移动物体800转动。增稳系统可以包含多达三条轴线。用于支撑多轴旋转的云台可以联接至可移动物体，并且与云台连接的成像装置806可以上下移动。可移动物体800可以可操作地联接至第一IMU 804，其中该IMU被配置成测量可移动物体的姿态信息。在一些情况下，成像装置相对于可移动物体的相对移动可以通过由增稳系统的一个或多个传感器提供的旋转信息来获取。一个或多个传感器可以检测成像装置806相对于可移动物体800的旋转。传感器可以位于云台的支撑杆、连杆、手柄组件和/或电机上，使得传感器可以检测成像装置绕旋转诸如偏航轴、横滚轴和俯仰轴的轴线的旋转。在一些实施方式中，传感器可以是惯性传感器(例如，位置或角位移传感器、速度传感器、加速度计、陀螺仪和磁力计)、电容传感器、霍尔传感器或本文其他地方所述的任何其它类型的传感器。在一些情况下，传感器可以能够检测线位移和/或角位移、线速度和/或角速度或线加速度或角加速度。这些传感器可以设置在或不设置在手柄组件的任何部分上(例如，手柄、把手或任何其他部分)。传感器可以设置在或不设置在一个、两个、三个或更多个电机上。因此，可以通过补偿成像装置806和可移动物体800之间的相对移动来得到成像装置的姿态信息。在其它情况下，成像装置和可移动物体之间的相对移动由位于增稳系统的框架上的第二IMU 807来提供，使得IMU807刚性连接至成像装置806。类似地，可以通过补偿成像装置和可移动物体800之间的相对移动来得到成像装置806的姿态信息。

如本文所使用的，可移动物体可以指代如别处所述的能够移动的任何物体。例如，可移动物体可以是移动电话、手表、无人飞行器(UAV)、汽车、船、计算机、PDA、平板电脑等。尽管这里参照UAV描述了许多实施方式，但是应当理解，该参考是非限制性的，并且实施方式同样适用于任何可移动物体。进一步地，可移动物体可以在运动中。可移动物体可以在环境内相对于六个自由度(例如三个平移自由度和三个旋转自由度)自由移动。或者，可移动物体的运动可能在一个或多个自由度上是受到如通过预定的路径、轨道或朝向的限制。

如图8所示，用于图像处理的一个或多个处理器可以位于可移动物体800上。用于图像处理的处理器可以包括图像校正单元809和姿态信息计算单元811。在一些实施方式中，图像校正单元809可以对应于图6中的图像校正单元607。在一些实施方式中，姿态信息计算811可以对应于图4中的姿态信息计算单元401。这些处理器可以位于可移动物体的中心体上或位于可移动物体的外围部分上(例如，位于联接至可移动物体的载体上)。本发明的一个或多个处理器可以位于可移动物体的任何合适部分上，诸如可移动物体主体的上方、下方、侧面上或其内部。处理器可以位于可移动物体的中心或偏离中心。一些处理器可以机械地联接至可移动物体，使得可移动物体的空间布局和/或运动对应于处理器的空间布局和/或运动。处理器可以经由刚性连接而连接至可移动物体，使得处理器不会相对于其所附接的可移动物体的部分移动。连接可以是永久性连接或非永久性(例如可拆卸的)联接。合适的连接方法可以包括胶粘剂、粘合、焊接和/或紧固件(例如螺钉、钉子、销钉等)。可选地，处理器可以与可移动物体的一部分一体地形成。进一步地，处理器可以与可移动物体的一部分(例如，处理单元、控制系统、数据存储器、飞行控制器)电连接，以使得由处理器收集的数据能够用于可移动物体的各种功能(例如，导航、控制、推进、防撞机动等)，例如在此讨论的实施方式。此外，处理器可以可操作地联接至可移动物体的一部分(例如，处理单元、控制系统、数据存储器)。

在一些实施方式中，用于处理图像帧的一个或多个处理器可以位于成像装置806上。一个或多个处理器可以包括图像校正单元809和姿态信息计算单元811。此外，用于调整镜头的孔径或者相机的变焦的一个或多个处理器也可以位于成像装置806上。所述处理器可以被嵌入在成像装置中或者位于成像装置上。在其他实施方式中，用于处理图像帧的至少一个处理器位于可移动物体上，且用于调整镜头的孔径或变焦的至少一个处理器位于成像装置上。

另一方面，本发明提供了一种用于处理由连接至可移动物体的成像装置捕捉的图像帧的方法。在实际中，可以使用一个或多个处理器单独地或共同地处理图像帧。图像帧可以包括多个像素，多个像素在成像装置运动时的不同时间点曝光。图像处理可以发生在可移动物体上，并且可以利用成像装置和/或可移动物体的姿态信息。

在一些实施方式中，图像处理可以与捕捉图像帧同时发生。多组像素可以由卷帘快门成像装置依次捕捉并由图像分析仪接收以进行处理。每一单组像素可以基于在捕捉该组像素的同时测量到的关联姿态信息来处理。在一些实施方式中，可能需要参考组的姿态信息，以用于卷帘快门校正。在一些情况下，参考组可以是在图像帧内捕捉的初始组。姿态信息可以是根据捕捉初始组像素时成像装置的位置和姿态数据得到。在一些实施方式中，捕捉一组像素的时间可以由捕获该组内的第一行的时间来表示。图像处理和图像捕捉之间的时间延迟可以由用于曝光一组像素的持续时间来确定。时间延迟基本上较短，约为或小于1μs、10μs、20μs、30μs、50μs、100μs。在这种情况下，可以仅缓冲一个图像帧以进行处理并输出到显示装置。

在其他实施方式中，图像处理可以发生在捕捉整个图像帧之后。多组像素可以通过卷帘快门成像装置来捕捉。多组像素可能具有关联的图像时间戳。一旦图像帧的最末组被捕捉，则可以将整个帧输出到图像分析仪以进行处理。每个单组像素可以基于相关的位置状态和参考组的位置状态来处理。每个组相关联的位置状态可以通过基于图像时间戳和位置时间戳将位置数据与图像数据相关来计算。可以在捕捉整个图像帧之后计算与每组像素相关联的位置状态。可以通过对关于时间戳的已知位置状态进行插值来得到与每个单组相关联的位置状态。在一些实施方式中，可以根据分别对应于图像帧内的初始组和最末组的位置数据和姿态数据来得到已知位置状态。进一步地，可以经由如前所述的插值方法来计算对应于中间组的一系列位置状态。

在一些实施方式中，在将由成像装置捕捉的图像数据提供给图像分析仪之前，可以将该图像数据存储在介质存储(未示出)中。图像分析仪可以被配置成直接从介质存储接收图像数据。在一些实施方式中，图像分析仪可以被配置成同时从成像装置和介质存储接收图像数据。介质存储可以是能够存储多个对象的图像数据的任何类型的存储介质。如前所述，图像数据可以包括视频或静止图像。视频或静止图像可以由图像分析仪处理和分析，如稍后在说明书中所述。介质存储可以基于半导体、磁性、光学或任何合适的技术，并且可以包括闪存存储器、USB驱动器、存储卡、固态驱动器(SSD)、硬盘驱动器(HDD)、软盘、光盘、磁带等。介质存储还可以包括外部硬盘驱动器、光盘驱动器、磁带驱动器、软盘驱动器以及可以可操作地连接至成像装置的其它合适的存储装置。在一些实施方式中，介质存储也可以是能够将图像数据提供给图像分析仪的计算机。

作为另一示例，介质存储可以是网络服务器、企业服务器或任何其他类型的计算机服务器。介质存储可以被计算机编程以接受来自图像分析仪的请求(例如，HTTP或可以发起数据传输的其他协议)，并且向图像分析仪提供所请求的图像数据。另外，介质存储可以是用于分发图像数据的广播设备，诸如免费广播、有线、人造卫星和其他广播设施。介质存储也可以是数据网络(例如，云计算网络)中的服务器。

在一些实施方式中，介质存储可以位于成像装置上。在一些其他实施方式中，介质存储可以位于可移动物体上，而不是成像装置上。在一些其他实施方式中，介质存储可以位于可移动物体和/或成像装置之外的一个或多个外部设备上。在那些其他实施方式中，介质存储可以位于遥控器、地面站、服务器等上。可以设想上述组件的任何排列或组合。在一些实施方式中，介质存储可以经由对等网络架构与成像装置和可移动物体进行通信。在一些实施方式中，可以使用云计算架构来实现介质存储。

在另一方面，本发明提供了一种用于处理包括多个像素的图像帧的方法。在实际中，该方法可以包括：借助一个或多个处理器单独地或整体地，处理由连接至可移动物体的成像装置捕捉的图像帧，其中多个像素中的单组像素在不同时间点曝光，且其中处理(1)发生在可移动物体上；以及(2)利用成像装置和/或可移动物体的姿态信息。

与需要离线后校准和图像处理的当前增稳及校正方法相比，本文中呈现的示例实施方式可以基于成像装置的姿态信息来提供实时卷帘快门校正。图9展示了采用本文所述的方法来实现实时卷帘快门校正的示例。在一些实施方式中，成像装置可以是包括成像传感器902的相机。成像传感器可以被配置成拍摄包括一系列图像帧的视频。一系列图像可以是约2、3、4、5、6、7、8、9、10、15、20、30、40或50个图像或更多个。一系列图像可以基本上同时被捕捉或随着时间被捕捉。一系列图像帧可以包括相同或基本相似的场景的图像。一系列图像帧可以包括相同或基本相似的视场(FOV)的图像。成像装置的视场可以是成像装置可检测(例如，可见)的环境的范围。视场可以与视角有关，视场可以是通过由成像装置成像的给定场景的角度范围来测量。成像装置的视角可以在小于或约等于360°、300°、240°、180°、120°、60°、30°、20°、10°、5°或1°的角度。一系列图像可以利用图像捕捉装置以特定捕捉速率捕捉。在一些实施方式中，可以以诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率来捕捉图像。在一些实施方式中，可以以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.002秒、0.05秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率来捕捉图像。

在一些实施方式中，成像传感器902可以被配置成在由图像输出单元914输出视频的同时拍摄视频。在这种情况下，可以在拍摄和/或调整视频的一个或多个后续的图像帧的之前或同时输出单个调整后的图像帧。在一些实施方式中，可以以单帧速率执行图像处理操作，其中单个图像帧缓冲于存储器单元中。如图9所示，构成整个帧901的N组像素可以由成像传感器902捕捉，且图像校正单元910可以被配置成响应于触发信号904从位置传感器906接收N组姿态和位置数据。图像校正单元910(对应于图4中的图像校正单元403)可以基于姿态数据来针对卷帘快门效应处理多组像素。在应用本文先前描述的方法之后，所得到的图像帧903可以不具有卷帘快门效应。随后，可以将处理后的图像帧905传输至图像输出单元914。在一些实施方式中，图像输出单元914可以对应于图8中的图像输出单元812。对于每个图像帧，处理过程可以包括捕捉N组像素和N组相关的姿态数据，然后基于从姿态数据得到的相关联的位置状态来处理每个单组像素。一旦完成对最末组的校正，整个图像帧可以被传输至图像输出单元以进行显示。该过程可以被重复直至曝光停止。在此过程中，可以在存储器中仅缓冲一个图像帧以进行处理。拍摄视频和输出视频之间可能会存在时间延迟。然而，这个时间延迟基本上较短，并且取决于图像帧的曝光时间。在一些实施方式中，时间延迟可以约为或小于0.0001秒、0.0002秒、0.0005秒、0.001秒和0.002秒。因此，在完成捕捉视频的一个或多个后续的图像帧之前，至少一个经处理的图像帧将输出至显示装置或处理器。或者，在完成捕捉视频的一个或多个后续的图像帧之前，经处理的至少一组像素将输出至显示装置或处理器。

在其他实施方式中，每组像素可以包括多个(预定数量)行或列。在一些情况下，图像帧903中组内的图像失真可能不会被消除。在这种情况下，图像分析仪908还可以包括用于校正组内的失真的图像处理单元912。在一些实施方式中，组内失真可以通过当前图像帧和参考图像帧之间的图像变换矩阵来校正。参考图像帧可以在成像装置基本静止时获取。在一些实施方式中，变换矩阵可以是投影变换矩阵(例如，仿射变换)。在一些实施方式中，可以通过在参考图像和当前图像中首次寻找匹配点来得到变换矩阵。在一些情况下，可以使用拐角(例如，哈里斯拐角)作为相应的点。在一些情况下，可以通过互相关技术(例如，NCC)来识别匹配点。接下来，可以通过归一化互相关(NCC)来得到多个假设匹配。可以应用估计方法来识别与诸如仿射变换的变换一致的匹配。在一些情况下，估计方法可以是RANSAC(随机抽样一致性)。最后，可以通过利用拟合方法(例如，最小二乘法)拟合匹配点来计算仿射变换的参数。在应用如本文所描述的处理方法之后，可以获取没有组间和/或组内失真的图像帧905。在一些实施方式中，一个或多个图像帧可以缓冲于存储器单元中以进行图像处理。

在一些情况下，拍摄两个后续的图像帧之间的时间间隔可以为约0.1ms至约50ms的范围。时间间隔可以取决于图像捕捉速率。一系列图像可以是使用图像捕捉装置以特定捕捉速率捕捉。在一些实施方式中，可以以诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率来捕捉图像。在一些实施方式中，可以以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.002秒、0.05秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率来捕捉图像。

在一些情况下，曝光后续的两组像素之间的时间间隔可以为约1μs至50μs的范围，该时间间隔可以由帧速率和图像帧中的组的数量来确定。

在一些实施方式中，经处理的视频可以被输出以显示在远离视频相机的外部设备上。在一些实施方式中，图像输出单元可以被配置成与外部设备进行通信。外部设备可以是显示装置，例如显示面板、监视器、电视机、投影仪或任何其他显示装置。在一些实施方式中，输出装置可以是例如手机或智能手机、个人数字助理(PDA)、计算机、笔记本电脑、台式机、平板电脑、媒体内容播放器、机顶盒、包括广播调谐器的电视机、视频游戏机/系统或能够访问数据网络和/或从图像分析仪接收分析后的图像数据的任何电子设备。

在本发明的一单独且相关的方面，可以提供一种用于拍摄包括一系列图像帧的视频的设备。在实际中，所述设备可以包括一个或多个处理器，单独地或共同地被配置成：由可操作地连接至可移动物体的成像装置拍摄视频，其中一系列图像帧中的单个图像帧为通过曝光与单个图像帧的部分像素对应的部分光传感器来产生；借助一个或多个处理器单独地或共同地，评估成像装置和/或可移动物体的姿态信息；以及，在成像装置和/或可移动物体上，利用所评估的姿态信息调整一系列图像帧中的至少一个图像帧。

在本发明的另一方面，本发明提供了一种拍摄包括一系列图像帧的视频的方法，包括：由可操作地连接至可移动物体的成像装置拍摄视频，其中由可操作地连接至可移动物体的成像装置拍摄视频，其中一系列图像帧中的单个图像帧为通过曝光与单个图像帧的部分像素对应的部分光传感器来产生；借助一个或多个处理器单独地或共同地，评估成像装置和/或可移动物体的姿态信息；以及在成像装置和/或可移动物体上，利用所评估的姿态信息调整一系列图像帧中的至少一个图像帧。此外，该方法可以包括将来自成像装置或可移动物体的调整后的图像帧中的至少一个输出至外部设备的步骤。

如本文所述，光传感器可以是相机传感器或包括卷帘快门的任何传感器(诸如，互补金属氧化物半导体(CMOS)传感器)。光传感器可以响应于光的波长来生成电信号。该光通常包括但不限于可见光、红外传输(IR)和/或紫外(UV)能量。可以对所得到的电信号进行处理以产生图像数据。

在一些实施方式中，光传感器的一部分可以指一组像素。该组像素可以包含多行或多列的像素。在一些实施方式中，组成单组的多行或多列可以不彼此相邻。例如，一组可以包含行1、行3和行5，而不是连续的行1、行2和行3。在这种情况下，行1、行3和行5可能几乎同时曝光。在其他实施方式中，可以使用不均匀的组划分，这意味着不同的组可以具有不同的行数或列数。例如，代替将每5行分为一组，可以基于朝向偏离前一组多远来对行进行分组。朝向变化越快，组中可以包含的行就越少。

在一些情况下，并非包含在图像帧中的所有组像素均会被处理。当成像装置和成像对象之间的相对移动较小或接近静止时，为了卷帘快门校正，图像数据可以不进行处理。

在一些实施方式中，可以将包括一系列调整后的图像帧的视频传输至外部设备。该视频可以被输出到处理器，并且可以由处理器处理包含在视频中的一个或多个帧。用于处理图像数据的处理器可以可操作地连接至外部设备(例如，经由通用内存控制器(GPMC)连接)。任何合适的传送图像数据的手段均可以被使用，例如，有线传输或无线传输。

在一些实施方式中，调整特定图像帧的单像组素可以与曝光对应于特定图像帧内的后续的一组或多组像素的部分光传感器同时发生。例如，如图2所示，在曝光组2的时刻t2，组1可以被传输至图像分析仪以进行处理。应注意的是，可以在曝光后续的任何组的同时调整组1。假设一旦特定帧的最末组被曝光，来自同一图像帧的至少一组像素可能已被完成处理。

虽然本文已经示出和描述了本发明的优选实施方式，但是对于本领域技术人员显而易见的是，这样的实施方式仅以示例的方式提供。在不脱离本发明的情况下，本领域技术人员将会想到许多变化、改变和替换。应当理解，可以在实施本发明时采用本文所述的本发明的实施方式的各种替代方案。以下权利要求旨在限定本发明的范围，并且由此涵盖在这些权利要求及其等效物的范围内的方法和结构。

Claims

1.一种用于处理图像的方法，所述方法包括：

(a)借助于成像装置在一时间段内获取图像帧，其中所述图像帧包括在所述时间段内的不同时间点曝光的多组像素；

(b)获取所述成像装置的姿态信息以得到所述多组像素中的单组像素的位置状态，且与(a)同时发生；以及

(c)利用(b)中得到的位置状态处理所述图像帧。

2.根据权利要求1所述的方法，其中所述图像帧内的各组像素在所述时间段内连续地被曝光。

3.根据权利要求1所述的方法，其中所述图像帧包括目标或所述目标的一部分的图像，其中所述目标和所述成像装置相对于彼此移动。

4.根据权利要求1所述的方法，其中所述成像装置在运动中。

5.根据权利要求1所述的方法，其中单组像素的位置状态为在所述时间段内的特定时间点曝光相应组像素时由所述成像装置的姿态信息得到。

6.根据权利要求1所述的方法，其中响应于触发信号，在所述帧处发生步骤(a)和(b)。

7.根据权利要求1所述的方法，其中所述成像装置的姿态信息包括包含所述成像装置相对于参考坐标系的俯仰角、偏航角和/或横滚角的姿态信息。

8.根据权利要求1所述的方法，其中所述成像装置的姿态信息包括包含所述成像装置的纬度坐标、经度坐标、海拔和/或位移的位置信息。

9.根据权利要求1所述的方法，其中获取所述成像装置的姿态信息包括：

获取所述成像装置的第一组位置数据以得到在第一时间点曝光的初始组像素的位置状态；

获取所述成像装置的第二组位置数据以得到在第二时间点曝光的最末组像素的位置状态，其中所述第一组位置数据和所述第二组位置数据为从被可操作地连接至所述成像装置的一个或多个传感器获取；以及

计算所述成像装置的单组位置数据以得到在所述第一时间点和所述第二时间点之间的时间点曝光的单组像素的位置状态，其中所述单组位置数据是基于线性/非线性仿真模型计算的。

10.根据权利要求1所述的方法，其中从一个或多个位置传感器获取所述成像装置的单组位置数据以得到所述多组像素中的单组像素的位置状态。

11.根据权利要求1所述的方法，其中惯性测量单元IMU是可操作地连接至所述成像装置并被配置成测量所述成像装置的姿态信息。

12.根据权利要求11所述的方法，其中所述IMU是刚性地连接至所述成像装置。

13.根据权利要求11所述的方法，其中所述IMU包括加速度计、陀螺仪、罗盘和/或GPS。

14.根据权利要求1所述的方法，其中所述成像装置的姿态信息是由远离所述成像装置布置的运动捕捉系统测量。

15.根据权利要求14所述的方法，其中所述运动捕捉系统选自由视觉传感器、气压计、基于超声波的导航系统、室内定位系统和激光雷达导航/定位组成的组。

16.根据权利要求1所述的方法，其中处理所述图像帧包括利用所得到的相应组像素的位置状态的位置数据校正单组像素。

17.根据权利要求16所述的方法，其中所述单组像素是利用从所述位置数据得到的方向和大小补偿，且其中用于补偿的所述方向与根据所述位置信息确定的所述成像装置的平移方向相反。

18.根据权利要求16所述的方法，其中所述成像装置的所述平移方向与所述帧内的第一组像素相关。

19.根据权利要求1所述的方法，其中处理所述图像帧包括利用所得到的相应组像素的位置状态的姿态数据校正单组像素。

20.根据权利要求19所述的方法，其中所述单组像素是利用根据所述姿态数据确定的变换矩阵校正。

21.根据权利要求1所述的方法，其中处理所述图像帧包括利用所得到的相应组像素的位置状态的位置数据以及姿态数据校正单组像素。

22.根据权利要求21所述的方法，其中所述单组像素是利用根据与第一组像素相对应的位置数据和姿态数据以及与单组像素相对应的位置数据和姿态数据确定的变换矩阵校正。

23.根据权利要求1所述的方法，其中所述成像装置是可操作地连接至可移动物体。

24.根据权利要求23所述的方法，其中所述可移动物体是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机或可穿戴装置。

25.根据权利要求23所述的方法，其中所述可移动物体相对于所述成像装置是静止的，且其中所述姿态信息是从被配置成测量所述可移动物体的姿态信息的一个或多个传感器获取。

26.根据权利要求23所述的方法，其中所述可移动物体允许所述成像装置和所述可移动物体之间的相对移动，其中第一IMU是可操作地连接至所述可移动物体并被配置成测量所述可移动物体的姿态信息。

27.根据权利要求26所述的方法，其中获取所述成像装置的姿态信息包括基于所述可移动物体和所述成像装置之间的相对移动补偿所述可移动物体的姿态信息。

28.根据权利要求26所述的方法，其中所述成像装置是可操作地连接至第二IMU且所述可移动物体与所述成像装置之间的所述相对移动是通过从所述第一IMU和所述第二IMU得到的数据确定。

29.根据权利要求23所述的方法，其中所述成像装置安装在由所述可移动物体支撑的增稳系统上，其中所述增稳系统允许所述成像装置相对于所述可移动物体沿着一条或多条轴线旋转，并且其中所述可移动物体是可操作地连接至被配置成测量所述可移动物体的姿态信息的第一IMU。

30.根据权利要求29所述的方法，其中所述成像装置的姿态信息是通过补偿沿着一条或多条旋转轴线的所述可移动物体的姿态信息而获取，且其中沿着一条或多条旋转轴线的旋转信息由所述增稳系统的一个或多个电机提供。

31.根据权利要求29所述的方法，其中第二IMU设置在增稳系统的框架上，所述第二IMU刚性地连接到成像装置，且其中所述姿态信息是通过利用从所述第二IMU得到的姿态信息调整从所述第一IMU得到的姿态信息而获取。

32.根据权利要求23所述的方法，其中一个或多个处理器位于所述可移动物体和/或所述成像装置上。

33.根据权利要求23所述的方法，其中用于处理所述图像帧的至少一个处理器位于所述可移动物体上，且用于调整镜头的孔径或变焦的至少一个处理器位于所述成像装置上。

34.根据权利要求23所述的方法，其中一个或多个处理器远离所述可移动物体并位于外部设备(例如，远程终端、遥控器、显示装置)上。

35.根据权利要求1所述的方法，其中所述成像装置包括视频摄像机，所述视频摄像机被配置成借助于卷帘快门拍摄包括一系列图像帧的视频。

36.根据权利要求35所述的方法，进一步包括在由所述视频摄像机拍摄所述视频的同时输出所述视频。

37.根据权利要求35所述的方法，进一步包括输出所述视频以显示在远离所述视频摄像机布置的外部设备上。

38.根据权利要求35所述的方法，进一步包括在完成获取所述视频的一个或多个后续的图像帧的之前或同时输出经处理的图像帧。

39.根据权利要求35所述的方法，其中图像帧的一组或多组像素是在获取所述视频的一个或多个后续的图像帧的之前或同时处理。

40.根据权利要求1所述的方法，其中单组像素包括所述图像帧中预定数量的列或行的像素。

41.根据权利要求1所述的方法，其中借助于所述成像装置拍摄两个后续的图像帧之间的时间间隔在约5ms至约50ms的范围内。

42.根据权利要求1所述的方法，其中曝光后续的两组像素之间的时间间隔在约1μs至约50μs的范围内。

43.一种用于处理图像的设备，所述设备包括一个或多个处理器，所述一个或多个处理器被单独地或共同地被配置成：

(c)利用(b)中得到的位置状态处理所述图像帧。

44.根据权利要求43所述的设备，其中所述图像帧内的各组像素在所述时间段内连续地被曝光。

45.根据权利要求43所述的设备，其中所述成像装置在运动中。

46.根据权利要求43所述的设备，其中单组像素的位置状态为在所述时间段内的特定时间点曝光相应组像素时由所述成像装置的姿态信息得到。

47.根据权利要求43所述的设备，其中响应于触发信号，在所述帧处发生步骤(a)和(b)。

48.根据权利要求43所述的设备，其中所述成像装置的姿态信息包括包含所述成像装置相对于参考坐标系的俯仰角、偏航角和/或横滚角的姿态信息。

49.根据权利要求43所述的设备，其中获取成像装置的姿态信息包括：

获取所述成像装置的第二组位置数据以得到在第二时间点曝光的最末组像素的位置状态，其中所述第一组位置数据和所述第二组位置数据为从可操作地连接至所述成像装置的一个或多个传感器获取；以及

50.根据权利要求43所述的设备，其中从一个或多个位置传感器获取所述成像装置的单组位置数据以得到所述多组像素中的单组像素的位置状态。

51.根据权利要求43所述的设备，其中惯性测量单元IMU是可操作地连接至所述成像装置并被配置成测量所述成像装置的姿态信息。

52.根据权利要求51所述的设备，其中所述IMU包括加速度计、陀螺仪、罗盘和/或GPS。

53.根据权利要求43所述的设备，其中所述成像装置的姿态信息是由远离所述成像装置布置的运动捕捉系统测量。

54.根据权利要求53所述的设备，其中所述运动捕捉系统选自由视觉传感器、气压计、基于超声波的导航系统、室内定位系统和激光雷达导航/定位组成的组。

55.根据权利要求43所述的设备，其中处理所述图像帧包括利用所述得到的相应组像素的位置状态的位置数据校正单组像素。

56.根据权利要求55所述的设备，其中所述单组像素是利用从所述位置数据得到的方向和大小补偿，且其中用于补偿的所述方向与根据所述位置信息确定的所述成像装置的平移方向相反。

57.根据权利要求55所述的设备，其中所述成像装置的所述平移方向与所述帧内的第一组像素相关。

58.根据权利要求43所述的设备，其中处理所述图像帧包括利用所得到的相应组像素的位置状态的姿态数据校正单组像素。

59.根据权利要求43所述的设备，其中所述成像装置是可操作地连接至可移动物体。

60.根据权利要求59所述的设备，其中所述可移动物体相对于成像装置是静止的，且其中所述姿态信息是从被配置成测量所述可移动物体的姿态信息的一个或多个传感器获取。

61.根据权利要求59所述的设备，其中所述可移动物体允许所述成像装置和所述可移动物体之间的相对移动，其中第一IMU是可操作地连接至所述可移动物体并被配置成测量所述可移动物体的姿态信息。

62.根据权利要求61所述的设备，其中获取所述成像装置的姿态信息包括基于所述可移动物体和所述成像装置之间的相对移动补偿所述可移动物体的姿态信息。

63.根据权利要求61所述的设备，其中所述成像装置是可操作地连接至第二IMU且所述可移动物体与所述成像装置之间的所述相对移动是通过从所述第一IMU和所述第二IMU得到的数据确定。

64.根据权利要求59所述的设备，其中所述成像装置安装在由所述可移动物体支撑的增稳系统上，其中所述增稳系统允许所述成像装置相对于所述可移动物体沿着一个或多个轴线旋转，并且其中所述可移动物体是可操作地连接至被配置成测量所述可移动物体的姿态信息的第一IMU。

65.根据权利要求59所述的设备，其中一个或多个处理器位于所述可移动物体和/或所述成像装置上。

66.根据权利要求59所述的设备，其中用于处理所述图像帧的至少一个处理器位于所述可移动物体上，且用于调整镜头的孔径或变焦的至少一个处理器位于所述成像装置上。

67.根据权利要求59所述的设备，其中所述一个或多个处理器远离所述可移动物体并位于外部设备(例如，远程终端、遥控器、显示装置)上。

68.根据权利要求43所述的设备，其中所述成像装置包括视频摄像机，所述视频摄像机被配置成借助于卷帘快门拍摄包括一系列图像帧的视频。

69.根据权利要求43所述的设备，其中单组像素包括所述图像帧中预定数量的列或行的像素。

70.一种用于处理包括多个像素的图像帧的方法，所述方法包括：

借助于一个或多个处理器单独地或共同地，处理由可操作地连接至可移动物体的成像装置捕捉的图像帧，其中所述多个像素中的各组像素在不同时间点曝光，且其中所述处理(1)发生在所述可移动物体上；以及(2)利用所述成像装置和/或所述可移动物体的姿态信息。

71.根据权利要求70所述的方法，其中所述处理与捕捉所述图像帧同时发生。

72.根据权利要求70所述的方法，其中所述处理在所述图像帧的捕捉之后发生。

73.根据权利要求70所述的方法，其中所述可移动物体是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机或可穿戴装置。

74.根据权利要求70所述的方法，其中所述可移动物体在运动中。

75.根据权利要求70所述的方法，其中所述成像装置的姿态信息包括包含所述成像装置相对于参考坐标系的俯仰角、偏航角和/或横滚角的姿态信息。

76.根据权利要求70所述的方法，其中所述成像装置的姿态信息包括包含所述成像装置的纬度坐标、经度坐标、高度和/或位移的位置信息。

77.根据权利要求70所述的方法，其中所述成像装置的姿态信息是从一个或多个传感器获取。

78.根据权利要求77所述的方法，其中所述一个或多个传感器刚性连接到成像装置并被配置为测量成像装置的姿态信息。

79.根据权利要求77所述的方法，其中所述姿态测量单元包括IMU，所述IMU包括加速度计、陀螺仪、罗盘和/或GPS。

80.根据权利要求77所述的方法，其中所述一个或多个传感器是可操作地连接至所述可移动物体并被配置成测量所述可移动物体的姿态信息，其中所述可移动物体允许所述成像装置和所述可移动物体之间的相对运动，并且其中所述成像装置的姿态信息是通过基于所述可移动物体和所述成像装置之间的所述相对运动补偿所述可移动物体的姿态信息而获取。

81.根据权利要求77所述的方法，其中所述成像装置安装在由所述可移动物体支撑的增稳系统上，其中所述增稳系统允许所述成像装置相对于所述可移动物体沿着一条或多条轴线旋转，并且其中所述可移动物体是可操作地连接至被配置成测量所述可移动物体的姿态信息的第一IMU。

82.根据权利要求81所述的方法，其中所述成像装置的姿态信息是通过补偿沿着一条或多条旋转轴线的所述可移动物体的姿态信息而获取，且其中沿着一条或多条旋转轴线的旋转信息由所述增稳系统的一个或多个电机提供。

83.根据权利要求81所述的方法，其中第二IMU设置在刚性地连接至所述成像装置的所述增稳系统的框架上，且其中所述姿态信息是通过利用从所述第二IMU得到的姿态信息调整从第一IMU得到的姿态信息而获取。

84.根据权利要求70所述的方法，其中处理所述图像帧包括利用从所述成像装置的姿态信息得到的位置数据处理单组像素。

85.根据权利要求70所述的方法，其中处理所述图像帧包括利用从所述成像装置的姿态信息得到的姿态数据校正单组像素。

86.根据权利要求70所述的方法，其中处理所述图像帧包括利用从所述成像装置的姿态信息得到的位置数据和姿态数据校正单组像素。

87.根据权利要求70所述的方法，其中用于处理所述图像帧的所述一个或多个处理器位于所述可移动物体或所述成像装置上。

88.根据权利要求70所述的方法，其中用于处理所述图像帧的至少一个处理器位于所述可移动物体上，且用于调整镜头的孔径或变焦的至少一个处理器位于所述成像装置上。

89.根据权利要求70所述的方法，其中单组像素包括所述图像帧中预定数量的列或行的像素。

90.根据权利要求70所述的方法，进一步包括借助于卷帘快门从所述成像装置获取所述图像帧，其中所述图像帧包括在所述时间段内的不同时间点曝光的多组像素。

91.根据权利要求70所述的方法，进一步包括在曝光单组像素时获取所述成像装置的姿态信息。

92.根据权利要求91所述的方法，进一步包括基于所述获取的所述成像装置的姿态信息得到所述单组像素的位置状态。

93.一种用于处理包括多个像素的图像帧的设备，所述设备包括一个或多个处理器，所述一个或多个处理器被单独或共同地被配置成：

处理由可操作地连接至可移动物体的成像装置捕捉的图像帧，其中所述多个像素中的各组像素在不同时间点曝光，且其中所述处理(1)发生在所述可移动物体上；以及(2)利用所述成像装置和/或所述可移动物体的姿态信息。

94.根据权利要求93所述的设备，其中所述处理与捕捉所述图像帧同时发生。

95.根据权利要求93所述的设备，其中所述处理在所述图像帧的捕捉之后发生。

96.根据权利要求93所述的设备，其中所述可移动物体是飞行器、陆地载运工具、穿越水体的载运工具、移动电话、平板电脑、膝上型计算机或可穿戴装置。

97.根据权利要求93所述的设备，其中所述成像装置的姿态信息包括包含所述成像装置相对于参考坐标系的俯仰角、偏航角和/或横滚角的姿态信息。

98.根据权利要求93所述的设备，其中所述成像装置的姿态信息是从一个或多个传感器获取。

99.根据权利要求98所述的设备，其中所述姿态测量单元包括IMU，所述IMU包括加速度计、陀螺仪、罗盘和/或GPS。

100.根据权利要求98所述的设备，其中所述成像装置安装在由所述可移动物体支撑的增稳系统上，其中所述增稳系统允许所述成像装置相对于所述可移动物体沿着一条或多条轴线旋转，并且其中所述可移动物体是可操作地连接至被配置成测量所述可移动物体的姿态信息的第一IMU。

101.根据权利要求93所述的设备，其中所述用于处理所述图像帧的所述一个或多个处理器位于所述可移动物体或所述成像装置上。

102.根据权利要求93所述的设备，其中单组像素包括所述图像帧中预定数量的列或行的像素。

103.根据权利要求93所述的设备，进一步包括借助于卷帘快门从所述成像装置获取所述图像帧，其中所述图像帧包括在所述时间段内的不同时间点曝光的多组像素。

104.根据权利要求93所述的设备，进一步包括在曝光单组像素时获取所述成像装置的姿态信息。

105.根据权利要求104所述的设备，进一步包括基于所获取的所述成像装置的姿态信息得到所述单组像素的位置状态。

106.一种拍摄包括一系列图像帧的视频的方法，包括：

(a)由可操作地连接至可移动物体的成像装置拍摄视频，其中所述一系列图像帧中的单个图像帧为通过曝光与所述单个图像帧中的部分像素对应的部分光传感器产生；

(b)借助于一个或多个处理器单独地或共同地，评估所述成像装置和/或所述可移动物体的姿态信息；以及

(c)在所述成像装置和/或所述可移动物体上，利用所评估的姿态信息调整所述一系列图像帧中的至少一个图像帧。

107.根据权利要求106所述的方法，进一步包括步骤(d)将调整后的图像帧中的至少一个从所述成像装置或所述可移动物体输出到外部设备。

108.根据权利要求107所述的方法，其中所述步骤(d)进一步包括将包括一系列调整后的图像帧的视频发送给外部设备。

109.根据权利要求106所述的方法，进一步包括在通过所述成像装置拍摄和/或调整所述视频的一个或多个后续的图像帧的之前或同时输出单个调整后的图像帧。

110.根据权利要求106所述的方法，其中所述步骤(c)包括一次仅调整单个图像帧中的部分像素。

111.根据权利要求106所述的方法，进一步包括在调整特定图像帧的单组像素的同时曝光与所述特定图像帧内的后续的一组或多组像素对应的部分光传感器。

112.根据权利要求106所述的方法，其中在所述步骤(a)，在所述时间段内的不同时间点曝光不同部分的所述光传感器以曝光与单个图像帧上的所有像素对应的所有光传感器。

113.根据权利要求106所述的方法，其中所述步骤(b)包括：

获取所述成像装置的第一组位置数据以得到在第一时间点曝光的特定图像帧的初始组像素的位置状态；

获取所述成像装置的第二组位置数据以得到在第二时间点曝光的所述特定图像帧的最末组像素的位置状态，其中所述第一组位置数据和所述第二组位置数据为从可操作地连接至所述成像装置和/或所述可移动物体的一个或多个传感器获取；以及

计算所述成像装置的单组位置数据以得到在所述第一时间点和所述第二时间点之间的时间点曝光的所述特定图像帧的单组像素的位置状态，其中所述单组位置数据是基于线性仿真模型计算的。

114.根据权利要求113所述的方法，其中所述步骤(c)包括一次仅调整单个图像帧中的部分像素。

115.根据权利要求106所述的方法，其中所述姿态信息包括包含所述成像装置和/或所述可移动物体相对于参考坐标系的俯仰角、偏航角和/或横滚角的姿态信息。

116.根据权利要求106所述的方法，其中所述姿态信息包括包含所述成像装置和/或所述可移动物体的纬度坐标、经度坐标、高度和/或位移的位置信息。

117.根据权利要求106所述的方法，其中所述步骤(c)包括利用来自根据所述成像装置和/或所述可移动物体的姿态信息得到的相应组像素的位置状态的位置数据调整单组像素。

118.根据权利要求106所述的方法，其中所述步骤(c)包括利用来自根据所述成像装置和/或所述可移动物体的姿态信息得到的相应组像素的位置状态的姿态数据调整单组像素。

119.根据权利要求106所述的方法，其中所述步骤(c)包括利用来自根据所述成像装置和/或所述可移动物体的姿态信息得到的相应组像素的位置状态的位置数据和姿态数据调整单组像素。

120.根据权利要求106所述的方法，其中所述一个或多个处理器位于所述可移动物体和/或所述成像装置上。

121.根据权利要求106所述的方法，其中用于处理图像帧的至少一个处理器位于所述可移动物体上，且用于调整镜头的孔径或变焦的至少一个处理器位于所述成像装置上。

122.一种用于拍摄包括一系列图像帧的视频的设备，所述设备包括一个或多个处理器，所述一个或多个处理器单独地或共同地被配置成：

(a)由可操作地连接至可移动物体的成像装置拍摄视频，其中所述一系列图像帧中的单个图像帧为通过曝光与所述单个图像帧的部分像素对应的部分光传感器产生；

123.根据权利要求122所述的设备，进一步包括步骤(d)将调整后的图像帧中的至少一个从所述成像装置或所述可移动物体输出到外部设备。

124.根据权利要求122所述的设备，其中所述步骤(d)进一步包括将包括一系列调整后的图像帧的视频发送给外部设备。

125.根据权利要求122所述的设备，进一步包括在通过所述成像装置拍摄和/或调整所述视频的一个或多个后续的图像帧的之前或同时输出单个调整后的图像帧。

126.根据权利要求122所述的设备，其中所述步骤(c)包括一次仅调整单个图像帧中的一部分像素。

127.根据权利要求122所述的设备，进一步包括在调整特定图像帧的单组像素的同时曝光与所述特定图像帧内的后续的一组或多组像素对应的部分光传感器。

128.根据权利要求122所述的设备，其中在所述步骤(a)，在所述时间段内的不同时间点曝光不同部分的所述光传感器以曝光与单个图像帧上的所有像素对应的所有光传感器。

129.根据权利要求122所述的设备，其中所述步骤(b)包括：

130.根据权利要求129所述的设备，其中所述步骤(c)包括一次仅调整单个图像帧的部分像素。

131.根据权利要求122所述的设备，其中所述步骤(c)包括利用来自根据所述成像装置和/或所述可移动物体的姿态信息得到的相应像素的位置状态的位置数据调整单组像素。

132.根据权利要求122所述的设备，其中所述步骤(c)包括利用来自根据所述成像装置和/或所述可移动物体的姿态信息得到的相应组像素的位置状态的姿态数据调整单组像素。

133.根据权利要求122所述的设备，其中所述步骤(c)包括利用来自根据所述成像装置和/或所述可移动物体的姿态信息得到的相应组像素的位置状态的位置数据和姿态数据调整单组像素。