CN105706112A

CN105706112A - 相机运动估计和校正的方法

Info

Publication number: CN105706112A
Application number: CN201480052288.5A
Authority: CN
Inventors: A·I·莫利基斯; 李名扬
Original assignee: University of California
Current assignee: University of California
Priority date: 2013-07-24
Filing date: 2014-07-24
Publication date: 2016-06-22
Also published as: KR20160037972A; JP6534664B2; EP3025275A1; EP3025275A4; WO2015013534A1; JP2016525842A; HK1226515A1; US20160165140A1; US9967463B2

Abstract

示出了运动估计以及校正系统和方法，包括：图像获取设备，被配置为通过在一个时间段上扫描图像帧来获取图像；惯性测量单元，被配置为在所述时间段期间测量所述图像获取设备的位置、方向和移动中的至少一个，并输出对所检测到的移动的指示；以及状态估计模块，可操作地与所述惯性测量单元和所述图像获取设备耦合，被配置为基于所述位置、所述方向和所述移动中的至少一个来估计与所述图像获取设备的位置和方向中的至少一个相关的状态。在一个示例中，系统和方法包括使用惯性测量单元以及图像获取设备。在一个示例中，图像获取设备包括滚动快门相机。

Description

相机运动估计和校正的方法

技术领域

本发明涉及监测和校正图像设备和方法。在一个示例中，本发明涉及监测并校正扫描图像。

附图说明

图1示出了根据本发明的示例的示出了定位实验期间的方向误差的曲线。

图2示出了根据本发明的示例的示出了实验期间的位置误差的曲线。

图3示出了根据本发明的示例的示出了速度估计中的误差的曲线。

图4示出了根据本发明示例的系统的框图。

具体实施方式

在各示例中，可以估计装备有惯性测量单元(IMU)(例如可以包括加速度计、磁力计、陀螺仪和/或其他合适的设备中的一些或全部)以及扫描相机或其他通过逐帧扫描来获得图像的图像获取系统(例如滚动快门相机)的设备的姿态(pose)(即，位置和方向(orientation))。为此，已经研制了状态估计器，例如其可以是或可以包括扩展卡尔曼滤波器、迭代最小化方法、滑动窗口束调整或其他估计过程，其处理对IMU和相机的测量。在各种示例中，状态估计器可以用于对扫描相机的图像中的特征的观测。

与全局快门相机相反，扫描相机顺序地捕获图像的行，并且作为结果，可以在非零持续时间的时间间隔(称为图像的读出时间)期间捕获整个图像。对于消费者设备(比如智能手机)中的典型相机，读出时间可以是几十毫秒的数量级，这足以引起潜在的显著视觉失真。如果忽略滚动快门的效果，则估计精度可显著下降。

从扫描相机对单个图像中的场景特征的观察不能取决于单个相机姿态。在示例中，在图像读出时间期间选择参考时刻t。参考时刻t可被选为(例如)捕获图像的第一、最后或中间行的时刻。如果在离该“参考”行n行远的图像行上检测到特征(例如，“角”点特征)，可以通过下式描述它的测量：

z＝h(^Cp_f(t+nt_r))+n(1)

其中h是描述相机模型的测量函数(例如，透视函数)，t_r是捕获两个连续图像行之间的时间，n是测量噪声，并且^Cp_f(t+nt_r)是特征在时间t+nt_r处相对于相机帧的位置。该位置矢量可以由下式给出：

{p_{C}}_{f} (t + {nt}_{r}) = R_{G}^{C} (t + {nt}_{r}) ({p_{G}}_{f} - {p_{G}}_{c} (t + {nt}_{r})) - - - (2)

其中，是时间t+nt_r处相机帧与参考的全局帧之间的旋转矩阵，^Gp_c(t+nt_r)是t+nt_r处的相机位置，以及^Gp_f是全局帧中的特征位置。因此，不同图像行处的特征测量可以依赖于不同的相机姿态。在各示例中，为了针对状态估计处理这些测量，估计器的状态矢量可以每个图像行包括一个相机姿态。然而，这可能针对每个图像使用将要包括在状态矢量中的上百个姿态，并且对于全部(除了相对短的)轨迹计算强度相对较大。

使用扫描相机进行状态估计的某些方法可以采用某种形式的相机轨迹近似。例如，某些仅视觉(vision-only)方法使用关于记录图像的时刻之间的相机运动的假设。在一种情况下，相机运动可以被假设为线性变化，而在另一种情况下，可以使用运动的更高阶模型。在各示例中，为了良好的性能，以相对高的帧速率处理相机图像，使得在图像捕获时间之间的相机运动的改变相对较小。

在各实例中，采用图像读出时间期间线性和旋转速度恒定的假设。由于读出时间可以显著小于使用图像的时间段，这可能是较不严格的假设。然而，在读出时间期间相机的运动曲线显著改变(例如，当设备是手持式以及人正在快速行走，或当装置被安装在不平的地上快速移动的机器人上)的情况下，假设可能不成立。

在各实例中，可以通过采用基于时间的函数方案来对相机的运动建模。该方法可以描述复杂运动，但其代价是会增加计算强度。为了对快速变化的运动建模，描述轨迹的状态矢量可以具有大尺度(即，必须使用大尺度的基于时间的函数)。这可能使得实时应用困难，而且采用基于时间方案的其他方法可以采用离线批处理估计。

与各种情况相反，IMU测量可用于计算图像读出时间期间的相机轨迹，并且与使用相机运动自身的模型相反，参数模型可以被用于对这些运动估计中的误差建模。在各示例中，在图像读出时间期间的IMU位置被建模为：

{p_{G}}_{I} (t + τ) = {\hat{p}}_{G}_{I} (t + τ) + {\tilde{p}}_{G}_{I} (t + τ)

其中估计是通过从参考姿态开始对IMU测量进行积分来计算的，以及使用m基函数将误差参数化为：

{\tilde{p}}_{G}_{I} = Σ_{i = 0}^{m - 1} c_{i} f_{i} (τ) - - - (3)

其中c_i是未知的参数矢量，并且f_i(τ)是我们自由选择的基函数。与该位置类似，基于陀螺仪测量的传播可以被用于计算在读出时间期间对IMU方向的估计。这些估计中的误差可以由一个3×1的误差矢量来描述，并且可以使用k基函数将其参数化为：

\tilde{θ} (t + τ) = Σ_{i = 0}^{k - 1} d_{i} f_{i} (τ) - - - (4)

其中d_i是未知参数矢量。该方法可以不包括任何关于轨迹的形式的假设，并且因此可以描述任意复杂运动，只要任意复杂运动位于IMU传感器的带宽内即可。同时，运动中的误差可以例如通过选择基函数的数量而被建模为任意所需的各种等级的精度。可以选择基函数的类型和数量，使得可以事先预测近似误差。在各示例中，即使使用相对少的项，误差可以被建模到足够精度。

在各示例中，在采用线性化的任意估计器(如扩展卡尔曼滤波器或基于迭代最小化的估计器)中，可以写出关于测量残差的估计器等式(可称为基于卡尔曼滤波器估计器中的“创新”)，其可被定义为实际特征测量与基于状态估计预期测量之间的差异。然后这些残差可以通过包括状态估计的误差的线性表达式进行近似：

r \overset{Δ}{=} z - h (\hat{x}) - - - (5)

其中H是测量函数关于该状态的雅可比矩阵。和不一定具有相同的参数设置(例如，方向状态估计通常经由3×3旋转矩阵或4×1单位四元数表示，而方向误差通常经由最小的3×1参数设置表示。

等式(2)可以根据IMU姿态被重写为：

{p_{C}}_{f} (t + {nt}_{r}) = R_{I}^{G} R_{G}^{I} (t + {nt}_{r}) ({p_{G}}_{f} - {p_{G}}_{I} (t + {nt}_{r})) + {p_{C}}_{I} - - - (7)

其中和^Cp_I是IMU相对于相机的方向和位置，而和^Gp_I(t+nt_r)定义t+nt_r处的全局帧中的IMU的方向和位置。被用于计算期望测量的特征位置的估计，可以是：

{\hat{p}}_{C}_{f} (t + {nt}_{r}) = {\hat{R}}_{I}^{C} {\hat{R}}_{G}^{I} (t + {nt}_{r}) ({\hat{p}}_{G}_{f} - {\hat{p}}_{G}_{I} (t + {nt}_{r})) + {\hat{p}}_{C}_{I} - - - (8)

其中表示估计器中量的估计。可以使用读出期间的IMU测量以及在时间t处的IMU状态估计(“参考姿态”的估计)来计算t+nt_r处的IMU姿态。具体地，在t+nt_r处估计的IMU位置可以被计算为：

{\hat{p}}_{G}_{I} (t + {nt}_{r}) = {\hat{p}}_{G}_{I} (t) + {\hat{v}}_{G}_{I} (t) {nt}_{r} + {&Integral;}_{t}^{t + {nt}_{r}} {&Integral;}_{t}^{s} {\hat{a}}_{G}_{I} (τ) d τ d s - - - (9)

其中，是IMU速度并且是IMU的估计的加速度，它们是使用加速度测量计算的(在针对重力以及针对例如偏差、比例因子等的任意系统误差进行补偿之后)。如果单位四元数被用于表示IMU方向(如在我们的实施中)，则可以通过在时间间隔[t,t+nt_r]中对以下微分等式积分来计算t+nt_r处的方向：

其中是IMU的估计的旋转速度(即，针对例如偏差、比例因子等的任意系统误差进行了补偿的由陀螺仪测量的速度)。

使用对由等式(9)和(10)计算的IMU姿态的估计，特征测量的残差可以是：

r = z - h ({\hat{R}}_{I}^{C} {\hat{R}}_{G}^{I} (t + {nt}_{r}) ({\hat{p}}_{G}_{f} - {\hat{p}}_{G}_{I} (t + {nt}_{r})) + {\hat{p}}_{C}_{I})

线性化：

其中H_θ和H_p是关于时间t+nt_r处的相机位置和方向的测量函数的雅克比矩阵，x_a包括相机-至-IMU校准的误差、特征位置以及潜在地测量函数中可能出现的任意附加的变量(例如，相机固有参数)，并且H_a是相应雅可比矩阵。使用等式(3)和(4)，上述内容可被写为：

结果，作为包括在与估计器误差状态矢量的所有图像行相对应的时刻处的IMU姿态误差的替代，可以包括矢量c_i,i＝0,…m-1和d_i,i＝0,…k–1。由于可以将这些矢量的数量选为显著小于IMU姿态误差，可以相对地减少计算量。

基矢量的选择

误差表示中的适当的类型和项数可以提供计算节约和/或最终结果的整体精度方面的相对改善。函数可以是基于时间的，产生：

{\tilde{p}}_{G}_{I} (t + {nt}_{r}) = c_{0} + c_{1} {nt}_{r} + \frac{1}{2} c_{2} {({nt}_{r})}^{2} + ... + \frac{1}{(m - 1)!} c_{m - 1} {({nt}_{r})}^{m - 1} - - - (12)

在各示例中，误差的某些属性可以用于确定在上述的表示中所保留的项数。在一个示例中，如果只保留前两项，则等式(12)产生：

{\tilde{p}}_{G}_{I} (t + {nt}_{r}) = {\tilde{p}}_{G}_{I} (t) + c_{1} {nt}_{r}

其中，对于n＝0，右手侧等于即参考姿态的位置误差。通过以上线性函数(其有效地是一阶样条近似)对函数进行近似所导致的误差沿三个坐标轴的每一个上通过下式作为上界：

\frac{{({nt}_{r})}^{2}}{8} m a x | {\overset{\cdot\cdot}{\tilde{p}}}_{G} |

其中是沿每个轴的位置误差的二阶导数的最大绝对值，即加速度误差的最大绝对值。

在一个示例中，假设最差情况的加速度误差是2米/秒²(在各示例中，其可以不切实际地大)，并且读出时间是1/30秒，则如果“参考姿态”被选为位于图像读出间隔中点处的相机姿态，该近似误差沿每个轴以6.9x10^-5m为上界。在具有480x640像素的分辨率、60°的视场以及近似等于500像素的焦距的相机中，成像对象的最小深度为1米，这种规模的未建模的位置误差可能导致大约0.15像素的特征投影的最差情况未建模误差。针对2米深度处的特征，并且在加速度误差范围为1米/秒²的情况下，最差情况未建模的特征投影误差可以是0.02像素。

类似过程可被用于确定用于对方向误差建模的项数。在各示例中，即使仅使用表示中的单项，未建模的误差也保持很小：

\tilde{θ} (t + {nt}_{r}) = \tilde{θ} (t)

将这视为在第一(零阶)项之后截断的泰勒级数展开，可以由nt_rmax给出参数化中的最差情况的误差。在示例中，假设旋转速度估计的最差情况误差为2度/秒，参数化的不准确度被限制在0.033度以下。在具有每度10像素的分辨率的示例相机中，这将与具有0.33像素的最差情况未建模的特征投影误差相对应。

在各示例中，等式(11)中的特征测量的残差可近似为：

进而，这示出了：如果估计器的误差状态包含变量和c₁，则可以用最小近似来对扫描相机的测量进行处理。在一个示例中，针对全局快门相机，可以仅包括位置和方向误差和并且因此扫描相机的使用可以引起相对更大的计算成本。然而，该开销可能是相对最小的(例如，每个图像仅一个附加3x1矢量)，并且该开销可以独立于轨迹的复杂度。

在各示例中，处理扫描相机的测量的方法可以适用于估计误差的性质。例如，如果在特定场景中，加速或旋转速度测量的误差较大，则可以在误差的基于时间函数表示中包括更多项。类似地，如果速度估计的误差非常小，则可以保留位置误差表示中的单个项(参见等式(12))，并且仍导致相对最小的不准确度(在那种情况下，近似误差中的边界由给出，其中是沿每个轴的速度矢量的最大绝对值)。在一个示例中，通过改变在表示中保持的项数，准确度可以针对计算效率进行折衷。

示例模拟

一种用于在IMU的辅助下处理来自扫描相机的特征的方法在多示例状态估计器中适用。为了示出该方法的性能，与不考虑图像中存在滚动快门的方法相比，本文所公开的方法结合混合估计器应用。为了防止EKF不一致性，在计算雅可比时可以做出特定规定。

针对本文所呈现的结果，我们使用由行进的人的手持移动设备收集的真实数据集的模拟。总轨迹长度是1.1km，覆盖超过16分钟的步行。平均情况下，在每个图像中跟踪200个点特征，并生成它们的真实位置和轨迹长度，以与在实际数据集中跟踪的特征的位置和轨迹长度相匹配。IMU在200Hz处提供测量，而相机图像在10Hz处可用。

图1示出了通过在前述部分中描述的方法计算的IMU方向的估计误差(红线)，以及将相机视为全局快门相机所导致的估计误差(黑色虚线)。此外，用蓝色虚线示出了使用滤波器的所报告的协方差矩阵计算的±3标准偏离包络。使用图像协方差矩阵相对显著的平滑。在示例情况下，将滚动快门失真有效地视为噪声。然而，在显式地对滚动快门的作用建模的情况下，获得了相对显著更高的预测，并且误差与由滤波器报告的协方差矩阵相应。

图2示出了在同一实验期间的位置误差，而图3示出了速度估计中的误差。与在方向误差的情况下所观察到的情况类似，对滚动快门建模可以导致估计性能得到改善。

具体参照图1，图1示出了在定位实验期间的方向误差。为生成该数据，估计器采用针对方向的单位四元数表示，但是为了绘图的目的，根据滚转、俯仰和偏航来表示误差。红线表示根据本文所述方法的方向误差，黑色虚线示出来自将相机视为全局快门1的误差，而蓝色虚线示出了被计算为由估计器报告的相应标准偏差±3倍的不确定性包络。

具体参照图2，图2示出了在定位实验期间沿3个坐标轴的位置误差。红线表示根据本文所述方法的方向误差，黑色虚线示出将相机视为全局快门1导致的误差，而蓝色虚线示出了被计算为由估计器报告的相应标准偏差±3倍的不确定性包络。

具体参照图3，图3示出了在定位实验期间沿3个坐标轴的速度误差。红线表示根据本文所述方法的方向误差，黑色虚线示出将相机视为全局快门1导致的误差，而蓝色虚线示出了被计算为由估计器报告的相应标准偏差±3倍的不确定性包络。

系统图

图4是示例系统400的框图。系统400包括惯性测量单元404和图像获取设备402。状态估计电路410被进一步示为与图像获取设备402和惯性测量单元404耦合。图4的示例的状态估计电路410还包括处理器412和存储器模块414。在一个示例中，如图4所示，系统400还包括用户界面406和校正模块408。应当注意并强调，框图中的组件与本文所公开的组件相对应，并被配置为执行本文所公开的动作和计算。应当注意的是，尽管图4所示的系统中包括各组件，但在各示例中这种组件是可选的，并且视情况或需要可以包括或可以不包括。

如所示，该系统包括图像获取系统和惯性测量单元。如所示，惯性测量单元附接于图像获取系统。然而，在各示例中，惯性测量单元是图像获取系统的一个组成部分，或者图像获取系统和惯性测量单元是更大设备(例如移动电话、平板电脑或其他消费电子设备)的组成部分。

如所示，系统还包括状态估计模块或状态估计电路。状态估计模块包括处理器和存储器模块，例如可以包括常规计算机存储器和/或其他电子存储技术，例如随机接入存储器(RAM)、只读存储器(ROM)、内存、硬盘和/或现有技术中已知的其他电子存储技术。处理器可以被实现为微处理器、微控制器、控制器或现有技术中已知的其他处理技术。作为基于处理器的替代，状态估计模块可以基于被配置为执行如本文所公开的估计的专用电路。

状态估计模块可以生成可发送到用户界面或通过其他方式传递到用户的输出，其采用原始数据形式或如图1-3中所示的曲线。该系统还可选地包括失真校正模块。该失真校正模块可以，将通过使用由状态估计模块所产生的估计对图像的校正应用于由图像获取系统所生成的图像，来对图像中的失真进行补偿。然而，如以上详细描述的，在各示例中，由于在获取图像期间使用上述方法对失真进行建模和补偿，在后(posthoc)失真校正可能是不必要的。

为了更好地说明运动估计和校正系统以及本文所公开的相关方法，现在提供非限制性的示例的列表：

在示例1中，一种系统，包括：图像获取设备，被配置为通过在一个时间段上扫描图像帧来获取图像；惯性测量单元，被配置为在所述时间段期间测量所述图像获取设备的位置、方向和移动中的至少一个，并输出对所检测到的移动的指示；以及状态估计模块，可操作地与所述惯性测量单元和所述图像获取设备耦合，被配置为基于所述位置、所述方向和所述移动中的至少一个来估计与所述图像获取设备的位置和方向中的至少一个相关的状态。

在示例2中，根据示例1所述的系统可选地被配置为使得，所述状态估计模块被配置为输出所估计的状态，并且所述系统还包括：用户界面，被配置为显示从所述状态估计模块输出的状态。

在示例3中，根据示例1、2的任一项或任意组合所述的系统可选地被配置为使得，所述惯性测量单元与所述图像获取单元刚性连接。

在示例4中，根据示例1-3的任一项或任意组合所述的系统可选地被配置为使得，所述图像获取设备是滚动快门相机。

在示例5中，根据示例1-4的任一项或任意组合所述的系统可选地被配置为使得，所述状态估计模块包括：处理器，被配置为将参数模型应用于所述移动，以估计所述状态。

在示例6中，根据示例1-5的任一项或任意组合所述的系统可选地被配置为使得，所述惯性测量单元包括加速度计、陀螺仪和磁力计中的至少一个。

在示例7中，根据示例1-6的任一项或任意组合所述的系统可选地被配置为使得，所述状态估计模块被配置为输出所估计的状态，并且所述系统还包括：状态校正模块，可操作地与所述状态估计模块耦合，并被配置为根据从所述状态估计模块输出的状态来校正所述图像。

在示例8中，根据示例1-7的任一项或任意组合所述的系统可选地被配置为使得，所述状态估计模块被配置为：使用状态估计中的误差的参数模型来实现对状态更新的计算。

在示例9中，根据示例1-8的任一项或任意组合所述的系统可选地被配置为使得，所述状态估计模块被配置为：使用基于时间函数建立的参数模型。

在示例10中，一种状态估计电路，包括：存储器模块，被配置为存储对基于惯性测量单元在一个时间段上的输出计算的图像获取设备的移动的描述；以及处理器，被配置为估计与所述图像获取设备的位置和方向中的至少一个相关的状态；其中，所述图像获取设备被配置为通过在所述时间段期间扫描图像帧来获取所述图像。

在示例11中，根据权利要求10所述的状态估计电路可选地被配置为使得，状态估计电路被配置为：向用户界面输出所估计的状态，所述用户界面被配置为显示所输出的状态。

在示例12中，根据示例10-11的任一项或任意组合所述的状态估计电路可选地被配置为使得，所述图像获取设备是滚动快门相机。

在示例13中，根据示例10-12的任一项或任意组合所述的状态估计电路可选地被配置为使得，所述惯性测量单元包括加速度计、陀螺仪和磁力计中的至少一个。

在示例14中，根据示例10-13的任一项或任意组合所述的状态估计电路可选地还被配置为：根据所述状态来校正所述图像。

在示例15中，根据示例10-14的任一项或任意组合所述的状态估计电路可选地被配置为使得，所述处理器被配置为：对所述图像获取设备在所述时间段期间的运动建模，以计算用于对状态估计进行更新的测量残差。

在示例16中，根据示例10-15的任一项或任意组合所述的状态估计电路可选地被配置为使得，所述处理器被配置为：应用状态估计中一个或更多个误差的参数模型来实现对状态更新的计算。

在示例17中，根据示例10-16的任一项或任意组合所述的状态估计电路可选地被配置为使得，所述处理器被配置为：应用基于时间函数建立的参数模型。

在示例18中，一种方法，包括：通过在一个时间段上扫描图像帧来从图像获取设备获取图像；使用惯性测量单元来获取所述图像获取设备在所述时间段期间的位置、方向和移动中的至少一个；以及使用状态估计模块来估计关于所述图像获取设备的状态。

在示例19中，示例18所述的方法可选地还包括，在用户界面上显示由所述状态估计模块估计的状态。

在示例20中，示例18-19的任一项或任意组合所述的方法可选地还包括，使用所述惯性测量单元包括：使用与所述图像获取单元刚性连接的惯性测量单元。

在示例21中，示例18-20的任一项或任意组合所述的方法可选地还包括，从图像获取设备获取所述图像包括从滚动快门相机获取图像。

在示例22中，示例18-21的任一项或任意组合所述的方法可选地还包括，估计关于所述图像获取设备的状态包括使用处理器来估计所述状态，所述处理器被配置为将参数模型应用于所述移动。

在示例23中，示例18-22的任一项或任意组合所述的方法可选地还包括，使用所述惯性测量单元包括使用加速度计、陀螺仪和磁力计中的至少一个。

在示例24中，示例18-23的任一项或任意组合所述的方法可选地还包括，使用状态校正模块，根据从所述状态估计模块的输出的状态来校正所述图像。

在示例25中，示例18-24的任一项或任意组合所述的方法可选地还包括，估计状态包括：使用惯性测量来对所述图像获取设备在所述时间段期间的运动建模，以计算用于更新状态估计的测量残差。

在示例26中，示例18-25的任一项或任意组合所述的方法可选地还包括，估计状态包括：使用状态估计中的一个或更多个误差的参数模型来执行对状态更新的计算。

在示例27中，示例18-26的任一项或任意组合所述的方法可选地还包括，估计状态包括：使用基于时间函数建立的参数模型。

在以上详细描述中部分地阐述了当前运动估计和校正系统的这些及其他示例和特征，在以上详细描述部分中部分阐述了相关方法。该概述旨在提供对本发明主题的非限制性示例-它不旨在提供排他性或穷尽性解释。

尽管以上列出了本文所描述的实施例的多个优点，但是该罗列不是穷尽性的。本领域技术人员在阅读了本公开之后将对以上所描述的实施例的其他优点显而易见。尽管这里示出并描述了特定实施例，本领域技术人员应当理解，被计算为实现相同目的的任何设置都可以用于替换所示出的特定实施例。本申请不旨在覆盖本发明的任意适应或变型。将理解的是，以上描述旨在是说明性的而非限制性的。通过研究上述内容，上述实施例的组合以及其它实施例对于本领域技术人员来说将是显而易见的。本发明的范围包括其中使用上述结构和制造方法的任意其他应用。应当参照所附的权利要求以及权利要求授权的等同的全部范围来确定本发明的范围。

Claims

1.一种系统，包括：

图像获取设备，被配置为通过在一个时间段上扫描图像帧来获取图像；

惯性测量单元，被配置为在所述时间段期间测量所述图像获取设备的位置、方向和移动中的至少一个，并输出对所检测到的移动的指示；以及

状态估计模块，可操作地与所述惯性测量单元和所述图像获取设备耦合，被配置为基于所述位置、所述方向和所述移动中的至少一个来估计与所述图像获取设备的位置和方向中的至少一个相关的状态。

2.根据权利要求1所述的系统，其中，所述状态估计模块被配置为输出所估计的状态，并且所述系统还包括：用户界面，被配置为显示从所述状态估计模块输出的状态。

3.根据权利要求1所述的系统，其中，所述惯性测量单元与所述图像获取单元刚性连接。

4.根据权利要求1所述的系统，其中，所述图像获取设备是滚动快门相机。

5.根据权利要求1所述的系统，其中，所述状态估计模块包括：处理器，被配置为将参数模型应用于所述移动，以估计所述状态。

6.根据权利要求1所述的系统，其中，所述惯性测量单元包括加速度计、陀螺仪和磁力计中的至少一个。

7.根据权利要求1所述的系统，其中，所述状态估计模块被配置为输出所估计的状态，并且所述系统还包括：状态校正模块，可操作地与所述状态估计模块耦合，并被配置为根据从所述状态估计模块输出的状态来校正所述图像。

8.根据权利要求1所述的系统，其中，所述状态估计模块被配置为：使用状态估计中的误差的参数模型来实现对状态更新的计算。

9.根据权利要求8所述的系统，其中，所述状态估计模块被配置为：使用基于时间函数建立的参数模型。

10.一种状态估计电路，包括：

存储器模块，被配置为存储对一个时间段期间基于惯性测量单元的输出计算的图像获取设备的移动的描述；以及

处理器，被配置为估计与所述图像获取设备的位置和方向中的至少一个相关的状态；

其中，所述图像获取设备被配置为通过在所述时间段上扫描图像帧来获取所述图像。

11.根据权利要求10所述的状态估计电路，其中，状态估计电路被配置为：向用户界面输出所估计的状态，所述用户界面被配置为显示所输出的状态。

12.根据权利要求10所述的状态估计电路，其中，所述图像获取设备是滚动快门相机。

13.根据权利要求10所述的状态估计电路，其中，所述惯性测量单元包括加速度计、陀螺仪和磁力计中的至少一个。

14.根据权利要求10所述的状态估计电路，还被配置为根据所述状态来校正所述图像。

15.根据权利要求10所述的状态估计电路，其中，所述处理器被配置为：对所述图像获取设备在所述时间段期间的运动建模，以计算用于更新状态估计的测量残差。

16.根据权利要求10所述的状态估计电路，其中，所述处理器被配置为：应用状态估计中一个或更多个误差的参数模型来实现状态更新的计算。

17.根据权利要求16所述的状态估计电路，其中，所述处理器被配置为：应用基于时间函数建立的参数模型。

18.一种方法，包括：

通过在一个时间段上扫描图像帧来从图像获取设备获取图像；

使用惯性测量单元来获取所述图像获取设备在所述时间段期间的位置、方向和移动中的至少一个；以及

使用状态估计模块来估计关于所述图像获取设备的状态。

19.根据权利要求18所述的方法，还包括：在用户界面上显示由所述状态估计模块估计的状态。

20.根据权利要求18所述的方法，其中，使用所述惯性测量单元包括：使用与所述图像获取单元刚性连接的惯性测量单元。

21.根据权利要求18所述的方法，其中从图像获取设备获取所述图像包括：从滚动快门相机获取图像。

22.根据权利要求18所述的方法，其中，估计关于所述图像获取设备的状态包括：使用处理器来估计所述状态，所述处理器被配置为将参数模型应用于所述移动。

23.根据权利要求18所述的方法，其中，使用所述惯性测量单元包括：使用加速度计、陀螺仪和磁力计中的至少一个。

24.根据权利要求18所述的方法，还包括：使用状态校正模块，根据从所述状态估计模块输出的状态来校正所述图像。

25.根据权利要求18所述的方法，其中，估计状态包括：使用惯性测量来对所述图像获取设备在所述时间段期间的运动建模，以计算用于更新状态估计的测量残差。

26.根据权利要求18所述的方法，其中，估计状态包括：使用状态估计中的一个或更多个误差的参数模型来实现状态更新的计算。

27.根据权利要求18所述的方法，其中，估计状态包括：使用基于时间函数建立的参数模型。