CN102289804B - 通过合并方向传感器读数和图像配准估计实现3d视频稳定的系统和方法 - Google Patents

Abstract

用于在全局参照系内生成相机的3D方向的高精确性估计的方法和系统。可以根据基于图像的配准方法来产生方向估计。可以从安装在相机上的方向传感器来获取其它方向估计。可以将来源于配准的估计输入到高通滤波器。来自方向传感器的方向估计可以被处理并且被输入到低通滤波器。合并高通滤波器和低通滤波器的输出，以产生稳定的视频序列。

Description

通过合并方向传感器读数和图像配准估计实现3D视频稳定的系统和方法

背景技术

在全局参照系内估计视频序列中相机的三维(3D)方向是在虚拟3D环境以及导航和其它应用中解决视频稳定性时可能出现的一个问题。该任务需要来自可以附着至相机的一个或多个方向传感器(例如，陀螺仪、加速计和/或指南针)的输入，以在地理参照系中提供3D方向。然而，传感器读数中的高频率噪声可能使得难以达到精确的方向估计，而后者是视觉上稳定地呈现一个视频序列所需要的。这在相机经受高频率的方向改变(即，抖动)时使用该相机来获取该视频时可能尤其如此。例如，示例可以包括从移动的车辆或者在走动时拍摄的视频。此外，在这种情况下，方向传感器的质量会是一个普遍的问题，尤其对于在消费级别和手机相机中可用的低成本传感器，其导致了较差的精确性，尤其是在动态条件下。角度均方根(RMS)误差的典型值可以在0.5到大于2度的范围。因此，这种传感器可能不能精确地测量相机抖动，导致视频序列当在3D环境情形中显示时可能无法显示出稳定的场景。

另一方面，对于图像稳定性，基于图像的配准(alignment)已被证明在一定程度上是成功的，提供了精确的逐帧方向估计。但是，由于误差和偏离积累以及缺少绝对方向，基于图像的配准可能易于随时间而发生漂移。

附图说明

图1是说明了一个实施例的架构的框图。

图2是说明根据一个实施例的旋转估计和配准处理的流程图。

图3是说明根据一个实施例的欧拉角的估计的流程图。

图4是说明根据一个实施例的合并处理中四元数的使用的流程图。

图5是根据一个实施例的在其中软件或固件实施例可以执行的例示性计算机环境的框图。

在附图中，标号最左边的(一位或几位)数字标识在其中首先出现该标号的那幅图。

具体实施方式

现在参照附图来描述一个实施例，在附图中相似的标号指示相同或功能相似的元件。此外在附图中，每个标号最左边的数字对应于首先使用该标号的那幅图。虽然讨论了具体的配置和安排，但是应当理解，这仅用于举例说明的目的。相关领域技术人员将认识到，在不脱离本说明书的精神和范围的情况下可以使用其它的配置和安排。对相关领域技术人员而言显而易见的是，还可以在除了本文描述的系统和应用之外的各种其它系统和应用中采用这些配置和安排。

本文描述的是用于在全局参照系内生成相机的3D方向的估计的方法和系统。可以根据基于图像的配准方法来产生方向估计。可以从一个或多个安装在相机上的方向传感器来获取其它的方向估计。可以将来源于配准的估计输入到高通滤波器。可以处理来自方向传感器的方向估计并将其输入到低通滤波器。可以合并(fuse)高通滤波器和低通滤波器的输出，以产生稳定的视频序列。

图1示出了根据一个实施例的总体架构。示出了摄像机110。相机110可以输出数字视频序列120。旋转估计模块130可以通过计算两个连续帧之间的位移来估计相机旋转。可以针对每对连续帧来执行该操作。可以将结果得到的位移传送到图像配准模块140。该模块可以生成对应于经配准的图像序列的方向时间序列(orientation time series)。然后，可以将该方向时间序列传送到滤波器150。在所说明的实施例中，将该方向时间序列传送通过低通滤波器，可以从该方向时间序列中减去该低通滤波器的输出。这种安排的实际效果是对该方向时间序列执行高通滤波操作。在替代的实施例中，可以使用高通滤波器。

摄像机110还可以包括方向传感器(未示出)。方向传感器可以包括例如加速计、指南针以及陀螺仪中的一个或多个。将来自方向传感器的输出示出为输出160。然后，可以由模块170处理该输出以产生反映相机110的方向随时间变化的时间序列。然后，可以将来自模块170的该时间序列传送到低通滤波器180。然后，可以组合或者合并来自两个滤波器的输出，以产生稳定的3-D相机方向185。然后，该稳定的方向185可以用来产生输出视频序列195。注意，在一个实施例中，滤波器150和180以及模块185可以被物理地或者逻辑地组合在传感器合并模块190中。

如下面将进一步讨论的，可以用软件、固件、或硬件或者上述的某组合来实现模块130、140、150、170、180和190。

图2中说明了根据一个实施例的用于旋转估计和图像配准的处理。在210处，可以计算输入图像的高斯多分辨率表示(MRR)。在概念上，这种表示可以被视为金字塔结构，其中第一表示或者金字塔层可以是图像的相对粗糙的表示，并且每个随后的表示可以是该图像的相对于先前的表示更加精细的表示。图像的该多分辨率表示可以允许从粗到细的估计策略。在一个实施例中，为了计算效率的目的，可以使用二项式B₂滤波器(1/4，1/2，1/4)来计算输入图像的该多分辨率表示。

在图2的实施例中，可以从最粗的层级开始，针对金字塔的每个层级来执行序列220至240。一般而言，该处理可以是基于梯度约束的，该梯度约束假设逐个像素地对两个正在被配准(或者对准)的图像之间的亮度进行位移，同时保存它们的亮度值。该梯度约束可以表述为

d_x(p)I_x(x)+d_y(p)I_y(x)+ΔI(p)＝0    (1)

其中I表示图像亮度，d表示位移，以及ΔI(p)＝I₂(p)-I₁(p)，其中I₂(p)和I₁(p)是像素p处的图像亮度。

图像中的每个像素可以提供一个约束，以及一般而言，两个未知量。然而，可以假设相对于相机平移，相机旋转抖动可能正在图像运动方面占首要地位，使得两个图像之间的位移可以表示为

$d\left(p\right)=\left(\begin{array}{c}\frac{x_{2x}}{x_{2z}}-x_{1x}\\ \frac{x_{2y}}{x_{2z}}-x_{1y}\end{array}\right),$

其中，x₁是像素p在齐次图像坐标系中的位置，x₂＝Px₁，并且粗体字P是特定的投影变换，该投影变换取决于描述3D相机旋转的三个参数和该图像的两个焦距(假设简单的对角相机校准矩阵)：

$x_2=P_{x_1},P=\left(\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& 1\end{array}\right)R\left(\begin{array}{ccc}1/f_2& 0& 0\\ 0& 1/f_2& 0\\ 0& 0& 1\end{array}\right)---\left(2\right)$

其中，f₁和f₂是各自的焦距，R是对应于相机旋转的3D旋转矩阵。可以使用对应于(x，y，z)规范的欧拉角ω＝(ω_x，ω_y，ω_z)来参数化旋转矩阵。可以使用小角度近似，

$R\≈\left(\begin{array}{ccc}1& -{\mathrm{\ω}}_z& {\mathrm{\ω}}_y\\ {\mathrm{\ω}}_z& 1& -{\mathrm{\ω}}_x\\ -{\mathrm{\ω}}_y& {\mathrm{\ω}}_x& 1\end{array}\right)---\left(3\right)$

当组合(1)、(2)和(3)时，可以在每个像素处获得下列约束：

${\mathrm{\ω}}_x[-I_x\frac{\mathrm{xy}}{f_2}-I_y(f_1+\frac{y^2}{f_2})+\mathrm{\ΔI}\frac{y}{f_2}]$

$+{\mathrm{\ω}}_y[I_x(f_1+\frac{x^2}{f_2})+I_y\frac{\mathrm{xy}}{f_2}-\mathrm{\ΔI}\frac{x}{f_2}]$ (4)

$+{\mathrm{\ω}}_z\left[\frac{f1}{f_2}(-I_{x}y+I_{y}x)\right]$

$+(\frac{f1}{f2}-1)(I_{x}x+I_{y}y)+\mathrm{\ΔI}=0$

假设由相机提供这两个图像的焦距，该约束是欧拉角向量ω线性的。

在220处，可以通过从来自第一输入图像的像素采样中聚集约束来开始每次迭代。根据一个实施例，可以使用第一输入图像的参照系中的矩形采样网格来选择形成约束的位置。已知这些像素及其约束，则可以针对每个像素来估计向量ω。下面将更详细地讨论根据一个实施例的用于估计这些角的处理。

已知所生成的欧拉角的估计，则在230处，可以根据上述(3)来确定旋转矩阵R。在确定该矩阵之后，在240处，可以根据上述(2)来计算投影变换P。关于每次迭代，可以将该变换P与从前一次迭代(即，从上一个分辨率层级)产生的变换P进行组合。

在250处，可以计算位移d(p)，作为所估计的帧间相机旋转。在260处，可以根据所估计的相机旋转来配准输入帧及其随后的帧。在一个实施例中，可以使用双线性内插来获得在所识别的像素位置处的随后图像的经位移的亮度值。

在一个实施例中，可能希望避免由曝光的突然改变而导致的问题。这种问题有时是由相机的自动曝光功能所引起的。为了避免这种问题，可以在配准之前预处理该图像以使它们的平均差及标准差均衡(equalize)。

图3更详细地说明了对欧拉角的估计(上述的220)。在310处，可以在给定的分辨率层级处针对每个采样的像素来创建等式(4)形式的约束。这使得生成针对每个采样的像素的等式。所生成的一组等式表示超定等式系统，每个等式都是ω线性的。在320处，可以求解该等式系统。在所说明的实施例中，可以使用具有Tukey函数的M-估计器来求解该系统。

图4说明了来源于方向传感器的方向信息与经配准的图像信息的合并。在410处，可以将表示经配准的图像信息的时间序列建模为旋转四元数q_i(t)。在420处，可以将表示来源于方向传感器的方向信息的时间序列建模为四元数q_s(t)。如下面等式5中所指示的，在计算合并的四元数q_f(t)的过程中，可以对四元数q_s(t)和q_i(t)执行适当的滤波。

$q_f\left(t\right)=\frac{(q_s*g)\left(t\right)+(q_i*(\mathrm{\δ}-g))\left(t\right)}{|(q_s*g)\left(t\right)+(q_i*(\mathrm{\δ}-g))\left(t\right)|}---\left(5\right)$

这里，q_i(t)、q_s(t)和q_f(t)分别是经配准的图像、方向和合并的四元数。g(t)是低通滤波器；卷积运算符*表示将该四元数的每个分量与卷积核进行卷积；以及||是四元数范数。

注意，在不同的实施例中，可以使用不同的低通滤波器。例如，可以基于特定的传感器特性来选择特定的低通滤波器。在一个实施例中，例如，可以使用具有σ＝0.5s的标准差的高斯低通滤波器。

此外，在一个实施例中，可以使用具有等于下列的抽头数目的离散卷积模板(convolution mask)来实现卷积：

其中，f_r是视频的帧速率，其可以等于方向时间序列的采样频率。

在一个实施例中，在从两个源对四元数进行滤波和增加之后，生成的四元数可能并不表示正确的3D旋转，可以将其重新标准化为单位范数。

本文描述的一个或多个特征可以用硬件、软件、固件以及上述的组合(包括分立的和集成的电路逻辑、专用集成电路(ASIC)逻辑以及微控制器)来实现，并且可以实现为特定领域集成电路封装的一部分或者集成电路封装的组合。如本文所使用的，术语软件指的是包括非瞬态计算机可读介质的计算机程序产品，该非瞬态计算机可读介质中存储有计算机程序逻辑，所述计算机程序逻辑用于使计算机系统执行本文公开的一个或多个特征和/或这些特征的组合。

图5中说明了本文描述的处理的软件或固件实施例。在该图中，系统500可以包括处理器520和存储器510的主体，存储器510可以包括可以存储计算机程序逻辑540的一个或多个计算机可读介质。例如，存储器510可以被实现为硬盘和驱动器、诸如光盘这样的可移动介质、只读存储器(ROM)或者随机存取存储器(RAM)设备、或者上述的某组合。处理器520和存储器510可以使用本领域中的普通技术人员公知的若干种技术中的任意一种技术(例如总线)来进行通信。可以由处理器520来读取和执行包含在存储器510中的计算机程序逻辑540。还可以将一个或多个I/O端口和/或I/O设备(总地示出为I/O 530)连接至处理器520和存储器510。

计算机程序逻辑540可以包括配准处理逻辑550。例如，该逻辑可以负责执行图2和图3中所说明的处理。因此，逻辑550可以包括例如用于计算输入图像的高斯多分辨率表示的逻辑。逻辑550还可以包括用于估计欧拉角、确定旋转矩阵R以及确定投影变换P的逻辑。逻辑550还可以包括用于计算位移d(x)以生成经配准的图像时间序列的逻辑。

计算机程序逻辑540还可以包括方向处理逻辑560。逻辑560可以负责处理方向传感器的输出，以及生成对应的方向时间序列。

计算机程序逻辑540还可以包括合并逻辑570。逻辑570可以负责对方向时间序列和经配准的图像时间序列执行滤波、将该信息建模为四元数以及计算合并的四元数。

本文借助于说明了功能、特征及其关系的功能构件块公开了方法和系统。为了描述方便，在本文中任意定义了这些功能构件块的至少一些的边界。也可以定义替代的边界，只要适当地执行了指定的功能及其关系即可。

虽然本文描述了各种实施例，但是应当理解，仅以示例的方式而非限制的方式展示了这些实施例。对相关领域技术人员显而易见的是，在不脱离本文公开的方法和系统的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。因此，权利要求的宽度和范围不应受本文公开的任何例示性实施例所限。

Claims (20)

1.一种视频稳定方法，包括：

接收来自摄像机的方向传感器的输出；

将来自所述方向传感器的所述输出格式化为方向时间序列；

将低通滤波器应用于所述方向时间序列，以产生滤波后的方向信息；

接收来自所述摄像机的视频序列；

通过计算两个连续帧之间的位移来针对所述视频序列估计帧间三维（3D）相机旋转；

使用所估计的相机旋转来配准所述视频序列的连续图像；

将经配准的图像格式化为经配准的图像时间序列；

将高通滤波器应用于所述经配准的图像时间序列，以产生滤波后的经配准的图像信息；以及

将所述滤波后的经配准的图像信息与所述滤波后的方向信息进行组合，以产生稳定的视频序列。

2.根据权利要求1所述的方法，其中，所述估计包括：

计算所述连续图像中的第一图像的高斯多分辨率表示（MRR）；

针对所述MRR的每个层级，以从粗层级到细层级进行的方式来执行下列序列的迭代：

针对所述第一图像中多个像素的每一个，定义约束

${\mathrm{\ω}}_x[-I_x\frac{\mathrm{xy}}{f_2}-I_y(f_1+\frac{y^2}{f_2})+\mathrm{\ΔI}\frac{y}{f_2}]$

$+{\mathrm{\ω}}_y[I_x(f_1+\frac{x^2}{f_2})+I_y\frac{\mathrm{xy}}{f_2}-\mathrm{\ΔI}\frac{x}{f_2}]$

$+{\mathrm{\ω}}_z\left[\frac{f_1}{f_2}(-I_{x}y+I_{y}x)\right]$

$+(\frac{f_1}{f_2}-1)(I_{x}x+I_{y}y)+\mathrm{\ΔI}=0$

从而形成超定线性系统，其中，x、y表示像素的笛卡尔坐标，ΔI表示亮度的变化，I_x和I_y分别表示在x方向和y方向上的亮度变化率；

对所述系统进行求解以估计向量ω=(ω_x,ω_y,ω_z)，其中，ω=(ω_x,ω_y,ω_z)是对应于（x，y，z）规范的欧拉角；

创建旋转矩阵R，

$R\≈\left(\begin{array}{ccc}1& -{\mathrm{\ω}}_z& {\mathrm{\ω}}_y\\ {\mathrm{\ω}}_z& 1& -{\mathrm{\ω}}_x\\ -{\mathrm{\ω}}_y& {\mathrm{\ω}}_x& 1\end{array}\right);$

使用R，计算投影变换P，

$P=\left(\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& 1\end{array}\right)R\left(\begin{array}{ccc}1/f_2& 0& 0\\ 0& 1/f_2& 0\\ 0& 0& 1\end{array}\right)$

其中，x₁和x₂是齐次图像坐标，f₁和f₂是各自的焦距；以及

将P和来自前一次迭代的投影变换进行组合，以创建当前迭代的投影变换；以及

使用最终的投影变换P来计算位移d(x)。

3.根据权利要求2所述的方法，其中，对所述超定线性系统进行的所述求解包括使用具有Tukey函数的鲁棒M-估计器来求解所述系统，其中所述鲁棒M-估计器使用迭代再加权最小二乘策略。

4.根据权利要求2所述的方法，其中，对所述高斯MRR进行的所述计算包括使用二项式滤波器进行所述计算。

5.根据权利要求2所述的方法，其中，所述多个像素位于所述第一图像中的矩形采样网格中。

6.根据权利要求2所述的方法，其中，对所述连续图像进行的所述配准是使用双线性内插来执行的。

7.根据权利要求1所述的方法，其中，所述方向时间序列和所述经配准的图像时间序列被表示为四元数。

8.根据权利要求7所述的方法，其中，所述低通滤波器包括具有标准差σ=0.5秒的高斯低通滤波器。

9.根据权利要求7所述的方法，其中，对所述滤波后的经配准的图像信息和所述滤波后的方向信息进行的所述组合包括根据下式来生成合并后的四元数：

$q_f\left(t\right)=\frac{(q_s*g)\left(t\right)+(q_i*(\mathrm{\δ}-g))\left(t\right)}{|(q_s*g)\left(t\right)+(q_i*(\mathrm{\δ}-g))\left(t\right)|},$

其中，q_i(t)、q_s(t)和q_f(t)分别是经配准的图像、方向和合并后的四元数，g(t)是低通滤波器，卷积运算符*表示将所述四元数的每个分量与卷积核进行卷积，以及||是四元数范数，并且其中，所述卷积使用的离散卷积模板所具有的抽头数目等于

，其中，f_r是视频的帧速率，σ是标准差。

10.根据权利要求1所述的方法，还包括：

预处理所述连续图像，以便在所述图像之间使得所述图像的亮度的平均差和标准差均衡。

11.一种视频稳定系统，包括：

用于接收来自摄像机的方向传感器的输出的模块；

用于将来自所述方向传感器的所述输出格式化为方向时间序列的模块；

用于将低通滤波器应用于所述方向时间序列，以产生滤波后的方向信息的模块；

用于接收来自所述摄像机的视频序列的模块；

用于通过计算两个连续帧之间的位移来针对所述视频序列估计帧间三维（3D）相机旋转的模块；

用于使用所估计的相机旋转来配准所述视频序列的连续图像的模块；

用于将经配准的图像格式化为经配准的图像时间序列的模块；

用于将高通滤波器应用于所述经配准的图像时间序列，以产生滤波后的经配准的图像信息的模块；以及

用于将所述滤波后的经配准的图像信息与所述滤波后的方向信息进行组合，以产生稳定的视频序列的模块。

12.根据权利要求11所述的系统，其中，用于估计的模块包括：

用于计算所述连续图像中的第一图像的高斯多分辨率表示（MRR）的模块；

用于针对所述MRR的每个层级，以从粗层级到细层级进行的方式来执行下列序列的迭代的模块：

针对所述第一图像中多个像素的每一个，定义约束

${\mathrm{\ω}}_x[-I_x\frac{\mathrm{xy}}{f_2}-I_y(f_1+\frac{y^2}{f_2})+\mathrm{\ΔI}\frac{y}{f_2}]$

$+{\mathrm{\ω}}_y[I_x(f_1+\frac{x^2}{f_2})+I_y\frac{\mathrm{xy}}{f_2}-\mathrm{\ΔI}\frac{x}{f_2}]$

$+{\mathrm{\ω}}_z\left[\frac{f_1}{f_2}(-I_{x}y+I_{y}x)\right]$

$+(\frac{f_1}{f_2}-1)(I_{x}x+I_{y}y)+\mathrm{\ΔI}=0$

从而形成超定线性系统，其中，x、y表示像素的笛卡尔坐标，ΔI表示亮度的变化，I_x和I_y分别表示在x方向和y方向上的亮度变化率；

对所述系统进行求解以估计向量ω=(ω_x,ω_y,ω_z)，其中，ω=(ω_x,ω_y,ω_z)是对应于（x，y，z）规范的欧拉角；

创建旋转矩阵R，

$R\≈\left(\begin{array}{ccc}1& -{\mathrm{\ω}}_z& {\mathrm{\ω}}_y\\ {\mathrm{\ω}}_z& 1& -{\mathrm{\ω}}_x\\ -{\mathrm{\ω}}_y& {\mathrm{\ω}}_x& 1\end{array}\right);$

使用R，计算投影变换P，

$P=\left(\begin{array}{ccc}{f}_1& 0& 0\\ 0& f_1& 0\\ 0& 0& 1\end{array}\right)R\left(\begin{array}{ccc}1/f_2& 0& 0\\ 0& 1/f_2& 0\\ 0& 0& 1\end{array}\right)$

其中，x₁和x₂是齐次图像坐标，f₁和f₂是各自的焦距；以及

将P和来自前一次迭代的投影变换进行组合，以创建当前迭代的投影变换；以及

用于使用最终的投影变换P来计算位移d(x)的模块。

13.根据权利要求12所述的系统，还包括：

用于使用具有Tukey函数的鲁棒M-估计器来求解所述超定线性系统的模块，其中所述鲁棒M-估计器使用迭代再加权最小二乘策略。

14.根据权利要求12所述的系统，其中，用于计算所述高斯MRR的所述模块包括：

用于使用二项式滤波器进行所述高斯MRR的所述计算的模块。

15.根据权利要求12所述的系统，其中，所述多个像素位于所述第一图像中的矩形采样网格中。

16.根据权利要求12所述的系统，其中，用于配准所述连续图像的所述模块包括：

用于使用双线性内插来执行所述配准的模块。

17.根据权利要求11所述的系统，其中，所述方向时间序列和所述经配准的图像时间序列被表示为四元数。

18.根据权利要求17所述的系统，其中，所述低通滤波器包括具有标准差σ=0.5秒的高斯低通滤波器。

19.根据权利要求17所述的系统，其中，用于将所述滤波后的经配准的图像信息和所述滤波后的方向信息进行组合的所述模块包括：

用于根据下式来生成合并后的四元数的模块：

$q_f\left(t\right)=\frac{(q_s*g)\left(t\right)+(q_i*(\mathrm{\δ}-g))\left(t\right)}{|(q_s*g)\left(t\right)+(q_i*(\mathrm{\δ}-g))\left(t\right)|},$

其中，q_i(t)、q_s(t)和q_f(t)分别是经配准的图像、方向和合并后的四元数，g(t)是低通滤波器，卷积运算符*表示将所述四元数的每个分量与卷积核进行卷积，以及||是四元数范数，并且其中，所述卷积使用的离散卷积模板所具有的抽头数目等于

其中，f_r是视频的帧速率，σ是标准差。

20.根据权利要求11所述的系统，还包括：

用于预处理所述连续图像，以便在所述图像之间使得所述图像的亮度的平均差和标准差均衡的模块。

Images