CN104902142A - 一种移动终端视频的电子稳像方法 - Google Patents

Abstract

本发明公开了一种移动终端视频的电子稳像方法，在移动终端摄像过程中，当摄像头由于干扰产生无意识抖动时，利用移动终端内的姿态传感器获得的数据计算出摄像头的运动数据，并将这些数据通过换算得到每一帧图像的运动矢量，根据运动矢量对每一帧图像进行平移及旋转操作后输出显示，从而达到稳像的效果。由于本发明由移动终端内置姿态传感器直接获得运动矢量，省略了一般电子稳像在获取运动矢量时花费较大和因存在误匹配而有误差的运动估计环节，因此本发明具有更高的实时性与更强的抗干扰能力。

Description

一种移动终端视频的电子稳像方法

技术领域

本发明属于视频处理技术领域，更具体地，涉及一种移动终端视频的电子稳像方法。

背景技术

稳像技术在军事领域、民用测绘以及摄影系统中都有广泛应用。相比其他信息形式，图像具有信息更加直观且信息含量丰富的特点，但是由于成像系统工作时要受到其载体的姿态变化或震动的影响，导致获得的图像信息模糊和不稳定，极大的限制了图像信息的有效性。通过稳像技术能消除或者减少摄像载体运动对图像的影响，大大提高获取图像信息的质量。视频稳像一般包括以下几个步骤：视频帧预处理、运动估计、运动补偿和输出稳像视频。

电子稳像近几年的发展主要集中在PC平台上，而移动终端作为平台的电子稳像方法却很少有提及，主要原因就是传统的运动估计算法由于计算量较大很难移植到计算能力小的移动终端上，运动估计一直是视频稳像中研究的热点和难点，首先为了达到视频输出的效果，每秒钟帧数必须达到要求，同时为了达到稳像效果，必须得到正确的运动矢量，如何快速而准确的获得运动矢量往往是视频稳像的核心难点。现有的运动矢量获取一般是由算法实现的，运行平台多为PC平台，比如吴浩，邓宏彬在文献“一种基于分块灰度投影运动估计的视频稳像方法.兵工学报.2013(04)”中，分块灰度投影运动估计的视频稳像方法依据灰度梯度对子区域进行筛选，剔除容易导致错误运动估计的低对比度子区域，然后对保留的子区域进行灰度投影及相关运算获得局部运动矢量，根据图像帧间运动模型由局部运动计算出图像的全局运动矢量，最后根据运动补偿矢量对图像进行补偿，以获得稳定的图像序列，该方法有一定的稳像效果。此类利用算法估计帧运动矢量的方法由于运动矢量估计计算花费大，不适合移植到计算能力相对小的移动终端上，同时误匹配会使运动矢量估计存在误差等等，快速性和准确性一般。

发明内容

针对现有技术的缺陷，本发明提供了一种移动终端视频的电子稳像方法，其目的在于避免由于无意识的抖动造成的视频帧间模糊，提高了稳像精度和速度。

本发明提供了一种移动终端视频的电子稳像方法，通过内置于移动终端的姿态传感器获得所述移动终端晃动时姿态传感器的运动数据，并对所述运动数据进行处理获得摄像头视频中每一帧的图像运动矢量，再根据所述图像运动矢量对每一帧图像进行平移或旋转操作，从而实现稳像；其中，对所述运动数据进行处理具体为：根据姿态传感器的旋转角度以及姿态传感器与摄像头的相对位置关系，获得摄像头的旋转角度；并根据摄像头的旋转角度获得图像运动矢量。其中，通过姿态传感器获得运动数据的具体步骤如下：

(1)通过设置姿态传感器的波特率对所述姿态传感器进行初始化处理；

(2)当所述姿态传感器输出一组数据时，获得该组数据中表示姿态传感器三轴角速度以及时间的部分；

(3)对角速度进行关于时间的积分处理获得姿态传感器的旋转角度，旋转角度包括横滚角、俯仰角和航向角。

更进一步地，对所述运动数据进行处理的具体步骤为：

根据姿态传感器的旋转角度以及姿态传感器与摄像头的相对位置关系，获得摄像头的旋转角度，姿态传感器和摄像头之间的角度转化关系为：θ＝θ'、γ＝γ'、ψ＝ψ'；

根据摄像头的旋转角度获得图像运动矢量，摄像头旋转和图像运动之间的对应关系为其中，θ、γ、ψ分别表示摄像头的俯仰角、横滚角、航向角方向上的旋转角度，θ'、γ'、ψ'分别表示姿态传感器的俯仰角、横滚角、航向角方向上的旋转角度，dz_T、dy_T、φ分别表示图像在竖直方向上的位移、图像在水平方向上的位移、图像在图像平面内的旋转角度。

更进一步地，根据所述图像运动矢量对每一帧图像进行平移操作具体为：当图像有位移时，根据 $\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& \mathrm{\Δ}x\\ 0& 1& \mathrm{\Δ}y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$ 对图像进行平移操作；其中(x₁,y₁)表示对图像进行平移操作前某一像素点的坐标，(x₂,y₂)表示对图像进行平移操作后对应像素点的坐标，Δx、Δy分别表示图像需要在图像的x、y方向上移动的距离。

更进一步地，根据所述图像运动矢量对每一帧图像进行旋转操作具体为：当图像有航向角时，根据 $\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\φ}& sin\mathrm{\φ}& 0\\ -sin\mathrm{\φ}& cos\mathrm{\φ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$ 对图像进行旋转操作；其中(x₁,y₁)表示对图像进行旋转操作前某一像素点的坐标，(x₂,y₂)表示对图像进行旋转操作后对应像素点的坐标，φ表示图像在图像平面内的旋转角度。

更进一步地，所述电子稳像方法还包括输出稳像帧步骤：对图像运动矢量进行卡尔曼滤波，根据原平移分量与滤波后的平移分量的差值确定感兴趣区域；并将所述感兴趣区域的图像作为稳定帧输出。

其中，所述感兴趣区域的尺寸与摄像头获取图片的尺寸一样。

本发明利用姿态传感器测算数据直接换算得到图像的运动矢量，根据运动矢量对图像进行运动补偿，从而达到稳像的目的。该方法具有很好的理论依据及实际操作价值，有效降低了利用算法估计运动矢量的复杂度和难度，具有更高的精度，方法的快速性与准确性较强，更容易移植到移动终端为视频的后续处理与信息提取提供可靠保障。

本发明优点具体体现在：

(1)平行安装的姿态传感器和摄像头保证了载体姿态变化和振动对两者的位移量和旋转角度的变化存在一定的量化关系，方便从姿态传感器的位移量和旋转角度换算得到摄像头的位移及旋转角度；

(2)根据摄像头与图像之间的对应关系，由摄像头的位移及旋转角度换算得到图像的运动矢量；

(3)本发明的核心是利用姿态传感器的位移及旋转角度与摄像头位移与旋转角度之间的对应的关系，由姿态传感器的测量值直接计算出摄像头的位移及旋转量，进而计算出图像的运动矢量，避免了由算法估计图像运动矢量的复杂度和难度，具有更高的速度和精度。

附图说明

图1为基于移动终端内置姿态传感器的视频电子稳像方法示意图；

图2为姿态传感器沿俯仰角方向旋转对摄像头影响的示意图；

图3为摄像头位移对图像影响的示意图，图3(a)为摄像头沿自身y轴方向位移，图3(b)为摄像头沿自身x轴方向位移；

图4为摄像头旋转对图像影响的示意图，图4(a)为摄像头沿俯仰角方向旋转，图4(b)为摄像头沿航向角方向旋转；

图5为基于移动终端内置姿态传感器获取运动矢量的视频稳像方法流程图；

图6为姿态传感器获取图像运动矢量的流程图；

图7为图像补偿方法示意图，图7(a)为图像平移补偿方法，图7(b)为图像旋转补偿方法；

图8为存放图像的缓存刷新示意图；

图9为获取输出帧提取区域方法的示意图；

图中所有符号的物理含义解释如下：xyz为摄像头的坐标系，x'y'z'为姿态传感器的坐标系，θ、γ、ψ分别为摄像头的俯仰角、横滚角、航向角，θ'、γ'、ψ'分别表示姿态传感器的俯仰角、横滚角、航向角，L_x、L_y、L_z分别表示姿态传感器和摄像头在x、y、z方向上的距离；L_x和L_y分别表示姿态传感器与摄像头中心在x方向和y方向上的距离，dx和dy分别为姿态传感器延z'轴旋转θ'角度后，摄像头在自身x和y方向上的位移，θ表示姿态传感器延z'轴旋转θ'角度后，摄像头旋转的角度；S为物距，s为相距，O为景物中一点，o和o'分别为摄像头延自身y轴平移dy前后O在图像上的投影；中σ_y为摄像头在xoy方向上的视场角大小，S和s分别为物距和相距，景物中距视场边缘距离L_B为l的一点O在摄像头延自身x轴平移dx前后，在图像上的投影分别为o和o'；γ为摄像头产生的俯仰角大小，σ_z为摄像头在xoz平面上的视场角大小，l_z为摄像头的CCD在xoz平面上的长度；ψ为摄像头产生的航向角大小，φ表示图像自身产生的旋转角度；(x₁,y₁)表示对图像进行操作前某一像素点的坐标，(x₂,y₂)表示对图像进行平移操作后对应像素点的坐标，Δx、Δy分别表示对图像进行平移操作时图像需要在图像的x、y方向上移动的距离，φ表示对图像进行旋转操作时图像在图像平面内的旋转角度；为由姿态传感器旋转角速度积分换算得到的位移矢量，为经过卡尔曼滤波得到的矢量，与相减得到矢量将尾部置于缓存中心，箭头所指位置即为目标稳像帧的中心。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明涉及一种移动终端电子稳像方法，适用于视频采集过程中由于无意识的抖动造成的视频帧间模糊的视频稳像，为视频的后期处理及信息获取提供保障。

本发明提供一种基于移动终端内置姿态传感器的视频电子稳像方法，利用计算直接获取运动矢量，避免了利用算法估计运动运动矢量的复杂度和难度，降低了复杂度和难度，提高了稳像精度和速度。

在该方法下，当摄像头在连续采集图像的同时，姿态传感器也在不断对测得的角速度进行积分，同时将积分得到的角度换算成对应图像的运动矢量，根据各帧图像的运动矢量对每一帧图像进行补偿，选取补偿后图像的感兴趣部分作为稳像帧输出，从而达到稳像的目的。

本发明基于移动终端内置姿态传感器的视频电子稳像方法的内涵是：在视频成像系统中，移动终端上的摄像头和姿态传感器平行安装，当载体产生振动和姿态角变化时，会使摄像头的光轴产生相应角振动，从而导致各帧图像之间有不同程度的偏移，造成视觉上的视频模糊。通过姿态传感器获取姿态传感器自身的位移以及旋转角度，因为姿态传感器与摄像头平行安装，因此姿态传感器的位移及旋转角度与摄像头的位移及旋转角度之间存在一定的变换关系，所以可以利用姿态传感器获得的旋转角度及位移量换算得到摄像头的位移及旋转角度，进而换算出图像的运动矢量，最后通过运动补偿输出稳定图像来达到稳像效果。

移动终端中存在最多的姿态传感器为陀螺仪，而现有最多的移动终端为手机因此下面以手机和陀螺仪为例对本发明进行介绍。

在本发明实施例中，陀螺仪本身的坐标系定义为第一坐标系，其中第一坐标系包括x'轴、y'轴和z'轴，将陀螺仪自身所定义的x、y、z方向的加速度方向定义为x'轴、y'轴和z'轴；摄像头的坐标系定义为第二坐标系，第二坐标系包括x轴、y轴和z轴，将摄像头的拍摄方向定义为x轴，摄像头的正上方定义为y轴，摄像头的右方定义为z轴。

在本发明实施例中，陀螺仪位移及旋转角度与摄像头位移及旋转角度之间存在的转换关系说明如下：

陀螺仪位移及旋转与摄像头位移及旋转角度之间的关系，可以由陀螺仪旋转和位移两个方面分别分析。

(1)陀螺仪位移对摄像头的影响

因为陀螺仪与摄像头平行共轴安装，因此当陀螺仪产生沿自身x'、y'、z'轴分别为dx'、dy'、dz'的位移时，摄像头的对应变化同样为沿自身x、y、z轴位移dx、dy、dz的长度，即：dx＝dx'(1)，dy＝dy'(2)，dz＝dz'(3)

(2)陀螺仪旋转对摄像头的影响

陀螺仪旋转对摄像头的影响也可分为两个方面分析，图2是陀螺仪产生角度为θ'的俯仰角的旋转角度前后陀螺仪和摄像头的位置关系，L_x和L_y分别表示陀螺仪与摄像头中心在x方向和y方向上的距离，dx和dy分别为陀螺仪沿z'轴旋转θ'角度后，摄像头在自身x和y方向上的位移，θ表示陀螺仪沿z'轴旋转θ'角度后，摄像头旋转的角度。由几何关系可知：

$dy=\sqrt{L_x^2+L_y^2}sin({\mathrm{\θ}}^{\′}+arctan\frac{L_y}{L_x})-L_y---\left(4\right)$

$dx=\sqrt{L_x^2+L_y^2}cos({\mathrm{\θ}}^{\′}+arctan\frac{L_y}{L_x})-L_x---\left(5\right)$

θ＝θ'        (6)

同理可以得到当陀螺仪绕自身y'轴旋转γ'角度后，摄像头的位置及姿态角变化为：

$dz=L_z-\sqrt{L_x^2+L_z^2}sin({\mathrm{\γ}}^{\′}+arctan\frac{L_z}{L_x})---\left(7\right)$

$dx=\sqrt{L_x^2+L_z^2}cos({\mathrm{\γ}}^{\′}+arctan\frac{L_z}{L_x})-L_x---\left(8\right)$

γ＝γ'       (9)

当陀螺仪绕自身x'轴旋转ψ'角度后，摄像头的位置及姿态角变化为：

$dy=\sqrt{L_y^2+L_z^2}sin({\mathrm{\Ψ}}^{\′}+arctan\frac{L_y}{L_z})-L_y---\left(10\right)$

$dz=L_z-\sqrt{L_y^2+L_z^2}cos({\mathrm{\Ψ}}^{\′}+arctan\frac{L_y}{L_z})---\left(11\right)$

ψ＝ψ'       (12)

综合陀螺仪位移对摄像头的影响以及陀螺仪旋转对摄像头的影响可知：摄像头的位移与陀螺仪的位移及旋转角度的关系可由以下几个公式表示：

$dx={\mathrm{dx}}^{\′}+\sqrt{L_x^2+L_y^2}cos({\mathrm{\θ}}^{\′}+arctan\frac{L_y}{L_x})+\sqrt{L_x^2+L_z^2}cos({\mathrm{\γ}}^{\′}+arctan\frac{L_z}{L_x})-2L_x---\left(13\right)$

$dy={\mathrm{dy}}^{\′}+\sqrt{L_x^2+L_y^2}\sin ({\mathrm{\θ}}^{\′}+arctan\frac{L_y}{L_x})+\sqrt{L_z^2+L_y^2}\sin ({\mathrm{\ψ}}^{\′}+arctan\frac{L_y}{L_z})-2L_y---\left(14\right)$

$dz={\mathrm{dz}}^{\′}-\sqrt{L_x^2+L_z^2}\sin ({\mathrm{\γ}}^{\′}+arctan\frac{L_z}{L_x})+\sqrt{L_y^2+L_z^2}cos({\mathrm{\ψ}}^{\′}+arctan\frac{L_y}{L_z})+2L_z---\left(15\right)$

摄像头的旋转角度与陀螺仪的关系可由公式(6)、(9)、(12)表示。

在本发明实施例中，图像的位移及旋转与摄像头位移及旋转角度之间存在的转换关系说明如下：

(1)摄像头位移对图像变化的影响

图3(a)为摄像头沿自身y轴方向位移dy前后摄取景物及图像变化的xoy平面截面图，图中物距为S，相距为s，景物中一点O在摄像头沿自身y轴平移dy前后，在图像上的投影分别为o和o'，则o'在图像中相对o移动的距离dy_T可以用下面方式求取：

由相似三角形可知： $\frac{S}{S+s}=\frac{dy}{{\mathrm{dy}}_T+dy}---\left(16\right)$

对公式(16)化简可得到：

同理可以得到当摄像头沿自身z轴方向产生大小为dz的位移时，图像产生同方向大小为dz_T的平移：

图3(b)为摄像头沿自身x轴方向位移dx前后摄取景物及图像变化的xoy平面截面图，在xoy方向上的视场角大小为σ_y，图中物距为S，相距为s，景物中距视场边缘距离L_B为l的一点O在摄像头沿自身x轴平移dx前后，在图像上的投影分别为o和o'，则o'在图像中相对o移动的距离dx_T可以用下面方式求取：

首先根据位移后的相距大小以及视场角大小来求取位移前后在y方向的实际取景长度L及L_N： $L=2Stan\frac{{\mathrm{\σ}}_y}{2}---\left(19\right);L_N=2(S-dx)tan\frac{{\mathrm{\σ}}_y}{2}---\left(20\right);$ 则位移后O点在新的景物中距离视场边缘的距离将公式(19)和公式(20)代入公式(21)得到L_BN的表达式为：

$L_{BN}=l-dxtan\frac{{\mathrm{\σ}}_y}{2}---\left(22\right)$

由相似三角形可以知道位移前后点O在图像中投影o和o'与图像边缘的距离：图像中图像沿y方向的位移为：dy_T＝L_TN-L_T  (25)；

将公式(22)、(23)、(24)代入公式(25)得到图像沿y方向的位移为：

${\mathrm{dy}}_T=\frac{sdx(l-Stan\frac{{\mathrm{\σ}}_y}{2})}{S(S-dx)}---\left(26\right)$

同理可以得到当摄像头沿自身x轴方向产生大小为dz的位移时，图像产生同方向大小为dz_T的平移： ${\mathrm{dz}}_T=\frac{sdx(l-Stan\frac{{\mathrm{\σ}}_z}{2})}{S(S-dx)}---\left(27\right).$

(2)摄像头旋转对图像变化的影响

图4(a)为摄像头绕自身y轴旋转γ前后摄取景物及图像变化的xoz平面截面图，摄像头在xoz平面上的视场角大小为σ_z，摄像头的CCD在xoz平面上的长度为l_z，可以看到当摄像头绕自身y轴旋转在图像上表现为沿z方向平移，两者之间的关系为：

${\mathrm{dz}}_T=l_z\frac{\mathrm{\γ}}{{\mathrm{\σ}}_z}---\left(28\right)$

同理可以得到摄像头绕自身z轴旋转θ时，在图像上表现为沿y方向平移dy_T，摄像头在xoz平面上的视场角大小为σ_z，摄像头的CCD在xoy平面上的长度为l_y，则dy_T和θ之间的关系为：

${\mathrm{dy}}_T=l_y\frac{\mathrm{\θ}}{{\mathrm{\σ}}_y}---\left(29\right)$

图4(b)为摄像头绕自身x轴旋转ψ前后图像的变化情况，当摄像头绕自身x轴旋转ψ时，图像绕自身旋转φ，两者之间的关系为：

φ＝ψ      (30)

综合上述可以知道摄像头平移旋转对图像的影响为：

${\mathrm{dz}}_T=\frac{sdz}{S}+\frac{sdx(l-Stan\frac{{\mathrm{\σ}}_z}{2})}{S(S-dx)}+l_z\frac{\mathrm{\γ}}{{\mathrm{\σ}}_z}---\left(31\right)$

${\mathrm{dy}}_T=\frac{sdy}{S}+\frac{sdx(l-Stan\frac{{\mathrm{\σ}}_y}{2})}{S(S-dx)}+l_y\frac{\mathrm{\θ}}{{\mathrm{\σ}}_y}---\left(32\right)$

摄像头绕自身x轴旋转角度ψ与图像绕自身旋转角度φ之间的关系由公式(30)表示。一般情况下在摄像过程中，相距s远小于物距S，即s＜＜S，因此公式(31)和公式(32)的前两项可以忽略，分别近似为公式(28)和公式(29)，即摄像头的平移对图像不造成影响。

根据陀螺仪运动对摄像头的影响以及摄像头运动对图像的影响，我们可以得到陀螺仪运动对图像的影响，由于摄像头的平移不对图像造成影响，而陀螺仪平移对摄像头的影响表现为摄像头平移相同距离，因此陀螺仪平移不对图像造成影响，当且仅当陀螺仪旋转角度发生变化时，图像才会发生变化，将公式(6)、(9)、(12)分别代入公式(29)、(28)、(30)得到以下关系： ${\mathrm{dz}}_T=l_z\frac{{\mathrm{\γ}}^{\′}}{{\mathrm{\σ}}_z}---\left(33\right);{\mathrm{dy}}_T=l_y\frac{{\mathrm{\θ}}^{\′}}{{\mathrm{\σ}}_y}---\left(34\right);\mathrm{\φ}={\mathrm{\Ψ}}^{\′}---\left(35\right).$

图5示出了基于陀螺仪的手机电子稳像方法流程图，具体实施步骤如下：

步骤1：摄像头实时获取一帧图像。

步骤2：通过陀螺仪获取与所述一帧图像相同时刻的运动矢量作为该图像的运动矢量，为了保证实时性同时为了尽量减小误差，在获取、处理、输出图像的整个稳像过程中，陀螺仪均在获取运动矢量，但只有一帧图像被获取时，才提取同时刻的运动矢量作为图像运动矢量。

图6示出了陀螺仪获取图像运动矢量的流程图，具体步骤如下：

(1)陀螺仪初始化。

陀螺仪在运行之前需首先对陀螺仪的一些参数进行设置，其中最主要的参数是陀螺仪的波特率，波特率的大小直接影响到陀螺仪数据的输出速率，波特率越大，陀螺仪的数据输出速率越快，获得的数据越多，计算结果更精确，但同时计算的花费也更大，所以波特率并不是越大越好，需要按自身的需求去设定波特率，只要能准确地获取陀螺仪实时地旋转角度即可，所以对于振动频率较低的视频只需选取较低的波特率，而对于振动频率较高的视频，要达到较好的稳像效果则需选取较高的波特率。当陀螺仪完成初始化后，陀螺仪会连续输出数据，为了获取实时并且准确的运动矢量，之后需要对输出的数据进行实时处理，即达到陀螺仪输出一组数据时就对该组数据进行处理来获取我们需要的运动矢量。

(2)当陀螺仪输出一组数据时，取出数据中表示陀螺仪三轴角速度以及时间的部分。

陀螺仪的数据是一组一组封装好的数据包，每一组数据表示一个时刻陀螺仪的各个状态，一组数据一般包括以下几个部分：

(2.1)字头，字头是一组数据的开头，一般获取数据就是通过字头来确定一组数据的开头；

(2.2)标志位，同种陀螺仪可以有不同状态，不同状态下陀螺仪各种数据的量程是不同的，标志位就是用来表示不同的陀螺仪状态；

(2.3)计时器，用来表示该组数据被取出时对应的时刻，每个数据周期中，计时器不断递增，满值为2ⁿ，n为计时器数据在一组数据中所占的位数，当记录的时间超过满值溢出时则从0重新开始；

(2.4)角速度，表示陀螺仪当前绕自身三轴旋转的角速度；

(2.5)现加速度，表示陀螺仪在三方向上的线速度，这组数据在有的陀螺仪里使用线加速度代替；

(2.6)温度，表示陀螺仪所处环境当前的温度。

(2.7)校验和，一组数据的结尾，通过校验和可以知道一组数据是否正确被接受。

由公式(33)、(34)、(35)可以知道，对图像运动造成影响的只有陀螺仪的旋转角度，因此只需每组数据中取出时间和旋转角度部分即可。

(3)对角速度进行积分得到陀螺仪的实时旋转角度。

取出的时间和角速度是2进制数，不能直接计算，在计算之前需将时间和角速度转换为实际值，根据标志位确定时间和角速度的转换量程然后进行转换，对角速度进行积分即得到陀螺仪的旋转角度。陀螺仪获取的时间是获取本组数据时所处的时刻，并不是获取本组数据所花的时间，因此不能拿获得时间直接进行积分，可以通过计算本次数据获取时刻与上次数据获取时刻的差值来确定获取本组数据所花的时间，在前面对计时器进行介绍时已经提到了当计时器数据溢出时会从0重新计时，因此会存在后一次的时刻小于前一次的时刻的情况，这种情况下可以在后一次的计数值上加上计时器满值2ⁿ，再与前一次计时器的时刻相减得到获取本组数据所花的时间，再转换获得获取本组数据所花时间的实际值。

(4)根据实时旋转角度计算图像运动矢量。

根据公式(33)、(34)、(35)，将陀螺仪的旋转角度换算成图像运动矢量。

在对陀螺仪进行初始化后，不断重复步骤(2)至(4)，即可达到对图像运动矢量进行实时计算的目的，当图像需要获取其运动矢量时，只需取出产生图像对应时刻所计算出的图像运动矢量即可。

步骤3：根据图像运动矢量通过对图像进行平移、旋转操作实现运动补偿。

由公式(33)、(34)、(35)可以知道，图像的运动矢量包含三个部分：dz_T、dy_T、φ，其中dz_T表示图像在竖直方向上要平移的量，dy_T表示图像在水平方向上要平移的量，φ表示图像将要旋转的角度。所以当陀螺仪测量之中航向角、横滚角、俯仰角发生变化时，图像的对应的操作分别为旋转、水平移动、竖直移动。

根据陀螺仪换算出的图像运动矢量中的平移部分实际是图像在摄像头内CCD平移的距离，该距离是带长度单位的，而图像平移则是平移多少个像素长度，要知道两者之间的换算关系必须知道面阵CCD的大小以及摄像头的最大分辨率，以2/3CCD，最大分辨率1024*768为例，2/3CCD的靶面尺寸为宽8.8mm*高6.6mm，若在CCD上图像水平移动1mm，则图像实际移动像素点个数为1mm*1024/8.8mm，通过这种方式换算出图像的平移像素点个数，得到了像素点平移数和旋转角度，接下来进行的就是根据像素点平移数和旋转角度对图像平移和旋转。

对图像的操作实际就是对像素点的操作，图7(a)为图像平移示意图，当图像产生大小为Δx和Δy的位移时，对像素点的操作为：

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& \mathrm{\Δ}x\\ 0& 1& \mathrm{\Δ}y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]---\left(36\right)$

图7(b)为图像旋转示意图，当图像旋转角度φ时，对像素点的操作为：

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\φ}& sin\mathrm{\φ}& 0\\ -sin\mathrm{\φ}& cos\mathrm{\φ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]---\left(37\right)$

对图像完成平移及旋转操作后，将图像放入缓存，如图8所示，通过对每一帧平移和旋转后放入缓存的方式来不断刷新缓存。

步骤4：对图像运动矢量进行卡尔曼滤波，根据原平移分量与滤波后的平移分量的差值确定感兴趣区域，每次输出稳像帧时，我们都需要选取缓存中一定区域内的图像作为输出，我们把该区域称为感兴趣区域。其中，该感兴趣区域的尺寸与摄像头获得图片的尺寸一样。

为了获取稳定的视频，必须不断从缓存取得合适区域取出图像作为稳像帧作为输出，如果是对于固定目标的稳像，那么只需要每次从缓存的中心区域取出固定大小的图像作为输出即可，但是如果摄像本身带有一些有意运动则需要用另外一种方法来获取输出的稳定帧，图9为保留有意运动获取稳像帧方法，为由陀螺仪旋转角速度积分换算得到的位移矢量，为经过卡尔曼滤波得到的矢量，与相减得到矢量将尾部置于缓存中心，箭头所指位置即为目标稳像帧的中心。

步骤5：取出感兴趣区域的图像作为稳定帧输出。

不断重复步骤1至5即可输出稳定的稳像后的视频，从而达到稳像的目的。本方法与一般的稳像方法的不同点在于本方法省略了一般稳像方法的运动估计环节，以陀螺仪测量的航向角、横滚角、俯仰角直接换算的到图像补偿时所用的图像运动矢量，这种方法的好处在于陀螺仪直接测量比运动估计相比大大的节省了获取运动矢量所需时间，同时也对运行平台的计算量要求更小，因此可以应用于计算能力相对小的移动终端。其次通过运动估计获取图像运动矢量要求相邻两帧之间需要有重合部分，当抖动剧烈时，该方法就会失效，而陀螺仪没有此限制。综上所述，本方法比一般的稳像方法好。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种移动终端视频的电子稳像方法，其特征在于，通过内置于移动终端的姿态传感器获得所述移动终端晃动时姿态传感器的运动数据，并对所述运动数据进行处理获得摄像头视频中每一帧的图像运动矢量，再根据所述图像运动矢量对每一帧图像进行平移或旋转操作，从而实现稳像。

2.如权利要求1所述的电子稳像方法，其特征在于，所述姿态传感器包括：陀螺仪、地磁传感器和加速度传感器。

3.如权利要求2所述的电子稳像方法，其特征在于，通过姿态传感器获得运动数据的具体步骤如下：

(1)通过设置姿态传感器的波特率对所述姿态传感器进行初始化处理；

(2)当所述姿态传感器输出一组数据时，获得该组数据中表示姿态传感器三轴角速度以及时间的部分；

(3)对角速度进行关于时间的积分处理获得姿态传感器的旋转角度，旋转角度包括横滚角、俯仰角和航向角。

4.如权利要求3所述的电子稳像方法，其特征在于，对所述运动数据进行处理的具体步骤为：

根据姿态传感器的旋转角度以及姿态传感器与摄像头的相对位置关系，获得摄像头的旋转角度，姿态传感器和摄像头之间的角度转化关系为：θ＝θ'、γ＝γ'、ψ＝ψ'；

根据摄像头的旋转角度获得图像运动矢量，摄像头旋转和图像运动之间的对应关系为 ${\mathrm{dz}}_T=l_z\frac{\mathrm{\γ}}{{\mathrm{\σ}}_z},$ ${\mathrm{dy}}_T=l_y\frac{\mathrm{\θ}}{{\mathrm{\σ}}_y},$ φ＝ψ；

其中，θ、γ、ψ分别表示摄像头的俯仰角、横滚角、航向角方向上的旋转角度，θ'、γ'、ψ'分别表示姿态传感器的俯仰角、横滚角、航向角方向上的旋转角度，dz_T、dy_T、φ分别表示图像在竖直方向上的位移、图像在水平方向上的位移、图像在图像平面内的旋转角度。

5.如权利要求1所述的电子稳像方法，其特征在于，根据所述图像运动矢量对每一帧图像进行平移操作具体为：当图像有位移时，根据 $\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& \mathrm{\Δ}x\\ 0& 1& \mathrm{\Δ}y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$ 对图像进行平移操作；

其中(x₁,y₁)表示对图像进行平移操作前某一像素点的坐标，(x₂,y₂)表示对图像进行平移操作后对应像素点的坐标，Δx、Δy分别表示图像需要在图像的x、y方向上移动的距离。

6.如权利要求1或5所述的电子稳像方法，其特征在于，根据所述图像运动矢量对每一帧图像进行旋转操作具体为：当图像有航向角时，根据 $\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\φ}& sin\mathrm{\φ}& 0\\ -sin\mathrm{\φ}& cos\mathrm{\φ}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$ 对图像进行旋转操作；

其中(x₁,y₁)表示对图像进行旋转操作前某一像素点的坐标，(x₂,y₂)表示对图像进行旋转操作后对应像素点的坐标，φ表示图像在图像平面内的旋转角度。

7.如权利要求1-6任一项所述的电子稳像方法，其特征在于，所述电子稳像方法还包括输出稳像帧步骤：

对图像运动矢量进行卡尔曼滤波，根据原平移分量与滤波后的平移分量的差值确定感兴趣区域；并将所述感兴趣区域的图像作为稳定帧输出。

8.如权利要求7所述的电子稳像方法，其特征在于，所述感兴趣区域的尺寸与摄像头获取图片的尺寸一样。