CN100440933C - 一种用于手持数码摄像设备的防抖方法及装置 - Google Patents

Abstract

本发明涉及手持数码摄像设备的视频防抖。本发明公开的一种用于手持数码摄像设备的防抖方法及装置，包括：1)首先对图像序列进行运动估计，然后进行抖动发生的判断，如果当前帧的非零有效运动矢量占全部运动矢量的比例大于某个阈值则认为发生了抖动，需要进行抖动补偿；否则保持原图像而不进行补偿；2)抖动发生时，即通过图像的当前帧的各个局部运动矢量估计当前帧的仿射变换系数；3)对当前帧进行防抖动(仿射)变换并与参考帧合并成变换帧之后再继续进行编码。本发明应用于数码摄像机、摄像头等视频采集装置中。装置包括运动估计单元、编码单元、熵编码单元、运动补偿单元、缓存单元，变换系数计算单元；仿射变换单元；局部运动滤除单元。

Description

一种用于手持数码摄像设备的防抖方法及装置

技术领域

本发明涉及手持数码摄像设备图像处理方法，具体涉及手持数码摄像设备的视频防抖方法。本发明还涉及手持数码摄像设备的视频防抖装置。

背景技术

随着科技的进步和发展，手持数码摄像设备越来越多的进入人们的生活，然而由于人体结构的自然因素，肘腕关节不可避免的轻微运动都会给摄像的结果带来抖动，另外由于手持设备的自身存储限制一般都需要实时的视频压缩编码。本项发明就是利用了视频压缩编码的运动估计模块来进行防抖，将防抖与视频编码相结合既减少了防抖的代价又提高了视频压缩的效率。

现阶段的防抖系统主要分为两大类：光学防抖和电子防抖。光学防抖是通过镜头内置的仪器感应相机的抖动，再通过调整镜头内透镜的位置而达到防抖效果。光学防抖技术通常用于高端的数码相机和数码摄像机中。电子防抖，是通过电子手段来对图像进行处理，以减轻抖动对成像的影响。目前，电子防抖主要有三种实施手段，自动提高ISO感光度/电子图像压缩/BSS模式。CCD(Charge Coupled Device电荷耦合元件)防抖的原理就是将CCD安置在一个可以上下左右移动的支架上，先检测出是否有抖动，由于使用陀螺传感器，抖动的检测与其他公司基本相同。然后传感器检测出抖动的方向、速度、移动量等信号，经过处理计算出可以足以抵消抖动的CCD移动量。电子防抖由于造价低廉，通常用于低端的数码相机和数码摄像机中。

由此可见，光学防抖和电子防抖两种技术各有优缺点。光学防抖技术的防抖效果好，可以充分利用CCD的采集像素，但是需要透镜运动补偿装置，因此造价相对较高。电子防抖无需透镜运动补偿装置，造价低廉，实现简单，但是降低CCD的利用率；而采用CCD补偿方法则需要额外的CCD移动装置，也一定程度提高了造价。无论是光学防抖还是电子防抖，多数方法都需要一个运动的传感器-抖动补偿陀螺仪来感知运动的方向和强度，从而采用光学方法和电子方法进行补偿。

发明内容

本发明的目的是提供一种造价低、CCD(Charge Coupled Device电荷耦合元件)利用率高、实现容易的用于手持数码摄像设备的防抖方法。本发明的目的还提供一种手持数码摄像设备的视频防抖装置。

为了达到上述目的，本发明采取以下方案：1)首先对图像序列进行运动估计，然后进行抖动发生的判断，如果当前帧的非零有效运动矢量占全部运动矢量的比例大于某个阈值则认为发生了抖动，需要进行抖动补偿；否则保持原图像而不进行补偿；2)抖动发生时，即通过图像的当前帧的各个局部运动矢量估计当前帧的仿射变换系数并进行仿射变换及局部运动滤除；3)对当前帧进行防抖动或仿射变换并与参考帧合并成变换帧之后再继续进行编码。

其中，所述运动估计包括：

1)运动估计模块输入为第i帧图像和第i-1帧图像作为参考图像，输出为第i帧图像相对于第i-1帧图像的运动矢量；

2)运动估计方法采用基于视频压缩方法中的运动估计方法，即以块和宏块为单位而进行运动估计，通过运动估计获取图像中每个宏块或块的运动矢量。

其中，所述当前帧的变换系数计算及仿射变换和局部运动滤除操作包括：

<1>首先将运动估计得到的矢量矩阵MV转换成成对的像素点坐标，当前帧的当前点坐标为(X1，Y1)，运动矢量为MV(MVx1，MVy1)，则对应前一帧的像素点为(Xref1，Yref1)有：

Xref1＝X1+MVx1；

Yref1＝Y1+MVy1；

<2>其次求解抖动变换系数，当摄像头发生抖动时能够认为两帧图象间类似于发生了仿射变换，从而有：

Xref1＝a*X1+b*Y1+e；

Yref1＝c*X1+d*Y1+f；

当认为只发生旋转和平移的抖动而不考虑镜头缩放的抖动时能够简化为：

Xref1＝a*X1+b*Y1+e；

Yref1＝-b*X1+a*Y1+f；

由运动估计得到的矢量矩阵结合该点的坐标我们可以建立矩阵方程：

$\left[\begin{array}{c}\mathrm{Xref}1\\ \mathrm{Yref}1\\ \mathrm{Xref}2\\ \mathrm{Yref}2\\ \&CenterDot;\\ \&CenterDot;\\ \mathrm{Xrefn}\\ \mathrm{Yrefn}\end{array}\right]=\left[\begin{array}{cc}a& b\\ -b& a\end{array}\right]*\left[\begin{array}{c}X1\\ Y1\\ X2\\ Y2\\ \&CenterDot;\\ \&CenterDot;\\ \mathrm{Xn}\\ Y1\end{array}\right]+\left[\begin{array}{c}e\\ f\end{array}\right]$

变换如下：

$\left[\begin{array}{cccc}X1& Y1& 1& 0\\ Y1& -X1& 0& 1\\ X2& Y2& 1& 0\\ Y2& -X2& 0& 1\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \mathrm{Xn}& \mathrm{Yn}& 1& 0\\ \mathrm{Yn}& -\mathrm{Xn}& 0& 1\end{array}\right]*\left[\begin{array}{c}a\\ b\\ e\\ f\end{array}\right]=\left[\begin{array}{c}\mathrm{Xref}1\\ \mathrm{Yref}1\\ \mathrm{Xref}2\\ \mathrm{Yref}2\\ \&CenterDot;\\ \&CenterDot;\\ \mathrm{Xrefn}\\ \mathrm{Yrefn}\end{array}\right]$

可以看成如下形式：

AX＝b

其中：

$A=\left[\begin{array}{cccc}X1& Y1& 1& 0\\ Y1& -X1& 0& 1\\ X2& Y2& 1& 0\\ Y2& -X2& 0& 1\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \mathrm{Xn}& \mathrm{Yn}& 1& 0\\ \mathrm{Yn}& -\mathrm{Xn}& 0& 1\end{array}\right]$ $b=\left[\begin{array}{c}\mathrm{Xref}1\\ \mathrm{Yref}1\\ \mathrm{Xref}2\\ \mathrm{Yref}2\\ \&CenterDot;\\ \&CenterDot;\\ \mathrm{Xrefn}\\ \mathrm{Yrefn}\end{array}\right]$ $X=\left[\begin{array}{c}a\\ b\\ e\\ f\end{array}\right]$

求解得到(X)：

X＝[A^TA]^-1A^Tb

即可得到变换系数(a b e f)

<3>再次，滤除局部运动，利用计算出的变换系数对运动矢量矩阵得到的像素点对进行重新计算得到的(Xrefi’，Yrefi’)与对应的(Xrefi，Yrefi)比较误差，对于任意一个坐标误差大于预定数目个像素的点对认为是局部运动块所在的位置，从而进行了去除；然后利用剩下的n’个点对重新进行步骤<2>中的运算得到相对准确的全局变换系数。

其中，所述运动补偿包括：利用全局变换系数对当前帧进行变换，即用仿射变换和插值将当前帧中的点变换到新的变换帧上，切除位于图像坐标外的点，对于没有的点用参考帧上的点补齐，此时得到当前帧的变换帧与参考帧的误差只有局部运动而消除了全局抖动。

手持数码摄像设备的防抖装置，包括运动估计单元、编码单元、熵编码单元、运动补偿单元、缓存单元，转换开关，该开关用于将当前帧运动估计结果的信息送入编码单元，或送入变换系数计算单元、仿射变换单元；变换系数计算单元，用于求解当前帧的仿射变换系数，它的一端通过转换开关与运动估计单元连接，另一端与仿射变换单元连接；仿射变换单元，用于消除当前帧可能存在的抖动，它通过转换开关接所述编码单元；局部运动滤除单元，用于判断当前帧是否发生了抖动并消除全局抖动中的局部运动，它分别接仿射变换单元和变换系数计算单元。

手持数码摄像设备的防抖装置，包括运动估计单元一、编码单元、熵编码单元、运动补偿单元、缓存单元，还增设一个运动估计单元二，该单元的一端与仿射变换单元连接，另一端通过转换开关与编码单元连接；变换系数计算单元，用于求解当前帧的仿射变换系数，它的一端与运动估计单元一连接，另一端与仿射变换单元连接；仿射变换单元，用于消除当前帧可能存在的抖动，它接增设的运动估计单元二；局部运动滤除单元，用于判断当前帧是否发生了抖动并消除全局抖动中的局部运动，它分别接仿射变换单元和变换系数计算单元。

1)与已有技术相比，由于采用以上方案，本发明无需外接运动传感器，抖动补偿陀螺仪，完全通过数字图像处理方法实现抖动的估计、抖动图像的补偿，有效解决了平移，旋转甚至焦距变换过程中发生的抖动。2)实现简单、CCD利用率高、且价格低廉。3)本发明对于手持摄像设备能够在进行编码的同时进行防抖处理，尤其是对出现旋转的防抖处理。

附图说明

图1是本发明只有一个运动估计单元的结构示意图；

图2是本发明两个运动估计单元的结构示意图；

图3是本发明当发生抖动时当前帧与参考帧之间的关系与运动矢量示意图；

图4是本发明当前帧仿射变换与插值后的结构示意图；

图5是本发明变换后的当前帧与参考帧合并成的变换帧示意图；

图6是本发明参考帧示意图；

图7是本发明抖动发生的当前帧其中人物向前行进存在局部运动示意图；

图8是本发明合并后的变换帧示意图。

图中：K1、K2、转换开关；1、K1、K2、K3的位置1；2、K1、K2、K3的位置2；3、运动估计单元；4、变换系数计算单元；5、局部运动滤除单元；6、仿射单元；7、熵编码单元；8、编码单元；9、运动补偿单元；10、缓存单元；11、增设的运动估计单元。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明提出的防抖方法无需外加运动补偿传感器获得运动状态，而是引入了视频编码技术的运动估计方法，其中，图像的抖动相当于发生了仿射变换，从而通过运动估计方法计算出每帧的全局抖动的变换系数。即通过当前帧的各个局部运动矢量(MV₁，MV₂，...MV_N)，估计当前帧的仿射变换系数(a，b，c，d，e，f)。对当前帧进行防抖动(仿射)变换并与参考帧合并成变换帧之后再继续进行编码。

实施例一：如图1所示，本装置采用在视频编码器中增加一个变换系数计算单元4，一个仿射变换单元6，一个局部运动滤除单元5以及两个转换开关K1、K2。在防抖装置工作时，两个开关K1、K2先置于位置1，此时对当前帧先进行运动估计。变换系数计算单元4对运动估计得到的运动矢量进行仿射变换系数的计算。仿射变换单元6利用得到的变换系数进行仿射变换。局部运动滤除单元5滤除全局抖动中存在的局部运动。图1中虚线表示转换开关K1、K2由局部运动滤除单元来控制的。

在运动估计单元3的结果中判断有效运动矢量(不包含0运动矢量)占全部运动矢量的比例小于某个阈值，则认为不存在全局抖动或运动量过大超出了抖动的范围。此时进行正常的编码等后续工作不再进行防抖动的处理。该阈值一般选取2/3。当不存在全局抖动时将两个转换开关K1、K2置于位置2。这种情况下对运动估计的结果直接进行视频编码器的其他编码工作。

当运动估计单元输出非0有效运动矢量占整个运动矢量数目的比例大于某个阈值时，认为存在全局抖动(该阈值一般选取2/3)，当局部运动滤除单元中不存在坐标误差大于预定数目个像素的点对时认为不存在局部运动。此时则将当前帧直接进行仿射变换后与参考帧合并成变换帧，然后将两个转换开关K1、K2置于位置2利用变换帧进行视频编码器中完整的视频编码过程。

当存在全局抖动并且有局部运动时则滤除局部运动后的运动矢量进行变换系数的计算，然后将当前帧利用求得的变换系数进行仿射变换后与参考帧合并成变换帧，然后将两个开关K1、K2置于位置2利用变换帧进行视频编码器中完整的视频编码过程。

其中，所述运动估计单元3包括：

运动估计单元3输入为第i帧图像和第i-1帧图像作为参考图像。输出为第i帧图像相对于第i-1帧图像的运动矢量。

运动估计方法能够采用基于视频压缩方法中的运动估计方法，以块和宏块为单位而进行运动估计。这时通过运动估计可以获取图像中每个宏块或块的运动矢量。

本发明采用MPEG和H.26X视频编码标准中的运动估计单元直接应用到本发明的运动估计单元3。这些方法已经可以很容易实现，直接应用。

由于目前MPEG和H.26X等视频编码标准中都有运动估计单元，本发明可以直接采用符合这些标准的视频编码器中的运动估计单元。所以本发明可以很容易的融合到视频编码器中。

所述变换系数计算单元4的功能包括：

<1>首先将运动估计得到的矢量矩阵MV转换成成对的像素点坐标，当前帧的当前点坐标为(X1，Y1)，运动矢量为MV(MVx1，MVy1)，则对应前一帧的像素点为(Xref1，Yref1)有：

Xref1＝X1+MVx1；

Yref1＝Y1+MVy1；

<2>其次求解抖动变换系数，当摄像头发生抖动时能够认为两帧图象间类似于发生了仿射变换，从而有：

Xref1＝a*X1+b*Y1+e；

Yref1＝c*X1+d*Y1+f；

当认为只发生旋转和平移的抖动而不考虑镜头缩放的抖动时能够简化为：

Xref1＝a*X1+b*Y1+e；

Yref1＝-b*X1+a*Y1+f；

由运动估计得到的矢量矩阵结合该点的坐标我们可以建立矩阵方程：

$\left[\begin{array}{c}\mathrm{Xref}1\\ \mathrm{Yref}1\\ \mathrm{Xref}2\\ \mathrm{Yref}2\\ \&CenterDot;\\ \&CenterDot;\\ \mathrm{Xrefn}\\ \mathrm{Yrefn}\end{array}\right]=\left[\begin{array}{cc}a& b\\ -b& a\end{array}\right]*\left[\begin{array}{c}X1\\ Y1\\ X2\\ Y2\\ \&CenterDot;\\ \&CenterDot;\\ \mathrm{Xn}\\ Y1\end{array}\right]+\left[\begin{array}{c}e\\ f\end{array}\right]$

变换如下：

$\left[\begin{array}{cccc}X1& Y1& 1& 0\\ Y1& -X1& 0& 1\\ X2& Y2& 1& 0\\ Y2& -X2& 0& 1\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \mathrm{Xn}& \mathrm{Yn}& 1& 0\\ \mathrm{Yn}& -\mathrm{Xn}& 0& 1\end{array}\right]*\left[\begin{array}{c}a\\ b\\ e\\ f\end{array}\right]=\left[\begin{array}{c}\mathrm{Xref}1\\ \mathrm{Yref}1\\ \mathrm{Xref}2\\ \mathrm{Yref}2\\ \&CenterDot;\\ \&CenterDot;\\ \mathrm{Xrefn}\\ \mathrm{Yrefn}\end{array}\right]$

可以看成如下形式：

AX＝b

其中：

$A=\left[\begin{array}{cccc}X1& Y1& 1& 0\\ Y1& -X1& 0& 1\\ X2& Y2& 1& 0\\ Y2& -X2& 0& 1\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \mathrm{Xn}& \mathrm{Yn}& 1& 0\\ \mathrm{Yn}& -\mathrm{Xn}& 0& 1\end{array}\right]$ $b=\left[\begin{array}{c}\mathrm{Xref}1\\ \mathrm{Yref}1\\ \mathrm{Xref}2\\ \mathrm{Yref}2\\ \&CenterDot;\\ \&CenterDot;\\ \mathrm{Xrefn}\\ \mathrm{Yrefn}\end{array}\right]$ $X=\left[\begin{array}{c}a\\ b\\ e\\ f\end{array}\right]$

求解得到(X)：

X＝[A^TA]^-1A^Tb

即可得到变换系数(a b e f)

所述仿射变换单元6的功能包括：

1)当运动估计单元输出非0有效运动矢量占整个运动矢量数目的比例大于某个阈值时，认为存在全局抖动(该阈值一般选取2/3)。当存在全局抖动情况下，利用变换系数计算单元4输出的变换系数对运动矢量矩阵得到的像素点对进行仿射变换的计算(Xrefi’，Yrefi’)输出到局部运动滤除单元5。

2)参见图3-图5，由图3可见，当抖动发生时当前帧与参考帧之间既存在水平与垂直方向上的偏移也存在旋转的偏差，我们可以将其看作发生了仿射变换。从而利用相对应的运动矢量来求取全局运动的变换系数。利用全局变换系数对当前帧进行变换，即用仿射变换和插值将当前帧中的点进行变换(见图4)，所述插值的方法可用最邻近插值法，线性插值法，三次B样条插值法等；切除位于图像坐标外的点，对于没有的点用参考帧上的点补齐生成变换帧(见图5)，进行视频编码操作。同样，图6-图8描述了存在局部运动时的抖动消除，其中图6表示参考帧，图7为存在全局抖动和局部运动(行人的移动)的当前帧，图8为利用滤除局部运动后得到的变换系数进行仿射变换和插值后切除位于图像坐标外的点并与参考帧合并得到的变换帧。此时得到当前帧的变换帧与参考帧的误差只有局部运动而消除了大量的全局抖动。由于变换帧与参考帧的误差很小所以继续进行编码得到的残差相应变小，从而也提高了压缩效率。

所述局部运动滤除单元5的功能如下：

1)当存在全局抖动情况下，利用仿射变换单元6输出的(Xrefi’，Yrefi’)与对应的(Xrefi，Yrefi)比较误差，由于坐标的单位就是像素，所以对于任意一个坐标误差大于Δ数目个像素的点对认为是局部运动块所在的位置，从而进行了去除。然后利用剩下的n’个点对，重新进行上述变换系数计算单元4步骤<2>中的运算得到相对准确的全局变换系数。其中Δ选取最小运动估计块大小的1/2，例如选用了8*8的运动估计块则Δ选取为8*1/2＝4。

2)当滤除局部运动矢量后的非0有效运动矢量占全部运动估计输出的非0有效运动矢量的比例小于某个阈值时，则认为不存在全局抖动或运动量过大超出了抖动的范围。此时控制两个转换开关K1、K2置于位置2进行正常的编码等后续工作不再进行防抖动的处理。该阈值一般选取2/3。

图1所示的装置中由于只有一个运动估计单元，防抖处理和视频编码都需要使用，所以虽然节省了装置但是需要两个开关来切换，为了更好的满足在快速处理，我们提出了如图2所示的装置，本装置采用在视频编码器之前增设一个运动估计单元11，一个变换系数计算单元4，一个仿射变换单元6，一个局部运动滤除单元5以及一个转换开关K3。此时虽然比实施例一增加了一个运动估计单元11，但是减少了一个开关。所述增设的一个运动估计单元11一端与仿射变换单元6连接，另一端通过转换开关K3与编码单元连接；变换系数计算单元4，用于求解当前帧的仿射变换系数，它的一端与运动估计单元3连接，另一端与仿射变换单元6连接；仿射变换单元6，用于消除当前帧可能存在的抖动，它与增设的运动估计单元11相连；局部运动滤除单元5，用于判断当前帧是否发生了抖动并消除全局抖动中的局部运动，它分别与仿射变换单元6和变换系数计算单元4相连。图2中虚线表示转换开关K3由局部运动滤除单元来控制的。

在防抖装置工作时，开关K3先置于位置2，此时对当前帧先进行运动估计。变换系数计算单元4对运动估计得到的运动矢量进行仿射变换系数的计算。仿射变换单元6利用得到的变换系数进行仿射变换。局部运动滤除单元5滤除全局抖动中存在的局部运动。

在增设的运动估计单元11的结果中判断有效运动矢量(不包含0运动矢量)占全部运动矢量的比例小于某个阈值，则认为不存在全局抖动或运动量过大超出了抖动的范围。此时进行正常的编码等后续工作不再进行防抖动的处理。该阈值一般选取2/3。当不存在全局抖动时将开关K3置于位置1。这种情况下对运动估计的结果直接进行视频编码器的其他编码工作。

当运动估计单元输出非0有效运动矢量占整个运动矢量数目的比例大于某个阈值时，认为存在全局抖动(该阈值一般选取2/3)，当局部运动滤除单元中不存在坐标误差大于预定数目个像素的点对时认为不存在局部运动。此时则将当前帧直接进行仿射变换后与参考帧合并成变换帧，开关K3保持在位置2，然后利用变换帧进行视频编码器中完整的视频编码过程。

当存在全局抖动并且有局部运动时则滤除局部运动后的运动矢量进行变换系数的计算，然后将当前帧利用求得的变换系数进行仿射变换后与参考帧合并成变换帧，开关K3保持在位置2，利用变换帧进行视频编码器中完整的视频编码过程。

其中，所述运动估计单元3的功能与实施例一相同；所述增设的运动估计单元11的功能与实施例一中运动估计单元3相同。

其中，所述变换系数计算单元4的功能与实施例一相同。

所述仿射变换单元6的功能与实施例一相同。

所述局部运动滤除单元5的功能如下：

1)利用仿射变换单元6输出的(Xrefi’，Yrefi’)与对应的(Xrefi，Yrefi)比较误差，由于坐标的单位就是像素，所以对于任意一个坐标误差大于Δ数目个像素的点对认为是局部运动块所在的位置，从而进行了去除。然后利用剩下的n’个点对，重新进行上述变换系数计算单元步骤<2>中的运算得到相对准确的全局变换系数。其中Δ选取最小运动估计块大小的1/2，例如选用了8*8的运动估计块则Δ选取为8*1/2＝4。

2)当滤除局部运动矢量后的非0有效运动矢量占全部运动估计输出的非0有效运动矢量的比例小于某个阈值时，则认为不存在全局抖动或运动量过大超出了抖动的范围。此时控制开关K3置于位置1进行正常的编码等后续工作不再进行防抖动的处理。该阈值一般选取2/3。

Claims (6)

1、一种用于手持数码摄像设备的防抖方法，其特征在于包括：1)首先对图像序列进行运动估计，然后进行抖动发生的判断，如果当前帧的非零有效运动矢量占全部运动矢量的比例大于某个阈值则认为发生了抖动，需要进行抖动补偿；否则保持原图像而不进行补偿；2)抖动发生时，即通过图像的当前帧的各个局部运动矢量估计当前帧的仿射变换系数并进行仿射变换及局部运动滤除；3)对当前帧进行防抖动或仿射变换并与参考帧合并成变换帧之后再继续进行编码。

2、如权利要求1所述的一种用于手持数码摄像设备的防抖方法，其特征在于：

所述运动估计方法采用基于视频压缩方法中的运动估计方法，即以块和宏块为单位而进行运动估计，通过运动估计获取图像中每个宏块或块的运动矢量。

3、如权利要求1所述的一种用于手持数码摄像设备的防抖方法，其特征在于所述当前帧的变换系数计算以及仿射变换和局部运动滤除操作包括：

<1>首先将运动估计得到的矢量矩阵MV转换成成对的像素点坐标，当前帧的当前点坐标为(X1，Y1)，运动矢量为MV(MVx1，MVy1)，则对应前一帧的像素点为(Xref1，Yref1)有：

Xref1＝X1+MVx1；

Yref1＝Y1+MVy1；

<2>其次求解抖动变换系数，当摄像头发生抖动时能够认为两帧图象间类似于发生了仿射变换，从而有：

Xref1＝a*X1+b*Y1+e；

Yref1＝c*X1+d*Y1+f；

当认为只发生旋转和平移的抖动而不考虑镜头缩放的抖动时能够简化为：

Xrefl＝a*X1+b*Y1+e；

Yref1＝-b*X1+a*Y1+f；

由运动估计得到的矢量矩阵结合该点的坐标我们可以建立矩阵方程：

$\left[\begin{array}{c}\mathrm{Xref}1\\ \mathrm{Yref}1\\ \mathrm{Xref}2\\ \mathrm{Yref}2\\ .\\ .\\ \mathrm{Xrefn}\\ \mathrm{Yrefn}\end{array}\right]=\left[\begin{array}{cc}a& b\\ -b& a\end{array}\right]*\left[\begin{array}{c}X1\\ Y1\\ X2\\ Y2\\ .\\ .\\ \mathrm{Xn}\\ Y1\end{array}\right]+\left[\begin{array}{c}e\\ f\end{array}\right]$

变换如下：

$\left[\begin{array}{cccc}X1& Y1& 1& 0\\ Y1& -X1& 0& 1\\ X2& Y2& 1& 0\\ Y2& -X2& 0& 1\\ .& .& .& .\\ .& .& .& .\\ \mathrm{Xn}& \mathrm{Yn}& 1& 0\\ \mathrm{Yn}& -\mathrm{Xn}& 0& 1\end{array}\right]*\left[\begin{array}{c}a\\ b\\ e\\ f\end{array}\right]=\left[\begin{array}{c}\mathrm{Xref}1\\ \mathrm{Yref}1\\ \mathrm{Xref}2\\ \mathrm{Yref}2\\ .\\ .\\ \mathrm{Xrefn}\\ \mathrm{Yrefn}\end{array}\right]$

可以看成如下形式：

AX＝b

其中：

$A=\left[\begin{array}{cccc}X1& Y1& 1& 0\\ Y1& -X1& 0& 1\\ X2& Y2& 1& 0\\ Y2& -X2& 0& 1\\ .& .& .& .\\ .& .& .& .\\ \mathrm{Xn}& \mathrm{Yn}& 1& 0\\ \mathrm{Yn}& -\mathrm{Xn}& 0& 1\end{array}\right]$ $b=\left[\begin{array}{c}\mathrm{Xref}1\\ \mathrm{Yref}1\\ \mathrm{Xref}2\\ \mathrm{Yref}2\\ .\\ .\\ \mathrm{Xrefn}\\ \mathrm{Yrefn}\end{array}\right]$ $X=\left[\begin{array}{c}a\\ b\\ e\\ f\end{array}\right]$

求解得到(X)：

X＝[A^TA]^-1A^Tb

即可得到变换系数(abef)

<3>再次，滤除局部运动，利用计算出的变换系数对运动矢量矩阵得到的像素点对进行重新计算得到的(Xrefi’，Yrefi’)与对应的(Xrefi，Yrefi)比较误差，对于任意一个坐标误差大于预定数目个像素的点对认为是局部运动块所在的位置，从而进行了去除；然后利用剩下的n’个点对重新进行步骤<2>中的运算得到相对准确的全局变换系数。

<4>最后，判断当滤除局部运动矢量后的非0有效运动矢量数占全部运动估计输出的非0有效运动矢量数的比例小于某个阈值时，则认为不存在全局抖动或运动量过大超出了抖动的范围，此时直接利用运动估计模块的输出结果进行正常的编码后续工作不再进行防抖动的处理。

4、如权利要求1所述的一种用于手持数码摄像设备的防抖方法，其特征在于所述运动补偿包括：利用全局变换系数对当前帧进行变换，即用仿射变换和插值将当前帧中的点变换到新的变换帧上，切除位于图像坐标外的点，对于没有的点用参考帧上的点补齐，此时得到当前帧的变换帧与参考帧的误差只有局部运动产生的很少的误差而消除了全局抖动产生的大量误差。

5、一种手持数码摄像设备的防抖装置，包括运动估计单元、其他编码单元、熵编码单元、运动补偿单元、缓存单元，其中，运动估计单元，用于对图像序列进行运动估计，一端为图像输入，另一端通过转换开关连接变换系数计算单元或其他编码单元；其他编码单元，用于对运动估计的结果进行视频编码器的其他编码工作，分别接运动估计单元和熵编码单元；运动补偿单元，利用全局变换系数对当前帧进行变换从而消除全局抖动，一端接其他编码单元，另一端通过缓存单元与运动估计单元顺次连接，其特征在于还包括：转换开关、变换系数计算单元、仿射变换单元、局部运动滤除单元，其中，转换开关，用于将当前帧运动估计结果的信息送入编码单元，或送入变换系数计算单元、仿射变换单元；变换系数计算单元，用于求解当前帧的仿射变换系数，它的一端通过转换开关与运动估计单元连接，另一端与仿射变换单元连接；仿射变换单元，用于消除当前帧可能存在的抖动，它通过转换开关接所述编码单元；局部运动滤除单元，用于判断当前帧是否发生了抖动并消除全局抖动中的局部运动，它分别接仿射变换单元和变换系数计算单元。

6、一种手持数码摄像设备的防抖装置，包括运动估计单元一、编码单元、熵编码单元、运动补偿单元、缓存单元，其中，运动估计单元一，用于对图像序列进行运动估计，一端为图像输入，另一端接变换系数计算单元；其他编码单元，用于对运动估计的结果进行视频编码器的其他编码工作，分别接运动估计单元二和熵编码单元；运动补偿单元，用于消除全局抖动，一端接其他编码单元，另一端通过缓存单元与运动估计单元二顺次连接，其特征在于还包括：增设一个运动估计单元二，变换系数计算单元、仿射变换单元、和局部运动滤除单元，其中运动估计单元二的一端与仿射变换单元连接，另一端通过转换开关与编码单元连接；变换系数计算单元，用于求解当前帧的仿射变换系数，它的一端与运动估计单元一连接，另一端与仿射变换单元连接；仿射变换单元，用于消除当前帧可能存在的抖动，它接增设的运动估计单元二；局部运动滤除单元，用于判断当前帧是否发生了抖动并消除全局抖动中的局部运动，它分别接仿射变换单元和变换系数计算单元。

Images