CN103780833A - 摄像设备及其控制方法 - Google Patents

Abstract

本发明涉及一种摄像设备及其控制方法。该摄像设备包括：抖动检测部件，用于检测所述摄像设备的抖动；平移分量校正量计算部件，用于基于所述抖动检测部件的输出，计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；透视分量校正量计算部件，用于基于所述第一校正量，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及校正部件，用于基于所述第一校正量和所述第二校正量来校正所述图像模糊。

Description

摄像设备及其控制方法

技术领域

本发明涉及一种用于在摄像设备中使用使得图像变形的方法来校正由该摄像设备的抖动所导致的拍摄图像的模糊的技术。

背景技术

近年来，随着用于校正摄像设备的抖动的技术的发展，图像稳定功能变得普及，其中，该图像稳定功能不仅用于校正在用户处于静止状态时由照相机抖动所导致的拍摄图像的模糊，而且还用于校正在用户正行走时的拍摄中所生成的拍摄图像的模糊。当用户在行走中拍摄图像时，除水平方向和垂直方向上的拍摄图像的模糊以外，在拍摄图像中生成下面的模糊。例如，模糊包括由摄像设备围绕光轴转动所导致的拍摄图像的转动、以及在摄像设备相对于被摄体倾斜时所生成的拍摄图像呈梯形的失真。

作为用于校正在行走时的拍摄中所生成的拍摄图像的各种类型的模糊的方法，已知一种用于计算拍摄图像的图像变形量、并且使得图像变形以抵消该图像变形量的方法(参考日本特开2011-29735)。

在上述传统例子中，将由作用于摄像设备的抖动所导致的拍摄图像的变形量分解成包括平移分量(水平/垂直)、透视分量(水平/垂直)、放大/缩小分量、转动分量和剪切分量的变形分量。然后对于各分量进行滤波处理等，以计算投影变换矩阵(单应性矩阵)。然而，该方法存在以下问题。

也就是说，在上述传统例子中，由于对于变形分量各自计算校正量，因而计算量非常大并且处理复杂。此外，如果对于所有变形分量都进行校正，则最终可以输出的图像范围变小，结果导致图像质量劣化。

例如，图21示出在摄像设备围绕光轴转动时通过图像变形的图像稳定的例子。图21中的实线部分表示拍摄图像。为了校正围绕光轴的转动，围绕图像中心O转动拍摄图像。该转动操作产生图21所示的虚线图像。在这种情况下，如果输出图像具有与拍摄图像相同的范围，则图像在四个角处没有数据。因此，输出图像范围是图21所示的阴影区域。尽管图21示例示出对围绕光轴的转动的校正，但对于各变形分量，需要提供未能输出的图像区域(以下称为额外像素)。因此，图像范围变小，因而使得难以保持经过了图像稳定的视频的质量。

发明内容

本发明是考虑到上述问题而作出的，并且提供一种可以利用简单结构来最小化视频的质量劣化、并且获得良好的图像稳定效果的摄像设备。

根据本发明的第一方面，提供一种摄像设备，包括：抖动检测部件，用于检测所述摄像设备的抖动；平移分量校正量计算部件，用于基于所述抖动检测部件的输出，计算用于对由于所述抖动所引起的拍摄图像中的图像模糊的平移分量进行校正的第一校正量；透视分量校正量计算部件，用于基于所述第一校正量，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及校正部件，用于使用所述第一校正量和所述第二校正量来校正所述图像模糊。

根据本发明的第二方面，提供一种摄像设备，包括：抖动检测部件，用于检测所述摄像设备的抖动；平移分量校正量计算部件，用于计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；透视分量校正量计算部件，用于计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及计算部件，用于在计算所述第一校正量和所述第二校正量之前，基于所述抖动检测部件的输出，计算对所述平移分量和所述透视分量进行计算所需的值。

根据本发明的第三方面，提供一种摄像设备，包括：抖动检测部件，用于检测所述摄像设备的抖动；光学校正量计算部件，用于基于所述抖动检测部件的输出，计算作为用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行光学校正的校正量的光学校正量；光学校正部件，用于基于所述光学校正量，光学地校正由于所述抖动而在所述拍摄图像中生成的图像模糊；平移分量电子校正量计算部件，用于计算作为用于对由于所述抖动而在所述拍摄图像中生成的图像模糊的平移分量进行电子校正的校正量的电子校正量；透视分量校正量计算部件，用于基于所述光学校正量和所述电子校正量，计算用于对所述图像模糊的透视分量进行校正的透视校正量；以及校正部件，用于基于所述电子校正量和所述透视校正量，校正所述图像模糊。

根据本发明的第四方面，提供一种摄像设备的控制方法，所述控制方法包括以下步骤：检测所述摄像设备的抖动；基于检测到的所述抖动，计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；基于检测到的所述抖动，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及基于所述第一校正量和所述第二校正量，校正所述图像模糊，其中，使用所述第一校正量来计算所述第二校正量。

根据本发明的第五方面，提供一种摄像设备的控制方法，所述控制方法包括以下步骤：检测所述摄像设备的抖动；计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及在计算所述第一校正量和所述第二校正量之前，基于检测到的所述抖动，计算对所述平移分量和所述透视分量进行计算所需的值。

根据本发明的第六方面，提供一种摄像设备的控制方法，所述控制方法包括以下步骤：检测所述摄像设备的抖动；基于检测到的所述抖动，计算作为用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行光学校正的校正量的光学校正量；使用所述光学校正量，光学地校正由于所述抖动而在所述拍摄图像中生成的图像模糊；计算作为用于对由于所述抖动而在所述拍摄图像中生成的图像模糊的平移分量进行电子校正的校正量的电子校正量；基于所述光学校正量和所述电子校正量，计算用于对所述图像模糊的透视分量进行校正的透视校正量；以及基于所述电子校正量和所述透视校正量，校正所述图像模糊。

通过以下参考附图对实施例的说明，本发明的其它特征将显而易见。

附图说明

图1是示出作为根据本发明第一实施例的摄像设备的例子的摄像机的结构的例子的框图；

图2A和2B是用于说明针孔照相机模型的图；

图3是示出根据第一实施例的图像变形量计算单元的结构的例子的框图；

图4是示出作为根据第二实施例的摄像设备的例子的摄像机的结构的例子的框图；

图5是示出根据第二实施例的图像变形量计算单元的结构的例子的框图；

图6是示出根据第三实施例的图像变形量计算单元的结构的例子的框图；

图7是示出作为根据第四实施例的摄像设备的例子的摄像机的结构的例子的框图；

图8是示出根据第四实施例的图像变形量计算单元的结构的例子的框图；

图9是示出根据第五实施例的图像变形量计算单元的结构的例子的框图；

图10是示出根据第五实施例的图像变形量计算单元的结构的另一例子的框图；

图11是示出根据第六实施例的图像变形量计算单元的结构的例子的框图；

图12是示出根据第六实施例的图像变形量计算单元的结构的另一例子的框图；

图13是示出作为根据第七实施例的摄像设备的例子的摄像机的结构的例子的框图；

图14是示出根据第七实施例的图像变形量计算单元的结构的例子的框图；

图15是示出作为根据第八实施例的摄像设备的例子的摄像机的结构的例子的框图；

图16是示出根据第八实施例的图像变形量计算单元的结构的例子的框图；

图17是示出根据第八实施例的图像变形量计算单元的结构的另一例子的框图；

图18是示出根据第九实施例的图像变形量计算单元的结构的例子的框图；

图19A和19B是用于说明根据本发明的实施例的“抖动”的定义的图；

图20A～20F是用于说明根据本发明的实施例的“模糊”的定义的图；以及

图21是用于说明模糊校正的传统方法的问题的图。

具体实施方式

下面参考附图详细说明本发明的实施例。

首先说明实施例中所使用的术语的定义。在各实施例的说明中，“抖动”表示作用于摄像设备上的移动，并且“模糊”表示由作用于摄像设备上的抖动所导致的拍摄图像的变形。在这些实施例中，如图19A和19B所示，“抖动”通常用来指横摆、俯仰和滚动方向上的三个“转动抖动”和水平、垂直和光轴方向上的三个“平行抖动”(移位抖动)。另一方面，如图20A～20F所示，“模糊”通常表示包括平移分量(水平/垂直)、转动分量、透视分量(水平/垂直)、放大/缩小分量和剪切分量的变形分量。

第一实施例

图1是示出作为根据本发明第一实施例的摄像设备的例子的摄像机的结构的框图。下面详细说明图1所示的摄像设备100的组件和它们的操作的例子。

角速度传感器102将作用于摄像设备100上的抖动检测为角速度信号，并且将角速度信号提供给A/D转换器103。A/D转换器103将来自角速度传感器102的角速度信号转换成数字信号，并且将其作为角速度数据提供给μCOM(微处理器)101中的图像变形量计算单元200。

摄像光学系统120进行诸如变焦或调焦等的操作，并且在图像传感器123上形成被摄体图像。变焦编码器119检测摄像光学系统120中的变倍光学系统121的位置(变焦位置)，并且将其输出给μCOM101中的图像变形量计算单元200。

图像变形量计算单元200使用角速度数据和变焦编码器119的输出来计算用于校正拍摄图像的模糊的图像变形量，并且将所计算出的图像变形量设置在图像变形单元127中。稍后将详细说明图像变形量计算单元200的处理。

图像传感器123将通过摄像光学系统120所形成的被摄体图像转换成作为拍摄图像信号的电信号，并且将其提供给信号处理单元124。信号处理单元124根据通过图像传感器123所获得的信号生成符合例如NTSC格式的视频信号，并且将其提供给图像存储器125。

图像变形单元127基于图像变形量计算单元200所计算出的图像变形量、通过使存储在图像存储器125中的图像变形来校正拍摄图像的模糊，并且将校正后的图像输出给记录控制单元128和显示控制单元130。显示控制单元130输出从图像变形单元127所提供的视频信号，并且使得显示装置131显示该图像。显示控制单元130驱动显示装置131。显示装置131通过LCD(液晶显示器)等显示该图像。

如果用于指示开始或结束记录所使用的操作单元(未示出)指示记录视频信号，则记录控制单元128将从图像变形单元127所提供的视频信号输出给记录介质129，并且使得记录介质129记录视频信号。记录介质129是诸如半导体存储器等的信息记录介质或者诸如硬盘等的磁性记录介质。

图像变形单元127使用诸如投影变换等的几何变换进行图像变形。更具体地，以(X0，Y0)表示变形之前的图像(存储在图像存储器125中的图像)中的像素坐标(注意，将与摄像光学系统120的光轴相对应的拍摄图像的中心设置为原点)，并且以(X1，Y1)表示变形之后的图像(图像变形单元127的输出图像)中的像素坐标。在这种情况下，可以如下通过齐次坐标系表示图像变形。

$\left[\begin{array}{c}X1\\ Y1\\ 1\end{array}\right]~\left[\begin{array}{ccc}h1& h2& h3\\ h4& h5& h6\\ h7& h8& 1\end{array}\right]\left[\begin{array}{c}X0\\ Y0\\ 1\end{array}\right]...\left(1\right)$

表达式(1)左侧和右侧具有等价关系(即使左侧或右侧乘以任意数，意义保持不变)。如果使用通常的等号，则可以将表达式(1)改写为：

$X1=\frac{h1X0+h2Y0+h3}{h7X0+h8Y0+1}...\left(2\right)$

$Y1=\frac{h4X0+h5Y0+h6}{h7X0+h8Y0+1}...\left(3\right)$

在表达式(1)中，通常将3×3矩阵称为投影变换矩阵。图像变形量计算单元200设置该矩阵的元素h1～h8。注意，在下面的说明中，图像变形单元127使用投影变换进行图像变形。然而，可以使用诸如仿射变换等的任何变形方法。

现详细说明图像变形量计算单元200所进行的处理。图像变形量计算单元200使用根据角速度传感器102的输出所计算出的摄像设备的抖动角度和变焦编码器119所计算出的摄像光学系统120的焦距，计算图像变形单元127的图像变形量。更具体地，计算表达式(1)中的投影变换矩阵。

下面说明用于使用抖动角度和摄像光学系统120的焦距来计算投影变换矩阵的方法。

图2A示出被摄体在使用针孔照相机模型的摄像设备的摄像面上的投影。参考图2A，XYZ空间坐标系的原点(0，0，0)对应于针孔照相机模型的针孔位置。如果将摄像面配置在针孔位置的后方，则投影在摄像面上的图像倒立。因此，在图2A中，将摄像面I虚拟地配置在针孔位置的前方，从而使得图像不会倒立，并且因而便于被处理。

摄像面I和XYZ空间坐标系的原点(0，0，0)之间在Z方向上的距离是焦距f。将摄像面I上的坐标定义为uv平面坐标。假定uv平面坐标系中的原点(0，0)与XYZ空间坐标系中的(0，0，f)一致。uv平面坐标系中的坐标点P(u，v)表示将XYZ空间坐标系中的被摄体位置A(X，Y，Z)投影在摄像面I上时所获得的坐标点。如下给出坐标点P。

$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}f\frac{X}{Z}\\ f\frac{Y}{Z}\end{array}\right]...\left(4\right)$

使用齐次坐标系，可以如下改写等式(4)。

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]~\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]...\left(5\right)$

在本实施例的说明中，表达式(5)中的3×4矩阵的第四列中的元素保持0，并且因此将表达式(5)简化为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]~\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]...\left(6\right)$

图2B示出通过将图2A所示的针孔照相机模型转动R所获得的针孔照相机模型。图2B示出通过将图2A所示的XYZ空间坐标系转动R所获得的X'Y'Z'空间坐标系。假定X'Y'Z'空间坐标系的原点(0，0，0)与XYZ空间坐标系的原点一致。也就是说，图2B通过使用针孔照相机模型，简单示出在摄像设备中生成转动抖动R但是没有生成平行抖动的状态。

在图2B所示的针孔照相机模型中，如图2A一样，将摄像面I'配置在与原点(0，0，0)相距焦距f的距离处。将摄像面I'上的坐标定义为u'v'平面坐标。假定u'v'平面坐标系的原点(0，0)与X'Y'Z'空间坐标系中的(0，0，f)一致。u'v'平面坐标系中的坐标点P'(u'，v')表示将X'Y'Z'空间坐标系中的被摄体位置A'(X'，Y'，Z')投影在摄像面I'上时所获得的坐标点。注意，在世界坐标系中，图2A中的被摄体A和图2B中的被摄体A'处于相同位置(也就是说，被摄体处于静止)。如表达式(6)一样，使用齐次坐标系，如下给出坐标点P'。

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]~\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]...\left(7\right)$

在世界坐标系中，被摄体A和A'处于相同位置处，因而如下给出被摄体A和A'的坐标点之间的关系。

$\left[\begin{array}{c}{X}^{\′}\\ Y^{\′}\\ Z^{\′}\end{array}\right]=R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]...\left(8\right)$

对表达式(6)和(7)进行变形，并且将它们代入等式(8)中导出如下表达式。

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]~\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]R{\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]...\left(9\right)$

表达式(9)表示在将针孔照相机转动R前后的摄像面上的被摄体图像的位置之间的对应关系。也就是说，表达式(9)表示在转动R所产生的抖动作用于摄像设备时摄像面上的像素的位置的移动。因此，为了校正模糊，仅需要进行变换以抵消抖动作用于摄像设备时的像素移动量。也就是说，仅需要进行变换以使得在转动R所产生的抖动作用于摄像设备时进行了移动的像素位置恢复至原始位置，由此如下给出表达式。

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]~\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]R^{-1}{\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]...\left(10\right)$

进行如下设定：R是作用于图1所示的摄像设备100的抖动，f是摄像光学系统120的焦距，并且H是用于校正模糊的投影变换矩阵。那么，如下给出H。

$H=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]R^{-1}{\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]}^{-1}...\left(11\right)$

在作用于摄像设备的转动抖动量中，以θ_y表示横摆方向上的转动抖动量，以θ_p表示俯仰方向上的转动抖动量，并且以θ_r表示滚动方向上的转动抖动量。在这种情况下，如下给出R。

$R=\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_y& 0& -\sin {\mathrm{\θ}}_y\\ 0& 1& 0\\ \sin {\mathrm{\θ}}_y& 0& \cos {\mathrm{\θ}}_y\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\mathrm{\θ}}_p& -\sin {\mathrm{\θ}}_p\\ 0& \sin {\mathrm{\θ}}_p& \cos {\mathrm{\θ}}_p\end{array}\right]\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_r& -\sin {\mathrm{\θ}}_r& 0\\ \sin {\mathrm{\θ}}_r& \cos {\mathrm{\θ}}_r& 0\\ 0& 0& 1\end{array}\right]...\left(12\right)$

可以使用如下的等式(13)将等式(11)中的H分解成包括平移分量

放大/缩小分量s(常数)、转动分量r(矩阵)、剪切分量k(矩阵)、透视分量的变形分量。

$H=\left[\begin{array}{cc}\mathrm{sr}& \stackrel{\→}{t}\\ {\stackrel{\→}{0}}^t& 1\end{array}\right]\left[\begin{array}{cc}k& \stackrel{\→}{0}\\ {\stackrel{\→}{0}}^t& 1\end{array}\right]\left[\begin{array}{cc}I& \stackrel{\→}{0}\\ {\stackrel{\→}{v}}^t& 1\end{array}\right]...\left(13\right)$

$r=\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right],\stackrel{\→}{t}=\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right],k=\left[\begin{array}{cc}\mathrm{\α}& \tan \mathrm{\φ}\\ 0& 1\end{array}\right],\stackrel{\→}{v}=\left[\begin{array}{c}{v}_x\\ v_y\end{array}\right],I=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],\stackrel{\→}{0}=\left[\begin{array}{c}0\\ 0\end{array}\right]$

其中，

t_x...水平平移运动量

t_y...垂直平移运动量

θ...转动角

v_x...水平透视分量

v_y...垂直透视分量

α...剪切分量的各向异性倍率

φ...剪切分量的方向角

利用等式(11)、(12)和(13)对各变形分量的等式的求解导出了如下。

t_x=f(tanθ_ycosθ_r/cosθ_p+tanθ_psinθ_r)...(14)

t_y=f(-tanθ_ysinθ_r/cosθ_p+tanθ_pcosθ_r)...(15)

θ=-θ_r...(16)

v_x=-tanθ_y/f...(17)

v_y=-tanθ_p/(f cosθ_y)...(18)

s=(cosθ_ycosθ_p)^-3/2...(19)

α=(cosθ_p/cosθ_y)^1/2...(20)

tanφ=sinθ_ysinθ_p/(cosθ_ycosθ_p)^1/2...(21)

在本实施例中，图像变形量计算单元200的处理如以下所述使得计算简化。

除在用户想要诸如平摇等操作摄像设备时以外，作用于摄像设备的转动抖动不会太大。当γ表示作用于摄像设备上的抖动的角度时，通过近似来获得cosγ=1、sinγtanγ=0和sinγsinγ=0。在这种情况下，可以通过如下等式来近似等式(14)～(21)：

t_x=f tanθ_y...(22)

t_y=f tanθ_p...(23)

θ=-θ_r...(24)

v_x=-tanθ_y/f...(25)

v_y=-tanθ_p/f...(26)

s=1...(27)

α=1...(28)

tanφ=0...(29)

在这种情况下，根据等式(27)，放大/缩小分量为1。根据等式(28)和(29)，剪切分量的各向异性倍率为1，并且剪切分量的方向角为0°。也就是说，在由于作用于摄像设备上的转动抖动而产生的拍摄图像的变形分量中，放大/缩小分量和剪切分量小于其余的变形分量。

因此，根据本实施例的图像变形量计算单元200的处理不会校正放大/缩小和剪切分量，并且仅校正平移运动、转动和透视分量。

下面参考图3所示的框图，详细说明根据本实施例的图像变形量计算单元200的组件和它们的操作的例子。注意，根据等式(22)和(25)，横摆方向上的转动抖动导致水平平移分量和水平透视分量。根据等式(23)和(26)，俯仰方向上的转动抖动导致垂直平移分量和垂直透视分量。对于由横摆方向上的转动抖动所导致的平移运动和透视分量、以及由俯仰方向上的转动抖动所导致的平移运动和透视分量，进行相同处理。因此，将仅说明用于横摆方向上的转动抖动和俯仰方向上的转动抖动其中之一的控制操作。

在图3所示的框图中，使用块201～205来计算用于校正平移运动模糊(由抖动的平移分量所引起的图像模糊)的校正量。使用块211～215来计算用于校正透视模糊(由抖动的透视分量所引起的图像模糊)的校正量。使用块221～225来计算用于校正转动模糊(由抖动的转动分量所引起的图像模糊)的校正量。

首先说明计算平移运动模糊(由抖动的平移分量所引起的图像模糊)的校正量所使用的块201～205。

在来自上述A/D转换器103的输出中，将横摆或俯仰方向上的角速度数据提供给HPF201(高通滤波器)。HPF201具有用于改变其任意频带的特性的功能。HPF201通过使角速度数据中所包含的低频成分截止，来输出高频带的信号。注意，HPF201并非是本实施例必需的，并且可以将来自A/D转换器103的输出直接提供给焦距乘法单元202。

焦距计算单元231根据上述变焦编码器119的输出来计算摄像光学系统120的焦距，并且设置焦距乘法单元202和焦距除法单元212的计算所使用的焦距。焦距乘法单元202将HPF201的输出乘以焦距计算单元231所计算出的焦距f，然后将结果输出给定心单元(centering unit)203。

当在摄像设备100的横摆或俯仰方向上生成平摇或太大而无法校正的转动抖动时，定心单元203将输入值(以下称为定心量)相加至焦距乘法单元202的输出以将校正量恢复成0。注意，定心单元203并非本实施例必需的，并且可以将来自焦距乘法单元202的输出直接提供给积分器204。

积分器204具有用于改变其任意频带的特性的功能。积分器204对来自定心单元203的输出进行积分，并且将结果提供给饱和防止控制单元205。

饱和防止控制单元205进行控制以将积分器204的输出限制成小于预定值(以下称为限制器值)的值。此外，当积分器204的输出变得接近限制器值时，饱和防止控制单元205进行控制操作，例如，向着高频侧改变HPF201的截止频率，缩短积分器204的时间常数，或者增大定心单元203的定心量。饱和防止控制单元205(平移分量校正量计算单元)的输出是最终平移运动校正量，并且将其提供给图像变形量合成单元230。

接着说明计算透视模糊(由抖动的透视分量所引起的图像模糊)所使用的块211～215。除焦距乘法单元202和焦距除法单元212的处理以外，块211～215执行与块201～205相同的处理。因此仅说明焦距除法单元212，并且省略对其余块的说明。

焦距除法单元212将HPF211的输出除以焦距计算单元231所计算出的焦距f，并且将结果提供给定心单元213。对于透视分量，根据等式(25)和(26)进行除以焦距f的除法。饱和防止控制单元215的输出是最终透视分量校正量，并且将其提供给图像变形量合成单元230。

现说明计算转动模糊(由抖动的转动分量所引起的图像模糊)的校正量所使用的块221～225。

在来自上述A/D转换器103的输出中，将滚动方向上的角速度数据提供给HPF221。HPF221具有用于改变其任意频带的特性的功能。HPF221通过使角速度数据中所包含的低频成分截止，来输出高频带的信号。注意，HPF221并非本实施例必需的，并且可以将来自A/D转换器103的输出直接提供给定心单元223。

当在摄像设备100的滚动方向上生成太大而无法校正的转动抖动时，与定心单元203和213类似，定心单元223将定心量相加至HPF221的输出。注意，定心单元223并非本实施例必需的，并且可以将来自HPF221或A/D转换器103的输出直接提供给积分器224。

积分器224具有用于改变其任意频带的特性的功能。积分器224对来自定心单元223的输出进行积分，并且将结果提供给饱和防止控制单元225。

饱和防止控制单元225进行控制以将积分器224的输出限制成小于预定限制器值的值。此外，当积分器224的输出变得接近限制器值时，饱和防止控制单元225进行控制操作，例如，向着高频侧改变HPF221的截止频率，缩短积分器224的时间常数，或者增大定心单元223的定心量。饱和防止控制单元225的输出是最终转动校正量，并且将其提供给图像变形量合成单元230。

图像变形量合成单元230对分别从饱和防止控制单元205、215和225输出的平移运动校正量、透视分量校正量和转动校正量进行合成。更具体地，根据等式(13)来计算表达式(1)中的投影变换矩阵。在这种情况下，假定放大/缩小和剪切变形量具有分别通过等式(27)、(28)和(29)表示的值。图像变形量合成单元230将所计算出的投影变换矩阵中的各元素的值输出给图像变形单元127。图像变形单元127基于图像变形量合成单元230的输出，进行利用图像变形的模糊校正。

如上所述，在本发明的第一实施例中，对于平移分量、透视分量和转动分量分别设置饱和防止控制单元205、215和225。当生成摄像设备100的过大抖动时，进行用于将各变形分量的校正量限制成小于限制器值的值的控制操作。这样可以最小化对于各变形分量所需的额外像素的数量，并且尽可能多地保持从图像变形单元127可输出的像素的数量，从而使图像质量的劣化最小化。

注意，在本实施例中，尽管使用角速度传感器102的输出来计算平移分量、透视分量和转动分量各自的校正量，但是可以进行各种修改。例如，可以使用加速度传感器，或者如日本特开2011-29735所述，可以使用用于根据图像检测运动矢量并且基于运动矢量来估计各变形分量的方法。

第二实施例

图4是示出作为根据本发明第二实施例的摄像设备的例子的摄像机的结构的框图。注意，在图4中，与图1所示相同的组件具有相同的附图标记，并且省略对其的说明。图4示出向图1所示的结构添加用于光学地校正拍摄图像的模糊的光学校正系统122(光学校正单元)和用于控制光学校正系统122的块的结构。

将A/D转换器103的输出提供给图像变形量计算单元200，并且还将其提供给图4的结构中的HPF104。HPF104具有用于改变其任意频带的特性的功能。HPF104通过使来自A/D转换器103的角速度数据所包含的低频成分截止来输出高频带的信号。当在摄像设备100中生成诸如平摇等的大转动抖动时，将HPF104的截止频率设置成比用于小转动抖动的值高的值。

灵敏度计算单元105根据变焦编码器119的输出，计算为了针对各变焦位置计算光学校正系统122的最佳驱动量所使用的系数，将HPF104的输出乘以该系数，并且将结果提供给积分器106。积分器106具有用于改变其任意频带的特性的功能。积分器106对来自灵敏度计算单元105的输出进行积分，并且将结果提供给饱和防止控制单元107。当在摄像设备100中生成诸如平摇等的大转动抖动时，将积分器106的时间常数设置成比用于小转动抖动的值短的值。

当积分器106的输出大于预定限制器值时，饱和防止控制单元107将积分器106的输出限制成小于限制器值的值，并且将限制后的输出提供给减法器108。

减法器108从饱和防止控制单元107的输出中减去通过使得A/D转换器118对用于检测光学校正系统122的位置的位置检测单元117的输出进行A/D转换所获得的数字数据，并且将作为结果的偏差数据提供给控制滤波器109。端子A113和端子A115表示它们相互电连接。端子B114和端子B116表示它们相互电连接。

控制滤波器109包括将输入数据放大预定增益的放大器以及相位补偿滤波器。从减法器108所提供的偏差数据经过控制滤波器109中的放大器和相位补偿滤波器的信号处理，然后将其输出给脉冲宽度调制单元110。

脉冲宽度调制单元110将通过控制滤波器109所提供的数据调制成改变脉冲波的占空比的波形(即，PWM波形)，并且将该波形提供给马达驱动单元111。马达112是驱动光学校正系统122所使用的音圈马达。当通过马达驱动单元111驱动马达112时，光学校正系统122在与光轴垂直的方向上移动。端子A113和端子A115表示它们相互电连接。

位置检测单元117包括磁体和设置在对着该磁体的位置处的霍尔传感器。位置检测单元117检测光学校正系统122在与光轴垂直的方向上的移动量，并且将检测结果经由A/D转换器118提供给上述减法器108。这样构成了使得光学校正系统122在与光轴垂直的方向上的移动量跟随饱和防止控制单元107的输出的反馈控制系统。将A/D转换器118的输出不仅提供给减法器108，而且还提供给图像变形量计算单元。

光学校正系统122(光学图像稳定部件)用作包括例如图像稳定透镜和用于保持图像稳定透镜的保持构件的图像稳定单元。光学校正系统122在与光轴垂直的方向上移动以使光轴偏转，从而使得能够进行图像稳定。作为光学校正系统122的移动结果，在图像传感器123上形成了如下图像，其中在该图像中，校正了由摄像设备100的抖动所导致的摄像面上的被摄体在平移运动方向上的模糊。

下面参考图5所示的框图，详细说明根据本实施例的图像变形量计算单元200的组件和它们的操作的例子。注意，在图5中，与图3所示相同的组件具有相同的附图标记，并且省略对其的说明。图5示出向图3所示的结构添加平移运动校正量转换单元240和减法器241的图像变形量计算单元200的结构。

通过使用A/D转换器118的输出，平移运动校正量转换单元240计算光学校正系统122进行了校正的摄像面上的平移运动校正量。在光学校正系统122的图像稳定处理中，可以光学地校正摄像面上的模糊的各个变形分量中的平移运动方向上的模糊。使用来自参考图2A和2B所述的角速度传感器的所有输出数据来计算平移运动校正量，结果导致过校正。在图5所示的结构中，平移运动校正量转换单元240计算光学校正系统122的平移运动校正量，并且减法器241从积分器204的输出减去所计算出的平移运动校正量。结果，图像变形单元127仅校正(电子校正)光学校正系统122无法校正的平移运动校正量。

如上所述，根据本发明的第二实施例，除第一实施例的结构以外，光学校正系统122光学地校正平移运动模糊(由抖动的平移分量所引起的图像模糊)。这样可以将平移运动方向上的变形所需的额外像素的数量限制成较小的值，并且尽可能多地保持从图像变形单元127可输出的像素的数量，从而最小化图像质量的劣化。

注意，在第二实施例中，作为光学图像稳定部件，示例性说明了光学校正系统122。然而，本发明不局限于此。例如，可以使用诸如用于驱动图像传感器123的方法和使用棱镜的方法等的各种类型的图像稳定手段。

第三实施例

下面参考附图详细说明通过根据图1所示的本发明第一实施例的摄像设备100的图像变形量计算单元200所执行的处理的第二方法。

现说明作为由作用于摄像设备上的转动抖动所导致的图像变形分量的平移分量和透视分量之间的对应关系。根据等式(22)和(25)，水平平移分量和水平透视分量均是角度θ_y的函数。此外，根据等式(23)和(26)，垂直平移分量和垂直透视分量均是角度θ_p的函数。这表示平移分量和透视分量具有对应关系。因此，在图像的变形量的计算中，通过进行控制以保持平移运动校正量和透视分量校正量之间的对应关系，可以更高精度地进行图像稳定。在图3所示的图像变形量计算单元200中，相互独立地计算平移运动校正量和透视分量校正量，并且没有考虑它们之间的对应关系。在本实施例中，进行计算的图像变形量计算单元200的处理如下所述。当在等式(22)、(23)、(25)和(26)中将焦距f设置成1时，获得了如下等式。

|t_x|=|v_x|...(30)

|t_y|=|v_y|...(31)

如等式(30)和(31)所示，平移分量和透视分量具有相同大小。也就是说，通过对于平移运动校正量和透视分量校正量以相同特性进行各种计算处理，可以保持由转动抖动所导致的平移分量的图像变形量和透视分量的图像变形量之间的对应关系。注意，对于等式(30)和(31)，将焦距f设置成1。然而，如果在各种计算处理之后进行乘以焦距f的乘法运算或者除以焦距f的除法运算，则可以获得最终的平移运动校正量和透视分量校正量。

下面参考图6所示的框图，详细说明根据本实施例的图像变形量计算单元200的组件和它们的操作的例子。注意，在图6中，与图3所示相同的组件具有相同的附图标记，并且省略对其的说明。图6示出从图3所示的结构删除了计算透视分量所使用的饱和防止控制单元215、并且通过饱和防止控制单元205来控制HPF211、积分器214和定心单元213的图像变形量计算单元200的结构。此外，焦距乘法单元202和焦距除法单元212的计算位置与图3不同。

当积分器204的输出变得接近限制器值时，饱和防止控制单元205进行控制操作，例如，向着高频侧改变HPF201的截止频率，缩短积分器204的时间常数，或者增大定心单元203的定心量。本实施例的显著特征在于：饱和防止控制单元205进行控制以使校正量衰减，从而使得平移运动校正量不会变得接近限制器值，并且还进行控制以使用于计算透视分量的校正量以相同特性衰减。也就是说，如果在例如积分器204的输出变得接近限制器值时，饱和防止控制单元205改变HPF201的截止频率，则将HPF211的截止频率改变成与HPF201的截止频率的值相同的值。或者，如果饱和防止控制单元205改变积分器204的时间常数，则将积分器214的时间常数改变成与积分器204的时间常数的值相同的值。可选地，如果饱和防止控制单元205改变定心单元203的定心量，则将定心单元213的定心量改变成与定心单元203的定心量的值相同的值。

焦距乘法单元202将通过把饱和防止控制单元205的输出乘以焦距计算单元231所计算出的焦距f所获得的最终平移运动校正量提供给图像变形量合成单元230。

焦距除法单元212将通过把积分器214的输出除以焦距计算单元231所计算出的焦距f所获得的最终透视分量校正量提供给图像变形量合成单元230。

如上所述，根据第三实施例，除第一实施例的结构以外，根据平移运动校正量来改变计算透视分量校正量所使用的衰减特性。这样使得可以保持平移运动校正量和透视分量校正量之间的对应关系。因而，可以利用更简单的结构来实现良好的图像稳定性能。注意，在第三实施例中，根据平移校正量来改变平移运动校正量的衰减特性和透视分量校正量的衰减特性。然而，可以根据透视分量校正量来改变平移运动校正量的衰减特性和透视分量校正量的衰减特性。

注意，在第三实施例中，作为用于使校正量衰减的手段，说明了HPF、积分器或者通过减去偏移的定心。然而，本发明不局限于此，并且可以使用其它滤波处理等，只要可以在平移分量校正量的计算和透视分量校正量的计算中使用相同衰减特性即可。

注意，在第三实施例中，尽管使用角速度传感器102的输出来计算平移分量、透视分量和转动分量各自的校正量，但是也可以进行各种修改。例如，可以使用加速度传感器，或者如日本特开2011-29735所述，可以使用用于从图像检测运动矢量、并且基于运动矢量来估计各变形分量的方法。

第四实施例

图7是示出作为根据本发明第四实施例的摄像设备的例子的摄像机的结构的框图。注意，在图7中，与图1和4所示相同的组件具有相同的附图标记，并且省略对其的说明。图7示出向图1所示的结构添加用于光学地校正拍摄图像的模糊的光学校正系统122和用于控制光学校正系统122的块的结构。根据图像变形量计算单元200的输出来驱动光学校正系统122。

下面参考图8所示的框图来详细说明根据本实施例的图像变形量计算单元200的组件和它们的操作的例子。注意，在图8中，与图6所示相同的组件具有相同的附图标记，并且省略对其的说明。图8所示的图像变形量计算单元200具有向图6所示的结构添加用于计算平移运动校正量的平移运动校正量分割单元250和灵敏度计算单元251的结构。

平移运动校正量分割单元250将从饱和防止控制单元205输出的平移运动校正量分割成图像变形单元127要校正的校正量和光学校正系统122要校正的校正量，并且将它们分别提供给焦距乘法单元202和灵敏度计算单元251。例如，t表示饱和防止控制单元205的输出，并且A表示图像变形单元127的校正比。在这种情况下，如下给出提供给焦距乘法单元202的校正量te和提供给灵敏度计算单元251的校正量to。

te=A×t

to=(1-A)×t(0≤A≤1)

灵敏度计算单元251根据焦距计算单元231的输出，计算为了针对各变焦位置计算光学校正系统122的最佳驱动量所使用的系数，将平移运动校正量分割单元250的输出乘以该系数，并且将结果提供给减法器108。减法器108从灵敏度计算单元251的输出中减去通过使得A/D转换器118对用于检测光学校正系统122的位置的位置检测单元117的输出进行A/D转换所获得的数字数据，并且将作为结果的偏差数据提供给控制滤波器109。灵敏度计算单元251的输出表示光学校正系统122的驱动目标位置。

焦距乘法单元202将通过把平移运动校正量分割单元250的输出乘以焦距计算单元231所计算出的焦距f所获得的最终平移运动校正量提供给图像变形量合成单元230。

这样，可以使用图像变形和光学校正系统这两者来校正图像变形分量中的平移运动模糊(由抖动的平移分量所引起的图像模糊)。

如上所述，根据第四实施例，除第三实施例的结构以外，光学校正系统122还光学地校正平移运动模糊(由抖动的平移分量所引起的图像模糊)。这样可以将平移运动方向上的变形所需的额外像素的数量限制成较小的数量，并且尽可能多地保持从图像变形单元127可输出的像素的数量，从而最小化图像质量的劣化。此外，根据平移运动校正量来改变计算透视分量校正量所使用的衰减特性。这样使得可以保持平移运动校正量和透视分量校正量之间的对应关系。因而可以利用更简单的结构来实现良好的图像稳定性能。

注意，在第四实施例中，作为光学图像稳定部件，示例性说明了光学校正系统122。然而，本发明不局限于此。例如，可以使用诸如用于驱动图像传感器123的方法和使用棱镜的方法等的各种类型的图像稳定手段。

第五实施例

下面参考附图来详细说明通过根据本发明第一实施例的图1所示的摄像设备100的图像变形量计算单元200所执行的处理的第三方法。

现说明作为由作用于摄像设备的转动抖动所导致的图像变形分量的平移分量和透视分量之间的对应关系。根据等式(22)和(25)以及等式(23)和(26)，如下给出平移分量和透视分量之间的对应关系。

|v_x|=|t_x|/f²...(32)

|v_y|=|t_y|/f²...(33)

通过等式(32)和(33)来看，可以通过将平移运动校正量除以f²来计算透视分量校正量的大小。也就是说，还可以通过计算平移运动校正量、并且将结果除以f²，来计算透视分量校正量。

下面参考图9所示的框图，详细说明根据本实施例的图像变形量计算单元200的组件和它们的操作的例子。注意，在图9中，与图3所示相同的组件具有相同的附图标记，并且省略对其的说明。图9示出从图3所示的结构删除了计算透视分量所使用的HPF211、焦距除法单元212、定心单元213、积分器214和饱和防止控制单元215、并且向图3所示的结构添加平方焦距除法单元260的图像变形量计算单元200的结构。

平方焦距乘法单元260通过将从饱和防止控制单元205输出的平移运动校正量除以f²来计算透视分量校正量，并且将结果提供给图像变形量合成单元230。这样使得可以利用比本发明第三实施例所示更简单的结构来保持平移运动校正量和透视分量校正量之间的对应关系，从而实现良好的图像稳定性能。

在图9所示的框图中，尽管通过将所计算出的平移运动校正量除以f²来计算透视分量校正量，但是也可以通过使用用于将所计算出的透视分量校正量乘以f²的方法来获得相同效果。尽管图9是示出基于图3所示的结构的图像变形量计算单元200的结构的框图，但是图像变形量计算单元200可以具有基于图6所示的结构的图10的框图所示的结构。

下面说明图10的框图。在图10中，与图6所示相同的组件具有相同的附图标记，并且省略对其的说明。图10所示的图像变形量计算单元200的结构与图6所示的结构的不同在于：删除计算透视分量所使用的HPF211、定心单元213和积分器214，并且将向着焦距除法单元212的输入从积分器214的输出改变成饱和防止控制单元205的输出。

焦距除法单元212通过将作为饱和防止控制单元205(预计算单元)的输出的乘以焦距f之前的平移校正量除以焦距f，来计算透视分量校正量，并且将结果提供给图像变形量合成单元230。类似于图9所示的结构，这样使得可以利用简单的结构来保持平移运动校正量和透视分量校正量之间的对应关系，从而实现良好的图像稳定性能。

如上所述，根据本发明的第五实施例，除第一实施例或第三实施例的结构以外，基于平移运动校正量来计算透视分量校正量，或者基于透视分量校正量来计算平移运动校正量。这样使得可以利用比第三实施例所述更简单的结构来保持平移运动校正量和透视分量校正量之间的对应关系，从而实现良好的图像稳定性能。

注意，在第五实施例中，尽管使用角速度传感器102的输出来计算平移分量、透视分量或者转动分量各自的校正量，但是也可以进行各种修改。例如，可以使用加速度传感器，或者如日本特开2011-29735所述，可以使用从图像检测运动矢量、并且基于运动矢量来估计各变形分量的方法。

第六实施例

下面参考附图来详细说明通过根据本发明第二实施例的图4所示的摄像设备100的图像变形量计算单元200所执行的处理的第二方法。如上所述，图4所示的摄像设备100具有使用图像变形单元127和光学校正系统122来校正由作用于设备的转动抖动所导致的图像变形分量中的平移运动模糊(由抖动的平移分量所引起的图像模糊)的结构。

图11是示出图4所示的摄像设备100的图像变形量计算单元200的结构的例子的框图。在图11中，与图5所示相同的组件具有相同的附图标记，并且省略对其的说明。图11示出从图5所示的结构删除了HPF211、焦距除法单元212、定心单元213、积分器214和饱和防止控制单元215、并且向图5所示的结构添加加法器270和平方焦距除法单元271的结构。

加法器270将平移运动校正量转换单元240的输出(即，摄像面上的利用光学校正系统122校正的平移运动校正量(平移运动光学校正量的计算))相加至饱和防止控制单元205的输出(平移运动电子校正量的计算)(即，利用图像变形单元127的平移运动校正量)，并且将结果提供给平方焦距除法单元271。平方焦距除法单元271通过将如下值除以f²来计算透视分量校正量，然后将结果提供给图像变形量合成单元230，其中该值是通过将光学平移运动校正量相加至电子平移运动校正量所获得并且从加法器270所输出的。平方焦距除法单元271可计算透视分量校正量的原因如参考等式(32)和(33)所述。

注意，在图11所示的框图中，图像变形单元127对光学校正系统122无法校正的平移运动校正量进行校正。然而，利用图像变形单元127的平移运动校正并非必需的。例如，图像变形量计算单元200可以具有图12所示的结构。图12示出从图11所示的结构删除了HPF201、焦距乘法单元202、定心单元203、积分器204、饱和防止控制单元205和加法器270、并且将向着平方焦距除法单元271的输入改变成来自平移运动校正量转换单元240的输出的结构。也就是说，在图12所示的结构中，仅光学校正系统122校正平移运动方向上的模糊，并且通过根据等式(32)和(33)将光学平移运动校正量除以f²来计算透视分量校正量。

如上所述，根据本发明第六实施例，光学校正系统122还光学地校正平移运动模糊(由抖动的平移分量所引起的图像模糊)，并且基于通过将光学平移运动校正量相加至电子平移运动校正量所获得的值来计算透视分量校正量。此外，如果不进行电子平移运动校正，则基于光学平移运动校正量来计算透视分量校正量。这样可以将平移运动方向上的变形所需的额外像素的数量限制成较小的数量或者0，并且尽可能多地保持从图像变形单元127可输出的像素的数量，从而最小化图像质量的劣化。此外，可以通过配置为基于平移运动校正量来计算透视分量校正量，来保持平移运动校正量和透视分量校正量之间的对应关系，从而利用更简单的结构来实现良好的图像稳定性能。

注意，在第六实施例中，作为光学图像稳定部件，示例性说明了光学校正系统122。然而，本发明不局限于此。例如，可以使用诸如用于驱动图像传感器123的方法和使用棱镜的方法等的各种类型的图像稳定手段。

第七实施例

图13是示出作为根据本发明第七实施例的摄像设备的例子的摄像机的结构的框图。注意，在图13中，与图1、4和7所示相同的组件具有相同的附图标记，并且省略对其的说明。图13示出向图4所示结构添加运动矢量检测单元126的结构。

在图13所示的摄像设备100中，信号处理单元124将视频信号提供给图像存储器125和运动矢量检测单元126。运动矢量检测单元126基于信号处理单元124所生成的当前视频信号中所包括的亮度信号和存储在图像存储器125中的紧接着的前一视场的视频信号中所包括的亮度信号，来检测图像中的运动矢量。将运动矢量检测单元126所检测到的运动矢量数据提供给图像变形量计算单元200。

下面参考图14所示的框图详细说明根据本实施例的图像变形量计算单元200的组件和它们的操作的例子。注意，在图14中，与图11所示相同的组件具有相同的附图标记，并且省略对其的说明。

参考图14，基于运动矢量检测单元126的输出来计算平移运动校正量。运动矢量检测单元126的输出包括根据当前图像和紧接着的前一视场的图像所计算出的针对一个视场的水平方向和垂直方向上的平移运动模糊(由抖动的平移分量所引起的图像模糊)的量。由于对于水平平移运动校正量的计算和水平透视分量校正量的计算进行相同处理，因而下面仅说明用于这些计算处理其中之一的控制操作。

将运动矢量检测单元126的输出(即，针对一个视场的平移运动模糊(由抖动的平移分量所引起的图像模糊)的量)提供给HPF301。HPF301具有用于改变其任意频带的特性的功能。HPF301通过使平移运动模糊(由抖动的平移分量所引起的图像模糊)的量中所包含的低频成分截止，来输出高频带的信号。注意，HPF301并非本实施例必需的，并且可以将来自运动矢量检测单元126的输出直接提供给定心单元303。

如果由于平摇等生成了太大而无法校正的图像模糊，则定心单元303将定心量相加至HPF301的输出以使得校正量恢复成0。注意，定心单元303并非本实施例必需的，并且可以将来自HPF301的输出直接提供给积分器304。

积分器304具有用于改变其任意频带的特性的功能。积分器304对来自定心单元303的输出进行积分，并且将结果提供给饱和防止控制单元305。也就是说，积分器304对一个视场的平移运动模糊(由抖动的平移分量所引起的图像模糊)的量进行积分，从而计算对平移运动模糊(由抖动的平移分量所引起的图像模糊)进行校正所需的校正量。

饱和防止控制单元305进行控制以将积分器304的输出限制成小于限制器值的值。此外，当积分器304的输出变得接近限制器值时，饱和防止控制单元305进行控制操作，例如，向着高频侧改变HPF301的截止频率，缩短积分器304的时间常数，或者增大定心单元303的定心量。饱和防止控制单元305的输出是最终平移运动校正量，并且将其提供给图像变形量合成单元230。

加法器306将平移运动校正量转换单元240的输出(即，摄像面上的利用光学校正系统122校正的平移运动校正量)相加至饱和防止控制单元305的输出(即，图像变形单元127中的平移运动校正量)，并且将结果提供给平方焦距除法单元307。平方焦距除法单元307通过将如下的值除以f²来计算透视分量校正量，并且将结果提供给透视分量校正量限制单元308，其中该值是通过将光学平移运动校正量相加至电子平移运动校正量所获得并且从加法器306所输出的。

平方焦距除法单元307可以基于平移运动校正量来计算透视分量校正量的原因如参考等式(32)和(33)所述。在无需考虑平行抖动的情况下，仅根据转动抖动推导出等式(32)和(33)。另一方面，通过相加下面的分量来获得运动矢量检测单元126所检测到的运动矢量数据：光学校正系统122校正由作用于摄像设备的转动抖动所导致的拍摄图像的平移运动模糊(由抖动的平移分量所引起的图像模糊)之后的残余模糊成分以及由作用于摄像设备的平行抖动所导致的拍摄图像的平移运动模糊(由抖动的平移分量所引起的图像模糊)的成分。由于并非平行抖动，而是由于作用于摄像设备的转动抖动而生成拍摄图像的透视分量。因此，如果使用平方焦距除法单元307的计算结果作为最终透视分量校正量来进行校正，则在平行抖动的影响大时，透视分量校正量可能不正确。

为了解决该问题，透视分量校正量限制单元308对平方焦距除法单元307的输出施加限制，以不进行比作用于摄像设备100的转动抖动所引起的透视分量大的量的校正。下面说明对透视分量校正量限制单元308的控制。

将A/D转换器103的输出中的横摆或俯仰方向上的角速度数据提供给透视分量校正量限制单元308。透视分量校正量限制单元308对一个视场的角速度数据进行积分，并且计算一个视场的抖动角度。假定θ_f表示一个视场的抖动角度。在这种情况下，使用焦距计算单元231所计算出的摄像光学系统120的焦距f，并且根据等式(25)和(26)，如下给出一个视场的透视分量(以v_f表示)。

v_f=|tanθ_f/f|...(34)

透视分量校正量限制单元308使用等式(34)计算v_f。进行如下假定：v_out(n-1)表示紧接着的前一视场的透视分量校正量限制单元308的输出，v_in(n)表示当前视场的平方焦距除法单元307的输出，并且Δv(n)表示这两个输出之间的差。在这种情况下，透视分量校正量限制单元308进行如下计算。

Δv(n)=v_in(n)-v_out(n-1)...(35)。

根据等式(34)和(35)的计算结果，透视分量校正量限制单元308根据下面的方式来确定其输出v_out(n)。

如果Δv(n)>vf，

则v_out(n)=v_out(n-1)+v_f...(36)

如果Δv(n)<-vf，

则v_out(n)=v_out(n-1)-v_f...(37)

在其它情况下，

v_out(n)=v_in(n)...(38)

如上所述，通过使得透视分量校正量限制单元308基于根据角速度传感器102的输出所计算出的转动抖动来限制透视分量校正量，可以防止在平行抖动的影响大时对透视分量的错误校正。透视分量校正量限制单元308的输出是最终透视分量校正量，并且将其提供给图像变形量合成单元230。

如上所述，根据本发明第七实施例，除角速度传感器102的输出以外，还使用运动矢量检测单元126的输出，来校正在根据第六实施例的结构中仅使用角速度传感器102的输出进行校正的平移运动模糊(由抖动的平移分量所引起的图像模糊)。这样通过使得运动矢量检测单元126检测光学校正系统122所进行的图像稳定无法校正的平移分量、并且使得图像变形单元127基于该检测结果校正该平移分量，来实现具有更高精度的图像稳定性能。此外，通过基于平移运动校正量来计算透视分量校正量，可以保持平移运动校正量和透视分量校正量之间的对应关系，从而利用更简单的结构来实现良好的图像稳定性能。在这种情况下，通过基于角速度传感器102的输出限制透视分量校正量，可以防止在平行抖动的影响大时对透视分量的错误校正。

注意，在第七实施例中，作为光学图像稳定部件，示例性说明了光学校正系统122。然而，本发明不局限于此。例如，可以使用诸如用于驱动图像传感器123的方法和使用棱镜的方法等的各种类型的图像稳定手段。

第八实施例

图15是示出作为根据本发明第八实施例的摄像设备的例子的摄像机的结构的框图。注意，在图15中，与图1和13所示相同的组件具有相同的附图标记，并且省略对其的说明。图15示出了如下结构，其中在该结构中，向图1所示的结构添加运动矢量检测单元126并且与角速度传感器102一起使用来检测抖动，从而控制图像变形单元。

参考图15，角速度传感器102检测转动方向上的抖动，但是无法检测作用于摄像设备的平行抖动。另一方面，通过相加下面的分量来获得运动矢量检测单元126所检测到的运动矢量数据。也就是说，检测包括如下两种平移运动模糊的平移运动模糊(由抖动的平移分量所引起的图像模糊)：由转动抖动所导致的图像变形分量的平移运动模糊(由抖动的平移分量所引起的图像模糊)；以及由平行抖动所导致的图像变形分量的平移运动模糊(由抖动的平移分量所引起的图像模糊)。因此，还可以考虑由平行抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)，使用运动矢量检测单元126来计算平移运动校正量，从而进行更高精度的图像稳定。

现说明透视分量校正量的计算。如上所述，可以基于平移运动校正量来计算透视分量校正量。可基于平移运动校正量来计算透视分量校正量的原因如参考等式(32)和(33)所述。在不考虑平行抖动的情况下，仅根据转动抖动推导出等式(32)和(33)。并非由于平行抖动，而是由于作用于摄像设备的转动抖动而生成拍摄图像的透视分量。因此，如果基于包括由平行抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)的平移运动校正量来计算透视分量校正量，则透视分量校正量可能存在误差，因此可能无法进行正确的校正。为了解决该问题，根据本实施例的图像变形量计算单元200通过将转动抖动与平行抖动分离来进行计算，从而仅基于转动抖动来计算透视分量校正量。

下面参考图16所示的框图详细说明根据本实施例的图像变形量计算单元200的组件和它们的操作的例子。注意，在图16中，与图11所示相同的组件具有相同的附图标记，并且省略对其的说明。还应注意，对于水平方向上的计算和垂直方向上的计算进行相同处理。因此，下面仅说明这些计算处理其中之一的控制操作。

参考图16，使用块301～305、315和316来计算由平行抖动所引起的平移运动校正量。使用运动矢量检测单元126来计算由平行抖动所导致的平移分量。然而，如上所述，运动矢量检测单元126检测包括由转动抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)和由平行抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)的平移运动模糊(由抖动的平移分量所引起的图像模糊)，因此无法单独区分这两种类型的平移运动模糊。为此，将运动矢量检测单元126的输出和角速度传感器102的输出一起使用来计算由平行抖动所导致的平移分量。

将来自运动矢量检测单元126的输出提供给运动矢量减法单元316，然后从运动矢量检测单元126的输出减去运动矢量转换单元317的输出。运动矢量转换单元317根据等式(22)或(23)，将焦距计算单元231的输出和从A/D转换器103输出的角速度数据转换成与一个视场的平移运动模糊(由抖动的平移分量所引起的图像模糊)相对应的量，并且输出该结果。也就是说，运动矢量减法单元316从运动矢量检测单元126所检测到的平移运动模糊中减去由转动抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)，从而仅将由平行抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)提供给HPF301。

HPF301具有用于改变其任意频带的特性的功能。HPF301通过使平移运动模糊(由抖动的平移分量所引起的图像模糊)的量中所包含的低频成分截止，来输出高频带的信号。注意，HPF301并非本实施例必需的，并且可以将来自运动矢量减法单元316的输出直接提供给定心单元303。

当由于平摇等生成太大而无法校正的模糊时，定心单元303将定心量相加至HPF301的输出以使校正量恢复成0。注意，定心单元303并非本实施例必需的，并且可以将来自HPF301的输出直接提供给积分器304。

积分器304具有用于改变其任意频带的特性的功能。积分器304对来自定心单元303的输出进行积分，并且将结果提供给饱和防止控制单元305。也就是说，积分器304对一个视场的平行抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)的量进行积分，从而计算对平移运动模糊(由抖动的平移分量所引起的图像模糊)进行校正所需的校正量。

饱和防止控制单元305进行控制以将积分器304的输出限制成小于限制器值的值。此外，当积分器304的输出变得接近限制器值时，饱和防止控制单元305进行控制操作，例如，向着高频侧改变HPF301的截止频率，缩短积分器304的时间常数，或者增大定心单元303的定心量。饱和防止控制单元305的输出表示由平行抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)的校正量，并且将其提供给图像变形量合成单元230。

现说明计算由转动抖动所导致的图像变形分量所使用的块311～315。在来自A/D转换器103的输出中，将横摆方向、俯仰方向或滚动方向上的角速度数据提供给HPF311。HPF311具有用于改变其任意频带的特性的功能。HPF311通过使角速度数据中所包含的低频成分截止，来输出高频带的信号。注意，HPF311并非本实施例必需的，并且可以将来自A/D转换器103的输出直接提供给定心单元312。

当在摄像设备100的横摆方向、俯仰方向或滚动方向上生成平摇或者太大而无法校正的转动抖动时，定心单元312将输入值(以下称为定心量)相加至HPF311的输出以使得校正量恢复成0。注意，定心单元312并非本实施例必需的，并且可以将来自HPF311的输出直接提供给积分器313。

积分器313具有用于改变其任意频带的特性的功能。积分器313对来自定心单元312的输出进行积分，并且将结果作为角度数据提供给饱和防止控制单元314。饱和防止控制单元314进行控制以将积分器313的输出限制成小于限制器值的值。此外，当积分器313的输出变得接近限制器值时，饱和防止控制单元314进行控制操作，例如，向着高频侧改变HPF311的截止频率，缩短积分器313的时间常数，或者增大定心单元312的定心量。饱和防止控制单元314的输出是要经过图像稳定的角度数据，并且将其提供给图像变形量计算单元315。

将焦距计算单元231的输出和饱和防止控制单元314的输出(即，作用于摄像设备的转动抖动的要经过图像稳定的角度数据)提供给图像变形量计算单元315。基于该角度数据，图像变形量计算单元315计算由转动抖动所导致的图像变形量。为了基于角度数据计算图像变形量，仅需要根据等式(11)和(12)计算表达式(1)中的投影变换矩阵。图像变形量计算单元315将所计算出的投影变换矩阵的各元素的值输出给图像变形量合成单元230。

图像变形量合成单元230将基于平行抖动所计算出的平移运动校正量相加至基于转动抖动所计算出的投影变换矩阵，并且输出该结果。可以看出，根据等式(13)，按照如下给出图像变形量计算单元315所计算出的表达式(1)中的投影变换矩阵的水平平移运动量t_x和垂直平移运动量t_y。

t_x=h3...(39)

t_y=h6...(40)

因此，可以根据下面的表达式(41)，将基于平行抖动所计算出的平移运动校正量相加至投影变换矩阵。

$H_{\mathrm{stb}}=\left[\begin{array}{ccc}h1& h2& h3+t_{\mathrm{shx}}\\ h4& h5& h6+t_{\mathrm{shy}}\\ h7& h8& 1\end{array}\right]...\left(41\right)$

其中，H_stb表示相加之后的投影变换矩阵，并且t_shx和t_shy表示基于平行抖动所计算出的平移运动校正量。

图像变形单元127基于来自图像变形量合成单元230的输出，通过图像变形来进行图像稳定。

如上所述，根据第八实施例，除角速度传感器102的输出以外，还使用运动矢量检测单元126的输出来计算在根据第一实施例的结构中仅使用角速度传感器102的输出所检测到的图像变形量。这样使得运动矢量检测单元126能够检测角速度传感器102无法检测到的由平行抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)，并且使得图像变形单元127能够基于该检测结果校正平移分量。此时，通过从由运动矢量检测单元126所检测到的平移模糊(由抖动的平移分量所引起的图像模糊)的量中减去由角速度传感器102所计算出的平移运动模糊(由抖动的平移分量所引起的图像模糊)的校正量，来获得由平行抖动所导致的平移模糊(由抖动的平移分量所引起的图像模糊)的校正量，并且将该校正量相加至基于转动抖动所计算出的投影变换矩阵以进行校正，从而实现具有更高精度的图像稳定性能。此外，通过配置成基于角速度传感器102所获得的转动抖动来计算透视分量校正量，可以保持由转动抖动所导致的平移运动校正量和透视分量校正量之间的对应关系，从而利用更简单的结构实现良好的图像稳定性能。

注意，在图16所示的框图中，尽管在计算由转动抖动所引起的图像变形量时根据角度数据(积分器的输出)来控制HPF的截止频率、积分器的时间常数或者定心单元的定心量，但是也可以使用用于根据图像变形量的各变形分量进行控制操作的方法来获得相同效果。

下面说明图17所示的框图。在图17中，与图16所示相同的组件具有相同的附图标记，并且省略对其的说明。图17所示的图像变形量计算单元200的结构与图16所示的结构的不同在于：将图像变形量计算单元315的输出提供给饱和防止控制单元314，并且饱和防止控制单元314根据图像变形量来控制HPF311、定心单元312和积分器313。

将焦距计算单元231的输出和积分器313的输出(即，作用于摄像设备的角度数据)提供给图像变形量计算单元315。图像变形量计算单元315基于角度数据来计算由转动抖动所导致的图像变形量，并且将所计算出的图像变形量输出给饱和防止控制单元314。

如果从图像变形量计算单元315输出的图像变形分量的等式(13)中的水平平移分量变得接近限制器值，则饱和防止控制单元314进行控制操作，例如，向着高频侧改变计算横摆方向的角度数据所使用的HPF311的截止频率，缩短积分器313的时间常数，或者增大定心单元312的定心量。类似地，通过将俯仰方向与垂直平移分量相关联、并且将滚动方向与转动角度相关联，可以获得与图16所示的结构所获得的效果相同的效果。可选地，使用水平透视分量代替水平平移分量、并且使用垂直透视分量代替垂直平移分量，也可以获得相同效果。

第九实施例

下面参考附图详细说明通过根据第七实施例的图13所示的摄像设备100的图像变形量计算单元200所执行的处理的第二方法。如上所述，图13所示的摄像设备100使用角速度传感器102和运动矢量检测单元126这两者来检测作用于该设备的转动抖动和平行抖动。图13示出向图15所示的结构添加用于光学地校正拍摄图像的模糊的光学校正系统122和用于控制光学校正系统122的块的结构。

下面参考图18所示的框图详细说明根据本实施例的图像变形量计算单元200的组件和它们的操作的例子。注意，在图18中，与图17所示相同的组件具有相同的附图标记，并且省略对其的说明。图18示出向图17所示的结构添加平移运动校正量转换单元240和运动矢量加法单元318的结构。

参考图18，如上所述，使用块301～305、315和316来计算由平行抖动所引起的平移运动校正量。在光学地校正拍摄图像的模糊的摄像设备的情况下，通过相加下面的分量来获得运动矢量检测单元126所检测到的平移运动模糊(由抖动的平移分量所引起的图像模糊)的量：光学校正系统122对由作用于摄像设备的转动抖动所导致的拍摄图像的平移运动模糊(由抖动的平移分量所引起的图像模糊)进行校正之后的残余模糊成分；以及由作用于摄像设备的平行抖动所导致的拍摄图像的平移运动模糊(由抖动的平移分量所引起的图像模糊)的成分。为了从运动矢量检测单元126的输出中提取由作用于摄像设备的平行抖动所导致的拍摄图像的平移运动模糊(由抖动的平移分量所引起的图像模糊)的成分，进行下面的计算。

运动矢量加法单元318将运动矢量检测单元126的输出相加至平移运动校正量转换单元240的输出(即，摄像面上的利用光学校正系统122校正的平移运动校正量)，并且输出该结果。这样使得可以获得由作用于摄像设备的抖动所导致的拍摄图像的平移运动模糊(由抖动的平移分量所引起的图像模糊)的成分(与没有通过光学校正系统122校正的拍摄图像相对应的平移模糊(由抖动的平移分量所引起的图像模糊)的成分)。注意，该抖动包括转动抖动和平行抖动这两者。

运动矢量减法单元316从运动矢量加法单元318的输出减去运动矢量转换单元317的输出(即，与一个视场的转动抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)相对应的量)，并且输出该结果。这样，从运动矢量检测单元126的输出仅提取由平行抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)，然后将其提供给HPF301。块301～305与图17所示的块相同，并且省略对其的说明。此外，计算由转动抖动所导致的图像变形分量所使用的块311～315也与图17所示的相同，并且省略对其的说明。

将图像变形量计算单元315的输出和平移运动校正量转换单元240的输出提供给图像变形量合成单元230，其中，图像变形量合成单元230将基于平行抖动所计算出的平移运动校正量相加至基于转动抖动所计算出的投影变换矩阵，并且输出该结果。由于从图像变形量计算单元315所输出的投影变换矩阵包括角速度传感器102校正的平移运动模糊(由抖动的平移分量所引起的图像模糊)的成分，因此需要减去包括该平移运动模糊(由抖动的平移分量所引起的图像模糊)的成分的平移运动校正量转换单元240的输出。根据等式(39)和(40)，如上所述，仅需要将该平移运动模糊的成分相加至表达式(1)中的投影变换矩阵的元素中的h3和h6，或者从h3和h6减去该平移运动模糊的成分。也就是说，通过如下计算作为最终图像变形量的投影变换矩阵H_stb。

$H_{\mathrm{stb}}=\left[\begin{array}{ccc}h1& h2& h3+t_{\mathrm{shx}}-t_{\mathrm{oisx}}\\ h4& h5& h6+t_{\mathrm{shy}}-t_{\mathrm{oisy}}\\ h7& h8& 1\end{array}\right]...\left(42\right)$

其中，t_shx和t_shy表示基于平行抖动所计算出的平移运动校正量，并且t_oisx和t_oisy表示通过角速度传感器102校正的平移运动模糊(由抖动的平移分量所引起的图像模糊)的成分。

图像变形单元127基于来自图像变形量合成单元230的输出，通过图像变形进行图像稳定。

如上所述，根据本发明的第九实施例，除根据第八实施例的结构以外，光学校正系统122光学地校正平移运动模糊(由抖动的平移分量所引起的图像模糊)。这样可以将平移运动方向上的变形所需的额外像素的数量限制成更小的数量，并且尽可能多地保持从图像变形单元127可输出的像素的数量，从而最小化图像质量的劣化。

通过除角速度传感器102的输出以外还使用运动矢量检测单元126的输出来计算校正量，可以检测由平行抖动所导致的平移运动模糊(由抖动的平移分量所引起的图像模糊)，并且使得图像变形单元127基于该检测结果校正平移分量，从而实现具有更高精度的图像稳定性能。

此外，通过配置成基于角速度传感器102所获得的转动抖动来计算透视分量校正量，可以保持由转动抖动所导致的平移运动校正量和透视分量校正量之间的对应关系，从而利用更简单的结构实现良好的图像稳定性能。

注意，在第九实施例中，作为光学图像稳定部件，示例性说明了光学校正系统122。然而，本发明不局限于此。例如，可以使用诸如用于驱动图像传感器123的方法和使用棱镜的方法等的各种类型的图像稳定手段。

基于优选实施例详细说明了本发明。然而，本发明不局限于这些具体实施例，并且在不脱离本发明范围的情况下，还包含各种其它实施例。根据需要可以组合上述实施例中的一部分。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (9)

1.一种摄像设备，包括：

抖动检测部件，用于检测所述摄像设备的抖动；

平移分量校正量计算部件，用于基于所述抖动检测部件的输出，计算用于对由于所述抖动所引起的拍摄图像中的图像模糊的平移分量进行校正的第一校正量；

透视分量校正量计算部件，用于基于所述第一校正量，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及

校正部件，用于使用所述第一校正量和所述第二校正量来校正所述图像模糊。

2.根据权利要求1所述的摄像设备，其中，

所述透视分量校正量计算部件通过将所述第一校正量除以所述摄像设备的光学摄像系统的焦距的平方来计算所述第二校正量。

3.一种摄像设备，包括：

抖动检测部件，用于检测所述摄像设备的抖动；

平移分量校正量计算部件，用于计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；

透视分量校正量计算部件，用于计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及

计算部件，用于在计算所述第一校正量和所述第二校正量之前，基于所述抖动检测部件的输出，计算对所述平移分量和所述透视分量进行计算所需的值。

4.根据权利要求3所述的摄像设备，其中，

所述透视分量校正量计算部件通过将所述计算部件所计算出的值除以所述摄像设备的光学摄像系统的焦距来计算所述第二校正量。

5.一种摄像设备，包括：

抖动检测部件，用于检测所述摄像设备的抖动；

光学校正量计算部件，用于基于所述抖动检测部件的输出，计算作为用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行光学校正的校正量的光学校正量；

光学校正部件，用于基于所述光学校正量，光学地校正由于所述抖动而在所述拍摄图像中生成的图像模糊；

平移分量电子校正量计算部件，用于计算作为用于对由于所述抖动而在所述拍摄图像中生成的图像模糊的平移分量进行电子校正的校正量的电子校正量；

透视分量校正量计算部件，用于基于所述光学校正量和所述电子校正量，计算用于对所述图像模糊的透视分量进行校正的透视校正量；以及

校正部件，用于基于所述电子校正量和所述透视校正量，校正所述图像模糊。

6.根据权利要求5所述的摄像设备，其中，

所述透视分量校正量计算部件通过将如下的值除以所述摄像设备的光学摄像系统的焦距的平方来计算所述透视校正量，其中该值是通过将所述光学校正量转换成摄像面上的移动量所获得的值与所述电子校正量相加所获得的值。

7.一种摄像设备的控制方法，所述控制方法包括以下步骤：

检测所述摄像设备的抖动；

基于检测到的所述抖动，计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；

基于检测到的所述抖动，计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及

基于所述第一校正量和所述第二校正量，校正所述图像模糊，

其中，使用所述第一校正量来计算所述第二校正量。

8.一种摄像设备的控制方法，所述控制方法包括以下步骤：

检测所述摄像设备的抖动；

计算用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行校正的第一校正量；

计算用于对所述图像模糊的透视分量进行校正的第二校正量；以及

在计算所述第一校正量和所述第二校正量之前，基于检测到的所述抖动，计算对所述平移分量和所述透视分量进行计算所需的值。

9.一种摄像设备的控制方法，所述控制方法包括以下步骤：

检测所述摄像设备的抖动；

基于检测到的所述抖动，计算作为用于对由于所述抖动而在拍摄图像中生成的图像模糊的平移分量进行光学校正的校正量的光学校正量；

使用所述光学校正量，光学地校正由于所述抖动而在所述拍摄图像中生成的图像模糊；

计算作为用于对由于所述抖动而在所述拍摄图像中生成的图像模糊的平移分量进行电子校正的校正量的电子校正量；

基于所述光学校正量和所述电子校正量，计算用于对所述图像模糊的透视分量进行校正的透视校正量；以及

基于所述电子校正量和所述透视校正量，校正所述图像模糊。

Images