CN103997602B - 摄像设备及其控制方法 - Google Patents

Abstract

本发明涉及一种摄像设备及其控制方法。将与几何变形量相对应的偏移量与由于光学图像抖动校正所引起的光学构件的驱动量相加，以使得几何变形处理所需的参考区域的中心更接近摄像区域的中心。由此，几何变形处理所需的参考区域完全容纳在摄像区域内的可能性提高，并且通过组合光学图像抖动校正和几何变形处理来有效地校正由于摄像设备的运动所引起的图像的模糊。

Description

摄像设备及其控制方法

技术领域

本发明涉及一种摄像设备和用于控制该摄像设备的方法，尤其涉及用于抑制由于诸如照相机抖动等的摄像设备的运动所引起的图像抖动的图像抖动校正技术。

背景技术

传统上，已知有用于校正(减轻)由于摄像设备的运动所引起的所拍摄图像的模糊(图像抖动)的所谓的图像抖动校正功能，并且光学图像抖动校正和电子图像抖动校正是用于实现图像抖动校正功能的典型方法(例如，参见日本特开2011-145604)。光学图像抖动校正是用于基于所检测到的摄像设备的抖动量、通过使诸如移位透镜或图像传感器等的光学构件移动来抑制被摄体图像的运动的方法。另外，电子图像抖动校正是用于通过设置比可记录像素区域小的有效像素区域并且基于所检测到的摄像设备的抖动量使有效像素区域的位置偏移、来抑制被摄体图像的运动的方法。

另外，在由于摄像设备的运动所引起的所拍摄图像的模糊(图像抖动)中，除了利用日本特开2011-145604所述的图像抖动校正方法可校正的平行移动(平移方向)成分以外，还可能包括由于摄像设备的转动(转动抖动)所引起的诸如横摆、俯仰和侧倾等的转动方向成分。此外，在日本特开2008-5084中公开了用于通过向所拍摄图像应用几何变形处理来校正由于抖动的转动方向成分所引起的图像抖动的技术。

例如，可考虑以下：在使用日本特开2011-145604所公开的图像抖动校正技术对由于抖动的平移方向成分所引起的图像抖动进行校正之后，使用日本特开2008-5084所公开的几何变形处理来对由于抖动的转动方向成分所引起的图像抖动进行校正。

在如日本特开2008-5084所公开的图像的几何变形处理中，需要参考其它像素值从而生成校正后的像素值。将由所参考的像素构成的区域称为参考区域。在所需的参考区域没有包括在摄像区域(所拍摄图像)中的情况下，无法正确地进行需要参考区域的校正，并且在一些情况下，校正后的图像的一部分缺失。

因此，在对经过了由于抖动的平移方向成分所引起的图像抖动的校正的图像进行几何变形处理的情况下，几何变形处理所需的参考区域可能没有包括在摄像区域(存储器中所保持的所拍摄图像的区域)中，并且校正后的图像的一部分可能缺失。

将参考图11A和11B来说明对经过了由于抖动的平移方向成分所引起的图像抖动的校正的图像进行几何变形处理的情况。

在图11A中，整体区域1100是所拍摄图像整体(例如，摄像设备的存储器中所保持的所拍摄图像整体)的区域。参考区域1101是用于校正抖动的转动方向成分的几何变形处理所需的参考区域。另外，区域1102表示参考区域1101内的没有包括在所拍摄图像1100中的区域。区域1103表示外接参考区域1101的矩形区域。

在图11B中，图像1104是使用参考区域1101来进行几何变形处理的图像。图11A中的P1表示被摄体图像的中心位置，并且图11B中的P2表示通过利用几何变形处理对P1的位置处的像素进行转换所获得的位置。P2位于几何变形之后的图像的中心(对角线相交的点)。

传统的光学图像抖动校正没有打算用于图像抖动校正之后的几何变形处理。由于该情况，已经与抖动的转动方向成分的大小无关地，以使被摄体图像和图像传感器的摄像区域维持预定的位置关系(例如，被摄体图像的中心和摄像区域的中心彼此相对应的状态)的方式进行了校正。然而，与对由于诸如倾斜等的抖动的转动方向成分而在被摄体图像中产生的失真进行校正所需的参考区域1101外接的矩形区域1103的中心与摄像区域的中心并非必须一致。因而，存在如下情况：在比记录大小大的摄像区域中摄像的情况下，用以通过几何变形处理来对由于抖动的转动方向成分所引起的图像抖动进行校正的能力不起作用。

例如，在图11A的示例中，如果P1沿着右上方向偏移，则参考区域1101(和矩形区域1103)完全容纳在所拍摄图像内，并且即使进行利用参考区域1101的几何变形处理，校正后的图像的任何部分也不会缺失。然而，在传统的光学图像抖动校正中，由于对光学构件进行控制以使得P1的位置没有改变，因此存在参考区域1101没有完全容纳在所拍摄图像内的区域1102。

发明内容

本发明是考虑到传统技术的这些问题而作出的，并且本发明的目的是提供可以通过组合光学图像抖动校正和几何变形处理来有效地校正由于摄像设备的运动所引起的图像的模糊(图像抖动)的摄像设备和用于控制该摄像设备的方法。

根据本发明的方面，提供一种摄像设备，包括：检测部件，用于检测所述摄像设备的平移方向和转动方向上的运动；抖动校正部件，用于通过驱动光学构件，来减轻由于所述平移方向上的运动所引起的所拍摄图像的图像抖动；以及几何变形处理部件，用于通过对所述所拍摄图像应用几何变形处理，来校正由于所检测到的所述转动方向上的运动所引起的所述所拍摄图像的失真，其中，所述几何变形处理部件通过将利用对所述失真进行校正所需的所述所拍摄图像的参考区域的像素的几何变形处理应用于输出图像区域，来对所述输出图像区域中的所述失真进行校正，其中所述输出图像区域小于所述所拍摄图像的摄像区域，以及所述抖动校正部件基于以使与所述参考区域相对应的矩形区域的中心更接近所述摄像区域的中心的方式进行了校正的驱动量，来驱动所述光学构件。

根据本发明的另一方面，提供一种摄像设备的控制方法，包括以下步骤：检测步骤，用于检测所述摄像设备的平移方向和转动方向上的运动；抖动校正步骤，用于通过驱动光学构件，来减轻由于所述平移方向上的运动所引起的所拍摄图像的图像抖动；以及几何变形处理步骤，用于通过对所述所拍摄图像应用几何变形处理，来校正由于所检测到的所述转动方向上的运动所引起的所述所拍摄图像的失真，其中，在所述几何变形处理步骤中，通过将利用对所述失真进行校正所需的参考区域的像素的几何变形处理应用于输出图像区域，来对所述输出图像区域中的所述失真进行校正，其中所述输出图像区域小于所述所拍摄图像的摄像区域，以及在所述抖动校正步骤中，基于以使与所述参考区域相对应的矩形区域的中心更接近所述摄像区域的中心的方式进行了校正的驱动量，来驱动所述光学构件。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出用作根据本发明第一实施例的图像处理设备的一个示例的数字照相机的功能结构示例的框图。

图2A～2C是示出图1中的几何变形处理单元的操作的示意图。

图3是示出图1中的几何变形量计算单元的结构示例的框图。

图4是示出图1中的参考区域计算单元的操作的示意图。

图5是示出图1中的调整量计算单元的结构示例的框图。

图6是示出图5中的移位透镜偏移量计算单元的操作的流程图。

图7是示出图5中的参考区域地址计算单元的操作的流程图。

图8A和8B是示出图5中的移位透镜偏移量计算单元和参考区域地址计算单元的操作的示意图。

图9是示出用作根据本发明第二实施例的图像处理设备的一个示例的数字照相机的功能结构示例的框图。

图10是示出图9中的偏移量预测单元的操作的示意图。

图11A和11B是示出传统技术的问题的示意图。

具体实施方式

现在将参考附图来详细说明本发明的典型实施例。

第一实施例

图1是示出用作根据本发明第一实施例的图像处理设备的一个示例的数字照相机的功能结构示例的框图。在本实施例中，尽管将说明用于实现光学图像抖动校正的光学构件是移位透镜的情况，但即使在使用使图像传感器移动的传感器移位方法的情况下，也同样可以执行本实施例。

光学系统100包括移位透镜113。移位透镜113在与光学系统100的光轴O不平行的方向(正交方向或转动中心在光轴上的转动方向)上可移动，从而减轻由于该设备的运动(抖动)的平移方向成分所引起的图像抖动。图像传感器101将经由光学系统100所形成的光学图像转换成图像信号。显影单元102对来自图像传感器101的图像信号进行诸如A/D转换、白平衡调整、颜色(亮度/色差信号)转换和γ校正等的显影处理。存储器103存储已由显影单元102进行了显影处理的图像信号。以下在本实施例中将利用存储在存储器103中的图像信号所表示的区域定义为摄像区域。摄像区域与所拍摄图像整体相对应。

本实施例基于通过对图像应用几何变形处理来校正由于设备的运动(抖动)的转动方向成分所引起的图像抖动这一假设。因此，摄像区域大于用作几何变形处理的对象的图像区域或要输出的图像区域(以下统称为输出图像区域)。

存储器控制器104根据所输入的地址来读取存储在存储器103中的图像信号，并且将这些图像信号输入至几何变形处理单元105。存储器控制器104例如向存储器103提供以下地址，其中这些地址用于从要读取的图像区域的最上(上端)的线起，从左端的像素向着右端的像素顺次读取图像信号。

几何变形处理单元105使用来自以下所述的几何变形量计算单元110的几何变形量对所拍摄图像进行几何变形处理。在本实施例中将几何变形处理所需的图像区域定义为“参考区域”。

系统控制单元106控制数字照相机的整体操作，其中该整体操作包括光学系统100的焦距、光圈值和调焦距离、移位透镜的驱动、以及用于驱动图像传感器101的系统的控制。特别地，在控制移位透镜113的驱动的情况下，通过将从调整量计算单元112获得的移位透镜偏移量与根据从抖动检测单元107获得的角速度所确定的平移方向成分的校正量相加，来确定移位透镜113的驱动量。

检测与数字照相机的运动有关的信息的抖动检测单元107例如是角速度传感器。抖动检测单元107检测由于数字照相机的运动所引起的绕三个轴(X、Y和Z)(俯仰、横摆和侧倾)的角速度(抖动信息)。然后，抖动检测单元107将所检测到的抖动信息作为运动信息输出至几何变形参数生成单元108和系统控制单元106。

这里，如果将照相机的横摆方向、俯仰方向和侧倾方向上的抖动角度分别定义为α、β和γ、并且将光学系统的焦距定义为f，则可以按照如下确定平移移动量tx和ty、转动角度θ、以及倾斜量vx和vy。

tx=f(tanαcosγ/cosβ+tanβsinγ)

ty=f(-tanαsinγ/cosβ+tanβcosγ)

θ=-γ

vx=-tanα/f

vy=-tanβ/(fcosα)

可以通过对从抖动检测单元107获得的抖动的角速度进行积分来获得抖动角度α、β和γ。

因此，系统控制单元106可以根据从抖动检测单元107获得的抖动的角速度来确定图像抖动校正量(移位透镜113的驱动量和驱动方向)以校正平移移动量tx和ty。可以根据加速度传感器、运动矢量或者施加于用作光学图像抖动校正构件的移位透镜或图像传感器的速度来确定平移方向成分的校正量。

几何变形参数生成单元108根据来自抖动检测单元107的抖动信息(角速度)生成几何变形参数，以校正由于抖动的转动方向成分(上述的转动角度θ、以及倾斜量vx和vy)所引起的所拍摄图像的失真。然后，几何变形参数生成单元108将几何变形参数输出至几何变形参数调整单元109。几何变形参数定义几何变形处理、例如本实施例中的调整大小和裁切处理以及投影转换处理。几何变形参数生成单元108生成针对几何变形处理的各个种类的参数，从而利用几何变形处理单元105可执行的多个几何变形处理的组合来校正由于抖动的转动方向成分所引起的所拍摄图像的失真。如以下所述，根据本实施例的几何变形处理单元105可以执行调整大小和裁切处理以及投影转换处理。

几何变形参数调整单元109基于来自调整量计算单元112的调整量来调整来自几何变形参数生成单元108的几何变形参数以减少几何变形量，并且将调整后的参数输出至几何变形量计算单元110。以下将说明几何变形参数调整单元109中所使用的具体调整方法。

几何变形量计算单元110根据来自几何变形参数调整单元109的几何变形参数来计算几何变形量，并且将该几何变形量输出至几何变形处理单元105和参考区域计算单元111。

参考区域计算单元111使用来自几何变形量计算单元110的几何变形量来生成表示参考区域的第一参考区域地址，并且将这些第一参考区域地址输出至调整量计算单元112。参考区域是在进行无需考虑几何变形处理的光学图像抖动校正的情况下几何变形处理所需的图像区域。

调整量计算单元112通过使用来自参考区域计算单元111的第一参考区域地址来生成表示考虑到几何变形量的参考区域(在考虑到移位透镜的偏移量的情况下几何变形处理所需的图像区域)的第二参考区域地址。调整量计算单元112将第二参考区域地址输出至存储器控制器104。另外，调整量计算单元112生成考虑到几何变形量的移位透镜113的偏移量(要移动的量)，并且将该偏移量输出至系统控制单元106。

首先，将使用图2A～2C来说明几何变形处理单元105中的几何变形处理的详细内容。几何变形量与通过将关注像素位置中的几何变形量分离作为水平方向和垂直方向上的相位偏移成分所获得的相位偏移量相对应。

图2A的黑色像素表示关注像素S实际应当所处的相位。虚拟像素S′表示在摄像的情况下关注像素S由于抖动的影响而在水平方向上相位偏移了Hp且在垂直方向上相位偏移了Vp的位置。为了通过几何变形处理来校正抖动，可以确定虚拟像素S′的值以替换关注像素S的值。如图2B所示，可以通过使用位于虚拟像素S′附近的像素s1、s2、s3和s4的值对像素s1、s2、s3和s4与虚拟像素S′之间的距离c1、c2、c3和c4进行加权插值计算，来生成虚拟像素S′的值。如图2C所示，利用所生成的虚拟像素S′的值来替换关注像素S的值，由此关注像素S的几何变形处理结束。

接着，将参考图3来说明几何变形量计算单元110的详细内容。

几何变形量计算单元110将由于多个几何变形处理所引起的坐标转换合成为一个坐标转换，并且生成该结果作为水平方向和垂直方向上的相位偏移成分。

几何变形量计算单元110由与多个几何变形组件相对应的第一坐标计算单元301和第二坐标计算单元302、以及坐标移动矢量合成单元303构成。第一坐标计算单元301和第二坐标计算单元302根据从几何变形参数调整单元109输入的几何变形参数和几何变形处理之前的坐标，来计算坐标移动矢量和几何变形处理之后的坐标。

第一坐标计算单元301计算实现用作几何变形处理的调整大小和裁切处理的坐标。第二坐标计算单元302计算实现用作几何变形处理的投影转换的坐标。

第一坐标计算单元301根据几何变形处理之前的坐标(X,Y)以及调整大小和裁切处理参数Pr，来计算表示调整大小和裁切处理的坐标移动矢量(drx,dry)以及调整大小和裁切处理之后的坐标(Xr,Yr)。

在几何变形参数Pr由变倍率的倒数r、转换中心(X0r,Y0r)和平移移动(c,d)构成的情况下，通过以下计算公式来计算坐标移动矢量(drx,dry)和处理之后的坐标(Xr,Yr)。

(公式1)

(公式2)

(公式3)

第二坐标计算单元302根据利用第一坐标计算单元301的几何变形处理之后的坐标(Xr,Yr)和投影转换参数Ph，来计算表示投影转换的坐标移动矢量(dhx,dhy)、以及投影转换之后的坐标(Xh,Yh)。

在几何变形参数Ph由投影转换矩阵H和转换中心(X0h,Y0h)构成的情况下，通过以下计算公式来计算坐标移动矢量(dhx,dhy)和处理之后的坐标(Xh,Yh)。

(公式4)

(公式5)

(公式6)

(公式7)

在抖动的转动方向成分是上述的转动角度θ以及倾斜量vx和vy的情况下，按照如下将投影转换矩阵H表示为用于校正图像的转动的投影转换矩阵H1和用于校正图像的倾斜的投影转换矩阵H2的积。

(公式8)

(公式9)

(公式10)

最后，在坐标移动矢量合成单元303中，根据几何变形参数Pc来对几何变形处理之前的坐标(X,Y)、以及第一坐标计算单元301中所计算出的坐标移动矢量(drx,dry)和第二坐标计算单元302中所计算出的坐标移动矢量(dhx,dhy)进行加权和合成。在利用合成权重ax、bx、ay和by来表示几何变形参数Pc的情况下，通过以下的计算公式来计算合成坐标移动矢量(dcx,dcy)和几何变形处理之后的坐标(Xc,Yc)。

(公式11)

(公式12)

接着，将参考图4来说明参考区域计算单元111的操作。

参考区域计算单元111针对与图像输出区域有关的位置信息、具体为图像输出区域中所包括的各个像素的坐标(X,Y)，来计算几何变形处理之后的坐标(Xc,Yc)，由此可以计算参考区域。

在图4中，摄像区域400是保持在存储器103中的所拍摄图像整体。参考区域401是用于校正抖动的转动方向成分的几何变形处理所需的区域。此外，区域402是参考区域401内的没有包括在摄像区域400中的区域。矩形区域403是用作与参考区域401相对应的矩形区域的一个示例的外接矩形区域。

另外，Xsize和Ysize分别表示摄像区域400的水平大小和垂直大小。X0、Y0、X1和Y1是外接参考区域401的矩形区域403的左上顶点和右下顶点的坐标，并且表示存储器103中的第一参考区域地址。这些第一参考区域地址是表示在进行没有考虑几何变形处理的光学图像抖动校正的情况下的参考区域(第一参考区域)的地址。

X0、Y0、X1和Y1分别是通过计算参考区域401的四个边的坐标来根据各顶点的坐标中的左端坐标、上端坐标、右端坐标和下端坐标所获得的。例如，可以通过向输出图像区域的四个边的坐标应用上述的几何变形处理来计算参考区域401的四个边的坐标值。

参考区域计算单元111将如此计算出的表示第一参考区域的X0、Y0、X1和Y1输出至调整量计算单元112。

接着，将参考图5～8B来说明作为本实施例的特征的调整量计算单元112的结构和操作。

图5是示出调整量计算单元112的功能结构示例的框图。调整量计算单元112包括移位透镜偏移量计算单元1110和参考区域地址计算单元1111。

接着，将参考图6的流程图以及图8A和8B来说明移位透镜偏移量计算单元1110的操作。

图8A是通过提取图4中的摄像区域400和矩形区域(第一参考区域)403所获得的图。以下将说明各变量。此外，图8B是示出参考区域地址计算单元111所生成的、在进行考虑到几何变形处理的光学图像抖动校正的情况下的参考区域(第二参考区域)的图。

首先，在S601中，移位透镜偏移量计算单元1110从参考区域计算单元111获得第一参考区域地址(表示在进行无需考虑几何变形处理的光学图像抖动校正的情况下的参考区域的地址)。接着，在S602中，移位透镜偏移量计算单元1110例如通过使用以下的计算公式来计算图8A所示的第一参考区域(矩形区域403)的中心地址。

REF1_HCENT=(X1-X0)/2 (公式13)

REF1_VCENT=(Y1-Y0)/2 (公式14)

在S603中，移位透镜偏移量计算单元1110例如通过使用以下的计算公式来计算图8A所示的摄像区域400的中心地址(MEM_HCENT,MEM_VCENT)。

MEM_HCENT=Xsize/2 (公式15)

MEM_VCETN=Ysize/2 (公式16)

如上所述，传统的光学图像抖动校正已使诸如移位透镜和图像传感器等的光学构件移动，由此摄像区域400和被摄体图像之间的位置关系没有由于抖动而偏移。因此，存在如下情况：在光学图像抖动校正之后应用几何变形处理时，参考区域无法有效地利用摄像区域。因而，存在由于几何变形处理所引起的校正量有限、或者在几何变形处理之后的图像中一部分缺失的情况。

因此，在本实施例中，通过进行考虑到要应用的几何变形处理(或通过几何变形处理要校正的图像抖动)的光学图像抖动校正，可以通过几何变形处理来有效地执行校正。

具体地，计算对外接几何变形处理所需的参考区域的矩形区域403的中心和摄像区域400的中心之间的差进行补偿的偏移量。然后，通过将移位透镜113驱动了该偏移量来改变视角。

具体地，在S604中，移位透镜偏移量计算单元1110例如通过使用以下的计算公式来计算移位透镜偏移量。

HS_OFST=MEM_HCENT-REF1_HCENT (公式17)

VS_OFST=MEM_VCENT-REF1_VCENT (公式18)

在S605中，移位透镜偏移量计算单元1110保持S604中所计算出的移位透镜偏移量，并且还将该移位透镜偏移量输出至系统控制单元106。

系统控制单元106通过将移位透镜偏移量应用于对基于抖动检测单元107的输出所计算出的抖动的平移方向成分进行校正所用的移位透镜驱动量，来驱动移位透镜113。由此，可以实现光学图像抖动校正以使得矩形区域403的中心达到摄像区域400的中心。

在矩形区域403的中心与摄像区域400的中心一致的情况下，可以获得最大效果。然而，只要驱动移位透镜113以使得与没有考虑几何变形处理的情况相比、矩形区域403的中心更接近摄像区域的中心，就获得了某些效果。也就是说，可以计算偏移量，以使得矩形区域403的中心和摄像区域400的中心之间的差减小。如上所述，光学图像抖动校正中所驱动的光学构件不限于移位透镜113，并且例如还可以是图像传感器101。另外，可以驱动多个光学构件。

接着，将参考图7的流程图以及图8A和8B来说明参考区域地址计算单元1111的操作。

在与图像传感器101所输出的图像的垂直同步信号同步地驱动要经过光学图像抖动校正的移位透镜113的情况下，使要从存储器103读取的参考区域平行移动了一个垂直同步时间(1V)之前的移位透镜偏移量，从而进行拍摄。因此，从通过将1V之前的移位透镜偏移量与要读取的第一参考区域地址相加所获得的位置来读取参考区域。

在S701中，参考区域地址计算单元1111读取保持在移位透镜偏移量计算单元1110中的1V之前的移位透镜偏移量。

在S702中，参考区域地址计算单元1111从参考区域计算单元111获得第一参考区域地址(X0,Y0,X1,Y1)。然后，在S703中，参考区域地址计算单元1111例如通过使用以下的计算公式，根据第一参考区域地址和移位透镜偏移量来计算第二参考区域地址(X0′,Y0′,X1′,Y1′)。如图8B所示，第二参考区域地址是表示考虑到移位透镜的偏移量的参考区域803的地址。

X0′=X0+HS_OFST (公式19)

Y0′=Y0+VS_OFST (公式20)

X1′=X1+HS_OFST (公式21)

Y1′=Y1+VS_OFST (公式22)

在S704中，参考区域地址计算单元1111判断第二参考区域地址所表示的第二参考区域是否完全容纳在摄像区域内。在判断为第二参考区域完全容纳在摄像区域内的情况下，该处理进入S705，并且在判断为第二参考区域没有完全容纳在摄像区域内(超出摄像区域以外)的情况下，该处理进入S706。

在S705中，参考区域地址计算单元1111将第二参考区域地址输出至存储器控制器104。存储器控制器104基于第二参考区域地址来从存储器103依次读取第二参考区域的图像，并且将这些图像供给至几何变形处理单元105。

另一方面，在第二参考区域没有完全容纳在摄像区域内的情况下，如果原样进行几何变形，则几何变形之后的图像的一部分缺失。第二参考区域没有完全容纳在摄像区域内的原因是由于几何变形量较大。因此，在S706中，参考区域地址计算单元1111计算用以减少几何变形量的调整量k，并且将该调整量k输出至几何变形参数调整单元109。

几何变形参数调整单元109例如将如以下所述的调整量k应用于来自几何变形参数生成单元108的几何变形参数Pr、Ph和Pc，并且减少几何变形量。在这种情况下，调整量k的值为0<k<1。

Pr′=k*Pr (公式23)

Ph′=k*Ph (公式24)

Pc′=k*Pc (公式25)

几何变形量计算单元110和参考区域计算单元111基于调整之后的几何变形参数来重新计算几何变形量和第一参考区域地址。在自该处理从S706返回之后要执行的S702起的处理中，使用重新计算出的第一参考区域地址。

由于几何变形量的缩减是利用几何变形处理的抖动的转动方向成分的校正量的缩减，因此优选减少该缩减量。因此，在本实施例中，逐级地改变调整量k的值以使得缩减量逐渐变大。例如，在与上述相同、调整量k是系数的情况下，调整量k逐渐改变为较低的值。

具体地，在获得没有超出摄像区域以外的第二参考区域地址之前改变调整量k的情况下，重复执行几何变形参数的调整以及基于调整之后的几何变形参数的几何变形量和第一参考区域地址的重新计算的操作。通过根据重复次数设置调整量k以逐渐增大缩减量，可以在抑制缩减量的同时计算出没有超出摄像区域以外的参考区域地址。

如上所述，根据本实施例，在通过组合光学图像抖动校正和几何变形处理来对由于摄像设备的运动所引起的图像抖动进行校正的摄像设备中，将光学图像抖动校正中的光学构件的驱动量设置为考虑到几何变形处理的值。具体地，驱动光学构件，以使得与没有考虑几何变形处理的情况相比，与几何变形处理所需的参考区域相对应的矩形区域的中心更接近摄像区域的中心。因此，可以提高参考区域完全容纳在摄像区域内的可能性，并且可以在抑制校正后的图像中的一部分缺失的同时有效地进行由于几何变形处理所引起的校正。

第二实施例

图9是示出用作根据本发明第二实施例的摄像设备的一个示例的数字照相机的功能结构示例的框图。在图9中，利用相同的附图标记来标记与图1中的功能块相同的功能块，并且省略了重复说明。如通过将图9与图1进行比较可以看出，根据本实施例的数字照相机与根据第一实施例的数字照相机的不同之处在于，该数字照相机包括用于预测移位透镜偏移量的偏移量预测单元114。

以下将主要说明与根据本实施例的数字照相机的结构和操作有关的相对于第一实施例的不同之处。

来自抖动检测单元107的角速度信息与要经过几何变形处理的图像的拍摄时刻相对应，并且根据该角速度信息所计算出的移位透镜偏移量还与表示应用几何变形处理的期望的图像的拍摄时刻相对应。

也就是说，应用于要拍摄的图像的移位透镜偏移量是与一个垂直同步时间(1V)之前的抖动相对应的量。因此，在数字照相机的抖动量急剧变大的情况下，1V之前的移位透镜偏移量和实际所需的移位透镜偏移量之间的差变得较大，并且可能存在参考区域没有完全容纳在摄像区域内的可能性。

因此，在本实施例中，添加偏移量预测单元114，其中该偏移量预测单元114根据调整量计算单元112所计算出的移位透镜偏移量来预测下一垂直同步时间之后的移位透镜偏移量，并且偏移量预测单元114将预测值输出至系统控制单元106和调整量计算单元112。

图10是示出偏移量预测单元114中所使用的预测方法的图。

t0、t1和t2表示时间，t1表示当前时刻，t0表示1V之前的时刻，并且t2表示1V之后的时刻。另外，n0和n1分别表示时刻t0和t1处的移位透镜偏移量。n2是例如通过使用以下的计算公式所计算出的时刻t2处的移位透镜偏移量的预测值。

(公式26)

这样，根据本实施例的偏移量预测单元114根据调整量计算单元112所计算出的移位透镜偏移量的时间变化，来预测拍摄下一图像时(垂直同步时间)的移位透镜偏移量。

在本实施例中，系统控制单元106使用移位透镜偏移量的预测值来驱动移位透镜。另外，调整量计算单元112将移位透镜偏移量计算单元1110中所计算出的移位透镜偏移量输出至偏移量预测单元114。将移位透镜偏移量计算单元1110中所保持的移位透镜偏移量设置为偏移量预测单元114所计算出的预测值(实际使用的偏移量)。

如上所述，根据本实施例，将第一实施例中的光学图像抖动校正所使用的光学构件的驱动的偏移量设置为根据过去计算出的移位透镜偏移量所预测出的预测值。因此，除了第一实施例的效果以外，即使在摄像设备的运动大幅改变的情况下，也可以提高参考区域完全容纳在摄像区域内的可能性，并且可以进一步提高抑制校正后的图像中的缺失的效果。

其它实施例

上述实施例不仅可以在诸如数字照相机和数字摄像机等的摄像设备中执行，而且还可以在例如移动电话、游戏机、个人计算机、个人数字助理(PDA)和平板电脑等的包括摄像设备的任何装置中执行。

在第二实施例中，基于过去计算出的偏移量的时间变化来计算偏移量的预测值。然而，可以根据与抖动检测单元107所检测到的过去抖动量有关的信息来预测拍摄下一图像时的抖动量，从而使用与该抖动量相对应的偏移量。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (6)

1.一种摄像设备，其特征在于，包括：

检测部件，用于检测所述摄像设备的平移方向和转动方向上的运动；

抖动校正部件，用于通过驱动光学构件，来减轻由于所述平移方向上的运动所引起的所拍摄图像的图像抖动；以及

几何变形处理部件，用于通过对所述所拍摄图像应用几何变形处理，来校正由于所检测到的所述转动方向上的运动所引起的所述所拍摄图像的失真，

其中，所述几何变形处理部件通过将利用所述所拍摄图像的参考区域的像素的几何变形处理应用于输出图像区域，来对所述输出图像区域中的所述失真进行校正，其中所述输出图像区域小于所述所拍摄图像的摄像区域，所述参考区域是对所述失真进行校正所需的，以及

所述抖动校正部件基于以使与所述参考区域相对应的矩形区域的中心更接近所述摄像区域的中心的方式进行了校正的驱动量，来驱动所述光学构件。

2.根据权利要求1所述的摄像设备，其中，还包括：

几何变形参数生成部件，用于根据所检测到的所述转动方向上的运动，来生成用于定义对所述所拍摄图像的所述失真进行校正所需的几何变形处理的几何变形参数；

参考区域计算部件，用于根据所述几何变形参数和与所述输出图像区域有关的位置信息来计算所述参考区域；以及

偏移量计算部件，用于计算使与所述参考区域相对应的矩形区域的中心和所述摄像区域的中心之间的差减小的偏移量，

其中，所述抖动校正部件通过应用所述偏移量来驱动所述光学构件。

3.根据权利要求2所述的摄像设备，其中，还包括：

几何变形参数调整部件，用于调整所述几何变形参数，以减少由于所述几何变形处理所引起的几何变形量，

其中，在判断为所述参考区域没有完全容纳在所述摄像区域内的情况下，所述几何变形参数调整部件调整所述几何变形参数，直到判断为所述参考区域完全容纳在所述摄像区域内为止。

4.根据权利要求2或3所述的摄像设备，其中，所述偏移量计算部件基于过去计算出的偏移量的时间变化来计算所预测的偏移量。

5.根据权利要求1所述的摄像设备，其中，所述光学构件是光学系统中所包括的移位透镜或图像传感器。

6.一种摄像设备的控制方法，其特征在于，包括以下步骤：

检测步骤，用于检测所述摄像设备的平移方向和转动方向上的运动；

抖动校正步骤，用于通过驱动光学构件，来减轻由于所述平移方向上的运动所引起的所拍摄图像的图像抖动；以及

几何变形处理步骤，用于通过对所述所拍摄图像应用几何变形处理，来校正由于所检测到的所述转动方向上的运动所引起的所述所拍摄图像的失真，

其中，在所述几何变形处理步骤中，通过将利用所述所拍摄图像的参考区域的像素的几何变形处理应用于输出图像区域，来对所述输出图像区域中的所述失真进行校正，其中所述输出图像区域小于所述所拍摄图像的摄像区域，所述参考区域是对所述失真进行校正所需的，以及

在所述抖动校正步骤中，基于以使与所述参考区域相对应的矩形区域的中心更接近所述摄像区域的中心的方式进行了校正的驱动量，来驱动所述光学构件。