CN108737726A - 图像处理设备和方法、摄像设备和计算机可读存储介质 - Google Patents

Abstract

本发明提供图像处理设备和方法、摄像设备和计算机可读存储介质。提供有于即使根据校正了图像抖动并且意图添加失真的图像、也生成看起来自然的图像的图像处理设备。该图像处理设备的处理器对该图像进行变形处理，以使得即使针对光学系统的像差的中心位置和图像的中心位置不一致的图像，也生成具有以该图像的中心坐标为中心的点对称失真的图像。

Description

图像处理设备和方法、摄像设备和计算机可读存储介质

技术领域

本发明涉及图像处理设备、图像处理方法、摄像设备和计算机可读存储介质。

背景技术

已知有对由于摄像光学系统的像差而引起了失真的图像进行精确的图像抖动校正(日本特开2006-33759)。另外，还已知：可以将由于像差所引起的图像失真分类成桶形失真和枕形失真，并且桶形失真表现得更自然。因此，在日本特开2006-33759中，意图将桶形失真添加至应用了图像抖动校正的图像。

由于摄像光学系统的像差所引起的图像失真的程度依赖于被摄体相对于光轴的距离(图像高度)。因此，在添加模拟由于像差所引起的图像失真的效果的情况下，通过假定光轴与图像的中心正交来确定失真程度。然而，在对运动图像进行图像抖动校正的情况下，由于图像抖动校正，因而摄像光学系统的光轴和各运动图像帧的中心之间的位置关系随着时间的经过而发生改变。因此，如果通过假定光轴始终与图像的中心正交而向经过了图像抖动校正的运动图像帧应用桶形失真效果，则图像高度和失真程度之间的关系随着时间的经过而发生改变。特别地，在图像高度大的区域，失真的这种时间变化表现为不自然。日本特开2006-33759完全没有提及这种问题。

发明内容

本发明提供使得能够抑制这种传统技术的问题并在图像抖动校正之后生成表现自然的运动图像的图像处理设备和图像处理方法。

根据本发明的方面，提供一种图像处理设备，包括：处理器，其被配置为通过向经由光学系统所拍摄的第一图像应用一个或多个处理来生成第二图像，其中，在所述第一图像具有所述光学系统的像差所引起的失真并且所述第二图像的图像中心坐标与同所述像差的中心相对应的坐标不一致的情况下，所述处理器通过向所述第一图像应用变形处理来生成具有以所述图像中心坐标为中心的点对称失真的所述第二图像。

根据本发明的另一方面，提供一种图像处理设备，用于生成校正了失真和图像抖动的运动图像，其中，所述失真是用于拍摄所述运动图像的光学系统的像差所引起的，以及所述图像抖动是设备的抖动所引起的，其特征在于，对所述运动图像进行处理，以使用所述运动图像的各帧的中心位置作为基准位置来向该帧添加失真效果。

根据本发明的又一方面，提供一种摄像设备，包括：图像传感器，其被配置为生成与光学系统所形成的光学图像相对应的第一图像；以及图像处理设备，其包括处理器，所述处理器被配置为通过向经由所述光学系统所拍摄的所述第一图像应用一个或多个处理来生成第二图像，其中，在所述第一图像具有所述光学系统的像差所引起的失真并且所述第二图像的图像中心坐标与同所述像差的中心相对应的坐标不一致的情况下，所述处理器通过向所述第一图像应用变形处理来生成具有以所述图像中心坐标为中心的点对称失真的所述第二图像。

根据本发明的另一方面，提供一种图像处理方法，包括：通过向经由光学系统所拍摄的第一图像应用一个或多个处理来生成第二图像，其中，在所述第一图像具有所述光学系统的像差所引起的失真并且所述第二图像的图像中心坐标与同所述像差的中心相对应的坐标不一致的情况下，通过向所述第一图像应用变形处理来生成具有以所述图像中心坐标为中心的点对称失真的所述第二图像。

根据本发明的又一方面，提供一种图像处理方法，包括：生成步骤，用于生成校正了失真和图像抖动的运动图像，其中，所述失真是用于拍摄所述运动图像的光学系统的像差所引起的，以及所述图像抖动是设备的抖动所引起的，其中，所述生成步骤包括：对所述运动图像进行处理以使用所述运动图像的各帧的中心位置作为基准位置来向该帧添加失真效果。

根据本发明的另一方面，提供一种计算机可读存储介质，其存储用于在被图像处理设备执行时使所述图像处理设备进行图像处理方法的程序，所述图像处理方法包括：生成步骤，用于生成校正了失真和图像抖动的运动图像，其中，所述失真是用于拍摄所述运动图像的光学系统的像差所引起的，以及所述图像抖动是设备的抖动所引起的，其中，所述生成步骤包括：对所述运动图像进行处理以使用所述运动图像的各帧的中心位置作为基准位置来向该帧添加失真效果。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。以下所述的本发明的各实施例可以单独实现，或者可以作为多个实施例的组合实现。此外，可以在需要的情况下或者在来自不同实施例的元素或特征的组合是有益的情况下组合来自不同实施例的特征。

附图说明

图1是示出根据本发明的实施例的摄像设备的结构示例的框图。

图2是示出根据本发明的实施例的控制的示例的流程图。

图3是用于说明根据本发明的实施例的失真校正处理和失真添加处理的图。

图4是示出根据本发明的实施例的图像抖动校正量计算电路203的结构示例的框图。

图5是用于说明根据本发明的实施例的失真校正处理和失真添加处理的效果的图。

图6是示出根据本发明的第二实施例的摄像设备的结构示例的框图。

图7是示出根据本发明的第二实施例的光学校正控制电路220的结构示例的框图。

图8是示出根据本发明的第二实施例的控制的示例的流程图。

图9是用于说明根据本发明的第二实施例的失真校正处理和失真添加处理的效果的图。

图10是用于说明根据本发明的第三实施例的失真校正处理和失真添加处理的图。

具体实施方式

现在将参考附图来说明本发明的典型实施例。在附图中，向同样的构件赋予同样的附图标记，并且省略冗余说明。现在，在本说明书中，摄像设备的移动被称为“抖动”，并且“抖动”对拍摄图像的影响被称为“图像抖动”。以下将说明适用于作为根据本发明的实施例的图像处理设备的示例的数字摄像机的结构，但是本发明可以适用于能够进行图像抖动校正的任何电子装置。这种电子装置当然包括摄像设备，并且还包括个人计算机、平板终端、移动电话、游戏机、行车记录仪、机器人和无人机等，但不限于此。

第一实施例

图1是示出摄像机100的功能结构的示例作为根据本发明的实施例的图像处理设备的示例的框图。

在图1中，系统控制电路101具有诸如CPU、RAM和ROM等的可编程处理器。通过将ROM中所存储的程序展开至RAM、并且CPU执行该程序，系统控制电路101控制摄像机100的构成元件的操作，并且实现摄像机100的功能。因此，除非明确说明，否则后述的摄像机100的操作主要通过系统控制电路101来执行。注意，向图1中的系统控制电路101的块赋予的附图标记201～203表示示意性示出的图像抖动校正设备的功能块中的由系统控制电路101实现的功能块，并且后面将详细对这些功能块进行说明。

拍摄镜头102(摄像光学系统)包括在系统控制电路101的控制下驱动的变倍透镜和调焦透镜等，并且在图像传感器103的摄像面上形成被摄体图像。拍摄镜头102可以是或者可以不是可拆卸的。

图像传感器103例如是XY地址型CMOS(互补金属氧化物半导体)图像传感器。图像传感器103包括配置于其中的多个像素，并且在各像素中对拍摄镜头102所形成的光学图像进行光电转换，由此获得模拟图像信号。

信号处理电路104对从图像传感器103输出的模拟图像信号应用诸如噪声降低、A/D转换、颜色插值、白平衡调节和伽马校正等的信号处理，以生成数字图像信号(图像数据)。信号处理电路104将所生成的图像数据存储至图像存储器105。

失真校正电路106对图像存储器105中所存储的图像数据应用用于校正由于拍摄镜头102的像差所引起的失真的处理(失真校正处理)，并将作为结果而生成的图像数据存储至图像存储器105。不特别限制失真校正处理的方法，并且可以使用已知方法。作为示例，获得与关注像素的位置在沿图像高度方向上(将校正中心和关注像素的坐标连接的线上)相距可以基于关注像素的图像高度(校正中心和关注像素之间的距离)而确定的距离的位置。存在用于通过使用所相距的位置的周边的像素的信号电平进行插值、并将根据该插值所获得的信号电平设置为关注像素的信号电平来获得所相距的位置的信号电平的方法。校正时的移动量(校正量)取依赖于图像高度的大小的值，并且通过失真校正量计算电路202来计算。

失真校正量计算电路202具有针对多个离散的图像高度值预先准备的校正量，并且如果不存在与关注像素的图像高度相对应的校正量，则通过对所准备的校正量进行插值来计算与图像高度相对应的校正量。注意，代替插值，可以使用近似于图像高度和校正量之间的关系的n阶多项式来计算针对期望图像高度的校正量。注意，不仅拍摄镜头102的光轴和图像之间的交点、而且图像内的任何坐标可以被设计为用于确定计算校正量时的图像高度的大小的校正中心。通过后述的失真校正量计算电路202来设置校正中心。

图像抖动校正电路107对通过失真校正电路106校正了失真的图像的图像抖动进行校正，其中该图像抖动是由摄像机100的抖动所引起的。例如，图像抖动校正电路107从图像存储器105切出并读出通过失真校正电路106校正了失真的图像，并且改变图像的切出位置以抵消摄像机100的抖动。注意，该校正不限于通过改变切出位置所进行的抖动的平移成分的校正，并且可以采用如下结构：通过仿射变换来校正绕抖动的光轴的转动成分，或者通过投影变换来校正抖动(图像的梯形失真)的倾斜成分。图像抖动校正电路107将校正了图像抖动的图像存储至图像存储器105。

失真添加电路108从图像存储器105读出分别由失真校正电路106和图像抖动校正电路107校正了失真和图像抖动的图像，将由拍摄镜头102所引起的失真的效果添加至该图像，并且将该图像存储至图像存储器105。失真添加电路108可以通过获得与关注像素的位置在与失真校正处理相反的方向上相距有距离的位置处的信号电平作为关注像素的信号电平来将失真效果添加至图像。另外，失真添加电路108所添加的失真效果的程度依赖于关注像素和校正中心之间的距离，但是可以将采用从图像抖动校正电路107输出的图像内的任何坐标位置设计为校正中心的结构。从后述的失真校正量计算电路202来获得校正中心。

记录控制电路111相对于记录介质112写入/读出图像存储器105中所存储的运动图像数据、静止图像数据和元数据等。记录介质112可以是非易失性存储器、磁记录介质或光学记录介质等，并且记录介质112可以是可移除的。

显示控制电路109使诸如液晶显示器(LCD)等的显示设备110显示基于图像存储器105中所存储的运动图像数据或静止图像数据的显示用图像、以及诸如菜单画面等的GUI画面等。在本实施例中，记录控制电路111向记录介质112写入通过失真添加电路108添加了失真效果的图像，并且显示控制电路109使显示设备110显示通过失真添加电路108添加了失真效果的图像。

角速度传感器114生成表示摄像机100的抖动的抖动信号。角速度传感器114存在于与光轴正交的面上，并且彼此正交的两条直线用作检测轴。A/D转换器115对角速度传感器114所生成的抖动信号进行采样，将采样到的抖动信号转换成数字数据，并且将该数字数据作为抖动数据提供给图像抖动校正量计算电路203。

光学参数计算电路201、失真校正量计算电路202和图像抖动校正量计算电路203可以包括配备有用于实现它们的功能的专用计算电路的硬件，或者可以被配置为通过系统控制电路101的可编程处理器执行程序来实现。在本实施例中，将在假定光学参数计算电路201、失真校正量计算电路202和图像抖动校正量计算电路203包括配备有用于实现它们的功能的专用计算电路的硬件的情况下来进行说明。

光学参数计算电路201计算诸如拍摄镜头102的焦距和被摄体距离等的光学参数，并且将这些光学参数提供给失真校正量计算电路202和图像抖动校正量计算电路203。

失真校正量计算电路202基于光学参数来将用于失真校正和失真添加的校正数据和校正中心位置提供给失真校正电路106和失真添加电路108。

图像抖动校正量计算电路203基于从A/D转换器115提供的抖动数据来将用于校正由于摄像机100的抖动所引起的图像抖动的校正量提供给图像抖动校正电路107。

在图1的结构中，失真校正电路106、图像抖动校正电路107、失真添加电路108、光学参数计算电路201、失真校正量计算电路202、图像抖动校正量计算电路203和系统控制电路101构成图像抖动校正设备。

转换镜头150是从拍摄镜头102可拆卸的辅助镜头。系统控制电路101可以根据拍摄镜头102上所设置的开关151的状态来检测是否安装了转换镜头。

接着，将参考图2的流程图来说明本实施例的图像抖动校正操作。这里，将说明针对一个画面的图像的图像抖动校正处理。因此，例如，如显示设备110用作EVF的情况下(在拍摄待机状态下或者在要记录的运动图像的拍摄期间)那样，在对运动图像应用图像抖动校正的情况下，重复执行图2的流程图所示的操作。注意，不一定需要对所有运动图像帧应用图像抖动校正。

在步骤S101中，光学参数计算电路201计算用于计算拍摄镜头102的失真特性的光学参数。例如，光学参数计算电路201根据从拍摄镜头102获取到的变倍透镜位置信息来计算拍摄镜头102的焦距。此外，光学参数计算电路201根据拍摄镜头102的调焦透镜位置信息来计算被摄体距离(聚焦距离)。注意，可以通过例如在无需进行计算的情况下参考表来获取这些光学参数。

在步骤S102中，失真校正量计算电路202计算用于失真校正电路106所进行的失真校正的校正数据。在图3中，31和32示出拍摄镜头102的失真特性的示例，其中，横轴表示图像高度，并且纵轴表示失真率。失真率表示相对于在不存在失真的情况下原始形成的图像的图像高度位置的改变率。在图像形成位置改变的方向是图像高度增大的方向的情况下，失真率的符号是正的，以及在图像形成位置改变的方向是图像高度减小的方向的情况下，失真率的符号是负的。在失真率是正的情况下，将失真观察为“枕形失真”，以及在失真率是负的情况下，将失真观察为“桶形失真”。

失真校正量计算电路202计算用于尽可能校正由于拍摄镜头102的像差所引起的图像的失真的校正数据，以提高图像抖动校正电路107所进行的抖动校正的精度。因此，理想地，生成校正数据，以使得校正数据的特性是拍摄镜头102的失真特性的逆特性。

拍摄镜头102的失真特性根据拍摄镜头102的光学参数(这里为焦距和被摄体距离)而改变。因此，在本实施例中，例如，针对离散的光学参数的每个组合将拍摄镜头102的失真特性存储在系统控制电路101的ROM中。然后，失真校正量计算电路202从ROM读出与接近实际光学参数的组合的组合相对应的失真的特性，进行插值，并由此计算与实际光学参数的组合相对应的失真的特性。随后，失真校正量计算电路202计算所计算出的失真特性的逆特性作为与不同图像高度相对应的一组校正数据。注意，可以采用如下结构：失真校正量计算电路202计算仅针对如图3的32所示那样的离散图像高度的校正数据，并且通过失真校正电路106所进行的插值来获取针对其它图像高度的图像数据。失真校正量计算电路202将校正数据提供给失真校正电路106。

在步骤S103中，失真校正量计算电路202计算用于失真校正电路106中的失真校正的校正中心。失真校正电路106校正由于拍摄镜头102的像差所引起的图像的失真。因此，失真校正量计算电路202计算与拍摄镜头102的光轴和图像传感器103之间的交点相对应的图像坐标作为校正中心，并且将所计算出的图像坐标提供给失真校正电路106。可以基于设计值将拍摄镜头102的光轴和图像传感器103之间的交点的图像坐标预先存储在系统控制电路101的ROM中。另外，可以存储通过使用在产品制造时所产生的相对于设计值的偏差量而校正后的值。注意，使光轴和图像传感器之间的交点的图像坐标成为图像的中心的设计值是一般的设计值。

在步骤S104中，图像抖动校正量计算电路203基于经由A/D转换电路从角速度传感器114提供的抖动数据来计算图像抖动校正量，并且将图像抖动校正量提供给图像抖动校正电路107。角速度传感器114设置至少两个轴、即横向转动轴(横摆)和垂直转动轴(俯仰)作为检测轴，并且针对各检测轴计算图像抖动校正量。然而，用于计算图像抖动校正量的处理不依赖于检测轴，因而，为了便于说明和理解，以下将说明用于使用一个检测轴来计算图像抖动校正量的处理。

图4是示出图像抖动校正量计算电路203的内部结构的框图。高通滤波器(HPF)204被应用于从A/D转换器115提供的抖动数据(角速度数据)，以使得去除作为DC成分等的低频成分。

取景控制电路208根据积分器206的输出来判断用户是否正意图进行取景操作(平摇或俯仰)。如果判断为正进行取景操作，则取景控制电路208降低与取景动作有关的角速度成分对积分器206所计算出的角位移数据的影响。稍后将进行详细说明。

积分器206对所提供的角速度数据进行积分，并且将积分后的角速度数据转换成角度数据。此外，积分器206输出通过将角度数据与预定系数相乘所获取到的角位移数据作为图像抖动校正电路107所使用的校正量。

具体地，使用以下表达式来计算针对横摆的抖动角度θy和俯仰的抖动角度θp在像面上的校正量Tx和Ty。

Tx＝f×tanθy/P

Ty＝f×tanθp/P

(注意，f是焦距[mm]，并且P是像素大小[mm]。这里，像素大小是方形像素的一边的大小。)

限制器207将角位移数据限制成预定上限值。

这里，将进一步说明取景控制电路208的操作。如果积分器206所输出的角位移数据超过预定阈值，则取景控制电路208判断为正进行取景操作。该阈值小于限制器207所设置的上限值，并且是通过预先进行试验等来所确定出的值。

如果判断为正进行取景操作，则与没有判断为正进行取景操作的情况相比，取景控制电路208可以通过如下操作来减少抖动中所包括的取景操作的成分：

增大HPF 204的截止频率，或者

缩短积分器206所进行的积分操作中所包括的低通滤波(LPF)计算的时间常数。

可选地，可以采用如下结构：取景控制电路208使减法器205从HPF 204所输出的角速度数据减去偏移，由此减少抖动中所包括的取景操作的成分。

取景控制电路208的这种控制使得即使在用户正意图进行诸如平摇或俯仰等的取景操作的情况下，也能够进行良好的图像抖动校正。

返回参考图2，在步骤S105中，失真校正量计算电路202判断拍摄镜头102的焦距是否小于阈值，并且如果判断为焦距小于阈值，则使过程进入步骤S106，以及如果没有判断为焦距小于阈值，则使过程进入步骤S109。注意，步骤S105中的该判断不是必需的，并且可以与拍摄镜头102的焦距无关地使过程从步骤S104进入步骤S106。

典型地，使用诸如鱼眼镜头等的(超)广角镜头所拍摄的图像被识别为具有由于像差所引起的失真作为一个特征。另外，在对由于像差所引起的大量失真进行校正的情况下，发生图像的周边部分中反映的物体的图像表现为被放大的大体量失真(volumedistortion)，因而观察者感觉到不自然。因此，优选针对图像抖动不存在由于像差所引起的图像失真，但是关于利用广角镜头所拍摄的图像，实际上存在由于像差所引起的一定程度的图像失真是自然的。

因而，在本实施例中，如果拍摄镜头102的焦距小于阈值，则失真添加电路108添加失真效果，以及如果拍摄镜头102的焦距大于或等于阈值，则不添加失真效果。这里，该阈值可以是在类似于像差的失真被添加至图像的情况下的视觉期望值。

在步骤S106中，失真校正量计算电路202计算失真添加电路108所使用的失真效果的特性。在本实施例中，基于针对拍摄经过图像抖动校正的图像所使用的拍摄镜头(即，拍摄镜头102)的失真特性来计算失真添加电路108所添加的失真效果。例如，如果如图3的31所示拍摄镜头102的最大失真率是-10％，则计算出用于添加最大失真率为约-3％的失真(桶形失真)的失真添加数据。该失真添加数据可以通过将图3的32所示的失真校正数据乘以-3/10的倍率来计算。注意，这里，假定要添加拍摄镜头102的约30％的失真度的失真效果，但是可以在不超过由于拍摄镜头102的像差所引起的失真的强度的范围内适当确定失真添加电路108所添加的失真效果的程度。可选地，为了简化处理，可以与拍摄镜头102无关地读出预先准备的默认失真添加数据。

在步骤S107中，失真校正量计算电路202计算失真添加电路108添加失真效果时所使用的校正中心，将该校正中心提供给失真添加电路108，并且使过程进入步骤S108。失真校正电路106使用与光轴和图像传感器之间的交点相对应的图像坐标来校正由于拍摄镜头102的像差所引起的图像失真。另一方面，由于图像抖动校正电路107改变了切出位置，因此在经过图像抖动校正的图像中，与光轴和图像传感器之间的交点相对应的图像坐标随着时间的经过而改变。

因此，如果将与光轴和图像传感器之间的交点相对应的图像坐标设置为添加失真效果时的校正中心，则校正中心根据图像抖动校正量的改变而在图像内移动。如图3的33所示，失真效果具有依赖于图像高度(即，校正中心和对象像素之间的距离)的失真率。因此，在校正中心随着时间的经过而移动的情况下，针对经过了图像抖动校正的运动图像帧中的同一图像坐标的失真率也随着时间的经过而改变，并且获得表现不自然的运动图像。因此，失真校正量计算电路202计算经过图像抖动校正(切出)的图像的中心坐标，并且向失真添加电路108提供该中心坐标作为添加失真效果时的校正中心。

另一方面，如果步骤S105中没有判断为拍摄镜头102的焦距小于阈值，则失真校正量计算电路202在步骤S109中设置失真添加电路108，以使得不添加失真效果，并且使过程进入步骤S108。

在步骤S108中，失真校正电路106基于从失真校正量计算电路202提供的失真校正数据和校正中心，对图像存储器105中所存储的图像数据进行失真校正。另外，图像抖动校正电路107基于从图像抖动校正量计算电路203提供的图像抖动校正量对失真校正电路106所输出的图像数据进行图像抖动校正。如果进行了用于添加失真效果的设置，则失真添加电路108基于从失真校正量计算电路202提供的失真添加数据和校正中心来将失真效果添加至图像抖动校正电路107所输出的图像数据，并且将该图像数据存储至图像存储器105。

注意，这里，如果没有判断为拍摄镜头102的焦距小于阈值，则将失真添加电路108设置成不添加失真效果。然而，可以从失真校正量计算电路202向失真添加电路108提供没有添加失真效果的失真添加数据。

这里，将参考图5来进一步说明失真校正电路106、图像抖动校正电路107和失真添加电路108的图像处理。

在图5中，51示意性示出图像传感器103所拍摄的并且存储在图像存储器105中的图像的失真。这里，由于拍摄镜头102的像差，因此发生了以与光轴O和图像传感器之间的交点相对应的图像坐标(x,y)(这里假定与图像的中心坐标一致)为中心的桶形失真。

在失真校正时尚未进行图像抖动校正，因而与光轴O和图像传感器之间的交点相对应的图像坐标是仍然是(x,y)。因此，失真校正量计算电路202向失真校正电路106提供坐标(x,y)作为校正中心。由于失真校正电路106所进行的失真校正，因此图5的51所示的图像失真被校正(去除)(图5的52)。

图像抖动校正电路107对发生了失真的图5的52中的图像进行图像抖动校正。图像抖动校正电路107基于图像抖动校正量计算电路203所计算出的图像抖动校正量来确定切出位置，以消除由于摄像机100的抖动而导致的图像抖动。图像抖动校正电路107将所确定出的切出区域的图像输出为经过图像抖动校正的图像。除非图像抖动校正量是0，否则图像坐标(x,y)和经过图像抖动校正的图像的中心坐标(切出区域)不一致(图5的53)。

失真添加电路108向经过图像抖动校正的图像添加失真效果(图5的54)。与光轴O和图像传感器之间的交点相对应的图像坐标(x,y)与经过图像抖动校正的图像的中心O’的坐标(x’,y’)不一致。因此，失真校正量计算电路202向失真添加电路108提供经过图像抖动校正的图像的中心坐标(x’,y’)作为添加失真效果时的校正中心。结果，如图5的54所示那样，可以添加点对称失真效果(相对于经过图像抖动校正的图像的中心的距离相等的像素被添加的失真程度相等)。因此，运动图像的周边部分的失真率不会随着时间的经过而改变，并且可以生成在观看时不会表现不自然的运动图像。

注意，在本实施例中，为了清楚地说明本发明的主旨，说明了失真校正电路106、图像抖动校正电路107和失真添加电路108分别独立地应用失真校正处理、图像抖动校正处理和失真效果添加处理的结构。然而，可以采用如下结构：基于各处理中的校正量和校正中心，失真校正处理、图像抖动校正处理和失真效果添加处理被整合成一个坐标变换，并且被应用于图像存储器105中所存储的图像数据。利用这种结构，可以同时进行失真校正处理、图像抖动校正处理和失真效果添加处理，并且一次性进行图像数据的校正处理。可选地，可以采用如下结构：对用于校正拍摄镜头的失真特性的坐标变换和用于添加失真效果的坐标变换进行整合，并且根据该整合结果来对图像数据应用用于校正失真的处理以及用于添加失真效果的处理，然后进行用于图像抖动校正的图像切出。

如上所述，在本实施例中，对包括由于拍摄镜头的像差所引起的失真的图像进行变形处理，以校正图像抖动和由于像差所引起的失真，并且生成使用图像的中心坐标作为校正中心添加了失真效果的图像。因此，即使在向运动图像帧添加了失真效果的情况下，也可以抑制周边部分的失真率随着时间的经过的改变，并且可以生成不会表现不自然的运动图像。此外，通过对校正了由于拍摄镜头的像差所引起的失真的图像进行图像抖动校正，可以实现精确的图像抖动校正。另外，通过在拍摄镜头的焦距小于阈值的情况下添加失真效果，可以生成示出广角拍摄的效果的运动图像。

第二实施例

接着，将说明本发明的第二实施例。第一实施例涉及用于改变拍摄图像的切出区域并进行图像抖动校正的摄像设备，但是本实施例与第一实施例的不同之处在于：本实施例涉及用于通过驱动光学构件来进行图像抖动校正。

图6是示出根据本实施例的摄像机100’的功能结构的示例的框图。在图6中，向与第一实施例相同的构成元件赋予与图1的附图标记相同的附图标记，并且省略与第一实施例中所述的构成元件有关的说明。

代替第一实施例的构成元件中的用于电子地校正图像抖动的构成元件(图像抖动校正电路107和图像抖动校正量计算电路203)，摄像机100’包括用于光学地校正图像抖动的构成元件。具体地，拍摄镜头102设置有校正光学系统116，并且设置有用于驱动校正光学系统116的构成元件(118或121)以及用于控制这些构成元件的光学校正控制电路220。这里，光学校正控制电路220可以包括配备有用于实现各功能的专用计算电路的硬件，或者可以被配置为通过系统控制电路101的CPU执行程序来实现。注意，在图6中，驱动校正光学系统116，但是可选地或附加地，可以驱动图像传感器103和整个拍摄镜头102。

校正光学系统116例如是移位透镜，并且可以移动以改变拍摄镜头102的光轴的方向(光轴和图像传感器之间的交点)。光学校正控制电路220移动校正光学系统116以消除摄像机100’的抖动，由此在图像传感器103的摄像面上形成校正了图像抖动的被摄体图像。

位置检测器117输出与校正光学系统116的位置相对应的电压。该电压被放大器118放大，然后被A/D转换器119进行数字化，并用作为位置数据而提供给光学校正控制电路220。

光学校正控制电路220基于从A/D转换器115提供的抖动数据来计算抖动校正数据。抖动校正数据表示校正光学系统116要被驱动至的目标位置。光学校正控制电路220基于A/D转换器119所提供的校正光学系统116的位置和目标位置之间的差来驱动校正光学系统116。稍后将说明光学校正控制电路220的结构和操作。

PWM电路120将光学校正控制电路220所输出并且表示目标位置和当前位置之间的差的数据(偏差数据)调制成用于改变脉冲波的占空比的波形(PWM波形)，并且将调制后的数据提供给马达驱动电路121。马达驱动电路121基于从PWM电路120提供的PWM波形来驱动例如作为音圈型马达的马达122。校正光学系统116根据马达122的驱动方向和驱动量来移动。

随后，基于移动后的校正光学系统116的位置和抖动数据来计算偏差数据并驱动校正光学系统116。这样，光学校正控制电路220进行对校正光学系统116的位置的反馈控制，以使得驱动目标位置和位置数据之间的差小。因此，驱动校正光学系统116，以使得追踪驱动目标位置。

图7是示意性示出光学校正控制电路220的处理的框图，其中，向进行与第一实施例的图像抖动校正量计算电路203的处理相同的处理的块赋予与图4的附图标记相同的附图标记。灵敏度计算电路221使用从光学参数计算电路201获取到的焦距信息来将角速度数据转换成校正光学系统116的移动量。用于对经过了与第一实施例同样的取景控制的移动量进行积分的积分器206的输出表示依赖于抖动的大小和方向的校正光学系统116的位移量(目标位置)。限制器207将位移量限制在校正光学系统的可移动范围内。

减法器222获取限制器207所输出的校正光学系统116的目标位置和A/D转换器119所输出的校正光学系统116的当前位置之间的差，并且将该差作为偏差数据提供给控制滤波器223。控制滤波器223对该偏差数据应用诸如放大和相位补偿等的信号处理，然后将处理后的偏差数据提供给PWM电路120。

像面转换电路224将A/D转换器119所输出的校正光学系统116的位置信息转换成在假定图像传感器上的光轴位置的在校正光学系统116没有正移动时的位置是基准位置的情况下的移动量和移动方向，并且将该移动量和移动方向提供给失真校正量计算电路202。如稍后所述，图像传感器上的光轴位置的在校正光学系统116没有正移动时的位置通常与图像传感器103的中心位置相对应，或者与图像传感器所拍摄的图像的中心位置相对应。

注意，同样，这里说明了针对角速度传感器114的一个检测轴的处理，但是针对另一检测轴执行同样的处理。

这种处理使得可以光学地校正由于摄像机100’的抖动所引起的图像抖动。

接着，将参考图8的流程图来说明本实施例的图像抖动校正操作。在图8中，向与第一实施例相同的处理赋予与图2的附图标记相同的附图标记。由于本实施例中光学地进行图像抖动校正，因此除了不存在用于计算图像抖动校正量的处理(步骤S104)之外，本实施例与第一实施例相同，并且用于计算校正中心的处理(步骤S201和S202)的内容有所不同。

将说明步骤S201中用于计算失真校正电路106所进行的校正中心的处理。此外，在本实施例中，失真校正电路106所进行的失真校正是用于校正由于拍摄镜头102的像差所引起的拍摄图像的失真的处理。因此，需要执行与拍摄镜头102的光轴和图像传感器103之间的交点相对应的图像坐标用作校正中心的失真校正。

在本实施例中，在要进行失真校正的拍摄图像(运动图像帧)中，与拍摄镜头102的光轴和图像传感器103之间的交点相对应的图像坐标是固定的。因此，即使在考虑到由于组装误差而导致的相对于设计值的偏差的情况下，失真校正的校正中心也没有发生改变。

然而，在本实施例中，拍摄经过光学图像抖动校正的图像，因而拍摄镜头102的光轴和图像传感器103之间的交点根据校正光学系统116的位置而改变。因此，需要基于校正光学系统116的位置来获得失真校正电路106所进行的失真校正的校正中心，并且将校正中心提供给失真校正电路106。

如参考图7所述，将通过将校正光学系统116的当前位置转换成使用图像传感器103上的光轴的在校正光学系统116没有正移动时的位置作为基准位置的移动量而获取到的值从光学校正控制电路220提供给失真校正量计算电路202。失真校正量计算电路202可以通过向光轴的初始位置应用从校正光学系统116的当前位置获取到的光轴的移动量，来计算与拍摄镜头102的当前光轴和图像传感器103之间的交点相对应的图像坐标。这里，光轴的初始位置表示校正光学系统116没有正移动时的与拍摄镜头102的光轴和图像传感器103之间的交点相对应的图像坐标。失真校正量计算电路202将这样计算出的校正中心的图像坐标提供给失真校正电路106。

此外，在本实施例中，与第一实施例相同，使用失真添加电路108添加失真效果时最后输出的图像的中心坐标作为校正中心。注意，在向经过失真校正的图像整体添加失真效果的情况下，校正中心处于固定坐标处。此外，在进行切出的情况下，如果切出区域的中心与经过失真校正的图像的中心相同，则校正中心处于固定坐标处。

除了步骤S108中不进行图像抖动校正以外，其它处理可以与第一实施例相同，因而将省略其说明。

与图5同样地，图9示意性示出失真校正电路106和失真添加电路108中的图像处理。

在图9中，91示意性示出图像传感器103所拍摄的并且存储在图像存储器105中的图像的失真。这里，由于拍摄镜头102的像差，导致在图像内发生了以与光轴O和图像传感器之间的交点相对应的图像坐标(x,y)为中心的桶形失真。由于移动了校正光学系统116，因此图像坐标(x,y)与图像的中心坐标不一致。

失真校正量计算电路202将坐标(x,y)作为中心坐标提供给失真校正电路106。由于失真校正电路106所进行的失真校正，图9的91所示的图像失真被校正(去除)(图9的92)。此时，获取到校正了图像抖动和由于像差所引起的失真。

随后，失真校正量计算电路202将图像的中心坐标(x’,y’)作为添加失真效果时的校正中心提供给失真添加电路108。因此，如图9的93所示，失真添加电路108可以添加向相对于图像的中心的距离相等的像素添加的失真的大小相等的点对称失真效果。因此，运动图像的周边部分的失真率不会随着时间的经过而改变，并且可以生成在观看时不会表现不自然的运动图像。

如上所述，根据本实施例，还在光学地校正图像抖动的情况下，通过对包括由于像差所引起的失真的图像进行变形处理来校正由于光学系统的像差所引起的失真，并且生成使用图像的中心坐标作为校正中心而添加了失真效果的图像。因此，获取到与第一实施例的效果同样的效果。

第三实施例

接着，将说明本发明的第三实施例。可以组合第一实施例和第二实施例来实现本实施例。

在第一实施例和第二实施例中，采用如下结构：如果拍摄镜头102的焦距小于阈值，则添加失真效果，以及如果拍摄镜头102的焦距大于或等于阈值，则不添加失真效果。

另一方面，存在如下情况：在镜头不是可更换的摄像机等中，使用为了改变拍摄镜头102的焦距而安装至拍摄镜头102的转换镜头150(图1)。在本实施例中，将说明可拆卸的转换镜头(或附加镜头)被安装至摄像机100或100’的拍摄镜头102的情况下所进行的控制。

在图10中，1001示出拍摄镜头102单独的失真特性301以及广角转换镜头被安装至拍摄镜头102时的光学系统整体(拍摄镜头和广角转换镜头的组合)的失真特性302。广角转换镜头使得与拍摄镜头102相比拍摄的角度更广，但是会引起更强的桶形失真。在图10的1001的示例中，拍摄镜头102单独的最大失真率是-10％，而安装了广角转换镜头的情况下的最大失真率是-15％，并且桶形失真更强。

系统控制电路101可以例如通过使用开关151(图1)来电子地或者机械地检测是否安装了广角转换镜头。可选地，可以采用如下结构：可以通过用户经由菜单画面来改变关于是否安装了广角转换镜头的设置，并且系统控制电路101根据设置内容来判断是否安装了广角转换镜头。

如果系统控制电路101判断为安装了转换镜头，则失真校正量计算电路202计算用于校正包括转换镜头的光学系统整体的失真特性302的校正数据。例如，失真校正量计算电路202根据由图10的1002的附图标记304所表示的图10的1001的失真特性302的逆特性来计算与多个离散的图像高度相对应的校正量。

接着，将说明安装了广角转换镜头时的失真添加数据的计算。通过安装广角转换镜头，光学系统整体的失真的最大失真率从10％增大至15％。因此，同样地，如果判断为安装了广角转换镜头，则与在没有判断为安装了广角转换镜头的情况下所添加的失真效果相比，失真添加电路108所添加的失真效果更强。

例如，在判断为没有安装广角转换镜头的情况下的失真添加数据的特性由图10的1003的附图标记305来表示。在这种情况下，如果判断为安装了广角转换镜头，则失真校正量计算电路202生成失真的最大失真率有所增加的失真添加数据。例如在图10的1003所示的示例中，失真校正量计算电路202可以生成具有附图标记306表示的特性的失真添加数据。这里，假定失真校正量计算电路202生成用于添加具有抵消校正量特性303和304之间的差的特性的失真效果306的失真添加数据。换句话说，失真校正量计算电路202生成用于添加与由于转换镜头或附加镜头所引起的失真等效的失真效果的失真添加数据。作为进行失真校正的结果，这使得可以防止由于广角转换镜头而变宽的视角变窄。还可以减小作为安装了广角转换镜头的结果而增大的大体量失真的影响，并且可以生成自然的运动图像。

如上所述，根据本实施例，即使在安装了转换镜头或附加镜头并且光学系统整体的失真特性发生改变的情况下，也可以获取到与第一实施例和第二实施例的效果同样的效果。

其它实施例

以上基于典型实施例说明了本发明，但是本发明不限于这些特定实施例，并且可以在本发明范围内进行各种修改。另外，在上述实施例中，说明了通过角速度传感器来检测设备的抖动的结构，但是针对该检测可以使用其它结构。例如，可以根据加速度传感器所检测到加速度来计算抖动量，或者可以通过从拍摄图像检测移动信息来计算设备的抖动量。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。

Claims (21)

1.一种图像处理设备，包括：

处理器，其被配置为通过向经由光学系统所拍摄的第一图像应用一个或多个处理来生成第二图像，

其特征在于，在所述第一图像具有所述光学系统的像差所引起的失真并且所述第二图像的图像中心坐标与同所述像差的中心相对应的坐标不一致的情况下，所述处理器通过向所述第一图像应用变形处理来生成具有以所述图像中心坐标为中心的点对称失真的所述第二图像。

2.根据权利要求1所述的图像处理设备，其中，

所述处理器被配置为应用用于校正所述光学系统的像差所引起的图像失真的处理以及用于添加具有失真效果的处理作为所述变形处理，其中该失真效果具有依赖于相对于所述第二图像的中心坐标的距离的失真率。

3.根据权利要求2所述的图像处理设备，其中，

所述处理器被配置为应用用于校正所述光学系统的像差所引起的图像失真的处理，然后应用用于添加失真效果的处理。

4.根据权利要求2所述的图像处理设备，其中，

所述处理器被配置为应用用于校正所述光学系统的像差所引起的图像失真的处理和用于添加失真效果的处理的组合。

5.根据权利要求2所述的图像处理设备，其中，

所述第一图像是利用被配置为光学地校正图像抖动的图像抖动校正设备校正了图像抖动的图像。

6.根据权利要求5所述的图像处理设备，其中，

所述图像抖动校正设备被配置为通过根据设备的抖动对所述光学系统整体或校正光学系统、以及/或者图像传感器进行驱动，来光学地校正图像抖动。

7.根据权利要求2所述的图像处理设备，其中，

所述一个或多个处理包括用于切出与设备的抖动相对应的区域的处理。

8.根据权利要求7所述的图像处理设备，其中，

所述处理器被配置为向所述第一图像依次应用用于校正所述光学系统的像差所引起的图像失真的处理、用于切出与设备的抖动相对应的区域的处理、以及用于添加失真效果的处理。

9.根据权利要求7所述的图像处理设备，其中，

所述处理器被配置为向所述第一图像应用用于校正所述光学系统的像差所引起的图像失真的处理和用于添加失真效果的处理，然后应用用于切出与设备的抖动相对应的区域的处理。

10.根据权利要求7所述的图像处理设备，其中，

所述处理器被配置为向所述第一图像同时应用用于校正所述光学系统的像差所引起的图像失真的处理、用于切出与设备的抖动相对应的区域的处理、以及用于添加失真效果的处理。

11.根据权利要求2所述的图像处理设备，其中，

所述处理器被配置为设置与所述光学系统的光轴和图像传感器之间的交点相对应的图像坐标作为与所述像差的中心相对应的坐标。

12.根据权利要求2所述的图像处理设备，其中，还包括：

检测器，其被配置为检测是否安装了被配置为改变所述光学系统的焦距的辅助镜头，

其中，在检测到安装了所述辅助镜头的情况下，所述处理器被配置为进行用于校正所述光学系统和所述辅助镜头的像差所引起的图像失真的处理。

13.根据权利要求12所述的图像处理设备，其中，

在检测到安装了所述辅助镜头的情况下，所述处理器被配置为添加基于所述辅助镜头所引起的像差的失真效果。

14.根据权利要求2所述的图像处理设备，其中，

在所述光学系统的焦距小于阈值的情况下，所述处理器被配置为添加所述失真效果，以及在所述光学系统的焦距大于或等于所述阈值的情况下，所述处理器被配置为不添加所述失真效果。

15.根据权利要求1所述的图像处理设备，其中，

所述第二图像的失真率小于所述光学系统的像差所引起的失真的失真率。

16.根据权利要求1所述的图像处理设备，其中，

所述第一图像是运动图像帧。

17.一种图像处理设备，用于生成校正了失真和图像抖动的运动图像，其中，所述失真是用于拍摄所述运动图像的光学系统的像差所引起的，以及所述图像抖动是设备的抖动所引起的，

其特征在于，对所述运动图像进行处理，以使用所述运动图像的各帧的中心位置作为基准位置来向该帧添加失真效果。

18.一种摄像设备，包括：

图像传感器，其被配置为生成与光学系统所形成的光学图像相对应的第一图像；以及

图像处理设备，其包括处理器，所述处理器被配置为通过向经由所述光学系统所拍摄的所述第一图像应用一个或多个处理来生成第二图像，

其特征在于，在所述第一图像具有所述光学系统的像差所引起的失真并且所述第二图像的图像中心坐标与同所述像差的中心相对应的坐标不一致的情况下，所述处理器通过向所述第一图像应用变形处理来生成具有以所述图像中心坐标为中心的点对称失真的所述第二图像。

19.一种图像处理方法，包括：

通过向经由光学系统所拍摄的第一图像应用一个或多个处理来生成第二图像，

其特征在于，在所述第一图像具有所述光学系统的像差所引起的失真并且所述第二图像的图像中心坐标与同所述像差的中心相对应的坐标不一致的情况下，通过向所述第一图像应用变形处理来生成具有以所述图像中心坐标为中心的点对称失真的所述第二图像。

20.一种图像处理方法，包括：

生成步骤，用于生成校正了失真和图像抖动的运动图像，其中，所述失真是用于拍摄所述运动图像的光学系统的像差所引起的，以及所述图像抖动是设备的抖动所引起的，

其特征在于，所述生成步骤包括：对所述运动图像进行处理以使用所述运动图像的各帧的中心位置作为基准位置来向该帧添加失真效果。

21.一种计算机可读存储介质，其存储用于在被图像处理设备执行时使所述图像处理设备进行图像处理方法的程序，所述图像处理方法包括：

生成步骤，用于生成校正了失真和图像抖动的运动图像，其中，所述失真是用于拍摄所述运动图像的光学系统的像差所引起的，以及所述图像抖动是设备的抖动所引起的，

其特征在于，所述生成步骤包括：对所述运动图像进行处理以使用所述运动图像的各帧的中心位置作为基准位置来向该帧添加失真效果。