CN101309367B

CN101309367B - 成像装置

Info

Publication number: CN101309367B
Application number: CN2008101277228A
Authority: CN
Inventors: 长伦生
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-03-27
Filing date: 2008-03-27
Publication date: 2011-04-13
Anticipated expiration: 2028-03-27
Also published as: US8023009B2; JP2008244803A; CN101309367A; US20080239107A1; JP4714174B2

Abstract

一种成像装置。数码相机包括畸变校正部件，该畸变校正部件由焦距确定部件、畸变估算部件和校正量计算部件组成。该焦距确定部件在捕获图像时估算焦距。根据该焦距，畸变估算部件估算在捕获图像中的广角畸变和光学畸变的大小。根据该估算，畸变校正部件从光学畸变校正系数表或广角畸变校正系数表中选择适当的系数。使用所选择的系数，校正量计算部件应用坐标变换处理以对捕获的图像造成正的或负的畸变，并且校正广角畸变或光学畸变。

Description

成像装置

技术领域

本发明涉及一种能够校正对象图像的畸变特别是广角畸变的成像装置。

背景技术

近几年流行的数码相机以数字数据的形式获取图像。不同于相片图像，数字图像数据可经受各种图像处理，以允许后期进行所谓润色来修改图像和校正颜色。还有一项公知的技术是，在图像获取过程中在图片帧内检测人物面部并且进行控制以获得合适的面部大小以及适当的亮度(例如参见日本专利特开公开No.2004-320284，对应于美国专利申请公开No.2004/0207743)。

同时，当对象图像通过透镜形成在摄影胶片上或图像传感器上，有时图像会模糊或畸变。这些模糊和畸变发生的一个主要原因是所使用透镜的像差。特别地，模糊是由球面像差、像散(astigmatism)、慧差(coma)和场曲造成的。

图像的畸变在另一方面是由畸变像差造成的。因为畸变像差是入射光较多远离透镜中心折射的现象，导致的图像的畸变(下文中的光学畸变)根据透镜和孔径光阑之间的位置关系而改变。因此，在变焦透镜中，这个变焦透镜的孔径光阑改变与透镜系统的相对位置，很难均匀地减少光学畸变。

对于胶片照相机，为了减少光学畸变，除了布置摄影胶片的配置或者拍摄镜头的设计之外没有其他的选择。然而，对于数码相机来说，光学畸变可以通过对图像数据应用电子图像变图像转换处理换处理被减少。例如，已经知道一种以不同的放大率显示图像的不同部分的视频摄影机(参见例如日本特开公开No.09-018763)，和一种tongguo利用一个图像转换处理减少捕获图像的光学畸变的数码相机(参见例如日本专利特开No.11-252431)。

除了光学畸变，已知还存在广角畸变。广角畸变是当三维对象通过透镜被投射到平面(图像传感器的光接收平面或摄影胶片)时发生的一种现象，并且它具有从图片帧的中央径向拉长图像的作用。因此，广角畸变通常在广角图像中变得很明显，并且在图片帧的外围中更加突出。

由于广角畸变由成像装置的基本原理所导致，所以广角畸变不能被完全消除。然而，已经知道当采用具有较大像差的透镜时，广角畸变变得较不明显(参见例如日本专利特开No.11-065033)。

通常，普通透镜具有45度视角，并且广角畸变不是问题。然而近几年，具有70度或更大视角的广角透镜开始普及，由于广角畸变造成的图像质量损失变成一个严重的问题。例如，如果用这种广角透镜获取群像(group image)，由于广角畸变，在图片帧外围的人可能带有畸变的面部。

虽然如此，如果用具有较大像差的透镜来减少广角畸变，那么捕获图像的光学畸变将显著增加。例如，用这种透镜获取建筑物或这种直线物体将只能得到其中直线发生弯曲的不自然的图像。在专用效果照相机中，例如公开号11-065033的透镜适应胶片单元，这不是一个问题，但是对于一般的数码相机却是一个严重的问题。

发明内容

考虑到前述内容，本发明的一个目的是提供一种能够根据图片帧中的对象种类来校正图像的畸变的成像装置。

为了达到上述和其他目的，根据本发明的成像装置包括：拍摄透镜；图像传感器；和用于校正用拍摄透镜捕获的图像的光学畸变和广角畸变的畸变校正器。当校正由拍摄透镜的畸变像差所引发的光学畸变时，所述畸变校正器对所述图像施加图像转换处理，以向该图像提供光学畸变的相反符号的畸变。当校正广角畸变时，畸变校正器对所述图像施加图像转换处理，以将相应于广角畸变大小的负畸变提供给图像。

优选提供校正选择器用于选择如何校正光学畸变和广角畸变。优选地，当由于拍摄透镜的畸变像差造成的光学畸变为负并且具有用于校正广角畸变的大小时，则校正选择器不选择校正光学畸变和广角畸变，而是用由拍摄透镜的畸变像差造成的光学畸变来校正广角畸变。

同样优选地，提供面部检测器用于在图像中检测人物的面部。这样，当在图像中检测到人物面部时，校正选择器优选选择校正广角畸变。更加优选地是，当在预定的入射角之外检测到人物面部时，校正选择器选择校正广角畸变。

进一步优选地，当校正选择器选择校正广角畸变和光学畸变时，产生校正了光学畸变的光学畸变校正图像，和校正了广角畸变的广角畸变校正图像。

在这种情况下，优选广角畸变校正图像通过应用图像转换处理以对光学畸变校正图像给予负畸变来产生。

优选提供存储设备，用于储存光学畸变校正图像和广角畸变校正图像，并且更加优选地提供显示设备，该显示设备首先从存储设备中获取光学畸变校正图像和广角畸变校正图像，平分这些图像中的每一幅，然后并列放置这些图像的对应一半，以及优选提供图像选择器，用于选择所述光学畸变校正图像和所述广角畸变校正图像中的一幅，然后从存储设备中删除没有被选择的一幅图像。

更加优选地，图像转换处理是使用坐标变换函数的坐标变换处理，并且成像装置包括校正系数表，该校正系数表包含坐标变换函数的系数。

根据本发明，成像装置具有畸变校正器，该畸变校正器执行图像转换处理以校正光学和广角畸变。因此，可易于生成基本没有畸变的图像。此外，在广角畸变校正之前，检测光学畸变的倍率(magnification)以及检测人物面部的存在/不存在，以及可以根据图像的情况和对象种类产生适当校正的图像。

附图说明

本发明的以上目的和优点，通过以下结合附图阅读的详细说明时将变得更清楚，其中：

图1是根据本发明的数码相机的透视图；

图2是数码相机的后视图；

图3是示出根据第一实施例的数码相机的电气配置的结构图；

图4A到图4D是示出用来生成带有负畸变的图像的图像转换处理的说明图；

图5A到图5C是光学畸变的说明图；

图6是示出广角畸变机制的说明图；

图7是根据第一实施例的数码相机的操作的流程图；

图8是用于有选择地校正广角畸变和光学畸变中的一个的流程图；

图9是示出根据第二实施例的数码相机的电气配置的结构图；

图10是根据第二实施例的数码相机的操作的流程图；

图11是用于根据拍摄镜头的特性判定是否校正广角畸变的流程图；

图12是示出根据第三实施例的数码相机的电气配置的结构图；

图13是根据第三实施例的数码相机的操作的流程图；

图14A和图14B是示出根据面部检测结果的图像畸变校正的说明图；

图15是用于根据人物面部的位置来判定是否校正广角畸变的流程图；

图16A和图16B是示出根据人物面部的位置的图像畸变校正的说明图；

图17是用于存储通过坐标变换处理生成的光学畸变校正图像和广角畸变校正图像的流程图；

图18是用于存储通过使用拍摄镜头的失真像差所生成的光学畸变校正图像和广角畸变校正图像的流程图；

图19是用于通过对光学畸变校正图像施加坐标变换处理来产生广角畸变校正图像的流程图；以及

图20是用以阐明在广角畸变校正图像与光学畸变校正图像之间差异的显示器的说明图。

具体实施方式

[第一实施例]

参照图1，数码相机(成像装置)10由照相机主体11和可拆卸透镜单元12组成。

透镜单元12包括透镜筒16和位于该透镜筒16中的拍摄镜头17。该透镜单元12和照相机主体11在它们的安装部分具有用于相互联锁的卡口爪(未示出)。当透镜单元12安装在照相机主体11上并且被转动时，则卡口爪相互联锁，并且透镜单元12可靠地附着到照相机主体11上。如果需要，可以将透镜单元12从照相机主体11上拆卸下来并替换为带有不同类型拍摄镜头的另一透镜单元。

在照相机主体11的前表面上提供开锁按钮18和闪光发射器19。为了防止透镜筒16从照相机主体11上意外掉落，一旦透镜单元12被附着到照相机主体11上，则透镜单元12被锁定。开锁按钮18被按下以解除透镜单元12的锁定。众所周知，例如，当主要对象较暗时，激活闪光发射器19。

在照相机主体11的顶表面上提供快门释放按钮21、模式选择转盘22等。快门释放按钮21被分两步按下。快门释放按钮21被按下一半则激活初步操作，如自动对焦调节(AF)和自动曝光调节(AE)，当完全按下快门释放按钮21时，捕获物体的图像。模式选择转盘22切换数码相机10的工作模式。数码相机10在不同的工作模式下工作，工作模式例如再现模式、多图像捕获模式和设置模式。

再现模式用于再现记录介质，例如存储卡23(见附图3)中的图像，并且在显示面板24(以后说明)上显示再现的图像。图像捕获模式用于捕获并将对象图像存储在存储卡23中。数码相机10提供远景模式、近景模式、肖像模式、自动模式、手动模式、广角畸变校正模式和全景(group shot)模式，并且用模式选择器转盘来选择这些模式中的一个。例如，在自动模式下，光学摄像条件被自动地设定。在广角畸变校正模式下，在捕获的图像上自动校正广角畸变。在全景模式下，用于全景的光学摄像条件被自动地设定。数码相机10对不同的图像捕获模式执行不同的摄像条件，并且根据选择的图像捕获模式自动设定摄像条件。

设置模式允许精细调节照相机设置，例如显示面板24的亮度和快门声音。在设置模式下，再现模式的设置和每个图像捕获模式的拍摄条件可以被精细并独立地改变。

再现模式的设置参数可以是例如显示面板24的显示方法。图像捕获模式的设置参数可以是例如图像畸变校正的必要性(开/关)和图像畸变校正的方法。

如图2所示，数码相机10的后表面具有电源按钮26、变焦键27、十字键28和显示面板24。当电源按钮26被按下一段时间，打开和关闭数码相机10。变焦键27被按下以通过改变拍摄镜头17的焦距来连续改变图像的放大率。四个方向的十字键28被按下以在显示面板24上选择菜单、图像等。显示面板24是液晶显示面板。在图像捕获模式下，显示面板24相当于电子取景器，用于实时显示直通图像。

在照相机主体11的侧面上有卡槽、通信端口和电源连接器(都未示出)。存储卡23或类似的存储介质被插入和移出卡槽。通信端口耦合到外部设备，外部设备例如电脑和打印机，以允许传送和接收捕获的图像和所需的信息。电源连接器被耦合到外部电源以对数码相机10的内部电池充电。

如图3所示，拍摄镜头17例如由变焦透镜31、聚焦透镜32和孔径光阑33组成。该变焦透镜31和该聚焦透镜32可以沿拍摄镜头17的光轴L在广角侧与远摄侧之间移动。变焦透镜31根据对变焦键27的按压来移动，并且改变图像的放大率。聚焦透镜32与变焦透镜31协同移动或响应按下快门释放按钮21一半而移动，以对对象完成聚焦。孔径光阑33改变孔径的大小并改变用于图像捕获的光量。特别是，当快门释放按钮21被按下一半时，孔径光阑33根据曝光量改变孔径的大小。

变焦透镜31、聚焦透镜32和孔径光阑33由透镜马达36驱动。该透镜马达36包括分别驱动变焦透镜31、聚焦透镜32和孔径光阑33的多个马达。透镜马达36由从CPU 37接收控制信号的马达驱动器38控制。

在拍摄镜头17后面放置CCD 39。该CCD 39对通过拍摄镜头17聚焦在光接收表面上的对象图像进行光电变换，并且输出模拟图像信号。由从CPU 37接收控制信号的CCD驱动器41控制CCD 39的操作。

CCD 39产生两种类型的图像信号，一种是以大量像素记录的图像信号(在下文中主(principal)图像信号)，它在当完全按下快门释放按钮21来记录图像时产生，另一种则是用于在取景时在显示面板24上显示直通图像的直通图像信号。主图象信号首先被转换为数字形式的主图象数据，并且经过各种图像处理，然后存储在存储卡23中。同时，直通图像信号首先被转换为数字形式的直通图像数据，并经过各种简单图像处理，然后暂时存储在SDRAM 42中。该直通图像数据被从SDRAM 42中取得，并通过解码器43转变为模拟形式的复合信号，然后被显示在显示面板24上。CCD 39以例如每秒30帧的帧频产生直通图像信号。

从CCD 39中输出的图像信号被输入到用于从图像中去除噪音的相关双采样电路(CDS)44中，然后由信号放大电路(AMP)46放大。放大后的图像信号由A/D转换器(A/D)47转换为图像数据。该图像数据是对应于CCD 39的每个单元中的电荷量的RGB图像数据。

DSP 48包括图像输入控制器51、图像质量校正电路52、Y/C转换电路53和压缩/解压缩电路54。图像输入控制器51暂时地存储(缓存)来自A/D 47的图像数据，并且把数据写入通过数据总线57连接的SDRAM 42。

图像质量校正电路52从SDRAM 42获取图像数据，并且对图像数据应用如灰度级处理、白平衡校正处理和伽玛校正处理的图像质量校正处理，然后再次将该校正后的图像数据存储到SDRAM 42。

Y/C转换电路53在图像质量校正电路52校正图像质量之后，从SDRAM 42中获取图像数据，并且将所述数据转换成亮度信号Y和色差信号Cr、Cb。在Y/C变换之后，压缩/解压缩电路54以诸如JPEG格式来压缩略图像数据，并且以预定文件格式输出数据。该压缩后的图像数据通过介质控制器56存储在存储卡23中。

此外，AE/AWB检测电路和AF检测电路(都未示出)也连接到数据总线57。所述AE/AWB检测电路确定快门速度和孔径光阑值的组合，并且根据计算的曝光量计算白平衡的校正量。所述AF检测电路移动聚焦透镜32并确定最大对比度位置。CPU 37将聚焦透镜32放置到最大对比度位置。

SDRAM 42是用于临时存储图像数据的工作存储器，并且也是装载数码相机10的控制程序和其他所需程序的地方。所述SDRAM 42具有VRAM区用于存储直通图像，直通图像以上述帧频进行更新。

CPU 37从EEPROM 58中获取控制程序并且运行该程序以控制数码相机10的所有部件。该EEPROM 58包含所述控制程序和数码相机10的各种设置信息。所述EEPROM 58还带有光学畸变校正系数表(在下文中的光学校正表)60和广角畸变校正系数表(在下文中的广角校正表)61。

光学校正表60包含用于校正捕获图像的光学畸变的坐标变换函数的系数(参数)。特别是，光学校正表60包含用于拍摄镜头17的每个焦距的多个系数集An(n＝1，2，3，...)。考虑到得自所用透镜结构的在每个焦距处的光学畸变，来确定每个系数集。

广角校正表61包含用于校正捕获图像的广角畸变的坐标变换函数的系数(参数)，并且包含用于不同广角畸变大小的多个系数集。

畸变校正部件62包含校正量计算部件63、焦距确定部件64和畸变估算部件65。畸变校正部件62对主图象的未处理的图像数据(在下文中中的原始主图象数据)应用坐标变换处理，并且校正畸变和广角畸变。

焦距确定部件64根据所用透镜单元12中的变焦透镜31的位置，

在拍摄时演算拍摄镜头17的焦距，并且将该焦距作为焦距数据与图像

数据相关联，然后存储焦距数据到SDRAM 42。

根据焦距数据，畸变估算部件65估算捕获图像的广角畸变的大小。将估算的大小与图像数据相关联，并且作为畸变数据存储在SDRAM 42中。

校正量计算部件63对原始主图像数据应用坐标变换处理(图像转换处理)，使图像具有正的或负的大小与由拍摄透镜17的畸变像差所导致的光学畸变相同的畸变。优选使用例如如下的变换函数来执行该坐标变换处理，R＝∑An×rⁿ＝A1×r+A2×r²+A3×r³+...，其中，r是每个像素距离原始图像中心的高度，而R是每个像素在坐标变换处理后的高度。此外，系数An(A1，A2，A3，...)是确定变换函数的特性的参数，并且用光学校正表60或广角校正表61中的系数替换。

为了校正广角畸变，当使用广角校正表61中的系数对原始主图像数据应用坐标变换处理时，得到的图像通常带有桶形畸变。即，图像在校正量计算部件63中经过坐标变换处理后收缩成桶形。在这种情况下，如图4A和4B所示，经过处理的图像72可能比原始图像的图片图片帧71更窄，导致在其外围具有没有图像数据的空白部分74。

为了解决图4B的这个问题，确定系数An，以便当图像变成桶形时使图像被放大。一个示例是A1＞1。当由此确定系数An时，图像72首先被放大，如图4C所示，并且然后，如图4D所示，在区域76中与图片帧71一样大小的图像在坐标变换处理后变为图像77。

替代A1＞1，系数可以是A1≤1。在这种情况下，调节高阶项系数(A2，A3，...)以放大整个图像。

在另一方面，光学校正表60包含系数集，该系数集用于校正取决于透镜的畸变像差的正和负的畸变。因此，当对原始主图像数据应用坐标变换处理时，有些时候原始图像出现正畸变，并且在另一些时候原始图像出现负畸变。

当校正正畸变时，放大图像，类似于使用广角校正表61的坐标变换处理，使得不失去图像外围。当校正负畸变时，图像被放大以便放大率随着从中心的距离而增加。在任何情况下，至少图像的一部分被放大，并且在经过处理后的图像将具有原始图像没有的像素。然而，将相邻像素的数据插入这些像素。

接下来，解释具有上述结构的数码相机10的操作。例如，当从前面捕获栅格图像时，理想的图像看上去将与真实的栅格一致，例如图5A所示，其中，在图像82中的任何地方，栅格81都被平均分隔。然而，实际上，拍摄镜头的畸变像差导致了图像的光学畸变。例如，在远摄侧处的数码相机10的拍摄镜头17捕获图像将造成所谓枕形畸变(在下文中的正畸变)，如图5B所述，这里当与理想图像对比时，图像83的外围被放大更多。相反，用广角侧处的拍摄镜头17捕获图像时将造成所谓桶形畸变(在下文中的负畸变)，如图5C所示，这里当与理想图像比较时，图像84的外围被缩小更多。

正畸变或是负畸变以及畸变大小由所使用的拍摄镜头17的配置和焦距决定。此外，有时畸变可能是复杂的，畸变的符号根据图的高度而转变。因此，以下的实施例将利用在远景侧产生正畸变和在广角侧产生负畸变的拍摄镜头解释，除非阐述另外的拍摄镜头特性。

众所周知，图像的正畸变通过用图像转换处理导致同样大小的负畸变来校正。类似地，图像的负畸变通过用图像转换处理产生同样大小的正畸变来校正。

除上述光学畸变以外，当捕获三维对象时，出现广角畸变导致对象图像从图片帧的中心被径向拉长。

例如，如图6所示，当数码相机10捕获水平成直线的三个球体86a到86c的图像时，在所捕获的图像87的中心出现位于拍摄镜头17前面的球体86b的图形88b。该图形88b是圆盘，并且丝毫不小于从前方看到的球体86b的理想形状。

这里，因为球体86a到86c都是三维的，当从拍摄镜头17观察时，在拍摄镜头17对角前面的球体86c的直径被感知为线段P1P2。当球体86c的光通过拍摄镜头17被聚焦到CCD 39的光接收表面89上时，三角形P0P1P2在几何上与三角形P0P3P4非常相似，但是三角形P0P1P2与三角形P0P3P5并不相似。结果，线段P1P2被从理想线段P3P4拉长为线段P3P5，并且聚焦在光接收表面89上。用这种方式，具有大入射角度θ并且位于图片帧外围的球体86c的图形88c被从图像87的中心径向拉长。对于图形88a和88d到88i也同样适用。

如上所述，广角畸变是由对象、拍摄镜头和光接收表面的几何位置以及对象是三维的所导致的，并且独立于由拍摄镜头17的像差导致的光学畸变等图像畸变发生。特别是，对拍摄镜头17具有大入射角度的图形来说，广角畸变更加显著。

接下来，参考附图7，解释对广角畸变进行的校正。当捕获主图像时，得到拍摄镜头17的焦距数据。然后，根据该焦距数据，估算出广角畸变的大小。

根据该广角畸变的大小，畸变校正部件62从广角校正表61中选择系数，并且使用该选择的系数对原始主图像数据应用坐标变换处理。产生对应于该广角畸变大小的负畸变，以消除径向拉长广角畸变，并且由此产生校正了广角畸变的图像。

当用这种方式校正广角畸变时，如果可以选择校正广角畸变和光学畸变中的一个，则将会更加方便。即，数码相机可以被设置为根据例如所选择的图像捕获模式来选择广角畸变校正函数或光学畸变校正函数，或设有选择器按钮以允许使用者选择这些函数中的一个。

图8示出了一个实施例，在这个实施例中根据图像捕获模式选择广角畸变校正函数或光学畸变校正函数。根据在图像捕获期间得到的焦距数据，估算出广角畸变和光学畸变的大小，并且作为畸变信息被存储。当选择广角畸变校正函数时，则通过所述的坐标变化处理来校正广角畸变。

另一方面，当选择光学畸变校正函数时，畸变校正部件62根据所述焦距从光学校正表60中选择坐标变换处理的系数。

例如，使用在广角侧处的拍摄镜头17捕获的图像将具有负畸变，但是使用根据焦距选择的系数，由该拍摄镜头17的像差造成的该负畸变通过坐标变换处理导致的正畸变被消除，并且生成校正了广角畸变的图像。

另外，使用在远景侧处的拍摄镜头17捕获的图像将具有正畸变，但是从光学校正表60中选择产生负畸变的系数。由拍摄透镜17的像差造成的正畸变通过坐标变换处理产生的负畸变被消除，并且生成校正了光学畸变的图像。

使用这种方法，选择和校正广角畸变或光学畸变中的一个允许容易地生成根据对象种类和拍摄条件适当校正的图像。

由于EEPROM 58具有有限的存储大小，光学校正表60和广角校正表61不能总是包含用于每一个拍摄镜头17的各种系数。此外，例如，当手动调节焦距或其他参数时，在光学校正表60和广角校正表61中不能找到用于校正在经调节的焦距上的畸变的适当系数。在这种情况下，缺少的系数利用校正表中的系数来插值。

[第二实施例]

在上述实施例中，产生负畸变的坐标变换处理被应用于带有广角畸变的图像，透镜的畸变像差可以用来校正广角畸变。这将作为第二实施例在下文中解释，在第二实施例中同样的元件用与第一实施例同样的数字来表示，并且省略对其的详细解释。

在图9中，拍摄镜头212具有至少在广角侧产生负畸变的光学特性。但是，更优选拍摄镜头212跨广角端到远摄端都产生负畸变。此外，数码相机210可以启用和禁用(开/关)广角校正功能。因此，如图10所示，当在广角畸变校正功能关闭的情况下捕获图像时，畸变校正部件211对原始主图像数据应用用于光学畸变校正的坐标变换处理，并且生成校正了光学畸变的图像。

当在广角畸变校正功能打开的情况下捕获图像时，畸变校正部件211在校正量计算部件63中禁用坐标变换处理。即，畸变校正部件211不对捕获的图像应用坐标变换处理。结果，由拍摄镜头212畸变像差造成的使图像收缩的光学畸变和使图像拉长的广角畸变相互抵消，生成校正了广角畸变的图像。

如所述，数码相机210使用拍摄镜头212的畸变像差校正广角畸变，并且不需要用于校正广角畸变的图像处理。这使得它能够容易在短时间内生成校正了广角畸变的图像。此外，不需要在EEPROM 58中存储用于广角畸变校正的系数，可以节省存储容量。

在数码相机210中在启用广角畸变校正功能的情况下校正广角畸变，并且在禁用广角畸变校正功能的情况下校正光学畸变，除此之外，可以根据附着的拍摄镜头212的特性有选择地校正光学畸变和广角畸变。

例如，在开启广角畸变校正功能时，数码相机210只在拍摄镜头212的畸变像差造成的光学畸变具有足够大小以减少广角畸变时，才可以被设定为禁用校正量计算部件63的图像转换处理，而不是总是禁用图像转换处理。

换句话说，如图11所示，当在关闭广角畸变校正功能的情况下捕获图像时，畸变校正部件211根据畸变数据从光学校正表113中选择系数，并且使用所选择的系数对原始主图像数据应用用于光学畸变校正的坐标变换处理。

在另一方面，当在开启广角畸变校正功能的情况下捕获图像时，畸变校正部件211根据畸变数据比较捕获图像的光学畸变和广角畸变。然后，如果光学畸变具有负号和足够量以校正广角畸变，则畸变校正部件211禁用校正量计算部件63的坐标变换处理并且使用由拍摄镜头212的畸变像差造成的负畸变来校正广角畸变。

然而，如果光学畸变具有正号，则即使当广角畸变校正功能开启时，畸变校正部件211在校正量计算部件63中对原始主图像数据应用坐标变换处理，并且校正光学畸变而不是广角畸变。

即使当光学畸变具有负号并且启用广角畸变校正功能时，如果光学畸变不具有校正广角畸变的大小，则畸变校正部件211再一次在校正量计算部件63中应用坐标变换处理并且校正光学畸变而不是广角畸变。

此外，如果光学畸变过大以致过分地校正广角畸变并且使图像小于理想形状以致显出负畸变，则畸变校正部件211即使在开启广角畸变校正功能时依然应用坐标变换处理，以便校正光学畸变而不是广角畸变。

用这种方法，数码相机210根据拍摄镜头212的特性决定校正广角畸变还是光学畸变，并且生成根据捕获图像时的条件适当校正了畸变的图像。同样还可以防止广角畸变没有被充分校正以及此外光学畸变变得显著的情况。

[第三实施例]

在第一和第二实施例中，根据图像捕获模式的设定选择性地校正广角畸变和光学畸变中的一个，可以根据对象的类型来选择性地校正两者中的一个。这将作为第三实施例在下文中解释，在第三实施例中同样的元件由与上述实施例同样的数字表示，并且省略对其的详细解释。

如图12所示，数码相机310包括用于在图片帧中检测人物面部的面部检测部件311。所得到的信息，如存在/不存在人物面部、所检测到的面部的位置、大小、数量，被作为面部检测数据存储到SDRAM 42中。面部检测数据被畸变校正部件312获取，并用来决定校正光学畸变还是广角畸变。面部检测通过所谓图形匹配方法来执行，该图形匹配方法将捕获的图像与眼睛、鼻子、嘴以及其他特征部分的模板图像相比较，但是也可以代之以使用普通的方法如检测图像中的肉色像素。

畸变校正部件312校正广角畸变或光学畸变。根据面部检测数据来决定是校正广角畸变还是光学畸变。

如图13所示，当用数码相机310捕获图像时，获得焦距数据和对象的图像。然后，根据该焦距数据，获得并保存表示广角畸变和光学畸变的大小的畸变数据。

在这个例子中，面部检测部件311检测图片帧中的人物面部，并且将如存在/不存在人物面部、检测到的面部的位置和大小的信息作为面部检测数据进行存储。

当检测到人物面部时，畸变校正部件312根据畸变数据从广角校正表61中选择适当的系数，并且使用所选择的系数对原始主图像数据应用用于广角畸变校正的坐标变换处理。

另一方面，当没有检测到人物面部时，畸变校正部件312根据焦距从光学校正表113中选择适当的系数，并且使用所选择的系数应用用于光学畸变校正的坐标变换处理。

使用这种方法，数码相机310根据面部检测的结果，决定校正广角畸变还是光学畸变，并且自动对捕获图像的对象执行适当的畸变校正。

为了确切，如图14A所示，当在捕获图像的图片帧316a中检测到人物面部317a、317b时，数码相机310对图片帧316a中的图像应用用于广角畸变校正的坐标变换处理，并且将校正了广角畸变的图片帧316b存储在存储卡23中。因此，提升了图片帧316b中的背景318上的光学畸变。然而，图片帧316b中的面部317a、317b被校正使得它们与它们的实际形状接近相同，而由于广角畸变，图片帧316a中的面部317a、317b与它们的实际形状不同。

另一方面，如图14B所示，当在图片帧316c中没有检测到人物面部时，数码相机310对图片帧316c应用用于光学畸变校正的坐标变换处理，并且将校正了光学畸变的图片帧316d存储在存储卡23中。因此，广角畸变在图片帧316中依然有些引人注目。然而，图片帧316d中的建筑物319被校正使得它们具有它们应该具有的直线，而图片帧316c中的建筑物319被畸变为桶形。

使用这种方法，数码相机310自动对全景或与人有关的图像执行广角畸变校正而不是光学畸变校正，在上述与人有关的图像中，广角畸变对人、主要对象的影响比光学畸变校正对背景的影响更加重要。另一方面，如果捕获的图像是与建筑有关的图像或直线对象的图像，则光学畸变被自动校正，在上述与建筑有关的图像或直线对象的图像中，光学畸变比广角畸变更重要。因此，用数码相机310，能够容易地产生根据对象的种类校正了广角畸变或光学畸变的图像。

在第三实施例中，根据是否检测到人物面部，来选择广角畸变校正还是光学畸变校正，可以根据所检测到的人物面部的大小、数量或位置或是它们的组合做出选择。

例如，如图15所示，当在捕获的图片帧中没有检测到人物面部时，畸变校正部件312根据焦距从光学校正表113中选择合适的系数，并且使用选择的系数对原始主图像数据应用用于光学畸变校正的坐标变换处理。

另一方面，当检测到人物面部时，根据检测到的面部的位置来校正广角畸变或是光学畸变。即，畸变校正部件312根据面部检测数据和焦距数据来判定检测到的面部是否在预定的入射角内(例如对角线上的45度入射)。

如果检测到的面部在预定的入射角内，畸变校正部件312根据焦距从光学校正表113中选择适当的系数，并且使用选择的系数对原始主图像数据应用用于光学畸变校正的坐标变换处理。

如果检测到的面部在预定的入射角外，畸变校正部件312根据畸变数据从广角校正表61中选择适当的系数，并且使用选择的系数对原始主图像数据应用用于广角畸变校正的坐标变换处理。

因为根据图片帧中的检测面部的位置，例如在预定入射角内部或外部，来选择广角畸变校正或光学畸变校正图片帧，根据广角畸变对捕获的人物的影响，自动地并且适当地校正畸变。

更加具体的，如图16A所示，当在图片帧321中检测到人物面部322a到322c时，将这些面部的位置与预定入射角的区域323进行比较。在图片帧321中，面部322a到322c都在区域323中，并且实际上广角畸变并不显著。因此，对图片帧321应用用于光学畸变校正的坐标变换处理，并且将在背景324上校正了光学畸变的图像325存储在存储卡23中。

同样，如图16B所示，当在图片帧326中检测到人物面部322a到322f时，将这些面部的位置与预定入射角的区域323进行比较。在图片帧326中，广角畸变实际在位于区域323中的面部322a到322c上并不显著，在位于区域323外的面部322d到322f上显著。因此，对图片帧326应用用于广角畸变校正的坐标变换处理，并且将校正了在面部322a到322f上的广角畸变的图像327存储在存储卡23中。

采用这种方法，当人物面部在广角畸变不明显的预定入射角内时校正光学畸变，而当人物面部在广角畸变明显的预定入射角外时则校正广角畸变。因此，可以容易地生成根据在人物面部上的广角畸变的大小校正了广角畸变或光学畸变的图像。

此外，如果根据检测到的人物面部的大小选择广角畸变校正或光学畸变校正，不仅对人物的存在自动进行检测，还对这个人物是否是主要对象进行检测。这允许对捕获的图像进行更加有效的畸变校正。

在第三实施例中，类似于第一实施例，通过对捕获的图像应用坐标变换处理来校正广角畸变，如第二实施例那样，可以使用由拍摄镜头的畸变像差造成的光学畸变来校正广角畸变。

在第一到第三实施例中，被校正了广角畸变或光学畸变的图像被存储在存储卡23中。然而，也可以在存储卡23中存储校正了广角畸变的图像(在下文中的广角畸变校正图像)和校正了光学畸变的图像(在下文中的光学畸变校正图像)。

例如，当如第一实施例那样通过应用坐标变换处理来校正光学畸变时，对暂时存储在SDRAM 42中的图像数据应用用于广角畸变校正的坐标变换处理，如图17所示，并且将广角畸变校正图像存储到存储卡23中。在这个例子中，图像数据没有从SDRAM 42中删除。然后，将用于光学畸变校正的坐标变换处理应用于SDRAM 42中的图像数据，并且将光学畸变校正图像存储到存储卡23中。在这个步骤，图像数据被从SDRAM 42中删除。

可选择地，当如第二实施例那样只用由拍摄镜头的畸变像差造成的负畸变来校正广角畸变时，暂时存储在SDRAM 42中的图像数据首先被作为广角畸变校正图像存储到存储卡23中，如图18所示。再次，图像数据没有从SDRAM 42中删除。然后，将用于光学畸变校正的坐标变换处理应用于SDRAM 42中的图像数据，并且将光学畸变校正图像存储到存储卡23中。最后，图像数据被从SDRAM 42中删除。

如果至少在捕获图像时存储广角畸变校正图像和光学畸变校正图像，而不是存储其中之一，则可以在以后复查畸变校正的效果，并且选择合适的校正。

当然，即使当根据面部检测的结果来选择校正广角畸变校正或光学畸变校正时，如第三实施例，根据需要可以将广角畸变校正图像和光学畸变校正图像都存储到存储卡23中。

例如，数码相机可以被设置为：当在捕获的图像中检测到人物面部时将广角畸变校正图像以及光学畸变校正图像都存储到存储卡23中，而当没有检测到人物面部时只存储光学畸变校正图像。进一步，数码相机可以被设置为：当在捕获的图像中检测到预定入射角之外的人物面部时将广角畸变校正图像以及光学畸变校正图像都保存到存储卡23中，而当没有检测到人物面部或检测到预定入射角内的人物面部时则只存储光学畸变校正图像。

如所述，即使在根据面部检测的结果来决定是否校正广角畸变的情况下，如果认为需要广角畸变变换，则将广角畸变校正图像和光学畸变校正图像都存储到存储卡23中。这样允许在以后比较两个校正图像并且选择合适的一个。此外，如果数码相机被设置为当根据面部检测的结果认为不需要广角畸变校正时，则只存储光学畸变校正图像，那么可以避免存储卡23的浪费。

如上所述已经清楚了，广角畸变校正图像和光学畸变校正图像都通过对原始主图像数据应用坐标变换处理来生成。因此，当对原始主图像数据应用坐标变换处理时，先生成广角畸变校正图像和光学畸变校正图像的哪个没有区别。

进一步，当两个校正图像都被存储时，如果变换函数是仅校正在图片帧的外围处的广角畸变的一个变换函数，则无需为了两幅图像存储全部图像数据，为了一幅校正图像存储全部图像数据并且为了另一幅校正图像存储与该全部图像数据的差异数据。

例如，光学畸变校正图像可以作为全部图像数据被存储到存储卡23中，并且对于广角畸变校正图像可以只存储差异数据。为了在显示面板24上显示广角畸变校正图像，将差异数据加到光学畸变校正图像，然后作为广角畸变校正图像显示。如果对于广角畸变校正图像和光学畸变校正图像中的一个只存储差异数据，可以节约存储卡23的容量。在畸变校正部件中计算差异数据。

此外，当执行坐标变换处理以生成并存储广角以及光学畸变校正图像时，不需要对原始主图像数据应用坐标变换处理。

例如，如图19所示，首先对原始主图像数据应用用于光学畸变校正的坐标变换处理，并且将光学畸变校正图像存储进存储卡23中。在这个例子中，SDRAM 42中的原始主图像数据被光学畸变校正图像的数据重写覆盖。然后，对光学畸变校正图像的数据应用用于广角畸变校正的坐标变换处理，并且得到的广角畸变校正图像存储进存储卡23中。

同样，如果广角畸变校正图像被首先存储进存储卡23中，将用于光学畸变校正的坐标变换处理应用于SDRAM 42中的广角畸变校正图像的数据，并且将得到的光学畸变校正图像存储进存储卡23中。

通过对广角畸变校正图像数据应用用于光学畸变校正的坐标变换处理，以得到光学畸变校正图像，或反之亦然，在坐标变换处理期间可以节约SDRAM 42的容量。

当对光学畸变校正图像数据应用用于广角畸变校正的坐标变换处理时，畸变校正部件参考畸变数据并比较在原始主图像数据上的光学畸变和广角畸变的大小。畸变校正部件从广角校正表61中选择或估计需要的系数，并且使用该选择的系数执行坐标变换处理。当对广角畸变校正图像数据应用用于光学畸变校正的坐标变换处理时也是如此。

进一步，当光学畸变和广角畸变中的一个在已经被校正了另一种畸变的图像数据中被校正时，在捕获图像时不需要执行坐标变换处理。例如，通过畸变校正部件选择或估计的坐标变换函数的系数，可以被与图像数据相关联并被存储到存储卡23中。然后，当在显示面板24上显示图像时执行坐标变换处理。

连同广角畸变校正图像和光学畸变校正图像，原始主图像数据也可以被存储到存储卡23中。

如果将相同对象的广角畸变校正图像、光学畸变校正图像和原始图像存储进存储卡23中，优选在显示面板24上阐明这些图像之间的差异。一般的数码相机，例如，通常使用缩小像，所谓缩略图，这样一次可以显示多幅图像。然而，当在显示器上缩小时，广角畸变校正图像和光学畸变校正图像不能完全显示畸变大小和校正效果。

至于数码相机把广角畸变和光学畸变校正图像都存储在存储卡中，显示面板24可以被等分为上和下两部分，如图20所示，并且广角畸变校正图像341和光学畸变校正图像342的上半部分被彼此叠置地显示。

在广角畸变校正图像341中，人物面部343b到343f与它们的实际形状近似相同，但是在背景344上光学畸变非常显著。另一方面，在光学畸变校正图像342中，在人物面部343b到343f上广角畸变非常显著，但是在背景344上的光学畸变被适当地校正，在背景344中直线看上去笔直。

在图像外围处广角畸变趋于明显并且光学畸变也一样。因此，当将广角畸变校正图像341与光学畸变校正图像342进行比较时，通过在显示面板24上显示外围，例如这些图像的上(下)半部分，它们之间的差异变得明显。

作为代替，广角畸变校正图像和光学畸变校正图像的右(或左)半部分可以被一起显示。此外，代之以原样显示图像的半部分，图像可以在广角畸变和光学畸变趋于明显的图像外围处被放大，并且一起上和下(或右和左)显示。这样更有效地在显示器上阐明畸变大小和校正结果。

当广角畸变校正图像和光学畸变校正图像被一起显示时，更优选不仅在显示面板24上显示图像，还在连接到数码相机上的电视屏幕或计算机监视器上显示图像。

同样优选允许使用者在观看时从存储卡23中选择和删除广角畸变校正图像和光学畸变校正图像之一。这样可以比通过指定文件名或缩略图更为有效地避免对需要图像的错误删除和此类操作错误。该特征可以进一步消除为了选择和删除再次显示图像的过程，从而给使用者带来更多方便。

在第一到第三实施例中在捕获图像时校正广角畸变和/或光学畸变，可以存储焦距数据和其他需要的数据以及图像数据，并且在以后例如当从存储卡23中获取图像时校正畸变。

在第一到第三实施例中，根据选择的图像捕获模式来校正广角畸变或光学畸变。然而，可以允许在每次捕获图像时决定是否需要广角畸变校正和光学畸变校正。

虽然在第三实施例首先当捕获图像(快门释放按钮被半按)时得到焦距数据，但是焦距数据也可以在其他时间得到，该其他时间如在图像捕获之后(在取得图像数据之后)。

虽然第一到第三实施例的数码相机具有CCD图像传感器，但也可以使用CMOS或其他种类的具有公知结构的图像传感器。

虽然利用数码相机来解释第一到第三实施例，但是本发明也适用于移动相机电话、PDA、数码摄像机、电视摄像机和其他通用成像装置。

EEPROM 58包含用于每种类型的透镜单元的系数数据。透镜单元具有指示单元类型的信号元件，当透镜单元被附着到相机主体时检测该单元类型。然后选择用于检测到的透镜单元的系数数据。

尽管已经通过优选实施例并参考附图充分描述了本发明，对于本领域技术人员来说各种改变和修改是显而易见的。因此，除非这些改变和变形脱离本发明的范围，否则它们应该被解释为包括在本发明的范围内。

Claims

1.一种成像装置，具有拍摄镜头和用于将通过所述拍摄镜头形成的对象图像光电转换成电子图像信号的图像传感器，包括：

用于校正光学畸变和广角畸变的畸变校正器，当校正由所述拍摄镜头的畸变像差造成的所述光学畸变时，所述畸变校正器执行图像转换处理以给予所述图像与所述光学畸变相反符号的畸变，并且当校正所述广角畸变时所述畸变校正器执行图像转换处理以给予所述图像相应于所述广角畸变的大小的负畸变；以及

用于选择校正所述光学畸变和所述广角畸变的哪一个的校正选择器，

其中，当所述图像中的光学畸变为负并且具有用于校正所述广角畸变的大小时，所述校正选择器不选择所述光学畸变和所述广角畸变，而是用由所述畸变像差造成的光学畸变来校正所述广角畸变。

2.一种成像装置，具有拍摄镜头和用于将通过所述拍摄镜头形成的对象图像光电转换成电子图像信号的图像传感器，包括：

其中，当所述校正选择器选择校正所述广角畸变以及所述光学畸变时，所述畸变校正器生成校正了所述光学畸变的光学畸变校正图像以及校正了所述广角畸变的广角畸变校正图像，

并且其中，通过应用所述图像转换处理以将负畸变给予所述光学畸变校正图像来生成所述广角畸变校正图像。

3.如权利要求2所述的成像装置，进一步包括：

用于存储所述光学畸变校正图像和所述广角畸变校正图像的存储设备。

4.如权利要求3所述的成像装置，进一步包括：

显示设备，用于从所述存储设备中获取所述光学畸变校正图像和所述广角畸变校正图像，并且将所述光学畸变校正图像和所述广角畸变校正图像的每个分为两半，然后并列所述光学畸变校正图像和所述广角畸变校正图像的相应半部；以及

图像选择器，用于选择所述光学畸变校正图像和所述广角畸变校正图像之一，并且从所述存储设备中删除所述光学畸变校正图像和所述广角畸变校正图像中的未选择的一个。

5.如权利要求1或2所述的成像装置，其中，所述图像转换处理是使用坐标变换函数的坐标变换处理。

6.如权利要求5所述的成像装置，进一步包括：

包含所述坐标变换函数的系数的校正系数表。