CN102036012A - 摄像设备和图像数据校正方法 - Google Patents

Abstract

本发明涉及一种摄像设备和图像数据校正方法。在所述摄像设备中，摄像单元生成经由光学构件所形成的图像数据，存储单元存储用于校正所述图像数据的图像质量劣化的校正信息，读取单元从所述存储单元中存储的校正信息中读取与同用于控制所述光学构件的参数相近的多个设置值相对应的校正信息，转换单元将所述图像数据的像素位置转换成极坐标，生成单元通过对所读取的校正信息进行插值来生成校正信息，并且校正单元使用所述校正信息来对所述极坐标的像素位置处的图像数据进行校正。所述存储单元针对以所述光学构件的光轴为中心的圆周方向上的图像质量劣化的变化程度较大的范围，存储与更多的极角相对应的校正信息。

Description

摄像设备和图像数据校正方法

技术领域

本发明涉及一种摄像设备和图像数据校正方法，尤其涉及一种用于基于光学信息对由于光学因素引起的图像质量劣化进行校正的技术。

背景技术

随着近来的数字摄像机和数字照相机的像素数增多的趋势，逐渐可以获得分辨率更高的高质量图像。另一方面，由于像素大小减小引起的图像劣化以及由于设计小型镜头的困难等的因素引起的诸如成像圆的外周的光量降低、倍率色像差和畸变像差等的主要由光学系统造成的图像质量劣化越来越明显。

认为如上所述的由于光学因素引起的图像质量劣化在理论上具有从光轴的中心放射状地扩散的点对称的现象特性。然而，实际的图像受到由多个透镜组构成的镜头的特性、诸如光圈机构等的光学构件的形状以及传感器的物理结构影响，并且因而，图像质量劣化不总是具有点对称的现象特性。

为了应对具有非点对称的现象特性的这种图像质量劣化，传统上，例如，由日本专利3824237和日本专利3912404、以及日本特开2005-341033和2007-134903已经提出了使用诸如焦距、光圈和焦点位置等的光学系统的参数信息(下文中被称为“光学参数”)的校正技术。

特别是在摄像机的情况下，当焦距、光圈和焦点位置在摄像期间经常变化时，由于光学因素引起的图像质量劣化依赖于光学参数的变化而连续波动。另外，还需要考虑以下事实：在使用照相机或摄像机进行摄像的情况下，存储用于校正上述的非点对称的图像质量劣化的校正特性数据所需的存储容量、和诸如校正特性数据的处理时间等的资源有限并且很少。

为了应对这种情况，在生成校正特性数据时，需要在考虑图像质量劣化的非点对称性时，根据光学特性的状况和摄像状态进行适当的控制操作。

根据日本专利3824237，根据光学参数确定光学校正值的混合比，并且根据通过在垂直方向和水平方向上利用距离增益函数校正从关注像素到画面中心的距离所获得的像素距离，进行遮光校正(shading correction)。然而，该技术仅使用距离增益函数类似地改变基本校正特性。因此，对于具有复杂的非点对称性的光学特性，需要具有复杂的距离增益函数，并且由于该技术不能应对不相似的形状变化，因此不能获得适当的校正效果。此外，利用简单模型来近似针对光学参数和图像高度位置的变化的校正特性，这实际上没有实现适当的校正处理。

根据日本专利3912404，检测由图像稳定处理引起的光轴的中心和图像传感器的中心的相对位置，并且切换从光轴的中心起在径向方向上离散地存储的遮光校正信息的相位。然而，在该例子中，使用未被处理的离散配置的校正信息，并且因而，对于具有复杂的非点对称性的光学特性，只能简单地增大校正信息的密度。

根据日本特开2005-341033，为了应对由传感器结构引起的遮光的不对称性，使在x轴方向和y轴方向上存储的校正信息不对称，并且计算关注像素的位置处的校正系数。然而，在该例子中，通过合成线对称的现象特性、以使得可以利用特定函数表示这些线对称的现象特性来表示整个画面的不对称性，并且因而，该技术不能应对相对于光轴的中心在角度方向上变化的光学特性。

根据日本特开2007-134903，为了应对由光学系统的畸变引起的遮光的不对称性，使用实际测量出的遮光量对校正信息进行转换，并且计算关注像素的位置处的校正系数。然而，该例子需要实际测量非点对称的特性并存储该信息。如果进行实际测量，则首先获得校正信息毫无意义。另外，实际上不可能在光学参数连续变化的实际摄像状态下进行相同的处理。

发明内容

考虑到以上情形而作出本发明，并且本发明使得可以在不增大设备的结构的情况下、快速地校正具有复杂的非点对称性的由于光学因素引起的图像质量劣化。

根据本发明，提供一种摄像设备，包括：控制单元，用于通过使用参数来控制光学构件；摄像单元，用于根据经由所述光学构件形成的被摄体图像生成图像数据；存储单元，用于针对控制所述光学构件所使用的所述参数能够采用的多个设置值，存储校正信息，所述校正信息用于校正由所述光学构件的特性引起的、并且相对于所述光学构件的光轴非点对称的图像数据的图像质量劣化，并与以所述光学构件的光轴为中心的极坐标系中的多个极角的多个图像高度相对应；读取单元，用于当所述控制单元通过使用所述参数来控制所述光学构件时，从所述存储单元中存储的校正信息中读取如下校正信息：该校正信息对应于与由所述控制单元使用的所述参数的设置值相近的多个设置值；转换单元，用于将由所述摄像单元生成的图像数据的像素位置转换成以所述光学构件的光轴为中心的极坐标；生成单元，用于通过对由所述读取单元读取的校正信息进行插值，生成与由所述控制单元使用的所述参数的设置值和由所述转换单元转换成的极坐标相对应的校正信息；以及校正单元，用于通过使用由所述生成单元生成的校正信息，对所述极坐标的像素位置处的图像数据进行校正，其中，所述存储单元针对以所述光学构件的光轴为中心的圆周方向上的图像质量劣化的变化程度较大的范围，存储与更多的极角相对应的校正信息。

根据本发明，提供一种摄像设备，包括：控制单元，用于通过使用参数来控制光学构件；摄像单元，用于根据经由所述光学构件形成的被摄体图像生成图像数据；存储单元，用于针对控制所述光学构件所使用的所述参数能够采用的多个设置值，存储校正信息，所述校正信息用于校正由所述光学构件的特性引起的、并且相对于所述光学构件的光轴非点对称的图像数据的图像质量劣化，并与以所述光学构件的光轴为中心的极坐标系中的多个极角的多个图像高度相对应；读取单元，用于当所述控制单元通过使用所述参数来控制所述光学构件时，从所述存储单元中存储的校正信息中读取如下校正信息：该校正信息对应于与由所述控制单元使用的所述参数的设置值相近的多个设置值；转换单元，用于将由所述摄像单元生成的图像数据的像素位置转换成以所述光学构件的光轴为中心的极坐标；生成单元，用于通过对由所述读取单元读取的校正信息进行插值，生成与由所述控制单元使用的所述参数的设置值和由所述转换单元转换成的极坐标相对应的校正信息；校正单元，用于通过使用由所述生成单元生成的校正信息，对所述极坐标的像素位置处的图像数据进行校正；以及特征检测单元，用于检测由所述摄像单元生成的图像数据的各区域的特征量，其中，所述读取单元针对由所述特征检测单元检测到的特征量较大的范围，从所述存储单元中存储的校正信息中读取更多的校正信息。

此外，根据本发明，提供一种摄像设备的图像数据校正方法，所述摄像设备包括：控制单元，用于通过使用参数来控制光学构件；摄像单元，用于根据经由所述光学构件形成的被摄体图像生成图像数据；以及存储单元，用于针对控制所述光学构件所使用的所述参数能够采用的多个设置值，存储校正信息，所述校正信息用于校正由所述光学构件的特性引起的、并且相对于所述光学构件的光轴非点对称的图像数据的图像质量劣化，并与以所述光学构件的光轴为中心的极坐标系中的多个极角的多个图像高度相对应，所述图像数据校正方法包括以下步骤：读取步骤，用于当所述控制单元通过使用所述参数来控制所述光学构件时，从所述存储单元中存储的校正信息中读取如下校正信息：该校正信息对应于与由所述控制单元使用的所述参数的设置值相近的多个设置值；转换步骤，用于将由所述摄像单元生成的图像数据的像素位置转换成以所述光学构件的光轴为中心的极坐标；生成步骤，用于通过对在所述读取步骤中读取的校正信息进行插值，生成与由所述控制单元使用的所述参数的设置值和在所述转换步骤中转换成的极坐标相对应的校正信息；以及校正步骤，用于通过使用在所述生成步骤中生成的校正信息，对所述极坐标的像素位置处的图像数据进行校正，其中，所述存储单元针对以所述光学构件的光轴为中心的圆周方向上的图像质量劣化的变化程度较大的范围，存储与更多的极角相对应的校正信息。

此外，根据本发明，提供一种摄像设备的图像数据校正方法，所述摄像设备包括：控制单元，用于通过使用参数来控制光学构件；摄像单元，用于根据经由所述光学构件形成的被摄体图像生成图像数据；以及存储单元，用于针对控制所述光学构件所使用的所述参数能够采用的多个设置值，存储校正信息，所述校正信息用于校正由所述光学构件的特性引起的、并且相对于所述光学构件的光轴非点对称的图像数据的图像质量劣化，并与以所述光学构件的光轴为中心的极坐标系中的多个极角的多个图像高度相对应，所述图像数据校正方法包括以下步骤：读取步骤，用于当所述控制单元通过使用所述参数来控制所述光学构件时，从所述存储单元中存储的校正信息中读取如下校正信息：该校正信息对应于与由所述控制单元使用的所述参数的设置值相近的多个设置值；转换步骤，用于将由所述摄像单元生成的图像数据的像素位置转换成以所述光学构件的光轴为中心的极坐标；生成步骤，用于通过对在所述读取步骤中读取的校正信息进行插值，生成与由所述控制单元使用的所述参数的设置值和在所述转换步骤中转换成的极坐标相对应的校正信息；校正步骤，用于通过使用在所述生成步骤中生成的校正信息，对所述极坐标的像素位置处的图像数据进行校正；以及特征检测步骤，用于检测由所述摄像单元生成的图像数据的各区域的特征量，其中，所述读取步骤包括针对在所述特征检测步骤中检测到的特征量较大的范围，从所述存储单元中存储的校正信息中读取更多的校正信息。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据实施例1的摄像设备的示意结构的框图；

图2是示出根据实施例1的像素坐标生成电路的内部结构的框图；

图3是示出根据实施例1的系数生成电路的内部结构的框图；

图4是示出根据实施例1的光学校正电路的结构的示例的框图；

图5是示出使用极坐标表示摄像设备中的像素的位置的示例的图；

图6A和6B是示出针对图像高度呈非点对称性的光学特性的校正量的示例的图；

图7A～7D是示出根据实施例1的光学校正数据库中存储的、具有非点对称性的光学校正特性信息的示例的图；

图8A～8F是示出根据实施例1的用于计算校正系数的方法的图；

图9A和9B是示出根据变形例1的光学校正特性信息的其它示例的图；

图10A～10F是示出根据变形例1的用于计算校正系数的方法的图；

图11A和11B是示出根据变形例2的光学校正特性信息的其它示例的图；

图12A～12C是示出根据实施例2的倍率色像差校正电路或畸变像差校正电路的处理的示意图；

图13是示出根据实施例2的光学校正电路的结构的示例的框图；

图14是示出根据实施例3的摄像设备的示意结构的框图；

图15A～15C是示出根据实施例3的特征检测电路的结构的示例的框图；

图16A和16B是示出用于通过匹配来获取特征评价值的方法的图；以及

图17A～17D是示出根据实施例2的光学校正特性信息的示例的图。

具体实施方式

将根据附图来详细说明本发明的优选实施例。

实施例1

图1是示出根据实施例1的摄像设备的示意结构的框图。在图1中，附图标记1表示包括变焦透镜和调焦透镜的透镜单元，并且附图标记2表示光圈。在摄像设备是摄像机的情况下，根据诸如变焦操作、被摄体运动、被摄体变化、环境的周围亮度的变化和拍摄者所期望的拍摄效果等的各种因素来控制包括透镜单元1和光圈2的光学系统。换言之，经常控制代表例子包括焦距、焦点位置和光圈值的光学参数，并且这些光学参数变化。

已经通过包括透镜单元1和光圈2的光学系统的光被颜色分解棱镜3颜色分解成红色(R)、绿色(G)和蓝色(B)，然后将红色(R)、绿色(G)和蓝色(B)分别形成在图像传感器41～43上作为光学图像，并将它们顺次转换成图像信号。由模拟前端(AFE)5将从图像传感器41～43输出的图像信号转换成与红色(R)、绿色(G)和蓝色(B)相对应的数字图像信号Sr、Sg和Sb。代替颜色分离棱镜3和图像传感器41～43，可以配置具有包括红色(R)、绿色(G)和蓝色(B)滤波器的拜尔(Bayer)模式滤波器的单独的图像传感器。

将数字图像信号Sr、Sg和Sb输入至光学校正电路6，并且对各像素顺次应用从后面将说明的系数生成电路14输入的校正值Zt。因而，校正由透镜单元1和光圈2引起的光学现象，并且输出数字图像信号Sr’、Sg’和Sb’。

附图标记7表示控制整个摄像设备的操作的微计算机。

附图标记8表示用于驱动透镜单元1的变焦透镜的致动器，该致动器基于从微计算机7输出的驱动脉冲CL来驱动变焦透镜。附图标记9表示用于驱动透镜单元1的调焦透镜的致动器，该致动器基于从微计算机7输出的驱动脉冲CF来驱动调焦透镜。附图标记10表示用于驱动光圈2的致动器，该致动器基于从微计算机7输出的驱动脉冲Cf来驱动光圈2。

时序发生器(TG)11根据图像传感器41～43的驱动规格，生成水平同步信号HD和垂直同步信号VD，并且将这些信号供给至AFE 5和以下将说明的像素坐标生成电路12。AFE 5基于水平同步信号HD和垂直同步信号VD生成针对图像传感器41～43的驱动信号，并将这些信号输入至图像传感器41～43。

像素坐标生成电路12基于从微计算机7供给的光轴位置信息Cx和Cy、以及从TG 11供给的水平同步信号HD和垂直同步信号VD，生成当前像素的极坐标，并将这些极坐标供给至系数生成电路14。由光学系统引起的图像质量劣化的例子包括诸如倍率色像差和畸变像差等的光学像差、以及周围光量的下降，但已知这些图像质量劣化根据图像高度而变化。由于该原因，由像素坐标生成电路12将基于水平同步信号HD和垂直同步信号VD所获得的图像传感器41～43中的像素位置转换成由相对于光轴的极径Rt和相对于初始线的极角θt所表示的极坐标。后面将详细说明极坐标的生成。

附图标记14表示系数生成电路，该系数生成电路基于从像素坐标生成电路12获得的极坐标、和经由微计算机7输入的光学校正数据库13中所保存的光学校正数据Cm(校正信息)，生成用于在光学校正电路6中校正光学现象的校正值Zt。光学校正数据库13是诸如闪速存储器等的存储装置。

接着，将详细说明如上所述配置成的摄像设备中、用于生成校正值Zt的处理。

极坐标的生成

图2是示出像素坐标生成电路12的详细结构的框图。如图2所示，在水平同步信号HD的后沿处重置的H计数器121和在垂直同步信号VD的后沿处重置的V计数器122分别输出水平计数值Xt和垂直计数值Yt。如图5所示，在将位于图像传感器41～43的左上角处的像素的坐标设置为(0，0)、Xt表示水平方向并且Yt表示垂直方向的情况下，这里获得的水平计数值Xt和垂直计数值Yt表示像素的坐标(Xt，Yt)。

从微计算机7供给的光轴位置信息Cx和Cy表示由透镜单元1和光圈2构成的光学系统的光轴C位于图像传感器41～43中的位置(坐标)。

极坐标转换电路123基于光轴位置信息Cx和Cy，将像素t的水平计数值Xt和垂直计数值Yt转换成以光轴C作为原点的极坐标。可以通过以下表示极坐标。

$\mathrm{Rt}=\sqrt{{(\mathrm{Xt}-\mathrm{Cx})}^2+{(\mathrm{Yt}-\mathrm{Cy})}^2}$

$\mathrm{\θt}=a\tan \left(\frac{\mathrm{Yt}-\mathrm{Cy}}{\mathrm{Xt}-\mathrm{Cx}}\right)$

因此，极坐标转换电路123计算以上等式，并且输出极坐标值Rt和θt。还可以通过在平方根运算的情况下以有限字长精度表示两分法或开平方等的已知方法、以及通过在atan运算的情况下利用高阶函数近似或将XY比切分成预定值范围的低阶分段函数近似，利用硬件来实现平方根运算和atan运算。

校正量标绘数据集的选择

如上所述，由于光学构件的形状、传感器的物理结构等，因而包括多个透镜的透镜单元1和光圈2的光学特性经常呈非点对称。图6A示出以光轴C为中心的极角θ1～θ4处的极径方向cf1～cf4，并且图6B示出针对图6A所示的极径方向cf1～cf4的图像高度处的光学特性的适当的校正量的示例。在图6A和6B所示的例子中，假定光学特性具有光学特性依赖于角度而变化的非点对称性，并且如图6B所示，极径方向cf1～cf4的校正量彼此不一致。

在实施例1中，为了获得用于校正由于这种非点对称的光学特性引起的图像质量劣化的校正量，将针对光学参数的光学校正特性信息和区域信息预先存储在光学校正数据库13中。例如，光学校正数据库13中存储的光学校正特性信息可以是直接表示多个极角的极径方向的预设的多个图像高度(极径)处的校正量(标绘数据)的标绘数据集。代替标绘数据集，还可以存储作为近似各极径方向的校正量特性的结果所获得的函数的系数项。光学校正数据库13中存储的区域信息是与各个所存储的校正量的位置的以光轴为中心的极坐标(极角和图像高度)有关的信息。

图7A～7D是示出根据实施例1的、用于根据光学校正数据库13中存储的光学校正特性信息获得输入至系数生成电路14的光学校正数据的处理的示例的图。

图7A示出针对光学参数Oa的、存储光学校正特性信息的4个极径方向cfa1～cfa4和相应的极角θa1～θa4。图7B示出针对光学参数Ob的、存储光学校正特性信息的4个极径方向cfb1～cfb4和相应的极角θb1～θb4。这样，在实施例1中，针对多个不同的光学参数各自存储光学校正特性信息。

图7C和7D分别示出针对光学参数Oa和Ob的光学校正特性信息中包括的校正量的相应位置。如从图7A和7C可以看出，作为针对光学参数Oa的光学校正特性信息，在4个极径方向cfa1～cfa4各自的4个图像高度处，总共存储了13个校正量(光轴处的校正量是公共的校正量)。在下文，包括极径方向cfa1～cfa4各自的校正量(标绘数据)和各个校正量的区域信息(极角θa1～θa4和图像高度)的集被称为“校正量标绘数据集Cma1～Cma4”。还可将校正量标绘数据集Cma1～Cma4统称为“校正量标绘数据集Cma”。另外，从光轴朝向外围延伸的4个图像高度被称为“图像高度1～4”，并且校正量标绘数据集Cma1中包括的校正量(标绘数据)被称为“校正量标绘数据Cma11～Cma14”。按相同的方式表示校正量标绘数据集Cma2～Cma4中包括的校正量标绘数据。

同样，如从图7B和7D可以看出，作为针对光学参数Ob的校正特性信息，在4个极径方向cfb1～cfb4各自的4个图像高度处，总共存储了13个校正量(光轴处的校正量是公共的校正量)。在下文，包括极径方向cfb1～cfb4各自的校正量(标绘数据)和各个校正量的区域信息(极角θb1～θb4和图像高度)的集被称为“校正量标绘数据集Cmb1～Cmb4”。还可将校正量标绘数据集Cmb1～Cmb4统称为“校正量标绘数据集Cmb”。另外，从光轴朝向外围延伸的4个图像高度被称为“图像高度1～4”，并且校正量标绘数据集Cmb1中包括的校正量(标绘数据)被称为“校正量标绘数据Cmb11～Cmb14”。按相同的方式表示校正量标绘数据集Cmb2～Cmb4中包括的校正量标绘数据。

在图7A～7D中，在4个极角的4个极径方向上各自仅存储4个图像高度处的校正量的原因是，光学校正数据库13的存储容量有限，并且因而仅能离散地存储校正量。在实施例1中，针对非点对称的光学特性大幅变化的极角范围，预先分配与3个极径方向有关的光学校正特性信息，并且针对非点对称的光学特性缓和地变化的极角范围，预先分配与一个极径方向有关的光学校正特性信息。换言之，光学校正数据库13针对光学特性在以光轴为中心的圆周方向上的变化的程度较大的范围，存储与更多个极角相对应的校正信息。因此，对于不具有校正量的光学参数区域、图像高度位置和极角，可以通过从相邻信息插值来获取校正量。应当注意，光学校正数据库13中存储的、根据本发明的光学校正特性信息的方向和数量不限于以上所述这些，并且可以根据摄像设备所容许的存储容量和光学系统的特性变化量的趋势，预先确定信息量。

另一方面，光学参数控制单位时间(拍摄到一个图像的时间段)是表示图像信号的更新的垂直同步信号VD的一个周期(一个帧期间)，并且因而，微计算机7所分配的光学校正处理的处理时间当然有限。因此，微计算机7从与近似当前光学参数Ot的光学参数相对应的数据集起，按顺序获取一个帧期间内可以进行数据处理的有限数量的标绘数据和区域信息(多个数据集)。

因此，首先，微计算机7从光学校正数据库13中存储的光学校正特性信息的多个光学参数中选择与当前的光学参数Ot相近的两个光学参数。这里，假定选择上述的光学参数Oa和Ob。然后，微计算机7将与所选择的光学参数Oa和Ob相对应的校正量标绘数据集Cma和Cmb输出至系数生成电路14作为光学校正数据Cm。当微计算机7向透镜单元1和光圈2输出驱动脉冲CL、CF和Cf时，输出光学校正数据Cm。

校正系数的生成

图3是示出系数生成电路14的结构的示例的框图。将从像素坐标生成电路12输出的当前所处理的像素的极坐标值Rt和θt、以及从微计算机7输出的光学校正数据Cm输入至函数系数计算电路141。这里，将以处理图7A～7D中的像素t1(极径＝Rt1、极角＝θt1)的情况作为例子来进行说明。

函数系数计算电路141从所输入的校正量标绘数据集Cma1～Cma4中，选择与如图7C所示将像素t1的极角θt1夹在中间的极角θa1和θa2相对应的两个校正量标绘数据集Cma1和Cma2。图8A示出所选择的校正量标绘数据集Cma1和Cma2的4个图像高度(1～4)处的校正量标绘数据。函数系数计算电路141通过使用像素t1的极角θt1与校正量标绘数据集Cma1、Cma2的极角θa1、θa2之间的距离对各图像高度处的两个校正量标绘数据进行加权，来进行插值处理。结果，如图8C所示计算出4个校正量标绘数据的加权平均值。

同样，函数系数计算电路141从所输入的校正量标绘数据集Cmb1～Cmb4中，选择与如图7D所示将像素t1的极角θt1夹在中间的极角θb2和θb3相对应的两个校正量标绘数据集Cmb2和Cmb3。图8B示出所选择的校正量标绘数据集Cmb2和Cmb3的4个图像高度(1～4)的校正量标绘数据。函数系数计算电路141通过使用像素t1的极角θt1与校正量标绘数据集Cmb2、Cmb3的极角θb2、θb3之间的距离对各图像高度处的两个校正量标绘数据进行加权，来进行插值处理。结果，如图8D所示计算出4个校正量标绘数据的加权平均值。

接着，函数系数计算电路141针对各图像高度，进一步对图8C和8D所示的校正量标绘数据的加权平均值进行平均，并且如图8E所示获得校正量标绘数据的平均值。

最后，如图8F所示，函数系数计算电路141确定像素t1的极径Rt1所属的图像高度区间(在该例子中，图像高度2和3之间)，并且输出与所确定的图像高度区间相对应的近似函数的系数a、b和c。

校正值计算电路142使用系数a、b和c以及像素t1的极径Rt1，基于以下等式计算校正量Zt1。

Zt1＝aRt1²+bRt1+c

在实施例1中，利用如以上等式所示的二次函数来近似图像高度区间，但是还可以利用线性函数(线性近似)、或者三次函数或更高次函数来近似图像高度区间。

将由此获得的用于校正当前所处理的像素t1的光学特性的校正量Zt1从系数生成电路14的校正值计算电路142输出至光学校正电路6。针对各像素t，按上述过程顺序确定校正量Zt，然后将其输出至光学校正电路6。

光学现象的校正

图4是示出光学校正电路6的结构的示例的图。这里，将以校正作为光学特性的周围光量的下降的情况作为例子来进行说明。在校正周围光量的下降的情况下，从系数生成电路14输出的校正量Zt是正在处理的像素的位置处的光量的下降为倒数的增益值。

由乘法器401、402和403将输入至光学校正电路6的校正量Zt乘以从AFE 5输出的数字图像信号Sr、Sg和Sb，并且输出已经经过了光学校正处理的数字图像信号Sr’、Sg’和Sb’。

如上所述，根据实施例1，可以在不增大所需的存储容量的情况下，快速地校正由于非点对称的光学特性引起的图像质量劣化。

应当注意，如上所述，代替直接表示光学特性的校正量的标绘数据，光学校正数据库13可以存储近似校正量特性的函数的系数项。在这种情况下，可以利用近似函数的阶次来替换以上给出的说明中的“校正量标绘数据”。

变形例1

在以上的实施例1中，如图7A～7D所示，校正量标绘数据集Cma和Cmb中包括各极径方向上的4个校正量标绘数据。在变形例1中，如图9A和9B所示，向以光轴为中心的圆周方向上的非点对称性缓和地变化的范围中所包括的极径方向(Cma4和Cmb3)分配不同的图像高度处的更多的校正量标绘数据。这是为了提高以光轴为中心的圆周方向上的非点对称性缓和地变化的范围中的插值操作的精度，将以获得图9A和9B所示的像素t2(极径＝Rt2、极角＝θt2)的校正系数的情况作为例子来进行说明。在变形例1中，与实施例1相同，假定已经基于光学参数选择了校正量标绘数据集Cma和Cmb。

如从图9A可以看出，函数系数计算电路141基于像素t2的极角θt2，从校正量标绘数据集Cma1～Cma4中选择将像素t2夹在中间的两个校正量标绘数据集Cma1和Cma4。在这种情况下，如图10A所示，校正量标绘数据集Cma1和Cma4分别包括4个和7个校正量标绘数据。然后，在各个图像高度处设置的校正量标绘数据中，如果存在同一图像高度处的2个校正量标绘数据，则通过使用像素t2的极角θt2和校正量标绘数据集Cma1、Cma4的极角θa1、θa4之间的距离对数据进行加权来进行插值处理。对于仅具有1个校正量标绘数据的图像高度(图像高度2、4和6)，首先，通过对前后的图像高度处的校正量标绘数据进行平均来获得校正量标绘数据集Cma1的校正量标绘数据Cma12、Cma14和Cma16。然后，对所确定的值和校正量标绘数据集Cma4的校正量标绘数据Cma42、Cma44和Cma46进行加权插值处理。结果，如图10C所示计算出7个校正量标绘数据的加权平均值。

另一方面，函数系数计算电路141基于像素t2的极角θt2，从校正量标绘数据集Cmb1～Cmb4中选择将像素t2夹在中间的两个校正量标绘数据集Cmb1和Cmb4。图9B示出所选择的校正量标绘数据集Cmb1和Cmb4的4个图像高度处的校正量标绘数据。然后，函数系数计算电路141通过使用像素t2的极角θt2和校正量标绘数据集Cmb1、Cmb4的极角θb1、θb4之间的距离对各图像高度处的两个校正量标绘数据进行加权，来进行插值处理。结果，如图10D所示计算出4个校正量标绘数据的加权平均值。

接着，函数系数计算电路141针对各图像高度，进一步对图10C和10D所示的校正量标绘数据的加权平均值进行平均，并且如图10E所示获得校正量标绘数据的平均值。在该例子中，不存在与图像高度2、4和6相对应的校正量标绘数据集Cmb1和Cmb4的加权平均值。因此，首先，使用前后的图像高度处的加权平均值确定图像高度2、4和6处的加权平均值，然后将图像高度2、4和6处的加权平均值与校正量标绘数据集Cma1和Cma4的加权平均值进行平均。

最后，如图10F所示，函数系数计算电路141确定像素t2的极径Rt2所属的图像高度区间(在该例子中，图像高度5和6之间)，并且输出与所确定的图像高度区间相对应的近似函数的系数a、b和c。

校正值计算电路142使用系数a、b和c以及像素t2的极径Rt2，基于以下等式计算校正量Zt2。

Zt2＝aRt2²+bRt2+c

在变形例1中，利用如以上等式所示的二次函数来近似图像高度区间，但还可以利用线性函数(线性近似)、或者三次函数或更高次的函数来近似图像高度区间。

将由此获得的用于校正当前所处理的像素t2的光学特性的校正量Zt2从系数生成电路14的校正值计算电路142输出至光学校正电路6。

变形例2

在以上给出的实施例1和变形例1中，校正量标绘数据集Cma和Cmb中包括的校正量标绘数据的图像高度是等间隔的。然而，如图11A和11B所示，通过在非点对称性大幅变化的图像高度区域(该图中的高图像高度区域)中分配更多的校正标绘数据，可以提高插值运算精度。

通过使用图11A和11B所示的校正标绘数据集Cma和Cmb确定校正系数的方法与结合以上的实施例1中的图8A～8F所述的方法相同，并且因而这里省略对该方法的说明。

实施例2

以上给出的实施例1说明了校正作为光学特性的周围光量的下降的情况。在实施例2中，将说明校正倍率色像差或畸变像差的情况。设备的总体结构与图1所示的总体结构相同，并且由此这里省略对该结构的说明。

倍率色像差校正和畸变像差校正是用于将像素重新配置到该像素处的所获得的图像数据在不存在倍率色像差或畸变像差的情况下所位于的像素位置(坐标)的处理，并且不是用于校正图像数据本身的处理。因此，在实施例2中，将像素(坐标)的移动方向和距离存储为校正量标绘数据。

这里，校正系数Zt是像素位置的偏移量被分离成水平方向和垂直方向上的偏移分量的偏移量，并且在下文，红色(R)在水平方向上的偏移分量的系数被称为“ZtHr”，并且红色(R)在垂直方向上的偏移分量的系数被称为“ZtVr”。同样，绿色(G)在水平方向上的偏移分量的系数被称为“ZtHg”，并且绿色(G)在垂直方向上的偏移分量的系数被称为“ZtVg”。蓝色(B)在水平方向上的偏移分量的系数被称为“ZtHb”，并且蓝色(B)在垂直方向上的偏移分量的系数被称为“ZtVb”。因此，在实施例2中，作为光学校正特性信息，在水平方向和垂直方向中的各方向上提供针对R、G和B各颜色的校正量标绘数据。并且，通过按如上所述的方式独立地确定针对各方向的各颜色的校正系数，可以获得校正系数ZtHr、ZtVr、ZtHg、ZtVg、ZtHb和ZtVb。

图12A～12C是示出校正像素位置偏移的概念的图。在图12A中，黑色点表示正在处理的像素S的位置，并且灰色点是表示在像素S的位置处应当获得的图像信号由于倍率色像差或畸变像差的影响而偏移且成像的位置的虚拟像素S’。

为了校正倍率色像差或畸变像差，获得相位在水平方向上偏移了量Hp、并且在垂直方向上偏移了量Vp的虚拟像素S’，并且在关注像素S的位置中重新配置该像素。

可以通过使用如图12B所示的接近虚拟像素S’并且实际获得了图像信号的像素s1、s2、s3和s4以及像素素s1、s2、s3和s4与虚拟像素S’之间的像素间距离c1、c2、c3和c4进行加权插值运算，来生成虚拟像素S’。如图12C所示，在像素S的位置处替换所生成的虚拟像素S’，由此校正了倍率色像差或畸变像差。

图13是示出当光学校正电路6是倍率色像差校正电路或畸变像差校正电路时、光学校正电路6的用以实现图12A～12C所示的处理的结构的框图。

首先，将说明R成分的校正。将输入至光学校正电路6的校正系数ZtHr和ZtVr输入至插值控制电路601，并且将它们的整数部分输出为Hrp和Vrp。插值控制电路601通过使用基准像素sr1、sr2、sr3和sr4与虚拟像素Sr’之间的像素间距离进行加权，将小数部分转换成插值系数cr1、cr2、cr3和cr4，并输出结果。

缓冲存储器602顺次存储多个像素的水平方向和垂直方向上的数字图像信号Sr，并且针对各像素顺序输出由Hrp和Vrp表示的位置处存储的像素的信号，作为接近虚拟像素Sr’的基准像素sr1、sr2、sr3和sr4的信号。

可以通过以下表示校正后的数字图像信号Sr’。

${\mathrm{Sr}}^{\′}=\frac{\underset{k=1}{\overset{4}{\mathrm{\Σ}}}s{r}_k.c{r}_k}{4}$

这样，由乘法器603、604、605和606将基准像素sr1、sr2、sr3和sr4的信号分别乘以插值系数cr1、cr2、cr3和cr4，并且由平均化电路607对其进行平均，并且输出校正后的数字图像信号Sr’。

对于G成分和B成分，由插值控制电路608和615、缓冲存储器609和616、乘法器610～613和617～620以及平均化电路614和621进行与R成分的情况下的处理相同的处理。然后，分别输出校正后的数字图像信号Sg’和Sb’。

实施例3

接着，将说明本发明的实施例3。图14是示出根据实施例3的摄像设备的示意结构的框图。对与图1的摄像设备的组件相同的组件给予相同的附图标记，并且这里省略对这些组件的说明。与本发明的实施例1的不同之处在于，在光学校正电路6之前配置检测所拍摄图像的特征的特征检测电路15，并且微计算机7获取特征评价值Id(特征量)。

特征检测电路15对数字图像信号Sr、Sg和Sb执行对比度检测、高频分量检测和运动检测至少之一，并且输出特征评价值Id。

在对比度检测的情况下，例如，如图15A所示配置特征检测电路15。将数字图像信号Sr、Sg和Sb输入至亮度信号生成电路151，其中，通过使用例如以下常用的亮度生成等式来混合数字图像信号Sr、Sg和Sb，

Y＝0.299Sr+0.587Sg+0.114Sb

并且输出亮度信号Y。例如，对比度检测电路152可以是sobel滤波器，并且输出作为滤波器的输出的一次差分值作为特征评价值Id。

例如，在高频分量检测的情况下，如图15B所示配置特征检测电路15。将数字图像信号Sr、Sg和Sb输入至亮度信号生成电路151，并且与对比度检测的情况相同，输出亮度信号Y。例如，高频分量检测电路153可以是带通滤波器(BPF)，并且输出作为滤波器的输出的预定频带的应答值作为特征评价值Id。

在运动检测的情况下，例如，如图15C所示配置特征检测电路15。这是应用代表点匹配运算的一般结构。将数字图像信号Sr、Sg和Sb输入至亮度信号生成电路151，与对比度检测的情况相同，亮度信号生成电路151输出亮度信号Y。

帧存储器154具有能够存储至少两帧的代表点亮度信号的容量，并且存储作为按预定像素间隔在水平方向和垂直方向上对从亮度信号生成电路151获得的亮度信号Y进行重新采样的结果所获得的代表点亮度信号。还将类似的代表点亮度信号存储在缓冲存储器155中。按图16A中由阴影所表示的预定大小的矩形区域为单位，从帧存储器154的左上地址到右下地址顺次从帧存储器154中读取代表点亮度信号Ys。另一方面，从缓冲存储器155中，从分区编号1～12顺次读取通过将图像分割成如由图16B中的矩形区域所示的预定大小的分区所获得的分区的代表点亮度信号Yt。

代表点匹配电路156接收从缓冲存储器155的分区编号1输入的亮度信号Yt、以及从存储器154中从帧存储器154的左上地址到右下地址顺次输入的亮度信号Ys。然后，代表点匹配电路156根据当亮度信号Yt和亮度信号Ys之间的差最小时读取亮度信号Ys的位置、以及在缓冲存储器155中读取亮度信号Yt的分区编号1的位置，获得分区编号1的运动矢量，并输出该运动矢量作为特征评价值Id。

当按以上所述的方式针对分区编号1的匹配运算结束时，从缓冲存储器155读取分区编号2的亮度信号Yt，并将其输入至代表点匹配电路156。然后，从帧存储器154中，从正在更新的帧存储器154的左上地址到右下地址顺次读取亮度信号Ys，并且确定与亮度信号Yt的差。按与分区编号1相同的方式，输出分区编号2的运动矢量作为特征评价值Id。

之后，针对分区编号3～12，按相同的方式重复匹配运算，由此特征检测电路15输出分区编号1～12的所有分区的运动矢量作为特征评价值Id。由微计算机7合成由此获得的特征评价值Id，并将其处理成单一特征评价值Id。

具有高对比度或高频成分的区域很可能是倍率色像差明显的区域，并且具有大量的运动的区域很可能是周围光量的下降明显的区域。因而，可以假定特征评价值Id大的区域是倍率色像差或周围光量的下降很可能明显的区域。

由于该原因，微计算机7通过使用以下所述的方法，针对特征评价值Id大的区域调整校正量标绘数据集Cm的读取，以使得与其它区域相比，校正量Zt的近似精度较高。

如上所述，微计算机7在向透镜单元1和光圈2输出驱动脉冲CL、CF和Cf时，存取光学校正数据库13，并且根据特征评价值Id输出提供给系数生成电路14的校正量标绘数据集Cm。在下文，将说明在这种情况下由微计算机7基于特征评价值Id所进行的控制。

微计算机7在当前的光学参数附近，获取在作为光学参数控制单位时间的一个帧期间内可以进行数据处理的、有限数量的校正量标绘数据和区域信息(多个数据集)。在这之前，微计算机7通过观看特征评价值Id在画面内的分布来确定具有最高的特征评价值Id的区域，并且确定包括该区域的极角θi。

接着，微计算机7从光学校正数据库13中存储的光学校正特性信息中选择当前的光学参数附近的两个光学参数Oa和Ob。例如，在光学校正数据库13中，存储了如图17A所示的光学参数Oa的四方向的标绘数据集和如图17B所示的光学参数Ob的四方向的标绘数据集。在实施例3中，假定在各方向上存储了7个标绘数据。

微计算机7进行控制，以使得在从光学校正数据库13读取与光学参数Oa和Ob相对应的校正量标绘数据集Cma和Cmb时，从将极角θi夹在中间的两个方向读取更多的校正量标绘数据集。例如，在与参数Oa相对应的图17A中，如图17C所示，读取7个标绘数据作为校正量标绘数据集Cma1和Cma2。作为校正量标绘数据集Cma3和Cma4，读取4个标绘数据。同样，在与光学参数Ob相对应的图17B中，如图17D所示，读取7个标绘数据作为校正量标绘数据集Cmb1和Cmb2，并且读取4个标绘数据作为校正量标绘数据集Cmb3和Cmb4。将按这种方式从光学校正数据库13读取的校正量标绘数据集Cma和Cmb(光学校正数据Cm)输出至系数生成电路14。

系数生成电路14进行与结合以上的变形例1中的图10A～10F所述的操作相同的操作，并且将所获得的校正量Zt输出至光学校正电路6。

如上所述，根据实施例3，除实施例1的效果以外，可以根据图像信号的特征信息进一步提高校正精度。

在以上所述的实施例1～3中，将各极径方向上的标绘数据的数量设置为4个或7个，但本发明不限于此，并且只要可以在一个帧期间内完成一个图像的处理，就可以根据设备的处理性能将数量设置为任意数量。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (8)

1.一种摄像设备，包括：

控制单元，用于通过使用参数来控制光学构件；

摄像单元，用于根据经由所述光学构件形成的被摄体图像生成图像数据；

存储单元，用于针对控制所述光学构件所使用的所述参数能够采用的多个设置值，存储校正信息，所述校正信息用于校正由所述光学构件的特性引起的、并且相对于所述光学构件的光轴非点对称的图像数据的图像质量劣化，并与以所述光学构件的光轴为中心的极坐标系中的多个极角的多个图像高度相对应；

读取单元，用于当所述控制单元通过使用所述参数来控制所述光学构件时，从所述存储单元中存储的校正信息中读取如下校正信息：该校正信息对应于与由所述控制单元使用的所述参数的设置值相近的多个设置值；

转换单元，用于将由所述摄像单元生成的图像数据的像素位置转换成以所述光学构件的光轴为中心的极坐标；

生成单元，用于通过对由所述读取单元读取的校正信息进行插值，生成与由所述控制单元使用的所述参数的设置值和由所述转换单元转换成的极坐标相对应的校正信息；以及

校正单元，用于通过使用由所述生成单元生成的校正信息，对所述极坐标的像素位置处的图像数据进行校正，

其中，所述存储单元针对以所述光学构件的光轴为中心的圆周方向上的图像质量劣化的变化程度较大的范围，存储与更多的极角相对应的校正信息。

2.根据权利要求1所述的摄像设备，其特征在于，与第二极角的不同图像高度处的校正信息相比，所述存储单元存储的第一极角的不同图像高度处的校正信息较多，其中，与包括所述第一极角的范围相比，在包括所述第二极角的范围中，以所述光学构件的光轴为中心的圆周方向上的图像质量劣化的变化程度较大。

3.根据权利要求1所述的摄像设备，其特征在于，与特定极角的第二图像高度区域中的校正信息相比，所述存储单元存储的该极角的第一图像高度区域中的校正信息较多，其中，与该极角的第一图像高度区域相比，在该极角的第二图像高度区域中，图像质量劣化的变化程度较小。

4.根据权利要求1所述的摄像设备，其特征在于，所述图像质量劣化至少基于周围光量的下降或所述光学构件的光学像差。

5.一种摄像设备，包括：

控制单元，用于通过使用参数来控制光学构件；

摄像单元，用于根据经由所述光学构件形成的被摄体图像生成图像数据；

存储单元，用于针对控制所述光学构件所使用的所述参数能够采用的多个设置值，存储校正信息，所述校正信息用于校正由所述光学构件的特性引起的、并且相对于所述光学构件的光轴非点对称的图像数据的图像质量劣化，并与以所述光学构件的光轴为中心的极坐标系中的多个极角的多个图像高度相对应；

读取单元，用于当所述控制单元通过使用所述参数来控制所述光学构件时，从所述存储单元中存储的校正信息中读取如下校正信息：该校正信息对应于与由所述控制单元使用的所述参数的设置值相近的多个设置值；

转换单元，用于将由所述摄像单元生成的图像数据的像素位置转换成以所述光学构件的光轴为中心的极坐标；

生成单元，用于通过对由所述读取单元读取的校正信息进行插值，生成与由所述控制单元使用的所述参数的设置值和由所述转换单元转换成的极坐标相对应的校正信息；

校正单元，用于通过使用由所述生成单元生成的校正信息，对所述极坐标的像素位置处的图像数据进行校正；以及

特征检测单元，用于检测由所述摄像单元生成的图像数据的各区域的特征量，

其中，所述读取单元针对由所述特征检测单元检测到的特征量较大的范围，从所述存储单元中存储的校正信息中读取更多的校正信息。

6.根据权利要求5所述的摄像设备，其特征在于，所述图像质量劣化至少基于周围光量的下降或所述光学构件的光学像差。

7.一种摄像设备的图像数据校正方法，所述摄像设备包括：控制单元，用于通过使用参数来控制光学构件；摄像单元，用于根据经由所述光学构件形成的被摄体图像生成图像数据；以及存储单元，用于针对控制所述光学构件所使用的所述参数能够采用的多个设置值，存储校正信息，所述校正信息用于校正由所述光学构件的特性引起的、并且相对于所述光学构件的光轴非点对称的图像数据的图像质量劣化，并与以所述光学构件的光轴为中心的极坐标系中的多个极角的多个图像高度相对应，所述图像数据校正方法包括以下步骤：

读取步骤，用于当所述控制单元通过使用所述参数来控制所述光学构件时，从所述存储单元中存储的校正信息中读取如下校正信息：该校正信息对应于与由所述控制单元使用的所述参数的设置值相近的多个设置值；

转换步骤，用于将由所述摄像单元生成的图像数据的像素位置转换成以所述光学构件的光轴为中心的极坐标；

生成步骤，用于通过对在所述读取步骤中读取的校正信息进行插值，生成与由所述控制单元使用的所述参数的设置值和在所述转换步骤中转换成的极坐标相对应的校正信息；以及

校正步骤，用于通过使用在所述生成步骤中生成的校正信息，对所述极坐标的像素位置处的图像数据进行校正，

其中，所述存储单元针对以所述光学构件的光轴为中心的圆周方向上的图像质量劣化的变化程度较大的范围，存储与更多的极角相对应的校正信息。

8.一种摄像设备的图像数据校正方法，所述摄像设备包括：控制单元，用于通过使用参数来控制光学构件；摄像单元，用于根据经由所述光学构件形成的被摄体图像生成图像数据；以及存储单元，用于针对控制所述光学构件所使用的所述参数能够采用的多个设置值，存储校正信息，所述校正信息用于校正由所述光学构件的特性引起的、并且相对于所述光学构件的光轴非点对称的图像数据的图像质量劣化，并与以所述光学构件的光轴为中心的极坐标系中的多个极角的多个图像高度相对应，所述图像数据校正方法包括以下步骤：

读取步骤，用于当所述控制单元通过使用所述参数来控制所述光学构件时，从所述存储单元中存储的校正信息中读取如下校正信息：该校正信息对应于与由所述控制单元使用的所述参数的设置值相近的多个设置值；

转换步骤，用于将由所述摄像单元生成的图像数据的像素位置转换成以所述光学构件的光轴为中心的极坐标；

生成步骤，用于通过对在所述读取步骤中读取的校正信息进行插值，生成与由所述控制单元使用的所述参数的设置值和在所述转换步骤中转换成的极坐标相对应的校正信息；

校正步骤，用于通过使用在所述生成步骤中生成的校正信息，对所述极坐标的像素位置处的图像数据进行校正；以及

特征检测步骤，用于检测由所述摄像单元生成的图像数据的各区域的特征量，

其中，所述读取步骤包括针对在所述特征检测步骤中检测到的特征量较大的范围，从所述存储单元中存储的校正信息中读取更多的校正信息。

Images