CN101971610B - 摄像设备和图像处理方法 - Google Patents

Abstract

一种摄像设备，包括：图像传感器，其具有通过中心位置与微透镜的光轴一致的开口来接收光的成像像素、以及分别通过从微透镜的光轴沿第一和第二方向偏移的第一和第二开口来接收瞳分割后的光的第一和第二焦点检测像素；ROM，用于存储阴影校正数据；校正系数生成单元，用于根据阴影校正数据分别生成用于成像像素的阴影校正系数以及用于第一和第二焦点检测像素的阴影校正系数；以及校正单元，用于利用用于成像像素的阴影校正系数对成像像素的信号进行阴影校正，以及利用用于第一和第二焦点检测像素的阴影校正系数对第一和第二焦点检测像素的信号进行阴影校正。

Description

摄像设备和图像处理方法

技术领域

本发明涉及摄像设备和图像处理方法，更特别地，涉及用于基于从图像传感器获得的图像信号来执行调焦控制的摄像设备以及用于所述图像信号的图像处理方法。

背景技术

例如数字照相机和数字摄像机的某些摄像设备被配置为具有用于自动执行拍摄透镜的焦点控制和自动使被摄体处于聚焦状态的自动调焦机构。按照所使用的聚焦方法的原理，可将自动调焦机构分类为距离测量方法和焦点状态检测方法。在距离测量方法中，测量到被摄体的距离，并根据所测量出的距离控制透镜位置。在焦点状态检测方法中，在摄像面处检测焦点，并将透镜位置控制至聚焦位置。典型的焦点状态检测方法包括对比度检测方法、相位差检测方法等，并且例如，日本特开平4-267211中公开了焦点状态检测方法的原理。

现在，参考图10A到图12B描述焦点状态检测方法。例如，在聚焦状态下，如图10A所示，穿过拍摄透镜1的各个部分的光a₀、b₀和c₀会聚在摄像面m上，从而如图10B所示在摄像面m上获得聚焦图像Z₀。

图11A和11B示出了所谓的后聚焦状态，其中焦点位置从图10A和10B所示的聚焦状态向后偏移。如图11A所示，穿过拍摄透镜1的各个部分的光a₁、b₁和c₁会聚在摄像面m之后，从而如图11B所示在摄像面m上分别获得分离图像Za₁、Zb₁和Zc₁。

此外，图12A和12B示出了所谓的前聚焦状态。如图12A所示，穿过拍摄透镜1的各个部分的光a₂、b₂和c₂会聚在摄像面m之前，从而如图12B所示在摄像面m上分别获得分离图像Za₂、Zb₂和Zc₂。

如图11A到12B所示，前聚焦状态和后聚焦状态在图像离焦方向上彼此相反，而且离焦方向和离焦量被称为所谓的离焦量。由于离焦量和向聚焦位置驱动调焦透镜的量之间的关系由光学系统确定，因此可通过将调焦透镜移动至聚焦位置来执行自动调焦控制。

作为已知的“MIN算法”，日本特开平9-43507公开了相位差检测方法中的用于计算离焦量的处理。图13示出用于利用MIN算法检测相位差的相关量的典型照相机的内部配置。通过安装在45度倾斜安装的主镜之后的子镜，向照相机的下方反射从透镜入射的光。然后，光被二次成像透镜分离为两个图像以进入未示出的AF传感器。然后，加载来自这两个AF传感器的输出数据以获得传感器输出之间的相关量。假设传感器的输出分别表示为传感器1和传感器2，传感器1的数据表示为A[1]到A[n]，传感器2的数据表示为B[1]到B[n]，则相关量U0由下式(1)表示(图14A)。

$U0=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\min \left(A\right[j],B[j\left]\right)---\left(1\right)$

(min(a，b)表示a和b中的较小值)

首先，计算U0。其次，如图14B所示，计算通过将A图像移动AF传感器的恰好一个比特而获得的数据与B图像的数据之间的相关量U1。U1由下式(2)表示。

$U1=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}\min \left(A\right[j+1],B[j\left]\right)---\left(2\right)$

(min(a，b)表示a和b中的较小值)

这样，接连计算出通过移动一个比特所获得的相关量。如果两个图像相互一致，则相关量最大(图14C)。因此，针对该最大值来获得移动量和方向。此值对应于离焦量。

同时，日本特开2000-156823公开了作为用于实现相位差检测方法的装置的图像传感器，其具有如图15所示的滤波器颜色排列和用于将光学图像转换为电信号的二维排列的光电转换单元。如图15所示，某些光电转换单元用作用于根据相位差检测方法进行焦点检测、即用于形成图像数据以外的目的的第一相位传感器S1和第二相位传感器S2。根据日本特开2000-156823，如图13所示的用于AF传感器的成像透镜、用于提供相位差的二次成像透镜等是不必要的，从而使摄像设备的尺寸减小且成本降低。

另外，日本特开2005-303409公开了图像传感器的焦点检测像素的形状。日本特开2005-303409公开了如图16所示的图像传感器的排列，其包括绿色像素、红色像素和蓝色像素的称为拜尔排列的基本像素排列。图像传感器的左上方到右下方的对角像素用作用于焦点检测的像素。其它像素用作用于生成图像数据的像素。

图17是详细示出图16所示的图像传感器的某些焦点检测像素的图。此图示出包括两个焦点检测像素、一个红色像素和一个蓝色像素的四个像素的放大图，用于解释开口的形状，其中左上方和右下方的像素对应于焦点检测像素(绿色像素)，而右上方的像素对应于红色像素，左下方的像素对应于蓝色像素。附图标记11表示位于各个开口上方的微透镜。附图标记37a和37b表示邻接焦点检测像素的微透镜11的中心位置。附图标记36表示连接成直线的邻接焦点检测像素的微透镜的中心的线。附图标记38a和38b分别表示焦点检测像素以外的普通蓝色像素和红色像素的开口。附图标记39a和39b表示焦点检测像素的开口，其均具有通过以缩小中心35a和35b为中心缩小普通绿色像素的开口而获得的形状，其中缩小中心35a和35b与通过沿着线36在相反的方向上移动绿色像素的中心位置37a和37b而获得的点相对应，而且焦点检测的开口39a和39b具有以缩小中心35a和35b为中心而减小的形状。因此，邻接像素的开口39a和39b在不同方向上偏移。另外，开口39a和39b的形状相对于与线36垂直的线46对称。

另外，在日本特开2002-131623中，在一个像素中包括多个光电转换单元的图像传感器中读取图像数据的情况下，将多个光电转换单元的电荷相加并读出。随后，在执行焦点检测处理的情况下，独立地读出各个光电转换单元的电荷，而且与读出的电荷相对应的数据用于相位差检测方法中的焦点检测处理。此外，通过执行与相加和读取处理中的图像校正处理不同的处理作为焦点检测处理中的图像校正处理，来实现高精度的焦点检测。

然而，在日本特开2005-303409中，图像传感器的焦点检测像素从图像传感器的左上方到图像传感器的右下方对角排列，并具有以从微透镜11的中心偏移的点为中心的、相对于普通像素缩小的形状和开口。因此，焦点检测像素在开口率方面与普通像素不同，并且还由于从微透镜11的中心偏移而在从微透镜11获得的光量方面与普通像素不同。

日本特开2000-41179公开了用于校正通过光学透镜输入的光量随着与透镜光轴的距离的增大而减少的阴影特性的阴影校正方法。除垂直于摄像面入射的组成部分以外，通过拍摄透镜入射至图像传感器的光束还包括来自倾斜方向的用于成像的众多光组成部分。由针对各个像素布置在摄像面处的微透镜所采集的光的弥散圆并非总是均一地形成在图像传感器的各个像素的中心部分，而是基于各个像素的位置从像素中心偏移。因此，即使在拍摄具有均一照度的平面的情况下，相对于拍摄透镜的光轴附近的摄像面的中心部分中的光接收部分，在布置在图像传感器的摄像面的周围部分中的光接收部分中，所接收到的光量也会减少。因此，在从图像传感器输出的拍摄信号中，产生亮度依赖于摄像面的位置而不均从而导致亮度失真的亮度阴影，从而导致图像质量下降。

例如，作为阴影校正的校正方法，日本特开2000-324505公开了如下方法：预先准备基于拍摄状态的多个阴影校正数据，作为用于执行亮度阴影校正的、基于光学系统状态的表值，随后在用于生成图像数据的图像处理单元中将适当选取的表值用于执行校正。然而，如果向图像传感器的全部像素提供阴影校正数据，则数据大小将很大，这需要大容量快闪ROM或存储器，从而增加成本。因此，日本专利03824237提出了通过与基于从图像传感器的中心到各个像素的距离所确定的增益相乘来进行计算、生成阴影校正数据的方法。在部分提供阴影校正数据从而通过上述计算获得各个像素的阴影校正数据的情况下，由于图像传感器的微透镜的特性和图像传感器的开口的形状，用于普通像素的相同计算方法不可应用于焦点检测像素。

另外，日本特开2005-303409没有描述焦点检测像素的亮度阴影校正。当使用对普通像素而言最优化的阴影系数执行阴影校正时，针对具有不同于普通像素的开口率并且具有从微透镜11的中心偏移的开口形状的焦点检测像素，相位差检测的离焦量的计算精度可能受到影响。

此外，在日本特开2002-131623中，针对普通像素，仅将峰值水平的亮度阴影用作亮度阴影。相反，与普通像素相比，针对焦点检测像素，应用峰值水平的亮度阴影和暗水平的亮度阴影，以执行阴影校正，从而以较高的精度使光量分布更均一。然而，当如上所述针对普通像素和焦点检测像素执行不同的阴影校正时，图像数据的生成和计算离焦量的处理不能同时执行。因此，此方法的问题在于在计算出离焦量之前需要相当长一段时间。

发明内容

在考虑上述情况之后提出本发明，本发明的目的在于利用通过从微透镜的光轴偏移的开口接收瞳分割后的光的焦点检测像素来进行具有更高精度的焦点检测。

根据本发明，通过提供以下摄像设备达到上述发明目的，该设备包括：图像传感器，用于经由微透镜收集通过光学系统入射的光以拍摄图像，并且包括成像像素、第一焦点检测像素和第二焦点检测像素，其中，所述成像像素通过中心位置与微透镜的光轴一致的开口来接收光，所述第一焦点检测像素通过从微透镜的光轴沿第一方向偏移的第一开口来接收瞳分割后的光，并且所述第二焦点检测像素通过从微透镜的光轴沿与所述第一方向不同的第二方向偏移的第二开口来接收瞳分割后的光；存储部件，用于存储用于执行阴影校正的校正数据；校正系数生成部件，用于根据存储在所述存储部件中的校正数据，生成用于所述成像像素的阴影校正系数以及用于所述第一焦点检测像素和所述第二焦点检测像素的阴影校正系数；以及校正部件，用于利用用于所述成像像素的阴影校正系数对所述成像像素的信号进行阴影校正，以及利用用于所述第一焦点检测像素和所述第二焦点检测像素的阴影校正系数对所述第一焦点检测像素和所述第二焦点检测像素的信号进行阴影校正。

根据本发明，也能够通过提供以下用于图像传感器输出的像素信号的图像处理方法达到上述发明目的，在该方法中，所述图像传感器用于经由微透镜收集通过光学系统入射的光以拍摄图像，并包括成像像素、第一焦点检测像素和第二焦点检测像素，其中，所述成像像素通过中心位置与微透镜的光轴一致的开口来接收光，所述第一焦点检测像素通过从微透镜的光轴沿第一方向偏移的第一开口来接收瞳分割后的光，并且所述第二焦点检测像素通过从微透镜的光轴沿与所述第一方向不同的第二方向偏移的第二开口来接收瞳分割后的光，所述图像处理方法包括：读出步骤，用于基于要进行阴影校正的像素，从存储部件中读出预先存储在所述存储部件中的如下校正数据：用于执行所述成像像素的阴影校正的、用于所述成像像素的校正数据或者用于执行所述第一焦点检测像素和所述第二焦点检测像素的阴影校正的、用于焦点检测像素的校正数据；校正系数生成步骤，用于基于所述要进行阴影校正的像素，根据从所述存储部件读出的校正数据，生成用于所述成像像素的阴影校正系数或者用于所述第一焦点检测像素和所述第二焦点检测像素的阴影校正系数；以及校正步骤，用于利用用于所述成像像素的阴影校正系数对所述成像像素的信号进行阴影校正，以及利用用于所述第一焦点检测像素和所述第二焦点检测像素的阴影校正系数对所述第一焦点检测像素和所述第二焦点检测像素的信号进行阴影校正。

根据以下参考附图对示例性实施例的描述，本发明的其它特征会变得显而易见。

附图说明

图1是示出根据本发明的第一至第四实施例的数字静止照相机的功能配置的示意框图；

图2是示出根据本发明的第一、第二和第四实施例的数字信号处理单元的具体配置的框图；

图3是示出根据本发明的第一实施例的ROM的存储结构的图；

图4是解释根据本发明的第一实施例的阴影校正处理的流程图；

图5是解释根据本发明的第二优选实施例的ROM的存储结构的图；

图6是解释根据本发明的第二实施例的阴影校正处理的流程图；

图7是示出根据本发明的第三实施例的数字信号处理单元的详细配置的框图；

图8是解释根据本发明的第三实施例的阴影校正处理的流程图；

图9是解释根据本发明的第四实施例的阴影校正处理的流程图；

图10A和10B是解释焦点状态检测方法的图；

图11A和11B是解释焦点状态检测方法的图；

图12A和12B是解释焦点状态检测方法的图；

图13是示出检测相位差的典型照相机的内部配置的图；

图14A到14C是解释相关量计算的图；

图15是示出用于执行相位差检测方法的图像传感器的配置的图；

图16是示出图像传感器的焦点检测像素的形状的图；以及

图17是详细示出如图16所示的图像传感器的某些焦点检测像素的图。

具体实施方式

以下将参照附图详细描述本发明的优选实施例。

第一实施例

图1是示出根据本发明的第一优选实施例的典型数字静止照相机的功能配置的例子的示意框图。

附图标记100表示用于拍摄被摄体图像的光学系统，该光学系统包括拍摄透镜、快门、光圈等等。另外，本实施例中的拍摄透镜配有具有可变焦距的变焦透镜。附图标记101表示图像传感器，该图像传感器包括例如CCD(电荷耦合器件)传感器、CMOS传感器等等。此外，在第一实施例中，图像传感器101包括用于生成图像数据的普通像素(成像像素)和用于焦点检测的焦点检测像素。附图标记102表示光学系统驱动单元，该光学系统驱动单元包括用于驱动光学系统的致动器，并在自动调焦期间驱动光学系统100的透镜。附图标记103表示图像传感器驱动单元，当图像传感器101包括例如CCD传感器或CMOS传感器时，该图像传感器驱动单元生成水平和垂直传送驱动信号。

附图标记104表示模拟处理单元，该模拟处理单元执行用于移除包括在输入图像信号中的重置噪音的未示出的相关双采样、以及用于通过改变增益来放大图像信号水平的增益可变放大。附图标记105表示A/D转换单元，该A/D转换单元将从模拟处理单元104输出的模拟数据量化为数字数据。附图标记108表示数字信号处理单元，该数字信号处理单元对从A/D转换单元105输出的数字数据实施图像处理。典型地，数字信号处理单元108执行白平衡调节、增益调节、滤波、插值处理等等，将数字数据的大小重新调整至合适的图像大小，压缩数据，并且将压缩后的数据记录在介质112上。可选择地，数字信号处理单元108执行用于在显示单元111的LCD等上进行显示的处理。另外，在本实施例中，数字信号处理单元108执行阴影校正处理。

附图标记106表示定时生成器，该定时生成器用于生成定时信号并将定时信号传输给光学系统驱动单元102、图像传感器驱动单元103、模拟处理单元104、A/D转换单元105以及数字信号处理单元108。附图标记107表示外部存储器，该外部存储器用于在数字信号处理单元108所进行的处理中缓冲中间数据。附图标记109表示用于控制整个照相机的CPU。附图标记110表示由用户操作来控制照相机的开关等的操作单元。附图标记113表示存储有来自CPU 109等的指令的ROM。在本实施例中，ROM 113存储用于执行阴影校正的阴影校正数据。

图2是详细示出图1中的数字信号处理单元108的某些功能的、并用于解释阴影校正处理的操作的框图。

附图标记200表示用于执行阴影校正的阴影校正单元。针对从图像传感器101上的普通像素读出并且从A/D转换单元105输入的图像数据、或者从图像传感器101上的焦点检测像素读出并且从A/D转换单元105输入的焦点检测信号(焦点检测数据)，阴影校正单元200执行用于阴影校正的计算。附图标记201表示阴影校正系数生成单元，该阴影校正系数生成单元根据来自定时生成器106的定时信号确定图像传感器101的像素的位置，并针对如下所述的ROM地址生成单元202生成用于读出阴影校正数据的请求信号。将该请求信号作为能够判断从ROM 113读出的阴影校正数据是用于普通像素(拍摄像素)还是用于焦点检测像素的信号来传输。在普通像素的情况下，阴影校正系数生成单元201根据从ROM 113读出的阴影校正数据，计算各个像素的阴影校正系数，并且将阴影校正系数传输至阴影校正单元200。另一方面，在焦点检测像素的情况下，阴影校正系数生成单元201将所读取的阴影校正数据作为阴影校正系数直接传输至阴影校正单元200而不进行计算。附图标记202表示ROM地址生成单元。根据由阴影校正系数生成单元201生成的请求信号，ROM地址生成单元202判断输入至阴影校正单元200的数据是用于普通像素还是用于焦点检测像素，并且从ROM 113读出合适的阴影校正数据。

附图标记203表示图像处理单元，该图像处理单元执行阴影校正处理以外的数字信号处理。在图像处理单元203中执行的处理包括相位差检测处理，其中针对经过了阴影校正的焦点检测数据，针对A像素和B像素不同光瞳位置的各个像素，获得由“MIN算法”计算出的相关量的最大值。然而，相位差检测处理可由CPU 109执行。CPU 109将通过相位差检测处理得出的离焦量传输至光学系统驱动单元102，从而驱动光学系统100中的具有自动调焦功能的变焦透镜。

图3是示出仅仅说明ROM 113中的阴影校正数据的存储映射的图。在第一实施例中，对于ROM 113的物理地址，普通像素的阴影校正数据存储于从0x1000000到0x1FFFFFF的地址中。另外，焦点检测像素的阴影校正数据存储于从0x2000000到0x200FFFF的地址中。针对地址读出的用于普通像素的阴影校正数据是针对图像传感器101的一部分的数据，并且在阴影校正系数生成单元中计算各个像素的阴影校正系数。另一方面，对于各个焦点检测像素，保持有作为阴影校正系数的数据。

在由阴影校正系数生成单元201生成的请求信号被判断为针对普通像素的情况下，ROM地址生成单元202将地址0x1000000发给ROM 113。将从ROM 113读出的普通像素的阴影校正数据用于在阴影校正系数生成单元201中计算阴影校正系数。随后将阴影校正系数传输至阴影校正单元200，并对从A/D转换单元105输入的普通像素的图像数据实施阴影校正。

当定时生成器106将下一定时信号传输至数字信号处理单元108时，阴影校正系数生成单元201根据下一图像传感器位置的地址生成请求信号，并将该请求信号传输至ROM地址生成单元202。当此请求信号被判断为针对焦点检测像素时，ROM地址生成单元202存储前一普通像素的地址值，并将焦点检测像素的地址0x2000000发给ROM 113。将从ROM 113读出的焦点检测像素的阴影校正数据作为阴影校正系数直接从阴影校正系数生成单元201传输至阴影校正单元200，并对从A/D转换单元105输入的焦点检测像素的焦点检测数据实施阴影校正。

相反，如果下一定时信号处的图像传感器位置的地址值被判断为针对普通像素，那么ROM地址生成单元202存储前一焦点检测像素的地址值。随后，对存储的地址值加1从而得到下一普通像素的地址值，并将地址0x1000001发给ROM 113。类似地，在下一定时信号被判断为针对焦点检测像素的情况下，存储前一普通像素的地址值0x1000001，并将地址0x2000001发给ROM113，地址0x2000001是对前一焦点检测像素的地址值加1而得到的地址值。

以下，参考图4的流程图描述第一实施例的阴影校正处理。注意，在图4中，术语NORM_ADDR指存储有在数字信号处理单元108的阴影校正单元200中随后要进行处理的普通像素的阴影校正数据的ROM 113的地址值；术语AF_ADDR指存储有在数字信号处理单元108的阴影校正单元200中随后要进行处理的焦点检测像素的阴影校正数据的ROM 113的地址值；术语ROM_ADDR指输出至ROM 113的实际地址值。

在步骤S400，为NORM_ADDR和AF_ADDR分配初始值。在图3的存储映射示例中，将地址0x1000000和地址0x2000000分别分配给NORM_ADDR和AF_ADDR。

在步骤S401，判断是否输入了(一个像素的)图像数据。当在步骤S401中判断为输入了图像数据时(步骤S401中为“是”)，处理进入步骤S402。

在步骤S402，判断输入的图像数据是普通像素的图像数据还是焦点检测像素的焦点检测数据。

当在步骤S402中判断为图像数据是普通像素的图像数据时(步骤S402中为“是”)，在步骤S403中判断是否要从ROM 113中读出阴影校正数据。

当在步骤S403中判断为要从ROM 113中读出阴影校正数据时，处理进入步骤S404。在步骤S404，将普通像素地址NORM_ADDR增加1，并且将通过将普通像素地址NORM_ADDR增加1得到的地址值设置为ROM_ADDR。随后，基于ROM_ADDR，从ROM 113中读出普通像素的阴影校正数据。

另一方面，当在步骤S403中判断为没有阴影校正数据要从ROM 113中读出时，处理直接进入步骤S405而无需从ROM 113中读出阴影校正数据。

在步骤S405，在步骤S404中从ROM 113中读出普通像素的阴影校正数据的情况下，根据所读出的普通像素的阴影校正数据计算阴影校正系数。在未从ROM 113读出阴影校正数据的情况下，基于之前读出的普通像素的阴影校正数据以及普通像素的位置，来计算阴影校正系数。

另一方面，当在步骤S402中判断为图像数据是焦点检测像素的图像数据时(步骤S402中为“否”)，处理进入步骤S406。在步骤S406，将焦点检测像素地址AF_ADDR增加1，并且将通过将焦点检测像素地址AF_ADDR增加1得到的地址值设置为ROM_ADDR。随后，基于ROM_ADDR，从ROM 113中读出焦点检测像素的阴影校正数据，并且处理进入步骤S407。

在步骤S407，在普通像素的情况下，根据在步骤S405中计算出的阴影校正系数执行阴影校正。可选择地，在焦点检测像素的情况下，根据从ROM 113中读出的焦点检测像素的阴影校正数据(阴影校正系数)执行阴影校正。

在步骤S408，判断在步骤S407中经过了阴影校正处理的图像数据是否对应于从图像传感器101读出的最终像素。如果该图像数据对应于最终像素(步骤S408中为“是”)，那么处理完成。如果该图像数据不对应于最终像素(步骤S408中为“否”)，那么处理返回步骤S401，并且再次判断是否输入了下一图像数据。

在第一实施例中，能够通过执行焦点检测像素的适当阴影校正来执行具有高精度的焦点检测。另外，由于可以在一次读出图像传感器的时间段进行普通图像数据的生成和焦点检测数据的生成，因此能够加速焦点检测。

注意，在第一实施例中，在普通像素的情况下，在步骤S405中根据阴影校正数据计算阴影校正系数。然而，只要系统能够在ROM 113中存储所有普通像素的阴影校正系数，就可以原样使用阴影校正系数而无需计算。

第二实施例

图16示出第二实施例中的普通像素和焦点检测像素的图像传感器的排列。图17示出该排列的一部分的放大图。图17中左上方和右下方的像素为焦点检测像素。微透镜11的中心与普通像素的开口的中心一致，而左上方的像素的开口的中心向作为第一方向的右下方偏移，右下方的像素的开口的中心向作为第二方向的左上方偏移。从光学系统看，这些像素均是具有不同的光瞳位置的焦点检测像素，其中左上方的焦点检测像素被称为A像素，而右下方的焦点检测像素被称为B像素。针对A像素和B像素各个焦点检测像素，分别提供阴影校正数据。

第二实施例中的照相机具有与上述第一实施例的图1和图2中所示的配置相同的配置。第二实施例与第一实施例的不同之处在于，针对A像素和B像素，分别提供要存储在ROM 113中的焦点检测像素的阴影校正数据。

图5是示出仅仅说明ROM 113中的阴影校正数据的存储映射的图。在第二实施例中，对于ROM 113的物理地址，普通像素的阴影校正数据被排列在从0x1000000到0x1FFFFFF的地址中。作为焦点检测像素的A像素的阴影校正数据被排列在从0x2000000到0x2000FFF的地址中。作为焦点检测像素的B像素的阴影校正数据被排列在从0x2001000到0x2001FFF的地址中。

然后，以下参照图6的流程图描述第二实施例中的阴影校正处理。注意，在图6中，术语NORM_ADDR指存储有在数字信号处理单元108的阴影校正单元200中随后要进行处理的普通像素的阴影校正数据的ROM 113的地址值；术语AF_A_ADDR指存储有在数字信号处理单元108的阴影校正单元200中随后要进行处理的作为焦点检测像素的A像素的阴影校正数据的ROM113的地址值；术语AF_B_ADDR指存储有在数字信号处理单元108的阴影校正单元200中随后要进行处理的作为焦点检测像素的B像素的阴影校正数据的ROM 113的地址值；术语ROM_ADDR指输出至ROM 113的实际地址值。

在步骤S500，为NORM_ADDR、AF_A_ADDR和AF_B_ADDR设置初始值。在图5的ROM 113的存储映射示例中，将地址0x1000000、地址0x2000000和地址0x2001000分别分配给NORM_ADDR、AF_A_ADDR和AF_B_ADDR。

在步骤S501，判断是否输入了(一个像素的)图像数据。当判断为输入了像素数据时(步骤S501中为“是”)，处理进入步骤S502。

在步骤S502，判断输入的图像数据是普通像素的图像数据还是焦点检测像素的焦点检测数据。

当在步骤S502中判断为图像数据是普通像素的图像数据时(步骤S502中为“是”)，在步骤S503中判断是否要从ROM 113中读出阴影校正数据。

当在步骤S503中判断为要从ROM 113中读出阴影校正数据时(步骤S503中为“是”)，处理进入步骤S504。在步骤S504，将普通像素地址NORM_ADDR增加1，并且将通过将普通像素地址NORM_ADDR增加1而得到的地址值设置为ROM_ADDR。随后，基于ROM_ADDR，从ROM 113中读出普通像素的阴影校正数据。

在步骤S505，根据从ROM 113读出的普通像素的阴影校正数据，计算各个像素的阴影校正系数。

另一方面，当在步骤S502中判断为图像数据是焦点检测像素的图像数据时，处理进入步骤S506，并判断该焦点检测像素是否是A像素。在判断为该焦点检测像素是A像素的情况下，处理进入步骤S507，将A像素地址AF_A_ADDR增加1，并将通过将A像素地址AF_A_ADDR增加1而得到的地址值设置为ROM_ADDR。另一方面，在步骤S506中判断为该焦点检测像素是B像素的情况下，处理进入步骤S508，将B像素地址AF_B_ADDR增加1，并将通过将B像素地址AF_B_ADDR增加1而得到的地址值设置为ROM_ADDR。随后，在步骤S507或S508，基于ROM_ADDR，从ROM 113中读出A像素或B像素的阴影校正数据。

在步骤S509，在普通像素的情况下，根据在步骤S505中计算出的阴影校正系数执行阴影校正。可选择地，在作为焦点检测像素的A像素或B像素的情况下，根据从ROM 113读出的焦点检测像素的阴影校正数据执行阴影校正。

在步骤S510，判断在步骤S509中经过了阴影校正处理的图像数据是否对应于从图像传感器101读出的最终像素。如果该图像数据对应于最终像素(步骤S510中为“是”)，那么处理完成。如果该图像数据不对应于最终像素(步骤S510中为“否”)，那么处理返回步骤S501，并且再次判断是否输入了下一图像数据。

第三实施例

与第一实施例相比，第三实施例提供根据普通像素的阴影校正数据计算焦点检测像素的阴影校正数据的方法。根据第三实施例的照相机具有与第一实施例的图1的配置相同的配置。

图7是详细示出第三实施例中的数字信号处理单元108的某些功能的框图。以下参照图7说明根据普通像素的阴影校正数据计算焦点检测像素的阴影校正数据的处理。

附图标记300表示用于执行阴影校正的阴影校正单元。针对从图像传感器101上的普通像素读出并且从A/D转换单元105输入的图像数据、或者从图像传感器101上的焦点检测像素读出并且从A/D转换单元105输入的焦点检测信号(焦点检测数据)，阴影校正单元300执行用于阴影校正的计算。附图标记301表示阴影校正系数生成单元，该阴影校正系数生成单元根据来自定时生成器106的定时信号确定图像传感器101的像素的位置，然后针对如下所述的ROM地址生成单元302，生成用于读出阴影校正数据的请求信号。将该请求信号作为表示从ROM 113读取的全部阴影校正数据都是用于普通像素的信号来传输。

附图标记302表示ROM地址生成单元。根据由阴影校正系数生成单元301生成的请求信号，ROM地址生成单元302从ROM113读出阴影校正数据。此时读出的地址的阴影校正数据仅包括图像传感器101的部分像素的数据。此外，读取的阴影校正数据对应于普通像素的阴影校正数据。因此，即使从A/D转换单元105输入的图像数据是来自焦点检测像素的数据，也将从ROM113中读出对于普通像素而言最优化的阴影校正数据。

阴影校正系数生成单元301根据从ROM 113读出的阴影校正数据，计算普通像素的阴影校正系数S_norm，并将阴影校正系数S_norm传输至焦点检测像素阴影校正系数生成单元303和选择器304。随后，在阴影校正系数生成单元301和焦点检测像素阴影校正系数生成单元303中，计算各个像素的阴影校正系数。

附图标记303表示焦点检测像素阴影校正系数生成单元，该焦点检测像素阴影校正系数生成单元根据普通像素的阴影校正系数S_norm生成焦点检测像素的阴影校正系数。焦点检测像素阴影校正系数生成单元303可以生成四种类型的阴影校正数据，即S_a_up、S_a_low、S_b_up和S_b_low。附图标记304表示选择器，该选择器用于从五种类型的阴影校正系数S_norm、S_a_up、S_a_low、S_b_up和S_b_low中选择由阴影校正系数生成单元301输出的地址值作为选择信号。附图标记305表示图像处理单元，该图像处理单元执行阴影校正处理以外的数字信号处理。

在第三实施例中说明了用于由焦点检测像素阴影校正系数生成单元303根据普通像素的阴影校正系数来计算焦点检测像素的阴影校正系数的方法。在第三实施例中，与第二实施例相同，使用图16中的图像传感器，该图像传感器的一部分的放大图如图17所示。在图17中，左上方的像素和右下方的像素分别称为A像素和B像素。鉴于已在第二实施例中描述像素的细节，因此这里省略该描述。普通数字照相机中的亮度阴影具有光量随着与拍摄透镜的光轴的距离的增大而减少的阴影特性。以A像素而言，相对于图16中的图像传感器101的中心位于左上方的像素具有在朝向拍摄透镜的光轴的方向上偏移的开口。另一方面，右下方的A像素具有远离拍摄透镜的光轴的开口。此外，以B像素而言，相对于图16中的图像传感器101的中心位于左上方的像素具有远离拍摄透镜的光轴的开口。另一方面，右下方的B像素具有在朝向拍摄透镜的光轴的方向上偏移的开口。

因此，在第三实施例中，当获得焦点检测像素的阴影校正系数时，用于计算焦点检测像素的阴影校正系数的方法根据像素的类型，即像素是朝向拍摄透镜的中心偏移的像素还是远离该中心的像素而变化。

另外，普通像素与作为A像素和B像素的焦点检测像素在图像传感器101的开口的开口率方面相互不同。焦点检测像素的开口率小于普通像素的开口率。因此，在第三实施例中，为了计算焦点检测像素的阴影校正系数，将普通像素的阴影校正系数乘以焦点检测像素的开口率与普通像素的开口率之比。

此处，α表示普通像素的开口率，而β表示焦点检测像素(A像素和B像素)的开口率。此外，m表示用于朝向拍摄透镜的光轴偏移的焦点检测像素的系数值，而n表示用于远离拍摄透镜的光轴的焦点检测像素的系数值。另外，S_a_up表示相对于拍摄透镜的光轴位于左上方的A像素的阴影校正系数，而S_b_up表示相对于该透镜的中心位于左上方的B像素的阴影校正系数。另外，S_a_low表示相对于该透镜的光轴位于右下方的A像素的阴影校正系数，而S_b_low表示相对于该透镜的中心位于右下方的B像素的阴影校正系数。随后，阴影校正系数由以下公式表示。

S_a_up＝S_norm×(α/β)×m

S_a_low＝S_norm×(α/β)×n

S_b_up＝S_norm×(α/β)×n

S_b_low＝S_norm×(α/β)×m

在第三实施例中，假设A像素和B像素具有相同的开口率。然而，如果A像素和B像素具有不同形状的开口，那么可以针对A像素和B像素分别提供焦点检测像素的开口率β。类似地，也可以针对A像素和B像素分别提供系数m或n。

另外，在第三实施例中，由焦点检测像素阴影校正系数生成单元303获得焦点检测像素的阴影校正系数。然而，也可由图7中的CPU 109计算焦点检测像素的阴影校正系数。

以下参照图8的流程图描述第三实施例中的阴影校正处理。

在步骤S600中，判断是否从A/D转换单元105输入了(一个像素的)图像数据。

当输入了图像数据时(步骤S600中为“是”)，在步骤S601判断是否要从ROM 113中读出已经输入图像数据的像素的阴影校正数据。

在步骤S601中判断为要读出阴影校正数据(步骤S601中为“是”)的情况下，在步骤S602中从ROM 113中读出阴影校正数据。在此情况下，对于图像传感器101的全部像素，该阴影校正数据是对普通像素而言最优化的阴影校正数据。

在步骤S603，判断当前要进行阴影校正的像素是否是A像素。

在步骤S603中判断为关注像素是A像素(步骤S603中为“是”)的情况下，在步骤S604中判断关注像素是否是相对于拍摄透镜的光轴位于左上方的像素。

在步骤S605，根据从ROM 113读出的普通像素的阴影校正数据，计算相对于拍摄透镜的光轴位于左上方的A像素的阴影校正系数S_a_up。在此情况下，如上所述，由阴影校正系数生成单元301和焦点检测像素阴影校正系数生成单元303计算阴影校正系数S_a_up。

在步骤S606，如上所述，根据从ROM 113读出的普通像素的阴影校正数据，计算相对于拍摄透镜的光轴位于右下方的A像素的阴影校正系数S_a_low。

可选择地，在当前要进行阴影校正的像素不是A像素的情况下，在步骤S607中判断关注像素是否是B像素。

在步骤S607中判断为关注像素是B像素(步骤S607中为“是”)的情况下，在步骤S608中判断关注像素是否是相对于拍摄透镜的光轴位于左上方的像素。

在步骤S609，如上所述，根据从ROM 113读出的普通像素的阴影校正数据，计算相对于拍摄透镜的光轴位于左上方的B像素的阴影校正系数S_b_up。

在步骤S610，如上所述，根据从ROM 113读出的普通像素的阴影校正数据，计算相对于拍摄透镜的光轴位于右下方的B像素的阴影校正系数S_b_low。

另一方面，在步骤S611中，由于当前要进行阴影校正的像素是普通像素，所以根据从ROM 113中读出的阴影校正数据计算普通像素的阴影校正系数S_norm。在此情况下，由阴影校正系数生成单元301计算阴影校正系数S_norm。

如上所述，根据输入的图像数据的像素的类型和位置，执行步骤S605、步骤S606、步骤S609、步骤S610和步骤S611中的任一步骤。

在步骤S612，由阴影校正系数生成单元301或焦点检测像素阴影校正系数生成单元303生成的阴影校正系数用于对步骤S600中输入的图像数据进行阴影校正处理。

在步骤S613，判断在步骤S612中经过了阴影校正处理的图像数据是否对应于从图像传感器101读出的最终像素。如果该图像数据对应于最终像素(步骤S613中为“是”)，那么该处理完成。如果该图像数据不对应于最终像素(步骤S613中为“否”)，那么该处理返回步骤S600，并再次判断是否输入了下一图像数据。

第四实施例

在第四实施例中，描述其与第一实施例之间的不同。图9是示出根据第四实施例的流程的图。由于图9所示的处理的每个步骤都基本与图4的流程图相同，所以相同的处理步骤用相同的附图标记表示从而省略处理的各个步骤的细节。然而，第四实施例的不同之处在于，在步骤S406中从ROM 113读出焦点检测像素的阴影校正数据之后，在步骤S405中以与普通像素相同的方式计算阴影校正系数。在第一实施例中，阴影校正系数作为焦点检测像素的阴影校正数据存储在ROM 113中。因此，将从ROM 113读出的数据用作阴影校正系数而无需处理该数据。相反，在第四实施例中，以即使对于焦点检测像素也需要计算阴影校正系数的方式来存储阴影校正数据。因此，计算出阴影校正系数。可以以与普通像素相同的方式计算焦点检测像素的阴影校正系数，或者可以采用不同的计算方法来计算阴影校正系数。

尽管已参考示例性实施例描述了本发明，但是应理解，本发明并不限于所公开的示例性实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2008年3月11日提交的日本专利申请2008-061842和2009年2月25日提交的日本专利申请2009-043150的优先权，其全部内容通过引用而包含于此。

Claims (7)

1.一种摄像设备，包括：

图像传感器，用于经由微透镜收集通过光学系统入射的光以拍摄图像，并且包括成像像素、第一焦点检测像素和第二焦点检测像素，其中，所述成像像素通过中心位置与微透镜的光轴一致的开口来接收光，所述第一焦点检测像素通过从微透镜的光轴沿第一方向偏移的第一开口来接收瞳分割后的光，并且所述第二焦点检测像素通过从微透镜的光轴沿与所述第一方向不同的第二方向偏移的第二开口来接收瞳分割后的光；

存储部件，用于存储用于执行阴影校正的校正数据；

校正系数生成部件，用于在从所述图像传感器输入了信号时，使用存储在所述存储部件中的校正数据，生成在输入了所述成像像素的信号的情况下用于所述成像像素的阴影校正系数或者在输入了所述第一焦点检测像素或所述第二焦点检测像素的信号的情况下用于所述第一焦点检测像素或所述第二焦点检测像素的阴影校正系数；以及

校正部件，用于在从所述图像传感器输入了信号时，利用在输入了所述成像像素的信号的情况下用于所述成像像素的阴影校正系数对所述成像像素的信号进行阴影校正，或者利用在输入了所述第一焦点检测像素或所述第二焦点检测像素的信号的情况下用于所述第一焦点检测像素或所述第二焦点检测像素的阴影校正系数对所述第一焦点检测像素或所述第二焦点检测像素的信号进行阴影校正。

2.根据权利要求1所述的摄像设备，其特征在于，所述存储部件存储用于所述成像像素的校正数据以及用于所述第一焦点检测像素和所述第二焦点检测像素的校正数据，作为用于执行阴影校正的校正数据，以及

所述校正系数生成部件基于用于所述成像像素的校正数据计算用于所述成像像素的阴影校正系数，并原样使用用于所述第一焦点检测像素和所述第二焦点检测像素的校正数据作为用于所述第一焦点检测像素和所述第二焦点检测像素的阴影校正系数。

3.根据权利要求2所述的摄像设备，其特征在于，所述存储部件将用于执行所述第一焦点检测像素的阴影校正的、用于所述第一焦点检测像素的校正数据存储在第一存储区域中，并且将用于执行所述第二焦点检测像素的阴影校正的、用于所述第二焦点检测像素的校正数据存储在第二存储区域中，作为用于所述第一焦点检测像素和所述第二焦点检测像素的校正数据，以及

所述校正系数生成部件原样使用用于所述第一焦点检测像素的校正数据作为用于所述第一焦点检测像素的阴影校正系数，并且原样使用用于所述第二焦点检测像素的校正数据作为用于所述第二焦点检测像素的阴影校正系数。

4.根据权利要求1所述的摄像设备，其特征在于，还包括判断部件，所述判断部件用于判断要进行阴影校正的像素是所述成像像素、所述第一焦点检测像素和所述第二焦点检测像素中的哪一个，并且用于在所述要进行阴影校正的像素是所述第一焦点检测像素或所述第二焦点检测像素的情况下，判断所述要进行阴影校正的像素在所述图像传感器中的位置，以及

基于所述判断部件的判断结果，所述校正系数生成部件根据所述校正数据，计算用于所述成像像素的阴影校正系数、用于所述第一焦点检测像素的阴影校正系数或者用于所述第二焦点检测像素的阴影校正系数。

5.根据权利要求1所述的摄像设备，其特征在于，所述存储部件存储用于所述成像像素的校正数据以及用于所述第一焦点检测像素和所述第二焦点检测像素的校正数据，作为用于执行阴影校正的校正数据，以及

所述校正系数生成部件基于用于所述成像像素的校正数据，计算用于所述成像像素的阴影校正系数，并且基于用于所述第一焦点检测像素和所述第二焦点检测像素的校正数据，计算用于所述第一焦点检测像素和所述第二焦点检测像素的阴影校正系数。

6.根据权利要求1至5中任一项所述的摄像设备，其特征在于，还包括：

计算部件，用于根据所述第一焦点检测像素和所述第二焦点检测像素的像素输出，计算相对于聚焦位置的离焦量；以及

移动部件，用于基于所述离焦量，将所述摄像设备的所述光学系统移动至所述聚焦位置。

7.一种用于从图像传感器输出的像素信号的图像处理方法，所述图像传感器用于经由微透镜收集通过光学系统入射的光以拍摄图像，并包括成像像素、第一焦点检测像素和第二焦点检测像素，其中，所述成像像素通过中心位置与微透镜的光轴一致的开口来接收光，所述第一焦点检测像素通过从微透镜的光轴沿第一方向偏移的第一开口来接收瞳分割后的光，并且所述第二焦点检测像素通过从微透镜的光轴沿与所述第一方向不同的第二方向偏移的第二开口来接收瞳分割后的光，所述图像处理方法包括：

读出步骤，用于在从所述图像传感器输入了信号时，从存储部件中读出预先存储在所述存储部件中的如下校正数据：在从所述成像像素输出了信号的情况下用于执行所述成像像素的阴影校正的、用于所述成像像素的校正数据；或者在从所述第一焦点检测像素或所述第二焦点检测像素输出了信号的情况下用于执行所述第一焦点检测像素或所述第二焦点检测像素的阴影校正的、用于所述第一焦点检测像素或所述第二焦点检测像素的校正数据；

校正系数生成步骤，用于在从所述图像传感器输入了信号时，使用从所述存储部件读出的校正数据，生成在输入了所述成像像素的信号的情况下用于所述成像像素的阴影校正系数或者在输入了所述第一焦点检测像素或所述第二焦点检测像素的信号的情况下用于所述第一焦点检测像素或所述第二焦点检测像素的阴影校正系数；以及

校正步骤，用于在从所述图像传感器输入了信号时，利用在输入了所述成像像素的信号的情况下用于所述成像像素的阴影校正系数对所述成像像素的信号进行阴影校正，或者利用在输入了所述第一焦点检测像素或所述第二焦点检测像素的信号的情况下用于所述第一焦点检测像素或所述第二焦点检测像素的阴影校正系数对所述第一焦点检测像素或所述第二焦点检测像素的信号进行阴影校正。

Images