CN103685920A - 图像处理设备及方法以及具有图像处理设备的摄像设备 - Google Patents

Abstract

本发明涉及一种图像处理设备及方法以及具有图像处理设备的摄像设备。该图像处理设备用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的所述拍摄图像的微透镜阵列，所述图像处理设备具有：再聚焦处理部件，用于基于所述光线方向信息对获取到的拍摄图像执行再聚焦处理，并产生重构图像；以及缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素。在获取了所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测。在指示了所述再聚焦处理的情况下，对进行了缺陷像素检测的拍摄图像进行再聚焦处理。

Description

图像处理设备及方法以及具有图像处理设备的摄像设备

技术领域

本发明涉及一种图像处理设备，更特别地涉及一种用于对在前侧具有微透镜阵列的摄像元件所获取的拍摄图像进行处理的图像处理设备。

背景技术

在现有技术中，存在许多诸如电子照相机等摄像设备，用于将由诸如CCD、CMOS等的摄像元件所拍摄的静止图像或运动图像记录到作为具有存储元件的存储卡的记录介质中，或者从该记录介质中再现由诸如CCD、CMOS等的摄像元件拍摄所拍摄的静止图像或运动图像。

日本特开昭61-261974已经提出了关于这种摄像设备的技术的例子。这种摄像设备以如下方式构造：以一个微透镜对应预定数量的多个像素的比率来配置微透镜的微透镜阵列(以下简称MLA)设置在摄像元件的前侧，从而还能够获取入射到摄像元件的光线的入射方向信息(光线方向信息)。

尽管在Ren.Ng.和另外7人,“Light Field Photography with a Hand-HeldPlenoptic Camera”,Stanford Tech Report CTSR2005-02中，这种摄像设备被称为手持式全光照相机，通常还称为“光场照相机”。

作为这种摄像设备的一个应用，基于各个像素的输出信号来生成普通的拍摄图像。作为另一个应用，对拍摄图像执行基于光线方向信息的预定图像处理，以重构聚焦于任意焦距的图像(这种处理称为再聚焦处理)，等等。

另一方面，在近年来的电子照相机中，存在很多配备有具有成百上千万像素的摄像元件的照相机。然而，实际上，全部像素都适当地转换为与入射光量相对应的电信号的摄像元件的制造是非常困难的。因此，若干不能正常运行的“缺陷像素”混合地存在于摄像元件的“像素”中。

在现有技术的摄像设备中，使用缺陷像素的周边像素的图像信号来进行插值处理等，以校正最终生成的图像。

存在若干检测作为校正对象的缺陷像素的方法。例如，在日本特开昭61-261974和日本特开2005-026794中，已经提出了如下方法：在摄像设备或摄像元件的制造步骤中，基于拍摄图像将缺陷像素的地址记录并存储至摄像设备的存储器中。

存在作为另一种检测方法的如下实时缺陷像素检测方法：每次在摄像设备进行拍摄时，基于与拍摄图像的周边像素的图像信号的电平差等，来识别缺陷像素。日本特开2005-286825等提出了这一方法。

然而，在具有上述MLA的摄像设备的拍摄中，为了实现缺陷像素的实时检测，出现了以下问题。

即，在缺陷像素的实时检测方法中，基于检测对象像素与其周边像素之间的电平差，来判断出检测对象像素是否是缺陷像素。然而，在具有上述MLA的摄像设备中，以用于执行诸如再聚焦处理等的预定图像处理的重构为前提的摄像设备具有如下问题。即，在从摄像元件进行读取时或者在存储图像数据时的像素信号并非总是与被摄体图像的位置关系相对应地进行排列，因而，该图像数据可能不适合于直接显示以进行观察。因此，如果原样使用这种排列方式，难以如日本特开2005-286825所示根据缺陷像素的周边像素的信号来判断检测对象像素是否是缺陷。

但是，为了检测缺陷像素，如果为了获取适合于直接显示以对检测用图像进行观察的图像数据而执行某一重构处理，在重构后获取到的图像的一个像素信号成为通过对多个摄像元件的像素信号进行相加所生成的信号。因此，根据重构图像的像素信号，很难检测摄像元件的哪个像素是缺陷像素。

发明内容

因此，本发明的一个方面提供了一种用于对由具有MLA的摄像元件获取的拍摄图像进行适当的缺陷像素检测的图像处理设备、图像处理方法以及程序。

为解决上述问题，根据本发明的第一方面，提供了一种图像处理设备，其用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理设备包括：获取部件，用于获取从所述摄像元件输出的拍摄图像；再聚焦处理部件，用于基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像；缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素；以及控制部件，用于控制所述再聚焦处理部件和所述缺陷像素检测部件，以使得在所述获取部件获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。

根据本发明的第二方面，提供了一种图像处理方法，用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理方法包括：获取步骤，用于获取从所述摄像元件输出的拍摄图像；再聚焦处理步骤，用于利用再聚焦处理单元、基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像；缺陷像素检测步骤，用于利用缺陷像素检测单元从获取到的拍摄图像中检测缺陷像素；以及控制步骤，用于控制所述再聚焦处理单元和所述缺陷像素检测单元，以使得在所述获取步骤获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。

根据本发明的第三方面，提供了一种摄像设备，包括：摄像光学系统；摄像元件，其中，配置有用于获取包含由所述摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列；根据如上所述的图像处理设备；以及输出部件，用于输出所述拍摄图像和所述重构图像至少之一。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并和说明书一起用来解释本发明的原理。

图1是根据本发明第一实施例的摄像设备的框图。

图2是根据图1所示的摄像设备的摄像光学系统的构造的框图。

图3是示意性地示出图1中的摄像设备的摄像元件的像素阵列的图。

图4是构成图3中的像素阵列的单元像素的结构图。

图5是从被摄体方向观察图2的摄像光学系统中的摄像镜头的孔径的情况下的图。

图6是示出在图2的摄像光学系统中来自被摄体的光线轨迹的图。

图7A和7B是描述由图2的摄像光学系统所执行的被摄体距离检测操作的图。

图8是示出根据本发明第一实施例的摄像设备的拍摄操作的流程的图。

图9是示出根据本发明第一实施例的缺陷像素检测操作的流程的图。

图10A和10B是描述根据本发明第一实施例的缺陷像素的检测方法的图。

图11是示出根据本发明第二实施例的摄像设备的拍摄操作的流程的图。

具体实施方式

下面将根据附图详细说明本发明的各个典型实施例、特征和方面。

第一实施例

图1是根据本发明第一实施例的摄像设备的框图。

在图1中，设置有诸如透镜等用于进行拍摄的光学系统101、机械快门102、以及用于将入射光转换为电信号的摄像元件103。摄像元件103具有：用于将入射光转换为电信号的光电转换单元104和用于放大电信号的信号放大单元105。

模拟信号处理单元106获取从摄像元件103输出的图像信号，并对该图像信号进行模拟信号处理。模拟信号处理单元106具有：用于放大模拟信号的信号放大器107、用于进行水平OB箝位的箝位单元108和用于将模拟信号转换成数字信号的A/D转换器109。

定时信号生成单元110生成用于使摄像元件103和模拟信号处理单元106运行的信号。驱动单元111驱动光学系统101和机械快门102。数字信号处理单元112对拍摄图像数据执行必要的数字信号处理。数字信号处理单元112包括：图像校正单元113、用于根据本实施例进行缺陷像素检测的缺陷像素检测单元114、用于放大数字信号的信号放大单元115、以及用于对图像数据执行必要的图像处理的图像处理单元116。

图像存储器117存储进行了信号处理的图像数据。图像记录介质(作为记录介质示出)118可与摄像设备相分离。记录单元119将进行了信号处理的图像数据记录到图像记录介质118。图像显示设备120显示进行了信号处理的图像数据。显示单元121将图像显示在图像显示设备120上。

系统控制单元122对摄像设备进行总体控制。非易失性存储器(ROM)123存储：表示系统控制单元122所执行的控制方法的程序、执行程序时使用的诸如参数、表格等的控制数据、以及诸如缺陷地址等的校正数据。当系统控制单元122控制摄像设备时，使用易失性存储器(RAM)124，存储于非易失性存储器123的程序、控制数据和校正数据被传送并存储至易失性存储器(RAM)124中。

拍摄模式设置单元125进行诸如ISO感光度设置等的拍摄条件的设置以及静止图像拍摄和实时取景驱动之间的切换等等。

以下将说明根据本实施例的上述构成的摄像设备的拍摄操作。

假设在拍摄操作之前，在系统控制单元122开始工作时，例如在摄像设备电源接通时等，必要的程序、控制数据以及校正数据从非易失性存储器123传送并存储到易失性存储器124中。在系统控制单元122控制摄像设备时使用这些程序和数据。尽管如此，系统控制单元122也可以以如下方式来构成：在必要时附加的程序和数据能够从非易失性存储器123传送到易失性存储器124，或者存储在非易失性存储器123中的数据能够被直接读出并使用。

首先，利用来自系统控制单元122的控制信号来驱动诸如透镜等的光学系统101，并在摄像元件103上形成已设置了适当亮度的被摄体图像。接着，在静止图像拍摄模式下，利用来自系统控制单元122的控制信号来驱动机械快门102，以根据摄像元件103的操作来对摄像元件103进行遮光，从而获取到必要的曝光时间。此时，如果摄像元件103具有电子快门功能，则可利用与机械快门102的协作来确保必要的曝光时间。在运动图像拍摄模式以及实时取景驱动模式下，利用来自系统控制单元122的控制信号，将机械快门102维持在完全打开状态，以在拍摄期间始终对摄像元件103进行曝光。

摄像元件103由对应于系统控制单元122所控制的定时信号生成电路110生成的操作脉冲的驱动脉冲来驱动。光电转换单元104利用光电转换将被摄体图像转换为电信号。信号放大单元105将电信号乘以根据入射光量而设置的放大系数，并输出作为模拟图像信号的结果信号。

利用系统控制单元122所控制的定时信号生成电路110生成的操作脉冲，模拟信号处理单元106对从摄像元件103输出的模拟图像信号进行处理。首先，PGA单元107乘以根据入射光量而设置的放大系数的增益。箝位单元108对在水平OB区域中输出的信号进行箝位以作为基准电压。A/D转换器109将已箝位的信号转换为数字图像信号。

接着，系统控制单元122所控制的数字信号处理单元112，对从模拟信号处理单元106输出的数字图像信号进行诸如颜色转换、白平衡和伽马校正等的图像处理，分辨率转换处理，以及图像压缩处理等。

首先，在图像校正单元113中，校正缺陷像素，执行诸如暗阴影校正(darkshading correction)等的各种类型的图像校正处理。缺陷像素检测单元114从拍摄图像中检测缺陷像素。由图像校正单元113校正的缺陷像素是在摄像元件103的制造步骤等中预先检测出的像素，并在该步骤中记录了诸如这种像素的位置等的信息。由缺陷像素检测单元114检测的缺陷像素是如下像素：在摄像元件103的制造步骤等中没有被检测出并且在后续步骤中新成为缺陷的像素，或者诸如在每次拍摄时变成缺陷或没有变成缺陷的RTS噪声等的像素。

在此之后，在信号放大单元115中，乘以根据入射光量而设置的放大系数的增益。在图像处理单元116中，执行诸如颜色转换、白平衡和伽马校正等的图像处理，以及诸如分辨率转换处理、图像压缩处理等的各种类型的图像处理。在图像处理单元116中，还执行上述的基于光线方向信息的再聚焦处理。

图像存储器117用于暂存信号处理期间的数字图像信号，或者存储作为进行了信号处理的数字图像信号的图像数据。在数字信号处理单元112中进行了信号处理的图像数据和存储在图像存储器117中的图像数据被输入到记录单元119并被转换为适合于图像记录介质118的数据(例如，具有层结构的文件系统数据)。将转换了的图像数据记录到记录介质118中。还将图像数据输入至数字信号处理单元112中，并对其进行分辨率转换处理。之后，显示单元121将图像数据转换成适合于图像显示设备120的信号(例如，NTSC系统的模拟信号等)，由此在图像显示设备120上显示图像数据。

这里，响应于来自系统控制单元122的控制信号，数字信号处理单元112可以在不对数字图像信号进行任何信号处理的情况下，将该数字图像信号输出到图像存储器117或记录单元119中。在存在来自系统控制单元122的请求时，数字信号处理单元112将在信号处理步骤中所生成的数字图像信号或图像数据的信息输出给系统控制单元122。例如，图像数据的信息为诸如图像的空间频率、指定区域的平均值、压缩图像的数据量等的信息，或者从中提取的信息。另外，当存在来自系统控制单元122的请求时，记录单元119将诸如图像记录介质118的类型、可用空间等的信息输出给系统控制单元122。

将说明在将图像数据记录到图像记录介质118的情况下所进行的再现操作。

根据来自系统控制单元122的控制信号，记录单元119从图像记录介质118中读出图像数据。类似地，如果图像数据为压缩图像，响应于来自系统控制单元122的控制信号，数字信号处理单元112执行图像扩展处理，并将扩展后的数据存储到图像存储器117。数字信号处理单元112对存储在图像存储器117中的图像数据进行再聚焦处理和分辨率转换处理。之后，显示单元121将图像数据转换成适合于图像显示设备120的信号，由此在图像显示设备120上显示图像数据。

图2是示出在根据本实施例的摄像设备的摄像光学系统的结构的框图。在该图中，与图1中基本相同的构成要素由相同的附图标记表示，并省略其说明。

在图2中，设置了摄像镜头201和作为摄像元件103的构成要素的MLA202。同样作为摄像元件103的构成要素的传感器阵列203包括多个像素(光电转换元件)的阵列。附图标记204表示被摄体。

将参照图2说明根据本实施例的摄像设备的拍摄操作。

在驱动单元111打开机械快门102的状态下，利用摄像镜头201将被摄体204的图像形成在摄像元件103上。入射到摄像元件103上的光信号被MLA202中的各个微透镜(以下简称ML)进一步会聚，并入射到传感器阵列203的各个像素中。下文将参照图3说明MLA202和传感器阵列203的结构。入射到传感器阵列203的光信号在摄像元件103的各个像素中进行光电转换，并作为电信号输出。以与参照图1所描述的方式相同的方式执行后续的处理。

图3是示意性地示出在从被摄体侧观察根据本实施例的摄像设备中使用的摄像元件的情况下的像素阵列的图。

在图3中，单元像素301与重构后的图像的一个像素相对应。单元像素301由预定数量(6行×6列)的光电转换元件(以下又称为分割像素(divisionpixels))302构成。

在本实施例中，如图2、3及6所示，为便于说明，将传感器阵列的像素阵列设置为5行×5列的单元像素阵列，每一个单元像素由6行×6列的分割像素组成。然而，在实际的摄像设备中，认为设置有成百上千万的单元像素。

图4是示出单元像素301中的分割像素的阵列排列的图。

如图3所示，通过排列36个(=6×6)分割像素302来构成单元像素301。为了后续的说明，在本实施例中，假设将36个分割像素302分别标记为图4所示的p₁₁至p₆₆。

图5是示出在从被摄体方向观察摄像镜头201的孔径的情况下的光瞳分割图。

如图5所示，在将摄像镜头201的光瞳区域分割为数量与一个ML中存在的像素的数量相同的区域的情况下，来自摄像镜头201的一个光瞳分割区域的光线的图像形成在一个分割像素中。现在假设摄像镜头和ML的F值几乎相同。在将图5示出的摄像镜头的光瞳分割区域分别标记为a₁₁至a₆₆的情况下，当从光轴的方向观察时，摄像镜头的光瞳分割区域a₁₁至a₆₆与图4所示的分割像素区域p₁₁至p₆₆之间是点对称的对应关系。因此，从摄像镜头的光瞳分割区域a₁₁出射的光图像形成在位于ML后方的单元像素301的分割像素p₁₁中。以与上述的方式相同的方式，从光瞳分割区域a₁₁出射并穿过另一个ML的光图像也形成在位于该ML后方的单元像素301的分割像素p₁₁中。

图6是示出在根据本实施例的摄像光学系统中，从位于不同距离处的被摄体入射的光线轨迹的图。

在图6中，从摄像镜头201的光瞳区域a₁至a₆出射并穿过ML的光分别被后方对应的单元像素的分割像素p₁至p₆接收。

被摄体601a是位于如下位置处的被摄体：摄像镜头201将该被摄体的图像形成在包括MLA202的平面A上。在从被摄体601a出射的光线中，用实线表示穿过摄像镜头的最外周并经由存在于光轴上的ML入射到传感器阵列203上的光线。

被摄体601b是在从摄像镜头201进行观察的情况下，位于比被摄体601a更远的位置处的被摄体。摄像镜头201所形成的被摄体601b的图像形成在比包括MLA202的平面A更靠近摄像镜头的平面B上。在从被摄体601b出射的光线中，用虚线表示穿过摄像镜头的最外周并经由存在于光轴上的ML入射到传感器阵列203上的光线。

被摄体601c是在从摄像镜头201进行观察的情况下、位于比被摄体601a更近的位置处的被摄体。摄像镜头201形成的被摄体601c的图像形成在比包括MLA202的平面A更远离摄像镜头的平面C上。在从被摄体601c出射的光线中，用点划线表示穿过摄像镜头的最外周并经由存在于光轴上的ML入射到传感器阵列203上的光线。

如图6示出的各光线的光线轨迹所表示的那样，来自被摄体的光线所入射的传感器阵列203中的分割像素，根据摄像镜头201到被摄体601的距离而不同。这种距离与分割像素之间的位置关系给出了光线方向信息。通过使用这一原理，具有上述的结构的摄像设备在拍摄之后重构图像信号，从而能够生成聚焦到位于不同距离处的被摄体上的图像(再聚焦处理)。

如参照图6说明的那样，由于图4所示的分割像素p₁₁至p₆₆接收了穿过摄像镜头的不同光瞳区域的光，因此还能够通过使用这些信息来执行用于检测到被摄体的距离的操作。

图7A和7B是描述根据本实施例的摄像设备中被摄体距离的检测操作的图。

如图7A所示，将与各个微透镜相对应的分割像素的输出p₁₁至p₆₆相加，形成在水平方向上进行光瞳分割而得到的两个信号，如下面的等式(1)和(2)所示：

$A=\underset{a=1}{\overset{6}{\mathrm{\Σ}}}\underset{b=1}{\overset{3}{\mathrm{\Σ}}}\left(P_{\mathrm{ab}}\right)...\left(1\right)$

$B=\underset{a=1}{\overset{6}{\mathrm{\Σ}}}\underset{b=4}{\overset{6}{\mathrm{\Σ}}}\left(P_{\mathrm{ab}}\right)...\left(1\right)$

如图6所示，利用由等式(1)所示出的各个合成信号A观察到的摄像透镜的光瞳区域，接收穿过摄像透镜的出射光瞳区域a₁至a₃的光束。基于此，如图7B所示，通过将从与在水平方向上连续排列的n个ML相对应的像素组中获取的A₁至A_n进行排列来生成一维图像信号A_i(i=1,2,3,...,n)。

类似地，当通过将利用等式(2)所计算出的合成信号B进行排列来生成一维图像信号B_i(i=1,2,3,...,n)时，A_i和B_i分别为对摄像透镜的出射光瞳的右侧和左侧进行观察的信号。因此，能够通过检测A_i和B_i的相对位置，并将A_i和B_i之间的相对偏移量乘以预定转换系数，来进行基于相位差检测方法的距离检测操作。

通过在显示屏幕上的任意位置生成A_i和B_i，能够计算出在该位置处的焦点位置(离焦量)。因此，还能够通过根据计算结果驱动调焦透镜，来进行自动焦点调节。

图8是示出根据本实施例的摄像设备的拍摄操作的流程图。

在图8中，首先，基于拍摄模式设置单元125的输出等，由系统控制单元122设置诸如静止图像拍摄、运动图像拍摄、焦点检测拍摄等的模式(步骤S801)。接着，系统控制单元122根据设置模式进行诸如感光度、光圈值、曝光时间等的拍摄条件的初始设置(步骤S802)。

然后，系统控制单元122开始自动焦点调节，即，自动调焦(AF)，用于自动地驱动调焦透镜以聚焦于被摄体(步骤S803)。作为AF的方法，除了使用对比度检测的方法，已知的还有使用专用距离测量传感器的方法。另外，通过使用根据本实施例的光场照相机的特性来正确地读出位于微透镜的不同象限的光电转换元件的信号，这些信号还可用作相位差检测方法自动调焦(AF)中的信号。以上参考图7A和7B描述了这种方法。

根据AF的结果，系统控制单元122通过驱动单元111驱动摄像光学系统101的调焦透镜。

然后，响应于释放按钮(图未示)的按压，系统控制单元122控制机械快门102，并曝光摄像元件103(步骤S804)。

然后，系统控制单元122从非易失性存储器123中读出在摄像设备的制造步骤中预先提取出的固定缺陷像素的信息，并通过控制图像校正单元113来进行相关像素的校正(步骤S805)。

然后，数字信号处理单元112的缺陷像素检测单元114进行拍摄图像中的缺陷像素检测(步骤S806)。下文将参照图9、10A和10B详细描述缺陷像素检测方法。检测出的缺陷像素在数字信号处理单元112中进行校正。

之后，系统控制单元122判断拍摄模式设置单元125是否选择了RAW记录模式(步骤S807)。如果选择了RAW记录模式，则在用于将拍摄图像原样记录到记录介质118中的RAW模式下，记录拍摄图像(步骤S808)。不管是否选择RAW记录模式，都通过对同一ML的光电转换元件的信号进行相加，来生成并记录具有与MLA202的ML的数量相同数量的像素的临时重构图像或者为了显示临时重构图像而缩小的缩略图像(步骤S809)。

之后，在步骤S803的AF中确定的调焦透镜的位置不同于拍摄者的期望位置等情况下，指定目标被摄体(例如，图6中的601b)的距离以及显示设备120上所显示的临时重构图像的被摄体。由再聚焦距离设置单元(图1中未示出)进行这种指定。在进行了上述指定的情况下，系统控制单元122允许图像处理单元116对拍摄图像进行再聚焦重构处理，其中，在步骤S806中检测了该拍摄图像中的缺陷像素，并对该缺陷像素进行了校正(拍摄图像为RAW记录的对象)(步骤S810)。

如果在RAW记录模式下记录了拍摄图像，由于可以在拍摄后执行再聚焦重构处理，可以由模拟图1中的摄像设备的一部分的图像处理设备执行步骤S809和后续步骤中的处理，或者，可以由计算机等根据记录在存储器等的图像处理方法来执行步骤S809和后续步骤中的处理。

最后，将图像信号输出至图像存储器117、记录单元119或显示单元121(步骤S811)，并完成拍摄操作。

然后，将参照图9、10A和10B说明根据本实施例的缺陷像素的检测构成。

在根据本实施例的光场照相机中，如上所述，信号按照从摄像元件输出的顺序来进行排列的图像是伴随着不连续部分的数据，而并非总是根据被摄体的图像的位置关系进行排列。因此，在进行实时缺陷像素检测的情况下，难以如现有技术的实时缺陷像素检测那样，根据全部周边像素信号判断相关像素是否是缺陷。因此，本实施例以如下方式构造：在判断是否能够进行缺陷像素检测的情况下，进行缺陷像素的检测。

图9是示出根据本实施例的缺陷像素的检测操作的流程图。

在图9中，当在系统控制单元122的控制下开始缺陷像素检测时，首先，计算构成包含在像素阵列中的一个单元像素301的36个分割像素302的输出信号的波动(步骤S901)。在本实施例中，使用标准偏差σ作为表示波动的数值。然而，这仅是一个例子，也可以使用其它的值，只要它能够表达分割像素302的输出信号的波动即可。

然后，判断步骤S901中计算出的标准偏差σ是否小于预定值(步骤S902)。

在步骤S902中，如果判断为标准偏差σ小于预定值，则对单元像素301中的分割像素302进行缺陷像素检测(步骤S903)。具言之，如果存在如下的分割像素302：该像素具有的输出信号值使得该输出信号值与36个分割像素302的输出信号的平均值之间的差值不在预定范围内，则该像素被检测为缺陷像素。

在步骤S902中，如果判断为标准偏差σ大于预定值，则可以确定，不能保证该单元像素301中的分割像素302具有适合于检测缺陷像素的精度，由此不进行缺陷像素检测。

之后，判断进行检测的单元像素301是否是最后一个单元像素(步骤S904)。如果仍存在没有进行检测的单元像素，则处理流程返回到步骤S901，并进行关于下一个单元像素的判断。如果判断为完成了最后一个的单元像素的检测，则完成缺陷像素的检测流程。

图10A和10B是描述根据本实施例的检测方法的图。

图10A是示出在被摄体区域内的亮度差小的情况下各个分割像素的输出电平的图，其中，对象单元像素301从该被摄体区域接收光。在图10A中，假设分割像素p₂₅是缺陷像素。

在图10A的状态下，由于各个分割像素的光信号的量相差小，表示输出信号的波动的标准偏差值σ很小。因此，根据本发明的摄像设备判断为该单元像素是能够进行缺陷像素检测的像素。与其它分割像素的信号输出值的差异大的分割像素p₂₅检测为缺陷像素。

图10B是示出在被摄体区域内的亮度差大的情况下各个分割像素的输出电平的图，其中对象单元像素301从该被摄体区域接收光。在图10B中，同样假设分割像素p₂₅是缺陷像素。

在图10B的状态下，由于各个分割像素的光信号的量相差大，表示输出信号的波动的标准偏差值σ很大。因此，根据本发明的摄像设备判断为不应对该单元像素进行缺陷像素检测。

作为参照图9、10A和10B来描述的根据本实施例的缺陷像素的检测方法，使用通过与单元像素中所有分割像素的输出值的平均值进行比较来检测缺陷像素的方法。然而，本发明并不限于这种方法，还可以将检测对象像素的输出信号的量仅与该检测对象像素的周边像素的输出信号的量进行比较。

虽然上面描述了比较一个单元像素中的分割像素的方法，但本发明不限于此。例如，也可以结合并使用如下方法，即，比较位于各个周边单元像素中的相同位置处的分割像素的方法，以及检测输出诸如显著地小于暗电平的值等明显不适当的绝对值的像素的方法。

在上述实施例中，在标准偏差值小于预定值的情况下，判断为对单元像素中的缺陷分割像素进行检测。所具有的输出信号值与单元像素中的分割像素的输出信号的平均值的差值不在预定范围内的分割像素被检测为缺陷像素。在这种情况下，认为标准偏差越小，差值的波动范围越小。因此，也能够以如下方式构造检测方法：当检测缺陷像素时，根据标准偏差值的减小，将预定范围改变为小的范围，从而提高缺陷像素的检测精度。

另外，由于图像中没有被聚焦的区域几乎表现为均匀的亮度区域，因此也能够以如下方式构造检测方法：计算缺陷像素的检测对象单元像素的周边区域的离焦量，当该离焦量大于预定值时，减小差值的判断范围。

第二实施例

本实施例具有如下构造：将即使在重构再聚焦图像之后也使数字信号处理单元112进行缺陷像素的检测和校正的运行结构添加到第一实施例的摄像设备的操作中。因此，由于本实施例中的摄像设备本身的构造与图1中的类似，这里省略其说明。

图11是示出根据第二实施例的拍摄操作的流程图。在该流程图中，与图8基本相同的处理步骤由相同的步骤编号表示。图11与图8的不同之处仅在于：将缺陷校正(步骤S1101)添加到重构再聚焦图像的步骤S810的图像处理之后。因此，在本实施例中，将仅说明步骤S1101中的缺陷校正。当再聚焦距离设置单元不进行设置时，不进行步骤S1101中的缺陷像素校正以及步骤S810中的信号处理(再聚焦处理)。可以根据在步骤S901中计算出的像素输出的波动大的单元像素的数量以及这些单元像素的分布区域来决定是否允许或禁止执行本实施例中的缺陷像素的检测和校正处理。可以在系统控制单元122的控制下进行这些处理。

对重构图像的像素(分割像素进行了相加的像素)进行步骤S1101中的缺陷像素的检测。通过判断与检测对象像素的周边像素的平均值或中值之间的电平差，来进行这种情况下的检测方法。然而，检测方法不限于此。例如，如日本特开2005-286825中公开的，可设置多种判断处理，以避免根据边缘部分中的差值将像素确定为缺陷像素的情况。

根据本实施例的上述结构，通过对在步骤S806中没有进行校正的缺陷像素进行校正，能够进一步提高重构图像的图像质量。由于在步骤S806中检测到的并进行了校正的分割像素在再聚焦图像的重构中仅作为一个分割像素而进行相加，这种校正在重构图像中变得不明显，并且步骤S1101中的校正的效果也不会下降。

虽然上面参照图1至图11描述了本发明的实施例，但本发明不限于此，还能够使用多种形式。

例如，在本发明实施例的像素排列中，为了容易地描述像素结构，将同一ML中的分割像素的数量设置为6×6。然而，本发明不限于此，还可以将单元像素构造为具有任意形状、任意数量的分割像素。

上面已经基于如下假设描述了本发明的实施例：在诸如再聚焦等的重构之前，进行检测到的缺陷像素和在制造步骤等中预先提取出的固定缺陷像素的校正。尽管如此，本发明不限于此，还可以以如下方式构成：在重构之前进行缺陷像素的检测，系统控制单元122保留检测结果并基于保留的检测结果校正重构后的图像的像素。

在上面参照图1描述的本发明的实施例中，已基于如下假设进行了描述：在系统控制单元122的控制下，作为摄像设备的构成要素之一的数字信号处理单元112执行诸如图像重构等的图像处理。尽管如此，在摄像设备中，并不总是必须执行图像处理。具言之，也可以以如下方式来构造：将图像处理单元设置在另一设备，例如，PC(个人计算机)等，将由摄像设备获取的摄像数据传送到PC上，并在PC中执行图像处理。在这种情况下，PC的CPU起到系统控制单元的作用。

可以通过CPU运行存储在RAM、ROM等中的程序的方法来实现构成上述本发明的实施例中的图像处理设备的各个单元以及图像处理方法的各个处理步骤。程序和存储程序的计算机可读存储介质包含在本发明中。

本发明还能够具体表现为，例如，系统、设备、方法、程序、存储介质，等等。具言之，本发明还能够应用于由多个设备构成的系统，或由一个装置构成的设备。

本发明包含了用于实现上述的实施例的功能的软件的程序(与实施例中的图8、9或11的流程图对应的程序)直接提供给系统或设备、或从远处进行提供的情况。本发明还包含了系统或设备的计算机读出并执行提供的程序的程序代码的情况。

因此，为了利用计算机实现本发明的功能和处理而被安装到计算机中的程序代码本身也实现了本发明。即，用于实现本发明的功能和处理的计算机程序本身也包含在本发明中。在这种情况下，可以使用诸如目标代码、由解释程序执行的程序、提供至OS的脚本数据等的任何形式，只要其具有程序的功能。

作为用于提供程序的存储介质，例如有软盘、硬盘、光盘、磁光盘，等等。另外，还有MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM、DVD(DVD-ROM、DVD-R)，等等。

作为另一种程序提供方法，可以通过使用客户端计算机的浏览器将计算机连接到因特网主页。还能够通过从主页提供本发明的计算机程序本身或将包括自动安装功能的压缩文件下载到诸如硬盘等的存储介质来提供所述程序。

还能够通过将构成本发明的程序的程序代码划分成多个文件、并从不同的主页下载各个文件的方法来实现程序提供方法。即，允许多个用户下载用于通过计算机实现本发明的功能和处理的程序文件的WWW服务器也包含在本发明中。

作为另一种方法，还能够通过将本发明的程序加密、存储到诸如CD-ROM等的存储介质中、并分发给用户的方法来实现程序提供方法，允许能够通过预定条件的用户经由因特网从主页下载用于对加密进行解密的密钥信息，并且通过使用密钥信息，执行加密了的程序并将其安装到计算机中。

通过计算机执行所读出的程序的方法来实现上述实施例的功能。另外，还通过运行在计算机上的OS等基于程序的指示执行部分或全部实际处理、并由这些处理实现这些功能的方法来实现上述实施例的功能。

此外，作为另一种方法，还通过如下方法来实现上述实施例的功能：将从存储介质中读出的程序写入插入到计算机的功能扩展板或与计算机相连接的功能扩展单元所具有的存储器中，功能扩展板或功能扩展单元所具有的CPU等基于程序的指示执行部分或全部实际处理，并由这些处理实现这些功能。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (15)

1.一种图像处理设备，用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理设备包括：

获取部件，用于获取从所述摄像元件输出的拍摄图像；

再聚焦处理部件，用于基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像；

缺陷像素检测部件，用于从获取到的拍摄图像中检测缺陷像素；以及

控制部件，用于控制所述再聚焦处理部件和所述缺陷像素检测部件，以使得在所述获取部件获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。

2.根据权利要求1所述的图像处理设备，其中，构成所述微透镜阵列的各个微透镜与构成所述摄像元件的光电转换元件中的预定数量的光电转换元件相对应，以及

所述缺陷像素检测部件计算所述预定数量的光电转换元件的输出值的标准偏差，并基于计算出的标准偏差的值，决定是否根据所述预定数量的光电转换元件的输出进行缺陷像素的检测。

3.根据权利要求2所述的图像处理设备，其中，所述缺陷像素检测部件将与所述预定数量的光电转换元件的输出中的、相对于所述预定数量的光电转换元件的输出的平均值的差值不在预定范围内的输出相对应的光电转换元件检测为缺陷像素。

4.根据权利要求2所述的图像处理设备，其中，如果与各个微透镜相对应的所述预定数量的光电转换元件的各个光电转换元件的输出和多个周边光电转换元件各自的输出之间的差值不等于预定范围内的值，则所述缺陷像素检测部件将所述各个光电转换元件检测为缺陷像素。

5.根据权利要求3或4所述的图像处理设备，其中，如果基于计算出的标准偏差的值决定进行缺陷像素的检测，则所述缺陷像素检测部件根据计算出的标准偏差的值来改变所述预定范围的大小。

6.根据权利要求5所述的图像处理设备，其中，在所述预定数量的光电转换元件的输出的标准偏差的值小的情况下，所述缺陷像素检测部件减小所述预定范围的大小。

7.根据权利要求3所述的图像处理设备，其中，如果基于计算出的标准偏差的值决定进行缺陷像素的检测，则所述缺陷像素检测部件根据所述预定数量的光电转换元件的周边拍摄图像的离焦量来改变所述预定范围的大小。

8.根据权利要求1所述的图像处理设备，其中，还包括：

再聚焦距离设置部件，用于设置由所述再聚焦处理部件生成的重构图像的被摄体距离。

9.根据权利要求1所述的图像处理设备，其中，还包括：

第一缺陷像素校正部件，用于对由所述缺陷像素检测部件检测到的缺陷像素进行校正。

10.根据权利要求9所述的图像处理设备，其中，还包括：

存储器，用于记录构成所述摄像元件的光电转换元件的缺陷像素的位置；以及

第二缺陷像素校正部件，用于基于所记录的位置来校正缺陷像素的信号。

11.根据权利要求10所述的图像处理设备，其中，还包括：

第三缺陷像素校正部件，用于检测并校正由所述再聚焦处理部件生成的重构图像的缺陷像素。

12.根据权利要求11所述的图像处理设备，其中，所述控制部件根据所述缺陷像素检测部件的缺陷像素的检测结果，决定是否进行利用所述第三缺陷像素校正部件的所述重构图像的缺陷像素的校正。

13.根据权利要求9或10所述的图像处理设备，其中，所述控制部件保留所述缺陷像素检测部件的缺陷像素的检测结果，控制所述第一缺陷像素校正部件，并基于所保留的检测结果进行所述重构图像的缺陷像素的校正。

14.一种图像处理方法，用于对从摄像元件输出的拍摄图像进行处理，其中，在该摄像元件中，配置有用于获取包含由摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列，所述图像处理方法包括：

获取步骤，用于获取从所述摄像元件输出的拍摄图像；

再聚焦处理步骤，用于利用再聚焦处理单元、基于所述光线方向信息对获取到的拍摄图像进行再聚焦处理，并生成重构图像；

缺陷像素检测步骤，用于利用缺陷像素检测单元从获取到的拍摄图像中检测缺陷像素；以及

控制步骤，用于控制所述再聚焦处理单元和所述缺陷像素检测单元，以使得在所述获取步骤获取到所述拍摄图像的情况下，进行获取到的拍摄图像的缺陷像素的检测，并在指示了所述再聚焦处理的情况下，对进行了缺陷像素的检测的拍摄图像进行再聚焦处理。

15.一种摄像设备，包括：

摄像光学系统；

摄像元件，其中，配置有用于获取包含由所述摄像光学系统所形成的被摄体图像的光线方向信息的拍摄图像的微透镜阵列；

根据权利要求1所述的图像处理设备；以及

输出部件，用于输出所述拍摄图像和所述重构图像至少之一。

Images