CN102710903A - 图像处理设备、摄像设备和图像处理方法 - Google Patents

Abstract

提供了一种图像处理设备、摄像设备和图像处理方法。图像处理设备对从具有多个单位单元的图像传感器输出的图像信号进行处理，多个单位单元各自包括用于接收穿过不同的光瞳区域的光的多个光电转换元件，并且能够单独读出各光电转换元件，图像处理设备包括：检测单元，用于检测分别基于多个单位单元各自中位于相同位置处的光电转换元件的图像信号所形成的多个图像之间的相位差；判断单元，用于判断存在缺陷的光电转换元件；以及校正单元，用于基于检测单元检测到的相位差，使用与存在缺陷的光电转换元件的缺陷图像信号相对应、并构成多个图像中不包括缺陷图像信号的另一图像的图像信号，来对缺陷图像信号进行校正。

Description

图像处理设备、摄像设备和图像处理方法

技术领域

本发明涉及图像处理设备、摄像设备和图像处理方法，尤其涉及用于对从如下的图像传感器输出的图像信号进行处理的图像处理设备、摄像设备和图像处理方法，其中，该图像传感器具有生成调焦功能和摄像功能这两者用的图像信号的能力。

背景技术

近年来，已探索了具有高清晰度的更小的诸如数字照相机等的摄像设备。已引起关注的用于实现进一步小型化和更高清晰度的一个技术是为了获得精确的聚焦图像、在图像传感器内配置有摄像用像素和信息获取用像素(例如，调焦用像素)的摄像设备。该摄像设备能够通过从同一画面获取图像用的图像数据、还使用从调焦用像素获取到的图像数据进行调焦，获得高清晰度图像(日本特开2003-244712)。

然而，由于日本特开2003-244712所提出的信息获取用像素的结构与摄像用像素的结构不同，而在图像创建期间通常以与针对缺陷像素的方式相同的方式进行校正，从而导致图像质量劣化。作为对比，已提出了信息获取用像素还可以用作摄像用像素的摄像设备(参见日本特开2007-325139)。根据该技术，将信息获取用像素在水平方向和垂直方向上划分成四个，并且在摄像时通过将由此产生的四个区域的所有信号相加来获得图像信号。此外，当进行调焦时，可以通过将这四个区域中的水平方向或垂直方向上的两个区域的信号相加来对这些像素进行光瞳分割，并且由此产生的信号可以用作利用相位差方法的调焦用信号(参见日本特开2007-325139)。

另一方面，在将光接收元件划分成整数比的感光区域、并且由此产生的感光区域中的一部分存在缺陷的情况下，日本专利4146186公开了基于从正常感光区域获得的图像数据和异常感光区域相对于正常感光区域的面积比来进行校正。

然而，在如日本专利4146186一样、根据异常感光区域相对于正常感光区域的面积比进行校正的情况下，可能发生在这些像素失焦的情况下无法获得适当的图像数据的情况。

发明内容

考虑到上述情况而作出本发明，并且在单位单元由复合像素构成、并且单位单元中的任意像素是缺陷像素的情况下，即使这些缺陷像素失焦，本发明也使得能够对根据这些缺陷像素输出的图像信号进行适当校正。

根据本发明，提供了一种图像处理设备，用于对从具有多个单位单元的图像传感器输出的图像信号进行处理，其中，多个所述单位单元各自包括用于接收穿过不同的光瞳区域的光的多个光电转换元件，并且能够单独读出所述多个光电转换元件中的各光电转换元件，所述图像处理设备包括：检测单元，用于检测分别基于多个所述单位单元各自中位于相同位置处的光电转换元件的图像信号所形成的多个图像之间的相位差；判断单元，用于判断所述多个光电转换元件中的任意光电转换元件是否存在缺陷；以及校正单元，用于基于所述检测单元检测到的相位差，使用与由所述判断单元判断为存在缺陷的光电转换元件的缺陷图像信号相对应、并构成所述多个图像中不包括所述缺陷图像信号的另一图像的图像信号，来对所述缺陷图像信号进行校正。

此外，根据本发明，提供了一种摄像设备，包括：所述图像传感器；以及如上所述的图像处理设备。

此外，根据本发明，提供了一种图像处理方法，用于对从具有多个单位单元的图像传感器输出的图像信号进行处理，其中，多个所述单位单元各自包括用于接收穿过不同的光瞳区域的光的多个光电转换元件，并且能够单独读出所述多个光电转换元件中的各光电转换元件，所述图像处理方法包括以下步骤：检测步骤，用于检测分别基于多个所述单位单元各自中位于相同位置处的光电转换元件的图像信号所形成的多个图像之间的相位差；判断步骤，用于判断所述多个光电转换元件中的任意光电转换元件是否存在缺陷；以及校正步骤，用于基于在所述检测步骤中检测到的相位差，使用与在所述判断步骤中判断为存在缺陷的光电转换元件的缺陷图像信号相对应、并构成所述多个图像中不包括所述缺陷图像信号的另一图像的图像信号，来对所述缺陷图像信号进行校正。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

包含在说明书中并构成说明书的一部分的附图示出本发明的实施例，并和说明书一起用来解释本发明的原理。

图1是示出根据本发明实施例的摄像设备的示意结构的框图；

图2A～2C是示出构成根据本实施例的图像传感器的具有复合像素结构的单位单元的概念的俯视图；

图3A～3C是示出在基于缺陷像素相对于正常像素的面积比对缺陷图像进行校正的情况下的问题的图；

图4是示出根据本实施例的摄像设备的图像拍摄操作的流程图；

图5是示出根据本实施例的摄像设备的图像拍摄操作的流程图；

图6是示出根据本实施例的缺陷像素校正操作的流程图；

图7是示出根据本实施例的用于获取相关值及其可靠度的操作的流程图；

图8A～8E是示出根据本实施例的用于获取相关值及其可靠度的操作的图；以及

图9是示出根据本实施例如何对缺陷像素进行校正的图。

具体实施方式

以下将根据附图来详细说明本发明的典型实施例。

摄像设备的结构

图1是示出作为根据本发明实施例的摄像设备的例子的电子照相机的示意结构的框图。

在图1中，附图标记110表示镜头，其中，镜头110用于在图像传感器114上形成光学图像；并且附图标记111表示镜头控制单元，其中，镜头控制单元111用于控制镜头110。附图标记112表示快门，其中，快门112用于控制以下将说明的图像传感器114的曝光量；并且附图标记140表示快门控制单元，其中，快门控制单元140用于控制快门112。附图标记114表示诸如CMO S传感器等的图像传感器，其中，图像传感器114用于将光学图像转换成电信号。注意，图像传感器114由如下的像素(单位单元)构成：在这些像素中，信号获取用像素还可以用作摄像用像素。后面将参考图2A～2C来说明单位单元的结构。

附图标记115表示输出信号处理电路，其中，输出信号处理电路115用于对从图像传感器114输出的模拟信号进行处理。输出信号处理电路115包括模拟前端(AFE)116，其中，AFE 116用于进行诸如用于将光学黑电平转换成基准电平的OB箝位等的处理、以及模数转换。输出信号处理电路115还包括数字前端(DFE)117，其中，DFE 117用于接收各像素的数字输出，并进行诸如排序和各种校正处理等的数字处理。

附图标记118表示时序发生电路(TG)，其中，时序发生电路118用于将时钟信号和控制信号供给至图像传感器114和输出信号处理电路115。附图标记120表示图像处理电路，其中，图像处理电路120用于对来自输出信号处理电路115的数据进行诸如缺陷像素校正和颜色转换等的预定图像处理。

附图标记122表示存储器控制电路，其中，存储器控制电路122用于控制来自存储器130、存储器152和记录介质1200的图像信号和校正信息的读出以及显示在图像显示单元128上的信息。该图像显示单元包括TFT LCD。存储器130用于存储拍摄到的静止图像和运动图像，并且具有充足的存储容量以存储预定数量的静止图像或预定长度的运动图像。此外，存储器130设置有在图像处理电路120进行校正和其它控制时保持图像信号的校正用保持区域、和在向记录介质1200进行保存操作时用的图像存储缓冲区域。附图标记146表示测光控制单元，其中，测光控制单元146用于进行自动曝光(AE)处理。

附图标记150表示控制整个图像处理设备的系统控制电路，并且系统控制电路150包括已知的CPU等。系统控制电路150还配置有存储器152，其中，存储器152用于存储系统控制电路150的操作所使用的常量、变量和程序。存储器152的内部还配置有从后面将说明的非易失性存储器156读出本实施例的摄像设备在操作期间所需的信息、并保持所读取的信息的功能。

附图标记156表示存储有以下所述的程序的、能够电擦除和记录的诸如EEPROM等的非易失性存储器，其中，还将诸如缺陷像素信息等的摄像设备特有的校正/调整信息存储在非易失性存储器156中。

附图标记160表示操作单元，其中，操作单元160用以输入针对系统控制电路150的各种操作指示。操作单元160包括快门开关，其中，该快门开关以按下方式分阶段接通，并且包括SW1和SW2，其中，SW1进行拍摄准备操作(AF、AE等)，SW2进行从拍摄(快门控制、电荷累积操作、读出操作)到图像处理和记录的这些操作。还包括了使实时取景功能工作的实时取景开关和用于向各系统供电的主开关。

附图标记180表示由电池检测电路和DC-DC转换器等构成的电源控制单元，并且附图标记186表示包括碱性电池或锂电池等的电源单元。附图标记1200表示诸如存储卡或硬盘等的可移除记录介质。

图像传感器的结构

图2A～2C是示出构成图1所示的图像传感器114并用于进行信息获取和摄像这两者的光瞳分割像素、也就是由所谓的复合像素构成的单位单元的概念的俯视图。在图2A中，附图标记1表示图像传感器114的单位单元，其中，图像传感器114具有多个单位单元1。附图标记1a～1d表示各自配置有包括光电转换元件的已知的摄像像素结构的像素，并且各自均能够被单独输出。此外，在构成各单位单元1的像素1a～1d的上方设置有已知的同种颜色的滤色器。附图标记2表示针对各单位单元1所设置的已知的微透镜。由于对每个单位单元设置一个微透镜2，因此像素1a～1d接收已穿过微透镜2的不同光瞳区域的光。

在具有这种结构的图像传感器114中，在进行摄像时，如图2B所示，通过合成来自各单位单元内的四个像素1a～1d的所有像素输出，由此产生的信号可以用作构成图像的信号。注意，存在各种用于合成像素输出的方法，并且可以在诸如在像素内或图像传感器内对像素输出进行部分相加(在水平方向或垂直方向上对像素输出进行相加)、或者通过在从图像传感器输出之后进行运算来对像素输出进行相加等的任意时刻合成像素输出。

另一方面，当进行信息获取(调焦操作)时，例如，如图2C所示，通过在垂直方向上对像素输出进行相加将单位单元1划分成两个。这使得能够利用A图像和B图像之间的水平偏移(像素之间的相位差)来进行已知的利用相位差方法的调焦控制，其中，A图像是根据单位单元1的左侧上的多个像素输出(1a+1b)所获得的，B图像是根据单位单元1的右侧上的多个像素输出(1c+1d)所获得的。同样，通过对像素输出进行相加以在水平方向上划分单位单元，可以利用垂直偏移来进行利用相位差方法的调焦控制。

这里，将说明在单位单元1的这些像素中的一个像素是缺陷像素的情况下、当使用上述日本专利4146186的方法进行校正时所出现的问题。

图3A～3C示出基于缺陷像素相对于正常像素的面积比来设置对图像数据进行校正时的校正目标的示例。图3A是示出单位单元1的水平方向的配置中的一部分的图，其中，这里示出从左侧起的第11个单位单元1中位于右下方的像素1d作为缺陷像素的例子。为了简化说明，示出了仅发生水平方向的相位差的例子，但在发生垂直方向的相位差的情况下也出现相同的问题。

图3B示出在缺陷像素附近形成图像的被摄体聚焦的情况下、像素1a～1d的各个输出值的示例，并且图3C示出在缺陷像素附近形成图像的被摄体失焦的情况下、像素1a～1d的各个输出值的示例。注意，在图3B和3C中，将根据像素1a的输出值所获得的图像称为1a图像，将根据像素1b的输出值所获得的图像称为1b图像，将根据像素1c的输出值所获得的图像称为1c图像，并且将根据像素1d的输出值所获得的图像称为1d图像。

在图3B中，由于被摄体聚焦，因此1a图像≈1b图像≈1c图像≈1d图像，并且仅缺陷像素1d的输出值发生偏移(该图上的“●”)。在日本专利4146186的校正方法中，将包含缺陷像素1d的单位单元内的正常像素1a、1b和1c的输出值与缺陷像素1d的面积相对于正常像素1a、1b和1c的面积之比相乘。在被摄体聚焦的情况下，校正值如该图上的“◇”所示，并且可以几乎准确地预测出缺陷像素1d的正确输出值。

另一方面，在图3C中，由于被摄体失焦，因此1a图像≈1b图像≠1c图像≈1d图像。即，不仅在缺陷像素1d的输出值(该图上的“●”)中、而且在根据正常像素输出的1a图像和1b图像以及1c图像和1d图像之间，都出现由于相位差而引起的偏移。在这种情况下，通过将包含缺陷像素1d的单位单元内的正常像素1a、1b和1c的输出值与缺陷像素1d的面积相对于正常像素1a、1b和1c的面积之比相乘所获得的值是由该图上的“◇”所表示的值。然而，在这种情况下，将与正常像素1c的输出值大致相等的由“◆”所表示的值看作为针对缺陷像素1d的输出值的适当校正值。因而，计算该图上的“◇”作为校正值将导致利用不正确的值来进行校正。换言之，在被摄体失焦的情况下，利用日本专利4146186的方法难以进行精确的缺陷校正。

以下将说明即使在被摄体失焦的情况下也能够进行适当校正的本发明的校正方法。

摄像操作

图4和5是示出图1所示的摄像设备的摄像操作的处理过程的流程图。

在步骤S101中，作为通过电池更换等进行供电的结果，系统控制电路150初始化标志和控制变量等，并且配置各单元所需的预定的默认设置。此时，将记录在非易失性存储器156上的所需信息读出至系统控制电路150内的存储器152。

在步骤S102中，系统控制电路150判断主开关的设置位置，并判断是否将电源设置为断开(OFF)。如果将电源设置为断开，则在步骤S103中进行预定的结束处理，之后该过程返回至步骤S102。这里，例如，图像显示单元128上的显示改变为结束状态，将包括标志和控制变量的所需参数、设置和设置模式记录在非易失性存储器156中，并且进行诸如针对包括图像显示单元128的各单元、利用电源控制单元180切断不需要的供电等的处理。

另一方面，如果将电源设置为接通(ON)，则在步骤S104中，读出已设置的诸如ISO感光度等的配置信息。接着，在步骤S105中，系统控制电路150使用电源控制单元180判断作为电池等的电源单元186的剩余电力或工作状况是否存在问题。如果判断为存在问题，则该过程进入步骤S106，并且如果判断为不存在问题，则该过程进入步骤S107。在步骤S106中，通过在图像显示单元128上显示图像来给出预定的警告，之后该过程返回至步骤S102。

当在步骤S105中判断为电源单元186不存在问题时，在步骤S107中，判断是否将操作单元160的模式拨盘开关设置为拍摄模式。如果将模式拨盘开关设置为拍摄模式，则该过程进入步骤S109，并且如果将模式拨盘开关设置为其它模式，则该过程进入步骤S108。在步骤S108中，执行与所选择的模式相对应的处理，并且在执行之后该过程返回至步骤S102。

在步骤S109中，判断是否安装有记录介质1200、获取记录介质1200上所记录的图像数据的管理信息、并且判断记录介质1200的工作状态、即与记录介质1200有关的图像数据的记录/重放是否存在问题。如果判断为存在问题，则该过程进入步骤S106并进行上述警告处理，并且如果判断为不存在问题，则该过程进入步骤S113。在步骤S113中，使用图像显示单元128利用图像来显示各种设置的状态。

接着，该过程进入图5的步骤S114，其中，在步骤S114中，判断是否通过对包括在操作单元160中的快门开关(未示出)进行的操作(例如，半按下)使SW1变为接通(ON)。如果SW1未接通，则该过程返回至步骤S102，并且如果SW1接通，则该过程进入步骤S115。

在步骤S115中，使用测光控制单元146来检测被摄体的亮度并进行用于确定拍摄用的光圈和快门速度的已知的测光处理。在步骤S116中，进行涉及用于使镜头110聚焦于被摄体的聚焦操作的调焦处理。这里，如参考图2C所述，通过在垂直方向上(或在水平方向上)将像素输出相加来得到穿过了不同的光瞳区域的两个图像(A图像和B图像)。然后，基于所得到的A图像和B图像之间的相位差来进行已知的调焦控制。注意，当进行调焦处理时，从非易失性存储器156读出缺陷像素信息，并且排除来自包含缺陷像素的单位单元的输出。

在步骤S118中，判断是否通过对包括在操作单元160中的快门开关(未示出)进行的操作(例如，全按下)使SW2变为接通。如果SW2未接通，则该过程进入步骤S114，并且如果SW2接通，则该过程进入步骤S119。

在步骤S119中，判断存储器130是否具有存储所拍摄图像数据可用的图像存储缓冲区域。如果判断为在存储器130的图像存储缓冲区域中不存在存储新图像数据可用的空间，则该过程进入步骤S120，其中，在步骤S120中，利用图像显示单元128发出预定的警告，之后该过程进入步骤S102。另一方面，如果判断为存在存储新图像数据可用的空间，则该过程进入步骤S121。

在步骤S121中，连同开始向图像传感器114供电和发送预定的控制信号一起，进行涉及在预定的时间量内打开快门112并对图像传感器114曝光的摄像操作。在步骤S121中，还进行读出操作，并将所存储的电信号传送至下游的输出信号处理电路115。注意，在步骤S121的读出操作中，从单位单元的各像素独立进行读出。

接着，在步骤S123中，系统控制电路150使用输出信号处理电路115(AFE 116、DFE 117)和图像处理电路120对从图像传感器114传送来的电信号(图像信号)进行校正。具体地，进行诸如用于将在作为图像进行观看时用作基准电平的OB电平稳定化的OB箝位操作、以及用于对根据图像传感器114中的像素(单位单元)的位置而发生的微小输出偏移进行校正的遮光校正等的处理。

此外，在步骤S124中，对来自无法输出正常信号的缺陷像素的输出进行校正，并将校正后的图像信号存储在存储器130的预定区域中。在本实施例中，使用预先存储在非易失性存储器156中的缺陷像素信息(坐标等)来判断是否应当对像素进行校正。注意，缺陷像素判断不限于该方法，并且可以利用诸如通过图像分析检测异常像素等的其它方法来进行缺陷像素判断。后面将参考图6来详细论述在步骤S124中进行的缺陷像素校正处理。

在步骤S125中，系统控制电路150经由存储器控制电路122读出在步骤S124中校正后的图像信号，并且进行为进行显像处理所需的WB(白平衡)积分运算和OB(光学黑)积分运算。然后，将运算结果存储在系统控制电路150的存储器152中。接着，使用图像处理电路120、并且使用存储在存储器152中的运算结果，对在步骤S124中校正后的并存储在存储器130的预定区域中的图像信号进行包括AWB(自动白平衡)处理、伽玛变换和颜色转换的各种显像处理。

在步骤S126中，控制电路系统150对显像后的图像数据进行压缩，并且在步骤S127中，进行用于将所读取的图像数据写入诸如紧凑型闪存(Compact Flash，注册商标)卡等的记录介质1200的记录处理。每当将已拍摄到并经过了一系列处理的图像数据新写入存储器130的图像存储缓冲区域中的可用图像空间时，对该图像数据执行该记录处理。

在步骤S128中，系统控制电路150判断快门开关的SW1是否接通。如果SW1断开，则该过程返回至步骤S102，并且如果SW1处于接通状态，则该过程返回至步骤S118，并且准备进行下一摄像。

缺陷像素校正

接着，将使用图6～9来说明在图5的步骤S124中进行的缺陷像素校正操作。图6是示出根据本实施例的缺陷像素校正操作的流程图。

在步骤S201中，根据预先存储在非易失性存储器156中并被读出至系统控制电路150内的存储器152的缺陷像素信息，检查应当经过缺陷处理的像素的坐标和缺陷水平。在步骤S202中，判断作为缺陷像素的校正对象像素是否包括在单位单元中。如果包括了缺陷像素，则该过程进入步骤S203，并且如果不包括缺陷像素(如果单位单元仅包括正常像素)，则该过程进入步骤S213。

在步骤S203中，判断在被判断为包括缺陷像素的同一单位单元中是否还包括其它缺陷像素。如果存在其它缺陷像素，则该过程进入步骤S206，并且如果不存在其它缺陷像素，则该过程进入步骤S204。在步骤S204中，求出相关值(相位差)和该相关值的可靠度。

相关值和可靠度的获取

这里，将参考图7来说明在步骤S204中进行的操作。在步骤S301中，读出具有缺陷像素的线(以下称为“缺陷像素线”)的输出值和具有相同颜色配置的相邻正常线的输出值。在步骤S302中，将在步骤S301中读出的缺陷像素线的输出值和具有相同颜色配置的相邻正常线的输出值的平均值p与预定的输出水平P进行比较。如果p＜P，则由于这些输出值太低以致无法以足够的精度求出相关值，因此该过程进入步骤S307，并且如果p≥P，则由于这些输出值对求出相关值足够高，因此该过程进入步骤S303。

在步骤S303中，将在步骤S301中读出的缺陷像素线的输出值和具有相同颜色配置的相邻正常线的输出值的变化量Vp-p与预定水平C进行比较。如果Vp-p＜C，则由于该变化量(＝对比度)过低以致无法以足够的精度求出相关值，因此该过程进入步骤S307，并且如果Vp-p≥C，则由于存在足够的变化量(＝对比度)用以求出相关值，因此该过程进入步骤S304。

在步骤S304中，求出相邻正常线中在缺陷像素附近的预定区域的相关值(相位差)dx和另一预定区域的相关值dx′。图8A～8E示出这里求出的相关值的例子。图8A示出在被摄体Ob1和被摄体Ob2位于不同的距离的情况下获得的输出值。图8B示出包括被摄体Ob1和被摄体0b2的相邻正常线的输出值中的一部分，并且图8C示出缺陷像素线中的根据与图8B相同的区域所获得的输出值中的一部分。

接着，在步骤S305中，求出缺陷像素线中与求出相关值dx′的区域相对应并且仅包括正常像素的预定区域的相关值Lx′。

在步骤S306中，对在步骤S304和步骤S305中求出的相关值dx和dx′以及相关值Lx′和dx′进行比较，并且判断各个差是否在预定范围内。具体地，判断|dx-dx′|≤Th(阈值)并且|Lx′-dx′|≤Th是否成立。如果这些差在预定范围外，则假定在缺陷像素线的输出和相邻正常线的输出中存在极端变化(即，被摄体的变化、由于噪声/缺陷等而不相关等)，该过程进入步骤S307。另一方面，如果这些差在预定范围内，则假定在缺陷像素线的输出和相邻正常线的输出中不存在极端变化(即，相关)，该过程进入步骤S310，并且将相关值dx看作为缺陷像素附近的相关值并存储为可靠度高(＝OK)。

在步骤S307中，判断在步骤S304和步骤S305中求出相关值的像素区域是初始区域(第一区域)还是与第一区域不同的第二区域。如果不是第二区域，则该过程进入步骤S308，其中，在步骤S308中，设置不同于第一区域的第二区域，之后该过程返回至步骤S302并且再次求出相关值及其可靠度。

图8D和8E示出在区域改变的情况下的例子，其中，图8D示出仅包括被摄体Ob2的相邻正常线的输出值中的一部分，并且图8E示出在缺陷像素线中从与图8D相同的区域所获得的输出值中的一部分。在图8D和8E所示的例子中，由于dx≈dx′以及Lx′≈dx′、并且所求出的相关值的可靠度高，因此在第二轮的步骤S310中，存储相邻正常线中在缺陷像素附近的区域的相关值dx。

另一方面，当在步骤S307中判断为设置了第二区域时，该过程进入步骤S309，并且将在步骤S304和S305中求出的相关值存储为可靠度低(＝NG)。

注意，在步骤S307和S308中设置的用于获取相关值的区域的主要意图是避免由于被摄体依赖性而发生的相关不一致。因而，还想到如下的情况：例如，在缺陷像素线与该线上方的正常像素线之间的边界处被摄体发生变化导致不相关，但在该缺陷像素线下方的正常像素线中存在类似的被摄体；或者，在包含缺陷像素的线和该线上方的正常像素线中，用于获取相关值的区域的左右两侧的被摄体不同，但当在横方向上缩小正在观察的区域时存在类似的被摄体。因此，尽管在本实施例中保留从第一区域切换至第二区域，但对多个区域进行附加判断也符合本发明的精神。例如，尽管在图8A～8E中进行使区域水平移动的处理，但缩小该区域、加宽该区域或在垂直方向上改变该区域的位置的处理也符合本发明的精神。

在上述处理已结束之后，该过程进入图6的步骤S205。在步骤S205中，判断在步骤S204中所检查的相关值的可靠度的结果。如果可靠度低(＝NG)，则该过程进入步骤S206，并且如果可靠度高(＝OK)，则该过程进入步骤S209。

在同一单元内存在其它缺陷像素或相关值的可靠度低的情况下，该过程进入步骤S206。由此读出相邻的不包含缺陷像素的同色正常单位单元的输出值(1a+1b+1c+1d)，并且在步骤S207中，计算在步骤S206中读出的相邻的同色单位单元的输出值的平均值v。接着，在步骤S208中，通过利用在步骤S207中求出的平均值v进行替换来校正包含一个或多个缺陷像素的单位单元的输出值，并且将其存储在存储器130中，之后该过程进入步骤S213。

注意，假定在步骤S206和S207中计算校正值的方法例如涉及将校正值设置为上下左右的同色单位单元的输出值(1a+1b+1c+1d)的平均值，但本发明不限于此。假定不使用相关值来计算缺陷像素的校正值，则可以利用其它校正方法来进行校正。例如，可以针对缺陷像素1d求出上下左右的同色单位单元中的像素单元1d的输出值的平均值。

另一方面，如果在步骤S205中判断为相关的可靠度高(＝OK)，则在步骤S209中，读出包含缺陷像素的线的A图像和B图像的输出值(一部分或全部)。然后，在步骤S210中，根据在步骤S204中存储的相关值dx、以及包括缺陷像素的A图像和/或B图像的输出值来求出该缺陷像素的虚拟输出值x。图9是示出在步骤S209中读出的A图像和B图像的示例的图。注意，这里，如参考图3A～3C所述，假定像素1d是缺陷像素，并且A图像和B图像在水平方向上偏移。

在图9中，“●”表示包括来自缺陷像素1d的输出的B图像的值(1c+1d)。这里，由于A图像和B图像偏移了相关值dx，因此从偏移了相关值dx(相位差)的单位单元输出的A图像的值与从包含缺陷像素1d的单位单元输出的B图像的值相对应。因此，在步骤S210中，读出由图9中的“◇”示出的从位于偏移了相关值dx的位置处的单位单元输出的A图像的值，并将该值看作为虚拟输出值x。然后，在步骤S211中，计算通过从该虚拟输出值x减去构成B图像的像素1c和1d中的正常像素(这里，像素1c)的输出值所获得的值作为缺陷像素校正值k。例如，如果像素1d存在缺陷，则如下计算缺陷像素1d的校正值。

缺陷像素校正值k＝虚拟输出值x-像素1c的输出值

在步骤S212中，使用在步骤S211中求出的缺陷像素校正值k来校正包含缺陷像素1d的单位单元的输出值(图9中的“◆”)。注意，尽管在上述处理中求出了针对缺陷像素1d的校正值，但可以利用虚拟输出值x来替换包括缺陷像素1d的B图像的值(1c+1d)。然后，使用校正后的缺陷像素1d的输出值k计算该单位单元的输出值(1a+1b+1c+k)，并存储在存储器130中。

在步骤S213中，判断是否已对图像的最末的单位单元进行了缺陷校正操作。如果尚未对最末的单位单元进行缺陷校正操作，则该过程进入步骤S214，其中，在步骤S214中，使要检查的单位单元移动至下一单位单元(例如，使单位单元检查计数器增加1)，并且在返回至已说明了的步骤S202之后进行上述处理。如果在步骤S213中判断为所处理的单位单元是最末的单位单元，则该过程返回至图5的处理。

根据如上所述的本实施例，使用由多个像素构成单位单元的图像传感器的摄像设备能够在单位单元内的任意像素存在缺陷的情况下进行适当的缺陷校正，而与在该缺陷像素附近形成的被摄体图像的聚焦状态无关。

此外，在校正所使用的正常像素的相关值的可靠度低(即，低亮度/对比度、由于被摄体依赖性而引起的相关不一致、由于噪声/缺陷而引起的输出变化等)的情况下，可以避免进行可靠度低的校正。

此外，说明了参考在列方向上相邻的线中的相关值来进行本实施例的校正，其中，A图像＝1a+1b并且B图像＝1c+1d。然而，本发明不限于此，并且还可以参考在行方向上相邻的线的相关值来进行本发明的校正，其中，A图像＝1a+1c并且B图像＝1b+1d。

此外，尽管指定了相邻线中的不同单元的组作为用于求出本发明的相关值的同色结构的正常像素单元的组，但本发明不限于此，并且例如可以利用同一单位单元内的可以获取到相关值的正常像素来获取相关值并且在校正时使用该相关值。具体地，可以利用正常像素1a和1c的图像求出针对缺陷像素1d的相关值，并且可以利用位于偏移了该相关值的位置处的正常像素1b的值来进行校正。

注意，尽管在上述实施例中说明了本发明专用于图像输出的校正，但本发明可以用于除图像输出的校正以外的应用，例如基于本发明中的相关值将缺陷像素的校正值作为像素单位的距离信息记录在图像信息中等。

此外，尽管在上述实施例中说明了本发明具有单位单元包括四个像素的结构，但本发明不限于此。即使利用将相同大小的九个像素配置在单位单元内的结构、或者包括各自由调焦用的相同大小的多个像素(例如，四个像素)所构成的单位单元或各自由不同大小的像素(例如，一个像素)构成的单位单元的结构，本发明作为缺陷校正方法也是有用的。

此外，尽管在上述实施例中给出了将单位单元内的具有四个像素的复合像素配置在图像传感器的整个表面上的例子，但本发明不限于此。例如，即使在每隔几条线和/或每隔几行离散配置复合像素的结构的情况下，也可以根据配置的状态来进行有效的校正。

此外，在按每单位单元来合成像素1a～1d的输出值的情况下，合成的时刻不限于上述时刻，并且只要在校正缺陷像素时可以利用图像之间的相位差来进行校正，就可以在任何时刻合成这些输出值。

其它实施例

在上述实施例中，尽管通过提供从图像传感器114获得的图像信号以及缺陷像素信息说明了在摄像设备中对来自缺陷像素的输出进行校正的情况，但例如可以在诸如计算机等的图像处理设备中进行校正。

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (9)

1.一种图像处理设备，用于对从具有多个单位单元的图像传感器输出的图像信号进行处理，其中，所述多个单位单元各自包括用于接收穿过不同的光瞳区域的光的多个光电转换元件，并且在所述单位单元中，能够从所述多个光电转换元件中的各个光电转换元件独立进行读出，所述图像处理设备包括：

检测单元，用于检测如下多个图像之间的相位差：该多个图像是分别基于所述多个单位单元的各个单位单元中位于相同位置处的光电转换元件的图像信号所形成的；

判断单元，用于判断在所述多个光电转换元件中是否存在有缺陷的光电转换元件；以及

校正单元，用于基于所述检测单元检测到的相位差，使用如下图像信号对由所述判断单元判断出的有缺陷的光电转换元件的缺陷图像信号进行校正：该图像信号与所述缺陷图像信号相对应，并且构成所述多个图像中不包括所述缺陷图像信号的其它图像。

2.根据权利要求1所述的图像处理设备，其特征在于，所述检测单元检测由如下光电转换元件的图像信号所形成的两个图像之间的水平方向的相位差：该光电转换元件是所述多个光电转换元件中、包括在通过沿垂直方向将所述单位单元划分成两个区域而获得的各区域中的光电转换元件。

3.根据权利要求1所述的图像处理设备，其特征在于，所述检测单元检测由如下光电转换元件的图像信号所形成的两个图像之间的垂直方向的相位差：该光电转换元件是所述多个光电转换元件中、包括在通过沿水平方向将所述单位单元划分成两个区域而获得的各区域中的光电转换元件。

4.根据权利要求1至3中任一项所述的图像处理设备，其特征在于，还包括合成单元，所述合成单元用于针对各个单位单元、合成和输出包括在该单位单元中的所有光电转换元件的图像信号。

5.根据权利要求1至3中任一项所述的图像处理设备，其特征在于，还包括可靠度判断单元，所述可靠度判断单元用于判断所述检测单元检测到的相位差的可靠度是否高于预定可靠度，

其中，如果所述可靠度判断单元判断为所述可靠度不高于所述预定可靠度，则所述校正单元使用在与包括判断出的有缺陷的光电转换元件的单位单元相邻的单位单元中所包括的光电转换元件的图像信号，校正该有缺陷的光电转换元件的缺陷图像信号。

6.一种摄像设备，包括：

根据权利要求1所述的图像处理设备；以及

所述图像传感器。

7.根据权利要求6所述的摄像设备，其特征在于，所述单位单元配置在所述图像传感器的整个表面上。

8.根据权利要求6所述的摄像设备，其特征在于，所述单位单元离散配置。

9.一种图像处理方法，用于对从具有多个单位单元的图像传感器输出的图像信号进行处理，其中，所述多个单位单元各自包括用于接收穿过不同的光瞳区域的光的多个光电转换元件，并且在所述单位单元中，能够从所述多个光电转换元件中的各个光电转换元件独立进行读出，所述图像处理方法包括以下步骤：

检测步骤，用于检测如下多个图像之间的相位差：该多个图像是分别基于所述多个单位单元的各个单位单元中位于相同位置处的光电转换元件的图像信号所形成的；

判断步骤，用于判断在所述多个光电转换元件中是否存在有缺陷的光电转换元件；以及

校正步骤，用于基于在所述检测步骤中检测到的相位差，使用如下图像信号对在所述判断步骤中判断出的有缺陷的光电转换元件的缺陷图像信号进行校正：该图像信号与所述缺陷图像信号相对应，并且构成所述多个图像中不包括所述缺陷图像信号的其它图像。

Images