CN101304484A - 成像装置、缺陷像素校正装置、装置中的处理方法和程序 - Google Patents

Abstract

本发明提供了成像装置、缺陷像素校正装置、装置中的处理方法和程序，成像装置包括：缺陷像素存储单元，存储缺陷像素的位置信息和像素缺陷信息；图像输入单元，输入图像；缺陷像素确定单元，基于位置信息确定每个像素是否为缺陷像素；像素共有缺陷确定单元，基于像素缺陷信息确定缺陷像素是否包括在缺陷像素组中；像素类型确定单元，确定每个像素的类型；内插像素选择单元，基于缺陷像素的类型和表示缺陷像素是否包括在缺陷像素组中的确定结果选择被确定为缺陷像素的像素的周边像素；内插值计算单元，基于所选的周边像素的值计算被确定为缺陷像素的像素的内插值；内插内插值替换单元，用计算得到的内插值替换被确定为缺陷像素的像素的值。

Description

成像装置、缺陷像素校正装置、装置中的处理方法和程序

相关申请的交叉参考

本发明包含于2007年5月7日向日本专利局提交的日本专利申请第2007-122127号的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种成像装置。具体地，本发明涉及一种校正包括在通过使用成像器件拍摄的图像中的缺陷像素的成像装置、缺陷像素校正装置、装置中的处理方法和使计算机执行该方法的程序。

背景技术

近年来，已广泛使用诸如数码摄相机和数字相机的成像装置来拍摄对象的图像。同样，成像装置已被小型化并且成像装置中的图像质量已变得更高。同样，包括白缺陷和黑缺陷的像素缺陷会出现在安装在那些成像装置中的固态成像器件中。白缺陷是一定量的电荷根据入射光的量被叠加在电信号上的像素缺陷，而黑缺陷是信号电平以某一速率降低的像素缺陷、或不响应入射光地输出低水平信号的像素缺陷。

缺陷像素作为白或黑点出现在所拍摄的图像上，并使图像质量劣化。因此，为了提高成像装置的性能，使缺陷像素的影响最小化是很重要的。但是，通常，很难完全消除在固态成像器件中的缺陷像素。在这些情况下，已提出了多种缺陷像素校正方法，用于通过使用从固态成像器件输出的图像信号来检测和校正信号处理器中的缺陷像素。

例如，已广泛使用了以下缺陷像素校正方法。即，在制造地的调节期间或通电时检测缺陷像素，并且将检测到的缺陷像素的位置信息保存在诸如寄存器或存储器的存储单元中。在成像期间，通过使用将基于所保存的位置信息校正的像素邻近的多个像素信号来计算内插值，然后用该内插值替换缺陷像素的值。

同样，还提出了下面的缺陷像素校正方法(例如，参看专利文献1：第06-153087号日本未审查专利公开申请(图1))。即，计算在与任意颜色空间中的缺陷像素的位置相对应的颜色空间中的像素和该像素周边的各个像素之间的相关性。然后，通过使用在与具有在计算得到的相关性中的最强相关性的像素的位置相对应的颜色空间中的像素来校正缺陷像素。

发明内容

根据上述的相关技术，能够通过相对简单的结构来校正缺陷像素。

另一方面，随着近来成像装置的小型化和更高的图像质量，已开发了关于增加像素和小型化成像器件的多项技术。

例如，已实现了关于像素共有结构(其中，构成成像器件的像素的晶体管组的部分被多个邻近像素共有)的技术。通过这项技术，像素能够被小型化，同样成像装置也能够被小型化。

但是，在具有像素共有结构的成像器件中，如果作为共有结构的元件的放大器晶体管出现故障，则共有故障晶体管的所有邻近像素都会变为缺陷像素。因此，当要校正包括在通过使用具有像素共有结构的成像器件拍摄的图像中的缺陷像素时，重要的是适当校正由于像素共有结构带来的邻近像素缺陷。在除像素共有结构外的结构中，由于结构问题，缺陷可能会出现在包括在由多个像素构成的像素组中的每个像素中。

因此，本发明致力于适当校正包括在缺陷像素组中的每个缺陷像素。

根据本发明的实施例，提供了一种成像装置，包括：缺陷像素存储单元，用于存储包括在成像器件中的多个像素中的缺陷像素的位置信息和表示包括多个缺陷像素的缺陷像素组是否包括与位置信息相关的缺陷像素的像素缺陷信息，位置信息与像素缺陷信息相关联；图像输入单元，用于输入通过成像器件拍摄的图像；缺陷像素确定单元，用于基于存储在缺陷像素存储单元中的位置信息确定在输入图像中的每个像素是否为缺陷像素；像素共有缺陷确定单元，用于基于存储在缺陷像素存储单元中的像素缺陷信息确定被确定为缺陷像素的像素是否包括在缺陷像素组中；像素类型确定单元，用于确定在输入图像中的每个像素的类型；内插像素选择单元，用于基于缺陷像素的类型和表示缺陷像素是否包括在缺陷像素组中的确定结果，选择被确定为缺陷像素的像素的周边像素；内插值计算单元，用于基于所选的周边像素的值计算被确定为缺陷像素的像素的内插值；以及内插内插值替换单元，用于用计算得到的内插值替换被确定为缺陷像素的像素的值。同样，还提供了一种在成像装置中的处理方法和使计算机执行该方法的程序。因此，确定在通过成像器件拍摄的图像中的每个像素是否为缺陷像素，确定在缺陷像素组中是否包括被确定为缺陷像素的像素，以及确定在输入图像中的每个像素的类型。基于缺陷像素的类型和在缺陷像素组中是否包括缺陷像素，选择缺陷像素的周边像素。然后，基于所选周边像素的值计算缺陷像素的内插值，并且用计算得到的内插值替换缺陷像素的值。

缺陷像素存储单元可以存储包括在缺陷像素组中的一个缺陷像素的位置信息和像素缺陷信息。成像装置可以进一步包括：位置信息计算单元，用于基于存储在缺陷像素存储单元中的缺陷像素组中所包括的一个缺陷像素的位置信息，计算在包括缺陷像素的缺陷像素组中的其他缺陷像素的位置信息。缺陷像素确定单元可以基于存储在缺陷像素存储单元中的位置信息和计算得到的位置信息来确定在输入图像中的每个像素是否为缺陷像素。像素共有缺陷确定单元可以基于计算得到的位置信息确定在缺陷像素组中是否包括在缺陷像素组中。因此，基于包括在缺陷像素组中的一个缺陷像素的位置信息计算在缺陷像素组中的其他缺陷像素的位置信息，基于在缺陷像素存储单元中的位置信息和计算得到的位置信息来确定在输入图像中的每个像素是否为缺陷像素，以及基于计算得到的位置信息来确定缺陷像素是否包括在缺陷像素组中。

缺陷像素组可以为包括多个邻近缺陷像素的像素组。因此，校正了包括在缺陷像素组中的多个邻近缺陷像素。成像器件可以包括具有像素共有结构的像素组，以及缺陷像素组可以是其中包括在具有像素共有结构的像素组中的多个像素具有缺陷的像素组。因此，校正了包括在具有像素共有结构的像素组中的缺陷像素。在这种情况下，具有对角线像素阵列的滤色片被安装在成像器件的光接收单元，以及具有像素共有结构的像素组包括在对角线像素阵列中的4个邻近像素。因此，在通过设置有具有对角线像素阵列的滤色片的成像器件拍摄的图像中，校正了包括在包括对角线像素阵列中的4个邻近像素的缺陷像素组中的缺陷像素。

成像装置可以进一步包括：连续缺陷确定单元，用于基于被确定为缺陷像素的像素的位置信息来确定被确定为缺陷像素的像素的邻近像素是否为缺陷像素。内插像素选择单元可以基于缺陷像素的类型、表示在缺陷像素组中是否包括缺陷像素的确定结果和表示被确定为缺陷像素的像素的邻近像素是否为缺陷像素的确定结果，选择被确定为缺陷像素的像素的周边像素。因此，基于缺陷像素的位置信息确定了与缺陷像素邻近的像素是否为缺陷像素，并且基于缺陷像素的类型、缺陷像素是否包括在缺陷像素组中、以及与缺陷像素邻近的像素是否为缺陷像素来选择缺陷像素的周边像素。

根据本发明的另一个实施例，提供了一种缺陷像素校正装置，包括：缺陷像素存储单元，用于存储包括在成像器件中的多个像素中的缺陷像素的位置信息和表示包括多个缺陷像素的缺陷像素组是否包括与位置信息相关的缺陷像素的像素缺陷信息，位置信息与像素缺陷信息相关联；图像输入单元，用于输入通过成像器件拍摄的图像；缺陷像素确定单元，用于基于存储在缺陷像素存储单元中的位置信息来确定在输入图像中的每个像素是否为缺陷像素；像素共有缺陷确定单元，用于基于存储在缺陷像素存储单元中的像素缺陷信息来确定被确定为缺陷像素的像素是否包括在缺陷像素组中；像素类型确定单元，用于确定在输入图像中的每个像素的类型；内插像素选择单元，用于基于缺陷像素的类型和表示缺陷像素是否包括在缺陷像素组中的确定结果来选择被确定为缺陷像素的像素的周边像素；内插值计算单元，用于基于所选的周边像素的值来计算被确定为缺陷像素的像素的内插值；以及内插内插值替换单元，用于用计算得到的内插值替换被确定为缺陷像素的像素的值。同样，还提供了一种在缺陷像素校正装置中的处理方法和使计算机执行该方法的程序。因此，确定在通过成像器件拍摄的图像中的每个像素是否为缺陷像素，确定被确定为缺陷像素的像素是否包括在缺陷像素组中，以及确定在输入图像中的每个像素的类型。基于缺陷像素的类型和缺陷像素是否包括在缺陷像素组中，选择缺陷像素的周边像素。然后，基于所选周边像素的值来计算缺陷像素的内插值，并且用计算得到的内插值来替换缺陷像素的值。

根据本发明的实施例，能够适当校正包括在缺陷像素组中的每个缺陷像素。

附图说明

图1是示出了成像装置的功能结构的实例的框图；

图2是示出了相机信号处理器的功能结构的实例的框图；

图3示出了在使用具有所谓对角线像素阵列的滤色片的情况下的像素阵列的实例；

图4A～图4C示出了在具有对角线像素阵列的滤色片中的成像器件的像素共有结构的实例；

图5是示出了缺陷像素校正器的功能结构的实例的框图；

图6示意性示出了存储在缺陷像素地址存储单元中的缺陷像素地址信息；

图7是示出了缺陷像素确定单元的功能结构的实例的框图；

图8是示出了候选内插像素选择器的功能结构的实例的框图；

图9示意性示出了在缺陷像素不存在于缺陷R像素的邻近像素中的情况下的像素阵列的实例；

图10示意性示出了在包括缺陷R像素的像素组具有像素共有缺陷的情况下的像素阵列的实例；

图11示意性示出了在缺陷像素存在于缺陷G1像素在垂直方向的邻近像素中的情况下的像素阵列的实例；

图12示意性示出了在包括G1像素的像素组具有像素共有缺陷的情况下的像素阵列的实例；

图13示意性示出了在包括G1像素的像素组具有像素共有缺陷并且缺陷像素存在于G1像素在水平方向的邻近像素中的情况下的像素阵列的实例；

图14示意性示出了在与图13相同情况下的像素阵列的实例；

图15示意性示出了在与图13相同情况下的像素阵列的实例；

图16示意性示出了在缺陷像素存在于缺陷Gr像素在对角线方向的邻近像素中的情况下的像素阵列的实例；

图17示意性示出了在包括Gr像素的像素组具有像素共有缺陷的情况下的像素阵列的实例；

图18示意性示出了在与图17相同情况下的像素阵列的实例；

图19示意性示出了在与图17相同情况下的像素阵列的实例；

图20是示出图了通过成像装置执行的校正缺陷像素的处理程序的流程图；以及

图21是示出了通过成像装置执行的校正缺陷像素的处理程序的流程图。

具体实施方式

下文中，参照附图详细描述本发明的实施例。

图1是示出了根据本发明实施例的成像装置100的功能结构的实例的框图。成像装置100包括透镜110、发动机120、发动机驱动电路130、光圈140、驱动电路150、成像器件160、驱动电路170、前端(F/E)处理器180、信号处理器190和系统控制器195。

透镜110聚集来自光源的入射光和来自对象的反射光。发动机120根据从发动机驱动电路130输出的驱动信号而旋转，从而移动透镜110并调节对象的焦距和焦点位置。发动机驱动电路130生成驱动信号以使发动机120基于系统控制器195的控制而旋转，并将驱动信号输出至发动机120。发动机驱动电路130根据用户的定标操作来确定焦距(即，缩放位置)。

基于从驱动电路150输出的驱动信号，光圈140根据对象的亮度来调节光圈，并确定通过透镜110的光量(即，曝光)。驱动电路150生成驱动信号以基于系统控制器195的控制来调节光圈140，并将驱动信号输出至光圈140。

成像器件160基于从驱动电路170输出的驱动信号对通过光圈140的光学信号执行光电转换，并将通过光电转换生成的电荷信号输出至前端处理器180。成像器件160包括诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的器件。在本发明的实施例中，一个成像器件被用作成像器件160，并且具有所谓对角线像素阵列的滤色片被用作安装在成像器件的光接收单元上的滤色片。成像器件160具有像素共有结构，其中，构成像素的晶体管组的部分被4个邻近像素所共有。下面，参照图3和图4A～图4C详细描述具有对角线像素阵列和像素共有结构的滤色片。

基于系统控制器195的控制，驱动电路170生成成像器件160用于执行光电转换的驱动信号，并将驱动信号输出至成像器件160。

前端处理器180对从成像器件160输出的模拟电荷信号执行包括降噪和放大的处理，并将电荷信号转换成数字信号。前端处理器180包括CDS(相关双采样)单元181、AGC(自动增益控制)单元182和A/D转换器183。CDS单元181对输入信号执行采样，然后使采样后的信号保持在一定值。AGC单元182对输入信号进行放大。A/D转换器183将输入的模拟信号转换成数字信号。在本发明的实施例中，前端处理器180和成像器件160彼此分离。可选地，前端处理器180和成像器件160可以被放置在同一基板上。例如，可以使用所谓的列A/D成像传感器等。

信号处理器190基于来自系统控制器195的控制信号对通过前端处理器180转换成数字信号的对象的成像信号执行诸如AWB(自动白平衡)、AE(自动曝光)和AF(自动聚焦)的相机控制处理，并生成对象的视频信号(亮度信号和色差信号)。信号处理器190包括同步信号生成器191、相机信号处理器200、控制运算处理器192和清晰度转换器193。例如，通过集成电路(硬件)实现信号处理器190。可选地，能够通过使用计算机等以软件方式实现信号处理器190的完整或部分结构。

同步信号生成器191生成在水平和垂直方向上的同步信号和各种定时信号，并将所生成的同步信号输出至相机信号处理器200。

相机信号处理器200基于来自系统控制器195的控制信号来执行控制处理，并生成对象的视频信号。下面，参照图2详细描述相机信号处理器200。

控制运算处理器192基于来自系统控制器195的控制信号执行各种运算以控制对象的视频信号。

清晰度转换器193对从相机信号处理器200输出的对象的视频信号执行清晰度转换和失真校正。

系统控制器195控制成像装置100的每个单元。例如，通过CPU(中央处理单元)来实现系统控制器195。

图2是示出了相机信号处理器200的功能结构的实例的框图。相机信号处理器200包括相机信号预处理器210和相机信号后处理器220。

通过使用来自同步信号生成器191的各种同步信号，相机信号预处理器210对从前端处理器180输出的对象的成像信号执行由透镜110、光圈140和成像器件160导致的缺陷像素、阴影和噪声的各种校正处理，并且包括缺陷像素校正器300。缺陷像素校正器300校正由成像器件160的晶体缺陷等导致的缺陷像素。下面，参照图5详细描述缺陷像素校正器300。

当来自成像器件160的输入信号是由C(青)、M(紫红)、Y(黄)和G(绿)构成的互补色信号时，相机信号预处理器210对输入信号执行原色分离，从而将输入信号分成R(红)、G(绿)和B(蓝)的原色信号。因此，RGB信号被输入至相机信号后处理器220和控制运算处理器192。

相机信号后处理器220根据通过相机信号预处理器210处理的对象的成像信号来生成视频信号(亮度信号和色差信号)。通过相机信号后处理器220生成的视频信号被提供给清晰度转换器193。

图3示出了在使用所谓对角线像素阵列的滤色片作为成像器件160的滤色片的情况下的像素阵列的实例(参看第2005-107037号日本未审查专利公开申请)。在具有对角线像素阵列的滤色片中，G、R和B的比为6∶1∶1(另一方面，在拜尔阵列中，G、R和B的比为2∶1∶1)，并且像素阵列被旋转45度。在这个像素阵列中，G像素包括6种类型的相同颜色的像素G1～G4和Gr及Gb。Gr像素为存在于包括R像素的行中的G像素，以及Gb像素为存在于包括B像素的行中的G像素。G1～G4像素为存在于包括R像素的行与包括B像素的行之间的行中的G像素，并且每个号码为识别号码。图3和图4A～4C及图9～19示出了滤色片的对角线像素阵列的部分。需要注意，在这些图的每一个中，通过箭头501表示的方向(参看图3)(即，垂直轴顺时针旋转45°)被称作“上行方向”，以及通过箭头502表示的方向(即，垂直轴逆时针旋转45°)被称作“下行方向”。

如图3所示，R像素在水平和垂直方向上并不彼此邻近，而是每隔一个像素地排列。B像素也同样。在G像素中，具有相同颜色的G1～G4在水平和垂直方向上连续排列。关于G1和G4像素，在上行方向上的邻近像素为相同颜色的像素，而在下行方向上的邻近像素为不同颜色的像素。即，相同颜色的像素被每隔一个像素地排列。关于Gr和Gb像素，在水平和垂直方向上的邻近像素为不同颜色的像素，而在上行和下行方向上的邻近像素为相同颜色的像素。同样，相同颜色的像素在水平和垂直方向上以及上行和下行方向上被每隔一个像素地排列。

如上所述，每个像素具有相同颜色的周边像素。因此，如果缺陷像素存在于具有对角线像素阵列的滤色片中，则在本发明的实施例中，通过使用缺陷像素附近的相同颜色的像素来校正缺陷像素。下面，参照图9～图19详细描述用于校正缺陷像素的周边像素。

图4A～图4C示出了成像器件的像素共有结构的实例，其中，在具有对角线像素阵列的滤色片中，构成成像器件的像素的晶体管组的部分被4个邻近像素共有。图4A和图4B分别示意性示出了具有4像素共有结构的像素组503和504。图4C示意性示出了在使用具有4像素共有结构的成像器件的情况下的像素阵列的部分。

在图4A所示的像素组503中，Z字形图样的4个像素(开头的R像素、G1像素、Gb像素和G3像素)共有用作共有元件的晶体管组的部分。在图4B所示的像素组504中，Z字形图样的4个像素(开头的B像素、G4像素、Gr像素和G2像素)共有用作共有元件的晶体管组部分。图4C示出了包括像素组503和504的像素阵列的部分，其中，通过粗体线限定每个像素组。在图4C所示的像素阵列中，部分省略了像素组503的下部和像素组504的下部。

通过在成像器件中采用像素共有结构，成像器件的像素能够被小型化。近年来，为了成像装置的小型化，像素共有结构的使用已成为必备的技术。

但是，在具有像素共有结构的成像器件中，如果作为共有元件使用的放大晶体管发生故障，则共有故障晶体管的所有邻近像素都会变为缺陷像素。在本发明的实施例中，由像素共有结构导致的邻近像素的缺陷被称为“像素共有缺陷”。另一方面，在水平方向上的两个邻近像素之一具有缺陷的情况下的像素缺陷被称为“连续邻近像素缺陷”，并且在邻近像素中不存在缺陷的情况下的像素缺陷被成为“单个像素缺陷”。

图5是示出了缺陷像素校正器300的功能结构的实例的框图。缺陷像素校正器300包括行缓冲器307、周边像素参考单元308、计数器生成器310、缺陷像素地址存储单元320、缺陷像素确定单元330、候选内插像素选择器340、内插值计算器350和内插值替换单元360。

行缓冲器307是用于多行的行缓冲器，并且以行为单位来保持作为输入信号302输入的多行像素。

周边像素参考单元308从保存在行缓冲器307中的各行像素中依次读取待校正的对象像素和对象像素的周边像素。然后，周边像素参考单元308将所读取的对象像素作为输入信号305输出至候选内插像素选择器340和内插值替换单元360，并且还将周边像素作为输入信号304输出至候选内插像素选择器340。

计数器生成器310基于从同步信号生成器191输入的同步信号(水平和垂直同步信号)301生成水平和垂直方向的计数器值。每个所生成的计数器值表示拍摄图像平面上的坐标(地址)，其中，左上方的点为原点，以及右下方为正方向。计数器值由水平计数器值和垂直计数器值构成。计数器值作为输入信号371输入至缺陷像素确定单元330而作为输入信号311输入至周边像素参考单元308。因此，被输入至缺陷像素确定单元330的输入信号371与被输入至候选内插像素选择器340的输入信号304和被输入至内插值替换单元360的输入信号305同步。

缺陷像素地址存储单元320存储在成像器件160的制造处理期间或在成像装置100通电时所执行的成像器件160的缺陷像素检测处理中检测到的缺陷像素在拍摄图像的平面上的水平和垂直位置信息(缺陷像素地址信息)。缺陷像素地址存储单元320由诸如寄存器或存储器的存储器件构成。基于系统控制器195的控制，在缺陷像素地址存储单元320中预先存储缺陷像素地址信息。缺陷像素地址信息被作为输入信号372输入至缺陷像素确定单元330。下面，参照图6详细描述缺陷像素地址信息。

缺陷像素确定单元330将从计数器生成器310输入的计数器值与从缺陷像素地址存储器320输入的缺陷像素地址信息进行比较。即，如果计数器值与缺陷像素地址信息匹配，则缺陷像素确定单元330确定与该计数器值对应的像素为缺陷像素，并将关于这个像素的缺陷标记的内容输出至信号线375。如果计数器值与缺陷像素地址信息匹配并且如果包括在缺陷像素地址信息中的校正距离切换标记存储“1”，则缺陷像素确定单元330将表示被确定为缺陷像素的像素具有像素共有缺陷的像素共有缺陷标记的内容输出至信号线373。此外，缺陷像素确定单元330将关于在包括具有像素共有缺陷的缺陷像素的像素组中的其他缺陷像素的像素共有缺陷标记的内容输出至信号线373。如果计数器值和缺陷像素地址信息之间的比较结果表示连续缺陷像素，则缺陷像素确定单元330将连续缺陷标记的内容输出至信号线374。下面，参照图7详细描述缺陷像素确定单元330。

候选内插像素选择器340从包括从周边像素参考单元308输入的对象像素的周边像素中选择待内插的候选像素，并且将待内插的所选像素作为输入信号376输入至内插值计算器350。下面，参照图8详细描述候选内插像素选择器340。

内插值计算器350通过使用从候选内插像素选择器340输入的待内插的像素来计算内插值，并将计算得到的内插值作为输入信号378输出至内插值替换单元360。需要注意，从候选内插像素选择器340输入的待内插的像素数为2。通过计算2个像素的平均值来获取内插值。

内插值替换单元360基于从缺陷像素确定单元330输出的像素共有缺陷标记或缺陷标记的内容和从内插值计算器350输出的缺陷像素的内插值对缺陷像素执行内插值的替换。即，如果输入像素为缺陷像素，则内插值替换单元360用内插值来替换缺陷像素的值，并输出所得像素作为输出信号306。如果输入像素不是缺陷像素，则内插值替换单元360将作为输入信号305输入的输入像素作为输出信号306输出。因此，通过替换校正缺陷像素的值，能够抑制拍摄图像的质量的劣化。

图6示意性示出了存储在缺陷像素地址存储单元320中的缺陷像素地址信息400。缺陷像素地址信息400包括校正距离切换标记410、缺陷像素地址(垂直方向)420和缺陷像素地址(水平方向)430。

校正距离切换标记410表示与缺陷像素地址信息400对应的像素是否具有像素共有缺陷并且在最高有效位(MSB)处是否由1个比特构成。通过使用校正距离切换标记410，当输入像素具有像素共有缺陷时，能够适当选择候选内插像素。例如，当输入像素具有像素共有缺陷时，“1”被存储在校正距离切换标记410中。另一方面，当输入像素不具有像素共有缺陷时，“0”被存储在校正距离切换标记410中。在本发明的实施例中，如果在缺陷像素的检测期间检测到像素共有缺陷，则仅将具有像素共有结构的像素组的开头像素的缺陷像素地址信息存储在缺陷像素地址存储单元320中。具有像素共有结构的像素组的开头像素为如图4A所示包括R像素的像素组中的R像素，或者如图4B所示包括B像素的像素组中的B像素。同样，可以计算包括在具有像素共有结构的像素组中的其他缺陷像素的地址。例如，在图4A所示的开头像素为R像素的像素组中，当R像素的位置信息(地址)为R(X，Y)时，包括在这个像素组中的G1像素、Gb像素和G3像素的位置信息(地址)能够被分别计算为G1(X，Y+1)、Gb(X，Y+2)和G3(X，Y+3)。同样，能够以同样方式计算包括作为开头像素的B像素的像素组的位置信息。

如上所述，仅将在具有像素共有结构的像素组中的开头像素的缺陷像素地址信息存储在缺陷像素地址存储单元320中，并且根据开头像素的缺陷像素地址信息来计算其他缺陷像素的地址。因此，不但在像素组的开头像素中，还在该像素组的其他像素中校正了像素共有缺陷，而无需在缺陷像素地址存储单元320中存储该像素组的其他像素的地址信息。此外，通过使用这种方法，用作缺陷像素地址存储单元320的寄存器或存储器的资源能够减少，使得成像装置的尺寸、重量和成本都能够降低。

缺陷像素地址420是表示在坐标系中缺陷像素的垂直方向(Y坐标)上的位置信息的值，其中，在拍摄图像的平面上，左上方的点为原点，并且右下方为正方向。例如，通过n个比特来限定缺陷像素地址420。

缺陷像素地址430是表示在坐标系中缺陷像素的水平方向(X坐标)上的位置信息的值，其中，在拍摄图像的平面上，左上方的点为原点，并且右下向为正方向。例如，通过m个比特来限定缺陷像素地址430。

图7是示出了缺陷像素确定单元330的功能结构的实例的框图。缺陷像素确定单元330包括缺陷确定单元331、邻近像素地址计算器332、像素共有缺陷确定单元333、OR电路334和连续缺陷确定单元335。

缺陷确定单元331基于从计数器生成器310输出的计数器值和从缺陷像素地址存储单元320输入的缺陷像素地址信息来确定输入像素是否为缺陷像素。更具体地，如果来自计数器生成器310的计数器值与包括在缺陷像素地址信息400中的缺陷像素地址420和430相匹配，则缺陷确定单元331确定与计数器值对应的像素为缺陷像素，将表示缺陷像素的缺陷标记的内容输出至信号线375，并且还将缺陷像素地址输出至连续缺陷确定单元335。如果来自计数器生成器310的计数器值与缺陷像素地址420和430相匹配，并且如果包括在缺陷像素地址信息400中的校正距离切换标记410存储“1”，则缺陷确定单元331将表示上述情况的像素共有缺陷标记输出至OR电路334，并且还将包括在缺陷像素地址信息400中的缺陷像素地址420和430输出至邻近像素地址计算器332。

基于从缺陷确定单元331输出的缺陷像素地址420和430，邻近像素地址计算器332计算除如图4A和图4B所示的包括在具有像素共有结构的像素组中的开头像素之外的缺陷像素的地址，并且保存计算得到的地址。然后，邻近像素地址计算器332将其中所保持的地址输出至像素共有缺陷确定单元333。

基于除包括在具有邻近像素地址计算器332中所保存的像素共有结构的像素组中的开头像素之外的缺陷像素的地址和从计数器生成器310输出的计数器值，像素共有缺陷确定单元333确定输入像素是否具有像素共有缺陷。更具体地，如果在邻近像素地址计算器332中所保持的缺陷像素地址与从计数器生成器310输入的计数器值相匹配，则像素共有缺陷确定单元333确定与计数器值对应的像素具有像素共有缺陷，生成像素共有缺陷标记，并且将像素共有缺陷标记输出至OR电路334。例如，像素共有缺陷确定单元333输出“1”作为像素共有缺陷标记。

如果OR电路334从像素共有缺陷确定单元333和缺陷确定单元331中的至少一个中接收“1”作为像素共有缺陷标记，则OR电路334将像素共有缺陷标记“1”输出至信号线373。

连续缺陷确定单元335保持从缺陷确定单元331输出的缺陷标记，并根据缺陷标记是否被连续输入来确定连续缺陷像素是否存在。如果确定连续缺陷像素存在，则连续缺陷确定单元335生成连续缺陷标记，并将标记输出至信号线374。

图8是示出了候选内插像素选择器340的功能结构的实例的框图。候选内插像素选择器340包括像素类型确定单元341、周边像素提取器342和内插像素选择器343。

像素类型确定单元341确定作为输入信号305输入的对象像素的类型，并将所确定的像素类型输出至周边像素提取器342和内插像素选择器343。此处，待确定的像素类型包括R像素、B像素、G1～G4像素、Gb像素和Gr像素。

周边像素提取器342基于从像素类型确定单元341输入的像素类型从作为输入信号304输入的周边像素中提取多个像素，并将每个所提取的像素输出至内插像素选择器343。例如，如果对象像素的类型为G1～G4像素中的任一个，则提取在水平和垂直方向上与对象像素物理上邻近的各个像素和在水平和垂直方向上与邻近像素物理上最接近的各个像素。另一方面，如果对象像素的类型为Gr像素或Gb像素，则提取在对角线方向上与对象像素物理上邻近的各个像素和在水平和垂直方向上与目标像素邻近的像素物理上最接近的各个像素。此外，如果对象像素的类型为R像素或B像素，则提取在水平方向上与对象像素邻近的像素物理上最接近的各个像素。下面，参照图9～图19详细描述这些提取实例。

基于从像素类型确定单元341输出的对象像素的类型和从缺陷像素确定单元330输出的像素共有缺陷标记和连续缺陷标记的内容，内插像素选择器343从通过周边像素提取器342提取的多个像素中选择用于对象像素的内插像素。

例如，如果对象像素的类型为G1～G4像素中的任一个，并且如果像素共有缺陷标记和连续缺陷标记的内容都为“1”，则选择在水平方向上与对象像素的邻近像素物理上最接近的2个像素。另一方面，如果像素共有缺陷标记和连续缺陷标记的内容都不为“1”，则选择在水平方向上与对象像素物理上邻近的2个像素。

如果对象像素的类型为Gr像素或Gb像素，并且如果像素共有缺陷标记的内容为“1”，则选择在水平方向上与对象像素的邻近像素物理上最接近的2个像素。另一方面，如果像素共有缺陷标记的内容为“0”，则在选择两个对角线方向上与对象像素物理上邻近的4个像素中在一个对角线方向上的2个像素。

此外，如果对象像素的类型为R像素或B像素，则选择在水平方向上与对象像素的邻近像素物理上最接近的2个像素。以此方式，如果对象像素为R像素或B像素，则不需要考虑像素共有缺陷的影响。因此，不管像素共有缺陷标记和连续缺陷标记的内容来选择内插像素。

现在，参照附图详细描述通过候选内插像素选择器340提取和选择的周边像素。在图9～图19所示的像素阵列中，用虚线示出了缺陷像素，用粗体线示出了用于缺陷像素的作为内插像素提取的像素。用虚线限定具有像素共有缺陷的像素组。

图9示意性示出了在R像素为缺陷像素并且与R像素邻近的像素没有缺陷的情况下的像素阵列的实例。

在图9所示的像素阵列中，R像素510为单个缺陷像素，而作为在水平和垂直方向上与R像素510的邻近像素物理上最接近的相同颜色的像素的R像素511～514不是缺陷像素。就这种情况而言，当R像素510为单个缺陷像素时，提取作为周边相同颜色的像素的R像素511～514作为候选内插像素。在这种情况下，例如，从所提取的4个像素中选择水平方向上的R像素512和514作为内插像素。然后，计算所选的R像素512和514的平均值。然后，用计算得到的R像素512和514的平均值来替换缺陷像素510的值。可选地，可以从所提取的4个像素中选择垂直方向上的R像素511和513作为内插像素，并且可以用计算得到的R像素511和513的平均值来替换缺陷像素510的值。

图10示意性示出了在R像素为缺陷像素并且包括R像素的像素组具有像素共有缺陷的情况下的像素阵列的实例。

在图10所示的像素阵列中，包括R像素的像素组520具有像素共有缺陷，但是作为在水平和垂直方向上与在像素组520中所包括的R像素的邻近像素物理上最接近的相同颜色的像素的R像素521～524不是缺陷像素。在这种情况下，即使包括R像素的像素组520具有像素共有缺陷，作为周边相同颜色的像素的R像素521～524也不会受到影响，因此，与单个缺陷像素的情况相同，提取R像素521～524作为候选内插像素。内插像素的选择、平均值的计算和替换处理与单个缺陷像素的情况相同，因此，省略对应的描述。R像素被用作图9和图10的实例，但是，也可以将上面的描述应用于B像素，因此，省略对应的描述。

图11示意性示出了在G1像素为缺陷像素并且缺陷像素存在于G1像素在垂直方向上的邻近像素中的情况下的像素阵列的实例。

在图11所示的像素阵列中，G1像素530是缺陷像素，并且在垂直方向上与G1像素530邻近的G3像素531也是缺陷像素。就这种情况而言，当G1像素530为缺陷像素时，提取作为在水平和垂直方向上与G1像素530邻近的相同颜色的像素的G3像素531、G2像素532、G3像素533和G2像素534作为待内插的候选周边像素。

在所提取的4个像素中，G3像素531为缺陷像素，而在水平方向上的G2像素532和G2像素534不是缺陷像素。在这种情况下，从所提取的4个像素中选择水平方向上的G2像素532和G2像素534作为内插像素。然后，计算所选的G2像素532和G2像素534的平均值。然后，用计算得到的G2像素532和G2像素534的平均值来替换缺陷像素530的值。通过这种方式，即使G1像素为缺陷像素并且在水平和垂直方向上与G1像素邻近的任一个相同颜色的像素为缺陷像素，仍能够通过使用在水平和垂直方向中的任一个方向上的2个像素来计算平均值。

图12示意性示出了在包括G1像素的像素组540具有像素共有缺陷的情况下的像素阵列的实例。

在图12所示的像素阵列中，包括G1像素的像素组540具有像素共有缺陷。同样，在水平和垂直方向上与包括在像素组540中的G1像素物理上邻近的相同颜色的像素中，G3像素541、G2像素542和G2像素544不是缺陷像素，而包括在像素组540中的G3像素543为缺陷像素。就这种情况而言，当包括G1像素的像素组540具有像素共有缺陷时，作为邻近的相同颜色的像素的G3像素543为缺陷像素。因此，与单个缺陷像素的情况相同，提取G3像素541、G2像素542、G3像素543和G2像素544作为候选内插像素，但是，因为G3像素543为缺陷像素，所以从所提取的4个像素中选择水平方向上的G2像素542和G2像素544作为内插像素。平均值的计算和替换处理与上述单个缺陷像素的情况相同。因此，省略了对应的描述。通过这种方式，当包括G1像素的像素组具有像素共有缺陷时并且当除G3像素之外与G1像素邻近的相同颜色的像素不是缺陷像素时，能够选择内插像素而不会被像素共有缺陷直接影响。

图13示意性示出了在包括G1像素的像素组具有像素共有缺陷并且缺陷像素存在于在水平方向上与G1像素邻近的像素中的情况下的像素阵列的实例。

在图13所示的像素阵列中，包括G1像素的像素组550具有像素共有缺陷。而且，在水平和垂直方向上与包括在像素组550中的G1像素物理上邻近的相同颜色的像素中，G3像素551和G2像素552不是缺陷像素，而G2像素554和G3像素553(包括在像素组550中)为缺陷像素。就这种情况而言，当包括G1像素的像素组550具有像素共有缺陷时并且当与G1像素邻近的G2像素554为缺陷像素时，如果通过使用作为在垂直或水平方向上与G1像素邻近的相同颜色的像素的G3像素551和G3像素553或G2像素552和G2像素554计算平均值，则在计算中使用缺陷像素。在这种情况下，如图14或图15所示，能够通过使用在水平和垂直方向或对角线方向上与包括在像素组550中的G1像素的邻近像素物理上最接近的相同颜色的像素来计算平均值。

图14示意性示出了在与图13所示相同的情况下的像素阵列的实例。

如参照图13的以上描述，如果通过使用在水平和垂直方向上与包括在像素组550中的G1像素邻近的相同颜色的像素来计算平均值，则意味着使用缺陷像素进行计算。在这种情况下，如图14所示，通过使用作为在水平和垂直方向上与包括在像素组550中的G1像素的邻近像素物理上最接近的相同颜色的像素的G1像素555～558来计算平均值。即，提取作为周边相同颜色的像素的G1像素555～558作为候选内插像素。在这种情况下，从所提取的4个像素中选择在水平方向上的G1像素556和558作为内插像素，并且计算所选的G像素556和558的平均值。平均值的计算和替换处理与单个缺陷像素的情况相同，因此，省略对应的描述。可选地，可以从所提取的4个像素中选择在垂直方向上的G1像素555和557作为内插像素，并且可以用G1像素555和557的平均值替换缺陷像素的值。

图15示意性示出了在与图13所示相同的情况下的像素阵列的实例。

在这种情况下，如图15所示，通过使用作为在对角线方向上与包括在像素组550中的G1像素的邻近像素物理上最接近的相同颜色的像素的G4像素561～564来计算平均值。即，提取作为周边相同颜色的像素的G4像素561～564作为候选内插像素。在这种情况下，从所提取的4个像素中选择在下行方向上的G4像素561和563作为内插像素，并且计算所选的G4像素561和563的平均值。平均值的计算和替换处理与单独缺陷像素的情况相同，因此，省略了对应的描述。可选地，可以从所提取的4个像素中选择在上行方向上的G4像素562和564作为内插像素，并且可以用G4像素562和564的平均值来替换缺陷像素的值。在图11～图15中，G1像素用作实例，但是，上面的描述也可以被应用于G2～G4像素。省略了对应的描述。

图16示意性示出了在Gr像素为缺陷像素并且缺陷像素存在于在对角线方向上与Gr像素邻近的像素中的情况下的像素阵列的实例。

在图16所示的像素阵列中，Gr像素570为缺陷像素，并且在上行方向上与Gr像素570邻近的G4像素574也为缺陷像素。就这种情况而言，当Gr像素570为缺陷像素时，提取作为在对角线方向上邻近的相同颜色的像素的G3像素571、G1像素572、G2像素573和G4像素574，作为待内插的周边候选像素。

但是，在所提取的4个像素中的G4像素574为缺陷像素。在这种情况下，从所提取的4个像素中选择作为在下行方向上的相同颜色的像素的G3像素571和G2像素573作为候选内插像素。然后，计算所选的G3像素571和G2像素573的平均值。然后，用计算得到的G3像素571和G2像素573的平均值替换缺陷像素570的值。

图17示意性示出了在包括Cr像素的像素组具有像素共有缺陷的情况下的像素阵列的实例。

在图17所示的像素阵列中，包括Gr像素的像素组580具有像素共有缺陷，并且作为在对角线方向上与包括在像素组580中的Gr像素物理上邻近的相同颜色的像素的G3像素581和G1像素582不是缺陷像素。就这种情况而言，当包括Gr像素的像素组580具有像素共有缺陷时，如果通过使用作为在对角线方向上与Gr像素邻近的相同颜色的像素的G3像素581和G2像素583或G1像素582和G4像素584来计算平均值，则缺陷像素用于计算。在这种情况下，如图18或19所示，能够通过使用在水平和垂直方向或对角线方向上与包括在像素组580中的Gr像素的邻近像素物理上最接近的相同颜色的像素来计算平均值。

图18示意性示出了与图17所示相同的情况下的像素阵列的实例。

如参照图17的以上描述，如果通过使用在对角线方向上与包括在像素组580中的Gr像素邻近的相同颜色的像素来计算平均值，则意味着使用缺陷像素进行计算。在这种情况下，如图18所示，通过使用作为在水平和垂直方向上与包括在像素组580中的Gr像素的邻近像素物理上最接近的相同颜色的像素的Gr像素591～594来计算平均值。即，提取作为周边相同颜色的像素的Gr像素591～594作为候选内插像素。在这种情况下，从所提取的4个像素中选择在水平方向上的Gr像素592和594作为内插像素，并且计算所选的Gr像素592和594的平均值。平均值的计算和替换处理与单个缺陷像素的情况相同，因此，省略了对应的描述。可选地，可以从所提取的4个像素中选择在垂直方向上的Gr像素591和593来作为内插像素，并且可以用Gr像素591和593的平均值替换缺陷像素的值。

图19示意性示出了与图17所示相同情况下的像素阵列的实例。

在这种情况下，如图19所示，通过使用作为在对角线方向上与包括在像素组580中的Gr像素的邻近像素物理上最接近的相同颜色的像素的Gb像素595～598来计算平均值。即，提取作为周边相同颜色的像素的Gb像素595～598作为候选内插像素。在这种情况下，从所提取的4个像素中选择在下行方向上的Gb像素595和597作为内插像素，并且计算所选的Gb像素595和597的平均值。平均值的计算和替换处理与单单个陷像素的情况相同，因此，省略了对应的描述。可选地，可以从所提取的4个像素中选择在上行方向上的Gb像素596和598作为内插像素，并且可以用Gb像素596和598的平均值替换缺陷像素的值。在图16～图19中，Gb像素用作了实例，但是，上面的描述也可以被应用于Gr像素。省略了对应的描述。

如参照图9～图19的以上描述，通过选择在对角线像素阵列中的周边像素校正缺陷像素，能够抑制由于校正带来的拍摄图像的质量劣化。

下文中，参照附图描述根据本发明的实施例的成像装置100的操作。

图20和图21是示出了通过成像装置100执行的校正缺陷像素的处理程序的流程图。在下面所述的实例中，确定在待校正的缺陷像素的水平方向上的一个邻近像素是否为缺陷像素(连续邻近像素)，并基于确定结果选择内插像素。如果在待校正的缺陷像素的水平和垂直方向上的任一个周边相同颜色的像素都不是缺陷像素，则选择在水平方向上的相同颜色的像素。此外，如果在待校正的缺陷像素的对角线方向上的任一个周边相同颜色的像素都不是缺陷像素，则选择在下行方向上的相同颜色的像素。可以通过用户的操作来改变选择条件。

首先，输入像素(步骤S901)。然后，从缺陷像素地址存储单元320中读取缺陷像素地址信息(步骤S902)。然后，缺陷像素确定单元330将从计数器生成器310输出的计数器值与从缺陷像素地址存储单元320读取的缺陷像素地址信息进行比较，并确定对象像素是否为缺陷像素(步骤S903)。比较处理是通过缺陷确定单元331和像素共有缺陷确定单元333执行的。如果作为比较处理的结果，确定对象像素不是缺陷像素(步骤S903)，则不进行校正地输出对象像素(步骤S913)，并且缺陷像素校正处理结束。

另一方面，如果作为比较处理的结果，确定对象像素为缺陷像素(步骤S903)，则确定对象像素的类型(步骤S904)。如果对象像素的类型为G1～G4像素中的任一种(步骤S904)，则提取在水平和垂直方向上与缺陷像素物理上邻近的4个相同颜色的像素和与缺陷像素的邻近像素物理上最接近的4个相同颜色的像素(步骤S905)。然后，确定输入的缺陷像素是否具有像素共有缺陷，并且确定与输入的缺陷像素邻近的任一个像素是否为缺陷像素(步骤S906)。如果输入的缺陷像素具有缺陷像素共有缺陷并且如果与输入的缺陷像素邻近的任一个像素为缺陷像素(步骤S906)，则处理进行到步骤S911。

另一方面，如果输入的缺陷像素不具有像素共有缺陷或者如果与输入的缺陷像素邻近的任一个像素不为缺陷像素(步骤S906)，则从所提取的周边像素中选择在水平方向上与输入缺陷像素邻近的2个像素来作为内插像素(步骤S907)。

如果确定对象像素的类型为Gr像素或Gb像素(步骤S904)，则提取在对角线方向上与缺陷像素物理上邻近的4个相同颜色的像素和在水平和垂直方向上与缺陷像素的邻近像素物理上最接近的4个相同颜色的像素(步骤S908)。然后，确定输入的缺陷像素是否具有像素共有缺陷(步骤S909)。如果输入的缺陷像素具有像素共有缺陷(步骤S909)，则处理进行到步骤S911。

另一方面，如果输入的缺陷像素不具有像素共有缺陷(步骤S909)，则从所提取的周边像素中在对角线方向上与输入的缺陷像素邻近的4个像素中选择在下行方向上的两个像素作为内插像素(步骤S910)。

如果确定对象像素的类型为R像素或B像素(步骤S904)，则选择在水平方向上与输入的缺陷像素的邻近像素物理上最接近的2个相同颜色的像素作为内插像素(步骤S911)。

然后，计算所选的2个像素的平均值(步骤S912)。然后，用计算得到的平均值替换输入的缺陷像素的值，并输出已进行了替换处理的像素(步骤S915)。

可选地，如果输入的缺陷像素不具有像素共有缺陷或者如果与输入的缺陷像素邻近的任一个像素不是缺陷像素(步骤S906)，则可以对与在步骤S905中提取的周边像素中的缺陷像素物理上邻近的4个相同颜色的像素执行相关值确定处理，并且可以选择被确定为具有强相关性的平均值作为缺陷像素的内插值。更具体地，在与在步骤S905中提取的缺陷像素物理上邻近的4个相同颜色的像素中，计算在水平方向上的2个像素的平均值和微分绝对值(相关值)和在垂直方向上的2个像素的平均值和微分绝对值(相关值)，并且确定2个计算得到的微分绝对值中的较小值具有更强的相关性。然后，选择在与更强相关值对应的方向上的2个像素的平均值作为缺陷像素的内插值。同样，在步骤S904中确定输入的像素的类型为Gr像素、Gb像素、R像素或B像素的情况下，可以执行相关值确定处理，并且可以选择具有较强相关性的平均值作为缺陷像素的内插值。

在对象像素的类型为G1～G4像素中的任一种，对象像素具有像素共有缺陷，并且与对象像素邻近的任一个像素为缺陷像素的情况下(步骤S906)，可以在步骤S911中从与对象像素的邻近像素物理上最接近的相同颜色的像素中选择在任一对角线方向上的2个像素作为内插像素。

此外，在对象像素的类型为Gr像素或者Gb像素并且对象像素具有像素共有缺陷的情况下(步骤S906)，可以从与对象像素的邻近像素物理上最接近的相同颜色的像素中选择在任一对角线方向上的2个像素作为内插像素。可以预先设置这种选择。

在本发明的上述实施例中，通过连续缺陷确定单元335生成关于在水平方向上的邻近像素的连续缺陷标记。可选地，通过使用诸如D-FF的延迟元件，可以生成关于在水平方向上的连续邻近像素缺陷的连续缺陷标记。同样，通过执行计算在垂直方向上的邻近像素的地址的处理、扫描并读取来自缺陷像素地址存储单元320的在垂直方向上的邻近像素的缺陷像素地址信息的处理、以及将计算得到在垂直方向上的邻近像素的地址与所读取的在垂直方向上的邻近像素的缺陷像素地址信息进行比较的处理，能够生成关于在垂直方向上的连续邻近像素缺陷的连续缺陷标记。

在本发明的上述实施例中，单个成像器件用作了成像器件160。可选地，本发明的实施例可以被应用于包括3个成像器件的成像装置。当在这个成像装置中选择内插像素时，选择了空间相位接近的像素。

在本发明的上述实施例中，仅将在具有像素共有结构的像素组中的开头像素的缺陷像素地址信息存储在缺陷像素地址存储单元320中。可选地，可以将在具有像素共有结构的像素组中的每个像素的缺陷像素地址信息都存储在缺陷像素地址存储单元320中。

在本发明的上述实施例中，由像素共有结构带来的像素共有缺陷的实例被描述作为多个像素的邻近像素缺陷。可选地，本发明的实施例可以被应用于由另一个因素带来的邻近像素缺陷。

在本发明的上述实施例中，校正距离切换标记410表示缺陷像素是否具有像素共有缺陷。但是，校正距离切换标记410在被存储到缺陷像素地址存储单元320中时可以被任意设置，因此，能够被用作用于选择除像素共有缺陷之外的关于任意缺陷像素的内插像素的指示器。

在本发明的上述实施例中，已描述了像素共有结构的实例，像素共有结构共有了在具有对角线像素阵列的滤色片中构成了以4个像素为单位的成像器件的像素的晶体管组的部分。可选地，本发明的实施例能够被应用于另外数量的共有像素和另一种共有图样。

在本发明的上述实施例中，已描述了使用具有对角线像素阵列的滤色片的单个成像器件。可选地，本发明的实施例可以被应用于使用具有另一类型的像素阵列的滤色片的成像器件。

如上所述，根据本发明的实施例，通过使用包括校正距离切换标记410的缺陷像素地址信息400，候选内插像素选择器340选择用于缺陷像素的内插像素，以便能够适当校正由像素共有结构带来的邻近像素缺陷。即，对于多个邻近像素具有缺陷的邻近像素缺陷，并不通过使用与对象缺陷像素邻近的缺陷像素来计算内插值。因此，可以通过使用适当的内插值来进行校正，并且能够抑制校正图像的质量劣化。同样，能够适当校正连续邻近缺陷像素，并且能够适当校正包括在由多个缺陷像素构成的缺陷像素组中的每个缺陷像素。

内插值计算器350可以用于诸如单个像素缺陷、连续邻近像素缺陷和像素共有缺陷的所有类型的像素缺陷。因此，可以减小成像装置的尺寸、重量和成本。

此外，通过在缺陷像素确定单元330中设置邻近像素地址计算器332并且通过仅将具有像素共有结构的开头缺陷像素的缺陷像素地址信息存储在缺陷像素地址存储单元320中，可以减少用作缺陷像素地址存储单元320的寄存器或存储器的资源。此外，可以减小成像装置的尺寸、重量和成本。

作为用于计算内插值的内插像素，根据像素的类型来从多个候选内插像素中选择内插像素。因此，本发明的实施例还可以应用于使用了具有除对角线像素阵列之外的像素阵列的滤色片的成像器件，并且可以独立于滤色片的像素阵列的类型地灵活执行校正缺陷像素的处理。

此外，通过简单结构的硬件就能够实现本发明的实施例。因此，尽管在近来大量像素的趋势下，仍能执行实时的处理。同样，即使在以比通常成像速率更高的速率执行成像的高速率成像功能下，仍能够执行适当的缺陷校正处理。

如下所述，本发明的上述实施例仅是体现本发明的实例，并且在实施例中所述的元件与权利要求的指定特性具有对应性。然而，本发明并不限制于实施例，在不违背本发明的范围的情况下，可以进行各种修改。

例如，在权利要求中的成像装置对应于成像装置100。例如，在权利要求中的缺陷像素校正装置对应于缺陷像素校正器300。

例如，在权利要求中的缺陷像素存储装置对应于缺陷像素地址存储单元320。例如，缺陷像素确定装置对应于缺陷确定单元331。例如，像素共有缺陷确定装置对应于像素共有缺陷确定单元333。

例如，在权利要求中的图像输入装置对应于行缓冲器307。例如，像素类型确定装置对应于像素类型确定单元341。例如，内插值计算装置对应于内插值计算器350。例如，内插值替换装置对应于内插值替换单元360。

例如，在权利要求中的内插像素选择装置对应于内插像素选择器343。

例如，在权利要求中的位置信息计算装置对应于邻近像素地址计算器332。

例如，在权利要求中的连续缺陷确定装置对应于像素共有缺陷确定单元333。

例如，在权利要求中的输入图像对应于步骤S901。例如，确定每个像素是否为缺陷像素对应于步骤S903。例如，确定被确定为缺陷像素的像素是否包括在缺陷像素组中对应于步骤S906或S909。例如，确定每个像素的类型对应于步骤S904。例如，选择周边像素对应于步骤S907、S910或S911。例如，计算内插值对应于步骤S912。例如，替换值对应于步骤S914。

在本发明的实施例中所述的处理程序可以被视为包括一系列步骤的方法、或使计算机执行这一系列步骤的程序、或存储程序的记录介质。

Claims (11)

1.一种成像装置，包括：

缺陷像素存储装置，用于存储包括在成像器件中的多个像素中的缺陷像素的位置信息和表示包括多个缺陷像素的缺陷像素组是否包括与所述位置信息相关的所述缺陷像素的像素缺陷信息，所述位置信息与所述像素缺陷信息相关联；

图像输入装置，用于输入通过所述成像器件拍摄的图像；

缺陷像素确定装置，用于基于存储在所述缺陷像素存储装置中的所述位置信息确定所述输入图像中的每个像素是否为缺陷像素；

像素共有缺陷确定装置，用于基于存储在所述缺陷像素存储装置中的所述像素缺陷信息确定被确定为缺陷像素的所述像素是否包括在所述缺陷像素组中；

像素类型确定装置，用于确定所述输入图像中的所述每个像素的类型；

内插像素选择装置，用于基于所述缺陷像素的所述类型和表示所述缺陷像素是否包括在所述缺陷像素组中的确定结果，选择被确定为所述缺陷像素的所述像素的周边像素；

内插值计算装置，用于基于所选择的周边像素的值计算被确定为缺陷像素的所述像素的内插值；以及

内插值替换装置，用于用计算得到的内插值替换被确定为缺陷像素的所述像素的值。

2.根据权利要求1所述的成像装置，

其中，所述缺陷像素存储装置存储包括在所述缺陷像素组中的所述缺陷像素之一的所述位置信息和所述像素缺陷信息，

所述成像装置进一步包括：位置信息计算装置，用于基于存储在所述缺陷像素存储装置中的所述缺陷像素组中所包括的所述缺陷像素之一的所述位置信息，计算在包括所述缺陷像素的所述缺陷像素组中的其他缺陷像素的位置信息，

其中，所述缺陷像素确定装置基于存储在所述缺陷像素存储装置中的所述位置信息和所述计算得到的位置信息确定所述输入图像中的每个像素是否为缺陷像素，以及

其中，所述像素共有缺陷确定装置基于所述计算得到的位置信息来确定被确定为缺陷像素的所述像素是否包括在所述缺陷像素组中。

3.根据权利要求1所述的成像装置，

其中，所述缺陷像素组为包括多个邻近缺陷像素的像素组。

4.根据权利要求1所述的成像装置，

其中，所述成像器件包括具有像素共有结构的像素组，以及

其中，所述缺陷像素组是其中包括在具有所述像素共有结构的所述像素组中的多个像素具有缺陷的像素组。

5.根据权利要求4所述的成像装置，

其中，具有对角线像素阵列的滤色片被安装在所述成像器件的光接收单元上，以及

其中，具有所述像素共有结构的所述像素组包括所述对角线像素阵列中的4个邻近像素。

6.根据权利要求1所述的成像装置，进一步包括：

连续缺陷确定装置，用于基于被确定为缺陷像素的所述像素的所述位置信息来确定被确定为缺陷像素的所述像素的邻近像素是否为缺陷像素，

其中，所述内插像素选择装置基于所述缺陷像素的类型、表示在所述缺陷像素组中是否包括所述缺陷像素的确定结果和表示被确定为缺陷像素的所述像素的所述邻近像素是否为缺陷像素的确定结果，选择被确定为缺陷像素的所述像素的周边像素。

7.一种缺陷像素校正装置，包括：

缺陷像素存储装置，用于存储包括在成像器件中的多个像素中的缺陷像素的位置信息和表示包括多个缺陷像素的缺陷像素组是否包括与所述位置信息相关的所述缺陷像素的像素缺陷信息，所述位置信息与所述像素缺陷信息相关联；图像输入装置，用于输入通过所述成像器件拍摄的图像；缺陷像素确定装置，用于基于存储在所述缺陷像素存储装置中的所述位置信息确定所述输入图像中的每个像素是否为缺陷像素；

像素共有缺陷确定装置，用于基于存储在所述缺陷像素存储装置中的所述像素缺陷信息确定被确定为缺陷像素的所述像素是否包括在所述缺陷像素组中；

像素类型确定装置，用于确定所述输入图像中的所述每个像素的类型；

内插像素选择装置，用于基于所述缺陷像素的所述类型和表示所述缺陷像素是否包括在所述缺陷像素组中的确定结果，选择被确定为所述缺陷像素的所述像素的周边像素；内插值计算装置，用于基于所选的周边像素的值计算被确定为缺陷像素的所述像素的内插值；以及

内插值替换装置，用于用计算得到的内插值替换被确定为缺陷像素的所述像素的值。

8.一种成像装置中的缺陷像素校正方法，所述成像装置包括：缺陷像素存储装置，用于存储包括在成像器件中的多个像素中的缺陷像素的位置信息和表示包括多个缺陷像素的缺陷像素组是否包括与所述位置信息相关的所述缺陷像素的像素缺陷信息，所述位置信息与所述像素缺陷信息相关联，所述缺陷像素校正方法包括步骤：

输入通过所述成像器件拍摄的图像；

基于存储在所述缺陷像素存储装置中的所述位置信息确定所述输入图像中的每个像素是否为缺陷像素；

基于存储在所述缺陷像素存储装置中的所述像素缺陷信息确定被确定为缺陷像素的所述像素是否包括在所述缺陷像素组中；

确定所述输入图像中的所述每个像素的类型；

基于所述缺陷像素的所述类型和表示所述缺陷像素是否包括在所述缺陷像素组中的确定结果，选择被确定为所述缺陷像素的所述像素的周边像素；

基于所选的周边像素的值计算被确定为缺陷像素的所述像素的内插值；以及

用所述计算得到的内插值替换被确定为缺陷像素的所述像素的值。

9.一种使计算机在成像装置中执行以下步骤的程序，在成像装置中包括：缺陷像素存储装置，用于存储包括在成像器件中的多个像素中的缺陷像素的位置信息和表示包括多个缺陷像素的缺陷像素组是否包括与所述位置信息相关的所述缺陷像素的像素缺陷信息，所述位置信息与所述像素缺陷信息相关联：

输入通过所述成像器件拍摄的图像；

基于存储在所述缺陷像素存储装置中的所述位置信息确定在所述输入图像中的每个像素是否为缺陷像素；

基于存储在所述缺陷像素存储装置中的所述像素缺陷信息确定被确定为缺陷像素的所述像素是否包括在所述缺陷像素组中；

确定在所述输入图像中的所述每个像素的类型；

基于所述缺陷像素的所述类型和表示所述缺陷像素是否包括在所述缺陷像素组中的确定结果，选择被确定为所述缺陷像素的所述像素的周边像素；

基于所选的周边像素的值计算被确定为缺陷像素的所述像素的内插值；以及

用计算得到的内插值替换被确定为缺陷像素的所述像素的值。

10.一种成像装置，包括：

缺陷像素存储单元，用于存储包括在成像器件中的多个像素中的缺陷像素的位置信息和表示包括多个缺陷像素的缺陷像素组是否包括与所述位置信息相关的所述缺陷像素的像素缺陷信息，所述位置信息与所述像素缺陷信息相关联；

图像输入单元，用于输入通过所述成像器件拍摄的图像；

缺陷像素确定单元，用于基于存储在所述缺陷像素存储单元中的所述位置信息确定在所述输入图像中的每个像素是否为缺陷像素；

像素共有缺陷确定单元，用于基于存储在所述缺陷像素存储单元中的所述像素缺陷信息确定被确定为缺陷像素的所述像素是否包括在所述缺陷像素组中；

像素类型确定单元，用于确定在所述输入图像中的所述每个像素的类型；

内插像素选择单元，用于基于所述缺陷像素的所述类型和表示所述缺陷像素是否包括在所述缺陷像素组中的确定结果，选择被确定为所述缺陷像素的所述像素的周边像素；

内插值计算单元，用于基于所选的周边像素的值计算被确定为缺陷像素的所述像素的内插值；以及

内插值替换单元，用于用计算得到的内插值替换被确定为缺陷像素的所述像素的值。

11.一种缺陷像素校正装置，包括：

缺陷像素存储单元，用于存储包括在成像器件中的多个像素中的缺陷像素的位置信息和表示包括多个缺陷像素的缺陷像素组是否包括与所述位置信息相关的所述缺陷像素的像素缺陷信息，所述位置信息与所述像素缺陷信息相关联；

图像输入单元，用于输入通过所述成像器件拍摄的图像；

缺陷像素确定单元，用于基于存储在所述缺陷像素存储单元中的所述位置信息确定在所述输入图像中的每个像素是否为缺陷像素；

像素共有缺陷确定单元，用于基于存储在所述缺陷像素存储单元中的所述像素缺陷信息确定被确定为缺陷像素的所述像素是否包括在所述缺陷像素组中；

像素类型确定单元，用于确定在所述输入图像中的所述每个像素的类型；

内插像素选择单元，用于基于所述缺陷像素的所述类型和表示所述缺陷像素是否包括在所述缺陷像素组中的确定结果，选择被确定为所述缺陷像素的所述像素的周边像素；

内插值计算单元，用于基于所选的周边像素的值计算被确定为缺陷像素的所述像素的内插值；以及

内插值替换单元，用于通过计算得到的内插值替换被确定为缺陷像素的所述像素的值。

Images