CN101420537B - 能够进行高精度的缺陷像素修正处理的摄像装置 - Google Patents

Abstract

本发明提供一种能够进行高精度的缺陷像素修正处理的摄像装置，其对于由滤波器排列以矩阵2×2为基本排列的摄像部输出的图像信号，通过斑点修正电路实施规定的信号处理。所述斑点修正电路包括：依据邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围像素的信号，提取图像模式信息的模式提取电路；和根据所述图像模式信息，使用分别接近于所述判定像素并与所述判定像素同色的周围像素的信号置换所述判定像素的信号的置换电路。

Description

能够进行高精度的缺陷像素修正处理的摄像装置

相关申请的交叉引用

本申请基于并要求于2007年4月27日申请的在先日本专利申请No.2007-119929的优先权，其整体内容在此包括作为参考。

技术领域

本发明涉及摄像装置。更详细地说，涉及在照相机的手机、数码相机和摄像机等中使用的CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化半导体)型图像传感器。

背景技术

通常，图像传感器容易产生在制造过程中引起的白斑和黑斑。在使用了这种图像传感器的、RGB成对排列的单板照相机中，作为修正斑点像素信号的方法，已知有使用介质滤波器处理的置换处理(例如，特开2006-238060号公报(例如参见日本专利申请KOKAI公开No.2006-238060)或者特开平9-247548号公报(例如参见日本专利申请KOKAI公布No.09-247548))。该方法不使用存储器，而是实时地对斑点像素的信号进行修正。另外，到现在为止提案有在使用斑点像素周围的周围像素的平均值来置换斑点像素信号的方法(例如，特开2004-112736号公报(参见例如，日本专利申请KOKAI公开No.2004-112736)或者使用周围像素的最大值(最大电平信号)或最小值(最小电平信号)来置换斑点像素信号的方法(例如，特表2005-528857号公报(例如参见日本专利PCT申请公开No.2005-528857)。

但是，在上述方法的情况下，任何一个都无法辨别斑点像素是纵向图像模式中的斑点像素还是横向图像模式中的斑点像素。因此，或者是通过介质滤波器处理使用周围同色8个像素信号的中间值(中间电平信号)置换斑点像素的信号，或者是使用周围同色8个像素信号中的最大值或最小值来进行置换，或者，使用上下或者左右同色的2个像素的信号的平均值进行置换。所以，存在斑点像素解析度恶化，在图像模式的端部(边缘部分)容易发生误修正的问题。

发明内容

根据本发明的第一方面，提供了一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于：所述斑点修正电路包括：模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围像素的信号，提取图像模式信息；和置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号。

附图说明

图1是表示根据本发明第1实施例的摄像装置(CMOS型图像传感器)的构成例的框图。

图2A和2B是表示用于说明图1所示的CMOS型图像传感器中的斑点修正电路的邻接像素模式提取电路的动作的图。

图3A和3B是表示用于说明图1所示的CMOS型图像传感器中的斑点修正电路的斑点像素置换处理电路的动作的图。

图4A和4B是表示用于说明根据本发明第2实施例的邻接像素模式提取电路的动作的图。

图5A和5B是表示用于说明根据本发明第2实施例的斑点像素置换处理电路的动作的图。

图6是表示用于说明根据本发明第3实施例的斑点像素置换处理电路的动作的图。

图7A和7B是表示用于说明根据本发明第4实施例的邻接像素模式提取电路的动作的图。

图8是表示用于说明根据本发明第5实施例的邻接像素模式提取电路的动作的图。

图9是表示用于说明根据本发明第5实施例的斑点像素置换处理电路的动作的图。

图10是表示用于说明根据本发明第6实施例的邻接像素模式提取电路的动作的图。

图11是表示用于说明根据本发明第6实施例的斑点像素置换处理电路的动作的图。

图12是表示用于说明根据本发明第7实施例的邻接像素模式提取电路的动作的图。

图13是表示用于说明根据本发明第8实施例的邻接像素模式提取电路的动作的图。

图14是表示用于说明根据本发明第9实施例的邻接像素模式提取电路的动作的图。

图15是表示用于说明根据本发明第10实施例的邻接像素模式提取电路的动作的图。

图16是表示用于说明根据本发明第11实施例的邻接像素模式提取电路的动作的图。

图17是表示用于说明根据本发明第11实施例的邻接像素模式提取电路的另一例子的图。

图18是表示用于说明根据本发明第11实施例的邻接像素模式提取电路的进一步其他例子的图。

图19是表示用于说明根据本发明第12实施例的斑点修正电路的动作的流程图。

图20是表示用于说明根据本发明第12实施例的斑点修正电路的动作的图。

具体实施方式

本发明的实施例将参考附图进行说明。应当注意，附图是示意性的，在此所示的尺寸比例与实际的不同。这些尺寸依据附图的不同而不同，尺寸的比例也不同。下面的实施例目的在于说明用于实施本发明的技术原理的设备和方法，这些技术概念并不具体限定本发明的材料、形状、结构或元件的配置。在不脱离所要求发明的范围的情况下，可以对该技术原理作出各种变换和修改。

【第一实施例】

图1是表示根据本发明第一实施例的摄像装置的构成例的图。另外，在本实施例中，以CMOS型图像传感器为例进行说明。

在图1中，传感器部11具有彩色滤波器12、由多个像素(光电变换元件)以二维形状排列成的光电二极管矩阵(摄像部)13、和柱型模数转换器(ADC)14。彩色滤波器12将由透镜(摄像系)10聚集的光信号分离成RGB信号，并在光电二极管矩阵13上成像。光电二极管矩阵13针对每个像素将所成像的RGB信号变换成信号电荷传送给ADC14。ADC14将接收到的各个像素的信号电荷变换成数字信号(图像信号)，并输出给线性存储器21。另外，作为彩色滤波器12的色彩滤波器排列，设定为以矩阵2×2为基本的、RGB原色平行排列(正方形排列)。

线性存储器21例如具有垂直5行部分的存储器1～5，分别存储了传感器部11的输出信号(来自ADC14的图像信号)。线性存储器21将这5行部分图像信号提供给斑点修正电路31。

斑点修正电路31并行地取入来自线性存储器21的5行部分的图像信号，并使用来自电平设定电路41的阈值电平(噪声阈值)LevN来适宜地对图像信号进行缺陷像素修正处理。该斑点修正电路31由对作为判断像素的图像模式(模式信息)进行提取处理的相邻像素模式提取电路32、和检测斑点像素(缺陷像素)并对其进行置换处理的斑点像素置换处理电路33构成。即，在斑点修正电路31中，首先，通过相邻像素模式提取电路32使用与斑点像素相邻的良好像素(有效像素)的信号和与该像素同色的周围8个像素的信号，来提取出图像的模式。此后，对应于图像模式的提取结果，通过斑点像素置换处理电路33，例如使用与斑点像素同色的周围8个像素的信号来置换斑点像素的信号。

另外，所谓阈值电平LevN是适宜地设想了随机噪声等而设定的，为判断斑点像素时的基准。例如，在成为处理对象的像素的信号大于阈值LevN的情况下，就判定该像素为斑点像素(或者图像模式边缘部分)。

信号处理电路51对来自斑点修正电路31的输出实施众所周知的信号处理，例如白平衡处理、色分离补偿处理、轮廓强化处理、和伽马(γ)修正处理。另外，通过RGB矩阵电路生成YUV信号或RGB信号，并通过输出端子DOUT0～DOUT7向外部输出。

系统定时发生电路(SG)61根据来自外部的时钟信号MCK和/或来自命令控制电路71的命令控制传感器部11、线性存储器21、斑点修正电路31、和信号处理电路51。

命令控制电路71产生对应于经由外部通过串行接口(I/F)81所提供的数据DATA的命令，并控制线性存储器21、斑点修正电路31、电平设定电路41、信号处理电路51、和SG61的参数等。

图2A和2B是表示用于说明图1所示结构的图像传感器中的斑点修正电路31和相邻像素模式提取电路32的动作的图。在此，对图2A所示像素的排列(色滤波器的排列)，以R0为斑点像素、于其邻接的G0为良好像素的情况进行说明。

首先，使用与斑点像素R0邻接的、1个像素前的邻接像素G0的信号和与其周围同色的8个G像素(周围像素)G1～G8的各个信号，提取图像模式(在该例中，由于使G像素和R像素和B像素的像素间距一致，所以简化对其的处理)。

在此，与G像素邻接的R像素的信号几乎具有与G像素的信号相同的模式。利用这一点，图像模式的提取可以通过分别产生邻接像素G0的信号与其周围像素G1～G8的信号之间的差分信号的绝对值(ABS)，判断该差分信号的绝对值是否大于阈值电平LevN来执行。假如，在差分信号的绝对值比阈值电平LevN小的情况下，就判定其周围像素G1～G8的信号为具有与邻接像素G0相同电平的信号。通过与该邻接像素G0相同电平的信号相对于邻接像素G0处于上(Y01)/下(Y05)、左(Y07)/右(Y03)、右斜上(Y02)/左斜下(Y06)和右斜下(Y04)/左斜上(Y08)8个方向的哪个周围像素(G1～G8)的位置上，就可以抽出纵向图像模式或横向图像模式，或者斜向图像模式。

即，例如，图2A所示那样，在邻接像素G0的信号与其上方(Y01)的周围像素G1的信号之间的差分信号的绝对值G10(＝ABS(G1-G0))比阈值电平LevN小的情况下，判定其周围像素G1的信号与邻接像素G0的信号为相同电平(Y01＝1)。同样，例如，在邻接像素G0的信号与其下方(Y05)的周围像素G5的信号之间的差分信号的绝对值G50(＝ABS(G5-G0))比阈值电平LevN小的情况下，判定其周围像素G5的信号与邻接像素G0的信号为相同电平(Y05＝1)。同样，例如，在邻接像素G0的信号与其右斜上方(Y02)的周围像素G2的信号之间的差分信号的绝对值G20(＝ABS(G2-G0))比阈值电平LevN小的情况小，判定其周围像素G2的信号与邻接像素G0的信号为相同电平(Y02＝1)。同样，例如在邻接像素G0的信号与其左斜下方(Y06)的周围像素G6的信号之间的差分信号的绝对值G60(＝ABS(G6-G0))比阈值电平LevN小的情况下，判定其周围像素G6的信号与邻接像素G0的信号为相同电平(Y06＝1)。

同样，例如，在邻接像素G0的信号与其右方(Y03)的周围像素G3的信号之间的差分信号的绝对值G30(＝ABS(G3-G0))比阈值电平LevN小的情况下，判定其周围像素G3的信号与邻接像素G0的信号为相同电平(Y03＝1)。同样，例如在邻接像素G0的信号与其左方(Y07)的周围像素G7的信号之间的差分信号的绝对值G70(＝ABS(G7-G0))比阈值电平LevN小的情况下，判定其周围像素G7的信号与邻接像素G0的信号为相同电平(Y07＝1)。同样，例如，在邻接像素G0的信号与其右斜下方(Y04)的周围像素G4的信号之间的差分信号的绝对值G40(＝ABS(G4-G0))比阈值电平LevN小的情况下，判定其周围像素G4的信号与邻接像素G0的信号为相同电平(Y04＝1)。同样，例如在邻接像素G0的信号与其左斜上方(Y08)的周围像素G8的信号之间的差分信号的绝对值G80(＝ABS(G8-G0))比阈值电平LevN小的情况下，判定其周围像素G8的信号与邻接像素G0的信号为相同电平(Y08＝1)。

另一方面，例如，如图2B所示，在8个方向Y01～Y08全部的周围像素G1～G8的判定值为“0”的时候，根据OR电路(生成部)32a、32b、32c的输出(Pkiz(控制信号)＝0)判定为邻接像素G0为斑点像素，并执行后面所述的用于斑点修正的置换处理。

相反，在OR电路32a、32b、32c的输出为“Pkiz＝1”的时候，判定为邻接像素G0为良好像素。这样，为了记忆图像的模式，8个方向Y01～Y08的判定值作为模式信息Y1～Y8分别被存储在内部寄存器中(未图示)。

然后，对下面的像素，即斑点像素R0，重复执行上述处理。其结果，根据斑点R0以及其周围同色的8个R像素(周围像素)R1～R8的8个方向Y01～Y08的判定值为“Pkiz＝0”，则判定为斑点像素，那么就执行后面所述的用于斑点修正的置换处理。

图3A和3B是表示用于说明图1所示结构的图像传感器的斑点修正电路31的斑点像素置换处理电路33的动作的图。另外，在此，以R0作为斑点像素，将与该斑点像素R0同色的周围8个像素R1～R8的信号作为直接置换用数据R0’进行利用的情况进行说明。

在本实施例中，除了边缘部分之外，对于图像模式的平坦部分，通过平均化信号执行置换处理，从而降低了随机噪声。因此，例如图3A所示那样，通过纵向(Y01、Y05)的周围像素R1、R5的各个信号的平均值分别产生平均化信号A，通过横向(Y03、Y07)的周围像素R3、R7的各个信号的平均值分别产生平均化信号B，通过斜方向(Y02、Y06)的周围像素R2、R6的各个信号的平均值分别产生平均化信号C，通过横向(Y04、Y08)的周围像素R4、R8的各个信号的平均值分别产生平均化信号D，另外，通过周围8个像素R1～R8的各个信号的平均值分别产生平均化信号G。另外，分别产生平均化信号E作为平均化信号A、C的平均值(周围像素R1、R2、R5、R6各个信号的平均值)，平均化信号F作为平均化信号B、D的平均值(周围像素R3、R4、R7、R8的各个信号平均值)。

例如，如图3B所示那样，根据从邻接良好像素G0的信号求出的模式信息Y1～Y8，在信号选择电路中选择周围8个像素R1～R8各自的信号或者平均化信号A～G。通过对应于OR电路32a、32b、32c的输出(Pkiz＝0)来切换开关，将所选择的周围8个像素R1～R8的各个信号或平均化信号A～G作为置换用户数据R0’，并与斑点像素R0的信号置换。

即，斑点像素R0的信号被置换为对应于模式信息Y1～Y8的周围8个像素R1～R8各个信号或平均化信号A～G中的任何一个。例如，在模式信息Y1～Y8为『10000000』的情况下，判定为图像模式的边缘部分，斑点像素R0的信号被使用由周围像素R1的信号构成的置换用数据R0’置换。例如，在模式信息Y1～Y8为『11111111』的情况下，判定为图像模式的平坦部分，斑点像素R0的信号被使用由平均化信号G构成的置换用数据R0’置换。

这种处理，对于Gr像素、B像素、Gb像素的各个像素，也同样按照顺序执行。通过使用模式信息Y1～Y8，能够实现适合于像素模式的最佳置换处理。从而，可以防止噪声像素中的解析度的恶化。另外，还可以防止像素模式的边缘部分的误修正。

当然，判断为像素模式的平坦部分的斑点像素R0的信号不使用平均化的信号而是仅仅使用周围8个像素R1～R8的各个信号也可以进行置换。

如上所述，通过从邻接于判定像素即斑点像素的良好像素提取像素的模式信息，并执行对应于该像素模式的置换处理，可以实现高精度的缺陷像素修正处理。

【第二实施例】

图4A和4B和图5A和5B是表示用于说明按照本发明第二实施例的斑点修正电路31的动作的视图。在此，对能够降低斑点像素置换处理电路33的电路规模的结构的情况进行说明。另外，对于与第1实施例重复的部分，进行简单说明。

图4A和4B是表示用于说明斑点修正电路31中的邻接像素模式提取电路32的动作的视图。本实施例的邻接像素模式提取电路32例如图4A所示那样，在求得与邻接像素G0同色的周围8个像素G1～G8的各个信号的同时，还可以求上下(Y01)、左右(Y03)、和两个斜方向(Y02，Y04)4个方向上的模式信息(Y1＝Y01、Y2＝Y02、Y3＝Y03、Y4＝Y04)。

另外，对于纵向(上下)方向，假定以邻接像素G0的信号与上方向周围像素G1的信号之间的差分信号(绝对值)为G10，以邻接像素G0的信号和下方的周围像素G5的信号之间的差分信号(绝对值)为G50，来判定其大小关系。例如，在与差分信号G50相比差分信号G10小的情况下，将选择值P15置为“0”，在大的情况(包括等于的情况)下，将选择值P15设置为“1”。同样，对于横向(左右)方向和两个斜(附近×字)方向，也分别实施选择值P26、P37、P48为“0/1”的判定。

如果4个方向Y01～Y04全部的判定值为“0”，例如图4B所示那样，那么通过OR电路(生成部)32d的输出(Pkiz(控制信号)＝0)，判定邻接像素G0为判定像素即斑点像素。相反，在OR电路32d的输出“Pkiz＝1”的时候，为了记忆图像模式，4个方向Y01～Y04的判定值就分别作为模式信息Y1～Y4存储在内部寄存器(未图示)。

图5A和5B是表示用于说明斑点修正电路31中的斑点像素置换处理电路33的动作的视图。本实施例的斑点像素置换处理电路33例如图5A所示那样，为了降低电路规模，成为对应于选择值P15、P26、P37、P48，分别选择各个方向Y01、Y02、Y03、Y04的2个像素的信号中的任何一个的方式。

例如，基于根据斑点像素R0的信号上下方向的差分信号G10、G50中小的一方接近的判断，即使在例如图像模式为纵向条纹的时候，选择值P15选择周围像素R1、R5各个信号中较小的一方作为选择信号A。同样，选择值P26选择周围像素R2、R6各个信号中较小的一方作为选择信号B。同样，选择值P37选择周围像素R3、R7各个信号小的一方作为选择信号C。同样，选择值P48选择周围像素R4、R8各个信号中较小的一方作为选择信号D。

然后，在图像模式为纵向条纹和横向条纹或检测出四角的十字模式的时候，从选择信号A和选择信号B的平均值中产生平均化信号E。在图像模式为右斜线和左斜线或检测出旋转了45度的四角的交叉(×字)模式时，从选择信号C和选择信号D的平均值中产生平均化信号F。另外，对于图像模式的平坦部分，从平均化信号E和平均化信号F之间的平均值中产生平均化信号G。

选择信号A～D和平均化信号E～G例如在图5B所示那样，是在信号选择电路中，根据从邻接良好像素G0的信号中求得的模式信息Y1～Y4选择的。通过对应于OR电路32d的输出(Pkiz＝0)来切换开关该所选择的选择信号A～D和平均化信号E～G成为置换用数据R0’，并置换为斑点像素R0的信号。如此，即使在降低斑点像素置换处理电路33的电路规模的情况下，也能够在降低随机噪声的同时，通过置换数据R0’高精度地置换斑点像素R0。

在上述结构的情况下，能够降低电路的规模，同时也能够实现高精度的缺陷像素修正处理。

【第三实施例】

图6是表示用于说明根据本发明第三实施例的斑点修正电路31的斑点像素置换处理电路33的动作的视图。在本实施例中，对于构成为利用与图5A和5B所示方法不同的方法来进行斑点像素置换处理的情况进行说明。另外，对于与第二实施例重复的部分，省略其说明。

首先，准备对应于模式信息Y1～Y4的与作为判断像素的斑点像素R0同色的+字(Y01、Y03)方向和交叉(Y02、Y04)方向的周围8个像素R1～R8的各个信号。

下面，根据模式信息Y1～Y4，选择与斑点像素R0同色的+字方向的周围4像素各个的信号或交叉方向的周围4像素各个信号的任何一个作为置换数据R0’。但是，在模式信息Y1～Y4同时选择+字方向和交叉方向的情况下，使用距离斑点像素R0近的+字方向周围的4个像素R1，R3，R5，R7的信号。下面，按照电平(D5～D1)的大小顺序排列替换包含所选择的+字方向的周围4个像素的各个信号或交叉方向的周围的4个像素的各个信号和斑点像素R0的信号的5个像素部分的信号。

在此，判断具有对应于信号最小值D1的像素为黑斑点、对应于最大值D5的像素为白斑点的可能性，假定斑点像素R0的信号为除了最大值D5和最小值D1之外，中间值D2、D3、D4中的任何一个。简单地也可以选择中央值D3。

在该例中，为了降低随机噪声，将中间值D4和D3的差分信号(绝对值)作为Sub43，把平均化信号作为AVE43。同样，把中间值D3、D2的差分信号(绝对值)作为Sub32，把平均化信号为AVE32。然后，把在该差分信号Sub43、32中较小一方的平均值AVE43、AVE32作为置换数据R0’(＝Tdata)，并置换为斑点像素R0的信号。

另外，也可以将中间值D2、D3、D4的平均值作为置换数据R0’(＝Tdata)，并置换为斑点像素R0的信号。

在根据上述方法执行置换处理的结构的情况下，可以降低电路的规模，实现高精度的缺陷像素修正处理。

【第四实施例】

图7A和7B是表示用于说明根据本发明第四实施例的斑点修正电路31的动作的视图。在本实施例中，对于构成为能够使图4A和4B所示的邻接像素模式提取电路32的动作更简化的情况进行说明。另外，对于与第二实施例重复的部分，简单进行说明。

在本实施例的情况下，首先，判断邻接像素G0的信号和与其接近的同色的8个方向的周围像素G1～G8各个信号之间的差分信号(绝对值)G10、G20、G30、G40、G50、G60、G70、G80是否小于阈值电平LevN。

接着，在判断为比阈值LevN小的差分信号中，对于上下(Y01)方向、左右(Y03)方向、和两个斜(Y02、Y04)方向，分别根据优先顺序选择与邻接像素G0相同电平的信号。

即，将各个方向上的差分信号的某一方的优先顺序增加，针对每个方向，选择优先顺序高的一方的差分信号作为判断值。例如，在Y01方向上，在周围像素G1的信号被判定为与邻接像素G0的信号电平相同的情况下，将选择值P15置为“0”。与此相反，在判定周围像素G5的信号为与邻接像素G0的信号电平相同的情况下，将选择值P15置为“1”。例如，在使判定周围像素G5的信号与邻接像素G0的信号具有相同电平的结果优先的情况下，即使判定为周围像素G1的信号与邻接像素G0具有相同的电平而使选择值P15设置为“0”，在判定周围像素G5的信号与邻接像素G0的信号具有相同电平的情况下，将作为该选择值P15的“1”选择为判定值(Y01＝1)。

由此，按照分别求的模式信息Y1(＝Y01)、Y2(＝Y02)、Y3(＝Y03)、Y4(＝Y04)，如上所述那样，通过同样执行后面的斑点像素置换处理，能够简化模式提取处理，并能够实现高精度缺陷图像修正处理。

【第五实施例】

图8和图9是表示用于说明根据本发明第五实施例的斑点修正电路31的动作的视图。在本实施例中，说明不从与邻接像素G0的信号同色的周围8个像素的各自信号中提取图像模式，而仅从邻接像素G0的信号和纵向方向和横向方向和两个斜方向4个方向的周围像素的各个信号之间的相关中提取图像模式的情况。另外，对于说明重复的地方，不再进行详细说明。

图8是表示用于说明斑点修正电路31中的邻接像素模式提取电路32的动作的视图。本实施例的邻接像素模式提取电路32，例如在上下(Y01)方向，判断周围像素G1、G5的各个信号的平均值和邻接像素G0的信号之间的差分信号的绝对值是否比阈值电平LevN小。在小的情况小(Y01＝1)，能够判断为在纵方向上相关。同样，对于左右(Y02)方向和两个斜(Y03、Y04)方向上，判断有无相关。

在来自OR电路(生成部)32e的输出(控制信号Pkiz)的4个方向Y01～Y04的判定值任何一个为“1”的情况下(Pkiz＝1)，判定邻接像素G0不是判定像素即斑点像素，并将各个判定值作为模式信息(Y1＝01、Y2＝Y02、Y3＝Y03、Y4＝Y04)，并将其存储在内部寄存器(图中没有示出)。在4个方向Y01～Y04的判定值全部为“0”的情况(Pkiz＝0)的情况下，将邻接像素G0判断为斑点像素，如图9所示，通过斑点像素置换处理电路33实施斑点像素置换处理。

图9是表示用于说明斑点修正电路31中的斑点像素置换处理电路33的动作的视图。本实施例的斑点像素置换处理电路33依据所得到的模式信息Y1～Y4，通过选择对与斑点像素R0同色的周围8个像素R1～R8各个信号适当地进行平均化后的置换数据R0’，来置换处理斑点像素R0的信号。

例如，在上下方向存在相关的情况下(Y1＝1)，把周围像素R1、R5各个信号的平均值作为置换数据R0’，执行斑点像素R0的信号的置换处理。另外，例如，在上下方向和左右方向和两个斜方向上全部存在相关的情况下(Y1、Y2、Y3、Y4＝1)，将周围像素R1～R8的各个信号的平均值作为置换数据R0’，执行斑点像素R0信号的置换处理。

在本实施例结构的情况下，能够改善模式提取的精度，同时，通过适宜地平均化8个方向的周围像素的各个信号，可以降低随机噪声并能够降低置换数据R0’的噪声。

【第六实施例】

图10和图11是表示用于说明根据本发明第6实施例的斑点修正电路31的动作的视图。在本实施例中，说明不从与邻接像素G0的信号同色的周围像素的各个信号中抽出图像模式，而是通过判定邻接像素G0相对于+字方向的周围像素的相关性强、还是相对于交叉方向的周围像素的相关性强，来提取图像模式的情况。另外，对于说明重复的部分，省略详细的说明。

图10是表示用于说明斑点修正电路31中的邻接像素模式提取电路32的动作的视图。本实施例的邻接像素模式提取电路32首先对于上下方向，判定周围像素G1、G5各个信号的平均值和邻接像素G0的信号之间的差分信号的绝对值是否小于阈值电平LevN。在小的情况下，判定在纵方向上相关。另外，在左右方向上，同样也判定有无相关性。例如，如果判定为在上下方向和左右方向任何一方相关，那么就能够判定为存在相对+字方向的周围像素的相关性的+字模式。在此情况下，将+字方向Y01的判定值置为“1”。同样，对两个斜方向也判断有无相关性，在存在相对交叉方向周围像素的相关性的交叉模式的情况下，将交叉方向Y02的判定值置为“1”。

在来自OR电路(生成部)32f的输出(控制信号Pkiz)的+字方向Y01或交叉方向Y02的判定值任何一方为“1”的情况下，判断邻接像素G0不是判定像素即斑点像素，将各个判定值作为模式信息(Y1＝01、Y2＝Y02)存储在内部寄存器(未图示)。在+字方向Y01或交叉方向Y02的判定值同时为“0”的情况(Pkiz＝0)的情况下，将邻接像素G0判断为斑点像素，如图11所示，实施斑点像素置换处理电路33进行的斑点像素置换处理。

图11是表示用于说明斑点修正电路31中的斑点像素置换处理电路33的动作的视图。本实施例的斑点像素置换处理电路33根据所得到的模式信息Y1、Y2从与斑点像素R0同色的周围8个像素R1～R8的各个信号中选择+字方向的周围像素R1、R3、R5、R7或者交叉方向的周围像素R2、R4、R6、R8。例如，在只有模式信息Y1为“1”的情况下，可以选择+字方向的周围像素R1、R3、R5、R7。另外，例如，在只有模式信息Y2为“1”的情况下，可以选择交叉方向的周围像素R2、R4、R6、R8。但是，在模式信息Y1、Y2同时为“1”的情况下，选择距离斑点像素R0较近的+字方向的周围像素R1、R3、R5、R7。

此后的处理实施例如与图6所示的斑点像素置换处理相同的处理。这样，在能够降低电路规模的同时，实现高精度缺陷像素修正处理。

【第七实施例】

图12表示了用于说明根据本发明第7实施例的斑点修正电路31的邻接像素模式提取电路32的动作的视图。在本实施例中，根据与邻接像素G0同色的周围8个像素G1～G8的各个信号比邻接像素G0的信号是大还是小，对提取像素模式的情况进行说明。另外，对于说明重复的部分，省略详细的说明。

本实施例的邻接像素模式提取电路32首先判断判定像素即邻接像素G0是否为斑点像素。例如，通过比较邻接像素G0的信号和与其同色的周围8个像素G1～G8的各个信号，在邻接像素G0的信号成为包含周围像素G1～G8的各个信号的最大值(D5或C5)或者最小值(D1或者C1)的情况下，判定邻接像素G0为斑点像素。在为斑点像素的时候，控制信号Pkiz＝0，在不为斑点像素的时候控制信号Pkiz＝1。

然后，对邻接像素G0和其+字方向的周围像素G1、G3、G5、G7的5个像素信号按照电平大小顺序重新排列，除了最大值D5和最小值D1之外，求取中间值D4、D3、D2中的2个像素信号的差分信号(绝对值)Sub43D、Sub32D和平均化信号AVE43D、AVE32D。然后，以所述差分信号中较小的一方的平均值T+d1作为“AVE32D”。另外，将差分信号较大的一方的平均值T+d2作为“AVE43D”。

同样，对邻接像素G0和其交叉方向的周围像素G2、G4、G6、G8的5个像素信号按照电平大小顺序重新排列，除了最大值C5和最小值C1之外，求取中间值C4、C3、C2中的2个像素信号的差分信号(绝对值)Sub43C、Sub32C和平均化信号AVE43C、AVE32C。然后，以所述差分信号中较小的一方的平均值T×d1作为“AVE32C”。另外，将差分信号较大的一方的平均值T×d2作为“AVE43C”。

接着，通过在所求的较大一方的平均值T+d2、T×d2中，选择较小的一方或较大的一方，可以判定邻接像素G0与+字方向周围像素G1、G3、G5、G7或者交叉方向的周围像素G2、G4、G6、G8中哪一方的相关性更强。在判定为相对于+字方向的周围像素G1、G3、G5、G7的相关性较强的+字模式的情况下，将Y01方向的判定值置为“1”，将Y02方向的判定值置为“0”。相反，在判定为相对于交叉方向的周围像素G2、G4、G6、G8的相关性较强的交叉模式的情况下，将Y01方向的判定值置为“0”，将Y02方向的判定值置为“1”。

此后的处理，执行与例如图11所述的斑点像素置换处理相同的处理。由此，在能够降低电路规模的同时，可以实现高精度的缺陷像素修正处理。

另外，在图11所示的斑点像素置换处理电路33中也可以具有对应于模式信息Y1(＝Y01)、Y2(＝Y02)，单纯地选择+字方向的周围像素R1、R3、R5、R7或者交叉方向周围像素R2、R4、R6、R8中任何一方的信号的结构。

或者，简单来说，通过选择中间值D4-D2和中间值C4-C2的差分较小的一方，可以选择+字模式或者交叉模式。

【第八实施例】

图13是用于说明根据本发明第8实施例的斑点修正电路31的邻接像素模式提取电路32的动作的视图。在本实施例中，根据与邻接像素G0同色的周围8个像素G1～G8的各个信号比邻接像素G0的信号是大还是小，对提取像素模式的环境及其方法进行说明。另外，对于说明重复的部分，省略详细的说明。

本实施例的邻接像素模式提取电路32首先判断判定像素即邻接像素G0是否为斑点像素。例如，通过比较邻接像素G0的信号和与其同色的周围8个像素G1～G8的各个信号，在邻接像素G0为斑点像素的时候，设控制信号Pkiz＝0，在不为斑点像素的时候设控制信号Pkiz＝1。

然后，对邻接像素G0和其+字方向的周围像素G1、G3、G5、G7的5个像素信号按照电平大小顺序重新排列，求取中间值D3和邻接像素G0的信号之间的差分信号(绝对值)Sub+30。同样，对邻接像素G0和其交叉方向的周围像素G2、G4、G6、G8的5个像素信号按照电平大小顺序重新排列，求取中央值C3和邻接像素G0的信号之间的差分信号(绝对值)Sub×30。

接着，通过在所求的差分信号Sub+30、Sub×30中，选择较小的一方或者较大一方，可以判定与+字方向周围像素G1、G3、G5、G7或者交叉方向的周围像素G2、G4、G6、G8中哪一方的相关性更强。在判定为相对于+字方向的周围像素G1、G3、G5、G7的相关性较强的+字模式的情况下，将Y01方向的判定值置为“1”，将Y02方向的判定值置为“0”。相反，在判定为相对于交叉方向的周围像素G2、G4、G6、G8的相关性较强的交叉模式的情况下，将Y01方向的判定值置为“0”，将Y02方向的判定值置为“1”。

此后的处理，执行与例如图11所述的斑点像素置换处理相同的处理。由此，在能够降低电路规模的同时，可以实现高精度的缺陷像素修正处理。

另外，在图11所示的斑点像素置换处理电路33中也可以具有对应于模式信息Y1(＝Y01)、Y2(＝Y02)，单纯地选择+字方向的周围像素R1、R3、R5、R7或者交叉方向周围像素R2、R4、R6、R8中任何一方的信号的结构。

【第九实施例】

图14是用于说明根据本发明第9实施例的斑点修正电路31中的邻接像素模式提取电路32的动作的视图。在本实施例中，根据与邻接像素G0同色的周围8个像素G1～G8的各个信号比邻接像素G0的信号是大还是小，对提取像素模式的环境及其方法进行说明。另外，对于说明重复的部分，省略详细的说明。

本实施例的邻接像素模式提取电路32首先判断判定像素即邻接像素G0是否为斑点像素。例如，通过比较邻接像素G0的信号和与其同色的周围8个像素G1～G8的各个信号，在邻接像素G0为斑点像素的时候，设控制信号Pkiz＝0，在不为斑点像素的时候设控制信号Pkiz＝1。

然后，求得接近邻接像素G0的+字方向的周围像素G1、G3、G5、G7的4个像素信号的平均值。另外，求取该平均值与邻接像素G0的信号之间的差分信号(绝对值)Sub+30。同样求得接近邻接像素G0的交叉方向的周围像素G2、G4、G6、G8的4个像素信号的平均值。另外，求取该平均值与邻接像素G0的信号之间的差分信号(绝对值)Sub×30。

接着，通过在所求的差分信号Sub+30、Sub×30中，选择较小的一方或者较大一方，可以判定与+字方向周围像素G1、G3、G5、G7或者交叉方向的周围像素G2、G4、G6、G8中哪一方的相关性更强。在判定为相对于+字方向的周围像素G1、G3、G5、G7的相关性较强的+字模式的情况下，将Y01方向的判定值置为“1”，将Y02方向的判定值置为“0”。相反，在判定为相对于交叉方向的周围像素G2、G4、G6、G8的相关性较强的交叉模式的情况下，将Y01方向的判定值置为“0”，将Y02方向的判定值置为“1”。

此后的处理，执行与例如图11所述的斑点像素置换处理相同的处理。

在本实施例的情况下，由于不需要用于按照电平大小重新排列信号的电路，所以更进一步降低了电路的规模。另外，由于在模式提取中使用了4个像素部分信号的平均值，所以可以更进一步降低随机噪声，并实现高精度缺陷像素修正处理。特别是，与邻接像素G0信号电平相同的周围像素数目越多，差分信号越小，所以提高了差分信号的精度。

另外，在图11所示的斑点像素置换处理电路33中也可以具有对应于模式信息Y1(＝Y01)、Y2(＝Y02)，单纯地选择+字方向的周围像素R1、R3、R5、R7或者交叉方向周围像素R2、R4、R6、R8中任何一方的信号的结构。

【第十实施例】

图15是用于说明根据本发明第10实施例的斑点修正电路31中的邻接像素模式提取电路32的动作的视图。在本实施例中，为了提高模式提取的精度，对从与判定像素即斑点像素R0邻接的左右邻接像素G0、G3中提取图像模式的情况进行说明。另外，对于说明重复的部分，省略详细的说明。

本实施例的邻接像素模式提取电路32首先分别计算出斑点像素R0两边的邻接像素G0、G3的+字方向的周围4个像素的平均之间的差分信号(绝对值)Sub+30、Sub+31，并将这些差分信号中较小的一方置为Sub+min。同样，分别计算出邻接像素G0、G3的交叉方向的周围4个像素的平均值之间的差分信号(绝对值)Sub×30、Sub×31，并将该差分信号较小的一方置为Sub×min。

接着，通过在所求出的差分信号Sub+min、Sub×min中，选择较小的一方或者较大一方，可以判定与+字方向周围像素G1、G3、G5、G7或者G0、G2、G4、G10，或者交叉方向的周围像素G2、G4、G6、G8、或G1、G5、G9、G11哪一方的相关性较强。

在判定为相对于+字方向的周围像素G1、G3、G5、G7或者G0、G2、G4、G10的相关性较强的+字模式的情况下，将Y01方向的判定值置为“1”，将Y02方向的判定值置为“0”。相反，在判定为相对于交叉方向的周围像素G2、G4、G6、G8或者G1、G5、G9、G11的相关性较强的交叉模式的情况下，将Y01方向的判定值置为“0”，将Y02方向的判定值置为“1”。

此后的处理，执行与例如图11所述的斑点像素置换处理相同的处理。

另外，在图11所示的斑点像素置换处理电路33中也可以具有对应于模式信息Y1(＝Y01)、Y2(＝Y02)，单纯地选择+字方向的周围像素R1、R3、R5、R7或者交叉方向周围像素R2、R4、R6、R8中任何一方的信号的结构。

进一步，可以对邻接于斑点像素R0的上下邻接像素Gb的各个信号增加上述的模式提取处理。

当然，在上述第1～第10实施例中，通过增加用于模式提取的良好像素的数量，可以提高模式提取的精度。

【第十一实施例】

图16～图18是分别用于说明根据本发明第11实施例的斑点修正电路31中的邻接像素模式提取电路32的动作的视图。在本实施例中，说明在图像模式提取中，通过检查有无白斑和黑斑来检测判定像素即斑点像素。另外，对于说明重复的部分，省略详细的说明。

图16所示的邻接像素模式提取电路32首先判定邻接像素G0是否为斑点像素。例如，对邻接像素G0和其+字方向的周围像素G1、G3、G5、G7的5个像素信号按照电平大小重新排列(D5～D1)。同样，对邻接像素G0和其交叉方向的周围像素G2、G4、G6、G8的5个像素的信号按照电平大小进行重新排列(C5～C1)。

接着，判断所重新排列信号的最大值D5与其次大的中间值D4之间的差分信号的绝对值是否比阈值电平LevN更大，在大的情况下，判断持有最大值D5的像素有白斑的可能性。同样，通过判断最大值C5与其次大的中间值C4之间的差分信号的绝对值是否大于阈值电平LevN，在大的情况下，判断持有最大值C5的像素有白斑的可能性。如果根据2个差分信号的绝对值分别判定了有白斑的可能性，则最终AND电路32g的输出成为“1”，并判定为在+字方向的5个像素G0、G1、G3、G5、G7中存在白斑。

另外，判断所重新排列信号的最小值D1与其次大的中间值D2之间的差分信号的绝对值是否比阈值电平LevN更大，在大的情况下，判断持有最小值D1的像素有黑斑的可能性。同样，通过判断最小值C1与其次大的中间值C2之间的差分信号的绝对值是否大于阈值电平LevN，在大的情况下，判断持有最小值C1的像素有黑斑的可能性。如果根据2个差分信号的绝对值分别判定了有黑斑的可能性，则最终AND电路32h的输出成为“1”，并判定在交叉方向的5个像素G0、G2、G4、G6、G8中存在黑斑。

如此，如果检测出白斑或黑斑的至少一方，那么就将NOR电路32i的输出Pkiz(控制信号)置为“0”，并将邻接像素G0判断为斑点像素。

图17所示邻接像素模式提取电路32首先分别按照电平大小顺序重新排列邻接像素G0及其+字方向的周围像素G1、G3、G5、G7的5个像素的信号和邻接像素G0及其交叉方向周围像素G2、G4、G6、G8的5个像素的信号。

另外，判断所重新排列信号的最大值D5、C5的平均值及其次大中间值D4、C4的平均值之间的差分信号的绝对值是否大于阈值电平LevN，在大的情况下，判定持有最大值D5、C5的像素具有白斑。同样，判断最小值D1、C1的平均值及其次大中间值D2、C2的平均值之间的差分信号的绝对值是否大于阈值电平LevN，在大的情况下，判定持有最小值D1、C1的像素具有黑斑。

如此，如果检测出白斑或黑斑的至少一方，则NOR电路32j的输出Pkiz(控制信号)成为“0”，并将邻接像素G0判断为斑点像素。

图18所示邻接像素模式提取电路32首先分别按照电平大小顺序重新排列邻接像素G0及其+字方向的周围像素G1、G3、G5、G7的5个像素的信号和邻接像素G0及其交叉方向周围像素G2、G4、G6、G8的5个像素的信号。

另外，判断所重新排列信号的最大值D5、C5的差分信号的绝对值是否为“0”，在为“0”的情况下，判定持有最大值D5、C5的像素具有白斑。同样，判断最小值D1、C1的差分信号的绝对值是否为“0”，在为“0”的情况下，判定持有最小值D1、C1的像素具有黑斑。

如此，如果检测出白斑或黑斑的至少一方，则NOR电路32k的输出Pkiz(控制信号)成为“0”，并将邻接像素G0判断为斑点像素。

如上所述，根据本实施例，在任何一种结构中，都可以大幅简化用于判断斑点像素的电路。

【第12实施例】

图19是表示用于说明根据本发明第12实施例的斑点修正电路31的动作的视图。在本实施例中，对增加斑点像素置换处理，并进一步执行降低噪声的处理的情况进行说明。其中，对说明重复的部分，省略详细的说明。

本实施例的斑点修正电路31首先判断是否存在判定像素即斑点像素。在判断斑点像素中，例如，可以使用上述第7实施例(参照图12)所示的邻接像素模式提取电路32或者第11实施例(参照图16～18)所示的邻接像素模式提取电路32等。

接着，根据斑点像素的判断结果，执行图像模式提取或斑点置换、噪声降低的处理。在图像模式提取中，例如，可以使用上述第6实施例(参照图10)所示的邻接像素模式提取电路32、第7实施例(参照图12)所示的邻接像素模式提取电路32、第8实施例(参照图13)所示的邻接像素模式提取电路32，或者第9实施例(参照图14)所示的邻接像素模式提取电路32等。

接着，根据图像模式提取的结果，检测图像模式边缘部分，在没有检测到边缘部分的情况下，执行降低平坦部分噪声处理。图像模式边缘部分的检测和平坦部分噪声的降低例如图20所示，首先，从图像模式提取结果中选择+字模式或交叉模式。

以下，对选择+字模式的情况进行说明。在选择了+字模式的情况下，按照电平大小重新排列邻接像素G0和与其+字方向邻接的同色的周围4像素G1、G3、G5、G7的5个像素信号。然后，得到其最大值D5和最小值D1之间的差分信号(绝对值)Sub51。

接着，比较差分信号Sub51和阈值电平LevN，如果判定差分信号Sub51比较大，那么就判定邻接像素G0存在于图像模式的边缘部分。相反，如果判定差分信号Sub51比较小，那么就判定邻接像素G0存在于图像模式的平坦部分。

作为平坦部分噪声降低处理例如通过4倍化邻接像素G0的信号进行加重处理，计算出该4倍值和+字方向的周围4个像素G1、G3、G5、G7各个信号的平均化信号G0’。然后，将该平均化信号G0’与斑点像素R0的信号置换。

其中，作为平均化信号G0’也可以不用加重处理邻接像素G0的信号来计算出，并且可以任意设定用于加重处理的增益。

另外，除了按照大小顺序重新排列的信号的最大值D5和最小值D1之外，还可以根据中间值D4、D3、D2的平均化信号，置换斑点像素R0的信号。

一方面，在检测出图像模式的边缘部分的情况下，例如，通过使用图11所示的斑点像素置换处理电路33，在进行斑点像素置换处理的同时，能够降低边缘部分的随机噪声。

如此，在能够同时处理斑点像素置换处理和噪声降低处理的情况下，可以共用用于提取图像模式的电路和用于置换处理的电路，从而能够大幅降低电路的规模。

其中，在上述各个实施例中，对于任何一种情况，都以例子说明了将彩色滤波器的色滤波器排列进行成对排列的情况。然而，并不局限于此，例如，RGB的各像素以具有45度角度的滤波器排列(称为蜂窝排列)等情况也同样适用。

另外，不局限于CMOS型彩色图像传感器，也可以适用于黑白传感器。

另外，作为阈值电平LevN，通过使其相应于信号能量和/或模拟电路的增益等可变，可以进行最佳判定。例如，通过在低光量的时候将电路噪声赋予假定的值，在光量较高的情况下，通过合并散粒噪声，增大阈值电平LevN来进行控制。如此，可以实现有效抑制随机噪声的处理。

特别地，在执行由透镜10的光学特性所引起的散射修正处理的情况下，对于画面的中心，在接近上下端、左右端、角落部分等，通过数字增益来放大信号。由此增加了画面上下端、左右端、角落部分的随机噪声。因此，在合并了数字增益的情况下，如果在画面的上下端、左右端和角落部分控制得较大，那么就可以增大噪声抑制效果，并能够改善画质。

这样，通过相应于信号量、画面位置、色信息、增益信息等来变更各种阈值电平LevN，可以进行最佳斑点修正。

进而，并不局限于CMOS型的图像传感器，也可适用于CCD(电荷耦合设备)和层积型传感器。

对本领域熟练技术人员来说，很容易发现其他的优点，并且很容易进行修改。因此，本发明在其更宽的方面并不局限于在此所表示和说明的具体细节和代表性的实施例。相应地，在不脱离如在所附权利要求书和它们的等同物中所定义的总的发明构思的精神和范围的情况下，可以作出各种修改。

Claims (19)

1.一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于：

所述斑点修正电路包括：

模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的像素的信号，提取图像模式信息；和

置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号，

所述模式提取电路包括：

差分信号计算处理，用于计算出所述邻接像素的信号与其周围像素的各个信号之间的差分信号；和

电平判断处理，在所述差分信号小于规定的阈值电平的情况下，判断对应的周围像素的信号与所述邻接像素的信号为相同的电平；和

提取处理，根据所述邻接像素的哪一方向上存在具有与所述邻接像素的信号相同电平的信号的周围像素，提取给予所述置换电路的所述图像模式信息。

2.根据权利要求1所述的摄像装置，其特征在于：

所述滤波器排列为以矩阵2×2为基本的正方形排列。

3.根据权利要求1所述的摄像装置，其特征在于：

所述滤波器排列为以矩阵2×2为基本，并使该排列倾斜45度角度的蜂窝排列。

4.根据权利要求1所述的摄像装置，其特征在于：

所述模式提取电路还包括：

产生部，根据对各个周围像素的信号的所述电平判断处理的结果，产生用于控制所述置换电路的控制信号，

在判定为全部的周围像素的信号与所述邻接像素的信号不为相同电平的情况下，生成所述控制信号，并对所述邻接像素执行置换处理。

5.根据权利要求1所述的摄像装置，其特征在于：

所述模式提取电路通过提取所述邻接像素的上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的所述图像模式信息，控制所述置换电路。

6.根据权利要求5所述的摄像装置，其特征在于：

所述置换电路根据基于所述图像模式信息所选择的、分别接近所述判定像素的与所述判定像素同色的周围像素的信号，或分别接近所述判定像素的与所述判定像素同色的周围像素的信号的平均值，来置换所述判定像素的信号。

7.根据权利要求1所述的摄像装置，其特征在于：

所述模式提取电路通过提取所述邻接像素的上-下方向、左-右方向、左上-右下方向和右上-左下方向4个方向的所述图像模式信息，控制所述置换电路。

8.根据权利要求7所述的摄像装置，其特征在于：

所述模式提取电路进一步分别对所述4个方向判断所述邻接像素的信号和对应的周围像素的2个信号之间的差分信号的大小关系而求选择值，

所述置换电路根据所述选择值分别对所述4个方向，选择所述差分信号较小的一方的上述周围像素的1个信号作为选择信号，进而在图像模式为+字模式时，从所述上-下方向的选择信号和所述右上-左下方向的选择信号的平均值中产生第1平均化信号，在所述图像模式为×字模式时，从所述左-右方向的选择信号和所述左上-右下方向的选择信号的平均值中产生第2平均化信号，对于所述图像模式的平坦部分，从所述第1平均化信号和第2平均化信号的平均值中产生第3平均化信号，根据基于所述4个方向的图像模式信息所选择的所述选择信号和所述平均化信号，来置换所述判定像素的信号。

9.根据权利要求7所述的摄像装置，其特征在于：

所述置换电路根据基于所述图像模式信息所选择的、分别接近所述判定像素的与所述判定像素同色的周围像素的信号的平均值，来置换所述判定像素的信号。

10.根据权利要求7所述的摄像装置，其特征在于：

所述置换电路按照大小顺序重新排列所述判定像素的1个信号和基于所述图像模式信息所选择的、分别接近所述判定像素的+字方向的与所述判定像素同色的周围像素的4个信号或者分别接近所述判定像素的×字方向的与所述判定像素同色的周围像素的4个信号，在所述按照大小顺序重新排列的所述判定像素的1个信号和所述周围像素的4个信号中，除了最大值和最小值之外，在作为其他中间值的3个信号中，由电平大的2个信号计算出第1平均化信号和第1差分信号，并且由电平小的2个信号计算出第2平均化信号和第2差分信号，判定所述第1差分信号和所述第2差分信号的大小关系，在所述第2差分信号大于所述第1差分信号的情况下，利用所述第1平均化信号置换所述判定像素的1个信号，在所述第1差分信号大于所述第2差分信号的情况下，利用所述第2平均化信号置换所述判定像素的1个信号。

11.根据权利要求7所述的摄像装置，其特征在于：

所述模式提取电路进一步分别对所述4个方向，判断所述邻接像素的信号和对应的周围像素的2个信号的差分信号是否小于规定的阈值电平而求选择值，

所述置换电路根据所述选择值分别对所述4个方向，选择所述差分信号小的一方的所述周围像素的1个信号作为选择信号，进而在图像模式为+字模式时，从所述上-下方向的选择信号和所述右上-左下方向的选择信号的平均值中产生第1平均化信号，在所述图像模式为×字模式时，从所述左-右方向的选择信号和所述左上-右下方向的选择信号的平均值中产生第2平均化信号，对于所述图像模式的平坦部分，从所述第1平均化信号和第2平均化信号的平均值中产生第3平均化信号，根据基于所述4个方向的图像模式信息所选择的所述选择信号和所述平均化信号，来置换所述判定像素的信号。

12.根据权利要求7所述的摄像装置，其特征在于：

所述模式提取电路进一步分别对所述4个方向根据对应的周围像素的2个信号的平均值与所述邻接像素的信号之间的差分信号是否小于规定的阈值电平来判断所述4个方向是否有相关性。

13.一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于：

所述斑点修正电路包括：

模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的像素的信号，提取图像模式信息；和

置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号，

所述模式提取电路分别对所述邻接像素的上-下方向、左-右方向、左上-右下方向和右上-左下方向的4个方向，根据对应的周围像素的2个信号的平均值和所述邻接像素的信号之间的差分信号是否小于规定的阈值电平，来判断关于所述上-下方向和所述左-右方向的+字方向与所述左上-右下方向和右上-左下方向的×字方向的2个方向有无相关性，通过提取关于所述2个方向的所述图像模式信息，控制所述置换电路。

14.一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于：

所述斑点修正电路包括：

模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的像素的信号，提取图像模式信息；和

置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号，

所述模式提取电路按照大小顺序重新排列所述邻接像素的1个信号和分别接近所述邻接像素的+字方向的与所述邻接像素同色的周围像素的4个信号，在所述按照大小顺序重新排列的所述邻接像素的1个信号和所述周围像素的4个信号中，除了最大值和最小值之外，在作为其他中间值的3个信号中，由电平大的2个信号计算出第1平均化信号和第1差分信号，并且由电平小的2个信号计算出第2平均化信号和第2差分信号，在所述第2差分信号的一方小于所述第1差分信号的情况下，选择所述第1平均化信号，

按照大小顺序重新排列所述邻接像素的1个信号和分别接近所述邻接像素的×字方向的与所述邻接像素同色的周围像素的4个信号，在所述按照大小顺序重新排列的所述邻接像素的1个信号和所述周围像素的4个信号中，除了最大值和最小值之外，在作为其他中间值的3个信号中，由电平大的2个信号计算出第3平均化信号和第3差分信号，并且由电平小的2个信号计算出第4平均化信号和第4差分信号，在所述第4差分信号的一方小于所述第3差分信号的情况下，选择所述第3平均化信号，

通过选择所述第1平均化信号或所述第3平均化信号较小的一方或者较大的一方，判断关于所述+字方向和所述×字方向的2个方向有无相关性，通过提取关于所述2个方向上的所述图像模式信息，来控制所述置换电路。

15.一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于：

所述斑点修正电路包括：

模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的像素的信号，提取图像模式信息；和

置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号，

所述模式提取电路按照大小顺序重新排列所述邻接像素的1个信号和分别接近所述邻接像素的+字方向的与所述邻接像素同色的周围像素的4个信号，根据作为所述按照大小顺序重新排列的所述邻接像素的1个信号以及所述周围像素的4个信号的中央值的1个信号与所述邻接像素的1个信号求得第1差分信号，

按照大小顺序重新排列所述邻接像素的1个信号和分别接近所述邻接像素的×字方向的与所述邻接像素同色的周围像素的4个信号，根据作为所述按照大小顺序重新排列的所述邻接像素的1个信号以及所述周围像素的4个信号的中央值的1个信号与所述邻接像素的1个信号求得第2差分信号，

通过选择所述第1差分信号或所述第2差分信号较小的一方或者较大的一方，判断关于所述+字方向和所述×字方向的2个方向有无相关性，通过提取关于所述2个方向的所述图像模式信息，来控制所述置换电路。

16.一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于：

所述斑点修正电路包括：

模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的像素的信号，提取图像模式信息；和

置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号，

所述模式提取电路根据所述邻接像素的1个信号和分别接近所述邻接像素的+字方向的与所述邻接像素同色的周围像素的4个信号求得第1平均化信号，并且根据所述第1平均化信号和所述邻接像素的1个信号计算出第1差分信号，

根据所述邻接像素的1个信号和分别接近所述邻接像素的×字方向的与所述邻接像素同色的周围像素的4个信号求得第2平均化信号，并且根据所述第2平均化信号和所述邻接像素的1个信号计算出第2差分信号，

通过选择所述第1差分信号或所述第2差分信号较小的一方或者较大的一方，判断关于所述+字方向和所述×字方向的2个方向有无相关性，通过提取关于所述2个方向的所述图像模式信息，来控制所述置换电路。

17.一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于：

所述斑点修正电路包括：

模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的像素的信号，提取图像模式信息；和

置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号，

所述模式提取电路根据分别接近所述邻接像素的+字方向的与所述邻接像素同色的周围像素的4个信号求得第1平均化信号，并且根据所述第1平均化信号和所述邻接像素的1个信号计算出第1差分信号，

根据分别接近所述邻接像素的×字方向的与所述邻接像素同色的周围像素的4个信号求得第2平均化信号，并且根据所述第2平均化信号和所述邻接像素的1个信号计算出第2差分信号，

通过选择所述第1差分信号或所述第2差分信号较小的一方或者较大的一方，判断关于所述+字方向和所述×字方向的2个方向有无相关性，通过提取关于所述2个方向的所述图像模式信息，来控制所述置换电路。

18.一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于：

所述斑点修正电路包括：

模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的像素的信号，提取图像模式信息；和

置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号，

所述模式提取电路根据分别接近与所述判定像素邻接的第1邻接像素的+字方向的与所述第1邻接像素同色的周围像素的4个信号求得第1平均化信号，并且根据所述第1平均化信号和所述第1邻接像素的1个信号计算出第1差分信号，

根据分别接近与所述判定像素邻接的第2邻接像素的+字方向的与所述第2邻接像素同色的周围像素的4个信号求得第2平均化信号，并且根据所述第2平均化信号和所述第2邻接像素的1个信号计算出第2差分信号，

选择所述第1差分信号或所述第2差分信号较小的一方作为第3差分信号，并且，

根据分别接近与所述判定像素邻接的第1邻接像素的×字方向的与所述第1邻接像素同色的周围像素的4个信号求得第3平均化信号，并且根据所述第3平均化信号和所述第1邻接像素的1个信号计算出第4差分信号，

根据分别接近与所述判定像素邻接的第2邻接像素的×字方向的与所述第2邻接像素同色的周围像素的4个信号求得第4平均化信号，并且根据所述第4平均化信号和所述第2邻接像素的1个信号计算出第5差分信号，

选择所述第4差分信号或所述第5差分信号较小的一方作为第6差分信号，

通过选择所述第3差分信号或所述第6差分信号较小的一方或者较大的一方，判断关于所述+字方向和所述×字方向的2个方向有无相关性，通过提取关于所述2个方向的所述图像模式信息，来控制所述置换电路。

19.一种摄像装置，二维地配置了由光电变换元件构成的多个像素，对于由滤波器排列以矩阵2×2为基本排列的摄像部分别输出的图像信号，通过斑点修正电路实施规定的信号处理，所述摄像装置的特征在于：

所述斑点修正电路包括：

模式提取电路，依据所述图像信号中邻接判定像素的邻接像素的信号和分别与所述邻接像素接近并与所述邻接像素同色的周围上方、下方、左方、右方、左上方、左下方、右上方和右下方8个方向的像素的信号，提取图像模式信息；和

置换电路，根据与所述图像模式信息相对应的、分别接近所述判定像素并与所述判定像素同色的周围像素的信号，置换所述判定像素的信号，

所述模式提取电路执行如下处理：

差分信号计算处理，在所述判定像素的信号比其周围像素的各个信号的最大值大的情况下或者比最小值小的情况下，将所述判定像素判断为缺陷像素，计算出所述邻接像素的信号和与所述邻接像素的信号在+字方向上邻接的周围像素的各个信号的差分信号、以及计算出所述邻接像素的信号和与所述邻接像素的信号在×字方向邻接的周围像素的各个信号的差分信号；

相关性判定处理，根据所述差分信号的计算结果，判断对于所述邻接像素的+字方向的周围像素和×字方向的周围像素的相关性；和

生成处理，根据所述相关性判定处理的结果，生成用于控制所述置换电路的控制信号。

Images