CN100431340C - 固态成像设备 - Google Patents

Abstract

一种固态成像设备包括：缺陷像素检测器(8)，用于从由帧读取固态图像拾取元件(2)输出的信号中，抽取用于将对其作出确定的目标像素的像素数据和其外围像素的像素数据，并且用于利用从与目标像素相同的滤波器中的外围像素中选择的像素的像素数据，来确定目标像素是否是缺陷像素；以及缺陷像素校正单元(9)，用于利用外围像素的像素数据，来校正缺陷像素的像素数据。通过此配置，缺陷像素的输出信号可以被校正而不会将缺陷像素产生的影响扩散到外围像素，并且可以显示自然的图像。

Description

固态成像设备

技术领域

本发明涉及具有用于摄像机的固态(solid-state)图像拾取元件的固态成像设备，尤其涉及具有用于校正信号的校正装置的固态成像设备，所述信号由用于缺陷像素(defective pixel)的固态图像拾取元件输出。

背景技术

图10是示出具有缺陷像素校正功能的常规固态成像设备的配置的图，所述常规固态成像设备在日本专利公告No.Hei.5-41868中公开。在常规固态成像设备中，图像数据通过透镜101被帧读取(frame-reading)图像拾取元件检测。获得的图像信号被预处理器103预处理，并且所产生的信号被A/D转换器104转换为数字图像信号。

此数字图像信号被1H延迟电路105延迟一个水平扫描周期，并还被1H延迟电路106延迟一个水平扫描周期(总和为两个水平扫描周期)。由A/D转换器104输出的数字图像信号、延迟了一个水平扫描周期的数字图像信号、以及延迟了两个水平扫描周期的数字图像信号被传输到彩色信号处理器1 07以产生彩色信号，并且也为了滤波而被分别传输到数字低通(low-pass)滤波器108、109和110。

已经被滤波的三个图像信号被传输到缺陷像素检测器111，以检测缺陷像素，并且被与阈值112比较。缺陷像素校正电路113接收这三个被滤波的图像信号和被缺陷像素检测器111获得的缺陷像素检测信号，校正用于缺陷像素的像素信号，并且将图像信号输出到其后产生亮度信号的亮度信号处理器114。

常规缺陷像素检测器111从图像信号中抽取用于对其判定将被作出的像素的像素数据和邻近的外围像素的像素数据，并且为这些像素执行加法/减法程序或比较以计算投影值(projection value)(用于目标像素的像素数据和用于外围像素的像素数据之间的差)。缺陷像素检测器111随后比较投影值与阈值112，以确定目标像素是否有缺陷。

从被帧读取固态图像拾取元件102读取的像素数据中，常规固态成像设备将用于被滤波器108、109和110输出的两个垂直像素的数据相加，还将用于两个水平像素的数据相加，以获得亮度信号。随后，缺陷像素校正装置利用外围像素数据校正用于被确定有缺陷的像素的像素数据。因此，由缺陷像素产生的影响扩散到用于外围像素的像素数据，并且因此对缺陷像素正确检测和校正像素数据是不可能的。

发明内容

因此，本发明的一个目的是提供具有缺陷像素校正功能的固态成像设备，所述设备能够校正用于缺陷像素的输出信号，而不会将由缺陷像素产生的影响扩散到外围像素。

为了达到此目的，根据本发明，固态成像设备包括：

缺陷像素检测单元，用于从帧读取固态图像拾取元件输出的信号中，抽取用于将被作出判定的目标像素的像素数据和在所述目标像素的外围的外围像素的像素数据；并且用于利用像素的像素数据，并根据用于所述目标像素的所述像素数据和从所述外围像素中选择的像素的像素数据，确定所述目标像素是否是缺陷像素，所述目标像素和所述像素被包含在相同的滤色器中；以及缺陷像素校正单元，用于根据包含在所述相同的滤色器中的所述像素的所述像素数据，校正用于作为所述缺陷像素的所述目标像素的所述像素数据，其中，所述缺陷像素检测单元确定当以下情况时所述目标像素是缺陷像素，即当用于所述目标像素的所述像素数据，和包括在与从所述外围像素中选择的所述目标像素相同的滤色器中的所述像素数据，具有等于或大于第一阈值的差时；并且当用于不同于且邻近于所述目标像素的不同滤色器中的像素的所述像素数据，和用于与所述邻近像素相同的滤色器中的像素的像素数据，具有等于或小于第二阈值的差时。

通过此配置，缺陷像素的输出信号可以被校正而不会将缺陷像素产生的影响扩散到外围像素。进一步说，不需要用于存储缺陷像素位置的存储器，固态图像拾取元件可以检测缺陷像素并因此校正像素数据而且，可以容易地确定目标像素是缺陷像素还是表示图像的边缘部分的像素。

而且，为了确定等于或大于第一阈值的差是否存在，缺陷像素检测单元将用于目标像素的像素数据，和用于相同滤色器中的外围像素之一的像素的素的像素数据进行比较，该外围像素之一具有最大像素数据值。通过此配置，因为阈值可以根据缺陷的电平被任意设置，所以缺陷像素的位置可以被指定，并且缺陷像素可以被校正。

另外，为了确定等于或大于第二阈值的差是否存在，缺陷像素检测单元将用于邻近像素的像素数据，和用于相同滤色器中具有至少第二大像素数据值的像素的像素数据进行比较。通过此配置，任意阈值可以根据缺陷的电平被设置，并且确定用于邻近于缺陷像素的像素的像素数据是否可以被投影(project)到外围远处是可能的。

当确定目标像素有缺陷时，利用用于目标像素的像素数据，以及用于从外围像素中选择的与目标像素相同的滤色器中的像素的像素数据，缺陷像素校正单元校正用于目标像素的像素数据。通过此配置，因为缺陷像素被校正到接近于外围像素电平的电平，所以用于缺陷像素的像素数据可以在任一类型的目标中都不太显著。

而且，当确定目标像素是缺陷像素时，利用用于目标像素的像素数据，和用于从外围像素中选择的与目标像素相同的滤色器中的像素的像素数据之间的差；以及从外围像素中选择的不同的滤色器中的像素的像素数据，和用于邻近像素的像素数据之间的差，缺陷像素校正单元校正用于目标像素的像素数据。通过此配置，当目标像素和邻近像素的投影值(projectionvalue)接近于阈值的投影值时，校正值可以根据获得的投影值而平滑改变，并且可以减少由于诸如噪音的不利影响(adverse affect)而来的缺陷像素的闪烁。

由缺陷像素检测单元执行的缺陷像素判定过程，和由缺陷像素校正单元执行的校正过程。被用于沿多路垂直的行的像素同时执行。通过此配置，为了被亮度信号处理器和彩色信号处理器使用的全部输入信号，缺陷像素可以被检测并校正。

附图说明

图1是示出根据本发明的一个实施例的固态成像设备的配置的图；

图2是示出用于由根据本发明实施例的固态成像设备使用的固态图像拾取元件的范例彩色滤波器排列的图；

图3是示出用于根据本发明实施例的固态成像设备的固态图像拾取元件的输出信号的图；

图4是示出由根据本发明实施例的固态成像设备使用的缺陷像素校正电路的输出信号的图；

图5A和5B是示出根据本发明实施例的固态成像设备的单独部分的输出信号的图；

图6是示出用于根据本发明的实施例检测缺陷像素的区域的图；

图7A和7B是用于解释根据本发明的实施例的缺陷像素检测方法的图；

图8A是示出目标像素的投影距离(projection distance)和用于根据本发明实施例执行的缺陷像素校正的校正系数k1之间的关系的图；并且图8B是示出目标像素的投影距离和用于根据本发明实施例执行的缺陷像素校正的校正系数k2之间的关系的图；

图9是示出根据本发明实施例对其缺陷像素的检测和校正可以同时执行的目标像素的图；

图10是示出常规固态成像设备的配置的图。

具体实施方式

现在将参照附图描述本发明的一个实施例。

图1是示出根据本发明的实施例的固态成像设备的配置的图。此固态成像设备包括：透镜1；位于透镜1的焦点的帧读取固态图像拾取元件(在下文中被简单称作“固态图像拾取元件”)；预处理器3，用于预处理固态图像拾取元件2的输出信号(此预处理器包括CDS(相关双采样，CorrelatedDouble Sampling)电路，用于采样信号并保持采样信号；以及AGC(自动增益控制)电路，用于提供自动增益控制；以及A/D转换器4，用于将由预处理器3输出的模拟信号转换为数字信号。

固态成像设备还包括：1H延迟电路5，用于延迟A/D转换器4输出的信号(在下文中被称作信号(a))；1H延迟电路6，用于将1H延迟电路5的输出信号(在下文中被称作信号(b))延迟一个水平扫描周期(1H延迟电路6的输出信号在下文中被称作信号(c))；缺陷像素检测器8，用于接收信号(a)、(b)和(c)，并且以稍后将被描述的方式检测缺陷像素；以及缺陷像素校正电路9，用于接收缺陷像素检测器8的检测结果和信号(a)、(b)和(c)，并且以稍后将被描述的方式校正缺陷像素的输出信号。

缺陷像素校正电路9输出信号(d)、(e)和(f)。信号(d)是通过校正用于信号(a)中的缺陷像素的像素数据获得的信号(当没有检测到缺陷像素时，信号(d)与信号(a)相同)。与信号(d)一样，信号(e)和(f)是通过校正信号(b)和(c)获得的信号。

为了利用信号(d)、(e)和(f)产生亮度信号，用于此实施例的固态成像设备包括加法电路10，1H延迟电路11，三个数字低通滤波器12、13和14，以及亮度信号处理器15。

加法电路10包括加法器16，用于将信号(d)和(e)相加并且输出信号(g)；以及加法器17，用于将信号(e)和(f)相加并且输出信号(h)。1H延迟电路11接收信号(h)，并且输出延迟了一个水平扫描周期的信号(i)；低通滤波器12、13和14分别接收信号(g)、(h)和(i)，并且将被滤波的信号输出到亮度信号处理器15。亮度信号处理器15取出三个低通滤波器12、13和14的输出信号，产生并输出亮度信号。

为了利用信号(e)、(f)和(h)产生色彩信号，根据本发明的固态成像设备包括加法电路18、延迟调整电路19和色彩信号处理器20。加法电路18包括延迟单元21，用于输出通过延迟信号(e)获得的信号(j)；以及加法器22，用于将信号(j)和(f)相加，并且输出信号(k)。

延迟调整电路19包括延迟单元23，用于输出通过延迟信号(k)获得的信号(m)；以及选择器24，用于选择信号(m)或信号(k)，并且将被选择的信号输出到信号(n)。色彩信号处理器20取出信号(n)和加法电路10通过将信号(e)和(f)相加而获得的输出信号(h)，并且产生和输出色彩信号。

固态成像设备的全部操作现在将被描述。图2是用于解释固态图像拾取元件2的图。在此实施例中，固态图像拾取元件2通过从单独的像素经黄色(Ye)、深红色(magenta)(Mg)、青色(Cy)和绿色(G)色彩滤波器传送光来拾取图像。当光从像素经图2中的色彩滤波器传送时，图1中的信号(a)、(b)和(c)转变为图3中所示的那些。即，当第三行上的数据由固态图像拾取元件2输出时，信号(a)是一个其中青色(Cy)、黄色(Ye)、青色(Cy)、黄色(Ye)、...像素数据排列的信号，同时，延迟了一个水平扫描周期的信号(b)是一个其中深红色(Mg)、绿色(G)、深红色(Mg)、绿色(G)、...像素数据排列的信号。

当缺陷像素在由缺陷像素校正电路9输出的信号(d)、(e)和(f)中不存在时，如图4中所示的这些信号与图3中所示的那些相同。加法电路10将信号(d)和(e)相加，或将信号(e)和(f)相加，并且产生和输出信号(Cy+Mg)和(Ye+G)，需要其以产生

亮度信号Y＝{(Cy+Mg)+(Ye+G)}x1/2。

如图5A和5B所示，加法电路18使用信号(j)和(f)产生信号(k)，即，信号(Mg+Ye)和(G+Cy)，其被需要以产生一个色彩差信号R-Y。

根据行选择信号FH2(见图2)，延迟调整电路19开关选择器24以选择信号(m)或信号(k)作为信号(n)，信号(m)通过延迟信号(k)而被获得。因为对每一行，信号(k)中的(Ye+Mg)和(Cy+G)被交换，选择器24根据行选择信号FH2开关，行选择信号FH2的高电平和低电平在每一水平扫描周期重复。

因为用于三行的信号被亮度信号处理器15在产生垂直轮廓增强信号(vertical contour emphasis signal)的时刻需要，所以1H延迟电路11将信号(h)延迟一个水平扫描周期以产生信号(i)，并且将信号(i)连同信号(g)和(h)传输到亮度信号处理器15。

亮度信号处理器15取出用于三行的亮度信号，即，由低通滤波器12、13和14输出的信号，为这些输出信号执行伽玛(gamma)校正和增益调整，并将水平和垂直轮廓增强信号相加，并且输出这样获得的信号以作为亮度信号Y。

色彩信号处理器20使用由延迟调整电路24输出的信号(n)和由加法电路10输出的信号(m)，以产生基于以下等式的色彩差信号(R-Y，B-Y)。

R-Y＝(Mg+Ye)-(G+Cy)

B-Y＝(Mg+Cy)-(G+Ye)

色彩信号处理器20交替输出色彩信号(R-Y)和(B-Y)。

现在对其中缺陷像素存在于固态图像拾取元件2中的情况给出解释。当缺陷像素存在时，图像缺陷在亮度信号中显现为白点或黑点。用于检测显现为白点的缺陷像素的方法现在将参照图6描述。

如图6中所示，缺陷像素检测器8抽取将对其作出确定的像素B，和作为且环绕B的外围的相同滤波器中的像素A、C、D、E以及F，并且还抽取邻近像素B的不同滤波器中的像素，即，不同滤波器中的帧25中的像素a2、a3、b2、b3和c2，和除了帧25中的那些像素的外围像素a1到a8、b1到b8和c1到c7。用于这些被抽取的像素的输出数据随后被使用以确定像素B是否是缺陷像素。

首先，为了检查像素B被投影到超过外围像素多远，计算像素B和相同滤波器中的外围像素A、C、D、E以及F的最大值之间的差。当差等于或大于预定阈值thw1时，确定像素B是被投影的像素。此确定过程可以表示为确定表达式1

[将被确定的目标像素的投影距离的确定]

|B-max(A、C、D、E、F)|≥thw1    ...(确定表达式1)

其中thw1中的“w”表示白色。此确定表达式被定义为第一条件，其中像素B是缺陷像素。

此后，在邻近目标像素b的不同滤波器中的像素处检查距离，即，帧25中的像素a2、a3、b2、b3和c2被投影到外围像素以外。例如，通过计算像素a2和具有除最大值之外的诸如具有第二最大值像素之间的差而获得在像素a2处被投影的距离，所述像素被从不同滤波器中的环绕在像素a2的外围的像素a1、a3、a5、a6和a7中选择。当差等于或小于预定阈值thw2时，确定像素a2未被投影。

对于其它像素a3、b2、b3和c2，投影距离以相同的方式被检查，并且第二条件被定义为这样的条件，其中帧25中的像素a2、a3、b2、b3和c2没有一个被投影。

此第二条件由下面的确定表达式表示。

[在邻近像素处被投影的距离的确定]

{|a2-max2(a1、a3、a5、a6、a7)|thw2}&

{|a3-max2(a2、a4、a6、a7、a8)|thw2}&

{|b2-max2(b1、b3、b5、b6、b7)|thw2}&

{|c2-max2(c1、c3、c5、c6、c7)|thw2}&

{|b3-max2(b1、b3、b5、b6、b7)|thw2}    ...(确定表达式2)其中，在括号中的像素中，max2()表示具有第二最大值的像素。

当第一条件和第二条件成立时，即，当确定表达式1和确定表达式2同时为真时，那就是说，

[缺陷像素的确定]

{确定表达式1}∩{确定表达式2}＝真    ...(确定表达式3)

成立时，确定目标像素B是缺陷像素，并且用于像素B的输出数据将如后所述被校正。

对于缺陷像素的判定，确定目标像素是缺陷像素还是表示图像数据中的边缘(轮廓)的像素是困难的。根据用于此实施例的缺陷像素检测方法，当“目标像素被投影”且“没有邻近于目标像素的像素被投影”时，通过使用确定表达式3，确定目标像素是缺陷像素。因此，容易确定目标像素是表示边缘部分的一个像素，还是缺陷像素。这将参照图7A和7B讨论。

图7A是示出图像数据的边缘部分中的像素状态的图，并且图7B是示出缺陷像素的状态的图。由“1”表示的像素是那些已根据第一和第二条件被确定被投影的像素。

在图7A中，因为，对于边缘部分，投影像素(由“1”表示的像素)在“邻近于目标像素的像素”中存在，即使当其被投影时也不能确定目标像素是缺陷像素。然而，当目标像素被隔离且如图7B所示被投影时，可以根据确定表达式3确定目标像素是缺陷像素，并且缺陷像素可以被容易地与表示边缘的外部部分的像素区分开。

用于校正缺陷像素的像素数据的方法现在将被描述。在此实施例中，用于目标像素的数据值和相同滤波器中用于外围像素的数据被用于校正缺陷像素的数据。同时参照图6，当确定目标像素是缺陷时，用于像素B的校正值由校正方程1获得。

校正值＝k x max(A、C、D、E、F)+(1-k)x B    ...(校正方程1)

在此方程中，k表示系数(0 k 1)，该系数通过使用目标像素B的投影距离和邻近于目标像素B的像素(帧25中的像素)的投影距离确定。在下文中，此系数被称作校正系数。

图8A和8B是示出系数k1(0 k1 1)和k2(0 k2 1)的特征的图，该特征的变化与目标像素的投影距离和邻近于目标像素的像素的投影距离一致，所述投影距离沿水平轴表示。这些系数k1和k2与校正方程1的校正系数k之间的关系如下所示。

k＝min(k1、k2)    ...(校正方程2)

在图8A和8B中，点P表示其中目标像素的投影距离大于阈值thw1，和邻近像素的投影距离接近阈值thw2的情况。此时，k1＝1并且k2＝0.5，并且根据校正方程2，校正系数是k＝0.5。

因此，用于缺陷像素B的数据的校正值通过将k替代到校正方程1中而被获得

校正值＝0.5 x max(A、C、D、E、F)+0.5 x B，并且该数据通过使用外围像素的最大值和目标像素B的值之间的中间值而被校正。

在图8A和8B中，点Q表示其中目标像素的投影距离大于阈值thw1，和进一步地，邻近像素的投影距离小于阈值thw2的情况。此时，k1＝1并且k2＝1，并且根据校正方程2，校正系数是k＝1。

因此，用于缺陷像素B的数据的校正值通过将k替代到校正方程1中的情况下而被获得

校正值＝1 x max(A、C、D、E、F)+0 x B，并且该数据通过使用外围像素的最大值被校正。

如实施例中所描述，当目标像素和邻近像素的投影值接近阈值时，固态成像设备根据投影距离平滑改变数据校正值。因此，当由于噪音使目标像素和邻近像素的投影值超过阈值，且用于缺陷校正的条件重复成立或不成立时，缺陷像素的闪烁，即在此情况下白色像素的闪烁可以被减弱。

用于检测白色缺陷像素的方法和用于校正图像数据的方法已经被解释。相同的原理可以用于为黑色缺陷像素执行的检测和校正。对应于确定表达式1、2和3和校正方程1和2的表达式如下所示。

[用于目标像素的投影距离的确定]

|B-min(A、C、D、E、F)|≥thb1           ...(确定表达式1b)

其中黑色由“thb”中的“b”表示。

[用于邻近像素的投影距离的确定]

{|a1-min2(a1、a3、a5、a6、a7)|thb2}&

{|a3-min2(a2、a4、a6、a7、a8)|thb2}&

{|b2-min2(b1、b3、b5、b6、b7)|thb2}&

{|c2-min2(c1、c3、c5、c6、c7)|thb2}&

{|b3-min2(b1、b3、b5、b6、b7)|thb2}    ...(确定表达式2b)其中，在括号中的像素中，min2()表示具有第二最大值的像素。

[缺陷像素的确定]

{确定表达式1b}∩{确定表达式2b}＝真         ...(确定表达式3b)

[用于缺陷像素的数据校正]

校正值＝k x min(A、C、D、E、F)+(1-k)x B    ...(校正方程1b)

[用于校正系数的校正]

k＝min(k1、k2)    ...(校正方程2b)

根据实施例的固态成像设备，因为缺陷像素检测器8同时取出用于多行的像素数据，并且因为缺陷像素校正电路9同时取出用于多行的像素数据，所以缺陷像素确定过程和校正过程可以为用于图9中多路垂直排列的行的单独的目标像素而被同时执行。因此，对于被亮度信号处理器和色彩信号处理器使用的全部输入信号，缺陷像素可以被检测和校正。

在此实施例中，因为对于数据的校正，缺陷像素确定依据每一图像信号(像素数据)的接收而被执行，所述图像信号由固态图像拾取元件2顺序地传输，不需要用于存储缺陷像素位置的存储器。因此，制造成本可以被降低，并且当在固态成像设备操作期间出现新像素的故障时，此故障可以被立即处理。

根据本发明，缺陷像素的输出信号可以被校正，同时可归因于缺陷像素的不利影响被防止扩散到外围像素。因此，即使当固态图像拾取元件中包括缺陷像素时，其中没有缺陷像素存在的干净和自然的图像可以供屏幕显示。

Claims (8)

1.一种固态成像设备包括：

缺陷像素检测单元，用于从帧读取固态图像拾取元件输出的信号中，抽取用于将被作出判定的目标像素的像素数据和在所述目标像素的外围的外围像素的像素数据；并且用于利用像素的像素数据，并根据用于所述目标像素的所述像素数据和从所述外围像素中选择的像素的像素数据，确定所述目标像素是否是缺陷像素，所述目标像素和所述像素被包含在相同的滤色器中；以及

缺陷像素校正单元，用于根据包含在所述相同的滤色器中的所述像素的所述像素数据，校正用于作为所述缺陷像素的所述目标像素的所述像素数据，

其中，所述缺陷像素检测单元确定当以下情况时所述目标像素是缺陷像素，即当用于所述目标像素的所述像素数据，和包括在与从所述外围像素中选择的所述目标像素相同的滤色器中的所述像素数据，具有等于或大于第一阈值的差时；并且当用于不同于且邻近于所述目标像素的不同滤色器中的像素的所述像素数据，和用于与所述邻近像素相同的滤色器中的像素的像素数据，具有等于或小于第二阈值的差时。

2.如权利要求1中所述的固态成像设备，其中，所述缺陷像素检测单元通过使用包括在所述像素数据中的信号电平，确定所述目标像素是否为缺陷像素。

3.如权利要求1中所述的固态成像设备，其中，为了确定等于或大于第一阈值的差是否存在，所述缺陷像素检测单元将用于所述目标像素的所述像素数据，和用于相同滤色器中的所述外围像素之一的所述像素的所述像素数据进行比较，所述外围像素之一具有最大像素数据值。

4.如权利要求1中所述的固态成像设备，其中，为了确定等于或大于第二阈值的差是否存在，所述缺陷像素检测单元将用于所述邻近像素的所述像素数据，和用于相同滤色器中具有至少第二大像素数据值的所述像素的所述像素数据进行比较。

5.如权利要求1中所述的固态成像设备，其中，当确定所述目标像素是缺陷像素时，所述缺陷像素校正单元利用用于所述目标像素的所述像素数据，和用于从所述外围像素中选择的与所述目标像素相同的滤色器中的所述像素的像素数据，校正用于所述目标像素的所述像素数据。

6.如权利要求1中所述的固态成像设备，其中，当确定所述目标像素是缺陷像素时，所述缺陷像素校正单元利用用于所述目标像素的所述像素数据，和用于从所述外围像素中选择的与所述目标像素相同的滤色器中的所述像素的所述像素数据之间的差；以及从所述外围像素中选择的不同的滤色器中的所述像素的所述像素数据，和用于所述邻近像素的所述像素数据之间的差，校正用于所述目标像素的所述像素数据。

7.如权利要求1中所述的固态成像设备，其中，由所述缺陷像素检测单元执行的缺陷像素判定过程，和由所述缺陷像素校正单元执行的校正过程，对于沿多个垂直的行的像素被同时执行。

8、如权利要求1中所述的固态成像设备，其中，包含在所述相同的滤色器中的像素被定义为通过多个滤色器中的一个滤色器所拾取的像素。

Images