CN100382579C - 信号处理方法和图像取得装置 - Google Patents

Abstract

在将从图像输入装置1传送的电荷Q(x，y)变换成第1信号强度S’(x，y)，对特定的像素的第1信号强度S’(x，y)进行信号处理的情况下，从相邻的像素的信号强度S’(x-1，y)和S’(x+1，y)求得最大值Sma x、最小值Smin和平均值Save。在S’(x，y)＞Smax×A的情况，在特定像素的信号强度S(x，y)＝Save×C(A、C为系数)，S’(x，y)＜Smin×B的情况下，通过设定信号强度S(x，y)＝Save×D(B、D为系数)，被处理成为适当的强度S(x，y)。可准确地判定起因于附着在图像输入装置的像素阵列上的灰尘及晶格缺陷等的缺陷像素，补偿起因于缺陷像素的图像上的缺陷。

Description

信号处理方法和图像取得装置

技术领域

本发明涉及从以CCD为代表的图像输入装置输出的信号中的信号处理方法和图像取得装置

背景技术

在来自CCD等的图像输入装置的信号处理中，现有的信号处理方法原样采用了称为像素的由光电二极管等构成的光-电变换元件的信号，或采用了对该信号进行了从模拟到数字的变换的信号。用图13至图17来说明现有的信号处理方法。图13～图17示出了对于从输入作为对象的图像信号即光信号至输出给显示装置或存储装置的动向追踪其顺序。

图13是涉及以摄像器等为代表的在半导体衬底上形成的图像取得装置的内部结构的概念图，具有CCD等的图像输入装置1、处理从图像输入装置1输出的图像信号的模拟-数字变换等的信号处理装置2和图像数据的显示装置或存储装置3。在图像输入装置1之中，有多个作为光电变换装置的光电二极管11，具有各自的坐标(x、y)。在这里，为了简化起见，示出了x＝1～5，y＝1～5的区域。另外，有沿垂直方向(图面的纵向)传送电荷的多个垂直方向电荷传送区域12和沿水平方向(图面的横向)传送电荷的水平方向电荷传送区域13。在图13中，示出了输入与图像对应的光信号、在各自的光电二极管11中由光发生信号电荷的状态，在各坐标的光电二极管11中发生了用Q(1，1)至Q(5，5)表示的电荷。

在图14中，示出了光电二极管11的电荷移动到垂直方向电荷传送区域12的状态。在图15中，示出了垂直方向电荷传送区域12的电荷向垂直方向传送、在用y＝1的坐标表示的光电二极管11中发生的电荷向水平方向电荷传送区域13移动的状态。在图16中，示出了图15中传送在水平方向电荷传送区域13内所存在的电荷、在信号处理装置2中从电荷Q变换成信号强度S后该信号被输入到显示装置或存储装置3中的状态。在图17中，重复图15至图16的工作的结果是，示出了全部光电二极管11的信息移动到显示装置或存储装置3中的状态。现有的图像取得装置按以上方式工作。

但是，在现有的结构中，例如如图13的坐标(2，2)的像素中所示，在光电二极管部分有微小的灰尘21附着的情况由于仅在该部位的电荷与周边相比变得极小，所以如图18(a)所示在画面上作为黑点出现。另外，如图13的坐标(4，4)的像素中所示，在光电二极管部分有半导体衬底的晶格缺陷22生成的情况下由于即使光不照射也会有漏泄电流发生，且由于仅在该部位的电荷与周边相比变得极大，所以如图18(b)所示在画面上作为白点出现。不用说，为使这些情况在画面上显现出来，作为图像输入装置应有充分的性能，这成为图像输入装置的制造成品率降低的主要原因。为了解决这样的问题，在制造工序中，虽然进行了灰尘的减少及晶格缺陷抑制，但使制造工序变得复杂且必须使用高价的制造装置，其结果是，对降低图像输入装置的制造成本形成了制约。

在特开平9-46601号公报中，为了解决与上述缺陷有关的课题，提出了将各个像素的图像信号与该像素的周边的像素信号的平均值进行比较以判定缺陷的有无的方法。但是，在该方法中，由于与平均值进行比较，所以往往在周边全体像素的噪声电平变动时缺陷的有无判断随噪声电平而异。另外，在邻接的像素间，对于伴随信号强度发生陡峭变化的图像，对于多个像素的平均值，由于特定的像素信号强度差很大，所以作出了具有与作为信号强度变化的边界的特定像素的信号强度同等的信号强度的区域为全部缺陷的错误的判定，并据此进行信号强度补偿，存在难以提高对比度等分辨率的问题。

发明内容

本发明是为了解决上述现有的问题的发明，在于使起因于灰尘或晶格缺陷等的缺陷像素的正确的判定成为可能，提供了能补偿起因于缺陷像素的图像上的缺陷的信号处理方法和图像信号取得装置。

现举出为了解决以上问题的本发明的信号处理方法和图像取得装置的主要手段如下。

本发明的第1信号处理方法是对将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的从图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度的信号处理方法，其特征在于，包含：求得在任意的一个像素的周边所排列的多个像素的图像信号强度的最大值、最小值和平均值的第1步骤；以及当任意的一个像素的图像信号强度比最大值乘以第1系数后的值大时，通过置换上述任意的一个像素的图像信号强度为上述平均值乘以1～0.8后的值进行校正，并且当上述任意的一个像素的图像信号强度比最小值乘以第2系数后的值小时，通过将任意的一个像素的图像信号强度置换为平均值乘以0.8～0.5后的值，进行校正的第2步骤。

按照本发明，由于将任意的一个像素的图像信号强度与其周边的像素的图像信号强度的最大值的乘以某系数后的值(第1比较值)进行比较，当任意的一个像素的图像信号强度比第1比较值大时，可准确地判定是在该任意的一个像素在图像输入装置的像素阵列的衬底处所发生的起因于晶格缺陷等的缺陷像素，通过对该缺陷像素的图像信号强度基于其周边的像素的图像信号强度的平均值进行校正，可补偿起因于缺陷像素的图像上的缺陷。

另外，由于将任意的一个像素的图像信号强度与其周边的像素的图像信号强度的的最小值的乘以某系数后的值(第2比较值)进行比较，当任意的一个像素的图像信号强度比第2比较值小时，可准确地判定该任意的一个像素是起因于在图像输入装置的像素阵列上所附着的灰尘等的缺陷像素，通过对该缺陷像素的图像信号强度基于其周边的像素的图像信号强度的平均值进行校正，可补偿起因于缺陷像素的图像上的缺陷。

如上所述，通过对特定像素(任意的一个像素)的信号强度基于其周边像素的信号强度的最大值及最小值与其值进行比较，可容易且准确地识别并抽出缺陷像素，另外，通过用从其周边像素的信号强度的平均值计算的信号来代替缺陷像素的信号强度，可对缺陷进行补偿，使缺陷从显示图像中消失。另外，抑制了如现有的那样，在图像输入装置的制造工序中，由于进行了灰尘的减少及晶格缺陷抑制，使制造工序变得复杂且使用高价的制造装置，从而使用廉价的图像输入装置成为可能。

本发明的第2信号处理方法是对将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的从图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度的信号处理方法，其特征在于，包含：处于实质上不对图像输入装置输入光信号的状态，求得在任意的一个像素的周边所排列的多个像素的图像信号强度的最大值的第1步骤；当实质上不对图像输入装置输入光信号的状态下的任意的一个像素的图像信号强度比最大值乘以第1系数后的值大时，存储在像素排列中的任意的一个像素的位置信息的第2步骤；接着上述第2步骤，作成对图像输入装置输入图像光信号的状态，求得在第2步骤中在存储了位置信息的像素的周边所排列的多个像素的图像信号强度的平均值的第3步骤；以及当对图像输入装置输入图像光信号时将所求得的图像信号强度之中在第2步骤中存储了位置信息的像素的图像信号强度置换成在第3步骤中所求得的平均值乘以第2系数后的值的第4步骤。

在该第2信号处理方法中，在第1步骤中在求得图像信号强度的最大值的任意的一个像素的周边所排列的多个像素和在第3步骤中在求得图像信号强度的平均值的任意的一个像素的周边所排列的多个像素可假定是在图像信号从图像输入装置输出的顺序中在任意的一个像素前所输出的像素。

在该第2信号处理方法中，最好使第1步骤和第2步骤在图像输入装置的电源接通时进行。

本发明的第3信号处理方法是对将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的从图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度的信号处理方法，其特征在于，包含：处于实质上对图像输入装置输入均匀的光信号的状态，求得在任意的一个像素的周边所排列的多个像素的图像信号强度的最小值的第1步骤；当实质上对图像输入装置输入均匀的光信号的状态下的任意的一个像素的图像信号强度比最小值乘以第1系数后的值小时，存储在像素排列中的任意的一个像素的位置信息的第2步骤；接着上述第2步骤，作成对图像输入装置输入图像光信号的状态，求得在第2步骤中在存储了位置信息的像素的周边所排列的多个像素的图像信号强度的平均值的第3步骤；以及当对图像输入装置输入图像光信号时将所求得的图像信号强度之中在第2步骤中存储了位置信息的像素的图像信号强度置换成在第3步骤中所求得的平均值乘以第2系数后的值的第4步骤。

在该第3信号处理方法中，在第1步骤中在求得图像信号强度的最小值的任意的一个像素的周边所排列的多个像素和在第3步骤中在求得图像信号强度的平均值的像素的周边所排列的多个像素可定为是在图像信号从图像输入装置输出的顺序中在像素前所输出的像素。

在该第3信号处理方法中，最好使第1步骤和第2步骤在图像输入装置的电源接通时进行。

在上述第1～第3信号处理方法中，可假定图像信号强度为至少1种色信号强度，或者，图像信号强度为多种色信号强度之和。

另外，本发明的第1图像取得装置的特征在于，包括：将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的图像输入装置；对从图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度的信号处理装置；以及输入用信号处理装置所求得的图像信号强度的图像显示装置或图像存储装置，信号处理装置具有：在求得任意的一个像素的周边所排列的多个像素的图像信号强度的最大值、最小值和平均值、且任意的一个像素的图像信号强度比最大值乘以第1系数后的值大时，通过置换上述任意的一个像素的图像信号强度为上述平均值乘以1～0.8后的值进行校正，并且当上述任意的一个像素的图像信号强度比最小值乘以第2系数后的值小时，通过将任意的一个像素的图像信号强度置换为上述平均值乘以0.8～0.5后的值，进行校正的功能。

本发明的第2图像取得装置的特征在于，包括：将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的图像输入装置；存储在像素的图像输入装置中的位置信息的位置信息存储装置；对从图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度的信号处理装置；以及输入用信号处理装置所求得的图像信号强度的图像显示装置或图像存储装置，信号处理装置具有：在处于实质上不对图像输入装置输入光信号的状态、求得任意的一个像素的周边所排列的多个像素的图像信号强度的最大值、且任意的一个像素的图像信号强度比最大值乘以第1系数后的值大时，将像素排列中的任意的一个像素的位置信息存储到位置信息存储装置中的功能；以及在将图像光信号输入到图像输入装置中时，求得将位置信息存储到位置信息存储装置中的像素的周边所排列的多个像素的图像信号强度的平均值，并且将在将图像光信号输入到图像输入装置中时所求得的图像信号强度之中其位置信息被存储在位置信息存储装置中的像素的图像信号强度置换成平均值乘以第2系数后的值的功能。

本发明的第3图像取得装置的特征在于，包括：将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的图像输入装置；存储在像素的图像输入装置中的位置信息的位置信息存储装置；对从图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度的信号处理装置；以及输入用信号处理装置所求得的图像信号强度的图像显示装置或图像存储装置，信号处理装置具有：在处于实质上对图像输入装置输入均匀的光信号的状态、求得任意的一个像素的周边所排列的多个像素的图像信号强度的最小值、且任意的一个像素的图像信号强度比最小值乘以第1系数后的值小时，将像素排列中的任意的一个像素的位置信息存储到位置信息存储装置中的功能；以及在将图像光信号输入到图像输入装置中时，求得将位置信息存储到位置信息存储装置中的像素的周边所排列的多个像素的图像信号强度的平均值，并且将在将图像光信号输入到图像输入装置中时所求得的图像信号强度之中其位置信息被存储在位置信息存储装置中的像素的图像信号强度置换成平均值乘以第2系数后的值的功能。

附图说明

图1是本发明第1实施例的图像信号的信号处理流程图。

图2是表示本发明第1实施例的图像取得装置的内部结构和图像信号电荷的流动的图。

图3是表示本发明第1实施例的图像取得装置的内部结构和图像信号电荷的流动的图。

图4是表示本发明第1实施例的图像取得装置的内部结构和图像信号电荷的流动的图。

图5是表示本发明第1实施例的图像取得装置的内部结构和图像信号电荷的流动的图。

图6是表示本发明第1实施例的图像取得装置的内部结构和图像信号电荷的流动的图。

图7是表示图像信号强度的一维分布的图。

图8是本发明第2实施例的图像信号的信号处理流程图。

图9是表示本发明第2至第5实施例中的图像取得装置的内部结构和图像信号电荷的流动的图。

图10是本发明第3实施例的图像信号的信号处理流程图。

图11是本发明第4实施例的图像信号的信号处理流程图。

图12是本发明第5实施例的图像信号的信号处理流程图。

图13是表示现有的图像取得装置的内部结构和图像信号电荷的流动的图。

图14是表示现有的图像取得装置的内部结构和图像信号电荷的流动的图。

图15是表示现有的图像取得装置的内部结构和图像信号电荷的流动的图。

图16是表示现有的图像取得装置的内部结构和图像信号电荷的流动的图。

图17是表示现有的图像取得装置的内部结构和图像信号电荷的流动的图。

图18是有缺陷像素时的显示图像图。

具体实施方式

以下，参照附图说明本发明的实施例。

(第1实施例)

图1示出了本发明第1实施例的从图像输入装置输出的图像信号的处理流程。在本例中，是表示将图像输入装置的光信号传送到显示装置或存储装置中的过程的流程，后面将予以说明。图2是与以摄像机等为代表的图像取得装置的内部结构的概念图，其特征在于，用CCD等的图像输入装置1、模拟-数字变换等的图像信号处理装置2、图像数据的暂时存储装置4、图像信号处理装置5和图像数据的显示装置或存储装置3构成，设置了图像信号处理装置5。在图像输入装置1之中，作为光电变换装置的光电二极管11有多个，各像素具有(x，y)的坐标。在这里，为了简化起见，示出了x＝1～5、y＝1～5的区域。另外，有沿垂直方向(图面的纵向)传送电荷的多个垂直方向电荷传送区域12和沿水平方向(图面的横向)传送电荷的水平方向电荷传送区域13。

接着，参照图2至图6说明本实施例的图像取得装置的工作。图2至图6示出了对于从输入作为图像的光信号至输出给图像显示装置或存储装置3的过程追踪其顺序。

首先，在图2中示出了输入作为图像的光信号、在各自的光电二极管11中电荷发生的状态，在各坐标的光电二极管11中用Q(1，1)至Q(5，5)表示的电荷发生了。

在这里，作为例子，假定灰尘21附着于在坐标(2，2)的光电二极管11上，半导体衬底的晶格缺陷22存在于坐标(4，4)的光电二极管11下。因此，由于入射到坐标(2，2)的光电二极管11的光被灰尘21遮挡，与原来的电荷Q(2，2)相比，仅发生了极小量的电荷Q’(2，2)，另外，由于来自原本电绝缘的区域的电子因晶格缺陷22而流入坐标(4，4)的光电二极管11中，与原来的电荷Q(4，4)相比，发生了极大量的电荷Q’(4，4)。

在图3中，示出了光电二极管11的电荷(电子)移动到垂直方向电荷传送区域12的状态。在图4中，垂直方向电荷传送区域12的电荷向垂直方向传送，示出了在用y＝1的坐标表示的全部光电二极管11中所发生的电子移动到水平方向电荷传送区域13的状态。在图5中，示出了图4中传送在垂直方向电荷传送区域12所存在的电子，经由信号处理装置2(A/D变换装置)，在该处从电荷Q(x，y)变换成第1信号强度S’(x，y)后被输入到暂时存储装置4中，进而经由信号处理装置(缺陷补偿装置)5，由此在第1信号强度S’(x，y)变换成第2信号强度S(x，y)后被输入到图像显示装置或存储装置3中。

在这里，用图1详细说明作为缺陷补偿装置的信号处理装置5中的信号处理流程。再有，在图1中，信号处理装置2中的处理也一并示出。图1的步骤101中所述的函数F是从由图像输入装置1传送来的电荷Q(x，y)变换成第1信号强度S’(x，y)的函数，该处理是信号处理装置2中的处理。其后，经暂时存储装置4被输入到信号处理装置5中，进行步骤102～107的处理。

在信号处理装置5中，如步骤102中所示，关于对特定的像素的第1信号强度S’(x，y)，在进行信号处理的情况下，首先，从相邻像素的信号强度S’(x-1，y)和S’(x+1，y)求得最大值Smax。在这里，函数Fmax是从所给予的信号强度得出最大值的函数。接着，从同样相邻像素的信号强度S’(x-1，y)和S’(x+1，y)求得最小值。Smin。在这里，函数Fmin是从所给予的信号强度得出最小值的函数。进而，从相邻的信号强度S’(x-1，y)和S’(x+1，y)求得其平均值Save。在这里，函数Fave是从所给予的信号强度得出平均值的函数。

接着，将特定像素的信号强度S’(x，y)与最大值Smax乘以某系数A后的强度进行比较(步骤103)，在S’(x，y)＞Smax×A的情况下，特定像素的信号强度S(x，y)＝Save ×C(步骤107)。在这里，C是预定的系数。通过该处理，在信号强度S’(x，y)过大的情况下，被抑制到适当的强度S(x，y)。另一方面，在S’(x，y)≤Smax×A的情况下，将信号强度S’(x，y)与最小值Smin乘以某系数B后的强度进行比较(步骤104)，在S’(x，y)＜Smin×B的情况下，信号强度S(x，y)＝Save×D(步骤106)；在S’(x，y)≥Smin×B的情况下，信号强度S(x，y)＝S’(x，y)(步骤105)。在这里，D是预定的系数。信号处理装置5进行了以上的处理。

在这里，用图7说明采取上述信号处理方法可补偿图像缺陷。作为在通常的自然界中的一般的图像信号，如图7(a)中所示的那样缓慢地变化，或者如图7(b)中所示的那样从某像素的部位起急剧地变化，强度相同的像素说是形成多个，但在CCD等固体摄像元件中，却有10万个以上的像素存在，仅将其1个像素与其周边进行比较，通常不存在信号强度特别大的情况或特别小的情况，由此，来自特定像素的信号强度当与其周边像素进行比较时，何者为大或小时，即可识别其为缺陷。在图7中，将正常的信号曲线(实线)与有缺陷的像素(像素2、4)进行比较后可明白此事。但是，对每个像素而言，由于包含制造上的分散性及各种噪声，所以如简单地将信号强度本身进行比较，往往将正常的信号识别为缺陷。因此，根据像素间的分散性及噪声的程度，任意地设定在图1中所说明那样的各种系数，即可提高缺陷的识别精度，避免缺陷的误识别。在图7中，虽然示出了一维方向的信号强度变化，但即使是二维的信号强度变化，也可以说是相同的。

在图6中，重复图4至图5的工作的结果是，全部的二极管11的信息示出了移动到显示装置或存储装置3中的状态。通过进行图1中所示的本发明的信号处理，从坐标(2，2)的光电二极管11发生的极小量的电荷Q’(2，2)在与相邻的信号强度进行比较时由于通常比它们的最小值小，所以S(2，2)＝Save×D，从坐标(4，4)的光电二极管11发生的极大量的电荷Q’(4，4)在与相邻的信号强度进行比较时由于通常比它们的最大值大，所以S(4，4)＝Save×C。由此，起因于光电二极管的不良的特定的图像信号成为其附近的信号强度的平均或接近于平均的值，并无在画面上作为缺陷而出现的情况。

再有，在本实施例中，在信号处理装置5的处理中，虽然对特定像素(x，y)，采用了(x+1，y)和(x-1，y)左右的像素的信号，但不言而喻，即使采用了与(x+n，y+m)(n、m为包含负值的实数)的像素相关的信号亦可。

再有，系数A和B可由各自的光电二极管及传送区域中的制造分散性等决定。例如，关于系数A，在以均匀的光入射到全部像素的状态而工作的情况下，可由所得到的像素间的信号强度的分散性决定。这时，由于在通常的情况下信号强度分布为正态分布，所以可定为从该分布得到的σ除以平均值或中间值后的值，希望定为A＝1+σ/平均值(或中间值)。另外，关于系数B，可从在无入射光的状态工作的情况下得到的像素间的信号强度的分散性决定。这时，由于在通常的情况下信号强度的对数为正态分布，所以可定为从该分布得到的σ除以平均值或中间值后的值，希望定为B＝1+σ/平均值(或中间值)。不用说，在原定为σ的地方用3σ也可，用其它值也可。

接着，关于系数C和D，适当的值随图像取得装置的用途等而异。因此，必须根据采用了故意形成了缺陷的情况等的实际的缺陷的感应检查设定适当的系数。但是，一般而言，进行了缺陷校正的坐标如比其周边明亮(信号强度强)，则被强调而容易识别，反之，在阴暗的情况下，则变得不敏感。因此，希望系数C和D定为1至0.5左右的值。进而，在相同程度的信号强度差的情况下，由于明亮的一方与阴暗的情况相比作为差值容易被识别，希望C定为1至0.8左右，D定为0.8至0.5左右。

(第2实施例)

图8示出了本发明第2实施例的图像取得装置中的图像信号的信号处理流程，图9示出了与以摄像机等为代表的图像取得装置的内部结构有关的概念图。在图9中，除了第1实施例的图像取得装置的结构外，还要加上存储用信号处理装置5所识别的缺陷像素的坐标信息的缺陷位置信息存储装置6。另外，在本第2实施例中所用的系数A、C与第1实施例中所用的系数A、C相同。

在第2实施例的图像缺陷处理方法中，首先，如图8(a)的流程那样，在图9的图像取得装置中未输入光信号的状态(没有入射光的状态)下，使图像输入装置1等工作。在该状态下，从各坐标(x，y)的像素没有光的输入的状态的电荷量Q(x，y)从图像输入装置1输入到进行A/D变换等的信号处理装置2中，变换为各信号强度S’(x，y)(步骤201)，该各信号强度S’(x，y)经暂时存储装置4被输入到信号处理装置5中。这时，从没有缺陷的像素输出的图像强度信号全部在制造上的分散性及噪声电平以下。

即，来自正常的像素的信号强度与起因于图9的晶格缺陷22的大的信号强度相比，变得充分地小。因此，发生起因于晶格缺陷22等的大的信号强度的像素的信号强度与其周边的像素的信号强度的最大值Smax相比，也成为大的值，作为缺陷可容易地并且准确地识别。因此，在信号处理装置5内，对于各像素，求得其周边的像素信号强度的最大值Smax(步骤202)，将该最大值Smax乘以系数A后的值与该像素的信号强度S’(x，y)相比(步骤203)，在S’(x，y)＞Smax×A的情况下，将该像素作为缺陷而识别，使该坐标信息存储在缺陷位置信息存储装置6中(步骤205)。

这样一来，在缺陷像素的位置存储结束后，实际上使用图像取得装置进行摄像的情况下，如图8(b)的流程那样，在将与图像对应的光输入到图像输入装置1中的状态下，各坐标(x，y)的像素的电荷量Q(x，y)从图像输入装置1输入到信号处理装置2中，变换为各信号强度S’(x，y)(步骤211)，该各信号强度S’(x，y)经暂时存储装置4被输入到信号处理装置5中。在信号处理装置5中，仅就与存储于缺陷位置信息存储装置6中的缺陷坐标对应的像素而言，求来自其周边的像素的信号的平均值Save，置换为该平均值Save乘以系数C后的值(步骤212、214、215)，不是缺陷坐标的量作为信号强度S(x，y)＝S’(x，y)(步骤212、213)被输入到图像显示装置或存储装置3中。这样，可补偿、去除图像缺陷。

通常的自然界的信号如图7所示，由于仅仅一个像素与其周边进行比较没有特别大的情况或特别小的情况，对于所存储的缺陷的位置，在给予其周边的平均的信号的情况下，保持与其周边的连续性。因此，不作为图像上的缺陷而出现。

由此，采取仅对于特定的缺陷像素的信号处理，缺陷补偿成为可能，如第1实施例那样，如与对全部像素的信号处理相比，则即使在信号处理装置的计算能力不充分的情况下也能实现，处理速度的提高能够实现。进而，在图像输入装置1中，制造上所发生的缺陷当然也可补偿制造后所发生的缺陷，例如通过在组装到设备中以后因施加电压而随时间退降等所发生的晶格缺陷等的缺陷。

再有，仅采用n＝1即相邻的像素也好，假定n＝多个而采用来自多个像素的信号也好，均可弄清求得平均值Save用的周边像素数n。

(第3实施例)

图10示出了本发明第3实施例的图像取得装置的图像信号的信号处理流程。图像取得装置的结构与图9相同。另外，本第3实施例中所用的系数B、D与第1实施例中所用的系数B、D相同。

在本实施例中，首先，如图10(a)的流程那样，在图9的图像取得装置中对全部像素输入均匀的光信号的状态下，使图像输入装置1工作，识别缺陷像素。在该状态下，从各坐标(x，y)的像素发出均匀的光的输入状态的电荷量Q(x，y)从图像输入装置1输入到进行A/D变换等的信号处理装置2中，变换为各信号强度S’(x，y)(步骤301)，该各信号强度S’(x，y)经暂时存储装置4被输入到信号处理装置5中。这时，从没有缺陷的像素输出的图像强度信号在恒定的强度上为制造上的分散性及噪声电平相加后的值。

即，正常像素的信号强度与起因于图9的灰尘21的小的信号强度相比，变得充分地大。因此，发生起因于灰尘21等的小的信号强度的像素的信号强度与其周边的像素的信号强度的最小值Smin相比，也成为小的值，作为缺陷像素可加以识别。因此，对于各像素，通过与其周边的像素信号的最小值Smin乘以系数B后的值进行比较，可容易地并且准确地识别缺陷。在如此识别之后，使缺陷像素的坐标信息存储于缺陷位置信息存储装置6中。因此，在信号处理装置5内，对于各像素，求得其周边的像素信号强度的最小值Smin(步骤302)，将该最小值Smin乘以系数B后的值与该像素的信号强度S’(x，y)相比(步骤303)，在S’(x，y)＜Smin×B的情况下，将该像素作为缺陷而识别，使该坐标信息存储在缺陷位置信息存储装置6中(步骤305)。B的值为对噪声电平的裕量，通常定为B＝1。但是，在噪声大的情况下，可以定为B＞1。这样，可预先使识别到的缺陷像素的坐标信息存储在缺陷位置信息存储装置6中。

这样一来，在缺陷像素的位置存储结束后，实际上使用图像取得装置进行摄像的情况下，如图10(b)的流程那样，在将与图像对应的光输入到图像输入装置1中的状态下，各坐标(x，y)的像素的电荷量Q(x，y)从图像输入装置1输入到信号处理装置2中，变换为各信号强度S’(x，y)(步骤311)，该各信号强度S’(x，y)经暂时存储装置4被输入到信号处理装置5中。在信号处理装置5中，仅就与存储于缺陷位置信息存储装置6中的缺陷坐标对应的像素而言，求来自其周边的像素的信号的平均值Save，置换为该平均值Save乘以系数D后的值(步骤312、314、315)，不是缺陷坐标的量作为信号强度S(x，y)＝S’(x，y)(步骤312、313)被输入到图像显示装置或存储装置3中。这样，可补偿、去除图像缺陷。

通常的自然界的信号如图7所示，由于仅仅一个像素与其周边进行比较没有特别大的情况或特别小的情况，对于所存储的缺陷的位置，在给予其周边的平均的信号的情况下，保持与其周边的连续性。因此，不作为图像上的缺陷而出现。

由此，在图像输入装置1中，制造上所发生的缺陷当然也可补偿制造后所发生的缺陷，例如通过在组装到设备中以后因所附着的灰尘等而产生的缺陷。

再有，仅采用n＝1即相邻的像素也好，假定n＝多个而采用来自多个像素的信号也好，均可弄清求得平均值Save用的周边像素数n。

(第4实施例)

图11示出了本发明第4实施例的图像取得装置的图像信号的信号处理流程。图像取得装置的结构与图9相同。另外，本第4实施例中所用的系数A、C与与第1实施例中所用的系数A、C相同。

在本实施例中，首先，如图11(a)的流程那样，在图9的图像取得装置中未输入均匀的光信号的状态下，使图像输入装置1工作，进行缺陷像素识别。在该状态下，从各坐标(x，y)的像素没有光的输入的状态的电荷量Q(x，y)从图像输入装置1依次输入到进行A/D变换等的信号处理装置2中，变换为各信号强度S’(x，y)(步骤401)，该各信号强度S’(x，y)被依次输入到信号处理装置5中。这时，从没有缺陷的像素输出的图像强度信号全部在制造上的分散性及噪声电平以下。

即，来自正常的像素的信号强度与起因于图9的晶格缺陷22的大的信号强度相比，变得充分地小。因此，发生起因于晶格缺陷22等的大的信号强度的像素的信号强度与在该缺陷像素以前所输入的像素的信号强度的最大值Smax相比，也成为大的值，作为缺陷像素可容易地并且准确地识别。因此，在信号处理装置5内，对于各像素，求得在该像素以前所输入的N个(N为自然数)的像素的信号强度的最大值Smax(步骤402)，将该最大值Smax乘以系数A后的值与该像素的信号强度S’(x，y)相比(步骤403)，在S’(x，y)＞Smax×A的情况下，将该像素作为缺陷而识别，使该坐标信息存储在缺陷位置信息存储装置6中(步骤405)。

这样一来，在缺陷像素的位置存储结束后，实际上使用图像取得装置进行摄像的情况下，如图11(b)的流程那样，在将与图像对应的光输入到图像输入装置1中的状态下，各坐标(x，y)的像素的电荷量Q(x，y)从图像输入装置1依次输入到信号处理装置2中，变换为各信号强度S’(x，y)(步骤411)，该各信号强度S’(x，y)被依次输入到信号处理装置5中。在信号处理装置5中，仅就与存储于缺陷位置信息存储装置6中的缺陷坐标对应的像素而言，求来自在该像素以前所输入的N个(N为自然数)的像素的信号的平均值Save，置换为该平均值Save乘以系数C后的值(步骤412、414、415)，不是缺陷坐标的量作为信号强度S(x，y)＝S’(x，y)(步骤412、413)被输入到图像显示装置或存储装置3中。这样，可补偿、去除图像缺陷。

通常的自然界的信号如图7所示，由于仅仅一个像素与其周边进行比较没有特别大的情况或特别小的情况，对于所存储的缺陷的位置，在给予其周边的平均的信号的情况下，保持与其周边的连续性。因此，不作为图像上的缺陷而出现。在一般的图像处理中，为了保持信号的连续性，C＝1是适当的。但是，在重视图像的对比度的情况下，通过使C＞1，可强调图像的边沿。

由此，在图像输入装置1中，制造上所发生的缺陷当然也可补偿制造后所发生的缺陷，例如通过在组装到设备中以后因所附着的灰尘等而产生的缺陷，通过简单的构成可实现这样的补偿。

再有，仅采用n＝1即相邻(紧前面输入)的像素也好，假定n＝多个而采用来自多个像素的信号也好，均可弄清求得平均值Save用的周边像素数n。在n＝多个的情况下，例如N＝10的情况下，就N＜10的像素而言，无法计算10个的图像信号。在这种情况下，使用紧前面的像素信号也可，计算至此的全部像素的平均值也可，另外，使用其它的方法进行计算也可。

(第5实施例)

图12示出了本发明第3实施例的图像取得装置的图像信号的信号处理流程。图像取得装置的结构与图9相同。另外，本第5实施例中所用的系数B、D与与第1实施例中所用的系数B、D相同。

在本实施例中，首先，如图12(a)的流程那样，在图9的图像取得装置中在均匀的光输入状态下，使图像输入装置1工作，识别缺陷像素。在该状态下，从各坐标(x，y)的像素发出均匀的光的输入状态的电荷量Q(x，y)从图像输入装置1依次输入到进行A/D变换等的信号处理装置2中，变换为各信号强度S’(x，y)(步骤501)，该各信号强度S’(x，y)被依次输入到信号处理装置5中。这时，图像强度信号在恒定的强度上为制造上的分散性及噪声电平相加后的值。

即，正常像素的信号强度与起因于图9的灰尘21的小的信号强度相比，变得充分地大。因此，发生起因于灰尘21等的小的信号强度的像素的信号强度与在该缺陷像素以前所输入的像素的信号强度的最小值Smin相比，也成为小的值，作为缺陷像素可加以识别。因此，对于各像素，通过与在该像素以前所输入的N个(N为自然数)的像素的信号强度的最小值Smin乘以系数B后的值进行比较，可容易地并且准确地识别缺陷。在如此识别之后，使缺陷像素的坐标信息存储于缺陷位置信息存储装置6中。因此，在信号处理装置5内，对于各像素，求得在该像素以前所输入的N个(N为自然数)的像素的信号强度的最小值Smin(步骤502)，该最小值Smin乘以系数B后的值与该像素的信号强度S’(x，y)相比(步骤503)，S’(x，y)＜Smin×B的情况下，将该像素作为缺陷而识别，使该坐标信息存储在缺陷位置信息存储装置6中(步骤505)。B的值为对噪声电平的裕量，通常定为B＝1。但是，在噪声大的情况下，可以定为B＞1。这样，可预先使识别到的缺陷像素的坐标信息存储在缺陷位置信息存储装置6中。

这样一来，在缺陷像素的位置存储结束后，实际上使用图像取得装置进行摄像的情况下，如图12(b)的流程那样，在将与图像对应的光输入到图像输入装置1中的状态下，各坐标(x，y)的像素的电荷量Q(x，y)从图像输入装置1被依次输入到信号处理装置2中，变换为各信号强度S’(x，y)(步骤511)，该各信号强度S’(x，y)被依次输入到信号处理装置5中。在信号处理装置5中，仅就与存储于缺陷位置信息存储装置6中的缺陷坐标对应的像素而言，求来自在该像素以前所输入的N个(N为自然数)的像素的信号的平均值Save，置换为该平均值Save乘以系数D后的值(步骤512、514、515)，不是缺陷坐标的量作为信号强度S(x，y)＝S’(x，y)(步骤512、513)被输入到图像显示装置或存储装置3中。这样，可补偿、去除图像缺陷。

通常的自然界的信号如图7所示，由于仅仅一个像素与其周边进行比较没有特别大的情况或特别小的情况，对于所存储的缺陷的位置，在给予其周边的平均的信号的情况下，保持与其周边的连续性。因此，不作为图像上的缺陷而出现。在一般的图像处理中，为了保持与邻接的像素的信号的连续性，D＝1是适当的。但是，在重视图像的对比度的情况下，通过使D＞1，可强调图像的边沿。

由此，在图像输入装置1中，制造上所发生的缺陷当然也可补偿制造后所发生的缺陷，例如通过在组装到设备中以后因所附着的灰尘等而产生的缺陷，通过简单的构成可实现使缺陷消失。

再有，仅采用N＝1即相邻(紧前面输入)的像素也好，假定N＝多个而采用来自多个像素的信号也好，均可弄清求得平均值Save用的周边像素数N。

在上述说明中，虽然记述了仅仅在第2、第4实施例中，在没有光信号的情况下；在第3、第5实施例中，在入射均匀的光信号的情况下的缺陷像素识别方法，但通过将这两方的缺陷像素识别方法组合起来，由于黑缺陷和白缺陷的双方均被存储在缺陷位置信息存储装置6中，不言而喻，可对两方进行补偿。

另外，第2～第5实施例和它们的组合的缺陷像素识别方法通过在图像取得装置的电源接通时或工作时、暂停时的任意的时刻进行，也可对图像输入装置的使用中或保管中所发生的缺陷进行补偿。这时，通过在电源接通时附加自动地进行缺陷像素识别的功能，不言而喻，即使设备的使用者未曾意识到，对缺陷的保证也成为可能。

另外，在第1～第5实施例中，在进行像素信号比较时，虽然示出了物理上的缺陷像素位置的像素信号的补偿方法，但在色信息的情况下，对于红、绿、蓝这样的色信号，就相同的色信号而言，通过将缺陷像素信号与其周边的像素信号进行比较，可进行精度较高的缺陷补偿。

另外，通过将红、绿、蓝这样的色信号的组合作为一个像素处理，表现出自然界的图像信息。因此，如进行仅仅是各色信号的缺陷保证，则由于通过红、绿、蓝这样的色信号的组合而实现的色信息的平衡发生变化，往往形成不自然的色调。因此，通过将红、绿、蓝这样的色信号的组合信号作为一个像素信号进行图像信号强度的比较，与只是每种相同的色信号的比较的情况进行比较，可进行自然的缺陷补偿。这时，即使对各自的色信号进行上述信号处理，对于应进行缺陷保证的像素作为1个色信息处理的另外的色信号的像素，也可通过进行相同的信号处理来实现。

再有，在上述的第1～第5实施例中，虽然对以数字方式构成信号处理系统的情况进行了说明，但并不限于此，对以模拟方式构成的情况也可同样地适用。本发明不限于上述实施例，在不脱离本发明的要旨的前提下，当然可取其它各种结构。

本发明可进行物理上的缺陷像素的像素信号的补偿，在CCD摄像机等方面是有用的。

Claims (12)

1.一种信号处理方法，对将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的从图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度，

包含：

求得在任意的一个像素的周边所排列的多个像素的图像信号强度的最大值、最小值和平均值的第1步骤；以及

当上述任意的一个像素的图像信号强度比上述最大值乘以第1系数后的值大时，通过置换上述任意的一个像素的图像信号强度为上述平均值乘以1～0.8后的值进行校正，并且当上述任意的一个像素的图像信号强度比上述最小值乘以第2系数后的值小时，通过将上述任意的一个像素的图像信号强度置换为上述平均值乘以0.8～0.5后的值，进行校正，使得相对于利用所述校正的任意一个而校正了所述图像信号强度的像素的周边所排列的多个像素的图像信号强度，所述像素的图像信号强度被校正的情况不被识别出的第2步骤。

2.一种信号处理方法，对将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的从图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度，

包含：

处于实质上不对上述图像输入装置输入光信号的状态，求得在任意的一个像素的周边所排列的多个像素的图像信号强度的最大值的第1步骤；

当实质上不对上述图像输入装置输入光信号的状态下的上述任意的一个像素的图像信号强度比上述最大值乘以第1系数后的值大时，只存储在像素排列中的上述任意的一个像素的位置信息的第2步骤；

接着上述第2步骤，作成对上述图像输入装置输入图像光信号的状态，只相对于在上述第2步骤中存储了位置信息的上述像素，求得在该像素的周边所排列的多个像素的图像信号强度的平均值的第3步骤；以及

当对上述图像输入装置输入图像光信号时将所求得的图像信号强度之中在上述第2步骤中存储了位置信息的上述像素的图像信号强度置换成在上述第3步骤中所求得的上述平均值乘以第2系数后的值的第4步骤。

3.一种信号处理方法，对将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的从图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度，

包含：

处于实质上对上述图像输入装置输入均匀的光信号的状态，求得在任意的一个像素的周边所排列的多个像素的图像信号强度的最小值的第1步骤；

当实质上对上述图像输入装置输入均匀的光信号的状态下的上述任意的一个像素的图像信号强度比上述最小值乘以第1系数后的值小时，存储在像素排列中的上述任意的一个像素的位置信息的第2步骤；

接着上述第2步骤，作成对上述图像输入装置输入图像光信号的状态，只相对于在上述第2步骤中存储了位置信息的上述像素，求得在该像素的周边所排列的多个像素的图像信号强度的平均值的第3步骤；以及

当对上述图像输入装置输入图像光信号时将所求得的图像信号强度之中在上述第2步骤中存储了位置信息的上述像素的图像信号强度置换成在上述第3步骤中所求得的上述平均值乘以第2系数后的值的第4步骤。

4.如权利要求2所述的信号处理方法，其特征在于：

在上述第1步骤中在求得图像信号强度的最大值的上述任意的一个像素的周边所排列的多个像素和在上述第3步骤中在求得图像信号强度的平均值的上述像素的周边所排列的多个像素是在图像信号从上述图像输入装置输出的顺序中在上述像素前所输出的像素。

5.如权利要求3所述的信号处理方法，其特征在于：

在上述第1步骤中在求得图像信号强度的最小值的上述任意的一个像素的周边所排列的多个像素和在上述第3步骤中在求得图像信号强度的平均值的上述像素的周边所排列的多个像素是在图像信号从上述图像输入装置输出的顺序中在上述像素前所输出的像素。

6.如权利要求2所述的信号处理方法，其特征在于：

使上述第1步骤和上述第2步骤在上述图像输入装置的电源接通时进行。

7.如权利要求3所述的信号处理方法，其特征在于：

使上述第1步骤和上述第2步骤在上述图像输入装置的电源接通时进行。

8.如权利要求1～5的任一项中所述的信号处理方法，其特征在于：

上述图像信号强度为至少1种色信号强度。

9.如权利要求1～5的任一项中所述的信号处理方法，其特征在于：

上述图像信号强度为多种色信号强度之和。

10.一种图像取得装置，其特征在于：

包括：将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的图像输入装置；对从上述图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度的信号处理装置；以及输入用上述信号处理装置求得的图像信号强度的图像显示装置或图像存储装置，

上述信号处理装置具有：在求得任意的一个像素的周边所排列的多个像素的图像信号强度的最大值、最小值和平均值、且上述任意的一个像素的图像信号强度比上述最大值乘以第1系数后的值大时，通过置换上述任意的一个像素的图像信号强度为上述平均值乘以1～0.8后的值进行校正，并且当上述任意的一个像素的图像信号强度比上述最小值乘以第2系数后的值小时，通过将对上述任意的一个像素的图像信号强度置换为上述平均值乘以0.8～0.5后的值，进行校正，相对于利用所述校正的任意一个而校正了所述图像信号强度的像素的周边所排列的多个像素的图像信号强度，所述像素的图像信号强度被校正的情况不被识别出的功能。

11.一种图像取得装置，其特征在于：

包括：将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的图像输入装置；存储在像素的上述图像输入装置中的位置信息的位置信息存储装置；对从上述图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度的信号处理装置；以及输入用上述信号处理装置所求得的图像信号强度的图像显示装置或图像存储装置，

上述信号处理装置具有：

在处于实质上不对上述图像输入装置输入光信号的状态、求得任意的一个像素的周边所排列的多个像素的图像信号强度的最大值、且上述任意的一个像素的图像信号强度比上述最大值乘以第1系数后的值大时，只将像素排列中的上述任意的一个像素的位置信息存储到上述位置信息存储装置中的功能；以及

在将图像光信号输入到上述图像输入装置中时，只相对于将位置信息存储到上述位置信息存储装置中的上述像素，求得在该像素的周边所排列的多个像素的图像信号强度的平均值，并且将在将图像光信号输入到上述图像输入装置中时所求得的图像信号强度之中其位置信息被存储在上述位置信息存储装置中的上述像素的图像信号强度置换成上述平均值乘以第2系数后的值的功能。

12.一种图像取得装置，其特征在于：

包括：将入射光进行光电变换的多个像素沿水平方向和垂直方向排列的图像输入装置；存储在像素的上述图像输入装置中的位置信息的位置信息存储装置；对从上述图像输入装置依次输出的来自像素的图像信号进行处理以求得图像信号强度的信号处理装置；以及输入用上述信号处理装置所求得的图像信号强度的图像显示装置或图像存储装置，

上述信号处理装置具有：

在处于实质上对上述图像输入装置输入均匀的光信号的状态、求得任意的一个像素的周边所排列的多个像素的图像信号强度的最小值、且上述任意的一个像素的图像信号强度比上述最小值乘以第1系数后的值小时，只将像素排列中的上述任意的一个像素的位置信息存储到上述位置信息存储装置中的功能；以及

在将图像光信号输入到上述图像输入装置中时，相对于将位置信息存储到上述位置信息存储装置中的上述像素，求得在该像素的周边所排列的多个像素的图像信号强度的平均值，并且将在将图像光信号输入到上述图像输入装置中时所求得的图像信号强度之中其位置信息被存储在上述位置信息存储装置中的上述像素的图像信号强度置换成上述平均值乘以第2系数后的值的功能。

Images