CN102550017B - 摄像设备及其缺陷像素校正方法 - Google Patents

Abstract

提供了如下的一种缺陷检测方法，其中该方法防止了由于针对闪烁缺陷像素的过度校正所引起的所拍摄图像的劣化。在该方法中，检测与预先存储的闪烁缺陷像素的地址相对应的像素的输出信号值是否异常。如果输出了被视为缺陷像素的信号值，则对该输出信号进行校正。

Description

摄像设备及其缺陷像素校正方法

技术领域

本发明涉及对摄像元件的缺陷像素进行校正的技术。 

背景技术

已知如下：在诸如CCD传感器和CMOS传感器等的摄像元件中，在制造过程中或者在制造过程之后可能发生半导体的局部灵敏度故障。当发生这种灵敏度故障时，从像素无法获得与入射光量相对应的电荷输出，结果在摄像画面上出现与被摄体无关的白点或黑点。导致输出与被摄体无关的白点或黑点的这种像素被称为缺陷像素。为了通过信号处理对由这种缺陷像素所引起的图像质量劣化进行校正，预先对该缺陷像素进行检测。首先，当在半导体工厂中制造摄像元件时，检测所制造的摄像元件是否包含任何缺陷像素，并将所检测到的缺陷像素的位置数据存储在非易失性存储器中。 

即使在将摄像元件安装到摄像设备之后，也检测该摄像元件是否包含任何缺陷像素。首先，当摄像设备的机械快门处于遮光状态时，检测来自摄像元件的输出水平超过预定水平的像素(白点缺陷像素)。可选地，当使快门打开并将入射光量设置为预定量时，检测输出水平没有达到预定水平的像素(黑点缺陷像素)。然后，将所检测到的白点缺陷像素或所检测到的黑点缺陷像素的位置数据存储在非易失性存储器中。当进行正常摄像操作时，基于存储在非易失性存储器中的位置数据指定缺陷像素，并且通过信号处理来对拍摄被摄体所获得的图像信号进行校正。 

近年来，由于摄像元件的像素数增加，因而缺陷像素发生的概率趋于增大。此外，由于摄像元件的像素数增加所引起的更加精细的像素的形成已促使注意到迄今为止所忽略的新现象，即与在重复读出来自摄像元件的像素信号时存在所读取的信号水平大幅增减的像素有关的现象。导致这种现象发生的像素被称为闪烁缺陷像素。存在依赖于温度和存储时间的闪烁缺陷像素、以及不依赖于温度和存储时间的闪烁缺陷像素。闪烁缺陷像素是以各种方式机械产生的。 

闪烁缺陷像素在特定时间时为正常像素并且在其它时间时为白点缺陷像素，使得这些闪烁缺陷像素表现得像闪烁的白点缺陷像素那样。因此，当进行摄像元件的制造过程时或者当摄像设备进行自测量操作时，通过对各缺陷像素进行一次检测无法检测到所有的闪烁缺陷像素。另外，在记录所拍摄被摄体的图像的实际拍摄操作期间缺陷像素处于点亮状态，结果闪烁缺陷像素突显，由此导致所拍摄图像劣化。 

考虑到这种情形，日本特开2003-37781公开了如下的技术：基于在相同条件下所获得的多个图像信号来检测摄像元件的缺陷像素地址，并且将被判断为缺陷的次数大于预定次数的像素地址检测为最终的缺陷像素地址。 

现有技术文献

专利文献

专利文献1：日本特开2003-37781 

发明内容

发明要解决的问题

然而，在上述的相关技术中，即使在实际拍摄期间闪烁缺陷像素不是处于点亮状态并且输出正常图像信号的情况下，这些闪烁缺陷像素也被作为缺陷像素进行校正，由此使所拍摄图 像的图像质量劣化。 

本发明的目的是提供如下的一种缺陷像素检测装置：当从闪烁缺陷像素输出表示缺陷像素的图像信号时，该闪烁缺陷像素被检测为缺陷像素，并且当从闪烁缺陷像素输出正常图像信号时，该闪烁缺陷像素被检测为正常像素。 

用于解决问题的方案

为此，本发明提供一种摄像设备，包括：摄像元件，用于对来自被摄体的入射光进行光电转换；校正部件，用于使用周围像素的输出信号值，对在所述摄像元件中不稳定地输出异常值的信号的闪烁缺陷像素的输出信号值进行校正；判断部件，用于判断所述闪烁缺陷像素的输出信号值是否是异常值；以及控制部件，用于进行控制，以使得当所述判断部件判断为所述闪烁缺陷像素的输出信号值是异常值时、所述校正部件对所述闪烁缺陷像素的输出信号值进行校正，以及进行控制，以使得当所述判断部件判断为所述闪烁缺陷像素的输出信号值不是异常值时、所述校正部件不对所述闪烁缺陷像素的输出信号值进行校正。 

本发明还提供一种摄像设备的缺陷像素校正方法，所述摄像设备包括用于对来自被摄体的入射光进行光电转换的摄像元件，所述缺陷像素校正方法包括以下步骤：校正步骤，用于使用周围像素的输出信号值，对在所述摄像元件中不稳定地输出异常值的信号的闪烁缺陷像素的输出信号值进行校正；以及控制步骤，用于进行控制，以使得当在判断所述闪烁缺陷像素的输出信号值是否是异常值时判断为所述闪烁缺陷像素的输出信号值是异常值时、在所述校正步骤中对所述闪烁缺陷像素的输出信号值进行校正，以及进行控制，以使得当在判断所述闪烁缺陷像素的输出信号值是否是异常值时判断为所述闪烁缺陷像 素的输出信号值不是异常值时、在所述校正步骤中不对所述闪烁缺陷像素的输出信号值进行校正。 

发明的效果

根据本发明，可以减少由于对闪烁缺陷像素的输出信号进行过度校正所产生的不利影响。 

附图说明

图1是说明摄像设备的框图。 

图2是说明第一实施例的闪烁缺陷像素的检测操作的流程图。 

图3示出摄像元件的示例像素排列和示例输出信号。 

图4是说明第二实施例的闪烁缺陷像素的检测操作的流程图。 

图5是说明第三实施例的缺陷像素检测部的框图。 

图6说明第三实施例的滤波方法。 

图7是说明第三实施例的阈值判断电路的框图。 

图8说明第三实施例的阈值判断电路内的缺陷水平转换电路。 

图9是说明第三实施例的相关判断电路的框图。 

图10说明第三实施例的相关判断电路内的缺陷水平转换电路。 

图11是说明第三实施例的缺陷像素校正部的框图。 

图12是说明第四实施例的阈值计算部的框图。 

具体实施方式

第一实施例

图1是本发明的第一实施例中的包括缺陷像素校正装置的 摄像设备的框图。在图1中，诸如CCD传感器或CMOS传感器等的摄像元件203对经由包括透镜和光圈的光学系统201以及机械快门202入射到摄像设备上的被摄体图像进行光电转换。CDS电路204对从摄像元件203输出的模拟信号进行低频噪声去除操作，并且A/D转换器205将该模拟信号转换成数字信号。 

驱动电路207对光学系统201、机械快门202和摄像元件203进行驱动。时序信号发生电路206生成用于对CDS电路204和A/D转换电路205进行驱动的时序信号。将A/D转换电路205所转换得到的数字信号输入至缺陷像素检测校正部208。缺陷像素检测校正部208包括：缺陷像素检测部2081(判断部件)，用于检测缺陷像素；以及缺陷像素校正部2082(校正部件)，用于通过使用从缺陷像素周围的像素输出的信号值对从该缺陷像素输出的信号值进行插值来进行缺陷像素校正操作。 

将从缺陷像素检测校正部208输出的图像信号输入至信号处理电路209。信号处理电路209对所输入的图像信号进行诸如颜色分解、光圈校正、伽玛校正和白平衡操作等的摄像系统的信号处理操作。这里，将由信号处理电路209进行了信号处理的数字图像信号临时存储在图像存储器210中。 

记录电路212将由信号处理电路209进行了信号处理的图像数据记录在记录介质211中。记录介质211例如是可移除地安装至摄像设备的存储卡。显示电路214将由信号处理电路209进行了信号处理的图像数据显示在图像显示装置213上。 

由例如CPU构成的系统控制部215(控制部件)控制整体摄像设备。ROM 216存储以下内容：例如，写入有系统控制部215所执行的控制方法的程序；执行该程序时所使用的例如表或参数等的控制数据；以及正常缺陷像素(非闪烁缺陷像素)和闪烁缺陷像素的地址。ROM 216将例如存储在ROM 216(存储部件) 中的程序、控制数据以及正常缺陷像素和闪烁缺陷像素的地址数据传送至RAM 217(存储部件)，从而将这三者临时存储在RAM 217中。 

在本实施例中，尽管存储在ROM 216中的正常缺陷像素和闪烁缺陷像素的地址数据提供了与在各摄像元件203的制造过程中所检查的各摄像元件相对应的地址，但本发明不限于此。例如，在将摄像元件203安装到摄像设备之后，缺陷像素检测部2081可以提供与新的缺陷像素有关的信息并且该信息被存储在ROM 216中。 

接着，将参考图2的流程图来说明本实施例的缺陷像素检测校正部208的操作的流程。在图2的流程图中，系统控制部215通过参考例如从ROM 216传送至RAM 217并临时存储在RAM217中的控制程序、控制数据以及正常缺陷像素和闪烁缺陷像素的地址数据而对各部进行控制来执行该处理。 

在步骤S101中，缺陷像素检测校正部208的缺陷像素检测部2081参考临时存储在RAM 217中的正常缺陷像素的地址信息，并且判断从A/D转换电路205输入的数字信号的各像素是否是正常缺陷像素。 

当在步骤S101中判断为输入数字信号的对象像素是正常缺陷像素时，该处理进入步骤S105以利用缺陷像素校正部2082进行缺陷像素校正操作，并将处理后的图像数据输出至信号处理电路209。当在步骤S101中判断为输入数字信号的对象像素不是正常缺陷像素时，该处理进入步骤S102。 

在步骤S102中，缺陷像素检测部2081参考临时存储在RAM217中的闪烁缺陷像素的地址信息，并且判断输入数字信号的对象像素是否是闪烁缺陷像素。如果在步骤S102中判断为输入数字信号的对象像素是闪烁缺陷像素，则该处理进入步骤S103。 如果在步骤S102中判断为输入数字信号的对象像素不是闪烁缺陷像素，则将该输入像素的值原样输出至信号处理电路209并且该处理结束，而无需利用缺陷像素校正部2082进行缺陷像素校正操作。 

在步骤S103中，缺陷像素检测部2081进行缺陷像素检测操作以计算缺陷程度，并且该处理进入步骤S104。在步骤S104中，将表示步骤S103中通过缺陷像素检测操作所获得的缺陷程度的值与被设置为任意值的阈值进行比较，以判断输入像素信号的值是否是异常值。后面将论述该阈值。 

如果在步骤S104中判断为输入像素信号的值是异常值，则假定该像素表现得像缺陷像素那样，并且该处理进入步骤S105。在步骤S105中，缺陷像素校正部2082进行缺陷像素校正操作，并将处理后的图像数据输出至信号处理电路209以结束该处理。如果在步骤S104中判断为输入像素信号的值不是异常值，则假定正在输出正常像素信号，结果缺陷像素校正部2082不进行缺陷像素校正操作。然后，将输入像素的值原样输出至信号处理电路209以结束该处理。 

接着，将参考图3(a)来说明图2的步骤S103中缺陷像素检测部2081所进行的缺陷像素检测操作(表示缺陷程度的值的计算)。这里，尽管示出使用中值滤波器的缺陷像素检测方法作为例子，但本发明不限于此，使得可以在不背离本发明的主旨的范围内适当进行修改。 

首先，如果在图2的步骤S102中判断为输入数字信号的对象像素是闪烁缺陷像素，则对该输入对象像素的数据以及该输入像素周围的像素的数据执行中值滤波操作。在这里所执行的中值滤波操作中，在相对于输入对象像素(例如，R(x+2，y+2))的纵横5×5个像素的范围内提取出颜色相同的图像的数据的中 心值，以利用所提取出的中心值替换该对象像素的值。如果对象像素例如位于摄像元件203的四个角的其中一角、并且无法提供纵横5×5个像素的范围，则对对象像素位于中心的最大范围(诸如纵横3×3个像素的范围等)进行中值滤波操作。 

参考临时存储在RAM 217中的正常缺陷像素的地址数据，以判断在进行了中值滤波操作的范围内是否存在任何正常缺陷像素。如果判断为处理范围内存在正常缺陷像素，则将正常缺陷像素排除在计算对象外，并使用除了正常缺陷像素以外的像素的数据来进行中值滤波操作。例如，在图3(a)中，如果对象像素是R(x+2，y+2)，则确定在从左上角的R(x，y)到右下角的R(x+4，y+4)的纵横5×5个像素的范围内接收光的R像素的中值。这里，例如，提取出R(x+4，y)作为缺陷像素，并且使用除R(x+4，y)以外的像素的数据来进行中值滤波操作。与R像素相同，分别在纵横5×5个像素的范围内对G像素和B像素进行中值滤波操作。 

接着，从原始像素数据中减去进行了中值滤波操作的像素数据，并且输出通过该相减所获得的值作为表示缺陷程度的值。这里，通过中值滤波操作所得的值与通过消除缺陷像素的影响并去除高频成分来进行平滑化所得的图像数据相对应。因此，当确定了平滑化后的像素数据和原始像素数据之间的差的绝对值时，获得了闪烁缺陷像素的突出值和高频成分。 

在缺陷像素检测操作中，将该差的绝对值与阈值进行比较以判断像素是否是缺陷像素。这里，将使用图3(b)和(c)来说明闪烁缺陷像素表现得像缺陷像素那样的情况、以及在闪烁缺陷像素处存在高频成分的情况。图3(b)示出闪烁缺陷像素表现得像缺陷像素那样时的输入数据，其中位于中心的R(x+2，y+2)像素是闪烁缺陷像素。这里，以括号表示的值(255)是输出信号水 平。通过对R(x+2，y+2)像素进行中值滤波操作来计算左上角的R(x，y)到右下角的R(x+4，y+4)的纵横5×5个像素的范围内的图像数据的中心值。 

median(R(x，y)～R(x+4，y+4))＝40         ...(1) 

接着，当确定了原始像素数据和进行了中值滤波操作的图像数据之间的差的绝对值时，计算表示缺陷程度的值。 

abs(R(x+2，y+2)-median(R(x，y)～R(x+4，y+4)))＝abs(255-40)＝215      ...(2) 

公式2的计算结果与当闪烁缺陷像素表现得像缺陷像素那样时、在图2的步骤S103中从缺陷像素检测部2081获得的输出相对应。 

图3(c)示出当在闪烁缺陷像素处存在高频成分时的输入数据，其中位于中心的R(x+2，y+2)像素是闪烁缺陷像素。当对R(x+2，y+2)像素进行中值滤波操作时，计算左上角的R(x，y)到右下角的R(x+4，y+4)的纵横5×5个像素的范围内的图像数据的中心值。 

median(R(x，y)～R(x+4，y+4))＝100      ...(3) 

接着，当确定了原始像素数据和进行了中值滤波操作的图像数据之间的差的绝对值时，计算表示缺陷程度的值。 

abs(R(x+2，y+2)-median(R(x，y)～R(x+4，y+4)))＝abs(200-100)＝100      ...(4) 

公式4的计算结果与当在闪烁缺陷像素处存在高频成分时、在图2的步骤S103中从缺陷像素检测部2081获得的输出相对应。 

图2的步骤S104所使用的阈值是考虑到在通过确定差的绝对值所得的输出值中所包括的由于闪烁缺陷像素而产生的成分(公式2的输出值)、以及由于高频成分而产生的成分(公式3的输 出值)而任意设置的。在图3(b)和(c)所示的例子中，图3(b)的由于缺陷而产生的输出被看作为表示缺陷，并且图3(c)的由于高频成分而产生的输出是不表示缺陷的值(例如，在公式2和公式4中大于或等于100且小于215的值)。 

即使使用与利用本实施例所论述的中值滤波器的缺陷像素检测方法不同的缺陷像素检测方法，也难以将由于缺陷而产生的输出与由于高频成分而产生的输出完全分离。因此，需要将阈值设置为如下的水平，其中在该水平处，针对位于例如振幅与闪烁缺陷像素的振幅相比相对较小的边缘处的高频成分，不会检测为缺陷。 

因此，在本实施例中，针对预先已被判断为闪烁缺陷像素的各像素来判断输出值是否是异常值。即使像素被判断为闪烁缺陷像素，当该像素的输出值不是异常值时，也可以通过保留原始正常输出值来提高图像的再现性。 

第二实施例

在第一实施例中，对在摄像元件的制造过程中检测到的闪烁缺陷像素进行缺陷检测。在这些闪烁缺陷像素中，在摄像元件的制造过程中进行检测之后一部分变为闪烁缺陷像素，并且一部分由于其闪烁周期长而在制造过程中未被检测到。因此，在第二实施例中，即使对于在制造过程中未被检测为正常缺陷像素和闪烁缺陷像素的未检出缺陷像素，也针对各拍摄操作相对于从摄像元件输出的信号进行判断这些像素是否是缺陷像素的检测操作。与第一实施例相同，对在摄像元件的制造过程中检测到的闪烁缺陷像素进行检测以再次判断这些闪烁缺陷像素是否是缺陷像素。在该检测中，提供了在对如下像素进行缺陷像素检测时所使用的阈值：制造过程中检测到的闪烁缺陷像素、以及未被检测为正常缺陷像素或闪烁缺陷像素的像素。这里， 对闪烁缺陷像素进行缺陷像素检测时所使用的阈值是第一阈值，并且对未检出缺陷像素进行缺陷像素检测时所使用的阈值是第二阈值。 

将参考图4的流程图来说明第二实施例中的缺陷像素检测校正部208的操作的流程。系统控制部215通过参考从ROM 216传送至RAM 217且临时存储在RAM 217中的控制程序、控制数据以及正常缺陷像素和闪烁缺陷像素的地址数据对各部进行控制来执行图4的流程图。 

在步骤S401中，缺陷像素检测校正部208的缺陷像素检测部2081参考临时存储在RAM 217中的正常缺陷像素的地址信息，并且判断从A/D转换器205输入的数字信号的像素是否是正常缺陷像素。 

如果在步骤S401中判断为输入数字信号的对象像素是正常缺陷像素，则该处理进入步骤S406，其中在步骤S406中，缺陷像素校正部2082进行缺陷像素校正操作以将处理后的图像数据输出至信号处理电路209。如果在步骤S401中判断为输入数字信号的对象像素不是正常缺陷像素，则该处理进入步骤S402。 

在步骤S402中，缺陷像素检测部2081对输入数字信号的对象像素进行缺陷像素检测操作，并且计算表示缺陷程度的值，之后该处理进入步骤S403。将缺陷像素检测结果(表示缺陷程度的值的计算结果)临时存储在RAM 217中，并且在后续步骤中参考该缺陷像素检测结果。 

在步骤S403中，缺陷像素检测部2081参考临时存储在RAM217中的闪烁缺陷像素的地址信息，并且判断输入数字信号的对象像素是否是闪烁缺陷像素。如果在步骤S403中判断为输入数字信号的对象像素是闪烁缺陷像素，则该处理进入步骤S404。 如果在步骤S403中判断为输入数字信号的对象像素不是闪烁缺陷像素，则该处理进入步骤S405。 

在步骤S404中，针对步骤S403中被判断为闪烁缺陷像素的对象像素，判断步骤S402中所计算出的表示缺陷程度的值是否大于或等于第一阈值。即，判断闪烁缺陷像素是否表现得像缺陷像素那样。如果在步骤S404中判断为表示对象像素的缺陷程度的值大于或等于第一阈值，则假定该对象像素表现得像缺陷像素那样，并且该处理进入步骤S406。在步骤S406中，缺陷像素校正部2082进行缺陷像素校正操作，并将处理后的图像数据输出至信号处理电路209以结束该处理。如果在步骤S404中表示对象像素的缺陷程度的值小于第一阈值，则假定输出正常像素信号，结果缺陷像素校正部2082不进行缺陷像素校正操作。然后，将输入像素的值原样输出至信号处理电路209以结束该处理。 

在步骤S405中，对于步骤S403中未被判断为闪烁缺陷像素的对象像素，判断步骤S402中所计算出的表示缺陷程度的值是否大于或等于第二阈值。如果在步骤S405中判断为表示对象像素的缺陷程度的值大于或等于第二阈值，则假定该对象像素是未检出缺陷像素，并且该处理进入步骤S406。在步骤S406中，缺陷像素校正部2082进行缺陷像素校正操作，并且将处理后的图像数据输出至信号处理电路209以结束该处理。如果在步骤S405中判断为表示对象像素的缺陷程度的值小于第二阈值，则假定输出正常像素信号，结果缺陷像素校正部2082不进行缺陷像素校正操作。然后，将输入像素的值原样输出至信号处理电路209以结束该处理。 

这里，与第一实施例所使用的阈值相同，需要将第一阈值设置为如下的水平，其中在该水平处，由于位于例如振幅与闪 烁缺陷像素的振幅相比相对较小的边缘处的高频成分而产生的输出不会被检测为缺陷。另外，与使用第一阈值时相比，需要将针对未检出缺陷像素的缺陷像素检测中所使用的第二阈值设置为像素被检测为缺陷像素的频率相对较低的值。这是因为，相对于制造过程中预先被检测为闪烁缺陷像素的像素，与摄像元件的像素数相比在数量上占主导的、在制造过程中未检测到缺陷的像素由于缺陷的错误检测对图像质量的不利影响很大。 

因此，第二阈值是如下的值：(诸如拍摄夜景时可能为被摄体的建筑物的灯光或星星等的)与类似点光源的闪烁缺陷像素相同的被摄体不被判断为缺陷像素。将参考图3(d)来说明当存在具有类似闪烁缺陷像素的点光源的形式的被摄体时使用中值滤波器的示例缺陷像素检测操作。 

图3(d)示出当存在具有类似闪烁缺陷像素的点光源的形式的被摄体时的输入数据，其中位于中心的R(x+2，y+2)像素是检测对象像素。这里，以括号表示的值(200)是输出信号水平。通过对R(x+2，y+2)像素进行中值滤波操作来计算在从左上角的R(x，y)到右下角的R(x+4，y+4)的纵横5×5个像素的范围内的图像数据的中心值。 

median(R(x，y)～R(x+4，y+4))＝60     ...(5) 

接着，当确定了原始像素数据与进行了中值滤波操作的图像数据之间的差的绝对值时，计算表示缺陷程度的值。 

abs(R(x+2，y+2)-median(R(x，y)～R(x+4，y+4)))＝abs(200-60)＝140        ...(6) 

公式6的计算结果与当存在具有类似闪烁缺陷像素的点光源的形式的被摄体时在图4的步骤S402中从缺陷像素检测部2081获得的输出值相对应。应当理解，当存在具有点光源的形式的被摄体时公式6的计算结果与当存在高频成分时公式4的计 算结果相比具有较大的值。另外，公式6的计算结果的该值是对象像素趋于被误判断为缺陷像素的值。 

因此，对于前面的图3(b)和(d)所示的例子，将第二阈值设置为图3(b)的缺陷像素的输出被看作缺陷、并且诸如图3(d)的类似闪烁缺陷像素的点光源等的被摄体的成分不被看作缺陷的值。另外，第二阈值与第一阈值相比相对较大(在公式2和6中，第二阈值大于或等于140且小于215，不同于第一阈值并且大于第一阈值)。 

因此，当考虑到类似缺陷像素的被摄体来确定第二阈值时，可以使由于误检测而产生的不利影响最小，并检测到对图像质量的不利影响极大的振幅大的缺陷像素。此外，考虑到缺陷像素校正部2082所进行的缺陷像素校正方法的校正精度，基于要检测的缺陷像素的振幅以及由于针对误检测到的像素的缺陷像素校正所导致的信号劣化程度来将第二阈值设置为可以使对图像质量的任何不利影响最小的任意值。这种设置使得可以获得最佳输出图像。 

在本实施例中，尽管缺陷像素检测所使用的阈值根据要检测的对象是闪烁缺陷像素还是未检出缺陷像素而改变，但本发明不限于此。例如，当像素相对于缺陷像素检测部2081所输出的值是未检出缺陷像素时，可以提供大于或等于1的增益以使得针对闪烁缺陷像素相对容易判断缺陷的发生。 

在本实施例中，与第一实施例相同，对于预先被判断为闪烁缺陷像素的像素，判断各对象像素的输出值是否异常。这使得可以在任意对象像素的输出值不是异常值的情况下尽可能保留任意正常输出值。此外，在制造过程中进行了缺陷像素检测之后对已变为缺陷像素的像素进行缺陷像素检测时，还可以检测新生成的缺陷像素。此外，如果在对制造过程中检测到的任 何闪烁缺陷像素再次进行缺陷检测时所使用的检测用阈值不同于在对制造过程中进行了检测之后所生成的任何缺陷像素再次进行缺陷检测时所使用的检测用阈值，则可以进行减少了对所拍摄图像的不利影响的操作。 

第三实施例

在第三实施例中，将说明与第二实施例的缺陷像素检测方法不同的缺陷像素检测方法的示例形式。在本实施例中，缺陷像素检测部2081的结构不同。其它结构特征与第二实施例的结构特征基本相同。根据本实施例的缺陷像素检测方法，通过提取期望的空间频率带宽的信号来将边缘或噪声与缺陷像素相互区分开。图5示出根据第三实施例的缺陷像素检测部2081的结构。以下将参考图5来详细说明该结构。在本实施例中，将采用检测到在G像素处产生的闪烁缺陷的情况作为例子来说明本实施例。 

在图5中，从A/D转换电路205将数字图像数据输入至缺陷像素检测部2081。首先，在零插入电路501中，如图6(a)所示，将零值插入至输入图像数据的除G像素以外的像素中。 

接着，在垂直方向低通滤波器(以下缩写为“LPF”)电路502中，例如对图像数据的垂直方向进行滤波系数为(1，2，1)的LPF操作。通过该垂直方向的LPF操作，如图6(b)所示，根据垂直方向上的像素对具有零值的像素进行插值，并且使用缺陷像素数据来对缺陷像素上下的像素进行插值。同样，在水平方向LPF电路503中，对图像数据的水平方向进行LPF操作。通过该水平方向的LPF操作，如图6(c)所示，根据水平方向上的像素对具有零值的像素进行插值，并且使用缺陷像素数据来对缺陷像素左右的像素进行插值。 

另外，在135度方向LPF电路504中，对图像数据的135度方 向进行LPF操作。通过该135度方向的LPF操作，如图6(d)所示，根据135度方向上的像素对具有零值的像素进行插值，并且使用缺陷像素数据来对在135度方向上邻接缺陷像素的像素进行插值。此外，在45度方向LPF电路505中，对图像数据的45度方向进行LPF操作。通过该45度方向的LPF操作，如图6(e)所示，根据45度方向上的像素对具有零值的像素进行插值，并且使用缺陷像素数据来对在45度方向上邻接缺陷像素的像素进行插值。 

随后，在用于截除直流成分的水平方向带通滤波器(以下缩写为“BPF”)电路506中，例如对垂直方向LPF电路502的输出数据的水平方向进行滤波系数为(-1，0，2，0，-1)的BPF操作。如图6(f)所示，由于在与LPF操作垂直的方向上进行BPF操作，因此不参考使用缺陷像素数据进行插值得到的像素。同样，在用于截除直流成分的垂直方向BPF电路507中，对水平方向LPF电路503的输出数据的垂直方向进行BPF操作。图6(g)示出该BPF操作的方向。 

在45度方向BPF电路508中，对135度方向LPF电路504的输出数据的45度方向进行BPF操作。图6(h)示出该BPF操作的方向。此外，在135度方向BPF电路509中，对45度方向LPF电路505的输出数据的135度方向进行BPF操作。图6(i)示出该BPF操作的方向。 

ABS(绝对值)电路510输出水平方向BPF电路506的输出数据的绝对值。ABS电路511输出垂直方向BPF电路507的输出数据的绝对值。ABS电路512输出45度方向BPF电路508的输出数据的绝对值。ABS电路513输出135度方向BPF电路509的输出数据的绝对值。 

另外，将从A/D转换电路205输出的数字图像数据输入至亮度信号生成电路514。亮度信号生成电路514基于以下的公式7， 根据由R、G和B拜尔模式构成的图像数据来生成亮度信号Y。 

Y＝0.299R+0.587G+0.114B    ...(7) 

将水平方向BPF电路506、垂直方向BPF电路507、45度方向BPF电路508和135度方向BPF电路509的输出输入至黑白缺陷判断电路518。黑白缺陷判断电路518参考表示正或负的符号，并且输出表示是否形成有缺陷的缺陷标志519(1位)、以及用于区别白缺陷(白点缺陷像素)与黑缺陷(黑点缺陷像素)的黑白标志520(1位)。 

如果所有的BPF操作结果的符号都相同，则缺陷标志519为1，并且如果BPF操作结果中的任一个不同，则缺陷标志519为0。当缺陷标志519为0时，对象像素不是缺陷像素，而当缺陷标志519为1时，对象像素是缺陷像素。黑白缺陷判断电路518将缺陷标志519供给至选择器521。选择器521是这样的：所供给的缺陷标志519作为选择信号而工作。 

如果所有的BPF操作结果的符号都为正，则黑白标志520为1，表示对象像素与白缺陷相对应，而如果所有的BPF操作结果的符号都为负，则黑白标志520为0，表示对象像素与黑缺陷相对应。黑白缺陷判断电路518将黑白标志520供给至阈值判断电路515。在阈值判断电路515中，通过将从ABS电路510～513输入的四个方向上的BPF检测结果的绝对值与任意设置的阈值(第一阈值或第二阈值)进行比较来判断对象像素是否是缺陷像素。 

这里，将参考图7来说明阈值判断电路515。缺陷水平转换电路701参考从ABS电路510输入的水平方向的BPF操作结果的绝对值，并且计算缺陷水平。缺陷水平转换电路702参考从ABS电路511输入的垂直方向的BPF操作结果的绝对值，并且同样地计算缺陷水平。缺陷水平转换电路703参考从ABS电路512输入的45度方向的BPF操作结果的绝对值，并且同样地计算缺陷水 平。缺陷水平转换电路704参考从ABS电路513输入的135度方向的BPF操作结果的绝对值。并且同样地计算缺陷水平。 

图8示出缺陷水平转换电路701～704的操作。图8的横轴表示从ABS电路510～513分别输入至相应的缺陷水平转换电路701～704的BPF操作之后的绝对值(即，表示缺陷程度的值)。图8的纵轴表示缺陷水平转换电路701～704各自的输出(8位)，并且表示缺陷像素的缺陷水平。如果缺陷水平为0，则对象像素不是缺陷像素，而如果缺陷水平为255，则对象像素是缺陷像素。大于0且小于255的缺陷水平是指无法容易地与正常像素和缺陷像素区分开的像素。 

图8(a)和(b)所示的阈值801和802是用于通过参考读入至RAM 217内的闪烁缺陷像素的地址数据而判断为处理中的像素是闪烁缺陷像素时的阈值。通过参考从黑白缺陷判断电路518输入的黑白标志520，可以分开进行缺陷是白缺陷时的阈值的设置以及缺陷是黑缺陷时的阈值的设置。这是因为，白缺陷的特性和黑缺陷的特性基于(后面所述的)亮度信号根据阈值的变化操作而不同。 

图8(c)和(d)所示的阈值803和804是用于通过参考读入至RAM 217内的闪烁缺陷像素的地址数据而判断为处理中的像素是未检出缺陷像素时的阈值。同样，可以分开进行缺陷是白缺陷时的阈值的设置以及缺陷是黑缺陷时的阈值的设置。将图8(a)和(b)所示的输入/输出关系应用于像素是闪烁缺陷像素的情况。阈值801是缺陷是白缺陷时的第一阈值，并且阈值802是缺陷是黑缺陷时的第一阈值。将图8(c)和(d)所示的输入/输出关系应用于像素是未检出缺陷像素的情况。阈值803是缺陷是白缺陷时的第二阈值，并且阈值804是缺陷是黑缺陷时的第二阈值。 

阈值801～804是通过将基于例如摄像设备的操作模式所确 定的任意设置值与从亮度信号生成电路514输入的亮度信号Y彼此相乘所获得的值。阈值基于亮度信号Y而改变的原因是因为采取措施抵抗随着亮度水平增大所引起的噪声增加。阈值根据噪声量而改变，并且亮度越高，阈值越大，使得噪声被判断为缺陷的频率较低。 

倾斜度805～808也是通过将基于例如摄像设备的操作模式所确定的任意设置值与从亮度信号生成电路514输入的亮度信号Y彼此相乘所获得的值。考虑到LPF、BPF的滤波器特性，将此时的阈值801和802设置为没有检测到残留的边缘成分的值。考虑到缺陷像素校正部81所进行的缺陷像素校正方法的校正精度，根据要检测的缺陷像素的水平以及诸如特性与缺陷像素的特性类似的点光源等的被摄体的输出信号水平，将阈值803和804设置为使对图像质量的任何不利影响最小的值。在图7的乘法器705～707中，输出缺陷水平转换电路701～704的所有输出的相乘结果作为通过针对对象像素的阈值判断所得的缺陷水平。 

将来自ABS电路510～513的四个方向的BPF操作结果的绝对值输入至图5的相关判断电路516。在相关判断电路516中，将所输入的四个方向的BPF操作结果的绝对值的大小相互比较以判断对象像素是否是缺陷像素。将参考图9来说明相关判断电路516。 

最大值选择电路901将从ABS电路510输入的水平方向的BPF操作结果的绝对值与从ABS电路511输入的垂直方向的BPF操作结果的绝对值相互比较以输出较大的值。最小值选择电路902将从ABS电路510输入的水平方向的BPF操作结果的绝对值与从ABS电路511输入的垂直方向的BPF操作结果的绝对值相互比较以输出较小的值。 

最大值选择电路903将从ABS电路512输入的45度方向的 BPF操作结果的绝对值与从ABS电路513输入的135度方向的BPF操作结果的绝对值相互比较以输出较大的值。最小值选择电路904将从ABS电路512输入的45度方向的BPF操作结果的绝对值与从ABS电路513输入的135度方向的BPF操作结果的绝对值进行比较以输出较小的值。 

最大值选择电路905将最大值选择电路901的输出与最大值选择电路903的输出相互比较以输出较大的值。该输出表示所有的四个方向的BPF操作结果的最大值。最小值选择电路906将最小值选择电路902的输出和最小值选择电路904的输出相互比较以输出较小的值。该输出表示所有的四个方向的BPF操作结果的最小值。 

在减法器907中，从最大值选择电路905的输出中减去最小值选择电路906的输出。由于相减结果表示四个方向的BPF操作结果的最大差、并且是通过从绝对值的最大值中减去绝对值的最小值所获得的，因此该相减结果总是为大于0的正值。缺陷水平转换电路908将作为减法器907的输出的四个方向的BPF操作结果的最大值与最小值之间的差转换成缺陷水平，并且输出该缺陷水平。 

图10示出缺陷水平转换电路908的操作。图10的横轴表示缺陷水平转换电路908的输入数据。图10的纵轴表示缺陷水平转换电路908的输出数据(8位)，并且这与缺陷水平相对应。缺陷水平为0表示像素不是缺陷像素，而缺陷水平为255表示像素是缺陷像素。当所输入的四个方向的BPF操作结果的最大值与最小值之间的差小于阈值1001时，输出缺陷水平255。大于0且小于255的缺陷水平表示无法容易地与正常像素和缺陷像素区分开的像素。 

阈值1001是通过将基于例如摄像设备的操作模式所确定的 任意设置值与从亮度信号生成电路514输入的亮度信号Y彼此相乘所获得的值。倾斜度1002也是通过将基于例如摄像设备的操作模式所确定的任意设置值与从亮度信号生成电路514输入的亮度信号Y彼此相乘所获得的值。相关判断电路516输出缺陷水平转换电路908的操作结果作为通过针对对象像素的相关判断所获得的缺陷水平。尽管阈值判断电路515的缺陷水平和相关判断电路516的缺陷水平均为8位，但这些缺陷水平不限于此。因此，位宽度可以彼此不同。 

图5的乘法器517将从阈值判断电路515输出的缺陷水平与从相关判断电路516输出的缺陷水平彼此相乘。这里，当噪声的水平高时，阈值判断电路515可能将噪声误判断为缺陷(缺陷像素)。相关判断电路516查看对象像素与在上下左右倾斜方向上围绕该对象像素的像素之间的差的变化。因此，如果噪声的水平高，则差改变，并且可以判断为噪声不是缺陷(不是缺陷像素)。即，相关判断电路516具有防止阈值判断电路515进行误判断的作用。 

作为对比，当对象像素不是缺陷像素时，从相关判断电路516输出的缺陷水平是这样的：四个方向的BPF操作结果都变为接近0的值。由于这些BPF操作结果的最大值和最小值之间的差同样变为接近0，对象像素可能被误判断为缺陷像素。为了防止这种误判断，阈值判断电路515需要在对象像素的水平与在上下左右倾斜方向上围绕该对象像素的像素的水平之间存在特定差时判断为对象像素是缺陷像素。 

当从黑白缺陷判断电路518输出的缺陷标志519为1(即，对象像素是缺陷像素)时，图5所示的选择器521输出乘法器517的计算结果作为缺陷水平K。当缺陷标志519为0(即，对象像素不是缺陷像素)时，输出0作为缺陷水平K，表示对象像素是正常 像素。将缺陷水平K从选择器521输出至缺陷像素校正部2082。 

接着，将参考图11来说明缺陷像素校正部2082。从A/D转换电路205将包括缺陷像素的图像数据输入至缺陷像素校正部2082，并且从缺陷像素检测部2081将缺陷水平K输入至缺陷像素校正部2082。校正值计算电路1101通过对从A/D转换电路205输入的包括缺陷像素的图像数据ORG提供诸如(1，0，1)等的不参考对象像素的系数滤波器来计算校正值COR。可以根据图像数据ORG进行边缘方向判断，并且参考边缘方向上的像素来确定校正值COR、或者进行前述的插值。 

接着，根据缺陷像素检测部2081所确定的缺陷水平K的值，加权相加电路1102对从A/D转换电路205输入的图像数据ORG以及校正值计算电路1101所计算出的校正值COR进行加权相加运算。例如，基于以下的公式来执行该加权相加运算。 

OUT＝COR×K+ORG×(255-K)       ...(8) 

缺陷水平K的值为0～255。当对象像素是正常像素时，K接近0，以使得输出信号ORG的值。当对象像素是缺陷像素时，K接近255，以使得输出信号COR的值。这样，利用校正值COR来替换对象像素的数据。 

至此为止，尽管已论述了G像素是缺陷像素的情况，但当R像素或B像素是缺陷像素时可以同样地执行上述操作。即，在除R像素以外的像素中插入零，或者在除B像素以外的像素中插入零，以在各方向上执行滤波。 

根据本实施例，当提取出期望的空间频率带宽的信号时，可以针对预先被判断为闪烁缺陷像素的像素来在边缘或噪声与缺陷像素之间进行区别。另外，即使对于未被预先判断为缺陷像素的缺陷像素，也可以通过改变阈值来执行用于减少对所拍摄图像的不利影响的缺陷像素校正操作。 

第四实施例

第四实施例的特征如下：摄像设备包括阈值计算部，该阈值计算部用于根据闪烁缺陷像素处于点亮状态的频率、即闪烁缺陷像素的输出信号是异常值的频率来改变缺陷检测所使用的阈值。该阈值计算部的输出是缺陷像素检测部2081对缺陷像素进行检测时所使用的阈值(在第二实施例和第三实施例中为第一阈值)。 

将参考图12来说明第四实施例的阈值计算部1201(阈值计算部件)。将预先存储在ROM 216中的闪烁缺陷像素的闪烁周期信息1205、用于调整阈值的阈值调整值1206以及基准阈值1207全部传送至RAM 17，临时存储在RAM 217中，并且输出至阈值计算部1201。这里，闪烁周期信息1205表示与闪烁缺陷像素处于点亮状态的频率、即闪烁缺陷像素的输出信号是异常值的频率有关的信息。 

闪烁率运算电路1202将输入至阈值计算部1201的闪烁周期信息1205转换成闪烁率信号1208。闪烁率信号1208是表示闪烁缺陷像素变为缺陷像素的比率的信号。例如，如果闪烁频率为4次中的1次，则输出1/4。将从闪烁率运算电路1202输出的闪烁率信号输入至乘法器1203，并且与阈值调整值1206进行相乘。接着，将乘法器1203的输出输入至减法器1204，并且从基准阈值1207中减去该输出。将减法器1204的输出输入至缺陷像素检测部2081并且变为缺陷像素检测部2081对闪烁缺陷像素进行缺陷像素检测时所使用的阈值。 

这里，基准阈值1207是当如图3(b)所示闪烁缺陷像素表现得像振幅相对大的缺陷像素那样时、由缺陷像素检测部2081检测为缺陷的值。阈值调整值1206是通过从基准阈值1207中减去当如图3(c)所示在闪烁缺陷像素处存在高频成分时缺陷像素检 测部2081所进行的缺陷检测操作S103的输出值所获得的值。在这种情况下，根据公式2和4，215-100＝115。 

当闪烁率信号1208是1/4时、以及当将1/4与阈值调整值1206相乘并且从基准阈值1207中减去该乘积时，输出 

“215-(115×(1/4))＝187    ...(9)”， 

并且该输出变为缺陷像素检测部2081进行缺陷像素检测时的阈值。 

因此，在本实施例中，通过根据闪烁缺陷像素处于点亮状态的频率而改变缺陷像素的检测所使用的阈值，来将频繁地表现得像缺陷像素那样的闪烁缺陷像素趋于检测为缺陷，由此使得可以减少由于闪烁缺陷像素所引起的图像质量劣化。由于闪烁缺陷像素不总是缺陷、并且闪烁率信号是小于1的值，因此当阈值调整值1206是由于闪烁缺陷像素而产生的成分与由于高频成分而产生的成分之间的差值时，即使对于闪烁周期相对短的闪烁缺陷像素，也可以减少因高频成分所引起的误检测。 

本发明不限于第一实施例至第四实施例中的任一实施例，使得可以在不背离本发明的主旨的范围内进行各种修改。 

本发明通过执行以下操作来实现。即，经由网络或各种存储介质向系统或装置供给用于执行上述实施例的功能的软件(程序)，并且该装置或系统的计算机(或者例如CPU或MPU)读出该程序以执行该程序。 

附图标记说明

203摄像元件 

208缺陷像素检测校正部 

2081缺陷像素检测部 

2082缺陷像素校正部 

215系统控制部 

216ROM 

217RAM 

1201阈值计算部 

Claims (4)

1.一种摄像设备，包括：

摄像元件，用于对来自被摄体的入射光进行光电转换；以及

校正部件，用于使用周围像素的输出信号值，对在所述摄像元件中不稳定地输出异常值的信号的闪烁缺陷像素的输出信号值进行校正，

其特征在于，所述摄像设备还包括：

存储部件，用于存储与所述闪烁缺陷像素的输出信号值为异常值的频率有关的信息；

阈值计算部件，用于根据与所述频率有关的信息来计算预定阈值；

判断部件，用于通过对所述闪烁缺陷像素的输出信号值和周围像素的输出信号值进行平滑化处理、计算所述闪烁缺陷像素的输出信号值与所述平滑化处理的结果之间的差的绝对值作为表示所述闪烁缺陷像素的缺陷程度的值、并且将表示所述缺陷程度的值与所述预定阈值进行比较，来判断所述闪烁缺陷像素的输出信号值是否是异常值；以及

控制部件，用于进行控制，以使得当所述判断部件判断为所述闪烁缺陷像素的输出信号值是异常值时、所述校正部件对所述闪烁缺陷像素的输出信号值进行校正，以及进行控制，以使得当所述判断部件判断为所述闪烁缺陷像素的输出信号值不是异常值时、所述校正部件不对所述闪烁缺陷像素的输出信号值进行校正。

2.一种摄像设备的缺陷像素校正方法，所述摄像设备包括用于对来自被摄体的入射光进行光电转换的摄像元件，所述缺陷像素校正方法包括以下步骤：

校正步骤，用于使用周围像素的输出信号值，对在所述摄像元件中不稳定地输出异常值的信号的闪烁缺陷像素的输出信号值进行校正；以及

控制步骤，用于对所述闪烁缺陷像素的输出信号值和周围像素的输出信号值进行平滑化处理，计算所述闪烁缺陷像素的输出信号值与所述平滑化处理的结果之间的差的绝对值作为表示所述闪烁缺陷像素的缺陷程度的值，并且将表示所述缺陷程度的值与预定阈值进行比较，以判断所述闪烁缺陷像素的输出信号值是否是异常值，从而进行控制，以使得当判断为所述闪烁缺陷像素的输出信号值是异常值时、在所述校正步骤中对所述闪烁缺陷像素的输出信号值进行校正，以及进行控制，以使得当判断为所述闪烁缺陷像素的输出信号值不是异常值时、在所述校正步骤中不对所述闪烁缺陷像素的输出信号值进行校正，

其特征在于，根据与所述闪烁缺陷像素的输出信号值为异常值的频率有关的信息来计算所述预定阈值。

3.一种摄像设备，包括：

摄像元件，用于对来自被摄体的入射光进行光电转换；以及

校正部件，用于使用周围像素的输出信号值，对在所述摄像元件中不稳定地输出异常值的信号的闪烁缺陷像素的输出信号值进行校正，

其特征在于，所述摄像设备还包括：

存储部件，用于存储与所述闪烁缺陷像素的输出信号值为异常值的频率有关的信息；

阈值计算部件，用于根据与所述频率有关的信息来计算预定阈值；

判断部件，用于通过将表示所述闪烁缺陷像素的缺陷程度的值与所述预定阈值进行比较，判断所述闪烁缺陷像素的输出信号值是否是异常值；以及

控制部件，用于进行控制，以使得当所述判断部件判断为所述闪烁缺陷像素的输出信号值是异常值时、所述校正部件对所述闪烁缺陷像素的输出信号值进行校正，以及进行控制，以使得当所述判断部件判断为所述闪烁缺陷像素的输出信号值不是异常值时、所述校正部件不对所述闪烁缺陷像素的输出信号值进行校正。

4.一种摄像设备的缺陷像素校正方法，所述摄像设备包括用于对来自被摄体的入射光进行光电转换的摄像元件，所述缺陷像素校正方法包括以下步骤：

校正步骤，用于使用周围像素的输出信号值，对在所述摄像元件中不稳定地输出异常值的信号的闪烁缺陷像素的输出信号值进行校正；以及

控制步骤，用于将表示所述闪烁缺陷像素的缺陷程度的值与预定阈值进行比较以判断所述闪烁缺陷像素的输出信号值是否是异常值，从而进行控制，以使得当判断为所述闪烁缺陷像素的输出信号值是异常值时、在所述校正步骤中对所述闪烁缺陷像素的输出信号值进行校正，以及进行控制，以使得当判断为所述闪烁缺陷像素的输出信号值不是异常值时、在所述校正步骤中不对所述闪烁缺陷像素的输出信号值进行校正，

其特征在于，根据与所述闪烁缺陷像素的输出信号值为异常值的频率有关的信息来计算所述预定阈值。