CN101188678A - 图像处理装置,图像处理方法及程序 - Google Patents
图像处理装置,图像处理方法及程序 Download PDFInfo
- Publication number
- CN101188678A CN101188678A CNA2007101927857A CN200710192785A CN101188678A CN 101188678 A CN101188678 A CN 101188678A CN A2007101927857 A CNA2007101927857 A CN A2007101927857A CN 200710192785 A CN200710192785 A CN 200710192785A CN 101188678 A CN101188678 A CN 101188678A
- Authority
- CN
- China
- Prior art keywords
- pixel
- defectiveness
- defect
- defective
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 83
- 238000003672 processing method Methods 0.000 title description 6
- 230000007547 defect Effects 0.000 claims abstract description 733
- 230000002950 deficient Effects 0.000 claims abstract description 487
- 238000001514 detection method Methods 0.000 claims abstract description 420
- 238000012937 correction Methods 0.000 claims abstract description 113
- 238000000034 method Methods 0.000 claims description 241
- 230000006735 deficit Effects 0.000 claims description 20
- 238000013459 approach Methods 0.000 claims 6
- 238000012360 testing method Methods 0.000 description 203
- 230000015654 memory Effects 0.000 description 146
- 238000007689 inspection Methods 0.000 description 96
- 238000003860 storage Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000001915 proofreading effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000000080 chela (arthropods) Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
提供了一种图像处理装置、图像处理方法及程序。在图像处理装置中,缺陷检测单元通过将在经由图像传感器多次执行的图像拍摄操作捕获的多个图像的每个像素位置处检测到的最大像素值与用于检测白色有缺陷像素的阈值进行比较,和/或通过将在所述多个图像的每个像素位置处检测到的最小像素值与用于检测黑色有缺陷像素的阈值进行比较,来检测有缺陷像素及其缺陷等级。有缺陷像素选择单元选择预定多个具有高缺陷程度的有缺陷像素,并将与预定多个选择的有缺陷像素相关联的缺陷数据记录在缺陷数据表内。缺陷校正单元根据缺陷数据表内登记的缺陷数据校正从图像传感器输出的图像的像素的像素值。
Description
对相关申请的交叉参考
本发明包含与在2006年11月20日在日本专利局提交的日本专利申请JP2006-313183相关的主题,其全部内容在此引入作为参考。
技术领域
本发明涉及一种图像处理装置、图像处理方法以及图像处理程序,并尤其涉及一种适合于以非常可靠的方式校正静态照相机或摄像机内的有缺陷像素的图像处理装置、图像处理方法以及图像处理程序。
背景技术
在数字静态照相机、数字摄像机或类似相机中,通过使用图像传感器(固态图像传感器)例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器感测图像并将光学图像信号转换成对应的电信号来拍摄图像。
图像传感器的所有像素并不一定都是正常的,并且在一些像素会出现缺陷。如果出现缺陷,则具有有缺陷像素的图像传感器的图像输出会发生在有缺陷像素处像素值偏离正确值的情况,这会导致图像变得不自然。
应指出,图像传感器的像素出现缺陷,并且图像传感器的缺陷会导致图像传感器的图像输出具有对应于有缺陷像素的异常点。但是,在下文中,为了便于说明,其中图像传感器具有有缺陷像素的状况还将被称为“图像具有有缺陷像素”。
为了防止相机产生由有缺陷像素导致的不自然的图像,希望检测有缺陷像素并校正检测出的有缺陷像素的像素值。
有缺陷像素的检测以及有缺陷像素的像素值的校正例如可如下地执行。
一种检测有缺陷像素的方法是将图像传感器拍摄的图像(下文被简称为图像)的每个像素的像素值与预定的阈值进行比较,并基于比较结果确定每个像素是否有缺陷。
一种校正有缺陷像素的像素值的方法是根据合适的算法由接近有缺陷像素的像素的像素值确定每个有缺陷像素的正确像素值。另一种方法是根据指示每个有缺陷像素的缺陷的程度的缺陷等级确定每个有缺陷像素的正确像素值。
用于检测有缺陷像素的阈值可以是预先确定的固定阈值,或根据接近其像素值与阈值进行比较的所关心的像素的像素的像素值动态确定的可变阈值。
在通过比较所关心的像素的像素值与预定阈值来确定图像的所关心像素是否有缺陷的方法中,如果阈值是根据接近所关心像素的像素的像素值动态确定的,则然后该方法等同于其中基于接近所关心的像素的像素的阈值确定预计像素值的方法,并且关于所关心的像素是否有缺陷的确定是通过判断所关心的像素的像素值与预计像素值之间的差是否在容许的小范围内做出的。
例如,在阈值设定为等于与所关心的像素相邻的像素的像素值p加上固定余量C,即阈值被设定为p+C的情况下,如果所关系的像素具有像素值v,则然后通过判断像素值v是否大于阈值p+C做出的关于所关心的像素是否有缺陷的确定等同于这样的确定,即该确定是通过将与所关心的像素相邻的像素的像素值p用作预计像素值,并判断所关心的像素的像素值v和预计像素值p之间的差(v-p)是否在等于余量C的小范围内做出的。
关于所关心的像素是否有缺陷的确定如上所述是基于所关心的像素的像素值相对于阈值的相对值做出的。这意味着,如果有缺陷像素具有接近阈值的像素值,则像素值的波动会导致关于所关心的像素是否有缺陷的确定在肯定结论和否定结构之间变动。
一种防止上述问题并提高检测有缺陷像素的可靠性的技术是多次估计每个像素的像素值。更准确地说,对于通过多次执行的摄影操作被图像传感器捕获的多个图像中的每一个图像,比较每个像素的像素值与阈值。如果在具体像素处进行的缺陷检测次数大于预定值,则可确定在此像素位置的像素有缺陷(例如,见日本未审查专利申请公开号04-115785或日本未审查专利申请公开号2005-341244)。
发明内容
有缺陷像素可分为两类,即永久性有缺陷像素和间歇性有缺陷像素。永久性有缺陷像素总是处于像素有缺陷的状态下。相反,间歇性有缺陷像素有时处于有缺陷状态但是其他时间处于无缺陷状态。
因此,在其中对在每个像素位置处检测到有缺陷状态的发生次数计数的方法中,并且如果具体像素的有缺陷状态检测的出现次数大于阈值,则此像素被认为是有缺陷像素,间歇性有缺陷像素有可能被不正确地认为是无缺陷像素。
间歇性有缺陷像素的有缺陷状态的出现频率越高,则检测到缺陷的发生次数也越大,从而间歇性有缺陷像素被检测为有缺陷像素的可能性越高。
相反,间歇性有缺陷像素的有缺陷状态的出现频率越低,则缺陷的检测的发生次数也越小,从而间歇性有缺陷像素被检测为有缺陷像素的可能性越低。此外,在基于缺陷的检测的发生次数检测有缺陷像素的方法中,根据基准值,具有低的有缺陷状态出现频率的间歇性有缺陷像素可能不会被检测为有缺陷像素。
在基于缺陷的检测的发生次数检测有缺陷像素的方法中,如上所述,具有高的有缺陷状态出现频率且具有低缺陷等级的间歇性有缺陷像素被检测为有缺陷像素的可能性高,但是具有低的有缺陷状态出现频率且具有高缺陷等级的间歇性有缺陷像素被检测为有缺陷像素的可能性低。
因此,尽管被检测为有缺陷像素的具有低缺陷等级的间歇性有缺陷像素被校正,但是没有被检测为有缺陷像素的具有高缺陷等级的间歇性有缺陷像素没有被校正。
在图像中,具有高缺陷等级的有缺陷像素比具有低缺陷等级的有缺陷像素更明显。因此,希望从具有最高缺陷等级的有缺陷像素开始按缺陷等级的降序校正有缺陷像素的像素值。
鉴于上文,希望提供一种以非常可靠的方式校正有缺陷像素的技术。
根据本发明的一个实施例,提供了一种适于处理从图像感测部件输出的图像的图像处理装置,其包括用于检测有缺陷像素的缺陷检测部件、以及用于根据其中登记了与缺陷检测部件检测到的有缺陷像素相关联的缺陷数据的缺陷数据表来校正从图像感测部件输出的图像的像素的像素值的缺陷校正部件,其中该缺陷检测部件包括白色缺陷检测部件和黑色缺陷检测部件中的至少一个,白色缺陷检测部件适于通过将在经由图像感测部件多次执行的图像拍摄操作捕获的多个图像的每个像素位置处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,黑色缺陷检测部件适于通过将在所述多个图像的每个像素位置处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,并且缺陷检测部件还包括有缺陷像素选择部件,该有缺陷像素选择部件用于基于缺陷等级选择预定多个具有高缺陷程度的有缺陷像素,并将与所述预定多个选择的有缺陷像素相关联的缺陷数据登记在缺陷数据表内。
根据本发明的一个实施例,提供了一种处理从图像感测部件输出的图像的方法/计算机程序,其包括检测有缺陷像素、并根据其中登记了与在有缺陷像素检测步骤内检测到的有缺陷像素相关联的缺陷数据的缺陷数据表,校正从图像感测部件输出的图像的像素的像素值的步骤,其中缺陷检测步骤包括白色缺陷检测步骤和黑色缺陷检测步骤中的至少一个,白色缺陷检测步骤包括通过将在经由图像感测部件多次执行的图像拍摄操作捕获的多个图像的每个像素位置处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,黑色缺陷检测步骤包括通过将在所述多个图像的每个像素位置处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,以及所述缺陷检测步骤还包括基于缺陷等级选择预定多个具有高缺陷程度的有缺陷像素,并将与所述预定多个选择的有缺陷像素相关联的缺陷数据登记在缺陷数据表内的步骤。
在图像处理装置和图像处理方法/程序中,检测有缺陷像素,并根据其中登记了与有缺陷像素相关联的缺陷数据的缺陷数据表,校正从图像感测部件输出的图像的像素的像素值。有缺陷像素的检测包括白色缺陷检测过程或黑色缺陷检测过程中的至少一个或全部。白色缺陷检测过程包括通过将在经由图像感测部件多次执行的图像拍摄操作捕获的多个图像的每个像素位置处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级。黑色缺陷检测过程包括通过将在所述多个图像的每个像素位置处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级。基于缺陷等级,选择预定多个具有高缺陷程度的有缺陷像素,并将与所述预定多个选择的有缺陷像素相关联的缺陷数据登记在缺陷数据表内。
计算机程序可经由传输介质或存储介质被提供。
本发明使得可以以非常可靠的方式校正有缺陷像素的像素值。
附图说明
图1是示出根据本发明的一个实施例的数字静态照相机的配置的示例的框图;
图2是示出照相机系统LSI的配置的示例的框图;
图3是示出照相机信号处理单元的配置的示例的框图;
图4是示出缺陷处理单元的配置的示例的框图;
图5是示出缺陷检测单元的配置的示例的框图;
图6示出使用绝对阈值检测白色有缺陷像素的方法的示例;
图7示出确定固定阈值的方式的示例;
图8示出使用可变阈值检测外色有缺陷像素的方法的示例;
图9示出确定所关心像素的预计像素值的方法的示例;
图10是示出使用绝对阈值检测黑色有缺陷像素的方法的示例;
图11示出使用可变阈值检测黑色有缺陷像素的方法的示例;
图12示出缺陷数据表的示例;
图13是示出缺陷校正单元的配置的示例的框图;
图14是示出缺陷检测过程的流程图;
图15是示出白色缺陷检测过程的流程图;
图16是示出黑色缺陷检测过程的流程图;
图17是示出缺陷校正过程的流程图;
图18是示出缺陷处理单元的配置的另一个示例的框图;
图19是示出缺陷检测单元的配置的示例的框图;
图20示出确定缺陷类型的方法;
图21示出缺陷数据表的示例;
图22是示出缺陷校正单元的配置的示例的框图;
图23是示出缺陷检测过程的流程图;
图24是示出白色缺陷检测过程的流程图;
图25是示出黑色缺陷检测过程的流程图;
图26是示出缺陷校正过程的流程图;
图27是示出缺陷校正过程的流程图;
图28是示出缺陷处理单元的配置的另一个实施例的框图;
图29是示出缺陷检测单元的配置的另一个实施例的框图;
图30示出缺陷数据表的示例;
图31是示出缺陷检测过程的流程图;
图32是示出白色缺陷检测过程的流程图;
图33是示出黑色缺陷检测过程的流程图;
图34是示出计算机的配置的示例的框图。
具体实施方式
在说明本发明的实施例之前,下面将讨论本发明的特征与本发明的实施例内公开的特定元素之间的对应性。此说明是用于确保支持本发明的实施例在此说明书内被说明。因此,即使下面的实施例中的元素并未被描述为与本发明的特定特征有关,这也不一定意味着该元素与权利要求的该特征无关。相反,即使元素在此被描述为与本发明的特定特征有关,这也不一定意味着该元素与本发明的其他特征无关。
根据本发明的一个实施例,提供了一种适于处理从图像感测部件(例如,图4内所示的图像传感器4)输出的图像的图像处理装置(例如,图1内所示的数字静态照相机),该图像处理装置包括用于检测有缺陷像素的缺陷检测部件(例如,图4内所示的缺陷检测单元103或图28内所示的缺陷检测单元303)、和缺陷校正部件(例如,图4内所示的缺陷校正单元101或图28内所示的缺陷校正单元201),该缺陷校正部件用于根据其中登记有与该缺陷检测部件检测到的有缺陷像素相关联的缺陷数据的缺陷数据表,校正从图像感测部件输出的图像的像素的像素值。在此图像处理装置中,缺陷检测部件包括白色缺陷检测部件(例如,图5内所示的白色缺陷检测单元121或图29内所示的白色缺陷检测单元321)和黑色缺陷检测部件(例如,图5内所示的黑色缺陷检测单元122或图29内所示的黑色缺陷检测单元322)中的至少一个,其中白色缺陷检测部件适于通过将在经由图像感测部件多次执行的图像拍摄操作捕获的多个图像的每个像素位置检测到的最大像素值与用于检测白色缺陷的阈值进行比较,来检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,黑色缺陷检测部件适于通过将在所述多个图像的每个像素位置检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,来检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级。缺陷检测部件还包括有缺陷像素选择部件(例如,图5内所示的有缺陷像素选择单元123或图29内所示的有缺陷像素选择单元323),该有缺陷像素选择部件用于基于缺陷等级选择预定的多个具有高缺陷等级的有缺陷像素,并将与所述预定的多个被选择的有缺陷像素相关联的缺陷数据登记在缺陷数据表内。
根据本发明的一个实施例,提供了一种处理从图像感测部件输出的图像的方法/计算机程序,其包括(例如,在图14或31内所示的缺陷检测过程内)检测有缺陷像素的步骤、以及(例如,在图17、26或27内所示的缺陷校正过程中)根据其中登记与该有缺陷像素检测步骤检测到的有缺陷像素相关联的缺陷数据的缺陷数据表来校正从图像感测部件输出的图像的像素的像素值的步骤。在此图像处理方法/程序中,缺陷检测步骤包括白色缺陷检测步骤(例如,图14内所示的步骤S11或图31内所示的步骤S151)和黑色缺陷检测步骤(例如,图14内所示的步骤S12或图31内所示的步骤S152)的至少一个,其中白色缺陷检测步骤包括通过将在经由图像感测部件多次执行的图像拍摄操作捕获的多个图像的每个像素位置检测到的最大像素值与用于检测白色缺陷的阈值进行比较,来检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,黑色缺陷检测步骤包括将在所述多个图像的每个像素位置检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,来检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级。
缺陷检测步骤还包括基于缺陷等级选择预定的多个具有高缺陷等级的有缺陷像素,并将与所述预定的多个被选择的有缺陷像素相关联的缺陷数据登记在缺陷数据表内的步骤(例如,图14内所示的步骤S13或S14,或图31内所示的步骤S153或S154)。
现在,下文将参照附图说明本发明的具体实施例。
图1示出根据本发明的一个实施例的数字静态照相机的配置的示例。
包括对焦透镜、变焦透镜和其他透镜的透镜单元1用于经由光阑2和快门3将入射光聚焦在图像传感器4上。
光阑2通过控制光从中通过的孔径的大小调节经由镜头单元1入射在图像传感器4上的光量。快门3通过遮挡图像传感器4上的入射光控制曝光时间。当光阑2被配置成也用作快门时可除去快门3。
图像传感器4由CCD或CMOS成像器实现,并且用于感测图像并输出对应于该图像的电子信号。更准确地说,图像传感器4根据定时发生器5输出的驱动脉冲执行光电转换,从而入射在图像传感器4上的光被转换成对应于入射光的量的电信号,并且结果电信号被输出作为图像信号。图像传感器4输出的电信号被提供给前端单元6。
在图像传感器4的光入射在其上的表面上,例如以拜耳阵列的形式设置多个滤色器(未示出),从而图像传感器4的每个像素接收具有特定颜色的光并输出该特定颜色的像素值。
定时发生器5与水平同步信号和垂直同步信号同步地输出驱动脉冲以驱动图像传感器4。当图像传感器4具有电子快门功能时,定时发生器5还控制电子快门操作。通过控制电子快门以高速或低速操作,可控制曝光。
前端单元6包括采样保持电路,增益控制电路和模数转换器,并用于对图像传感器4提供的图像信号执行预处理。更准确地说,在前端单元6中,图像传感器4输出的图像信号受到双重相干采样以便除去噪声,并受到增益控制处理以便调节信号电平,结果模拟图像信号受到模数转换。得到的数字信号数据被从前端单元6输出到相机系统LSI(大规模集成电路)7。
在相机系统LSI 7中,前端单元6提供的图像数据受到相机信号处理包括缺陷校正、数字钳形、白平衡校正、伽马校正和插值。由相机信号处理获得的包含RGB(红、绿和蓝)像素值的图像数据被提供给图像监视器8。相机系统LSI 7还将RGB图像数据转换成包含亮度信号Y以及色差信号Cb和Cr的图像数据。
根据需要,相机系统LSI 7根据例如JPEG(联合图像专家组)标准对图像数据编码,并将结果编码数据提供给图像存储器9或外部存储介质10。
相机系统LSI 7从图像存储器9或外部存储介质10读取编码数据,将读取的数据解码成图像数据,并将结果图像数据提供给图像监视器8。
图像监视器8例如由液晶面板实现,并用于根据从相机系统LSI7提供的图像数据显示图像。操作数字静态照相机的用户可通过查看图像显示器8上显示的图像来检查构图。
图像存储器9由例如半导体存储器例如SDRAM(同步动态随机存储器)实现,并用于临时存储相机系统LSI 7提供的编码数据以及相机系统LSI 7执行的处理中所必需的其他数据。
外部存储介质10例如由可拆装地连接到图1所示的数字静态照相机上的半导体存储器实现,并且用于存储器相机系统LSI 7提供的编码数据。外部存储介质10可被从数字静态照相机中取出并被用户携带。
微型计算机11执行ROM(只读存储器)13或非易失性存储器14内存储的程序以控制光阑2、快门3、定时发生器5、前端单元6和相机系统LIS 7。
操作单元12包括快门按钮,该快门按钮被操作以捕获图像传感器4感测的图像数据并将捕获的图像数据存储在外部存储介质10内,被操作用于调节变焦的变焦按钮以及其他各种按钮。当用户操作这些按钮之一时,对应于用户执行的操作的操作信号被提供给微型计算机11。
ROM 13用于存储被微型计算机11执行的程序以及在该程序的执行中所必需的数据。
非易失性存储器14存储被微型计算机11执行的程序。非易失性存储器14还存储被微型计算机11执行的各种过程中所必需的数据。
图2示出图1所示的相机系统LSI 7的配置的示例。
相机系统LSI 7包括相机信号处理单元31,图像检测器32,微型计算机接口33,存储器接口34,存储器控制器35,图像压缩/解压缩单元36和监视器接口37。在相机系统LSI 7中,上述部件例如相机信号处理单元31和监视器接口37经由数据总线相互连接,从而可在它们之间传递图像数据、控制数据以及其他数据。
相机信号处理单元31校正从图像传感器4经由前端单元6提供的图像数据的缺陷。相机信号处理单元31还在输入的图像数据上执行数字信号处理包括插值、过滤、矩阵处理、亮度信号生成和色彩信号生成,从而生成包含像素值的数据信号,其中每个像素值均用亮度信号和色差信号(色彩信号)表示。
图像检测器32对从图像检测器4经由前端单元6提供的图像数据执行检测处理,以获得用于自动对焦(AF)控制,自动曝光(AE)控制以及自动白平衡(AWB)控制的基准值。
微型计算机接口33用作与微型计算机11的接口。相机系统LSI7和微型计算机11之间的图像数据或控制信号的传输经由微型计算机接口33执行。
存储器接口34用作与图像存储器9或外部存储介质10的接口。即,相机系统LIS 7和图像存储器9或外部存储介质10之间的图像数据(将表现为编码形式)的传输经由存储器接口34执行。
存储器控制器35控制相机系统LSI 7的各个功能块之间的(经由数据总线的)图像数据传输。
图像压缩/解压缩单元36将供给的图像数据编码成压缩形式并输出结果编码数据。当图像压缩/解压缩单元36接收到编码数据时,图像压缩/解压缩单元36将被供给的编码数据解码成图像数据的解压缩形式,并输出结果图像数据。
监视器接口37将被供给的图像数据转换成用于图像监视器8使用的格式(图1),并将结果格式被转换的图像数据提供给图像监视器8。例如,当图像监视器8配置成根据NTSC(国家电视系统委员会)标准显示图像时,NTSC编码器被用作监视器接口37。
图3示出图2所示的相机信号处理单元31的配置的示例。
相机信号处理单元31包括缺陷处理单元51和数字信号处理单元52。
当图像数据被从图像传感器4经由前端单元6提供给相机信号处理单元31时,图像数据被提供给缺陷处理单元51。
缺陷处理单元51在图像传感器4提供的图像数据上执行缺陷检测过程以检测有缺陷像素,并根据需要执行缺陷校正过程以校正检测到的有缺陷像素的像素值,并且将结果图像数据提供给数字信号处理单元52。
数字信号处理单元52在缺陷处理单元51提供的图像数据上执行数字信号处理例如插值过程,并输出包含像素值的结果图像数据,其中每个像素值均用亮度信号和色差信号表示。
缺陷处理单元51和数字信号处理单元52被微型计算机11经由微型计算机接口33控制。
如果用户操作操作单元12以发出执行缺陷检测过程的命令,则对应于用户执行的操作从操作单元12输出缺陷检测命令信号作为操作信号,并且该信号经由微型计算机11和微型计算机接口13被提供给缺陷处理单元51。如果缺陷处理单元51从微型计算机接口33接收到缺陷检测命令信号,则缺陷处理单元51执行缺陷检测过程。
图4示出图3内所示的缺陷处理单元5的配置的示例。
在图4内所示的示例中,缺陷处理单元51包括缺陷校正单元51,缺陷数据表存储器102和缺陷检测单元103。
缺陷校正单元101接收从图像传感器4(图1)经由前端单元6输出的图像数据。下文,图像传感器4输出的这种图像数据将被简称为图像数据。缺陷校正单元101执行缺陷校正过程,以根据缺陷数据表存储器102内存储的缺陷数据表内记录的有缺陷像素的缺陷数据校正从图像传感器4输出的图像数据的像素值,并且缺陷校正单元101将由该缺陷校正过程获得的被校正的结果数据提供给数据信号处理单元52(图3)。
缺陷数据表存储器102存储缺陷数据表,在该缺陷数据表中描述了与缺陷检测单元103检测到的有缺陷像素相关联的缺陷数据。
缺陷数据表存储器102可例如使用非易失性存储器例如RAM(随机存取存储器)或EEPROM(电可擦除可编程只读存储器)实现。
在缺陷数据表存储器102使用非易失性存储器实现的情况下,每当图1内所示的数字静态照相机的电源被开通时,缺陷数据表被从图1内所示的非易失性存储器14经由微型计算机11(图1)和微型计算机接口33(图2)读入相机信号处理单元31(图3)的缺陷处理单元51内的缺陷数据表存储器102。
在缺陷数据表存储在图1所示的非易失性存储器104内的情况下,缺陷数据表可被编码成压缩形式,并且被编码的缺陷数据表可存储在非易失性存储器104内。在此情况下,当缺陷数据表被读入缺陷数据表存储器102时,被编码的缺陷数据表被解码成解压缩形式,并且结果解码缺陷数据表存储在缺陷数据表存储器102内。缺陷数据表的编码和解码可通过微型计算机11(图17)执行。
缺陷检测单元103被供给将用于有缺陷像素检测过程的测试图像数据。对于测试图像数据,可使用图像传感器4输出的且还未经受缺陷校正过程的图像数据,或者图像传感器4输出的且已经经受缺陷校正单元101执行的缺陷校正过程的图像数据。
如果缺陷检测单元103接收到测试图像数据,则缺陷检测单元103执行缺陷检测过程以检测有缺陷像素,并且缺陷检测单元103将与检测到的有缺陷像素相关联的缺陷数据记录在缺陷数据表存储器102内的缺陷数据表内。
下文将更详细地说明以上述方式配置的缺陷处理单元51执行的缺陷检测过程和缺陷校正过程。
如果用户操作图1内所示的操作单元12以发出执行缺陷检测过程的命令,则对应于用户执行的操作从操作单元12输出缺陷检测命令信号作为操作信号,并且该信号被提供给微型计算机11。
如果微型计算机11从操作单元12接收到缺陷检测命令信号,则微型计算机11将操作模式从其中以正常方式摄影的正常模式转换到缺陷检测模式以检测缺陷。微型计算机11然后控制定时发生器5(图1),以便图像传感器4多次拍摄图像。
由图像传感器4执行的摄影操作获得的多帧图像数据或校正图像数据被作为测试图像数据提供给缺陷检测单元103。
微型计算机11经由微型计算机接口33(图2)控制相机信号处理单元31内的缺陷处理单元51的缺陷检测单元103以执行缺陷检测过程。
在微型计算机11的控制下,缺陷检测单元103如下所述地执行缺陷检测过程。如果缺陷检测单元103从图像传感器4接收到多帧测试图像数据,则缺陷检测单元103检测有缺陷像素,并将与检测到的有缺陷像素相关联的缺陷数据记录在缺陷数据表存储器102内的缺陷数据表内。
如果缺陷检测单元103已经将缺陷数据记录在缺陷数据表内,则微型计算机11将操作模式从缺陷检测模式转换到正常模式。
在缺陷数据表存储器102内的缺陷数据表具有原有缺陷数据的情况下,缺陷检测单元103产生的新缺陷数据被存储在缺陷数据表内,从而原有缺陷数据被新缺陷数据覆写。
在以正常模式操作时,如果图像传感器4拍摄图像并且结果图像数据被供给缺陷校正单元101,则缺陷校正单元101执行缺陷校正操作。
更准确地说,缺陷校正单元101根据需要根据缺陷数据表存储器102内存储的缺陷数据表校正接收到的测试图像数据的像素值,并将由缺陷校正过程获得的被校正的图像数据提供给数字信号处理单元52(图3)。
图5示出图4内所示的缺陷检测单元103的配置的示例。
缺陷检测单元103包括白色缺陷检测单元121,黑色缺陷检测单元122和有缺陷像素检测单元123。
白色像素检测单元121包括最大值检测单元130和有缺陷像素检测单元134,并用于通过将在经由图像传感器4多次执行的摄影操作捕获的测试图像的每个像素处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,来检测具有高于正常像素值的像素值的有缺陷像素(在下文,这种有缺陷像素将被称为白色有缺陷像素)。当检测到有缺陷像素时,白色缺陷检测单元121还检测用于指示有缺陷像素的缺陷的程度的缺陷等级。
更准确地说,在上述过程中,如果最大值检测单元130接收经由图像传感器4多次执行的测试图像拍摄操作获得的多帧测试图像数据,则包含比较器131、像素选择单元132和帧存储器133的最大值检测单元130检测多帧测试图像数据的每个像素位置处的像素值的最大值。
更准确地说,在上述最大值检测过程中,比较器131将提供给白色缺陷检测单元121的测试图像数据的每个像素的像素值与帧存储器133内已经存储的对应像素的像素值进行比较。比较器131检测每个像素的两个像素值的较大像素值,并将检测到的较大像素值提供给像素选择单元132。
除了从比较器131提供的像素值之外,像素选择单元132还接收被提供给白色像素检测单元121的测试图像数据的所关心的像素的像素值。对于在缺陷检测模式下被提供给白色缺陷检测单元121的多帧测试图像数据的第一帧测试图像数据,像素选择单元132选择第一帧的所关心像素的像素值,并将选择的像素值提供给帧存储器133。
对于在缺陷检测模式下被提供给白色缺陷检测单元121的多帧测试图像数据的第二以及下一帧测试图像数据,像素选择单元132选择从比较器131供给的像素值,并将选择的像素值提供给帧存储器133。
帧存储器133存储像素选择单元132提供的像素值作为所关心的像素的像素值。
有缺陷像素检测单元134比较帧存储器133内存储的像素值与用于检测白色缺陷的阈值。如果帧存储器133内存储的像素值等于或大于用于检测白色缺陷的阈值,则对应于此像素值的像素被确定为是白色有缺陷像素。有缺陷像素检测单元134还检测由白色有缺陷像素的像素值与用于检测白色缺陷的阈值之间的差限定的白色有缺陷像素的缺陷等级。有缺陷像素检测单元134将指示白色有缺陷像素的位置的有缺陷像素坐标和缺陷等级作为与白色有缺陷像素相关联的缺陷数据提供给有缺陷像素选择单元123。
应指出,在白色缺陷检测单元121执行的白色有缺陷像素检测中使用的测试图像数据是由图像传感器4通过在快门3(图1)关闭的状态下多次执行摄影操作捕获被照物的图像获得的。
在快门3关闭的状态下由图像传感器4捕获的图像数据的每个像素的像素值对应于如果该像素无缺陷的黑色等级。因此,将用于检测白色缺陷的阈值设定为不会被认为是黑色等级的最小值是合理的。
可选择地,用于检测白色缺陷的阈值可基于测试中接近所关心像素的像素的像素值确定。
黑色缺陷检测单元122包括最小值检测单元140和有缺陷像素检测单元144,并用于通过将在经由图像传感器4多次执行的摄影操作捕获的测试图像数据的每个像素处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,来检测具有低于正常像素值的像素值的有缺陷像素(下文,这种像素将被称为黑色有缺陷像素)。当检测到有缺陷像素时,黑色缺陷检测单元122还检测指示有缺陷像素的缺陷的程度的缺陷等级。
更准确地说,在上述过程中,最小值检测单元140接收经由图像传感器4多次执行的测试图像拍摄操作获得的多帧测试图像数据。最小值检测单元140包括比较器141,像素选择单元142和帧存储器143,并检测多帧测试图像数据的每个像素位置处的像素值的最小值。
更准确地说,在如上所述的最小值检测过程中,比较器141将提供给黑色缺陷检测单元122的测试图像数据的每个像素的像素值与帧存储器143内已经存储的对应像素的像素值进行比较。比较器141检测每个像素的两个像素值的较大像素值,并将检测到的较小像素值提供给像素选择单元122。
除了比较器141提供的像素值之外,像素选择单元142还接收被提供给黑色像素检测单元121的测试图像数据的所关心的像素的像素值。对于缺陷检测模式下的多帧测试图像数据的第一帧测试图像数据,像素选择单元142选择第一帧的所关心像素的像素值,并将选择的像素值提供给帧存储器143。
对于缺陷检测模式下的多帧测试图像数据的第二以及下一帧测试图像数据,像素选择单元142选择比较器141供给的像素值,并将选择的像素值提供给帧存储器143。
帧存储器143存储像素选择单元142提供的像素值作为所关心的像素的像素值。
有缺陷像素检测单元144比较帧存储器143内存储的像素值与用于检测黑色缺陷的阈值。如果帧存储器143内存储的像素值等于或大于用于检测黑色缺陷的阈值,则对应于此像素值的像素被确定为是黑色有缺陷像素。有缺陷像素检测单元144还检测由黑色有缺陷像素的像素值与用于检测黑色缺陷的阈值之间的差限定的黑色有缺陷像素的缺陷等级。有缺陷像素检测单元144将指示黑色有缺陷像素的位置的有缺陷像素坐标和缺陷等级作为与黑色有缺陷像素相关联的缺陷数据提供给有缺陷像素选择单元123。
应指出,在黑色缺陷检测单元122执行的黑色有缺陷像素检测中使用的测试图像数据是通过在快门3(图1)打开的状态下通过多次执行摄影操作由图像传感器4捕获白色被照物例如白纸的图像获得的。
针对白色被照物由图像传感器4捕获的图像数据的每个像素的像素值对应于如果该像素无缺陷的白色等级。因此,将用于检测黑色缺陷的阈值设定为不会被认为是白色等级的最大值是合理的。
可选择地,用于检测黑色缺陷的阈值可基于测试中接近所关心像素的像素的像素值确定。
如上所述,有缺陷像素选择单元123从白色缺陷检测单元121和黑色缺陷检测单元122接收指示有缺陷像素的有缺陷像素坐标和缺陷等级的缺陷数据。
基于缺陷数据指示的缺陷等级,有缺陷像素选择单元123选择预定数量的、N个具有较大缺陷等级的有缺陷像素,并将选择的N个有缺陷像素的缺陷数据提供给缺陷数据表存储器102。缺陷数据表存储器102将接收到的缺陷数据记录在缺陷数据表内。
在白色缺陷检测单元121和黑色缺陷检测单元122提供的缺陷数据或有缺陷像素的数量小于预定数量N时,有缺陷像素选择单元123选择所有有缺陷像素,并将所有有缺陷像素的缺陷数据记录在缺陷数据表内。
数量N可例如根据缺陷数据表存储器102的存储能力确定。
下文将进一步详细说明图5内示出的有缺陷像素检测单元134执行的有缺陷像素(白色有缺陷像素和黑色有缺陷像素)的检测。
可使用固定阈值或可变阈值检测有缺陷像素。下文,前一种缺陷检测方法将被简称为绝对缺陷检测方法,而后一种缺陷检测方法将被称为相对缺陷检测方法。
下文将参照图6说明使用固定阈值的白色有缺陷像素的绝对缺陷检测。
图6示出沿水平方向设置成拜耳阵列的五个连续像素GL、RL、GC、RR和GR的像素值的示例。
在这五个像素中,像素GL、GC和GR均具有G分量的像素值,而像素RL和RR均具有R分量的像素值。
在白色有缺陷像素的绝对缺陷检测中,用于检测白色有缺陷像素的阈值被设定为固定值,并且所关心的像素的像素值与此固定像素值比较。如果所关心的像素的像素值等于或大于固定阈值,则此所关心的像素被确定为是白色有缺陷像素。
在图6所示的示例中,位于五个像素GL、RL、GC、RR和GR的水平设置的中心的像素GC的像素值大于被限定为用于白色有缺陷像素的检测的阈值的固定阈值,因此像素GC被确定为白色有缺陷像素。
用于白色有缺陷像素的检测的固定阈值可例如被设定为不会被认为是黑色等级的最小值。
可选择地,用于白色有缺陷像素的检测的固定阈值可被设定为基于缺陷等级的频率分布确定的值。
图7示出缺陷等级的频率分布的示例。
在图1所示的数字静态照相机的说明书需要可通过校正缺陷等级的频率分布中的至少N’个具有最高缺陷等级的有缺陷像素实现的图像质量的情况下,在图1所示的数字静态照相机的生产线中用于白色有缺陷像素的检测的固定阈值被设定为使得缺陷等级的频率分布内的N(≥N’)个具有最高缺陷等级的像素被检测为缺陷等级。
下文将参照图8说明使用可变阈值作为用于白色有缺陷像素的检测的阈值的白色有缺陷像素的相对缺陷检测的示例。
图8示出沿水平方向设置成拜耳阵列的五个连续像素GL、RL、GC、RR和GR的像素值的示例。
当位于五个像素GL、RL、GC、RR和GR的水平设置的中心的像素GC是将与被限定用于白色有缺陷像素的检测的阈值比较像素值的所关心的像素时,所关心的像素GC的像素值的预测值例如由接近所关心的像素且与所关心的像素具有相同颜色分量的像素的像素值的均值给定,并且更准确地说在本示例中由像素GL和GR的像素值的均值给定。
用于白色有缺陷像素的检测的可变阈值被设定为所关心的像素GC的像素值的预测值与固定余量W(W>0)的和。所关心的像素GC的像素值然后与上文限定的可变阈值进行比较。如果所关心的像素的像素值等于或大于该阈值,则所关心的像素被认为是白色有缺陷像素。
在图8所示的示例中,所关系的像素GC的像素值大于被限定用于白色有缺陷缺陷的检测的可变阈值,因此此像素GC被检测为白色有缺陷像素。
在图8所示的示例中,所关心的像素的预测像素值由与所关心的像素具有相同颜色分量的像素的像素值确定。可选择地,所关心的像素的像素值可由具有不一定与所关心的像素的颜色分量相同的颜色分量的像素的像素值确定。
在图8所示的示例中,所关心的像素的预测像素值由包含所关心的像素的设置成水平行的像素的像素值确定。可选择地,所关心的像素的像素值可由包含所关心的像素的设置成垂直列的像素的像素值确定,或由沿任意方向定位的像素的像素值确定。
图9示出包含设置成拜耳阵列的像素的像素值的图像数据的示例。
在图9中,当具有G分量的像素值的像素Gmn是测试中所关心的像素时,所关心的像素的预测像素值可由接近所关心的像素且与所关心的像素Gmn具有相同颜色分量的像素的像素值的均值给定,并尤其例如由从所关心的像素Gmn向上两个像素的像素Gm(n-2)的像素值、从所关心的像素Gmn向下两个像素的像素Gm(n+2)的像素值、从所关心的像素Gmn向左两个像素的像素G(m-2)n的像素值以及从所关心的像素Gmn向右两个像素的像素G(m+2)n的像素值的均值给定。
在上述示例中,所关心的像素的预测像素值由接近所关心像素的像素的像素值的简单均值给定。可选择地,预测像素值可由加权均值给定。
例如,计算水平设置在所关心的像素的左侧和右侧的像素的像素值之间的相关性和垂直设置在所关心的像素的上方和下方的像素的像素值之间的相关性。将较大的加权系数(例如1或接近1的值)应用于沿具有较大相关性的方向的像素的像素值,并将较小的加权系数(例如0或接近0的值)应用于沿具有较小相干性的其他方向的像素的像素值。计算被上文限定的系数加权的像素值的均值,并使用结果均值作为所关心的像素的预测像素值。
下文将参照图10说明使用固定阈值的黑色有缺陷像素的绝对缺陷检测。
图10示出沿水平方向设置成拜耳阵列的五个连续像素GL、RL、GC、RR和GR的像素值的示例。
在黑色有缺陷像素的绝对缺陷检测中,用于黑色有缺陷像素的检测的阈值被设定为固定值,并且所关心的像素的像素值与此固定阈值比较。如果所关心的像素的像素值等于或小于该固定阈值,则所关心的像素被认为是黑色有缺陷像素。
在图10所示的示例中,位于五个像素GL、RL、GC、RR和GR的水平设置的中心的像素GC的像素值小于被限定为用于黑色有缺陷像素的检测的阈值的固定阈值,因此此像素GC被检测为黑色有缺陷像素。
用于黑色有缺陷像素的检测的固定阈值可例如被设定为不会被认为是白色等级的最大值。
用于黑色有缺陷像素的检测的固定阈值可被设定为基于如上文参照图7说明的缺陷等级的频率分布确定的值。
下文参照图11说明使用可变阈值作为用于黑色有缺陷像素的检测的黑色有缺陷像素的相对缺陷检测的示例。
图11示出沿水平方向设置成拜耳阵列的五个连续像素GL、RL、GC、RR和GR的像素值的示例。
当位于五个像素GL、RL、GC、RR和GR的水平设置的中心的像素GC是将与被限定用于黑色有缺陷像素的检测的阈值比较像素值的所关心的像素时,所关心的像素GC的像素值的预测值例如由接近所关心的像素且与所关心的像素具有相同颜色分量的像素的像素值的均值给定,并且更准确地说在本示例中由像素GL和GR的像素值的均值给定。
用于黑色有缺陷像素的检测的可变阈值被设定为所关心的像素GC的像素值的预测值与固定余量-B(B>0)的和(该值是通过用预测像素值减去B得到的)。所关心的像素GC的像素值然后与上文限定的可变阈值进行比较。如果所关心的像素的像素值等于或小于该阈值,则所关心的像素被认为是黑色有缺陷像素。
在图11所示的示例中,所关心的像素GC的像素值小于被限定用于黑色有缺陷像素的检测的可变阈值,因此此像素GC被检测为黑色有缺陷像素。
在黑色有缺陷像素的检测中,如同白色有缺陷像素的检测一样,所关心的像素的预测像素值可基于接近所关心的像素的相素的像素值确定。
图12示出图4所示的缺陷数据表存储器102内存储器的缺陷数据表的示例。
在图12所示的示例中,有缺陷像素坐标和每个有缺陷像素的缺陷等级都被描述为缺陷数据表内的缺陷数据。
图13示出图4所示的缺陷校正单元101的配置的示例。
如图13所示,缺陷校正单元101包括判断单元161和校正单元162。
前端单元6(图1)输出的测试图像数据被供给判断单元161。更准确地说,每个像素的像素值与指示像素的坐标的计数值一起被从前端单元6供给判断单元161。
判断单元161将和测试图像数据内的所关心像素的像素值一起被提供的计数值与缺陷数据表存储器102内存储的缺陷数据表内的有缺陷像素坐标进行比较。如果在缺陷数据表内找到等于计数值的有缺陷像素坐标值,则判断单元161向校正单元162提供校正命令信号,以校正由该计数值标识的像素的像素值。
除了从判断单元161提供的校正命令信号之外,与提供给判断单元161的测试图像信号相同的测试图像信号也被从前端电路6提供给校正单元162。
每次校正单元162接收到从前端单元6依次提供的像素之一的像素值,校正单元162就确定是否从判断单元161接收到指示本像素是将被校正的像素的校正命令信号。如果确定没有接收到校正命令信号且因此本像素不是将被校正的像素,则校正单元162直接输出本像素的像素值作为被校正的图像数据的像素值。
另一方面,如果已经从判断单元161接收到校正命令信号且因此本像素是将被校正的像素,则校正单元162校正被确定为是将被校正的像素的本像素的像素值,并输出被校正的像素值作为被校正图像数据的像素值。
被指定将被校正的所关心像素的像素值的校正例如被执行成以致于,以与相对缺陷检测过程内确定的预测像素值类似的方式由接近被指定将被校正的像素的像素的像素值确定被指定将被校正的所关心像素的预测像素值,并且用预测像素值代替所关心像素的像素值。
可选择地,被指定将被校正的所关心像素的像素值可被校正成以致于,所关心像素的像素值乘以根据被指定将被校正的有缺陷像素的缺陷等级确定的值,或从所关心像素的像素值中减去根据被指定将被校正的有缺陷像素的缺陷等级确定的值。在如可选择方法中根据缺陷等级校正像素值的情况下,缺陷等级被从缺陷数据表存储器102经由判断单元161提供给校正单元162。
通过根据合适的方法用合理(正常)值代替异常值来校正被指定将被校正的像素的像素值。
接下来,将参照图14所示的流程图说明图5内示出的缺陷检测单元103执行的缺陷检测过程。
图14所示的缺陷检测过程例如在图1所示的数字静态照相机1被装运之前在数字静态照相机的生产线上执行。
在步骤S11,图5内示出的缺陷检测单元103中的白色缺陷检测单元121执行白色缺陷检测过程以检测白色有缺陷像素。与检测到的白色有缺陷像素相关联的缺陷数据被提供给有缺陷像素选择单元123。过程然后前进到步骤S12。
在步骤S12,黑色缺陷检测单元122执行黑色缺陷检测过程以检测黑色有缺陷像素。与检测到的黑色有缺陷像素相关联的缺陷数据被提供给有缺陷像素选择单元123。过程然后前进到步骤S13。
在步骤S13,有缺陷像素选择单元123根据白色缺陷检测单元121和黑色缺陷检测单元122提供的缺陷数据选择N个具有最大缺陷等级的有缺陷像素。过程然后前进到步骤S14。在步骤S14中,有缺陷像素选择单元123将与选择的N个具有最大缺陷等级的有缺陷像素相关联的缺陷数据提供给缺陷数据表存储器102。缺陷数据表存储器102将接收到的缺陷数据记录在缺陷数据表内。此后,缺陷检测过程结束。
下面将参照图15所示的流程图进一步详细说明图5内示出的白色缺陷检测单元121在图14内的步骤S14内执行的白色缺陷检测过程。
在白色缺陷检测过程的步骤S21中,白色缺陷检测单元121的帧存储器133初始化帧存储器133内存储的内容。
在此白色缺陷检测过程中,微型计算机11(图1)经由定时发生器5控制图像传感器4以便进行预定次数的摄影。
结果,用于白色有缺陷像素的检测的测试图像数据由图像传感器4产生,并被提供给白色缺陷检测单元121的最大值检测单元130。最大值检测单元130将接收到的测试图像数据提供给比较器131和像素选择单元132。
如果比较器131接收到测试图像数据,则在步骤S22中,比较器131将接收到的测试图像数据的每个像素的像素值与已经存储在帧存储器133内的对应像素的像素值进行比较。比较器131检测每个像素的两个像素值中的较大像素值,并将检测到的较大像素值提供给像素选择单元132。
在步骤S22,像素选择单元132将从比较器131接收到的像素值转移到帧存储器133。帧存储器133以覆写的方式将接收到的像素值存储在对应于所关心的像素的位置的地址。
如果提供给比较器131和像素选择单元132的测试图像数据是在图像传感器4执行的第一次摄影操作内获得的,则然后在步骤S22,像素选择单元132将测试图像数据的各个像素的像素值直接提供给帧存储器133。帧存储器133将接收到的像素值存储在对应于各个像素的位置的地址。
如果在步骤S22内将像素值存储在帧存储器133内的对应于所关心的像素的位置的地址处的过程已经针对测试图像数据的所有像素完成,则过程前进到步骤S23。在步骤S23,比较器131确定摄影操作是否已经执行了预定的次数。
如果在步骤S23内确定摄影操作还未执行预定的次数,则图像传感器4再一次捕获测试图像数据,并将捕获的测试图像数据提供给比较器131和像素选择单元132。此后,过程返回到步骤S22并重复步骤S22和S23。
通过步骤S22和S23的重复执行,从由图像传感器4执行的预定次数的摄影操作获得的多帧测试图像数据中为每个像素选择最大像素值,并且将每个像素的最大像素值存储在帧存储器133内。从多帧测试图像数据确定的并存储在帧存储器133内的各个像素的最大像素值的图像数据在下文将被简称为最大值图像数据。
如果在步骤S23内确定捕获测试图像数据的操作已被执行预定的次数,即如果最大值图像数据已被全部存储在帧存储器133内,则过程前进到步骤S24。在步骤S24,有缺陷像素检测单元134将帧存储器133内存储的最大值图像数据的每个像素的像素值与用于检测白色缺陷的阈值进行比较。如果处于比较的所关心像素具有等于或大于用于检测白色缺陷的阈值的像素值,则所关心的像素被确定为白色有缺陷像素。
此外,在步骤S24,有缺陷像素检测单元134从最大值图像数据内检测到的每个白色有缺陷像素的像素值中减去用于检测白色缺陷的阈值,并将结果值作为白色有缺陷像素的缺陷等级。确定的缺陷等级和指示白色有缺陷像素的位置的有缺陷像素坐标被作为与白色有缺陷像素相关联的缺陷数据提供给有缺陷像素选择单元123。此后,白色缺陷检测过程结束。
在图15所示的白色缺陷检测过程中,其中通过比较最大值图像数据的各个像素的像素值与用于检测白色缺陷的阈值来检测有缺陷像素,可使用绝对缺陷检测方法或相对缺陷检测方法。
下文将参照图16所示的流程图进一步详细说明图5内所示的黑色缺陷检测单元122在图14的步骤S12内执行的黑色缺陷检测过程。
在黑色缺陷检测过程的步骤S31中,白色缺陷检测单元122的帧存储器143初始化帧存储器143内存储的内容。
在此黑色缺陷检测过程中,微型计算机11(图1)经由定时发生器5控制图像传感器4以便进行预定次数的摄影。
结果,用于黑色有缺陷像素的检测的测试图像数据由图像传感器4产生,并被提供给黑色缺陷检测单元122的最小值检测单元140。最小值检测单元140将接收到的测试图像数据提供给比较器141和像素选择单元142。
如果比较器141接收到测试图像数据,则在步骤S32中,比较器141将接收到的测试图像数据的每个像素的像素值与已经存储在帧存储器143内的对应像素的像素值进行比较。比较器141检测每个像素的两个像素值中的较小像素值,并将检测到的较小像素值提供给像素选择单元142。
此外,在步骤S32,像素选择单元142将比较器141提供的像素值转移到帧存储器143。帧存储器143以覆写的方式将接收到的像素值存储在对应于所关心的像素的位置的地址。
如果提供给比较器141和像素选择单元142的测试图像数据是在图像传感器4执行的第一次摄影操作内获得的,则然后在步骤S32,像素选择单元142将测试图像数据的各个像素的像素值直接提供给帧存储器143。帧存储器143将接收到的像素值存储在对应于各个像素的位置的地址。
如果在步骤S32内将像素值存储在帧存储器133内的对应于所关心的像素的位置的地址处的过程已经针对测试图像数据的所有像素完成,则过程前进到步骤S33。在步骤S33,比较器141确定摄影操作是否已经执行了预定的次数。
如果在步骤S33内确定摄影操作还未执行预定的次数,则图像传感器4再一次捕获测试图像数据,并将捕获的测试图像数据提供给比较器141和像素选择单元142。此后,过程返回到步骤S32并重复步骤S32和S33。
通过步骤S32和S33的重复执行,从由图像传感器4执行的预定次数的摄影操作获得的多帧测试图像数据中为每个像素选择最小像素值,并且将每个像素的最小像素值存储在帧存储器143内。从多帧测试图像数据确定的并存储在帧存储器143内的各个像素的最小像素值的图像数据在下文将被简称为最小值图像数据。
如果在步骤S233内确定捕获测试图像数据的操作已被执行预定的次数,即如果最小值图像数据已被全部存储在帧存储器143内,则过程前进到步骤S34。在步骤S34,有缺陷像素检测单元144将帧存储器143内存储的最小值图像数据的每个像素的像素值与用于检测黑色缺陷的阈值进行比较。如果处于比较的所关心像素具有等于或小于用于检测黑色缺陷的阈值的像素值,则所关心的像素被确定为黑色有缺陷像素。
此外,在步骤S34,有缺陷像素检测单元144从最小值图像数据内检测到的每个黑色有缺陷像素的像素值中减去用于检测黑色缺陷的阈值,并将结果值作为黑色有缺陷像素的缺陷等级。确定的缺陷等级和指示黑色有缺陷像素的位置的有缺陷像素坐标被作为与黑色有缺陷像素相关联的缺陷数据提供给有缺陷像素选择单元123。此后,黑色缺陷检测过程结束。
在图16所示的黑色缺陷检测过程中,其中通过比较最小值图像数据的各个像素的像素值与用于检测黑色缺陷的阈值来检测有缺陷像素,可使用绝对缺陷检测方法或相对缺陷检测方法。
下文将参照图17所示的流程图说明图13内示出的缺陷校正单元101执行的缺陷校正过程。
如上所述,前端单元6(图1)输出的图像数据被提供给缺陷校正单元101内的判断单元161和校正单元162。
在步骤S51,判断单元161从前端单元6提供的图像中一个接一个地选择像素作为所关心的像素,并通过参照缺陷数据表存储器102内存储的缺陷数据表确定所关心的像素是否是有缺陷。
如果在步骤S51内确定所关心的像素无缺陷,则校正单元162直接输出所关心的像素的像素值作为被校正的图像数据的像素值。过程跳转到步骤S53而没有执行步骤S52。
另一方面,如果在步骤S51内确定所关心的像素有缺陷,则在步骤S52,校正单元162校正所关心的像素的像素值,并输出被校正的像素值作为被校正的图像数据的像素值。过程然后前进到步骤S53。
在步骤S53,判断单元161确定所关心的像素是否是位于测试图像数据末端的像素,即测试图像数据是否还包括将被测试的像素。
如果在步骤S53内确定测试图像数据还包括将被测试的像素,则然后判断单元161从测试图像数据中选择一个像素作为新的所关心的像素。处理流返回步骤S51以从步骤S51重复过程。
另一方面,如果在步骤S53内确定测试图像数据不包含将被测试的像素,则缺陷校正单元101终止缺陷校正过程。
在图4内所示的缺陷处理单元51中,如上所述,缺陷检测单元103通过将在经由图像传感器4(图1)多次执行的摄影操作捕获的测试图像的每个像素处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,来检测有缺陷像素(白色有缺陷像素)及其缺陷等级。缺陷检测单元103还通过将在多帧测试图像数据的每个像素处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,来检测有缺陷像素(黑色有缺陷像素)及其缺陷等级。缺陷检测单元103然后从最高缺陷等级开始按缺陷等级的降序选择N个有缺陷像素,并将选择的N个有缺陷像素存储在缺陷数据表内。这使得可以非常可靠的方式校正有缺陷像素。
如上所述,缺陷等级高的有缺陷像素比缺陷等级低的有缺陷像素更加明显。因此,希望从具有最高缺陷等级的有缺陷像素开始按缺陷等级的降序校正有缺陷像素的像素值。
鉴于上文,缺陷检测单元103从具有最高缺陷等级的有缺陷像素开始按缺陷等级的降序选择N个有缺陷像素,并将选择的N个缺陷像素记录在缺陷数据表内,从而使得可优选地校正缺陷等级高的有缺陷像素的像素值。
此外,由于只有具有高缺陷等级的N个有缺陷像素的缺陷数据被记录在缺陷数据表内,所以可使用具有低存储容量的低成本RAM作为用于存储缺陷数据表的缺陷数据表存储器102。换句话说,在用于存储缺陷数据表的缺陷数据表存储器102的存储容量受限的情况下,具有高缺陷等级的N个有缺陷像素被允许记录在具有有限存储容量的缺陷数据表存储器102内的缺陷数据表内,从而使得可优选地校正缺陷等级高的有缺陷像素的像素值。
由于缺陷检测单元103不是从经由仅执行一次的摄影操作获得的多帧测试图像数据检测有缺陷像素,而是通过将从多帧测试图像数据获得的最大值图像数据或最小值图像数据与阈值进行比较,从经由执行多次的摄影操作获得的多帧测试图像数据检测有缺陷像素,并且具有最高缺陷等级的N个有缺陷像素被记录在缺陷数据表,所以不仅可检测永久性有缺陷像素而且还可检测间歇性有缺陷像素,并优选地校正从两类有缺陷像素选择的具有最高缺陷等级的N个有缺陷像素。
如上所述,有缺陷像素可分成两类,即永久性有缺陷像素和间歇性有缺陷像素。在缺陷检测单元103执行的有缺陷像素检测过程中,如果即使仅在多帧测试图像数据之一内检测到大于用于检测白色缺陷的阈值或低于用于检测黑色缺陷的阈值的像素值,则对应的像素也被认为有缺陷。因此,不仅可检测永久性有缺陷像素还可检测间歇性有缺陷像素。
缺陷检测单元103选择具有最高缺陷等级的N个有缺陷像素而与缺陷类型无关,并将选择的N个有缺陷像素记录在缺陷数据表内。因此,不管有缺陷像素是永久的有缺陷像素还是断续的有缺陷像素均可优选地对缺陷等级高的有缺陷像素进行像素数据的校正。
在图5所示的示例中,缺陷检测单元103包括用于检测白色有缺陷像素的白色缺陷检测单元121和用于检测黑色有缺陷像素的黑色缺陷检测单元122。可选择地,缺陷检测单元103可仅包括用于检测白色有缺陷像素的白色缺陷检测单元121和用于检测黑色有缺陷像素的黑色缺陷检测单元122之一。但是,在缺陷检测单元103仅包括白色缺陷检测单元121和黑色缺陷检测单元122之一的情况下,可仅检测白色有缺陷像素或黑色有缺陷像素。
在上述示例中,从经由多次执行的摄影操作获得的多帧测试图像数据获得最大值图像数据。可选择地,可从通过仅执行一次但长时间曝光的摄影操作获得的单帧测试图像数据获得等效的最大值图像数据。
更准确地说,例如,可通过将从经由多次执行的摄影操作捕获的多帧测试图像获得的最大值图像数据与用于检测白色缺陷的阈值进行比较,或通过将经由仅执行一次但长时间曝光的摄影操作捕获的测试图像数据与用于检测白色缺陷像素的阈值进行比较,来检测间隙性缺陷类型的白色有缺陷像素。
但是,图像传感器4的说明书允许的最大曝光时间并不一定长得足以获得适用于间歇性缺陷类型的白色有缺陷像素的检测的测试图像数据。在图像传感器4的说明书允许的最大曝光时间不是长得足以获得适用于间歇性缺陷类型的白色有缺陷像素的检测的测试图像数据的情况下,可从通过多次执行具有长曝光时间的摄影操作获得的多帧测试图像数据产生最大值图像数据,并且可将该最大值图像数据与用于检测白色缺陷的阈值进行比较。这可导致检测间歇性缺陷类型的白色有缺陷像素的可靠性提高。
为了以非常可靠的方式检测具有长的出现到出现时间间隔的间歇性有缺陷像素而不会遗漏,希望从尽可能多帧的测试图像数据产生最大值图像数据或最小值图像数据。
图18示出图3内示出的缺陷处理单元51的配置的另一个示例。
在图18所示的示例中,缺陷处理单元51包括缺陷校正单元201、缺陷数据表存储器202和缺陷检测单元203。
缺陷校正单元201接收从图像传感器4(图1)经由前端单元6输出的图像数据。缺陷校正单元201执行缺陷校正过程以根据缺陷数据表存储器202内存储的缺陷数据表校正接收到的图像数据的像素的像素值,并将由缺陷校正过程获得的被校正的图像数据提供给数字信号处理单元52(图3)。
缺陷数据表存储器202内存储的缺陷数据表内描述的缺陷数据包括指示每个有缺陷像素是永久性缺陷类型还是间歇性缺陷类型的缺陷类型数据。
缺陷校正单元201总是校正图像数据内的永久缺陷类型的有缺陷像素的像素值。对于图像数据内的间歇性有缺陷像素,缺陷校正单元201通过比较每个间歇性有缺陷像素的像素值与用于确定间歇性有缺陷像素的状态的阈值确定每个间歇性有缺陷像素是否处于有缺陷状态,并且缺陷校正单元201只有当间歇性有缺陷像素处于有缺陷状态时才校正像素值。
缺陷数据表存储器202以与图4内所示的缺陷数据表存储器102类似的方式配置,并且用于存储其中描述了与缺陷检测单元203检测到的有缺陷像素相关联的缺陷数据的缺陷数据表。应指出,如上所述,缺陷数据表存储器202内存储的缺陷数据表内记录的缺陷数据包括缺陷类型数据。
如同图4内示出的缺陷检测单元103一样,缺陷检测单元203被供给将用于有缺陷像素检测过程的测试图像数据。
缺陷检测单元203执行缺陷检测过程。更准确地说,缺陷检测单元203使用被提供给缺陷检测单元203的测试图像数据检测有缺陷像素,并将与检测到的有缺陷像素相关联的缺陷数据记录在缺陷数据表存储器202内的缺陷数据表内。
缺陷检测单元203还确定每个检测到的有缺陷像素是永久性缺陷类型还是间歇性缺陷类型,并将包含缺陷类型数据的缺陷数据记录在缺陷数据表内。
下文将更详细地说明由以上述方式配置的缺陷处理单元51执行的缺陷检测过程和缺陷校正过程。
如果用户操作如图1所示的操作单元12以发出执行缺陷校正过程的命令,则对应于用户执行的操作从操作单元12输出缺陷检测命令信号作为操作信号,并将该信号提供给微型计算机11。
如果微型计算机11从操作单元12接收到缺陷检测命令信号,则微型计算机11将操作模式从正常模式切换到缺陷检测模式,并经由定时发生器5(图1)控制图像传感器4以便多次拍摄图像。
由图像传感器4执行的摄影操作获得的多帧图像数据或被校正图像数据作为测试图像数据被提供给缺陷检测单元203。
微型计算机11经由微型计算机接口33(图3)控制相机信号处理单元31内的缺陷处理单元51的缺陷检测单元203以执行缺陷检测过程。
即,在微型计算机11的控制下,缺陷检测单元203如下所述地执行缺陷检测过程。如果缺陷检测单元203从图像传感器4接收到多帧测试图像数据,则缺陷检测单元203检测有缺陷像素并确定检测到的有缺陷像素的缺陷类型。缺陷检测单元203然后将包含缺陷类型数据的缺陷数据记录在缺陷数据表存储器202内的缺陷数据表内。
如果缺陷检测单元203已经将缺陷数据记录在缺陷数据表内,则微型计算机11将操作模式从缺陷检测模式切换到正常模式。
在缺陷数据表存储器202内的缺陷数据表具有原有缺陷数据的情况下,缺陷检测单元203产生的新缺陷数据被存储在缺陷数据表内,从而原有缺陷数据被新缺陷数据覆写。
在以正常模式操作时,如果图像传感器4拍摄图像并且结果图像数据被供给缺陷校正单元201,则缺陷校正单元201执行缺陷校正操作。
更准确地说,缺陷校正单元201根据需要根据缺陷数据表存储器202内存储的缺陷数据表校正接收到的测试图像数据的像素值,并将由缺陷校正过程获得的被校正的图像数据提供给数字信号处理单元52(图3)。
更准确地说,缺陷校正单元201从图像数据中一个接一个地选择像素作为所关心的像素,并通过参考缺陷数据表存储器202内存储的缺陷数据表确定所关心的像素是否有缺陷。
如果确定所关心的像素无缺陷,则缺陷校正单元201直接输出所关心的像素的像素值作为被校正的图像数据的像素值。
如果确定所关心的像素有缺陷,则缺陷校正单元201通过参考缺陷数据表存储器202内存储的缺陷数据表确定所关心的有缺陷像素是永久性缺陷类型还是间歇性缺陷类型。
如果确定所关心的像素是永久性有缺陷像素,则缺陷校正单元201以与图4内示出的缺陷校正单元101类似的方式校正所关心的像素的像素值,并输出被校正的像素值作为被校正的图像数据的像素值。
另一方面,在确定所关心的像素为间歇性有缺陷像素的情况下,缺陷校正单元201通过比较所关心的间歇性有缺陷像素的像素值与用于确定间歇性有缺陷像素的状态的阈值来确定间歇性有缺陷像素目前是否处于有缺陷状态,在该状态下间歇性有缺陷像素具有异常的像素值。
与永久性有缺陷像素不同,间歇性有缺陷像素有时处于有缺陷状态,但在其他时间内处于正常状态。
如果所关心的间歇性有缺陷像素没有处于有缺陷状态,则缺陷校正单元201直接输出所关心的像素的像素值作为被校正的图像数据的像素值。
如果所关心的间歇性有缺陷像素处于有缺陷状态,则缺陷校正单元201以与图4内示出的缺陷校正单元101类似的方式校正所关心的像素的像素值,并输出被校正的像素值作为被校正的图像数据的像素值。
图19示出图18内所示的缺陷检测单元203的配置的示例。
缺陷检测单元203包括白色缺陷检测单元221,黑色缺陷检测单元222和有缺陷像素选择单元223。
白色缺陷检测单元221包括最小值检测单元231,出现次数计数器232和判断单元236。白色缺陷检测单元221检测白色有缺陷像素,并进一步确定每个检测到的白色有缺陷像素的缺陷类型,即确定每个检测到的白色有缺陷像素是永久性缺陷类型还是间歇性缺陷类型。白色缺陷检测单元221然后将指示关于每个像素是否是白色有缺陷像素的确定结果的数据以及指示每个检测到的白色有缺陷像素的缺陷类型的数据提供给有缺陷像素选择单元223。
更准确地说,最小值检测单元231接收经由图像传感器4多次执行的测试图像拍摄操作获得的多帧测试图像数据。
最小值检测单元231以与图5内所示的最小值检测单元140类似的方式配置,并用于检测在多帧测试图像数据的每个像素位置处获得的像素值的最小值,并将指示检测到的各个像素的最小像素值的最小值图像数据提供给判断单元236。
被提供给最小值检测单元231的多帧测试图像数据也被提供给出现次数计数器232。
出现次数计数器232通过比较多帧测试图像数据的每个像素位置处的像素值与用于检测白色缺陷的阈值来检测白色有缺陷像素。此外,出现次数计数器232分别针对多帧测试图像数据上的每个像素位置对白色有缺陷像素的出现次数计数(下文,这种出现次数将被简称为白色缺陷的出现次数),并且出现次数计数器232将指示结果的数据提供给判断单元236。
下文将更详细地说明出现次数计数器232的配置及其操作。出现次数计数器232包括有缺陷像素检测单元233,加法器234和帧存储器235。
有缺陷像素检测单元233被供给测试图像数据。有缺陷像素检测单元233从测试图像数据中一个接一个地选择像素,并将当前选择的像素(下文被称为所关心的像素)的像素值与用于检测白色缺陷的阈值进行比较。如果所关心的像素的像素值等于或大于用于检测白色缺陷的阈值,则有缺陷像素检测单元233确定所关心的像素为白色有缺陷像素,并将指示被确定为是白色有缺陷像素的所关心的像素的位置的坐标提供给加法器234。在有缺陷像素检测单元233执行的白色有缺陷像素检测过程中,可使用绝对检测方法或相对检测方法。
如果加法器234从有缺陷像素检测单元233接收到指示在当前像素位置检测到白色有缺陷像素的数据,则加法器234访问帧存储器235,并读取在与被认为是白色有缺陷像素的所关心像素的像素位置相对应的地址处存储的白色缺陷的出现次数,并且加法器234将白色缺陷的出现次数加1。加法器234然后用增加的白色缺陷的出现次数代替在帧存储器235内在与所关心的像素的位置相对应的地址处存储的当前数据。
因此,在测试图像的每个像素位置检测到的白色缺陷的出现次数在对应于每个像素的像素位置的地址处被存储在帧存储器235内。
根据从最小值检测单元231提供的最小值图像数据,即指示在经由图像传感器4多次执行的摄影操作捕获的测试图像数据的每个像素检测到的最小像素值的数据,并且还根据帧存储器235内存储的白色缺陷的出现次数,判断单元236确定测试图像数据的每个像素是否是白色有缺陷像素,并确定被确定为是白色有缺陷像素的每个像素的缺陷类型,即确定被确定为是白色有缺陷像素的每个像素是永久性缺陷类型还是间歇性缺陷类型。判断单元236将每个像素的判断结果提供给有缺陷像素选择单元223。
黑色像素检测单元222包括最大值检测单元241,出现次数计数器242和判断单元246。黑色缺陷检测单元222检测黑色有缺陷像素,并确定检测到的黑色有缺陷像素的缺陷类型。黑色缺陷检测单元222然后将指示关于每个像素是否是黑色有缺陷像素的确定结果的数据以及指示每个检测到的白色有缺陷像素的缺陷类型的数据提供给有缺陷像素选择单元223。
更准确地说,最大值检测单元241接收经由图像传感器4多次执行的测试图像拍摄操作获得的多帧测试图像数据。
最大值检测单元241以与图5内所示的最大值检测单元130类似的方式配置,并用于检测在多帧测试图像数据的每个像素位置获得的像素值的最大值,并将指示检测到的各个像素的最大像素值的最大值图像数据提供给判断单元246。
被提供给最大值检测单元241的多帧测试图像数据也被提供给出现次数计数器242。
出现次数计数器242通过比较多帧测试图像数据的每个像素位置处的像素值与用于检测黑色缺陷的阈值来检测黑色有缺陷像素。此外,出现次数计数器242分别针对多帧测试图像数据上的每个像素位置对黑色有缺陷像素的出现次数计数(下文,这种出现次数将被简称为黑色缺陷的出现次数),并且出现次数计数器242将指示结果的数据提供给判断单元246。
下文将更详细地说明出现次数计数器242的配置及其操作。出现次数计数器242包括有缺陷像素检测单元243,加法器244和帧存储器245。
有缺陷像素检测单元243被供给测试图像数据。有缺陷像素检测单元243从测试图像数据中一个接一个地选择像素,并将当前选择的像素(下文被称为所关心的像素)的像素值与用于检测黑色缺陷的阈值进行比较。如果所关心的像素的像素值等于或小于用于检测黑色缺陷的阈值,则有缺陷像素检测单元243确定所关心的像素为黑色有缺陷像素,并将指示被确定为是黑色有缺陷像素的所关心的像素的位置的坐标提供给加法器244。在有缺陷像素检测单元243执行的黑色有缺陷像素检测过程中,可使用绝对检测方法或相对检测方法。
加法器244访问帧存储器245,并读取在与被认为是黑色缺陷的所关心像素的像素位置相对应的地址处存储的黑色缺陷的出现次数,并且加法器244将黑色缺陷的出现次数加1。加法器244然后用增加的黑色缺陷的出现次数代替在帧存储器245内在与所关心的像素的位置相对应的地址处存储的当前数据。
因此,在测试图像数据的每个像素位置检测到的黑色缺陷的出现次数在对应于每个像素的像素位置的地址处被存储在帧存储器245内。
根据从最大值检测单元241提供的最大值图像数据,即指示在经由图像传感器4多次执行的摄影操作捕获的测试图像数据的每个像素处检测到的最大像素值的数据,并且还根据帧存储器245内存储的黑色缺陷的出现次数,判断单元246确定测试图像数据的每个像素是否是黑色有缺陷像素,并确定被确定为是黑色有缺陷像素的每个像素的缺陷类型,即确定被确定为是黑色有缺陷像素的每个像素是永久性缺陷类型还是间歇性缺陷类型。判断单元246将每个像素的判断结果提供给有缺陷像素选择单元223。
如上所述,缺陷像素选择单元223从白色缺陷检测单元221和黑色缺陷检测单元222接收到指示关于测试图像数据的每个像素是否是有缺陷像素(白色有缺陷像素或黑色有缺陷像素)的判断结果的数据以及指示缺陷类型的数据。
有缺陷像素选择单元223根据关于测试图像数据的每个像素是否有缺陷的判断结果从测试图像数据的像素中选择有缺陷像素。此外,根据关于每个有缺陷像素的缺陷类型的判断结果,有缺陷像素选择单元223产生包括每个有缺陷像素的有缺陷像素坐标和缺陷类型的缺陷数据,并将缺陷数据提供给缺陷数据表存储器202已将缺陷数据记录在缺陷数据表202内存储的缺陷数据表内。
接下来,将参照图20进一步详细说明图19内所示的判断单元236执行的确定缺陷类型的过程。
图20示出对于经由执行三次的摄影操作捕获的三帧测试图像数据中的每一个的六个像素A、B、C、D、E和F的像素值。
图20顶部的条形图示出在第一次摄影操作中获得的第一帧测试图像数据内观察到的像素A到F的像素值,下一个较低的位置处的条形图示出在第二次摄影操作中获得的第二帧测试图像数据内观察到的像素A到F的像素值,而在更下一个较低位置处的条形图示出在第三次摄影操作中获得的第三帧测试图像数据内观察到的像素A到F的像素值,
在图20所示的示例中,在全部三帧测试图像数据中,六个像素A到F中的三个像素B、D和E的像素值低于用于检测白色像素的阈值。但是,在全部三帧测试图像数据中,像素C的像素值高于用于检测白色缺陷的阈值。应指出,在图20所示的示例中,用于检测白色缺陷的阈值固定为THW。
另一方面,在全部三帧测试图像数据中,像素A的像素值接近用于检测白色缺陷的阈值。即,像素A的像素值围绕用于检测白色缺陷的阈值在小范围内波动。更准确地说,在第一帧和第三帧测试图像数据中像素A的像素值稍低于用于检测白色缺陷的阈值,但是在第二帧测试图像数据中像素A的像素值稍高于用于检测白色缺陷的阈值。
在第一和第三帧测试图像数据中像素F的像素值小于用于检测白色缺陷的阈值,但是在第二帧测试图像数据中像素F的阈值大于用于检测白色缺陷的阈值。即,在第一和第三帧测试图像数据中像素F的像素值远低于用于检测白色缺陷的阈值,但是在第二帧测试图像数据中像素F的像素值大于用于检测白色缺陷的阈值。
在任何时候获得的任一帧测试图像数据中总是具有低于用于检测白色缺陷的阈值的像素值的像素是正常像素(也被称为无缺陷像素)。在图20所示的示例中,像素B、D和E总是低于用于检测白色缺陷的阈值,从而它们是无缺陷像素。
另一方面,如果在一些摄影操作中像素具有等于或大于用于检测白色缺陷的阈值的像素值,则它们是有缺陷像素(白色有缺陷像素)。在图20所示的示例中,在第二次摄影操作中具有大于用于检测白色缺陷的阈值的像素值的像素A和F以及在全部三次摄影操作中具有大于用于检测白色缺陷的阈值的像素值的像素C都有缺陷。
对于在全部摄影操作中具有高于用于检测白色缺陷的阈值的像素值的像素C,白色缺陷的出现次数等于执行的摄影操作的次数,从而像素C可被确定为是永久性有缺陷像素。在缺陷类型的确定中需要仔细考虑这样的像素,即该像素在一些摄影操作中具有等于或大于用于检测白色缺陷的阈值的像素值,但是在其他摄影操作中具有低于用于检测白色缺陷的阈值的像素值。对于这样的像素,白色缺陷的出现次数并不等于执行的摄影操作的次数。在图20所示的示例中,像素A和F是这种类型。
如上所述,在第一和第三次摄影操作中像素A的像素值稍低于用于检测白色缺陷的阈值,但是在第二次摄影操作中像素A的像素值稍高于用于检测白色缺陷的阈值。因此,像素A是具有围绕用于检测白色缺陷的阈值在小范围内波动的像素值的永久性有缺陷像素。
另一方面,在第一和第三次摄影操作中像素F具有小于用于检测白色缺陷的阈值的像素值,但是在第二次摄影操作中像素F的像素值高于用于检测白色缺陷的阈值。在像素F的情况下,如上所述,第一和第三次摄影操作中的像素值远低于用于检测白色缺陷的阈值,但是第二次摄影操作中的像素值大于用于检测白色缺陷的阈值。这意味着像素F在第一和第三次摄影操作中相当于无缺陷像素,但是在第二次摄影操作中相当于有缺陷像素。即,像素F是间歇性有缺陷像素。
对于像素例如像素A和F,它们在一些摄影操作中具有等于或大于用于检测白色缺陷的阈值的像素值但是在其他摄影操作中具有小于用于检测白色缺陷的阈值的像素值,缺陷类型例如可如下地确定。
在从图20的顶部(向下)的第四个位置处的条形图示出在三次摄影操作中观察到的各个像素A到F的最小值。
如果用于确定白色有缺陷像素的缺陷类型的阈值被设定为THL,该阈值远小于用于检测白色缺陷的阈值并因此可被看作黑色等级,则然后不管何时拍摄图像永久性有缺陷缺陷的像素值总是大于阈值THL,因为这种像素的阈值落在远大于阈值THL的用于检测白色缺陷的阈值附近的小范围内。
另一方面,当间歇性有缺陷像素例如像素F处于无缺陷状态时,其具有低于用于确定缺陷类型的阈值THL的像素值,该阈值被设定为远低于用于检测白色缺陷的阈值,但是当间歇性有缺陷像素处于有缺陷状态时其可具有大于用于检测白色缺陷的阈值的像素值。
因此,当如像素A和F的情况,特定像素在特定摄影操作中具有等于或大于用于检测白色缺陷的阈值的像素值,但是在另外的摄影操作中具有低于用于检测白色缺陷的阈值的像素值时,此像素的缺陷类型的确定即关于此像素是间歇性缺陷类型还是永久性缺陷类型的确定可通过检查在一些摄影操作中该像素是否具有等于或低于用于确定白色缺陷的类型的阈值来实现,即通过检查经由多次摄影操作观察到的此像素的多个像素值中的最小值是否等于或低于用于确定白色缺陷的类型的阈值来实现。
在图20的底部示出表示每个像素A到F的白色缺陷的出现次数以及指示最小值是否低于用于确定白色缺陷的类型的阈值的标记(下文,此标记将被简称为最小值标记)的表。
此表指示像素B、D和E的白色缺陷的出现次数为0,因此可确定这些像素为无缺陷像素。
另一方面,该表指示像素A、C和F的白色缺陷的出现次数为1次或更多次,因此可确定这些像素为有缺陷像素。
此外,根据该表,在白色缺陷的出现次数为1次或更多次的有缺陷像素A、C和F中,像素A和C的最小值标记被设定为0(因此,像素A和C的像素值的最小值大于用于确定白色缺陷的类型的阈值),因此像素A和C是永久性有缺陷像素。
另一方面,在白色缺陷的出现次数为1次或更多次的有缺陷像素A、C和F中,像素F的最小值标记被设定为1(因此,像素F的像素值的最小值等于或低于用于确定白色缺陷的类型的阈值),因此像素F是间歇性有缺陷像素。
黑色有缺陷像素的缺陷类型的确定可以与白色有缺陷像素的确定类似的方式实现。但是,在黑色有缺陷像素的缺陷类型的确定中,与白色有缺陷像素的缺陷类型的确定相反,缺陷类型是基于最大值确定的。
图21示出图18内所示的缺陷数据表存储器202内存储的缺陷数据表的示例。
在图21所示的示例中,每个有缺陷像素的有缺陷像素坐标和缺陷类型被描述为缺陷数据表内的缺陷数据。
图22示出图18内所示的缺陷校正单元201的配置的示例。
如图22所示,缺陷校正单元201包括判断单元261和校正单元262。
前端单元6(图1)输出的测试图像数据被提供给判断单元261。
判断单元261从图像数据中一个接一个地选择像素作为所关心的像素,并通过参考缺陷数据表存储器202内存储的缺陷数据表来确定所关心的像素是否有缺陷。
在判断单元261确定所关心的像素有缺陷时,判断单元261通过参考缺陷数据表存储器202内存储的缺陷数据表进一步确定所关心的有缺陷像素是永久性缺陷类型还是间歇性缺陷类型。
在判断单元261确定所关心的像素有缺陷的情况下,判断单元261向校正单元262提供校正命令信号以校正所关心的像素的像素值。
另一方面,在确定所关心的像素是间歇性有缺陷像素的情况下,判断单元261通过将所关心的间歇性有缺陷像素的像素值与用于确定间歇性有缺陷像素的状态的阈值进行比较,确定间歇性有缺陷像素当前是否处于有缺陷状态,在该状态下间歇性有缺陷像素具有异常像素值。
在判断单元261确定所关心的像素处于有缺陷状态的情况下,判断单元261向校正单元262提供校正命令信号。
除了判断单元261提供的校正命令信号之外,与提供给判断单元261相同的测试图像数据也被从前端单元6提供给校正单元262。
每次校正单元262接收到从前端单元6依次提供的多个像素之一的像素值,校正单元262就确定是否已从判断单元261接收到指示本像素是将被校正的像素的校正命令信号。如果确定没有接收到校正命令信号并因此本像素不是将被校正的像素,则校正单元262直接输出本像素的像素值作为被校正的图像数据的像素值。
另一方面,如果已经从判断单元261接收到校正命令信号并因此本像素是将被校正的像素,则校正单元262校正本像素的像素值,并输出被校正的像素值作为被校正的图像数据的像素值。
被指定将被校正的所关心的像素的像素值的校正可以与图13内所示的校正单元162类似的方式执行。
接下来,下文将参照图23所示的流程图说明图19内所示的缺陷检测单元203执行的缺陷检测过程。
图23内所示的缺陷检测过程例如在图1所示的数字静态照相机1被装运之前在数字静态照相机的生产线上执行。
在步骤S71,缺陷检测单元203中的白色缺陷检测单元221执行白色缺陷检测过程以检测白色有缺陷像素,并将指示针对测试图像数据的每个像素的关于该像素是无缺陷像素、永久性有缺陷像素还是间歇性有缺陷像素的确定的结果提供给有缺陷像素选择单元223。过程然后前进到步骤S72。
在步骤S72,黑色缺陷检测单元222执行黑色缺陷检测过程以检测黑色有缺陷像素,并将指示针对测试图像数据的每个像素的关于该像素是无缺陷像素、永久性有缺陷像素还是间歇性有缺陷像素的确定的结果提供给有缺陷像素选择单元223。过程然后前进到步骤S73。
在步骤S73,有缺陷像素选择单元223根据从白色缺陷检测单元221和黑色缺陷检测单元222告知的判断结果从测试图像数据的像素中选择有缺陷像素。此外,有缺陷像素选择单元223产生包含每个有缺陷像素的有缺陷像素坐标和缺陷类型的缺陷数据。过程然后转到步骤S74。
在步骤S74,有缺陷像素选择单元223将与有缺陷像素相关联的缺陷数据提供给缺陷数据表存储器202。缺陷数据表存储器202将接收到的缺陷数据记录在缺陷数据表内。此后,缺陷检测过程结束。
接下来,下文将按照图24内所示的流程图说明图19内所示的白色缺陷检测单元221在图23内的步骤S71中执行的白色缺陷检测过程。
在白色缺陷检测过程中的步骤S81,白色缺陷检测单元221的帧存储器235将其中存储器的白色缺陷的出现次数初始化为0。
在此白色缺陷检测过程中,微型计算机11(图1)经由定时发生器5控制图像传感器4以便进行预定次数的摄影。
结果,用于白色有缺陷像素的检测的测试图像数据由图像传感器4产生,并被提供给白色缺陷检测单元221的最小值检测单元231,并且步骤S82由图5内所示的最小值检测单元140以与图16内的步骤S32类似的方式执行。
每次测试图像数据被图像传感器4拍摄并被提供给最小值检测单元231,就执行此步骤S82。如同图5内的最小值检测单元140一样,最小值检测单元231检测经由预定次数的摄影操作观察到的每个像素位置的多个像素值中的最小值。
过程然后从步骤S82前进到步骤S83。在步骤S83,白色缺陷检测单元221中的出现次数计数器232的有缺陷像素检测单元233(图19)从测试图像数据中一个接一个地选择像素,并比较当前选择的像素(下文被称为所关心的像素)的像素值与用于检测白色缺陷的阈值。如果所关心的像素具有等于或大于用于检测白色缺陷的阈值的像素值,则所关心的像素被确定为是白色有缺陷像素。更准确地说,有缺陷像素检测单元233确定所关心的像素的像素值是否等于或大于用于检测白色缺陷的阈值,并且如果是这样,则有缺陷像素检测单元233确定所关心的像素是有缺陷像素。
有缺陷像素检测单元233将指示被确定为是有缺陷像素的所关心像素的位置的坐标提供给加法器234。此后,过程从步骤S83前进到步骤S84。在步骤S84,加法器234访问帧存储器235并读取在与从有缺陷像素检测单元233提供的所关心像素的像素位置相对应的地址存储的白色缺陷的出现次数,并且加法器234将白色缺陷的出现次数加1。加法器234然后用增加的白色缺陷的出现次数代替在帧存储器235内在对应于所关心的像素的位置的地址处存储的当前数据。
过程从步骤S84前进到步骤S85。在步骤S85,白色缺陷检测单元221确定摄影操作是否已经执行了预定的次数。
如果在步骤S85确定捕获测试图像数据的操作还未执行预定次数,则图像传感器4再一次捕获测试图像数据,并将捕获的测试图像数据提供给最小值检测单元231和出现次数计数器232的有缺陷像素检测单元233。此后,过程返回步骤S82以重复步骤S82到步骤S85。
经由步骤S82到S85的反复执行,如上所述,最小值检测单元231从由图像传感器4执行的预定次数的摄影操作获得的多帧测试图像数据中检测每个像素的最小像素值。
如果在步骤S85确定捕获测试图像数据的操作已经执行了预定的次数,即如果已从由图像传感器4执行的预定次数的摄影操作获得的多帧测试图像数据中检测到每个像素的最小像素值,并且在多帧测试图像数据上的每个像素位置计数的白色缺陷的出现次数已被存储在帧存储器235内,则然后由最小值检测单元231为多帧测试图像数据上的每个像素位置检测到的最小像素值以及存储在帧存储器235内的白色缺陷的出现次数被提供给判断单元236。
过程然后从步骤S85前进到步骤S86。在步骤S86,判断单元236从测试图像数据中一个接一个地选择像素作为所关心的像素,并确定所关心的像素的白色缺陷出现次数是否是0。
如果在步骤S86确定所关心的像素的白色缺陷出现次数为0,则过程前进到步骤S87。在步骤S87,判断单元236通知有缺陷像素选择单元223所关心的像素是无缺陷像素。
另一方面,如果在步骤S86确定所关心的像素的白色缺陷出现次数不等于0,即如果在所关心的像素处的白色缺陷的出现次数为1或更大,过程前见到步骤S88。在步骤S88,判断单元236确定在所关心的像素处的白色缺陷的出现次数是否等于摄影操作的预定次数。
如果在步骤S88确定在所关心的像素处的白色缺陷的出现次数等于摄影操作的预定次数,则过程前进到步骤S89。在步骤S89,判断单元236通知有缺陷像素选择单元223所关心的像素为永久性有缺陷像素。
另一方面,如果在步骤S88确定在所关心的像素处的白色缺陷的出现次数不等于摄影操作的预定次数,则过程前进到步骤S90。在步骤S90,判断单元236确定经由预定次数的摄影操作捕获的所关心像素处的像素值的最小值(下文被简称为所关心像素处的最小值)是否等于或小于用于确定白色缺陷的类型的阈值。
如果在步骤S90确定所关心像素处的最小值大于用于检测白色缺陷的类型的阈值,则过程前进到步骤S89。在步骤S89,判断单元236通知有缺陷像素选择单元223所关心的像素是永久性有缺陷像素。
另一方面,如果在步骤S90确定所关心像素处的最小值等于或小于用于检测白色缺陷的类型的阈值,则过程前进到步骤S91。在步骤S91,判断单元236通知有缺陷像素选择单元223所关心的像素是间歇性有缺陷像素。
接下来,下文将参照图25内所示的流程图说明图19内所示的黑色缺陷检测单元222在图23中的步骤S72内执行的黑色缺陷检测过程。
在黑色缺陷检测过程的步骤S101,黑色缺陷检测单元222的帧存储器245将其中存储的黑色缺陷的出现次数初始化为0。
在此黑色缺陷检测过程中,微型计算机11(图1)经由定时发生器5控制图像传感器4以便进行预定次数的摄影。
结果,用于黑色有缺陷像素的检测的测试图像数据由图像传感器4产生,并被提供给黑色缺陷检测单元222的最大值检测单元241,并且步骤S102由图5内所示的最大值检测单元130以与图15内的步骤S22类似的方式执行。
每次测试图像数据被图像传感器4拍摄并被提供给最大值检测单元241,就执行此步骤S102。如同图5内的最大值检测单元130一样,最大值检测单元241检测经由预定次数的摄影操作观察到的每个像素位置的多个像素值中的最大值。
过程然后从步骤S102前进到步骤S103。在步骤S103,黑色缺陷检测单元222中的出现次数计数器242的有缺陷像素检测单元243(图19)从测试图像数据中一个接一个地选择像素,并比较当前选择的像素(下文被称为所关心的像素)的像素值与用于检测黑色缺陷的阈值。如果所关心的像素具有等于或小于用于检测黑色缺陷的阈值的像素值,则所关心的像素被确定为是黑色有缺陷像素。更准确地说,有缺陷像素检测单元243确定所关心像素的像素值是否等于或小于用于检测黑色缺陷的阈值,并且如果是这样,则有缺陷像素检测单元243确定所关心的像素是有缺陷像素。
有缺陷像素检测单元243将指示被确定为是有缺陷像素的所关心像素的位置的坐标提供给加法器244。此后,过程从步骤S103前进到步骤S104。在步骤S104,加法器244访问帧存储器245并读取在对应于所关心像素的像素位置的地址处存储的黑色缺陷的出现次数,并且加法器244将黑色缺陷的出现次数加1。加法器244然后用增加的黑色缺陷的出现次数代替在帧存储器245内在对应于所关心的像素的位置的地址处存储的当前数据。
过程从步骤S104前进到步骤S105。在步骤S105,黑色缺陷检测单元222确定摄影操作是否已经执行了预定的次数。
如果在步骤S105确定捕获测试图像数据的操作还未执行预定次数,则图像传感器4再一次捕获测试图像数据,并将捕获的测试图像数据提供给最大值检测单元241和出现次数计数器242的有缺陷像素检测单元243。此后,过程返回步骤S102以重复步骤S102到步骤S105。
经由步骤S102到S105的反复执行,如上所述,最大值检测单元241从由图像传感器4执行的预定次数的摄影操作获得的多帧测试图像数据中检测每个像素的最大像素值。
如果在步骤S105确定捕获测试图像数据的操作已经执行了预定的次数,即如果已从由图像传感器4执行的预定次数的摄影操作获得的多帧测试图像数据中检测到每个像素的最大像素值,并且在多帧测试图像数据上的每个像素位置计数的黑色缺陷的出现次数已被存储在帧存储器245内,则然后由最大值检测单元241为多帧测试图像数据上的每个像素位置检测到的最大像素值以及存储在帧存储器245内的黑色缺陷的出现次数被提供给判断单元246。
过程然后从步骤S105前进到步骤S106。在步骤S106,判断单元246从测试图像数据中一个接一个地选择像素作为所关心的像素,并确定所关心的像素的黑色缺陷出现次数是否是0。
如果在步骤S106确定所关心的像素的黑色缺陷出现次数为0,则过程前进到步骤S107。在步骤S107,判断单元246通知有缺陷像素选择单元223所关心的像素是无缺陷像素。
另一方面,如果在步骤S106确定所关心的像素的黑色缺陷出现次数不等于0,即如果在所关心的像素处的黑色缺陷的出现次数为1或更大,过程前见到步骤S108。在步骤S108,判断单元246确定在所关心的像素处的黑色缺陷的出现次数是否等于摄影操作的预定次数。
如果在步骤S108确定在所关心的像素处的黑色缺陷的出现次数等于摄影操作的预定次数,则过程前进到步骤S109。在步骤S109,判断单元246通知有缺陷像素选择单元223所关心的像素为永久性有缺陷像素。
另一方面,如果在步骤S108确定在所关心的像素处的黑色缺陷的出现次数不等于摄影操作的预定次数,则过程前进到步骤S110。在步骤S110,判断单元246确定经由预定次数的摄影操作捕获的所关心像素处的像素值的最大值(下文被简称为所关心像素处的最大值)是否等于或大于用于确定黑色缺陷的类型的阈值。
用于确定黑色有缺陷像素的缺陷类型的阈值被预先设定为远大于用于检测黑色缺陷的阈值并因此可被认为是白色等级的值。
如果在步骤S110确定所关心像素处的最大值小于用于检测黑色缺陷的类型的阈值,则过程前进到步骤S109。在步骤S109,判断单元246通知有缺陷像素选择单元223所关心的像素是永久性有缺陷像素。
另一方面,如果在步骤S110确定所关心像素处的最大值等于或大于用于检测黑色缺陷的类型的阈值,则过程前进到步骤S111。在步骤S111,判断单元246通知有缺陷像素选择单元223所关心的像素是间歇性有缺陷像素。
接下来,下文将参照图26内所示的流程图说明图22内所示的缺陷校正单元201执行的缺陷校正过程。
如上所述,前端单元6(图1)输出的图像数据被提供给缺陷校正单元201内的判断单元261和校正单元262。
在步骤S131,判断单元261从前端单元6提供的图像数据中一个接一个地选择像素作为所关心的像素,并参考缺陷数据表存储器202内存储的缺陷数据表确定所关心的像素是否是永久性有缺陷像素。
如果在步骤S131确定所关心的像素是永久性有缺陷像素,则过程前进到步骤S132。在步骤S132,校正单元262校正所关心的像素的像素值,并输出被校正的像素值作为被校正的图像数据的像素值。过程然后前进到步骤S135。
另一方面,如果在步骤S131确定所关心的像素不是永久性有缺陷像素,则过程前进到步骤S133。在步骤S133,判断单元261通过参考缺陷数据表存储器202内存储的缺陷数据表确定所关心的像素是否是间歇性有缺陷像素。
如果在步骤S133确定所关心的像素不是间歇性有缺陷像素,即如果所关心的像素是无缺陷像素,则校正单元262直接输出所关心的像素的像素值作为被校正的图像数据的像素值。过程然后前进到步骤S135。
在步骤S133中确定所关心的像素是间歇性有缺陷像素的情况下,过程前进到步骤S134。在步骤S134,判断单元261通过将所关心的间歇性有缺陷像素的像素值与用于确定间歇性有缺陷像素的状态的阈值进行比较,确定间歇性有缺陷像素目前是否处于有缺陷状态。
在关于被确定为是间歇性有缺陷像素的像素目前是否处于有缺陷状态的判断中,用于确定间歇性有缺陷像素的状态的阈值可被设定为等于用于相对缺陷检测方法的用于检测白色缺陷的变化阈值或用于检测黑色缺陷的变化阈值。如果被确定为是间歇性有缺陷像素的所关心像素的像素值等于或大于限定白色间歇性有缺陷缺陷是否处于有缺陷状态的阈值,或者等于或小于限定黑色间歇性有缺陷缺陷是否处于有缺陷状态的阈值,则间歇性有缺陷像素被确定为目前处于有缺陷状态。
关于被确定为间歇性有缺陷像素的像素目前是否处于有缺陷状态的确定可根据间歇性有缺陷像素的像素值与用于确定间歇性有缺陷像素的状态的变化阈值的比较结果以及根据与固定阈值的比较结果实现。
如果在步骤S134确定所关心的间歇性有缺陷像素目前不处于有缺陷状态,即如果所关心的间歇性有缺陷像素目前表现为无缺陷像素,则校正单元262直接输出所关心的像素的像素值作为被校正图像数据的像素值。过程然后前进到步骤S135。
另一方面,如果在步骤S134确定所关心的间歇性有缺陷像素目前处于有缺陷状态,即如果所关心的间歇性有缺陷像素目前表现为有缺陷像素,则校正单元262校正所关心的像素的像素值,并输出被校正的像素值作为被校正的图像数据的像素值。过程然后前进到步骤S135。
在步骤S135,判断单元261确定所关心的像素是否是位于测试图像数据末端的像素,即测试图像数据是否不再包含将被测试的像素。
如果在步骤S135确定测试图像数据包含更多将被测试的像素,则然后判断单元261从还未被测试的像素中选择一个像素作为新的所关心的像素。过程流然后返回步骤S131以重复从步骤S131开始的过程。
另一方面,如果在步骤S135内确定测试图像数据不再包含将被测试的像素,则缺陷校正单元201结束缺陷校正过程。
如上所述,在图18内所示的缺陷处理单元51执行的操作中,缺陷校正单元203通过检测具有大于用于检测白色缺陷的阈值的像素值的像素来检测白色缺陷的出现次数,并在经由多次执行的摄影操作捕获的多个帧上对测试图像数据的每个像素位置处的白色缺陷出现次数计数。缺陷校正单元203还基于多个帧上观察到的测试图像数据的每个像素位置处的最小值是大于还是小于被设定为小于用于检测白色有缺陷像素的阈值以便检测白色有缺陷像素的类型的阈值,并且还基于在每个像素位置观察到的白色缺陷的出现次数,确定每个检测出的白色有缺陷像素是永久性缺陷类型还是间歇性缺陷类型。缺陷校正单元203通过检测具有小于用于检测黑色缺陷的阈值的像素值的像素来检测黑色缺陷的出现次数,并在经由多次执行的摄影操作捕获的多个帧上对测试图像数据的每个像素位置处的黑色缺陷出现次数计数。缺陷校正单元203还基于在多个帧上观察到的测试图像的每个像素位置处的最大值大于还是小于设定为大于用于检测黑色有缺陷像素的阈值以便检测黑色有缺陷像素的类型的阈值,并且还基于在每个像素位置观察到的黑色缺陷的出现次数,确定每个检测到的黑色有缺陷像素是永久性缺陷类型还是间歇性缺陷类型。缺陷数据中描述了检测到的每个有缺陷像素的类型。根据缺陷数据,缺陷校正单元201确定图像数据的每个像素是否有缺陷,并且还确定每个有缺陷像素的缺陷类型(永久性缺陷类型或间歇性缺陷类型)。
在图18所示的缺陷处理单元51中,缺陷校正单元201总是为永久性缺陷类型的有缺陷像素校正像素值。但是,对于间歇性有缺陷像素,缺陷校正单元201通过比较每个间歇性有缺陷像素的像素值与用于确定间歇性有缺陷像素的状态的阈值确定每个间歇性有缺陷像素是否处于有缺陷状态,并且缺陷校正单元201只有在间歇性有缺陷像素处于有缺陷状态时才校正像素值。因此,有缺陷像素被以非常可靠的方式校正。
即,间歇性有缺陷像素可处于其中间歇性有缺陷像素表现为无缺陷像素的无缺陷状态,和其中间歇性有缺陷像素表现为有缺陷像素的有缺陷状态。当间歇性有缺陷像素不处于有缺陷状态时,其的像素值并不异常。如果对不处于有缺陷状态的间歇性有缺陷像素进行校正,结果是被校正的像素值可能异常。
为了避免出现数上述问题,检查缺陷数据以确定每个有缺陷像素是永久性有缺陷类型还是间歇性有缺陷类型,并且总是对被确定为是永久性缺陷类型的像素进行像素值校正,同时只有当间歇性有缺陷像素处于有缺陷状态时才对每个间歇性有缺陷像素进行校正,从而可防止处于无缺陷状态的间歇性有缺陷像素被修改成不正确的值。
接下来,下文参照图27内所示的流程图说明图22内所示的缺陷校正单元201执行的缺陷校正过程的另一个示例。
如上所述,前端单元6(图1)示出的图像数据被提供给缺陷校正单元201内的判断单元261和校正单元262。
判断单元261从前端单元6提供的图像数据中一个接一个地选择像素作为所关心的刑诉,并且以与图26内示出的步骤S131到S134类似的方式执行步骤S141到S144。
更准确地说,如果所关心的像素是永久性有缺陷像素,则然后在步骤S142,校正单元262校正所关心的像素的像素值,并输出被校正的像素值作为被校正的图像数据的像素值。过程然后前进到步骤S146。
另一方面,如果所关心的像素是间歇性有缺陷像素并且目前处于有缺陷状态,则然后在步骤S144,校正单元262校正所关心的像素的像素值,并输出被校正的像素值作为被校正的图像的像素值。过程然后前进到步骤S146。
如果所关心的像素是间歇性有缺陷像素并且目前不处于有缺陷状态,则然后在步骤S144,校正单元262直接输出所关心的像素的像素值作为被校正的图像数据的像素值。过程然后前进到步骤S146。
如果所关心的像素是既不是永久性有缺陷像素也不是间歇性有缺陷像素的无缺陷像素,即如果在步骤S141确定所关心的像素不是永久性有缺陷像素且在步骤S143还确定所关心的像素不是间歇性有缺陷像素,则过程前进到步骤S145。在步骤S145,判断单元261通过比较所关心的无缺陷像素的像素值与用于确定无缺陷像素的状态的阈值来确定所关心的无缺陷像素目前是否处于有缺陷状态。
在关于所关心的无缺陷像素目前是否处于有缺陷状态的确定中,用于确定所关心的无缺陷像素的状态的阈值可被设定为等于用于相对缺陷检测方法的用于检测白色缺陷的变化阈值或用于检测黑色缺陷的变化阈值。如果所关心的无缺陷像素的像素值等于或大于被限定用于检测无缺陷像素处于白色有缺陷状态的阈值,或等于或小于被限定用于检测无缺陷像素处于黑色有缺陷状态的阈值,则所关心的无缺陷像素被确定为处于有缺陷状态。
关于所关心的无缺陷像素目前是否处于有缺陷状态的确定可根据所关心像素的像素值与用于确定无缺陷像素的状态的变化阈值的比较结果以及根据与固定阈值的比较结果实现。
如果在步骤S145确定所关心的无缺陷像素目前不处于有缺陷状态,则校正单元262直接输出所关心像素的像素值作为被校正的图像数据的像素值。过程然后前进到步骤S146。
另一方面,如果在步骤S145确定所关心的无缺陷像素目前处于有缺陷状态,则校正单元262校正所关心的像素的像素值,并输出被校正的像素值作为被校正的图像数据的像素值。过程然后前进到步骤S146。
在步骤S146,判断单元261确定所关心的像素是否是位于测试图像数据末端的像素,即测试图像数据是否不再包括将被测试的像素。
如果在步骤S146确定测试图像数据包含更多将被测试的像素,则然后判断单元261从还未被测试的像素中选择一个像素作为新的所关心的像素。过程流然后返回步骤S141以重复从步骤S141开始的过程。
另一方面,如果在步骤S146内确定测试图像数据不再包含将被测试的像素,则缺陷校正单元201结束缺陷校正过程。
如上所述,缺陷校正单元201不仅针对间歇性有缺陷像素而且还针对无缺陷像素进行关于所关心的像素是否处于有缺陷状态,并且如果所关心的像素被确定为目前处于有缺陷状态,则校正所关心的像素的像素值。这使得可以更加可靠的方式校正有缺陷像素的像素值。
由于缺陷校正单元201根据缺陷数据表确定图像数据的每个像素是否有缺陷,所以未作为有缺陷像素被记录在缺陷数据表内的任何像素被确定为是无缺陷像素。在图26的缺陷校正过程中,没有对被根据缺陷数据表确定为无缺陷的任何像素进行校正,即没有对未被记录在缺陷数据表内的任何像素进行校正。
但是,在缺陷数据被记录在缺陷数据表内之后,在被确定为无缺陷像素处可能会出现缺陷。当像素具有这种缺陷(下文,这种像素将被称为稍后出现缺陷的像素)时,如果其缺陷等级高,则缺陷将会明显。
为了避免出现这种问题,还以与如上文参照图27说明的检查间歇性有缺陷像素的方式类似的方式检查无缺陷像素以确定它们是否处于有缺陷状态。如果在以前被确定为是无缺陷的像素处检测到缺陷稍后出现,则此像素的像素值被校正。这使得还可处理缺陷稍后出现。
当执行具有长时间曝光的摄影操作时,最初或稍后被确定为间歇性有缺陷像素的像素易于落入有缺陷状态。鉴于此,当执行具有短曝光时间的摄影操作时不会执行用于间歇性有缺陷像素或稍后出现缺陷的像素的校正(图26内的步骤S134或图27内的步骤S144或S145),但是只有当执行长曝光时间的摄影操作时才会执行校正。这可导致最初或稍后被确定为间歇性有缺陷像素的像素在未处于有缺陷状态时不正确地受到校正的可能性降低。
用于确定间歇性有缺陷像素是否处于有缺陷状态的阈值可等于或不等于用于确定无缺陷像素是否处于有缺陷状态的阈值。
间歇性有缺陷像素是在缺陷检测过程中被确定为有缺陷像素的像素。另一方面,无缺陷像素是在缺陷检测过程中没有被检测为是有缺陷像素的像素,但是在缺陷检测过程之后它们可能或落入有缺陷状态。因此,无缺陷像素处于有缺陷状态的可能性低于间歇性有缺陷像素处于有缺陷状态的肯能行。
鉴于上文,用于确定无缺陷像素是否处于有缺陷状态的阈值可被设定为使得大部分无缺陷像素被确定为无缺陷的值,即该阈值可设定为严格的值。另一方面,用于确定间歇性有缺陷像素是否处于有缺陷状态的阈值可被设定为使得临界的间歇性有缺陷像素将被确定为处于有缺陷状态的值。
更准确地说,用于检测处于有缺陷状态的无缺陷像素的阈值可被设定为比用于相对缺陷检测方法的用于检测白色缺陷的变化阈值大预定量的值,或者被设定为比用于检测黑色缺陷的阈值小预定量的值。用于检测处于有缺陷状态的无缺陷像素的阈值可被设定为等于用于相对缺陷检测方法的用于检测白色缺陷的变化阈值的值(或比用于检测白色缺陷的阈值小预定量),或可被设定为用于检测黑色缺陷的阈值(或比用于检测黑色缺陷的阈值大预定量)。
使用严格的值作为用于检测处于有缺陷状态的无缺陷像素的阈值可防止无缺陷像素被不正确地认为处于有缺陷状态,从而防止处于正常状态的无缺陷像素的像素值被不正确地修改为异常值,这会导致通过数字静态照相机拍摄的图像的质量降低。
在图19所示的示例中,缺陷检测单元203包括用于检测白色有缺陷像素的白色缺陷检测单元221和用于检测黑色有缺陷像素的黑色缺陷检测单元222。可选择地,缺陷检测单元203可仅包括用于检测白色有缺陷像素的白色缺陷检测单元221或用于检测黑色有缺陷像素的黑色缺陷检测单元222。但是,在缺陷检测单元203仅包括白色缺陷检测单元221和黑色缺陷检测单元222之一时,可仅检测白色有缺陷像素或黑色有缺陷像素。
图28示出图3内所示的缺陷处理单元51的配置的另一个示例。
在图28中,与图18内的那些部件类似的部件用类似的标号指示,并且文中将省略对其的重复说明。
如图28所示,缺陷处理单元51包括缺陷校正单元201,缺陷数据表存储器302和缺陷检测单元303。
缺陷数据表存储器302以与图4内所示的缺陷数据表存储器102类似的方式配置,并且用于存储其中描述了与缺陷检测单元303检测到的有缺陷像素相关联的缺陷数据的缺陷数据表。
如同图4内所示的缺陷检测单元103一样,缺陷检测单元303被供给将用于缺陷像素检测过程的测试图像数据。
缺陷检测单元303如同图4内所示的缺陷检测单元103一样或如同图18内所示的缺陷检测单元203一样执行缺陷检测过程。更准确地说,缺陷检测单元303使用被提供给缺陷检测单元303的测试图像数据检测有缺陷像素,并将与检测到的有缺陷像素相关联的缺陷数据记录在缺陷数据表存储器302内的缺陷数据表内。
下文将进一步详细说明以上述方式配置的缺陷处理单元51执行的缺陷检测过程和缺陷校正过程。
如果用户操作图1内所示的操作单元12以发出执行缺陷检测过程的命令,则对应于用户执行的操作从操作单元12发出缺陷检测命令信号作为操作信号,并且该信号被提供给微型计算机11。
如果微型计算机11从操作单元12接收到缺陷检测命令信号,则将操作模式从正常模式切换到缺陷检测模式,并经由定时发生器5(图1)控制图像传感器4以便进行多次摄影。
由图像传感器4执行的摄影操作获得的多帧图像数据或被校正的图像数据作为测试图像数据被提供给缺陷检测单元303。
微型计算机11经由微型计算机接口33(图3)控制相机信号处理单元31内的缺陷处理单元51的缺陷检测单元303以执行缺陷检测过程。
因此,在微型计算机11的控制下,缺陷检测单元303如下所述地执行缺陷检测过程。如果缺陷检测单元303从图像传感器接收到多帧测试图像数据,缺陷检测单元303检测有缺陷像素,并将与检测到的有缺陷像素相关联的缺陷数据记录在缺陷数据表存储器302内的缺陷数据表内。
如果缺陷检测单元303已经将缺陷数据记录在缺陷数据表内,则微型计算机11将操作模式从缺陷检测模式切换到正常模式。
在缺陷数据表存储器302内的缺陷数据表具有原有缺陷数据的情况下,缺陷检测单元303产生的新缺陷数据将存储在缺陷数据表内,以便原有缺陷数据被新缺陷数据覆写。
在以正常模式操作时,如果图像传感器4拍摄图像并且结果图像数据被提供给缺陷校正单元201,则缺陷校正单元201如上文参照图18说明地执行缺陷校正过程。
图29示出图28内所示的缺陷检测单元303的配置的示例。
缺陷检测单元303包括白色缺陷检测单元321,黑色缺陷检测单元322和有缺陷像素选择单元323。
白色缺陷检测单元321包括缺陷等级检测单元331,最小值检测单元334,出现次数计数器335和判断单元336。白色缺陷检测单元321检测白色有缺陷像素,并确定检测到的白色有缺陷像素的缺陷等级。白色缺陷检测单元321还确定检测到的白色缺陷像素的缺陷类型,即确定检测到的白色缺陷像素是永久性缺陷类型还是间歇性缺陷类型。白色缺陷检测单元321然后将指示关于所关心的像素是否是白色缺陷像素的确定结果的数据以及指示检测到的白色有缺陷像素的缺陷类型的数据提供给有缺陷像素选择单元323。
在白色缺陷检测单元321中,缺陷等级检测单元331、最小值检测单元334和出现次数计数器335被供给经由图像传感器4执行多次的摄影操作获得的多帧测试图像数据。
缺陷等级检测单元331包括最大值检测单元332和有缺陷像素检测单元333,并且用于通过将在经由图像传感器4多次执行的摄影操作捕获的测试图像数据的每个像素处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,来检测白色有缺陷像素并确定检测到的白色有缺陷像素的缺陷等级。指示检测结果的数据被提供给判断单元336。
最大值检测单元332以与图5内所示的最大值检测单元130类似的方式配置,并且用于检测在多帧测试图像数据的每个像素位置处获得的像素值的最大值,并将指示检测到的各个像素的最大像素值的最大值图像数据提供给有缺陷像素检测单元333。
有缺陷像素检测单元333以与图5内所示的有缺陷像素检测单元134类似的方式配置,并且用于以与图5内所示的有缺陷像素检测单元134类似地方式,通过比较从最大值检测单元332提供的最大值图像数据的每个像素的像素值与用于检测白色缺陷的阈值来检测白色有缺陷像素。有缺陷像素检测单元333还通过从每个白色有缺陷像素的像素值中减去用于检测白色缺陷的阈值并使用减去结果作为缺陷等级,确定每个白色有缺陷像素的缺陷等级。指示检测到的白色有缺陷像素及其缺陷等级的数据被从有缺陷像素检测单元333提供给判断单元336。
最小值检测单元334以与图19内所示的最小值检测单元231(并因此还与图5内所示的最小值检测单元140)类似的方式配置,并且用于如同图19内所示的最小值检测单元231一样,检测在多帧测试图像数据的每个像素位置获得的像素值的最小值,并将包含检测到的各个像素的最小像素值的最小值图像数据提供给判断单元336。
出现次数计数器335以与图19内所示的出现次数计数器232类似的方式配置,并且用于如同图19内所示的出现次数计数器232一样,通过比较多帧测试图像数据的每个像素位置处的像素值与用于检测白色缺陷的阈值来检测白色有缺陷像素,并分别针对多帧测试图像数据上的每个像素位置对白色有缺陷像素的出现次数计数。指示结果的数据被提供给判断单元336。
判断单元336根据从缺陷等级检测单元331(更准确地说,有缺陷像素检测单元333)提供给的检测结果识别白色有缺陷像素。此外,根据从最小值检测单元334提供的最小值图像数据,即指示在经由图像传感器4多次执行的摄影操作捕获的测试图像数据的每个像素处检测到的最小像素值的数据,并还根据从出现次数计数器335提供的白色缺陷的出现次数,判断单元336以与图19内所示的判断单元236类似的方式确定被确定为是白色有缺陷像素的每个像素的缺陷类型,即确定被确定为是白色有缺陷像素的每个像素是永久性缺陷类型还是间歇性缺陷类型。判断单元336产生指示每个有缺陷像素的有缺陷像素坐标、缺陷等级和缺陷类型的缺陷数据,并将缺陷数据提供给有缺陷像素选择单元323。
黑色缺陷检测单元322包括缺陷等级检测单元341,最大值检测单元344,出现次数计数器345和判断单元346。黑色缺陷检测单元322检测黑色有缺陷像素,并确定检测到的黑色有缺陷像素的缺陷等级。黑色缺陷检测单元322还确定检测到的黑色缺陷像素的缺陷类型,即确定检测到的黑色缺陷像素是永久性缺陷类型还是间歇性缺陷类型。黑色缺陷检测单元322然后将指示关于所关心的像素是否是黑色缺陷像素的确定结果的数据以及指示检测到的黑色有缺陷像素的缺陷类型的数据提供给有缺陷像素选择单元323。
在黑色缺陷检测单元322中,缺陷等级检测单元341、最大值检测单元344和出现次数计数器345被供给经由图像传感器4执行多次的摄影操作获得的多帧测试图像数据。
缺陷等级检测单元341包括最小值检测单元342和有缺陷像素检测单元343,并且用于通过将在经由图像传感器4多次执行的摄影操作捕获的测试图像数据的每个像素处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,检测黑色有缺陷像素并确定检测到的黑色有缺陷像素的缺陷等级。检测结果被提供给判断单元346。
最小值检测单元342以与图5内所示的最小值检测单元140类似的方式配置,并且用于检测在多帧测试图像数据的每个像素位置处获得的像素值的最小值,并将指示检测到的各个像素的最小像素值的最小值图像数据提供给有缺陷像素检测单元343。
有缺陷像素检测单元343以与图5内所示的有缺陷像素检测单元144类似的方式配置,并且用于以与图5内所示的有缺陷像素检测单元144类似地方式,通过比较从最小值检测单元342提供的最小值图像数据的每个像素的像素值与用于检测黑色缺陷的阈值来检测黑色有缺陷像素。有缺陷像素检测单元343还通过从每个黑色有缺陷像素的像素值中减去用于检测黑色缺陷的阈值并使用减去结果作为缺陷等级,确定每个黑色有缺陷像素的缺陷等级。指示检测到的黑色有缺陷像素及其缺陷等级的数据被从有缺陷像素检测单元343提供给判断单元346。
最大值检测单元344以与图19内所示的最大值检测单元241(并因此还与图5内所示的最大值检测单元130)类似的方式配置,并且用于如同图19内所示的最大值检测单元241一样,检测在多帧测试图像数据的每个像素位置获得的像素值的最大值,并将包含检测到的各个像素的最大像素值的最大值图像数据提供给判断单元346。
出现次数计数器345以与图19内所示的出现次数计数器242类似的方式配置,并且用于如同图19内所示的出现次数计数器242一样,通过比较多帧测试图像数据的每个像素位置处的像素值与用于检测黑色缺陷的阈值来检测黑色有缺陷像素,并分别针对多帧测试图像数据上的每个像素位置对黑色有缺陷像素的出现次数计数。指示结果的数据被提供给判断单元346。
判断单元346根据从缺陷等级检测单元341(更准确地说,有缺陷像素检测单元343)提供给的检测结果识别黑色有缺陷像素。此后,根据从最大值检测单元344提供的最大值图像数据,即指示在经由图像传感器4多次执行的摄影操作捕获的测试图像数据的每个像素处检测到的最大像素值的数据,并还根据从出现次数计数器345提供的黑色缺陷的出现次数,判断单元346以与图19内所示的判断单元246类似的方式确定被确定为是黑色有缺陷像素的每个像素的缺陷类型,即确定被确定为是黑色有缺陷像素的每个像素是永久性缺陷类型还是间歇性缺陷类型。判断单元346产生指示每个有缺陷像素的有缺陷像素坐标、缺陷等级和缺陷类型的缺陷数据,并将缺陷数据提供给有缺陷像素选择单元323。
如上所述,有缺陷像素选择单元323被从白色缺陷检测单元321和黑色缺陷检测单元322供给指示各个有缺陷像素的有缺陷像素坐标、缺陷等级和缺陷类型的缺陷数据。
基于缺陷数据指示的缺陷等级,有缺陷像素选择单元323选择具有大缺陷等级的预定数量(N个)的有缺陷像素,并将与选择的N个有缺陷像素相关联的缺陷数据提供给缺陷数据表存储器302。缺陷数据表存储器302将接收到的缺陷数据记录在缺陷数据表内。
在从白色缺陷检测单元321和黑色缺陷检测单元322提供的缺陷数据或有缺陷像素的数量小于预定数量N的情况下,有缺陷像素选择单元323以与图5内所示的有缺陷像素选择单元123类似的方式选择所有有缺陷像素并将所有有缺陷像素的缺陷数据记录在缺陷数据表内。
数量N可例如基于缺陷数据表存储器302的存储容量确定。
图30示出图28内所示的缺陷数据表存储器302内存储的缺陷数据表的示例。
在图30所示的示例中,每个缺陷数据的有缺陷像素坐标、缺陷等级和缺陷类型均被描述为缺陷数据表内的缺陷数据。
下文参照图31内所示的流程图说明如图29内所示的缺陷检测单元303执行的缺陷检测过程。
图31内所示的缺陷检测过程例如在图1内所示的数字静态照相机被装运之前在数字静态照相机的生产线上执行。
在步骤S151,图29内所示的缺陷检测单元303内的白色缺陷检测单元321执行白色缺陷检测过程以检测白色有缺陷像素。与检测到的白色有缺陷像素相关联的缺陷数据被提供给有缺陷像素选择单元323。过程然后前进到步骤S152。
在步骤S152,黑色缺陷检测单元322执行黑色缺陷检测过程以检测黑色有缺陷像素。与检测到的黑色有缺陷像素相关联的缺陷数据被提供给有缺陷像素选择单元323。过程然后前进到步骤S153。
在步骤S153,有缺陷像素选择单元323根据从白色缺陷检测单元321和黑色缺陷检测单元322提供的缺陷数据选择具有最大缺陷等级的N个有缺陷像素。过程然后前进到步骤S154。在步骤S154中,有缺陷像素选择单元323将与选择的具有最大像素等级的N个有缺陷像素相关联的缺陷数据提供给缺陷数据表存储器302。缺陷数据表存储器302将接收到的缺陷数据记录在缺陷数据表内。此后,缺陷检测过程结束。
下文参照图32内所示的流程图进一步说明由图29内所示的白色缺陷检测单元321在图31中的步骤S151内执行的白色缺陷检测过程。
在此白色缺陷检测过程中,微型计算机11(图1)经由定时发生器5控制图像传感器4以便进行预定次数的摄影。结果,经由多次执行的摄影操作产生多帧测试图像数据,并且该测试图像数据被提供给白色缺陷检测单元321内的缺陷等级检测单元331、最小值检测单元334和出现次数计数器335。
在步骤S171,使用提供的多帧测试图像数据,白色缺陷检测单元321检测白色有缺陷像素及其缺陷等级,最小值图像数据(指示如在多个帧上观察到的测试图像数据的每个像素位置处的最小值),以及在每个像素位置观察到的白色缺陷的出现次数。
更准确地说,在此步骤S171,白色缺陷检测单元321的缺陷等级检测单元331的最大值检测单元332以与图5内所示的最大值检测单元130执行的图15内所示的白色缺陷检测过程类似的方式,从多帧测试图像数据中确定最大值图像数据,并且最大值检测单元332将得到的最大值图像数据提供给有缺陷像素检测单元333。
基于最大值图像数据,有缺陷像素检测单元333以与图5内所示的有缺陷像素检测单元134执行的图15内的白色缺陷检测过程类似的方式检测白色有缺陷像素及其缺陷等级。指示检测到的白色有缺陷像素的坐标及其缺陷等级的数据被从有缺陷像素检测单元333提供给判断单元336。
此外,在步骤S171中,最小值检测单元334以与由图19内所示的最小值检测单元231执行的图24内的白色缺陷检测过程类似的方式从多帧测试图像数据中确定最小值图像数据,并将得到的最小值图像数据提供给判断单元236。
此外,在步骤S171,出现次数计数器335以与由图19内所示的出现次数计数器232执行的图24内的白色缺陷检测过程类似的方式,从多帧测试图像数据中确定白色缺陷的出现次数,并且出现次数计数器335将确定的结果提供给判断单元336。
过程然后从步骤S171前进到步骤S172。在步骤S172,根据最小值检测单元334提供的最小值图像数据,即指示如在多个帧上观察到的测试图像数据的每个像素位置处的最小值的数据,并且还根据出现次数计数器335提供的白色缺陷的出现次数,判断单元336以与由图19内所示的判断单元236执行的图24内所示的白色缺陷检测过程类似的方式确定各个检测到的白色有缺陷像素的缺陷类型。过程然后前进到步骤S173。
在步骤S173,判断单元236产生包括各个白色有缺陷像素的坐标、缺陷等级和缺陷类型的缺陷数据,并将缺陷数据提供给有缺陷像素选择单元323。此后,白色缺陷检测过程结束。
下文参照图33所示的流程图进一步详细说明由图29内所示的黑色缺陷检测单元322在图31内的步骤S152内执行的黑色缺陷检测过程。
在此黑色缺陷检测过程中,微型计算机11(图1)经由定时发生器5控制图像传感器4以便进行预定次数的摄影。结果,经由多次执行的摄影操作产生多帧测试图像数据,并且该测试图像数据被提供给黑色缺陷检测单元322内的缺陷等级检测单元341、最小值检测单元344和出现次数计数器345。
在步骤S181,黑色缺陷检测单元322检测黑色有缺陷像素及其缺陷等级,指示如在多个帧上观察到的测试图像数据的每个像素位置处的最大值的最大值图像数据,以及在每个像素位置观察到的黑色缺陷的出现次数。
更准确地说,在此步骤S181,黑色缺陷检测单元322内的缺陷等级检测单元341的最小值检测单元342以与图5内所示的最小值检测单元140执行的图16内所示的黑色缺陷检测过程类似的方式,从多帧测试图像数据中确定最小值图像数据,并且最小值检测单元342将得到的最小值图像数据提供给有缺陷像素检测单元343。
基于最小值图像数据,有缺陷像素检测单元343以与图5内所示的有缺陷像素检测单元144执行的图16内的黑色缺陷检测过程类似的方式检测黑色有缺陷像素及其缺陷等级。指示检测到的黑色有缺陷像素的坐标及其缺陷等级的数据被从有缺陷像素检测单元343提供给判断单元346。
此外,在步骤S181中,最大值检测单元344以与由图19内所示的最大值检测单元241执行的图25内的黑色缺陷检测过程类似的方式从多帧测试图像数据中确定最大值图像数据,并将得到的最大值图像数据提供给判断单元346。
此外,在步骤S181,出现次数计数器345确定如经由多帧测试图像数据观察到的在每个像素位置的黑色缺陷的出现次数,并且出现次数计数器345将确定的结果提供给判断单元346。
过程然后从步骤S181前进到步骤S182。在步骤S182,根据最大值检测单元344提供的最大值图像数据,即指示如在多个帧上观察到的测试图像数据的每个像素位置处的最大值的数据,并且还根据出现次数计数器345提供的黑色缺陷的出现次数,判断单元346以与由图19内所示的判断单元236执行的图25内所示的黑色缺陷检测过程类似的方式确定各个检测到的黑色有缺陷像素的缺陷类型。过程然后前进到步骤S183。
在步骤S183,判断单元346产生包括各个黑色有缺陷像素的坐标、缺陷等级和缺陷类型的缺陷数据,并将缺陷数据提供给有缺陷像素选择单元323。此后,黑色缺陷检测过程结束。
因此,图28内所示的缺陷校正单元201以如图26内所示的方式或如图27内所示的方式执行缺陷校正过程。
如上所述,在图28内所示的缺陷处理单元151执行的操作中,缺陷检测单元303如同图4内所示的缺陷检测单元103一样检测有缺陷像素及其缺陷等级,并且缺陷检测单元303从最高的缺陷等级开始按缺陷等级的降序选择N个有缺陷像素,并将选择的N个有缺陷像素记录在缺陷数据表内,从而使得可优选地校正缺陷等级高的有缺陷像素的像素值。
另外,由于只有具有高缺陷等级的N个有缺陷像素的缺陷数据被记录在缺陷数据表内,所以可使用具有低存储容量的低成本RAM作为用于存储缺陷数据表的缺陷数据表存储器302。换句话说,在用于存储缺陷数据表的缺陷数据表存储器302的存储容量受限的情况下,具有高缺陷等级的N个有缺陷像素被允许记录在具有有限存储容量的缺陷数据表存储器102内的缺陷数据表内,从而使得可优选地校正缺陷等级高的有缺陷像素的像素值。
在图28内所示的缺陷处理单元51中,缺陷检测单元303以与图18内所示的缺陷检测单元203类似的方式,检测各个有缺陷像素的缺陷类型并在缺陷数据内描述检测到的缺陷类型。这使得可以非常可靠的方式根据有缺陷像素的缺陷类型校正有缺陷像素。
在图29所示的示例中,缺陷检测单元303包括用于检测白色有缺陷像素的白色缺陷检测单元321和用于检测黑色有缺陷像素的黑色缺陷检测单元322。可选择地,缺陷检测单元303可仅包括用于检测白色有缺陷像素的白色缺陷检测单元321和用于检测黑色有缺陷像素的黑色缺陷检测单元322之一。但是,在缺陷检测单元303仅包括白色缺陷检测单元321和黑色缺陷检测单元322之一时,可仅检测白色有缺陷像素或黑色有缺陷像素。
缺陷处理单元51(图3)执行的处理序列可用硬件或软件执行。在过程由软件执行的情况下,软件程序安装在通用计算机等上。
图34示出执行安装在其中的程序以执行上文所述的各种过程的计算机的配置的示例。
程序可被预先存储在设置在计算机内的用作存储介质的硬盘405或ROM 403上。
可选择地,程序可被临时或永久地存储(记录)在可取出的存储介质41 1例如软盘、CD-ROM(只读光盘)、MO(磁光)盘、DVD(数字通用光盘)、磁盘或半导体存储器上。这种可取出的存储介质411可以所谓的软件包的形式提供。
除了从可取出的存储介质411将程序安装在计算机上之外,程序还可从下载网站经由利用无线电传输的数字广播卫星或经由利用有线通信的网络例如LAN(局域网)或互联网被传送到计算机。在此情况下,计算机使用通信单元408接收以上述方式传输的程序,并将程序安装在设置在计算机11内的硬盘405内。
计算机包括CPU(中央处理器)402。输入/输出接口410经由总线410连接到CPU 402。如果CPU 402经由输入/输出接口410接收用户使用输入单元407包括键盘、鼠标、麦克风等发出的命令,则CPU402执行ROM(只读存储器)403内存储的程序。可选择地,CPU 402可执行被装载在RAM(随机存取存储器)404的程序,其中该程序可通过将硬盘405上存储的程序传递到RAM 404内,或传送在已经由通信单元408从卫星或网络接收到之后已经安装在硬盘405上的程序,或传送在从装载在驱动器409上的可取出的记录介质411读出之后已经安装在硬盘405上的程序,而被装载在ROM 404内。通过执行此程序,CPU 402执行上文参照流程图或框图说明的过程。CPU 402根据需要经由输入/输出接口410将处理结果输出到输出设备包括LCD(液晶显示器)和/或扬声器。处理的结果还被经由通信单元408传输或存储在硬盘405上。
在本发明中,将被计算机执行以执行各种处理的程序内所述的处理步骤并不一定需要按根据流程图内所述的顺序的时序执行。相反,处理步骤可并行地或单独地执行(通过并行处理或对象处理)。
程序可被单个计算机执行,或被多个计算机以分布的方式执行。程序可被传送到位于远程位置的计算机并因此被执行。
尽管在上述实施例中本发明应用于数字静态照相机,但是本发明还可应用于适合于处理从图像传感器例如CCD或CMOS图像传感器输出的图像的多种图像处理装置例如摄像机。
尽管上文已经参照特定实施例说明了本发明,但是本发明并不局限于上述的那些特定实施例,而是可存在多种变型。
例如,多个功能块可集合成为单个功能块,或者单个功能块可被实现为提供在上述实施例中由多个单独的功能块提供的功能。更准确地说,用于确定最大值图像数据的单个功能块可实现为其用作最大值检测单元332和最大值检测单元344,并且用于确定最小值图像数据的单个功能块可实现为其用作最小值检测单元334和最小值检测单元342。
此外,用于临时存储数据的帧存储器可被多种用途共用。例如,尽管在上文参照图19说明的实施例中,缺陷检测单元203内的白色缺陷检测单元221的最小值检测单元231具有图5内示出的用于存储最小值图像数据的帧存储器143,并且出现次数计数器232具有用于存储白色缺陷的出现次数的帧存储器235,但是这两个帧存储器143和235的功能可使用单个帧存储器实现。
在上述实施例中,假设缺陷检测过程在数字静态照相机被装运之前在数字静态照相机的生产线上执行。缺陷检测过程可在数字静态照相机的用户执行具体操作时被执行。
文中应再次提到,根据设计要求以及其他因素可出现各种变型、组合、子组合和替代,只要它们都落入所附权利要求及其等同物的范围内。
Claims (12)
1.一种适于处理从图像感测部件输出的图像的图像处理装置,其包括:
用于检测有缺陷像素的缺陷检测部件;以及
缺陷校正部件,用于根据其中登记了与缺陷检测部件检测到的有缺陷像素相关联的缺陷数据的缺陷数据表,校正从图像感测部件输出的图像的像素的像素值,
该缺陷检测部件包括白色缺陷检测部件和黑色缺陷检测部件中的至少一个以及有缺陷像素选择部件,白色缺陷检测部件适于通过将在经由图像感测部件多次执行的图像拍摄操作捕获的多个图像的每个像素位置处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,黑色缺陷检测部件适于通过将在所述多个图像的每个像素位置处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,该有缺陷像素选择部件用于基于缺陷等级选择预定多个具有高缺陷程度的有缺陷像素,并将与所述预定多个选择的有缺陷像素相关联的缺陷数据登记在缺陷数据表内。
2.根据权利要求1的图像处理装置,其中所述用于检测白色缺陷的阈值是预先确定的固定阈值,或基于接近于其像素值与用于检测白色缺陷的阈值进行比较的像素的像素的像素值动态确定的可变阈值,并且
所述用于检测黑色缺陷的阈值是预先确定的固定阈值,或是基于接近于其像素值与用于检测黑色缺陷的阈值进行比较的像素的像素的像素值动态确定的可变阈值。
3.根据权利要求1的图像处理装置,其中
所述白色缺陷检测部件还适于对所述多个图像上的每个像素位置的像素值大于用于检测白色缺陷的阈值的白色缺陷检出次数进行计数,以及基于在所述多个图像上的每个像素位置观察到的最小像素值相对于小于用于检测白色缺陷的阈值的预定阈值的相对大小,并基于白色缺陷的检出次数,确定每个检测到的有缺陷像素是永久性缺陷类型还是间歇性缺陷类型,
所述黑色缺陷检测部件还适于对所述多个图像上的每个像素位置的像素值小于用于检测黑色缺陷的阈值的黑色缺陷检出次数进行计数,以及基于在所述多个图像上的每个像素位置观察到的最大像素值相对于大于用于检测黑色缺陷的阈值的预定阈值的相对大小,并基于黑色缺陷的检出次数,确定每个检测到的有缺陷像素是永久性缺陷类型还是间歇性缺陷类型,且
所述缺陷数据包括指示各个有缺陷像素的类型的数据。
4.根据权利要求3的图像处理装置,其中
所述用于检测白色缺陷的阈值是预先确定的固定阈值,或基于接近于其像素值与用于检测白色缺陷的阈值进行比较的像素的像素的像素值动态确定的可变阈值,并且
所述用于检测黑色缺陷的阈值是预先确定的固定阈值,或是基于接近于其像素值与用于检测黑色缺陷的阈值进行比较的像素的像素的像素值动态确定的变化阈值。
5.根据权利要求3的图像处理装置,其中所述缺陷校正部件适于进行像素值校正,从而
对于所述图像感测部件输出的图像中的任何永久性缺陷类型的有缺陷像素,所述缺陷校正部件无条件地校正每个有缺陷像素的像素值,并且
对于所述图像感测部件输出的图像中的任何间歇性缺陷类型的有缺陷像素,所述缺陷校正部件通过比较每个间歇性有缺陷像素的像素值与用于确定间歇性有缺陷像素的状态的阈值来确定每个间歇性有缺陷像素目前是否处于有缺陷状态,并且当且仅当确定所述间歇性有缺陷像素处于有缺陷状态时,所述缺陷校正部件才校正每个间歇性有缺陷像素的像素值。
6.根据权利要求5的图像处理装置,其中所述用于检测间歇性有缺陷像素的阈值是基于接近于其像素值与用于检测间歇性有缺陷像素的阈值进行比较的所关心像素的像素的像素值动态确定的变化阈值。
7.根据权利要求5的图像处理装置,其中对于从图像感测部件输出的图像的像素中的除了永久性有缺陷像素和间歇性有缺陷像素之外的任何无缺陷像素,所述缺陷校正部件通过比较每个无缺陷像素的像素值与用于确定无缺陷像素的状态的阈值来确定每个无缺陷像素目前是否处于有缺陷状态,并且当且仅当确定所关心无缺陷像素目前处于有缺陷状态时,所述缺陷校正部件才校正每个无缺陷像素的像素值。
8.根据权利要求7的图像处理装置,其中所述用于确定无缺陷像素的状态的阈值是基于接近于其像素值与用于确定无缺陷像素的状态的阈值进行比较的所关心无缺陷像素的像素的像素值动态确定的变化阈值。
9.根据权利要求7的图像处理装置,其中所述用于确定间歇性有缺陷像素的状态的阈值以及用于确定无缺陷像素的状态的阈值互不相同。
10.一种处理从图像感测部件输出的图像的方法,其包括以下步骤:
检测有缺陷像素;及
根据其中登记了与在有缺陷像素检测步骤内检测到的有缺陷像素相关联的缺陷数据的缺陷数据表,校正从图像感测部件输出的图像的像素的像素值,
该缺陷检测步骤包括:
白色缺陷检测步骤和黑色缺陷检测步骤中的至少一个,白色缺陷检测步骤包括通过将在经由图像感测部件多次执行的图拍摄操作捕获的多个图像的每个像素位置处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,黑色缺陷检测步骤包括通过将在所述多个图像的每个像素位置处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,以及
基于缺陷等级选择预定多个具有高缺陷程度的有缺陷像素,并将与所述预定多个选择的有缺陷像素相关联的缺陷数据登记在缺陷数据表内的步骤。
11.一种可被计算机执行以处理从图像感测部件输出的图像的程序,该程序包括以下步骤:
检测有缺陷像素;并
根据其中登记了与在有缺陷像素检测步骤内检测到的有缺陷像素相关联的缺陷数据的缺陷数据表,校正从图像感测部件输出的图像的像素的像素值,
该缺陷检测步骤包括:
白色缺陷检测步骤和黑色缺陷检测步骤中的至少一个,白色缺陷检测步骤包括通过将在经由图像感测部件多次执行的图像拍摄操作捕获的多个图像的每个像素位置处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,黑色缺陷检测步骤包括通过将在所述多个图像的每个像素位置处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,以及基于缺陷等级选择预定多个具有高缺陷程度的有缺陷像素,并将与所述预定多个选择的有缺陷像素相关联的缺陷数据登记在缺陷数据表内的步骤。
12.一种适于处理从图像传感器输出的图像的图像处理装置,其包括:
适于检测有缺陷像素的缺陷检测单元;以及
缺陷校正单元,适于根据其中登记了与缺陷检测单元检测到的有缺陷像素相关联的缺陷数据的缺陷数据表,校正从图像传感器输出的图像的像素的像素值,
该缺陷检测单元包括:
白色缺陷检测单元和黑色缺陷检测单元中的至少一个,白色缺陷检测单元适于通过将在经由图像传感器多次执行的图像拍摄操作捕获的多个图像的每个像素位置处检测到的最大像素值与用于检测白色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,黑色缺陷检测单元适于通过将在所述多个图像的每个像素位置处检测到的最小像素值与用于检测黑色缺陷的阈值进行比较,检测有缺陷像素和指示检测到的有缺陷像素的缺陷的程度的缺陷等级,以及有缺陷像素选择单元,该有缺陷像素选择单元用于基于缺陷等级选择预定多个具有高缺陷程度的有缺陷像素,并将与所述预定多个选择的有缺陷像素相关联的缺陷数据登记在缺陷数据表内。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006313183A JP4305777B2 (ja) | 2006-11-20 | 2006-11-20 | 画像処理装置、画像処理方法、及びプログラム |
JP2006313183 | 2006-11-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101188678A true CN101188678A (zh) | 2008-05-28 |
CN100574377C CN100574377C (zh) | 2009-12-23 |
Family
ID=39416542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2007101927857A Expired - Fee Related CN100574377C (zh) | 2006-11-20 | 2007-11-20 | 图像处理装置,图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7876369B2 (zh) |
JP (1) | JP4305777B2 (zh) |
CN (1) | CN100574377C (zh) |
TW (1) | TW200904160A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101998068A (zh) * | 2009-08-07 | 2011-03-30 | 佳能株式会社 | 缺陷像素数据校正设备和方法以及摄像设备 |
CN102550017A (zh) * | 2009-10-05 | 2012-07-04 | 佳能株式会社 | 摄像设备的缺陷检测方法和摄像设备 |
CN102547087A (zh) * | 2010-11-24 | 2012-07-04 | 卡西欧计算机株式会社 | 成像设备、图像处理方法和计算机可读存储介质 |
CN105682534A (zh) * | 2013-12-25 | 2016-06-15 | 奥林巴斯株式会社 | 内窥镜系统以及像素校正方法 |
CN103858422B (zh) * | 2012-04-10 | 2016-11-23 | 奥林巴斯株式会社 | 摄像装置 |
CN108259892A (zh) * | 2018-03-21 | 2018-07-06 | 深圳怡化电脑股份有限公司 | 图像传感器的检测方法、系统及装置 |
CN109827759A (zh) * | 2019-03-28 | 2019-05-31 | 歌尔股份有限公司 | 应用于光学模组的缺陷检测方法及检测装置 |
CN110226325A (zh) * | 2017-02-01 | 2019-09-10 | 索尼半导体解决方案公司 | 摄像系统和摄像装置 |
CN110248033A (zh) * | 2018-03-08 | 2019-09-17 | 佳能株式会社 | 图像扫描装置及图像扫描装置的控制方法 |
CN113556489A (zh) * | 2020-04-24 | 2021-10-26 | 晶相光电股份有限公司 | 影像感测系统以及缺陷感光元件侦测以及修正方法 |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5450995B2 (ja) * | 2008-07-18 | 2014-03-26 | キヤノン株式会社 | 撮像装置、及び撮像装置の制御方法 |
JP5300356B2 (ja) * | 2008-07-18 | 2013-09-25 | キヤノン株式会社 | 撮像装置、及び撮像装置の制御方法 |
JP5311945B2 (ja) | 2008-09-16 | 2013-10-09 | キヤノン株式会社 | 撮像装置および欠陥画素検出方法 |
JP2010081259A (ja) * | 2008-09-25 | 2010-04-08 | Panasonic Corp | 固体撮像装置 |
US20100141810A1 (en) * | 2008-12-04 | 2010-06-10 | Proimage Technology | Bad Pixel Detection and Correction |
US8237825B2 (en) * | 2008-12-11 | 2012-08-07 | Exelis, Inc. | Pixel replacement using five nearest neighbors |
KR101470019B1 (ko) * | 2008-12-26 | 2014-12-05 | 엘지이노텍 주식회사 | 이미지센서의 불량 픽셀 검출 및 보정 방법 |
CN101854450A (zh) * | 2009-04-03 | 2010-10-06 | 鸿富锦精密工业(深圳)有限公司 | 图像获取装置 |
TWI394429B (zh) * | 2009-07-27 | 2013-04-21 | Altek Corp | 消除圖像雜訊之方法,以及使用該方法之裝置 |
US20110273555A1 (en) * | 2010-05-04 | 2011-11-10 | Areva Inc. | Inspection video radiation filter |
JP5541718B2 (ja) * | 2010-08-19 | 2014-07-09 | キヤノン株式会社 | 撮像装置及びその欠陥画素検出方法 |
JP5088408B2 (ja) * | 2010-09-22 | 2012-12-05 | 株式会社ニコン | 画像処理装置および画像処理プログラム並びに電子カメラ |
FR2966229B1 (fr) * | 2010-10-18 | 2012-11-16 | Sagem Defense Securite | Procede de maintenance predictive d'un module de detection refroidi, et module associe |
JP5561112B2 (ja) * | 2010-11-10 | 2014-07-30 | 株式会社ニコン | 画像処理装置、撮像装置およびプログラム |
KR20120114021A (ko) * | 2011-04-06 | 2012-10-16 | 삼성디스플레이 주식회사 | 불량 픽셀 보정 방법 |
JP2013093685A (ja) * | 2011-10-25 | 2013-05-16 | Sumitomo Electric Ind Ltd | 撮像装置 |
JP5955007B2 (ja) * | 2012-02-01 | 2016-07-20 | キヤノン株式会社 | 撮像装置及び撮像方法 |
JP5847017B2 (ja) * | 2012-05-28 | 2016-01-20 | 富士フイルム株式会社 | 電子内視鏡装置及びその作動方法 |
US9014504B2 (en) * | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
TWI563850B (en) * | 2012-09-07 | 2016-12-21 | Hon Hai Prec Ind Co Ltd | Spot detection system and method |
EP2946249B1 (en) * | 2013-01-15 | 2018-05-23 | Avigilon Corporation | Imaging apparatus with scene adaptive auto exposure compensation |
JP2016082454A (ja) * | 2014-10-17 | 2016-05-16 | キヤノン株式会社 | 撮像装置 |
JP6320571B2 (ja) * | 2015-01-20 | 2018-05-09 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6471222B2 (ja) * | 2015-03-17 | 2019-02-13 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
FR3038195B1 (fr) * | 2015-06-26 | 2018-08-31 | Ulis | Detection de pixels parasites dans un capteur d'image infrarouge |
WO2017017743A1 (ja) * | 2015-07-24 | 2017-02-02 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10440299B2 (en) | 2015-09-04 | 2019-10-08 | Apple Inc. | Correcting pixel defects based on defect history in an image processing pipeline |
JP2017055308A (ja) | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2017055309A (ja) * | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP6619258B2 (ja) * | 2016-02-29 | 2019-12-11 | 株式会社日立製作所 | X線検出器、x線ct装置、x線検出方法、及びx線検出プログラム |
US10070109B2 (en) * | 2016-06-30 | 2018-09-04 | Apple Inc. | Highlight recovery in images |
US10158834B2 (en) * | 2016-08-30 | 2018-12-18 | Hand Held Products, Inc. | Corrected projection perspective distortion |
JP6838651B2 (ja) * | 2017-04-24 | 2021-03-03 | 日本電気株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11036978B2 (en) * | 2018-05-29 | 2021-06-15 | University Of Electronic Science And Technology Of China | Method for separating out a defect image from a thermogram sequence based on weighted naive bayesian classifier and dynamic multi-objective optimization |
US10855964B2 (en) | 2018-08-29 | 2020-12-01 | Apple Inc. | Hue map generation for highlight recovery |
US11100620B2 (en) | 2018-09-04 | 2021-08-24 | Apple Inc. | Hue preservation post processing for highlight recovery |
JP6860538B2 (ja) * | 2018-09-26 | 2021-04-14 | キヤノン株式会社 | 放射線撮像装置、放射線撮像システム、放射線撮像装置の制御方法、および、プログラム |
US10666884B1 (en) * | 2019-03-04 | 2020-05-26 | Foveon, Inc. | Method of classifying and correcting image sensor defects utilizing defective-pixel information from color channels |
KR20220048090A (ko) * | 2020-10-12 | 2022-04-19 | 삼성전자주식회사 | 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04115785A (ja) | 1990-09-06 | 1992-04-16 | Sony Corp | 輝点検出装置 |
US5854655A (en) * | 1995-08-29 | 1998-12-29 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
US6819358B1 (en) * | 1999-04-26 | 2004-11-16 | Microsoft Corporation | Error calibration for digital image sensors and apparatus using the same |
JP3773773B2 (ja) * | 1999-10-27 | 2006-05-10 | 三洋電機株式会社 | 画像信号処理装置及び画素欠陥の検出方法 |
JP4546664B2 (ja) | 2001-04-27 | 2010-09-15 | オリンパス株式会社 | 撮像装置および画素欠陥補正方法 |
JP2004056395A (ja) | 2002-07-18 | 2004-02-19 | Sony Corp | 固体撮像素子の検査方法および検査プログラム |
JP4115785B2 (ja) | 2002-09-12 | 2008-07-09 | 株式会社東芝 | インバータ制御装置 |
JP4383827B2 (ja) * | 2003-10-31 | 2009-12-16 | キヤノン株式会社 | 撮像装置、白傷補正方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
JP2005184307A (ja) | 2003-12-18 | 2005-07-07 | Matsushita Electric Ind Co Ltd | 傷画素補正回路及び傷画素補正方法 |
JP2005341244A (ja) | 2004-05-27 | 2005-12-08 | Sony Corp | 撮像装置、欠陥画素検出方法およびプログラム |
JP2006166194A (ja) * | 2004-12-09 | 2006-06-22 | Sony Corp | 画素欠陥検出回路及び画素欠陥検出方法 |
-
2006
- 2006-11-20 JP JP2006313183A patent/JP4305777B2/ja not_active Expired - Fee Related
-
2007
- 2007-10-03 TW TW096137091A patent/TW200904160A/zh not_active IP Right Cessation
- 2007-10-03 US US11/866,717 patent/US7876369B2/en not_active Expired - Fee Related
- 2007-11-20 CN CNB2007101927857A patent/CN100574377C/zh not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8754964B2 (en) | 2009-08-07 | 2014-06-17 | Canon Kabushiki Kaisha | Defective pixel data correcting apparatus, image capturing apparatus, and method for correcting defective pixel data |
CN101998068A (zh) * | 2009-08-07 | 2011-03-30 | 佳能株式会社 | 缺陷像素数据校正设备和方法以及摄像设备 |
CN102550017A (zh) * | 2009-10-05 | 2012-07-04 | 佳能株式会社 | 摄像设备的缺陷检测方法和摄像设备 |
CN102550017B (zh) * | 2009-10-05 | 2014-12-10 | 佳能株式会社 | 摄像设备及其缺陷像素校正方法 |
CN102547087A (zh) * | 2010-11-24 | 2012-07-04 | 卡西欧计算机株式会社 | 成像设备、图像处理方法和计算机可读存储介质 |
CN102547087B (zh) * | 2010-11-24 | 2014-08-13 | 卡西欧计算机株式会社 | 成像设备、图像处理方法和计算机可读存储介质 |
CN103858422B (zh) * | 2012-04-10 | 2016-11-23 | 奥林巴斯株式会社 | 摄像装置 |
CN105682534A (zh) * | 2013-12-25 | 2016-06-15 | 奥林巴斯株式会社 | 内窥镜系统以及像素校正方法 |
CN110226325B (zh) * | 2017-02-01 | 2022-04-15 | 索尼半导体解决方案公司 | 摄像系统和摄像装置 |
CN110226325A (zh) * | 2017-02-01 | 2019-09-10 | 索尼半导体解决方案公司 | 摄像系统和摄像装置 |
CN110248033A (zh) * | 2018-03-08 | 2019-09-17 | 佳能株式会社 | 图像扫描装置及图像扫描装置的控制方法 |
CN108259892A (zh) * | 2018-03-21 | 2018-07-06 | 深圳怡化电脑股份有限公司 | 图像传感器的检测方法、系统及装置 |
CN109827759B (zh) * | 2019-03-28 | 2020-11-24 | 歌尔光学科技有限公司 | 应用于光学模组的缺陷检测方法及检测装置 |
CN109827759A (zh) * | 2019-03-28 | 2019-05-31 | 歌尔股份有限公司 | 应用于光学模组的缺陷检测方法及检测装置 |
CN113556489A (zh) * | 2020-04-24 | 2021-10-26 | 晶相光电股份有限公司 | 影像感测系统以及缺陷感光元件侦测以及修正方法 |
CN113556489B (zh) * | 2020-04-24 | 2024-01-09 | 晶相光电股份有限公司 | 影像感测系统以及缺陷感光元件侦测以及修正方法 |
Also Published As
Publication number | Publication date |
---|---|
US20080117318A1 (en) | 2008-05-22 |
TW200904160A (en) | 2009-01-16 |
JP4305777B2 (ja) | 2009-07-29 |
US7876369B2 (en) | 2011-01-25 |
CN100574377C (zh) | 2009-12-23 |
TWI347781B (zh) | 2011-08-21 |
JP2008131273A (ja) | 2008-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100574377C (zh) | 图像处理装置,图像处理方法 | |
US5854655A (en) | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit | |
US6002433A (en) | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit | |
TWI395958B (zh) | 壞點偵測校正設備、系統及偵測校正壞點的方法 | |
JP4247514B2 (ja) | 欠陥ピクセルの補正方法及びシステム | |
US8149305B2 (en) | Method and apparatus to detect a dead pixel of an image sensor and method and apparatus to capture an image from an image sensor | |
CN101390381B (zh) | 抖动检测设备、抖动校正设备、成像设备、以及抖动检测方法 | |
US8363130B2 (en) | Image processing device, image processing method, and capturing device | |
JP4194336B2 (ja) | 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ | |
CN102567729B (zh) | 区域特定方法、区域特定装置、服务器及系统 | |
US20120113301A1 (en) | Image processing apparatus, image capturing apparatus, and image processing method | |
US7884864B2 (en) | Noise reduction device, noise reduction method and image capturing device | |
KR100399884B1 (ko) | 이미지 센서의 결함 픽셀 보정 장치 및 그 방법 | |
CN101904166A (zh) | 使用预览图像选择曝光的摄像装置 | |
CN103888661A (zh) | 摄像设备、摄像系统和摄像设备的控制方法 | |
CN102469258A (zh) | 图像处理器及其控制方法 | |
US7936948B2 (en) | System and method for merging differently focused images | |
US20130002910A1 (en) | Image pickup apparatus, image combination method, and computer program | |
CN101854469B (zh) | 图像处理设备和图像处理方法 | |
JP2003333435A (ja) | 補正処理装置、撮像装置、補正処理方法、補正処理コンピュータプログラム | |
US9467635B2 (en) | Image processing apparatus and image processing method | |
CN111711766B (zh) | 图像处理方法及装置、终端和计算机可读存储介质 | |
CN108881876A (zh) | 对图像进行白平衡处理的方法、装置和电子设备 | |
JP4057216B2 (ja) | 固体撮像装置および画素欠陥検出方法 | |
JP3128485B2 (ja) | 固体撮像素子の欠陥画素検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091223 Termination date: 20151120 |
|
EXPY | Termination of patent right or utility model |