CN102835102B - 图像处理设备和图像处理设备的控制方法 - Google Patents
图像处理设备和图像处理设备的控制方法 Download PDFInfo
- Publication number
- CN102835102B CN102835102B CN201180016308.XA CN201180016308A CN102835102B CN 102835102 B CN102835102 B CN 102835102B CN 201180016308 A CN201180016308 A CN 201180016308A CN 102835102 B CN102835102 B CN 102835102B
- Authority
- CN
- China
- Prior art keywords
- pixel
- judgment value
- value
- interested pixel
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims description 133
- 238000009826 distribution Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000007547 defect Effects 0.000 claims description 261
- 238000001914 filtration Methods 0.000 claims description 54
- 239000006185 dispersion Substances 0.000 claims description 25
- 230000002950 deficient Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 36
- 238000012937 correction Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 2
- 241001484259 Lacuna Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明提供一种图像处理设备,其用于从通过由多个像素所构成的图像传感器所生成的图像数据,检测来自所述图像传感器的缺陷像素的信号,所述图像处理设备包括:第一判断部件,用于获得表示感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的第一判断值;第二判断部件,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的所述多个像素之间的信号水平的差的分布宽度的第二判断值;以及检测部件,用于使用所述第一判断值和所述第二判断值,检测来自所述感兴趣像素的信号是否是缺陷像素信号。
Description
技术领域
本发明涉及一种检测来自图像传感器中的缺陷像素的信号的图像处理设备及其控制方法。
背景技术
诸如数字照相机或数字摄像机等的摄像设备通常采用CCD传感器或CMOS传感器作为配置有颜色滤波器的图像传感器。对于这类图像传感器,存在由于结构因素、制造过程期间发生的因素和制造后发生的外部因素等而产生缺陷像素(所谓的“闪烁缺陷”)的情况。例如,CMOS传感器中产生缺陷像素的因素的一个例子是在从光电二极管接收电荷的浮动扩散中发生的噪声。由于这类噪声不一定周期性发生,因而有时可能以诸如每进行数次摄像等频繁的间隔发生噪声,并且有时可能以诸如每几年等不频繁的间隔发生噪声。还已知图像传感器中的缺陷像素的发生频率不依赖于温度和电荷累积时间。
考虑到此,日本特开2004-297267号公报和日本特开2001-086517号公报提出了用于检测图像传感器中的缺陷像素的技术。利用这些技术,不仅可以检测在制造过程期间在特定位置所发生的缺陷像素,而且还可以检测在制造之后所发生的缺陷像素。例如,日本特开2004-297267号公报公开了这样一种技术,该技术用于针对各颜色滤波器获得感兴趣像素和感兴趣像素的多个周围像素之间的信号水平的差,并且如果所有差都大于或等于阈值,则将感兴趣像素检测为缺陷像素。日本特开2001-086517号公报公开了这样一种技术,该技术用于不管颜色滤波器的颜色如何、获得所有像素的亮度值,并且如果感兴趣像素和多个周围像素之间的亮度水平的差大于或等于阈值,则将感兴趣像素检测为缺陷像素。
然而,利用传统技术不能高精度地检测在图像传感器中发生的缺陷像素。例如,对于日本特开2004-297267号公报所述的技术,在进行高感光度摄像的情况下,图像数据(图像信号)的放大倍率增大,因此图像数据中包括的噪声成分也被放大,因而在一些情况下,噪声成分可能比感兴趣像素的周围像素的信号水平更为突出。特别地,在被摄体的空间频率低的区域中,这类噪声成分具有比感兴趣像素的周围像素的信号水平更高的值的可能性更高,结果,感兴趣像素和周围像素之间的信号水平的差变得大于阈值,并且可能将感兴趣像素错误地检测为缺陷像素。注意,尽管可以考虑将阈值设置成高的值以避免这类错误检测,但是由于感兴趣像素和周围像素之间的信号水平的差小(不明显),所以在信号水平高的区域中,难以检测到缺陷像素。对于日本特开2001-086517号公报所述的技术,同样出现类似于日本特开2004-297267号公报的问题。
发明内容
本发明提供一种用于高精度地检测图像传感器中的缺陷像素的技术。
根据本发明的一个方面,提供一种图像处理设备,其用于从通过由多个像素所构成的图像传感器所生成的图像数据检测来自所述图像传感器的缺陷像素的信号,所述图像处理设备包括:第一判断部件,用于获得表示感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的第一判断值;第二判断部件,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的分布宽度的第二判断值;以及检测部件,用于使用所述第一判断值和所述第二判断值,检测来自所述感兴趣像素的信号是否是缺陷像素信号,其中,所述第一判断值是随着所述差的大小增大而增大的值,并且所述第二判断值是随着所述差的大小的分布宽度减小而增大的值,以及在所述第一判断值和所述第二判断值两者都大于或等于预定阈值的情况下,所述检测部件将来自所述感兴趣像素的信号检测为缺陷像素信号。
通过以下参考附图对典型实施例的说明,本发明的其它方面将显而易见。
附图说明
图1是示出应用作为本发明的一个方面的图像处理设备的摄像设备的结构的示意性框图。
图2是示出图1所示的摄像设备中的缺陷像素检测电路的结构的示意性框图。
图3A~3I是示出通过图2所示的缺陷像素检测电路中的零插入电路、LPF电路和HPF电路所进行的处理的图。
图4是示出图2所示的缺陷像素检测电路中的阈值判断电路的结构的示意性框图。
图5A~5B是示出图4所示的阈值判断电路中的缺陷水平生成电路所进行的缺陷水平生成的图。
图6是示出图2所示的缺陷像素检测电路中的相关性判断电路的结构的示意性框图。
图7是示出图6所示的相关性判断电路中的缺陷水平生成电路所进行的第二判断值的生成的图。
图8是示出图1所示的摄像设备中的缺陷像素校正电路的结构的示意性框图。
图9是示出图1所示的摄像设备中的缺陷像素检测电路的其它结构的示意性框图。
图10A和10B是示出图9所示的缺陷像素检测电路中的第五HPF电路和第六HPF电路所进行的HPF处理的图。
图11是示出图1所示的摄像设备中的缺陷像素检测电路的其它结构的示意性框图。
图12是示出图1所示的摄像设备中的缺陷像素检测电路的其它结构的示意性框图。
具体实施方式
下面参考附图说明本发明的优选实施例。注意,在整个附图中,相同附图标记表示相同构件,并且不给出对其的重复说明。
图1是示出应用作为本发明的一个方面的图像处理设备的摄像设备100的结构的示意性框图。摄像设备100是用于拍摄被摄体图像的摄像设备,并且在本实施例中以数字照相机来实现。
摄像设备100包括摄像镜头101、光圈102、配置有R(红色)、G(绿色)和B(蓝色)颜色滤波器的图像传感器103、以及将从图像传感器103接收到的模拟图像信号(电信号)转换成数字图像数据的A/D转换电路104。摄像设备100还包括缺陷像素检测电路105,其中,缺陷像素检测电路105用作检测来自图像传感器103中的缺陷像素(诸如闪烁缺陷)的信号的图像处理设备。摄像设备100还包括缺陷像素校正电路106,其中,缺陷像素校正电路106对通过缺陷像素检测电路105被检测为来自缺陷像素的输出的信号进行校正。摄像设备100还包括在电路之间进行总线仲裁的存储器控制电路107、临时存储图像数据的DRAM 108和进行诸如颜色转换处理和锐化处理等的图像处理的图像处理电路109。摄像设备100还包括用于减小或放大图像数据的变倍电路110、用于判断各电路的参数和模式的系统控制器111以及用于显示(产生)与图像数据相对应的图像的显示单元112。摄像设备100还包括用于调制图像信号以在显示单元112上显示图像的视频调制电路113、以及对图像数据进行压缩处理的压缩电路114。摄像设备100还包括用于记录通过压缩电路114压缩后的图像数据的可拆卸记录介质115、以及用作与记录介质115的接口的介质控制电路116。
入射到摄像镜头101的光(被摄体光)在经由光圈102适当曝光之后入射至图像传感器103,并且被图像传感器103转换成电信号。利用A/D转换电路104将通过图像传感器103所生成的被摄体光的电信号从模拟图像信号转换成数字图像数据。
将通过图像传感器103和A/D转换电路104生成的、从多个像素输出的信号所构成的图像数据输入给用于检测图像数据中所包括的缺陷像素的信号的缺陷像素检测电路105。将通过缺陷像素检测电路105作为从缺陷像素的输出所检测到的信号输入给缺陷像素校正电路106来校正该信号,其中,缺陷像素校正电路106通过参考来自作为缺陷像素所检测到的像素周围的像素的信号进行插值来进行该校正。
经由存储器控制电路107、将通过缺陷像素校正电路106校正作为来自缺陷像素的输出所检测到的信号而获得的图像数据写入DRAM 108。经由存储器控制电路107、通过图像处理电路109读出写入到DRAM 108中的图像数据。
在图像处理电路109中,从DRAM 108读取的图像数据经过颜色转换处理和锐化处理等,并且被转换成包括亮度信号和色差信号的图像数据。经由存储器控制电路107,将通过图像处理电路109处理后的图像数据写入DRAM 108。经由存储器控制电路107,通过变倍电路110读出写入DRAM 108中的图像数据。
变倍电路110将图像数据的倍率改变成例如720×240,从而在显示单元112上显示与图像数据相对应的图像。经由存储器控制电路107,将通过变倍电路110放大或缩小的图像数据写入DRAM 108。经由存储器控制电路107,通过视频调制电路113读出写入到DRAM 108的图像数据。
视频调制电路113对图像数据进行编码。将通过图像处理电路109处理后的图像数据作为图像显示在显示单元112上。
在将图像数据写入记录介质115的情况下,变倍电路110将从DRAM 108读出的图像数据(在通过图像处理电路109处理之后且被写入DRAM 108后所读出的图像数据)的大小放大或缩小成预定大小。经由存储器控制电路107,将通过变倍电路110改变了倍率的图像数据写入DRAM 108。经由存储器控制电路107,通过压缩电路114读出写入到DRAM 108的图像数据。
压缩电路114利用诸如JPEG等的压缩方法对从DRAM 108读出的图像数据进行压缩。经由存储器控制电路107,将通过压缩电路114压缩后的图像数据写入DRAM 108,然后通过介质控制电路116进行读出。介质控制电路116将通过压缩电路114压缩后的图像数据写入(记录)到记录介质115中。
参考图2,对用于使用通过图像传感器103和A/D转换电路104所生成的图像数据检测来自图像传感器103中的缺陷像素的信号的缺陷像素检测电路105进行详细说明。如上所述,由于图像传感器103中配置有颜色滤波器的拜耳阵列,所以通过图像传感器103和A/D转换电路104所生成的图像数据由多种类型(三种类型R、G和B)的单色像素组构成。注意,在本实施例中,以下面的情况为例进行说明:作为感兴趣像素的G像素中的一个是缺陷像素(闪烁缺陷)。
缺陷像素检测电路105接收来自A/D转换电路104的数字图像数据的输入。假定以8位表示图像数据中所包括的各像素的信号水平。缺陷像素检测电路105包括零插入电路201、第一低通滤波器(LPF)电路202、第二LPF电路203、第三LPF电路204和第四LPF电路205。缺陷像素检测电路105还包括第一高通滤波器(HPF)电路206、第二HPF电路207、第三HPF电路208和第四HPF电路209。缺陷像素检测电路105还包括第一绝对值(ABS)电路210、第二ABS电路211、第三ABS电路212和第四ABS电路213。缺陷像素检测电路105还包括亮度信号生成电路214、缺陷判断电路215、阈值判断电路(第一判断单元)216、相关性判断电路(第二判断单元)217、乘法器218和选择器219。
如图3A所示,零插入电路201在由以感兴趣像素为中心的多个像素所构成的区域中,对除G像素以外的像素(具有与感兴趣像素不同的颜色的像素)的信号水平插入0值(0)。
如图3B所示,第一LPF电路202对在除G像素以外的像素的信号水平中插入了0值的图像数据进行垂直方向上的低通滤波处理(例如,使用滤波系数(1,2,1)的低通滤波处理)。这样,通过各自的垂直像素的信号水平对具有0值的像素的信号水平进行插值。
如图3C所示,第二LPF电路203对在除G像素以外的像素的信号水平中插入了0值的图像数据进行水平方向上的LPF处理。这样,通过各自的水平像素的信号水平对具有0值的像素的信号水平进行插值。
如图3D所示,第三LPF电路204对在除G像素以外的像素的信号水平中插入了0值的图像数据进行135度方向上的LPF处理。这样,通过各自的位于135度方向上的像素的信号水平对具有0值的像素的信号水平进行插值。
如图3E所示,第四LPF电路205对在除G像素以外的像素的信号水平中插入了0值的图像数据进行45度方向上的LPF处理。这样,通过各自的位于45度方向上的像素的信号水平对具有0值的像素的信号水平进行插值。
如图3F所示,第一HPF电路206对通过第一LPF电路202所进行的LPF处理的结果(输出数据)进行水平方向上的高通滤波处理(例如,使用滤波系数(-1,2,-1)的高通滤波处理)。
如图3G所示,第二HPF电路207对通过第二LPF电路203所进行的LPF处理的结果(输出数据)进行垂直方向上的HPF处理。
如图3H所示,第三HPF电路208对通过第三LPF电路204所进行的LPF处理的结果(输出数据)进行45度方向上的HPF处理。
如图3I所示,第四HPF电路209对通过第四LPF电路205所进行的LPF处理的结果(输出数据)进行135度方向上的HPF处理。
这样,在缺陷像素检测电路105中,第一LPF电路202和第一HPF电路206构成用于使用感兴趣像素作为基准在不同方向上进行滤波处理的处理单元。类似地,第二LPF电路203和第二HPF电路207、第三LPF电路204和第三HPF电路208、以及第四LPF电路205和第四HPF电路209也分别构成用于进行滤波处理的处理单元。注意,LPF处理的方向(第一方向)和HPF处理的方向(与第一方向垂直的第二方向)针对各处理单元而不同。
第一ABS电路210输出通过第一HPF电路206所进行的HPF处理的结果(输出数据)的8位绝对值。类似地,第二ABS电路211、第三ABS电路212和第四ABS电路213分别输出通过第二HPF电路207、第三HPF电路208和第四HPF电路209所进行的HPF处理的结果(输出数据)的8位绝对值。将通过第一~第四HPF电路206~209所进行的HPF处理的结果的绝对值分别称为HA1、HA2、HA3和HA4。
亮度信号生成电路214根据输入至缺陷像素检测电路105的图像数据(由R、G和B的拜耳阵列所构成的图像数据)生成亮度信号。例如,亮度信号生成电路214根据下面的公式1生成亮度信号Y。
Y=0.299R+0.587G+0.114B (公式1)
缺陷判断电路215根据通过第一~第四HPF电路206~209所进行的HPF处理的结果的符号(+或-),输出表示来自感兴趣像素的信号是否是缺陷像素信号的缺陷标志。缺陷判断电路215还输出表示缺陷像素是白色缺陷还是黑色缺陷的黑白标志。这里,“白色缺陷”是指在暗状态下看起来亮的缺陷像素,并且“黑色缺陷”是指在入射光下看起来暗的缺陷像素。
具体地,在通过第一~第四HPF电路206~209所进行的HPF处理的所有结果具有相同符号的情况下,缺陷判断电路215输出标志“1”作为缺陷标志(1位)。这表示来自感兴趣像素的信号是缺陷像素信号。另一方面,在通过第一~第四HPF电路206~209所进行的HPF处理的结果中的任一个具有不同符号的情况下,缺陷判断电路215输出标志“0”作为缺陷标志。这表示来自感兴趣像素的信号不是缺陷像素信号。注意,使用缺陷标志作为选择器219中的选择信号。
在通过第一~第四HPF电路206~209所进行的HPF处理的所有结果具有正符号的情况下,缺陷判断电路215输出表示白色缺陷的标志“1”作为黑白标志(1位)。另一方面,在通过第一~第四HPF电路206~209所进行的HPF处理的所有结果具有负符号的情况下,缺陷判断电路215输出表示黑色缺陷的标志“0”作为黑白标志。黑白标志不一定是必需的,并且可以省略。注意,将黑白标志输出给阈值判断电路216。
阈值判断电路216将分别从第一~第四ABS电路210~213输入的HPF处理的结果的绝对值HA1~HA4与任意设置的阈值进行比较。基于比较结果,阈值判断电路216输出第一判断值D1,第一判断值D1是表示来自感兴趣像素的信号是缺陷像素信号的可能性的值。
图4是示出阈值判断电路216的结构的示意性框图。阈值判断电路216包括第一缺陷水平生成电路401、第二缺陷水平生成电路402、第三缺陷水平生成电路403、第四缺陷水平生成电路404、以及乘法器405~407。
第一缺陷水平生成电路401基于从第一AB S电路210输入的HPF处理(水平滤波处理)的结果的绝对值HA1,生成(计算)缺陷水平DL1。第二缺陷水平生成电路402基于从第二ABS电路211输入的HPF处理(垂直滤波处理)的结果的绝对值HA2,生成缺陷水平DL2。第三缺陷水平生成电路403基于从第三ABS电路212输入的HPF处理(45度滤波处理)的结果的绝对值HA3,生成缺陷水平DL3。第四缺陷水平生成电路404基于从第四ABS电路213输入的HPF处理(135度滤波处理)的结果的绝对值HA4,生成缺陷水平DL4。假定以8位值分别表示这些HPF处理的结果的绝对值HA1~HA4。
参考图5A和5B,具体说明通过第一~第四缺陷水平生成电路401~404所进行的缺陷水平的生成。注意,这里使用的术语“缺陷水平”是指表示来自感兴趣像素的信号是缺陷像素信号的可能性的值。在本实施例中,将缺陷水平生成为范围从0到255的值,其中,缺陷水平“0”表示来自感兴趣像素的信号不是缺陷像素信号。相反,缺陷水平“255”表示来自感兴趣像素的信号是缺陷像素信号。缺陷水平越接近“0”,则来自感兴趣像素的信号不是缺陷像素信号的可能性越高,而缺陷水平越接近“255”,则来自感兴趣像素的信号是缺陷像素信号的可能性越高。
图5A和5B示出输入给第一~第四缺陷水平生成电路401~404的HPF处理的结果的绝对值与通过第一~第四缺陷水平生成电路401~404所生成的缺陷水平(值)之间的关系。在图5A和5B中,水平轴表示作为HPF处理的结果的绝对值HA(HA1~HA4),并且垂直轴表示缺陷水平DL(DL1~DL4)。
第一~第四缺陷水平生成电路401~404预先保持图5A和5B所示的阈值TH2和斜率值SL1。第一~第四缺陷水平生成电路401~404根据下面的公式2~4,将HPF处理的结果的绝对值HA转换成缺陷水平DL(8位)。
在HA≤TH2的情况下,
DL=0.(公式2)
在TH2<HA<TH1的情况下,
DL=SL1×(HA-TH2).(公式3)
在TH1≤HA的情况下,
DL=255.(公式4)
这里,TH1=TH2+(255/SL1)。
例如,在图5A和5B所示的例子中,如果HPF处理的结果的输入绝对值HA大于或等于阈值TH1,则第一~第四缺陷水平生成电路401~404生成缺陷水平DL“255”。另一方面,如果HPF处理的结果的输入绝对值HA小于或等于阈值TH2,则第一~第四缺陷水平生成电路401~404生成缺陷水平DL“0”。如果HPF处理的结果的输入绝对值HA大于阈值TH2、并且小于阈值TH1,则第一~第四缺陷水平生成电路401~404生成值随着所输入的HPF处理的结果的绝对值增大而增大的缺陷水平DL。
注意,第一~第四缺陷水平生成电路401~404根据从缺陷判断电路215输入的黑白标志,即根据缺陷像素是白色缺陷还是黑色缺陷,改变阈值TH2和斜率SL1。例如,当缺陷像素是白色缺陷时,第一~第四缺陷水平生成电路401~404将阈值TH2和斜率SL1设置成具有如图5A所示的特性,而当缺陷像素是黑色缺陷时,第一~第四缺陷水平生成电路401~404将阈值TH2和斜率SL1设置成具有如图5B所示的特性。
假定阈值TH2是通过例如将根据摄像设备100的工作模式所确定的任意设置值与通过亮度信号生成电路214所生成的来自感兴趣像素的周围像素的亮度信号的平均值相乘所获得的值。由于亮度越高,噪声越大,所以必须根据通过亮度信号生成电路214所生成的亮度信号(即噪声量)来改变阈值TH2。通过随着亮度增大而增大阈值TH2,可以防止将噪声错误判断为缺陷像素。还假定斜率SL1是通过例如将根据摄像设备100的工作模式所确定的任意设置值与通过亮度信号生成电路214所生成的亮度信号相乘所获得的值。通过确定阈值TH2和斜率SL1来确定阈值TH1。注意,代替通过使用公式2~4的转换来获得,可以将如图5A和5B所示的相对于绝对值HA的缺陷水平DL预先存储在表中。
可选地,代替设置阈值TH1和TH2,可以将绝对值HA和缺陷水平DL之间的关系定义为函数(诸如三次函数),其中,在绝对值HA的整个范围上,缺陷水平DL随着绝对值HA增大而增大。然后,可以根据亮度切换该函数,从而使得相对于绝对值HA的缺陷水平DL的值随着感兴趣像素周围的亮度增大而减小。
乘法器405通过将由第一缺陷水平生成电路401所生成的缺陷水平和由第二缺陷水平生成电路402所生成的缺陷水平相乘,获得16位值,对该16位值进行8位移位运算,并且输出作为结果的8位值作为缺陷水平DL5。乘法器406通过将由第三缺陷水平生成电路403所生成的缺陷水平和由第四缺陷水平生成电路404所生成的缺陷水平相乘,获得16位值,对该16位值进行8位移位运算,并且输出作为结果的8位值作为缺陷水平DL6。乘法器407通过将利用乘法器405的乘法所获得的缺陷水平DL5和利用乘法器406的乘法所获得的缺陷水平DL6相乘,获得16位值,对该16位值进行8位移位运算,并且输出作为结果的8位值作为第一判断值D1。
这样,阈值判断电路216基于滤波处理的结果,获得感兴趣像素和位于感兴趣像素周围的多个像素之间的信号水平的差。然后阈值判断电路216生成第一判断值D1,其中,第一判断值D1表示上述信号水平的差越大,则来自感兴趣像素的信号是缺陷像素信号的可能性越高。
再参考图2,相关性判断电路217比较分别从第一~第四ABS电路210~213输入的HPF处理的结果的绝对值HA1~HA4的大小。基于比较结果,相关性判断电路217输出第二判断值D2,其中,第二判断值D2表示来自感兴趣像素的信号是缺陷像素信号的可能性。
图6是示出相关性判断电路217的结构的示意性框图。相关性判断电路217包括第一选择电路601、第二选择电路602、第三选择电路603、第四选择电路604、第五选择电路605、第六选择电路606、减法器607和缺陷水平判断电路608。
第一选择电路601将从第一ABS电路210输入的HPF处理的结果的绝对值HA1和从第二ABS电路211输入的HPF处理的结果的绝对值HA2进行比较,并且输出较大的绝对值。第二选择电路602将从第一ABS电路210输入的HPF处理的结果的绝对值HA1和从第二ABS电路211输入的HPF处理的结果的绝对值HA2进行比较,并且输出较小的绝对值。
第三选择电路603将从第三ABS电路212输入的HPF处理的结果的绝对值HA3和从第四ABS电路213输入的HPF处理的结果的绝对值HA4进行比较,并且输出较大的绝对值。第四选择电路604将从第三ABS电路212输入的HPF处理的结果的绝对值HA3和从第四ABS电路213输入的HPF处理的结果的绝对值HA4进行比较,并且输出较小的绝对值。
第五选择电路605比较从第一选择电路601输出的绝对值和从第三选择电路603输出的绝对值,并且输出较大的绝对值。从第五选择电路605输出的绝对值是通过第一~第四ABS电路210~213所进行的HPF处理的结果(即在四个方向上所进行的滤波处理的结果)中的最大绝对值。
第六选择电路606比较从第二选择电路602输出的绝对值和从第四选择电路604输出的绝对值,并且输出较小的绝对值。从第六选择电路606输出的绝对值是通过第一~第四AB S电路210~213所进行的HPF处理的结果(即在四个方向上所进行的滤波处理的结果)中的最小绝对值。
减法器607从第五选择电路605所输出的绝对值减去第六选择电路606所输出的绝对值。通过减法器607所进行的减法的结果表示通过第一~第四ABS电路210~213所进行的HPF处理的结果的最大的差(差的分布宽度),并且由于通过从最大绝对值减去最小绝对值来获得,所以始终是大于0的正值或等于0。
缺陷水平判断电路608基于从减法器607输出的绝对值,生成(计算)第二判断值D2,并且输出第二判断值D2。参考图7具体说明通过缺陷水平判断电路608所进行的第二判断值D2的生成。注意,如第一判断值D1一样,通过缺陷水平判断电路608所生成的第二判断值D2表示来自感兴趣像素的信号是缺陷像素信号的可能性。图7是示出要输入给缺陷水平判断电路608的通过减法器607所进行的减法的结果(绝对值HB)和通过缺陷水平判断电路608所生成的第二判断值D2之间的关系的图。在图7中,水平轴表示通过减法器607所进行的减法的结果(绝对值HB),并且垂直轴表示第二判断值D2。
缺陷水平判断电路608预先保持图7所示的阈值TH3和斜率值SL2,并且根据下面的公式5~7将减法器607的减法的结果转换成第二判断值D2(8位)。
在HB≤TH3的情况下,
D2=255. (公式5)。
在TH3<HB<TH4的情况下,
D2=SL2×(HB-TH3)+255. (公式6)
在TH4≤HB的情况下,
D2=0. (公式7)
这里,TH4=TH3+(255/SL2)。
例如,在图7所示的例子中,如果通过减法器607的减法的结果HB小于或等于阈值TH3,则缺陷水平判断电路608生成第二判断值D2“255”。另一方面,如果通过减法器607的减法的结果HB大于或等于阈值TH4,则缺陷水平判断电路608生成第二判断值D2“0”。如果通过减法器607进行减法的结果HB大于阈值TH3并且小于阈值TH4,则缺陷水平判断电路608生成值随着减法器607的减法的结果(绝对值)减小而增大的第二判断值D2。
注意,阈值TH3是通过例如将根据摄像设备100的工作模式所确定的任意设置值和通过亮度信号生成电路214所生成的亮度信号相乘所获得的值。还应注意,斜率SL2也是通过例如将根据摄像设备100的工作模式所确定的任意设置值和通过亮度信号生成电路214所生成的亮度信号相乘所获得的值。通过确定阈值TH3和斜率值SL2来确定阈值TH4。可选地,代替通过使用公式5~7的转换来获得,可以将图7所示的相对于通过减法器607进行减法的结果HB的第二判断值D2预先存储在表中。
这样,相关性判断电路217基于滤波处理的结果,获得感兴趣像素和感兴趣像素的周围像素之间的信号水平的差的分布宽度(即减法结果HB)。然后相关性判断电路217生成第二判断值D2,其中,第二判断值D2表示上述信号水平的差的分布宽度越小,则来自感兴趣像素的信号是缺陷像素信号的可能性越大。
注意,在图像数据中包括许多噪声的情况下,存在下面的可能性:由于噪声,阈值判断电路216可能将来自感兴趣像素的信号错误地判断为缺陷像素信号(即输出第一判断值“255”)。考虑到此,需要在下面的情况下在相关性判断电路217中判断为来自感兴趣像素的信号不是缺陷像素信号:在包括感兴趣像素的区域的图像数据中包括许多噪声、并且上述差的分布宽度也大。
在感兴趣像素不是缺陷像素的情况下,通过第一~第四ABS电路210~213所获得的HPF处理的结果(即在四个方向上所进行的滤波处理的结果)会是接近0的值,因此,差的分布宽度也是接近0的值。在这种情况下,由于差的分布宽度小,所以相关性判断电路217可能将来自感兴趣像素的信号错误地判断为缺陷像素信号(即输出第二判断值“255”)。为此,需要在感兴趣像素和邻接像素之间的信号水平的差大于或等于阈值的情况下、在阈值判断电路216中判断为来自感兴趣像素的信号是缺陷像素信号。
考虑到此,在本实施例中,如图2所示,乘法器218通过将从阈值判断电路216输出的第一判断值D1和从相关性判断电路217输出的第二判断值D2相乘,获得第三判断值。具体地,乘法器218通过将第一判断值D1和第二判断值D2相乘,获得16位值,对该16位值进行8位移位运算,并且输出作为结果的8位值(即从0到255的值)作为第三判断值K。这使得即使阈值判断电路216进行了错误判断,相关性判断电路217也能够正确判断感兴趣像素是否是缺陷像素,并且使得即使相关性判断电路217进行了错误判断,阈值判断电路216也能够正确判断感兴趣像素是否是缺陷像素。换句话说,如果感兴趣像素在阈值判断电路216和相关性判断电路217两者中被判断为缺陷像素,则将感兴趣像素检测为缺陷像素。可选地,如果在阈值判断电路216和相关性判断电路217两者中判断为感兴趣像素是缺陷像素的可能性高,则将来自感兴趣像素的信号检测为是缺陷像素信号的可能性高的信号。
如果从缺陷判断电路215输入的缺陷标志是“1”(即表示感兴趣像素是缺陷像素),则选择器219输出通过乘法器218的乘法所获得的第三判断值K。如果从缺陷判断电路215输入的缺陷标志是“0”(即表示感兴趣像素不是缺陷像素),则选择器219输出“0”作为第三判断值。注意,将从选择器219输出的缺陷水平输入给缺陷像素校正电路106。
图8是示出缺陷像素校正电路106的结构的示意性框图。缺陷像素校正电路106经由A/D转换电路104接收包括缺陷像素的图像数据的输入。缺陷像素校正电路106包括校正值计算电路801和加权加法器电路802。
例如,校正值计算电路801进行使用不参考感兴趣像素的系数(例如,(1,0,1))的滤波处理,并且计算用于校正缺陷像素的信号水平的校正值。可选地,校正值计算电路801可以根据图像数据确定边缘方向,并且参考位于沿感兴趣像素的边缘方向的像素的信号水平来计算校正值,或者可以通过预先插值来获得校正值。作为其它可选方法,可以通过向根据位于沿边缘方向的像素的信号水平所计算出的校正值分配比根据位于沿其它方向的像素的信号水平所计算出的校正值的权重更高的权重,并且相加并平均这些校正值,来获得校正值。
加权加法器电路802根据从缺陷像素检测电路105输出的第三判断值K,对从A/D转换电路104输出的感兴趣像素的信号水平ORG和通过校正值计算电路801所计算出的校正值COR进行加权相加。例如,加权加法器电路802根据下面的公式8输出感兴趣像素的校正后的信号水平OUT。
OUT=COR×K+ORG×(255-K) (公式8)
如上所述,第三判断值K的范围为0~255。由于在感兴趣像素不是缺陷像素(即感兴趣像素是正常像素)的可能性高的情况下,第三判断值K接近“0”,所以加权加法器电路802通过向感兴趣像素的信号水平ORG分配高权重、并且将校正值COR和信号水平ORG加权相加,来输出信号水平(即校正了缺陷像素的图像数据)OUT。另一方面,由于在感兴趣像素是缺陷像素的可能性高的情况下,第三判断值K接近“255”,所以加权加法器电路802通过向校正值COR分配高权重、并且将校正值COR和感兴趣像素的信号水平ORG加权相加,来输出信号水平OUT。可选地,可以将第三判断值K与预定阈值进行比较,并且如果第三判断值K小于该阈值,则输出感兴趣像素的信号水平ORG作为校正后的信号水平OUT,否则,输出根据公式8所获得的值作为校正后的信号水平OUT。
根据如上所述的本实施例,在阈值判断电路216和相关性判断电路217两者中将来自感兴趣像素的信号判断为缺陷像素信号的情况下,将感兴趣像素检测为缺陷像素。可选地,在阈值判断电路216和相关性判断电路217两者中判断为来自感兴趣像素的信号是缺陷像素信号的可能性高的情况下,将感兴趣像素的信号水平检测为是缺陷像素信号的可能性高的信号水平。为此,与传统技术相比,可以更精确地检测缺陷像素。因此,由于根据通过将从阈值判断电路216输出的缺陷水平和从相关性判断电路217输出的缺陷水平相乘所获得的值来校正感兴趣像素的信号水平,所以与传统技术相比,可以更精确地校正缺陷像素。
注意,在缺陷像素检测电路105中,如图9所示,第一LPF电路202和第二LPF电路203可以各自设置有两个高通滤波器电路,其中,每一高通滤波器电路各自进行不同的高通滤波处理。
参考图9,第五HPF电路901和第六HPF电路902对于通过第一LPF电路202所进行的LPF处理的结果,在水平方向上各自进行不同的高通滤波处理。例如,如图10A所示,第五HPF电路901进行使用低通滤波系数((1,2,1)×(1,2,1)×(-1,2,-1))的高通滤波处理(使用第一高通滤波器的第一高通滤波处理)。如图10B所示,第六HPF电路902进行使用高通滤波系数((1,2,1)×(-1,2,-1)×(-1,2,-1))的高通滤波处理(使用第二高通滤波器的第二高通滤波处理)。
第七HPF电路903和第八HPF电路904对通过第二LPF电路203所进行的LPF处理的结果,在垂直方向上各自进行不同的高通滤波处理。例如,第七HPF电路903进行使用低通滤波系数(参考图10A)的高通滤波处理。第八HPF电路904进行使用高通滤波系数(参考图10B)的高通滤波处理。
第五AB S电路905输出通过第五HPF电路901所进行的HPF处理的结果(输出数据)的绝对值。类似地,第六AB S电路906、第七AB S电路907和第八AB S电路908输出分别通过第六HPF电路902、第七HPF电路903和第八HPF电路904所进行的HPF处理的结果(输出数据)的绝对值。
第一运算电路909和第二运算电路910具有相同结构,每一个均包括阈值判断电路216、相关性判断电路217和乘法器218。第一运算电路909接收通过第五ABS电路905、第七ABS电路907、第三ABS电路212和第四ABS电路213所获得的HPF处理的结果的绝对值的输入。第二运算电路910接收通过第六ABS电路906、第八ABS电路908、第三ABS电路212和第四ABS电路213所获得的HPF处理的结果的绝对值的输入。
第一运算电路909和第二运算电路910各自使用在相同频带中所进行的HPF处理的结果的绝对值,获得表示感兴趣像素的信号是缺陷像素信号的可能性的判断值。注意,理想的是对于包括水平方向、垂直方向、45度方向和135度方向的所有方向使用相同频带。在本实施例中,由于从感兴趣像素到基准像素的距离在倾斜方向与水平和垂直方向之间不同,因此频带在它们之间是不同的,所以在水平和垂直方向与45度和135度方向(倾斜方向)之间,使用不同的滤波系数。
最大值选择电路911比较从第一运算电路909输出的判断值和从第二运算电路910输出的判断值,并且输出较大的判断值。
如果在图像数据的高频带中进行滤波处理(参考图10B),则存在下面的情况:边缘残留,因此将来自感兴趣像素的信号错误地判断为缺陷像素信号。为此,在低频带中同样进行滤波处理,从而可靠地检测低频带中存在的缺陷像素。然后,对于边缘上存在的这类缺陷像素,将高通滤波处理的结果和低通滤波处理的结果进行比较,以防止将边缘错误地判断为缺陷像素。
在本实施例中,尽管作为例子说明了在G像素中发生缺陷像素的情况,但是,即使在R或B像素中发生缺陷像素,通过在除R或B像素以外的像素中插入0值,可以通过相同处理来检测缺陷像素。
代替通过R、G和B像素之间的区分来获得第一和第二判断值,阈值判断电路216和相关性判断电路217可以使用通过公式1所获得的亮度信号Y来获得第一和第二判断值。
通过一些其它方法可以获得阈值判断电路216为了获得第一判断值D1所使用的绝对值HA,只要该绝对值表示感兴趣像素和感兴趣像素周围的多个像素之间的信号水平的差的大小即可。例如,阈值判断电路216可以获得通过第一~第四ABS电路210~213所进行的HPF处理的结果的绝对值的平均值,并且使用该平均值作为绝对值HA、通过公式2~4获得第一判断值D1。
另外,相关性判断电路217可以获得通过第一~第四ABS电路210~213所进行的HPF处理的结果的绝对值的方差,并且随着该方差减小,将第二判断值D2设置成更大的值。
注意,尽管缺陷像素检测电路105由图2中的LPF电路和HPF电路构成,但是如图11所示不包括LPF电路的结构也是可以的。下面关注与图2所示的缺陷像素检测电路105的结构的不同,说明图11所示的缺陷像素检测电路105的其它结构。
第一HPF电路1101对于在除G像素以外的像素的信号水平中插入了0值的图像数据,在水平方向进行使用例如(-1,0,2,0,-1)的滤波系数的HPF处理。类似地,第一HPF电路1101还对在除R像素以外的像素的信号水平中插入了0值的图像数据和在除B像素以外的像素的信号水平中插入了0值的图像数据进行HPF处理。
第二HPF电路1102对于在除G像素以外的像素的信号水平中插入了0值的图像数据,在垂直方向进行使用滤波系数,例如(-1,0,2,0,-1)的HPF处理。类似地,第二HPF电路1102还对在除R像素以外的像素的信号水平中插入了0值的图像数据和在除B像素以外的像素的信号水平中闯入了0值的图像数据,进行HPF处理。
第三HPF电路1103对在除G像素以外的像素的信号水平中插入了0值的图像数据,在45度方向上进行使用例如(-1,2,-1)的滤波系数的HPF处理。
第四HPF电路1104对在除G像素以外的像素的信号水平中插入了0值的图像数据,在135度方向上进行例如(-1,2,-1)的使用滤波系数的HPF处理。
对于图11所示的缺陷像素检测电路105的结构,零插入电路201对插入了0值的像素不进行插值处理,因此,HPF电路各自具有在HPF处理期间不受插入了0值的像素的影响的滤波系数。在水平方向和垂直方向两者上,由于每隔一个像素配置所有G、R和B像素,所以对于G、R和B像素可以使用相同的滤波系数。另一方面,在45度方向和135度方向两者上,由于连续配置G像素,而每隔一个像素配置R和B像素两者,所以仅对G像素进行HPF处理。
第一~第四AB S电路1105~1108输出分别通过第一~第四HPF电路1101~1104所进行的HPF处理的结果的绝对值(输出数据)。
如图2所示的缺陷判断电路215一样,缺陷判断电路1109根据通过第一~第四HPF电路1101~1104所进行的HPF处理的结果的符号(正的或负的),输出缺陷标志和黑白标志。如果感兴趣像素是G像素,则缺陷判断电路1109参考通过第一HPF电路1101、第二HPF电路1102、第三HPF电路1103和第四HPF电路1104所进行的HPF处理的结果的符号。如果感兴趣像素是R或B像素,则缺陷判断电路1109参考通过第一HPF电路1101和第二HPF电路1102所进行的HPF处理的结果的符号。
如图2所示的阈值判断电路216一样,阈值判断电路1110将从第一~第四ABS电路1105~1108输入的HPF处理的结果的绝对值与任意设置的阈值进行比较。基于比较结果,阈值判断电路1110获得表示来自感兴趣像素的信号是缺陷像素信号的可能性的第一判断值D1。如图2所示的相关性判断电路217一样,相关性判断电路1111比较从第一~第四ABS电路1105~1108输入的HPF处理的结果的绝对值的大小。基于比较结果,相关性判断电路1111获得表示来自感兴趣像素的信号是缺陷像素信号的可能性的第二判断值D2。
如果感兴趣像素是G像素,则阈值判断电路1110和相关性判断电路1111参考通过第一ABS电路1105、第二ABS电路1106、第三ABS电路1107和第四ABS电路1108所获得的HPF处理的结果的绝对值。如果感兴趣像素是R或B像素,则阈值判断电路1110和相关性判断电路1111参考通过第一ABS电路1105和第二ABS电路1106所获得的HPF处理的结果的绝对值。
然后,如图2的情况一样,乘法器218通过将第一判断值和第二判断值相乘,获得第三判断值,并且经由选择器219将第三判断值输入给缺陷像素校正电路106。
此外,代替诸如图2所示的LPF电路和HPF电路等的滤波器电路,如图12一样,由差分电路构成缺陷像素检测电路105的结构也是可以的。下面关注与图2所示的缺陷像素检测电路105的结构的不同,说明图12所示的缺陷像素检测电路105的结构。
第一差分电路1201进行用于通过从感兴趣像素的值减去位于感兴趣像素右侧并具有与感兴趣像素相同颜色的第二个像素的值来获得值的差分处理。第二差分电路1202进行用于通过从感兴趣像素的值减去位于感兴趣像素左侧并具有与感兴趣像素相同颜色的第二个像素的值来获得值的差分处理。
第三差分电路1203进行用于通过从感兴趣像素的值减去位于感兴趣像素上侧并具有与感兴趣像素相同颜色的第二个像素的值来获得值的差分处理。第四差分电路1204进行用于通过从感兴趣像素的值减去位于感兴趣像素下侧并具有与感兴趣像素相同颜色的第二个像素的值来获得值的差分处理。
第五差分电路1205进行用于通过从感兴趣像素的值减去位于感兴趣像素右上侧并具有与感兴趣像素相同颜色的邻接像素的值来获得值的差分处理。第六差分电路1206进行用于通过从感兴趣像素的值减去位于感兴趣像素左下侧并具有与感兴趣像素相同颜色的邻接像素的值来获得值的差分处理。
第七差分电路1207进行用于通过从感兴趣像素的值减去位于感兴趣像素左上侧并具有与感兴趣像素相同颜色的邻接像素的值来获得值的差分处理。第八差分电路1208进行用于通过从感兴趣像素的值减去位于感兴趣像素右下侧并具有与感兴趣像素相同颜色的邻接像素的值来获得值的差分处理。
这样,第一~第八差分电路1201~1208各自获得感兴趣像素和位于感兴趣像素周围的像素之间的值的差。尽管不管感兴趣像素是G、R还是B像素,第一~第四差分电路1201~1204都进行差分处理,但是第五~第八差分电路1205~1208仅在感兴趣像素是G像素的情况下进行差分处理。
第一~第八AB S电路1209~1216输出分别通过第一~第八差分电路1201~1208所进行的差分处理的结果(输出数据)的绝对值。
如图2所示的缺陷判断电路215一样,缺陷判断电路1217根据通过第一~第八差分电路1201~1208所进行的差分处理的结果的符号(正的或负的),输出缺陷标志和黑白标志。如果感兴趣像素是G像素,则缺陷判断电路1217参考通过第一~第八差分电路1201~1208所进行的差分处理的结果的符号。如果感兴趣像素是R或者B像素,则缺陷判断电路1217参考通过第一~第四差分电路1201~1204所进行的差分处理的结果的符号。
如图2所示的阈值判断电路216一样,阈值判断电路1218将从第一~第八AB S电路1209~1216输入的差分处理的结果的绝对值与任意设置的阈值进行比较。基于比较结果,阈值判断电路1218获得表示来自感兴趣的信号是缺陷像素信号的可能性的第一判断值。如图2所示的相关性判断电路217一样,相关性判断电路1219比较从第一~第八ABS电路1209~1216输入的差分处理的结果的绝对值的大小。基于比较结果,相关性判断电路1219获得表示来自感兴趣像素的信号是缺陷像素信号的可能性的第二判断值。
注意,如果感兴趣像素是G像素,则阈值判断电路1218和相关性判断电路1219参考通过第一~第八ABS电路1209~1216所获得的差分处理的结果的绝对值。如果感兴趣像素是R或者B像素,则阈值判断电路1218和相关性判断电路1219参考通过第一~第四ABS电路1209~1212所获得的差分处理的结果的绝对值。
然后,如图2的情况一样,乘法器218通过将第一判断值和第二判断值相乘,获得第三判断值,并且经由选择器219将第三判断值输入给缺陷像素校正电路106。
如上所述,根据本实施例的缺陷像素检测电路105获得第一判断值,其中,第一判断值表示感兴趣像素和位于感兴趣像素周围的多个像素之间的信号水平的差的大小。第一判断值是随着感兴趣像素和周围像素之间的信号水平的差增大而增大的值。缺陷像素检测电路105还获得表示感兴趣像素和多个周围像素之间的信号水平的差的大小的分布宽度的第二判断值。第二判断值是随着感兴趣像素和多个周围像素之间的信号水平的差的大小的分布宽度减小而增大的值。缺陷像素检测电路105将第一判断值D1和第二判断值D2相乘,并且判断为通过该乘法所获得的值越大,则来自感兴趣像素的信号是缺陷像素信号的可能性越高。注意,如果通过该乘法所获得的值大于或等于阈值,则缺陷像素检测电路105可以将感兴趣像素的信号判断为缺陷像素信号。可选地,如果第一和第二判断值D1和D2两者都大于或等于阈值,则缺陷像素检测电路105可以将来自感兴趣像素的信号判断为缺陷像素信号。
此外,由于缺陷像素校正电路106基于通过该乘法所获得的值来判断要校正感兴趣像素的程度、或者是否校正感兴趣像素,所以与传统技术相比,可以更精确地降低缺陷像素的影响。
注意,缺陷像素不一定独立存在,并且存在两个缺陷像素可能并排存在的可能性。考虑到此,在感兴趣像素周围存在下面的像素的情况下,缺陷像素检测电路105可以在排除该像素的信号水平的同时进行缺陷像素的判断:该像素的信号水平接近感兴趣像素的信号水平,但是与其它周围像素的信号水平非常不同。
此外,尽管以通过诸如数字照相机或摄像机等的摄像设备所进行的用于检测缺陷像素的处理作为例子,说明了上述实施例,但是本发明并非意图局限于此。例如,安装有具有图像处理功能的应用程序的个人计算机可以根据从存储器(未示出)读取的程序,对从可拆卸的存储介质或者经由网络所获取的图像信号,进行上述处理。
此外,在本实施例中,尽管通过阈值判断电路所生成的缺陷水平和通过相关性判断电路所生成的缺陷水平是8位,但是这两个缺陷水平可以具有不同的位宽。
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面,其中,利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此,例如,通过网络或者通过用作存储器装置的各种类型的记录介质(例如,计算机可读介质)将该程序提供给计算机。
尽管参考典型实施例说明了本发明,但是应该理解,本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
本申请要求2010年3月26日提交的日本2010-073472号专利申请的优先权,其全部内容通过引用包含于此。
Claims (13)
1.一种图像处理设备,其用于从通过由多个像素所构成的图像传感器所生成的图像数据检测来自所述图像传感器的缺陷像素的信号,所述图像处理设备包括:
第一判断部件,用于获得表示感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的第一判断值;
第二判断部件,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的分布宽度的第二判断值;以及
检测部件,用于使用所述第一判断值和所述第二判断值,检测来自所述感兴趣像素的信号是否是缺陷像素信号,
其中,所述第一判断部件通过获得所述感兴趣像素和位于所述感兴趣像素周围的多个像素中的每一个之间的信号水平的差、根据所述差中的每一个获得表示来自所述感兴趣像素的信号是缺陷像素信号的可能性的值、并且将所获得的值相乘,获得所述第一判断值,
所述第一判断值是随着所述差的大小增大而增大的值,并且所述第二判断值是随着所述差的大小的分布宽度减小而增大的值,以及
在所述第一判断值和所述第二判断值两者都大于或等于各自的预定阈值的情况下,所述检测部件将来自所述感兴趣像素的信号检测为缺陷像素信号。
2.根据权利要求1所述的图像处理设备,其中,还包括校正部件,所述校正部件用于在所述检测部件将来自所述感兴趣像素的信号检测为缺陷像素信号的情况下,使用根据位于所述感兴趣像素周围的像素的信号水平所获得的校正值,校正所述感兴趣像素的信号水平。
3.一种图像处理设备,其用于从通过由多个像素所构成的图像传感器所生成的图像数据检测来自所述图像传感器的缺陷像素的信号,所述图像处理设备包括:
处理部件,用于以感兴趣像素为中心、在多个方向上对包括所述感兴趣像素的区域进行高通滤波处理;
第一判断部件,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的第一判断值;
第二判断部件,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的分布宽度的第二判断值;以及
检测部件,用于使用所述第一判断值和所述第二判断值,检测来自所述感兴趣像素的信号是否是缺陷像素信号,
其中,所述第一判断部件根据所述高通滤波处理的结果的绝对值,获得所述第一判断值,
所述第二判断部件根据所述高通滤波处理的结果的绝对值的分布宽度,获得所述第二判断值,
所述第一判断值是随着所述差的大小增大而增大的值,并且所述第二判断值是随着所述差的大小的分布宽度减小而增大的值,以及
在所述第一判断值和所述第二判断值两者都大于或等于各自的预定阈值的情况下,所述检测部件将来自所述感兴趣像素的信号检测为缺陷像素信号。
4.根据权利要求3所述的图像处理设备,其中,
所述处理部件在进行所述高通滤波处理之前,以所述感兴趣像素为中心、在所述多个方向上对包括所述感兴趣像素的区域进行低通滤波处理,以及
所述处理部件以所述感兴趣像素为中心、在所述多个方向中的一个方向上进行所述低通滤波处理,然后以所述感兴趣像素为中心、在所述多个方向中不同于所述低通滤波处理的方向的另一个方向上进行所述高通滤波处理。
5.根据权利要求3所述的图像处理设备,其中,还包括:
多个所述处理部件,用于在不同频带进行高通滤波处理;
与所述多个处理部件相对应地设置的多个所述第一判断部件和多个所述第二判断部件;以及
选择部件,用于选择根据如下第一判断值和第二判断值所获得的值:该第一判断值和第二判断值是通过与所述多个处理部件中的一个相对应的所述第一判断部件和所述第二判断部件所获得的第一判断值和第二判断值。
6.一种图像处理设备,其用于从通过由多个像素所构成的图像传感器所生成的图像数据检测来自所述图像传感器的缺陷像素的信号,所述图像处理设备包括:
第一判断部件,用于获得表示感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的第一判断值;
第二判断部件,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的分布宽度的第二判断值;以及
校正部件,用于使用通过将所述第一判断值和所述第二判断值相乘所获得的值,通过将所述感兴趣像素的信号水平和根据位于所述感兴趣像素周围的像素的信号水平所获得的校正值加权相加,来校正所述感兴趣像素的信号水平,
其中,所述第一判断值是随着所述差的大小增大而增大的值,并且所述第二判断值是随着所述差的大小的分布宽度减小而增大的值,以及
随着通过将所述第一判断值和所述第二判断值相乘所获得的值增大,所述校正部件向所述校正值分配更高的权重。
7.根据权利要求6所述的图像处理设备,其中,所述第一判断部件通过获得所述感兴趣像素和位于所述感兴趣像素周围的多个像素中的每一个之间的信号水平的差、根据所述差中的每一个获得表示来自所述感兴趣像素的信号是缺陷像素信号的可能性的值、并且将所获得的值相乘,获得所述第一判断值。
8.根据权利要求6所述的图像处理设备,其中,还包括:
处理部件,用于以所述感兴趣像素为中心、在多个方向上对包括所述感兴趣像素的区域进行高通滤波处理,
其中,所述第一判断部件根据所述高通滤波处理的结果的绝对值,获得所述第一判断值,并且所述第二判断部件根据所述高通滤波处理的结果的绝对值的分布宽度,获得所述第二判断值。
9.根据权利要求8所述的图像处理设备,其中,
所述处理部件在进行所述高通滤波处理之前,以所述感兴趣像素为中心、在所述多个方向上对包括所述感兴趣像素的区域进行低通滤波处理,以及
所述处理部件以所述感兴趣像素为中心、在所述多个方向中的一个方向上进行所述低通滤波处理,然后以所述感兴趣像素为中心、在所述多个方向中不同于所述低通滤波处理的方向的另一个方向上进行所述高通滤波处理。
10.根据权利要求8所述的图像处理设备,其中,还包括:
多个所述处理部件,用于在不同频带进行高通滤波处理;
与所述多个处理部件相对应地设置的多个所述第一判断部件和多个所述第二判断部件;以及
选择部件,用于选择根据如下第一判断值和第二判断值所获得的值:该第一判断值和第二判断值是通过与所述多个处理部件中的一个相对应的所述第一判断部件和所述第二判断部件所获得的第一判断值和第二判断值。
11.一种图像处理设备的控制方法,其中,所述图像处理设备用于从通过由多个像素所构成的图像传感器所生成的图像数据检测来自所述图像传感器的缺陷像素的信号,所述控制方法包括以下步骤:
第一判断步骤,其通过第一判断部件来进行,用于获得表示感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的第一判断值,其中,所述第一判断值随着所述差的大小增大而增大;
第二判断步骤,其通过第二判断部件来进行,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的分布宽度的第二判断值,其中,所述第二判断值随着所述差的大小的分布宽度减小而增大;以及
检测步骤,其通过检测部件来进行,用于在所述第一判断值和所述第二判断值两者都大于或等于各自的预定阈值的情况下,将来自所述感兴趣像素的信号检测为缺陷像素信号,
其中,在获得所述第一判断值的步骤中,所述第一判断部件通过获得所述感兴趣像素和位于所述感兴趣像素周围的多个像素中的每一个之间的信号水平的差、根据所述差中的每一个获得表示来自所述感兴趣像素的信号是缺陷像素信号的可能性的值、并且将所获得的值相乘,获得所述第一判断值。
12.一种图像处理设备的控制方法,其中,所述图像处理设备用于从通过由多个像素所构成的图像传感器所生成的图像数据检测来自所述图像传感器的缺陷像素的信号,所述控制方法包括以下步骤:
第一判断步骤,其通过第一判断部件来进行,用于获得表示感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的第一判断值,其中,所述第一判断值随着所述差的大小增大而增大;
第二判断步骤,其通过第二判断部件来进行,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的分布宽度的第二判断值,其中,所述第二判断值随着所述差的大小的分布宽度减小而增大;以及
校正步骤,其通过校正部件来进行,用于通过将所述感兴趣像素的信号水平和根据位于所述感兴趣像素周围的像素的信号水平所获得的校正值加权相加,校正所述感兴趣像素的信号水平,其中,随着通过将所述第一判断值和所述第二判断值相乘所获得的值增大,向所述校正值分配更高的权重。
13.一种图像处理设备的控制方法,其中,所述图像处理设备用于从通过由多个像素所构成的图像传感器所生成的图像数据检测来自所述图像传感器的缺陷像素的信号,所述控制方法包括以下步骤:
处理步骤,其通过处理部件来进行,用于以感兴趣像素为中心、在多个方向上对包括所述感兴趣像素的区域进行高通滤波处理;
第一判断步骤,其通过第一判断部件来进行,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的第一判断值,其中,所述第一判断部件根据所述高通滤波处理的结果的绝对值,获得所述第一判断值,并且所述第一判断值随着所述差的大小增大而增大;
第二判断步骤,其通过第二判断部件来进行,用于获得表示所述感兴趣像素和位于所述感兴趣像素周围的多个像素之间的信号水平的差的大小的分布宽度的第二判断值,其中,所述第二判断部件根据所述高通滤波处理的结果的绝对值的分布宽度,获得所述第二判断值,并且所述第二判断值随着所述差的大小的分布宽度减小而增大;以及
检测步骤,其通过检测部件来进行,用于使用所述第一判断值和所述第二判断值,检测来自所述感兴趣像素的信号是否是缺陷像素信号,
其中,在所述第一判断值和所述第二判断值两者都大于或等于各自的预定阈值的情况下,所述检测部件将来自所述感兴趣像素的信号检测为缺陷像素信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010073472A JP5697353B2 (ja) | 2010-03-26 | 2010-03-26 | 画像処理装置、画像処理装置の制御方法及びプログラム |
JP2010-073472 | 2010-03-26 | ||
PCT/JP2011/054217 WO2011118329A1 (en) | 2010-03-26 | 2011-02-18 | Image processing apparatus and control method for image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102835102A CN102835102A (zh) | 2012-12-19 |
CN102835102B true CN102835102B (zh) | 2015-07-01 |
Family
ID=44672900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180016308.XA Active CN102835102B (zh) | 2010-03-26 | 2011-02-18 | 图像处理设备和图像处理设备的控制方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8922680B2 (zh) |
JP (1) | JP5697353B2 (zh) |
CN (1) | CN102835102B (zh) |
DE (1) | DE112011101066B4 (zh) |
GB (1) | GB2494064B (zh) |
RU (1) | RU2527198C2 (zh) |
WO (1) | WO2011118329A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5774456B2 (ja) * | 2011-11-30 | 2015-09-09 | 日立マクセル株式会社 | 撮像装置 |
JP5900194B2 (ja) * | 2012-07-02 | 2016-04-06 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム、固体撮像素子、および電子機器 |
US9088740B2 (en) * | 2013-06-21 | 2015-07-21 | Himax Imaging Limited | System and method of reducing noise |
JP6045523B2 (ja) | 2014-02-27 | 2016-12-14 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP5970012B2 (ja) | 2014-02-27 | 2016-08-17 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
WO2015135164A1 (zh) * | 2014-03-12 | 2015-09-17 | 深圳市大疆创新科技有限公司 | 数码影像的坏点矫正方法和系统 |
RU2556885C1 (ru) * | 2014-06-17 | 2015-07-20 | Закрытое акционерное общество "Электронно-вычислительные информационные и инструментальные системы" (ЗАО "ЭЛВИИС") | Способ и система коррекции дефектных пикселей изображения |
EP3265994B1 (en) * | 2015-03-06 | 2020-01-15 | Flir Systems, Inc. | Anomalous pixel detection |
US10354577B1 (en) * | 2015-06-02 | 2019-07-16 | X Development Llc | Masking non-functioning pixels in a display |
JP2017055308A (ja) * | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP2017055309A (ja) | 2015-09-10 | 2017-03-16 | キヤノン株式会社 | 撮像装置及びその制御方法 |
WO2017221376A1 (ja) * | 2016-06-23 | 2017-12-28 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP7084801B2 (ja) * | 2018-07-03 | 2022-06-15 | キヤノン株式会社 | 撮像素子および撮像装置 |
US10950199B1 (en) * | 2019-10-11 | 2021-03-16 | Facebook Technologies, Llc | Systems and methods for hiding dead pixels |
KR20220048090A (ko) * | 2020-10-12 | 2022-04-19 | 삼성전자주식회사 | 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템 |
US20230342897A1 (en) * | 2022-04-26 | 2023-10-26 | Communications Test Design, Inc. | Method to detect camera blemishes |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1767660A (zh) * | 2005-11-16 | 2006-05-03 | 北京中星微电子有限公司 | 一种缺陷像素检测方法 |
CN101464418A (zh) * | 2007-12-18 | 2009-06-24 | 大日本网屏制造株式会社 | 缺陷检测方法以及缺陷检测装置 |
CN101677359A (zh) * | 2008-09-16 | 2010-03-24 | 佳能株式会社 | 图像传感装置及缺陷像素检测方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6529622B1 (en) * | 1998-10-30 | 2003-03-04 | General Electric Company | Method and apparatus for identifying defective regions in a discrete pixel detector |
US6625318B1 (en) * | 1998-11-13 | 2003-09-23 | Yap-Peng Tan | Robust sequential approach in detecting defective pixels within an image sensor |
FR2786648B1 (fr) * | 1998-11-30 | 2001-01-05 | Commissariat Energie Atomique | Procede de correction des defauts d'images issues d'un detecteur de rayons x ou y de type matriciel |
JP4006137B2 (ja) * | 1999-06-18 | 2007-11-14 | キヤノン株式会社 | 画像処理装置、画像処理システム、及び画像処理方法 |
JP2001086517A (ja) * | 1999-09-13 | 2001-03-30 | Toshiba Corp | 画素欠陥検出装置 |
US7283165B2 (en) * | 2002-11-15 | 2007-10-16 | Lockheed Martin Corporation | Method and apparatus for image processing using weighted defective pixel replacement |
EP1672912B1 (en) * | 2003-01-16 | 2012-03-14 | DigitalOptics Corporation International | Method for producing an optical system including an electronic image enhancement processor |
JP2004297267A (ja) * | 2003-03-26 | 2004-10-21 | Sharp Corp | 画素欠陥処理装置 |
JP4346968B2 (ja) * | 2003-06-13 | 2009-10-21 | キヤノン株式会社 | 放射線撮影方法、放射線撮影装置、及びコンピュータプログラム |
JP4453332B2 (ja) * | 2003-10-17 | 2010-04-21 | ソニー株式会社 | 欠陥画素検出方法、検出装置および撮像装置 |
JP2005341244A (ja) * | 2004-05-27 | 2005-12-08 | Sony Corp | 撮像装置、欠陥画素検出方法およびプログラム |
US7460688B2 (en) * | 2004-12-09 | 2008-12-02 | Aptina Imaging Corporation | System and method for detecting and correcting defective pixels in a digital image sensor |
US7450167B2 (en) * | 2005-02-11 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | Method for improving image quality |
KR100652408B1 (ko) * | 2005-04-27 | 2006-12-01 | 삼성전자주식회사 | 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치 |
RU2378790C1 (ru) * | 2005-09-27 | 2010-01-10 | Квэлкомм Инкорпорейтед | Методики масштабируемости на основе информации содержимого |
JP2008131161A (ja) * | 2006-11-17 | 2008-06-05 | Rohm Co Ltd | 欠陥画素検出装置、電子機器、及び欠陥画素検出プログラム |
JP4703601B2 (ja) * | 2007-04-27 | 2011-06-15 | 株式会社東芝 | 撮像装置 |
JP5692691B2 (ja) | 2008-05-09 | 2015-04-01 | Nltテクノロジー株式会社 | 表示装置の検査方法と検査装置及び表示装置用基板と表示装置 |
JP2010073472A (ja) | 2008-09-18 | 2010-04-02 | Sumitomo Electric Ind Ltd | 異方性導電シート、その製造方法、実装モジュール、および電子製品。 |
-
2010
- 2010-03-26 JP JP2010073472A patent/JP5697353B2/ja active Active
-
2011
- 2011-02-18 DE DE112011101066.4T patent/DE112011101066B4/de not_active Expired - Fee Related
- 2011-02-18 CN CN201180016308.XA patent/CN102835102B/zh active Active
- 2011-02-18 RU RU2012145612/08A patent/RU2527198C2/ru active
- 2011-02-18 WO PCT/JP2011/054217 patent/WO2011118329A1/en active Application Filing
- 2011-02-18 GB GB1219314.0A patent/GB2494064B/en active Active
- 2011-02-18 US US13/521,372 patent/US8922680B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1767660A (zh) * | 2005-11-16 | 2006-05-03 | 北京中星微电子有限公司 | 一种缺陷像素检测方法 |
CN101464418A (zh) * | 2007-12-18 | 2009-06-24 | 大日本网屏制造株式会社 | 缺陷检测方法以及缺陷检测装置 |
CN101677359A (zh) * | 2008-09-16 | 2010-03-24 | 佳能株式会社 | 图像传感装置及缺陷像素检测方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2011118329A1 (en) | 2011-09-29 |
DE112011101066T5 (de) | 2013-01-24 |
US8922680B2 (en) | 2014-12-30 |
RU2012145612A (ru) | 2014-05-10 |
GB2494064B (en) | 2016-04-13 |
GB201219314D0 (en) | 2012-12-12 |
CN102835102A (zh) | 2012-12-19 |
DE112011101066B4 (de) | 2020-02-06 |
JP5697353B2 (ja) | 2015-04-08 |
RU2527198C2 (ru) | 2014-08-27 |
JP2011205586A (ja) | 2011-10-13 |
US20120281123A1 (en) | 2012-11-08 |
GB2494064A (en) | 2013-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102835102B (zh) | 图像处理设备和图像处理设备的控制方法 | |
US8310567B2 (en) | Methods of modeling an integrated noise in an image sensor and methods of reducing noise using the same | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
WO2011048870A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US7366347B2 (en) | Edge detecting method | |
US7884864B2 (en) | Noise reduction device, noise reduction method and image capturing device | |
US8379977B2 (en) | Method for removing color fringe in digital image | |
JP2008015946A (ja) | 画像処理装置及び画像処理方法 | |
US8385642B2 (en) | Method for removing color fringe in digital image | |
US9030579B2 (en) | Image processing apparatus and control method that corrects a signal level of a defective pixel | |
US8639054B2 (en) | Image processing apparatus for noise removal and edge enhancement based on edge direction | |
CN101207830A (zh) | 摄像设备及其控制方法 | |
US8737758B2 (en) | Apparatus and method of reducing noise | |
US7995120B2 (en) | Image brightness compensating apparatus and method, recorded medium recorded the program performing it | |
CN101867826A (zh) | 图像处理设备和图像处理方法 | |
CN101534375B (zh) | 用于校正色差的方法 | |
US8054348B2 (en) | Noise reduction device and digital camera | |
JP5159647B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5957106B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
KR101372853B1 (ko) | 화상처리장치, 화상처리방법 및 촬상장치 | |
CN110519516A (zh) | 一种图像噪点的处理方法、装置及电子设备 | |
US20150365638A1 (en) | Solid-state imaging device and signal processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |