CN104917979A - 图像处理装置以及固体摄像装置 - Google Patents
图像处理装置以及固体摄像装置 Download PDFInfo
- Publication number
- CN104917979A CN104917979A CN201410347590.5A CN201410347590A CN104917979A CN 104917979 A CN104917979 A CN 104917979A CN 201410347590 A CN201410347590 A CN 201410347590A CN 104917979 A CN104917979 A CN 104917979A
- Authority
- CN
- China
- Prior art keywords
- pixel
- defect
- implements
- pixels
- interpolation processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 title claims description 86
- 230000007547 defect Effects 0.000 claims abstract description 367
- 238000012937 correction Methods 0.000 claims abstract description 148
- 239000007787 solid Substances 0.000 claims description 37
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 abstract description 9
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提供通过恰当的缺陷校正而获得高品质的图像的固体摄像装置。固体摄像装置具有缺陷校正电路(28)。缺陷校正电路(28)具备作为缺陷判定部的缺陷判定电路(34)、作为第一校正部的选择器(35)及作为第二校正部的水平插补部(30)。缺陷判定部实施对于对象像素的缺陷判定。第一校正部基于缺陷判定的结果,对于被检测到缺陷的对象像素,实施像素值的置换。第二校正部对于指定像素,实施像素值的插补处理。指定像素作为缺陷是预先登记有位置信息(44)的像素。在第二校正部实施了插补处理的情况下,缺陷判定部实施使用经插补处理后的像素值的缺陷判定。
Description
技术领域
本实施方式涉及图像处理装置以及固体摄像装置。
背景技术
众所周知,摄像机系统并用对从图像信号检测出的缺陷像素(缺陷)的缺陷校正和对预先登记有地址信息的像素的缺陷校正。将基于与图像信号对应的缺陷判定而实施的缺陷校正称为动态缺陷校正。将相应于事前制作出的地址信息而实施的缺陷校正称为映射缺陷校正(mapping defect correction)。以往,对于使用地址信息而指定的指定像素,不管与图像信号对应的缺陷判定的结果如何,都优先应用映射缺陷校正。对于登记有地址信息的指定像素以外的像素实施动态缺陷校正。
近年来,为了弥补由像素的微细化引起的光检测灵敏度的降低,固体摄像装置中存在搭载了相对于通常的拍摄而言曝光时间被设定得较长的模式的装置。在是基于长时间曝光的拍摄的情况下,固体摄像装置有时产生由暗电流引起的白缺陷。白缺陷存在于图像的暗的部分时,容易显眼。在图像的暗的部分的情况下,作为缺陷校正而进行的调整可能产生析像感的降低,与此相比,限制缺陷校正而残留白缺陷对画质造成更大的影响。越是照度越低而曝光时间较长时,越是希望固体摄像装置进行重视缺陷数目减少的缺陷校正。此外,若是基于通常的曝光时间的拍摄,也希望固体摄像装置能够抑制析像感的降低。
发明内容
本发明要解决的课题在于,提供通过恰当的缺陷校正而获得高品质的图像的图像处理装置以及固体摄像装置。
一实施方式的图像处理装置,具有实施对图像信号的缺陷校正的缺陷校正电路,
所述缺陷校正电路具备:
缺陷判定部,对于位于排列了多个像素的像素块的中央的对象像素,实施缺陷判定,该缺陷判定使用包含于所述像素块的周边像素的像素值;
第一校正部,基于所述缺陷判定的结果,对于检测到缺陷的所述对象像素实施像素值的置换;以及
第二校正部,对于作为缺陷并被预先登记有位置信息的指定像素,实施像素值的插补处理,
在所述第二校正部实施了所述插补处理的情况下,所述缺陷判定部实施使用经所述插补处理后的像素值的所述缺陷判定。
另一实施方式的固体摄像装置,具有:摄像元件,对被拍体像进行摄像;以及
缺陷校正电路,对于来自所述摄像元件的图像信号,实施缺陷校正,
所述缺陷校正电路具备:
缺陷判定部,对于位于排列了多个像素的像素块的中央的对象像素,实施缺陷判定,该缺陷判定使用包含于所述像素块的周边像素的像素值;
第一校正部,基于所述缺陷判定的结果,对于检测到缺陷的所述对象像素实施像素值的置换;以及
第二校正部,对于作为缺陷并被预先登记有位置信息的指定像素,实施像素值的插补处理,
在所述第二校正部实施了所述插补处理的情况下,所述缺陷判定部实施使用经所述插补处理后的像素值的所述缺陷判定。
此外,另外一个实施方式的图像处理装置,具有实施对图像信号的缺陷校正的缺陷校正电路,
所述缺陷校正电路具备:
缺陷判定部,对于位于排列了多个像素的像素块的中央的对象像素,实施缺陷判定,该缺陷判定使用包含于所述像素块的周边像素的像素值;
第一校正部,基于所述缺陷判定的结果,对于检测到缺陷的所述对象像素实施像素值的置换;以及
第二校正部,对于作为缺陷并被预先登记有位置信息的指定像素,实施像素值的插补处理,
所述第二校正部实施所述插补处理,该插补处理使用位于所述指定像素的水平方向的位置的像素的像素值。
效果
通过上述构成的图像处理装置以及固体摄像装置,通过恰当的缺陷校正而获得高品质的图像。
附图说明
图1是对第一实施方式涉及的固体摄像装置的概略构成进行表示的框图。
图2是对具备固体摄像装置的摄像机系统的概略构成进行表示的框图。
图3是对缺陷校正电路的构成进行表示的框图。
图4是对像素块的例子进行表示的图。
图5是对存储器中储存的位置信息进行说明的图。
图6是对水平插补部中的插补处理进行说明的图。
图7是对由缺陷校正电路进行的缺陷校正的例子进行说明的图。
图8是对由缺陷校正电路进行的缺陷校正的例子进行说明的图。
具体实施方式
以下参照附图,对实施方式涉及的固体摄像装置进行详细地说明。另外,并不是通过该实施方式限定本发明。
(实施方式)
图1是对第一实施方式涉及的固体摄像装置的概略构成进行表示的框图。图2是对具备固体摄像装置的摄像机系统的概略构成进行表示的框图。
摄像机系统10是具备摄像机模块11的电子设备,例如是带摄像机的便携终端。摄像机系统10也可以是带摄像机的便携终端以外的电子设备,例如是数字静物摄像机、数字视频摄像机等。
摄像机系统10具有摄像机模块11以及后级处理部12。摄像机模块11具有摄像光学系统13以及固体摄像装置14。后级处理部12具有图像信号处理器(ISP)15、存储部16以及显示部17。
摄像光学系统13取入来自被拍体的光,使被拍体像成像。固体摄像装置14对被拍体像进行摄像。ISP15实施通过固体摄像装置14中的摄像而获得的图像信号的信号处理。存储部16储存经ISP15中的信号处理后的图像。存储部16相应于用户的操作等,对显示部17输出图像信号。
固体摄像装置14具备作为摄像元件的图像传感器20、以及作为图像处理装置的信号处理电路21。图像传感器20对被拍体像进行摄像。图像传感器20例如是CMOS图像传感器。图像传感器20具有像素阵列22、垂直移位寄存器23、定时控制部24、相关双重取样部(CDS)25、模拟数字变换部(ADC)26以及线存储器27。
像素阵列22设于图像传感器20的摄像区域。像素阵列22具有向水平方向(行方向)以及垂直方向(列方向)排列为阵列状的像素。各像素具备作为光电变换元件的光电二极管。光电变换元件生成与入射光量相应的信号电荷。各像素蓄积与入射光量相应的信号电荷。在像素阵列22中,垂直方向以及水平方向的各色像素的排列被设为拜耳阵列。
定时控制部24对来自多个像素的信号的读出进行控制。定时控制部24将对从像素阵列22的各像素读出信号的定时进行指示的垂直同步信号供给至垂直移位寄存器23。定时控制部24对于CDS25、ADC26以及线存储器27分别供给指示驱动定时的定时信号。
垂直移位寄存器23相应于来自定时控制部24的垂直同步信号,而对每条水平线选择像素阵列22内的像素。垂直移位寄存器23对选择出的水平线的各像素输出读出信号。从垂直移位寄存器23输入了读出信号的像素输出所蓄積的信号电荷。像素阵列22将来自像素的信号经由垂直信号线输出至CDS25。
CDS25对于来自像素阵列22的信号,进行用于降低固定模式噪声的相关双重取样处理。ADC26将模拟方式的信号变换为数字方式的信号。线存储器27蓄积来自ADC26的信号。图像传感器20输出蓄积于线存储器27的信号。
信号处理电路21对于来自图像传感器20的图像信号,实施各种信号处理。信号处理电路21具备缺陷校正电路28。缺陷校正电路28实施缺陷校正。缺陷是由未正常地发挥功能的像素引起的数字图像信号的缺损部分。缺陷有白缺陷和黑缺陷。白缺陷是表示比像素正常发挥功能时高的信号电平的缺陷。黑缺陷是表示比像素正常发挥功能时低的信号电平的缺陷。
信号处理电路21除了实施缺陷校正以外,还实施各种信号处理,例如伽玛校正、噪声降低处理、镜头阴影校正、白平衡调整、歪曲校正、析像度复原等。图1中,关于信号处理电路21的构成中的、缺陷校正电路28以外的构成,省略图示。
固体摄像装置14将经信号处理电路21中的信号处理后的图像信号输出至芯片外部。固体摄像装置14基于经信号处理电路21中的信号处理后的数据,实施图像传感器20的反馈控制。
摄像机系统10也可以设为,由后级处理部12的ISP15来实施本实施方式中的由信号处理电路21实施的处理即各种信号处理的至少一种处理。摄像机系统10也可以使信号处理电路21以及ISP15这两者实施各种信号处理中的至少一种处理。信号处理电路21以及ISP15也可以设为实施本实施方式中说明的信号处理以外的信号处理。
图3是对缺陷校正电路的构成进行表示的框图。缺陷校正电路28实施动态缺陷校正和映射缺陷校正。在动态缺陷校正中,缺陷校正电路28在摄像机模块11的动作中从图像信号检测缺陷。作为动态缺陷校正,缺陷校正电路28主要对依赖于光电二极管的温度特性、曝光时间等而随机产生的缺陷进行校正。
缺陷校正电路28保存在摄像机模块11的制造后实施的缺陷检查中检测到的缺陷的位置信息。作为映射缺陷校正,缺陷校正电路28主要对由多层构造的缺陷、浮动结(floating junction)的漏电流等的由光电二极管的构造引起而恒定地发生的缺陷进行校正。
缺陷校正电路28具备:水平插补部30、线存储器31、水平延迟线32、重排电路33、缺陷判定电路34、选择器35、存储器36、地址信号生成电路37以及模式切换电路38。
水平插补部30在后述的长时间曝光模式下,实施作为映射缺陷校正的插补处理。水平插补部30对于被输入到缺陷校正电路28的图像信号,实施水平方向上的插补处理。
线存储器31保存4条线(4H)的信号,实施垂直方向的延迟(线延迟)。线存储器31将保持的4条线(L1、L2、L3、L4)和干线的1条线(L5)这合计5条线中的、包含关注像素以及周边像素的3条线(L1、L3、L5)的信号输出至水平延迟线32。
图4是对像素块的例子进行表示的图。缺陷校正电路28设定以实施缺陷校正的对象像素为中心的像素块。像素块包括呈垂直方向为5条线(L1~L5)且水平方向为5个像素的矩阵而排列着的25个像素。
像素阵列22中的拜耳阵列将Gr、R、Gb、B这4个像素构成为单位。R像素检测红色成分。B像素检测蓝色成分。Gr像素是检测绿色成分的像素,在水平方向上与R像素邻接。Gb像素是检测绿色成分的像素,在水平方向上与B像素邻接。图像信号作为每条线(Gr/R线,Gb/B线)的信号而被输入至缺陷校正电路28。构成图4所示的像素块的信号的读入顺序设为,在水平方向上为从右向左、在垂直方向上为从上向下。
在图4所示的像素块中,对象像素设为位于像素块的中央的Gr像素。周边像素是对象像素的同色用的像素,并被设为包含于像素块的像素。在图4所示的像素块中,从作为对象像素的Gr像素隔着一个像素而配置的8个Gr像素是周边像素。缺陷校正电路28对对象像素的像素值和周边像素的像素值进行比较,从而判定对象像素是否是缺陷。缺陷校正电路28设定同色用的垂直方向3个像素以及水平方向3个像素(3×3)的内核(kernel),并实施信号处理。
水平延迟线32按每条线保持4个像素的信号,实施水平方向的延迟。水平延迟线32使对象像素的信号40和8个周边像素的信号41同时化。水平延迟线32将对象像素的信号40输出至缺陷判定电路34以及选择器35。水平延迟线32将周边像素的信号41输出至重排电路33。
重排电路33相应于信号电平(像素值)将8个周边像素的信号41重排。重排电路33将重排过的8个信号41输出至缺陷判定电路34。
作为缺陷判定部的缺陷判定电路34实施对于对象像素的缺陷判定。例如在与周边像素的像素值的最大值相比对象像素的像素值更大的情况下,缺陷判定电路34判定为该对象像素是白缺陷的像素。例如在与周边像素的像素值的最小值相比对象像素的像素值更小的情况下,缺陷判定电路34判定为该对象像素是黑缺陷的像素。缺陷判定电路34可以通过使用周边像素的像素值的任一种方法来实施对象像素的缺陷判定。
缺陷判定电路34使用周边像素的像素值来算出缺陷校正所用的校正值42。缺陷判定电路34例如算出周边像素的8个像素值中的、通过重排电路33设为规定的顺序的像素值的平均值,作为校正值42。缺陷判定电路34例如将周边像素的8个像素值中的、从上位第3个到第6个像素值的平均值作为校正值42。缺陷判定电路34也可以通过使用周边像素的像素值的任一种方法,算出校正值42。
缺陷判定电路34判定为对象像素是缺陷的情况下,生成指示像素值的置换的置换信号43。缺陷判定电路34将校正值42以及置换信号43输出至选择器35。
作为第一校正部的选择器35,对于被判定为是缺陷的对象像素实施像素值的置换。选择器35在有置换信号43的输入的情况下,选择校正值42。选择器35在没有置换信号43的输入的情况下,选择对象像素的像素值。缺陷校正电路28输出由选择器35所选择出的像素值。
作为保存部的存储器36,是保持被指定为缺陷的指定像素的位置信息44的非易失性存储器。位置信息44表示在摄像机模块11的制造时实施的缺陷检查中检测到的缺陷的位置。
模式切换电路38生成模式切换信号45。摄像机模块11在作为第一模式的通常模式和作为第二模式的长时间曝光模式间切换模式并进行拍摄。摄像机模块11例如相应于用户的模式选择,切换通常模式和长时间曝光模式。
图像传感器20在通常模式和长时间曝光模式间调整曝光时间,对被拍体像进行摄像。通常模式是在以通常的曝光时间进行拍摄时选择的模式。长时间曝光模式是相对于通常模式而言曝光时间被设定得较长的模式。模式切换电路38相应于被指示通常模式和长时间曝光模式中的模式的切换,输出模式切换信号45。
作为地址信号生成部的地址信号生成电路37相应于模式切换信号45,识别当前的模式是通常模式以及长时间曝光模式中的哪个模式。在是通常模式时,地址信号生成电路37从存储器36读出位置信息44,生成地址信号46。地址信号生成电路37识别对缺陷判定电路34输入了信号40的对象像素的地址。地址信号生成电路37判断该对象像素的地址是否与包含于位置信息44的地址一致。在双方的地址一致时,地址信号生成电路37向缺陷判定电路34输出地址信号46。地址信号46设为用于将对缺陷判定电路34输入了信号40的对象像素确定为被登记为缺陷的指定像素的脉冲。
在是长时间曝光模式时,地址信号生成电路37从存储器36读出位置信息44,生成地址信号47。地址信号生成电路37识别向水平插补部30输入了信号的像素的地址。地址信号生成电路37判断该像素的地址是否与包含于位置信息44的地址一致。在双方的地址一致时,地址信号生成电路37向水平插补部30输出地址信号47。地址信号47设为用于将向水平插补部30输入了信号的像素确定为被登记为缺陷的指定像素的脉冲。
图5是对存储器中储存的位置信息进行说明的图。在摄像机模块11中,针对像素块内的同色像素包含2个以上的缺陷的各情形,登记有对缺陷的位置进行表示的信息作为位置信息44。
像素块内的同色像素包含2个缺陷的情形,被分类为图5所示的4个类型。该4个类型将2个缺陷中的、先向缺陷校正电路28读入信号的一方作为像素块的中央,来表示2个缺陷的位置关系。任一种类型都设为,缺陷中的1个被配置于像素块的中央,另一个缺陷是在这之后读入信号的同色像素中的任意一个。在此,以Gr像素是缺陷的情况为例。以下,设为对Gr像素为缺陷的情况的说明与R像素、B像素以及Gb像素是缺陷的情况都相同。
在类型0中,一个缺陷位于像素块的中央,另一个缺陷位于其左斜下的方角。在类型1中,一个缺陷位于像素块的中央,另一个缺陷位于其下侧。在类型2中,一个缺陷位于像素块的中央,另一个缺陷位于其右斜下的方角。在类型3中,一个缺陷位于像素块的中央,另一个缺陷位于其右侧。
各类型中的2个缺陷的位置能够使用位于像素块的中央的缺陷的地址和类型的类别使用来表示。存储器36对于像素块内的同色像素包含2个缺陷的各情形,保存组合了位于像素块的中央的缺陷的地址和类型的类别后的数据作为位置信息44。地址信号生成电路37基于该位置信息44,掌握各情形下的2个缺陷的地址。
例如,在选择了通常模式时,地址信号生成电路37相应于对象像素的地址与包含于位置信息44的地址一致,向缺陷判定电路34输出地址信号46。地址信号生成电路37不进行对水平插补部30的地址信号47的输出。对于由图像传感器20在通常模式下的摄像而取得的图像信号,缺陷校正电路28使水平插补部30的插补处理的实施停止。
缺陷判定电路34在被输入地址信号46时,不论缺陷判定的结果如何,都输出置换信号43。缺陷判定电路34使用周边像素的像素值,算出映射缺陷校正所用的校正值42。缺陷判定电路34例如算出周边像素的8个像素值中的由重排电路33设为规定的顺序的像素值的平均值,作为校正值42。缺陷判定电路34例如将周边像素的8个像素值中的上位第3个至第6个像素值的平均值作为校正值42。
周边像素的8个像素值中的最上位的2个像素值可能源于周边像素包含的白缺陷。此外,最下位的2个像素值可能源于周边像素包含的黑缺陷。通过将最上位2个像素值和最下位2个像素值排除而算出校正值42,缺陷校正电路28能够排除缺陷的影响而实施缺陷校正。另外,缺陷判定电路34也可以通过使用周边像素的像素值的任一种方法,算出校正值42。
选择器35相应于被输入置换信号43而选择校正值42。由此,缺陷校正电路28对于对象像素实施通常模式下的映射缺陷校正。在通常模式,选择器35对于作为指定像素的对象像素,实施像素值的置换。
缺陷校正电路28通过该映射缺陷校正,将像素块包含的2个缺陷中的位于像素块的中央的缺陷,校正为对象像素。关于另一个缺陷,缺陷校正电路28也在该缺陷位于像素块的中央时,实施将该缺陷作为对象像素的映射缺陷校正。
例如,在选择了长时间曝光模式时,地址信号生成电路37,相应于被输入到水平插补部30的像素的地址与位置信息44包含的地址一致的情况,对水平插补部30输出地址信号47。对于通过图像传感器20中的长时间曝光模式下的摄像所取得的图像信号,缺陷校正电路28使水平插补部30实施插补处理。
地址信号生成电路37不进行对缺陷判定电路34的地址信号46的输出。缺陷校正电路28使通过缺陷判定电路34和选择器35进行的映射缺陷校正的实施停止。
在长时间曝光模式下,作为第二校正部的水平插补部30,对于作为缺陷并被预先登记了位置信息44的指定像素,实施使用在该指定像素的水平方向的位置处存在的同色像素的像素值的插补处理。
图6是对水平插补部中的插补处理进行说明的图。水平插补部30对作为缺陷并被登记了位置信息44的各指定像素,进行插补处理。
水平插补部30例如具备对三个同色像素即像素Gr1、Gr2、Gr3的信号予以保存的水平延迟线(图示省略)。水平插补部30使像素Gr1、Gr2、Gr3的信号与向水平插补部30输入的同色像素即像素Gr4的信号同时化。
水平插补部30例如对处于上述的类型0的位置关系的2个缺陷,分别实施同样的插补处理。例如,像素Gr2设为作为缺陷的指定像素。水平插补部30对于像素Gr2算出相对于像素Gr2在水平方向上邻接二个像素Gr1、Gr3的像素值的平均值((Gr1+Gr3)/2)。
水平插补部30对于像素块包含的2个缺陷,分别算出该平均值。水平插补部30对于被指定为缺陷的二个指定像素,进行向算出的平均值的置换。由此,水平插补部30实施对各指定像素的水平插补。
对于位于上述的类型1的位置关系的2个缺陷、位于类型2的位置关系的2个缺陷,也与类型0的情况同样地,水平插补部30实施对各指定像素的水平插补。
在上述的类型3的情况下,2个缺陷彼此在水平方向上排列。对于被登记了作为类型3的位置关系的位置信息44的指定像素,水平插补部30实施包含与距指定像素的距离相应的权重的插补处理。例如,像素Gr2、Gr3都设为作为缺陷的指定像素。
水平插补部30在对于2个缺陷中的位于左侧的像素Gr2的插补处理中,使用位于像素Gr2的左侧的像素Gr1的像素值和位于像素Gr3的右侧的像素Gr4的像素值。水平插补部30算出像素Gr1的像素值与像素Gr4的像素值的平均值(Gr1×2/3+Gr4×1/3)。该平均值包含与距作为缺陷的像素Gr2的距离相应的权重。该权重被设定为,被使用像素值的像素离缺陷越近,则比例越高。
水平插补部30在对2个缺陷中的位于右侧的像素Gr3的插补处理中,使用位于像素Gr2的左侧的像素Gr1的像素值和位于像素Gr3的右侧的像素Gr4的像素值。水平插补部30算出像素Gr1的像素值和像素Gr4的像素值的平均值(Gr1×1/3+Gr4×2/3)。该平均值包含与距作为缺陷的像素Gr3的距离相应的权重。
由此,缺陷校正电路28对于指定像素,实施长时间曝光模式下的映射缺陷校正。另外,水平插补部30也可以实施对于像素块包含的2个缺陷中的位于像素块的中央的缺陷的插补处理,另一方面省略对于另一方的缺陷的插补处理。关于省略了插补处理的缺陷,缺陷校正电路28在映射缺陷校正之后,通过将该缺陷作为对象像素的动态缺陷校正来校正。
水平插补部30将经对指定像素的映射缺陷校正后的信号输出至线存储器31。另外,在通常模式的情况下、以及是长时间曝光模式且为指定像素以外的像素,水平插补部30不实施对所输入的信号的插补处理,而将所输入的信号输出至线存储器31。
在长时间曝光模式下,对于实施了对指定像素的映射缺陷校正后的信号,缺陷校正电路28与通常模式的情况同样地,直接实施缺陷校正所用的处理。在水平插补部30实施了插补处理的情况下,缺陷判定电路34实施使用经插补处理后的像素值的缺陷判定。
在长时间曝光模式下,缺陷判定电路34例如也算出周边像素的8个像素值中的上位第3个至第6个像素值的平均值,并将算出的平均值作为校正值42。通过将最上位2个像素值和最下位2个像素值排除而算出校正值42,由此缺陷校正电路28能够排除缺陷的影响而实施缺陷校正。
图7以及图8是对缺陷校正电路进行的缺陷校正的例子进行说明的图。在图7所示的例子中,三个Gr像素53、54、55都设为在缺陷检查中检测到的白缺陷。Gr像素54位于Gr像素53的右侧。Gr像素55位于Gr像素54的下侧。
在画定以Gr像素53为中心的像素块的内核51,包含三个白缺陷。此外,在画定以Gr像素55为中心的像素块的内核52,也包含三个白缺陷。
在登记了与到内核51、52内的2个缺陷有关的位置信息44的情况下,通过以往的映射缺陷校正,在内核51、52内包含三个缺陷的情形下,一个缺陷未被校正而残留。固体摄像装置14在长时间曝光模式下,易于产生由暗电流引起的白缺陷,并且图像的暗部分中的白缺陷残存,从而画质劣化。
为了能够登记内核51、52内的3个以上的缺陷有关的位置信息时,缺陷校正电路28需要使存储器36的容量增大要储存的数据量增加的量。
在本实施方式中,缺陷校正电路28中预先登记有与内核51、52内包含的三个缺陷中的任两个有关的位置信息44。在长时间曝光模式,缺陷校正电路28对于登记有位置信息44的2个缺陷,实施由水平插补部30中的插补处理进行的映射缺陷校正。缺陷校正电路28对于剩余的一个缺陷,实施通过缺陷判定电路34以及选择器35进行的动态缺陷校正。
例如,对于作为白缺陷的三个Gr像素53、54、55,缺陷校正电路28对于一个内核51中的位于中心的Gr像素53和除此以外的Gr像素54、55中的一个Gr像素54,登记有位置信息44。缺陷校正电路28将该内核51看作上述的类型3,并登记Gr像素53、54的位置信息44。
水平插补部30对于该内核51实施对于登记有位置信息44的2个白缺陷的插补处理。缺陷校正电路28通过该映射缺陷校正,对于三个白缺陷中的2个进行校正。
缺陷判定电路34对于以剩余的一个白缺陷即Gr像素55为中心的内核52,实施以Gr像素55为对象像素的缺陷判定。在缺陷判定电路34中判定为Gr像素55是白缺陷,从而选择器35实施对Gr像素55的像素值的置换。缺陷校正电路28通过该动态缺陷校正,对三个白缺陷中的剩余的1个进行校正。由此,缺陷校正电路28在像素块中包含三个缺陷的情况下,也能够通过实施对二个缺陷的使用了所登记的位置信息44映射缺陷校正和动态缺陷校正来实现三个缺陷的校正。
在图7所示的例子中,缺陷校正电路28也可以适当变更对三个白缺陷的缺陷校正的方法。缺陷校正电路28也可以通过将内核51看作上述的类型2,从而实施对Gr像素53、55的映射缺陷校正和对Gr像素54的动态缺陷校正。
接下来,在图8所示的例子中,设6个Gr像素61、62、63、64、65、66都是在缺陷检查中检测到的白缺陷。在画定以Gr像素63为中心的像素块的内核中,包含有6个白缺陷。
缺陷校正电路28也可以为,将Gr像素61、62的组、Gr像素63、64的组、Gr像素65、66的组分别设为上述的类型3并登记位置信息44。水平插补部30实施对各组中的2个白缺陷的插补处理。缺陷校正电路28通过该映射缺陷校正,校正6个白缺陷。
缺陷校正电路28也可以为将Gr像素61、62的组、Gr像素63、64的组、Gr像素65、66的组中的2组设为上述的类型3并登记位置信息44。在对Gr像素61、62的组、Gr像素65、66的组登记了位置信息44的情况下,缺陷校正电路28通过与位置信息44对应的映射缺陷校正,对Gr像素61、62、65、66,校正4个白缺陷。
缺陷校正电路28对于剩余的2个白缺陷中的Gr像素64,通过以将Gr像素64作为中心的内核67为对象的动态缺陷校正,由此对作为对象像素的Gr像素64的白缺陷进行校正。缺陷校正电路28对于Gr像素63,也与Gr像素64同样地,通过动态缺陷校正来校正白缺陷。由此,与事先对6个白缺陷全部登记位置信息44的情况相比,缺陷校正电路28能够削减储存的数据,并且能够校正6个白缺陷。
通过实施方式,固体摄像装置14在长时间曝光模式中,在对于登记有位置信息44的指定像素的映射缺陷校正后,实施动态缺陷校正。固体摄像装置14在实施与位置信息44相应的缺陷校正的情况下,进一步实施与缺陷判定相应的缺陷校正,从而能够实现重视缺陷数目减少的缺陷校正。固体摄像装置14能够有效地使在照度低且曝光时间长的拍摄中对画质带来较大的影响的白缺陷降低,能够获得高品质的图像。
固体摄像装置14在通常模式中,对于登记有位置信息44的指定像素,无论缺陷判定的结果如何,都优先实施映射缺陷校正。固体摄像装置14在指定像素以外的像素是对象像素且进行了该对象像素是缺陷的判定的情况下,实施动态缺陷校正。固体摄像装置14在通常的曝光时间的拍摄的情况下,实施与缺陷的数目的减少相比更重视析像感的缺陷校正。固体摄像装置14能够有效地抑制在通常的曝光时间下的拍摄中的析像感的降低,能够获得高品质的图像。
由此,固体摄像装置14起到如下效果,即,对于延长曝光时间的情况和通常的曝光时间的情况这两方,都能够通过恰当的缺陷校正来获得高品质的图像。
缺陷校正电路28对于包含缺陷判定电路34以及选择器35的缺陷校正所用的构成,追加插补处理所用的水平插补部30和对水平插补部30输入地址信号47的线路。水平插补部30只要是具备小规模的信号延迟线作为信号延迟所用的构成的部件即可。通过水平插补部30的追加,与需要进行垂直方向上的插补处理所用的线存储器的增设的情况相比,缺陷校正电路28能够使被扩张的电路规模变小。因此,固体摄像装置14能够通过在缺陷校正电路28中应用水平插补部30来抑制由插补处理的追加引起的电路规模的增大。
例如,设为相对于按每个内核能够预先登记位置信息44的缺陷的数目被设定为2个、而在摄像机模块11的缺陷检查中确认出包含3个以上缺陷的像素块的存在。摄像机模块11能够通过适当选择该缺陷中的2个并登记位置信息44,来实现缺陷校正。通过本实施方式,即使是上述的摄像机模块11,也能够不直接作为不良品而作为良品进行处理。摄像机模块11通过能够放宽作为缺陷检查的通过基准的规格,从而能够提高成品率。
对本发明的几个实施方式进行了说明,但这些实施方式是作为例子而提示的,意图不在于限定发明的范围。这些新的实施方式能够以其他各种方式实施,能够在不脱离发明的主旨的范围内进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围、主旨,并且包含于权利要求书记载的发明及其等同的范围。
Claims (20)
1.一种图像处理装置,
具有实施对图像信号的缺陷校正的缺陷校正电路,
所述缺陷校正电路具备:
缺陷判定部,对于位于排列了多个像素的像素块的中央的对象像素,实施缺陷判定,该缺陷判定使用包含于所述像素块的周边像素的像素值;
第一校正部,基于所述缺陷判定的结果,对于检测到缺陷的所述对象像素实施像素值的置换;以及
第二校正部,对于作为缺陷并被预先登记有位置信息的指定像素,实施像素值的插补处理,
在所述第二校正部实施了所述插补处理的情况下,所述缺陷判定部实施使用经所述插补处理后的像素值的所述缺陷判定。
2.如权利要求1所述的图像处理装置,
所述第二校正部实施所述插补处理,该插补处理使用位于所述指定像素的水平方向的位置的像素的像素值。
3.如权利要求1所述的图像处理装置,
在通过第一模式下的摄像而取得了所述图像信号的情况下,所述第二校正部使所述插补处理的实施停止,
在通过被设定了相对于所述第一模式的曝光时间而言较长的曝光时间的第二模式下的摄像而取得了所述图像信号的情况下,所述第二校正部实施所述插补处理。
4.如权利要求3所述的图像处理装置,
在所述第一模式下,所述第一校正部对于所述指定像素实施像素值的置换。
5.如权利要求4所述的图像处理装置,
所述缺陷校正电路具备地址信号生成部,该地址信号生成部根据所述位置信息而生成用于确定所述指定像素的地址信号,
在所述第一模式下,所述地址信号生成部向所述缺陷判定部输出所述地址信号,
在所述第二模式下,所述地址信号生成部向所述第二校正部输出所述地址信号。
6.如权利要求1所述的图像处理装置,
所述缺陷校正电路具备保存部,该保存部保存被预先登记的所述位置信息,
所述保存部保存与包含于所述像素块的二个所述指定像素有关的所述位置信息。
7.如权利要求2所述的图像处理装置,
在登记有与在所述水平方向上排列的二个所述指定像素有关的所述位置信息的情况下,所述第二校正部实施包含权重的所述插补处理,该权重与距所述指定像素的距离相应。
8.一种固体摄像装置,具有:
摄像元件,对被拍体像进行摄像;以及
缺陷校正电路,实施对来自所述摄像元件的图像信号的缺陷校正,
所述缺陷校正电路具备:
缺陷判定部,对于位于排列了多个像素的像素块的中央的对象像素,实施缺陷判定,该缺陷判定使用包含于所述像素块的周边像素的像素值;
第一校正部,基于所述缺陷判定的结果,对于检测到缺陷的所述对象像素实施像素值的置换;以及
第二校正部,对于作为缺陷并被预先登记有位置信息的指定像素,实施像素值的插补处理,
在所述第二校正部实施了所述插补处理的情况下,所述缺陷判定部实施使用经所述插补处理后的像素值的所述缺陷判定。
9.如权利要求8所述的固体摄像装置,
所述第二校正部实施所述插补处理,该插补处理使用位于所述指定像素的水平方向的位置的像素的像素值。
10.如权利要求8所述的固体摄像装置,
所述摄像元件在第一模式、及被设定了相对于所述第一模式的曝光时间而言较长的曝光时间的第二模式下,对所述被拍体像进行摄像,
在所述第一模式下,所述第二校正部使所述插补处理的实施停止,
在所述第二模式下,所述第二校正部实施所述插补处理。
11.如权利要求10所述的固体摄像装置,
在所述第一模式下,所述第一校正部对于所述指定像素实施像素值的置换。
12.如权利要求11所述的固体摄像装置,
所述缺陷校正电路具备地址信号生成部,该地址信号生成部根据所述位置信息而生成用于确定所述指定像素的地址信号,
在所述第一模式下,所述地址信号生成部向所述缺陷判定部输出所述地址信号,
在所述第二模式下,所述地址信号生成部向所述第二校正部输出所述地址信号。
13.如权利要求8所述的固体摄像装置,
所述缺陷校正电路具备保存部,该保存部保存被预先登记的所述位置信息,
所述保存部保存与包含于所述像素块的二个所述指定像素有关的所述位置信息。
14.如权利要求9所述的固体摄像装置,
在登记有与在所述水平方向上排列的二个所述指定像素有关的所述位置信息的情况下,所述第二校正部实施包含与距所述指定像素的距离相应的权重的所述插补处理。
15.一种图像处理装置,
具有实施对图像信号的缺陷校正的缺陷校正电路,
所述缺陷校正电路具备:
缺陷判定部,对于位于排列了多个像素的像素块的中央的对象像素,实施缺陷判定,该缺陷判定使用包含于所述像素块的周边像素的像素值;
第一校正部,基于所述缺陷判定的结果,对于检测到缺陷的所述对象像素实施像素值的置换;以及
第二校正部,对于作为缺陷并被预先登记有位置信息的指定像素,实施像素值的插补处理,
所述第二校正部实施所述插补处理,该插补处理使用位于所述指定像素的水平方向的位置的像素的像素值。
16.如权利要求15所述的图像处理装置,
在登记有与在所述水平方向上排列的二个所述指定像素有关的所述位置信息的情况下,所述第二校正部实施包含与距所述指定像素的距离相应的权重的所述插补处理。
17.如权利要求15所述的图像处理装置,
在通过第一模式下的摄像而取得了所述图像信号的情况下,所述第二校正部使所述插补处理的实施停止,
在通过被设定了相对于所述第一模式的曝光时间而言较长的曝光时间的第二模式下的摄像而取得了所述图像信号的情况下,所述第二校正部实施所述插补处理。
18.如权利要求17所述的图像处理装置,
在所述第一模式下,所述第一校正部对于所述指定像素实施像素值的置换。
19.如权利要求18所述的图像处理装置,
所述缺陷校正电路具备地址信号生成部,该地址信号生成部根据所述位置信息而生成用于确定所述指定像素的地址信号,
在所述第一模式下,所述地址信号生成部向所述缺陷判定部输出所述地址信号,
在所述第二模式下,所述地址信号生成部向所述第二校正部输出所述地址信号。
20.如权利要求15所述的图像处理装置,
所述缺陷校正电路具备保存部,该保存部保存被预先登记的所述位置信息,
所述保存部保存与包含于所述像素块的二个所述指定像素有关的所述位置信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-050550 | 2014-03-13 | ||
JP2014050550A JP2015177256A (ja) | 2014-03-13 | 2014-03-13 | 固体撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104917979A true CN104917979A (zh) | 2015-09-16 |
Family
ID=54070397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410347590.5A Pending CN104917979A (zh) | 2014-03-13 | 2014-07-21 | 图像处理装置以及固体摄像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150264285A1 (zh) |
JP (1) | JP2015177256A (zh) |
KR (1) | KR20150107563A (zh) |
CN (1) | CN104917979A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10554914B1 (en) * | 2018-08-10 | 2020-02-04 | Apple Inc. | Adjusting confidence values for correcting pixel defects |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5805216A (en) * | 1994-06-06 | 1998-09-08 | Matsushita Electric Industrial Co., Ltd. | Defective pixel correction circuit |
JP2006129273A (ja) * | 2004-10-29 | 2006-05-18 | Olympus Corp | 撮像装置 |
CN101127840A (zh) * | 2006-08-14 | 2008-02-20 | 索尼株式会社 | 图像拾取装置、缺陷补偿设备和缺陷补偿方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5526014B2 (ja) * | 2010-12-21 | 2014-06-18 | 株式会社日立製作所 | 撮像装置 |
JP5634331B2 (ja) * | 2011-06-07 | 2014-12-03 | 株式会社東芝 | 画像処理装置 |
JP5923972B2 (ja) * | 2011-12-26 | 2016-05-25 | 三菱電機株式会社 | 光電変換装置の製造方法および当該光電変換装置を用いた撮像装置の製造方法 |
-
2014
- 2014-03-13 JP JP2014050550A patent/JP2015177256A/ja active Pending
- 2014-07-21 KR KR1020140091723A patent/KR20150107563A/ko active IP Right Grant
- 2014-07-21 CN CN201410347590.5A patent/CN104917979A/zh active Pending
- 2014-07-28 US US14/444,306 patent/US20150264285A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5805216A (en) * | 1994-06-06 | 1998-09-08 | Matsushita Electric Industrial Co., Ltd. | Defective pixel correction circuit |
JP2006129273A (ja) * | 2004-10-29 | 2006-05-18 | Olympus Corp | 撮像装置 |
CN101127840A (zh) * | 2006-08-14 | 2008-02-20 | 索尼株式会社 | 图像拾取装置、缺陷补偿设备和缺陷补偿方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2015177256A (ja) | 2015-10-05 |
US20150264285A1 (en) | 2015-09-17 |
KR20150107563A (ko) | 2015-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8013914B2 (en) | Imaging apparatus including noise suppression circuit | |
US20090160988A1 (en) | Drive method for solid-state imaging device, solid-state imaging device, and imaging apparatus | |
US20140063297A1 (en) | Imaging device and defective pixel correction method | |
JP6372983B2 (ja) | 焦点検出装置およびその制御方法、撮像装置 | |
JP6346479B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
US8497925B2 (en) | Solid-state imaging device, color filter arrangement method therefor and image recording apparatus | |
CN102265600A (zh) | 图像处理设备和车载照相机设备 | |
US8830384B2 (en) | Imaging device and imaging method | |
JP5900194B2 (ja) | 信号処理装置、信号処理方法、プログラム、固体撮像素子、および電子機器 | |
JP5608820B2 (ja) | 撮像装置及び合焦制御方法 | |
US9160943B2 (en) | Imaging apparatus, imaging method, and program | |
US10044956B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
JP2016082453A (ja) | 固体撮像装置及びその駆動方法、並びに、撮像システム | |
JP4606218B2 (ja) | 歪補正装置 | |
CN104917979A (zh) | 图像处理装置以及固体摄像装置 | |
JP2010212788A (ja) | 撮像装置、欠陥画素補正方法、および電子情報機器 | |
JP6235788B2 (ja) | 撮像装置及びその制御方法 | |
US20150237287A1 (en) | Solid-state imaging apparatus and camera system | |
JP5055173B2 (ja) | 撮像装置、及び撮像装置の制御方法 | |
JP5511205B2 (ja) | 撮像装置及び撮像方法 | |
JP2009055295A (ja) | 撮像装置 | |
JP2015173387A (ja) | 撮像素子、その駆動方法、およびプログラム | |
JP2010016450A (ja) | 撮像装置 | |
JP2007184721A (ja) | 固体撮像装置 | |
JP2009177344A (ja) | 撮像素子駆動装置および撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150916 |