CN104023173A - 固体摄像装置以及摄像机模块 - Google Patents
固体摄像装置以及摄像机模块 Download PDFInfo
- Publication number
- CN104023173A CN104023173A CN201410022122.0A CN201410022122A CN104023173A CN 104023173 A CN104023173 A CN 104023173A CN 201410022122 A CN201410022122 A CN 201410022122A CN 104023173 A CN104023173 A CN 104023173A
- Authority
- CN
- China
- Prior art keywords
- pixel
- small pixel
- signal
- valid
- solid camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提供一种固体摄像装置,其采用具备包括光灵敏度各不相同的多个小像素的小像素组的像素构成,能实施有效的高动态范围合成。根据实施方式,固体摄像装置具有像素阵列以及高动态范围(HDR)合成电路。HDR合成电路使用来自像素阵列的图像信号,实施HDR合成。像素被构成为小像素组,HDR合成电路具有有效像素选择部、灵敏度比校正部以及运算处理部。有效像素选择部从小像素组中,选择使HDR合成中的信号值的使用有效的一个或者两个以上的小像素,作为有效像素。灵敏度比校正部实施对每个小像素的信号值的灵敏度比校正。运算处理部将来自灵敏度比校正部的每个小像素的信号值中的、有效像素的信号值,使用在HDR合成用的运算中。
Description
技术领域
本发明的实施方式涉及固体摄像装置以及摄像机模块。
背景技术
近年来,固体摄像装置通过像素数的增加和像素的微细化,降低了像素的动态范围。固体摄像装置在被拍摄体中的亮度高的部分,容易产生输出电荷对入射光量的饱和。对于这种输出电荷的饱和,例如,有时采取输出增益的減少、电荷积蓄时间的缩短等措施。在这种情况下,能对亮度高的部分降低输出电荷的饱和,而另一方面,在亮度低的部分获得最佳的输出却是很难的。
高动态范围(high dynamic range;HDR)合成已知为用于与通常的摄影相比表现出宽度更宽的动态范围的摄影技法。作为HDR合成的方法,例如有按每条使像素向水平方向并列而成的水平线,使电荷积蓄时间或输出增益不同的方法。根据该方法,由于相对于通常的摄影的情况,会使垂直方向上的分辨率实质上减半,所以分辨率的降低是个问题。
此外,作为HDR合成的其他方法,例如,有将使电荷积蓄时间、输出增益相互不同而取得的两个以上的图像合成的方法。根据该方法,会相对于影像传感器的输出周期,在合成图像的帧率上产生延迟。因此,特别是在对动态图像进行摄影的情况下,容易产生被拍摄体图像的摇晃(运动模糊)便成为课题。此外,由于需要用于对多个图像使帧定时同时化的帧存储器,所以由电路规模的增大带来的成本的增加、功耗的增加是个问题。
发明内容
本发明要解决的课题是提供一种固体摄像装置以及摄像机模块,其采用具备包括光灵敏度各不相同的多个小像素的小像素组的像素构成,能实施有效的高动态范围合成。
实施方式的固体摄像装置的特征在于,具有:像素阵列,具备向水平方向以及垂直方向排列的多个像素,生成与向各像素的入射光量相应的信号电荷;以及高动态范围合成电路,使用来自所述像素阵列的图像信号,实施高动态范围合成,所述像素分别构成为包括能读出所述信号电荷的多个小像素的小像素组,所述小像素组包括光灵敏度相互不同的两个以上的所述小像素,所述高动态范围合成电路具有:有效像素选择部,从所述小像素组中,选择使所述高动态范围合成中的信号值的使用有效的一个或者两个以上的所述小像素,作为有效像素;灵敏度比校正部,对每个所述小像素的信号值,实施与所述小像素彼此的所述光灵敏度之比相应的灵敏度比校正;以及运算处理部,使用来自所述灵敏度比校正部的每个所述小像素的信号值中的、所述有效像素的信号值,实施所述高动态范围合成用的运算。
另一实施方式的摄像机模块的特征在于,具有:摄像光学系统,取入来自被拍摄体的光,使被拍摄体图像成像;以及固体摄像装置,将由所述摄像光学系统取入的光转换为信号电荷,拍摄所述被拍摄体图像,所述固体摄像装置具有:像素阵列,具备向水平方向以及垂直方向排列的多个像素,生成与向各像素的入射光量相应的所述信号电荷;以及高动态范围合成电路,使用来自所述像素阵列的图像信号,实施高动态范围合成,所述像素分别构成为包括能读出所述信号电荷的多个小像素的小像素组,所述小像素组包括光灵敏度相互不同的两个以上的所述小像素,所述高动态范围合成电路具有:有效像素选择部,从所述小像素组中,选择使所述高动态范围合成中的信号值的使用有效的一个或者两个以上的所述小像素,作为有效像素;灵敏度比校正部,对每个所述小像素的信号值,实施与所述小像素彼此的所述光灵敏度之比相应的灵敏度比校正;以及运算处理部,使用来自所述灵敏度比校正部的每个所述小像素的信号值中的、所述有效像素的信号值,实施所述高动态范围合成用的运算。
发明的效果
根据上述构成的固体摄像装置以及摄像机模块,其采用具备包括光灵敏度各不相同的多个小像素的小像素组的像素构成,能实施有效的高动态范围合成。
附图说明
图1是表示第一实施方式的固体摄像装置的概略结构的框图。
图2是表示具备图1所示的固体摄像装置的数字摄像机的概略结构的框图。
图3是对像素阵列、像素以及小像素进行说明的图。
图4是表示像素阵列中排列的小像素的示意图。
图5是对根据HDR合成电路的HDR合成进行说明的图。
图6是对根据HDR合成电路的HDR合成进行说明的图。
图7是表示HDR合成电路的构成的框图。
图8是对有效像素的选择用的阈值进行说明的图。
图9是表示有效像素选择部的构成的框图。
图10是对小像素的输出特性和HDR合成进行说明的图。
图11是表示第二实施方式的固体摄像装置中包含的HDR合成电路的构成的框图。
图12是对小像素的输出特性和有效像素选择部中的有效像素的选择进行说明的图。
图13是对会因灵敏度比校正产生的输出特性的偏移进行说明的图。
图14是将图13的一部分进行放大表示的图。
图15是表示输出判定部的构成的框图。
图16是对有效判定单元中的判定进行说明的图。
图17是表示有效判定单元的构成的框图。
图18是表示运算处理部的构成的框图。
图19是表示运算处理部的变形例的框图。
图20是表示有效判定单元的变形例的框图。
图21是表示第三实施方式的固体摄像装置的概略结构的框图。
图22是表示具备第三实施方式的固体摄像装置的数字摄像机的概略结构的图。
图23是表示拍摄区中设定的区域的图。
图24是对根据第二输出校正部的信号值的校正进行说明的图。
图25是表示第三实施方式的固体摄像装置的变形例的框图。
具体实施方式
以下参照附图,详细说明实施方式的固体摄像装置。另外,并非是通过这些实施方式来限定本发明的。
(第一实施方式)
图1是表示第一实施方式的固体摄像装置的概略结构的框图。图2是表示具备图1所示的固体摄像装置的数字摄像机的概略结构的框图。
数字摄像机1具有摄像机模块2以及后级处理部3。摄像机模块2具有摄像光学系统4以及固体摄像装置5。后级处理部3具有影像信号处理器(image signal processor;ISP)6、存储部7以及显示部8。摄像机模块2除了被用于数字摄像机1以外,还被应用于例如带摄像机的便携式终端等电子设备中。
摄像光学系统4取入来自被拍摄体的光,使被拍摄体图像成像。固体摄像装置5拍摄被拍摄体图像。ISP6实施由在固体摄像装置5的拍摄获得的图像信号的信号处理。存储部7储存经过了在ISP6的信号处理的图像。存储部7根据用户的操作等,向显示部8输出图像信号。显示部8根据从ISP6或存储部7输入的图像信号,显示图像。显示部8例如是液晶显示器。
固体摄像装置5具备信号处理电路11、以及作为摄像元件的影像传感器10。影像传感器10例如是CMOS(Complementary Metal OxideSemiconductor:互补金属氧化物半导体)影像传感器。影像传感器10除了CMOS影像传感器之外,也可以是CCD(charge coupled device:电荷耦合器件)。
影像传感器10具有:像素阵列12、垂直移位寄存器13、水平移位寄存器14、定时控制部15、相关二重取样部(CDS)16、自动增益控制部(AGC)17以及模拟数字转换部(ADC)18。
像素阵列12设置于影像传感器10的拍摄区。像素阵列12由向水平方向(行方向)以及垂直方向(列方向)呈阵列状配置的多个像素构成。各像素具备作为光电转换元件的光电二极管。像素阵列12生成与向各像素的入射光量相应的信号电荷。
图3是对像素阵列、像素以及小像素进行说明的图。像素20构成小像素组21。小像素组21由四个小像素22构成。在各小像素组21中,小像素22以构成向水平方向两个、向垂直方向两个的矩阵的方式进行配置。各小像素22分别构成为能读出信号电荷。小像素组21包括光灵敏度相互不同的两个以上的小像素22。
定时控制部15将指示读出来自像素阵列12的各小像素22的信号的定时的定时信号,提供给垂直移位寄存器13以及水平移位寄存器14。垂直移位寄存器13根据来自定时控制部15的定时信号即垂直同步信号,按每行来选择像素阵列12内的小像素22。垂直移位寄存器13向选择出的行的各小像素22输出读出信号。
从垂直移位寄存器13输入了读出信号的小像素22,输出根据入射光量积蓄的信号电荷。像素阵列12将来自小像素22的信号,经由垂直信号线输出到CDS16。垂直移位寄存器13作为选择像素阵列12中的读出信号电荷的行的行选择电路发挥功能。
CDS16对来自像素阵列12的信号,进行固定模式噪声的降低用的相关二重取样处理。AGC17对经过了CDS16中的相关二重取样处理的信号进行放大。ADC18将经过了AGC17中的放大的信号,从模拟方式转换为数字方式。水平移位寄存器14将在ADC18转换为数字方式的信号,根据作为来自定时控制部15的定时信号的水平同步信号,依次进行读出。
信号处理电路11对由水平移位寄存器14读出的数字图像信号,实施各种信号处理。信号处理电路11具有高动态范围(HDR)合成电路19。HDR合成电路19对向信号处理电路11输入的数字图像信号,实施HDR合成。信号处理电路11在实施根据HDR合成电路19的HDR合成之外,例如,还实施损伤校正、降噪、着色处理校正、白平衡调整等信号处理。固体摄像装置5输出经过了在信号处理电路11的信号处理的数字图像信号。
图4是表示像素阵列中排列的小像素的示意图。像素阵列12中,例如检测红色(R)光的小像素组21R、检测绿色(G)光的小像素组21G、检测蓝色(B)光的小像素组21B构成了拜耳(beyer)排列。
构成小像素组21的四个小像素22A、22B、22C、22D以使光灵敏度相互不同的方式构成。在本实施方式中,四个小像素22A、22B、22C、22D中的小像素22A构成最高的光灵敏度。在小像素22A之后,以小像素22B、22C、22D的顺序,光灵敏度降低。另外,使光灵敏度相互不同的小像素22A、22B、22C、22D的配置的方式,不限于本实施方式所述那样的情况,可以是任意的方式。
各小像素22在光接收面上具备使入射光通过的开口。构成小像素组21的四个小像素22A、22B、22C、22D的开口的面积分别不同。各小像素22具有与开口的面积相应的光灵敏度。另外,固体摄像装置5不限于根据开口的面积使各小像素22的光灵敏度不同的情况。固体摄像装置5也可以除了根据开口的面积之外,还例如根据电子快门时间、模拟增益等,使各小像素22的光灵敏度不同。
固体摄像装置5也可以将开口的面积、电子快门时间、模拟增益等中的两个以上组合起来,对各小像素22的光灵敏度进行调整。在各小像素22的光灵敏度的设定中,开口的面积、电子快门时间以及模拟增益分别设为能单独地进行变更。例如,在固体摄像装置5的出厂时之前,开口的面积、电子快门时间以及模拟增益分别进行调整。
图5以及图6是对根据HDR合成电路的HDR合成进行说明的图。在图5以及图6所示的图表中,纵轴表示输出等级,横轴表示入射光量。在小像素22A的入射光量成为规定的饱和光量L1时,在小像素22A产生的信号电荷达到光电二极管的积蓄容量。如图5所示那样,在入射光量比饱和光量L1大时,通过使小像素22A的输出电荷饱和,从而来自小像素22A的信号S1的输出等级变为恒定。
在小像素22B的入射光量变为规定的饱和光量L2(设L2>L1)时,在小像素22B产生的信号电荷达到光电二极管的积蓄容量。在入射光量比饱和光量L2大时,通过使小像素22B的输出电荷饱和,从而来自小像素22B的信号S2的输出等级变为恒定。
在小像素22C的入射光量为规定的饱和光量L3(设L3>L2)时,在小像素22C产生的信号电荷达到光电二极管的积蓄容量。在入射光量比饱和光量L3大时,通过使小像素22C的输出电荷饱和,从而来自小像素22C的信号S3的输出等级变为恒定。来自小像素22D的信号S4的输出等级在入射光量比小像素22C的饱和光量L3大的情况下,也会与入射光量的增加成比例地提高。
在此,设小像素22A、22B、22C、22D的光灵敏度之比SR1:SR2:SR3:SR4为灵敏度比。在本实施方式中,设为SR1>SR2>SR3>SR4。HDR合成电路19为了使小像素22A、22B、22C、22D的输出等级一致,而实施灵敏度比校正。
HDR合成电路19在入射光量比L1大而且为L2以下时,实施根据S1和S2的加法运算的HDR合成。在HDR合成时,HDR合成电路19为了使小像素22B的输出等级与小像素22A的输出等级一致,而将灵敏度比校正用的校正值M2(=SR1/SR2)乘以S2。
HDR合成电路19在入射光量比L2大而且为L3以下时,实施对(S1+M2×S2)加上S3的HDR合成。在HDR合成时,HDR合成电路19为了使小像素22C的输出等级与小像素22A的输出等级一致,而将灵敏度比校正用的校正值M3(=SR1/SR3)乘以S3。
HDR合成电路19在入射光量比L3大时,实施对(S1+M2×S2+M3×S3)加上S4的HDR合成。在HDR合成时,HDR合成电路19为了使小像素22D的输出等级与小像素22A的输出等级一致,而将灵敏度比校正用的校正值M4(=SR1/SR4)乘以S4。
通过以上,HDR合成电路19获得HDR合成信号。另外,HDR合成电路19在入射光量为L1以下时,不实施HDR合成地输出S1。设为对S1的校正值M1是1。例如,在相对于SR1=1,设定为SR2=1/2、SR3=1/4、SR4=1/8的情况下,变为M2=2、M3=4、M4=8。
固体摄像装置5能通过在HDR合成电路19的HDR合成,进行在宽度宽的动态范围的拍摄。通过能使被拍摄体中的亮度低的部分中的曝光不足、以及亮度高的部分中的曝光过多这两者降低,从而固体摄像装置5能获得高质量的图像。通过使用小像素22的HDR合成的实施,固体摄像装置5能获得具有与像素阵列12中的像素20同等的分辨率的合成图像。
图7是表示HDR合成电路的构成的框图。HDR合成电路19具有SRAM(static random access memory)31、触发器(FF)32、33、有效像素选择部34、灵敏度比校正部35以及运算处理部36。
SRAM31保持向HDR合成电路19输入的数字图像信号。SRAM31是保持1根水平线的线存储器。水平线设为来自使小像素22向水平方向并列而成的行的图像信号。SRAM31将针对垂直方向的延迟施加给图像信号。
FF32、33使每个小像素22的信号依次延迟。FF32、33将针对水平方向的延迟施加给图像信号。SRAM31以及FF32、33按每个小像素组21,使来自四个小像素22A、22B、22C、22D的信号同时刻化。
对有效像素选择部34,输入同时刻化的四个信号。有效像素选择部34从小像素组21的四个小像素22A、22B、22C、22D中,选择一个或者两个以上的有效像素。有效像素是使HDR合成中的信号值的使用有效的小像素22。
图8是对有效像素的选择用的阈值进行说明的图。随着入射光量从零增加,小像素22的输出等级与入射光量大致成比例地增加。在入射光量到达规定的饱和光量LL之后,小像素22的输出等级向恒定值收敛。
在图示的图表中,实线AA表示小像素22的理想的输出特性。根据理想的输出特性,在入射光量从零到LL之间,小像素22的输出等级与入射光量示出良好的比例关系。此外,根据小像素22的理想的输出特性,在入射光量超过LL的时刻,小像素22的输出等级直接变为恒定。
在入射光量接近零时,小像素22的输出等级会较大地受到噪声成分的影响。因此,小像素22的输出等级在入射光量接近零时,能引起不能保持与入射光量的足够的比例关系、被埋入到噪声成分中。
当入射光量相对于LL稍小时,与稍超过LL时之间所示的虚线AB表示小像素22的现实的输出特性。在现实的输出特性的情况下,设从比LL小的等级起使入射光量增加。在入射光量到达比LL稍小的等级之后,在小像素22的输出等级,会产生相对于比例关系的直线向低等级侧的偏移。
小像素22的输出等级在入射光量到达LL之后,也是相对于理想的输出特性保持背离地平缓地增加。在入射光量稍超过LL之后,小像素22的输出等级变为恒定。相对于理想的输出特性的这样的背离例如依赖于knee特性的影响。
Th1设为入射光量接近零时的、对低输出等级设定的第一阈值。Th1是为了将低到容易接受到噪声成分的影响的程度的输出等级的小像素22,从HDR合成的对象中排除在外而设定的。Th2设为入射光量接近LL时的、对高输出等级设定的第二阈值。Th2是为了将高到与入射光量的比例关系容易恶化的程度的输出等级的小像素22,从HDR合成的对象中排除在外而设定的。
有效像素选择部34将在Th1、以及设定为比Th1更高输出等级的Th2之间的范围内包含信号值的小像素22,选择为有效像素。HDR合成电路19例如保持预先设定的Th1以及Th2。
图9是表示有效像素选择部的构成的框图。有效像素选择部34具有比较器37、38、AND电路39。对有效像素选择部34,作为输入数据40,输入同时刻化的四个信号。比较器37对输入数据40和Th1进行比较。例如,在输入数据40比Th1大的情况下,比较器37输出“1”。在输入数据40为Th1以下的情况下,比较器37输出“0”。
比较器38对输入数据40和Th2进行比较。例如,在输入数据40比Th2小的情况下,比较器38输出“1”。在输入数据40为Th2以上的情况下,比较器38输出“0”。
AND电路39计算出来自比较器37的输出与来自比较器38的输出的逻辑积。AND电路39对作为输入数据的四个信号,分别计算出逻辑积。逻辑积“1”表示输出了该信号的小像素22是有效像素。逻辑积“0”表示输出了该信号的小像素22不是有效像素。有效像素选择部34将表示小像素22A、22B、22C、22D是否是有效像素的4比特的信息,作为选择信号41输出。
另外,作为有效像素选择部34选择有效像素的条件,只要满足信号值比Th1大、信号值比Th2小的至少一方即可。有效像素选择部34根据比较了小像素22的信号值和预先设定的Th1以及Th2的至少一方的结果,只要对有效像素进行选择即可。
对灵敏度比校正部35,输入同时刻化的四个信号。灵敏度比校正部35对四个小像素22A、22B、22C、22D的各信号值,实施灵敏度比校正。灵敏度比校正部35对小像素22A、22B、22C、22D的信号值,分别乘以校正值M1、M2、M3、M4。
运算处理部36使用来自灵敏度比校正部35的每个小像素22的信号值中的、有效像素的信号值,实施HDR合成用的运算。运算处理部36提取每个小像素22的信号值中的、选择信号41中表示为“1”的信号值,进而实施平均化的滤波运算。HDR合成电路19将在运算处理部36的运算结果,作为HDR合成信号进行输出。
图10是对小像素的输出特性和HDR合成进行说明的图。在图10中,对三个小像素22A、22B、22C的信号S1、S2、S3,示出了输出等级和入射光量的关系。
在小像素22B的S2为低输出等级的入射光量的范围,与小像素22A能输出与入射光量相应的S1的全部范围重叠。在该入射光量的范围中的L12中,S1以及S2的输出等级均在Th1至Th2的范围内,且满足有效像素的条件。在入射光量在L12的范围内时,HDR合成电路19实施使用S1以及S2的HDR合成。在入射光量比L12的范围低的情况下,HDR合成电路19实施使用S1的HDR合成。
小像素22C的S3成为低输出等级的入射光量的范围,与小像素22B能输出与入射光量相应的S2的全部范围重叠。在该入射光量的范围中的L23中,S2以及S3的输出等级均在Th1至Th2的范围内,且满足有效像素的条件。在入射光量在L23的范围内时,HDR合成电路19实施使用S2以及S3的HDR合成。在入射光量比L12的范围高而且比L23的范围低的情况下,HDR合成电路19实施使用S2的HDR合成。在入射光量比L23的范围高情况下,HDR合成电路19实施使用S3的HDR合成。
小像素22A、22B、22C、22D的输出特性在能输出与入射光量相应的信号的入射光量的范围重合的小像素22彼此间,设定为存在任一小像素22均满足有效像素的条件的范围。当设小像素22A、22B为例子时,在小像素22A、22B的双方能输出与入射光量相应的信号的入射光量的范围内,包含小像素22A、22B的双方满足有效像素的条件的范围L12。
另外,HDR合成电路19不限于实施根据来自小像素组21中的一个小像素22的信号的HDR合成、根据来自两个小像素22的信号的HDR合成的电路。HDR合成电路19也可设为实施根据来自三个以上的小像素22的信号的HDR合成。
小像素组21中包含的小像素22不限于为4个的情况。小像素组21只要包括光灵敏度相互不同的两个以上的小像素22即可。小像素组21也可以对多个小像素22中的任一个加上信号。在这种情况下,成为加法运算的对象的小像素22彼此也可以为相同的光灵敏度。
固体摄像装置5例如将构成小像素组21的四个小像素22A、22B、22C、22D中的、根据来自小像素22A的输出的信号和根据来自小像素22C的输出的信号相加。这种信号的加法运算例如由信号处理电路11进行。固体摄像装置5将经过了对于小像素22A、22C的加法运算的信号,作为根据高灵敏度的光检测的图像信号,使用在HDR合成中。在这种情况下,也是固体摄像装置5能通过在HDR合成电路19的HDR合成,进行在宽度宽的动态范围的拍摄。
根据第一实施方式,HDR合成电路19通过将在有效像素选择部34中选择为有效像素的小像素22的信号值使用在HDR合成中,从而能提高HDR合成的精度。在使用在HDR合成中的小像素22根据入射光量切换时,HDR合成电路19能对HDR合成后的输出,确保对入射光量的足够的连续性。
HDR合成电路19能通过使用第一阈值Th1选择有效像素,从而获得噪声成分的影响被降低了的HDR合成信号。HDR合成电路19能通过使用第二阈值Th2选择有效像素,从而抑制在入射光量接近饱和光量时能产生的输出特性的摇动导致的负面影响。
HDR合成电路19在实施根据来自两个以上的小像素22的信号的HDR合成的情况下,以任一小像素22均为有效像素为条件。在HDR合成中使用信号值的小像素22因入射光量的变化而切换的过程中,通过将作为有效像素的两个以上的小像素22的信号使用在HDR合成中,从而能相对于入射光量的变化始终维持HDR合成的高精度。
根据以上,固体摄像装置5能进行HDR合成电路19中的有效的HDR合成,起到能获得高质量的HDR合成图像这一效果。
(第二实施方式)
图11是表示第二实施方式的固体摄像装置中包含的HDR合成电路的构成的框图。对于与第一实施方式相同的部分标注相同的附图标记,并适当地省略重复的说明。
输出判定部51实施对经过了在灵敏度比校正部35的灵敏度比校正的信号值的输出判定。运算处理部52使用来自输出判定部51的每个小像素22的信号值,实施HDR合成用的运算。
图12是对小像素的输出特性和有效像素选择部中的有效像素的选择进行说明的图。在入射光量在L11的范围内时,有效像素选择部34将输出S1的小像素22A选择为有效像素(第一选择模式)。在入射光量在L12的范围内时,有效像素选择部34将小像素22A和输出S2的小像素22B这两个选择为有效像素(第二选择模式)。
在入射光量在L22的范围内时,有效像素选择部34将小像素22B选择为有效像素(第三选择模式)。在入射光量为L23的范围内时,有效像素选择部34将小像素22B和输出S3的小像素22C这两个选择为有效像素(第四选择模式)。在入射光量在L33的范围内时,有效像素选择部34将小像素22C选择为有效像素(第五选择模式)。
在入射光量在L34的范围内时,有效像素选择部34将小像素22C和输出S4的小像素22D这两个选择为有效像素(第六选择模式)。在入射光量在L44的范围内时,有效像素选择部34将小像素22D选择为有效像素(第七选择模式)。
图13是会因灵敏度比校正产生的输出特性的偏移进行说明的图。图14是放大表示图13的一部分的图。小像素22的信号中的输出等级与入射光量的关系有时会因灵敏度比校正的影响而产生若干偏移。
当以小像素22B的S2为例时,在由向S2的灵敏度比校正获得的信号SS2和小像素22A的S1,对输出等级与入射光量的关系进行比较的情况下,有时相对于S1的偏移会显现在SS2。这样的偏移在L11与L12的边界处,表现为SS2的图表与S1的图表的连接部分不连续。图14是将图13中的虚线包围的部分进行了放大。
这样的灵敏度比校正的影响导致的输出特性的偏移,有时因灵敏度比校正用的校正值而变得显著。输出判定部51实施用于将灵敏度比校正导致的偏移显著的小像素22,从HDR合成的对象中排除在外的输出判定。
图15是表示输出判定部的构成的框图。输出判定部51具有解码器53、有效判定单元54、55、56、输出选择器57。对输出判定部51,输入来自有效像素选择部34的选择信号41、以及来自灵敏度比校正部35的信号SS1、SS2、SS3、SS4。SS1、SS2、SS3、SS4设为是分别经过了灵敏度比校正部35的S1、S2、S3、S4。
解码器53将来自有效像素选择部34的4比特的选择信号41转换为3比特的信号。虽然是根据有效像素选择部34的第一至第七选择模式的任一个,但由来自解码器53的3比特的选择信号41进行表示。
对有效判定单元54,输入SS1和SS2。有效判定单元54在两个小像素22A、22B被选择为有效像素的情况下判定是否将小像素22B包含作HDR合成的对象。
图16是对有效判定单元中的判定进行说明的图。有效判定单元54将小像素22A、22B中的灵敏度较高的小像素22A,设定为判定的基准。有效判定单元54以小像素22A的SS1为基准,在正侧判定在ThA以及在负侧判定在ThB的范围内,是否包含小像素22B的SS2。输出判定部51预先保持作为判定用阈值的ThA以及ThB。
在SS2包含在ThA至ThB的范围内的情况下,有效判定单元54判定为将小像素22B包含作HDR合成的对象。在SS2不包含在ThA至ThB的范围内的情况下,有效判定单元54判定为未将小像素22B包含在HDR合成的对象中。另外,输出判定部51也可以对正侧和负侧,设定相同的判定用阈值。
输出判定部51在包含作为基准的有效像素的信号值SS1而设定的输出等级的范围内,未包含经过了灵敏度比校正的其他有效像素的信号值SS2的情况下,将作为该其他有效像素的小像素22B,判定为作为HDR合成的对象无效。
图17是表示有效判定单元的构成的框图。有效判定单元54具有加法器58、减法器59、比较器60、61、AND电路62以及选择器63。加法器58对SS1加上ThA。减法器59从SS1中减去ThB。
比较器60对在加法器58的加法结果(SS1+ThA)和SS2进行比较。例如,在(SS1+ThA)>SS2成立的情况下,比较器60输出“1”。在(SS1+ThA)>SS2不成立的情况下,比较器60输出“0”。
比较器61对在减法器59的减法结果(SS1-ThB)和SS2进行比较。例如,在SS2>(SS1-ThB)成立的情况下,比较器61输出“1”。在SS2>(SS1-ThB)未成立的情况下,比较器61输出“0”。
AND电路62计算出来自比较器60的输出与来自比较器61的输出的逻辑积。逻辑积“1”表示SS2包含在判定用阈值ThA、ThB的范围内。逻辑积“0”表示SS2未包含在判定用阈值ThA、ThB的范围内。
选择器63将来自AND电路62的信号作为选择控制输入信号,选择SS1与零等级信号(10′h0)的任一个。零等级信号是表示作为最低灰度的黑等级或者黑等级以下的信号。选择器63根据选择控制输入信号“1”,选择SS1。选择器63根据选择控制输入信号“0”,选择零等级信号。有效判定单元54将选择器63中的选择结果作为信号SS1_2输出。
有效判定单元55、56具备与有效判定单元54同样的构成。对有效判定单元55输入SS2和SS3。有效判定单元55通过运算判定在两个小像素22B、22C被选择为有效像素的情况下是否将小像素22C包含为HDR合成的对象。有效判定单元55将小像素22B、22C中的灵敏度较高的小像素22B,设定为判定的基准。
在SS3包含在ThA至ThB的范围内的情况下,有效判定单元55判定为将小像素22C包含为HDR合成的对象。在SS3不包含在判定用阈值ThA至ThB的范围内的情况下,有效判定单元55判定为未将小像素22C包含在HDR合成的对象中。有效判定单元55将SS3以及零等级信号中的所选择的一方输出为信号SS2_3。
对有效判定单元56输入SS3和SS4。有效判定单元56通过运算判定在两个小像素22C、22D被选择为有效像素的情况下是否将小像素22D包含为HDR合成的对象。有效判定单元56将小像素22C、22D中的灵敏度较高的小像素22C设定为判定的基准。
在SS4包含在ThA至ThB的范围内的情况下,有效判定单元56判定为将小像素22D包含为HDR合成的对象。在SS4未包含在ThA至ThB的范围内的情况下,有效判定单元55判定为未将小像素22D包含在HDR合成的对象中。有效判定单元55将SS4以及零等级信号中的所选择的一方作为信号SS3_4输出。
对输出选择器57输出来自解码器53的选择信号41和SS1、SS1_2、SS2、SS2_3、SS3、SS3_4、SS4。当表示第一选择模式的选择信号41被从解码器53输入时,输出选择器57选择SS1作为输出。当表示第三选择模式的选择信号41被从解码器53输入时,输出选择器57选择SS2作为输出。当表示第五选择模式的选择信号41被从解码器53输入时,输出选择器57选择SS3作为输出。当表示第七选择模式的选择信号41被从解码器53输入时,输出选择器57选择SS4作为输出。
在表示第二选择模式的选择信号41被输入的情况下,即输入SS1作为SS1_2的情况下,输出选择器57选择SS1和SS2作为输出。在表示第二选择模式的选择信号41被输入的情况下,即输入零等级信号作为SS1_2的情况下,输出选择器57选择SS1和零等级信号作为输出。在输出判定部51判定为小像素22B作为HDR合成的对象无效的情况下,对小像素22B,取代SS2而输出零等级信号。
在表示第四选择模式的选择信号41被输入的情况下,即输入SS2作为SS2_3的情况下,输出选择器57选择SS2和SS3作为输出。在表示第四选择模式的选择信号41被输入的情况下,即作为SS2_3被输入零等级信号的情况下,输出选择器57选择SS2和零等级信号作为输出。在输出判定部51判定为小像素22C作为HDR合成的对象无效的情况下,对小像素22C,取代SS3而输出零等级信号。
在表示第六选择模式的选择信号41被输入的情况下,即作为SS3_4被输入SS3的情况下,输出选择器57选择SS3和SS4作为输出。在表示第六选择模式的选择信号41被输入的情况下,即作为SS3_4被输入零等级信号的情况下,输出选择器57选择SS3和零等级信号作为输出。在输出判定部51判定为小像素22D作为HDR合成的对象无效的情况下,对小像素22D,取代SS4而输出零等级信号。
图18是表示运算处理部的构成的框图。运算处理部52具有滤波运算器64、无效判定单元65以及选择器66。滤波运算器64实施将输入的信号进行平均化的滤波运算。无效判定单元65根据零等级信号的有无判断是否将在滤波运算器64的运算结果处理为无效。选择器66选择经过了在滤波运算器64的滤波运算的信号和向滤波运算器64的输入前的信号的任一者。
对运算处理部52输入来自输出判定部51的一个信号或两个信号。在从输出判定部51输入了一个信号SS1的情况下,滤波运算器64以及选择器66使SS1保持原样地通过。由此,运算处理部52在第一选择模式中,输出SS1。在从输出判定部51输入了一个信号SS2的情况下,滤波运算器64以及选择器66使SS2保持原样地通过。由此,运算处理部52在第三选择模式中,将SS2作为HDR合成信号输出。
在从输出判定部51输入了一个信号SS3的情况下,滤波运算器64以及选择器66使SS3保持原样地通过。由此,运算处理部52在第五选择模式中,将SS3作为HDR合成信号输出。在从输出判定部51输入了一个信号SS4的情况下,滤波运算器64以及选择器66使SS4保持原样地通过。由此,运算处理部52在第七选择模式中,将SS4作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS1以及SS2的情况下,滤波运算器64实施SS1和SS2的滤波运算。无效判定单元65根据未从输出判定部51输入零等级信号这一情况,例如输出“1”。选择器66根据来自无效判定单元65的选择控制输入信号“1”,选择来自滤波运算器64的信号。由此,运算处理部52在是第二选择模式且输出判定部51将SS2判定为有效的情况下,将SS1与SS2的平均化处理的结果作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS1以及零等级信号的情况下,滤波运算器64实施SS1和零等级信号的滤波运算。无效判定单元65根据从输出判定部51输入了零等级信号这一情况,例如输出“0”。选择器66根据来自无效判定单元65的选择控制输入信号“0”,选择向滤波运算器64的输入前的SS1。由此,运算处理部52在是第二选择模式且输出判定部51将SS2判定为非有效的情况下,将SS1作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS2以及SS3的情况下,滤波运算器64实施SS2和SS3的滤波运算。无效判定单元65根据未从输出判定部51输入零等级信号这一情况,输出“1”。选择器66根据来自无效判定单元65的选择控制输入信号“1”,选择来自滤波运算器64的信号。由此,运算处理部52在是第四选择模式且输出判定部51将SS3判定为有效的情况下,将SS2与SS3的平均化处理的结果作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS2以及零等级信号的情况下,滤波运算器64实施SS2和零等级信号的滤波运算。无效判定单元65根据从输出判定部51输入了零等级信号这一情况,输出“0”。选择器66根据来自无效判定单元65的选择控制输入信号“0”,选择向滤波运算器64的输入前的SS2。由此,运算处理部52在是第四选择模式且输出判定部51将SS3判定为非有效的情况下,将SS2作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS3以及SS4的情况下,滤波运算器64实施SS3和SS4的滤波运算。无效判定单元65根据从输出判定部51未输入零等级信号这一情况,输出“1”。选择器66根据来自无效判定单元65的选择控制输入信号“1”,选择来自滤波运算器64的信号。由此,运算处理部52在是第六选择模式且输出判定部51将SS4判定为有效的情况下,将SS3与SS4的平均化处理的结果作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS3以及零等级信号的情况下,滤波运算器64实施SS3和零等级信号的滤波运算。无效判定单元65根据从输出判定部51输入了零等级信号这一情况,输出“0”。选择器66根据来自无效判定单元65的选择控制输入信号“0”,选择向滤波运算器64的输入前的SS3。由此,运算处理部52在是第六选择模式且输出判定部51将SS4判定为非有效的情况下,将SS3作为HDR合成信号输出。
另外,HDR合成电路50不限于作为表示根据在输出判定部51的判定使向HDR合成的使用无效的信号使用零等级信号的情况。作为表示是无效的信号,例如也可以使用最高灰度信号。最高灰度信号是表示输出电荷的饱和的信号。零等级信号以及最高灰度信号由于均是不能作为HDR合成中有效的数据进行处理的信号,所以能作为表示是无效的信号的例子。
根据第二实施方式,HDR合成电路50在将小像素组21中的多个小像素22选择为有效像素的情况下,以多个小像素22中的光灵敏度最高的小像素22的信号作为基准,判定为是否将其他小像素22包含作HDR合成的对象。在光灵敏度高的小像素22的信号和经过了灵敏度比校正的其他小像素22的信号中,光灵敏度高的小像素22的信号比本来的信号量高。因此,光灵敏度高的小像素22与其他小像素22相比,具有高线性精度的输出特性。
HDR合成电路50对选择为有效像素的多个小像素22,通过进一步将以光灵敏度高的小像素22为基准而判定为有效的其他小像素22的信号使用在HDR合成中,从而能实施高精度的HDR合成。第二实施方式的固体摄像装置会起到通过HDR合成电路50中的高精度的HDR合成,能获得高质量的HDR合成图像的这一效果。
图19是表示运算处理部的变形例的框图。该变形例的运算处理部67除了图18所示的运算处理部52所具备的要素之外,还设有乘法器68。乘法器68对向输出判定部51输入的两个信号中的、光灵敏度高的一方的小像素22的信号乘以系数。乘法器68以及滤波运算器64作为对被选择为有效像素的多个小像素22的信号,实施与光灵敏度的高度相应的加权平均滤波处理的加权平均单元发挥功能。
在对向输出判定部51输入的两个信号,例如进行了3:1的加权的情况下,乘法器68对光灵敏度较高的一方的小像素22的信号乘以3。滤波运算器64将经过了在乘法器68的乘法的信号与另一方的信号相加,设加法结果进而为1/4。
HDR合成电路50通过具备该变形例的运算处理部67,从而能获得使源于光灵敏度高的小像素22的信号成分具有权重的HDR合成信号。由此,HDR合成电路50能提高HDR合成的精度。本变形例的运算处理部67也可应用于第一以及第三实施方式的HDR合成电路中。
图20是表示有效判定单元的变形例的框图。该变形例的有效判定单元70取代图17所示的有效判定单元54中的零等级信号(10′h0),而将SS2向选择器63输入。设在有效判定单元70中输入SS1和SS2。
选择器63将来自AND电路62的信号作为选择控制输入信号,选择SS1和SS2的任一个。选择器63根据选择控制输入信号“1”,选择SS2。选择器63根据选择控制输入信号“0”,选择SS1。有效判定单元70将选择器63中的选择结果作为信号SS1_2输出。输出判定部51在小像素22B作为HDR合成的对象被判定为无效的情况下,对小像素22B,取代SS2而输出SS1。
与该变形例的有效判定单元70组合的运算处理部52,在从输出判定部51输入两个信号时,将两个信号的平均化处理的结果作为HDR合成信号输出。在从输出判定部51输入了两个信号SS1、SS2的情况下,滤波运算器64实施SS1和SS2的滤波运算。由此,运算处理部52在是第二选择模式且输出判定部51将SS2判定为有效的情况下,将SS1与SS2的平均化处理的结果作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS1、SS1的情况下,滤波运算器64实施SS1和SS1的滤波运算。由此,运算处理部52在是第二选择模式且输出判定部51将SS2判定为非有效的情况下,将SS1作为HDR合成信号输出。
根据本变形例,被输入SS2和SS3的有效判定单元、被输入SS3和SS4的有效判定单元也采用与有效判定单元70同样的构成。在从输出判定部51输入了两个信号SS2、SS3的情况下,滤波运算器64实施SS2和SS3的滤波运算。由此,运算处理部52在是第四选择模式且输出判定部51将SS3判定为有效的情况下,将SS2与SS3的平均化处理的结果作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS2、SS2的情况下,滤波运算器64实施SS2和SS2的滤波运算。由此,运算处理部52在是第四选择模式且输出判定部51将SS3判定为非有效的情况下,将SS2作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS3、SS4的情况下,滤波运算器64实施SS3和SS4的滤波运算。由此,运算处理部52在是第六选择模式且输出判定部51将SS4判定为有效的情况下,将SS3和SS4的平均化处理的结果作为HDR合成信号输出。
在从输出判定部51输入了两个信号SS3、SS3的情况下,滤波运算器64实施SS3和SS3的滤波运算。由此,运算处理部52在是第六选择模式且输出判定部51将SS4判定为非有效的情况下,将SS3作为HDR合成信号输出。
HDR合成电路50在具备该变形例的有效判定单元70的情况下,也能实施高精度的HDR合成。也可以对该变形例的有效判定单元70,组合具备图19所示的加权平均单元的运算处理部67。
(第三实施方式)
图21是表示第三实施方式的固体摄像装置的概略结构的框图。对与第一实施方式相同的部分标注相同的附图标记,适当地省略重复的说明。固体摄像装置80具备作为摄像元件的测光传感器81以及信号处理电路82。测光传感器81例如是CMOS影像传感器或者CCD。
图22是表示具备第三实施方式的固体摄像装置的数字摄像机的概略结构的图。从被拍摄体向数字摄像机100的摄像光学系统4入射的光,经由主反射镜101、子反射镜102以及机械快门106向摄像元件107行进。数字摄像机100在摄像元件107中拍摄被拍摄体图像。
由子反射镜102反射的光向自动聚焦(AF)传感器103行进。数字摄像机100进行使用AF传感器103中的检测结果的聚焦调整。在主反射镜101反射的光经由透镜104以及棱镜105向测光传感器81以及取景器108行进。
测光传感器81对通过摄像光学系统4(参照图2)的拍摄区的光量进行计测。测光传感器81具备与第一实施方式的影像传感器10同样的构成。像素阵列12(参照图1)构成测光传感器81。测光传感器81的像素20构成小像素组21(参照图3)。小像素组21包括四个小像素22。
信号处理电路82具备HDR合成电路83、定时生成器84以及区域计数器85。HDR合成电路83除了图7所示的第一实施方式的HDR合成电路19中包含的要素之外,还设有存储器86、第一输出校正部87以及第二输出校正部88。
第一输出校正部87按通过摄像光学系统4的拍摄区中设定的多个区域的每一个区域,校正HDR合成信号。第二输出校正部88根据数字摄像机100的个体信息,校正HDR合成信号。存储器86保持第一输出校正部87中的每个区域的校正用的参数、第二输出校正部88中的与个体信息相应的校正用的参数。另外,所谓个体信息例如是透镜等部件的制造误差、部件彼此的组装误差等与每个产品的个体差有关的信息。信号处理电路82输出经过了在第二输出校正部88的校正的信号。
定时生成器84生成对个体摄像装置80的系统整体的定时进行控制的定时信号。定时生成器84向测光传感器81、HDR合成电路83以及区域计数器85输出定时信号。
区域计数器85根据作为来自定时生成器84的定时信号的垂直同步信号以及水平同步信号,对信号的每个定时的区域进行判定。区域计数器85将区域判定结果输出到第一输出校正部87。
第一输出校正部87例如实施每个区域的着色处理校正。着色处理校正对因摄像元件的特性、摄像光学系统4的透镜像差等的影响而在被拍摄体图像产生的浓度等级的不均(光学着色处理)进行校正。
图23是表示拍摄区中设定的区域的图。在根据摄像光学系统4的拍摄区,例如,设定有35个区域91。35个区域91构成在垂直方向5个、在水平方向7个的矩阵。第一输出校正部87从存储器86读出对于与区域判定结果相应的区域91的着色处理校正参数。第一输出校正部87基于着色处理校正参数,实施每个区域91的着色处理校正。
第一输出校正部87也可以基于各区域91的顶点92设定的着色处理校正参数,实施着色处理校正。第一输出校正部87按每个区域91,实施四个顶点92的着色处理校正参数的线性插值。此外,第一输出校正部87也可以根据垂直同步信号以及水平同步信号,确定区域91内的位置,实施每个位置的线性插值。第一输出校正部87也可以通过任一方式,来实施着色处理校正。
图24是对根据第二输出校正部的信号值的校正进行说明的图。例如,第二输出校正部88作为校正用的参数,使用与个体信息相应的设计上的输出值。设计上的输出值对多个入射光量预先进行设定。此外,设计上的输出值按每台数字摄像机100,或按每台测光传感器81进行设定。
第二输出校正部88从存储器86读出这种参数,利用实测值V1与参数的线性插值,计算出校正值V2。第二输出校正部88也可以通过任一方式,来实施与个体信息相应的校正。
第二输出校正部88也可以在从HDR合成电路83内的存储器86读出参数以外,从后级处理部3内的要素,例如ISP6(参照图2)接收参数。
图25是表示第三实施方式的固体摄像装置的变形例的框图。具备本变形例的固体摄像装置80的数字摄像机100例如设为透镜交换式摄像机。当进行摄像光学系统4中的透镜交换时,例如ISP6取得交换用透镜所预先保持的各种参数。存储器86从ISP6接收包括着色处理校正参数和与个体信息相应的校正用的参数的信息89。存储器86将所保持的参数的内容改写为接收到的信息89的内容。
本变形例的固体摄像装置80根据透镜交换来切换第一输出校正部87中的每个区域91的校正用的参数、以及第二输出校正部88中的与个体信息相应的校正用的参数。由此,固体摄像装置80能根据交换用透镜的特性,获得高质量的HDR合成图像。
此外,固体摄像装置80也可以根据光源的色温的变化来切换第一输出校正部87中的每个区域91的校正用的参数。在数字摄像机100感测到光源的色温的变化时,存储器86例如从ISP6接收与色温相应的着色处理校正参数。由此,固体摄像装置80能根据光源的色温,获得高质量的HDR合成图像。
根据第三实施方式,HDR合成电路83实施拍摄区内的每个区域91的HDR合成信号的校正、以及与具备固体摄像装置80的电设备的个体信息相应的HDR合成信号的校正。HDR合成电路83能使电设备的组装时的偏差、部件的制造误差、根据透镜的特性等的信号值的偏移降低,能实施高精度的HDR合成。第三实施方式的固体摄像装置80会起到能通过HDR合成电路83中的高精度的HDR合成,获得高质量的HDR合成图像的这一效果。
HDR合成电路83不限于具备第一输出校正部87以及第二输出校正部88这两者的情况。HDR合成电路83也可以具备第一输出校正部87以及第二输出校正部88中的一方。第三实施方式的固体摄像装置80也可以具备第二实施方式的输出判定部51(参照图11)。
虽然说明了本发明的几个实施方式,但这些实施方式是作为例子而进行提示的,并不意在对发明的范围进行限定。这些新的实施方式能以其他各种方式进行实施,能在不脱离发明的要旨的范围,进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围和要旨中,并且包含在一同附上的权利要求书所述的发明及其均等的范围中。
Claims (20)
1.一种固体摄像装置,具有:
像素阵列,具备向水平方向以及垂直方向排列的多个像素,生成与向各像素的入射光量相应的信号电荷;以及
高动态范围合成电路,使用来自所述像素阵列的图像信号,实施高动态范围合成,
所述像素分别构成为包括能读出所述信号电荷的多个小像素的小像素组,
所述小像素组包括光灵敏度相互不同的两个以上的所述小像素,
所述高动态范围合成电路具有:
有效像素选择部,从所述小像素组中,选择使所述高动态范围合成中的信号值的使用有效的一个或者两个以上的所述小像素,作为有效像素;
灵敏度比校正部,对每个所述小像素的信号值,实施与所述小像素彼此的所述光灵敏度之比相应的灵敏度比校正;以及
运算处理部,使用来自所述灵敏度比校正部的每个所述小像素的信号值中的、所述有效像素的信号值,实施所述高动态范围合成用的运算。
2.根据权利要求1所述的固体摄像装置,所述小像素组包括:通过改变所述小像素所具备的开口的面积、电子快门时间以及模拟增益的至少一个从而使光灵敏度相互不同的两个以上的所述小像素。
3.根据权利要求1所述的固体摄像装置,所述有效像素选择部根据对所述小像素的信号值和预先设定的阈值进行比较后的结果,选择所述有效像素。
4.根据权利要求3所述的固体摄像装置,所述有效像素选择部将在第一阈值与设定为比所述第一阈值高的输出等级的第二阈值之间的范围内包含信号值的所述小像素,选择为所述有效像素。
5.根据权利要求3所述的固体摄像装置,所述小像素的输出特性被设定为存在这样的范围:在能输出与入射光量相应的信号的入射光量的范围相重合的所述小像素之间,每个所述小像素均满足所述有效像素的条件的范围。
6.根据权利要求1所述的固体摄像装置,
所述高动态范围合成电路还具有:输出判定部,实施对经过了在所述灵敏度比校正部的所述灵敏度比校正的信号值的输出判定,
在所述有效像素选择部从所述小像素组选择了两个以上的有效像素的情况下,所述输出判定部将所述两个以上的有效像素中信号值最大的有效像素作为基准,将其他有效像素作为所述高动态范围合成的对象判定是否有效,
所述运算处理部输出基于由所述输出判定部判定为有效的有效像素的信号值的运算结果。
7.根据权利要求6所述的固体摄像装置,所述输出判定部在包含作为所述基准的有效像素的信号值而设定的输出等级的范围内,不包含经过了所述灵敏度比校正的所述其他有效像素的信号值的情况下,将所述其他有效像素作为所述高动态范围合成的对象判定为无效。
8.根据权利要求6所述的固体摄像装置,所述输出判定部在所述其他有效像素作为所述高动态范围合成的对象判定为无效的情况下,对所述其他有效像素,输出零等级信号以及最高灰度信号的任一个。
9.根据权利要求6所述的固体摄像装置,所述输出判定部在所述其他有效像素作为所述高动态范围合成的对象判定为无效的情况下,对所述其他有效像素,输出作为所述基准的有效像素的信号值。
10.根据权利要求1所述的固体摄像装置,所述运算处理部还具有:加权平均单元,对被选择为所述有效像素的多个所述小像素的信号,实施与所述光灵敏度的高度相应的加权平均滤波处理。
11.根据权利要求1所述的固体摄像装置,所述高动态范围合成电路还具有:输出校正部,对经过了所述高动态范围合成的信号值,实施根据摄像光学系统的拍摄区中设定的每个区域的校正。
12.根据权利要求11所述的固体摄像装置,所述像素阵列构成对所述拍摄区的光量进行计测的测光传感器。
13.根据权利要求11所述的固体摄像装置,所述输出校正部实施每个所述区域的着色处理校正。
14.根据权利要求11所述的固体摄像装置,
还具有保持每个所述区域的校正用的参数的存储器,
具备所述固体摄像装置的电设备是透镜交换式摄像机,
所述存储器根据所述摄像光学系统中的透镜交换,改写所保持的参数的内容。
15.根据权利要求11所述的固体摄像装置,
还具有保持每个所述区域的校正用的参数的存储器,
所述存储器根据光源的色温的变化,改写所保持的参数的内容。
16.根据权利要求1所述的固体摄像装置,所述高动态范围合成电路还具有:输出校正部,对经过了所述高动态范围合成的信号值,实施与具备所述固体摄像装置的电设备的个体信息相应的校正。
17.根据权利要求16所述的固体摄像装置,所述像素阵列构成对通过摄像光学系统的拍摄区的光量进行计测的测光传感器。
18.根据权利要求16所述的固体摄像装置,所述输出校正部将与所述个体信息相应的设计上的输出值,用作所述校正用的参数。
19.根据权利要求16所述的固体摄像装置,
还具有保持与所述个体信息相应的校正用的参数的存储器,
具备所述固体摄像装置的电设备是透镜交换式摄像机,
所述存储器根据所述摄像光学系统中的透镜交换,改写所保持的参数的内容。
20.一种摄像机模块,具有:
摄像光学系统,取入来自被拍摄体的光,使被拍摄体图像成像;以及
固体摄像装置,将由所述摄像光学系统取入的光转换为信号电荷,拍摄所述被拍摄体图像,
所述固体摄像装置具有:
像素阵列,具备向水平方向以及垂直方向排列的多个像素,生成与向各像素的入射光量相应的所述信号电荷;以及
高动态范围合成电路,使用来自所述像素阵列的图像信号,实施高动态范围合成,
所述像素分别构成为包括能读出所述信号电荷的多个小像素的小像素组,
所述小像素组包括光灵敏度相互不同的两个以上的所述小像素,
所述高动态范围合成电路具有:
有效像素选择部,从所述小像素组中,选择使所述高动态范围合成中的信号值的使用有效的一个或者两个以上的所述小像素,作为有效像素;
灵敏度比校正部,对每个所述小像素的信号值,实施与所述小像素彼此的所述光灵敏度之比相应的灵敏度比校正;以及
运算处理部,使用来自所述灵敏度比校正部的每个所述小像素的信号值中的、所述有效像素的信号值,实施所述高动态范围合成用的运算。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-038539 | 2013-02-28 | ||
JP2013038539A JP5855035B2 (ja) | 2013-02-28 | 2013-02-28 | 固体撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104023173A true CN104023173A (zh) | 2014-09-03 |
Family
ID=51387768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410022122.0A Pending CN104023173A (zh) | 2013-02-28 | 2014-01-17 | 固体摄像装置以及摄像机模块 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9083898B2 (zh) |
JP (1) | JP5855035B2 (zh) |
KR (1) | KR101536060B1 (zh) |
CN (1) | CN104023173A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464763A (zh) * | 2014-09-01 | 2020-07-28 | 索尼公司 | 固体摄像器件、固体摄像器件的信号处理方法和电子装置 |
CN111788828A (zh) * | 2018-09-25 | 2020-10-16 | 松下知识产权经营株式会社 | 处理系统、传感器系统、移动体、异常判定方法以及程序 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6408372B2 (ja) * | 2014-03-31 | 2018-10-17 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及びその駆動制御方法、並びに、電子機器 |
JP6587380B2 (ja) * | 2014-09-12 | 2019-10-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 |
GB201509384D0 (en) * | 2015-06-01 | 2015-07-15 | Apical Ltd | Reducing bandwidth for HDR storage |
US9509902B1 (en) | 2015-06-10 | 2016-11-29 | Microsoft Technology Licensing, Llc | Methods and devices for correction of camera module sensitivity and flash color variation |
JP6611509B2 (ja) | 2015-08-05 | 2019-11-27 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP6782431B2 (ja) | 2016-01-22 | 2020-11-11 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP7005317B2 (ja) * | 2017-12-04 | 2022-01-21 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
JP6939501B2 (ja) * | 2017-12-15 | 2021-09-22 | オムロン株式会社 | 画像処理システム、画像処理プログラム、および画像処理方法 |
CN109274952A (zh) * | 2018-09-30 | 2019-01-25 | Oppo广东移动通信有限公司 | 一种数据处理方法、mec服务器、终端设备 |
JP2020136813A (ja) * | 2019-02-15 | 2020-08-31 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
US11653101B2 (en) | 2019-05-17 | 2023-05-16 | Samsung Electronics Co., Ltd. | Imaging system for generating high dynamic range image |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101573960A (zh) * | 2006-12-27 | 2009-11-04 | 索尼株式会社 | 固态成像设备、用于驱动固态成像设备的方法和成像设备 |
US20090290043A1 (en) * | 2008-05-22 | 2009-11-26 | Panavision Imaging, Llc | Sub-Pixel Array Optical Sensor |
US20100277607A1 (en) * | 2007-09-28 | 2010-11-04 | Regents Of The University Of Minnesota | Image sensor with high dynamic range imaging and integrated motion detection |
CN102780849A (zh) * | 2011-05-13 | 2012-11-14 | 索尼公司 | 图像处理装置、图像摄取装置、图像处理方法及程序 |
CN102804754A (zh) * | 2009-06-22 | 2012-11-28 | 索尼公司 | 固体摄像装置和相机 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03117281A (ja) | 1989-09-29 | 1991-05-20 | Toshiba Corp | 固体撮像装置 |
JP3979682B2 (ja) | 1995-06-13 | 2007-09-19 | オリンパス株式会社 | 電子的撮像装置 |
JP3539394B2 (ja) * | 2001-03-26 | 2004-07-07 | ミノルタ株式会社 | 画像処理装置、プログラムおよび記録媒体 |
JP2004336468A (ja) | 2003-05-08 | 2004-11-25 | Fuji Film Microdevices Co Ltd | 撮像装置及び画像処理方法 |
JP4144517B2 (ja) * | 2003-12-05 | 2008-09-03 | ソニー株式会社 | 固体撮像装置、撮像方法 |
JP4781013B2 (ja) * | 2005-05-30 | 2011-09-28 | 富士通セミコンダクター株式会社 | 画素信号処理装置、および画素信号処理方法 |
JP4325703B2 (ja) | 2007-05-24 | 2009-09-02 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置 |
JP2009200762A (ja) | 2008-02-21 | 2009-09-03 | Rohm Co Ltd | 画像処理回路、半導体装置、画像処理装置 |
JP5083046B2 (ja) | 2008-06-03 | 2012-11-28 | ソニー株式会社 | 撮像装置及び撮像方法 |
JP2009303043A (ja) * | 2008-06-16 | 2009-12-24 | Panasonic Corp | 固体撮像装置及びその信号処理方法 |
JP5207926B2 (ja) | 2008-11-12 | 2013-06-12 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5625284B2 (ja) | 2009-08-10 | 2014-11-19 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法および電子機器 |
JP2011071709A (ja) | 2009-09-25 | 2011-04-07 | Nikon Corp | 電子カメラ |
JP5664141B2 (ja) | 2010-11-08 | 2015-02-04 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
JP5243666B2 (ja) * | 2011-02-15 | 2013-07-24 | 富士フイルム株式会社 | 撮像装置、撮像装置本体およびシェーディング補正方法 |
JP5681589B2 (ja) * | 2011-08-18 | 2015-03-11 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
JP5234150B2 (ja) * | 2011-08-26 | 2013-07-10 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2013
- 2013-02-28 JP JP2013038539A patent/JP5855035B2/ja active Active
- 2013-11-18 US US14/082,625 patent/US9083898B2/en active Active
- 2013-11-29 KR KR1020130147328A patent/KR101536060B1/ko active IP Right Grant
-
2014
- 2014-01-17 CN CN201410022122.0A patent/CN104023173A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101573960A (zh) * | 2006-12-27 | 2009-11-04 | 索尼株式会社 | 固态成像设备、用于驱动固态成像设备的方法和成像设备 |
US20100277607A1 (en) * | 2007-09-28 | 2010-11-04 | Regents Of The University Of Minnesota | Image sensor with high dynamic range imaging and integrated motion detection |
US20090290043A1 (en) * | 2008-05-22 | 2009-11-26 | Panavision Imaging, Llc | Sub-Pixel Array Optical Sensor |
CN102804754A (zh) * | 2009-06-22 | 2012-11-28 | 索尼公司 | 固体摄像装置和相机 |
CN102780849A (zh) * | 2011-05-13 | 2012-11-14 | 索尼公司 | 图像处理装置、图像摄取装置、图像处理方法及程序 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464763A (zh) * | 2014-09-01 | 2020-07-28 | 索尼公司 | 固体摄像器件、固体摄像器件的信号处理方法和电子装置 |
CN111464763B (zh) * | 2014-09-01 | 2022-03-18 | 索尼公司 | 固体摄像器件、固体摄像器件的信号处理方法和电子装置 |
US11770639B2 (en) | 2014-09-01 | 2023-09-26 | Sony Group Corporation | Solid-state imaging device, signal processing method therefor, and electronic apparatus for enabling sensitivity correction |
CN111788828A (zh) * | 2018-09-25 | 2020-10-16 | 松下知识产权经营株式会社 | 处理系统、传感器系统、移动体、异常判定方法以及程序 |
CN111788828B (zh) * | 2018-09-25 | 2022-04-19 | 松下知识产权经营株式会社 | 处理系统、传感器系统、移动体、异常判定方法以及程序 |
Also Published As
Publication number | Publication date |
---|---|
KR20140108100A (ko) | 2014-09-05 |
KR101536060B1 (ko) | 2015-07-10 |
US20140240536A1 (en) | 2014-08-28 |
US9083898B2 (en) | 2015-07-14 |
JP2014168112A (ja) | 2014-09-11 |
JP5855035B2 (ja) | 2016-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104023173A (zh) | 固体摄像装置以及摄像机模块 | |
US7151560B2 (en) | Method and apparatus for producing calibration data for a digital camera | |
CN101180869B (zh) | 具有拖尾消除功能的数字摄像机 | |
US8106976B2 (en) | Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium | |
JP5247007B2 (ja) | 撮像装置及び撮像システム | |
JP4718196B2 (ja) | 撮像装置 | |
CN100370811C (zh) | 数字静态照相装置、摄像装置和信息终端装置及其活点量计算方法 | |
CN104010128A (zh) | 摄像设备及其控制方法 | |
US20100080547A1 (en) | Focal point detection device and camera system | |
CN102209209A (zh) | 固体成像设备和摄像系统 | |
JP2008113141A (ja) | 撮像装置及び信号処理方法 | |
US20050275904A1 (en) | Image capturing apparatus and program | |
JPWO2013047158A1 (ja) | 撮像装置及び合焦制御方法 | |
WO2014041845A1 (ja) | 撮像装置及び信号処理方法 | |
US20140218577A1 (en) | Solid-state imaging device and camera module | |
JP4739998B2 (ja) | 撮像装置 | |
US7400355B2 (en) | Image pickup apparatus and photometer | |
JP5627728B2 (ja) | 撮像装置及び撮像システム | |
US20050151861A1 (en) | Performance digital image sensing | |
KR100975444B1 (ko) | 리셋전압 보상부를 구비한 이미지센서 | |
US8189094B2 (en) | Image processing apparatus and image processing method | |
JP4356651B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP2008053812A (ja) | 撮像装置 | |
CN110602420A (zh) | 相机、黑电平调整方法及装置 | |
US20240155245A1 (en) | Ambient light sensing using image sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140903 |
|
WD01 | Invention patent application deemed withdrawn after publication |