CN116782047A - 光检测装置和电子设备 - Google Patents
光检测装置和电子设备 Download PDFInfo
- Publication number
- CN116782047A CN116782047A CN202310680803.5A CN202310680803A CN116782047A CN 116782047 A CN116782047 A CN 116782047A CN 202310680803 A CN202310680803 A CN 202310680803A CN 116782047 A CN116782047 A CN 116782047A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pixels
- photoelectric conversion
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 203
- 238000006243 chemical reaction Methods 0.000 claims abstract description 129
- 238000012546 transfer Methods 0.000 claims abstract description 69
- 238000003384 imaging method Methods 0.000 claims description 197
- 238000005516 engineering process Methods 0.000 abstract description 56
- 238000012545 processing Methods 0.000 description 66
- 238000000034 method Methods 0.000 description 44
- 230000000875 corresponding effect Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 36
- 238000004891 communication Methods 0.000 description 30
- 238000012937 correction Methods 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 22
- 238000009792 diffusion process Methods 0.000 description 14
- 238000007667 floating Methods 0.000 description 14
- 230000001276 controlling effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 101000955333 Homo sapiens Mediator of RNA polymerase II transcription subunit 10 Proteins 0.000 description 8
- 102100038976 Mediator of RNA polymerase II transcription subunit 10 Human genes 0.000 description 8
- 230000009977 dual effect Effects 0.000 description 8
- 101100476641 Homo sapiens SAMM50 gene Proteins 0.000 description 6
- 101100243108 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PDI1 gene Proteins 0.000 description 6
- 102100035853 Sorting and assembly machinery component 50 homolog Human genes 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 208000005646 Pneumoperitoneum Diseases 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 230000000593 degrading effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002674 endoscopic surgery Methods 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- -1 TRG5 Proteins 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 101100191136 Arabidopsis thaliana PCMP-A2 gene Proteins 0.000 description 1
- 101100048260 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBX2 gene Proteins 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
- H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本技术涉及能够使功耗降低的光检测装置和电子设备。该光检测装置包括:布置为行和列的多个像素单元,多个像素单元包括第一像素单元和不同于第一像素单元的第二像素单元,所述第一像素单元包括:第一光电转换区域和与第一光电转换区域相邻的第二光电转换区域;和连接至第一光电转换区域的第一传输晶体管和连接至第二光电转换区域的第二传输晶体管,第二像素单元包括:第三光电转换区域和第四光电转换区域,第四光电转换区域与第三光电转换区域相邻;和连接至第三光电转换区域的第三传输晶体管和连接至第四光电转换区域的第四传输晶体管,第一驱动线连接至第一和第三传输晶体管,且第二驱动线连接至第二传输晶体管,并与第四传输晶体管断开连接。
Description
本申请是申请日为2019年1月25日、发明名称为“成像装置和电子设备”的申请号为201980011342.4专利申请的分案申请。
技术领域
本技术涉及成像装置和电子设备,具体地,涉及能够降低功耗的成像装置和电子设备。
背景技术
近年来,已经使用了其中相位差检测用的像素排列在像素阵列单元中的固态成像元件。
例如,已知这样的构成:在排列于像素阵列单元内的像素中,通过使用其中光电二极管A和B设置在一个微透镜下方的结构,使用A+B信号作为图像获取用的信号,并且A信号和B信号中的每个用作相位差检测用的信号(例如,参见专利文献1)。
引用文献列表
专利文献
专利文献1:日本专利申请特开No.2016-105649
发明内容
发明要解决的问题
顺便提及地,在使用其中在像素中光电二极管A和B设置在一个微透镜下方的结构的情况下,与其中设有一个光电二极管的结构相比,从其读出电荷的光电二极管的数量增加了一倍,导致功耗的增加。
相对于这种功耗的增加,在上述专利文献1所公开的技术中,在排列于像素阵列单元内的一些像素(包括光电二极管A和B)中,A信号和B信号被分别读出,并且在剩余像素中仅读出A+B信号。然而,在一些像素中,需要分别读出A信号和B信号,这不足以降低功耗,因此需要降低功耗。
鉴于这种情况作出了本技术,并且本技术能够使功耗降低。
解决问题的技术方案
根据本技术一个方面的成像装置是这样的成像装置,包括:像素阵列单元,其包括第一像素部和不同于所述第一像素部的第二像素部;其中所述第一像素部和所述第二像素部中的每个包括第一光电转换单元和与所述第一光电转换单元相邻的第二光电转换单元,所述像素阵列单元包括:第一驱动线,其与所述第一像素部和所述第二像素部的所述第一光电转换单元连接;第二驱动线,其与所述第一像素部的所述第二光电转换单元连接;和第三驱动线,其与所述第二像素部的所述第二光电转换单元连接。
根据本技术一个方面的电子设备是这样的电子设备,包括:成像单元,所述成像单元包括:像素阵列单元,其包括第一像素部和不同于所述第一像素部的第二像素部;其中所述第一像素部和所述第二像素部中的每个包括第一光电转换单元和与所述第一光电转换单元相邻的第二光电转换单元,所述像素阵列单元包括:第一驱动线,其与所述第一像素部和所述第二像素部的所述第一光电转换单元连接;第二驱动线,其与所述第一像素部的所述第二光电转换单元连接;和第三驱动线,其与所述第二像素部的所述第二光电转换单元连接。
根据本技术一个方面的成像装置和电子设备包括:像素阵列单元,其包括第一像素部和不同于所述第一像素部的第二像素部;其中所述第一像素部和所述第二像素部中的每个包括第一光电转换单元和与所述第一光电转换单元相邻的第二光电转换单元,并且所述像素阵列单元包括:第一驱动线,其与所述第一像素部和所述第二像素部的所述第一光电转换单元连接;第二驱动线,其与所述第一像素部的所述第二光电转换单元连接;和第三驱动线,其与所述第二像素部的所述第二光电转换单元连接。
发明的效果
根据本技术的一个方面,能够降低功耗。
注意,本文记载的效果不必须受到限制,并且可以是本公开中记载的任何效果。
附图说明
图1是示出了本技术适用的固态成像元件的实施方案的构成例的框图。
图2是示出了双PD型像素的结构例的图。
图3是示出了根据第一实施方案的像素的驱动例的图表。
图4是表示各种类型的像素的性能的评估结果的曲线图。
图5是示出了根据第二实施方案的成像装置的构成例的框图。
图6是示出了根据第二实施方案的像素的驱动例的图表。
图7是示出了根据第三实施方案的成像装置的构成例的框图。
图8是示出了根据第三实施方案的像素的驱动例的图表。
图9是示出了根据第四实施方案的成像装置的构成例的框图。
图10是示出了根据第四实施方案的像素的驱动例的图表。
图11是示出了根据第五实施方案的成像装置的构成例的框图。
图12是示出了现有读出功能的构成的图。
图13是示出了现有读出功能的构成的图。
图14是示出了本技术的读出功能的构成的图。
图15是示出了本技术的读出功能的构成的图。
图16是示出了具有2×2OCL结构的像素的结构例的图。
图17是示出了现有读出功能的构成的图。
图18是示出了现有读出功能的构成的图。
图19是示出了本技术的读出功能的第一构成的图。
图20是示出了本技术的读出功能的第一构成的图。
图21是示出了本技术的读出功能的第二构成的图。
图22是示出了本技术的读出功能的第二构成的图。
图23是示出了包括本技术适用的固态成像元件的电子设备的构成例的框图。
图24是示出了本技术适用的固态成像元件的使用例的图。
图25是示出了车辆控制系统的示意性构成例的框图。
图26是示出了车外信息检测单元和成像单元的安装位置的示例的说明图。
图27是示出了内窥镜手术系统的示意性构成例的图。
图28是示出了摄像头和CCU的功能构成的示例的框图。
具体实施方式
下面参照附图对本技术的实施方案进行说明。注意,按照以下顺序给出说明。
1.第一实施方案:像素结构及其驱动控制
2.第二实施方案:另一种驱动控制
3.第三实施方案:另一种驱动控制
4.第四实施方案:另一种驱动控制
5.第五实施方案:包括校正处理的构成
6.第六实施方案:像素的读出功能
7.第七实施方案:像素的另一种结构及其读出功能
8.变形例
9.电子设备的构成
10.固态成像元件的使用例
11.移动体的应用例
12.内窥镜手术系统的应用例
<1.第一实施方案>
(固态成像元件的构成例)
图1是示出了本技术适用的固态成像元件的实施方案的构成例的框图。
例如,图1的固态成像元件10构造成使用互补金属氧化物半导体(CMOS)的CMOS图像传感器。固态成像元件10通过光学透镜系统(未示出)吸收来自被摄体的入射光(图像光),将形成在成像面上的入射光的光量以像素为单位转换为电气信号,并且输出电气信号作为像素信号。
在图1中,固态成像元件10包括像素阵列单元11、垂直驱动电路12、列信号处理电路13、水平驱动电路14、输出电路15、控制电路16和输入/输出端子17。
在像素阵列单元11中,多个像素100以二维形式(矩阵状)排列。
例如,垂直驱动电路12由移位寄存器构成,选择预定的像素驱动线21,将用于驱动像素100的驱动信号(脉冲)供给到所选择的像素驱动线21,并且以行为单位驱动像素100。
即,垂直驱动电路12在垂直方向上以行为单位顺次地选择性地扫描像素阵列单元11的各像素100,并且将基于与各像素100的光电二极管(光电转换单元)中的所接收的光量相对应地生成的电荷(信号电荷)的像素信号通过垂直信号线22供给到列信号处理电路13。
列信号处理电路13针对像素100的各列配置,并且相对于各像素列对从一行的像素100输出的信号执行诸如噪声去除等信号处理。例如,列信号处理电路13执行诸如用于去除像素固有的固定模式噪声的相关双采样(CDS:correlated double sampling)和模数(AD:analog digital)转换等信号处理。
例如,水平驱动电路14包括移位寄存器,顺次地输出水平扫描脉冲以顺次地选择各个列信号处理电路13,并且使各个列信号处理电路13将像素信号输出到水平信号线23。
输出电路15对通过水平信号线23从各个列信号处理电路13顺次供给的信号执行信号处理,并且输出处理后的信号。注意,例如,输出电路15可以仅进行缓冲或者可以进行黑电平调整、列变化校正、各种数字信号处理等。
控制电路16控制固态成像元件10的各单元的操作。
此外,控制电路16基于垂直同步信号、水平同步信号和主时钟信号来生成用作垂直驱动电路12、列信号处理电路13、水平驱动电路14等的操作的基准的时钟信号或控制信号。控制电路16将生成的时钟信号或控制信号输出到垂直驱动电路12、列信号处理电路13、水平驱动电路14等。
输入/输出端子17与外部交换信号。
如上所述构造的固态成像元件10是采用称为列AD方式的方式的CMOS图像传感器,其中针对各像素列配置执行CDS处理和AD转换处理的列信号处理电路13。此外,例如,固态成像元件10可以是背面照射型CMOS图像传感器。
(像素结构的示例)
图2是示出了双PD型像素的结构的示例的图。
图2的A示出了在排列于像素阵列单元11内的多个像素100之中当从光入射侧观察时排列在预定成像区域中的两行两列(2×2)的像素100的平面图。此外,图2的B示出了图2的A所示的像素100的X-X’断面的一部分。
如图2所示,像素100包括其中在一个片上透镜111上设有光电二极管112A和光电二极管112B的结构(在下文中,也称为双PD型结构)。注意,双PD型像素100可以认为是包括具有左侧光电二极管112A的左像素100A和具有右侧光电二极管112B的右像素100B的像素部(第一像素部或第二像素部)。此外,片上透镜也称为微透镜。
在双PD型像素100中,通过对光电二极管112A和112B中累积的电荷进行求和而生成的像素信号(A+B信号)用作图像获取用的信号,并且从光电二极管112A中累积的电荷获得的像素信号(A信号)和从光电二极管112B中累积的电荷获得的像素信号(B信号)可以被独立地读出并用作相位差检测用的信号。
如上所述,像素100具有双PD型结构,并且可以用于以下两个用途:图像获取用的像素(在下文中,称为图像获取用像素)和相位差检测用的像素(在下文中,称为相位差检测用像素)。注意,尽管下文将对细节进行说明,但是即使从相位差检测用像素获得的像素信号也可以通过经过校正处理而用作图像获取用的信号。
此外,如图2的B的断面图所示,像素100包括片上透镜111下方的滤色器113,并且根据由滤色器113透射的波长成分而构造成R像素100、G像素100或B像素100。
注意,R像素100是从已经通过透射红色(R:Red)波长成分的R滤色器113的光生成与红色(R)成分的光相对应的电荷的像素。此外,G像素100是从已经通过透射绿色(G:Green)波长成分的G滤色器113的光生成与绿色(G)成分的光相对应的电荷的像素。此外,B像素100是从已经通过透射蓝色(B:Blue)波长成分的B滤色器113的光生成与蓝色(B)成分的光相对应的电荷的像素。
在像素阵列单元11中,R像素100、G像素100和B像素100可以以诸如拜耳排列等排列模式排列。例如,在图2的A的平面图中,在2×2像素100之中,左上和右下是G像素100,左下是R像素100,并且右上是B像素100。
顺便提及地,作为相位差检测用像素的结构,存在遮蔽型结构。遮蔽型像素包括如下的结构:包括诸如钨(W)或铝(Al)等金属的遮光部设置在片上透镜的下方,并且当从光入射侧观察时,该遮光部使左侧区域或右侧区域被遮光。然后,在像素阵列单元中,通过以分散的方式布置具有这种结构的左遮光像素和右遮光像素,获得作为相位差检测用的信号的左遮光像素信号和右遮光像素信号。
这里,在图2所示的双PD型像素中,在光电二极管112A中累积的电荷和光电二极管112B中累积的电荷中的任一种被独立地读出的情况下,可以获得与遮蔽型像素类似的像素信号。即,从由光电二极管112A生成的电荷获得与右遮光像素信号相对应的像素信号(A信号),并且从由光电二极管112B生成的电荷获得与左遮光像素信号相对应的像素信号(B信号)。
在本技术中,通过利用这种双PD型像素的特征,排列在像素阵列单元11中的一些像素100构造成独立地读出光电二极管112A中累积的电荷和光电二极管112B中累积的电荷中的至少一种电荷,因此,与采用上述专利文献1中公开的读出构成的情况相比,可以实现低功耗。
具体地,利用上述专利文献1中公开的构成,为了获得相位差检测用的信号,在某种程度上,来自光电二极管A和B的A信号和B信号需要被分别读出(读出两次)。然而,利用本技术的构成,一次读出光电二极管112A和112B就足够了,因此由于读出次数减少而能够实现低功耗。
然而,与遮蔽型像素相比,双PD型像素已经提高了低照度下的性能,但是相位差检测的精度低于高照度下的相位差检测的精度。因此,例如,必须使得最终能够与固态成像元件10中设定的增益相关联地在排列于像素阵列单元11内的全部像素中获得相位差检测用的信号。
例如,如图3所示,在固态成像元件10中设定的增益小于第一阈值Th1的情况下,选择驱动控制A作为驱动控制方法,并且在排列于像素阵列单元11内的全部像素中,在3%的像素100中,光电二极管112A和光电二极管112B中的一个被独立地读出。此时,3%的像素100用作相位差检测用像素,并且在剩余的97%的像素100中,光电二极管112A和112B均被读出并用作图像获取用像素。
此外,例如,如图3所示,在增益大于第一阈值Th1且小于第二阈值Th2的情况下,选择驱动控制B,并且在排列于像素阵列单元11内的全部像素中,在6%的像素100中,光电二极管112A和光电二极管112B中的一个被独立地读出。此时,6%的像素100用作相位差检测用像素,并且剩余94%的像素100用作图像获取用像素。
此外,例如,如图3所示,在增益大于第二阈值Th2的情况下,选择驱动控制C,并且在排列于像素阵列单元11内的全部像素中,光电二极管112A和112B被读出,并且获得相位差检测用的信号和图像获取用的信号。此时,全部像素(100%的像素)用作相位差检测用像素和图像获取用像素。
这里,基于从固态成像元件10输出的输出信号,通过检测平均亮度来确定固态成像元件10中设定的增益。即,随着像素阵列单元11的成像区域中的照度增加,增益具有更小的数值。例如,当照度为1.25、10、20、80lux(lx)时,增益分别设定为60、42、36和24dB,并且当照度超过1280lux(lx)时,增益设定为0dB。
如上所述,在本技术中,相对于在固态成像元件10中设定的增益执行阈值判定,并且基于判定结果,在排列于像素阵列单元11内的像素100之中,利用预定密度(例如,3%、6%等)的像素100,光电二极管112A和光电二极管112B中的一个设定为独立读出的对象。
注意,例如,在增益大于第二阈值Th2的情况下,在全部像素(100%的像素)中读出光电二极管112A和112B,但是在正常照度下,增益不会大于第二阈值Th2(相应地设定第二阈值Th2),不会在全部像素中读出光电二极管112A和112B。即,在正常照度条件下(例如,照度为10lux以上或20lux以上),光电二极管112仅需要读出一次,以获得相位差检测用的信号,因此可以实现低功耗。
此外,如图3所示,例如,将驱动控制C与驱动控制A和B相比,功耗增加了50%,但是在正常照度条件下(例如,照度为10lux以上或20lux以上),可以实现低功耗。
此外,如图3所示,在执行驱动控制A、驱动控制B和驱动控制C的驱动的情况下,最大帧速率分别为1000fps、1000fps和500fps。然而,例如,在执行驱动控制A和驱动控制B的驱动的情况下,与执行驱动控制C的驱动的情况相比,可以提高帧速率,并且因此可以实现1000fps等的慢动作。
注意,在图3中,示出了其中设定有两个阈值(第一阈值Th1和第二阈值Th2)且通过三阶段(驱动控制A、B、C)的驱动控制方法来驱动排列在像素阵列单元11中的像素100的示例,但是阈值的数量并不限于此,例如,可以设置一个阈值并且可以执行两阶段的驱动控制,或者可以设置三个以上的阈值并且可以执行四阶段以上的驱动控制。此外,诸如3%和6%等相位差检测用像素的密度是示例,并且可以针对各阶段的各驱动控制方法设定任意密度(例如,根据增益增加的密度)。
此外,在上述说明中,示出了如下的示例:在像素100用作相位差检测用像素的情况下,光电二极管112A和光电二极管112B中的一个被独立地读出,但是光电二极管112A和光电二极管112B都可以被独立地读出。例如,在图3所示的驱动控制B中,在诸如当用作相位差检测用像素的像素100的密度为6%时等相位差检测用像素的密度较低的情况下,光电二极管112A和光电二极管112B可以被独立地读出,并且可以获得像素信号(A信号和B信号)。然而,可以针对各阶段的各驱动控制方法改变这些读出方法。
此外,在进行多次成像的情况下,可以针对阈值设置滞后,并且例如,在将设定的增益与阈值进行比较时,即使当在增益初始超过阈值的阶段使阈值略微变化并且其后获得的增益也在一定程度上变动时,也可以使增益保持在阈值之上。通过设置这种滞后,能够防止测距方法的过度切换。
(各种类型的像素之间的性能差异)
图4示出了表示各种类型的像素的性能的评估结果的曲线图。
在图4中,横轴表示增益(单位:dB),并且数值从图中的左侧向右侧增大。此外,纵轴表示相位差检测中的变化(σ)(单位:μm),意味着变化朝着图中的上侧增大。
在图4中,曲线C1示出了双PD型像素的特性,曲线C2示出了遮蔽型像素的特性。
这里,例如,关注于照度大于80lux(lx)的高照度区域,在这种高照度条件下,在双PD型像素和遮蔽型像素中,相位差检测的变化(σ)的数值几乎相同,并且可以获得几乎相同的性能。
另一方面,例如,关注于接近10lux(lx)的低照度区域,在这种低照度条件下,相位差检测的变化(σ)的数值在遮蔽型像素中比在双PD型像素中大,因此性能低下。
如上所述,在高照度条件下,即使对于诸如遮蔽型像素等具有低密度的像素结构,AF性能(相位差检测的性能)也不会劣化。于是,在本技术中,通过利用这种像素的特性,在高照度条件下,排列在像素阵列单元11中的一些像素100被构造成独立地读出光电二极管112A中累积的电荷和光电二极管112B中累积的电荷中的至少一种电荷。
因此,利用本技术的构成,即使在使用双PD型像素的情况下,光电二极管112A和112B也仅需要读出一次,以获得相位差检测用的信号。因此,能够在未降低测距性能的情况下降低高照度下的功耗。此外,由于不需要分别从光电二极管112A和112B读出像素信号(A信号和B信号)(读出两次),所以与采用上述专利文献1中公开的读出构成的情况相比,能够实现高速化。
换言之,利用本技术的构成,在低照度的情况下,在全部像素100中检测到相位差检测用的信号,并且在高照度的情况下,在离散的像素100中检测到相位差检测用的信号。因此,即使照度较低,也可以保持测距性能,并且在高照度的情况下,与在全部像素中获得相位差检测用的信号的情况相比,可以在未使测距性能劣化的情况下抑制功耗。
<2.第二实施方案>
顺便提及地,由于相位差检测的精度取决于散粒噪声,所以像素100的驱动控制不仅可能与增益而且还可能与亮度水平相关联。因此,在第二实施方案中,基于在固态成像元件10中设定的增益以及亮度水平来控制排列在像素阵列单元11中的像素100的驱动。
(成像装置的构成例)
图5是示出了根据第二实施方案的成像装置的构成例的框图。
在图5中,成像装置1A包括固态成像元件10(图1)和控制单元200A。
例如,控制单元200A包括诸如微控制器等控制电路。控制单元200A包括驱动控制单元211、AE单元212和亮度水平检测单元213。
AE单元212基于从固态成像元件10输出的输出信号来执行与自动曝光(AE:autoexposure)功能相关的处理。例如,AE单元212基于来自固态成像元件10的输出信号检测平均亮度,并根据检测结果确定增益。
AE单元212将所确定的增益供给到固态成像元件10和驱动控制单元211。注意,例如,该增益用于控制固态成像元件10的快门速度,并且可以认为是曝光信息。
亮度水平检测单元213基于从固态成像元件10输出的输出信号来检测画面内的亮度水平,并将检测结果供给到驱动控制单元211。注意,画面内的亮度水平例如是在成像装置1A具有显示用屏幕的情况下画面内显示的捕获图像的亮度水平,即,对象的图像帧内的对象区域(局部区域)的亮度水平。
向驱动控制单元211供给来自AE单元212的增益和来自亮度水平检测单元213的亮度水平。驱动控制单元211基于供给到其的增益和亮度水平生成用于控制固态成像元件10的排列在像素阵列单元11中的像素100的驱动的驱动控制信号,并且将驱动控制信号供给到固态成像元件10。
这里,在AE单元212中,基于检测到的平均亮度(整体亮度),即,从对象的图像帧之前的图像帧获得的曝光量,执行增益控制。例如,在该增益控制中,在黑暗(低照度)的情况下执行用于增加增益的控制,并且在明亮(高照度)的情况下执行用于减小增益的控制。因此,可以认为的是,AE单元212对应于基于从之前的图像帧获得的曝光量来检测像素阵列单元11的成像区域中的照度的照度检测单元。此外,亮度水平检测单元213获得对象区域(局部区域)中的亮度水平。
然后,当在局部区域中捕获画面(对象的图像帧内)时,因为存在明亮区域和黑暗区域,所以驱动控制单元211不仅可以与用于增益控制的照度而且可以与画面内的亮度水平相关联地控制像素100的驱动。例如,在画面内,白色被摄体具有高亮度水平,而黑色被摄体具有低亮度水平,但是当亮度水平较低时,散粒噪声增多(相位差检测的变化大)。因此,驱动控制单元211使得更多的相位差检测用像素被使用。
固态成像元件10基于从控制单元200A的AE单元212供给的增益来控制快门速度。此外,固态成像元件10基于从控制单元200A的驱动控制单元211供给的驱动控制信号来驱动排列在像素阵列单元11中的像素100。
(像素的驱动例)
图6示出了根据第二实施方案的像素驱动控制的示例。
例如,驱动控制单元211基于供给到其的增益和亮度水平来计算下式(1),并且对计算结果执行阈值判定。然后,驱动控制单元211基于判定结果来控制固态成像元件10的排列在像素阵列单元11中的像素100的驱动。
增益+1/亮度水平···(1)
这里,在式(1)中,随着像素阵列单元11的成像区域中的照度变大,第一项的“增益”变成更小的数值,计算结果的数值也变小,并且随着成像区域中的照度变小,增益变成更大的数值,计算结果的数值也变大。此外,在式(1)中,第二项由“1/亮度水平”表示。因此,随着画面内(对象的图像帧内)的对象区域(局部区域)中的亮度水平变低,计算结果的数值变大。
例如,在式(1)的计算结果小于第一阈值Th1的情况下,驱动控制单元211跟随驱动控制A来控制像素100的驱动,使得在排列于像素阵列单元11内的全部像素中,3%的像素100用作相位差检测用像素,并且剩余的97%的像素100用作图像获取用像素。
此时,在固态成像元件10中,在用作相位差检测用像素的像素100(3%的像素)中,累积在左像素100A的光电二极管112A和右像素100B的光电二极管112B中的一个内的电荷被独立地读出。
此外,例如,当式(1)的计算结果大于第一阈值Th1且小于第二阈值Th2时,驱动控制单元211跟随驱动控制B来控制像素100的驱动,使得在排列于像素阵列单元11内的全部像素中,6%的像素100用作相位差检测用像素,剩余的94%的像素100用作图像获取用像素。
此时,在固态成像元件10中,在用作相位差检测用像素的像素100(6%的像素100)中,累积在左像素100A的光电二极管112A和右像素100B的光电二极管112B中的一个内的电荷被独立地读出。
此外,例如,在式(1)的计算结果大于第二阈值Th2的情况下,驱动控制单元211跟随驱动控制C来控制像素100的驱动,使得排列在像素阵列单元11中的全部像素(100%的像素)用作相位差检测用像素和图像获取用像素这两种像素。
此时,在固态成像元件10中,在全部像素(100%的像素)中,累积在左像素100A的光电二极管112A和右像素100B的光电二极管112B中的电荷被读出。
如上所述,在第二实施方案中,使用增益和亮度水平相对于式(1)的计算结果执行阈值判定,并且基于判定结果,在排列于像素阵列单元11内的像素100之中,利用预定密度(例如,3%、6%等)的像素100,光电二极管112A和光电二极管112B中的一个被设定为独立读出的对象。
即,在双PD型像素100排列在像素阵列单元11中的情况下,在式(1)的计算结果大于预定阈值(例如,第二阈值Th2)的情况下,全部像素100用作相位差检测用像素,但是在式(1)的计算结果小于预定阈值(例如,第一阈值Th1或第二阈值Th2)的情况下,仅以分散方式(以重复模式)配置的特定像素100用作相位差检测用像素。
当执行这种驱动时,在例如在低照度时或由于对象区域的低亮度水平而使相位差检测的精度较低的情况下,在更多数量的像素100中检测到相位差检测用的信号,并且在例如在高照度时或由于对象区域的高亮度水平而使相位差检测的精度较高的情况下,在离散的像素100中检测到相位差检测用的信号。因此,能够在未降低测距性能的情况下实现高照度下的低功耗和高速化。
注意,同样在图6中,阈值判定中使用的阈值的数量是任意的,此外,可以针对阈值设置滞后。此外,上述式(1)是使用增益和亮度水平的运算表达式的示例,并且例如,可以使用诸如对数等函数适用的其他运算表达式。此外,在图5所示的第二实施方案的成像装置1A中,亮度水平检测单元213除外的构成对应于上述第一实施方案中所说明的构成,即,用于基于使用增益的阈值判定的结果来控制排列在像素阵列单元11中的像素100的驱动的构成。
此外,在图6中,类似于上述图3,例如,在驱动控制B中,在用作相位差检测用像素的像素100的密度为6%的情况下,光电二极管112A和光电二极管112B中的一个被独立地读出,从而可以获得像素信号(A信号或B信号)并且将其用作相位差检测用的信号。
<3.第三实施方案>
此外,如上所述,由于相位差检测的精度取决于散粒噪声,因此除了增益和亮度水平之外,像素100的驱动控制还可能与已经用作相位差检测用像素的像素100的数量相关联。因此,在第三实施方案中,基于在固态成像元件10中设定的增益、亮度水平和相位差检测用像素的数量来控制排列在像素阵列单元11中的像素100的驱动。
(成像装置的构成例)
图7是示出了根据第三实施方案的成像装置的构成例的框图。
在图7中,成像装置1B包括固态成像元件10(图1)和控制单元200B。
与控制单元200A(图5)相比,除了驱动控制单元211、AE单元212和亮度水平检测单元213之外,控制单元200B还包括相位差检测单元214和计数单元215。
相位差检测单元214基于从固态成像元件10输出的输出信号(相位差检测用的信号)来检测相位差,并且将检测结果输出到后续阶段中的电路(未示出)。此外,相位差检测单元214将与相位差检测时获得的有效相位差检测用像素相关联的信息(在下文中,称为有效相位差像素信息)供给到计数单元215。
计数单元215基于从相位差检测单元214供给的有效相位差像素信息,在已经用作相位差检测用像素的像素100之中对有效相位差检测用像素的数量进行计数,并且将计数结果(有效相位差检测用像素的数量)供给到驱动控制单元211。
除了来自AE单元212的增益和来自亮度水平检测单元213的亮度水平之外,来自计数单元215的计数结果也被供给到驱动控制单元211。驱动控制单元211基于供给到其的增益、亮度水平和有效相位差检测用像素的数量来生成用于控制像素100的驱动的驱动控制信号,并且将驱动控制信号供给到固态成像元件10。
这里,例如,由于除非被摄体图像的边缘可以被辨别,否则相位差检测单元214不能有效地检测相位差,因此计数单元215基于有效相位差像素信息来对用于有效相位差检测的相位差检测用像素的数量进行计数。
于是,驱动控制单元211不仅可以与用于增益控制的照度和画面内的亮度水平而且可以与有效相位差检测用像素的数量相关联地控制像素100的驱动。例如,当有效相位差检测用像素的数量较少时,相位差检测的变化增大,因此驱动控制单元211使用更多的相位差检测用像素。
(像素的驱动例)
图8示出了根据第三实施方案的像素驱动控制的示例。
例如,驱动控制单元211基于供给到其的增益、亮度水平和有效相位差检测用像素的数量来计算下式(2),并且对计算结果执行阈值判定。然后,驱动控制单元211基于判定结果来控制固态成像元件10的排列在像素阵列单元11中的像素100的驱动。
增益+1/亮度水平+1/有效相位差检测用像素的数量···(2)
这里,在式(2)中,第一项和第二项与上述式(1)相似,第三项由“1/有效相位差检测用像素的数量”表示,因此,有效相位差检测用像素的数量越少,计算结果的数值越大。
例如,在式(2)的计算结果小于第一阈值Th1的情况下,驱动控制单元211跟随驱动控制A来控制像素100的驱动,使得在排列于像素阵列单元11内的全部像素中,3%的像素100用作相位差检测用像素。
此外,例如,在式(2)的计算结果大于第一阈值Th1且小于第二阈值Th2的情况下,驱动控制单元211跟随驱动控制B来控制像素100的驱动,使得在排列于像素阵列单元11内的全部像素中,6%的像素100用作相位差检测用像素。
此外,例如,在式(2)的计算结果大于第二阈值Th2的情况下,驱动控制单元211跟随驱动控制C来控制像素100的驱动,使得排列在像素阵列单元11中的全部像素(100%的像素)用作相位差检测用像素和图像获取用像素这两种像素。
如上所述,在第三实施方案中,使用增益、亮度水平和有效相位差检测用像素的数量相对于式(2)的计算结果执行阈值判定,并且基于判定结果,在排列于像素阵列单元11内的像素100之中,利用预定密度(例如,3%、6%等)的像素100,光电二极管112A和光电二极管112B中的一个被设定为独立读出的对象。
即,在双PD型像素100排列于像素阵列单元11中的情况下,在式(2)的计算结果大于预定阈值(例如,第二阈值Th2)的情况下,全部像素100用作相位差检测用像素,但是在式(2)的计算结果小于预定阈值(例如,第一阈值Th1或第二阈值Th2)的情况下,仅以分散方式(以重复模式)配置的特定像素100用作相位差检测用像素。
当执行这种驱动时,在例如由于有效相位差检测用像素的数量少而使得相位差检测的精度较低的情况下,在更多数量的像素100中检测到相位差检测用的信号,并且在例如由于有效相位差检测用像素的数量多而使得相位差检测的精度较高的情况下,在离散的像素100中检测到相位差检测用的信号。因此,能够在未降低测距性能的情况下实现高照度下的低功耗和高速化。
注意,同样在图8中,阈值判定中使用的阈值的数量是任意的,此外,可以针对阈值设置滞后。此外,上述式(2)是使用增益、亮度水平和相位差检测用像素的数量的运算表达式的示例,并且例如,可以使用诸如对数等函数适用的其他运算表达式。此外,在上述式(2)中,说明了执行使用增益、亮度水平和相位差检测用像素的数量的计算,但是也可以执行使用这些计算对象中的至少一个计算对象的计算。
此外,在图8中,类似于上述图3,例如,在驱动控制B中,在用作相位差检测用像素的像素100的密度为6%的情况下,光电二极管112A和光电二极管112B中的一个被独立地读出,从而可以获得像素信号(A信号或B信号)并且将其用作相位差检测用的信号。
<4.第四实施方案>
此外,如上所述,由于相位差检测的精度取决于散粒噪声,所以除了增益和亮度水平之外,像素100的驱动控制还可能与ROI面积(中所包括的像素的数量)相关联,该ROI面积与对应于相位差检测用像素的AF区域相对应。因此,在第四实施方案中,基于在固态成像元件10中设定的增益、亮度水平和ROI面积来控制排列在像素阵列单元11中的像素100的驱动。
(成像装置的构成例)
图9是示出了根据第四实施方案的成像装置的构成例的框图。
在图9中,成像装置1C包括固态成像元件10(图1)和控制单元200C。
与控制单元200A(图5)相比,除了驱动控制单元211、AE单元212和亮度水平检测单元213之外,控制单元200C还包括ROI设定单元216。
ROI设定单元216设定感兴趣的区域(ROI:region of interest)。ROI设定单元216基于ROI的设定信息来获取与ROI面积相关联的信息(在下文中,称为ROI面积信息),并且将其供给到驱动控制单元211。注意,ROI面积是对象的图像帧内的感兴趣的区域(ROI)的尺寸。
除了来自AE单元212的增益和来自亮度水平检测单元213的亮度水平之外,来自ROI设定单元216的ROI面积信息也被供给到驱动控制单元211。驱动控制单元211基于供给到其的增益、亮度水平和ROI面积信息来生成用于控制像素100的驱动的驱动控制信号,并且将驱动控制信号供给到固态成像元件10。
这里,例如,在成像装置1C具有供使用者用手指触摸屏幕以选择要被聚焦的被摄体的功能(触摸AF功能)的情况下,ROI设定单元216获取与针对由使用者选择的被摄体的AF区域的面积相对应的ROI面积。
于是,驱动控制单元211不仅可以与用于增益控制的照度和画面内的亮度水平而且可以与ROI面积相关联地控制像素100的驱动。例如,当ROI面积较小时,相位差检测的变化增大,因此驱动控制单元211使用更多的相位差检测用像素。
(像素的驱动例)
图10示出了根据第四实施方案的像素驱动控制的示例。
例如,驱动控制单元211基于供给到其的增益、亮度水平和ROI面积信息来计算下式(3),并且对计算结果执行阈值判定。然后,驱动控制单元211基于判定结果来控制固态成像元件10的排列在像素阵列单元11中的像素100的驱动。
增益+1/亮度水平+1/ROI面积···(3)
这里,在式(3)中,第一项和第二项与上述式(1)相似,第三项由“1/ROI面积”表示,因此,ROI面积(的大小)越小,计算结果的数值越大。
例如,在式(3)的计算结果小于第一阈值Th1的情况下,驱动控制单元211跟随驱动控制A来控制像素100的驱动,使得在排列于像素阵列单元11内的全部像素中,3%的像素100用作相位差检测用像素。
此外,例如,在式(3)的计算结果大于第一阈值Th1且小于第二阈值Th2的情况下,驱动控制单元211跟随驱动控制B来控制像素100的驱动,使得在排列于像素阵列单元11内的全部像素中,6%的像素100用作相位差检测用像素。
此外,例如,在式(3)的计算结果大于第二阈值Th2的情况下,驱动控制单元211跟随驱动控制C来控制像素100的驱动,使得排列在像素阵列单元11中的全部像素(100%的像素)用作相位差检测用像素和图像获取用像素这两种像素。
如上所述,在第四实施方案中,使用增益、亮度水平和ROI面积相对于式(3)的计算结果执行阈值判定,并且基于判定结果,在排列于像素阵列单元11内的像素100之中,利用预定密度(例如,3%、6%等)的像素100,光电二极管112A和光电二极管112B中的一个被设定为独立读出的对象。
即,在双PD型像素100排列在像素阵列单元11中的情况下,在式(3)的计算结果大于预定阈值(例如,第二阈值Th2)的情况下,全部像素100用作相位差检测用像素,但是在式(3)的计算结果小于预定阈值(例如,第一阈值Th1或第二阈值Th2)的情况下,仅以分散方式(以重复模式)配置的特定像素100用作相位差检测用像素。
当执行这种驱动时,在例如由于ROI面积较小而使得相位差检测的精度较低的情况下,在更多数量的像素100中检测到相位差检测用的信号,并且在例如由于ROI面积较大而使得相位差检测的精度较高的情况下,在离散的像素100中检测到相位差检测用的信号。因此,能够在未降低测距性能的情况下实现高照度下的低功耗和高速化。
此外,例如,通过使用ROI面积用于阈值判定,能够根据整个画面内将要聚焦的区域的照度来控制驱动,因此可以进一步提高测距性能。
注意,同样在图10中,阈值判定中使用的阈值的数量是任意的,此外,可以针对阈值设置滞后。此外,上式(3)是使用增益、亮度水平和ROI面积的运算表达式的示例,并且例如,可以使用诸如对数等函数适用的其他运算表达式。
此外,在上式(3)中,说明了使用亮度水平、增益和ROI面积执行的计算,但是也可以执行使用这些计算对象中的至少一个计算对象的计算。此外,通过组合式(2)和(3),除了增益和亮度水平之外,有效相位差检测用像素的数量也可以与ROI面积一起使用。
此外,在图10中,类似于上述图3,例如,在驱动控制B中,在用作相位差检测用像素的像素100的密度为6%的情况下,光电二极管112A和光电二极管112B中的一个被独立地读出,从而可以获得像素信号(A信号或B信号)并且将其用作相位差检测用的信号。
<5.第五实施方案>
顺便提及地,在基于上述驱动控制A和驱动控制B执行像素100的驱动控制并且部分时候左像素100A的光电二极管112A或右像素100B的光电二极管112B被独立地读出的情况下,从光电二极管112A和光电二极管112B中的一个中独立地读出的像素信号不能原样用于捕获图像,因此需要进行校正。因此,在第五实施方案中,说明对从固态成像元件10输出的输出信号执行校正处理的情况下的构成。
(成像装置的构成例)
图11是示出了根据第五实施方案的成像装置的构成例的框图。
在图11中,成像装置1A包括固态成像元件10(图1)、控制单元200A(图5)和信号处理单元300。与图5中所示的构成相比,除了固态成像元件10和控制单元200A之外,图11的成像装置1A还包括信号处理单元300。
信号处理单元300包括像素校正单元311、选择器312和图像信号处理单元313。将从固态成像元件10输出的输出信号(像素信号)供给到像素校正单元311和选择器312中的每个。
像素校正单元311对来自固态成像元件10的像素信号执行像素校正处理,并且将所得到的校正后的像素信号(校正像素信号)供给到选择器312。
例如,在该像素校正处理中,在供给来自构成作为相位差检测用像素的像素100的左像素100A的光电二极管112A的像素信号(A信号)的情况下,执行用于获得与来自相应右像素100B的光电二极管112B的像素信号(B信号)相对应的信号的校正处理,并且获得可以用于捕获图像的像素信号。
从固态成像元件10输出的像素信号和从像素校正单元311供给的校正像素信号作为输入信号输入到选择器312,并且从控制单元200A的驱动控制单元211输出的驱动控制信号作为选择控制信号输入到该选择器。
基于来自驱动控制单元211的驱动控制信号,选择器312选择来自固态成像元件10的像素信号和来自像素校正单元311的校正像素信号中的一个,并且将像素信号供给到图像信号处理单元313。
这里,驱动控制信号是基于通过对式(1)的计算结果的阈值判定而确定的驱动控制方法(驱动控制A、B、C),并且相位差检测用像素的位置和密度与增益(照度)和亮度水平相关联。因此,通过输入驱动控制信号作为选择器312的选择控制信号,相位差检测用像素的位置和密度可以与需要通过像素校正单元311校正的像素信号相关联。
例如,在根据通过相对于式(1)的计算结果的阈值判定而确定的驱动控制A(图6)驱动排列在像素阵列单元11中的像素100的情况下,将从用作相位差检测用像素的像素100(3%的像素)的光电二极管112A和光电二极管112B中的一个独立地读出的像素信号(A信号或B信号)输入到像素校正单元311,并由该像素校正单元进行校正。另一方面,从用作图像获取用像素的像素100(97%的像素)的光电二极管112A和光电二极管112B这两者读出的像素信号(A+B信号)不需要校正,并且按原样输入到选择器312。
此外,例如,在根据驱动控制C(图6)驱动排列在像素阵列单元11中的像素100的情况下,从用作相位差检测用像素和图像获取用像素这两种像素的像素100(100%的像素)的光电二极管112A和光电二极管112B读出的像素信号(A+B信号)不需要校正,并且按原样输入到选择器312。
图像信号处理单元313基于从选择器312供给的像素信号来执行预定的图像信号处理,并且将所得到的像素信号输出到后续阶段的电路。作为此处的图像信号处理,例如,执行诸如去马赛克、噪声去除、灰度校正、颜色校正、图像压缩/扩展等信号处理。此外,尽管省略了图示,但是将相位差检测用的信号输出到相位差检测单元,并用在用于检测此处的相位差的处理中。
注意,在图11中,已经说明了成像装置1A包括固态成像元件10(图1)、控制单元200A(图5)和图像信号处理单元300的情况,但是在成像装置1A中,代替控制单元200A,可以包括控制单元200B(图7)或控制单元200C(图9)。
<6.第六实施方案>
接着,对排列在像素阵列单元11中的像素100的读出功能进行说明。
注意,这里,在图14和图15中示出了本技术的读出功能的构成,在图12和图13中示出了现有读出功能的构成,并且通过比较本技术的读出功能与现有读出功能来进行说明。
(读出功能的构成)
图12~15示出了像素阵列单元11中的成像区域的部分区域、列信号处理电路13内的比较器151和DAC 152。
在图12~15中,假定构成像素100的光电二极管112A和112B上所描绘的圆圈表示触头C,并且在列方向上的每四个像素所描绘的菱形表示浮动扩散区域FD。
在像素阵列单元11中,二维排列的多个像素100以拜耳排列配置。在像素阵列单元11中,在列方向上排列的像素100共享浮动扩散区域FD。此外,从垂直驱动电路12(图1)供给相对于传输晶体管TR-Tr或选择晶体管SEL-Tr的驱动信号(TRG,SEL)。
各像素100包括左像素100A和右像素100B。除了光电二极管112A之外,左像素100A还具有传输晶体管TR-Tr-A。此外,除了光电二极管112B之外,右像素100B还具有传输晶体管TR-Tr-B。
在各像素100中,与光电二极管112A和112B连接的传输晶体管TR-Tr-A和TR-Tr-B根据输入到其栅极的驱动信号TRG来执行导通/截止操作,从而将由光电二极管112A和112B进行光电转换的电荷(信号电荷)传输到浮动扩散区域FD。
浮动扩散区域FD形成在作为共享像素的像素100的传输晶体管TR-Tr-A和TR-Tr-B以及由共享像素共享的复位晶体管RST-Tr和放大晶体管AMP-Tr之间的连接点处。复位晶体管RST-Tr根据输入到其栅极的驱动信号RST执行导通/截止操作,从而排出累积在浮动扩散区域FD中的电荷。
浮动扩散区域FD具有累积由作为共享像素的像素100的传输晶体管TR-Tr-A和TR-Tr-B传输的电荷的功能。根据累积的电荷量对浮动扩散区域FD的电位进行调制。放大晶体管AMP-Tr用作接收连接到其栅极的浮动扩散区域FD的电位变动作为输入信号的放大器,并且将输出信号电压经由选择晶体管SEL-Tr输出到垂直信号线(VSL)22。
选择晶体管SEL-Tr根据输入到其栅极的驱动信号SEL执行导通/截止操作,并且将来自放大晶体管AMP-Tr的电压信号输出到垂直信号线(VSL)22。
以这种方式,排列在像素阵列单元11中的像素100是列方向上的共享像素,并且共享像素的各像素100的左像素100A具有光电二极管112A和传输晶体管TR-Tr-A,右像素100B具有光电二极管112B和传输晶体管TR-Tr-B。此外,在共享像素中,浮动扩散区域FD是共享的,并且作为共享像素的像素电路,复位晶体管RST-Tr、放大晶体管AMP-Tr和选择晶体管SEL-Tr作为共享晶体管而被共享。
将输出到垂直信号线(VSL)22的信号电压输入到列信号处理电路13内的比较器151。
比较器151-1将来自垂直信号线(VSL1)22-1的信号电压(Vx)与来自DAC 152的斜波(ramp)的参照电压(Vref)进行比较,并且根据比较结果输出电平的输出信号。
类似地,除要与参照电压进行比较的信号电压改变为来自垂直信号线(VSL3)22-3、垂直信号线(VSL5)22-5或垂直信号线(VSL7)22-7的信号电压外,比较器151-2~151-4与比较器151-1类似,并且根据比较结果输出电平的输出信号。
然后,在列信号处理电路13中,基于来自比较器151的输出信号对复位电平或信号电平进行计数,由此使用相关双采样(CDS)实现列AD方式的AD转换。
(触头配置:现有构成)
这里,关于像素100的触头C的配置,该配置在图12和图13所示的现有读出功能的构成以及图14和图15所示的本技术的读出功能的构成之间存在部分不同。注意,在下列说明中,参照左上像素100对各行的像素100和各列的像素100的配置位置进行说明。此外,在下列说明中,图中的“SEL”和“TRG”用于区分驱动线和施加到相应驱动线的驱动信号。
即,在现有构成(图12和图13)中,在第一行的像素100中,与光电二极管112A和112B连接的传输晶体管TR-Tr-A和TR-Tr-B用的触头C分别与驱动线TRG6和TRG7连接。此外,在第二行的像素100中,与光电二极管112A和112B连接的传输晶体管TR-Tr-A和TR-Tr-B用的触头C分别与驱动线TRG4和TRG5连接。
此外,在现有构成(图12和图13)中,在第三行的像素100中,传输晶体管TR-Tr-A和TR-Tr-B用的触头C分别与驱动线TRG2和TRG3连接,并且在第四行的像素100中,传输晶体管TR-Tr-A和TR-Tr-B用的触头C分别与驱动线TRG0和TRG1连接。
类似地,在现有构成(图12和图13)中,在第五行至第八行的像素100中,传输晶体管TR-Tr-A用的触头C与驱动线TRG0、TRG2、TRG4或TRG6连接,并且传输晶体管TR-Tr-B用的触头C与驱动线TRG1、TRG3、TRG5或TRG7连接。
(触头配置:本技术的构成)
另一方面,在本技术(图14和图15)的构成中,第一行至第五行和第七行至第八行的像素100与由现有构成(图12和图13)表示的构成类似,使得传输晶体管TR-Tr-A用的触头C与驱动线TRG0、TRG2、TRG4或TRG6连接,并且传输晶体管TR-Tr-B用的触头C与驱动线TRG1、TRG3、TRG5或TRG7连接。
这里,在本技术的构成(图14和图15)中,关注于第六行的像素100,在驱动线TRG4和驱动线TRG5之间添加有驱动线TRG10。
然后,在第六行的像素100之中,第一列、第三列和第四列的像素100与由现有构成(图12和图13)表示的构成类似,使得传输晶体管TR-Tr-A用的触头C与驱动线TRG4连接,并且传输晶体管TR-Tr-B用的触头C与驱动线TRG5连接。
此外,在第六行的像素100中,第二列的像素100-62使得左侧传输晶体管TR-Tr-A用的触头C-62A与驱动线TRG4连接,而右侧传输晶体管TR-Tr-B用的触头C-62B与添加的驱动线TRG10连接。
即,在关注像素100-62的情况下,在由本技术的构成(图14和图15)表示的构成中,与由现有构成(图12和图13)表示的构成相比,构成的相同之处在于,触头C-62A与驱动线TRG4连接,但不同之处在于,触头C-62B与驱动线TRG10连接,而不是与驱动线TRG5连接。
换言之,可以认为的是,像素阵列单元11包括与第一像素部(例如,第六行的像素100(第二列的像素100-62除外))和第二像素部(例如,第二列的像素100-62)的第一光电转换单元(例如,光电二极管112A)连接的第一驱动线(例如,驱动线TRG4)、与第一像素部(例如,第六行的像素100(第二列的像素100-62除外))的第二光电转换单元(例如,光电二极管112B)连接的第二驱动线(例如,驱动线TRG5)以及与第二像素部(例如,第二列的像素100-62)的第二光电转换单元(例如,光电二极管112B)连接的第三驱动线(例如,驱动线TRG10)。
此时,第二驱动线(例如,驱动线TRG5)未与第二像素部(例如,第二列的像素100-62)的第二光电转换单元(例如,光电二极管112B)连接。此外,第三驱动线(例如,驱动线TRG10)未与第一像素部(例如,第六行的像素100(第二列的像素100-62除外))的第二光电转换单元(例如,光电二极管112B)连接。
(读出操作:现有构成)
接着,对具有上述构成的情况下的读出操作进行说明。这里,首先,参照图12和图13对现有读出操作进行说明。
在图12中,驱动信号SEL1变为L电平,并且由包括上侧的第一行至第四行的像素100的共享像素共享的选择晶体管SEL-Tr处于截止状态,同时驱动信号SEL0变为H电平,并且由包括下侧的第五行至第八行的像素100的共享像素共享的选择晶体管SEL-Tr处于导通状态。因此,选择包括下侧的第五行至第八行的像素100的共享像素。
此时,如图12所示,在驱动信号TRG0~TRG7之中,仅驱动信号TRG4变为H电平,并且在第六行的各像素100中,与光电二极管112A连接的传输晶体管TR-Tr-A处于导通状态。
因此,将由图12中的粗框包围的第六行的各像素100的光电二极管112A中累积的电荷传输到与各共享像素相对应的浮动扩散区域FD。然后,在包括第六行的各像素100的共享像素中,在放大晶体管AMP-Tr中,浮动扩散区域FD的电位变动用作到栅极的输入信号电压,并且将输出信号电压经由选择晶体管SEL-Tr输出到垂直信号线22。
以这种方式,第六行的各像素100的光电二极管112A中累积的电荷被独立地读出,并且获得像素信号(A信号)。
此后,如图13所示,在驱动信号SEL0保持在H电平的同时,驱动信号TRG4和TRG5变为H电平,并且在第六行的各像素100中,与光电二极管112A连接的传输晶体管TR-Tr-A和与光电二极管112B连接的传输晶体管TR-Tr-B同时变为导通状态。
因此,将累积在由图13中的粗框包围的第六行的各像素100的光电二极管112A和112B中的电荷传输到浮动扩散区域FD。然后,在包括第六行的各像素100的共享像素中,通过放大晶体管AMP-Tr,将取决于浮动扩散区域FD的电位变动的信号电压经由选择晶体管SEL-Tr输出到垂直信号线22。
以这种方式,累加并读出累积在第六行的各像素100的光电二极管112A和112B中的电荷,并且获得像素信号(A+B信号)。
于是,在现有读出操作中,如图12和图13所示,获得作为相位差检测用的信号的A信号,并且获得作为图像获取用的信号的A+B信号。因此,通过执行A+B信号和A信号之间的差分处理,可以获取与B信号相对应的信号。因此,获得作为相位差检测用的信号的A信号和B信号。即,为了获取相位差检测用的信号,现有读出操作需要两次读出操作。
(读出操作:本技术的构成)
接着,参照图14和图15对本技术的读出操作进行说明。
在图14中,驱动信号SEL0变为H电平,并且由包括下侧的第五行至第八行的像素100的共享像素共享的选择晶体管SEL-Tr处于导通状态。因此,选择包括下侧的第五行至第八行的像素100的共享像素。
此时,如图14所示,在驱动信号TRG0~TRG7和TRG10之中,驱动信号TRG4和TRG5变为H电平,并且第六行的各像素100(第二列的像素100除外)的与光电二极管112A连接的传输晶体管TR-Tr-A和与光电二极管112B连接的传输晶体管TR-Tr-B同时变为导通状态。
因此,在第六行的各像素100(第二列的像素100除外)中,如图14中的粗框所示,累加并读出累积在光电二极管112A和112B中的电荷,并且获得像素信号(A+B信号)。
这里,在第六行的像素100之中,关注于第二列的像素100-62,如上所述,与光电二极管112B连接的触头C-62B同驱动线TRG10连接,并且由于施加到其的驱动信号TRG10处于L电平,所以仅左侧传输晶体管TR-Tr-A变为导通状态。
因此,在像素100-62中,如图14中的粗框所示,累积在左侧光电二极管112A中的电荷被独立地读出,并且获得像素信号(A信号)。
此外,尽管省略了图示,但是排列在像素阵列单元11中的像素100包括这样的像素100,其中对比于像素100-62,累积在右侧光电二极管112B中的电荷被独立地读出并且可以获取像素信号(B信号)。例如,如果上述像素100-62是能够获取B信号的像素100,则仅需要将触头C-62A连接到驱动线TRG10,而不是驱动线TRG4,并且将触头C-62B连接到驱动线TRG5。
即,排列在像素阵列单元11中的像素100包括作为图像获取用像素的能够获取A+B信号的像素100以及作为相位差检测用像素的能够获取A信号的像素100和能够获取B信号的像素100。这里,如上述第一至第四实施方案所述的,基于增益、亮度水平等来确定用作相位差检测用像素的像素100的密度(例如,驱动控制A的情况下的3%等),并且根据该密度的像素100用作用于获得A信号或B信号的相位差检测用像素。
于是,在本技术的读出操作中,如图14所示,获得作为相位差检测用的信号的A信号和B信号,并且获得作为图像获取用的信号的A+B信号。因此,为了获取相位差检测用的信号,仅需要执行一次读出操作。即,在上述现有读出操作中,为了获取相位差检测用的信号,需要执行两次读出,但是在本技术的读出操作中,能够将读出操作的次数减少至一次。
注意,在使像素100-62用作图像获取用像素的情况下,如图15所示,驱动信号SEL0设定为H电平状态,此外,驱动信号TRG4、TRG5和驱动信号TRG10设定为H电平。因此,在像素100-62中,与其他的第六行的各个像素100类似,传输晶体管TR-Tr-A和TR-Tr-B同时设定为导通状态,并且如图15中的粗框所示,累加并读出累积在光电二极管112A和112B中的电荷,并且获得像素信号(A+B信号)。
换言之,在本技术的读出操作中,可以认为的是,在像素阵列单元11的成像区域中的照度(或者,例如,式(1)、(2)或(3)的计算结果)小于预定阈值(例如,第一阈值Th1或第二阈值Th2)的情况下,在第一像素部(例如,第六行的像素100(第二列的像素100-62除外))中,使用第一驱动线(例如,驱动线TRG4)和第二驱动线(例如,驱动线TRG5)分别生成与第一光电转换单元(例如,光电二极管112A)相对应的像素信号和与第二光电转换单元(例如,光电二极管112B)相对应的像素信号,在照度大于预定阈值的情况下,在第二像素部(例如,第二列的像素100-62)中,使用第一驱动线(例如,驱动线TRG4)和第三驱动线(例如,驱动线TRG10)分别生成与第一光电转换单元(例如,光电二极管112A)相对应的像素信号和与第二光电转换单元(例如,光电二极管112B)相对应的像素信号,同时在第一像素部(例如,第六行的像素100(第二列的像素100-62除外))中,累加并生成与第一光电转换单元(例如,光电二极管112A)相对应的像素信号和与第二光电转换单元(例如,光电二极管112B)相对应的像素信号。
此外,在本技术的读出操作中,也可以认为的是,在像素阵列单元11的成像区域中的照度(或者,例如,式(1)、(2)或(3)的计算结果)小于预定阈值(例如,第一阈值Th1或第二阈值Th2)的情况下,在第一像素部(例如,第六行的像素100(第二列的像素100-62除外))和第二像素部(例如,第二列的像素100-62)中,读出来自第一光电转换单元(例如,光电二极管112A)的像素信号和来自第二光电转换单元(例如,光电二极管112B)的像素信号,在照度大于预定阈值的情况下,在第二像素部(例如,第二列的像素100-62)中,读出来自第一光电转换单元(例如,光电二极管112A)的像素信号和来自第二光电转换单元(例如,光电二极管112B)的像素信号,同时在第一像素部(例如,第六行的像素100(第二列的像素100-62除外))中,累加并读出来自第一光电转换单元(例如,光电二极管112A)的像素信号和来自第二光电转换单元(例如,光电二极管112B)的像素信号。
<7.第七实施方案>
顺便提及地,在上述实施方案中,已经说明了其中针对一个片上透镜111设置两个光电二极管112A和112B的双PD型结构,但是可以采用另一种结构。这里,例如,可以采用其中针对一个片上透镜111设置四个光电二极管112A、112B、112C和112D的结构(在下文中,也称为2×2OCL结构)。
因此,下面说明采用2×2OCL结构的情况作为第七实施方案。
(2×2OCL结构的示例)
图16是示出了具有2×2OCL结构的像素的结构例的图。
图16的A示出了在排列于像素阵列单元11内的多个像素120之中当从光入射侧观察时排列在预定的成像区域中的8行8列(8×8)的像素120的平面图。此外,图16的B示出了图16的A所示的像素120的X-X’断面。
如图16所示,像素120包括其中针对一个片上透镜111设置四个光电二极管112A~112D的2×2OCL结构。还可以认为的是,具有2×2OCL结构的像素120是包括具有左上光电二极管112A的左上像素120A、具有右上光电二极管112B的右上像素120B、具有左下光电二极管112C的左下像素120C和具有右下光电二极管112D的右下像素120D的像素部(第一像素部或第二像素部)。
在具有2×2OCL结构的像素120中,从累积在光电二极管112A~112D中的电荷获得的信号用作图像获取用的信号,并且从累积在光电二极管112A~112D中的每个内的电荷获得的信号可以用作相位差检测用的信号。
如上所述,像素120具有2×2OCL结构的结构,并且可以用作图像获取用像素和相位差检测用像素这两者。
此外,如图16的B的断面图所示,像素120包括片上透镜111下方的滤色器113,并且根据由滤色器113透射的波长成分而构造成R像素120、G像素120或B像素120。在像素阵列单元11中,R像素120、G像素120和B像素120可以以诸如拜耳排列等排列模式排列。
接着,对采用2×2OCL结构作为排列在像素阵列单元11中的像素120的结构的情况下的读出功能进行说明。
注意,这里,在图19~22中示出了本技术的读出功能的构成,在图17和图18中示出了现有读出功能的构成,并且对本技术的读出功能和现有读出功能之间的区别进行说明。然而,作为本技术的读出功能,对在左侧或右侧光电二极管112被独立地读出的情况下的第一构成(图19和图20)和在上侧或下侧光电二极管112被独立地读出的情况下的第二构成(图21和图22)进行说明。
(读出功能的构成)
与上述图12~15类似,图17~22示出了像素阵列单元11中的成像区域的部分区域、列信号处理电路13内的比较器151和DAC 152。
图17~22与图12~15的不同之处在于,在像素阵列单元11中,代替具有双PD型结构的像素100(图2),排列有具有2×2OCL结构的像素120(图16)。
即,在图17~22中,排列在像素阵列单元11中的像素120是列方向上的共享像素,并且在共享像素的各像素120中,左上像素120A具有光电二极管112A和传输晶体管TR-Tr-A,右上像素120B具有光电二极管112B和传输晶体管TR-Tr-B。此外,在共享像素的各像素120中,左下像素120C具有光电二极管112C和传输晶体管TR-Tr-C,右下像素120D具有光电二极管112D和传输晶体管TR-Tr-D。
此外,在共享像素中,浮动扩散区域FD是共享的,并且作为共享像素的像素电路,复位晶体管RST-Tr、放大晶体管AMP-Tr和选择晶体管SEL-Tr作为共享晶体管而被共享。
(触头配置:现有构成)
这里,关于像素120的触头C的配置,该配置在图17和图18所示的现有读出功能的构成和图19~22所示的本技术的读出功能的构成之间具有部分不同。
即,在现有构成(图17和图18)中,在上侧的第一行和第二行的像素120中,与左上像素120A的光电二极管112A连接的传输晶体管TR-Tr-A用的触头C与驱动线TRG2和TRG6连接,并且与右上像素120B的光电二极管112B连接的传输晶体管TR-Tr-B用的触头C与驱动线TRG3和TRG7连接。
此外,在上侧的第一行和第二行的像素120中,与左下像素120C的光电二极管112C连接的传输晶体管TR-Tr-C用的触头C与驱动线TRG0和TRG4连接,并且与右下像素120D的光电二极管112D连接的传输晶体管TR-Tr-D用的触头C与驱动线TRG1和TRG5连接。
类似地,在现有构成(图17和图18)中,同样在下侧的第三行和第四行中,传输晶体管TR-Tr-A用的触头C与驱动线TRG2和TRG6连接,传输晶体管TR-Tr-B用的触头C与驱动线TRG3和TRG7连接,传输晶体管TR-Tr-C用的触头C与驱动线TRG0和TRG4连接,并且传输晶体管TR-Tr-D用的触头C与驱动线TRG1和TRG5连接。
(触头配置:本技术的第一构成)
另一方面,在本技术的第一构成(图19和图20)中,第一行、第二行和第四行的像素120与图17和图18所示的构成类似,使得传输晶体管TR-Tr-A用的触头C与驱动线TRG2和TRG6连接,传输晶体管TR-Tr-B用的触头C与驱动线TRG3和TRG7连接,传输晶体管TR-Tr-C用的触头C与驱动线TRG0和TRG4连接,并且传输晶体管TR-Tr-D用的触头C与驱动线TRG1和TRG5连接。
这里,在本技术的第一构成(图19和图20)中,关注于第三行的像素120,在驱动线TRG4和驱动线TRG5之间添加有驱动线TRG20,此外,在驱动线TRG6和驱动线TRG7之间添加有驱动线TRG21。
然后,在第三行的像素120之中,第一列、第二列和第四列的像素120与现有构成(图17和图18)类似,使得各传输晶体管TR-Tr用的触头C与相对应的驱动线TRG连接。
此外,在第三行的像素120中,第三列的像素120-33使得左侧传输晶体管TR-Tr-A和TR-Tr-C用的触头C-33A和C-33C分别与驱动线TRG6和TRG4连接,而右侧传输晶体管TR-Tr-B和TR-Tr-D用的触头C-33B和C-33D分别与添加的驱动线TRG21和TRG20连接。
即,在关注像素120-33的情况下,在本技术的第一构成(图19和图20)中,与现有构成(图17和图18)相比,构成的相同之处在于,触头C-33A和C-33C分别与驱动线TRG6和TRG4连接,而不同之处在于,触头C-33B和C-33D分别与驱动线TRG21和TRG20连接,而不是分别与驱动线TRG7和TRG5连接。
换言之,可以认为的是,像素阵列单元11包括与第一像素部(例如,第三行的像素120(第三列的像素120-33除外))和第二像素部(例如,第三列的像素120-33)的第一光电转换单元(例如,光电二极管112A和112C)连接的第一驱动线(例如,驱动线TRG6和TRG4)、与第一像素部(例如,第三行的像素120(第三列的像素120-33除外))的第二光电转换单元(例如,光电二极管112B和112D)连接的第二驱动线(例如,驱动线TRG7和TRG5)以及与第二像素部(例如,第三列的像素120-33)的第二光电转换单元(例如,光电二极管112B和112D)连接的第三驱动线(例如,驱动线TRG21和TRG20)。
此时,第二驱动线(例如,驱动线TRG7和TRG5)未与第二像素部(例如,第三列的像素120-33)的第二光电转换单元(例如,光电二极管112B和112D)连接。此外,第三驱动线(例如,驱动线TRG21和TRG20)未与第一像素部(例如,第三行的像素120(第三列的像素120-33除外))的第二光电转换单元(例如,光电二极管112B和112D)连接。以这种方式,通过设置两条第三驱动线(例如,驱动线TRG21和TRG20),具有2×2OCL结构的像素120可以单独地用作相位差检测用像素。
(触头配置:本技术的第二构成)
此外,在本技术的第二构成(图21和图22)中,在第三行的像素120之中,关注于第三行的像素120,在驱动线TRG4和驱动线TRG5之间添加有驱动线TRG30,此外,在驱动线TRG6和驱动线TRG7之间添加有驱动线TRG31。
然后,在第三行的像素120中,第三列的像素120-33使得上侧传输晶体管TR-Tr-A和TR-Tr-B用的触头C-33A和C-33B分别与驱动线TRG6和TRG7连接,而下侧传输晶体管TR-Tr-C和TR-Tr-D用的触头C-33C和C-33D分别与添加的驱动线TRG30连接。
即,在关注像素120-33的情况下,在本技术的第二构成(图21和图22)中,与现有构成(图17和图18)相比,构成的相同之处在于,触头C-33A和C-33B分别与驱动线TRG6和TRG7连接,而不同之处在于,触头C-33C和C-33D分别与驱动线TRG30连接,而不是分别与驱动线TRG4和TRG5连接。
换言之,可以认为的是,像素阵列单元11包括与第一像素部(例如,第三行的像素120(第三列的像素120-33除外))和第二像素部(例如,第三列的像素120-33)的第一光电转换单元(例如,光电二极管112A和112B)连接的第一驱动线(例如,驱动线TRG6和TRG7)、与第一像素部(例如,第三行的像素120(第三列的像素120-33除外))的第二光电转换单元(例如,光电二极管112C和112D)连接的第二驱动线(例如,驱动线TRG4和TRG5)以及与第二像素部(例如,第三列的像素120-33)的第二光电转换单元(例如,光电二极管112C和112D)连接的第三驱动线(例如,驱动线TRG30)。
此时,第二驱动线(例如,驱动线TRG4和TRG5)未与第二像素部(例如,第三列的像素120-33)的第二光电转换单元(例如,光电二极管112C和112D)连接。此外,第三驱动线(例如,驱动线TRG30)未与第一像素部(例如,第三行的像素120(第三列的像素120-33除外))的第二光电转换单元(例如,光电二极管112C和112D)连接。
(读出操作:现有构成)
接着,对具有上述构成的情况下的读出操作进行说明。这里,首先,参照图17和图18对现有读出操作进行说明。
在图17中,驱动信号SEL0变为H电平,由包括下侧的第三行和第四行的像素120的共享像素共享的选择晶体管SEL-Tr处于导通状态,并且选择共享像素。
此时,如图17所示,在驱动信号TRG0~TRG7之中,驱动信号TRG6变为H电平,并且在第三行的像素120中,传输晶体管TR-Tr-A处于导通状态。因此,在第三行的各像素120的左上像素120A中,如图17中的粗框所示,光电二极管112A中累积的电荷被独立地读出,并且获得像素信号(A信号)。
此后,如图18所示,驱动信号SEL0保持在H电平,驱动信号TRG4~TRG7变为H电平,并且在第三行的像素120中,传输晶体管TR-Tr-A~TR-Tr-D变为导通状态。因此,在第三行的各像素120中,如图18中的粗框所示,累加并读出累积在光电二极管112A~112D中的电荷,并且获得像素信号(A+B+C+D信号)。
于是,在现有读出操作中,如图17和图18所示,获得作为相位差检测用的信号的A信号,并且获得作为图像获取用的信号的A+B+C+D信号。因此,例如,为了获取作为相位差检测用的信号的与B信号相对应的信号,需要进一步的读出操作或差分处理。
(读出操作:本技术的第一构成)
接着,参照图19和图20对本技术的第一构成的读出操作进行说明。
在图19中,驱动信号SEL0变为H电平,由包括下侧的第三行和第四行的像素120的共享像素共享的选择晶体管SEL-Tr处于导通状态,并且选择共享像素。
此时,如图19所示,在驱动信号TRG0~TRG7、TRG20和TRG21之中,驱动信号TRG4~TRG7处于H电平,并且在第三行的各像素120(第三列的像素120除外)中,传输晶体管TR-Tr-A~TR-Tr-D同时变为导通状态。
因此,在第三行的各像素120(第三列的像素120除外)中,如图19中的粗框所示,累加并读出累积在光电二极管112A~112D中的电荷,并且获得像素信号(A+B+C+D信号)。
这里,在第三行的像素120之中,关注于第三列的像素120-33,如上所述,在右上像素120B和右下像素120D中,触头C-33B和C-33D分别与驱动线TRG21和TRG20连接,施加到驱动线的驱动信号TRG21和TRG20处于L电平。因此,在像素120-33中,仅左侧传输晶体管TR-Tr-A和TR-Tr-C变为导通状态。
因此,在像素120-33中,如图19中的粗框所示,累积在左侧光电二极管112A和112C中的电荷被独立地读出,并且获得像素信号(A+C信号)。
此外,尽管省略了图示,但是排列在像素阵列单元11中的像素120包括这样的像素120,其中对比于像素120-33,仅读出累积在右侧光电二极管112B和112D中的电荷,并且可以获取像素信号(B+D信号)。例如,如果上述像素120-33是能够获取B+D信号的像素120,则仅需要将触头C-33A和C-33C连接到驱动线TRG21和TRG20,而不是驱动线TRG6和TRG4,并且将触头C-33B和C-33D连接到驱动线TRG7和TRG5。
即,排列在像素阵列单元11中的像素120包括作为图像获取用像素的能够获取A+B+C+D信号的像素120以及作为相位差检测用像素的能够获取左侧A+C信号的像素120和能够获取右侧B+D信号的像素120。这里,如上述第一至第四实施方案所述的,基于增益、亮度水平等来确定用作相位差检测用像素的像素120的密度(例如,驱动控制A的情况下的3%等),并且根据该密度的像素120用作用于获得A+C信号或B+D信号的相位差检测用像素。
于是,在本技术的读出操作中,如图19所示,获得作为相位差检测用的信号的A+C信号和B+D信号,并且获得作为图像获取用的信号的A+B+C+D信号。因此,为了获取相位差检测用的信号,仅需要执行一次读出操作。即,在上述现有读出操作中,为了获取相位差检测用的信号,需要执行多次读出,但是在本技术的读出操作中,能够将读出操作的次数减少至一次。
注意,在使像素120-33用作图像获取用像素的情况下,如图20所示,驱动信号SEL0设定为H电平状态,此外,驱动信号TRG4~TRG7以及驱动信号TRG20和TRG21设定为H电平。因此,在像素120-33中,与第三行的其他像素120类似,传输晶体管TR-Tr-A~TR-Tr-D同时设定为导通状态,并且如图20中的粗框所示,累加并读出累积在光电二极管112A~112D中的电荷,并且获得像素信号(A+B+C+D信号)。
(读出操作:本技术的第二构成)
接着,参照图21和图22对本技术的第二构成的读出操作进行说明。
在图21中,驱动信号SEL0变为H电平,由包括下侧的第三行和第四行的像素120的共享像素共享的选择晶体管SEL-Tr处于导通状态,并且选择共享像素。
此时,如图21所示,在驱动信号TRG0~TRG7、TRG30和TRG31之中,驱动信号TRG4~TRG7处于H电平,并且在第三行的各像素120(第三列的像素120除外)中,传输晶体管TR-Tr-A~TR-Tr-D同时变为导通状态。
因此,在第三行的各像素120(第三列的像素120除外)中,如图21中的粗框所示,累加并读出累积在光电二极管112A~112D中的电荷,并且获得像素信号(A+B+C+D信号)。
这里,在第三行的像素120之中,关注于第三列的像素120-33,如上所述,在左下像素120C和右下像素120D中,触头C-33C和C-33D分别与驱动线TRG30连接,施加到驱动线的驱动信号TRG30处于L电平。因此,在像素120-33中,仅上侧传输晶体管TR-Tr-A和TR-Tr-B变为导通状态。
因此,在像素120-33中,如图21中的粗框所示,累积在上侧光电二极管112A和112B中的电荷被独立地读出,并且获得像素信号(A+B信号)。
此外,尽管省略了图示,但是排列在像素阵列单元11中的像素120包括这样的像素120,其中对比于像素120-33,仅读出累积在下侧光电二极管112C和112D中的电荷,并且可以获取像素信号(C+D信号)。如果上述像素120-33是能够获取C+D信号的像素120,则仅需要将触头C-33A和C-33B一起连接到驱动线TRG31,而不是驱动线TRG6和TRG7,并且将触头C-33C和C-33D连接到驱动线TRG4和TRG5。
即,排列在像素阵列单元11中的像素120包括作为图像获取用像素的能够获取A+B+C+D信号的像素120以及作为相位差检测用像素的能够获取上侧A+B信号的像素120和能够获取下侧C+D信号的像素120。这里,如上述第一至第四实施方案所述的,基于增益、亮度水平等来确定用作相位差检测用像素的像素120的密度(例如,驱动控制A的情况下的3%等),并且根据该密度的像素120用作用于获得A+B信号或C+D信号的相位差检测用像素。
于是,在本技术的读出操作中,如图21所示,获得作为相位差检测用的信号的A+B信号和C+D信号,并且获得作为图像获取用的信号的A+B+C+D信号。因此,为了获取相位差检测用的信号,仅需要执行一次读出操作。即,在上述现有读出操作中,为了获取相位差检测用的信号,需要执行多次读出,但是在本技术的读出操作中,能够将读出操作的次数减少至一次。
注意,在使像素120-33用作图像获取用像素的情况下,如图22所示,驱动信号SEL0设定为H电平状态,此外,驱动信号TRG4~TRG7以及驱动信号TRG30和TRG31设定为H电平。因此,在像素120-33中,与第三行的其他像素120类似,传输晶体管TR-Tr-A~TR-Tr-D同时设定为导通状态,并且如图22中的粗框所示,累加并读出累积在光电二极管112A~112D中的电荷,并且获得像素信号(A+B+C+D信号)。
<8.变形例>
在上述说明中,根据与驱动线TRG的连接形式,将排列在像素阵列单元11中的像素100或像素120说明为构造成第一像素部或第二像素部。然而,这些像素部可以是具有一个以上的光电转换单元(例如,光电二极管)的像素单元。例如,像素单元可以具有偶数个光电转换单元(例如,光电二极管)。
更具体地,构造成第一像素部或第二像素部的像素100具有两个光电转换单元:左像素100A的光电二极管112A和右像素100B的光电二极管112B。此外,构造成第一像素部或第二像素部的像素120具有四个光电转换单元:左上像素120A的光电二极管112A、右上像素120B的光电二极管112B、左下像素120C的光电二极管112C和右下像素120D的光电二极管112D。
注意,在上述说明中,说明了第一像素部或第二像素部是具有两个或四个光电转换单元的像素单元的情况,但是例如,可以设置多个光电转换单元,如具有八个光电转换单元的像素单元。此外,在上述说明中,已经主要说明了像素部中光电二极管112A或光电二极管112B中累积的电荷被独立地读出的情况,但是如上所述,累积在光电二极管112A和光电二极管112B中的电荷可以被独立地读出。
此外,在上述实施方案中,说明了AE单元212基于固态成像元件10中设定的曝光信息而用作检测像素阵列单元11的成像区域中的照度的照度检测单元的情况,但是用于检测照度的方法不限于此。
即,在上述实施方案中,AE单元212基于从对象的图像帧之前的图像帧获得的曝光量来检测像素阵列单元11的成像区域中的照度,但是例如,可以分别生成用于检测照度的图像帧。此外,可以设置用于检测照度的照度传感器。照度传感器可以设置在固态成像元件10的内部或外部(不同于固态成像元件10的位置处)。
此外,在上述实施方案中,作为与取决于照度的增益一起用于阈值判定的相位差检测的精度有关的信息(在下文中,也称为精度相关信息),说明了对象的图像帧内的对象区域中的亮度水平(上述式(1)的亮度水平)、用于相位差检测的像素之中的有效像素的数量(上述式(2)的有效相位差检测用像素的数量)和对象的图像帧内的感兴趣的区域的尺寸(上述式(3)的ROI面积),但是精度相关信息不限于此。
即,上述实施方案中所述的亮度水平、有效相位差检测用像素的数量和ROI面积是精度相关信息的示例。此外,还可以认为的是,控制单元200A(图5)的亮度水平检测单元213、控制单元200B(图7)的相位差检测单元214和计数单元215以及控制单元200C(图9)的ROI设定单元216是获取与相位差检测的精度相关的精度相关信息的获取单元。
注意,在上述实施方案中,作为成像装置,说明了成像装置1A(图5和图11)、成像装置1B(图7)和成像装置1C(图9),但是固态成像元件10(图1等)可以理解为成像装置。即,也可以认为的是,固态成像元件10例如是CMOS图像传感器,也是成像装置。
在上述实施方案中,作为排列在像素阵列单元11中的像素100或像素120的结构,说明了双PD型结构和2×2OCL结构,但是可以采用其他结构。简言之,作为排列在像素阵列单元11中的像素,只要像素可以用作图像获取用像素或相位差检测用像素就足够了,并且它们的结构是任意的。注意,相位差检测用像素是像平面相位差AF用的像素,并且也称为相位检测自动对焦(PDAF:phase detection auto focus)像素等。
此外,在上述实施方案中,作为固态成像元件10,CMOS图像传感器作为示例进行说明,但是应用不限于CMOS图像传感器,而是可以适用于其中像素二维地排列的一般的固态成像元件,例如,电荷耦合器件(CCD:charge coupled device)图像传感器。此外,本技术不仅可以适用于检测可见光的入射光量的分布且捕获其作为图像的固态成像元件,而且可以适用于捕获红外线、X射线、粒子等的入射光量的分布作为图像的一般的固态成像元件。
<9.电子设备的构成>
图23是示出了包括本技术适用的固态成像元件的电子设备的构成例的框图。
例如,电子设备1000是诸如包括数码相机、摄像机等的成像装置、包括智能手机、平板电脑或移动电话等的移动终端装置等具有成像功能的电子设备。
电子设备1000包括透镜单元1011、成像单元1012、信号处理单元1013、控制单元1014、显示单元1015、记录单元1016、操作单元1017、通信单元1018、电源单元1019和驱动单元1020。此外,信号处理单元1013、控制单元1014、显示单元1015、记录单元1016、操作单元1017、通信单元1018和电源单元1019通过电子设备1000中的总线1021彼此连接。
透镜单元1011包括变焦透镜、聚焦透镜等,并且会聚来自被摄体的光。由透镜单元1011会聚的光(被摄体光)进入成像单元1012。
成像单元1012包括本技术已适用的固态成像元件(例如,图1的固态成像元件10)。成像单元1012将通过透镜单元1011接收的光(被摄体光)光电转换为电气信号,并且将所得到的信号供给到信号处理单元1013。
注意,在成像单元1012中,固态成像元件10的像素阵列单元11包括作为以预定排列模式规则地排列的像素的像素100(或像素120)。像素100(或像素120)可以用作图像获取用像素或相位差检测用像素。这里,成像单元1012可以被认为是本技术适用的固态成像元件。
信号处理单元1013是对从成像单元1012供给的信号进行处理的信号处理电路。例如,信号处理单元1013包括数字信号处理器(DSP)电路等。
信号处理单元1013对来自成像单元1012的信号进行处理,以生成静止图像或运动图像的图像数据,并将图像数据供给到显示单元1015或记录单元1016。此外,信号处理单元1013基于来自成像单元1012(相位差检测用像素)的信号生成用于检测相位差的数据(相位差检测数据),并将数据供给到控制单元1014。
例如,控制单元1014包括中央处理单元(CPU)、微处理器等。控制单元1014控制电子设备1000的各单元的操作。
例如,显示单元1015包括诸如液晶显示器(LCD)和有机电致发光(EL)显示器等显示装置。显示单元1015对从信号处理单元1013供给的图像数据进行处理,并显示由成像单元1012捕获的静止图像或运动图像。
例如,记录单元1016包括诸如半导体存储器、硬盘和光盘等记录介质。记录单元1016记录从信号处理单元1013供给的图像数据。此外,根据来自控制单元1014的控制,记录单元1016输出所记录的图像数据。
例如,操作单元1017包括物理按钮以及与显示单元1015结合的触摸面板。操作单元1017根据使用者的操作输出关于电子设备1000的各种功能的操作指令。控制单元1014基于从操作单元1017供给的操作指令来控制各单元的操作。
例如,通信单元1018包括通信接口电路等。通信单元1018根据预定的通信标准通过无线通信或有线通信与外部设备交换数据。
电源单元1019适宜地向这些供给对象供给各种电源作为成像单元1012、信号处理单元1013、控制单元1014、显示单元1015、记录单元1016、操作单元1017、通信单元1018和驱动单元1020的操作电源。
此外,控制单元1014基于从信号处理单元1013供给的相位差检测数据来检测两个图像之间的相位差。然后,控制单元1014基于相位差的检测结果来判定作为聚焦对象的物体(要聚焦的物体)是否被聚焦。在要聚焦的物体未被聚焦的情况下,控制单元1014计算聚焦偏差量(散焦量),并将散焦量供给到驱动单元1020。
例如,驱动单元1020包括电机等,并且驱动包括变焦透镜、聚焦透镜等的透镜单元1011。
驱动单元1020基于从控制单元1014供给的散焦量来计算透镜单元1011的聚焦透镜的驱动量,并且根据驱动量移动聚焦透镜。注意,在要聚焦的物体被聚焦的情况下,驱动单元1020保持聚焦透镜的当前位置。以这种方式,执行像平面相位差AF。
如上所述构造电子设备1000。
<10.固态成像元件的使用例>
图24是示出了本技术适用的固态成像元件的使用例的图。
例如,固态成像元件10(图1)可以用于感测诸如可见光、红外光、紫外光和X射线等光的各种情况。即,如图24所示,例如,可以在这样的装置中使用固态成像元件10,该装置不仅用在捕获要用于鉴赏的图像的鉴赏领域中,而且用在交通领域、家用电器领域、医疗保健领域、安保领域、美容领域、运动领域、农业领域等领域中。
具体地,在鉴赏领域中,例如,固态成像元件10可以用在用于捕获要用于鉴赏的图像的装置(例如,图23的电子设备1000)中,如数码相机、智能手机和具有相机功能的移动电话等。
在交通领域中,例如,固态成像元件10可以用在用于交通的装置中,如捕获汽车的前方、后方、周围、内部的图像等的车载传感器,监视行驶车辆或道路的监视相机以及测量车辆间距离等的测距传感器等,用于如自动停车等安全驾驶或者用于识别驾驶员的状况。
在家用电器领域中,例如,固态成像元件10可以用在捕获使用者的姿态的图像以根据该姿态进行装置操作的用作家用电器的装置中,如电视机、冰箱和空调等。此外,在医疗保健领域中,例如,固态成像元件10可以用在用于医疗或保健的装置中,如内窥镜以及通过接收红外光来捕获血管的图像的装置等。
在安保领域中,例如,固态成像元件10可以用在用于安保的装置中,如用于预防犯罪的监视相机和用于个人身份认证的相机等。此外,在美容领域中,例如,图像传感器10可以用在用于美容的装置中,如捕获皮肤的图像的皮肤测量仪以及捕获头皮的图像的显微镜等。
在运动领域中,例如,图像传感器10可以用在用于运动的装置中,如用于运动等的运动相机和可穿戴式相机等。此外,在农业领域中,例如,图像传感器10可以用在用于农业的装置中,如用于监视田地或农作物的状况的相机等。
<11.移动体的应用例>
根据本公开的技术(本技术)可以适用于各种产品。例如,根据本公开的技术可以实现为安装在诸如汽车、电动汽车、混合电动汽车、摩托车、自行车、个人移动装置、飞机、无人机、船舶或机器人等任意类型的移动体上的装置。
图25是示出了作为根据本公开的技术可以适用的移动体控制系统的示例的车辆控制系统的示意性构成例的框图。
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图25所示的示例中,车辆控制系统12000包括驱动系统控制单元12010、主体系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和综合控制单元12050。此外,作为综合控制单元12050的功能构成,示出了微型计算机12051、音频图像输出单元12052以及车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统有关的装置的操作。例如,驱动系统控制单元12010用作用于诸如内燃机或驱动电机等的产生车辆的驱动力的驱动力产生装置、向车轮传递驱动力的驱动力传递机构、调节车辆的转向角的转向机构、产生车辆的制动力的制动装置等的控制装置。
主体系统控制单元12020根据各种程序来控制安装在车体上的各种装置的操作。例如,主体系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动窗装置或诸如头灯、尾灯、刹车灯、闪光灯或雾灯等各种灯的控制装置。在这种情况下,主体系统控制单元12020可以接收从代替按键的便携式装置传递的无线电波或各种开关的信号。主体系统控制单元12020接收这些无线电波或信号的输入,并且控制车辆的门锁装置、电动窗装置、灯等。
车外信息检测单元12030检测与包括车辆控制系统12000的车辆外部有关的信息。例如,成像单元12031与车外信息检测单元12030连接。车外信息检测单元12030使成像单元12031捕获车辆外部的图像并接收所捕获的图像。基于接收到的图像,车外信息检测单元12030可以进行检测诸如人、汽车、障碍物、交通标志或道路上的文字等物体的处理或检测距离的处理。
成像单元12031是接收光并输出与受光量相对应的电气信号的光学传感器。成像单元12031可以输出电气信号作为图像或输出电气信号作为测距信息。此外,由成像单元12031接收的光可以是可见光或诸如红外线等不可见光。
车内信息检测单元12040检测车内的信息。例如,车内信息检测单元12040与检测驾驶员的状态的驾驶员状态检测单元12041连接。例如,驾驶员状态检测单元12041包括对驾驶员进行成像的相机,并且基于从驾驶员状态检测单元12041输入的检测信息,车内信息检测单元12040可以计算驾驶员的疲劳度或驾驶员的集中度,或者可以判断驾驶员是否打瞌睡。
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的车辆内部和外部的信息来计算驱动力产生装置、转向机构或制动装置的控制目标值,并且可以向驱动系统控制单元12010输出控制指令。例如,微型计算机12051可以进行协调控制,旨在实现包括车辆碰撞避免或碰撞缓和、基于车辆之间的距离的追踪行驶、以恒定速度行驶、车辆碰撞警告、车辆的车道偏离警告等的高级驾驶员辅助系统(ADAS)的功能。
此外,微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获得的车辆周围的信息通过控制驱动力产生装置、转向机构、制动装置等来进行协调控制,旨在进行用于自主行驶而不依赖于驾驶员的操作的自动驾驶等。
此外,微型计算机12051可以基于由车外信息检测单元12030获得的车辆外部的信息将控制指令输出到主体系统控制单元12020。例如,根据由车外信息检测单元12030检测到的前方车辆或对向车辆的位置,微型计算机12051可以进行协调控制,用于实现诸如控制头灯以将远光灯切换为近光灯等眩光保护。
音频图像输出单元12052将声音或图像中的至少一种的输出信号传递到能够在视觉上或听觉上向车辆乘员或车辆外部通知信息的输出装置。在图25的示例中,音频扬声器12061、显示单元12062和仪表板12063被例示为输出装置。例如,显示单元12062可以包括车载显示器和平视显示器中的至少一种。
图26是示出了成像单元12031的安装位置的示例的图。
在图26中,车辆12100包括作为成像单元12031的成像单元12101、12102、12103、12104和12105。
成像单元12101、12102、12103、12104和12105设置在例如车辆12100的车头、侧视镜、后保险杠、后门、车辆驾驶室的挡风玻璃的上部等位置。附接在车头的成像单元12101和安装在车辆驾驶室的挡风玻璃的上部的成像单元12105主要获取车辆12100的前方区域的图像。附接在侧视镜的成像单元12102和12103主要获取车辆12100的侧面区域的图像。附接在后保险杠或后门的成像单元12104主要获取车辆12100的后方区域的图像。由成像单元12101和12105获取的前方图像主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。
注意,图26示出了成像单元12101~12104的各个成像范围的示例。成像范围12111表示附接在车头的成像单元12101的成像范围。成像范围12112和12113分别表示附接在侧视镜的成像单元12102和12103的成像范围。成像范围12114表示附接在后保险杠或后门的成像单元12104的成像范围。例如,叠置由成像单元12101~12104捕获的图像数据提供了从车辆12100俯视的俯视图像。
成像单元12101~12104中的至少一个可以具有获取距离信息的功能。例如,成像单元12101~12104中的至少一个可以是包括多个图像传感器的立体相机,或者可以是具有相位差检测用的像素的图像传感器。
例如,基于从成像单元12101~12104获得的距离信息,通过确定距成像范围12111~12114内的各立体物的距离和距离的时间变化(相对于车辆12100的速度),微型计算机12051可以提取特别是位于车辆12100的行驶路线上且在与车辆12100的大致相同的方向上以预定速度(例如,0km/h以上)行驶的最接近的立体物作为前方车辆。此外,微型计算机12051可以设定预先确保的距前方车辆的车间距离,并且可以执行自动制动控制(包括追踪行驶停止控制)、自动加速控制(包括追踪行驶开始控制)等。以这种方式,能够执行用于实现自主行驶而不依赖于驾驶员的操作的自动驾驶等的协调控制。
例如,基于从成像单元12101~12104获得的距离信息,微型计算机12051可以提取有关立体物的立体物数据,同时将数据分类为两轮车辆、普通车辆、大型车辆、行人和诸如电线杆等其他立体物,并且将数据用于自动避开障碍物。例如,微型计算机12051将车辆12100周围的障碍物区分为车辆12100的驾驶员可视觉识别的障碍物和难以视觉识别的障碍物。然后,微型计算机12051判断指示与各障碍物碰撞的危险度的碰撞风险,并且当碰撞风险等于或高于设定值并且存在碰撞的可能性时,微型计算机12051可以通过经由音频扬声器12061和显示单元12062向驾驶员输出警告或者经由驱动系统控制单元12010进行强制减速或回避转向来执行用于避免碰撞的驱动辅助。
成像单元12101~12104中的至少一个可以是检测红外线的红外相机。例如,微型计算机12051可以通过判断行人是否存在于成像单元12101~12104的捕获图像中来识别行人。例如,通过提取作为红外相机的成像单元12101~12104的捕获图像中的特征点的过程以及对指示物体的轮廓的一系列特征点进行图案匹配处理以区分该物体是否为行人的过程来实施这种行人识别。当微型计算机12051判断行人存在于成像单元12101~12104的捕获图像中并且识别出行人时,音频图像输出单元12052使显示单元12062在识别出的行人上叠加用于强调的矩形轮廓线。此外,音频图像输出单元12052可以使显示单元12062在期望的位置显示指示行人的图标等。
至此说明了根据本公开的技术可以适用的车辆控制系统的示例。根据本公开的技术可以适用于上述构成之中的成像单元12031。具体地,图1的固态成像元件10可以适用于成像单元12031。通过将根据本公开的技术应用于成像单元12031,可以提高帧速率,并且可以获得更容易看到的捕获图像,从而可以减轻驾驶员的疲劳度。
<12.内窥镜手术系统的应用例>
根据本公开的技术(本技术)可以适用于各种产品。例如,根据本公开的技术可以适用于内窥镜手术系统。
图27是示出了根据本公开的技术(本技术)可以适用的内窥镜手术系统的示意性构成的示例的图。
图27示出了手术者(医生)11131使用内窥镜手术系统11000对病床11133上的患者11132进行手术的情况。如图所示,内窥镜手术系统11000包括内窥镜11100、诸如气腹管11111、能量处置器械11112等其他手术器械11110、支撑内窥镜11100的支撑臂装置11120以及其上安装有用于内窥镜手术的各种装置的推车11200。
内窥镜11100包括其中距远端预定长度的区域被插入到患者11132的体腔内的透镜筒11101和与透镜筒11101的近端连接的摄像头11102。在所示的示例中,示出了构造为包括硬性透镜筒11101的所谓硬性镜的内窥镜11100,但是内窥镜11100可以构造为包括软性透镜筒的所谓的软性镜。
在透镜筒11101的远端设有物镜装配到其中的开口部。光源装置11203与内窥镜11100连接,由光源装置11203生成的光通过设置成在透镜筒11101内延伸的光导引导到透镜筒的远端,并通过物镜将光朝向在患者11132的体腔内的观察对象照射。注意,内窥镜11100可以是直视镜,或者可以是斜视镜或侧视镜。
在摄像头11102内设有光学系统和成像元件,并且来自观察对象的反射光(观察光)通过光学系统会聚在图像传感器中。由图像传感器对观察光执行光电转换,并且生成与观察光相对应的电气信号,即,生成与观察图像相对应的图像信号。图像信号作为RAW数据被传输到相机控制单元(CCU)11201。
CCU 11201包括中央处理单元(CPU)、图形处理单元(GPU)等,并且综合控制内窥镜11100和显示装置11202的操作。此外,CCU 11201接收来自摄像头11102的图像信号,并且对图像信号进行例如显影处理(去马赛克处理)等各种类型的图像处理以基于该图像信号显示图像。
根据CCU 11201的控制,显示装置11202显示基于由CCU 11201进行了图像处理的图像信号的图像。
例如,光源装置11203包括诸如发光二极管(LED)等光源,并且在捕获手术部位时将照射光供给到内窥镜11100。
输入装置11204是相对于内窥镜手术系统11000的输入界面。使用者能够通过输入装置11204相对于内窥镜手术系统11000进行各种信息事项的输入或指令的输入。例如,使用者输入指令等,以改变内窥镜11100的成像条件(照射光的类型、放大率、焦距等)。
处置器械控制装置11205控制能量处置器械11112的驱动,用于组织消融、切开和血管密封等。为了确保内窥镜11100的视野并确保手术者的操作空间,气腹装置11206通过气腹管11111将气体输送到体腔,使得患者11132的体腔膨胀。记录仪11207是能够记录与手术有关的各种信息事项的装置。打印机11208是能够以诸如文本、图像或图形等各种形式打印与手术有关的各种信息事项的装置。
注意,将当捕获手术部位时的照射光供给到内窥镜11100的光源装置11203例如可以由白色光源构成,该白色光源由LED、激光光源或其组合构成。在白色光源包括RGB激光光源的组合的情况下,能够以高精度控制各颜色(各波长)的输出强度和输出定时,因此,能够利用光源装置11203调整所捕获的图像的白平衡。此外,在这种情况下,来自各个RGB激光光源的激光按时间分割地照射到观察对象上,并且与照射定时同步地控制摄像头11102的成像元件的驱动,因此,能够按时间分割地捕获对应于RGB中的每个的图像。根据该方法,在图像传感器中未设置滤色器的情况下,能够获得彩色图像。
此外,光源装置11203的驱动可以控制成使得针对各预定时间改变要输出的光的强度。通过与当光强度的改变时的定时同步地控制摄像头11102的图像传感器的驱动,按时间分割地获取图像并合成图像,因此能够生成没有所谓的黑色缺陷(black defect)和过度曝光的高动态范围图像。
此外,光源装置11203可以构造成供给对应于特殊光观察的预定波长带的光。在特殊光观察中,例如,与通过使用身体组织中的吸收光的波长依赖性进行普通观察时的照射光(即,白光)相比,施加了窄带域光,因此,进行以高对比度捕获粘膜表层部分的血管等预定组织的所谓的窄带域观察。可选择地,在特殊光观察中,可以进行通过照射激发光产生的荧光来获得图像的荧光观察。在荧光观察中,例如,将激发光照射到身体组织上,观察来自该身体组织的荧光(自体荧光观察(autofluorescence observation)),或者将诸如吲哚菁绿(ICG:indocyanine green)等试剂局部注射到身体组织中,并且将与试剂的荧光波长相对应的激发光照射到身体组织上,因此获得荧光图像。光源装置11203可以构造成供给与这种特殊光观察相对应的窄带域光和/或激发光。
图28是示出了图27所示的摄像头11102和CCU 11201的功能构成的示例的框图。
摄像头11102包括透镜单元11401、成像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。CCU 11201包括通信单元11411、图像处理单元11412和控制单元11413。摄像头11102和CCU 11201通过传输线缆11400连接以能够彼此通信。
透镜单元11401是设置在与透镜筒11101的连接部分处的光学系统。来自透镜筒11101的远端的观察光被引导到摄像头11102,并且入射到透镜单元11401上。透镜单元11401包括具有变焦透镜和聚焦透镜的多个透镜的组合。
成像单元11402包括成像元件。构成成像单元11402的图像传感器可以是一个(所谓的单板型)或多个(所谓的多板型)。在成像单元11402构造成多板型的情况下,例如,可以由各图像传感器生成与RGB相对应的图像信号,并且可以通过组合它们而获得彩色图像。可选择地,成像单元11402可以包括用于分别获取与3D(三维)显示相对应的右眼和左眼图像信号的一对图像传感器。进行3D显示,因此,手术者11131能够更准确地把握手术部位中的生物组织的深度。注意,在成像单元11402由多板型构成构造的情况下,可以设置与各个图像传感器相对应的多个透镜单元11401。
此外,成像单元11402可以不必设置在摄像头11102中。例如,成像单元11402可以设置在透镜筒11101内部的物镜的正后方。
驱动单元11403包括致动器,并且根据摄像头控制单元11405的控制使透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定距离。因此,能够适当地调整由成像单元11402捕获的图像的放大率和焦点。
通信单元11404包括用于相对于CCU 11201传输和接收各种信息事项的通信装置。通信单元11404将从成像单元11402获得的图像信号作为RAW数据经由传输线缆11400传输到CCU 11201。
此外,通信单元11404从CCU 11201接收用于控制摄像头11102的驱动的控制信号,并将控制信号供给到摄像头控制单元11405。例如,控制信号包括与成像条件有关的信息,如指定所捕获的图像的帧速率的信息、指定在成像时的曝光值的信息和/或指定所捕获的图像的放大率和焦点的信息等。
注意,诸如帧速率、曝光值、放大率和焦点等上述成像条件可以由使用者适宜地指定,或者可以由CCU 11201的控制单元11413基于获取的图像信号来自动设定。在后一种情况下,所谓的自动曝光(AE)功能、自动对焦(AF)功能和自动白平衡(AWB)功能设置在内窥镜11100中。
摄像头控制单元11405基于通过通信单元11404接收的来自CCU 11201的控制信号来控制摄像头11102的驱动。
通信单元11411包括用于相对于摄像头11102传输和接收各种信息事项的通信装置。通信单元11411通过传输线缆11400接收从摄像头11102传输的图像信号。
此外,通信单元11411将用于控制摄像头11102的驱动的控制信号传输到摄像头11102。图像信号和控制信号可以通过电气通信、光通信等来传输。
此外,通信单元11411将用于控制摄像头11102的驱动的控制信号传输到摄像头11102。图像信号和控制信号可以通过电气通信、光通信等传输。
图像处理部11412对从摄像头11102传输的作为RAW数据的图像信号进行各种图像处理。
控制单元11413进行与通过内窥镜11100进行的手术部位等的成像以及通过对手术部位等进行成像而获得的捕获图像的显示等有关的各种控制。例如,控制单元11413生成用于控制摄像头11102的驱动的控制信号。
此外,基于由图像处理单元11412进行了图像处理的图像信号,控制单元11413使显示装置11202显示手术部位等的所捕获的图像。此时,控制单元11413可以通过使用各种图像识别技术来识别所捕获的图像内的各种物体。例如,控制单元11413检测包括在所捕获的图像内的物体的边缘的形状、颜色等,因此能够识别诸如钳子等手术器械、特定生物部位、出血和在使用能量处置器械11112时的雾等。当所捕获的图像显示在显示装置11202上时,控制单元11413可以通过使用识别结果显示重叠在手术部位的图像上的各种手术支持信息事项。以重叠的方式显示手术支持信息并且将其呈现给手术者11131,从而减轻了手术者11131的负担并允许手术者11131可靠地进行手术。
将摄像头11102和CCU 11201连接在一起的传输线缆11400是与电气信号的通信相对应的电气信号线缆、与光通信相对应的光纤或其复合线缆。
这里,在所示的示例中,通过使用传输线缆11400来以有线的方式进行通信,但是可以以无线的方式进行摄像头11102与CCU 11201之间的通信。
已经说明了根据本公开的技术可以适用的内窥镜手术系统的示例。根据本公开的技术可以适用于上述构成之中的摄像头11102(的成像单元11402)。具体地,图1的固态成像元件10可以适用于摄像头11102(的成像单元11402)。通过将根据本公开的技术应用于成像单元11402,可以提高帧速率并获得更具观察性的手术部位图像,从而手术者可以可靠地确认手术部位。
注意,这里,虽然以内窥镜手术系统为例进行了说明,但是根据本公开的技术可以适用于例如显微镜手术系统等。
注意,本技术的实施方案不限于前述实施方案,并且可以在不脱离本技术的主旨的范围内进行各种改变。
此外,本技术可以采用以下构成。
(1)一种成像装置,包括:
像素阵列单元,其包括第一像素部和不同于所述第一像素部的第二像素部,其中
所述第一像素部和所述第二像素部中的每个包括第一光电转换单元和与所述第一光电转换单元相邻的第二光电转换单元,和
所述像素阵列单元包括:
第一驱动线,其与所述第一像素部和所述第二像素部的所述第一光电转换单元连接,
第二驱动线,其与所述第一像素部的所述第二光电转换单元连接,和
第三驱动线,其与所述第二像素部的所述第二光电转换单元连接。
(2)根据(1)所述的成像装置,其中
所述第二驱动线未与所述第二像素部的所述第二光电转换单元连接。
(3)根据(1)或(2)所述的成像装置,其中
所述第三驱动线未与所述第一像素部的所述第二光电转换单元连接。
(4)根据(1)~(3)中任一项所述的成像装置,还包括:
照度检测单元,其检测所述像素阵列单元的成像区域中的照度,其中
在所述照度检测单元检测到的照度小于预定阈值的情况下,在所述第一像素部中,使用所述第一驱动线和所述第二驱动线分别生成与所述第一光电转换单元相对应的像素信号和与所述第二光电转换单元相对应的像素信号,
在所述照度检测单元检测到的照度大于所述预定阈值的情况下,在所述第二像素部中,使用所述第一驱动线和所述第三驱动线分别生成与所述第一光电转换单元相对应的像素信号和与所述第二光电转换单元相对应的像素信号,并且,在所述第一像素部中,累加并生成与所述第一光电转换单元相对应的像素信号和与所述第二光电转换单元相对应的像素信号。
(5)根据(4)所述的成像装置,还包括:
获取单元,其使用像素信号获取与相位差检测的精度相关的精度相关信息,其中
将由所述获取单元获取的所述精度相关信息指示的数值与由所述照度指示的数值一起用于与所述预定阈值的判定。
(6)根据(5)所述的成像装置,其中
所述精度相关信息包括对象的图像帧内的对象区域中的亮度水平。
(7)根据(5)或(6)所述的成像装置,其中
所述精度相关信息包括在用于相位差检测的像素之中的有效像素的数量。
(8)根据(5)~(7)中任一项所述的成像装置,其中
所述精度相关信息包括对象的图像帧内的感兴趣的区域的尺寸。
(9)根据(1)~(8)中任一项所述的成像装置,其中
所述第一像素部是具有一个以上的光电转换单元的像素单元,和
所述第二像素部是具有一个以上的光电转换单元的像素单元。
(10)根据(9)所述的成像装置,其中
所述第一像素部具有偶数个光电转换单元,和
所述第二像素部具有偶数个光电转换单元。
(11)根据(10)所述的成像装置,其中
所述第一像素部具有两个光电转换单元,和
所述第二像素部具有两个光电转换单元。
(12)根据(10)所述的成像装置,其中
所述第一像素部具有四个光电转换单元,和
所述第二像素部具有四个光电转换单元。
(13)根据(4)~(12)中任一项所述的成像装置,其中,
所述照度检测单元基于曝光信息来检测所述照度。
(14)根据(13)所述的成像装置,其中
所述照度检测单元基于从对象的图像帧之前的图像帧获得的曝光量来检测所述照度。
(15)根据(4)~(14)中任一项所述的成像装置,其中
所述照度检测单元设置在装置的内部或外部。
(16)根据(4)~(15)中任一项所述的成像装置,还包括:
驱动控制单元,其基于所述照度检测单元检测到的所述照度来控制所述第一像素部和所述第二像素部的驱动。
(17)根据(16)所述的成像装置,还包括:
校正单元,其对用于相位差检测的像素信号进行校正。
(18)一种电子设备,包括:
成像单元,所述成像单元包括:
像素阵列单元,其包括第一像素部和不同于所述第一像素部的第二像素部,其中
所述第一像素部和所述第二像素部中的每个包括第一光电转换单元和与所述第一光电转换单元相邻的第二光电转换单元,和
所述像素阵列单元包括:
第一驱动线,其与所述第一像素部和所述第二像素部的所述第一光电转换单元连接,
第二驱动线,其与所述第一像素部的所述第二光电转换单元连接,和
第三驱动线,其与所述第二像素部的所述第二光电转换单元连接。
(19)一种成像装置,包括:
像素阵列单元,其包括第一像素部和不同于所述第一像素部的第二像素部;和
照度检测单元,其检测所述像素阵列单元的成像区域中的照度,其中
第一像素部和第二像素部中的每个包括第一光电转换单元和与所述第一光电转换单元相邻的第二光电转换单元,在所述照度检测单元检测到的照度小于预定阈值的情况下,在所述第一像素部和所述第二像素部中,读出来自所述第一光电转换单元的像素信号和来自所述第二光电转换单元的像素信号,
在所述照度检测单元检测到的照度大于所述预定阈值的情况下,在所述第二像素部中,读出来自所述第一光电转换单元的像素信号和来自所述第二光电转换单元的像素信号,并且,在所述第一像素部中,累加并生成来自所述第一光电转换单元的像素信号和来自所述第二光电转换单元的像素信号。
附图标记列表
1A,1B,1C成像装置 10固态成像元件
11 像素阵列单元 12垂直驱动电路
13 列信号处理电路 14水平驱动电路
15 输出电路 16控制电路
17 输入/输出端子 21像素驱动线
22 垂直信号线 100像素
100A,100B像素 120像素
120A,120B,120C,120D像素 111片上透镜
112A,112B,112C,112D光电二极管 113滤色器
151 比较器 152DAC
200A,200B,200C控制单元 211驱动控制单元
212AE单元 213亮度水平检测单元
214相位差检测单元 215计数单元
216ROI设定单元 300信号处理单元
311像素校正单元 312选择器
313 图像信号处理单元 1000电子设备
1012成像单元
Claims (20)
1.一种光检测装置,包括:
布置为行和列的多个像素单元,所述多个像素单元包括第一像素单元和不同于所述第一像素单元的第二像素单元,
其中,所述第一像素单元包括:
第一光电转换区域和第二光电转换区域,所述第二光电转换区域与所述第一光电转换区域相邻;和
连接至所述第一光电转换区域的第一传输晶体管和连接至所述第二光电转换区域的第二传输晶体管,
其中,所述第二像素单元包括:
第三光电转换区域和第四光电转换区域,所述第四光电转换区域与所述第三光电转换区域相邻;和
连接至所述第三光电转换区域的第三传输晶体管和连接至所述第四光电转换区域的第四传输晶体管,其中
第一驱动线连接至所述第一传输晶体管和所述第三传输晶体管,且
第二驱动线连接至所述第二传输晶体管,并与所述第四传输晶体管断开连接。
2.根据权利要求1所述的光检测装置,其中,所述第一像素单元和所述第二像素单元布置在第一行。
3.根据权利要求1所述的光检测装置,其中,所述第一像素单元布置为与所述第二像素单元相邻。
4.根据权利要求1所述的光检测装置,其还包括:
第三驱动线,其连接至所述第二像素单元的所述第三光电转换区域。
5.根据权利要求4所述的光检测装置,
其中,所述第三驱动线与所述第一像素单元的所述第二光电转换区域断开连接。
6.根据权利要求1所述的光检测装置,还包括:
照度检测器,其被构造为检测所述多个像素单元的成像区域中的照度,其中
在所述照度检测器检测到的照度小于预定阈值的情况下,在所述第一像素单元中,使用所述第一驱动线和所述第二驱动线生成与所述第一光电转换区域相对应的像素信号和与所述第二光电转换区域相对应的像素信号,
在所述照度检测器检测到的照度大于所述预定阈值的情况下,在所述第二像素单元中,使用所述第一驱动线和第三驱动线生成与所述第三光电转换区域相对应的像素信号和与所述第四光电转换区域相对应的像素信号,并且,在所述第一像素单元中,计算与所述第一光电转换区域相对应的像素信号和与所述第二光电转换区域相对应的像素信号的和。
7.根据权利要求1所述的光检测装置,还包括:
获取电路,其被构造为使用对应于所述第一光电转换区域、所述第二光电转换区域、所述第三光电转换区域和所述第四光电转换区域中至少一者的像素信号获取与相位差检测的精度相关的精度相关信息。
8.根据权利要求7所述的光检测装置,
其中,所述精度相关信息包括对象的图像帧内的对象区域中的亮度水平。
9.根据权利要求7所述的光检测装置,
其中,所述精度相关信息包括在用于相位差检测的像素之中的有效像素的数量。
10.根据权利要求7所述的光检测装置,
其中,所述精度相关信息包括对象的图像帧内的感兴趣的区域的尺寸。
11.根据权利要求1所述的光检测装置,
其中,所述第一像素单元具有偶数个光电转换区域,且所述第二像素单元具有偶数个光电转换区域。
12.根据权利要求11所述的光检测装置,
其中所述第一像素单元具有四个光电转换区域,且所述第二像素单元具有四个光电转换区域。
13.根据权利要求1所述的光检测装置,其还包括:
照度检测器,其被构造为基于曝光信息来检测照度。
14.根据权利要求13所述的光检测装置,
其中,所述照度检测器基于从对象的图像帧之前的图像帧获得的曝光量来检测所述照度。
15.根据权利要求1所述的光检测装置,还包括:
驱动控制器,其被构造为基于照度检测器检测到的照度来控制所述第一像素单元和所述第二像素单元的驱动。
16.一种电子设备,其包括根据权利要求1所述的光检测装置。
17.根据权利要求16所述的电子设备,其中,所述第一像素单元和所述第二像素单元布置在第一行。
18.根据权利要求16所述的电子设备,其中,所述第一像素单元布置为与所述第二像素单元相邻。
19.根据权利要求16所述的电子设备,其还包括:
第三驱动线,其连接至所述第二像素单元的所述第三光电转换区域。
20.根据权利要求19所述的电子设备,
其中,所述第三驱动线与所述第一像素单元的所述第二光电转换区域断开连接。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-022071 | 2018-02-09 | ||
JP2018022071A JP2019140528A (ja) | 2018-02-09 | 2018-02-09 | 撮像装置、及び電子機器 |
PCT/JP2019/002401 WO2019155906A1 (ja) | 2018-02-09 | 2019-01-25 | 撮像装置、及び電子機器 |
CN201980011342.4A CN111699676B (zh) | 2018-02-09 | 2019-01-25 | 成像装置和电子设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980011342.4A Division CN111699676B (zh) | 2018-02-09 | 2019-01-25 | 成像装置和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116782047A true CN116782047A (zh) | 2023-09-19 |
Family
ID=67549100
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980011342.4A Active CN111699676B (zh) | 2018-02-09 | 2019-01-25 | 成像装置和电子设备 |
CN202310680803.5A Pending CN116782047A (zh) | 2018-02-09 | 2019-01-25 | 光检测装置和电子设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980011342.4A Active CN111699676B (zh) | 2018-02-09 | 2019-01-25 | 成像装置和电子设备 |
Country Status (6)
Country | Link |
---|---|
US (4) | US11082645B2 (zh) |
JP (1) | JP2019140528A (zh) |
KR (2) | KR102674467B1 (zh) |
CN (2) | CN111699676B (zh) |
DE (1) | DE112019000738T5 (zh) |
WO (1) | WO2019155906A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019140528A (ja) | 2018-02-09 | 2019-08-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び電子機器 |
US11496728B2 (en) | 2020-12-15 | 2022-11-08 | Waymo Llc | Aperture health monitoring mode |
KR20220156332A (ko) | 2021-05-18 | 2022-11-25 | 삼성전자주식회사 | 오토 포커스 픽셀을 포함하는 이미지 센서 |
DE102022125838A1 (de) | 2022-10-06 | 2024-04-11 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Bildsensor |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008067241A (ja) * | 2006-09-11 | 2008-03-21 | Olympus Corp | 固体撮像装置及び撮像システム |
JP4058459B1 (ja) * | 2007-03-02 | 2008-03-12 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP4655085B2 (ja) * | 2007-12-21 | 2011-03-23 | ソニー株式会社 | 表示装置及び電子機器 |
JP5233828B2 (ja) * | 2009-05-11 | 2013-07-10 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法および電子機器 |
JP5471117B2 (ja) * | 2009-07-24 | 2014-04-16 | ソニー株式会社 | 固体撮像装置とその製造方法並びにカメラ |
JP5893572B2 (ja) * | 2012-03-01 | 2016-03-23 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の駆動方法 |
JP6091674B2 (ja) | 2012-03-01 | 2017-03-08 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の駆動方法、撮像システムの駆動方法 |
JP6274788B2 (ja) * | 2013-08-28 | 2018-02-07 | キヤノン株式会社 | 撮像装置、撮像システム及び撮像装置の駆動方法 |
US9491442B2 (en) * | 2014-04-28 | 2016-11-08 | Samsung Electronics Co., Ltd. | Image processing device and mobile computing device having the same |
US9711553B2 (en) * | 2014-04-28 | 2017-07-18 | Samsung Electronics Co., Ltd. | Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor |
KR102593800B1 (ko) * | 2014-12-18 | 2023-10-25 | 소니그룹주식회사 | 고체 촬상 소자, 및 전자 장치 |
JP6246144B2 (ja) * | 2015-02-16 | 2017-12-13 | キヤノン株式会社 | 固体撮像装置 |
JP2016184868A (ja) | 2015-03-26 | 2016-10-20 | キヤノン株式会社 | 撮像装置及び撮像装置の駆動方法 |
JP2017022624A (ja) * | 2015-07-13 | 2017-01-26 | キヤノン株式会社 | 撮像素子及びその駆動方法、及び撮像装置 |
KR102382835B1 (ko) * | 2015-12-03 | 2022-04-06 | 삼성전자주식회사 | 다양한 동작 모드를 지원하는 이미지 센서 및 그 동작 방법 |
KR102481057B1 (ko) * | 2015-12-30 | 2022-12-27 | 엘지디스플레이 주식회사 | 터치 일체형 표시패널 및 그를 포함하는 표시장치 |
JP6664259B2 (ja) | 2016-03-31 | 2020-03-13 | キヤノン株式会社 | 撮像装置、撮像システム、および、移動体 |
CN113328581B (zh) | 2016-05-26 | 2024-06-11 | 柯惠Lp公司 | 器械驱动单元 |
JP6800618B2 (ja) * | 2016-06-01 | 2020-12-16 | キヤノン株式会社 | 撮像素子、撮像装置、および撮像信号処理方法 |
JP6688165B2 (ja) | 2016-06-10 | 2020-04-28 | キヤノン株式会社 | 撮像装置及び撮像システム |
JP2017228829A (ja) | 2016-06-20 | 2017-12-28 | キヤノン株式会社 | 撮像素子、その制御方法、および制御プログラム、並びに撮像装置 |
JP7210441B2 (ja) * | 2017-06-02 | 2023-01-23 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置 |
KR102061467B1 (ko) * | 2017-08-30 | 2019-12-31 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 촬상 소자 및 촬상 장치 |
KR102481007B1 (ko) * | 2017-11-22 | 2022-12-22 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 고체 촬상 소자 및 전자기기 |
US11658193B2 (en) * | 2018-01-23 | 2023-05-23 | Samsung Electronics Co., Ltd. | Image sensor |
JP2019140528A (ja) * | 2018-02-09 | 2019-08-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び電子機器 |
US10334189B1 (en) * | 2018-06-06 | 2019-06-25 | Smartsens Technology (Cayman) Co., Ltd. | HDR pixel array with double diagonal binning |
KR102614851B1 (ko) * | 2018-07-23 | 2023-12-19 | 삼성전자주식회사 | 이미지 센서 |
KR102600681B1 (ko) * | 2019-03-26 | 2023-11-13 | 삼성전자주식회사 | 비닝을 수행하는 테트라셀 이미지 센서 |
US10991085B2 (en) * | 2019-04-01 | 2021-04-27 | Adobe Inc. | Classifying panoramic images |
US11284045B2 (en) * | 2020-04-22 | 2022-03-22 | OmniVision Technologies. Inc. | Image sensor with shifted color filter array pattern and bit line pairs |
EP4043955A4 (en) * | 2020-12-16 | 2023-03-22 | Sony Semiconductor Solutions Corporation | IMAGE CAPTURE DEVICE |
KR20220145442A (ko) * | 2021-04-21 | 2022-10-31 | 삼성전자주식회사 | 이미지 센서 |
-
2018
- 2018-02-09 JP JP2018022071A patent/JP2019140528A/ja active Pending
-
2019
- 2019-01-25 CN CN201980011342.4A patent/CN111699676B/zh active Active
- 2019-01-25 WO PCT/JP2019/002401 patent/WO2019155906A1/ja active Application Filing
- 2019-01-25 DE DE112019000738.6T patent/DE112019000738T5/de active Pending
- 2019-01-25 KR KR1020207022204A patent/KR102674467B1/ko active IP Right Grant
- 2019-01-25 KR KR1020247018935A patent/KR20240096772A/ko unknown
- 2019-01-25 CN CN202310680803.5A patent/CN116782047A/zh active Pending
- 2019-01-25 US US16/966,991 patent/US11082645B2/en active Active
-
2021
- 2021-07-22 US US17/382,697 patent/US11438531B2/en active Active
-
2022
- 2022-06-02 US US17/830,713 patent/US11606518B2/en active Active
-
2023
- 2023-03-02 US US18/177,311 patent/US11943549B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR20200116458A (ko) | 2020-10-12 |
US11082645B2 (en) | 2021-08-03 |
US11943549B2 (en) | 2024-03-26 |
KR102674467B1 (ko) | 2024-06-11 |
DE112019000738T5 (de) | 2020-10-29 |
WO2019155906A1 (ja) | 2019-08-15 |
US11438531B2 (en) | 2022-09-06 |
KR20240096772A (ko) | 2024-06-26 |
CN111699676B (zh) | 2023-06-20 |
US20220295002A1 (en) | 2022-09-15 |
CN111699676A (zh) | 2020-09-22 |
JP2019140528A (ja) | 2019-08-22 |
US11606518B2 (en) | 2023-03-14 |
US20210377469A1 (en) | 2021-12-02 |
US20230217124A1 (en) | 2023-07-06 |
US20200396400A1 (en) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115767293B (zh) | 光检测装置和摄像装置 | |
CN110050459B (zh) | 固态成像元件和电子设备 | |
CN113923388B (zh) | 固态摄像装置 | |
CN111699676B (zh) | 成像装置和电子设备 | |
CN115696074B (zh) | 光检测装置 | |
US11632510B2 (en) | Solid-state imaging device and electronic device | |
US11843883B2 (en) | Solid-state imaging device and electronic device | |
US11218658B2 (en) | Solid-state imaging device, method of controlling the solid-state imaging device, and electronic apparatus to generate high dynamic range image | |
EP3996364A1 (en) | Solid-state imaging device, operation method for same, and electronic apparatus | |
KR20210133968A (ko) | 촬상 장치 | |
CN114556906A (zh) | 摄像装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |