CN105049755B - 图像传感器和具有该图像传感器的图像处理装置 - Google Patents

图像传感器和具有该图像传感器的图像处理装置 Download PDF

Info

Publication number
CN105049755B
CN105049755B CN201510208759.3A CN201510208759A CN105049755B CN 105049755 B CN105049755 B CN 105049755B CN 201510208759 A CN201510208759 A CN 201510208759A CN 105049755 B CN105049755 B CN 105049755B
Authority
CN
China
Prior art keywords
pixel
photo
electric conversion
conversion element
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510208759.3A
Other languages
English (en)
Other versions
CN105049755A (zh
Inventor
金泰瓒
闵桐基
李侊铉
鲁尧焕
尹世焕
金大官
金永珍
金旺炫
崔赫洵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140178098A external-priority patent/KR102292136B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105049755A publication Critical patent/CN105049755A/zh
Application granted granted Critical
Publication of CN105049755B publication Critical patent/CN105049755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1463—Pixel isolation structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767—Horizontal readout lines, multiplexers or registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

提供了一种图像传感器和具有该图像传感器的数据处理系统。根据发明构思的示例实施例的图像传感器包括包含多个像素的像素阵列，所述多个像素中的每个像素包括多个光电转换元件。所述多个光电转换元件被独立地操作以检测相位差。所述图像传感器还包括控制电路，所述控制电路被构造为独立地控制所述多个像素中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间。

Description

图像传感器和具有该图像传感器的图像处理装置
本申请要求于2014年4月28日提交的第61/985,019号美国临时专利申请的优先权和于2014年12月11日提交的第10-2014-0178098号韩国专利申请的优先权，这些专利申请的全部内容通过引用包含于此。
技术领域
本发明构思的实施例涉及一种图像传感器，更具体地讲，涉及一种能够执行彩色成像和相位差自动对焦的图像传感器和/或具有所述图像传感器的数据处理系统。
背景技术
PAF可以指相位检测自动聚焦或相位差自动聚焦。在拍摄时，动态范围是最大可测量光强度与最小可测量光强度之间的范围。光强度的变化程度取决于用作捕获装置的装置，其决定图像传感器在动态范围方面的整体性能。
宽动态范围(WDR)也称作高动态范围(HDR)。WDR技术通过以数字方式对每个像素应用多次曝光来物理地提高成像传感器的像素性能或者增大成像传感器的动态范围。
理想的WDR传感器是具有高满阱容量(FWC)的传感器。FWC被定义为入射信号在读出期间能够被容纳而不饱和的电子的最大数目。随着FWC的增大，图像传感器的动态范围增大。
在数字信号镜头反光(DSLR)相机中，相机传感器包括能够直接检测相位差的像素，从而减少被相位差自动聚焦模块占用的空间。因此，DSLR相机可以执行自动聚焦。这样的技术被应用到无反光镜的DSLR。
现有技术的相位差检测像素利用金属等来遮蔽光电二极管的一部分，只能检测入射到光电二极管的未被遮蔽的部分上的光。在现有技术中，采用遮蔽部分和未遮蔽部分(即，两个像素)来检测相位差的方法具有以下问题：彩色图像的图像质量由于不规则操作的两个像素而劣化。
发明内容
本发明构思的至少一个示例实施例指向一种图像传感器，所述图像传感器包括具有多个像素的像素阵列，每个像素包括被独立地控制的多个光电转换元件。
所述图像传感器还可以包括控制电路，所述控制电路被配置为独立地控制所述多个像素中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间。
根据一些示例实施例，当所述多个像素被设置在多个行中时，控制电路被配置为利用所述多个行中的一行的行地址来独立地控制包括在所述行中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间。根据一些示例实施例，当所述多个像素被设置在多个行中时，控制电路被配置为基于像素混合条件数据来独立地控制所述多个像素中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间。
所述多个像素可以包括第一像素和第二像素，第一像素包括第一光电转换元件和第二光电转换元件，第二像素包括第三光电转换元件和第四光电转换元件。所述图像传感器还包括：控制电路，被配置为通过第一控制线输出用于控制第一光电转换元件的第一曝光时间的第一控制信号，通过第二控制线输出用于控制第二光电转换元件的第二曝光时间的第二控制信号，通过第三控制线输出用于控制第三光电转换元件的第三曝光时间的第三控制信号，以及通过第四控制线输出用于控制第四光电转换元件的第四曝光时间的第四控制信号，其中，控制电路被配置成独立地控制第一曝光时间、第二曝光时间、第三曝光时间和第四曝光时间。
根据一些示例实施例，当第一像素和第二像素被设置在同一行或同一列中时，第一曝光时间和第三曝光时间可彼此相等，第二曝光时间和第四曝光时间可彼此相等，并且第一曝光时间可以比第二曝光时间长。根据示例实施例，当第一像素和第二像素被设置在同一列中时，第一曝光时间和第四曝光时间可彼此相同，第二曝光时间和第三曝光时间可彼此相同，并且第一曝光时间可以比第二曝光时间长。
根据一些示例实施例，所述多个像素包括第一像素和第二像素，第一像素包括第一光电转换元件和第二光电转换元件，第二像素包括第三光电转换元件和第四光电转换元件，并且当所述第一像素和所述第二像素设置在同一行中时，第一光电转换元件和第二光电转换元件通过对应的传输晶体管共享第一浮置扩散区，第三光电转换元件和第四光电转换元件通过对应的传输晶体管共享与第一浮置扩散区不同的第二浮置扩散区。
根据一些示例实施例，所述多个像素包括第一像素和第二像素，第一像素包括第一光电转换元件和第二光电转换元件，第二像素包括第三光电转换元件和第四光电转换元件，并且当第一像素和第二像素设置在同一列中时，第一像素和第二像素共享一个浮置扩散区。
第一深槽隔离(DTI)结构形成在所述多个像素中的彼此相邻的像素之间，第二DTI结构形成在所述多个像素中的每个像素所包括的多个光电转换元件中的彼此相邻光电转换元件之间。
所述多个像素中的每个像素还可以包括：滤色器，形成在每个像素所包括的多个光电转换元件之上；微透镜，形成在滤色器上方。
本发明构思的示例实施例指向一种数据处理系统，所述数据处理系统包括：图像传感器；控制器，被配置为控制所述图像传感器的操作。所述图像传感器包括包含多个像素的像素阵列，所述多个像素中的每个像素包括被独立地控制的多个光电转换元件以检测相位差。
所述图像传感器还可包括控制电路，所述控制电路被配置为独立地控制所述多个像素中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间。
所述多个像素中的每个像素所包括的多个光电转换元件可包括第一光电转换元件和第二光电转换元件，第一光电转换元件被控制为具有相对长曝光时间，第二光电转换元件被控制为具有相对短曝光时间。包括在所述多个像素中的第一像素中的第一光电转换元件和包括在所述多个像素中的与第一像素相邻的第二像素中的第一光电转换元件沿对角线方向设置。
所述图像传感器还可包括控制电路，所述控制电路被配置为独立地控制所述多个像素中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间。所述多个像素中的每个像素所包括的多个光电转换元件包括第一光电转换元件和第二光电转换元件，控制电路被配置为将第一光电转换元件控制成具有相对长曝光时间并将第二光电转换元件控制成具有相对短曝光时间，并且所述多个像素所包括的第一光电转换元件被配置为根据控制电路的控制而并行地输出各自的像素信号。
所述数据处理系统还可以包括：模数转换器，被配置为将从所述多个像素中的每个像素所包括的多个光电转换元件输出的像素信号转换成数字信号；预-图像信号处理器，被配置为从所述数字信号产生颜色信息；相位差处理电路，被配置为从所述数字信号产生与相位差对应的相位差数据并压缩所产生的相位差数据。
第一深槽隔离(DTI)结构形成在所述多个像素中的彼此相邻的像素之间，第二DTI结构形成在所述多个像素中的每个像素所包括的多个光电转换元件中的彼此相邻的光电转换元件之间。
附图说明
根据下面结合附图对实施例的描述，本发明构思的这些和/或其他方面及优点将变得清楚和更易于理解，在附图中：
图1示出根据本发明构思的示例实施例的包括多个像素的图像传感器的像素阵列；
图2示出图1中示出的像素阵列的一部分；
图3示出图1中示出的像素阵列的一部分；
图4示出图1中示出的像素阵列的一部分；
图5示出图1中示出的像素阵列的一部分；
图6示出图1中示出的像素阵列的一部分；
图7示出包括两个光电二极管的像素的剖视图；
图8示出包括四个光电二极管的像素的剖视图；
图9示出包括两个光电二极管的像素(例如，PAF像素)的电路图；
图10示出包括四个光电二极管的像素(例如，PAF像素)的电路图；
图11是包括图1的像素阵列的图像传感器的框图；
图12是包括图1的像素阵列的图像传感器的另一框图；
图13是根据包括图1中示出的像素阵列的数据处理系统的示例实施例的框图；
图14是图13的图像信号处理器的示意性框图；
图15A和图15B示出图13中示出的CMOS图像传感器中在一个扫描场期间的曝光时间和积累曝光量；
图16示出长曝光图像信号的输入/输出亮度特性和短曝光图像信号的输入/输出亮度特性以描述长曝光图像信号和短曝光图像信号的组合处理；
图17是从多二级管PAF传感器的输出信号输出彼此同步的颜色数据和深度数据的框图；
图18是根据本发明构思的示例实施例的用于控制像素的操作的针对每个行的传输栅极控制线的概念图；
图19是设置在同一列中的像素的电路图；
图20是用于描述图19中示出的像素的操作的时序图；
图21是针对宽动态范围(WDR)布置像素的示例实施例；
图22是针对宽动态范围(WDR)布置像素的另一示例实施例；
图23是用于描述根据本发明构思的示例实施例的读取像素信号的方法的概念图；
图24是用于描述图23中示出的读取像素信号的方法的电路图；
图25是用于描述在普通操作条件下运行的时序产生器的操作的概念图；
图26是用于描述时序产生器在基于两行的像素混合时的操作的概念图；
图27是用于描述时序产生器在基于三行的像素混合时的操作的概念图；
图28是示出包括图1或图18中示出的像素的数据处理系统的另一示例实施例的框图；
图29是用于描述图28中示出的数据处理系统的操作的流程图；以及
图30是示出包括图1或图18中示出的像素的数据处理系统的另一示例实施例的框图。
具体实施方式
现在，将在下文中参照附图更充分地描述本发明构思，附图中示出了本发明的实施例。然而，本发明构思可以以不同形式实现，并且不应被理解为受限于在此阐述的实施例。而是，提供这些实施例使得本公开将是彻底的和完整的，并将本发明的范围充分传达给本领域技术人员。在附图中，为了清楚起见，可夸大层和区域的尺寸和相对尺寸。相似的附图标号始终指示相似的元件。
将理解的是，当元件被称为“连接到”或“结合到”另一元件时，该元件可直接连接到或结合到另一元件，或者可存在中间元件。相反，当元件被称为“直接连接到”或“直接结合到”另一元件时，不存在中间元件。如在这里使用的，术语“和/或”包括相关列出项中的一个或更多个的任意和全部组合，并且可以被缩写为“/”。
将理解的是，虽然在这里可以使用术语第一、第二等来描述各种元件，但是这些元件不应该被这些术语所限制。这些术语仅用于将一个元件与另一个元件区分开来。例如，在不脱离公开内容的教导的情况下，第一信号可被称为第二信号，类似地，第二信号可被称为第一信号。
在这里使用的术语仅出于描述具体实施例的目的，并且不意图限制本发明。如在这里使用的，除非上下文清楚地另行指示，单数形式也意图包括复数形式。还将理解的是，当本说明书中使用术语“包括”和/或其变型或“包含”和/或其变型时，指存在陈述的特征、区域、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或更多个其他特征、区域、整体、步骤、操作、元件、组件和/或它们的组。
除非另行定义，否则在此使用的术语(包括技术术语和科学术语)具有与本发明所属技术领域的普通技术人员所通常理解的意思相同的意思。还将理解的是，除非这里明确地如此定义，诸如在常用辞典中定义的术语将被解释为具有与它们在相关领域和/或本申请的语境中的意思一致的意思，并且将不以理想化或过于形式化的含义来解释它们。
图1示出根据本发明构思的示例实施例的包括多个像素的图像传感器的像素阵列。在图1中，示出了图像传感器的像素阵列100的一部分110和120。包括在像素阵列100中的多个像素R、G和B中的每个像素可包括多个光电二极管。
像素阵列100可以包括在便携式电子装置中。所述便携式电子装置可被用于膝上型计算机、蜂窝电话(或移动电话)、智能电话、平板PC、数码相机、摄像机、移动互联装置(MID)、可穿戴计算机、物联网(IoT)装置和万物联网(IoE)装置等。
包括在像素阵列100中的每个光电二极管可以是任何光电转换元件，并可由作为光电转换元件的示例的光电晶体管、光电栅或钳位光电二极管(pinned-photodiode)来代替。
包括在每个像素中的多个光电二极管中的每个光电二极管可以独立地捕获光或图像。
在图1中，R表示红像素，G表示绿像素，B表示蓝像素。对应的微透镜可形成在R像素、G像素和B像素中的每个像素之上。像素阵列100可实现WDR或HDR，而不降低分辨率。将参照图7和图8描述每个R像素、G像素和B像素的结构。
图2示出图1中示出的像素阵列100的一部分110A。R像素、G像素和B像素中的每个像素可包括彼此独立操作的两个光电二极管L和S。
在图2中，L表示第一光电二极管，S表示第二光电二极管。例如，L可以是可产生长曝光图像信号的光电二极管，S可以是可产生短曝光图像信号的光电二极管。
设置在各个行Row1和行Row3中的G像素和R像素中的每个像素包括两个光电二极管L和S。
设置在各个行Row2和行Row4中的B像素和G像素中的每个像素包括两个光电二极管L和S。
R像素、G像素和B像素中的每个像素所包括的光电二极管L和S中的每个光电二极管的曝光时间或积分时间可由行驱动器以独立的方式被控制为彼此不同。
在图2中，为了便于描述，示出R像素、G像素和B像素中的每个像素包括左右布置的两个光电二极管L和S；然而，根据示例实施例，R像素、G像素和B像素中的每个像素可包括上下布置的两个光电二极管L和S。例如，连接到设置在行Row1至Row4中的每个行中的R像素、G像素和B像素中的每个像素的每个光电二极管L的传输晶体管的栅极连接到第一对应传输线(或第一金属线：LINE1)，而连接到设置在行Row1至Row4中的每个行中的R像素、G像素和B像素中的每个像素的每个光电二极管S的传输晶体管的栅极连接到第二对应传输线(或第二金属线：LINE2)。
图3示出图1中示出的像素阵列100的一部分110B。R像素、G像素和B像素中的每个像素包括彼此独立操作的两个光电二极管L和S。
包括在图3的行Row3和Row4中的两个光电二极管L和S的位置与包括在图2的行Row3和Row4中的两个光电二极管L和S的位置彼此相反。
如图2和图3中示例性示出的，R像素、G像素和B像素中的每个像素所包括的光电二极管L和S的位置可根据设计规格而做出多种改变。
例如，连接到设置在行Row1至Row4中的每个行中的R像素、G像素和B像素中的每个像素的每个光电二极管L的传输晶体管的栅极连接到第一对应传输线(或第一金属线：LINE1)，而连接到设置在行Row1至Row4中的每个行中的R像素、G像素和B像素中的每个像素的每个光电二极管S的传输晶体管的栅极连接到第二对应传输线(或第二金属线：LINE2)。
图4示出在图1中示出的像素阵列100的一部分120A。R像素、G像素和B像素中的每个像素包括彼此独立地操作的四个光电二极管L1、L2、S1和S2。
根据示例实施例，包括在R像素、G像素和B像素的每个像素中的光电二极管L1、L2、S1和S2中的每个光电二极管的曝光时间或积分时间可由行驱动器以独立的方式控制为彼此不同。
根据另一示例实施例，包括在R像素、G像素和B像素的每个像素中的光电二极管L1和L2中的每个光电二极管的曝光时间或积分时间可由行驱动器以独立的方式控制为彼此相同，而包括在R像素、G像素和B像素的每个像素中的光电二极管S1和S2中的每个光电二极管的曝光时间或积分时间可由行驱动器以独立的方式控制为彼此相同。
光电二极管L1和L2中的每个光电二极管的曝光时间或积分时间可被设置为比光电二极管S1和S2中的每个光电二极管的曝光时间或积分时间长。
光电二极管L1和L2中的每个光电二极管的物理特性可以彼此相同或不同。另外，光电二极管S1和S2中的每个光电二极管的物理特性可以彼此相同或不同。
L1指第一光电二极管，S1指第二光电二极管，L2指第三光电二极管且S2指第四光电二极管。
例如，光电二极管L1和L2中的每个光电二极管可以是能够产生长曝光图像信号的光电二极管，S1和S2中的每个光电二极管可以是能够产生短曝光图像信号的光电二极管。
设置在行Row1中的G像素和R像素中的每个像素包括四个光电二极管L1、L2、S1和S2。
设置在行Row2中的B像素和G像素中的每个像素包括四个光电二极管L1、L2、S1和S2.
R像素、G像素和B像素中的每个像素包括能够产生长曝光图像信号的两个光电二极管L1和L2，并包括能够产生短曝光图像信号的两个光电二极管S1和S2。根据一个或多个实施例，光电二极管L1、L2、S1和S2中的每个光电二极管的位置可根据设计规格做出多种改变。
例如，如图4所示，对设置在行Row1和Row2中的的每个行中的R像素、G像素和B像素中的每个像素的光电二极管L1和L2中的每个光电二极管的每个传输晶体管的栅极连接到第一对应传输线(或第一金属线：LINE1)，而连接到R像素、G像素和B像素中的每个像素的光电二极管S1和S2中的每个光电二极管的每个传输晶体管的栅极连接到第二对应传输线(或第二金属线：LINE2)。
图5示出在图1中示出的像素阵列100的一部分120B。R像素、G像素和B像素中的每个像素包括彼此独立地操作的四个光电二极管L1、L2、L3和S1。
即，R像素、G像素和B像素中的每个像素包括能够产生长曝光图像信号的三个光电二极管L1、L2和L3，并包括能够产生短曝光图像信号的一个光电二极管S1。根据一个或多个实施例，光电二极管L1、L2、L3和S1中的每个光电二极管的位置可根据设计规格而做出多种改变。
根据示例实施例，R像素、G像素和B像素中的每个像素所包括的光电二极管L1、L2、L3和S1中的每个光电二极管的曝光时间或积分时间可由行驱动器以独立的方式被控制为彼此不同。
根据另一示例实施例，R像素、G像素和B像素中的每个像素所包括的光电二极管L1、L2和L3中的每个光电二极管的曝光时间或积分时间可由行驱动器控制为彼此相同。光电二极管L1、L2和L3中的每个光电二极管的曝光时间或积分时间可被设定成比光电二极管S1的曝光时间或积分时间长。
光电二极管L1、L2和L3中的每个光电二极管的物理特性可被实现为彼此相同或不同。
L1表示第一光电二极管，L2表示第二光电二极管，L3表示第三光电二极管且S1表示第四光电二极管。
例如，光电二极管L1、L2和L3中的每个光电二极管可以是能够产生长曝光图像信号的光电二极管，而光电二极管S1可以是能够产生短曝光图像信号的光电二极管。
设置在行Row1中的G像素和R像素中的每个像素包括四个光电二极管L1、L2、L3和S1。
设置在行Row2中的B像素和G像素中的每个像素包括四个光电二极管L1、L2、L3和S1。
例如，如图5所示，连接到设置在行Row1和Row2中的每个行中的R像素、G像素和B像素中的每个像素的光电二极管L1、L2和L3中的每个光电二极管的每个传输晶体管的栅极连接到第一对应传输线(或第一金属线：LINE1)，而连接到像素、G像素和B像素中的每个像素的光电二极管S1的传输晶体管的栅极连接到第二对应传输线(或第二金属线：LINE2)。
图6示出在图1中示出的像素阵列100的一部分120C。R像素、G像素和B像素中的每个像素包括彼此独立地操作的四个光电二极管S1、S2、S3和L1。
即，R像素、G像素和B像素中的每个像素包括能够产生长曝光图像信号的一个光电二极管L1，并包括能够分别产生短曝光图像信号的三个光电二极管S1、S2和S3。根据一个或多个实施例，光电二极管S1、S2、S3和L1中的每个光电二极管的位置可根据设计规格而做出多种改变。
根据示例实施例，包括在R像素、G像素和B像素中的每个像素中的光电二极管S1、S2、S3和L1中的每个光电二极管的曝光时间或积分时间可由行驱动器以独立的方式控制为彼此不同。
根据另一示例实施例，包括在R像素、G像素和B像素中的每个像素中的光电二极管S1、S2和S3中的每个光电二极管的曝光时间或积分时间可由行驱动器以独立的方式控制为彼此相同。
光电二极管S1、S2和S3中的每个光电二极管的物理特性可被实现为彼此相同或不同。
S1指第一光电二极管，S2指第二光电二极管，S3指第三光电二极管且L1指第四光电二极管。
例如，光电二极管L1可以是能够产生长曝光图像信号的光电二极管，光电二极管S1、S2和S3可以是能够产生短曝光图像信号的光电二极管。
设置在行Row1中的G像素和R像素中的每个像素包括四个光电二极管S1、S2、S3和L1。
设置在行Row2中的G像素和R像素中的每个像素包括四个光电二极管S1、S2、S3和L1。
例如，如图6所示，连接到设置在行Row1和Row2中的每个行中的R像素、G像素和B像素中的每个像素的光电二极管S1、S2和S3中的每个光电二极管的每个传输晶体管的栅极连接到第一对应传输线(或第一金属线：LINE1)，而连接到R像素、G像素和B像素中的每个像素的光电二极管L1的传输晶体管的栅极连接到第二对应传输线(或第二金属线：LINE2)。
图7示出包括两个光电二极管PD1和PD2的像素的剖视图。该像素可以是图1的R、G或B。
光电二极管PD1或PD1’可以是可产生长曝光图像信号的光电二极管和可产生短曝光图像信号的光电二极管中的一种，而光电二极管PD2或PD2’可以是可产生长曝光图像信号的光电二极管和可产生短曝光图像信号的光电二极管中的另一种。
两个光电二极管PD1和PD2与PD1’和PD2’可形成在硅基底中，深槽隔离(DTI)可形成在光电二极管PD1和PD2与PD1’和PD2’之间。例如，像素内DTI(in-pixel DTI)可形成在两个光电二极管PD1和PD2之间和两个光电二极管PD1’和PD2’之间，像素间DTI(inter-pixelDTI)可形成在两个像素之间，诸如彼此相邻的两个或更多个像素之间。
金属布线、多层金属布线或布线层可形成在电路区域中，其中，所述电路区域形成在两个光电二极管PD1和PD2与滤色器之间以及两个光电二极管PD1’和PD2’与滤色器之间。透镜缓冲器或平坦化层可形成在微透镜和滤色器之间。
图8示出包括四个光电二极管PD1至PD4的像素的剖视图。该像素可以是图1的R、G或B。
参照图4和图8，PD1为L1、S1、L2和S2中的一个，PD2为L1、S1、L2和S2中的另一个，PD3为L1、S1、L2和S2中的又一个，PD4为L1、S1、L2和S2中的余下的一个。
参照图5和图8，PD1为L1、L2、L3和S1中的一个，PD2为L1、L2、L3和S1中的另一个，PD3为L1、L2、L3和S1中的又一个，PD4为L1、L2、L3和S1中的余下的一个。
参照图6和图8，PD1为S1、S2、S3和L1中的一个，PD2为S1、S2、S3和L1中的另一个，PD3为S1、S2、S3和L1中的又一个，PD4为S1、S2、S3和L1中的余下的一个。
四个光电二极管PD1至PD4形成在硅基底中，对应的DTI(例如，像素内DTI)可形成在两个光电二极管PD1和PD2、PD2和PD3以及PD3和PD4之间。像素间DTI可形成在像素之间，诸如，两个或更多个彼此相邻的像素。
金属布线、多层金属布线或布线层可以形成在电路区域中，其中，所述电路区域形成在四个光电二极管PD1至PD4与滤色器之间。透镜缓冲器或平坦化层可形成在微透镜和滤色器之间。
图9示出包括两个光电二极管PD1和PD2的像素(例如，PAF像素)的电路图。参照图2、图3、图7和图9，该像素包括两个光电二极管PD1和PD2、两个传输晶体管TX1和TX2、重置晶体管RX、源极跟随器SF以及选择晶体管SX。
可分别控制晶体管TX1、TX2、RX和SX的控制信号TG1、TG2、RST和SEL中的每个控制信号可从行驱动器输出。选择晶体管SX的输出信号被供应到列线。
在图9中，为了便于描述，示出具有共享的浮置扩散区(FD)的像素，然而，根据设计者的意图将长曝光和短曝光区别开来的像素可不具有由光电二极管PD1和PD2共享的一个浮置扩散区(FD)。
图10是包括四个光电二极管PD1至PD4的像素(例如，PAF像素)的电路图。参照图4、图5、图6、图8和图10，该像素包括四个光电二极管PD1至PD4、四个传输晶体管TX1至TX4、重置晶体管RX、源极跟随器SF以及选择晶体管SX。
可分别控制晶体管TX1至TX2、RX和SX的控制信号TG1至TG4、RST和SEL中的每个控制信号可从行驱动器输出。选择晶体管SX的输出信号被供应到列线。
在图10中为了便于描述，示出具有共享的浮置扩散区(FD)的像素，然而，根据设计者的意图将长曝光和短曝光区别开来的像素可不具有光电二极管PD1至PD4共享的一个浮置扩散区(FD)。
图11是包括图1的像素阵列的图像传感器的框图。
包括在像素阵列中的每个PAF像素P的结构与参照图2至图8描述的像素的结构基本相同。PAF像素P表示R、G或B像素。
布置在奇数行Row1、Row3……中的每个PAF像素P的输出信号被传输到底部的模数转换器。从底部的模数转换器输出的数字信号可存储在对应的存储器或缓冲器中。
布置在偶数行Row2、Row4……中的每个PAF像素P的输出信号被传输到顶部的模数转换器。从顶部的模数转换器输出的数字信号可存储在对应的存储器或缓冲器中。
如图11中所示，当每个像素P包括多个光电二极管时，可以设置能够传输N个控制信号的N条传输线，其中，所述N个控制信号控制包括在每个像素P中的所述多个光电二极管的曝光时间或积分时间，N为大于或等于2的自然数。
图12是包括图1的像素阵列的图像传感器的另一框图。包括在像素阵列中的每个PAF像素P的结构与参照图2至图8描述的像素的结构基本相同。PAF像素P表示像素R、G或B。
布置在奇数行Row1、Row3……中的每个PAF像素P的输出信号被传输到第一模数转换器。从第一模数转换器输出的数字信号可存储在对应的存储器或缓冲器中。所述存储器或缓冲器可输出图像数据。
布置在偶数行Row2、Row4……中的每个PAF像素P的输出信号被传输到第二模数转换器。从第二模数转换器输出的数字信号可存储在对应的存储器或缓冲器中。所述存储器或缓冲器可输出图像数据。
如图12中所示，当每个像素P包括多个光电二极管时，可以设置能够传输N个控制信号的N条传输线，其中，所述N个控制信号控制包括在每个像素P中的所述多个光电二极管的曝光时间或积分时间。
图13是根据示例实施例的包括图1中示出的像素阵列100的数据处理系统500的框图。
参照图1至图10以及图13，数据处理系统500可被设置为如上描述的便携式电子装置。数据处理系统500包括光学透镜503、CMOS图像传感器505、数据信号处理器(DSP)600和显示器640。
CMOS图像传感器505可产生通过光学透镜503入射的对象501的图像数据IDATA。图像数据IDATA是与从多个光电二极管P输出的像素信号对应的数据。
CMOS图像传感器505包括像素阵列100、行驱动器520、读取电路525、时序产生器530、控制寄存器块550、参考信号产生器560和缓冲器570。
像素阵列100包括多个像素P。可以利用CMOS制造工艺来制造CMOS图像传感器505的像素P。如参照图1至图10描述的，多个像素P中的每个像素P可包括一个或多个光电二极管。
像素阵列100包括以矩阵形状布置的像素P。像素P将像素信号传输到列线。
行驱动器520根据时序产生器530的控制，将控制信号驱动到像素阵列100以控制每个像素P的操作。
行驱动器520可用作能够产生控制信号的控制信号产生器。例如，控制信号可包括图9中示出的控制信号RST、TG1、TG2和SEL，或者可以包括图10中示出的控制信号RST、TG1至TG4以及SEL。
时序产生器530根据控制寄存器块550的控制而控制行驱动器520、读取电路525和参考信号产生器560的操作。
读取电路525包括基于列的模数转换器526和基于列的模数存储器527。根据示例实施例，模数转换器526可执行相关双采样(CDS)的功能。
读取电路525输出与从每个像素P输出的像素信号对应的数字图像信号。
控制寄存器块550根据DSP 600的控制而控制时序产生器530、参考信号产生器560和缓冲器570的操作。
缓冲器570将与从读取电路525输出的多个数字图像信号对应的图像数据IDATA传输到DSP 600。
图像数据IDATA包括与长曝光图像信号对应的第一图像数据和与短曝光图像信号对应的第二图像数据。
DSP 600包括图像信号处理器(ISP)610、传感器控制器620和接口630。
ISP 610对控制寄存器块550的传感器控制器620和接口630进行控制。
根据示例实施例，CMOS图像传感器505和DSP 600可被设置在一个封装中，例如，多芯片封装(MCP)。
CMOS图像传感器505和ISP 610在图13中彼此分开，然而，ISP 610可被设置为CMOS图像传感器505的一部分。
ISP 610对从缓冲器570传输的图像数据IDATA进行处理，并将处理后的图像数据传输到接口630。例如，ISP 610可对与从像素P输出的像素信号对应的图像数据IDATA进行插值，并产生插值后的图像数据。
传感器控制器620可根据ISP 610的控制而产生用于控制控制寄存器块550的各种控制信号。
接口630可将被ISP 610处理过的图像数据(例如，插值后的图像数据)传输到显示器640。
显示器640可显示从接口630输出的插值后的图像数据。显示器640可被实现为薄膜晶体管-液晶显示器(TFT-LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、有源矩阵OLED(AMOLED)显示器或柔性显示器。
图14是图像信号处理器(ISP)的示意性框图。图15A和图15B示出图13中示出的CMOS图像传感器在一个场(field)期间的曝光时间和积累的曝光量，图16示出长曝光图像信号的输入/输出亮度特性和短曝光图像信号的输入/输出亮度特性以描述对长曝光图像信号和短曝光图像信号的组合处理。
参照图14，图13的ISP 610可以包括重构电路200和动态范围压缩电路220。
将参照图15和图16描述操作重构电路200的方法。
首先，参照图15A，执行根据T1秒(例如，1/60秒)的场周期而形成的T2秒的长曝光和T3秒的短曝光。根据示例实施例，长曝光时间和短曝光时间可改变。
为了执行长曝光和短曝光，根据一个场周期内的行数量来获得长曝光图像信号和短曝光图像信号。为了组合长曝光信号和短曝光信号，根据一个场周期内的行数量来产生捕获的图像数据。
可通过图14的重构电路200来执行长曝光图像信号和短曝光图像信号的组合。将参照图16来描述通过重构电路200的组合处理。
根据示例实施例，输入图像数据INPUT可包括与第一图像数据对应的长曝光图像信号和与第二图像数据对应的短曝光图像信号。
通过重构电路200进行组合处理时，可通过在虚线指示的由亮度阈值表示的切换点处切换信号或图像，来产生组合信号或组合图像。
例如，将对应的长曝光图像信号应用于亮度水平比切换点的亮度水平低的像素信号，并将对应的短曝光图像信号应用于亮度水平比切换点的亮度水平高的像素信号。
通过将短曝光信号乘以曝光比或增益，来执行两个图像之间的水平匹配。例如，可以根据长曝光图像信号和短曝光图像信号之间的比例来确定曝光比或增益。
当长曝光图像信号和短曝光图像信号之间的曝光比例为K:1时，短曝光图像信号的曝光是长曝光图像信号的曝光的1/K。长曝光图像信号的亮度水平是短曝光图像信号的亮度水平的K倍大。因此，可以通过将短曝光图像信号乘以增益K来使两个水平匹配。
以这种方式，短曝光图像信号放大了K倍。结果，产生具有长曝光信号的特性和短曝光信号的特性的组合图像。
即，参照图16所述，重构电路200如参照图16所述地对输入图像数据INPUT进行组合，并输出组合图像OUTPUT1。重构电路200可执行将通过短曝光获得的短曝光图像信号(即，短曝光图像)和通过长曝光获得的长曝光图像信号(即，长曝光图像)进行线性组合的作用。
重构电路200将短曝光图像乘以曝光比，然后通过将长曝光图像和由相乘产生的图像进行线性组合而产生线性图像OUTPUT1。例如，当与长曝光图像信号对应的第一图像数据为M比特(例如，14比特)，与短曝光图像信号对应的第二图像数据为M比特(例如，14比特)时，第一图像数据和第二图像数据在某个部分中相互叠置，叠置的组合图像OUTPUT1变成小于2*M比特。例如，叠置的组合图像OUTPUT1可以为14比特。这里，每个比特数表示与从每个像素输出的每个像素信号对应的图像数据的比特数。
动态范围压缩电路220将叠置的组合图像OUTPUT1的比特数(例如14比特)降低到用于显示标准或输出标准的比特(例如，10比特)，并输出具有低比特数的图像OUTPUT2。例如，动态范围压缩电路220利用诸如公知的伽玛连接(例如，以本地法或全局法实现)的曲线来减少组合图像OUTPUT1的比特数，并输出比特数减少的输出图像OUTPUT2。例如，动态范围压缩电路220可执行对组合图像OUTPUT1的动态范围进行压缩的作用。
图15B描述卷帘快门(rolling shutter)法，在图15B中可彼此叠置地进行长曝光和短曝光。T2和T3可取决于行的数量。
图17是描述从多二极管PAF传感器的输出信号输出彼此同步的颜色数据和深度数据的方法的框图。图17中示出的电路可作为图13的CMOS图像传感器505的一部分而包括在其中。
多二极管PAF传感器300的输出信号可以是相位差信号，即，从包括在一个像素中的多个光电转换元件(例如，光电二极管)输出的信号。
颜色数据处理电路310可利用分别从光电转换元件L和S输出的信号LDATA和SDATA来执行用于改善图像数据的处理。所述处理可包括预处理。可在对主要颜色(例如，RGB数据)执行图像处理之前，预处理校正在CMOS图像传感器的制造工艺中出现的问题。所述校正可包括透镜阴影校正和/或坏像素校正等。
所述处理可包括主要颜色图像处理。所述主颜色图像处理可包括插值、降噪、边缘增强、颜色校正和/或伽玛处理。
颜色数据处理电路310可执行预处理和主颜色处理中的至少一种。
PAF数据处理电路320在PAF像素的基础上执行用于改善深度数据的处理。PAF数据处理电路320可执行相位差自动聚焦数据处理，并可以执行利用从包括在每个像素中的光电二极管输出的信号LDATA和SDATA转换视差数据(disparity data)或深度数据的作用。例如，视差数据可以是针对通过多二极管获得的在一个点处的图像的数据。PAF数据处理电路320可以执行一系列的处理(例如，降噪)，从而获得视差数据或深度数据。可以以管线结构来实现电路310和电路320中的每个电路。
根据示例实施例，可以彼此同步地输出或者按行依次地输出被颜色数据处理电路310处理的颜色数据和被PAF数据处理电路320处理的深度数据。根据示例实施例，当颜色数据和深度数据彼此同步时，可以彼此同步地输出颜色数据和深度数据。根据另一示例实施例，可在输出颜色数据之后输出深度数据，或者可在输出深度数据之后输出颜色数据。根据又一示例实施例，可交替地输出颜色数据和深度数据。根据再一示例实施例，可使用将颜色数据和深度数据进行混合并输出的方法。
根据一些示例实施例，当在第一芯片中设置多二极管PAF传感器300时可在第二芯片中设置颜色数据处理电路310和PAF数据处理电路320。例如，可将颜色数据处理电路310和PAF数据处理电路320设置在ISP、应用处理器或片上系统(SoC)中。图17中示出的电路可利用全PAF像素输出深度图数据。
图18是根据本发明构思的示例实施例的用于控制像素的操作的对于每列的传输栅极控制线的概念图，图19是设置在同一列中的像素的电路图。
参照图1、图7、图18和图19，R像素、G像素和B像素中的每个像素可包括两个光电转换元件。例如，第一绿像素可包括两个光电转换元件GrPD1和GrPD2，红像素可包括两个光电转换元件RPD1和RPD2，蓝像素可包括两个光电转换元件BPD1和BPD2，第二绿像素可包括两个光电转换元件GbPD1和GbPD2。
在本说明书中描述的R像素、G像素和B像素中的每个像素指示能够执行相位检测自动聚焦操作或相位差自动聚焦操作的PAF像素。如图18中所示，四个传输栅极控制线可设置在每个行中。
第一控制信号TA1可控制连接到光电转换元件GrPD1的传输晶体管TXa1，第二控制信号TA2可控制连接到光电转换元件GrPD2的传输晶体管TXa2，第三控制信号TA3可控制连接到光电转换元件RPD1的传输晶体管，第四控制信号TA4可控制连接到光电转换元件RPD2的传输晶体管。从曝光时间控制电路(例如，图13的行驱动器520)输出的控制信号TA1至TA4可独立地控制设置在第一行中的每个像素所包括的两个光电转换元件中的每个光电转换元件的曝光时间。
第五控制信号TB1可控制连接到光电转换元件BPD1的传输晶体管TXb1，第六控制信号TB2可控制连接到光电转换元件BPD2的传输晶体管TXb2，第七控制信号TB3可控制连接到光电转换元件GrPD1的传输晶体管，第八控制信号TB4可控制连接到光电转换元件GrPD1的传输晶体管。从曝光时间控制电路(例如，图13的行驱动器520)输出的控制信号TB1至TB4可独立地控制设置在第二行中的每个像素所包括的两个光电转换元件中的每个光电转换元件的曝光时间。
可根据供应到对应的传输晶体管的栅极的对应控制信号，来控制包括在每个像素中的多个光电转换元件中的每个光电转换元件的电荷积累和电荷传输。
根据另一示例实施例，可将第一控制信号TA1供应到连接到光电转换元件GrPD2的传输晶体管的栅极，并将第二控制信号TA2供应到连接到光电转换元件GrPD1的传输晶体管的栅极。另外，可修改像素阵列的设计，从而可将第三控制信号TA3供应到连接到光电转换元件RPD2的传输晶体管的栅极，并可将第四控制信号TA4连接到光电转换元件RPD1的传输晶体管的栅极。例如，本实施例可以应用到图18中示出的两个像素的第二列。
图19示出具有如图9中所示的共享公共浮置扩散区FD的2个光电二极管的像素。在图19中，VPIX是图9中示出的操作电压VDD。如图19中所示，当假设像素A是设置在第一行中的第一绿像素且像素B是设置在第二行中的蓝像素时，设置在同一列中的第一绿像素和蓝像素可共享浮置扩散区或浮置扩散节点FD。即，四个光电转换元件GrPD1、GrPD2、BPD1和BPD2可通过四个传输晶体管来共享浮置扩散区FD。
图20是用于描述图19中示出的像素的操作的时序图。
参照图18至图20，在一个时间周期内，存在两个快门时间段STX1和STX2以及一个读出时间段READ。通过传输晶体管TXa1和重置晶体管RX来重置设置在与地址ADD1对应的第一行中的像素A的第一光电转换元件GrPD1。即，在第一快门时间段STX1中，将第一控制信号TA1供应到传输晶体管TXa1的栅极并将重置信号RST供应到重置晶体管R的栅极。在第二快门时间段STX2中，不对相应的光电转换元件执行重置操作。
在读取时间段READ中，对设置在与不同于地址ADD1的地址ADD3对应的行中的像素的浮置扩散区FD进行重置。然后，将第二控制信号TA2供应到与设置在第一行中的像素A的第二光电转换元件GrPD2连接的传输晶体管TXa2的栅极。因此，在第二光电转换元件GrPD2中积累的电荷通过传输晶体管TXa2被传输到浮置扩散区FD，并且源极跟随器SF响应于传输到浮空区FD的电荷而操作，并且从源极跟随器SF输出的信号通过选择晶体管SX被传输到列线。
图21是针对宽动态范围(WDR)布置像素的示例实施例。参照图18、图19和图21，L指示能够产生长曝光图像信号的光电转换元件，S指示能够产生短曝光图像信号的光电转换元件。
控制信号TA1、TA3、TB1和TB3中的每个控制信号与相对长曝光时间对应，其中，所述控制信号TA1、TA3、TB1和TB3分别被供应到分别连接到光电转换元件GrPD1、RPD1、BPD1和GbPD1的传输晶体管的栅极。然而，控制信号TA2、TA4、TB2和TB4中的每个控制信号与相对短曝光时间对应，其中，所述控制信号TA2、TA4、TB2和TB4分别被供应到分别连接到光电转换元件GrPD2、RPD2、BPD2和GbPD2的传输晶体管的栅极。
图22是针对宽动态范围(WDR)布置像素的另一示例实施例。参照图18、图19和图22，L指示能够产生长曝光图像信号的光电转换元件，S指示能够产生短曝光图像信号的光电转换元件。
控制信号TA1、TA3、TB1和TB3中的每个控制信号与相对长曝光时间对应，其中，控制信号TA1、TA3、TB1和TB3分别被供应到分别连接到光电转换元件GrPD1、RPD1、BPD2和GbPD2的传输晶体管的栅极。然而，控制信号TA2、TA4、TB2和TB4中的每个控制信号与相对短曝光时间对应，其中，控制信号TA2、TA4、TB2和TB4分别被供应到分别连接到光电转换元件GrPD2、RPD2、BPD1和GbPD1的传输晶体管的栅极。
由于与从曝光时间相同的光电转换元件输出的电荷对应的像素信号被相加，因此行驱动器520对控制信号TA1至TA4和TB1至TB4中的每个控制信号进行控制以执行像素混合(binning)。因此，行驱动器520根据操作条件(诸如PAF的特性和/或像素混合的特性)控制与曝光时间有关的控制信号TA1至TA4和TB1至TB4中的每个控制信号。
如参照图18至22所描述的，可根据提供给连接到光电转换元件的传输晶体管的栅极的控制信号是与相对长曝光时间对应的信号还是与相对短曝光时间对应的信号，将在空间上不同位置的像素控制为具有不同的曝光时间。
这里，L和S是彼此关联的，当将与相对短曝光时间对应的控制信号提供给连接到L的传输晶体管的栅极时，L可产生与相对短曝光图像信号对应的电荷。另外，当将与相对长曝光时间对应的控制信号提供给给连接到S的传输晶体管的栅极时，S可产生与相对长曝光图像信号对应的电荷。
如参照图18至图22描述的，由于仅向包括在每个像素中的两个光电转换元件中的一个光电转换元件供应与长曝光时间对应的控制信号，因此与从参照图18至图22描述的像素输出的像素信号对应的尼奎斯特空间频率和与从包括在普通贝尔图案(Bayerpatterns)中的像素输出的像素信号对应的尼奎斯特空间频率相同，并且包括参照图18至图22描述的像素的图像传感器的分辨率可以与包括贝尔图案的图像传感器的分辨率相同。
图23是用于描述根据本发明构思的示例实施例的读取像素信号的方法的概念图，图24是用于描述图23中示出的读取像素信号的方法的电路图。为了便于描述，假设图像信号以从时间点(1)至时间点(4)的顺序输出。
当在时间点(1)，将从行驱动器520输出的控制信号供应到与设置在不同位置的光电转换元件连接的传输晶体管的栅极时，包括光电转换元件的像素可通过对应的列线COL1至COL4将像素信号并行地输出到比较器CP1至CP4。
设置在根据图13的读取电路525的示例实施例的读取电路525A中的比较器CP1至CP4中的每个比较器可将斜坡信号(ramp signal)VRAMP与每各自的像素信号进行比较，并输出各自的比较信号。斜坡信号VRAMP可从参考信号产生器(例如，斜坡信号产生器560)输出。
例如，可在时间点(1)，同时或并行地从绿像素输出长曝光的绿图像信号。可在时间点(2)，同时或并行地从绿像素输出短曝光的绿图像信号。可在时间点(3)，同时或并行地从红像素输出长曝光的红图像信号。可在时间点(4)，同时或并行地从红像素输出短曝光的红图像信号。
图25是用于描述在普通操作条件下运行的时序产生器的操作的概念图，图26是用于描述时序产生器在基于两行的像素混合时的操作的概念图，图27是用于描述时序产生器在基于三行的像素混合时的操作的概念图。
参照图13以及图18至图27，时序产生器530可控制行驱动器520使得相位差检测性能不会在WDR操作条件下劣化，并且可将与长曝光时间对应的控制信号供应到包括在每个像素中的两个光电转换元件中的一个光电转换元件。时序产生器530可在将要参照图27、图28和图29进行描述的像素混合条件下控制各像素的曝光。
图27是与针对普通操作条件的曝光控制对应的WDR图案。图28是与在两行像素混合时的曝光控制对应的WDR图案。在这种情况下，所述两行中的每行被同时读取。图29是与在三行像素混合时的曝光控制对应的WDR图案。在这种情况下，所述三行中的每行被同时读取。
图28是示出包括图1或图18中示出的像素的数据处理系统的另一示例实施例的框图。数据处理系统1600包括像素阵列100、控制电路(或曝光时间控制电路)1610、模数转换器1630，预-ISP 1650，相位差处理电路1660和输出接口1670。
像素阵列100包括多个像素。多个像素中的每个像素可以是参照图1至图27描述的像素。即，每个像素可包括能够被独立控制的两个或更多个光电转换元件。
曝光时间控制电路1610可独立地控制针对每个像素的每个光电转换元件的曝光时间。曝光时间控制电路1610可包括行驱动器520和时序产生器530。
图29是用于描述图28中示出的数据处理系统的操作的流程图。参照图28和图29，根据示例实施例，时序产生器530可检查当前行地址，基于检查的结果而产生第一曝光时间控制信号，并将所产生的第一曝光时间控制信号输出到行驱动器520(S110)。即，可仅基于当前行地址来产生第一曝光时间控制信号。
行驱动器520响应于第一曝光时间控制信号而产生与长序列和/或短序列对应的控制信号。长序列指示用于控制长曝光时间的序列，短序列指示用于控制短曝光时间的序列。
根据另一示例实施例，时序产生器530可检查与像素混合条件对应的像素混合条件数据，基于检查的结果来产生第一曝光时间控制信号，并将产生的第一曝光时间控制信号输出到行驱动器520(S120)。在一个实施例中，时序产生器530可存储像素混合条件数据(例如，在制造期间设置的或被通过由例如控制寄存器块(诸如图13中示出的控制寄存器块530)接收的外部命令所编程的期间的)。可选择地，时序产生器530可访问存储在另一元件(诸如控制寄存器块)中的像素混合条件数据。即，可仅基于像素混合条件数据来产生第一曝光时间控制信号。这里，像素混合条件数据可以是如参照图25、图26和图27描述的像素混合操作中使用的像素混合条件数据。
根据又一示例实施例，时序产生器530可基于对当前行地址的检查(S110)的结果和对像素混合数据的检查(S120)的结果，来产生第一曝光时间控制信号并将产生的第一曝光时间控制信号输出到行驱动器520。根据长序列和/或短序列来重置设置在每个像素中的光电转换元件(例如，光电二极管)(S130)。
设置在每个像素中的光电转换元件将根据长序列和/或短序列聚集或积累的电荷通过传输晶体管传输到相应的浮置扩散区。即，像素在相应的曝光时间流逝之后通过列线将像素信号输出到模数转换器1630(S140)。
模数转换器1630将从像素输出的像素信号转换成数字信号，并将所述数字信号传输到预-ISP 1650。预-ISP 1650可对所述数字信号执行镜头阴影校正和/或坏像素校正，根据所执行的结果来产生颜色信息，并将所产生的颜色信息输出到输出接口1670。另外，预-ISP 1650可将所述数字信号或与所执行的结果对应的信号输出到相位差处理电路1660。
相位差处理电路1660可将从预-ISP 1650传输的数字信号或与所执行的结果对应的信号进行压缩，并将与压缩的结果对应的相位差信息输出到输出接口1670。例如，相位差处理电路1660可将从预-ISP 1650传输的数字信号转换成Y值(例如，相位值)，检测与长曝光图像信号对应的数字信号和与短曝光图像信号对应的数字信号之间的差异(parity)，并产生与检测的结果对应的相位差信息。
例如，相位差处理电路1660可计算与从包括在M行中的像素中输出的像素信号对应的数字信号的平均值(其中，M是在Y轴方向上等于或大于2的自然数)，并产生被压缩成1/M的相位差信息。
输出接口1670可以输出从预-ISP 1650输出的颜色信息和从相位差处理电路1660输出的相位差信息。输出接口1670可确定颜色信息和相位差信息的输出序列。
图30是示出包括图1或图18中示出的像素的数据处理系统的另一示例实施例的框图。参照图1至图30，数据处理系统700可被实现为能够使用或支持移动产业处理器接口(MIPI)的数据处理系统。数据处理系统700可被实现为便携式电子装置。便携式电子装置可以是移动计算装置。移动计算装置可以是膝上型计算机、移动电话、智能电话、平板PC、数码相机、摄像机、MID、可穿戴计算机、IoT装置或IoE装置。
数据处理系统700可包括应用处理器(AP)710，图像传感器505和显示器730。
设置在AP 710中的相机串行接口(CSI)主机713可以通过CSI与图像传感器505的CSI装置706执行串行通信。根据示例实施例，CSI主机713可以包括去串行化器DES，CSI装置706可以包括串行化器SER。
图像传感器505可包括参照图1至图13和图15至图28描述的多个像素或多个有源像素传感器。多个像素中的每个像素可包括能够被独立地控制的多个光电转换元件。多个像素的各个结构如参照图7或图8的描述一样。图像传感器505可被实现为前侧照明(FSI)CMOS图像传感器或后侧照明(BSI)CMOS图像传感器。
另外，图像传感器505可包括例如行驱动器的控制电路(或曝光时间控制电路)，其中，所述控制电路可根据行地址和/或像素混合条件数据而独立地控制包括在每个像素中的多个光电转换元件中的每个光电转换元件的曝光时间。
设置在AP 710中的显示器串行接口(DSI)主机711可通过DSI与显示器730的DSI装置731执行串行通信。根据示例实施例，DSI主机711可包括串行化器SER，DSI装置731可包括去串行化器DES。例如，从图像传感器505输出的图像数据可通过CSI被传输到AP 710。AP710可处理所述图像数据，并将处理后的图像数据通过DSI传输到显示器730。
数据处理系统700还可包括与AP 710通信的RF芯片740。AP 710的物理层(PHY)715和RF芯片740的物理层(PHY)741可根据MIPI DigRF彼此发送或接收数据。
CPU 717可控制DSI主机711、CSI主机713和PHY 715中的每个的操作，并包括一个或多个核。
AP 710可设置在集成电路和片上系统(SoC)中，并可以是能够控制图像传感器505的操作的处理器或主机。
数据处理系统700可包括GPS接收器750、诸如动态随机存取存储器(DRAM)的易失性存储器751、包括诸如闪速类存储器的非易失性存储器的数据存储装置753、麦克风755和/或扬声器757。数据存储装置753可设置在可附于AP 710或者从AP 710分离的外部存储器中。另外，数据存储装置753可设置在通用闪速存储器(UFS)、多媒体卡(MMC)、嵌入式MMC(eMMCTM)或存储卡中。
数据处理系统700可利用至少一种通信协议与外部装置通信，例如微波存取全球互通(WiMAX)759，无线局域网(WLAN)761，超宽带(UWB)763和/或长期演进(LTETM)765。根据示例实施例，数据处理系统700还可包括近场通信(NFC)模块、Wi-Fi模块和/或蓝牙模块。
根据本发明构思的示例实施例的图像传感器可以包括在像素中可被独立地控制的多个光电转换元件，并具有被独立地控制的它们的曝光时间或积分时间。包括像素阵列的图像传感器能够利用包括在设置在像素阵列中的每个像素中的多个光电转换元件，在像素阵列的整个区域中一致地检测相位差信号。
可以通过能够处理一致地检测到的相位差信号的图像传感器来提高所产生的彩色图像的图像质量。另外，提高了被图像传感器检测到的相位差信号的可靠性，并提高了图像传感器的空间分辨率，从而改善了图像传感器的自动聚焦性能。
虽然已经示出和描述了本发明构思的一些实施例，但本领域技术人员将领会的是，在不脱离总的发明构思的精神和范围的情况下，可以在这些实施例中做出改变，本申请的范围由权利要求及其等同物限定。

Claims (17)

1.一种图像传感器，所述图像传感器包括：
像素阵列，包括多个像素，所述多个像素沿多个行和多个列排列，所述多个像素中的每个像素包括多个光电转换元件；
控制电路，被配置为基于混合条件数据独立地控制所述多个像素中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间，其中，混合条件数据表示在针对所述图像传感器的混合操作中使用的所述多个行的数量，
其中，所述多个行中的第一行中的像素的光电转换元件结合到第一集合的传输线，
其中，所述多个行中的第二行中的像素的光电转换元件结合到第二集合的传输线，
其中，第一行和第二行相邻，
其中，第一集合的传输线与第二集合的传输线分开。
2.根据权利要求1所述的图像传感器，其中，控制电路还被配置为利用第一行的行地址来独立地控制第一行中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间。
3.根据权利要求1所述的图像传感器，其中，所述多个像素包括：
第一像素，包括第一光电转换元件和第二光电转换元件；以及
第二像素，包括第三光电转换元件和第四光电转换元件，
其中，控制电路还被配置为：
通过第一控制线输出用于控制第一光电转换元件的第一曝光时间的第一控制信号，
通过第二控制线输出用于控制第二光电转换元件的第二曝光时间的第二控制信号，
通过第三控制线输出用于控制第三光电转换元件的第三曝光时间的第三控制信号，以及
通过第四控制线输出用于控制第四光电转换元件的第四曝光时间的第四控制信号。
4.根据权利要求3所述的图像传感器，其中，第一像素和第二像素在第一行或所述多个列中的第一列中，第一曝光时间和第三曝光时间彼此相等，第二曝光时间和第四曝光时间彼此相等，并且第一曝光时间比第二曝光时间长。
5.根据权利要求3所述的图像传感器，其中，第一像素和第二像素在所述多个列中的第一列中，第一曝光时间和第四曝光时间彼此相同，第二曝光时间和第三曝光时间彼此相同，并且第一曝光时间比第二曝光时间长。
6.根据权利要求1所述的图像传感器，其中，第一行包括：
第一像素，包括第一光电转换元件和第二光电转换元件；以及
第二像素，包括第三光电转换元件和第四光电转换元件，
第一光电转换元件和第二光电转换元件通过对应的传输晶体管共享第一浮置扩散区，并且
第三光电转换元件和第四光电转换元件通过对应的传输晶体管共享与第一浮置扩散区不同的第二浮置扩散区。
7.根据权利要求1所述的图像传感器，其中，所述多个像素包括：
第一像素，在所述多个列中的第一列并包括第一光电转换元件和第二光电转换元件；以及
第二像素，在所述多个列中的第一列并包括第三光电转换元件和第四光电转换元件，并且
其中，第一像素和第二像素共享一个浮置扩散区。
8.根据权利要求1所述的图像传感器，其中，第一深槽隔离结构形成在所述多个像素中的彼此相邻的像素之间，第二深槽隔离结构形成在所述多个像素中的每个像素所包括的多个光电转换元件中的彼此相邻的光电转换元件之间。
9.根据权利要求8所述的图像传感器，其中，所述多个像素中的每个像素包括：
滤色器，在包括在每个像素中的多个光电转换元件之上；以及
微透镜，在滤色器之上。
10.一种数据处理系统，所述数据处理系统包括：
图像传感器；以及
控制器，被配置为控制所述图像传感器的操作，
其中，所述图像传感器包括：
像素阵列，包含沿多个行和多个列排列的多个像素，所述多个像素中的每个像素包括多个光电转换元件；
控制电路，被配置为基于混合条件数据独立地控制所述多个像素中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间，其中，混合条件数据表示在针对所述图像传感器的混合操作中使用的所述多个行的数量，
所述多个像素中的每个像素被独立地控制，以检测相位差，
其中，所述多个行中的第一行中的像素的光电转换元件结合到第一集合的传输线，
其中，所述多个行中的第二行中的像素的光电转换元件结合到第二集合的传输线，
其中，第一行和第二行相邻，
其中，第一集合传输线与第二集合的传输线分开。
11.根据权利要求10所述的数据处理系统，其中，控制电路还被配置为利用第一行的行地址来独立地控制第一行中的每个像素所包括的多个光电转换元件中的每个光电转换元件的曝光时间。
12.根据权利要求10所述的数据处理系统，其中，所述多个像素中的每个像素所包括的多个光电转换元件包括：
第一光电转换元件和第二光电转换元件，第一光电转换元件被控制为具有相对长曝光时间，第二光电转换元件被控制为具有相对短曝光时间，并且
包括在所述多个像素中的第一像素中的第一光电转换元件和包括在所述多个像素中的与第一像素相邻的第二像素中的第一光电转换元件沿对角线方向设置。
13.根据权利要求10所述的数据处理系统，其中，
所述多个像素中的每个像素所包括的多个光电转换元件包括第一光电转换元件和第二光电转换元件，
控制电路还被配置为将第一光电转换元件控制成具有相对长曝光时间，并将第二光电转换元件控制成具有相对短曝光时间，
其中，所述多个像素中的每个像素所包括的第一光电转换元件被配置为根据控制电路的控制而并行地输出各自的像素信号。
14.根据权利要求10所述的数据处理系统，其中，所述数据处理系统还包括：
模数转换器，被配置为将从所述多个像素中的每个像素所包括的多个光电转换元件输出的像素信号转换成数字信号；
预-图像信号处理器，被配置为从所述数字信号产生颜色信息；以及
相位差处理电路，被配置为从所述数字信号产生与相位差对应的相位差数据并压缩所产生的相位差数据。
15.根据权利要求10所述的数据处理系统，其中，第一深槽隔离结构形成在所述多个像素中的彼此相邻的像素之间，第二深槽隔离结构形成在所述多个像素中的每个像素所包括的多个光电转换元件中的彼此相邻的光电转换元件之间。
16.根据权利要求15所述的数据处理系统，其中，所述多个像素中的每个像素包括：
滤色器，在包括在每个像素中的多个光电转换元件之上；以及
微透镜，在滤色器之上。
17.根据权利要求10所述的数据处理系统，其中，所述多个像素中的每个像素包括：
第一光电转换元件和第二光电转换元件，
其中，控制电路还被配置为：
通过第一控制线输出用于控制第一光电转换元件的第一曝光时间的第一控制信号，以及
通过第二控制线输出用于控制第二光电转换元件的第二曝光时间的第二控制信号。
CN201510208759.3A 2014-04-28 2015-04-28 图像传感器和具有该图像传感器的图像处理装置 Active CN105049755B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461985019P 2014-04-28 2014-04-28
US61/985,019 2014-04-28
KR10-2014-0178098 2014-12-11
KR1020140178098A KR102292136B1 (ko) 2014-04-28 2014-12-11 광전 변환 소자들을 포함하는 픽셀을 포함하는 이미지 센서와 이를 포함하는 이미지 처리 장치

Publications (2)

Publication Number Publication Date
CN105049755A CN105049755A (zh) 2015-11-11
CN105049755B true CN105049755B (zh) 2019-05-31

Family

ID=54335961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510208759.3A Active CN105049755B (zh) 2014-04-28 2015-04-28 图像传感器和具有该图像传感器的图像处理装置

Country Status (2)

Country Link
US (2) US9711553B2 (zh)
CN (1) CN105049755B (zh)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8742309B2 (en) 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
US10015471B2 (en) 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
US9888198B2 (en) 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
US9432568B2 (en) * 2014-06-30 2016-08-30 Semiconductor Components Industries, Llc Pixel arrangements for image sensors with phase detection pixels
US9338380B2 (en) 2014-06-30 2016-05-10 Semiconductor Components Industries, Llc Image processing methods for image sensors with phase detection pixels
JP6571939B2 (ja) * 2015-01-26 2019-09-04 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US9749556B2 (en) * 2015-03-24 2017-08-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
JP6420195B2 (ja) * 2015-03-27 2018-11-07 ルネサスエレクトロニクス株式会社 半導体装置
US10257448B1 (en) * 2015-08-18 2019-04-09 Sri International Extended dynamic range imaging sensor and operating mode of the same
US10044959B2 (en) * 2015-09-24 2018-08-07 Qualcomm Incorporated Mask-less phase detection autofocus
KR102405058B1 (ko) * 2015-09-25 2022-06-07 에스케이하이닉스 주식회사 이미지 센서
US10091441B1 (en) * 2015-09-28 2018-10-02 Apple Inc. Image capture at multiple resolutions
US9443899B1 (en) * 2015-11-04 2016-09-13 Omnivision Technologies, Inc. BSI CMOS image sensor with improved phase detecting pixel
CN105578072A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
US9743025B2 (en) * 2015-12-30 2017-08-22 Omnivision Technologies, Inc. Method and system of implementing an uneven timing gap between each image capture in an image sensor
JP6643101B2 (ja) * 2016-01-21 2020-02-12 キヤノン株式会社 撮像装置
JP7000861B2 (ja) * 2016-02-16 2022-02-04 ソニーグループ株式会社 画像処理装置、医療機器の作動方法及びプログラム
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
JP7005886B2 (ja) * 2016-03-31 2022-01-24 ソニーグループ株式会社 固体撮像素子、および電子機器
JP6688165B2 (ja) * 2016-06-10 2020-04-28 キヤノン株式会社 撮像装置及び撮像システム
US10205937B2 (en) * 2016-08-02 2019-02-12 Apple Inc. Controlling lens misalignment in an imaging system
KR20180024604A (ko) * 2016-08-30 2018-03-08 삼성전자주식회사 이미지 센서 및 그 구동 방법
US10015389B2 (en) * 2016-09-22 2018-07-03 Omnivision Technologies, Inc. Image sensor with asymmetric-microlens phase-detection auto-focus (PDAF) detectors, associated PDAF imaging system, and associated method
KR102557087B1 (ko) 2016-10-20 2023-07-20 삼성전자주식회사 이미지 생성을 위한 전자 장치 및 저장 매체
US10110840B2 (en) 2016-10-25 2018-10-23 Semiconductor Components Industries, Llc Image sensor pixels with overflow capabilities
KR102574236B1 (ko) 2016-12-07 2023-09-05 에스케이하이닉스 주식회사 서로 다른 사이즈의 포토다이오드들을 갖는 이미지 센서
GB2561163B (en) * 2017-03-30 2021-05-12 Apical Ltd Control systems and image sensors
US10645302B2 (en) * 2017-03-30 2020-05-05 Egis Technology Inc. Image sensing device having adjustable exposure periods and sensing method using the same
CN107147857B (zh) * 2017-05-17 2020-03-20 上海集成电路研发中心有限公司 一种高灵敏度的相位检测像素单元及其驱动方法
US10630901B2 (en) 2017-05-23 2020-04-21 Google Llc Systems and methods for selectively activating high dynamic range in a video capture system
KR102354991B1 (ko) 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
US11705440B2 (en) * 2017-06-26 2023-07-18 PlayNitride Inc. Micro LED display panel
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
EP3716618B1 (en) * 2017-11-22 2023-08-09 Sony Semiconductor Solutions Corporation Solid-state imaging element and electronic device
FR3074991B1 (fr) * 2017-12-07 2019-11-22 Teledyne E2V Semiconductors Sas Capteur d'image haute dynamique
US10687005B2 (en) * 2017-12-13 2020-06-16 Analog Devices Global Unlimited Company Analog-to-digital converters for phase-detection autofocus image sensors
JP2019140528A (ja) 2018-02-09 2019-08-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び電子機器
US11075234B2 (en) * 2018-04-02 2021-07-27 Microsoft Technology Licensing, Llc Multiplexed exposure sensor for HDR imaging
JP7236282B2 (ja) * 2019-02-08 2023-03-09 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
JP7161317B2 (ja) 2018-06-14 2022-10-26 キヤノン株式会社 撮像装置、撮像システム及び移動体
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
CN111104193A (zh) * 2018-10-25 2020-05-05 北京奇虎科技有限公司 应用程序活动界面显示方法、装置及存储介质、终端设备
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
WO2020170565A1 (ja) * 2019-02-19 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 信号処理方法および撮像装置
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11653101B2 (en) * 2019-05-17 2023-05-16 Samsung Electronics Co., Ltd. Imaging system for generating high dynamic range image
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11195869B2 (en) * 2019-09-05 2021-12-07 Sony Semiconductor Solutions Corporation Solid-state imaging device and imaging device with shared circuit elements
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11356626B2 (en) * 2020-04-22 2022-06-07 Omnivision Technologies, Inc. Flexible exposure control for image sensors with phase detection auto focus pixels
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
CN111447380B (zh) * 2020-05-22 2022-03-22 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端
KR102307593B1 (ko) * 2020-06-09 2021-10-05 주식회사 덱셀리온 쿼드 픽셀 블록 단위로 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
KR102307594B1 (ko) * 2020-06-15 2021-10-05 주식회사 덱셀리온 트리플 픽셀 기반 상보적인 픽슬렛 구조가 적용된 카메라 시스템 및 그 동작 방법
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
KR20220019895A (ko) 2020-08-10 2022-02-18 삼성전자주식회사 이미지 센서
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
CN112584068B (zh) * 2020-11-06 2022-04-05 北京大学 一种像素单元和像素单元的信号处理方法
KR20220068034A (ko) 2020-11-18 2022-05-25 삼성전자주식회사 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치
US20220285203A1 (en) * 2021-03-04 2022-09-08 Taiwan Semiconductor Manufacturing Company, Ltd. Double patterning techniques for forming a deep trench isolation structure
CN113194235B (zh) * 2021-04-29 2022-11-08 维沃移动通信有限公司 像素传感器系统、摄像模组及电子设备
US11706537B2 (en) * 2021-05-11 2023-07-18 Omnivision Technologies, Inc. Image sensor and method for reading out signal of image sensor
CN116095475A (zh) * 2021-11-04 2023-05-09 思特威(上海)电子科技股份有限公司 像素电路、控制方法及图像传感器
US20230171491A1 (en) * 2021-11-26 2023-06-01 Samsung Electronics Co., Ltd. Image sensor and autofocusing method of the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529242B1 (en) * 1998-03-11 2003-03-04 Micron Technology, Inc. Look ahead shutter pointer allowing real time exposure control
CN101057493A (zh) * 2004-11-02 2007-10-17 松下电器产业株式会社 图像传感器
CN101981917A (zh) * 2008-03-31 2011-02-23 松下电器产业株式会社 摄像装置、摄像模块、电子静态照相机以及电子动态照相机
CN102629996A (zh) * 2012-03-29 2012-08-08 天津大学 彩色的时间延时积分型cmos图像传感器
CN102651802A (zh) * 2011-02-24 2012-08-29 索尼公司 图像处理装置和图像处理方法及程序
CN103168463A (zh) * 2010-10-20 2013-06-19 佳能株式会社 图像传感器和摄像设备
CN103548335A (zh) * 2011-03-31 2014-01-29 富士胶片株式会社 固态成像元件、其驱动方法和成像装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003179819A (ja) 2001-12-12 2003-06-27 Matsushita Electric Ind Co Ltd 撮像装置
US7385671B2 (en) 2004-05-28 2008-06-10 Azores Corporation High speed lithography machine and method
KR20080014301A (ko) 2006-08-10 2008-02-14 삼성전자주식회사 딥트렌치 소자분리막을 포함하는 이면 조사형 ｃｍｏｓ이미지 센서 및 그 제조방법
JP4350768B2 (ja) * 2007-04-16 2009-10-21 キヤノン株式会社 光電変換装置及び撮像装置
US7825966B2 (en) * 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
JP2009060342A (ja) 2007-08-31 2009-03-19 Fujifilm Corp 撮像装置及びｃｃｄ型固体撮像素子の駆動方法
US7777804B2 (en) 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
US20090290052A1 (en) 2008-05-23 2009-11-26 Panavision Imaging, Llc Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
US8605177B2 (en) 2009-09-16 2013-12-10 Altasens, Inc. Image sensor with wide dynamic range
JP5564874B2 (ja) * 2009-09-25 2014-08-06 ソニー株式会社 固体撮像装置、及び電子機器
FR2955701A1 (fr) * 2010-01-28 2011-07-29 St Microelectronics Sa Structure compacte de capteur d'image
KR101790164B1 (ko) 2010-02-05 2017-10-26 삼성전자 주식회사 빛을 수신하는 면에 곡률이 있는 포토다이오드를 구비하는 백사이드 일루미네이션 ｃｍｏｓ 이미지센서 및 상기 이미지센서의 형성방법
WO2011142774A1 (en) * 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
JP5743837B2 (ja) 2011-10-07 2015-07-01 キヤノン株式会社 光電変換装置、撮像装置および撮像システム
US20130162800A1 (en) 2011-12-22 2013-06-27 General Electric Company Quantitative phase microscopy for label-free high-contrast cell imaging using frequency domain phase shift
US9167228B2 (en) 2012-01-03 2015-10-20 Lawrence Maxwell Monari Instrumented sports paraphernalia system
US8946614B2 (en) * 2012-03-23 2015-02-03 SK Hynix Inc. Image sensor with wide dynamic range and method of operating the same including one or more first and second column groups of pixels alternatively arranged
KR101968197B1 (ko) 2012-05-18 2019-04-12 삼성전자주식회사 이미지 센서 및 이의 형성 방법
US9040892B2 (en) * 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
US9105546B2 (en) * 2012-09-19 2015-08-11 Semiconductor Components Industries, Llc Imaging systems with backside illuminated near infrared imaging pixels
JP6264616B2 (ja) * 2013-01-30 2018-01-24 パナソニックＩｐマネジメント株式会社 撮像装置及び固体撮像装置
KR101488074B1 (ko) * 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
US20140246561A1 (en) * 2013-03-04 2014-09-04 Omnivision Technologies, Inc. High dynamic range pixel having a plurality of photodiodes with a single implant
JP2014175832A (ja) * 2013-03-08 2014-09-22 Toshiba Corp 固体撮像装置
US9661243B2 (en) * 2013-03-15 2017-05-23 Forza Silicon Corporation CMOS image sensor with column-wise selective charge-domain binning
JP2015033107A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および画像処理方法、並びに、電子機器
KR102184714B1 (ko) * 2014-04-11 2020-12-02 에스케이하이닉스 주식회사 이미지 센싱 장치
US9491442B2 (en) * 2014-04-28 2016-11-08 Samsung Electronics Co., Ltd. Image processing device and mobile computing device having the same
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
KR101585978B1 (ko) * 2014-07-29 2016-01-15 주식회사 동부하이텍 이미지 센서
KR102546182B1 (ko) * 2016-03-16 2023-06-22 에스케이하이닉스 주식회사 이미지 센싱 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529242B1 (en) * 1998-03-11 2003-03-04 Micron Technology, Inc. Look ahead shutter pointer allowing real time exposure control
CN101057493A (zh) * 2004-11-02 2007-10-17 松下电器产业株式会社 图像传感器
CN101981917A (zh) * 2008-03-31 2011-02-23 松下电器产业株式会社 摄像装置、摄像模块、电子静态照相机以及电子动态照相机
CN103168463A (zh) * 2010-10-20 2013-06-19 佳能株式会社 图像传感器和摄像设备
CN102651802A (zh) * 2011-02-24 2012-08-29 索尼公司 图像处理装置和图像处理方法及程序
CN103548335A (zh) * 2011-03-31 2014-01-29 富士胶片株式会社 固态成像元件、其驱动方法和成像装置
CN102629996A (zh) * 2012-03-29 2012-08-08 天津大学 彩色的时间延时积分型cmos图像传感器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数字域的真彩色 TDI-CMOS 图像传感器实现方法;李健等;《传感器与微系统》;20130430;第32卷(第4期);88-94

Also Published As

Publication number Publication date
CN105049755A (zh) 2015-11-11
US20150312461A1 (en) 2015-10-29
US10211245B2 (en) 2019-02-19
US9711553B2 (en) 2017-07-18
US20170338258A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
CN105049755B (zh) 图像传感器和具有该图像传感器的图像处理装置
US11477409B2 (en) Image processing device and mobile computing device having the same
US9712723B2 (en) Detecting transient signals using stacked-chip imaging systems
US9973682B2 (en) Image sensor including auto-focusing pixel and image processing system including the same
US9948849B2 (en) Image signal processor and devices including the same
KR102292136B1 (ko) 광전 변환 소자들을 포함하는 픽셀을 포함하는 이미지 센서와 이를 포함하는 이미지 처리 장치
KR102383101B1 (ko) 다른 기판 바이어스 전압들을 갖는 이미지 센서
KR102436350B1 (ko) 이미지 센서
US11310447B2 (en) Image sensor controlling a conversion gain, imaging device having the same, and method of operating the same
KR102219941B1 (ko) 이미지 센서, 이를 포함하는 데이터 처리 시스템, 및 모바일 컴퓨팅 장치
US9549140B2 (en) Image sensor having pixels each with a deep trench isolation region as a photo gate for outputting image signals in response to control signals from a row driver and method of operating the image sensor
US20150116565A1 (en) Image sensor and devices having the same
KR20140107045A (ko) 이미지 센서
US20210021751A1 (en) Image sensor and image processing system comprising the same
US9854186B2 (en) Methods and apparatus for an images sensor with row-level gain control
US10103187B2 (en) Image sensor color correction
US9426394B2 (en) Image sensor and method of correcting output signal of the image sensor based on signals from different pixel rows
US20230262344A1 (en) Image sensor and image processing system comprising the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant