CN114245045A - 图像传感器及其操作方法 - Google Patents

图像传感器及其操作方法 Download PDF

Info

Publication number
CN114245045A
CN114245045A CN202111020520.5A CN202111020520A CN114245045A CN 114245045 A CN114245045 A CN 114245045A CN 202111020520 A CN202111020520 A CN 202111020520A CN 114245045 A CN114245045 A CN 114245045A
Authority
CN
China
Prior art keywords
pixel
signal
photoelectric conversion
conversion element
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111020520.5A
Other languages
English (en)
Inventor
金茂永
朴圣贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114245045A publication Critical patent/CN114245045A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/701Line sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

公开了一种图像传感器及其操作方法。该图像传感器包括:像素阵列,其包括按照矩阵布置的多个像素,每个像素包括微透镜、第一光电转换元件和第二光电转换元件,第一光电转换元件和第二光电转换元件在微透镜下方在第一方向上彼此平行地布置;以及行解码器,其被配置为:在第一读出时段期间控制由第一光电转换元件生成的第一图像信号和由第一光电转换元件和第二光电转换元件生成的总和图像信号从像素阵列的第一行中的第一像素顺序输出,并且在第二读出时段期间控制由第二光电转换元件生成的第二图像信号和总和图像信号从像素阵列的第二行中的第二像素顺序输出。

Description

图像传感器及其操作方法
相关申请的交叉引用
本申请基于并要求于2020年9月9日在韩国知识产权局提交的韩国专利申请No.10-2020-0115654的优先权,该申请的公开以引用方式全文并入本文中。
技术领域
本公开涉及一种图像传感器,并且更具体地说,涉及一种执行自动对焦功能的图像传感器以及所述图像传感器的读方法。
背景技术
近来,已广泛使用自动检测图像传感器的焦点的自动对焦(AF)。因为快焦点检测速度,已经对相位差自动对焦(PAF)技术进行了各种研究和开发。PAF技术将穿过摄影透镜的光分离,在不同位处置检测光,并且通过自动地驱动聚焦透镜来控制焦距,使得检测到的信号在一个相位具有相同强度。通常,使用比图像传感器小得多的AF传感器执行自动对焦设置,或者通过在图像传感器的一部分设有除图像检测像素以外的焦点检测像素来使用图像传感器中的AF模块执行自动对焦设置。近来,已经进行了对通过用焦点检测像素或完全用图像检测像素形成一对光电转换元件来提高焦点检测速度的研究。可以通过对每个像素或特定的邻近像素执行PAF检测来提高焦点检测速度和精度。
发明内容
一个或多个示例实施例提供了一种用于提供高帧率和高速自动对焦功能的图像传感器以及该图像传感器的操作方法。
根据示例实施例的一方面,提供了一种图像传感器,该图像传感器包括:像素阵列,其包括按照矩阵布置的多个像素,多个像素中的每个像素包括微透镜、第一光电转换元件和第二光电转换元件,第一光电转换元件和第二光电转换元件在微透镜下方在第一方向上彼此平行地布置;以及行解码器,其被配置为:在第一读出时段期间控制第一图像信号和第一总和图像信号从像素阵列的第一行中的第一像素顺序输出,第一图像信号由第一像素的第一光电转换元件生成,并且第一总和图像信号由第一像素的第一光电转换元件和第二光电转换元件生成,并且在第二读出时段期间控制第二图像信号和第二总和图像信号从像素阵列的第二行中的第二像素顺序输出,第二图像信号由第二像素的第二光电转换元件生成,并且第二总和图像信号由第二像素的第一光电转换元件和第二光电转换元件生成。
根据示例实施例的一方面,提供了一种图像传感器,该图像传感器包括:像素阵列,其包括在第一方向上延伸的多条行线、在垂直于第一方向的第二方向上延伸的多条列线以及连接至多条行线和多条列线并且按照矩阵布置的多个像素,多个像素中的每个像素包括在第三方向上彼此平行地布置的第一子像素和第二子像素;以及行解码器,其被配置为将多个第一控制信号提供至像素阵列的第一行中的第一像素,并且将多个第二控制信号提供至像素阵列的第二行中的第二像素,其中,像素阵列被配置为:在第一读出时段期间,响应于多个第一控制信号,通过第一列线,从第一像素的第一子像素输出第一图像信号,并且从第一像素的第一子像素和第二子像素输出第一总和图像信号;以及在第二读出时段期间,响应于多个第二控制信号,通过第一列线,从第二像素的第二子像素输出第二图像信号,并且从第二像素的第一子像素和第二子像素输出第二总和图像信号。
根据示例实施例的一方面,提供了一种图像传感器,该图像传感器包括:像素阵列,包括第一行中的多个第一像素和第二行中的多个第二像素,多个第一像素中的每个第一像素和多个第二像素中的每个第二像素包括在第一方向上彼此平行地布置的第一光电转换元件和第二光电转换元件;行解码器,其被配置为通过多条第一行线将多个第一控制信号提供至多个第一像素,并且通过多条第二行线将多个第二控制信号提供至多个第二像素;以及读出电路,其被配置为通过多条列线从像素阵列接收多个像素信号,以对多个像素信号执行模数转换,其中,多个第一像素中的每个第一像素被配置为,在第一读出时段期间,将来自每个第一像素的第一光电转换元件的第一复位信号、第一图像信号以及来自每个第一像素的第一光电转换元件和第二光电转换元件的第一总和图像信号顺序输出至读出电路作为第一像素信号,并且其中,多个第二像素中的每个第二像素被配置为,在第二读出时段期间,将来自每个第二像素的第二光电转换元件的第二复位信号、第二图像信号以及来自每个第二像素的第一光电转换元件和第二光电转换元件的第二总和图像信号顺序输出至读出电路作为第二像素信号。
根据示例实施例的一方面,提供了一种操作图像传感器的方法,该图像传感器包括像素阵列,该方法包括:从像素阵列的第一行中的第一像素的第一光电转换元件输出第一图像信号,第一像素包括在第一方向上彼此平行地布置的第一光电转换元件和第二光电转换元件;从第一像素的第一光电转换元件和第二光电转换元件输出第一总和图像信号;从像素阵列的第二行中的第二像素的第二光电转换元件输出第二图像信号,第二像素包括在第一方向上彼此平行地布置的第一光电转换元件和第二光电转换元件;从第二像素的第一光电转换元件和第二光电转换元件输出第二总和图像信号;以及基于第一图像信号和第二图像信号生成自动对焦数据。
附图说明
通过参照附图描述特定示例实施例,以上和/或其它方面将更加清楚,其中:
图1是根据示例实施例的数字成像装置的框图;
图2是根据示例实施例的图像传感器的框图;
图3是根据示例实施例的像素阵列的示图;
图4A和图4B分别是图3的像素阵列的像素的前视图和竖直剖视图;
图5是图3的像素阵列的像素的等效电路图;
图6是根据示例实施例的从图5的像素中读取像素信号的图像传感器的时序图;
图7示出了根据示例实施例的从像素阵列输出用于生成自动对焦数据的图像信号的方法;
图8是根据示例实施例的从像素中读取像素信号的图像传感器的时序图;
图9示出了根据图8中的转移控制信号的像素中的光电荷转移;
图10A和图10B分别是根据示例实施例的行解码器的示意性框图和示意性时序图;
图11A示出了根据示例实施例的像素阵列,图11B是图11A的像素阵列的像素的前视图;
图12示出了根据示例实施例的像素阵列;
图13A示出了根据示例实施例的像素阵列,图13B是图13A的像素阵列的像素的前视图;
图14是图13A中的像素的等效电路图;
图15是根据示例实施例的施加至图13A的像素阵列的转移控制信号的时序图;
图16是根据示例实施例的操作图像传感器的方法的流程图;
图17和图18分别是根据示例实施例的包括多相机模块的电子装置的框图;以及
图19是图17中的相机模块的详细框图。
具体实施方式
下文中,将参照附图详细描述示例实施例。
图1是根据示例实施例的数字成像装置1000的框图。
数字成像装置1000可包括成像单元1100、图像传感器1200和处理器1300。数字成像装置1000可以具有自动对焦功能(下文中,称作AF功能)。
数字成像装置1000的操作可以由处理器1300控制。处理器1300可以为透镜驱动器1120、光圈驱动器1140和控制器1220中的每一个提供用于对每个对应元件的操作的控制信号。
成像单元1100接收光,并且可包括透镜1110、透镜驱动器1120、光圈1130和光圈驱动器1140。透镜1110可包括多个透镜。
透镜驱动器1120可以与处理器1300交换关于焦点检测的信息,并且可以根据来自处理器1300的控制信号控制透镜1110的位置。透镜驱动器1120可以通过移动透镜1110来控制透镜1110的位置。例如,透镜驱动器1120可以在远离或朝着对象5000的方向上移动透镜1110,从而控制透镜1110与对象5000之间的距离。根据透镜1110的位置,对象5000可对焦或离焦。
图像传感器1200可以将入射光转换为图像信号。图像传感器1200可包括像素阵列1210、控制器1220和信号处理器1230。当已穿过透镜1110和光圈1130的光信号到达像素阵列1210的光接收表面时,光信号可以形成对象5000的图像。
像素阵列1210可包括将光信号转换为电信号的互补金属氧化物半导体(CMOS)图像传感器(CIS)。可由控制器1220控制像素阵列1210的灵敏度等。像素阵列1210可包括矩阵中的多个像素。每一个像素可包括微透镜和在微透镜下方彼此平行地布置的至少两个光电转换元件。每一个像素可包括彼此平行的至少一个第一光电转换元件和至少一个第二光电转换元件。像素可以输出由第一光电转换元件生成的第一图像信号或者由第二光电转换元件生成的第二图像信号。像素可以输出由第一光电转换元件和第二光电转换元件生成的总和图像信号。
信号处理器1230可以基于从位于不同的邻近的行和一列的至少两个像素输出的第一图像信号和第二图像信号生成用于相位差计算中的相位检测信号对。在离焦的情况下,第一图像信号的相位可以与第二图像信号的相位不同。例如,第一图像信号的强度可以与第二图像信号的强度不同。在对焦的情况下,第一图像信号的相位可以与第二图像信号的相位相同。
信号处理器1230可以基于从像素阵列1210输出的多个第一图像信号和多个第二图像信号生成多个相位检测信号对。相位检测信号对或者基于相位检测信号对生成的第一图像和第二图像可被提供至处理器1300作为自动对焦数据。
处理器1300可以从图像传感器1200接收图像数据。图像数据可包括以帧为单位的图像和/或自动对焦数据。处理器1300可以使用自动对焦数据针对AF功能执行相位差计算。在示例实施例中,处理器1300可以基于自动对焦数据中包括的多个相位检测信号对执行相位差计算。例如,处理器1300可以基于相位检测信号对中的多个第一相位检测信号生成第一图像并基于相位检测信号对中的多个第二相位检测信号生成第二图像,并且可以计算第一图像与第二图像之间的相位差。
通过相位差计算,处理器1300可以获得相位检测信号对中包括的两个相位检测信号的强度彼此相同(即,第一图像的相位与第二图像的相位相同)的焦点的位置、焦点的方向和/或对象5000与图像传感器1200之间的距离。
处理器1300可以生成用于控制透镜驱动器1120基于相位差计算结果移动透镜1110的控制信号,并且可以将控制信号输出至透镜驱动器1120。
图2是根据示例实施例的图像传感器100的框图。
图像传感器100可以安装在具有图像或光学感测功能的电子装置上,特别是,可以安装在具有AF功能的电子装置上。例如,图像传感器100可以安装在诸如相机、智能电话、可穿戴装置、物联网(IoT)装置、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)或导航装置的电子装置上。图像传感器100还可以安装在用作车辆、家具、制造设施、门或各种测量设备的部件的电子装置上。
图像传感器100可包括像素阵列110、行解码器120、斜坡信号生成器130、比较器电路140、时钟信号生成器150、计数器电路160、时序控制器170、列解码器180和信号处理器190。比较器电路140和计数器电路160可以被称作读出电路(或者模数转换器电路)。
像素阵列110可包括多条行线RL、多条列线CL和连接至行线RL和列线CL并且按照矩阵布置的多个像素PX。
像素PX可以感测入射光并且使用光电转换元件输出图像信号,即,与感测到的光相对应的电信号。像素PX可包括红色像素、绿色像素和蓝色像素。红色像素可以响应于可见光谱的红色范围中的波长生成与红色信号相对应的图像信号(或者电荷)。绿色像素可以响应于可见光谱的绿色范围中的波长生成与绿色信号相对应的图像信号(或者电荷)。蓝色像素可以响应于可见光谱的蓝色范围中的波长生成与蓝色信号相对应的图像信号(或者电荷)。然而,实施例不限于此,并且像素PX还可包括白色像素。例如,像素PX可包括蓝绿色像素、黄色像素、品红色像素或者白色像素。
微透镜和滤色器可以设置(例如,堆叠)在每一个像素PX上方。像素PX的多个滤色器可以形成滤色器阵列。滤色器可以使通过微透镜入射的光中的特定颜色的光(即,特定颜色范围中的波长)通过。可以根据与像素PX相对应地提供的滤色器确定由像素PX感测到的颜色。然而,实施例不限于此。根据示例实施例,与颜色范围中的波长相对应的光可以根据施加至像素PX的光电转换元件的电信号的电平(例如,电压电平)被转换为电信号,因此,可以根据施加至光电转换元件的电信号的电平确定由像素PX感测到的颜色。
每一个像素PX可包括至少两个光电转换元件(被称作光敏元件)。例如,光电转换元件可包括光电二极管、光电晶体管、光电门或钉扎光电二极管。至少两个光电转换元件可以独立地生成光电荷,因此生成独立的图像信号。
每一个像素PX可包括位于微透镜的光学轴的左侧(或上方)的第一光电转换元件和位于微透镜的光学轴的右侧(或下方)的第二光电转换元件。每一个像素PX可以输出由第一光电转换元件生成的第一图像信号或者由第二光电转换元件生成的第二图像信号。在两个邻近的行和一列中的两个像素PX中,一个像素PX可以输出由第一光电转换元件生成的第一图像信号,而另一个像素PX可以输出由第二光电转换元件生成的第二图像信号。此时,这两个像素PX可以感测相同颜色。可以基于分别从这两个像素PX输出的第一图像信号和第二图像信号生成用于AF功能的相位差计算中使用的自动对焦数据,例如,相位检测信号对。
像素PX可以输出由至少一个第一光电转换元件和至少一个第二光电转换元件生成的总和图像信号。总和图像信号可以针对每帧生成图像。
行解码器120可以在时序控制器170的控制下生成控制每行中的像素PX的操作的多个控制信号。行解码器120可以通过行线RL将控制信号提供至像素阵列110的像素PX。像素阵列110可以响应于来自行解码器120的控制信号被逐行驱动。换句话说,像素阵列110的像素PX可以逐行顺序输出像素信号。此时,像素信号可包括指示像素PX的复位电平的复位信号和由光电转换元件生成的图像信号。
斜坡信号生成器130可以在时序控制器170的控制下生成电平以特定斜率增大或减小的斜坡信号RAMP(例如,斜坡电压)。斜坡信号RAMP可以被提供至比较器电路140的多个比较器141中的每一个。
比较器电路140可包括比较器141,并且可以将通过列线CL从像素阵列110接收的多个像素信号转换为多个数字信号。每一个比较器141可以基于斜坡信号RAMP将像素信号转换为数字信号。当斜坡信号RAMP的电平与像素信号的电平相同时,每个比较器141可以输出从第一电平(例如,逻辑高)转变为第二电平(例如,逻辑低)的比较信号。可以根据像素信号的电平确定比较信号的电平转变时间。
比较器141可包括使用相关双采样(CDS)的电路,例如,CDS电路。比较器141可以对来自像素PX的像素信号进行采样或保持来自像素PX的像素信号,可以对特定噪声(例如,复位信号)的电平和图像信号的电平进行双采样,并且可以基于双采样到的电平之间的差生成比较信号。例如,比较器141可包括至少一个操作跨导运算放大器(OTA)(或差分放大器)、分别连接至OTA的两个输入端的两个采样保持电容器以及在自动归零操作中将OTA的两个输入端分别连接至OTA的两个输出端的两个开关。这里,可以通过自动归零操作消除像素信号的复位噪声和比较器141的偏差。
时钟信号生成器150可以生成将被提供至计数器电路160的计数时钟信号CCLK。计数时钟信号CCLK的生成时序和频率可以由时序控制器170控制。在示例实施例中,时钟信号生成器150可包括格雷码生成器。时钟信号生成器150可以生成多个码值作为计数时钟信号CCLK,多个码值具有根据比特的设定数量的分辨率。例如,当设定10比特码时,时钟信号生成器150可以生成包括1024个码值的计数时钟信号CCLK。当设定11比特码时,时钟信号生成器150可以生成包括2048个码值的计数时钟信号CCLK。
计数器电路160可包括多个计数器(CNTR)161。每一个计数器161可以基于计数时钟信号CCLK对从对应的比较器141输出的比较信号的电平转变时间进行计数,并且可以输出计数值。在示例实施例中,每个计数器161可包括锁存电路和运算电路。锁存电路可以在比较器141的比较信号的电平转变时间处锁存作为计数时钟信号CCLK接收的码值。锁存电路可以锁存例如与复位信号相对应的复位值的码值和例如与图像信号相对应的图像信号值的码值。运算电路可以对复位值和图像信号值执行运算,并且因此生成去除了像素PX的复位电平的图像信号值。计数器161可以输出去除了复位电平的图像信号值作为像素值。然而,实施例不限于此。计数器161可包括运算电路和基于计数时钟信号CCLK增大计数值的上计数器,或者可包括上/下计数器,或者逐位反转计数器。
在示例实施例中,计数器电路160可包括多个存储器162。存储器162可以分别存储从计数器161输出的像素值。存储器162可包括静态随机存取存储器(SRAM)、锁存器、触发器或它们的组合,但是不限于此。
列解码器180可以在时序控制器170的控制下控制存储在每一个存储器162中的像素值的输出时序。在示例实施例中,存储器162可以在列解码器180的控制下顺序输出像素值。像素值可以输出至图像传感器100以外或输出至信号处理器190。
时序控制器170可以生成用于控制行解码器120、斜坡信号生成器130、比较器电路140、时钟信号生成器150、计数器电路160和列解码器180的操作的控制信号。时序控制器170可以实施为图1中的控制器1220或者控制器1220的一部分。
信号处理器190可以对从计数器电路160接收的图像数据(例如,多个像素值)执行信号处理。信号处理器190可以基于与多个第一图像信号相对应的多个第一像素值(例如,多个第一图像信号值)和与多个第二图像信号相对应的多个第二像素值(例如,多个第二图像信号值)生成自动对焦数据。
信号处理器190可以对图像数据执行降噪、增益调谐、波形成形、内插、白平衡、伽玛处理、边缘增强、分装(binning)等。在示例实施例中,信号处理器190可以设置在图像传感器100以外的处理器1300(图1)中。
图3是根据示例实施例的像素阵列的示图。
参照图3,像素阵列110a包括矩阵中的多个像素PXa。例如,像素PXa可包括多个绿色像素G、多个蓝色像素B和多个红色像素R。两个绿色像素G、一个蓝色像素B和一个红色像素R可以按照2×2矩阵布置,并且这两个绿色像素G可以在对角线方向上布置。该像素图案可以在像素阵列110a中重复。虽然在图3中在第一行ROW1、第二行ROW2、第三行ROW3和第四行ROW4和第一列COL1、第二列COL2、第三列COL3和第四列COL4中排列16个像素PXa,但这仅是为了便于描述的示例。可以根据像素阵列110a的分辨率确定像素PXa的数量。
每一个像素PXa可包括微透镜ML和两个子像素,例如,第一子像素SPX1和第二子像素SPX2。例如第一子像素SPX1或第二子像素SPX2的子像素可以指单个光电转换元件或者涉及包括单个光电转换元件和一个叠一个地连接至单个光电转换元件的另一元件的结构(或电路)。第一子像素SPX1和第二子像素SPX2可以在行向(例如,X轴方向(例如,第一方向))上彼此平行。例如,第一子像素SPX1可以位于每个像素PXa的左侧,第二子像素SPX2可以位于每个像素PXa的右侧。
对应的像素PXa的第一子像素SPX1可以响应于多个第一转移控制信号TG11、TG21、TG31和TG41操作。对应的像素PXa的第二子像素SPX2可以响应于多个第二转移控制信号TG12、TG22、TG32和TG42操作。第一子像素SPX1和第二子像素SPX2中的每一个操作表示第一子像素SPX1或第二子像素SPX2中包括的光电转换元件(例如,图4A中的第一光电二极管PD1或第二光电二极管PD2)生成的光电荷被转移至像素PXa的浮动扩散节点FD(图4B)。
可以通过对应的行线RL从行解码器120(图2)分别提供第一转移控制信号TG11、TG21、TG31和TG41和第二转移控制信号TG12、TG22、TG32和TG42。一行中的像素PXa的第一子像素SPX1可以通过一条行线RL接收第一转移控制信号TG11、TG21、TG31和TG41之一,一行中的像素PXa的第二子像素SPX2可以通过一条行线RL接收第二转移控制信号TG12、TG22、TG32和TG42之一。通过图3中的连接CNT指示行线RL与子像素(例如,第一子像素SPX1或第二子像素SPX2)之间的连接关系。
在多个读出时段(指水平时段)期间,像素阵列110a的多行(例如,第一行ROW1至第四行ROW4)可以被顺序读出。换句话说,可以从布置在第一行ROW1至第四行ROW4中的多个像素PXa逐行读出多个信号。例如,可以在第一读出时段期间从第一行ROW1中的像素PXa输出像素信号,可以在第二读出时段期间从第二行ROW2中的像素PXa输出像素信号,可以在第三读出时段期间从第三行ROW3中的像素PXa输出像素信号,并且可以在第四读出时段期间从第四行ROW4中的像素PXa输出像素信号。然而,实施例不限于此。读出多行的次序可以改变。
像素阵列110a可以划分为多个像素组PG。每一个像素组PG可包括在Y轴方向(例如,第二方向)上彼此邻近的至少两个2×2矩阵的像素图案。例如,像素组PG可包括图3所示的2×4矩阵中的像素PXa。每一个像素组PG可为生成自动对焦数据的像素单元。例如,可以基于由每个像素组PG的像素PXa生成的第一图像信号(例如,左图像信号)和第二图像信号(例如,右图像信号)生成自动聚焦数据,例如,用于在左方向和右方向上调整焦点的相位差计算的相位检测信号对。此时,可以从多行(例如,第一行ROW1至第四行ROW4)中的特定行中的像素PXa输出由第一子像素SPX1生成的第一图像信号,可以从多行中的另一特定行中的像素PXa输出由第二子像素SPX2生成的第二图像信号。
图4A和图4B分别是图3的像素阵列的像素的前视图和竖直剖视图。图4B是沿着图4A中的线A-A’截取的竖直剖视图。
参照图4A和图4B,滤色器CF和微透镜ML可以位于第一光电二极管PD1和第二光电二极管PD2上或上方。第一子像素SPX1可包括第一光电二极管PD1,第二子像素SPX2可包括第二光电二极管PD2。
像素PXa可包括在Z轴方向(例如,第三方向)上堆叠的第一层L1和第二层L2。第一层L1可以被称作光电转换层,并且可包括位于衬底SUB上的滤色器CF和微透镜ML以及位于衬底SUB中的两个光电转换元件(例如,第一光电二极管PD1和第二光电二极管PD2)。第二层L2可以被称作布线层。多条布线WS可以形成在第二层L2中。
衬底SUB可包括硅晶圆、绝缘体上硅(SOI)衬底或者半导体外延层。衬底SUB可包括彼此面对的第一表面Sf和第二表面Sb。例如,第一表面Sf可为衬底SUB的正面,第二表面Sb可为衬底SUB的背面。光可以入射至第二表面Sb上。
多个像素分离膜(例如,深沟槽隔离(DTI)或P型离子注入区)被形成在衬底SUB中,以从衬底SUB的第二表面Sb朝着衬底SUB的第一表面Sf延伸。由像素分离膜中相对长的多个第一像素分离膜SEP1限定形成有像素PXa的像素区域APX。由像素分离膜中的相对短的第二像素分离膜SEP2将像素区域APX划分为第一区域A1和第二区域A2,第一子像素SPX1和第二子像素SPX2分别形成在第一区域A1和第二区域A2中。在示例实施例中,第一区域A1和第二区域A2可以掺杂有第一导电类型(例如,P型)杂质。第一光电二极管PD1和第二光电二极管PD2可以分别形成在第一区域A1和第二区域A2中。例如,掺杂有第二导电类型(例如,N型)杂质的阱区可以形成为第一光电二极管PD1和第二光电二极管PD2。
如图4B所示,第一光电二极管PD1和第二光电二极管PD2可以相对于微透镜ML的光学轴MLX在第一方向(例如,X轴方向)或者第二方向(例如,Y轴方向)上彼此平行。
浮动扩散节点FD可以形成在第一光电二极管PD1与第二光电二极管PD2之间。在示例实施例中,晶体管(例如,图5中的TX1、TX2、RX、DX和SX)的栅极端和源极端(未示出)可以形成在第一光电二极管PD1和第二光电二极管PD2与衬底SUB的第一表面Sf之间。可以通过第二层L2的布线WS向晶体管(例如,图5中的TX1、TX2、RX、DX和SX)发送信号并且晶体管(例如,图5中的TX1、TX2、RX、DX和SX)可以通过第二层L2的布线WS接收信号。
图5是图3的像素的等效电路图。
参照图5,像素PXa可包括第一光电二极管PD1、第二光电二极管PD2、第一转移晶体管TX1、第二转移晶体管TX2、复位晶体管RX、驱动晶体管DX和选择晶体管SX。
浮动扩散节点FD(被称作浮动扩散区)可以被第一光电二极管PD1、第二光电二极管PD2、第一转移晶体管TX1和第二转移晶体管TX2共享。第一光电二极管PD1和第一转移晶体管TX1可以被称作第一子像素SPX1,第二光电二极管PD2和第二转移晶体管TX2可以被称作第二子像素SPX2。
第一光电二极管PD1和第二光电二极管PD2中的每一个可以生成光电荷,光电荷的量随光的强度而变化。例如,第一光电二极管PD1和第二光电二极管PD2中的每一个可包括P-N结二极管,并且可以生成与入射光的量成正例的电荷,即,与负电荷相对应的电子和与正电荷相对应的空穴。第一光电二极管PD1和第二光电二极管PD2中的每一个是光电转换元件的示例,并且可包括从光电晶体管、光电门、钉扎光电二极管(PPD)及它们组合中选择的至少一个。
浮动扩散节点FD可以作为电容器操作。当第一转移晶体管TX1响应于施加至其栅极端的第一转移控制信号TG1被导通时,由第一光电二极管PD1生成的电荷(例如,光电荷)可以转移至浮动扩散节点FD,并且存储在浮动扩散节点FD中。第二转移晶体管TX2可以响应于施加至其栅极端的第二转移控制信号TG2被导通,并且可以因此将由第二光电二极管PD2生成的电荷转移至浮动扩散节点FD。第一转移控制信号TG1和第二转移控制信号TG2可为彼此分离的信号,并且因此,第一转移晶体管TX1和第二转移晶体管TX2的导通时序可以分别由第一转移控制信号TG1和第二转移控制信号TG2独立地控制。
复位晶体管RX可以周期地复位积累在浮动扩散节点FD中的电荷。复位晶体管RX的源电极可以连接至浮动扩散节点FD,并且其漏电极可以连接至电源电压VPIX。当复位晶体管RX响应于施加至其栅极端的复位控制信号RS被导通时,连接至复位晶体管RX的漏电极的电源电压VPIX被传输至浮动扩散节点FD。当复位晶体管RX被导通时,积累在浮动扩散节点FD中的电荷被放电,从而浮动扩散节点FD可以被复位。
驱动晶体管DX可以作为源极跟随器操作。驱动晶体管DX可以通过其栅极端接收与浮动扩散节点FD中的电荷量相对应的信号(即,浮动扩散节点FD的电位),并且可以缓冲和输出接收到的信号。选择晶体管SX可以响应于施加至其栅极端的选择信号SEL被导通。当选择晶体管SX被导通时,从驱动晶体管DX输出的经缓冲的信号可以通过列线CL输出作为像素信号VOUT。
图6是根据示例实施例的从图5的像素读取像素信号的图像传感器100的时序图。
在读出时段(被称作水平时段)期间,可以从(图3中的)像素阵列110a的一行中的多个像素PXa读出多个像素信号VOUT。换句话说,可以从一行中的像素PXa输出像素信号VOUT,并且像素信号VOUT可以在读出电路(例如,图2中的比较器电路140和计数器电路160)中经历模数转换,从而可以根据像素信号VOUT生成作为数字值的像素值。
参照图6,读出时段可以根据从像素PXa输出并且经历模数转换的信号被划分为第一子时段SP1、第二子时段SP2和第三子时段SP3。在第一子时段SP1期间,与复位电平相对应的复位信号RST(例如,复位电压)可以输出作为像素信号VOUT。在第二子时段SP2期间,由像素PXa的第一光电二极管PD1生成的第一图像信号IMG1(例如,第一信号电压)或者由像素PXa的第二光电二极管PD2生成的第二图像信号IMG2(例如,第二信号电压)可以输出作为像素信号VOUT。在第三子时段SP3期间,由像素PXa的第一光电二极管PD1和第二光电二极管PD2生成的总和图像信号SIMG(例如,总和信号电压)可以输出作为像素信号VOUT。
复位电平在多个像素PXa之间可以不同,并且即使在一个像素PXa中也可以随时间变化。因此,在读出时段期间可以首先从像素PXa读出复位信号RST,然后可以从图像信号(例如,随后读出的第一图像信号IMG1(或第二图像信号IMG2)和总和图像信号SIMG)减去复位信号RST(或将复位信号RST加至图像信号)。结果,可以获得实际的图像信号,并且可以减小从多个像素PXa输出的图像信号之间的变化。
如上所述,在读出时段期间,由像素PXa生成的复位信号RST、第一图像信号IMG1(或者第二图像信号IMG2)和总和图像信号SIMG可以顺序读出。这种读出方法可以被称作复位-信号-信号(RSS)读出方法。
详细地说,参照图5和图6,在读出时段期间,选择信号SEL可处于激活电平,例如,逻辑高。选择晶体管SX可以响应于选择信号SEL被导通,并且可以连接至像素PXa的列线CL。此时,信号的激活电平可以指使被施加该信号的晶体管能被导通的电平。在示例实施例中,假设逻辑高是激活电平,并且逻辑低是去激活电平。
当读出时段开始时,复位控制信号RS从逻辑低转变为逻辑高,因此,复位晶体管RX被导通,使得浮动扩散节点FD可以被复位。在第一子时段SP1期间,可以通过列线CL输出与浮动扩散节点FD的复位电平相对应的复位信号RST作为像素信号VOUT,并且连接至列线CL的(图2中的)比较器141可以将斜坡信号RAMP与像素信号VOUT进行比较,并且输出比较结果作为比较信号。斜坡信号RAMP的电平以特定斜率减小。当斜坡信号RAMP的电平小于像素信号VOUT的电平时,比较信号的电平可以翻转。在第一子时段SP1期间,比较器141可以将斜坡信号RAMP与作为像素信号VOUT接收的复位信号RST进行比较,并且输出比较信号。
计数器161(图2中的)可以基于计数时钟信号CCLK对像素信号VOUT进行计数。详细地,计数器161可以通过对从斜坡信号RAMP的电平减小时开始至比较信号的电平转变时(即,斜坡信号RAMP的电平与像素信号VOUT的电平相同时)的比较信号进行计数来对复位信号RST进行计数。在示例实施例中,计数器161可以接收具有顺序增大的码值的格雷码作为计数时钟信号CCLK,并且可以输出与比较信号的电平转变时的时间相对应的码值作为计数值。
在第一子时段SP1期间,复位信号RST可以被计数,并且与复位信号RST的电平相对应的计数值(下文中,被称作复位值)可以存储在图2中的计数器161的内部锁存器(或者存储器)或者图2中的存储器162中。因此,可以在第一子时段SP1期间读取复位信号RST
在第二子时段SP2期间,随着第一转移控制信号TG1转变为激活电平,由第一光电二极管PD1生成的电荷可以转移至浮动扩散节点FD并且存储在浮动扩散节点FD中。基于浮动扩散节点FD的根据从第一光电二极管PD1接收的电荷量的电位,驱动晶体管DX可以输出第一图像信号IMG1,并且第一图像信号IMG1可以通过列线CL输出作为像素信号VOUT。
比较器141可以将第一图像信号IMG1与斜坡信号RAMP进行比较。计数器161可以基于计数时钟信号CCLK,通过对从比较器141输出的比较信号进行计数来对第一图像信号IMG1进行计数。可以通过生成与第一图像信号IMG1的电平相对应的计数值(下文中,被称作第一图像信号值)来读出第一图像信号IMG1。
在第三子时段SP3期间,随着第一转移控制信号TG1和第二转移控制信号TG2转变为激活电平,由第一光电二极管PD1和第二光电二极管PD2生成的电荷可以转移至浮动扩散节点FD并且存储在浮动扩散节点FD中。基于浮动扩散节点FD的根据电荷量的电位,驱动晶体管DX可以输出总和图像信号SIMG,并且总和图像信号SIMG可以通过列线CL输出作为像素信号VOUT。
比较器141可以将总和图像信号SIMG与斜坡信号RAMP进行比较。计数器161可以基于计数时钟信号CCLK通过对从比较器141输出的比较信号进行计数来对总和图像信号SIMG进行计数。可以通过生成与总和图像信号SIMG的电平相对应的计数值(下文中,被称作总和图像信号值)读出总和图像信号SIMG。
因为由一个光电二极管(例如,第一光电二极管PD1)生成第一图像信号IMG1,并且由两个光电二极管(例如,第一光电二极管PD1和第二光电二极管PD2)生成总和图像信号SIMG,所以总和图像信号SIMG的信号范围(例如,电压范围)可以比第一图像信号IMG1的信号范围宽。例如,总和图像信号SIMG的信号范围可以将第一图像信号IMG1的信号范围加倍。因此,在第三子时段SP3期间作为计数时钟信号CCLK被提供的码值的范围(即,切换的时钟的数量)可以比在第二子时段SP2期间提供的码值范围宽。例如,比较器141可以在第二子时段SP2期间基于N个码值CDV对比较信号进行计数,并且可以在第三子时段SP3期间基于2N个码值CDV对比较信号进行计数。
图7示出了根据示例实施例的从像素阵列输出用于生成自动对焦数据的图像信号的方法。
参照图7,可以从位于多行(例如,第一行ROW1至第四行ROW4)中的特定行中的每一个像素PXa的左侧的第一子像素SPX1读出第一图像信号(例如,与由第一光电二极管PD1生成的光电荷相对应的图像信号)。可以从位于多行中的其他特定行中的每一个像素PXa的右侧的第二子像素SPX2读出第二图像信号(例如,与由第二光电二极管PD2生成的光电荷相对应的图像信号)。可以基于第一图像信号和第二图像信号(即,第一图像信号值和第二图像信号值)生成自动对焦数据。
在示例实施例中,在第一行ROW1和第四行ROW4中的每一个像素PXa中,可以响应于第一转移控制信号TG11或TG41从第一子像素SPX1输出第一图像信号。在第二行ROW2和第三行ROW3中的每一个像素PXa中,可以响应于第二转移控制信号TG22或TG32从第二子像素SPX2输出第二图像信号。
在示例实施例中,在第一行ROW1和第二行ROW2中的每一个像素PXa中,可以响应于第一转移控制信号TG11或TG21从第一子像素SPX1输出第一图像信号。在第三行ROW3和第四行ROW4中的每一个像素PXa中,可以响应于第二转移控制信号TG32或TG42从第二子像素SPX2输出第二图像信号。
例如,可以从第一行ROW1中的红色像素R的第一子像素SPX1输出第一图像信号(例如,第一红色图像信号),并且可以从第三行ROW3中的红色像素R的第二子像素SPX2输出第二图像信号(例如,第二红色图像信号)。可以基于第一红色图像信号和第二红色图像信号生成与像素组PG的红色像素R相对应的相位检测信号对。
可以从第二行ROW2中的蓝色像素B的第二子像素SPX2输出第二图像信号(例如,第二蓝色图像信号),可以从第四行ROW4中的蓝色像素B的第一子像素SPX1输出第一图像信号(例如,第一蓝色图像信号)。可以基于第一蓝色图像信号和第二蓝色图像信号生成与像素组PG的蓝色像素B相对应的相位检测信号对。
按照这种方式,可以基于从像素阵列110a的多个像素组PG输出的多个第一图像信号和多个第二图像信号生成自动对焦数据。
图8是根据示例实施例的从像素读出像素信号的图像传感器的时序图。图9示出了根据图8中的转移控制信号的像素中的光电荷转移。为了便于描述,图8示出了在两个读出时段(例如,第一读出时段1H和第二读出时段2H)期间的复位控制信号RS、第一和第二转移控制信号TG11、TG12、TG21和TG22、斜坡信号RAMP、像素信号VOUT和计数时钟信号CCLK。如上面已经参照图6描述的从像素PXa中读出图像信号的方法可以应用于示例实施例。
参照图3、图5和图8,像素阵列110a的一行(例如,第一行ROW1)中的像素PXa(下文中,被称作第一像素)可以在第一读出时段1H期间输出像素信号VOUT,并且像素阵列110a的另一行(例如,第二行ROW2)中的像素PXa(下文中,被称作第二像素)可以在第二读出时段2H期间输出像素信号VOUT。
在第一读出时段1H和第二读出时段2H的各自的第一子时段SP1期间,第一像素和第二像素的各自的复位晶体管RX可以响应于复位信号RST被导通,并且因此可以各自地复位浮动扩散节点FD,如图9所示。第一像素和第二像素可以根据已被复位的浮动扩散节点FD各自地输出复位信号。第一像素和第二像素的复位信号并且可以对其进行计数作为像素信号VOUT。
在第一读出时段1H的第二子时段SP2期间,随着第一像素的第一转移晶体管TX1响应于第一转移控制信号TG11被导通,由第一光电二极管PD1生成的电荷(或光电荷)可以转移至浮动扩散节点FD。第一像素可以输出与存储在浮动扩散节点FD中的电荷相对应的第一图像信号IMG1,例如,左图像信号。因此,可以从第一像素的第一光电二极管PD1(或第一子像素SPX1)输出第一图像信号IMG1并且对其进行计数。
在第一读出时段1H的第三子时段SP3期间,第一像素的第一转移晶体管TX1和第二转移晶体管TX2可以分别响应于第一转移控制信号TG11和第二转移控制信号TG12被导通,并且由第二光电二极管PD2生成的电荷(以及第一光电二极管PD1中剩余的电荷)可以转移至浮动扩散节点FD,并且存储在浮动扩散节点FD中。在第二子时段SP2期间从第一光电二极管PD1转移的电荷和在第三子时段SP3期间从第二光电二极管PD2转移的电荷可以被存储在浮动扩散节点FD中。第一像素可以输出与存储在浮动扩散节点FD中的电荷相对应的总和图像信号,例如,第一总和图像信号SIMG1。因此,可以从第一像素输出第一总和图像信号SIMG1并且对其进行计数。虽然图9中示出了在第三子时段SP3期间从第二光电二极管PD2转移的电荷存储在浮动扩散节点FD中,但这仅是为了便于描述,并且在第三子时段SP3期间第一光电二极管PD1中剩余的电荷也可转移至浮动扩散节点FD并且存储在浮动扩散节点FD中。
在第二读出时段2H的第二子时段SP2期间,随着第二像素的第二转移晶体管TX2响应于第二转移控制信号TG22被导通,由第二光电二极管PD2生成的电荷(或者光电荷)可以转移至浮动扩散节点FD。第二像素可以输出与存储在浮动扩散节点FD中的电荷相对应的第二图像信号IMG2,例如,右图像信号。因此,可以从第二像素的第二光电二极管PD2(或第二子像素SPX2)输出第二图像信号IMG2,并且可以对其进行计数。
在第二读出时段2H的第三子时段SP3期间,第二像素的第一转移晶体管TX1和第二转移晶体管TX2可以响应于第一转移控制信号TG21和第二转移控制信号TG22分别被导通,并且由第一光电二极管PD1生成的电荷和由第二光电二极管PD2生成的电荷可以转移至浮动扩散节点FD并且存储在浮动扩散节点FD中。第二像素可以输出与存储在浮动扩散节点FD中的电荷相对应的总和图像信号,例如,第二总和图像信号SIMG2。因此,可以从第二像素输出第二总和图像信号SIMG2,并且对其进行计数。
如上所述,在第一读出时段1H的第二子时段SP2期间,第一行ROW1中的像素PXa(例如,第一像素)可以响应于第一转移控制信号TG11输出第一图像信号IMG1(例如,左图像信号);并且在第二读出时段2H的第二子时段SP2期间,第二行ROW2中的像素PXa(例如,第二像素)可以响应于第二转移控制信号TG22输出第二图像信号IMG2(例如,右图像信号)。
已经参照图8描述了在第一读出时段1H期间从第一行ROW1读出像素信号VOUT并且在第二读出时段2H期间从第二行ROW2中读出像素信号VOUT的示例。然而,实施例不限于此。例如,在第一读出时段1H期间可以从图3中的第一行ROW1或第四行ROW4中读出像素信号VOUT,并且在第二读出时段2H期间可以从第二行ROW2或第三行ROW3中读出像素信号VOUT。可替换地,在第一读出时段1H期间可以从图3中的第一行ROW1或第二行ROW2中读出像素信号VOUT,并且在第二读出时段2H期间可以从第三行ROW3或第四行ROW4中读出像素信号VOUT。
如上所述,根据示例实施例,在图像传感器100及其操作方法中,像素阵列110的多个像素PX中的每一个可包括彼此平行的至少两个光电转换元件,例如,第一光电二极管PD1和第二光电二极管PD2。特定行中的每个像素可以输出从第一光电转换元件生成的第一图像信号,并且另一特定行的每个像素可以输出从第二光电转换元件生成的第二图像信号。可以基于通过分别将第一图像信号和第二图像信号抓换位数字值获得的第一图像信号值和第二图像信号值生成用于AF功能的自动对焦数据。
在比较例中,像素PX输出第一图像信号(例如,左图像信号)和总和图像信号,并且通过从与总和图像信号相对应的总和图像信号值中减去与第一图像信号相对应的第一图像信号值来计算第二图像信号值。在这种情况下,为了避免在第二图像信号值中发生信号失真,可以基于比对总和图像信号进行计数所需的码值的数量更多数量的码值,在读出总和图像信号期间对总和图像信号进行计数。码值的数量的增加可以指示读出时间的增加,因此,将从像素输出的图像信号转换为数字值所花费的时间可以增加。
然而,根据示例实施例,在图像传感器100的操作方法中,可以从相同颜色的至少两个相邻像素读出第一图像信号和第二图像信号,并且可以基于读出的第一图像信号和读出的第二图像信号(即,第一图像信号值和第二图像信号值)生成用于AF功能的自动对焦数据。因此,可以在没有信号畸变的情况下减少将第一图像信号和第二图像信号中的每一个转换为数字值所花费的时间,因此,图像传感器100的帧率可以增加。另外,因为像素阵列110的多个像素PX(例如像素阵列110的所有像素PX)可用于生成自动对焦数据,所以可以生成高精度的自动对焦数据。因此,包括图像传感器100的成像装置(例如,图1的数字成像装置1000)可以执行高速自动对焦。
图10A和图10B分别是根据示例实施例的行解码器120的示意性框图和示意性时序图。
参照图10A,行解码器120可包括预解码器121、逻辑电路122和驱动器123。
预解码器121可以生成提供至像素阵列110(图2)的控制信号,例如,复位控制信号、转移控制信号和选择信号。预解码器121可以生成第一参考控制信号TGR1和第二参考控制信号TGR2,并且可以基于第一参考控制信号TGR1和第二参考控制信号TGR2生成第一转移控制信号TG1和第二转移控制信号TG2。
预解码器121可包括第一多路复用器121-1和第二多路复用器121-2。第一多路复用器121-1可以接收第一参考控制信号TGR1和第二参考控制信号TGR2,并且可以基于交换使能信号SEN选择第一参考控制信号TGR1和第二参考控制信号TGR2中的一个作为第一转移控制信号TG1。第二多路复用器121-2可以基于交换使能阻止信号SENB选择第一参考控制信号TGR1和第二参考控制信号TGR2中的一个作为第二转移控制信号TG2。交换使能阻止信号SENB可以具有与交换使能信号SEN相反的相位。因此,可以由第一多路复用器121-1选择第一参考控制信号TGR1和第二参考控制信号TGR2中的一个作为第一转移控制信号TG1,并且可以由第二多路复用器121-2选择第一参考控制信号TGR1和第二参考控制信号TGR2中的另一个作为第二转移控制信号TG2。
参照图10B,在读出时段(例如,第一读出时段1H或第二读出时段2H)期间,第一参考控制信号TGR1和第二参考控制信号TGR2可以从第一电平(例如,逻辑低)至少一次切换为第二电平(例如,逻辑高)。第一参考控制信号TGR1可以比第二参考控制信号TGR2更早地切换。例如,第一参考控制信号TGR1可以在第二子时段SP2期间切换。第二参考控制信号TGR2可以在第三子时段SP3期间切换。在示例实施例中,第一参考控制信号TGR1也可以在第三子时段SP3期间切换。
交换使能信号SEN可以在第一读出时段1H期间处于第一电平(例如,逻辑低)。第一多路复用器121-1可以响应于交换使能信号SEN输出第一参考控制信号TGR1作为第一转移控制信号TG1,第二多路复用器121-2可以响应于交换使能阻止信号SENB输出第二参考控制信号TGR2作为第二转移控制信号TG2。
交换使能信号SEN可以在第二读出时段2H期间处于第二电平(例如,逻辑高)。第一多路复用器121-1可以响应于交换使能信号SEN输出第二参考控制信号TGR2作为第一转移控制信号TG1,第二多路复用器121-2可以响应于交换使能阻止信号SENB输出第一参考控制信号TGR1作为第二转移控制信号TG2。
逻辑电路122可以基于从预解码器121接收的控制信号(例如,复位控制信号、转移控制信号和选择信号)针对图3的像素阵列110a中的每一行生成复位控制信号、转移控制信号和选择信号。例如,逻辑电路122可以基于从预解码器121接收的第一转移控制信号TG1和第二转移控制信号TG2生成在第一读出时段1H期间施加至第一行ROW1的第一转移控制信号TG11和第二转移控制信号TG12以及在第二读出时段2H期间施加至第二行ROW2的第一转移控制信号TG21和第二转移控制信号TG22。
驱动器123可以基于与激活电平或去激活电平相对应的电源电压将从逻辑电路122接收的针对每行的控制信号(例如,复位控制信号、转移控制信号和选择信号)进行电平位移,并且可以将经过电平位移的控制信号输出至像素阵列110a。
图11A示出了根据示例实施例的像素阵列,图11B是图11A的像素阵列的像素的前视图。图11A的像素阵列110b可为图3的像素阵列110a的修改形式。因此,将着重于与像素阵列110a的差异来描述像素阵列110b。
参照图11A和图11B,多个像素PXb中的每一个可包括微透镜ML和两个子像素,例如,第一子像素SPX1和第二子像素SPX2。第一子像素SPX1和第二子像素SPX2可以在列向(例如,Y轴方向(例如,第二方向))上彼此平行。例如,第一子像素SPX1可以位于每个像素PXb的顶部,第二子像素SPX2可以位于每个像素PXb的底部。第一子像素SPX1和第二子像素SPX2可以分别包括第一光电二极管PD1和第二光电二极管PD2。
对应的像素PXb的第一子像素SPX1可以响应于多个第一转移控制信号TG11、TG21、TG31和TG41操作。对应的像素PXb的第二子像素SPX2可以响应于多个第二转移控制信号TG12、TG22、TG32和TG42操作。
如上面参照图3至图9的描述,可以从像素阵列110b读取像素信号。可以从第一行ROW1至第四行ROW4中的特定行中的像素PXb输出由第一子像素SPX1生成的第一图像信号,可以从第一行ROW1至第四行ROW4中的另一特定行中的像素PXb输出由第二子像素SPX2生成的第二图像信号。可以基于第一图像信号(例如,顶部图像信号)和第二图像信号(例如,底部图像信号)生成自动对焦数据,例如,用于在竖直方向上调整焦点的相位差计算的相位检测信号对。
图12示出了根据示例实施例的像素阵列。图12的像素阵列110c可为图3的像素阵列110a和图11A的像素阵列110b的修改形式。因此,将着重于与像素阵列110a和110b的不同来描述像素阵列110c。
参照图12,像素阵列110c可包括均包括在行向(例如,X轴方向(例如,第一方向))上彼此平行的第一子像素SPX1和第二子像素SPX2的多个第一类型像素PXa和均包括在列向(例如,Y轴方向(例如,第二方向))上彼此平行的第一子像素SPX1和第二子像素SPX2的多个第二类型像素PXb。第一类型像素PXa和第二类型像素PXb可以布置在一行中。一行(例如,第一行ROW1)中的第一类型的像素PXa和第二类型的像素PXb可以通过同一行线RL接收第一转移控制信号TG11,并且通过同一行线RL接收第二转移控制信号TG12。
像素阵列110c可以划分为多个第一像素组PG1和多个第二像素组PG2。第一像素组PG1可包括2×4矩阵的第一类型像素PXa,第二像素组PG2可包括2×4矩阵的第二类型像素PXb。
可以从像素阵列110c读出像素信号。可以从第一行ROW1至第四行ROW4中的特定行中的第一类型像素PXa输出由第一子像素SPX1生成的第一图像信号,可以从该特定行中的第二类型像素PXb输出由第一子像素SPX1生成的第三图像信号。可以从第一行ROW1至第四行ROW4中的另一特定行中的第一类型像素PXa输出由第二子像素SPX2生成的第二图像信号,可以从该另一特定行中的第二类型像素PXb输出由第二子像素SPX2生成的第四图像信号。第一图像信号和第二图像信号可以分别与左图像信号和右图像信号相对应,第三图像信号和第四图像信号可以分别与顶部图像信号和底部图像信号相对应。
可以基于由第一像素组PG1的第一类型像素PXa生成的第一图像信号和第二图像信号生成用于在左向和右向上调整焦点的相位差计算的相位检测信号对。可以基于由第二像素组PG2的第二类型的像素PXb生成的第三图像信号和第四图像信号生成用于在竖直方向上调整焦点的相位差计算的相位检测信号对。
虽然在图12中描述了像素阵列110c包括其中第一子像素SPX1和第二子像素SPX2在行向上彼此平行的第一类型像素PXa以及其中第一子像素SPX1和第二子像素SPX2在列向上彼此平行的第二类型像素PXb,但是实施例不限于此。在示例实施例中,像素阵列110c可包括其中第一子像素SPX1和第二子像素SPX2在左上方向(或者右下方向)上排列的第三类型像素以及其中第一子像素SPX1和第二子像素SPX2在右上方向(或者左下方向)上排列的第四类型像素。
图13A示出了根据示例实施例的像素阵列,图13B是图13A的像素阵列的像素的前视图。
参照图13A和图13B,多个像素PXc中的每一个可包括微透镜ML和四个子像素,例如,第一子像素SPX1、第二子像素SPX2、第三子像素SPX3和第四子像素SPX4。第一子像素SPX1可以位于每个像素PXc的左顶部,第二子像素SPX2可以位于像素PXc的右顶部,第三子像素SPX3可以位于像素PXc的左底部,第四子像素SPX4可以位于像素PXc的右底部。换句话说,第一子像素SPX1和第三子像素SPX3可以在行向(例如,X轴方向(或者第一方向))上分别平行于第二子像素SPX2和第四子像素SPX4,第一子像素SPX1和第二子像素SPX2可以在列向(例如,Y轴方向(或者第二方向))上分别平行于第三子像素SPX3和第四子像素SPX4。
第一子像素SPX1、第二子像素SPX2、第三子像素SPX3和第四子像素SPX4中的每一个可包括单个光电转换元件,例如,第一光电二极管PD1、第二光电二极管PD2、第三光电二极管PD3或第四光电二极管PD4。
对应的像素PXc的多个第一子像素SPX1中的每一个可以响应于多个第一转移控制信号TG11、TG21、TG31和TG41之一操作。对应的像素PXc的多个第二子像素SPX2中的每一个可以响应于多个第二转移控制信号TG12、TG22、TG32和TG42之一操作。对应的像素PXc的多个第三子像素SPX3中的每一个可以响应于多个第三转移控制信号TG13、TG23、TG33和TG43之一操作。对应的像素PXc的多个第四子像素SPX4中的每一个可以响应于多个第四转移控制信号TG14、TG24、TG34和TG44之一操作。
第一转移控制信号TG11、TG21、TG31和TG41、第二转移控制信号TG12、TG22、TG32和TG42、第三转移控制信号TG13、TG23、TG33和TG43以及第四转移控制信号TG14、TG24、TG34和TG44可分别为通过不同的行线RL从图2中的行解码器120提供的单独的信号。在一行中的像素PXc中,第一子像素SPX1可以通过一条行线RL接收对应的第一转移控制信号TG11、TG21、TG31或TG41;第二子像素SPX2可以通过一条行线RL接收对应的第二转移控制信号TG12、TG22、TG32或TG42;第三子像素SPX3可以通过一条行线RL接收对应的第三转移控制信号TG13、TG23、TG33或TG43;第四子像素SPX4可以通过一条行线RL接收对应的第四转移控制信号TG14、TG24、TG34或TG44。
像素阵列110d可以划分为多个像素组PG。例如,像素组PG中的每一个可包括2×4矩阵的像素PXc。
图14是图13A中的像素的等效电路图。
参照图14,像素PXc可包括第一光电二极管PD1、第二光电二极管PD2、第三光电二极管PD3、第四光电二极管PD4、第一转移晶体管TX1、第二转移晶体管TX2、第三转移晶体管TX3、第四转移晶体管TX4、复位晶体管RX、驱动晶体管DX和选择晶体管SX。
浮动扩散节点FD(或者浮动扩散区)可以被第一光电二极管PD1、第二光电二极管PD2、第三光电二极管PD3、第四光电二极管PD4、第一转移晶体管TX1、第二转移晶体管TX2、第三转移晶体管TX3和第四转移晶体管TX4共享。
第一转移晶体管TX1、第二转移晶体管TX2、第三转移晶体管TX3和第四转移晶体管TX4中的每一个可以响应于第一转移控制信号TG1、第二转移控制信号TG2、第三转移控制信号TG3和第四转移控制信号TG4中的施加至其栅极端的转移控制信号而独立导通或截止。当第一转移晶体管TX1、第二转移晶体管TX2、第三转移晶体管TX3或第四转移晶体管TX4被导通时,由对应的光电二极管生成的光电荷可以转移至浮动扩散节点FD,并且存储在浮动扩散节点FD中。
上面已经参照图5描述了施加至复位晶体管、驱动晶体管DX和选择晶体管SX中的每一个的控制信号及其操作。
图15是根据示例实施例的施加至图13A的像素阵列的转移控制信号的时序图。
参照图13A、图14和图15,像素阵列110d的一行(例如,第一行ROW1)中的像素PXc(下文中,被称作第一像素)可以在第一读出时段1H期间输出像素信号VOUT,并且像素阵列110d的另一行(例如,第二行ROW2)中的像素PXc(下文中,被称作第二像素)可以在第二读出时段2H期间输出像素信号VOUT。
在第一读出时段1H和第二读出时段2H的各自的第一子时段SP1期间,第一像素和第二像素可以各自输出复位信号。
在第一读出时段1H的第二子时段SP2期间,第一转移控制信号TG11和第三转移控制信号TG13可以切换。随着第一像素的第一转移晶体管TX1和第三转移晶体管TX3分别响应于第一转移控制信号TG11和第三转移控制信号TG13被导通,由第一光电二极管PD1和第三光电二极管PD3生成的电荷(或光电荷)可以转移至浮动扩散节点FD并存储在浮动扩散节点FD中。第一像素可以输出与存储在浮动扩散节点FD中的电荷相对应的第一图像信号,例如,左图像信号。因此,第一像素可以输出由第一光电二极管PD1和第三光电二极管PD3(或者第一子像素SPX1和第三子像素SPX3)生成的第一图像信号。
在第一读出时段1H的第三子时段SP3期间,第一转移控制信号至第四转移控制信号TG11、TG12、TG13和TG14可以切换。第一像素的第一转移晶体管TX1至第四转移晶体管TX4可以分别响应于第一转移控制信号TG11至第四转移控制信号TG14被导通,并且由第一光电二极管PD1至第四光电二极管PD4生成的电荷可以转移至浮动扩散节点FD并且存储在浮动扩散节点FD中。第一像素可以输出与存储在浮动扩散节点FD中的电荷相对应的总和图像信号,例如,第一像素的第一总和图像信号。因此,可以从第一像素输出第一总和图像信号,并且对其进行计数。
在第二读出时段2H的第二子时段SP2期间,随着第二像素的第二转移晶体管TX2和第四转移晶体管TX4分别响应于第二转移控制信号TG22和第四转移控制信号TG24被导通,由第二光电二极管PD2和第四光电二极管PD4生成的电荷可以转移至浮动扩散节点FD并且存储在浮动扩散节点FD中。第二像素可以输出与存储在浮动扩散节点FD中的电荷相对应的第二图像信号,例如,右图像信号。因此,第二像素可以输出由第二光电二极管PD2和第四光电二极管PD4(或者第二子像素SPX2和第四子像素SPX4)生成的第二图像信号。
在第二读出时段2H的第三子时段SP3期间,第一转移控制信号至第四转移控制信号TG21、TG22、TG23和TG24可以切换。第二像素的第一转移晶体管TX1至第四转移晶体管TX4可以分别响应于第一转移控制信号TG21至第四转移控制信号TG24被导通,并且由第一光电二极管PD1至第四光电二极管PD4生成的电荷可以转移至浮动扩散节点FD并且存储在浮动扩散节点FD中。第二像素可以输出与存储在浮动扩散节点FD中的电荷相对应的总和图像信号,例如,第二像素的第二总和图像信号。因此,可以从第二像素输出第二总和图像信号,并且对其进行计数。
如上所述,在第一读出时段1H的第二子时段SP2期间,第一行ROW1中的像素PXc(例如,第一像素)可以响应于第一转移控制信号TG11和第三转移控制信号TG13输出第一图像信号,例如,左图像信号;并且在第二读出时段2H的第二子时段SP2期间,第二行ROW2中的像素PXc(例如,第二像素)可以响应于第二转移控制信号TG22和第四转移控制信号TG24输出第二图像信号(例如,右图像信号)。
在示例实施例中,第一转移控制信号TG11和TG21可以分别与第四转移控制信号TG14和TG24相同,第二转移控制信号TG12和TG22可以分别与第三转移控制信号TG13和TG23相同。因此,在第一读出时段1H的第二子时段SP2期间,第一行ROW1中的像素PXc(例如,第一像素)可以响应于第一转移控制信号TG11和第四转移控制信号TG14输出由第一光电二极管PD1和第四光电二极管PD4生成的第三图像信号(例如,顶部图像信号);并且在第二读出时段2H的第二子时段SP2期间,第二行ROW2中的像素PXc(例如,第二像素)可以响应于第二转移控制信号TG22和第三转移控制信号TG23输出由第二光电二极管PD2和第三光电二极管PD3生成的第四图像信号(例如,底部图像信号)。
图16是根据示例实施例的图像传感器的操作方法的流程图。可以通过图2的图像传感器100执行图16的操作方法。
参照图16,在操作S110、S120和S130中,像素阵列110的第一行中的每个第一像素可以根据RSS读出方法顺序输出复位信号、第一图像信号和总和图像信号。然后,在操作S140、S 150和S160中,像素阵列110的第二行中的每个第二像素可以根据RSS读出方法顺序输出复位信号、第二图像信号和总和图像信号。第一像素和第二像素可以布置在同一列中,并且具有相同颜色。
在操作S110中,第一行中的第一像素可以输出第一复位信号。第一像素可以响应于来自行驱动器120的转移控制信号输出第一复位信号。
第一行中的第一像素可以在操作S120中从第一光电转换元件输出第一图像信号,然后在操作S130中从第一光电转换元件和第二光电转换元件输出第一总和图像信号。
然后,第二行中的第二像素可以在操作S140中输出第二复位信号,在操作S150中从第二光电转换元件输出第二图像信号,然后在操作S160中从第一光电转换元件和第二光电转换元件输出第二总和图像信号。
当执行操作S110至S160时,从第一像素和第二像素输出的信号(例如,第一复位信号、第一图像信号、第一总和图像信号、第二复位信号、第二图像信号和第二总和图像信号)可以通过比较器电路140和计数器电路160被转换为数字值,例如,计数值。可以基于第一复位信号值和第二复位信号值生成第一图像信号值、第二图像信号值、第一总和图像信号值和第二总和图像信号值(其中的每一个去除了复位电平)。
信号处理器190可以在操作S170中基于第一图像信号和第二图像信号生成自动对焦数据。信号处理器190可以基于已经去除了复位电平的第一图像信号值和第二图像信号值生成相位检测信号对。可以基于从像素阵列110输出的多个第一图像信号和多个第二图像信号生成多个相位检测信号对。
图17和图18分别是根据示例实施例的包括多相机模块的电子装置的框图。图19是图17中的相机模块的详细框图。
参照图17,电子装置2000可包括相机模块组2100、应用处理器2200、电源管理集成电路(PMIC)2300和外部存储器2400。
相机模块组2100可包括多个相机模块2100a、2100b和2100c。尽管图17示出了三个相机模块2100a、2100b和2100c,但是实施例不限于此。在一些实施例中,相机模块组2100可以修改为仅包括两个相机模块,或者包括“n”个相机模块,其中“n”是4或更大的自然数。
下面将参照图19描述相机模块2100b的详细配置。下面的描述也可以应用于其它相机模块2100a和2100c。
参照图19,相机模块2100b可包括棱镜2105、光路折叠元件(OPFE)2110、致动器2130、图像感测装置2140和贮存器2150。
棱镜2105可包括反光材料的反射表面2107,并且可以改变从外部入射的光L的路径。
在一些实施例中,棱镜2105可以将在第一方向X上入射的光L的路径改变为垂直于第一方向X的第二方向Y。棱镜2105可以使反光材料的反射表面2107绕中心轴2106在方向A上旋转,或者可以使中心轴2106在方向B上旋转,从而在第一方向X上入射的光L的路径改变为垂直于第一方向X的第二方向Y。此时,OPFE 2110可以在垂直于第一方向X和第二方向Y的第三方向Z上移动。
在一些实施例中,棱镜2105在A方向上的最大旋转角度在正(+)A方向上可以小于或等于15度,并且在负(-)A方向上可以大于15度,但是实施例不限于此。
在一些实施例中,棱镜2105可以在(+)B方向或者(-)B方向之间移动约20度,或者可以在(+)B方向或者(-)B方向上移动约10度至约20度的范围,或者可以在(+)B方向或者(-)B方向上从约15度移动至约20度。棱镜2105在(+)B方向上移动的角度可以在约1度的偏差内与棱镜2105在(-)B方向上移动的角度相同或相似。
在一些实施例中,棱镜2105可以在与平行于中心轴2106的延伸方向平行的第三方向Z上移动反光材料的反射表面2107移动。
在一些实施例中,相机模块2100b可包括至少两个棱镜,并且可以将在第一方向X上入射的光L的路径不同地改变为例如垂直于第一方向X的第二方向Y,然后改变为第一方向X或第三方向Z,然后再改变为第二方向Y等。
OPFE 2110可包括例如“m”个光学透镜,其中“m”是自然数。“m”个透镜可以在第二方向Y上移动,并且可以改变相机模块2100b的光学变焦比。例如,当相机模块2100b的默认光学变焦比为Z时,相机模块2100b的光学变焦比可以通过移动OPFE 2110中包括的“m”个光学透镜改变为3Z、5Z或更大。
致动器2130可以将OPFE 2110或光学透镜移动至特定位置。例如,致动器2130可以调整光学透镜的位置,从而图像传感器2142位于光学透镜的焦距处,以用于精确感测。
图像感测装置2140可包括图像传感器2142、控制逻辑2144和存储器2146。图像传感器2142可以使用通过光学透镜提供的光L感测对象的图像。参照图2至图16描述的图像传感器100可用作图像传感器2142。像素阵列110的多个像素PX中的每一个可包括在微透镜下方彼此平行的至少一个第一光电转换元件和至少一个第二光电转换元件。可以从像素PX中的特定行中的每个像素PX的第一光电转换元件输出第一图像信号(例如,左图像信号(或者顶部图像信号))。可以从像素PX中的另一特定行中的每个像素PX的第二光电转换元件输出第二图像信号(例如,右图像信号(或者底部图像信号))。可以基于分别位于两个相邻行和一列中的两个像素PX分别输出的第一图像信号和第二图像信号生成用于AF功能的自动对焦数据(例如,相位检测信号对)。
控制逻辑2144通常可以控制相机模块2100b的操作并且可以处理感测到的图像。例如,控制逻辑2144可以根据通过控制信号线CSLb提供的控制信号控制相机模块2100b的操作。例如,控制逻辑2144可以基于从应用处理器2200接收的对焦信号控制致动器2130,使得光学透镜根据AF位于焦距处。控制逻辑2144可以从感测到的图像提取与特定图像(例如,人的面部、手臂、腿等)相对应的图像数据。
在一些实施例中,控制逻辑2144可以对感测到的图像执行图像处理,诸如编码或降噪。
存储器2146可以存储将用于相机模块2100b的操作中的诸如校正数据2147的信息。校正数据2147可包括当相机模块2100b使用从外部提供的光L生成图像数据时使用的信息。例如,校正数据2147可包括关于旋转角度的信息、关于焦距的信息、关于光学轴的信息等。当相机模块2100b实施为具有随着光学透镜的位置而改变的焦距的多状态相机时,校正数据2147可包括用于光学透镜的各个位置(或状态)的焦距的值和关于自动对焦的信息。在一些实施例中,可以堆叠两个芯片,其中图像传感器2142可以形成在两个芯片中的一个芯片中,并且控制逻辑2144、贮存器2150和存储器2146可以形成在两个芯片中的另一个芯片中。
贮存器2150可以存储由图像传感器2142感测到的图像数据。贮存器2150可以设置在图像感测装置2140外部,并且可以与图像感测装置2140的传感器芯片形成堆叠件。在一些实施例中,贮存器2150可包括电可擦除可编程只读存储器(EEPROM),但是实施例不限于此。在一些实施例中,图像传感器2142可包括像素阵列,并且控制逻辑2144可包括模数转换器和处理感测到的图像的图像信号处理器。
参照图17和图19,在一些实施例中,相机模块2100a、2100b和2100c中的每一个可包括致动器2130。因此,根据相机模块2100a、2100b和2100c中的每一个中包括的致动器2130的操作,相机模块2100a、2100b和2100c可包括在相机模块2100a、2100b和2100c之间相同或不同的校正数据2147。
在一些实施例中,相机模块2100a、2100b和2100c之一(例如,相机模块2100b)可为包括棱镜2105和OPFE 2110的折叠透镜类型,而其它相机模块(例如,相机模块2100a和2100c)可为不包括棱镜2105和OPFE 2110的竖直类型。然而,实施例不限于此。
在一些实施例中,相机模块2100a、2100b和2100c之一(例如,相机模块2100c)可包括使用红外线(IR)提取深度信息的竖直深度相机。在这种情况下,应用处理器2200可以通过将深度相机提供的图像数据与另一相机模块(例如,相机模块2100a或2100b)提供的图像数据合并来生成三维(3D)深度图像。
在一些实施例中,相机模块2100a、2100b和2100c中的至少两个相机模块(例如,2100a和2100b)可以具有不同视野。在这种情况下,相机模块2100a、2100b和2100c中的两个相机模块(例如,2100a和2100b)可以分别具有不同光学透镜,但是实施例不限于此。
在一些实施例中,相机模块2100a、2100b和2100c可以具有彼此不同的视野。例如,相机模块2100a可包括超宽相机,相机模块2100b可包括宽相机,并且相机模块2100c可包括远程相机,但是实施例不限于此。在这种情况下,相机模块2100a、2100b和2100c可以分别具有不同光学透镜,但是实施例不限于此。
在一些实施例中,相机模块2100a、2100b和2100c可以在物理上彼此分离。换句话说,图像传感器2142的感测区域未被相机模块2100a、2100b和2100c划分使用,但是图像传感器2142可以被独立地包括在相机模块2100a、2100b和2100c中的每一个中。
返回参照图17,应用处理器2200可包括图像处理单元2210、存储器控制器2220和内部存储器2230。应用处理器2200可以实施为与相机模块2100a、2100b和2100c分离。例如,应用处理器2200和相机模块2100a、2100b和2100c可以实施在不同的半导体芯片中。
图像处理单元2210可包括多个子图像处理器2212a、2212b和2212c、图像生成器2214和相机模块控制器2216。
图像处理单元2210可包括许多子图像处理器2212a、2212b和2212c作为相机模块2100a、2100b和2100c。
可以通过图像信号线ISLa将相机模块2100a生成的图像数据提供至子图像处理器2212a,可以通过图像信号线ISLb将相机模块2100b生成的图像数据提供至子图像处理器2212b,并且可以通过图像信号线ISLc将相机模块2100c生成的图像数据提供至子图像处理器2212c。可以使用例如基于移动工业处理器接口(MIPI)的相机串行接口(CSI)执行所述图像数据传输,但是实施例不限于此。
在一些实施例中,可以针对多个相机模块提供单个子图像处理器。例如,与图17不同,子图像处理器2212a和2212c可以不分离而是可以集成至单个子图像处理器中,并且可以通过选择元件(例如,多路复用器)选择从相机模块2100a或相机模块2100c提供的图像数据,然后将该图像数据提供至集成的子图像处理器。此时,子图像处理器2212b可以不被集成,而是可以从相机模块2100b接收图像数据。
在一些实施例中,可以通过图像信号线ISLa将相机模块2100a生成的图像数据提供至子图像处理器2212a,可以通过图像信号线ISLb将相机模块2100b生成的图像数据提供至子图像处理器2212b,并且可以通过图像信号线ISLc将相机模块2100c生成的图像数据提供至子图像处理器2212c。另外,在子图像处理器2212b处理的图像数据可以直接被提供至图像生成器2214时,由子图像处理器2212a处理的图像数据和由子图像处理器2212c处理的图像数据之一可以被选择元件(例如,多路复用器)选择,然后被提供至图像生成器2214。
子图像处理器2212a、2212b和2212c中的每一个可以对从相机模块2100a、2100b和2100c中的对应的一个提供的图像数据执行图像处理,诸如,坏像素校正、3A调整(即,自动对焦校正、自动白平衡和自动曝光)、降噪、锐化、伽马控制或重新拼接(remosaic)。
在一些实施例中,可以通过相机模块2100a、2100b和2100c中的每一个执行重新拼接信号处理,并且可以将处理结果提供至子图像处理器2212a、2212b和2212c中的每一个。
可以将通过子图像处理器2212a、2212b和2212c中的每一个处理的图像数据提供至图像生成器2214。图像生成器2214可以根据图像生成信息或模式信号使用从子图像处理器2212a、2212b和2212c中的每一个提供的图像数据生成输出图像。
详细地说,图像生成器2214可以根据图像生成信息或模式信号通过合并分别从具有不同视野的相机模块2100a、2100b和2100c生成的对应的多条图像数据的至少一些部分来生成输出图像。可替换地,图像生成器2214可以根据图像生成信息或模式信号通过选择分别从具有不同视野的相机模块2100a、2100b和2100c生成的多条图像数据之一来生成输出图像。
在一些实施例中,图像生成信息可包括缩放信号或者缩放因数。在一些实施例中,模式信号可以基于用户选择的模式。
当图像生成信息包括缩放信号或者缩放因数并且相机模块2100a、2100b和2100c具有不同视野时,图像生成器2214可以根据不同类型的缩放信号执行不同的操作。例如,当缩放信号是第一信号时,图像生成器2214可以使用从子图像处理器2212a输出的图像数据与子图像处理器2212c输出的图像数据之间的从子图像处理器2212a输出的图像数据以及使用从子图像处理器2212b输出的图像数据来生成输出图像。当缩放信号是与第一信号不同的第二信号时,图像生成器2214可以使用从子图像处理器2212a输出的图像数据与子图像处理器2212c输出的图像数据之间的从子图像处理器2212c输出的图像数据以及从子图像处理器2212b输出的图像数据来生成输出图像。当缩放信号是与第一信号和第二信号不同的第三信号时,图像生成器2214可以通过选择分别从子图像处理器2212a、2212b和2212c输出的多条图像数据之一而不是通过执行将分别从子图像处理器2212a、2212b和2212c输出的多条图像数据的合并来生成输出图像。然而,实施例不限于此,并且处理图像数据的方法可以不同地改变。
参照图18,在一些实施例中,图像处理单元2210还可包括选择器2213,其选择子图像处理器2212a、2212b和2212c的输出并且将其发送至图像生成器2214。
在这种情况下,选择器2213可以根据缩放信号或缩放因数执行不同操作。例如,当缩放信号是第四信号时(例如,当缩放率为第一比率时),选择器2213可以选择并发送子图像处理器2212a、2212b和2212c的输出之一。
当缩放信号是与第四信号不同的第五信号时(例如,当缩放率是第二比率时),选择器2213可以顺序发送子图像处理器2212a、2212b和2212c的输出中的“p”个输出(其中“p”是2或更大的自然数)。例如,选择器2213可以将子图像处理器2212b的输出和子图像处理器2212c的输出顺序发送至图像生成器2214。例如,选择器2213可以将子图像处理器2212a的输出和子图像处理器2212b的输出顺序发送至图像生成器2214。图像生成器2214可以将顺序接收的“p”个输出彼此合并,并且生成单个输出图像。
这里,可以通过子图像处理器2212a、2212b和2212c执行诸如去拼接(demosaic)、缩小到视频/预览分辨率、伽马校正和高动态范围(HDR)处理的图像处理,并且处理后的图像数据可以被发送至图像生成器2214。因此,虽然通过单条信号线将处理后的图像从选择器2213提供至图像生成器2214,但是可以高速执行图像生成器2214的图像合并操作。
在一些实施例中,图像生成器2214可以从子图像处理器2212a、2212b和2212c中的至少一个接收具有不同曝光时间的多条图像数据,并且对多条图像数据执行HDR处理,从而生成具有增大的动态范围的合并的图像数据。
相机模块控制器2216可以将控制信号提供至相机模块2100a、2100b和2100c中的每一个。可以将通过相机模块控制器2216生成的控制信号通过彼此分离的控制信号线CSLa、CSLb和CSLc中的对应的一条提供至相机模块2100a、2100b和2100c中的对应的一个。
可以根据模式信号或者包括缩放信号的图像生成信号将相机模块2100a、2100b和2100c之一(例如,相机模块2100b)指定为主相机,并且可以将其它相机模块(例如、2100a和2100c)指定为从相机。这种指定信息可以被包括在控制信号中,并且通过彼此分离的控制信号线CSLa、CSLb和CSLc中的对应的一条被提供至相机模块2100a、2100b和2100c中的每一个。
作为主相机或从相机操作的相机模块可以根据缩放因数或者操作模式信号而改变。例如,当相机模块2100a的视野大于相机模块2100b的视野,并且缩放因数表示低缩放率时,相机模块2100a可以作为主相机操作,而相机模块2100b可以作为从相机操作。另一方面,当缩放因数表示高缩放率时,相机模块2100b可以作为主相机操作,而相机模块2100a可以作为从相机操作。
在一些实施例中,从相机模块控制器2216提供至相机模块2100a、2100b和2100c中的每一个的控制信号可包括同步使能信号。例如,当相机模块2100b是主相机而相机模块2100a是从相机时,相机模块控制器2216可以将同步使能信号发送至相机模块2100b。被提供有同步使能信号的相机模块2100b可以基于同步使能信号生成同步信号,并且可以通过同步信号线SSL将同步信号提供至相机模块2100a和2100c。相机模块2100a、2100b和2100c可以与同步信号同步,并且可以将图像数据发送至应用处理器2200。
在一些实施例中,从相机模块控制器2216提供至相机模块2100a、2100b和2100c中的每一个的控制信号可包括根据模式信号的模式信息。相机模块2100a、2100b和2100c可以基于模式信息在于感测速度相关的第一操作模式或者第二操作模式下操作。
在第一操作模式中,相机模块2100a、2100b和2100c可以以第一速度(例如,第一帧率)生成图像信号,以高于第一速度的第二速度(例如,以高于第一帧率的第二帧率)对图像信号进行编码,并且将经过编码的图像信号发送至应用处理器2200。例如,第二速度可为第一速度的约30倍或更小倍数。
应用处理器2200可以在其内部的内部存储器2230中或者在应用处理器2200外部的外部存储器2400中存储接收到的图像信号,即,经过编码的图像信号。然后,应用处理器2200可以从内部存储器2230或者外部存储器2400读取经过编码的图像信号,对经过编码的图像信号进行解码,并且显示基于经过解码的图像信号生成的图像数据。例如,图像处理单元2210的子图像处理器2212a、2212b和2212c中的对应的一个可以执行解码,并且还可以对经过解码的图像信号执行图像处理。
在第二操作模式中,相机模块2100a、2100b和2100c可以以低于第一速度的第三速度(例如,以低于第一帧率的第三帧率)生成图像信号,并且将图像信号发送至应用处理器2200。提供至应用处理器2200的图像信号可以未被编码。应用处理器2200可以对图像信号执行图像处理,或者将图像信号存储在内部存储器2230或外部存储器2400中。
PMIC 2300可以将功率(例如,电源电压)提供至相机模块2100a、2100b和2100c中的每一个。例如,在应用处理器2200的控制下,PMIC 2300可以通过功率信号线PSLa将第一功率提供至相机模块2100a,通过功率信号线PSLb将第二功率提供至相机模块2100b,并且通过功率信号线PSLc将第三功率提供至相机模块2100c。
PMIC 2300可以响应于来自应用处理器2200的功率控制信号PCON生成与相机模块2100a、2100b和2100c中的每一个相对应的功率,并且调整功率的电平。功率控制信号PCON可包括针对相机模块2100a、2100b和2100c的每个操作模式的功率调整信号。例如,操作模式可包括低功率模式。功率控制信号PCON可包括关于相机模块在低功率模式下操作和将设置的功率电平的信息。可以将功率的相同或不同的电平分别提供至相机模块2100a、2100b和2100c。可以动态地改变功率的电平。
尽管已参照本公开的示例实施例具体地示出和描述了本公开,但应当理解,在不脱离所附权利要求的精神和范围的情况下,可以在形式和细节上进行各种改变。

Claims (20)

1.一种图像传感器,包括:
像素阵列,其包括按照矩阵布置的多个像素,所述多个像素中的每个像素包括微透镜、第一光电转换元件和第二光电转换元件,所述第一光电转换元件和所述第二光电转换元件在所述微透镜下方在第一方向上彼此平行地布置;以及
行解码器,其被配置为:
在第一读出时段期间控制第一图像信号和第一总和图像信号从所述像素阵列的第一行中的第一像素顺序输出,所述第一图像信号由所述第一像素的第一光电转换元件生成,并且所述第一总和图像信号由所述第一像素的第一光电转换元件和所述第二光电转换元件生成,并且
在第二读出时段期间控制第二图像信号和第二总和图像信号从所述像素阵列的第二行中的第二像素顺序输出,所述第二图像信号由所述第二像素的第二光电转换元件生成,并且所述第二总和图像信号由所述第二像素的第一光电转换元件和所述第二光电转换元件生成。
2.根据权利要求1所述的图像传感器,还包括信号处理器,其被配置为基于所述第一图像信号和所述第二图像信号生成用于自动对焦的一对相位检测信号。
3.根据权利要求1所述的图像传感器,其中,所述行解码器还被配置为:
将多个第一控制信号提供至所述第一像素,所述多个第一控制信号在所述第一读出时段期间控制第一复位信号、所述第一图像信号和所述第一总和图像信号从所述第一像素顺序输出,所述第一复位信号表示所述第一像素的复位电平,并且
将多个第二控制信号提供至所述第二像素,所述多个第二控制信号在所述第二读出时段期间控制第二复位信号、所述第二图像信号和所述第二总和图像信号从所述第二像素顺序输出,所述第二复位信号表示所述第二像素的复位电平。
4.根据权利要求1所述的图像传感器,其中,所述多个像素中的每个像素还包括:
浮动扩散节点;
第一转移晶体管,其被配置为被导通,以将由所述第一光电转换元件生成的光电荷转移至所述浮动扩散节点;
第二转移晶体管,其被配置为被导通,以将由所述第二光电转换元件生成的光电荷转移至所述浮动扩散节点;
复位晶体管,其被配置为被导通,以将所述浮动扩散节点复位至电源电压;以及
驱动晶体管,其被配置为输出与所述浮动扩散节点的电位相对应的像素信号,
其中,在所述第一读出时段期间,所述第一像素的第二转移晶体管在比所述第一像素的第一转移晶体管首次被导通时更晚的时间处被导通,并且
其中,在所述第二读出时段期间,所述第二像素的第一转移晶体管在比所述第二像素的第二转移晶体管首次被导通时更晚的时间处被导通。
5.根据权利要求4所述的图像传感器,其中,所述行解码器还被配置为:
在所述第一读出时段期间,将第一转移控制信号和第二转移控制信号分别提供至所述第一像素的第一转移晶体管和第二转移晶体管,以及
在所述第二读出时段期间,将第三转移控制信号和第四转移控制信号分别提供至所述第二像素的第一转移晶体管和第二转移晶体管,并且
其中,所述第一转移控制信号与所述第四转移控制信号相同,所述第二转移控制信号与所述第三转移控制信号相同。
6.根据权利要求5所述的图像传感器,其中,所述行解码器包括预解码器,所述预解码器被配置为:
在所述第一读出时段期间,从第一参考控制信号和第二参考控制信号中选择所述第一参考控制信号作为所述第一转移控制信号,并且选择所述第二参考控制信号作为所述第二转移控制信号,以及
在所述第二读出时段期间,选择所述第二参考控制信号作为所述第三转移控制信号,并且选择所述第一参考控制信号作为所述第四转移控制信号。
7.根据权利要求1所述的图像传感器,还包括读出电路,其被配置为基于N个计数时钟脉冲将所述第一图像信号和所述第二图像信号转换为数字信号,以及基于2N个计数时钟脉冲将所述第一总和图像信号和所述第二总和图像信号转换为数字信号,N为2或更大的正整数。
8.根据权利要求1所述的图像传感器,其中,所述第一像素和所述第二像素分别被配置为将相同波段的光信号转换为电信号。
9.根据权利要求1所述的图像传感器,其中,所述第一像素和所述第二像素位于所述像素阵列中的同一列中。
10.根据权利要求1所述的图像传感器,其中,所述多个像素中的每个像素还包括在垂直于所述第一方向的第二方向上分别平行于所述第一光电转换元件和所述第二光电转换元件布置的第三光电转换元件和第四光电转换元件,并且
其中,行解码器还被配置为:
在所述第一读出时段期间控制第三图像信号和第三总和图像信号从所述第一像素顺序输出,所述第三图像信号由所述第一像素的第一光电转换元件和第三光电转换元件生成,所述第三总和图像信号由所述第一像素的第一光电转换元件、第二光电转换元件、第三光电转换元件和第四光电转换元件生成,并且
在所述第二读出时段期间控制第四图像信号和第四总和图像信号从所述第二像素顺序输出,所述第四图像信号由所述第二像素的第二光电转换元件和第四光电转换元件生成,所述第四总和图像信号由所述第二像素的第一光电转换元件、第二光电转换元件、第三光电转换元件和第四光电转换元件生成。
11.一种图像传感器,包括:
像素阵列,其包括在第一方向上延伸的多条行线、在垂直于所述第一方向的第二方向上延伸的多条列线以及连接至所述多条行线和所述多条列线并且按照矩阵布置的多个像素,所述多个像素中的每个像素包括在第三方向上彼此平行地布置的第一子像素和第二子像素;以及
行解码器,其被配置为将多个第一控制信号提供至所述像素阵列的第一行中的第一像素,并且将多个第二控制信号提供至所述像素阵列的第二行中的第二像素,
其中,所述像素阵列被配置为:
在第一读出时段期间,响应于所述多个第一控制信号,通过第一列线,从所述第一像素的第一子像素输出第一图像信号并且从所述第一像素的第一子像素和第二子像素输出第一总和图像信号;以及
在第二读出时段期间,响应于所述多个第二控制信号,通过所述第一列线,从所述第二像素的第二子像素输出第二图像信号并且从所述第二像素的第一子像素和第二子像素输出第二总和图像信号。
12.根据权利要求11所述的图像传感器,还包括信号处理器,其被配置为基于所述第一图像信号和所述第二图像信号生成一对相位检测信号,并且基于所述一对相位检测信号执行用于自动对焦的相位差计算。
13.根据权利要求11所述的图像传感器,其中,所述第一子像素和所述第二子像素中的每一个包括一个光电转换元件,并且
其中,所述第一子像素和所述第二子像素共享一个微透镜。
14.根据权利要求11所述的图像传感器,其中,所述第三方向与所述第一方向相同。
15.根据权利要求11所述的图像传感器,其中,所述第三方向与所述第二方向相同。
16.一种操作包括像素阵列的图像传感器的方法,所述方法包括:
从所述像素阵列的第一行中的第一像素的第一光电转换元件输出第一图像信号,所述第一像素包括在第一方向上彼此平行地布置的所述第一光电转换元件和第二光电转换元件;
从所述第一像素的第一光电转换元件和第二光电转换元件输出第一总和图像信号;
从所述像素阵列的第二行中的第二像素的第二光电转换元件输出第二图像信号,所述第二像素包括在所述第一方向上彼此平行地布置的第一光电转换元件和所述第二光电转换元件;
从所述第二像素的第一光电转换元件和第二光电转换元件输出第二总和图像信号;以及
基于所述第一图像信号和所述第二图像信号生成自动对焦数据。
17.根据权利要求16所述的方法,还包括:
从所述第一像素输出第一复位信号,所述第一复位信号表示所述第一像素的复位电平;以及
从所述第二像素输出第二复位信号,所述第二复位信号表示所述第二像素的复位电平。
18.根据权利要求16所述的方法,其中,所述第一像素和所述第二像素分别被配置为将相同波段中的光信号转换为电信号。
19.根据权利要求16所述的方法,其中,所述第一像素和所述第二像素位于所述图像传感器的像素阵列中的同一列中。
20.根据权利要求16所述的方法,其中,生成所述自动对焦数据的步骤包括:
基于所述第一图像信号和所述第二图像信号生成将用于相位差计算的一对相位检测信号。
CN202111020520.5A 2020-09-09 2021-09-01 图像传感器及其操作方法 Pending CN114245045A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200115654A KR20220033357A (ko) 2020-09-09 2020-09-09 이미지 센서 및 이미지 센서의 동작 방법
KR10-2020-0115654 2020-09-09

Publications (1)

Publication Number Publication Date
CN114245045A true CN114245045A (zh) 2022-03-25

Family

ID=80471066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111020520.5A Pending CN114245045A (zh) 2020-09-09 2021-09-01 图像传感器及其操作方法

Country Status (3)

Country Link
US (1) US11425323B2 (zh)
KR (1) KR20220033357A (zh)
CN (1) CN114245045A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210047738A (ko) * 2019-10-22 2021-04-30 삼성전자주식회사 복수의 af 픽셀 그룹들을 포함하는 이미지 센서
US11463640B1 (en) * 2021-06-04 2022-10-04 Omnivision Technologies, Inc. Bitline control supporting binning mode phase detection autofocus photodiodes
US11463648B1 (en) * 2021-06-08 2022-10-04 Omnivision Technologies, Inc. Image sensor with three readout approach for phase detection autofocus and image sensing photodiodes through multiple column bitlines

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5946421B2 (ja) * 2013-03-19 2016-07-06 キヤノン株式会社 撮像装置及びその制御方法
JP6371568B2 (ja) * 2014-04-09 2018-08-08 キヤノン株式会社 焦点検出装置及び撮像装置、及び、焦点検出方法
US10616509B2 (en) 2015-02-12 2020-04-07 Sony Corporation Imaging device and control method thereof, and electronic apparatus
JP6427720B2 (ja) * 2016-06-01 2018-11-21 富士フイルム株式会社 撮像素子及び撮像装置
JP6849325B2 (ja) * 2016-06-10 2021-03-24 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
KR102661391B1 (ko) 2016-10-12 2024-04-26 삼성전자주식회사 이미지 센서
CN108337455B (zh) * 2017-01-18 2022-03-11 三星电子株式会社 图像传感器
WO2018135815A1 (en) * 2017-01-23 2018-07-26 Samsung Electronics Co., Ltd. Image sensor and electronic device comprising the same
KR102390184B1 (ko) 2017-04-26 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치의 영상 표시 방법
CN107040724B (zh) 2017-04-28 2020-05-15 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
CN108989715B (zh) 2017-06-01 2021-02-12 飞瑞菲尼克斯公司 图像传感器
US10313579B2 (en) 2017-08-31 2019-06-04 Qualcomm Incorporated Dual phase detection auto focus camera sensor data processing

Also Published As

Publication number Publication date
KR20220033357A (ko) 2022-03-16
US11425323B2 (en) 2022-08-23
US20220078364A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
US11425323B2 (en) Image sensor and operating method thereof
CN116684752A (zh) 图像传感器及其操作方法
US11665444B2 (en) Image sensor, pixel, and method of operating the pixel
KR20210151316A (ko) 멀티-컬러 필터 어레이를 갖는 이미지 센서의 크로스토크를 보상하는 전자 장치 및 방법
KR20210156458A (ko) 이미지 센싱 장치 및 이를 포함하는 전자 장치
CN114390226A (zh) 图像传感器
CN113852769A (zh) 图像传感器及其合并方法
US11721713B2 (en) Image sensors
CN114390227A (zh) 被配置为改善组合模式中的伪影的图像传感器
KR20220055390A (ko) 균등하게 배치된 위상 검출 픽셀을 포함하는 픽셀 어레이, 및 이를 포함하는 이미지 센서
US20220116557A1 (en) Pixel array and image sensor including the same
CN115224060A (zh) 图像传感器
KR20230078460A (ko) 이미지 센서 및 이미지 센서의 자동 초점 동작 방법
US11825226B2 (en) Image sensor and pixel array of image sensor
KR20220086945A (ko) 이미지 센서의 픽셀 그룹 및 픽셀 어레이
US11924572B2 (en) Image sensor, image device having the same, and operating method thereof
US20220399384A1 (en) Pixel array and image sensor including the same
US11863893B2 (en) Image sensor including auto-focus pixels that receive the same transmission control signal
US20220130876A1 (en) Pixel array and an image sensor including the same
KR20220127003A (ko) 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈
US20230005980A1 (en) Image sensor
US20220408038A1 (en) Image sensing device
CN116647763A (zh) 图像传感器、图像感测系统和图像感测方法
KR20220047140A (ko) 픽셀 어레이 및 이를 포함하는 이미지 센서
KR20220054143A (ko) 픽셀 어레이 및 이를 포함하는 이미지 센서

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination