CN116095525A - 图像传感器、应用处理器和图像感测装置 - Google Patents

图像传感器、应用处理器和图像感测装置 Download PDF

Info

Publication number
CN116095525A
CN116095525A CN202211392626.2A CN202211392626A CN116095525A CN 116095525 A CN116095525 A CN 116095525A CN 202211392626 A CN202211392626 A CN 202211392626A CN 116095525 A CN116095525 A CN 116095525A
Authority
CN
China
Prior art keywords
phase detection
pixel
image data
image
color filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211392626.2A
Other languages
English (en)
Inventor
朴东珍
崔祐硕
李志弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220090833A external-priority patent/KR20230067491A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116095525A publication Critical patent/CN116095525A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供图像传感器、应用处理器和图像感测装置。所述图像传感器包括：像素阵列，包括多个普通像素、多个相位检测组和滤色器阵列。每个相位检测组包括第一相位检测像素和与第一相位检测像素邻近地设置的第二相位检测像素。滤色器阵列包括多个单元组。每个单元组包括在像素阵列上以M×N矩阵布置的相同颜色的多个滤色器，其中，M和N是正整数。第一颜色的滤色器之中的第一滤色器设置在所述多个单元组中的一个的第一相位检测像素上，并且与第一颜色不同的第二颜色的滤色器之中的第二滤色器设置在所述多个单元组中的另一个的第二相位检测像素上。

Description

图像传感器、应用处理器和图像感测装置
本专利申请要求于2021年11月8日提交到韩国知识产权局的第10-2021-0152340号韩国专利申请、于2022年1月12日提交到韩国知识产权局的第10-2022-0004583号韩国专利申请和于2022年7月22日提交到韩国知识产权局的第10-2022-0090833号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
本公开涉及图像传感器、应用处理器和图像感测装置。
背景技术
图像传感器是将光学信息转换为电信号的半导体装置。图像传感器可包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。
构成CMOS图像传感器的像素阵列包括用于每个像素的光电转换元件。光电转换元件可产生根据入射光的量而变化的电信号，并且CMOS图像传感器可处理电信号以合成图像。最近，随着对高分辨率图像的需求的增加，构成CMOS图像传感器的像素已经被要求变得更小。然而，在每个像素的大小变得更小时，制造CMOS图像传感器的滤色器变得困难。
发明内容
本公开的至少一个实施例提供一种包括具有多个单元组的滤色器阵列的图像传感器，所述多个单元组包括以M×N矩阵布置的相同颜色的滤色器，其中，M和N是自然数。
本公开的至少一个实施例提供一种用于处理从图像传感器提供的数据的应用处理器，图像传感器包括具有多个单元组的滤色器阵列，所述多个单元组包括以M×N矩阵布置的相同颜色的滤色器，其中，M和N是自然数。
本公开的至少一个实施例提供一种包括图像传感器的图像感测装置，图像传感器包括具有多个单元组的滤色器阵列，所述多个单元组包括以M×N矩阵布置的相同颜色的滤色器，其中，M和N是自然数。
根据实施例，一种图像传感器包括：像素阵列和滤色器阵列。像素阵列包括多个普通像素和多个相位检测组。每个相位检测组包括第一相位检测像素和与第一相位检测像素邻近地设置的第二相位检测像素。滤色器阵列包括多个单元组。每个单元组包括在像素阵列上以M×N矩阵布置的相同颜色的多个滤色器。第一颜色的滤色器之中的第一滤色器设置在所述多个单元组中的一个的第一相位检测像素上，并且与第一颜色不同的第二颜色的滤色器之中的第二滤色器设置在所述多个单元组中的另一个的第二相位检测像素上，其中，M和N是自然数。
根据实施例，一种图像传感器包括：像素阵列和图像信号处理器。像素阵列包括多个普通像素和多个相位检测像素组。每个相位检测像素组包括第一相位检测像素和与第一相位检测像素邻近地设置的第二相位检测像素。图像信号处理器被配置为经由通道将从相位检测像素组产生的多个相位检测数据中的一个和从所述多个普通像素产生的多个图像数据中的一个一起输出。
根据实施例，一种应用处理器被配置为：经由第一通道从图像传感器一起接收第一相位检测信号和第一图像数据，第一相位检测信号从第一滤色器被设置在其上的第一相位检测像素产生，第一图像数据从第一滤色器被设置在其上的第一普通像素产生；经由第一通道从图像传感器一起接收第二相位检测信号和第二图像数据，第二相位检测信号从第二滤色器被设置在其上的第二相位检测像素产生，第二图像数据从第二滤色器被设置在其上的第二普通像素产生；以及基于第一相位检测信号、第一图像数据、第二相位检测信号和第二图像数据来计算第一相位检测信号与第二相位检测信号之间的总体视差。
根据实施例，一种图像感测装置包括：像素阵列、图像传感器和应用处理器。像素阵列包括被配置为产生第一图像数据和第二图像数据的多个普通像素和多个相位检测组。每个相位检测组包括被配置为产生第一相位检测数据的第一相位检测像素和与第一相位检测像素邻近地设置的并且被配置为产生第二相位检测数据的第二相位检测像素。图像传感器包括包含多个单元组的滤色器阵列。每个单元组包括在像素阵列上以M×N矩阵布置的相同颜色的多个滤色器，其中，M和N是自然数。应用处理器被配置为经由第一通道接收第一图像数据，并且经由第二通道接收第二图像数据、第一相位检测数据和第二相位检测数据，并且基于第二图像数据、第一相位检测数据和第二相位检测数据来计算第一相位检测数据与第二相位检测数据之间的总体视差。
附图说明
通过参照附图详细描述本公开的示例性实施例，本公开的以上和其他方面和特征将变得更加清楚，其中：
图1是示出根据实施例的图像系统的框图；
图2是示出图1中的像素阵列和滤色器阵列的示图；
图3是示出根据实施例的图像系统的操作的示图；
图4至图6是示出根据实施例的图像系统的操作的示图；
图7是示出图1中的像素阵列和滤色器阵列的示图；
图8是示出图1中的像素阵列和滤色器阵列的示图；
图9和图10是示出根据实施例的用于计算视差的方法的示图；
图11是描述根据实施例的用于计算视差的方法的流程图；
图12是描述根据实施例的用于计算视差的方法的流程图；
图13是描述根据实施例的用于计算视差的方法的流程图；
图14是描述根据实施例的用于计算视差的方法的流程图。
图15至图17是描述根据实施例的图像系统的操作的示图；
图18是示出根据实施例的图像感测装置的框图；
图19是示出根据实施例的图像传感器的框图；
图20是示出根据实施例的图像传感器的框图；
图21是包括多相机模块的电子装置的框图；以及
图22是图21中的相机模块的详细框图。
具体实施方式
在下文中，本公开的实施例将参照附图被描述。
图1是示出根据实施例的图像系统的框图。
参照图1，根据实施例的图像感测装置1包括图像传感器100和应用处理器AP 200。图像感测装置1可被实现为便携式电子装置(诸如，数字相机、摄像机、移动电话、智能电话、平板个人计算机(PC)、个人数字助理(PDA)、移动互联网装置(MID)、可穿戴计算机、物联网(IoT)装置或万物互联(IoE)装置)。
图像传感器100可在应用处理器200的控制下感测经由透镜103拍摄的对象101。图像传感器100可使用感光元件(或光电转换元件)将经由透镜103入射的对象101的光信号转换为电信号，并基于电信号产生和输出图像数据。
图像传感器100可包括像素阵列112、滤色器阵列114、行驱动器120(例如，驱动器电路)、相关双采样(CDS)块130(例如，逻辑电路)、模数转换器(ADC)块140、斜坡信号发生器150、定时发生器160、控制寄存器块170、缓冲器180、第一图像信号处理器(IMG ISP)192和第二图像信号处理器(AF ISP)194。
像素阵列112可包括以矩阵形式布置的多个像素。多个像素中的每个可使用光感测元件(或装置)来感测光，并将感测到的光转换成作为电信号的像素信号。因此，像素阵列112可包括多个光感测元件。例如，光感测元件可以是光电二极管、光电晶体管、光电门、钉扎光电二极管(PPD)或它们的组合。多个光感测元件中的每个可具有包括光电二极管、传输晶体管、复位晶体管、放大晶体管和选择晶体管的4晶体管结构。根据实施例，多个感光元件中的每个可具有1晶体管结构、3晶体管结构、5晶体管结构或多个像素共享一些晶体管的结构。
滤色器阵列114可设置在像素阵列112上。像素阵列112和滤色器阵列114将参照图2被详细描述。
行驱动器120可在定时发生器160的控制下激活多个像素中的每个。例如，行驱动器120可以以行为单位驱动在像素阵列112中实现的像素。例如，行驱动器120可产生能够控制包括在多个行中的每行中的多个像素的操作的控制信号。
根据控制信号，从多个像素中的每个输出的像素信号被发送到CDS块130。
CDS块130可包括多个CDS电路。多个CDS电路中的每个可响应于从定时发生器160输出的至少一个开关信号对从在像素阵列112中实现的多条列线中的每条输出的像素值执行相关双采样，并将相关双采样的像素值与从斜坡信号发生器150输出的斜坡信号进行比较以输出多个比较信号。
ADC块140可将从CDS块130输出的多个比较信号中的每个转换为数字信号，并将多个数字信号输出到缓冲器180。
定时发生器160可产生作为图像传感器100的各种组件的操作时序的参考的信号。由定时发生器160产生的操作时序参考信号可被发送到行驱动器120、CDS块130、ADC块140和斜坡信号发生器150。
控制寄存器块170可控制图像传感器100的整体操作。控制寄存器块170可控制斜坡信号发生器150、定时发生器160和缓冲器180的操作。
缓冲器180可输出与从ADC块140输出的多个数字信号对应的图像行数据和相位行数据。可从普通像素产生图像行数据，并且可从相位检测像素产生相位行数据。
第一图像信号处理器192和第二图像信号处理器194中的每个可通过对图像行数据和相位行数据中的每个执行图像处理来输出图像数据IDATA Gi和Ci以及相位检测数据Li和Ri。例如，第一图像信号处理器192和第二图像信号处理器194中的每个可执行图像处理以改变每个图像数据和每个相位检测数据的数据格式(例如，将拜耳模式(Bayerpattern)的图像数据改变为YUV格式或RGB格式)，以及执行图像处理以提高图像质量(诸如，噪声去除、亮度调整和锐度调整)。
第一图像信号处理器192和第二图像信号处理器194可使用图像传感器100的硬件而被实现。可选地，第一图像信号处理器192和第二图像信号处理器194可设置在图像传感器100外部或应用处理器200内部。
应用处理器200可经由接口从图像传感器100接收图像数据IDATA Gi和Ci以及相位检测数据Li和Ri。在实施例中，应用处理器200经由第一通道VC0从图像传感器100接收第一图像数据IDATA。应用处理器200可经由第二通道VC1从图像传感器100一起接收相位检测数据Li和Ri以及第二图像数据Gi和Ci。换言之，应用处理器200可经由第二通道VC1接收相位检测数据Li和Ri以及第二图像数据Gi和Ci的对。在下文中，将参照图3对此进行详细描述。
应用处理器200可对图像数据IDATA Gi和Ci以及相位检测数据Li和Ri执行后处理。后处理可表示应用图像增强算法以去除伪影。例如，如下所述，应用处理器200可执行调整关于从普通像素NPX(见图2)产生的图像数据IDATA Gi和Ci的图像参数(诸如，亮度、对比度、伽马和照度)的图像后处理操作。例如，图像后处理操作可包括用于提高图像质量的各种操作(诸如，降噪操作、伽马校正、滤色器阵列插值、颜色矩阵、颜色校正和颜色增强)。然后，应用处理器200可通过执行压缩操作来产生图像文件，并且可从图像文件恢复图像数据。
在一个实施例中，应用处理器200包括计算模块210。如下所述，计算模块210可计算关于从相位检测像素PD1和PD2产生的相位检测数据Li和Ri的视差(即，相位差)。计算模块210可使用例如在应用处理器200上执行的软件或固件来实现。可选地，计算模块210可使用硬件来实现。
基于视差计算结果，应用处理器200可获得焦点的位置、焦点的方向或对象101与图像传感器100之间的距离。应用处理器200可基于视差计算结果将控制信号输出到透镜驱动器以移动透镜103的位置或角度。
应用处理器200可以是中央处理器(CPU)、微处理器或微控制器单元(MCU)。
图2是示出图1中的像素阵列(例如，112)和滤色器阵列(例如，114)的实施例的示图。
参照图2，根据实施例的像素阵列112a包括多个普通像素NPX和多个相位检测像素组PG。例如，多个相位检测像素组PG可沿第一方向DR1和/或第二方向DR2规则地布置。
每个相位检测像素组PG可包括彼此邻近地设置的多个相位检测像素PD1和PD2。例如，每个相位检测像素组PG可包括彼此邻近地设置的第一相位检测像素PD1和第二相位检测像素PD2。第一相位检测像素PD1和第二相位检测像素PD2可例如在第一方向DR1上彼此邻近地设置。然而，本公开不限于此，并且第一相位检测像素PD1和第二相位检测像素PD2可在第二方向DR2上彼此邻近地设置。可选地，包括在第一相位检测像素组中的第一相位检测像素和第二相位检测像素可在第一方向DR1上彼此邻近地设置，并且包括在第二相位检测像素组中的第一相位检测像素PD1和第二相位检测像素PD2可在第二方向DR2上彼此邻近地设置。
滤色器阵列114a可设置在像素阵列112a上。例如，滤色器阵列114a可在平面图中覆盖像素阵列112a。滤色器阵列114a可包括多个单元组UG1、UG2、UG3和UG4。在一个实施例中，单元组UG1、UG2、UG3和UG4中的每个包括以M×N矩阵布置的相同颜色的滤色器，其中，M和N是正整数。例如，单元组UG1、UG2、UG3和UG4中的每个可包括以3×3矩阵布置的相同颜色的滤色器。例如，单元组UG1、UG2、UG3和UG4中的每个可包括布置为若干行和列的相同颜色的单元滤色器。每个滤色器可设置为分别对应于普通像素NPX、第一相位检测像素PD1和第二相位检测像素PD2。例如，每个单元组可设置在包括普通像素NPX、第一相位检测像素PD1和第二相位检测像素PD2的像素之中以3×3矩阵布置的像素上。
多个单元组UG1、UG2、UG3和UG4可包括例如在第一方向DR1上彼此邻近地设置的第一单元组UG1和第二单元组UG2，以及在第一方向DR1上彼此邻近地设置的第三单元组UG3和第四单元组UG4。第一单元组UG1和第三单元组UG3可在第二方向DR2上彼此邻近地设置，并且第二单元组UG2和第四单元组UG4可在第二方向DR2上彼此邻近地设置。第二方向DR2可与第一方向DR1相交。第一单元组UG1可包括第一滤色器R，第二单元组UG2可包括第二滤色器Gr，第三单元组UG3可包括第三滤色器Gb，第四单元组UG4可包括第四滤色器B。第一滤色器R可以是红色滤色器，第二滤色器Gr和第三滤色器Gb可以是绿色滤色器，第四滤色器B可以是蓝色滤色器。
在一些实施例中，不同的单元组UG1、UG2、UG3和UG4可设置在第一相位检测像素PD1和第二相位检测像素PD2上。设置在第一相位检测像素PD1上的滤色器和设置在第二相位检测像素PD2上的滤色器可以是具有不同颜色的滤色器。例如，设置在第一相位检测像素PD1上的滤色器Gr可以是绿色滤色器，设置在第二相位检测像素PD2上的滤色器R可以是红色滤色器。
多个第一微透镜ML1可设置在多个普通像素NPX上。每个第一微透镜ML1可覆盖每个普通像素NPX。例如，第一微透镜ML1可在平面图中覆盖普通像素NPX。多个第二微透镜ML2可设置在多个相位检测像素组PG上。每个第二微透镜ML2可覆盖每个相位检测像素组PG。也就是说，一个第二微透镜ML2可覆盖包括在一个相位检测像素组PG中的第一相位检测像素PD1和第二相位检测像素PD。例如，第二微透镜ML2可在平面图中覆盖相位检测像素组PG。
为了提高图像传感器100的分辨率，像素的大小已经被连续地减小。另外，为了使用相同波段的光执行相位差计算，相同颜色的滤色器可设置在包括在相位检测像素组PG中的相位检测像素PD1和PD2上。因此，滤色器阵列包括例如包含以凹凸形状布置的相同颜色的滤色器的单元组，以便将相同颜色的滤色器布置在相位检测像素组PG上。也就是说，滤色器阵列的单元组包括从其一侧突出或凹进的部分。因此，图像传感器的制造工艺的难度增加。
另一方面，在根据发明构思的实施例的图像传感器中，由于相同颜色的滤色器不需要设置在相位检测像素PD1和PD2上，因此滤色器阵列114a可包括多个矩形单元组UG1、UG2、UG3和UG4。因此，图像传感器的制造工艺的难度可降低。
图3是示出根据实施例的图像系统的操作的示图。
参照图1至图3，图像传感器100可经由第一通道VC0和第二通道VC1将图像数据和相位检测数据交替地发送到应用处理器200。第一通道VC0可根据图像传感器100和应用处理器200的接口标准被预设为发送图像数据。第二通道VC1可根据图像传感器100和应用处理器200的接口标准被预设为发送相位检测数据。因此，应用处理器200可将提供给第一通道VC0的数据识别为用于产生图像的数据，并且可将提供给第二通道VC1的数据识别为用于执行相位检测的数据。应用处理器200可基于提供给第二通道VC1的数据来执行相位差计算。
在一个实施例中，第一通道VC0和第二通道VC1表示根据移动工业处理器接口联盟(MIPI)标准的虚拟通道。
在一个实施例中，经由第二通道VC1，图像传感器100提供从相位检测像素产生的相位检测数据和从普通像素产生的图像数据，与设置在相位检测像素上的滤色器颜色相同的滤色器被设置在所述普通像素上，并且所述普通像素包括在与相位检测像素相同的单元组中。属于同一单元组的滤色器可设置在普通像素和相位检测像素上。
包括在第三单元组UG3和第四单元组UG4中的相位检测像素组PG的示例将在下面被描述。
具有第三滤色器Gb的第三单元组UG3可设置在第一相位检测像素PD1和多个普通像素NPX11至NPX18上。具有第四滤色器B的第四单元组UG4可设置在第二相位检测像素PD2和多个普通像素NPX21至NPX28上。第一相位检测像素PD1和第二相位检测像素PD2可彼此邻近地设置。在一个实施例中，设置在第一相位检测像素PD1上的第三滤色器Gb不同于设置在第二相位检测像素PD2上的第四滤色器B。例如，第三滤色器Gb的颜色可不同于第四滤色器B的颜色。图像传感器100可经由第二通道VC1输出从与第一相位检测像素PD1属于同一单元组的普通像素产生的图像数据Gi和从第一相位检测像素PD1产生的第一相位数据Li的对，以及从第二相位检测像素PD2产生的第二相位检测数据Ri和从与第二相位检测像素PD2属于同一单元组的普通像素产生的图像数据Ci的对。将参照图4至图6对此进行描述。
图4至图6是示出根据实施例的图像系统的操作的示图。包括在图2中的第三单元组UG3和第四单元组UG4中的相位检测像素组PG的示例将在下面被描述。
参照图4，在一个实施例中，经由第二通道VC1，图像传感器100提供从相位检测像素产生的相位检测数据Li和Ri，以及从普通像素产生的图像数据Gi和Ci，与设置在相位检测像素上的滤色器属于同一单元组的滤色器被设置在所述普通像素上，并且所述普通像素与相位检测像素邻近地设置。在一个实施例中，第一相位检测数据Li包括或指示第一角度，第二相位检测数据Ri包括或指示第二角度，并且视差可从第一角度和第二角度被确定。
图像传感器100可经由第二通道VC1输出图像数据Gi和从第一相位检测像素PD1产生的第一相位检测数据Li。图像数据Gi可从普通像素NPX13、NPX15和NPX18之中的一个普通像素NPX15被产生，与设置在第一相位检测像素PD1上的滤色器Gb属于同一单元组UG3的滤色器Gb被设置在普通像素NPX15上，并且普通像素NPX15与第一相位检测像素PD1邻近地设置。图像传感器100可经由第二通道VC1输出从第二相位检测像素PD2产生的第二相位检测数据Ri和图像数据Ci。图像数据Ci可从NPX21、NP24和NP26之中的一个普通像素NP24产生，与设置在第二相位检测像素PD2上的滤色器B属于同一单元组UG4的滤色器B被设置在普通像素NPX24上，并且普通像素NPX24与第二相位检测像素PD2邻近地设置。
应用处理器200可基于第一相位检测数据Li、图像数据Gi、第二相位检测数据Ri和图像数据Ci来计算视差。
参照图5，在一个实施例中，图像传感器100经由第二通道VC1提供从相位检测像素产生的相位检测数据Li和Ri，以及从普通像素产生的图像数据Gi和Ci，与设置在相位检测像素上的滤色器属于同一单元组的滤色器被设置在所述普通像素上。
图像传感器100可经由第二通道VC1输出从普通像素NPX11至NPX18之中的一个普通像素NPX14产生的图像数据Gi，以及从第一相位检测像素PD1产生的第一相位检测数据Li，与第一相位检测像素PD1属于同一单元组UG3的滤色器Gb被设置在普通像素NPX14上。图像传感器100可经由第二通道VC1输出从第二相位检测像素PD2产生的第二相位检测数据Ri和从普通像素NPX21至NPX28之中的一个普通像素NPX23产生的图像数据Ci，与第二相位检测像素PD2属于同一单元组UG4的滤色器B被设置在普通像素NPX23上。与图4不同，针对给定单元组选择的单个普通像素不与给定单元组的相位检测像素邻近。
参照图6，在一个实施例中，图像传感器100经由第二通道VC1提供从相位检测像素产生的相位检测数据Li和Ri，以及从多个普通像素产生的图像数据的平均图像数据Gi和Ci，与设置在相位检测像素上的滤色器属于同一单元组的滤色器被设置在所述多个普通像素上。
图像传感器100可经由第二通道VC1输出平均图像数据Gi和从第一相位检测像素PD1产生的第一相位检测数据Li。在一个实施例中，平均图像数据Gi是从多个普通像素NPX11至NPX18中的每个产生的多个图像数据的平均值，与第一相位检测像素PD1属于同一单元组UG3的滤色器Gb被设置在多个普通像素NPX11至NPX18上。图像传感器100可经由第二通道VC1输出从第二相位检测像素PD2产生的第二相位检测数据Ri和平均图像数据Ci。在一个实施例中，平均图像数据Ci是从多个普通像素NPX21至NPX28中的每个产生的多个图像数据的平均值，与第二相位检测像素PD2属于同一单元组UG4的滤色器B被设置在多个普通像素NPX21至NPX28上。
图7是示出图1中的像素阵列和滤色器阵列的示图。为了便于描述，在下面，与使用图2的描述的不同之处将被主要描述。
参照图7，在一个实施例中，滤色器阵列114b设置在像素阵列112b上。像素阵列112b可包括多个普通像素NPX和多个相位检测像素组PG。图1的像素阵列112可通过像素阵列112b实现。图1的滤色器阵列114可通过滤色器阵列114b实现。
滤色器阵列114b可包括包含以M×N矩阵布置的相同颜色的滤色器的多个单元组UG1、UG2、UG3和UG4，其中，M和N是正整数。例如，单元组UG1、UG2、UG3和UG4中的每个可包括以4×4矩阵布置的相同颜色的滤色器。每个滤色器可设置为分别对应于普通像素NPX、第一相位检测像素PD1和第二相位检测像素PD2。例如，每个单元组可设置在包括普通像素NPX、第一相位检测像素PD1和第二相位检测像素PD2的像素之中以4×4矩阵布置的像素上。
图8是示出图1中的像素阵列和滤色器阵列的示图。为了便于描述，在下面，与使用图7描述的不同之处将被主要描述。
参照图8，在一个实施例中，滤色器阵列114b设置在像素阵列112c上。图1的像素阵列112可通过像素阵列112c实现。像素阵列112c可包括多个普通像素NPX、多个第一相位检测像素组PG1和多个第二相位检测像素组PG2。例如，多个第一相位检测像素组PG1和多个第二相位检测像素组PG2可沿第一方向DR1和/或第二方向DR2规则地布置。
第一相位检测像素组PG1和第二相位检测像素组PG2中的每个可包括彼此邻近地设置的多个相位检测像素PD1和PD2。例如，每个相位检测像素组PG可包括彼此邻近地设置的第一相位检测像素PD1和第二相位检测像素PD2。
第一相位检测像素组PG1可与第二相位检测像素组PG2邻近地设置。例如，第一相位检测像素组PG1可在第二方向DR2上与第二相位检测像素组PG2邻近地设置。
在一个实施例中，不同的单元组UG1、UG2、UG3和UG4可设置在第一相位检测像素组PG1的第一相位检测像素PD1和第一相位检测像素组PG1的第二相位检测像素PD2上。不同的单元组UG1、UG2、UG3和UG4可设置在第二相位检测像素组PG2的第一相位检测像素PD1和第二相位检测像素组PG2的第二相位检测像素PD2上。
图9和图10是示出根据实施例的用于计算视差的方法的示图。
描述第一相位检测像素PD1、第二相位检测像素PD2和普通像素NPX的示例，包括在第二单元组UG2中的滤色器Gr设置在第一相位检测像素PD1上，包括在第一单元组UG1中的滤色器R设置在第二相位检测像素PD2上，并且包括在与设置在第一相位检测像素PD1上的滤色器Gr相同的第二单元组UG2中的滤色器Gr设置在普通像素NPX上。
参照图9，图像传感器可感测从对象101(见图1)反射并经由透镜103汇聚的光。汇聚的光可经由图像传感器的第二微透镜ML2入射在第一相位检测像素PD1和第二相位检测像素PD2上。第一相位检测数据A可从入射到第一相位检测像素PD1的光产生，并且第二相位检测数据B可从入射到第二相位检测像素PD2的光产生。
在这种情况下，由于第一相位检测像素PD1上的滤色器Gr不同于第二相位检测像素PD2上的滤色器R，因此第一相位检测数据A和第二相位检测数据B之间的视差D1不仅可通过相位差产生，而且可通过颜色之间的灵敏度差产生。因此，由于精确的自动聚焦难以基于视差D1被执行，因此校正由于滤色器中的差异导致的第一相位检测数据A和第二相位检测数据B是必须的。
参照图10，图像传感器可感测从对象101(见图1)反射并经由透镜103汇聚的光。汇聚的光可经由图像传感器的第二微透镜ML2入射在第一相位检测像素PD1上，并且可经由第一微透镜ML1入射在普通像素NPX上。
第一相位检测数据A可从入射到第一相位检测像素PD1上的光产生，并且图像数据C可从入射到普通像素NPX上的光产生。第一相位检测像素PD1上的滤色器Gr与普通像素NPX上的滤色器Gr相同。第一相位检测数据A与图像数据C之间的视差D2可以是图8中的视差D1的大约两倍。因此，第一相位检测数据和第二相位检测数据之间的视差可使用图像数据而被计算。将参照图11至图14对此进行详细描述。
图11是描述根据实施例的用于计算视差的方法的流程图。
参照图3和图11，第一图像数据Gi和第一相位检测数据Li的对以及第二相位检测数据Ri和第二图像数据Ci的对可经由第二通道VC1交替地提供。根据实施例的应用处理器200的计算模块210可使用等式1至等式3来计算视差Dt，其中，x表示参考位置，d表示视差，并且等式3被最小化的d变为视差Dt。
PD_left＝∑Li+∑Gi [等式1]
PD_right＝∑Ci+∑Ri [等式2]
Figure BDA0003931943690000121
具体地，第一值PD_left可通过将第一相位检测数据的和(∑Li)与第一图像数据的和(∑Gi)相加而被计算，而第二值PD_right可通过将第二图像数据的和(∑Ci)与第二相位检测数据的和(∑Ri)相加而被计算(S110)。
然后，计算模块210可计算第一值PD_left与第二值PD_right之间的视差Dt(S120)。因此，计算模块210可基于图像数据和相位检测数据来计算视差Dt。应用处理器200可基于所计算的视差Dt来执行自动聚焦。
可选地，计算模块210可使用等式4来计算相位检测数据的第一值PD_left，并且可使用等式5来计算相位检测数据的第二值PD_right。
PD_left＝∑(Li+Gi) [等式4]
PD_right＝∑(Ci+Ri) [等式5]
具体地，第一值PD_left可通过将第一相位检测数据Li的和与第一图像数据Gi的和相加而被计算，并且第二值PD_right可通过将第二图像数据Ci的和与第二相位检测数据Ri的和相加而被计算。
第一图像数据Gi和第二图像数据Ci可根据参照图4至图6使用的描述中的一个而产生。图12是描述根据实施例的用于计算视差的方法的流程图。
参照图3和图12，第一图像数据Gi和第一相位检测数据Li的对以及第二相位检测数据Ri和第二图像数据Ci的对可经由第二通道VC1被交替地提供。根据实施例的应用处理器200的计算模块210可使用等式6至等式8来计算视差Dt，其中，x表示参考位置，d表示视差，等式6被最小化的d变为第一视差Disparityeven，并且等式7被最小化的d变为第二视差Disparityodd。
Figure BDA0003931943690000131
Figure BDA0003931943690000132
Dt＝Disparityeven+Disparityodd [等式8]
具体地，作为第一相位检测数据Li与第一图像数据Gi的视差的和的第一视差Disparityeven可被计算，并且作为第二图像数据Ci与第二相位检测数据Ri的视差的和的第二视差Disparityodd可被计算(S210)。
然后，计算模块210可通过将第一视差Disparityeven与第二视差Disparityodd相加来计算视差Dt(S220)。
第一图像数据Gi和第二图像数据Ci可根据参照图4至图6使用的描述中的一个产生。图13是描述根据实施例的用于计算视差的方法的流程图。
参照图3和13，第一图像数据Gi和第一相位检测数据Li的对以及第二相位检测数据Ri和第二图像数据Ci的对可经由第二通道VC1被交替地提供。根据实施例的应用处理器200的计算模块210可使用等式9至等式11来计算视差Dt，其中，x表示参考位置，d表示视差。
CVeven(d)＝(∑Li，x-∑Gi，x-d)*(∑Li，x-∑Gi，x-d) [等式9]
CVodd(d)＝(∑Ci，x-∑Ri，x-d)*(∑Ci，x-∑Ri，x-d) [等式10]
Figure BDA0003931943690000141
具体地，第一相位检测数据Li与第一图像数据Gi的视差的和的第一成本量CVeven(d)以及第二图像数据Ci与第二相位检测数据Ri的视差的和的第二成本量CVodd(d)可被计算(S310)。
第一图像数据Gi和第二图像数据Ci可根据参照图4至图6使用的描述中的一个而产生。然后，计算模块210可计算第一成本量CVeven(d)和第二成本量CVodd(d)的和的视差Dt(S320)。
图14是描述根据实施例的用于计算视差的方法的流程图。
参照图3和14，第一图像数据Gi和第一相位检测数据Li的对以及第二相位检测数据Ri和第二图像数据Ci的对可经由第二通道VC1被交替地提供。根据实施例的应用处理器200的计算模块210可使用等式12和等式13来计算视差Dt。
Cgain＝∑Gi/∑Ci [等式12]
Figure BDA0003931943690000142
具体地，第一图像数据的和(∑Gi)与第二图像数据的和(∑Ci)的比率(Cgain)可被计算(S410)。也就是说，从具有第二滤色器的像素产生的第二图像数据可被转换为将从具有第一滤色器的像素产生的图像数据。在这种情况下，第一图像数据从具有第一滤色器的像素产生。
然后，计算模块210可通过将第二相位检测数据的和(∑Ri)乘以在S410中计算的比率(Cgain)来计算校准数据(Cgain*∑Ri)(S420)。
然后，计算模块210可计算在S420中计算的校准数据(Cgain*∑Ri)的视差Dt以及第一相位检测数据的和(∑Li)(S430)。
在一个实施例中，第二图像数据Ci从滤色器而不是绿色滤色器被设置在其上的普通像素产生，而第一图像数据Gi从绿色滤色器的被设置在其上的普通像素产生。也就是说，该比率可以是将从滤色器而不是绿色滤色器设置在其上的普通像素产生的图像数据转换为将从绿色滤色器设置在其上的普通像素产生的图像数据的值。
第一图像数据Gi和第二图像数据Ci可根据参照图4到6使用的描述中的一个而产生。图15至图17是描述根据实施例的图像系统的操作的示图。包括在图8中的第三单元组UG3和第四单元组UG4中的相位检测像素组PG的示例将被描述。
参照图15，在一个实施例中，图像传感器100可经由第二通道VC1输出图像数据Li和从第一-第一相位检测像素PD11产生的第一-第一相位检测数据Gi。图像数据Gi可从普通像素NPX14和NPX17之中的一个普通像素NPX17产生，与设置在第一-第一PD11上的滤色器Gb属于同一单元组UG3的滤色器Gb被设置在普通像素NPX17上，并且普通像素NPX17与第一-第一相位检测像素PD11邻近地设置。图像传感器100可经由第二通道VC1输出从第一-第二相位检测像素PD12产生的第一-第二相位检测数据Ri和图像数据Ci。图像数据Ci可从普通像素NPX21和NPX25之中的一个普通像素NPX25产生，与设置在第一-第二相位检测像素PD12上的滤色器B属于同一单元组UG4的滤色器B被设置在普通像素NPX25上，并且普通像素NPX25与第一-第二相位检测像素PD12邻近地设置。图像传感器100可经由第二通道VC1输出图像数据Gi和从第二-第一相位检测像素PD21产生的第二-第一相位检测数据Li。图像数据Gi可从普通像素NPX20和NPX24之中的一个普通像素NPX20产生，与设置在第二-第一相位检测像素PD21上的滤色器Gb属于同一单元组UG3的滤色器Gb被设置在普通像素NPX20，并且普通像素NPX20与第二-第一相位检测像素PD21邻近地设置。图像传感器100可经由第二通道VC1输出图像数据Ci和从第二-第二相位检测像素PD22产生的第二-第二相位检测数据Ri。图像数据Ci可从普通像素NPX28和NPX31之中的一个普通像素NPX28产生，与设置在第二-第二相位检测像素PD22上的滤色器B属于同一单元组UG4的滤色器B被设置在普通像素NPX28，并且普通像素NPX28与第二-第二相位检测像素PD22邻近地设置。
参照图16，在一个实施例中，图像传感器100可经由第二通道VC1输出图像数据Gi和从第一-第一相位检测像素PD11产生的第一-第一相位检测数据Li。图像数据Gi可从多个普通像素NPX11至NPX24之中的一个普通像素NPX15产生，与设置在第一-第一相位检测像素PD11上的滤色器Gb属于同一单元组UG3的滤色器Gb被设置在普通像素NPX15上。图像传感器100可经由第二通道VC1输出从第一-第二相位检测像素PD12产生的第一-第二相位检测数据Ri和图像数据Ci。图像数据Ci可从多个普通像素NPX21至NPX34之中的一个普通像素NPX23产生，与设置在第一-第二相位检测像素PD12上的滤色器B属于同一单元组UG4的滤色器B被设置在普通像素NPX23上。图像传感器100可经由第二通道VC1输出图像数据Gi和从第二-第一相位检测像素PD21产生的第二-第一相位检测数据Li。图像数据Gi可从多个普通像素NPX11至NPX24之中的一个普通像素NPX20产生，与设置在第二-第一相位检测像素PD21上的滤色器Gb属于同一单元组UG3的滤色器Gb被设置在普通像素NPX20上。图像传感器100可经由第二通道VC1输出从第二-第二相位检测像素PD22产生的第二-第二相位检测数据Ri和图像数据Ci。图像数据Ci可从多个普通像素NPX21至NPX34之中的一个普通像素NPX28产生，与设置在第二-第二相位检测像素PD22上的滤色器B属于同一单元组UG4的滤色器B被设置在普通像素NPX28上。
在这种情况下，与第一-第一相位检测数据Li一起输出的图像数据Gi可同与第二-第一相位检测数据Li一起输出的图像数据Gi完全相同。此外，与第一-第二相位检测数据Ri一起输出的图像数据Ci可同与第二-第二相位检测数据Ri一起输出的图像数据Ci完全相同。
参照图17，在一个实施例中，图像传感器100可经由第二通道VC1输出平均图像数据Gi和从第一-第一相位检测像素PD11产生的第一-第一相位检测数据Li。平均图像数据Gi可以是从多个普通像素NPX11至NPX24之中的每个产生的多个图像数据的平均，与设置在第一-第一相位检测像素PD11上的滤色器Gb属于同一单元组UG3的滤色器Gb被设置在多个普通像素NPX11至NPX24上。图像传感器100可经由第二通道VC1输出从第一-第二相位检测像素PD12产生的第一-第二相位检测数据Ri和平均图像数据Ci。平均图像数据Ci可以是从多个普通像素NPX21至NPX34之中的每个产生的多个图像数据的平均，与设置在第一-第二相位检测像素PD12上的滤色器B属于同一单元组UG4的滤色器B被设置在多个普通像素NPX21至NPX34上。图像传感器100可经由第二通道VC1输出平均图像数据Gi和从第二-第一相位检测像素PD21产生的第二-第一相位检测数据Li。图像传感器100可经由第二通道VC1输出从第二-第二相位检测像素PD22产生的第二-第二相位检测数据Ri和平均图像数据Ci。平均图像数据Ci可以是从多个普通像素NPX21至NPX34之中的每个产生的多个图像数据的平均，与设置在第二-第二相位检测像素PD22上的滤色器B属于同一单元组UG4的滤色器B被设置在多个普通像素NPX21至NPX34上。
与从第一-第一相位检测像素PD11产生的第一-第一相位检测数据Li一起输出的平均图像数据Gi可同与从第二-第一相位检测像素PD21产生的第二-第一相位检测数据Li一起输出的平均图像数据Gi相同。与从第二-第一相位检测像素PD21产生的第二-第一相位检测数据Ri一起输出的平均图像数据Ci可同与从第二-第二相位检测像素PD22产生的第二-第二相位检测数据Ri一起输出的平均图像数据Ci相同。
图18是示出根据实施例的图像感测装置的框图。为了便于描述，在下面，与使用图1至图17的描述的不同之处将被主要描述。
参照图18，根据实施例的图像感测装置2可包括图像传感器100和应用处理器200。图像传感器100还可包括计算模块196。计算模块196可使用例如在图像传感器100上执行的软件、固件或硬件来实现。
计算模块196可以以与参照图1至图16描述的计算模块210相同的方式操作。也就是说，在一些实施例中，图像传感器100可使用相位检测数据Li和Ri以及图像数据Gi和Ci来计算视差D。
应用处理器200可经由第一通道VC0接收由第一图像信号处理器192输出的图像数据IDATA。应用处理器200可经由第二通道VC1接收由计算模块196计算的视差D。应用处理器可基于视差D执行自动聚焦。图19是示出根据一些实施例的图像感测装置的框图。
参照图19，根据实施例的图像传感器100可包括堆叠的第一芯片10和堆叠的第二芯片20。第一芯片10可在第三方向DR3上堆叠在例如第二芯片20上。第一芯片10和第二芯片20可彼此电连接。从第一芯片10发送的像素信号(数据)可被发送到逻辑区LC。
第一芯片10可包括像素阵列112(见图1)。第二芯片20可包括逻辑区LC和存储器区。逻辑区LC可包括用于驱动像素信号(数据)的多个元件。逻辑区LC可包括例如行驱动器120、CDS块140、斜坡信号发生器150、定时发生器160、控制寄存器块170、缓冲器180、第一图像信号处理器192和第二图像信号处理器194。
图20是示出根据实施例的图像传感器的框图。为了便于解释，在下面，与使用图19的描述的不同之处将被主要描述。
参照图20，图像传感器100'还可包括第三芯片30。第三芯片30、第二芯片20和第一芯片10可在第三方向DR3上顺序地堆叠。第三芯片30可包括存储器装置。例如，第三芯片30可包括易失性存储器装置(诸如，DRAM和SRAM)。第三芯片30可从第一芯片10和第二芯片20接收信号，并通过存储器装置处理信号。
图21是包括多相机模块的电子装置的框图。图22是图21中的相机模块的详细框图。
参照图21，电子装置1000可包括相机模块组1100、应用处理器1200、PMIC 1300、外部存储器1400和显示器1500。
相机模块组1100可包括多个相机模块1100a、1100b和1100c。尽管附图示出三个相机模块1100a、1100b和1100c被布置的实施例，但实施例不限于此。在一些实施例中，相机模块组1100可被修改和实现为仅包括两个相机模块。另外，在一些实施例中，相机模块组1100可被修改和实现为包括n个相机模块(其中，n是大于4的自然数)。
在下文中，相机模块1100b的详细配置将参照图22被更详细地描述。然而，根据一个实施例，下面的描述可被等同地应用于其他相机模块1100a和1100c。
参照图22，相机模块1100b可包括棱镜1105、光路折叠元件(在下文中称为“OPFE”)1110、致动器1130、图像感测装置1140和存储装置1150。
棱镜1105可包括光反射材料的反射表面1107，以修改从外部入射的光L的路径。
在一些实施例中，棱镜1105可将在第一方向X上入射的光L的路径改变为与第一方向X垂直的第二方向Y。另外，棱镜1105可通过使光反射材料的反射表面1107在方向A上绕中心轴1106旋转或使光反射材料的反射表面1107在方向B上绕中心轴1106旋转来将在第一方向X上入射的光L的路径改变为与第一方向X垂直的第二方向Y。在这种情况下，OPFE 1110也可在与第一方向X和第二方向Y垂直的第三方向Z上移动。
在一些实施例中，如图所示，棱镜1105在方向A上的最大旋转角度在正(+)方向A上可以是15度或更小，并且在负(-)方向A上可大于15度，但实施例不限于此。
在一些实施例中，棱镜1105可在正(+)或负(-)方向B上以大约20度、或在10度与20度之间、或在15度与20度之间移动，其中，棱镜1105可在正(+)或负(-)方向B上以相同角度的移动角度移动，或者在约1度范围内以几乎相似的角度的移动角度移动。
在一些实施例中，棱镜1105可在与中心轴1106的延伸方向平行的第三方向(例如，方向Z)上移动光反射材料的反射表面1107。
OPFE 1110可包括例如由m个组(其中，m是正整数)组成的光学透镜。m个透镜可在第二方向Y上移动并且改变相机模块1100b的光学变焦比。例如，在相机模块1100b的基本光学变焦比是Z的情况下，当包括在OPFE 1110中的m个光学透镜移动时，相机模块1100b的光学变焦比可被改变为3Z、5Z或更大的光学变焦比。
致动器1130可将OPFE 1110或光学透镜(在下文中称为“光学镜头”)移动到特定位置。例如，致动器1130可调整光学镜头的位置，使得图像传感器1142位于光学镜头的焦距处以进行精确感测。
图像感测装置1140可包括图像传感器(或传感器)1142、控制逻辑(或逻辑)1144和存储器1146。图像传感器1142可使用经由光学镜头提供的光L来感测感测对象的图像。控制逻辑1144可控制相机模块1100b的整体操作。例如，控制逻辑1144可根据经由控制信号线CSLb提供的控制信号来控制相机模块1100b的操作。
存储器1146可存储相机模块1100b的操作所需的信息(诸如，校准数据1147)。校准数据1147可包括相机模块1100b使用从外部提供的光L来产生图像数据所需的信息。校准数据1147可包括例如如上所述的关于旋转度、焦距、光轴的信息。当相机模块1100b以焦距根据光学镜头的位置改变的多状态相机的形式实现时，校准数据1147可包括光学镜头的每个位置(或每个状态)的焦距值和与自动聚焦相关联的信息。
存储装置1150可存储经由图像传感器1142感测的图像数据。存储装置1150可设置在图像感测装置1140外部，并且被实现为使得其与构成图像感测装置1140的传感器芯片堆叠。在一些实施例中，存储装置1150可被实现为电可擦除可编程只读存储器(EEPROM)，但实施例不限于此。
一起参照图21和图22，在一些实施例中，多个相机模块1100a、1100b和1100c中的每个可包括致动器1130。因此，多个相机模块1100a、1100b和1100c中的每个可包括根据其中包括的致动器1130的操作彼此相同或不同的校准数据1147。
在一些实施例中，多个相机模块1100a、1100b和1100c之中的一个相机模块(例如，1100b)可以是包括上述棱镜1105和OPFE 1110的折叠镜头形式的相机模块，而剩余相机模块(例如，1100a和1100c)可以是不包括棱镜1105和OPFE 1110的垂直相机模块，但实施例不限于此。
在一些实施例中，多个相机模块1100a、1100b和1100c之中的一个相机模块(例如，1100c)可以是例如使用红外线IR提取深度信息的垂直型深度相机。在这种情况下，应用处理器1200可将从深度相机提供的图像数据与从另一相机模块(例如，1100a或1100b)提供的图像数据合并，从而产生3D深度图像。
在一些实施方案中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可具有不同的视场。在这种情况下，例如，多个相机模块1100a、1100b和1100c之中的至少两个相机模块(例如，1100a和1100b)的光学镜头可彼此不同，但本公开不限于此。
此外，在一些实施例中，多个相机模块1100a、1100b和1100c中的每个的视场可彼此不同。在这种情况下，包括在多个相机模块1100a、1100b和1100c中的每个中的光学镜头也可彼此不同，但本发明不限于此。
在一些实施例中，多个相机模块1100a、1100b和1100b中的每个可物理地彼此分离。换言之，代替由多个相机模块1100a、1100b和1100c划分和使用一个图像传感器1142的感测区域，独立的图像传感器1142可设置在多个相机模块1100a、1100b和1100c中的每个的内部。
返回参照图21，应用处理器1200可包括图像处理设备1210、存储器控制器1220和内部存储器1230。应用处理器1200可与多个相机模块1100a、1100b和1100c分开实现。例如，应用处理器1200和多个相机模块1100a、1100b和1100c可使用单独的半导体芯片分开实现。
图像处理设备1210可包括多个子图像处理器1212a、1212b和1212c、图像生成器1214和相机模块控制器1216。
图像处理设备1210可包括与多个相机模块1100a、1100b和1100c的数量对应的多个子图像处理器1212a、1212b和1212c。
从相机模块1100a、1100b和1100c中的每个产生的图像数据可经由彼此分离的图像信号线ISLa、ISLb和ISLc提供给对应的子图像处理器1212a、1212b和1212c。例如，从相机模块1100a产生的图像数据可经由图像信号线ISLa提供给子图像处理器1212a，从相机模块1100b产生的图像数据可经由图像信号线ISLb提供给子图像处理器1212b，并且从相机模块1100c产生的图像数据可经由图像信号线ISLc提供给子图像处理器1212c。图像数据传输可使用例如基于移动工业处理器接口(MIPI)的相机串行接口(CSI)来执行，但实施例不限于此。
同时，在一些实施例中，一个子图像处理器可被设置以对应于多个相机模块。例如，子图像处理器1212a和子图像处理器1212c不是如图中示出的彼此分开实现，而是可集成为一个子图像处理器，并且从相机模块1100a和相机模块1100c提供的图像数据可通过选择元件(例如，复用器)选择，然后提供给集成的子图像处理器。
提供给子图像处理器1212a、1212b和1212c中的每个的图像数据可被提供给图像生成器1214。图像生成器1214可根据图像产生信息或模式信号使用从子图像处理器1212a、1212b和1212c中的每个提供的图像数据来产生输出图像。
具体地，图像生成器1214可根据图像产生信息或模式信号通过合并从具有不同视场的相机模块1100a、1100b和1100c产生的图像数据的至少一部分来产生输出图像。此外，图像生成器1214可根据图像产生信息或模式信号通过选择从具有不同视场的相机模块1100a、1100b和1100c产生的图像数据中的一个来产生输出图像。
在一些实施例中，图像产生信息可包括变焦信号或变焦因子。此外，在一些实施例中，模式信号可以是例如基于从用户选择的模式的信号。
当图像产生信息是变焦信号(变焦因子)并且相机模块1100a、1100b和1100c中的每个具有不同的视场时，图像生成器1214可根据变焦信号的类型执行不同的操作。例如，当变焦信号是第一信号时，在合并从相机模块1100a输出的图像数据和从相机模块1100c输出的图像数据之后，输出图像可通过使用合并的图像信号和从相机模块1100b输出的未用于合并的图像数据而产生。当变焦信号是与第一信号不同的第二信号时，图像生成器1214可在不进行这样的图像数据合并的情况下通过选择从相机模块1100a、1100b和1100c中的每个输出的图像数据中的一个来产生输出图像。然而，实施例不限于此，并且处理图像数据的方法可根据需要而被修改和实现。
在一些实施例中，图像生成器1214可从多个子图像处理器1212a、1212b和1212c中的至少一个接收具有不同曝光时间的多个图像数据，并对多个图像数据执行高动态范围(HDR)处理，从而产生具有增加的动态范围的合并图像数据。
相机模块控制器1216可将控制信号提供给相机模块1100a、1100b和1100c中的每个。从相机模块控制器1216产生的控制信号可经由彼此分离的控制信号线CSLa、CSLb和CSLc提供给对应的相机模块1100a、1100b和1100c。
多个相机模块1100a、1100b和1100c中的一个可根据包括变焦信号或模式信号的图像产生信息被指定为主相机(例如，1100b)，而剩余相机模块(例如，1100a和1100c)可被指定为从相机。该信息可包括在控制信号中，并经由彼此分离的控制信号线CSLa、CSLb和CSLc提供给对应的相机模块1100a、1100b和1100c。
作为主相机和从相机操作的相机模块可根据变焦因子或操作模式信号而改变。例如，当相机模块1100a的视场宽于相机模块1100b的视场并且变焦因子表现出低变焦比时，相机模块1100b可作为主相机操作，并且相机模块1100a可作为从相机操作。相反地，当变焦因子表现出高变焦比时，相机模块1100a可作为主相机操作，并且相机模块1100b可作为从相机操作。
在一些实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每个的控制信号可包括同步使能信号。例如，当相机模块1100b是主相机并且相机模块1100a和1100c是从相机时，相机模块控制器1216可将同步使能信号发送到相机模块1100b。接收同步使能信号的相机模块1100b可基于接收到的同步使能信号来产生同步信号，并且经由接收信号线SSL将产生的同步信号提供给相机模块1100a和1100c。相机模块1100b与相机模块1100a、1100c可使用同步信号同步，以将图像数据发送到应用处理器1200。
在一个实施例中，从相机模块控制器1216提供给多个相机模块1100a、1100b和1100c的控制信号可包括根据模式信号的模式信息。基于模式信息，多个相机模块1100a、1100b和1100c可以以与感测速度相关联的第一操作模式和第二操作模式来操作。
在第一操作模式下，多个相机模块1100a、1100b和1100c可以以第一速度产生图像信号(例如，产生第一帧速率的图像信号)，以高于第一速度的第二速度对图像信号进行编码(例如，对高于第一帧速率的第二帧速率的图像信号进行编码)，并将编码的图像信号发送到应用处理器1200。在这种情况下，第二速度可小于或等于第一速度的30倍。
应用处理器1200可将接收到的图像信号(即，编码的图像信号)存储在形成在应用处理器1200内部的内部存储器1230或形成在应用处理器1200外部的外部存储器1400中，从内部存储器1230或外部存储器1400读取编码的图像信号并对其进行解码，并显示基于解码的图像信号产生的图像数据。例如，图像处理设备1210的多个子图像处理器1212a、1212b和1212c之中的对应子图像处理器可执行解码，并且还可对解码的图像信号执行图像处理。
在第二操作模式下，多个相机模块1100a、1100b和1100c可以以低于第一速度的第三速度产生图像信号(例如，以低于第一帧速率的第三帧速率产生图像信号)，并将图像信号发送到应用处理器1200。提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器1200可对接收到的图像信号执行图像处理，或者将图像信号存储在内部存储器1230或外部存储器1400中。
PMIC 1300可将电力(例如，电源电压)提供给多个相机模块1100a、1100b和1100c中的每个。例如，PMIC 1300可在应用处理器1200的控制下经由电力信号线PSLa将第一电力提供给相机模块1100a，经由电力信号线PSLb将第二电力提供给相机模块1100b，并且经由电力信号线PSLc将第三电力提供给相机模块1100c。
PMIC 1300可响应于来自应用处理器1200的电力控制信号PCON来产生与多个相机模块1100a、1100b和1100c中的每个对应的电力，并且还可调整电力的电平。电力控制信号PCON可包括用于多个相机模块1100a、1100b和1100c中的每个操作模式的电力调整信号。例如，操作模式可包括低功率模式，并且在这种情况下，电力控制信号PCON可包括关于在低功率模式下操作的相机模块和电力的设置电平的信息。提供给多个相机模块1100a、1100b和1100c中的每个的电力的电平可彼此相同或不同。此外，电力的电平可被动态地改变。
尽管上面已经参照附图描述了本公开的实施例，但本公开不限于公开的实施例，而是可以以各种不同的方式实现，并且本公开可以以如本领域技术人员将理解的许多不同的形式体现。因此，在此阐述的实施例仅是示例性的，而不应被解释为限制。

Claims (20)

1.一种图像传感器，包括：
像素阵列，包括多个普通像素和多个相位检测组，其中，每个相位检测组包括第一相位检测像素和与第一相位检测像素邻近地设置的第二相位检测像素；以及
滤色器阵列，包括多个单元组，其中，每个单元组包括在像素阵列上以M×N矩阵布置的相同颜色的多个滤色器，
其中，第一颜色的滤色器之中的第一滤色器设置在所述多个单元组中的一个的第一相位检测像素上，并且与第一颜色不同的第二颜色的滤色器之中的第二滤色器设置在所述多个单元组中的另一个的第二相位检测像素上，并且
其中，M和N是正整数。
2.根据权利要求1所述的图像传感器，还包括：
多个第一微透镜，被配置为覆盖所述多个普通像素中的每个，以及
多个第二微透镜，被配置为覆盖所述多个相位检测组中的每个，
其中，第一相位检测像素和第二相位检测像素共享第二微透镜。
3.根据权利要求1所述的图像传感器，其中，所述多个单元组中的每个包括：
第一单元组和在第一方向上与第一单元组邻近地设置的第二单元组，以及
第三单元组和在第一方向上与第三单元组邻近地设置的第四单元组，
其中，第一单元组和第三单元组在与第一方向相交的第二方向上彼此邻近地设置，
第二单元组和第四单元组在第二方向上彼此邻近地设置，
第一单元组包括第一滤色器，
第二单元组和第三单元组包括第二滤色器，并且
第四单元组包括第三滤色器。
4.根据权利要求1所述的图像传感器，还包括：图像信号处理器，经由通道输出从第一相位检测像素产生的第一相位检测数据，然后输出从第二相位检测像素产生的第二相位检测数据。
5.根据权利要求1所述的图像传感器，其中，所述多个普通像素包括多个第一普通像素和多个第二普通像素，并且
所述多个单元组各自包括：
第一单元组，包括第一相位检测像素和设置在所述多个第一普通像素上的滤色器；以及
第二单元组，包括第二相位检测像素和设置在所述多个第二普通像素上的滤色器，并且
其中，图像传感器还包括图像信号处理器，被配置为，
经由通道将从第一相位检测像素产生的第一相位检测数据和从所述多个第一普通像素中的一个产生的第一图像数据一起输出，以及
经由所述通道将从第二相位检测像素产生的第二相位检测数据和从所述多个第二普通像素中的一个产生的第二图像数据一起输出。
6.根据权利要求1所述的图像传感器，其中，所述多个普通像素包括多个第一普通像素和多个第二普通像素，并且
所述多个单元组各自包括：
第一单元组，包括第一相位检测像素和设置在所述多个第一普通像素上的滤色器；以及
第二单元组，包括第二相位检测像素和设置在所述多个第二普通像素上的滤色器，并且
其中，图像传感器还包括图像信号处理器，被配置为，
经由通道将从第一相位检测像素产生的第一相位检测数据和从所述多个第一普通像素产生的多个第一图像数据的平均一起输出，以及
经由所述通道将从第二相位检测像素产生的第二相位检测数据和从所述多个第二普通像素产生的多个第二图像数据的平均一起输出。
7.一种图像传感器，包括：
像素阵列，包括多个普通像素和多个相位检测像素组，其中，每个相位检测像素组包括第一相位检测像素和与第一相位检测像素邻近地设置的第二相位检测像素；以及
图像信号处理器，被配置为经由通道将从相位检测像素组产生的多个相位检测数据中的一个和从所述多个普通像素产生的多个图像数据中的一个一起输出。
8.根据权利要求7所述的图像传感器，其中，所述多个相位检测数据包括从第一相位检测像素产生的第一相位检测数据和从第二相位检测像素产生的第二相位检测数据，并且
图像信号处理器经由所述通道输出第一相位检测数据，然后输出第二相位检测数据。
9.根据权利要求7所述的图像传感器，其中，所述多个相位检测数据包括从第一相位检测像素产生的第一相位检测数据和从第二相位检测像素产生的第二相位检测数据，
所述多个图像数据包括从普通像素之中的与第一相位检测像素邻近地设置的第一普通像素产生的第一图像数据和从普通像素之中的与第二相位检测像素邻近的第二普通像素产生的第二图像数据，以及
图像信号处理器被配置为，
经由所述通道将第一相位检测数据和第一图像数据一起输出，以及
经由所述通道将第二相位检测数据和第二图像数据一起输出。
10.根据权利要求9所述的图像传感器，其中，设置在第一相位检测像素上的滤色器具有与设置在第一普通像素上的滤色器相同的颜色，并且
设置在第二相位检测像素上的滤色器具有与设置在第二普通像素上的滤色器相同的颜色。
11.根据权利要求7所述的图像传感器，其中，所述多个相位检测数据包括从第一相位检测像素产生的第一相位检测数据和从第二相位检测像素产生的第二相位检测数据，以及
所述多个图像数据包括多个第一图像数据和多个第二图像数据，所述多个第一图像数据从与第一相位检测像素共享滤色器的普通像素之中的多个第一普通像素产生，所述多个第二图像数据从与第二相位检测像素共享同一滤色器的普通像素之中的多个第二普通像素产生，
其中，图像信号处理器被配置为，
经由所述通道将第一相位检测数据和所述多个第一图像数据的平均一起输出，以及
经由所述通道将第二相位检测数据和所述多个第二图像数据的平均一起输出。
12.一种应用处理器，被配置为：
经由第一通道从图像传感器一起接收第一相位检测信号和第一图像数据，第一相位检测信号从第一滤色器被设置在其上的第一相位检测像素产生，第一图像数据从第一滤色器被设置在其上的第一普通像素产生；
经由第一通道从图像传感器一起接收第二相位检测信号和第二图像数据，第二相位检测信号从第二滤色器被设置在其上的第二相位检测像素产生，第二图像数据从第二滤色器被设置在其上的第二普通像素产生；以及
基于第一相位检测信号、第一图像数据、第二相位检测信号和第二图像数据来计算第一相位检测信号与第二相位检测信号之间的总体视差。
13.根据权利要求12所述的应用处理器，其中，第一滤色器具有与第二滤色器的颜色不同的颜色。
14.根据权利要求12所述的应用处理器，其中，总体视差通过计算第一相位检测信号和第一图像数据的和与第二相位检测信号和第二图像数据的和之间的视差来计算。
15.根据权利要求12所述的应用处理器，其中，所述应用处理器被配置为：
计算第一相位检测信号与第一图像数据之间的第一视差，
计算第二相位检测信号与第二图像数据之间的第二视差，并且
通过将第一视差与第二视差相加来计算总体视差。
16.根据权利要求12所述的应用处理器，其中，所述应用处理器被配置为：
计算第一相位检测信号与第一图像数据之间的视差的第一成本量，
计算第二相位检测信号与第二图像数据之间的视差的第二成本量，并且
通过将第一成本量与第二成本量相加来计算总体视差。
17.根据权利要求12所述的应用处理器，其中，所述应用处理器被配置为：
计算第二图像数据与第一图像数据的比率，
通过将第一相位检测信号乘以所述比率来计算校准信号，以及
通过计算校准信号与第二相位检测信号之间的视差来计算总体视差。
18.一种图像感测装置，包括：
像素阵列，包括被配置为产生第一图像数据和第二图像数据的多个普通像素和多个相位检测组，其中，每个相位检测组包括被配置为产生第一相位检测数据的第一相位检测像素和被配置为产生第二相位检测数据的第二相位检测像素，其中，第一相位检测像素与第二相位检测像素邻近地设置；
图像传感器，包括包含多个单元组的滤色器阵列，其中，每个单元组包括在像素阵列上以M×N矩阵布置的相同颜色的多个滤色器，其中，M和N是正整数；以及
应用处理器，被配置为经由第一通道接收第一图像数据，并且经由第二通道接收第二图像数据、第一相位检测数据和第二相位检测数据，并且基于第二图像数据、第一相位检测数据和第二相位检测数据来计算第一相位检测数据与第二相位检测数据之间的总体视差。
19.根据权利要求18所述的图像感测装置，其中，设置在第一相位检测像素上的单元组包括具有与设置在第二相位检测像素上的单元组的颜色不同的颜色的滤色器。
20.根据权利要求18所述的图像感测装置，其中，第二图像数据包括：
从普通像素之中与第一相位检测像素邻近地设置的普通像素产生的第二-第一图像数据；以及
从普通像素之中与第二相位检测像素邻近地设置的普通像素产生的第二-第二图像数据。
CN202211392626.2A 2021-11-08 2022-11-08 图像传感器、应用处理器和图像感测装置 Pending CN116095525A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2021-0152340 2021-11-08
KR20210152340 2021-11-08
KR20220004583 2022-01-12
KR10-2022-0004583 2022-01-12
KR10-2022-0090833 2022-07-22
KR1020220090833A KR20230067491A (ko) 2021-11-08 2022-07-22 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치

Publications (1)

Publication Number Publication Date
CN116095525A true CN116095525A (zh) 2023-05-09

Family

ID=86198102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211392626.2A Pending CN116095525A (zh) 2021-11-08 2022-11-08 图像传感器、应用处理器和图像感测装置

Country Status (2)

Country Link
US (1) US20230143333A1 (zh)
CN (1) CN116095525A (zh)

Also Published As

Publication number Publication date
US20230143333A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US10708492B2 (en) Array camera configurations incorporating constituent array cameras and constituent cameras
WO2014133974A1 (en) Thin form computational and modular array cameras
US11425323B2 (en) Image sensor and operating method thereof
CN113824908A (zh) 图像感测器件和包括图像感测器件的电子设备
CN113852769A (zh) 图像传感器及其合并方法
US20220294999A1 (en) Image sensing apparatus and image binning method thereof
US20220334357A1 (en) Image sensor for zoom processing and electronic device including the same
US20220116557A1 (en) Pixel array and image sensor including the same
CN116095525A (zh) 图像传感器、应用处理器和图像感测装置
CN114205544A (zh) 图像信号处理器以及包括其的电子装置和电子系统
KR20230067491A (ko) 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치
US11622093B1 (en) Pixel array for reducing image information loss and image sensor including the same
US11758288B2 (en) Device for improving image resolution in camera system having lens that permits distortion and operation method thereof
US12020406B2 (en) Image signal processing method, image sensing device including an image signal processor
US20230254474A1 (en) Image sensor, processor of image sensor, and image processing method
US20220277423A1 (en) Image signal processing method, image sensing device including an image signal processor
US20220408038A1 (en) Image sensing device
US20220174232A1 (en) Image sensor and pixel array of image sensor
CN115225835A (zh) 相机模块和相机模块的操作方法
TW202415085A (zh) 校正串擾的影像感測器、影像感測器的操作方法以及包括影像感測器的電子裝置
CN114639691A (zh) 图像传感器
KR20220127003A (ko) 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈
JP2024000506A (ja) クロストークを補正するイメージセンサ、イメージセンサの動作方法およびイメージセンサを含む電子機器
CN115412690A (zh) 图像传感器和图像信号处理方法
KR20240082675A (ko) 이미지 신호 프로세서 및 그 이미지 센싱 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication