CN114189640A - 图像感测系统 - Google Patents

图像感测系统 Download PDF

Info

Publication number
CN114189640A
CN114189640A CN202111079288.2A CN202111079288A CN114189640A CN 114189640 A CN114189640 A CN 114189640A CN 202111079288 A CN202111079288 A CN 202111079288A CN 114189640 A CN114189640 A CN 114189640A
Authority
CN
China
Prior art keywords
pattern
image
image signal
pixel
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111079288.2A
Other languages
English (en)
Inventor
文章豪
辛德夏
李济硕
朴熙根
郑小荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114189640A publication Critical patent/CN114189640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

公开了一种图像感测系统。所述图像感测系统包括相机模块和应用处理器。相机模块包括：图像传感器，包括像素阵列，像素阵列包括具有第一图案的滤色器，图像传感器被配置为感测入射在像素阵列上的光以生成具有第一图案的第一图案图像信号；第一转换器，被配置为将第一图案图像信号转换为具有与第一图案不同的第二图案的第二图案图像信号；以及第二转换器，被配置为将第二图案图像信号转换为具有与第一图案和第二图案不同的第三图案的第三图案图像信号。应用处理器被配置为对第三图案图像信号执行图像处理。

Description

图像感测系统
本申请要求于2020年9月15日在韩国知识产权局提交的第10-2020-0118081号韩国专利申请的优先权以及从中获得的所有权益，该韩国专利申请的公开通过引用全部包含于此。
技术领域
本公开涉及一种图像感测系统。
背景技术
图像感测装置是将光信息转换为电信号的半导体装置之一。图像感测装置的示例可包括电荷耦合器件(CCD)图像感测装置和互补金属氧化物半导体(CMOS)图像感测装置。
CMOS型图像传感器可被缩写为CIS。CIS可包括二维布置的多个像素。每个像素可包括例如光电二极管(PD)。光电二极管可用于将入射光转换成电信号。
近年来，随着计算机工业和电信工业的发展，在各种领域(诸如，数码相机、摄像机、智能电话、游戏装置、安全相机、医疗微型相机、机器人等)中对具有改进的性能的图像传感器的需求已经增加。
发明内容
一个或多个示例实施例提供了一种图像感测系统，所述图像感测系统即使在滤色器被改变时也不需要重新设计图像信号处理器。
然而，本公开的方面不限于在此阐述的方面。通过参照以下给出的本公开的具体实施方式，对于本公开所属领域的普通技术人员而言，本公开的以上和其他方面将变得更加清楚。
其他实施例的具体细节被包括在具体实施方式和附图中。
根据示例实施例的一个方面，提供了一种图像感测系统，所述图像感测系统包括：相机模块；以及应用处理器，电连接到相机模块，其中，相机模块包括：图像传感器，包括像素阵列，像素阵列包括具有第一图案的滤色器，图像传感器被配置为感测入射在像素阵列上的光以生成具有第一图案的第一图案图像信号；第一转换器，被配置为将第一图案图像信号转换为具有第二图案的第二图案图像信号，第二图案与第一图案不同；以及第二转换器，被配置为将第二图案图像信号转换为具有第三图案的第三图案图像信号，第三图案与第一图案和第二图案不同，其中，应用处理器被配置为对第三图案图像信号执行图像处理。
根据示例实施例的一个方面，提供了一种图像感测系统，所述图像感测系统包括：图像传感器，包括像素阵列，像素阵列包括具有第一图案的滤色器，图像传感器被配置为感测入射在像素阵列上的光以生成具有第一图案的第一图案图像信号；图像信号处理器，被配置为将第一图案图像信号转换为具有第二图案的第二图案图像信号，第二图案不同于第一图案；以及应用处理器，被配置为对第二图案图像信号执行第一图像处理，其中，第一图案图像信号包括第一像素值、第二像素值和第三像素值，第一像素值对应于第一颜色，并且第二像素值和第三像素值对应于第二颜色，其中，图像信号处理器还被配置为基于第一像素值和第二像素值将第三像素值转换为第四像素值，第四像素值对应于第一颜色，其中，第二图案图像信号包括第一像素值和第四像素值。
根据示例实施例的一个方面，提供了一种图像感测系统，所述图像感测系统包括：第一图像传感器，包括第一像素阵列，第一像素阵列包括具有第一图案的第一滤色器，第一图像传感器被配置为感测入射在第一像素阵列上的光以生成具有第一图案的第一图像信号；第二图像传感器，包括第二像素阵列，第二像素阵列包括具有第二图案的第二滤色器，第二图像传感器被配置为感测入射在第二像素阵列上的光以生成具有第二图案的第二图像信号，第二图案不同于第一图案；第一图像信号处理器，被配置为基于第一图像信号生成具有第二图案的第三图像信号；以及第二图像信号处理器，被配置为对第三图像信号执行图像处理，并且对未经过第一图像信号处理器的第二图像信号执行图像处理。
附图说明
通过参照附图描述特定示例实施例，以上和/或其他方面将更加清楚，其中：
图1是根据一些示例实施例的图像感测系统的框图；
图2是用于解释图1的图像传感器的概念布局的示图；
图3是用于描述根据一些示例实施例的像素阵列的示图；
图4是沿图3的线A-A截取的像素阵列的剖视图；
图5是用于描述根据一些示例实施例的图像信号的示图；
图6是示出根据一些示例实施例的图像感测系统的框图；
图7是示出图6的第一转换器的框图；
图8是用于描述图像信号中的坏像素校正的框图；
图9是用于描述图像信号中的坏像素校正的流程图；
图10、图11和图12是用于描述根据一些示例实施例的将坏像素校正图像信号转换为第一转换信号的方法的示图；
图13是用于描述根据一些示例实施例的九像素合一(nona)像素阵列的示图；
图14是用于描述根据一些示例实施例的图像信号的示图；
图15是用于描述根据一些示例实施例的将坏像素校正图像信号转换为第一转换信号的方法的示图；
图16是示出图6的第二转换器的框图；
图17是用于描述将第一转换信号转换为第二转换信号的方法的示图；
图18是用于描述根据一些示例实施例的将图像信号转换为第一转换信号和第二转换信号的方法的示图；
图19是根据一些其他示例实施例的图像感测系统的框图；
图20是根据一些其他示例实施例的图像感测系统的框图；
图21是根据一些其他示例实施例的图像感测系统的框图；
图22是根据一些其他示例实施例的图像感测系统的框图；
图23是根据一些其他示例实施例的图像感测系统的框图；以及
图24是示出根据一些示例实施例的包括多相机模块的电子装置的框图。
具体实施方式
在下文中，将参照附图描述示例实施例。
在下文中，将参照图1至图18描述根据示例实施例的包括包含像素阵列PA的图像传感器100、第一图像信号处理器(ISP1)200和应用处理器(AP)300的图像感测系统1。
图1是根据一些示例实施例的图像感测系统的框图。
参照图1，图像感测系统1可包括相机模块101和应用处理器300。这里，相机模块101可包括图像传感器100和第一图像信号处理器200。相机模块101可以是相机组件。
图像传感器100可通过使用入射光对感测目标的图像进行感测，来生成图像信号IS。在一些实施例中，生成的图像信号IS可以是例如数字信号，但是实施例不限于此。
图像信号IS可被提供给第一图像信号处理器200以被处理。例如，第一图像信号处理器200可生成通过对图像信号IS进行转换而获得的第二转换信号CS2。
应用处理器300可从相机模块101接收第二转换信号CS2。例如，应用处理器300可从第一图像信号处理器200接收第二转换信号CS2。应用处理器300可处理第二转换信号CS2以促进基于第二转换信号CS2的图像的显示。例如，包括在应用处理器300中的第二图像信号处理器(ISP2)310可对第二转换信号CS2执行图像处理。
在一些实施例中，相机模块101和应用处理器300可如图1中所示被单独地设置。例如，相机模块101可被安装在第一芯片上，并且应用处理器300可被安装在第二芯片上，从而通过接口彼此通信。然而，根据公开的实施例不限于此，并且包括在相机模块101中的图像传感器100和第一图像信号处理器200以及应用处理器300可被实现为一个封装件(例如，多芯片封装件(multi chip package，MCP))。
图像传感器100可包括控制寄存器块110、时序生成器120、行驱动器130、像素阵列PA、读出电路150、斜坡信号生成器160和缓冲器170。
控制寄存器块110可控制图像传感器100的整体操作。具体地，控制寄存器块110可直接将操作信号发送到时序生成器120、斜坡信号生成器160和缓冲器170。
时序生成器120可生成用于图像传感器100的各个组件的操作时序的参考信号。由时序生成器120生成的用于操作时序的参考信号可被发送到行驱动器130、读出电路150、斜坡信号生成器160等。
斜坡信号生成器160可生成并发送在读出电路150中使用的斜坡信号。例如，读出电路150可包括相关双采样器(correlated double sampler，CDS)、比较器等，并且斜坡信号生成器160可生成并发送在相关双采样器(CDS)、比较器等中使用的斜坡信号。
缓冲器170可包括例如锁存器。缓冲器170可临时存储将被提供给外部的图像信号IS，并将图像信号IS发送到外部存储器或外部装置。
像素阵列PA可感测外部图像。像素阵列PA可包括多个像素(或多个单元像素)。行驱动器130可选择性地激活像素阵列PA的行。
读出电路150可对从像素阵列PA提供的像素信号进行采样，将采样的像素信号与斜坡信号进行比较，并且基于比较结果将模拟图像信号(数据)转换为数字图像信号(数据)。
图2是用于解释图1的图像传感器的概念布局的示图。
参照图2，图像传感器100可包括沿第一方向(例如，垂直方向)堆叠的第一区域S1和第二区域S2。如图2中所示，第一区域S1和第二区域S2可沿与第一方向交叉的第二方向和与第一方向交叉的第三方向延伸，并且图1中示出的多个块可被设置在第一区域S1和第二区域S2中。
尽管图中未示出，但是设置有存储器的第三区域可被设置在第二区域S2下方。在这种情况下，设置在第三区域中的存储器可从第一区域S1和第二区域S2接收图像数据，存储或处理图像数据，并且将图像数据重新发送到第一区域S1和第二区域S2。在这种情况下，存储器可包括存储器元件(诸如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、自旋转移矩磁随机存取存储器(STT-MRAM)和闪存)。当存储器包括例如DRAM时，存储器可以以相对高的速度接收并处理图像数据。此外，在一些实施例中，存储器可被设置在第二区域S2中。
第一区域S1可包括像素阵列PA和第一外围区域PH1，并且第二区域S2可包括逻辑电路区域LC和第二外围区域PH2。第一区域S1和第二区域S2可垂直地顺序地堆叠。
在第一区域S1中，像素阵列PA可与参照图1描述的像素阵列PA相同。像素阵列PA可包括布置成矩阵的多个单元像素。每个像素可包括光电二极管和晶体管。这将在后面被更详细地描述。
第一外围区域PH1可包括多个垫(或称为焊盘，pad)，并且可被设置在像素阵列PA周围。垫可向外部装置发送电信号和/或从外部装置接收电信号。
在第二区域S2中，逻辑电路区域LC可包括具有多个晶体管的电子元件。包括在逻辑电路区域LC中的电子元件可电连接到像素阵列PA，以向像素阵列PA的每个单元像素提供信号或控制每个单元像素的输出信号。
在逻辑电路区域LC中，例如，可设置参照图1描述的控制寄存器块110、时序生成器120、行驱动器130、读出电路150、斜坡信号生成器160和缓冲器170。例如，在图1的块之中，除了像素阵列PA之外的块可被设置在逻辑电路区域LC中。
此外，在第二区域S2中，第二外围区域PH2可被设置在与第一区域S1的第一外围区域PH1对应的区域中，但是实施例不限于此。
图3是用于描述根据一些示例实施例的像素阵列的示图。图4是沿图3的线A-A截取的像素阵列的剖视图。
参照图3，像素阵列PA可包括多个单元像素PX。多个单元像素PX可被二维地布置。例如，多个单元像素PX可沿第二方向和第三方向重复地设置。单元像素PX可以以规则的间隔被布置。例如，像素阵列PA可以以拜耳图案被布置。然而，根据公开的实施例不限于此，并且像素阵列PA可以以例如四像素合一(tetra，或称为四合一像素、像素四合一)图案或九像素合一(nona，或称为九合一像素、像素九合一)图案被布置。
参照图4，像素阵列PA可包括单元像素PX1和单元像素PX2。单元像素PX1和单元像素PX2可彼此邻近地布置。
像素阵列PA可包括基底146W和146B、光电晶体管148W和148B、抗反射膜147、侧抗反射膜144、滤色器143W和143B、上平坦化层142和下平坦化层145以及微透镜141-1和141-2。
基底146W和146B可采用例如P型或N型体基底(bulk substrate)，或者可采用在其上生长有P型或N型外延层的P型体基底、或者在其上生长P型或N型外延层的N型体基底。除了半导体基底之外，基底146W和146B还可采用诸如有机塑料基底的基底。
光电晶体管148W和148B可以是光电二极管、光电晶体管、光电门、钉扎光电二极管或其任何组合。
抗反射膜147和侧抗反射膜144可防止从外部入射到微透镜141-1和141-2上的光穿透W区域和B区域。抗反射膜147和侧抗反射膜144可由绝缘膜(诸如，氧化硅膜、氮化硅膜、氮氧化硅膜、树脂、它们的任意组合或它们的叠层)形成，但是实施例不限于此。
上平坦化层142和下平坦化层145可形成为平坦的，并且滤色器143W和143B置于上平坦化层142与下平坦化层145之间。上平坦化层142和下平坦化层145可包括基于氧化硅的材料、基于氮化硅的材料、树脂和其任何组合中的至少一者，但是实施例不限于此。
图5是用于描述根据一些示例实施例的图像信号的示图。
参照图5，图像信号IS可以是由感测来自像素阵列PA的光的图像传感器100输出的信号。例如，光可穿过像素阵列PA的滤色器143W和143B以到达光电晶体管148W和148B，并且图像信号IS可从逻辑电路区域LC被输出。
例如，图像信号IS可包括通过感测透过具有白色的滤色器143W的光而输出的第一白色像素值W1。此外，图像信号IS可包括通过感测透过具有蓝色的滤色器143B的光而输出的第一蓝色像素值B1。也就是说，图5中示出的白色像素值W1至W32、绿色像素值G1至G16、蓝色像素值B1至B8和红色像素值R1至R8可以是由感测透过具有与白色、绿色、蓝色和红色中的每个对应的颜色的滤色器的光的图像传感器100输出的图像信号。
像素阵列PA可以以RGBW拜耳图案被布置。也就是说，像素阵列PA的滤色器可以是红色滤色器、绿色滤色器、蓝色滤色器和白色滤色器的组合，并且滤色器可以以拜耳型被布置。然而，根据公开的实施例不限于此，并且像素阵列PA可以以例如RGB拜耳图案、RGB九像素合一图案等被布置。在一个示例中，像素阵列PA的滤色器可被二维地布置。
在图像信号IS中，可以以如图5中所示的方式布置像素值，以对应于像素阵列PA的滤色器的颜色。然而，图5仅示出了根据每个单元像素PX的位置来布置每个像素值，并且实际输出的图像信号IS的像素值的存储位置不限于示出的位置。
图6是示出根据一些示例实施例的图像感测系统的框图。图7是示出图6的第一转换器的框图。
参照图6，第一图像信号处理器200可包括第一转换器210和第二转换器220。在图6中，第一转换器210和第二转换器220被示出为包括在第一图像信号处理器200中，但是公开的实施例不限于此。例如，仅第一转换器210可被包括在第一图像信号处理器200中，并且第二转换器220可被包括在应用处理器300中。
第一转换器210可将图像信号IS转换为第一转换信号CS1。第二转换器220可将第一转换信号CS1转换为第二转换信号CS2。这里，图像信号IS、第一转换信号CS1和第二转换信号CS2可彼此不同。
参照图7，第一转换器210可包括坏像素校正模块211和转换模块212。坏像素校正模块211可通过接收图像信号IS并执行校正，来生成坏像素校正图像信号IS_BPC。转换模块212可通过对坏像素校正图像信号IS_BPC进行转换，来生成第一转换信号CS1。尽管坏像素校正模块211和转换模块212二者被示出为包括在第一转换器210中，但是根据公开的实施例不限于此。例如，第一转换器210可仅包括转换模块212。也就是说，可省略坏像素校正模块211。
图8是用于描述图像信号中的坏像素校正的框图。图9是用于描述图像信号中的坏像素校正的流程图。
参照图8和图9，图像信号IS可被转换为坏像素校正图像信号IS_BPC。也就是说，坏像素校正模块211可对图像信号IS执行坏像素校正，以生成坏像素校正图像信号IS_BPC。
坏像素校正模块211可针对图像信号IS设置第一内核K1。包括在第一内核K1中的图像信号可包括第一白色像素值W1、第一蓝色像素值B1、第二白色像素值W2、第三蓝色像素值B3、第五白色像素值W5、第三绿色像素值G3、第九白色像素值W9、第五绿色像素值G5和第十白色像素值W10。这里，第一内核K1被示出为仅包括上述像素值，但第一内核K1可被移动以包括其他像素值。此外，第一内核K1的大小不仅可以是3×3的大小，而且可以是7×7的大小。
坏像素校正模块211可确定第一内核K1中是否存在坏像素BP(S400)。例如，坏像素校正模块211可确定在第一白色像素值W1、第一蓝色像素值B1、第二白色像素值W2、第三蓝色像素值B3、第五白色像素值W5、第三绿色像素值G3、第九白色像素值W9、第五绿色像素值G5和第十白色像素值W10之中是否存在坏像素BP。
当在第一内核K1中存在坏像素BP时(S400中的“是”)，坏像素校正模块211可获得与第一内核K1中的坏像素BP的颜色对应的像素值(S401)。这里，坏像素校正模块211可在获得与第一内核K1中的坏像素BP的颜色对应的像素值时排除坏像素BP的像素值。
例如，在图8中，坏像素BP的像素值可以是第五白色像素值W5。此外，与坏像素BP的颜色对应的像素值可包括第一白色像素值W1、第二白色像素值W2、第九白色像素值W9和第十白色像素值W10。然而，根据公开的实施例不限于此。
随后，坏像素校正模块211可用与坏像素BP的颜色对应的像素值之中的中值替换坏像素BP的像素值(S402)。也就是说，可通过使用下面的等式获得作为校正后的坏像素BP的像素值的第五白色像素值W5'。
[等式1]
W5'＝median(W1,W2,W9,W10)
例如，假设第一白色像素值W1、第二白色像素值W2、第九白色像素值W9和第十白色像素值W10按照从最小像素值到最大像素值的顺序，则第五白色像素值W5'可以是诸如第二白色像素值W2或第九白色像素值W9的中值。第五白色像素值W5'可对应于校正像素CP。例如，“median”可以是用于获得中值的函数。
因此，在由第一转换器210进行第一转换之前，可通过将坏像素BP的像素值校正为校正像素CP的像素值来防止图像质量的劣化。通过利用与坏像素BP的颜色对应的其他正常像素的像素值之中的中值，即使当任何一个像素值极大或极小时，也可稳定地替换坏像素BP的像素值。
图10至图12是用于描述将坏像素校正图像信号转换为第一转换信号的方法的示图。
参照图10，坏像素校正图像信号IS_BPC可被转换为第一转换信号CS1。也就是说，转换模块212可将坏像素校正图像信号IS_BPC转换为第一转换信号CS1。
坏像素校正图像信号IS_BPC可具有RGBW拜耳图案。也就是说，由于图像信号IS具有RGBW拜耳图案，因此坏像素校正图像信号IS_BPC也可具有RGBW拜耳图案。第一转换信号CS1可具有RGB四像素合一图案。也就是说，在第一转换信号CS1中，四个像素值可对应于一种颜色(例如，红色、绿色和蓝色中的一种)。例如，第一转换像素值W1″和第五转换像素值W5″可对应于蓝色，并且第二转换像素值W2″和第六转换像素值W6″可对应于绿色。
转换模块212可对坏像素校正图像信号IS_BPC设置第二内核K2或第三内核K3。第二内核K2可具有3×3的大小，并且第三内核K3可具有7×7的大小。
参照图11，转换模块212可使用第二内核K2执行第一转换。包括在第二内核K2中的坏像素校正图像信号IS_BPC可包括第一白色像素值W1、第一蓝色像素值B1、第二白色像素值W2、第三蓝色像素值B3、第五白色像素值W5、第三绿色像素值G3、第九白色像素值W9、第五绿色像素值G5和第十白色像素值W10。
这里，假设将被转换的像素值是第五白色像素值W5。第五白色像素值W5可被转换为与蓝色对应的第五转换像素值W5″。可通过使用下面的等式来获得第五转换像素值W5″。
[等式2]
Figure BDA0003263279090000101
可基于第五白色像素值W5、与白色对应的周围像素值(例如，第一白色像素值W1、第二白色像素值W2、第九白色像素值W9和第十白色像素值W10)以及与将被转换的颜色对应的像素值(例如，第一蓝色像素值B1和第二蓝色像素值B2)，来生成第五转换像素值W5″。
例如，第五转换像素值W5″可与第五白色像素值W5、第一蓝色像素值B1和第二蓝色像素值B2成正比。此外，例如，第五转换像素值W5″可与第一白色像素值W1、第二白色像素值W2、第九白色像素值W9和第十白色像素值W10成反比。此外，在一个实施例中，额外的权重可被施加到第五白色像素值W5，以获得第五转换像素值W5″。然而，根据公开的实施例不限于此。
根据转换处理，具有RGBW拜耳图案的图像信号IS或坏像素校正图像信号IS_BPC可被转换为具有RGB四像素合一图案的第一转换信号CS1。
参照图12，转换模块212可使用第三内核K3执行第一转换。
这里，假设将被转换的像素值是第十四白色像素值W14。第十四白色像素值W14可被转换为与红色对应的第十四转换像素值W14″。可通过使用下面的等式来获得第十四转换像素值W14″。
[等式3]
Figure BDA0003263279090000111
可基于以下项来生成第十四转换像素值W14″：第十四白色像素值W14、与白色对应的周围像素值(例如，第一白色像素值W1至第七白色像素值W7、第九白色像素值W9至第十三白色像素值W13、第十五白色像素值W15、第十七白色像素值W17至第二十三白色像素值W23和第二十五白色像素值W25至第二十八白色像素值W28)以及与将被转换的颜色对应的像素值(例如，第一红色像素值R1、第三红色像素值R3、第四红色像素值R4和第五红色像素值R5)。
例如，第十四转换像素值W14″可与第十四白色像素值W14、第一红色像素值R1、第三红色像素值R3、第四红色像素值R4和第五红色像素值R5成比例。此外，例如，第十四转换像素值W14″可与第一白色像素值W1至第七白色像素值W7、第九白色像素值W9至第十三白色像素值W13、第十五白色像素值W15、第十七白色像素值W17至第二十三白色像素值W23和第二十五白色像素值W25至第二十八白色像素值W28成反比。然而，根据公开的实施例不限于此。
根据转换处理，具有RGBW拜耳图案的图像信号IS或坏像素校正图像信号IS_BPC可被转换为具有RGB四像素合一图案的第一转换信号CS1。这里，因为第三内核K3的大小大于第二内核K2的大小，所以转换模块212可具有更高的转换性能。
图13是用于描述根据一些示例实施例的九像素合一像素阵列的示图。图14是用于描述根据一些示例实施例的图像信号的示图。图15是用于描述根据一些示例实施例的将坏像素校正图像信号转换为第一转换信号的方法的示图。
参照图13，九像素合一像素阵列PA_N可包括多个单元像素PX。透镜LS可覆盖多个单元像素PX。例如，一个透镜LS可覆盖九个单元像素PX。此外，对应的多个单元像素PX可包括相同类型的滤色器。例如，由一个透镜LS覆盖的多个单元像素PX可包括红色滤色器、绿色滤色器和蓝色滤色器中的一者。这里，包括在九像素合一像素阵列PA_N中的滤色器可具有RGB九像素合一图案。然而，根据公开的实施例不限于此。
参照图14，图像信号IS可以是由感测来自九像素合一像素阵列PA_N的光的图像传感器100输出的信号。
例如，图像信号IS可包括通过感测透过一个透镜LS的光而输出的第一绿色像素值G1至第九绿色像素值G9、第一红色像素值R1至第九红色像素值R9、第一蓝色像素值B1至第九蓝色像素值B9和第十绿色像素值G10至第十八绿色像素值G18。
参照图15，通过对图像信号IS执行坏像素校正而获得的坏像素校正图像信号IS_BPC可被转换为第一转换信号CS1。这里，第一转换信号CS1可具有RGB四像素合一图案。
第一转换器210可针对坏像素校正图像信号IS_BPC设置第四内核K4。可基于周围像素值来转换包括在第四内核K4中的像素值。
例如，当第六绿色像素值G6将被转换为第三转换红色像素值R3'时，第三转换红色像素值R3'可基于第二绿色像素值G2、第三绿色像素值G3、第五绿色像素值G5、第八绿色像素值G8、第九绿色像素值G9来生成。也就是说，第三转换红色像素值R3'可是第二绿色像素值G2、第三绿色像素值G3、第五绿色像素值G5、第八绿色像素值G8和第九绿色像素值G9的中值。
与参照图8至图12描述的情况不同，即使当图像信号IS具有RGB九像素合一图案时，已经转换的第一转换信号CS1也可具有RGB四像素合一图案。也就是说，即使当图像传感器100的像素阵列PA被替换为具有不同滤色器的像素阵列时，第一转换器210也可将图像信号IS转换为具有特定图案的第一转换信号CS1。例如，第一转换器210可将具有第一图案的图像信号IS转换为具有第二图案的第一转换信号CS1。
图16是示出图6的第二转换器的框图。图17是用于描述将第一转换信号转换为第二转换信号的方法的示图。
参照图16，第二转换器220可包括坏像素校正模块221和马赛克重排(remosaic)模块222。然而，根据公开的实施例不限于此，并且第二转换器220可仅包括马赛克重排模块222。
可通过执行坏像素校正的坏像素校正模块221，将第一转换信号CS1转换为第一坏像素校正转换信号CS1_BPC。可通过马赛克重排模块222将第一坏像素校正转换信号CS1_BPC转换为第二转换信号CS2。坏像素校正模块221可通过与上述坏像素校正模块211的处理相同的处理对第一转换信号CS1执行坏像素校正。
参照图17，第一转换信号CS1可被转换为第二转换信号CS2。第一转换信号CS1可具有RGB四像素合一图案，并且第二转换信号CS2可具有RGW拜耳图案。也就是说，第二转换器220可将具有第二图案的第一转换信号CS1转换为具有第三图案的第二转换信号CS2。例如，当第二图案是RGB四像素合一图案时，第三图案可以是RGB拜耳图案。这里，可使用现有算法来实现第二图案到第三图案的转换，但是根据公开的实施例不限于此。
通过第二转换器220转换的具有RGB拜耳图案的第二转换信号CS2可被提供给应用处理器300。也就是说，通过第二转换器220转换的具有RGB拜耳图案的第二转换信号CS2可被提供给第二图像信号处理器310。
第二图像信号处理器310可对具有RGB拜耳图案的第二转换信号CS2执行图像处理。例如，第二图像信号处理器310可对第二转换信号CS2执行去马赛克、边缘增强、伽马校正、白平衡补偿和颜色校正。已经通过第二图像信号处理器310被执行图像处理的第二转换信号CS2可被提供给显示器等。
这里，应用处理器300可处理具有RGB拜耳图案的图像信号。也就是说，在现有技术中，应用处理器300可仅处理具有RGB拜耳图案的图像信号，并且当图像传感器100的像素阵列PA被改变时，可能必须重新设计应用处理器300。
例如，可通过现有的应用处理器300来实现将具有RGB四像素合一图案的图像信号转换为具有RGB拜耳图案的图像信号。因此，根据示例实施例，第一图像信号处理器200可将图像信号IS转换为具有特定图案的图像信号(例如，第一转换信号CS1)，使得应用处理器300可使用通过第二转换器220从第一转换信号CS1转换的第二转换信号CS2。
也就是说，即使当图像传感器100的像素阵列PA被改变时，通过改变第一转换器210或第二转换器220的设计，也可在不改变应用处理器300的设计的情况下对来自图像传感器100的图像信号IS执行图像处理。
图18是用于描述根据一些示例实施例的将图像信号转换为第一转换信号和第二转换信号的方法的示图。
参照图18，图像信号IS和第一转换信号CS1可具有各种类型的图案。图像信号IS和第一转换信号CS1可具有像素的组合的图案，每个像素包括颜色信息和亮度信息。例如，图像信号IS的第一图案可对应于包括拜耳、四像素合一、九像素合一等的布置和包括RGB、RGBW等的颜色的组合。也就是说，图像传感器100的滤色器可具有第一图案。
此外，例如，第一转换信号CS1的第二图案可对应于包括拜耳、四像素合一、九像素合一等的布置和包括RGB、RGBW等的颜色的组合。也就是说，具有第一图案的图像信号IS可被转换为具有第二图案的第一转换信号CS1。
此外，例如，第二转换信号CS2的第三图案可以是拜耳RGB图案。也就是说，由应用处理器300使用的第二转换信号CS2的图案可以是拜耳RGB图案。
也就是说，图像信号IS和第一转换信号CS1的图案类型不受限制，并且可根据设计被改变。另一方面，第二转换信号CS2的图案可以是固定的。然而，根据公开的实施例不限于此，并且第二转换信号CS2也可被设计为具有不同的图案。
在下文中，将参照图19描述根据一些其他示例实施例的图像感测系统2。
图19是根据一些其他示例实施例的图像感测系统的框图。为了简化描述，可概述或省略参照图1至图18进行的描述的冗余部分。
参照图19，图像感测系统2可包括图像传感器100、第一图像信号处理器200和应用处理器300。第一图像信号处理器200可包括第一转换器210，并且第二图像信号处理器310可包括第二转换器220。
也就是说，在图像感测系统2中，与参照图1至图18描述的图像感测系统1不同，第二转换器220可被包括在应用处理器300中。也就是说，通过第二转换器220将第一转换信号CS1转换为第二转换信号CS2的处理可通过应用处理器300来实现。
与根据第一图像信号处理器200的设计的改变而改变的第一转换器210的操作不同，第二转换器220的操作可不改变。也就是说，第二转换器220可被包括在应用处理器300中，使得第二转换器220的设计可不被改变。此外，由于应用处理器300的性能可高于第一图像信号处理器200的性能，因此当通过应用处理器300实现从第一转换信号CS1到第二转换信号CS2的转换时，可进一步提高图像感测系统2的性能。
在下文中，将参照图20描述根据一些其他示例实施例的图像感测系统3。
图20是根据一些其他示例实施例的图像感测系统的框图。为了简化描述，可概述或省略参照图1至图18进行的描述的冗余部分。
参照图20，第一转换器210和第二转换器220可被包括在应用处理器300中。也就是说，图20可不包括应用处理器300外部的第一图像信号处理器200。例如，第一图像信号处理器200可被包括在应用处理器300(例如，应用处理器300的子处理器)中。
第一转换器210和第二转换器220的操作可通过应用处理器300来实现。例如，将图像信号IS转换为第一转换信号CS1的操作和将第一转换信号CS1转换为第二转换信号CS2的操作可通过应用处理器300来实现。
由于应用处理器300的性能可高于现有的第一图像信号处理器200的性能，因此当通过应用处理器300实现从图像信号IS到第一转换信号CS1的转换和从第一转换信号CS1到第二转换信号CS2的转换时，可进一步提高图像感测系统3的性能。
在下文中，将参照图21描述根据一些其他示例实施例的图像感测系统4。
图21是根据一些其他示例实施例的图像感测系统的框图。为了简化描述，可概述或省略参照图1至图18进行的描述的冗余部分。
参照图21，图像感测系统4可包括图像传感器100、图像传感器500、第一图像信号处理器200和应用处理器300。
图像传感器500可包括像素阵列PA'和逻辑电路区域LC'。图像信号IS'可从逻辑电路区域LC'被发送到应用处理器300的第二图像信号处理器310。在这种情况下，图像信号IS'可在不经过第一图像信号处理器200的情况下被发送到应用处理器300。
例如，包括在像素阵列PA'中的滤色器可具有RGB拜耳图案。也就是说，从图像传感器500输出的图像信号IS'可对应于RGB拜耳图案。也就是说，与从图像传感器100输出、通过第一图像信号处理器200转换为第二转换信号CS2并提供给应用处理器300的图像信号IS不同，图像信号IS'可被直接提供给应用处理器300。也就是说，对应于图像信号IS'的图案可与对应于第二转换信号CS2的图案相同。
因此，图像信号IS'的图像处理可在不需要转换处理的情况下，通过第二图像信号处理器310来执行。在一些实施例中，包括在像素阵列PA'中的滤色器可具有RGB四像素合一图案，并且第一转换器210可被包括在第一图像信号处理器200中，第二转换器220可被包括在应用处理器300中。在这种情况下，从图像传感器500输出的图像信号IS'可对应于RGB四像素合一图案。应用处理器300可通过将图像信号IS'和第一转换信号CS1分别转换为具有RGB拜耳图案的图像信号来执行图像处理。
在下文中，将参照图22描述根据一些其他示例实施例的图像感测系统5。
图22是根据一些其他示例实施例的图像感测系统的框图。为了简化描述，可概述或省略参照图1至图18进行的描述的冗余部分。
参照图22，图像感测系统5可包括第一图像传感器501、第二图像传感器502、第三图像传感器503、图像信号处理器(ISP1_1)201、图像信号处理器(ISP1_2)202、图像信号处理器(ISP1_3)203和应用处理器300。
第一图像传感器501、第二图像传感器502和第三图像传感器503可与图像传感器100相同，并且图像信号处理器201、图像信号处理器202和图像信号处理器203可与第一图像信号处理器200相同(例如，如图6中所示，第一图像信号处理器200包括第一转换器210和第二转换器220)。
图像信号处理器201可将通过对从第一图像传感器501提供的图像信号IS1进行转换而获得的第二转换信号CS2_1提供给应用处理器300。图像信号处理器202可将通过对从第二图像传感器502提供的图像信号IS2进行转换而获得的第二转换信号CS2_2提供给应用处理器300。图像信号处理器203可将通过对从第三图像传感器503提供的图像信号IS3进行转换而获得的第二转换信号CS2_3提供给应用处理器300。
这里，图像信号IS1、图像信号IS2和图像信号IS3可全部对应于不同的图案。此外，第二转换信号CS2_1、第二转换信号CS2_2和第二转换信号CS2_3可全部对应于相同的图案。也就是说，即使当从第一图像传感器501、第二图像传感器502和第三图像传感器503中的每个输出的信号对应于不同的图案时，第二转换信号CS2_1、第二转换信号CS2_2和第二转换信号CS2_3也可全部对应于相同的图案。在图22中，PA1和LC1、PA2和LC2、以及PA3和LC3可分别表示第一图像传感器501、第二图像传感器502以及第三图像传感器503的像素阵列和逻辑电路区域。
在下文中，将参照图23描述根据一些其他示例实施例的图像感测系统6。
图23是根据一些其他示例实施例的图像感测系统的框图。为了简化描述，可概述或省略参照图1至图18进行的描述的冗余部分。
参照图23，图像感测系统6可包括图像传感器504、图像传感器505、子图像信号处理器(SUB_ISP4)510、子图像信号处理器(SUB_ISP5)511、第一图像信号处理器200、第一确定器520、第二确定器521和应用处理器300。图像传感器504和图像传感器505可与图像传感器100相同。
子图像信号处理器510可对从图像传感器504提供的图像信号IS4执行图像处理。也就是说，子图像信号处理器510可将执行了图像处理的图像信号IS4提供给应用处理器300。
子图像信号处理器511可对从图像传感器505提供的图像信号IS5执行图像处理。也就是说，子图像信号处理器511可将执行了图像处理的图像信号IS5提供给应用处理器300。
这里，子图像信号处理器510和子图像信号处理器511可执行参照图1至图18描述的从图像信号IS到第二转换信号CS2的转换。
这里，第一确定器520可确定从图像传感器504提供的图像信号IS4将被发送到子图像信号处理器510和第一图像信号处理器200中的哪一个。例如，除非图像信号IS4需要过多的图像处理，否则第一确定器520可将图像信号IS4提供给第一图像信号处理器200。
仅当不从图像传感器505提供图像信号IS5时，第二确定器521可将通过第一图像信号处理器200转换的第二转换信号CS2发送到子图像信号处理器511。也就是说，第二转换信号CS2可通过子图像信号处理器511进行图像处理。
当图像传感器504被包括在前置相机模块中并且图像传感器505被包括在后置相机模块中时，子图像信号处理器510的性能可能不高于子图像信号处理器511的性能。因此，仅当不从图像传感器505提供图像信号IS5时，通过将通过对图像信号IS4进行转换而获得的第二转换信号CS2发送到子图像信号处理器511，可提高图像感测系统6的性能。在图23中，PA4和LC4、以及PA5和LC5可分别表示图像传感器504以及图像传感器505的像素阵列和逻辑电路区域。
在下文中，将参照图24描述根据一些其他示例实施例的电子装置1000。
图24是示出根据一些示例实施例的包括多相机模块的电子装置的框图。
参照图24，电子装置1000可包括相机模块组1100、应用处理器1200、电源管理集成电路(PMIC)1300和外部存储器1400。例如，电子装置可包括移动通信终端(诸如，智能电话和平板计算机)。
相机模块组1100可包括第一相机模块至第三相机模块1100a、1100b和1100c。在一个示例实施例中，相机模块组1100被示出为包括三个相机模块1100a、1100b和1100c，但不限于此。在一些实施例中，相机模块组1100可被实现为仅包括两个相机模块，或者包括n(n是4或更多的自然数)个相机模块。在一个示例中，第一相机模块至第三相机模块1100a、1100b和1100c可经由信号线SSL彼此连接。
在相机模块1100a、1100b和1100c之中，至少两个相机模块(例如，相机模块1100b和1100c)可具有不同的视场(视角)。在这种情况下，第一相机模块至第三相机模块1100a、1100b和1100c之中的至少两个相机模块(例如，1100b和1100c)的光学镜头可彼此不同。
在一些实施例中，第一相机模块至第三相机模块1100a、1100b和1100c可具有不同的视角。例如，第一相机模块1100a可以是长焦相机(tele camera)，第二相机模块1100b可以是广角相机，并且第三相机模块1100c可以是超广角相机。在这种情况下，多个相机模块1100a、1100b和1100c中的每个的光学镜头可彼此不同。
在一些实施例中，第一相机模块至第三相机模块1100a、1100b和1100c之中的一个相机模块(例如，1100b)可以是包括棱镜和光路折叠元件(OPFE)的折叠镜头形式的相机模块，并且其他相机模块(例如，1100a和1100c)可不包括棱镜和OPFE并且可以是垂直型相机模块，但不限于此，并且其他相机模块(例如，1100a和1100c)可以以不同的形式和组合被实现。
在一些实施例中，第一相机模块至第三相机模块1100a、1100b和1100c之中的一个相机模块(例如，相机模块1100a)可以是使用例如红外线(IR)提取深度信息的垂直型的深度相机。在这种情况下，应用处理器1200可将从深度相机提供的图像数据与从另外的相机模块(例如，相机模块1100b或1100c)提供的图像数据合并，以生成三维(3D)深度图像。
在一个示例实施例中采用的第一相机模块至第三相机模块1100a、1100b和1100c可被设置为彼此物理分离。具体地，一个图像传感器的感测区域可不被多个相机模块1100a、1100b和1100c划分和使用，但是第一相机模块至第三相机模块1100a、1100b和1100c中的每个可被设置有独立的图像传感器。第一相机模块至第三相机模块1100a、1100b、1100c中的一个的图像传感器可具有与第一相机模块至第三相机模块1100a、1100b、1100c中的另一个的图像传感器的像素阵列结构不同的像素阵列结构。
此外，第一相机模块至第三相机模块1100a、1100b和1100c中的一个相机模块可包括第一图像传感器，第一图像传感器具有由红色(R)像素、绿色(G)像素和蓝色(B)像素构成的RGB像素阵列，并且剩余的相机模块可包括由RGB像素和白色(W)像素构成的RGBW像素阵列。
在一个示例实施例中，第一相机模块1100a和第三相机模块1100c可包括具有RGB像素阵列的图像传感器，并且第二相机模块1100b可包括具有RGBW像素阵列的图像传感器。
应用处理器1200可包括图像处理器1210、存储器控制器1220和内部存储器1230。应用处理器1200和多个相机模块1100a、1100b和1100c可被单独实现为单独的半导体芯片。
图像处理器1210可包括第一子图像处理器至第三子图像处理器1212a、1212b和1212c、图像生成器1214和相机模块控制器1216。图像处理器1210可包括第一子图像处理器至第三子图像处理器1212a、1212b和1212c，第一子图像处理器至第三子图像处理器1212a、1212b和1212c的数量对应于第一相机模块至第三相机模块1100a、1100b、1100c的数量。
从第一相机模块1100a生成的图像数据可通过图像信号线ISLa被提供给第一子图像处理器1212a，从第二相机模块1100b生成的图像数据可通过图像信号线ISLb被提供给第二子图像处理器1212b，并且从第三相机模块1100c生成的图像数据可通过图像信号线ISLc被提供给第三子图像处理器1212c。例如，可使用基于移动工业处理器接口(MIPI)的相机串行接口(CSI)来执行这种图像数据传输。
另一方面，在一些实施例中，与多个相机模块对应的多个子图像处理器可被实现为一个子图像处理器。例如，虽然在图24中第一子图像处理器至第三子图像处理器1212a、1212b和1212c被示出为单独的块，但是第一子图像处理器至第三子图像处理器1212a、1212b和1212c可通过被集成到一个子图像处理器中来实现。此外，第一子图像处理器1212a和第三子图像处理器1212c可被集成到一个子图像处理器中，并且从第一相机模块1100a和第三相机模块1100c提供的图像数据可通过作为选择元件的复用器(MUX)1213被选择，然后被提供给集成的子图像处理器。在这种情况下，子图像处理器1212b可不被集成，并且可被提供来自第二相机模块1100b的图像数据。
此外，在一些实施例中，从第一相机模块1100a生成的图像数据可通过图像信号线ISLa被提供给第一子图像处理器1212a，从第二相机模块1100b生成的图像数据可通过图像信号线ISLb被提供给第二子图像处理器1212b，并且从第三相机模块1100c生成的图像数据可通过图像信号线ISLc被提供给第三子图像处理器1212c。此外，通过第二子图像处理器1212b处理的图像数据可被直接提供给图像生成器1214，但是通过第一子图像处理器1212a处理的图像数据和通过第三子图像处理器1212c处理的图像数据中的任何一个可通过复用器1213被选择，然后被提供给图像生成器1214。
第一子图像处理器1212a至第三子图像处理器1212b和1212c可分别对从第一相机模块至第三相机模块1100a、1100b、1100c提供的图像数据执行图像处理(诸如，坏像素校正、3A(自动聚焦校正、自动白平衡、自动曝光)调节、降噪、锐化、伽马控制和马赛克重排)。
在一些实施例中，马赛克重排信号处理可在相机模块1100a、1100b和1100c中的每个中被执行，然后被提供给第一子图像处理器至第三子图像处理器1212a、1212b和1212c。由第一子图像处理器至第三子图像处理器1212a、1212b和1212c处理的图像数据可被提供给图像生成器1214。例如，根据公开的第一图像信号处理器200可被包括在相机模块1100a、1100b、1100c中，并且第一图像信号处理器200可向第一子图像处理器至第三子图像处理器1212a、1212b、1212c提供处理后的图像数据。
图像生成器1214可根据图像生成信息或模式信号，使用从子图像处理器1212a、1212b和1212c中的每个提供的图像数据来生成目标图像。
具体地，图像生成器1214可通过根据图像生成信息或模式信号合并从子图像处理器1212a、1212b和1212c生成的图像数据中的至少一些，来生成输出图像。此外，图像生成器1214可通过根据图像生成信息或模式信号选择从第一子图像处理器至第三子图像处理器1212a、1212b和1212c生成的图像数据中的任何一个，来生成目标图像。模式信号指示多个不同模式之中的模式，并且可由用户选择或由外部环境确定。
多个不同模式可通过相机模块控制器1216以及图像生成器1214，来控制第一相机模块至第三相机模块1100a、1100b、1100c。从相机模块控制器1216提供给第一相机模块至第三相机模块1100a、1100b、1100c的控制信号可包括根据选择的模式的信息。
在一些实施例中采用的模式可包括多个静止图像模式和多个视频模式，并且根据示例实施例的电子装置1000的相机模块组1100可根据多个模式之中的选择的模式的信号而不同地操作。
在一些示例实施例中，多个模式可包括第一静止图像模式至第三静止图像模式以及第一视频模式和第二视频模式。多种模式可被描述为作为广角相机的第二相机模块1100b的根据相应的控制信号的操作(具体地，输出)。与第一相机模块1100a和第三相机模块1100c的图像传感器不同，第二相机模块1100b可包括具有RGBW像素阵列的图像传感器。
另一方面，图像生成信息可包括例如变焦信号或变焦因子。变焦信号可以是例如从用户选择的信号。
当图像生成信息是变焦信号(或变焦因子)，并且第一相机模块至第三相机模块1100a、1100b和1100c具有不同的视场(视角)时，图像生成器1214可根据变焦信号的类型执行不同的操作。
例如，当变焦信号是第一信号时，可通过使用从第一子图像处理器1212a输出的图像数据和从第三子图像处理器1212c输出的图像数据之中的从第一子图像处理器1212a输出的图像数据以及从第二子图像处理器1212b输出的图像数据，来生成输出图像。
当变焦信号是与第一信号不同的第二信号时，图像生成器1214可通过使用从第一子图像处理器1212a输出的图像数据和从第三子图像处理器1212c输出的图像数据之中的从第三子图像处理器1212c输出的图像数据以及从第二子图像处理器1212b输出的图像数据，来生成输出图像。
当变焦信号是与第一信号和第二信号不同的第三信号时，图像生成器1214可不执行图像数据合并，并且可通过选择从子图像处理器1212a、1212b和1212c中的每个输出的图像数据中的任何一个来生成输出图像。除了上述生成处理之外，可不同地修改和实现根据其他变焦信号在不同生成处理中处理图像数据的方法。
根据模式的选择的相机控制信号可由相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每个。从相机模块控制器1216生成的控制信号可通过彼此分离的控制信号线CSLa、CSLb和CSLc被提供给相应的第一相机模块至第三相机模块1100a、1100b、1100c。
可根据模式信号或包括变焦信号的图像生成信息将第一相机模块至第三相机模块1100a、1100b、1100c中的任何一个(例如，相机模块1100b)指定为主相机，并且可将剩余的相机模块(例如，相机模块1100a和1100c)指定为从相机。这样的信息(例如，模式信号或包括变焦信号的图像生成信息)可被包括在将通过彼此分离的控制信号线CSLa、CSLb和CSLc提供给相应的第一相机模块至第三相机模块1100a、1100b、1100c的控制信号中。
PMIC 1300可向第一相机模块至第三相机模块1100a、1100b和1100c中的每个供应电力(诸如，电源电压)。例如，PMIC 1300可在应用处理器1200的控制下，通过电力信号线PSLa向第一相机模块1100a供应第一电力，通过电力信号线PSLb向第二相机模块1100b供应第二电力，并且通过电力信号线PSLc向第三相机模块1100c供应第三电力。
PMIC 1300可响应于来自应用处理器1200的电力控制信号PCON而生成与第一相机模块至第三相机模块1100a、1100b、1100c中的每个对应的电力，并且还可调节电力电平。电力控制信号PCON可包括用于多个相机模块1100a、1100b和1100c的每个的操作模式的电力调节信号。例如，操作模式可包括低功率模式，并且在这种情况下，电力控制信号PCON可包括关于在低功率模式下操作的相机模块和设置的电力电平的信息。提供给相应的第一相机模块至第三相机模块1100a、1100b和1100c的电力的电平可相同或不同。此外，可动态地改变电力的电平。
根据示例实施例，在此描述的组件、元件、模块和单元中的至少一个可被实现为执行以上描述的各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件和单元中的至少一个可使用可通过一个或多个微处理器或其他控制设备的控制来执行相应的功能的直接电路结构(诸如，存储器、处理器、逻辑电路、查找表等)。此外，这些组件、元件和单元中的至少一个可具体地由包含用于执行指定的逻辑功能的一个或多个可执行指令并且由一个或多个微处理器或其他控制设备来执行的模块、程序或代码的一部分来实现。此外，这些组件、元件和单元中的至少一个还可包括处理器(诸如，执行相应的功能的中央处理器(CPU))、微处理器等，或者可由处理器(诸如，执行相应的功能的中央处理器(CPU))、微处理器等来实现。这些组件、元件和单元中的两个或更多个可被组合成执行组合的组件、元件和单元中的两个或更多个的所有操作或功能的一个单个组件、元件或单元。此外，这些组件、元件和单元中的至少一个的至少部分功能可由这些组件、元件和单元中的另一个来执行。此外，虽然框图中未示出总线，但是组件、元件和单元之间的通信可通过总线来执行。以上示例实施例的功能性方面可以以在一个或多个处理器上执行的算法实现。此外，由块或处理操作表示的组件、元件和单元可采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的现有技术。
虽然已经参照公开的示例实施例具体示出和描述了公开，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (20)

1.一种图像感测系统，包括：
相机模块；以及
应用处理器，电连接到相机模块，
其中，相机模块包括：
图像传感器，包括像素阵列，像素阵列包括具有第一图案的滤色器，图像传感器被配置为感测入射在像素阵列上的光以生成具有第一图案的第一图案图像信号，
第一转换器，被配置为将第一图案图像信号转换为具有与第一图案不同的第二图案的第二图案图像信号，以及
第二转换器，被配置为将第二图案图像信号转换为具有与第一图案和第二图案不同的第三图案的第三图案图像信号，
其中，应用处理器被配置为对第三图案图像信号执行图像处理。
2.如权利要求1所述的图像感测系统，其中，第三图案包括RGB拜耳图案。
3.如权利要求2所述的图像感测系统，其中，第一图案包括RGBW拜耳图案，并且第二图案包括RGB四像素合一图案。
4.如权利要求2所述的图像感测系统，其中，第一图案包括RGB九像素合一图案，并且第二图案包括RGB四像素合一图案。
5.如权利要求1所述的图像感测系统，其中，具有第一图案的滤色器包括白色滤色器、红色滤色器、绿色滤色器和蓝色滤色器，并且滤色器被二维地布置。
6.如权利要求1至5中的任一项所述的图像感测系统，其中，像素阵列包括设置在滤色器上的微透镜，
其中，微透镜覆盖滤色器。
7.如权利要求1至5中的任一项所述的图像感测系统，其中，第一转换器和第二转换器被配置为将图像传感器电连接到应用处理器，并且第一转换器和第二转换器被设置在应用处理器外部。
8.如权利要求1至5中的任一项所述的图像感测系统，其中，第一转换器包括：
坏像素校正模块，被配置为对第一图案图像信号执行坏像素校正；以及
转换模块，被配置为将已执行了坏像素校正的第一图案图像信号转换为第二图案图像信号。
9.如权利要求1至5中的任一项所述的图像感测系统，其中，第二转换器包括：
坏像素校正模块，被配置为对第二图案图像信号执行坏像素校正；以及
马赛克重排模块，被配置为将已执行了坏像素校正的第二图案图像信号转换为第三图案图像信号。
10.一种图像感测系统，包括：
图像传感器，包括像素阵列，像素阵列包括具有第一图案的滤色器，图像传感器被配置为感测入射在像素阵列上的光以生成具有第一图案的第一图案图像信号；
图像信号处理器，被配置为将第一图案图像信号转换为具有第二图案的第二图案图像信号，第二图案不同于第一图案；以及
应用处理器，被配置为对第二图案图像信号执行第一图像处理，
其中，第一图案图像信号包括第一像素值、第二像素值和第三像素值，第一像素值对应于第一颜色，并且第二像素值和第三像素值对应于第二颜色，
其中，图像信号处理器还被配置为基于第一像素值和第二像素值将第三像素值转换为第四像素值，第四像素值对应于第一颜色，
其中，第二图案图像信号包括第一像素值和第四像素值。
11.如权利要求10所述的图像感测系统，其中，第一颜色包括红色、绿色和蓝色中的一者，并且第二颜色包括白色。
12.如权利要求10所述的图像感测系统，其中，基于第一像素值和第二像素值将第三像素值转换为第四像素值的步骤包括：计算第三像素值周围的与第二颜色对应的多个像素值的中值作为第一中值，计算与第一颜色对应的多个像素值的中值作为第二中值，并且使用第一中值以及第二中值将第三像素值转换为第四像素值，
其中，与第二颜色对应的多个像素值包括第二像素值，并且与第一颜色对应的多个像素值包括第一像素值。
13.如权利要求12所述的图像感测系统，其中，第四像素值与第三像素值和第二中值成正比，并且与第一中值成反比。
14.如权利要求10所述的图像感测系统，其中，图像信号处理器还被配置为：将与第一图案图像信号中的坏像素对应的像素值替换为与坏像素的颜色对应的像素的像素值的中值。
15.如权利要求10至14中的任一项所述的图像感测系统，其中，应用处理器还被配置为将：第二图案图像信号转换为具有与第一图案和第二图案不同的第三图案的第三图案图像信号，并且对第三图案图像信号执行第二图像处理。
16.如权利要求10至14中的任一项所述的图像感测系统，其中，图像传感器和图像信号处理器被设置在相机模块中，
其中，应用处理器被设置在与相机模块分离的芯片中。
17.如权利要求10至14中的任一项所述的图像感测系统，其中，图像信号处理器被包括在应用处理器中。
18.如权利要求10至14中的任一项所述的图像感测系统，其中，图像传感器被设置在相机模块中，
其中，图像信号处理器被包括在子处理器中，子处理器被包括在应用处理器中。
19.一种图像感测系统，包括：
第一图像传感器，包括第一像素阵列，第一像素阵列包括具有第一图案的第一滤色器，第一图像传感器被配置为感测入射在第一像素阵列上的光以生成具有第一图案的第一图像信号；
第二图像传感器，包括第二像素阵列，第二像素阵列包括具有第二图案的第二滤色器，第二图像传感器被配置为感测入射在第二像素阵列上的光以生成具有第二图案的第二图像信号；
第一图像信号处理器，被配置为基于第一图像信号生成具有第二图案的第三图像信号；以及
第二图像信号处理器，被配置为对第三图像信号执行图像处理，并且对未被第一图像信号处理器处理的第二图像信号执行图像处理。
20.如权利要求19所述的图像感测系统，其中，第二图像信号处理器还被配置为：通过将第二图像信号和第三图像信号转换为具有第三图案的图像信号来执行图像处理，第三图案不同于第一图案和第二图案。
CN202111079288.2A 2020-09-15 2021-09-15 图像感测系统 Pending CN114189640A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0118081 2020-09-15
KR1020200118081A KR20220036014A (ko) 2020-09-15 2020-09-15 이미지 센싱 시스템

Publications (1)

Publication Number Publication Date
CN114189640A true CN114189640A (zh) 2022-03-15

Family

ID=80601067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111079288.2A Pending CN114189640A (zh) 2020-09-15 2021-09-15 图像感测系统

Country Status (3)

Country Link
US (2) US11729532B2 (zh)
KR (1) KR20220036014A (zh)
CN (1) CN114189640A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102661114B1 (ko) * 2020-11-10 2024-04-25 삼성전자주식회사 카메라 모듈 검사 장치, 카메라 모듈 검사 방법 및 이미지 생성 장치
EP4307702A1 (en) * 2022-05-31 2024-01-17 Samsung Electronics Co., Ltd. Electronic device including image sensor and operating method thereof

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2647018A1 (en) 1999-12-28 2001-07-05 Sony Corporation Signal processing device and method, and recording medium
JP2008306379A (ja) * 2007-06-06 2008-12-18 Toshiba Corp 固体撮像素子
JP5326943B2 (ja) 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR20110029217A (ko) 2009-09-15 2011-03-23 삼성전자주식회사 내부 변환을 통하여 ｒｇｂ베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치
CN111223881B (zh) * 2012-03-30 2023-04-21 株式会社尼康 拍摄元件以及拍摄装置
JP6020556B2 (ja) 2012-04-24 2016-11-02 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101332689B1 (ko) 2012-04-30 2013-11-25 클레어픽셀 주식회사 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법
KR102069533B1 (ko) 2013-05-03 2020-01-28 삼성전자주식회사 이미지 신호 처리장치 및 방법과 이를 이용한 영상 처리 시스템
CN104410849B (zh) 2014-10-21 2016-06-29 深圳市华星光电技术有限公司 图像数据处理方法及装置
JP6643250B2 (ja) * 2014-12-18 2020-02-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム
JP5935196B1 (ja) * 2015-07-08 2016-06-15 Eizo株式会社 画像処理装置、表示装置及びプログラム
KR102329440B1 (ko) 2015-10-01 2021-11-19 에스케이하이닉스 주식회사 칼라 필터 어레이의 변환 방법 및 장치
KR20180067052A (ko) * 2016-12-12 2018-06-20 삼성전자주식회사 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템
KR20210001324A (ko) * 2019-06-27 2021-01-06 삼성전자주식회사 인공 신경망 모델 및 이를 포함하는 전자 장치
JP2021141446A (ja) * 2020-03-05 2021-09-16 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
US20220086381A1 (en) 2022-03-17
US11729532B2 (en) 2023-08-15
KR20220036014A (ko) 2022-03-22
US20230336890A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
US9380243B2 (en) Image sensor for outputting RGB bayer signal through internal conversion and image processing apparatus including the same
CN102110699B (zh) 图像传感器模块、其制造方法和包括其的图像处理系统
US20230336890A1 (en) Image sensing system for converting an image signal to have a specific pattern
WO2021223590A1 (zh) 图像传感器、控制方法、摄像头组件和移动终端
US20090230287A1 (en) Stacked image sensor with shared diffusion regions in respective dropped pixel positions of a pixel array
US20220336508A1 (en) Image sensor, camera assembly and mobile terminal
CN113824908A (zh) 图像感测器件和包括图像感测器件的电子设备
KR20190008057A (ko) 이미지 신호 프로세서, 이미지 처리 시스템 및 이미지 센서의 비닝 방법
JP2022008235A (ja) イメージセンサ、ビニング方法、及びイメージ処理システム
US20220165765A1 (en) Image sensor and image sensing system
US11394935B2 (en) Pixel array for reducing image information loss and image sensor including the same
CN114070972A (zh) 包括图像传感器的电子设备
US20220294999A1 (en) Image sensing apparatus and image binning method thereof
JP7298020B2 (ja) 画像キャプチャ方法、カメラアセンブリ及び移動端末
US11622093B1 (en) Pixel array for reducing image information loss and image sensor including the same
US20230023853A1 (en) Image sensor, image processing apparatus, and image processing method
US20240186349A1 (en) Image sensing device and method of image signal processing
US11330201B2 (en) Light sensing circuit and image sensor including the same
US20220279150A1 (en) Image sensor, control method, camera component and mobile terminal
CN115412690A (zh) 图像传感器和图像信号处理方法
KR20230135389A (ko) 이미지 센싱 장치 및 그 이미지 신호 프로세싱 방법
CN116582736A (zh) 图像处理装置和使用图像处理装置的图像处理方法
CN115460366A (zh) 图像装置、图像传感器以及图像传感器的操作方法
KR20220144087A (ko) 이미지 센서 및 이미지 센싱 시스템
KR20220166626A (ko) 픽셀 어레이 및 이를 포함하는 이미지 센서

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination