CN110177226B - 图像感测装置 - Google Patents

图像感测装置 Download PDF

Info

Publication number
CN110177226B
CN110177226B CN201811054128.0A CN201811054128A CN110177226B CN 110177226 B CN110177226 B CN 110177226B CN 201811054128 A CN201811054128 A CN 201811054128A CN 110177226 B CN110177226 B CN 110177226B
Authority
CN
China
Prior art keywords
image
pixel
values
value
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811054128.0A
Other languages
English (en)
Other versions
CN110177226A (zh
Inventor
张徹存
金泰瓒
片昌喜
金秀民
朴成姬
金钟宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN110177226A publication Critical patent/CN110177226A/zh
Application granted granted Critical
Publication of CN110177226B publication Critical patent/CN110177226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

图像感测装置。一种图像感测装置包括图像传感器，所述图像传感器包括第一子像素阵列和第二子像素阵列。所述第一子像素阵列包括具有第一滤色器的多个第一像素，并且所述第二子像素阵列包括具有第二滤色器的多个第二像素和用于相位检测的多个第三像素。所述图像传感器可以根据所述第一像素生成第一像素值，根据所述第二像素生成第二像素值并且根据所述第三像素生成第三像素值。所述图像感测装置还包括图像处理器，所述图像处理器基于所述第一像素值来生成与所述第一子像素阵列对应的第一图像值，并且基于所述第一像素值、所述第二像素值和所述第三像素值来生成与所述第二子像素阵列对应的第二图像值。

Description

图像感测装置
技术领域
该专利文献中公开的技术和实现方式总体上涉及包括图像感测装置的半导体器件和集成电路。
背景技术
图像感测装置是利用半导体的感光性质来捕获图像的传感器。图像感测装置通常被分为电荷耦合器件(CCD)图像传感器和互补型金属氧化物半导体(CMOS)图像传感器。CMOS图像传感器是基于CMOS集成电路制造工艺制造的。CMOS图像传感器的该特征使得能够将模拟控制电路和数字控制电路二者集成在单个集成电路(IC)中，从而使CMOS图像传感器成为最广泛使用类型的图像传感器。
发明内容
除了其它方面以外，该专利文献还提供了能够对在其中混有图像像素和相位检测像素的结构中处理图像时由相位检测像素所生成的像素值进行补偿的图像感测装置的设计。
在一个示例方面，所公开的技术能够被实现为提供一种图像感测装置，该图像感测装置包括：图像传感器，该图像传感器包括第一子像素阵列和第二子像素阵列，所述第一子像素阵列包括多个第一像素，所述多个第一像素各自将光转换成像素信号并且包括允许第一颜色的光被每个第一像素接收的第一滤色器，所述第二子像素阵列包括(1)多个第二像素和(2)多个第三像素这二者，所述多个第二像素各自将光转换成像素信号并且包括允许第二颜色的光被每个第二像素接收的不同的第二滤色器，所述多个第三像素捕获用于相位检测的光，以提供图像相位信息，所述图像传感器根据所述第一像素生成第一像素值，根据所述第二像素生成第二像素值并且根据所述第三像素生成第三像素值；以及图像处理器，该图像处理器被联接成从所述图像传感器接收像素信号并且被构造成处理所接收到的像素信号，以基于所述第一像素值来生成与所述第一子像素阵列对应的第一图像值并且基于所述第一像素值、所述第二像素值和所述第三像素值来生成与所述第二子像素阵列对应的第二图像值。
可以通过组合所述第一像素值来生成所述第一图像值，并且可以通过从通过组合所述第二像素值和所述第三像素值获得的图像值中去除基于所述第一像素值而估计的用于表示所述第三像素值的第四像素值来生成所述第二图像值。
在另一个示例方面，所公开的技术能够被实现为提供一种图像感测装置，该图像感测装置包括：图像传感器，该图像传感器包括像素单元的第一单位像素阵列和第二单位像素阵列以及像素单元的第三单位像素阵列，所述第一单位像素阵列和所述第二单位像素阵列只具有感测入射光以生成表示图像的成像信号的图像像素，所述第三单位像素阵列具有感测入射光以生成表示所述图像的成像信号的图像像素和感测入射光以检测所述图像的相位信息的相位检测像素这二者，并且所述图像传感器根据所述第一单位像素阵列生成第一像素值，根据所述第二单位像素阵列生成第二像素值并且根据所述第三单位像素阵列生成第三像素值；以及图像处理器，该图像处理器被联接成从所述图像传感器接收像素信号并且被构造成处理所接收到的像素信号，以(1)基于所述第一像素值来生成与所述第一单位像素阵列对应的第一图像值，(2)基于所述第二像素值来生成与所述第二单位像素阵列对应的第二图像值并且(3)基于所述第一像素值中的一部分像素值、所述第二像素值中的一部分像素值和所述第三像素值来生成与所述第三单位像素阵列对应的第三图像值，其中，所述第一单位像素阵列和所述第二单位像素阵列中的每一个包括按致使每个图像像素检测第一颜色的光的第一颜色图案布置的图像像素，并且所述第三单位像素阵列包括按致使每个图像像素检测不同的第二颜色的光的第二颜色图案布置的相位检测像素和图像像素。
所述图像处理器可以包括：组合块，该组合块被联接并构造成组合来自所述像素单元的所述第一像素值、所述第二像素值和所述第三像素值，以生成所述第一图像值、所述第二图像值和所述第三图像值；提取块，该提取块与所述组合块联接并且被构造成提取所述第一图像值中的一部分图像值、所述第二图像值中的一部分图像值和所述第三图像值；校正块，该校正块与所述提取块联接并且被构造成基于所述第一图像值中的一部分图像值、所述第二图像值中的一部分图像值和所述第三图像值中的一部分图像值来生成校正值，以补偿从所述第三图像值获得的目标值中的所述相位检测像素的像素值；以及图像处理块，该图像处理块与所述组合块和所述校正块联接并且被构造成用所述校正值替换所述目标值。
在另一个示例方面，所公开的技术能够被实现为提供一种图像感测装置，该图像感测装置包括：第五子像素阵列，该第五子像素阵列包括一个或更多个相位检测像素和具有第二滤色器的一个或更多个第五图像像素；第一子像素阵列，该第一子像素阵列与所述第五子像素阵列的顶部相邻地设置并且包括第一图像像素，所述第一图像像素各自具有第一滤色器；第二子像素阵列，该第二子像素阵列与所述第五子像素阵列的底部相邻地设置并且包括第二图像像素，所述第二图像像素各自具有所述第一滤色器；第三子像素阵列，该第三子像素阵列与所述第五子像素阵列的左部相邻地设置并且包括第三图像像素，所述第三图像像素各自具有所述第一滤色器；第四子像素阵列，该第四子像素阵列与所述第五子像素阵列的右部相邻地设置并且包括第四图像像素，所述第四图像像素各自具有所述第一滤色器；以及图像处理器，该图像处理器被联接成从所述第一子像素阵列、所述第二子像素阵列、所述第三子像素阵列、所述第四子像素阵列和所述第五子像素阵列接收信号，并且被构造成(1)基于从所述第一子像素阵列生成的第一像素值来生成第一图像值，(2)基于从所述第二子像素阵列生成的第二像素值来生成第二图像值，(3)基于从所述第三子像素阵列生成的第三像素值来生成第三图像值，(4)基于从所述第四子像素阵列生成的第四像素值来生成第四图像值并且(5)基于所述第一图像值、所述第二图像值、所述第三图像值和所述第四图像值以及从所述第五子像素阵列生成的第五像素值来生成第五图像值。
所述相位检测像素中的每一个可以具有所述第一滤色器。
所述第一滤色器可以包括绿色滤色器，并且所述第二滤色器可以包括蓝色滤色器或红色滤色器。
在附图、说明书和权利要求中详细地描述所公开的技术的那些和其它方面以及它们的实现方式示例。
附图说明
图1是例示根据所公开的技术的实施方式的图像感测装置的示例的框图。
图2是例示图1中示出的图像传感器中包括的像素阵列的示例的示图。
图3是例示图1中示出的图像处理器的示例的框图。
图4是例示图3中示出的图像处理器的示例操作的一组示图。
具体实施方式
所公开的图像感测技术可以被实现为提供一种包括图像感测装置的电子装置，该图像感测装置通过补偿由于用于收集相位信息的相位检测像素而偏离原始图像值的像素值来生成更接近原始图像的图像值。所公开的图像传感器技术可以用于提供图像传感器阵列，该图像传感器阵列具有(1)成像像素和(2)相位差检测像素二者，所述成像像素用于捕获入射光以将对象或场景捕获或表示为彩色图像，所述相位差检测像素用于检测所捕获的图像或场景的相位以提供或促成自动聚焦并且用于提供所捕获的图像或场景的三维表示。在相位差检测像素的一些实现方式中，可以将两个不同的相位检测像素配对，以获得可以在处理后用于测量所检测的图像的相位或距离差以便在光学成像时进行自动聚焦或3D图像呈现的信号。采用该设计，成像像素和相位差检测像素在空间上分布在同一像素阵列中，因此，由于相位差检测像素被布置成在成像像素的包围中，在整个像素阵列的成像构造中，执行插值处理以对来自与相位差检测像素相邻的成像像素的像素信号进行处理或插值，从而生成用于相位检测像素的插值成像像素信号值。结果，通过图像传感器阵列将来自成像像素的像素信号和用于相位差检测像素的插值成像像素信号值进行组合，以构造所捕获的图像。
所公开的图像传感器阵列可以是基于包括例如互补型金属氧化物半导体(CMOS)图像传感器或CIS的各种半导体传感器结构的。CIS传感器可以包括成像像素的阵列，所述成像像素各自包括将接收到的光转换成电荷的光电传感器，其可以是光电门、光电二极管、光电晶体管、光电导体或能够产生光生电荷的感光结构。每个成像像素还可以包括用于储存光生电荷的电荷储存区，在一些实现方式中，电荷储存区可以被构造为浮置扩散区。可以在每个成像像素中包括附加电路，例如，用于将来自光电传感器的光生电荷传输到储存区的传输晶体管和用于在读出之后将电荷储存区中的电荷进行复位的复位电路。
在特定实现方式中，基于在同一传感器阵列中具有成像像素和相位差检测像素二者的所公开的技术可以用于减少或防止在相位差检测像素中的一个处接收到的光中的一些光不期望地泄漏到成像像素中的与相位差检测像素相邻的一个。
图1是例示根据所公开的技术的实施方式的图像感测装置100的示例的框图。
参照图1，图像感测装置100可以包括图像传感器110和图像处理器120。
图像传感器110包括用于生成与所感测的图像对应的像素值的成像感测像素的阵列。所述像素值可以指示由图像传感器110的像素所收集的并且构成像素所捕获的图像的信息。例如，所述像素值可以包括从图像传感器110所接收到的入射光转换而来的电荷值。
图像处理器120可以基于像素值来产生与所感测的图像对应的图像帧。例如，图像传感器110所接收到的入射光被转换成电压或电流，并且图像处理器120基于电压或电流产生图像帧。
图2是例示图1中示出的图像传感器110中包括的像素阵列的示例的示图。为了便于描述，图2示出了像素阵列的一部分。为了捕获彩色图像，用相应的滤色器覆盖成像感测像素，使得每个成像感测像素都被设计用于感测在其被指派的颜色标示下的特定指定颜色的光。各种滤色器图案可以用于进行彩色成像，并且拜耳(Bayer)颜色图案是具有50％绿色像素、25％红色像素和25％蓝色像素的常用的滤色器图案。图2中的具体示例示出了标记为用于红色成像像素的“R”、用于绿色成像像素的“G”和用于蓝色成像像素的“B”的彩色成像像素的像素布置。
参照图2中的具体示例，图像传感器110的像素阵列中的感测像素可以被设计为不同的称为“单位像素阵列”的颜色像素组，其中，每个像素组或单位像素阵列内的像素基于拜耳颜色图案被布置成具有50％绿色像素、25％红色像素和25％蓝色像素。具体地，图2中的示例示出了作为第一单位像素阵列111、第二单位像素阵列113和第三单位像素阵列115以及第四单位像素阵列117的图像传感器110的四个相邻的像素组，第一单位像素阵列111、第二单位像素阵列113和第三单位像素阵列115各自包括布置成第一颜色图案的4×4像素，该第一颜色图案具有4个相邻的蓝色像素、4个相邻的红色像素以及两个对角布置的4×4区域中的8个绿色像素，第四单位像素阵列117包括布置成第二颜色图案的4×4像素，该第二颜色图案包含在两个相邻的蓝色像素位置处的两个相位检测像素LPD和RPD。
第一单位像素阵列111可以包括基于拜耳颜色图案的各自包括2×2像素的第一子像素阵列、第二子像素阵列、第三子像素阵列和第四子像素阵列。第一子像素阵列、第二子像素阵列、第三子像素阵列和第四子像素阵列中的每一个可以包括具有相同滤色器(例如，绿色、蓝色或红色)的第一图像像素、第二图像像素、第三图像像素和第四图像像素。
例如，第一子像素阵列和第二子像素阵列可以在第一对角方向上布置，并且第三子像素阵列和第四子像素阵列可以在与第一对角方向交叉的第二对角方向上布置。第一子像素阵列和第二子像素阵列中的每一个可以包括具有绿色G0滤色器的第一图像像素、第二图像像素、第三图像像素和第四图像像素。第三子像素阵列可以包括具有红色R0滤色器的第一图像像素、第二图像像素、第三图像像素和第四图像像素，并且第四子像素阵列可以包括具有蓝色B0滤色器的第一图像像素、第二图像像素、第三图像像素和第四图像像素。
由于第二单位像素阵列113和第三单位像素阵列115像第一单位像素阵列111一样被布置成相同的颜色图案，因此省略了对其的详细描述。
第四单位像素阵列117可以包括各自包括2×2像素的第五子像素阵列、第六子像素阵列、第七子像素阵列和第八子像素阵列。由于第五子像素阵列、第六子像素阵列和第七子像素阵列被布置成分别与第一子像素阵列、第二子像素阵列和第三子像素阵列相同的颜色图案，因此省略了对其的详细描述。第八子像素阵列可以包括具有相同颜色图案的第五图像像素和第六图像像素以及用于自动聚焦的第一相位检测像素LPD和第二相位检测像素RPD。
例如，如图2中例示的，第五图像像素和第六图像像素可以沿着第八子像素阵列的顶侧布置，并且第一(或左“L”)相位检测像素LPD和第二(或右“R”)相位检测像素RPD可以沿着第八子像素阵列的底侧布置。虽然在图2中例示了第五图像像素和第六图像像素沿着第八子像素阵列的顶侧布置并且第一相位检测像素LPD和第二相位检测像素RPD沿着第八子像素阵列的底侧布置，但是第五图像像素和第六图像像素与第一相位检测像素LPD和第二相位检测像素RPD可以按不同的方式布置。在所公开的技术的另一个实施方式中，第五图像像素和第六图像像素可以沿着第八子像素阵列的底侧布置，并且第一相位检测像素LPD和第二相位检测像素RPD可以沿着第八子像素阵列的顶侧布置。在所公开的技术的另一个实施方式中，在第八子像素阵列中，第五图像像素和第六图像像素可以在第一对角方向上布置，并且第一相位检测像素LPD和第二相位检测像素RPD可以在与第一对角方向交叉的第二对角方向上布置。第五图像像素和第六图像像素可以具有蓝色B3滤色器。在所公开的技术的实现方式中，第一相位检测像素LPD和第二相位检测像素RPD可以具有绿色滤色器。
图3是例示图1中示出的图像处理器120的示例的框图。图4是例示图3中示出的图像处理器120的示例操作的一组示图。
参照图3和图4，图像处理器120可以包括组合块121、提取块123、校正块125和图像处理块127。
组合块121可以基于图像传感器110的每个子像素阵列所生成的像素值来按子像素阵列来生成图像值。在其中基于像素的滤色器对图像传感器110的多个像素进行分组的所公开的技术的实现方式中，可以通过对具有相同滤色器的像素的组所生成的所有电荷值进行求和来形成图像值。例如，组合块121可以组合第一单位像素阵列111、第二单位像素阵列113和第三单位像素阵列115中的每一个中包括的第一子像素阵列的像素值，以生成图像值G01、G03和G21，并且可以组合第一单位像素阵列111、第二单位像素阵列113和第三单位像素阵列115中的每一个中包括的第二子像素阵列的像素值，以生成图像值G10、G12和G30。组合块121还可以将第一单位像素阵列111、第二单位像素阵列113和第三单位像素阵列115中的每一个中包括的第三子像素阵列的像素值组合成图像值R11、R13和R31，并且可以将第一单位像素阵列111、第二单位像素阵列113和第三单位像素阵列115中的每一个中包括的第四子像素阵列的像素值组合成图像值B00、B02和B20。另外，组合块121可以将第四单位像素阵列117中包括的第五子像素阵列的像素值组合成图像值G23，并且可以将第四单位像素阵列117中包括的第六子像素阵列的像素值组合成图像值G32。组合块121还可以将第四单位像素阵列117中包括的第七子像素阵列的像素值组合成图像值R33，并且可以将第四单位像素阵列117中包括的第八子像素阵列的像素值组合成图像值X。下文中，图像值X被称为“目标值X”。
第五图像像素的像素值和第六图像像素的像素值以及第一相位检测像素LPD的像素值和第二相位检测像素RPD的像素值可以被包括在目标值X中。在所公开的技术的一个实现方式中，例如，相位检测像素可以与正常图像像素(例如，蓝色)一起形成混合子像素阵列，并且如以上讨论的，相位检测像素可以具有绿色滤色器或者可以具有与绿色滤色器相似的颜色性质。因此，第五图像像素的像素值和第六图像像素的像素值可以包括从穿过蓝色B3滤色器的入射光获得的像素值，并且第一相位检测像素LPD的像素值和第二相位检测像素RPD的像素值可以包括从穿过绿色滤色器的入射光获得的像素值。因此，目标值X可以包括不期望的像素值，也就是说，从例如具有绿色滤色器的相位检测像素获得的像素值。
提取块123可以从组合块121所生成的图像值中提取目标值X以及布置在第八子像素阵列的外围的子像素阵列的图像值G12、G21、G23和G32。换句话讲，提取块123可以从组合块121所生成的图像值中提取从第八子像素阵列获得的目标值X以及从与第八子像素阵列相邻的子像素阵列(例如，从围绕第八子像素阵列的子像素阵列)获得的图像值G12、G21、G23和G32。例如，提取块123可以提取第二单位像素阵列113中包括的第一子像素阵列至第四子像素阵列当中的与第八子像素阵列的顶侧处的像素相邻设置的第二子像素阵列的图像值G12、第三单位像素阵列115中包括的第一子像素阵列至第四子像素阵列当中的与第八子像素阵列的左侧处的像素相邻设置的第一子像素阵列的图像值G21、第四单位像素阵列117中包括的第五子像素阵列和第六子像素阵列当中的与第八子像素阵列的右侧处的像素相邻设置的第五子像素阵列的图像值G23以及第四单位像素阵列117中包括的第五子像素阵列和第六子像素阵列当中的与第八子像素阵列的底侧处的像素相邻设置的第六子像素阵列的图像值G32。下文中，布置在第八子像素阵列的外围的子像素阵列的图像值G12、G21、G23和G32被称为“外围值G12、G21、G23和G32”。这里，“外围值”可以指示来自所期望的像素紧邻的像素的图像值。
校正块125可以基于目标值X和外围值G12、G21、G23和G32来生成校正值，以补偿目标值中的相位检测像素的像素值。例如，校正块125可以基于下面的式1来生成校正值。
[式1]
X＝V0+VI+VLPD+VRPD＝V0+V1+XG
Figure BDA0001795317850000081
Figure BDA0001795317850000082
这里，“X”是指目标值(例如，如上所述的第八子像素阵列的图像值)，“V0”和“V1”指示来自正常图像像素(即，并非相位检测像素的像素，例如，参照图4，“V0”是指第八子像素阵列中包括的第五图像像素的像素值，并且“V1”是指第八子像素阵列中包括的第六图像像素的像素值)的像素值，并且“VLPD”和“VRPD”指示来自相位检测像素的像素值(即，参照图4，“VLPD”是指第八子像素阵列中包括的第一相位检测像素LPD的像素值，并且“VRPD”是指第八子像素阵列中包括的第二相位检测像素RPD的像素值)。“XG”是指第一相位检测像素LPD的像素值和第二相位检测像素RPD的像素值之和VLPD+VRPD，并且“VGavg”是指外围值G12、G21、G23和G32当中的除了最大值和最小值之外的图像值的平均值。例如，如果G12和G21分别是最大值和最小值，则可以通过将G23+G32除以2来获得“VGavg”。另外，“ratio”是指指示“VLPD”、“VRPD”与外围值G12、G21、G23和G32之间的比率的系数，并且“Xcomp”是指校正值。例如，可以通过将基于外围值G12、G21、G23和G32中的一个或更多个获得的值除以“VLPD”和“VRPD”的平均值来获得“ratio”。该值是指外围值G12、G21、G23和G32的平均值，或者是指外围值G12、G21、G23和G32的中值，或者是指外围值G12、G21、G23和G32中的任一个。
校正块125可以基于外围值G12、G21、G23和G32来估计第一相位检测像素LPD的像素值和第二相位检测像素RPD的像素值之和VLPD+VRPD。例如，校正块125可以计算外围值G12、G21、G23和G32当中的除了最大值和最小值之外的图像值的平均值VGavg，并且随后将平均值VGavg除以预定系数2×ratio，由此估计第一相位检测像素LPD的像素值和第二相位检测像素RPD的像素值之和VLPD+VRPD＝XG。
校正块125可以通过从目标值X中减去第一相位检测像素LPD的像素值和第二相位检测像素RPD的像素值之和VLPD+VRPD＝XG并且然后将结果乘以2来获得校正值Xcomp。
图像处理块127可以基于组合块121所生成的图像值和校正块125所生成的校正值Xcomp来产生与原始图像对应的图像帧。例如，图像处理块127可以用校正值Xcomp替换组合块121所生成的图像值当中的目标值X来产生图像帧。
所公开的技术的各种实施方式能够通过从图像值中去除不期望的像素值来获得高度准确的图像值。
所公开的技术的各种实施方式能够通过处理由包括相位检测像素的图像像素阵列所获取的图像以使得从相位检测像素生成的像素值可以被补偿来获得更接近原始图像的图像值。
基于所公开的技术实现的图像感测装置可以包括：像素阵列，该像素阵列包括多个图像子像素阵列和多个混合子像素阵列，所述多个图像子像素阵列中的每一个只包括具有相同滤色器的图像像素，所述多个混合子像素阵列中的每一个包括图像像素和相位检测像素二者；转换电路，该转换电路在操作上与像素阵列联接，以将入射到图像像素和相位检测像素上并且穿过图像像素和相位检测像素的光转换成电像素值；以及处理器，该处理器与转换电路通信。
处理器可以处理电像素值，以对与每个图像子像素阵列关联的电像素值进行求和来生成每个子像素阵列的图像值，对与每个混合子像素阵列关联的电像素值进行求和来生成每个混合子像素阵列的目标值，基于目标值和来自围绕每个混合子像素阵列并且颜色性质与图像子像素阵列所围绕的混合子像素阵列相似的图像子像素阵列的图像值来生成校正值，并且用校正值替换目标值。在所公开的技术的实施方式中，相位检测像素可以被布置成具有与绿色滤色器相似的颜色性质，并且可以基于目标值和来自围绕每个混合子像素阵列的具有绿色滤色器的图像子像素阵列的图像值来生成校正值。
虽然本专利文献包含了许多具体细节，但是这些不应该被解释为对任何发明的范围或可要求保护的范围的限制，而应当被解释为可以特定于特定发明的特定实施方式的特征的描述。本专利文献中在单独实施方式的上下文中所描述的特定特征还可以组合地在单个实施方式中实现。相反地，在单个实施方式的上下文中所描述的各种特征也可以单独地或以任何合适的子组合方式在多个实施方式中来实现。此外，虽然特征可以在以上被描述为以特定组合起作用并且甚至最初如此声明，但是在一些情况下，所声明的组合中的一个或更多个特征可以被从该组合中删除，并且所声明的组合可以涉及子组合或子组合的变型。
类似地，虽然在附图中以特定次序描绘了操作，但是这不应该被理解为要求以所示出的特定次序或以顺序次序执行这些操作，或者执行所有例示的操作，以实现所描述的结果。此外，在该专利文献中所描述的实施方式中的各种系统组件的分离不应该被理解为在所有实施方式中都需要这种分离。只描述了一些实现方式和示例。可以基于本专利文献中描述和例示的内容来形成其它实现方式、增强形式和变形形式。
相关申请的交叉引用
本专利文献要求于2018年2月21日向韩国知识产权局提交的韩国专利申请No.10-2018-0020781的优先权和权益，该韩国专利申请的公开的全部内容以引用方式并入本文中。

Claims (17)

1.一种图像感测装置，该图像感测装置包括：
图像传感器，该图像传感器包括第一子像素阵列和第二子像素阵列，所述第一子像素阵列包括多个第一像素，所述多个第一像素各自将光转换成像素信号并且包括允许第一颜色的光被每个第一像素接收的第一滤色器，所述第二子像素阵列包括(1)多个第二像素和(2)多个第三像素这二者，所述多个第二像素各自将光转换成像素信号并且包括允许第二颜色的光被每个第二像素接收的不同的第二滤色器，所述多个第三像素捕获用于相位检测的光以提供图像相位信息，所述图像传感器根据所述第一像素生成第一像素值，根据所述第二像素生成第二像素值并且根据所述第三像素生成第三像素值；以及
图像处理器，该图像处理器被联接成从所述图像传感器接收像素信号并且被构造成处理所接收到的像素信号，以基于所述第一像素值来生成与所述第一子像素阵列对应的第一图像值并且基于所述第一像素值、所述第二像素值和所述第三像素值来生成与所述第二子像素阵列对应的第二图像值。
2.根据权利要求1所述的图像感测装置，其中，通过组合所述第一像素值来生成所述第一图像值，并且通过从通过组合所述第二像素值和所述第三像素值获得的图像值中去除基于所述第一像素值而估计的用于表示所述第三像素值的第四像素值来生成所述第二图像值。
3.根据权利要求1所述的图像感测装置，其中，所述第三像素中的每一个包括所述第一滤色器。
4.根据权利要求3所述的图像感测装置，其中，所述第一滤色器包括绿色滤色器，并且所述第二滤色器包括蓝色滤色器或红色滤色器。
5.根据权利要求1所述的图像感测装置，其中，所述第一子像素阵列和所述第二子像素阵列彼此相邻地布置。
6.一种图像感测装置，该图像感测装置包括：
图像传感器，该图像传感器包括像素单元的第一单位像素阵列和第二单位像素阵列以及像素单元的第三单位像素阵列，所述第一单位像素阵列和所述第二单位像素阵列只具有感测入射光以生成表示图像的成像信号的图像像素，所述第三单位像素阵列具有感测入射光以生成表示所述图像的成像信号的图像像素和感测入射光以检测所述图像的相位信息的相位检测像素这二者，并且所述图像传感器根据所述第一单位像素阵列生成第一像素值，根据所述第二单位像素阵列生成第二像素值并且根据所述第三单位像素阵列生成第三像素值；以及
图像处理器，该图像处理器被联接成从所述图像传感器接收像素信号并且被构造成处理所接收到的像素信号，以(1)基于所述第一像素值来生成与所述第一单位像素阵列对应的第一图像值，(2)基于所述第二像素值来生成与所述第二单位像素阵列对应的第二图像值并且(3)基于所述第一像素值中的一部分像素值、所述第二像素值中的一部分像素值和所述第三像素值来生成与所述第三单位像素阵列对应的第三图像值，
其中，所述第一单位像素阵列和所述第二单位像素阵列中的每一个包括按致使每个图像像素检测第一颜色的光的第一颜色图案布置的图像像素，并且所述第三单位像素阵列包括按致使每个图像像素检测不同的第二颜色的光的第二颜色图案布置的相位检测像素和图像像素。
7.根据权利要求6所述的图像感测装置，其中，所述图像处理器包括：
组合块，该组合块被联接并构造成组合来自所述像素单元的所述第一像素值、所述第二像素值和所述第三像素值，以生成所述第一图像值、所述第二图像值和所述第三图像值；
提取块，该提取块与所述组合块联接并且被构造成提取所述第一图像值中的一部分图像值、所述第二图像值中的一部分图像值和所述第三图像值；
校正块，该校正块与所述提取块联接并且被构造成基于所述第一图像值中的一部分图像值、所述第二图像值中的一部分图像值和所述第三图像值中的一部分图像值来生成校正值，以补偿从所述第三图像值获得的目标值中的所述相位检测像素的像素值；以及
图像处理块，该图像处理块与所述组合块和所述校正块联接并且被构造成用所述校正值替换所述目标值。
8.根据权利要求7所述的图像感测装置，其中，所述图像处理器被构造成将如下图像值包括在所述目标值中，所述图像值是通过对根据包括所述相位检测像素的子像素阵列所生成的像素值进行组合而获得的。
9.根据权利要求7所述的图像感测装置，其中，所述校正块被构造成基于所述第一图像值中的一部分图像值、所述第二图像值中的一部分图像值和所述第三图像值中的一部分图像值来估计所述相位检测像素的像素值之和，并且通过从所述目标值中减去所估计出的和来获得所述校正值。
10.根据权利要求6所述的图像感测装置，其中，所述图像处理器被构造成根据具有绿色滤色器的所述图像像素生成所述第一像素值中的一部分像素值，根据具有所述绿色滤色器的所述图像像素生成所述第二像素值中的一部分像素值，并且所述相位检测像素中的每一个具有所述绿色滤色器。
11.根据权利要求6所述的图像感测装置，其中，所述第一单位像素阵列与所述第三单位像素阵列的顶部或底部相邻地设置，并且所述第二单位像素阵列与所述第三单位像素阵列的左部或右部相邻地设置。
12.一种图像感测装置，该图像感测装置包括：
第五子像素阵列，该第五子像素阵列包括一个或更多个相位检测像素和具有第二滤色器的一个或更多个第五图像像素；
第一子像素阵列，该第一子像素阵列与所述第五子像素阵列的顶部相邻地设置并且包括第一图像像素，所述第一图像像素各自具有第一滤色器；
第二子像素阵列，该第二子像素阵列与所述第五子像素阵列的底部相邻地设置并且包括第二图像像素，所述第二图像像素各自具有所述第一滤色器；
第三子像素阵列，该第三子像素阵列与所述第五子像素阵列的左部相邻地设置并且包括第三图像像素，所述第三图像像素各自具有所述第一滤色器；
第四子像素阵列，该第四子像素阵列与所述第五子像素阵列的右部相邻地设置并且包括第四图像像素，所述第四图像像素各自具有所述第一滤色器；以及
图像处理器，该图像处理器被联接成从所述第一子像素阵列、所述第二子像素阵列、所述第三子像素阵列、所述第四子像素阵列和所述第五子像素阵列接收信号，并且被构造成(1)基于从所述第一子像素阵列生成的第一像素值来生成第一图像值，(2)基于从所述第二子像素阵列生成的第二像素值来生成第二图像值，(3)基于从所述第三子像素阵列生成的第三像素值来生成第三图像值，(4)基于从所述第四子像素阵列生成的第四像素值来生成第四图像值并且(5)基于所述第一图像值、所述第二图像值、所述第三图像值和所述第四图像值以及从所述第五子像素阵列生成的第五像素值来生成第五图像值。
13.根据权利要求12所述的图像感测装置，其中，所述相位检测像素中的每一个具有所述第一滤色器。
14.根据权利要求12所述的图像感测装置，其中，所述第一滤色器包括绿色滤色器，并且所述第二滤色器包括蓝色滤色器或红色滤色器。
15.根据权利要求12所述的图像感测装置，其中，所述图像处理器包括：
组合块，该组合块组合所述第一像素值、所述第二像素值、所述第三像素值、所述第四像素值和所述第五像素值来生成所述第一图像值、所述第二图像值、所述第三图像值、所述第四图像值和所述第五图像值；
提取块，该提取块提取所述第五图像值作为目标值，并且提取所述第一图像值、所述第二图像值、所述第三图像值和所述第四图像值作为外围值；
校正块，该校正块基于所述外围值来生成校正值，以补偿所述目标值中的所述相位检测像素的像素值；以及
图像处理块，该图像处理块用所述校正值替换所述第五图像值。
16.根据权利要求15所述的图像感测装置，其中，所述校正块基于所述外围值来估计所述相位检测像素的像素值，并且通过从所述目标值中减去所估计出的像素值来获得所述校正值。
17.根据权利要求16所述的图像感测装置，其中，所述校正块通过计算所述外围值当中的除了最大值和最小值之外的图像值的平均值并且将所述平均值除以预定系数来估计所述相位检测像素的像素值。
CN201811054128.0A 2018-02-21 2018-09-11 图像感测装置 Active CN110177226B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180020781A KR102520487B1 (ko) 2018-02-21 2018-02-21 이미지 센싱 장치
KR10-2018-0020781 2018-02-21

Publications (2)

Publication Number Publication Date
CN110177226A CN110177226A (zh) 2019-08-27
CN110177226B true CN110177226B (zh) 2021-07-09

Family

ID=67618169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811054128.0A Active CN110177226B (zh) 2018-02-21 2018-09-11 图像感测装置

Country Status (3)

Country Link
US (1) US10734424B2 (zh)
KR (1) KR102520487B1 (zh)
CN (1) CN110177226B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594038B1 (ko) * 2018-01-15 2023-10-26 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2021138869A1 (en) * 2020-01-09 2021-07-15 Huawei Technologies Co., Ltd. Image sensor and device comprising an image sensor
KR20210156493A (ko) * 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치
KR20210156553A (ko) * 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
KR20220001702A (ko) * 2020-06-30 2022-01-06 삼성전자주식회사 이미지 센서를 포함하는 전자 장치
KR20220043571A (ko) * 2020-09-29 2022-04-05 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
KR20220051881A (ko) 2020-10-19 2022-04-27 삼성전자주식회사 비닝 모드에서의 아티팩트를 개선하는 이미지 센서
KR20220077735A (ko) 2020-12-02 2022-06-09 삼성전자주식회사 이미지 센서 및 이미지 센서의 픽셀 어레이
CN114666500B (zh) * 2022-03-16 2024-02-02 深圳市汇顶科技股份有限公司 信息密度提高方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107409184A (zh) * 2015-03-13 2017-11-28 索尼半导体解决方案公司 固态成像元件、驱动方法以及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5764884B2 (ja) * 2010-08-16 2015-08-19 ソニー株式会社 撮像素子および撮像装置
WO2012127702A1 (ja) * 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
KR101332689B1 (ko) 2012-04-30 2013-11-25 클레어픽셀 주식회사 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법
KR102049839B1 (ko) 2013-03-26 2019-11-28 삼성전자주식회사 영상 처리 장치 및 방법
JP2015012127A (ja) * 2013-06-28 2015-01-19 ソニー株式会社 固体撮像素子および電子機器
JP6233188B2 (ja) * 2013-12-12 2017-11-22 ソニー株式会社 固体撮像素子およびその製造方法、並びに電子機器
JP6115787B2 (ja) * 2013-12-18 2017-04-19 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
KR102197476B1 (ko) * 2014-06-09 2020-12-31 에스케이하이닉스 주식회사 이미지 센서
US9338380B2 (en) * 2014-06-30 2016-05-10 Semiconductor Components Industries, Llc Image processing methods for image sensors with phase detection pixels
KR102286136B1 (ko) * 2014-12-01 2021-08-06 에스케이하이닉스 주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
US9455285B2 (en) * 2015-02-04 2016-09-27 Semiconductors Components Industries, Llc Image sensors with phase detection pixels
US20160269662A1 (en) * 2015-03-12 2016-09-15 Semiconductor Components Industries, Llc Image sensors with increased stack height for phase detection pixels
US20170374306A1 (en) * 2016-06-23 2017-12-28 Semiconductor Components Industries, Llc Image sensor system with an automatic focus function

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107409184A (zh) * 2015-03-13 2017-11-28 索尼半导体解决方案公司 固态成像元件、驱动方法以及电子设备

Also Published As

Publication number Publication date
CN110177226A (zh) 2019-08-27
US20190259795A1 (en) 2019-08-22
KR102520487B1 (ko) 2023-04-12
KR20190100792A (ko) 2019-08-29
US10734424B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
CN110177226B (zh) 图像感测装置
US9749556B2 (en) Imaging systems having image sensor pixel arrays with phase detection capabilities
EP3093819B1 (en) Imaging apparatus, imaging system, and signal processing method
CN212785522U (zh) 图像传感器和电子设备
US10999544B2 (en) Image sensor including phase detection pixels and image pickup device
US9894302B2 (en) Imaging apparatus, image processing method, and program
KR101442313B1 (ko) 카메라 센서 교정
US9560294B2 (en) Systems and methods for pixel-level dark current compensation in image sensors
CN112736101B (zh) 在多个子像素之间具有共享微透镜的图像传感器
WO2014149403A1 (en) Extended color processing on pelican array cameras
JP2022174185A (ja) 撮像装置
EP2082569A2 (en) Digital imager with reduced object motion blur
CN210143059U (zh) 图像传感器集成电路、图像传感器以及成像系统
US8937680B2 (en) Image pickup unit and image processing unit for image blur correction
US20240089629A1 (en) Image sensor and imaging device
US20230177713A1 (en) Information processing apparatus, information processing method, and program
KR102619738B1 (ko) 신호 처리 장치 및 촬상 장치
CN109982070A (zh) 具有校准相位检测像素的图像传感器及其操作方法
CN113824906A (zh) 图像感测装置
US9386207B2 (en) Image-capturing apparatus
US8908067B2 (en) Imaging systems with digitally controlled analog offset compensation
CN114679551A (zh) 固体摄像装置、固体摄像装置的信号处理方法以及电子机器
JP6069857B2 (ja) 撮像装置
CN117751576A (zh) 无去马赛克的像素阵列、图像传感器、电子设备及其操作方法
CN118200721A (zh) 包括不同尺寸的微透镜的传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant