CN208158780U - 图像传感器 - Google Patents

图像传感器 Download PDF

Info

Publication number
CN208158780U
CN208158780U CN201820420083.3U CN201820420083U CN208158780U CN 208158780 U CN208158780 U CN 208158780U CN 201820420083 U CN201820420083 U CN 201820420083U CN 208158780 U CN208158780 U CN 208158780U
Authority
CN
China
Prior art keywords
pixel
group
subgroup
color filter
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201820420083.3U
Other languages
English (en)
Inventor
M·米利纳尔
T·格蒂斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Components Industries LLC
Original Assignee
Semiconductor Components Industries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Components Industries LLC filed Critical Semiconductor Components Industries LLC
Priority to CN201821631882.1U priority Critical patent/CN208820947U/zh
Application granted granted Critical
Publication of CN208158780U publication Critical patent/CN208158780U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/08—Optical arrangements
    • G01J5/0801—Means for wavelength selection or discrimination
    • G01J5/0802—Optical filters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本实用新型公开了一种图像传感器，所述图像传感器可包括成像像素阵列，以及覆盖所述成像像素阵列的滤色器元件阵列。所述成像像素阵列可包括被可见光滤色器元件覆盖的可见光像素，以及被近红外光滤色器元件覆盖的近红外光像素。所述成像像素可以以具有像素组的重复2×2单元格的图案布置。每个像素组可包括可见光像素子组和近红外光像素子组。来自每个像素组的信号可被处理以确定包括可见光和近红外光信息的每个像素组的代表性值。

Description

图像传感器
相关申请的交叉引用
本申请要求提交于2017年5月24日的美国临时专利申请No.62/510,333的权益和优先权，该申请据此全文以引用方式并入本文。
技术领域
本申请涉及图像传感器，并且更具体地讲，涉及具有可见和近红外像素的图像传感器。
背景技术
图像传感器常在电子设备，例如，移动电话、相机和计算机中用来捕获图像。在典型布置中，电子设备设置有被布置成像素行和像素列的图像像素阵列。图像像素包含光电二极管以便响应于光而生成电荷。通常将电路耦接到各个像素列以读出来自图像像素的图像信号。滤色器元件通常覆盖每个光电二极管。
若干图像传感器应用(诸如安全相机)同时需要可见光和近红外(NIR)图像传感器灵敏度。常规系统使用可物理移动的IR滤波器来获得近红外和可见光灵敏度。然而，这是不切实际的，并且强烈需要具有可见光和近红外(NIR)灵敏度的低成本图像传感器。
因此期望提供具有可见和近红外光灵敏度的图像传感器。
实用新型内容
一方面，提供一种图像传感器，其包括：成像像素阵列，所述成像像素阵列具有可见光像素和近红外光像素；以及滤色器元件阵列，所述滤色器元件阵列覆盖所述成像像素阵列，其中所述成像像素以图案布置，其中所述图案包括像素组的重复2×2单元格，并且其中每个像素组包括可见光像素子组和近红外光像素子组。
另一方面，提供一种图像传感器，包括：多个光电二极管；以及多个滤色器元件，所述多个滤色器元件以图案布置，其中所述多个光电二极管中的每个光电二极管被所述多个滤色器元件中的相应滤色器元件覆盖，其中所述图案包括成组的重复2×2单元格，并且其中每个组包括第一子组的可见光滤色器元件和第二子组的近红外光滤色器元件。
附图说明
图1是根据一个实施方案的具有图像传感器的示例性电子设备的示意图。
图2是根据一个实施方案的用于读出图像传感器中的图像信号的示例性像素阵列以及关联读出电路的示意图。
图3示出根据一个实施方案的具有滤色器图案的示例性图像传感器，该滤色器图案可用于提供具有可见光和近红外灵敏度的图像传感器，但是需要定制图案处理。
图4-图13示出根据一个实施方案的具有滤色器图案的示例性图像传感器，该滤色器图案可用于提供具有可见光和近红外灵敏度的图像传感器，而无需定制图案处理。
图14和图15示出根据一个实施方案的具有用于可见光和近红外光灵敏度的定制像素布局的示例性图像传感器。
图16和图17是根据一个实施方案的可用于处理来自具有可见光和近红外光灵敏度的图像传感器的信号的示例性方法步骤的示意图。
具体实施方式
电子设备，诸如，数字相机、计算机、移动电话和其他电子设备可包括图像传感器，该图像传感器收集入射光以捕获图像。图像传感器可包括像素阵列。图像传感器中的像素可包括光敏元件，诸如，将入射光转换为图像信号的光电二极管。图像传感器可具有任何数量(如，数百或数千或更多)的像素。典型的图像传感器可例如具有数十万或数百万像素(如，百万像素)。图像传感器可包括控制电路(诸如用于操作像素的电路)以及用于读出与光敏元件生成的电荷对应的图像信号的读出电路。
图1是示例性成像和响应系统的示意图，该系统包括使用图像传感器捕获图像的成像系统。图1的系统100可以是电子设备(诸如相机、移动电话、摄像机或捕获数字图像数据的其他电子设备)，可以是车辆安全系统(例如，主动制动系统或其他车辆安全系统)，或者可以是监视系统。
如图1所示，系统100可包括成像系统(诸如成像系统10)和主机子系统(诸如主机子系统20)。成像系统10可包括相机模块12。相机模块12可包括一个或多个图像传感器14以及一个或多个镜头。
相机模块12中的每个图像传感器可相同，或者，在给定图像传感器阵列集成电路中可以有不同类型的图像传感器。在图像捕捉操作的过程中，每个镜头可将光聚集到相关的图像传感器14上。图像传感器14可包括将光转换成数字数据的光敏元件(即，像素)。图像传感器可具有任何数量(如，数百、数千、数百万或更多)的像素。典型的图像传感器可(例如)具有数百万的像素(如，百万像素)。例如，图像传感器14可包括偏置电路(如，源极跟随器负载电路)、采样保持电路、相关双采样(CDS)电路、放大器电路、模拟-数字转换器电路、数据输出电路、存储器(如，缓冲电路)、寻址电路等。
可将来自相机传感器14的静态图像数据和视频图像数据经由路径28提供给图像处理和数据格式化电路16。图像处理和数据格式化电路16可用于执行图像处理功能，诸如数据格式化、调节白平衡和曝光、实现视频图像稳定、脸部检测等。图像处理和数据格式化电路16也可用于根据需要压缩原始相机图像文件(例如，压缩成联合图象专家组格式或简称JPEG格式)。在典型布置(有时称为片上系统(SOC)布置)中，相机传感器14以及图像处理和数据格式化电路16在共用半导体衬底上实现(例如，共用硅图像传感器集成电路管芯)。如果需要，相机传感器14和图像处理电路16可形成在分开的半导体衬底上。例如，相机传感器14和图像处理电路16可形成在分开的堆叠衬底上。
成像系统10(如，图像处理和数据格式化电路16)可通过路径18将采集的图像数据传送到主机子系统20。主机子系统20可包括处理软件，用于检测图像中的物体、检测物体在图像帧之间的运动、确定图像中物体的距离、过滤或以其他方式处理成像系统10提供的图像。
如果需要，系统100可向用户提供许多高级功能。例如，在计算机或高级移动电话中，可为用户提供运行用户应用程序的能力。为实现这些功能，系统100的主机子系统20可具有输入-输出设备22(诸如小键盘、输入-输出端口、操纵杆和显示器)及存储和处理电路24。存储和处理电路24可包括易失性和非易失性的存储器(例如，随机存取存储器、闪存存储器、硬盘驱动器、固态驱动器，等等)。存储和处理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路等。
图2示出了图1中相机模块12的布置的例子。如图2所示，相机模块12包括图像传感器14与控制和处理电路44。控制和处理电路44可对应于图1中的图像处理和数据格式化电路16。图像传感器14可包括像素阵列，诸如像素34(在本文中有时称为图像传感器像素或图像像素34)的阵列32。控制和处理电路44可耦接到行控制电路40，并且可经由数据路径26耦接到列控制和读出电路42。行控制电路40可从控制和处理电路44接收行地址，并可通过控制路径36向图像像素34供应对应的行控制信号(如，双重转换增益控制信号、像素重置控制信号、电荷转移控制信号、光晕控制信号、行选择控制信号或任何其他所需的像素控制信号)。列控制和读出电路42可经由一条或多条导线(诸如列线38)耦接到像素阵列32的列。列线38可耦接到图像像素阵列32中的每列图像像素34(例如，每列像素可耦接到对应列线38)。列线38可用于从图像像素34读出图像信号，并向图像像素34供应偏置信号(例如，偏置电流或偏置电压)。在图像像素读出操作期间，可使用行控制电路40来选择图像像素阵列32中的像素行，并且与该像素行的图像像素34相关的图像数据可由列控制和读出电路42在列线38上读出。
列控制和读出电路42可包括列电路，诸如用于放大从阵列32读出的信号的列放大器、用于对从阵列32读出的信号进行采样和存储的采样保持电路、用于将读出的模拟信号转换成对应数字信号的模拟-数字转换器电路、以及用于存储读出信号和任何其他所需数据的列存储器。列控制和读出电路42可通过线26将数字像素值输出到控制和处理电路44。
阵列32可以具有任何数量的行和列。一般来讲，阵列32的大小以及阵列32中的行和列的数量将取决于图像传感器14的具体实施。虽然行和列在本文中一般分别被描述为水平和竖直的，但是行和列可以指任何网格状的结构(例如，本文中描述为行的特征可竖直地布置，并且本文中描述为列的特征可水平地布置)。
如果需要，阵列32可为堆叠管芯布置的一部分，其中阵列32的像素34会被划分在两个或更多个堆叠衬底中。在这种布置中，阵列32中的每个像素34可在像素内的任何所需节点处被划分在两个管芯中。举例来说，节点诸如浮动扩散节点可形成在两个管芯之上。包括光电二极管和耦接在光电二极管与所需节点(在本例中，诸如浮动扩散节点)之间的电路的像素电路可以形成在第一管芯上，并且其余像素电路可以形成在第二管芯上。所需节点可形成在连接两个管芯的耦接结构(诸如导电衬垫、微型衬垫、导电互连结构或导电通路)上(即，作为其一部分)。在两个管芯结合前，耦接结构可以在第一管芯上具有第一部分，并且可以在第二管芯上具有第二部分。第一管芯和第二管芯可彼此结合，使得该耦接结构的第一部分和该耦接结构的第二部分被结合在一起并且电耦接。如果需要，耦接结构的第一部分和第二部分可彼此压缩结合。然而，这仅仅是示例性的。如果需要，可以使用任何已知的金属对金属结合技术诸如软焊或焊接，来将形成在相应第一管芯和第二管芯上的耦接结构的第一部分和第二部分结合在一起。
如上所述，像素电路中被划分到两个管芯中的所需节点可为浮动扩散节点。或者，所需节点可为浮动扩散区与源极跟随器晶体管栅极之间的节点(即，浮动扩散节点可以形成在形成有光电二极管的第一管芯上，同时耦接结构可以将浮动扩散节点连接至第二管芯上的源极跟随器晶体管)、浮动扩散区与转移晶体管源极-漏极节点之间的节点(即，浮动扩散节点可以形成在未设有光电二极管的第二管芯上)、源极跟随器晶体管源极-漏极节点与行选择晶体管之间的节点、或像素电路的任何其他所需节点。
可能期望图像传感器14具有可见光和近红外(NIR)灵敏度。因此，图像传感器14可包括在像素阵列32上方的可见光滤色器元件和近红外滤色器元件。
图3示出具有滤色器图案的示例性图像传感器14，该滤色器图案可用于提供具有可见光和近红外灵敏度的图像传感器。滤色器元件52可以以图案形成在像素阵列上方。每个滤色器元件52可覆盖对应的像素(34)。具有绿色滤色器元件的像素被标记为“G”，具有红色滤色器元件的像素被标记为“R”，具有蓝色滤色器元件的像素被标记为“B”，并且具有近红外滤色器元件的像素被标记为“N”。图3的图案是可在图像传感器上重复的4×4单元格。虽然图3的图案为图像传感器提供可见光和NIR灵敏度，但图3的图案可能需要定制图案处理(因为图像传感器14的输出是4×4单位正方形而不是2×2单位正方形拜耳滤色器图案)。
图4-图13示出具有滤色器图案的示例性图像传感器，该滤色器图案可用于提供具有可见光和近红外灵敏度的图像传感器。具有绿色滤色器元件的像素被标记为“G”，具有红色滤色器元件的像素被标记为“R”，具有蓝色滤色器元件的像素被标记为“B”，并且具有近红外滤色器元件的像素被标记为“N”。被可见光(例如，红色、绿色、蓝色等)滤色器元件覆盖的像素可称为可见光像素，并且被近红外滤色器元件覆盖的像素可称为近红外光像素。图4-图13的图案可包括可在成像传感器中的像素阵列上重复的4×4单元格。图4-图13的图案可包括战略性地放置的NIR像素以最小化输出拜耳图案所需的附加处理的量。由于红色、绿色和蓝色像素对NIR光也是敏感的，所以这些像素可在强烈的NIR光(即，白炽灯照明)下饱和，从而即使在它们未饱和时也会显著降低动态范围并增加噪声。处理可以以检测有问题的高NIR含量区域并且对这些区域进行去饱和(提供单色高保真度亮度输出)的方式完成，从而使视觉伪影最小化。
在图4的滤色器图案中，百分之五十的像素是NIR像素。如图所示，图4的图案可包括在相邻行和单个列中分组在一起的两个像素(有时称为1×2或2×1布置)。这些1×2像素组有时可被称为子组。例如，图4的图案可包括子组54-1(具有两个绿色滤色器元件)、54-2(具有两个近红外滤色器元件)、54-3(具有两个红色滤色器元件)、54-4(具有两个近红外滤色器元件)、54-5(具有两个蓝色滤色器元件)、54-6(具有两个近红外滤色器元件)、54-7(具有两个绿色滤色器元件)，以及54-8(具有两个近红外滤色器元件)。子组可进一步形成像素组(以及滤色器元件)。例如，子组54-1和子组54-2可形成第一组，子组54-3和子组54-4可形成第二组，子组54-5和子组54-6可形成第三组，并且子组54-7和子组54-8可形成第四组。换句话讲，每组滤色器元件可以是4×4单元格的象限。如果需要，4×4单元格的每个象限可包括近红外滤色器元件的子组和可见光(例如，红色、绿色或蓝色)滤色器元件的子组。
在图4中，每个象限中的可见光滤色器元件的子组遵循拜耳滤色器图案(具有彼此对角地相对的绿色子组，以及与蓝色子组对角地相对的红色子组)。这可以最小化使用图4的滤色器图案输出拜耳型图案的图像传感器所需的处理量。例如，基于图4中的滤色器图案，可以处理像素的每个象限(或组)以获得包括可见光信息和近红外光信息的值。基于图4的4×4单位正方形，图像传感器的输出可以是与2×2单位正方形相关联的值(例如，如同拜耳图案)。例如，左上象限可具有与绿光信息和近红外信息相关联的输出值，右上象限可具有与红光信息和近红外信息相关联的输出值，左下象限可具有与蓝光信息和近红外信息相关联的输出值，并且右下象限可具有与绿光信息和近红外信息相关联的输出值。经处理的输出然后可有利地与拜耳图案处理技术兼容。
来自子组中的两个像素的信号可在处理期间求和或平均。每个像素可被相应的微透镜覆盖，或者像素的每个子组可被相应的单个微透镜覆盖。在一些实施方案中，2×2正方形中的四个像素(例如，像素的组或象限)可被单个微透镜覆盖。在一些实施方案(诸如图6)中，相同类型的四个像素(例如，两组2×2NIR像素)可各自被相应的微透镜覆盖(其中每个微透镜覆盖四个像素)。在一些实施方案(诸如图4)中，具有不同类型像素的2×2像素组可被单个微透镜覆盖。例如，在图4中，如果需要，左上象限中的两个绿色像素和两个NIR像素可被单个微透镜覆盖。
在其中多个像素被单个微透镜覆盖(即，2×1像素组被单个微透镜覆盖，或者2×2像素组被单个微透镜覆盖)的实施方案中，传感器也可用于相位检测。可以考虑每个单独像素的信号电平以获得相位检测信息。
图4的滤色器图案的一个可能的优点在于图案显示出适当的拜耳质心位置。这在改善图像传感器的性能方面可能是有利的。也可使用其他滤色器图案(如图5-图15所示)。图5-图13的图案还可包括可在成像传感器中的像素阵列上重复的4×4单元格。图5-图13的每个图案可包括可见光滤色器元件和近红外滤色器元件。对于所有的滤色器图案，可以执行处理以获得2×2单位正方形的输出，其中2×2正方形的每个值包括可见光信息和近红外光信息。在图4-图9的图案中，百分之五十的像素是近红外像素。在图10-图13的图案中，百分之二十五的像素是近红外像素。如图4、图5、图7和图8所示，4×4单位正方形的每个像素组(例如，象限)可以以各种布置包括两个可见光像素和两个近红外像素。在如图6、图9和图11所示的一些布置中，4×4单位正方形的每个像素组(例如，象限)可包括全部可见光像素或全部近红外像素。在如图12和图13所示的一些布置中，4×4单位正方形的每个像素组(例如，象限)可包括三个可见光像素和一个近红外像素。
图4-图13全部示出其中图像传感器具有以行和列布置的光电二极管阵列(其中每个光电二极管被相应滤色器元件覆盖)的实施方案。然而，在一些情况下，可使用定制像素布局，如图14和图15所示。在图14中，用于NIR像素的光电二极管被用于可见光像素的光电二极管包围。单个NIR像素可被2×2单元格的每个象限中的单个可见光像素包围。该布置具有适当拜耳质心位置的优点。类似地，图15示出具有被2×2单元格的每个象限中的四个可见光像素包围的四个NIR像素的图像传感器。该布置也具有适当拜耳质心位置的优点。对于图14和图15中的两个布置，可以执行处理以获得2×2单位正方形的输出，其中2×2正方形的每个值包括可见光信息和近红外光信息。
图16和图17示出用于处理来自包括可见光像素和近红外光像素的图像传感器的信号的方法。图16是示出来自具有可见光像素和近红外光像素的传感器的信号如何被处理的高级图。作为示例，图16可使用图4的滤色器图案。然而，这些方法可应用于任何期望的滤色器图案(例如，图4-图15的图案中的任一个)。如图16所示，图像传感器中的每个4×4单位正方形可被单独处理。在图16中处理示例性4×4单位正方形102(具有图4所示的类型)。在处理期间，4×4单位正方形102可被分成经处理的近红外2×2单位正方形104和经处理的可见光2×2单位正方形106。
例如，经处理的近红外2×2单位正方形104可基于来自4×4单位正方形102中的近红外像素的信号。例如，来自4×4单位正方形102中的组56-1的近红外像素的信号可用于确定经处理的2×2单位正方形104的左上象限中的经处理值N’。来自4×4单位正方形102中的组56-2的近红外像素的信号可用于确定经处理的2×2单位正方形104的右上象限中的经处理值N’。来自4×4单位正方形102中的组56-3的近红外像素的信号可用于确定经处理的2×2单位正方形104的左下象限中的经处理值N’。来自4×4单位正方形102中的组56-4的近红外像素的信号可用于确定经处理的2×2单位正方形104的右下象限中的经处理值N’。可执行附加处理以获得每个N’值(例如，基于来自相邻可见光像素的信息来调整近红外信号)。
类似地，来自4×4单位正方形102中的组56-1的绿色像素的信号可用于确定经处理的2×2单位正方形106的左上象限中的经处理值G’。来自4×4单位正方形102中的组56-2的红色像素的信号可用于确定经处理的2×2单位正方形106的右上象限中的经处理值R’。来自4×4单位正方形102中的组56-3的蓝色像素的信号可用于确定经处理的2×2单位正方形106的左下象限中的经处理值B’。来自4×4单位正方形102中的组56-4的绿色像素的信号可用于确定经处理的2×2单位正方形106的右下象限中的经处理值G’。可执行附加处理以获得R’、G’和B’值(例如，基于来自相邻近红外光像素的信息来调整可见光信号)。
在获得经处理的近红外2×2单位正方形104和经处理的可见光2×2单位正方形106之后，可在步骤108处混合经处理的2×2单位正方形104和106。在混合期间，可使用混合方案来组合经处理的近红外2×2单位正方形104的值和经处理的可见光2×2单位正方形106的值。可使用任何期望的混合方案。在一个示例中，可使用基于存在的可见和近红外光的量确定的比率来组合经处理的近红外2×2单位正方形104的值和经处理的可见光2×2单位正方形106的值。例如，如果近红外光非常高并且可见光非常低，则来自经处理的近红外2×2单位正方形104的值在混合期间将被赋予高权重，并且来自经处理的可见光2×2单位正方形106的值在混合期间将被赋予非常低的权重。在这种情况下，来自经处理的近红外2×2单位正方形104的值可以是最终输出(例如，输出的100％可来自单位正方形104并且输出的0％可来自单位正方形106)。相反，如果近红外光非常低并且可见光非常高，则来自经处理的近红外2×2单位正方形104的值在混合期间将被赋予低权重，并且来自经处理的可见光2×2单位正方形106的值在混合期间将被赋予非常高的权重。在这种情况下，来自经处理的可见光2×2单位正方形106的值可以是最终输出(例如，输出的100％可来自单位正方形106并且输出的0％可来自单位正方形104)。换句话讲，在混合步骤期间，可采取正方形104和106的值的内插(基于可见光和NIR光水平)并且将其作为输出提供。可基于每个值(例如，每个象限可独立地内插)或基于每个单位正方形(例如，每个象限可以以相同的方式内插)来完成内插。
混合步骤108可由系统100内的电路(例如，图像处理和数据格式化电路16、存储和处理电路24等)执行。执行混合步骤108的电路可称为混合电路。在步骤108中，混合电路可混合单色图像数据(来自经处理的近红外2×2单位正方形104)与拜耳图像数据(来自经处理的可见光2×2单位正方形106)。如果需要，可在混合期间将白平衡增益应用于拜耳图像数据(例如，应用于经处理的可见光2×2单位正方形106)。作为另外一种选择，可在混合期间将反转白平衡增益应用于单色图像数据(例如，应用于经处理的近红外2×2单位正方形104)。
以这种方式，单个输出图像可捕获单个场景的NIR部分和可见光部分。例如，单色图像数据可用于输出图像的暗部分中(其中场景仅用NIR光照亮)而相同输出图像的其他部分可使用拜耳图像数据，从而产生混合图像，该混合图像提供关于在具有和不具有可见光的区域中的场景的信息。
来自混合步骤的输出可在步骤110处经历去马赛克。因为从混合步骤108输出的数据是拜耳型数据，所以可能不需要对去马赛克步骤110进行定制。去马赛克步骤可由信号处理器112(例如，图像处理和数据格式化电路16、存储和处理电路24、或任何其他期望的处理电路)执行。去马赛克数据(YUV数据)可从处理电路112输出。
图17是用于处理来自具有可见光像素和近红外像素的图像传感器的图像数据的示例性步骤的示意图。如图所示，在步骤202处，处理电路(例如，图1中的图像处理和数据格式化电路16)可分析可见和近红外光水平(例如，来自图16中的4×4单位正方形102)。然后可基于可见和近红外光水平来选择一个或多个处理路径(例如，包括步骤204和206的处理路径，包括步骤208和210的处理路径，包括步骤212和214的处理路径，并且/或者包括步骤216和218的处理路径)。如果需要，来自4×4单位正方形102中的可见和近红外光像素的信号可在确定光水平的同时与阈值进行比较。基于光水平来处理信号可有助于说明可见光像素也对近红外光敏感。因为可见光像素对近红外光敏感，所以来自可见光像素的信号可包括来自可见和近红外光的贡献。根据近红外和可见光的水平，这可以在处理期间考虑。
如果可见光水平被确定为低(例如，如果来自一个可见光像素的信号、来自所有可见光像素的信号、和/或来自两个或更多个可见光像素的平均信号低于给定阈值，诸如RGBLOW)，则处理可进行到步骤204。在步骤204中，来自单位正方形102的每个组(例如，象限)中的每个像素的信号可被平均以获得该组的代表性近红外信号N’。例如，查看图16，来自组56-1中的四个像素的信号可被平均以获得单位正方形104的左上象限中的N’，来自组56-2中的四个像素的信号可被平均以获得单位正方形104的右上象限中的N’等。这可产生在步骤206处输出的代表性N’值的2×2网格。
如在步骤202处所确定，如果可见光水平不低(例如，如果来自一个可见光像素的信号、来自所有可见光像素的信号、和/或来自两个或更多个可见光像素的平均信号高于给定阈值，诸如RGBLOW)，并且近红外光比可见光多(例如，NIR>RGB)，则处理可进行到步骤208。在步骤208中，来自单位正方形102的每个组(例如，象限)中的每个近红外像素的信号可被平均以获得该组的代表性近红外信号N’。例如，查看图16，来自组56-1中的两个近红外像素的信号可被平均以获得单位正方形104的左上象限中的N’，来自组56-2中的两个近红外像素的信号可被平均以获得单位正方形104的右上象限中的N’等。这可产生在步骤210处输出的代表性N’值的2×2网格。
如果近红外光比可见光少(例如，NIR<RGB)，则处理可从步骤202进行到步骤212。在步骤212处，来自每个组中的每个可见光像素的信号可被平均。然后可对来自邻近可见光像素的近红外像素的信号进行平均。平均可见光像素信号与平均近红外光像素信号之间的差值可用作该组的代表性信号(例如，R’、G’或B’)。例如，考虑图16中的组56-2。首先，可以获得来自组56-2中的两个红色像素的信号的平均值。接下来，可以获得来自四个相邻近红外像素(例如，组56-2中的两个NIR像素和组56-1中的两个NIR像素)的信号的平均值。可以获得两个平均值的差值以确定图16中的单位正方形106的右上象限的R’。对于每组像素，该方法可继续以产生在步骤214处输出的代表性R’、G’和B’值的2×2网格(例如，图16中的经处理的可见光2×2单位正方形106)。
如果近红外光水平是低的(例如，如果来自一个近红外光像素的信号、来自所有近红外光像素的信号、和/或来自两个或更多个近红外光像素的平均信号低于给定阈值，诸如NIRLOW)，则处理可从步骤202进行到步骤216。来自每个组中每个可见光像素的信号可以被平均以获得该组的代表性信号(R’、G’或B’)。例如，来自组56-1中的两个绿色像素的信号可被平均以获得单位正方形106的左上象限中的G’，来自组56-2中的两个红色像素的信号可被平均以获得单位正方形106的右上象限中的R’等。在步骤218处输出代表性R’、G’和B’值的2×2网格(例如，图16中的经处理的可见光2×2单位正方形106)。
在步骤220期间，来自步骤206、210、214和/或218的输出可被混合。根据在步骤202中确定的光水平，处理可从四个示例性处理路径中的一个、两个、三个或四个产生输出。基于光水平，来自处理路径中的每个的输出可在步骤220处混合。例如，在混合期间，处理电路可在四个可能的输出中的任一者之间平滑地内插。如果需要，可在混合期间将白平衡增益应用于RGB数据(例如，应用于来自步骤214或218的输出)。作为另外一种选择，可在混合期间将反转白平衡增益应用于NIR数据(例如，应用于来自步骤206或210的输出)，然后可在随后的处理期间应用白平衡增益。
如上结合图16所述，电路可在步骤220处混合单色图像数据(例如，来自步骤206和/或210的数据)与拜耳图像数据(例如，来自步骤214和/或218的数据)。以这种方式，单个输出图像可捕获单个场景的NIR部分和可见光部分。例如，单色图像数据可用于输出图像的暗部分中(其中场景仅用NIR光照亮)而相同输出图像的其他部分可使用拜耳图像数据，从而产生混合图像，该混合图像提供关于在具有和不具有可见光的区域中的场景的信息。
应当注意到，在图17的上述处理步骤中的任一个期间，低通滤波器可应用于信号。例如，低通滤波器可应用于来自像素的原始数据(例如，图16的4×4单位正方形102)，或应用于经处理的2×2单位正方形(例如，来自步骤206、210、214和/或218的输出)。类似地，所有上述处理步骤可利用重新取样来匹配输出的空间位置。
重要的是，混合步骤220(其可与图16中的混合步骤108相同)的输出可以是拜耳图案(例如，值的重复2×2单元格，在每个2×2单元格中具有包括绿光信息的两个值、包括红光信息的一个值和包括蓝光信息的一个值)。通过使得处理器(例如，图16中的执行去马赛克的处理器112)能够接收拜耳图案，可以使处理器免于执行定制图案处理。
在上述实施方案中，各种滤色器图案被描述为具有可见光滤色器元件和近红外滤色器元件。应当注意到，这些滤色器图案仅仅是示例性的。如果需要，不同的滤色器元件可代替可见光滤色器元件。例如，如果需要，可使用透明滤色器元件来代替绿色滤色器元件。可使用绿色滤色器元件、红色滤色器元件、蓝色滤色器元件、黄色滤色器元件、青色滤色器元件、品红色滤色器元件、宽带滤色器元件(例如，透明滤色器元件、黄色滤色器元件等)、和/或任何其他期望的滤色器元件来代替红色、绿色和/或蓝色滤色器元件。类似地，如果需要，不同的滤色器元件可代替近红外光滤色器元件。例如，如果需要，可使用透明滤色器元件或另一种类型的宽带滤色器元件来代替近红外光滤色器元件。包括近红外(和/或其他期望的滤色器元件)的沟道有时可称为高保真度或高灵敏度沟道。
与具有拜耳滤色器的传感器相比，上述实施方案可以可忽略的成本增加提供具有可见光和NIR灵敏度的图像传感器。上述实施方案提供了允许直接集成的对生态系统友好的解决方案。上述实施方案在室内和室外照明条件下均可具有足够的性能。
在各种实施方案中，图像传感器可包括具有可见光像素和近红外光像素的成像像素阵列，以及覆盖成像像素阵列的滤色器元件阵列。成像像素可以以图案布置，该图案可包括像素组的重复2×2单元格，并且每个像素组可包括可见光像素子组和近红外光像素子组。
每个像素组的可见光像素子组可包括第一相邻可见光像素和第二相邻可见光像素。每个像素组的近红外光像素子组可包括第一相邻近红外光像素和第二相邻近红外光像素。像素组的2×2单元格可包括第一像素组、第二像素组、第三像素组和第四像素组。第一像素组的可见光像素子组可包括绿色像素子组，第二像素组的可见光像素子组可包括红色像素子组，第三像素组的可见光像素子组可包括蓝色像素子组，并且第四像素组的可见光像素子组可包括绿色像素子组。
第一像素组的近红外光像素子组可被插置在第一组的绿色像素子组和第二像素组的红色像素子组之间，并且第三像素组的近红外光像素子组可被插置在第三像素组的蓝色像素子组和第四像素组的绿色像素子组之间。第二像素组的红色像素子组可被插置在第一像素组的近红外光像素子组和第二像素组的近红外光像素子组之间，并且第四像素组的绿色像素子组可被插置在第三像素组的近红外光像素子组和第四像素组的近红外光像素子组之间。第二像素组的近红外光像素子组可被插置在第一像素组的近红外光像素子组和第二像素组的红色像素子组之间，并且第四像素组的近红外光像素子组可被插置在第三像素组的近红外光像素子组和第四像素组的绿色像素子组之间。第一像素组的绿色像素子组可被插置在第一组的近红外光像素子组和第二像素组的近红外光像素子组之间，并且第三像素组的近红外光像素子组可被插置在第三像素组的蓝色像素子组和第四像素组的绿色像素子组之间。
图像传感器还可包括多个微透镜。每个可见光像素子组可被多个微透镜中的单个相应微透镜覆盖，并且每个近红外光像素子组可被多个微透镜中的单个相应微透镜覆盖。至少一个像素组的成像像素可被单个微透镜覆盖。图像传感器还可包括处理电路，该处理电路处理来自像素组的信号并且将对应的拜耳图案输出到处理器以便去马赛克。处理电路可被配置为处理来自可见光像素子组的信号以及来自近红外光像素子组的信号以对于像素组的重复2×2单元格的每个像素组获得第一组经处理的图像数据和第二组经处理的图像数据。第一组经处理的图像数据可为一组单色图像数据，并且第二组经处理的图像数据可为一组拜耳图像数据。处理电路可被配置为将该组单色图像数据与该组拜耳图像数据混合成包括近红外光信息和可见光信息的一组输出数据，并且将该组输出数据输出到处理器以便去马赛克
在各种实施方案中，图像传感器可包括以图案布置的多个光电二极管和多个滤色器元件。多个光电二极管中的每个光电二极管可被多个滤色器元件中的相应滤色器元件覆盖，图案可包括成组的重复2×2单元格，并且每个组可包括第一子组的可见光滤色器元件和第二子组的近红外光滤色器元件。
每个组的第一子组可包括第一相邻可见光滤色器元件和第二相邻可见光滤色器元件。每个组的第二子组可包括第一相邻近红外光滤色器元件和第二相邻近红外光滤色器元件。成组的2×2单元格可包括在第三组和第四组之上的第一组和第二组，第一像素组的第一子组可包括第一相邻绿色滤色器元件和第二相邻绿色滤色器元件，第二组的第一子组可包括第一相邻红色滤色器元件和第二相邻红色滤色器元件，第三组的第一子组可包括第一相邻蓝色滤色器元件和第二相邻蓝色滤色器元件，并且第四组的第一子组可包括第一相邻绿色滤色器元件和第二相邻绿色滤色器元件。
在各种实施方案中，处理来自包括可见光像素和近红外光像素的成像像素阵列的信号的方法可包括对于每组成像像素，从包括第一组成像像素、第二组成像像素、第三组成像像素和第四组成像像素的成像像素的4×4单元格接收信号；处理接收的信号以获得该组成像像素的单个代表性值；以及以拜耳图案输出每组成像像素的代表性值。每组成像像素可包括可见光像素和近红外光像素。
处理第一组成像像素的接收的信号可包括确定来自第一组的可见光像素和近红外光像素的信号的平均值。处理第一组成像像素的接收的信号可包括确定来自第一组的近红外光像素的信号的平均值。处理第一组成像像素的接收的信号可包括确定来自第一组的近红外光像素的信号的第一平均值，确定来自第一组的可见光像素的信号的第二平均值，并且从第二平均值减去第一平均值。处理第一组成像像素的接收的信号可包括确定来自第一组的可见光像素的信号的平均值。
根据一个实施方案，图像传感器可包括具有可见光像素和近红外光像素的成像像素阵列，以及覆盖成像像素阵列的滤色器元件阵列。成像像素可以以图案布置，该图案可包括像素组的重复2×2单元格，并且每个像素组可包括可见光像素子组和近红外光像素子组。
根据另一个实施方案，每个像素组的可见光像素子组可包括第一相邻可见光像素和第二相邻可见光像素。
根据另一个实施方案，每个像素组的近红外光像素子组可包括第一相邻近红外光像素和第二相邻近红外光像素。
根据另一个实施方案，像素组的2×2单元格可包括第一像素组、第二像素组、第三像素组和第四像素组，第一像素组的可见光像素子组可包括绿色像素子组，第二像素组的可见光像素子组可包括红色像素子组，第三像素组的可见光像素子组可包括蓝色像素子组，并且第四像素组的可见光像素子组可包括绿色像素子组。
根据另一个实施方案，第一像素组的近红外光像素子组可被插置在第一组的绿色像素子组和第二像素组的红色像素子组之间，并且第三像素组的近红外光像素子组可被插置在第三像素组的蓝色像素子组和第四像素组的绿色像素子组之间。
根据另一个实施方案，第二像素组的红色像素子组可被插置在第一像素组的近红外光像素子组和第二像素组的近红外光像素子组之间，并且第四像素组的绿色像素子组可被插置在第三像素组的近红外光像素子组和第四像素组的近红外光像素子组之间。
根据另一个实施方案，第二像素组的近红外光像素子组可被插置在第一像素组的近红外光像素子组和第二像素组的红色像素子组之间，并且第四像素组的近红外光像素子组可被插置在第三像素组的近红外光像素子组和第四像素组的绿色像素子组之间。
根据另一个实施方案，第一像素组的绿色像素子组可被插置在第一组的近红外光像素子组和第二像素组的近红外光像素子组之间，并且第三像素组的近红外光像素子组可被插置在第三像素组的蓝色像素子组和第四像素组的绿色像素子组之间。
根据另一个实施方案，图像传感器还可包括多个微透镜。每个可见光像素子组可被多个微透镜中的单个相应微透镜覆盖，并且每个近红外光像素子组可被多个微透镜中的单个相应微透镜覆盖。
根据另一个实施方案，至少一个像素组的成像像素可被单个微透镜覆盖。
根据另一个实施方案，图像传感器还可包括处理电路，该处理电路被配置为对于像素组的重复2×2单元格的每个像素组，处理来自可见光像素子组的信号和来自近红外光像素子组的信号以获得第一组经处理的图像数据和第二组经处理的图像数据。
根据另一个实施方案，第一组经处理的图像数据可为一组单色图像数据，并且第二组经处理的图像数据可为一组拜耳图像数据。
根据另一个实施方案，处理电路可被配置为将该组单色图像数据与该组拜耳图像数据混合成包括近红外光信息和可见光信息的一组输出数据，并且将该组输出数据输出到处理器以便去马赛克。
根据一个实施方案，图像传感器可包括以图案布置的多个光电二极管和多个滤色器元件。多个光电二极管中的每个光电二极管可被多个滤色器元件中的相应滤色器元件覆盖，图案包括成组的重复2×2单元格，并且每个组可包括第一子组的可见光滤色器元件和第二子组的近红外光滤色器元件。
根据另一个实施方案，每个组的第一子组可包括第一相邻可见光滤色器元件和第二相邻可见光滤色器元件。
根据另一个实施方案，每个组的第二子组可包括第一相邻近红外光滤色器元件和第二相邻近红外光滤色器元件。
根据另一个实施方案，成组的2×2单元格可包括在第三组和第四组之上的第一组和第二组，第一像素组的第一子组可包括第一相邻绿色滤色器元件和第二相邻绿色滤色器元件，第二组的第一子组可包括第一相邻红色滤色器元件和第二相邻红色滤色器元件，第三组的第一子组可包括第一相邻蓝色滤色器元件和第二相邻蓝色滤色器元件，并且第四组的第一子组可包括第一相邻绿色滤色器元件和第二相邻绿色滤色器元件。
根据一个实施方案，处理来自包括可见光像素和近红外光像素的成像像素阵列的信号的方法可包括从包括第一组成像像素、第二组成像像素、第三组成像像素和第四组成像像素的成像像素的4×4单元格接收信号；对于每组成像像素处理接收的信号以获得该组成像像素的单个代表性值，其中每组成像像素包括可见光像素和近红外光像素；以及以拜耳图案输出每组成像像素的代表性值。
根据另一个实施方案，处理第一组成像像素的接收的信号可包括确定来自第一组的可见光像素和近红外光像素的信号的平均值。
根据另一个实施方案，处理第一组成像像素的接收的信号可包括确定来自第一组的近红外光像素的信号的平均值。
根据另一个实施方案，处理第一组成像像素的接收的信号可包括确定来自第一组的近红外光像素的信号的第一平均值，确定来自第一组的可见光像素的信号的第二平均值，并且从第二平均值减去第一平均值。
根据另一个实施方案，处理第一组成像像素的接收的信号可包括确定来自第一组的可见光像素的信号的平均值。
前述内容仅是对本实用新型原理的例示性说明，并且本领域技术人员可以进行多种修改。上述实施方案可单独实施或以任意组合方式实施。

Claims (10)

1.一种图像传感器，包括：
成像像素阵列，所述成像像素阵列具有可见光像素和近红外光像素；以及
滤色器元件阵列，所述滤色器元件阵列覆盖所述成像像素阵列，其中成像像素以图案布置，其中所述图案包括像素组的重复2×2单元格，并且其中每个像素组包括可见光像素子组和近红外光像素子组。
2.根据权利要求1所述的图像传感器，其中每个像素组的所述可见光像素子组包括第一相邻可见光像素和第二相邻可见光像素。
3.根据权利要求2所述的图像传感器，其中每个像素组的所述近红外光像素子组包括第一相邻近红外光像素和第二相邻近红外光像素。
4.根据权利要求3所述的图像传感器，其中像素组的2×2单元格包括第一像素组、第二像素组、第三像素组和第四像素组，其中所述第一像素组的所述可见光像素子组包括绿色像素子组，其中所述第二像素组的所述可见光像素子组包括红色像素子组，其中所述第三像素组的所述可见光像素子组包括蓝色像素子组，并且其中所述第四像素组的所述可见光像素子组包括绿色像素子组。
5.根据权利要求1所述的图像传感器，还包括：
多个微透镜，其中每个可见光像素子组被所述多个微透镜中的单个相应微透镜覆盖，并且其中每个近红外光像素子组被所述多个微透镜中的单个相应微透镜覆盖。
6.根据权利要求1所述的图像传感器，还包括处理电路，所述处理电路被配置为：
对于像素组的所述重复2×2单元格的每个像素组，处理来自所述可见光像素子组的信号和来自所述近红外光像素子组的信号以获得第一组经处理的图像数据和第二组经处理的图像数据。
7.根据权利要求6所述的图像传感器，其中所述第一组经处理的图像数据为单色图像数据组，并且所述第二组经处理的图像数据为拜耳图像数据组。
8.根据权利要求7所述的图像传感器，其中所述处理电路被配置为：
将所述单色图像数据组与所述拜耳图像数据组混合成包括近红外光信息和可见光信息的输出数据组；并且
将所述输出数据组输出到处理器以便去马赛克。
9.一种图像传感器，包括：
多个光电二极管；以及
多个滤色器元件，所述多个滤色器元件以图案布置，其中所述多个光电二极管中的每个光电二极管被所述多个滤色器元件中的相应滤色器元件覆盖，其中所述图案包括成组的重复2×2单元格，并且其中每个组包括第一子组的可见光滤色器元件和第二子组的近红外光滤色器元件。
10.根据权利要求9所述的图像传感器，其中每个组的所述第一子组包括第一相邻可见光滤色器元件和第二相邻可见光滤色器元件，其中每个组的所述第二子组包括第一相邻近红外光滤色器元件和第二相邻近红外光滤色器元件，其中成组的2×2单元格包括在第三组和第四组之上的第一组和第二组，其中第一组的第一子组包括第一相邻绿色滤色器元件和第二相邻绿色滤色器元件，其中所述第二组的第一子组包括第一相邻红色滤色器元件和第二相邻红色滤色器元件，其中第三组的第一子组包括第一相邻蓝色滤色器元件和第二相邻蓝色滤色器元件，并且其中第四组的第一子组包括第一相邻绿色滤色器元件和第二相邻绿色滤色器元件。
CN201820420083.3U 2017-05-24 2018-03-27 图像传感器 Active CN208158780U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201821631882.1U CN208820947U (zh) 2017-05-24 2018-03-27 图像传感器

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762510333P 2017-05-24 2017-05-24
US62/510,333 2017-05-24
US15/783,022 US10090347B1 (en) 2017-05-24 2017-10-13 Image sensor with near-infrared and visible light pixels
US15/783,022 2017-10-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201821631882.1U Division CN208820947U (zh) 2017-05-24 2018-03-27 图像传感器

Publications (1)

Publication Number Publication Date
CN208158780U true CN208158780U (zh) 2018-11-27

Family

ID=63638635

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201820420083.3U Active CN208158780U (zh) 2017-05-24 2018-03-27 图像传感器
CN201821631882.1U Active CN208820947U (zh) 2017-05-24 2018-03-27 图像传感器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201821631882.1U Active CN208820947U (zh) 2017-05-24 2018-03-27 图像传感器

Country Status (2)

Country Link
US (2) US10090347B1 (zh)
CN (2) CN208158780U (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112243096A (zh) * 2020-09-30 2021-01-19 格科微电子（上海）有限公司 像素合成模式下的像素读取方法及装置、存储介质、图像采集设备
CN113366527A (zh) * 2019-01-31 2021-09-07 三星电子株式会社 用于处理图像的电子装置和方法
WO2021174425A1 (zh) * 2020-03-03 2021-09-10 华为技术有限公司 图像传感器和图像感光方法
CN113824907A (zh) * 2020-06-18 2021-12-21 爱思开海力士有限公司 图像感测装置及其操作方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019175912A (ja) * 2018-03-27 2019-10-10 ソニーセミコンダクタソリューションズ株式会社 撮像装置、及び、画像処理システム
CN110611779B (zh) * 2019-09-27 2021-11-26 华南师范大学 一种基于单图像传感器同时获取可见光与近红外波段的成像装置及其成像方法
EP3848966A1 (en) * 2020-01-13 2021-07-14 ams Sensors Belgium BVBA Pixel cell and method for manufacturing a pixel cell
US20210314500A1 (en) * 2020-04-03 2021-10-07 Rockwell Collins, Inc. Color night vision system and method
US20220165779A1 (en) * 2020-11-20 2022-05-26 Taiwan Semiconductor Manufacturing Company Limited Pixel array including octagon pixel sensors
US20220191411A1 (en) * 2020-12-11 2022-06-16 Qualcomm Incorporated Spectral image capturing using infrared light and color light filtering

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7329856B2 (en) 2004-08-24 2008-02-12 Micron Technology, Inc. Image sensor having integrated infrared-filtering optical device and related method
US20060221218A1 (en) 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US8237121B2 (en) 2008-02-07 2012-08-07 Omnivision Technologies, Inc. Alternating row infrared filter for an image sensor
KR101475464B1 (ko) 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
US20140160253A1 (en) * 2012-12-10 2014-06-12 Microsoft Corporation Hyperspectral imager
US9749553B2 (en) 2013-08-23 2017-08-29 Semiconductor Components Industries, Llc Imaging systems with stacked image sensors
US20150062347A1 (en) 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
US10051211B2 (en) 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
US9699393B2 (en) 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
US9806122B2 (en) 2014-07-25 2017-10-31 Omnivision Technologies, Inc. Visible and infrared image sensor
US9799699B2 (en) 2014-09-24 2017-10-24 Omnivision Technologies, Inc. High near infrared sensitivity image sensor
US9711560B2 (en) 2014-12-05 2017-07-18 Taiwan Semiconductor Manufacturing Co., Ltd. CMOS image sensor structure with IR/NIR integration

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113366527A (zh) * 2019-01-31 2021-09-07 三星电子株式会社 用于处理图像的电子装置和方法
WO2021174425A1 (zh) * 2020-03-03 2021-09-10 华为技术有限公司 图像传感器和图像感光方法
CN113824907A (zh) * 2020-06-18 2021-12-21 爱思开海力士有限公司 图像感测装置及其操作方法
CN112243096A (zh) * 2020-09-30 2021-01-19 格科微电子（上海）有限公司 像素合成模式下的像素读取方法及装置、存储介质、图像采集设备
CN112243096B (zh) * 2020-09-30 2024-01-02 格科微电子（上海）有限公司 像素合成模式下的像素读取方法及装置、存储介质、图像采集设备

Also Published As

Publication number Publication date
CN208820947U (zh) 2019-05-03
US10090347B1 (en) 2018-10-02
US20180366507A1 (en) 2018-12-20
US10283545B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
CN208158780U (zh) 图像传感器
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN103327342B (zh) 具有透明滤波器像素的成像系统
CN111614886B (zh) 图像传感器和电子设备
US7745779B2 (en) Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
CN205792895U (zh) 成像系统
US20100149393A1 (en) Increasing the resolution of color sub-pixel arrays
CN208690261U (zh) 图像传感器
CN205726019U (zh) 成像系统、成像设备和图像传感器
CN106161890B (zh) 成像装置、成像系统以及信号处理方法
US7688368B2 (en) Image sensor with improved light sensitivity
CN104488259A (zh) 使用单色传感器的宽动态范围
US9184195B2 (en) Color imaging element and imaging device
US11258992B2 (en) Image processing method and filter array including wideband filter elements and narrowband filter elements
CN104412581B (zh) 彩色摄像元件及摄像装置
KR20160065464A (ko) 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
US9219894B2 (en) Color imaging element and imaging device
CN209345244U (zh) 成像系统和相机模块
US9185375B2 (en) Color imaging element and imaging device
CN206506600U (zh) 含有成像设备的系统
CN110392192A (zh) 具有带有微透镜的成像像素的图像传感器
CN207251823U (zh) 成像设备和成像系统
US20190320130A1 (en) Light-sensor module, method for operating a light-sensor module and method for producing a light-sensor module
Turner et al. Development challenges of a new image capture technology: Foveon X3 image sensors
US11696041B2 (en) Image sensor, control method, camera component and mobile terminal with raised event adaptability and phase detection auto focus

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant