CN204498282U - 具有可见光感光像素和红外光感光像素的成像系统 - Google Patents

具有可见光感光像素和红外光感光像素的成像系统 Download PDF

Info

Publication number
CN204498282U
CN204498282U CN201420699257.6U CN201420699257U CN204498282U CN 204498282 U CN204498282 U CN 204498282U CN 201420699257 U CN201420699257 U CN 201420699257U CN 204498282 U CN204498282 U CN 204498282U
Authority
CN
China
Prior art keywords
image sensor
image
pixel
sensor pixel
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201420699257.6U
Other languages
English (en)
Inventor
B·凯兰
M·米利纳尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Components Industries LLC
Original Assignee
Semiconductor Components Industries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Components Industries LLC filed Critical Semiconductor Components Industries LLC
Application granted granted Critical
Publication of CN204498282U publication Critical patent/CN204498282U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本实用新型涉及具有可见光感光像素和红外光感光像素的成像系统。一个技术问题是解决与现有技术中存在的一个或更多个问题相关的问题。根据一个实施例，图像传感器可以具有布置为滤色器单元小区中的图像像素的阵列，每个图像像素具有至少一个产生红色图像信号的红色图像像素、至少一个产生蓝色图像信号的蓝色图像像素、至少一个产生空白图像信号的空白图像像素、至少一个产生红外图像信号的红外图像像素、和可选的至少一个产生绿色图像信号的绿色图像像素。处理电路可以对图像信号执行点滤波操作，以生成具有改善的图像质量的校正的可见光图像信号。根据本实用新型的方面的实施例，可以提供具有改善的信噪比等的图像信号。

Description

具有可见光感光像素和红外光感光像素的成像系统
技术领域
本实用新型一般涉及成像设备，并且更具体而言，涉及具有宽带(broadband)图像像素和红外图像像素的成像设备。
背景技术
图像传感器通常被用于电子设备(诸如蜂窝电话、照相机和计算机)来捕捉图像。在典型的布置中，电子设备设置有布置为像素行和像素列的图像像素的阵列。电路通常耦接至每个像素列以从图像像素读出图像信号。
常规的成像系统采用单个的图像传感器，其中，可见光频谱由布置为拜耳马赛克图案的红色、绿色和蓝色(RGB)图像像素进行采样。拜耳马赛克图案包括2乘2图像像素的重复单元，具有彼此对角线相对的2个绿色像素，并且其他角落是红色和蓝色。然而，在从图像像素捕捉的图像信号中，因为信噪比(SNR)的限制，拜耳图案不容易能够经由更小的图像像素尺寸进一步将图像传感器小型化。
在一些情况下，成像系统可以设置有用于产生场景的红外图像的红外成像能力。在具有红外成像能力的常规成像系统中，拜耳马赛克图案中的一个绿色图像像素被替换为红外图像像素。然而，当捕捉可见光图像时，形成具有红外图像感光像素的拜耳马赛克图案会限制解析力(resolving power)并减小图像传感器的亮度响应和SNR。
因此，期望能够提供一种具有改善的捕捉并处理图像信号的装置的成像设备。
实用新型内容
本实用新型的一个技术问题是解决与现有技术中存在的一个或更 多个问题相关的问题。
根据本实用新型的一个方面，提供一种成像系统，其包括图像传感器像素阵列。其中，所述图像传感器像素阵列包括：第一组图像传感器像素，配置为响应于第一颜色的光产生第一图像信号；第二组图像传感器像素，配置为响应于不同于所述第一颜色的第二颜色的光产生第二图像信号；第三组图像传感器像素，配置为响应于至少两种颜色的光产生第三图像信号；以及一组红外图像传感器像素，配置为响应于红外光产生红外图像信号。
根据一个实施例，在上述的成像系统中，所述至少两种颜色从如下组中选择：红色、绿色和蓝色。
根据一个实施例，在上述的成像系统中，所述图像传感器像素阵列包括图像传感器像素的多个单元小区，其中，所述多个单元小区中的每个单元小区包括：来自所述第一组图像传感器像素的第一图像传感器像素；来自所述第二组图像传感器像素的第二图像传感器像素；来自所述第三组图像传感器像素的第三图像传感器像素；以及来自所述一组红外图像传感器像素的红外图像传感器像素。
根据一个实施例，在上述的成像系统中，所述多个单元小区中的每个单元小区包括来自所述一组红外图像传感器像素的额外的红外图像传感器像素。
根据一个实施例，在上述的成像系统中，所述多个单元小区中的每个单元小区包括布置在第一行和第二行中的8个图像传感器像素，其中，所述第一行包括来自所述第三组图像传感器像素的第一对图像传感器像素，并且其中，所述第二行包括来自所述第三组图像传感器像素的第二对图像传感器像素。
根据一个实施例，在上述的成像系统中，所述多个单元小区中的每个单元小区包括布置在第一列和第二列中的8个图像传感器像素，其中，所述第一列包括来自所述第三组图像传感器像素的第一对图像传感器像素，并且其中，所述第二列包括来自所述第三组图像传感器像素的第二对图像传感器像素。
根据一个实施例，在上述的成像系统中，所述图像传感器像素阵列还包括：第四组图像传感器像素，配置为响应于不同于所述第一颜色和所述第二颜色的第三颜色的光产生第四图像信号。并且其中，所述多个单元小区中的每个单元小区还包括：来自所述第四组图像传感器像素的第四图像传感器像素。
根据一个实施例，在上述的成像系统中，所述第一图像传感器像素包括红色图像传感器像素，所述第二图像传感器像素包括蓝色图像传感器像素，所述第四图像传感器像素包括绿色图像传感器像素，并且所述多个单元小区中的每个单元小区包括来自所述第三组图像传感器像素的3个额外的图像传感器像素。所述成像系统还包括：处理电路，其中，所述处理电路被配置为对所述第一图像信号、所述第二图像信号、所述第三图像信号和所述第四图像信号执行滤波操作，增加与所述第一图像信号、所述第二图像信号、所述第三图像信号和所述第四图像信号关联的噪声相关性。
根据一个实施例，在上述的成像系统中，所述第一图像传感器像素包括红色图像传感器像素，所述第二图像传感器像素包括蓝色图像传感器像素，所述第四图像传感器像素包括绿色图像传感器像素。所述多个单元小区中的每个单元小区还包括：额外的红色图像传感器像素；额外的蓝色图像传感器像素；额外的绿色图像传感器像素；额外的红外图像传感器像素；以及来自所述第三组图像传感器像素的7个额外的图像传感器像素。其中，所述多个单元小区中的每个单元小区包括布置在第一行、第二行、第三行和第四行中的16个图像传感器像素，其中，图像传感器像素的所述第一行、第二行、第三行和第四行中的每一行包括相应的一对图像传感器像素，所述相应的一对图像传感器像素来自所述第三组图像传感器像素。
根据一个实施例，在上述的成像系统中，所述第一图像传感器像素包括红色图像传感器像素，所述第二图像传感器像素包括蓝色图像传感器像素，并且所述第三图像传感器像素包括空白图像传感器像素。
根据本实用新型的方面的实施例，可以获得但不限于如下有益技术效果：提供具有改善的信噪比(SNR)等的图像信号。
附图说明
图1是依据本实用新型的实施例的具有成像系统的示例性电子设备的图。
图2是依据本实用新型的实施例的、示例性像素阵列和在图像传感器中从图像像素沿着列线读出像素数据的关联的控制电路的图。
图3是依据本实用新型的实施例的、具有宽带滤波图像像素的示例性像素单元小区的图。
图4-7是依据本实用新型的实施例的、具有用于产生可见光图像和红外图像的宽带滤波图像像素和红外感光图像像素的、不同尺寸的示例性像素单元小区的图。
图8是依据本实用新型的实施例的、可以由成像系统中的处理电路执行来处理从滤波的像素阵列接收的图像信号的示例性步骤的流程图，该滤波的像素阵列具有宽带滤波像素和红外感光像素。
图9是依据本实用新型的实施例的、可以由成像系统中的处理电路执行来对从滤波的像素阵列接收的图像信号进行去马赛克并滤波的示例性步骤的流程图，该滤波的像素阵列具有宽带滤波像素和红外感光图像像素。
图10是依据本实用新型的实施例的、可以由成像系统中的处理电路执行来对从滤波的像素阵列接收的图像信号应用点滤波的示例性步骤的流程图，该滤波的像素阵列具有宽带滤波图像像素和红外感光图像像素。
图11是依据本实用新型的实施例的、采用图1-10的实施例的处理器系统的框图。
具体实施方式
电子设备(诸如数码照相机、计算机、蜂窝电话和其他电子设备) 可以包含收集传入光来捕捉图像的图像传感器。图像传感器可以包含图像像素的阵列。图像传感器中的像素可以包含感光元件，诸如将传入光转换为图像信号的光电二极管。图像传感器可以具有任何数量的像素(例如几百或者几千以上)。典型的图像传感器例如可以具有数十万或者数百万的像素(例如百万像素)。图像传感器可以包含对应于由感光元件产生的电荷的控制电路，诸如用于操作图像像素的电路和用于读出图像信号的读出电路。读出电路可以包含耦接至像素的每列的可选择的读出电路，能够被启用或者禁用来减小设备的功耗并改善像素读出操作。
图1是使用图像传感器来捕捉图像的示例性电子设备的图。图1的电子设备10可以是便携电子设备，诸如照相机、蜂窝电话、平板计算机、网络摄像头、视频照相机、或者捕捉数字图像数据的其他成像设备。照相机模块12可以被用于将传入光转换为数字图像数据。照相机模块12可以包含一个以上的透镜14、和一个以上的对应的图像传感器16。在图像捕捉操作期间，来自场景的光可以通过透镜14聚焦在图像传感器16。图像传感器16可以包含用于将模拟像素数据转换为对应的数字图像数据，以提供给存储和处理电路18的电路。如果需要的话，照相机模块12可以设置有透镜14的阵列和对应的图像传感器16的阵列。
处理电路18可以包含一个以上的集成电路(例如图像处理电路、微处理器、存储设备，诸如随机存取存储器和非易失性存储器等)，并可以使用与照相机模块12分离和/或形成照相机模块12的一部分的组件(例如，形成包含图像传感器16的集成电路的一部分的电路、或者与图像传感器16关联的模块12内的集成电路)来实现。已由照相机模块12捕捉的图像数据可以使用处理电路18来处理并存储。如果需要的话，处理的图像数据可以使用耦接至处理电路18的有线和/或无线通信路径提供给外部装置(例如计算机或者其他设备)。
如图2所示，图像传感器16可以包含含有图像传感器像素22(本文有时称为图像像素22)的像素阵列20以及控制和处理电路24。阵 列20例如可以含有数百或者数千行和列的图像传感器像素22。控制电路24可以耦接至行解码器电路26和列解码器电路28。行解码器电路26可以从控制电路24接收行地址，并通过控制路径32将对应的行控制信号(诸如重置、行选择、传输以及读出控制信号)供应至像素22。一个以上的导电线(诸如列线32)可以耦接至阵列20中的像素22的每列。列线32可以用于从像素22读出图像信号，并用于将偏置信号(例如偏置电流或者偏置电压)供应至像素22。在像素读出操作期间，阵列20中的像素行可以使用行解码器电路26来选择，并且与该像素行中的图像像素22关联的图像数据能够沿着列线32读出。
列解码器电路28可以包含采样和保持电路、放大器电路、模数转换电路、偏置电路、列存储器、用于选择性启用或禁用列电路的锁存电路、或者耦接至阵列20中像素的一个以上的列用来操作像素22并用来从像素22读出图像信号的其他电路。列解码器电路28可以被用于选择性将功率提供至列线32的选择的子集的列电路。读出电路(诸如与列解码器电路28关联的信号处理电路，例如采样和保持电路以及模数转换电路)可以被用于对于选择的像素列中的像素，通过路径25将数字图像数据供应至控制和处理电路24和/或处理器18(图1)。
图像传感器像素(诸如图像像素22)通常设置有滤色器阵列，该滤色器阵列允许单个的图像传感器使用以拜耳马赛克图案布置的对应的红色、绿色和蓝色图像传感器像素，对红色、绿色和蓝色(RGB)光采样。拜耳马赛克图案包括2乘2图像像素的重复单元小区，其中2个绿色图像像素彼此对角线相对，并且相邻于与蓝色图像像素对角线相对的红色图像像素。然而，与拜耳马赛克图案关联的信噪比(SNR)的限制使其难以减小图像传感器(诸如图像传感器16)的尺寸。因此，可以期望能够提供一种具有改善的捕捉图像的装置的图像传感器。
在一个适当的布置(有时本文说明为示例)中，拜耳图案中的绿 色像素被替换为图3所示的宽带图像像素。如图3所示，图像像素22的单元小区34可以由彼此对角线相对的2个空白(clear)(C)图像像素(有时被称为白色图像像素、或者空白滤波图像像素)形成，并且空白(C)图像像素相邻于与蓝色(B)图像像素对角线相对的红色(R)图像像素。单元小区34中的空白图像像素22可以形成有跨可见光频谱传输光的可见地透明的滤色器(例如，空白像素22能够捕捉白色光)。空白图像像素22可以具有由形成透明的滤色器的材料、和/或形成图像传感器像素的材料(例如硅)限定的自然感光度。在另一个适当的布置中，空白图像像素22可以形成而没有任何滤色器元件。如果需要的话，空白图像像素22的感光度可以通过使用光吸收剂(诸如色素)来被调节用于更好的颜色再现和/或噪声特性。空白图像像素22可以对跨整个可见光频谱的光感光、或者可以对可见光频谱的宽部感光。单元小区34可以跨图像像素阵列20重复，以形成红色、空白和蓝色图像像素22的马赛克。通过这样，红色图像像素可以响应于红色光产生红色图像信号，蓝色图像像素可以响应于蓝色光产生蓝色图像信号，并且空白图像像素可以响应于白色光产生空白图像信号(例如，任何期望的宽频谱可见光)。空白图像像素22可以对至少下面颜色的2个光的任何适当组合具有实质的响应：红色、绿色和蓝色。通过这样，空白图像像素22可以相对于每个单元小区中的非空白图像像素(例如，因此空白像素22可以有时称作宽带图像像素22)具有宽带响应。如果需要的话，宽带像素22可以具有空白滤色器元件，其中，诸如黄色色素的色素已增加至空白滤色器元件材料(例如使得宽带像素22的滤色器传递红色和绿色光)。图3的示例仅仅是示例性的。如果需要的话，单元小区34可以具有任何期望的尺寸，可以是矩形，并可以包含任何期望的颜色的像素。
像素阵列20中的图像像素22可以具有延伸至红外(IR)电磁频谱的区域的原生感光度(例如，图像像素22可以具有对具有大于700nm的波长的光的感光度)。在可见的成像应用中，该不希望的红外感光度可以通过在照相机模块12中形成红外截止滤波器来抑制。 例如，红外截止滤波器可以插入在透镜14与图像传感器16之间(图1)，可以形成作为在透镜14的一个以上的表面的涂层等。在一个适当的布置中，红外陷波滤波可以跨阵列20中的每个图像像素22插入在透镜14与图像传感器16之间。在另一个适当的布置中，红外截止滤波器可以仅涂布在对可见光感光的阵列20中的像素上。
在一些方案中，设备10可以包含可见光感光图像像素(例如红色图像像素、绿色图像像素、蓝色图像像素等)和红外光感光图像像素的分离阵列。然而，在设备10形成分离的红外像素阵列可能在设备10内占据过量的空间。如果需要的话，设备10可以包含一个以上的红外光感光图像像素22(有时本文称为红外感光像素、红外像素、或者红外图像像素22)用于捕捉红外图像。具有红外像素22的设备10例如可以形成为监控成像系统、游戏成像系统、汽车成像系统、或者任何其他期望的成像系统的一部分。如果需要的话，设备10可以包含使用中心为约选择的红外波长的红外光来照亮场景的红外光发射器。
具有红外像素22的像素阵列20可以被用于执行可见光和红外光成像操作这两者。具有红外像素22的像素阵列20可以响应于红外光产生红外光图像，并且可以响应于可见光产生可见光图像。像素阵列20中的红外感光图像像素22可以对红外光(例如具有大于或者等于700nm波长的光)感光。红外感光图像像素22可以对可见光(例如具有波长为400至700nm之间的光)不感光。例如，红外像素22可以包含阻断可见光被红外像素捕捉的可见光截止滤波器。
如果需要的话，阵列20中的图像像素22的每个单元小区可以包含一个以上的红外图像像素22(例如，图3的单元小区34中的一个图像像素可以被替换为红外图像像素)。具有红外图像像素的阵列20中的重复单元小区每个可以包含任何期望数量的图像像素22。例如，阵列20可以包含2像素乘4像素的单元小区，2像素乘2像素的单元小区，4像素乘4像素的单元小区，或者每个包含宽带像素和红外图像像素的任何其他期望尺寸的单元小区。
图4示出包含红外图像像素22的阵列20中的示例性单元小区的图。在图4的示例中，阵列20包含图像像素22的重复单元小区40。单元小区40可以是8个图像像素22的2像素乘4像素单元小区。如图4所示，单元小区40可以包含4个宽带图像像素(C)、一个红色图像像素(R)、一个绿色图像像素(G)、一个蓝色图像像素(B)和一个红外图像像素(IR)。红外图像像素22例如可以包含当传输红外光时阻断可见光的黑色滤色器元件。
单元小区40中的宽带图像像素(C)可以形成彼此对角线相邻的之字形(棋盘)图案。单元小区40的第一行可以包含相邻于绿色图像像素形成的第一宽带图像像素。第二宽带图像像素可以插入在绿色图像像素和红外图像像素之间。单元小区40的第二行可以包含相邻于第三宽带图像像素形成的红色图像像素。蓝色图像像素可以插入在第三宽带图像像素和第四宽带图像像素之间。单元小区40可以以重复图案遍及阵列20重复。具有重复单元小区40的阵列20因而可以在像素阵列的每列和每行包含宽带图像像素。阵列20可以在每4列中包含红外图像像素22。具有单元小区40的阵列20中的一半图像像素可以是宽带图像像素，相对于常规拜耳滤波图像传感器允许改善的光捕捉能力。具有单元小区40的阵列20因而可以收集相对于拜耳滤波图像传感器具有改善的SNR、改善的亮度通道图像保真度、以及改善的解析力的图像信号。
图4的示例仅仅是示例性的。如果需要的话，单元小区40内的图像像素22可以以任何顺序布置。例如，单元小区40中的红色、绿色、蓝色和红外像素22的位置可以重排(例如，单元小区40中的红色图像像素的地点可以与绿色图像像素、蓝色图像像素、或者红外图像像素的地点互换，单元小区40中的绿色图像像素的地点可以与红色图像像素、蓝色图像像素、或者红外图像像素的地点互换，单元小区40中的红外图像像素的地点可以与红色图像像素、蓝色图像像素、或者绿色图像像素的地点互换等)。
图5示出具有可以在阵列20中形成的红外和空白图像像素22 的另一个示例性单元小区的图。在图5的示例中，像素阵列20包含图像像素22的4像素乘4像素单元小区42。如图5所示，单元小区42可以包含8个宽带图像像素(C)、2个红色图像像素(R)、2个蓝色图像像素(B)、2个红外图像像素(IR)和2个绿色图像像素(G)。单元小区42中的宽带图像像素(C)可以以棋盘图案彼此对角线相邻形成。单元小区42的第一行可以包含相邻于第一绿色图像像素形成的第一宽带图像像素。第二宽带图像像素可以插入在第一绿色图像像素和第一红外图像像素之间。单元小区42的第二行可以包含相邻于第三宽带图像像素形成的第一红色图像像素。第一蓝色图像像素可以插入在第三宽带图像像素和第四宽带图像像素之间。单元小区42的第三行可以包含相邻于第二红外图像像素形成的第五宽带图像像素。第六宽带图像像素可以插入在第二红外图像像素和第二绿色图像像素之间。单元小区42的第四行可以包含插入在第二蓝色图像像素和第二红色图像像素之间的第七宽带图像像素。第二红色图像像素可以插入在第七宽带图像像素和第八宽带图像像素之间。
单元小区42可以以重复图案遍及阵列20重复。通过这样，像素阵列20可以在像素阵列的每个行和列包含宽带图像像素，并可以在像素阵列的每2列包含红外图像像素。具有单元小区40的像素阵列20中的红色、绿色和蓝色图像像素可以位于像素阵列20的每2列中。具有单元小区42的阵列20中的一半图像像素22可以是宽带图像像素，相对于常规拜耳滤波图像传感器允许改善的光捕捉能力。具有单元小区42的阵列20因而可以收集相对于拜耳滤波图像传感器具有改善的SNR、改善的亮度通道图像保真度、以及改善的解析力的图像信号。具有单元小区42的像素阵列20相对于具有图4的单元小区40的像素阵列可以具有改善的色度解析力和对准，因为红色、蓝色、绿色和红外图像像素22位于具有单元小区42的像素阵列的每2列中，而红色、蓝色、绿色和红外图像像素22位于具有单元小区40的像素阵列的每4列中。然而，具有单元小区42的像素阵列20与具有图4的单元小区40的像素阵列20相比会要求更多图像处理资源(例如， 与具有单元小区42的相比，具有单元小区40的图像传感器可以更快执行图像处理操作)。
图5的示例仅仅是示例性的。如果需要的话，单元小区42内的图像像素22可以以任何顺序布置。例如，单元小区42中的红色、绿色、蓝色和红外像素22的位置可以重排(例如，单元小区42中的红色图像像素的地点可以与绿色图像像素的地点互换，单元小区42中的一个红色图像像素的地点可以与一个蓝色图像像素的地点互换，等)。
图6示出具有可以在像素阵列20中形成的红外和宽带图像像素22的另一个示例性单元小区的图。在图6的示例中，像素阵列20包含图像像素22的2像素乘4像素单元小区44。如图6所示，单元小区44可以包含4个宽带图像像素(C)、一个红色图像像素(R)、一个蓝色图像像素(B)和2个红外图像像素(IR)。单元小区44中的图像像素22可以类似于图4的单元小区40布置，但是单元小区40的绿色图像像素替换为第二红外图像像素。换言之，单元小区42中的宽带图像像素22可以形成彼此对角线相邻的以之字形(棋盘)图案。单元小区44的第一行可以包含相邻于第一红外图像像素形成的第一宽带图像像素。第二宽带图像像素可以插入在第一红外图像像素和第二红外图像像素之间。单元小区40的第二行可以包含相邻于第三宽带图像像素形成的红色图像像素。蓝色图像像素可以插入在第三宽带图像像素和第四宽带图像像素之间。
单元小区44可以以重复图案遍及阵列20重复。通过这样，像素阵列20可以在像素阵列的每个行和列包含宽带图像像素，并可以在每个第二列包含红外图像像素(例如，阵列20中的一半图像像素22可以是宽带图像像素)。具有单元小区44的像素阵列20相对于具有图4的单元小区40的像素阵列可以具有改善的红外解析力和失真(alias)，因为单元小区44中的红外图像像素的数量密度大于单元小区40中的红外图像像素的数量密度(例如，因为红外图像像素22位于具有单元小区44的阵列的每2列，而红外图像像素22位于具有 单元小区40的阵列的每4列)。具有单元小区44的图像传感器16可以通过从由阵列20产生的宽带图像信号执行红色图像信号和蓝色图像信号的加权减法，计算绿色图像信号。执行加权减法来产生绿色图像信号可以放大相对于具有图4的单元小区40的阵列由具有单元小区44的阵列产生的噪声。
图6的示例仅仅是示例性的。如果需要的话，单元小区44内的图像像素22可以以任何顺序布置。例如，单元小区44中的红色、蓝色和红外像素22的位置可以重排(例如，单元小区44中的红色图像像素的地点可以与蓝色图像像素的地点互换等)。当形成有单独涂布在可见光感光图像像素22的红外截止滤波器(例如，没有涂布在红外图像像素22)时，相对于当红外陷波滤波器对跨阵列20的所有图像像素22提供的方案，形成有单元小区44的阵列可以展现改善的成像性能。在红外截止滤波器单独涂布在可见光感光图像像素22的方案中，相对于单元小区40和42，单元小区44可以对图像传感器16提供改善的颜色再现。然而，当可见光图像像素单独覆盖有红外截止滤波器时，当红外光支配成像的场景(诸如具有主动红外照明的室内场景，例如视频游戏应用)时，图像像素可能不被用作红外感光像素。因此，图6所示的更高数量密度的红外像素能够在形成逐个像素(pixel-wise)红外截止滤波器的方案中有利。
图7示出具有可以在像素阵列20中形成的红外和宽带图像像素22的另一个示例性单元小区的图。在图7的示例中，像素阵列20包含图像像素22的2像素乘2像素单元小区46。如图7所示，单元小区46可以包含一个宽带图像像素(C)、一个红外图像像素(IR)、一个红色图像像素(R)和一个蓝色图像像素(B)。宽带图像像素可以与蓝色图像像素对角线相对地形成。红色图像像素可以相邻于宽带图像像素和蓝色图像像素并与红外图像像素对角线相对地形成。单元小区46可以以重复图案遍及阵列20重复。通过这样，宽带图像像素、红外图像像素、蓝色图像像素和红色图像像素22可以形成在像素阵列20的每第二列。
具有单元小区46的像素阵列20可以执行加权减法来产生绿色图像信号。执行加权减法来产生绿色图像信号相对于具有图4的单元小区40的阵列，可以放大由具有单元小区46的阵列产生的噪声。相对于具有图4的单元小区40的像素阵列，具有单元小区46的像素阵列20可以具有改善的色度解析力和失真，因为单元小区46中的红外、红色和蓝色图像像素的数量密度大于单元小区40中的红外、红色和蓝色图像像素的数量密度。相对于具有单元小区40、42或者44的阵列，具有单元小区46的阵列20可以具有减小的亮度解析力和信噪比(例如，因为具有单元小区46的阵列在每隔一列和行中包含宽带图像像素22，而具有单元小区40、42和44的阵列在每个列和行具有宽带图像像素22)。例如，具有单元小区46的阵列20相对于没有宽带图像像素的像素阵列可以具有约1dB的信噪比改善，而具有单元小区40、42、或者44的阵列20相对于拜耳滤波像素阵列可以具有约3dB的信噪比改善。然而，具有单元小区46的像素阵列20相对于具有单元小区40、42和44的像素阵列可以要求更少的图像处理资源，因为单元小区46具有比单元小区40、42和44更少的总像素(例如，具有单元小区46的图像传感器16比具有单元小区40、42、或者44的图像传感器，可以要求更少的时间和功率用于图像处理)。
图7的示例仅仅是示例性的。如果需要的话，单元小区46内的图像像素22可以以任何顺序布置。例如，单元小区46中的红色、蓝色、宽带和红外像素22的位置可以重排(例如，单元小区46中的红色图像像素的地点可以与蓝色图像像素的地点互换，等)。如果需要的话，图3-7的红色、绿色、和/或蓝色像素22可以被替换为任何期望颜色的图像像素(例如黄色、品红色、青色、或者具有比宽带图像像素22更窄的光谱响应的任何其他期望的颜色)。
与具有更窄滤色器(例如在可见光频谱的子集传输光的滤波器)的图像像素(诸如绿色图像像素)相比，阵列20中的宽带图像像素22能够通过收集额外的光，来帮助增加由图像像素22捕捉的图像信号的信噪比(SNR)。宽带图像像素22可以特别改善低光条件下的 SNR，其中，SNR有时能够限制图像的图像质量。从图像像素阵列20收集的具有宽带图像像素(例如如图3-7所示)的图像信号可以转换为红色、绿色和蓝色图像信号，以与被用于驱动大多数图像显示器(例如显示屏、监控器等)的电路和软件兼容。该转换通常涉及使用颜色校正矩阵(CCM)来修改捕捉的图像信号。如果不小心，那么颜色校正操作能够不期望地放大噪声。
在一个适当的布置中，由CCM产生的噪声可以通过在应用CCM至收集的图像信号之前实现强烈的去噪(例如色度去噪)而减小。色度去噪可以通过向由图像像素22收集的图像信号应用色度滤波，由处理电路18(图1)执行。色度滤波可以用来增加来自不同颜色的图像像素的图像信号(例如红色、白色和蓝色图像信号)之间的噪声相关性。增加来自不同颜色的图像像素的图像信号之间的噪声相关性可以减小由CCM放大的噪声，导致改善的最终图像质量。在另一个布置中，由CCM放大的噪声可以通过向捕捉的图像信号应用所谓的点滤波(point filter)来补偿。点滤波可以使用高保真度宽带图像信号来增强使用CCM生成的红色、绿色和蓝色图像信号的质量。如果需要的话，图像传感器16可以实现色度去噪和点滤波这两者，以减小由CCM放大的噪声，在最终图像中产生改善的亮度性能。
图8示出可以由处理电路(诸如图1的处理电路18)执行以处理由滤波的像素阵列(诸如像素阵列20)(例如，具有宽带和红外图像像素的像素阵列)收集的图像信号的示例性步骤的流程图。图8的步骤例如可以由处理电路18执行以产生可见光和/或红外光图像，并减小使用具有宽带图像像素和红外图像像素(诸如在图3-7中示出的)的单元小区捕捉的图像信号中的噪声。
在步骤100，图像传感器16可以从场景捕捉图像信号。由图像传感器16捕捉的图像信号可以包含响应于用宽带图像像素22收集的光产生的空白(宽带)图像信号，并可以包含响应于由红外图像像素22收集的红外光收集的红外图像信号。如果需要的话，图像信号还可以包含一个以上红色图像信号、蓝色图像信号、或者绿色图像信号(例 如根据使用哪个像素单元小区)。例如，如果阵列20形成有图4的单元小区40或者图5的单元小区42，那么图像信号可以包含红色、空白、红外和蓝色图像信号，并且如果阵列20形成有图6的单元小区44或者图7的单元小区46，那么图像信号可以另外包含绿色图像信号(例如，响应于用绿色图像像素22收集的光而产生的绿色图像信号)。
在图8的示例中，图像传感器16可以捕捉红色(R’)、宽带(C’)、蓝色(B’)、红外(IR’)和可选地绿色(G’)图像信号。红色图像信号可以具有第一光谱响应值(作为由红色图像传感器像素接收的光的波长的函数的信号功率电平)，蓝色图像信号可以具有第二光谱响应值，并且宽带图像信号可以具有第四光谱响应值，其例如大于第一和第二光谱响应值的总和(例如，宽带图像信号在可见光频谱对于相同的能量辐射器可以具有在标准CIE光源E下的宽带感光度)。图像信号可以具有与由每个图像像素22捕捉的光对应的图像值(例如，红色图像信号可以包含红色图像值，蓝色图像信号可以包含蓝色图像值等)。捕捉的图像信号可以传送至处理电路18用于图像处理。
在步骤102，处理电路18可以对捕捉的图像信号执行白平衡操作。在图6的示例中，处理电路18可以使用捕捉的图像信号，生成白平衡的红色图像信号(R)、白平衡的宽带图像信号(C)、白平衡的蓝色图像信号(B)、白平衡的红外图像信号(IR)、以及可选地白平衡的绿色图像信号(G)。
在步骤104，处理电路18可以对白平衡的图像信号去马赛克(demosaic)并应用色度滤波，以从白平衡的图像信号取出去马赛克的红色、宽带、红外、蓝色和可选的绿色图像数据。色度滤波可以应用到色度以对白平衡的图像信号去噪声。处理电路18例如可以同时、顺序地、或者以穿插的方式对图像信号去马赛克并应用色度滤波。应用色度滤波的该处理并对图像信号去马赛克本文可以有时称作“色度去马赛克”。色度滤波可以增加每个颜色的图像信号(例如，红色、 宽带、红外和蓝色通道中的噪声波动可以以相关方式一起增加或减少)之间的噪声相关性。例如，处理电路18可以增加红色、宽带、蓝色、红外和绿色图像信号之间的相关噪声至多至与红色、宽带、蓝色、红外和绿色图像信号关联的所有噪声的70％以上。通过增加噪声相关性，处理电路18可以减小当CCM应用到图像信号时产生的噪声放大的量。对图像信号色度去马赛克可以允许从可用的彩色图像信号确定(例如，通过对阵列20中的每个像素对丢失的像素值去马赛克)丢失的彩色图像信号(例如，非由图像像素产生的颜色的图像信号)。
对可见光频谱(例如红色像素、绿色像素、蓝色像素、宽带像素等)的光感光的图像像素22本文有时可以称作可见光感光像素22或者可见光像素22。在红外陷波滤波器跨阵列20中的每个图像像素22形成的方案中，由可见光感光图像像素22捕捉的一部分图像信号(例如阵列20中的红色、宽带、蓝色和绿色图像像素22)可以响应于红外光产生。由可见光感光图像像素22捕捉的红外光能够使可见光感光图像像素22产生错误的像素值。
在可选的步骤106，处理电路18可以对色度去马赛克的图像数据执行红外图像信号污染减法操作。在阵列范围的红外陷波滤波器对于阵列20的所有图像像素形成的方案中，处理电路18例如可以执行可选的步骤106。处理电路18可以确定响应于红外光产生的每个颜色的图像信号的部分的估计值。处理电路18可以从图像信号减去估计值，以去除对图像信号的红外光贡献。在图8的示例中，处理电路18通过分别从红色、蓝色、宽带和绿色图像信号减去估计值，可以产生减去红外的图像数据R-IRR、B-IRB、C-IRC、以及G-IRG。
如果需要的话，处理电路18可以使用红外减法矩阵，估计可见光图像信号的红外光贡献(部分)(例如，处理电路可以使用红外减法矩阵，确定可见光图像信号的红外部分的估计值)。估计值可以从由对应颜色的每个图像像素22产生的像素值减去。在图6和7的在像素阵列20没有形成绿色图像像素22的示例中，可以使用3行乘4列的红外减法矩阵，估计红色、宽带和蓝色图像信号的不期望的红外 部分。对于红色、蓝色和宽带图像信号的估计的红外光贡献例如可以使用下面的式子来确定：
IR R IR C IR B = k RR k RC k RB k RI k CR k CC k CB k CI k BR k BC k BB k BI R C B IR - - - ( 1 )
其中R、C、B和IR分别是红色、宽带、蓝色和红外像素值，其中IRR是红色像素值的红外部分的估计值(例如，IRR是响应于红外光由红色图像像素产生的红色像素值的部分的估计)，其中IRC是宽带像素值的红外部分的估计值，其中IRB是蓝色像素值的红外部分的估计值，并且其中kRR、kRC、…、kBI是用于估计红色、宽带、和蓝色图像信号的红外污染的常数值。
估计值IRR、IRC和IRB可以从可见光像素值减去，以产生减去红外的像素值R-IRR、B-IRB、C-IRC和G-IRG。在图6和7的在像素阵列20没有形成绿色图像像素22的示例中，减去红外的像素值(减去红外的图像数据)R-IRR、B-IRB和C-IRC例如可以使用下面的式子来确定：
R - IR R C - IR C B - IB B = ( R C B - IR R IR C IR B ) . - - - ( 2 )
减去红外的像素值R-IRR、B-IRB和C-IRC可以不受不期望的红外光污染。从可见光图像信号减去红外贡献能够减小捕捉的图像数据的信噪比。如果需要的话，处理电路18通过在从可见光图像信号减去估计的红外值之后执行暗电流减法，可以减轻减去红外的图像数据的噪声剪裁。如果需要的话，处理电路18可以执行额外的噪声滤波(例如，色度噪声滤波)以减轻通过执行红外信号减法而导致的噪声放大效果。
该示例仅仅是示例性的。如果需要的话，处理电路18可以对任何可见光图像信号(例如，基于阵列20的滤色器布置)执行红外减法操作。在图4和5的绿色图像像素22形成在阵列20的示例中，处理电路18可以使用4行乘5列红外减法矩阵，产生估计红外值IRR、IRC、IRB和IRG。在对可见光感光的单独像素22涂有红外截止滤波 器(例如，不是跨阵列20的所有的像素形成滤波涂层)的方案中，可见光感光像素22可以产生没有红外光贡献的图像信号(例如，因为关联的截止滤波器充分阻断红外光被像素22捕捉)，并可以省略执行步骤106的红外减法操作。
在可选的步骤108，通过执行与阵列20中的每个像素22关联的红外、红色、宽带、蓝色、和绿色像素值的线性组合(例如加权总和)，处理电路18可以产生亮度通道图像数据L(例如一个以上的亮度值，本文有时称为原始的亮度值)。通过执行包含与每个图像像素22关联的红外像素值的加权总和，相对于不包含红外图像像素22的成像系统，处理电路22可以减小像素值亮度通道中的噪声。亮度通道图像数据L可以接下来用于执行额外的图像处理操作，诸如对图像数据应用点滤波。
在步骤110，处理电路18可以向减去红外的红色图像数据、减去红外的蓝色图像数据、减去红外的空白(宽带)图像数据应用颜色校正矩阵(CCM)，并且可以可选地向减去红外的绿色图像数据应用CCM(例如，在阵列20包含绿色像素22的方案中)。在图6和7的示例中，其中，形成有阵列20而没有绿色图像像素，CCM可以从减去红外的宽带图像数据取出绿色图像数据以产生红色、绿色和蓝色图像数据。例如，CCM可以将图像数据转换为标准红色、标准绿色以及标准蓝色图像数据(有时共同称为线性sRGB图像数据或者简称为sRGB图像数据)。在图4和5的阵列20包含绿色图像像素22的示例中，CCM可以将减去红外的红色、蓝色、绿色和宽带图像数据转换为标准红色、标准绿色和标准蓝色图像数据。如果需要的话，可以对线性sRGB图像数据执行伽马校正处理。在伽马校正之后，sRGB图像数据可以用于使用图像显示器设备进行显示。在一些情况下，可以期望提供额外的降噪(例如，通过向sRGB图像数据应用点滤波)以进一步减轻通过向红色、宽带、蓝色和绿色图像数据应用CCM而产生的噪声放大。处理电路18可以保留宽带图像数据和亮度通道图像数据(例如，在步骤108产生的亮度通道图像数据L)用于在步骤 112中sRGB图像数据的进一步的处理。
在步骤112，处理电路18可以向图像数据应用点滤波(例如，向在向减去红外的图像数据应用CCM之后生成的sRGB图像数据)。点滤波可以对sRGB图像数据操作以产生校正的sRGB数据。点滤波可以用来进一步减小通过向减去红外的图像数据应用CCM导致的噪声放大。当使用显示器系统进行显示时，与在应用点滤波之前sRGB数据相比，校正的sRGB数据因而提供改善的图像质量(例如，更好的亮度性能)。
图9示出可以由处理电路18执行来去马赛克，并对从图像像素阵列20接收的图像信号进行滤波的示例性步骤的流程图。图9的步骤例如可以由处理电路18执行来对由图像像素22收集的红色、宽带和蓝色图像信号执行色度去马赛克，以在红色、宽带和蓝色图像数据中产生充分的噪声相关性。图9的步骤例如可以执行作为图8的步骤104的部分。
在步骤120，处理电路18可以对红外图像信号去马赛克，以生成红外图像数据(例如对于每个图像像素的红外图像(像素)值)。例如，处理电路18可以使用由红外图像像素22捕捉的红外像素值，对于阵列20中的每个非红外图像像素22插值红外像素值。通过这样，处理电路18可以对于阵列20中的每个可见光感光像素填充丢失的红外像素值。去马赛克的红外图像数据可以被用于对红色、蓝色、宽带和绿色图像数据执行红外减法操作(例如，在图8的处理步骤106)。在另一个适当的布置中，红外图像值可以对于可用图像像素22的组合生成。如果需要的话，处理电路18可以将去马赛克的红外图像数据传递至其他处理电路，用于额外的图像处理(例如，处理电路18可以使用去马赛克的红外图像数据来产生红外图像)。
在红外滤波涂层跨阵列20对于所有图像像素22提供(例如，当阵列20中的所有图像像素对红外光感光)的方案中，处理电路18可以基于跨通道噪声相关性，对红外图像信号执行插值。例如，在来自场景的大多数图像光是红外的低光照水平情形下(例如，如果有在低 环境光照水平下，由设备10上的红外发射器的主动红外照明的场景)，每个不同颜色的图像信号(例如，每个图像信号颜色通道)可以高度相关。处理电路18可以通过计算场景统计(例如，平均像素比率)来表征每个图像信号通道之间的量的相关性。如果需要的话，处理电路18可以使用识别的图像信号通道之间的相关性来确定对于红外图像像素22的插值方向，和/或确定红外像素值(例如，通过计算图像信号通道之间的拉普拉斯梯度(Laplacian gradient)、或者通过呈现恒定的本地色调并使用来自阵列20的附近的像素地点的颜色比率)。
在步骤122，处理电路18可以对宽带图像信号去马赛克，以生成宽带图像数据(例如，对于每个图像像素的宽带图像值)。在另一个适当的布置中，宽带图像值可以对于可用图像像素22的组合生成。宽带图像值可以被用于使用红色和蓝色图像信号来计算差值，以增加在红色、宽带和蓝色图像信号之间的噪声相关性。
在步骤124，处理电路18可以对于每个像素通过从红色图像值减去宽带图像值来产生红色差值。处理电路18可以通过从蓝色图像值减去宽带图像值来产生蓝色差值。红色差值例如可以对于阵列20中的每个红色图像像素计算，并且蓝色差值可以对于阵列20中的每个蓝色图像像素计算。
在步骤126，处理电路18可以使用色度滤波器对红色差值和蓝色差值滤波。可以向红色和蓝色差值应用色度滤波，例如通过执行由图像像素22的内核计算的差值的加权平均(例如，由执行步骤122计算的一组差值的加权平均)。图像像素的内核可以被定义为执行色度滤波的图像像素阵列20中的图像像素的子集(例如，内核可以包含图像像素阵列20中的一些或者所有的图像像素)。例如，当使用5像素乘5像素内核时，当执行色度滤波时差值的加权平均对于图像像素阵列20中的图像像素22的5像素乘5像素子集计算(例如，差值的加权总和可以使用图像像素阵列20中的25个周围图像像素的差值，对于给定的图像像素22计算)。一般而言，可以使用任何期望尺寸的内核。
在步骤128，宽带图像值可以加至色度滤波的红色差值和色度滤波的蓝色差值，以分别产生色度滤波的红色图像值和色度滤波的蓝色图像值。
在步骤130，处理电路18可以对色度滤波的红色图像值和色度滤波的蓝色图像值去马赛克，以生成色度去马赛克的红色图像数据和色度去马赛克的蓝色图像数据(例如，已被色度去马赛克的红色和蓝色图像数据)，其具有增加的相关噪声。去马赛克的宽带图像数据和色度去马赛克的红色和蓝色图像数据然后可以被操作，以产生结合图8的步骤106如上所述的减去红外的宽带、红色和蓝色图像数据。
图9的示例仅仅是示例性的。如果需要的话，处理电路18可以在产生红色和蓝色差值之前，对色度滤波的红色和蓝色图像值去马赛克(例如，处理电路18可以在步骤112之前执行步骤118)。在阵列20包含绿色图像像素的方案中(例如，如图4和5所示)，处理电路18可以产生色度去马赛克的绿色图像数据。
如果在图像像素22的充分大的内核执行差值的色度滤波，那么在色度滤波之后(例如在执行步骤114之后)，来自红色和蓝色图像信号的最小噪声可以保持在红色和蓝色差值中。例如，如果内核具有15像素乘15像素以上的尺寸，那么色度滤波可以将红色和蓝色色度滤波的差值中的噪声减小至可以忽略的水平。如果需要的话，图像像素22的内核可以包含位于多个图像像素阵列20的图像像素、位于多个图像传感器16的图像像素和/或在多个时间帧期间使用的图像像素(例如，以允许时间(temporal)去噪)。当宽带图像值增加至色度滤波的差值时，宽带图像值中的噪声可能在差值中的噪声支配。通过这样，在步骤126生成的红色和蓝色图像数据的噪声可以实质上等于宽带图像数据中的噪声。因而，红色和蓝色图像数据中的噪声可以是高度相关，导致减小由CCM放大的噪声。
CCM可以对减去红外的红色、宽带和蓝色图像数据操作，以在步骤110生成线性sRGB数据(图6)。在阵列20不包含绿色图像像素22的示例中，CCM可以从宽带图像数据取出信息，以产生标准绿 色数据。在用CCM对图像数据操作之后，宽带图像数据(例如，在步骤120生成的去马赛克的宽带图像数据)可以保留。sRGB图像数据可以在其他三维空间(诸如亮度色度色调(LCH)空间)中表现。在LCH空间中，亮度通道可以与由图像传感器16捕捉的图像的亮度相关，色度通道可以与图像的颜色饱和相关，并且色调通道可以与图像的具体颜色相关(例如红色、紫色、黄色、绿色等)。显示的图像中的噪声和锐度的察觉可以由亮度通道中的噪声和信号变化影响。图像数据中的SNR可以通过将sRGB数据转换为LHC数据；将亮度通道中的亮度值替换为宽带图像值(由于白色图像信号的宽频谱，其与整个图像亮度良好地相互关联)；并将LHC数据转换回sRGB数据来改善。通过这样，由CCM导致的噪声放大可以在亮度通道中抑制，在该亮度通道中，当观看显示的图像时噪声对于观看者特别显著。
如上所述结合图8的步骤112描述的，可以向线性sRGB数据应用点滤波，以使用宽带图像数据来生成校正的sRGB数据。点滤波可以对单个的图像像素22操作，而不用来自相邻的图像像素22的信息，而色度去马赛克可以要求当在单个的图像像素22应用到图像信号时来自多个图像像素(例如图像像素的内核)的图像信号(例如差值)。例如，对于每个图像像素，点滤波可以对标准红色值、标准绿色值和标准蓝色值操作。为了对sRGB数据执行点滤波操作，处理电路18可以使用红色图像数据、宽带图像数据和蓝色图像数据(例如，应用CCM之前的图像数据)来计算原始的(原)亮度信号。原始的亮度信号可以是宽带图像数据、红色图像数据和蓝色图像数据的线性组合(例如，加权总和)。在使用红外图像信号产生亮度信号的方案中(例如，在处理电路18执行图8的可选的步骤108的方案中)，原始的亮度信号可以是宽带、红色、蓝色和红外图像数据的线性组合(例如，原始的亮度信号可以在图8的处理步骤108中包含确定的亮度值)。
处理电路18可以计算作为标准红色、标准绿色、和标准蓝色图像数据的线性组合的隐含的亮度信号(例如，在向图像数据应用CCM之后)。如果需要的话，被用于计算隐含的亮度信号的线性组合中的 权重可以实质上类似于被用于计算原始的亮度信号的权重。可以调节权重来修改点滤波的强度(例如，点滤波转换或校正sRGB数据的程度)。
处理电路18可以在最简单的情况下，通过用隐含的亮度信号除原始的亮度信号来产生定标值(例如，应用到颜色校正的图像值的定标因子)。如果需要的话，定标因子可以包含分子和分母。定标值的分子和/或分母可以包含原始的亮度信号和隐含的亮度信号的加权总和。定标值可以包含可调节的加权参数，其能够变化来调节点滤波的强度(例如，加权参数可以连续变化以从零到全强度调节点滤波的强度)。为了向sRGB数据(例如，标准红色、绿色和蓝色图像数据)应用点滤波，处理电路18可以用定标值乘以sRGB数据，以生成校正的sRGB数据。例如，处理电路18可以用定标值乘以标准红色图像数据，用定标值乘以标准绿色图像数据等。如果需要的话，校正的sRGB数据可以具有在应用点滤波之前(例如，当校正的sRGB数据转换至LCH空间时)近似保留下来的色调和色度通道。由于宽带图像信号的继承的保真度，校正的sRGB数据可以具有改善的噪声和/或锐度。
图10示出在向红色、宽带和蓝色图像数据(作为示例)应用CCM之后，可以由处理电路18执行来向sRGB数据应用点滤波的示例性步骤的流程图。处理电路18例如可以对于图像像素阵列20中的每个图像像素22，向sRGB数据应用点滤波。图10的步骤例如可以执行作为图8的步骤112的部分。
在步骤140，处理电路18可以通过组合标准红色、绿色、蓝色图像数据(例如，在应用CCM之后)，对于给定的图像像素22产生隐含的亮度值(例如LCH空间中的亮度值)。隐含的亮度值例如可以被计算作为标准红色、绿色、和蓝色图像数据的线性组合。
在步骤142，处理电路18可以通过用隐含的亮度值和原始的亮度值的线性组合除原始的亮度值来产生定标值(例如，在图8的步骤108产生的原始的亮度值)。定标值可以包含可调节的加权参数，其 能够变化来调节点滤波的强度(例如，加权参数可以连续变化以从零到全强度调节点滤波的强度)。如果需要的话，处理电路18可以基于成像的场景的光源来选择加权参数。定标值例如可以是对sRGB数据运算的算子。
在步骤144，处理电路18可以用定标值乘以sRGB数据，以生成校正的sRGB数据(例如，校正的标准红色、绿色、和蓝色图像数据)。例如，处理电路18可以用定标值乘以标准红色图像数据，用定标值乘以标准绿色图像数据等。如果需要的话，校正的sRGB数据可以提供给图像显示器。与应用点滤波之前的sRGB数据相比，校正的sRGB数据可以具有改善的噪声和/或锐度。
图1-10的示例仅仅是示例性的。如果需要的话，任何其他适当的三维空间可以用于执行点滤波操作。任何期望的滤色器可以被用于与图4-7中示出的宽带和红外滤色器结合，用于获得彩色图像信号。如果需要的话，图4的单元小区40和图6的单元小区46可以布置为4像素乘2像素的图案(例如，以便每个单元小区包含来自阵列的2列和4行的像素)。
图11示出包含成像设备2000(例如，成像设备2000诸如采用用于上述操作的宽带和红外滤色器和技术的图1-10的设备10)的、简化形式的典型的处理器系统300(诸如数码照相机)。处理器系统300是具有能够包含成像设备2000的数字电路的系统的示例。并非限制，该系统能够包含计算机系统、静止或者视频照相机系统、扫描器、机器视觉、车辆导航、视频电话、监控系统、自动聚焦系统、星追踪器系统、运动检测系统、图像稳定系统、以及采用成像设备的其他系统。
处理器系统300通常包含：用于当按下快门释放按钮397时，将图像聚焦在设备2000的像素阵列20的透镜396；控制照相机和一个以上的图像流功能的中央处理单元(CPU)395(诸如微处理器)，其通过总线393与一个以上的输入/输出(I/O)设备391通信。成像设备2000还通过总线393与CPU395通信。系统300还包含随机存 取存储器(RAM)392并且能够包含可拆卸的存储器394(诸如闪存存储器)，它们也通过总线393与CPU395通信。成像设备2000可以与CPU组合，无论存储器是存储在单个的集成电路还是不同的芯片上。尽管总线393被示出为单个的总线，但其可以是一个以上的总线、或者桥接、或者其他用于将系统组件互相连接的通信路径。
已说明的各种实施例示出具有宽带图像像素和红外感光图像像素的图像传感器、以及用于减小图像信号中的噪声的图像处理技术(例如色度去马赛克、应用点滤波等)。
图像传感器可以具有图像传感器像素阵列和处理电路。图像传感器像素阵列可以包含：响应于第一颜色的光产生第一图像信号的第一组图像传感器像素(例如，响应于红色光产生红色图像信号的红色图像传感器像素)；响应于第二颜色的光产生第二图像信号的第二组图像传感器像素(例如，响应于蓝色光产生蓝色图像信号的蓝色图像传感器像素)；响应于第一颜色、第二颜色、以及不同于第一和第二颜色的第三颜色中的至少两种颜色的光，产生第三图像信号的第三组图像传感器像素(例如，空白图像传感器像素可以对至少红色光、绿色光和蓝色光中的2个具有显著的响应，并可以响应于至少第一和第二颜色的光、第二和第三颜色的光、第一、第二和第三颜色的光、第一和第三颜色的光等来产生第三图像信号)。图像传感器像素阵列可以包含响应于红外光产生红外图像信号的一组红外图像传感器像素。作为示例，第三组图像传感器像素中的空白图像像素可以响应于红色和绿色光，响应于红色和蓝色光，响应于绿色和蓝色光产生空白图像信号等。第一图像信号例如可以具有第一光谱响应水平(例如，作为由第一组图像传感器像素接收的光的波长的函数的信号功率电平)，第二图像信号可以具有第二光谱响应水平(例如，作为由第二组图像传感器像素接收的光的波长的函数的信号功率电平)并且第三图像信号可以具有第三光谱响应水平(例如，作为由第三组图像传感器像素接收的光的波长的函数的信号功率电平)。第三图像信号可以具有大于第一和第二光谱响应水平的光谱响应水平。换言之，第三图像信号可 以响应于比第一和第二图像信号的更广范围的光波长来捕捉。
如果需要的话，图像传感器像素阵列可以被布置在图像传感器像素的多个重复单元小区。多个单元小区中的每个单元小区可以包含：来自第一组图像传感器像素的第一图像传感器像素(例如，每个单元小区可以包含红色图像传感器像素)；来自第二组图像传感器像素的第二图像传感器像素(例如，每个单元小区可以包含蓝色图像传感器像素)；来自第三组图像传感器像素的第三图像传感器像素(例如，每个单元小区可以包含空白图像传感器像素)；以及来自一组红外图像传感器像素的红外图像传感器像素。如果需要的话，图像传感器像素阵列可以包含响应于第三颜色的光(例如，绿色图像传感器像素)，产生图像信号的额外一组图像传感器像素。如果需要的话，每个单元小区可以包含一个以上的绿色图像传感器像素、额外的红外图像传感器像素、额外的空白图像传感器像素等。
在一个适当的布置中，阵列中的每个单元小区可以包含布置为2行或者2列的8个图像传感器像素(例如，如图4和6所示)。在另一个适当的布置中，阵列中的每个单元小区可以包含布置为4行或者2列的16个图像传感器像素(例如，如图5所示)。单元小区中的每行或者列可以包含各对空白(宽带)图像像素(例如，来自第三组图像传感器像素的图像传感器像素)。在另一个适当的布置中，阵列中的每个单元小区可以包含布置为2行或者2列的4个图像传感器像素(例如，如图7所示)。
如果需要的话，处理电路可以对第一、第二和第三图像信号执行色度去马赛克操作，以增加与第一、第二和第三图像信号关联的噪声相关性。处理电路可以对第一、第二和第三图像信号执行红外光污染减法操作，减去第一、第二和第三图像信号的响应于红外光产生的部分。如果需要的话，处理电路可以通过组合第一、第二、第三和红外图像信号(例如，通过执行第一、第二、第三和红外图像信号的加权总和)产生原始的亮度值。处理电路可以使用第一、第二和第三图像信号对红外图像信号去马赛克。
处理电路可以向第一、第二和第三图像信号应用颜色校正矩阵，以产生标准红色、标准绿色和标准蓝色图像数据。如果需要的话，处理电路可以对标准红色、标准绿色和标准蓝色图像数据执行点滤波操作。例如，处理电路可以通过组合标准红色、标准绿色和标准蓝色图像数据来产生隐含的亮度值，可以通过用原始的和隐含的亮度值的线性组合除原始的亮度值来产生定标值(例如，在最简单的情况下，处理电路可以用隐含的亮度值除原始的亮度值来产生定标值)。处理电路可以通过用定标值乘以标准红色、标准绿色和标准蓝色图像数据，产生校正的标准红色、绿色和蓝色图像数据。
上述仅仅是本实用新型的示例性原则，并且各种修改能够由本领域的技术人员做出，而没有脱离本实用新型的范围和精神。上述实施例可以单独或者以任何组合实现。

Claims (10)

1.一种成像系统，其特征在于包括：
图像传感器像素阵列，其中，所述图像传感器像素阵列包括：
第一组图像传感器像素，配置为响应于第一颜色的光产生第一图像信号；
第二组图像传感器像素，配置为响应于不同于所述第一颜色的第二颜色的光产生第二图像信号；
第三组图像传感器像素，配置为响应于至少两种颜色的光产生第三图像信号；以及
一组红外图像传感器像素，配置为响应于红外光产生红外图像信号。
2.如权利要求1所述的成像系统，其中，所述至少两种颜色从如下组中选择：红色、绿色和蓝色。
3.如权利要求2所述的成像系统，其中，所述图像传感器像素阵列包括图像传感器像素的多个单元小区，其中，所述多个单元小区中的每个单元小区包括：来自所述第一组图像传感器像素的第一图像传感器像素；来自所述第二组图像传感器像素的第二图像传感器像素；来自所述第三组图像传感器像素的第三图像传感器像素；以及来自所述一组红外图像传感器像素的红外图像传感器像素。
4.如权利要求3所述的成像系统，其中，所述多个单元小区中的每个单元小区包括来自所述一组红外图像传感器像素的额外的红外图像传感器像素。
5.如权利要求4所述的成像系统，其中，所述多个单元小区中的每个单元小区包括布置在第一行和第二行中的8个图像传感器像素， 其中，所述第一行包括来自所述第三组图像传感器像素的第一对图像传感器像素，并且其中，所述第二行包括来自所述第三组图像传感器像素的第二对图像传感器像素。
6.如权利要求4所述的成像系统，其中，所述多个单元小区中的每个单元小区包括布置在第一列和第二列中的8个图像传感器像素，其中，所述第一列包括来自所述第三组图像传感器像素的第一对图像传感器像素，并且其中，所述第二列包括来自所述第三组图像传感器像素的第二对图像传感器像素。
7.如权利要求3所述的成像系统，其中，所述图像传感器像素阵列还包括：
第四组图像传感器像素，配置为响应于不同于所述第一颜色和所述第二颜色的第三颜色的光产生第四图像信号，并且其中，所述多个单元小区中的每个单元小区还包括：
来自所述第四组图像传感器像素的第四图像传感器像素。
8.如权利要求7所述的成像系统，其中，所述第一图像传感器像素包括红色图像传感器像素，其中，所述第二图像传感器像素包括蓝色图像传感器像素，其中，所述第四图像传感器像素包括绿色图像传感器像素，并且其中，所述多个单元小区中的每个单元小区包括来自所述第三组图像传感器像素的3个额外的图像传感器像素，所述成像系统还包括：
处理电路，其中，所述处理电路被配置为对所述第一图像信号、所述第二图像信号、所述第三图像信号和所述第四图像信号执行滤波操作，增加与所述第一图像信号、所述第二图像信号、所述第三图像信号和所述第四图像信号关联的噪声相关性。
9.如权利要求7所述的成像系统，其中，所述第一图像传感器像 素包括红色图像传感器像素，其中，所述第二图像传感器像素包括蓝色图像传感器像素，其中，所述第四图像传感器像素包括绿色图像传感器像素，其中，所述多个单元小区中的每个单元小区还包括：
额外的红色图像传感器像素；
额外的蓝色图像传感器像素；
额外的绿色图像传感器像素；
额外的红外图像传感器像素；以及
来自所述第三组图像传感器像素的7个额外的图像传感器像素，其中，所述多个单元小区中的每个单元小区包括布置在第一行、第二行、第三行和第四行中的16个图像传感器像素，其中，图像传感器像素的所述第一行、第二行、第三行和第四行中的每一行包括相应的一对图像传感器像素，所述相应的一对图像传感器像素来自所述第三组图像传感器像素。
10.如权利要求3所述的成像系统，其中，所述第一图像传感器像素包括红色图像传感器像素，其中，所述第二图像传感器像素包括蓝色图像传感器像素，并且其中，所述第三图像传感器像素包括空白图像传感器像素。
CN201420699257.6U 2013-11-21 2014-11-20 具有可见光感光像素和红外光感光像素的成像系统 Active CN204498282U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/086,705 2013-11-21
US14/086,705 US10136107B2 (en) 2013-11-21 2013-11-21 Imaging systems with visible light sensitive pixels and infrared light sensitive pixels

Publications (1)

Publication Number Publication Date
CN204498282U true CN204498282U (zh) 2015-07-22

Family

ID=53172914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201420699257.6U Active CN204498282U (zh) 2013-11-21 2014-11-20 具有可见光感光像素和红外光感光像素的成像系统

Country Status (2)

Country Link
US (1) US10136107B2 (zh)
CN (1) CN204498282U (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430363A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105554485A (zh) * 2015-12-18 2016-05-04 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578081A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN106973273A (zh) * 2015-10-27 2017-07-21 联发科技股份有限公司 图像探测方法与图像探测装置
CN107545199A (zh) * 2016-06-29 2018-01-05 北京小米移动软件有限公司 显示面板、显示方法及显示装置
CN110365872A (zh) * 2018-04-10 2019-10-22 通用汽车环球科技运作有限责任公司 相机像素的动态去马赛克
CN115150604A (zh) * 2021-03-31 2022-10-04 爱思开海力士有限公司 色调映射电路、图像感测装置及其操作方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US20150146037A1 (en) * 2013-11-25 2015-05-28 Semiconductor Components Industries, Llc Imaging systems with broadband image pixels for generating monochrome and color images
CN106664394B (zh) 2014-06-24 2018-10-02 麦克赛尔株式会社 摄像处理装置以及摄像处理方法
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
TWI568263B (zh) * 2015-08-24 2017-01-21 鈺立微電子股份有限公司 應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置
JP2017112401A (ja) * 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
US10136077B1 (en) * 2015-12-15 2018-11-20 Lockheed Martin Corporation Hyperspectral notch filter imaging
CN105516697B (zh) 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
US10600213B2 (en) * 2016-02-27 2020-03-24 Focal Sharp, Inc. Method and apparatus for color-preserving spectrum reshape
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
US10670779B1 (en) 2016-09-08 2020-06-02 Lockheed Martin Corporation Multi-layered optical element
US10339631B2 (en) * 2017-01-11 2019-07-02 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
US10275855B2 (en) * 2017-01-11 2019-04-30 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
CN108419061B (zh) 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
TWI645720B (zh) * 2017-03-17 2018-12-21 瑞昱半導體股份有限公司 影像處理裝置及方法
JP2018200423A (ja) * 2017-05-29 2018-12-20 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および電子機器
JP2018200980A (ja) 2017-05-29 2018-12-20 ソニーセミコンダクタソリューションズ株式会社 撮像装置および固体撮像素子、並びに電子機器
US9871981B1 (en) * 2017-06-22 2018-01-16 Robert Bosch Gmbh Multi-spectral imaging system and method thereof
EP3625761B1 (en) * 2017-07-28 2023-08-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image processing
CN107846537B (zh) * 2017-11-08 2019-11-26 维沃移动通信有限公司 一种摄像头组件、图像获取方法及移动终端
US10440294B1 (en) * 2018-09-05 2019-10-08 Google Llc Compact color and depth imaging system
WO2021187076A1 (ja) * 2020-03-16 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び電子機器
TWI811643B (zh) 2021-03-08 2023-08-11 偉詮電子股份有限公司 影像色彩亮度補償方法及影像色彩亮度補償系統

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211521B1 (en) 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US6330029B1 (en) 1998-03-17 2001-12-11 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
JP4466569B2 (ja) * 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
US8134191B2 (en) * 2006-01-24 2012-03-13 Panasonic Corporation Solid-state imaging device, signal processing method, and camera
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
KR101276757B1 (ko) * 2006-05-26 2013-06-20 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
JP4983141B2 (ja) * 2006-08-04 2012-07-25 ソニー株式会社 カラーフィルタ
JP4396684B2 (ja) * 2006-10-04 2010-01-13 ソニー株式会社 固体撮像装置の製造方法
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
CN101345248B (zh) * 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
US20090159799A1 (en) * 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
US8666153B2 (en) * 2008-11-04 2014-03-04 Konica Minolta Opto, Inc. Image input apparatus
WO2010052593A1 (en) * 2008-11-04 2010-05-14 Ecole Polytechnique Federale De Lausanne (Epfl) Camera design for the simultaneous capture of near-infrared and visible images
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
EP2471258B1 (en) * 2009-08-25 2017-05-24 Dual Aperture International Co. Ltd. Reducing noise in a color image
US8619143B2 (en) 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
WO2011155136A1 (ja) * 2010-06-07 2011-12-15 コニカミノルタオプト株式会社 撮像装置
US20110317048A1 (en) * 2010-06-29 2011-12-29 Aptina Imaging Corporation Image sensor with dual layer photodiode structure
US8408821B2 (en) 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
CN103430551B (zh) * 2011-01-14 2017-06-09 索尼公司 使用具有纵色像差的透镜单元的成像系统及其操作方法
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
KR101761921B1 (ko) * 2011-02-28 2017-07-27 삼성전기주식회사 차량 운전자의 시계 보조 시스템 및 방법
US9055248B2 (en) * 2011-05-02 2015-06-09 Sony Corporation Infrared imaging system and method of operating
EP2725616B1 (en) * 2011-06-24 2017-07-26 Boly Media Communications (Shenzhen) Co., Ltd Multi scene depth photo sensitive device, system thereof, scene depth expanding method, and optical imaging system
WO2013090922A1 (en) * 2011-12-16 2013-06-20 Tenebraex Corporation Systems and methods for creating full-color image in low light
KR20140009774A (ko) * 2012-07-13 2014-01-23 삼성전자주식회사 3ｄ 이미지 센서 및 이를 포함하는 시스템
KR101951318B1 (ko) * 2012-08-27 2019-04-25 삼성전자주식회사 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
US9179110B2 (en) * 2012-11-02 2015-11-03 Semiconductor Components Industries, Llc Imaging systems with modified clear image pixels
US9368530B2 (en) * 2013-02-21 2016-06-14 Omnivision Technologies, Inc. Image sensor and color filter array including multiple selectable meshed filter sets

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973273A (zh) * 2015-10-27 2017-07-21 联发科技股份有限公司 图像探测方法与图像探测装置
CN105430363A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105554485A (zh) * 2015-12-18 2016-05-04 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105578081A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105430363B (zh) * 2015-12-18 2018-07-17 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN105554485B (zh) * 2015-12-18 2019-04-12 Oppo广东移动通信有限公司 成像方法、成像装置及电子装置
CN107545199A (zh) * 2016-06-29 2018-01-05 北京小米移动软件有限公司 显示面板、显示方法及显示装置
CN110365872A (zh) * 2018-04-10 2019-10-22 通用汽车环球科技运作有限责任公司 相机像素的动态去马赛克
CN110365872B (zh) * 2018-04-10 2021-09-07 通用汽车环球科技运作有限责任公司 相机像素的动态去马赛克
CN115150604A (zh) * 2021-03-31 2022-10-04 爱思开海力士有限公司 色调映射电路、图像感测装置及其操作方法
CN115150604B (zh) * 2021-03-31 2024-04-19 爱思开海力士有限公司 色调映射电路、图像感测装置及其操作方法

Also Published As

Publication number Publication date
US20150138366A1 (en) 2015-05-21
US10136107B2 (en) 2018-11-20

Similar Documents

Publication Publication Date Title
CN204498282U (zh) 具有可见光感光像素和红外光感光像素的成像系统
US10070104B2 (en) Imaging systems with clear filter pixels
US8355074B2 (en) Exposing pixel groups in producing digital images
US8150201B2 (en) Image processing apparatus, method, and computer program with pixel brightness-change detection and value correction
US9287316B2 (en) Systems and methods for mitigating image sensor pixel value clipping
TWI428025B (zh) Image processing apparatus and image processing method, image capturing apparatus and computer program product
US9219894B2 (en) Color imaging element and imaging device
US10616536B2 (en) Imaging systems having broadband monochromatic and chromatic image sensors
US9179110B2 (en) Imaging systems with modified clear image pixels
TWI536765B (zh) 具有透明濾波器像素之成像系統
TWI617198B (zh) 具有透明濾波器像素之成像系統
TWI601427B (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant