CN109417613B - 具有多个连续红外滤波单元的图像传感器方法和装置 - Google Patents

具有多个连续红外滤波单元的图像传感器方法和装置 Download PDF

Info

Publication number
CN109417613B
CN109417613B CN201780041208.XA CN201780041208A CN109417613B CN 109417613 B CN109417613 B CN 109417613B CN 201780041208 A CN201780041208 A CN 201780041208A CN 109417613 B CN109417613 B CN 109417613B
Authority
CN
China
Prior art keywords
filter
subset
filtering units
units
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780041208.XA
Other languages
English (en)
Other versions
CN109417613A (zh
Inventor
张成诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN109417613A publication Critical patent/CN109417613A/zh
Application granted granted Critical
Publication of CN109417613B publication Critical patent/CN109417613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供了一种具有多个连续红外(IR)滤波单元的图像传感器装置和方法。所述装置包括图像传感器，所述图像传感器包括二维像素单元阵列，用于生成输出信号以作为表示场景图像的像素数据。所述装置还包括滤波器阵列，所述滤波器阵列包括二维滤波单元阵列，其中，所述二维滤波单元阵列耦合至所述二维像素单元阵列以接收来自场景的光输入。所述滤波器阵列包括多个滤波单元块，每个滤波单元块包括用于传输可见光谱的一种或多种颜色中的光谱能量的第一滤波单元子集。所述第一子集中的每对相邻滤波单元用于传输所述可见光谱的不同颜色中的光谱能量。此外，每个滤波单元块还包括用于传输红外(IR)光谱中的光谱能量的第二滤波单元子集。所述第二滤波单元子集包括至少两(2)个连续的IR滤波单元。

Description

具有多个连续红外滤波单元的图像传感器方法和装置
相关申请案交叉申请
本申请要求于2017年7月3日递交的第15/640,758号美国专利申请案的在先申请优先权，并且还要求于2016年7月5日递交的第62/358,523号美国临时专利申请案的在先申请优先权，这两篇专利申请案的全部内容以引入的方式并入本文。
发明内容
本发明涉及图像传感器，尤其涉及图像传感器的滤波器阵列配置。
背景技术
通常，运行计算机视觉应用(例如，三维深度传感应用等)需要两个摄像头。具体地，所述摄像头包括至少一个用于生成三维深度图像的专用红外摄像头，以及至少一个用于捕捉彩色图像的摄像头。此外，现如今，手机等设备常常在正面和反面都各有至少一个摄像头。
因此，为了使采用前后摄像头的所述设备支持前述应用，要求每个设备必须配备四(4)个摄像头(即，正面两(2)个，反面两(2)个)。然而，由于希望此类设备的尺寸尽可能小，因此，在每个设备上没有足够的空间去安装四个摄像头。此外，之前企图将红外像素和彩色像素都合并入单个传感器的尝试不能支持可提高信噪比(signal-to-noise ratio，简称SNR)性能的其他技术(例如，像素合并等)。
发明内容
本发明提供了一种具有多个连续红外(IR)滤波单元的图像传感器装置和方法。所述装置包括图像传感器，所述图像传感器包括二维像素单元阵列，用于生成输出信号以作为表示场景图像的像素数据。所述装置还包括滤波器阵列，所述滤波器阵列包括二维滤波单元阵列，其中，所述二维滤波单元阵列耦合至所述二维像素单元阵列以接收来自场景的光输入。所述滤波器阵列包括多个滤波单元块，每个滤波单元块包括用于传输可见光谱的一种或多种颜色中的光谱能量的第一滤波单元子集。所述第一子集中的每对相邻滤波单元用于传输所述可见光谱的不同颜色中的光谱能量。此外，每个滤波单元块还包括用于传输红外(IR)光谱中的光谱能量的第二滤波单元子集。所述第二滤波单元子集包括至少两(2)个连续的IR滤波单元。在第一实施例中，所述图像传感器可包括电荷耦合器(chargecoupled device，简称CCD)图像传感器。
在第二实施例中，所述图像传感器可包括互补型金属氧化物半导体(complementarymetal-oxide-semiconductor，简称CMOS)图像传感器。
在第三实施例(其可以也可以不结合所述第一和/或第二实施例)中，所述第二滤波单元子集可以包括至少四(4)个连续的IR滤波单元。
在第四实施例(其可以也可以不结合所述第一、第二和/或第三实施例)中，所述第一滤波单元子集可以包括下述滤波单元中的至少两种(或甚至全部)：红色滤波单元、绿色滤波单元和蓝色滤波单元。
在第五实施例(其可以也可以不结合所述第一、第二、第三和/或第四实施例)中，将所述滤波器阵列设置成每个滤波单元块的结构都是对称的。
在第六实施例(其可以也可以结合所述第一、第二、第三、第四和/或第五实施例)中，所述第二滤波单元子集可以包括第一数量的滤波单元，其中，所述第一数量是所述第一滤波单元子集中的第二数量的滤波单元的分数。可选地，所述分数可以为三分之一(1/3)。
在第七实施例(其可以也可以不结合所述第一、第二、第三、第四、第五和/或第六实施例)中，所述第二滤波单元子集可位于每个对应滤波单元块的中心。
在第八实施例(其可以也可以不结合所述第一、第二、第三、第四、第五、第六和/或第七实施例)中，所述第二滤波单元子集可位于每个对应滤波单元块的一角。
在第九实施例(其可以也可以不与结合所述第一、第二、第三、第四、第五、第六、第七和/或第八实施例)中，可以为所述第二滤波单元子集中的至少一部分滤波单元合并所述IR光谱中的光谱能量。可选地，通过所述合并，电压电平和/或电荷量得到了合并。作为又一种选择，可以使用第一种合并算法为所述第一滤波单元子集中的至少一部分滤波单元合并所述可见光谱的所述一种或多种颜色中的光谱能量。此外，可以使用第二种合并算法为所述第二滤波单元子集中的至少一部分滤波单元合并所述IR光谱中的光谱能量。可选地，可提供合并电路，用于为所述第二滤波单元子集合并所述IR光谱中的光谱能量。
在第十实施例(其可以也可以不结合所述第一、第二、第三、第四、第五、第六、第七、第八和/或第九实施例)中，可以利用插值法为所述第二滤波单元子集中的至少一个滤波单元识别所述可见光谱的所述一种或多种颜色中的光谱能量值。
在第十一实施例(其可以也可以不结合所述第一、第二、第三、第四、第五、第六、第七、第八、第九和/或第十实施例)中，若所述滤波器阵列的第一行中只包括所述第一滤波单元子集，采用高分辨率处理与所述第一行相关的输出。此外，若所述滤波器阵列的第二行中包括所述第二滤波单元子集中的至少一个滤波单元，采用低分辨率处理与所述第二行相关的输出。在第十二实施例(其可以也可以不结合所述第一、第二、第三、第四、第五、第六、第七、第八、第九、第十和/或第十一实施例)中，所述第二滤波单元子集中的至少一个滤波单元可以大于所述第一滤波单元子集中的至少一个滤波单元。具体地，在一个可选实施例中，所述第二滤波单元子集中的至少一部分滤波单元构成所述滤波器阵列的一个组件，该组件大于所述第一滤波单元子集中的至少一个滤波单元。
在第十三实施例(其可以也可以不结合所述第一、第二、第三、第四、第五、第六、第七、第八、第九、第十、第十一和/或第十二实施例)中，所述第一滤波单元子集可以配置在拜耳阵列中。
为此，在一些可选实施例中，上述装置和/或方法的一个或多个上述特征可提供一种能支持需要兼备IR成像能力和彩色成像能力的应用的传感器，从而可以使用其他用于提升性能的技术，比如像素合并。这是通过提供一种具有多个连续IR滤波单元的传感器来实现的。这反过来又减少了对摄像头数量的需求(以及减小成本和/或形状参数)，否则，不具备该种特征的设备就会放弃使用摄像头，特别是对于前后都安装摄像头的设备来说。应该注意的是，前述的潜在优点仅出于说明的目的而进行阐述，并且不应被解释为以任何方式进行限制。
附图说明
图1A-1是一实施例提供的图像传感器装置的电路图；
图1A-2示出了一实施例提供的一个合并示例；
图1B示出了一实施例提供的具有多个连续红外(IR)滤波单元的滤波器阵列；
图1C示出了另一实施例提供的另一种具有多个连续IR滤波单元的滤波器阵列，所述多个连续IR滤波单元被红色滤波单元和绿色滤波单元包围；
图2示出了另一实施例提供的另一种具有多个连续IR滤波单元的滤波器阵列，所述多个连续IR滤波单元位于每个滤波单元组的一角，每个滤波单元组包括交替设置的红色滤波单元、绿色滤波单元和蓝色滤波单元；
图3示出了又一实施例提供的又一种具有多个连续IR滤波单元的滤波器阵列，所述多个连续IR滤波单元呈单个大像素的形式，所述单个大像素位于每个滤波单元组的一角，每个滤波单元组包括交替设置的红色滤波单元、绿色滤波单元和蓝色滤波单元；
图4示出了再一实施例提供的再一种具有多个连续IR滤波单元的滤波器阵列，所述多个连续IR滤波单元被配置为多个独立且连续的IR滤波单元集合；
图5示出了一实施例提供的一种具有多个连续IR滤波单元的滤波器阵列，所述多个连续IR滤波单元位于较大的5×5的滤波单元组中，该滤波单元组包括红色滤波单元、绿色滤波单元和蓝色滤波单元；
图6示出了另一实施例提供的另一种具有多个连续IR滤波单元的滤波器阵列，所述多个连续IR滤波单元位于较大的5×5的滤波单元组中，该滤波单元组包括红色滤波单元、绿色滤波单元和蓝色滤波单元；
图7是一实施例提供的图像传感器装置的分解图；
图8A示出了一实施例提供的一种处理图像传感器的输出信号的方法；
图8B示出了一实施例提供的图2中所述的滤波器阵列的特定配置的处理示例；
图9示出了一可能实施例提供的一种网络架构；
图10示出了一实施例提供的一种示例性系统。
具体实施方式
在各个实施例中描述了能支持需要兼备红外(IR)成像能力和彩色成像能力的应用的单个传感器，从而可以使用其他用于提升性能的技术，比如像素合并。这是通过提供一种具有多个连续IR滤波单元的单个传感器来实现的。这反过来又减少了对摄像头数量的需求(以及减小成本和/或形状参数)，否则，不具备该种特征的设备就会放弃使用摄像头，特别是对于前后都安装摄像头的设备来说。应该注意的是，前述的潜在优点仅出于说明的目的而进行阐述，并且不应被解释为以任何方式进行限制。因此，现在将结合以下附图描述各个实施例。
图1A-1是一实施例提供的图像传感器装置10的电路图。在该实施例中，所述图像传感器装置10可以是能够生成彩色和IR相关的输出信号的单个摄像头的组件。为实现此目的，所述图像传感器装置10可包括单个滤波器阵列12，在本说明书的上下文中，所述单个滤波器阵列12可包括用于传输各种光谱中的光谱能量的任一滤波单元集合(即，滤波器阵列部分等)。在一个实施例中，所述滤波器阵列12可包括二维阵列(其可包括两个或多个维度)，该二维阵列包括多个彩色滤波单元和多个IR滤波单元。在各个实施例中，所述彩色滤波单元和所述IR滤波单元可以以任何期望的方式设置和/或配置，只要多个IR滤波单元是连续的即可(例如，为每个IR滤波单元设置至少一个相邻的IR滤波单元)。这样设置的原因将在下文进行描述。
所述图像传感器装置10还包括单个图像传感器14，所述单个图像传感器14包括二维像素单元(或传感器单元)阵列。在一个实施例中，所述单个图像传感器14可包括电荷耦合器(chargecoupled device，简称CCD)图像传感器。在其他实施例中，所述单个图像传感器14可包括互补型金属氧化物半导体(complementary metal-oxide-semiconductor，简称CMOS)图像传感器。在各个实施例中，与所述CMOS图像传感器相比，所述CCD图像传感器可提供可选的性能优势(例如，更大的SNR等)。在其他实施例中，也可以考虑其他使能技术。在使用中，所述单个图像传感器14用于在每个像素单元处生成输出信号，作为表示场景图像(该图像通过所述图像传感器装置10接收的光的反射来捕捉)的像素数据。
所述滤波器阵列12耦合至所述图像传感器14的所述二维像素单元阵列，用于在所述图像传感器14产生输出信号之前选择性地传输(例如，过滤等)光谱能量。可选地，图像电路16可以通过对来自所述图像传感器14的输出信号执行各种技术(例如，合并、插值等)来处理所述图像传感器14的这种输出信号。所述电路16可以包括支持合并机制的硬件逻辑和/或一个或多个处理器。根据一实施例，现在将阐述一种使用所述图像传感器装置10执行合并的特定方法中的更多信息。
图1A-2示出了一实施例提供的一个合并示例20。一般来说，所述合并20涉及对图像传感器21(例如图1A-1中的图像传感器14)的相邻传感器单元23的信息的合并，以在记录的图像中创建单个像素。因此，在本说明书上下文中，所述合并20可以包括任何算法，通过该算法，将第一个滤波单元23的输出或内容与第二个滤波单元23的输出或内容(至少部分地)合并或聚合等。
如图1A-2所示，所述合并20可以包括跨越所述图像传感器21的四个传感器单元23的亮区22。进一步如图所示，所述图像传感器21配备有输出寄存器24，所述输出寄存器24可以是所述图像传感器21的一部分和/或图像电路(例如，图1A-1中的图像电路16)。
如操作1所示，指向所述亮区22的光信号在所述四个传感器单元23的每一个中都产生出10个电子的电荷。在操作2中，将上述电荷转移(例如，记录)到所述输出寄存器24中。在操作3中，再次转移上述电荷(例如，利用另一时钟)，并且将来自所述图像传感器21的第一行的电荷添加到所述输出寄存器24的第一行。接下来，在操作4中，将右侧两个传感器单元23的总电荷转移(例如，通过另外一个时钟)以产生输出25。最后，在操作5中，再次转移(或记录)所述输出寄存器24的内容，以将来自所述输出寄存器24中的所有传感器单元23的电荷相加，从而产生所述输出25的最终版本。这样，通过合并机制将至少两个相邻传感器单元的输出进行合并。可以有利地执行基于硬件的合并机制以减少像素(或传感器单元)的读出噪声量(例如，仅读出一个总结果25，而不是从每个像素单元23都读出结果)。
通过这种设计，由于已按前述方式将所述传感器单元23处的电荷进行了合并，所以实现所述输出25需要更少的步骤。因此，对于包括交替设置的彩色单元和IR单元(即，一个彩色单元挨着一个IR单元，该IR单元又挨着一个彩色单元，等等)的更复杂的图像传感器，由于IR单元的输出和彩色单元的输出不一定需要合并(例如，通过所述合并20)，因此所述合并20可能比较复杂。为此，如现在将详细说明的，可以通过提供具有连续IR单元的图像传感器来进一步支持前述合并20，所述IR单元包括前述合并20的前述操作1至5。
图1B示出了一实施例提供的具有多个连续IR滤波单元的滤波器阵列100。如下文各种实施例中所述，所述滤波器阵列100可以用于与单个图像传感器协作以生成输出信号。
如图所示，所述滤波器阵列100包括多个滤波单元组103，每个滤波单元组可以形成一个滤波单元“块”。尽管如图所示，每个滤波单元组包括2×2的滤波单元矩阵，但应注意的是，也可以是任何N×N的滤波单元矩阵，其中N＝2,3,5,6,…，或者任何整数。如进一步所示，可以包括多个滤波单元组103以形成所述滤波器阵列100。虽然图1B中示出了所述滤波单元组103的2×2的矩阵，但应该注意的是，也可以是所述滤波单元组103的任何M×M的矩阵，其中M＝2,3,5,6,…，或任何整数。可选地，所述滤波器阵列100可以设置成每个滤波单元组103中的滤波单元结构是对称的。换句话说，每个滤波单元组103可以包括相同或基本相同的滤波单元排列。
如图所示，每个滤波单元组103包括第一滤波单元子集104(以下称为“彩色滤波单元”104)，用于传输入射光的可见光谱的一种或多种颜色中的光谱能量(同时过滤掉所述光的其他部分)。从各种实施例的后续描述中可知，所述彩色滤波器104可包括下述滤波单元中的至少两种(或甚至是全部)：红色滤波单元、绿色滤波单元和/或蓝色滤波单元。然而，应该注意的是，此类红色/绿色/蓝色(RGB)实施例仅出于说明的目的而进行阐述，其他颜色方案(例如，青色/品红色/黄色/黑色(CMYK)等)也是可行的。
此外，所有连续的彩色滤波单元104(或所述二维滤波器阵列100中的两个相邻的彩色滤波单元)用于传输所述可见光谱的不同颜色中的光谱能量。在本说明书的上下文中，如果两个滤波单元共用至少一个边界使得第一滤波单元的第一边界与第二滤波单元的第二边界相邻，则这两个滤波单元可以是连续的。例如，在稍后将更详细描述的一个可能的实施例中，所述彩色滤波单元104可以配置在拜耳阵列中。拜耳阵列是指用于在正方形网格中布置RGB彩色滤波器的特定马赛克。所述拜耳阵列包括50％的绿色滤波单元、25％的红色滤波单元和25％的蓝色滤波单元。稍后将结合图2中所示的另一实施例来描述这种拜耳阵列的示例。
每个滤波单元组103还包括第二滤波单元子集106(以下称为“IR滤波单元”106)，用于传输IR光谱(例如，入射光的不可见部分)中的光谱能量。由于阳光或其他人造光源的影响，在环境中可能会自然出现所述IR光谱。所述IR滤波单元106可以过滤掉所述入射光的除所述IR光谱之外的部分。在本说明书的上下文中，这种IR光谱可以包括IR光谱和/或类IR光谱。仍然，在一个实施例中，所述IR滤波单元106可以用于创建包括深度信息的三维(3-D)深度图，可以结合各种应用使用所述三维深度图。所述深度信息涉及一个或多个场景对象的表面距特定视点的距离，并且可以在不同图形应用中与深度缓存(即，Z缓存)结合使用。在不同的实施例中，所述IR滤波单元106可以包括第一数量的滤波单元，其中，所述第一数量是第二数量的彩色滤波单元104的分数。在图1B所示的实施例中，所述分数可以为三分之一(1/3)。然而，在其他实施例中，上述分数可以包括任何分数1/Q，其中Q＝2,4,5,6,…，或者任何整数。
此外，所述彩色滤波单元104和所述IR滤波单元106分别可以为任意尺寸，并且可以以任何期望的方式进行组合(例如，在硅面积、元件部分、滤波器阵列空间等方面)。例如，在一个实施例中，所述彩色滤波单元104和所述IR滤波单元106的尺寸可以是相同的。然而，在稍后将描述的其他可能的实施例中，至少一个所述IR滤波单元106可以大于至少一个所述彩色滤波单元104。例如，在一种可能的实施例中，多个IR滤波单元106(其可以构成所述单元106的一部分或全部)可以共同形成所述滤波器阵列100的一个组件(例如，区域、部件等)，该组件大于至少一个所述彩色滤波单元104。在所述实施例中，可以聚合、共享和/或组合所述IR滤波单元106的任何部分/方面(例如，元件部分、硅面积、滤波器阵列空间等)，以使其尺寸更大。
仍然结合图1B，所述IR滤波单元106是连续的。虽然图1B中示出了四(4)个IR滤波单元106，但应注意的是，任意多个(P)所述IR滤波单元106可以是连续的，其中P＝2,3,5,6,…，或者任何大于1的整数。还应注意的是，构想出这样的实施例：每个滤波单元组103中的所有IR滤波单元106都是连续的。此外，还构想出这样的实施例：每个滤波单元组103中仅有一部分IR滤波单元106是连续的。
在不同的实施例中，所述IR滤波单元106，更具体来说，连续的IR滤波单元106，可以位于每个滤波单元组103内的任何位置。例如，如图1B的实施例中所示，所述IR滤波单元106可以位于(每个滤波单元组103的)所述彩色滤波单元104的中心。在将结合以下附图进行描述的其他实施例中，所述IR滤波单元106可以位于每个滤波单元组103内相对于所述彩色滤波单元104的任何位置，包括但不限于：每个滤波单元组103中的一角。严格来说，可选地，利用插值法并结合用一个或多个IR滤波单元106替代一个或多个彩色滤波单元104的任何区域，可以识别所述可见光谱的一种或多种颜色中的光谱能量值。
为此，在一些可选实施例中，上述连续性使得能够生产和使用能支持需要兼备IR成像能力和彩色成像能力的应用的单个摄像头，从而可以使用其他用于提升性能的技术，比如像素合并。这是通过提供一种具有多个连续IR滤波单元的单个传感器来实现的。如前面结合图1A-2所述，合并涉及对类型(例如，颜色或者IR)相似的相邻单元的输出信号的合并。为此，通过保证，例如，IR元件至少部分连续，可以对这样的相邻单元进行合并，否则，在不可合并的单元彼此相邻的结构下(例如，一个彩色单元挨着一个IR单元，该IR单元又挨着一个彩色单元，等等)，不能进行合并(或者至少不太实用、有效和/或高效等)。
这种连续性反过来又减少了对摄像头数量的需求(以及减小成本和/或形状参数)，否则，不具备该种特征的设备就会放弃使用摄像头，特别是对于前后都安装摄像头的设备来说。应该注意的是，上述潜在优点仅用于说明，因此，严格来说，是可选的。根据用户的需求，现在将阐述关于在各种可选架构和应用中可以或不可以实现所述方法的更多说明性信息。任何以下特征可以可选地进行合并，而不管其他特征是否描述。
图1C示出了另一实施例提供的另一种具有多个连续IR滤波单元112的滤波器阵列110，所述多个连续IR滤波单元被红色滤波单元114和绿色滤波单元116包围。如图所示，所述连续IR滤波单元112形成位于所述红色滤波单元114和所述绿色滤波单元116中心的2×2的矩阵。此外，所述红色滤波单元114和所述绿色滤波单元116是按照图中所示的方式沿着每个滤波单元组118的每个边界交替设置。
图2示出了另一实施例提供的另一种具有多个连续IR滤波单元202滤波器阵列200，所述多个连续IR滤波单元202位于每个滤波单元组208的一角，每个滤波单元组208包括交替设置红色滤波单元204、绿色滤波单元206和蓝色滤波单元207。如图所示，所述连续的IR滤波单元202形成位于每个滤波单元组208的右下角的2×2的矩阵。
应当注意的是，可以构想出这样的实施例：所述连续的IR滤波单元202位于其他角落(例如，右上角、左下角和左上角等)。此外，虽然所述连续的IR滤波单元202位于每个滤波单元组208的边界上(例如，与其相邻)，但是可以构想出其他实施例，其中所述连续的IR滤波单元202与这些边界隔开。还应注意，上述变形可应用于前述和/或后述附图阐述的任何一个实施例中，因此将不再重复。
如进一步所示，每个滤波单元组208的第一行和第三行包括交替设置的所述红色滤波单元204和所述绿色滤波单元206。每个滤波单元组208的第二行和第四行包括交替设置的所述蓝色滤波单元207和所述绿色滤波单元206。为此，所述红色滤波单元204、所述绿色滤波单元206和所述蓝色滤波单元207按照图中所示的方式配置在拜耳阵列中。
图3示出了又一实施例提供的又一种具有多个连续IR滤波单元302的滤波器阵列300，所述多个连续IR滤波单元302呈单个大像素的形式，所述单个大像素位于每个滤波单元组308的一角，每个滤波单元组308包括交替设置的红色滤波单元304、绿色滤波单元306和蓝色滤波单元307。如前所述，可以聚合、共享和/或组合所述IR滤波单元302的任何部分/方面(例如，元件部分、硅面积、滤波器阵列空间等)，以使其尺寸更大。
在一个示例性实施例中，每个滤波单元组308中的连续IR滤波单元302形成一个比所述红色滤波单元304、所述绿色滤波单元306和所述蓝色滤波单元307的像素尺寸(例如，1.12um等)更大(例如，2.24um等)的单个像素。如进一步所示，每个滤波单元组308的第一行和第三行包括交替设置的所述红色滤波单元304和所述绿色滤波单元308。每个滤波单元组308的第二行和第四行包括交替设置的所述蓝色滤波单元307和所述绿色滤波单元306。正如在后续实施例中即将描述的，可以修改对包括不同像素尺寸的行的处理，以适应这种设计(例如，区别性地处理不同行中的不同单元等)。
图4示出了再一实施例提供的再一种具有多个连续IR滤波单元402的滤波器阵列400，所述多个连续IR滤波单元402被配置为多个1×2的独立且连续的IR滤波单元集合403。虽然所述连续的IR滤波单元集合403可以位于每个滤波单元组408中的任何相对位置，但是在本实施例中，它们位于每个滤波单元组408的右侧并且按照图中所示的方式隔开/偏移，以不共享任何边界。
此外，每个滤波单元组408包括交替设置的红色滤波单元404、绿色滤波单元406和蓝色滤波单元407。具体地，每个滤波单元组408的第一行和第三行包括交替设置的红色滤波单元404和绿色滤波单元406。每个滤波单元组408的第二行和第四行包括交替设置的蓝色滤波单元407和绿色滤波单元406。
图5示出了一实施例提供的一种具有多个连续IR滤波单元502的滤波器阵列500，所述多个连续IR滤波单元502位于较大的5×5的滤波单元组508中，该滤波单元组包括红色滤波单元504、绿色滤波单元506和蓝色滤波单元507。如图所示，每个滤波单元组508扩大后可包括5×5的滤波单元矩阵，而所述连续的IR滤波单元502形成2×2的矩阵，该矩阵与每个滤波单元组508的所有边界间隔开来，且按照图中所示的方式偏离所述滤波单元组508的中心(朝向左上角)。
如进一步所示，每个滤波单元组508的第一行、第三行和第五行包括交替设置的所述蓝色滤波单元507和所述绿色滤波单元506。此外，每个滤波单元组508的第二行和第四行包括交替设置的所述红色滤波单元504和所述绿色滤波单元506。
图6示出了另一实施例提供的另一种具有多个连续IR滤波单元602的滤波器阵列600，所述多个连续IR滤波单元602位于较大的5×5的滤波单元组608中，该滤波单元组包括红色滤波单元604、绿色滤波单元606和蓝色滤波单元607。如图所示，每个滤波单元组608扩大后可包括5×5的滤波单元矩阵，而所述连续的IR滤波单元602形成2×2的矩阵，该矩阵与每个滤波单元组608的所有边界间隔开来，且按照图中所示的方式偏离滤波单元组608的中心(朝向右下角)。
如进一步所示，每个滤波单元组608的第一行、第三行和第五行包括交替设置的所述红色滤波单元604和所述绿色滤波单元606。此外，每个滤波单元组608的第二行和第四行包括交替设置的所述蓝色滤波单元607和所述绿色滤波单元606。
图7是一实施例提供的图像传感器装置700的分解图。可选地，所述装置700可以在任何前述和/或下述附图和/或其描述中阐述的任何一个或多个实施例的上下文中实现。例如，图1至6中的任何滤波器阵列可以在图7中的所述图像传感器装置700中实现。但是，应理解的是，所述装置700可以在任何期望的环境中实现。
在一实施例中，所述图像传感器装置700可以是能够生成与彩色和IR相关的输出信号的单个摄像头的组件。为实现此目的，所述图像传感器装置700包括单个滤波器阵列702形式的单个滤波器阵列构件，所述单个滤波器阵列包括一个由多个彩色滤波单元和多个IR滤波单元组成的二维阵列。在一实施例中，所述单个滤波器阵列702可以包括图1A-1中的滤波器阵列12。在各个实施例中，所述彩色滤波单元和所述IR滤波单元可以以任何期望的方式设置和/或配置(例如参见图1至6等)，只要多个IR滤波单元是连续的。
所述图像传感器装置700还包括单个图像传感器704形式的单个图像传感器构件，所述单个图像传感器包括二维像素单元阵列。在一实施例中，所述单个图像传感器704可以包括图1A-1中的图像传感器14。在使用中，所述单个图像传感器704用于在每个像素单元处生成输出信号，作为表示场景图像(该图像通过所述图像传感器装置700接收的光的反射来捕捉)的像素数据。
所述滤波器阵列702耦合至所述图像传感器704的所述二维像素单元阵列，用于在所述图像传感器704产生其输出信号之前选择性地传输(例如，过滤等)光谱能量。可选地，图像处理器706可以通过对来自所述图像传感器704的输出信号执行各种技术(例如，合并、插值等)来处理所述图像传感器704的这种输出信号。根据一实施例，现在将阐述一种处理所述图像传感器704的输出信号的特定方法中的更多信息。
图8A示出了一实施例提供的一种处理图像传感器的输出信号的方法800。可选地，所述方法800可以在任何前述和/或下述附图和/或其描述中阐述的任何一个或多个实施例的上下文中实现。例如，所述方法800可以在图7中的图像传感器装置700中实现，尤其可以由其中的图像处理器706执行。然而，应该理解，所述方法800可以在任何期望的环境中实现。
如图所示，在所述方法800中，处理图像传感器(例如，图7的图像传感器704等)的每个像素单元的输出，其中，该输出是耦合至所述图像传感器的滤波器阵列(例如，图7的滤波器阵列702等)进行过滤后，由所述图像传感器接收的光的函数。在所示出的实施例中，所述处理在所述图像传感器的所述二维像素单元阵列中逐行进行。例如，这可以通过以下方式实现：在操作802中首先选择特定行(例如，以第一行开始)，然后判断当前行是否包括IR滤波单元。参见判断804。
如前所述，所述滤波器阵列可以采用任何结构(例如，参见图1至6等)，因此，某些行不一定包括IR滤波单元。在这种情况下，按照操作806正常处理彩色图像数据。应当注意的是，在各个实施例中，操作806的正常处理可以包括或不包括下述关于所述IR滤波单元的任何技术。
另一方面，如果根据判断804确定当前行确实包括一个或多个IR滤波单元，则可以使用其他技术处理所述IR滤波单元。参见操作808。例如，可以为至少一些(或甚至每个)IR滤波单元合并红外光谱中的光谱能量。
此外，由于所述IR滤波单元具有连续性，这种合并可以进行，否则，如果没有这样的设计结构，就无法进行合并(或者至少不太实用、有效和/或高效等)，这是因为，执行这种合并算法的硬件/软件通常按照设置顺序逐个处理相邻单元(例如，使用移位寄存器或其他机制)。具体地，如前面结合图1A-2所述，合并涉及对类型(例如，颜色或者IR)相似的相邻单元的输出信号的合并。为此，通过保证，例如，IR元件至少部分连续，可以对这样的相邻单元进行合并，否则，在不可合并的单元彼此相邻的结构下(例如，一个彩色单元挨着一个IR单元，该IR单元又挨着一个彩色单元，等等)，不能进行合并(或者至少不太实用、有效和/或高效等)。虽然连续的滤波单元可以以这种方式促进合并，但是应当注意的是，也应考虑当对不连续的滤波单元进行合并时采用的其他合并算法。
可选地，通过合并，可以合并不同滤波单元(例如，彩色滤波单元和IR滤波单元)显示出的电压电平和/或电荷量。在合并电压电平时，通过合并，可以聚合用于处理所述图像传感器的IR或彩色滤波单元的电荷量的任意后处理电路的出口端的电压电平。另一方面，在合并电荷时，通过合并，可以在用于处理电荷量的任意后处理电路之前聚合所述图像传感器的所述IR或彩色滤波单元中世纪存储的电荷量。
在一个可能的实施例中，上述合并可在所述彩色滤波单元以及所述IR滤波单元中进行。此外，可以使用第一种合并算法为至少一些(或甚至每个)彩色滤波单元合并可见光谱的一种或多种颜色中的光谱能量，可以使用第二种合并算法为至少一些(或甚至每个)IR滤波单元合并红外光谱中的光谱能量。在各个实施例中，这些不同类型的合并算法可以包括任何合并算法，只要其适用于所述彩色滤波单元和所述IR滤波单元的不同相对位置、结构和一般性特征等即可。
在一个可选实施例中，可以修改(在对该行进行处理期间)对具有至少一个IR滤波单元的行进行的处理，以适用于同一行中的任何彩色滤波单元。例如，在一个实施例中，可以基于每个滤波单元收集电荷/电压，使得在寻址IR滤波单元与彩色滤波单元时这种电荷/电压收集不会混淆。在其他实施例中，对于包括至少一个IR滤波单元的行，可以简单地忽略彩色滤波单元(使得不存在与颜色相关的电荷/电压收集)。在又一个实施例中，对于包括至少一个IR滤波单元的行，可以对所有单元都进行相同的处理(就电荷/电压收集而言)，不论它们是彩色滤波单元还是IR滤波单元。在这样的实施例中，可以使用或不使用各种滤波技术来区分彩色滤波单元或IR滤波单元的电荷/电压收集。可选地，还可以使用插值技术，并使用所述阵列中其他行的值，来识别彩色滤波单元或IR滤波单元的值。
作为另一个选择，操作806和808中的处理会因处理滤波单元时的分辨率而有所不同，这是因为，所述处理是由待处理的某一行中的任意现有IR滤波单元所驱动的。在本说明书的上下文中，这种特定分辨率的处理可以指一次处理的滤波单元的数量。例如，高分辨率处理可以单独处理每个滤波单元，而低分辨率处理可以同时处理多个滤波单元。因此，在一个实施例中，如果所述滤波器阵列的第一行中仅包括彩色滤波单元，则可以使用高分辨率处理与所述第一行相关(例如，从其中导出/与其相关等)的输出。此外，如果所述滤波器阵列的第二行中包括至少一个IR滤波单元，则可以使用低分辨率来处理与所述第二行相关的输出。
在另外的实施例中，可以根据该行中是否存在一个或多个IR滤波单元，逐行地改变帧率(例如，每秒帧数(fps)等)。例如，对于具有足够IR滤波单元的行，可以加大帧率，以避免需要全局快门。例如，在具有120fps的实施例中，30fps可以专用于彩色成像，90fps可以专用于IR成像。
因此，可以设想在各个实施例中，可以稍微或可忽略地减小彩色成像的分辨率，同时允许同一单个摄像头提供足够分辨率的深度图。此外，可以使用其他技术(例如，插值等)来补偿这种彩色成像降质。
图8B示出了一实施例提供的图2中所述的滤波器阵列200的特定配置的处理示例。示出的是还原后的原始拜耳阵列彩色RGB图像。具体地，示出了一个特定滤波单元组208的颜色值850，如果不是用连续的IR滤波单元202替换了彩色滤波单元，就会使用彩色滤波单元生成所述颜色值。通过插值并利用各个相邻的红色滤波单元204、绿色滤波单元206和蓝色滤波单元207生成的颜色值来计算所述颜色值850。
特定的拜耳阵列可以提供空间分辨率(更高采样率)上的潜在优势，且不易出现色彩缺陷。此外，可以合并所述连续IR滤波单元202，即，单元IR1、IR2、IR3和IR4 851(例如，添加的相应值：IR1+IR2+IR3+IR4＝IR*等)，以提供提取出的IR合并图像852。在一实施例中，如果所述滤波单元组208是(4×4的组矩阵中)的16个组矩阵其中之一，所述提取出的IR合并图像852可以具有更大的SNR。假设在2×2合并模式下，可以为12MB的图像传感器提供0.75MP的深度图(具有高灵敏度，2.0um的有效性)，这超过了正常深度图的分辨率(例如，0.3MP等)。鉴于此，可以使用拜耳去马赛克算法来进行图像处理，以提供全分辨率的彩色RGB图像。
图9示出了一实施例提供的一种网络架构900。如图所示，提供了至少一个网络902。在各个实施例中，可以结合所述至少一个网络902的任何一个或多个组件来实现在任何前述附图的描述中阐述的任何一个或多个组件/特征。
在本网络架构900的上下文中，所述网络902可以采用任何形式，包括但不限于电信网络、局域网(local area network，简称LAN)、无线网络和广域网(wide area network，简称WAN)(比如因特网、对等网络和有线网络)等。虽然仅示出了一个网络，但是应该理解，可以提供两个或多个相似或不同的网络902。
有多个设备耦合至所述网络902。例如，服务器计算机912和终端用户计算机908可以耦合至所述网络902以进行通信。这种终端用户计算机908可以包括台式计算机、膝上计算机和/或任何其他类型的逻辑。此外，各种其他设备也可以耦合至所述网络902，包括个人数字助理(personal digital assistant，简称PDA)设备910、移动电话设备906和电视机904等。
图10示出了一实施例提供的一种示例性系统1000。可选地，所述系统1000可以在图9中的网络架构900的任何设备中实现。然而，应当理解，所述系统1000可以在任何期望的环境中实现。
如图所示，提供了系统1000，所述系统1000包括至少一个连接到总线1012的中央处理器1002。所述系统1000还包括通信接口1008(例如，本地/远程网络接口和存储器访问接口等)和输入/输出(I/O)接口1010(例如，显示器、扬声器、麦克风、触摸屏、触摸板、鼠标接口和图7中所示的图像传感器装置700等)。
所述系统1000还包括主存储器1004(例如，硬盘驱动器、固态硬盘和随机存取存储器(randomaccess memory，简称RAM)等)。所述系统1000还可以包括辅存储器1006。所述辅存储器1006包括，例如，硬盘驱动器和/或可移动存储驱动器(如，软盘驱动器、磁带驱动器和光盘驱动器等)。移动存储驱动器以众所周知的方式从可移动存储单元读取和/或向可移动存储单元写入。
因此，计算机程序或计算机控制逻辑算法可以存储于所述主存储器1004、所述辅存储器1006和/或任何其他存储器中。所述计算机程序在被执行时，所述系统1000能够执行各种功能(例如，如上所述的包括但不限于图8A的方法800)。存储器1004、辅存储器1006和/或任何其他存储装置是非瞬时性计算机可读介质的可能示例。
应当注意，在一个方面中，此处描述的技术在存储于计算机可读介质中的可执行指令中体现，以供指令执行机器、装置或设备使用或与其结合使用，例如，基于计算机的或包括处理器的机器、装置或设备。本领域技术人员将认识到，一些实施例中包括其他类型的计算机可读介质，可存储计算机可访问的数据，比如磁带盒、闪存卡、数字视频光盘、伯努利盒、随机存取存储器(RAM)和只读存储器(read-only memory，简称ROM)等。
如这里所使用的，“计算机可读介质”包括用于存储计算机程序的可执行指令的任何合适介质中的一个或多个，使得指令执行机器、系统、装置或设备可以读取(或取出)来自计算机可读介质的指令并执行用于执行所述方法的指令。合适的存储格式包含电子、磁性、光和电磁格式中的一个或多个。常规的示例性计算机可读介质的非穷举清单包括：便携式计算机磁盘、RAM、ROM、可擦除可编程只读存储器(EPROM或闪存)以及光存储设备，其中包括便携式光盘(compact disc，简称CD)、便携式数字视频光盘(digital video disc，简称DVD)、高清晰度DVD(high definition digital video disc，简称HD-DVD)和蓝光光碟。
非瞬时性计算机可读介质包括所有类型的计算机可读介质，包括磁存储介质、光存储介质和固态存储介质，并且具体不包括信号。应当理解的是，软件可以安装在此处描述的设备上并可以随此处描述的设备一同出售。或者，可以获取软件并加载到设备中，包括通过光盘介质或以网络或分发系统的任何方式获取软件，例如，包括从软件开发者所有的服务器或从非软件开发者所有但为其所用的服务器获取软件。例如，该软件可以存储在服务器上以便通过因特网分发。
应理解，所描述的图中示出的组件的布置是示例性的，并且可能有其它布置。还应理解，由权利要求书界定的、下文描述的并且在各种框图中所说明的各种系统组件(和方法)表示根据本文中所公开的主题配置的一些系统中的逻辑组件。
例如，这些系统组件(和构件)中的一个或多个可以整体或部分地通过所描述的图中示出的布置中示出的至少部分组件实现。另外，尽管这些组件中的至少一个至少部分地实现于电子硬件组件并因此构成机器，但是其它组件可以实现于软件，当包含于执行环境中时所述组件构成机器、硬件或软件和硬件的组合。
更具体地，由权利要求书界定的至少一个组件至少部分实现为电子硬件组件，例如指令执行机器(例如，基于处理器的或包含处理器的机器)，和/或实现为专用电路或电路系统(例如，互连以执行专用功能的离散逻辑门)。其它组件可以实现于软件、硬件或软件和硬件的组合中。此外，可以组合这些其它组件中的一些或全部组件，可以完全省略一些组件并且可以添加其它组件，同时仍实现本文中描述的功能。因此，本文中描述的主题可以许多不同变化形式体现，且所有此类变化形式涵盖在权利要求书的范围内。
在以上描述中，除非另外指明，否则参考动作和由一个或多个设备执行的操作的符号表示来描述主题。因而，应理解，有时被称为计算机执行动作和操作的此类动作和操作包含构造形式的数据处理器的操作。这种操作对数据进行变换或将该数据保持在计算机的内存系统中各个位置，以本领域技术人员容易理解的方式重新配置或改变设备的操作。数据作为数据结构保存在内存的物理位置处，数据结构具有由数据格式限定的特定性质。然而，虽然在前文上下文中描述了主题，但这并不表示对所述主题的限制，因为所属领域的技术人员将了解，下文中描述的各种动作和操作也可以实施于硬件中。
为了促进对本文中描述的主题的理解，根据动作顺序描述许多方面。由权利要求限定的这些方面中的至少一个方面由电子硬件组件执行。例如，将认识到，可通过专用电路或电路系统，通过正由一个或多个处理器执行的程序指令或通过这两者的组合执行各个动作。本文中对任何动作顺序的描述并不意图暗示必须遵循用于执行此顺序而描述的特定次序。本文所描述的所有方法可以以任何适当的次序来执行，除非本文中另有说明或上下文另有清楚否定。
在描述主题(特别是在下面的权利要求的上下文中)中使用术语“一个”、“所述”以及类似的指代将被解释为涵盖单数和复数，除非本文另有说明或与上下文明显矛盾。在此引证数值的范围仅旨在用作单独地提及每个单独的数值落在所述范围内描述的方法，除非在此另有说明，并且每个单独的数值并入到本说明书中就像它被单独地在此引证一样。此外，上述描述仅出于说明的目的，而不是出于限制的目的，寻求保护的范围由附属权利要求及其任何等效物来限定。本文提供的任何和所有示例或示例性语言(如，“例如”)的使用仅旨在更好地说明主题，并且不会对主题的范围提出限制，除非另有声明。使用术语“基于”和其它类似短语指示在附属权利要求和书面描述中产生结果的条件，并不旨在排除产生所述结果的其它条件。本说明书中的任何语言都不应理解为指示实践本发明所必需的任何非声明的要素。
本文中描述的实施例包含发明人实施所要求的主题已知的一个或多个模式。应理解，所属领域的一般技术人员读了上述描述将明显了解上述实施例的变化形式。本发明人期望熟练的业内人士适当时采用此类变化，并且本发明人想以不同于本文中特定描述的其它方式来实践本发明所主张的主题。因此，所主张的主题包含可适用法律所准许的在附属权利要求中叙述的主题的所有变化和等效物。此外，除非本文另外指示或以其它方式明确指出与内容相矛盾，否则本发明涵盖上述要素以其所有可能的变化形式的任何组合。

Claims (28)

1.一种图像传感器装置，其特征在于，包括：
图像传感器，包括二维像素单元阵列，其中每个像素单元用于生成输出信号以作为表示场景图像的像素数据；
滤波器阵列，包括二维滤波单元阵列，其中，所述二维滤波单元阵列耦合至所述二维像素单元阵列以接收来自场景的光输入，所述滤波器阵列设置成多个滤波单元块，每个滤波单元块包括：
第一滤波单元子集，用于传输可见光谱的一种或多种颜色中的光谱能量，其中，所述第一滤波单元子集中的每对相邻滤波单元用于传输所述可见光谱的不同颜色中的光谱能量，每一行所述第一滤波单元子集中任意相邻两个第一滤波单元用于传输可见光谱的不同颜色的光谱能量，且每一列所述第一滤波单元子集中任意相邻两个第一滤波单元用于传输可见光谱的不同颜色的光谱能量；以及
第二滤波单元子集，用于传输红外(IR)光谱中的光谱能量，其中，所述第二滤波单元子集包括至少两个连续的IR滤波单元。
2.根据权利要求1所述的装置，其特征在于，所述图像传感器包括电荷耦合器(CCD)图像传感器。
3.根据权利要求1所述的装置，其特征在于，所述图像传感器包括互补型金属氧化物半导体(CMOS)图像传感器。
4.根据权利要求1所述的装置，其特征在于，所述第二滤波单元子集包括至少四个连续的IR滤波单元。
5.根据权利要求1所述的装置，其特征在于，所述第一滤波单元子集包括下述滤波单元中的至少两种：红色滤波单元、绿色滤波单元和蓝色滤波单元。
6.根据权利要求1所述的装置，其特征在于，所述第一滤波单元子集包括红色滤波单元、绿色滤波单元和蓝色滤波单元。
7.根据权利要求1所述的装置，其特征在于，将所述滤波器阵列设置成每个滤波单元块的结构都是对称的。
8.根据权利要求1所述的装置，其特征在于，所述第二滤波单元子集包括第一数量的滤波单元，其中，所述第一数量是所述第一滤波单元子集中的第二数量的滤波单元中所述第二数量的分数。
9.根据权利要求8所述的装置，其特征在于，所述分数为三分之一。
10.根据权利要求1所述的装置，其特征在于，配置所述装置，使得所述第二滤波单元子集位于每个对应滤波单元块的中心。
11.根据权利要求1所述的装置，其特征在于，配置所述装置，使得所述第二滤波单元子集位于每个对应滤波单元块的一角。
12.根据权利要求1所述的装置，其特征在于，所述装置用于为所述第二滤波单元子集中的至少一部分滤波单元合并所述IR光谱中的光谱能量。
13.根据权利要求12所述的装置，其特征在于，配置所述装置，使得通过所述合并，对应所述IR光谱中的光谱能量的光信号转换处理为电压电平时的电压电平得到了合并。
14.根据权利要求12所述的装置，其特征在于，配置所述装置，使得通过所述合并，对应所述IR光谱中的光谱能量的光信号转换为电荷时的电荷量得到了合并。
15.根据权利要求1所述的装置，其特征在于，还包括合并电路，用于为所述第二滤波单元子集合并所述IR光谱中的光谱能量。
16.根据权利要求1所述的装置，其特征在于，所述装置用于：使用第一种合并算法为所述第一滤波单元子集中的至少一部分滤波单元合并所述可见光谱的所述一种或多种颜色中的光谱能量，使用第二种合并算法为所述第二滤波单元子集中的至少一部分滤波单元合并所述IR光谱中的光谱能量。
17.根据权利要求1所述的装置，其特征在于，所述装置用于利用插值法为所述第二滤波单元子集中的至少一个滤波单元识别所述可见光谱的所述一种或多种颜色中的光谱能量值。
18.根据权利要求1所述的装置，其特征在于，所述装置用于：若所述滤波器阵列的第一行中只包括所述第一滤波单元子集，采用高分辨率处理与所述第一行相关的输出；若所述滤波器阵列的第二行中包括所述第二滤波单元子集中的至少一个滤波单元，采用低分辨率处理与所述第二行相关的输出。
19.根据权利要求1所述的装置，其特征在于，配置所述装置，使得所述第二滤波单元子集中的至少一部分滤波单元构成所述滤波器阵列的一个组件，所述组件的尺寸大于所述第一滤波单元子集中的至少一个滤波单元。
20.根据权利要求1所述的装置，其特征在于，配置所述装置，使得
所述第一滤波单元子集配置在拜耳阵列中。
21.一种处理图像传感器的输出信号方法，其特征在于，包括：
在图像传感器装置处接收光线，其中，所述图像传感器装置包括：包括二维像素单元阵列的图像传感器；和包括二维滤波单元阵列的滤波器阵列，所述滤波器阵列包括二维滤波单元阵列，其中，所述二维滤波单元阵列耦合至所述二维像素单元阵列以接收来自场景的光输入，所述滤波器阵列设置成多个滤波单元块，每个滤波单元块包括：第一滤波单元子集，用于传输可见光谱的一种或多种颜色中的光谱能量，其中，所述第一滤波单元子集中的每对相邻滤波单元用于传输所述可见光谱的不同颜色中的光谱能量，每一行所述第一滤波单元子集中任意相邻两个第一滤波单元用于传输可见光谱的不同颜色的光谱能量，且每一列所述第一滤波单元子集中任意相邻两个第一滤波单元用于传输可见光谱的不同颜色的光谱能量；以及第二滤波单元子集，用于传输红外(IR)光谱中的光谱能量，其中，所述第二滤波单元子集包括至少两个连续的IR滤波单元；以及
为所述图像传感器的每个像素单元生成输出信号，包括表示场景图像的像素数据。
22.根据权利要求21所述的方法，其特征在于，所述第二滤波单元子集包括至少四个连续的IR滤波单元。
23.根据权利要求21所述的方法，其特征在于，所述第二滤波单元子集包括第一数量的滤波单元，其中，所述第一数量是所述第一滤波单元子集中的第二数量的滤波单元中所述第二数量的分数。
24.根据权利要求21所述的方法，其特征在于，还包括：为所述第二滤波单元子集中的至少一部分滤波单元合并所述IR光谱中的光谱能量。
25.根据权利要求21所述的方法，其特征在于，还包括：
使用第一种合并算法为所述第一滤波单元子集中的至少一部分滤波单元合并所述可见光谱的所述一种或多种颜色中的光谱能量；以及
使用第二种合并算法为所述第二滤波单元子集中的至少一部分滤波单元合并所述IR光谱中的光谱能量。
26.根据权利要求21所述的方法，其特征在于，所述第一滤波单元子集配置在拜耳阵列中。
27.一种图像传感器装置，其特征在于，包括：
图像传感器，包括二维像素单元阵列，其中每个像素单元用于生成输出信号以作为表示场景图像的像素数据；
滤波器阵列，包括二维滤波单元阵列，其中，所述二维滤波单元阵列耦合至所述二维像素单元阵列以接收来自场景的光输入，所述滤波器阵列设置成多个滤波单元块，每个滤波单元块包括：用于传输可见光谱的一种或多种颜色中的光谱能量的第一滤波单元子集和用于传输红外(IR)光谱中的光谱能量的第二滤波单元子集，其中，每一行所述第一滤波单元子集中任意相邻两个第一滤波单元用于传输可见光谱的不同颜色的光谱能量，且每一列所述第一滤波单元子集中任意相邻两个第一滤波单元用于传输可见光谱的不同颜色的光谱能量，所述第二滤波单元子集中的至少一个滤波单元的尺寸大于所述第一滤波单元子集中的至少一个滤波单元。
28.根据权利要求27所述的装置，其特征在于，配置所述装置，使得所述第一滤波单元子集配置在拜耳阵列中。
CN201780041208.XA 2016-07-05 2017-07-05 具有多个连续红外滤波单元的图像传感器方法和装置 Active CN109417613B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662358523P 2016-07-05 2016-07-05
US62/358,523 2016-07-05
US15/640,758 2017-07-03
US15/640,758 US10764515B2 (en) 2016-07-05 2017-07-03 Image sensor method and apparatus equipped with multiple contiguous infrared filter elements
PCT/CN2017/091836 WO2018006822A1 (en) 2016-07-05 2017-07-05 Image sensor method and apparatus equipped with multiple contiguous infrared filter elements

Publications (2)

Publication Number Publication Date
CN109417613A CN109417613A (zh) 2019-03-01
CN109417613B true CN109417613B (zh) 2021-01-29

Family

ID=60911246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780041208.XA Active CN109417613B (zh) 2016-07-05 2017-07-05 具有多个连续红外滤波单元的图像传感器方法和装置

Country Status (5)

Country Link
US (1) US10764515B2 (zh)
EP (1) EP3461306B1 (zh)
JP (1) JP6929929B2 (zh)
CN (1) CN109417613B (zh)
WO (1) WO2018006822A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3348974A1 (en) * 2017-01-17 2018-07-18 IMEC vzw An image sensor, an imaging device, an imaging system and a method for spectral imaging
CN107370918B (zh) * 2017-06-30 2020-09-25 联想(北京)有限公司 图像采集装置、电子设备及其使用方法
CN110830675B (zh) * 2018-08-10 2022-05-03 株式会社理光 读取装置、图像形成装置及读取方法
JP2020038107A (ja) * 2018-09-04 2020-03-12 株式会社三井フォトニクス 温度計測装置
WO2020177123A1 (en) * 2019-03-07 2020-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system
CN110730318B (zh) * 2019-09-30 2022-01-04 上海集成电路研发中心有限公司 一种用于消除莫尔条纹的像素单元和像素阵列
US11595625B2 (en) * 2020-01-02 2023-02-28 Qualcomm Incorporated Mechanical infrared light filter
JP7459739B2 (ja) 2020-09-17 2024-04-02 株式会社デンソー 固体撮像素子
WO2023095827A1 (ja) * 2021-11-25 2023-06-01 三菱ケミカル株式会社 構造体及び固体撮像素子

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130139A (zh) * 2010-01-19 2011-07-20 采钰科技股份有限公司 三维彩色图像传感器及三维光学成像系统
CN105025278A (zh) * 2014-04-23 2015-11-04 全视科技有限公司 具有缩放滤波器阵列和像素内装仓的图像传感器

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5258618A (en) * 1991-12-12 1993-11-02 General Electric Company Infrared imager forming two narrow waveband images of the same object field
US8139141B2 (en) 2004-01-28 2012-03-20 Microsoft Corporation Single chip red, green, blue, distance (RGB-Z) sensor
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070201859A1 (en) 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
JP2008177738A (ja) 2007-01-17 2008-07-31 Casio Comput Co Ltd 撮像装置及び撮像素子
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
CA2666470A1 (en) * 2009-05-21 2010-11-21 Pierre Benoit Boulanger Multi-spectral color and ir camera based on multi-filter array
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
US8619143B2 (en) * 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
FR2975829A1 (fr) 2011-05-26 2012-11-30 St Microelectronics Sa Dispositif imageur utilisant des resonateurs optiques et procede de fabrication correspondant
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
JP6150508B2 (ja) 2012-12-07 2017-06-21 キヤノン株式会社 撮像装置及び撮像システム
JP6308760B2 (ja) 2012-12-20 2018-04-11 キヤノン株式会社 光電変換装置および光電変換装置を有する撮像装置
JP2014127945A (ja) * 2012-12-27 2014-07-07 Rohm Co Ltd 検査システム、検査方法、画素回路及びイメージセンサ
EP2763397A1 (de) 2013-02-05 2014-08-06 Burg-Wächter Kg Fotosensor
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9451152B2 (en) * 2013-03-14 2016-09-20 Apple Inc. Image sensor with in-pixel depth sensing
US20140347442A1 (en) 2013-05-23 2014-11-27 Yibing M. WANG Rgbz pixel arrays, imaging devices, controllers & methods
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
EP2871843B1 (en) 2013-11-12 2019-05-29 LG Electronics Inc. -1- Digital device and method for processing three dimensional image thereof
JP2015195550A (ja) * 2014-03-28 2015-11-05 パナソニックＩｐマネジメント株式会社 撮像素子および撮像装置
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
CN106664394B (zh) * 2014-06-24 2018-10-02 麦克赛尔株式会社 摄像处理装置以及摄像处理方法
JP6322723B2 (ja) * 2014-11-27 2018-05-09 京セラ株式会社 撮像装置および車両
KR102360424B1 (ko) 2014-12-24 2022-02-09 삼성전자주식회사 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130139A (zh) * 2010-01-19 2011-07-20 采钰科技股份有限公司 三维彩色图像传感器及三维光学成像系统
CN105025278A (zh) * 2014-04-23 2015-11-04 全视科技有限公司 具有缩放滤波器阵列和像素内装仓的图像传感器

Also Published As

Publication number Publication date
EP3461306B1 (en) 2021-05-26
US10764515B2 (en) 2020-09-01
JP2019527501A (ja) 2019-09-26
EP3461306A4 (en) 2019-07-03
EP3461306A1 (en) 2019-04-03
WO2018006822A1 (en) 2018-01-11
US20180013962A1 (en) 2018-01-11
JP6929929B2 (ja) 2021-09-01
CN109417613A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109417613B (zh) 具有多个连续红外滤波单元的图像传感器方法和装置
KR101283248B1 (ko) 듀얼 이미지 센서 이미지 처리 시스템 및 방법
EP3054675B1 (en) Imaging systems with clear filter pixels
EP3038356B1 (en) Exposing pixel groups in producing digital images
US9392236B2 (en) Image processing method, image signal processor, and image processing system including the same
US20110080503A1 (en) Image sensing apparatus
EP2685725B1 (en) Imaging device and imaging program
US8253829B2 (en) Image processing apparatus, imaging apparatus, and image processing method
EP2762944B1 (en) Imaging device and focusing control method
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
US20170310878A1 (en) Image capturing apparatus and control method thereof
CN111726549B (zh) 图像传感器、电子设备和芯片
KR20160071233A (ko) 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
CN116074643A (zh) 图像传感器及使用图像传感器系统进行hdr图像捕捉的方法
KR20150063010A (ko) 플렌옵틱 카메라로 취득된 장면의 뷰와 연관된 시차를 추정하기 위한 방법 및 디바이스
US20150055861A1 (en) Methods and Systems for Image Demosaicing
US20120127347A1 (en) Image processing apparatus and system
US10447951B1 (en) Dynamic range estimation with fast and slow sensor pixels
Pekkucuksen et al. Edge oriented directional color filter array interpolation
JP6069857B2 (ja) 撮像装置
US11988849B2 (en) Imaging device and method
US20240073547A1 (en) Sparse color image sensor system
KR20120015871A (ko) 이미지 처리장치 및 그를 이용한 데이터 처리 방법
JP2012099870A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant