CN102710902B - 多通道图像传感器 - Google Patents

Abstract

本发明涉及多通道图像传感器。更具体地，其公开了一种图像传感器，包括像素阵列和图像传感器物镜光学元件。该元件由微透镜阵列形成。阵列中的每个微透镜将传入辐射引导到像素阵列中的不同的特定像素或像素子阵列上。该阵列中的微透镜被成型为使得间隔一个的邻近微透镜(即，由另一微透镜彼此隔开的两个微透镜)的视场直到远离该微透镜阵列一定物距才重叠。

Description

多通道图像传感器

相关申请的交叉引用

本申请要求2011年2月16日提交的申请号为1102711.7的英国专利申请的优先权，该申请的公开内容通过引用并入于此。

技术领域

本发明涉及对多通道图像传感器的改进或者与其有关的改进，并且具体而言涉及包括复合成像几何的多通道图像传感器。

背景技术

基于固态技术的数字图像传感是公知的，目前最常用的两种类型的图像传感器为电荷耦合器件(CCD)传感器和互补型金属氧化物半导体(CMOS)图像传感器。数字图像传感器被并入在遍及消费、工业和防御以及其他领域的多种设备中。并入了图像传感器的典型消费产品包括例如数字静态照相机、诸如移动电话之类的移动设备、网络摄像头、膝上式计算机和台式计算机、以及视频记录仪。

图像传感器是如下设备，该设备包括一个或多个辐射敏感元件，这些元件具有当辐射入射到其上时改变的电学特性，以及包括将改变的电学特性转换为信号的电路。例如，图像传感器可以包括光电探测器，当辐射入射到其上时生成电荷。该光电探测器可以被设计成：对(人类)可见波长范围或者其它邻近的波长范围(诸如红外或者紫外)中的电磁辐射敏感。提供了如下电路，其用于收集并承载来自辐射敏感元件的电荷，以用于转换成表示入射辐射强度的数值。

典型的，多个辐射敏感元件被设置在阵列中。术语“像素”用作图片元素的简写。在数字图像传感器的上下文中，像素指代图像传感器的一部分，其对表示在阵列上的该点上处的辐射强度的一个数值有贡献。这些像素值被组合，以再现将由传感器成像的场景。多个像素值可以被统称为图像数据。像素通常形成于半导体基底上和/或者半导体基底内。实际上，辐射敏感元件仅包括像素的一部分，以及仅像素表面区域的部分(辐射敏感元件占用的像素区域的比例被称为填充因数)。像素的其它部分被诸如晶体管栅极之类的金属镀层占用。依赖于像素架构，可以将诸如读出电子元件、模数转换电路等的其它图像传感器部件至少部分地提供作为每个像素的一部分。

图像传感器通常被提供在集成电路上或者作为集成电路的一部分。图像传感器还可具有其它部件，诸如红外滤光片、彩色滤光片阵列等。还已知的是，提供具有所谓的微透镜的图像传感器，该微透镜通过在阵列中的每个单独的像素之上的光学透明材料形成，以将光集中到像素的光敏感部分上，而不是将其集中到对光不敏感的部分上。

包括数字图像传感器的图像传感器系统或照相机将包括图像传感器芯片(其可以包括形成在或者设置在其上的微透镜)以及用于操作入射到图像传感器的图像平面上的入射光的光学元件(诸如透镜或者其它波导)。该光学元件被称为物镜光学元件、物镜透镜或简称为“物镜”。

在所有应用领域，存在使得容纳照相机的包装的尺寸最小化的期望。在移动设备领域这一要求尤为紧迫，在这一领域中，不断增多的设备功能数量以及不断增长的功能复杂度的需求导致对节省空间的强烈需求。

在传统的照相机布置中，物镜光学元件产生图像的区域的物理尺寸确定焦距进而确定容纳物镜光学元件的组件的所需高度，该组件称为“光学组件”或者简称为“光学元件”。这一高度在本领域中被称为z高度，x轴、y轴和z轴形成正交轴的集合，并且x方向和y方向在图像传感器的平面中。然而，为了减小照相机的厚度而减小z高度也意味着减少传感器区域，并且进而降低采样图像的分辨率。

为了实现减小的z高度，已知的是使用复合成像几何。不是提供将入射辐射引导到像素阵列上的单个物镜光学元件，而是提供两个或多个物镜，每个物镜将辐射引导到像素阵列的不同子集上。每个物镜光学元件与相关的像素子集一起提供所谓的多通道图像传感器的一个“通道”。例如，如果传感器区域被划分为具有相同尺寸的四个子区域，那么每个子传感器尺寸变为原尺寸的1/2。因此，焦距进而光学高度也减小为原来的1/2。迄今为止已经公开了多种复合成像几何，例如参见美国专利号6137535、6141048以及6765617，以及美国专利申请号2005/0128335，以上专利及专利申请的公开内容通过引用并入于此。

然而，这些方案遭受通道间的视差以及色彩混叠之害。在这些领域的改进是更加期望的，以使用可行的复合成像几何来得到具有减小的z高度的光学系统。

发明内容

根据本公开的第一方面，提供了一种图像传感器，其包括：像素阵列；包括微透镜阵列的图像传感器光学元件；其中每个微透镜将入射辐射引导到不同的特定像素或者像素的子阵列上；并且阵列中的微透镜的形状和/或位置使得间隔一个的邻近微透镜的视场直到远离该微透镜阵列应用限定的物距才重叠。

应用限定的物距为在此处间隔一个的图像重叠的点。因此，应用限定的物距为在此处物体被完全采样的最小距离。因此，系统的期望的应用将主宰系统的几何是否能对在微透镜阵列前面的从零到无限远距离的位置处的物体进行充分采样。

可选的，微透镜阵列包括凸透镜阵列，其可以优选的被形成为相对共同基底的突起。

可选的，微透镜阵列包括楔形光学元件的阵列。

可选的，像素阵列和微透镜阵列沿图像传感器的中心光轴相对于彼此被保持成固定关系，并且微透镜阵列的超焦距与应用限定的物距相对应。

可选的，像素阵列和微透镜阵列可沿图像传感器的中心光轴相对于彼此移动，并且应用限定的物距可根据它们的相对位置变化。

可选的，由一个微透镜的视场观测到的在应用限定的物距处的物空间的区域也仅由该微透镜的八个最邻近的微透镜在该距离处观测到。

可选的，每个微透镜包括楔形光学元件，并且视场包括该楔形的至少一个面倾斜。

可选的，微透镜的视场跨微透镜阵列有角度地分布。

可选的，图像传感器包括微透镜级的电磁辐射的波段采样器。

可选的，所述波段采样器包括在微透镜阵列的一侧上形成的带通滤波器阵列。

可选的，所述带通滤波器阵列对至少两个波段进行采样，其中具有不同的波段选择性的部分以微透镜的图案布置，可选地为正方形图案，该微透镜的图案优选跨微透镜阵列重复。

可选的，所述带通滤波器阵列对三个波段进行采样，其中所述微透镜的正方形图案的四个部分中的两个对三个波段中的一个敏感并且在该图案中彼此对角相对地布置。

可选的，所述带通滤波器阵列对四个波段进行采样。

可选的，被采样的电磁辐射的所有波段为可见光波段。

可选的，被采样的电磁辐射的至少一个波段为红外辐射波段。

可选的，图像传感器包括像素级的电磁辐射波段采样器。

可选的，所述电磁辐射波段采样器包括设置在所述像素阵列之上或形成在像素阵列上或者作为所述像素阵列的一部分的带通滤波器阵列。

可选的，所述带通滤波器阵列对至少两个波段进行采样，其中具有不同的波段选择性的部分以像素的图案配置，可选地为正方形图案，该像素的图案优选地跨像素阵列重复。

可选的，所述带通滤波器阵列对三个波段进行采样，其中所述像素的正方形图案的四个部分中的两个对三个波段中的一个敏感，并且在该图案彼此对角相对地布置。

可选的，所述带通滤波器阵列对四个波段进行采样。

可选的，被采样的电磁辐射的所有波段为可见光波段。

可选的，被采样的电磁辐射的至少一个波段为红外辐射波段。

可选的，像素级的电磁辐射波段采样器包括用于第一像素子阵列的第一部分，第一微透镜的视场被聚焦于该第一像素子阵列上；以及用于第二像素子阵列的第二部分，第二微透镜的视场被聚焦于该第二像素子阵列上；所述第一部分和第二部分提供不同的波段采样功能。

可选的，电磁辐射波段采样器的每个部分包括具有不同的波段选择性的部分，这些部分以像素的正方形图案布置，该像素的正方形图案优选地跨过像素子阵列重复。

可选的，像素级的电磁辐射波段采样器的部分以部分的正方形图案布置，该部分的正方形图案优选地跨像素阵列重复。

可选的，图像传感器包括用于执行图像重建的处理器，该图像重建根据所确定的子阵列图像中的感兴趣区域而动态确定子图像的重叠，从而相对于彼此配准这些图像并将它们缝合为复合图像。

根据本公开的第二方面，提供了一种图像传感器物镜光学元件，其包括微透镜阵列，其中阵列中的微透镜的形状和/或位置被选择成使得间隔一个的邻近微透镜视场直到远离该微透镜阵列应用限定的物距才重叠。

可选的，由一个微透镜的视场观测到的在所述预定距离处的物空间的区域也仅由该微透镜的八个最邻近微透镜在该距离观测到。

可选的，每个微透镜包括楔形光学元件，并且视场包括该楔形的至少一个面倾斜。

可选的，图像传感器物镜光学元件包括电磁辐射的波段采样器。

可选的，所述波段采样器包括形成在微透镜阵列的一侧上的带通滤波器阵列。

可选的，所述带通滤波器阵列对至少三个波段进行采样，其中具有不同的波段选择性的部分以微透镜的正方形图案布置，所述微透镜的图案优选地跨微透镜阵列重复。

可选的，所述带通滤波器阵列对三个波段进行采样，其中所述微透镜的正方形图案的四个部分中的两个对三个波段中的一个敏感并且在该图案中彼此对角相对地布置。

可选的，所述带通滤波器阵列对四个波段进行采样。

可选的，被采样的电磁辐射的所有波段为可见光波段。

可选的，被采样的电磁辐射的至少一个波段为红外线辐射波段。

根据本公开的第三方面，提供了一种对场景进行成像的方法，包括：将来自物空间的特定区域的入射辐射引导至不同的特定像素或者像素子阵列上；其中物空间的每个特定区域包括微透镜阵列内的微透镜的视场，该微透镜阵列形成图像传感器物镜光学元件，并且其中阵列中的微透镜的形状和/或位置被选择成使得间隔一个的邻近微透镜的视场直到远离微透镜阵列应用限定的物距才重叠。

可选的，由一个微透镜的视场观测到的在所述预定距离处的物空间的区域也仅由该微透镜的最邻近的八个微透镜在该距离处观测到。

可选的，每个微透镜包括楔形光学元件，并且视场由该楔形的至少一个面倾斜表征。

可选的，该方法包括执行微透镜级的电磁辐射波段采样。

可选的，该方法包括执行像素级的电磁辐射波段采样。

可选的，电磁辐射波段采样步骤包括对至少两个波段进行采样。

可选的，被采样的电磁辐射的所有波段为可见光波段。

可选的，被采样的电磁辐射的至少一个波段为红外辐射波段。

可选的，该方法包括通过组合来自每个像素子阵列的图像数据来重建图像，其中所述重建根据所确定的子阵列图像中的感兴趣区域而动态地确定来自每个像素子阵列的数据的重叠，从而相对于彼此配准这些图像并将它们缝合在一起。

根据本公开的第四方面，提供了一种包括图像传感器的照相机，该图像传感器包括：像素阵列；包括微透镜阵列的图像传感器光学元件；其中每个微透镜将传入辐射引导到不同的特定像素或者像素的子阵列上；并且阵列中的微透镜的形状和/或位置使得间隔一个的邻近微透镜的视场直到远离微透镜阵列应用限定的物距才重叠。

根据本公开的又一些方面，提供了一种包括根据第四方面的照相机的移动电话、网络摄像头、光学鼠标、膝上式计算机或台式计算机。

附图说明

现在参照附图通过示例描述说明本发明，在附图中：

图1示出了根据第一实施例的跨图像传感器分布视场的微透镜阵列，其中该微透镜阵列由特定形成的楔形元件形成；

图2示出了根据第二实施例的跨图像传感器分布视场的微透镜阵列，其中该微透镜阵列包括从共同基底的微透镜突出；

图3示出了根据第三实施例的跨图像传感器分布视场的微透镜阵列，其中该微透镜阵列沿聚焦透镜的分离阵列设置；

图4示出了根据晶片规模复制技术在基底上形成微透镜阵列的示例；

图5示出了包括一些可选的附加特征的成像设备，其包括可以包含彩色滤光片阵列和/或其他聚焦光学元件以及諸如不透明挡板或其他等同物的光学隔离器的层，；

图6示出了晶片规模复制结构的透视图；

图7示出了图6的结构的截面图；

图8至图11图示了阵列内的微透镜的形状如何影响所产生的视场；

图12图示了通道的视场在一个维度上的分布和重叠；

图13图示了采用独立色彩通道的照相机进行成像的近场摄影的结果的视差错误；

图14图示了视差错误；

图15图示了表观物体尺寸随两个通道的光轴的距离的变化；

图16图示了拜耳颜色采样图案；

图17图示了可以针对微透镜阵列实现的不同颜色采样布置；

图18示出了相邻通道的视场在物空间的不同位置处的重叠；

图19示出了四个颜色通道如何在共同区域重叠从而对该共同区域进行完全采样；

图20图示了针对每个通道对两种颜色进行采样的颜色采样技术；

图21为色度图，其展示了可以由与三色空间比较的四色空间获得的增大的颜色空间；

图22图示了邻近视场在近场的重叠以及所产生的在无限远处的过度重叠；

图23图示了通道各个视场在不同物距处重叠的动态特性；

图24图示了并入了多通道图像传感器类型的照相机的设备；以及

图25图示了邻近通道的感兴趣区域(ROI)的重叠。

具体实施方式

本公开涉及多通道成像设备，其整体z高度相对于类似的特定的单通道成像设备减小，并且其通过处理当前在根据每个通道的各个子图像重建图像中引起问题的视差问题而相对于现有的多通道成像设备做出了改进。

图1示出了本公开的一般原理。物镜光学元件100包括由各个微透镜102形成的微透镜阵列。

如本公开中所使用的，术语“微透镜”通常指代任意折射性光学部件，其与其他折射性光学部件作为阵列的一部分。

微透镜可以采取各种不同形式。根据一个实施例，微透镜可以包括微型凸透镜阵列，该阵列例如可以使用复制技术来形成。根据另一实施例，微透镜可以包括特定形成的楔形光学元件。

图1中的示例中示出的微透镜102为各个楔形光学元件。每个微透镜102置于图像传感器阵列104的特定的像素子阵列之上。每个微透镜102和相应的像素子阵列形成单个通道。从每个像素子阵列收集的图像数据可以被称为“子图像”。各个子图像一起形成整幅“图像”，其由像素阵列作为一个整体输出。

根据本公开提供的新的物镜光学元件100提供两个光学效应。第一光学效应为将入射光朝向焦点以及图像传感器的平面会聚。第二光学效应是根据预定标准使由像素阵列观察的有效视场发散。第一光学效应和第二光学效应一起提供了物镜光学元件100作为一个整体的净光学效应特性。

针对给定通道的净光学效应可以由单个一体光学元件或者分离的光学元件提供。备选的或者附加的，针对整个像素阵列或像素阵列的部分的净光学效应可以由单个一体光学元件或分离的光学元件提供。

图2示出了具有单个一体物镜光学元件200的实施例，该物镜光学元件200包括由微透镜202形成的微透镜阵列，该微透镜202被形成为相对基底206的突起。可以使用晶片规模复制的透镜制造技术制造这些微透镜202。基底206和微透镜202组合提供了会聚入射光和根据预定标准使由像素阵列204观察的有效视场发散的净光学效应。

图3示出了一个实施例，其中由分离的光学元件提供针对每个通道的净光学效应，也就是说，每个通道包括分离的光楔302和凸聚焦透镜306。该聚焦透镜306被设计成用于提供第一光学效应，也就是说，使入射光在图像传感器304的平面处的聚焦平面处聚焦。可以定制每个聚焦透镜306的设计，以对通道特定的色差和几何偏差进行校正。光楔302被设计成用于提供第二光学效应，也就是说，根据预定标准使由像素阵列观察的有效视场发散。

图4示出了根据晶片规模复制技术在基底406上形成微透镜阵列402的示例。这一结构可以例如在本公开的任意其他图中示出的示例实施例中使用。

这里提及的晶片规模复制技术仅作为一个示例。该技术符合照相机透镜的大规模制造的现有技术，并且因此代表一种经济的方法。然而，应当理解，可以使用任何适当的备选制造方法，并且也可以使用不同的装配技术。例如，在不同的晶片上制造每个光层，可选的在不同的时间制造，并且在装配线置于一起；或者，透镜可以形成在传感器结构上，将每个层增加到前面层的顶上。

应当理解，以上示例性实施例并不是用于实现本公开的实现方式的可能物理结构的穷尽列表。变化是可设想的。例如，具有微透镜与聚焦透镜一对一配置(例如图3的示例性实施例中示出的)并不是必不可少的。一个聚焦透镜可以用于多个微透镜，例如2x2或更大的阵列，反之亦然。这些图本质上也是示意性的，并且为图示清楚起见，省略了多种支持结构。

还应当理解的是，图中示出的微透镜的特定曲率仅为示例目的，并且具体而言已经在某种程度上被夸大。光楔的形状的实际选择将依赖于视场(FOV)发散的所需标准，并且接下来将对其进行详细讨论。此外，可以在阵列中提供具有相同形状的多个光楔，而不是针对每个不同的通道通常具有唯一的微透镜形状。

传感器阵列104包括形成在半导体基底上或其中的辐射敏感像素阵列。众所周知，像素自身可以可选地具有显微透镜。在图像传感装置领域中，显微透镜为形成在像素之上的小透镜，其通常从用于将入射辐射朝向像素的辐射敏感部分(通常为其中心)集中的透明的光阻材料形成。该显微透镜具有特征维度(直径)，该维度比物镜光学元件100的微透镜102的尺寸小一个或更多(高达6个或7个)数量级。此外，显微透镜作为像素阵列自身的形成过程中的一个制造步骤形成，并且其因此被认为是像素阵列的“一部分”。它们是像素阵列的用于使阵列中的像素的填充因数最大的设计特征，而不是作为用做成像物镜的光学元件的一部分。

根据上述示例性实施例形成的成像设备也可包括在图5中总地说明的进一步的特征，图5中示出了包括由各个微透镜502形成的微透镜阵列的物镜光学元件500。该物镜光学元件可为本文提及的任意示例性实施例中图示的类型。

这些特征包括层506，其可包括彩色滤光片阵列和/或其他聚焦光学元件，以及诸如不透明的挡板以及其它等同物等的光学隔离器508。

光学隔离器用于可选地隔离相应的通道。在图5中的示例性实施例中，光学隔离器508被形成为不透明的挡板，其被设置在相邻像素子阵列之间，并且可以从传感器阵列504的表面延伸到微透镜阵列500的下侧表面。其上形成有不透明挡板508的传感器阵列504的区域有利的可以为对辐射不敏感的区域，例如像素阵列的金属镀层部件或者读出部件。不透明挡板508用于减少或者防止子图像和通道之间的串扰，并且抑制在为每个相应的子图像的通道提供图像数据的指定的像素子阵列之外的图像形成，并且其还可以在控制子图像的视场方面发挥作用。

挡板的侧壁可以为波纹状，从而与具有直壁型挡板的情况相比，反射回来更多偏离轴的入射杂散光。

作为挡板的备选或者附加，可以提供一个或多个视场光阑，以用于减少或者防止子图像和通道之间的串扰，并且抑制在为每个相应的子图像的通道提供图像数据的指定的像素子阵列之外的图像形成，并且其还能够控制子图像的视场。

还可以提供用于减少入射到整体像素阵列上的杂散光的光学隔离器。这些隔离器也可以采用不透明挡板(其可以可选地为波纹状的)和/或视场光阑的形式。

图6和图7示出了根据上述晶片规模复制制造方法制造的示例性结构。图6示出了该结构的透视图，而图7示出了截面，该截面示出了包括挡板720、玻璃基底740和视场光阑760的实施例。采用这种类型的方法，光学隔离器并不延伸到基底中。

传感器阵列104可以根据任何需要的规格来制造，并且其自身将类似于本领域已知的其他传感器阵列。然而，每个微透镜102和对应的像素子阵列形成单个通道。从每个像素子阵列读出的辐射强度包括对应每个通道的数据，也称为“子图像”。

在一个实施例中，可以为像素阵列104中的每个像素提供单个微透镜102。然而，应当理解的是，这是相对少见的，更常见的是，每个通道包括多个像素。例如，一百万个像素和一千万个像素之间的像素阵列可以被划分为九个、十六个、二十五个或三十六个通道。应当理解，这些数目在任何方面都不限制本公开的范围，其仅仅作为说明而提供。通道的数目并不必须是平方数，并且每个通道的物理尺寸也不必相同。可以对通道做出任意布置。

特定通道的视场(FOV)可以由光学元件表征，也就是说，由微透镜阵列100中的各个微透镜102的形状以及它们的转动位置表征。两个微透镜102可以被形成为相同的基本形状，但是通过被定位在关于z轴或者关于与图像平面平行的x轴和y轴的不同的转动位置处而提供不同的光学效应，该z轴垂直于图像平面并且通过微透镜的中心延伸。

图8至图11中示出了这一关系。考虑具有给定视场(FOV)，被划分为N乘N的各个通道的图像传感系统，每个通道具有各个视场(IFOV)。该FOV和IFOV分别以共同光轴或各个光轴为中心具有维度角。随着到观测到的物体的距离增加，FOV到到该物体上的投影的尺寸也增加。针对给定的传感器位置和定向的FOV或IFOV由给定传感器位置通过该光学元件到物空间的投影表征。这等同于来自物空间的给定区域的、被聚焦于传感器位置上的辐射。

N可为任意整数，并且从而由系统的整体尺寸提供的每个微透镜的最大直径的尺寸为D，

$D=\frac{X_{\mathrm{system}}}{N}$

其中X_system为在一个维度上的系统尺寸。

图8示出了图像传感器系统800的表示，其中图像平面802沿着该图的右手侧的垂直轴定向，并且所示的物镜元件804在本示例中作为标准凸透镜起作用。图中示出的为一半图像宽度的尺寸x可通过如下公式导出：

$x=F\tan \left(\frac{\mathrm{IFOV}}{2}\right).D$

其中D为开口直径，F为光圈值的下限，F.D为有效焦距。FOV 806以系统的光轴808为中心。

假设D＝2x，则改写该关系以给出将IFOV适应在开口直径内的光圈值：

$F=\frac{1}{2.\tan \left(\frac{\mathrm{IFOV}}{2}\right)}$

系统的实际物理焦距定义为F*D。

为了针对每个通道获得不同的IFOV，需要光学元件来重新分布入射辐射，例如图9中示出的光楔。这里的光楔900设置于图8中示出的系统800的前面。由光楔修改系统800的光轴808，以限定以重新分布的光轴908为中心的新的IFOV 906。

可以使用图10中示出的单个光学元件1000来替代图9中所示的光楔900和凸透镜804的组合。该光学元件1000可以被视作楔形透镜，其中透镜面的倾斜与图9中示出的楔形倾斜相同。也就是说，可以通过研究楔形的特性来实现获取通道IFOV的给定的重新分布的微透镜设计。

从图像重回到物空间的工作，可以构造诸如图11中示出的模型。楔形1100被设计成用于分别通过大气(通常为空气)和该楔形的不同的折射率n1和n2来将入射辐射1102的角度改变θ″₂的量。出射角θ″₂为通道IFOV的方向角(图9和图10中的虚线)，并且该楔形的侧壁角被定义为和

该解是非解析的，即不存在可以数字地表示和最优化该设计的解。该关系表示为：

可以使楔形900和光学元件1000无色化，从而最小化跨图像的电磁辐射的色散。可以通过利用多种材料构造该元件，来实现该元件和/或楔形的无色化。每种材料具有不同的光学特性，从而最小化由该楔形光学元件引入的光色散。

对于具有给定FOV的NxN系统而言，通道n的出射角θ″n，在x维度上为：

${\mathrm{\θ}}_n^{\′\′}=n.\frac{\mathrm{FOV}}{2}.\frac{2}{N}=n.\frac{\mathrm{FOV}}{N},$ 其中 $n=\mathrm{0,1,2}...\frac{N}{2},$ n为从阵列中心测量的通道数目。

可以采用相似的公式来得到y维度上的对应的角度。

这意味着每个通道所需的IFOV可以通过对每个微透镜102的微透镜面倾斜和的选择来决定。可以选择不同的微透镜面倾斜来限定跨微透镜阵列的不同的视场，从而提供通道IFOV的需要的角度分布。

与微透镜的形状和转动位置一样，材料的选择也将影响通道的光学性质并且进而影响视场。不同材料将具有不同的折射率，可以在上述公式的应用中考虑折射率的值。此外，图8至图11中所示的光学元件始终具有统一的折射率，不过应当理解，如果需要的话，光学元件可以具有空间上变化的折射率。如对于本领域技术人员是显而易见的，可以适当修改以上示出的这些公式和示意图。

在本公开的优选实施例中，邻近的通道具有有意重叠的各个视场，优选地，从而使得直到应用限定的物距为止，相邻但间隔一个通道的通道的IFOV是非重叠的。也就是说，相邻但间隔一个通道的通道的IFOV仅在IFOV的极限处重叠，即，在应用限定的物距处重叠。这点例如在图12中示出。系统视场为各个通道的视场(IFOV)的整体分布。微透镜阵列1200被示出为设置在图像传感器阵列1204之上。为简要说明，省略了图5中示出的可选的不透明挡板和其他元件。针对每个微透镜1202示出了每个通道的各个视场。

应用限定的物距是对给定物体成像所需的到微透镜阵列外表面的距离，在该距离处该物体被视为是焦点对准的。

在一个实施例中，照相机的焦距可以被调整，例如，通过改变物镜光学元件和图像传感器的辐射敏感表面之间的距离来调整。可以通过检查或者穿过取景器检查所成像的场景如何随着物镜光学元件和图像传感器的辐射敏感表面之间的距离而改变来手动地确定物体是否是“焦点对准的”，或者在通过在其中分析图像数据以确定对应于最大锐度的图像传感器的辐射敏感面和物镜光学元件之间的距离的自动聚焦步骤中自动地确定物体是否是“焦点对准的”，其例如通过采用边缘检测技术并且测量光学调制传递函数(MTF)或类似度量来确定检测到的图像内的边缘锐度。

在另一实施例中，照相机系统可为固定焦点系统，其中不可以实现物镜光学元件和图像传感器的辐射敏感表面之间的距离的改变。在固定焦点的实施例中，针对相邻但间隔一个通道的通道的IFOV不重叠的“应用限定的物距”为固定值。其被选择为照相机系统的设计的一部分，并且特定值的选择依赖于照相机系统的预期用途。对于固定焦点照相机例如为低成本网络摄像头的部分，或者被并入较便宜的移动电话内的典型的消费者应用而言，该典型值可为20cm。对于固定焦点照相机而言，这一距离还与超焦距相对应，也就是说，视场深度被关键地设计为从应用限定的物距到无限远。

确定物体为焦点对准的依赖于微透镜传感器子分区照相机系统的视场深度，视场深度将依赖于物镜光学元件的焦距和光圈值。在一些照相机系统中，可以通过改变在物镜光学元件或图像传感阵列之上的孔径的尺寸来改变光圈值。

可以基于光圈值限制和颜色采样要求来选择视场之间的重叠。光学系统的光圈值被定义为有效焦距除以入射光孔的直径。如果对通道的各个视场施加了限制，使得其与邻近的各个视场根本不重叠，则结果是光圈值大的系统，这意味着照相机的z高度必然相对较大。相反，如果每个通道的光圈值被限定为较小值，例如小于2的值，则较宽的视场意味着物空间的给定区域在相对小的像素区域上分辨，并且因此即使考虑各个视场之间的重叠和后续的图像多路复用，像素阵列仍不能对图像空间进行完全采样。

因此，平衡在提供相邻的各个视场之间的重叠的光圈数与可由相邻通道的多个采样分辨的光学分辨率之间。所选择的光圈值还必须足够大，从而使得在应用限定的物距处，仅在相邻的各个视场之间出现视场的重叠。这减少了如这里将要讨论的视差的效应。

采用下述关系式的结果表示通道之间的视差的幅度：

并且

这里θ₁和θ₂为图13中定义的角度。

视差给多通道成像设备带来两个急迫的问题。第一个问题为图像间的物体偏移。也就是说，对于不同通道而言，物体的表观位置不同。

图13示出了在照相机采用由像素子阵列1300、1302标识的两个独立的通道(为说明清楚起见，省略了其他元件)成像的情形下作为近场摄影的结果的视差错误。通道1300和通道1302间隔的距离为x，并且其对不同颜色敏感，例如红色和绿色。该图图示了每个通道如何具有物体1304的不同视图。区域Err1表示第一通道1300检测到物体存在但是第二通道1302不能检测到物体存在的物空间的部分，区域Err2表示第一通道1300不能检测到物体存在但第二通道1302可以检测到物体存在的物空间的部分。

通道之间的物体的表观位置的差别随着距物镜光学元件的距离而变化。这种改变可以导致在重建图像(即，组合“子图像”以形成整体图像)时的问题，这是由于特定物体的配准点将在不同通道的子图像中不同。

第二个问题是通道彼此之间的物空间的区域的遮挡。例如，一个通道记录可以记录存在非常接近的两个物体，而从另一通道的角度来看，一个物体可以被部分或全部隐藏。

在图14中示意性地表示了视差错误的性质，其示出了图13定义的像素中的视差错误的幅度和错误关系的性质。在以下表1中将这些参数和结果制成表，其中表1描述了在对两个共同的摄影主题成像时的系统性质。

通道之间的视差的幅度与通道之间的距离、到物体的距离和物体的尺寸成比例。因为物体距离和外观是变化的，因此仅可以通过减小通道间隔距离来抑制视差错误。

当两个通道之间隔开共同传感器阵列宽度时，视差幅度很明显。然而，一般而言不期望或者实际上不可能减少这一维度，并且因此不应当允许隔开显著距离的通道观测物空间的相同区域。这一理论的扩展为仅允许相邻的通道观测物空间的相同区域直到应用限定的物距，从该距离开始相邻但间隔一个通道的通道被允许重叠，从而保证对图像质量的最小损害。

如上所述，对于固定焦点的照相机模块而言，可以定制应用限定的物距。通过限定通道的数目N和整体FOV，将IFOV计算为，

$\mathrm{IFOV}=\frac{2}{N-1}.\mathrm{FOV}$

通过定义优选的应用限定的物距d，然后计算相邻通道光轴之间的合适的角度间隔ΔIFOV为，

$\mathrm{\ΔIFOV}=\frac{\mathrm{IFOV}}{2}+{\tan }^{-1}\left(\frac{x}{d}\right)$

如果子图像的所需重叠为物空间中的等效线性IFOV的一半，则在仅存在一个通道时，每个通道物镜透镜的焦距为所需的整个FOV要求的物镜焦距的一半。

关于视差的另一个考虑为由每个通道观测到的相对物体尺寸。在图像重建过程期间，再次需要考虑不同的物体尺寸。合理的仿真表明这一差别大于用于数字传感器宽度级的通道间隔的两个像素。这一性质充当为减小观看物空间的相同区域的通道之间的间隔提供了又一推动。这在图15中示出，其图示了随着物体跨成像设备的视场移动时表观物体尺寸(任意单位)的示例变化。这一图示针对以上表1提到的“场景2”中被成像的物体。

在优选实施例中，仅通道及其8个最邻近的通道观测物空间的相同区域。IFOV的特征在于，在期望距离(“应用限定的距离”)处，相邻但间隔一个通道的通道的IFOV在它们的极限处重合。

在优选实施例中，IFOV跨阵列有角度地分布。这也在图12中示出，其示出了其中IFOV扇形展开的布置，中心IFOV具有垂直于阵列和下层图像传感器的平面的中心轴，以及在中心IFOV的每侧上的IFOV以增加的量朝向阵列的极限有角度地远离垂直。与其中所有IFOV具有与阵列垂直的中心轴的情形相比，IFOV的角度分布增加了整个照相机系统的FOV。

本公开的新颖布置将其自身支持各种不同的颜色采样技术。颜色采样可以在像素级或者通道级应用。

在像素级应用颜色采样通常包括在像素阵列上或其之上提供彩色滤光片阵列(CFA)。彩色滤光片阵列包括被设计成用于传输在不同的颜色波段中的光的不同部分。这些部分被设置为特殊格式，典型地为跨像素阵列的重复方格。典型的，每个像素或者像素组将被CFA材料覆盖，该CFA材料在例如特定颜色的特定的波段内传输辐射，并且因此该波段作为该像素的简写。例如，利用传输在可见光谱的红色部分中的光的CFA的部分覆盖的像素被称为“红色”像素。可以提供产生针对每个感光单元的复合颜色读出的堆叠的光电二极管。

在通道级上应用颜色采样可以通过修改微透镜阵列，或通过选择针对下层像素子阵列的特定CFA配置来实现。可以通过在微透镜阵列的顶表面或者底表面提供彩色滤光片阵列，或者备选地通过形成跨阵列的不同材料的各个微透镜来提供不同的透射特性来修改微透镜阵列。在任一情形中，每个微透镜将传输例如特定颜色的特定频带内的辐射，并且每个通道记录该辐射，并且因此该波段作为该通道的简写。

备选地，可以在像素级应用CFA，但是对于与每个通道相应的邻近像素子阵列，而不是对于邻近的各个像素而言，不同的颜色敏感度可以是唯一的。

在任一情形中，对可见光谱的红色部分内的光敏感的通道被称为“红色”通道。相邻的通道的颜色敏感度形成特定图案，典型地为跨微透镜阵列的重复方格。

还应当理解的是，通道可以对多于一个的颜色进行颜色采样，例如，通过对具有包括多种颜色的图案的每个通道的像素子阵列应用CFA。

根据一个实施例，可以根据如图16中示出的公知的拜耳颜色图案来执行颜色采样。如上所述，这一图案可以在像素级或者通道级应用。在该布置中，在重复的正方形矩阵中执行红色(R)、绿色(R)和蓝色(B)颜色采样。绿色信号的采样频率为红色信号和蓝色信号采样频率的2倍，以模拟人眼的响应(图中的“GR”标记指代在包括红色像素和绿色像素但不包含蓝色像素的行中的绿色像素，以及“GB”表示在包括蓝色像素和绿色像素但不包含红色像素的行中的绿色像素)。由于对绿色信号采样更为频繁，所以在绿色信号中色彩混叠更少，这意味着绿色信号可以用作图像空间滤波中的主要信息源。

可以理解，可以复制图16中示出的图案用于不同的非RGB色彩方案，并且对一个特定颜色的二次采样并不重要。其他示例颜色方案包括蓝绿色、黄色、绿色、洋红(CYGM)，红色、绿色、蓝色、翠绿色(RGBE)，以及红色、绿色、蓝色、红外(RGB IR)。

图17图示了一些可行的微透镜布置。图17a示出了不具有颜色滤波的微透镜阵列，而图17b示出了备选实施例，在该备选实施例中，在四色空间中对通道进行颜色采样，四个不同的颜色的每个由图中所示的四个不同方向的阴影线表示。如上所述，在优选实施例中，在应用限定的物距处，每个通道的各个视场可以仅与8个最邻近的通道的视场重叠。在该情形下中，一个通道的各个视场通过其周围的8个最邻近通道的视场充分颜色采样。这在图18和19中示出。图18示出了(通道1800和通道1802的)相邻视场在物空间的各个位置处的重叠，位置1对应于近场，位置2对应于应用限定的物距，以及位置3为在超过应用限定的物距的任意点处，示出了重叠如何超向无限远增加。同时，图19示出了四个颜色通道如何在共同区域中重叠以对该共同区域充分采样，该共同范围被示出为阵列内的中心场。

注意到，图17中图示的微透镜1700、1702被示出为具有圆形形状，然而，应当理解，它们可以具有正方形、矩形或其它任意形状。

在备选实施例中，每个通道实际上可以对多于一个颜色进行采样。在这一情形中，邻近的通道仍然可以对不同的颜色空间进行采样，然而，邻近通道的颜色成分可以不同。图20中示出了这种布置的示例，其图示了应用于邻近通道的邻近像素子阵列的像素级CFA，并且其中每个通道对两个颜色进行采样。该图中的通道A对颜色1和颜色2进行采样，而图中的通道B对颜色3和颜色4进行采样。不同的通道A和通道B自身可以以方阵跨微透镜阵列布置，其类似于通道A中的颜色1和颜色2的布置。

在这一实施例中，颜色1、2、3和4均不相同，然而，应当理解，只要不同通道之间的颜色成分或者阵列布局不同，则邻近的通道之间就可以共享颜色。

为了再现真实世界颜色以用于向用户呈现，颜色空间要求最少定义3个颜色。然后可以使用定义该空间的颜色的加权来重建该空间内的任何颜色。在存在第四通道时，存在如下自由度，可以应用该自由度以通过定义第四颜色波段来扩展颜色采样空间。在一个实施例中，第四颜色可以为用于扩展传感器颜色空间的可见颜色。更大的颜色空间将导致在转换回RGB以用于数字显示时的颜色之间更大的对比度。图21为色度图，其为“Colorvision and Colorimetry：Theory and Applications”(Malacara，D.SPIE Press，2002，ISBN0-8194-4228-0100)中的示意图的修改版本。对该示意图的修改示出了如何通过引入第四颜色坐标有效地扩展RGB颜色空间。图中示出的特定值是为说明起见而任意选择的。

在备选实施例中，第四颜色可以包括由红外范围内中的带通滤波器表征的红外(IR)通道。由于在红外范围内的CMOS/CCD传感器的响应强烈，这一特性有许多实际用途。由RGB滤波器布置获取的图像实际上可以在读取中具有很强的红外分量，或者所使用的滤波器在这些波长可以发生泄漏。经由红外通道的测量了解场景的红外成分将允许通过IR与颜色通道信号比的计算而对可见光进行精确的白平衡估计。

照相机也可以不包括第四颜色上的带通滤波器。在昏暗的光环境下，这一实施例也将非常有用，这是因为波长域的扩大的敏感度要求较少的时间来对合理的信噪比所需的光子数量进行整合，进而减少了曝光时间。这种系统可以具有作为场景照明器的IR光源。

现在，具有各个像素颜色采样的数字像素阵列遭受颜色混叠的现象之害。由于红色像素的间隔大于单个像素节距(宽度)，图像的红色部分欠采样，从而被混叠。对于图像的蓝色部分和绿色部分也是如此，然而，在诸如拜耳图案的三色图案中，其中一种颜色(在该情况中为绿色)被更频繁地采样，各个绿色像素之间的间隔降低，并且因此同样该颜色的混叠也降低。

如果不对各个像素进行颜色采样，颜色混叠当然可以完全避免。在图17b所示的对通道而不是对像素进行颜色采样的实施例中，颜色混叠不被认为是问题。

在重建步骤中，需要组合来自各个子阵列的数据以形成最终图像。对于本公开的系统而言，可以使用各种图像配准算法。然而，根据本公开的子图像的重叠为图像配准提供了重要的辅助。参照图22对其进行了说明。该图中顶部的示意图表示其中不存在各个视场的重叠的近场。到物体的距离比应用限定的物距小。

中间的示意图示出了在应用限定的物距处各个视场的重叠。在该距离处，IFOV重叠，并且相邻但间隔一个通道的通道的IFOV在其无限远重合。也就是说，当在理想的成像距离处观测物体时，邻近通道的各个视场会聚于中央通道的各个视场的中心上。

随着观看距离增加，间隔一个IFOV的IFOV开始彼此重叠直到到达无限远重叠的位置，这在底部的示意图中示出。

在图23中针对三乘三通道阵列示出了相同的内容，顶部、中间、底部示意图分别图示了近场、应用限定的物距以及无限远重叠。

本公开因此提供了优化的图像配准算法，其中配准是动态的，也就是说，其相对于应用限定的物距考虑物体的距离。备选的，系统特性可以通过例如使用包括单应变换和/或多项式变换的先验知识在校准中定义，该变换将分别对微透镜的交线效应(投影失真)和由于各光学元件的失真导致的图像扭曲，以及将需要规范化的通道的每个中的相对照明进行校正。然后相同的配准参数可以应用到每个图像。

关于子图像的配准，每个子图像的感兴趣区域(ROI)将为中心部分和在边缘周围的边沿，在一个实施例中，该边缘可以为等价线性IFOV的0.3倍到0.5倍之间。ROI的选择是因为一个通道图像的中心区域被成像在边缘处的邻近的八个通道图像中的细则。这些图像继而使中心区域在它们的邻近通道的边缘处成像。因为分析较少的数据，所以ROI的这一定义降低了计算负荷。这在图24中示出。每个通道的ROI包括中心部分2400、2402和外围部分2404、2406。该图的底部部分图示了子图像的重叠，并且可以看出，需要外围部分2404、2406来跨越重叠区域。可以基于限定应用限定的物距的重叠的尺寸来定义不同尺寸的ROI，例如，如果应用限定的物距被定义为IFOV的1.5倍，而不是该IFOV的0.5倍，则ROI将相对大一些。

在一个实施例中，在各个颜色通道中分别执行图像配准，并且然后可以通过颜色通道的配准来生成最终图像。可以对一种颜色进行配准并且将其他颜色关联到所计算的变换。如果像素被颜色采样，而不是通道采样，那么这会是更合适的途径。

另一方法不考虑颜色，并且将所有颜色空间配准在一起，只为在输出过程中将其应用到三色图像。最终图像可在单个屏幕上显示并打印，如同处理来自照相机中的传统图像一样。用户将体验最小的差异。

因此，本公开提供了用于提供具有减小的z高度的图像传感器的可变机制。根据本公开的图像传感器通过新的光学模块考虑了视差和颜色混叠导致的可能的错误，采用关联的图像读出和重建技术，而且可采用新的颜色采样方法。

根据本公开的通道的特定角度分布也意味着可以为作为整体的图像传感器提供非常宽的视场。此外，由于光学元件的降低的光学焦距以及超焦距的后续降低，可以实现视场的扩展的深度。

本公开的各个方面可以并入到许多设备中。图25示出了包含根据本公开的图像传感器2502的设备2500，其可以根据本文提及的方法进行操作。该设备可以为移动设备，例如诸如移动电话、或网络摄像头、膝上式计算机、台式计算机或者视频记录仪。

在不脱离本公开的范围的情况下，可以对以上内容进行各种改进和修改。

Claims (16)

1.一种图像传感器，包括：

像素阵列；

包括微透镜阵列的图像传感器物镜光学元件；

其中每个微透镜将传入辐射引导到不同的特定像素或者像素子阵列上；并且

所述阵列中的所述微透镜的形状和/或位置使得间隔一个的邻近微透镜的视场直到远离所述微透镜阵列一定物距才重叠。

2.根据权利要求1所述的图像传感器，其中所述微透镜阵列包括凸透镜阵列，其被形成为相对共同基底的突起。

3.根据权利要求1或2所述的图像传感器，其中所述像素阵列和所述微透镜阵列沿所述图像传感器的中心光轴彼此被保持成固定关系，并且所述微透镜阵列的超焦距与所述一定物距相对应。

4.根据权利要求1或2所述的图像传感器，其中所述像素阵列和所述微透镜阵列沿所述图像传感器的中心光轴彼此可移动，并且所述一定物距可根据所述像素阵列和所述微透镜阵列的相对位置变化。

5.根据权利要求1或2所述的图像传感器，其中由一个微透镜的视场观测到的在所述一定物距处的物空间的区域也只由所述微透镜的八个最邻近的微透镜在所述距离处观测到。

6.根据权利要求1所述的图像传感器，其中每个微透镜包括楔形光学元件，并且所述视场由所述楔形的至少一个面倾斜界定。

7.根据权利要求1、2或6所述的图像传感器，其中所述微透镜的所述视场跨所述微透镜阵列有角度地分布。

8.根据权利要求1所述的图像传感器，包括微透镜级或像素级的电磁辐射波段采样器。

9.根据权利要求8所述的图像传感器，其中所述像素级的电磁辐射波段采样器包括用于对至少两个波段进行采样的带通滤波器阵列，其中具有不同的波段选择性的部分以微透镜的图案布置。

10.根据权利要求9所述的图像传感器，所述微透镜的图案跨所述微透镜或像素阵列重复。

11.根据权利要求9所述的图像传感器，其中被采样的电磁辐射波段的至少一个为红外辐射波段。

12.根据权利要求1、2、6和8-11中任一项所述的图像传感器，包括执行图像重建的处理器，其根据所确定的子阵列图像中的感兴趣区域而动态地确定子图像的重叠，以相对于彼此配准所述图像并将所述图像缝合为复合图像。

13.一种包括图像传感器的照相机，所述图像传感器具有：

像素阵列；

包括微透镜阵列的图像传感器物镜光学元件；

其中每个微透镜将传入辐射引导到不同的特定像素或者像素子阵列上；并且

所述阵列中的微透镜的形状和/或位置使得间隔一个的邻近的微透镜的视场直到远离所述微透镜阵列一定物距才重叠。

14.一种包含微透镜阵列的图像传感器物镜元件，其中所述阵列中的微透镜的形状和/或位置被选择成使得所述阵列中间隔一个的邻近微透镜的视场直到远离所述微透镜阵列一定物距才重叠。

15.一种对场景进行成像的方法，包括：

将来自物空间的特定区域的入射光辐射引导到不同的特定像素或像素子阵列上；

其中物空间的每个特定区域由微透镜阵列内的微透镜的视场界定，所述微透镜阵列形成图像传感器物镜光学元件，以及

其中所述阵列中的所述微透镜的形状和/或位置被选择成使得间隔一个邻近微透镜的微透镜的视场直到远离所述微透镜阵列一定物距才重叠。

16.根据权利要求15所述的方法，包括通过组合来自像素子阵列的每个的图像数据来重建图像，其中所述重建根据所确定的子阵列图像中的感兴趣区域而动态地确定来自每个像素子阵列的数据的重叠，以相对于彼此配准所述图像并将它们缝合在一起。