CN106462036A - 使用无视差假影的折叠式光学器件的多相机系统 - Google Patents

Abstract

本发明提供一种在所捕获图像中展现极少或不展现视差假影的相机阵列(310D到310F)，其中阵列相机的中心镜表面的平面位于沿着对应相机位置与虚拟相机位置(V)之间的线的中点处且正交于所述线，其中所述阵列中的所有所述相机的视锥在由所述镜折叠之后，看起来好像来自所述虚拟相机位置(V)，所述阵列中的每一传感器使用中心镜棱镜(312D到312F)的对应刻面看到所述图像场景的一部分；每一个别传感器/镜对表示总阵列相机的子光圈。所述整个阵列相机具有由所有个别光圈光线的总和产生的合成光圈。

Description

使用无视差假影的折叠式光学器件的多相机系统

技术领域

本发明涉及包含多相机阵列的成像系统和方法。明确地说，本发明涉及启用移动装置的低轮廓成像系统同时维持或改进图像质量的系统和方法。

背景技术

例如移动电话和平板计算装置等许多移动装置包含可由用户操作以捕获静态和/或视频图像的相机。因为移动装置通常设计成相对较小，所以将相机或成像系统设计成尽可能薄的可能是重要的，以便维持低轮廓移动装置。折叠式光学图像传感器阵列(“阵列相机”)允许创建低轮廓图像捕获装置，而不缩短焦距或减小图像在传感器阵列的视野内的分辨率。通过使用主和次表面朝向阵列中的每一传感器再引导光，并且通过定位用以将入射光聚焦于主表面与次表面之间的透镜组合件，传感器阵列可定位于垂直于透镜组合件的平坦衬底上。较长的焦距使得有可能实施例如光学变焦等特征，且并入有需要比通常由传统移动相机获得的空间更多的空间的更复杂光学器件，例如添加更多光学元件。

一些阵列相机使用中心镜或棱镜，其具有多个小面，以将包括目标图像的入射光分裂成多个部分来供所述阵列中的传感器捕获，其中每一小面将来自所述目标图像的光的一部分朝所述阵列中的传感器引导。所述分裂的光的每一部分可穿过透镜组合件，并从位于传感器正上方或下方的额外表面反射回来，使得每一传感器捕获所述图像的一部分。传感器视野可重叠以辅助将所俘获部分拼接在一起成为完整图像。

发明内容

本文所述的折叠光学传感器阵列和图像捕获技术允许创建低轮廓图像俘获装置，而不缩短焦距或减小所述图像跨传感器阵列的视野的分辨率，且所捕获的图像没有(或几乎没有)视差假影。阵列相机的挑战是归因于如从所述阵列的不同相机看到的同一物体的不同视图之间的视差的质量降级。视差阻止了将每一相机所捕获的图像无缝拼接成完全无假影的最终图像。相机视图可部分地重叠(例如，重叠大约20％)。取决于图像中的场景的深度(例如从透镜到物体的距离)，来自一个相机的图像可相对于来自另一相机的图像移位。当图像拼接或熔合在一起时，所得视差和倾斜可导致对应于重叠视野的图像区域中的“双图像”鬼影。即使构造所述阵列使得传感器视野中不存在重叠，当此类特征越过传感器视野之间的边界时，视差导致所述图像中的不连续特征，例如线和边缘。

在各种实施例中，通过如本文所述的无视差和倾斜假影的阵列相机来解决尤其上述问题。所述实施例中的一些可使用中心镜或棱镜，例如具有多个表面或小面，以将包括所述目标图像的入射光分裂成多个部分，供所述阵列中的传感器捕获。镜表面和传感器可经配置以避免导致所捕获图像中的视差和倾斜假影。举例来说，阵列相机的中心镜表面的平面可沿着对应相机位置与虚拟相机位置之间的线位于中点处，并与所述线正交。因此，在镜将入射光折叠之后，阵列中的所有相机的所投影视野(FOV)视锥看起来来自虚拟相机位置。

经分裂的光的每一部分可穿过透镜组合件，且从位于传感器正上方或下方的任选额外反射表面反射回来，使得每一传感器捕获所述图像的一部分。在一些情况下，所述阵列中的每一传感器可捕获所述图像的与所述阵列中的相邻传感器捕获的部分稍微重叠的一部分，且可将这些部分组合成所述目标图像，例如通过线性混合或其它图像拼接技术。

一个创新包含一种用于捕获场景的目标图像的系统，所述系统包含具有投影的虚拟中心的多个相机的阵列，所述多个相机中的每一者经配置以捕获场景的目标图像的多个部分中的一者，且所述多个相机中的每一者包含图像传感器，透镜组合件包含至少一个透镜，所述透镜组合件具有投影中心，所述透镜组合件定位成将光聚焦在所述图像传感器上，所述透镜组合件的投影中心沿着穿过虚拟投影中心的线定位，且镜相对于所述透镜组合件定位，以将光提供到所述透镜组合件，所述镜进一步位于镜平面上(或内)，(本文有时称为“镜平面”)，所述镜平面定位成与沿着穿过虚拟投影中心的线的点(例如中点)相交。所述镜平面可以与所述线正交的角度定位。各种实施例可包含额外特征。

以下是此类系统的一些特征和实施例的非限制性实例。举例来说，所述系统可进一步包含中心反射性元件(例如，金字塔形反射性组件)，其包含多个主要光再引导表面，所述表面经配置以将表示所述场景的目标图像的光分裂成所述多个部分，所述多个相机中的每一者的镜形成主要光折叠表面中的一者。中心反射性元件可包含由所述多个主要光再引导表面中的每一者的相交形成的顶点。所述多个相机中的每一者的光轴可穿过所述顶点。所述顶点和虚拟投影中心位于穿过所述顶点和所述虚拟投影中心的虚拟光轴上，使得所述虚拟光轴形成所述多个相机的阵列的光轴。所述系统可进一步包含相机外壳，其包括至少一上表面，所述上表面具有定位成允许表示所述场景的光穿过所述孔径到中心反射性元件的光圈。所述上表面可定位成与中心反射性元件的顶点处或上方的虚拟光轴正交。所述外壳可进一步包含大体上平行于所述上表面定位且位于中心反射性元件的下表面处或下方的下表面。所述多个相机中的每一者可位于相机外壳的上表面与下表面之间。所述系统可进一步包含处理器，其经配置以从所述多个相机中的每一者接收包括所述场景的一部分的图像的图像数据，且执行拼接操作以产生所述目标图像。所述系统可进一步(例如，为了校正图像数据中的倾斜假影)包含处理器，其进一步经配置以至少部分地基于虚拟投影中心与所述多个相机中的每一者的透镜组合件的投影中心之间的几何关系以及用于所述多个相机中的每一者的镜在对应镜平面内的位置，对所述图像数据执行投影变换。所述系统可进一步包含与所述多个相机中的每一者相关联的次要光再引导表面，所述次要光再引导表面定位成将从所述透镜组合件接收到的光引导到所述图像传感器上。所述系统可进一步包含具有至少一个光圈的衬底，所述至少一个光圈定位成允许表示所述场景的光穿过所述至少一个孔径到所述多个相机中的每一者的镜，其中用于所述多个相机中的每一者的所述图像传感器定位在衬底上或衬底内。

另一创新包含一种生产所捕获图像中基本上无视差假影的阵列相机的方法。在各种实施例中，所述方法包含定位阵列中的多个相机，所述多个相机中的每一者经配置以捕获目标图像场景的多个部分中的一者，所述多个相机定位成各自从具有虚拟投影中心的虚拟相机的位置捕获图像数据，所述多个相机中的每一者包含：具有至少一个透镜的透镜组合件，相机投影中心具有至少部分地由所述透镜组合件的光学器件确定的位置；以及传感器，其定位成从所述透镜组合件接收光。所述方法可进一步包含为所述多个相机中的每一者提供定位在镜平面上的镜，所述镜平面定位成与沿着连接所述相机的投影中心与所捕获的虚拟投影中心的线的点(例如中点)相交。所述镜平面可定位成垂直于所述线。

以下是此类方法的一些特征和实施例的非限制性实例。举例来说，所述方法可进一步包含为所述多个相机中的每一者提供所述镜，作为中心反射性元件的小面所述多个相机定位在所述中心反射性元件或反射性组件周围。所述方法可包含提供所述中心反射性元件，使得用于所述多个相机中的每一者的镜在所述中心反射性元件的顶点处相交。所述方法可包含将所述多个相机中的每一者定位成使得所述多个相机中的每一者的光轴与所述顶点相交。所述方法可包含为所述多个相机中的每一者提供次要光折叠表面。所述方法可包含将次要光折叠表面定位在所述透镜组合件与所述传感器之间，以将从所述透镜组合件接收到的光引导到所述传感器上。所述方法可包含提供具有至少一个光圈的衬底，所述光圈定位成允许表示场景的光穿过所述光圈到用于所述多个相机中的每一者的镜。所述方法可包含将用于所述多个相机中的每一者的所述传感器安装在所述衬底上或所述衬底内，使得所有传感器均位于同一平面上(或内)。所述方法可包含提供与所述多个相机中的每一者的传感器电子通信的处理器，所述处理器经配置以接收目标图像场景的所述多个部分，且产生所述目标图像场景的完整图像。

另一创新包含一种捕获无(或大体上无)视差的图像的方法，所述方法包含：使用多个镜将表示所述图像的场景的光分裂成多个部分；将所述多个部分中的每一者朝多个相机中的对应一者引导，所述相机各自定位成从具有虚拟投影中心的虚拟相机的位置捕获图像数据，所述多个相机中的每一者具有包括至少一个透镜的透镜组合件，相机投影中心具有至少部分地由透镜组合件的光学器件确定的位置，且传感器定位成从所述透镜组合件接收光；以及将所述多个部分组合成所述图像，其中对于所述多个镜中的每一镜，所述镜位于镜平面上。所述镜平面定位成与沿着连接所述多个相机中的对应相机的相机投影中心与虚拟投影中心的线的点(例如中点)。所述镜平面可进一步与所述线正交。

以下是此类方法的一些特征和实施例的非限制性实例。所述方法可包含将投影变换应用于所捕获的图像数据，以改变所述多个相机中的每一者的有效倾斜。所述方法可包含：对于所述多个相机中的每一者，使用次要光折叠表面来将从透镜组合件接收到的光再引导到所述图像传感器上。

另一创新包含一种用于捕获场景的目标图像的设备，所述设备包含：具有虚拟投影中心的多个相机的阵列，所述多个相机中的每一者经配置以捕获所述场景的目标图像的多个部分中的一者，且对于所述多个相机中的每一者；用于捕获图像的装置，用于聚焦将具有沿着穿过虚拟投影中心的线定位的投影中心的光的装置；以及用于再引导至少部分地位于定位成与沿着所述线的中点相交且成与所述线正交的角度的主要光折叠平面内的光的装置。

以下是此类设备的一些特征和实施例的非限制性实例。在一些实施例中，所述光再引导装置包含位于主要光折叠平面内的反射性表面中的一者，以及具有位于主要光折叠平面内的小面的折射棱镜。所述光聚焦装置可包含包括一或多个透镜的透镜组合件。所述多个相机中的每一者可包含额外光折叠装置，其定位成将从所述光聚焦装置接收到的光引导到所述图像捕获装置上。所述设备可包含用于将所述多个部分组合成所述目标图像的装置。所述设备可包含用于补偿所述目标图像的所述多个部分之间的倾斜假影的装置。

附图说明

将在下文中结合附图来描述所揭示方面，提供附图是为了说明但不限制所揭示方面，其中相同符号表示相同元件。

图1A说明折叠光学传感器组合件的实施例的横截面侧视图。

图1B说明折叠光学传感器组合件的另一实施例的横截面侧视图。

图2说明图像俘获装置的一个实施例的框图。

图3A和3B说明无视差阵列相机终的相机投影中心和镜平面位置的两个实施例。

图4A到4C说明无视差假影的阵列相机的实施例。

图5A说明无视差假影的阵列相机的实施例。

图5B说明并非无视差假影的图5A的相机的替代实施例。

图6说明无视差的阵列相机的实施例。

图7说明折叠光学图像捕获过程的实施例。

具体实施方式

I.引言

本文所揭示的实施方案提供用于使用具有折叠式光学器件的阵列相机来产生基本上无视差假影的图像的系统、方法和设备。本发明的各方面涉及在所捕获图像中呈现极少或无视差假影的阵列相机。举例来说，阵列相机的中心镜表面的平面可沿着对应相机位置与虚拟相机位置之间的线位于中点处，并与所述线垂直。因此，所述阵列中的所有相机的视锥在由镜折叠之后，看起来像是来自虚拟相机位置。所述阵列中的每一传感器使用中心镜棱镜的对应小面“看到”所述图像场景的一部分，且因此每一个别传感器/镜对仅表示总阵列相机的子光圈。完整阵列相机具有基于所有个别光圈光线的总和而产生的合成光圈，即基于将子光圈所产生的图像拼接在一起。

在以下描述中，给出具体细节以提供对实例的透彻理解。然而，可以在无这些具体细节的情况下实践实例。

II.折叠式光学阵列相机的概述

现参看图1A和1B，现将更详细地描述适合与本文所述的自动对焦系统和技术一起使用的折叠式光学多传感器组合件100A、100B的实例。术语“折叠式”是广泛术语，其用以表征一种类型的成像系统(例如相机)，其中例如在光照亮成像系统中的传感器之前，进入成像系统的光被再引导至少一次。换句话说，在进入成像系统时在一个方向上传播的光接着再引导或“折叠”，以在所述成像系统中或至少在其照亮(例如成像系统的)传感器之前，在不同方向上传播。图1A说明折叠式光学多传感器组合件100A的实例的横截面侧视图，所述折叠式光学多传感器组合件包含图像传感器105、125；反射性次要光折叠表面110、135；透镜组合件115、130；以及中心反射性表面120，其可全部安裝到衬底150。图1B说明折叠式光学多传感器组合件的实施例的横截面侧视图，所述折叠式光学多传感器组合件包含中心棱镜141、146，其用于主要光再引导表面122、124，以及额外反射表面，例如棱镜111、136，如所说明，或反射表面，例如镜面表面)，其形成次要光折叠表面135、110。

参看图1A，在某些实施例中，图像传感器105、125可包括，电荷耦合装置(CCD)、互补金属氧化物半导体传感器(CMOS)，或任何其它图像感测装置，其接收光并响应于所述接收到的图像而产生图像数据。每一传感器105、125可包含布置成阵列的多个传感器(或传感器元件)。图像传感器105、125可经配置以产生单个图像的图像数据，和/或可经配置以产生多个图像的图像数据(例如捕获视频数据或一系列单一图像)。传感器105和125可为个别传感器阵列，或各自可表示传感器阵列的阵列，例如传感器阵列的3x1阵列。然而，如所属领域的技术人员将理解，所揭示的实施方案中可使用任何合适的传感器阵列。

传感器105、125可安装在衬底150上，如图1A中所示。在一些实施例中，所有传感器可通过安装到平坦衬底150而在一个平面上。衬底150可为任何合适的基本上平坦的材料。中心反射性表面120和透镜组合件115、130也可安装在衬底150上。用于安装一或多个传感器阵列、多个透镜组合件和多个主要和次要反射性或折射表面的多个配置是可能的。

在一些实施例中，中心反射性表面120可用于将来自目标图像场景的光朝传感器105、125再引导。中心反射性表面120可为一个镜或多个镜，且可为平坦的或根据需要成形，以将入射光恰当地再引导到图像传感器105、125。举例来说，在一些实施例中，中心反射性表面120可为大小和形状经设定以将入射光光线反射通过透镜组合件115、130到达传感器105、125的镜。中心反射性表面120可将包括目标图像的光分裂成多个部分，并在不同传感器处引导每一部分。举例来说，中心反射性表面120(还被称作主要光折叠表面，因为其它实施例可实施折射棱镜而非反射表面)的第一侧122可将所述光的对应于第一视野(FOV)140的部分朝左侧传感器105发送，而第二侧124将所述光的对应于第二FOV 145的第二部分朝右侧传感器125发送。应了解，图像传感器的视野140、145一起至少覆盖所述目标图像。本发明的实例描述包括两个传感器的实施例，但其它实施例可具有大于两个传感器，例如2、3、4、8或更多(N)个传感器。

在其中接收传感器各自为多个传感器的阵列的一些实施例中，中心反射性表面可由相对于彼此成角度的多个反射表面组成，以便朝向所述传感器中的每一者发送目标图像场景的不同部分。所述阵列中的每一传感器可具有大体上不同的视野，且在一些实施例中，所述视野可重叠。当设计透镜系统时，中心反射性表面的某些实施例可具有复杂的非平面表面以增加自由度。另外，尽管将中心表面论述为反射性表面，但在其它实施例中，中心表面可为折射性的。举例来说，中心表面可为配置有多个小面的棱镜，其中每一小面将包括所述场景的光的一部分朝所述传感器中的一者引导。

在从中心反射性表面120反射离开之后，入射光的至少一部分可传播通过透镜组合件115、130中的每一者。可在中心反射性表面120和传感器105、125和反射表面110、135之间提供一或多个透镜组合件115、130。透镜组合件115、130可用于使朝每一传感器引导的目标图像的部分对焦。

在一些实施例中，每一透镜组合件可包括一或多个透镜，以及用于使所述透镜在多个不同透镜位置之间移动穿过外壳的致动器。所述致动器可例如为话音线圈电动机(VCM)、微电子机械系统(MEMS)或形状记忆合金(SMA)。透镜组合件可进一步包括用于控制致动器的透镜驱动器。

在一些实施例中，可通过改变每一相机的透镜115、130与对应传感器105、125之间的焦距来实施传统的自动聚焦技术。在一些实施例中，这可通过移动镜筒来实现。其它实施例可通过上下移动移动中心镜或通过调整所述镜相对于透镜组合件的角度来调整焦点。某些实施例可通过在每一传感器上方移动侧镜来调整焦点。此类实施例可允许组合件个别地调整每一传感器的焦点。另外，对于一些实施例，有可能一次改变整个组合件的焦点，例如通过将透镜(如液体透镜)放置在整个组合件上方。在某些实施方案中，可使用计算摄影来改变相机阵列的焦点。

可在中心镜120周围提供与所述传感器相对的多个侧反射性表面，例如反射性表面110和135。在穿过透镜组合件之后，侧反射性表面110、135(还被称作次要光折叠表面，因为其它实施例可实施折射棱镜而不是反射性表面)可将光(向下，如图1A的定向中所描绘)反射到传感器105、125上。如所描绘，传感器105可位于反射性表面110下面，且传感器125可位于反射性表面135下面。然而，在其它实施例中，所述传感器可在侧反射表面110、135上方，且侧反射性表面可经配置以将光朝上反射(见例如图1B)。侧反射性表面和传感器的其它合适的配置是可能的，其中来自每一透镜组合件的光朝传感器再引导。某些实施例可实现侧反射性表面110、135的移动，以改变相关联传感器的焦点或FOV。

可通过中心镜120的与所述传感器相关联的表面来将每一传感器的FOV 140、145转向到物空间中。可使用机械方法来使所述镜倾斜，和/或移动阵列中的棱镜，使得可使每一相机的FOV转向到物场上的不同位置。这可例如用来实施高动态范围相机，以增加相机系统的分辨率，或实施全光相机系统。每一传感器的(或每一3x1阵列的)FOV的可投影到物空间中，且每一传感器可根据所述传感器的视野捕获部分图像，其包括目标场景的一部分。如图1A中所示，在一些实施例中，相对的传感器阵列105、125的视野140、145可重叠一定的量。为了减少重叠且形成单个图像，如下文所描述的拼接过程可用于组合来自两个相对传感器阵列105、125的图像。在图1A中所说明的具有较多传感器的实施例中，可组合来自多个传感器的图像，且传感器不必对置，例如对称地或不对称地布置。拼接过程的某些实施例可使用重叠150来识别在将部分图像拼接在一起的过程中的共用特征。在将重叠图像拼接在一起之后，可将经拼接图像裁减到所要的纵横比，例如4:3或1:1，以形成最终图像。在一些实施例中，与每一FOV相关的光学元件的对准经布置以最小化重叠150，使得多个图像形成为单个图像，其中加入所述图像需要最少或不需要图像处理。

图1B说明折叠光学阵列相机100B的另一实施例的横截面侧视图。如图1B中示出，传感器组合件100B包含：一对图像传感器105、125，其各自安裝到衬底150；分别对应于图像传感器105、125的透镜组合件115、130；以及分别定位在图像传感器105、125的玻璃盖片106、126上方的次要光折叠表面110、135。折射棱镜141的主要光折叠表面122引导来自目标图像场景的光的一部分沿光轴121通过透镜组合件115，再引导离开次要光折叠表面110，穿过玻璃盖片106，且入射到传感器105上。折射棱镜146的主要光折叠表面124将来自目标图像场景的光的一部分沿光轴123引导通过透镜组合件130，再引导离开次要光折叠表面135，穿过玻璃盖片126，且入射到传感器125上。折叠式光学阵列相机100B说明实施图1A的阵列相机100A的折射棱镜而不是反射性表面的一个阵列相机实施例。折射棱镜141、146中的每一者提供于衬底150中的光圈中，使得主要光引导表面122、124在衬底所形成的平面下方，且接收表示目标图像场景的光。

传感器105、125可安装在衬底150上，如图1B中所示。在一些实施例中，所有传感器可通过安装到平坦衬底150而在一个平面上。衬底150可为任何合适的基本上平坦的材料。衬底150可包含如上文所描述的光圈，以允许入射光穿过衬底150到主要光折叠表面122、124。用于将(一或多个)传感器阵列以及所说明的其它相机组件安裝到衬底150的多个配置是可能的。

主要光折叠表面122、124可为棱镜表面(如所说明)，或可为镜面或多个镜面，且可为平坦的或按需要成形以将入射光恰当地再引导到图像传感器105、125。在一些实施例中，主要光折叠表面122、124可形成为中心反射性元件，如图1A中所说明。中心反射性元件可为例如多个镜或反射性表面的排列，或一棱镜。所述反射性元件可为金字塔形。所述中心镜反射性元件、棱镜或其它反射性表面可将表示目标图像的光分裂成多个部分，且在不同传感器处引导每一部分。举例来说，主要光折叠表面122可将光的对应于第一FOV的部分朝左侧传感器105发送，而主要光折叠表面124将所述光的对应于第二FOV的第二部分朝右侧传感器125发送。在其中接收传感器各自为多个传感器的阵列的一些实施例中，光折叠表面可由相对于彼此成角的多个反射性表面组成，以便朝所述传感器中的每一者发送目标图像场景的不同部分。应了解，相机的视野一起覆盖至少目标图像，且可在捕获之后对准和拼接在一起，从而形成由所述阵列的合成光圈捕获的最终图像。所述阵列中的每一传感器可具有大体上不同的视野，且在一些实施例中，所述视野可重叠。

其它实施例可组合图1A和1B所说明的反射性和折射性元件。举例来说，在一些实施例中，主要光折叠表面可为反射性的，而次要光折叠服务是折射性的，且反之亦然。

如图1A和1B所说明，每一阵列相机具有总高度H。在一些实施例中，总高度H可大约为4.5mm或更小。在其它实施例中，总高度H可大约为4.0mm或更小。尽管未说明，但可在具有大约为4.5mm或更小或大约为4.0mm或更小的对应内高度的外壳中提供整个阵列相机100A、100B。

如本文所使用，术语“相机”是指图像传感器、透镜系统和若干对应光折叠表面，例如主要光折叠表面124、透镜组合件130、次要光折叠表面135和传感器125，如图1中所说明。折叠式光学多传感器阵列，被称作“阵列”或“阵列相机”可在各种配置中包含多个此类相机。阵列配置的一些实施例在2013年3月15日申请且标题为“使用折叠式光学器件的多相机系统”的第2014/0111650号美国申请公开案中揭示，所述公开案的揭示内容特此以引用的方式并入。将得益于本文所描述的自动对焦系统和技术的其它阵列相机配置是可能的。

图2描绘具有包含链接到一或多个相机215a到n的图像处理器220的一组组件的装置200的高级框图。图像处理器220还与工作存储器205、存储器组件230和装置处理器250通信，所述工作存储器205、存储器组件230和装置处理器250又与存储装置210和电子显示器225通信。

装置200可为手机、数码相机、平板计算机、个人数字助理或类似者。存在其中例如本文所描述的降低厚度的成像系统将提供优点的许多便携式计算装置。装置200还可为静止计算装置或其中较薄成像系统将有利的任何装置。在装置200上有多个应用程序可供用户使用。这些应用程序可包含传统摄影和视频应用程序、高动态范围成像、全景照片和视频，或例如3D图像或3D视频等立体成像。

图像捕获装置200包含用于捕获外部图像的相机215a到n。相机215a到n可各自包含传感器、透镜组合件以及用于将目标图像的一部分再引导到每一传感器的主要和次要反射性或折射性表面，如上文相对于图1所论述。大体来说，可使用N个相机215a到n，其中N≥2。因此，目标图像可分裂成N个部分，其中N个相机的每一传感器根据所述传感器的视野来捕获目标图像的一个部分。将理解，相机215a到n可包括适合实施本文所述的折叠式光学成像装置的任何数目的相机。可增加传感器的数目，以实现系统的较低z高度，如下文相对于图4较详细论述，或符合其它目的的需要，例如具有类似于全光相机的视野的重叠视野，这可实现在后处理之后调整所述图像的焦点的能力。其它实施例可具有适合于高动态范围相机的FOV重叠配置，其实现捕获两个同时的图像且接着将其合并在一起的能力。相机215a到n可耦合到图像处理器220，以将所捕获的图像传送到工作存储器205、装置处理器250，传送所述电子显示器225，且传送到存储装置(存储器)210。

图像处理器220可经配置以对包括目标图像的N个部分的所接收的图像数据执行各种处理操作以便输出高品质经拼接图像，如将在下文更详细地描述。图像处理器220可为通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含裁剪、按比例缩放(例如到不同分辨率)、图像拼接、图像格式转换、色彩内插、色彩处理、图像滤波(例如空间图像滤波)、透镜假象或疵点校正等。在一些实施例中，图像处理器220可包括多个处理器。某些实施例可具有专用于每一图像传感器的处理器。图像处理器220可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。

如所示出，图像处理器220连接到存储器230和工作存储器205。在所说明的实施例中，存储器230存储捕获控制模块235、图像拼接模块240和操作系统245。这些模块包含配置装置处理器250的图像处理器220以执行各种图像处理和装置管理任务的指令。工作存储器205可由图像处理器220使用来存储包含于存储器组件230的模块中的处理器指令的工作集合。或者，工作存储器205还可由图像处理器220使用，以存储装置200的操作期间创建的动态数据。

如上所提到，图像处理器220由存储在存储器中的若干模块来配置。捕获控制模块235可包含配置图像处理器220以调整相机215a到n的聚焦位置的指令。捕获控制模块235可进一步包含控制装置200的总体图像捕获功能的指令。举例来说，俘获控制模块235可包含指令，其调用子例程以配置图像处理器220来使用相机215a到n捕获目标图像场景的原始图像数据。捕获控制模块235接着可调用图像拼接模块240以对由相机215a到n捕获的N个部分图像执行拼接技术，且将经拼接和裁剪的目标图像输出到成像处理器220。捕获控制模块235还可调用图像拼接模块240以对原始图像数据执行拼接操作，以便输出待捕获的场景的预览图像，且以特定时间间隔或在原始图像数据中的场景改变时更新预览图像。

图像拼接模块240可包括配置图像处理器220以对所捕获的图像数据执行拼接和裁剪技术的指令。举例来说，N个传感器215a到n中的每一者可根据每一传感器的视野来捕获包括目标图像的一部分的局部图像。所述视野可共享重叠区域，如上文和下文所描述。为了输出单个目标图像，图像拼接模块240可配置图像处理器220以组合多个N个局部图像以产生高分辨率目标图像。目标图像产生可通过已知图像拼接技术而发生。

举例来说，图像拼接模块240可包含用以针对匹配特征比较沿着N个局部图像的边缘的重叠区域以便确定所述N个局部图像相对于彼此的旋转和对准的指令。归因于每一传感器的FOV的局部图像和/或形状的旋转，组合图像可形成不规则形状。因此，在对准且组合N个局部图像之后，图像拼接模块240可调用子例程，其配置图像处理器220以将组合图像裁剪到所需形状和纵横比，例如4:3矩形或1:1正方形。可将经裁剪的图像发送到装置处理器250，以用于在显示器225上显示，或用于存储装置210中的节省。

操作系统模块245配置图像处理器220以管理装置200的工作存储器205和处理资源。举例来说，操作系统模块245可包含装置驱动器以管理例如相机215a到n等硬件资源。因此，在一些实施例中，上文所论述的图像处理模块中包含的指令可不与这些硬件资源直接交互，而是经由位于操作系统组件270中的标准子例程或API交互。操作系统245内的指令可接着与这些硬件组件直接交互。操作系统模块245可进一步配置图像处理器220以与装置处理器250共享信息。

装置处理器250可经配置以控制显示器225以向用户显示所捕获图像或所捕获图像的预览。显示器225可在成像装置200外部或可为成像装置200的一部分。显示器225还可经配置以提供显示预览图像以供在俘获图像之前使用的视图查找器，或可经配置以显示存储在存储器中或最近由用户捕获的所捕获图像。显示器225可包括LCD或LED屏幕，且可实施触敏式技术。

装置处理器250可将数据写入到存储模块210，例如表示所捕获图像的数据。虽然存储模块210以图形方式表示为传统磁盘装置，但所属领域的技术人员将理解，存储模块210可经配置为任何存储媒体装置。举例来说，存储模块210可包含磁盘驱动器，例如，软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器，或固态存储器，例如快闪存储器、RAM、ROM和/或EEPROM。存储模块210还可包含多个存储器单元，且存储器单元中的任一者可经配置以处于图像捕获装置200内，或可在图像捕获装置200的外部。举例来说，存储模块210可包含含有存储在图像捕获装置200内的系统程序指令的ROM存储器。存储模块210还可包含经配置以存储所捕获图像的存储卡或高速存储器，其可从相机装卸。

尽管图2描绘具有单独组件以包含处理器、成像传感器和存储器的装置，但所属领域的技术人员将认识到，这些单独组件可用多种方式组合以便实现特定的设计目标。举例来说，在替代实施例中，存储器组件可与处理器组件组合以节省成本且改进性能。

另外，尽管图2说明两个存储器组件，包含包括若干模块的存储器组件230以及包括工作存储器的单独存储器205，但所属领域的技术人员将认识到利用不同存储器架构的若干实施例。举例来说，一种设计可利用ROM或静态RAM存储器来存储实施存储器组件230中所含有的模块的处理器指令。可将处理器指令加载到RAM中以促进由图像处理器220执行。举例来说，工作存储器205可包括RAM存储器，其具有在由图像处理器220执行之前被加载到工作存储器205中的指令。

III.无视差和倾斜假影的折叠式光学阵列相机的概述

图3A是说明根据一些实施例的无视差阵列相机300A中的相机310A、310B、310C以及镜平面312A、312B、312C位置的示意图。阵列及其对应透镜(以及可能的额外光折叠表面)的传感器在本文中被称作“相机”，且所述阵列中的所有相机的协作在本文中被称作“虚拟相机”。在无视差阵列相机设计原理的以下描述中，可将相机建模为点，即其相关联透镜组合件的投影中心，所述投影中心可位于xyz空间中的任何地方。相机阵列由此类投影中心的阵列建模。

虚拟相机是相机从其捕获图像的位置，例如由310A捕获的图像，表现为在尚未使用光学折叠(例如使用镜的反射)的情况下已捕获。在物理上由多个折叠式光学相机形成的无视差阵列中，所有虚拟相机合并成一个具有相同投影中心的单个虚拟相机，图3A和3B中示出为点V。所述阵列的每一个别相机可具有潜在不同的注视方向，即相机的光轴的方向或对准，其有时被称作倾斜。本文所述的用于成型无视差阵列相机的空间关系的要点在于可通过将投影变换应用于所捕获图像数据来在计算上改变每一虚拟相机的有效倾斜(例如对应图像中的倾斜的外观)。在应用恰当的投影变换和裁剪之后将所述图像拼接在一起通过使用从所述阵列的多个相机接收到的数据而产生单个图像，目标场景的合成图像。此单个图像看起来像是其被投影中心在点V处的单个虚拟相机捕获，在本文中被称作虚拟相机。因此，如本文所述的无视差阵列的虚拟相机实际上是复合虚拟相机，且多个虚拟相机的组合物合并成单个点。如本文所使用的虚拟相机还可为通过变换、裁剪和拼接所述个别图像的计算合成的结果，所述个别图像各自由所述阵列的多个相机中的一者捕获。

在图3A和3B中，相机310B、310C、310E和310F各自建模为表示所述相机在xyz空间中的投影中心的点。举例来说，真实相机具有在空间中具有某一位置的入射光瞳。所述光瞳的中心在本文中被称作相机的投影中心，且至少部分地由透镜组合件的光学器件确定。投影中心可能不是相机的物理光圈归因于透镜组合件的光学器件而位于其中的位置，且光学投影中心所位于的真实位置是光瞳的中心所位于的位置。随着相机围绕此点(其投影中心)旋转，所捕获的图像如同计算投影变换的应用那样变换。图3A和3B所说明的示意图是抽象：注视方向和相机的焦距对于无视差成像来说不是必要的，因为此类方面可在后来的步骤(例如计算上)通过投影变换来校正。由此，在此一般处理中，仅通过投影中心来说明相机310B、310C、310E和310F的抽象。使用投影中心来表示相机起到如下目的：实现将相机阵列设计成形成无视差图像。相机的真实注视和焦距对于成像的其它方面来说是重要的，但可根据无视差阵列相机的各种实施例的需要来改变这些方面的特殊性。

将虚拟相机V和相机310A、310D分别说明为以在表示虚拟相机V和相机310A、310D中的每一者的投影中心的点为中心的框图。如图3A的实施例中所示，对于薄相机，如上文所描述，相机阵列位于薄相机的水平面305内(或至少大致上位于其中)。出于此论述的目的而任意选择术语“水平”，例如参看图3A和3B。将镜平面312A到312E说明为具有边界，然而所述平面无限延伸，且实际镜位置可在由312A到312E表示的平面内的任何地方。在一些实施例中，镜面表面可成角度地连接，以形成具有顶点的反射性元件，例如位于或大约位于沿虚拟相机V的光轴321的点P处。在其它实例中，所述顶点可位于沿虚拟相机V的光轴321的其它点处。尽管主要在镜平面和对应的镜面表面方面进行论述，但在一些实施例中，还可使用平面312A、312B、312C来定位折射棱镜的光引导小面。

图3A说明阵列相机的水平面305中的三个相机310A、310B、310C，且图3B说明水平面305中的三个相机310D、310E、310F。在所说明的实施例中示出，图3A中的每一相机310A、310B、310C可定位成使得FOV的中心指向(或大约指向)中心位置P，如由相机310A的光轴311A所说明。在图3B中，将相机310D、310E和310F描绘为水平指向中心位置P。每一相机310D、310E、310F可定位成大致朝位于对应于相机310D、310E、310F的镜平面312D、312E、312F中的镜330(仅参考相机310D和镜平面312D所说明)“看”(如由相机310D的光轴311B所说明)。换句话说，每一相机310D、310E、310F的所投影FOV的光轴可朝镜定位。在两个配置300A、300B中，对应的镜再引导(或折叠)每一相机310A到F的所投影光轴以及因此相机所接收到的光(或光线的锥形)，使得所有相机310A到F在光学上在沿虚拟光轴321的垂直于平面305的方向上(或大体上在此方向上)看(考虑所述光的折叠)。换句话说，每一相机310A到F的所投影FOV的中心轴可沿着虚拟光轴321，以接收从目标场景传播的光。

然而，其中相机正在看(其光轴的对准)的方向可为可变化同时仍遵守本文所述的无视差空间关系的设计参数。存在将在特定设计中考虑的折衷，例如每一相机的注视方向，以及每一相机的投影中心的位置(例如其距中心点P的距离以及)、每一相机的焦距、阵列中的相机的数目，以及所述阵列是否应对称。图3A和3B的无视差设计原理的此一般性允许较大的设计自由，且捕获所有类别的阵列相机配置。因此，取决于这些无视差原理的特定实施方案，不是来自位于平面312A到312F中的镜的所有光均可入射在相关联的相机310A到310F上，然而此设计的益处在于其提供无视差图像。

因此，尽管将图3A的光轴311A说明为“看”点P或与点P对准，但不要求相机的光轴看点P。在其它实例中，光轴可看线321上在P与Z之间的任一点，或在其它实例中，可在某一其它方向上看。类似地，图3B的光轴311B，示出为大约指向中心镜330，可指向其它方向，例如在由相机的多个镜形成的镜反射性元件的顶点处。阵列300A中具有与点P对准的光轴的相机，如同所说明的轴311A，可围绕其投影中心旋转，来看沿线321的稍低的点P，而不物理上旋转实际相机，例如通过借助于从所述相机取原始图像、应用投影变换且接着裁剪所述图像进行的计算。此类计算旋转可容易地以数字方式处置(在某些实际限制内，例如大约10度)。本文所述的无视差成像的一般模型因此考虑不具有任何特定检视方向的相机，且例如仅提供实例光轴311A和311B。

如图3A和3B中所示的无视差设计原理被配置成使得在从位于镜平面312A到312C以及312D到312F内的某处的镜反射之后，相机310A到310C以及310D到310F的所有投影中心看起来是从一个(或单个)虚拟中心V投影。

在图3A的实施例300A中，虚拟相机投影中心V位于水平面305下方，使得相机310A、310B、310C协作以捕获图像，看起来沿光轴321向上看到水平面305上方的图像空间中，其中下方和向上是任意选择的术语来指代相机310A、310B、310C的相对位置，虚拟相机投影中心V以及图像空间，且无意限定实际相机在真实空间中的定位或定向。在根据图3A中所说明的原理建构的真实相机的一些实例中，位于平面312A、312B、312C内的实际镜可相交，以形成其顶点位于其基座上方的反射性元件。举例来说，所述顶点可位于点P处，且反射性元件的基座可位于沿朝向虚拟相机V的光轴321的某处。

图3B的实施例300B表示宽FOV阵列相机。虚拟相机投影中心V位于水平面305上方，使得相机310D、310E、310F协作以捕获宽FOV图像，看起来远离光轴321朝外看到水平面305周围的图像空间中，其中下方和向上是任意选择的术语来指代相机310D、310E、310F的相对位置，虚拟相机投影中心V以及图像空间，且无意限定实际相机在真实空间中的定位或定向。在根据图3B中所说明的原理建构的真实相机的一些实例中，位于平面312D、312E、312F内的实际镜(例如平面312D中的镜330)可相交，以形成其顶点位于其基座下方的反射性元件。举例来说，所述顶点可位于点P处，且反射性元件的基座可位于沿朝向虚拟相机V的光轴321的某处。

由此，与用于实施例300A的反射反射性元件相比，用于宽FOV实施例300B的反射反射性元件是倒置式的。另外，当阵列300A“看”沿光轴321定位的图像时，阵列300B“看”围绕轴321沿圆周定位的空间的180度全景图像，但看不到阵列300A所看到的中心图像场景。在一些实施例中，设计300A和300B可组合以形成捕获完整的半球形视野的相机。

为了根据图3A中所说明的无视差设计原理来设计或建构无视差的阵列相机，可将点V(虚拟相机的投影中心)定位在阵列相机300A的水平面305下方的任何地方。设计者或制造商可接着设定或识别相机310A、310B、310C的位置，且接着定义将每一相机的投影中心与所述虚拟相机的投影中心连接的线313A、313B、313C。接下来，设计者或制造商可定位每个区段313A、313B、313C的中间314A、314B、314C，并将镜的平面312A、312B、312C放置在中间或大体上放置在中间314A、314B、314C处，或与所述区段正交或大体上正交。

为了根据图3B中所说明的无视差设计原理来设计或建构无视差的阵列相机，设计者或制造商可将点V(虚拟相机的投影中心)定位在阵列相机300B的水平面305下方的任何地方。设计者或制造者可接着设定或识别相机310D、310E、310F的位置，且接着产生将每一相机的投影中心与所述虚拟相机的投影中心连接的线313D、313E、313F。接下来，设计者或制造商可定位每个区段313D、313E、313F的中间314D、314E、314F，并将镜的平面312D、312E、312F放置在中间314D、314E、314F处，并与所述区段正交。如图3B中所示，可将镜330放置在其对应平面312D中的任何地方。

尽管将每一平面312A到312F说明为具有边界，但理论上，平面是无限的，且设计者可根据特定相机构建的需要来选择镜在其对应平面内的适当大小和位置，例如以防止重叠镜、相机视野的阻挡等。来自那些镜的反射将每一投影中心(在此情况下，相机310A到310F的投影中心)发送到薄相机300A、300B的相同虚拟投影中心V。这确保了相机的视野之间的所得经拼接图像中无视差或大体上无视差。

在一些实施例中，位于平面312A到312C以及312D到312F内的镜可经布置以形成反射性元件。举例来说，平面312A到312C可从所说明的边界向外延伸，直到其相交以形成顶点在具有向下和向外倾斜的镜面小面的点P处或附近的反射性元件。作为另一实例，平面312D到312F可从所说明的边界向外延伸，直到其相交以形成顶点在具有向上和向外倾斜的镜面小面的点P处或附近的反射性元件。由此，与用于实施例300A的反射反射性元件相比，用于实施例300B的反射反射性元件是倒置式的。因此，镜无需位于针对平面312A到312F所示的位置中，且实际镜不必沿线313A到313F定位，或含有中点314A到314F，但实际上可位于无限延伸平面中的任何地方。

图3A和3B中所说明的实例包含三个相机，然而无视差设计原理对任何数目的相机起作用。个别相机的确切检视方向与视差问题无关，而是与效率和倾斜假影等有关。从相机的不同检视方向产生的图像中的此类变形可用所述事实之后应用的众所周知的投影变换以数字方式撤消。此校正对于无限小的光圈来说是准确的且对于小有限光圈(例如移动装置(例如手机、平板计算机等)的成像系统中可通常使用的光圈)来说大致为准确的。投影变换校正可通过应用适当的投影变换(其在给定镜平面和相机的定位的情况下实际上是预定义的)，来去除所有或大体上所有倾斜假影。

在一些薄相机实施方案中，所述阵列的所有相机可定位在薄相机模块或相机外壳的水平面内(或物理上在其内部)。然而，在其它实施例中相机不必位于水平面305中。举例来说，对于球面相机或对于自由“中心的3D云”相机布置，所述相机不必位于水平面内。在一些阵列摄像机实施例中，相机的布置可为对称或大体上对称的，使得所有镜平面具有一个共用相交点。如果此点存在，那么其为图中，如图3A和3B中所表示的P。所述多个镜可形成具有顶点P的反射性元件。如本文所使用，术语金字塔或反射性元件可指代具有若干小面的任何三维形状，所述小面各自从基座以角度向上延伸，其中一些或所有小面在顶点P处会合。在其它情况下，可能不存在所有镜共用的点。然而，所描述的实施例中，本设计无(或大体上无)视差假影，因为所有虚拟相机(在折叠之后的真实相机的图像)不管定向如何，均从共用虚拟投影中心V看世界。如本文所使用，虚拟投影中心是指阵列中的所有相机的所投影视野(FOV)视锥看起来源自其中的虚拟相机位置的中心投影，即使是在入射光的再引导或折叠之后(例如，通过镜或折射棱镜)。

如果对称性不足，那么阵列相机设计在产生无视差图像时，仍可显示不正确的离焦模糊假影。可创建离焦模糊核心，以便至少部分地补偿来自从所有相机光圈/镜合成的共用光圈的离焦模糊。如果从位置V的视图中的某些位置或方向存在间隙和不规律性，那么模糊将看起来不自然。这是归因于真实个别相机实际上不是点的事实，但光圈各自表示在3D空间中具有定向的表面的区域。然而，在一些实施方案中，具有不足对称性的设计仍可用于捕获几乎完全对焦的场景的良好质量图像，或如果不存在特别靠近阵列相机的物体，例如距相机从大约20cm到大约50cm。

图4A到4C说明根据图3A和3B中所说明的无视差设计原理来设计的阵列相机400的实施例。图4A说明具有两个相机410A、410B的阵列。相机410A、410B各自具有大约20度的检视角度，从而针对组合式阵列相机400产生大约26度的有效检视角度。相机410A、410B看起来从同一清楚来源450捕获图像数据。每一相机410A、410所观察到的视图420A、420B以蓝色短划线突出显示。为清楚起见，相机410A、410B中未说明透镜组合件和次要反射或反射表面。在一些实施例中，在初始反射或折射之后，相机410A、410B的传感器可与光对准，然而在其它实施例中，可使用次要反射性或折射性表面，例如为了通过将相机410A、410B的传感器放入共用平面内或大体上放入共用平面内，来减小阵列的总高度。

图4B说明图4A的相机410A的检视角度420A以及镜表面415A的设计参数的一个实例。为了实现合成光圈的60度的有效检视角度(阵列400中的相机410A、410B的所有视图的总和)，个别相机410A、410B各自应具有拥有至少约48度的检视角度420A、420B的FOV。图4C说明用以实现60度检视角度的图4A的相机410A、410B的检视角度420A、420B和镜表面415A、415B两者的设计参数的实例。

图5A和5B说明根据图3A和3B中所说明的无视差设计原理来设计的四相机610A到610D阵列相机600的实施例。图5A说明通过对单个相机的FOV关于两个平面的镜像处理来创建四相机610A到610D阵列相机600的等角视图。为清楚起见，相机610A到610D中未说明透镜组合件和次要反射或反射表面。在一些实施例中，在初始反射或折射之后，相机610A到610D的传感器可与光对准，然而在其它实施例中，可使用次要反射性或折射性表面，例如为了通过将相机610A到610D的传感器放入共用平面内或大体上放入共用平面内，来减小阵列的总高度。视锥625A到625D是如由相机610A到610D的透镜看到的FOV的视锥。视锥630A、630C、630D(注意：为了图的清楚起见，未说明视锥630B)是如由相机610A到610D的传感器看到的FOV的视锥。

如由上文相对于图3A和3B所述的无视差设计参数指定的镜平面312D到312F(在图3B中说明，且在图5B中大体说明为镜平面615)的位置部分地决定最终图像的形状，以及相机610A到610D所捕获的图像之间的重叠量(定位在镜平面615内的反射性表面的角度也是因素)。

如由上文相对于图3A和3B所述的无视差设计参数指定的镜平面312D到312F(在图3B中说明，且在图5A中大体说明为镜平面615)的位置部分地决定最终图像的形状，以及相机610A到610D所捕获的图像之间的重叠量(定位在镜平面615内的反射性表面的角度也是因素)。

如所说明，归因于每一相机610A到610D的FOV的偏斜，检视区域620A到620D之间存在重叠。将所说明的四相机阵列相机600设计成所述相机的FOV之间不具有相当大的重叠，然而在一个实施例中，这可通过使邻近相机围绕其光轴旋转来实现，因为所述相机的光轴存在于同一平面内。对于邻近相机，归因于所述相机的FOV的偏斜，部分地存在重叠。此重叠可大于所示出的重叠且可偏斜，因为左相机的重叠区域实际上是从右相机的镜表面反射的，且反之亦然。

在一些实施例中，可通过使邻近相机朝虚拟光轴旋转直到它们返回到未旋转位置中为止，来产生邻近相机之间的重叠。然而，将相机放置成彼此平行可导致重叠随着物距增加而增加，而不重叠区域将不在增加的物距处增加(重叠百分比将接近100％)，并且因此在某些实施例中可能不是可采用的解决方案。使相机稍微朝中心线旋转来产生一些重叠可在每一方向上导致大约10度的重叠。然而，取决于每一相机的大小和相对定位以及所述阵列的高度限制，可能不存在足够的空间可供并排放置两个旋转的相机。

图6说明根据图3A和3B中所说明的无视差设计原理来设计的阵列相机1000的实施例。图6的相机是通过扩展四相机阵列相机以包含额外的两个相机和两个镜面表面来建构的六相机910A到910F阵列相机。在此实施例中，相机910A到910F可归因于空间限制而旋转。

IV.实例图像捕获过程的概述

图7说明折叠光学图像捕获过程900的实施例。过程900开始于框905，其中提供多个成像传感器组合件。此框包含上文相对于先前图像所论述的传感器阵列配置中的任一者，其中传感器和相关联的光折叠表面是根据本文所揭示的无视差设计概念来布置的。如上文所论述，所述传感器组合件可包含定位成将来自透镜系统的光再引导到传感器上的传感器、透镜系统和折射性或反射性表面。过程900接着移动到框910，其中将至少一个折射性或反射性表面安裝成接近于所述多个图像传感器。举例来说，此框可包括将中心镜反射性元件安裝在传感器阵列的两行之间，其中所述中心镜反射性元件包括与所述阵列中的每一传感器相关联的表面。

过程900接着转到框915，其中包括使场景的目标图像的光从至少一个反射性表面朝成像传感器反射回来。举例来说，所述光的一部分可由多个表面中的每一者朝所述多个传感器中的每一者折射或反射回来。此框可进一步包含使光穿过与每一传感器相关联的透镜组合件，且还可包含将离开第二表面的光反射到传感器上。框915可进一步包括使用透镜组合件或通过所述反射性表面中的任一者的移动来聚焦所述光。

过程900接着可移动到框920，其中传感器捕获目标图像场景的多个图像。举例来说，每一传感器可捕获场景的对应于所述传感器的视野的一部分的图像。所述多个传感器的视野一起覆盖物空间中的至少所述目标图像。尽管未说明，但可将投影变换应用于所捕获图像中的一些或全部，以便以数字方式旋转用以捕获所述图像的相机的光轴。

过程900接着可转变到框925，其中执行图像拼接方法以从所述多个图像产生单个图像。在一些实施例中，图2的图像拼接模块240可执行此框。这可包含已知图像拼接技术。另外，视野中的任何重叠区域可产生所述多个图像中的重叠，其可用于在拼接过程中使所述图像对准。举例来说，框925可进一步包含识别邻近图像的重叠区域中的共同特征且使用所述共同特征来对准图像。

接下来，过程900转变到框930，其中拼接的图像按指定纵横比(例如4:3或1:1)裁剪。最后，过程在框935处存储经裁剪的图像之后结束。举例来说，图像可存储在图2的存储装置210中，或可存储在图2的工作存储器205中以用于显示为目标场景的预览图像。

V.实施系统和术语

本文所揭示的实施方案提供用于无视差和倾斜假影的多个光圈阵列相机的系统、方法和设备。所属领域的技术人员将认识到，这些实施例可用硬件、软件、固件或其任何组合来实施。

在一些实施例中，可在无线通信装置中利用上文所论述的电路、过程和系统。无线通信装置可为用来与其它电子装置无线通信的一种电子装置。无线通信装置的实例包含蜂窝式电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板计算机装置等。

无线通信装置可包含：一或多个图像传感器；两个或更多个图像信号处理器；一个存储器，其包含用于实施上文所论述的过程的指令或模块。装置也可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如，显示装置)和电源/接口。无线通信装置可另外包含发射器和接收器。发射器和接收器可共同被称作收发器。收发器可耦合到一或多个天线以用于发射和/或接收无线信号。

无线通信装置可无线地连接到另一电子装置(例如，基站)。无线通信装置或者可被称作移动装置、移动台、订户台、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。通信装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个业界标准来操作。因此，通用术语“无线通信装置”可包含根据业界标准以变化的命名法来描述的无线通信装置(例如，接入终端、使用者设备(UE)、远端终端等)。

可将本文中所描述的功能作为一或多个指令而存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。作为实例而非限制，此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。

还可通过传输媒体来传输软件或指令。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线路(DSL)或无线技术(例如，红外线、无线电和微波)从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如，红外线、无线电和微波)包含在传输媒体的定义中。

本文中所揭示的方法包括用于实现所描述的方法的一或多个步骤或动作。在不偏离所附权利要求书的范围的情况下，方法步骤和/或动作可彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离所附权利要求书的范围的情况下，可修改特定步骤和/或动作的次序和/或使用。

应注意，如本文中所使用，术语“耦合”、“正耦合”、“经耦合”或词语耦合的其它变化可指示间接连接或者直接连接。举例来说，如果第一组件“耦合”到第二组件，那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文所使用，术语“多个”指示两个或多于两个。举例来说，多个组件指示两个或多于两个组件。

术语“确定”涵盖各种各样的动作，且因此“确定”可包含计算、估计、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实等。并且，“确定”可包含接收(例如，接收信息)、存取(例如，在存储器中存取数据)等。并且，“确定”可包含解析、选择、挑选、建立等等。

除非以其它方式明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”与“至少基于”两者。

在以下描述中，给出特定细节以提供对实例的透彻理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，可在框图中示出电组件/装置，以免用不必要的细节混淆所述实例。在其它实例中，可详细示出此些组件、其它结构和技术以进一步解释所述实例。

本文中包含数个标题，是为了参考和辅助定位各个部分。这些标题无意限制关于其描述的概念的范围。此类概念可在整个说明书中都适用。

还应注意，可将所述实例描述成过程，所述过程被描绘成流程图表、流程图、有限状态图、结构图或框图。虽然流程图表可将操作描述成循序过程，但许多操作可并行或同时执行，并且所述过程可重复。另外，可重新排列操作的顺序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时，过程的终止对应于功能返回到调用功能或主功能。

提供对所揭示实施方案的先前描述以使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改，且本文中定义的一般原理可应用于其它实施方案而不脱离本发明的精神或范围。因此，本发明无意限于本文中所示的实施方案，而是将被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。

Claims (30)

1.一种用于捕获场景的目标图像的系统，所述系统包括：

具有虚拟投影中心的多个相机的阵列，所述多个相机中的每一者经配置以捕获场景的目标图像的多个部分中的一者；以及

所述多个相机中的每一者包括

图像传感器；

透镜组合件，其包括至少一个透镜，所述透镜组合件具有投影中心，所述透镜组合件定位成将光聚焦在所述图像传感器上，所述透镜组合件的所述投影中心沿着穿过所述虚拟投影中心的线定位；以及

镜，其定位成将所述光反射到所述透镜组合件，所述镜进一步定位在镜平面上，所述镜平面定位成与沿着穿过所述虚拟投影中心的线的点相交。

2.根据权利要求1所述的系统，其进一步包括中心反射性元件，其具有多个主要光再引导表面，所述主要光再引导表面经配置以将所述光分裂成所述多个部分，所述多个相机中的每一者的所述镜形成所述主要光再引导表面中的一者。

3.根据权利要求1所述的系统，其中所述镜平面定位成与沿着穿过所述虚拟投影中心的所述线的中点相交，且定位成以一角度与所述线正交。

4.根据权利要求2所述的系统，其中所述中心反射性元件包括由所述多个主要光再引导表面中的每一者的相交形成的顶点，且其中所述多个相机中的每一者的光轴穿过所述顶点。

5.根据权利要求4所述的系统，其中所述顶点和所述虚拟投影中心位于穿过所述顶点和所述虚拟投影中心的虚拟光轴上，使得所述虚拟光轴形成所述多个相机的所述阵列的光轴。

6.根据权利要求5所述的系统，其进一步包括相机外壳，所述相机外壳包括具有光圈的上表面，所述光圈定位成允许表示所述场景的光穿过所述光圈到达所述中心反射性元件。

7.根据权利要求6所述的系统，其中所述上表面定位成在所述中心反射性元件的所述顶点处或上方与所述虚拟光轴正交，所述相机外壳进一步包括下表面，其大体上平行于所述上表面而定位，且定位在所述中心反射性元件的下表面处或下方。

8.根据权利要求7所述的系统，其中所述多个相机中的每一者定位在所述上表面与所述下表面之间。

9.根据权利要求1所述的系统，其进一步包括处理器，其经配置以从所述多个相机中的每一者接收包括所述场景的一部分的图像的图像数据，且执行拼接操作以产生所述目标图像。

10.根据权利要求9所述的系统，其中所述处理器进一步经配置以至少部分地基于所述虚拟投影中心与所述多个相机中的每一者的所述透镜组合件的所述投影中心之间的几何关系和所述多个相机中的每一者的所述镜在对应镜平面内的位置来对所述图像数据执行投影变换。

11.根据权利要求2所述的系统，其进一步包括与所述多个相机中的每一者相关联的次要光再引导表面，所述次要光再引导表面定位成将来自所述透镜组合件的光引导到所述图像传感器上。

12.根据权利要求11所述的系统，其进一步包括具有至少一个光圈的衬底，所述至少一个光圈定位成允许所述光穿过所述至少一个光圈到达所述多个相机中的每一者的所述镜，其中用于所述多个相机中的每一者的所述图像传感器定位在所述衬底上或内。

13.一种制造在所捕获图像中基本上无视差假影的阵列相机的方法，其包括：

将多个相机定位成阵列，所述多个相机中的每一者经配置以捕获目标图像场景的多个部分中的一者，所述多个相机定位成各自从具有虚拟投影中心的虚拟相机的位置捕获图像数据，所述多个相机中的每一者包括

透镜组合件，其包括至少一个透镜，

相机投影中心，其具有至少部分地由所述透镜组合件的光学器件确定的位置，以及

传感器，其定位成从所述透镜组合件接收光；以及

为所述多个相机中的每一者提供定位在镜平面上的镜，所述镜平面定位成与沿着穿过所述虚拟投影中心的线的点相交。

14.根据权利要求13所述的方法，其进一步包括为所述多个相机中的每一者提供所述镜作为中心反射性元件的小面，所述多个相机定位在所述中心反射性元件周围。

15.根据权利要求14所述的方法，其中所述镜平面进一步定位成与沿着穿过所述相机的所述虚拟投影中心的所述线的中点相交，且定位成与所述线正交。

16.根据权利要求14所述的方法，其中用于所述多个相机中的每一者的所述镜在所述中心反射性元件的顶点处相交，且其中所述方法进一步包括定位所述多个相机中的每一者，使得所述多个相机中的每一者的光轴与所述顶点相交。

17.根据权利要求13所述的方法，其进一步包括为所述多个相机中的每一者提供次要光再引导表面。

18.根据权利要求17所述的方法，其进一步包括将所述次要光再引导表面定位在所述透镜组合件与所述传感器之间，以将从所述透镜组合件接收到的光引导到所述传感器上。

19.根据权利要求18所述的方法，其进一步包括提供具有至少一个光圈的衬底，所述光圈定位成允许所述光穿过所述光圈到达用于所述多个相机中的每一者的所述镜。

20.根据权利要求19所述的方法，其进一步包括将用于所述多个相机中的每一者的所述传感器安裝在所述衬底上或内，使得所有传感器均定位在同一平面内。

21.根据权利要求13所述的方法，其进一步包括提供与所述多个相机中的每一者的所述传感器电子通信的处理器，所述处理器经配置以接收目标图像场景的所述多个部分，且产生所述目标图像场景的完整图像。

22.一种捕获基本上无视差的图像的方法，其包括：

使用多个镜将表示所述图像的场景的光分裂成多个部分，

将所述多个部分中的每一者朝多个相机中的对应一者引导，所述相机各自定位成从具有虚拟投影中心的虚拟相机的位置捕获图像数据，所述多个相机中的每一者包括

透镜组合件，其包括至少一个透镜，

相机投影中心，其具有至少部分地由所述透镜组合件的光学器件确定的位置，以及

传感器，其定位成从所述透镜组合件接收光；以及

将所述多个部分组合成所述图像；

其中对于所述多个镜中的每一镜，所述镜定位在镜平面上，所述镜平面定位成与沿着穿过所述虚拟投影中心的线的点相交。

23.根据权利要求22所述的方法，其进一步包括将投影变换应用于所捕获的图像数据，以改变所述多个相机中的每一者的有效倾斜。

24.根据权利要求22所述的方法，其进一步包括对于所述多个相机中的每一者，使用次要光再引导表面，将从所述透镜组合件接收到的所述光再引导到所述图像传感器上。

25.一种用于捕获场景的目标图像的设备，所述设备包括：

具有虚拟投影中心的多个相机的阵列，所述多个相机中的每一者经配置以捕获所述场景的所述目标图像的多个部分中的一者；以及

对于所述多个相机中的每一者：

用于捕获图像的装置；

用于聚焦光的装置，其具有沿着穿过所述虚拟投影中心的线定位的投影中心；以及

用于再引导位于定位成与沿着穿过所述虚拟投影中心的所述线的点相交的主要光再引导平面上的光的装置。

26.根据权利要求25所述的设备，其中所述用于再引导光的装置包括位于所述主要光折叠平面内的反射性表面以及具有位于所述主要光折叠平面内的小面的折射棱镜中的一者。

27.根据权利要求25所述的设备，其中所述用于聚焦光的装置包括包含一或多个透镜的透镜组合件。

28.根据权利要求25所述的设备，其中所述多个相机中的每一者包括用于再引导光的额外装置，其定位成将从所述光聚焦装置接收到的光引导到所述图像捕获装置上。

29.根据权利要求25所述的设备，其进一步包括用于将所述多个部分组合成所述目标图像的装置。

30.根据权利要求29所述的设备，其进一步包括用于补偿所述目标图像的所述多个部分之间的倾斜假影的装置。