CN106464813A - 能够捕获全宽视野图像的无视差薄型多相机系统 - Google Patents
能够捕获全宽视野图像的无视差薄型多相机系统 Download PDFInfo
- Publication number
- CN106464813A CN106464813A CN201580032968.5A CN201580032968A CN106464813A CN 106464813 A CN106464813 A CN 106464813A CN 201580032968 A CN201580032968 A CN 201580032968A CN 106464813 A CN106464813 A CN 106464813A
- Authority
- CN
- China
- Prior art keywords
- camera
- light
- image
- visual field
- optical axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Cameras In General (AREA)
Abstract
本发明揭示用于产生宽视野视野图像的方法和系统。在一些实施例中,一种成像系统包含:前置相机,其具有第一方向上的第一视野FOV以及延伸穿过所述第一FOV的光轴;后置相机,其具有延伸穿过所述第一FOV的光轴;多个侧相机,其安置于所述前置相机与所述后置相机之间;背光再引导反射镜组件,其安置于所述后置相机与多个侧相机之间,所述背光再引导反射镜组件进一步垂直于所述后置相机的所述光轴安置;以及多个侧光再引导反射镜组件,所述多个侧相机中的每一者定位成接收从所述多个光再引导反射镜组件中的一者再引导反射的光。
Description
技术领域
本发明涉及包含多相机系统的成像系统和方法。明确地说,本发明涉及用于以薄形状因子捕获宽视野图像的系统和方法。
背景技术
例如移动电话和平板计算装置等许多移动装置包含可由用户操作以捕获静态和/或视频图像的相机。因为所述成像系统通常设计成捕获高品质图像,所以将所述相机或成像系统设计成不含或实质上不含视差可为重要的。此外,可能希望成像系统捕获宽视野场景的图像,其中所捕获的图像无视差或大体上无视差。成像系统可用于从中心点附近的多个位置捕获场景的各种视野。然而,这些设计中的许多设计涉及具有大量视差的图像,因为所述视野来源于各种位置而不来自中心点。
发明内容
一个创新的实例包含包含一种具有四个、八个或更多相机地光学组件的成像系统。所述光学组件可包含至少四个、八个或更多光再引导反射镜表面。所述至少四个相机各自经配置以捕获目标场景的多个局部图像中的一者。所述至少四个相机中的每一者具有光轴、透镜组合件和图像捕获装置例如图像传感器、传感器阵列、照相胶片等(下文统称为图像传感器或传感器)。所述光轴与所述光学组件的至少四个光再引导反射镜表面中的对应一者对准。所述透镜组合件定位成接收从所述至少四个光再引导反射镜表面中的所述对应一者重新引导的目标场景的多个局部图像中的一者的光。在所述光穿过透镜组合件之后,所述图像传感器接收所述光。
另一创新的实例包含一种捕获基本上不含视差的图像的方法,其包含接收光、分裂光、再引导所述光的每一部分,以及捕获至少四个相机中的每一者的图像。在此创新的一些实施例中,表示目标图像场景的光基本上通过由与相机系统内的每一相机和镜表面相关联的多个虚拟入射光瞳组成的虚拟入射光瞳来接收。经由至少四个或八个光再引导反射镜表面将接收到的光分裂成四个或八个部分。将所述光的每一部分朝对应相机重新引导,其中每一相机-镜对定位成通过虚拟相机入射光瞳来捕获图像数据。
另一创新的实例包含一种成像系统,所述成像系统包含用于再引导光的装置、具有光轴的多个捕获装置、聚焦装置,以及图像感测装置、用于接收图像数据的装置,以及用于组合所述图像数据的装置。在此创新的一些实施例中,所述用于再引导光的装置在至少四个方向上引导来自目标图像场景的光。多个捕获装置各自具有与所述成像系统的虚拟光轴对准并与所述捕获装置中的另一者的至少一个其它光轴共用的点相交的光轴,定位成从用于再引导光的装置接收在至少四个方向中的一者上重新引导的光的一部分的聚焦装置,以及从所述聚焦装置接收所述光的所述部分的图像感测装置。所述用于接收图像数据的装置可包含耦合到存储器的处理器。所述用于将所述图像数据组合成所述目标图像场景的最终图像的装置包含处理器,其配置有用以将多个图像组合成单个(通常较大)图像的指令。
另一创新的实例包含一种制造成像系统的方法,其包含提供光学组件、定位至少四个相机、对准所述相机的光轴、进一步定位所述相机、提供图像传感器,以及定位所述光学组件。在此创新的一些实施例中,提供一种光学组件,其包含至少四个光再引导表面。至少四个相机定位在所述光学组件周围。所述至少四个相机中的每一相机经配置以捕获目标场景的多个局部图像中的一者。经定位的所述至少四个相机包含:针对每一相机,使所述相机的光轴与所述光学组件的至少四个光再引导表面中的对应一者对准;进一步定位所述相机,使得光轴与沿成像系统的虚拟光轴定位的点处的至少四个相机中的另一者的至少一个其它光轴相交;以及提供捕获所述目标场景的多个局部图像中的一者的图像传感器。
附图说明
下文将结合为了说明实例而非限制所揭示方面而提供的附图和所揭示的方面和附件来描述。每一图中的参考标号仅适用于所述图。
图1A说明八相机成像系统的实施例的俯视图的实例。
图1B说明八相机成像系统的实施例的俯视图的实例。
图1C说明四相机成像系统的实施例的俯视图的实例。
图2A说明包含中心相机和第一相机的多相机配置的宽视野的一部分的实施例的侧视图的实例。
图2B说明代替图1B的单个中心相机的宽视野多相机配置的一部分的实施例的侧视图的实例。
图3A说明多个相机配置的实施例的两个相机的示意图。
图3B说明多个相机配置的实施例的两个相机的示意图。
图4说明图1A到3B以及图5到6中所示的相机的实施例,且说明图1A到3B以及图5到6的角度和距离的正和负指示。
图5说明八相机系统的侧视图横截面的实施例。
图6说明四相机成像系统的侧视图横截面的实施例。
图7A示出可用作图1A的多镜面系统700a的反射性元件的俯视图。
图7B说明八相机配置的一部分的实施例的侧视图。
图8说明针对每一相机具有折叠式光学相机结构的图5的相机114a和116b的横截面图。
图9说明折叠式光学多传感器组合件的实施例的横截面侧视图。
图10说明成像装置的实施例的框图的实例。
图11说明捕获目标图像的方法的实例的框。
具体实施方式
A.引言
本文所揭示的实施方案提供用于用可适合薄形状因子且无视差或大体上无视差的成像系统来捕获宽视野图像的系统、方法和设备的实例。各种实施例的方面涉及布置多个相机(在本文中也被称作多相机系统),其在所捕获图像中展现极少或无视差假影。所述多个相机的布置捕获宽视野的图像,藉此将正捕获的目标场景分割成多个图像。通过设计所述多个相机的布置使得它们看起来具有相同的共用真实或虚拟入射光瞳,来无视差或大体上无视差地捕获所述图像。一些设计的问题是它们并不具有相同的真实或虚拟共用入射光瞳,且因此可能不是无视差的,或换句话说无视差假影。
所述多个相机的所述布置中的每一传感器使用对应的光再引导光反射镜组件(其在本文中有时被称作“镜”或“镜组件”)或等效于镜反射性表面的表面,接收来自所述图像场景的一部分的光。因此,每一个别镜组件和传感器对仅表示总多相机系统的一部分。完整多相机系统具有基于所有个别光圈光线的总和而产生的合成光圈。在实施方案中的任一者中,所有相机可经配置以自动地聚焦,且可通过执行自动聚焦功能性的指令的处理器来控制自动聚焦。
在各种实施例中,所述多相机系统包含四个或八个或更多相机,每一相机经布置以捕获目标场景的一部分,使得可捕获图像的八个或四个或更多或更少部分。所述系统包含处理器,其经配置以通过组合所述图像的所述八个或四个或更多或更少部分的全部或一部分来产生所述场景的图像。在一些实施例中,八个相机(或多个相机)可配置为各自具有四个相机的两个环或径向布置,虚拟中心相机由第一环中的四个相机的协作形成,其中第二环相机的四个相机还从虚拟中心相机的视点捕获图像。多个光再引导反射镜组件经配置以将入射光的一部分再导向到八相机配置的八个相机中的每一者或四相机配置中的每一者的四个相机中的每一者。可通过所述多个光再引导反射镜组件,从所述多相机系统周围的区域接收来自目标场景的入射光的所述部分。在一些实施例中,所述光再引导反射镜组件可包括多个个别组件,其各自具有至少一个光再引导反射镜组件。所述光再引导反射镜组件的多个组件可耦合在一起,耦合到另一结构以设定其相对于彼此的位置,或这两者。
如本文所使用,词组“无视差图像”(或类似者)还指有效地或大体上无视差图像,且“无视差假影图像”(或类似者)还指有效地或大体上无视差假象的图像,其中最低限度可接受或不可见视差假影存在于所述系统所捕获的最终图像中。
作为一实例,设计成使用两个并排相机来捕获立体平画图像的相机系统是并非无视差的相机系统的实例。制作立体平画图像的一种方法是从两个不同有利点捕获图像。所属领域的技术人员可知道取决于所述场景,可能难以或不可能将两个立体平画图像拼接在一起以获得一个图像,而不具有在最终拼接图像中复制或缺失的一些场景内容。提供此类假影作为视差假影的实例。另外,所属领域的技术人员可知道两个立体平画相机的有利点是否一起移动,使得两者从一个有利点看所述场景,其接着应有可能以视差假影不可观测的方式将所述图像拼接在一起。
对于无视差图像,当将两个或更多个图像拼接在一起时,不使用图像处理来通过添加内容或将内容从所述图像或最终拼接在一起的图像去除来更改所述图像。
为了产生无视差图像,可使单透镜相机关于位于其入射光瞳的中心点处的静止点旋转,同时在一些或所有方向上捕获图像。这些图像可用以创建宽视野图像,其示出所述系统的虚拟中心相机透镜的入射光瞳的中心点周围的宽视野场景内容。下文将相对于图2A进一步描述所述多相机系统的虚拟中心相机。这些图像可具有无视差和/或无视差假影的增加的特性。举例来说,意味着所述图像可以其中场景内容在最终宽视野图像中不复制的方式拼接在一起,和/或场景内容可不从最终拼接的宽视野图像缺失和/或具有可被认为视差假影的其它假影。
单个相机可布置有其它组件,例如光再引导(例如反射性或折射性)镜组件,以便与正使用的实际真实相机的入射光瞳的最中心点相比,看起来就像其入射光瞳最中心点在另一位置(即,虚拟位置)。以此方式,具有其它光学组件(例如针对每一相机的光再引导反射镜组件)的两个或更多个相机可一起使用,以创建捕获看起来将在不同有利点处的图像的虚拟相机;即,具有位于虚拟位置处的不同入射光瞳最中心点。在一些实施例中可有可能布置与每一相应相机相关联的光再引导反射镜组件,使得两个或更多个相机可能够共享每一相机虚拟相机入射光瞳的同一最中心点。
建立具有充分的容差来使两个或更多个虚拟相机共享每一相机的相应虚拟相机入射光瞳的完全相同的最中心点的系统可能非常具有挑战性。可有可能在给定相机系统的像素分辨率和/或透镜的分辨率以使两个或更多个虚拟相机的虚拟光轴相交或充分靠近以在共享入射光瞳的最中心点附近或周围彼此相交,使得拼接在一起的图像中存在极少或不存在视差假影,或视具体情况,拼接在一起的图像将满足最终拼接在一起的图像中具有小于最小量的视差假影的要求。就是说,在不使用特殊软件来添加内容或去除内容或用以去除视差假影的其它图像处理的情况下,将能够取得此类相机所捕获的图像,并将这些图像拼接在一起,因此它们产生无视差宽视野图像或满足最小等级的视差假影的要求。在此上下文中,可基于具有充分容差的系统设计而使用术语无视差或有效地无视差。
在此,当使用术语无视差、无视差假影、有效地无视差或有效地无摆脱假影时,应理解,物理现实可使得难以或几乎不可能随时间过去而将物理物品保持在同一位置,或甚至难以或几乎不可能具有与在不使用容差的情况下设计的特性完全相同的特性。现实是东西可随着时间和或环境条件而改变形状、大小、位置、与可能的其它目标的相对位置。由此,难以在不假定或提供容差要求的情况下,将物品或事物谈论为理想或不变的。在本文中,例如有效地无视差等术语将表示且被使用来表示大多数物理物品将需要具有对即使事物不是理想的且可能随时间而改变也满足组合件或物品的既定目的程度的容差的现实。应使用具有或不具有相关措辞的术语无视差、无视差假影、有效地无视差或有效地无视差假影来表示有可能可确定显示容差要求,使得满足所述系统、系统或物品的既定要求或目的。
在以下描述中,给出具体细节以提供对实例的透彻理解。然而,可以在无这些特定细节的情况下实践实例。
B.实例四和八相机系统的概述
图1A说明本文将进一步描述的包含相机114a-d和第二相机116a-d的第一环的八相机成像系统100a的实施例的俯视图的实例。宽视野相机配置100a还包括至少若干光再引导反射镜组件124a-d,其对应于第一相机环中的相机114a-d中的每一者。另外,宽视野相机配置100a还包括至少若干光再引导反射镜组件126a-d,其对应于第一相机环中的相机116a-d中的每一者。举例来说,光再引导反射镜组件(“镜”)124a对应于相机114a,且镜126a对应于相机116a。镜124a-d以及126a-d将入射光朝对应相机114a-d以及116a-d中的每一者的入射光瞳反射。在此实施例中,存在对应于每一相机的镜。四个相机114a-d的第一环和四个相机116a-d的第二环从覆盖宽视野场景的图像的马赛克接收到的光用以捕获如下文相对于图1到3、5和6较全面描述的图像。尽管依据镜来描述,但光再引导反射镜组件可以致使相机接收入射光的任何方式来反射、折射或再引导光。
本文将使用图2到8进一步描述组件160、虚正方形线150以及椭圆形和圆形线。
在裁剪之后最终图像的全视野由组件160上方的虚线170表示。经裁剪边缘170的形状表示具有1:1的高宽比的正方形图像。经裁剪图像170可进一步裁剪从而形成其它宽高比。
图1B说明八相机配置510的实施例的俯视图。中心反射性元件532可具有多个反射性表面,其可为多种光学元件,包含但不限于一或多个镜或如本文所说明的棱镜。在一些实施例中,相机系统具有八(8)个相机512a-h,每一相机捕获目标图像的一部分,使得可捕获八个图像部分。所述系统包含处理器,其经配置以通过组合所述八个图像部分的全部或一部分来产生目标图像,参看图7A进一步描述。如图1B中所示,所述八个相机512a-h可被配置成两组四(4)个相机,所述相机512a、512c、512e、512g中的四者共同地形成虚拟中心相机,且其它四个相机512b、512d、512f、512h用以创建较宽视野相机。将中心反射性元件532安置在八相机布置的中心处或附近,且经配置以将入射光的一部分反射到八个相机512a-h中的每一者。在一些实施例中,中心反射性元件532可包括具有至少八个反射性表面的一个组件。在一些其它实施例中,中心反射性元件532可由多个个别组件组成,其各自具有至少一个反射性表面。中心反射性元件532的多个组件可耦合在一起,耦合到另一结构,以设定其相对于彼此的位置,或这两者。
在一些实施例中,八个相机512a-h中的每一相机的光轴(例如530)可在其相关联中心物镜侧反射性表面上的任何位置相交。具有此定位和定向所述相机的自由,所述相机中的每一者可经布置以使得其光轴指向可产生比其相关联反射性表面上的其它相交点宽的光圈的对应相关联反射性表面(其将光反射到相机)上的某一位置。一般来说,在假定相机的有效焦距保持大体上相同的情况下,光圈越宽,相机的f数可越低。所属领域的技术人员可知道f数较低,光学系统的衍射限制可较高。光圈的形状可影响透镜系统的点扩散函数(PSF)和/或线扩散函数(LSF)的形状,且可跨图像平面表面在空间上不同。相对于在与所述相机相关联的中心物镜侧反射性表面不存在的情况下将已进入相机的光线,如果不是所有从物空间中的点到达的光线均反射到相机透镜组合件,那么所述系统的光圈可受反射性表面影响,其中应理解,在此情况下,相机的实际物理位置将在其垂直位置处,与系统中的所有其它相机具有相同的共用入射光瞳。
作为一实例,与相机相关联的物镜侧反射性表面可充当光圈光澜,如果其并不反射通常将进入相机透镜系统的光线(其在不存在反射性表面的情况下,通常将进入)。另一实例是所述相机的光轴可在相关联反射性表面的边缘附近相交,且因而减少与所述相机相关联的反射性表面的可见区域。在此区域外的光线可不反射,使得它们进入所述相机的透镜组合件,如同其在不存在相关联反射性表面的情况下将发生的情形,从而以此方式可将反射性表面视为光澜,且因此有效光圈将相对于指向将反射较多光线的位置而减小。能够选择反射性表面上的任何位置作为相关联相机的相交点的另一优点是图像平面上的图像区域可增加或最大化。举例来说,一些实施例可指向较靠近反射性表面的边缘的位置处,且因而相比于相关联反射表面上可产生较宽图像区域的另一相交点,减小图像区域。挑选反射性表面上的任何相交点的另一优点是可找到将跨图像平面产生所要的点扩散函数(PSF)或线扩散函数(LSF)的相交位置,例如图像区域中的区域子集处或跨所述图像区域的特定PSF或LSP形状。能够改变相机在反射性表面上的光轴的相交点的另一优点是在校准期间找到所有相机之间的对准的能力,其得出反射性表面的所要定向,以便最佳化所有因素,例如相机的图像区域以及PSF和LSF的形状,如跨其它相机的图像区域所看到。能够选择与相机相关联的中心反射性表面的相交点的另一优点是当设计或形成反射性表面的形状以便产生反射性表面的所要定向以便最佳化如跨其它相机的图像区域所看到的例如相机的图像区域以及PSF和LSF的形状等所有因素时增加的自由度。应理解,中心物镜侧反射镜或折射性反射镜元件的反射性表面是整个光学系统的一部分,因此这些表面的形状可能不是平面的,且被视为用于每一和每个相机的光学系统的一部分。举例来说,每一表面的形状可为球面、非球面或以其它方式复合。
图1C说明四相机配置110的实施例的实例的俯视图。在一些实施例中,相机系统具有四(4)个相机112a-d,每一相机捕获场景的一部分,使得可捕获四个图像。所述系统包含处理器,其经配置以通过组合所述四个图像的全部或一部分来产生所述场景的图像。如图1C中所说明,四个相机112a-d可被配置成一组四(4)个相机,所述四个相机112a-d共同地形成虚拟中心相机。将反射性元件138安置在四相机布置的中心处或附近,且经配置以将入射光的一部分反射到四个相机112a-d中的每一者。在一些实施例中,反射性元件138可包括具有至少四个反射性表面的一个组件。在一些其它实施例中,反射性元件138可包括多个个别组件,其各自具有至少一个反射性表面。因为图1C说明俯视图,所以将视野120、122、124、126说明为圆形。反射性表面140、142、144、146可为多种光学元件,包含但不限于一或多个镜或如此处所说明的棱镜。反射性元件138的多个组件可耦合在一起,耦合到另一结构,以设定其相对于彼此的位置,或这两者。
在一些实施例中,四个相机112a-d中的每一相机的光轴128、130、132、134可在其相关联中心物镜侧反射性表面140、142、144、146上的任何位置相交,只要相机协作以形成单个虚拟相机即可。参看图4A和4B来描述定位所述相机和对准其相应光轴的进一步细节。具有定位和定向所述相机的此自由,所述相机中的每一者可经布置以使得其光轴指向对应相关联反射性表面140、142、144、146(其将光反射到所述相机)上的某一区,这可产生比其相关联反射性表面140、142、144、146上的其它相交点宽的光圈。一般来说,在假定相机的有效焦距保持大体上相同的情况下,光圈越宽,相机的f数可越低。所属领域的技术人员可知道f数较低,光学系统的衍射限制可较高。光圈的形状可影响透镜系统的点扩散函数(PSF)和/或线扩散函数(LSF)的形状,且可跨图像平面表面在空间上不同。
反射性表面140、142、144、146可沿光轴128、130、132、134反射光,使得对应相机112a-d中的每一者可根据每一相机的视野120、122、124、126捕获包括目标图像的一部分的局部图像。视野120、122、124、126可共享重叠区148、150、152、154。相机112a-d中的每一者的目标图像的所捕获部分可共享相对于重叠区148、150、152、154相同或类似的内容(例如所反射的光)。因为重叠区148、150、152、154共享相同或类似的内容,此内容可由图像拼接模块用来输出目标图像。重叠图像部分136包含目标图像的所反射部分的若干部分。使用拼接技术,所述拼接模块可将目标图像输出到图像处理器。举例来说,视野120、122、124、126的重叠区148、150、152、154可由图像拼接模块用来对相机112a-d所捕获的局部图像执行拼接技术,并将经拼接和裁剪的目标图像输出到图像处理器。
为了输出单个目标图像,图像拼接模块可对图像处理器进行配置以组合多个局部图像来产生高分辨率目标图像。可通过已知图像拼接技术而发生目标图像的产生。图像拼接的实例可在第11/623,050号美国专利申请案中找到,所述美国专利申请案特此以引用的方式并入。
举例来说,图像拼接模块可包含用以针对匹配特征来比较沿着局部图像的边缘的重叠区域以便确定所述局部图像相对于彼此的旋转和对准的指令。归因于局部图像的旋转和/或每一传感器的视野的形状,组合的图像可形成不规则形状。因此,在对准且组合局部图像之后,图像拼接模块可调用子例程,所述子例程配置图像处理器以将经组合图像裁剪成所需形状和高宽比,例如4:3矩形或1:1正方形。可将经裁剪图像发送到装置处理器,以用于在显示器上显示,或用于保存在存储装置中。
C.无视差相机定位的概述
图2A的成像系统包含多个相机。中心相机112位于具有指向第一方向的视野a的位置。如图2A中示出,第一视野a面向第一方向,其可为中心相机112面向的任何方向。中心相机112具有延伸穿过第一a的光轴113。中心相机112正在第一视野a中捕获的图像是在中心相机112的所投影光轴113周围,其中中心相机112的所投影光轴113在第一方向上。
图2B说明中心相机112、相机116a及其相关联镜组件126a的侧视横截面图。侧相机116a-d中的每一者的布置定位在相机112的所说明光轴113周围。所述多个侧相机116a-d中的每一者可被称为相机“同心环”,参看形成关于作为实际相机112的光轴的所说明线113同心的环的多个侧相机116a-d中的每一者。出于清楚起见,图2A和2B中示出来自环116a-d中的每一者的仅一个相机以及中心相机112。侧相机116a是4个相机的第二同心环的一部分,所述4个相机中的每一者与其相邻相机定位成90度,从而形成360度相机同心环。图2A中未示出侧相机114a-d。类似地,相机114a-d是类似于第二相机同心环中的相机而定位的第一相机同心环的一部分,在阐述图3时将进一步描述。使用术语“环”来指示例如线113周围的相机的总体布置,术语环并不将所述布置限制为圆形。术语“同心”是指共享同一中心或轴的两个或更多个环。
如图2A中示出,围绕光轴113的每一第二同心环的半径1542b是从光轴线113到相机116a的入射光瞳的最中心点的距离。类似地,如图2B中示出,围绕光轴113的第一同心环的半径1541a是从光轴线113到相机114a的入射光瞳的最中心点的距离。在一些实施例中,半径距离1542d和1541a可分别对于所有相机116a-d以及相机114a-d相等。半径距离1542d对于第二同心环中的所有相机均相等是不必要的。类似地,半径1541a针对第一同心环中的所有相机均相等是不必要的。图2A中所示的实施例对于所有相机116a-d具有相同的半径1542b,且类似地,图2B中所示的实施例对于所有相机114a-d具有相同的半径1541a。
相机114a-d的第一同心环经布置且经配置以在沿光轴115的方向上捕获第三视野c中的图像。相机116a-d的第二同心环经布置且经配置以在沿光轴117的方向上捕获第二视野b中的图像。
在另一实施例中,侧相机114a-d、116a-d各自分别为第一和第二组阵列相机的一部分,其中所述第一和第二组阵列相机中的每一者共同地具有包含目标场景的至少一部分的视野。每一阵列相机包含图像传感器。所述图像传感器可垂直于每一相应相机116a-d的光轴186a-d且以之为中心,如图2A中针对第二同心环示意性地示出。类似地,所述图像传感器可垂直于每一相应相机114a-d的光轴184a-d且以之为中心,如图2B中针对第一同心环示意性地示出。
如本文将示出,如果视野“c”大约大于或等于视野“a”的二分之一,那么可有可能用具有如图2B中示出的相机114a-d的第一同心环的视野“a”来代替图2A中所示的相机112。在此情况下,第二同心环中的相机116a-d以及第一同心环中的相机114a-d可经配置且经布置以使得所有相机114a-d以及116a-d所捕获的图像可共同地表示宽视野图像,如从大体上或有效地位于成像系统的所有相机114a-d以及116a-c的垂直入射光瞳的最中心点处的共同透视有利点所看到,其中所有相机114a-d以及116a-d的虚拟入射光瞳的最中心点已经配置且经布置以使得所有虚拟入射光瞳的最中心点大体上或有效地在空间中的一个共同点处。
图2A和2B中所示的成像同心环系统包含用于图2B中所示的第一同心环的光再引导反射镜表面134a-d,以及用于图2A中所示的第二同心环的光再引导反射镜表面136a-d。
在以上光再引导反射镜组件134a-d、136a-d中的每一者中,光再引导反射镜组件134a-d、136a-d包含多个反光镜。
如现在将描述,宽视野相机配置100a包括各种角度和距离,其使宽视野相机配置100a能够无视差或有效地无视差,且具有来自共同视角的单个虚拟视野。因为宽视野相机配置100a具有单个虚拟视野,所以配置100a无视差或有效地无视差。
在一些实施例中,例如图1A到2B中所示,单个虚拟视野包括共同地形成宽视野场景的多个视野,就像相机114a-d以及116a-d中的每一者的虚拟视野参照点具有单个虚拟原点145一样,所述虚拟原点是位于点145处的相机系统100a的入射光瞳的有效最中心点。相机114a-d的第一同心环在沿光轴115的方向上,根据角度c捕获场景的一部分,其虚拟视野来自单个原点145。相机116a-d的第二同心环根据角度b捕获场景的一部分,其虚拟视野来自单个原点145。因为相机114a-d的第一同心环以及相机116a-d的第二同心环,共同虚拟视野将捕获至少包含虚拟视野的各种角度b和c的宽视野场景。为了捕获宽视野,所有相机114a-d、116a-d个别地需要具有足够宽的视野来确保所有的实际和/或虚拟视野与实际和/或虚拟相邻视野完全重叠,以确保可捕获宽视野中的所有图像内容。
单个虚拟视野看起来好像所述相机中的每一者正从单个原点145捕获场景,不管所述相机的实际物理位置正位于远离所述单个原点145的各个点处。如图2B中示出,第一相机114a的虚拟视野将像是第一相机114a从位于145处的虚拟入射光瞳的最中心点捕获视野c的场景。且类似地,如图2A中示出的第二相机116a的虚拟视野将像是第二相机116a从位于145处的虚拟入射光瞳的最中心点捕获视野b的场景。因此,第一相机114a、第二相机116a在位于145处的虚拟入射光瞳的最中心点处具有单个虚拟视野参照点。
在其它实施例中,各种视野可用于所述相机。举例来说,第一相机114a可具有窄视野,第二相机116a可具有宽视野,第三相机114b可具有更窄的视野,等等。由此,所述相机中的每一者的视野无需相同,以捕获无视差或有效地无视差图像。然而,如下文在一个实施例的实例中且参考图和表所描述,相机具有大约60度的实际视野,使得可有可能基本上重叠区域中的每一相机的相邻视野,其中相关联镜和组件不阻挡或干扰从空间中的点朝相关联的镜行进且接着到达每一相应相机实际入射光瞳上的光。在下文所描述的实施例中,所述视野基本上重叠。然而,重叠的视野对于成像系统捕获无视差或有效地无视差图像来说不是必需的。
通过如以下角度、距离和等式的表中所列出的各种输入和输出,可使无视差或有效地无视差成像系统和虚拟视野的上述实施例成为可能。
拍摄无视差假影或有效地无视差假影的多个图像的一个概念是通过使相机的光轴枢转来捕获物空间中的场景的图像,其中每当捕获图像时,相机的入射光瞳的最中心点保持在相同位置中。捕获无视差假影或具有有效地最小视差假影的全景图片的所属领域的技术人员可知道此方法。为了进行此过程,可沿光轴115(如图2B中示出)对准相机112的光轴(如图2A中示出),并将相机112的入射光瞳的最中心点放置成含有点145,其中在此位置中,相机112的光轴应与相机系统光轴113成角度h1,其中光轴113和115在点145上或附近彼此有效地相交。在此位置处,可捕获图像。下一步骤,可将相机112的光轴顺时针旋转到光轴117,如图2A中示出,其中在此位置中,相机112的光轴应与相机系统光轴113成角度(2*h1+h2),其中光轴113、115和117在点145上或附近有效地彼此相交。当在角度方向115和117两者上时,点145保持在相机112的入射光瞳的最中心点中,且使相机112的光轴保持分别在图2A和2B中示出的页的平面内,且接着捕获第二图像。进一步假定相机112的视野实际上大于角度2*f2、2*h1和2*h2中的较大者。这两个图像应示出其中所述两个图像的视野重叠的场景的类似物空间图像内容。当以此方式捕获图像时,应可能将这两个图像合并在一起,从而形成不具有视差假影或有效地无视差假影的图像。将两个或更多个图像合并在一起的所属领域的技术人员可理解视差假影看起来像什么,且了解捕获无视差以便有效地无视差假影的图像的目标。
通过使相机的光轴围绕其入射光瞳位置枢转来捕获无视差或有效地无视差图像可能不是合意的。使用位置相对于彼此固定的两个相机可为优选的。在此情形下,不大可能使两个相机具有占据同一物理位置的入射光瞳。作为一个替代方案,可使用光再引导反射镜表面来创建其入射光瞳中心点含有或有效地含有另一相机(例如112)的入射光瞳中心点的虚拟相机,例如图2A中所示。这是通过适当地定位光再引导反射镜表面(例如表面136a)以及第二相机(例如116a)来完成的。图2A提供此类系统的图,其中使用光再引导反射镜表面136a来创建相机116a的虚拟相机,其中所述虚拟相机的入射光瞳的中心含有点145。理念是以相机116a将从光再引导反射镜136a的反射性表面观察在所述光再引导反射镜表面不存在的情况下其虚拟相机将观察的相同场景的方式,来定位光再引导反射镜表面136a,并放置相机116a的入射光瞳和光轴。重要的是指出相机116a可仅观察虚拟相机将取决于光再引导反射镜表面的大小和形状观察到的所述场景的一部分。如果光再引导反射镜表面136a仅占据相机116a的视野的一部分,那么相机116a将仅看到其虚拟相机将看到的场景的一部分。
一旦为长度1522a和角度f2、h2和k2选择值,如图2A中示出,就可使用表1的等式来计算相机116a的入射光瞳中心点的位置,以及其光轴相对于线111的角度。相机116a的入射光瞳中心点位于距多相机系统光轴113距离1542a处,且距线111长度1562a,线111垂直于线113。下文所述的图4提供图例,其示出取决于角度的正负号的角度旋转方向,以及取决于长度的正负号的距线111和113的相交点的长度的方向。
表1
输入 | ||
(距离1522a) | 2 | mm |
f2 | 21 | 度 |
h2 | 15 | 度 |
k2 | 27 | 度 |
现在将参考图2A和2B来描述表1和2中的距离、角度和等式。参考图2A和2B,可将线111视为含有虚拟入射光瞳145且垂直于多相机系统光轴113的平面,其中光轴113包含于所述页的平面中。虚拟入射光瞳145的最中心点理想地位于平面111与光轴113的相交处,其中平面111垂直于显示所述图的页。实际上,组件的制造变化以及定位可导致入射光瞳145的中心点不在光轴113与平面111的相交处;且同样地,其可为实际位置,且相机114a的虚拟入射光瞳最中心点的对准(如图2B中示出)可不与共用虚拟入射光瞳145完全重合,其中在这些情况下,可使用“有效”或等效地措辞如“有效地”的概念来表示如果有可能示出可确定容差要求,使得所述系统、若干系统或物品的既定要求和/或目的得以满足,那么理想案例以及在前面提到的容差内,可将所述系统、若干系统和/或物品可被视为关于满足既定要求和/或目的是等效的。因此,在容差内,虚拟入射光瞳145有效地与相机114a的虚拟入射光瞳以及多相机系统中所使用的所有相机(例如本文在图1A到11中所示出和/或描述的实施例中正描述的相机114a-d以及116a-d)的虚拟入射光瞳的最中心点重合。另外,所有相机(例如114a-d以及116a-d)的光轴与平面111、光轴113以及多相机系统共用虚拟入射光瞳最中心点145有效地相交。
当前相机的含义将针对表1和2中的每一者而改变。对于表2,将把具有半角度视野h1的相机称为当前相机。如其与表2有关,当前相机适用于所述组相机114a-d。
当前相机以及用于实施例的所有相机可各自为含有多个相机的相机系统,或可为可不同于传统的单筒透镜相机的另一类型的相机。在一些实施例中,所使用的每一相机系统可由相机阵列或相机的折叠式光学阵列组成。
表2
输入 | ||
(距离1521a) | 4 | mm |
f1 | 0 | 度 |
h1 | 15 | 度 |
k1 | 37.5 | 度 |
下文将提到术语第一相机,因为其来自第一相机环。类似地,将提到第二相机,因为其来自第二相机环。在图2A中,说明表1的角度和距离。第一相机116a的入射光瞳根据距离1542a和距离1562a从虚拟入射光瞳145偏移。距离长度1542a表示距光轴113和第二相机116a的入射光瞳中心点的坐标位置,其中垂直于光轴113测量距离1542a。此处,当前相机是第二相机116a。
距离长度1562a表示距平面111和含有第一相机116a的入射光瞳中心点且平行于平面111的平面的坐标位置。此处,当前相机是第二相机116a。
仍参看图2A,系统200a的图2A中所示的点137位于示出图2A的页的平面,且为距光轴113的距离150a以及距通过平面111与图2A的页的平面的相交而形成的线的距离1522a。为便于阐释,有时将提到线111,其应被理解为通过平面111与示出图2A的页的平面的相交而形成的线。
示出平面光再引导反射镜表面136a具有通过平面表面136a与示出图2A的页的平面的相交形成的线。出于解释图2A和2B的目的,将假定平面表面134a和136a垂直于所述页的平面。然而,重要的是指出平面表面134a和136a不需要垂直于所述页的平面。
当参考线136a时,将理解,提到通过平面表面136a与所述页的平面的相交而形成的线。并且,当提到线134a时,将理解,提到通过平面表面134a与所述页的平面的相交而形成的线。
表1提供角度k2,其为从线136a到平行于光轴113并且还含有点137的线的顺时针旋转角,其中点137还包含于中所述页和线136a的平面内。相机112的视野边缘由标记为170a和170b的两个相交线示出,其中这两个线在相机112的入射光瞳的最中心点145处相交。相机112的半角度视野是多相机光轴113与视野边缘170a和170b之间的f2。
如图2A中示出,相机112具有与线113重合的光轴。相机116a的半角度视野是相对于相机116a的光轴117的h2。相机116a的光轴示出为重新引导离开光再引导反射镜表面136a。假定光再引导反射镜表面136a完全平坦,且为垂直于图2A的页的平面的平面表面。进一步假定光再引导反射镜平面表面136a完全覆盖相机116a的视野。如图2A中示出,光轴117在平面光再引导反射镜表面136a上的点处相交。将逆时针角度p2示出为从光再引导反射镜表面136a到相机116a的光轴117。基于离开镜或等效光反射镜表面的光反射的特性,且假定图2A中所示的线包含于图2A的页的平面中,发现逆时针角度m2和n2等于p2。光线可沿光轴117朝示出图2A的页的平面内的相机116a行进,且离开光再引导反射镜等效表面136a朝相机116a的入射光瞳的中心点反射,其中基于离开镜等效表面的光反射的特性,角度n2和p2必须相等。相机116a的光轴117示出为经过光反射表面136a朝虚拟入射光瞳中心点145延伸,虚拟入射光瞳最中心点有效地位于所述虚拟入射光瞳中心点处。可基于三角法示出逆时针旋转角m2等于n2。
对于示出的所有表面136a-d以及134-d,为了阐释本文所述的实例的目的,假定这些表面是平面的,且垂直于图以及描述中的页的平面。
由此,可示出含有平面光再引导反射镜表面136a的扩展线将与从相机112的入射光瞳中心点到相机116a的入射光瞳中心点的线垂直相交。因此,可示出两个线长度160a同样远。
有可能平面的光再引导反射镜表面136a仅覆盖相机116a的视野的一部分。在此情况下,不是所有的从物空间朝其最中心点145含有的虚拟相机入射光瞳行进的光线(如图2A中示出)均将反射离开部分覆盖相机116a的视野的光再引导反射镜表面136a的平面部分。从这个角度,重要的是记住相机116a具有由半角度视野h2、光轴117以及如由长度1542a和1562a以及图4中所示的图例描述的其入射光瞳的位置限定的视野。在此视野内,例如光再引导反射镜表面136a的光反射平面部分的表面可部分在其视野中。假定光再引导反射镜表面136a以及相机112和116a的平面部分如图2A中示出、根据图4上示出的图例、表1的等式且根据输入值1522a、f2、h2和k2而定位,从物空间朝相机116a的虚拟相机的入射光瞳行进且反射离开光再引导反射镜表面136a的平面部分的光线将行进到相机116a的入射光瞳上。
图2B说明包含中心相机112、第一相机114a的宽视野相机配置300a的一部分的实施例的实例的侧视图。注意,并不包含相机112。这是因为相机系统300a可代替图2A中所示的相机112使用。表2中所示的参数、角度和值将定位相机114a的入射光瞳、光轴115和相应镜134a的位置,使得相机114a将覆盖相机112的视野的一部分。如果使用表1来以针对114a所做的相同方式来计算相机114b-d的位置,那么应可能捕获将共同地包含相机112的视野a的图像,前提是半视野h1大于或等于f2,且相机114a-d的实际视野足够宽,使得当集体图像拼接在一起时,112的场景内容将在相机系统300a的拼接在一起的图像的场景内容的所捕获图像内。在此实例中,相机系统300a将用以代替相机112,前提是相机系统300a捕获如图2A中示出的相机112的圆形视野a内的同一场景内容。在较略图中,如果相机114a-d以及相机116a-d捕获的图像在图像拼接在一起之后共同地含有与在所述图像拼接在一起之后相机112和相机116a-d捕获的场景内容相同的场景内容,那么相机112可为不必要的。在此实施例中,第二相机114a是如图2B中示出的当前相机。
例如“场景内容”和类似意义的词组或类似词组的既定含义是场景内容涉及在从物空间中的点朝相机系统的路径中行进的光。光所承载的场景内容仅在进入相机系统之前包含于所述光中。相机系统可影响所捕获的图像的保真度;即相机系统的保真度可引入假影,例如在通过图像检测器从所述光捕获图像的过程之前或期间,相机系统可更改所述光或添加假影和/或将噪声添加到所述光。与相机系统以及在相机系统之外的方面有关的其它因素还可影响图像捕获相对于包含于仅在进入相机系统之前的所述光中的场景内容的保真度。
以上距离、角度和等式具有与如上文相对于图2A所描述的关系类似的关系。表2的输入中的一些输入不同于表1的输入。在图2B和表2中,所述距离中的一些距离具有识别编号以及下标“a”,例如1521a、1541a和/或1561a,且所述角度中的一些角度具有下标“1”。表2的这些带下标的距离和角度具有与图2A和表1的带下标的距离和角度类似的关系。举例来说,图2A和表1可示出具有下标“a”的类似识别编号,例如1522a、1542a和/或1562a,且所述角度中的一些角度可具有下标“2”而不是“1”。
现将阐述设计多相机系统的一种方法的阐释。一种方法是使用图2A中所示的模型、图4中所示的图例以及表1中所示的等式来开发多相机系统。第一决策中的一者是确定是否将使用中心相机112。如果将不使用中心相机112,那么应将半角度视野f2设定成零。在表1和2以及图2A和2B所呈现的实例中,表1中所示的半视野角度f2不是零,因此真实的实际中心相机112是图2A中所示的且在表1中描述的示意性设计的一部分。接下来,可基于设计此类系统的那些人可记住的其它考量来选择半角度视野h2。如图2A中示出,长度1522a将按比例缩放多相机系统的大小。开发一种设计时的一个目标是确保可或将使用的相机的大小将适合本设计的最终结构。长度1522a可在设计阶段期间改变,以找到适应可用于所述多相机系统的所述相机和其它组件的合适长度。可存在其它考量来考虑何时为1522a选择合适的值。可改变光再引导反射镜平面表面的角度k2,目标是为相机116a的入射光瞳最中心点寻找位置。相机116a的入射光瞳最中心点的位置由坐标位置1542a和1562a以及图4上示出的图例提供。在此实例中,116a的光轴包含于所述页的平面中,含有相机116a的入射光瞳最中心点,且相对于与线111平行的线围绕相机116a的入射光瞳的最中心点逆时针旋转角度q2,其中此平行参考线还含有相机的入射光瞳的最中心点。
可想要最宽多相机图像,可能够通过将来自系统中的每一相机(即相机112以及116a-d)的所有图像合并在一起来获得。在此情况下,可能需要使每一相机和/或其它组件保持在所有相机的视野之外,但不必使每一相机或其它组件保持在一或多个相机的视野之外,因为例如这些因素的因素取决于设计或开发所述相机系统的那些人作出的决策。可需要为1522a、f2、h2和k2尝试不同的输入,直到实现所要的组合图像视野为止。
一旦输入1522a、f2、h2和k2已根据表1和图2A指定多相机系统,现在就具有用于相机112、116a-d以及光再引导反射性镜136a-d的位置和布置。表1示出1522a、f2、h2和k2的输入值的实例,以及针对正描述的相机系统实例的所得所计算值。因此,可使用表1中的值以及图2A中所示的图,作为开发此类相机系统的示意图。
假设将希望用多相机布置来代替相机112。这样做的一种方法是使用图2A中所示的模型,并将半角度值f2设定为零。此系统在图2B中示出,其中相机112不存在。图2B中示出相机114a的虚拟入射光瞳的最中心点145。表2示出长度1521a以及角度f1、h1和k1的实例输入值,以及所得的使用表1的等式计算的值。根据图2B和表2所表示的相机系统的相机114a-d的多相机系统应能够观察相机112的视野a内的同一场景内容。因此,应接着能够用图2B和表2所描述的存在相机112的情况下,图2B和表2所描述的相机系统可在物理上与图2A和表1所描述的多相机系统组合,且在点145是所有相机114a-d以及116a-d的虚拟入射光瞳的最中心点的情况下,那么应具有并不包含中心相机112的多相机系统,且应能够使用中心相机112以及相机116a-d来将同一场景内容视为图2A中所示的且在表1中描述的多相机系统。以此方式,可继续将多相机系统堆叠在另一多相机系统之上,同时使所有相机虚拟入射光瞳的最中心点有效地位于点145处,如图2A中示出。
在图2A和2B以及表1和2中所示的实例中,可必需使图2B中所示的相机系统围绕相机系统光轴113旋转例如22.5度的角度,以便使相机114a-d以及116a-d适合彼此。图1A提供此布置的实例。
可考虑含有相机114a-d作为围绕多相机系统的光轴113的第一同心环且由图2A到2B以及表1和2描述的相机系统。同样地,可考虑含有相机116a-d作为第二同心环的相机系统。可继续添加同心相机环,其中对于每一环,基本上存在类似于表1中所示的表的一个表,且另外多相机系统中的所有相机的虚拟入射光瞳最中心点有效地位于点145处,如图2A中示出。
举例来说,一旦第一和第二同心环的设计完成且对准,因此它们配合在一起,就可考虑使用上文对于环1和2所述的相同方法来添加第三同心环。过程可以此方式继续,只要相机可全部彼此配合,并满足正设计和/或开发的多相机系统的设计准则。
每一同心环的形状可不同于其它同心环。在给定此类灵活性的情况下,可使用以上原理来设计相机系统,且创建遵循除平坦表面外的表面的轮廓的相机系统,例如多边形表面,例如抛物线状或椭圆形状或许多其它可能形状。在此情况下,个别相机可各自具有与其它相机不同的视野,或在一些情况下,它们可具有相同视野。存在许多方式来使用上文所述的方法来捕获图像阵列。所述相机的图像不一定重叠。所述图像可为不连续的,且仍具有无视差或有效地无视差的特性。
可存在比第一环、第二环、第三环等多或少的相机环。通过使用或多或少的相机环,可能够设计、构造或构想宽视野相机、半球宽视野相机或大于半球或多大可为所要或所需的球面相机的超宽视野相机。实际设计取决于在开发多相机系统时作出的选择。如先前所陈述,所述相机中的任一者具有与其它相机中的任一者相同的视野。所有的光再引导反射镜表面不必具有相对于相关联相机或检视所述光再引导反射镜表面的相机相同的形状、大小或定向。应可能使用本文所述的原理、描述和方法以及所述光再引导反射性镜来布置相机系统,使得多于一个相机可共享同一光再引导镜面系统。应可能使用本文所述的描述和方法,使用非平面的光再引导镜表面来捕获宽视野图像。所有相机也不必完全重叠相邻图像的视野,以便具有描述为能够捕获无视差或有效地无视差图像的多相机系统。
图2A中所示的模型的一个其它方面或特征是与光再引导反射镜表面136a相交的光轴117,其可示出如果光轴117的相交点移动到平面光再引导反射镜表面136a上的任何位置,那么例如图2A中所示的多相机系统仍将无视差或有效地无视差。所述相交点是相机116a的光轴117与其虚拟相机的光轴相交的点,且所述相交点位于平面光再引导反射镜表面136a上。可将相机116a的虚拟相机视为入射光瞳最中心点是点145且光轴在相机116a的光轴117与镜表面136a相交的相同位置与光再引导反射镜表面136a相交的相机。以此方式,随着相机116a的光轴117与镜表面136a上的不同位置相交,116a的虚拟相机将移动。并且,光再引导反射镜表面136a可相对于图2A的页的平面成任何角度。以此方式,在此情况下为真实相机的相机116a与其虚拟相机相关联,所述虚拟相机具有与镜表面136a与物空间中的场景之间的相机116a的光轴相同的光轴。
在多相机无视差或有效地无视差相机系统中,所使用的相机中的每一者的视野不必相等。
可有可能设计无视差或有效地无视差多相机系统,其中由图2A中的光再引导反射镜表面136a表示的光再引导反射镜表面,使得表面136a不是平面的,但可反射或折射光,其总体相机系统的设计的一部分。可以多种方式来实现所述镜表面。所属领域的技术人员可知道一些,例如使用具有平面或其它轮廓形状的材料的全内反射特性。可使用折射光的材料,其中所述光可反射离开附接到折射性材料的表面的反射性材料,且不必取决于例如全内反射等特性来实现类似于光再引导反射镜的表面。
图3A说明多相机配置的实施例的一个实例的一个相机428的示意图410。相对于图3A,将使用小α字符(例如j)来指示角度,将使用物品编号(例如420)来指示距离名称(例如距离412)和点、轴以及其它名称。如下文在表1和2所示,使用若干输入距离412、z、f1-2、j来确定用于示意图410的配置若干输出j、b、h、距离412、距离472、距离424a-b、距离418、距离416、e、c、d、a。图3A的配置产生具有六十(60)度双视野的相机,前提是相机428并不阻挡所述视野。
现在将描述输入参数。距离412表示从相机428的虚拟入射光瞳420到反射性表面450的最远末端的距离,所述最远末端在棱镜的点452处。距离412可大约为4.5mm或小于4.5mm。在图3A中,距离412为4mm。
角度z表示示意图410的虚拟视野的光轴466与相机428的虚拟视野的第一边缘466之间的相机配置的集合视野。在此实施例中,角度z为零(0),因为虚拟视野的光轴466邻近于相机428的虚拟视野的第一边缘466。相机428的虚拟视野是针对虚拟光轴434,且包含角度f1-2所覆盖额区域。整个多相机配置(其它相机未图示)的虚拟光轴466a是多个相机的组合阵列的虚拟光轴。虚拟光轴466a由至少多个相机的协作限定。虚拟光轴466a穿过光学组件450a。虚拟光轴466a的相交点420a由光轴434a与虚拟光轴466a的相交限定。
光学组件450a具有至少四个光再引导表面(为了清楚起见,仅示出光学组件450a的一个表面,且光学组件450a表示图3A中未示出的其它光再引导表面)。至少四个相机(为了清楚起见,仅示出相机428a,且相机428a表示图3A中说明的系统中的其它相机)包含于成像系统中。所述至少四个相机428a中的每一者各自经配置以捕获目标场景的多个局部图像中的一者。所述至少四个相机428a中的每一者具有与光学组件450a的至少四个光再引导表面中的对应一者对准的光轴432a。所述至少四个相机428a中的每一者具有定位成接收表示从所述至少四个光再引导表面中的所述对应一者再引导的目标场景的多个局部图像中的一者的光的透镜组合件224、226。所述至少四个相机428a中的每一者具有图像传感器232、234,其在使光穿过透镜组合件224、226,接收所述光。虚拟光轴466a穿过光学组件450a,所述至少四个相机428a中的至少两个的光轴420a的相交点位于虚拟光轴466a上。
至少四个相机428a的协作形成具有虚拟光轴466a的虚拟相机430a。所述成像系统还包含处理模块,其经配置以将多个局部图像组合成目标场景的最终图像。光学组件450a以及至少四个相机428a中的每一者布置在具有小于或等于大约4.5mm的高度412a的相机外壳内。第一组至少四个相机428a协作以形成具有第一视野的中心虚拟相机430a,且第二组至少四个相机428a经布置以各自捕获第二视野的一部分。第二视野包含目标场景的在第一视野之外的部分。所述成像系统包含处理模块,其经配置以将第二组至少四个相机428a对第二视野捕获的图像与第一组至少四个相机428a对第一视野捕获的图像组合,来形成目标场景的最终图像。所述第一组包含四个相机428a,且所述第二组包含四个额外相机428a,且其中光学组件450a包括八个光再引导表面。所述成像系统包含基本上平坦的衬底,其中图像传感器中的每一者定位在所述衬底上,或插入所述衬底的一部分中。对于所述至少四个相机428a中的每一者,所述成像系统包含次要光再引导表面,其经配置以接收来自透镜组合件224、226的光,并将所述光朝图像传感器232、234再引导。所述次要光再引导表面包括反射性或折射性表面。至少四个光再引导表面450a中的一者的大小或位置被配置为限制提供到至少四个相机428a中的对应一者的光的量的光澜。所述成像系统包含光圈,其中来自目标场景的光穿过光圈到达至少四个光再引导表面450a上。
角度f1-2各自表示相机428的虚拟视野的一半。相机428的组合虚拟视野是角度f1-2的总和,对于此实例,其为30度。
角度j表示在其中相机428的实际视野与反射性表面450相交的位置处平行于虚拟入射光瞳平面460的平面(其表示为平面464)与相机428的实际视野的第一边缘468之间的角度。此处,角度j为37.5度。
表1B
现在将描述输出参数。表2B中所示的输出参数的角度j与表1B中所示的输入参数的角度j相同。角度b表示示意图410的光轴466与反射性表面450的背侧之间的角度。角度h表示虚拟入射光瞳平面460与相机428的实际视野的一个边缘(相机428的向下投影边缘)之间的角度。
上文相对于表1B的输入参数来描述距离412。距离472表示在反射性表面450的末端452与相机428的虚拟视野的边缘466之间延伸使得所述测得的距离472垂直于相机428的虚拟视野的光轴434的平面处的视野的一半的距离。距离424a-b表示相机428的入射光瞳与虚拟入射光瞳420之间的距离的一半。距离418表示虚拟入射光瞳平面460与相机428的入射光瞳的平面之间的距离,所述平面平行于虚拟入射光瞳平面460。距离416表示垂直于虚拟入射光瞳平面460的平面(其表示为平面466)与相机428的入射光瞳之间的最短距离。
角度e表示相机428的虚拟视野的光轴434与反射性表面450的背侧之间的角度。角度c表示相机428的虚拟视野的光轴434与反射性表面450的前侧之间的角度。角度d表示反射性表面450的前侧与相机428的实际视野的光轴432之间的角度。角a表示与相机428相对的相机的所投影实际视野的光轴与相机428的所投影实际视野的光轴432之间的角度。
点422是相机428的实际视野的光轴432与相机428的虚拟视野的光轴434相交的位置。相机428的虚拟视野是就像相机428从沿光轴434在虚拟入射光瞳420处的位置“看”。然而,相机428的实际视野沿光轴432从相机428的实际入射光瞳引导。尽管相机428的实际视野在向上方向中引导,但由于入射光正从反射性表面450朝相机428的实际入射光瞳再引导,相机428从虚拟视野捕获入射光。
表2B
图3B说明多相机配置410b的实施例的两个相机428b、430b的示意图。图3B还表示可使用本文所呈现的方法,依据其来构想、设计和/或认识许多不同无视差或大体上无视差多相机实施例的模型。表3提供用以基于长度412b和角度g2、f2和k2来确定图1B中所示的距离和角度的等式。
表3
输入 | ||
(距离412b) | 4 | mm |
g2 | 22.5 | 度 |
f2 | 22.5 | 度 |
k2 | 0 | 度 |
输出 | |||
u1 | 0 | =k2 | 度 |
u2 | -90 | =-90+u1 | 度 |
j2 | 22.5 | =90-(g2+2*f2) | 度 |
(距离434b) | 4.329568801 | =(距离412b)/cos(g2) | mm |
(距离455b) | 1.656854249 | =(距离434b)*sin(g2) | mm |
(距离460b) | 1.656854249 | =(距离434b)*cos(2*f2-u1+j2) | mm |
(距离418b) | 0 | =2*(距离460b)*sin(u1) | mm |
(距离416b) | 3.313708499 | =2*(距离460b)*cos(u1) | mm |
e2 | 45 | =90-(f2+j2-u1) | 度 |
c2 | 45 | =e2 | 度 |
d2 | 45 | =c2 | 度 |
q2 | 135 | =180-(180-(f2+j2+d2+e2)) | 度 |
在图3B中,说明表3的角度和距离。示出中心相机430b和侧相机428b。侧相机428b的入射光瞳根据距离416b和距离418b从虚拟入射光瞳420b偏移。距离416b表示光轴472b与侧相机428b的入射光瞳中心点之间的距离,其中垂直于光轴472b测得距离416b。
距离418b表示平面460b与含有侧相机428b的入射光瞳中心点且平行于平面460b的平面之间的距离。
其余距离和角度可在表3中找到,且在图3B中说明。
表3提供光再引导表面450b相对于与点437相交且垂直于线460b的点的角度k2。点437位于垂直于示出图3B的页的平面且因此垂直于多相机系统光轴472b的平面,且在距线460b距离412b处。相机430b的视野由标记为434b的两个相交线示出,其中这两条线在相机430b的入射光瞳的中心点处相交。相机430b的半角度视野是多相机光轴472b与视野边缘434b之间的g2。
如图3B中示出,相机430b具有与线472b重合的光轴。相机428b的半角度视野是相对于相机428b的光轴435b的f2。示出相机428b的虚拟相机的光轴再引导离开光再引导表面450b。假定光再引导表面450b完全平坦,且为垂直于图3B在其上示出的页的平面的平面表面,且进一步假定光再引导平面表面完全覆盖相机428b的圆形视野。如图3B中示出,光轴435b在平面光再引导表面450b上的点处相交。现在假设光光线正从物空间中的点沿虚拟相机光轴435b行进。如果现在存在障碍,那么将拦截光再引导表面,且反射离开平面光再引导表面450b并沿相机428b的光轴435b行进。基于光学原理和理论,角度c2和d2将相等。且因此角度e2将等于c2。由此,可示出平面光再引导表面450b将与从相机430b的入射光瞳中心点到相机428b的入射光瞳中心点的线垂直相交。因此,可将两个线长度460b示出为同样远。
有可能平面光再引导表面450b仅覆盖相机428b的视野的一部分。在此情况下,不是所有的从物空间朝其中心含有点420b的虚拟相机入射光瞳行进的光线(如图3B中示出)均将反射离开部分覆盖相机428b的视野的光再引导反射镜表面450b的平面部分。从这个角度,重要的是记住相机428b具有由半角度视野f2限定的视野,光轴435b以及其入射光瞳的位置如由长度416b和418b描述。在此视野内,例如光再引导表面450b的光反射平面部分的表面可部分地在其视野中。假定光再引导表面450b的平面部分以及相机430b和428b如图3B、表3的等式中所示且根据选定输入值412b、g2、f2和k2而定位,正从物空间朝相机428b的虚拟相机的入射光瞳行进且反射离开光再引导表面450b的平面部分的光线将行进到相机428b的入射光瞳上。
图4说明图1A到2B以及5到6中所示的相机20的实施例。如图4中示出,入射光瞳14的最中心点位于光轴19上,且在视野(FoV)16的顶点与光轴19相交的位置处。相机20的实施例贯穿图1到2B示出,且在图5和6示出为相机114a-d以及116a-d。相机20的前部部分表示为短条15。所述平面含有入射光瞳,且点14位于15的正面。相机的正面以及入射光瞳的位置用符号15表示。短条15有时可示出为窄矩形框或示出为图1到6中的线。相机系统20的中心是光学器件区段12,从而用符号表示相机系统20中所使用的光学组件。图像捕获装置用相机系统后部的符号17表示。本文进一步描述图像捕获装置和/或裝置。在图1A到2B中且在图5和6中,可通过使用笔直或弯曲箭头线和所述箭头线附近的参考编号,来指向由图4中的20表示的相机系统的整个组合件。
在相机20下方说明角度名称。正角由指向逆时针方向的循环线表示。负角度由指向顺时针方向的循环线表示。始终为正的角度由具有指向顺时针和逆时针方向两者的箭头的循环线表示。以从左到右的正水平方向X和从底部到顶部的正垂直方向Y来示出笛卡尔坐标系统。
如图4中示出为17且表示为如贯穿图1到6、在图8和图9中作为336a-d、334a-d所示的相机112、114a-d以及116a-d的一部分的每一相机的图像传感器,在某些实施例中,可包含电荷耦合装置(CCD)、互补金属氧化物半导体传感器(CMOS),或任何其它图像感测装置,其接收光并响应于所述接收到的图像而产生图像数据。相机112、114a-d、116a-d和/或相机的更多同心环的每一图像传感器可包含布置成阵列的多个传感器(或传感器元件)。如图4中示出且在图1A到6以及8和9中表示的图像传感器17可产生静止照片的图像数据,且还可产生所捕获的视频流的图像数据。如图4中示出且在图1A到6以及8和9中表示的图像传感器17可为个别传感器阵列,或各自可表示传感器阵列的阵列,例如传感器阵列的3x1阵列。然而,如所属领域的技术人员将理解,所揭示的实施方案中可使用任何合适的传感器阵列。
图4如中示出且在图1A到6以及8和9中表示的图像传感器17可安装在所述衬底上,如图8中示出为304和306或更多一个衬底。在一些实施例中,所有传感器可通过安裝到平坦衬底而在一个平面上,所述平坦衬底在图9中示出为衬底336的实例。如图9中示出,衬底336可为任何合适的基本上平坦的材料。中心反射性元件316和透镜组合件324、326也可安装在衬底336上。可能有多种配置用于安装一或多个传感器阵列、多个透镜组合件以及多个主要和次要反射性或折射性表面。
在一些实施例中,中心反射性元件316可用于将来自目标图像场景的光朝传感器336a-d、334a-d再引导。中心反射性元件316可为反射性表面(例如镜)或多个反射性表面(例如镜),且可为平坦的或按需要成形以将入射光恰当地再引导到图像传感器336a-d、334a-d。举例来说,在一些实施例中,中心反射性元件316可为大小和形状经设定以将入射光线反射通过透镜组合件324、326到达传感器332a-d、334a-d的镜。中心反射性元件316可将包含目标图像的光分割成多个部分,且在不同传感器处引导每一部分。举例来说,中心反射性元件316的第一反射性表面312(还被称作主要光折叠表面,因为其它实施例可实施折射棱镜而不是反射性表面)可将所述光的对应于第一视野320的部分朝第一(左)传感器334a发送,而第二反射性表面314将所述光的对应于第二视野322的第二部分朝第二(右)传感器334a发送。应了解,图像传感器336a-d、334a-d的视野320、322一起至少覆盖所述目标图像。
在其中接收传感器各自为多个传感器的阵列的一些实施例中,中心反射性元件可由相对于彼此成角度的多个反射性表面组成,以便朝所述传感器中的每一者发送目标图像场景的不同部分。所述阵列中的每一传感器可具有大体上不同的视野,且在一些实施例中,所述视野可重叠。当设计透镜系统时,中心反射性元件的某些实施例可具有用以增加自由度的复杂非平面表面。另外,尽管将中心元件论述为反射性表面,但在其它实施例中,中心元件可为折射性的。举例来说,中心元件可为配置有多个刻面的棱镜,其中每一刻面将包括所述场景的光的一部分朝所述传感器中的一者引导。
在从中心反射性元件316反射回来之后,入射光的至少一部分可传播通过透镜组合件324、326中的每一者。可在中心反射性元件316和传感器336a-d、334a-d与反射性表面328、330之间提供一或多个透镜组合件324、326。透镜组合件324、326可用于使被引向每一传感器336a-d、334a-d的目标图像的部分聚焦。
在一些实施例中,每一透镜组合件可包括一或多个透镜,以及用于使所述透镜在多个不同透镜位置之间移动的致动器。所述致动器可为音圈电机(VCM)、微电子机械系统(MEMS)或形状记忆合金(SMA)。所述透镜组合件可进一步包括用于控制致动器的透镜驱动器。
在一些实施例中,可通过改变每一相机的透镜324、326与对应传感器336a-d、334a-d之间的焦距来实施传统的自动聚焦技术。在一些实施例中,这可通过移动镜筒来实现。其它实施例可通过向上或向下移动中心光再引导反射镜表面,或通过调整光再引导反射镜表面相对于透镜组合件的角度来调整焦点。某些实施例可通过经由每一传感器移动侧光再引导反射镜表面来调整焦点。此类实施例可允许组合件个别地调整每一传感器的焦点。另外,对于一些实施例,有可能(例如)通过将透镜(如液体透镜)放置在整个组合件上方来一次改变整个组合件的焦点。在某些实施方案中,可使用计算摄影来改变相机阵列的焦点。
视野320、322提供具有从虚拟区342感知的虚拟视野的折叠式光学多传感器组合件310,其中所述虚拟视野由虚拟轴338、340限定。虚拟区342是传感器336a-d、334a-d感知且对目标图像的入射光敏感的区。应将虚拟视野与实际视野对比。实际视野是检测器对入射光敏感的角度。实际视野不同于虚拟视野,因为虚拟视野是入射光从不实际上达到的感知角度。举例来说,在图3中,入射光从不到达虚拟区342,因为入射光反射离开反射性表面312、314。
可在与传感器相对的中心反射性元件316周围提供多个侧反射性表面,例如反射性表面328和330。在穿过透镜组合件之后,侧反射性表面328、330(还被称作次要光折叠表面,因为其它实施例可实施折射棱镜而不是反射性表面)可将光(向下,如图3的定向中所描绘)反射到传感器336a-d、334a-d上。如所描绘,传感器336b可位于反射性表面328下面,且传感器334a可位于反射性表面330下面。然而,在其它实施例中,传感器可在侧反射表面上方,且所述侧反射表面可经配置以向上反射光。侧反射性表面和传感器的其它合适的配置是可能的,其中来自每一透镜组合件的光朝传感器再引导。某些实施例可实现侧反射性表面328、330的移动来改变相关联传感器的焦点或视野。
每一传感器的视野320、322可通过中心反射性元件316的与所述传感器相关联的表面被引导到物空间中。可使用机械方法来使镜面倾斜和/或移动阵列中的棱镜,使得每一相机的视野可指向到物场上的不同位置。这可例如用来实施高动态范围相机,以增加相机系统的分辨率,或实施全光相机系统。每一传感器(或每一3×1阵列)的视野可投影到物空间中,且每一传感器可根据所述传感器的视野来捕获包括目标场景的一部分的局部图像。如图2B中所示,在一些实施例中,相对的传感器阵列336a-d、334a-d的视野320、322可重叠一定的量318。为了减少重叠318且形成单个图像,如下文所描述的拼接过程可用于组合来自两个相对传感器阵列336a-d、334a-d的图像。拼接过程的某些实施例可使用所述重叠318来识别在将局部图像拼接在一起的过程中的共同特征。在将重叠图像拼接在一起之后,可将经拼接图像裁减到所要的高宽比,例如4:3或1:1,以形成最终图像。在一些实施例中,与每一FOV相关的光学元件的对准经布置以最小化重叠318,使得多个图像形成为单个图像,其中加入所述图像需要最少或不需要图像处理。
D.进一步实例四和八相机系统的概述
图5说明八相机系统500a的侧视图横截面的实施例。示出第一和第二环中的每一者中的相机中的两个相机的入射光瞳位置,且示出反射离开镜表面134a、134c、136a和136c的光线。相机116a的入射光瞳根据距离1542a和距离1562a从虚拟入射光瞳最中心点145垂直偏移。相机114a的入射光瞳根据距离1541a和距离1561a从虚拟入射光瞳垂直偏移。同样地,相机116c的入射光瞳根据距离1542c和距离1562c从虚拟入射光瞳最中心点145垂直偏移。相机114c的入射光瞳根据距离1541c和距离1561c从虚拟入射光瞳垂直偏移。
图6说明四相机系统的侧视图横截面的实施例。相机114a的入射光瞳最中心点根据距离1541a和距离1561a从虚拟入射光瞳垂直偏移。同样地,相机114c的入射光瞳最中心点根据距离1541c和距离1561c从虚拟入射光瞳垂直偏移。
图7A示出可用作图1A的多镜面系统700a的反射性元件160的俯视图的实例。图7A进一步说明可用于分别如图2A、2B、5、6和8中示出的表面134a-d以及136a-d的8个反射性表面124a-d和126a-d。表面134a-d与相机114a-d相关联,且高于镜136a-d。镜表面136a-d与相机116a-d相关联。图5提供图7A中所示的俯视图的侧视图实例。在图5中,示出镜表面134a和134c,其表示图1A和图7A中所示的实例表面124a和124c。同样地,表面136a-d与相机116a-d相关联,且低于镜表面134a-d,如图2A、2B、5、6和8中示出。如图1A和7A中示出,镜表面124a-d围绕多相机系统光轴113旋转22.5,其中光轴113在图1A和7A中未示出,而是在图2A和2B中示出。在图7A中,在镜表面124a-d周围示出圆,且在镜表面126a-d周围示出椭圆表面。椭圆形圆用符号表示例如与其相关联镜126a结合在一起的相机116a所覆盖的视野的倾斜。根据表1和2,相机镜组合116a和136a的视野的倾斜大于相机组合114a和134a相机镜组合的视野的倾斜。如图7A中示出,镜表面124a-d和126a-d周围的圆形和椭圆形反射这些相机镜组合的视野。重叠区表示视野可如何重叠的实例。所述重叠表示可在多相机系统中的相邻或其它相机的视野内的场景内容。
在图5中,示出镜表面134a和134c,其表示图1A中所示的实例表面124a和124c,且图7A说明包括多个反射性表面(未单独示出)的反射性元件700a。所述反射性表面中的每一者可沿光轴反射光,使得对应相机中的每一者可根据每一相机-镜组合视野,捕获包括目标图像的一部分的局部图像。最终图像的全视野在裁剪之后由虚线170表示。经裁剪边缘170的形状表示具有1:1的高宽比的正方形图像。经裁剪图像170可进一步裁剪从而形成其它宽高比。
多相机系统可使用与使所述镜倾斜来使每一相机-镜组合的光轴指向与用于图式2A和2B以及表1和2的实例的方向不同的方向。例如这些的使用方法可实现可产生可能较适合于不同于图1A和7A中所示的1:1高宽比的高宽比的重叠模式的布置。
视野124a-d和126a-d可共享重叠区。在此实施例中,所述视野可在某些区中与仅一个其它视野重叠。
在其它区中,视野可与多于一个其它视野重叠。当朝八个相机反射时,重叠区共享相同或相似的内容。因为重叠区共享相同或相似的内容(例如,入射光),所以此内容可由图像拼接模块用来输出目标图像。使用拼接技术,所述拼接模块可将目标图像输出到图像处理器。
图7B说明八相机配置710的一部分的实施例的侧视图。图7B的实施例示出无视差和倾斜假影的八相机配置的反射性元件730。反射性元件730可具有多个反射性表面712a-c。在图7的实施例中,反射性表面712a-c的形状为棱镜。反射性元件730安置在八相机配置的中心或附近,且经配置以将入射光的一部分反射到八个相机(为了此说明的清楚,图7B中说明三个相机718a-c)中的每一者。在一些实施例中,反射性元件730可由具有至少八个反射性表面的一个组件组成。在一些其它实施例中,反射性元件730可包括多个个别组件,其各自具有至少一个反射性表面。反射性元件730的多个组件可耦合在一起,耦合到另一结构,以设定其相对于彼此的位置,或这两者。反射性表面712a、712b、712c可彼此分开,以成为其自身的不同部分。在另一实施例中,反射性表面712a、712b、712c可接合在一起,从而形成一个反射性元件730。
在所说明的实施例中,八相机配置710的所述部分具有相机718a-c,每一相机捕获目标图像的一部分,使得可捕获目标图像的多个部分。相机718a和718c距反射性元件730底座相同或大体上相同的距离(或高度)732。相比于相机718a和718c的距离732,相机718b在不同距离(或高度)734处。如图7中所示,与相机718a和718c的距离相比,相机718b在距反射性元件730的底座较大距离(或高度)734处。将相机718a和718c定位在距反射性元件730的底座不同距离处提供捕获中心视野以及宽视野两者的优点。在反射性元件730的顶部区附近的反射性表面712b可反射入射光,从而提供中心视野。在反射性元件730的底座附近的反射性表面712a和712c可反射入射光,从而提供宽视野。
将反射性表面712b放置在与反射性表面712a和712c不同的角度提供中心视野以及宽视野两者。然而,不需要将反射性表面712a-c放置在距反射性元件730的底座不同的距离或角度来捕获中心视野以及宽视野两者。
相机718a-c具有光轴724a-c,使得相机718a-c能够接收从反射性表面712a-c反射到相机718a-c的入射光的一部分。根据图1,类似技术可用于配置710来捕获目标图像。
在另一实施例中,内相机718b使用反射性表面712产生+/-21度图像。外相机718a和718c使用其它反射性表面712a和712c来产生其中捕获目标图像的多个部分的解决方案。在此实例中,反射性表面712b具有倾斜正方形形状。当均一时,此提供良好的点扩散函数(PSF)。反射性表面712a和712c覆盖比反射性表面712b多的区域,但并不具有对称形状。当反射性表面小于相机入射光瞳时,它们充当光澜。
图8说明针对每一相机具有折叠式光学相机结构的图5的相机114a和116b的横截面图。如图8中示出,可使用折叠式光学阵列相机布置,其中光再引导反射镜表面(例如394a和396b)可用于将光向下朝传感器334a且向上朝传感器336b再引导。在图8中所示的示意性表示中,传感器334a-d可附接到一个共同衬底304。类似地,在图8中所示的示意性表示中,传感器336a-d可附接到一个共同衬底306。在此实施例中,如图8中示意性地示出,衬底304和306可提供传感器334a-d到图10中所示的传感器组合件A 420a之间的支撑和互连,且类似地传感器336a-d与衬底306之间的互连可提供传感器336a-d与传感器组合件B 420b之间的支撑和互连。可存在所属领域的技术人员可以不同方式或通过不同技术实施的其它实施例。在其它实施例中,可使用更多或更少的同心相机环,其中如果添加较多,那么可使用如图10中示出的其它传感器组合件接口420c到420n(传感器组合件接口420c未示出)。第一组阵列相机的图像传感器可安置于第一衬底上,第二组阵列相机的图像传感器可安置于第二衬底上,且同样地形成三个或更多个衬底衬底。所述衬底可例如为塑料、木头等。另外,在一些实施例中,第一、第二或可能更多衬底可安置在平行的平面中。
图9说明折叠式光学多传感器组合件的实施例的横截面侧视图。如图9中所示,折叠式光学多传感器组合件310具有总高度346。在一些实施例中,总高度346可大约为4.5mm或更小。在其它实施例中,总高度346可大约为4.0mm或更小。尽管未说明,但整个折叠式光学多传感器组合件310可提供于具有大约大于或小于4.5mm或更小或大约4.0mm或更小的对应内高度的外壳。
折叠式光学多传感器组合件310包含图像传感器332、334;反射性次要光折叠表面328、330;透镜组合件324、326;以及中心反射性元件316,其可全部安装(或连接)到衬底336。
在某些实施例中,图像传感器332、334可包含电荷耦合装置(CCD)、互补金属氧化物半导体传感器(CMOS)或接收光及响应于所接收的图像产生图像数据的任何其它图像感测装置。每一传感器332、334可包含布置成阵列的多个传感器(或传感器元件)。图像传感器332、334可产生静止照片的图像数据,且还可产生所捕获的视频流的图像数据。传感器332和334可为个别传感器阵列,或各自可表示传感器阵列的阵列,例如传感器阵列的3×1阵列。然而,如所属领域的技术人员将理解,所揭示的实施方案中可使用任何合适的传感器阵列。
传感器332、334可安装在衬底336上,如图9中所示。在一些实施例中,所有传感器可通过安装到平坦衬底336而在一个平面上。衬底336可为任何合适的基本上平坦的材料。中心反射性元件316和透镜组合件324、326也可安装在衬底336上。可能有多种配置用于安装一或多个传感器阵列、多个透镜组合件以及多个主要和次要反射性或折射性表面。
在一些实施例中,中心反射性元件316可用于将来自目标图像场景的光朝传感器332、334再引导。中心反射性元件316可为反射性表面(例如镜)或多个反射性表面(例如镜),且可为平坦的或按需要成形以将入射光恰当地再引导到图像传感器332、334。举例来说,在一些实施例中,中心反射性元件316可为大小和形状经设定以将入射光线反射通过透镜组合件324、326到达传感器332、334的镜。中心反射性元件316可将包含目标图像的光分割成多个部分,且在不同传感器处引导每一部分。举例来说,中心反射性元件316的第一反射性表面312(还被称作主要光折叠表面,因为其它实施例可实施折射棱镜而不是反射性表面)可将所述光的对应于第一视野320的部分朝第一(左)传感器332发送,而第二反射性表面314将所述光的对应于第二视野322的第二部分朝第二(右)传感器334发送。应了解,图像传感器332、334的视野320、322一起至少覆盖所述目标图像。
在其中接收传感器各自为多个传感器的阵列的一些实施例中,中心反射性元件可由相对于彼此成角度的多个反射性表面组成,以便朝所述传感器中的每一者发送目标图像场景的不同部分。所述阵列中的每一传感器可具有大体上不同的视野,且在一些实施例中,所述视野可重叠。当设计透镜系统时,中心反射性元件的某些实施例可具有用以增加自由度的复杂非平面表面。另外,尽管将中心元件论述为反射性表面,但在其它实施例中,中心元件可为折射性的。举例来说,中心元件可为配置有多个刻面的棱镜,其中每一刻面将包括所述场景的光的一部分朝所述传感器中的一者引导。
在从中心反射性元件316反射回来之后,入射光的至少一部分可传播通过透镜组合件324、326中的每一者。可在中心反射性元件316和传感器332、334与反射性表面328、330之间提供一或多个透镜组合件324、326。透镜组合件324、326可用于使被引向每一传感器332、334的目标图像的部分聚焦。
在一些实施例中,每一透镜组合件可包括一或多个透镜,以及用于使所述透镜在多个不同透镜位置之间移动的致动器。所述致动器可为音圈电机(VCM)、微电子机械系统(MEMS)或形状记忆合金(SMA)。所述透镜组合件可进一步包括用于控制致动器的透镜驱动器。
在一些实施例中,可通过改变每一相机的透镜324、326与对应传感器332、334之间的焦距来实施传统的自动聚焦技术。在一些实施例中,这可通过移动镜筒来实现。其它实施例可通过向上或向下移动中心光再引导反射镜表面,或通过调整光再引导反射镜表面相对于透镜组合件的角度来调整焦点。某些实施例可通过经由每一传感器移动侧光再引导反射镜表面来调整焦点。此类实施例可允许组合件个别地调整每一传感器的焦点。另外,对于一些实施例,有可能(例如)通过将透镜(如液体透镜)放置在整个组合件上方来一次改变整个组合件的焦点。在某些实施方案中,可使用计算摄影来改变相机阵列的焦点。
视野320、322提供具有从虚拟区342感知的虚拟视野的折叠式光学多传感器组合件310,其中所述虚拟视野由虚拟轴338、340限定。虚拟区342是传感器332、334感知且对目标图像的入射光敏感的区。应将虚拟视野与实际视野对比。实际视野是检测器对入射光敏感的角度。实际视野不同于虚拟视野,因为虚拟视野是入射光从不实际上达到的感知角度。举例来说,在图9中,入射光从不到达虚拟区342,因为入射光反射离开反射性表面312、314。
可在与传感器相对的中心反射性元件316周围提供多个侧反射性表面,例如反射性表面328和330。在穿过透镜组合件之后,侧反射性表面328、330(还被称作次要光折叠表面,因为其它实施例可实施折射棱镜而不是反射性表面)可将光(向下,如图9的定向中所描绘)反射到传感器332、334上。如所描绘,传感器332可位于反射性表面328下面,且传感器334可位于反射性表面330下面。然而,在其它实施例中,传感器可在侧反射表面上方,且所述侧反射表面可经配置以向上反射光。侧反射性表面和传感器的其它合适的配置是可能的,其中来自每一透镜组合件的光朝传感器再引导。某些实施例可实现侧反射性表面328、330的移动来改变相关联传感器的焦点或视野。
每一传感器的视野320、322可通过中心反射性元件316的与所述传感器相关联的表面被引导到物空间中。可使用机械方法来使镜面倾斜和/或移动阵列中的棱镜,使得每一相机的视野可指向到物场上的不同位置。这可例如用来实施高动态范围相机,以增加相机系统的分辨率,或实施全光相机系统。每一传感器(或每一3×1阵列)的视野可投影到物空间中,且每一传感器可根据所述传感器的视野来捕获包括目标场景的一部分的局部图像。如图9中所示,在一些实施例中,相对的传感器阵列332、334的视野320、322可重叠一定的量318。为了减少重叠318且形成单个图像,如下文所描述的拼接过程可用于组合来自两个相对传感器阵列332、334的图像。拼接过程的某些实施例可使用所述重叠318来识别在将局部图像拼接在一起的过程中的共同特征。在将重叠图像拼接在一起之后,可将经拼接图像裁减到所要的高宽比,例如4:3或1:1,以形成最终图像。在一些实施例中,与每一FOV相关的光学元件的对准经布置以最小化重叠318,使得多个图像形成为单个图像,其中加入所述图像需要最少或不需要图像处理。
如图9中所示,折叠式光学多传感器组合件310具有总高度346。在一些实施例中,总高度346可大约为4.5mm或更小。在其它实施例中,总高度346可大约为4.0mm或更小。尽管未说明,但可在具有大约为4.5mm或更小或大约为4.0mm或更小的对应内部高度的壳体中提供整个折叠式光学多传感器组合件310。
如本文所使用,术语“相机”可指图像传感器、透镜系统以及数个对应的光折叠表面;例如,图9中说明主要光折叠表面314、透镜组合件326、次要光折叠表面330以及传感器334。折叠光学多传感器组合件(称作“阵列”或“阵列相机”)可在各种配置中包括多个此类相机。
E.实例成像系统的概述
图10描绘装置410的高级框图,所述装置具有包含链接到一或多个相机420a-n的图像处理器426的一组组件。图像处理器426还与工作存储器428、存储器组件412和装置处理器430通信,所述工作存储器428、存储器组件412和装置处理器430又与存储装置434和电子显示器432通信。
装置410可为手机、数码相机、平板计算机、个人数字助理或类似者。存在其中例如本文所描述的减小厚度的成像系统将提供优点的许多便携式计算装置。装置410还可为静止计算装置或其中薄型成像系统将有利的任何装置。在装置410上有多个应用程序可供用户使用。这些应用程序可包含传统摄影和视频应用程序、高动态范围成像、全景照片和视频,或例如3D图像或3D视频等立体成像。
图像捕获装置410包含用于捕获外部图像的相机420a-n。相机420a-n中的每一者可包括传感器、透镜组合件以及主要和次要反射性或折射性镜表面,用于将目标图像的一部分反射到每一传感器,如上文相对于图3所论述。一般来说,可使用N个相机420a-n,其中N≥2。因此,目标图像可分割成N个部分,其中N个相机的每一传感器根据所述传感器的视野来捕获目标图像的一个部分。将理解,相机420a-n可包含适合实施本文所描述的折叠式光学成像装置的任何数目的相机。可增加传感器的数目以实现系统的较低z高度或满足其它目的的需要,例如具有类似于全光相机的重叠视野,此可在后处理之后实现调整图像的焦点的能力。其它实施例可具有适合于高动态范围相机的视野重叠配置,从而使得能够捕获两个同时存在的图像且接着将其合并在一起。相机420a-n可耦合到图像处理器426,以将所捕获图像传送到工作存储器428、装置处理器430,传送到电子显示器432以及传送到存储装置(存储器)434。
图像处理器426可经配置以对包括目标图像的N个部分的所接收的图像数据执行各种处理操作以便输出高质量拼接图像,如将在下文更详细地描述。图像处理器426可为通用处理单元或专门设计用于成像应用的处理器。图像处理操作的实例包含裁剪、按比例缩放(例如,至不同分辨率)、图像拼接、图像格式转换、色彩内插、色彩处理、图像滤波(例如,空间图像滤波)、透镜假影或疵点校正等。在一些实施例中,图像处理器426可包含多个处理器。某些实施例可具有专用于每一图像传感器的处理器。图像处理器426可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。
如图所示,图像处理器426连接到存储器412和工作存储器428。在所说明的实施例中,存储器412存储捕获控制模块414、图像拼接模块416、操作系统418和反射镜控制模块419。这些模块包含配置装置处理器430的图像处理器426以执行各种图像处理和装置管理任务的指令。工作存储器428可由图像处理器426使用来存储包含于存储器组件412的模块中的处理器指令的工作集合。或者,工作存储器428还可由图像处理器426使用,以存储装置410的操作期间创建的动态数据。
如上所提到,图像处理器426由存储在存储器中的若干模块来配置。捕获控制模块414可包含配置图像处理器426以调用反射镜控制模块419从而将相机的可延伸反光镜定位于第一或第二位置中的指令,且可包含配置图像处理器426以调整相机420a-n的焦点位置的指令。捕获控制模块414可进一步包含控制装置410的总体图像捕获功能的指令。举例来说,捕获控制模块414可包含指令,其调用子例程来配置图像处理器426以使用相机420a-n捕获目标图像场景的原始图像数据。捕获控制模块414可接着调用图像拼接模块416以对由相机420a-n捕获的N个局部图像执行拼接技术,且将经拼接和裁剪的目标图像输出到成像处理器426。捕获控制模块414还可调用图像拼接模块416以对原始图像数据执行拼接操作,以便输出待捕获的场景的预览图像,且以特定时间间隔或在原始图像数据中的场景改变时更新预览图像。
图像拼接模块416可包括配置图像处理器426以对所捕获图像数据执行拼接和裁剪技术的指令。举例来说,N个传感器420a-n中的每一者可根据每一传感器的视野来捕获包括目标图像的一部分的局部图像。所述视野可共享重叠区域,如上文和下文所描述。为了输出单个目标图像,图像拼接模块416可配置图像处理器426以组合多个(N个)局部图像来产生高分辨率目标图像。可通过已知图像拼接技术而发生目标图像的产生。图像拼接的实例可在第11/623,050号美国专利申请案中找到,所述美国专利申请案特此以引用的方式并入。
举例来说,图像拼接模块416可包含用以针对匹配特征来比较沿着N个局部图像的边缘的重叠区域以便确定所述N个局部图像相对于彼此的旋转和对准的指令。归因于局部图像的旋转和/或每一传感器的视野的形状,组合的图像可形成不规则形状。因此,在对准且组合N个局部图像之后,图像拼接模块416可调用子例程,所述子例程配置图像处理器426以将经组合图像裁剪成所要的形状和高宽比,例如4:3矩形或1:1正方形。可将经裁剪图像发送到装置处理器430,以用于在显示器432上显示,或用于保存在存储装置434中。
操作系统模块418配置图像处理器426以管理装置410的工作存储器428和处理资源。举例来说,操作系统模块418可包括用以管理硬件资源(例如相机420a-n)的装置驱动器。因此,在一些实施例中,上文所论述的图像处理模块中所含有的指令可不与这些硬件资源直接交互,而是通过位于操作系统组件418中的标准子例程或API交互。操作系统418内的指令可接着与这些硬件组件直接交互。操作系统模块418可进一步配置图像处理器426以与装置处理器430共享信息。
图像处理器426可向用户提供图像捕获模式选择控件,例如通过使用触敏显示器432,从而允许装置410的用户选择对应于标准FOV图像或宽FOV图像的图像捕获模式。
装置处理器430可经配置以控制显示器432来向用户显示所捕获图像或所捕获图像的预览。显示器432可在成像装置410外部或可为成像装置410的一部分。显示器432还可经配置以提供显示预览图像以供在捕获图像之前使用的视图查找器,或可经配置以显示存储在存储器中或最近由用户捕获的所捕获图像。显示器432可包括LCD或LED屏幕,且可实施触敏式技术。
装置处理器430可将数据写入到存储模块434,例如表示所捕获图像的数据。尽管存储模块434以图形方式表示为传统磁盘装置,但所属领域的技术人员将理解,存储模块434可经配置为任何存储媒体装置。举例来说,存储模块434可包含磁盘驱动器,例如软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器,或固态存储器,例如快闪存储器、RAM、ROM和/或EEPROM。存储模块434还可包含多个存储器单元,且所述存储器单元中的任一者可经配置以在图像捕获装置410内,或可在图像捕捉装置410的外部。举例来说,存储模块434可包含含有存储在图像捕获装置410内的系统程序指令的ROM存储器。存储模块434还可包含经配置以存储所捕获的图像的存储卡或高速存储器,其可从相机装卸。
尽管图10描绘具有单独组件以包含处理器、成像传感器和存储器的装置,但所属领域的技术人员将认识到,这些单独组件可通过多种方式组合以实现特定的设计目标。举例来说,在替代实施例中,存储器组件可与处理器组件组合以节省成本且改进性能。另外,尽管图10说明两个存储器组件,包含包括若干模块的存储器组件412以及包括工作存储器的单独存储器428,但所属领域的技术人员将认识到利用不同存储器架构的若干实施例。举例来说,一种设计可利用ROM或静态RAM存储器来存储实施存储器组件412中所含有的模块的处理器指令。可将处理器指令加载到RAM中以促进由图像处理器426执行。举例来说,工作存储器428可包括RAM存储器,其具有在由图像处理器426执行之前被加载到工作存储器428中的指令。
F.实例成像捕获过程的概述
图11说明捕获宽视野目标图像的方法1100的一个实例的框。
在框1105处,提供多个相机,且将其布置成中心光学元件周围的至少第一组和第二组,例如如图7A和7B中所示。在一些实施例中,可提供比第一和第二组相机多或少的相机。举例来说,本文所说明的四相机实施例可仅包含第一相机环。
在框1110处,成像系统使用第一组相机来捕获目标图像场景的中心部分。举例来说,这可使用相机114a-d的第一环来进行。
在框1115处,成像系统使用第二组相机来捕获目标图像场景的额外部分。举例来说,这可使用相机116a-d的第二环来进行。目标图像场景的额外部分可例如为中心部分周围的视野或局部视野。
在任选框1120处,成像系统使用第二组相机来捕获目标图像场景的额外部分。举例来说,这可使用第三相机环来进行,例如可提供于12相机实施例中。目标图像场景的额外部分可例如为中心部分周围的视野或局部视野。
在框1125处,在至少一个处理器中接收中心部分和任何额外部分。至少一个处理器产生拼接图像,其包含中心图像的至少一部分以及额外部分。举例来说,处理器可拼接第一组捕获的中心部分、第二组所捕获的额外部分,以及任何其它组所捕获的任何额外部分,且接着将经拼接的图像裁剪到所要的高宽比,以便形成具有宽视野的最终图像。
G.术语
本文所揭示的实施方案提供用于无视差和倾斜假影的多个光圈阵列相机的系统、方法和设备。所属领域的技术人员将认识到,这些实施例可用硬件、软件、固件或其任何组合来实施。
在一些实施例中,可在无线通信装置中利用上文所论述的电路、过程和系统。无线通信装置可为用来与其它电子装置无线通信的一种电子装置。无线通信装置的实例包含蜂窝式电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板计算机装置等。
无线通信装置可包含:一或多个图像传感器;两个或两个以上图像信号处理器;一个存储器,其包含用于进行上文所论述的CNR过程的指令或模块。装置也可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如,显示装置),以及电源/接口。无线通信装置可另外包含发射器和接收器。发射器和接收器可共同被称作收发器。收发器可耦合到一或多个天线以用于发射和/或接收无线信号。
无线通信装置可无线地连接到另一电子装置(例如,基站)。无线通信装置或者可被称作移动装置、移动台、订户台、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。通信装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统等。无线通信设备可根据例如第三代合作伙伴计划(3GPP)等一或多个业界标准来操作。因此,通用术语“无线通信装置”可包括根据业界标准的不同命名法来描述的无线通信装置(例如,接入终端、用户设备(UE)、远程终端等)。
可将本文中所描述的功能作为一或多个指令而存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。作为实例而非限制,此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用来存储呈指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。应注意,计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器,其与可由计算装置或处理器执行、处理或计算的代码或指令(例如,“程序”)组合。如本文中所使用,术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
本文中所揭示的方法包括用于实现所描述的方法的一或多个步骤或动作。在不偏离权利要求书的范围的情况下,方法步骤和/或动作可彼此互换。换句话说,除非正描述的方法的适当操作需要步骤或动作的特定次序,否则,在不脱离权利要求书的范围的情况下,可修改特定步骤和/或动作的次序和/或使用。
应注意,如本文中所使用,术语“耦合”、“正耦合”、“经耦合”或词语耦合的其它变化可指示间接连接或者直接连接。举例来说,如果第一组件“耦合”到第二组件,那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文所使用,术语“多个”指示两个或多于两个。举例来说,多个组件指示两个或多于两个组件。
术语“确定”涵盖广泛多种动作,且因此“确定”可包括计算、运算、处理、推导、研究、查找(例如,在表、数据库或其它数据结构中查找)、确认等等。并且,“确定”可包含接收(例如,接收信息)、存取(例如,在存储器中存取数据)等。并且,“确定”可包括解析、选择、挑选、建立等等。
除非另有明确指定,否则短语“基于”并不意味着“仅基于”。换句话说,短语“基于”描述“仅基于”与“至少基于”两者。
在以下描述中,给出特定细节来提供对实例的透彻理解。然而,所属领域的技术人员将理解,可在没有这些具体细节的情况下实践所述实例。举例来说,为了不以不必要的细节混淆所述实例,可以框图形式示出电组件/装置。在其它例子中,可详细示出此些组件、其它结构和技术以进一步阐释所述实例。
本文中包含数个标题,是为了参考和辅助定位各个部分。这些标题无意限制关于其描述的概念的范围。此类概念可在整个说明书中都适用。
还应注意,可将所述实例描述成过程,将所述过程描绘成流程图、流图、有限状态图、结构图或框图。虽然流程图可将操作描述成循序过程,但许多操作可并行或同时执行,并且所述过程可重复。另外,可重新排列操作的顺序。过程在其操作完成时终止。过程可对应于方法、函数、程序、子例程、子程序等。当过程对应于软件函数时,过程的终止对应于函数返回到调用函数或主函数。
提供对所揭示的实施方案的前述描述是为了使所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将易于了解对这些实施方案的各种修改,且在不偏离本发明的精神或范围的情况下,本文中定义的一般原理可应用于其它实施方案。因此,本发明无意限于本文中所示的实施方案,而是应被赋予与本文中所揭示的原理和新颖特征相一致的最广范围。
Claims (30)
1.一种成像系统,其包括:
光学组件,其包括至少四个光再引导表面;
至少四个相机,其各自经配置以捕获目标场景的多个局部图像中的一者,所述至少四个相机中的每一者具有:
光轴,其与所述光学组件的所述至少四个光再引导表面中的对应一者对准,
透镜组合件,其定位成接收表示从所述至少四个光再引导表面中的所述对应一者再引导的所述目标场景的所述多个局部图像中的一者的光,以及
图像传感器,其在所述光穿过所述透镜组合件之后接收所述光;以及
虚拟光轴,其穿过所述光学组件,所述至少四个相机中的至少两个的所述光轴的相交点位于所述虚拟光轴上。
2.根据权利要求1所述的成像系统,其中所述至少四个相机的协作形成具有所述虚拟光轴的虚拟相机。
3.根据权利要求1所述的成像系统,其进一步包括处理模块,所述处理模块经配置以将所述多个局部图像组装成所述目标场景的最终图像。
4.根据权利要求1所述的成像系统,其中所述光学组件以及所述至少四个相机中的每一者布置在具有小于或等于大约4.5mm的高度的相机外壳内。
5.根据权利要求1所述的成像系统,其中第一组所述至少四个相机协作以形成具有第一视野的中心虚拟相机,且第二组所述至少四个相机经布置以各自捕获第二视野的一部分,所述第二视野包含所述目标场景的在所述第一视野之外的部分。
6.根据权利要求5所述的成像系统,其包括处理模块,所述处理模块经配置以将所述第二组所述至少四个相机捕获的所述第二视野的图像与所述第一组所述至少四个相机捕获的所述第一视野的图像组合,以形成所述目标场景的最终图像。
7.根据权利要求5所述的成像系统,其中所述第一组包含四个相机,且所述第二组包含四个额外相机,且其中所述光学组件包括八个光再引导表面。
8.根据权利要求1所述的成像系统,其进一步包括基本上平坦的衬底,其中所述图像传感器中的每一者位于所述衬底上,且插入所述衬底的一部分中。
9.根据权利要求1所述的成像系统,其针对所述至少四个相机中的每一者,进一步包括次要光再引导表面,其经配置以从所述透镜组合件接收光,并将所述光朝所述图像传感器再引导。
10.根据权利要求9所述的成像系统,其中所述次要光再引导表面包括反射性或折射性表面。
11.根据权利要求1所述的成像系统,其中所述至少四个光再引导表面中的一者的大小或位置被配置为限制提供到所述至少四个相机中的对应一者的光的量的光澜。
12.根据权利要求1所述的成像系统,其进一步包括光圈,其中来自所述目标场景的光穿过所述光圈到达所述至少四个光再引导表面上。
13.一种捕获基本上无视差的图像的方法,其包括:
通过光圈接收表示目标图像场景的光;
经由至少四个光再引导表面将所述光分裂成至少四个部分;
将所述光的每一部分朝至少四个相机中的对应相机再引导,所述相机各自定位成从具有虚拟光轴的虚拟相机的位置捕获图像数据,所述至少四个相机中的每一者的光轴与所述虚拟光轴相交;以及
对于所述至少四个相机中的每一者,在图像传感器处捕获所述光的所述至少四个部分中的对应一者的图像。
14.根据权利要求13所述的方法,其中所述多个图像传感器的协作形成具有所述虚拟光轴的虚拟相机。
15.根据权利要求13所述的方法,其进一步包括将所述光的每一部分的所述图像组装成最终图像。
16.根据权利要求13所述的方法,其中将所述光分裂成至少四个部分包括经由对应于四个主要相机的四个主要光再引导表面且经由对应于四个额外相机的四个额外光再引导表面,将所述光分裂成八个部分,其中所述四个主要相机和四个额外相机协作以形成所述虚拟相机。
17.根据权利要求13所述的方法,其中捕获所述光的每一部分的所述图像包括使用第一组所述至少四个相机来捕获所述目标图像场景的第一视野,以及使用第二组所述至少四个相机来捕获所述目标图像场景的第二视野,其中所述第二视野包含目标场景的在所述第一视野之外的部分。
18.根据权利要求17所述的方法,其进一步包括将所述第二组所述至少四个相机捕获的所述第二视野的图像与所述第一组所述至少四个相机捕获的所述第一视野的图像组合以形成最终图像。
19.根据权利要求17所述的方法,其中所述第一组包含四个相机,且所述第二组包含四个相机。
20.一种成像系统,其包括:
用于在至少四个方向上再引导表示目标图像场景的光的装置;
多个捕获装置,其各自具有:
光轴,其与所述成像系统的虚拟光轴对准,且与所述捕获装置中的另一者的至少一个其它光轴共用的点相交,
聚焦装置,其定位成从所述用于再引导光的装置接收在所述至少四个方向中的一者上再引导的所述光的一部分,以及
图像感测装置,其从所述聚焦装置接收所述光的所述部分;
用于从所述多个捕获装置中的每一者接收包括所捕获的所述光的所述部分的图像的图像数据的装置;以及
用于将所述图像数据组装成所述目标图像场景的最终图像的装置。
21.根据权利要求20所述的成像系统,其中所述多个捕获装置的协作形成具有所述虚拟光轴的虚拟相机。
22.根据权利要求20所述的成像系统,其中第一组所述捕获装置经布置以捕获第一视野,且第二组所述捕获装置经布置以捕获第二视野,所述第二视野包含所述目标场景的在所述第一视野之外的部分。
23.根据权利要求22所述的成像系统,其中所述用于组装所述图像数据的装置将所述第二视野的图像与所述第一视野的图像组合以形成所述最终图像。
24.一种制造成像系统的方法,所述方法包括:
提供包括至少四个光再引导表面的光学组件;
将至少四个相机定位在所述光学组件周围,所述至少四个相机中的每一相机经配置以捕获目标场景的多个局部图像中的一者,其中定位所述至少四个相机包括针对每一相机:
使所述相机的光轴与所述光学组件的所述至少四个光再引导表面中的对应一者对准,
进一步定位所述相机,使得所述光轴与所述至少四个相机中的另一者的至少一个其它光轴在沿所述成像系统的虚拟光轴定位的点处相交,以及
提供图像传感器,其捕获所述目标场景的所述多个局部图像中的一者;以及
定位所述光学组件,使得所述虚拟光轴穿过所述光学组件。
25.根据权利要求24所述的方法,其中所述多个图像相机的协作形成具有所述虚拟光轴的虚拟相机。
26.根据权利要求24所述的方法,其进一步包括定位第一组所述至少四个相机以及对应的光再引导表面以捕获第一视野,以及定位第二组所述多个相机以及对应的光再引导表面以捕获第二视野,其中所述第二视野包含所述目标场景的在所述第一视野之外的部分。
27.根据权利要求24所述的方法,其进一步包括提供基本上平坦的衬底,且对于所述至少四个相机中的每一者,将所述图像传感器定位在所述基本上平坦的衬底上或插入其中。
28.根据权利要求24所述的方法,其进一步包括对于所述至少四个相机中的每一者,提供所述图像传感器与所述光学组件之间的透镜组合件。
29.根据权利要求24所述的方法,其进一步包括对于所述至少四个相机中的每一者,提供所述图像传感器与所述光学组件之间的反射性或折射性表面。
30.根据权利要求24所述的系统,其进一步包括将所述至少四个光再引导表面中的至少一者配置为限制提供到对应图像传感器的光的量的光澜。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462015329P | 2014-06-20 | 2014-06-20 | |
US62/015,329 | 2014-06-20 | ||
US201462057938P | 2014-09-30 | 2014-09-30 | |
US62/057,938 | 2014-09-30 | ||
US201462073856P | 2014-10-31 | 2014-10-31 | |
US62/073,856 | 2014-10-31 | ||
US14/743,818 | 2015-06-18 | ||
US14/743,818 US20150373269A1 (en) | 2014-06-20 | 2015-06-18 | Parallax free thin multi-camera system capable of capturing full wide field of view images |
PCT/US2015/036648 WO2015196050A1 (en) | 2014-06-20 | 2015-06-19 | Parallax free thin multi-camera system capable of capturing full wide field of view images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106464813A true CN106464813A (zh) | 2017-02-22 |
CN106464813B CN106464813B (zh) | 2019-09-17 |
Family
ID=54936130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580032968.5A Active CN106464813B (zh) | 2014-06-20 | 2015-06-19 | 能够捕获全宽视野图像的无视差薄型多相机系统 |
Country Status (7)
Country | Link |
---|---|
EP (1) | EP3158727A1 (zh) |
JP (1) | JP2017525208A (zh) |
KR (1) | KR20170020796A (zh) |
CN (1) | CN106464813B (zh) |
BR (1) | BR112016029776A2 (zh) |
CA (1) | CA2952470A1 (zh) |
WO (1) | WO2015196050A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111479607A (zh) * | 2017-12-14 | 2020-07-31 | 皇家飞利浦有限公司 | 捕获并且使用用于面罩定制中的面部度量 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102558474B1 (ko) * | 2016-09-30 | 2023-07-25 | 삼성전자주식회사 | 이미지를 표시하기 위한 방법 및 그 전자 장치 |
JP7050771B2 (ja) * | 2016-10-07 | 2022-04-08 | ハッチンソン テクノロジー インコーポレイテッド | 検査システムのための軸上照明及び拡散照明 |
KR102553555B1 (ko) * | 2018-09-21 | 2023-07-10 | 엘지이노텍 주식회사 | 카메라 모듈 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100045774A1 (en) * | 2008-08-22 | 2010-02-25 | Promos Technologies Inc. | Solid-state panoramic image capture apparatus |
WO2013154433A1 (en) * | 2012-04-13 | 2013-10-17 | Cyclomedia Technology B.V. | System, device, and vehicle for recording panoramic images |
CN103535022A (zh) * | 2011-04-08 | 2014-01-22 | 高通股份有限公司 | 用以校准多相机装置的系统和方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09214992A (ja) * | 1996-02-06 | 1997-08-15 | Asahi Optical Co Ltd | 撮像装置 |
JPH09224180A (ja) * | 1996-02-15 | 1997-08-26 | Matsushita Electric Ind Co Ltd | 撮像装置 |
US6195204B1 (en) * | 1998-08-28 | 2001-02-27 | Lucent Technologies Inc. | Compact high resolution panoramic viewing system |
JP2002158913A (ja) * | 2000-11-16 | 2002-05-31 | Canon Inc | 撮像装置及び撮像方法 |
JP2002320124A (ja) * | 2001-02-13 | 2002-10-31 | Sony Corp | 撮像装置 |
US9398264B2 (en) * | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
-
2015
- 2015-06-19 CN CN201580032968.5A patent/CN106464813B/zh active Active
- 2015-06-19 JP JP2016573489A patent/JP2017525208A/ja active Pending
- 2015-06-19 WO PCT/US2015/036648 patent/WO2015196050A1/en active Application Filing
- 2015-06-19 BR BR112016029776A patent/BR112016029776A2/pt not_active Application Discontinuation
- 2015-06-19 CA CA2952470A patent/CA2952470A1/en not_active Abandoned
- 2015-06-19 KR KR1020167035382A patent/KR20170020796A/ko unknown
- 2015-06-19 EP EP15745008.1A patent/EP3158727A1/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100045774A1 (en) * | 2008-08-22 | 2010-02-25 | Promos Technologies Inc. | Solid-state panoramic image capture apparatus |
CN103535022A (zh) * | 2011-04-08 | 2014-01-22 | 高通股份有限公司 | 用以校准多相机装置的系统和方法 |
WO2013154433A1 (en) * | 2012-04-13 | 2013-10-17 | Cyclomedia Technology B.V. | System, device, and vehicle for recording panoramic images |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111479607A (zh) * | 2017-12-14 | 2020-07-31 | 皇家飞利浦有限公司 | 捕获并且使用用于面罩定制中的面部度量 |
Also Published As
Publication number | Publication date |
---|---|
CA2952470A1 (en) | 2015-12-23 |
KR20170020796A (ko) | 2017-02-24 |
CN106464813B (zh) | 2019-09-17 |
EP3158727A1 (en) | 2017-04-26 |
JP2017525208A (ja) | 2017-08-31 |
BR112016029776A2 (pt) | 2017-08-22 |
WO2015196050A1 (en) | 2015-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106415392B (zh) | 能够捕获全球面图像的无视差多相机系统 | |
US9733458B2 (en) | Multi-camera system using folded optics free from parallax artifacts | |
US20230262337A1 (en) | Camera with panoramic scanning range | |
US10084958B2 (en) | Multi-camera system using folded optics free from parallax and tilt artifacts | |
US20150373269A1 (en) | Parallax free thin multi-camera system capable of capturing full wide field of view images | |
CN106464813A (zh) | 能够捕获全宽视野图像的无视差薄型多相机系统 | |
CN208609085U (zh) | 摄像头模组和电子设备 | |
CN110749993B (zh) | 为智能移动设备增添新型图像功能的方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |