CN106415392B - 能够捕获全球面图像的无视差多相机系统 - Google Patents

能够捕获全球面图像的无视差多相机系统 Download PDF

Info

Publication number
CN106415392B
CN106415392B CN201580032615.5A CN201580032615A CN106415392B CN 106415392 B CN106415392 B CN 106415392B CN 201580032615 A CN201580032615 A CN 201580032615A CN 106415392 B CN106415392 B CN 106415392B
Authority
CN
China
Prior art keywords
camera
image
fov
rearmounted
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580032615.5A
Other languages
English (en)
Other versions
CN106415392A (zh
Inventor
T·W·奥斯本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106415392A publication Critical patent/CN106415392A/zh
Application granted granted Critical
Publication of CN106415392B publication Critical patent/CN106415392B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0075Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having an element with variable optical properties
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/06Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

本发明揭示用于产生球面视野图像的方法及系统。在一些实施例中,成像系统包含:前置相机,其具有在第一方向上的第一视野FOV及延伸穿过所述第一FOV的光轴;后置相机,其具有延伸穿过所述第一FOV的光轴;多个侧相机,其安置在所述前置相机与所述后置相机之间;背光再引导反射镜组件,其安置于所述后置相机与多个侧相机之间,所述背光再引导反射镜组件经进一步安置成垂直于所述后置相机的所述光轴;及多个侧光再引导反射镜组件,所述多个侧相机中的每一者经定位以接收从所述多个光再引导反射镜组件中的一者再引导反射的光。

Description

能够捕获全球面图像的无视差多相机系统
技术领域
本发明涉及包含多相机系统的成像系统及方法。特定来说,本发明涉及用于捕获及接近或全球面图像的系统及方法。
背景技术
许多成像系统包含可由用户操作以捕获静止和/或视频图像的相机。由于成像系统通常被设计用于捕获高质量图像,因此将相机或成像系统设计成无或基本上无视差可为重要的。此外,可期望成像系统捕获其中所捕获图像无视差或基本上无视差的全局场景的图像。成像系统可用于从在中心点附近的多个位置捕获全局场景的各种视野。然而,这些设计中的许多者涉及具有大量视差的图像,这是因为视野源自各种位置且并非源自中心点。期望捕获无视差或基本上无视差的全局场景的图像的解决方案。
发明内容
一种用于捕获一起描绘球面图像的多个图像的成像系统包含前置相机、后置相机、一组第一相机、一组第二相机,及一组第三相机。所述前置相机经定位以捕获围绕所述前置相机的投射光轴的第一视野(FOV)中的图像。所述前置相机的投射光轴在第一方向上。所述后置相机经定位以接收由安置在所述前置相机与所述后置相机之间的背向再引导反射镜组件再引导的光。所述后置相机经定位以捕获围绕所述后置相机的投射光轴的第二FOV中的图像。所述后置相机的所述投射光轴在所述第一方向上。所述组第一相机安置在所述前置相机与所述后置相机之间且呈多边形形状布置。所述第一相机经共同地配置以捕获第三FOV中的图像。所述FOV为圆形形状且从所述第一相机向外投射。所述第三FOV的至少一部分在所述第一FOV与所述第二FOV之间。所述组第二相机安置在所述第一相机与所述后置相机之间且呈多边形形状布置。所述第二相机经共同地配置以捕获第四FOV中的图像。所述第四FOV为圆形形状且从所述第二相机向外投射。所述第四FOV的至少一部分在所述第三FOV与所述第二FOV之间。所述组第三相机安置在所述第二相机与所述后置相机之间且呈多边形形状布置。所述组第三相机经共同地配置以捕获第五FOV中的图像。所述第五FOV为圆形形状且从所述第三相机向外投射。所述第五FOV的至少一部分在所述第四FOV与所述第二FOV之间。所述前置相机、后置相机、第一相机、第二相机及第三相机经配置使得在所述第一、第二、第三、第四及第五FOV中捕获的图像共同地表示如从所述成像系统的视角所见的球面图像。
成像系统包含前置相机、后置相机、多个侧相机、背光再引导反射镜组件及多个侧光再引导反射镜组件。所述前置相机具有在第一方向上的第一视野(FOV)及延伸穿过所述第一FOV的光轴。所述后置相机具有光轴。所述后置相机经定位使得所述后置相机的所述光轴在一方向上对准以延伸穿过所述第一FOV。所述多个侧相机安置在所述前置相机与所述后置相机之间。所述背光再引导反射镜组件安置在所述后置相机与多个侧相机之间。所述后置相机与所述背光再引导反射镜组件经定位使得所述后置相机的所述光轴指向于背光再引导反射镜组件使得所述后置相机接收由所述背光再引导反射镜组件沿着所述后置相机的所述光轴再引导的光。所述多个侧相机中的每一者经定位以接收从所述多个光再引导反射镜组件中的一者再引导的光。
一种产生描绘球面视野(FOV)的图像的方法,所述方法包含:产生正面图像,产生背面图像,产生第一图像,产生第二图像,产生第三图像,及接收所述正面图像、背面图像、第一图像、第二图像及第三图像。在前置相机中产生所述正面图像,所述前置相机经定位以捕获围绕所述前置相机的投射光轴的第一视野(FOV)中的图像。所述前置相机的投射光轴在第一方向上。在后置相机中产生所述背面图像,所述后置相机经定位以接收由安置在所述前置相机与所述后置相机之间的背向再引导反射镜组件再引导的光。所述后置相机经定位以捕获第二FOV中的图像。在一组第一相机中产生第一图像,所述组第一相机安置在所述前置相机与所述后置相机之间且呈多边形形状布置。所述第一相机经共同地配置以捕获第三FOV中的图像。所述FOV为圆形形状且从所述第一相机向外投射。所述第三FOV的至少一部分在所述第一FOV与所述第二FOV之间。在一组第二相机中产生第二图像,所述组第二相机安置在所述第一相机与所述后置相机之间且呈多边形形状布置。所述第二相机经共同地配置以捕获第四FOV中的图像。所述第四FOV为圆形形状且从所述第二相机向外投射。所述第四FOV的至少一部分在所述第三FOV与所述第二FOV之间。在一组第三相机中产生第三图像,所述组第三相机安置在所述第二相机与所述后置相机之间且呈多边形形状布置。第三相机经共同地配置以捕获第五FOV中的图像。所述第五FOV为圆形形状从所述第三相机向外投射。所述第五FOV的至少一部分在所述第四FOV与所述第二FOV之间。将所述正面图像、背面图像、第一图像、第二图像及第三图像接收在至少一个处理器中。用所述至少一个处理器产生包含所述正面图像、背面图像、第一图像此、第二图像及第三图像中的至少一部分的镶嵌式图像。
成像装置包含用于产生正面图像的装置,用于产生背面图像的装置,用于产生第一图像的装置,用于产生第二图像的装置,用于产生第三图像的装置,及用于接收所述正面图像、背面图像、第一图像、第二图像及第三图像的装置。用于在前置相机中产生正面图像的装置经定位以捕获围绕所述前置相机的投射光轴的第一视野(FOV)中的图像。所述前置相机的投射光轴在第一方向上。用于在后置相机中产生背面图像的装置经定位以接收由安置在所述前置相机与所述后置相机之间的背向再引导反射镜组件再引导的光。所述后置相机经定位以捕获第二FOV中的图像。用于在一组第一相机中产生第一图像的装置安置在所述前置相机与所述后置相机之间且呈多边形形状布置。所述第一相机经共同地配置以捕获第三FOV中的图像。所述第三FOV为圆形形状且从所述第一相机向外投射。所述第三FOV的至少一部分在所述第一FOV与所述第二FOV之间。用于在一组第二相机中产生第二图像的装置安置在所述第一相机与所述后置相机之间且呈多边形形状布置。所述第二相机经共同地配置以捕获第四FOV中的图像。所述第四FOV为圆形形状且从所述第二相机向外投射。所述第四FOV的至少一部分在所述第三FOV与所述第二FOV之间。用于在一组第三相机中产生第三图像的装置安置在所述第二相机与所述后置相机之间且呈多边形形状布置,且经共同地配置以捕获第五FOV中的图像。所述第五FOV为圆形形状从所述第三相机向外投射。所述第五FOV的至少一部分在所述第四FOV与所述第二FOV之间。产生包含所述正面图像、背面图像、第一图像、第二图像及第三图像中的至少一部分的镶嵌式图像。
附图说明
所揭示方面将在下文中结合附图及附录进行描述,经提供以说明且并不限于所揭示方面,其中相同指定表示相同元件。
图1A说明包含中心相机、第一相机、第二相机、第三相机及后置相机的全局相机配置的部分的实施例的侧视图。
图1B说明包含中心相机及第一相机的全局相机配置的部分的实施例的侧视图。
图1C说明包含中心相机、第一相机及第二相机的全局相机配置的部分的实施例的侧视图。
图1D说明包含中心相机、第一相机、第二相机及第三相机的全局相机配置的部分的实施例的侧视图。
图1E说明图1A到D中所展示的相机的实施例及用于图1A到D的角度的正与负指示。
图2A说明包含中心相机、第一相机同心环、第二相机同心环、第三相机同心环及后置相机(未展示)的全局相机配置的部分的实施例的前视图。
图2B说明包含中心相机、第一相机同心环、第二相机同心环、第三相机同心环及后置相机的全局相机配置的部分的实施例的侧视图。
图2C说明包含中心相机、第一相机同心环、第二相机同心环、第三相机同心环及后置相机的全局相机配置的部分的实施例的侧视图。
图3说明折叠式光学多传感器组合件的实施例的横截面侧视图。
图4说明成像装置的实施例的框图。
图5说明捕获目标图像的方法的一个实例的框。
具体实施方式
本文中所揭示的实施方案提供用于使用能够捕获全球面图像的多个相机的布置产生无或基本上无视差及倾斜伪影的图像的系统、方法及设备。各种实施例的方面涉及在所捕获图像中展现几乎没有视差伪影的多个相机(例如,多相机系统)的布置。多个相机的布置捕获全球面图像,借此所捕获的目标场景经分割成多个区域。通过设计多个相机的布置使得其看起来具有相同虚拟共用入射光瞳来捕获无视差或基本上无视差的图像。一些设计的问题是其不具有相同虚拟共用入射光瞳且因此并非无视差或规定的无视差伪影的另一方式。
多个相机的布置中的每一传感器使用对应光再引导光反射镜组件(其有时在本文中称作“反射镜”或“反射镜组件”)或等效于反射镜反射表面的表面接收来自图像场景的部分的光。因此,每一个别反射镜组件及传感器对仅表示总多相机系统的部分。完整的多相机系统具有基于所有个别孔径光线的和而生成的合成孔径。在实施方案中的任何者,所有相机可经配置以自动聚焦,且自动聚焦可由执行用于自动聚焦功能的指令的处理器控制。
在一些实施例中,多相机系统具有二十六个相机,每一相机捕获目标场景的部分使得可捕获图像的二十六个部分。系统包含处理器,所述处理器经配置以通过组合图像的二十六个部分的全部或部分来产生场景的图像。二十六个相机可经配置为三个各有八个相机的同心环、前置相机及后置相机。多个光再引导反射镜组件经配置以将入射光的部分再引导到除中心相机外的二十六个相机中的每一者。可通过多个光再引导反射镜组件从多相机系统周围的区域接收来自目标场景的入射光的部分。在一些实施例中,光再引导反射镜组件可包括多个个别组件,每一组件具有至少一个光再引导反射镜组件。光再引导反射镜组件中的多个组件可耦合在一起,耦合到另一结构以相对于彼此设置其位置,或两者。
捕获全景图像的所属领域的技术人员可认识到术语无视差图像(或实际上无视差图像)或无视差伪影图像(或实际上无视差伪影图像)的意义。相机系统具有无视差或无视差伪影的性质。
作为实例,经设计以使用两个并列相机捕获立体图像的相机系统为无视差的相机系统的实例。拍摄立体图像的一个方式为从两个不同有利点捕获图像。所属领域的技术人员可认识到,取决于场景,可能困难或不可能将两个立体图像拼接在一起以获得一个图像而不会使一些场景内容在最终拼接图像中重复或丢失。此些伪影可称作视差伪影的实例。此外,所属领域的技术人员可认识到,如果两个立体相机的有利点移动在一起,使得两者从一个有利点观看场景,那么应接着能够以观察不到视差伪影的方式将图像拼接在一起。
本文中针对无视差图像,当将两个或多于两个图像拼接在一起时,不使用图像处理来通过添加内容或将内容从图像或最终拼接在一起图像移除来变更图像。
所属领域的技术人员可认识到,可使用单透镜相机且使其绕位于其入射光瞳的最中心点处的静止点旋转并从所有方向捕获图像。使用这些图像,可能够形成球面图像,所述球面图像展示围绕入射光瞳的最中心点周围的所有场景内容,仿佛从球体或球的中心沿任何方向向外看。这些图像可具有无视差及/或无视差伪影的额外性质。例如,意味着,可以其中场景内容在最终球面图像中不重复及/或场景内容可不会从最终所拼接球面图像丢失及/或具有可被所属领域的技术人员认为是视差伪影的其它伪影的方式将图像拼接在一起。
可能布置共享所有虚拟相机的虚拟入射光瞳的相同最中心点的虚拟相机的系统。术语虚拟意味着两个或多于两个物理真实相机可经布置以与其它组件(例如,光再引导反射镜组件)一起出现以看起来像其共享相同入射光瞳最中心点。此外,可能布置所有虚拟相机以使每一虚拟相机的虚拟光轴彼此在虚拟入射光瞳的共享虚拟最中心点附件交叉或非常接近交叉。本文中所呈现的方法及系统可用于实现类似系统。
物理上,非常困难或几乎不可能建构具有足够容差的系统,其中两个或多个两个虚拟相机的虚拟光轴将在虚拟入射光瞳的最中心位置中的一个共用点处交叉。可能假定,相机系统的像素分辨率或透镜的分辨率使两个或多于两个相机的光轴在共享入射光瞳的最中心点的附近或周围彼此交叉或足够接近于交叉,使得在经拼接在一起的图像中几乎不存在视差伪影,或看情形而定,经拼接在一起的图像将满足在最终经拼接在一起的图像中具有小于最小量的视差伪影的要求。即,在无需使用用以添加内容或移除内容的专用软件或其它图像处理来将视差伪影移除,将能够取得由此些相机所捕获的图像并将这些图像拼接在一起,因此其产生无视差球面图像或满足最小水平视差伪影的要求。在此背景中,可基于具有足够容差的系统设计而使用术语无视差或实际上无视差。
本文中,当使用术语无视差、无视差伪影、实际上无视差或实际上无视差伪影时,应理解,物理现实可使其困难或几乎不可能随时间在相同位置保持物理物项或甚至在不使用容差的情况下具有与所设计物项完全相同的性质。现实为事物可跨越时间及/或环境条件在形状、大小、位置、与可能其它对象的相对位置方面改变。如此,难以在不假定或提供容差要求的情况下讨论物项或事物为理想的或不改变。本文中,例如实际上无视差的术语应意味着且用于意味着现实为大部分物理物项将需要具有尽管事物并非理想且可随时间改变仍实现组合件或物项的预期用途的容差。可在具有或不具有应用以意味着可能展示容差要求的相关措词的情况下确定无视差、无视差伪影、实际上无视差或实际上无视差伪影的术语使得实现系统、多个系统或物项的预期要求或用途。
在以下描述中,给出具体细节以提供对实例的透彻理解。然而,可在无这些特定细节的情况下实践实例。
图1E说明图1A到D、2B及2C中所展示的相机20的实施例及用于图1A到D的角度的正与负指示。相机20包含位于光轴19上的入射光瞳14的最中心点且在其处视野(FoV)16的顶点与光轴19交叉。相机20的实施例贯穿图1A到D、2A到B及2C经展示相机112、114e、116e、118e及120。相机20的前部分经表示为短条形15。平面含有入射光瞳且点14位于15的前面。相机的前面及入射光瞳的位置由15符号化。
下文说明相机20的角度指定。正角度是通过沿逆时针方向指向的圆线指定。负角度是由沿顺时针方向指向的圆线指定。始终为正的角度由具有沿顺时针及逆时针方向两者指向的箭头的圆线指定。笛卡尔(Cartesian)坐标系统经展示有从左向右走向的正水平方向X及从下向上走向的正垂直方向Y。图1A到1D呈现全局相机的部分110a、110b、110c、110d的实例示意性布置。因此,图1A到1D中所展示的所描绘角度大小、距离及相机尺寸可并非按比例绘制,且可在全局相机的不同实施方案中变化。
图1A说明包含中心相机112、第一相机114e、第二相机116e、第三相机118e及后置相机120的全局(例如,球面)相机配置110a(为清楚起见,在此说明条件下)的部分的一个实施例的实例的侧视图。如本文中下文所描述,所说明的第一相机114e、第二相机116e及第三相机118e各自为第一、第二及第三相机群组(或布置)的部分。全局配置110a还包括对应于第一相机114e、第二相机116e、第三相机118e及后置相机120的至少数个光再引导反射镜组件。光再引导反射镜组件(“反射镜”)134对应于第一相机114e,反射镜136对应于第二相机116e,反射镜138对应于第三相机118e且反射镜140对应于后置相机120。反射镜134、136、138、140将入射光反射朝向对应相机114e、116e、118e、120中的每一者的入射光瞳。在此实施例中,存在对应于每一相机的反射镜,除不具有相关联反射镜的中心前置相机112外。使用由中心相机112接收的光及如图2A及2B中所展示由第一组八个相机214a到h、第二组八个相机216a到h、第三组八个相机218a到h及后置相机120从全局场景接收的反射光来捕获图像,如下文关于图1到5更完整描述。尽管就反射镜方面进行描述,但光再引导反射镜组件可以致使相机接收传输光的任何方式反射、折射、或再引导光。
另外,全局相机配置110a(图1A中仅说明其部分)包含多个基本上非反射性表面170a到d。多个基本上非反射性表面可为不反射大量将造成图像伪影的光的任何材料,所述图像伪影可由(例如)来自多个反射镜的反射造成。此些材料的实例为深色塑料、木材、金属等。在另一实施例中,多个基本上非反射性表面170a到d少量位于相应相机中的每一者的视野中,且数字处理可移除多个基本上非反射性表面170a到d的所捕获部分。在另一实施例中,多个基本上非反射性表面170a到d少量在相应相机中的每一者的视野外。
图1A到D的成像系统包含多个相机。中心相机112位于具有经引导朝向第一方向的第一视野a的位置中。第一视野a(如图1A中所展示)面向可为中心相机112面向的任何方向的第一方向,这是因为成像系统经配置以捕获全局场景。中心相机112具有延伸穿过第一视野a的光轴113。由中心相机112在第一视野a中捕获的图像围绕中心相机112的投射光轴113,其中中心相机112的投射光轴113在第一方向上。
成像系统还包含后置相机120。后置相机120具有延伸穿过中心相机112的第一视野a的光轴113。后置相机120经定位沿着与中心相机112的光轴113叠合的线。后置相机120经定位以接收从背向再引导反射镜组件140再引导的入射光。背向再引导反射镜组件140安置在中心相机112与后置相机120之间。后置相机120经定位以捕获后置相机120的投射光轴113周围的第二视野e中的图像。后置相机120的投射光轴113是沿第一方向引导。
如图1A中所说明,由第一相机114e、第二相机116e及第三相机118e表示的成像系统进一步包含定位于中心相机112与后置相机120之间的多个侧相机114e、116e、118e。侧相机114e、116e、118e经定位以捕获未由中心相机112、后置相机120及图1A到D中未展示的其它侧相机捕获的全局场景的部分。侧相机114e、116e、118e从中心相机112的光轴113偏移。
所说明侧相机114e、116e、118e为三个相应的相机群组或布置(或环)中的每一相机。侧相机中的每一者的布置经定位成围绕所说明线160a,所述线与中心相机112的光轴对准。关于多个侧相机114e、116e、118e中的每一者形成与和实际相机112的光轴对准的所说明线160a同心的环,多个侧相机114e、116e及118e中的每一者可被称作相机“同心环”。为清楚起见,图1A到D中展示来自环114e、116e、118e中的每一者、中心相机112及后置相机120中的仅一个相机。侧相机114e为第一含8个相机的同心环的部分,8个相机中的每一者经定位成与其邻近相机成45度以形成360度相机同心环。未展示侧相机114a到d、114f到h。类似地,116e及118e为类似于第一相机同心环中的相机定位的第二及第三相机同心环的部分。术语“环”用于指示围绕(例如)线160a的相机的大体布置,术语环不将布置限制为圆形形状。术语“同心”是指共享相同中心或轴的两个或多于两个环。
如图1A到D中所展示,围绕光轴113的每一同心环的半径经展示为不同,而在另一实施例中,两个或多于两个同心环可具有距光轴113相同的半径距离。相机114a到h、116a到h、118a到h同心环呈多边形形状布置(例如,八边形)。第一相机114a到h同心环经布置且经配置以捕获在沿着光轴115的方向上的第三视野b中的图像。第三视野b从第一组相机114a到h向外投射。第三视野b的至少一部分介于在沿着光轴113的方向上的第一视野a与在沿着光轴121的方向上的第二视野之间。第二相机116a到h同心环经布置且经配置以捕获在沿着光轴117的方向上的第四视野c中的图像。第四视野c从第二组相机116a到h向外投射。第四视野c的至少一部分介于在沿着光轴115的方向上的第三视野b与在沿着光轴121的方向上的第二视野e之间。第三相机118a到h环经布置且经配置以捕获在沿着光轴119的方向上的第五视野d中的图像。第五视野d从第三组相机118a到h向外投射。第五视野d的至少一部分介于在沿着光轴117的方向上的第四视野c与在沿着光轴121的方向上的第二视野e之间。
在另一实施例中,侧相机114e、116e、118e各自分别为第一组阵列相机、第二组阵列相机及第三组阵列相机的部分,其中第一组阵列相机、第二组阵列相机及第三组阵列相机中的每一者共同地具有包含目标场景的至少一部分的视野。每一阵列相机包含图像传感器。第一组阵列相机中的图像传感器安置在第一衬底上,第二组阵列相机中的图像传感器安置在第二衬底上且第三组阵列相机安置在第三衬底上。例如,衬底可为塑料、木材等。此外,第一、第二及第三衬底安置在平行的平面中。
中心相机112、后置相机120、第一相机114a到h、第二相机116a到h及第三相机118a到h经配置且经布置使得在第一视野a、第二视野e、第三视野b、第四视野c及第五视野d中所捕获的图像共同地表示如从成像系统的视角所见的球面图像。
成像系统进一步包含安置在后置相机120与多个侧相机114e、116e、118e之间的背光再引导反射镜组件140。背光再引导反射镜组件140为上文所描述的多个光再引导反射镜组件中的一个类型的光再引导反射镜组件。背光再引导反射镜组件140经进一步安置成垂直于后置相机120的光轴113。
成像系统进一步包含多个侧光反射反射镜再引导组件134、136、138。多个侧相机114e、116e、118e中的每一者经定位以接收从多个光再引导反射镜组件134、136、138中的一者再引导的光。
在上述光再引导反射镜组件134、136、138、140中的每一者中,光再引导反射镜组件134、136、138、140包含多个反射器。
如现在将描述,全局相机配置110a包括使得全局相机配置110a能够为无视差或实际上无视差且具有来自共同视角的单个虚拟视野的各种角度及距离。由于全局相机配置110a具有单个虚拟视野,因此配置110a为无视差或实际上无视差。
在一些实施例中,单个虚拟视野包括共同查看全局场景的多个视野仿佛相机112、114a到h(展示114e)、116a到h(展示116e)、118a到h(展示118e)及120中的每一者的虚拟视野参考点具有单个原点145,所述单个原点为相机112的入射光瞳最中心点,而不管相机中的一些经定位于远离单个原点145的各种点处。为清楚起见,展示仅相机112、114e、116e、118e及120。例如,中心相机112根据在沿着光轴113的方向上的角度a(其从单个原点145的实际视野)捕获场景的部分。第一相机114e根据在沿着光轴115的方向上的角度b(其从单个原点145的虚拟视野)捕获场景的部分。第二相机116e根据在沿着光轴117的方向上的角度c(其从单个原点145的虚拟视野)捕获场景的部分。第三相机118e根据在沿着光轴119的方向上的角度d(其从单个原点145的虚拟视野)捕获场景的部分。后置相机120根据在沿着光轴121的方向上的角度e(其从单个原点145的虚拟视野)捕获场景的部分。由于第一相机114e、第二相机116e及第三相机118e为相机同心环的部分,因此共同虚拟视野将捕获全局场景,所述全局场景包含虚拟视野的至少各种角度a、b、c、d及e。为了捕获完整全局场景图像,所有相机112、114a到h、116a到h、118a到h,120个别地需要具有充分足够宽视野以确保实际及/或虚拟视野与实际及/或虚拟邻近视野重叠。
单个虚拟视野看起来仿佛相机中的每一者从单个原点145捕获场景,不管相机的实际物理位置位于远离单个原点145的各种点处。在此实施例中,单个原点145位于中心相机112的入射光瞳处。如此,第一相机114e的虚拟视野将仿佛第一相机114e从中心相机112的入射光瞳捕获视野b的场景。第二相机116e的虚拟视野将仿佛第二相机116e从中心相机112的入射光瞳捕获视野c的场景。第三相机118e的虚拟视野将仿佛第三相机118e从中心相机112的入射光瞳捕获视野d的场景。后置相机120的虚拟视野将被仿佛后置相机120从中心相机112的入射光瞳捕获视野e的场景。因此,中心相机112、第一相机114e、第二相机116e、第三相机118e及后置相机120中的每一者具有在单个原点145处的单个虚拟视野参考点,所述单个原点经定位于经沿各种方向引导以捕获全局场景的中心相机112的入射光瞳处。
在其它实施例中,各种视野可用于相机。例如,中心相机112可具有宽视野,第一相机114e可具有窄视野,第二相机116e可具有宽视野,第三相机118e可具有窄视野且后置相机120可具有宽视野。如此,相机中的每一者的视野不需要为相同的以捕获无视差或实质上无视差图像。然而,如下文在一个实施例的实例中且参考图及表所描述,相机具有60度的实际视野及45度的虚拟视野。在下文所描述的实施例中,视野重叠。然而,成像系统捕获无视差或实际上无视差图像并不需要重叠。
通过角度、距离及方程式的以下表中所列举的各种输入及输出使得无视差或实际上无视差成像系统及虚拟视野的上述实施例可能。
拍摄无视差伪影或实际上无视差伪影的多个图像的概念为通过使相机的光轴枢转来捕获对象空间中的场景的图像,其中每当捕获图像时相机的入射光瞳的最中心点保持位于相同位置中。捕获不具有任何视差伪影或具有实际上最小视差伪影的全景图片的所属领域的技术人员可认识到此方法。为实施此过程,可将相机112的光轴沿着多相机系统光轴113对准(如图1B中所展示),且放置相机112入射光瞳的最中心点以含有点145。在此位置处,可捕获图像。下一步骤,可使相机112的光轴顺时针旋转45度同时保持点145在相机112入射光瞳的最中心点中且保持相机112的光轴在图1B中所展示的页面的平面中且接着捕获第二图像。进一步假设相机112的视野实质上大于角度f2两倍。这两个图像应展示其中两个图像的视野重叠的场景的类似对象空间图像内容。当以此方式捕获图像时,应可能将这两个图像合并在一起以形成不具有任何视差伪影或实际上无视差伪影的图像。将两个或多于两个图像合并在一起的所属领域的技术人员可理解哪些视差伪影可能看起来相似且了解捕获无视差或实际上无视差伪影的目的。
可不期望通过使相机的光轴绕其入射光瞳位置枢转来捕获无视差或实质上无视差图像。使用相对于彼此固定在适当位置中的两个相机可为优选的。在此情况中,不可能使两个相机及其入射光瞳占据相同物理位置。作为替代方案,可使用光再引导反射镜表面形成虚拟相机,所述虚拟相机使其入射光瞳中心点含有或几乎含有另一相机(例如,112)的入射光瞳中心点。此是通过适当地定位光再引导反射镜表面(例如,表面134)与第二相机(例如,114e)来完成。图1B提供此系统的图式,其中光再引导反射镜表面134用于形成相机114e的虚拟相机,其中虚拟相机入射光瞳的中心含有点145。想法是以相机114e将从光再引导反射镜反射表面观察到其虚拟相机在不存在光再引导反射镜表面的条件下将观察到的相同场景这样的方式定位光再引导反射镜表面134及放置相机114e入射光瞳及光轴。重要地应指出,相机114e可相依于光再引导反射镜表面的大小及形状仅观察到虚拟相机将观察到的场景的部分。如果光再引导反射镜表面134仅占据相机114e的视野的部分,那么相机114e将仅看到其虚拟相机将看到的场景的部分。
一旦针对长度152b及角度f2、h2及k2选择值(如图1B中所展示),可使用表2的方程式来计算相机114e入射光瞳中心点的位置及其光轴相对于线111的角度。相机114e的入射光瞳中心点经定位成距多相机系统光轴113距离152b及距线111长度152b,线111垂直于线113。图1E提供图例,所述图例展示相依于角度的正负号的角旋转方向及相依于长度的正负号的从线111及113的交叉点的长度的方向。
表1
现在将参考图1A描述表1中的上述距离、角度及方程式。参考图1A到E,虚拟入射光瞳111的平面包含虚拟入射光瞳点145且垂直于光轴113。虚拟入射光瞳145的最中心点在理想上经定位在平面111与光轴113的交叉点处,其中平面111垂直于显示图的页面。理想上,中心相机112的虚拟入射光瞳145及入射光瞳彼此一致。在实际制作中,组件及定位的变化可造成入射光瞳145的中心点不位于光轴113与平面111的交叉点处;且同样地,其可为相机112的入射光瞳的实际位置及对准可不与虚拟入射光瞳145确切地一致,其中在这些状况下,可使用“实际”或等效表达为“实际上”的概念来意指如果可能展示可确定容差要求使得实现对系统、多个系统或物项的预期要求或目的,那么理想状况及在系统、多个系统及/或物项的前述容差内两者可被认为关于满足预期要求及/或目的等效。因此,在容差内,虚拟入射光瞳145与相机112的入射光瞳实质上一致且虚拟入射光瞳的最中心点与中心相机112入射光瞳实际上位于光轴113与平面111的交叉点处。
还参考图1A到E,平面192表示光再引导反射镜表面140与光轴113之间的交叉的平面且垂直于光轴113。
用于定位相机120(如全局相机配置110a中所展示)的表1中的输入为距离152a、角度f1、角度h1及角度k1。距离152a为虚拟入射光瞳111的平面与平面192之间的距离。此处,光再引导反射镜组件140的外边缘可为沿着光再引导反射镜组件140的任一点,这是因为光再引导反射镜组件140平行于虚拟入射光瞳111的平面。
角度f1表示光轴113与相机120的半角视野h1之间的半角视野。后置相机120将在其适于用于图1A到D中所展示的实施例的表1时被称作当前相机。当前相机的意义将针对表1、2、3及4中的每一者改变。针对表1、2、3及4,将把具有半角视野h1的相机称作为当前相机。当前相机在其适合于表1时为相机120。此外,注意到,当前相机半角视野h1在与用半角视野f1求和时将等于用于图1A中所展示的全局相机的180度半角视野。
当前相机及用于实施例的所有相机可各自为含有多个相机的相机系统或可为可不同于传统单镜筒透镜相机的另一类型相机。在一些实施例中,所使用的每一相机系统可由相机阵列或折叠式光学相机阵列构成。
角度h1表示当前相机的实际视野的一半。此处,当前相机为后置相机120。当前相机的总实际视野为角度h1(其为45度)的两倍。
角度k1(如图1A中所展示)表示光轴113与由组件140的光反射平面表面和含有图及光轴113的页面的平面形成的线之间的角度。
角度u1、u2及j1(表1中展示但图1A中未说明)主要用作表1中发现的方程的中间值。
距离158a(表1中展示但图1A中未说明)主要用作表1中发现的方程式的中间值。
距离150a为由光再引导反射镜组件140与由含有图1A的页面表示的平面所形成的线的长度的一半。图1A中所展示的长度140为150a的二倍且表示140的中心的点与光轴113交叉。
距离160a表示当前相机的入射光瞳与位于原点145的虚拟入射光瞳之间的距离的一半。此处,当前相机为后置相机120。
仍参考图1A,距离长度156a表示虚拟入射光瞳平面111及当前相机的入射光瞳的平面(其平行于虚拟入射光瞳平面111)的坐标位置。此处,当前相机为后置相机120。图1E中展示坐标系统的图例。
距离长度154a表示光轴113与相机120的入射光瞳的坐标位置。
角度m1及n1在图1A中未展示且为用于表1中所展示的方程式的中间值。
角度p1表示从对应于当前相机的光再引导反射镜组件的前侧和当前相机的实际视野的光轴的角度。此处,当前相机为后置相机120且对应光再引导反射镜组件为光再引导反射镜组件140。光再引导反射镜组件的前侧为再引导光的侧。
角度q1表示从由展示图1A的页面的平面与虚拟入射光瞳平面111所形成的线到当前相机的实际视野的光轴的角度。此处,当前相机为后置相机120。实际视野意指从实际真实相机的入射光瞳传出的视野。在此状况下,针对q1的实际真实相机为相机120。
图1B说明包含中心相机112及第一相机114e的全局相机配置110b的部分的实施例的实例的侧视图。在此实施例中,第一相机114e为当前相机。图1B还表示可使用本文中所呈现的方法在其上设想、设计及/或实现许多不同无视差或实际上无视差多相机实施例的模型。表2提供用于基于长度152b及角度f2、h2及k2而确定图1B中所展示的距离及角度的方程式。
表2
上述距离、角度及方程式具有如上文关于图1A所描述的类似关系。表2的输入中的而一些不同于表1的输入。将从图1A区分上述距离、角度及方程式之间的主要不同。在图1A及表1中,距离中的一些具有下标“a”且角度中的一些具有下标“1”。表1的这些带下标的距离及角度具有类似于图1B及表2的带下标的距离及角度的关系。在图1B及表2中,距离中的一些具有下标“b”且角度中的一些具有下标“2”。因此,上文关于图1A及表1所描述的距离及角度关系可类似地用于计算图1B及表2的距离及角度。
在图1B中,说明表2的角度及距离。展示中心相机112及第一相机114e。第一相机114e的入射光瞳根据距离154b及距离156b从虚拟入射光瞳145偏移。距离长度154b表示从光轴113和第一相机114e的入射光瞳中心点的坐标位置,其中距离154b经测量垂直于光轴113。此处,当前相机为第一相机114e。
距离长度156b表示从平面111和含有第一相机114e的入射光瞳中心点的平面的坐标位置且平行于平面111。此处,当前相机为第一相机114e。
仍参考图1B,用于系统110b的图1B中所展示的点137经定位于展示图1B的页面的平面上且距光轴113距离150b且距由平面111与用于图1B的页面的平面的交叉点形成的距离152b。为便于解释,有时将参考线111,所述线111将被理解为由平面111与展示图(例如,图1A到D中的一者)的平面的交叉点形成的线。
平面光再引导反射镜表面134经展示有由平面表面134与展示图1B的页面的平面交叉点所形成的线。出于解释图1B及图1A、1C及1D的目的,将假定平面表面134垂直于页面的平面。然而,重要地应指出,平面表面134并非必须垂直于页面的平面。
在参考线134时,应理解,参考由平面表面134与页面的平面的交叉点形成的线。
表2提供角度k2,所述角度为从平行于光轴113的线到线134的顺时针旋转角度且还含有点137。相机112的视野边缘是通过标记有170a及170b的两个交叉线展示,其中这两个线交叉于相机112的入射光瞳的中心点处。相机112的半角视野在多相机光轴113与视野边缘170a及170b之间为f2
如图1B中所展示,相机112使其光轴与线113一致。相机114e的半角视野相对于相机114e光轴115为h2。相机114e的虚拟相机的光轴经展示从光再引导反射镜表面134再引导。假定光再引导反射镜表面134优选地为平坦的且为垂直于其上展示图1B的页面的平面的平面表面。进一步假定,光再引导反射镜平面表面134完全覆盖相机114e的视野。如图1B中所展示,光轴115交叉于平面光再引导反射镜表面134上的点处。逆时针角度p1经展示从光再引导反射镜表面134到相机114e的光轴115。基于从反射镜或等效光反射镜表面的光反射的性质,及图1B中所展示的线被含于图1B的平面中的假设,发现逆时针角度m2及n2等于p2。光线可在展示图1B的页面的平面内沿着光轴115朝向相机114行进且从光再引导反射镜等效表面134反射朝向相机114e的入射光瞳的中心点,其中基于从发射镜等效表面的光反射的性质,角度n2及p2必须相等。光轴115经展示延伸越过光反射表面134朝向虚拟入射光瞳中心点145。逆时针旋转角度m2可基于三角学经展示为等于n2
从此,可经展示,平面光再引导反射镜表面134将与从相机112的入射光瞳中心点到相机114e的入射光瞳中心点的线垂直地交叉。因此,两个线长度160b可经展示为等间距。
平面光再引导反射镜表面134仅覆盖相机114e的视野的部分是可能的。在此状况下,并非所有从对象空间朝向虚拟相机入射光瞳(其在其中心处包含点145,如图1B中所展示)行进的射线将从部分覆盖相机114e的视野的光再引导反射镜表面134的平面部分反射。从这观点看,考虑相机114e具有由半角视野h2、光轴115及其入射光瞳的位置(如由长度154b及156b以及图1E中所展示的图例所描述)所定义的视野是重要的。在此视野内,表面(光再引导反射镜表面134的光反射平面部分)可部分在其视野中。从对象空间朝向相机114e的虚拟相机的入射光瞳行进且从光再引导反射镜表面134的平面部分反射开的光线将行进至相机114e的入射光瞳上,前提是光再引导反射镜表面134的平面部分及相机112和114e是如图1B中所展示,且根据图1E上所展示的图例,表2的方程式以及根据输入值152b、f2、h2及k2定位。
表3
图1C说明包含中心相机112、第一相机114e及第二相机116e的全局相机配置110c的部分的实施例的实例的侧视图。在此实施例中,第二相机116e为当前相机。
上述距离、角度及方程式具有如上文关于图1A及1B所描述的类似关系。表3的输入中的而一些不同于表1及2的输入。将从图1A区分上述距离、角度及方程式之间的主要不同。在图1A及表1中,距离中的一些具有下标“a”且角度中的一些具有下标“1”。表1的这些带下标的距离及角度具有类似于图1C及表3的带下标的距离及角度的关系。在图1C及表3中,距离中的一些具有下标“c”且角度中的一些具有下标“3”。因此,上文关于图1A所描述的距离及角度关系可类似地用于计算图1C及表3的距离及角度。
在图1C中,说明表3的角度及距离。展示中心相机112、第一相机114e及第二相机116e。第二相机116e的入射光瞳根据距离154c及距离156c从虚拟入射光瞳145偏移。距离长度154c表示从光轴113到第二相机116e的入射光瞳中心点的坐标位置,其中图1E中展示坐标系统的方向及定向。此处,当前相机为第二相机116e。
距离长度156c表示从平面111和含有第二相机116e的入射光瞳中心点的平面的坐标位置且平行于平面111。此处,当前相机为第二相机116e。
剩余距离及角度可从表3中找到且在图1C中说明。在表3中找到且在图1C中说明的距离及角度的关系可与在表1中找到且在图1A中所说明及在表2中找到且在图1B中所说明的距离及角度有关。
图1D说明包含中心相机112、第一相机114e、第二相机116e及第三相机118e的全局相机配置110d的部分的实施例的侧视图。在此实施例中,第三相机118e为当前相机。
表4
上述距离、角度及方程式如上文关于图1A到C所描述具有类似关系。表4的输入中的一些不同于表1到3的输入。将从图1A区分上述距离、角度及方程式之间的主要不同。在图1A及表1中,距离中的一些具有下标“a”且角度中的一些具有下标“1”。表1的这些加下标距离及角度具有类似于图1D及表4的加下标距离及角度类似的关系。在图1D及表4中,距离中的一些具有下标d且角度中的一些具有下标4。因此,上文关于图1A所描述的距离及角度关系可类似地用于计算图1D及表4的距离及角度。
在图1D中,说明表4的角度及距离。展示中心相机112、第一相机114e、第二相机116e及第三相机118e。第三相机118e的入射光瞳根据距离154d及距离156d从虚拟入射光瞳145偏移。距离长度154d表示从光轴113和第三相机118e的入射光瞳中心点的坐标位置,其中距离154d经测量垂直于光轴113。此处,当前相机为第一相机118e。
距离156d表示从平面111和含有第三相机118e的入射光瞳中心点的平面的坐标位置且平行于平面111。此处,当前相机为第二相机118e。
剩余距离及角度可从表4中找到且在图1D中说明。在表4中找到且在图1D中说明的距离及角度的关系可与在表1中找到且在图1A中所说明,在表2中找到且在图1B中说明及在表3中找到且在图1C中所说明的距离及角度有关。
现在将揭示对用以设计多相机系统的一个方式的解释。一种方法为使用图1B中所展示的模型、图1E中所展示的图例及表2中所展示的方程式研发多相机系统。第一决策中的一者为确定是否将使用中心相机112。如果不使用中心相机112,那么应将半角视野f2设置为零。可基于其它考虑因素而选择下一半角视野h2,所述其它因素为设计此系统可考虑的那些考虑因素。长度152b将按比例调整多相机系统的大小。在研发设计时的一个目标是确保可能或将会使用的相机的大小将适配设计的最终结构。长度152b可在设计阶段改变以发现容纳可用于多相机系统的相机及其它组件的适合长度。存在当为152b选择适合值时应考虑的其它考虑因素。光再引导反射镜平面表面的角度k2可改变,目标是使用长度154b及156b及图1E上展示的图例和相机114e的光轴角度q2来找到相机114e的入射光瞳的位置。可能想要最宽多相机图像,所述最宽多相机图像可能够通过将来自系统的每一相机的所有图像合并在一起来获得。在此状况下,期望保持每一相机在所有相机的视野外部。可能需要尝试152b、f2、h2及k2的不同输入,直到在实现所要组合图像视野的同时,保持其它相机的图像在此组合视野外为止。
一旦多相机系统已根据表2、图1B及1E由输入152b、f2、h2及k2指定,就可将此多相机系统标记为第一相机级。可再次使用图1B中所展示的模型,其中第一相机级此次将用于中心相机112。
现在通过再次使用图1B且将第一相机级用作中心相机112来设计第二相机级。将需要选择高度152b,其将与经选择以用于第二相机级的半角f2一起工作。
在此状况下,针对第二级所选择的半角视野f2可在度数上小于由第一相机级观察的实际图像。选择哪一值用于f2将取决于设计者的目标及目的。
假定已选择f2的值,且问题是应为针对构成第二相机级的周围相机的h2选择什么半角视野,所述第二相机级包含作为第二相机级的中心相机的第一相机级。所有相机可具有不同于彼此的半角视野,但假定第二相机级的所有周围相机114e将具有相同半角视野h2。期望选择将与第一相机级适配的第二相机级的152b的长度及角度h2和k2,以保持所有相机在彼此的视野外且物理上可能将相机放置在可实现结构内。图1A将有助于解释这些目标。关于相机114e选择的表1到4的输入值152、f、h及k在光再引导反射镜表面136与黑色非反射或最小无反射表面170c之间具有已知大小,例如,相机114e可基于设计的目标而需要在表面170c与136之间适配。表面170c可限制由相机114e观察到的视野,如图1A中所展示。相机114e的视野可进一步受光再引导反射镜表面134限制,所述光再引导反射镜表面134可仅占据相机114e的视野的一部分;例如,光再引导反射镜表面134可被视为相机114e的视野内的可不完全填充相机114e的视野的对象。第二相机级的相机116e可使其视野受非反射或最小反射表面170d及光再引导反射镜表面136限制。光再引导反射镜表面起到额外作用,其中光再引导反射镜表面136的长度可延伸成使得相机114e不会被相机116e观察到。可能不需要阻挡相机114e在116e的图像中,因为114e的图像可以被裁剪掉。可存在可使得阻挡相机114e的图像在相机116e视野中出现是所期望的的其它考虑因素。
一旦包含第一相机级的第二相机级的设计完成,就可再次使用图1B及表2来设计其中使用第二相机级作为图1B中所展示的相机112的中心相机的第三相机级,且可以类似方式重复用于设计第二相机级的方法。
在图1A中所展示的实施例中,单个相机120经展示用于第四相机级,其中其光轴与多相机系统光轴113一致,且光再引导反射镜表面140在上文先前所描述的位置处。使用表1及图1B与1E所展示的模型来描述光再引导反射镜表面140的位置及定向。
不需要使用单个相机,例如图1A中所展示的相机120。相机120可由如上文关于第一级相机及/或例如第二、第三或更多级的多个级所描述的多个相机系统构成。
在图1A的替代实施例中,可能使用查看通常沿第一相机级查看的方向相反的方向指向的对象空间的多个相机。
可存在比第一相机级、第二相机级、第三相机级及/或第四相机级及/或更多相机级多或少的相机级。通过使用更多或更少相机级,可能够想出、设计或设想宽视野相机、半球宽视野相机,或(例如)可不利用后置相机的(例如,相机120)比半球大的超宽视野相机。实际设计取决于在研发多相机系统时做出的选择。如先前所述,相机中的任一者不需要具有与其它相机中的任一者相同的视野。所有光再引导反射镜表面并非必须相对于查看所述光再引导反射镜表面的最接近相机具有相同形状、大小或定向。也并非需要所有相机完全重叠邻近图像的视野以便具有经描述为能够捕获无视差或实际上无视差图像的多相机系统。
在模型图1B中,展示光轴115与光再引导反射镜表面134交叉。可经展示,在使上文所描述的交叉点移动到平面光再引导反射镜表面134上的任何位置的条件下,多相机系统(例如,图1B中所展示的多相机系统)将仍无视差或实际上无视差。如上文所描述,交叉点为其中相机114e的光轴115与其虚拟相机的光轴相交的点且交叉点位于平面光再引导反射镜表面134。
在多相机无视差或实际上无视差相机系统层中,所使用的相机中的每一者的视野并非必须相等。
可能设计无视差或实际上无视差多相机系统,其中由图1B中的光再引导反射表面134以表面134并非平面但可反射或折射光的这种方式表示的光再引导反射镜表面为整个相机系统的设计的部分。
图2A说明包含中心相机、第一相机214a到h环、第二相机216a到h同心环、第三相机218a到h同心环及后置相机(未展示)的全局相机配置210a的部分的实施例的前视图。为清楚起见,未展示光再引导反射镜组件及实际上非反射性表面。
相应同心环中的每一者的相机中的每一者经定位与相应同心环的邻近相机中的每一者成45度。举例来说,相机216a经定位在相对于b相机的平面及a相机的平面与相机216b成45度的位置处。相机216a进一步经定位在相对于h相机的平面及a相机的平面与相机216h成45度的位置处。
相应同心环中的每一者的相机中的每一者距从中心相机212延伸到后置相机的轴250等距。举例来说,相机216a到h全部距轴250等距。
在此实施例中,后置相机未被展示,这是因为后置相机经定位在前置相机之后。另外,相机的位置出于说明目的将展示每一相机的相对位置。每一相机可倾斜以根据上文关于图1A到D所论述的配置捕获视野。
在此说明中,第一同心环、第二同心环及第三同心环经展示为各自具有八个相机。可添加额外相机以增加所捕获的全局图像的质量。可添加额外同心环以增加所捕获的全局图像的质量。
图2B说明包含中心相机(未展示)、第一相机214a到h同心环(214b到d未展示)、第二相机216a到h同心环(216b到d未展示)、第三相机218a到h同心环(218b到d未展示)及后置相机220的全局相机配置210b的部分的实施例的侧视图。
相应同心环中的每一者的相机中的每一者经定位在相应同心环的相同平面中。举例来说,相机216a到h是沿着平面276定位。类似地,相机214a到h是沿着平面274定位且相机218a到h是沿着平面278定位。后置相机220是沿着平面280定位。在说明性实施例中,平面274、276、278、280平行或基本上平行。轴250说明后置相机220的光轴,所述光轴为与中心相机的光轴相同的虚拟轴。
在此实施例中,相机的位置出于说明目的将展示每一相机的相对位置。每一相机可倾斜以根据上文关于图1A到D所论述的配置捕获视野。
在此说明中,第一同心环、第二同心环及第三同心环经展示为各自具有八个相机(每一同心环的相机b到d被隐藏在相应同心环的相机之后)。可添加额外相机以增加所捕获的全局图像的质量。可添加额外同心环以增加所捕获的全局图像的质量。
图2C说明包含中心相机(未展示)、第一相机214a到h同心环(214b到d未展示)、第二相机216a到h同心环(216b到d未展示)、第三相机218a到h同心环(218b到d未展示)及后置相机220的全局相机配置210b的部分的实施例的侧视图。
图2C类似于图2B,除图2C展示后置相机220相对于沿着平面278定位的同心环在不同位置中以外。后置相机220的位置用于说明后置相机220可相对于沿着平面274、276、278的其它同心环定位在各种位置中。然而,为了维持无视差或基本上无视差全局相机系统,后置相机220用具有来自与其它相机相同的虚拟入射光瞳位置的虚拟视野。此虚拟视野可通过各种实施方案实现。举例来说,一个实施方案包含使后置相机220为具有来自与其它相机相同的虚拟入射光瞳位置的虚拟视野的相机阵列。下文关于图3进一步详细描述此类型的相机。
可实施的后置相机220的另一实例为使图2B的后置相机220旋转以面向中心相机的相对方向。在此实施方案中,后置相机将不具有来自与其它相机相同的虚拟入射光瞳位置的虚拟视野。如此,此实施方案将为无视差或基本上无视差,如在上文所描述实施例中。
在此实施例中,相机的位置出于说明目的将展示每一相机的相对位置。每一相机可倾斜以根据上文关于图1A到D所论述的配置捕获视野。
在此说明中,第一同心环、第二同心环及第三同心环经展示为各自具有八个相机(每一同心环的相机b到d被隐藏在相应同心环的相机之后)。可添加额外或更少相机。可添加额外或更少同心环。
图3说明折叠式光学多传感器组合件310的实施例的横截面侧视图。除其它外,折叠式光学多传感器组合件310适于供自动聚焦系统及技术使用。折叠式光学多传感器组合件310包含可全部被安装(或连接)到衬底336的图像传感器332、334,反射性次要光折叠表面328、330,透镜组合件324、326,及中心反射元件316。
在某些实施例中,图像传感器332、334可包含电荷耦合装置(CCD)、互补金属氧化物半导体传感器(CMOS),或接收光且响应于所接收图像产生图像数据的任何其它图像感测装置。每一传感器332、334可包含经布置成阵列的多个传感器(或传感器元件)。图像传感器332、334可产生关于静止照片的图像数据且还可产生关于所捕获视频流的图像数据。传感器332及334可为个别传感器阵列,或各自可表示传感器阵列的阵列,例如,传感器阵列的3×1阵列。然而,如由所属领域的技术人员将理解,任何适合传感器阵列可用于所揭示实施方案中。
传感器332、334可经安装在衬底336上,如图3中所展示。在一些实施例中,所有传感器可通过经安装到平坦衬底336而位于一个平面上。衬底336可为任何适合基本上平坦材料。中心反射元件316及透镜组合件324、326也可经安装在衬底336上。多个配置可用于安装一或多个传感器阵列,多个透镜组合件及多个主要及次要反射或折射表面。
在一些实施例中,可使用中心反射元件316来将光从目标图像场景再引导朝向传感器332、334。中心反射元件316可为一反射表面(例如,反射镜)或多个反射表面(例如,反射镜),且可为平坦的或视需要塑形以恰当地将传入光再引导到图像传感器332、334。举例来说,在一些实施例中,中心反射元件316可为经定大小且经塑形以将传入光线分别穿过透镜组合件324、326反射到传感器332、334的反射镜。中心反射元件316可将构成目标图像的光分裂成多个部分且在不同传感器处引导每一部分。举例来说,中心反射元件316(在其它实施例可实施折射棱镜而非反射表面时,也被称作主要光折叠表面)的第一反射表面312可将对应于第一视野320的光的部分发送到第一(左)传感器332而第二反射表面314将对应于第二视野322的光的第二部分发送到第二(右)传感器334。应了解,图像传感器332、334的视野320、322一起至少覆盖目标图像。
在其中接收传感器各自为多个传感器的阵列的一些实施例中,中心反射元件可由相对于彼此成角度以便将目标图像场景的不同部分发送到传感器中的每一者的多个反射表面制成。阵列中的每一传感器可具有基本上不同视野,且在一些实施例中,视野可重叠。中心反射元件的某些实施例可具有复杂非平面表面以增加设计透镜系统时的自由度。此外,尽管中心元件经论述为反射表面,但在其它实施例中,中心元件可为折射的。举例来说,中心元件可为配置有多个小面的棱镜,其中每一小面将构成场景的光的部分引导到传感器中的一者。
在从中心反射元件316反射开之后,入射光的至少一部分可传播穿过透镜组合件324、326中的每一者。一或多个透镜组合件324、326可经设置在中心反射元件316与传感器332、334和反射表面328、330之间。透镜组合件324、326可用于聚焦经引导朝向每一传感器332、334的目标图像的部分。
在一些实施例中,每一透镜组合件可包括一或多个透镜及致动器,所述致动器用于使透镜在多个不同透镜位置间移动。致动器可为音圈电机(VCM)、微电子机械系统(MEMS),或形状记忆合金(SMA)。透镜组合件可进一步包括用于控制致动器的透镜驱动器。
在一些实施例中,传统自动聚焦技术可通过改变透镜324、326与每一相机的对应传感器332、334之间的焦距来实施。在一些实施例中,此可通过移动透镜镜筒来完成。其它实施例可通过将中心光再引导反射镜表面向上或向下移动或通过调整光再引导反射镜表面相对于透镜组合件的角度来调整焦点。某些实施例可通过将侧光再引导反射镜表面移动越过每一传感器来调整焦点。此些实施例可允许组合件个别地调整每一传感器的焦点。此外,一些实施例可能(例如)通过将如同液态透镜的透镜放置在整个组合件上方来立刻改变整个组合件的焦点。在一些实施方案中,可使用计算摄影学来改变相机阵列的焦点。
视野320、322向折叠式光学多传感器组合件310提供从虚拟区342感知的虚拟视野,其中虚拟视野是由虚拟轴338、340定义。虚拟区342为传感器332、334感知且对目标图像的传入光敏感的区。虚拟视野应与实际视野形成对比。实际视野为检测器对传入光敏感的角度。实际视野与虚拟视野不同之处在于虚拟视野为传入光实际上从未到达的感知角度。例如,在图3中,传入光从未到达虚拟区342,这是因为传入光从反射表面312、314反射开。
可将多个侧反射表面(例如,反射表面328及330)设置在中心反射远距316周围与传感器相对。在穿过透镜组合件之后,侧反射表面328、330(在其它实施例可实施折射棱镜而非反射表面时,也被称作次要光折叠表面)可将光(如图3中的定向所描绘,为“向下”)反射到传感器332、334上。如所描绘,传感器332可经定位在反射表面328下面且传感器334可经定位在反射表面330下方。然而,在其它实施例中,传感器可位于侧反射表面上面,且侧反射表面可经配置以向上反射光。侧反射表面及传感器的其它适合配置是可能的,其中来自每一透镜组合件的光经再引导朝向传感器。某些实施例可使侧反射表面328、330的移动能够改变相关联传感器的焦点或视野。
可通过与所述传感器相关联的中心反射元件316的表面将每一传感器的视野320、322引导到对象空间中。可采用机械方法来将反射镜倾斜及/或将棱镜在阵列中移动使得可将每一相机的视野操纵到对象场上的不同位置。举例来说,上述情形可用于实施高动态范围相机以增加相机系统的分辨率,或实施全光相机系统。可将每一传感器的(或每一3×1阵列的)视野投射到对象空间中,且每一传感器可根据所述传感器的视野捕获包括目标场景的部分图像。如图3中所说明,在一些实施例中,相对传感器阵列332、334的视野320、322可重叠特定量318。为减少重叠318且形成单个图像,可使用如下文所描述的拼接过程来组合来自两个相对传感器阵列332、334图像。拼接过程的某些实施例可采用重叠318来识别将部分图像拼接在一起的共用特征。在将重叠图像拼接在一起之后,可将经拼接图像裁剪到所要纵横比(例如,4:3或1:1)以形成最终图像。在一些实施例中,光学元件相对于每一FOV的对准经布置以使重叠318最小化使得多个图像经形成单个图像,其中在接合图像中需要最小或不需要图像处理。
如在图3中所说明,折叠式光学多传感器组合件310具有总高度346。在一些实施例中,总高度346可为大约4.5mm或更少。在其它实施例中,总高度346可为大约4.0mm或更少。尽管为未说明,整个折叠式光学多传感器组合件310可经提供于具有大约4.5mm或更少或大约4.0mm或更少的对应内部高度的壳体中。
如本文中所使用,术语“相机”可是指图像传感器,透镜系统,及若干个对应光折叠表面,例如,主要光折叠表面314、透镜组合件326、次要光折叠表面330及传感器334,如图3中所说明。折叠式光学多个传感器组合件(被称作“阵列”或“阵列相机”)可在各种配置中包含多个此些相机。阵列配置的一些实施例经揭示于在2013年3月15日提出申请的且标题为“使用折叠式光学器件的多相机系统(MULTI-CAMERA SYSTEM USING FOLDED OPTICS)”的美国申请公开案第2014/0111650号,所述美国申请公开案的揭示内容特此以引用的方式并入。将从用于本文中所描述的自动聚焦系统及技术获益的其它阵列相机配置是可能的。
图4描绘装置410的高级框图,所述装置具有包含链接到一或多个相机420a到420n的图像处理器426的一组组件。图像处理器426也与工作存储器428、存储器412及装置处理器430通信,所述装置处理器又与存储器434及电子显示器432通信。
装置410可为蜂窝式电话、数字相机、平板计算机、个人数字助理或其类似者。存在许多便携式计算装置,其中例如本文中所描述的减少厚度成像系统将提供优点。装置410也可为静止计算装置或其中薄成像系统将为有利的任何装置。多个应用可由装置410上的用户使用。这些应用可包含传统摄影学及视频应用,高动态范围成像、全景照片及视频,或立体成像(例如3D图像或3D视频)。
图像捕获装置410包含用于捕获外部图像的相机420a到420n。相机420a到420n中的每一者可包括传感器、透镜组合件及用于将目标图像的部分反射到每一传感器的主要及次要反射或折射镜表面,如上文关于图3所论述。一般来说,可使用N个相机420a到420n,其中N≥2。因此,可将目标图像分裂成N个部分,其中N个相机中的每一传感器根据传感器的视野捕获目标图像的一个部分。应理解,相机420a到n可包括适于本文中所描述的折叠式光学成像装置的实施方案的任何数目个相机。可使传感器的数目增加以实现系统的较低z高度,或满足其它用途的需要,例如具有类似于全光相机的视野的重叠视野,此可实现在后处理之后调整图像的焦点的能力。其它实施例可具有适于高动态范围相机的视野重叠配置,实现捕获两个同时图像且接着将其合并在一起的能力。相机420a到n可耦合至图像处理器426以将所捕获图像传递到工作存储器428、装置处理器430,到电子显示器432及存储装置(存储器)434。
图像处理器426可经配置以对包括目标图像的N个部分的所接收图像数据执行各种处理操作以便输出高质量经拼接图像,如下文将更详细描述。图像处理器426可为通用处理单元或经特殊设计用于成像应用的处理器。图像处理操作的实例包含裁剪、比例调整(例如,比例调整成不同分辨率)、图像拼接、图像格式转换、颜色插值、颜色处理、图像滤波(例如,空间图像滤波)、透镜伪影或缺陷校正等。在一些实施例中,图像处理器426可包括多个处理器。某些实施例可具有专用于每一图像传感器的处理器。图像处理器426可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。
如所展示,图像处理器426经连接到存储器412及工作存储器428。在所说明实施例中,存储器412存储捕获控制模块414、图像拼接模块416、操作系统418及反射器控制模块419。这些模块包含配置装置处理器430的图像处理器426以执行各种图像处理及装置管理任务的指令。工作存储器428可由图像处理器426用于存储经包含在存储器组件412的模块中的工作处理器指令集。替代地,工作存储器428还可由图像处理器426用于存储在装置410的操作期间形成的动态数据。
如上文所提及,图像处理器426是由存储在存储器中的数个模块配置。捕获控制模块414可包含配置图像处理器426以调用反射器控制模块419来将相机的可伸缩反射器定位在第一或第二位置中的指令,可包含配置图像处理器426以调整相机420a到n的焦点位置的指令。捕获控制模块414可进一步包含控制装置410的整个图像捕获功能的指令。捕获控制模块414可进一步包含控制装置410的整个图像捕获功能的指令。举例来说,捕获控制模块414可包含调用子例程以配置图像处理器426以使用相机420a到n捕获目标图像场景的原始图像数据的指令。捕获控制模块414可接着调用图像拼接模块416来对由相机420a到n捕获的N个部分图像执行拼接技术并将经拼接及经裁剪目标图像输出到成像处理器426。捕获控制模块414还可调用图像拼接模块416以对原始图像数据执行拼接操作以便输出待捕获的场景的预览图像,且将以特定时间间隔或在原始图像数据中的场景改变时更新预览图像。
图像拼接模块416可包括配置图像处理器426以对所捕获的图像数据执行拼接及裁剪技术的指令。举例来说,N个传感器420a到n中的每一者可根据每一传感器的视野捕获包括目标对象的部分的部分图像。视野可共享重叠区域,如上文及下文所描述。为了输出单个目标图像,图像拼接模块416可配置图像处理器426以组合多个N个部分图像以产生高分辨率目标图像。目标图像产生可通过已知图像拼接技术来发生。图像拼接的实例可在美国专利申请案第11/623,050号中找到,所述美国专利申请案特此以引用的方式并入。
举例来说,图像拼接模块416可包含用以针对匹配特征而比较沿着N个部分图像的边缘的重叠区域以便判定N个部分图像相对于彼此的旋转及对准的指令。由于部分图像的旋转及/或每一传感器的视野的形状,组合图像可形成不规则形状。因此,在对准及组合N个部分图像之后,图像拼接模块416可调用子例程,所述子例程配置图像处理器426以将组合图像裁剪成所要形状及纵横比(例如,4:3矩形或1:1正方形)。可将经裁剪图像发送到装置处理器430以用于在显示器432上显示或用于保存在存储器434中。
操作系统模块418配置图像处理器426以管理工作存储器428及装置410的处理资源。举例来说,操作系统模块418可包含装置驱动器以管理硬件资源,例如相机420a到n。因此,在一些实施例中,经包含在上文所论述的图像处理模块中的指令可不与这些硬件资源直接交互,但替代地通过标准子例程或位于操作系统组件418中的API交互。操作系统418内的指令可接着与这些硬件组件直接交互。操作系统模块418可进一步配置图像处理器426以与装置处理器430共享信息。
图像处理器426可(例如)通过使用触敏显示器432向用户提供图像捕获模式选择控制,从而允许装置410的用户选择对应于标准FOV图像或广泛FOV图像的图像捕获模式。
装置处理器430可经配置以控制显示器432向用户显示所捕获的图像,或所捕获的图像的预览。显示器432可在成像装置410外部或可为成像装置410的部分。显示器432还可经配置以提供寻像器(view finder),所述寻像器在捕获图像之前向用户显示预览图像,或可经配置以显示存储于存储器中或最近由用户捕获的所捕获的图像。显示器432可包括LCD或LED屏幕,且可实施触敏技术。
装置处理器430可将数据写入到存储模块434,例如表示所捕获的图像的数据。虽然存储模块434以图形方式表示为传统磁盘装置,但所属领域的技术人员将理解存储模块434可经配置为任何存储媒体装置。举例来说,存储模块434可包含磁盘驱动,例如,软盘磁盘驱动、硬磁盘驱动、光学磁盘驱动或磁光盘驱动,或固态存储器,例如快闪(FLASH)存储器、RAM、ROM及/或EEPROM。存储模块434还可包含多个存储器单元,且存储器单元中的任一者可经配置以位于图像捕获装置410内,或可在图像捕获装置410外部。举例来说,存储模块434可包含ROM存储器,所述ROM存储器含有存储在图像捕获装置410内的系统程序指令。存储模块434还可包含经配置以存储可从相机移除的所捕获的图像的存储卡或高速存储器。
尽管图4描绘具有单独组件的装置以包含处理器、成像传感器及存储器,但所属领域的技术人员将认识到这些单独组件可以各种方式组合以实现特定设计目的。举例来说,在替代实施例中,存储器组件可与处理器组件组合以节省成本且改进性能。另外,尽管图4说明两个存储器组件,包含包括数个模块的存储器组件412及包括工作存储器的单独存储器428,所属领域的技术人员将认识到利用不同存储器架构的数个实施例。举例来说,设计可利用ROM或静态RAM存储器来存储实施含于存储器组件412中的模块的处理器指令。可将处理器指令载入到RAM中以促进由图像处理器426执行。举例来说,工作存储器428可包括RAM存储器,其中指令在由处理器426执行前经载入到工作存储器428。
图5说明捕获目标图像的方法500的一个实例的框。产生描绘球面视野(FOV)的图像的方法500包含数个框。
在框505处,在前置相机中产生正面图像,所述前置相机经定位以捕获围绕所述前置相机的投射光轴的第一FOV中的图像。所述前置相机的投射光轴在第一方向上。
在框510处,在后置相机中产生背面图像,所述后置相机经定位以接收由安置在所述前置相机与所述后置相机之间的背向再引导反射镜组件再引导的光。所述后置相机经定位以捕获第二FOV中的图像。
在框515处,在一组第一相机中产生第一图像,所述组第一相机安置在所述前置相机与所述后置相机之间且呈多边形形状布置。所述第一相机经共同地配置以捕获第三FOV中的图像。所述第三FOV为圆形形状且从所述第一相机向外投射。所述第三FOV的至少一部分在所述第一FOV与所述第二FOV之间。
在框520处,在一组第二相机中产生第二图像,所述组第二相机安置在所述第一相机与所述后置相机之间且呈多边形形状布置。所述第四相机经共同地配置以捕获第四FOV中的图像。所述第四FOV为圆形形状且从所述第二相机向外投射。所述第四FOV的至少一部分在所述第三FOV与所述第二FOV之间。
在框525处,在一组第三相机中产生第三图像,所述组第三相机安置在所述第二相机与所述后置相机之间且呈多边形形状布置,且经共同地配置以捕获第五FOV中的图像。所述第五FOV为圆形形状从所述第三相机向外投射。所述第五FOV的至少一部分在所述第四FOV与所述第二FOV之间。
在框530处,将正面图像、背面图像、第一图像、第二图像及第三图像接收在至少一个处理器中。用所述至少一个处理器产生包含所述正面图像、背面图像、第一图像此、第二图像及第三图像中的至少一部分的镶嵌式图像。镶嵌式图像经产生以描绘如从球面图像内的视角所看到的球面图像。产生镶嵌式图像包含将正面图像、背面图像、第一图像、第二图像及第三图像中的至少一部分拼接在一起。
第一、第二、第三、第四及第五FOV至少部分地重叠。所述组第一相机、所述组第二相机及所述组第三相机经布置以形成三个同心环。后置相机为折叠式光学多传感器组合件。
本文中所揭示的实施方案提供用于无视差及倾斜伪影的多孔径阵列相机的系统、方法及设备。所属领域的技术人员将认识到,这些实施例可以硬件、软件、固件或其任何组合实施。
在一些实施例中,上文所论述的电路、进程及系统可用于无线通信装置。无线通信装置可为用于与其它电子装置进行无线通信的一类电子装置。无线通信装置的实例包含蜂窝式电话、智能电话、个人数字助理(PDA)、电子阅读器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板装置,等。
无线通信装置可包含一或多个图像传感器、两个或多于两个图像信号处理器、包含用于实施上文所论述的CNR过程的指令或模块的存储器。装置还可具有数据、从存储器载入指令及/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如显示装置及电源/接口)。无线通信装置可另外包含发射器及接收器。发射器及接收器可共同被称作收发器。收发器可被耦合到一或多个天线用于传输及/或接收无线信号。
无线通信装置可以无线方式连接到另一电子装置(例如,基站)。无线通信装置可替代地被称作移动装置、移动站、订户站、用户设备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元,等。无线通信装置的实例包含膝上型或桌上型计算机、蜂窝式电话、智能电话、无线调制解调器、电子阅读器、平板装置、游戏系统,等。无线通信装置可根据一或多个行业标准(例如,第3代合作伙伴计划(3GPP))操作。因此,一般术语“无线通信装置”可包含用根据行业标准的不同专门语(例如,接入终端、用户设备(UE)、远程终端,等)所描述的无线通信装置。
本文中所描述的功能可作为一或多个指令被存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。借由实例而非限制的方式,此媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置或者可用于存储呈指令或数据结构形式的所期望程序代码且可由计算机存取的任一其它媒体。如本文中所使用的磁盘及光盘包含:光盘(CD)、激光光盘、光学盘片、数字多功能光盘(DVD)、软盘及蓝光盘,其中磁盘通常以磁性方式再现资料,而光盘借助激光以光学方式再现资料。应注意,计算机可读媒体可为有形的且非易失性。术语“计算机程序产品”是指结合可由计算装置或处理器执行、处理或计算的代码或指令(例如,“程序”)的计算装置或处理器。如本文中所使用,术语“代码”可是指可由计算装置或处理器执行的软件、指令、代码或数据。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。方法步骤及/或动作可彼此互换而不背离权利要求书的范围。换句话说,除非所描述的方法的恰当操作需要特定次序的步骤或动作,否则具体步骤及/或动作的次序及/或使用可被修改而不脱离权利要求书的范围。
应注意,术语“耦合(couple)”、“耦合(coupling)”、“经耦合(coupled)”或如本文中所使用的词语耦合的其它变化形式可指示间接连接或直接连接。举例来说,如果第一组件“经耦合”到第二组件,那么第一组件可为间接连接到第二组件或直接连接到第二组件。如本文中所使用,术语“多个”指示两个或多于两个。举例来说,多个组件指示两个或多于两个组件。
术语“确定”囊括广泛各种动作,且因此“确定”可包含运算、计算、处理、导出、调查、查找(例如,在表、数据库或另一数据结构中查找),确定及其类似者。另外,“确定”可包含接收(例如,接收信息)、存取(例如,存取存储器中的数据)及其类似者。此外,“确定”可包含解析、选择、挑选、建立及其类似者。
除非另有明确规定,否则短语“基于”并不意味着“仅基于”。换句话说,短语“基于”描述“仅基于”及“至少基于”两者。
在前述描述中,给出具体细节以提供对实例的透彻理解。然而,所属领域的技术人员将理解,可在无这些具体细节的情况下实践实例。举例来说,可以框图展示电组件/装置以便不会以不必要细节模糊实例。在其它例子中,此些组件、其它结构及技术可经详细展示以进一步解释实例。
本文中包含标题以供参考且辅助定位各种章节。这些标题并不意欲限制关于其所描述的概念的范围。此些概念可贯穿整个说明书具有适应性。
还应注意,实例可经描述为过程,其经描述为流程表、流程图、结构图或框图。尽管流程表可将操作描述为序列过程,但操作中的许多者可并行或同时执行,且可重复所述过程。另外,可重新布置操作的次序。当过程的操作完成时,所述过程终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于软件功能时,其终止对应于将功能返回到调用功能或主要功能。
所揭示实施方案的先前描述经提供以使得所属领域的技术人员能够制作或使用本发明。对这些实施方案的各种修改对所属领域的技术人员将显而易见,且本文中所定义的一般原理可适用于其它实施方案而不脱离本发明的精神或范围。因此,本发明并不意欲被限制于本文中所展示的实施方案,而意欲赋予其与本文中所揭示的原理及新颖特征一致的最广泛范围。

Claims (32)

1.一种用于捕获一起描绘球面图像的多个图像的成像系统,其包括:
前置相机,其经定位以捕获围绕所述前置相机的投射光轴的第一视野FOV中的图像,所述前置相机的所述投射光轴在第一方向上;
后置相机,其经定位以接收由安置在所述前置相机与所述后置相机之间的背向再引导反射镜组件再引导的光,所述后置相机经定位以捕获围绕所述后置相机的投射光轴的第二FOV中的图像,所述后置相机的所述投射光轴在所述第一方向上,其中,所述背向再引导反射镜组件经安置成垂直于所述前置相机的所述投射光轴,且所述第二FOV在与所述后置相机的所述投射光轴相反的方向上投射,使得所述第二FOV包含所述后置相机;
一组第一相机,其安置在所述前置相机与所述后置相机之间且呈多边形形状布置,所述第一相机经共同地配置以捕获第三FOV中的图像,所述第三FOV为圆形形状且从所述第一相机向外投射,且所述第三FOV的至少一部分在所述第一FOV与所述第二FOV之间;
一组第二相机,其安置在所述第一相机与所述后置相机之间且呈多边形形状布置,所述第二相机经共同地配置以捕获第四FOV中的图像,所述第四FOV为圆形形状且从所述第二相机向外投射,且所述第四FOV的至少一部分在所述第三FOV与所述第二FOV之间;及
一组第三相机,其安置在所述第二相机与所述后置相机之间且呈多边形形状布置,且经共同地配置以捕获第五FOV中的图像,所述第五FOV为圆形形状且从所述第三相机向外投射,且所述第五FOV的至少一部分在所述第四FOV与所述第二FOV之间,
进一步包括多个光再引导反射镜组件,所述组第一相机、所述组第二相机及所述组第三相机中的每一相机经定位以接收从所述多个光再引导反射镜组件中的一者再引导反射的光;且
其中所述前置相机、后置相机、第一相机、第二相机及第三相机经配置以具有共用虚拟入射光瞳,使得在所述第一、第二、第三、第四及第五FOV中捕获的图像共同地表示来自单一视角的球面图像。
2.根据权利要求1所述的成像系统,其进一步包括:
存储器组件;
处理器,其耦合到所述存储器组件及所述相机中的每一者,所述处理器及所述存储器组件经共同地配置以保存来自所述相机中的每一者的图像,且经进一步配置以产生包含来自所述相机中的每一者的所述图像的至少一部分的球面图像。
3.根据权利要求1所述的成像系统,其中所述多个光再引导反射镜组件包括多个反射器。
4.根据权利要求1所述的成像系统,其中所述第一相机安置在从所述第二及第三相机偏移处,所述第二相机安置在从所述第一及第三相机偏移处,且所述第三相机安置在从所述第一及第二相机偏移处。
5.根据权利要求1所述的成像系统,其中所述第一相机安置在第一平面中,所述第二相机安置在第二平面中,且所述第三相机安置在第三平面中。
6.根据权利要求5所述的成像系统,其中所述第一、第二及第三平面平行。
7.根据权利要求1所述的成像系统,其中所述组第一相机包括八个相机,所述组第二相机包括8个相机,且所述组第三相机包括八个相机。
8.根据权利要求1所述的成像系统,其中所述第一相机经安置成以等距方式间隔开,所述第二相机经安置成以等距方式间隔开,且所述第三相机经安置成以等距方式间隔开。
9.根据权利要求3所述的成像系统,其中所述多个光再引导反射镜组件包含围绕包含第一光轴且布置在第一平面中的所述成像装置的纵向轴布置的第一组光再引导反射镜组件,围绕包含所述第一光轴且布置在第二平面中的所述成像装置的所述纵向轴布置的第二组光再引导反射镜组件,及围绕包含所述第一光轴且布置在第三平面中的所述成像装置的纵向轴布置的第三组光再引导反射镜组件,所述第一、第二及第三平面安置在所述前置相机与所述后置相机之间。
10.一种成像系统,其经布置以捕获表示来自一个视角的球面图像的图像,其包括:
前置相机,其具有在第一方向上的第一视野FOV及延伸穿过所述第一FOV的光轴;
后置相机,其具有光轴,所述后置相机经定位以使得所述后置相机的所述光轴在一方向上对准以延伸穿过所述第一FOV;
多个侧相机,其安置在所述前置相机与所述后置相机之间,其中所述前置相机、后置相机及多个侧相机具有共用虚拟入射光瞳;
背光再引导反射镜组件,其安置在所述后置相机与多个侧相机之间,所述后置相机与所述背光再引导反射镜组件经定位以使得所述后置相机的所述光轴指向所述背光再引导反射镜组件,使得所述后置相机接收由所述背光再引导反射镜组件沿着所述后置相机的所述光轴再引导反射的光,且其中所述后置相机的所述FOV在与所述后置相机的所述光轴相反的方向上投射,使得所述后置相机的所述FOV包含所述后置相机;
多个侧光再引导反射镜组件,所述多个侧相机中的每一者对应于所述多个侧光再引导反射镜组件中的一者,且经定位以接收从所述多个光再引导反射镜组件中的对应者再引导的光。
11.根据权利要求10所述的成像系统,其中所述后置相机经定位成沿着与所述前置相机的所述光轴叠合的线。
12.根据权利要求11所述的成像系统,其中所述多个侧相机从所述前置相机的所述光轴偏移。
13.根据权利要求10所述的成像系统,其中所述多个侧相机经布置以形成三个同心环。
14.根据权利要求10所述的成像系统,其中所述多个侧相机包括第一组阵列相机、第二组阵列相机及第三组阵列相机,所述第一、第二及第三组阵列相机中的每一者共同地具有包含目标场景的至少一部分的FOV。
15.根据权利要求14所述的成像系统,其中每一阵列相机包含图像传感器,且其中所述第一组阵列相机中的所述图像传感器安置在第一衬底上,所述第二组阵列相机中的所述图像传感器安置在第二衬底上,且所述第三组阵列相机安置在第三衬底上。
16.根据权利要求15所述的成像系统,其中所述第一、第二及第三衬底安置在平行的平面中。
17.一种产生描绘来自一个视角的球面视野FOV的图像的方法,所述方法包括:
在前置相机中产生正面图像,所述前置相机经定位以捕获围绕所述前置相机的投射光轴的第一视野FOV中的图像,所述前置相机的所述投射光轴在第一方向上;
在后置相机中产生背面图像,所述后置相机经定位以接收由安置在所述前置相机与所述后置相机之间的背向再引导反射镜组件再引导的光,所述后置相机经定位以捕获第二FOV中的图像,其中所述第二FOV在与所述后置相机的所述光轴相反的方向上投射,使得所述第二FOV包含所述后置相机;
在一组第一相机中产生第一图像,所述组第一相机安置在所述前置相机与所述后置相机之间且经定位以接收由侧向再引导组件再引导的光,所述第一相机经共同地配置以捕获第三FOV中的图像,所述第三FOV为圆形形状且从所述第一相机向外投射,且所述第三FOV的至少一部分在所述第一FOV与所述第二FOV之间;
在一组第二相机中产生第二图像,所述组第二相机安置在所述第一相机与所述后置相机之间且呈多边形形状布置,所述第二相机经共同地配置以捕获第四FOV中的图像,所述第四FOV为圆形形状且从所述第二相机向外投射,且所述第四FOV的至少一部分在所述第三FOV与所述第二FOV之间;
在一组第三相机中产生第三图像,所述组第三相机安置在所述第二相机与所述后置相机之间,且经共同地配置以捕获第五FOV中的图像,所述第五FOV为圆形形状且从所述第三相机向外投射,且所述第五FOV的至少一部分在所述第四FOV与所述第二FOV之间,其中所述前置相机、所述后置相机、所述组第一相机、所述组第二相机及所述组第三相机具有共用虚拟入射光瞳;及
在至少一个处理器中接收所述正面图像、背面图像、第一图像、第二图像及第三图像,且用所述至少一个处理器产生镶嵌式图像,所述镶嵌式图像包含所述正面图像、背面图像、第一图像、第二图像及第三图像中的至少一部分。
18.根据权利要求17所述的方法,其中所述镶嵌式图像经产生以描绘如从所述球面图像内的视角所看到的球面图像。
19.根据权利要求17所述的方法,其中产生所述镶嵌式图像包括:将所述正面图像、背面图像、第一图像、第二图像及第三图像中的至少一部分拼接在一起。
20.根据权利要求17所述的方法,其中所述第一、第二、第三、第四及第五FOV至少部分地重叠。
21.根据权利要求17所述的方法,其中所述组第一相机、所述组第二相机及所述组第三相机经布置以形成三个同心环。
22.根据权利要求17所述的方法,其中所述后置相机为折叠式光学多传感器组合件。
23.一种成像装置,其包括:
用于从一个视角在前置相机中产生正面图像的装置,所述前置相机经定位以捕获围绕所述前置相机的投射光轴的第一视野FOV中的图像,所述前置相机的所述投射光轴在第一方向上;
用于从所述视角在后置相机中产生背面图像的装置,所述后置相机经定位以接收由安置在所述前置相机与所述后置相机之间的背向再引导反射镜组件再引导反射的光,所述后置相机经定位以捕获第二FOV中的图像,其中所述背向再引导反射镜组件经安置成垂直于所述前置相机的所述投射光轴,且所述第二FOV在与所述后置相机的所述投射光轴相反的方向上投射,使得所述第二FOV包含所述后置相机;
用于从所述视角在一组第一相机中产生第一图像的装置,所述组第一相机安置在所述前置相机与所述后置相机之间且经定位以接收由对应的侧向再引导反射镜组件再引导的光,所述第一相机经共同地配置以捕获第三FOV中的图像,所述第三FOV为圆形形状且从所述第一相机向外投射,且所述第三FOV的至少一部分在所述第一FOV与所述第二FOV之间;
用于从所述视角在一组第二相机中产生第二图像的装置,所述组第二相机安置在所述第一相机与所述后置相机之间且经定位以接收由对应的侧向再引导反射镜组件再引导的光,所述第二相机经共同地配置以捕获第四FOV中的图像,所述第四FOV为圆形形状且从所述第二相机向外投射,且所述第四FOV的至少一部分在所述第三FOV与所述第二FOV之间;
用于从所述视角在一组第三相机中产生第三图像的装置,所述组第三相机安置在所述第二相机与所述后置相机之间且经定位以接收由侧向再引导反射镜组件再引导的光,且经共同地配置以捕获第五FOV中的图像,所述第五FOV为圆形形状且从所述第三相机向外投射,且所述第五FOV的至少一部分在所述第四FOV与所述第二FOV之间,
其中所述前置相机、后置相机、所述组第一相机、所述组第二相机及所述组第三相机具有共用虚拟入射光瞳;及
用于接收所述正面图像、背面图像、第一图像、第二图像及第三图像并产生如从所述视角所看到的镶嵌式球面图像的装置,所述镶嵌式球面图像包含所述正面图像、背面图像、第一图像、第二图像及第三图像中的至少一部分。
24.根据权利要求23所述的成像装置,其中所述镶嵌式图像经产生以描绘如从所述球面图像内的视角所看到的球面图像。
25.根据权利要求23所述的成像装置,其中产生所述镶嵌式图像包括:将所述正面图像、背面图像、第一图像、第二图像及第三图像中的至少一部分拼接在一起。
26.根据权利要求23所述的成像装置,其中所述第一、第二、第三、第四及第五FOV至少部分地重叠。
27.根据权利要求23所述的成像装置,其中所述组第一相机、所述组第二相机及所述组第三相机经布置以形成三个同心环。
28.根据权利要求23所述的成像装置,其中所述后置相机为折叠式光学多传感器组合件。
29.根据权利要求1所述的成像系统,其中所述前置相机、后置相机、第一相机、第二相机及第三相机经布置以使得共同地表示来自单一视角的球面图像的在所述第一、第二、第三、第四及第五FOV中捕获的图像基本上无视差。
30.根据权利要求10所述的成像系统,其中所述前置相机、所述后置相机及所述多个侧相机经布置以采集图像,从而产生来自所述视角的球面图像,以使得所述图像基本上无视差。
31.根据权利要求17所述的方法,其中所述前置相机、所述后置相机、所述组第一相机、所述组第二相机及所述组第三相机经布置以采集基本上无视差的图像。
32.根据权利要求23所述的成像装置,其中所述用于产生来自所述视角的图像的装置经布置以使得所产生的所述图像基本上无视差。
CN201580032615.5A 2014-06-20 2015-06-19 能够捕获全球面图像的无视差多相机系统 Expired - Fee Related CN106415392B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462015329P 2014-06-20 2014-06-20
US62/015,329 2014-06-20
US14/743,663 2015-06-18
US14/743,663 US9843723B2 (en) 2014-06-20 2015-06-18 Parallax free multi-camera system capable of capturing full spherical images
PCT/US2015/036710 WO2015196082A1 (en) 2014-06-20 2015-06-19 Parallax free multi-camera system capable of capturing full spherical images

Publications (2)

Publication Number Publication Date
CN106415392A CN106415392A (zh) 2017-02-15
CN106415392B true CN106415392B (zh) 2019-06-14

Family

ID=54870827

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580030449.5A Active CN106462050B (zh) 2014-06-20 2015-06-16 用于半球形和球形成像的宽视场阵列相机
CN201580032615.5A Expired - Fee Related CN106415392B (zh) 2014-06-20 2015-06-19 能够捕获全球面图像的无视差多相机系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580030449.5A Active CN106462050B (zh) 2014-06-20 2015-06-16 用于半球形和球形成像的宽视场阵列相机

Country Status (8)

Country Link
US (2) US9819863B2 (zh)
EP (2) EP3158726A1 (zh)
JP (2) JP2017525221A (zh)
KR (2) KR20170020777A (zh)
CN (2) CN106462050B (zh)
BR (1) BR112016029565A2 (zh)
CA (1) CA2952623A1 (zh)
WO (2) WO2015195629A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9197816B2 (en) * 2013-10-18 2015-11-24 The Lightco Inc. Zoom related methods and apparatus
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9294672B2 (en) * 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9392188B2 (en) * 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CA2958579C (en) 2014-08-21 2023-05-09 Boulder Imaging, Inc. Avian detection systems and methods
US9856856B2 (en) 2014-08-21 2018-01-02 Identiflight International, Llc Imaging array for bird or bat detection and identification
US9602702B1 (en) * 2014-09-08 2017-03-21 Sulaiman S. Albadran Video camera with multiple data input
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
WO2016073468A1 (en) * 2014-11-03 2016-05-12 Gary Franklin Bart Fixed view magnetic camera
US20160248972A1 (en) * 2015-02-23 2016-08-25 Ebsco Industries, Inc Panoramic Game Camera
US9740936B2 (en) * 2015-03-27 2017-08-22 Google Inc. Cluster based photo navigation
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10275898B1 (en) * 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US9819865B2 (en) 2015-10-30 2017-11-14 Essential Products, Inc. Imaging device and method for generating an undistorted wide view image
US9813623B2 (en) * 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
US9906721B2 (en) * 2015-10-30 2018-02-27 Essential Products, Inc. Apparatus and method to record a 360 degree image
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量系统及测量方法
US10151970B2 (en) * 2016-04-11 2018-12-11 As Vision Limited Aerial panoramic oblique photography apparatus
US10354426B2 (en) 2016-08-04 2019-07-16 Datalogic IP Tech, S.r.l. Symbol stitching imaging system
US20180063428A1 (en) * 2016-09-01 2018-03-01 ORBI, Inc. System and method for virtual reality image and video capture and stitching
US20180096494A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
KR102558474B1 (ko) * 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
US10419681B2 (en) * 2016-10-26 2019-09-17 Robert Bosch Gmbh Variable field of view multi-imager
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN108574808B (zh) * 2017-03-08 2021-02-12 杭州海康威视数字技术股份有限公司 一种图像拼接方法、装置及图像处理系统
US20180260929A1 (en) * 2017-03-08 2018-09-13 Intel Corporation Digital camera methods and devices optimized for computer vision applications
US10652460B2 (en) * 2017-03-30 2020-05-12 Canon Kabushiki Kaisha Image-capturing apparatus and image-capturing control method
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10623634B2 (en) 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
CN107509017A (zh) * 2017-09-19 2017-12-22 信利光电股份有限公司 一种多摄像头模组
CN107483790A (zh) * 2017-09-19 2017-12-15 信利光电股份有限公司 一种多摄像头模组
CN107370933A (zh) * 2017-09-19 2017-11-21 信利光电股份有限公司 一种多摄像头模组
US10400929B2 (en) 2017-09-27 2019-09-03 Quick Fitting, Inc. Fitting device, arrangement and method
KR102436730B1 (ko) * 2017-12-06 2022-08-26 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
US11029496B2 (en) 2017-12-21 2021-06-08 Apple Inc. Folded lens system
US10728517B2 (en) * 2017-12-22 2020-07-28 Flir Systems Ab Parallax mitigation for multi-imager systems and methods
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP7081473B2 (ja) 2018-03-02 2022-06-07 株式会社リコー 撮像光学系、撮像システム及び撮像装置
US10582181B2 (en) 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
CN108710261B (zh) * 2018-06-07 2020-12-25 信利光电股份有限公司 一种摄像模组
KR102553555B1 (ko) * 2018-09-21 2023-07-10 엘지이노텍 주식회사 카메라 모듈
EP3738303A4 (en) * 2019-01-03 2021-04-21 Corephotonics Ltd. MULTI-APERTURE CAMERAS WITH AT LEAST ONE TWO-STATE ZOOM CAMERA
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN110503621B (zh) * 2019-08-23 2022-07-01 上海圭目机器人有限公司 基于定位数据的图像全局拼接方法
KR102232366B1 (ko) * 2019-10-07 2021-03-26 (주)하이비젼시스템 렌즈모듈 액티브 얼라인 시스템 및 방법
US10969047B1 (en) 2020-01-29 2021-04-06 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11035510B1 (en) 2020-01-31 2021-06-15 Quick Fitting Holding Company, Llc Electrical conduit fitting and assembly
US11281868B2 (en) 2020-03-10 2022-03-22 Cognex Corporation Modular vision system and methods
US11665410B2 (en) * 2020-03-10 2023-05-30 Cognex Corporation Modular vision systems and methods
US11812125B2 (en) 2020-07-01 2023-11-07 Universal City Studios Llc Anti-reflective camera housing system
KR102381272B1 (ko) * 2020-09-17 2022-03-30 삼성전기주식회사 휴대 단말기
US11145228B1 (en) * 2020-11-06 2021-10-12 Lockheed Martin Corporation Immersive display structure
WO2024062326A1 (en) * 2022-09-21 2024-03-28 Alcon Inc. Low profile optical systems for surgical procedures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685914A (zh) * 2012-09-14 2014-03-26 佳能株式会社 图像管理装置及管理方法
CN103676071A (zh) * 2012-09-10 2014-03-26 佳能株式会社 控制装置、致动器、图像模糊校正装置及可交换透镜
CN103676415A (zh) * 2012-09-19 2014-03-26 佳能株式会社 成像设备和可更换镜头
CN103716533A (zh) * 2012-10-04 2014-04-09 佳能株式会社 摄像装置以及摄像装置的控制方法

Family Cites Families (292)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3698803A (en) 1970-09-09 1972-10-17 Midori Kai Co Ltd Camera for taking hemispherical motion picture
US4114171A (en) 1976-04-06 1978-09-12 Vivitar Corporation Reflex camera with internal zoom lens
US4437745A (en) 1982-09-30 1984-03-20 Stephen Hajnal Three dimensional camera system
GB8430980D0 (en) 1984-12-07 1985-01-16 Robinson M Generation of apparently three-dimensional images
US4639586A (en) 1985-02-06 1987-01-27 The United States Of America As Represented By The Secretary Of The Air Force Optically phased laser transmitter
US4740780A (en) 1985-06-24 1988-04-26 Gec Avionics, Inc. Head-up display for automobile
US5012273B1 (en) 1986-05-12 1996-10-01 Asahi Optical Co Ltd Lens shutter type of camera including zoom lens
US6031892A (en) 1989-12-05 2000-02-29 University Of Massachusetts Medical Center System for quantitative radiographic imaging
US5194959A (en) 1989-12-21 1993-03-16 Ricoh Company, Ltd. and Nippon Telegraph and Telephone Corporation Image forming apparatus for forming image corresponding to subject, by dividing optical image corresponding to the subject into plural adjacent optical image parts
US5016109A (en) 1990-07-02 1991-05-14 Bell South Corporation Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields
US5063441A (en) 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
US5142357A (en) 1990-10-11 1992-08-25 Stereographics Corp. Stereoscopic video camera with image sensors having variable effective position
US5207000A (en) 1991-06-14 1993-05-04 Industrial Technology Research Institute Method and apparatus useful for determining an angle between a virtual optical axis and a planar surface
US5231461A (en) 1991-12-09 1993-07-27 Hughes Danbury Optical Systems, Inc. Solar monochromator for filter calibration
US5926411A (en) 1991-12-30 1999-07-20 Ioptics Incorporated Optical random access memory
US5686960A (en) 1992-01-14 1997-11-11 Michael Sussman Image input device having optical deflection elements for capturing multiple sub-images
DE4212271C1 (zh) 1992-04-11 1993-07-08 Deutsche Forschungsanstalt Fuer Luft- Und Raumfahrt E.V., 5300 Bonn, De
US5243413A (en) 1992-09-02 1993-09-07 At&T Bell Laboratories Color parallax-free camera and display
US5313542A (en) 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
EP0610605B1 (en) 1993-02-11 1997-07-16 Agfa-Gevaert N.V. Method of recognising an irradiation field
US5586063A (en) 1993-09-01 1996-12-17 Hardin; Larry C. Optical range and speed detection system
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
GB2284273B (en) 1993-11-29 1997-01-08 Hadland Photonics Limited Electronic high speed camera incorporating a beam splitter
JPH089424A (ja) 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体画像撮像制御装置
JP3186448B2 (ja) 1994-08-01 2001-07-11 ミノルタ株式会社 立体テレビカメラ
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JPH08194274A (ja) 1995-01-13 1996-07-30 Olympus Optical Co Ltd 立体撮像装置
US5606627A (en) 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US5903306A (en) 1995-08-16 1999-05-11 Westinghouse Savannah River Company Constrained space camera assembly
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US5640222A (en) 1996-03-15 1997-06-17 Paul; Eddie Method and apparatus for producing stereoscopic images
US6850279B1 (en) 1996-06-18 2005-02-01 Sony Corporation Optical image recording system, and associated processing system
US5721585A (en) 1996-08-08 1998-02-24 Keast; Jeffrey D. Digital video panoramic image capture and display system
JPH10142490A (ja) 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
WO1998047291A2 (en) 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
US7028899B2 (en) 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
DE19903807A1 (de) 1998-05-05 1999-11-11 Zeiss Carl Fa Beleuchtungssystem insbesondere für die EUV-Lithographie
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
DE19942900B4 (de) 1998-09-08 2004-01-22 Ricoh Company, Ltd. Vorrichtung zur Korrektur von Bildfehlern, die durch ein Kameraverwackeln hervorgerufen werden
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
GB2354390A (en) 1999-09-16 2001-03-21 Ibm Wide-angle image capture apparatus
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US6862364B1 (en) 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
US6782137B1 (en) 1999-11-24 2004-08-24 General Electric Company Digital image display improvement system and method
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
JP2001209037A (ja) 2000-01-26 2001-08-03 Olympus Optical Co Ltd 可変ホログラム素子及びそれらを用いた光学装置
US6823021B1 (en) 2000-10-27 2004-11-23 Greenwich Technologies Associates Method and apparatus for space division multiple access receiver
US6701081B1 (en) 2000-06-06 2004-03-02 Air Controls, Inc. Dual camera mount for stereo imaging
US6768509B1 (en) 2000-06-12 2004-07-27 Intel Corporation Method and apparatus for determining points of interest on an image of a camera calibration object
WO2002027372A2 (en) 2000-07-14 2002-04-04 Applied Wdm, Inc. Optical waveguide transmission devices
JP2002040584A (ja) 2000-07-28 2002-02-06 Hamamatsu Photonics Kk 高速撮像カメラ
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
EP1231780A3 (en) 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
JP2002277736A (ja) 2001-03-21 2002-09-25 Olympus Optical Co Ltd 撮像装置
US6421185B1 (en) 2001-04-16 2002-07-16 The United States Of America As Represented By The Secretary Of The Air Force Wide field-of-view imaging system using a spatial light modulator
US6628897B2 (en) 2001-06-20 2003-09-30 Sony Corporation Camera system
EP1427191A4 (en) 2001-08-17 2006-08-16 Sony Corp PICTURE SETUP
US20030038814A1 (en) 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
US7116351B2 (en) * 2001-10-29 2006-10-03 Sony Corporation Imaging device
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003260025A (ja) 2002-03-08 2003-09-16 Olympus Optical Co Ltd カプセル型内視鏡
US6768598B2 (en) 2002-04-02 2004-07-27 Sony Corporation Image pickup system
US6861633B2 (en) 2002-06-20 2005-03-01 The Aerospace Corporation Microelectromechanical system optical sensor providing bit image data of a viewed image
US7298392B2 (en) 2003-06-26 2007-11-20 Microsoft Corp. Omni-directional camera design for video conferencing
US7209161B2 (en) 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
JP2004072349A (ja) 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
JP2004080088A (ja) * 2002-08-09 2004-03-11 Sony Corp 撮像装置
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
AU2003302166A1 (en) 2003-01-02 2004-07-29 Covi Technologies, Inc. Optical block assembly
US6933493B2 (en) 2003-04-07 2005-08-23 Kingpak Technology Inc. Image sensor having a photosensitive chip mounted to a metal sheet
IL155525A0 (en) 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
JP3709879B2 (ja) 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
WO2004109359A1 (ja) 2003-06-09 2004-12-16 Olympus Corporation 可変ミラー
US6809887B1 (en) 2003-06-13 2004-10-26 Vision Technologies, Inc Apparatus and method for acquiring uniform-resolution panoramic images
US20050117015A1 (en) * 2003-06-26 2005-06-02 Microsoft Corp. Foveated panoramic camera system
US7495694B2 (en) 2004-07-28 2009-02-24 Microsoft Corp. Omni-directional camera with calibration and up look angle improvements
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
KR100541028B1 (ko) 2003-07-21 2006-01-11 주식회사 옵토메카 이미지 센서 및 그 제조 방법
US20050057659A1 (en) 2003-09-16 2005-03-17 Takami Hasegawa Camera image shake correcting device
US7028546B2 (en) 2003-10-21 2006-04-18 Instrumented Sensor Technology, Inc. Data recorder
US20050111106A1 (en) 2003-10-31 2005-05-26 Kazuhiro Matsumoto Optical element assembly formed of multiple optical elements such as prisms, and image pickup apparatus using the same in image pickup function section
KR100875938B1 (ko) 2004-02-19 2008-12-26 캐논 가부시끼가이샤 광학기기 및 빔 스플리터
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
GB0406730D0 (en) 2004-03-25 2004-04-28 1 Ltd Focussing method
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
KR20070064319A (ko) 2004-08-06 2007-06-20 유니버시티 오브 워싱톤 가변 응시 시거리 주사 광 디스플레이
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7039292B1 (en) 2004-09-09 2006-05-02 Rockwell Collins, Inc. Optical system for vehicle flight control
DE102004045430A1 (de) 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
JP3791847B1 (ja) 2005-08-10 2006-06-28 京セラ株式会社 カメラモジュールおよび該カメラモジュールを搭載した情報端末
EP1816514B1 (en) 2004-11-15 2012-06-20 Hitachi, Ltd. Stereo camera
US7372996B2 (en) 2004-12-27 2008-05-13 Trw Automotive U.S. Llc Method and apparatus for determining the position of a vehicle seat
JP4742190B2 (ja) 2005-01-13 2011-08-10 国立大学法人 奈良先端科学技術大学院大学 3次元オブジェクト計測装置
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
US20060215054A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Wide angle camera with prism array
JP2006279538A (ja) 2005-03-29 2006-10-12 Sony Corp 撮像装置
US20060238441A1 (en) 2005-04-25 2006-10-26 The Boeing Company Method and apparatus for displaying a stereoscopic image
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
JP5364965B2 (ja) 2005-07-26 2013-12-11 コニカミノルタ株式会社 撮像光学系、撮像レンズ装置及びデジタル機器
JP2007081473A (ja) 2005-09-09 2007-03-29 Eastman Kodak Co 複数光学系を有する撮像装置
US20070085903A1 (en) 2005-10-17 2007-04-19 Via Technologies, Inc. 3-d stereoscopic image display system
US20070164202A1 (en) 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
JP4979928B2 (ja) 2005-11-28 2012-07-18 株式会社トプコン 三次元形状演算装置及び三次元形状演算方法
US8059185B2 (en) 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
US7215479B1 (en) 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
JP4844177B2 (ja) 2006-03-07 2011-12-28 株式会社ニコン ブレ補正装置及びカメラ
JP2007274542A (ja) 2006-03-31 2007-10-18 Sony Corp 撮像装置および携帯電話機
CN101055342A (zh) 2006-04-12 2007-10-17 鸿富锦精密工业(深圳)有限公司 自动对焦镜头模组
US8433157B2 (en) 2006-05-04 2013-04-30 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
CN101433077B (zh) 2006-05-05 2011-03-23 诺基亚公司 具有小高度和高分辨率的光学图像记录设备
US8836693B2 (en) 2006-05-09 2014-09-16 Kabushiki Kaisha Sega Image processing apparatus and image processing program
JP4972779B2 (ja) 2006-05-30 2012-07-11 コニカミノルタアドバンストレイヤー株式会社 光学ユニットおよび撮像装置
JP5067021B2 (ja) 2006-06-01 2012-11-07 富士ゼロックス株式会社 画像形成装置、画像形成装置の組立方法及び解体方法並びに画像形成装置に用いられる仮止め部材
JP4851239B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2008048293A (ja) 2006-08-18 2008-02-28 Kyocera Corp 撮像装置、およびその製造方法
US20080058629A1 (en) * 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
DE102006044786A1 (de) 2006-09-14 2008-03-27 Schefenacker Vision Systems Germany Gmbh Kamerasystem, Verfahren zum Betreiben eines Kamerasystems und Sensoreinrichtung eines Kamerasystems
EP1912098B1 (en) 2006-10-12 2012-04-25 Carl Zeiss SMT GmbH Unit magnification projection objective
US7817354B2 (en) 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
KR100866491B1 (ko) 2007-01-30 2008-11-03 삼성전자주식회사 영상 처리 방법 및 장치
JP4917060B2 (ja) 2007-02-26 2012-04-18 Hoya株式会社 撮像ユニット及び携帯用電子機器
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US20080231698A1 (en) * 2007-03-20 2008-09-25 Alan Edward Kaplan Vehicle video control system
US8356035B1 (en) 2007-04-10 2013-01-15 Google Inc. Association of terms with images using image similarity
JP4582423B2 (ja) 2007-04-20 2010-11-17 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、及び画像処理方法
JP5013078B2 (ja) 2007-04-24 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 レンズ鏡胴及び撮像装置
US20080290435A1 (en) 2007-05-21 2008-11-27 Micron Technology, Inc. Wafer level lens arrays for image sensor packages and the like, image sensor packages, and related methods
JP2008294819A (ja) 2007-05-25 2008-12-04 Sony Corp 撮像装置
US20090003646A1 (en) 2007-06-29 2009-01-01 The Hong Kong University Of Science And Technology Lossless visible watermarking
US20090005112A1 (en) 2007-06-29 2009-01-01 Samsung Electronics Co., Ltd. Optical imaging system configurations for handheld devices
US8482813B2 (en) 2007-07-13 2013-07-09 Mitsubishi Electric Corporation Image-scanning device
JP4900118B2 (ja) 2007-07-31 2012-03-21 コニカミノルタオプト株式会社 カメラモジュールおよび電子機器
TWI383666B (zh) 2007-08-21 2013-01-21 Sony Taiwan Ltd 多重鏡頭相機系統之先進式動態接圖方法
JP5000428B2 (ja) 2007-08-22 2012-08-15 Hoya株式会社 撮像装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
KR20090032261A (ko) 2007-09-27 2009-04-01 삼성전자주식회사 움직임 추정에 기초하여 움직임 보상을 수행하는 영상 처리장치 및 그 방법
JP5152483B2 (ja) 2007-10-05 2013-02-27 ソニー株式会社 撮像装置
US8282222B2 (en) 2007-10-10 2012-10-09 Gerard Dirk Smits Image projector with reflected light tracking
WO2009047681A1 (en) 2007-10-11 2009-04-16 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
CN101843106B (zh) 2007-11-01 2015-11-25 柯尼卡美能达控股株式会社 摄像装置
KR100927347B1 (ko) 2007-11-13 2009-11-24 파워옵틱스 주식회사 줌렌즈 광학계
JP4831514B2 (ja) 2007-11-13 2011-12-07 独立行政法人情報通信研究機構 設定パラメータ最適化装置およびそのプログラム
US8791984B2 (en) 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
CN100465699C (zh) 2007-12-05 2009-03-04 浙江大学 利用棱镜分光渐晕补偿实现多ccd无缝拼接的光电系统
KR101349589B1 (ko) 2007-12-13 2014-01-10 엘지이노텍 주식회사 카메라 모듈
US8300086B2 (en) 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
US20090185067A1 (en) 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
CN103033922A (zh) 2008-01-02 2013-04-10 加利福尼亚大学董事会 高数值孔径远程显微镜设备
US7978222B2 (en) 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
US7961398B2 (en) 2008-03-05 2011-06-14 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
US20110043623A1 (en) 2008-03-26 2011-02-24 Konica Minolta Opto, Inc. Imaging device
EP2263373B1 (en) 2008-03-28 2014-08-13 The Trustees of Columbia University in the City of New York Generalized assorted pixel camera systems and methods
CN101571666A (zh) 2008-04-28 2009-11-04 鸿富锦精密工业(深圳)有限公司 成像设备
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US9001187B2 (en) 2009-05-11 2015-04-07 CapsoVision, Inc. Capsule imaging system having a folded optical axis
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
WO2009147814A1 (ja) 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP5223486B2 (ja) 2008-06-18 2013-06-26 ソニー株式会社 電子双眼鏡
CN101772730B (zh) 2008-07-24 2014-12-03 松下电器(美国)知识产权公司 照相机驱动装置
JP2010041381A (ja) 2008-08-05 2010-02-18 Nikon Corp 電子カメラ、ステレオ画像生成方法およびステレオ画像生成システム
KR100942925B1 (ko) 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
EP2316054A1 (en) 2008-08-14 2011-05-04 Remotereality Corporation Three-mirror panoramic camera
US8305425B2 (en) 2008-08-22 2012-11-06 Promos Technologies, Inc. Solid-state panoramic image capture apparatus
JP2010067014A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 画像分類装置及び画像分類方法
US10043304B2 (en) 2008-09-25 2018-08-07 Koninklijke Philips N.V. Three dimensional image data processing
WO2010044223A1 (ja) 2008-10-14 2010-04-22 日本電産サンキョー株式会社 撮影用光学装置
US8267601B2 (en) 2008-11-04 2012-09-18 James Cameron Platform for stereoscopy for hand-held film/video camera stabilizers
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
CN101770059B (zh) 2008-12-27 2012-06-20 鸿富锦精密工业(深圳)有限公司 相机模组
US9395617B2 (en) 2009-01-05 2016-07-19 Applied Quantum Technologies, Inc. Panoramic multi-scale imager and method therefor
US8326036B2 (en) 2009-02-20 2012-12-04 Qylur Security Systems, Inc. Automated image separation method
GB0903689D0 (en) 2009-03-03 2009-04-15 Sigmavision Ltd Vehicle tyre measurement
JP5316118B2 (ja) 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
US20100265313A1 (en) 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
US20100278423A1 (en) 2009-04-30 2010-11-04 Yuji Itoh Methods and systems for contrast enhancement
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
US8170408B2 (en) 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8194170B2 (en) 2009-06-02 2012-06-05 Algonquin College Axicon lens array
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US8405750B2 (en) 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
CN101581828B (zh) 2009-06-09 2011-06-22 苏州大学 环形孔径超薄光学成像系统
US9479768B2 (en) 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
JP5293463B2 (ja) 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
US8294073B1 (en) 2009-10-01 2012-10-23 Raytheon Company High angular rate imaging system and related techniques
US9063345B2 (en) 2009-10-19 2015-06-23 Pixar Super light-field lens with doublet lenslet array element
JP5539818B2 (ja) 2009-10-20 2014-07-02 富士フイルム株式会社 撮像レンズおよび撮像装置
TWM399332U (en) * 2009-10-20 2011-03-01 Fujifilm Corp Photographic lens and photographic device
US8325187B2 (en) 2009-10-22 2012-12-04 Samsung Electronics Co., Ltd. Method and device for real time 3D navigation in panoramic images and cylindrical spaces
US8457398B2 (en) 2009-10-27 2013-06-04 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8497934B2 (en) 2009-11-25 2013-07-30 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
WO2011081646A1 (en) 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
US8442392B2 (en) 2009-12-22 2013-05-14 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
WO2011132364A1 (ja) 2010-04-19 2011-10-27 パナソニック株式会社 立体画像撮影装置および立体画像撮影方法
JP5593118B2 (ja) 2010-04-30 2014-09-17 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
CN102934020B (zh) 2010-06-08 2016-01-27 日本电产三协株式会社 抖动修正装置、拍摄用光学装置及透镜驱动装置
JP5622443B2 (ja) 2010-06-08 2014-11-12 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
JP5138734B2 (ja) 2010-06-15 2013-02-06 シャープ株式会社 撮像レンズ、および撮像モジュール
CN101902657B (zh) 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
US9485495B2 (en) 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
TWI409577B (zh) 2010-08-20 2013-09-21 Primax Electronics Ltd 光學影像系統
US20120056987A1 (en) 2010-09-03 2012-03-08 Luke Fedoroff 3d camera system and method
WO2012039043A1 (ja) 2010-09-22 2012-03-29 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP6042814B2 (ja) 2010-10-01 2016-12-14 コンテックス・エー/エス イメージセンサの信号輝度マッチング法
US9317761B2 (en) 2010-12-09 2016-04-19 Nanyang Technological University Method and an apparatus for determining vein patterns from a colour image
JP5716465B2 (ja) 2011-03-09 2015-05-13 ソニー株式会社 撮像装置
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US8928988B1 (en) 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
EP2695385B8 (en) 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
EP2703867A4 (en) * 2011-04-28 2014-12-24 Fujifilm Corp IMAGE REALIZATION OBJECTIVE AND IMAGE REALIZATION DEVICE
JP5777180B2 (ja) * 2011-04-28 2015-09-09 富士フイルム株式会社 撮像レンズおよび撮像装置
JP5889880B2 (ja) * 2011-04-28 2016-03-22 富士フイルム株式会社 撮像レンズおよび撮像装置
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
WO2012164339A1 (en) 2011-05-27 2012-12-06 Nokia Corporation Image stitching
WO2012171185A1 (en) 2011-06-15 2012-12-20 Microsoft Corporation High resolution multispectral image capture
TWI507807B (zh) 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8896890B2 (en) 2011-06-30 2014-11-25 Lexmark International, Inc. Image capture system having a folded optical path
JP5848052B2 (ja) 2011-07-21 2016-01-27 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8855476B2 (en) 2011-09-28 2014-10-07 DigitalOptics Corporation MEMS MEMS-based optical image stabilization
BR112014009255A8 (pt) 2011-10-20 2017-06-20 Monsanto Technology Llc contador de plantas
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
JP2013117568A (ja) * 2011-12-01 2013-06-13 Olympus Corp 視差画像取得装置、携帯情報端末及び視差画像取得方法
US8582220B2 (en) 2011-12-05 2013-11-12 Himax Technologies Limited Lens module
CN202405984U (zh) 2011-12-10 2012-08-29 东莞市旭业光电科技有限公司 一种用于音圈马达的垫片
KR101975893B1 (ko) 2012-03-21 2019-09-10 엘지이노텍 주식회사 카메라 모듈
US9210405B2 (en) 2012-03-22 2015-12-08 Qualcomm Technologies, Inc. System and method for real time 2D to 3D conversion of video in a digital camera
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
US20130260823A1 (en) 2012-03-31 2013-10-03 Ashutosh Y. Shukla Compact Portable Electronic Device Having Augmented Back Volume for Speaker
NL2008639C2 (en) 2012-04-13 2013-10-16 Cyclomedia Technology B V Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
EP2677733A3 (en) 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
WO2014012603A1 (en) 2012-07-17 2014-01-23 Heptagon Micro Optics Pte. Ltd. Optical devices, in particular computational cameras, and methods for manufacturing the same
CN105787909B (zh) 2012-08-08 2018-07-20 杜比实验室特许公司 用于高动态范围图像的图像处理
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9659991B2 (en) * 2012-10-22 2017-05-23 Canon Kabushiki Kaisha Image capturing apparatus, manufacturing method thereof, and camera
JP2014112302A (ja) 2012-12-05 2014-06-19 Ricoh Co Ltd 所定領域管理システム、通信方法、及びプログラム
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9282228B2 (en) 2013-01-05 2016-03-08 The Lightco Inc. Camera methods and apparatus using optical chain modules which alter the direction of received light
US9171355B2 (en) 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
JP2015036716A (ja) 2013-08-12 2015-02-23 ソニー株式会社 像ぶれ補正装置及び撮像装置
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
EP2860699A1 (en) 2013-10-11 2015-04-15 Telefonaktiebolaget L M Ericsson (Publ) Technique for view synthesis
US9223118B2 (en) 2013-10-31 2015-12-29 Apple Inc. Small form factor telephoto camera
CN203745777U (zh) 2014-01-10 2014-07-30 瑞声声学科技(深圳)有限公司 阵列式镜头装置
EP3105916A1 (en) * 2014-02-13 2016-12-21 Sony Corporation Method and system for adjusting camera settings using corneal reflection
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US20150373269A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US10070055B2 (en) * 2015-03-25 2018-09-04 Massachusetts Institute Of Technology Devices and methods for optically multiplexed imaging
US20170038502A1 (en) 2015-08-06 2017-02-09 Qualcomm Incorporated Methods and apparatus having a two-surface microlens array for low f-number plenoptic cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103676071A (zh) * 2012-09-10 2014-03-26 佳能株式会社 控制装置、致动器、图像模糊校正装置及可交换透镜
CN103685914A (zh) * 2012-09-14 2014-03-26 佳能株式会社 图像管理装置及管理方法
CN103676415A (zh) * 2012-09-19 2014-03-26 佳能株式会社 成像设备和可更换镜头
CN103716533A (zh) * 2012-10-04 2014-04-09 佳能株式会社 摄像装置以及摄像装置的控制方法

Also Published As

Publication number Publication date
US9843723B2 (en) 2017-12-12
CN106462050A (zh) 2017-02-22
WO2015196082A1 (en) 2015-12-23
KR20170020777A (ko) 2017-02-24
CA2952623A1 (en) 2015-12-23
US20150373268A1 (en) 2015-12-24
KR101877160B1 (ko) 2018-08-07
EP3158725A1 (en) 2017-04-26
CN106462050B (zh) 2019-02-22
JP2017525206A (ja) 2017-08-31
KR20170020797A (ko) 2017-02-24
WO2015195629A1 (en) 2015-12-23
EP3158726A1 (en) 2017-04-26
BR112016029565A2 (pt) 2017-08-22
EP3158725B1 (en) 2020-07-29
US20150373279A1 (en) 2015-12-24
JP2017525221A (ja) 2017-08-31
CN106415392A (zh) 2017-02-15
US9819863B2 (en) 2017-11-14

Similar Documents

Publication Publication Date Title
CN106415392B (zh) 能够捕获全球面图像的无视差多相机系统
CN106462036B (zh) 使用无视差假影的折叠式光学器件的多相机系统
CN106662796B (zh) 使用折射棱镜的折叠光学阵列相机
US9906721B2 (en) Apparatus and method to record a 360 degree image
CN106464787B (zh) 用于折叠式光学阵列相机的自动聚焦
US9294672B2 (en) Multi-camera system using folded optics free from parallax and tilt artifacts
US20150373269A1 (en) Parallax free thin multi-camera system capable of capturing full wide field of view images
CN106464813B (zh) 能够捕获全宽视野图像的无视差薄型多相机系统
CN205305019U (zh) 3d摄像头机构及具有该机构的移动设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190614

Termination date: 20200619