CN108028913A - 用于3d相机的光学架构 - Google Patents

用于3d相机的光学架构 Download PDF

Info

Publication number
CN108028913A
CN108028913A CN201680055284.1A CN201680055284A CN108028913A CN 108028913 A CN108028913 A CN 108028913A CN 201680055284 A CN201680055284 A CN 201680055284A CN 108028913 A CN108028913 A CN 108028913A
Authority
CN
China
Prior art keywords
reflecting element
light
imaging device
lenticular elements
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680055284.1A
Other languages
English (en)
Inventor
亚切克·马伊坦
周瑛
鲁塞尔·格鲁尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108028913A publication Critical patent/CN108028913A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明呈现用于捕捉三维3D图像的方法、系统、计算机可读媒体和设备。在一些实施方案中，装置包括第一和第二透镜元件(606a、606b)和多个反射元件(612a、612b、614a、614b)以通过两个单独的光学路径收集发自光源或对象的光线且将所述光线朝向单个图像传感器聚焦。

Description

用于3D相机的光学架构
背景技术
本发明的方面涉及计算机视觉。计算机视觉是包含获取、处理、分析和理解图像以用于各应用中的方法的领域。传统上，耦合到传感器的处理器从传感器获取图像数据，且对从传感器接收的信息执行某些计算机视觉(CV)操作以用于检测特征且因此检测与那些特征相关联的对象。特征可包含例如边缘、拐角等特征。在一些情况下，特征还可包含较复杂的人物特征，例如面部、微笑和姿势。执行于处理器上的程序可在例如平面检测、面部检测、笑容检测、姿势检测等多种应用中利用所检测的特征。
近年来已付出许多努力以使得计算装置能够检测计算装置的视场中的特征和对象。计算装置，例如移动装置，设计有对移动装置所用的处理资源量和功率量以及热耗散的灵敏性。然而，传统上，使用相机检测计算装置的视场中的特征和对象需要大量的处理资源，从而导致例如移动装置的计算装置中的较高功率消耗和较低电池寿命。
使用深度图以执行CV操作已变得越来越流行。深度图是含有与从某一视角看的场景对象的表面的距离相关的信息的图像。获自深度图的距离信息可用于实施上文所描述的CV特征。然而，计算深度图是耗电量极大的操作。举例来说，基于帧的系统必须检查像素以便检索用于处理3D图的像素链路。在另一实例中，所有像素必须经照射以便捕捉飞行时间测量值。所说明的实例的实施均是功率密集型的。一些解决方案试图使用低功率活动事件表示相机以便节约功率使用率。然而，低功率活动事件表示相机有噪声，从而在寻找各点之间的良好匹配上导致计算问题。
因此，存在对低功率深度图重建架构的需要。
发明内容
描述了实施低功率事件驱动的活动事件表示相机(AER)的某些实施方案。所述低功率事件驱动的AER可通过以下方式绕过对应于AER的已知限制：(1)使用具有单个焦平面的单个相机；(2)使用在形式上在属性文法方面描述的可视化角锥处理方案，从而产生可综合电子件；以及(3)使用焦平面电子件以关联沿着相同水平线的事件，从而消除已知的因焦平面图像重建所致的噪声问题；(4)使用焦平面电子件以通过对过远的事件进行阈值处理来除去过远事件(例如z轴)，从而减少处理且使其适于移动装置应用；(5)提出光学路径修改以实现对便宜的高孔径(f)透镜的使用以处置高速动作；以及(6)使用具有两个光学路径的光学件，从而折叠图像。
在一些实施方案中，一种成像装置包含第一和第二透镜状元件以收集和聚焦发自光源或对象的光线，其中所述第一和第二透镜状元件各自安装到所述成像装置表面且沿着所述成像装置的外表面分隔开特定长度或距离。所述成像装置还包含第一反射元件以收集和重新引导来自所述第一透镜状元件的光线到所述成像装置的第二反射元件，其中所述第一反射元件和所述第二反射元件各自安装到所述成像装置的特定内表面。所述成像装置进一步包含第三反射元件以收集和重新引导来自所述第二透镜状元件的光线到所述成像装置的第四反射元件，其中所述第三反射元件和所述第四反射元件各自安装到所述成像装置的特定内表面。在一些实施方案中,所述第二反射元件和所述第四反射元件所反射的光线各自冲射于所述成像装置的图像传感器上以用于所述光源或对象的三维(3D)图像重建，且其中所述第一透镜状元件与所述图像传感器之间的光程长度等于所述第二透镜状元件与所述图像传感器之间的光程长度。
在一些实施方案中，所述第一透镜状元件与所述第一反射元件之间的光程的长度不同于所述第一反射元件与所述第二反射元件之间的光程的长度。
在一些实施方案中,所述第一透镜状元件与所述第一反射元件之间的光程的长度大于所述第一反射元件与所述第二反射元件之间的光程的长度。
在一些实施方案中，所述第一透镜状元件与所述第一反射元件之间的光程的长度小于所述第一反射元件与所述第二反射元件之间的光程的长度。
在一些实施方案中,所述图像传感器是第一图像传感器，且所述成像装置进一步包括：第三和第四透镜状元件，用以收集和聚焦发自光源或对象的光线，其中所述第三和第四透镜状元件各自安装到所述成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离；第五反射元件，用以收集和重新引导来自所述第三透镜状元件的光线到所述成像装置的第六反射元件，其中所述第五反射元件和所述第六反射元件各自安装到所述成像装置的特定内表面；以及第七反射元件，用以收集和重新引导来自所述第四透镜状元件的光线到所述成像装置的第八反射元件，其中所述第七反射元件和所述第八反射元件各自安装到所述成像装置的特定内表面。在一些实施方案中，所述第六反射元件和所述第八反射元件所反射的光线各自冲射于所述成像装置的第二图像传感器上以用于光源或对象的3D图像重建。
在一些实施方案中,第一透镜状元件与第二透镜状元件之间的距离等于第三透镜状元件与第四透镜状元件之间的距离。
在一些实施方案中，所述光源对象的重建包括至少部分地基于在所述第一图像传感器上的冲射和在所述第二图像传感器上的冲射的组合来重建光源对象。
在一些实施方案中,所述成像装置建置于移动装置中且用于基于应用程序的计算机视觉(CV)操作。
在一些实施方案中,一种用于重建三维(3D)图像的方法包括经由第一和第二透镜状元件收集发自光源或对象的光线，其中所述第一和第二透镜状元件各自安装到成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离。所述方法还包含经由所述第一透镜状元件将发自所述光源或对象的光线朝向第一反射元件聚焦。所述方法进一步包含经由所述第二透镜状元件将发自所述光源或对象的光线朝向第二反射元件聚焦。所述方法另外包含经由所述第一反射元件将聚焦的所述光线从所述第一透镜状元件重新引导向第二反射元件，其中所述第一反射元件和所述第二反射元件各自安装到所述成像装置的特定内表面，且其中所述光线经由所述第二反射元件冲射于所述成像装置的图像传感器上。所述方法还包含经由第三反射元件将聚焦的所述光线从所述第二透镜状元件重新引导向第四反射元件，其中所述第三反射元件和所述第四反射元件各自安装到所述成像装置的特定内表面，且其中重新引导的所述光线经由所述第四反射元件冲射于所述成像装置的所述图像传感器上。所述方法进一步包含至少部分地基于经由所述第二反射元件和所述第四反射元件冲射于所述成像装置的所述图像传感器上的光线来重建表示所述光源或对象的3D图像。
在一些实施方案中,一种用于重建三维(3D)图像的设备包含用于经由第一和第二透镜状元件收集发自光源或对象的光线的装置，其中所述第一和第二透镜状元件各自安装到成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离。所述方法还包含用于经由所述第一透镜状元件将发自所述光源或对象的光线朝向第一反射元件聚焦的装置。所述方法进一步包含用于经由所述第二透镜状元件将发自所述光源或对象的光线朝向第二反射元件聚焦的装置。所述方法另外包含用于经由所述第一反射元件将聚焦的所述光线从所述第一透镜状元件重新引导向第二反射元件的装置，其中所述第一反射元件和所述第二反射元件各自安装到所述成像装置的特定内表面，且其中所述光线经由所述第二反射元件冲射于所述成像装置的图像传感器上。所述方法进一步包含用于经由第三反射元件将聚焦的所述光线从所述第二透镜状元件重新引导向第四反射元件的装置，其中所述第三反射元件和所述第四反射元件各自安装到所述成像装置的特定内表面，且其中重新引导的所述光线经由所述第四反射元件冲射于所述成像装置的所述图像传感器上。所述方法还包含用于至少部分地基于经由所述第二反射元件和所述第四反射元件冲射于所述成像装置的所述图像传感器上的光线来重建表示所述光源或对象的3D图像的装置。
在一些实施方案中，一或多个非暂时性计算机可读媒体存储计算机可执行指令以用于重建三维(3D)图像，所述计算机可执行指令在执行时使一或多个计算装置经由第一和第二透镜状元件收集发自光源或对象的光线，其中所述第一和第二透镜状元件各自安装到成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离。所述指令在执行时进一步使所述一或多个计算装置经由所述第一透镜状元件将发自所述光源或对象的光线朝向第一反射元件聚焦。所述指令在执行时进一步使所述一或多个计算装置经由所述第二透镜状元件将发自所述光源或对象的光线朝向第二反射元件聚焦。所述指令在执行时进一步使所述一或多个计算装置经由所述第一反射元件将聚焦的所述光线从所述第一透镜状元件重新引导向第二反射元件，其中所述第一反射元件和所述第二反射元件各自安装到所述成像装置的特定内表面，且其中所述光线经由所述第二反射元件冲射于所述成像装置的图像传感器上。所述指令在执行时进一步使所述一或多个计算装置经由第三反射元件将聚焦的所述光线从所述第二透镜状元件重新引导向第四反射元件，其中所述第三反射元件和所述第四反射元件各自安装到所述成像装置的特定内表面，且其中重新引导的所述光线经由所述第四反射元件冲射于所述成像装置的所述图像传感器上。所述指令在执行时进一步使所述一或多个计算装置至少部分地基于经由所述第二反射元件和所述第四反射元件而冲射于所述成像装置的所述图像传感器上的光线来重建表示所述光源或对象的3D图像。
前文已经相当广泛地概述了实例的特征和技术优势，以便使以下具体实施方式可以得到更好理解。额外特征和优势将在下文描述。所揭示的概念和具体实例可以容易地用作修改或设计用于执行本发明的相同目的的其它结构的基础。此类等效构造并不脱离所附权利要求书的精神和范围。当结合附图考虑时，就其组织和操作方法而论被认为是本文所揭示的概念的特性的特征连同相关联优势一起将从以下描述得到更好理解。图中的每一者都仅出于说明和描述的目的而提供，且并不提供为对权利要求书的限制的界定。
附图说明
本发明的各方面作为实例来说明。在附图中，相同参考数字指示类似元件，且***。
图1说明根据一些实施方案的包括布置成2维阵列的多个传感器元件的实例传感器；
图2A说明根据一些实施方案的具有传感器元件和像素内电路的实例像素；
图2B说明根据一些实施方案的耦合到传感器元件阵列的实例外围电路；
图3说明根据一些实施方案的专用CV计算硬件；
图4说明根据一些实施方案的包括光传感器的感测设备的实例实施方案；
图5说明根据一些实施方案的对传感器读数的数字化；
图6说明根据一些实施方案的在AER上下文中的针对基于事件的相机的技术基准或协议；
图7说明根据一些实施方案的第一实例成像装置和第二实例成像装置；
图8是根据一些实施方案的对得出深度信息的图解说明；
图9是根据一些实施方案的说明视差与到对象的距离之间的反比关系的图；以及
图10说明根据一些实施方案的移动装置的实施方案。
具体实施方式
现将相对于附图描述若干说明性实施方案，所述附图形成本文的部分。虽然下文描述了可在其中实施本发明的一或多个方面的特定实施方案，但可使用其它实施方案，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
描述基于计算机视觉的应用程序的实施方案。用户所持的移动装置可能受到来自用户手部的颤动和环境内的光改变的伪影的影响。基于计算机视觉的应用程序可唯一地检测和区分更接近移动装置的对象，从而允许简化的CV处理，使得移动装置的功率大大节省。此外，归因于功率节省，这可允许始终开启操作。始终开启操作可有益于检测手势以及面部追踪和检测，所有这些对于游戏和移动装置应用来说越来越流行。
基于计算机视觉的应用程序的实施方案可将图像内的边缘用于CV处理，从而消除对搜索标志点的需要。可在硅中直接实施基本代数公式，从而允许无需重建和扫描的低成本、低功率3D绘图方法。
传感器可包含具有多个传感器元件的传感器阵列。传感器阵列可以是2维阵列，其包含布置成例如列和行两个维度的传感器阵列的传感器元件。所述传感器元件中的每一者可基于环境条件而能够产生传感器读数。图1说明包括布置成2维阵列的多个传感器元件的实例传感器100。在图1中，传感器100的图解说明表示传感器元件阵列中的64(8×8)个传感器元件。在各种实施方案中，在不脱离本发明的范围的情况下，传感器元件的形状、传感器元件的数目和传感器元件之间的间隔可极大地变化。传感器元件102表示来自64个元件网格的实例传感器元件。
在某些实施方案中,传感器元件可具有耦合到传感器元件的像素内电路。在一些情况下，传感器元件和像素内电路可一起称作像素。由耦合到传感器元件的像素内电路执行的处理可被称作像素内处理。在一些情况下，传感器元件阵列可称作像素阵列，差异在于像素阵列包含传感器元件和与每一传感器元件相关联的像素内电路两者。然而，出于本文的描述目的，术语传感器元件与像素可互换使用。
图2A说明具有传感器元件202和像素内电路204的实例像素200。在某些实施方案中，像素内电路204可为模拟电路、数字电路或其任何组合。
在某些实施方案中，所述传感器元件阵列可具有实施为耦合到一组传感器元件的外围电路(计算结构)的专用CV计算硬件。此类外围电路可称作芯片上传感器电路。图2B说明耦合到传感器元件阵列100的实例外围电路(206和208)。
此外，如图3中所展示，在某些实施方案中，传感器元件阵列可具有专用CV计算硬件，其实施为耦合到传感器元件阵列100的专用CV处理模块304且使用专用集成电路(ASIC)、现场可编程门阵列(FPGA)、嵌入式微处理器或用于执行本发明各方面的任何类似模拟或数字计算逻辑进行实施。
应注意，至少在某些实施方案中，专用CV处理模块304可外加到应用程序处理器306而非替代应用程序处理器306。举例来说，专用CV处理模块304可处理和/或检测计算机视觉特征。而应用程序处理器306可接收这些检测到的计算机视觉特征的指示且与先前存储的图像或参考指示物进行模式匹配以确定宏观特征，例如微笑、面部、对象等。另外，应用程序处理器306可相对极大地更复杂、计算更密集、高度耗电，且负责执行例如操作系统的系统级操作、实施与用户互动的用户接口、执行装置的电力管理、管理存储器和其它资源等。应用程序处理器306可类似于图10的处理器1010。
此外，在某些实施方案中，传感器阵列可具有耦合到一组传感器元件或传感器阵列的外围电路。在一些情况下，此类外围电路可称作芯片上传感器电路。图2B说明耦合到传感器阵列100的实例外围电路(206和208)。
图4说明包括光传感器的感测设备的实例实施方案。可使用若干技术以使用耦合到计算装置的一或多个相机来获取图像或一系列图像，例如视频。
图4的实例实施方案说明使用基于事件的相机的光传感器。光传感器可在图像或视频相机中用于获取图像数据。基于事件的相机传感器可经配置以基于事件而获取图像信息。在一个实施方案中，基于事件的相机可包括多个像素，如图1中所展示。每一像素可包括传感元件和像素内电路。每一像素400可经配置以基于在所述像素处所检测到的事件来获取图像数据。举例来说，在一个实施方案中，在任何给定像素处所感知的环境条件的改变可导致超出阈值的电压改变且可导致所述像素处的事件。响应于所述事件，与像素相关联的逻辑可将传感器元件读数发送到处理器以用于进一步处理。
参考图4，每一像素400可包含光电二极管和动态视觉传感器(DVS)电路404，如图4中所展示。DVS电路404还可称作事件检测电路。事件检测电路检测环境条件的改变且产生事件指示符。如果检测到事件，那么在像素的强度改变得超出阈值时将传感器读数发出到处理器。在一些情况下，其中检测到事件的传感器元件402的位置连同有效负载一起被发送到计算机系统以用于进一步处理。在一个实施方案中，有效负载可以是强度电压、强度电压的改变或强度电压的改变的极性(符号)。在一些情况下，与传统的基于帧的相机相比，基于事件的相机可引起被传送到处理器以用于进一步处理的数据量的很大程度上的降低，从而产生功率节省。参考图5，每一像素使用传感器元件产生传感器读数且将所述传感器读数数字化(即，使用ADC转换器550将数据从模拟转换到数字)。在一个实施方案中，对于每一像素，可将先前传感器读取的数字结果存储在列并行SRAM 530中。存储在列并行SRAM 530中的结果可由比较器用以基于当前传感器读数与先前传感器读数之间的比较来进行比较且触发事件。数字化传感器读数可被发送到处理器以使用CV操作560进行进一步图像处理。
另外参考图6，展示在AER(活动事件表示)上下文中的针对基于事件的相机的技术基准或协议。如所说明，所述协议受事件驱动，其中仅有源像素发送其输出。通过描述事件发生的时间的时间戳t、界定事件在二维像素阵列中的何处发生的坐标(x,y)以及对比改变(事件)的极性p来描述特定事件，所述极性编码为额外位且可以是开或关(上或下)以表示从暗到亮或从亮到暗的微小改变。一般来说，AER在焦平面中应用异步、并发的改变检测以产生边缘而消耗极小功率。但其受到仲裁噪声影响(归因于全局事件仲裁方案，其因抖动和空间暂时低效而限制了深度图重建的精度)，且需要相对大量的事件来重建图像。举例来说，图6中所描绘的一系列图形展示像素强度、基于帧的取样、基于事件的电压和基于事件的事件。
本文所描述的实施方案基于以下想法：通过提供信息压缩而局部仲裁处理来增大硬件和软件两者的AER处理增益以尤其消除仲裁噪声和减小I/O。更具体地说，本文所描述的实施方案的要点涉及一种用于焦点上或焦平面中的立体处理以便产生对象的3D重建的光学件架构。此外，使用AER处理可通过给出跨越某一阈值的像素强度的位置来产生较低处理功率和较低处理时间。
全局事件仲裁方案的当前状态并不高效。AER处理在焦平面中应用异步和并发的改变检测以产生边缘而消耗极小功率。其受到仲裁噪声影响且需要大数量的事件来重建图像。此外，抖动和空间暂时低效限制了基于AER的深度图的精度。
参考图7，展示根据本发明的第一实例成像装置602和第二实例成像装置604。在实践中，安装到封装件608(例如移动装置或终端)的分隔开视差距离D的透镜状元件606a到b捕捉光线610a到b且将所述光线聚焦到对应的第一反射元件612a到b上。由于透镜状元件606a到b分隔开距离D，因此那些元件“看到”不同视场且因此实现本发明的视差立体或3D成像(下文进一步论述)。第一反射元件612a到b重新引导光线610a到b到对应的第二反射元件614a到b，所述第二反射元件继而重新引导光线612a到b到对应的图像传感器616a到b上。总的来说，每一图像传感器616a到b可视为具有多个传感器元件的传感器阵列，类似于上文结合图1到5所描述的传感器阵列。成像装置602、604之间的差异在于第一反射元件612和第二反射元件614的形状或形式，由此在比较这两者后可理解，利用曲面镜替代了平面镜/棱镜。
图7的实例架构通过收集和聚焦从光源或对象发出/反射的光线610a到b以使得所述光线冲射在图像传感器616a到b上的特定位置——其可视为图像传感器616a到b上的路线“点”——来实现本发明的视差立体成像或3D成像。举例来说，考虑光源或对象是如图6所展示的面部618的情境。在此实例中，光线610a冲射在图像传感器616a上以形成第一点620，且光线610b冲射在图像传感器616b上以形成第二点622。通过比较点620、622的特定特征的坐标值(x,y)，可得出呈视差形式的相对深度信息，且接着可获得面部618的3D重建。举例来说，参考第一点620，假定面部618的鼻尖确定处于位置(x1,y)处，且参考第二点622，假定面部618的鼻尖确定处于位置(x2,y)处。在此实例中，可利用差量或差[x1-x2]得出与面部618的鼻尖相关联的相对深度信息，且继而可在特定粒度下执行此处理以获得面部618的3D重建(即，可获得可用于重建面部618的较大数目的面部特征的相对深度信息)。
如上文所提及，通过比较点620、622的特定特征的坐标值(x,y)，可得出呈视差形式的相对深度信息，且接着可获得(例如)面部618的3D重建。
图8中以图形方式在图702中展示深度信息的得出。可用速记术语描述用于获得深度图的算法：Δ(相似度、连续性)＝Δ(多边形)＝深度图。当焦平面中发生改变时，可启用多边形。本质上，所述算法通过匹配所有多边形的大小、计算深度图、将数据传送到协处理器以及停用多边形来起作用。
两个(空间)信号之间的数学差可用以量化深度且在图9中展示，由此可利用几何模型802来得出相对深度信息。应用于几何模型802的数学关系可表达为：
Δ＝dl+dr
其中b＝透镜状元件之间的距离，f＝焦距，dl＝从对象到第一透镜状元件的距离，且dr＝从对象到第二透镜状元件的距离。几何模型802的一些实例值可以是，其中b＝30mm，b＝2mm，150mm≥R≤1000mm，且px＝0.03mm(其中px是视差)。图9中还展示说明视差与到对象的距离之间的反比关系的图804。如通过图804可见，视差随着到对象的距离增大而减小。
还如上文所提及，本发明的要点涉及一种用于焦点上或焦平面中立体处理的光学件架构。预期可设计/选择成像装置602、604的几何形状和组件或材料以便实现最优和越发准确的视差立体成像或3D成像。举例来说，透镜状元件606a到b可经配置和/或布置以按命令离轴旋转(例如通过如图7中所展示的角度B)以实现最优视场。另外，如图7中所展示，展示两个透镜状元件606a到b。当从视角A查看成像装置602、604时(参看图7)，透镜状元件606a到b可被视为定位在钟面上的“12”和“6”处。预期额外一组透镜状元件606c到d(未展示)可定位在钟面上的“3”和“9”处，使得透镜状元件606a到d彼此偏移90度(弧)地安装到成像装置602、604。在此实例中，额外图像传感器和反射元件可并入到成像装置602、604中以实现最优和越发准确的视差立体成像或3D成像。此外，可了解，可使用对多于两个(例如二的多倍)成像元件的使用(例如，包含对应的反射元件、透镜状元件等的四个图像传感器)。换句话说，可存在2*N个成像元件，其中N是正整数。
可了解，借助在装置内水平传播的光，实现平面格式。这在需要薄度的装置(例如移动装置和智能电话)中可能是有利的。由于移动装置意在让用户易于运移，因此移动装置通常并不太厚，但具有适当量的水平面积。通过使用2*N个成像元件，平面格式可配合于薄的移动装置内。本文所描述的实施方案的立体性质允许深度确定和从相机的视角看的较宽视场。移动装置中的此类嵌入式系统的实例尺寸包含但不限于100×50×5mm、100×50×1mm、10×10×5mm和10×10×1mm。
图10说明可利用如上文所描述的传感器系统的移动装置1005的实施方案。应注意，图10意在仅提供各种组件的一般化说明，可在适当时利用所述组件中的任一者或全部。可注意到，在一些情况下，由图10说明的组件可定位到单个物理装置和/或分布于各种联网装置当中，所述联网装置可安置在不同物理位置处。
展示移动装置1005包括可经由总线1006电耦合(或可在适当时以其它方式通信)的硬件元件。所述硬件元件可包含处理单元1010，其可包含但不限于一或多个通用处理器、一或多个专用处理器(例如数字信号处理(DSP)芯片、图形加速处理器、专用集成电路(ASIC)和/或类似者)和/或其它处理结构或装置。如图10中所展示，取决于所要功能性，一些实施方案可具有单独的DSP 1020。移动装置1005还可包含：一或多个输入装置1070，其可包含但不限于触摸屏、触摸垫、麦克风、按钮、拨号盘、开关和/或类似者；以及一或多个输出装置1015，其可包含但不限于显示器、发光二极管(LED)、扬声器和/或类似者。
移动装置1005还可包含无线通信接口1030，所述无线通信接口可包含但不限于调制解调器、网卡、红外通信装置、无线通信装置和/或芯片组(例如BluetoothTM装置、IEEE302.11装置、IEEE 302.15.4装置、WiFi装置、WiMax装置、蜂窝式通信设施等)和/或类似者。无线通信接口1030可准许与网络、无线接入点、其它计算机系统和/或本文中所描述的任何其它电子装置交换数据。可经由发送和/或接收无线信号1034的一或多个无线通信天线1032执行通信。
取决于所要功能性，无线通信接口1030可包含与基站收发信台(例如，蜂窝式网络的基站)和接入点通信的单独收发器。这些不同数据网络可包含各种网络类型.另外，WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、WiMax(IEEE 802.16)等等。CDMA网络可实施一或多种无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。cdma2000包含IS-95、IS-2000和/或IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。OFDMA网络可使用LTE、高级LTE等。来自3GPP的文献中描述了LTE、高级LTE、GSM和W-CDMA。名为“第三代合作伙伴计划2”(3GPP2)的联盟的文献中描述了cdma2000。3GPP和3GPP2文献可公开获得。WLAN还可以是IEEE 802.11x网络，且WPAN可以是蓝牙网络、IEEE 802.15x或某一其它类型的网络。本文中所描述技术还可用于WWAN、WLAN和/或WPAN的任何组合。
移动装置1005可进一步包含传感器1040。此类传感器可包含而不限于一或多个加速度计、陀螺仪、相机、磁力计、高度计、麦克风、近距传感器、光传感器等等。另外或替代地，传感器1040可包含如图1到5中所描述的一或多个组件。举例来说，传感器1040可包含传感器阵列100，且扫描阵列100可连接到外围电路206到208，如在本发明中其它位置所描述。图3的应用程序处理器306可包含专用于图3中所展示的传感器系统的微处理器，且此微处理器可将事件发送到移动装置1005的处理单元1010。
移动装置的实施方案还可包含能够使用SPS天线1082从一或多个SPS卫星接收信号1084的SPS接收器1080。此类定位可用于补充和/或并入本文中所描述的技术。SPS接收器1080可使用常规技术从SPS系统的SPS SV提取移动装置的位置，所述SPS系统例如GNSS(例如全球定位系统(GPS))、伽利略(Galileo)、格洛纳斯(Glonass)、指南针(Compass)、日本的准天顶卫星系统(QZSS)、印度的印度区域导航卫星系统(IRNSS)、中国的北斗和/或类似者。此外，SPS接收器1080可使用各种扩增系统(例如，基于卫星的扩增系统(SBAS))，所述扩增系统可与一或多个全球及/或区域性导航卫星系统相关联或以其它方式启用以与一或多个全球及/或区域性导航卫星系统一起使用。举例来说但非限制，SBAS可包含提供完整性信息、差分校正等的扩增系统，例如，广域扩增系统(WAAS)、欧洲静地星导航重叠服务(EGNOS)、多功能卫星扩增系统(MSAS)、GPS辅助地理扩增导航或GPS和地理扩增导航系统(GAGAN)和/或类似者。因此，如本文中所使用，SPS可包含一或多个全球和/或区域性导航卫星系统和/或增强系统的任何组合，且SPS信号可包含SPS、类SPS和/或与此类一或多个SPS相关联的其它信号。
移动装置1005可进一步包含存储器1060和/或与所述存储器通信。存储器1060可包含而不限于本地和/或网络可存取存储装置、磁盘驱动器、驱动阵列、光学存储装置、固态存储装置(例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可为可编程、闪存可更新的)和/或类似者。此类存储装置可经配置以实施任何适当的数据存储，包含但不限于各种文件系统、数据库结构和/或类似者。
移动装置1005的存储器1060还可包括软件元件(未展示)，所述软件元件包含操作系统、装置驱动器、可执行库和/或其它代码，例如一或多个应用程序，所述应用程序可包括由各种实施方案提供的计算机程序，和/或可经设计以实施由其它实施方案提供的方法和/或配置由其它实施方案提供的系统，如本文所描述。接着在一个方面中，此类代码和/或指令可用于配置和/或调适通用计算机(或其它装置)以根据所描述的方法执行一或多个操作。
对于所属领域的技术人员来说将显而易见的是，可根据具体需求作出大量变化。举例来说，还可使用定制硬件，和/或可将特定元件实施于硬件、软件(包含便携式软件，如小程序等)或这两者中。此外，可使用与例如网络输入/输出装置等其它计算装置的连接。
参考附图，可包含存储器的组件可包含非暂时性机器可读媒体。如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供使机器以具体方式操作的数据的任何存储媒体。在上文提供的实施方案中，各种机器可读媒体可参与将指令/代码提供到处理单元和/或其它装置以供执行。另外或替代地，机器可读媒体可用于存储和/或携载此类指令/代码。在许多实施方案中，计算机可读媒体是物理和/或有形存储媒体。此类媒体可呈许多形式，包含但不限于非易失性媒体、易失性媒体和传输媒体。计算机可读媒体的通用形式包含例如磁性和/或光学媒体、穿孔卡片、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带、如以下描述的载波，或计算机可从中读取指令和/或代码的任何其它媒体。
本文中所论述的方法、系统和装置是实例。在适当时，各种实施方案可省略、取代或添加各种过程或组件。例如，相对于某些实施方案所描述的特征可在各种其它实施方案中进行组合。可以类似方式组合实施方案的不同方面和元件。本文所提供的图的各种组件可实施于硬件和/或软件中。另外，技术在演进，且因此，许多元件是并不将本发明的范围限于那些具体实例的实例。
已证实，主要出于常见用法的原因而将此类信号称为位、信息、值、元件、符号、字符、变量、项、编号、数字等等有时是方便的。然而，应理解，所有这些术语或类似术语应与适当的物理量相关联，且仅是方便的标记。除非另外确切地说明，否则从以上论述显而易见的是，应了解，贯穿本说明书的论述利用例如“处理”、“运算”、“计算”、“确定”、“确认”、“识别”、“关联”、“测量”、“执行”等等术语是指具体设备(例如专用计算机或类似的专用电子计算装置)的动作或过程。因此，在本说明书的上下文中，专用计算机或类似的专用电子计算装置能够操控或转换信号，所述信号通常表示为专用计算机或类似的专用电子计算装置的存储器、寄存器或其它信息存储装置、传输装置或显示装置内的物理电子、电性或磁性量。
如本文所使用，术语“和”以及“或”可包含多种含义，这些含义也预期至少部分地取决于使用此类术语的上下文。通常，“或”如果用于关联列表，例如A、B或C，则旨在意指A、B和C(此处是在包含性意义上使用)以及A、B或C(此处是在排他性意义上使用)。另外，本文中所使用的术语“一或多个”可用于描述单数形式的任何特征、结构或特性，或可用于描述特征、结构或特性的某一组合。然而，应注意，这仅仅是说明性实例，且所要求的主题并不限于本实例。此外，如果术语“中的至少一者”用以关联例如A、B或C的列表，则可将其解释为意指A、B和/或C中的任一组合，例如A、AB、AA、AAB、AABBCCC等。
在已描述若干实施方案之后，可在不脱离本发明的精神的情况下使用各种修改、替代性构造和等效物。举例来说，以上元件可能仅是较大系统的组件，其中其它规则可优先于本发明的应用或可以其它方式修改本发明的应用。另外，可在考虑以上元件之前、期间或之后进行数个步骤。因此，以上描述并不限制本发明的范围。
应理解，所揭示过程中的步骤的具体次序或层次是对示范性方法的说明。基于设计偏好，应理解可重新布置过程中的步骤的具体次序或层次。此外，可组合或省略一些步骤。所附方法权利要求项以示例次序呈现各个步骤的要素，且并非意在限于所呈现的具体次序或层次。
提供先前的描述以使所属领域的技术人员能够实践本文所描述的各个方面。对这些方面的各种修改对于所属领域的技术人员来说将显而易见，并且本文中定义的一般原理可应用于其它方面。此外，本文中所揭示的任何内容都并非意图贡献给公众。

Claims (30)

1.一种用于重建三维3D图像的成像装置，其包括：
第一和第二透镜状元件，用以收集和聚焦发自光源或对象的光线，其中所述第一和第二透镜状元件各自安装到所述成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离；
第一反射元件，用以收集和重新引导来自所述第一透镜状元件的光线到所述成像装置的第二反射元件，其中所述第一反射元件和所述第二反射元件各自安装到所述成像装置的特定内表面；以及
第三反射元件，用以收集和重新引导来自所述第二透镜状元件的光线到所述成像装置的第四反射元件，其中所述第三反射元件和所述第四反射元件各自安装到所述成像装置的特定内表面；
其中所述第二反射元件和所述第四反射元件所反射的光线各自冲射于所述成像装置的图像传感器上以用于所述光源或对象的三维3D图像重建，且其中所述第一透镜状元件与所述图像传感器之间的光程长度等于所述第二透镜状元件与所述图像传感器之间的光程长度。
2.根据权利要求1所述的成像装置，其中所述第一透镜状元件与所述第一反射元件之间的光程的长度不同于所述第一反射元件与所述第二反射元件之间的光程的长度。
3.根据权利要求2所述的成像装置，其中所述第一透镜状元件与所述第一反射元件之间的所述光程的所述长度大于所述第一反射元件与所述第二反射元件之间的所述光程的所述长度。
4.根据权利要求2所述的成像装置，其中所述第一透镜状元件与所述第一反射元件之间的所述光程的所述长度小于所述第一反射元件与所述第二反射元件之间的所述光程的所述长度。
5.根据权利要求1所述的成像装置，其中所述图像传感器是第一图像传感器且所述成像装置进一步包括：
第三和第四透镜状元件，用以收集和聚焦发自所述光源或对象的光线，其中所述第三和第四透镜状元件各自安装到所述成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离；
第五反射元件，用以收集和重新引导来自所述第三透镜状元件的光线到所述成像装置的第六反射元件，其中所述第五反射元件和所述第六反射元件各自安装到所述成像装置的特定内表面；以及
第七反射元件，用以收集和重新引导来自所述第四透镜状元件的光线到所述成像装置的第八反射元件，其中所述第七反射元件和所述第八反射元件各自安装到所述成像装置的特定内表面；
其中所述第六反射元件和所述第八反射元件所反射的光线各自冲射于所述成像装置的第二图像传感器上以用于所述光源或对象的3D图像重建。
6.根据权利要求5所述的成像装置，其中所述第一透镜状元件与第二透镜状元件之间的距离等于所述第三透镜状元件与第四透镜状元件之间的距离。
7.根据权利要求5所述的成像装置，其中所述光源对象的所述重建包括至少部分地基于在所述第一图像传感器上的所述冲射和在所述第二图像传感器上的所述冲射的组合来重建所述光源对象。
8.根据权利要求1所述的成像装置，其中所述成像装置建置于移动装置中且用于基于应用程序的计算机视觉CV操作。
9.一种用于重建三维3D图像的方法，其包括：
经由第一和第二透镜状元件收集发自光源或对象的光线，其中所述第一和第二透镜状元件各自安装到成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离；
经由所述第一透镜状元件将发自所述光源或对象的所述光线朝向第一反射元件聚焦；
经由所述第二透镜状元件将发自所述光源或对象的所述光线朝向第二反射元件聚焦；
经由所述第一反射元件将聚焦的所述光线从所述第一透镜状元件重新引导向第二反射元件，其中所述第一反射元件和所述第二反射元件各自安装到所述成像装置的特定内表面，且其中所述光线经由所述第二反射元件冲射于所述成像装置的图像传感器上；
经由第三反射元件将聚焦的所述光线从所述第二透镜状元件重新引导向第四反射元件，其中所述第三反射元件和所述第四反射元件各自安装到所述成像装置的特定内表面，且其中重新引导的所述光线经由所述第四反射元件冲射于所述成像装置的所述图像传感器上；以及
至少部分地基于经由所述第二反射元件和所述第四反射元件冲射于所述成像装置的所述图像传感器上的所述光线来重建表示所述光源或对象的3D图像。
10.根据权利要求9所述的方法，其中所述第一透镜状元件与所述第一反射元件之间的光程的长度不同于所述第一反射元件与所述第二反射元件之间的光程的长度。
11.根据权利要求10所述的方法，其中所述第一透镜状元件与所述第一反射元件之间的所述光程的所述长度大于所述第一反射元件与所述第二反射元件之间的所述光程的所述长度。
12.根据权利要求10所述的方法，其中所述第一透镜状元件与所述第一反射元件之间的所述光程的所述长度小于所述第一反射元件与所述第二反射元件之间的所述光程的所述长度。
13.根据权利要求9所述的方法，其中所述图像传感器是第一图像传感器，且所述方法进一步包括：
经由第三和第四透镜状元件收集发自光源或对象的光线，其中所述第三和第四透镜状元件各自安装到成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离；
经由所述第三透镜状元件将发自所述光源或对象的所述光线朝向第五反射元件聚焦；
经由所述第四透镜状元件将发自所述光源或对象的所述光线朝向第六反射元件聚焦；
经由所述第五反射元件将聚焦的所述光线从所述第三透镜状元件重新引导向第六反射元件，其中所述第五反射元件和所述第六反射元件各自安装到所述成像装置的特定内表面，且其中所述光线经由所述第六反射元件冲射于所述成像装置的第二图像传感器上；
经由第七反射元件将聚焦的所述光线从所述第四透镜状元件重新引导向第八反射元件，其中所述第七反射元件和所述第八反射元件各自安装到所述成像装置的特定内表面，且其中重新引导的所述光线经由所述第八反射元件冲射于所述成像装置的所述第二图像传感器上；以及
至少部分地基于经由所述第二反射元件和所述第四反射元件冲射于所述成像装置的所述第一图像传感器上的所述光线以及至少部分地基于经由所述第六反射元件和所述第八反射元件冲射于所述成像装置的所述第二图像传感器上的所述光线来重建表示所述光源或对象的所述三维3D图像。
14.根据权利要求13所述的方法，其中所述第一透镜状元件与第二透镜状元件之间的距离等于所述第三透镜状元件与第四透镜状元件之间的距离。
15.根据权利要求13所述的方法，其中所述光源对象的所述重建包括至少部分地基于在所述第一图像传感器上的所述冲射和在所述第二图像传感器上的所述冲射的组合来重建所述光源对象。
16.根据权利要求9所述的方法，其中所述成像装置建置于移动装置中且用于基于应用程序的计算机视觉CV操作。
17.一种用于重建三维3D图像的设备，其包括：
用于经由第一和第二透镜状元件收集发自光源或对象的光线的装置，其中所述第一和第二透镜状元件各自安装到成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离；
用于经由所述第一透镜状元件将发自所述光源或对象的所述光线朝向第一反射元件聚焦的装置；
用于经由所述第二透镜状元件将发自所述光源或对象的所述光线朝向第二反射元件聚焦的装置；
用于经由所述第一反射元件将聚焦的所述光线从所述第一透镜状元件重新引导向第二反射元件的装置，其中所述第一反射元件和所述第二反射元件各自安装到所述成像装置的特定内表面，且其中所述光线经由所述第二反射元件冲射于所述成像装置的图像传感器上；
用于经由第三反射元件将聚焦的所述光线从所述第二透镜状元件重新引导向第四反射元件的装置，其中所述第三反射元件和所述第四反射元件各自安装到所述成像装置的特定内表面，且其中重新引导的所述光线经由所述第四反射元件冲射于所述成像装置的所述图像传感器上；以及
用于至少部分地基于经由所述第二反射元件和所述第四反射元件冲射于所述成像装置的所述图像传感器上的所述光线来重建表示所述光源或对象的所述3D图像的装置。
18.根据权利要求17所述的设备，其中所述第一透镜状元件与所述第一反射元件之间的光程的长度不同于所述第一反射元件与所述第二反射元件之间的光程的长度。
19.根据权利要求18所述的设备，其中所述第一透镜状元件与所述第一反射元件之间的所述光程的所述长度大于所述第一反射元件与所述第二反射元件之间的所述光程的所述长度。
20.根据权利要求18所述的设备，其中所述第一透镜状元件与所述第一反射元件之间的所述光程的所述长度小于所述第一反射元件与所述第二反射元件之间的所述光程的所述长度。
21.根据权利要求17所述的设备，其中所述图像传感器是第一图像传感器，且所述设备进一步包括：
用于经由第三和第四透镜状元件收集发自光源或对象的光线的装置，其中所述第三和第四透镜状元件各自安装到成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离；
用于经由所述第三透镜状元件将发自所述光源或对象的所述光线朝向第五反射元件聚焦的装置；
用于经由所述第四透镜状元件将发自所述光源或对象的所述光线朝向第六反射元件聚焦的装置；
用于经由所述第五反射元件将聚焦的所述光线从所述第三透镜状元件重新引导向第六反射元件的装置，其中所述第五反射元件和所述第六反射元件各自安装到所述成像装置的特定内表面，且其中所述光线经由所述第六反射元件冲射于所述成像装置的第二图像传感器上；
用于经由第七反射元件将聚焦的所述光线从所述第四透镜状元件重新引导向第八反射元件的装置，其中所述第七反射元件和所述第八反射元件各自安装到所述成像装置的特定内表面，且其中重新引导的所述光线经由所述第八反射元件冲射于所述成像装置的所述第二图像传感器上；以及
用于至少部分地基于经由所述第二反射元件和所述第四反射元件冲射于所述成像装置的所述第一图像传感器上的所述光线以及至少部分地基于经由所述第六反射元件和所述第八反射元件冲射于所述成像装置的所述第二图像传感器上的所述光线来重建表示所述光源或对象的所述三维3D图像的装置。
22.根据权利要求21所述的设备，其中所述第一透镜状元件与第二透镜状元件之间的距离等于所述第三透镜状元件与第四透镜状元件之间的距离。
23.根据权利要求21所述的设备，其中所述光源对象的所述重建包括至少部分地基于在所述第一图像传感器上的所述冲射和在所述第二图像传感器上的所述冲射的组合来重建所述光源对象。
24.一种存储用于重建三维3D图像的计算机可执行指令的一或多个非暂时性计算机可读媒体，所述指令在执行时使一或多个计算装置进行以下操作：
经由第一和第二透镜状元件收集发自光源或对象的光线，其中所述第一和第二透镜状元件各自安装到成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离；
经由所述第一透镜状元件将发自所述光源或对象的所述光线朝向第一反射元件聚焦；
经由所述第二透镜状元件将发自所述光源或对象的所述光线朝向第二反射元件聚焦；
经由所述第一反射元件将聚焦的所述光线从所述第一透镜状元件重新引导向第二反射元件，其中所述第一反射元件和所述第二反射元件各自安装到所述成像装置的特定内表面，且其中所述光线经由所述第二反射元件冲射于所述成像装置的图像传感器上；
经由第三反射元件将聚焦的所述光线从所述第二透镜状元件重新引导向第四反射元件，其中所述第三反射元件和所述第四反射元件各自安装到所述成像装置的特定内表面，且其中重新引导的所述光线经由所述第四反射元件冲射于所述成像装置的所述图像传感器上；以及
至少部分地基于经由所述第二反射元件和所述第四反射元件冲射于所述成像装置的所述图像传感器上的所述光线来重建表示所述光源或对象的所述3D图像。
25.根据权利要求24所述的非暂时性计算机可读媒体，其中所述第一透镜状元件与所述第一反射元件之间的光程的长度不同于所述第一反射元件与所述第二反射元件之间的光程的长度。
26.根据权利要求25所述的非暂时性计算机可读媒体，其中所述第一透镜状元件与所述第一反射元件之间的所述光程的所述长度大于所述第一反射元件与所述第二反射元件之间的所述光程的所述长度。
27.根据权利要求25所述的非暂时性计算机可读媒体，其中所述第一透镜状元件与所述第一反射元件之间的所述光程的所述长度小于所述第一反射元件与所述第二反射元件之间的所述光程的所述长度。
28.根据权利要求24所述的非暂时性计算机可读媒体，其中所述图像传感器是第一图像传感器，且所述方法进一步包括：
经由第三和第四透镜状元件收集发自光源或对象的光线，其中所述第三和第四透镜状元件各自安装到成像装置的表面且沿着所述成像装置的外表面分隔开特定长度或距离；
经由所述第三透镜状元件将发自所述光源或对象的所述光线朝向第五反射元件聚焦；
经由所述第四透镜状元件将发自所述光源或对象的所述光线朝向第六反射元件聚焦；
经由所述第五反射元件将聚焦的所述光线从所述第三透镜状元件重新引导向第六反射元件，其中所述第五反射元件和所述第六反射元件各自安装到所述成像装置的特定内表面，且其中所述光线经由所述第六反射元件冲射于所述成像装置的第二图像传感器上；
经由第七反射元件将聚焦的所述光线从所述第四透镜状元件重新引导向第八反射元件，其中所述第七反射元件和所述第八反射元件各自安装到所述成像装置的特定内表面，且其中重新引导的所述光线经由所述第八反射元件冲射于所述成像装置的所述第二图像传感器上；以及
至少部分地基于经由所述第二反射元件和所述第四反射元件冲射于所述成像装置的所述第一图像传感器上的所述光线以及至少部分地基于经由所述第六反射元件和所述第八反射元件冲射于所述成像装置的所述第二图像传感器上的所述光线来重建表示所述光源或对象的所述三维3D图像。
29.根据权利要求28所述的非暂时性计算机可读媒体，其中所述第一透镜状元件与第二透镜状元件之间的距离等于所述第三透镜状元件与第四透镜状元件之间的距离。
30.根据权利要求28所述的非暂时性计算机可读媒体，其中所述光源对象的所述重建包括至少部分地基于在所述第一图像传感器上的所述冲射和在所述第二图像传感器上的所述冲射的组合来重建所述光源对象。
CN201680055284.1A 2015-09-24 2016-08-01 用于3d相机的光学架构 Pending CN108028913A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/864,761 US20170094249A1 (en) 2015-09-24 2015-09-24 Optics architecture for 3-d image reconstruction
US14/864,761 2015-09-24
PCT/US2016/045031 WO2017052782A1 (en) 2015-09-24 2016-08-01 Optical architecture for 3d camera

Publications (1)

Publication Number Publication Date
CN108028913A true CN108028913A (zh) 2018-05-11

Family

ID=56920914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055284.1A Pending CN108028913A (zh) 2015-09-24 2016-08-01 用于3d相机的光学架构

Country Status (7)

Country Link
US (1) US20170094249A1 (zh)
EP (1) EP3354018A1 (zh)
JP (1) JP2018536314A (zh)
KR (1) KR20180056747A (zh)
CN (1) CN108028913A (zh)
BR (1) BR112018005980A2 (zh)
WO (1) WO2017052782A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887535B2 (en) * 2018-07-18 2021-01-05 The Regents Of The University Of California Query driven image sensing
CN112689082B (zh) * 2019-10-17 2022-05-17 电装波动株式会社 具备事件相机的摄像装置
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040220464A1 (en) * 2002-10-26 2004-11-04 Carl-Zeiss-Stiftung Trading As Carl Zeiss Method and apparatus for carrying out a televisit
CN1735217A (zh) * 2004-08-09 2006-02-15 奥林巴斯株式会社 生成图像的方法和设备
US20120105593A1 (en) * 2010-10-29 2012-05-03 Sony Corporation Multi-view video and still 3d capture system
US20130258067A1 (en) * 2010-12-08 2013-10-03 Thomson Licensing System and method for trinocular depth acquisition with triangular sensor

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768834B1 (en) * 2003-06-13 2004-07-27 Agilent Technologies, Inc. Slab optical multiplexer
JP4931668B2 (ja) * 2007-03-29 2012-05-16 富士フイルム株式会社 複眼撮像装置
DE102008018637A1 (de) * 2008-04-11 2009-10-15 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur Fluoreszenz-Bildgebung
WO2013111471A1 (ja) * 2012-01-24 2013-08-01 ソニー株式会社 表示装置
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US10045005B2 (en) * 2013-12-10 2018-08-07 Lg Electronics Inc. 3D camera module
WO2015176298A1 (en) * 2014-05-23 2015-11-26 Covidien Lp 3d laparoscopic image capture apparatus with a single image sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040220464A1 (en) * 2002-10-26 2004-11-04 Carl-Zeiss-Stiftung Trading As Carl Zeiss Method and apparatus for carrying out a televisit
CN1735217A (zh) * 2004-08-09 2006-02-15 奥林巴斯株式会社 生成图像的方法和设备
US20120105593A1 (en) * 2010-10-29 2012-05-03 Sony Corporation Multi-view video and still 3d capture system
US20130258067A1 (en) * 2010-12-08 2013-10-03 Thomson Licensing System and method for trinocular depth acquisition with triangular sensor

Also Published As

Publication number Publication date
WO2017052782A1 (en) 2017-03-30
US20170094249A1 (en) 2017-03-30
JP2018536314A (ja) 2018-12-06
BR112018005980A2 (pt) 2018-10-09
KR20180056747A (ko) 2018-05-29
EP3354018A1 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
CN107818288B (zh) 标志牌信息获取方法及装置
CN108682036A (zh) 位姿确定方法、装置及存储介质
CN109962939B (zh) 位置推荐方法、装置、服务器、终端及存储介质
US20140015919A1 (en) Reimaging Based on Depthmap Information
CN104457767B (zh) 实现位置服务的方法和装置
US11099402B2 (en) Dynamically changing a fiducial marker for IoT device identification
WO2015195191A1 (en) Graphical representation generation for multiple points of interest
US11212639B2 (en) Information display method and apparatus
CN111256676B (zh) 移动机器人定位方法、装置和计算机可读存储介质
CN111986250A (zh) 物体体积测量方法、装置、测量设备及存储介质
CN108271012A (zh) 一种深度信息的获取方法、装置以及移动终端
CN108028913A (zh) 用于3d相机的光学架构
CN109191373A (zh) 导航坐标转换高斯投影坐标的方法、系统、设备及介质
US11943424B2 (en) Imaging system configured to use time-of-flight imaging and stereo imaging
CN112053360B (zh) 图像分割方法、装置、计算机设备及存储介质
CN109427101A (zh) 一种获取增强现实图像的方法和系统
CN109833624A (zh) 用于虚拟地图上行军线信息的显示方法及装置
CN112925922A (zh) 获取地址的方法、装置、电子设备及介质
CN105446690A (zh) 具有目标定位功能的信息融合及多信息显示方法
CN115032640A (zh) 手势识别方法和终端设备
US20200408550A1 (en) Generating spatial areas of influence
CN113762054A (zh) 图像识别方法、装置、设备及可读存储介质
JP2011075292A (ja) 案内装置およびシステム、携帯情報端末による案内方法、案内プログラム
JP2020501112A (ja) 処理装置、コンピュータプログラムコード、及び方法
CN113449948B (zh) 业务处理的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180511

WD01 Invention patent application deemed withdrawn after publication