CN108780142A - 3d成像系统和方法 - Google Patents

3d成像系统和方法 Download PDF

Info

Publication number
CN108780142A
CN108780142A CN201780017336.0A CN201780017336A CN108780142A CN 108780142 A CN108780142 A CN 108780142A CN 201780017336 A CN201780017336 A CN 201780017336A CN 108780142 A CN108780142 A CN 108780142A
Authority
CN
China
Prior art keywords
array
pixel
optical
optical element
sensor array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780017336.0A
Other languages
English (en)
Other versions
CN108780142B (zh
Inventor
P·S·邦科斯
B·施密特
C·S·图维伊
L·N·维奈里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ennai Co ltd
Original Assignee
TETRAVUE Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TETRAVUE Inc filed Critical TETRAVUE Inc
Publication of CN108780142A publication Critical patent/CN108780142A/zh
Application granted granted Critical
Publication of CN108780142B publication Critical patent/CN108780142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/001—Optical devices or arrangements for the control of light using movable or deformable optical elements based on interference in an adjustable optical cavity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0136—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  for the control of polarisation, e.g. state of polarisation [SOP] control, polarisation scrambling, TE-TM mode conversion or separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Abstract

一种3D成像系统包括用于随着时间变化对光脉冲的返回部分进行调制的光学调制器。返回的光脉冲部分从对于其期望3D图像或视频的场景反射或散射。该3D成像系统还包括接收调制的光脉冲部分的元件阵列和与该元件阵列相对应的像素的传感器阵列。像素阵列被定位为接收从元件阵列输出的光。元件阵列可以包括偏振元件的阵列，每个偏振元件对应于一个或多个像素。偏振元件的偏振状态可以被配置为使得返回的光脉冲的飞行时间信息可以响应于光脉冲的返回的调制部分、从由像素阵列产生的信号测得。

Description

3D成像系统和方法
35U.S.C.§119下的优先权声明
本专利申请要求2016年2月29日提交的临时申请No.62/301,587的优先权，该申请特此整体通过引用明确地并入，好像在本文中被充分阐述一样。
技术领域
本公开总体上涉及三维(3D)成像，更具体地，涉及用于捕捉3D信息的照相机或系统。
背景技术
捕捉场景中的表面和物体的3D位置对于诸如机器人视觉、自动车辆和视频游戏控制之类的应用正变得越来越普通。理想的3D照相机能够以与如今的二维(2D)摄像机和蜂窝电话照相机功能相同的方式捕捉3D信息、连同高分辨率的图像或视频。这样的照相机的尺寸、重量和功率要求是重要的考虑。目前实现这一点的方法在分辨率和操作范围上有弱点，并且对于一些方法还有高成本和大的物理尺寸的弱点。
目前用于获取整个场景中的3D坐标作为图像的几种技术全都具有它们的优势，但是也具有阻止它们递送高质量3D成像和视频的弱点和基本限制。
常见的3D方法、尤其是低成本的方法是使用按基线距离分隔的多个透镜和传感器来提供3D效果的立体照相机。然而，对于绝大多数立体照相机，实际上是没有3D数据的，即使是高端电影摄影装备——3D效果是显示器处的错视(optical illusion)。这对于需要3D信息或坐标的一些应用是没有用的。立体图像可以用于使用摄影测量法(对与两个传感器的对应像素的距离进行三角测量)来生成3D几何数据，但是这需要精确的校准(calibration)和用于基线分离的机械体积、以及大量处理。有效的操作范围对于典型的基线限于较短的范围，并且来自立体照相机对的摄影测量法的性能对于照明条件和阴影是敏感的。这样的设备在黑暗的或有挑战性的照明下不会很好地操作，并且需要大量的计算资源；这些特性使得在小型系统中提取实时数据很困难。因此，摄影测量法对于一些应用不是适当的解决方案。
所用的相关的解决方案将光图案(pattern)投射到场景中的物体上，并且使用单独的传感器来检测图案中的偏离。结构化的投光器和图像传感器需要不同的发射孔径和接收孔径，这些孔径必须被精确地对齐，并且分隔足以实现良好的距离性能的距离。这些系统要么使用限制用于范围信息的横向分辨率的几个图案，要么使用不能用于快速移动物体的多个图像。
除了这些测量距离的几何解决方案，大量发展努力已经集中于开发时间敏感的传感器，这些传感器测量光运送到场景物体并且返回到3D照相机传感器的飞行时间。有各种技术用于测量该时间，但是全都涉及与每个像素相对应的控制该像素的响应并且记录光对于该像素的到达时间(要么按振幅，要么按相位)的电路。这样的电路的复杂性以及被记录的广泛数据已经妨碍这样的传感器的开发，即使是最先进的时间敏感的传感器也限于一面100-200个像素。如果缩小像素尺寸的方式可以被找到，进一步的缩放可能需要更昂贵的芯片开发。这些技术中的许多技术对于照明条件也是敏感的，并且到目前为止限于短距离、室内使用。对于这些解决方案，每个像素是相对于主时钟并且相对于彼此精确定时的，以获得令人满意的范围测量性能，从而使将时间敏感的传感器缩放到超出目前的技术发展水平的能力进一步复杂化，这不足以超过粗略的手势识别的目前使用被广泛使用。
使用各种时间调制方案的小型3D照相机已经被生产。所有这些方法需要新的专门的成像传感器和电子电路来实现3D效果，并且限于大约200个像素×160个像素阵列或更小。即使像素计数已经随着时间缓慢地增加，它仍然很慢，并且大量工作仍需要改进。它们还具有有限的范围(<5m)，并且在明亮的照明下(例如，在户外)性能很差。这些传感器已经显示出不适合于一些工业应用。高端3D测量仪器可以实现所需性能中的一些，但是没有一个是接近实时的，需要大量的劳动，并且没有到达许多应用所需的成本目标的途径。
与本文所公开的3D成像方法相关的其他已知的技术包括以前在各种成像应用中使用偏振栅格和单个传感器阵列的尝试。
与传感器阵列耦合的偏振栅格已经用于测量传入光的偏振状态。最常见的方法是使用包括4个不同方位(诸如垂直的、水平的、45°和135°)的偏振元件的栅格，这些偏振元件用于测量该像素处的传入光的Stokes矢量。Stokes矢量确定传入光的偏振状态。传入光的偏振状态在整个传感器上的像素之间的改变可以用于估计正被成像到传感器阵列上的表面的表面法线(normal)的改变。
对于3D成像应用，表面法线的改变可以用于推导正被成像的表面的斜率的测量，该测量然后可以用于推导相对于周围表面的深度位置。该技术已经被用于从平滑的光学表面提取3D表面，例如以测量光学表面的曲率。参见以下文献：J.Millerd、N.Brock等人在Fringe2005,Springer Berlin Heidelberg(2006年)上的“Pixelated Phase-MaskDynamic Interferometer”；V.Gruev、R.Perkins和T.York在Opt.Express 18第19087-94页(2011年)上的“CCD polarization imaging sensor with aluminum nanowire opticalfilters”。
虽然这样的技术可以在3D应用中测量并且已经使用偏振栅格来测量传入光的偏振测量，但是这些以前的努力全都仅进行了表面位置的相对测量。相反，本文所公开的新方法和新系统使用与调制器组合的偏振栅格来测量被发射并且反射的光的飞行时间以推导正被成像的表面的绝对位置。
Yafuso的美国专利7,301,138描述了使用与普克尔斯盒(Pockels cell)组合的单个传感器阵列的方法。该方法使用Wollaston棱镜和一系列光学透镜来将偏振元件划分为分隔一定距离的两个光路。该方法给系统增添了附加的光学器件，从而导致光学设计更加复杂，这使成本增加并且尺寸和重量也增加。在单个传感器阵列上创建的图像是不同的图像，从而本质上从单个阵列创建了两个独立的传感器阵列。这两个图像必须被以相同的方式校准和配准，就好像两个单独的传感器阵列已经被使用一样。传感器阵列的对齐被消除，但是用于两个偏振状态的单独的光路意味着，每个状态容易有独特的畸变，该畸变需要本质上等同的补偿、配准和校准，就好像两个传感器阵列已经被使用一样。
已知的3D成像技术(其中一些已经在上面被描述)具有使得它们对于一些应用是不切实际的或不合适的严重的限制。因此，需要改进的3D成像技术。
发明内容
为了解决前述缺点，本文所公开的技术提供了改进的3D成像系统。该系统包括光学调制器，该光学调制器被配置为随着时间变化对光脉冲的返回部分进行调制。也包括在系统中的光学元件的阵列可以接收光脉冲的调制的返回部分。阵列的光学元件中的至少一个具有第一光学透射状态，第一光学透射状态不同于光学元件中的另一个光学元件的第二光学透射状态。与光学元件的阵列相对应的像素的传感器阵列被定位在系统内以接收从光学元件的阵列输出的光。
根据所公开的技术的另一方面，一种3D成像方法包括：用光脉冲照射场景；对光脉冲的返回部分进行调制；并且使光脉冲的调制的返回部分通过光学元件的阵列。光学元件中的至少一个具有第一光学透射状态，第一光学透射状态不同于光学元件中的另一个光学元件的第二光学透射状态。像素的传感器阵列接收从光学元件的阵列输出的光。响应于光脉冲的调制的返回部分通过光学元件的阵列，基于由传感器阵列产生的信号生成关于场景的3D信息。
前面的发明内容不限定所附权利要求的限制。当考查附图和详细描述时，其他方面、特征和优点对本领域技术人员将是清楚的或者将变得清楚。意图使所有这样的另外的特征、方面和优点都包括在本说明书内，并且受到所附权利要求的保护。
附图说明
将理解的是，附图仅仅是出于例证的目的，并不限定所附权利要求的限制。此外，附图中的组件不一定是按比例的。在附图中，相似的附图标记在不同的视图中始终指定对应的部分。
图1是利用调制器和偏振栅格阵列的示例3D(三维)照相机的简化概念图。
图2A-B是示例的第一偏振栅格阵列的简化概念图，该图示出偏振元件的第一布置。
图3是示例的第二偏振栅格阵列的简化概念图，该图示出偏振元件的第二布置。
图4是示例的第三偏振栅格阵列的简化概念图，该图示出偏振元件的第三布置。
图5是具有保护带的示例栅格阵列像素结构的侧视图。
图6是具有另一保护带配置的另一示例栅格阵列像素结构的侧视图。
图7是进一步的具有垂直保护带的示例栅格阵列像素结构的侧视图。
图8示意性地示出3D成像系统的另一个例子。
图9是示出使用本文所描述的系统捕捉3D图像的示例方法的流程图。
具体实施方式
参照附图并且合并附图的以下详细描述对一种或多种特定的3D成像系统和方法进行了描述和示出。所提供的不限制这些方法和系统的、而仅仅是举例说明和教导这些方法和系统的这些配置被足够详细地示出和描述以使得本领域技术人员能够实施这些技术。因此，在适当的情况下，为了避免使系统和方法模糊，描述可以省略本领域技术人员已知的某些信息。本文的公开内容是不应被解读为过度地限制可能最后基于本申请授予的任何专利权利要求的范围的例子。
词语“示例性的”在本申请中始终用于意指“用作例子、实例或例证”。在本文中被描述为“示例性的”的任何系统、方法、设备、技术、照相机特征等不一定被解释为较于其他特征是优选的或有利的。
一般来说，本文所公开的技术是将光学元件的栅格放置在成像传感器阵列(例如，焦面阵列(FPA))的检测表面的像素元件堆叠内或前面或前表面上。这些元件可以用于将信号与不同的调制状态(包括调制状态/非调制状态)区分开，并且是基于基本的调制技术设计的。例如，这样的元件可以使用偏振元件的图案来进行导致用于Fabry-Perot腔体的透射元件的偏振改变或图案的相位调制和其他相位调制。这样的元件可以以一种或多种方式设计和组合以区分系统的状态，包括偏振透射、频谱透射、相位透射、强度透射或类似的光性质的变化。
紧凑的3D照相机系统可以通过将2013年6月25日发表的美国专利8,471,895B2中描述的被调制的传感器方法的元件与偏振或透射栅格阵列集成来实现，该专利整体通过引用并入，就好像在本文中被充分阐述一样(在本文中被称为“’895专利”)。可以被修改为实现本文所描述的方法和系统的3D成像系统和方法的例子在’895专利中、例如图1-12处以及它们在’895说明书中的附随的撰写描述中公开。’895专利的这些部分描述了可以被配置为执行这些方法并且包括本申请中公开的偏振或透射栅格阵列的3D成像系统，并且通过引用被具体地并入在本文中。
另外地或可替代地，2015年4月27日提交的标题为“Method and System forRobust and Extended Illumination Waveforms for Depth Sensing in 3D Imaging”的美国专利申请14/696,793中描述的脉冲光源和方法可以与本文所公开的系统和方法一起使用，本申请的主题特此整体通过引用明确地并入，就好像在本文中被充分地阐述一样。
如本文所公开的，几个元件单独地或组合地提供更紧凑的单片设计的能力。本发明技术将所需的时间相关的元件放置在每个像素或者像素或光敏元件阵列的前面，而不是将复杂的电路和定时算法放置在每个光敏像素的后面。本发明技术使用影响每个像素或多组像素前面的光场以影响光子信号的光学手段、电光手段或其他手段，而不是使用电子手段来影响每个像素处的电压或电荷信号。这些光学手段可以被放置在传感器阵列的近邻、传感器阵列和对应的光学元件之间、或这样的光学元件的前面以使得可以从包括飞行时间信息的入射光场提取时间或深度(例如，z轴距离)信息。
使用如’895专利中描述的调制器(在传感器阵列的外部)(具体地说，’895专利中公开的调制器524、700-701 1124、1224，其描述具体地通过引用并入本文中)对范围信息进行编码消除了对于昂贵的定制传感器阵列或芯片开发(尤其是缩放可以提供高精度定时信息的、限于大约200个像素的芯片的挑战)的需要。将该调制器方法和与传感器阵列耦合和对齐的偏振栅格组合消除了具有两个单独的传感器阵列和笨重的偏振组件(诸如偏振分束器)的需要。就单个传感器阵列而言，在两个虚拟阵列之间存在对齐和配准。每个偏振像素的地点在任何表面法线的角度和位置上相对于正交偏振的像素是自动地知道的。这使制造和校准复杂度降低。
偏振栅格的使用还使用于偏振分离元件的玻璃或其他材料的厚度大大地减小，这使球面像差和其他光学像差的量减少。在现有系统中，这些像差要么使3D照相机的光学系统的光学性能降低，要么光学系统必须用定制设计改动以移除或补偿这样的像差。通过本文所公开的技术，光学元件所需的像差补偿的量减小或被消除。
另外，偏振栅格的使用打开了将调制器/偏振分离/传感器阵列做成可以直接与目录(catalog)光学透镜或成像元件一起使用的紧密耦合的或单片的光学组件的可能性。在诸如晶圆规模制造的一些情况下，没有透镜或中继光学器件将需要被放置在光学调制器和传感器阵列/偏振栅格之间。这可以使3D照相机系统的尺寸和成本减小。
由3D照相机产生和处理的数据流变得更简单，因为只有一个传感器阵列，并且不需要与其他传感器阵列定时。如’895专利中描述的(诸如’895专利中参照图10描述的)那样将多个3D照相机或模块组合在一起(例如，以使用不同的范围窗口和调制波形使范围窗口延伸而不使可实现的范围分辨率变糟)也变得较简单，’895专利的这些部分具体地通过引用并入，就好像在本文中被充分阐述一样。
如图1所示，电光模块21包括偏振元件的栅格18，其被放置在成像传感器20的表面的前面，或者可能地被放置在成像传感器20的表面上，成像传感器20诸如电荷耦合器件(CCD)或像素的互补金属氧化物半导体(CMOS)阵列。在一些配置中，偏振栅格层18可以通过使用光刻处理中的附加的一个步骤或多个步骤被直接放置在传感器阵列20的表面上。在其他配置中，栅格层18可以被放置在透明基板上，该基板然后被放置在传感器阵列上或传感器阵列的前面。在其他配置中，偏振栅格18可以被放置在传感器阵列的检测器或电子位点(site)上面的层内。偏振栅格18被对齐以使得每个偏振元件19的中心被定位为与每个像素22的中心大致一致。对于一些配置，栅格18被布置为使得交替的偏振元件传递正交偏振。例如，如果第一偏振元件被定向为传递垂直偏振，则行或列中的下一个元件被定向为传递水平偏振。代替线性偏振元件，正交圆形偏振元件(左手的和右手的二者)也可以被使用。其他配置可以使用其他图案的偏振元件，包括传递非正交偏振的元件。
任何合适的制造技术可以用于构建偏振器元件阵列。例如，偏振元件18可以使用各种技术制成，包括金属线栅偏振器、薄膜偏振层、应力聚合物、以及由液晶器件和优先于其他偏振状态传递特定的偏振状态的任何其他的技术制成的元件。在一些情况下，偏振元件可以由可以在每个脉冲之间或在脉冲期间用某个控制信号改变的材料制成。这样的元件可以用各种使用膜沉积技术的方法沉积。一些可以用光刻技术创建，诸如散布曝光(包括用多个射束或波长)、蚀刻和沉积步骤。其他这样的元件可以通过拉伸诸如聚合物之类的材料或以其他方式给诸如聚合物之类的材料施加应力来创建。一些元件可以通过适当的间隔或尺寸的形状和结构的电子束或激光写入来创建。
对于一些配置，对波长不敏感的元件可以用于支持具有多个照射波长或具有宽带照射的3D影像。在其他配置中，具有窄的接受带宽的元件可以用作偏振元件以更高效地区分期望波长的光和非期望波长的光。
通过使用光刻制造处理，可以减小任何偏振器栅格与传感器阵列错位和不均匀间隔、非理想的偏振器性能和像素之间的串扰。因为偏振器栅格和传感器阵列这二者可以使用光刻处理制造，所以间隔的均匀性是由掩膜设计确定的，这通常准确到纳米水平。对齐基准点可以用于将两个栅格对齐，并且光刻精度使得可以准确地匹配栅格元件的间距。
非理想的偏振器性能将导致输出光的最小量和最大量移位。可以通过对各种时间时的响应进行校准来对这个非理想的行为进行处理。同样地，不完美的偏振对比度(透射的偏振和排斥的偏振的透射之间的比率)可以通过适当的系统校准来管理。例如，大约5:1、10:1或更高的偏振对比度可以在可接受的性能的情况下使用。
在发生像素串扰或者入射在一个偏振器元件上的光或信号到达除了与该偏振器元件相对应的像素之外的像素的情况下，也可以通过校准来考虑。可以执行不同的校准来考虑在短的或长的时间标度上可能发生的串扰的任何改变。这样的校准可以在单个时间执行，或者可以在几个时间或者在3D照相机的操作期间执行。这样的校准可以使用查找表(LUT)或其他功能或形式来实现。
效果可以是随着入射光的角度内容改变的性能改变，例如通过改变收集光学器件的f/#。较高f/#的光学器件可以用于减小串扰。
一些配置可以通过将偏振栅格构造为在像素之间使用不透明的分离带或结构来减小串扰。这样的带或结构使可以从一个像素位置跨越到相邻的像素位置或像素的光的量减少。在一些配置中，这样的带或结构还可以使总体有效透射效率降低。可以实现其他结构来减小串扰，包括在基板的任一面的结构。例如，可以在像素之间的空间中创建将阻挡透射通过栅格元件的光透射到相邻像素的检测器的不透明结构或反射结构。这样的结构或带可以被放置在偏振器阵列的前面、偏振器阵列的后面、传感器阵列的层内、或传感器阵列的一个感光点或多个感光点的周围、以及偏振器阵列本身内。在一些配置中，可以使用偏振状态之间的保护像素，在这些保护像素中，信号被忽略。例如，如果传感器阵列像素尺寸很小(例如，三个微米)，则偏振器元件可能是九个微米宽，具有覆盖保护像素的三微米分离物。可替代地，保护像素可以在没有特殊的间隔存在于元件之间的栅格结构上的情况下被使用。
对于一些配置，偏振器阵列的元件中的一些可能没有偏振性质或具有减小的偏振性质，从而形成确定规范化(normalization)信号的基础。栅格中的偏振元件和非偏振元件的任何合适的布置可以根据应用和系统设计使用。这些非偏振元件在对于多个波长的透射中可以是大致均匀的，或者它们可以类似于用于彩色照相机的Bayer图案、或用于IR或热照相机的不同滤波器、或其他波长或波长区域处的其他布置而变化。例如，它们可以是不透明的或不太透射光。
在一些布置中，偏振器栅格元件可以大于传感器阵列的单个像素，例如，2×2、3×3、4×4或其他多个。元件也可以是矩形的，例如，2×1、3×2、或其他多个或纵横比、或形状为非矩形的任何其他布置。如果栅格元件大于一个像素，则透射元件可以被进一步划分为单个的区域，这些区域基于波长或角度或其他类似的光学性质透射不同的量。
在处理软件中，可以对从传感器阵列20中的像素检测到的信号进行分区或其他方式处理以改进测量的鲁棒性、降低对于噪声或其他有害效应的敏感性、或者以其他方式改进单个的测量的信噪比。来自不同元件或不同类型的元件的值可以以许多方式组合，这取决于实现的算法和期望的结果。
可替代地，对于其中不使用偏振调制的其他调制方案，诸如Fabry-Perot腔体或其他的基于相位的调制方案，元件之间的透射以与上述图案类似的某种图案变化的元件的阵列可以被用来代替偏振元件。一些元件可以是可以提供Fabry-Perot腔体所需的精细度(finesse)的相对较低的透射，而一些元件可以是相对较高的透射。高透射元件(与FabryPerot腔体的另一面的高透射元件耦合)可以用于确定未调制的参考信号，包括将信号插入到较低透射元件以用于如基础专利中描述的那样确定相对调制信号。如下面更详细地描述的，这些像素的布置可以以各种方式分组。
对于其他配置，传感器阵列中的单个的像素、列、行或其他布置的像素组的增益可以被调整或设置为不同的值以降低其中存在显著信号的元件组之间的对比度或者提高其中存在较低信号的像素或像素组之间的对比度，从而增大传感器或3D照相机的动态范围。一些配置可以使用改变像素或像素组前面的透射的附加滤波器。例如，Bayer图案RGB滤波器或不同透射性质的其他图案可以被使用。其中使用多个波长的光、要么用于针对3D照相机照射场景、要么用于获取特定的背景或环境照射的这样的滤波器元件也可以被使用。
偏振阵列
消除以前在一些3D照相机中用于分离偏振状态的笨重的光学器件的改进方式是将偏振元件放置在传感器阵列的每个像素的前面。这样的微型栅格偏振阵列可以用于测量绝对的或相对的飞行时间。除了其他方面之外，绝对距离测量可以在3D照相机中用于减小误差累积，特别是在多个物体或表面在场景内的情况下以及它们没有连接或者连接从照相机看不见的情况下。
图1是示例3D照相机10的简化透视图概念图，3D照相机10利用接收通过接收透镜12的传入光16的调制器14和偏振栅格阵列14。对于本公开，激光照射(传入光)16通过偏振器阵列18被透镜12以诸如图1所示的那样的偏振方向或透射参数的图案成像到照相机传感器阵列20上。例如，该图示出了被布置在每个像素22的前面的阵列18中的交替的水平线性偏振器和垂直线性偏振器，但是其他布置和/或圆形或椭圆形偏振可以被使用。
如图1所示，照相机10捕捉3D信息，并且还可以从场景15捕捉图像或视频，场景15具有散射或反射从光源25发射的照射光的物体17。如’895专利中描述的，光源25可以与照相机10集成为照射子系统，或者可替代地，它可以与照相机10分开。光源25可以是用于照射场景15的任何合适的手段，包括’895专利中描述的那些。
尽管在图1中被示为具有分开的元件，但是在照相机系统10的一些配置中，电光模块21可以包括一起整体地形成为单个单元的光学调制器14、栅格18和传感器阵列20、以及安置在光路中调制器14前面的可选的偏振器(未示出)。电光模块21的这个高度集成的配置可以使用本文所描述的光刻、蚀刻和沉积技术来构造。
示例偏振器阵列30布置在图2A-B中更详细地示出，其中，S指示垂直线性偏振器32，P指示水平线性偏振器34。(其他布置也可以被使用，其中，S和P可以是任何两种不同的偏振，或者表示非偏振器。)阵列30可以用作图1中的阵列18。阵列30可以被单独地制造在玻璃基板上，然后通过使用标准对齐技术被对齐和放置以使得每个微偏振器被定位为使得其中心与底层像素的中心大致一致，如图1所示。
可替代地，偏振器的栅格30可以通过使用标准光刻技术直接创建在传感器阵列表面(诸如钝化层)上。例如，金属层(诸如铝)可以沉积在后面跟着光刻胶层的表面上，从而用适当的掩膜使光刻胶曝光、对曝光的光刻胶和金属进行蚀刻以便优先移除金属层的一些、然后移除剩余的光刻胶并且留下期望的金属结构。这些金属层在一些情况下可以是<1μm厚，或者视情况为<5μm厚或其他厚度。其他材料或技术可以用于创建偏振效果，包括将结构直接蚀刻到传感器表面中或沉积在传感器表面上面的层(诸如钝化层)中。这样的材料或技术的例子是按栅格式的图案沉积或布置应力聚合物或其他薄膜偏振层。或者液晶器件或结构可以被沉积，一些用电诱导图案化来沉积。在其他例子中，直接蚀刻技术(诸如电子束或激光写入)可以用于创建图案化结构。这样的层可以用单个步骤或多个步骤或多个层或材料和技术的组合来创建。这些技术和类似技术的从业者已知的其他技术可以用于创建图案化的偏振元件。
偏振元件阵列30也可以被放置在传感器阵列顶部的层的堆叠中的几个层中的任何一层中，诸如图5-7的例子所示那样。所描述的用于在传感器本身(或附随层)上创建偏振元件的沉积方法也可以用于在要被放置在传感器阵列的前面的单独的透明的或半透明的基板(图5的层64、图6的层84和图7的层104)上创建偏振元件。这样的单独的基板或集成的层还可以具有被涂覆的抗反射涂层以使透射最大化或者使杂散光最小化。提供偏振状态之间的区别的任何合适的技术可以用于本文所公开的方法和系统；一些技术提供期望的偏振状态和非期望的偏振状态之间的>500:1的对比度(或比率)，一些技术提供>100:1的对比度(或比率)，一些技术提供>50:1的对比度(或比率)，一些技术提供>10:1的对比度(或比率)。
如图2A-B所示，对于与偏振元件32、34大致相同尺寸的像素，(1,1)位置上的像素提供很大部分基于入射在像素(1,1)上的光子通量的垂直偏振的分量的响应。(1,2)位置上的像素提供与入射在像素(1,2)上的光子通量的交替偏振的分量基本上成比例的响应水平。对于整个传感器上的每个像素依此类推。可替代地，主偏振轴可以以任何角度倾斜。对于一些配置，交替偏振器的主轴是正交的。对于其他配置，主轴可以不是正交的。例如，垂直偏振器可以与第二偏振器类型组合，偏振轴相对于第一偏振器形成45°角。其他配置可以使用多于两种的偏振器类型，使用三种、四种或更多种偏振器类型。例如，三种偏振器类型的组合可以具有相对于垂直线形成0°、45°和90°或0°、30°和60°或其他方位组合的角度的偏振元件。在其他配置中，这些角度可以是相对于水平线或任何其他方向提及的。如此布置的图案也可以从图2A-B所示的棋盘图案变化。例如，S元件可以分别布置在整行或整列上，P元件可以布置在交替行或列上。在一些配置中，一种偏振器类型可以存在得多于另一偏振器类型或其他偏振器类型。
在其他配置中，偏振元件的尺寸可以是分组在一起的多于一个的像素的尺寸(例子在图6中示出)。例如，如果像素尺寸或像素间距为5.5μm(2×2像素分组)，则偏振元件可以是11μm×11μm。这样的像素分组可以包括其他合适数量的像素，诸如3×3、1×2、3×4或任何其他数量或布置。任何其他合适的像素尺寸或间距可以与本文所描述的阵列一起使用，例如，3μm或7μm或15μm。像素尺寸或间距可以是不规则的，或者所有像素可以是相同的尺寸。对于一些配置，偏振元件可以与像素边界对齐，或者每个偏振元件的形心与对应像素的形心对齐。在其他配置中，元件中的至少一些在可以使用傅里叶变换技术和信号处理或其他处理算法评定的一些图案中可以是错位的。
可替代地，代替用于每个像素的线性偏振结构，图4的圆形偏振结构50可以用于区分如上所述的偏振状态。例如，代替线性偏振，如图4所示，图2A-B中的S元件32可以改为是右侧圆形偏振元件52，P元件34可以是左侧圆形偏振元件54。任何类型的偏振结构或结构组合可以用于所公开的照相机系统中，包括具有正交的偏振方位的元件对。在一些配置中，偏振元件可以是椭圆偏振。
用于偏振栅格阵列50的另一可能的布置在图3中示出，其中，像素42中的一些根本不是偏振结构，相反其透射所有的偏振。在该图中，无标记的元件42没有偏振元件，并且其他元件S和P、44、46则如上面那样。非偏振元件42全部可以具有相同的或类似的透射性质，例如，透射光的几乎100％。可替代地，非偏振元件可以透射入射光的小于90％或入射光的小于50％或小于10％或任何其他的透射百分比。透射百分比也可以针对高动态范围(HDR)成像或其他强度相关成像技术中的使用进行图案化，以使得并非所有的透射元件具有相同的透射百分比。在其他配置中，偏振元件可以对于对应的偏振状态具有不同的透射值，或者具有不同的透射性质的元件可以与偏振元件组合。
非偏振元件也可以被布置为滤色器，或者被布置有取决于颜色或波长的透射百分比，类似于Bayer图案那样。在这种情况下，偏振元件也可以全部是相同的类型(要么全都为S，要么全都为P)或偏振类型的任何其他混合。滤色器的栅格可以用于创建彩色照相机。对于这些照相机，使用按图案放置在传感器阵列正前面的微型滤色器阵列来采集颜色信息。如Bayer的美国专利3,971,065中所描述的，最常见的图案被称为Bayer图案，滤波器阵列被称为Bayer滤波器，该专利可以与本文所公开的元件阵列一起使用。像素的一小部分(fraction)检测每个波长带(红色、绿色和蓝色)处的入射光作为单色信号。然后通过使用被称为去马赛克的处理、使用测得的值和校准的响应曲线计算其他像素处的R、G和B响应、然后将颜色值混合以产生以彩色数字图像格式(诸如JPG)记录的R、G和B值来生成彩色图像。这些滤色器栅格可以用于记录传入光的颜色信息。
可以使用像素的用于确定其相关联的偏振状态的强度的响应与周围像素的用于确定相反的偏振状态的强度的响应的组合来计算用于使为获得深度信息(z维度信息)而计算的比率规范化的规范化图像。这可以通过使用周围像素的值的某个组合对正交偏振状态的强度的每个像素的值进行插值来实现。深度坐标(z坐标)的基于该信息的确定被简化，因为它只使用单个阵列内的值，并且在阵列内具有已知的关系和位置。
可以使用偏振元件偏振状态的测得值和其他状态的插值的值来确定图2A-B所示的每个像素的两种偏振状态的相对强度。为了获得使用单个传感器阵列的范围，可以计算对于每个像素的规范化的组合的返回，或者可以以与基于Bayer滤波器的彩色数字照相机中所用的方式类似的方式、基于相邻像素来对对于每个像素的规范化的组合的返回进行插值。例如，在如图2A-B所示的元件的阵列30中，其中，S具有在像素前面的垂直偏振器，P具有在像素前面的水平偏振元件。采取不透射其他偏振状态的理想的偏振器，规范化分母将是针对像素(2,2)计算的，例如，通过使用最近邻算法计算：
并且对于P像素类似地将使用周围的S像素的平均值计算。因为大多数图像和物体在像素之间没有大幅度地改变，所以这种类型的去马赛克可以是鲁棒的。可替代地，其他算法(诸如双线性、双三次或用于图像去马赛克的其他算法)可以被应用。插值适用于规范化分母，而不是像素测量本身。这个来自单个传感器阵列的交织的像素可以使当使用大体积偏振分离光学器件(诸如如’895专利的图5所示的与两个单独的传感器阵列组合的偏振分束器棱镜)时可能由错误配准引起的光学畸变减小。每个像素位置的3D范围信息(z轴信息)是如’895专利中描述的那样提取的。作为上述去马赛克的一部分，可以使用滤光器和软件滤波器来改变存在的混叠的量。偏振元件阵列可以用作抗混叠滤波器，或者它可以与其他抗混叠滤波器(诸如全息元件或其他结构)集成。
在非理想的偏振状态的情况下，或者如果光学性能(偏振或者透射)对返回的光的入射角有任何依赖性，所公开的照相机系统10也可以执行。在一些配置中，测得的性能可以与大致理想的性能相关，或者被校正为大致理想的性能。可以使用利用校准步骤确定的参数来对成像传感器阵列或偏振元件或透射元件的偏移和非线性响应进行校正。
在一些配置中，可以使偏振栅格(包括具有非偏振元件的栅格)的位置与像素的某个小部分内的像素位置对齐。该小部分可以是<0.1个像素、<0.2个像素、<0.5个像素或其他小部分。除了这些效果之外，可以影响所公开的单个传感器3D照相机的性能的非理想的特性还可以是：偏振器栅格与传感器阵列错位和不均匀的间隔、非理想的(例如，低对比度)偏振器性能、以及像素之间的串扰。因为偏振器栅格和传感器阵列这二者可以使用光刻处理来制造，所以间隔的均匀性可以由掩膜设计来确定，这可以准确到纳米水平。对齐基准点可以用于将两个栅格对齐，并且光刻精度使得可以准确地匹配栅格元件的间距。非理想的偏振器性能将导致调制波形上的相对响应信号的最小量和最大量移位。可以通过对在各种时间以及在不同的条件下的响应进行校准或表征来对这个非理想的行为进行处理。在一些配置中，材料可以被选为在不同的温度、湿度、振动或其他环境因素下使偏振器元件相对于像素的相对移动最小化或者防止偏振器元件相对于像素相对地移动。对于一些系统，偏振对比度可以大于100:1，对于一些系统，偏振对比度可以大于50:1，对于一些系统，偏振对比度可以大于20:1，对于一些系统，偏振对比度可以大于10:1，或是适合于应用的其他对比度比率。
影响可能是像素串扰，在像素串扰中，通过偏振元件的光到达相邻的像素。像素之间的不透明的分离带或保护带可以用于减小可能的串扰。在一些配置中，如图5中的集成的偏振阵列和传感器系统60的侧视图截面所示，这样的分离带可以被作为不透明的或半透明的区域72放置在偏振元件70之间。阵列结构60包括偏振元件阵列层62、一个或多个透明层64以及传感器基板层66，传感器基板层66包括基板74、传感器像素69和电子(electronics)或金属化层68。
分离带72在图5中示出。这样的不透明的区域可以是光刻掩膜设计的一部分，或者可以是与用于滤色器(诸如Bayer滤波器)的制造处理类似的光学吸收区域或掺杂区域。这样的分离带可以由反射层或其他技术制成以减小透射，包括基于波长或入射角的透射。分离带不透明区域72可以例如是任何合适的材料，诸如金属(比如铝)、或光刻胶、或聚合物、或诸如半导体材料(比如多晶硅或其他类型的半导体材料)之类的其他材料。例如，对于与FPA间隔10μm的微型偏振器之间的1μm宽的保护带，对于一些FPA微透镜设计，入射角>6°(等同于<f/5)可以到达相邻的像素。一些配置可以使用较厚的分离带，诸如2μm或更宽，以进一步减小串扰，这取决于设计。
在诸如图6所示的集成的偏振器传感器阵列80的其他配置中，分离物保护带92被做成大致有像素间距那么宽或更宽，以使得它们阻挡像素89的大部分。阵列结构80包括偏振元件阵列层82、一个或多个透明层84、以及传感器基板层86，传感器基板层86包括基板94、传感器像素89和电子或金属化层88。
图6示出使用偏振元件90的设计，偏振元件90是2个像素宽(例如，2×1或2×2或2×3或其他2D布置)，具有覆盖第三像素89的保护带(G)92。在该配置中，根据设计，保护带92可以是不透明的、反射的、半透明的、或透明的或某个组合，以减小串扰。保护带92还可以被允许在整个偏振元件栅格上变化以降低制造成本或者出于其他设计目的。这样的保护带92可以与上述偏振元件的各种布置组合。除了防止像素之间的光串扰，其他配置还可以通过校准来解决像素串扰，只要它是确定性的且恒定的或者可以针对一些或所有的成像参数被表征即可。如果像素串扰必须被减小，则可以指定较宽的保护带，或者可以将微透镜和或保护带的组合添加到设计，或者可以使用保护像素。在任何设计中，可以视情况将微透镜阵列放置在像素化的偏振器或透射栅格结构的前面或后面。
在其他配置中，可以将不透明的或反射的结构作为分离带或保护带112包括在像素检测器层106前面的透明层104的堆叠中以减小可以到达其他像素的串扰光的量。该配置的例子在图7的集成的阵列100中示出。阵列结构100包括偏振元件阵列层102、一个或多个透明层104以及传感器基板层106，传感器基板层106包括基板114、传感器像素109和电子或金属化层108。图7示出了不透明的结构作为垂直壁112放置在像素109之间以防止入射在一个偏振元件110上的光到达相邻像素的示例性放置。这样的结构112可以到达偏振元件栅格结构层102，或者该结构可以仅到达传感器层106和结构102之间的高度的>90％、或>75％、或>50％、或适合于感兴趣的设计的其他量。在一些配置中，这些结构112可以被成形为在顶部(离传感器最远)较窄、而在底部较宽。其他配置可以通过使结构112在顶部较宽或者完全垂直来影响串扰。传感器109设计本身和金属化层108也可以以类似的方式成形，或者被做成更高，以减小可以到达相邻的传感器像素109的光的量。其他配置可以使用吸收材料来减小散射的光，或者使用其他结构来将光远离其他像素引导。在其他配置中，结构112可以是半透明的或半反射的。
基于透射的阵列
在其他配置中，可以经由透射变化、而不是偏振变化(诸如上述那些)来区别两种或更多种状态。例如，可变的Fabry-Perot标准具可以用于通过对偏振状态的与’895专利中的控制手段类似的一些控制手段来改变透射。例如，可以通过将电压施加于电光材料、将电压施加于压电材料、将电压施加于液晶、或者通过一些其他的类似手段来改变Fabry-Perot腔体内的相位。在这样的情况下，成像传感器的像素也可以被划分为与图3中的例证类似的不同的组。一个像素组(诸如图2A中的S指示的那些)可以具有适合于实现Fabry-Perot标准具的期望精细度的反射率R的反射涂层。另一个像素组(诸如图2A中的P指示的那些)可以具有反射或抗反射涂层，该涂层具有不同的透射水平，诸如100％、或>99％、或>95％、或>90％、或>80％、或其他期望的透射。这些高透射像素提供可以用作使用公式(1)计算的分母的信号值，其中，用于S像素的值可以通过与上述方法类似的插值来确定。
这样的像素分组可以如图2-7所示那样或者如可能期望的其他布置那样排列。具有多于两个组的更复杂的透射分组也可以被使用。反射涂层可以直接沉积到成像传感器上，例如，在传感器阵列芯片的钝化层的顶部。可替代地，这样的涂层可以沉积在可以被放置在成像传感器阵列的前面的附加基板上，其中，反射区域与成像传感器的像素对齐。其他配置可以具有沉积在构成传感器的层的堆叠内的这样的涂层。这些涂层的沉积可以通过已知的用于创建反射涂层的技术来执行，并且可以使用透明的材料(诸如氧化物或氟化物)或其他类似的材料，或者涂层可以由金属薄层或半透明层或其他较不透明的或半透明的材料(诸如金、银、铝、半导体或其他这样的材料)制成。材料可以被选为在特定的感兴趣的波长处是有利的，或者可以被选为用于与多个波长或宽带照射一起使用。
该透射图案化可以在单个基板上进行，或者它可以是用于电场施加的较广的涂层堆叠或其他透射图案化的一部分。例如，对于Fabry-Perot调制器，透射栅格可以在形成Fabry-Perot腔体的两面的元件上图案化。这样的放置可以基于系统设计要求而选择。
另外，涂层图案或分组可以以保持均匀的厚度的方式应用，应用于单个处理步骤中或应用于多个沉积和蚀刻步骤中。
图8示意性地示出3D成像传感器系统或照相机120的另一个例子。传感器系统120可选地可以包括结合’895专利的图5示出和描述的可见成像子系统530，’895专利的这些部分具体地通过引用并入，就好像在本文中被整体阐述一样。为清晰起见，从图8省略了子系统530。
系统120包括接收(Rx)透镜121、带通滤波器(BPF)122、调制器124、补偿器(Cp.)125、成像透镜126和FPA 129，其中每个可以与关于’895专利的图5所示的对应组件描述的是相同的，’895专利的图5元件的这样的描述具体地通过引用并入，就好像在本文中被充分地阐述一样。然而，系统120还包括元件阵列128，元件阵列128可以是本文中例如参照图2-7描述的偏振阵列或基于透射的阵列中的任何一个。
一些配置可以使用’895专利的图5所示的所有照相机元件。例如，系统120可以包括分束器123，分束器123在调制器前面的任何合适的位置处(这里，在带通滤波器122和调制器124之间)，将接收的光的一部分引导到FPA 119，FPA 119基于此获得场景的图像。光的其余部分被透射到调制器124，调制器124对透射通过其的光进行调制，FPA 129基于此获得场景的图像。在一些配置中，FAP 119和FPA 129获得的图像的不同之处可以是，前者是基于未调制的光的，而后者是基于调制的光的。FPA 119获得的图像可以用于使FPA 129获得的图像规范化。具体地说，FPA 119的任何像素(i,j)处的强度可以用作’895专利中参照公式(8)至(15)讨论的距离计算中的值Itotal,i,j，该主题具体地通过引用并入，就好像在本文中被充分地阐述一样。可替代地，在一些配置中，FPA 119测得的强度是不需要的，而是如上所述那样使用来自FPA 129的去马赛克强度和。
在其他配置中，FPA 119用于不同的一个波长或多个波长的图像，诸如可见光或红外光或其他光谱区域。在其他配置中，所示的组件中的一些可以被省略或次序上有改变。例如，在一些配置中，分束器123可以被其他各种偏振板或光学器件取代，或者对于一些情况，被一起省略，如果入射偏振状态足够高品质的话。在一些配置中，补偿器125和/或成像透镜可以被省略。对于背景光可以被忽视的合适的环境，带通滤波器122也可以被省略。可替代地，组件124至128或其某个子集在其他配置中可以在分束器123和FPA 119之间重复。如’895专利中所描述的，FPA 119和129之间的调制图案可以具有相同的或不同的长度、或者形状或结构上的其他差异。从FPA 119、129中的任何一个或两个获得的信号在’895专利中描述的算法中可以被组合。
‘895专利中描述的其他技术可以与使用本文所公开的这样的透射阵列的3D照相机组合。
图9是示出使用本文所描述的系统来捕捉3D图像的示例方法的流程图200。在框202中，用从光源25发射的光脉冲照射场景，例如，如’895专利中描述的激光脉冲。光脉冲的部分从场景中的物体散射或反射，并且返回到3D照相机的接收光学器件。在框204中，用照相机内的调制器随着时间的变化对光脉冲的返回部分进行调制。调制器可以是任何合适的光学调制器，例如，普克尔斯盒，或者可替代地，Fabry-Perot调制器，这二者在’895专利中有描述。
接着，在框206中，调制的返回光脉冲部分通过元件阵列，诸如本文所公开的那些元件阵列中的任何一个。元件阵列被布置为以预定义的方式对应于传感器阵列中的像素。在框208中，在像素化的传感器阵列处接收光部分，传感器阵列响应于接收的光而生成电信号。该信号然后被运行确定飞行时间信息的软件的处理器(诸如数字信号处理器(DSP)或微处理器)处理，飞行时间信息然后可以被用于确定z轴信息以产生场景的3D图像。
应理解的是，根据例子，本文所描述的方法中的任何一种方法的某些动作或事件可以按不同的顺序执行，可以被添加、被合并或者被一起省去(例如，并非所有的所描述的动作或事件是实施方法所必需的)。而且，在某些例子中，动作或事件可以同时地执行(例如，通过多线程处理、中断处理、或多个处理器)而不是顺序地执行。另外，虽然为清晰的目的，本公开的某些方面被描述为由单个模块或组件执行，但是应理解的是，本公开的技术可以由与3D成像系统相关联的组件或模块的任何合适组合执行。
总之，本文所公开的系统和方法能够通过使用适当的栅格/阵列来测量或评定相对相位或其他调制，该栅格/阵列具有传递不同信号的多组不同的元件。该栅格/阵列中的元件的类型是基于所选的调制技术的需要而确定的。例如，偏振元件可以用于改变传入光的偏振相位或状态的调制技术。或者透射元件可以用于其中相位被调制的Fabry-Perot布置中。该布置允许有至少两个不同的时间相关的透射功能，这些透射功能可以由传感器阵列中的像素分隔。
鉴于这些教导，上述方法、设备、照相机、系统和装置的其他配置和修改是本领域的普通技术人员将容易清楚的。因此，前面的描述是说明性的，而非限制性的。尽管某些示例性技术已经被描述，但是这些技术和其他技术在所附权利要求的范围内。

Claims (20)

1.一种3D成像系统，包括：
光学调制器，所述光学调制器被配置为随着时间变化对光脉冲的返回部分进行调制；
光学元件的阵列，所述光学元件的阵列接收所述光脉冲的调制的返回部分，其中，所述光学元件中的至少一个具有预定的第一光学透射状态，所述第一光学透射状态不同于所述光学元件中的另一个光学元件的预定的第二光学透射状态；以及
与所述光学元件的阵列相对应的像素的传感器阵列，所述像素的传感器阵列被安置为接收从所述光学元件的阵列输出的光。
2.根据权利要求1所述的系统，其中，所述光学元件的阵列包括多个偏振元件。
3.根据权利要求2所述的系统，其中，所述偏振元件包括具有相对于彼此基本上正交的偏振状态的偏振元件。
4.根据权利要求1所述的系统，其中，所述光学调制器被配置为对所述光脉冲的返回部分的偏振状态进行调制。
5.根据权利要求1所述的系统，其中，所述光学元件的阵列包括第一组元件和第二组元件，所述第一组元件具有第一反射涂层，所述第一反射涂层具有第一透射级别，所述第二组元件具有第二反射涂层，所述第二反射涂层具有不同于所述第一透射级别的第二透射级别。
6.根据权利要求1所述的系统，其中，所述光学调制器包括可变的Fabry-Perot标准具。
7.根据权利要求1所述的系统，其中，所述光学元件的阵列整体地形成在所述像素的传感器阵列上。
8.根据权利要求1所述的系统，其中，所述光学元件的阵列包括一个或多个分离带，所述一个或多个分离带被配置为减小所述传感器阵列的像素之间的串扰。
9.根据权利要求1所述的系统，进一步包括形成在所述传感器阵列中的像素之间的一个或多个分离壁以减小所述像素之间的串扰。
10.根据权利要求1所述的系统，进一步包括用于发射所述光脉冲的光源。
11.根据权利要求1所述的系统，进一步包括安置在调制器前面的接收透镜，所述接收透镜用于接收所述光脉冲的返回部分。
12.一种3D成像系统，包括：
光学调制器，所述光学调制器用于随着时间变化对光脉冲的返回部分进行调制；
电光模块，所述电光模块被配置为从所述光学调制器接收所述光脉冲的调制的返回部分，所述电光模块包括：
像素的传感器阵列；以及
形成在所述传感器阵列上的光学元件的阵列，所述光学元件的阵列用于接收所述光脉冲的调制的返回部分，其中，所述光学元件中的至少一个具有预定的第一光学透射状态，所述第一光学透射状态不同于所述光学元件中的另一个光学元件的预定的第二光学透射状态；以及
处理器，所述处理器被配置为对来自所述像素的传感器阵列的、响应于所述光脉冲的调制的返回部分而产生的信号进行处理以生成关于场景的3D信息。
13.根据权利要求12所述的系统，其中，所述光学元件的阵列包括具有相对于彼此不同的偏振状态的多个偏振元件。
14.根据权利要求12所述的系统，其中，所述光学元件的阵列包括第一组元件和第二组元件，所述第一组元件具有第一反射涂层，所述第一反射涂层具有第一透射级别，所述第二组元件具有第二反射涂层，所述第二反射涂层具有不同于所述第一透射级别的第二透射级别。
15.根据权利要求12所述的系统，其中，所述光学元件的阵列包括一个或多个分离带，所述一个或多个分离带被配置为减小所述传感器阵列的像素之间的串扰。
16.根据权利要求12所述的系统，进一步包括形成在所述传感器阵列中的像素之间的一个或多个分离壁以减小所述像素之间的串扰。
17.根据权利要求12所述的系统，其中，所述光学调制器被包括在所述电光模块中，并且所述光学调制器、传感器阵列和光学元件的阵列整体地形成为单个单元。
18.根据权利要求12所述的系统，进一步包括安置在调制器前面的接收透镜，所述接收透镜用于接收所述光脉冲的返回部分。
19.根据权利要求12所述的系统，其中，所述光学调制器包括普克尔斯盒。
20.一种方法，包括：
用光脉冲照射场景；
对所述光脉冲的返回部分进行调制；
使所述光脉冲的调制的返回部分通过光学元件的阵列，其中，所述光学元件中的至少一个具有预定的第一光学透射状态，所述第一光学透射状态不同于所述光学元件中的另一个光学元件的预定的第二光学透射状态；
在像素的传感器阵列处接收从所述光学元件的阵列输出的光；并且
响应于所述光脉冲的调制的返回部分通过所述光学元件的阵列，基于由所述传感器阵列生成的信号来生成关于场景的3D信息。
CN201780017336.0A 2016-02-29 2017-02-28 3d成像系统和方法 Active CN108780142B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662301587P 2016-02-29 2016-02-29
US62/301,587 2016-02-29
PCT/US2017/020011 WO2017151660A1 (en) 2016-02-29 2017-02-28 3d imaging system and method

Publications (2)

Publication Number Publication Date
CN108780142A true CN108780142A (zh) 2018-11-09
CN108780142B CN108780142B (zh) 2023-10-31

Family

ID=59680144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017336.0A Active CN108780142B (zh) 2016-02-29 2017-02-28 3d成像系统和方法

Country Status (6)

Country Link
US (1) US11209664B2 (zh)
EP (1) EP3423858B1 (zh)
JP (1) JP2019513976A (zh)
KR (1) KR20190003480A (zh)
CN (1) CN108780142B (zh)
WO (1) WO2017151660A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110574166A (zh) * 2019-07-30 2019-12-13 深圳市汇顶科技股份有限公司 图像传感器及其制造方法、芯片及手持装置
CN111199989A (zh) * 2018-11-16 2020-05-26 精準基因生物科技股份有限公司 像素阵列布局
CN111398935A (zh) * 2018-12-27 2020-07-10 深圳市速腾聚创科技有限公司 激光雷达接收系统
WO2022001493A1 (zh) * 2020-07-03 2022-01-06 睿镞科技(北京)有限责任公司 三维成像系统及方法
TWI813646B (zh) * 2018-11-22 2023-09-01 日商索尼半導體解決方案公司 攝像裝置及電子機器

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10104365B2 (en) * 2014-04-26 2018-10-16 Tetravue, Inc. Method and system for robust and extended illumination waveforms for depth sensing in 3D imaging
JP7120929B2 (ja) * 2016-06-07 2022-08-17 エアリー３ディー インコーポレイティド 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法
US11056518B2 (en) * 2016-08-18 2021-07-06 Sony Corporation Imaging apparatus and imaging method
US10448012B2 (en) * 2016-11-22 2019-10-15 Pixvana, Inc. System and method for data reduction based on scene content
US10505656B2 (en) * 2017-04-08 2019-12-10 Nokia Solutions And Networks Oy Optical wavelength selective switches with guard bands
CN111566543A (zh) * 2017-11-08 2020-08-21 亚利桑那大学董事会 使用圆偏振光的成像方法及装置
DE102018205984A1 (de) * 2018-04-19 2019-10-24 Robert Bosch Gmbh Vorrichtung und Verfahren zum Bestimmen einer Position von mindestens einem Objekt
KR102514487B1 (ko) 2018-06-07 2023-03-27 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
US20200041807A1 (en) * 2018-08-02 2020-02-06 Christie Digital Systems Usa, Inc. Light emitting diode display with a monolithic wire-grid polarizer for producing three-dimensional images
KR102534247B1 (ko) 2018-10-01 2023-05-18 삼성전자주식회사 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
JP2020071168A (ja) * 2018-11-01 2020-05-07 京セラ株式会社 電磁波検出装置および情報取得システム
JP6978394B2 (ja) * 2018-11-01 2021-12-08 京セラ株式会社 電磁波検出装置及び情報取得システム
KR102155329B1 (ko) * 2018-11-09 2020-09-11 경북대학교 산학협력단 라이트 필드 이미징 시스템
JP7432600B2 (ja) 2018-11-21 2024-02-16 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 効率的な広視野蛍光寿命顕微鏡法を可能にする電気光学イメージング
US11639990B2 (en) 2019-01-18 2023-05-02 The University Court Of The University Of Edinburgh Digital pixels and operating methods thereof
WO2020160349A1 (en) 2019-01-31 2020-08-06 Sense Photonics, Inc. Strobe window dependent illumination for flash lidar
EP3908853A4 (en) * 2019-03-06 2022-10-12 Sense Photonics, Inc. EXTENDED DYNAMIC RANGE AND IMAGING WITH REDUCED POWER CONSUMPTION FOR LIDAR DETECTOR ARRANGEMENTS
US11644549B2 (en) * 2019-03-06 2023-05-09 The University Court Of The University Of Edinburgh Extended dynamic range and reduced power imaging for LIDAR detector arrays
EP3990942A1 (en) * 2019-06-27 2022-05-04 ams International AG Imaging system and detection method
EP3990941A1 (en) 2019-06-27 2022-05-04 ams International AG Imaging system and detection method
US11828851B2 (en) 2020-01-20 2023-11-28 The Board Of Trustees Of The Leland Stanford Junior University Wide-field resonant electro-optic imaging devices and applications
DE102020107450A1 (de) 2020-03-18 2021-09-23 Audi Aktiengesellschaft Lidar-Sensoreinrichtung für ein Kraftfahrzeug, Verfahren zum Betrieb einer Lidar-Sensoreinrichtung und Kraftfahrzeug
US11723763B2 (en) * 2020-05-22 2023-08-15 Innovega Inc. Article of manufacture including occlusion ring having inner/outer regions with orthogonal polarizations
CN115718307A (zh) * 2021-02-02 2023-02-28 华为技术有限公司 一种探测装置、控制方法、融合探测系统及终端
CN113115017B (zh) * 2021-03-05 2022-03-18 上海炬佑智能科技有限公司 3d成像模组参数检验方法以及3d成像装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892575A (en) * 1996-05-10 1999-04-06 Massachusetts Institute Of Technology Method and apparatus for imaging a scene using a light detector operating in non-linear geiger-mode
CN101027574A (zh) * 2004-07-06 2007-08-29 迪米斯戴尔工程有限责任公司 在3d成像系统中测定距离
US20090195873A1 (en) * 2008-01-17 2009-08-06 Panasonic Corporation Three-dimensional image reproducing apparatus
US20100128109A1 (en) * 2008-11-25 2010-05-27 Banks Paul S Systems And Methods Of High Resolution Three-Dimensional Imaging
CN201707438U (zh) * 2010-05-28 2011-01-12 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像系统
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
CN103460024A (zh) * 2012-02-03 2013-12-18 松下电器产业株式会社 摄像装置和摄像系统
US20150141753A1 (en) * 2013-02-15 2015-05-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and endoscope
WO2015164868A1 (en) * 2014-04-26 2015-10-29 Tetravue, Inc. Method and system for robust and extended illumination waveforms for depth sensing in 3d imaging

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1272583B (de) 1965-04-09 1968-07-11 Philips Patentverwaltung Verfahren zur photooptischen Aufzeichnung bzw. Speicherung von aus Einzelsymbolen bestehenden Informationen
US3644017A (en) 1968-12-02 1972-02-22 Baird Atomic Inc Electro-optic light modulator with area selection
JPS5636405B2 (zh) 1971-09-18 1981-08-24
CH667340A5 (de) 1985-04-30 1988-09-30 Cerberus Ag Lichtschranke.
US4967270A (en) 1989-05-08 1990-10-30 Kaman Aerospace Corporation Lidar system incorporating multiple cameras for obtaining a plurality of subimages
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
US6736321B2 (en) 1995-12-18 2004-05-18 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) system employing wavefront control methods for reducing the power of speckle-pattern noise digital images acquired by said system
US5200793A (en) 1990-10-24 1993-04-06 Kaman Aerospace Corporation Range finding array camera
US5157451A (en) 1991-04-01 1992-10-20 John Taboada Laser imaging and ranging system using two cameras
US5162861A (en) 1991-04-01 1992-11-10 Tamburino Louis A Laser imaging and ranging system using one camera
US5144482A (en) 1991-05-13 1992-09-01 Gould Dennis R Three dimensional viewing apparatus including a stack of transparent plates and related method
US5686990A (en) 1992-12-08 1997-11-11 The Charles Stark Draper Laboratory, Inc. Optical source isolator with polarization maintaining optical fiber and aspheric collimating and focusing lens
US5394413A (en) 1994-02-08 1995-02-28 Massachusetts Institute Of Technology Passively Q-switched picosecond microlaser
DE4439298A1 (de) 1994-11-07 1996-06-13 Rudolf Prof Dr Ing Schwarte 3D-Kamera nach Laufzeitverfahren
US6088086A (en) 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
US7796081B2 (en) 1997-10-22 2010-09-14 Intelligent Technologies International, Inc. Combined imaging and distance monitoring for vehicular applications
US7046711B2 (en) 1999-06-11 2006-05-16 High Q Laser Production Gmbh High power and high gain saturation diode pumped laser means and diode array pumping device
EP1214609B1 (en) 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system
US6515737B2 (en) 2000-01-04 2003-02-04 The Regents Of The University Of California High-resolution imaging and target designation through clouds or smoke
US6456793B1 (en) 2000-08-03 2002-09-24 Eastman Kodak Company Method and apparatus for a color scannerless range imaging system
US7140543B2 (en) 2000-11-24 2006-11-28 Metrologic Instruments, Inc. Planar light illumination and imaging device with modulated coherent illumination that reduces speckle noise induced by coherent illumination
US7444013B2 (en) 2001-08-10 2008-10-28 Stmicroelectronics, Inc. Method and apparatus for recovering depth using multi-plane stereo and spatial propagation
US20040041082A1 (en) 2001-11-27 2004-03-04 Harmon Gary R. Molecular sensing array
US6707054B2 (en) 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
US6781763B1 (en) 2002-04-01 2004-08-24 The United States Of America As Represented By The Secretary Of The Air Force Image analysis through polarization modulation and combination
US7224382B2 (en) 2002-04-12 2007-05-29 Image Masters, Inc. Immersive imaging system
US7257278B2 (en) 2003-02-26 2007-08-14 Hewlett-Packard Development Company, L.P. Image sensor for capturing and filtering image data
US7301138B2 (en) 2003-12-19 2007-11-27 General Atomics Method and apparatus for dual polarization imaging
JP4566685B2 (ja) 2004-10-13 2010-10-20 株式会社トプコン 光画像計測装置及び光画像計測方法
US7535617B2 (en) 2005-08-18 2009-05-19 The United States Of America As Represented By The Secretary Of The Army Portable acousto-optical spectrometers
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US7995191B1 (en) 2006-06-29 2011-08-09 Sandia Corporation Scannerless laser range imaging using loss modulation
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US7751109B1 (en) 2006-09-14 2010-07-06 The United States Of America As Represented By The Secretary Of The Army Electro-optic shutter
JP4403162B2 (ja) 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
CN101878653B (zh) 2007-12-05 2013-06-12 电子科学工业有限公司 用于实现来自彩色镶嵌成像器的全色响应的方法及设备
EP2265993B8 (en) * 2008-03-28 2021-07-07 Contrast, Inc. Whole beam image splitting system
WO2010144866A2 (en) * 2009-06-11 2010-12-16 The Arizona Board Of Regents On Behalf Of The University Of Arizona Microgrid imaging polarimeters with frequency domain reconstruction
US8736670B2 (en) * 2009-12-07 2014-05-27 Photon-X, Inc. 3D visualization system
US20110175981A1 (en) 2010-01-19 2011-07-21 Chun-Hung Lai 3d color image sensor
US8444275B2 (en) 2010-08-12 2013-05-21 Eastman Kodak Company Light source control for projector with multiple pulse-width modulated light sources
KR101680762B1 (ko) 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
US9479743B2 (en) * 2011-06-01 2016-10-25 Gvbb Holdings S.A.R.L. Single lens 3-D camera
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2013052781A1 (en) 2011-10-07 2013-04-11 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9177983B2 (en) * 2012-01-23 2015-11-03 Omnivision Technologies, Inc. Image sensor with optical filters having alternating polarization for 3D imaging
US10311285B2 (en) * 2014-01-22 2019-06-04 Polaris Sensor Technologies, Inc. Polarization imaging for facial recognition enhancement system and method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892575A (en) * 1996-05-10 1999-04-06 Massachusetts Institute Of Technology Method and apparatus for imaging a scene using a light detector operating in non-linear geiger-mode
CN101027574A (zh) * 2004-07-06 2007-08-29 迪米斯戴尔工程有限责任公司 在3d成像系统中测定距离
US20090195873A1 (en) * 2008-01-17 2009-08-06 Panasonic Corporation Three-dimensional image reproducing apparatus
US20100128109A1 (en) * 2008-11-25 2010-05-27 Banks Paul S Systems And Methods Of High Resolution Three-Dimensional Imaging
CN102292980A (zh) * 2008-11-25 2011-12-21 泰特拉维公司 高分辨率三维成像的系统和方法
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
CN201707438U (zh) * 2010-05-28 2011-01-12 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像系统
CN103460024A (zh) * 2012-02-03 2013-12-18 松下电器产业株式会社 摄像装置和摄像系统
US20150141753A1 (en) * 2013-02-15 2015-05-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and endoscope
WO2015164868A1 (en) * 2014-04-26 2015-10-29 Tetravue, Inc. Method and system for robust and extended illumination waveforms for depth sensing in 3d imaging

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199989A (zh) * 2018-11-16 2020-05-26 精準基因生物科技股份有限公司 像素阵列布局
CN111199989B (zh) * 2018-11-16 2022-05-24 精準基因生物科技股份有限公司 像素阵列布局
TWI813646B (zh) * 2018-11-22 2023-09-01 日商索尼半導體解決方案公司 攝像裝置及電子機器
CN111398935A (zh) * 2018-12-27 2020-07-10 深圳市速腾聚创科技有限公司 激光雷达接收系统
CN110574166A (zh) * 2019-07-30 2019-12-13 深圳市汇顶科技股份有限公司 图像传感器及其制造方法、芯片及手持装置
WO2021016839A1 (zh) * 2019-07-30 2021-02-04 深圳市汇顶科技股份有限公司 图像传感器及其制造方法、芯片及手持装置
WO2022001493A1 (zh) * 2020-07-03 2022-01-06 睿镞科技(北京)有限责任公司 三维成像系统及方法

Also Published As

Publication number Publication date
KR20190003480A (ko) 2019-01-09
EP3423858A1 (en) 2019-01-09
WO2017151660A1 (en) 2017-09-08
JP2019513976A (ja) 2019-05-30
EP3423858A4 (en) 2019-06-12
EP3423858B1 (en) 2023-12-06
US11209664B2 (en) 2021-12-28
US20170248796A1 (en) 2017-08-31
CN108780142B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN108780142A (zh) 3d成像系统和方法
US9936188B2 (en) Plenoptic imaging device
US7760256B2 (en) Image processing apparatus that obtains color and polarization information
JP6064290B2 (ja) 撮像装置、分光システム、および分光方法
US7835002B2 (en) System for multi- and hyperspectral imaging
KR102624537B1 (ko) 공간적으로 코딩된 이미지를 생성하는 이미지 분산부를 갖는 이미징 디바이스
US7768641B2 (en) Spatial image modulation to improve performance of computed tomography imaging spectrometer
US7894058B2 (en) Single-lens computed tomography imaging spectrometer and method of capturing spatial and spectral information
CN102484721A (zh) 四通道滤色片阵列图案
EP2330811B1 (en) Imaging apparatus with light transmissive filter
CN108291800A (zh) 光谱成像方法和系统
KR101125842B1 (ko) 3파장 디지털 홀로그래픽 현미경의 자료처리 방법
Garcia et al. A 1300× 800, 700 mW, 30 fps spectral polarization imager
US7876434B2 (en) Color camera computed tomography imaging spectrometer for improved spatial-spectral image accuracy
JP2013057769A (ja) 固体撮像装置、撮像装置、合焦制御方法、及び、プログラム
JP4344257B2 (ja) 撮影装置及び色分解光学系
JP2014206494A (ja) 撮像装置及び撮像システム
JP4482685B2 (ja) 広色域動画カメラ
Brückner et al. Advanced artificial compound-eye imaging systems
SHINODA Multispectral Polarization Filter Array
WO2023004143A1 (en) Systems and methods of imaging polarimetry through metasurface polarization gratings
CN117949087A (zh) 一种基于偏振调制阵列和消色差四面角锥棱镜的偏振相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201022

Address after: Washington, USA

Applicant after: Ennai Co.,Ltd.

Address before: California, USA

Applicant before: TETRAVUE, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant