CN102099916A - 光场图像传感器、方法及应用 - Google Patents

光场图像传感器、方法及应用 Download PDF

Info

Publication number
CN102099916A
CN102099916A CN2009801374269A CN200980137426A CN102099916A CN 102099916 A CN102099916 A CN 102099916A CN 2009801374269 A CN2009801374269 A CN 2009801374269A CN 200980137426 A CN200980137426 A CN 200980137426A CN 102099916 A CN102099916 A CN 102099916A
Authority
CN
China
Prior art keywords
period
optically diffractive
diffractive structure
equipment
round
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801374269A
Other languages
English (en)
Other versions
CN102099916B (zh
Inventor
阿廖沙·莫尔纳
艾伯特·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cornell University
Original Assignee
Cornell University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cornell University filed Critical Cornell University
Publication of CN102099916A publication Critical patent/CN102099916A/zh
Application granted granted Critical
Publication of CN102099916B publication Critical patent/CN102099916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/1446Devices controlled by radiation in a repetitive configuration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/062LED's

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Holo Graphy (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种使用Talbot效应以检测光的局部强度及入射角的角度敏感像素(ASP)设备,其包含堆叠在光电二极管之上的两个局部衍射光栅。当被平面波照射时,上层光栅在选择的Talbot深度产生自身图像。放置于此深度的第二光栅依靠入射角阻挡或通过光。被调到不同入射角的几个这样的结构足以提取局部入射角以及强度。这样的结构的阵列足以定位三维空间中的光源而不用任何附加的光学部件。

Description

光场图像传感器、方法及应用
相关申请数据
本申请要求于2008年7月25日提交的第61/083,688号美国临时申请的优先权,其主题于此以引用方式被全文并入。
联邦资助的研究
不适用
背景
发明领域
本发明的多个实施方案一般指向光场及光场图像检测领域。更特别地,本发明的多个实施方案指向无透镜的角度敏感像素(ASP)设备以及由能够测量光场的强度及方向角以提供光场图像的两个或多个无透镜的ASP设备组成的无透镜的光场图像检测器。本发明的多个实施方案还包括,但不限于,伪3D的CMOS、ASP成像设备、与所述设备实施方案关联的成像方法、以及其应用。
相关技术讨论
传统的成像使用光敏元件的大型阵列,以在图像平面建立光强度的分布图。但是,该强度分布图不能采集入射角、偏振角以及光射线经过图像平面的其他特性。这些附加的参数的完整描述定义了在图像平面的光场或光的“流”。
Michael Faraday在19世纪中叶首先提出了光作为场的概念。该概念被在三维空间中的“光场”的理论扩展。在一个给定的点上,光场被向量的无限集合定义,该向量代表从所有的角度到达该点的光。光场能够被多个变量的“全光函数”形式上地定义。该全光函数关于强度I参数化了经过所有空间的光射线,该强度I取决于空间(x,y,z)中的位置,方向(θ,
Figure BPA00001331794200021
),波长(λ),时间(t)以及偏振角(p)。因此,I(x,y,z,θ,
Figure BPA00001331794200022
λ,t,p)是可见景像的完整表示并且包含场景的所有可能的视图。
测量全光函数将要求观察者在时间中的所有瞬间以及在空间中的每个点上,对每个波长能够确定每个射线的强度。明显地,对任何实际场景,全光函数的完美确定是不可能的。但是,共同地已知为光场成像的多种技术已被设计,其能够在平面上记录超出简单的强度的全光函数的多个方面。一种报告的方法使用针孔照相机阵列,其中每个相机在特殊的位置(x0,y0)采集与入射的角度相关的强度I(θ,
Figure BPA00001331794200023
)。相机在不同的位置(xi,yi)采集全光函数的片段I(x,y,θ,
Figure BPA00001331794200024
)。传统相机阵列也能够被使用,同样照相机扫描或多个遮光框(mask)也能够使用。小尺寸的解决方案已使用微镜头以仿真相机序列。但是,所有的这些方法需要大量的并列的或可移动的光学部件,以采集关于超出简单的强度分布图的光场的信息。
有关场景的光场的记录信息提供了比传统照片或电影更完整的该场景的描述,并且对多个应用是有用的。光场允许在给定的已知源的表面上的照明图的预测以及场景的三维重建(例如,“光场重现”或者“三维形状近似”)。图1a,1b显示了光场的一个方面,例如入射角,是怎样能够用于定位三维空间中的光源。采集光场也允许用任意的焦面和光圈来构建图像。在照相学和显微学中,该能力对获得多个焦面而不移动光学部件来说是有用的。
广泛种类的应用需要关于微尺寸采样的三维结构的信息。使用没有附加硬件的半导体芯片产品直接采集该信息将减少很多仪器和检验的大小和成本几个数量级。现有的固态图像传感器采用大量光敏像素,其采集入射光的强度分布图,但是无角度信息。在典型的成像应用中,需要透镜以确保强度分布图表示感兴趣的一些目标。不使用透镜,必须纯粹地依靠包含在照射图像传感器的光射线中的信息。如果采样被放置在足够地接近于图像传感器,并且被照射,作为结果的强度分布图将典型地包含一些模糊不清的二维空间信息。三维信息被完全地丢失。包含在光射线的入射角内的信息是所感兴趣的,因为其还包含可恢复的空间信息。
迄今为止,在未修改的集成电路技术中,宏观角度检测器已被提供。像素尺寸角度敏感结构已在芯片上被提供,但是需要在后装配的微透镜阵列,其在标准成像器的制造及使用上大大增加了成本和复杂性。
另一个被报告的技术涉及使用金属区域的硅绝缘体(SOI)结构,该金属区域和光的波长有很大关系,以在下部的光电二极管上产生阴影。该方法据报道已被用于执行单一的角度测量,但是不是很适合于在成像器阵列中采用。
发明人认识到,对在现有技术中的缺点及挑战的解决方案和改进是必要的并且将是有益的。更具体地,对比于需要多个透镜和/或可移动部分的其他方法,单片式的、不需要除传感器本身之外的光学部件的、并且能在标准平面微细工艺(例如CMOS)中被生产的器件在技术中是有优势的。这里公开的以及要求权利的本发明的多个实施方案成功地解决了这些问题,并达到了这些目标。
发明内容
本发明的多个实施方案指向用于测量在给定的图像平面上的光场的装置及方法。这里公开的像素及检测器设备对出自目标场景的入射光的强度和入射角是灵敏的。公开的装置及方法利用周期的光衍射结构的Talbot效应,以通过其幅度以及方向来特征化入射光。在某些方面,在大量传感器位置的每个处的微尺度的衍射光栅用于采集该信息。为了从数字图像传感器的典型的像素分辨这些设备中的某些,这里我们把它们称作“角度敏感像素”(ASP)。
本发明的一个实施方案是在标准CMOS制造过程中整体地制造的角度敏感像素设备。在非限制的方面,该ASP设备含有设备支持结构;第一周期的光衍射结构,其具有周期p1,布置在支持结构的顶面内或支持结构的顶面上;第二周期的结构,其具有周期p2,平行于第一周期的结构被定向并且在第一周期的光衍射结构之下以所选择的距离布置在支持结构中。如这里使用的,m、n是正整数,λ是在第一周期的光衍射结构上的单色的平面的入射波前的波长,并且p1等于或大于λ。在一个方面,p1等于p2。根据一个方面,第二周期的结构还含有至少两个交错的扩散型二极管的至少两组,该二极管可以是指状二极管。该二极管组分别横向地从第一周期的光衍射结构偏移距离np1/m,其中n能取值0、1、2、3、4、5、6、7、8,并且m能取值2、3、4、8。该交错的二极管组在第一周期的光衍射结构以及第二周期的结构之下,以选择的距离ZT1=(m1/n1)(2p1 2/λ)布置。
具体化的微尺寸设备需要周期的衍射结构以产生Talbot自身图像、以及用于分析这些自身图像的结构。通过调整整个设备使其安装在一侧上的最多十微米的区域内,空间分辨率可以达到与现有的图像传感器可比的程度。在一个阐释性的方面中,周期的衍射结构在这个区域内将具有几个周期,以产生可操作的周期自身图像。因此衍射结构可具有仅几个波长的一个周期。目前的平面光刻技术能容易地达到产生合适的衍射结构所需要的分辨率。数字建模及仿真能够准确地预测建立在单一微米尺寸上的有限的光栅的反应。
根据一般的实施方案,用于分析由周期的衍射结构产生的自身图像的结构可以是集成的光检测器;例如,至少两个扩散型二极管的周期的交错的至少两组在技术中是被熟知的。根据于此以下描述的进一步的实施方案,用于分析自身图像的结构可以是周期的结构的一层或多层,其后是以以下形式的传感器:扩散型二极管的周期的交错的至少两个组、在技术中已知的一个或多个单一的大阱型二极管、或布置在(并且部分地被封进)一个或多个单一的大阱型二极管中的交错的扩散二极管的组合。周期的结构的一层或多层可以或可以不共同垂直地排列。
本发明的一个实施方案是无透镜的角度敏感像素(ASP)设备,其包含设备支持结构;第一周期的光衍射结构,其具有周期p1,布置在支持结构的顶面中或支持结构的顶面上;第二周期的结构,其具有周期p2,平行第一周期的光衍射结构被定向,并且在第一周期的光衍射结构下方,以选择的间距布置在支持结构中;以及传感器,其在第一周期的光衍射结构以及第二周期的结构下方,以选择的间距布置在支持结构中。
本发明的一个实施方案是无透镜的光场检测器,其包含检测器支持结构;第一像素设备以及邻近第一像素设备线性地布置的第二像素设备。第一像素设备包括第一周期的光衍射结构,其具有周期p1,布置在支持结构的顶面中或支持结构的顶面上;第二周期的结构,其具有周期p2,平行第一周期的光衍射结构被定向,并且在第一周期的光衍射结构下方,以选择的间距布置在支持结构中,其中第二周期的结构非横向地从第一周期的光衍射结构偏移;以及第一传感器,其在第一周期的光衍射结构以及第二周期的结构下,以第一选择的间距布置在支持结构中。第二像素设备包括第一周期的光衍射结构,其具有周期p1,布置在支持结构的顶面中或支持结构的顶面上;第二周期的结构,其具有周期p2,平行第一周期的光衍射结构被定向,并且在第一周期的光衍射结构的下方,以选择的间距布置在支持结构中,其中第二周期的结构横向地从第一周期的光衍射结构偏移数量(m1/m2)/p1;以及第二传感器,其在第一周期的光衍射结构下方,以第一选择的间距布置在支持结构中,其中m,n是正整数,λ是在第一周期的光衍射结构上的单色的平面的入射波前的波长,p1大于λ。根据一个方面,第一及第二像素设备还包括第一中间的周期的光衍射结构,其具有周期p1,布置在第一周期的光衍射结构和第二周期的结构之间,垂直于第一及第二周期的结构被定向;以及第二中间的周期的光衍射结构,其具有周期p2,布置在第二周期的结构和第一及第二传感器之间,垂直于第一及第二周期的结构被定向,其中在第一像素设备中,第一和第二中间的周期的光衍射结构非横向地分别从第一及第二周期的结构偏移,进一步地,其中在第二像素设备中,第一及第二中间的周期的光衍射结构横向地分别从第一及第二周期的结构偏移数量(m2/m2)/p1。根据一个方面,检测器还包括邻近第(n-1)个像素设备线性地布置的至少第n(n≥3)个像素设备,其包含第一周期的光衍射结构,该结构具有周期p1,布置在支持结构的顶面中或支持结构的顶面上;第二周期的结构,其具有周期p2,平行于第一周期的光衍射结构被定向,并且在第一周期的光衍射结构下方,以选择的间距布置在支持结构中,其中第二周期的结构横向地从第一周期的光衍射结构偏移数量(mn/nn)/p1,其中(mn/nn)>(mn-1/nn-1);以及第n个传感器,其在第一周期的光衍射结构下方,以第一选择的间距布置在支持结构中。在进一步的方面中,每个第n(n≥3)个像素设备还包括第一中间的周期的光衍射结构,其具有周期p1,布置在第一周期的结构和第二周期的结构之间,垂直于第一及第二周期的结构被定向;以及第二中间的周期的光衍射结构,其具有周期p2,布置在第二周期的结构和第n个传感器之间,垂直于第一及第二周期的结构被定向,其中在每个第n(n≥3)个像素设备中,第一及第二中间的周期的光衍射结构横向地从第一周期的光衍射结构偏移数量(mn/nn)/p1,其中(mn/nn)>(mn-1/nn-1)。
本发明的另一个实施方案是无透镜的光场成像设备,其包括如这里阐述的ASP光场检测器的二维M×N阵列,其中M、N是等于或大于1的整数。
根据所有上述的实施方案,周期的衍射结构可以是多种形式,包含但不限于衍射光栅、平行双线阵列、Ronchi刻线(Ronchi ruling)以及技术中熟知的其他结构。衍射孔径可以是以狭缝或其他孔径形状的形式。光栅可以有利地由金属制成。传感器可以是,但不限于,反向偏置p-n结二极管、正向偏置二极管、p-i-n二极管、电荷耦合器件(CCD)或单光子雪崩二极管中的一个。例如,如果入射光具有可有利地被变窄的广谱,那么设备可以结合一个或多个滤光器。
本发明的一个实施方案指向于用于确定来自物体的入射光的方向的方法,其包括创建来自物体的入射光的周期干涉图案、检测该干涉图案以及基于不同二极管的相对的照明确定相对于参考位置的图案的相移。
本发明的多个实施方案因此涉及成像设备以及方法,其能够启动关于目标光的三维结构的信息的提取。这里描述的成像器的类型中的每个ASP可提取光的入射角以及其亮度。独立的ASP可用于定位一个或多个光源(例如,对于太阳跟踪)。当很多这样的ASP结合在阵列中时,这样的信息可用于重建三维表面或者3D空间中的多个不同的点,其在例如生物成像中可具有应用。根据本发明的多个实施方案的成像设备可在标准半导体制造过程中,例如用于建造微处理器以及现代数码相机成像器的过程中,例如,标准CMOS制造过程,被有利地被建立。
应理解,上述一般的描述和下文详细的描述都仅仅是本发明的示例,并且意味着提供用于理解如要求权利的本发明的性质和特征的综述或框架。包含的附图提供本发明的进一步地理解,并且被并入本说明书并且构成本说明书的一部分。附图图示了本发明的各种实施方案,并且与描述一起共同用来解释本发明的原理及操作。
附图说明
图1a显示了光场成像器的透视图像以及来自光源的光怎样以不同的入射角照射阵列的每个像素;图1b根据本发明的一个阐述性的实施方案,图示了如果阵列中的每个像素能够确定入射角以及其检测到的光的强度,则阵列能够在三维中定位光源;
图2a是以尺寸和维度定义的衍射光栅的横截面示意图;图2b显示了光通常入射在光栅上的Talbot效应的FDTD仿真,以及在1/2Talbot深度的倍数的自身图像;图1c是根据本发明的一个阐述性的实施方案,基于FDTD仿真的曲线,其显示了随着入射角从θ=0°移动到5°,自身图像在1/2Talbot深度的横向地移动;
图3:根据本发明的一个阐述性的实施方案,图示了在1/2Talbot深度处包括分析栅的效应的FDTD仿真,含有:a)当自身图像的波峰与分析栅的栅栏对齐时,少量的光穿过到达之下的光检测器;b)当入射角度移动以致波峰与分析栅中的空隙对齐时,更多的光经过而到达检测器;c)检测的光的强度随着入射角的扫掠周期性地变化;
图4a、b根据本发明的可选择的示例性的方面,利用图表显示了用于提取关于衍射图相位的信息的结构;
图5a图示了ASP设备,其具有多个相邻的单阱光电二极管以及布置在上面的堆叠的偏移的光栅(黑色虚线图示了光栅的相应校准);图5b根据本发明的一个实施方案,显示了各种偏移的仿真结果:注意,产生波峰响应的入射角随着光栅的偏移成比例地变化;
图6a、b是根据本发明的一个实施方案的以130nmCMOS制造的a)一个ASP以及b)ASP的8×8阵列的微观照片;
图7是根据本发明的一个可选择的方面的图像传感器的图解的横截面图;
图8是根据本发明的一个实施方案的基于ASP的光场摄像设备的透视图;
图9是根据本发明的一个阐述性的方面,显示了当入射角扫掠时ASP的测量的响应的图示;
图10是根据本发明的一个阐述性的方面,显示在角灵敏度b以及调制深度m上的波长的测量的影响的图示;
图11根据本发明的一个阐述性的方面,显示了对于保持在阵列上方500um并且稍向左的光源的所测量的ASP阵列的响应:a)独立传感器的响应,其中比较亮的方格代表被猛烈照射的传感器并且白线划定独立ASP的界限;b)为每个ASP(被投影到x-y平面)计算出的入射角;
图12根据本发明的一个阐述性的方面,显示了8×8ASP阵列怎样准确地分辨在3D空间中光源的位置:a)由于在阵列上方550um的光源,所测量的光矢量场能够清晰地重构位置中横向的移动(在该情况下为100um);b)测量的光光矢量场也能够用于重构在光源的深度(z)中的变化,在该情况下为50um;
图13是根据本发明的一个可选择的方面的图像传感器的图解的横截面图;
图14根据本发明的一个可选择的方面的图像传感器的图解的横截面图;
图15根据本发明的一个可选择的方面的图像传感器的图解的横截面图;
图16a、16b分别是根据本发明的一个阐述性的方面,可选择的成像传感器的俯视图和截面图;
图17(a-c)根据本发明的一个示例性的实施方案,显示了全部的交错的二极管光场传感器单元的顶视横截面平面图;
图18是根据本发明的一个阐述性方面,其中所有的二极管被移动1/8的金属光栅栅距的图解的横截面图;
图19根据本发明的本发明的一个阐述性方面,图解地显示了来自相对于光栅在0°、90°、180°、270°的四个不同的二极管阵列的仿真的光电流,其中入射角从-30°扫掠到30°;
图20(a-c)根据本发明的一个示例性的实施方案,利用图表图示了使用入射角数据连同透镜系统来计算3D位置;
图21是根据本发明的一个可选择的方面的图像传感器的图解的横截面图;以及
图22是根据本发明的一个可选择的方面的图像传感器的图解的横截面图。
具体实施方案
将详细参考本发明的现有示例性的实施方案,其实施例图示在附图中。
本发明的多个实施方案指向于角度敏感像素设备以及并入这些ASP设备以测量入射光的强度及入射角的光场图像检测器、以及关联的方法。公开的装置及方法利用Talbot效应。
Talbot效应、或周期性物体如衍射光栅的自身成像特征被Henry FoxTalbot在1836年首次发现。当无限衍射光栅被垂直于它的表面的平面波照射时,光栅的相同的图像在光栅后的某些相等的空间距离上形成。图2a利用图表图示了衍射光栅102的参数,其中入射光100(标称500nm波长)以法线入射及以θ=5°入射角照射光栅。Talbot效应是Fresnel衍射的结果,并且如在图2b中显示的以箭头1标出的干涉图像(衍射图)104在Talbot距离zT=2d2/λ的整数倍上形成,其中d是光栅的周期以及λ是入射光的波长。另外,更复杂的子图像105、106在极小的Talbot距离z=(m/n)zT(以箭头1/2、3/2标出)上能够被观察到,其中m和n是正整数。
Talbot效应的一个特征是其对于离轴照射的响应。对于被以角度θ入射的离轴平面波照射的宏观(d>>λ)线性光栅,自身成像在距离z=2cos3(θ)d2/λ的倍数上被观察到。另外,作为离轴波传播的结果,图像显示出垂直于光栅线的横向的移动Δx=z tan(θ)。
离轴照射的多个源中的每个产生它们各自的横向地移动的光栅自身成像组,并且这些自身成像叠置。对于小角度,这些自身图像全部在大约相同的距离上形成,并且叠置的图像包含关于照射幅度以及方向的信息。照射光栅的光射线的入射角能够通过测量Talbot自身图像中的移动被确定。
图2c利用图表显示了在对于垂直的入射光以及以θ=5°入射的光的二极管平面上的Talbot图像的光强。衍射图的横向移动随着入射角而变化。
标准CMOS电路的现代半导体制造过程允许在光的单一波长的数量级上的非常细微特征的制作,并且因此允许金属衍射光栅以及比可见光的波长小的光电二极管阵列的构造。为了在标准CMOS层堆叠中产生Talbot效应,自身图像需要在衍射光栅的微米内形成。这可能需要衍射光栅具有仅仅几个波长的一个周期。传统的衍射分析在这些尺寸是无效的;但是,例如用于产生图2的那些数字仿真证实了即使对这些几何结构,衍射在规则的距离产生类似Talbot的自身图像。这些周期强度图保持入射角灵敏度。
然后,挑战是使用在像素尺寸上的结构提取在这些周期强度图中的移动。对于宏观尺寸的应用,测量这些移动的最简单的方法是在自身图像形成的平面上放置CCD或CMOS光电传感器的小阵列。该阵列直接地采集自身图像,其能够用于确定入射光的角度及强度。对于微尺寸,然而,在硅中的光渗透深度限制了光电二极管的分辨率为大约1um,使得分辨自身图像的亚微米特征变得困难。
微尺寸的光场成像器设备需要Talbot自身图像发生器以及能够分析这些图像的结构。为了达到与现有的图像传感器可比的空间分辨率,整个设备结构必须安装在一侧上的最多十微米的区域内。为了产生合理的周期自身图像,光栅必须具有在这个区域内的几个周期。结合这两个约束条件建议使用以仅几个波长为周期的光栅。当代平面光刻技术能容易地达到产生合适的衍射结构所需要的分辨率。数字建模及仿真能够准确地预测建立在单微米尺寸上的有限光栅的反应。
数值处理显示,只要周期大于入射光的波长,类似Talbot的自身图像能够在极接近于衍射光栅中被观察到。我们使用时域有限差分(FDTD)技术及如图2b和2c中所示的观察到的图来执行仿真。特殊地,从1/2Talbot距离开始,我们观察到周期与衍射光栅相同的强的强度图。附加的仿真显示,在离轴照射下,由高密度光栅产生的强度图横向地移动。移动到波长尺寸的衍射光栅的效果是压缩了更高阶的微小的Talbot图像。
为了提取关于Talbot图的入射角信息,特征化自身图像的水平偏移是必要的。之前报告的工作使用光栅(及自身图像),其远大于(栅距d=250um)图像传感器本身的像素。因此图像传感器阵列能够直接地采集自身图像作为一组电信号。但是,在根据本发明的一个方面的微尺寸设备中,高密度成像器阵列需要1/4光栅栅距(例如,在200nm的数量级上)的像素间距,以有效地分辨Talbot图像的特征。虽然亚微米光电传感器能够被建造,但是它们采集的图像往往被扩散效应弄得模糊,限制它们真实的分辨率于1um或更坏。
由本发明的一个实施方案提供的解决方案含有第二平行分析栅304,其周期与布置在自身图像平面的第一光栅302的周期相同,如图3a、3b中所图示的。第二(分析)光栅304使用Moiré效应以过滤Talbot图像。当强度波峰与在图3b中所显示的第二光栅内的空隙对齐时,光经过分析栅304。当强度波峰在校准(图3a)之外时,分析栅的栅栏阻挡了光。通过在分析栅下放置单个大的光电传感器并且测量总光通量,我们能够提取自身图像与分析栅的校准。
图4b显示了用于提取关于衍射图相位的空间信息的这样一个结构的实施方案300-2的示例性的图解的图示。在集成在基底310中的单个大的阱型二极管307的上方,两个金属光栅302a、302b以相对彼此90°的横向偏移放置。移动0°、180°、270°或可选择地0°、120°、240°的光栅的独立的像素,例如,将提取全部角度信息。该方法将二极管的设计从光栅的设计中去耦,允许更好的二极管。而且,因为在这个方面的最优的特征是光栅本身而不是光电二极管,所以同类型的结构能够使用较低的分辨率光刻(即,在较大特征尺寸中的较便宜的制造工艺)来被制造。
检测的总光通量取决于全部的源亮度和入射角。这可能导致在传感器输出中强度和角度之间的模糊不清,因为亮源在被阻挡的角度产生与在被分析栅经过的角度的暗源相同的传感器输出。为了消除角度和强度的模糊,按照如图5a所图示的本发明的一个方面,检测器400-2包含集成在基底410中的n个(如显示,n=4)单个阱型二极管传感器407n,以及极接近地放置在上方的以便其可见近似相同光场的两个堆叠的光栅402a、402b。每个二极管具有在分析器光栅402b和图像产生光栅402a之间的不同的相对偏移。使用传感器组中的每个产生的唯一的信号,能够复原强度及入射角。
对于在不同角度的平面照射下的一组4个传感器的仿真的响应在图5b中示出。可见,经过分析栅的透射因为周期的自身图像的横向移动而在入射角中是周期的。这些传感器的响应能够被以下公式近似地模拟:
R0=I0(1-mcos(bθ))F(θ)
R1/4=I0(1+mcos(bθ))F(θ)
R1/2=I0(1+mcos(bθ))F(θ)        (1)
R3/4=I0(1-mcos(bθ))F(θ)
其中I0成比例于入射强度,θ是入射角,m是调制深度的测量值,以及b是角灵敏度的测量值。F(θ)是所包含的偶对称函数,以说明了表面反射以及减小独立于角灵敏度的高角度入射光的响应的其他影响。
从在公式1中的4个输出,确定光的强度以及入射角(在x-z平面中)是可能的。总计ASP响应R0及R1/2(R1/4或R3/4)移除了由入射角产生的调制,并且提供了在全部的强度上的信息。
I 0 F ( θ ) = R 0 + R 1 / 2 2 = R 1 / 4 + R 3 / 4 2 - - - ( 2 )
入射角能够被提取为:
θ = 1 b tan - 1 R 1 / 4 - R 3 / 4 R 1 / 2 - R 0 - - - ( 3 )
因为Talbot图像的横向的移动仅在与光栅线垂直的角度处对于离轴照射被观察到,所以设备400-2仅对在一个方向中的角度作出反应。为了得到全部照射角度信息,光栅被旋转90°的极接近第一组的第二组相同的设备被提供。该第二组负责测量被第一组传感器忽略的角度信息。由极接近地放置的8个不同的传感器组成的完整的角度敏感像素(ASP)500-1在图6b中显示。4个传感器对在x-z平面中的角度负责;其他的四个对于在y-z平面中的角度是需要的。对于x-z以及y-z光栅,0、d/4、d/2以及3d/4的衍射分析器偏移量被使用。分析栅以1/2Talbot距离(即,最小的距离)被放置,其中与衍射光栅相同的周期的自身图像被发现。在数字130nm CMOS制造工艺中制造的8×8 ASP阵列光场图像传感器500-2在图6a的微观照片中图示。
示例性的8传感器ASP 500-1的全部尺寸是20um×40um,每个独立的传感器是10um的平方。在本征p-n结光电二极管的上方,堆叠的衍射光栅被建造在布线层中。在该阐述性的实施例中,在8个传感器的每个传感器中的每个光栅是使用周期为880nm的铜的栅栏的Ronchi刻线(相等宽度的栅栏以及空隙)。所有其他的空间被二氧化硅装满。一组光栅用于总线输出产生的数据,其排除了对阵列中线路的需求。因为光栅提供大量的总线,8个ASP输出并行地被读取。光栅间距z被互连层间距和从数字仿真中选择的栅距d限制,以最大化对于绿光(在真空中525nm,在氧气中350nm)的调制深度m。对于在图5a中显示的设备400-1,对绿光(在真空中λ=525nm)的实验的仿真确定在二氧化硅中1/2 Talbot距离为2um。上层衍射光栅位于第6金属层中并且分析栅在第3金属层中,以2微米的间距。在8个传感器的每个中的单p-n光电二极管测量通过堆叠的光栅的总光通量。标准3T动态像素传感器用于缓冲光电二极管输出,并且几个多路复用器允许分别地接入每个ASP。
图7显示了设备实施方案6000-1的一个阐述性的方面,该设备实施方案6000-1同图5a所示的设备类似,其中三个单二极管6007、6008、6009邻近于两个光栅层6001a、6001b布置。第二光栅层6001b相对光栅6001a被移动0、1/3、2/3光栅周期。
根据一个可选择的方面,光场图像检测器600-1在图8中被图示。在该方面,旋转90°并且在光栅402a和402b之间交错的第二组光栅502a、502b被极接近地提供。该第二组光栅负责测量被第一组传感器忽略的角度信息。
为了测试正被讨论的ASP,光源(中心波长为525nm并且频谱宽度为32nm的商用的绿色LED)以到制造的阵列的固定的距离被安装在可变的角度臂上。没有附加的准直或滤波被执行,因为非理想的照射源较好地近似现实世界的成像应用。当波长的范围被呈现时,观察到自身图像是每个波长产生的强度图的叠加。光源的频谱宽度相当狭窄并且形成Talbot图的路径长度差比光源的相干长度短,因此不期望与单色的相干仿真的性能中的大的偏差。
当源被移动时,我们记下对每个角度的单ASP的输出。相应于在ASP中的一组4个传感器的输出在图9中显示。合理的协定在测量的结果和被仿真预期的结果之间被得到。使图9中的曲线与公式(1)中的模型拟合给出了b=15及m=0.7,均方误差根为9%。第二组4个传感器(用于特征化在y-z平面中的角度)产生在响应于入射角中的变化的类似的曲线。观察到的在测量值和理想的仿真之间的差别,例如在图2及图3中的那些,是因为从二氧化硅表面的反射、制造的变化以及实际使用的有限光栅。但是,我们的仿真合理地特征化了ASP的角灵敏度以及调制深度。
细间距光栅被已知用于极化其透射的光。在高密度光栅中极化相关Talbot效应上的近期的研究预测,周期为近似2.5λ的光栅应该显示出大的极化灵敏度。具体地,由TE(平行于光栅线的电场)极化的光在1/2Talbot距离形成的Talbot自身图像的亮度应该是由TM(平行于光栅线的磁场)极化的光形成的Talbot自身图像的亮度近似的两倍。我们的观察与该预测很好地一致:当在ASP上将入射光的极性从TE旋转到TM时,全部的观察到的强度被降低到原来的量除以2.05。然而,角灵敏度b以及调制深度m变化小于10%。这些特征标示出TM极化的Talbot自身图像比TE极化的自身图像弱,但是在角度及强度信息的编码中另外的表现类似。
设计对λ=525nm是最优的,但是我们测试它穿过从400nm到620nm的波长范围。我们期望响应于波长中的变化的在角灵敏度b中小的变化,因为随着λ的变化,Talbot自身图像在周期中不变化。该预测由测量值产生,如能够在图10中看出的:b是仅仅在400nm到620nm范围上弱地灵敏于λ。然而,波长中的变化大大地改变了Talbot距离。当λ≠525nm时,分析栅没有被最优地放置,因此观察到的自身图像是模糊不清的,并且调制深度m降低。超出波长的该范围,我们效率较低地复原角度信息,但是角灵敏度函数没有成为零。ASP穿过这样波长的范围工作的事实是在1/2Talbot距离分析自身图像的直接结果,其中Talbot图的相应的深度对于λ最不敏感。
为证实传感器的光场成像能力,我们在ASP阵列正上方500um处放置一个多模光纤探针。在将来自发光二极管(等同于在单ASP测试中使用的二极管)的光耦合到光纤中之后,离开光纤的光将具有锥形的剖面、以及因此在阵列平面的简单的发散的光场。我们从在ASP阵列上的所有64个部位记录并且测量每个传感器的输出,如图11a中所示。如能够看到,调到不同角度的相邻传感器完全不同地响应,并且它们相应的响应取决于相应于光源的它们的总体位置。应用公式(3)以及图9中所示的角度响应数据,我们为每个ASP重建光矢量,如图11b中所示。
为了进一步证实正被讨论的阵列的能力,我们移动光源到阵列上方的三维空间中不同的位置。在每个位置我们记录传感器的响应,并且重建来自光纤的光的入射角。阵列能够用于准确地重建在二维空间中的光源的位置,如图12a中所示,其中光源在x方向被移动100um,并且计算出的入射角反映出该移动。更显著地,阵列能够用于准确地定位在第三方向(z方向)的光源,准确地采集在阵列上方光源高度50um的移动,如图129b中所示。因此ASP的一个阵列能够准确地重建简单光源的三维结构,提供超出从标准图像传感器可获得的强度图可获得的信息。
图4a显示了本发明的一个非限制的示例性的设备实施方案300-1的截面示意图。该设备包含金属狭缝光栅301以及有两个集成的交错的指状二极管(A)307、(B)308的多个线性阵列的基底310,该指状二极管相对于光栅相对地移动180°(例如,0以及光栅的一半周期的偏移)。多指状二极管有利地提供最大光子采集。
图13根据本发明的一个非限制的示例性的实施方案,显示了基于3个二极管结构的成像设备500-1。该设备含有具有多个周期的狭缝孔径503的金属透射光栅501。参考数字504标示的光阴影不代表设备的任何物理部分,相反仅仅是光栅和二极管之间的校准。设备还含有集成在基底510内的3个交错的二极管507、508、509的3个线性阵列的单一结构。二极管阵列507的3个图示的二极管与光栅对齐(无偏移),并且因此将检测在相干图像(没有示出)中的0°相移。类似地,二极管阵列508的三个图示的二极管偏移1/3的光栅周期,并且因此检测120°相移;同时,二极管阵列509的3个图示的二极管偏移2/3光栅周期,并且检测240°的相移。
图14根据一个非限制的示例性的实施方案示,显示了二极管以及光栅的可选择的设备布置400-1。如图14中所示,集成的单一交错的一组4个二极管407、408、409、411被偏移0、1/4、1/2、3/4光栅401的周期而放置,提供了分别0°、90°、180°以及270°相应相移。注意,该单一交错的一组4个二极管与例如图4a中所示的邻近的两组二极管是不同的。而且,在图中的光阴影区域不反映任何附加的物理结构;相反地,他们仅标示二极管和金属之间的校准。
图15根据本发明的可选择的非限制的示例性实施方案,显示了检测器设备100-1的截面图。传感器设备100-1结合在相应于光栅的0°及180°上的一组交错的二极管121以及在90°及270°上的另一组交错的二极管123。这种类型的排列可防止二极管重叠。两个被移动的光栅101a、101b被暗阴影所示,同时在每个光栅下的较亮的阴影103被呈现,以仅仅显示光栅和二极管之间的校准,并且不代表该设备的任何物理结构。
图16a显示了一个非限制的示例性的设备方面8000-1的部件的俯视图,其合并了仅仅两个狭缝8003及两个二极管8007、8008。图16b是通过图12a中的虚线的截面视图。这个设计是紧密的,允许较高空间分辨率。
图17(a-c)显示了一个非限制的示例性的整个交错二极管光场传感器单元5000-1的俯视图,该单元5000-1具有在垂直(5006a、b)及水平(5006c、d)两个方向的光栅及二极管,其可用于采集关于源物体的方位角及高度信息。图17a图示了二极管的布局(例如,p型基底中的n型扩散),其中每组垂直定向的二极管5006a、b包含交错的二极管阵列对5002、5004,以及每组水平定向的二极管5006c、d包含交错的二极管阵列对5008、5010。图17b显示了关联的金属光栅5001,与相应的二极管阵列方向相同。如图17b中进一步所示,垂直定向的光栅在成像器自身中没有让出区域的情况下,可用作数据总线,以将信息从阵列的每列承载到在5015处的阵列的边缘。可选择地,光栅可用于将许多独立的二极管固定在离开阵列自身的处理电路上。这样最大化了成像器的光敏区域,复原了将光转化成电信号的所需要电路所丢失的区域。图17c显示了在图17a、b中显示的二极管及光栅的覆盖。显示了水平地定向的检测器(例如,沿着图17a-c中的黑色虚线)的截面的图15图示了二极管以及金属光栅的相对的校准被移动0/180°情况相比于90/270°情况。
图18显示了一个示例性的设备方面2000-1,类似于100-1的方面,除了所有的二极管被移动1/8的光栅栅距,其代表着-45°,135°,45°以及-135°的相移。该图图示了二极管及金属的精确校准不如二极管彼此之前的相对校准重要。1/8周期移动应该对于这里公开的结构的功能具有不明显的影响。该灵敏度应用于在这里公开的所有结构,并且应用于在这里描述的“双光栅”的实施方案中的第二光栅的校准。
图19根据本发明的一个阐述性的方面,利用图表显示了来自相对于光栅0°、90°、180°及270°的4个不同的二极管阵列的仿真的光电流,其中入射角从-30°扫掠到30°。如从图19中也能看到的,每个二极管显示多个波峰,标示着公式(1)可以不一定导致唯一的角度提取。这样可以通过使用相邻于彼此放置的不同的光栅几何结构(并且因此不同的k值)的多个结构来补救。如果从入射角到二极管响应的映射是不同的,则活动的不同峰值可被分辨。这样然后可以促进能够覆盖入射角的整个范围的传感器的构成。
在其中每个二极管准确地响应于光的相同入射角的理想情况下,可以预期在以上描述的8二极管方面的响应中的一些冗余。例如,
D0+D180=D90+D270,
意味着维持所有4个独立的信号可以是冗余的。该冗余信息可通过重新定义有关以下3个数字的响应而被移除:
D0-D180,
D90-D270,以及
D0+D180+D90+D270。
该再次编码能够在与传感器及光栅相同的集成电路上、或者在模拟域或者在数字域中被执行。
如果入射角在成像器上不恒定(如在图1b及20(a-c)中的情况),然后邻近的光栅不会看到相同的入射角。因为4个二极管D0、D90、D180以及D270不彼此交错,但是出现在邻近的像素中,所以它们可以编码稍不同的入射角,并且因此包含在重新编码中丢失的一些非冗余信息。尽管如此,在转换到数字信号之前或在芯片外传输之前,重编码信号能够通过允许数据的不同元件的不同加权来提供益处。
图21显示了类似于图15中的设备100-1的实施方案的一个设备实施方案700-1,除了两组交错的扩散型二极管121、123(721、723)分别地布置在两个单一的大阱型二极管724、725中。根据这个方面,在亚微米尺寸扩散型二极管中观察到的串扰可以被缩减,因为大型的光电二极管收集由渗透进入细的交错的二极管之下的基底的光子产生的电子以及空穴。因此大阱型二极管被制作的足够深,以封闭交错的二极管,但是足够浅以捕捉电子。
交错/深阱二极管也能够被并入依靠用于角灵敏度的多组光栅的设备。使用垂直地相隔1/2Talbot距离放置的两个光栅以及在第一Talbot距离的光电二极管的示例性设备800-1在图22中被显示。如上文描述的,大阱型光电二极管测量经过两个光栅的总光通量。在该方面,操作模式相同于基本多光栅设备的操作模式。但是,当入射角使得通过光栅堆叠的光通量强时,交错的光电二极管有助于更精确地定位周期的强度图的横向的偏移。这在不影响基本功能的情况下,提供了在一组已知的角度附近的入射角的改进特征。
本发明的另一个实施方案指向用于从光源目标提取入射光角度信息的一种方法。检测所述角度信息的能力具有有关于、但不限于传感器网络以及传感器阵列的应用;经过传感器的物体的运动检测的方向和/或速度,例如经过嵌入到路面中的传感器的车辆的方向及速度;来自自由空间光通信系统中的独立发送器的多个数据流的检测/接收;生物医学应用,例如包含这种荧光细胞的组织中的独立的荧光细胞的检测,以及被本领域技术人员领会的其他应用。
根据非限制的方面,该方法可以不使用透镜而整体地被完成,并且在硅集成电路的物理规模上利用图像传感器执行。例如,如这里描述的传感器阵列可邻近含有荧光细胞的一段组织放置。每个细胞将产生光,其入射角(进入传感器)将在三维空间中标示细胞位置。通过从被阵列中的每个传感器检测的角度回退的三角测量,如在图1b中利用图表所图示的,独立的荧光细胞位置以及在从其他荧光细胞独立的其荧光中的改变可以被检测。
根据一个非限制的方面,许多图像传感器阵列可以配置成组织培养室的大阵列的部分。每个独立的图像传感器将提供它各自样本的监测,一次提供许多样本的高通量分析。
根据一个非限制的可选择的方面,该方法可使用与透镜系统结合的成像传感器来完成,其可有利于将更远距离物体成像。例如,如图20a中所示,透镜系统1405的焦平面上的物体1402将完全地出现在传感器阵列1407的表面1406上的焦点中,并且将出现具有入射角度1409的平均分布。在这种情况下阵列表现得像正常的CMOS成像器。比透镜系统的焦平面更远的物体将在阵列上产生模糊不清的图像,但是该模糊将显示会聚在物体的焦平面上的变化的一组入射角,如图20b中所示。比透镜系统的焦深更近的物体也将出现模糊不清,但具有发散的一组入射角,标示着焦深在阵列之后,如在图20c中所示。因此成像器能够提取有用的信息,该信息能够被用于描述近于和远于透镜系统的光焦平面的物体的位置。换句话,成像器通过检测入射角,能够提取关于物体区域的信息,该物体区域厚于与给定透镜系统相关联的正常的焦深。因此该信息可用于,例如,重建场景的三维结构,或者在图像已被采集后在计算上将图象再次聚焦到不同的焦深。来自这样的成像器的数据可用于同时地再聚焦图像的不同部分到不同的深度。并且虽然单一发光物体将产生映射于单一的入射角的传感器响应,但多个光源将导致响应的线性叠加,响应的每个取决于每个光源的入射角。
由于接近这里描述的光场成像的衍射光栅方法对光的波长敏感,一个给定的像素设计将对波长的限制范围有效地工作。对于其中该波长预先已知的应用,例如在使用已知LED的荧光显微或通信系统中,光栅能够如本领域中已知地合适地被设计。在使用白光的成像和/或角度检测应用中,滤光器1430可以结合芯片被需要,以将入射光波长限制到合适的范围。现代的成像器工艺典型地含有这样的滤光器;因此它们能够并入基本设计中。此外,由于这样的工艺典型地含有多个滤光器层(典型地红色、绿色以及蓝色),使用与3个独立的已调的光栅组(对这些不同的颜色调节)结合的这些滤光器将允许彩色的光场成像。
提取关于产生二极管的响应的源物体的三维信息是可能的。源于在成像器可见的空间中的任何给定的点上的光将在成像器中的检测器中产生唯一的一组响应。特别地,在位置(x,y,z)上的点将照射成像器(以zx=0定义成像器的平面)上的点(xs,ys),强度成比例于
B s = B ( x - x s ) 2 + ( y - y s ) 2 + z 2
入射角为:
θ x = cos - 1 ( z ( x - x s ) 2 + z 2 )
θ y = cos - 1 ( z ( x - x s ) 2 + z 2 )
其中θx是方位角以及θy是高度。在那个区域的独立二极管的作为结果的照度将遵循以上的等式,以使得例如,“0°、水平的”二极管将见如下的亮度:
D 0 H = I o ( x - x s ) 2 + ( y - y s ) 2 + z 2 ( 1 + cos ( kθ x ) ) 2
D 0 H = I o ( x - x s ) 2 + ( y - y s ) 2 + z 2 ( 1 + cos ( k cos - 1 ( z ( x - x s ) 2 + z 2 ) ) ) 2
以及等等,从而对来自空间中给定点的照射的任何给定二极管的响应能够被计算。也就是说,能够定义对任何给定的刺激s(x,y,z)的响应r(xs,ys,a)(其中xs以及ys为如上所示,以及a是代表与二极管相关联的相位的从1到8的索引)。这能够通过给每个二极管一个索引i而以向量形式被重写(以使每个组合xs、ys、a具有唯一的i:例如,对于8个可能角度的N×N阵列,i=a+8×xs+N×8×ys,以使i从1到8N2的范围变动)。然后能定义对于一个给定的刺激点s(x,y,z)在阵列r中的全部的响应,其中r中的每个项目被如上所定义。如果然后对在X、Y、Z维度的体积中的每个刺激位置计算该向量,(定义为想利用其而对体积成像的分辨率的整数倍),则能够对体积中这些点定义单一的索引j,与上述类似地定义。因此能够定义在被第二向量s感兴趣的体积中的任何型式的光源。由于在s中每个点的光将导致在r中的每个二极管中的响应,并且这些光源中每个的影响将线性地相加,因而能够定义矩阵A,其中每个项目a(i,j)被定义为在点j对单位光刺激的二极管i的响应。它遵照r=As,其中r是二极管响应的当前向量,其采集阵列对三维空间中给定的刺激模式的总响应。
注意,A不是方矩阵,因为r具有总计8N2个项目,而s具有XYZ个项目。在需要相当高的分辨率的大多数情况下,能够粗略地假设X=Y=N,并且Z同样地近似于N。因此能够典型地假设s具有比r(如许多的近似于N/8倍)多很多的项目。
为了找出s(例如,正被成像物体的三维结构),矩阵A通过s=A-1r被倒置。
但是,这样的倒置数学上不可能,因为A不是方矩阵,而是比与它的“宽”相比更“高”。在平面成像器中将没有足够的信息来分辨在正被成像的体积中的所有可能的结构,因为简单地,与定义其(r中的项目)的公式相比,存在更多的未知量(s中的项目)。因此问题的一个解决方案需要加入附加的约束条件。两个非限制的实施例在下文讨论。
实施例1:使用光场数据用于再聚焦以及测距
限制以上描述的问题的一种方法是,假设s是在特殊焦深的可见信息的结果,并且发现如果检测的光仅起源于那个平面,图像应该看起来像什么样的最好估计。s当前描述尺寸为X×Y的平面,以致s具有X*Y=N2个项目。由于现在其实际上小于r的大小,A仍然不是方矩阵,但是现在“宽度”大于它的“高”,以使该问题超过现在被定义的。通过使用伪倒置,通常地对超过限制的系统定义为(ATA)-1AT,能够提取对给定r的s的最佳拟合。如果有合理的好的拟合(当选择的焦平面是正确的时,将是该情况),则该方法将产生真实物体场景的好的近似。特别地,如果s的近似为:
s′=pinv(A)r,
其中pinv(A)是A的伪逆矩阵,并且假设A被选择成使得r=As,
然后通过伪逆矩阵的定义,总误差|s′-s|被最小化。
该方法也能够应用于来自正常成像器的数据。但是,由于s和r之间的映射是不同的,所以矩阵A以及它的伪逆矩阵pinv(A)将是不同的。特别地,伪逆矩阵提供有用结果的程度取决于A的奇异值(相同于方矩阵的特征值)。另外,矩阵的奇异值越大,求逆过程对小误差以及噪声越不敏感。这里描述的阵列类型,当用于对从成像器的平面的给定焦平面偏移来计算刺激s时,提供了导致具有较大奇异值的矩阵的较大地较丰富的描述。该方法的一个实施例在图15a、b中显示,用于2个16×16阵列,在一个阵列中,每个像素仅仅检测光的,而在另一个阵列中,每个像素包含两个指状二极管以及一个金属光栅,以使多组4个像素组成一个单元,如图5c中所示。对于离成像器平面4个像素宽度的焦平面,基于光栅的设计产生转换矩阵A,其奇异值始终较大,是正常成像器的奇异值的100倍。作为结果,对基于光栅的成像器计算伪逆矩阵产生比利用正常成像器更准确、更小噪声的结果。
该方法的第二个成果是能够基于使用伪逆矩阵来计算误差项。特别地,计算r的估计值为:
r′=As′
使然后获得与此估计值相关联的误差项:
err=|r′-r|
如果该估计s′准确地导出r中的项目,则该误差项将是小的。如果图像源实际上是在估算A时所使用的焦深处,这将是正确的。另一方面,如果图像源于一些其他的焦深处,然后该估计将可能是错误的,并且误差项将较大。仿真证实了这个情况(再次对于16×16阵列),当真实的焦深被选择时,该误差项达到最小值。这与正常成像器的情况是不同的,在正常成像器中该误差随着与现实无关的估计的焦深而单调递增(见图15b)。由于这个误差项能够仅用A和r来计算,而没有已知s为先验,当再聚焦图像时,使用该误差项以辨认“正确的”焦深应该是可能的。该信息能够独自地用于在光场中测距,而独立于被成像物体的细节。
在这里以上描述的方法不需要应用于整个图像,却能够应用于图像的子部分,以使它们能够被独立地再聚焦并且/或它们的范围被发现,导致了更好的全面聚焦和/或在整个图像上的范围映射。
实施例2:使用光场数据以提取稀疏的荧光源
另一个示例性的应用与在组织中的荧光细胞的三维结构的成像有关。由于这样的一个应用的目标将是能够独立地量化在不同焦平面上多个细胞的荧光,因而再聚焦不是合适的方法。但是,如果加入两个附加的限制条件:i)s中的所有项目必须是严格地为正(没有负荧光这样的情况),以及ii)荧光源相对稀疏地分布在正被成像的体积中,可以假设荧光细胞的数量小于像素的数量N2。如果这保持为真,则能够迭代地找到这些光源中的每个并且按照亮度顺序如下:
a)使r与s中每个可能的项目的期望响应相关联,如:c=rAT
b)得到与r(c中最大输入的指数)最优关联的s的索引j;
c)估计在该索引处的s的最大值,其将产生使得对于所有索引i都满足r(i)′<r(i)的响应r′。这意味着r(i)-gA(j,i)>0,其中A(i,j)是第j列的第i项。因此在所有的i值上,g=min(r(i)/A(j,i));
d)减小因数λ,其中0<λ<1并且加入到s的现有的估计值s′(j)=s′(i)+λg;
e)修正r的余值:
r=r-As′;
f)重复步骤(a-e)。
该算法的每个迭代得到r中可见的光场的最可能主要的点源,含有在刺激s′的估计中的源,然后从r中移除影响的该部分,其允许算法以得到下一个最主要的源。λ选择为<1,以致没有r中的项目过早地趋于零。在提供合理的结构的仿真中,λ=0.5。
这里描述的各种的实施方案与各种集成光检测器/传感器兼容,其包括,不限于,反向偏置p-n结二极管、正向偏置二极管(例如光生伏打)、p-i-n二极管、电荷耦合器(CCD)或单光子雪崩二极管。
短语“一个(a)”以及“一个(an)”以及“这个(the)”以及在描述本发明的上下文中(特别是在以下的权利要求的上下文中)的类似的引用将被解释成包括单数以及复数,除非这里另外地指出或者与上下文明显地矛盾。除非另有说明,短语“包括”、“具有”、“含有”以及“包含”被解释成开放式的词语(例如,意味着“含有,但不限于,”)。短语“连接”被解释成部分地或全部地包含其中、附接于、或者接合在一起,甚至有些介入其间。
在这里,值的范围的列举仅仅是意味着用作独立地涉及属于范围内的每个独立的值的简写的方法,除非这里另外地指出,并且每个独立的值被并入说明书,如同它在这里被独立地列举一样。
在这里描述的所有的方法能够在任何适当的顺序被执行,除非这里另外的指出或者与上下文明显地矛盾。任何以及所有的实施例的使用,或者这里提供的示例性的语言(如,“例如”),仅仅是意味着更好地阐明本发明的实施方案并且没有在本发明的范围上加入限制,除非另外地声明。
说明书中的没有语言应该被理解成指示任何未被要求权利的元件是本发明的实践所必不可少的。
对于本领域的技术人员将明显的是,各种修改及变化在不偏离本发明的精神和范围下能够用于本发明。没有将本发明限制于公开的具体的形式或多个形式的意图,而是相反,意图是覆盖所有的修改、可选择的构造、以及落入本发明的精神和范围内的等效物,如在所附权利要求中所定义的。因此,意图是本发明覆盖在所附权利要求及它们的等效物的范围内其提供的本发明的修改及变化。

Claims (29)

1.一种无透镜的角度敏感像素(ASP)设备,包括:
设备支持结构;
第一周期光衍射结构,其具有周期p1,布置于所述支持结构的顶面内或所述支持结构的顶面上;
第二周期结构,其具有周期p2,平行于所述第一周期光衍射结构被定向,并且在所述第一周期光衍射结构下方,以选择的距离布置在所述支持结构中;以及
传感器,其在所述第二周期结构下方布置在所述支持结构中,其中p1等于或大于λ,所述λ是在所述第一周期光衍射结构上的单色的平面的入射波前的波长。
2.如权利要求1所述的设备,其中p2=p1
3.如权利要求1所述的设备,其中所述第二周期结构以第二选择的Talbot距离zT2=(m2/n2)(2p1 2/λ)布置在所述支持结构中,其中m、n是正整数并且p1等于或大于λ。
4.如权利要求1所述的设备,其中在所述第一周期光衍射结构以及所述第二周期结构下方,所述传感器以第一选择的Talbot距离zT1=(m1/n1)(2p1 2/λ)布置在所述支持结构中,其中m、n是正整数并且p1等于或大于λ。
5.如权利要求1所述的设备,其中所述传感器是单阱型p-n光电二极管。
6.如权利要求4所述的设备,其中所述传感器包括至少两组周期的交错的扩散型二极管,进一步地,其中所述二极管组分别横向地从所述第一周期光衍射结构偏移距离np1/m,其中n能取值0、1、2、3、4、5、6、7、8并且m能取值2、3、4、8。
7.如权利要求5所述的设备,其中所述传感器还包括以深度zT1=(m1/n1)(2p1 2/λ)被布置的至少两组周期的交错的扩散型二极管,进一步地,其中所述二极管组分别横向地从所述第一周期光衍射结构偏移距离np1/m,其中n能取值0、1、2、3、4、5、6、7、8并且m能取值2、3、4、8,进一步地,其中所述二极管组布置在所述单阱型p-n光电二极管中。
8.如权利要求1所述的设备,其中所述第一周期光衍射结构为Ronchi刻线。
9.如权利要求1所述的设备,其中所述设备是集成的CMOS半导体结构。
10.一种无透镜的光场检测器,包括:
检测器支持结构;
第一像素设备,其包括:
第一周期光衍射结构,其具有周期p1,布置在所述支持结构的顶面内或所述支持结构的顶面上;
第二周期结构,其具有周期p2,平行于所述第一周期光衍射结构被定向并且在所述第一周期光衍射结构下方,以第二选择的Talbot距离zT2=(m2/n2)(2p1 2/λ)布置在所述支持结构中,
其中所述第二周期结构非横向地从所述第一周期光衍射结构偏移;以及
第一传感器,其在所述第二周期结构下方,以选择的距离布置在所述支持结构中,
进一步地,其中m、n是正整数,λ是在所述第一周期光衍射结构上的单色的平面的入射波前的波长,p1等于或大于λ;以及
第二像素设备,其邻近所述第一像素设备被线性地布置,包括:
第一周期光衍射结构,其具有周期p1,布置在所述支持结构的顶面内或所述支持结构的顶面上;
第二周期结构,其具有周期p2,平行于所述第一周期光衍射结构被定向,并且在所述第一周期光衍射结构下方,以所述第二选择的Talbot距离布置在所述支持结构中,
其中所述第二周期结构横向地从所述第一周期光衍射结构以(m2/n2)p1的量偏移;以及
第二传感器,其在所述第二周期结构下方布置在所述支持结构中。
11.如权利要求10所述的检测器,其中在所述第一周期光衍射结构下方,所述第一传感器以第一选择的Talbot距离zT1=(m1/n1)(2p1 2/λ)布置在所述支持结构中,进一步地,其中zT2小于zT1
12.如权利要求10所述的检测器,其中p2=p1
13.如权利要求10所述的检测器,其中所述第一传感器以及第二传感器每个都是单阱型p-n光电二极管。
14.如权利要求13所述的检测器,其中所述第一传感器以及第二传感器中的每个还包括以深度zT1=(m1/n1)(2p1 2/λ)被布置的至少两组周期的交错的扩散型二极管,进一步地,其中所述二极管组分别横向地从所述第一周期光衍射结构偏移距离np1/m,其中n能取值0、1、2、3、4、5、6、7、8并且m能取值2、3、4、8,
进一步地,其中所述二极管组中的每个分别地布置在每个所述单阱型p-n光电二极管中。
15.如权利要求10所述的检测器,其中所述第一传感器及第二传感器中的每个还包括在所述第一周期光衍射结构的下方以深度zT1=(m1/n1)(2p1 2/λ)布置的至少两组周期的交错的扩散型二极管,其中zT2<zT1,进一步地,其中所述二极管组分别横向地从所述第一周期光衍射结构偏移距离np1/m,其中n能取值0、1、2、3、4、5、6、7、8并且m能取值2、3、4、8。
16.如权利要求10所述的检测器,还包括:
邻近于第(n-1)像素设备线性地布置的至少一个第n(n≥3)像素设备,其包括:
第一周期光衍射结构,其具有周期p1,布置在所述支持结构的顶面内或所述支持结构的顶面上;
第二周期结构,其具有周期p2,平行于所述第一周期光衍射结构被定向并且在所述第一周期光衍射结构下方布置在所述支持结构中,
其中所述第二周期光衍射结构横向地从所述第一周期光衍射结构以量(mn/nn)p1偏移,其中(mn/nn)>(mn-1/nn-1);以及
第n传感器,其在所述第一周期光衍射结构下方,以所述第一选择的Talbot距离布置在所述支持结构中。
17.如权利要求16所述的检测器,其中所述第n传感器是单阱型p-n光电二极管。
18.如权利要求16所述的检测器,其中所述第n传感器还包括在所述第一周期光衍射结构下方以深度zT1=(m1/n1)(2p1 2/λ)布置的至少两组周期的交错的扩散型二极管,其中zT2<zT1,进一步地,其中所述二极管组分别横向地从所述第一周期光衍射结构偏移距离np1/m,其中n能取值0、1、2、3、4、5、6、7、8并且m能取值2、3、4、8,进一步地,其中所述二极管组中的每个分别地布置在每个第n单阱型p-n光电二极管中。
19.如权利要求17所述的检测器,其中所述第n传感器还包括以深度zT1=(m1/n1)(2p1 2/λ)布置的至少两组周期的交错的扩散型二极管,进一步地,其中所述二极管组分别横向地从所述第一周期光衍射结构偏移距离np1/m,其中n能取值0、1、2、3、4、5、6、7、8并且m能取值2、3、4、8。
20.如权利要求10所述的检测器,其中所述第一像素设备及第二像素设备还包括:
第一中间周期光衍射结构,其具有周期p1,布置在所述第一周期光衍射结构和所述第二周期光衍射结构之间,垂直于所述第一周期结构及第二周期结构被定向;以及
第二中间周期光衍射结构,其具有周期p2,布置在所述第二周期结构和所述第一传感器及第二传感器之间,垂直于所述第一周期结构及第二周期结构被定向,
其中在所述第一像素设备中,所述第一中间周期光衍射结构及第二中间周期光衍射结构非横向地从分别的所述第一周期结构及第二周期结构偏移,进一步地,其中在所述第二像素设备中,所述第一中间周期光衍射结构及第二中间周期光衍射结构横向地从分别的所述第一周期结构及第二周期结构以量(m2/n2)p1偏移。
21.如权利要求20所述的检测器,其中p2=p1
22.如权利要求16所述的检测器,其中每个第n(n≥3)像素设备还包括:
第一中间周期光衍射结构,其具有周期p1,布置在所述第一周期结构和所述第二周期结构之间,垂直于所述第一周期结构及第二周期结构被定向;以及
第二中间周期光衍射结构,其具有周期p2,布置在所述第二周期结构和所述第n传感器之间,垂直于所述第一周期结构及第二周期结构被定向,
其中在每个第n(n≥3)像素设备中,所述第一中间周期光衍射结构及第二中间周期光衍射结构横向地从所述第一周期结构以量(mn/nn)p1偏移,其中(mn/nn)>(mn-1/nn-1)。
23.如权利要求13所述的检测器,还包括布置在所述第一单阱型p-n光电二极管及第二单阱型p-n光电二极管的每个中的至少两组周期的交错的扩散型二极管。
24.如权利要求17所述的检测器,还包括布置在第n单阱型p-n光电二极管的每个中的至少两组周期的交错的扩散型二极管。
25.一种无透镜的光场成像设备,包括如权利要求10中阐述的光场检测器的二维M×N阵列。
26.一种无透镜的光场成像设备,包括如权利要求16中阐述的光场检测器的二维M×N阵列。
27.一种像素设备,包括:
设备支持结构;
第一周期光衍射结构,其具有周期p1,布置在所述支持结构的顶面中或所述支持结构的顶面上;
第二周期结构,其具有周期p2,平行于所述第一周期结构被定向,在所述第一周期光衍射结构下方,以选择的Talbot距离zT=(m/n)(2p1 2/λ)布置在所述支持结构中,
其中m、n是正整数,λ是在所述第一周期光衍射结构上的单色的平面的入射波前的波长,并且p1等于或大于λ。
28.如权利要求27所述的设备,其中所述第二周期结构还包括至少两组交错的扩散型二极管,进一步地,其中所述二极管组分别横向地从所述第一周期光衍射结构偏移距离np1/m,其中n能取值0、1、2、3、4、5、6、7、8并且m能取值2、3、4、8。
29.一种用于确定来自物体的入射光的方向的方法,包括:
创建来自所述物体的入射光的周期干涉图;
检测所述干涉图;以及
确定所述图相应于参考位置的相移。
CN2009801374269A 2008-07-25 2009-07-24 光场图像传感器、方法及应用 Active CN102099916B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US8368808P 2008-07-25 2008-07-25
US61/083,688 2008-07-25
PCT/US2009/051660 WO2010044943A2 (en) 2008-07-25 2009-07-24 Light field image sensor, method and applications

Publications (2)

Publication Number Publication Date
CN102099916A true CN102099916A (zh) 2011-06-15
CN102099916B CN102099916B (zh) 2013-07-31

Family

ID=42107123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801374269A Active CN102099916B (zh) 2008-07-25 2009-07-24 光场图像传感器、方法及应用

Country Status (5)

Country Link
US (2) US8530811B2 (zh)
EP (2) EP2311092B1 (zh)
KR (1) KR101629044B1 (zh)
CN (1) CN102099916B (zh)
WO (1) WO2010044943A2 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102865999A (zh) * 2011-07-08 2013-01-09 中国科学院微电子研究所 Led光学特性检测方法及检测装置
CN103843320A (zh) * 2011-09-28 2014-06-04 富士胶片株式会社 图像传感器和成像装置
CN105472233A (zh) * 2014-09-09 2016-04-06 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN108020513A (zh) * 2016-11-01 2018-05-11 三星电子株式会社 光学检测器、光谱检测器及使用其的光谱检测方法
CN109187375A (zh) * 2018-08-17 2019-01-11 西安交通大学 一种基于标准cmos工艺的芯片级光谱检测器件
CN109565534A (zh) * 2016-07-29 2019-04-02 诺基亚美国公司 单光圈多传感器无透镜压缩图像获取
CN110363205A (zh) * 2019-06-25 2019-10-22 浙江大学 一种基于Talbot效应光学卷积的图像特征提取系统及方法
CN110913154A (zh) * 2018-09-18 2020-03-24 亚德诺半导体无限责任公司 有源像素图像传感器
CN111229342A (zh) * 2020-01-17 2020-06-05 上海新微技术研发中心有限公司 基于cmos图像传感的光栅波导多微流道芯片的制造方法
CN111670576A (zh) * 2017-12-05 2020-09-15 艾瑞3D有限公司 用于深度获取的光场图像处理方法
CN112770020A (zh) * 2019-11-05 2021-05-07 北京小米移动软件有限公司 图像传感模组、方法、装置、电子设备及介质
CN113167857A (zh) * 2018-12-10 2021-07-23 Abb瑞士股份有限公司 雷达传感器以及使用雷达传感器的机器人

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014194A1 (en) * 2009-07-31 2011-02-03 Hewlett-Packard Development Company, L.P. Beam direction sensor
US9740019B2 (en) 2010-02-02 2017-08-22 Apple Inc. Integrated structured-light projector
LU91688B1 (en) * 2010-05-17 2011-11-18 Iee Sarl Scanning 3D imager
EP2601785A4 (en) * 2010-08-03 2017-12-13 Cornell University Angle sensitive pixel (asp)-based image processing system, method, and applications
JP2012064703A (ja) * 2010-09-15 2012-03-29 Sony Corp 撮像素子および撮像装置
WO2012058360A2 (en) 2010-10-27 2012-05-03 Cornell University Light field image sensor, method and applications
US9876953B2 (en) * 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
US9146403B2 (en) * 2010-12-01 2015-09-29 Massachusetts Institute Of Technology Content-adaptive parallax barriers for automultiscopic display
CN103035656B (zh) * 2011-03-15 2015-08-12 深圳光启智能光子技术有限公司 一种基于cmos加工工艺的光传感系统
CN102143332B (zh) * 2011-04-20 2013-03-20 中国科学院半导体研究所 基于标准cmos工艺的彩色图像传感器
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
CN103782200A (zh) * 2011-09-09 2014-05-07 欧司朗股份有限公司 改进的占用传感器装置
CN104730825B (zh) * 2012-03-15 2019-04-02 苹果公司 光电投影设备
WO2014048831A1 (en) * 2012-09-27 2014-04-03 Snap-On Equipment Srl A Unico Socio Method and system for inspection, maintenance or repair of a vehicle or of a part of a vehicle
US10514509B2 (en) * 2013-01-10 2019-12-24 The Regents Of The University Of Colorado, A Body Corporate Method and apparatus for optical waveguide-to-semiconductor coupling and optical vias for monolithically integrated electronic and photonic circuits
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
US10397545B2 (en) * 2013-12-23 2019-08-27 University Of Deleware 3-D light field camera and photography method
CN103715215B (zh) * 2013-12-30 2018-10-16 上海集成电路研发中心有限公司 一种对角度敏感的图像像素单元
WO2015157097A1 (en) 2014-04-09 2015-10-15 Rambus Inc. Low-power image change detector
EP3137935B1 (en) 2014-04-30 2023-07-05 Hewlett-Packard Development Company, L.P. Imaging apparatus using diffraction-based illumination
US10605916B2 (en) * 2015-03-17 2020-03-31 Cornell University Depth field imaging apparatus, methods, and applications
US10404908B2 (en) 2015-07-13 2019-09-03 Rambus Inc. Optical systems and methods supporting diverse optical and computational functions
US10284825B2 (en) 2015-09-08 2019-05-07 Rambus Inc. Systems with integrated refractive and diffractive optics
EP3374817B1 (en) * 2015-11-11 2020-01-08 Scopio Labs Ltd. Autofocus system for a computational microscope
WO2017131585A1 (en) * 2016-01-26 2017-08-03 Heptagon Micro Optics Pte. Ltd. Multi-mode illumination module and related method
ES2932185T3 (es) * 2016-02-26 2023-01-16 Univ Southern California Obtención de imágenes volumétricas optimizadas con iluminación de volumen selectivo y detección de campo de luz
US10983275B2 (en) 2016-03-21 2021-04-20 The Regents Of The University Of Colorado, A Body Corporate Method and apparatus for optical waveguide-to-semiconductor coupling for integrated photonic circuits
DE102016208841B4 (de) * 2016-05-23 2020-12-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Farbsensor mit winkelselektiven Strukturen
US20190257987A1 (en) * 2016-06-07 2019-08-22 Airy3D Inc. Light Field Imaging Device and Method for Depth Acquisition and Three-Dimensional Imaging
US20190215473A1 (en) * 2016-07-13 2019-07-11 Sony Corporation Imaging apparatus, imaging device, and image processing apparatus
IL251636B (en) 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
CN111066263B (zh) * 2017-07-21 2023-10-03 加州理工学院 超薄平面无透镜相机
US11882371B2 (en) * 2017-08-11 2024-01-23 California Institute Of Technology Lensless 3-dimensional imaging using directional sensing elements
US10750104B2 (en) * 2017-08-15 2020-08-18 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus and driving method thereof
US10153614B1 (en) 2017-08-31 2018-12-11 Apple Inc. Creating arbitrary patterns on a 2-D uniform grid VCSEL array
EP3700186B1 (en) 2017-10-19 2023-08-16 Sony Group Corporation Imaging device and method
US11368609B2 (en) 2017-10-19 2022-06-21 Sony Corporation Electronic apparatus
EP3700191B1 (en) 2017-10-19 2023-08-02 Sony Group Corporation Imaging device, exposure control method, program, and imaging element
WO2019078334A1 (ja) 2017-10-19 2019-04-25 ソニー株式会社 撮像素子、画像処理装置、画像処理方法、および、プログラム
US11223787B2 (en) 2017-10-19 2022-01-11 Sony Corporation Information processing apparatus, information processing method, and imaging apparatus
US11202062B2 (en) * 2017-11-21 2021-12-14 University Of New Hampshire Methods and systems of determining quantum efficiency of a camera
JP7238887B2 (ja) 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
US11422292B1 (en) * 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
CN108924407B (zh) * 2018-06-15 2020-12-18 深圳奥比中光科技有限公司 一种深度成像方法及系统
JP7262236B2 (ja) * 2019-02-04 2023-04-21 キヤノン株式会社 撮像装置およびその制御方法
US11460576B2 (en) * 2019-04-18 2022-10-04 Beijing Voyager Technology Co., Ltd. Transmitter having beam shifter for light detection and ranging (LIDAR)
WO2020246250A1 (ja) * 2019-06-04 2020-12-10 ソニー株式会社 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
EP3825659B1 (en) 2019-11-19 2023-11-08 CSEM Centre Suisse D'electronique Et De Microtechnique SA Position encoder
US11721774B2 (en) * 2020-02-27 2023-08-08 Taiwan Semiconductor Manufacturing Company, Ltd. Full well capacity for image sensor
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
CN113819998B (zh) * 2021-09-18 2024-01-16 中北大学 一种基于二维单层光栅结构的多维角振动传感器
US11662526B1 (en) * 2021-12-09 2023-05-30 Visera Technologies Company Ltd. Optical structure

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4915463A (en) * 1988-10-18 1990-04-10 The United States Of America As Represented By The Department Of Energy Multilayer diffraction grating
US5812629A (en) * 1997-04-30 1998-09-22 Clauser; John F. Ultrahigh resolution interferometric x-ray imaging
CA2351721C (en) * 1998-11-20 2004-02-24 California Institute Of Technology Slotted quantum well sensor
JP4445397B2 (ja) * 2002-12-26 2010-04-07 敦 百生 X線撮像装置および撮像方法
JP4233089B2 (ja) * 2003-08-12 2009-03-04 株式会社リコー 傾きセンサ、光ピックアップ装置及び光ディスク装置
JP4551624B2 (ja) 2003-03-14 2010-09-29 株式会社リコー 傾きセンサ、傾き測定装置、光ピックアップ装置及び光ディスク装置
JP4192867B2 (ja) * 2004-08-30 2008-12-10 ソニー株式会社 物理情報取得装置、複数の単位構成要素が配列されてなる物理量分布検知の半導体装置、並びに半導体装置の製造方法
US7800823B2 (en) * 2004-12-06 2010-09-21 Moxtek, Inc. Polarization device to polarize and further control light
EP1731099A1 (en) * 2005-06-06 2006-12-13 Paul Scherrer Institut Interferometer for quantitative phase contrast imaging and tomography with an incoherent polychromatic x-ray source
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
WO2007125833A1 (ja) * 2006-04-24 2007-11-08 The University Of Tokyo X線撮像装置及びx線撮像方法
CN101135575A (zh) * 2007-10-15 2008-03-05 中国科学技术大学 具有双反射镜的直接计数式变栅距单光栅光位移传感器
US8809758B2 (en) * 2008-07-25 2014-08-19 Cornell University Light field image sensor with an angle-sensitive pixel (ASP) device
US8946619B2 (en) * 2011-04-20 2015-02-03 California Institute Of Technology Talbot-illuminated imaging devices, systems, and methods for focal plane tuning

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102865999A (zh) * 2011-07-08 2013-01-09 中国科学院微电子研究所 Led光学特性检测方法及检测装置
CN102865999B (zh) * 2011-07-08 2015-03-04 中国科学院微电子研究所 Led光学特性检测方法及检测装置
CN103843320A (zh) * 2011-09-28 2014-06-04 富士胶片株式会社 图像传感器和成像装置
CN103843320B (zh) * 2011-09-28 2015-11-25 富士胶片株式会社 图像传感器和成像装置
US10356349B2 (en) 2014-09-09 2019-07-16 Beijing Zhigu Tech Co., Ltd. Light field capture control methods and apparatuses, light field capture devices
CN105472233B (zh) * 2014-09-09 2019-01-18 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN105472233A (zh) * 2014-09-09 2016-04-06 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN109565534A (zh) * 2016-07-29 2019-04-02 诺基亚美国公司 单光圈多传感器无透镜压缩图像获取
CN108020513A (zh) * 2016-11-01 2018-05-11 三星电子株式会社 光学检测器、光谱检测器及使用其的光谱检测方法
CN108020513B (zh) * 2016-11-01 2022-03-29 三星电子株式会社 光学检测器、光谱检测器及使用其的光谱检测方法
CN111670576A (zh) * 2017-12-05 2020-09-15 艾瑞3D有限公司 用于深度获取的光场图像处理方法
CN109187375A (zh) * 2018-08-17 2019-01-11 西安交通大学 一种基于标准cmos工艺的芯片级光谱检测器件
CN110913154A (zh) * 2018-09-18 2020-03-24 亚德诺半导体无限责任公司 有源像素图像传感器
CN113167857A (zh) * 2018-12-10 2021-07-23 Abb瑞士股份有限公司 雷达传感器以及使用雷达传感器的机器人
CN113167857B (zh) * 2018-12-10 2023-03-24 Abb瑞士股份有限公司 雷达传感器以及使用雷达传感器的机器人
CN110363205A (zh) * 2019-06-25 2019-10-22 浙江大学 一种基于Talbot效应光学卷积的图像特征提取系统及方法
CN110363205B (zh) * 2019-06-25 2021-06-22 浙江大学 一种基于Talbot效应光学卷积的图像特征提取系统及方法
CN112770020A (zh) * 2019-11-05 2021-05-07 北京小米移动软件有限公司 图像传感模组、方法、装置、电子设备及介质
US11516389B2 (en) 2019-11-05 2022-11-29 Beijing Xiaomi Mobile Software Co., Ltd. Image sensing device, method and device, electronic apparatus and medium
CN111229342B (zh) * 2020-01-17 2022-02-11 上海新微技术研发中心有限公司 基于cmos图像传感的光栅波导多微流道芯片的制造方法
CN111229342A (zh) * 2020-01-17 2020-06-05 上海新微技术研发中心有限公司 基于cmos图像传感的光栅波导多微流道芯片的制造方法

Also Published As

Publication number Publication date
US20150125943A1 (en) 2015-05-07
CN102099916B (zh) 2013-07-31
WO2010044943A3 (en) 2010-07-22
KR20110036844A (ko) 2011-04-11
US9658060B2 (en) 2017-05-23
KR101629044B1 (ko) 2016-06-09
EP2311092A2 (en) 2011-04-20
EP2311092A4 (en) 2013-11-20
EP2311092B1 (en) 2021-01-27
EP3836215A1 (en) 2021-06-16
US20110174998A1 (en) 2011-07-21
US8530811B2 (en) 2013-09-10
WO2010044943A2 (en) 2010-04-22

Similar Documents

Publication Publication Date Title
CN102099916B (zh) 光场图像传感器、方法及应用
US8809758B2 (en) Light field image sensor with an angle-sensitive pixel (ASP) device
EP2633277B1 (en) Angle-sensitive pixel device
JP6463582B2 (ja) 符号化ローカライゼーションシステム、方法および装置
EP3466052A1 (en) Light field imaging device and method for depth acquisition and three-dimensional imaging
JP2018513967A (ja) 深度フィールドイメージング装置、方法および応用
KR20130088852A (ko) 각 감지 픽셀(asp)에 기초한 이미지 처리 시스템, 방법, 및 응용들
CN102494873B (zh) 一种微透镜阵列焦距的测量方法
US9354045B1 (en) Image based angle sensor
EP3513550B1 (en) Flat digital image sensor
CN103471718A (zh) 一种基于稀疏孔径压缩计算关联的高光谱成像系统及方法
CN207741853U (zh) 用于水下探测的高光谱高空间分辨积分视场光谱成像系统
CN100565137C (zh) 用于测量入射光的方法以及具有采用该方法的分光装置的传感器
CN109346492B (zh) 线阵图像传感器像素阵列及物体表面缺陷检测方法
CN101201548B (zh) 调焦调平测量系统及方法
CN103105235B (zh) 一种测量哈特曼波前传感器子孔径中倾斜像差的方法
CN207636184U (zh) 一种用于海洋水下探测的快照型高空间分辨光谱成像系统
CN108151877A (zh) 一种微型孔光谱仪及光谱重建方法
CN110543028B (zh) 一种满足微光成像的实时偏振成像阵列结构
CN207380239U (zh) 感光元件及tof距离传感器
CN206975217U (zh) 感光元件及tof距离传感器
CN107331723B (zh) 感光元件及测距系统
Park et al. Design and Analysis of Angle-sensitive Pixels for Near-infrared Imaging
CN113984206A (zh) 一种基于多台阶衍射滤光器的快照式光谱成像系统
Shen et al. Track-and-tune light field image sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant