CN106104318B - 低功率图像改变检测器 - Google Patents

低功率图像改变检测器 Download PDF

Info

Publication number
CN106104318B
CN106104318B CN201580014922.0A CN201580014922A CN106104318B CN 106104318 B CN106104318 B CN 106104318B CN 201580014922 A CN201580014922 A CN 201580014922A CN 106104318 B CN106104318 B CN 106104318B
Authority
CN
China
Prior art keywords
pixel
mode
grating
poll
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580014922.0A
Other languages
English (en)
Other versions
CN106104318A (zh
Inventor
E·L·埃里克森
D·G·斯托尔克
P·R·吉尔
J·特林加利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rambus Inc
Original Assignee
Rambus Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rambus Inc filed Critical Rambus Inc
Publication of CN106104318A publication Critical patent/CN106104318A/zh
Application granted granted Critical
Publication of CN106104318B publication Critical patent/CN106104318B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G01J1/0407—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0437—Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using masks, aperture plates, spatial light modulators, spatial filters, e.g. reflective filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G02B5/1871—Transmissive phase gratings
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/129—Coded aperture imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

感测设备在间距小的光电检测器阵列上投射近场空间调制。由于光栅的物理特性，点扩散响应在阵列的相对较大的面积上方分配空间调制。空间调制被阵列捕获，并且可以从得到的数据中提取照片和其他图像信息。结合这种感测设备的图像改变检测器使用非常小的功率，因为只需要少量的有源像素来覆盖视场。

Description

低功率图像改变检测器
背景技术
传统的相机使用一个或多个透镜来将画面中的每个点成像到传感器上的单个点上。在数码相机中，传感器是画面元件或“像素”的二维阵列，其将成像的画面编码为数字图像数据来用于存储、处理和再生。
数字成像能够产生新的成像架构。Cathey和Dowski通过开发数字处理来采用早期和概念上重要的步骤避开传统的模型。他们设计了立方相光学板，当插入到传统相机的光学路径中时，其使得图像的(大多数)模糊与对象深度无关；传感器板上的图像不会如传统相机那样“看起来很好”。然而，随后的图像处理尖锐化整个模糊图像，由此导致增加的场深度。由于计算成像的场开发了原始图像不会表面上类似于传统图像的成像架构；相反，根据这种信号计算最终的图像。越来越多的总成像“负担”通过计算产生，从而扩展了可用光学部件的类别。以这种方式，许多光学像差可以计算性地而非光学地校正。这种成像范例产生了光学和图像处理的接合设计的新概念基础以及大范围的非标准成像架构(诸如全光镜头、编码孔径和多孔径系统)，每一个都具有信号处理的相关联方法。
附图说明
通过示例但不限制地示出了详细说明，在附图中类似的参考标号表示相似的元件，其中：
图1A是感测设备100的剖视图，其具有上覆光电检测器阵列110(诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器)的奇对称光栅105。
图1B示出了图1A的传感器100，其仿真锐角160的光入射平面120以示出幕挂(curtain)140和焦点(foci)145相对于入射角的敏感性。
图2示出了根据一个实施例的二元奇对称光栅200。
图3示出了根据实施例的感测设备300，其中通过两种不同折射率的材料之间的界面形成二元奇对称相位光栅310。
图4A是根据另一实施例的传感器400的平面图。
图4B示出了图4A的传感器400的三维立体图，并示出了来自垂直于光栅表面的方向的光420如何在下面的光电二极管阵列430上投射干涉图样425。
图5A、图5B、图5C和图5D每一个均示出了二维光电二极管阵列505上方的奇对称500的三个边界。
图6示出了三个奇对称光栅600、620和630，每个均具有不同相对宽度的特征片段。
图7A是根据实施例的相位光栅700的截面，其使用多于两个的层级以产生奇对称。
图7B示出了光学上类似于图7A的相位光栅700但使用较少层的相位光栅710的截面。
图8是相位光栅800的截面，其示出了奇对称如何可以扩展为弯曲函数。
图9是根据实施例的光栅900的平面图，其中奇对称905的边界从光栅的中心辐射延伸，并且特征片段的宽度远离中心逐渐加宽。
图10是根据实施例的光栅1000的平面图，其具有奇对称1005的同心边界并包括沿着线A-A的剖视图。
图11是根据实施例的光栅1100的平面图，其类似于图9的光栅900。
图12是根据另一实施例的光栅1200的平面图。
图13示出了根据另一实施例的光栅1300。
图14示出了光栅1400和相关联的光电二极管阵列1405。
图15示出了光栅1500和相关联的光电二极管阵列1505。
图16是根据实施例的光栅1600的平面图，其具有奇对称1605的五边形边界。
图17A是根据另一实施例的光栅1700的平面图。
图17B示出了图17A的边界1705的形状。
图18示出了设置在光电二极管阵列(未示出)上方的光栅1805的二维阵列1800。
图19是详细示出如何根据图17的光栅1700捕获和解析图像1905的流程图1900。
图20示出了根据一个实施例的用于形成图像传感器2000的光刻处理。
图21A示出了根据实施例的相机2100，其包括透镜2105。
图21B是在阵列2115上焦点对准成像点源2125的相机2100的示例。
图21C是在阵列2115上焦点未对准地成像点源2140的相机2100的示例。
图21D是与图21C的示例中的点源2140相比更加焦点未对准地成像点源2155的相机2100的示例。
图22是利用三个PSF 2205、2210和2215照射的像素2200的阵列的一部分的平面图。
图23示出了三个螺旋PSF 2300、2305和2310以示出根据一些实施例的相机如何可以补偿透镜像差，包括球面像差、彗形像差和佩兹瓦尔像场弯曲。
图24示出了棋盘状的光学元件2400以示出根据一些实施例的相位光栅的方面。
图25示出了由图24的光栅2400产生的定向线性调频波(orientation chirps)内的空间调制的富图样(rich pattern)利于提高焦点未对准PSF的分辨率。
图26A和图26B示出了根据一些实施例的棋盘状光栅2600和2605。
图27A和图27B示出了根据一些实施例的棋盘状光栅2700和2705。
图28示出了根据一个实施例的棋盘状光栅2800。
图29示出了根据另一实施例的棋盘状光栅2900。
图30示出了可根据一些实施例用于使用图21A-图21D所示类型的相机产生颜色图像的过滤器阵列3000。
图31示出了颜色通道3100，四个颜色通道中的一个用于根据图30引入的实施例。
图32示出了支持低功率模式的图像改变检测器3200。
图33示出了图33的阵列3205作为像素3300的阵列。
具体实施方式
在移动计算市场中对电子设备(包括相机)的小型化的经济压力导致越来越小的成像器形成因数。用于小型化成像架构的一种技术是基于将衍射光学器件与光电检测器阵列集成。这种架构可以放弃透镜转而依赖于衍射光栅，其可以使用与用于创建下面的传感器类似的处理来创建。对于给定的图像分辨率，这种衍射元件能够以低得多的成本使用传统相机的光学路径构造尽可能小的成像设备。
图1A是具有集成衍射光学器件的感测设备100的剖视图。光栅105上覆光电检测器阵列110，诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器。光栅105的特征提供了对感兴趣的波长带中的入射光的波长以及光栅105与光电检测器阵列110之间的制造距离显著的不灵敏性。光栅105产生被阵列110捕获的干扰图样。然后，可以从图样中提取照片和其他图像信息。
感兴趣波长带中的光(诸如可视光谱)从垂直于光栅105的截面120的方向115入射到光栅105。虚线125强调基本奇对称的周期性边界。这些边界中的每一个都是奇对称的特征130和135的结果，并且产生由相邻的特征130与135之间的破坏性相位干涉所创建的最小强度的正常布置的幕挂140。幕挂140被焦点145分离，并且幕挂140和焦点145的聚集(最大光强度的幕挂)从光栅105开始延伸通过设备100的主体150以在光电检测器阵列110上产生干涉图样。在该示图中，焦点和幕挂中明显的强度改变的图样是源于近场衍射的近场空间调制。阵列110内的一个光敏元件155在焦点145下方遮蔽以用作设备100对于入射光角度的敏感性的后续讨论的参考。
根据利用以下参数并假设具体参数仿真感测设备而得到图1A的图像。主体150是熔融石英，并且与传统的光电检测器阵列110接触，其中光敏元件隔开2.2μm。在该示例中，光栅105的顶部是空气界面。特征130和135的相对较小的片段大约为1μm，并且相对较大的片段大约为4μm。这些片段通常形成截面120，其与阵列110隔开大约25μm。幕挂140和焦点145是用于532nm入射光的破坏性和建设性干涉图样。
针对400nm的光，优化主体150的厚度以及特征130和135的片段的长度，尽管选择532nm的光用于仿真。因此，最紧凑(tightest)的焦点发生在阵列110上方大约5μm处(在20μm标记处)。然而，所得到的幕挂140平坦地很好分离焦点145且在20μm标记下方，示出了对感兴趣波带内的波长的良好不敏感性。幕挂140的相对深度和连续渗透还提供了对主体150的厚度的相当大的制造容限。由于投射到阵列110上的近场空间调制是与感兴趣波长带无关的波长而得到这些优势，这表示相邻调制(暗和明)不随着感兴趣波带内的波长变化反转符号。
图1B示出了图1A的传感器100，其以锐角160仿真光入射面120以示出幕挂140和焦点145对入射角的敏感性。将元件155用作参考点，看到照射图1A中的元件155的焦点145显著移动到图1B中的右侧。根据斯涅耳定律，幕挂140和焦点145以与角度160相关的锐角延伸。保持通过幕挂140分离焦点145。因此，传感器100对入射角敏感。
图2示出了根据一个实施例的二元奇对称光栅200。奇对称的三个边界中的每一个都使用垂直虚线来表示。光栅200的上部特征处于足以相对于下部特征或者相对相位延迟的π弧度引入感兴趣波带中的阻滞的一半波长的高度处。每个边界任一侧上的特征205和210利用三个不同大小的片段W0、W1和W2显示出奇对称。通过这种布置，成对的片段(例如，特征205和210内的W0)引入相应的相位延迟，其相对于感兴趣波长带相差近似一半的波长。
图3示出了根据实施例的感测设备300，其中，通过两种不同折射率的材料(在该示例中为聚碳酸酯层315和光学重镧火石玻璃320)之间的界面形成二元奇对称相位光栅310。奇对称325的四个边界中的每一个都使用垂直的虚线来表示。如前述示例，光栅310的上部特征相对于下部特征引入一半波长(π弧度)的相位阻滞。每个边界的任一侧上的特征330和335显示出奇对称。通过这种布置，成对的特征引入相应的相位延迟，其与感兴趣的波长带相差近似半个波长。
以结合图1A和图1B详细描述的方式，这些元件在分析器层327(例如，传统的光电二极管阵列)上产生干扰图样。该示例假设入射到光栅300的光界面的光垂直于相位光栅310的横截面，在这种情况下，与奇对称325的一个边界等距地进入光栅310(诸如在位置(-X，0)和(X，0)处)的光场在阵列310下方的点(例如，点(0，Z))处异相，因此破坏性地干扰以产生最小强度的幕挂(例如，图1的幕挂140)。无论深度Z还是实质性光谱上的光的波长都不会显著影响这种破坏性干扰。建设性干扰类似地产生最大强度的焦点(例如，图1的焦点145)。高和低特征都允许光相对于选择性阻挡光的光栅提供相对较大的量子效率。
以下讨论详细描述根据Patrick R.Gill和David G.Stork即将在论文“LenslessUltra-Miniature Images Using Odd-Symmetry Spiral Phase Gratings”(2013Optical Society of America)中描述的示例的相位光栅。在文章中，Gill和Stork描述了通过高n、低色散衬底和低n、高色散涂层形成的相位光栅，其可以在所有正常入射的可见光中引入近似与λ无关的相位偏移。上面讨论了类似的光栅。如果在该界面上存在特定点p，它们的透射率t(·)和相位推延满足以下对称性，
其中y是横向于光栅方向的水平移动，光栅相对于点p具有奇对称，并且光在p下方破坏性地干扰而与λ和深度z无关。
光电传感器阵列上方的线性奇对称光栅将从远场中的特征的单一空间定向(横向于光栅定向)传送信息。然而，为了捕获关于复杂场景的任意定向的特征的信息，优选具有颜色光学器件中的定向的完整分布。更一般地，如果点源响应(PSR)近似空间不变，成像器的传递函数近似利用PSR函数卷积。在这种情况下，PSR应该在所有2D空间频率下具有较大的功率来进行条件良好的图像恢复的反转问题。
在Gill和Stork提供的一个示例中，光栅被数字化地优化以将可见光聚焦到光电检测器阵列100μm以下。光学仿真根据具有2.2μm间距且在光栅下方100μm的60×60像素阵列估计这种设备的成像性能，其中通过远离传感器(＞＞100μm)的复杂场景来照射传感器。所得到的来自像素阵列的光电流难以了解；然而，场景被重构至比使用大得多的衍射成像器(其基于使用Tikhonov规则的塔尔伯特效应角度敏感)可能的分辨率更高的分辨率。Gill和Stork报告，如果已知场景具有可压缩结构，则可应用压缩感测技术以提高重构质量。如果PSR的傅里叶变换中存在小间隙，则压缩感测尤其有利。
图4A是根据另一实施例的传感器400的平面图。奇对称415的八个边界的每一个的任一侧上的相对高片段405和低片段410创建光栅，其中，片段的宽度随着与传感器中心的距离而增加。对于给定的焦点深度，更高频率的光趋于产生具有较窄特征宽度的尖锐焦点。因此，传感器400可以被优化，使得光栅的中心部分被优化用于收集相对较高频率的光，并且外围区域用于收集相对较低频率的光。以下结合其他附图详细描述该主题。
图4B是图4A的传感器400的三维立体图，并且示出了来自垂直于光栅表面的方向的光420如何在下面的光电二极管阵列430上创建干扰图样425。如前所述，幕挂和焦点分别投射被阵列430的各个光敏元件445感测的阴影435和明亮形状440。阵列430捕获图样425的数字表示。
图5A、图5B、图5C和图5D均示出了二维光电二极管阵列505上方的奇对称500的三个边界。幕挂510在下面的光电检测器520上投射阴影515，因此创建的图样根据入射光的角度而不同。因此，阵列505可以对所得到的干扰图样进行采样以得到关于入射角的信息。
图6示出了三个奇对称光栅600、620和630，每一个都具有不同相对宽度的特征片段。可以有用地创建具有多个宽度比率的传感器，如图所示，从而补偿影响光栅特征的相对高度的制造容限。例如，假设光栅600针对感兴趣的制造处理优化宽度，但是该处理产生40％的相对相位延迟而非理想的50％，从而在期望位置处形成最小强度的幕挂。如光栅630所示，增加相对较宽片段的宽度可以改善由错误的相位偏移所得到的失真。如光栅620所示，50％以上的相位偏移可以通过缩窄相对较宽的片段来校正。一些实施例包括覆盖光电二极管阵列的不同区域的相对片段宽度的混合以适应制造容限。与提供最尖锐焦点或者波长范围的波长的最尖锐焦点的光栅相关联的图像可以被选择或组合以得到期望的图像数据。不同的光栅还可以针对不同波长或入射角的光更好地执行，使得可以针对除制造容限之外的变量优化选择哪些光栅用于给定图像。
图7A是根据实施例的相位光栅700的截面，其使用多于两个的层级以产生奇对称。附加层级可以允许更尖锐的焦点，但是可以要求更复杂的制造处理。例如，如果光栅使用光刻来制造，则附加的层级要求附加的掩模步骤。奇对称的每个边界的任一侧上的成对表面在感兴趣的波长带上方引入相应的成对相位延迟，它们近似相差半个波长加上波长的整数。
图7B是光学类似于图7A的相位光栅700的相位光栅710的截面，但是使用较少的层。所得到的较大的陡峭不连续715会引入不期望的图像伪影，或者会难以精确地制造，但是减少数量的层级会降低制造成本。
图8是相位光栅800的截面，其示出了奇对称如何扩展到弯曲函数。
图9是根据实施例的光栅900的平面图，其中，奇对称905的边界从光栅的中心辐射延伸，并且其中特征片段的宽度远离中心逐渐加宽。利用宽度的连续可变集合，光栅900在16个离散角度处捕获图像信息。虽然将光栅900方便画为圆形，但可以使用其他形状。在一些实施例中，例如，光栅的集合在光电二极管阵列上方形成阵列。在这种情况下，共享公共边界(例如，诸如六边形、正方形或三角形边界)的栅格更有效地使用下面的光电二极管。
图10是根据实施例的光栅1000的平面图，其具有基本为奇对称1005的同心边界并且包括沿着线A-A的剖视图。在该示例中，特征片段的宽度是离散的，并且角度是连续的。光栅1000的间隔看起来一致，但是可以变化以在波长、入射角或制造变化的范围内允许尖锐的焦点。
图11是根据实施例的光栅1100的平面图，其类似于图9的光栅900。光栅900的两半提供了基本相同的信息。光栅1100利用垂直定向添加了半圆偏振滤光器1105和1110。因此，光栅1100的每一半产生两种偏振中的一个特有的图像数据，并且这些数据可以独立使用或一起使用。可以在其他实施例中使用具有相同或不同定向的更多或更少的滤光器。不同类型的滤光器还可用于覆盖本文所述类型的光栅的一部分。
图12是根据另一实施例的光栅1200的平面图。奇对称1205的弯曲边界从光栅的中心开始辐射延伸，并且特征片段的宽度远离中心逐渐加宽。边界1205的曲率提供了连续可变角度信息，其类似于图10的光栅1000的可变信息，同时保持图9的光栅900的连续变化间隔。
图13示出了根据另一实施例的光栅1300。如前所述，光栅特征的不同宽度针对感兴趣的波长带内的光的不同颜色提供更尖锐的焦点。光栅1300具有图9的光栅900的相同辐射对称性，但是针对蓝色、绿色和红色光优化间隔的那些区域设置有滤光器以允许它们相应的波长。省略在下面的分析器上提供模糊干扰图样的波长可以改善图像清晰度，并且可以允许颜色图像数据更精确的重构。光栅1300通过限定孔径的界限的不透明掩模1305来定界。
图14示出了光栅1400和相关联的光电二极管阵列1405。光栅1400具有并行的奇对称边界1410，它们可具有相同或不同宽度的特征，或者沿着一个或多个边界具有可变宽度。并行边界具有宽度和间隔的必要差异以采样充分数量的空间频率，可以成像一维图像，例如条形码。在光栅1400旁边而非下方示出阵列1405，以突出边界1410的方向与阵列1405中的光敏元件的列之间的角度θA。角度θA创建更多样化的测量，因为线性阴影覆盖不同行中的像素的不同百分比。在一个实施例中，选择角度θA，使得每个边界的顶部与底部大约偏移阵列1405的一个像素。
图15示出了光栅1500和相关联的光电二极管阵列1505。光栅1500具有并行的直角边界，其可以具有相同或不同宽度的特征，或者沿着一个或多个边界具有可变宽度。并行边界沿着两个维度具有必要的宽度和间隔的差异以采样充分数量的空间频率，可以成像例如点源，诸如识别太阳、基准LED或者用于运动捕获的回射元件或补丁(patch)的位置。可以由于上面结合图14呈现的原因来引入角度θA。点源识别还可以伴随还适合于呈现功能的光栅。
图16是根据实施例的光栅1600的平面图，其具有奇对称1605的五边形边界。在该示例中，特征片段的宽度是离散的，但是在其他实施例中，它们可以沿着一个或多个边界改变。直的边界相对于弯曲边界是有利的，因为线片段可以更容易提供精确的奇对称。
光栅1600在五个不同的定向处提供信息。在其他实施例中使用其他边界形状，诸如其他多边形。通常，与具有类似但偶数个侧面的多边形相比，具有奇数个侧面的多边形提供了更多的定向差异(比正方形或六边形提供更多定向差异的五边形)。
图17A是根据另一实施例的光栅1700的平面图。回顾相对较窄(宽)片段间隔针对相对较高(低)频率工作得很好，特征间隔沿着奇对称边界(暗区域和亮区域之间)随着与中心的距离而增加。奇对称1705的弯曲边界从光栅的中心到外围辐射延伸，在中心附近的暗(凸起)和亮(凹陷)臂之间向外辐射。通过图17A中的光栅特征来模糊弯曲边界，使得容易回顾图17B所示的边界1705的形状。
片段宽度不随着半径连续增加，因为对于感兴趣的给定波长带具有最大的期望宽度(例如，最宽可对应于可见红光的最小频率)。因此，限定边界1705的特征显示出不连续性，因为它们朝向光栅1700的外围延伸。在该示例中，光栅1700具有三个离散的区域，它们每一个都调整到感兴趣的波带中的所有波长或波长的子集。
图18示出了设置在光电二极管阵列(未示出)上方的光栅1805的二维阵列1800。每个光栅1805都是相同的，但是任何数量的参数(上面讨论了一些)可以在光栅1805内和之间变化。例如，不同形状和类型的光栅可用于创建和成像不同类型的干扰图样，它们可以被组合或独立用于获取一些期望的结果。可以一次进行考虑由一个或多个组成光栅生成的信息的所有或特定子集的判定，诸如在制造时适应处理变化或者可以动态地进行以强调场景的不同方面。例如，强调不同图样的方面可用于强调不同偏振、波长或入射角的光。
面向相同方向的间隔灌输(具体当它们的特性良好匹配时)可用于感测移动对象。假设具有固定间隔的匹配光栅接收来自相同场景的光，相应的分析器层的光电流之间的差异仅对相对紧密接近该对的对象敏感。此外，这种差异的时间导数对附近移动的对象敏感，并且对相对遥远的移动或静态对象不敏感。
图19是详细示出如何根据图17的光栅1700捕获和解析图像的流程图1900。首先，呈现图像1910，使得来自图像1910的光入射光栅1700。入射光通过相位光栅1700以在下面的光电传感器(未示出)的二维阵列上产生强度图样1920，其捕获图样(1915)。捕获的图样1920对人来说看起来无法理解；然而，由于光栅1700在其点扩展函数(PSF)中具有尖锐特征，所以图案包含关于图像的丰富信息。
根据先前的校准或高保证度仿真已知光栅1700的PSF，可能与下面的阵列组合。PSF根据入射角度和颜色改变的方式也可以类似确定。该信息通过响应1930表示。基于该响应的数学转换由此可用于根据图样1920重构图像1910。
为了恢复原始图像，响应1920和1930组合形成反向问题(1925)，其被求解(1935)以恢复原始图像的版本1940。一个实施例采用已知的Tikhonov规则化反向技术以完成步骤1925和1935。作为起点，a)光栅1700的PSF的详细知识；b)当前照明条件下的系统的噪声等级的知识；以及c)针对该图像观察的具体读数(图样1920)。将未知图像表示为N×1矢量x，其中N是希望重构的像素的总数。将光电传感器的读数表示为M×1矢量y，其中M是阵列中的光电传感器的总数。将PSF的详细知识表示为M×N矩阵A，使得对于任何图像x，产生x下的期望观察信号y的公式为y＝Ax，称为“正向方程”。
为了重构图像，如下对于未知图像x，充分利用已知测量矢量y求解正向方程。将正向方程的多侧乘以AT(A的转置矩阵)以得到ATy＝ATAx。矩阵ATA是平方，并且原则上可以直接反转以恢复x；然而，通常在存在噪声且不是所有的ATA的特征向量都具有相等大小的相关特征值时，这种反转适应较差。因此，实际上，Tikhonov规则(如下)通常得到优选结果。
接下来，在当前照射条件下基于噪声等级选择规则化参数λ>0。最后，反转矩阵(ATA+λI)(其中，I是识别矩阵)，假设(ATA+λI)≈(ATA)并且在先前等式的左侧相乘，以得到：
x≈(ATA+λI)-1ATy (3)
因此，对于给定的规则化参数λ，通过Tikhonov规则化恢复的图像是光电传感器的读数的线性组合。如果PSF的空间不变足够到可忽略其空间依赖性的程度，则这些计算可以在傅里叶域中进行，从而允许更快的数学控制。
另一实施例使用压缩感测来恢复矩阵x。如果在一些基础上期望场景稀疏(诸如用于自然图像的小波变换W)，则可以使用以下方法。通过找到最小化以下成本函数1/2rTr+λf(z)(其中，r是残留(y-AWz))的z，可以恢复稀疏场景分量z，其中x＝Wz，λ>0是规则化参数(不同于Tikhonov规则化所使用的，但是也是依赖于噪声的)，并且f(z)是处罚非稀疏z的函数。如果f(z)是z的凸函数(诸如L1规范)，则可以使用凸优化技术来有效地解决该优化问题。处罚函数f(z)还可以采用其他形式，包括处罚重构图像x中的总变化的项或其他先前的场景知识。
相对于线性方法(诸如Tikhonov规则化)的压缩感测的一些主要优势是，前者允许关于期望场景结构的更先前的信息来帮助成形最终的图像。此外，如果ATA不具有满秩或者不能测量场景的特定方面(例如，由于PSF的2D傅里叶变换的一些近零区域)，则给出关于期望图像的校正先前信息，使用压缩感测有时克服了这些限制。
前述Tikhonov和压缩感测技术可以包括迭代方法来减少问题复杂度。例如，Richardson-Lucy去卷积可以迭代地近似Tikhonov规则化反转，并且迭代小波阈值可以是集中于如压缩感测的解决方案的数字有效方式。
在一些实施例中，传感器的目的不是重构图像，而是执行一些光学感测任务。在这种情况下，矢量x可以表示寻找测量(sought measurement)而非图像像素的场，并且正向转换A可以近似修改。
图20示出了根据一个实施例的用于形成图像传感器2000的光刻处理。首先，利用限定相对较大特征(其将称为本文详细描述的类型的奇对称光栅表面)的掩模2010图案化在感兴趣的波长带上透明的材料的晶圆2005。接下来，蚀刻晶圆2005的暴露表面以创建凹陷区域2015。然后，去除掩模2010。最后，晶圆2005(现在包括光栅)接合至光电二极管阵列2025。光刻和晶圆接合处理对于本领域技术人员来说是公知的，因此省略详细讨论。
图21A示出了根据实施例的相机2100，其中，会聚光学元件(在这种情况下为透镜2105，尽管为了说明的简化示出单个元件透镜，但通常光学元件可以包括一个或多个衍射、折射和/或反射元件)与设置在光学元件与密集光电检测器阵列2115之间的路径中的相位光栅元件(光栅2110)结合使用，以在其上形成图像。入射到透镜2105前侧的场景通过光栅2110投射到阵列2115上。光栅2110引起即将到来的光中的空间调制，并且将得到的干扰图样传输至阵列2115，其捕获空间调制的数字表示。电耦合至阵列2115的集成处理器2120根据数字表示计算场景的图像。处理器还被示为物理耦合至阵列2115，但是在其他实施例中，处理器可位于别处。
透镜2105限定前焦点FFP和后焦点RFP，并且与光栅2110隔开一距离，该距离小于透镜2105与焦点RFP之间的图像平面距离D。在该示例中，阵列2115位于焦点RFP与光栅2110相反的一侧。光栅2110可以是奇对称光栅，其具有结合前述附图详细描述的特性。在其他实施例中(诸如主要以宏模式操作的实施例)，透镜2105的焦点长度(无限针对对象来限定)可以比光栅2110更接近透镜2105，或者可以在包括这种相对定位的范围上移动。
光栅2110的表面特征与阵列2115隔开距离X。尽管为了便于说明示为独立结构，但光栅2110可以与阵列2115集成或附接至阵列2115。在该示例中，相机2100中的距离X不大于光栅2110的表面特征与阵列2115之间的介质中的感兴趣的最大波长λmax的400倍(X≤400λmax)。例如，λmax是0.5微米的相机可在光栅2110的特征与阵列2115的表面之间具有多达200微米的间隔X。
图21B是具有点源2125(由箭头的尖端表示)的相机2100的示例，其被配置在阵列2115的焦点中。光栅2110不在焦平面中，使得来自透镜2105的光向光栅2110呈现模糊斑点PSF 2130。(如在本文使用的其他示例中，被PSF 2130占据的区域表示中央裂片的区域)。光栅2110根据函数2130产生干扰图样，但是图样的照射边界在阵列2115上的紧密聚焦的衍射限制斑点2135中不明显。点源2125的范围和位置处的对象被紧密聚焦(场曲率和其他像差可改变其他位置的最佳聚焦范围)，并且在阵列2115的全分辨率处标称成像，假设透镜2105能够实现这种分辨率。
图21C是具有点源2140(其在阵列2115上焦点未对准地成像)的相机2100的示例。如先前示例，来自透镜2105的光向光栅2110呈现模糊斑点PSF 2145，并且光栅2110产生空间调制的图样。然而，由于点源2140焦点未对准地成像，阵列2115处PSF 2150的面积大于图21B的示例中的面积，并且图样区域内的照射过渡/下层结构是明显的。在相机2100中，这些照射过渡是由光栅2110的特征所引入的近场空间调制。所得到的PSF 2150的螺旋图样优选是可逆定向线性调频。如本文所使用的，“定向线性调频”是覆盖足以以期望分辨率恢复图像的空间频率和定向的空间调制的图样。
图21D是具有点源2155(其与图21C的示例中的点源2140相比更加焦点未对准地成像)的相机2100的示例。来自透镜2105的光呈现仍然大于PSF 2145的模糊斑点2160，并且所得到的阵列2115上的可逆PSF 2165类似地大于PSF 2150。尽管未示出，但在图21A的FFP处成像点源产生包括定向线性调频特征的可逆PSF。两个点源(一个在点2125前方，一个在后方，但是沿着相同的光轴)可以产生类似大小的定向线性调频。然而，由于透镜系统中的像差，如下面详细讨论的，线性调频可以不同，这种差异特性可用于分解范围。
图21A-图21D示出了阵列2115上的图样面积和伴随的空间调制的丰富度是焦点的函数的一般点，焦点越钝，面积越大且更好地解决空间调制。比图21A的点源2125更远离透镜2105的点源在阵列上产生更大的PSF，因为它们远离(或朝向)透镜2105移动。
针对焦点未对准点源的PSF是来自光栅2110的定向线性调频的缩放版本，其中定向线性调频的直径与点源的散焦成比例。因此，传感器平面(阵列2115的表面)处的观察将是聚焦或焦点未对准的成像点，每一个都利用取决于从该点接收的光束的位置的线性调频相位处的定向线性调频进行卷积，根据焦点未对准参数进行缩放，并且与来自其他成像点的贡献进行空间叠加。相机2100可以恢复焦点未对准对象的相对较高分辨率的图像，因为这种卷积对于大多数的公共图像捕获情况来说是计算可逆的。在这种情况下，“计算可逆”表示图像数据可以例如使用反向、伪反向和压缩感测变换恢复到指定程度的精度。PSF是计算可逆的，例如，如果其2D傅里叶变换是“完整的”或者在指定分辨率下恢复图像所要求的所有空间频率处具有大量的振幅。
不是所有的螺旋PSF都是完整的。例如，阿基米德螺旋具有规则间隔的臂，它们的傅里叶变换在内臂周期的倒数处具有峰值并且在这些峰值之间为空。相反，图19的螺旋PSR1930具有较少、不均匀间隔的臂，它们被尖锐地定界并且扫过所有定向导频，使其在所有的空间频率处具有显著的傅里叶功率并且完整。由于这种完整性，精确的去卷积相对被良好调节，使得PSF的效应的解除相对直接。不管计算是在傅里叶域中还是空间域中执行，如果PSF的傅里叶变换具有非零，则去卷积工作得很好。在点源使得模糊斑点2160不与螺旋同心的情况下，所得到的PSF将包含PSF的空间环绕版本。空间环绕螺旋基本不影响其完整性。
相机2100可以测量来自光电检测器阵列2115的光强度，并且首先不需要聚焦(尽管一些实施例可以手动或自动地聚焦)。被阵列2115捕获的数据包括定向线性调频，其傅里叶分量强度根据深度而变化(参见图21B-图21D)。局部观察的傅里叶变换将是成像对象的傅里叶变换与定向线性调频的依赖于深度的傅里叶变换的乘积。如下详细描述，通过搜索深度特有的内核(kernel)(其对于每个成像点来说与该乘积最佳匹配)，假设场景具有可以一些纹理，可以确定场景深度。
局部场景补丁x的深度d可以如下通过贝叶斯估计从读数y中推断得出。首先，可以基于y的傅里叶变换是x的傅里叶变换与依赖于深度的PSF的乘积的知识以及拍摄对象的典型功率谱的知识通过进一步的贝叶斯估计来计算每个深度的可能性p(y|d)。接下来，在已知场景中的深度的分配和深度变化之前通过贝叶斯来对该可能性p(y|d)进行加权，以达到用于场景中每个点处的深度的后验概率p(d|x)。场景的深度地图的贝叶斯估计基于深度和深度变化先验，以及与对应的确定性(通过可能性p(y|d)中峰值的高度表示)相关联的深度的逐点估计是本领域已知的技术，并且这里将不再进行讨论。在该应用中，已知真实深度地图对于在与PSF的傅里叶变换交互的空间频率中具有显著傅里叶功率的那些图像来说精确地恢复图像是很重要的(将进行简短描述)。因此，精确的深度地图是可能的，其中场景具有精细的纹理，并且缺乏这种纹理的场景补丁与PSF卷积不会劣化场景中的图像质量。
接下来，在图像空间或傅里叶域中对傅里叶变换去卷积；问题规模将命令这些中的哪一个较快。去卷积内核还可以随着维纳最佳重构的光等级而变化(尽管人类趋于优选过度尖锐的图像；这种尖锐滤光器可以与去卷积滤光器组合来节省附加的步骤)。
选择校正滤光器、之后为去卷积的结果是深度地图和原始图像的重构。如果定向线性调频是傅里叶完整的，则重构图像可以解决与阵列2115相同数量的像素。这不同于最常见的全光相机并且可以通过每个像素读数为去卷积问题共享有用信息的事实来进行。在PSF的高频分量较小的情况下，处理器2120可以平滑最高的空间频率以避免添加太多的噪声。在低光条件下，相机2100会由于这种效应而在解析像素中丢失例如两个系数；这表示相对于现有全光相机(其像素效率可以低于4％)的改进。对于根据实施例和一般的成像条件良好形成的定向线性调频，具有中央裂片直径达到六个光电检测器间距的PSF应该不可逆地恢复空间频率多达至少0.25循环/光电检测器的图像特征(在光电检测器阵列的大多数尺寸中，奈奎斯特频率为0.5循环/光电检测器间距)。这种性能部分地取决于在相关空间频率处具有充分的调制转移函数的透镜元件。
图22是用三个PSF 2205、2210和2215照射的像素阵列2200的一部分的平面图。PSF2205是表示尖锐聚焦的点源的定向线性调频；照射子结构不能在给出阵列2200的间距的情况下解析。如果给定场景中的所有点都焦点对准，则图像分辨率主要是阵列间距或者阵列间距和衍射限制斑点的直径的函数。
PSF 2210是表示较差聚焦的点源的定向线性调频；空间调制看起来是富于计算的PSF的螺旋臂，其可以通过阵列2200来求解以在图像中定向对应的点源。最后，PSF 2215表示焦点在PSF 2205和2215之间的点源；空间调制可再次被求解以在图像中定位对应的点源。
对于PSF 2210和2215，图像的分辨率通过间距和PSF螺旋的臂之间的分离间隔中的较大者来限制。在该示图中，三个点源容易地定位在阵列2200的两个维度中。此外，三个PSF的三个不同的图样区域在垂直于阵列2200的维度中提供距离的测量。因此，相机(如图21A-图21D的相机2100)可以提供场的延伸深度、用于焦点未对准对象的聚焦图像以及与图像数据的距离测量。
图23示出了三个螺旋PSF 2300、2305和2310以示出根据一些实施例的相机如何可以补偿透镜像差，包括球面像差、彗形像差和佩兹瓦尔像场弯曲。这些补偿可以简化主透镜设计，并且允许增加孔径而不牺牲图像质量。
球面像差是透镜的给定环随着环的半径线性改变的焦点长度的状况。在图21的结构中，该状况可以影响阵列上的定向线性调频的形状。图23的PSF 2300是假设的理想线性调频、完美透镜的结果。PSF 2305示出了可由具有球形像差的透镜得到的线性调频失真的类型。与PSF 2300相比，PSF 2305在中心附近具有相对线性的臂。只要定向线性调频是完整的(不可逆于恢复图像数据)，成像性能将不会劣化。即使不完整，如果定向线性调频充分不可逆将图像恢复至期望分辨率的话，成像性能也是可以接受的。
如果通过透镜中心的不同环的光在图像传感器上形成环(其中心随着环半径变化)，则透镜具有彗形像差。如PSF 2310所示，彗形像差产生加长和失真但完整的螺旋。佩兹瓦尔像场弯曲是像差，从而透镜的焦平面不是平坦的。与球面像差一样，如果定向芯片充分完整，则彗形像差和佩兹瓦尔像场弯曲和其他像差可以消除。
在一些实施例中，透镜像差可以是有利的。相对于图像平面的一侧焦点未对准的PSF可以覆盖与相对于图像平面的另一侧焦点未对准的PSF相同的大小的图样区域。如果两个这样的PSF相同，则相机不能够分辨它们。然而，诸如通过产生相反的不对称性，透镜像差可以提供这种PSF区别，因此可以允许根据一些实施例的相机沿着入射轴更好地区别点源。
图24示出了棋盘状光学元件2400以示出根据一些实施例的相位光栅的方面。元件2400是利用子元件2405的螺旋集合2410(示为曲线边界，其横跨棋盘边界是连续的)而棋盘化(tessellated)(为了说明而示出六边形边界，但是在该示例中不表示物理结构)。每个集合的子元件都布置为使得来自点源并穿过一个集合2410的被元件2400会聚的光形成具有表示集合的空间调制的PSF。在一个方面中，棋盘状光学元件进一步会聚否则会撞击传感器阵列作为模糊PSF进入PSF中，同时与假设PSF具有相似尺寸包含高频子结构。
返回到图21D的示例的时刻，模糊的斑点PSF 2160被假设以螺旋特征的集合为中心，以产生螺旋PSF 2165。这在一定程度上是特殊情况。与处于普通位置的相机具有相同距离的点源将具有包含从相邻集合收集的至少一个集合2410的所有子元件2405(它们中的一些空间环绕)的PSF。在图24的示例中，PSF轮廓2415表示中央裂片的区域(其相对于任何子光栅2410偏离中心)，但是覆盖足够的光栅特征2405以产生可逆的定向线性调频。通常，有利地，集合2410之间的空间特征的环绕基本不改变所得到的定向线性调频的傅里叶变换的分量的幅度。圆形如轮廓2415(其具有足够的面积以包括一个集合2410)可以沿着相邻集合之间的路径扫频，同时对于沿着扫频路径的所有中间圆形位置，扫频圆形包含在路径开始处的圆形中包含的所有定向处布置的光学子元件(例如，所有位置产生类似的光谱，但是具有相位偏移)。
图25示出了由图24的光栅2400产生的定向线性调频内的空间调制的富图样如何利于提高焦点未对准PFS的分辨率。如在其他示例中，每个元件名称的先前数字表示介绍该元件的附图。使用这种约定，元件24##和25##分别表示图24和图25中示出的特征。
在图25的顶部行中，来自点源2500的光线通过透镜(未示出)，并且到达被轮廓2415包围的区域2505上方的图24的棋盘状光栅2400作为模糊的PSF 2510。光栅创建定向线性调频2515，其包括空间调制的富集合作为轮廓2415的区域内的子元件2405的结果。线性调频2515不是螺旋的，因为PSF 2510不以集合为中心(线性调频2515的图样被示为与PSF轮廓2415内的子元件2405的图样匹配)。然而，线性调频2515的空间调制足够使线性调频2515可逆。
图25的第二行类似于第一行，但是包括来自照射重叠区域2525的相邻点源2520的光线以产生一对重叠、模糊的PSF 2530。光栅创建定向线性调频2535和2540的可辨别对，它们的位置可以计算转换为比涂抹(smeared)PSF 2530更高的分辨率。分别在右侧示出的线性调频2535和2540相互稍稍不同，因为每个PSF 2530都撞击在光栅的稍微不同的区域上。
图25的第三行示出了照射光栅上的区域2545的具有重叠、模糊的PSF 2550的9个点源2542的集群以及所得到的9个定向线性调频(统一表示为2555)。作为最后的示例，对应于定向线性调频2555的点源的位置可以比使用PSF 2550完成的更大的精度来解析。
图26A和图26B示出了根据一些实施例的棋盘式光栅2600和2605。使用高和低特征之间的边界来示出光栅2600，其中光栅2605分别以黑和白示出了相对高和低的特征。
图27A和图27B示出了根据一些实施例的棋盘式光栅2700和2705。使用高和低特征之间的边界示出光栅2700，其中光栅2705分别以黑和白示出了相对高和低的特征。
图28示出了根据一个实施例的棋盘状光栅2800。光栅2800分别以黑和白示出了相对高和低的特征。
图29示出了根据另一个实施例的棋盘状光栅2900。光栅2900分别以黑和白示出了相对高和低的特征。
图30示出了可根据一些实施例使用的滤光器阵列3000以使用图21A-图21D详细讨论的类型的相机产生颜色图像。滤光器阵列3000包括四个滤色器：红色滤色器3005、两个绿色滤色器3010和3015以及蓝色滤色器3020。每个滤色器都与相机(如图21A的相机2100)的实例相关联，其用作用于总体相机的四个颜色通道中的一个。对于每个相机(如相机2100)来说，感兴趣的波长带限于被光学路径中的滤色器通过的波长。
图31示出了颜色通道3100，四个颜色通道中的一个用于结合图30介绍的实施例。通道3100类似于图21A-图21D的相机2100，故省略详细讨论。简而言之，通道3100包括滤色器，通过滤色器、光栅3110和光电检测器阵列3115承认应该针对光频率调整光学特性的透镜3105。图30的红色滤色器3005被插入到光学路径中的某处并且覆盖整个视场，在这种情况下在透镜3105和光栅3110之间。通道3100的特性(诸如透镜3105的焦点长度、光栅3110和阵列3115之间的间隔X、光栅3110的空间频率范围、光栅特征的深度和光栅3110的组成、以及光栅子元件的几何形成)可以针对所选颜色优化。图像处理器(未示出)可以组合由颜色通道收集的信息以恢复颜色图像。
颜色通道可具有固定透镜(它们具有不同的焦点长度)，或者可以具有相同的透镜但是具有透镜和光栅之间的不同间隔。在具有不同的焦点长度的多个通道的相机中，表示最尖锐焦点的通道可用于捕获高分辨率场景信息，而其他相对散焦的通道可以提供颜色信息。在高分辨率图像上“画上”相对较低分辨率的颜色信息的技术对于本领域技术人员来说是公知的。
具有多个通道(无论是用于相同或不同的感兴趣的波长带)的相机提供了可与来自定向线性调频的其他信息组合以得到场景的深度地图的视差的测量。此外，来自多个通道的有利信息可用于在对象显示出假结构的情况下消除深度歧义。例如，具有焦点对准螺旋图样的场景可看起来散焦至螺旋集合。在这种情况下，与一个或多个附加通道的交叉校验可通过选择哪个“现实”与不同通道提供的图像数据一致来解决模糊性。
用于检测相同场景的图像之间的差异性的方法和系统例如在视频监控和医疗诊断中具有广泛的应用。图像可以与参考比较以诸如找到缺陷，或者可以与相同场景的先前图像进行比较以识别变化。以下讨论详细说明了图像变化检测器，其将相同场景的连续图像进行比较以检测运动。然而，这些检测器和它们采用的方法可用于其他用法。
一些成像应用(诸如视频监控)在监控没有变化的场景的情况下浪费了显著的功率和存储资源。为了解决该问题，一些相机支持低功率模式，其中，图像传感器的空间和时间分辨率剧烈下降。感测较少的像素，并且不太频繁地感测，这节省了传感器处的功率并且相对少量的数据节省了图像处理和传输功率。在低功率模式中收集的图像数据被用于检测改变，并且所检测的改变可触发相机切换至更高性能的模式，其支持更高的空间和时间分辨率以验证在低功率模式中检测的变化和/或捕获图像。
图32示出了图像改变检测器3200，其支持低功率模式，使得有效地可使用(任选地)集成光电池来供电。检测器3200可以在单个半导体裸片上具体化，并且在该实施例中包括光电检测器阵列3205，其具有重叠光栅1700；将来自阵列3205的仿真信息转换为数字数据的模数转换器(ADC)3210；处理、存储和通信数字信号的逻辑部件和存储器3215；以及为每一个其他元件供电的光电池3220。无论是在单个裸片还是多个裸片上实施，检测器3200都可以不透明地封装，传送窗覆盖光栅1700(和任选的光电池)的位置。
检测器3200支持低分辨率、低功率警戒模式，以感测场景活动中的场景变化，并且支持较高分辨率的模式(其响应于检测到的变化捕获高分辨率图像数据)。如以下详细描述的，一些实施例支持附加模式。尽管逻辑部件和存储器3215可以支持变化检测和成像功能，一些实施方式可具有不同于成像的主要功能，改变检测为芯片提供输入以添加情形感知。在这种情况下，不需要光电检测器阵列3205包含足够的元件来产生较高分辨率的图像。
图33示出了图33的阵列3205用作像素阵列3300。八个不相邻的像素3300变暗以表示在低功率模式中有效的子集。定向线性调频3305表示来自示例性成像点源的尖锐聚焦响应，因为其可出现在传感器平面处。线性调频3305为了易于说明示为明亮背景上的黑暗，但是将表现为相对明亮的图样。线性调频3305照射凸包3310内的R像素的集合，包括所有照射像素的S像素的最小凸集。(凸包3310可以示为由线性调频3305周围的橡皮筋拉近而形成的形状)。线性调频3305提供了扩展凸包3310的区域的空间调制的富集合，其动态地增加运动敏感性。
传统的图像传感器将点源解析为传感器阵列上的聚焦“点”。如果相机检测非常小的移动，则有效像素的富集合甚至必须保持在低功率模式。例如，假想点源被解析为阵列3205上的尖锐或模糊点，使得仅照射相邻像素中的一个或集合。在这种情况下，点源将相对于传感器显著移动而不在该低功率模式中不被任何8个有效像素检测。
线性调频3305(通过点源照射的结果)包括改变比解析斑点照射更多像素(包括不相邻的像素)的光强度的“臂”，并且随着点源相对于传感器移动而横跨许多像素3300扫频。从而，与采用传统聚焦光学器件的系统相比，较少的像素3300需要被轮询以覆盖视场。在该示例中，移动点源来移动线性调频3305，X-Y平面内任何方向上的一个或两个像素将影响八个有效像素3300中的至少一个，由此可以被感测。感测可以涉及及时将来自不同点处的光电二极管的相同子集的信号进行模数转换。在其他实施例中，类似的采样和保持电路以及比较器可用于成像视场中的信号变化。根据应用，这种感测的运动可以是感兴趣的信息，或者可用于将检测器3200带出低功率模式以得到和存储相对较高分辨率数据的一个或多个集合。
一些实施例支持附加的操作模式或“阶段”。在一个实施例中，例如，逻辑部件和存储器3215支持包括警戒阶段、试验阶段和确认阶段的三态机，其使用日益增加的图像数据的较大集合来感测并确认成像场景中的变化。在警戒阶段中，监控n1像素以生成压缩图像帧，相对较小集合的图像数据表示与可来自传感器的最大值相比显著较低的图像分辨率。如果像素值的k1(≤n1)在连续图像帧之间改变临界值θ1，则状态机转换为试验阶段。
在试验阶段，监控n2像素以生成比警戒阶段中生成的分辨率更高的分辨率的帧，但是仍然小于可来自传感器的全场。如果像素值的k2(≤n2)在连续帧之前改变边临界值θ2，则状态机转换为确认阶段；否则系统转换回警戒阶段。如果系统处于确认阶段，则监控n3像素，并且如果这些像素的k3(≤n3)在连续帧之间改变临界值θ3，则状态机发射表示所检测图像改变的信号并保持在确认阶段。在该示例中，在确认模式中捕获的帧表示图像传感器的全分辨率。检测器3200可以响应于所检测的运动进行一些动作，诸如捕获和反转图像或者将一些外部系统改变为所检测的运动。从确认阶段开始，检测器3200可以转换回到警戒或试验阶段以节省功率，或者响应所检测运动的缺乏。
该系统的一个优势在于，由于光栅光学器件，每个光电检测器像素都响应视场中的位置的范围；因此需要被监控的像素数量低于(消耗较少的功率)传统的基于透镜的系统，其中，每个像素响应视场中的位置的非常小的范围。电路分析示出一些ADC实施例可以得到亚400nW图像改变检测，ADC 3210的要求功率占主要部分。解决用于轮询像素子集的发生器电路以支持减少的功耗对于本领域技术人员来说是公知的，因此省略详细的讨论。
图34示出了图33的阵列3205，其具有25个不相邻的像素3300被暗化以表示在试验模式的示例中有效的子集n2，其中，对于增加的运动灵敏性，轮询增加数量的像素。尽管在该图像中没有出现，但灵敏性还可以例如通过调整强度改变阈值和帧速率来改变。在该模式中检测运动，成像设备可以进入轮询所有像素3300的确认状态。然后，所得到的帧可用于确认运动，并且可用于产生可被人类观察者理解的图像。所得到的帧可以局部存储且随后被读取，或者可以传输至远程设备。来自人类观察者的图像的产生可以同样局部或远程地进行。在一些实施例中，确认的运动可以有效并且引导分离的高分辨率成像系统。
图35示出了图19的响应1930用作限定凸包3500的示例性线性调频。为了找到用于给定成像设备的凸包，响应1930可被传感器阵列捕获。将最亮的像素用作参考，具有最大亮度的至少10％的那些像素包括在表示响应的像素值的集合中。凸包3500是包括像素值集合的像素的最小凸集。凸包不用于图像获取或分析，但是提供可用于表征有效像素相对于响应的比率和空间调制的丰富度的响应区域的测量。在该示例中，响应1930包括许多不同的螺旋“臂”，统一提供与聚焦斑点相比更多的信息用于检测运动。
图33至图35的示例包括但仅有一个点扩展响应，并且该响应近似与像素阵列一样大。根据其他实施例的检测器可具有更多或更少的响应，并且每个响应都可以占用更大或更小的凸包。例如，图像检测器可以采用如图24的棋盘状光学元件以产生点扩展响应，其显示出可在下面的阵列的所有或部分上方分配的特征网。
图36是示出根据图32的检测器3200的一个实施例检测表观运动的方法的流程图3600。光电池3220提供足够的功率以支持环境光中的警戒模式，其中足够多的功率对集成或外部能源存储设备进行充电，其能够支持较高性能模式的突发(burst)使用。在一些实施例中，检测器3200包括分离或集成的RFID芯片和相关联的天线，以允许无线地得到图像数据。如本领域技术人员所理解的，检测器3200可以支持有线或无线连接的其他形式。在标题为“Ultra-Miniature Low-Power Lensless Image Change Detector”的文档中详细说明的具有光栅1700的阵列3205的示例，其内容结合于此作为参考。
然而，在上电时，检测器3200被供电，逻辑部件和存储器3215(以下称为“逻辑部件”3215)自动地进入低功率警戒模式(3605)。在该模式中，一旦逻辑部件3215重复地轮询n1个像素，在阵列3205中总体可用小的子集以产生图像数据的小帧(3610/3615)。然后，比较连续帧以识别差异。
对于任何连续的帧对，根据判定3620，如果对应像素值的一些或组合显示出超过阈值T1的强度改变Δθ，则逻辑部件3215进入试验模式，其中逻辑部件3215重复地轮询n2个像素，其中n2>n1，但是仍然是阵列3205中可用的总像素的集合，以产生图像数据的较大帧(3625/3630)。
根据判定3633，设备3200确定来自试验模式中得到的连续帧的对应像素值的一些或组合是否显示出超过阈值T2的强度改变Δθ。设备3200可以在一些数量的帧内保持试验模式，而强度改变不满足阈值T2，但是最终将返回到警戒状态以节省功率。应该满足阈值T2，逻辑部件3215进入更多功率密集的确认模式，其中逻辑部件3215重复地轮询n3个像素(3635/3640)。
在该示例中，值n3是阵列3205可用的总数，因此产生图像数据的全帧。对于全帧的任何连续对，根据判定3645，如果对应像素值的一些或组合显示出超过第三阈值T3的强度改变Δθ，则逻辑部件3215发出确认移动检测的信号(3650)。设备3200可以在一些数量的帧内保持在确认模式，而强度改变不满足阈值T3，但是仍然最终返回到警戒模式以节省功率。在其他实施例中，设备3200可以在继续到警戒模式之前转换到试验模式。在功率受限的实施例中，设备3200可进入待机模式或者一个较低功率模式，尽管所检测的运动允许时间生成或存储足够的功率以返回到运动检测的任务。
不同模式中使用的阈值T1、T2和T3可以不同，每一个都针对不同模式的需求而适应。此外，不同模式可以伴随例如ADC 3210和/或逻辑部件3215采用的帧率和积分时间的变化以获取图像数据。
图像数据的连续集合的比较不限于两个集合或者相邻集合。例如，帧可以平均化或者以其他方式组合以减小噪声的效应，并且帧对各个或平均集合可以与较早的各个或平均集合的帧进行比较。改变检测还可以基于与多个不同的参考图像数据的比较。例如，由于风而经历运动的图像传感器可以产生较多但有限数量的不同参考帧或子帧，其表示场景内的不移动。在风干扰场景的元素(例如，摆动的树枝)的情况下也是如此。检测器可以学习这种集合并仅在图像数据的最近的集合不与先前任何集合匹配时指示变化。
阵列3205和光栅1700可以使用标准CMOS处理来创建，并且其形成由此与任何数量的功能块兼容。事实上，可以通过包括成像设备获利的任何集成电路可用于包括一个。例如，称为“智能微尘(smartdust)”的技术描述了可以在分布式无线计算机网络上操作许多小微机电系统(MEMS)的系统以统一执行各种感测和通信任务。智能微尘设备在一侧上可以为几毫米的级别，这容易结合本文详细讨论的类型的传感器。在一个实施例中，例如，发明人创建了128x128像素传感器，其在一侧为200微米。本文描述类型的图像传感器可以如此廉价地集成，它们可以结合到信用卡和用于安全目的的其他形式的识别中，或者促进微型机器人领域的视觉系统。
前述检测器支持轮询不同数量的像素以在功率使用和分辨率之间提供折中的模式。其他实施例可以支持更多、更少和不同的模式。例如，图像改变检测器可以具有但仅具有一个模式，其使用所有可用的像素，但是可以支持采用不同阈值、帧率、积分周期、扫频率等的模式。
一些照明器具不产生稳定的照射，而是闪烁，通常在为它们供电的AC电流的频率下，或者该频率的两倍。许多应用将从能够拒绝这种闪烁中获利，保持对其他类型的光源的运动或外观敏感。可以通过以下四种方式中的任一种来实现由于照明周期性而重复闪烁的选择盲区。首先，在其上方不具有任何角度敏感光学器件的大量(bulk)光电元件(光电二极管或光伏器件)对场景的总体亮度敏感。如果每个有效像素的积分周期本身不被时间管理，而是通过在大量光电元件上入射的累积光电流中交叉阈值来管理，则在每个有效像素处观察的信号通过房间的总体亮度来缩放，这将以类似于有效像素的方式对闪烁敏感。第二，有效像素的积分周期可以设置为闪烁照明的重复周期的整数倍。第三，用于将进行比较的任何两个信号的积分周期可以在闪烁照射的相同相位处开始。第四，来自每个有效像素的信号可以被轮询以达到总体亮度的估计，并且各个信号可以在比较随后的标准化帧之前首先通过该亮度来标准化。
虽然结合具体实施例描述了主题，但是还可以预期其他实施例。例如，虽然先前详细描述的每个光栅可结合光电接收器使用来收集入射光，但根据这些和其他实施例的光栅可更一般地用于成像设备，其投射来自光电发射器的图像而不是感测它们或者处感测它们之外；描述为使用透镜的相机还可以采用其他类型的光学元件(例如，反射镜)；感兴趣的波长带可以宽于或窄于可见光谱，可以整体或部分地位于可见光谱外，并且可以不连续；以及本文详细描述的光栅和相机可用于多孔径或可编程孔径应用。感兴趣的波长带在这些示例中为可见光谱。其他变形对于本领域技术人员来说是显而易见的。因此，所附权利要求的精神和范围不应限于前面的描述。只有具体引用“用于…的装置”或“用于…的步骤”的那些权利要求应该以35 U.S.C.§112的第六段所要求的方式来构造。

Claims (22)

1.一种图像改变检测器，包括：
像素的光电检测器阵列；
相位光栅，用于接收入射光，所述相位光栅响应于点源引起近场空间调制，所述调制响应于所述入射光在所述光电检测器阵列处的所述像素中的不相邻像素之上照射图样；以及
逻辑部件，耦合至所述光电检测器阵列以连续地轮询所述像素，以产生图像数据的集合并对所述集合进行比较，
其中所述逻辑部件在低功率模式中轮询第一数量的像素，以及在第二模式中轮询多于所述第一数量的第二数量的像素。
2.根据权利要求1所述的检测器，其中所述空间调制包括定向线性调频。
3.根据权利要求2所述的检测器，其中所述定向线性调频是可逆的。
4.根据权利要求1所述的检测器，所述相位光栅与所述光电检测器阵列的最小间隔不大于感兴趣的最大波长的400倍。
5.根据权利要求1所述的检测器，其中所述近场空间调制在感兴趣的波长带上是基本上波长独立的。
6.根据权利要求1所述的检测器，其中所述近场空间调制显示出辐射线。
7.根据权利要求1所述的检测器，还包括与所述光电检测器和所述逻辑部件集成来对所述光电检测器和所述逻辑部件供电的光伏电池。
8.一种图像改变检测器，包括：
像素的光电检测器阵列；
光学元件，用于接收入射光，所述光学元件显示出点扩展响应，所述点扩展响应在R个像素之上照射图样并且限定包络所述光电检测器阵列的S>2R个像素的区域的凸包；以及
逻辑部件，耦合至所述光电检测器阵列以连续地轮询所述像素，以产生图像数据的集合并对所述集合进行比较。
9.根据权利要求8所述的图像改变检测器，所述逻辑部件在第一模式中轮询n1<S/2个像素以及在第二模式中轮询多于n1个的像素。
10.根据权利要求9所述的图像改变检测器，其中所述逻辑部件在所述第二模式中轮询所述S个像素。
11.根据权利要求9所述的图像改变检测器，所述逻辑部件在所述第二模式中轮询n2个像素，其中n2<S，其中轮询n2个像素产生n2个像素值的连续集合，所述逻辑部件响应于在所述连续集合中的强度改变而从所述第二模式转换为第三模式。
12.根据权利要求11所述的图像改变检测器，如果所述强度改变低于阈值，则所述逻辑部件从所述第二模式转换为所述第一模式。
13.根据权利要求9所述的图像改变检测器，其中所述逻辑部件在所述第一模式中以第一帧率轮询n1个像素，以及在所述第二模式中以第二帧率轮询多于n1个的像素。
14.根据权利要求9所述的图像改变检测器，其中所述逻辑部件在所述第一模式中在第一像素积分时间之上轮询n1个像素，以及在所述第二模式中在第二像素积分时间处轮询多于n1个的像素。
15.根据权利要求8所述的图像改变检测器，其中所述点扩展响应包括螺旋强度图样。
16.根据权利要求8所述的图像改变检测器，所述逻辑部件在第一模式中轮询所述凸包中的n1<S/2个像素，并且在第二模式中轮询所述凸包中的多于n1个的像素。
17.一种检测场景中的改变的方法，所述方法包括：
在光学元件处接收来自所述场景的感兴趣的波长带中的光，所述光学元件在像素阵列上显示出点扩展响应，所述点扩展响应在R个像素之上照射图样并且限定包络S>2R个像素的区域的凸包；
在第一模式中重复地轮询n1<R/2个像素，以产生图像数据的第一集合；
对所述图像数据的第一集合进行比较以识别差异；
如果所述差异超过阈值，则转换为第二模式并且轮询n2>n1个像素；以及
如果所述差异低于所述阈值，则保持在所述第一模式。
18.根据权利要求17所述的方法，还包括：
在所述第二模式中重复轮询n2个像素，以产生图像数据的第二集合；
对所述图像数据的第二集合进行比较以识别第二差异；以及
如果所述第二差异超过第二阈值，则转换至第三模式并且轮询n3>n2个像素。
19.根据权利要求18所述的方法，还包括：如果所述第二差异低于所述阈值，则转换至所述第一模式。
20.根据权利要求18所述的方法，还包括：在所述第一模式中以第一帧率捕获所述第一集合以及在所述第二模式中以不同于所述第一帧率的第二帧率捕获所述第二集合。
21.根据权利要求18所述的方法，还包括：在所述第一模式中在第一积分时间之上捕获所述第一集合中的每一个，以及在所述第二模式中在不同于所述第一积分时间的第二积分时间之上捕获所述第二集合中的每一个。
22.根据权利要求17所述的方法，其中n1个像素和n2个像素位于所述凸包内。
CN201580014922.0A 2014-04-09 2015-04-02 低功率图像改变检测器 Expired - Fee Related CN106104318B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461977579P 2014-04-09 2014-04-09
US61/977,579 2014-04-09
PCT/US2015/024165 WO2015157097A1 (en) 2014-04-09 2015-04-02 Low-power image change detector

Publications (2)

Publication Number Publication Date
CN106104318A CN106104318A (zh) 2016-11-09
CN106104318B true CN106104318B (zh) 2019-05-03

Family

ID=54264879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580014922.0A Expired - Fee Related CN106104318B (zh) 2014-04-09 2015-04-02 低功率图像改变检测器

Country Status (4)

Country Link
US (1) US10161788B2 (zh)
EP (1) EP3129813B1 (zh)
CN (1) CN106104318B (zh)
WO (1) WO2015157097A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3251338A1 (en) * 2015-01-29 2017-12-06 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
WO2017095587A1 (en) * 2015-11-30 2017-06-08 Rambus Inc. Systems and methods for improving resolution in lensless imaging
CN109716176B (zh) * 2016-06-07 2021-09-17 艾瑞3D 有限公司 用于深度采集和三维成像的光场成像装置和方法
US10495518B2 (en) * 2016-06-23 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Infrared detection apparatus
JP6765064B2 (ja) 2016-06-23 2020-10-07 パナソニックＩｐマネジメント株式会社 赤外線検出装置
US10502830B2 (en) 2016-10-13 2019-12-10 Waymo Llc Limitation of noise on light detectors using an aperture
US10282822B2 (en) * 2016-12-01 2019-05-07 Almalence Inc. Digital correction of optical system aberrations
US10897560B2 (en) * 2017-06-07 2021-01-19 Rambus Inc. Imaging devices and methods for reducing image artifacts
WO2019078333A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置、露出制御方法、プログラム、及び、撮像素子
US11561284B2 (en) 2018-11-02 2023-01-24 Waymo Llc Parallax compensating spatial filters
US20220229213A1 (en) * 2019-05-31 2022-07-21 Sony Group Corporation Diffraction element and imaging device
WO2020246250A1 (ja) * 2019-06-04 2020-12-10 ソニー株式会社 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
CN113179360B (zh) * 2021-04-26 2022-04-08 中国科学院长春光学精密机械与物理研究所 密集方位采样分块式平面光电成像系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6490028B1 (en) * 1996-12-30 2002-12-03 Thomas D. Ditto Variable pitch grating for diffraction range finding system
US7339738B1 (en) * 2004-04-22 2008-03-04 Sandia Corporation Nanomechanical near-field grating apparatus and acceleration sensor formed therefrom
CN102325498A (zh) * 2009-02-05 2012-01-18 中国科学院高能物理研究所 基于低剂量单步光栅的x射线相位衬度成像
US8243353B1 (en) * 2008-04-07 2012-08-14 Applied Science Innovations, Inc. Holography-based device, system and method for coded aperture imaging
CN102971620A (zh) * 2010-06-28 2013-03-13 保罗·谢勒学院 使用平面几何结构的光栅设备进行x射线相衬成像和暗场成像的方法
CN103460251A (zh) * 2010-12-13 2013-12-18 保罗·谢勒学院 利用对具有光栅布置的相衬成像的约束优化的图像积分的方法和系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6019286A (en) * 1995-06-26 2000-02-01 Metanetics Corporation Portable data collection device with dataform decoding and image capture capability
US5909026A (en) 1996-11-12 1999-06-01 California Institute Of Technology Integrated sensor with frame memory and programmable resolution for light adaptive imaging
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6002436A (en) 1997-08-28 1999-12-14 Flashpoint Technology, Inc. Method and system for auto wake-up for time lapse image capture in an image capture unit
US6597443B2 (en) 2001-06-27 2003-07-22 Duane Boman Spatial tracking system
TW588518B (en) * 2001-11-15 2004-05-21 Hrl Lab Llc Agile spread waveform generator
US7106367B2 (en) 2002-05-13 2006-09-12 Micron Technology, Inc. Integrated CMOS imager and microcontroller
JP4368163B2 (ja) 2003-08-19 2009-11-18 富士フイルム株式会社 分光素子アレイ及びこれを備えた分光画像測定装置並びに分光画像測定方法
US20050061065A1 (en) * 2003-09-23 2005-03-24 Gilman Engineering & Manufacturing Co., Llc Apparatus and method for function testing
US7106431B2 (en) 2003-11-13 2006-09-12 Ascension Technology Corporation Sensor for determining the angular position of a radiating point source in two dimensions
GB0602380D0 (en) * 2006-02-06 2006-03-15 Qinetiq Ltd Imaging system
WO2008090730A1 (ja) 2007-01-23 2008-07-31 Nikon Corporation 画像処理装置、電子カメラ、画像処理方法および画像処理プログラム
KR100842335B1 (ko) 2007-01-26 2008-07-01 삼성전자주식회사 시모스 이미지 센서 및 그 구동방법
US7821515B2 (en) 2007-06-27 2010-10-26 Monotype Imaging Inc. Method for automatic font character height restriction
US8619168B2 (en) 2007-09-28 2013-12-31 Regents Of The University Of Minnesota Image sensor with high dynamic range imaging and integrated motion detection
US8218012B2 (en) 2008-03-18 2012-07-10 Bae Systems Information And Electronic Systems Integration Inc. Multi-window/multi-target tracking (MW/MT tracking) method and system for point source objects
GB2459701B (en) * 2008-05-01 2010-03-31 Pips Technology Ltd A video camera system
KR101380751B1 (ko) 2008-05-15 2014-04-02 삼성전자 주식회사 영상처리장치 및 그 제어방법
CN102099916B (zh) 2008-07-25 2013-07-31 康奈尔大学 光场图像传感器、方法及应用
US8809758B2 (en) * 2008-07-25 2014-08-19 Cornell University Light field image sensor with an angle-sensitive pixel (ASP) device
US8400537B2 (en) 2008-11-13 2013-03-19 Omnivision Technologies, Inc. Image sensors having gratings for color separation
EP2233892B1 (en) 2009-03-27 2015-05-27 SICK STEGMANN GmbH Cylindrical Grating Rotation Sensor
US20110157395A1 (en) 2009-12-31 2011-06-30 Compton John T Image sensor with fractional resolution image processing
WO2011106831A1 (en) * 2010-03-02 2011-09-09 The University Of Sydney Phase shifter and photonic controlled beam former for phased array antennas
US20120281126A1 (en) 2011-04-11 2012-11-08 Fossum Eric R Digital integration sensor
US9325947B2 (en) 2011-06-28 2016-04-26 Inview Technology Corporation High-speed event detection using a compressive-sensing hyperspectral-imaging architecture
EP2783324A4 (en) 2011-11-22 2015-09-09 Schneider Electric Buildings METHOD AND SYSTEM FOR ACCESS CONTROL USING INTELLIGENT OPTICAL SENSOR
US20130235226A1 (en) 2012-03-12 2013-09-12 Keith Stoll Karn Digital camera having low power capture mode
JP2013246367A (ja) * 2012-05-28 2013-12-09 Toppan Printing Co Ltd 画像表示体及び情報媒体
USD701206S1 (en) 2013-06-04 2014-03-18 Oculus VR, Inc. Virtual reality headset
US9515113B2 (en) * 2013-08-27 2016-12-06 Rambus Inc. Optical sensing of nearby scenes with tessellated phase anti-symmetric gratings

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6490028B1 (en) * 1996-12-30 2002-12-03 Thomas D. Ditto Variable pitch grating for diffraction range finding system
US7339738B1 (en) * 2004-04-22 2008-03-04 Sandia Corporation Nanomechanical near-field grating apparatus and acceleration sensor formed therefrom
US8243353B1 (en) * 2008-04-07 2012-08-14 Applied Science Innovations, Inc. Holography-based device, system and method for coded aperture imaging
CN102325498A (zh) * 2009-02-05 2012-01-18 中国科学院高能物理研究所 基于低剂量单步光栅的x射线相位衬度成像
CN102971620A (zh) * 2010-06-28 2013-03-13 保罗·谢勒学院 使用平面几何结构的光栅设备进行x射线相衬成像和暗场成像的方法
CN103460251A (zh) * 2010-12-13 2013-12-18 保罗·谢勒学院 利用对具有光栅布置的相衬成像的约束优化的图像积分的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Two-Dimensional Real-Time Video Pyramid Processor;JAMES H ARBEITER ET AL;《Paragraph Motion Analysis》;19860301;第47卷(第1期);3-31
Lensless ultra-miniature CMOS computational imagers and sensors;David G Stork ET AL;《SensorComm》;20130826;1-59

Also Published As

Publication number Publication date
EP3129813A1 (en) 2017-02-15
WO2015157097A1 (en) 2015-10-15
EP3129813B1 (en) 2020-06-03
US10161788B2 (en) 2018-12-25
CN106104318A (zh) 2016-11-09
US20150293018A1 (en) 2015-10-15
EP3129813A4 (en) 2017-11-15

Similar Documents

Publication Publication Date Title
CN106104318B (zh) 低功率图像改变检测器
CN106455974B (zh) 用于有透镜和无透镜的光学感测的系统和方法
CN105008969B (zh) 用于高分辨率无透镜光学传感的具有奇对称的相位光栅
US9268071B2 (en) Phase gratings with odd symmetry for high-resolution lensed and lenseless optical sensing
CN105243368B (zh) 一种移动终端前置和人脸/虹膜识别一体化光电成像方法
Cao et al. A prism-mask system for multispectral video acquisition
JP4762369B2 (ja) 画像処理装置
Horvath et al. Ground-based full-sky imaging polarimetry of rapidly changing skies and its use for polarimetric cloud detection
US10404908B2 (en) Optical systems and methods supporting diverse optical and computational functions
CN102472664A (zh) 多光谱成像
Callenberg et al. Snapshot difference imaging using time-of-flight sensors
CN111479097B (zh) 基于深度学习的散射透镜成像系统
Monakhova Physics-Informed Machine Learning for Computational Imaging
Napolitano Underwater Non-Contact Measurements for Corals Colour and Shape Assessment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190503

CF01 Termination of patent right due to non-payment of annual fee