CN106455974B - 用于有透镜和无透镜的光学感测的系统和方法 - Google Patents

用于有透镜和无透镜的光学感测的系统和方法 Download PDF

Info

Publication number
CN106455974B
CN106455974B CN201580033107.9A CN201580033107A CN106455974B CN 106455974 B CN106455974 B CN 106455974B CN 201580033107 A CN201580033107 A CN 201580033107A CN 106455974 B CN106455974 B CN 106455974B
Authority
CN
China
Prior art keywords
grating
array
light
image
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580033107.9A
Other languages
English (en)
Other versions
CN106455974A (zh
Inventor
P·R·吉尔
D·G·斯托尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rambus Inc
Original Assignee
Rambus Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rambus Inc filed Critical Rambus Inc
Priority to CN201811421690.2A priority Critical patent/CN109893084A/zh
Publication of CN106455974A publication Critical patent/CN106455974A/zh
Application granted granted Critical
Publication of CN106455974B publication Critical patent/CN106455974B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G02B5/1871—Transmissive phase gratings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

具有奇对称光栅的感测器件将近场空间调制投影到紧密间隔像素阵列。由于光栅的物理特性，空间调制聚焦于波长和间距的范围。空间调制由阵列采集，并且照片和其他图像信息可以从结果数据提取。响应于红外光的像素可以被用于制造热成像设备和其他类型的热传感器。一些传感器非常适于跟踪眼睛运动和用于对条形码和类似二进制图像成像的其他。在后者情况中，期望图像的已知二进制特性可以被用于简化提取图像数据的过程。

Description

用于有透镜和无透镜的光学感测的系统和方法
背景技术
传统照相机使用(一个或多个)透镜将场景中的每个点成像到传感器上的单个点上。在数字照相机中，传感器是图像元素或“像素”的二维阵列，其将成像场景编码为数字图像数据以用于存储、处理和再现。
数字成像已经使能新成像架构。Cathey和Dowski采取远离通过利用数字处理的传统模型的早期和概念上重要的步骤。他们设计立方相光学板，其当被插入传统照相机的光学路径中时导致其(显著的)模糊独立于物体深度的图像：传感器平面上的图像不像其将在传统照相机中那样“看起来好的”。然而，后续的图像处理使整个模糊图像锐利，因此这导致增强的景深。从那以后计算成像场已经探索成像架构，在该成像架构中原始信号并非表面上类似传统图像；相反，根据这样的信号计算最终图像。总成像“负担”中的越来也多由计算负担，从而扩大可用的光学部件的种类。这样，可以计算地而不是光学地校正许多光学像差。该成像范式已经导致光学和图像处理的联合设计的新概念基础，以及各种各样的非标准成像架构诸如全光编码孔径和多孔径系统，每个与信号处理的方法相关联。
对于包括出现在移动计算市场中的照相机的电子设备的微型化的经济压力已经导致较小的成像器形状因子。最近地，新微型成像架构已经被探索，这是一个基于具有光探测器阵列的集成衍射光学元件。该架构摒弃透镜并且相反依赖于可以使用与被用于创建底层传感器的那些过程类似的过程创建的衍射光栅。对于给定图像分辨率而言，这样的衍射元件使能比使用传统照相机的光学路径可能的小得多的成像设备并且以低得多的成本的构建。
附图说明
详细描述以示例的方式而非以限制的方式图示在附图的图形中，并且其中相同附图标记指代相同元件，并且其中：
图1A是具有叠加光探测器阵列110的奇对称光栅105的感测器件100(诸如CCD(电荷耦合器件))或CMOS(互补金属氧化物半导体)传感器的剖视图。
图1B描绘了模拟图示遮蔽140和焦点145对入射角的敏感性的锐角160处的入射光平面120的图1A的传感器100。
图2描绘了根据一个实施例的二元奇对称光栅200。
图3描绘了根据其中二元奇对称光栅310由两个不同的折射率的材料之间的接口形成的实施例的感测器件300。
图4A是根据另一实施例的传感器400的平面图。
图4B是图4A的传感器400的三维视角并且示出光420如何从与光栅表面垂直的方向投影底层的光电二极管阵列430上的干涉图案425。
图5A、图5B、图5C和图5D各自描绘了二维光电二极管阵列505上的奇对称500的三个界限。
图6描绘了各自具有不同的相对宽度的特征段的三个奇对称光栅600、620和630。
图7A是根据使用超过两层产生奇对称的实施例的相位光栅700的剖视图。
图7B是与图7A的相位光栅700光学类似但是使用较少层的相位光栅710的剖视图。
图8是图示奇对称可以如何扩展为曲线函数的相位光栅800的剖视图。
图9是根据其中奇对称905的边界从光栅的中心径向延伸并且其中特征段的宽度远离中心逐渐地加宽的特征段的宽度的实施例的光栅900的平面图。
图10是根据奇对称1005的同心界限的实施例的光栅1000的平面图并且包括沿着线A-A的剖视图。
图11是根据与图9的光栅900类似的实施例的光栅1100的平面图。
图12是根据另一实施例的光栅1200的平面图。
图13描绘了根据另一实施例的光栅1300。
图14描绘了光栅1400和相关联的光电二极管阵列1405。
图15描绘了光栅1500和相关联的光电二极管阵列1505。
图16是根据具有奇对称1605的五角形界限的实施例的光栅1600的平面图。
图17A是根据另一实施例的光栅1700的平面图。
图17B描绘了图17A的界限1705的形状。
图18描绘了被布置在光电二极管阵列(未示出)上的光栅1805的二维阵列1800。
图19是详述根据图17的光栅1700如何采集和解析图像1905的流程图1900。
图20描绘了根据一个实施例的用于形成图像传感器2000的光刻过程。
图21A描绘了根据包括透镜2105的实施例的照相机2100。
图21B是具有聚焦在阵列2115上成像的点源2125的照相机2100的示例。
图21C是具有未聚焦在阵列2115上成像的点源2140的照相机2100的示例。
图21D是具有比图21C的示例中的点源2140更未聚焦成像的点源2155的照相机2100的示例。
图22是利用三个PSF 2205、2210和2215照射的像素2200阵列的一部分的平面图。
图23描绘了图示根据一些实施例的照相机可以如何补偿包括球面像差、彗形像差和Petzval场曲率的透镜像差的三个螺旋2300、2305和2310。
图24描绘了图示根据一些实施例的相位光栅的各方面的棋盘格光学元件2400。
图25描绘了由图24的光栅2400产生的定向啁啾内的空间调制的丰富图案如何促进离焦PSF的经改进的分辨率。
图26A和图26B描绘了根据一些实施例的棋盘格光栅2600和2605。
图27A和图27B描绘了根据一些实施例的棋盘格光栅2700和2705。
图28描绘了根据一个实施例的棋盘格光栅2800。
图29描绘了根据另一实施例的棋盘格光栅2900。
图30描绘了根据一些实施例可以被用于使用图21A-图21D中详述的类型的照相机产生颜色图像的滤波器阵列3000。
图31描绘了颜色通道3100(结合图30引入的实施例的四个颜色通道之一)。
图32描绘了支持低功率模式的图像改变的探测器3200。
图33将图32的阵列3205描绘为像素300的阵列。
图34描绘了具有重叠或悬浮在光电传感器3415(例如，光电二极管)的一维阵列3410上的光栅3405的图像传感器3400。
图35是可以被用于IR照相机的服务中的图像34的阵列3400的1D阵列3505-热辐射测定器的两个像素3500的剖视图。
图36图示了被布置在相对于场景的不同的定向处的多个1D传感器可以如何被用于定位稀少的移动的热物体。
图37描绘了包括结合图34和图35上文详述的类型的八个1D传感器3400以及提供成像场景的独立测量结果的22.5度的角间距的照相机3700。
图38A和38B是详述如何使用图17的光栅1700采集和解析QR代码3805的流程图3800和假定二进制图像的反演算法的实施例。
图39描绘了采用无透镜IR传感器3905监测眼睛3910的运动的眼球追踪系统3900。
图40描绘了Purkinje图像P1-P4的模拟星座。
图41表示通过包括结合图17A和图17B详述的类型的螺旋光栅的IR传感器3905的实施例的原始光电检测器信号采集的图40的相同星座，但是针对其奇对称的线的间距被优化用于LED 3915的IR带宽。
图42描绘了与支持操作性位置中的传感器3905和LED 3915的帧4200相反的图39的眼睛3920。
图43描绘了具有两侧中的每一个的传感器4305和光源4310的阵列的眼镜框4300。
图44描绘了根据包括例如桥中的前面照相机4405的实施例的一副智能眼镜4400。
具体实施方式
图1A是具有叠加光探测器阵列110的奇对称光栅105的感测器件100(诸如CCD(电荷耦合器件))或CMOS(互补金属氧化物半导体)传感器的剖视图。光栅105的特征提供对感兴趣的波长带中的入射光的波长以及光栅105与光电检测器阵列110之间的制造距离的相当大的不敏感性。光栅105生成用于由阵列110采集的干涉图案。然后，可以从图案提取照片和其他图像信息。
感兴趣的波长带(诸如可见光谱)中的光是来自正交于光栅105的横向平面120的方向115的入射光栅105。虚线125突出基本上奇对称的周期性界限。这些界限中的每一个是奇对称的特征130和135的结果，并且产生由相邻特征130与135之间的相消相位干扰创建的最小强度的通常布置的遮蔽140。遮蔽140由焦点145分离，并且遮蔽140和焦点145的集合(最大光强度的遮蔽)从光栅105延伸通过设备100的主体150以产生光电检测器阵列110上的干涉图案。在该图示中，入射在焦点和遮蔽中的强度变化的图案是起因于近场衍射的近场空间调制。阵列110内的一个光敏元件155遮蔽在焦点145下面来用作针对设备100对入射光角的敏感性的后续讨论的参考；然而，在对应的焦点下面的其他光敏元件同样地对入射光做出反应。
图1A的图像起因于具有以下参数和假定特定参数的感测器件的模拟。主体150具有熔融石英，并且与具有以2.2um间隔的光敏元件的常规光电检测器阵列110接触。在该示例中，光栅105的顶部是空气界面。特征130和135的相对小段是大约1um，并且相对较大的段是大约4um。这些段一般地形成横向平面120，其以大约25um与阵列110分离。遮蔽140和焦点145是针对532nm入射光的破坏性和建设性干涉图案。响应于点源，光栅105因此引起照射非相邻像素上的图案的近场空间调制。
尽管针对模拟的532nm光的选择，但是主体150的厚度和特征130和135的段的长度被优化用于400nm光。因此，最紧的焦点在阵列110上面大约5um发生(在20um标记处)。结果遮蔽140在20um标记上面和下面平坦地分离焦点145，然而这图示对感兴趣带内的波长的鲁棒的不敏感性。遮蔽140的相对深和连续的渗透还提供了针对主体150的厚度的相当大的制造容限。这些优点由于投影到阵列110上的近场空间调制是在感兴趣的波长带上独立的波长获得，其意味着相邻调制(暗和亮)不利用感兴趣带内的波长内的改变反转符号。
图1B描绘了模拟图示遮蔽140和焦点对入射角的敏感性的锐角160处的入射光平面120的图1A的传感器100。将元件155用作参考点，我们看到照射图1A中的元件155的焦点145在图1B中已经相当大地移到右边。遮蔽140和焦点145在根据Snell定律与角160有关的锐角处延伸。维持通过遮蔽140对焦点145的分离。因此，传感器100对入射角灵敏。
图2描绘了根据一个实施例的二元奇对称光栅200。使用垂直虚线指示奇对称的三个界限中的每一个。光栅200的上特征在足以引起感兴趣带中的阻滞的一个半波长相对于下特征或相对相位延迟的弧度的高处。每个界限的任一侧的特征205和210展示具有三个不同地大小段W0、W1和W2的奇对称。利用该布置，配对段(例如，特征205和210内的W0)引起通过近似一半感兴趣的波长带上的波长不同的相应的相位延迟。
图3描绘了根据其中二进制奇对称相位光栅310由两个不同的折射率的材料(在该示例中，聚碳酸酯层315和光学重镧火石玻璃320)之间的界面形成的实施例的感测器件300。使用垂直虚线指示奇对称325的四个界限中的每一个。如在前述示例中，光栅310的上特征引起一个波长(π弧度)的一半相对于下特征的相位阻滞。每个界限的任一侧上的特征330和335展示奇对称。利用该布置，配对段引起通过近似一半感兴趣的波长带上的波长不同的相应的相位延迟。
这些元件以结合图1A和图1B详述的方式产生分析器层327(例如，常规光电二极管阵列)上的干涉图案。该示例假定光栅300的光界面正交于相位光栅310的横向平面的光入射，在该情况中进入与奇对称325的界限之一等距离的光栅310(诸如在位置(-X,0)和(X,0)处)的光场在阵列310下面的点(例如，点(0,Z))处离焦，并且因此破坏性地干扰以产生最小强度的遮蔽(例如，图1的遮蔽140)。基本上光谱上的光的深度Z和波长二者都不显著地影响该破坏性干涉。建设性干涉类似地产生具有最大强度的焦点(例如，图1的焦点145)。高特征和低特征二者准许光，其提供相对于选择性地阻挡光的光栅的相对高量子有效性。
以下讨论详述了在即将到来的论文“Lensless Ultra-Miniature Imagers UsingOdd-Symmetry Spiral Phase Gratings.”2013年美国光学学会中由Patrick R.Gill和David G.Stork所描述的示例的相位光栅。在该文章中，Gill和Stork描述了由可以近似地将λ无关相位偏移引入所有通常入射可见光中的高n低色散衬底和低n高色散涂层形成的相位光栅。上文讨论了类似的光栅。如果存在在其传输t(·)和相位推迟φ(·)中满足以下对称性的该界面上的某些点p，
其中y是横向于光栅方向的水平平移，那么光栅具有关于点p的奇对称，并且光将破坏性地干扰小于p而不管λ和深度Z。
在光电传感器阵列上的线性奇对称光栅可以传递来自远场(横向于光栅定向)中的特征的单个空间定向的信息。然而，为了采集关于复杂场景的任意定向特征的信息，具有衍射光学中的定向的完整分布是优选的。更一般地，如果点源响应(PSR)是近似空间不变的，成像器的传递函数近似与PSR函数卷积。在这样的情况下，PSR应当具有在所有2D空间频率处的显著的功率以使图像的反演问题恢复状态良好的。
在Gill和Stork中所提供的一个示例中，光栅数字地被优化为将可见光聚焦到以下光电检测器阵列100μm上。光学模拟估计在具有由远离传感器的复杂场景(＞＞100μm)照射的传感器的光栅的来自具有2.2μm间距100μm的60x 60像素阵列的这样的设备的成像性能。来自像素阵列的结果光电流是难理解的；然而，场景被重建为基于使用Tikhonov正则化的Talbot-effect角灵敏的大得多的衍射成像器可能的更高的分辨率。Gill和Stork包括压缩传感技术可以适于如果已经场景基于可压缩的结构则改进重建质量。如果存在PSR的傅里叶变换中的小间隙，则压缩感测可以是特别有利的。
图4A是根据另一实施例的传感器400的平面图。奇对称415的八个界限中的每一个的任一侧的相对高段405和低段410创建其中段的宽度随着与传感器的中心的距离增加的光栅。对于给定焦点深度而言，较高频率的光倾向于产生具有较窄的特征宽度的较锐利的焦点。因此，传感器400可以被优化使得光栅的中心部分被优化用于相对较高的频率光的集合和相对较低的频率光的集合的外围区域。下文结合其他附图详述了该话题。
图4B是图4A的传感器400的三维视角并且示出光420如何从与光栅表面垂直的方向投影底层的光电二极管阵列430上的干涉图案425。如先前详述的，遮蔽和焦点相应地投射阴影435和亮形状440以由阵列430的单独的光敏元件445感测。阵列430采集图案425的数字表示。
图5A、图5B、图5C和图5D各自描绘了二维光电二极管阵列505上的奇对称500的三个界限。遮蔽510将阴影515投影在底层光电探测器520上，并且因此创建的图案取决于入射光的角是不同的。因此，阵列505可以对结果干涉图案进行采样来获得关于入射角的信息。
图6描绘了各自具有不同的相对宽度的特征段的三个奇对称光栅600、620和630。其对于创建具有如所示的多个宽度比的传感器来补偿制造影响光栅特征的相对高度的容限可以是有用的。假定例如光栅600是被优化用于感兴趣的制造过程的宽度，但是该过程产生40％而不是理想的50％的相对相位延迟以形成期望的位置处的最小强度的遮蔽。对于第一级而言，如在光栅630中所描绘的相对宽段的增加的宽度可以改进起因于错误的相位偏移的失真。可以通过使如在光栅620中所描绘的相对宽段变窄校正大于50％的相位偏移。一些实施例包括覆盖光电二极管阵列的不同的区域来容纳制造容限的相对段宽度的混合物。与提供最锐利的焦点或针对波长或波长范围的最锐利的焦点的光栅相关联的图像可以被选择或组合来获得期望的图像数据。不同的光栅还可以针对具有不同波长或入射角的光更好地执行，因此针对给定图像使用哪些光栅的选择可以被优化用于除制造容限外的变量。
图7A是根据使用超过两层产生奇对称的实施例的相位光栅700的剖视图。附加层可以虑及较锐利的焦点，但是可以要求更复杂的制造过程。如果光栅将使用光刻法制造，例如，附加层要求附加的掩码步骤。奇对称的每个界限的任一侧的配对表面引起通过近似一半波长加上感兴趣的波长带上的整数个波长不同的相应的配对相位延迟。
图7B是与图7A的相位光栅700光学类似但是使用较少层的相位光栅710的剖视图。结果较大的突然的不连续性715可以引起不期望的图像伪影或可能难以准确地制造，但是降低数目的层可以降低制造成本。
图8是图示奇对称可以如何扩展为曲线函数的相位光栅800的剖视图。
图9是根据其中奇对称905的边界从光栅的中心径向延伸并且其中特征段的宽度远离中心逐渐地加宽的特征段的宽度的实施例的光栅900的平面图。光栅900以连续地变化的宽度集采集十六个分立角处的图像信息。虽然便于将光栅900绘制为圆形，但是可以使用其他形状。在一些实施例中，例如，光栅的集合被排列在光电二极管阵列上。在这样的情况下，该共享共同界限(例如，诸如六边形、正方形或三角形界限)更高效地利用底层的光电二极管。
图10是根据基本上奇对称1005的同心界限的实施例的光栅1000的平面图并且包括沿着线A-A的剖视图。在该示例中，特征段的宽度是分立的，并且角是连续的。光栅1000的间距显得一致的，但是可以变化以虑及对于波长范围、入射角或制造变化的锐利焦点。
图11是根据与图9的光栅900类似的实施例的光栅1100的平面图。光栅900的两半提供基本上相同的信息。光栅1100以垂直定向添加半圆极化滤波器1105和1110。因此，光栅1100的每半产生特定于两个极化之一的图像数据，并且这些数据可以分离地或一起使用。具有相同或不同定向的更多或更少的滤波器可以使用在其他实施例中。不同的类型的滤波器还可以被用于覆盖本文所描述的类型的光栅中的全部或一部分。
图12是根据另一实施例的光栅1200的平面图。奇对称1205的曲线界限从光栅的中心径向地延伸，并且特征段的宽度远离中心逐渐地加宽。当保持图9的光栅900的连续地变化的间距时，界限1205的曲率提供与什么从图10的光栅1000可用类似的连续地不同的角信息。
图13描绘了根据另一实施例的光栅1300。如先前所指出的，光栅特征的不同的宽度提供针对感兴趣的波长带内的光的不同的颜色的较锐利的焦点。光栅1300具有图9的光栅900的相同径向对象，但是间距被优化用于蓝、绿和红光的那些区域提供有准许其相应波长的滤波器。省略在底层的分析器上提供模糊的干涉图案的波长可以改进图像锐利，并且可以允许颜色图像数据的更准确的重建。光栅1300以由定义孔径的限制的不透明屏蔽1305为边界。
图14描绘了光栅1400和相关联的光电二极管阵列1405。光栅1400具有平行奇对称界限1410，其可以具有相同或不同宽度或沿着一个或多个界限的不同的宽度的特征。具有采样足够数目的空间频率的宽度和间距的必须的多样性的平行界限可以对一维图像(例如，条形码)进行成像。沿着光栅1400而不是在光栅1400下面示出阵列1405来突出界限1410的方向与阵列1405中的光敏元件列之间的角θA。角θA创建测量结果的更多的多样性，因为线性阴影覆盖不同行中的像素的不同的百分比。在一个实施例中，选择角θA使得每个界限的顶部与底部偏移大约阵列1405中的一个像素。
图15描绘了光栅1500和相关联的光电二极管阵列1505。光栅1500具有平行的右角界限1510，其可以具有相同或不同宽度或沿着一个或多个界限的不同的宽度的特征。具有沿着采样足够数目的空间频率的两个维度的宽度和间距的必需的多样性的平行界限可以对例如点源进行成像，诸如以标识太阳的位置、基准LED或用于运动采集的回射元件或分片。可以出于结合图14上文所呈现的原因引入角θA。还可以利用还适于成像功能的光栅完成点源标识。
图16是根据具有奇对称1605的五角形界限的实施例的光栅1600的平面图。在该示例中，特征段的宽度是分立的，但是在其他实施例中其可以沿着一个或多个界限变化。直线界限可以在曲线那些上是有利的，因为线段可以容易地提供精确的奇对称。
光栅1600提供五个不同的定向处的信息。其他界限形状(诸如其他多边形)使用在其他实施例中。一般而言，具有奇数个边的多边形提供比具有类似但是偶数个边的多边形提供更大的定向多样性(例如，五边形提供比正方形或六边形更大的定向多样性)。
图17A是根据另一实施例的光栅1700的平面图。相对窄(宽)段间距的回忆对于相对高(低)频率工作更好，特征间距沿着与中心间距的奇对称界限(在暗区域与亮区域之间)。奇对称1705的曲线界限从光栅的中心径向地延伸到周围，在中心附近在暗(提升的)和亮(凹进的)臂之间辐射出。曲线界限由图17A中的光栅特征掩盖，因此在图17B中描绘界限1705的形状以便于回顾。
段宽度不继续随着半径增加，因为存在针对感兴趣的给定波长带的最大期望的宽度(例如，最宽可以对应于可见红光的最低的频率)。因此，定义界限1705的特征展示不连续性，因为其向光栅1700的周围延伸。在该示例中，光栅1700具有三个分立的区域，每个调谐到感兴趣带中的波长的子集或全部。
图18描绘了被布置在光电二极管阵列(未示出)上的光栅1805的二维阵列1800。光栅1805中的每一个是相同的，但是任何数目的参数(上文讨论其中的许多)可以在光栅1805内和中间变化。例如，不同的形状和类型的光栅可以被用于对不同的类型的干涉图案进行创建和成像，其可以分离地组合或使用来获得某个期望的结果。考虑由构成光栅中的一个或多个生成的信息的全部或特定子集的决策可以在诸如在容纳过程变化的制造时完成或可以动态地完成来突出场景的不同的方面。强调不同的图案的各方面可以被用于例如突出不同的极化、波长或入射角的光。
特别地当其特点很好地匹配时，面向相同方向的间隔光栅可以被用于感测移动对象。假定具有固定分离的匹配光栅接收来自相同场景的光，相应的分析器层的光电流之间的差异仅对相对地靠近对的对象灵敏。而且，该差异的时间导数对附近的移动对象灵敏并且对相对地远的移动或固定对象不灵敏。
图19是详述根据图17的光栅1700如何采集和解析图像1905的流程图1900。第一，呈现图像1910使得来自图像1910的光是入射光栅1700。入射光穿过相位光栅1700以产生光电传感器(未示出)的底层的二维阵列上的强度图案1920，其采集图案(1915)。采集图案1920对于人类可能显得难以理解；然而，因为光栅1700具有其点扩散函数(PSF)中的锐利特征，图案包含关于图像的丰富信息。
光栅1700的PSF(可能地组合底层的阵列)从先验校准或高保真仿真已知。还可以类似地确定PSF根据入射角和颜色变化的方式。该信息由响应1930表示。因此，基于该响应的数学转换可以被用于根据图案1920重建图像1910。
为了恢复原始图像，响应1920和1930组合形成反演问题(1925)，其解析(1935)以恢复原始图像的版本1940。一个实施例采用众所周知的Tikhonov正则化反演技术来完成步骤1925和1935。将以下各项作为出发点a)光栅1700的PSF的详细知识，b)在当前照明调节下系统的噪声水平的知识，和c)针对该图像观察的特定读数(图案1920)。将未知的图像表达为N x 1向量x，其中N是人们希望重建的像素的总数。将来自光电传感器的读数表达为M x1向量y，其中M是阵列中的光电传感器的总数。将PSF的详细知识表达为M x N矩阵A，使得对于任何图像x而言，在x下产生期望的观察信号y的公式是y＝Ax，被称为“前向方程”。
为了重建图像，其满足利用针对未知图像x的已知测量结果向量y求解前向方程如下。将前向方程的两侧乘以AT(A的转置)来获得AT y＝AT Ax。矩阵AT A是正方形并且原则上可以直接反转以恢复x；然而，当存在噪声并且并非AT A的所有特征向量具有相同大的相关联的本征值时，通常不佳地调节本发明。因此，实际上，Tikhonov正则化(如下)通常递送优选的结果。
然后，基于当前照明条件处的噪声水平选择正则化参数λ>0。最后，反转矩阵(AT A+λI)(其中I是单位矩阵)，假定(AT A+λI)≈(AT A)并且乘以先前方程的左边来获得x≈(ATA+λI)-1AT y。因此，对于给定正则化参数λ而言，通过Tikhonov正则化恢复的图像是来自光电传感器的读数的线性组合。如果PSF在可以忽略其空间依赖性的程度上是足够地空间不变的，则这些计算可以在傅里叶域中完成，这虑及快得多的数值。
另一实施例使用压缩传感恢复矩阵x。如果场景被期望在一些基础中是稀疏的(诸如针对自然图像的子波变换W)，则可以使用以下方法。我们可以通过找到最小化以下成本函数的z恢复稀疏场景分量z其中x＝Wz：1/2rTr+λf(z)，其中r是残余的(y-AWz)，λ>0是正则化参数(与使用在Tikhonov正则化中的那个不同，而且噪声相关的)，并且f(z)是惩罚非稀疏(penalizing non-sparse)z的函数。如果f(z)是z的凸函数(诸如L1规范)，可以使用凸优化技术高效地解决该优化问题。惩罚函数f(z)还可以采取其他形式，包括重建图像x或其他先验场景知识中的项惩罚总变差。
线性方法(诸如Tikhonov正则化)上的压缩感测的主要优点中的一些主要优点是前者允许关于期望的场景结构的更多先验信息帮助塑造最终图像。而且，如果AT A不具有满秩或不能测量场景的某些方面(例如，由于PSF的2D傅里叶变换的一些近零区域)，则给定关于期望图像的正确先验信息，使用压缩感测有时克服这些限制。
前述Tikhonov和压缩感测技术可以包括降低问题复杂度的迭代方法。例如，Richardson-Lucy重叠合法可以迭代地近似Tikhonov正则化反演并且重复子波阈值化可以是聚合为压缩感测类似解的数值高效的方式。
在一些实施例中，传感器的目的不是重建图像而是执行某个光学感测任务。在这样的情况下，向量x可以表示寻求测量结果而不是图像像素的场，并且可以近似地修改正向变换A。
图20描绘了根据一个实施例的用于形成图像传感器2000的光刻过程。第一，在感兴趣的波长带上透明的材料的晶圆2005利用定义什么将变为本文中详述的类型的奇对称光栅表面的相对高特征的掩模2010图案化。然后，晶圆2005的裸露面被蚀刻为创建凹进区域2015。然后，移除标记2010。最后，晶圆2005(现在包括光栅)被结合为光电二极管阵列2025。光刻法和晶圆结合过程对于本领域的技术人员而言是众所周知的，因此省略详细讨论。
图21A描绘了根据实施例的照相机2100，其中聚合光学元件(在该情况中透镜2105(虽然为了图示的简单性示出单元件透镜，但是一般地光学元件可以包括一个或多个折射、衍射和/或反射元件))结合被布置在光学元件与密集光电检测器阵列2115之间的路径中的相位光栅元件(光栅2110)使用以在其上形成图像。在透镜2105的前端的场景入射投影通过光栅2110并且直到阵列2115。光栅2110引起入射光中的空间调制并且将所得的干涉图案传递给阵列2115，其采集空间调制的数字表示。电气耦合到阵列2115的集成处理器2120根据数字表示计算场景的图像。处理器还示出物理地耦合到阵列2115，但是处理器可以定位在其他实施例中的其他地方。
透镜2105定义前焦点FFP和后焦点RFP，并且以小于透镜2105与焦点RFP之间的图像平面距离D的距离与光栅2110间隔。在该示例中，阵列2115在来自光栅2110的焦点RFP的相对侧。光栅2110可以是奇对称光栅，其具有结合前述附图上文详述的特性。在其他实施例中(诸如在宏模式中类似操作的实施例)，针对无限对象定义的透镜2105的焦距可以比光栅2110与透镜2105更近或者可以在涵盖这样的相对定位的范围上移动。
光栅2110的表面特征以距离X与阵列2115分离。虽然示出为分离的结构以便于图示，但是光栅2110可以与阵列2115集成或附接到阵列2115。在该示例中，照相机2100中的距离X不超过400倍光栅2110的表面特征与阵列2115之间的(多个)介质中的最长的感兴趣波长λmax(X≤400λmax)。例如，其中λmax是0.5微米的照相机可以具有光栅2110的特征与直到200微米的阵列2115的表面之间的间距X。
图21B是具有聚焦在阵列2115上成像的由箭头的尖端表示的点源2125的照相机2100的示例。光栅2110在焦点平面之外，因此来自透镜2105的光将模糊斑点PSF 2130呈现给光栅2110。(如在本文使用的其他示例中，由PSF 2130占用的区域指代中瓣的区域)。光栅2110根据函数2130产生干涉图案，但是图案的照明界限在紧密地聚焦的阵列2115上的衍射有限的斑点2135中是不明显的。点源2125的范围和位置处的对象紧密地聚焦(场曲率和其他像差可以改变针对其他位置的最佳焦点范围)，并且名义上在阵列2115的全分辨率处成像，假定透镜2105能够具有这样的分辨率。
图21C是具有未聚焦在阵列2115上成像的点源2140的照相机2100的示例。如在先验示例中，来自透镜2105的光将模糊斑点PSF 2145呈现给关山2110，并且光栅2110产生空间调制的图案。由于点源2140离焦成像，然而，阵列2115处的PSF 2150的区域大于在图21B的示例中，并且图案区域内的照明过渡/子结构是明显的。在照相机2100中，这些照明过渡是由光栅2110的特征引起的近场空间调制。PSF 2150的结果螺旋图案优选地是可逆的定向啁啾。如本文所使用的，“定向啁啾”是覆盖足以恢复期望的分辨率处的图像的空间频率和定向的范围的空间调制的图案。
图21D是具有比图21C的示例中的点源2140更未聚焦成像的点源2155的照相机2100的示例。来自透镜2105的光呈现仍然大于PSF 2145的模糊斑点PSF 2160，并且阵列2115上的结果不可逆的PSF 2165类似地大于PSF 2150。虽然未示出，但是对图21A的FFP处的点源成像产生包括定向啁啾特征的不可逆的PSF。两个点源(一个在点2125前面并且一个在点2125后面但是沿着相同光轴)可以产生类似大小的定向啁啾。然而，由于透镜系统中的像差，啁啾可以不同--这样的不同的特性可以被用于解析范围，如下文进一步详述的。
图21A至图21D图示了阵列2115上的图案面积和伴随的空间调制的丰富性是焦点的函数的一般点，焦点越不活跃，面积越大并且解析空间调制越好。比图21A的点源2125更远离透镜2105的点源产生与其远离(或朝向)透镜2105移动的阵列上的更大的PSF。
针对离焦点源的PSF是来自光栅2110的定向啁啾的缩放版本，其中定向啁啾的直径与点源的散焦成正比。因此，传感器平面(阵列2115的表面)处的观察将是聚焦和离焦成像点，每个与取决于从该点所接收、根据离焦参数缩放并且与来自其他成像点的类似贡献空间地叠加的光线束的位置的啁啾相位处的定向啁啾卷积。照相机2100可以恢复离焦对象的相对高的分辨率图像，因为该卷积对于大部分共同图像采集情况而言是计算上不可逆的。在该上下文中，“计算上不可逆的”意味着图像数据可以使用例如可逆的、伪可逆和压缩感测变换恢复到指定的精确度。PSF是计算上不可逆的，例如，如果其2D傅里叶变换是“完整的”或者具有以指定分辨率恢复图像所要求的所有空间频率处的基本上的幅度。
并非所有螺旋PSF是完整的。例如，阿基米德螺线具有规则地间隔的臂，其傅里叶变换具有臂间周期的倒数处的峰和这些峰之间的空值。相比之下，图19的螺旋PSF 1930具有通过所有定向锐利地限制并且扫描的很少不均匀的间隔臂，因此其具有所有空间频率处的显著的傅里叶功率并且是完整的。由于该完整性，准确的重叠合法是相对状态良好的，因此取消PSF的效果是相对直接的。不管是在傅里叶域中还是在空间域中执行计算，如果PSF的傅里叶变换不具有零，则重叠合法很好地工作。在点源引起不与螺线同轴的模糊斑点2160的情况下，所得的PSF将包含PSF的空间包裹版本。空间包裹螺线基本上不影响其完整性。
在首先不需要聚焦的情况下，照相机2100可以测量来自光电检测器阵列2115的光强度(但是一些实施例可以手动或自动地聚焦)。由阵列2115采集的数据包括具有随着深度变化的傅里叶分量强度的定向啁啾(参见图21B-图21D)。局部观察的傅里叶变换将是成像对象的傅里叶变换和定向啁啾的深度相关傅里叶变换的积。通过搜索针对最佳匹配针对每个成像点的该积的特定深度的内核，可以确定场景深度，假定场景具有某个纹理，如下文所详述的。
局部场景分片x的深度d可以通过贝叶斯估计从读数y推断如下。首先，每个深度的似然性p(y|d)可以通过基于y的傅里叶变换是x的傅里叶变换和深度相关PSF的积的知识并且利用照相对象的典型的功率谱的知识的另一贝叶斯估计计算。然后，该似然性p(y|d)由场景中的深度和深度改变的已知分布上的贝叶斯先验加权以到达针对场景中的每个点处的深度的p(d|x)的事后机率。基于深度和深度改变先验的场景的深度图的贝叶斯估计以及与对应的确定性相关联的深度的点向估计(由似然性p(y|d)中的峰的高度所指示的)是本领域的技术人员已知的技术，并且将不在此处进一步讨论。在本申请中，真实的深度图的知识对于针对与PSF的傅里叶变换交互的空间频率中的显著的傅里叶功率的那些图像精确地准确的图像恢复(不久地将被描述)是重要的。因此，准确的深度图在场景具有精细纹理处并且在场景分片缺少与PSF的该纹理卷积不使场景中的图像质量退化处是可能的。
然后，在图像空间或傅里叶域中将傅里叶变换去卷积；问题尺度将指示这些中的哪一个是更快的。还可以使去卷积内核随着针对韦纳最佳重建的光强度变化(虽然人类倾向于偏好过度锐利的图像；该锐利过滤器可以包含有去卷积滤波器来节省附加的步骤)。
选择跟随有去卷积的正确滤波器的结果是深度图和原始图像的重建。如果定向啁啾是傅里叶完整的，则重建图像可以将相同数目的像素解析为阵列2115。这是不同的最全光照相机，并且通过每个像素读数对去卷积问题贡献有用的信息的事实可能的。在其中PSF的高频率分量是小的情况下，处理器2120可以使最高的空间频率平滑以避免添加太多噪声。在低光条件中，照相机2100可以失去例如归因于该效果的解析像素中的两倍；这表示对现有全光照相机上的改进，其像素效率可以与4％一样低。对于根据实施例的很好形成的定向螺旋和一般成像条件，具有多达六个光电检测器间距的中瓣直径的PSF应当不可逆来恢复具有多达至少0.25周围每光电检测器的空间频率的图像特征(奈奎斯特频率是光电检测器阵列的主要维度中的0.5周期每光电检测器间距)。这样的性能部分取决于具有相关空间频率处的足够的调制传递函数的透镜元件。
图22是利用三个PSF 2205、2210和2215照射的像素2200阵列的一部分的平面图。PSF 2205是表示锐利地聚焦点源的定向啁啾；给定阵列2200的间距，不能解析照明子结构。如果给定场景的所有点聚焦，则图像分辨率主要是阵列间距或衍射有线斑点的阵列间距和直径的函数。
PSF 2210是表示不佳地聚焦点源的定向啁啾；空间调制表现为可以由阵列2200解析以定位图像中的对应的点源的计算上丰富的PSF的旋臂。最后，PSF 2215表示其焦点在PSF 2205与2215中的那些之间的点源；空间调制可以再次解析以定位图像中的对应的点源。
对于PSF 2210和2215二者而言，图像的分辨率由PSF螺线的臂之间的分离的较大的间距和间隔限制。在该图示中，三个点源容易地定位在阵列2200的两个维度中。而且，三个PSF的三个不同的图案区域提供与阵列2200垂直的维度中的距离的测量。因此，像图21A-D的照相机2100的照相机可以提供场的延伸深度、对于离焦对象的聚焦图像和来自图像数据的距离的测量。
图23描绘了图示根据一些实施例的照相机可以如何补偿包括球面像差、彗形像差和Petzval场曲率的透镜像差的三个螺旋2300、2305和2310。这样的补偿可以简化主要透镜设计并且允许在不牺牲图像质量的情况下孔径中的增加。
球面像差是其中透镜的给定环体的焦距随着环体的半径线性地变化的条件。在图21的配置中，该条件可以影响阵列上的定向啁啾的形状。图23的PSF 2300是假设的理想的啁啾，完美透镜的结果。PSF 2305示出了可以起因于具有球面像差的透镜的啁啾失真的类型。与PSF 2300相比较，PSF 2305具有在中心附近的相对线性臂。只要定向啁啾是完整的(不可逆以恢复图像数据)，将不使成像性能退化。即使不完整，如果定向啁啾足够地不可逆以将图像恢复到期望的分辨率，则成像性能可以可接受的。
如果穿过集中在透镜上的不同的环体的光形成其中心随着环体半径变化的图像传感器上的环体，则透镜具有彗形像差。如在PSF 2310中所示，彗形像差产生伸长并且失真、但是完整的螺线。Petzval场曲率是其中透镜的焦平面不是平面的像差。与球面像差一样，如果定向啁啾是足够完整的，则可以取消彗形像差、Petzval场曲率和其他像差。
在一些实施例中，透镜像差可以是有益的。对图像平面的一侧的PSF离焦可以覆盖于图像平面的另一侧的PSF离焦相同大小的图案区域。如果两个这样的PSF是相同的，那么照相机可能不能够在他们之间进行区分。透镜像差可以使这样的PSF可区分的，然而，诸如通过产生相反的非对称性，并且可以因此允许根据一些实施例的照相机更好地区分沿着如射轴线的点源。
图24描绘了图示根据一些实施例的相位光栅的各方面的棋盘格光学元件2400。元件2400利用子元件2405的螺旋整体2410棋盘格——被描绘为曲线界限——其是跨越棋盘格边界接近的(六边形边界用于图示，并且在该示例中不表示物理结构)。对每个整体的子元件进行布置，使得由来自点源的元件2400覆盖并且穿过整体2410之一的光形成具有代表整体的空间调制的PSF。在一个方面中，棋盘格光学元件还覆盖什么将否则将传感器阵列作为模糊PSF穿透到当具有与假设PSF类似大小时包含高频率子结构的PSF。
暂时返回到图21D的示例，模糊斑点PSF 2160被假定为集中在螺旋特征的整体上以产生螺旋PSF 2165。这在某种程度上是特殊情况。然而在一般位置中，在与照相机相同距离处的点源将具有包含从相邻整体采集的至少一个整体2410的所有子元件2405的PSF，以及其中的一些空间地包裹。在图24的示例中，PSF轮廓2415表示关于子光栅2410偏离中心的中瓣的区域，但是尽管如此覆盖足够的光栅特征2405以产生不可逆的定向啁啾。一般而言，有益的是，整体2410之间的空间特征的包裹基本上不更改结果定向啁啾的傅里叶变换的分量的幅度。可以沿着相邻的整体的路径扫描涵盖整体2410之一的足够的区域的像轮廓2415的圆形，同时对于沿着扫描路径的所有中间圆形位置而言，扫描圆形包含被布置在包含在路径的开始处的圆形中的所有定向处的光学子元件(例如，所有位置产生类似的光谱，但是具有偏移的相位)。
图25描绘了由图24的光栅2400产生的定向啁啾内的空间调制的丰富图案如何促进离焦PSF的经改进的分辨率。如在其他示例中，每个元件名字的前面(一个或多个)数字指示其中引入元件的图形。使用该协定，元件24##和25##指代相应地在图24和图25中所描绘的特征。
在图25的顶行中，来自点源2500的光线穿过透镜(未示出)并且到右如模糊的PSF2510的轮廓2415涵盖的区域2505的图像24的棋盘格光栅2400上。光栅创建定向啁啾2515，其包括作为轮廓2415的区域内的子元件2405的结果的空间调制的丰富集合。啁啾2515不是螺旋的，因为PSF 2510未集中在整体上(啁啾2515的图案被示出匹配PSF轮廓2415内的子元件2405的图案)。然而，啁啾2515的空间调制是足够的，该啁啾2515是不可逆的。
图25的第二行与第一行类似，但是包括来自照射重叠区域2525以产生一对重叠的模糊的PSF 2530的相邻点源2520的光线。光栅创建可辨别的一对定向啁啾2535和2540，其位置可以计算上反转为比可以弥散的PSF 2530更高的分辨率。分离地示出给右边的啁啾2535和2540相互相位不同，因为每个PSF 2530侵犯光栅的稍微不同的区域。
图25的第三行示出了照射具有重叠的模糊的PSF 2550的光栅的区域2545的九个点源2542的棋盘格，并且结果的九个定向啁啾共同地标记2555。如在最后的示例中，可以以比使用PSF 2550完成大得多的精度解析对应于定向啁啾2555的点源的位置。
图26A和图26B描绘了根据一些实施例的棋盘格光栅2600和2605。使用高特征与低特征之间的界限描绘光栅2600，然而光栅2605相应地以黑色和白色描绘了高特征和低特征。
图27A和图27B描绘了根据一些实施例的棋盘格光栅2700和2705。使用高特征与低特征之间的界限描绘光栅2700，然而光栅2705相应地以黑色和白色描绘了高特征和低特征。
图28描绘了根据一个实施例的棋盘格光栅2800。光栅2800以相应地黑色和白色描绘了相对高和低特征。
图29描绘了根据另一实施例的棋盘格光栅2900。光栅2900以相应地黑色和白色描绘了相对高和低特征。
图30描绘了根据一些实施例可以被用于使用图21A-图21D中详述的类型的照相机产生颜色图像的滤波器阵列3000。滤波器阵列3000包括四个颜色滤波器，红色滤波器3005、两个绿色滤波器3010和3015和蓝色滤波器3020。每个滤波器与什么相当于像充当针对总体照相机的四个颜色通道之一的图21A的照相机2100的照相机的实例相关联。对于像照相机2100的每个照相机而言，感兴趣的波长带限于由光学路径中的颜色滤波器传递的波长。
图31描绘了颜色通道3100(结合图30引入的实施例的四个颜色通道之一)。通道3100与图21A-D的照相机2100类似，因此省略了详细讨论。简单地，通道3100包括颜色滤波器，其光学特性应当被调谐用于由颜色滤波器、光栅3110和光电检测器阵列3115准许的光频率的透镜3105。图30的红色滤波器3005被插入在光学路径中的某个地方并且覆盖整个视场(在该情况中在透镜3105与光栅3110之间)。通道3100的特性(诸如透镜3105的焦距、光栅3110与阵列3115之间的间距X、光栅3110的空间频率范围、光栅特征的深度和光栅3110的组成和光栅子元件的几何形状)可以被优化用于所选择的颜色。图像处理器(未示出)可以将由颜色通道采集的信息组合来恢复颜色图像。
颜色通道可以具有不同的焦距的固定透镜或者可以具有相同透镜但是透镜与光栅之间的不同的间距。在具有不同的焦距的多个通道的照相机中，呈现最锐利的焦点的(一个或多个)通道可以被用于采集高分辨率场景信息，同时其他相对地散焦通道可以提供颜色信息。将相对低分辨率颜色信息“喷涂”在高分辨率图像上的技术对于本领域的技术人员而言是众所周知的。
无论对于相同还是不同的感兴趣的波长带而言，具有多个通道的照相机提供可以与从定向啁啾导出的其他信息组合来制造场景的深度图的视差的度量。还有利地，来自多个通道的信息可以被用于消除在其中对象展示欺骗性结构的情况下的深度的歧义。例如，具有聚焦螺旋图案的场景可以看起来散焦到螺旋整体。在这样的情况下，对一个或多个附加通道的交叉检查可以通过选择哪个“现实”与由不同的通道提供的图像数据最一致解析二义性。
一些成像应用(诸如视频监控)浪费相当大的功率和监测未改变的场景的存储器资源。为了解决该问题，一些照相机支持其中图像传感器的空间和时间分辨率剧烈地降低的低功率模式。感测较少的像素，并且较不频繁地节省传感器处的功率，并且相对少量的数据节省图像处理和传输功率。在低功率模式中采集的图像数据被用于检测改变，并且所检测的改变可以触发照相机切换到支持高得多的空间和时间分辨率的高性能模式。
图32描绘了支持太高效以致于其使用(可选地)集成光电池供电的低功率模式的图像改变探测器3200。检测器3200可以实例化在单个半导体管芯上，并且在该实施例中包括具有重叠的光栅1700的光电检测器阵列3205、将模拟信息从阵列3205转换为数字数据的模拟数字转换器(ADC)3210、处理、存储和传递数字信号的逻辑和存储器3215和对其他元件中的每一个供电的光电池3220。无论实现在单个管芯还是多个管芯上，可以不透明地封装检测器3200，以及透射性窗口覆盖光栅1700(和可选的光电池)的位置。
检测器3200支持感测场景活动中的改变的低分辨率低功率模式和采集响应于所检测的运动的较高的分辨率图像数据的一个或多个帧的高分辨率模式。虽然逻辑和存储器3215可以支持改变检测和成像功能，但是一些实施方式可以具有与成像不同的主要功能，以及改变检测将输入提供给芯片来添加态势感知。在这样的情况中，光电检测器阵列3205包含足够的元件以产生较高的分辨率图像可能不是必要的。
图33将图32的阵列3205描绘为像素300的阵列。八个非相邻的像素3300变暗以指示在低功率模式中有效的子集。因为其可以出现在传感器平面处，所以定向啁啾3305表示来自示例性成像点源的锐利地聚焦响应。
常规图像传感器将点源解析为传感器阵列上的聚焦“点”。如果照相机将检测非常小的运动，则甚至在低功率模式中必须维持有效像素的丰富集合。想象例如点源被解析为阵列3205上的锐利或模糊点，使得仅照射相邻像素之一或集合。在该情况下，点源可以在没有检测的情况下相对于传感器相当大地移动。在最坏的情况下，点可以在没有检测的情况下在有效像素3300与封闭阵列3205之间移动。
啁啾3305(由点源造成的照明的结果)包括改变照射比将解析斑点的包括非相邻那些的更多像素的光强度的“臂”，并且当点源相对于传感器移动时跨越许多像素3300扫描。因此，较小的像素3300需要轮询以覆盖比具有采用传统聚焦光学元件的系统的视场。在该示例中，在X-Y方面内的任何方向上移动啁啾3305一个像素或两个的点源的运动将影响有效像素3300中的至少一个，并且可以因此感测。感测可以包含来自不同的时间点处的光电二极管的相同子集的信号的模拟-数字转换。在其他实施例中，模拟采样和保持电路和比较器可以被用于成像视场中的信号改变。取决于应用，这样的感测运动可以是感兴趣的信息或可以被用于使低功率模式当中的检测器3200采取和存储相对高分辨率数据的一个或多个帧。
一些实施例支持附加的操作模式或“阶段”。在一个实施例中，例如，逻辑和存储器3215支持三状态机，其包括警戒阶段、试验阶段和确认阶段。在警戒阶段中，监测n1个像素并且如果这些像素中的k1(<n1)改变连续的图像帧之间的准则值θ1，那么状态机转换到试验阶段。在试验阶段中，监测n2个像素并且如果这些中的k2(<n2)改变连续帧之间的准则值θ2，那么状态机转换到状态3，否则系统恢复到状态1。如果系统处于状态3，则监测n3个像素并且如果这些像素中的k3(<n3)改变连续帧之间的准则值θ3，那么状态机发射表示所检测的图像改变的信号并且保持处于状态3，否则系统转换到状态2。
该系统的一个益处在于，由于光栅光学元件，因而每个光电检测器像素队视场中的位置的范围作出反应；因此需要监测的像素的数目比在传统的基于透镜的系统中更低(耗散较低的功率)，其中每个像素对视场中的位置中的非常小范围作出反应。电路分析示出一些ADC实施例可以获得亚400nW图像改变检测，以及ADC 3210所要求的功率占主导。针对支持降低的功耗的像素的轮询子集的地址发生器电路对本领域的技术人员而言是众所周知的，因此省略详细讨论。
光电池3220提供足够的功率来支持环境光中的低功率模式，以及额外足够对能够支持高性能模式中的使用的突发的集成或外部能量存储设备进行充电。在一些实施例中，检测器3200包括分离或集成RFID芯片和相关联的天线以允许图像数据无线地检索。检测器3200可以支持其他形式的有线或无线连接，如由本领域的技术人员将理解的。在题为“Ultra-Miniature Low-Power Lensless Image Change Detector”的伴随文档中详述具有光栅1700的阵列3205的示例，其通过引用并入本文。
可以使用标准CMOS过程创建阵列3205和光栅1700，并且其形成因此与任何数目的功能块相容。实际上，能通过包括成像设备获益的任何集成电路可以适于包括一个功能块。例如，被称为“智能微尘”的技术描述了其中许多微机电系统(MEMS)可以在分布式无线计算机网络上操作来共同地执行各种感测和通信任务的系统。智能微尘设备可以在一侧是大约几毫米，其容易地足以包含本文详述的类型的传感器。在一个实施例中，例如，发明人创建在一侧是200微米的128x128像素传感器。本文详述的类型的图像传感器可以集成如此便宜以致于其可以包含到信用卡中或出于安全性目的的其他形式的标识或促进微型机器人领域中的视觉系统。
图34描绘了具有重叠或悬浮在光电传感器3415(例如，光电二极管)的一维阵列3410上的光栅3405的图像传感器3400。光栅3405展示PSR，其展开图像特征来照明跨越底层像素的图案。光栅3405具有平行奇对称界限3420，并且可以具有相同或不同带宽或沿着一个或多个界限的不同的带宽的特征3425——垂直带。在一个实施例中，光栅3405具有垂直带的三个集合的集合，每个带被优化用于可见光波长的不同带(相应地短、中和长波长光)。具有采用足够数目的空间频率的宽度和间距的必须多样性的平行界限可以对一维图像(例如，条形码)进行成像或可以跟踪水平维度X上的对象或光栅的相对运动。
传感器3400提取沿着水平轴X的信息。处理器(未示出)可以使用具有Tikhonov正则化的脊回归和阈值化恢复图像来处理由阵列3410采集的图案。像素3415的纵横比倾向于沿着垂直线平均强度，其改进信噪比。在条形码的情况下，结果图像可以用作对用于条形码的读数的传统过程的输入，其可以由处理器或在其他地方执行。
传感器3400可以适于红外(IR)图像检测。在IR透镜(例如，单晶质锗)的制造中使用的材料相对于针对可见光的那个一般地是昂贵的，并且IR透镜的成本倾向于随着其线性大小的立方进行缩放。因此，使IR传感器小来将成本降低到实际的水平。小大小指示具有高尺寸精度比例的小热传感器。仅存在能够给定一侧的热波长(大约10μm)的缩放的像素中的好的室温热性能的几个材料和技术。高质量真空密封热换能器是当前工业标准，因为其提供适当的大小处的足够的性能。然而，这样的换能器是过分地昂贵的。传感器3400消除对于分离的透镜的需要，并且剧烈地降低IR透射性材料的大小和体积。便宜的热光学元件虑及具有相对较大的区域的传感器，因此在不过度地折衷性能的情况下可以使热准确度每单位面积相当地更低的。因此，可以使用较大的不太昂贵的热换能器。
图35是可以被用于IR照相机的服务中的图像34的阵列3400的1D阵列3505-热辐射测定器的两个像素3500的剖视图。每个像素3500包括经由一对点接触3520悬浮在反射器3515上的IR吸收材料3510的条带(仅示出一个接触3520)。元件被安装在例如硅的衬底3525上。每个条带3510展示随着对附近IR辐射的曝光变化的其相应接触3520之间的电阻。可以包括反射器2515以通过向材料3510向上反射回IR光改进敏感性。电路周期性地读取针对材料3510的每个条带的电阻值以形成阵列3505暴露于的图案的一维图像。
条带3510与反射器3505、重叠光栅(例如，图34的光栅3405)和用于热隔离的相关电路相互分离。在一些实施例中，传感器3400密封并且要么撤出要么空气利用具有较低的热导率的气体替换。
条带3510是大约几十微米宽。可以使其纵横比高(例如，至少10：1)。具有高纵横比的条带倾向于沿着其长度平均强度，其增加信噪比并且使接触3510的导热性遭受降低的影响。而且，光栅相对于常规IR透镜的重要的相对低的成本意味着可以使聚焦光学元件和传感器二者相当地更大并且对于给定价格点更灵敏。与光子检测器相反，条带3500是热的并且可以是例如热敏电阻、热电偶或电阻性热设备；有利地，这些设备提供比光电二极管或光伏检测器更低频率的光谱范围。在一些实施例中，例如，条带3510具有超过五微米的室温光谱范围(例如，在五微米与二十微米之间)。可以使用在Flemming等人的美国专利号8,709,702中详述的微制造技术做出适合的检测器，其通过引用并入本文。
在一个示例中，热辐射测定器像素是大约一厘米长。这样的像素可以使用体相过程(诸如喷墨印刷、LCD制造技术或卷对卷打印)制造来降低或最小化制造成本。像素3415的间距可以是例如50μm，这产生沿着垂直于像素的维度的大约200热测量结果每cm(例如，在图34中的X轴)。在其他实施例中，热辐射测定器像素被布置在1D光栅下面的2D阵列中。在这样的情况下，可以沿着垂直于针对经改进的信噪比的1D光栅的像素列平均图像强度。然而，在其他实施例中，光栅和传感器二者可以是产生1D或2D图像的2D。在其他实施例中，像素可以具有例如热电或铁电材料，或者可以包括产生独立的测量结果的不同的类型的材料。
许多热感测应用不要求全热视频——其仅需要测量在何处移动的温暖身体在场景中。例如，运动检测器被用于例如接通或关断照明或者加热或者提供入侵者警报。不像其中照明改变的可见场景那样，移动阴影等可以引起对固定对象的照度的大的改变，固定热身体(具有高发射性的至少一个)将不非常迅速地改变其热发射。例如，对比在30fps视频中的场景周围的背景移动温暖10K的手部进行比较。由手部运动影响的场景像素的热时间倒数多达300K/s；比除可能燃烧的开始外的任何家用的加热过程快得多。
图36图示了被布置在相对于场景的不同的定向处的多个1D传感器可以如何被用于定位稀少的移动的热物体。一般而言，热场景由不同的定向处的N个一维热传感器的集合采样(通常地在π/N弧度的定向增量处，但是参见下文)。
在图36中，热场景3600由四个一维传感器(未示出)测量，其中的每一个具有1x 77个像素的分辨率。每个线性阵列测量热场景的1D投影。四个绘图3605、3610、3615和3620表示这些投影和场景周围的相应传感器的相对定向。例如，绘图3605表示从上到下的感兴趣的IR带宽的场景3600的水平平均强度；并且绘图3615表示从左到右的相同带上的场景3600的平均强度。特征3630和3635示出了沿着归因于相对温暖的猫和蜡烛的水平轴的相对高强度。使用相对于水平近似45度定向的1D传感器取得的绘图3610不在猫与蜡烛之间进行区分。
随着热对象移动，来自传感器中的每一个传感器的图像伪影跟踪生成他们的对象。因此，从多个1D照相机取得的图像可以组合以解析2D图像，以及更多传感器产生更多信息和更好的分辨率。在一些实施例中，(一个或多个)传感器可以旋转以采集不同的角处的数据，并且该数据也可以被用于解析2D场景。在图36中，右上绘图3625是对于问题“whatsparse combination of locations seems to have thermal motion？”的基追踪去噪方案。场景3600是来自其中猫正移动的视频的帧，并且绘图3635中的亮斑一般地代表该运动。
为了计算在何处存在来自仅几个一维投影的热运动源，我们解决欠定层析技术问题。如果热场景是N x N并且存在四个传感器，那么存在拟合N2个未知的可用的4N个测量结果，并且一般而言存在各自完美地拟合数据的方案的(N-4)N维空间。我们使用一个或多个附加约束条件来从拟合数据的该子空间当中选择“正确的”方案。
如果我们期望仅场景中的几个位置使其温度从最后的采集剧烈地改变到下一个，那么我们可以使用该稀疏性找到热改变的最可能的集合。为此，我们可以利用N2个未知和4N个观察解决基追踪去噪(BPDN)问题。可以通过在P.R.Gill,A.Wang和A.Molnar“The In-Crowd Algorithm for Fast Basis Pursuit Denoising”IEEE TRANSACTIONS ON SIGNALPROCESSING,第59卷,第10号,2011年10月(第4595-4605页)中详述的In-Crowd算法解决该缩放的BPDN问题，其通过引用并入本文。BPDN还提供信号的噪声移除——我们查明5％的噪声水平是相当可接受的并且不定性地影响热运动定位。小现代移动图形处理器可以以视频速率执行该计算。变型可以利用Radon变换进一步加速问题。对图像重建的另一约束条件是时间连续性。多帧创建(将例如Kalman过滤使用在时间域和空间域中)一般地通过对噪声进行平均改进这样的情况中的估计。
标准热成像上的热运动定位的一个优点在于，热传感器倾向于对他们的某种程度的时间漂移，并且因此要求周期性非均匀性校正(NUC)。由于本申请对于信号的时间导数灵敏，因而热非均匀性是不太有害的并且校正非均匀性可以整个降低或避免。
利用足够的定向处的足够的1D信息，热场景自身和不仅其时间导数可以通过反Radon变换(也被称为滤过反向投影)重建。甚至在没有工作的传统技术(诸如滤过反向投影)的足够的1D信息的情况下，关于欠定层析技术问题的总变型或TV规范最小化利用计算上易处理的算法恢复场景信息。在S.Hashemi,S.Beheshti,P.Gill,N.Paul和R.Cobbold“Efficient Low Dose X-ray CT Reconstruction through Sparsity-Based MAPModeling”(2014年2月8日)中详述了一个这样的算法，其在http://arxiv.org/abs/1402.1801处是可用的。Hashemi等人的该参考文献通过引用并入本文。对于迅速地运行的一些高级反演技术而言，将角定向与伪极性组斜率间隔可以是有利的，因为当生成矩形阵列作为最终图像时，该间距方案可以导致较少的重建伪影。
本文详述的类型的1D成像设备可以被用于使用双目差异对热源进行排列。在该情况下，具有由其敏感性的方向上的某个数量分离的两个或两个以上1D传感器的系统基于由两个传感器采集的图案之间的差异，采集关于热源的深度的信息。
图37描绘了包括结合图34和图35上文详述的类型的八个1D传感器3400以及提供成像场景的独立测量结果的22.5度的角间距的照相机3700。包括可见光照相机3705，使得由传感器3400所观察的热改变可以与可见光图像配准。照相机3700包括：读电路3710，其被耦合到传感器3400的集合以读取代表其相应的所采集的1D图像的信号；和处理器3715，其解译来自读电路3710的信号以产生代表成像场景的期望的输出信号。
解译其采集的图案使用的图像传感器和算法可以被裁制以执行特定图像采集任务。可以简化其中其被期望具有共同特性的算法。在条形码的情况下，例如，二进制强度的假定可以被用于简化将采集的图案转换以恢复代码的过程。数据的其他光学机器可读表示可以具有不同的期望特性。
图38A和38B是详述如何使用图17的光栅1700采集和解析QR代码3805的流程图3800和假定二进制图像的反演算法的实施例。第一，在步骤3810中，QR代码3805操作地被定位在图像传感器附近，使得光栅1700可以根据QR代码调制所接收的光场并且底层的传感器阵列可以采集强度图案3815，其包括结果响应和来自例如传感器阵列的任何噪声二者。图案3815承载对QR代码3805的很少相似点但是当与光栅1700的响应1930组合时包含足够的信息来恢复代码。
上文结合图19详述了响应1930。在该讨论中还注意由图案3815所表示的响应和噪声与响应1930组合以形成反演问题，其被解决(1925)以恢复原始QR代码的噪声、灰度版本3820。该示例基于低分辨率校准和相对于图19的示例的增加的噪声以基于例如二进制图像的假定图示正则化的益处。
一般而言，正则化过程引入附加信息来降低噪声、解决不适定的问题或防止过度拟合。在该示例中，为了恢复原始QR代码，反转过程考虑QR代码的二进制特性。例如，阈值可以应用到灰度图像3820的数据，以及过程相应地将像素设置在阈值以下和以上到暗和亮。其他实施例利用针对正则化的期望场景的其他已知特性来改进图像识别。
然后，响应1930可以被用于反转结果图像。将该反转的结果与图案3815相比较来确定拟合。快照图像的单独像素然后以随机和反转来反转并且重复比较步骤来确定改变是否改进或退化拟合。可以重复这些步骤直到图案集中到最佳拟合。更一般地，诸如模拟降温和遗传算法的技术可以被用于找到其对应的期望信号最佳地匹配所观察的数据3815的二进制值标记。该匹配函数可以是均方差，首先同方差数据的泊松噪声知道的度量，或者更一般地，度量可以反映可能的信号图案中的期望相关性。然后，搜索解码二进制代码变为给定所观察的数据，从要么最大似然性方法(允许任何代码)要么贝叶斯搜索(其中包括关于代码内容的先验概率)找到最可能的代码。
备选地，高阈值和低阈值可以被用于快照由已知的真实黑色值和白色值的Tikhonov正则化所采集的图像3820的亮像素和暗像素，留下针对阈值之间的像素的灰度值。结果快照图像与Tikhonov图像之间的差异是由于噪声。然后，从黑暗像素“取得”的残余亮度和从变亮的像素取得的黑暗被重新分布在中间值中间。具有低空间频率的图像特征一般地比具有较高的空间频率的那些更容易解析，因此该方法倾向于区域地分布高频率亮度(3830)。例如，太亮的像素意味着邻近地区中的其他未知像素在Tikhonov图像中被表示为太弱的。该理解可以被用于加快最佳拟合上的收敛。如果八个相邻像素中的六个已知是黑色或白色，则剩余的两个表示仅未知。如果Tikhonov图像中的已知像素包括过剩的亮度，那么未知像素可能地被表示为太弱的。
因此，实现该重新分布的一个方式如下。首先，计算二进制标记的Tikhonov重建3820。然后，通过Tikhonov重建中的其明白地暗和亮值标识已知的黑像素和白像素。然后，利用具有正确值的已知真实的黑和白区域生成“快照”图像3825，但是所有其他值如由原始Tikhonov重建给定。然后，生成将利用该快照图像获得的期望数据。然后，计算期望数据与观察数据3815之间的差。然后，应用关于该差的Tikhonov正则化图像重建来获得校正。然后，将该校正添加到原始Tikhonov重建3820来获得低噪声重建3835。
结果图像3835类似QR代码3805但是包括什么应当是QR代码边界外的噪声。过程检测边界(3840)来产生QR代码3805的最终图像3845。图像3845与QR代码3805不同，但是代码自身包括某种误差校正，并且这足以校正那些误差。图像3845以本领域的技术人员好理解的方式被解译为QR代码。
二进制标记常常具有相当地不像大多数自然场景的二阶统计数字。例如，代码39条代码仅具有垂直定向，并且QR代码具有近似平坦的功率谱直到由其构成点的宽度的倒数管理的空间频率。相比之下，自然场景通常地具有1/f^2功率谱。
由于本地衍射光栅的操作近似卷积，光电二极管上的感测信号的功率谱将是近似光栅的PSF的傅里叶幅度谱和场景的傅里叶幅度谱的积。由于条形码和QR代码的功率谱不像大多数自然场景中的那些，因而当存在QR代码或条形码时，传感器读数的功率谱将同样地明显不同的。因此，仅使用传感器读数的二阶统计数字中的一些的粗略采样，人们可以确定视场中的目标是例如条形码还是QR代码。当传感器呈现有大多数自然场景时，该粗略采样可以具有非常低的假阳性率。因此，可以避免成像和解译这样的代码采用的计算来节省功率和处理器带宽。
基于眼镜的移动显示器(诸如Google眼镜、Samsung Galaxy眼镜)和其他系统需要准确并且快速地知道眼睛的注视的方向，例如以确定用户的感兴趣焦点、使视觉显示器偏移和控制指向。一种用于估计眼睛中的注视的方向的方法是通过监测Purkinje图像的位置——从眼睛中的四个表面反射的小源的图像的二维空间位置(外角膜、内角膜、外眼透镜和内眼透镜)。在一些系统中，源是小IR LED，并且图像监测IR有透镜的照相机。
基于Purkinje图像的注视检测可以实现在眼镜中，其中安装在眼镜框(例如)上的IR LED和安装在眼镜框上的其他地方的小成像器被用于监测Purkinje图像的位置。常常地，在远程计算机(例如，移动设备或专用处理器)上完成处理。
对于传感器的空间和重量要求是严重的——特别地其厚度要求。具有被优化用于检测Purkinje图像的位置的光栅和处理的无透镜智能传感器将支持眼睛注视跟踪。
目镜调节是目镜改变用于聚焦在附近或遥远对象上的其曲率(在眼睛睫状肌的控制下)的过程。Purkinje图像的位置可以被用于推断目镜的曲率和因此眼睛的适应的深度。可以使用本文所描述的类型的一个或多个图像传感器确定这样的信息。
图39描绘了采用无透镜IR传感器3905监测眼睛3910的运动的眼球追踪系统3900。IR LED 3915将IR光的波束照耀到眼睛3910中。该光对于眼睛不可见，但是引起若干反射P1-P4——所谓的“Purkinje图像”——其可以被用于跟踪眼睛运动。最亮的Purkinje图像P1对角膜3920的外表面反射，并且被称为闪光；第二图像P2反射角膜的内表面；并且第三和第四偏离透镜3925的相应的外表面和内表面。传感器3905可以具有滤波器3930，其通过排除来自LED 3915的IR带外的光改进信噪比。来自LED 3915的光可以以某种方式(诸如通过极化或在已知速率或图案处闪烁)调制来辅助将Purkinje图像与背景区分。然而，恢复Purkinje图像，那些图像的位置随着眼睛运动改变。因此，具有对存储器3955的出口的微控制器可以基于Purkinje图像的星座计算眼睛3910的位置。
图40(现有技术)描绘了Purkinje图像P1-P4的模拟棋盘格。强度的跨度减小以便于图示；实际星座中的相对强度跨越一系列粗略地100x。
图41表示通过包括结合图17A和图17B详述的类型的螺旋光栅的IR传感器3905的实施例的原始光电检测器信号采集的图40的相同星座，但是针对其奇对称的线的间距被优化用于LED 3915的IR带宽。每个Purkinje图像由螺旋干涉图案表示。如结合图19上文所详述的，可以处理这些图案来定位Purkinje图像。结果数据表示针对四个斑点中的每一个的两个维度。眼睛位置和焦点可以与Purkinje星座相关，并且可以针对给定眼睛和应用校准这些相关性。用于使用Purkinje图像跟踪眼睛位置的方法对于本领域的技术人员而言众所周知，因此出于简洁省略详细讨论。
由于在手边的任务是定位Purkinje图像而不是完成成像，因而若干备选光栅设计可以被用于该应用。例如，图9和图10的径向和同心光栅可以通向比螺旋更容易找到的点位置，并且图15和图16的光栅可以通向比给定完整的空间频率信息的光栅更小的光栅。
定位来自像图41中的那些的图案的Purkinje图像的一个方式是找到最亮的图案、定位对应的Purkinje图像并且从总体传感器信号提取图案，留下三个剩余的图案。可以针对每个图案重复该过程直到定位每个Purkinje图像。如上文所指出的，Purkinje图像跨越亮度的相当大的范围，并且最亮可以使传感器饱和。所提出的方法固有地较不易受饱和影响，因为来自最亮的闪光的信号散步在许多(可能地几百个)光电检测器上。然而，在一些情况下，光电检测器上的若干像素可以变为饱和的。在这种情况下，利用找到图像中的点的以上标识和减法方法，人们可以考虑若干像素可以已经变为饱和的。人们还可以忽视以上搜索中的任何饱和像素。更复杂的方法可以要求恢复点和强度的任何候选集合足以使实际上被观察为饱和的那些像素饱和。
图42描绘了与支持操作性位置中的传感器3905和LED 3915的帧4200相反的图39的眼睛3920。框4200是例如眼镜框。结合先前附图如上文所描述的是剩余的元件。
图43描绘了具有两侧中的每一个的传感器4305和光源4310的阵列的眼镜框4300。每个光源4310产生Purkinje图像的唯一棋盘格，并且来自传感器4300的信息可以组合以改进跟踪。一般而言，可以针对每个眼睛提供N个传感器和M个光源。源4310可以提供可区分的波长、极化或者可以时间多路复用以允许传感器4305对他们进行区分。框4300中的透镜4315可以包含IR截止滤波器以降低朝向眼睛的IR传输，并且因此改进针对射到传感器4305上的信号的信噪比。
图44描绘了根据包括例如桥中的前面照相机4405的实施例的一副智能眼镜4400。传感器和光源在照相机4405对面侧，并且因此未示出。必需的电子产品中的一些或全部可以安装在模板4410上或其内。备选地，外部电子产品4415可以使用要么有线要么无线连接被耦合到由眼镜4400支持的电子产品。眼镜4400可以包含抬头显示器、耳机或二者。
具有照相机的实施例可以使眼睛跟踪与由照相机采集的图像相关以记录观察者考虑什么。例如，眼镜4400可以检测脸并且向观察者呈现或呼出名字，可以转译符号或菜单，或可以报告观察者考虑广告或路标花费的时间。
前述示例采用具有PSF的奇对称光栅，所述PSF将来自点源的光聚焦到跨越相对大数目的非相邻像素空间分布的螺旋图案。该质量与典型的透镜相反，其中点源被解析为聚焦点或未聚焦的模糊点。其他实施例可以包含不同的类型的无透镜传感器来产生跨越非相邻像素空间分布的PSR。例如，光栅可以使用菲涅耳波带板或菲涅耳波带板的重叠部分产生适合的冲激响应。
虽然已经结合特定实施例描绘了主题，但是也设想其他实施例。例如；虽然先前详述的每个光栅可以结合光感受器被用于采集入射光，但是根据这些和其他实施例的光栅可以更一般地使用在投影来自光电发射器的图像而不是或补充感测其的成像设备中；如使用透镜所描述的照相机还可以采用其他类型的光学元件(例如，反射镜)；感兴趣的波长带可以比前述示例的那些更宽或更窄，并且可以是不连续的；并且本文详述的照相机和光栅可以适于使用在多孔径或可编程孔径应用中。其他变型对于本领域的技术人员而言将是明显的。因此，随附的权利要求的精神和范围不应当限于前述描述。仅特别地记载“用于......的装置(means for)”或“用于......的步骤(step for)”的那些权利要求应当以在35U.S.C.§112的第六段下所要求的方式解译。

Claims (19)

1.一种用于跟踪眼睛的运动的系统，所述系统包括：
光电元件的阵列；
光栅，用于采集从所述眼睛反射的光，所述光栅具有将光从点源聚焦到跨越所述光电元件的非相邻光电元件的空间分布的图案的点扩散函数；以及
处理器，被耦合到光电元件的所述阵列以由所述图案的特征计算所述点源的位置。
2.根据权利要求1所述的系统，其中所述光栅是衍射光栅。
3.根据权利要求2所述的系统，其中所述光栅包括波带板。
4.根据权利要求2所述的系统，其中所述图案包括亮线。
5.根据权利要求4所述的系统，其中所述线形成开放曲线。
6.根据权利要求1所述的系统，还包括用于将所述光引导到所述眼睛的光源。
7.根据权利要求6所述的系统，其中从所述眼睛反射的所述光包括Purkinje斑点，所述处理器用于计算所述Purkinje斑点的位置。
8.根据权利要求7所述的系统，所述处理器用于由所述Purkinje斑点的所述位置计算所述眼睛的位置。
9.根据权利要求1所述的系统，其中所述光栅被布置在所述阵列之上并且与所述阵列接触。
10.根据权利要求9所述的系统，其中所述光栅与所述阵列集成。
11.根据权利要求1所述的系统，还包括用于将所述光栅和光电元件的所述阵列保持在所述眼睛附近的框。
12.根据权利要求11所述的系统，还包括光源，所述光源由所述框支持并且被定位以用于将所述光引导到所述眼睛。
13.根据权利要求12所述的系统，其中所述光包括波长带的红外光。
14.根据权利要求13所述的系统，还包括滤波器，所述滤波器邻近所述光栅以阻挡所述波长带外的第二光。
15.根据权利要求14所述的系统，还包括透镜，所述透镜由所述框支持以准许从场景到所述眼睛的第三光。
16.根据权利要求15所述的系统，还包括第二滤波器，所述第二滤波器邻近所述透镜以阻挡所述波长带内的第四光。
17.根据权利要求11所述的系统，还包括图像传感器，被固定到所述框以对在所述眼睛对面的场景进行成像。
18.根据权利要求17所述的系统，所述处理器用于使所述眼睛的所述运动与所述场景相关。
19.根据权利要求11所述的系统，其中所述框支持所述处理器。
CN201580033107.9A 2014-06-20 2015-06-09 用于有透镜和无透镜的光学感测的系统和方法 Expired - Fee Related CN106455974B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811421690.2A CN109893084A (zh) 2014-06-20 2015-06-09 用于有透镜和无透镜的光学感测的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462015369P 2014-06-20 2014-06-20
US62/015,369 2014-06-20
PCT/US2015/034966 WO2015195417A1 (en) 2014-06-20 2015-06-09 Systems and methods for lensed and lensless optical sensing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811421690.2A Division CN109893084A (zh) 2014-06-20 2015-06-09 用于有透镜和无透镜的光学感测的系统和方法

Publications (2)

Publication Number Publication Date
CN106455974A CN106455974A (zh) 2017-02-22
CN106455974B true CN106455974B (zh) 2018-12-14

Family

ID=54935983

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811421690.2A Pending CN109893084A (zh) 2014-06-20 2015-06-09 用于有透镜和无透镜的光学感测的系统和方法
CN201580033107.9A Expired - Fee Related CN106455974B (zh) 2014-06-20 2015-06-09 用于有透镜和无透镜的光学感测的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811421690.2A Pending CN109893084A (zh) 2014-06-20 2015-06-09 用于有透镜和无透镜的光学感测的系统和方法

Country Status (4)

Country Link
US (3) US10188289B2 (zh)
EP (1) EP3157410B1 (zh)
CN (2) CN109893084A (zh)
WO (1) WO2015195417A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
US11154203B2 (en) 2015-06-14 2021-10-26 Facense Ltd. Detecting fever from images and temperatures
US10349887B1 (en) 2015-06-14 2019-07-16 Facense Ltd. Blood pressure measuring smartglasses
US11064892B2 (en) 2015-06-14 2021-07-20 Facense Ltd. Detecting a transient ischemic attack using photoplethysmogram signals
US10799122B2 (en) 2015-06-14 2020-10-13 Facense Ltd. Utilizing correlations between PPG signals and iPPG signals to improve detection of physiological responses
US11103140B2 (en) 2015-06-14 2021-08-31 Facense Ltd. Monitoring blood sugar level with a comfortable head-mounted device
US11103139B2 (en) 2015-06-14 2021-08-31 Facense Ltd. Detecting fever from video images and a baseline
US10376163B1 (en) 2015-06-14 2019-08-13 Facense Ltd. Blood pressure from inward-facing head-mounted cameras
US10791938B2 (en) 2015-06-14 2020-10-06 Facense Ltd. Smartglasses for detecting congestive heart failure
US10638938B1 (en) 2015-06-14 2020-05-05 Facense Ltd. Eyeglasses to detect abnormal medical events including stroke and migraine
US10667697B2 (en) 2015-06-14 2020-06-02 Facense Ltd. Identification of posture-related syncope using head-mounted sensors
WO2017123571A1 (en) * 2016-01-11 2017-07-20 Carrier Corporation Pyroelectric detector system
US10274652B2 (en) * 2016-02-05 2019-04-30 Rambus Inc. Systems and methods for improving resolution in lensless imaging
CN105976317B (zh) * 2016-04-28 2019-03-19 中国科学院遥感与数字地球研究所 一种图像空间退化模拟方法及系统
JP7120929B2 (ja) * 2016-06-07 2022-08-17 エアリー３ディー インコーポレイティド 深度取得及び３次元撮像のためのライトフィールド撮像デバイス及び方法
US10217235B2 (en) * 2016-07-11 2019-02-26 Nri R&D Patent Licensing, Llc Advanced lensless light-field imaging systems and methods for enabling a wide range of entirely new applications
CN108174059B (zh) * 2016-12-08 2021-04-13 松下知识产权经营株式会社 摄像装置
US10339631B2 (en) 2017-01-11 2019-07-02 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
US10275855B2 (en) 2017-01-11 2019-04-30 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
CN107369187B (zh) * 2017-06-20 2019-08-13 天津大学 基于邻点变差和的电学层析成像正则化重建方法
CN111066263B (zh) * 2017-07-21 2023-10-03 加州理工学院 超薄平面无透镜相机
WO2019033110A1 (en) 2017-08-11 2019-02-14 California Institute Of Technology THIN-DIMENSIONAL IMAGING WITHOUT LENS USING DIRECTIONAL DETECTION ELEMENTS
CN107506705B (zh) * 2017-08-11 2021-12-17 西安工业大学 一种瞳孔-普尔钦斑视线跟踪与注视提取方法
US10317515B2 (en) * 2017-09-01 2019-06-11 Wisconsin Alumni Research Foundation Apparatus for identifying objects outside of a line-of-sight
WO2019078338A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 電子機器
WO2019095069A1 (en) * 2017-11-16 2019-05-23 Yang Victor X D Systems and methods for performing gabor optical coherence tomographic angiography
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
CN108282225B (zh) * 2017-12-27 2020-05-26 吉林大学 基于无透镜成像器的可见光通信方法
JP6814762B2 (ja) * 2018-03-16 2021-01-20 株式会社日立製作所 撮像装置
US10778912B2 (en) * 2018-03-31 2020-09-15 Open Water Internet Inc. System and device for optical transformation
CN111345026B (zh) 2018-08-27 2021-05-14 深圳市大疆创新科技有限公司 图像呈现方法、图像获取设备及终端装置
CN110930311B (zh) * 2018-09-19 2023-04-25 杭州萤石软件有限公司 一种提高红外图像与可见光图像融合的信噪比方法与装置
US20200125169A1 (en) * 2018-10-18 2020-04-23 Eyetech Digital Systems, Inc. Systems and Methods for Correcting Lens Distortion in Head Mounted Displays
CN109431454A (zh) * 2018-12-14 2019-03-08 广州市妇女儿童医疗中心 白内障筛查检测仪的机壳及应用于白内障筛查的检测仪
ES2956789T3 (es) * 2019-01-03 2023-12-28 OroraTech GmbH Cámara térmica no refrigerada
US11326763B1 (en) 2019-02-06 2022-05-10 Apple Inc. Light-emitting diodes with optical filters
US11861941B1 (en) * 2019-02-06 2024-01-02 Apple Inc. Eye camera systems with polarized light
CN110151122A (zh) * 2019-05-10 2019-08-23 广东唯仁医疗科技有限公司 一种oct成像装置螺旋扫描方法
CN110166678A (zh) * 2019-06-26 2019-08-23 京东方科技集团股份有限公司 图像采集结构及其采集方法、显示装置
WO2021010339A1 (ja) * 2019-07-12 2021-01-21 株式会社小糸製作所 イメージング装置およびその照明装置、車両、車両用灯具
CN111123538B (zh) * 2019-09-17 2022-04-05 印象认知（北京）科技有限公司 图像处理方法及基于点扩散函数调整衍射屏结构的方法
CN111161345B (zh) * 2019-12-20 2023-08-29 上海航天控制技术研究所 一种基于谱段特性差异的红外抗干扰方法及装置
CN113050872A (zh) * 2019-12-26 2021-06-29 财团法人工业技术研究院 传感器上的数据处理系统及其方法与去识别化传感装置
US11644682B2 (en) * 2020-06-11 2023-05-09 Carnegie Mellon University Systems and methods for diffraction line imaging
US20220086321A1 (en) * 2020-09-15 2022-03-17 Micron Technology, Inc. Reduced diffraction micro lens imaging
DE102020212367A1 (de) 2020-09-30 2022-03-31 Carl Zeiss Smt Gmbh Optische Komponente
CN112449095A (zh) * 2020-11-12 2021-03-05 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、可读存储介质
CN112669201B (zh) * 2020-12-25 2023-09-12 知天(珠海横琴)气象科技有限公司 一种基于红外光的可见光云图转换方法、系统及其终端
CN112862922B (zh) * 2021-01-27 2022-10-11 南昌大学 一种基于多特征生成网络先验信息引导的图像填充方法
TWI797563B (zh) * 2021-02-23 2023-04-01 廣達電腦股份有限公司 超短距目鏡系統
DE102022207545A1 (de) 2022-07-25 2023-04-27 Carl Zeiss Smt Gmbh Optische Komponente

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07135623A (ja) * 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
CN101793823A (zh) * 2002-01-24 2010-08-04 通用医疗公司 Lci和oct信号的测距和降噪的装置和方法
CN101945612A (zh) * 2008-02-14 2011-01-12 诺基亚公司 用于确定注视方向的设备和方法
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1529711A (en) * 1975-07-01 1978-10-25 Rca Corp Optical etc phase filters producing near-field patterns
US4287410A (en) 1979-02-28 1981-09-01 Sri International Double Purkinje eye tracker
US4720189A (en) 1986-01-07 1988-01-19 Northern Telecom Limited Eye-position sensor
JP2910258B2 (ja) 1991-01-08 1999-06-23 キヤノン株式会社 視線検出装置
US5536924A (en) 1994-06-07 1996-07-16 Intermec Corporation Method and apparatus for matrix symbology imager
US5870503A (en) 1994-10-20 1999-02-09 Minolta Co., Ltd. Image processing apparatus using error diffusion technique
SG74025A1 (en) 1997-10-03 2000-07-18 Inst Of Microelectronics Combined infrared and visible light spectroscopic photoemission microscope
EP1060427A4 (en) 1998-01-07 2006-01-25 Templex Technology Inc COMPOSITE DIFFRACTION GRIDS FOR SIGNAL PROCESSING AND OPTICAL GUIDE APPLICATIONS
US6393150B1 (en) 1998-12-04 2002-05-21 Eastman Kodak Company Region-based image binarization system
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6122062A (en) 1999-05-03 2000-09-19 Fanuc Robotics North America, Inc. 3-D camera
KR100390875B1 (ko) 1999-10-27 2003-07-10 (주)해빛정보 위상 회절 격자형 광 저대역 통과필터
US6344893B1 (en) 2000-06-19 2002-02-05 Ramot University Authority For Applied Research And Industrial Development Ltd. Super-resolving imaging system
US7248297B2 (en) 2001-11-30 2007-07-24 The Board Of Trustees Of The Leland Stanford Junior University Integrated color pixel (ICP)
US7355716B2 (en) * 2002-01-24 2008-04-08 The General Hospital Corporation Apparatus and method for ranging and noise reduction of low coherence interferometry LCI and optical coherence tomography OCT signals by parallel detection of spectral bands
JP2004334339A (ja) * 2003-04-30 2004-11-25 Canon Inc 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム
US7746396B2 (en) 2003-12-17 2010-06-29 Nokia Corporation Imaging device and method of creating image file
US8531562B2 (en) * 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US7215493B2 (en) * 2005-01-27 2007-05-08 Psc Scanning, Inc. Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
CN101336089A (zh) * 2006-01-26 2008-12-31 诺基亚公司 眼睛跟踪器设备
US7613360B2 (en) * 2006-02-01 2009-11-03 Honeywell International Inc Multi-spectral fusion for video surveillance
US20070230793A1 (en) * 2006-04-03 2007-10-04 Kabushiki Kaisha Toshiba Method and apparatus for pattern matching processing
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
JP4757221B2 (ja) 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
US8368741B2 (en) 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
US7820967B2 (en) * 2007-09-11 2010-10-26 Electrophysics Corp. Infrared camera for locating a target using at least one shaped light source
CN103632125A (zh) * 2008-07-24 2014-03-12 加利福尼亚大学董事会 用于色散型傅立叶变换成像的设备和方法
WO2010014084A1 (en) 2008-07-30 2010-02-04 Optoelectronics Co., Ltd. One dimensional barcode reader using two dimensional image sensor
US7924312B2 (en) * 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
US8520970B2 (en) 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US8709702B2 (en) 2010-02-10 2014-04-29 3D Glass Solutions Methods to fabricate a photoactive substrate suitable for microfabrication
US8384559B2 (en) 2010-04-13 2013-02-26 Silicon Laboratories Inc. Sensor device with flexible interface and updatable information store
AU2011281377B2 (en) * 2010-07-22 2013-12-12 Renishaw Plc Laser scanning apparatus and method of use
WO2012018887A2 (en) * 2010-08-03 2012-02-09 Cornell University Angle sensitive pixel (asp)-based image processing system, method, and applications
US8379123B2 (en) 2010-12-13 2013-02-19 Research In Motion Limited System and method of capturing low-light images on a mobile device
US9055248B2 (en) 2011-05-02 2015-06-09 Sony Corporation Infrared imaging system and method of operating
US9204062B2 (en) 2011-08-24 2015-12-01 Fluke Corporation Thermal imaging camera with range detection
WO2013052781A1 (en) * 2011-10-07 2013-04-11 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9440844B2 (en) 2012-04-02 2016-09-13 Semiconductor Components Industries, Llc Optical and infrared imaging system
CN102693409B (zh) * 2012-05-18 2014-04-09 四川大学 一种快速的图像中二维码码制类型识别方法
JP6000705B2 (ja) * 2012-07-17 2016-10-05 キヤノン株式会社 データ処理装置及びデータ処理方法
WO2014043142A1 (en) 2012-09-11 2014-03-20 Augmented Vision, Inc. Compact eye imaging and eye tracking apparatus
US9110240B2 (en) * 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
KR20150021353A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
US10175396B2 (en) * 2014-12-11 2019-01-08 Rambus Inc. Ultra-miniature wide-angle lensless CMOS visual edge localizer

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07135623A (ja) * 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
CN101793823A (zh) * 2002-01-24 2010-08-04 通用医疗公司 Lci和oct信号的测距和降噪的装置和方法
CN101945612A (zh) * 2008-02-14 2011-01-12 诺基亚公司 用于确定注视方向的设备和方法
CN102955255A (zh) * 2011-09-26 2013-03-06 微软公司 集成眼睛追踪和显示系统

Also Published As

Publication number Publication date
CN106455974A (zh) 2017-02-22
CN109893084A (zh) 2019-06-18
US20160073043A1 (en) 2016-03-10
WO2015195417A1 (en) 2015-12-23
EP3157410A1 (en) 2017-04-26
EP3157410A4 (en) 2018-02-28
US10057510B2 (en) 2018-08-21
EP3157410B1 (en) 2020-05-06
US20170112376A1 (en) 2017-04-27
US20190191993A1 (en) 2019-06-27
US10188289B2 (en) 2019-01-29
US10653313B2 (en) 2020-05-19

Similar Documents

Publication Publication Date Title
CN106455974B (zh) 用于有透镜和无透镜的光学感测的系统和方法
CN106104318B (zh) 低功率图像改变检测器
US9268071B2 (en) Phase gratings with odd symmetry for high-resolution lensed and lenseless optical sensing
CN105008969B (zh) 用于高分辨率无透镜光学传感的具有奇对称的相位光栅
CN105574483B (zh) 一种移动终端前置和人脸/虹膜识别一体化光电成像系统
US9746593B2 (en) Patchwork Fresnel zone plates for lensless imaging
US10404908B2 (en) Optical systems and methods supporting diverse optical and computational functions
US10451548B2 (en) Active hyperspectral imaging system
Stork et al. Optical, mathematical, and computational foundations of lensless ultra-miniature diffractive imagers and sensors
US10284825B2 (en) Systems with integrated refractive and diffractive optics
Jabari et al. Improving UAV imaging quality by optical sensor fusion: an initial study
CN101660947A (zh) 三维测温成像系统及其测量方法
CN102650549A (zh) 点格分光镜调制的基于fpa的非制冷热成像光学系统
CN116849624B (zh) 基于4cmos的图像传感器荧光成像方法及系统
Chen et al. Underwater hyperspectral imaging bioinspired by chromatic blur vision
CN115147287B (zh) 光谱芯片的光谱恢复方法、光谱恢复装置和电子设备
Spanna Extraction of Peronospora infection through the analysis of hyperspectral data
US20210123806A1 (en) Spectral imaging device and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181214