CN109313345A - 用于图像采集和分析的有源脉冲4d 摄像装置的方法和装置 - Google Patents

用于图像采集和分析的有源脉冲4d 摄像装置的方法和装置 Download PDF

Info

Publication number
CN109313345A
CN109313345A CN201780022670.5A CN201780022670A CN109313345A CN 109313345 A CN109313345 A CN 109313345A CN 201780022670 A CN201780022670 A CN 201780022670A CN 109313345 A CN109313345 A CN 109313345A
Authority
CN
China
Prior art keywords
detector
transmitter
light
array
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780022670.5A
Other languages
English (en)
Other versions
CN109313345B (zh
Inventor
詹姆斯·E·雷特拉特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
4d Intellectual Property Co Ltd
Facet Technology Corp
Original Assignee
4d Intellectual Property Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 4d Intellectual Property Co Ltd filed Critical 4d Intellectual Property Co Ltd
Publication of CN109313345A publication Critical patent/CN109313345A/zh
Application granted granted Critical
Publication of CN109313345B publication Critical patent/CN109313345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/23—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using wavelength separation, e.g. using anaglyph techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1717—Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

利用精确控制的光源的有源脉冲四维摄像装置系统产生空间信息和人类观察的或者计算机分析的图像。以足够的速率执行四维光学信息的获取，以便为摄像装置处于运动和/或被成像、检测及分类的对象处于运动中的运动中应用提供准确的图像和空间信息。实施方式允许减少或去除来自处理图像的图像阻挡条件，例如雾、雪、雨、雨夹雪和灰尘。实施方式提供在白天或夜间条件下的操作，并且可以被用于具有诸如阴影去除的特征的白天或夜晚的全动态视频捕获。多角度图像分析被教导作为用于基于其光学反射特性来对对象和表面特征进行分类和识别的方法。

Description

用于图像采集和分析的有源脉冲4D 摄像装置的方法和装置
技术领域
实施方式总体上涉及提供到场景的图像中的点的距离的测量的摄像装置。更特别地，实施方式涉及有源光源摄像装置，由此在周围照明条件的宽范围内获取场景和对象的图像，其中每个摄像装置像素提供颜色和距离信息。
背景技术
也称为三维(3D)摄像装置的三维光子成像系统能够为场景中的物理对象提供距离测量和光子测量。这种3D摄像装置的应用有工业检测、选择性机器人视觉、3D建模、地理测量和法医分析。
可以利用各种技术实现3D摄像装置，其中每个技术组合都存在使得摄像装置在广泛使用的应用中无效的某些限制。立体视觉3D摄像装置以固定的、高度校准的配置实现两个或更多个成像阵列，并且利用视场内的公共点的三角测量以建立到公共点中的每一个的距离。立体视觉系统受到由于遮挡和视差引起的图像距离不准确的影响。此外，当图像阵列之间的基线距离相对于被测距离较小时，距离精度受到影响。最后，由于需要多个图像阵列并且对图像阵列之间的基线偏移的高精度要求，立体3D摄像装置是昂贵的。
飞行时间(TOF)系统利用脉冲或调制的光源例如激光，因此它们提供用于与用于测量从场景中的对象反射的光的幅度和定时的成像系统一起照亮场景的光脉冲。使用用于所有反射信号的已知光速确定到场景中点的距离。用于TOF设备的成像系统包括具有通常使用CCD或CMOS技术制造的光电检测器阵列的摄像装置，以及用于快速选通光电检测器元件的收集时间的方法。在特定的选通周期期间，光电检测器元件捕获反射光。
一些TOF系统仅利用光脉冲和门控光电检测器之间的定时来确定3D 对象距离。其他TOF系统在选通捕获周期期间利用接收的光量来建立对象距离。这些系统的精度取决于入射光的均匀性和光电检测器的选通机构的速度。
利用门控光电检测器是建立到场景中的对象的距离的有效方法。通过精确地控制入射光脉冲和门控光电检测器之间的定时，可以精确地确定到某些距离带中的对象的距离。为了建立其他距离带的对象距离，使用随后的光和门控光电检测器周期，同时将静止的对象和固定的摄像装置保持在它们的当前配置和取向中。场景中的摄像装置和/或对象的任何移动将导致没有彼此配准的距离测量带。
美国专利第4935616号中描述的3D摄像装置使用调制源和成像系统。该系统的优选实施方式使用CW激光器并且利用入射信号和反射信号之间的相位差来建立到对象的距离。
在美国专利第5081530号中描述了另一种3D摄像装置。该系统利用了用于每个光电检测器元件的一对门。到对象的距离根据两个门控元件处的采样能量之间的差异的比率确定。
美国专利第7362419号和美国专利第7755743号各自利用调制的光强度源和相位范围来检测发射信号和检测信号之间的相移。美国专利第 8159598号的实施方式利用了调制的光强度和相移检测用于飞行时间确定。美国专利第8159598号的其他实施方式利用了具有低分辨率距离路径的高分辨率颜色路径来确定用于检测器或检测器组的3D信息。
Yahav的美国专利第8102426号描述了芯片上的3D视觉，并且利用在操作时间被选通的光电检测器元件阵列以在场景中建立对象距离。光电检测器位置用于TOF距离测量或用于确定对象颜色。Yahav的实施方式描述了利用光电检测器元件的组或带来建立各种距离带。Yahav的其他实施方式描述了用于每个捕获周期的单个距离带，其中利用捕获周期的序列建立了全场景距离。尽管在Yahav中未指定，实施方式的要求是在整个捕获周期的序列中没有摄像装置和场景中的对象的移动。
对于诸如自主车辆导航、移动地图、农业、采矿和监视的现实应用，不实际的是在一系列成像周期期间在3D摄像装置和场景中的对象之间需要很少或不需要相对移动。此外，大多数真实情况发生在具有广泛变化的环境光条件的场景中。期望具有以足够的速率捕获图像来精确地测量在对象、摄像装置或两者在运动中的瞬态场景中的对象的3D摄像装置。此外，期望具有产生用于白天和夜间成像的精确距离和颜色的有源光源3D摄像装置。此外，期望的是具有能够“透视”极大地限制了二维摄像装置的可见性的大气条件的摄像装置。
发明内容
在实施方式中，四维(4D)摄像装置的光电检测器阵列利用有源光脉冲的快速序列和门控光电检测器周期捕获来自场景的反射光，在连续的光脉冲和对应的门控检测器周期之间具有可区分的相对定时。
在实施方式中，入射光是能量带中的从大约400纳米到700纳米的全光谱可见光。光电检测器位置对该波长带中的辐射敏感。在实施方式中，光电检测器利用带通滤波器来减小或消除期望能量带之外的辐射。带通滤波器在IR消除滤波器的情况下可以被应用作为全局阵列滤波器，并且在用于在阵列中建立RGB元件的拜耳图案的情况下可以被应用作为用于每个光电检测器的单独滤波器。
在一些实施方式中，光电检测器元件利用耦接到光电检测器集成元件的光电二极管，由此来自光电二极管的电流在光电检测器的选通周期期间产生收集或集成的电荷。光电检测器集成级通过将集成电荷快速转移到系统中的下一个处理元件来耗尽，从而允许光电检测器级开始用于随后的光电检测器集成周期的集成。
在实施方式中，阵列中的每个光电检测器位置连接到专用电荷转移级，其中，K级中的每一个促进来自光电检测器位置的电荷的快速转移。每个光电检测器利用K个电荷转移级允许每个成像周期最多K个门控发射器/检测器周期。
在实施方式中，检测器阵列和电荷转移位置与选通电路系统和电荷转移控制电路系统一起在焦平面阵列上被制造。光电检测器位置的数目将足够大，并且到下游摄像装置电路系统的焦平面阵列接口将具有比高速电荷传输阵列的吞吐量相对更低的吞吐率。
在实施方式中，检测器阵列与选通电路系统一起在焦平面阵列上被制造。用于焦平面阵列的信号接口足够快，使得集成电荷可以从集成位置直接转移到4D帧缓冲器，而不需要电荷转移阵列。
在一些实施方式中，4D摄像装置光源包括一个或更多个元件，如在整个期望的频率范围内提供均匀的强度的LED。在其他实施方式中，光源是诸如LED的光学元件的组合，其中，在单独的光学元件上的频率响应组合以形成在期望的频率范围内均匀的输出信号。
在实施方式中，摄像装置检测衰减发射信号和反射信号的环境条件，并且利用来自环境信号和周围信号的检测信息来建立非衰减信号强度、对象距离和对象颜色。
在实施方式中，光强度在整个频率范围内是非均匀的。非均匀光的特点是建立在图像后处理期间应用的颜色校正中使用的参数。在实施方式中，光强度在整个视场中是空间非均匀的。映射非均匀空间强度以允许在图像后处理期间的场景强度和颜色调整。
在一些实施方式中，光能被发射和接收作为650nm、905nm或1550 nm的常见激光波长。在一些实施方式中，光能可以在以下波长范围内：紫外光(UV)—100nm至400nm、可见光—400nm至700nm、近红外光(NIR)—700nm至1400nm、红外光(IR)—1400nm至8000nm、长波红外光(LWIR)-8um至15um、远红外光(FIR)—15um至1000 um、或太赫兹—0.1mm至1mm。
附图说明
图1示出了4D摄像装置配置的外部视图。
图2示出了限定系统的视场的4D摄像装置的各方面。
图3示出了系统的主要电气和光学元件的功能框图。
图4示出了示出多个4D图像捕获和处理周期的电时序图。
图5示出了其中每个光电检测器像素由单个光电检测器、相关的集成级和K个电荷转移级组成的检测器阵列的电功能框图。
图6示出了构成针对单个4D帧缓冲器收集的数据的发射器/检测器事件的十一级的电时序图。
图7示出了典型的16级检测器像素的TOF范围，并且示出了所有集成级的相关的收集的强度值。
图8示出了具有使光路径模糊的雾的对象的成像。
图9示出了具有使光路径模糊的雾的成像的TOF范围和强度值。
图10示出了用于单个4D帧缓冲器的检测器事件的十级的电时序图，其中，最终级在时间上扩展以集成更多颜色信息。
图11示出了十级检测器像素的TOF范围，并且示出了所有集成级的相关的收集的强度值。
图12a示出了50nSec发射器脉冲的光学时序图。
图12b示出了同样的50nSec发射器脉冲的累积强度的光学时序图。
图13a示出了理想可见光谱发射器的光谱输出。
图13b示出了典型白色LED发射器的光谱输出。
图14a示出了红色LED发射器和绿色LED发射器以及白色LED发射器的光谱输出。
图14b示出了利用白色LED、绿色LED和红色LED生成的组合信号的累积光谱输出。
图15示出了蓝色发射器、红色发射器和绿色发射器的光谱输出。
图16示出了其中由车辆前灯生成发射的光并且检测器光学和电气部件被容纳在与发射器分开的车辆内的汽车配置。
图17示出了汽车配置中的前灯定时控制，由此4D摄像装置电路系统取得对前灯的控制权。
图18示出了用于收集在针对对象的角度强度分布分析中使用的图像数据的环境。
图19示出了利用角度强度分布分析来分类或识别对象的算法的流程图。
图20示出了摄像装置用于在低可见度条件下提供信息的汽车配置。
具体实施方式
图1示出了4D摄像装置10的机械配置。透镜20包括将来自视场 (FOV)的光引导并聚焦到检测器阵列上的一个或更多个透明光学元件。带通滤波器通常被包括作为透镜20组件的一部分以滤除不需要的频率分量。例如，利用用于发射器的905nm激光器的4D摄像装置10可以包括 905nm的窄带通滤波器，以便排除可见光谱和其他IR频率对检测器元件的激励。发射器30提供分布在包括检测器阵列的FOV和相关透镜10的区域上的入射光。源自发射器30的光是“有源”光，因为可以将它与“无源”环境光区分开。各个发射器30可以是有透镜的，以在整个FOV中适当地分布光。所有发射器30可以生成彼此相同的频率或者单独的发射器 30可以生成设备10的期望光谱输出的不同频带。通过4D摄像装置10上的电子器件精确地控制发射器30的脉冲。用于摄像装置10的机械壳体 40通常具有设备安装特征，以允许将摄像装置10精确定向到与其附接的设备或车辆。经由电源连接45向4D摄像装置10供电。信息经由集成的电力/通信电缆45、经由单独的I/O电缆或经由无线接口向/从摄像装置10 传输。
图2示出了针对检测器阵列50的实施方式的光学配置。透镜52或其他光学器件确定检测器阵列50的视场56。检测器阵列50的视场56的边缘由从设备的法向量扩展的角度范围来限定。该相同的法向量将用作用于检测到的对象的后续角度测量的参考向量。所示出的表面54是对在离阵列50恒定距离处的检测器阵列50视场的描绘。在各个实施方式中，阵列 50中的每个检测器元件58可以在视场56内与不同角度60相关联。单个检测器58的视场62将是检测器阵列50的视场56的子集。换句话说，检测器阵列50的视场56是所有各个视场62的总和。
对于具有内聚焦透镜52的检测器阵列50，对应于每个检测器58的各个视场62应与相邻检测器的视场精确对准。实际上，透镜52几乎将永远不会完全对焦。因此，透镜系统中的每个检测器58的视场62通常可以交叠，但是每个检测器58的视场与检测器阵列50中的任何其他检测器 58的视场不同。由于半导体布局限制、基板热考虑、电串扰避免或其他布局、制造或产量限制，检测器阵列50在其配置中可能不具有最佳密度。同样的，由于反射光子与连续检测器元件58之间的未使用空间接触，稀疏检测器阵列50可能在设备视场56内经历光子检测器效率的损失。
对于非透镜系统，每个检测器58的视场62可以由衍射光栅、干涉仪、波导、2D掩模、3D掩模或被设计成允许光在特定视场内的各种其他孔径配置来确定。这些单独的检测器孔径通常将在设备视场56内具有交叠的视场62。
各种实施方式的元件决定了每个检测器58的角度60。图2示出了具有单个透镜52的检测器阵列50。另一个实施方式在每个检测器元件58 处利用微透镜，其中，各个微透镜被配置成在整个设备的视场56中以各种角度发射反射光。另一个实施方式利用在整个设备的视场中具有各种角度的波导的检测器元件58。其他实施方式利用具有由干涉仪、衍射光栅、 2D掩模、3D掩模或其他孔径形成结构产生的以在整个设备的视场中以各种角度产生波导特性的孔的检测器元件。对于与图2的透镜系统类似的具有将内聚焦光传输到阵列50的透镜52的单透镜52系统，各个视场62基本上与阵列50中的相邻检测器58的视场相邻。失焦透镜52将产生用于各个检测器58的交叠视场62。波导和孔径检测器将可能产生用于各个检测器58的交叠视场62。微透镜也可能为各个检测器58产生交叠的视场 62。根据本文的说明，所有这些交叠的视场实施方式产生可靠的结果。这些实施方式的光学检测系统的特征是：多个检测器元件包括设备的视场 56，并且检测器阵列中的每个元件由确定检测器58的视场62的角度60 限定。
变化将发生在被用于4D摄像装置的检测器阵列50的制造中。在与图2中所示的单透镜检测器阵列设备类似的单透镜52检测器阵列设备中，阵列50和透镜52的对准中的微小差异可以导致分离的设备之间的检测器角度的差异。由于设备之间的微小制造和组装差异，每个设备可能经历后期制造特性描述处理。特性描述处理限定用于每个构造的检测器元件的中心角60。在各个实施方式中，来自该处理的特性描述数据被存储在非易失性存储器中或存储在每个设备的配置文件中。波导、微透镜和孔径设备可能需要类似的特性描述以建立每个检测器元件的角度60。
由于光路径的精确确定的重要性，需要对根据各个实施方式的设备进行原位校准。作为示例，根据实施方式的4D摄像装置设备可以被用作自主车辆中的传感器。为了保护设备，4D摄像装置可以被安装在的乘用车内，固定在后视镜后面的挡风玻璃上。由于设备面向车辆前方，因此发射光和反射光将在其到外部对象和其从外部对象发出的途中穿过挡风玻璃。由于反射、折射和衰减，光的两个分量在穿过挡风玻璃时都会发生变形。在用于该自主车辆的原位校准中，4D摄像装置可以包括发射预定校准图案并测量反射信号的强度、位置和角度的设备。设备特性描述参数将被更新以说明基于校准的入射光和/或反射光的改进的光路径。
图3示出了具有用于4D摄像装置70的电气和光学元件的实施方式的功能框图。光电检测器阵列72是以特定频率感测光子并且将光能转换为电信息的M行×N列元件的配置。用于4D摄像装置70的图像捕获周期将由以快速序列产生的K个连续的发射器/检测器周期组成，其中相对定时针对K个连续周期中的每一个变化，以说明不同的TOF并且因此说明用于捕获周期的不同距离范围带。来自光电检测器阵列72的信息被存储在4D帧缓冲存储器74中。在4D帧缓冲存储器74中有K个帧缓冲器，其中K帧缓冲器中的每一个与针对每个发射器/检测器周期为M×N检测器72收集的检测器信息对应。来自光电检测器72的信息通常被收集并且以模拟信号形式集成。在数字信息4D帧缓冲器74中存储之前，A/D转换器76将检测器72信息转换成数字格式。K个4D帧缓冲器74中的每一个将具有MxNxL位，其中M是检测器阵列72中的行数，N是检测器阵列 72中的列数，并且L是由每个A/D转换器76产生的每个像素的位数。实施方式中的A/D转换器元件76的数目可以在1到MxN的范围内。更多 A/D转换器元件76允许更快的传输或从光电检测器阵列72到4D帧缓冲器74的信息。
在实施方式中，光电检测器阵列72被制造为利用电连接78以与其他摄像装置70电路系统连接的焦平面阵列。该电接口78通常具有低于高速光电检测元件72所需的带宽的带宽。电荷转移阵列80是快速模拟存储元件的集合，所述快速模拟存储元件以足以允许光电检测器元件72快速处理随后的发射器/检测器事件的速率，从光电检测器阵列72获取信息。电荷转移阵列80的大小通常是MxNxK个模拟存储元件，其中M是检测器阵列72中的行数，N是检测器阵列72中的列数，并且K是构成用于单个 4D摄像装置70事件的4D捕获周期的发射器/检测器周期的数目。
单独处理来自4D帧缓冲器74的信息，以获得颜色信息和距离信息。控制器82针对MxN个像素中的每一个，计算来自TOF算法的距离值，并且将距离信息存储在深度图84存储器中。在实施方式中，光电检测器阵列72利用诸如拜耳图案或一些其他红-绿-蓝(RGB)配置的滤色器图案制造。来自检测器滤波器图案的每种颜色将需要设备70存储器中的对应颜色平面86。图3示出了与例如具有拜耳滤波器图案的检测器阵列的红色、绿色和蓝色平面对应的颜色平面0到2 86。颜色平面86的数目可以是单色、灰度级或单频应用以及用于IR和NIR应用的数目。颜色平面86 的数目被表示为C并且与在检测器阵列72的光路径中使用的不同带通滤波器的数目对应，或者与在单检测器过滤的、多个发射极波长配置中利用的单独的发射器频率的数目对应。C颜色平面86中的每一个包含MxN个元素，每个元素具有L位的信息。对于具有多色检测器滤波器的实施方式，控制器82可以在C颜色平面86中的每一个上执行去马赛克，以从由检测器滤波器图案产生的稀疏图创建密集颜色图。
控制器82将单独的颜色平面86组装成输出图像格式，并且将生成的文件存储在设备存储器88中。输出文件可以是诸如TIFF、JPEG、BMP 或任何其他工业标准或其他专有格式的格式。图像的深度图84信息可以被存储在图像文件中或者可以在与图像文件相关联的单独文件中产生。在输出文件的创建完成之后，控制器82经由I/O 90接口将信息发送到上游应用程序或设备。控制器82配置以下中的全部：用于发射器92的排序控制信息、光电检测器72集成、4D帧缓冲器74变换为颜色86和深度84 信息，以及设备70与其他设备的通信。控制器82可以是单个CPU元件或者可以是执行用于设备70的各种控制功能的微控制器和/或图形处理单元(GPU)的集合。
图4示出了用于多个图像捕获周期的电信号定时。在发射器驱动脉冲的第一序列100期间，存在激励摄像装置发射器的K个脉冲。在发射器驱动脉冲开始之后的选定时间，执行K个检测器集成102周期。在最后一个检测器集成周期102完成后，信息从检测器阵列或电荷转移阵列传送到 4D帧缓冲器104。将MxNxK个强度值从检测器阵列或电荷转移阵列转移到4D帧缓冲器的时间通常比发射器/检测器周期100、102的时间长得多。
在4D帧缓冲器的填充完成后，摄像装置控制器将创建MxN深度图 106并且将创建颜色平面108。在摄像装置利用由检测器阵列上的多个滤色器产生的多个颜色平面的实施方式中，控制器对稀疏颜色平面中的每一个执行去马赛克以产生用于每个颜色平面的MxN个颜色值。控制器为当前颜色图像创建输出文件，并且将文件格式化110，以传输到上游设备或应用程序。
4D摄像装置的帧速率将通常是处理序列中的最长动作的函数。对于图4的实施方式，由于焦平面阵列架构的典型带宽限制，4D帧缓冲器104 的填充是最长的动作。当清空4D帧缓冲器时新的发射器/检测器周期可以开始。示出了在针对前一个摄像装置周期创建深度106和颜色平面108时，针对第二4D摄像装置帧周期的发射器驱动脉冲114和检测器集成周期 116开始。这种计算周期的流水线操作是本领域中已知的用于增加计算事件的常规串行序列的吞吐量的技术。
图5示出了检测器阵列120元件的功能电气图。检测器阵列120由M 行和N列元件组成。单个检测器元件122的功能在图5的顶部示出。光电检测器124以反向偏置配置示出。当集成门128处于选通ON位置时，光电检测器124处的入射光子126使电流流动。该选通开关允许电流仅在门 128关闭的时间期间流到集成器级130。流到集成器级130的电流允许经由放大器134在电容器132处收集电荷。应注意的是，电容器123是功能元件，其表示由于来自光电检测器124的电流而收集电荷的任何设备或特征。本领域技术人员可以利用同时符合实施方式的要素的相同的功能部件产生用于栅极开关128、集成器134和电容器132的替换件。
在检测器122集成周期期间，在电容器132处收集的电荷的强度与在集成器130的选通时间期间存在的入射光子126的数目成比例。在光电检测器130集成期间，电荷转移开关136保持在打开位置。在集成周期完成时，打开集成开关128并且收集的电荷保持在集成器130级。在电荷转移周期开始期间，电荷通过闭合电荷转移级0 138栅极开关136，从集成电容器132迁移到电荷转移级0 138电容器140。在来自电荷转移级0 138 的出口线处，另一个栅极开关142使能够将电荷从级0 138转移到级1 144。用于级0的输入开关136和输出开关142不是同时处于“接通”或闭合位置，因此在随后的电荷转移周期中将电荷转移到级1之前允许电荷被转移到级0 138并存储在级0 138。电荷转移级K-1 144表示用于K个发射器/检测器周期的最后电荷转移级。当闭合K-1个输出开关148时，将电荷从级K-1 144转移到通向4D帧缓冲器的数据总线146。在K检测器集成周期中的每一个结束时，可以闭合接地开关149以移除可能在光电检测器 124处收集的任何过量电荷。
图6示出了具有K级的4D摄像装置发射器/检测器序列的前11个级的电时序，其中K等于16。发射器和检测器控制电路系统参考从t0 152 开始的发射器时钟150。对于每个发射器周期，发射器驱动脉冲154激活用于发射器时钟150的四个周期的发射器。检测器集成156信号确定用于检测器阵列中的所有集成级的集成时间。在该实施方式中，每个检测器集成周期156等于六个发射器时钟150周期。发射器驱动脉冲154和检测器集成156的开始的相对定时将确定每个发射器检测器周期将检测场景中的对象的距离范围。对于K级的级0，在t0处的发射器开始时间与在t0处的检测器集成的开始之间的偏移导致零发射器时钟150周期的最小飞行时间(TOF)和六个发射器时钟150周期的最大TOF，其中，六个周期由第一发射器脉冲158的开始时间和第一检测器集成周期160的完成时间确定。对于序列的第二发射器/检测器级，检测器集成156的开始164是在第二发射器驱动脉冲154的开始162之后的一个发射器时钟150周期，并且第二检测器集成156的结束166是在发射器驱动脉冲154的开始162之后的七个发射器时钟150周期。用于第二发射器/检测器级的发射器和检测器信号的相对定时对应于一到七个发射器时钟150周期的TOF范围。通过为每个K级增加后续检测器集成156周期的相对开始时间，各个TOF 范围累积以限定整个4D摄像装置捕获序列的范围。
在第一160检测器集成156周期完成时，将集成电荷从MxN个集成元件中的每一个传送168到MxN个电荷转移级0元件中的每一个。在第二检测器集成156周期完成之后，执行第二电荷转移170操作，其将电荷从级0转移到级1并且将电荷从集成级转移到电荷转移级0。检测器输入 172信号示出在用于MxN个集成元素的集成级处电荷被收集的时间。
图7示出了对应于来自的图6的K级定时序列的数据元素表180，其中K＝16，发射器时钟频率为80MHz，并且发射器时钟周期为12.5nSec。第一列182示出了十六级的级号。每个发射器周期是具有由它们的代表性 tx时间表示的开始时间184和结束时间186的四个周期。每个检测器集成周期是具有由它们的代表性tx时间表示的开始时间188和结束时间190的六个周期。示出由限定最小192和最大194时间的tx周期的数目表示的 TOF min 192和TOF max 194时间以建立K级中的每一个的TOF范围。 12.5nSec的发射器时钟周期被用于将TOF min.(tx)192周期转换到TOF min.(nSec)196时间并且将TOF max.(tx)194周期转换到TOF max.(nSec) 198时间。使用针对TOF和光速的公式，对应于每个TOF的距离可以通过下式确定：
距离＝(TOF*c)/2 式1
其中，TOF＝飞行时间
c＝介质中的光速
使用c＝0.3m/nSec作为光速，最小距离(米)200以及最大距离(米) 202值被建立用于针对4D摄像装置捕获序列中的K级中的每一个检测的范围的下限和上限。强度(十六进制)204列示出针对K级中的每一个的集成强度值的数字十六进制值。应注意的是，检测器阵列中的MxN个元件中的每一个将具有与K级的集成强度对应的K个强度值。来自图7中的定时参数和TOF值与所有MxN个元素相同，同时强度值仅对在MxN个检测器阵列中的元素m、n有效。
强度值204的汇总示出了0x28的最小值206和0xF0的最大值208。这些值被指定为Imin[m，n]＝0x28和Imax[m，n]＝0xF0。对于在捕获序列中利用对于所有检测器/发射器级的恒定脉冲宽度定时的实施方式，插入颜色平面缓冲器中的强度值由下式确定：
I颜色[m，n]＝Imax[m，n]-Imin[m，n] 式2
通过利用针对颜色平面强度的式2，通过减去由在场景上或对象上的环境光引起的强度Imin[m，n]的光子分量来消除环境光的影响。式2是当光电检测器集成响应具有与光电检测器处的入射光子数目的线性关系时用于消除环境光的有效方法。对于非线性光子/电荷收集关系，式2将被修改以说明入射光子与集成电荷强度之间的二阶或N阶关系。
对于在利用多色滤波器元件的实施方式中的每个光电检测器m、n， I颜色[m，n]值被存储在与滤波器的颜色对应的颜色平面中的位置m、n处。作为示例，具有拜耳滤波器图案(RGBG)的实施方式将具有MxN/2个绿色滤波器检测器、MxN/4个蓝色滤波器检测器和MxN/4个红色滤波器检测器。在K个集成级完成时，随后填充4D帧缓冲器并且确定MxN个颜色值，控制器将在红色颜色平面存储器中的适当位置处存储MxN/4I红色[m，n]值。反过来，控制器将确定MxN/4蓝色值并在蓝色颜色平面存储器中的适当位置中存储MxN/4蓝色值，并且确定MxN/2绿色值并在绿色颜色平面存储器中的适当位置中存储MxN/2绿色值。
再次参照图7，在三个连续的集成周期中出现最大值208，表明用三个连续的集成窗口捕获了整个反射信号脉冲。通过利用最大强度级中的最后一个的最小距离，控制器确定到该像素m、n的对象的距离是30米。对应于30米的值被存储在深度图存储器中的位置m、n处。实际上，最大强度值可能仅发生在单个集成周期期间。对于这些情况，控制器可以利用部分集成信号以确定对象距离。在实施方式中，选择发射器脉冲宽度和检测器脉冲宽度，使得将存在包括全宽反射信号的至少一个全强度集成周期。此外，连续发射器/检测器周期的开始时间的相对偏移将确保：至少一个集成周期将包括前沿限幅反射信号，并且至少一个集成周期将包括后沿限幅反射信号。用于前沿限幅和后沿限幅集成周期的TOF由下式确定：
其中i是检测到前沿限幅信号的级
j是检测到后沿限幅信号的级
I(i，m，n)是级i处的像素m、n的强度值
I(j，m，n)是级j处的像素m、n的强度值
Imin(m，n)是电流发射器/检测器序列的最小强度值
Imax(m，n)是电流发射器/检测器序列的最大强度值
TOFmin(i)是检测器序列的级i的最小TOF
TOFmax(j)是检测器序列的级j的最大TOF
图6和图7的实施方式实现了发射器和检测器脉冲的经过时间为 3.075微秒(246个发射器时钟周期乘以12.5纳秒/发射时钟周期)的K周期序列。包括4D图像周期的K个发射器/检测器周期的经过时间是运动应用中的重要参数。用于运动内成像的实施方式的目的是为了将场景和检测器之间的相对移动限制为从第一发射器周期的开始到最后一个检测器周期的结束的0.05个像素。场景对象和检测器像素之间的相对移动是参数的函数，包括但不限于：
-摄像装置速度和方向
-摄像装置传输速度和方向
-对象速度和方向
-摄像装置视场
-检测器阵列的分辨率
-4D测量的最小范围
-4D测量的最大范围
对于基于地面的车载和低空飞行器安装应用，4D成像周期时间不应超过50微秒。对于高速的高空飞行器4D成像周期时间不应超过10微秒。本领域技术人员可以设想场景对象和摄像装置之间的相对移动超过0.05 像素的实施方式。这些较长图像周期时间实施方式将利用样本间轨迹技术来说明来自随后的发射器/检测器级的信息，这些发射器/检测器级在检测器阵列网格的结构内不能对准。
在图6和图7中描述的实施方式表示在相对无阻碍的环境中用于均匀脉冲宽度的信号定时和集成强度值。传感器将经常在呈现不太理想的传感条件的环境中运行。对于光学传感器，在确定颜色和强度值时以及在确定对象距离时，导致入射或反射信号衰减的条件需要额外考虑。像灰尘、雨、雾、雨夹雪和大雪的大气条件将由于光子阻挡而引起信号衰减。
图8中的实施方式利用来自图6和图7的信号定时。与图6和图7中相比，此实施方式利用了每个像素的RGB信息。RGB信息可以由拜耳图案或检测器阵列处的一些其他RGB微滤波器配置产生，或者由具有交替的红色、绿色和蓝色照明的单色或其他灰度级检测器阵列产生。图8示出了在包括雾302的大气条件下穿过道路的车辆300。从摄像装置306到对象308的光路径304被示出为穿过雾302。点弧示出了针对K级的前十级中的每一级的最大距离的近似位置，其中在发射器/检测器摄像装置306 序列中K＝16。0级最大距离310是到摄像装置306的最近距离范围并且9 级最大距离312是包括对象308的范围。
图9示出了对应于K级定时序列的数据元素图314，其中K＝16，发射器时钟频率是80MHz，并且发射器时钟周期是12.5nSec。每个级的集成强度值示出为蓝色316、绿色318和红色320强度。由于摄像装置处于信号衰减环境中，因此每种颜色的最小强度值利用距检测到的对象之外的距离范围的强度值来确定。利用来自级15的强度值， Imin，红色(m，n)＝0x26322、Imin，绿色(m，n)＝0x27 324、Imin，蓝色(m，n)＝0x28 326 的值被分配给当前序列。
基于该实施方式的发射器和检测器脉冲宽度的选择，控制算法建立从级6的环境值转换到级12的环境值的强度值。此外，控制算法确定从一级到三级的任何地方将包含包括100％的对象反射波形的集成信号。从图 9中的数据，算法建立级9作为包含反射对象波形的整个持续时间的级。级11 328的RGB强度值在幅度上高于在级12至级15期间捕获的值。较高的幅度表明级11 328值是周围信号和来自对象的反射信号的组合。此外，由于所选择的发射器和检测器脉冲宽度的定时，反射强度值是由后沿限幅返回信号产生的部分信号值。级7 332值是环境信号和来自对象的反射信号的组合，其中环境信号被限定为来自检测到的对象和传感器之间的环境的返回信号。由于所选择的发射器和检测器脉冲宽度的定时，反射强度值是由前沿限幅返回信号产生的部分信号值。利用选择信号定时和感测的强度值，针对选择级获得的值被利用以建立到对象的距离并且确定对象的颜色值。
I(clr，m，n，s-3)＝Ienv(clr，m，n) 式5
I(clr，m，n，s-2)＝E0*Ienv(clr，m，n)+(1-E0)Iobj(clr，m，n) 式6
I(clr，m，n，s)＝E1*Ienv(clr，m，n)+(1-E1-A1)Iobj(clr，m，n)+A1*Iamb(clr，m，n)式7
I(clr，m，n，s+2)＝A0*Iamb(clr，m，n)+(1-A0)Iobj(clr，m，n) 式8
I(clr，m，n，s+3)＝Iamb(clr，m，n) 式9
E0＝E1+(2*t发射器时钟周期)/D 式10
A1＝A0+(2*t发射器时钟周期)/D 式11
其中s是具有100％反射信号的检测器级的级数标识符
clr是像素的颜色
m，n是数组中像素的标识符
Ienv()是具有100％环境信号的级的检测的强度
Iamb()是具有100％周围信号的级的检测的强度
Iobj()是对象的计算强度
E0是由于环境信号引起的级s-2强度的百分比
E1是由于环境信号引起的级s强度的百分比
A0是由于周围信号引起的级s强度的百分比
A1是由于周围信号引起的级s+2强度的百分比
t发射器时钟周期是发射器时钟的周期
D是用于序列的级的发射器/检测器的占空比，并且被限定为级的发射器脉冲宽度除以检测器脉冲宽度
利用具有五个未知数(Iobj()、E0、E1、A0和A1)的五个公式(式6、式7、式8、式10和式11)，控制算法确定每种颜色和每个像素的Iobj()并且将计算的强度值分配到颜色帧缓冲区中的适当位置。通过基于式7计算到对象的TOF来确定到对象的距离：
TOF(clr，m，n)＝TOFmin(clr，m，n，s)+E1*t探测器脉冲宽器(s)
式12
其中TOF()是特定像素的飞行时间
TOFmin(S)是级s的最短飞行时间
E1是由于周围信号引起的级s强度的百分比
t检测器脉冲宽度(S)是级s的检测器脉冲宽度
用于式5至式12的级s的识别取决于每个级的发射器脉冲宽度和每个级的检测器脉冲宽度的知识。已知的脉冲宽度确定占空比并且确定每个像素从环境信号到周围信号的转换涉及多少级。式5至式12适用于发射器脉冲的持续时间短于检测器脉冲的实施方式。对于发射器脉冲长于检测器脉冲的实施方式，式7将计算到E1或A1等于零。因此，具有两个未知数的另外两个公式对决定对象的强度值来说是必要的。第一个附加公式将描述两个新的未知数(A2和E2)作为测量的级强度的函数，并且第二个附加的公式将描述A2和E2作为级占空比的函数。
在各个实施方式中，将理解的是利用用于评估信号衰减的技术可以利用最少五个发射器/检测器周期：确定环境检测信号的一个周期、包含有源脉冲信号的前沿检测信号的一个周期、有源脉冲信号的检测信号的一个全发射器周期、包含后沿检测信号的一个周期以及包含周围检测信号的一个周期。取决于定时、视场、距离、周围和环境条件，可能需要额外的发射器/检测器周期来获得必要的信息以利用如关于这些实施方式所描述的用于评估信号衰减的技术。
对于均匀的发射器脉冲，式3和式4将产生针对每个像素m、n的TOF 的相同的值。由于信号噪声和环境光，基于较高集成强度值的TOF值将产生比较低集成强度值更高精度的距离计算。在实施方式中，控制器将仅利用来自式3或式4中的一者来建立像素的TOF，其中优选的TOF值是从利用最大振幅集成强度值的公式中选择的。
距离4D摄像装置较远的对象将比靠近摄像装置的对象从发射器接收更少的光。因此，来自较远对象的反射信号将具有比来自较近对象的反射信号低的强度。补偿较低强度返回信号的一种方法是增加发射器脉冲宽度并且增加检测器集成时间，因此增加给定对象距离的集成信号的强度。图 10示出了利用在发射器/检测器序列中的十级的实施方式的电时序。与先前实施方式相比，其中，所有发射器脉冲是恒定长度并且所有检测器集成周期是恒定长度，该实施方式利用稳定增加的发射器脉冲周期和检测器集成周期。
级0具有四个周期发射器周期210和六个周期检测器集成周期212。级1具有五个周期发射器周期214并且具有七个周期检测器集成周期216。级9是具有非常长的发射器脉冲218和相当长的检测器集成周期220的特殊周期。这种特殊的长发射器/检测器周期可能不被用于距离确定，而是被用于为在摄像装置发射器的波长处不是非常反光的对象建立准确的颜色值。
图11示出了具有与来自图10的定时序列对应的TOF范围的数据表 230。级0到级8被用于确定MxN个像素中的每一个的深度图的值。级9 被用于确定单独的颜色平面的I颜色[m，n]值。
在先前的实施方式中，经由TOF计算的到对象的距离取决于由多周期检测器集成周期建立的距离范围。可能希望实现TOF距离测量的更高精度。图12a示出了50nSec发射器脉冲的可能强度曲线240。曲线240 具有比断开244时间(tOFF)更慢的接通242时间(tON)并且具有最大值246。集成检测器值的最大强度与曲线240下的面积成比例。图12b 248 示出了相同发射器脉冲的累积集成强度与时间的关系。出于式13和式14 的目的，低于来自图12b的信息将被表示为f(t)，其中被表示为最大强度值的百分比的累积强度值是时间的函数。对于K级序列中的部分强度值，利用累积强度曲线，前沿限幅和后沿限幅集成周期的TOF由下式确定：
其中i是检测到前沿限幅信号的级，j是检测到后沿限幅信号的级， I(i，m，n)是级i处的像素m、n的强度值，I(j，m，n)是级j处的像素m、n的强度值，Imin(m，n)是电流发射器/检测器序列的最小强度值，Imax(m，n)是电流发射器/检测器序列的最大强度值，TOFmin(i)是检测器序列的级i的最小TOF，TOFmax(j)是检测器序列的级j的最大TOF，f-1(t)是f(t)的反函数，并且表示累积强度等于前沿信号的非集成部分或此时累积强度等于后沿信号的集成部分的反射脉冲集成期间的时间点。
实际上，t(t)将可能是累积强度和时间之间的非线性或更高阶关系。这样，反函数f1(t)可以在实施方式中实现为查找表或一些其他数值转换函数。
图13a示出了理想白色(全可见光谱)发射器的光谱输出250。在400 纳米至700纳米的整个范围内，输出能量处于全强度252。图13b示出了基于LED的白色发射器的光谱输出254。该曲线示出了大约430纳米的峰值强度256、大约520纳米的稍低的强度258以及大约660纳米的非常低的强度260。尽管不是必需的，但是在实施方式中，期望4D摄像装置光源具有更均匀的光谱输出。图14a示出了用于三种LED类型的光谱输出 262。示出了白色264、绿色266和红色268响应曲线，其中其强度值被相互标准化。三个颜色分量LED被组合以产生在设备的整个期望光谱范围内更均匀的累积的发射器响应。如本文所描述的“组合”的动作是指利用在同时接通时将产生用于输出光谱响应的期望累积效果的发射器组件选择性地填充发射器阵列。图14b示出了来自图14a中所描述的三个LED 发射器响应的组合信号的光谱输出270。
在实施方式中，利用未滤波的检测器阵列和多色发射器的选择性使用来实现单独的颜色平面的强度确定。图15示出了RGB配置中使用的LED 的光谱输出。当发射器/检测器周期使用蓝色272 LED时为蓝色颜色平面产生信息，当发射器/检测器周期使用绿色274LED时为绿色颜色平面产生信息，并且当发射器/检测器周期使用红色276 LED时为红色颜色平面产生信息。利用未滤波的检测器阵列或宽带通滤波阵列和来自分开的波长带的发射器的实施方式可以将发射器/检测器级布置为单波长发射器-检测器级或多波长发射器/检测器级。下面表1中的示例示出了其中K＝12的K 个周期序列的多发射器/检测器级，由此每个发射器波长以循环方式被利用。
表1-在单个K级序列内的循环发射器
下面的表2中的示例示出了其中K＝12的K级序列的多发射器/检测器级，由此每个发射器波长被用于K/3个连续级。
表2–在单个K级序列内的顺序发射器事件
其中K＝12的K级序列也可以被分配给单个波长发射器，随后的K 级序列以循环方式被分配给其他波长，如下面的表3所示。
表3-单独的K级序列中的顺序发射器事件
利用各个检测器滤波器的实施方式将具有利用单独的波长发射器的实施方式的某些优点和缺点，以实现多色检测信号。下面的表4比较了实施方式的相对优点。
表4-用于可见光谱实施方式的检测器滤波器技术的比较
图16描绘了其中车辆前灯282、284执行摄像装置280的照明功能的实施方式。发射器(前灯)282、284和检测器控制可以驻留在前灯控制电路系统中、在摄像装置280中、在电子控制模块(ECM)中，或者在可以确保发射器事件和检测器事件之间的可控定时的另一个车载位置中。
图17示出了用于利用车辆前灯用于发射器照明的分布式摄像装置系统的电子定时元件。前灯在非成像时段由ECM控制并且在成像时段由摄像装置控制。ECM控制286信号指定ECM将控制前灯的开启和关闭状态的时间并且摄像装置控制288信号指定摄像装置何时将控制发射器(前灯)。发射器驱动脉冲290和检测器集成292仅在摄像装置控制288负责前灯的时间期间出现。前灯输出294在摄像装置控制288期间显示前灯处于多个开/关状态并且在ECM控制286期间显示前灯处于开启状态。
运动中成像应用具有从多个视点并且更重要地从多个角度对对象成像的优点。物理对象具有光反射特性，该光反射特性当被正确感测时，可以用于对对象进行分类并且甚至唯一地识别对象及其表面特征。图18示出了车辆340，其中摄像装置342在具有摄像装置342的视场内的对象344 的道路上。车辆340的位置被指定在T0处，因为T0是当包含对象344的第一图像被摄像装置342捕获时车辆340的初始位置。车辆340的后续位置在T1 346、T2348和T3 350处示出。对象344具有可与其他对象区分开的表面，使得对象344的表面上的相同点可以在从相对于对象344的不同位置和方向获得的图像中被识别和分析。
图19示出了摄像装置处理算法中的用于获得环境中的对象点的多角度信息的步骤的流程图。循环计数器被用于被处理和分析的每个对象。通过在每个对象处理的开始处分配n＝0 360来初始化循环计数器值n。图像分析软件识别对象362的表面上的点P0，该点P0将被分析以可能用于使用角度强度分布分析来识别对象。由于点P0在对象的表面上，算法将计算点P0处的表面364的法向量θN(n)。在建立了法向量之后，处理算法将利用场景几何来计算θR(n)即在传感器的光路径与点P0处的对象的法向量之间的相对角度366。P0的角度强度信息被存储在角度响应曲线存储器 368中作为指定点P0的样本n的强度、距离和相对角度的组成I颜色(n)、d(n)、θR(n)的数据元素。对于利用多种颜色用于检测器滤波器阵列和/或发射器阵列的实施方式，每个样本n将具有针对每种颜色的单独响应曲线存储器条目。
在n＝0的处理完成后，处理算法获得序列中下一图像370。分析图像以确定点P0是否存在372于图像中。如果存在P0，则循环计数器递增374，并且算法前进到法线向量确定步骤364。如果不存在P0，则算法基于角度强度特性来确定是否存在足够的点376来识别对象。如果不满足最低要求，则算法在不识别对象的情况下结束384。如果满足最低要求，则算法针对所有n个点确定的强度信息的每种颜色，在3D空间378中创建绘图。该算法将通过将收集的角度强度分布与存储在库中的参考特征分布进行比较来限定对象。从库380中取回特征分布并且对于每个特征分布和P0 分布确定382相关性。具有与P0的最高相关性的特征分布被用于确定由 P0表示的对象的对象类型、类或特征。
来自图19的算法讨论了单个点P0。对于实时对象分析，算法通常将针对图像流中的多个点Px同时运行。来自特征角度强度分布分析的结果通常被传递到用于进一步处理和/或分析的上游应用程序，或者被打包在具有图像或深度图信息的输出数据流中以发送到另一个设备或应用程序。图19中的算法利用阈值测试来确定是否收集了足够的信息来识别对象。其他测试是可供使用的并且基于特征曲线中的信息被利用。例如，完整性检查可以分析PO的θR(n)值的范围。如果值的范围太窄，由于唯一地表征对象的不充分信息，算法可以丢弃P0。在其他情况下，P0的θR(n)的值可能太大并且将不与特征曲线相关。包括θR(n)幅度检查作为阈值检查的一部分允许算法丢弃不会在表征分布相关性中产生可靠结果的分布。
实际上，特征角度强度分布库将包含数百个或可能成千上万个分布。实时对所有分布执行关联是计算密集型操作。作为将挑战解析为更易管理的大小的方式，设备上的分析功能可以执行图像分析以对检测到的对象分类。一旦被分类，可以将来自检测到的对象的角度强度分布仅与和识别的对象类相关联的库分布进行比较。作为示例，车载应用中的图像分析功能可以基于诸如着色、平坦度、相对于行进方向的取向的特征来识别道路表面。已经确定将点P0的分布分类为道路表面点，该算法可以从被分类为道路表面特征的库中仅访问那些特征分布。一些道路表面特征分布可以包括但不限于：
沥青-平滑度等级A
沥青-光滑度等级B
沥青-平滑度等级C
具有表面水分的沥青
具有地面冰的沥青
混凝土-平滑度等级A
混凝土-平滑度等级B
混凝土-平滑度等级C
具有表面水分的混凝土
具有地面冰的混凝土
类似道路标志的对象是可以在分布库中被分开的另一分布类。一些道路标志特征分布可以包括但不限于：
ASTM I型
ASTM III型
ASTM IV型-制造商A
ASTM IV型-制造商M
ASTM IV型-制造商N
ASTM VIII型-制造商A
ASTM VIII型-制造商M
ASTM IX型-制造商A
ASTM IX型-制造商M
ASTM XI型-制造商A
ASTM XI型-制造商M
特征分布算法将相关性指定为比较特征分布和选择由P0表示的对象的最具代表性的特征分布的方法。本领域技术人员可以设想或利用其他方法来基于针对由P0表示的对象收集和分析的信息来选择最具代表性的特征分布。
图20示出了车辆400的内部的乘客舱的图。示出了方向盘402，但是实施方式可以被用在没有方向盘402的自动车辆中。由于诸如雾、雨、雪、雨夹雪、灰尘的现象，车辆400外部的环境条件414产生低可见度。可替代地或此外，诸如挡风玻璃404和后窗(未示出)的透视元件可以具有表面不规则性或从车辆400内部限制观察外部条件414的涂层。前置摄像装置406被安装在靠近后视镜408的挡风玻璃404后面的车辆400内以提供前方成像视图。前置摄像装置406控制系统以检测低可见度的环境条件，并且将图像410投影412到挡风玻璃404上或其他平视显示器特征上，以允许在低可见度环境中无阻挡地观看对象。
后视镜408显示来自被安装在车辆400的后部或者车辆400的内部的通过后窗投影的处于后置方向的后置摄像装置(未示出)的无阻挡视野摄像装置。用在侧镜418中的特征解决车辆400的侧面的环境416障碍物。后倾斜角度摄像装置420检测受阻的环境条件416并且将无阻挡图像422 投射到镜子上以便由车辆400操作者使用。可替代地或此外，无阻挡图像 422被传递到用于自动或半自动驾驶系统的车辆控制系统。侧镜上的指示器424指示在特定空间内对象的存在，从而在诸如车道变换的操纵中辅助车辆400的操作员。
在其他实施方式中，处理系统可以包括各种引擎，每个引擎被构造、编程、配置或以其他方式改编，以自主地执行功能或功能组。本文使用的术语“引擎”被限定为使用硬件例如通过专用集成电路(ASIC)或现场可编程门阵列(FPGA)实现的真实设备、组件或组件的布置，或者被限定为例如通过微处理器系统和将引擎适应为实现特定功能的程序指令组实现的硬件和软件的组合，该程序指令组(在被执行时)将微处理器或控制器系统转换为专用设备。引擎也可以被实现为具有由硬件单独促进的某些功能以及由硬件和软件的组合促进的其他功能的两者的组合。在某些实现方式中，并且在一些情况下，引擎的至少一部分、全部可以在由执行操作系统的硬件、系统程序和/或应用程序组成的一个或更多个计算平台的处理器上执行，同时也在适当时使用多任务、多线程、分布式处理或其他此类技术来实现引擎。
因此，将理解，每个处理系统可以在各种物理上可实现的配置中实现，并且通常不应被限制在本文例示的任何特定实现方式，除非明确地指出这些限制。此外，处理系统本身可以由多于一个的引擎、子引擎或子处理系统组成，引擎、子引擎或子处理系统中的每一个可以被看作单独的处理系统。此外，在本文描述的实施方式中，各种处理系统中的每一个可以对应于限定的自主功能；然而，应理解的是在其他预期的实施方式中，每个功能可以被分配给多于一个的处理系统。同样地，在其他预期的实施方式中，多个限定的功能可以由执行那些多功能的单个处理系统实现，可能与其他功能一起实现，或者在除了本文的示例中具体示出之外的一组处理系统中不同地分布。
实施方式利用高速组件和电路系统，由此设备和/或场景的相对移动可以被限定为在检测器阵列中小于元件间间隔的移动。对于实施方式，其中，相对移动较小，处理软件可以假定3D体积计算的轴垂直于阵列中的检测器元件。对于在发射器周期的时间帧期间大于检测器阵列中的元件间间隔的相对移动，帧缓冲器分析软件将需要执行对采样的波形的3D分析，由此表示具有与阵列中的检测器元件不垂直的轴。
利用半导体命名法描述了实施方式的电路系统。在其他实施方式中，利用光学计算、量子计算或类似的小型化可扩展计算平台的电路系统和控制逻辑可以被用于执行本文所描述的系统的必要的高速逻辑、数字存储和计算方面的部分或全部。利用制造的半导体LED和激光二极管命名法描述光学发射器元件。在其他实施方式中，对于本文描述的各种技术的要求可以通过使用任何可控光子发射元件来实现，其中，发射光子的输出频率是已知的或可表征的，可利用逻辑元件控制，并且具有足够的切换速度。
在一些实施方式中，光能或光包被发射和接收作为近准直、相干或广角电磁能，例如650nm、905nm或1550nm的常见激光波长。在一些实施方式中，光能可以在如下波长范围中：紫外光(UV)—100nm至400nm、可见光—400nm至700nm、近红外光(NIR)—700nm至1400nm、红外光(IR)—1400nm至8000nm、长波红外光(LWIR)—8um至15um、远IR(FIR)—15um至1000um，或太赫兹—0.1mm至1mm的波长范围内。各个实施方式可以在这些不同波长下提供增加的设备分辨率、更高的有效采样率和增加的设备范围。
在各个实施方式中使用的检测器指的是将光能转换成电能的分立设备或设备的焦平面阵列。本文限定的检测器可以采用PIN光电二极管、雪崩光电二极管、在盖革模式偏置处或附近工作的光电二极管、或者将光能转换为电能的任何其他设备的形式，由此设备的电输出与对象光子撞击检测器的表面的速率相关。
相关领域的普通技术人员将认识到，实施方式可以包括比上述任何单独的实施方式中所示出的更少的特征。本文描述的实施方式并不意味着可以组合实施方式的各种特征的方式的详尽呈现。因此，实施方式不是相互排斥的特征组合；相反，如本领域普通技术人员所理解的，实施方式可以包括选自不同个别实施方式的不同个别特征的组合。此外，除非另有说明，关于一个实施方式描述的元件可以在其他实施方式中实现，即使没有在这些实施方式中描述。虽然从属权利要求可以在权利要求中提及与一个或更多个其他权利要求的特定组合，但是其他实施方式还可以包括从属权利要求与每个其他从属权利要求的主题的组合或者一个或更多个特征与其他独立权利要求或从属权利要求的组合。除非声明特定组合不是预期的，否则本文提出了这样的组合。此外，即使权利要求不是直接依赖于独立权利要求，也意图在任何其他独立权利要求中包括该权利要求的特征。
通过引用以上文献的任何并入是有限的，使得不包含与本文的明确公开相反的主题。进一步限制通过引用上述文献的任何并入，使得不被包括在文献中的权利要求通过引用并入本文。进一步限制通过引用上述文献的任何并入，使得文献中提供的任何定义不通过引用并入本文，除非明确包括在本文中。
出于解释权利要求的目的，明确意图是不引用美国法典35的第6段、第112节的规定，除非在权利要求中陈述特定术语“用于……的装置”或“用于……的步骤”。

Claims (26)

1.一种用于获取关于场景的信息的有源脉冲四维(4D)摄像装置系统，包括：
至少一个发射器，所述至少一个发射器被配置成在所述场景的整个视场内生成和发射在限定频率范围内的光，其中，所发射的光是有源脉冲序列；
检测器的阵列，被配置成接收针对所述阵列的视场的在所述限定频率范围内的光，所述场景的视场由所述阵列的视场限定，并且所述阵列中的每个检测器具有作为所述阵列的视场的不同子集的单独视场；
控制电路系统，所述控制电路系统可操作地耦接到所述至少一个发射器和所述检测器的阵列，并且被配置成在发射器/检测器周期中使得所述至少一个发射器在第一时间开始发射所述有源脉冲序列，并且使得所述检测器的阵列在所述第一时间之后的第二时间处开始接收光，其中，所述控制电路系统被配置成改变在K个连续的发射器/检测器周期中的所述第一时间和所述第二时间之间的经过时间，其中，所述K大于4并且所述K个连续的发射器/检测器周期的总经过时间小于50微秒；以及
处理系统，所述处理系统可操作地耦接到所述检测器的阵列和所述控制电路系统，并且被配置成：
生成和存储与由所述检测器的阵列中的每个检测器接收的光对应的数字信息，用于所述检测器的阵列中的每个检测器的数字信息被采样并且被存储在与所述K个发射器/检测器周期之一对应的K个帧缓冲器之一中，以及
分析针对每个检测器的数字信息，并且至少部分地基于与由所述K个帧缓冲器中的不同的帧缓冲器接收的脉冲序列对应的所述数字信息中的飞行时间(TOF)数据并且基于针对所述K个发射器/检测器周期中的每一个的脉冲序列的相对定时差，来构造所述场景的至少一部分的表示。
2.根据权利要求1所述的系统，其中，所述处理系统被配置成基于与多个检测器对应的所述TOF数据来构造深度图作为所述场景的至少一部分的所述表示的一部分。
3.根据权利要求1所述的系统，其中，所述处理系统还被配置成输出所述场景的所述至少一部分的图像。
4.根据权利要求1所述的系统，其中，所述处理系统被配置成通过分析来自所述K个帧缓冲器中的不同的帧缓冲器的所述数字信息以获得颜色信息，来构造所述表示。
5.根据权利要求1所述的系统，其中，所述发射器包括至少一个发光二极管(LED)。
6.根据权利要求5所述的系统，其中，所述发射器包括具有多种颜色分量的多个LED。
7.根据权利要求1所述的系统，其中，所述发射器包括至少一个车辆前灯。
8.根据权利要求1所述的系统，其中，所述至少一个发射器的所述限定频率范围选自包括以下的组中：100纳米(nm)至400nm、400nm至700nm、7nm至1400nm、1400nm至8000nm、8微米(μm)至15μm、15μm至1000μm、以及0.1mm至1mm。
9.根据权利要求1所述的系统，其中，所述检测器的阵列包括带通滤波器，以消除接收的在所述限定频率范围之外的光。
10.根据权利要求1所述的系统，其中，所述检测器的阵列被配置成接收与所述K个脉冲的有源序列相关联的反射光，以与环境光区分。
11.根据权利要求1所述的系统，其中，所发射的光在所述限定频率范围内是非均匀的。
12.根据权利要求1所述的系统，其中，所述检测器的阵列中的每个检测器包括光电二极管和检测器集成电路，其中，所述光电二极管被配置成：当所述光电二极管在所述发射器/检测器周期期间接收光时，将电荷转移到所述检测器集成电路。
13.根据权利要求12所述的系统，其中，所述检测器的阵列中的每个检测器的检测器集成电路被配置成：在所述K个连续的发射器/检测器周期中开始第二发射器/检测器周期之前，将来自第一发射器/检测器周期的电荷转移到用于该检测器的K个帧缓冲器之一。
14.根据权利要求1所述的系统，其中，每个检测器的单独视场包括像素。
15.根据权利要求1所述的系统，其中，相邻检测器的各个视场能够部分交叠。
16.根据权利要求1所述的系统，其中，所述处理电路系统还被配置成：检测所发射的光或由所述检测器的阵列接收的光中的至少一个的衰减，并且减小所述衰减在构造所述表示中的影响。
17.根据权利要求1所述的系统，其中，所述控制电路系统被配置成：通过改变所述K个连续的发射器/检测器周期的连续的发射器/检测器周期中的连续脉冲序列的所述第一时间来改变所述经过时间。
18.根据权利要求1所述的系统，其中，所述检测器的阵列利用拜耳图案进行颜色过滤。
19.根据权利要求18所述的系统，其中，通过去马赛克将每个颜色平面的所述数字信息从稀疏颜色图转换为密集颜色图。
20.一种使用有源脉冲四维(4D)摄像装置系统获取关于场景的信息的方法，所述方法包括：
从所述4D摄像装置系统发射光作为在所述场景的整个视场内的限定频率范围内的光的有源脉冲序列；
在从所述发射开始的第一经过时间之后，由所述4D摄像装置系统针对所述视场在所述限定频率范围内检测光；
将来自所述检测的光转换为数字信息；以及
将所述数字信息存储在所述4D摄像装置系统中的K个帧缓冲器之一中；
针对K个连续周期，重复所述发射、所述检测、所述转换和所述存储，其中在连续周期中的发射之间具有第二经过时间，其中，所述第一经过时间和所述第二经过时间在所述K个连续周期中的每一个之间变化，其中，所述K大于4；以及
分析存储在所述K个帧缓冲器中的所述数字信息，并且至少部分地基于与由所述K个帧缓冲器中的不同的帧缓冲器接收的脉冲序列对应的所述数字信息中的飞行时间(TOF)数据并且基于针对K个连续周期中的每一个的脉冲序列的相对定时差，来构造所述场景的至少一部分的数字表示。
21.根据权利要求20所述的方法，还包括：通过分析所述K个帧缓冲器中的数字信息以获得距离信息，来构造所述4D摄像装置系统和所述场景的至少一部分之间的距离的深度图。
22.根据权利要求20所述的方法，还包括输出所述场景的所述至少一部分的图像。
23.根据权利要求20所述的方法，其中，构造所述场景的所述至少一部分的所述数字表示包括：分析来自所述K个连续周期的数字信息以获得颜色信息。
24.根据权利要求20所述的方法，其中，所述K个连续周期中的一个周期中的转换在所述K个连续周期中的下一个周期的发射开始之前完成。
25.根据权利要求20所述的方法，还包括：
检测发射的光或由所述4D摄像装置系统检测到的光中的至少一个的衰减；以及
减小检测到的衰减在构造所述数字表示中的影响。
26.一种用于从场景中获取信息的有源脉冲四维(4D)摄像装置系统，包括：
至少一个发射器，所述至少一个发射器被配置成在整个所述场景中发射K个连续周期的多个有源光脉冲，其中，在所述K个连续周期中的一个周期的开始和所述K个连续周期中的下一个周期的开始之间的时间在整个所述K个连续周期中变化；
检测器的阵列，所述检测器的阵列被配置成接收与在所述K个连续周期中的每个周期中发射的所述有源光脉冲相关的反射光，其中，在发射所述光脉冲的开始和接收反射光的开始之间的时间在所述K个连续周期中的每个周期中变化；以及
多个缓冲器，所述多个缓存器被配置成存储与由所述检测器的阵列接收的所述反射光有关的数字信息；以及
处理系统，所述处理系统可操作地耦接到所述多个缓冲器并且被配置成：
分析所述数字信息，以至少部分地基于在整个所述K个连续周期中变化的所述K个连续周期中的一个周期的开始与所述K个连续周期中的下一个周期的开始之间的时间，来确定所述场景的距离信息和颜色信息，以及
基于所确定的距离信息和所确定的颜色信息来构造所述场景的数字表示。
CN201780022670.5A 2016-03-03 2017-02-28 用于图像采集和分析的有源脉冲4d 摄像装置的方法和装置 Active CN109313345B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/059,811 2016-03-03
US15/059,811 US9866816B2 (en) 2016-03-03 2016-03-03 Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
PCT/US2017/019852 WO2017151561A1 (en) 2016-03-03 2017-02-28 Methods and apparatus for an active pulsed 4d camera for image acquisition and analysis

Publications (2)

Publication Number Publication Date
CN109313345A true CN109313345A (zh) 2019-02-05
CN109313345B CN109313345B (zh) 2021-05-28

Family

ID=59722927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780022670.5A Active CN109313345B (zh) 2016-03-03 2017-02-28 用于图像采集和分析的有源脉冲4d 摄像装置的方法和装置

Country Status (6)

Country Link
US (8) US9866816B2 (zh)
JP (1) JP6835879B2 (zh)
KR (1) KR20190009276A (zh)
CN (1) CN109313345B (zh)
DE (1) DE112017001112T5 (zh)
WO (1) WO2017151561A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US20180341009A1 (en) 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
JP7169272B2 (ja) * 2016-11-16 2022-11-10 イノヴィズ テクノロジーズ リミテッド Ｌｉｄａｒシステム及び方法
DE102017101945A1 (de) * 2017-02-01 2018-08-02 Osram Opto Semiconductors Gmbh Messanordnung mit einem optischen Sender und einem optischen Empfänger
WO2019005260A1 (en) 2017-06-29 2019-01-03 Apple Inc. FLIGHT TIME DEPTH MAPPING WITH PARALLAX COMPENSATION
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
JP6960827B2 (ja) * 2017-11-08 2021-11-05 フォルシアクラリオン・エレクトロニクス株式会社 路面領域検出装置
EP3704510B1 (en) 2017-12-18 2022-10-05 Apple Inc. Time-of-flight sensing using an addressable array of emitters
US11978754B2 (en) 2018-02-13 2024-05-07 Sense Photonics, Inc. High quantum efficiency Geiger-mode avalanche diodes including high sensitivity photon mixing structures and arrays thereof
CN111868556A (zh) * 2018-02-13 2020-10-30 感应光子公司 用于高分辨率远程闪速lidar的方法和系统
US10958830B2 (en) 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization
US10591601B2 (en) * 2018-07-10 2020-03-17 Luminar Technologies, Inc. Camera-gated lidar system
EP3814797A4 (en) * 2018-07-24 2022-03-02 Sense Photonics, Inc. PHASE NOISE AND CORRECTION METHODS IN MULTIFREQUENCY LIDAR
US11001979B2 (en) 2018-08-13 2021-05-11 Vergence Automation, Inc. Methods and apparatus for ultrawide entrance angle reflective articles for use with autonomous vehicle machine vision systems
KR20210033540A (ko) 2018-08-16 2021-03-26 센스 포토닉스, 인크. 통합된 라이다 이미지-센서 디바이스들 및 시스템들 및 관련된 동작 방법들
EP3614174B1 (en) * 2018-08-21 2021-06-23 Omron Corporation Distance measuring device and distance measuring method
WO2020045770A1 (en) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
US11762133B1 (en) 2018-09-13 2023-09-19 Vergence Automation, Inc. Retroreflective materials and articles incorporating near-ideal total internal retroreflective elements
CN112654890A (zh) * 2018-09-20 2021-04-13 京瓷株式会社 电子设备、电子设备的控制方法以及电子设备的控制程序
US10732285B2 (en) 2018-09-26 2020-08-04 Qualcomm Incorporated Multi-phase active light depth system
EP3861374A1 (de) * 2018-10-04 2021-08-11 Iris-Gmbh Infrared & Intelligent Sensors Bildgebender sensor
WO2020121973A1 (ja) * 2018-12-10 2020-06-18 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
DE102019134142A1 (de) * 2018-12-12 2020-06-18 Analog Devices, Inc. Eingebaute kalibrierung von laufzeittiefenbildgebungssystemen
WO2020167338A1 (en) 2019-02-11 2020-08-20 Apple Inc. Depth sensing using a sparse array of pulsed beams
DE102019001336A1 (de) 2019-02-25 2019-07-25 Daimler Ag Vorrichtung zur Erfassung eines Fahrtzielbereichs
CN109982063B (zh) * 2019-03-20 2020-11-27 信利光电股份有限公司 一种tof深度相机的aa方法及装置
US20220180643A1 (en) * 2019-03-22 2022-06-09 Vergence Automation, Inc. Vectorization for object detection, recognition, and assessment for vehicle vision systems
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11154188B2 (en) 2019-06-20 2021-10-26 Cilag Gmbh International Laser mapping imaging and videostroboscopy of vocal cords
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
JPWO2021060397A1 (zh) * 2019-09-26 2021-04-01
US20210109205A1 (en) * 2019-10-15 2021-04-15 Cepton Technologies, Inc. Dynamic calibration of lidar sensors
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
DE102020202823A1 (de) 2020-03-05 2021-09-09 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Optoelektronische vorrichtung und verfahren zur ermittlung der verteilung eines stoffs in einer probe
US20210303003A1 (en) * 2020-03-27 2021-09-30 Edgar Emilio Morales Delgado System and method for light-based guidance of autonomous vehicles
TWI759213B (zh) * 2020-07-10 2022-03-21 大陸商廣州印芯半導體技術有限公司 光感測器及其感測方法
KR20220010885A (ko) * 2020-07-20 2022-01-27 에스케이하이닉스 주식회사 ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법
US20220035035A1 (en) * 2020-07-31 2022-02-03 Beijing Voyager Technology Co., Ltd. Low cost range estimation techniques for saturation in lidar
US11528407B2 (en) * 2020-12-15 2022-12-13 Stmicroelectronics Sa Methods and devices to identify focal objects
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN115578295B (zh) * 2022-11-17 2023-04-07 中国科学技术大学 一种视频去雨方法、系统、设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000019705A1 (en) * 1998-09-28 2000-04-06 3Dv Systems, Ltd. Distance measurement with a camera
JP2005172437A (ja) * 2003-12-05 2005-06-30 National Institute Of Advanced Industrial & Technology 物体位置検出装置、物体追尾装置および情報提供装置
CN101142822A (zh) * 2005-03-17 2008-03-12 Iee国际电子工程股份公司 3d成像系统
CN101373217A (zh) * 2008-08-28 2009-02-25 阮树成 毫米波船用调频多通道防撞雷达
US20100265386A1 (en) * 2007-02-06 2010-10-21 Ramesh Raskar 4D Light Field Cameras
US20120123718A1 (en) * 2010-11-12 2012-05-17 Texas Instruments Incorporated Method and apparatus for controlling time of flight confidence map based depth noise and depth coverage range
CN102590821A (zh) * 2010-12-21 2012-07-18 微软公司 多阳极飞行时间传感器
CN103502839A (zh) * 2011-03-17 2014-01-08 加泰罗尼亚科技大学 用于接收光束的系统、方法和计算机程序
CN103616696A (zh) * 2013-11-27 2014-03-05 中国电子科技集团公司第三十八研究所 一种激光成像雷达装置及其测距的方法
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
CN103760567A (zh) * 2014-01-27 2014-04-30 中国科学院半导体研究所 一种具有测距功能的被动成像系统及其测距方法
WO2015126471A2 (en) * 2013-11-12 2015-08-27 Facet Technology Corp. Methods and apparatus for array based lidar systems with reduced interference
WO2015156997A1 (en) * 2014-04-11 2015-10-15 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US20150296201A1 (en) * 2008-11-25 2015-10-15 Tetravue, Inc. Systems and method of high resolution three-dimensional imaging
CN105093206A (zh) * 2014-05-19 2015-11-25 洛克威尔自动控制技术股份有限公司 飞行时间传感器中的波形重构

Family Cites Families (379)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1743835A (en) 1923-07-09 1930-01-14 Jonathan C Stimson Reflecting device
US5026156A (en) 1972-07-24 1991-06-25 Martin Marietta Corporation Method and system for pulse interval modulation
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4145112A (en) 1977-07-14 1979-03-20 Minnesota Mining And Manufacturing Company Low-profile raised retroreflective sheeting
US4185891A (en) 1977-11-30 1980-01-29 Grumman Aerospace Corporation Laser diode collimation optics
US4663756A (en) 1985-08-29 1987-05-05 Sperry Corporation Multiple-use priority network
US5122796A (en) 1986-02-19 1992-06-16 Auto-Sense, Limited Object detection method and apparatus emplying electro-optics
US5090245A (en) 1986-05-02 1992-02-25 Anderson Forrest L Three dimensional imaging device using filtered ellipsoidal backprojection
US4739398A (en) 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
FR2677834B1 (fr) 1986-09-16 1993-12-31 Thomson Csf Systeme d'imagerie laser a barrette detectrice.
US5081530A (en) 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
JP2896782B2 (ja) 1988-12-30 1999-05-31 株式会社トプコン パルス方式の光波距離計
JPH0744313B2 (ja) 1989-02-24 1995-05-15 日本電信電話株式会社 半導体レーザ装置
US4935616A (en) 1989-08-14 1990-06-19 The United States Of America As Represented By The Department Of Energy Range imaging laser radar
US5006721A (en) 1990-03-23 1991-04-09 Perceptron, Inc. Lidar scanning system
US5354983A (en) 1990-04-10 1994-10-11 Auto-Sense, Limited Object detector utilizing a threshold detection distance and suppression means for detecting the presence of a motor vehicle
US5675326A (en) 1990-04-11 1997-10-07 Auto-Sense, Ltd. Method of determining optimal detection beam locations using reflective feature mapping
US5212706A (en) 1991-12-03 1993-05-18 University Of Connecticut Laser diode assembly with tunnel junctions and providing multiple beams
US5446529A (en) 1992-03-23 1995-08-29 Advanced Scientific Concepts, Inc. 3D imaging underwater laser radar
US8604932B2 (en) 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
US9102220B2 (en) 1992-05-05 2015-08-11 American Vehicular Sciences Llc Vehicular crash notification system
US7983817B2 (en) 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US5497269A (en) 1992-06-25 1996-03-05 Lockheed Missiles And Space Company, Inc. Dispersive microlens
US5793491A (en) 1992-12-30 1998-08-11 Schwartz Electro-Optics, Inc. Intelligent vehicle highway system multi-lane sensor and method
US6133989A (en) 1993-02-09 2000-10-17 Advanced Scientific Concepts, Inc. 3D imaging laser radar
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6396397B1 (en) 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
US5805275A (en) 1993-04-08 1998-09-08 Kollmorgen Corporation Scanning optical rangefinder
US5465142A (en) 1993-04-30 1995-11-07 Northrop Grumman Corporation Obstacle avoidance system for helicopters and other aircraft
US5420722A (en) 1993-10-25 1995-05-30 Creo Products Inc. Self-registering microlens for laser diodes
JP3120202B2 (ja) 1993-11-18 2000-12-25 株式会社トプコン パルス方式の光波距離計
US5400350A (en) 1994-03-31 1995-03-21 Imra America, Inc. Method and apparatus for generating high energy ultrashort pulses
DE4413886C1 (de) 1994-04-21 1995-04-06 Leica Ag System zur Erfassung von Verkehrsinformationen in Fahrzeugen
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US8538636B2 (en) 1995-06-07 2013-09-17 American Vehicular Sciences, LLC System and method for controlling vehicle headlights
US8054203B2 (en) 1995-06-07 2011-11-08 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
US7900736B2 (en) 1995-06-07 2011-03-08 Automotive Technologies International, Inc. Vehicular seats with fluid-containing weight sensing system
US20070135982A1 (en) 1995-06-07 2007-06-14 Automotive Technologies International, Inc. Methods for Sensing Weight of an Occupying Item in a Vehicular Seat
CN1101056C (zh) 1995-06-22 2003-02-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
US20020014533A1 (en) 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
US5831719A (en) 1996-04-12 1998-11-03 Holometrics, Inc. Laser scanning system
US5892575A (en) 1996-05-10 1999-04-06 Massachusetts Institute Of Technology Method and apparatus for imaging a scene using a light detector operating in non-linear geiger-mode
AU715284B2 (en) 1996-09-05 2000-01-20 Rudolf Schwarte Method and apparatus for determining the phase and/or amplitude information of an electromagnetic wave
DE19642967C1 (de) 1996-10-18 1998-06-10 Deutsch Zentr Luft & Raumfahrt Verfahren zum automatischen Bestimmen der Sichtweite mit einemn LIDAR-System
US6181463B1 (en) 1997-03-21 2001-01-30 Imra America, Inc. Quasi-phase-matched parametric chirped pulse amplification systems
US6774988B2 (en) 2002-07-30 2004-08-10 Gentex Corporation Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing
US6631316B2 (en) 2001-03-05 2003-10-07 Gentex Corporation Image processing system to control vehicle headlamps or other vehicle equipment
US6327090B1 (en) 1997-07-03 2001-12-04 Levelite Technology, Inc. Multiple laser beam generation
WO1999005661A1 (en) 1997-07-22 1999-02-04 Auto-Sense, Ltd. Multi-frequency photoelectric detection system
US7979173B2 (en) 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
DE59809883D1 (de) 1997-12-23 2003-11-13 Siemens Ag Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
US6150956A (en) 1998-05-01 2000-11-21 Zohar Lightomatic Ltd. Proximity warning system for vehicles
US6055490A (en) 1998-07-27 2000-04-25 Laser Technology, Inc. Apparatus and method for determining precision reflectivity of highway signs and other reflective objects utilizing an optical range finder instrument
JP3840341B2 (ja) 1998-10-15 2006-11-01 浜松ホトニクス株式会社 立体情報検出方法及び装置
US6266442B1 (en) 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US6967053B1 (en) 1999-01-21 2005-11-22 Reflexite Corporation Durable, open-faced retroreflective prismatic construction
US6118518A (en) 1999-02-24 2000-09-12 International Business Machines Corporation Assembly comprising a pocket 3-D scanner
US6370291B1 (en) 1999-03-11 2002-04-09 Opto Power Corporation Printed circuit board waveguide
ATE224066T1 (de) 1999-03-31 2002-09-15 Fraunhofer Ges Forschung Optische anordnung zur symmetrierung der strahlung von zweidimensionalen arrays von laserdioden
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
EP1190234A1 (en) * 1999-06-04 2002-03-27 Teraview Limited Three dimensional imaging
US6619406B1 (en) 1999-07-14 2003-09-16 Cyra Technologies, Inc. Advanced applications for 3-D autoscanning LIDAR system
EP1214609B1 (en) 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system
US6054927A (en) * 1999-09-13 2000-04-25 Eaton Corporation Apparatus and method for sensing an object within a monitored zone
JP2001142166A (ja) 1999-09-15 2001-05-25 Sharp Corp ３ｄカメラ
US6448572B1 (en) 1999-09-29 2002-09-10 Innovative Technology Licensing, Llc Ranging three-dimensional laser imager and method
DE10004398A1 (de) 2000-02-02 2001-08-16 Infineon Technologies Ag VCSEL mit monolithisch integriertem Photodetektor
AU2001282850A1 (en) 2000-04-26 2001-11-07 Arete Associates Very fast time resolved imaging in multiparameter measurement space
JP3574607B2 (ja) 2000-05-02 2004-10-06 ペンタックス株式会社 ３次元画像入力装置
US7630063B2 (en) 2000-08-02 2009-12-08 Honeywell International Inc. Miniaturized cytometer for detecting multiple species in a sample
US6654401B2 (en) 2000-08-08 2003-11-25 F & H Applied Science Associates, Inc. Multiple laser source, and systems for use thereof
US6535275B2 (en) 2000-08-09 2003-03-18 Dialog Semiconductor Gmbh High resolution 3-D imaging range finder
WO2002015144A2 (en) 2000-08-12 2002-02-21 Facet Technology Corp. System for road sign sheeting classification
US6674878B2 (en) 2001-06-07 2004-01-06 Facet Technology Corp. System for automated determination of retroreflectivity of road signs and other reflective objects
US6891960B2 (en) 2000-08-12 2005-05-10 Facet Technology System for road sign sheeting classification
KR100393057B1 (ko) 2000-10-20 2003-07-31 삼성전자주식회사 마이크로 렌즈 일체형 표면광 레이저
US6608360B2 (en) 2000-12-15 2003-08-19 University Of Houston One-chip micro-integrated optoelectronic sensor
AUPR301401A0 (en) 2001-02-09 2001-03-08 Commonwealth Scientific And Industrial Research Organisation Lidar system and method
US6480265B2 (en) 2001-03-26 2002-11-12 Deep Optic Ltd. Active target distance measurement
EP1373830B1 (en) 2001-04-04 2006-05-17 Instro Precision Limited Surface profile measurement
US6711280B2 (en) 2001-05-25 2004-03-23 Oscar M. Stafsudd Method and apparatus for intelligent ranging via image subtraction
US6646725B1 (en) 2001-07-11 2003-11-11 Iowa Research Foundation Multiple beam lidar system for wind measurement
DE10140096A1 (de) 2001-08-16 2003-02-27 Conti Temic Microelectronic Verfahren zum Betrieb eines aktiven Hinderniswarnsystem
US6542227B2 (en) 2001-09-04 2003-04-01 Rosemount Aerospace, Inc. System and method of measuring flow velocity in three axes
CN1608222A (zh) 2001-11-06 2005-04-20 基约蒂公司 图像投影设备
JP3911575B2 (ja) 2001-12-18 2007-05-09 株式会社トプコン パルス方式の光波距離計
US6522396B1 (en) 2002-01-08 2003-02-18 Raytheon Company Dual mode adaptive threshold architecture for 3-D ladar FPA
EP1331709B1 (en) 2002-01-28 2006-03-22 Fujifilm Electronic Imaging Limited Laser diode collimating system
US6843416B2 (en) 2002-01-29 2005-01-18 Symbol Technologies, Inc. Integrated scanner on a common substrate
US6730913B2 (en) * 2002-02-21 2004-05-04 Ford Global Technologies, Llc Active night vision system for vehicles employing short-pulse laser illumination and a gated camera for image capture
JP4537658B2 (ja) 2002-02-22 2010-09-01 株式会社リコー 面発光レーザ素子、該面発光レーザ素子を用いた面発光レーザアレイ、電子写真システム、面発光レーザモジュール、光通信システム、光インターコネクションシステム、および面発光レーザ素子の製造方法
AU2003212211A1 (en) 2002-04-19 2003-11-03 Iee International Electronics And Engineering S.A. Safety device for a vehicle
US7830442B2 (en) 2002-04-30 2010-11-09 ARETé ASSOCIATES Compact economical lidar system
US6975251B2 (en) 2002-06-20 2005-12-13 Dakota Technologies, Inc. System for digitizing transient signals with waveform accumulator
US7561165B2 (en) 2002-07-10 2009-07-14 Harman Becker Automotive Systems Gmbh System for texturizing electronic representations of objects
US6906302B2 (en) 2002-07-30 2005-06-14 Freescale Semiconductor, Inc. Photodetector circuit device and method thereof
US7253723B2 (en) 2003-05-19 2007-08-07 Donnelly Corporation Mirror assembly
US8442084B2 (en) 2002-10-03 2013-05-14 Laser Operations Llc High performance vertically emitting lasers
US7348919B2 (en) * 2002-11-18 2008-03-25 Lockheed Martin Corporation System and method for evaluating the performance of a scan strategy
US7236119B2 (en) * 2002-11-18 2007-06-26 Lockheed Martin Corporation System and method for selecting a receiver hardware configuration to detect emitter signals
GB2397957A (en) 2003-01-30 2004-08-04 Qinetiq Ltd Target detection
US7248342B1 (en) 2003-02-14 2007-07-24 United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Three-dimension imaging lidar
US7171037B2 (en) 2003-03-20 2007-01-30 Agilent Technologies, Inc. Optical inspection system and method for displaying imaged objects in greater than two dimensions
US8198576B2 (en) 2003-03-28 2012-06-12 Aprolase Development Co., Llc Three-dimensional LADAR module with alignment reference insert circuitry comprising high density interconnect structure
US7436494B1 (en) 2003-03-28 2008-10-14 Irvine Sensors Corp. Three-dimensional ladar module with alignment reference insert circuitry
US20040213463A1 (en) 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US8242428B2 (en) 2007-12-06 2012-08-14 The United States Of America As Represented By The Secretary Of The Army Method and system for lidar using spatial information from a light source in combination with nonspatial information influenced by the subject to derive an image
US7319805B2 (en) 2003-10-06 2008-01-15 Ford Motor Company Active night vision image intensity balancing system
US6967569B2 (en) 2003-10-27 2005-11-22 Ford Global Technologies Llc Active night vision with adaptive imaging
US7542499B2 (en) 2003-11-27 2009-06-02 Ricoh Company, Ltd. Surface-emission laser diode and surface-emission laser array, optical interconnection system, optical communication system, electrophotographic system, and optical disk system
US7148974B1 (en) 2004-01-13 2006-12-12 Sandia Corporation Method for tracking the location of mobile agents using stand-off detection technique
US7168815B2 (en) 2004-01-21 2007-01-30 3M Innovative Properties Company Retroreflective elements and articles
EP1751495A2 (en) 2004-01-28 2007-02-14 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
US7026600B2 (en) 2004-02-26 2006-04-11 Rosemount Aerospace Inc. System and method of identifying an object in a laser beam illuminated scene based on material types
WO2005082027A2 (en) 2004-02-26 2005-09-09 Bae Systems Information And Electronic Systems Integration, Inc. Improved active search sensor and a method of detection using non-specular reflections
US7157685B2 (en) 2004-04-12 2007-01-02 Canesta, Inc. Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors
US7590310B2 (en) 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
WO2005122350A1 (ja) 2004-06-11 2005-12-22 Ricoh Company, Ltd. 面発光レーザダイオードおよびその製造方法
US7236235B2 (en) 2004-07-06 2007-06-26 Dimsdale Engineering, Llc System and method for determining range in 3D imaging systems
US7697748B2 (en) 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
SI21525A (sl) 2004-08-25 2004-12-31 Feri Maribor Mikroleče na vrhu optičnih vlaken in postopek za njihovo izdelavo
KR100778904B1 (ko) 2004-09-17 2007-11-22 마츠시다 덴코 가부시키가이샤 레인지 이미지 센서
JP3774225B2 (ja) 2004-10-15 2006-05-10 独立行政法人科学技術振興機構 三次元計測センサ
US7440084B2 (en) 2004-12-16 2008-10-21 Arete' Associates Micromechanical and related lidar apparatus and method, and fast light-routing components
US8085388B2 (en) 2005-02-01 2011-12-27 Laser Projection Technologies, Inc. Laser radar projection with object feature detection and ranging
US7324688B2 (en) * 2005-02-14 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Face relighting for normalization of directional lighting
US7521666B2 (en) 2005-02-17 2009-04-21 Capella Microsystems Inc. Multi-cavity Fabry-Perot ambient light filter apparatus
US7961328B2 (en) 2005-02-25 2011-06-14 Belfort Instrument Company Multiple-angle retroreflectometer
US7451041B2 (en) 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
US7609373B2 (en) 2005-05-31 2009-10-27 Kla-Tencor Technologies Corporation Reducing variations in energy reflected from a sample due to thin film interference
US8451432B2 (en) 2005-06-09 2013-05-28 Analog-Modules, Inc. Laser spot tracking with off-axis angle detection
WO2007123555A2 (en) * 2005-07-14 2007-11-01 Chemimage Corporation Time and space resolved standoff hyperspectral ied explosives lidar detector
US20070055441A1 (en) 2005-08-12 2007-03-08 Facet Technology Corp. System for associating pre-recorded images with routing information in a navigation system
EP1764835B1 (en) 2005-09-19 2008-01-23 CRF Societa'Consortile per Azioni Multifunctional optical sensor comprising a matrix of photodetectors coupled microlenses
US7551771B2 (en) 2005-09-20 2009-06-23 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
EP1777747B1 (en) 2005-10-19 2008-03-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
DE102005054135A1 (de) 2005-11-14 2007-05-16 Bosch Gmbh Robert Verfahren zur Umfelderfassung
DE102006050303A1 (de) 2005-12-05 2007-06-14 Cedes Ag Sensoranordnung sowie Sensorvorrichtung für eine Sensoranordnung
US7881355B2 (en) 2005-12-15 2011-02-01 Mind Melters, Inc. System and method for generating intense laser light from laser diode arrays
US8242476B2 (en) 2005-12-19 2012-08-14 Leddartech Inc. LED object detection system and method combining complete reflection traces from individual narrow field-of-view channels
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
JP2007171851A (ja) 2005-12-26 2007-07-05 Sharp Corp レーザ走査光学系及び画像形成装置
CA2560800C (en) 2006-01-20 2014-08-26 Geo 3D Inc. Automated asset detection, location measurement and recognition
TWI268867B (en) 2006-01-27 2006-12-21 E Pin Optical Industry Co Ltd Multi-beam tandem laser scanning unit
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
US7994465B1 (en) 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
EP1830443B1 (en) 2006-03-03 2016-06-08 Fraunhofer USA, Inc. High power diode laser having multiple emitters and method for its production
US7944548B2 (en) 2006-03-07 2011-05-17 Leica Geosystems Ag Increasing measurement rate in time of flight measurement apparatuses
CN101776224B (zh) 2006-04-28 2012-11-28 株式会社理光 面发光激光阵列、光学扫描装置和成像装置
EP1860462A1 (de) 2006-05-23 2007-11-28 Leica Geosystems AG Distanzmessverfahren und Distanzmesser zur Erfassung der räumlichen Abmessung eines Zieles
US8493445B2 (en) * 2006-05-31 2013-07-23 Sigma Space Corp Scanner/optical system for three-dimensional lidar imaging and polarimetry
WO2008008970A2 (en) 2006-07-13 2008-01-17 Velodyne Acoustics, Inc High definition lidar system
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
EP1901093B1 (de) 2006-09-15 2018-11-14 Triple-IN Holding AG Aufnahme von Entfernungsbildern
EP1903299A1 (en) 2006-09-20 2008-03-26 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method and system for acquiring a 3-D image of a scene
US7701558B2 (en) 2006-09-22 2010-04-20 Leica Geosystems Ag LIDAR system
EP1912078B1 (en) 2006-10-11 2013-07-24 Oerlikon Space AG Laser altimeter, method for range finding and space craft comprising such laser altimeter
US7755743B2 (en) 2006-10-18 2010-07-13 Panasonic Electric Works Co., Ltd. Spatial information detecting apparatus
US7888159B2 (en) 2006-10-26 2011-02-15 Omnivision Technologies, Inc. Image sensor having curved micro-mirrors over the sensing photodiode and method for fabricating
CA2668064A1 (en) 2006-10-30 2008-05-08 Autonosys Inc. Scanning system for lidar
ES2342029T3 (es) 2006-11-14 2010-06-30 Instro Precision Limited Sistema de deteccion de intrusos.
US8045595B2 (en) 2006-11-15 2011-10-25 Cree, Inc. Self aligned diode fabrication method and self aligned laser diode
US8589033B2 (en) 2007-01-11 2013-11-19 Microsoft Corporation Contactless obstacle detection for power doors and the like
US8072581B1 (en) 2007-01-19 2011-12-06 Rockwell Collins, Inc. Laser range finding system using variable field of illumination flash lidar
DE102007010236B4 (de) 2007-03-02 2008-11-20 Toposys Topographische Systemdaten Gmbh Vorrichtung und Verfahren zur Entfernungsbestimmung mittels Lichtpulsen
FR2913774B1 (fr) 2007-03-16 2010-11-26 Thales Sa Dispositif et procede de localisation d'un mobile a l'approche d'une surface reflechissant les ondes electromagnetiques
US8235605B2 (en) 2007-03-19 2012-08-07 Jeong Soo Kim Self-standing parallel plate beam splitter, method for manufacturing the same, and laser diode package structure using the same
US8487525B2 (en) 2007-05-04 2013-07-16 Seoul Semiconductor Co., Ltd. Light emitting device including optical lens
US8319949B2 (en) 2007-06-18 2012-11-27 Leddartech Inc. Method for detecting objects with visible light
WO2009001283A2 (en) 2007-06-27 2008-12-31 Koninklijke Philips Electronics N.V. Optical sensor module and its manufacture
DE102007029959A1 (de) 2007-06-28 2009-01-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erfassung einer Umgebung
DE102007030062A1 (de) 2007-06-29 2009-01-02 Osram Opto Semiconductors Gmbh Monolithisch integrierter Laserdiodenchip mit einem Aufbau als Mehrfachstrahl-Laserdiode
EP2165235A1 (de) 2007-07-03 2010-03-24 LIMO Patentverwaltung GmbH & Co. KG Vorrichtung zur formung von laserstrahlung
EP2626006B1 (en) 2007-08-14 2019-10-09 Koninklijke Philips N.V. Robotic instrument systems utilizing optical fiber sensors
JP5212686B2 (ja) 2007-08-22 2013-06-19 ソニー株式会社 半導体レーザアレイの製造方法
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
DE602007008561D1 (de) 2007-08-31 2010-09-30 Em Microelectronic Marin Sa Optoelektronischer Schaltkreis mit einem Photoempfänger und einer Laserdiode und diesen umfassendes Modul
US7945408B2 (en) 2007-09-20 2011-05-17 Voxis, Inc. Time delay estimation
US7663095B2 (en) 2007-09-20 2010-02-16 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Photodetector with embedded infrared filter
US7894725B2 (en) 2007-09-28 2011-02-22 Massachusetts Institute Of Technology Time-multiplexed optical waveform generation
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
US8125620B2 (en) 2007-10-18 2012-02-28 PulsedLight, LLC Optical sensor device
US8027029B2 (en) 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
JP5019117B2 (ja) * 2007-11-14 2012-09-05 スタンレー電気株式会社 距離画像生成装置
US8594455B2 (en) 2011-09-28 2013-11-26 The United States Of America As Represented By The Secretary Of The Army System and method for image enhancement and improvement
DE102007061358B4 (de) 2007-12-19 2012-02-16 Limo Patentverwaltung Gmbh & Co. Kg Vorrichtung zur Formung von Laserstrahlung
US8310655B2 (en) 2007-12-21 2012-11-13 Leddartech Inc. Detection and ranging methods and systems
US8723689B2 (en) 2007-12-21 2014-05-13 Leddartech Inc. Parking management system and method using lighting system
CN101910867B (zh) 2008-01-16 2016-05-18 皇家飞利浦电子股份有限公司 基于自混合干涉的激光传感器系统
US8077294B1 (en) 2008-01-17 2011-12-13 Ball Aerospace & Technologies Corp. Optical autocovariance lidar
KR100914961B1 (ko) 2008-01-23 2009-09-02 성균관대학교산학협력단 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템
US20090232355A1 (en) * 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data using eigenanalysis
US7733932B2 (en) 2008-03-28 2010-06-08 Victor Faybishenko Laser diode assemblies
WO2009124601A1 (en) 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
CA2720817C (en) 2008-04-22 2014-04-08 Riegl Laser Measurement Systems Gmbh Apparatus and method for measurement of the reception time of a pulse
US8301027B2 (en) 2008-05-02 2012-10-30 Massachusetts Institute Of Technology Agile-beam laser array transmitter
US8249798B2 (en) 2008-05-29 2012-08-21 Delphi Technologies, Inc. Vehicle pre-impact sensing system having signal modulation
DE102008031682A1 (de) 2008-07-04 2010-03-11 Eads Deutschland Gmbh Direktempfang-Doppler-LIDAR-Verfahren und Direktempfang-Doppler-LIDAR-Vorrichtung
WO2010006081A1 (en) 2008-07-08 2010-01-14 Chiaro Technologies, Inc. Multiple channel locating
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8809758B2 (en) * 2008-07-25 2014-08-19 Cornell University Light field image sensor with an angle-sensitive pixel (ASP) device
US7873091B2 (en) 2008-08-13 2011-01-18 Institut National D'optique Laser diode illuminator device and method for optically conditioning the light beam emitted by the same
JP5448617B2 (ja) 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
US8368876B1 (en) 2008-10-17 2013-02-05 Odyssey Space Research, L.L.C. Calibration system and method for imaging flash LIDAR systems
JP4981780B2 (ja) 2008-10-20 2012-07-25 本田技研工業株式会社 測距システム及び測距方法
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8364334B2 (en) 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
WO2010051615A1 (en) * 2008-11-05 2010-05-14 Neptec Design Group Ltd. Return pulse shape analysis for falling edge object discrimination of aerosol lidar
CA2764120C (en) 2009-01-27 2019-01-08 Xyz Interactive Technologies Inc. A method and apparatus for ranging finding, orienting, and/or positioning of single and/or multiple devices
US8229663B2 (en) 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
US8120754B2 (en) 2009-02-19 2012-02-21 Northrop Grumman Systems Corporation Light detection and ranging apparatus
US8699755B2 (en) 2009-02-20 2014-04-15 Navteq B.V. Determining travel path features based on retroreflectivity
US8380367B2 (en) 2009-03-26 2013-02-19 The University Of North Dakota Adaptive surveillance and guidance system for vehicle collision avoidance and interception
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8810796B2 (en) * 2009-04-21 2014-08-19 Michigan Aerospace Corporation Light processing system and method
US8797550B2 (en) 2009-04-21 2014-08-05 Michigan Aerospace Corporation Atmospheric measurement system
US8097842B2 (en) 2009-05-31 2012-01-17 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. High resolution single track optical encoder
WO2011000411A1 (en) * 2009-06-30 2011-01-06 Trimble Ab Optical pulse transmitter
RU2419934C2 (ru) 2009-07-17 2011-05-27 Василий Иванович Швейкин Диодный источник многолучевого когерентного лазерного излучения (варианты)
JP5439080B2 (ja) 2009-07-28 2014-03-12 株式会社日立製作所 光ｉ／ｏアレイモジュール
JP2011035190A (ja) 2009-08-03 2011-02-17 Ricoh Co Ltd マルチビームレーザ光量制御回路および該マルチビームレーザ光量制御回路を具備する光走査装置
US8125367B2 (en) 2009-08-06 2012-02-28 Irvine Sensors Corp. AM chirp LADAR readout circuit and module
US8508721B2 (en) 2009-08-18 2013-08-13 The Boeing Company Multifunction aircraft LIDAR
DE102009029364A1 (de) 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
DE102009029372A1 (de) 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
US20110285981A1 (en) * 2010-05-18 2011-11-24 Irvine Sensors Corporation Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR
JP5269735B2 (ja) 2009-10-08 2013-08-21 株式会社東芝 固体撮像装置
US8451871B2 (en) 2009-11-23 2013-05-28 Vladimir Yankov Method of manufacturing a laser diode with improved light-emitting characteristics
US8368005B2 (en) 2009-11-30 2013-02-05 Pixart Imaging Incorporation Optical detection method and optical MEMS detector, and method for making MEMS detector
JP2011119434A (ja) 2009-12-03 2011-06-16 Renesas Electronics Corp 半導体レーザ素子及びその製造方法
US20110131722A1 (en) 2009-12-04 2011-06-09 Spajacket International Inc. Spa side wall insulated jacket and method of use
US8736670B2 (en) 2009-12-07 2014-05-27 Photon-X, Inc. 3D visualization system
US8098969B2 (en) 2009-12-08 2012-01-17 Onechip Photonics Inc. Waveguide optically pre-amplified detector with passband wavelength filtering
EP2522951A1 (en) * 2010-01-06 2012-11-14 Konica Minolta Advanced Layers, Inc. Stereo camera device
US20130076861A1 (en) 2010-01-21 2013-03-28 Shmuel Sternklar Method and apparatus for probing an object, medium or optical path using noisy light
US8054464B2 (en) 2010-01-25 2011-11-08 Sigma Space Corp. Polarization switching lidar device and method
US8111452B2 (en) 2010-02-22 2012-02-07 Corning Incorporated Wavelength conversion device with microlens and optical package incorporating the same
EP2542913B1 (en) 2010-03-02 2019-05-08 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment
EP2363928B1 (de) 2010-03-03 2012-03-28 Axetris AG Laserdiodenaufbau mit reduziertem Rauschen
US8494687B2 (en) 2010-03-12 2013-07-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method for enhancing a three dimensional image from a plurality of frames of flash LIDAR data
US8655513B2 (en) 2010-03-12 2014-02-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Methods of real time image enhancement of flash LIDAR data and navigating a vehicle using flash LIDAR data
US8426797B2 (en) * 2010-03-23 2013-04-23 Massachusetts Institute Of Technology CMOS readout architecture and method for photon-counting arrays
US8363156B2 (en) 2010-04-09 2013-01-29 3Dv Co. Ltd Single-lens 2D/3D digital camera
JP5050076B2 (ja) 2010-04-13 2012-10-17 株式会社日立製作所 光通信モジュールおよび光通信装置
EP2561482B1 (en) * 2010-04-21 2020-10-14 National ICT Australia Limited Shape and photometric invariants recovery from polarisation images
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8587637B1 (en) 2010-05-07 2013-11-19 Lockheed Martin Corporation Three dimensional ladar imaging and methods using voxels
US8259003B2 (en) 2010-05-14 2012-09-04 Massachusetts Institute Of Technology High duty cycle radar with near/far pulse compression interference mitigation
EP3805789A3 (en) 2010-05-17 2021-07-07 Velodyne Lidar, Inc. High definition lidar system
US8558993B2 (en) 2010-05-21 2013-10-15 The National Institute of Standards and Technology, as Presented by the Secretary of Commerce Optical frequency comb-based coherent LIDAR
US8605262B2 (en) 2010-06-23 2013-12-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Time shifted PN codes for CW LiDAR, radar, and sonar
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8640182B2 (en) 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
LU91714B1 (en) 2010-07-29 2012-01-30 Iee Sarl Active illumination scanning imager
US8599367B2 (en) 2010-08-04 2013-12-03 Alliant Techsystems Inc. Apparatus and methods for obtaining multi-dimensional spatial and spectral data with LIDAR detection
US8570406B2 (en) 2010-08-11 2013-10-29 Inview Technology Corporation Low-pass filtering of compressive imaging measurements to infer light level variation
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
KR101710514B1 (ko) 2010-09-03 2017-02-27 삼성전자주식회사 깊이 센서 및 이를 이용한 거리 추정 방법
WO2012037157A2 (en) 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US9194953B2 (en) 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
US9857469B2 (en) 2010-10-22 2018-01-02 Heptagon Micro Optics Pte. Ltd. System and method for multi TOF camera operation using phase hopping
US8692980B2 (en) 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
KR101669412B1 (ko) 2010-11-01 2016-10-26 삼성전자주식회사 3ｄ 카메라를 위한 깊이 정보 측정 방법 및 장치
US8520713B2 (en) 2010-11-19 2013-08-27 Trilumina Corporation Optical pumping of solid-state laser material using addressable laser array
WO2012066501A1 (en) 2010-11-19 2012-05-24 Primesense Ltd. Depth mapping using time-coded illumination
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US8340151B2 (en) 2010-12-13 2012-12-25 Ut-Battelle, Llc V-shaped resonators for addition of broad-area laser diode arrays
US8633989B2 (en) 2010-12-16 2014-01-21 Sony Corporation 3D camera phone
EP2469295A1 (en) 2010-12-23 2012-06-27 André Borowski 3D landscape real-time imager and corresponding imaging methods
EP2469301A1 (en) 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
US8391336B2 (en) 2011-03-07 2013-03-05 A.P.M. Automation Solutions Ltd Variable length ranging and direction-finding signals constructed from bandlimited kernels and sparse spreading sequences
US8599363B2 (en) * 2011-04-06 2013-12-03 GM Global Technology Operations LLC Method and apparatus for an object detection system using two modulated light sources
US8687172B2 (en) 2011-04-13 2014-04-01 Ivan Faul Optical digitizer with improved distance measurement capability
US8976340B2 (en) * 2011-04-15 2015-03-10 Advanced Scientific Concepts, Inc. Ladar sensor for landing, docking and approach
US8760499B2 (en) 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US8570372B2 (en) 2011-04-29 2013-10-29 Austin Russell Three-dimensional imager and projection device
US8934087B1 (en) 2011-04-29 2015-01-13 Bae Systems Information And Electronic Systems Integration Inc. Multi-zone approach for active/passive sensing
US8908159B2 (en) 2011-05-11 2014-12-09 Leddartech Inc. Multiple-field-of-view scannerless optical rangefinder in high ambient background light
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
EP2772676B1 (de) 2011-05-18 2015-07-08 Sick Ag 3D-Kamera und Verfahren zur dreidimensionalen Überwachung eines Überwachungsbereichs
US8811720B2 (en) 2011-07-12 2014-08-19 Raytheon Company 3D visualization of light detection and ranging data
US8928865B2 (en) 2011-08-16 2015-01-06 Telaris, Inc. Three-dimensional tomographic imaging camera
US8963956B2 (en) 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
CA2848701C (en) 2011-09-13 2019-01-29 Osi Optoelectronics, Inc. Improved laser rangefinder sensor
JP5454654B1 (ja) 2011-10-24 2014-03-26 株式会社デンソー 表示制御装置、及び、表示画像割当方法
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
WO2013081984A1 (en) 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
WO2013081985A1 (en) 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
US8947647B2 (en) 2011-12-13 2015-02-03 Raytheon Company Range-resolved vibration using large time-bandwidth product LADAR waveforms
US9137511B1 (en) 2011-12-15 2015-09-15 Rawles Llc 3D modeling with depth camera and surface normals
TWI551113B (zh) 2011-12-27 2016-09-21 鴻海精密工業股份有限公司 3d成像模組及3d成像方法
WO2013104717A1 (en) 2012-01-10 2013-07-18 Softkinetic Sensors Nv Improvements in or relating to the processing of time-of-flight signals
US8724671B2 (en) 2012-01-24 2014-05-13 Southwest Research Institute Multiple wavelength laser system
US9294754B2 (en) 2012-02-03 2016-03-22 Lumentum Operations Llc High dynamic range and depth of field depth camera
DE112013001240T5 (de) 2012-03-01 2014-11-20 Iee International Electronics & Engineering S.A. Kompakte Laserquelle zur aktiven Beleuchtung für hybride dreidimensionaleBildgabevorrichtungen
US9329269B2 (en) 2012-03-15 2016-05-03 GM Global Technology Operations LLC Method for registration of range images from multiple LiDARS
US8804101B2 (en) 2012-03-16 2014-08-12 Advanced Scientific Concepts, Inc. Personal LADAR sensor
US9109888B2 (en) 2012-03-21 2015-08-18 Honda Motor Co., Ltd. Distance measuring system
CA2868355C (en) 2012-03-23 2020-02-25 Picometrix, Llc System and method to detect anomalies
KR102039894B1 (ko) 2012-04-18 2019-11-04 브라이트웨이 비젼 엘티디. 리드아웃 별 다중 게이트 픽셀
US9723233B2 (en) * 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
JP6416085B2 (ja) 2012-05-29 2018-10-31 ブライトウェイ ビジョン リミテッド 適用可能な被写界深度を使用するゲーテッド撮像
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
BR112015006178B1 (pt) 2012-09-21 2022-11-16 Nokia Technologies Oy Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
US9204121B1 (en) 2012-11-26 2015-12-01 Amazon Technologies, Inc. Reflector-based depth mapping of a scene
US8879050B2 (en) 2012-12-04 2014-11-04 Texas Instruments Incorporated Method for dynamically adjusting the operating parameters of a TOF camera according to vehicle speed
US9046600B2 (en) * 2012-12-05 2015-06-02 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for intensity calibration of multi-beam lidar sensors
US20160047901A1 (en) 2012-12-25 2016-02-18 Quanergy Systems, Inc. Robust lidar sensor for broad weather, shock and vibration conditions
CN103064087B (zh) 2012-12-25 2015-02-25 符建 基于多次积分的三维成像雷达系统及方法
US20140218473A1 (en) 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
JP6363619B2 (ja) 2013-01-08 2018-07-25 マサチューセッツ インスティテュート オブ テクノロジー 光フェーズドアレイ
US9277204B2 (en) 2013-01-23 2016-03-01 Advanced Scientific Concepts, Inc. Modular LADAR sensor
US20140211194A1 (en) 2013-01-27 2014-07-31 Quanergy Systems, Inc. Cost-effective lidar sensor for multi-signal detection, weak signal detection and signal disambiguation and method of using same
DE112014000934T5 (de) 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
US8855849B1 (en) * 2013-02-25 2014-10-07 Google Inc. Object detection based on known structures of an environment of an autonomous vehicle
US9398287B2 (en) 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US20150002734A1 (en) 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US9142019B2 (en) 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US20140240469A1 (en) 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
US9069060B1 (en) * 2013-03-13 2015-06-30 Google Inc. Circuit architecture for optical receiver with increased dynamic range
US9103715B1 (en) * 2013-03-15 2015-08-11 Joseph R. Demers Terahertz spectrometer phase modulator control using second harmonic nulling
US9069080B2 (en) 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
US9274047B2 (en) 2013-05-24 2016-03-01 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects
US8742325B1 (en) 2013-07-31 2014-06-03 Google Inc. Photodetector array on curved substrate
US10126412B2 (en) 2013-08-19 2018-11-13 Quanergy Systems, Inc. Optical phased array lidar system and method of using same
US9094628B2 (en) 2013-10-27 2015-07-28 Raytheon Company Address mapped repartitioned digital pixel
CN108919294B (zh) 2013-11-20 2022-06-14 新唐科技日本株式会社 测距摄像系统以及固体摄像元件
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
EP2890125B1 (en) 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
US20150192677A1 (en) 2014-01-03 2015-07-09 Quanergy Systems, Inc. Distributed lidar sensing system for wide field of view three dimensional mapping and method of using same
WO2015104451A1 (en) 2014-01-07 2015-07-16 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
US9756319B2 (en) * 2014-02-27 2017-09-05 Harman International Industries, Incorporated Virtual see-through instrument cluster with live video
DE102014103010A1 (de) 2014-03-06 2015-09-10 Skidata Ag Digitalkamera
EP3117238B1 (en) 2014-03-14 2022-03-02 Heptagon Micro Optics Pte. Ltd. Optical imaging modules and optical detection modules including a time-of-flight sensor
GB2524478A (en) 2014-03-20 2015-09-30 Nokia Technologies Oy Method, apparatus and computer program product for filtering of media content
JP6481846B2 (ja) * 2014-03-27 2019-03-13 日本精機株式会社 車両用警報装置
US9451141B2 (en) 2014-04-19 2016-09-20 Massachusetts Institute Of Technology Methods and apparatus for demultiplexing illumination
US9756312B2 (en) 2014-05-01 2017-09-05 Ecole polytechnique fédérale de Lausanne (EPFL) Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware
GB201409625D0 (en) * 2014-05-30 2014-07-16 Isis Innovation Vehicle localisation
US9185391B1 (en) 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
IL233356A (en) 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
US9753351B2 (en) 2014-06-30 2017-09-05 Quanergy Systems, Inc. Planar beam forming and steering optical phased array chip and method of using same
US9575184B2 (en) 2014-07-03 2017-02-21 Continental Advanced Lidar Solutions Us, Inc. LADAR sensor for a dense environment
US10237534B2 (en) * 2014-07-07 2019-03-19 Infineon Technologies Ag Imaging device and a method for producing a three-dimensional image of an object
US9869753B2 (en) 2014-08-15 2018-01-16 Quanergy Systems, Inc. Three-dimensional-mapping two-dimensional-scanning lidar based on one-dimensional-steering optical phased arrays and method of using same
US9239264B1 (en) * 2014-09-18 2016-01-19 Joseph R. Demers Transceiver method and apparatus having phase modulation and common mode phase drift rejection
IL235359A0 (en) 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source
US9218534B1 (en) * 2014-11-17 2015-12-22 Tandent Vision Science, Inc. Method and system for classifying painted road markings in an automotive driver-vehicle-assistance device
JP6397318B2 (ja) * 2014-11-26 2018-09-26 浜松ホトニクス株式会社 電場ベクトル検出方法及び電場ベクトル検出装置
US9635231B2 (en) 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US20180176483A1 (en) 2014-12-29 2018-06-21 Metaio Gmbh Method and sytem for generating at least one image of a real environment
US20170230638A1 (en) 2015-02-26 2017-08-10 Dual Aperture International Co. Ltd. Depth Measurement Techniques for a Multi-Aperture Imaging System
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10000000B2 (en) 2015-03-10 2018-06-19 Raytheon Company Coherent LADAR using intra-pixel quadrature detection
CN104835145B (zh) * 2015-04-09 2017-09-12 电子科技大学 基于自适应Codebook背景模型的前景检测方法
EP3121620B1 (de) 2015-07-21 2017-12-20 HENSOLDT Sensors GmbH Verfahren zur segmentierung der daten eines 3d-sensors, erzeugt in gegenwart von aerosol-wolken, zur erhöhung des situationsbewusstseins und der lageerkennung von hindernissen
US9880267B2 (en) 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
JP6129268B2 (ja) * 2015-10-08 2017-05-17 三菱電機株式会社 車両用運転支援システムおよび運転支援方法
EP3182162B1 (en) * 2015-12-18 2022-02-16 STMicroelectronics (Grenoble 2) SAS Multi-zone ranging and intensity mapping using spad based tof system
WO2017149370A1 (en) 2016-03-01 2017-09-08 Brightway Vision Ltd. Gated imaging apparatus, system and method
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
US10451740B2 (en) 2016-04-26 2019-10-22 Cepton Technologies, Inc. Scanning lidar systems for three-dimensional sensing
US10301041B2 (en) * 2016-06-09 2019-05-28 California Institute Of Technology Systems and methods for tracking moving objects
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
US10140690B2 (en) 2017-02-03 2018-11-27 Harman International Industries, Incorporated System and method for image presentation by a vehicle driver assist module
JP6580761B1 (ja) * 2018-07-11 2019-09-25 株式会社フォーディーアイズ 偏光ステレオカメラによる深度取得装置及びその方法
KR102176093B1 (ko) * 2018-12-28 2020-11-09 충북대학교 산학협력단 색공간 압축 기법을 이용한 조명 불변 이미지를 획득하는 방법 및 이를 위한 장치
JP2023523111A (ja) * 2020-02-10 2023-06-02 上海禾賽科技有限公司 ライダーシステムのための適応型エミッタ及びレシーバ

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000019705A1 (en) * 1998-09-28 2000-04-06 3Dv Systems, Ltd. Distance measurement with a camera
JP2005172437A (ja) * 2003-12-05 2005-06-30 National Institute Of Advanced Industrial & Technology 物体位置検出装置、物体追尾装置および情報提供装置
CN101142822A (zh) * 2005-03-17 2008-03-12 Iee国际电子工程股份公司 3d成像系统
US20100265386A1 (en) * 2007-02-06 2010-10-21 Ramesh Raskar 4D Light Field Cameras
CN101373217A (zh) * 2008-08-28 2009-02-25 阮树成 毫米波船用调频多通道防撞雷达
US20150296201A1 (en) * 2008-11-25 2015-10-15 Tetravue, Inc. Systems and method of high resolution three-dimensional imaging
US20120123718A1 (en) * 2010-11-12 2012-05-17 Texas Instruments Incorporated Method and apparatus for controlling time of flight confidence map based depth noise and depth coverage range
CN102590821A (zh) * 2010-12-21 2012-07-18 微软公司 多阳极飞行时间传感器
CN103502839A (zh) * 2011-03-17 2014-01-08 加泰罗尼亚科技大学 用于接收光束的系统、方法和计算机程序
CN103748479A (zh) * 2011-07-15 2014-04-23 软动力学传感器公司 用于提供距离信息的飞行时间摄像机及方法
WO2015126471A2 (en) * 2013-11-12 2015-08-27 Facet Technology Corp. Methods and apparatus for array based lidar systems with reduced interference
CN103616696A (zh) * 2013-11-27 2014-03-05 中国电子科技集团公司第三十八研究所 一种激光成像雷达装置及其测距的方法
CN103760567A (zh) * 2014-01-27 2014-04-30 中国科学院半导体研究所 一种具有测距功能的被动成像系统及其测距方法
WO2015156997A1 (en) * 2014-04-11 2015-10-15 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
CN105093206A (zh) * 2014-05-19 2015-11-25 洛克威尔自动控制技术股份有限公司 飞行时间传感器中的波形重构

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Also Published As

Publication number Publication date
US11477363B2 (en) 2022-10-18
DE112017001112T5 (de) 2018-11-29
US10873738B2 (en) 2020-12-22
US20230336869A1 (en) 2023-10-19
CN109313345B (zh) 2021-05-28
US10382742B2 (en) 2019-08-13
US20240147062A1 (en) 2024-05-02
US20210258497A1 (en) 2021-08-19
US10623716B2 (en) 2020-04-14
JP6835879B2 (ja) 2021-02-24
JP2019508717A (ja) 2019-03-28
US9866816B2 (en) 2018-01-09
US20200036958A1 (en) 2020-01-30
US20180295344A1 (en) 2018-10-11
US20170257617A1 (en) 2017-09-07
US20190058867A1 (en) 2019-02-21
US20190364262A1 (en) 2019-11-28
US10298908B2 (en) 2019-05-21
KR20190009276A (ko) 2019-01-28
US11838626B2 (en) 2023-12-05
WO2017151561A1 (en) 2017-09-08

Similar Documents

Publication Publication Date Title
CN109313345A (zh) 用于图像采集和分析的有源脉冲4d 摄像装置的方法和装置
JP7426377B2 (ja) マルチスペクトル測距／撮像センサアレイ及びシステム
US10408940B2 (en) Remote lidar with coherent fiber optic image bundle
US20190011541A1 (en) Lidar with malfunction detection
CN114616489A (zh) Lidar图像处理
KR20200075014A (ko) 잡음 적응형 솔리드-스테이트 lidar 시스템
CN101430796B (zh) 图像产生方法和设备
GB2486947A (en) Determining a total number of people in an image obtained via an infra-red imaging system
CN108572371A (zh) Tof相机、机动车、制造相机的方法和确定间距的方法
CN103558160B (zh) 一种提高光谱成像空间分辨率的方法和系统
Beer et al. Modelling of SPAD-based time-of-flight measurement techniques
US11422264B2 (en) Optical remote sensing
WO2022088492A1 (zh) 一种采集器、距离测量系统及电子设备
US11754710B2 (en) Measurement device and method of operating therefor
US20180012922A1 (en) Optical device for exposure of a sensor device for a vehicle
US20230185085A1 (en) Self-illuminating distortion harp
US11086058B2 (en) Transmitter having a light modulator for light detection and ranging (LIDAR)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant