CN102143342B - 投影照明与图像传感器的卷帘的同步 - Google Patents

投影照明与图像传感器的卷帘的同步 Download PDF

Info

Publication number
CN102143342B
CN102143342B CN201110035990.9A CN201110035990A CN102143342B CN 102143342 B CN102143342 B CN 102143342B CN 201110035990 A CN201110035990 A CN 201110035990A CN 102143342 B CN102143342 B CN 102143342B
Authority
CN
China
Prior art keywords
scene
radiation source
ray
district
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110035990.9A
Other languages
English (en)
Other versions
CN102143342A (zh
Inventor
Z·莫尔
A·施庞特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN102143342A publication Critical patent/CN102143342A/zh
Application granted granted Critical
Publication of CN102143342B publication Critical patent/CN102143342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2006—Lamp housings characterised by the light source
    • G03B21/2033—LED or laser light sources
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/02—Structural details or components not essential to laser action
    • H01S5/022—Mountings; Housings
    • H01S5/023—Mount members, e.g. sub-mount members
    • H01S5/02315—Support members, e.g. bases or carriers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0004—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
    • G02B19/0028—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed refractive and reflective surfaces, e.g. non-imaging catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/0047—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source
    • G02B19/0052—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a laser diode
    • G02B19/0057—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a laser diode in the form of a laser diode array, e.g. laser diode bar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0977—Reflective elements
    • G02B27/0983—Reflective elements being curved
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2066—Reflectors in illumination beam
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/02—Structural details or components not essential to laser action
    • H01S5/022—Mountings; Housings
    • H01S5/0225—Out-coupling of light
    • H01S5/02255—Out-coupling of light using beam deflecting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/0944—Diffractive optical elements, e.g. gratings, holograms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0972—Prisms
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L33/00—Semiconductor devices having potential barriers specially adapted for light emission; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L33/48—Semiconductor devices having potential barriers specially adapted for light emission; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof characterised by the semiconductor body packages
    • H01L33/58—Optical field-shaping elements
    • H01L33/60—Reflective elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/005—Optical components external to the laser cavity, specially adapted therefor, e.g. for homogenisation or merging of the beams or for manipulating laser pulses, e.g. pulse shaping
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/005—Optical components external to the laser cavity, specially adapted therefor, e.g. for homogenisation or merging of the beams or for manipulating laser pulses, e.g. pulse shaping
    • H01S5/0071—Optical components external to the laser cavity, specially adapted therefor, e.g. for homogenisation or merging of the beams or for manipulating laser pulses, e.g. pulse shaping for beam steering, e.g. using a mirror outside the cavity to change the beam direction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/02—Structural details or components not essential to laser action
    • H01S5/022—Mountings; Housings
    • H01S5/0225—Out-coupling of light
    • H01S5/02253—Out-coupling of light using lenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/02—Structural details or components not essential to laser action
    • H01S5/022—Mountings; Housings
    • H01S5/0225—Out-coupling of light
    • H01S5/02257—Out-coupling of light using windows, e.g. specially adapted for back-reflecting light to a detector inside the housing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/02—Structural details or components not essential to laser action
    • H01S5/022—Mountings; Housings
    • H01S5/023—Mount members, e.g. sub-mount members
    • H01S5/02325—Mechanically integrated components on mount members or optical micro-benches
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/4025—Array arrangements, e.g. constituted by discrete laser diodes or laser bar
    • H01S5/4031—Edge-emitting structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42—Arrays of surface emitting lasers
    • H01S5/423—Arrays of surface emitting lasers having a vertical cavity

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Semiconductor Lasers (AREA)

Abstract

成像设备，包括：照明组件，包括多个辐射源和投影光学器件，其配置为将射线从所述辐射源投影至场景的各个不同区域。成像组件，包括图像传感器和目标光学器件，其配置为在所述图像传感器上形成所述场景的光学图像，所述图像传感器包括布置成多个组的传感器元件的一个阵列，这些组传感器元件由卷帘触发，以在各个相继的曝光期内从所述场景的各个不同区域捕获来自所述场景的射线，以形成所述场景的电子图像。控制器，其被连接以通过脉冲模式相续地开动所述辐射源，以使所述照明组件与所述卷帘同步地照明所述场景的各个不同区。

Description

投影照明与图像传感器的卷帘的同步
相关申请的相互参引
本申请要求2010年2月2日递交的美国临时专利申请61/300,465的利益，上述文本以引证方式在此纳入。
技术领域
本发明大体涉及用于电子成像的系统和方法，并具体涉及用于增强所捕获图像的质量的照明方法。
背景技术
大部分廉价的CMOS图像传感器使用卷帘(rolling shutter)，其中，相继行的传感器元件被相续地触发以捕获光线。因此，这一获取图像的方法并不是将每个单独帧记录为某个时间点的单个快照，而是记录为扫描过该帧的一序列图像条纹(a sequence of image stripes)。这种卷帘的结果是，并非光学图像的所有部分都在正好同一时刻被记录(虽然所述帧被存储为单个电子图像)。
卷帘的使用在图像帧中引入了瞬时剪切(temporal shear)，其会在移动物体的成像中产生赝象(artifact)。Bradley等人在IEEEInternational Workshop on Projector-Camera Systems-PROCAMS 2009(迈阿密海滩，佛罗里达，2009年)的“Synchronization and RollingShutter Compensation for Consumer Video Camera Arrays”中应对了这一问题，上述文本以引证方式被纳入本说明书。该作者提出使用同步频闪照明来解决所述问题。
发明内容
下文描述的本发明的实施方案提供了用于照明目标的设备和方法，所述设备和方法在使用带有卷帘的传感器对该目标进行成像时是有利的。
因此，根据本发明的一个实施方案，提供了成像设备，包括：照明组件，包括多个辐射源和投影光学器件，其被配置为将射线从所述辐射源投影至场景的各个不同区域。成像组件，包括图像传感器和目标光学器件，其被配置为在所述图像传感器上形成所述场景的光学图像，所述图像传感器包括布置成多组的传感器元件的一个阵列，这些组传感器元件由卷帘触发，以在各个相继的曝光期内从所述场景的各个不同区捕获来自所述场景的射线，以形成所述场景的电子图像。控制器被连接以通过脉冲模式相续地开动(actuate)所述辐射源，以使所述照明组件与所述卷帘同步地照明所述场景的各个不同区。
在所公开的一些实施方案中，每一组包括一行或多行传感器元件，并且所述区域限定了以平行于所述行的方向延伸过所述场景的条纹。通常，每一条纹照明一个相应区域，该区域包含了所述场景的、由相应的一组多行传感器元件从中捕获射线的区，并且所述控制器被配置为开动所述辐射源，以使所投影的射线以垂直于所述行的方向扫掠过所述场景。
在所公开的一个实施方案中，所述卷帘限定了用于捕获整个电子图像的帧时(frame time)，并且所述控制器被配置为将每个辐射源开动一个小于该帧时的一半的相应开动期(actuation period)。所述控制器可以开动每个辐射源，以使所述照明组件仅在捕获来自所述场景的每个区的射线的相应一组传感器元件的相应曝光期内照明该区。
在一些实施方案中，所述投影光学器件包括图案化元件(patterning element)，其被配置为使射线以预定图案投影至所述场景，所述预定图案能以电子图像形式被所述成像组件探测。通常，所述控制器被配置为分析所述电子图像中的图案，以生成所述场景的深度图。在一个实施方案中，所述辐射源包括发光元件的一个矩阵，所述发光元件被布置在衬底上，并被配置为在与所述衬底垂直的方向上发射射线。在另一实施方案中，所述辐射源包括一行边缘发射元件，它们被布置在衬底上，并被配置为在与所述衬底平行的方向上发射射线，并且所述照明组件包括布置在所述衬底上的反射器，以将所述边缘发射元件发射的射线转向远离所述衬底且朝向所述图案化元件。
根据本发明的一个实施方案，还提供了一种用于成像的方法，包括：布置多个辐射源，以将射线投影至场景的各个不同区域。图像传感器，其包括布置成多组的传感器元件的一个阵列，被配置为接收所述场景的光学图像，其中这些组传感器元件从所述场景的各个不同区接收射线。这些组传感器元件由卷帘触发，以在各个相继的曝光期内捕获来自所述场景的射线，以形成所述场景的电子图像。所述辐射源被以脉冲模式相续地开动，以与所述卷帘同步地照明所述场景的各个不同区。
在一个实施方案中，配置所述图像传感器包括：将多个带有相应卷帘的图像传感器与多个相应的辐射源布置在一起，以形成场景的具有各个不同的相重叠的部分的相应电子图像，并且，开动所述辐射源包括：将所述多个相应的辐射源与所述多个图像传感器同步，以在任何给定时刻控制由所述辐射源照明的所述场景的各个区的重叠。本方法可以包括：分析由所述多个图像传感器形成的电子图像上的图案(pattern)，以生成所述场景的深度图。
根据本发明的一个实施方案，还提供了成像设备，其包括多个成像单元。所述成像单元包括多个相应的辐射源和投影光学器件，其被配置为将射线从所述辐射源投影至场景的各个不同区域，以及相应的成像组件。所述成像组件包括相应的图像传感器和目标光学器件，其被配置为在各个图像传感器上形成所述场景的各个不同的相重叠的部分的相应光学图像。每一图像传感器包括布置成多组的传感器元件的一个阵列，这些组传感器元件由卷帘触发，以在各个相继的曝光期内从所述场景的各个不同区捕获来自所述场景的射线，以形成所述场景的各个电子图像。所述辐射源被以脉冲模式相续地开动，以使所述照明组件与所述卷帘同步地照明所述场景的各个不同区，同时使所述多个相应的辐射源与所述多个图像传感器同步，以在任何给定时刻控制由所述辐射源照明的所述场景的各个区的重叠。
通常，所述重叠被控制，以使在任何给定时刻由所述辐射源照明的所述场景的各个区是不重叠的。
从下文结合附图对本发明实施方案的详细描述中，将更充分地理解本发明。
附图说明
图1是根据本发明一个实施方案的成像系统的示意性侧视图；
图2是根据本发明一个实施方案的、使用条纹照明捕获的图像帧的一部分的示意图；
图3是根据本发明一个实施方案的、示出了条纹照明与卷帘操作之间的同步的时序图(timing diagram)；
图4A是根据本发明一个实施方案的投影模块的示意性侧视图；
图4B是图4A的投影模块中使用的光电分组件(optoelectronicsubassembly)的示意性俯视图；
图5A和5B分别是根据本发明另一实施方案的光电分组件的示意性侧视图和俯视图；
图5C是图5A和5B的分组件中使用的棱镜的示意图；
图6是根据本发明又一实施方案的照明组件的示意性侧视图；
图7是由图6的照明组件照明的图像帧的一部分的示意图；
图8是根据本发明另一实施方案的成像系统的示意性侧视图；以及
图9是根据本发明再一实施方案的成像系统的示意图。
具体实施方式
概览
各类成像系统包括用于照明所关注场景的光学投影仪。例如，投影仪可以被用来将经编码的(coded)或结构化的(structured)光的图案投射到目标上，以用于三维(3D)深度绘图。在这方面，美国专利申请公开文本2008/0240502(其公开内容以引证方式纳入本说明书)描述了一种照明组件，其中光源(诸如激光二极管或LED)用光学射线透射一个透明体，以将图案投影到所述目标上。(术语“光学(optical)”“光(light)”及“照明”在此用于大体指代可见光、红外线以及紫外线中的任一种。)图像传感器捕获被投影到所述目标上的图案的图像，且处理器处理该图像，以重构所述目标的三维(3D)图。
基于图案化的光的投影的系统可能会遭受由投影仪功率限制引起的低信号/背景比，尤其是在环境光强的情况下。本发明的实施方案通过以同步空间扫掠(spatial sweep)将射线投影至所关注场景来应对这一问题，该同步空间扫掠被安排时序，以利用图像传感器的卷帘，从而改进该系统的信号/背景比。
在本发明的一些实施方案中，卷帘被操作，以使得图像传感器中的不同组(通常是相继的行)的传感器元件在相继的不同曝光期内捕获射线，所述曝光期远小于全帧期(total frame period)(通常小于全帧期的一半，并可以小于全帧期的10％)。每个这样的组从场景的各个不同区采集射线，所述射线通过目标光学器件聚焦至图像传感器。照明组件被控制，以与卷帘同步地将所投影的射线扫掠在所述场景的那些区上，以使所述场景的每个区在对应组的传感器元件激活的特定时间内是被照明的。因此，在所述场景的每个区，所述照明组件的输出功率集中在对应的传感器元件能够从该区采集射线的特定曝光期内。通过卷帘来限制曝光期降低了所采集的环境射线的总量，而不浪费任何所投影的射线。因此，该系统的信号/背景比被显著加强，甚至不必增加照明的平均功率。
在下文公开的实施方案中，所述照明组件包括一个辐射源阵列，并带有投影光学器件，所述投影光学器件将来自辐射源的射线投影至场景的各个不同区域。所投影的射线的空间扫掠是通过使辐射源以脉冲模式相续地发射来实现的。由每一辐射源照明的场景的各个区域与该场景中的、由这些组的传感器元件中的一组或多组感测到的区重叠。因此，每一辐射源仅在对应的传感器元件组激活的时间内发出脉冲。这一辐射源阵列的相续脉冲操作在射线空间扫掠的最优时序选择方面提供了充分的灵活性，并提供了高可靠性——其中不需要活动部件或有源光学元件(除了辐射源自身)来实现该扫掠。
虽然下述的实施方案具体地涉及3D传感系统中的图案化的光的投影，但本发明的原理可以类似地被用于加强其他基于投影的成像系统的性能。这些实施方案中的卷帘被假定为逐行地激活(activate)图像传感器中的传感器元件，正如在本领域已知的常规CMOS图像传感器中那样；但本发明的原理可以类似地与下述传感器一起使用，所述传感器使用其他种类的对传感器元件组的相续激活——诸如逐块(block-by-block)激活。
系统描述
图1是根据本发明一个实施方案的成像系统20的示意性侧视图。在该图中以及后续的整个说明中使用了一组X-Y-Z轴，以辅助理解图中的方向，其中X-Y平面是系统20的正平面(frontal plane)，Z轴垂直于该平面朝向场景延伸。不过，轴的选择是任意的，并且仅出于描述本发明实施方案的方便而选择。
照明组件22将图案化的射线场(radiation field)24投影至一个场景中的目标26(在本例中是该系统使用者的一只手)。成像组件28捕获视场30中的场景的图像。控制器31或其他电子处理器处理所述图像以生成图标26的3D深度图。在上述US2008/0240502和PCT国际申请WO2007/105205(其公开内容也以引证方式在此纳入)中描述了这类绘图过程的更多细节。使用者的手(和/或使用者身体的其他部分)的3D图可以用在基于姿势的(gesture-based)计算机界面中，不过这类功能超出了本专利申请的范围。
成像组件28包括目标光学器件36，其在图像传感器38(诸如CMOS集成电路图像传感器)上形成了包含目标26的场景的光学图像。所述图像传感器包括布置成多行的传感器元件40的一个阵列。响应于由光学器件36聚焦至所述传感器元件的射线，所述传感器元件产生相应的信号，其中图像传感器38输出的电子图像中的每个像素的像素值对应于来自相应传感器元件40的信号。所述传感器元件被卷帘逐行地激活和禁用(deactivate)，所述卷帘的时序由控制器31来设置。这类卷帘操作是许多CMOS图像传感器的标准特征。
照明组件22包括：投影模块32，其产生一束图案化的光；以及投影光学器件34，其将所述光束投影至场24。模块32通常包括多个辐射源，以及用于生成图案的光学器件。控制器31与图像传感器38的卷帘同步地以脉冲模式相续地开动辐射源。模块32的设计以及其与卷帘同步的操作在下文详细描述。
图2是根据本发明一个实施方案的、由系统20捕获图像帧42的一部分的示意图。帧42包括像素44矩阵，每一像素对应于由图像传感器38中的对应传感器元件40生成的信号。因此，每一行像素44对应于该场景中的、由相应行传感器元件从中捕获射线的区。
照明组件22生成多个照明条纹46、48、50、52......。每个这样的条纹由一个相应的辐射源或辐射源组生成。(可以用于生成这类多条纹照明的辐射源的示例布置在以下图中示出。)由每一条纹限定的区域覆盖了很多个成行的像素44的区。换言之，每一条纹照明了该场景的某个由对应行中的图像传感器从中捕获射线的区。虽然为了简化起见，图2中示出的是条纹46、48、50、52正好彼此相邻且不重叠，但在实际系统中，通常在条纹之间存在重叠量，以确保该场景的所有区都被照明。
图3是根据本发明一个实施方案的时序图，其示出了图2中示出的一类条纹照明与图像传感器38的卷帘操作之间的同步。轨迹56对应于相继行的传感器元件的卷帘操作，其中当对应的轨迹为高时所述元件是激活的(即，将接收到的光子转化为图像传感器输出信号中的电子)。给定行激活的时期在这里指示该行的曝光期。相继行的曝光期是交错的(staggered)，以使每一行在前一行激活之后的很短时间内即被激活。所述行被布置成组58、60......，每一组对应于由条纹46、48......之一覆盖的区域。
轨迹62、64......对应于生成条纹46、48......的相应辐射源的开动。换言之，当轨迹62为高时，生成条纹46的辐射源被开动，以此类推。对于所述行的每一组58、60......，对应的辐射源的开动期被设置为整个落在该组中所有行的曝光期内。因此，所述照明组件仅在从该场景的每一区捕获射线的传感器元件的曝光期内照明该区，而不会浪费任何照明。
轨迹64正好在轨迹62降低时升高，且照明组件22中的所有的辐射源均是如此。因此，所述照明组件的条纹输出在垂直于像素44(和传感器元件40)的行的方向上扫掠过该场景，在每个图像帧中完成一次这样的扫掠，同步于图像传感器38的卷帘的扫掠。每一辐射源的占空比(duty cycle)大约是1∶N，其中N是条纹数(每一条纹被一个相应的辐射源或辐射源组照明)。在图3中的时序图中，每一照明条纹的开动期是约1/(N*FR)，而每行传感器元件40的曝光期是约2/(N*FR)，其中FR是帧率，诸如30帧/秒。这些时序关系通常最优化地使用可获得的照明功率，并提供信号/背景比的最大可能的增强。
替代地，在帧率、开动期和曝光时间之间也可以使用其他时序关系。在照明条纹和传感器行之间的几何关系不能维持得如图2那样精确的情况下，尤其是当相继条纹部分地重叠时，这些替代时序安排可以是有利的。
带有边缘发射器的照明模块
根据本发明的一个实施方案，图4A是照明模块32的示意性侧视图，而图4B是用在照明模块32中的光电分组件的示意性俯视图。模块32包括一行边缘发射光电元件70，诸如激光二极管，它们形成在衬底72诸如硅晶片上。(在图4A的侧视图中仅示出这些元件中的一个。)元件70在平行于衬底的方向上发射射线。该衬底上的反射器74将元件70发出的射线转向为远离该衬底(该衬底被定向在X-Y平面)朝向Z轴。所述反射器可以在衬底72上被整体形成，如图4A所示，或者它可以包括布置在衬底上和对准光电元件70的分立元件。反射器74可以简单地包括一个平直的反射表面，或者它可以包括一个或多个弯曲表面或多个平直表面，以扩散或聚焦射线，如图4B以及5C所示。
聚光透镜76将来自光电元件70的射线准直和引导穿过一个或多个图案化元件78。所述图案化元件导致来自元件70的射线以预定图案投影到该场景上，该预定图案能以电子图像形式被成像组件28检测。该图像中的图案被处理以计算该场景的深度图。图案化元件78可以包括一个图案化的透明体，该透明体可以包括一个微透镜阵列(MLA)，例如，如在上述US 2008/0240502或WO 2007/105205中所述，并且/或者包括一个或多个衍射光学元件(DOE)，如美国专利申请公开文本2009/0185274中所述，其公开内容以引证方式在此纳入。附加地或替代地，当元件70发射相干射线时，图案化元件78可以包括一个散射体，该散射体在该场景上投射激光光斑图案。
每一光电元件70发射了形成各条纹80、82、84......的射线，如图4B所示。(虽然该图示出了六个这样的元件和相应条纹，但也可以根据应用需要使用更多或更少的元件和条纹。)反射器74可以略微弯曲，如该图所示，以使所述条纹扩散至更宽的区，并使相邻的条纹在它们的边缘处重叠。如上所述，在成像组件28捕获每一图像帧的期间，控制器31(图1)激活元件70以相续地发射射线，与图像传感器38的卷帘同步。因此，该场景的每一区域在对应行的传感器元件40的曝光期内被照明。
在图案化元件78包括MLA或其他透明体的实施方案中，每一条纹80、82、84......穿过该透明体的各个不同区域，从而对应于该透明体所含图案来生成总体照明图案的各个部分。投影光学器件34将这一图案投影到目标上。
另一方面，在图案化元件78包括DOE的实施方案中，透镜76或者元件78之一(或光电元件70的几何结构)通常被配置为，针对由每个光电元件发出的光束，产生适当的“载体(carrier)”角。在这样的实施方案中，由不同光电元件发射的光束使用透镜76的不同部分，因此透镜76可以被设计为，使已准直的光束以相应的、对应于期望的垂直出射的角度出射。替代地，所述照明模块可以包括一些其他类型的光学器件，诸如带有与光电元件相同数量的不同区域的闪耀光栅(blazedgrating)。
在上述美国临时专利申请61/300,465中描述了照明模块32的构造的其他细节，此外也描述了其他类似类型的模块。
根据本发明的另一实施方案，图5A和5B分别是光电分组件90的示意性侧视和俯视图，而图5C是分组件90中使用的棱镜92的示意图。分组件90可以用于替代模块32中的对应部件。
光电分组件90包括一行边缘发射光电元件70，诸如激光二极管，它们可以被制造在适合的衬底上，如在前述实施方案中那样。不过，在分组件90中，由元件70发射的射线从棱镜92的内表面94(通常带有适合的反射涂层)上内部地反射。来自元件70的射线经由弯曲的入口表面96进入棱镜92。因此，由元件70生成的各光束98分散开来，并与相邻光束部分地重叠。控制器31开动元件70以在每一图像帧期间与图像传感器38的卷帘同步地相续地发射射线。
带有表面发射器的照明模块
图6是根据本发明另一实施方案的照明组件100的示意性侧视图。组件100可以用于系统20中替代照明组件22。组件100包括二维光电元件110矩阵形式的辐射源，所述光电元件布置在衬底102上并以垂直于该衬底的方向发射射线。虽然图6仅示出了沿X轴排列的元件单行114，但组件100实际上包括了并列的多个该类行，从而在X-Y平面中形成了栅格。图6示出了一个8×8栅格，但替代地可以使用更大或更小的、且并不必须是方形或直线形的矩阵。
与前述实施方案不同，元件110包括表面发射器件，诸如发光二极管(LED)或垂直共振腔表面放射激光(VCSEL)二极管，它们将射线直接发射至Z方向。显微镜阵列(或其他适合的显微光学器件，诸如基于全内反射的显微结构)112被对准元件110，使得各显微镜从每个元件采集射线，并将其引导到光学模块104中。所述光学模块包括如上所述的适合的图案元件106，以及投影透镜108——其将所形成的图案投影在场景上。
图7是根据本发明一个实施方案的、由组件100照明的图像帧的一部分的示意图。每个微透镜112将射线从对应的光电元件110扩散至场景的、对应于一组像素44的区域。(通常在相邻区域之间存在一些重叠，如在前述实施方案中那样。)元件110被布置成多行114、116......。根据例如图3中示出的方案，在典型的操作中，控制器31与图像传感器38的卷帘同步地轮流开动每行中的所有光电元件。因此，如前述，每一像素44的区域在对应的传感器元件40的曝光期内被照明。
虽然为了清晰的目的，上述实施方案在系统20的语境下描述了照明和传感的某些特定的结构性配置，但本发明的原理也可以类似地应用在其他类型的系统和配置中。
多个传感器的同步
图8是根据本发明另一实施方案的成像系统120的示意性侧视图。在这一系统中，同步控制器121同步了多个传感单元122、124、126、128的操作。这些传感单元通常均包括照明组件和成像组件，它们的操作与系统20中一致。每一传感单元122、124、126、128将各图案化光束132、134、136、138投影到场景130上，并形成该场景的被相应图案照明的部分的各个图像，
为了完整地覆盖场景130，所投影的图案化的光束通常在重叠区域140重叠。在常规操作中，图案的重叠会使得传感单元122、124、126、128无法在区域140内可靠地探测它们自身的图案，因此在这些区域损失了3D信息。一种克服这一问题的方法可以是，在不同波长下操作这些传感单元，以使每个单元仅传感其自身的图样。但这一解决方案会是繁冗的并需要昂贵的光电器件和光学滤镜。
因此，在系统120中，控制器121控制了所述照明组件以及传感单元122、124、126、128中成像组件卷帘的时序，以在任意给定时刻控制被照明的区域之间的重叠。通常，所述传感单元被控制以使得它们照明和捕获来自各非重叠条纹142、144、146、148的射线。在每个传感单元中，照明条纹和由卷帘触发以接收射线的传感区是如前述的内在同步的。此外，所有传感单元的时序被协同以避免干扰。因此，例如，所有传感单元同步地激活它们相应的条纹142，接着是条纹144，等等，使得在任何给定时刻，每一重叠区域140中仅有单个传感单元是激活的。每一传感单元提供关于其自身的那部分场景130的3D绘图数据，并且处理单元(诸如控制器121或其他计算机)将数据接合(stitch)在一起成为一幅合成深度图。
图8中示出的方案仅是可能的同步样式的一个实施例，也可以执行另外的结构和时序样式以实现类似的目标。例如，同步传感单元可以被布置成二维阵列，以覆盖场景130的更宽区。根据传感单元的结构布置和时序，多个同步传感单元的系统可以用于，在基本任何期望的尺寸和轮廓的更大区中，或者替代地或附加地以更大的速度，捕获深度信息。
替代地，传感单元122、124、126、128可以一起操作而不需要一个中央控制器以调整同步性。例如，每一传感单元可以调整其自身的时序以使其深度读数(reading)最大化。因此，整个系统将趋于最优的同步性。附加地或替代地，所述传感单元可以使用令牌环型协议(tokenring type protocol)来彼此通信，而不需要中央控制。
图9是根据本发明另一实施方案的成像系统150的示意图。这一实施方案在其操作原理上与图8的实施方案类似：多个传感单元152、154......将相应的图案化的光束156、158......投影至一个场景，同时也控制它们相应的照明组件和卷帘的时序，以照明和捕获来自相应的条纹序列的射线。光束156和158在重叠区域162重叠。虽然出于简化目的，仅有两个传感单元在图9示出，但在这一场合中可以布置任何适合数量的传感单元。
但是，与图8中示出的平行偏移不同，在系统150中，传感单元152和154以及它们的光束156和158在垂直于照明和卷帘的扫描方向上彼此偏移(在图9中示出的视图中是垂直扫描和水平偏移)。因此，大部分或全部条纹160可以与相邻传感器单元的某些条纹重叠。传感单元152、154......的扫描因此被同步，以使每一条纹与它所重叠的相邻条纹在不同时期内被照明。如图9所示，不同的传感单元的条纹160之间不需要精确重叠，这些条纹也不需要正好平行。通常来说，传感单元可以被布置为任何期望的布置，只要同步安排可以使得重叠条纹在时间上不重合。
将认识到的是，上述的实施方案通过实施例的方式描述，而本发明并不限于上文特别示出和描述的。相反，本发明的范围包括上文描述的各种特征的结合和亚结合，并包括本领域普通技术人员在阅读上文的描述之后能够作出的未被现有领域公开的变形和修改。

Claims (18)

1.一种成像设备，包括：
照明组件，包括多个辐射源和投影光学器件，所述辐射源包括发光元件的一个矩阵，所述发光元件被布置在衬底上并被配置为在与所述衬底垂直的方向上发射射线，所述投影光学器件被配置为将射线从所述辐射源投影至场景的各个不同区域，其中所述投影光学器件包括图案化元件，其被配置为使射线以预定图案投影至所述场景；
成像组件，包括图像传感器和目标光学器件，其被配置为在所述图像传感器上形成所述场景的光学图像，所述图像传感器包括布置成多组的传感器元件的一个阵列，这些传感器元件由卷帘触发，以在各个相继的曝光期内从所述场景的各个不同区捕获来自所述场景的射线，以形成所述场景的电子图像，其中所述预定图案能以电子图像形式被所述成像组件探测；和
控制器，其被连接以通过脉冲模式相续地开动所述辐射源，以使所述照明组件与所述卷帘同步地照明所述场景的各个不同区。
2.根据权利要求1所述的成像设备，其中每一组包括一行或多行传感器元件，并且其中所述区域限定了以平行于所述行的方向延伸过所述场景的条纹。
3.根据权利要求2所述的成像设备，其中每一条纹照明一个相应区域，该区域包含了所述场景的、由相应的一组多行传感器元件从中捕获射线的区。
4.根据权利要求2所述的成像设备，其中所述控制器被配置为开动所述辐射源，以使所投影的射线以垂直于所述多行的方向扫掠过所述场景。
5.根据权利要求1所述的成像设备，其中所述卷帘限定了用于捕获整个电子图像的帧时，并且其中所述控制器被配置为将每个辐射源开动一个小于该帧时的一半的相应开动期。
6.根据权利要求5所述的成像设备，其中所述控制器被配置为开动每个辐射源，以使所述照明组件仅在捕获来自所述场景的每个区的射线的相应一组传感器元件的相应曝光期内照明该区。
7.根据权利要求1所述的成像设备，其中所述控制器被配置为分析所述电子图像中的图案，以生成所述场景的深度图。
8.一种用于成像的方法，包括：
布置多个辐射源，所述辐射源包括发光元件的一个矩阵，所述发光元件被布置在衬底上，并被配置为在与所述衬底垂直的方向上发射射线，以将射线以预定图案投影至场景的各个不同区域；
配置图像传感器，所述图像传感器包括布置成多组的传感器元件的一个阵列，以接收所述场景的光学图像，其中所述多组传感器元件从所述场景的各个不同区接收射线；
用卷帘触发所述多组传感器元件，以在各个相继的曝光期内捕获来自所述场景的射线，以形成所述场景的电子图像，其中该预定图案能以电子图像形式被探测；以及
以脉冲模式相续地开动所述辐射源，以与所述卷帘同步地照明所述场景的各个不同区。
9.根据权利要求8所述的方法，其中每一组包括一行或多行传感器元件，并且其中所述区域限定了以平行于所述行的方向延伸过所述场景的条纹。
10.根据权利要求9所述的方法，其中每一条纹照明一个相应区域，该区域包含了所述场景的、由相应的一组多行传感器元件从中捕获射线的区。
11.根据权利要求9所述的方法，其中开动所述辐射源使得所投影的射线以垂直于所述多行的方向扫掠过所述场景。
12.根据权利要求8所述的方法，其中所述卷帘限定了用于捕获整个电子图像的帧时，并且其中开动所述辐射源包括将每个辐射源开动一个小于该帧时的一半的相应开动期。
13.根据权利要求12所述的方法，其中开动每个辐射源包括：仅在捕获来自所述场景的每个区的射线的相应一组传感器元件的相应曝光期内照明该区。
14.根据权利要求8所述的方法，还包括：分析所述电子图像中的图案，以生成所述场景的深度图。
15.根据权利要求8所述的方法，其中配置所述图像传感器包括，将多个带有相应卷帘的图像传感器与多个相应辐射源布置在一起，以形成场景的具有各个不同的相重叠的部分的相应电子图像，并且
其中开动所述辐射源包括，将所述多个相应的辐射源与所述多个图像传感器同步，以在任何给定时间控制由所述辐射源照明的所述场景的各个区的重叠。
16.根据权利要求15所述的方法，还包括：分析由所述多个图像传感器形成的电子图像上的图案，以生成所述场景的深度图。
17.一种成像设备，包括：
多个成像单元，包括：
相应的照明组件，包含多个相应辐射源和投影光学器件，投影光学器件被配置为将射线从所述辐射源投影至场景的各个不同区域；以及
相应的成像组件，包括相应的图像传感器和目标光学器件，其被配置为在各个图像传感器上形成所述场景的各个不同的相重叠的部分的相应光学图像，每一图像传感器包括布置成多组的传感器元件的一个阵列，这些传感器元件由卷帘触发，以在各个相继的曝光期内从所述场景的各个不同区域捕获来自所述场景的射线，以形成所述场景的各个电子图像，
其中所述辐射源以脉冲模式相续开动，以使所述照明组件与所述卷帘同步地照明所述场景的各个不同区，同时也使所述多个相应的辐射源与所述多个图像传感器同步，以在任何给定时刻控制由所述辐射源照明的所述场景的各个区的重叠，以使在任何给定时刻由所述辐射源照明的场景的各个区是不重叠的。
18.根据权利要求17所述的成像设备，还包括控制器，其被配置为分析由所述多个成像单元中的图像传感器形成的电子图像上的图案，以生成所述场景的深度图。
CN201110035990.9A 2010-02-02 2011-02-01 投影照明与图像传感器的卷帘的同步 Active CN102143342B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US30046510P 2010-02-02 2010-02-02
US61/300,465 2010-02-02
US12/762,373 2010-04-19
US12/762,373 US20110187878A1 (en) 2010-02-02 2010-04-19 Synchronization of projected illumination with rolling shutter of image sensor

Publications (2)

Publication Number Publication Date
CN102143342A CN102143342A (zh) 2011-08-03
CN102143342B true CN102143342B (zh) 2015-03-25

Family

ID=44341315

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201410641036.8A Active CN104360571B (zh) 2010-02-02 2011-02-01 光学设备和成像系统
CN201110035986.2A Active CN102193295B (zh) 2010-02-02 2011-02-01 用于光学投影的集成光子学模块
CN201110035990.9A Active CN102143342B (zh) 2010-02-02 2011-02-01 投影照明与图像传感器的卷帘的同步

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201410641036.8A Active CN104360571B (zh) 2010-02-02 2011-02-01 光学设备和成像系统
CN201110035986.2A Active CN102193295B (zh) 2010-02-02 2011-02-01 用于光学投影的集成光子学模块

Country Status (4)

Country Link
US (4) US20110187878A1 (zh)
EP (1) EP2363686A1 (zh)
JP (1) JP2011160420A (zh)
CN (3) CN104360571B (zh)

Families Citing this family (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
CN101501442B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9825425B2 (en) 2013-06-19 2017-11-21 Apple Inc. Integrated structured-light projector comprising light-emitting elements on a substrate
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
CN103053167B (zh) 2010-08-11 2016-01-20 苹果公司 扫描投影机及用于3d映射的图像捕获模块
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
EP2643659B1 (en) 2010-11-19 2019-12-25 Apple Inc. Depth mapping using time-coded illumination
US20120140096A1 (en) * 2010-12-01 2012-06-07 Sony Ericsson Mobile Communications Ab Timing Solution for Projector Camera Devices and Systems
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8237835B1 (en) * 2011-05-19 2012-08-07 Aeon Imaging, LLC Confocal imaging device using spatially modulated illumination with electronic rolling shutter detection
US20130021474A1 (en) * 2011-07-20 2013-01-24 Raytheon Company Rolling-shutter imaging system with synchronized scanning illumination and methods for higher-resolution imaging
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US8908277B2 (en) 2011-08-09 2014-12-09 Apple Inc Lens array projector
JP5898484B2 (ja) * 2011-12-19 2016-04-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
AU2015203089B2 (en) * 2012-02-15 2016-06-30 Apple Inc. Scanning depth engine
US9329080B2 (en) 2012-02-15 2016-05-03 Aplle Inc. Modular optics for scanning engine having beam combining optics with a prism intercepted by both beam axis and collection axis
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
CN203385981U (zh) * 2012-03-15 2014-01-08 普莱姆森斯有限公司 结构光的投影机
CN104221058B (zh) 2012-03-22 2017-03-08 苹果公司 装有万向接头的扫描镜阵列
US9715107B2 (en) 2012-03-22 2017-07-25 Apple Inc. Coupling schemes for gimbaled scanning mirror arrays
WO2013140308A1 (en) 2012-03-22 2013-09-26 Primesense Ltd. Diffraction-based sensing of mirror position
CN104135908B (zh) * 2012-03-28 2016-07-06 富士胶片株式会社 摄像装置以及具备其的内窥镜装置
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9207070B2 (en) * 2012-05-24 2015-12-08 Qualcomm Incorporated Transmission of affine-invariant spatial mask for active depth sensing
CN104620073B (zh) * 2012-06-13 2016-08-17 皇家飞利浦有限公司 确定表面波的传播速度
US9674436B2 (en) * 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
US9398229B2 (en) 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US20140111619A1 (en) * 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute Device and method for acquiring image
JP2014085215A (ja) * 2012-10-23 2014-05-12 Ayako Sato 有機化合物による検量線を用いる各態炭素と窒素の統一分析測定システム
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
EP2946336B1 (en) 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
CN104010150B (zh) * 2013-02-27 2018-06-01 联想(北京)有限公司 一种图像采集的方法及电子设备
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US9398287B2 (en) 2013-02-28 2016-07-19 Google Technology Holdings LLC Context-based depth sensor control
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US20140240469A1 (en) * 2013-02-28 2014-08-28 Motorola Mobility Llc Electronic Device with Multiview Image Capture and Depth Sensing
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
EP3047641A4 (en) * 2013-09-16 2017-03-08 Intel Corporation Camera and light source synchronization for object tracking
US9197816B2 (en) 2013-10-18 2015-11-24 The Lightco Inc. Zoom related methods and apparatus
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9528906B1 (en) 2013-12-19 2016-12-27 Apple Inc. Monitoring DOE performance using total internal reflection
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
WO2015127328A2 (en) * 2014-02-21 2015-08-27 The Lightco Inc. Illumination methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
WO2015137635A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
EP3117191A4 (en) * 2014-03-13 2018-03-28 National University of Singapore An optical interference device
US9558436B2 (en) * 2014-06-20 2017-01-31 Qualcomm Incorporated Coded light pattern having hermitian symmetry
EP3164831A4 (en) 2014-07-04 2018-02-14 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
WO2016007799A1 (en) 2014-07-09 2016-01-14 The Lightco Inc. Camera device including multiple optical chains and related methods
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
AU2015302865A1 (en) 2014-08-10 2017-03-16 Facebook Technologies, Llc Structured light for 3D sensing
WO2016049273A1 (en) 2014-09-24 2016-03-31 Sri International Control of wireless communication device capability in a mobile device with a biometric key
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9912865B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for supporting burst modes of camera operation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
JP6516453B2 (ja) * 2014-11-26 2019-05-22 株式会社ミツトヨ 画像測定装置及び測定装置
US9784838B1 (en) 2014-11-26 2017-10-10 Apple Inc. Compact scanner with gimbaled optics
US9835853B1 (en) 2014-11-26 2017-12-05 Apple Inc. MEMS scanner with mirrors of different sizes
MX2017007139A (es) 2014-12-03 2017-11-10 Princeton Identity Inc Sistema y metodo para un complemento biometrico de dispositivo movil.
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9992396B1 (en) * 2015-02-02 2018-06-05 Apple Inc. Focusing lighting module
US9798135B2 (en) 2015-02-16 2017-10-24 Apple Inc. Hybrid MEMS scanning module
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10326252B2 (en) 2015-05-06 2019-06-18 Microsoft Technology Licensing, Llc Beam projection for fast axis expansion
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US20160377414A1 (en) * 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10012831B2 (en) 2015-08-03 2018-07-03 Apple Inc. Optical monitoring of scan parameters
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US10380728B2 (en) * 2015-08-31 2019-08-13 Kla-Tencor Corporation Model-based metrology using images
TWI706181B (zh) * 2015-09-11 2020-10-01 新加坡商海特根微光學公司 具有自動對焦控制的成像裝置
US9703096B2 (en) 2015-09-30 2017-07-11 Apple Inc. Asymmetric MEMS mirror assembly
US9897801B2 (en) 2015-09-30 2018-02-20 Apple Inc. Multi-hinge mirror assembly
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
CN108369364B (zh) 2015-11-10 2021-07-16 亮锐控股有限公司 自适应光源
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
CN106885158B (zh) * 2015-12-11 2019-12-31 宁波舜宇光电信息有限公司 照明模组及其应用
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10101154B2 (en) * 2015-12-21 2018-10-16 Intel Corporation System and method for enhanced signal to noise ratio performance of a depth camera system
EP3403217A4 (en) 2016-01-12 2019-08-21 Princeton Identity, Inc. SYSTEMS AND METHODS FOR BIOMETRIC ANALYSIS
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
WO2017173228A1 (en) 2016-03-31 2017-10-05 Princeton Identity, Inc. Biometric enrollment systems and methods
WO2017172695A1 (en) 2016-03-31 2017-10-05 Princeton Identity, Inc. Systems and methods of biometric anaysis with adaptive trigger
WO2017176913A1 (en) * 2016-04-05 2017-10-12 Aquifi, Inc. Thin laser package for optical applications
US10375330B2 (en) * 2016-05-27 2019-08-06 Verily Life Sciences Llc Systems and methods for surface topography acquisition using laser speckle
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
US10073004B2 (en) 2016-09-19 2018-09-11 Apple Inc. DOE defect monitoring utilizing total internal reflection
US10488652B2 (en) 2016-09-21 2019-11-26 Apple Inc. Prism-based scanner
AU2017336066B2 (en) * 2016-09-30 2022-04-14 Magic Leap, Inc. Projector with spatial light modulation
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US20180165537A1 (en) * 2016-12-12 2018-06-14 Princeton Identity, Inc. Systems And Methods Of Biometric Analysis
US10120111B2 (en) * 2016-12-14 2018-11-06 Google Llc Thin ceramic imaging screen for camera systems
CN112531463B (zh) * 2017-01-16 2024-03-26 苹果公司 在同一基板上组合不同散度的发光元件
US10158845B2 (en) 2017-01-18 2018-12-18 Facebook Technologies, Llc Tileable structured light projection for wide field-of-view depth sensing
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10511828B2 (en) * 2017-03-29 2019-12-17 Intel Corporation Camera platforms with rolling light projection
WO2018187337A1 (en) 2017-04-04 2018-10-11 Princeton Identity, Inc. Z-dimension user feedback biometric system
CN106990660A (zh) * 2017-05-09 2017-07-28 深圳奥比中光科技有限公司 结构光投影模组
CN107390461A (zh) * 2017-06-20 2017-11-24 深圳奥比中光科技有限公司 3d成像子模组及其电子设备
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
JP2020529073A (ja) 2017-07-26 2020-10-01 プリンストン・アイデンティティー・インコーポレーテッド 生体セキュリティシステムおよび方法
US10153614B1 (en) 2017-08-31 2018-12-11 Apple Inc. Creating arbitrary patterns on a 2-D uniform grid VCSEL array
US11054722B2 (en) * 2017-09-18 2021-07-06 Profoto Aktiebolag Flash housing for photographic purposes and a method for simulating a flash light
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
CN109709756A (zh) * 2017-10-25 2019-05-03 华为技术有限公司 一种投影器、摄像头模组和终端设备
US11269193B2 (en) * 2017-11-27 2022-03-08 Liqxtal Technology Inc. Optical sensing device and structured light projector
CN108040212B (zh) * 2017-11-29 2019-12-31 长光卫星技术有限公司 基于交错卷帘快门的高精度目标跟踪方法
EP3704510B1 (en) 2017-12-18 2022-10-05 Apple Inc. Time-of-flight sensing using an addressable array of emitters
US10447424B2 (en) 2018-01-18 2019-10-15 Apple Inc. Spatial multiplexing scheme
CN110072065B (zh) * 2018-01-23 2021-04-27 舜宇光学（浙江）研究院有限公司 适用于卷帘曝光深度相机的投射器工作时间控制方法及其应用
DE102018104198B4 (de) * 2018-02-23 2021-04-22 Jabil Optics Germany GmbH Projektormodul, mobiles Gerät und Verwendung eines Projektormoduls
CN108181777A (zh) * 2018-02-27 2018-06-19 广东欧珀移动通信有限公司 激光投射模组、深度相机及电子装置
CN108344376A (zh) 2018-03-12 2018-07-31 广东欧珀移动通信有限公司 激光投射模组、深度相机和电子装置
US10877285B2 (en) 2018-03-28 2020-12-29 Apple Inc. Wavelength-based spatial multiplexing scheme
US11231570B2 (en) 2018-04-30 2022-01-25 University Of Central Florida Research Foundation, Inc. Highly inclined swept tile (HIST) imaging apparatus, methods, and applications
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
CN110471192B (zh) * 2018-05-11 2021-09-21 宁波舜宇光电信息有限公司 投射装置和衍射光学组件及其制造方法以及带有投射装置的电子设备
US11474245B2 (en) 2018-06-06 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11422292B1 (en) 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
WO2019243046A1 (en) * 2018-06-18 2019-12-26 Lumileds Holding B.V. Lighting device comprising led and grating
JP7119271B2 (ja) * 2018-08-03 2022-08-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド レーザダイオードパッケージモジュールおよび距離検出装置、電子機器
CN109143755A (zh) * 2018-09-08 2019-01-04 深圳阜时科技有限公司 一种光学组件、光学投影模组、感测装置及设备
US11493606B1 (en) 2018-09-12 2022-11-08 Apple Inc. Multi-beam scanning system
US11223816B2 (en) 2018-09-26 2022-01-11 Himax Technologies Limited Multi-image projector and electronic device having multi-image projector
EP3637044B1 (en) * 2018-10-09 2022-11-16 Himax Technologies Limited Multi-image projector and electronic device having the multi-image projector
JP7252755B2 (ja) * 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
US11333895B1 (en) 2019-01-11 2022-05-17 Facebook Technologies, Llc Systems and methods for structured light projector operational safety
CN111446345A (zh) 2019-01-16 2020-07-24 隆达电子股份有限公司 发光元件的封装结构
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
CN113330328A (zh) 2019-02-11 2021-08-31 苹果公司 使用脉冲束稀疏阵列的深度感测
KR102518449B1 (ko) 2019-02-21 2023-04-05 애플 인크. 유전체 dbr을 갖는 인듐 인화물 vcsel
JP7224708B6 (ja) 2019-03-15 2023-04-18 上海図漾信息科技有限公司 深度データ測定ヘッド、測定装置及び測定方法
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
CN113711450A (zh) 2019-04-01 2021-11-26 苹果公司 具有紧密节距和高效率的vcsel阵列
US11374381B1 (en) 2019-06-10 2022-06-28 Apple Inc. Integrated laser module
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11404844B2 (en) * 2019-06-13 2022-08-02 Omnivision Technologies, Inc. Semiconductor structure and method of manufacturing the same
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
CN114208006A (zh) 2019-08-18 2022-03-18 苹果公司 具有电磁致动的力平衡微镜
US11681019B2 (en) 2019-09-18 2023-06-20 Apple Inc. Optical module with stray light baffle
US11506762B1 (en) 2019-09-24 2022-11-22 Apple Inc. Optical module comprising an optical waveguide with reference light path
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
CN111556225B (zh) * 2020-05-20 2022-11-22 杭州海康威视数字技术股份有限公司 图像采集装置及图像采集控制方法
KR20220076943A (ko) * 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN112859359B (zh) * 2021-02-05 2022-02-08 中国工程物理研究院激光聚变研究中心 一种焦斑控制方法
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
WO2023065222A1 (zh) * 2021-10-21 2023-04-27 深圳先进技术研究院 一种显微镜同步控制系统及方法
DE102021129698A1 (de) * 2021-11-15 2023-05-17 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Optoelektronisches bauteil und verfahren zur herstellung eines optoelektronischen bauteils
CN114636546B (zh) * 2022-03-10 2024-05-14 杭州海康威视数字技术股份有限公司 用于成像同步性检测的系统
CN115864976B (zh) * 2022-12-22 2023-08-18 广东工业大学 一种有级可调光子变压器的控制电路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5606181A (en) * 1994-03-29 1997-02-25 Ricoh Company, Ltd. Edge emitting type light emitting diode array heads
CN1350633A (zh) * 1999-05-14 2002-05-22 北京三维世界科技有限公司 三维成像系统
CN101051168A (zh) * 2006-04-03 2007-10-10 三星Techwin株式会社 拍摄装置和方法

Family Cites Families (148)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1353470A (en) 1970-10-19 1974-05-15 Post D Position measuring apparatus utilizing moire fringe multiplication
US4542376A (en) * 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
JPH0710017B2 (ja) * 1985-07-08 1995-02-01 松下電器産業株式会社 半導体レーザ装置の製造方法
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) * 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
US4850673A (en) * 1987-11-23 1989-07-25 U. S. Philips Corporation Optical scanning apparatus which detects scanning spot focus error
DE69128808T2 (de) * 1990-04-12 1998-07-23 Matsushita Electric Ind Co Ltd Optischer Kopf mit hologrammverbundener Objektivlinse
US5075562A (en) * 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
US5691989A (en) * 1991-07-26 1997-11-25 Accuwave Corporation Wavelength stabilized laser sources using feedback from volume holograms
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5325386A (en) * 1992-04-21 1994-06-28 Bandgap Technology Corporation Vertical-cavity surface emitting laser assay display system
US5636025A (en) * 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5477383A (en) * 1993-02-05 1995-12-19 Apa Optics, Inc. Optical array method and apparatus
US5406543A (en) 1993-04-07 1995-04-11 Olympus Optical Co., Ltd. Optical head with semiconductor laser
JP3623250B2 (ja) * 1993-06-23 2005-02-23 オリンパス株式会社 映像表示装置
US5856871A (en) * 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
JP3042278B2 (ja) 1993-09-17 2000-05-15 三菱電機株式会社 距離測定装置
DE4433763A1 (de) 1994-09-22 1996-05-23 Hell Ag Linotype Vorrichtung zur Strahlteilung
US5630043A (en) * 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
US5646928A (en) 1995-06-22 1997-07-08 The Regents Of The University Of California Free-space integrated micro-pickup head for optical data storage and a micro-optical bench
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JP2768320B2 (ja) * 1995-09-04 1998-06-25 日本電気株式会社 波長可変光フィルタ
JPH10123512A (ja) * 1996-08-28 1998-05-15 Sanyo Electric Co Ltd 液晶表示装置用光源及びそれを用いたカラー液晶表示装置
US6075799A (en) 1996-08-28 2000-06-13 Canon Kabushiki Kaisha Polarization selective semiconductor laser, optical transmitter using the same, optical communication system using the same and fabrication method of the same
IL119831A (en) * 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
US5838428A (en) * 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
JP3433647B2 (ja) * 1997-04-23 2003-08-04 富士ゼロックス株式会社 プロジェクタ装置
US6002520A (en) * 1997-04-25 1999-12-14 Hewlett-Packard Company Illumination system for creating a desired irradiance profile using diffractive optical elements
US6031611A (en) 1997-06-03 2000-02-29 California Institute Of Technology Coherent gradient sensing method and system for measuring surface curvature
US6008813A (en) * 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
US6101269A (en) * 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
US6560019B2 (en) * 1998-02-05 2003-05-06 Canon Kabushiki Kaisha Diffractive optical element and optical system having the same
US6259561B1 (en) * 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6636538B1 (en) 1999-03-29 2003-10-21 Cutting Edge Optronics, Inc. Laser diode packaging
US6288815B1 (en) 1999-03-31 2001-09-11 Philips Electronics North America Corporation Light scanner with cylindrical lenses
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) * 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
LT4842B (lt) * 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6690467B1 (en) * 2000-05-05 2004-02-10 Pe Corporation Optical system and method for optically analyzing light from a sample
US6888871B1 (en) * 2000-07-12 2005-05-03 Princeton Optronics, Inc. VCSEL and VCSEL array having integrated microlenses for use in a semiconductor laser pumped solid state laser system
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) * 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6583873B1 (en) * 2000-09-25 2003-06-24 The Carnegie Institution Of Washington Optical devices having a wavelength-tunable dispersion assembly that has a volume dispersive diffraction grating
US6813440B1 (en) * 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP4087247B2 (ja) 2000-11-06 2008-05-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 入力デバイスの移動の測定方法
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
US6611000B2 (en) * 2001-03-14 2003-08-26 Matsushita Electric Industrial Co., Ltd. Lighting device
EP1373830B1 (en) 2001-04-04 2006-05-17 Instro Precision Limited Surface profile measurement
US20040012958A1 (en) * 2001-04-23 2004-01-22 Takuma Hashimoto Light emitting device comprising led chip
JP2002372701A (ja) * 2001-06-13 2002-12-26 Ricoh Co Ltd 画像表示装置
EP1412803A2 (en) * 2001-07-13 2004-04-28 Mems Optical, Inc. Autostereoscopic display with rotated microlens-array and method of displaying multidimensional images, especially color images
US6741251B2 (en) * 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
WO2003040803A2 (en) 2001-11-06 2003-05-15 Keyotee Apparatus for image projection
KR100440959B1 (ko) * 2001-11-08 2004-07-21 삼성전자주식회사 조명계 및 이를 채용한 프로젝션 시스템
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
WO2004046645A2 (en) * 2002-11-21 2004-06-03 Solvision Fast 3d height measurement method and system
US20040174770A1 (en) * 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7639419B2 (en) * 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) * 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040184270A1 (en) * 2003-03-17 2004-09-23 Halter Michael A. LED light module with micro-reflector cavities
JP4022498B2 (ja) * 2003-04-18 2007-12-19 インターナショナル・ビジネス・マシーンズ・コーポレーション 光リンク・モジュール、光接続方法、該光リンク・モジュールを含む情報処理装置、信号転送方法、プリズム、およびその製造方法
JP2006528770A (ja) * 2003-07-24 2006-12-21 コグニテンス リミテッド 対象物の３次元表面再構築の方法およびシステム
US6940583B2 (en) * 2003-07-28 2005-09-06 International Business Machines Corporation Method and apparatus for amplitude filtering in the frequency plane of a lithographic projection system
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7289090B2 (en) * 2003-12-10 2007-10-30 Texas Instruments Incorporated Pulsed LED scan-ring array for boosting display system lumens
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
JP2005236513A (ja) * 2004-02-18 2005-09-02 Fujinon Corp 撮像装置
JP4572312B2 (ja) * 2004-02-23 2010-11-04 スタンレー電気株式会社 Ｌｅｄ及びその製造方法
EP1569276A1 (en) * 2004-02-27 2005-08-31 Heptagon OY Micro-optics on optoelectronics
US7227618B1 (en) * 2004-03-24 2007-06-05 Baokang Bi Pattern generating systems
US7304735B2 (en) * 2004-04-02 2007-12-04 Kla-Tencor Technologies Broadband wavelength selective filter
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
AU2005264061B2 (en) * 2004-07-23 2009-05-21 Ge Healthcare Niagara, Inc. Method and apparatus for fluorescent confocal microscopy
GB2417824A (en) * 2004-09-02 2006-03-08 Custom Interconnect Ltd LED light source
US7120228B2 (en) * 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP5128047B2 (ja) * 2004-10-07 2013-01-23 Ｔｏｗａ株式会社 光デバイス及び光デバイスの生産方法
IL165212A (en) 2004-11-15 2012-05-31 Elbit Systems Electro Optics Elop Ltd Device for scanning light
US7076024B2 (en) * 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) * 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US7750356B2 (en) * 2005-05-04 2010-07-06 Avago Technologies Fiber Ip (Singapore) Pte. Ltd. Silicon optical package with 45 degree turning mirror
US7609875B2 (en) * 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
CN1725042B (zh) 2005-06-30 2010-11-24 昆明理工大学 基于Talbot干涉仪的扫描式光栅写入法及扫描式Talbot干涉仪
US7583875B2 (en) * 2005-07-22 2009-09-01 Seiko Epson Corporation Illumination device, image display device, and projector
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
US8390821B2 (en) * 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
US8792978B2 (en) 2010-05-28 2014-07-29 Lockheed Martin Corporation Laser-based nerve stimulators for, E.G., hearing restoration in cochlear prostheses and method
US7544945B2 (en) 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
WO2007096893A2 (en) * 2006-02-27 2007-08-30 Prime Sense Ltd. Range mapping using speckle decorrelation
DE102006011284A1 (de) * 2006-02-28 2007-08-30 Osram Opto Semiconductors Gmbh Halbleiterlaservorrichtung
KR101408959B1 (ko) * 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
CN101501442B (zh) * 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US20070242254A1 (en) 2006-03-17 2007-10-18 Nikon Corporation Exposure apparatus and device manufacturing method
JP5239124B2 (ja) 2006-03-31 2013-07-17 株式会社ニコン プロジェクタ内蔵カメラ
WO2008061259A2 (en) * 2006-11-17 2008-05-22 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US7990545B2 (en) * 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
WO2008087652A2 (en) * 2007-01-21 2008-07-24 Prime Sense Ltd. Depth mapping using multi-beam illumination
US20080212835A1 (en) * 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
US8150142B2 (en) * 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8493496B2 (en) * 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
EP2149268A1 (en) * 2007-04-23 2010-02-03 California Institute of Technology An aperture system with spatially-biased aperture shapes for 3-d defocusing-based imaging
JP4412362B2 (ja) * 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
KR101439434B1 (ko) 2007-10-05 2014-09-12 삼성전자주식회사 이미지 센서 및 그 제조 방법
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) * 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
US8384997B2 (en) * 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
CN101984767B (zh) 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
WO2009101236A1 (en) 2008-02-13 2009-08-20 Nokia Corporation Display device and a method for illuminating a light modulator array of a display device
US9244287B2 (en) 2008-05-09 2016-01-26 Reald Inc. Optical systems with compact back focal lengths
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
EP2467748A2 (en) 2009-08-17 2012-06-27 3M Innovative Properties Company Dual total internal reflection polarizing beamsplitter
JP5383424B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像形成装置
JP5588310B2 (ja) 2009-11-15 2014-09-10 プライムセンス リミテッド ビームモニタ付き光学プロジェクタ
JP5452197B2 (ja) 2009-12-03 2014-03-26 パナソニック株式会社 Ｍｅｍｓ光スキャナ
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
CN103053167B (zh) 2010-08-11 2016-01-20 苹果公司 扫描投影机及用于3d映射的图像捕获模块
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
EP2643659B1 (en) 2010-11-19 2019-12-25 Apple Inc. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
DE102011001387A1 (de) 2011-03-18 2012-09-20 First Sensor AG Verfahren zum mehrdimensionalen Abtasten eines Abtastfeldes mittels eines optischen Abtast- oder Scannersystems sowie optisches Abtastsystem
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US8908277B2 (en) 2011-08-09 2014-12-09 Apple Inc Lens array projector
WO2013062932A1 (en) 2011-10-24 2013-05-02 3M Innovative Properties Company Tilted dichroic polarizing beamsplitter
WO2014093085A1 (en) 2012-12-10 2014-06-19 3M Innovative Properties Company Reflective fly eye array illuminator
US9690107B2 (en) 2013-03-15 2017-06-27 Trumpf Laser Gmbh Device for wavelength combining of laser beams
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
CN104460196A (zh) 2013-09-18 2015-03-25 光宝科技股份有限公司 投影模块
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
DE102014104027B4 (de) 2014-03-24 2020-10-29 Sick Ag Optoelektronische Vorrichtung und Verfahren zur Erfassung von Objektinformationen
JP6271006B2 (ja) 2014-06-13 2018-01-31 三菱電機株式会社 虚像表示装置
CN106662433B (zh) 2014-06-27 2019-09-06 新加坡恒立私人有限公司 结构化光成像系统及方法
US10353054B2 (en) 2014-08-12 2019-07-16 Mitsubishi Electric Corporation Laser radar device
KR102510119B1 (ko) 2014-08-15 2023-03-15 에이아이, 아이엔씨. 레이더 전송을 위한 방법 및 시스템
US9553423B2 (en) 2015-02-27 2017-01-24 Princeton Optronics Inc. Miniature structured light illuminator
JP6548727B2 (ja) 2015-05-29 2019-07-24 オリンパス株式会社 照明装置及び計測装置
US10057553B2 (en) 2015-06-19 2018-08-21 Seiko Epson Corporation Light source device, illumination device, and projector
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
US9997551B2 (en) 2015-12-20 2018-06-12 Apple Inc. Spad array with pixel-level bias control
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
KR101641479B1 (ko) 2016-03-24 2016-07-20 김상수 입체 영상 디스플레이 장치
US10305247B2 (en) 2016-08-30 2019-05-28 Apple Inc. Radiation source with a small-angle scanning array
US10362295B2 (en) 2016-09-19 2019-07-23 Apple Inc. Optical apparatus with beam steering and position feedback
EP3704510B1 (en) 2017-12-18 2022-10-05 Apple Inc. Time-of-flight sensing using an addressable array of emitters

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5606181A (en) * 1994-03-29 1997-02-25 Ricoh Company, Ltd. Edge emitting type light emitting diode array heads
CN1350633A (zh) * 1999-05-14 2002-05-22 北京三维世界科技有限公司 三维成像系统
CN101051168A (zh) * 2006-04-03 2007-10-10 三星Techwin株式会社 拍摄装置和方法

Also Published As

Publication number Publication date
US9736459B2 (en) 2017-08-15
CN102193295A (zh) 2011-09-21
CN102193295B (zh) 2014-12-10
CN104360571B (zh) 2016-05-11
US20180070073A1 (en) 2018-03-08
US10609357B2 (en) 2020-03-31
JP2011160420A (ja) 2011-08-18
US20130147921A1 (en) 2013-06-13
US20110187878A1 (en) 2011-08-04
EP2363686A1 (en) 2011-09-07
CN102143342A (zh) 2011-08-03
US10063835B2 (en) 2018-08-28
US20190068951A1 (en) 2019-02-28
CN104360571A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN102143342B (zh) 投影照明与图像传感器的卷帘的同步
US10721459B2 (en) Scanning projectors and image capture modules for 3D mapping
US11852463B2 (en) Projectors of structured light
US9267787B2 (en) Depth scanning with multiple emitters
JP6309459B2 (ja) ストライプ照明の飛行時間型カメラ
KR102163728B1 (ko) 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
US9885459B2 (en) Pattern projection using micro-lenses
JP7450558B2 (ja) カメラ内で動的投影パターンを生成するためのデバイス、方法およびシステム
CN107783353A (zh) 用于捕捉立体影像的装置及系统
CN114096883A (zh) 用于电子扫描lidar系统的同步图像捕获
US20200292306A1 (en) 3d camera system with rolling-shutter image sensor
CN115248440A (zh) 基于点阵光投射的tof深度相机
TWI630431B (zh) 用於捕捉立體影像的裝置及系統
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
RU2543688C2 (ru) Камера и оптическая система для получения 3d изображений (варианты)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: APPLE COMPUTER, INC.

Free format text: FORMER OWNER: PRIME SENSE LTD.

Effective date: 20141023

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141023

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Tel Aviv

Applicant before: Prime Sense Ltd.

C14 Grant of patent or utility model
GR01 Patent grant