CN108027441B - 混合模式深度检测 - Google Patents

混合模式深度检测 Download PDF

Info

Publication number
CN108027441B
CN108027441B CN201680051716.1A CN201680051716A CN108027441B CN 108027441 B CN108027441 B CN 108027441B CN 201680051716 A CN201680051716 A CN 201680051716A CN 108027441 B CN108027441 B CN 108027441B
Authority
CN
China
Prior art keywords
structured light
depth
target
mems
laser beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680051716.1A
Other languages
English (en)
Other versions
CN108027441A (zh
Inventor
P·瑟凡·维斯瓦纳坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microvision Inc
Original Assignee
Microvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microvision Inc filed Critical Microvision Inc
Publication of CN108027441A publication Critical patent/CN108027441A/zh
Application granted granted Critical
Publication of CN108027441B publication Critical patent/CN108027441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

简而言之，根据一个或更多个实施例，一种用于实现混合模式深度检测的MEMS激光束显示器包括：成像引擎，其用于将图像投影到所述MEMS激光束显示器的视场中；飞行时间(TOF)深度检测器(114)，其用于确定第一深度检测模式下与所述视场内的目标的距离，其中，所述TOF深度检测器确定所述目标的粗略深度数据；以及结构化光深度检测器(116)，其用于确定第二深度检测模式下与所述目标的距离，其中，所述结构化光深度检测器确定所述目标的精密深度数据。深度处理电路可生成目标的复合三维(3D)图像，或者可识别目标的姿势区域用于姿势识别。

Description

混合模式深度检测
技术领域
本公开涉及混合模式深度检测，特别是涉及MEMS激光束显示器和获得目标的三维图像的方法。
背景技术
可利用用于深度检测的飞行时间(time of flight、TOF)方法来确定目标距显示器或其他装置的深度或距离。微机电系统(MEMS)激光束显示器可装入调制红外(IR)光源，用于在扫描周期中的预定时隙期间将多个询问脉冲调度到目标上。检测被反射的脉冲，并且确定脉冲触发和返回脉冲之间的时间差(飞行时间)。可使用光速来计算往返距离，使得能确定距目标的深度或距离。利用空间上分离的高速率的IR询问脉冲，当使用扫描参数进行光栅化时计算出的深度数据产生显示视场(FOV)或FOV中的可通过编程方式确定的子区域的深度图。深度图的空间分辨率会受IR脉冲和TOF检测器电路中的累积等待时间以及显示器的扫描参数的限制。为了获得较高分辨率的精密深度图，会需要多个IR激光二极管和/或接收电路中的组件副本。可供选择地，利用单个IR激光束进行过采样可产生更高分辨率的深度图，但是将会增加处理等待时间(减小深度图采集的帧速率)并且阻碍FOV中的低等待时间姿势识别。一般来说，姿势识别和3D图像捕获可得益于低等待时间较高分辨率的深度图，而无需上述方法中的开销。
发明内容
本公开的一个实施例涉及一种MEMS激光束显示器，包括：基于MEMS的投影仪，其包括MEMS扫描引擎，所述MEMS扫描引擎被配置为用于将图像投影到所述MEMS激光束显示器的视场中的目标之上；飞行时间TOF深度检测器，所述飞行时间TOF深度检测器被配置为用于接收由所述投影仪发射的光束从所述目标的反射，以在第一深度检测模式下经由飞行时间计算来确定与所述视场内的所述目标的距离，其中，所述飞行时间TOF深度检测器确定所述目标的粗略深度数据；深度处理电路，所述深度处理电路被配置为用于从所述粗略深度数据来识别所述视场内的一个或更多个结构化光区域，其中，所述一个或更多个结构化光区域仅包括所述视场的一部分，并且其中，至少一个结构化光图案被投影在所识别的一个或更多个结构化光区域中；结构化光深度检测器，所述结构化光深度检测器被配置为用于检测所述至少一个结构化光图案从所述目标的反射，以在第二深度检测模式下确定与所述目标的距离，其中，所述结构化光深度检测器确定在所识别的一个或更多个结构化光区域中的所述目标的精密深度数据；并且其中，所述深度处理电路还被配置为用于使用所述粗略深度数据和所述精密深度数据的组合来生成所述目标的复合三维3D图像。
附图说明
在说明书的结论部分中特别指出并且清楚地声明要求保护的主题。然而，可通过参照以下利用附图阅读的详细描述来理解此主题，在附图中：
图1是根据一个或更多个实施例的利用混合模式深度检测的MEMS激光束显示器的框图；
图2是图1的MEMS激光束显示器的框图，示出了根据一个或更多个实施例的混合模式深度检测电路的附加细节；
图3是图1的显示器的等距图，示出了根据一个或更多个实施例的MEMS激光束显示器的视场内的目标的混合模式深度检测；
图4A至图4F是图1的MEMS激光束显示器的视场的示图，图示了根据一个或更多个实施例的在视场中的各个区域上使用第一模式和第二模式的目标的深度检测；
图5是图1的MEMS激光束显示器的视场的示图，图示了根据一个或更多个实施例的在视场内的目标的选定区域中的姿势识别；
图6是根据一个或更多个实施例的利用混合模式深度检测来创建复合三维图像和姿势识别的方法的流程图；
图7是根据一个或更多个实施例的利用混合模式深度检测来创建复合三维图像和姿势识别的替代方法的流程图；
图8是根据一个或更多个实施例的具有利用混合模式深度检测的MEMS激光束显示器的信息处理系统的框图；
图9是根据一个或更多个实施例的包括利用混合模式深度检测的MEMS激光束显示器的信息处理系统的等距图；
图10是根据一个或更多个实施例的包括被部署为平视显示器(HUD)的利用混合模式深度检测的MEMS激光束显示器的车辆的示图；以及
图11是根据一个或更多个实施例的包括被部署为头戴式显示器(HMD)的利用混合模式深度检测的MEMS激光束显示器的护目镜的示图。
应该理解，为了图示的简单和/或清晰起见，图中图示的元件不一定按比例绘制。例如，为了清楚起见，可将一些元件的尺寸相对于其他元件夸大。另外，如果认为合适，则重复附图中的附图标记，以指示对应的和/或类似的元件。
具体实施方式
在下面的具体实施方式中，阐述了众多具体细节，以便对要求保护的主题提供更全面的理解。然而，本领域的技术人员将理解，可在没有这些具体细节的情况下实践要求保护的主题。在其他情形下，不详细描述公知的方法、程序、组件和/或电路。
在下面的描述和/或权利要求书中，可使用术语“耦合”和/或“连接”及其派生词。在特定实施例中，“连接”可用于指示两个或更多个元件彼此直接实体和/或电接触。“耦合”可意指两个或更多个元件直接实体和/或电接触。然而，“耦合”也可意指两个或更多个元件可不彼此直接接触，但仍然可彼此协作和/或交互。例如，“耦合”可意指两个或更多个元件彼此不接触，而是借助另一个元件或中间元件间接接合在一起。最后，可在以下描述和权利要求书中使用术语“上”、“之上”和“上方”。“上”、“之上”和“上方”可用于指示两个或更多个元件彼此直接实体接触。然而，“上方”也可意指两个或更多个元件不直接彼此接触。例如，“上方”可意指一个元件位于另一个元件上方，但彼此不接触，并且可在两个元件之间具有另一个元件或多个元件。此外，术语“和/或”可意指“和”，它可意指“或”，它可意指着“异或”，它可意指“一个”，它可意指“一些，但并非全部”，它可意指“既不”和/或它可意指“二者”，尽管要求保护的主题的范围在这方面不受限制。在以下的描述和/或权利要求书中，可使用术语“包括”和“包含”连同它们的派生词并且意图将其作为彼此的同义词。
现在参照图1，将讨论根据一个或更多个实施例的利用混合模式深度检测的MEMS激光束显示器的框图。如图1中所示，显示器100包括基于MEMS的投影仪，该基于MEMS的投影仪包括能够经由一个或更多个扫描光束104将图像投影到目标102上的微机电系统(MEMS)扫描引擎110。扫描光束104可包括准直光束或作为可见光束——例如，红色、绿色或蓝色光束——和/或不可见光束——例如，红外光束——的激光束。这里所称的MEMS扫描引擎110可以是具有镜像表面的双轴单致动器或两个或更多个独立致动器，每个致动器上都具有镜像表面，在任一配置中，致动器都被致动，以进行光栅扫描或者将复杂图案的光束投影到视场内。以上讨论的任一MEMS配置都可用包括但不限于电磁和/或静电致动中的任一个或这两者的许多方法之一来致动。虽然图1示出了包括MEMS显示器的显示器100的一个特定示例，但是在一个或更多个替代实施例中，显示器100可包括诸如基于数字微镜器件(DMD)的投影仪、基于数字光处理器(DLP)的投影仪、或基于硅上液晶(LCOS)的投影仪等其他各种显示技术，其中，电路中的标称变化如图1所示，并且所要求保护的主题的范围在这些方面不受限制。MEMS扫描引擎110通常可包括成像引擎，成像引擎被配置成使用诸如MEMS扫描镜、DMD或DLP等各种实施例的技术来投影图像，并且所要求保护的主题的范围在这些方面不受限制。在MEMS扫描引擎110包括阵列或反射镜的实施例中，光束甚至不能被扫描，而是通过MEMS阵列的组成元件的高速调制来顺序地呈现帧。可供选择地，MEMS扫描引擎110可包括其他类型的束扫描引擎，并且所要求保护的主题的范围在这方面不受限制。例如，MEMS扫描引擎110可供选择地可包括如美国公开申请US 2013/0235441 A1中描述的纳米级集成束扫描仪，该申请其全部内容特此被并入本文中。
显示器100还可包括飞行时间(TOF)深度检测器114和结构化光深度检测器116，以提供用于检测从显示器100到目标102的深度或距离的混合模式深度检测。在下面将进一步详细讨论的一个或更多个实施例中，可利用TOF深度检测器114来确定在第一深度检测模式下从显示器100到目标102的粗略深度(COARSE DEPTH)，并且可利用结构化光深度检测器116来确定在第二深度检测模式下从显示器100到目标102的精密深度(FINE DEPTH)，但是所要求保护的主题的范围在这方面不受限制。例如，TOF深度检测器114可包括如美国公开申请US 2013/010700 A1中描述的设备，该申请其全部内容特此被并入本文中。在另一个示例中，结构化光深度检测器116可使用如其全部内容特此被并入本文中的Salvi，Joaqim等人的“Pattern Codification Strategies in Structured Light Systems”(Institut d'Informatica I Aplicacions,Universitat de Girona(Spain)(2005))中描述的结构化光图案。深度处理电路118可接收来自TOF深度检测器114和结构化光深度检测器116的输出，以针对各种目的或程序来处理深度信号，例如，以识别目标102处的一个或更多个对象、提供目标102的三维(3D)地图、或者执行目标150的姿势识别等等，并且所要求保护的主题的范围在这方面不受限制。以下，相对于图2示出和描述TOF深度检测器114、结构化光深度检测器116和深度处理电路118。
现在参照图2，将讨论示出了根据一个或更多个实施例的混合模式深度检测电路的附加细节的图1的MEMS激光束显示器的框图。如图2中所示，MEMS扫描引擎110可接收并重新引导从红色(R)、绿色(G)、蓝色(B)和红外(IR)激光二极管112接收的光，以利用RGB激光器将可见颜色图像投影到目标102上，并且进一步利用IR激光器将不可见图像投影到目标102上。图像处理器160接收视频输入信号和对应的SYNC信息，并且向RGB+IR激光二极管112和脉冲发射逻辑124提供像素调制和定时信息。TOF深度检测器114可包括红外(IR)光电检测器120，以检测被目标102反射的反射IR光束106。光电检测器120的输出被提供到模拟前端(AFE)122，AFE 122可包括跨阻放大器(TIA)、各种增益级(运算放大器)、滤波器、微分器、交叉点检测器和时间-电压转换器(TVC)或时间延迟转换器(TDC)。TVC和TDC基本上用作与反射后从发射器到检测器的光子的TOF相对应的电压或延迟的积分器。脉冲发射逻辑电路124从图像处理器160接收定时信息，并且控制调制后的RGB和/或IR脉冲的时间布置。与这里描述的实施例一致，124可直接控制112中的RGB和IR激光二极管进行图像和视频显示和结构化光应用，或者经由TOF脉冲成形电路126进行TOF深度检测应用。在其他示例中，TOF深度检测器可被设计成，使得IR光电检测器120是特定分辨率的矩阵传感器(TOF传感器IC)，该特定分辨率被光学透镜化为具有与显示FOV匹配的FOV，并且在这些配置中，组件122和128可被高度集成在同一裸片或封装中的专用集成电路(ASIC)中，该专用集成电路(ASIC)也包括矩阵传感器阵列。结构化光深度检测器116可包括相机130，相机130能够捕获被MEMS扫描引擎110投影到目标102上的IR图像和/或可见图像。相机130的输出可被提供到结构化光引擎132，结构化光引擎132接受来自130的捕获图像并且利用从126接收的空间编码信息在图像处理单元136中应用变换，以提取目标102的深度信息。
在一个或更多个实施例中，ADC电路128将输出提供到复合深度图电路142的深度图(TOF)电路140，并且图像处理电路136将输出提供到复合深度图电路142的深度图(结构化光)电路138。复合深度图电路142可产生复合3D深度图像150，复合3D深度图像150是TOF深度检测器114所获得的粗略深度图像和结构化光深度检测器116所获得的精密/高细节深度图像的组合。深度图(TOF)电路140可将输出提供到骨架提取(TOF)电路146，并且深度图(结构化光)电路138可向骨架提取(结构化光)电路148提供输出，以提供复合骨架模型144。骨架模型可被提供到姿势识别电路152，以识别目标102——诸如人的手和/或手指——的一个或更多个形式或结构，例如以便于识别用户提供的作为信息处理系统的输入的姿势。应该注意，可全部或部分地用硬件或者全部或部分地用软件将深度处理电路118实现为例如存储在非暂态存储介质上的指令，其中，指令在被执行时致使处理器实现或执行图1中示出的电路的功能，但是所要求保护的主题的范围在这方面不受限制。下面，描述显示器100可如何使用混合模式深度检测的示例。
现在参照图3，将讨论示出了根据一个或更多个实施例的MEMS激光束显示器的视场内的目标的混合模式深度检测的图1的显示器的等距图。如图3中所示，显示器100可将一个或更多个扫描光束104投影到目标102可位于其中的视场(FOV)210中。可在FOV 210的部分或全部上的TOF区域310中利用TOF深度检测器114来获得粗略深度图。通过显示器100投影在结构化光区域312中的结构化光图案，在FOV 210的部分或全部上方的结构化光区域312中利用结构化光深度检测器116获得精密深度图。在一个或更多个实施例中，结构化光图案可以是使用MEMS扫描引擎110的任一个或更多个可见光束——例如，红色、蓝色和/或绿色光束——投影的可见结构化光图案，或者可以是使用MEMS扫描引擎100的任一个或更多个不可见光束——例如，IR光束——的不可见结构化光图案。结构化光图案可以是可用于促成深度检测和生成精密深度图的任一个或更多个各种图案，例如，De Bruijn序列、二进制码、n元码、混合方法、非正式编码、M-阵列、灰度级、彩色图案等，诸如，Salvi，Joaqim等人在“Pattern Codification Strategies in Structured Light Systems”(Institut d'Informatica I Aplicacions,Universitat de Girona(Spain)(2005))中描述的。结构化光图案通常被分类为时分复用、空间编码或直接编码，其中，空间编码代表单次深度采集代码，因此非常适合用于姿势识别的低等待时间深度采集。应该注意，这些仅仅是合适的结构化光图案的示例，并且所要求保护的主题的范围在这方面不受限制。
在一个或更多个实施例中，显示器100可使用粗略深度图来检测目标102位于FOV210内的何处，并且特别地，将把结构化光区域312中的结构化光图案投影到目标102的哪部分以便获得精密深度图。可利用显示器100的深度处理电路118来确定将把结构化光区域312中的结构化光图案投影到FOV 210中的何处和/或目标102上的何处。可供选择地，用户可识别候选的结构化光区域312，并且可使用对致动器314的用户输入316作为对显示器100的输入来手动地控制或操纵投影到所识别的结构化光区域312的结构化光图案。例如，致动器314可包括由用户操纵的鼠标、操纵杆、触控板、键盘、触摸输入显示器等，将其作为操纵被投影的结构化光图案到达所期望的结构化光区域312的用户输入316。用户输入316还可以可供选择地或同时地接收来自眼睛或视线跟踪器或来自检测目标102上的基准点的传感器或相机的输入。用户还可操纵结构化光图案来匹配所期望的结构化光区域312的大小和/或形状，例如，以增大或减小结构化光图案的大小，或者旋转或改变结构化光图案的形状，但是所要求保护的主题的范围在这些方面不受限制。下面，相对于图4A至图4F示出和描述各种深度检测模式的示例图案。
现在参照图4A至图4F，将讨论根据一个或更多个实施例的在视场中的各个区域上使用第一模式和第二模式的目标的深度检测的图1的MEMS激光束显示器的视场的示图。在图4A中，TOF区域310可包括全部或几乎全部FOV 210，其中，可使用TOF深度检测器114来获得粗略深度图。扫描光区域312可包括目标102的一部分，其中可使用结构化光检测器116获得精密深度图。在图4B中，TOF区域310可包括全部或几乎全部FOV210，并且多个结构化光区域——例如，结构化光区域312、结构化光区域314、或结构化光区域316——可包括目标102的可针对其获得精密深度图的多个部分。在图4C中，TOF区域310可以包括全部或几乎全部FOV 210，并且结构化光区域312可与目标102的全部或几乎全部重合。在图4D中，TOF区域310和结构化光区域312可包括全部或几乎全部FOV 210。
在一些实施例中，可同时或几乎同时获得粗略深度图和精密深度图，其中，TOF区域310和结构化光区域312在时间上重叠和/或在一个或更多个帧中同时存在。00在一些替代实施例中，可顺序地获得粗略深度图和精密深度图，使得TOF区域310和结构化光区域312在时间上不重叠和/或不在同一帧中出现。例如，在图4E中，TOF区域310可包括全部或几乎全部FOV 210，而在第一时间和/或第一帧中不存在结构化光区域312，并且在图4F中，结构化光区域312可包括目标102的至少一部分，而在第二时间和/或第二帧中不存在TOF区域210。在其他替代实施例中，可顺序地获得粗略深度图和精密深度，使得TOF区域310和结构化光区域312在时间上不重叠，而是呈现在扫描周期的不同阶段中，例如，在FOV的正向扫描方向上执行精密深度图采集，而粗略深度图采集被降级到垂直回扫周期，或者粗略和精密深度图采集在同一视频帧中交错进行，在时间上分离，但是在空间上几乎重叠，其中，重叠程度取决于扫描仪特性。应该注意，图4A至图4F中示出的实施例仅仅是显示器100可如何利用采用TOF深度检测器114和结构化光深度检测器116进行的混合模式深度检测的示例，并且所要求保护的主题的范围在这些方面不受限制。下面，相对于图5示出和描述使用混合模式深度检测来实现姿势识别的图4A至图4F的实施例的示例应用。
现在参照图5，将讨论图示了根据一个或更多个实施例的在视场内的目标的选定区域中的姿势识别的图1的MEMS激光束显示器的视场的示图。如图5中所示，目标102可以是使用能被显示器100识别的各种手和/或手指姿势的人或用户。例如，用户可使用姿势作为输入和用户界面控制来向由显示器100所投影的用户界面提供输入和/或命令。为了识别用户做出的一个或更多个姿势，显示器100的FOV 210可被引导到目标102——用户，使得目标102至少部分地位于FOV 210内。在一个或更多个实施例中，TOF深度检测器114可获得FOV210和TOF区域310中的粗略深度图。粗略深度图可被提供到骨架提取(TOF)电路146，以提取目标102的骨架，在这种情况下，是人的骨架模型。使用骨架提取(TOF)电路146的输出，可在目标102上自动地或以编程方式识别结构化光区域312，以获得将用于姿势识别的精密深度图。在图5中示出的示例中，用户的手可被识别为结构化光区域312，并且显示器100可在结构化光区域312中投影结构化光图案——在这种情况下，投影到用户的手和手指上。结构化光深度检测器116可获得结构化光区域312的精密深度图，精密深度图被提供到骨架提取(结构化光)电路148，以识别用户的手和/或手指在结构化光区域312中的精密移动。骨架提取(TOF)电路146和骨架提取(结构化光)电路148的输出被提供到姿势识别电路152，以检测和识别用户做出的姿势，并且将姿势作为用户输入提供到显示器100和/或者诸如处理器、计算机、平板、电话等的显示器100可连接的另一个装置。在一个或更多个实施例中，可如美国专利No.US 9,002,058 B2中描述地执行手势识别，该专利其全部内容特此以引用方式并入本文中。应该注意，图5中示出的姿势识别示例仅仅是使用利用显示器100进行的混合模式深度检测的一个示例，并且所要求保护的主题的范围在这方面不受限制。下面，相对于图6和图7示出和描述混合模式深度检测和/或姿势识别的各种方法。
现在参照图6，将讨论根据一个或更多个实施例的利用混合模式深度检测来形成复合三维图像和姿势识别的方法的流程图。图6图示了方法600的操作的一个特定顺序和数量，而在其他实施例中，方法600可包括各种其他顺序的更多或更少的操作，并且所要求保护的主题的范围在这些方面不受限制。在框610，可用红外(IR)激光束扫描显示器100的视场(FOV)210。在框612，可检测反射IR光束，并且在框614，可从反射IR光束数据获得粗略深度图。在框616，在粗略深度图中识别一个或更多个精密深度图区域。在框618，可在所识别的精密深度图区域中绘制结构化光图像，并且可在框620捕获所识别的精密深度图区域的图像数据。在框622，可获得所识别的精密深度图区域的精密深度图。在框624，可根据粗略深度图和精密深度图来创建复合三维(3D)图像。然后，在框626，可在复合深度图中执行姿势识别。
现在参照图7，将讨论根据一个或更多个实施例的利用混合模式深度检测来形成复合三维图像和姿势识别的替代方法的流程图。图7图示了方法700的操作的一个特定顺序和数量，而在其他实施例中，方法700可包括各种其他顺序的更多或更少的操作，并且所要求保护的主题的范围在这些方面不受限制。在框710，可用红外(IR)激光束扫描显示器100的视场(FOV)，并且在框712，可检测反射IR光束。在框714，可从反射IR光束数据来确定粗略深度图。在框716，例如，使用粗略深度图识别视场中的一个或更多个目标。在框718，可在一个或更多个目标上绘制一个或更多个结构化光图像。在框720，可采集一个或更多个目标的图像数据，并且在框722，可确定一个或更多个目标的精密深度图。在框724，可根据粗略深度图和精密深度图来创建复合三维(3D)图像。在框726，可在目标中的一个或更多个的复合深度图中执行姿势识别。
现在参照图8，将讨论根据一个或更多个实施例的具有利用混合模式深度检测的MEMS激光束显示器的信息处理系统的框图。虽然信息处理系统800代表诸如智能手机、平板、手持式游戏装置、个人计算机等几种类型的计算平台的一个示例，但是信息处理系统800可包括相比于如图8所示更多或更少的元件和/或不同布置的元件，并且所要求保护的主题的范围在这些方面不受限制。例如，信息处理系统800可利用MEMS激光束显示器100作为投影显示器以将图像投影到显示器表面上，并且进一步实现如本文中所述的混合模式深度检测和/或姿势识别，但是所要求保护的主题在这些方面不受限制。
在一个或更多个实施例中，信息处理系统800可包括应用处理器810和基带处理器812。可利用应用处理器810作为通用处理器来运行信息处理系统800的应用和各种子系统。应用处理器810可包括单核或者可供选择地可包括多个处理核，例如，其中，一个或更多个可包括数字信号处理器或数字信号处理核。此外，应用处理器810可包括设置在同一芯片上的图形处理器或协处理器，或者可供选择地，与应用处理器810耦合的图形处理器可包括单独的分立图形芯片。应用处理器810可包括诸如高速缓存存储器的板上存储器，并且还可耦合于外部存储装置，诸如，用于在操作期间存储和/或执行应用的同步动态随机存取存储器(SDRAM)814，以及即使当信息处理系统800断电时也存储应用和/或数据的NAND闪存816。在一个或更多个实施例中，操作或配置信息处理系统800和/或其组件或子系统中的任一个以按本文所述的方式进行操作的指令可被存储在包括非暂态存储介质的制品上。在一个或更多个实施例中，存储介质可包括本文中示出和描述的存储装置中的任一个，但所要求保护主题的范围在这方面不受限制。基带处理器812可控制信息处理系统800的宽带无线电功能。基带处理器812可存储用于控制NOR闪存818中的这种宽带无线电功能的代码。基带处理器812控制无线广域网(WWAN)收发器820，无线广域网(WWAN)收发器820用于调制和/或解调宽带网络信号，例如，用于经由第三代(3G)或第四代(4G)网络等或更高级网络——例如，长期演进(LTE)网络——进行通信。WWAN收发器820耦合于分别与一个或更多个天线824耦合的一个或更多个功率放大器822，用于经由WWAN宽带网络来发送和接收射频信号。基带处理器812还可控制无线局域网(WLAN)收发器826，WLAN收发器826与一个或更多个合适天线828耦合并且可以能够经由Wi-Fi、Bluetooth、和/或幅度调制(AM)或包括IEEE 802.11a/b/g/n标准等的频率调制(FM)无线电标准进行通信。应该注意，这些仅仅是应用处理器810和基带处理器812的示例实现方式，并且所要求保护的主题的范围在这些方面不受限制。例如，SDRAM 814、NAND闪存816和/或NOR闪存818中的任一个或更多个可包括诸如磁存储器、硫族化物存储器、相变存储器或双向存储器的其他类型的存储器技术，并且所要求保护的主题的范围在这方面不受限制。
在一个或更多个实施例中，应用处理器810可驱动用于显示各种信息或数据的显示器830，并且还可例如经由触摸屏832接收来自用户例如经由手指或指示笔的触摸输入。可利用环境光传感器834来检测信息处理系统800正在其中操作的环境光的量，例如，控制随着环境光传感器834检测到的环境光的强度变化而变化的显示器830的亮度或对比度值。可利用一个或更多个相机836来捕获经应用处理器810处理的图像和/或至少暂时存储在NAND闪光灯816中的图像。此外，应用处理器可耦合于陀螺仪838、加速计840、磁力计842、音频编码器/解码器(CODEC)844、和/或与适宜的GPS天线848耦合的全球定位系统(GPS)控制器846，以检测包括信息处理系统800的位置、移动和/或定向的各种环境属性。可供选择地，控制器846可包括全球导航卫星系统(GNSS)控制器。音频CODEC844可耦合于一个或更多个音频端口850，以经由内部装置和/或经由外部装置提供麦克风输入和扬声器输出，外部装置经由音频端口850——例如，经由耳机和麦克风插孔——与信息处理系统耦合。另外，应用处理器810可耦合于一个或更多个输入/输出(I/O)收发器852，以耦合于诸如通用串行总线(USB)端口、高清多媒体接口(HDMI)端口、串行端口等的一个或更多个I/O端口854。此外，I/O收发器852中的一个或更多个可耦合于一个或更多个存储插槽856，用于诸如安全数字(SD)卡或订户身份模块(SEVI)卡的可选的可去除存储器，但是所要求保护的主题在这些方面不受限制。在一个或更多个实施例中，MEMS激光束显示器100可耦合于I/O收发器852中的一个或更多个，并且可集成在信息处理系统800的外壳内，或者另选地可设置在外壳的外部，但是所要求保护的主题的范围在这些方面不受限制。
现在参照图9，将讨论根据一个或更多个实施例的包括利用混合模式深度检测的MEMS激光束显示器100的信息处理系统的等距图。图9的信息处理系统900可代表图8的信息处理系统800的有形实施例。信息处理系统900可包括几种类型的计算平台中的任一种，包括手机、个人数字助理(PDA)、上网本、笔记本电脑、互联网浏览装置、平板、平板电脑等，并且所要求保护的主题的范围在这些方面不受限制。在图9中示出的示例中，信息处理系统900可包括外壳910，用于容纳如本文中讨论的MEMS激光束显示器100，例如，提供投影图像的扫描输出光束920和/或提供如本文中讨论的混合模式深度检测。信息处理系统900可选地可包括：显示器912，其可以是触摸屏显示器；键盘914或其他控制按钮或致动器；扬声器或耳机插孔916，其具有可选麦克风输入；控制按钮918；存储卡插槽920；和/或输入/输出(I/O)端口922；或其组合。此外，信息处理系统900可具有相比于所示出的其他形式的因子和更少或更多的特征，并且所要求保护的主题的范围在这些方面不受限制。
现在参照图10，将讨论根据一个或更多个实施例的包括被部署为平视显示器(HUD)的利用混合模式深度检测的MEMS激光束显示器的车辆的示图。在图10中示出的实施例中，MEMS激光束显示器100可被部署在车辆1010中，诸如汽车1010的仪表板中，并且可投影能供车辆的操作人员或乘客观看的图像1020。虽然图10示出了将利用混合模式深度检测的MEMS激光束显示器100部署为显示器投影仪的一个示例，但是同样可提供其他类型的部署，并且所要求保护的主题的范围在这方面不受限制。
现在参照图11，将讨论根据一个或更多个实施例的包括被部署为头戴式显示器(HUD)的利用混合模式深度检测的MEMS激光束显示器的护目镜的示图。在图11中示出的实施例中，MEMS激光束显示光束扫描仪100可被部署在护目镜1110或其他头戴式装置中，例如，附接于护目镜1110的框架，并且可投影能供护目镜1110的佩戴者观看的图像1120。虽然图11示出了将利用混合模式深度检测的MEMS激光束显示器100部署为显示器投影仪的一个示例，但是同样可提供其他类型的部署，并且所要求保护的主题的范围在这方面不受限制。
虽然所要求保护的主题已经以一定特定程度进行了描述，但是应该认识到，本领域的技术人员在不脱离所要求保护的主题的精神和/或范围的情况下改变其元素。据信，将通过以上描述来理解涉及混合模式深度检测的主题及其附带效用中的一些，并且应该清楚，在不脱离所要求保护的主题的情况下或者在没有牺牲其材料优点的情况下，可对其组件进行形式、构造和/或布置的各种改变，描述之前的本文中的形式仅仅是其说明性实施例，和/或而没有进一步对其做出实质改变。权利要求的意图是涵盖和/或包括这些改变。

Claims (13)

1.一种MEMS激光束显示器，包括：
基于MEMS的投影仪，其包括MEMS扫描引擎，所述MEMS扫描引擎被配置为用于将图像投影到所述MEMS激光束显示器的视场中的目标之上；
飞行时间TOF深度检测器，所述飞行时间TOF深度检测器被配置为用于接收由所述投影仪发射的光束从所述目标的反射，以在第一深度检测模式下经由飞行时间计算来确定与所述视场内的所述目标的距离，其中，所述飞行时间TOF深度检测器确定所述目标的粗略深度数据；
深度处理电路，所述深度处理电路被配置为用于从所述粗略深度数据来识别所述视场内的一个或更多个结构化光区域，其中，所述一个或更多个结构化光区域仅包括所述视场的一部分，并且其中，至少一个结构化光图案被投影在所识别的一个或更多个结构化光区域中；
结构化光深度检测器，所述结构化光深度检测器被配置为用于检测所述至少一个结构化光图案从所述目标的反射，以在第二深度检测模式下确定与所述目标的距离，其中，所述结构化光深度检测器确定在所识别的一个或更多个结构化光区域中的所述目标的精密深度数据；并且
其中，所述深度处理电路还被配置为用于使用所述粗略深度数据和所述精密深度数据的组合来生成所述目标的复合三维3D图像。
2.根据权利要求1所述的MEMS激光束显示器，其中，
所述深度处理电路还被配置为用于经由所述粗略深度数据来识别所述目标的姿势区域，并且用于使用所述精密深度数据来识别所述姿势区域中的姿势。
3.根据权利要求1所述的MEMS激光束显示器，其中，
所述MEMS扫描引擎包括MEMS扫描镜、或纳米级扫描仪、或它们的组合。
4.根据权利要求1所述的MEMS激光束显示器，其中，
所述飞行时间TOF深度检测器包括光电检测器，以用于检测所接收到的从所述目标的所述光束的反射。
5.根据权利要求1所述的MEMS激光束显示器，其中，
所述结构化光深度检测器包括相机，以用于检测所述至少一个结构化光图案的反射，并且用于经由对所检测到的所述至少一个结构化光图案的反射的距离计算来确定与所述目标的距离。
6.根据权利要求1所述的MEMS激光束显示器，还包括：
致动器，以用于接收来自用户的输入，以将由所述投影仪所发射的一个或更多个结构化光图案引导向所述目标的选定区域。
7.根据权利要求1所述的MEMS激光束显示器，其中，
所述深度处理电路还被配置为用于：从由所述飞行时间TOF深度检测器所获得的所述粗略深度数据获得所述目标的骨架模型，并且用于使用所述骨架模型来识别所述一个或更多个结构化光区域。
8.根据权利要求1所述的MEMS激光束显示器，其中，
所述光束包括红外IR光束，并且
所述飞行时间TOF深度检测器包括红外IR光电检测器，以检测所述红外IR光束从所述目标的反射。
9.根据权利要求1所述的MEMS激光束显示器，其中，
所述至少一个结构化光图案包括在所述目标上的可见结构化光图案或不可见结构化光图案或它们的组合，并且
所述结构化光深度检测器包括相机，以检测从所述目标反射的所述可见结构化光图案或所述不可见结构化光图案或它们的组合。
10.一种获得目标的三维图像的方法，包括：
通过基于MEMS的投影仪，将视场中的扫描光束投影到所述目标之上；
检测从所述目标反射的所述扫描光束的反射；
通过计算所述扫描光束的飞行时间，从所述扫描光束的反射确定所述目标的粗略深度图；
识别用于在其中获得精密深度数据的所述粗略深度图中的一个或更多个结构化光区域，其中，所述一个或更多个结构化光区域仅包括所述视场的一部分；
以所述扫描光束将结构化光图案投影到所述一个或更多个结构化光区域中；
通过从所述结构化光图案自所述一个或更多个结构化光区域的反射来计算深度信息，从所述结构化光图案的反射来确定在所述一个或更多个结构化光区域中的所述目标的精密深度图；并且
利用所述粗略深度图和所述精密深度图的复合来获得所述目标的三维图像。
11.根据权利要求10所述的方法，其中，
将扫描光束的所述投影包括：投影红外IR光束，并且
所述检测包括使用红外IR光电检测器来检测所述红外IR光束的反射。
12.根据权利要求10所述的方法，其中，
所述识别包括从所述粗略深度图获得所述目标的骨架模型，其中，所述一个或更多个结构化光区域位于所述目标的所述骨架模型上。
13.根据权利要求10所述的方法，还包括：
在所述视场内的所述目标的选定区域中的姿势识别。
CN201680051716.1A 2015-09-08 2016-08-03 混合模式深度检测 Active CN108027441B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/848,128 US10503265B2 (en) 2015-09-08 2015-09-08 Mixed-mode depth detection
US14/848,128 2015-09-08
PCT/US2016/045374 WO2017044204A1 (en) 2015-09-08 2016-08-03 Mixed-mode depth detection

Publications (2)

Publication Number Publication Date
CN108027441A CN108027441A (zh) 2018-05-11
CN108027441B true CN108027441B (zh) 2021-10-26

Family

ID=58190325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680051716.1A Active CN108027441B (zh) 2015-09-08 2016-08-03 混合模式深度检测

Country Status (6)

Country Link
US (1) US10503265B2 (zh)
EP (1) EP3347738B1 (zh)
JP (1) JP6821200B2 (zh)
KR (1) KR102595996B1 (zh)
CN (1) CN108027441B (zh)
WO (1) WO2017044204A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786715B2 (en) 2015-07-23 2017-10-10 Artilux Corporation High efficiency wide spectrum sensor
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
WO2017024121A1 (en) 2015-08-04 2017-02-09 Artilux Corporation Germanium-silicon light sensing apparatus
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US9893112B2 (en) 2015-08-27 2018-02-13 Artilux Corporation Wide spectrum optical sensor
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
KR20180118189A (ko) * 2016-03-01 2018-10-30 매직 립, 인코포레이티드 깊이 감지 시스템들 및 방법들
EP3343246A1 (en) * 2016-12-30 2018-07-04 Xenomatix NV System for characterizing surroundings of a vehicle
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
JP6894268B2 (ja) * 2017-03-17 2021-06-30 京セラ株式会社 電磁波検出装置、プログラム、および電磁波検出システム
CN107071106A (zh) * 2017-04-20 2017-08-18 焦文涛 一种激光测距手机及激光测距方法
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
KR102429877B1 (ko) 2017-07-03 2022-08-05 삼성전자주식회사 하이브리드 2차원 스캐너 시스템과 그 동작방법
US10175489B1 (en) * 2017-07-05 2019-01-08 Microsoft Technology Licensing, Llc Compact optical system with MEMS scanners for image generation and object tracking
WO2019041116A1 (zh) * 2017-08-29 2019-03-07 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
WO2019106033A1 (en) 2017-11-28 2019-06-06 Sony Semiconductor Solutions Corporation Illumination device, time of flight system and method
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
TWI762768B (zh) 2018-02-23 2022-05-01 美商光程研創股份有限公司 光偵測裝置
CN112236686B (zh) 2018-04-08 2022-01-07 奥特逻科公司 光探测装置
TWI795562B (zh) 2018-05-07 2023-03-11 美商光程研創股份有限公司 雪崩式之光電晶體
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
US11187804B2 (en) * 2018-05-30 2021-11-30 Qualcomm Incorporated Time of flight range finder for a structured light system
CN110554395A (zh) * 2018-05-31 2019-12-10 宁波舜宇车载光学技术有限公司 激光探测系统及其方法
AU2019295740B2 (en) * 2018-06-28 2022-02-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Depth processor and three-dimensional image device
WO2020019704A1 (zh) 2018-07-27 2020-01-30 Oppo广东移动通信有限公司 结构光投射器的控制系统和电子装置
US10732032B2 (en) 2018-08-09 2020-08-04 Ouster, Inc. Scanning sensor array with overlapping pass bands
US10739189B2 (en) * 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
WO2020045770A1 (en) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
KR102543027B1 (ko) * 2018-08-31 2023-06-14 삼성전자주식회사 3차원 이미지를 획득하기 위한 방법 및 장치
CN111083453B (zh) * 2018-10-18 2023-01-31 中兴通讯股份有限公司 一种投影装置、方法及计算机可读存储介质
US11353588B2 (en) * 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
US11448830B2 (en) 2018-12-12 2022-09-20 Artilux, Inc. Photo-detecting apparatus with multi-reset mechanism
CN109685042A (zh) * 2019-02-03 2019-04-26 同方威视技术股份有限公司 一种三维图像识别装置及其识别方法
US11796642B2 (en) * 2019-03-26 2023-10-24 Infineon Technologies Ag Oversamplng and transmitter shooting pattern for light detection and ranging (LIDAR) system
US11747476B2 (en) * 2019-04-16 2023-09-05 Microvision, Inc. Dynamically interlaced laser beam scanning 3D depth sensing system and method
US11639991B2 (en) 2019-06-19 2023-05-02 Artilux, Inc. Photo-detecting apparatus with current-reuse
WO2021006338A1 (ja) * 2019-07-11 2021-01-14 ローム株式会社 ３次元センシングシステム
JP7510641B2 (ja) 2019-07-11 2024-07-04 ローム株式会社 ３次元センシングシステム
CN110488240A (zh) * 2019-07-12 2019-11-22 深圳奥比中光科技有限公司 深度计算芯片架构
CN110456380B (zh) * 2019-07-31 2021-12-28 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其深度检测方法
US10805549B1 (en) * 2019-08-20 2020-10-13 Himax Technologies Limited Method and apparatus of auto exposure control based on pattern detection in depth sensing system
CN111123625B (zh) * 2019-12-13 2021-05-18 成都极米科技股份有限公司 投影仪及投影方法
US20210239839A1 (en) * 2020-01-30 2021-08-05 Melexis Technologies Nv Depth mapping system and method therefor
IL272450B (en) 2020-02-03 2021-10-31 Elbit Systems Ltd A system and method for creating 3D maps based on mapping information
KR20230091869A (ko) 2020-10-21 2023-06-23 소니 세미컨덕터 솔루션즈 가부시키가이샤 발광 장치 및 측거 시스템
US20220291500A1 (en) * 2021-03-09 2022-09-15 Silicon Light Machines Corporation High Contrast Spatial Light Modulator
CN113238248A (zh) * 2021-04-27 2021-08-10 深圳市安思疆科技有限公司 一种结构光与tof技术融合的3d成像装置
WO2023181308A1 (ja) * 2022-03-24 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント コンピュータシステム、方法およびプログラム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9600897D0 (sv) 1996-03-07 1996-03-07 Geotronics Ab Avståndmätare
US7538864B2 (en) * 2005-03-24 2009-05-26 Hunter Engineering Company Vehicle wheel alignment system scanned beam imaging sensor
US7609875B2 (en) * 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
DE102008055159A1 (de) 2008-12-29 2010-07-01 Robert Bosch Gmbh Adaptive Winkel- und Leistungsanpassung bei 3D-Mikrospiegel-Lidar
DE102009023896B4 (de) * 2009-06-04 2015-06-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erfassen einer Pflanze
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US10739460B2 (en) 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
WO2012033892A1 (en) * 2010-09-08 2012-03-15 Faro Technologies, Inc. A laser scanner or laser tracker having a projector
US9092136B1 (en) * 2011-06-08 2015-07-28 Rockwell Collins, Inc. Projected button display system
CN102831380A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
EP2575128A3 (en) * 2011-09-30 2013-08-14 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9684075B2 (en) 2011-10-27 2017-06-20 Microvision, Inc. Scanning laser time of flight 3D imaging
US9002058B2 (en) 2011-12-01 2015-04-07 Microvision, Inc. Scanned image projection system with gesture control input
JP5985661B2 (ja) * 2012-02-15 2016-09-06 アップル インコーポレイテッド 走査深度エンジン
US8659813B2 (en) 2012-03-12 2014-02-25 Microvision, Inc. Nanoscale integrated beam scanner
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9472005B1 (en) * 2012-04-18 2016-10-18 Amazon Technologies, Inc. Projection and camera system for augmented reality environment
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
US9052579B1 (en) * 2012-08-01 2015-06-09 Rawles Llc Remote control of projection and camera system
CN104583921A (zh) * 2012-08-27 2015-04-29 西铁城控股株式会社 信息输入装置
US20140085426A1 (en) * 2012-09-24 2014-03-27 Alces Technology, Inc. Structured light systems with static spatial light modulators
US8913037B1 (en) * 2012-10-09 2014-12-16 Rawles Llc Gesture recognition from depth and distortion analysis
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
US9204121B1 (en) * 2012-11-26 2015-12-01 Amazon Technologies, Inc. Reflector-based depth mapping of a scene
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US8992050B1 (en) * 2013-02-05 2015-03-31 Rawles Llc Directional projection display
US9196067B1 (en) * 2013-03-05 2015-11-24 Amazon Technologies, Inc. Application specific tracking of projection surfaces
US9465484B1 (en) * 2013-03-11 2016-10-11 Amazon Technologies, Inc. Forward and backward looking vision system
US20140282224A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a scrolling gesture
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
KR101762525B1 (ko) 2013-03-15 2017-07-27 애플 인크. 다수의 이미터들을 이용한 깊이 주사를 위한 장치 및 방법
KR102150013B1 (ko) * 2013-06-11 2020-08-31 삼성전자주식회사 음향신호를 위한 빔포밍 방법 및 장치
US9544577B2 (en) 2013-07-18 2017-01-10 A.Tron3D Gmbh Method of capturing three-dimensional (3D) information on a structure
JP6403776B2 (ja) 2013-08-19 2018-10-10 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 光学検出器
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US9462253B2 (en) * 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
WO2015077455A1 (en) * 2013-11-25 2015-05-28 Digimarc Corporation Methods and systems for contextually processing imagery
US20150192677A1 (en) 2014-01-03 2015-07-09 Quanergy Systems, Inc. Distributed lidar sensing system for wide field of view three dimensional mapping and method of using same
US9298994B2 (en) 2014-01-09 2016-03-29 Harman International Industries, Inc. Detecting visual inattention based on eye convergence
DE102014211073A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
DE102014211071A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
US9635231B2 (en) * 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US9674415B2 (en) * 2014-12-22 2017-06-06 Google Inc. Time-of-flight camera system with scanning illuminator
KR102317329B1 (ko) 2015-01-02 2021-10-26 삼성전자주식회사 광 스캐닝 프로브 및 이를 이용한 3차원 데이터 생성 장치
WO2017095817A1 (en) 2015-11-30 2017-06-08 Luminar Technologies, Inc. Lidar system with distributed laser and multiple sensor heads and pulsed laser for lidar system

Also Published As

Publication number Publication date
EP3347738A1 (en) 2018-07-18
US20170068319A1 (en) 2017-03-09
KR20180039674A (ko) 2018-04-18
US10503265B2 (en) 2019-12-10
WO2017044204A1 (en) 2017-03-16
EP3347738B1 (en) 2020-11-25
EP3347738A4 (en) 2018-09-05
JP6821200B2 (ja) 2021-01-27
JP2018529124A (ja) 2018-10-04
CN108027441A (zh) 2018-05-11
KR102595996B1 (ko) 2023-10-30

Similar Documents

Publication Publication Date Title
CN108027441B (zh) 混合模式深度检测
US10877281B2 (en) Compact optical system with MEMS scanners for image generation and object tracking
US10102676B2 (en) Information processing apparatus, display apparatus, information processing method, and program
US9596440B2 (en) Scanning laser planarity detection
US10481739B2 (en) Optical steering of component wavelengths of a multi-wavelength beam to enable interactivity
US20120274745A1 (en) Three-dimensional imager and projection device
US20150145955A1 (en) Three-dimensional imager and projection device
JP6492638B2 (ja) 表示装置、及び、表示装置の制御方法
KR20150086388A (ko) 사람에 의해 트리거되는 홀로그래픽 리마인더
US9002058B2 (en) Scanned image projection system with gesture control input
WO2014097271A1 (en) Adaptive projector
CN104285442B (zh) 用于可携带的图像投影仪的具有双色激光二极管的激光模块
US20170168562A1 (en) Display device, method of controlling display device, and program
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
CN108141002B (zh) 扫描光束投影仪脉冲激光控制
CN113260951B (zh) 基于指距或手接近的淡入用户界面显示
JP6904592B2 (ja) レーザベースのプロジェクタディスプレイのためのマルチストライプレーザ
US9934583B2 (en) Expectation maximization to determine position of ambient glints
EP4198873A1 (en) Sparse rgb filter hardware accelerator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant