CN109565579A - 利用扫描激光图像投影提供深度映射的设备和方法 - Google Patents

利用扫描激光图像投影提供深度映射的设备和方法 Download PDF

Info

Publication number
CN109565579A
CN109565579A CN201780048234.5A CN201780048234A CN109565579A CN 109565579 A CN109565579 A CN 109565579A CN 201780048234 A CN201780048234 A CN 201780048234A CN 109565579 A CN109565579 A CN 109565579A
Authority
CN
China
Prior art keywords
scanning
scan line
laser
depth map
line pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780048234.5A
Other languages
English (en)
Other versions
CN109565579B (zh
Inventor
P·瑟凡·维斯瓦纳坦
亚里·洪卡宁
道格拉斯·R·韦德
薛彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microvision Inc
Original Assignee
Microvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microvision Inc filed Critical Microvision Inc
Publication of CN109565579A publication Critical patent/CN109565579A/zh
Application granted granted Critical
Publication of CN109565579B publication Critical patent/CN109565579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3164—Modulator illumination systems using multiple light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

这里公开了用于结合图像投影和表面扫描的设备。通常，本发明的设备和方法利用至少一个激光源来产生激光束(102)，以及将激光束反射成扫描线图案的扫描镜(104)。控制光源以在扫描线图案的第一部分期间选择性地生成投影图像像素，并且在扫描线图案的第二部分期间选择性地生成深度映射脉冲。投影图像像素生成投影图像，而深度映射脉冲被从表面反射、接收并且用来生成描述每个点处测量的表面深度的三维点云。因此，在图案的每次扫描期间，可以生成投影图像和表面深度图。

Description

利用扫描激光图像投影提供深度映射的设备和方法
背景技术
在扫描激光投影仪中，通过将激光扫描成图案来投影图像，其中，当扫描镜扫描图案中的调制光时，通过调制来自激光源的光而产生各个像素。已经开发了深度映射传感器来生成表面的3D图，其中，3D图描述了表面上的深度变化。将扫描激光投影仪与深度映射相结合的过去尝试受到功率限制的约束。具体地，扫描激光投影仪通常受到功率限制的约束。结合激光投影和激光深度感测将进一步受到功率限制的约束。
此外，一些先前的深度映射传感器在灵活性方面受到限制。例如，典型的深度映射传感器限于生成具有特定分辨率的3D图。
例如，一些深度映射传感器使用CMOS成像传感器来接收从表面反射的光，然后由所接收的光生成3D图。这些深度映射传感器可以确定从表面反射并且由CMOS成像传感器接收的光的飞行时间，并且使用所确定的飞行时间来生成3D图。
然而，这种CMOS成像传感器通常具有固定的水平和垂直分辨率。因此，使用这种CMOS成像传感器的深度映射传感器限于提供具有小于或等于CMOS成像传感器的水平和垂直分辨率的分辨率的3D图。
因此，仍然需要改进设备来将扫描激光投影仪与深度映射相结合。并且仍然需要用于深度映射的改进的设备和方法，特别需要具有改进的灵活性的深度映射。
附图说明
图1示出了根据本发明的各种实施例的扫描激光投影仪的示意图；
图2示出了根据本发明的各种实施例的深度映射设备的示意图；
图3A、3B、3C和3D是根据本发明的各种实施例的垂直扫描图案和光栅图案的图形表示；
图4A和4B是根据本发明的各种实施例的垂直扫描图案和光栅图案的图形表示；
图5示出了根据本发明的各种实施例的扫描激光投影仪的示意图；
图6示出了根据本发明的各种实施例，具有扫描镜的微机电系统(MEMS)设备的平面图；
图7示出了根据本发明的各种实施例的移动设备的框图；
图8示出了根据本发明的各种实施例的移动设备的透视图；
图9示出了根据本发明的各种实施例的平视显示系统的透视图；
图10示出了根据本发明的各种实施例的眼镜的透视图；
图11示出了根据本发明的各种实施例的机器人装置的透视图；以及
图12示出了根据本发明的各种实施例的游戏装置的透视图。
具体实施方式
本文所述的实施例提供用于将图像投影和表面(surface)扫描相结合的设备和方法。具体地，本文所述的实施例可以提供投影图像的同时还执行表面映射的能力。通常，本发明设备和方法利用至少一个激光源来产生激光束，以及将激光束反射成扫描线图案的扫描镜。控制光源以在扫描线图案的第一部分期间选择性地产生投影图像像素，并且在扫描线图案的第二部分期间选择性地产生深度映射脉冲。投影图像像素生成投影图像，而深度映射脉冲从表面被反射、接收并且用于生成描绘每个点处的所测量的表面深度的三维点云(如提供表面的深度图)。因此，在图案的每次扫描期间，可以生成投影图像和表面深度图。
在这些实施例中，投影图像像素和深度映射脉冲在时间上是分开的，因此不会同时投影到表面上的相同位置。这使得扫描激光投影仪在投影图像像素和深度映射脉冲中利用最大可允许功率。换句话说，因为像素和脉冲不会在时间上重叠，所以生成深度映射脉冲将不会导致对可用于产生投影图像像素的功率的额外限制。因此，完全可用功率可以被用于图像投影，并且图像亮度和质量不因向图像投影添加深度映射功能而受影响。同样地，完全可用功率可以被用于深度映射，并且不受用于图像投影的功率的进一步限制。
此外，在一些实施例中，可以动态地调整扫描镜的运动以修改所得到的表面的三维点云的特性。例如，可以动态地调整扫描镜运动的垂直扫描速率、垂直扫描幅度和/或垂直扫描波形形状。扫描镜运动的这种调整被配置为修改所得到的三维点云的特性。例如，扫描镜运动的调整可以修改描述测量的表面深度的所得三维点云的分辨率或数据密度。
现在转到图1，示出了扫描激光投影仪100的示意图。扫描激光投影仪100包括像素驱动发生器101、激光源102、扫描镜104、驱动电路106和深度映射设备108。在操作期间，激光源102产生激光束，该激光束由扫描镜104反射成扫描区域112内的扫描线图案114。在图1的示例中，扫描线图案114包括光栅图案。然而，这仅是一个示例，并且在其他实施例中，可以在使用时生成扫描线的其他图案。例如，可以使用螺旋图案和利萨如图案。为此，驱动电路106控制扫描镜104的移动。具体地，驱动电路106提供激励信号以激励扫描镜104的运动。
为了便于图像投影，像素驱动发生器101用像素数据对激光束编码，以在扫描线图案114的第一部分期间生成图像像素。当扫描成图案114时，这些投影图像像素在撞击面上产生可视图像。在一个实施例中，激光源102包括被用来产生投影图像像素的红色、绿色和蓝色激光。
为了便于深度映射，像素驱动发生器101用脉冲编码激光束以用于深度映射。在一个实施例中，激光源102还包括被用来产生深度映射脉冲的红外激光器。深度映射设备108被配置为接收来自表面的深度映射脉冲的反射，并且至少部分地基于所接收的反射深度映射脉冲来生成表面的3维点云。例如，深度映射设备108可以被配置为计算每个所接收的深度映射脉冲的返回的飞行时间。由此，深度映射设备108可以生成表面的三维点云。
应注意到，图案114中的激光束的水平运动限定了三维点云中的图像像素行和/或数据点。图案114中的激光束的垂直运动限定了垂直扫描速率，由此确定了投影图像和/或三维点云中的行数。
如上所述，像素驱动发生器101控制激光源102以在扫描线图案114的第一部分期间选择性地产生投影图像像素，并且在扫描线图案的第二部分期间选择性地产生深度映射脉冲。在一个实施例中，扫描线图案114的第一部分包括朝第一方向移动的扫描线，扫描线图案114的第二部分包括朝第二方向移动的扫描线，其中第一方向和第一方向第二个方向是相反的方向。例如，图案114的第一部分可以包括朝左移动的水平扫描线，而图案114的第二部分可以包括朝右移动的水平扫描线。在这样的实施例中，扫描线图案114的第一部分和光栅图案114的第二部分有效地交织在一起
在另一实施例中，扫描线图案114的第一部分包括在有效显示时段期间产生的扫描线，以及扫描线图案114的第二部分包括在垂直回扫时段期间产生的扫描线。
如上所述，扫描镜104被配置成反射激光束，并且驱动电路106被配置成提供激励信号以激励扫描镜104的运动。具体地，激励运动使得扫描镜104以扫描线的光栅图案114反射激光束。并且根据本文所述的实施例，驱动电路106被进一步配置为动态地调整扫描镜104的运动，以修改所得到的投影图像和/或表面的三维点云的特性。
在一个特定实施例中，驱动电路106被配置为动态地降低扫描镜104运动的垂直扫描速率，以在投影图像和/或表面的三维点云中提供增加的垂直分辨率。
现在转到图2，示出了深度映射设备200的更详细的实施例。在图2中，深度映射设备200包括光学传感器202和处理器204。通常，光学传感器202被配置为接收从表面反射的激光并且产生与所接收的激光反射成比例的信号。这些信号被传递到处理器204。在一些实施例中，这些信号可以在发送到处理器204之前被过滤、合成或以其他方式处理，而在其他实施例中，这些信号可以由处理器204处理。处理器204还从光源(例如，激光源102)接收光时序数据。该光时序数据描述了投射到表面上的深度映射脉冲的时序。同样地，处理器204从驱动电路(例如，驱动电路106)接收镜位置数据。镜位置数据描述反射镜当与每个深度映射脉冲相关时的位置。处理器204接收来自光学传感器202的信号、光时序数据和镜位置数据，并且产生表面的三维点云。
在一个实施例中，激光源102可以被配置为在表面上的图案扫描期间(例如，光栅图案)产生红外激光的脉冲。红外激光的每个脉冲从表面反射并且由光学传感器202接收，然后反射激光的每个脉冲可以对应于三维点云中的一个点。在这样的实施例中，光学传感器202可以包括任何合适的传感器。例如，光学传感器202可以通过适合的光电二极管来实现，该光电二极管被实现为对红外光敏感，包括硅光电二极管和雪崩光电二极管。在其他实施例中，光学传感器202可以通过硅光电倍增器或光电倍增管实现。最后应当注意到，在一些实施例中，可以使用其他类型的激光来产生脉冲，包括可见光激光。
处理器204被耦合到光学传感器202并且产生描述表面深度的三维点云。在一个实施例中，处理器204通过计算由光学传感器反射和接收的每个脉冲的飞行时间来生成三维点云。具体地，可以至少部分地由光时序数据和来自光学传感器202的信号确定每个脉冲从光源行进到表面并且返回到光学传感器202的飞行时间。可以至少部分地根据镜位置数据确定对应于每个脉冲的表面上的位置。因为每个脉冲的飞行时间与至表面该点处的距离成比例，所以可以使用飞行时间来计算该反射点处的表面深度。并且当进行光栅图案扫描中的每个点的确定的表面深度的合成时，得到的内容可以提供描述扫描表面的表面深度的三维点云。
为了便于这一点，处理器204可以通过任何合适类型的处理系统或设备来实现。例如，处理器204可以通过软件实现的程序实现，该程序被加载到存储器中并且在硬件上执行，其中，硬件利用被设计为执行这些程序的集成电路。在其他实施例中，处理器204可以专门以硬件或硬件和软件的组合来实现。例如，处理器204可以被实现为包括为该特定应用设计的专用集成电路(ASIC)，或通常在计算设备上提供处理功能的通用中央处理单元(CPU)。此外，片上系统(SoC)处理器可以将各种系统组件集成到单个集成设备中，并且可以在单个半导体衬底上包括数字、模拟、光学和其他功能。
如上所述，在扫描激光投影仪的操作期间，激光束从扫描镜反射，以产生扫描线图案(例如，如图1所示的光栅图案)。该扫描线的光栅图案部分地确定投影图像的分辨率和/或扫描的分辨率以及描述表面深度的所得到的三维点云。通常，光栅图案的“慢轴”是垂直轴，而“快轴”是水平轴，应理解术语“垂直”和“水平”在这种情况下基本上是任意的，因为它们由扫描激光投影仪的方向确定。为了产生这样的光栅图案，反射镜的垂直扫描运动可以跟随相对慢的锯齿状图案，而水平扫描运动跟随相对快速的类似正弦曲线的图案。
控制激光源以在光栅图案的第一部分期间选择性地产生投影图像像素，并且在光栅图案的第二部分期间选择性地产生深度映射脉冲。在一个实施例中，这些第一和第二部分可以包括在相反方向中移动的扫描线。现在转向图3A，示出了光栅图案300的简化示例部分。还在图3A中示出了投影图像像素(用白点标识)和深度映射脉冲(用黑点标识)。应当注意到图3A不是按比例绘制，并且典型的光栅图案将包括更多的水平扫描线和更多的图像像素和/或映射脉冲。还应当注意到，可以改变图像像素与映射脉冲的比率。例如，在其他实施例中，可以使用相等数量的图像像素和映射脉冲。在其他实施例中，可以使用更大的图像像素-映射脉冲比。
如图3A所示，在朝一个方向移动的水平扫描线期间投影该投影图像像素(即，第一部分)，并且在朝第二方向移动的水平扫描线期间投影深度映射脉冲(即，第二部分)，其中第二方向与第一方向相反。换句话说，生成投影图像像素的扫描线与生成深度映射脉冲的扫描线交织。
应当注意到，在该示例中，与使用所有水平扫描线投影的图像相比，使所得到的投影图像的有效垂直分辨率减半。同样地，与使用所有水平扫描线来产生这样的点云的扫描相比，使所得到的三维点云的垂直分辨率减半。然而，如下文将讨论的，可以通过修改垂直扫描率来修改水平扫描线的数量。
还应当注意到，图3A示出了示例性的光栅图案300，其中，具有投影图像像素的各个扫描线与具有深度映射脉冲的各个扫描线交替，但这仅是一个示例，并且其他实施方式也是可能的。例如，可以修改光栅图案300以使投影图像像素的多条扫描线和/或深度映射脉冲的多条扫描线一起，并且因此可以按不同的图案交替。作为一个具体示例，光栅图案300可以被修改为具有两条投影图像像素的扫描线，接着是一条深度映射脉冲的扫描线，在光栅图案300上以2-1-2-1排列重复。作为其他详细的示例，光栅图案300可以被修改为具有2-2-2-2、4-1-4-1或3-2-3-2的排列。这些变形中的每一个可以为投影图像和/或三维点云提供不同的分辨率水平，并且对于一些实施例可能是期望的。应当注意到，虽然具有不均匀分布的一些图案会导致图像伪影，但是这些伪像可能通过在连续帧中通过映射脉冲交换或交替单个图像像素来限制。
如上所述，可以通过修改垂直扫描速率来修改光栅图案中的水平扫描线的数量。现在转到图3B，示出了第一垂直扫描图案302、第一光栅图案304、修改的垂直扫描图案306和修改的光栅图案308。应当注意到，在这些示例中，垂直扫描图案302和306包括相对短的垂直回扫时段(发生在锯齿图案的急剧向下倾斜部分期间)和相对长的有效显示时段(发生在锯齿形图案的相对微弱向上倾斜部分期间)。在这样的实施例中，光栅图案304和308将在有效显示周期期间产生，而相对短的垂直回扫周期被用来在每个光栅图案之后，使反射镜回到原始垂直位置。
通常，这些图示出垂直扫描速率的动态降低如何被用来增加垂直分辨率。具体地，垂直扫描速率的这种降低可以增加水平线的数量，并且因此可以被用来增加投影图像的分辨率和/或所得到的表面的三维点云。
具体地，第一垂直扫描图案302是相对快速的锯齿图案，并且该相对快速的图案产生第一光栅图案304。反之，修改的垂直扫描图案306是相对慢的锯齿图案，并且相对慢的图案导致第二光栅图案308。如图3B所看到的，将垂直扫描速率降低到相对较慢的锯齿图案导致所得到的光栅图案的水平线之间的间隔减小。这种减小的间隔在给定的垂直距离上产生更多的水平扫描线，因此增加了扫描的垂直分辨率和垂直数据密度。反之，水平线之间的间隔增加导致在给定垂直距离上的水平扫描线较少，因此降低了扫描的垂直分辨率。
降低垂直扫描速率以增加水平线的数量可以补偿使用深度映射的扫描线。具体地，当水平线的数量的这种增加与投影图像像素和深度映射脉冲的交替线组合时(如图3A所示)，这样的技术可以在每个帧中提供图像投影和深度映射，同时保持投影图像和/或深度映射扫描的分辨率。当然，垂直扫描速率的这种降低还将降低投影图像的帧速率，因此，这对于所有应用可能都不是所期望的。
因此，根据本文所述的实施例，驱动电路(例如，驱动电路106)可以被配置为选择性地降低垂直扫描速率以增加所得到的投影图像和/或表面的三维点云的垂直分辨率。反过来，驱动电路可以被配置为选择性地增加垂直扫描速率以降低所得到的投影图像和/或三维点云的垂直分辨率。
再次，控制激光源以在光栅图案的第一部分期间选择性地产生投影图像像素，并且在光栅图案的第二部分期间选择性地产生深度映射脉冲。在另一实施例中，这些第一和第二部分可以包括水平扫描线中的交替位置。现在转到图3C，示出了光栅图案300的简化示例部分，其中，再次用白点标识投影图像像素，并且再次用黑点标识深度映射脉冲。此外，图3C不是按比例绘制，并且典型的光栅图案将包括更多的水平扫描线和更多的图像像素和/或映射脉冲。
如图3C所示，投影图像像素与水平扫描线中的深度映射脉冲交替。换句话说，投影图像像素与水平扫描线中的深度映射脉冲交织。
还应当注意到，图3C示出了示例性的光栅图案320，其中，各个投影图像像素与各个深度映射脉冲交替，这仅是一个示例，并且其他实施方式是可能的。例如，可以修改光栅图案300以具有多个相继像素和/或脉冲。因此，投影图像像素和深度映射脉冲可以按不同模式交替。作为一个具体的示例，可以修改光栅图案300以具有三个图像像素，接着是一个映射脉冲，在光栅图案320的每个水平线上以3-1-3-1排列重复。作为其他详细示例，可以修改光栅图案300以具有2-2-2-2、4-1-4-1或3-2-3-2的像素/脉冲排列。此外，这些变形的每一个可以为投影图像和/或三维点云提供不同的分辨率水平，并且对于一些实施例可能是期望的。并且应当注意到，虽然具有不均匀分布的一些图案可能导致图像伪像，但是这种伪像可以通过在连续帧中，通过映射脉冲交换或交替单个图像像素来限制。
应当注意到，在该示例中，与仅生成投影图像像素的实施方式相比，可以降低所得到的投影图像的有效水平分辨率。为了补偿这种降低，还可以调整水平扫描幅度。
现在转到图3D，示出了第一光栅图案322和修改的光栅图案324。还示出了第一光栅图案322的扩展部分326，以及修改的光栅图案324的扩展部分328。扩展部分326和扩展部分328均示出了示例性的投影图像像素330和深度映射脉冲332。此外，应注意，这些示例性特征仅是说明性的，并不一定按比例绘制。
通常，这些图示出了水平扫描幅度的动态减小如何在投影图像和/或表面的三维点云中提供增加的水平分辨率和水平数据密度。具体地，水平扫描幅度的减小导致由激光源产生的相邻像素和脉冲撞击表面时，它们之间的间隔减小。此外，应注意，水平扫描幅度的减小将减小投影图像的视场和投射比。因此，在一些实施例中，可能期望在水平和垂直方向上对幅度执行类似的改变以维持投影图像的长宽比。
具体地，第一光栅图案322具有相对大的水平幅度，并且该水平幅度导致像素和脉冲之间的相对宽的间隔。反之，修改的光栅图案324具有相对小的水平幅度，并且假设相等的像素速率，该相对小的幅度导致像素和脉冲之间的相对紧密的间隔。
如上所述，在一些实施例中，扫描线的光栅图案的第一部分包括在有效显示时段期间产生的扫描线，并且扫描线的光栅图案的第二部分包括在垂直回扫时段期间产生的扫描线。现在转到图4A，示出了示例性的垂直扫描图案400。垂直扫描图案400包括有效显示时段402和垂直回扫时段404。具体地，垂直扫描图案400是锯齿状图案，具有相对长的有效显示时段402和相对短的垂直回扫时段404。因为此，该锯齿状图案通常被用来在有效显示时段402期间产生投影图像，相对短的垂直回扫时段404被用来使反射镜回到原始垂直位置。
然而，在所述的实施例中，相对短的垂直回扫时段404还被用来产生表面的三维点云。因此，可以在有效显示部分402期间生成投影图像像素，并且在垂直回扫时段404期间生成深度映射脉冲。然而，因为有效显示时段402比垂直回扫时段404长得多，因此所得到的光栅图案将包括较之深度映射脉冲行数更多行的图像像素。
转到图4B，示出了示例性光栅图案410。光栅图案410示出了在有效显示时段期间生成的光栅图案412的第一部分，以及在垂直回扫时段期间生成的光栅图案414的第二部分。此外，在该示例中，可以在光栅图案412的第一部分期间生成投影图像像素，并且在光栅图案414的第二部分期间生成深度映射脉冲。如图4B可见，光栅图案412的第一部分具有比光栅图案414的第二部分多得多的水平行。因此，投影图像将具有相对高的垂直分辨率，而生成的三维点云将具有相对低的垂直分辨率。
现在转到图5，示出了扫描激光投影仪700的示意图。扫描激光投影仪700是根据本发明的各种实施例可以使用的系统类型的更详细示例。具体地，扫描激光投影仪700可以被实现为提供激光深度扫描和激光图像投影。扫描激光投影仪700包括图像处理组件702、像素驱动发生器704、红外激光模块705、红色激光模块706、绿色激光模块708和蓝色激光模块710。在这样的实施例中，红色、绿色和蓝色光可以被用于图像投影，而红外光可以被用于深度扫描。通过分光镜712,714,716和717组合来自激光器模块的光。扫描激光投影仪700还包括折叠镜718、驱动电路720、具有扫描镜724的MEMS设备722，以及深度映射设备740。应注意，所示出的用于梳理来自各种激光器模块的输出的布置仅是一个示例性实施方式，并且可以替代地使用利用用于梳理不同波长的激光的不同技术的其他实施方式。
在操作中，图像处理组件702使用二维插值算法来处理视频内容，以确定将由像素驱动生成器704显示输出像素的每个扫描位置的适当空间图像内容。例如，视频内容可以表示任何分辨率的像素网格(例如，640×480、848×480、1280×720和1920×1080)。输入光强度编码通常表示8,10,12比特或更高分辨率的光强度。
然后将该内容映射到红色、绿色和蓝色激光源中的每一个的命令电流，使得来自激光器的输出强度与输入图像内容一致。在一些实施例中，该过程以超出150MHz的输出像素速率发生。然后将激光束引导到安装二维双轴激光扫描镜724的超高速万向节上。在一些实施例中，该双轴扫描镜使用MEMS工艺由硅制成。垂直旋转轴准静态地操作并且产生垂直锯齿光栅轨迹。垂直轴也被称为慢扫描轴。水平轴在扫描镜的共振振动模式下操作。在一些实施例中，MEMS设备使用电磁致动，该电磁致动使用包含MEMS管芯和永磁体的小子组件的微型组件和电气接口来实现，但是各种实施例在这方面不受限制。例如，一些实施例采用静电或压电致动。在不脱离本发明的范围的情况下，可以采用任意数量的反射镜和反射镜致动类型。
在一些实施例中，水平轴以共振模式驱动，并且因此通常被称为快速扫描轴。在一些实施例中，通过组合水平轴上的正弦分量和垂直轴上的锯齿分量来形成光栅图案726。在这些实施例中，输出光束728以正弦模式从左到右前后扫描，并且以锯齿模式垂直扫描(从上到下)，其中，显示在回扫期间(从下到上)消隐。
应注意，图5示出了当光束从上到下垂直扫描时的正弦模式，但是没有示出从下到上的回扫。在其他实施例中，垂直扫描用三角波控制，使得没有回扫。在更进一步的实施例中，垂直扫描是正弦的。本发明的各种实施例不受用于控制垂直和水平扫描或所得到的光栅图案726的波形的限制。
驱动电路720向MEMS设备722提供驱动信号。驱动信号包括控制扫描镜724在快速扫描轴上的共振角运动的激励信号，并且还包括引起慢扫描轴上的偏转的慢扫描驱动信号。快速和慢速扫描轴上所产生的镜面偏转使得输出光束728在图像区域730中产生光栅扫描726。在操作中，激光源为每个输出像素产生光脉冲，并且当光束728经历光栅图案726时，扫描镜724反射光脉冲。驱动电路720还从MEMS设备722接收反馈信号。来自MEMS设备722的反馈信号可以描述反射镜的最大偏转角，在此也被称为反馈信号的幅度。该反馈信号被提供给驱动电路720，并且由驱动电路720用来精确地控制扫描镜724的运动。
在操作中，驱动电路720激励扫描镜724的共振运动，使得反馈信号的幅度恒定。这在快速扫描轴上提供恒定的最大角度偏转，如光栅图案726所示。被用来激励扫描镜724的共振运动的激励信号可以包括幅度和相位。驱动电路720包括反馈电路，其修改激励信号幅度以保持反馈信号幅度基本恒定。另外，驱动电路720可以修改激励信号以控制光栅图案726的水平相位对准和垂直位置。
驱动电路720被进一步配置为在深度扫描期间动态地调整扫描镜724的运动，以修改产生的表面的三维点云的特性。例如，驱动电路720可以被配置为驱动扫描镜724以产生光栅图案，其具有用于图像投影的第一部分和用于深度扫描的第二部分。另外，驱动电路720可以被配置为提供扫描镜运动的水平扫描速率、水平扫描幅度、垂直扫描速率、垂直扫描幅度和/或垂直扫描波形形状的动态调整。如上所述，扫描镜724运动的这种调整修改了所得到的投影图像和/或三维点云的特性。
为便于此，驱动电路720可以用硬件、可编程处理器或以任意组合来实现。例如，在一些实施例中，驱动电路720可以用专用集成电路(ASIC)来实现。此外，在一些实施例中，在ASIC中执行一些较快的数据路径控制，而由软件可编程微处理器提供整体控制。
接下来，应注意，尽管图5示出了用于深度扫描的激光(例如，来自红外激光模块705的光)和用于均被投影到相同位置730的图像投影的激光(例如，来自红色激光模块706、绿色激光模块708和蓝色激光模块710的激光)，但是这仅是一个示例性实施方式。在其他实施例中，用于深度映射的激光脉冲可以被引导到一个场或区域，而用于图像投影的像素被引导到另一个场或区域。脉冲或像素的这种重定向可以通过使用波长相关的光学元件来实现，其中，这些波长相关的光学元件被配置成将一些分量波长的光引导到第一区域并且将其他分量波长的光引导到另一区域。这些波长相关组件可以包括透射和反射组件，包括各种分束器及其各种组合。这种技术将允许在一个区域上执行深度映射，同时将图像投影到另一个区域。
应注意，尽管图5示出了具有单个MEMS设备722和单个扫描镜724的实施例，但这仅是一个示例性实施方式。作为另一示例，扫描激光投影仪可替代地利用包括两个扫描镜的扫描镜组件来实现，其中，一个反射镜被配置成沿一个轴偏转，另一个反射镜被配置为沿着大致垂直于第一轴的第二轴偏转。
这样的实施例可以包括第二MEMS设备、第二扫描镜和第二驱动电路。第一扫描镜可以被配置为产生水平扫描运动，以及第二扫描镜被配置为产生垂直运动。因此，一个扫描镜的运动确定水平扫描幅度，以及另一扫描镜的运动确定垂直扫描幅度。
最后，尽管图5中示出了红色、绿色、蓝色和红外激光源，但是各种实施例不受激光源所发光的波长的限制。
根据本文所述的实施例，像素驱动发生器704可以被配置为在扫描线的光栅图案的第一部分期间选择性地生成投影图像像素，并且在扫描线的光栅图案的第二部分期间选择性地生成深度映射脉冲。具体地，像素驱动发生器704可以被配置为在光栅图案的第一部分期间驱动红色激光模块706、绿色激光模块708和蓝色激光模块710以用于图像投影。同样地，像素驱动发生器704可以被配置为驱动红外激光模块705以在光栅图案的第二部分期间生成深度映射脉冲以用于深度映射。
同样根据本文所述的实施例，提供深度映射设备740以生成表面的三维点云。为此，深度映射设备740可以包括光学传感器，以接收从表面反射的激光并且产生与所接收的激光反射成比例的信号。深度映射设备740还可以从像素驱动发生器704和/或红外激光模块705接收光时序数据。深度映射设备还可以从驱动电路720接收镜位置数据。从这些信号和数据，深度映射设备740生成表面的三维点云。在一个实施例中，深度映射设备740通过计算由光学传感器反射回并且接收的每个脉冲的飞行时间来生成三维点云。具体地，每个脉冲从红外激光器模块705行进到表面并且返回到光学传感器的飞行时间可以至少部分地由光时序数据和来自光学传感器的信号确定。可以至少部分地根据镜位置数据确定对应于每个脉冲的表面上的位置。因为每个脉冲的飞行时间与至表面该点处的距离成比例，所以飞行时间可以被用来计算该反射点处的表面深度。当进行从光栅图案扫描中的每个点的确定的表面深度的合成时，所得到的内容可以提供描述扫描表面的表面深度的三维点云。
现在转到图6，示出了具有扫描镜的微机电系统(MEMS)设备的平面图。MEMS设备800包括固定平台802、扫描平台840和扫描镜816。扫描平台840通过挠曲部810和812耦合到固定平台802，以及扫描镜816通过挠曲部820和822耦合到扫描平台840。扫描平台840具有连接到驱动线850的驱动线圈，驱动线850由从驱动电路(例如，驱动电路720)提供的驱动信号驱动。驱动信号包括激励扫描镜816在快速扫描轴上的共振运动的激励信号，并且还包括引起扫描平台840在慢扫描轴上的非共振运动的慢扫描驱动信号。驱动线850中的电流驱动在驱动线圈中产生电流。在操作中，外部磁场源(未示出)在驱动线圈上施加磁场。由外部磁场源施加在驱动线圈上的磁场在线圈的平面中具有分量，并且相对于两个驱动轴非正交地定向。线圈绕组中的平面内电流与平面内磁场交互，以在导体上产生平面外洛伦兹力。由于驱动电流在扫描平台840上形成环路，因此电流在扫描轴上反转符号。这意味着洛伦兹力也在扫描轴上反转符号，从而在磁场的平面内和垂直于磁场产生扭矩。该组合扭矩根据扭矩的频率含量在两个扫描方向中产生响应。
挠曲部810和812的长轴形成枢轴。挠曲部810和812是经受扭转弯曲的柔性构件，从而允许扫描平台840在枢轴上旋转并且相对于固定平台802具有角位移。挠曲部810和812不限于如图6所示的扭转实施例。例如，在一些实施例中，挠曲部810和812呈现其他形状，诸如弧形、“S”形或其他蛇形形状。本文使用的术语“挠曲部”是指将扫描平台耦合到另一平台(扫描或固定)的任何柔性构件，并且能够允许扫描平台相对于另一平台具有角位移的移动。
扫描镜816在由挠曲部820和822形成的第一轴上枢转，并且在由挠曲部810和812形成的第二轴上枢转。第一轴在本文中被称为水平轴或快速扫描轴，而第二轴在本文中被称为垂直轴或慢扫描轴。在一些实施例中，扫描镜816在水平轴上以机械共振频率扫描，从而产生正弦水平扫描。此外，在一些实施例中，扫描镜816以非共振频率垂直扫描，因此可以独立地控制垂直扫描频率。
在典型的实施例中，MEMS设备800还将包含一个或多个集成压阻位置传感器。例如，压阻传感器880可以被配置为产生表示反射镜816相对于扫描平台840的位移的电压，并且该电压可以被提供给驱动电路。此外，在一些实施例中，在一个扫描轴上提供位置传感器，而在其他实施例中，可以对两个轴均提供位置传感器。
应注意到，将MEMS设备800提供为示例，且本发明的各种实施例不限于该特定实施方案。例如，在不脱离本发明的范围的情况下，可以结合能够以二维扫描以反射光栅图案或其他合适图案中的光束的任何扫描镜。还例如，可以利用静态和动态/扫描镜的任意组合(例如，两个反射镜：分别用于每一轴)来反射光栅图案中的光束。此外，在不脱离本发明的范围的情况下，可以使用任何类型的反射镜驱动机构。例如，尽管MEMS设备800通过静态磁场，将驱动线圈用在移动平台上，但是其他实施例可以包括移动平台上的磁体，其中，驱动线圈位于固定平台上。此外，反射镜驱动机构可以包括静电驱动机构。
上述扫描激光投影仪(例如，图1的扫描激光投影仪100和图5的扫描激光投影仪700)可以在各种各样的设备中实现，并且可以用于各种各样的应用。将不参考图7-12讨论这些类型的设备的若干具体示例。在每种情况下，上述各种实施例可以通过这种设备实现或实现为这种设备的一部分。
转到图7，示出了根据各种实施例的移动设备900的框图。具体地，移动设备900是可以实现扫描激光投影仪的设备类型的示例。如图7所示，移动设备900包括无线接口910、处理器920、存储器930和激光投影仪902。
激光投影仪902可以从任何图像源接收图像数据。例如，在一些实施例中，激光投影仪902包括保持静态图像的存储器。在其他实施例中，激光投影仪902包括包含视频图像的存储器。在更进一步的实施例中，扫描激光投影仪902显示从外部源，诸如连接器、无线接口910、有线接口等接收的图像。
无线接口910可以包括任何无线传输和/或接收能力。例如，在一些实施例中，无线接口910包括能够通过无线网络进行通信的网络接口卡(NIC)。又例如，在一些实施例中，无线接口910可以包括蜂窝电话能力。在更进一步的实施例中，无线接口910可以包括全球定位系统(GPS)接收器。本领域技术人员将理解到，在不脱离本发明的范围的情况下，无线接口910可以包括任何类型的无线通信能力。
处理器920可以是能够与移动设备900中的各种组件通信的任何类型的处理器。例如，处理器920可以是可从专用集成电路(ASIC)供应商获得的嵌入式处理器，或者可以是商业上可获得的微处理器。在一些实施例中，处理器920向扫描激光投影仪902提供图像或视频数据。图像或视频数据可以从无线接口910检索，或者可以从无线接口910检索的数据导出。例如，通过处理器920，扫描激光投影仪902可以显示直接从无线接口910接收的图像或视频。又例如，处理器920可以提供叠加以添加到从无线接口910接收的图像和/或视频，或者可以基于从无线接口910接收的数据变更所存储的图像(例如，在无线接口910提供位置坐标的GPS实施例中，修改地图显示)。
转到图8，示出了根据各种实施例的移动设备1000的透视图。具体地，移动设备1000是可以实现扫描激光投影仪的设备类型的示例。移动设备1000可以是具有或不具有通信能力的手持式扫描激光投影仪。例如，在一些实施例中，移动设备1000可以是具有很少或没有其他能力的激光投影仪。又例如，在一些实施例中，移动设备1000可以是可用于通信的设备，包括例如蜂窝电话、智能电话、平板计算设备、全球定位系统(GPS)接收器等。此外，移动设备1000可以经由无线(例如，蜂窝)连接到更大的网络，或者该设备可以经由不受管制的频谱(例如，WiFi)连接接受和/或发送数据消息或视频内容。
移动设备1000包括激光投影仪1020、触敏显示器1010、音频端口1002、控制按钮1004、卡槽1006和音频/视频(A/V)端口1008。此外，激光投影仪1020可以实现具有激光深度扫描的组合扫描激光投影仪。在一些实施例中，移动设备可以仅包括仅激光投影仪1020而没有触敏显示器1010、音频端口1002、控制按钮1004、卡槽1006或A/V端口1008中的任何一个。一些实施例包括这些元件的子集。例如，配件投影仪可以包括扫描激光投影仪1020、控制按钮1004和A/V端口1008。智能手机实施例可以组合触敏显示设备1010和投影仪1020。
触敏显示器1010可以是任何类型的显示器。例如，在一些实施例中，触敏显示器1010包括液晶显示器(LCD)屏幕。在一些实施例中，显示器1010不是触敏的。显示器1010可以或可以不总是显示由激光投影仪1020投影的图像。例如，附件产品可以总是在显示器1010上显示投影图像，而移动电话实施例可以在显示器1010上显示不同内容的同时投影视频。除了触敏显示器1010之外，一些实施例可以包括键盘。A/V端口1008接收和/或发送视频和/或音频信号。例如，A/V端口1008可以是数字端口，诸如高清多媒体接口(FIDMI)接口，其接受适于承载数字音频和视频数据的电缆。此外，A/V端口1008可以包括RCA插孔以接受或发送复合输入。此外，A/V端口1008可以包括VGA连接器以接受或发送模拟视频信号。
在一些实施例中，移动设备1000可以通过A/V端口1008连接到外部信号源，并且移动设备1000可以投影通过A/V端口1008接受的内容。在其他实施例中，移动设备1000可以是内容的发起者，以及A/V端口1008被用来将内容发送到不同的设备。
音频端口1002提供音频信号。例如，在一些实施例中，移动设备1000是可以记录和播放音频和视频的媒体记录器。在这些实施例中，视频可以由激光投影仪1020投影，并且音频可以在音频端口1002输出。
移动设备1000还包括卡槽1006。在一些实施例中，插入卡槽1006中的存储卡可以提供在音频端口1002输出的音频的源和/或由扫描激光投影仪1020投影的视频数据。卡槽1006可以接收任何类型的固态存储器设备，包括例如安全数字(SD)存储卡。
转到图9，示出了根据各种实施例的平视(head-up)显示系统1100的透视图。具体地，平视显示系统1100是可以实现如上所述的扫描激光投影仪的设备类型的示例。平视显示系统1100包括激光投影仪1102。激光投影仪1102可以再次实现为扫描激光投影仪。激光投影仪1102被示为安装在车辆仪表板中以投射平视显示器。尽管在图9中示出了汽车平视显示器，但这不是限制，并且其他应用是可能的。例如，各种实施例包括航空电子应用、空中交通管制应用和其他应用中的平视显示器。
转到图10，示出了根据各种实施例的眼镜1200的透视图。具体地，眼镜1200是可以实现如上所述的扫描激光投影仪的设备类型的示例。眼镜1200包括扫描激光投影仪1202以在眼镜的视野中投射显示。在一些实施例中，眼镜1200是透明的，而在其他实施例中，眼镜1200是不透明的。例如，眼镜1200可以用在增强现实应用中，其中，佩戴者可以看到来自覆盖在物理世界上的投影仪1202的显示。又例如，眼镜1200可以用在虚拟现实应用中，其中，佩戴者的整个视野由投影仪1202生成。
尽管图10中仅示出了一个投影仪1202，但这不是限制，并且其他实施方式也是可能的。例如，在一些实施例中，眼镜1200包括两个投影仪1202，每只眼睛有一个投影仪。
转到图11，示出了根据各种实施例的机器人装置1300的透视图。机器人装置1300是可以通过扫描激光投影仪1302实现的设备类型的示例。此外，如上所述，扫描激光投影仪1302可以被实现为提供图像投影和深度映射能力。
在所示的示例中，机器人装置1300是可以执行各种功能的自引导移动机器人。例如，机器人装置1300可以被实现为提供清洁服务、递送服务、媒体服务、游戏或以其他方式充当娱乐设备。在每种情况下，由扫描激光投影仪1302提供的深度映射可以被用来提供各种功能，包括导航、交互性、对象识别等。
作为一个示例，由扫描激光投影仪1302提供的深度映射可以被用来在清洁或其他导航期间引导机器人装置1300。作为另一示例，由扫描激光投影仪1302提供的深度映射可以被用来定位和识别对象。作为另一示例，由扫描激光投影仪1302提供的图像投影和深度映射可以被用来为机器人装置1300提供用户界面，例如，通过投影图像并允许用户利用与这些图像交互的手势来控制装置。作为另一示例，机器人装置1300可以使用扫描激光投影仪1302来向用户显示视觉媒体，诸如通过使用深度映射识别表面的位置，然后将图像投影在该定位的表面上。最后，应注意到，这些各种实施例也可以应用于模仿人类、动物或其他类似生命特征的电子动画机器人装置。
应注意到，为了便于该机器人装置1300可以包括各种其他特征。例如，除了扫描激光投影仪1302之外，可以包括其他传感器设备以有助于导航。此外，可以提供其他人机接口以便于机器人装置1300的交互和控制。作为其他示例，机器人装置1300还可以包括音频输出设备和其他这样的通信设备。
转到图12，示出了根据各种实施例的游戏装置1400的透视图。同样，游戏装置1400可以用扫描激光投影仪实现。游戏装置1400包括按钮1404、显示器1410和投影仪1402。在一些实施例中，游戏装置1400是不需要更大的控制台供用户玩游戏的独立装置。例如，用户可以在观看显示器1410和/或投影内容的同时玩游戏。在其他实施例中，游戏装置1400作为较大游戏控制台的控制器操作。在这些实施例中，用户可以结合观看显示器1410和/或投影内容来观看连接到控制台的较大屏幕。
在一个实施例中，提供了一种扫描激光投影仪，包括：至少一个激光源，所述至少一个激光源被配置成产生激光束；至少一个扫描镜，所述扫描镜被配置成反射所述激光束；驱动电路，所述驱动电路被配置成提供激励信号来激励所述至少一个扫描镜的运动，使得以扫描线图案反射所述激光束；像素驱动发生器，所述像素驱动发生器被配置为控制所述至少一个激光源来利用所述激光束以选择性地产生投影图像像素，并且利用所述激光束选择性地产生深度映射脉冲，以及其中，所述像素驱动发生器被配置为在所述扫描线图案的第一部分期间产生投影图像像素，并且在所述扫描线图案的第二部分期间产生深度映射脉冲；以及深度映射设备，所述深度映射设备被配置为接收来自表面的所述深度映射脉冲的反射，并且至少部分地基于所接收的来自所述表面的所述深度映射脉冲的反射的时序来生成所述表面的3维点云。
在另一实施例中，提供一种投影图像的方法，包括：产生激光束；反射所述激光束以产生扫描线图案；在所述扫描线图案的第一部分期间，利用所述激光束来选择性地产生投影图像像素；在所述扫描线图案的第二部分期间，利用所述激光束来选择性地产生深度映射脉冲；接收来自表面的所述深度映射脉冲的反射；以及至少部分地基于所接收的来自所述表面的所述深度映射脉冲的反射来产生所述表面的三维点云。
在前述详细描述中，参考了附图，附图通过图示的方式示出了可以实施本发明的特定实施例。足够详细地描述了这些实施例，以使本领域技术人员能够实施本发明。应理解到，本发明的各种实施例虽然不同，但不一定是相互排斥的。例如，在不脱离本发明的范围的情况下，可以在其他实施例中实现本文结合一个实施例描述的特定特征、结构或特性。另外，应理解到，在不脱离本发明的范围的情况下，可以修改每个公开的实施例中的各个元件的位置或布置。因此，前述详细描述不应当被视为具有限制意义，并且本发明的范围仅由所附权利要求以及权利要求所赋予的等同物的全部范围来适当地解释。在附图中，在若干视图中相同的数字表示相同或相似的功能。
尽管已经结合某些实施例描述了本发明，但是应理解到，如本领域技术人员容易理解的，在不脱离本发明的范围的情况下，可以采用改进和变形。这些改进和变形被认为是在本发明和所附权利要求的范围内。

Claims (15)

1.一种扫描激光投影仪，包括：
至少一个激光源，所述至少一个激光源被配置成产生激光束；
至少一个扫描镜，所述扫描镜被配置成反射所述激光束；
驱动电路，所述驱动电路被配置成提供激励信号来激励所述至少一个扫描镜的运动，使得以扫描线图案反射所述激光束；
像素驱动发生器，所述像素驱动发生器被配置为控制所述至少一个激光源来利用所述激光束选择性地产生投影图像像素，并且利用所述激光束选择性地产生深度映射脉冲，以及其中，所述像素驱动发生器被配置为在所述扫描线图案的第一部分期间产生投影图像像素，并且在所述扫描线图案的第二部分期间产生深度映射脉冲；以及
深度映射设备，所述深度映射设备被配置为接收来自表面的所述深度映射脉冲的反射，并且至少部分地基于所接收的来自所述表面的所述深度映射脉冲的反射的时序来生成所述表面的3维点云。
2.如权利要求1所述的扫描激光投影仪，其中，所述扫描线图案的第一部分包括朝第一方向移动的扫描线，以及其中，所述扫描线图案的第二部分包括朝第二方向移动的扫描线，其中，所述第一方向和所述第二方向是相反的方向。
3.如权利要求1所述的扫描激光投影仪，其中，所述扫描线图案的第一部分和所述扫描线图案的第二部分是交织在一起的水平扫描线。
4.如权利要求1所述的扫描激光投影仪，其中，所述扫描线图案的第一部分包括在有效显示时段期间的扫描线，以及其中，所述扫描线图案的第二部分包括在垂直回扫时段期间的扫描线。
5.如权利要求1所述的扫描激光投影仪，其中，所述扫描线图案的第一部分和所述扫描线图案的第二部分包括在每条扫描线中产生投影图像像素和深度映射脉冲。
6.如权利要求1所述的扫描激光投影仪，其中，所述映射设备通过计算用于所述激光束中深度映射脉冲返回的飞行时间来产生所述表面的三维点云。
7.如权利要求1所述的扫描激光投影仪，其中，所述至少一个扫描镜的运动具有水平扫描速率、水平扫描幅度、垂直扫描速率和垂直扫描幅度，以及其中，所述驱动电路被进一步配置为动态地调整所述水平扫描速率、所述水平扫描幅度、所述垂直扫描速率和所述垂直扫描幅度中的至少一个来修改所述表面的三维点云的特征。
8.如权利要求7所述的扫描激光投影仪，其中，所述驱动电路被配置为动态地降低所述至少一个扫描镜的垂直扫描速率，使得在所述表面的三维点云中提供增加的垂直分辨率。
9.如权利要求7所述的扫描激光投影仪，其中，所述驱动电路被配置为动态地减小所述至少一个扫描镜的水平扫描幅度，以在所述表面的三维点云中提供增加的水平数据密度。
10.如权利要求1所述的扫描激光投影仪，其中，所述至少一个激光源包括红外激光器，以及其中，所述像素驱动发生器被配置为利用所述红外激光器来生成所述深度映射脉冲。
11.如权利要求10所述的扫描激光投影仪，其中，所述至少一个激光源还包括红色激光、蓝色激光和绿色激光，以及其中，所述像素驱动发生器被配置为使用所述红色激光、蓝色激光和绿色激光来生成投影图像像素。
12.一种投影图像的方法，包括：
产生激光束；
反射所述激光束以产生扫描线图案；
在所述扫描线图案的第一部分期间，利用所述激光束来选择性地产生投影图像像素；
在所述扫描线图案的第二部分期间，利用所述激光束来选择性地产生深度映射脉冲；
接收来自表面的所述深度映射脉冲的反射；以及
至少部分地基于所接收的来自所述表面的所述深度映射脉冲的反射来产生所述表面的三维点云。
13.如权利要求12所述的方法，其中，所述扫描线图案的第一部分包括朝第一方向移动的扫描线，以及其中，所述扫描线图案的第二部分包括朝第二方向移动的扫描线，其中，所述第一方向和所述第二方向是相反的方向。
14.如权利要求12所述的方法，其中，所述扫描线图案的第一部分和所述扫描线图案的第二部分是交织在一起的水平扫描线。
15.如权利要求12所述的方法，其中，所述扫描线图案的第一部分包括在有效显示时段期间的扫描线，以及其中，所述扫描线图案的第二部分包括在垂直回扫时段期间的扫描线。
CN201780048234.5A 2016-08-12 2017-07-28 利用扫描激光图像投影提供深度映射的设备和方法 Active CN109565579B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/236,133 2016-08-12
US15/236,133 US10145680B2 (en) 2016-08-12 2016-08-12 Devices and methods for providing depth mapping with scanning laser image projection
PCT/US2017/044497 WO2018031268A1 (en) 2016-08-12 2017-07-28 Devices and methods for providing depth mapping with scanning laser image projection

Publications (2)

Publication Number Publication Date
CN109565579A true CN109565579A (zh) 2019-04-02
CN109565579B CN109565579B (zh) 2021-04-16

Family

ID=61159228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048234.5A Active CN109565579B (zh) 2016-08-12 2017-07-28 利用扫描激光图像投影提供深度映射的设备和方法

Country Status (6)

Country Link
US (1) US10145680B2 (zh)
EP (1) EP3497926B1 (zh)
JP (1) JP6981680B2 (zh)
KR (1) KR102394600B1 (zh)
CN (1) CN109565579B (zh)
WO (1) WO2018031268A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564689A (zh) * 2016-08-12 2019-04-02 微视公司 用于可调整分辨率深度映射的设备和方法
CN110430406A (zh) * 2019-08-05 2019-11-08 歌尔股份有限公司 深度图像生成方法、装置、设备及计算机可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
JP7152897B2 (ja) * 2018-08-02 2022-10-13 キヤノン株式会社 投写装置及びその制御方法ならびにプログラム
AU2019418812B2 (en) * 2019-01-04 2022-06-09 Aurora Operations, Inc. Method and system for refractive beam-steering
US11397317B2 (en) 2019-09-23 2022-07-26 Microvision, Inc. Automatic power reduction using a pre-scanned virtual protective housing
EP4191318A4 (en) * 2020-07-31 2024-01-17 FUJIFILM Corporation OPTICAL SCANNING DEVICE, CONTROL METHOD THEREOF, AND IMAGE DRAWING SYSTEM
EP4402429A1 (de) * 2021-09-17 2024-07-24 Oqmented GmbH Verfahren und vorrichtung zur messung von tiefeninformationen einer szene anhand von mittels zumindest einer parallelstrahlungsquelle generiertem strukturierten licht
KR20240009275A (ko) * 2022-07-13 2024-01-22 삼성전자주식회사 객체의 깊이 정보를 획득하는 전자 장치 및 그 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102159982A (zh) * 2008-09-22 2011-08-17 微视公司 扫描镜控制
US20130107000A1 (en) * 2011-10-27 2013-05-02 Microvision, Inc. Scanning Laser Time of Flight 3D Imaging
CN104160240A (zh) * 2012-02-15 2014-11-19 普莱姆森斯有限公司 扫描深度引擎
WO2016043704A1 (en) * 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029201A (ja) * 2001-07-11 2003-01-29 Canon Inc 画像投射装置及び画像補正方法
US7609875B2 (en) 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US8251517B2 (en) 2007-12-05 2012-08-28 Microvision, Inc. Scanned proximity detection method and apparatus for a scanned image projection system
JP2009222973A (ja) * 2008-03-17 2009-10-01 Citizen Holdings Co Ltd 画像投射装置
DE102008055159A1 (de) 2008-12-29 2010-07-01 Robert Bosch Gmbh Adaptive Winkel- und Leistungsanpassung bei 3D-Mikrospiegel-Lidar
US10739460B2 (en) * 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US9438871B2 (en) * 2012-12-26 2016-09-06 Citizen Holdings Co., Ltd. Laser projection apparatus with bundled fibers
CN105143820B (zh) 2013-03-15 2017-06-09 苹果公司 利用多个发射器进行深度扫描
US9140971B2 (en) * 2013-10-31 2015-09-22 Microvision, Inc. Scanning laser proximity detection
US20150192677A1 (en) 2014-01-03 2015-07-09 Quanergy Systems, Inc. Distributed lidar sensing system for wide field of view three dimensional mapping and method of using same
DE102014211071A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
DE102014211073A1 (de) 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
US10080004B2 (en) 2014-11-06 2018-09-18 Disney Enterprises, Inc. Method and system for projector calibration
KR102317329B1 (ko) 2015-01-02 2021-10-26 삼성전자주식회사 광 스캐닝 프로브 및 이를 이용한 3차원 데이터 생성 장치
JP6852085B2 (ja) 2015-11-30 2021-03-31 ルミナー テクノロジーズ インコーポレイテッド 分布型レーザー及び複数のセンサー・ヘッドを備える光検出及び測距システム、並びに、光検出及び測距システムのパルス・レーザー
US9766060B1 (en) * 2016-08-12 2017-09-19 Microvision, Inc. Devices and methods for adjustable resolution depth mapping
US10200683B2 (en) * 2016-12-21 2019-02-05 Microvision, Inc. Devices and methods for providing foveated scanning laser image projection with depth mapping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102159982A (zh) * 2008-09-22 2011-08-17 微视公司 扫描镜控制
US20130107000A1 (en) * 2011-10-27 2013-05-02 Microvision, Inc. Scanning Laser Time of Flight 3D Imaging
CN104160240A (zh) * 2012-02-15 2014-11-19 普莱姆森斯有限公司 扫描深度引擎
WO2016043704A1 (en) * 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564689A (zh) * 2016-08-12 2019-04-02 微视公司 用于可调整分辨率深度映射的设备和方法
CN110430406A (zh) * 2019-08-05 2019-11-08 歌尔股份有限公司 深度图像生成方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
EP3497926A1 (en) 2019-06-19
CN109565579B (zh) 2021-04-16
WO2018031268A1 (en) 2018-02-15
EP3497926A4 (en) 2019-08-14
JP6981680B2 (ja) 2021-12-17
EP3497926B1 (en) 2021-09-01
KR20190030743A (ko) 2019-03-22
JP2019534467A (ja) 2019-11-28
KR102394600B1 (ko) 2022-05-04
US20180047166A1 (en) 2018-02-15
US10145680B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
US9921056B2 (en) Devices and methods for adjustable resolution depth mapping
CN109565579A (zh) 利用扫描激光图像投影提供深度映射的设备和方法
US10200683B2 (en) Devices and methods for providing foveated scanning laser image projection with depth mapping
CN108431583B (zh) 用于扫描投影仪中的反馈控制的系统和方法
US11137498B2 (en) Scanning rangefinding system with variable field of view
US8511838B2 (en) Scanning laser projector with safety system
KR102462046B1 (ko) 주사 디스플레이 시스템에서의 투영된 콘텐트의 밝기 또는 크기의 동적 불변성
CN109302594A (zh) 包括眼睛跟踪器的投影显示装置
US11589029B2 (en) 3D imaging system for RGB-D imaging
JP6904592B2 (ja) レーザベースのプロジェクタディスプレイのためのマルチストライプレーザ
US20230110763A1 (en) Display apparatus
US9798149B1 (en) Devices and methods for optical power sensing scanning laser projectors
Zorlubas et al. Laser beam scanning-based 3D structured light scanner combining a bi-resonant MEMS mirror with low-cost imaging sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant