CN109459849A - 用于深度感测的非机械光束转向 - Google Patents

用于深度感测的非机械光束转向 Download PDF

Info

Publication number
CN109459849A
CN109459849A CN201811031191.2A CN201811031191A CN109459849A CN 109459849 A CN109459849 A CN 109459849A CN 201811031191 A CN201811031191 A CN 201811031191A CN 109459849 A CN109459849 A CN 109459849A
Authority
CN
China
Prior art keywords
light
deflection
regional area
beams
steering component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811031191.2A
Other languages
English (en)
Inventor
迈克尔·霍尔
朝晴
拜伦·泰勒
刘新桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Oculus VR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oculus VR Inc filed Critical Oculus VR Inc
Publication of CN109459849A publication Critical patent/CN109459849A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1347Arrangement of liquid crystal layers or cells in which the final condition of one light beam is achieved by the addition of the effects of two or more layers or cells
    • G02F1/13471Arrangement of liquid crystal layers or cells in which the final condition of one light beam is achieved by the addition of the effects of two or more layers or cells in which all the liquid crystal cells or layers remain transparent, e.g. FLC, ECB, DAP, HAN, TN, STN, SBE-LC cells
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/137Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
    • G02F1/139Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering based on orientation effects in which the liquid crystal remains transparent
    • G02F1/1393Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering based on orientation effects in which the liquid crystal remains transparent the birefringence of the liquid crystal being electrically controlled, e.g. ECB-, DAP-, HAN-, PI-LC cells
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/292Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection by controlled diffraction or phased-array beam steering
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/33Acousto-optical deflection devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/30Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 grating
    • G02F2201/305Constructional arrangements not provided for in groups G02F1/00 - G02F7/00 grating diffraction grating

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了用于深度感测的非机械光束转向。一种用于局部区域的深度感测的深度相机组件(DCA)。DCA包括发射器、接收机和控制器。发射器根据发射指令用出射光照亮局部区域。发射器包括精细转向元件和粗略转向元件。精细转向元件以第一偏转角度使一个或多个光束偏转以产生一个或多个一阶偏转扫描光束。粗略转向元件以第二偏转角度使一个或多个一阶偏转扫描光束偏转,以产生投射到局部区域中的出射光。接收器捕获局部区域的一个或多个图像,该一个或多个图像包括从局部区域反射的出射光部分。控制器部分基于所捕获的一个或多个图像来确定局部区域中的一个或多个对象的深度信息。

Description

用于深度感测的非机械光束转向
技术领域
本公开总体上涉及深度感测,并且具体地涉及用于虚拟现实(VR)和增强现实(AR)系统中的深度感测的非机械光束转向。
背景技术
对于VR或AR系统中的深度感测,期望快速运行的完全可寻址的一维扫描或二维扫描处理。与人类感知很类似,扫描系统需要在两种模式下运行:用于扫描例如墙壁、桌子、椅子等的大规模模式,以及用于扫描例如手、表面起伏、纹理等的小规模模式。优选的扫描系统将具有快速拉入大规模对象然后停留在精细细节上的能力。以大规模和小规模运行的静态深度感测系统通常会使系统设计发生冲突。在发射器侧,准确采样所需的大量单独光束降低了每个光束中的功率和信噪比(SNR)。为了提供准确的采样,需要用于产生扫描光束的大量的输入功率。具有宽视场的静态深度感测系统在接收器侧将缺乏分辨率。可完成扫描和驻留两者的深度感测系统通常是基于机械的系统。然而,由机械深度感测系统产生的扫描图案是静态的并且不能驻留在周围区域中的特定位置上。
用于解决大规模-小规模冲突的常规方法通常落入以下三个类别:大/全规模静态房间照明、通过机械驱动的动态系统获得的固定照明、以及通过机械驱动的动态系统获得的可变照明。传统的机械驱动的动态感测系统产生可扫过房间体积的固定扫描图案。这种方法减少了所需的激光功率并且可以提供足够的细节以准确地重建体积。然而,机械驱动的动态感测系统产生固定的扫描图案并且不可寻址。系统分辨率根据固定扫描图案中的多个斑而固定。产生固定扫描图案的机械驱动的动态感测系统通常用扫描反射镜来实现。传统的机械驱动的动态感测系统也可产生可扫过房间体积的可变扫描图案。这种方法减少了所需的激光功率并且可以提供足够的细节以准确地重建体积。然而,具有可变扫描图案的机械驱动动态感测系统缓慢且机械复杂。
发明内容
光束转向组件将出射光引导到局部区域中并且接收从局部区域反射的部分出射光。光束转向组件包括发射器、接收器和控制器。光束转向组件可集成到确定局部区域中的一个或多个对象的深度信息的深度相机组件(DCA)中。
该发射器被配置为根据发射指令用该出射光照亮该局部区域。发射器包括照明源、精细转向元件、粗略转向元件和投影组件。照明源被配置为发射一个或多个光束。在一些实施方式中,照明源直接产生一个或多个光束作为偏振光,例如基于集成到照明源中或放置在照明源前方的偏振元件。在替代实施方式中,照明源产生一个或多个光束作为非偏振光。精细转向元件被配置为部分地基于发射指令使一个或多个光束以第一偏转角度偏转,以产生一个或多个一阶偏转扫描光束。一个或多个一阶偏转扫描光束耦合到粗略转向元件中。粗略转向元件被配置为以大于第一偏转角度的第二偏转角度使一个或多个一阶偏转扫描光束偏转,以产生具有大角度扩展的出射光。粗略转向元件可基于例如扫描透镜、偏振光栅栈(polarization grating stack)、液晶光栅等。在一些实施方式中,粗略转向元件部分基于发射指令使一个或多个一阶偏转扫描光束偏转。所产生的具有大角度扩展的出射光提供用于扫描局部区域中一个或多个对象的宽视场。在一些实施方式中,出射光由一个或多个出射光束构成。在替代实施方式中,出射光为定义图案(例如,点图案或线图案)的结构化光。在一些实施方式中,出射光为偏振光,例如,第一偏手性(first handedness)的圆偏振光。该投影组件被配置为用于将该出射光投影到该局部区域中。
接收器被配置为根据接收指令捕获局部区域的一个或多个图像,其包括由从局部区域反射的部分出射光组成的反射光。由接收器捕获的反射光从局部区域中的一个或多个对象反射。在一些实施方式中,接收器包括用于接收具有特定偏振的反射光并传播该偏振的反射光的偏振元件。在一些实施方式中,偏振元件对于发射器和接收器两者是公共的。在一些实施方式中,反射光包括例如与出射光的第一偏手性正交的第二偏手性的圆偏振光。
在一些实施方式中,接收器包括另一个粗略转向元件、另一个精细转向元件和检测器。发射器的精细转向元件和接收器的另一个精细转向元件可表示发射器和接收器共用的单个部件。类似地,发射器的粗略转向元件和接收器的另一个粗略转向元件可表示发射器和接收器共用的另一个单个部件。另一个粗略转向元件被配置为使反射光以第三偏转角度偏转以产生一个或多个一阶偏转反射光束。该一个或多个一阶偏转反射光束被耦合到另一个精细转向元件。另一个精细转向元件被配置为部分地基于接收指令使一个或多个一阶偏转反射光束以小于第三偏转角度的第四偏转角度偏转,以产生一个或多个二阶偏转反射光束。检测器被配置为通过捕获一个或多个二阶偏转反射光束来捕获一个或多个图像。
控制器可耦合到发射器和接收器两者。控制器产生发射指令和接收指令。控制器向发射器的一个或多个部件(例如,照明源、精细转向元件和/或粗略转向元件)提供发射指令。控制器可将接收指令提供给接收器的一个或多个部件,例如,另一个精细转向元件和/或另一个粗略转向元件。该控制器还被配置为部分基于所捕获的一个或多个图像确定一个或多个对象的深度信息。
头戴式显示器(HMD)可以进一步将DCA与光束转向组件集成。HMD进一步包括电子显示器和光学组件。HMD可以是例如虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或其某种组合。电子显示器被配置为发射图像光。光学组件被配置为将图像光引导至HMD的对应于用户的眼睛的位置的出射光瞳,图像光包括由具有光束转向组件的DCA确定的局部区域中的一个或多个对象的深度信息。
附图说明
图1是根据实施方式的头戴式显示器(HMD)的示图。
图2是根据实施方式的图1中的HMD的前刚性体的截面。
图3A是根据实施方式的光束转向组件,该光束转向组件包括精细转向元件和粗略转向元件,其可被集成到深度相机组件(DCA)中。
图3B是根据实施方式的基于声光偏转器的图3A中的光束转向组件的示例精细转向元件。
图3C是根据实施方式的基于扫描透镜的图3A中的光束转向组件的示例粗略转向元件。
图3D是根据实施方式的基于液体透镜偏转器的图3A中的光束转向组件的示例粗略转向元件。
图3E是根据实施方式的基于偏振光栅栈的图3A中的光束转向组件的示例粗略转向元件。
图3F是根据实施方式的基于另一个偏振光栅栈的图3A中的光束转向组件的示例粗略转向元件。
图4A是根据实施方式的具有公共发射/接收通道的光束转向组件。
图4B是根据实施方式的具有分开的发射和接收通道的光束转向组件。
图5是示出根据实施方式的深度感测处理的流程图。
图6是根据实施方式的控制台在其中运行的HMD系统的框图。
附图仅出于说明的目描绘了本公开的实施方式。本领域技术人员将容易地从以下描述中认识到,在不背离在此描述的本公开的原理或益处的情况下,可以采用在此展示的结构和方法的替代实施方式。
具体实施方式
光束转向组件,用于将一个或多个光束引导到局部区域中并且用于接收从该局部区域反射的一个或多个光束的部分。该光束转向组件包括精细转向元件和粗略转向元件,其从激光源发射的光产生一个或多个光束。精细转向元件可基于例如声光偏转器。粗略转向元件可基于例如扫描透镜、偏振光栅栈、液晶光栅等。光束转向组件将所产生的一个或多个光束投射到局部区域中的一个或多个对象中。光束转向组件进一步接收从局部区域中的一个或多个对象反射的一个或多个光束的部分,并且将反射的一个或多个光束的该部分传播到检测器(相机)。检测器捕获经反射的一个或多个光束的该部分。注意,一个或多个光束的该部分也可从局部区域中的一个或多个对象散射,其中散射表示漫反射的形式。耦合到检测器的控制器基于反射的一个或多个光束的捕获部分确定关于局部区域中的一个或多个对象的深度信息。
在一些实施方式中,光束转向组件是集成到头戴式显示器(HMD)中的深度相机组件(DCA)的一部分,该深度相机组件(DCA)捕获描述围绕该HMD的一些或全部的局部区域中的深度信息的数据。HMD可以是例如虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或其某种组合的一部分。HMD进一步包括电子显示器和光学组件。电子显示器被配置为发射图像光。光学组件被配置为将图像光引导至HMD的对应于用户的眼睛的位置的出射光瞳,图像光包括由DCA确定的局部区域中的对象的深度信息。
图1是根据实施方式的HMD 100的示图。HMD 100可以是例如VR系统、AR系统、MR系统或其某种组合的一部分。在描述AR系统和/或MR系统的实施方式中,HMD 100的前侧102的部分在可见波段(约380nm至750nm)中至少部分透明,并且HMD 100的前侧102与用户的眼睛之间的部分至少部分透明(例如,部分透明电子显示器)。HMD 100包括前刚性体105、带110和参考点115。HMD 100还包括DCA,其被配置为确定围绕HMD100的一些或全部的局部区域的深度信息。HMD 100还包括成像光圈120和照明光圈125,并且DCA的照明源穿过照明光圈125发射光。DCA的成像设备捕获穿过成像光圈120来自照明源的从局部区域反射的光。通过成像光圈120接收并由DCA的成像设备捕获的来自局部区域的光包括从局部区域中的一个或多个对象反射的光的部分。DCA的成像设备检测从局部区域中的一个或多个对象反射的光的部分,如结合图2至图5更详细地论述的。
前刚性体105包括一个或多个电子显示元件(图1中未示出)、一个或多个集成眼睛跟踪系统(图1中未示出)、惯性测量单元(IMU)130、一个或多个位置传感器135,以及参考点115。在图1所示的实施方式中,位置传感器135位于IMU 130内,并且IMU 130和位置传感器135对于HMD 100的用户均不可见。IMU 130是基于从一个或多个位置传感器135接收的测量信号产生快速校准数据的电子设备。位置传感器135响应于HMD 100的运动产生一个或多个测量信号。位置传感器135的示例包括:一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的其他合适类型的传感器、用于IMU 130的误差校正的类型传感器的或其某种组合。位置传感器135可以位于IMU 130的外部,IMU 130的内部,或其某种组合。
图2是图1中所示的HMD 100的前刚性体105的截面200。如图2所示,前刚性体105包括电子显示器210和光学组件220,它们一起向出射光瞳225提供图像光。出射光瞳225是将被用户的眼睛230占据的空间中的区域。在一些情况下,出射光瞳225也可以被称为眼睛盒。为了说明的目的,图2示出了与单只眼睛230相关联的截面200,但是与光学组件220分离的另一个光学组件220向用户的另一只眼睛提供改变的图像光。前刚性体105还具有与图像光沿着其传播通过前刚性体105的路径对应的光轴。
电子显示器210产生图像光。在一些实施方式中,电子显示器210包括调节所产生的图像光的焦点的光学元件。电子显示器210根据从控制台(图2中未示出)接收的数据向用户显示图像。在不同实施方式中,电子显示器210可包括单个电子显示器或多个电子显示器(例如,用于用户的每只眼睛的显示器)。电子显示器210的示例包括:液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、一些其他显示器、投影仪或其某种组合。电子显示器210还可包括光圈、菲涅耳透镜、凸透镜、凹透镜、衍射元件、波导、滤波器、偏振器、漫射器、光锥、反射面、偏振反射面、或影响从电子显示器发射的图像光的任何其他合适的光学元件。在一些实施方式中,一个或多个显示块光学元件可具有一个或多个涂层,诸如抗反射涂层。
光学组件220放大从电子显示器210接收的光,校正与图像光相关联的光学像差,并且校正的图像光被呈现给HMD 100的用户。光学组件220的至少一个光学元件可以是光圈、菲涅耳透镜、折射透镜、反射表面、衍射元件、波导、滤波器或影响从电子显示器210发射的图像光的任何其他合适的光学元件。此外,光学组件220可以包括不同光学元件的组合。在一些实施方式中,光学组件220中的光学元件中的一个或多个光学元件可具有一个或多个涂层,诸如抗反射涂层、二向色涂层等。与大显示器相比,光学组件220对图像光的放大允许电子显示器210的元件体积更小、重量更轻、并且消耗更少的功率。另外,放大可增加所显示媒体的视场。例如,所显示的媒体的视场使得所显示的媒体几乎全部(例如,110度对角线)被呈现,并且在一些情况下用户的全部视场。在一些实施方式中,光学组件220被设计成使得其有效焦距大于到电子显示器210的间距,该间距放大了由电子显示器210投射的图像光。另外,在一些实施方式中,可通过添加或移除光学元件来调整放大量。
如图2所示,前刚性体105进一步包括DCA 240,用于确定围绕HMD100的一些或全部的局部区域245中的一个或多个对象的深度信息。DCA240包括光发生器250、成像设备255、可耦合到光发生器250和成像设备255两者的控制器260。光发生器250通过照明光圈125发射一个或多个光束265。光发生器250根据由控制器260产生的发射指令用一个或多个光束265照亮局部区域245。如结合图3A至图3F、图4A至图4B、和图5更详细地论述的,光发生器250可以是结合到DCA 240中的光束转向组件的发射器的一部分。
光发生器250可包括多个发射器,每个发射器发射具有某些特性(例如,波长、偏振、相关性、脉冲宽度、时间行为等)的光。这些特性在发射器之间可以是相同的或不同的,并且发射器可以同时或单独地运行。在一个实施方式中,多个发射器可以是例如激光二极管(例如,边缘发射器)、无机或有机LED、垂直腔面发射激光器(VCSEL)或一些其他源。在一些实施方式中,光发生器250中的单个发射器或多个发射器可发射形成结构化光图案(例如,点图案)的一个或多个光束265。在一些实施方式中,如结合图4A至图4B和图5更详细地公开的,光发生器250包括激光二极管(例如,红外激光二极管)和用于产生作为偏振光的一个或多个光束265的偏振元件。
成像设备255被配置为通过成像光圈120捕获从局部区域245反射的一个或多个光束265的部分。在一些实施方式中,成像设备255包括检测器(图2中未示出),该检测器被实现为单光子雪崩二极管(SPAD)像素的密集阵列或被实现为硅光电倍增器(SiPM)。在一些其他实施方式中,成像设备255包括电荷耦合器件(CCD)相机或互补金属氧化物半导体(CMOS)相机。成像设备255还可以包括偏振敏感光电检测器,其使用例如光学各向异性材料,用于检测特定偏振(例如,线性、圆形、椭圆形等)的光子。成像设备255捕获用一个或多个光束265照亮的局部区域245中的一个或多个对象的一个或多个图像。在一些实施方式中,成像设备255与光发生器250共享精细转向元件(图2中未示出)和粗略转向元件(图2中未示出),用于将从局部区域245反射的一个或多个光束265的部分传播到成像设备255的光电检测器。成像设备255可以是结合到DCA 240中的光束转向组件的接收器的一部分,如结合图4A至图4B和图5更详细地论述的。
控制器260可基于发射指令控制光发生器250的某些部件的运行。在一些实施方式中,控制器260可以向光发生器250内的精细转向元件(图2中未示出)和/或粗略转向元件(图2中未示出)提供发射指令,以控制由一个或多个光束265照亮的局部区域245的视场。关于通过控制器260控制光发生器250的精细转向元件和/或粗略转向元件的更多细节结合图3A至图3、图4A至图4B和图5公开。
控制器260被配置为至少部分基于所捕获的一个或多个反射光束的部分确定局部区域245中的一个或多个对象的深度信息。在一些实施方式中,对于基于飞行时间的深度感测,控制器260基于在限定的时间量内存储在与成像设备255的检测器中的一个或多个像素相关联的存储库中的电荷来确定深度信息。在替代实施方式中,对于基于结构化照明的深度感测,控制器260基于由局部区域245中的对象的形状扭曲的一个或多个反射光束的部分的相移图案确定深度信息,并且使用三角测量计算来获得局部区域245的深度图。在一些实施方式中,控制器260向HMD 100的适当模块(例如,图2中未示出的变焦模块)和/或控制台(图2中未示出)提供所确定的深度信息。控制台和/或HMD 100可利用深度信息来例如产生在电子显示器210上呈现的内容。
在一些实施方式中,前刚性体105进一步包括眼睛跟踪系统(图2中未示出),其确定用户的眼睛230的眼睛跟踪信息。所确定的眼睛跟踪信息可包括关于用户的眼睛230在眼睛盒中的定向的信息,即,关于视线的角度的信息。眼睛盒表示用户的眼睛位于其中以接收图像光的HMD的输出处的三维体积。在一个实施方式中,用户的眼睛230被结构化光图案照亮。然后,眼睛跟踪系统可使用捕获的图像中的反射的结构化光图案的位置来确定眼睛位置和视线。在另一个实施方式中,眼睛跟踪系统基于在多个时刻捕获的图像光的量值来确定眼睛位置和视线。
在一些实施方式中,前刚性体105进一步包括变焦模块(图2中未示出)。变焦模块可以基于眼睛跟踪信息来调整在电子显示器210上显示的一个或多个图像的焦点。在一个实施方式中,变焦模块通过基于所确定的眼睛跟踪信息调整光学组件220的焦距来调整所显示的图像的焦点和缓解聚散调节冲突。在另一实施方式中,变焦聚焦模块通过基于所确定的眼睛跟踪信息执行一个或多个图像的中央凹渲染来调整所显示图像的焦点。在又一实施方式中,变焦模块利用来自控制器260的深度信息来产生在电子显示器210上呈现的内容。
图3A示出了根据实施方式的示例光束转向组件300,其可以是图2中DCA 240的一部分。光束转向组件300将精细转向元件305与粗略转向元件310级联。精细转向元件305使从照明源(图3A中未示出)发射的一个或多个光束312偏转以产生一个或多个一阶偏转扫描光束314。精细转向元件305可被配置为部分基于来自控制器315的发射指令在有限范围内(例如,在-10度与+10度之间)快速改变一个或多个一阶偏转扫描光束314的扫描角度。因此,精细转向元件305被配置为以高速率运行并且可例如部分基于来自控制器315的发射指令自适应地步进或驻留。应理解,与精细转向元件305有关的偏转是还可指代其他物理效果(例如,折射、反射或衍射)的一般术语,这取决于用作精细转向元件305的确切物理元件。
在一些实施方式中,可以基于一个或多个声光设备来实现精细转向元件305。在一个实施方式中,精细转向元件305被实现为在布拉格方案下运行的声光偏转器。在另一个实施方式中,精细转向元件305被实现为表面声波(SAW)偏转器。在又一实施方式中,精细转向元件305被实现为在拉曼-奈斯方案下运行的薄光栅。通常,精细转向元件305被配置为用作部分地基于来自控制器315的发射指令使一个或多个光束312衍射形成一个或多个一阶偏转扫描光束314的动态衍射光栅。结合图3B公开了关于用作动态衍射光栅的精细转向元件305的更多细节。
粗略转向元件310使一个或多个一阶偏转扫描光束314偏转以产生一个或多个二阶偏转扫描光束316,以允许在大角度范围内扫描,例如沿着x和y维度(水平和垂直维度)在-60度与+60度之间。应该理解的是,与粗略转向元件310有关的偏转是还可以指其他物理效果(例如折射、反射或衍射)的一般术语,这取决于用作粗略转向元件310的确切物理元件。一个或多个二阶偏转扫描光束316表示由图2中DCA 240发射的一个或多个光束265的实施方式。在一些实施方式中,一个或多个二阶偏转扫描光束316表示具有例如点图案或线图案的结构化光。通过将提供小角度扩展的精细转向元件305与提供较大角度偏离的粗略转向元件310结合,光束转向组件300是灵活的,因为一个或多个所产生的二阶偏转扫描光束316可以投射在体积的不同区域中。应理解,对精细转向元件305和粗略转向元件310的结合的实现要求可取决于与光束转向组件300相关的性能和约束的规范。选择一个特定的实现方法而不是另一个实现方法,这可以出于不同的原因,包括从精细转向元件305到粗略转向元件310的达到特定角度范围放大的能力(例如,放大六倍)、开关速度、功耗、光束转向组件300的部件的尺寸/重量等。
在一些实施方式中,粗略转向元件310覆盖宽范围的速率。例如,粗略转向元件310的扫描速度从与基于一个或多个声光设备(例如,MHz扫描速度)实现的精细转向元件305的扫描速度相匹配变化到亚KHz(sub-kHz)扫描速度。在一个实施方式中,粗略转向元件310基于扫描透镜实现,如结合图3C更详细地论述。在另一个实施方式中,粗略转向元件310被实现为液体透镜偏转器,如结合图3D更详细地论述。在又一实施方式中,粗略转向元件310是基于偏振光栅栈实现的,如结合图3E至图3F更详细地论述的。
图3B示出了根据本公开的实施方式的基于声光偏转器320实现的图3A中的精细转向元件305的示例。声光偏转器320包括换能器322、偏转区域324和可选的吸收器326。响应于来自控制器315的发射指令中的射频,偏转区域324中的晶体振动并且产生形成动态衍射光栅的偏转区域324中的压缩(声)波。通过偏转区域324传播的压缩波导致偏转区域324的密度变化,并且因此导致衍射指数的变化,其使偏转区域324中的晶体像衍射光栅那样起作用。基于来自控制器315的发射指令中的射频,声光偏转器320使一个或多个光束312偏转了特定偏转角度,以产生一个或多个一阶偏转扫描光束314。除了一个或多个一阶偏转扫描光束314之外,声光偏转器320还可以通过偏转区域324将一个或多个入射光束312的一部分传播为没有任何偏转的一个或多个透射光束328(零阶光束)。
声光偏转器320可以高速率(例如,在MHz范围内)扫描一个或多个一阶偏转扫描光束314。另外,声光偏转器320例如基于驱动信号330(其具有基于来自控制器315的发射指令控制的射频)而被动态地驱动。通过改变驱动信号330的射频,控制器315可动态地改变由声光偏转器320提供的偏转角度。由此,基于声光偏转器320的精细转向元件305可以自适应地驻留并寻址其角度范围内的体积的任何部分。在一些实施方式中,声光偏转器320被配置为在其角度范围上运行高密度角度回扫。在替代实施方式中,声光偏转器320被配置为在其角度范围上运行粗略的角度回扫。在一些实施方式中,在布拉格方案下运行的声光偏转器320可以通过改变驱动信号330的射频来在完整的角度扩展上顺序地扫描单个光束。在替代实施方式中,声光偏转器320可以在拉曼-奈斯方案中运行。
图3B中的声光偏转器320可根据图3A中的光束转向组件300和/或图2中的DCA 240的设计目标具有运行灵活性。在一个实施方式中,光束转向组件300和/或DCA 240可被设计为通过使用声光偏转器320而作为线扫描器运行,使一个或多个光束312偏转。在这种情况下,可以例如在声光偏转器320的前面采用柱面镜(图3B中未示出),以在声光偏转器320上产生行扫描。在另一个实施方式中,声光偏转器320可以被设计为作为不同于线扫描器的一维扫描器运行。在又一实施方式中,代替单个声光偏转器320,精细转向元件305包括一对声光设备(图3B中未示出),它们的定向轴线彼此正交。因而,一个声光设备在一个维度(例如,x)中偏转光,并且第二声光设备沿着正交维度(例如,y)偏转x-偏转光,由此产生作为用于二维随机扫描的二维扫描光束的一阶偏转扫描光束314。类似地,图3A中的粗略转向元件310可被配置为沿着x和y维度两者扩展二维一阶扫描光束314的扫描角度,以获得覆盖沿着x和y维度两者的宽视场的二阶偏转扫描光束316。
图3C示出了根据实施方式的基于一对扫描透镜实现的图3A中的粗略转向元件310。如图3C中所示,由图3A中的精细转向元件305产生的一个或多个一阶偏转扫描光束314由第一光学元件332(例如,凸透镜)收集并且引导朝向第二光学元件334(例如,凹透镜)。第二光学元件334被配置为进一步偏转(即,折射)该一个或多个一阶偏转扫描光束314以产生具有大角度扩展的一个或多个二阶偏转扫描光束316。该一个或多个二阶偏转扫描光束316的角度扩展可以取决于每个扫描透镜332、334的设计。基于扫描透镜332、334实现的粗略转向元件310可接收具有例如10度的总偏转范围的一个或多个一阶偏转扫描光束314,并且扫描透镜332、334可产生具有例如60度的总偏转范围的一个或多个二阶偏转扫描光束316。在一些实施方式中,通过应用不同设计折衷和/或粗略偏转,总偏转范围的甚至更高的放大是可能的。在一些实施方式中,两个扫描透镜332、334的焦平面重合。
虽然在图3C中示出了双面凸透镜332,但是光学元件332可以被实现为单侧凸透镜或菲涅耳透镜。虽然在图3C中将凹透镜334的外表面示出为平坦的,但是凹透镜334的外表面也可以是弯曲的。在一些实施方式中,透镜332、334可实现为弯月透镜。在一个实施方式中,透镜332、334被实现为球面透镜。在另一实施方式中,透镜332、334被实现为非球面透镜。在又一实施方式中,透镜332、334以自由曲面(free-form surface)实现。由于透镜332、334是被动的(passive),透镜332、334可以以潜在的方向控制为代价而比其他主动系统更快地运行。此外,作为被动部件,透镜332、334可在没有来自控制器315的任何发射指令的情况下运行。在其他实施方式中,粗略转向元件310的光学元件332、334中的至少一个可使用至少一个反射镜(图3C中未示出)来实现。可替代地,光学元件332、334中的至少一个可被实现为一个或多个反射镜和一个或多个透镜的组合(图3C中未示出)。
图3D示出了根据实施方式的基于液体透镜偏转器335实现的图3A中的粗略转向元件310。液体透镜偏转器335包括具有一个或多个类型的液晶的偏转区域340。偏转区域340的偏转指数以及因此液体透镜偏转器335的偏转角度基于施加到偏转区域340的部分地基于来自控制器315的发射指令所控制的电场(电压)而变化。在一些实施方式中,偏转区域340包括油和水,或者水和膜(membrane)的一些组合。图3D示出了三个说明性实施方式,其中,基于施加到偏转区域340的不同电压电平,例如V1=60V、V2=30V、V3=45V,通过液体透镜偏转器335以三个不同的偏转角度偏转(即,折射)一阶偏转扫描光束314。因此,实现为图3D中的液体透镜偏转器355的粗略转向元件310可作为动态偏转元件运行,该动态偏转元件提供一个或多个一阶偏转扫描光束314的动态转向,以产生具有大角度扩展的一个或多个二阶偏转扫描光束316。在一些实施方式中,一个或多个二阶偏转扫描光束316的角度扩展可以高达±90度(180度),这可以通过堆叠多个液体透镜偏转器335(图3D中未示出)来实现。在一些实施方式中,液体透镜偏转器335可沿着x和y维度两者同时改变倾斜。附加地或可替代地,液体透镜偏转器335可以改变一个或多个二阶偏转扫描光束316的焦点。在一些实施方式中,液体透镜偏转器335具有大约数十ms的开关时间、大约5mm的光圈和大约几分之一mm的厚度。在一些其他实施方式中,以振荡方式使用的液体透镜偏转器335可以具有快速的开关速度,例如,大约几kHz。
图3E示出了根据实施方式的基于偏振光栅栈350实现的图3A中的粗略转向元件310。偏振光栅栈350包括耦合到可开关偏振光栅354的液晶半波片352。
液晶半波片352是耦合到一个或多个一阶偏转扫描光束314(入射光)中并且改变入射光的偏振(如果其处于活动状态)的光学元件。入射光与从液晶半波片352输出的光的偏振分量之间的相移可以是例如90度或180度。液晶半波片352基于液晶半波片352的晶体的取向和/或厚度改变入射光的偏振。可以至少部分地基于来自控制器315的发射指令来控制晶体的取向和/或厚度。液晶半波片352是可开关的,并且可以部分地基于来自控制器315的发射指令来控制液晶半波片352的状态。当处于非活动状态时,液晶半波片352不会改变入射光的偏振。当处于活动状态时,液晶半波片352改变入射光的偏手性,例如,右手圆偏振光变为左手圆偏振光,反之亦然。
偏振光栅354是结合偏振器和分束器的功能的光学元件。在一些实施方式中,偏振光栅354被实现为Pancharatnam-Berry相(PBP)液晶光栅。在替代实施方式中,偏振光栅354被实现为薄膜棱镜。偏振光栅354以某个衍射角衍射来自液晶半波片352的入射光,并且产生一个或多个二阶偏转扫描光束316。可以基于偏振光栅354的设计(例如,基于薄膜的设计)或基于晶体节距的值Λ确定偏振光栅354的衍射角。另外,衍射角可以取决于入射光的波长λ。偏振光栅354是可开关的,并且可以部分地基于来自控制器315的发射指令来控制偏振光栅354的状态。当处于非活动状态时,偏振光栅354可以不衍射入射光并且不改变入射光的偏振。当处于活动状态时,偏振光栅354衍射入射光并可产生相对于入射光具有不同偏振的衍射光。
在一个实施方式中,当偏振光栅354处于非活动状态(例如,由控制器315控制)时,来自液晶半波片352的入射光传播通过偏振光栅354而不被衍射,即,衍射角θ为零。在另一个实施方式中,液晶半波片352处于非活动状态,并且不改变一个或多个入射的一阶偏转扫描光束314的偏手性,例如,从液晶半波片352输出的光为右手圆偏振的。在这种情况下,偏振光栅354以正衍0射角θ衍射右手圆偏振光。在又一个实施方式中,液晶半波片352处于活动状态,并且改变一个或多个入射的一阶偏转扫描光束314的偏手性,例如,从液晶半波片352输出的光现在是左手圆偏振的。在这种情况下,偏振光栅354以负衍射角θ衍射左手圆偏振光并且产生右手圆偏振光。在一些实施方式中,偏振光栅栈350以几十度的数量级提供衍射角θ。
图3F示出了根据实施方式的基于偏振光栅栈360实现的图3A中的粗略转向元件310。偏振光栅栈360包括耦合到一对被动的(例如,基于聚合物的)偏振光栅366、368的一对液晶半波片362、364。
每个液晶半波片362、364可以以与图3E中的偏振光栅栈350的液晶半波片352相同的方式实现。液晶半波片362、364是可开关的,并且液晶半波片362、364的配置状态可由控制器315控制。当处于非活动状态时,液晶半波片362、364不改变入射光的偏振。当处于活动状态时,每个液晶半波片362、364可以改变入射光的偏手性,例如,右手圆偏振光变成左手圆偏振光,反之亦然。
在一些实施方式中,偏振光栅366、368被实现为PBP液晶光栅。在替代实施方式中,偏振光栅366、368被实现为薄膜棱镜。每个偏振光栅366、368以一定的衍射角衍射来自相应的液晶半波片的入射光。可以基于偏振光栅366、368的设计(例如基于薄膜的设计)或者基于晶体节距的值Λ,确定偏振光栅366、368的衍射角。另外,衍射角可以取决于入射光的波长λ。图3F所示的偏振光栅366、368被实现为被动的,即,偏振光栅366、368不改变衍射光的偏振。在一些实施方式中,偏振光栅366、368提供相同的衍射量。在替代实施方式中,偏振光栅366、368提供不同的衍射量。在一些实施方式中,偏振光栅栈360提供几十度的数量级的总衍射角θ。
取决于晶体半波片362、364的状态配置,如图3F所示,偏振光栅栈360提供三种类型的衍射中的一种-正、零或负。在一个实施方式中,当晶体半波片362、364均处于非活动状态时,偏振光栅366、368提供零衍射。在另一个实施方式中,当晶体半波片362处于非活动状态并且晶体半波片364处于活动状态时,偏振光栅366、368提供正衍射。在又一实施方式中,当晶体半波片362、364均处于活动状态时,偏振光栅366、368提供负衍射。
在替代实施方式中(图3F中未示出),偏振光栅366、368是主动的,即,可开关的。偏振光栅366、368的配置状态可由控制器315控制。主动偏振光栅366、368和液晶半波片362、364的组合可以提供衍射量的渐变。例如,代替具有图3F中所示的三个类型的衍射,具有主动偏振光栅366、368的偏振光栅栈360可提供五个类型的衍射,即,较大的正、较小的正、零、较小的负和较大的负。
图4A是根据实施方式的具有公共发射/接收通道的示例光束转向组件400。具有公共发射/接收通道减小了光束转向组件400的零件数。在一些实施方式中,以透射光和反射光两者运行的公共部件倾斜,以便减少反向散射。可以通过透射光的时间选通进一步减小公共发射/接收通道的杂散光影响。图4A中的光束转向组件400是可逆的,即,跟踪发射光的发射路径耦合在具有特定直角对边的反射光中。光束转向组件400可以是图3A中的光束转向组件300的实施方式。光束转向组件400可以是图2中DCA240的一部分。
光束转向组件400包括被配置为发射一个或多个光束404的照明源402(例如,激光二极管)。在一些实施方式中,例如部分基于来自控制器408的发射指令,照明源402以高峰功率和窄脉冲宽度进行脉冲。当脉冲时,照明源402可以在多个时刻中的每个时刻产生一个或多个光束404。在一些实施方式中,照明源402为围绕光束转向组件400中的一些或全部的局部区域的每个深度感测测量在例如,数十、数百或数千时刻产生光束404。在多个时刻产生光束404的速率可与(例如,由控制器408控制的)脉冲信号的频率相关,该脉冲信号的频率确定照明源402脉冲以发射一个或多个光束404所处的时刻。在一些实施方式中,照明源402在多个时刻的每个时刻发射一个或多个光束404作为特定色彩分量的光。光束转向组件400在发射不同色彩分量时的灵活性便于在扫描围绕部分或全部光束转向组件400的局部区域时调节光束转向角。
照明源402可以直接产生一个或多个光束404作为偏振光。一个或多个光束404可以是圆偏振的(右手的或在其他实施方式中的左手的)。在替代实施方式中,一个或多个光束404可以是线性偏振的(垂直和水平的)、或椭圆偏振的(右或左)。可替代地,照明源402可以发射非偏振光。在这种情况下,偏振元件406可以部分地基于来自控制器408的发射指令产生偏振光。
偏振元件406可以是线性偏振器、圆偏振器、椭圆偏振器等。偏振元件406可以被实施为薄膜偏振器(吸收的、反射的)、与线性偏振器结合的四分之一波片等。在一个实施方式中,为了将线性偏振光转换成圆偏振光,偏振元件406被实施为四分之一波片。在可选实施方式中,当偏振元件406接收非偏振光并将非偏振光转换为圆偏振光时,偏振元件406包括线性偏振器和四分之一波片。
准直组件410从照明源402收集光并且将其引导向分束器412和偏振元件406。准直组件410由一个或多个光学元件(透镜)构成。分束器412将从照明源402发射的一个或多个光束404和从在围绕光束转向组件400的一些或全部的局部区域中一个或多个目标对象416反射的一个或多个光束414分开。在一个实施方式中,偏振元件406从非偏振的一个或多个光束404产生偏振光。在另一个实施方式中,偏振元件406改变偏振的一个或多个光束404的偏振,例如,从s偏振光变为左手圆偏振光。
如图4A所示,偏振的一个或多个光束404耦合到基于单个声光偏转器418实现的精细转向元件中。声光偏转器418使一个或多个光束404偏转到一个维度(例如,x维度),以产生一个或多个一阶偏转扫描光束420。可替代地,精细转向元件305由取向轴彼此正交的一对声光设备(图4A中未示出)组成。因而,一个声光设备在一个维度(例如,x)中偏转光,并且第二声光设备沿着正交维度(例如,y)偏转x-偏转光,由此产生作为用于二维随机扫描的二维扫描光束的一阶偏转扫描光束420。
在一些实施方式中,声光偏转器418用作部分地基于来自控制器408的发射指令使一个或多个光束404偏转的动态偏转光栅,以形成一个或多个一阶偏转扫描光束420。声光偏转器418可包括换能器422和偏转区域424。响应于发射指令中的射频,声光偏转器418的换能器422可被配置为在偏转区域424中产生声波以形成动态衍射光栅。在一些实施方式中,声光偏转器418具有小角度区域,其中,声光偏转器418保持有效用于接收从一个或多个目标对象416反射的光。如图4A所示,声光偏转器418可包括非透明部件426,其阻挡由声光偏转器418产生的零阶光束以免干扰一个或多个一阶偏转扫描光束420。可以基于关于一个或多个光束404的声光偏转器418的哪个入射角提供优选的偏转效率的设计决定来选择在声光偏转器418上的非透明部件426的位置。
可以例如以MHz速度扫描由基于声光偏转器418的精细转向元件产生的一个或多个一阶偏转扫描光束420。具有快速扫描速度的一个或多个一阶偏转扫描光束420然后传播到位于声光偏转器418前方的粗略转向元件428,用于扩展视场并实现动态照明。在一些实施方式中,一个或多个一阶偏转扫描光束420具有与一个或多个光束404相同的偏振,即,一个或多个一阶偏转扫描光束420是左手圆偏振的。
粗略转向元件428以特定的偏转角度使一个或多个一阶扫描光束420偏转,以产生具有宽角度扩展的出射(发射)光430。在一些实施方式中,出射光430由一个或多个光束构成。在替代实施方式中,出射光430是定义图案(例如,线图案或点图案)的结构化光。在一些实施方式中,部分地基于来自控制器408的发射指令来控制粗略转向元件428的特定偏转角度。粗略转向元件428扩展一个或多个一阶扫描光束420的扫描角度,以实现用于扫描局部区域中的一个或多个目标对象416的宽视场。因此,粗略转向元件428通过使一个或多个一阶偏转扫描光束420偏转来产生覆盖大扫描场的出射光430。在一些实施方式中,出射光430的偏振与一个或多个一阶偏转扫描光束420的偏振相同,即,出射光430是左手圆偏振光。在一个实施方式中,基于图3C中所示的扫描组件设计粗略转向元件428。在另一个实施方式中,粗略转向元件428被设计为图3D中所示的液体透镜偏转器。在又一实施方式中,粗略转向元件428被实现为图3E中所示的偏振光栅栈350。在又一实施方式中,粗略转向元件428被实现为图3F所示的偏振光栅栈360。
粗略转向元件428还可包括投影组件(图4A中未示出),其投影出射光430以照亮局部区域中的一个或多个目标对象416。基于出射光430的来自一个或多个目标对象416的反射产生反射光432。在一些实施方式中,反射光432由一个或多个光束构成。在替代实施方式中,反射光432是与由一个或多个目标对象416的形状扭曲的出射光430的图案有关的图案的结构化光。在一些实施方式中,当出射光430是第一偏手性的圆偏振,反射光432是与第一偏手性正交的第二偏手性的圆偏振。例如,当出射光430是左手圆偏振,反射光432是右手圆偏振。
使出射光430偏振(例如,左手圆偏振)并且使反射光432偏振(例如,右手圆偏振)提供对于背景环境照明的信噪比(SNR)方面的潜在优点。利用圆偏振出射光430照亮的目标对象416倾向于反射也是圆偏振的(正好是正交的偏手性的)光432。由于反射光432的圆偏振可以通过光束转向组件400的接收通道被反向跟踪,随机偏振(即,非偏振)的背景环境光的能量可以例如减少2倍。关于圆偏振照明和用于深度感测的检测的另外的细节在于2017年6月28日提交的15/636,398的美国申请中描述,通过引用将其全文结合于本文。
如图4A所示,光束转向组件400包括公共发射/接收通道。由于发射和接收光的不同(例如,正交)偏振,在光束转向组件400的公共部件处的发射和接收(反射)光之间的干涉较低。从一个或多个目标对象416反射的光432由粗略转向元件428以第一偏转角度向着声光偏转器418偏转。声光偏转器418进一步例如以小于第一偏转角度的第二偏转角度使反射光432向着偏振元件406偏转。可以基于从控制器408接收指令来控制第一偏转角度和第二偏转角度。在一些实施方式中,偏振元件406改变反射光432的偏振以产生特定偏振的一个或多个反射光束414,例如,从右手圆偏振到p偏振。分束器412将从照明源发射的一个或多个光束404与一个或多个反射光束414分离,并且将一个或多个反射光束414引导向扩展器434和检测器436(相机)。在一些实施方式中,类似于非透明部件426的另一个非透明部件(图4A中未示出)被包括在声光偏转器418的与非透明部件426所处的一侧对立的一侧。另一非透明部件耦合到声光偏转器418以阻挡未被声光偏转器418偏转的反射光432的部分到达检测器436。
扩展器434被定位在检测器436的前方,并且可包括一个或多个光学元件(例如,透镜)。扩展器434被配置为接收反射光432的部分(即,一个或多个反射光束414),并且将一个或多个反射光束414扩展至适于由检测器436检测的光图案。检测器436通过捕获一个或多个反射光束414来捕获一个或多个目标对象416的一个或多个图像。在一些实施方式中,检测器436是被配置为捕获被扩展以包括照明源402的波段的红外图像的红外相机。检测器436可被配置为以在kHz到MHz范围内的帧速率运行,以用于目标对象416的快速检测。在一些实施方式中,扩展器434与检测器436集成。在替代实施方式中,扩展器434在检测器436的内部。在一些实施方式中,滤波器(图4A中未示出)定位在检测器436的前方以减少噪声。
检测器436可包括多个光电二极管或像素。可替代地,检测器436可被实现为单个像素检测器。对于基于飞行时间的深度感测,检测器436在限定的时间量捕获与反射光束414有关的光信号。应当理解,由检测器436的每个像素捕获的光信号可以指与入射在检测器436的像素上的反射光束414有关的检测事件或测量强度。例如,检测事件可以指经由通常在检测器436的像素内数字化的电流脉冲来检测单光子到达事件。在一些实施方式中,检测器436被实现为以二维阵列布置的SPAD像素的密集阵列。在替代实施方式中,检测器436被概念性地实现为单个像素检测器,例如SiPM。被实现为SiPM的单像素检测器436可包括由信号鉴别器和时间-数字转换器(图4A中未示出)分析的模拟输出。基于SiPM的检测器436可通过创建密集SPAD阵列来制造,其中,将所有SPAD的输出求和在一起以产生模拟输出脉冲。对于基于SiPM的检测器436,可以优选地将反射光束414的光强度扩展为尽可能跨检测器436的表面均匀。检测器436还可被实现为雪崩光电二极管(APD)单像素检测器。可替代地,检测器436可包括单个光电二极管。在一些其他实施方式中,检测器436可被实现为石墨烯点光电流检测器或石墨烯/量子点光电流检测器。
对于基于飞行时间的深度感测,检测器436通过在限定的时间量捕获与检测器436中的每个像素相关联的存储仓中的电荷来捕获一个或多个目标对象416的一个或多个图像。检测器436可在特定时刻在与一个反射光束414的强度相关联的每个存储仓中存储电荷。在一些实施方式中,检测器436在多个时刻捕获与反射光束414的强度相关联的电荷,以便为一个或多个目标对象的每个深度感测测量累积适当的SNR水平。例如,检测器436可为每个深度感测测量在数十、数百或数千时刻捕获电荷。
在一些其他实施方式中,对于基于结构化光照明的深度感测,反射光束414形成例如线图案或点图案的结构化光。检测器436可捕获由一个或多个目标对象416的形状扭曲与出射光430的结构化图案相关的反射光束414的相移图案。检测器436向控制器408提供关于相移图案的信息以用于局部区域的深度感测。
注意,一个或多个反射光束414和出射光430与围绕光束转向组件400的局部区域的相同的角度位置相关联。因此,可以限制光束转向组件400中的接收通道的视场。然而,使检测器436和照明源402观察相同方向提供了许多优点。接收通道的小视场可以减少由检测器436收集的背景环境光的量。这可以改进检测器436的灵敏度,减小照明源402的功率需求,和/或增大光束转向组件400的范围。因此,光束转向组件400的部件可被制造得更紧凑。由于检测器436的小视场要求,检测器436可被实现为几个小的高灵敏度像素的阵列,实现为SPAD,或实现为量子成像传感器。检测器436的视场可以与反射光432的发散角度相匹配。在图4A的说明性实施方式中,其中图3A中的精细转向元件305基于声光偏转器418,声光偏转器418可限制检测器436的视场,这放宽了检测器436的成像要求。即使在检测器436内采用传统传感器,由检测器436捕获的图像的分辨率也可以非常高。在一些实施方式中,如所论述的,检测器436可被实现为高灵敏度单个像素检测器,因为一个或多个出射光束404的方向和所接收的一个或多个反射光束414的点角度是一定的。因此,检测器436可被实现为SiPM、SPAD、雪崩光电二极管、量子成像传感器等。在一些实施方式中,检测器436可被实现为具有适合于基于飞行时间的深度感测的快速响应时间。
控制器408被配置为控制图4A中的光束转向组件400的各个部件的运行。在一些实施方式中,控制器408向照明源402提供发射指令以控制一个或多个光束404的强度、一个或多个光束404的调制、照明源402被激活的持续时间等。控制器408可进一步创建发射指令,该发射指令包括声光偏转器418被驱动的射频。控制器408可以基于例如存储在控制器408的查找表中的射频的预定值列表来产生发射指令。在实施方式中,预定的射频作为波形被存储在电子芯片中,例如存储在耦合到控制器408的直接数字合成器(图4A中未示出)中。在另一实施方式中,发射指令通过集成到控制器408中的语音控制来创建。在口头请求时,控制器408的语音控制计算用于驱动声光偏转器418的射频,以产生适合于检测静止对象416和/或跟踪移动对象416的特定空间频率的一个或多个一阶偏转扫描光束420和出射光430。
控制器408可修改声光偏转器418被驱动的射频,以调整一个或多个光束404偏转的偏转角度。以此方式,控制器408可指示声光偏转器418扫描一个或多个光束404偏转和干涉以形成一个或多个一阶偏转扫描光束420和出射光430的多个偏转角度。在一些实施方式中,驱动声光偏转器418的射频控制由声光偏转器418偏转的光束404的分离。因此,所产生的一阶偏转扫描光束420(以及出射光430)的空间频率直接取决于驱动声光偏转器418的射频。
在一些实施方式中,控制器408向粗略转向元件428提供发射指令,用于控制粗略转向元件428的偏转角度和产生的出射光430的角度扩展。控制器408还可部分地基于接收指令控制声光偏转器418和/或粗略转向元件428的运行,以沿着光束转向组件400的接收路径偏转反射光432。控制器408可以基于例如存储在控制器408的查找表中的射频的预定值列表来产生接收指令。在实施方式中,预定的射频作为波形被存储在电子芯片中,例如存储在耦合到控制器408的直接数字合成器(图4A中未示出)中。在另一实施方式中,通过集成到控制器408中的语音控制来创建接收指令。在口头请求时,控制器408的语音控制计算用于驱动声光偏转器418的射频,以产生一个或多个反射光束414。
如图4A所示,控制器408进一步耦合到检测器436,并且可以被配置为确定局部区域中的一个或多个目标对象416的深度信息。控制器408被配置为至少部分基于所捕获的反射光束414确定一个或多个目标对象416的深度信息。在一些实施方式中,控制器408可被配置为基于所捕获的反射光束414的偏振信息来确定深度信息。控制器408可被配置为部分基于所捕获的反射光束414的偏振信息来估计一个或多个目标对象416的不同材料(例如,不同类型的金属、织物等)。在这种情况下,耦合到控制器408的检测器436可以运行为被配置为捕获与由检测器436捕获的反射光束414相关联的时间脉冲的飞行时间旋光仪。关于基于偏振信息的不同材料的检测的另外的细节在于2017年6月28日提交的第15/636,398号的美国申请和于2017年2月9日提交的编号为15/428,780的美国申请中描述,通过引用将其全文结合于本文。
在一些实施方式中,对于基于飞行时间的深度感测,控制器408基于多个时刻累积的存储在与检测器436中的每个像素相关联的存储库中的电荷的比例来确定深度信息。对于基于飞行时间的深度感测,检测器436可被实现为“单个像素”检测器,例如,光电二极管或APD。可替代地,检测器436可以被实现为“单个超级像素”检测器,例如,SPAD像素的密集阵列,其中,对所有SPAD像素的输出求和以产生模拟输出。随着反射光束414的上升沿入射到检测器436上,在模拟像素输出中产生增加量的光电流。然后,该信号被提供给边缘检测电路,例如电平阈值比较器或恒定系数鉴别器,用于转换成数字时间戳信号。如果单个数字时间戳信号的SNR值高于阈值,则控制器408可利用单个数字时间戳信号来确定目标对象416的深度信息。否则,入射到检测器436上的反射光束414的测量在例如数十、数百或数千重复处理中被聚集。然后,基于多个时间戳上检测器436的模拟像素输出的聚合和数字转换,产生检测器436的聚合数字信号。重复测量,直到聚合数字信号的SNR超过阈值,即,直到聚合数字信号与背景噪声区分开。然后,控制器408可基于聚合数字信号确定目标对象418的深度信息。在一些实施方式中,检测器436可被实现为SPAD阵列,其中每个像素在芯片上或芯片外进行单独的时间-数字转换测量。然后,控制器408可基于在一个或多个时刻从SPAD阵列中的多个像素收集的数字时间戳信号来确定目标对象418的深度信息。在替代实施方式中,对于基于结构化光照明的深度感测,控制器408使用三角测量计算以基于由局部区域中的一个或多个对象的形状扭曲的反射光束414的相移图案来获得局部区域的深度图。
图4B示出了根据实施方式的具有单独的发射和接收通道的光束转向组件440。光束转向组件440包括与接收器444分离的发射器442。发射器442包括照明源446(例如,激光二极管)、准直组件448、基于单个声光偏转器450的精细转向元件、和粗略转向元件452。在一些实施方式中(图4B中未示出),代替单个声光偏转器450,精细转向元件包括定向轴彼此正交的一对声光设备。在一个实施方式中,粗略转向元件452是基于扫描透镜(例如,如图3C所示)实现的。在另一个实施方式中,粗略转向元件452被实现为液体透镜偏转器(例如,如图3D所示)。在又一实施方式中,粗略转向元件452是基于偏振光栅栈(例如,如图3E至图3F所示)实现的。
发射器442的部件以与图4A中的光束转向组件400的发射路径的相应部件相同的方式运行。一个显著的区别在于,由发射器442产生的照明光不需要被偏振,因为发射和接收通道在光束转向组件440中是完全分离的。由此,照明源446可发射一个或多个光束454作为非偏振光。在替代实施方式中,例如,基于来自控制器456的发射指令,一个或多个光束454可以是圆偏振的(右或左)、线性偏振的(垂直或水平)、或椭圆偏振的(右或左)。
在由准直组件448准直之后,一个或多个光束454被声光偏转器450偏转。声光偏转器450基于来自控制器456的发射指令以与图4A中的光束转向组件400的声光偏转器418相同的方式运行。通过使一个或多个光束454偏转,声光偏转器450产生一个或多个一阶偏转扫描光束458。如图4B所示,声光偏转器450包括非透明部件460,该非透明部件460阻挡由声光偏转器450产生的零阶光束并且防止干扰一个或多个一阶偏转扫描光束458。粗略转向元件452进一步偏转(例如,部分基于来自控制器456的发射指令)一个或多个一阶偏转扫描光束458,以产生具有用于扫描一个或多个目标对象(图4B中未示出)的宽视场的出射光462。
由接收器444接收从一个或多个目标对象反射的光464。接收器444的部件以与图4A中的光束转向组件400的接收路径中的相应部件相同的方式运行。从一个或多个目标对象反射的光464以第一偏转角度被另一个粗略转向元件466偏转朝向另一个声光偏转器468(另一个精细转向元件)。声光偏转器468进一步例如以小于第一偏转角度的第二偏转角度向着扩展器470和检测器472(相机)对偏转反射光464进行偏转。可以基于来自控制器456的接收指令来控制第一偏转角度和第二偏转角度。在一些实施方式中,检测器472可以以与图4A中的光束转向组件400的检测器436相同的方式实现和运行。检测器472通过捕获反射光464的部分来捕获一个或多个目标对象的一个或多个图像。
控制器456被配置为以与图4A中的光束转向组件400的控制器408类似的方式控制图4B中的光束转向组件440的各个部件的运行。控制器456控制发射器442和接收器444的部分或全部部件的运行。此外,控制器456可以被配置为基于由检测器472捕获的反射光464的部分确定一个或多个目标对象的深度信息。
将动态转向与针对图4A和图4B中的光束转向组件400和440实现的接收通道视场的匹配相结合,消除了视场和分辨率之间的困难权衡。图4A和图4B中的光束转向组件400和440可在宽角范围内快速地步进并且在稍后时间确定扫描对象的详细特征。这允许将视场和分辨率之间的权衡移动到时域,其中首先建立重要的大规模特征,接下来再关注的详细特征。
在一些实施方式中(图4B中未示出),接收器444不包括声光偏转器468,而是包括不同于声光偏转器468的一些其他精细转向元件。然后接收器444被配置为根据接收指令捕获包含反射光464的部分的局部区域的一个或多个图像。由接收器444捕获的反射光464的部分是从局部区域中的一个或多个对象反射的。在一些实施方式中,接收器444包括用于接收具有特定偏振的反射光464的部分并且传播偏振的反射光464的偏振元件。在一些实施方式中,反射光464的部分包括例如偏手性与出射光462的偏手性正交的圆偏振光。
图5是示出根据实施方式的可在图1中所示的HMD 100处实现的确定局部区域中的对象的深度信息的处理500的流程图。图5的处理500可以由DCA(例如,DCA 240)、光束转向组件(例如,光束转向组件400、光束转向组件440)或其某种组合的部件执行。在其他实施方式中,其他实体(例如,HMD和/或控制台)可以执行处理的一些或所有步骤。同样地,实施方式可以包括不同和/或另外的步骤,或者以不同的顺序执行步骤。
DCA(例如,经由控制器)产生510发射指令和接收指令。DCA可产生包括驱动DCA的动态衍射光栅的射频的发射指令和接收指令。DCA可基于例如存储在DCA的查找表中的射频的预定值列表来产生发射指令和接收指令。在一个实施方式中,预定的射频作为波形被存储在电子芯片中,例如在直接数字合成器中。在另一实施方式中,发射指令和接收指令通过集成到DCA中的语音控制来创建。DCA可将发射指令提供到DCA的发射器内的照明源、精细转向元件,以及可选地,粗略转向元件。基于发射指令,照明源可以发射一个或多个光束。基于发射指令,精细转向元件可使一个或多个光束偏转。响应于发射指令中的射频,DCA在精细转向元件内产生声波,以形成用于一个或多个光束的衍射的动态衍射光栅。DCA可将接收指令提供到DCA内的接收器的一个或多个部件以接收从局部区域反射的光。
DCA部分地基于发射指令,(经由精细转向元件)通过以第一偏转角度偏转一个或多个光束从一个或多个光束产生520一个或多个一阶偏转扫描光束,以形成一个或多个一阶偏转扫描光束。在一些实施方式中,精细转向元件用作一个或多个动态衍射光栅。在一些实施方式中,DCA修改发射指令中的射频以调整一个或多个光束偏转和干涉以形成一个或多个一阶偏转扫描光束的第一偏转角度。在一些实施方式中,一个或多个一阶偏转扫描光束表示偏振光。
DCA 530(例如,经由粗略转向元件)通过以大于第一偏转角度的第二偏转角度偏转一个或多个一阶偏转扫描光束从一个或多个一阶偏转扫描光束产生530出射光,以形成出射光。在一些实施方式中,出射光由一个或多个出射光束构成。在替代实施方式中,出射光为定义图案(例如,线图案或点图案)的结构化光。在说明性实施方式中,第一偏转角度可以沿着水平维度和垂直维度两者在-5度和+5度之间。第二偏转角度可以例如沿着水平尺寸和垂直维度两者在-30度和+30度之间。在一些实施方式中,粗略转向元件可将出射光转向到局部区域的特定部分。在一些实施方式中,粗略转向元件可基于扫描透镜、作为液体透镜偏转器或基于偏振光栅栈来实现。在一些实施方式中,出射光产生为具有圆偏振的偏振光。由粗略转向元件实现的大角度扩展提供了用于局部区域的扫描的大视场。
DCA(例如,经由投影组件)将出射光投射540到局部区域中。在一些实施方式中,出射光为以第一偏手性圆偏振的光。在一些实施方式中,DCA投射540出射光以照亮局部区域的宽视场,以用于局部区域的准确深度感测。DCA还可(例如,经由控制器)通过控制DCA内的动态衍射光栅、第一偏转角度和第二偏转角度来控制局部区域的照亮部分的尺寸。
DCA根据接收指令(例如,经由接收器)捕获550包括由从局部区域中的一个或多个对象反射的出射光的部分组成的反射光的局部区域的一个或多个图像。在一些实施方式中,接收器包括用于接收具有特定偏振的反射光并将偏振的反射光传播到接收器的检测器(相机)的偏振元件。在一些实施方式中,反射光以与出射光的第一偏手性正交的第二偏手性被圆偏振。
DCA部分地基于所捕获的一个或多个图像来(例如,经由控制器)确定560一个或多个对象的深度信息。在一些实施方式中,对于基于飞行时间的深度感测,DCA使用存储在与接收器内的检测器中的每一像素相关联的存储仓中的电荷的比例来确定深度信息。在此情况下,检测器可被配置为在特定时间量将电荷存储在与经反射光的强度相关联的每一存储仓中。在替代实施方式中,对于基于结构化光照明的深度感测,DCA捕获由局部区域中的一个或多个对象的形状扭曲的反射光的相移图案,并且使用三角测量计算来获得局部区域的深度图。DCA可基于例如关于所捕获的反射光的偏振的信息来增强局部区域的深度分辨率。
在一些实施方式中,DCA(例如,经由另一粗略转向元件)通过以第三偏转角度偏转反射光的部分从反射光的部分产生一个或多个一阶偏转反射光束,以形成一个或多个一阶偏转反射光束。在一些实施方式中,粗略转向元件和其他粗略转向元件代表DCA的发射器和接收机所共用的单个部件。
在一些实施方式中,DCA部分地基于接收指令通过(例如,经由另一个精细转向元件)以小于第三偏转角度的第四偏转角度使一个或多个一阶偏转反射光束偏转以形成一个或多个二阶偏转反射光束来产生一个或多个二阶偏转反射光束。在一些实施方式中,精细转向元件和其他精细转向元件代表DCA的发射器和接收器共用的单个部件。在一些实施方式中,其他精细转向元件用作一个或多个动态衍射光栅。在一些实施方式中,DCA修改接收指令中的射频以调整一个或多个一阶偏转反射光束偏转和干涉以形成一个或多个二阶偏转反射光束的第三偏转角度。在一些实施方式中,DCA(例如,经由检测器)通过捕获一个或多个二阶偏转反射光束来捕获一个或多个图像。
在一些实施方式中,DCA被配置为HMD的一部分,例如图1中的HMD 100。在一个实施方式中,DCA将确定的深度信息提供给耦合到HMD的控制台。然后,控制台被配置为基于深度信息产生在HMD的电子显示器上呈现的内容。在另一实施方式中,DCA基于深度信息将所确定的深度信息提供给产生呈现在HMD的电子显示器上的内容的HMD的模块。在替代实施方式中,DCA作为AR系统的一部分被集成到HMD中。在这种情况下,DCA可以被配置为感测并显示佩戴HMD的用户的头部后面的对象或显示先前记录的对象。
系统环境
图6是控制台610在其中运行的HMD系统600的一个实施方式的框图。HMD系统600可以在VR系统环境、AR系统环境、MR系统环境或其某种组合中运行。图6所示的HMD系统600包括HMD 605和耦合到控制台610的输入/输出(I/O)接口615。虽然图6示出了包括一个HMD605和I/O接口615的示例HMD系统600,但是在其他实施方式中,任意数量的这些部件可以被包括在HMD系统600中。例如,可存在各自具有相关联的I/O接口615的多个HMD 605,其中每个HMD 605和I/O接口615与控制台610通信。在替换配置中,HMD系统600中可以包括不同和/或另外的部件。另外,在一些实施方式中,结合图6中示出的一个或多个部件描述的功能可以以与结合图6描述的方式不同的方式分布在部件之间。例如,控制台610的一些或全部功能由HMD 605提供。
HMD 605是向用户呈现内容的头戴式显示器,该内容包括具有计算机产生的元素(例如,二维(2D)或三维(3D)图像、2D或3D视频、声音等)的物理、真实世界环境的虚拟和/或增强视图。在一些实施方式中,所呈现的内容包括经由从HMD 605、控制台610或两者接收音频信息并且基于音频信息呈现音频数据的外部设备(例如,扬声器和/或头戴式耳机)呈现的音频。HMD 605可以包括一个或多个刚性体,其可以刚性地或非刚性地联接在一起。刚性体之间的刚性联接使联接的刚性体充当单个刚性实体。相反,刚性体之间的非刚性联接允许刚性体相对于彼此移动。HMD 605的实施方式是以上结合图1描述的HMD 100。
HMD 605包括DCA 620、电子显示器625、光学组件630、一个或多个位置传感器635、IMU 640、可选的眼睛跟踪系统645和可选的变焦模块650。HMD 605的一些实施方式具有与结合图6描述的那些不同的部件。另外,在其他实施方式中,由结合图6描述的不同部件提供的功能可在HMD 605的部件之间不同地分布。
DCA 620捕获描述围绕HMD 605的一些或全部的局部区域的深度信息的数据。DCA620可使用该数据(例如,基于所捕获偏振光的部分)计算深度信息,或DCA 620可将此信息发送到另一设备,例如控制台610,其可使用来自DCA 620的数据确定深度信息。
DCA 620包括具有发射器、接收器和控制器的光束转向组件。DCA 620的发射器被配置为根据发射指令用出射光照亮局部区域。DCA 620的发射器包括照明源、精细转向元件、粗略转向元件和投影组件。照明源被配置为发射一个或多个光束。在一些实施方式中,照明源直接产生一个或多个光束作为偏振光,例如基于集成到照明源中或放置在照明源前方的偏振元件。在替代实施方式中,照明源产生一个或多个光束作为非偏振光。精细转向元件被配置为部分地基于发射指令使一个或多个光束以第一偏转角度偏转以产生一个或多个一阶偏转扫描光束。一个或多个一阶偏转扫描光束耦合到粗略转向元件中。粗略转向元件被配置为以大于第一偏转角度的第二偏转角度使一个或多个一阶偏转扫描光束偏转,以产生具有大角度扩展的出射光。粗略转向元件可基于例如扫描透镜、偏振光栅栈、液晶光栅等。在一些实施方式中,粗略转向元件部分基于发射指令使一个或多个一阶偏转扫描光束偏转。所产生的具有大角度扩展的出射光提供用于扫描在局部区域中的一个或多个对象的宽视场。在一些实施方式中,出射光由一个或多个出射光束构成。在替代实施方式中,出射光为定义图案(例如,点图案或线图案)的结构化光。在一些实施方式中,出射光为偏振光,例如,第一偏手性的圆偏振光。该投影组件被配置为用于将该出射光投射到该局部区域中。
DCA 620的接收器被配置为根据接收指令捕获包括由从局部区域中的一个或多个对象反射的部分出射光组成的反射光的局部区域的一个或多个图像。在一些实施方式中,DCA 620的接收器包括用于接收具有特定偏振的反射光并传播偏振的反射光的偏振元件。在一些实施方式中,偏振元件对于发射器和接收器两者都是共用的。在一些实施方式中,反射光包括例如与出射光的第一偏手性正交的第二偏手性的圆偏振光。
在一些实施方式中,DCA 620的接收器包括另一粗略转向元件、另一精细转向元件和检测器。发射器的精细转向元件和接收器的其他精细转向元件可表示发送器和接收器共用的单个部件。类似地,发射器的粗略转向元件和接收器的其他粗略转向元件可表示发送器和接收器共用的另一个单个部件。另一个粗略转向元件被配置为使反射光以第三偏转角度偏转以产生一个或多个一阶偏转反射光束。该一个或多个一阶偏转反射光束被耦合到另一个精细转向元件中。另一个精细转向元件被配置为部分地基于接收指令使一个或多个一阶偏转反射光束以小于第三偏转角度的第四偏转角度偏转,以产生一个或多个二阶偏转反射光束。检测器被配置为通过捕获一个或多个二阶偏转反射光束来捕获一个或多个图像。
DCA 620的控制器可耦合到发射器和接收器两者。DCA 620的控制器产生发射指令和接收指令。DCA 620的控制器将发射指令提供给发射器的一个或多个部件,例如照明源、精细转向元件和/或粗略转向元件。DCA 620的控制器可将接收指令提供给接收器的一个或多个部件,例如,另一个精细转向元件和/或另一个粗略转向元件。DCA 620的控制器还被配置为部分地基于所捕获的一个或多个图像来确定一个或多个对象的深度信息。DCA 620是图2中的DCA 240、图4A中的光束转向组件400或图4B中的光束转向组件440的实施方式。
电子显示器625根据从控制台610接收的数据向用户显示2D或3D图像。在不同实施方式中,电子显示器625包括单个电子显示器或多个电子显示器(例如,用于用户的每只眼睛的显示器)。电子显示器625的示例包括:液晶显示器(LCD)、有机发光二极管(OLED)显示器、无机发光二极管(ILED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、透明有机发光二极管(TOLED)显示器、一些其他显示器或其某种组合。
光学组件630放大从电子显示器625接收的图像光,校正与图像光相关联的光学误差,并且向HMD 605的用户呈现校正的图像光。光学组件630包括多个光学元件。包括在光学组件630中的示例光学元件包括:光圈、菲涅耳透镜、凸透镜、凹透镜、滤波器、反射面或影响图像光的任何其他合适的光学元件。此外,光学组件630可以包括不同光学元件的组合。在一些实施方式中,光学组件630中的一个或多个光学元件可具有一个或多个涂层,诸如部分反射或抗反射涂层。
光学组件630对图像光的放大和聚焦允许电子显示器625在物理上小于、在重量上小于和在功耗上小于较大的显示器。另外,放大可增加由电子显示器625呈现的内容的视场。例如,所显示内容的视场为所显示内容使用几乎全部的用户的视场来呈现(例如,约110度对角线),并且在一些情况下的用户的全部视场来呈现。另外,在一些实施方式中,可通过添加或移除光学元件来调整放大量。
在一些实施方式中,光学组件630可以被设计成校正一种或多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差可进一步包括由于透镜场曲率、像散、或任何其他类型的光学误差而引起的球面像差、色差或误差。在一些实施方式中,提供给电子显示器625显示的内容被预先失真,并且光学组件630在其从电子显示器625接收基于内容产生的图像光时校正失真。
IMU 640是电子设备,其基于从一个或多个位置传感器635接收的测量信号和从DCA 620接收的深度信息来产生指示HMD 605的位置的数据。位置传感器635响应于HMD 605的运动产生一个或多个测量信号。位置传感器635的示例包括:一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一合适类型的传感器、用于IMU 640的误差校正的传感器的类型或其某种组合。位置传感器635可以位于IMU 640的外部,IMU 640的内部,或其某种组合。
基于来自一个或多个位置传感器635的一个或多个测量信号,IMU 640产生指示HMD 605相对于HMD 605的初始位置的估计的当前位置的数据。例如,位置传感器635包括用于测量平移运动(正向/反向、向上/向下、左/右)的多个加速度计和用于测量旋转运动(例如,俯仰、偏航、滚动)的多个陀螺仪。在一些实施方式中,IMU 640快速采样测量信号并且根据采样数据计算HMD 605的估计当前位置。例如,IMU 640将从加速度计接收的测量信号在时间上进行积分以估计速度矢量,并且将速度矢量在时间上进行积分以确定HMD 100上的参考点的估计的当前位置。可替代地,IMU 640将采样的测量信号提供给控制台610,该控制台解释数据以减少错误。参考点是可用于描述HMD 605的位置的点。参考点通常可以被定义为空间中的点或与HMD的605取向和位置相关的位置。
IMU 640从控制台610接收一个或多个参数。该一个或多个参数用于维持对HMD605的跟踪。基于所接收的参数,IMU 640可以调整一个或多个IMU参数(例如,采样速率)。在一些实施方式中,某些参数使得IMU 640更新参考点的初始位置,从而使其对应于参考点的下一个位置。将参考点的初始位置更新为参考点的下一校准位置有助于减少与IMU 640的当前位置估计相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随着时间“漂移”远离参考点的实际位置。在HMD 605的一些实施方式中,IMU 640可以是专用硬件部件。在其他实施方式中,IMU 640可以是在一个或多个处理器中实现的软件部件。
在一些实施方式中,眼睛跟踪系统645被集成到HMD 605中。眼睛跟踪系统645确定与佩戴HMD 605的用户的眼睛相关联的眼睛跟踪信息。由眼睛跟踪系统645确定的眼睛跟踪信息可包括关于用户的眼睛的定向的信息,即,关于视线的角度的信息。在一些实施方式中,眼睛跟踪系统645被集成到光学组件630中。眼睛跟踪系统645的实施方式可包括照明源和成像设备(相机)。
在一些实施方式中,变焦模块650进一步被集成到HMD 605中。变焦模块650可以耦合到眼睛跟踪系统645以获得由眼睛跟踪系统645确定的眼睛跟踪信息。变焦模块650可被配置为基于从眼睛跟踪系统645获得的所确定的眼睛跟踪信息来调整在电子显示器625上显示的一个或多个图像的焦点。以此方式,变焦模块650可缓解关于图像光的聚散调节冲突。变焦模块650可以与光学组件630的电子显示器625和至少一个光学元件中的至少一个进行接口(例如,机械地或电气地)。然后,变焦模块650可以被配置为基于从眼睛跟踪系统645获得的所确定的眼睛跟踪信息通过调整光学组件630的电子显示器625和至少一个光学元件中的至少一个的位置来调整在电子显示器625上显示的一个或多个图像的焦点。通过调整位置,变焦模块650改变从电子显示器625向用户的眼睛输出的图像光的焦点。变焦聚焦模块650还可以被配置为至少部分地基于从眼睛跟踪系统645获得的所确定的眼睛跟踪信息通过执行对所显示的图像的中央凹渲染来调整在电子显示器625上显示的图像的分辨率。在这种情况下,变焦模块650向电子显示器625提供适当的图像信号。变焦模块650仅在用户的视线的中央凹区域中为电子显示器625提供具有最大像素密度的图像信号,同时在电子显示器625的其他区域中提供具有较低像素密度的图像信号。在一些实施方式中,变焦模块650耦合到DCA 620。在一个实施方式中,变焦模块650可以利用由DCA 620获得的深度信息来例如产生在电子显示器625上呈现的内容。在其他实施方式中,变焦模块650可以控制DCA 620的扫描和感测运行。例如,变焦模块650可以部分地基于关于用户的眼睛的聚散和/或调节的信息来控制正在扫描和感测的DCA 620周围的局部区域的哪个部分,以便缓解聚散调节冲突。
I/O接口615是允许用户发送动作请求并从控制台610接收响应的设备。动作请求是执行特定动作的请求。例如,动作请求可以是开始或结束图像或视频数据的捕获的指令或执行应用内的特定动作的指令。I/O接口615可以包括一个或多个输入设备。示例输入设备包括:键盘、鼠标、游戏控制器或用于接收动作请求并将动作请求传送到控制台610的任何其他合适的设备。由I/O接口615接收的动作请求被传送到控制台610,控制台610执行与动作请求相对应的动作。在一些实施方式中,I/O接口615包括IMU 640,该IMU捕获指示I/O接口615相对于I/O接口615的初始位置的估计位置的校准数据。在一些实施方式中,I/O接口615可根据从控制台610接收的指令向用户提供触觉反馈。例如,当接收到动作请求时提供触觉反馈,或者控制台610向I/O接口615传送指令,使得I/O接口615在控制台610执行动作时产生触觉反馈。
控制台610向HMD 605提供内容以根据从DCA 620、HMD 605和I/O接口615中的一个或多个接收的信息进行处理。在图6所示的示例中,控制台610包括应用商店655、跟踪模块660和引擎665。控制台610的一些实施方式具有与结合图6描述的模块或部件不同的模块或部件。类似地,下面进一步描述的功能可以与结合图6描述的方式不同的方式分布在控制台610的部件之间。
应用商店655存储由控制台610执行的一个或多个应用。应用是一组指令,当由处理器执行时,其产生向用户呈现的内容。由应用产生的内容可以响应于经由HMD 605或I/O接口615的移动从用户接收的输入。应用的示例包括:游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块660使用一个或多个校准参数校准HMD系统600,且可调整一个或多个校准参数以减少对HMD 605或I/O接口615的位置的确定中的误差。例如,跟踪模块660将校准参数传送到DCA 620以调整DCA 620的焦点以更准确地确定由DCA 620捕获的结构化光元件的位置。跟踪模块660执行的校准还考虑从HMD 605中的IMU 640和/或包括在I/O接口615中的IMU 640接收的信息。另外,如果HMD 605的跟踪丢失(例如,DCA 620失去至少阈值数目的结构化光元件的视线),则跟踪模块660可重新校准HMD系统600的一些或全部。
跟踪模块660使用来自DCA 620、一个或多个位置传感器635、IMU 640或其某种组合的信息跟踪HMD 605或I/O接口615的移动。例如,跟踪模块650基于来自HMD 605的信息在局部区域的映射中确定HMD 605的参考点的位置。跟踪模块660还可以分别使用指示来自IMU 640的HMD 605的位置的数据或使用来自包括在I/O接口615中的IMU 640的指示I/O接口615的位置的数据来确定HMD 605的参考点或I/O接口615的参考点的位置。另外,在一些实施方式中,跟踪模块660可使用来自IMU640的指示HMD 605的位置的数据部分以及来自DCA 620的局部区域的表示来预测HMD 605的未来位置。跟踪模块660将HMD 605或I/O接口615的估计或预测的未来位置提供给引擎655。
引擎665基于从HMD 605接收的信息产生包围HMD 605的一些或全部的区域(即,“局部区域”)的3D映射。在一些实施方式中,引擎665基于从DCA 620接收的与在计算深度中使用的技术相关的信息来确定局部区域的3D映射的深度信息。引擎665可在从由DCA 620检测的反射偏振光的部分计算深度中使用一种或多种技术计算深度信息,例如结构化光照明技术和飞行时间技术。在不同实施方式中,引擎665使用深度信息来例如更新局部区域的模型,并且部分地基于更新的模型来产生内容。
引擎665还执行HMD系统600内的应用,并从跟踪模块660接收HMD 605的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于所接收的信息,引擎665确定提供给HMD 605以呈现给用户的内容。例如,如果接收到的信息指示用户已注视左侧,则引擎665产生反映用户在虚拟环境中的移动的HMD605的内容,或者在利用附加内容增强局部区域的环境中。另外,引擎665响应于从I/O接口615接收的动作请求在控制台610上执行的应用内执行动作,并且向用户提供该动作被执行的反馈。所提供的反馈可以是经由HMD605的视觉或可听反馈或经由I/O接口615的触觉反馈。
在一些实施方式中,基于从眼睛跟踪系统645接收到的眼睛跟踪信息(例如,用户的眼睛的定向),引擎665确定提供给HMD 605的内容的分辨率以在电子显示器625上呈现给用户。引擎665将内容提供给HMD 605,HMD 605在用户注视的中央凹区域中在电子显示器625上具有最大像素分辨率,而引擎665在电子显示器625的其他区域中提供较低像素分辨率,因此在HMD 605实现较少的功耗并且节省控制台610的计算周期而不损害用户的视觉体验。在一些实施方式中,引擎665可进一步使用眼睛跟踪信息来调整在电子显示器625上显示对象的位置以防止聚散调节冲突。
附加配置信息
出于说明的目的已经呈现了本公开的实施方式的前述描述;且不旨在穷尽的或者将本公开内容局限于所公开的精确形式。本领域的技术人员可根据以上公开的内容理解许多修改形式和变型形式是可能的。
本说明书的一些部分根据对信息的运行的算法和符号表示来描述本公开的实施方式。这些算法描述和表示通常由数据处理领域中的技术人员使用以将他们工作的实质有效地传达给本领域其他技术人员。这些运算,当被描述为功能性的、计算性的或逻辑性的时,被理解为由计算机程序或其他等同电路、微码等实施。此外,有时,把这些运算的安排称为模块也是方便的,并且不失其一般性。所描述的运算及其关联模块可具体化为软件、固件、硬件或以上设备的任意组合。
本文描述的任何步骤、运行或处理可被一个或多个硬件或软件模块单独或与其他设备组合执行或实施。在一个实施方式中,软件模块可被计算机程序产品实现,该计算机程序产品包括包含计算机程序代码的计算机可读介质,该程序代码可被用于执行任何或所有步骤、运行或处理的计算机处理器执行。
本公开的实施方式还可以涉及用于执行本文中的运行的设备。这种设备可以是为所需的目的特别建造的,和/或该设备可包括被储存在计算机中的计算机程序选择性启动或重新配置的通用计算设备。这种计算机程序可被存储在适用于存储电子指令的易失性计算机可读存储介质、非易失性计算机可读存储介质或任何类型的介质中,并被耦合至计算机系统的总线。此外,在说明书中提及的任何计算系统可以包括单个处理器,或者可以是采用多个处理器设计以增加计算能力的架构。
本公开的实施方式还可以涉及由在此描述的计算处理产生的产品。该产品可包括由计算处理产生的信息,其中,信息存储在非易失性、易失性的计算机可读存储介质中并且可包括计算机程序产品或者此处所描述的其他数据组合的任何实施方式。
最后,原则上出于可读性和说明性之目的来选择本说明书中使用的语言,并且所使用的语言并不被选择来划定或者限制本发明的主题。因此,意图是本公开的范围不受该详细描述的限制,而是由在基于此的应用上提出的任何权利要求所限制。因此,实施方式的公开内容旨在用于说明,而非限制在所附权利要求中阐述的本公开的范围。

Claims (20)

1.一种深度相机组件(DCA),包括:
发射器,被配置为根据发射指令利用出射光照亮局部区域,所述发射器包括:
照明源,被配置为发射一个或多个光束;
精细转向元件,被配置为部分地基于所述发射指令以第一偏转角度偏转所述一个或多个光束,以产生一个或多个一阶偏转扫描光束,
粗略转向元件,被配置为以大于所述第一偏转角度的第二偏转角度使所述一个或多个一阶偏转扫描光束偏转,以产生所述出射光,以及
投影组件,被配置为将所述出射光投射到所述局部区域中;
接收器,被配置为根据接收指令捕获所述局部区域的一个或多个图像,所述一个或多个图像包括反射光,所述反射光由从所述局部区域中的一个或多个对象反射的部分所述出射光组成;以及
控制器,被配置为:
产生所述发射指令和所述接收指令,
将所述发射指令提供至所述精细转向元件,并且
部分地基于捕获的所述一个或多个图像来确定所述局部区域中的所述一个或多个对象的深度信息。
2.根据权利要求1所述的深度相机组件,其中,所述接收器包括检测器,所述检测器被配置为:
通过针对一个或多个时刻的每个时刻在所述检测器的每个像素处捕获与所述反射光有关的光信号来捕获所述局部区域的所述一个或多个图像。
3.根据权利要求2所述的深度相机组件,其中,所述控制器进一步被配置为:基于与在所述一个或多个时刻期间在所述检测器的每个像素处捕获的所述反射光有关的一个或多个光信号,确定所述深度信息。
4.根据权利要求2所述的深度相机组件,其中,所述检测器包括单光子雪崩二极管(SPAD)像素阵列。
5.根据权利要求1所述的深度相机组件,其中,所述接收器包括检测器,所述检测器具有用于捕获所述局部区域的所述一个或多个图像的单个输出,所述检测器选自由以下各项组成的组:光电二极管、雪崩光电二极管(APD)、硅光电倍增器(SiPM)。
6.根据权利要求1所述的深度相机组件,其中:
所述接收器包括硅光电倍增器(SiPM),所述硅光电倍增器包括单光子雪崩二极管(SPAD)像素阵列,
所述单光子雪崩二极管(SPAD)像素阵列中的每个像素在一个或多个时刻的每个时刻捕获与所述反射光相关联的光信号;
针对每个时刻,将所述单光子雪崩二极管(SPAD)像素阵列捕获的光信号进行求和,以产生模拟输出信号;
所述接收器进一步包括电路,所述电路被配置为:
针对每个时刻,将所述模拟输出信号转换成与这个时刻相关联的数字时间戳信号,并且
在所述一个或多个时刻内,将与每个时刻相关联的所述数字时间戳信号聚合成聚合数字信号;
所述控制器进一步被配置为基于所述聚合数字信号确定所述深度信息。
7.根据权利要求1所述的深度相机组件,其中,所述接收器包括:
另一个粗略转向元件,被配置为以第三偏转角度偏转所述反射光,以产生一个或多个一阶偏转反射光束,
另一个精细转向元件,被配置为部分地基于所述接收指令以小于所述第三偏转角度的第四偏转角度偏转所述一个或多个一阶偏转反射光束,以产生一个或多个二阶偏转反射光束,以及
检测器,被配置为通过捕获所述一个或多个二阶偏转反射光束来捕获所述一个或多个图像。
8.根据权利要求7所述的深度相机组件,其中:
所述精细转向元件和所述另一个精细转向元件是所述发射器和所述接收器共用的单个部件;以及
所述粗略转向元件和所述另一个粗略转向元件是所述发射器和所述接收器共用的另一个单个部件。
9.根据权利要求7所述的深度相机组件,其中:
所述发射器进一步包括偏振元件,所述偏振元件被配置为产生所述出射光作为偏振光;以及
所述接收器进一步包括另一个偏振元件,所述另一个偏振元件被配置为接收具有限定的偏振的所述一个或多个二阶偏转反射光束并且将所述一个或多个二阶偏转反射光束传播至所述检测器。
10.根据权利要求1所述的深度相机组件,其中,所述精细转向元件包括声光设备,所述声光设备被配置为用作动态衍射光栅,所述动态衍射光栅部分地基于所述发射指令使所述一个或多个光束以所述第一偏转角度衍射,以产生所述一个或多个一阶偏转扫描光束。
11.根据权利要求10所述的深度相机组件,其中,所述控制器进一步被配置为:
创建所述发射指令,所述发射指令包括射频,其中,以所述射频驱动所述声光设备;以及
修改所述射频以调整所述一个或多个光束被所述声光设备偏转的所述第一偏转角度,以形成所述一个或多个一阶偏转扫描光束,并且
其中,所述声光设备包括换能器和偏转区域,并且响应于所述发射指令中的所述射频,所述换能器被配置为在所述偏转区域内产生声波,以形成所述动态衍射光栅。
12.根据权利要求1所述的深度相机组件,其中,所述精细转向元件选自由以下各项组成的组:在布拉格方案下运行的声光偏转器、表面声波偏转器、在拉曼-奈斯方案下运行的薄光栅。
13.根据权利要求1所述的深度相机组件,其中,所述粗略转向元件选自由以下各项组成的组:一对扫描透镜、液体透镜偏转器、偏振光栅栈。
14.根据权利要求13所述的深度相机组件,其中,所述偏振光栅栈包括:耦合到可开关偏振光栅的液晶半波片,或者耦合到一对被动偏振光栅的一对液晶半波片。
15.一种方法,包括:
产生发射指令和接收指令;
部分地基于所述发射指令,通过使用用于形成一个或多个一阶偏转扫描光束的精细转向元件以第一偏转角度偏转一个或多个光束以从所述一个或多个光束产生所述一个或多个一阶偏转扫描光束;
通过使用用于形成出射光的粗略转向元件以大于所述第一偏转角度的第二偏转角度偏转所述一个或多个一阶偏转扫描光束,从所述一个或多个一阶偏转扫描光束产生所述输出光;
将所述出射光投射到局部区域中;
根据所述接收指令捕获所述局部区域的一个或多个图像,所述一个或多个图像包括反射光,所述反射光由从所述局部区域中的一个或多个对象反射的部分所述出射光组成;以及
部分地基于捕获的所述一个或多个图像来确定所述局部区域中的所述一个或多个对象的深度信息。
16.根据权利要求15所述的方法,进一步包括:
通过使用用于形成一个或多个一阶偏转反射光束的另一个粗略转向元件以第三偏转角度使所述反射光偏转,从所述反射光产生所述一个或多个一阶偏转反射光束;
部分地基于所述接收指令,通过使用形成一个或多个二阶偏转反射光束的另一个精细转向元件以小于所述第三偏转角度的第四偏转角度偏转所述一个或多个一阶偏转反射光束,产生所述一个或多个二阶偏转反射光束;
通过捕捉所述一个或多个二阶偏转反射光束来捕捉所述一个或多个图像。
17.根据权利要求15所述的方法,进一步包括:
通过针对一个或多个时刻的每个时刻在检测器的每个像素处捕获所述反射光来捕获所述局部区域的所述一个或多个图像;以及
基于与在所述一个或多个时刻期间在所述检测器的每个像素处捕获的所述反射光有关的一个或多个光信号,确定所述深度信息。
18.权利要求15所述的方法,其中,产生所述一个或多个一阶偏转扫描光束包括:
部分基于所述发射指令使用动态衍射光栅衍射所述一个或多个光束,以形成所述一个或多个一阶偏转扫描光束。
19.根据权利要求18所述的方法,进一步包括:
产生包括关于射频的信息的所述发射指令;
响应于所述发射指令中的所述射频,产生声波以形成所述动态衍射光栅;以及
修改所述射频以调整所述一个或多个光束偏转的所述第一偏转角度,以形成所述一个或多个一阶偏转扫描光束。
20.一种头戴式显示器(HMD),包括:
电子显示器,被配置为发射图像光;
发射器,被配置为根据发射指令利用出射光照亮局部区域,所述发射器包括:
照明源,被配置为发射一个或多个光束;
精细转向元件,被配置为部分地基于所述发射指令以第一偏转角度偏转所述一个或多个光束,以产生一个或多个一阶偏转扫描光束,
粗略转向元件,被配置为以大于所述第一偏转角度的第二偏转角度使所述一个或多个一阶偏转扫描光束偏转,以产生所述出射光,以及
投影组件,被配置为将所述出射光投射到所述局部区域中;接收器,被配置为根据接收指令捕获所述局部区域的一个或多个图像,所述一个或多个图像包括反射光,所述反射光由从所述局部区域中的一个或多个对象反射的部分所述出射光组成;以及
控制器,被配置为:
产生所述发射指令和所述接收指令,
将所述发射指令提供至所述精细转向元件,并且
部分地基于捕获的所述一个或多个图像来确定所述局部区域中的所述一个或多个对象的深度信息;以及
光学组件,被配置为将所述图像光引导至所述头戴式显示器(HMD)的与用户的眼睛的位置相对应的出射光瞳,所述图像光包括确定的所述深度信息。
CN201811031191.2A 2017-09-06 2018-09-05 用于深度感测的非机械光束转向 Pending CN109459849A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/696,907 2017-09-06
US15/696,907 US10574973B2 (en) 2017-09-06 2017-09-06 Non-mechanical beam steering for depth sensing

Publications (1)

Publication Number Publication Date
CN109459849A true CN109459849A (zh) 2019-03-12

Family

ID=65518782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811031191.2A Pending CN109459849A (zh) 2017-09-06 2018-09-05 用于深度感测的非机械光束转向

Country Status (2)

Country Link
US (3) US10574973B2 (zh)
CN (1) CN109459849A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187596A (zh) * 2019-06-26 2019-08-30 业成科技(成都)有限公司 光学投影装置与电子设备
CN110221444A (zh) * 2019-06-06 2019-09-10 深圳市麓邦技术有限公司 成像系统
CN110244309A (zh) * 2019-06-21 2019-09-17 浙江舜宇光学有限公司 深度的检测系统和方法
CN111856483A (zh) * 2019-04-01 2020-10-30 源奇科技股份有限公司 可调式光投射器
CN112415746A (zh) * 2019-08-22 2021-02-26 宏达国际电子股份有限公司 显示设备
CN112987286A (zh) * 2021-04-21 2021-06-18 中国工程物理研究院流体物理研究所 一种基于体布拉格光栅的光束扫描系统
CN113075691A (zh) * 2020-01-03 2021-07-06 华为技术有限公司 一种tof深度传感模组和图像生成方法
CN113075641A (zh) * 2020-01-03 2021-07-06 华为技术有限公司 一种tof深度传感模组和图像生成方法
US11126060B2 (en) 2017-10-02 2021-09-21 Liqxtal Technology Inc. Tunable light projector
CN114930225A (zh) * 2019-09-12 2022-08-19 元平台技术有限公司 非偏振图像光的基于偏振的处理
CN116559837A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于超透镜准直的声光偏转模组、光电装置及电子设备
CN116559839A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于柱面透镜准直的声光偏转模组、光电装置及电子设备
CN116559834A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于超透镜的声光偏转发射模组、检测装置及电子设备
CN116559838A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于柱面透镜扩束的声光偏转模组、光电装置及电子设备
CN116559835A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于柱面透镜的声光偏转发射模组、检测装置及电子设备
CN116559836B (zh) * 2023-07-06 2023-11-10 深圳赋能光达科技有限公司 基于扩散片扩束的声光偏转模组、光电装置及电子设备
JP7430906B2 (ja) 2020-06-10 2024-02-14 国立大学法人長岡技術科学大学 光線走査広角化システム

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10436910B2 (en) * 2016-09-20 2019-10-08 Apple Inc. Line scan depth sensor comparing a time dependent waveform of the signals to an expected waveform
US10451947B1 (en) * 2016-10-31 2019-10-22 Facebook Technologies, Llc Apochromatic pancharatnam berry phase (PBP) liquid crystal structures for head-mounted displays
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US11236993B1 (en) 2017-06-08 2022-02-01 Facebook Technologies, Llc Depth sensing using a time of flight system including a scanning beam in combination with a single photon avalanche diode array
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
JP6892603B2 (ja) * 2017-12-07 2021-06-23 富士通株式会社 距離計測装置、距離計測方法および距離計測プログラム
US11846779B2 (en) 2018-03-15 2023-12-19 Meta Platforms Technologies, Llc Display device with varifocal optical assembly
US11175508B2 (en) 2018-03-15 2021-11-16 Facebook Technologies, Llc Display device with varifocal optical assembly
US20190285891A1 (en) * 2018-03-15 2019-09-19 Oculus Vr, Llc Image quality of pancharatnam berry phase components using polarizers
US11175507B2 (en) 2018-03-15 2021-11-16 Facebook Technologies, Llc Polarization-sensitive components in optical systems for large pupil acceptance angles
US10298325B1 (en) * 2018-03-28 2019-05-21 Facebook, Inc. Optical transceiver for controlling steering angle between receive light beam and transmit light beam
US11698445B2 (en) * 2018-09-04 2023-07-11 GM Global Technology Operations LLC Automotive Lidar with multi-spectral depth imaging and discrete scanning mechanism
KR102649560B1 (ko) * 2019-05-24 2024-03-19 삼성전자주식회사 광학 무선 통신 시스템
CN110133676B (zh) * 2019-06-21 2021-06-11 浙江舜宇光学有限公司 深度的检测系统和方法
US11768277B2 (en) * 2019-11-05 2023-09-26 Pixart Imaging Incorporation Time-of-flight sensor and control method thereof
US11668932B2 (en) * 2020-01-06 2023-06-06 Meta Platforms Technologies, Llc Switchable Pancharatnam-Berry phase grating stack
US11448803B1 (en) 2020-01-06 2022-09-20 Facebook Technologies, Llc Pancake lens including diffuser
US11294184B2 (en) 2020-01-06 2022-04-05 Facebook Technologies, Llc Foveated display system
EP4104005A4 (en) * 2020-02-11 2024-03-20 Valve Corp POLARIZATION-BASED MULTIPLEXING OF DIFFRACTION ELEMENTS FOR ILLUMINATION OPTICS
US11317031B2 (en) * 2020-03-30 2022-04-26 Amazon Technologies, Inc. High intensity pattern projection and general illumination using rolling shutter camera and a synchronized scanning laser
CA3125716C (en) 2020-07-21 2024-04-09 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
WO2022016276A1 (en) * 2020-07-21 2022-01-27 Leddartech Inc. Beam-steering device particularly for lidar systems
CA3125718C (en) 2020-07-21 2023-10-03 Leddartech Inc. Beam-steering devices and methods for lidar applications
US20240013752A1 (en) * 2020-08-03 2024-01-11 Arizona Board Of Regents On Behalf Of The University Of Arizona Perceptual-driven foveated displays
US11009595B1 (en) * 2020-11-13 2021-05-18 Bae Systems Information And Electronic Systems Integration Inc. Continuously variable optical beam splitter
US11002956B1 (en) 2020-11-19 2021-05-11 Bae Systems Information And Electronic Systems Integration Inc. Refractive laser communication beam director with dispersion compensation
KR20220077724A (ko) * 2020-12-02 2022-06-09 삼성전자주식회사 메타 표면을 이용한 디스플레이 장치
WO2022170135A1 (en) * 2021-02-05 2022-08-11 Boulder Nonlinear Systems, Inc. Simultaneous focusing of an optical system to multiple focal planes using liquid crystal polarization lenses
US11592674B2 (en) * 2021-05-03 2023-02-28 Microsoft Technology Licensing, Llc External illumination with reduced detectability

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103053167A (zh) * 2010-08-11 2013-04-17 普莱姆森斯有限公司 扫描投影机及用于3d映射的图像捕获模块
US20140192214A1 (en) * 2013-01-05 2014-07-10 Tinz Optics, Inc. Methods and apparatus for using multiple optical chains in paralell
CN205157881U (zh) * 2015-11-18 2016-04-13 中国工程物理研究院激光聚变研究中心 一种基于电光-机械复合偏转的激光振镜
CN107250882A (zh) * 2014-11-07 2017-10-13 奥斯特豪特集团有限公司 用于头戴式计算的电源管理
CN107850780A (zh) * 2015-06-29 2018-03-27 微软技术许可有限责任公司 全息近眼显示
CN108027881A (zh) * 2015-09-24 2018-05-11 微软技术许可有限责任公司 使用多种捕捉技术的用户认证
CN108353115A (zh) * 2015-08-19 2018-07-31 弗劳恩霍夫应用研究促进协会 具有包括反射小平面的光束偏转设备的多孔径成像设备

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4597634A (en) * 1984-01-05 1986-07-01 Georgia Tech Research Institute Stereoscopic process and apparatus
US4770530A (en) * 1986-04-23 1988-09-13 Kollmorgen Corporation Remote spectrophotometer
JP3925986B2 (ja) 1996-12-16 2007-06-06 富士通株式会社 高さ測定装置及び高さ測定方法
FR2768821B1 (fr) 1997-09-23 2000-02-04 Thomson Csf Procede d'imagerie tridimensionnelle a partir d'images thermiques
US20040108971A1 (en) 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
US6208466B1 (en) 1998-11-25 2001-03-27 3M Innovative Properties Company Multilayer reflector with selective transmission
US7819003B2 (en) 2002-06-11 2010-10-26 Intelligent Technologies International, Inc. Remote monitoring of fluid storage tanks
WO2002091028A2 (en) 2001-05-03 2002-11-14 Colorado School Of Mines Devices employing colloidal-sized particles
CA2364601A1 (en) * 2001-12-03 2003-06-03 Utar Scientific Inc. Computer-assisted hologram forming method and apparatus
US6873398B2 (en) 2003-05-21 2005-03-29 Esko-Graphics A/S Method and apparatus for multi-track imaging using single-mode beams and diffraction-limited optics
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
WO2006012677A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Electronic stylus
US7812936B2 (en) 2007-04-09 2010-10-12 Identification International, Inc. Fingerprint imaging system
DE102007024700A1 (de) * 2007-05-25 2008-12-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Materialbearbeitung mit Laserstrahlung sowie Vorrichtung zur Durchführung des Verfahrens
US20090135488A1 (en) * 2007-11-08 2009-05-28 Fujitsu Limited Optical device and wavelength selective switch
US8184279B2 (en) 2008-06-16 2012-05-22 The Regents Of The University Of Colorado, A Body Corporate Fourier domain sensing
JP4666046B2 (ja) 2008-10-10 2011-04-06 富士ゼロックス株式会社 光書き込み装置、及びプログラム
US8054290B2 (en) 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor
TWI523720B (zh) 2009-05-28 2016-03-01 伊雷克托科學工業股份有限公司 應用於雷射處理工件中的特徵的聲光偏轉器及相關雷射處理方法
US20110242298A1 (en) 2009-08-21 2011-10-06 Microsoft Corporation Private video presentation
US8654424B2 (en) * 2009-09-15 2014-02-18 Ricoh Company, Ltd. Multibeam deflector for separating beams output from optical deflection devices
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110188116A1 (en) * 2010-02-02 2011-08-04 Nikolay Ledentsov Ledentsov Device for generation of three-demensional images
US9557574B2 (en) 2010-06-08 2017-01-31 Microsoft Technology Licensing, Llc Depth illumination and detection optics
US9045933B2 (en) * 2011-06-06 2015-06-02 The Board Of Trustees Of The University Of Illinois Energy-efficient smart window system
ES2836487T3 (es) * 2011-12-06 2021-06-25 E Vision Smart Optics Inc Sistemas, dispositivos y/o métodos para proporcionar imágenes
WO2013183302A1 (ja) * 2012-06-08 2013-12-12 パナソニック株式会社 音響光学撮像装置
US9529156B2 (en) 2012-06-26 2016-12-27 Acacia Communications, Inc. Cladding defined transmission grating
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9841563B2 (en) 2012-08-04 2017-12-12 Paul Lapstun Shuttered waveguide light field display
US9860522B2 (en) 2012-08-04 2018-01-02 Paul Lapstun Head-mounted light field display
GB2508578A (en) 2012-09-13 2014-06-11 Univ Kent Canterbury Multiple Paths Measuring and Imaging Apparatus and Method
US9277480B2 (en) * 2013-03-15 2016-03-01 Facebook, Inc. Cloud controller for next generation data network
US20140293011A1 (en) 2013-03-28 2014-10-02 Phasica, LLC Scanner System for Determining the Three Dimensional Shape of an Object and Method for Using
US9294758B2 (en) 2013-04-18 2016-03-22 Microsoft Technology Licensing, Llc Determining depth data for a captured image
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
MX2016005338A (es) 2013-10-23 2017-03-20 Facebook Inc Representacion de profundidad tri-dimensional con el uso de luz estructurada dinamica.
JP6074115B2 (ja) 2013-10-31 2017-02-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 多光子ベースの皮膚処理のための皮膚処理装置
CA2931776A1 (en) * 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP6317960B2 (ja) * 2014-03-10 2018-04-25 オリンパス株式会社 頭部装着型表示装置
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150338718A1 (en) 2014-05-22 2015-11-26 Intel Corporation Acousto-optic deflector with multiple transducers for optical beam steering
JP6892214B2 (ja) * 2014-07-10 2021-06-23 アイエムエス ナノファブリケーション ゲーエムベーハー 畳み込みカーネルを使用する粒子ビーム描画機のカスタマイズ化
CN105336759B (zh) 2014-08-06 2018-06-29 上海和辉光电有限公司 显示面板
US20160077338A1 (en) * 2014-09-16 2016-03-17 Steven John Robbins Compact Projection Light Engine For A Diffractive Waveguide Display
WO2016046514A1 (en) * 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
US20160097930A1 (en) 2014-10-06 2016-04-07 Steven John Robbins Microdisplay optical system having two microlens arrays
JP2016096914A (ja) * 2014-11-19 2016-05-30 キヤノン株式会社 被検体情報取得装置
US10359637B2 (en) 2014-11-21 2019-07-23 Ams Sensors Singapore Pte. Ltd. Optical pattern projection
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration
KR101702024B1 (ko) 2015-04-06 2017-02-02 유한회사 마스터이미지쓰리디아시아 원격정렬형 입체영상장치 및 이를 이용한 입체영상상영방법
CN106092972A (zh) * 2015-04-27 2016-11-09 松下知识产权经营株式会社 光传感装置
KR101675435B1 (ko) 2015-05-11 2016-11-22 유한회사 마스터이미지쓰리디아시아 변조기 비대칭 구동을 이용한 고휘도 입체영상상영장치 및 이를 구동하는 방법
US10338451B2 (en) * 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
KR102457724B1 (ko) * 2015-09-22 2022-10-24 삼성전자주식회사 영상 처리를 수행하기 위한 방법 및 그 전자 장치
US10192939B2 (en) 2015-10-29 2019-01-29 Boe Technology Group Co., Ltd Display device and fabrication method thereof
EP3165872B1 (en) * 2015-11-04 2020-04-15 Hexagon Technology Center GmbH Compensation of light intensity across a line of light providing improved measuring quality
JP6854828B2 (ja) * 2015-12-18 2021-04-07 ジェラルド ディルク スミッツ 物体のリアルタイム位置検知
EP3395066B1 (en) 2015-12-25 2022-08-03 BOE Technology Group Co., Ltd. Depth map generation apparatus, method and non-transitory computer-readable medium therefor
US10349038B2 (en) 2016-01-04 2019-07-09 Facebook Technologies, Llc Dynamic control over structured illumination intensity
WO2017127897A1 (en) 2016-01-27 2017-08-03 Paul Lapstun Shuttered waveguide light field display
US9886742B2 (en) * 2016-03-17 2018-02-06 Google Llc Electro-optic beam steering for super-resolution/lightfield imagery
US10422508B2 (en) * 2016-03-28 2019-09-24 Kla-Tencor Corporation System and method for spectral tuning of broadband light sources
WO2017197271A1 (en) * 2016-05-12 2017-11-16 Bd Biosciences Fluorescence imaging flow cytometry with enhanced image resolution
US10473935B1 (en) * 2016-08-10 2019-11-12 Meta View, Inc. Systems and methods to provide views of virtual content in an interactive space
US10560679B2 (en) * 2016-08-30 2020-02-11 Microsoft Technology Licensing, Llc Deformation detection and automatic calibration for a depth imaging system
US10908423B2 (en) 2016-11-18 2021-02-02 Magic Leap, Inc. Multilayer liquid crystal diffractive gratings for redirecting light of wide incident angle ranges
US10158845B2 (en) * 2017-01-18 2018-12-18 Facebook Technologies, Llc Tileable structured light projection for wide field-of-view depth sensing
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
KR102664263B1 (ko) 2017-03-21 2024-05-10 매직 립, 인코포레이티드 회절 광학 엘리먼트들을 이용한 눈-이미징 장치
WO2018175625A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
US10412371B1 (en) * 2017-05-18 2019-09-10 Facebook Technologies, Llc Thin film acousto-optic structured light generator
US10613413B1 (en) * 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
US10660523B2 (en) * 2017-07-07 2020-05-26 Hideo Ando Light-source unit, measurement apparatus, near-infrared microscopic apparatus, optical detection method, imaging method, calculation method, functional bio-related substance, state management method, and manufacturing method
US10388026B1 (en) * 2017-07-07 2019-08-20 Facebook Technologies, Llc Fast scanning large field-of-view devices for depth sensing
US10586342B2 (en) * 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
US10410373B1 (en) 2017-12-21 2019-09-10 Facebook Technologies, Llc Calibration of a phase interferometry depth camera assembly
US10827142B2 (en) 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103053167A (zh) * 2010-08-11 2013-04-17 普莱姆森斯有限公司 扫描投影机及用于3d映射的图像捕获模块
US20140192214A1 (en) * 2013-01-05 2014-07-10 Tinz Optics, Inc. Methods and apparatus for using multiple optical chains in paralell
CN107250882A (zh) * 2014-11-07 2017-10-13 奥斯特豪特集团有限公司 用于头戴式计算的电源管理
CN107850780A (zh) * 2015-06-29 2018-03-27 微软技术许可有限责任公司 全息近眼显示
CN108353115A (zh) * 2015-08-19 2018-07-31 弗劳恩霍夫应用研究促进协会 具有包括反射小平面的光束偏转设备的多孔径成像设备
CN108027881A (zh) * 2015-09-24 2018-05-11 微软技术许可有限责任公司 使用多种捕捉技术的用户认证
CN205157881U (zh) * 2015-11-18 2016-04-13 中国工程物理研究院激光聚变研究中心 一种基于电光-机械复合偏转的激光振镜

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126060B2 (en) 2017-10-02 2021-09-21 Liqxtal Technology Inc. Tunable light projector
CN111856483A (zh) * 2019-04-01 2020-10-30 源奇科技股份有限公司 可调式光投射器
TWI747224B (zh) * 2019-04-01 2021-11-21 源奇科技股份有限公司 可調式光投射器
CN110221444A (zh) * 2019-06-06 2019-09-10 深圳市麓邦技术有限公司 成像系统
CN110221444B (zh) * 2019-06-06 2021-03-26 深圳市麓邦技术有限公司 成像系统
CN110244309A (zh) * 2019-06-21 2019-09-17 浙江舜宇光学有限公司 深度的检测系统和方法
CN110187596A (zh) * 2019-06-26 2019-08-30 业成科技(成都)有限公司 光学投影装置与电子设备
CN112415746B (zh) * 2019-08-22 2023-12-05 宏达国际电子股份有限公司 显示设备
CN112415746A (zh) * 2019-08-22 2021-02-26 宏达国际电子股份有限公司 显示设备
CN114930225A (zh) * 2019-09-12 2022-08-19 元平台技术有限公司 非偏振图像光的基于偏振的处理
CN113075691A (zh) * 2020-01-03 2021-07-06 华为技术有限公司 一种tof深度传感模组和图像生成方法
CN113075641A (zh) * 2020-01-03 2021-07-06 华为技术有限公司 一种tof深度传感模组和图像生成方法
JP7430906B2 (ja) 2020-06-10 2024-02-14 国立大学法人長岡技術科学大学 光線走査広角化システム
CN112987286A (zh) * 2021-04-21 2021-06-18 中国工程物理研究院流体物理研究所 一种基于体布拉格光栅的光束扫描系统
CN112987286B (zh) * 2021-04-21 2021-07-20 中国工程物理研究院流体物理研究所 一种基于体布拉格光栅的光束扫描系统
CN116559839A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于柱面透镜准直的声光偏转模组、光电装置及电子设备
CN116559834A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于超透镜的声光偏转发射模组、检测装置及电子设备
CN116559838A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于柱面透镜扩束的声光偏转模组、光电装置及电子设备
CN116559835A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于柱面透镜的声光偏转发射模组、检测装置及电子设备
CN116559837B (zh) * 2023-07-06 2023-11-10 深圳赋能光达科技有限公司 基于超透镜准直的声光偏转模组、光电装置及电子设备
CN116559839B (zh) * 2023-07-06 2023-11-10 深圳赋能光达科技有限公司 基于柱面透镜准直的声光偏转模组、光电装置及电子设备
CN116559836B (zh) * 2023-07-06 2023-11-10 深圳赋能光达科技有限公司 基于扩散片扩束的声光偏转模组、光电装置及电子设备
CN116559834B (zh) * 2023-07-06 2023-11-14 深圳赋能光达科技有限公司 基于超透镜的声光偏转发射模组、检测装置及电子设备
CN116559835B (zh) * 2023-07-06 2023-11-14 深圳赋能光达科技有限公司 基于柱面透镜的声光偏转发射模组、检测装置及电子设备
CN116559838B (zh) * 2023-07-06 2023-11-14 深圳赋能光达科技有限公司 基于柱面透镜扩束的声光偏转模组、光电装置及电子设备
CN116559837A (zh) * 2023-07-06 2023-08-08 深圳赋能光达科技有限公司 基于超透镜准直的声光偏转模组、光电装置及电子设备

Also Published As

Publication number Publication date
US20200162722A1 (en) 2020-05-21
US10574973B2 (en) 2020-02-25
US20190075281A1 (en) 2019-03-07
US20220141447A1 (en) 2022-05-05
US11265532B2 (en) 2022-03-01
US11924396B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
CN109459849A (zh) 用于深度感测的非机械光束转向
US11920916B1 (en) Depth sensing using a time of flight system including a scanning beam in combination with a single photon avalanche diode array
US10152121B2 (en) Eye tracking through illumination by head-mounted displays
US11450015B2 (en) Shifting diffractive optical element for adjustable depth sensing resolution
US11417005B1 (en) Polarized illumination and detection for depth sensing
US10606071B1 (en) Lightfield waveguide integrated eye tracking
US11330193B2 (en) Imaging device based on lens assembly with embedded filter
US20170206660A1 (en) Depth mapping using structured light and time of flight
US10551614B2 (en) Camera assembly with programmable diffractive optical element for depth sensing
US11399139B2 (en) High dynamic range camera assembly with augmented pixels
CN109425305A (zh) 使用多个脉冲式结构光投影仪的深度测量
US11348262B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
CN109425306A (zh) 深度测量组件
US10957059B1 (en) Multi-pattern depth camera assembly
US10791286B2 (en) Differentiated imaging using camera assembly with augmented pixels
CN115698753A (zh) 包括具有可寻址照明块的照明源的飞行时间深度系统
US11509803B1 (en) Depth determination using time-of-flight and camera assembly with augmented pixels
US10574938B1 (en) Variable frame rate depth camera assembly
US11587247B1 (en) Synchronous event driven readout of pixels in a detector for direct time-of-flight depth sensing
US10630925B1 (en) Depth determination using polarization of light and camera assembly with augmented pixels
EP3445049B1 (en) Camera assembly with programmable diffractive optical element for depth sensing
US20240094390A1 (en) Indirect time of flight sensor with parallel pixel architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190312

RJ01 Rejection of invention patent application after publication