CN110352364A - 用于头部跟踪、姿势识别和空间映射的多光谱照射和传感器模块 - Google Patents

用于头部跟踪、姿势识别和空间映射的多光谱照射和传感器模块 Download PDF

Info

Publication number
CN110352364A
CN110352364A CN201880015179.4A CN201880015179A CN110352364A CN 110352364 A CN110352364 A CN 110352364A CN 201880015179 A CN201880015179 A CN 201880015179A CN 110352364 A CN110352364 A CN 110352364A
Authority
CN
China
Prior art keywords
light
display device
eye display
irradiation module
irradiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880015179.4A
Other languages
English (en)
Other versions
CN110352364B (zh
Inventor
R·K·普里塞
M·布莱耶
D·德曼多尔克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110352364A publication Critical patent/CN110352364A/zh
Application granted granted Critical
Publication of CN110352364B publication Critical patent/CN110352364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

一种设备和方法使用具有单个多光谱成像传感器的多个光发射器来执行基于多模态红外光的深度感测以及基于可见光的同时定位和映射(SLAM)。基于多模态红外线的深度感测可以包括例如基于红外的空间映射、基于红外的手部跟踪和/或基于红外的语义加标记的任何组合。例如，基于可见光的SLAM可以包括头部跟踪。

Description

用于头部跟踪、姿势识别和空间映射的多光谱照射和传感器 模块
背景技术
深度感测技术可以用于与附近对象相关地确定人的位置或者用于在三维(3D)中生成人的直接环境的图像。可以使用深度(距离)感测技术的一种应用是头戴式显示器(HMD)设备和其他类型的近眼显示器(NED)设备。深度感测技术可以采用飞行时间(ToF)深度相机或结构化光深度相机。利用基于ToF的深度感测技术，光源将光线发射到其附近的环境中，并且ToF相机在光线反射离开附近的对象之后捕获光线。光从光源传播并且从对象反射回ToF相机所花费的时间可以根据已知的光速转换成深度测量值(即，到对象的距离)。或者，可以确定检测到的返回信号的相位并且将其用于计算深度测量值。可以利用其他类似的测量来处理这样的测量，以在特定环境中创建物理表面的地图(被称为深度图像或深度图)，并且如果需要，可以渲染环境的3D图像。结构化光深度相机将光图案投射到环境上。当从不同的角度观察时，环境的3D几何形状导致光看起来变形。透视的差异是由照射器与相机成像器之间的物理间距(也被称为“基线”)引起的。
发明内容
这里介绍的是一种设备和方法(被统称和单独地称为“这里介绍的技术”)，其利用具有单个多光谱成像传感器的多个光发射器来执行基于多模态红外光的深度感测以及基于可见光的同时定位和映射(SLAM)。基于多模态红外线的深度感测可以包括例如基于红外的手部跟踪、基于红外的空间映射和/或基于红外的语义加标记的任何组合。例如，基于可见光的SLAM可以包括头部跟踪。
在一些实施例中，根据这里介绍的技术的一种近眼显示设备包括照射模块、成像传感器和处理器。照射模块朝向近眼显示设备的环境发射第一频率范围的第一光(例如，红外线)。成像传感器接收由环境反射的第一频率范围的第一光和由环境反射的第二频率范围的第二光(例如，环境可见光)。处理器基于接收的第一光来识别由近眼显示设备的用户的身体部分做出的姿势，并且基于接收的第二光来跟踪用户的头部的位置和/或取向。
在一些实施例中，根据这里介绍的技术的一种近眼显示设备包括第一照射模块、第二照射模块、成像传感器和处理器。第一照射模块朝向近眼显示设备被定位在的环境发射第一频率范围的结构化光(例如，红外线)。环境包括除了近眼显示设备的用户之外的对象。第二照射模块朝向近眼显示设备被定位在的环境发射第一频率范围的第二光(例如，红外线)。成像传感器接收由对象反射的结构化光的至少一部分、由近眼显示设备的用户的身体部分反射的第二光的至少一部分以及由环境的至少一部分反射的第二频率范围的第三光(例如，环境可见光)。处理器基于结构化光的接收的一部分来生成环境的空间图，基于第二光的接收的一部分来检测由用户的身体部分做出的姿势，并且基于接收的第三光来跟踪用户的头部的位置和/或取向。
根据附图和详细描述，所公开的实施例的其他方面将很清楚。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步说明。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
作为示例而非限制在附图中示出了本公开的一个或多个实施例，附图中的相同的附图标记表示类似的元素。
图1示出了可以使用启用虚拟现实(VR)或增强现实(AR)的HMD设备的环境的示例。
图2示出了HMD设备的示例的透视图。
图3示出了HMD设备的照射和传感器模块的一部分的正视图。
图4示意性地示出了用于检测可见光和红外(IR)光的多光谱成像传感器。
图5示意性地示出了包括用于短距离(short-throw)和长距离(long-throw)投射的单独照射模块的设备。
图6A示意性地示出了没有多径干扰的情况。
图6B示意性地示出了具有多径干扰的情况。
图7A示出了可以在HMD设备中协作地采用多光谱成像传感器和多个照射模块的过程的第一示例。
图7B示出了可以在HMD设备中协作地采用多光谱成像传感器和多个照射模块的过程的第二示例。
图8示出了可以用于实现本文中描述的任何一个或多个功能组件的系统的硬件架构的高级示例。
具体实施方式
在本说明书中，对“实施例”、“一个实施例”等的引用表示所描述的特定特征、功能、结构或特性被包括在这里介绍的至少一个实施例中。在本说明书中出现的这些短语并不一定都是指同一实施例。另一方面，所提到的实施例也不一定是相互排斥的。
诸如HMD设备和其他类型的NED设备等一些深度感测设备包括深度相机以检测与该设备被定位在的环境中的对象有关的深度信息。深度感测设备可以包括主动将光投射到设备的环境中的照射模块(例如，LED或激光器)。利用照射模块，深度感测设备也被称为主动深度感测设备，并且深度相机也被称为主动深度相机。一种类型的有源深度相机是ToF相机。另一种类型是结构化光相机。例如，照射模块被设计为发射照射环境的光。环境反射光并且深度相机的成像传感器接收至少一些反射光以用于深度感测。在一些实施例中，由照射模块发射的光具有在可见光谱(即，对于正常人可见)之外的频率范围。例如，发射的光可以是例如红外(IR)光。ToF系统精确地测量返回信号的时间或相位以确定到对象的距离(深度)，而结构化光系统测量观察到的图像的物理失真以确定距离。
在一些实施例中，HMD设备可以基于检测到的深度信息来跟踪用户的身体部分。例如，HMD设备可以识别和跟踪用户的手。此外，基于手在一段时间内的位置，HMD设备可以识别用户做出的手部姿势。HMD设备还可以使用检测到的深度信息来进行环境的空间映射。
通常，深度检测可以用于检测用户的身体部分，诸如跟踪用户的手以进行姿势识别，或者映射除了用户之外的附近对象的表面(例如，墙壁、家具等)，或者用于附近对象的语义加标记。通常，成像器的宽(几何)照射场(FOI)和相应视场(FOV)对于短距离深度检测是期望的，诸如对于手部跟踪。对于基于被动图像的头部跟踪，还需要宽FOV。相反，对于较长距离深度检测，诸如对于空间映射或语义加标记，可以使用较窄的FOI和相应的FOV。
HMD设备还可以包括用于检测可见光谱内的频率范围的光(也被称为可见光)的成像传感器。成像传感器基于可见光来记录图像以至少用于SLAM目的(例如，头部跟踪)。当佩戴HMD的用户移动他或她的头部时，HMD的成像传感器在不同位置和/或从不同方向记录环境的图像。HMD设备可以分析在不同位置和/或从不同方向拍摄的图像，并且相应地检测用户头部的位置和/或取向。
这里介绍的技术使得能够使用并发成像帧(例如，同时的IR和RGB(可见))或顺序成像帧(例如，交替的IR和可见帧)。为了降低功耗并且减小HMD设备的组件的尺寸，根据这里介绍的技术的HMD设备包括多光谱成像传感器。多光谱成像传感器可以检测在(人)可见光谱(例如，IR光)之外的光和在可见光谱内的光。换言之，例如，HMD设备可以使用单个多光谱成像传感器作为用于头部跟踪、手部跟踪和空间映射目的的低成本解决方案。
此外，HMD设备可以包括用于发射不同FOI和/或照射范围(例如，宽FOI和窄FOI、短距离或长距离)的光的单独的照射模块。不同FOI的光可以分别用于手部跟踪和空间映射。例如，长距离(“长距离投射”)照射模块可以发射具有窄FOI的结构化光以用于空间映射。单独的短距离(“短距离投射”)照射模块可以发射具有宽FOI(例如，大于120度)的光，诸如用于手部跟踪。短距离投射和长距离投射照射可以在相同的频率范围内，例如IR。本文中使用的术语“宽”FOI宽于120度，而“窄”FOI窄于120度。术语“短距离投射”和“长距离投射”在本文中相对于彼此使用；也就是说，长距离投射照射比短距离投射照射具有更长的有效照射范围。
图1至8和相关文本描述了用于具有多光谱传感器的HMD设备的技术的某些实施例。然而，所公开的实施例不限于NED系统或HMD设备，并且具有各种可能的应用，诸如在计算机显示器系统、平视显示器(HUD)系统、自动驾驶汽车系统、信息输入系统和视频游戏系统中。所有这些应用、改进或修改都被认为是在这里公开的概念的范围内。
HMD设备硬件
图1示意性地示出了可以使用HMD设备的环境的示例。在所示示例中，HMD设备10被配置为通过连接14与外部处理系统12进行数据通信，连接14可以是有线连接、无线连接或其组合。然而，在其他用例中，HMD设备10可以作为独立设备操作。连接14可以被配置为携带任何类型的数据，诸如图像数据(例如，静止图像和/或全动态视频，包括2D和3D图像)、音频、多媒体、语音和/或任何(多个)其他类型的数据。处理系统12可以是例如游戏机、个人计算机、平板计算机、智能电话或其他类型的处理设备。连接14可以是例如通用串行总线(USB)连接、Wi-Fi连接、蓝牙或蓝牙低功耗(BLE)连接、以太网连接、电缆连接、数字用户线(DSL)连接、蜂窝连接(例如，3G、LTE/4G或5G)等、或其组合。另外，处理系统12可以经由网络18与一个或多个其他处理系统16通信，网络18可以是或包括例如局域网(LAN)、广域网(WAN)、内联网、城域网(MAN)、全球互联网或其组合。
图2示出了根据某些实施例的可以包含这里引入的特征的HMD设备20的透视图。HMD设备20可以是图1的HMD设备10的实施例。HMD设备20具有包括底盘24的保护性密封遮阳板组件22(下文中被称为“遮阳板组件22”)。底盘24是结构组件，显示元件、光学器件、传感器和电子器件通过该结构组件耦合到HMD设备20的其余部分。底盘24可以由例如模制塑料、轻质金属合金或聚合物形成。
遮阳板组件22分别包括左AR显示器26-1和右AR显示器26-2。AR显示器26-1和26-2被配置为显示覆盖在用户对真实世界环境的视图上的图像，例如，通过将光投射到用户的眼睛中。左侧臂28-1和右侧臂28-2分别是经由柔性或刚性紧固机构(包括一个或多个夹具、铰链等)分别在底盘24的左右开口端处附接到底盘24的结构。HMD设备20包括附接到侧臂28-1和28-2的可调节头带(或其他类型的头部配件)30，HMD设备20可以通过该头带佩戴在用户头上。
底盘24可以包括各种固定设备(例如，螺钉孔、凸起的平坦表面等)，照射和传感器模块32和其他组件可以附接到该固定设备。在一些实施例中，照射和传感器模块32被容纳在遮阳板组件22内并且经由轻质金属框架(未示出)安装到底盘24的内表面。承载HMD 20的电子组件(例如，微处理器、存储器)的电路板(图2中未示出)也可以在遮阳板组件22内安装到底盘24。
照射和传感器模块32包括深度成像系统的深度相机34和照射模块36。照射模块36发射光以照射场景。一些光反射场景中的对象的表面，并且返回到成像相机34。在一些实施例中，照射模块36和深度相机34可以是通过柔性印刷电路或其他数据通信接口连接的单独单元。深度相机34捕获包括来自照射模块36的至少一部分光的反射光。
从照射模块36发射的“光”是适合于深度感测的电磁辐射，并且不应当直接干扰用户对真实世界的视图。因此，从照射模块36发射的光通常不是人类可见光谱的一部分。发射光的示例包括IR光以使照射不引人注目。由照射模块36发射的光的来源可以包括LED，诸如超照射LED、激光二极管、或具有足够功率输出的任何其他基于半导体的光源。如上所述并且如下面进一步描述的，照射模块36可以以宽FOI和窄FOI两者发射IR光；或者，HMD设备20可以具有用于该目的的两个或更多个照射模块36。
深度相机34可以是或包括被配置为捕获由一个或多个照射模块36发射的光的任何成像传感器。深度相机34可以包括收集反射光并且将环境成像到成像传感器上的透镜。光学带通滤波器可以用于仅式与照射模块36发射的光具有相同波长的光通过。例如，在结构化光深度成像系统中，深度相机34的每个像素可以使用三角测量来确定到场景中的对象的距离。可以使用本领域技术人员已知的各种方法中的任何一种来进行相应的深度计算。
HMD设备20包括用于控制深度相机34和照射模块36的操作、可见光捕获和处理以及执行相关的数据处理功能的电子电路(图2中未示出)。该电路可以包括例如一个或多个处理器和一个或多个存储器。结果，HMD设备20可以提供表面重建以建模用户的环境，或者可以用作接收人类交互信息的传感器。利用这样的配置，由HMD设备20生成的图像可以适当地覆盖在用户对真实世界的3D视图上以提供所谓的增强现实。注意，在其他实施例中，前述组件可以位于HMD设备20上的不同位置。另外，一些实施例可以省略一些上述组件，和/或可以包括上面未讨论或图2中未示出的附加组件。在一些替代实施例中，前述深度成像系统可以被包括在不是HMD设备的设备中。例如，深度成像系统可以用于计算机或游戏控制台、汽车传感设备、地形探测器、机器人等的运动传感输入设备。
图3示出了HMD设备20的照射和传感器模块32的示例实施例。如图所示，照射和传感器模块32包括安装到电路板38的传感器和电子器件，电路板38可以安装到底盘24，如上所述。安装到电路板38的传感器包括深度相机34和照射模块36-1到36-4。可以被包括在照射和传感器模块32中但未在图中示出或进一步讨论的其他传感器可以包括一个或多个可见光谱头部跟踪相机、环境光传感器等。这些其他传感器中的一些或全部也可以安装到照射和传感器模块32。
在所示实施例中，照射模块36-1和36-2被定位成使得它们相对于深度相机34在略微向外发散的方向上发射光；而照射模块36-3和36-4被定位成使得它们直接向前(即，平行于用户的头部指向向量)发射光。此外，来自照射模块36-3和36-4的照射具有减小的FOI和来自深度相机34的增加的范围，该范围大于来自深度相机34的照射模块36-1和36-2的照射范围。在一些实施例中，照射模块36-1和36-2提供用于手跟踪目的的照射，并且照射模块36-3和36-4提供用于空间映射目的的照射。
因此，照射模块36-1至36-4被共同配置为照射用户的环境的至少一部分，尽管用户可能看不到照射。如图3所示的照射模块36和深度相机34相对于彼此的定位(location)和位置(position)仅仅是用于深度感测的配置的示例；在这里介绍的技术的上下文中，其他配置是可能的。
多光谱成像传感器
图4示意性地示出了用于检测可见光和IR光的多光谱传感器。多光谱传感器400包括两种不同类型的传感器像素：可见光像素和IR光像素。可见光像素(每个在图4中由“V”表示)对宽带可见光(例如，从400nm到650nm)敏感，并且对IR光具有有限的灵敏度。IR光像素(每个在图4中由“IR”表示)对IR光敏感，并且对来自可见光的光学串扰具有有限的灵敏度。在所示实施例中，IR像素和可见光像素以棋盘状(即，二维交替)方式被散布在传感器400上。多光谱400传感器可以耦合到IR带通滤波器(图4中未示出)，以最小化入射在IR光像素上的环境IR光的量。在一些实施例中，带通滤波器使波长在400-650nm范围内的可见光和IR窄带(例如，波长范围小于30nm)通过。
在一些实施例中，多光谱传感器400的可见光像素共同用作无源成像传感器以收集可见光并且记录灰度级可见光图像。HMD设备可以将可见光图像用于SLAM目的，诸如头部跟踪。多光谱传感器400的IR光像素共同用作深度相机传感器以收集IR光并且记录IR图像(也被称为单色IR图像)以用于深度感测，诸如用于对象的手部跟踪、空间映射和/或语义加标记。
长距离投射和短距离投射照射
在一些实施例中，HMD设备(例如，诸如图2所示的设备)包括用于短距离投射IR照射和长距离投射IR照射的单独的照射模块。短距离投射IR照射主要用于手部跟踪和姿势识别，长距离投射IR照射主要用于环境的空间映射(即，用户环境中的对象的映射)和/或对象的语义加标记。短距离投射IR照射模块具有相对较宽的FOI以用于基于相位的手部跟踪。长距离投射IR照射模块发射具有窄FOI(例如，75度)的光以用于基于相位的空间映射和/或语义加标记。在一些实施例中，诸如图4所示的单个多光谱传感器用于检测短距离投射和长距离投射IR照射以及可见光。可见光检测可以用于SLAM，诸如头部跟踪，即跟踪HMD设备的用户的头部的位置和/或取向。
在一些实施例中，短距离投射IR照射和长距离投射IR照射具有相同的频率或频率范围，并且能够区分短距离投射和长距离投射IR照射的返回(反射)光信号，它们可以在不同的非重叠的时间点发生，即通过时分复用。
在一些实施例中，长距离投射IR照射模块以结构化光照射图案发射光以实现深度检测。在其他实施例中，长距离投射IR照射模块发射ToF调制光脉冲以用于深度检测。在其他实施例中，长距离投射照射器发射结构化光照射图案并且将时间调制信号施加到结构化照射图案以便能够基于ToF和结构化光的组合进行深度检测。结构化光图案可以基于ToF调制信号促进长距离深度准确度。与短距离投射照射相比，结构化光照射具有更窄的FOI、更强的照射功率和相应的更长的范围。
图5示意性地示出了包括用于短距离投射和长距离投射照射和检测的单独照射模块的多光谱照射和传感器模块500。多光谱照射和传感器模块500可以被包括在例如HMD设备(例如，图2中的HMD设备20或类似设备)中，并且可以包括多光谱成像传感器505、短距离投射(“ST”)照射模块520和长距离投射(“LT”)照射模块530，这些都安装在电路板510上。多光谱成像传感器505可以与图4所示的多光谱传感器400相同或相似，并且可以检测可见光(例如，用于头部跟踪)和IR光(用于深度感测)两者的光信号。整个多光谱照射和传感器模块500可以具有与图3中的照射和传感器模块32类似的物理配置和/或覆盖区。
短距离投射照射模块520具有相对较宽的FOI(“WFOI”)以覆盖用户手部的最可能位置。由于手部跟踪操作涉及接近HMD设备的深度，因此短距离投射照射模块520在相对较短的照射范围内提供具有降低的光功率的宽FOI。在一些实施例中，短距离投射照射模块520提供均匀的照射图案525。短距离投射照射模块520可以产生均匀的照射图案，例如，通过使用与光学漫射器耦合的多模式二极管激光器。
长距离投射照射模块530具有比短距离投射照射模块520更窄的FOI(“NFOI”)(和更长的有效范围)，并且用于用户的直接环境的空间映射和/或用于附近对象的语义加标记。由于长距离投射照射模块530向用户的环境提供照射，因此其具有相对较长的照射范围，并且在一些实施例中，产生结构化光照射图案535以便于识别表面。在一些实施例中，长距离投射照射模块530包括衍射限制光源、准直透镜和衍射光学元件。
用于减少多径干扰的基于点的图案
在一些实施例中，结构化光照射图案535是可以减少多径干扰的基于点的照射图案。图6A和6B示意性地示出了基于点的结构化照射图案如何减少多径干扰。如图6A所示，在理想情况下，存在最小的多径干扰，因为多径的影响遍布整个场景，并且信号阈值可以用于仅测量对照射点的响应。环境中的点P由照射模块发射的光照射，并且将光反射回成像传感器。发射光和反射光在单个光路中传播。该设备检测光从照射模块传播并且从单个光路中的点反射回来所花费的时间。时间转换为深度测量值。由于单个光路，检测到单个深度测量值。
图6B示出了具有多径干扰的场景。照射模块在FOI上均匀地发射光。如图所示，一个或多个环境对象可以在多个方向上反射光。因此，环境中的点P可以接收沿着多个不同光路传播的光束，这些光路的长度不相等。因此，对于环境中的每个点P，深度感测设备可能不期望地检测到多个深度测量值，从而导致不正确的深度估计。
因此，为了减小多径干扰的影响，照射模块可以使用包括多个离散点或其他形状的基于点的结构化光照射图案。离散点显著降低了沿着不同路径传播的多个光束将到达用户环境中的任何特定点的可能性。结果，该设备将倾向于检测更少的深度测量值，并且因此将减少多径干扰。调节到具有比泛光照射图案更高的光强度的单独的光束(例如，照射点)中的照射功率还具有附加好处。
图7A示出了可以在NED设备(诸如HMD设备)中协作地采用多光谱成像传感器和多个照射模块的过程的示例。最初，在步骤701，NED设备的第一照射模块向NED设备被定位在的环境发射第一频率范围的结构化光。除了NED设备的用户之外，环境还包括至少一个对象。在步骤702，NED设备的第二照射模块向环境发射第一频率范围的第二光。在步骤703，近眼显示设备的成像传感器(例如，与图4中的多光谱成像传感器400相同或类似的成像传感器)接收和检测：1)在由对象反射之后的发射的结构化光的至少一部分，2)在由用户的手反射之后的发射的第二光的至少一部分，以及3)由环境的至少一部分反射的第二频率范围的环境光。然后，NED设备在步骤704基于接收的第二频率范围的环境光来跟踪用户头部的位置和/或取向，在步骤705基于结构化光的接收的一部分来生成用户环境的空间图，并且在步骤706基于第二光的接收的反射部分来检测用户的手部姿势。至少步骤704、705和706可以同时发生。还应当注意，可以根据本公开改变某些步骤的顺序。该过程可以继续无限重复，只要设备可操作或处于特定操作模式。
图7B示出了可以在NED设备(诸如HMD设备)中协作地采用多光谱成像传感器和多个照射模块的过程的另一示例。注意，图7A和7B的过程不一定是相互排斥的。这样，可以根据本公开改变某些步骤的顺序。在步骤711，设备中的处理器确定是需要窄FOI(“NFOI”)还是宽FOI(“WFOI”)IR帧。可以交替地捕获NFOI和WFOI IR帧，在这种情况下，该步骤的结果取决于最近捕获的是哪种类型的IR帧(NFOI或WFOI)。如果需要NFOI帧，则处理器在步骤712引起NFOI IR照射器(例如，图5中的照射器530)激发；否则，如果需要WFOI帧，则处理器在步骤713引起WFOI IR照射器(例如，图5中的照射器520)激发。接下来，在步骤714，设备中的多光谱成像传感器(诸如图4中的传感器400或图5中的传感器505)检测在步骤712或713发射的发射的IR光的反射，并且同时检测来自环境中的对象的环境可见光的反射。在步骤715，处理器基于所捕获的IR光帧生成或更新相应的深度图(例如，用于手部跟踪的深度图和/或用于空间映射的深度图)。在步骤716，处理器检测所捕获的可见光图像帧中的参考点，并且在步骤717，处理器基于一个或多个参考点的移动来计算用户的位置/取向。该过程可以继续无限重复，只要设备可操作或处于特定操作模式。
示例硬件架构
图8示出了可以用于实现所公开的功能的处理系统的硬件架构的高级示例。图8所示的处理系统800可以是例如HMD设备的子系统或采用一个或多个深度感测设备的其他系统。可以使用诸如图8所示的架构的一个或多个实例(例如，多个计算机)来实现本文中描述的技术，其中多个这样的实例可以经由一个或多个网络彼此耦合。
所示处理系统800包括一个或多个处理器810、一个或多个存储器811、一个或多个通信设备812、一个或多个输入/输出(I/O)设备813以及一个或多个大容量存储设备814，这些全部通过互连815彼此耦合。互连815可以是或包括一个或多个导电迹线、总线、点对点连接、控制器、适配器和/或其他传统连接设备。每个处理器810至少部分控制处理设备800的整体操作，并且可以是或包括例如一个或多个通用可编程微处理器、数字信号处理器(DSP)、移动应用处理器、微控制器、专用集成电路(ASIC)、可编程门阵列(PGA)等、或这些器件的组合。
每个存储器811可以是或包括一个或多个物理存储设备，其可以是以下形式：随机存取存储器(RAM)、只读存储器(ROM)(其可以是可擦除的和可编程的)、闪存、微型硬盘驱动器、或其他合适类型的存储设备、或这些设备的组合。每个大容量存储设备814可以是或包括一个或多个硬盘驱动器、数字通用盘(DVD)、闪存等。每个存储器811和/或大容量存储设备814可以(单独地或共同地)存储将(多个)处理器810配置为执行操作以实现上述技术的数据和指令。每个通信设备812可以是或包括例如以太网适配器、电缆调制解调器、Wi-Fi适配器、蜂窝收发器、基带处理器、蓝牙或蓝牙低功耗(BLE)收发器等、或其组合。根据处理系统800的具体性质和目的，每个I/O设备813可以是或包括诸如显示器(其可以是触摸屏显示器)、音频扬声器、键盘、鼠标或其他指示设备、麦克风、相机等设备，然而，注意，如果处理设备800仅被实现为服务器计算机，则可能不需要这种I/O设备。
在用户设备的情况下，通信设备812可以是或包括例如蜂窝电信收发器(例如，3G、LTE/4G、5G)、Wi-Fi收发器、基带处理器、蓝牙或BLE收发器等、或其组合。在服务器的情况下，通信设备812可以是或包括例如任何上述类型的通信设备、有线以太网适配器、电缆调制解调器、DSL调制解调器等、或这些设备的组合。
上述机器实现的操作可以至少部分由通过软件和/或固件编程/配置的可编程电路来实现，或者完全通过专用电路或者通过这些形式的组合来实现。这种专用电路(如果有的话)可以是例如如下形式：一个或多个专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、片上系统(SOC)等。
用于实现这里介绍的实施例的软件或固件可以存储在机器可读存储介质上，并且可以由一个或多个通用或专用可编程微处理器执行。本文中使用的术语“机器可读介质”包括可以以机器可访问的形式存储信息的任何机制(机器可以是例如计算机、网络设备、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任何设备等)。例如，机器可访问介质包括可记录/不可记录介质(例如，只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；等)等。
某些实施例的示例
本文中介绍的技术的某些实施例被总结在以下编号的示例中：
1.一种近眼显示设备，包括：照射模块，所述照射模块在操作时朝向所述近眼显示设备的环境发射第一频率范围的第一光；成像传感器，所述成像传感器在操作时接收由所述环境反射的所述第一频率范围的所述第一光和由所述环境反射的第二频率范围的第二光；以及处理器，所述处理器在操作时基于接收的所述第一光来确定深度图并且基于接收的所述第二光来跟踪用户的至少一部分的位置和/或取向。
2.根据示例1所述的近眼显示设备，其中所述成像传感器包括被配置为接收所述第一频率范围的光的第一多个像素和被配置为接收所述第二频率范围的光的第二多个像素，并且其中所述第二多个像素与所述第一多个像素一起被散布。
3.根据示例1或示例2所述的近眼显示设备，还包括光学带通滤波器，所述光学带通滤波器减少入射在所述第一多个像素上的所述第一频率范围的环境光。
4.根据示例1至3中任一项所述的近眼显示设备，其中所述第一频率范围在红外范围内，并且所述第二频率范围在可见范围内。
5.根据示例1至4中任一项所述的近眼显示设备，其中所述照射模块是第一照射模块，所述近眼显示设备还包括第二照射模块，所述第二照射模块在操作时朝向所述近眼显示设备的所述环境发射所述第一频率范围的第三光；其中所述成像传感器还被配置为接收所述第一频率范围的所述第三光的至少一部分。
6.根据示例1至5中任一项所述的近眼显示设备，其中所述处理器还被配置为基于所述第一频率范围的所述第三光的接收的所述一部分来生成或更新深度图。
7.根据示例1至6中任一项所述的近眼显示设备，其中所述第一照射模块具有大于所述第二照射模块的有效照射范围的有效照射范围。
8.根据示例1至7中任一项所述的近眼显示设备，其中所述第一照射模块具有窄于所述第二照射模块的照射场的照射场。
9.根据示例1至8中任一项所述的近眼显示设备，其中所述第一照射模块和所述第二照射模块在不同的时间点发射光，并且所述成像传感器在不同的时间点接收所述第一频率范围的所述第一光和所述第一频率范围的所述第二光。
10.根据示例1至9中任一项所述的近眼显示设备，其中所述第二照射模块利用结构化照射图案发射所述第一光或所述第三光中的至少一种。
11.一种近眼显示设备，包括：第一照射模块，所述第一照射模块在操作时朝向所述近眼显示设备被定位在的环境发射结构化红外光，所述环境包括除了所述近眼显示设备的用户之外的对象；第二照射模块，所述第二照射模块在操作时朝向所述近眼显示设备被定位在的所述环境发射第二红外光；成像传感器，所述成像传感器在操作时接收由所述对象反射的所述结构化红外光的一部分、由所述近眼显示设备的用户的身体部分反射的所述第二红外光的一部分以及由所述环境的至少一部分反射的环境可见光；以及处理器，所述处理器在操作时基于所述结构化红外光的接收的所述一部分来确定第一组深度值，基于所述第二红外光的接收的所述一部分来确定第二组深度值，并且基于所述可见光的接收的所述一部分来执行同时定位和映射(SLAM)功能。
12.根据示例11所述的近眼显示设备，其中所述成像传感器基于飞行时间(timeof flight)和从所述第一照射模块和所述第二照射模块到所述成像传感器相移来将所述第一红外光的接收的所述一部分和所述第二红外光的接收的所述一部分转换为深度信息。
13.根据示例11或示例12所述的近眼显示设备，其中所述第一红外光具有结构化照射图案。
14.根据示例11至13中任一项所述的近眼显示设备，其中所述处理器将飞行时间计算应用于所述结构化光的接收的所述一部分。
15.根据示例11至14中任一项所述的近眼显示设备，其中所述处理器在操作时使用所述第一红外光的接收的所述一部分确定用于空间映射和/或语义加标记的深度值，使用所述第二红外线的接收的所述一部分确定手部跟踪的深度值，并且使用所述可见光的接收的所述一部分执行头部跟踪。
16.根据示例11至15中任一项所述的近眼显示设备，其中所述第一照射模块具有大于所述第二照射模块的照射范围的有效照射范围。
17.根据示例11至16中任一项所述的近眼显示设备，其中所述第一照射模块具有窄于所述第二照射模块的照射场的照射场。
18.根据示例11至17中任一项所述的近眼显示设备，其中所述第一照射模块和所述第二照射模块在不同的时间发射光，并且所述成像传感器在不同的时间接收所述第一红外光和所述第二红外光范围。
19.一种方法，包括：由第一照射模块朝向所述近眼显示设备被定位在的环境发射第一频率范围的结构化光，所述环境包括除了所述近眼显示设备的用户之外的对象；由第二照射模块朝向所述环境发射所述第一频率范围的第二光；由所述近眼显示设备的成像传感器接收由所述对象反射的所述结构化光的至少一部分、由所述近眼显示设备的所述用户的身体部分反射的所述第二光的至少一部分以及由所述环境的至少一部分反射的第二频率范围的环境光；基于所述第二频率范围的接收的所述环境光来跟踪所述用户的头部的位置和/或取向；以及基于所述结构化光的接收的所述一部分来生成所述环境的深度图，并且基于所述第二光的接收的所述至少一部分来检测由所述用户的所述身体部分做出的姿势。
20.根据示例18所述的方法，其中：所述结构化光具有大于所述第二光的照射范围的照射范围；并且所述结构化光具有窄于所述第二光的照射场的照射场。
上述任何或所有特征和功能可以彼此组合，除非可以在上文中另外说明，或者任何这样的实施例由于其功能或结构而可能不相容，这对于本领域普通技术人员来说是很清楚的。除非与物理可能性相反，否则设想(i)本文中描述的方法/步骤可以以任何顺序和/或以任何组合来执行，并且(ii)各个实施例的组成可以以任何方式组合。
尽管用结构特征和/或动作专用的语言描述了本主题，但应当理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上面描述的具体特征和动作被公开作为实现权利要求的示例，并且其他等同特征和动作旨在落入权利要求的范围内。

Claims (15)

1.一种近眼显示设备，包括：
照射模块，所述照射模块在操作时朝向所述近眼显示设备的环境发射第一频率范围的第一光；
成像传感器，所述成像传感器在操作时接收由所述环境反射的所述第一频率范围的所述第一光和由所述环境反射的第二频率范围的第二光；以及
处理器，所述处理器在操作时基于接收的所述第一光来确定深度图并且基于接收的所述第二光来跟踪用户的至少一部分的位置和/或取向。
2.根据权利要求1所述的近眼显示设备，其中所述成像传感器包括被配置为接收所述第一频率范围的光的第一多个像素和被配置为接收所述第二频率范围的光的第二多个像素，并且其中所述第二多个像素与所述第一多个像素一起被散布。
3.根据权利要求2或权利要求2所述的近眼显示设备，还包括：
光学带通滤波器，所述光学带通滤波器减少入射在所述第一多个像素上的所述第一频率范围的环境光。
4.根据权利要求1至3中任一项所述的近眼显示设备，其中所述第一频率范围在红外范围内，并且所述第二频率范围在可见范围内。
5.根据权利要求1至4中任一项所述的近眼显示设备，其中所述照射模块是第一照射模块，所述近眼显示设备还包括第二照射模块，所述第二照射模块在操作时朝向所述近眼显示设备的所述环境发射所述第一频率范围的第三光；
其中所述成像传感器还被配置为接收所述第一频率范围的所述第三光的至少一部分。
6.根据权利要求1至5中任一项所述的近眼显示设备，其中所述处理器还被配置为基于所述第一频率范围的所述第三光的接收的所述一部分来生成或更新深度图。
7.根据权利要求1至6中任一项所述的近眼显示设备，其中所述第一照射模块具有大于所述第二照射模块的有效照射范围的有效照射范围。
8.根据权利要求1至7中任一项所述的近眼显示设备，其中所述第一照射模块具有窄于所述第二照射模块的照射场的照射场。
9.根据权利要求1至8中任一项所述的近眼显示设备，其中所述第一照射模块和所述第二照射模块在不同的时间点发射光，并且所述成像传感器在不同的时间点接收所述第一频率范围的所述第一光和所述第一频率范围的所述第二光。
10.根据权利要求1至9中任一项所述的近眼显示设备，其中所述第二照射模块利用结构化照射图案发射所述第一光或所述第三光中的至少一种。
11.一种近眼显示设备，包括：
第一照射模块，所述第一照射模块在操作时朝向所述近眼显示设备被定位在的环境发射结构化红外光，所述环境包括除了所述近眼显示设备的用户之外的对象；
第二照射模块，所述第二照射模块在操作时朝向所述近眼显示设备被定位在的所述环境发射第二红外光；
成像传感器，所述成像传感器在操作时接收由所述对象反射的所述结构化红外光的一部分、由所述近眼显示设备的所述用户的身体部分反射的所述第二红外光的一部分以及由所述环境的至少一部分反射的环境可见光；以及
处理器，所述处理器在操作时基于所述结构化红外光的接收的所述一部分来确定第一组深度值，基于所述第二红外光的接收的所述一部分来确定第二组深度值，并且基于所述可见光的接收的所述一部分来执行同时定位和映射(SLAM)功能。
12.根据权利要求11所述的近眼显示设备，其中所述处理器在操作时使用所述第一红外光的接收的所述一部分确定用于空间映射和/或语义加标记的深度值，使用所述第二红外线的接收的所述一部分确定用于手部跟踪的深度值，并且使用所述可见光的接收的所述一部分执行头部跟踪。
13.根据权利要求11或权利要求12所述的近眼显示设备，其中所述第一照射模块具有大于所述第二照射模块的照射范围的有效照射范围，并且所述第一照射模块具有窄于所述第二照射模块的照射场的照射场。
14.一种方法，包括：
由第一照射模块朝向近眼显示设备被定位在的环境发射第一频率范围的结构化光，所述环境包括除了所述近眼显示设备的用户之外的对象；
由第二照射模块朝向所述环境发射所述第一频率范围的第二光；
由所述近眼显示设备的成像传感器接收由所述对象反射的所述结构化光的至少一部分、由所述近眼显示设备的所述用户的身体部分反射的所述第二光的至少一部分以及由所述环境的至少一部分反射的第二频率范围的环境光；
基于所述第二频率范围的接收的所述环境光来跟踪所述用户的头部的位置和/或取向；以及
基于所述结构化光的接收的所述一部分来生成所述环境的深度图，并且基于所述第二光的接收的所述至少一部分来检测由所述用户的所述身体部分做出的姿势。
15.根据权利要求14所述的方法，其中：
所述结构化光具有大于所述第二光的照射范围的照射范围；并且
所述结构化光具有窄于所述第二光的照射场的照射场。
CN201880015179.4A 2017-03-01 2018-02-23 多光谱照射和传感器模块 Active CN110352364B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/447,064 2017-03-01
US15/447,064 US10628950B2 (en) 2017-03-01 2017-03-01 Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
PCT/US2018/019305 WO2018160439A1 (en) 2017-03-01 2018-02-23 Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping

Publications (2)

Publication Number Publication Date
CN110352364A true CN110352364A (zh) 2019-10-18
CN110352364B CN110352364B (zh) 2023-08-29

Family

ID=61656348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015179.4A Active CN110352364B (zh) 2017-03-01 2018-02-23 多光谱照射和传感器模块

Country Status (4)

Country Link
US (1) US10628950B2 (zh)
EP (1) EP3589978B1 (zh)
CN (1) CN110352364B (zh)
WO (1) WO2018160439A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028552A (zh) * 2019-12-24 2020-04-17 江西拓荒者科技有限公司 一种基于vr技术的红色教育平台
CN112824935A (zh) * 2019-11-20 2021-05-21 深圳市光鉴科技有限公司 基于调制光场的深度成像系统、方法、设备及介质
CN114930116A (zh) * 2020-01-13 2022-08-19 索尼互动娱乐股份有限公司 发光二极管(led)阵列的事件驱动型传感器(eds)跟踪

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
US10630873B2 (en) 2017-07-27 2020-04-21 Command Sight, Inc. Animal-wearable first person view system
US10609902B2 (en) 2017-07-27 2020-04-07 Command Sight, Inc. Animal wearable head mountable display system
US11887495B2 (en) 2018-04-27 2024-01-30 Red Six Aerospace Inc. Augmented reality for vehicle operations
US11869388B2 (en) * 2018-04-27 2024-01-09 Red Six Aerospace Inc. Augmented reality for vehicle operations
US11436932B2 (en) 2018-04-27 2022-09-06 Red Six Aerospace Inc. Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace
US11508255B2 (en) 2018-04-27 2022-11-22 Red Six Aerospace Inc. Methods, systems, apparatuses and devices for facilitating provisioning of a virtual experience
US10916023B2 (en) 2018-09-14 2021-02-09 Facebook Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
US10831286B1 (en) * 2019-01-09 2020-11-10 Facebook, Inc. Object tracking based on detected tracking patterns in a non-visible spectrum range
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人
CN109765634B (zh) * 2019-01-18 2021-09-17 广州市盛光微电子有限公司 一种深度标注装置
CN111989735B (zh) * 2019-03-21 2022-05-17 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
CN113424522A (zh) * 2019-03-27 2021-09-21 Oppo广东移动通信有限公司 使用半球形或球形可见光深度图像进行三维跟踪
US11039118B2 (en) * 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
TWI766218B (zh) 2019-12-27 2022-06-01 財團法人工業技術研究院 三維平面重建方法、三維平面重建系統與計算裝置
CN111273772B (zh) * 2020-01-17 2022-07-08 江苏艾佳家居用品有限公司 基于slam测绘方法的增强现实交互方法、装置
US20210231808A1 (en) * 2020-01-29 2021-07-29 Melexis Technologies Nv Depth mapping system and method therefor
CN112097688B (zh) * 2020-09-03 2021-07-06 清华大学 基于光栅投影三维成像的多光谱三维形貌测量方法及装置
EP4238081A1 (en) * 2020-10-30 2023-09-06 Red Six Aerospace Inc. Augmented reality for vehicle operations
US11172996B1 (en) * 2021-01-13 2021-11-16 MediVis, Inc. Instrument-based registration and alignment for augmented reality environments
US11857274B2 (en) 2021-01-13 2024-01-02 MediVis, Inc. Medical instrument with fiducial markers
US11744652B2 (en) 2021-01-13 2023-09-05 MediVis, Inc. Visualization of predicted dosage
CN112927290A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于传感器的裸手数据标注方法及系统
US11429247B1 (en) 2021-03-05 2022-08-30 MediVis, Inc. Interactions with slices of medical data in augmented reality
US11657247B2 (en) 2021-08-05 2023-05-23 MediVis, Inc. Adhesive fiducial markers for medical augmented reality
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
US20120236288A1 (en) * 2009-12-08 2012-09-20 Qinetiq Limited Range Based Sensing
US20130007668A1 (en) * 2011-07-01 2013-01-03 James Chia-Ming Liu Multi-visor: managing applications in head mounted displays
US20140306874A1 (en) * 2013-04-12 2014-10-16 Mark Finocchio Near-plane segmentation using pulsed light source
US20160210783A1 (en) * 2015-01-20 2016-07-21 Arthur Charles Tomlin Holographic bird's eye view camera
US20170053042A1 (en) * 2015-08-19 2017-02-23 Benjamin John Sugden Holographic building information update

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
WO2005034035A1 (en) 2003-10-07 2005-04-14 Koninklijke Philips Electronics N.V. Depth-map improvement
US7566855B2 (en) 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP2013535022A (ja) 2010-05-29 2013-09-09 ウェンユー・ジアーン 凝視距離および低電力凝視追跡によって動かされる適応レンズを有する眼鏡を製作し使用するためのシステム、方法および装置
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
KR101071362B1 (ko) 2011-03-25 2011-10-07 위재영 차량의 물체 거리 인식 시스템 및 작동 방법
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
KR102086509B1 (ko) 2012-11-23 2020-03-09 엘지전자 주식회사 3차원 영상 획득 방법 및 장치
KR20140079090A (ko) 2012-12-18 2014-06-26 한국전자통신연구원 레이저 방출기 모듈 및 그것이 적용된 레이저 감지 시스템
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US20140267031A1 (en) * 2013-03-12 2014-09-18 Kenneth J. Huebner Spatially aware pointer for mobile appliances
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9275078B2 (en) 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
EP2871843B1 (en) 2013-11-12 2019-05-29 LG Electronics Inc. -1- Digital device and method for processing three dimensional image thereof
CN106233227B (zh) * 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
US10430985B2 (en) * 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US10677923B2 (en) 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120236288A1 (en) * 2009-12-08 2012-09-20 Qinetiq Limited Range Based Sensing
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
US20130007668A1 (en) * 2011-07-01 2013-01-03 James Chia-Ming Liu Multi-visor: managing applications in head mounted displays
US20140306874A1 (en) * 2013-04-12 2014-10-16 Mark Finocchio Near-plane segmentation using pulsed light source
US20160210783A1 (en) * 2015-01-20 2016-07-21 Arthur Charles Tomlin Holographic bird's eye view camera
US20170053042A1 (en) * 2015-08-19 2017-02-23 Benjamin John Sugden Holographic building information update

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖儿良等: "多尺度梯度域可见光与红外热图像融合方法研究*", 《计算机应用研究》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112824935A (zh) * 2019-11-20 2021-05-21 深圳市光鉴科技有限公司 基于调制光场的深度成像系统、方法、设备及介质
CN112824935B (zh) * 2019-11-20 2023-02-28 深圳市光鉴科技有限公司 基于调制光场的深度成像系统、方法、设备及介质
CN111028552A (zh) * 2019-12-24 2020-04-17 江西拓荒者科技有限公司 一种基于vr技术的红色教育平台
CN114930116A (zh) * 2020-01-13 2022-08-19 索尼互动娱乐股份有限公司 发光二极管(led)阵列的事件驱动型传感器(eds)跟踪

Also Published As

Publication number Publication date
US20180253856A1 (en) 2018-09-06
WO2018160439A1 (en) 2018-09-07
EP3589978A1 (en) 2020-01-08
CN110352364B (zh) 2023-08-29
EP3589978B1 (en) 2022-02-23
US10628950B2 (en) 2020-04-21

Similar Documents

Publication Publication Date Title
CN110352364A (zh) 用于头部跟踪、姿势识别和空间映射的多光谱照射和传感器模块
US10497137B2 (en) Temperature compensation for structured light depth imaging system
US11709236B2 (en) Systems and methods for machine perception
JP6824279B2 (ja) インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ
EP3577489B1 (en) Active illumination management through contextual information
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
KR102175595B1 (ko) 펄스형 광원을 이용한 근접 평면 분할
CN109521397B (zh) 用于光学地检测至少一个对象的检测器
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
US9105210B2 (en) Multi-node poster location
CN110291565A (zh) 使用检测到的特征的3d对象呈现
CN110494827A (zh) 对虚拟现实系统中的对象的位置和定向的跟踪
EP3646147B1 (en) Display apparatus for computer-mediated reality
US11080874B1 (en) Apparatuses, systems, and methods for high-sensitivity active illumination imaging
TW202401211A (zh) 經由自腕指向相機系統之皮下組織之影像捕獲之手勢偵測
Mei et al. Compact low-power 3d imaging of simple planar scenes using parametric signal processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant