CN110249236A - 通过上下文信息的主动照明管理 - Google Patents

通过上下文信息的主动照明管理 Download PDF

Info

Publication number
CN110249236A
CN110249236A CN201880010112.1A CN201880010112A CN110249236A CN 110249236 A CN110249236 A CN 110249236A CN 201880010112 A CN201880010112 A CN 201880010112A CN 110249236 A CN110249236 A CN 110249236A
Authority
CN
China
Prior art keywords
ned
power
scene
depth
transmitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880010112.1A
Other languages
English (en)
Inventor
R·K·普里塞
M·布莱耶
D·德曼多尔克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110249236A publication Critical patent/CN110249236A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

用于深度跟踪的近眼显示器(NED)设备上的照明模块和深度相机可能受限于严格的功率消耗预算。为了降低深度跟踪的功率消耗，照明模块的照明功率被可控制地改变。这样的变化需要使用先前的帧或先前记录的数据来通知用于生成当前帧的照明功率。在NED确定下一最小照明功率之后，照明模块以该功率水平激活。照明模块发射电磁(EM)辐射(例如IR光)，EM辐射从场景中的表面反射，并且反射光由深度相机捕获。该方法针对后续帧重复，使用来自先前的帧中的每个帧的上下文信息来动态地控制照明功率。因此，该方法将NED的深度相机组件的整体功率消耗降低到最小水平。

Description

通过上下文信息的主动照明管理
技术领域
本公开涉及机器视觉。更特别地，本公开涉及机器视觉中的深度跟踪的功率消耗。
背景技术
深度感测技术可以用于确定人相对于附近对象的位置或用于以三维(3D)生成人的直接环境的图像。深度感测技术的一个示例是飞行时间(ToF)深度相机。ToF相机具有将光发射到附近对象上的光源。从对象的表面反射的光可以被ToF相机捕获。光从ToF相机的光源行进并且从对象反射回来所需的时间被转换为深度测量(即到对象的距离)，该深度测量可以被处理以映射用户环境中的物理表面，并且如果需要，可以渲染用户环境的3D图像。深度感测技术的另一示例是基于相位延迟计算。以一个或多个已知频率发射光并且将所接收的反射光的相位与发射光的相位进行比较，能够实现经计算的相位延迟。知道反射光的一个或多个相位延迟使得处理器能够确定到反射光的对象的距离。
照明系统汲取功率以进行操作。在移动设备中，通常存在对功率消耗，以及尺寸、重量和成本的严格限制。光源的照明功率越大，功率汲取就越大。该问题存在于诸如深度感测主动(active)红外(IR)模块、夜视相机、安全相机和机器视觉的其他应用等的许多设备中。这些系统的主动照明功率通常被选择以满足系统的最坏预期操作场景。设置针对最坏情况的照明功率在许多情况下会导致过度照明，因而浪费功率。另外，被设计成用于提供针对最坏情况的主动照明的设备往往需要具有更大容量的电源(例如，一个或多个电池)，因此需要比其他情况所需的更大的尺寸和重量，因此不期望地增加了最终产品的尺寸、重量和成本。
发明内容
在此介绍的是至少一种装置和至少一种方法。至少一种装置包括电磁辐射(EM)发射器，其具有可控制的可变照明功率，并且至少一种方法是改变照明功率的方法。在此介绍的EM发射器适用于诸如近眼显示(NED)系统的应用，并且可以基于诸如周围环境光水平、反射率和场景深度的上下文信息而被改变，以避免不必要的过度照明，并且因此避免不必要的功率消耗。
在一些实施例中，装置可以包括具有可控制的可变照明功率或曝光时间的电磁辐射(EM)发射器、深度跟踪相机组件以及周围环境光水平检测机构，该深度跟踪相机组件被配置成使用源自EM发射器的反射的EM发射来确定到用户的手的距离。EM发射器包括用于将可变照明功率或曝光时间设置成与由周围环境光水平检测机构检测的周围环境光水平正相关的指令。EM发射器的实施例包括生成红外(IR)光的照明模块。
在某些实施例中，装置可以被实施在近眼显示(NED)设备中，近眼显示(NED)设备诸如是头戴式显示(HMD)设备、诸如是虚拟现实或增强现实显示系统。在某些实施例中，EM发射器可以与相机一起实施，以执行HMD设备的深度感测。
在一些实施例中，改变EM发射器的照明功率的方法包括检测在NED附近的场景的周围环境光水平，以及基于检测到的周围环境光水平来改变NED设备上的EM发射器的照明功率，使得照明功率具有与周围环境光水平的正相关。
在某些实施例中，方法可以附加地利用其他上下文信息，诸如场景深度和反射率值，以便确定EM发射器的适当的照明功率。改变EM发射器的照明功率可以用于节省NED(诸如HMD)上的有限的电源。取决于深度跟踪的目标，照明功率可以存在一个以上的值。例如，用于用户的手的深度跟踪的照明功率将不同于用于对用户的手之外的空间(诸如空间区域/房间)进行深度跟踪的照明功率。
根据附图和详细描述，所公开的实施例的其他方面将显而易见。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体描述中进一步说明。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
本公开的一个或多个实施例通过示例而非限制的方式在附图的图中被图示，其中相同的附图标记表示类似的元件。
图1示出了可以在其中使用启用虚拟现实(VR)或增强现实(AR)的头戴式显示设备(下文称为“HMD设备”)的环境的示例。
图2图示了HMD设备的示例的透视图。
图3示出了HMD设备的传感器组件的一部分的前视图。
图4是显示上下文信息和照明模块的照明功率之间的关系的曲线图。
图5是图示改变照明功率的方法的示例的流程图。
图6是图示并发地改变多个照明功率的方法的示例的流程图。
图7图示了基于上下文范围的多个并发的照明功率。
具体实施方式
在本描述中，对“实施例”、“一个实施例”等的引用意味着所描述的特定特征、功能、结构或特性被包括在本文中介绍的至少一个实施例中。在本说明书中，这样的短语的出现不一定都指相同的实施例。另一方面，所涉及的实施例也不一定相互排斥。
附图和相关文本描述了在NED系统的上下文中的照明模块的某些实施例。然而，所公开的实施例不限于近眼显示系统并且具有各种可能的应用，包括任何主动照明系统(即，主动地使用光源)，诸如用于主动光投影系统或任何主动相机模块中的主动照明系统。所有这些应用、改进或修改都被认为在此公开的概念的范围内。
下面的描述通常假定显示设备的“用户”是人类。然而，注意，所公开的实施例的显示设备可以潜在地由非人类的用户(诸如机器或动物)使用。因此，术语“用户”可以指代这些可能性中的任一可能性，除非另有说明或者根据上下文显而易见。另外，术语“光学接收器”在此用作通用术语来指代人眼、动物的眼睛或被设计为以与人眼类似的方式检测图像的机器实施的光学传感器。
启用虚拟现实(VR)或增强现实(AR)的头戴式显示(HMD)设备和其他近眼显示(NED)系统可以包括透明显示元件，该透明显示元件使得用户能够同时看到他们周围的现实世界以及由HMD设备显示的AR内容两者。HMD设备可以包括诸如发光元件(例如，发光二极管(LED))、波导、各种类型的传感器和处理电子器件的组件。HMD设备还可以包括一个或多个成像器设备，以基于从HMD设备中包括的组件确定的测量和计算、根据穿戴HMD设备的用户的环境来生成图像(例如，用于3D视觉的立体对图像)。
HMD设备还可以包括深度感测系统，该深度感测系统解析用户所穿戴的HMD设备与用户紧邻的对象的物理表面(例如，墙壁、家具、人和其他对象)之间的距离。深度感测系统可以包括用于产生场景的3D图像的ToF相机或相位延迟相机。所捕获的图像具有与HMD设备和场景的点之间的距离相对应的像素值。
例如，HMD设备可以具有成像器设备，该成像器设备基于所解析的距离生成全息图像，使得全息对象出现在相对于用户的环境中的物理对象的特定位置处。HMD设备还可以具有一个或多个显示设备，以在HMD设备被用户穿戴时显示覆盖在用户的光学接收器的视图上的、所生成的图像。具体地，HMD设备的一个或多个透明波导可以被布置成使得它们被定位成在该HMD设备由用户穿戴时、直接位于用户的每只眼睛的前方，以将表示所生成的图像的光发射到用户的眼睛中。利用这样的配置，由HMD设备生成的图像可以被覆盖在用户对现实世界的三维视图上。
图1示意性地示出了可以在其中使用HMD设备的环境的示例，其中这样的HMD可以实施在此介绍的主动照明技术。在所图示的示例中，HMD设备10被配置成通过连接14传送去往和来自外部处理系统12的数据，连接14可以是有线连接、无线连接、或其组合。然而，在其他用例中，HMD设备10可以作为独立设备操作。连接14可以被配置成承载任何种类的数据，诸如图像数据(例如，静止图像和/或完全运动视频，包括2D和3D图像)、音频、多媒体、声音、和/或任何其他(多种)类型的数据。处理系统12可以是例如游戏控制台、个人计算机、平板计算机、智能电话、或其他类型的处理设备。连接14可以是例如通用串行总线(USB)连接、Wi-Fi连接、蓝牙或蓝牙低能量(BLE)连接、以太网连接、缆线连接、数字订户线(DSL)连接、蜂窝连接(例如，3G、LTE/4G或5G)等或其组合。附加地，处理系统12可以经由网络18与一个或多个其他处理系统16通信，网络18可以是或包括例如局域网(LAN)、广域网(WAN)、内联网、城域网(MAN)、全球因特网、或其组合。
图2示出了根据某些实施例的可以包含在此介绍的特征的HMD设备20的透视图。HMD设备20可以是图1中的HMD设备10的一个实施例。HMD设备20具有包括底座24的保护性密封面甲(visor)组件22(下文称为“面甲组件22”)。底座24是显示元件、光学器件、传感器和电子器件通过其耦合到HMD设备20的其余部分的结构性组件。底座24可以由例如模制塑料、轻型金属合金或聚合物形成。
面甲组件22分别包括左和右AR显示器26-1和26-2。AR显示器26-1和26-2被配置成例如通过将光投射到用户眼睛中来显示被覆盖在用户对现实世界环境的视图上的图像。左侧臂28-1和右侧臂28-2分别是经由柔性或刚性紧固机构(包括一个或多个钳夹、铰链等)分别在底座24的左开口端和右开口端处附连到底座24的结构。HMD设备20包括附连到侧臂28-1和28-2的可调节头带(或其他类型的头部适配物)30，HMD设备20可以通过该可调节头带被穿戴在用户头部上。
底座24可以包括各种固定件(例如，螺丝孔、升高的平坦表面等)，传感器组件32和其他组件可以附接到该固定件。在一些实施例中，传感器组件32被包含在面甲组件22内并经由轻型金属框架(未示出)被安装到底座24的内部表面。承受HMD 20的电子组件(例如，微处理器、存储器)的电路板(未在图2中示出)也可以被安装到面甲组件22内的底座24。
传感器组件32包括深度感测系统的深度相机34和一个或多个相关联的照明模块36(统称为照明模块36，并且单独地称为照明模块36-1至36-N)。照明模块36发射光以照明场景。一些光从场景中的对象的表面反射，并返回到深度相机34。深度相机34捕获反射光，该反射光包括来自照明模块36的光的至少一部分。
从照明模块36发射的“光”是适于深度感测的电磁辐射，并且不应当直接干涉用户对现实世界的视图。因此，从照明模块36发射的光通常不是可见光谱的一部分。所发射的光的示例包括使照明不引人注目的红外(IR)光。由照明模块36发射的光的源可以包括诸如超发光LED的LED、激光二极管、或具有足够功率输出的任何其他基于半导体的光源。
深度相机34可以是或包括被配置成捕获由照明模块36发射的光的任何图像传感器。深度相机34可以包括透镜，该透镜收集反射光并将环境成像到图像传感器上。光学带通滤波器可以用于仅通过具有与照明模块36发射的光相同的波长的光。例如，在ToF深度感测系统中，深度相机34的每个像素可以测量光从照明模块36行进到对象的表面并返回到深度相机34所花费的时间。备选地，在相位延迟深度感测系统中，深度相机34的每个像素可以用于测量与来自照明模块36的发射光的相位相比的、反射光的相位延迟。本领域技术人员已知的各种方式中的任何一种可以用于确定定时、相位、相位延迟和对应的深度计算。
HMD设备20包括电子电路装置(未在图2中示出)，以控制和同步深度相机34和照明模块36的操作，并执行相关联的数据处理功能。电路装置可以包括例如一个或多个处理器和一个或多个存储器。因此，HMD设备20可以提供表面重建以建模用户的环境，或被用作接收人类交互信息(诸如手部跟踪信息)的传感器。利用这样的配置，由HMD设备20生成的图像可以正确地覆盖在用户对现实世界的3D视图上以提供虚拟现实或增强现实。注意，在其他实施例中，上述组件可以位于HMD设备20上的不同位置处。附加地，一些实施例可以省略一些前述组件和/或可以包括上面未讨论的或图2中未示出的附加组件。
图3示出了根据至少一个实施例的HMD设备20的传感器组件32的一部分。特别地，传感器组件32包括安装在电路板38上的传感器和电子器件，电路板38可以被安装到如上文所提及的底座24。被安装到电路板38的传感器包括深度相机34和照明模块36-1至36-4。可以被包括在传感器组件32中但未在图中示出或进一步讨论的其他传感器可以包括头部跟踪相机、可见光谱相机、周围环境光传感器等。这些其他传感器中的一些或全部也可以被安装到传感器组件32。
在所图示的实施例中，可以使用可检测的不同光(例如，根据频率、波长、波形或幅度区分)来激活照明模块36-1至36-4。可检测的不同光使得深度感测系统能够隔离场景的各部分并向隔离的部分提供定制的照明功率、曝光时间或帧速率。这是因为深度相机能够区分由多个照明模块发射的不同光。具有针对发射光的不同的、并发的照明功率实现了针对场景的每个部分的可变的功率消耗。
通过NED设备改变EM发射器的功率的方法可以包括使用由NED的传感器捕获的上下文信息，并且旨在减少深度跟踪操作的功率消耗。上下文信息可以包括场景的深度、场景的反射率和场景的周围环境光。深度跟踪涉及发射光以击中场景中的对象、反射回来，并向传感器/相机提供清楚的信息。因此，EM发射器的照明功率设置被设计成具有合适的功率以到达场景中的最远距离、从存在的表面反射，并且仍然具有足够的功率以由深度相机通过周围环境光来清楚地区分。
图4是图示上下文信息与照明模块的照明功率之间的关系的示例的曲线图。更具体地，该曲线图用于展示最小照明功率与三个其他上下文统计之间的关系，这三个其他上下文统计为：反射率、距离和周围环境光。最小照明功率是指在精度阈值内获得深度相机性能的指定的最小水平所需的功率，其还将系统功率消耗保持在相对低的水平。基于深度相机的质量，来自照明模块的反射光需要处于预定幅度(功率)，以便向深度相机提供清楚的数据。
该曲线图具有针对照明功率和反射率的轴。另外，该曲线图示出了两个另外的特征：距离和周围环境光。距离和周围环境光的不同值在曲线图上被显示为单独的曲线。当对象不是反射性的(例如0％反射率)时或者如果它因为是高度镜面反射物而具有0％的有效反射率，则没有照明量会反射而被深度相机捕获。即使在低的非零反射率的值处，所需的照明功率量也大于对于具有严格功率限制的通常的移动设备的可行的功率量。另一方面，在非常高的反射率值处，最小照明功率接近用于激活EM发射器/照明模块的最小值。
从曲线图中可以明显看出，反射率与最小照明功率具有负相关。在场景中的对象更具反射性的情况下，更少的发射光中的功率是必要的，因为更多的光的能量会被反射回到深度相机而不是被对象吸收。来自更具反射性的对象的返回光将具有更大的幅度，并且因此更易于从中采集清楚的数据。作为反射率的函数的必要的最小照明功率的精确数字基于NED中使用的深度相机的分辨率。
与反射率不同，距离和周围环境光都具有不那么夸张的理论极限。当距离或周围环境光接近零时，最小照明功率并不也达到零。相反，最小照明功率接近最小的硬件相关的值。该硬件相关的值是深度相机的最小可检测幅度和来自照明模块的发射任何辐射必要的最小功率两者的函数。
与反射率值不同，距离和周围环境光都表现出与最小照明功率的正相关。关于周围环境光，周围环境光越大，“压制”周围环境所需的最小照明功率就越大。为了使深度相机区分周围环境光和来自照明模块的反射光，反射光需要是独特的。使反射光独特的一种方法是使反射光具有与周围环境光显著的功率差异。在光幅度大于周围环境光的情况下，深度相机可以获得清楚的数据。作为周围环境光的函数的必要的最小照明功率的精确数字基于NED中使用的深度相机的分辨率。
关于场景的深度/到对象的距离，其与照明功率的关系类似于周围环境光与照明功率的关系。距离越大，所需的最小照明功率就越大，以确保来自照明模块的光会到达对象、反射回来并被深度相机检测到。
为了最小化深度计算的功率消耗，根据在此介绍的某些实施例，基于周围环境以及到对象的距离的变化来动态地调节照明功率，以提供满足硬件要求和精度要求的最小功率。总之，该方法需要使用先前的帧或先前记录的数据来通知用于生成给定帧的照明功率的计算。在NED确定最小照明功率之后，照明模块就以该功率水平激活。照明模块发射电磁辐射(例如IR光)，EM辐射从场景中的表面反射，并且反射光被深度相机捕获。该方法针对后续的帧重复，基于来自一个或多个先前的帧的上下文信息来动态地设置每个帧的照明功率。因此，与使用常规的主动照明技术的那些方法相比，该方法降低了NED的深度相机组件的整体功率消耗。
改变NED的最小照明功率仅是控制功率消耗的一种方法。通过改变相机/ToF传感器的曝光时间可以获得类似的结果。可以执行增加深度相机的曝光时间来代替增加照明功率。因此，改变深度相机的曝光时间可以被用作如本文所述的改变照明功率的备选或附加。
图5图示了改变与深度感测系统相关联的主动照明模块的照明功率的方法的示例。该方法开始于步骤502，其中NED接收NED附近的场景的图像帧。该图像帧可能来自方法的先前的迭代或第一次迭代。该帧由深度相机使用来自照明模块/EM发射器的光捕获。在步骤504中，深度相机组件如上面所描述的那样计算帧中的每个像素的从NED到反射性对象的距离。可以以各种方式中的任一种来执行计算，诸如ToF测量或相位延迟测量。
在步骤506中，NED确定场景的周围环境光。可以使用传感器组件中或在NED中的其他地方的周围环境光传感器来测量周围环境光。测量周围环境光的另一方法是基于在步骤702中接收到的场景的图像帧中固有的数据来计算该周围环境光。在一些实施例中，两种技术都用于计算周围环境光水平。在使用先前的图像帧的情况下，该技术在逐个像素的基础上执行。在使用周围环境光传感器的情况下，获得整个帧的平均值。使用这两种技术实现了误差检查、在不使用先前的帧的情况下的操作，和跨多个数据点的平均/混合。
在步骤508中，NED计算场景中的每个像素的反射率值。计算反射率值的一种方法涉及检测场景的整体亮度，然后确定“主动亮度”(即，感兴趣的光谱中的整体亮度和周围环境光水平之间的差异)，并且然后基于所计算的到对象的距离(即，对应的所计算的深度值)，针对亮度二次衰减将主动亮度值归一化。
在步骤510中，NED确定针对在步骤504-508中计算的上下文信息的最小阈值。最小阈值限定了需要由深度相机精确限定的图像帧的百分比，以便深度感测系统在指定的确定性水平下操作。该阈值可以基于软件应用、NED的特定使用、NED的位置或硬件约束而改变。来自步骤504-508的超过阈值的上下文信息的值是异常检测值，其需要最大照明功率来精确限定(反射率的最低值，以及周围环境光和距离的最高值)。
示例阈值包括100％、95％、90％、75％等。在100％处，整个空间场景需要由深度相机根据从NED到外部表面的距离来精确地限定。如果阈值小于100％，则NED确定照明模块的照明功率不需要高到足以精确地限定图像的高于阈值的异常部分。
在周围环境光作为上下文信息的情况下，所选择的照明功率基于最高的检测到的周围环境光水平。这是因为所选择的照明功率被配置成“压制”周围环境光。因此，阈值使得NED能够忽略场景中的异常的最亮部分。因此，用于确定所选择的照明功率的周围环境光水平是在场景的最暗部分中检测到的最高光水平，其中最暗部分包括具有最低的检测到的光水平的场景的指定百分比。在户外使用NED的示例用例中，最小阈值可以被配置成忽略直射阳光，或者将直射阳光视为异常亮度水平。太阳足够明亮并且足够远，以至于试图利用NED的深度相机精确地计算太阳的距离是非常困难的。因此，将NED的深度感测系统配置成忽略太阳(并因此建立阈值)实现了有效地实施本文所教导的功率节省技术。
在步骤512中，NED确定在步骤502中接收的帧所需的最小照明功率。该最小照明功率基于从步骤504-510确定的上下文信息和设置。在步骤514中，照明模块以所确定的最小照明功率发射EM辐射。NED使用所发射的EM辐射来捕获下一帧。在步骤516中，深度相机捕获来自步骤514的发射光的反射光。反射光提供限定场景所必要的信息。
在步骤518中，在NED处于操作中时，方法和深度跟踪继续。在操作继续的情况下，在步骤516中捕获的帧被再循环到步骤502中，并且该方法循环直到设备不再处于使用中。
图6图示了并发地改变多个照明功率的方法的示例。并发地管理多个照明功率实现了功率节省方面的附加粒度。照明模块可以基于特定上下文数据的设置范围来管理多个照明功率。例如，可以使用深度。可以存在针对大约零到一米的一个照明功率(即，用户的手臂长度的粗略近似)，并且可以存在针对大于一米的距离的第二照明功率。限定并发照明功率的上下文范围(例如距离)也可以基于对特定对象(诸如用户的手)的跟踪距离而改变。
在一些实施例中，深度相机组件使用第一照明功率来跟踪用户的手，并且使用第二照明功率来映射用户的手之外的空间。用户的手在给定帧中的位置由先前的帧中测量的深度确定。
以并发的、可检测的不同发射光(例如，根据频率、波长、波形或幅度区分)的操作实现了可变的帧速率。这是因为深度相机能够区分由照明模块发射的不同光。因此，在以不同速率发射不同的光的情况下，深度感测系统限定针对适用的上下文范围的多个帧速率。使发射光具有不同的、并发的照明功率实现了改变针对每个发射光的功率消耗。
用于跟踪用户的手的帧的最小照明功率通常会低于用于限定用户的手之外的空间的帧的最小照明功率。这是因为从深度传感器到用户的手的距离小于从传感器到用户的手之外的空间的距离，并且手(特别是对于具有在IR波长范围内的更高反射率的肤色的用户)的反射率值与其他对象相比是相对高的。
因为用户的手可能非常活跃，所以具有用于手部跟踪的高的帧速率对于手部跟踪精度是重要的(例如，通常认为每秒30-60帧的帧速率是合适的)。在至少一些情况下，出于深度感测的目的，对于空间映射，没有必要具有与用于手部跟踪一样高的帧速率——房间中的无生命对象即使移动的话也往往不像用户的手那样移动(例如，通常认为每秒1帧至5帧的帧速率是合适的)。由于精确限定空间区域(例如房间)所需的最小照明功率通常大于跟踪用户的手所需的照明功率，并且用于限定房间的帧速率要求较低，因此从功率消耗的角度来看，使用并发的且可检测的不同光进行手部跟踪和空间映射是有益的。以这种方式，可以不那么频繁地捕获从功率消耗角度来看更“昂贵”的帧。
另外，可以针对其他上下文信息(诸如周围环境光或反射率值)使用独立的范围。以这种方式，针对给定范围的上下文信息的帧速率可以与不同范围的上下文信息的帧速率不同。
除了独立的帧速率和附加的功率管理之外，单独的上下文范围还提供了其他益处。一个这样的益处是经由使用最适于上下文范围的、不同波长的光增加了深度测量精度，在该上下文范围中，每个波长都被使用。例如，较短的波长对于测量较短的距离可能是有用的。
再次参考图6，在步骤602中，NED接收处于上下文信息的第一范围(例如，0-1米的深度，或0-3000的勒克斯周围环境光水平，或大于25％的反射率值)的图像帧。如上所述，上下文信息可以是深度、反射率或周围环境光水平中的任一个。在步骤604中，NED从附加的上下文范围接收图像帧。步骤604从获得第二帧开始；但是，NED接收针对每个上下文范围的附加帧。NED可以包括先前限定的(例如，存储的)上下文范围，或者它可以动态地确定上下文范围。
在步骤606中，NED分配用于每个上下文范围的帧速率。在一些实施例中，相同的深度相机捕获用于上下文范围中的每个上下文范围的不同帧速率。可以使用单个或多个EM发射器来实现不同的期望照明功率水平。
在步骤608中，NED确定在步骤602和604中获得的帧的上下文信息。NED可以在不同时间(由于变化的帧速率)接收步骤602和604的帧，并且因此步骤608可以对于给定循环或方法的迭代而多次出现，或者对于一个上下文范围比对另一上下文范围更频繁地出现。
在步骤610中，在动态调整上下文范围的实施例中，NED更新上下文范围。例如，初始上下文范围可以是NED的一米内的区域，以便捕获用户的手。如果NED从未检测到用户的手远于四分之三米，则上下文范围可以减少到四分之三米。在不动态调整上下文范围的实施例中，跳过步骤610。
在步骤612中，NED确定用于每个上下文范围的最小照明功率。该步骤与图5中所示的方法类似地执行。在步骤614中，照明模块以与每个上下文范围相关联的每个所选择的照明功率发射光。如前所述，该步骤可以在很长一段时间上发生，或者取决于每个上下文范围的帧速率而多次发生。在步骤616中，深度相机捕获与步骤614的发射光相对应的反射光。反射光提供用以限定针对每个上下文范围的场景的必要信息，从而以每个相关联的帧速率生成针对每个上下文范围的帧。
在步骤618中，在NED处于操作中时，方法和深度跟踪继续。在操作继续的情况下，在步骤616中捕获的帧被再循环到步骤602-604中，并且该方法循环直到该设备不再处于使用中。方法可以基于相关联的帧速率针对每个上下文范围独立地循环。
图7图示了基于参考HMD设备40的上下文范围的多个并发的照明功率。图7提供了对图6的方法的说明。佩戴HMD设备40的用户具有由照明模块生成的照明场42。照明场42可以包括对象或标的物，对象或标的物提供上下文以生成范围，以改变照明功率和/或照明频率。图7特别地图示了用于生成照明功率或照明频率的变化的、基于范围或深度的上下文。
照明场42包括第一深度范围44和第二深度范围46。第一深度范围44被配置成包括紧邻用户的、包括用户的手48的空间。第二深度范围46包括在用户的手48之外的空间。第二深度范围旨在捕获房间或空间区域的其余部分。深度范围之间的区别可以是预定的设置值(例如，平均的用户手臂长度)、确定的经学习的值(例如，在HMD校准操作期间被分配的并且基于给定用户的手臂长度的值)，或者测量或计算的变量(例如，最近计算的用户的手的深度)。
第二深度范围46可以包括各种各样的对象。这样的对象包括无生命对象50和有生命对象52(例如人或动物)。另外，一些对象将是光源54。光源54通常不会发射足以升高场景的周围环境亮度的红外光。然而，在特定的点(例如，有源灯泡的表面)处，周围环境红外线亮度可能相对高。
从照明功率的角度来看，计算第二深度范围46中的对象的深度通常比计算第一深度范围44中的对象的深度更昂贵。这是由于它们距HMD设备40的距离，以及它们产生“明亮点”的可能性。尽管如此，可以不那么频繁地捕获来自第二深度范围46的帧，因为在许多情况下，移动的有生命的对象48、52会包括深度范围的整个内容的较小的百分比。使用深度上下文范围和其他范围实现了功率消耗控制的更大粒度。
以上描述的机器实施的操作可以至少部分地由通过软件和/或固件来编程/配置的可编程电路装置，或者完全由专用电路装置，或者由这些形式的组合来实施。这种专用电路装置(如果有)可以是例如一个或多个专用集成电路(ASIC)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、片上系统(SOC)等的形式。
用于实施在此引入的实施例的软件或固件可以被存储在机器可读存储介质上，并可以由一个或多个通用或专用可编程微处理器来执行。如本文中所使用的术语“机器可读介质”包括可以存储由机器(机器可以是例如计算机、网络设备、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任意设备等)可访问的形式的信息的任何机构。例如，机器可访问介质包括可记录/不可记录介质(例如，只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质、光学存储介质、闪存设备等)等。
某些实施例的示例
1.一种方法，包括：检测在近眼显示器(NED)附近的场景的周围环境光水平；以及基于检测到的周围环境光水平，改变NED设备上的电磁辐射(EM)发射器的照明功率，使得照明功率具有与周围环境光水平的正相关。
2.根据示例1的方法，其中电磁辐射是红外光。
3.根据每个先前的示例的方法，还包括：检测场景的反射率值；其中改变NED上的EM发射器的照明功率还基于反射率值，使得照明功率具有与反射率值的负相关。
4.根据每个先前的示例的方法，其中场景的周围环境光水平通过以下中的任一项来检测：周围环境光传感器；或场景的非照明帧。
5.根据每个先前的示例的方法，其中场景包括用户的手。
6.根据每个先前的示例的方法，还包括：检测场景中的对象相对于NED的距离；其中所述改变NED上的EM发射器的照明功率还基于反射率，照明功率具有与距离的正相关。
7.根据示例6所述的方法，所述检测到对象的距离还包括以下中的任一项：计算EM发射从NED的EM发射器行进并且从对象反射回来的飞行时间；或计算接收到的反射的EM发射与EM发射的发射相位的相位延迟。
8.根据每个先前的示例的方法，其中场景包括在用户的手之外的关于NED的空间区域。
9.根据每个先前的示例的方法，其中周围环境光水平是检测到的最高的光水平。
10.根据每个先前的示例的方法，其中周围环境光水平是在场景的最暗部分中检测到的最高的光水平，最暗部分包括具有最低的检测到的光水平的、场景的预定的百分比。
11.一种近眼显示器(NED)，包括：电磁辐射(EM)发射器，其具有可控制的可变照明功率；深度跟踪相机组件，其被配置成使用源自EM发射器的反射的EM发射来确定到用户的手的距离；以及周围环境光水平检测机构；其中EM发射器被配置成将可变照明功率设置为与由周围环境光水平检测机构检测的周围环境光水平正相关。
12.根据示例11的设备，还包括：反射率计算器，其被配置成确定在头戴式设备附近的场景的反射率值；并且其中EM发射器包括用于将可变照明功率设置为与由反射传感器检测的反射率值负相关的指令。
13.根据示例11的设备，其中EM发射器包括用于将可变照明功率设置为与由深度相机组件计算的距离正相关的指令。
14.根据示例11-13的设备，其中电磁辐射是红外光。
15.根据示例11-14的设备，其中深度跟踪相机组件基于以下中的任一项来计算到用户的手的距离：接收反射的EM发射的飞行时间；或反射的EM发射的、与原始EM发射的相位相比的相位延迟。
16.根据示例11-15的设备，还包括：数字存储器，其被配置成存储包括过去的值的场景数据，过去的值包括：反射率值、周围环境光水平以及场景深度；并且其中EM发射器包括用于基于过去的值来设置可变照明功率的指令。
17.一种改变头戴式设备上的电磁辐射(EM)发射器的照明功率以降低功率消耗的方法，包括：检测在头戴式设备附近的场景的第一周围环境光水平和第二周围环境光水平，其中第一周围环境光水平与用户的手所达到的范围内的空间区域有关，并且第二周围环境光水平与用户的手之外的空间区域有关，第一和第二周围环境光水平经由以下中的任一项来检测：周围环境光传感器或场景的非照明帧；基于第一周围环境光水平和第二周围环境光水平改变EM发射器的第一照明功率和第二照明功率，其中第一周围环境光水平与第一照明功率正相关，并且第二周围环境光水平与第二照明功率正相关。
18.根据示例17的方法，还包括：检测在头戴式设备附近的场景的第一反射率值和第二反射率值，其中第一反射率值与用户的手有关，并且第二反射率值与用户的手之外的空间区域有关；基于第一反射率值和第二反射率值，改变EM发射器的第一照明功率和第二照明功率，其中第一反射率值与第一照明功率负相关，并且第二反射率值与第二照明功率负相关。
19.根据示例17-18的示例，还包括：检测在头戴式设备附近的场景的第一距离和第二距离，其中第一距离与用户的手有关，并且第二距离值与用户的手之外的空间区域有关；基于第一距离和第二距离，改变EM发射器的第一照明功率和第二照明功率，其中第一距离与第一照明功率正相关，并且第二距离与第二照明功率正相关。
20.根据示例17-19的示例，其中电磁辐射是红外光。
如对于本领域普通技术人员显而易见的，上面描述的特征和功能中的任一个或全部可以彼此组合，除非以其他方式在上文中陈述或者任何这样的实施例可能因为其功能或结构而不兼容。除非与物理可能性相违背，否则预期(i)本文描述的方法/步骤可以任何顺序和/或以任何组合来执行，并且(ii)各个实施例的组件可以任何方式组合。
尽管已用结构特征和/或动作特定的语言描述了本主题，但应当理解，所附权利要求中限定的主题不必限于上述特定特征或动作。相反，上述特定特征和动作是作为实施权利要求的示例而公开的，并且其他等价特征和动作旨在处于权利要求的范围内。

Claims (15)

1.一种近眼显示器(NED)，包括：
电磁辐射(EM)发射器，具有可控制的可变照明功率；
深度跟踪相机组件，被配置成使用源自所述EM发射器的反射的EM发射来确定到用户的手的距离；以及
周围环境光水平检测机构；
其中所述EM发射器被配置成将所述可变照明功率设置为与由所述周围环境光水平检测机构检测的周围环境光水平正相关。
2.根据权利要求1所述的近眼显示器(NED)，还包括：
反射率计算器，被配置成确定在头戴式设备附近的场景的反射率值；并且
其中所述EM发射器包括用于将所述可变照明功率设置为与由反射传感器检测的所述反射率值负相关的指令。
3.根据权利要求1至2中任一项所述的近眼显示器(NED)，其中所述EM发射器包括用于将所述可变照明功率设置为与由所述深度相机组件计算的所述距离正相关的指令。
4.根据权利要求1至3中任一项所述的近眼显示器(NED)，其中所述电磁辐射是红外光。
5.根据权利要求1至4中任一项所述的近眼显示器(NED)，其中所述深度跟踪相机组件基于以下中的任一项来计算到所述用户的手的所述距离：
接收所述反射的EM发射的飞行时间；或
所述反射的EM发射的、与原始EM发射的相位相比的相位延迟。
6.根据权利要求1至5中任一项所述的近眼显示器(NED)，还包括：
数字存储器，被配置成存储包括过去的值的场景数据，所述过去的值包括：
反射率值；
周围环境光水平；以及
场景深度；并且
其中所述EM发射器包括用于基于所述过去的值来设置所述可变照明功率的指令。
7.一种方法，包括：
检测在近眼显示器(NED)附近的场景的周围环境光水平；以及
基于检测到的所述周围环境光水平，改变所述NED设备上的电磁辐射(EM)发射器的照明功率，使得所述照明功率具有与所述周围环境光水平的正相关。
8.根据权利要求7所述的方法，其中所述电磁辐射是红外光。
9.根据权利要求7至8中任一项所述的方法，还包括：
检测所述场景的反射率值；
其中所述改变所述NED上的所述EM发射器的所述照明功率还基于所述反射率值，使得所述照明功率具有与所述反射率值的负相关。
10.根据权利要求7至9中任一项所述的方法，其中所述场景的所述周围环境光水平通过以下中的任一项来检测：
周围环境光传感器；或
所述场景的非照明帧。
11.根据权利要求7至10中任一项所述的方法，其中所述场景包括用户的手(48)。
12.根据权利要求7至11中任一项所述的方法，其中所述周围环境光水平是检测到的最高的光水平。
13.根据权利要求7至12中任一项所述的方法，其中所述周围环境光水平是在所述场景的最暗部分中检测到的最高的光水平，所述最暗部分包括具有最低的检测到的光水平的、所述场景的预定的百分比。
14.根据权利要求7至13中任一项所述的方法，还包括：
检测所述场景中的对象相对于所述NED的距离；
其中所述改变所述NED上的所述EM发射器的所述照明功率还基于所述反射率，所述照明功率具有与所述距离的正相关。
15.根据权利要求14所述的方法，所述检测到所述对象的所述距离还包括以下中的任一项：
计算EM发射从所述NED的所述EM发射器行进并且从所述对象反射回来的飞行时间；或
计算接收到的反射的EM发射与所述EM发射的发射相位的相位延迟。
CN201880010112.1A 2017-02-03 2018-01-29 通过上下文信息的主动照明管理 Pending CN110249236A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/424,713 2017-02-03
US15/424,713 US10302764B2 (en) 2017-02-03 2017-02-03 Active illumination management through contextual information
PCT/US2018/015656 WO2018144368A1 (en) 2017-02-03 2018-01-29 Active illumination management through contextual information

Publications (1)

Publication Number Publication Date
CN110249236A true CN110249236A (zh) 2019-09-17

Family

ID=61768412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880010112.1A Pending CN110249236A (zh) 2017-02-03 2018-01-29 通过上下文信息的主动照明管理

Country Status (4)

Country Link
US (2) US10302764B2 (zh)
EP (2) EP3577489B1 (zh)
CN (1) CN110249236A (zh)
WO (1) WO2018144368A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10274979B1 (en) * 2018-05-22 2019-04-30 Capital One Services, Llc Preventing image or video capture of input data provided to a transaction device
CN115037884A (zh) * 2018-06-01 2022-09-09 苹果公司 用于成像的统一包围曝光方法
US11609313B2 (en) * 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
CN109068036B (zh) * 2018-09-12 2020-09-25 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
CN109445231B (zh) * 2018-11-20 2022-03-29 奥比中光科技集团股份有限公司 一种深度相机及深度相机保护方法
US10438010B1 (en) 2018-12-19 2019-10-08 Capital One Services, Llc Obfuscation of input data provided to a transaction device
DE102019202265A1 (de) * 2019-02-20 2020-08-20 Zf Friedrichshafen Ag Detektion einer Blendung eines optischen Sensors
US20220146648A1 (en) * 2019-02-22 2022-05-12 Sony Semiconductor Solutions Corporation Distance measuring device, method for controlling distance measuring device, and electronic device
EP3709628B1 (en) * 2019-03-14 2020-12-23 Axis AB Control of an illuminator
GB2582657B (en) * 2019-03-29 2021-09-15 Sony Interactive Entertainment Inc User tracking system using a camera mounted on the user and an external camera
CN110908115B (zh) * 2019-12-06 2022-06-07 Oppo广东移动通信有限公司 头戴式设备
CN110824714B (zh) * 2019-12-06 2022-04-01 Oppo广东移动通信有限公司 用于头戴式设备的系带组件以及头戴式设备
CN115220232A (zh) * 2019-12-06 2022-10-21 Oppo广东移动通信有限公司 保护壳体和头戴式设备
CN114895466A (zh) * 2019-12-06 2022-08-12 Oppo广东移动通信有限公司 头戴式设备
CN115202056B (zh) * 2019-12-06 2024-04-19 Oppo广东移动通信有限公司 头戴式设备
CN114902074A (zh) * 2019-12-23 2022-08-12 索尼半导体解决方案公司 飞行时间物体检测电路及飞行时间物体检测方法
US11715220B1 (en) 2020-07-30 2023-08-01 Apple Inc Method and device for depth sensor power savings
US11965984B2 (en) * 2021-09-17 2024-04-23 New Pocket Device Corp. Night vision device with distance measurement function and implementation thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335302A1 (en) * 2012-06-18 2013-12-19 Randall T. Crane Selective illumination
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
CN104067334A (zh) * 2011-11-04 2014-09-24 谷歌公司 头戴式显示器的自适应亮度控制
CN105144022A (zh) * 2012-11-29 2015-12-09 微软技术许可有限责任公司 头戴式显示器资源管理
CN105765558A (zh) * 2013-09-03 2016-07-13 醒眸行有限公司 低功率眼睛跟踪系统和方法
US20170025091A1 (en) * 2015-02-17 2017-01-26 Osterhout Group, Inc. See-through computer display systems

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6876392B1 (en) * 1998-12-22 2005-04-05 Matsushita Electric Industrial Co., Ltd. Rangefinder for obtaining information from a three-dimensional object
US7457476B2 (en) 2001-10-03 2008-11-25 Anoto Ab Optical sensor device and a method of controlling its exposure time
US7477309B2 (en) 2002-07-10 2009-01-13 Lockheed Martin Corporation Infrared camera system and method
US6963059B2 (en) * 2003-07-01 2005-11-08 Em Microelectronic-Marin Sa Method and system for optimizing illumination power and integration time in an optical sensing device
EP1689171A1 (en) * 2005-02-03 2006-08-09 Sony Ericsson Mobile Communications AB LED flash control
US7901084B2 (en) * 2005-11-02 2011-03-08 Microvision, Inc. Image projector with display modes
US7801438B2 (en) 2008-02-14 2010-09-21 Alok Khuntia Camera integrated with direct and indirect flash units
US20090273770A1 (en) * 2008-04-30 2009-11-05 Honeywell International Inc. Systems and methods for safe laser imaging, detection and ranging (lidar) operation
US8054290B2 (en) * 2009-05-27 2011-11-08 Microsoft Corporation Image contrast enhancement in depth sensor
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
GB2485995B (en) * 2010-11-30 2014-01-01 St Microelectronics Res & Dev Improved proximity sensor and associated method, computer readable medium and firmware
EP2477043A1 (en) * 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
US20120182539A1 (en) * 2011-01-19 2012-07-19 Qualcomm Incorporated Method and apparatus for classifying proximate materials and estimating range
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US20130002872A1 (en) 2011-07-01 2013-01-03 Fantone Stephen D Adaptable night vision system
CA2844401A1 (en) * 2011-08-05 2013-02-14 Datamax-O'neil Corporation Print station system
GB201201640D0 (en) * 2012-01-31 2012-03-14 Infinitesima Ltd Photothermal probe actuation
EP2677340A1 (en) 2012-06-18 2013-12-25 Hexagon Technology Center GmbH Distance measuring method using dynamic pulse width adaptation
US9674436B2 (en) * 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
EP2703836B1 (en) * 2012-08-30 2015-06-24 Softkinetic Sensors N.V. TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
US10368053B2 (en) 2012-11-14 2019-07-30 Qualcomm Incorporated Structured light active depth sensing systems combining multiple images to compensate for differences in reflectivity and/or absorption
US8879050B2 (en) 2012-12-04 2014-11-04 Texas Instruments Incorporated Method for dynamically adjusting the operating parameters of a TOF camera according to vehicle speed
WO2014110655A1 (en) 2013-01-15 2014-07-24 Avigilon Corporation Method and apparatus for generating an infrared illumination beam with a variable illumination pattern
US8761594B1 (en) 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems
US9804024B2 (en) * 2013-03-14 2017-10-31 Mojo Labs, Inc. Light measurement and/or control translation for daylighting
US9304594B2 (en) 2013-04-12 2016-04-05 Microsoft Technology Licensing, Llc Near-plane segmentation using pulsed light source
US9277630B2 (en) * 2013-11-08 2016-03-01 Zachary Leonid Braunstein Apparatus intelligent parallel view LED light, methods of configuration and controls
US11265534B2 (en) 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
US9329684B2 (en) * 2014-06-02 2016-05-03 Intel Corporation Eye tracking with detection of adequacy of lighting
CN206248723U (zh) * 2016-12-20 2017-06-13 山东齐电电子科技有限公司 一种三相网络多功能测控电表

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067334A (zh) * 2011-11-04 2014-09-24 谷歌公司 头戴式显示器的自适应亮度控制
US20130335302A1 (en) * 2012-06-18 2013-12-19 Randall T. Crane Selective illumination
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
CN104380729A (zh) * 2012-07-31 2015-02-25 英特尔公司 摄像机参数的上下文驱动调整
CN105144022A (zh) * 2012-11-29 2015-12-09 微软技术许可有限责任公司 头戴式显示器资源管理
CN105765558A (zh) * 2013-09-03 2016-07-13 醒眸行有限公司 低功率眼睛跟踪系统和方法
US20170025091A1 (en) * 2015-02-17 2017-01-26 Osterhout Group, Inc. See-through computer display systems

Also Published As

Publication number Publication date
WO2018144368A1 (en) 2018-08-09
US10916024B2 (en) 2021-02-09
US20180224545A1 (en) 2018-08-09
EP3577489B1 (en) 2022-06-29
US10302764B2 (en) 2019-05-28
EP3577489A1 (en) 2019-12-11
EP3686625A1 (en) 2020-07-29
US20190257945A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
CN110249236A (zh) 通过上下文信息的主动照明管理
CN110352364B (zh) 多光谱照射和传感器模块
US10497137B2 (en) Temperature compensation for structured light depth imaging system
US10084990B2 (en) Holographic video capture and telepresence system
CN108885341B (zh) 基于棱镜的眼睛跟踪
JP7076368B2 (ja) レンジゲート式デプスカメラ部品
US10810753B2 (en) Single-frequency time-of-flight depth computation using stereoscopic disambiguation
EP2824923B1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US10007330B2 (en) Region of interest segmentation
CN105992965B (zh) 响应于焦点移位的立体显示
US20160292917A1 (en) Blended reality systems and methods
US20120327218A1 (en) Resource conservation based on a region of interest
CN109831660A (zh) 深度图像获取方法、深度图像获取模组及电子设备
KR20180019606A (ko) 비행시간 센서를 사용하여 노출 추정을 수행하기 위한 방법들 및 장치들
US20140210964A1 (en) Object distance determination from image
JP6970376B2 (ja) 画像処理システム、及び画像処理方法
US20220261079A1 (en) Controlling illuminators for optimal glints
CN108697321A (zh) 用于视线跟踪的系统和装置
SE542644C2 (en) Method and camera arrangement for measuring a movement of a person
EP3454098A1 (en) System with semi-transparent reflector for mixed/augmented reality
CN108663812A (zh) 一种基于ar眼镜的弱视助视器
US20180267601A1 (en) Light Projection for Guiding a User within a Physical User Area During Virtual Reality Operations
US20220095123A1 (en) Connection assessment system
US11080874B1 (en) Apparatuses, systems, and methods for high-sensitivity active illumination imaging
EP4325433A1 (en) Augmented reality device and method for acquiring depth map using depth sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination