CN111856751B - 具有低光操作的头戴式显示器 - Google Patents

具有低光操作的头戴式显示器 Download PDF

Info

Publication number
CN111856751B
CN111856751B CN202010295847.2A CN202010295847A CN111856751B CN 111856751 B CN111856751 B CN 111856751B CN 202010295847 A CN202010295847 A CN 202010295847A CN 111856751 B CN111856751 B CN 111856751B
Authority
CN
China
Prior art keywords
sensor
sensor data
visible light
environment
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010295847.2A
Other languages
English (en)
Other versions
CN111856751A (zh
Inventor
K·J·普尔
T·J·内斯
S·E·德伊
F·R·罗特考普夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202211437435.3A priority Critical patent/CN115755397A/zh
Publication of CN111856751A publication Critical patent/CN111856751A/zh
Application granted granted Critical
Publication of CN111856751B publication Critical patent/CN111856751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • G02B23/125—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification head-mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted

Abstract

本公开涉及具有低光操作的头戴式显示器。公开的显示系统包括控制器和头戴式显示器。头戴式显示器包括显示器、耦接到显示器的用于将显示器支承在用户的头部上以由用户查看的头部支承件、和耦接到头部支承件的用于在低光中从头戴式显示单元感测环境的传感器。传感器包括用于通过红外电磁辐射感测环境的红外传感器、或用于感测与环境的对象的距离的深度传感器中的一者或多者，并且还包括用于通过超声波感测环境的超声传感器。控制器根据通过红外传感器或深度传感器中的所述一者或多者以及通过超声传感器对环境的感测来确定图形内容，并且操作显示器以与对环境的感测并行地提供图形内容。

Description

具有低光操作的头戴式显示器
技术领域
本公开涉及显示系统，并且具体地讲，涉及头戴式显示单元及其操作。
背景技术
人的眼睛在不同照明条件下具有不同的敏感度。明视觉是具有高水平环境光(例如，约10至10^8cd/m^2的亮度)诸如白天条件的人类视觉。明视觉由眼睛的视锥细胞提供，其提供对不同颜色(即波长)的光的敏感性。暗视觉是具有低水平环境光(例如，约10^-6至10^-3.5cd/m^2的亮度)诸如在天空阴沉(例如，没有月光)的晚上的人类视觉。暗视觉由眼睛的视杆细胞提供。中间视觉是环境光的水平在明视觉和暗视觉的环境光水平之间的人类视觉(例如，大约10^-3至10^0.5cd/m^2的亮度)，诸如在天空不阴沉(例如，有月光)的晚上到早期晨昏蒙影时间。由视锥细胞和视杆细胞两者提供中间视觉。与明视觉相比，暗视觉或甚至中间视觉可导致丧失颜色视觉，改变对不同波长的光的敏感度，降低的敏锐度和更严重的运动模糊。因此，在照明差的条件下，诸如当依赖于暗视觉时，与在照明良好的条件下相比，人观察环境的能力较低。
发明内容
本文公开了显示系统的具体实施，包括头戴式显示单元和提供内容的方法。在具体实施中，显示系统包括控制器和头戴式显示单元。头戴式显示单元包括显示器、耦接到显示器的用于将显示器支承在用户的头部上以由用户查看的头部支承件、和耦接到头部支承件的用于在低光中从头戴式显示单元感测环境的传感器。传感器包括用于通过红外电磁辐射感测环境的红外传感器、或用于检测与环境的对象的距离的深度传感器中的一者或多者，并且还包括用于通过超声波感测环境的超声传感器。控制器根据通过红外传感器或深度传感器中的所述一者或多者以及通过超声传感器对环境的感测来确定图形内容，并且操作显示器以与对环境的感测并行(concurrent)地提供图形内容。
在具体实施中，显示系统包括控制器和头戴式显示单元。头戴式显示单元包括用于将图形内容显示给佩戴头戴式显示单元的用户的显示器和用于从头戴式显示单元感测环境的传感器。传感器包括红外传感器、深度传感器、超声传感器和可见光相机。在高光条件下，传感器感测环境以获取被存储在存储装置中的第一传感器数据。第一传感器数据包括通过可见光相机获取的第一可见光传感器数据和从红外传感器、深度传感器或超声传感器中的一者或多者获取的第一非可见光传感器数据。在第一传感器数据被存储之后在低光条件下，传感器感测环境以获取当前传感器数据，并且控制器根据当前传感器数据和第一可见光传感器数据来确定图形内容。
在具体实施中，一种通过显示系统提供图形内容的方法包括感测环境、处理传感器数据、确定图形内容、以及输出图形内容。所述感测包括通过传感器感测环境来在低光中获取传感器数据。传感器耦接到显示系统的头戴式显示单元并且包括红外传感器、深度传感器和超声传感器。所述处理包括通过控制器处理传感器数据。通过控制器根据所述处理来执行对图形内容的确定。图形内容包括超声图形组分以及以下中的一者或多者：基于通过红外传感器获取的传感器数据的红外图形组分、基于通过深度传感器获取的传感器数据的深度图形组分、或基于通过红外传感器和深度传感器两者获取的传感器数据的组合图形组分。通过头戴式显示单元的显示器来执行图形内容的输出。
附图说明
图1为用户的头部H上的头戴式显示单元的顶视图。
图2为头戴式显示单元的示意图。
图3为头戴式显示单元的控制器的示例硬件配置的示意图。
图4为头戴式显示单元的传感器的示意图。
图5为显示系统的框图。
图6为用于通过图5的显示系统提供图形内容的过程的流程图。
图7为显示系统的框图。
图8为用于通过图7的显示系统确定图形内容的过程的流程图。
图9为显示系统的框图。
图10为用于通过图9的显示系统确定图形内容的另一过程的流程图。
图11为显示系统的框图。
图12为用于通过图11的显示系统提供图形内容的另一过程的流程图。
具体实施方式
本文公开了头戴式显示单元的实施方案，所述头戴式显示单元被配置用于在低光条件下操作，诸如在夜间和/或当用户在其他情况下可能使用暗视觉或中间视觉来查看环境时。更具体地讲，头戴式显示单元包括被配置为在低光条件下观察环境和/或检测对象的一个或多个传感器，所述传感器可包括红外传感器、深度传感器和/或超声传感器中的一者或多者。头戴式显示单元根据传感器提供内容，这可包括提供图形内容(例如，显示存储的图像、对象的渲染、图形指示符中的一者或多者)。
参见图1和图2，显示系统100包括头戴式显示单元102。显示系统100可被配置为提供计算机生成现实，如下所述。显示系统100通常包括头部支承件110、一个或多个显示器120、以及耦接到头部支承件110的一个或多个传感器130，它们协作地形成头戴式显示单元102。头部支承件110可例如包括底座112和耦接到底座112的头部接合机构114。所述一个或多个显示器120和所述一个或多个传感器130耦接到底座112，而头部接合机构114接合用户的头部H用于支承显示器120以用于向用户的眼睛显示图形内容。所述一个或多个显示器120可各自被配置成显示面板(例如，液晶显示面板(LCD)、发光二极管显示面板(LED)、有机发光二极管显示面板(例如，OLED))、或被配置成投影仪(例如，其将光投射到反射器上回到用户的眼睛)，并且还可被认为包括任何相关联的光学部件(例如，透镜或反射器)。传感器130被配置为感测环境，并且在下文中参考图4进行讨论。
显示系统100还包括控制器140和其他电子器件150。控制器140和所述其他电子器件150可耦接到头戴式显示单元102(例如，耦接到底座)，与头戴式显示单元102分开提供并且能操作地连接到头戴式显示单元102(例如，有线或无线地连接以在它们之间传送信号和/或功率)，或者部分地耦接到头戴式显示单元102(例如，控制器140和/或电子器件150的多个部件耦接到头戴式显示单元102并且其其他部件能操作地与之连接)。控制器140控制显示系统100的各种操作，例如通过传感器130感测各种条件以及通过显示器120根据其提供内容。控制器140的示例性硬件配置在下文参考图3进行论述。所述其他电子器件150可包括例如功率电子器件(例如，电池)、通信设备(例如，用于与其他设备无线通信的调制解调器和/或无线电部件)、和/或其他输出设备(例如，用于听觉输出的扬声器、用于触觉输出的触觉设备)。
参见图3，控制器140为被配置为实现本文所述的系统和方法的计算设备。控制器140通常包括处理器342、存储器344、存储装置346、通信接口348、以及允许它们之间的通信的总线349。处理器342可为任何合适的处理器，诸如被配置为执行指令的中央处理单元(CPU)。存储器344是短期易失性存储器(例如，随机存取存储器模块)。存储装置346是存储包含由处理器342执行的指令的软件编程的长期非易失性存储器(例如，硬盘或固态驱动器)。通信接口348从和向控制器140发送和接收信号，诸如从和向显示系统100的其他电子部件(例如，显示器120、传感器130和/或其他电子器件150)。虽然控制器140被例示为单个设备，但其各种部件可以任何合适的方式提供，并且控制器140可包括更少的和/或更多的部件。例如，控制器140可被视为包括专门与每个传感器关联的处理设备或其他电子硬件。
参见图4，传感器130包括一个或多个红外传感器432、一个或多个深度相机传感器434、和/或一个或多个超声传感器436，它们从头戴式显示单元102面向外以观察环境E。传感器130还包括从头戴式显示单元102面向外以观察环境的一个或多个可见光相机438、以及检测头戴式显示单元102的位置、方向和/或运动的一个或多个运动传感器440。
红外传感器432检测环境中的红外光。红外传感器432可以是任何合适类型的用于检测红外频率范围中的电磁辐射的红外传感器。在一个示例中，红外传感器432是红外相机，其利用图像传感器(诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)以及其他合适的硬件部件(例如，图像处理器)捕获红外频率范围内的图像(例如，视频)。红外传感器432捕获的图像可称为IR图像。红外传感器432可以是观察环境中的对象所发射或反射的红外辐射的无源传感器。另选地，红外传感器432可包括红外照明器，其发射红外频率范围中的电磁辐射，由此照明环境和其中的对象。
(例如，在处理之后)从红外传感器432获取和/或导出的关于环境的信息可称为红外传感器数据552。如下文进一步详细讨论的，红外传感器数据552可以不同方式被处理、存储和/或用于确定图形内容。
深度传感器434检测环境，并且具体地讲，检测从其到环境的对象的深度(例如，距离)。深度传感器434通常包括照明器434a和检测器434b。照明器434a将电磁辐射(例如红外光)从头戴式显示单元102发射到环境中。检测器434b观察从环境中的对象反射的电磁辐射。在两个具体示例中，深度传感器434是使用结构光或飞行时间的深度相机。在深度传感器434为结构光传感器的情况下，照明器434a投射红外频率范围中的电磁辐射的图案(例如，红外点的网格或阵列，诸如数万个点)，而检测器434b是捕获由环境中的对象反射的红外光的图案的图像的相机，所述图像可被称为结构光图像。然后(例如，由控制器140)分析结构光图像，以例如通过分析从对象反射的光图案的变形来确定从深度传感器434到环境的对象(或其上的点)的深度(例如，距离)。检测器434b可以是相机，其包括图像传感器诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器、以及其他合适的硬件部件(例如，图像处理器)。在深度传感器434为飞行时间相机的情况下，照明器434a投射电磁辐射，而检测器434b为合适的相机，根据该相机来测量从对象反射的从照明器434a发射的电磁辐射的飞行时间以确定与其的距离。深度传感器434可以在与红外传感器432不同的电磁辐射谱的频率范围中工作，以便不检测另一者的电磁辐射或以其他方式对另一者的电磁辐射敏感(例如，利用合适的滤波器、相机图像传感器和/或照明器以及合适频率范围内的投影仪434a)。在其他示例中，深度传感器434可为雷达探测测距传感器(RADAR)或光探测测距传感器(LIDAR)。应当指出的是，可利用一种或多种类型的深度传感器434，例如结合结构光传感器、飞行时间相机、RADAR传感器和/或LIDAR传感器中的一者或多者。在一个优选实施方案中，深度传感器434仅包括结构光传感器。
(例如，在处理之后)从深度传感器434获取和/或导出的关于环境的信息可称为深度传感器数据554。如下文进一步详细讨论的，深度传感器数据554可以不同方式被处理、存储和/或用于确定图形内容。
超声传感器436利用超声波检测环境。超声传感器436可例如包括传输超声波的超声发射器和检测被环境中的物理对象反射的那些超声波的超声接收器，或者可另选地使用和包括执行超声发射器和超声接收器两者的功能的超声收发器。然后，诸如由控制器140或另一合适的处理器处理超声波，以标识和/或定位环境的特征。有利的是，超声传感器436可检测不能以其他方式通过红外传感器432和/或深度传感器434观察的对象，诸如玻璃片(例如，窗或门的玻璃片)。
(例如，在处理之后)从超声传感器436获取和/或导出的关于环境的信息可称为超声传感器数据556。如下文进一步详细讨论的，超声传感器数据556可以不同方式被处理、存储和/或用于确定图形内容。
所述一个或多个可见光相机438检测环境中的可见光。可见光相机438包括图像传感器诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器、以及其他合适的硬件部件(例如，图像处理器)和光学部件(例如，透镜)。
(例如，在处理之后)从可见光相机438获取和/或导出的关于环境的信息可称为可见光传感器数据558。可见光传感器数据558可包括图像(例如，视频)，其可被称为可见光图像。如下文进一步详细讨论的，可见光传感器数据558可以不同方式被处理、存储和/或用于确定图形内容。
红外传感器432、深度传感器434、超声传感器436和/或可见光相机438中每一者的一个或多个(例如，两个)可耦接到头戴式显示单元102，例如以从头戴式显示单元102立体地感测环境E。所述一个或多个红外传感器432、深度传感器434、超声传感器436和/或可见光相机438可提供彼此相同或不同的视场，所述视场在图1中通常由从传感器130发散的虚线箭头表示。在下文讨论的系统和过程中，各种类型的传感器被单数地提及，但应当理解，所述系统和过程可适用于多个此类传感器(例如，以立体地确定和提供图形内容)。
所述一个或多个运动传感器440检测头戴式显示单元102的位置、方向和/或运动。所述一个或多个运动传感器440可例如包括全球定位系统传感器(例如，GPS)、一个或多个加速度计、一个或多个陀螺仪、和/或惯性测量单元(IMU)，其用于确定头戴式显示单元102的位置、方向和/或运动。
(例如，在处理之后)从运动传感器440获取和/或导出的信息可称为运动传感器数据560。如下文进一步详细讨论的，运动传感器数据560可以不同方式被处理、存储和/或用于确定图形内容。
参见图5，显示系统100向用户输出图形内容，这增强了用户在低光条件下看的能力。低光条件可例如根据环境光条件(例如，低于10^-3.5cd/m^2的亮度)和/或人类以其他方式用来直接观察环境的视觉的类型(例如，当暗视觉主要或基本上唯一地被人类使用时)来限定。图形内容可例如包括增强环境的对象、检测到的对象或其他指示符的渲染、和/或所捕获图像之间的对比度的图像。渲染是根据传感器信息生成的所检测到的对象的计算机生成的图形再现。渲染可以是准确描绘所检测到的对象的精确再现(例如，具有对应的纹理、颜色、尺寸等)，可以是可改变所检测到的对象的各种特征的表征再现(例如，变成具有均匀和/或不同颜色、不同纹理、对比轮廓的“动画”形式)，或者可以是突出渲染(例如，覆盖对象)。作为表征再现的示例性且非限制性示例，木桌子可以具有描绘木材变化的颜色和格纹以及强调不同表面的阴影的准确再现，或者描述均匀颜色和表面之间的黑色轮廓的表征再现。例如，突出渲染可包括通过在桌子的其他图形内容上方提供彩色半透明轮廓来以绿色突出桌子。渲染可以是环境的(例如，限定环境的对象或结构，诸如房间的墙壁)或者是环境内的对象的。
红外传感器432、深度传感器434、超声传感器436和可见光相机438从头戴式显示单元102感测环境E，而运动传感器440感测用户的头部上的头戴式显示单元102的位置、方向和/或运动。传感器数据(包括红外传感器数据552、深度传感器数据554、超声传感器数据556、可见光传感器数据558和/或运动传感器数据560)通过一个或多个传感器信号550被从相应传感器发送给控制器140。
控制器140接收传感器信号550，处理其由此接收的传感器数据，根据传感器数据确定图形内容，继而向显示器120发送一个或多个信号，所述信号可称为显示信号570。显示器120接收显示信号570并输出图形内容。如上所述，控制器140可包括处理传感器数据和/或确定图形内容的一个或多个本地或分布式处理设备，诸如可与不同传感器130相关联的处理器。然而，处理和/或确定可由不同的处理器和/或不同的控制器来执行。
参见图6，过程600通过显示系统提供图形内容，该显示系统包括头戴式显示单元，诸如显示系统100和头戴式显示单元102。过程600通常包括通过传感器在低光中感测610环境以生成传感器数据，处理620传感器数据，确定630图形内容，以及输出640图形内容。过程600还可包括感测头戴式显示单元的运动的另一操作615。
感测610环境以生成传感器数据通过传感器(诸如传感器130)来执行，所述传感器从头戴式显示单元(诸如头戴式显示单元102)面向外。传感器包括例如红外传感器432、深度传感器434、超声传感器436和/或可见光相机438中的一者或多者。传感器数据(诸如红外传感器数据552、深度传感器数据554、超声传感器数据556、可见光传感器数据558和/或运动传感器数据560)经由一个或多个信号(诸如传感器信号550)被发送给处理器，诸如控制器140的处理器342。可获取和/或发送传感器数据的不同组合。例如，可省略和/或不操作可见光相机448和/或运动传感器450。
传感器数据的处理620通过处理器来执行，例如，通过控制器140的处理器342和/或专门与传感器中的一者或多者关联的其他处理设备(例如，与相机相关联的图像处理器)。可以各种方式来执行处理传感器数据，如下文结合图7至图12中的系统和过程更详细地讨论的那样。
图形内容的确定630例如通过处理器来执行，诸如控制器140的处理器342和/或专门与显示器120关联的其他处理设备。可以各种方式来执行确定图形内容，如下文结合图7至图12中的系统和过程更详细地讨论的那样。处理620和确定630可作为单个操作来执行，例如，当简单地将红外光转换为可见光时。例如经由显示信号570来发送图形内容。
图形内容的输出640(例如，显示)由一个或多个显示器诸如显示器120根据从控制器140接收的显示信号570来执行。输出640基本上与感测610并行地执行，使得图形内容与头戴式显示器所感测的环境并行地(例如，实时)显示。并行或基本上并行应当被理解为考虑显示系统100的与感测、处理、确定和/或传输操作相关联的延迟。
重复感测610、处理620、确定630和输出640，以便为用户提供图形内容作为图像流(例如，视频流)。
参见图7和图8，显示系统100将来自每个传感器的传感器数据彼此独立地进行处理，并且可进一步彼此独立地确定图形内容组分。例如，显示系统100可显示包括基于来自红外传感器432的红外传感器数据552的红外图形组分772、基于来自深度传感器434的深度传感器数据554的深度图形组分774、基于来自超声传感器436的超声传感器数据556的超声图形组分776、和/或基于来自可见光相机438的可见光传感器数据558的可见光图形组分778的图形内容。红外图形组分772、深度图形组分774、超声图形组分776和/或可见光图形组分778可同时地并且与相关联信息的检测并行地显示，例如，彼此重叠且具有合适的透明度以用于查看每个组分。图形内容基本上与其感测并行地被显示，使得用户可经由图形内容实时地观察环境。也可例如基于基于来自超声传感器436的超声传感器数据556的超声图形组分776来提供听觉内容(例如，由所述其他电子器件350的扬声器输出)以指示与对象的距离。
红外传感器数据552(诸如通过红外传感器432捕获的IR图像)可以各种方式进行处理以用于确定图形内容。在一个示例中，处理红外传感器数据552以将红外图像从红外光转换成可见光，所述可见光形成红外图形组分772。相反或除此之外，处理红外传感器数据552以增强红外图像的对比度。相反或除此之外，红外传感器数据552被处理以利用例如合适的计算机视觉或其他对象检测编程或算法来检测环境的对象。检测可包括定位、表征和/或标识对象，或与环境相关的其他对象识别功能。定位通常是指确定对象或其特征在实际坐标系中和/或相对于头戴式显示单元102的位置。表征通常是指确定物理对象的特性，诸如尺寸、形状和/或颜色。标识通常是指标识对象的类型(例如，门、墙壁、椅子)或唯一地标识特定对象(例如，某个房屋的某个房间中的门)。
图形内容的红外图形组分772可例如包括转换成可见光和/或具有增强的IR图像。相反或除此之外，红外图形组分772可包括其他图形，诸如根据红外传感器数据552生成的渲染。
深度传感器数据554(诸如通过深度传感器434捕获的结构光图像)可以各种方式进行处理，以用于确定图形内容，并且具体地讲，确定从头戴式显示单元102上的深度传感器434到环境的对象上的位置(例如，点)的距离。此类距离可由深度图表示，深度图是此类距离的数学和/或视觉表示。可进一步处理(例如，分析)深度图或从深度传感器434导出的其他信息，以检测(例如，定位、表征和/或标识)环境中的对象。深度图或其他深度信息也可被处理以确定头戴式显示单元102相对于环境的相对位置、方向和/或运动和/或环境的对象的相对位置、方向和/或运动。
图形内容的深度图形组分774可例如包括结构光图像。相反或除此之外，深度图形组分774包括根据深度传感器数据554确定(例如，生成)的渲染，诸如深度图自身的渲染、环境的渲染、其中对象的渲染、和/或用于突出显示所检测到的对象的渲染。
处理通过超声传感器436检测到的超声传感器数据556以确定头戴式显示单元102所输出的图形或其他内容。具体地讲，处理超声传感器数据556以检测(例如，定位、表征和/或标识)环境的对象，诸如通过确定从头戴式显示单元102(例如，其超声传感器436)到环境的对象的距离和/或它们之间的相对运动。
图形内容的超声图形组分776可例如包括与所检测到的对象的距离的图形表示或所检测到的对象(例如，玻璃面板或墙壁)的图形表示。图形内容的超声图形组分776可相反包括指示到对象的距离的另一图形指示符，诸如数字或颜色指示符。相反或除此之外，可提供听觉超声指示符，诸如言语指示符或声音指示符，用于指示类型和/或与对象的距离。
可以各种方式处理通过可见光相机438检测到的可见光传感器数据558(例如，可见光图像)，以用于确定图形内容。在一个示例中，可以合适的方式处理可见图像以用于显示给用户。相反或除此之外，可处理可见图像以增强对比度。相反或除此之外，处理可见光传感器数据以检测(例如，定位、表征和/或标识)环境的物理对象，这可包括环境的物理特征和/或环境的物理对象，诸如通过对象识别编程(例如，计算机视觉软件)来进行。
图形内容的可见光图形组分778可例如包括可见光图像和/或根据可见光信息确定的渲染，诸如环境的渲染和/或其中对象的渲染。在低光条件下，也可省略可见光图形组分778。
在确定图形内容时，控制器140使得显示器120输出图形内容。例如，如上所述，控制器140将显示信号570发送给显示器120。显示信号570可包括图形内容的每个组分，诸如红外图形组分772、深度图形组分774、超声图形组分776和/或可见光图形组分778，他们可形成发送给显示器120的组合的或并行的数据流。如上所述，可省略图形组分中的各者，例如，可在低光条件下省略可见光图形组分778。
参见图8，提供了用于处理传感器数据并根据其确定图形内容的过程800，该过程可作为方法600的一部分被执行为处理620传感器数据和根据其确定630图形内容。因此，过程800可以在环境的感测610和图形内容的输出640之前和之后。过程800通常包括分别用于处理红外传感器数据552、深度传感器数据554、超声传感器数据556和可见光传感器数据558的处理操作822、824、826和/或828。过程800还通常包括分别用于确定红外图形组分572、深度图形组分574、超声图形组分576和可见光图形组分578的图形内容确定操作832、834、836和838。过程800可例如在低光条件下执行。
红外传感器数据552的处理822通过处理器诸如控制器140的处理器342来执行。如上文相对于图7所述，可处理红外传感器数据552以将红外传感器数据552转换为可见光，增强对比度和/或检测(例如，定位、表征和/或标识)环境的对象。
红外图形组分772的确定832通过处理器(诸如控制器140的处理器342)根据红外传感器数据552的处理822来执行。如上所述，红外图形组分772可包括从红外图像转换的可见光图像、具有增强对比度的图像、和/或检测到的对象的渲染或与检测到的对象相关联的渲染。红外图形组分772随后被发送给显示器120以用于由其输出，诸如经由显示信号570发送。
深度传感器数据554的处理824通过处理器诸如控制器140的处理器342来执行。如上文关于图7所述，可处理深度传感器数据554，例如以生成深度图，以检测(例如，定位、表征和/或标识)环境中的对象，和/或以确定头戴式显示单元102相对于环境的相对位置、方向和/或运动和/或环境的对象的相对位置、方向和/或运动。
深度图形组分774的确定834通过处理器(诸如控制器140的处理器342)根据深度传感器数据554的处理来执行。如上所述，深度图形组分774可包括结构光图像、深度图的渲染、和/或检测到的对象的渲染或与检测到的对象相关联的渲染。深度图形组分874随后被发送给显示器120以用于由其输出，诸如经由显示信号570发送。
超声传感器数据556的处理826通过处理器诸如控制器140的处理器342来执行。如上文相对于图7所述，可处理超声传感器数据556，例如以检测(例如，定位、表征和/或标识)环境的对象。
超声图形组分776的确定836通过处理器(诸如控制器140的处理器342)根据超声传感器数据556的处理来执行。如上所述，超声图形内容可包括检测到的对象(例如，墙壁或玻璃面板)的图形表示和/或与头戴式显示单元102(例如，超声传感器436)和对象的距离的字母数字和/或颜色指示符。超声图形组分776随后被发送给显示器120以用于由其输出，诸如经由显示信号570发送。
可见光传感器数据558的处理828通过处理器诸如控制器140的处理器342来执行。如上文相对于图7所述，可处理可见光传感器数据558，例如以增强对比度和/或定位和/或表征环境的对象。
可见光图形组分778的确定838通过处理器(诸如控制器140的处理器342)根据可见光传感器数据558的处理来执行。如上所述，可见光图形组分778可包括可见光图像、具有增强对比度的图像、和/或环境的对象的渲染。可见光图形组分778随后被发送给显示器120以用于由其输出，诸如经由显示信号570发送。
在确定图形内容的每个组分时，也可确定分层和/或透明度。例如，超声图形组分776可以是高度透明的并覆盖其他图形组分。
参见图9和图10，显示系统100将来自传感器中两者或更多者的传感器数据彼此协同地进行处理，并且可进一步彼此协同地确定图形内容组分。例如，显示系统100可显示包括组合图形组分971的图形内容，该组合图形组分可基于红外传感器数据552、深度传感器数据554和/或可见光传感器数据558的组合。显示系统100可同时显示超声图形组分776(其基于超声传感器数据556)和组合图形组分971，例如，超声图形组分776被组合图形组分覆盖。
红外传感器数据552、深度传感器数据554和/或可见光传感器数据558可以任何合适的方式进行协同处理。例如，红外传感器数据552、深度传感器数据554和可见光传感器数据558可首先被独立地处理，诸如以检测(例如，定位、表征和/或标识)环境的对象(例如，利用计算机视觉或其他合适的对象检测编程)和/或在深度传感器数据554的情况下生成深度图。随后可诸如根据合适的传感器融合算法来协同地处理所独立确定的环境的对象的位置、表征和/或标识，以提供比可各自地从传感器获得的更准确和/或更完整的数据。又如，红外图像、深度图和可见光图像可以协同方式(例如，传感器融合算法)进行处理，并且随后被评估以检测(例如，定位、标识和/或表征)环境的对象。在一个具体示例中，红外传感器数据552和深度传感器数据554在没有可见光传感器数据558的情况下被协同地处理。
基于红外传感器数据552、深度传感器数据554和/或可见光传感器数据558的协同处理，确定组合图形组分971。例如，组合图形组分971可包括环境的对象的渲染。组合图形组分971随后被发送给显示器120以用于由其输出，诸如经由显示信号570发送。
可以以前述方式处理超声传感器数据556并且确定超声图形组分776。
参见图10，提供了用于处理传感器数据并根据其确定图形内容的过程1000，该过程可作为过程600的一部分被执行为处理620传感器数据和根据其确定630图形内容。因此，过程1000可以在环境的感测610和图形内容的输出640之前和之后。过程1000通常包括传感器数据的组合处理1021以及根据其确定1031组合图形内容。过程1000任选地还可包括处理826超声传感器数据556和根据其确定836超声图形组分776，如前所述。尽管未示出，过程1000可附加地包括与红外传感器数据552、深度传感器数据554和/或可见光传感器数据558中一者或多者相关联的独立处理822、824、828以及确定832、834、838。过程1000可例如在低光条件下执行。
红外传感器数据552、深度传感器数据554和/或可见光传感器数据558中两者或更多者的组合处理1021通过处理器诸如控制器140的处理器342来执行。如上文关于图9所述，组合处理1021包括以协同方式诸如通过传感器融合算法来处理红外传感器数据552、深度传感器数据554和/或可见光传感器数据558中的两者或更多者。
组合图形组分971的确定1031通过处理器(诸如控制器140的处理器342)根据组合传感器数据来执行。如上文参照图9所述，组合图形组分971可包括环境的对象的渲染。
可以以前述方式处理超声传感器数据556并且确定超声图形组分776。
参见图11和图12，显示系统100感测环境E并存储传感器数据，并且之后根据先前存储的传感器数据来确定图形内容。显示系统100可存储在环境中在高光条件下捕获的可见光传感器数据558(高光是亮度高于10cd/m^2的环境光)，并且之后在低光条件下，根据所存储的可见光传感器数据558来确定图形内容，例如，显示可见光图像、其部分和/或由其导出的渲染。例如，可在用户先前移动通过环境时捕获并存储可见光图像。
在一个或多个先前时间(例如，第一时间)在高光条件下，显示系统100通过传感器130感测环境，所述传感器包括可见光相机438以及红外传感器432、深度传感器434、超声传感器436和/或运动传感器440中的一者或多者。可见光传感器数据558与跟其并行捕获的红外传感器数据552、深度传感器数据554、超声传感器数据556和/或运动传感器数据560相关联地存储。
可见光传感器数据558可以通常未处理的格式(例如，作为原始图)和/或在处理之后被存储，诸如被格式化以用于稍后显示和/或环境和/或其中对象的对象识别(例如，定位、表征和/或标识此类对象或其特征)。
其他传感器数据(包括红外传感器数据552、深度传感器数据554、超声传感器数据556和/或运动传感器数据560中的一者或多者)可与跟其并行检测到的可见光传感器数据558相关联地进行处理和存储。红外传感器数据552、深度传感器数据554、超声传感器数据556和/或运动传感器数据560可单独地和/或以组合方式处理和存储(例如，如前文在过程800和1000中所述，诸如利用传感器融合)。在一个具体示例中，处理红外传感器数据552、深度传感器数据554、超声传感器数据556和/或运动传感器数据560以确定与可见光传感器数据558和/或其他传感器数据(例如，红外传感器数据552、深度传感器数据554、超声传感器数据556、和/或运动传感器数据560)相关联的头戴式显示单元102的位置信息(例如，位置和/或方向)。在其他示例中，存储环境的对象和/或特征的位置、特性和/或身份，其可被称为对象信息。
在一个或多个后续时间(例如，当前时间)在低光条件下，显示系统100通过红外传感器432、深度传感器434和/或超声传感器436中的一者或多者感测环境，并且/或者运动传感器440感测头戴式显示单元102的位置、方向和/或运动。传感器数据(例如，红外传感器数据552、深度传感器数据554、超声传感器数据556和/或运动传感器数据560)被处理并且与来自先前时间的传感器数据进行比较，例如，以与先前时间相同或相似的方式(例如，单独地和/或协同地)进行处理以用于与之合适的比较。基于所述比较，可调用可见光传感器数据558并且至少部分地根据其来确定图形内容。在一个具体示例中，将当前位置信息与存储的位置信息进行比较，以调用与匹配当前位置或以其他方式赞同地比较于当前位置的所存储的位置信息相关联的可见光传感器数据558。在其他示例中，可将来自当前时间的对象信息与来自先前时间的对象信息进行比较，以调用可见光传感器数据558。
参见图12，过程1200通过显示系统提供图形内容，该显示系统包括头戴式显示单元，诸如显示系统100和头戴式显示单元102。过程1200通常包括在先前时间通过传感器感测1210环境，处理1220来自先前时间的传感器数据，存储1230先前的传感器数据，在当前时间通过传感器感测1240环境，处理1250来自当前时间的传感器数据，将当前传感器数据与先前传感器数据进行比较1260，调用1270先前的可见光传感器数据，根据先前的可见光传感器数据确定1280图形内容，以及在当前时间输出1290图形内容。过程1200的部分可在高光条件下执行(例如，感测1210)，而过程1200的其他部分在低光条件下执行(例如，感测1240到输出1290)并重复以向用户提供连续内容。
先前时间的感测1210通过传感器130来执行，并且可如前文针对过程600的感测610所述执行。感测1210在先前时间且在高光条件下执行。
处理1220通过处理器诸如控制器140的处理器342来执行，并且可包括用于处理可见光传感器数据558和所述其他传感器数据(即，非可见光传感器数据，包括红外传感器数据552、深度传感器数据554、超声传感器数据556和/或运动传感器数据560)的并行操作。可见光传感器数据558的处理1220可如前文所述执行，例如，通过过程800中的可见光传感器数据558的处理828来执行。非可见光传感器数据的处理1220可针对不同类型的传感器数据独立地执行(例如，通过过程800中的处理822、824和/或826)和/或协同地执行(例如，通过过程1000中的处理1021)。
通过存储装置(诸如控制器140的存储装置346或其他合适的存储装置)来执行存储1230。所述存储1230包括与非可见光传感器数据(在处理之前和/或之后)相关联地存储可见光传感器数据558(在处理之前和/或之后)，诸如可见光图像，并且/或者存储该可见光传感器数据558(在处理之前和/或之后)以用于与非可见光传感器数据(在处理之前和/或之后)相关联。被存储的可见光传感器数据558可被称为存储的可见光传感器数据。被存储的非可见光传感器数据可被称为存储的非可见光传感器数据，其可包括位置和/或对象信息。所存储的可见光传感器数据和所存储的非可见光传感器数据彼此相关联地存储和/或被存储用于彼此关联，使得所存储的可见光传感器数据可通过标识与其相关联的所存储的非可见光传感器数据来调用。例如，可见光传感器数据558可以与非可见光传感器数据相关联地被存储在公共位置(例如，数据库)中和/或被存储在具有适于关联和调用的公共元数据(例如，时间戳)的不同位置(例如，不同数据库)中。
通过传感器(诸如红外传感器432、深度传感器434、超声传感器436和/或运动传感器440)执行当前时间的感测1240。感测1240还可包括通过可见光相机438进行感测。
来自其的传感器数据(例如红外传感器数据552、深度传感器数据554、超声传感器数据556、可见光相机438和/或运动传感器数据560)的处理1250通过处理器诸如控制器140的处理器342来执行。处理1250可以与前述处理1220相同或相似的方式执行，使得当前非可见传感器数据可与所存储的非可见传感器数据进行比较。
通过处理器诸如控制器140的处理器342执行当前非可见传感器数据与所存储的非可见传感器数据的比较1260。
所存储的可见光传感器数据558的调用1270通过处理器诸如控制器140的处理器342和存储装置诸如控制器140的存储装置346来执行。例如，在当前非可见光传感器数据匹配于或者赞同地比较于(例如最接近)所存储的非可见光传感器数据时，与所存储的非可见光传感器数据相关联的可见光传感器数据558被调用(例如，从存储装置检索)。
图形内容的确定1280通过处理器诸如控制器140的处理器342来执行。图形内容包括可见光图形组分778和/或组合组分1279中的至少一者，其中每一者均根据在调用1270中调用的所存储的可见光传感器数据558来确定。例如，图形内容可包括可见光图像、具有增强对比度的可见光图像或其部分、或以其他方式从所存储的可见光传感器数据558导出的渲染。图形内容可包括其他单独或组合组分，如前所述。
过程1200任选地还可包括处理826超声传感器数据556和根据其确定836超声图形组分776，如前所述。
图形内容的输出1290通过显示器120来执行，例如根据从处理器(例如，控制器140)接收的包括图形内容的显示信号570来执行。
物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或方向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置成在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置成将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
如上所描述，本技术的一个方面在于采集并使用得自各种来源的数据，以基于当前物理环境提供图形内容给用户。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他识别信息或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于递送图形内容给用户，其涉及用户的当前和过去的运动。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，提供图形内容，本技术可被配置为允许用户在注册服务期间或其后随时选择参与采集个人信息数据的“选择加入”或“选择退出”。又如，用户可选择不存储传感器数据。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，图形内容可基于非个人信息数据或几乎最小量的个人信息，诸如使用当前传感器数据来提供图形内容。

Claims (30)

1.一种显示系统，包括：
控制器；以及
头戴式显示单元，所述头戴式显示单元具有显示器、耦接到所述显示器的头部支承件和耦接到所述头部支承件的传感器，所述头部支承件用于将所述显示器支承在用户的头部上以由所述用户查看，所述传感器用于在低光中从所述头戴式显示单元感测环境，所述传感器包括：
用于通过红外电磁辐射感测所述环境的红外传感器和用于感测到所述环境的对象的距离的深度传感器；以及
用于通过超声波感测所述环境的超声传感器；
其中所述控制器根据通过所述红外传感器、所述深度传感器、以及所述超声传感器对所述环境的所述感测来彼此独立地确定形成图形内容的红外图形组分、深度图形组分和超声图形组分，并且操作所述显示器以与对所述环境的所述感测并行地提供所述图形内容；
其中所述红外图形组分根据所述红外传感器来确定，深度图形组分根据所述深度传感器来确定，以及超声图形组分根据所述超声传感器来确定；
其中所述红外图形组分、所述深度图形组分和所述超声图形组分形成被发送到所述显示器的组合数据流；并且
其中所述红外图形组分、所述深度图形组分和所述超声图形组分在所述显示器上彼此重叠且具有合适的透明度以用于查看每个组分。
2.根据权利要求1所述的显示系统，其中所述图形内容包括根据所述超声传感器确定的指示到对象的距离的超声图形组分，并且还包括由所述红外传感器或所述深度传感器中的所述一者或多者检测到的另一对象的渲染或存储的可见光图像中的一者或多者。
3.根据权利要求1所述的显示系统，其中所述红外图形组分、所述深度图形组分和所述超声图形组分被同时显示。
4.根据权利要求1所述的显示系统，其中从所述红外传感器获取的红外传感器数据被处理以将红外图像从红外光转换成可见光，以形成所述红外图形组分。
5.根据权利要求1所述的显示系统，其中所述超声图形组分包括到由所述超声传感器所检测到的对象的距离的图形表示、由所述超声传感器所检测到的所述对象的图形表示或到由所述超声传感器所检测到的所述对象的距离的指示符中的一者或者多者。
6.根据权利要求1所述的显示系统，其中所述图形内容包括根据通过所述红外传感器和所述深度传感器对所述环境的感测而协同确定的组合图形组分。
7.根据权利要求6所述的显示系统，其中所述图形内容包括根据所述超声传感器确定的并且与所述组合图形组分同时显示的超声图形组分。
8.根据权利要求7所述的显示系统，还包括耦接到所述头戴式显示单元的可见光相机，所述可见光相机用于在所述低光中感测所述环境之前在高光中通过可见光感测所述环境，其中从所述可见光相机获取的可见光传感器数据通过所述显示系统的存储装置存储；并且
其中所述控制器根据所述存储装置中的所述可见光传感器数据来确定所述组合图形组分。
9.根据权利要求1所述的显示系统，其中所述深度传感器是通过结构光感测所述环境的结构光传感器。
10.根据权利要求1所述的显示系统，还包括耦接到所述头戴式显示单元的可见光相机，所述可见光相机用于在所述低光中感测所述环境之前在高光中通过可见光感测所述环境，其中从所述可见光相机获取的可见光传感器数据通过所述显示系统的存储装置存储；并且
其中所述控制器根据所述存储装置中的所述可见光传感器数据来确定所述图形内容。
11.根据权利要求10所述的显示系统，其中所述可见光传感器数据包括可见光图像，并且所述图形内容包括所述可见光图像。
12.根据权利要求10所述的显示系统，其中所述红外传感器或所述深度传感器中的所述一者或多者与所述可见光相机并行地在所述高光中感测所述环境，并且从所述红外传感器或所述深度传感器中的所述一者或多者获取的传感器数据与并行获取的所述可见光传感器数据相关联地存储。
13.根据权利要求1所述的显示系统，其中所述低光是亮度低于10^-3.5cd/m^2的环境光。
14.根据权利要求1所述的显示系统，其中到所述环境的所述对象的所述距离由深度图表示。
15.根据权利要求1所述的显示系统，其中所述图形内容包括增强所述环境的所述对象之间的对比度的图像。
16.根据权利要求1所述的显示系统，还包括用于检测所述头戴式显示单元的位置、方向或运动中的一者或多者的一个或多个运动传感器。
17.一种显示系统，包括：
控制器；以及
头戴式显示单元，所述头戴式显示单元具有显示器和传感器，所述显示器用于将图形内容显示给佩戴所述头戴式显示单元的用户，所述传感器用于从所述头戴式显示单元感测环境，所述传感器包括：
红外传感器；
深度传感器；
超声传感器；以及
可见光相机；
其中在高光条件下，所述传感器感测所述环境以获取被存储在存储装置中的第一传感器数据，所述第一传感器数据包括通过所述可见光相机获取的第一可见光传感器数据和从所述红外传感器、所述深度传感器或所述超声传感器中的一者或多者获取的第一非可见光传感器数据；
其中在所述第一传感器数据被存储之后在低光条件下，所述传感器感测所述环境以获取当前传感器数据，并且所述控制器根据所述当前传感器数据和所述第一可见光传感器数据来确定所述图形内容；
其中所述图形内容包括根据所述红外传感器确定的红外图形组分、根据所述深度传感器确定的深度图形组分、以及根据所述超声传感器确定的超声图形组分；并且
其中所述红外图形组分、所述深度图形组分和所述超声图形组分被彼此独立地确定，并且被显示为彼此重叠且具有合适的透明度以用于查看每个组分。
18.根据权利要求17所述的显示系统，其中所述第一可见光传感器数据包括所述环境的可见光图像，并且所述控制器确定所述图形内容以包括所述第一可见光传感器数据的所述可见光图像。
19.根据权利要求17所述的显示系统，其中所述控制器将所述当前传感器数据与所述第一传感器数据进行比较，根据与所述第一可见光传感器数据相关联的所述第一非可见光传感器数据和所述当前传感器数据的比较来调用所述第一可见光传感器数据，并且根据对所述第一可见光传感器数据的所述调用来确定所述图形内容。
20.根据权利要求17所述的显示系统，其中所述深度传感器是结构光传感器。
21.根据权利要求17所述的显示系统，其中所述超声图形组分指示到根据所述超声传感器确定的对象的距离，并且还包括由所述红外传感器或所述深度传感器中的一者或多者检测到的另一对象的渲染或存储的可见光图像中的一者或多者。
22.一种通过显示系统提供图形内容的方法，包括：
通过传感器感测环境来在低光中获取传感器数据，所述传感器耦接到所述显示系统的头戴式显示单元并且包括红外传感器、深度传感器和超声传感器；
通过控制器处理所述传感器数据，其中所述处理包括独立处理从所述红外传感器、所述深度传感器和所述超声传感器获取的所述传感器数据；
通过所述控制器根据所述处理来确定图形内容，所述图形内容包括超声图形组分、基于通过所述红外传感器获取的所述传感器数据的红外图形组分、基于通过所述深度传感器获取的所述传感器数据的深度图形组分、和基于通过所述红外传感器和所述深度传感器两者获取的所述传感器数据的组合图形组分，其中确定所述图形内容包括根据所述独立处理来确定所述红外图形组分、所述深度图形组分和所述超声图形组分；以及
通过所述头戴式显示单元的显示器输出所述图形内容，其中所述输出所述图形内容包括将所述红外图形组分、所述深度图形组分和所述超声图形组分组合以形成被发送到所述显示器的组合数据流，并且将所述红外图形组分、所述深度图形组分和所述超声图形组分显示为彼此重叠且具有合适的透明度以用于查看每个组分。
23.根据权利要求22所述的方法，其中所述处理包括检测所述环境中的对象，并且所述确定包括确定所述图形内容以包括所述对象的渲染。
24.根据权利要求22所述的方法，还包括：将所述传感器数据与通过所述传感器在高光中获取的存储的传感器数据进行比较，以及调用所述存储的传感器数据的可见光图像；
其中所述确定包括确定所述图形内容以包括所述可见光图像。
25.根据权利要求22所述的方法，其中所述处理包括协同处理从所述红外传感器和所述深度传感器获取的所述传感器数据以及独立处理从所述超声传感器获取的所述传感器数据；
其中所述确定所述图形内容包括根据所述协同处理来确定组合图形组分以及根据所述独立处理来确定超声图形组分；并且
其中所述输出所述图形内容包括同时显示所述组合图形组分和所述超声图形组分。
26.根据权利要求22所述的方法，其中所述深度传感器是结构光传感器。
27.根据权利要求23所述的方法，还包括将所述头戴式显示单元的当前位置信息或所述环境中的所述对象的当前位置信息与所述头戴式显示单元的存储的位置信息或所述环境中的所述对象的存储的位置信息进行比较，以调用可见光传感器数据。
28.根据权利要求23所述的方法，还包括将来自当前时间的所述对象的信息与来自先前时间的所述对象的信息进行比较，以调用可见光传感器数据。
29.根据权利要求22所述的方法，其中所述低光是亮度低于10^-3.5cd/m^2的环境光。
30.根据权利要求24所述的方法，其中所述高光是亮度高于10cd/m^2的环境光。
CN202010295847.2A 2019-04-26 2020-04-15 具有低光操作的头戴式显示器 Active CN111856751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211437435.3A CN115755397A (zh) 2019-04-26 2020-04-15 具有低光操作的头戴式显示器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962838995P 2019-04-26 2019-04-26
US62/838,995 2019-04-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211437435.3A Division CN115755397A (zh) 2019-04-26 2020-04-15 具有低光操作的头戴式显示器

Publications (2)

Publication Number Publication Date
CN111856751A CN111856751A (zh) 2020-10-30
CN111856751B true CN111856751B (zh) 2022-12-09

Family

ID=72916983

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010295847.2A Active CN111856751B (zh) 2019-04-26 2020-04-15 具有低光操作的头戴式显示器
CN202211437435.3A Pending CN115755397A (zh) 2019-04-26 2020-04-15 具有低光操作的头戴式显示器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211437435.3A Pending CN115755397A (zh) 2019-04-26 2020-04-15 具有低光操作的头戴式显示器

Country Status (2)

Country Link
US (2) US11733518B2 (zh)
CN (2) CN111856751B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544910B2 (en) * 2021-01-15 2023-01-03 Arm Limited System and method for positioning image elements in augmented reality system
EP4036524A1 (en) * 2021-01-29 2022-08-03 SC Dotlumen SRL A computer-implemented method, wearable device, computer program and computer readable medium for assisting the movement of a visually impaired user
EP4142285A4 (en) * 2021-05-17 2023-11-15 Qingdao Pico Technology Co., Ltd. HEAD-MOUNTED DISPLAY DEVICE AND HEAD-MOUNTED DISPLAY SYSTEM

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877694A (zh) * 2005-06-08 2006-12-13 上海乐金广电电子有限公司 具有多路径的屏幕显示体现方法
CN101488332A (zh) * 2009-01-06 2009-07-22 东莞康特尔电子有限公司 一种基于WinCE系统的屏幕显示加速混合系统和方法
CN101872600A (zh) * 2009-04-24 2010-10-27 深圳Tcl新技术有限公司 一种显示装置及其图像显示方法
CN102025829A (zh) * 2009-09-16 2011-04-20 捷讯研究有限公司 用于在设备显示屏上显示覆盖层的方法和设备
CN102736841A (zh) * 2011-04-15 2012-10-17 三星电子株式会社 显示方法以及使用该显示方法的显示设备
CN102735248A (zh) * 2011-04-14 2012-10-17 爱信艾达株式会社 地图图像显示系统、装置、方法及其计算机程序
CN103384304A (zh) * 2012-05-02 2013-11-06 索尼公司 显示控制设备、显示控制方法、程序和记录介质
CN203324579U (zh) * 2013-01-05 2013-12-04 安徽麦田麦水数字影视动画有限公司 一种立体成像系统
CN104363834A (zh) * 2012-06-07 2015-02-18 株式会社东芝 图像处理装置以及x射线诊断装置
CN107077191A (zh) * 2014-09-03 2017-08-18 Lg 电子株式会社 显示装置及其控制方法
CN107405135A (zh) * 2015-03-18 2017-11-28 株式会社日立制作所 超声波诊断装置以及超声波图像显示方法
CN109120984A (zh) * 2018-09-30 2019-01-01 重庆小雨点小额贷款有限公司 弹幕显示方法、装置、终端及服务器

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4961626A (en) 1989-02-21 1990-10-09 United Techologies Corporation Direct incorporation of night vision in a helmet mounted display
US7315241B1 (en) 2004-12-01 2008-01-01 Hrl Laboratories, Llc Enhanced perception lighting
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP6110866B2 (ja) 2011-10-28 2017-04-05 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
US9851787B2 (en) * 2012-11-29 2017-12-26 Microsoft Technology Licensing, Llc Display resource management
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
WO2014197109A2 (en) * 2013-03-22 2014-12-11 Seiko Epson Corporation Infrared video display eyewear
US9280202B2 (en) 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
CN103383491B (zh) * 2013-07-03 2015-08-26 成都理想境界科技有限公司 一种视透率可调的头戴显示装置
US9437131B2 (en) * 2013-07-05 2016-09-06 Visteon Global Technologies, Inc. Driving a multi-layer transparent display
CN112346638A (zh) * 2014-01-17 2021-02-09 曼托第一收购有限责任公司 透视计算机显示系统
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
CN106029000A (zh) 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示系统
US9832394B2 (en) * 2014-03-31 2017-11-28 Google Technology Holdings LLC Adaptive low-light view modes
WO2016127173A1 (en) 2015-02-06 2016-08-11 The University Of Akron Optical imaging system and methods thereof
US9844119B2 (en) 2015-02-10 2017-12-12 Daqri, Llc Dynamic lighting for head mounted device
KR102411497B1 (ko) * 2015-09-07 2022-06-22 삼성디스플레이 주식회사 다중 영상 표시 장치
JP2019514476A (ja) * 2016-04-19 2019-06-06 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波イメージングプローブの位置決め
CN105872520A (zh) * 2016-04-25 2016-08-17 京东方科技集团股份有限公司 显示装置和显示方法
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US20180088323A1 (en) * 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays
US11181636B2 (en) * 2016-10-20 2021-11-23 Samsung Electronics Co., Ltd. Electronic apparatus and method of detecting information about target object by using ultrasound waves
CN207557490U (zh) * 2017-12-26 2018-06-29 曹一宁 一种可穿戴设备及定位系统
CN108197615A (zh) * 2018-03-07 2018-06-22 北京上古视觉科技有限公司 一种多媒体展示装置及系统
CN109541812A (zh) * 2018-11-12 2019-03-29 西安电子科技大学 一种体三维显示装置及其控制方法
US11249310B1 (en) 2018-11-26 2022-02-15 Lockheed Martin Corporation Augmented reality device with external light control layer for realtime contrast control

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877694A (zh) * 2005-06-08 2006-12-13 上海乐金广电电子有限公司 具有多路径的屏幕显示体现方法
CN101488332A (zh) * 2009-01-06 2009-07-22 东莞康特尔电子有限公司 一种基于WinCE系统的屏幕显示加速混合系统和方法
CN101872600A (zh) * 2009-04-24 2010-10-27 深圳Tcl新技术有限公司 一种显示装置及其图像显示方法
CN102025829A (zh) * 2009-09-16 2011-04-20 捷讯研究有限公司 用于在设备显示屏上显示覆盖层的方法和设备
CN102735248A (zh) * 2011-04-14 2012-10-17 爱信艾达株式会社 地图图像显示系统、装置、方法及其计算机程序
CN102736841A (zh) * 2011-04-15 2012-10-17 三星电子株式会社 显示方法以及使用该显示方法的显示设备
CN103384304A (zh) * 2012-05-02 2013-11-06 索尼公司 显示控制设备、显示控制方法、程序和记录介质
CN104363834A (zh) * 2012-06-07 2015-02-18 株式会社东芝 图像处理装置以及x射线诊断装置
CN203324579U (zh) * 2013-01-05 2013-12-04 安徽麦田麦水数字影视动画有限公司 一种立体成像系统
CN107077191A (zh) * 2014-09-03 2017-08-18 Lg 电子株式会社 显示装置及其控制方法
CN107405135A (zh) * 2015-03-18 2017-11-28 株式会社日立制作所 超声波诊断装置以及超声波图像显示方法
CN109120984A (zh) * 2018-09-30 2019-01-01 重庆小雨点小额贷款有限公司 弹幕显示方法、装置、终端及服务器

Also Published As

Publication number Publication date
US20200341563A1 (en) 2020-10-29
US20230359037A1 (en) 2023-11-09
CN111856751A (zh) 2020-10-30
US11733518B2 (en) 2023-08-22
CN115755397A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
US11756229B2 (en) Localization for mobile devices
CN111856751B (zh) 具有低光操作的头戴式显示器
CN115512534B (zh) 远程设备的发现和连接
US11825103B2 (en) Gaze-driven recording of video
US20230350633A1 (en) Shared data and collaboration for head-mounted devices
US20240089695A1 (en) Locating Content In An Environment
US11189059B2 (en) Object tracking for head-mounted devices
US20190354175A1 (en) Eye Enrollment For Head-Mounted Enclosure
US11800231B2 (en) Head-mounted display
US11533580B2 (en) Locating content in an environment
US20240069688A1 (en) Head-Mounted Electronic Device with Magnification Tool
US11966048B1 (en) Head-mounted devices with dual gaze tracking systems
US11087559B1 (en) Managing augmented reality content associated with a physical location
US11749018B1 (en) Eye enrollment for head-mounted enclosure
US11496723B1 (en) Automatically capturing a moment
US20240061252A1 (en) Head-Mounted Device With Optical Module Illumination Systems
WO2024044556A1 (en) Head-mounted electronic device with magnification tool

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant