CN116648902A - 用于增强现实的数字光投影仪 - Google Patents

用于增强现实的数字光投影仪 Download PDF

Info

Publication number
CN116648902A
CN116648902A CN202180088204.3A CN202180088204A CN116648902A CN 116648902 A CN116648902 A CN 116648902A CN 202180088204 A CN202180088204 A CN 202180088204A CN 116648902 A CN116648902 A CN 116648902A
Authority
CN
China
Prior art keywords
dlp projector
color sequence
display device
dlp
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180088204.3A
Other languages
English (en)
Inventor
杰弗里·迈克尔·德瓦尔
多米尼克·施尼策尔
阿米特·辛格
丹尼尔·瓦格纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Priority claimed from PCT/US2021/064593 external-priority patent/WO2022146781A1/en
Publication of CN116648902A publication Critical patent/CN116648902A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/365—Image reproducers using digital micromirror devices [DMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0018—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for preventing ghost images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources
    • H04N9/3114—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources by using a sequential colour filter producing one colour at a time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/3111—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators for displaying the colours sequentially, e.g. by using sequentially activated light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

描述了一种用于配置增强现实(AR)显示设备的数字光投影仪(DLP)的方法。DLP投影仪的光源部件被配置成生成每图像帧的单个红‑绿‑蓝颜色序列重复。AR显示设备识别DLP投影仪的光源部件的颜色序列并跟踪AR显示设备的运动。AR显示设备基于所述单个红‑绿‑蓝颜色序列重复、DLP投影仪的光源部件的颜色序列以及AR显示设备的运动来调整DLP投影仪的操作。

Description

用于增强现实的数字光投影仪
交叉引用
本申请是于2021年4月9日提交的美国申请第17/301,657号的延续申请并要求其优先权，该美国申请要求于2020年12月30日提交的美国临时专利申请第63/132,023号的优先权，上述美国申请和美国临时申请各自通过引用整体并入本文。
技术领域
本文公开的主题总体上涉及显示系统。具体地，本公开内容提出将数字光投影仪用于增强现实的系统和方法。
背景技术
增强现实(AR)设备使得用户能够观察真实世界场景，同时查看可以与该设备的视场中的项目、图像、对象或环境对准的虚拟内容。AR设备包括生成虚拟内容的合成图像的部分透明显示器。
附图说明
为了容易地标识对任何特定元素或动作的讨论，附图标记中的一个或更多个最高位数字指代该元素被首次引入时所在的图号。
图1是示出根据一个示例实施方式的用于操作增强现实(AR)显示设备的网络环境的框图。
图2是示出根据一个示例实施方式的AR显示设备的框图。
图3是示出根据一个示例实施方式的DLP投影仪的框图。
图4是示出根据一个示例实施方式的DLP控制器的框图。
图5是示出根据一个实施方式的图像重影效应的图表。
图6是示出根据一个示例实施方式的预测颜色序列效应的图表。
图7是示出根据一个示例实施方式的低颜色余辉效应的图表。
图8示出了根据一个示例实施方式的服务器。
图9是示出根据一个示例实施方式的用于配置DLP投影仪的方法的流程图。
图10是示出根据一个示例实施方式的用于操作DLP投影仪的方法的流程图。
图11是示出根据一个示例实施方式的用于操作DLP投影仪的方法的流程图。
图12是示出根据一个示例实施方式的用于调整像素余辉的方法的流程图。
图13是示出根据示例实施方式的可以在其中实现本公开内容的软件架构的框图。
图14是根据一个示例实施方式的呈计算机系统形式的机器的图解表示，在该计算机系统内，可以执行一组指令以使机器执行本文中讨论的方法中的任何一种或更多种。
具体实施方式
下面的描述描述了示出本主题的示例实施方式的系统、方法、技术、指令序列和计算机程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节，以提供对本主题的各种实施方式的理解。然而，对于本领域技术人员而言将明显的是，可以在没有这些具体细节中的一些或其他细节的情况下实施本主题的实施方式。示例仅仅代表可能的变型。除非另有明确说明，否则结构(例如，结构部件诸如模块)是可选的并且可以被组合或细分，并且操作(例如，在过程、算法或其他功能中)可以顺序变化或者被组合或细分。
AR应用使得用户能够体验信息，例如呈在AR显示设备(也称为显示设备)的显示器中呈现的虚拟对象的形式的信息。可以基于显示设备相对于物理对象或相对于参照系(在显示设备外部)的位置来呈现虚拟对象，使得虚拟对象正确地出现在显示器中。虚拟对象好似与AR显示设备的用户所感知的物理对象对准。图形(例如，包含指示和指南的图形元素)好似被附接至感兴趣的物理对象。为了做到这一点，AR显示设备检测物理对象并跟踪AR显示设备相对于物理对象的位置的姿态。姿态标识对象相对于参照系或相对于另一对象的位置和取向。
在一个示例中，AR显示设备包括将虚拟对象显示在AR显示设备的屏幕上的投影仪(例如，数字光投影仪(DLP))。DLP投影仪的工作原理是将来自光源的光通过色轮朝向DMD(数字微镜设备)投射来进行操作。DMD控制是否将彩色光朝向AR显示设备的屏幕反射。DLP投影仪通过以非常高的速率(例如，10kHz)循环通过(R)红色、(G)绿色、(B)蓝色位平面来针对人眼创建颜色。所有位平面的总和针对人眼创建颜色印象(impression of color)。单独针对每个DLP投影仪对显示位平面的顺序进行优化(在功率和颜色方面)。因此，不同的DLP投影仪将具有不同的颜色循环排列。此外，根据DLP投影仪的帧速率，DLP投影仪重复位平面序列以填充帧时间(例如，循环)。因此，每个DLP投影仪通常被配置成优化位平面序列(用于节电、颜色校准、减少彩虹伪影(对于壁式投影仪))。
使用DLP投影仪在静止的墙壁上投影和使用DLP投影仪在移动的AR显示设备中投影的条件本质上不同。例如，当用户佩戴AR显示设备并移动他/她的头部时，会出现以下效应：
·重影效应：由于DLP投影仪每帧将颜色序列重复多次，因此显示的内容会出现多次，从而给出断续呈现或重影的印象。
·颜色分离效应：当AR显示设备在空间中显示所跟踪的3D虚拟对象时，其颜色将在用户移动的情况下分离，从而产生不可读的文本、模糊的对象和不愉快的体验。
·高像素余辉效应：余辉是指每个像素保持点亮的时间。高余辉会引起图像的模糊和拖尾。
本申请描述了用于配置在AR显示设备中使用的DLP投影仪的操作的系统和方法。通过能够预测在用户运动的情况下在何处以及如何呈现颜色，AR显示设备可以基于每种颜色有效地补偿运动的光子延迟(motion-to-photon latency)。所述预测可以通过将DLP投影仪配置成生成每帧的单个RGB重复、识别DLP投影仪的光源部件的预定义颜色序列以及降低DLP投影仪的像素余辉来实现。通过如当前所描述的那样改变DLP投影仪的操作，产生较高的AR图像质量(例如，虚拟对象将不会渐隐或者被每帧显示多次，AR空间中的文本将变得更具可读性)。
在一个示例实施方式中，描述了用于配置增强现实(AR)显示设备的数字光投影仪(DLP)的方法。DLP投影仪的光源部件被配置成生成每图像帧的单个红-绿-蓝颜色序列重复。AR显示设备识别DLP投影仪的光源部件的颜色序列并跟踪AR显示设备的运动。AR显示设备基于所述单个红-绿-蓝颜色序列重复、DLP投影仪的光源部件的颜色序列以及AR显示设备的运动来调整DLP投影仪的操作。
在另一示例实施方式中，该方法还包括：基于所识别的颜色序列和每图像帧的单个红-绿-蓝颜色序列重复来确定经调整的像素余辉值；用经调整的像素余辉值替换默认像素余辉值；以及利用经调整的像素余辉值来操作DLP投影仪。
作为结果，本文中描述的一个或更多个方法有助于通过下述方式来解决安装在移动单元上的DLP投影仪的图像重影、颜色分离和高像素余辉的技术问题：将DLP投影仪配置成生成每图像帧的单个红-绿-蓝颜色序列重复、识别光源部件的颜色序列以及降低像素余辉。当前描述的方法通过提供操作配置来提供对DLP投影仪的操作的改进。因此，在本文中描述的一个或更多个方法可以消除对某些努力或计算资源的需要。这种计算资源的示例包括处理器周期、网络流量、内存使用、数据存储能力、电力消耗、网络带宽和冷却能力。
图1是示出根据一些示例实施方式的适于操作AR显示设备110的网络环境100的网络图。网络环境100包括经由网络104彼此通信地耦接的AR显示设备110和服务器112。AR显示设备110和服务器112各自可以全部或部分地在如下文关于图14所述的计算机系统中实现。服务器112可以是基于网络的系统的一部分。例如，基于网络的系统可以是或包括基于云的服务器系统，其向AR显示设备110提供附加信息，例如虚拟内容(例如，虚拟对象的三维模型)。
用户106操作AR显示设备110。用户106可以是人类用户(例如，人类)、机器用户(例如，由软件程序配置成与AR显示设备110交互的计算机)或其任何合适的组合(例如，由机器辅助的人类或由人类监督的机器)。用户106不是网络环境100的一部分，而是与AR显示设备110相关联。
AR显示设备110可以是具有显示器的计算设备，例如智能电话、平板电脑或可穿戴计算设备(例如，眼镜)。计算设备可以是手持式的或者可以被可移动地安装至用户106的头部。在一个示例中，显示器可以是显示利用AR显示设备110的相机捕获的内容的屏幕。在另一示例中，设备的显示器可以是透明的，例如在可穿戴计算眼镜的镜片中。
用户106操作AR显示设备110的应用。所述应用可以包括AR应用，AR应用被配置成向用户106提供由物理对象108触发的体验，物理对象108诸如二维物理对象(例如，图片)、三维物理对象(例如，雕像)、位置(例如，在设施中)或真实世界物理环境中的任何参考(例如，所感知的墙壁或家具的拐角)。例如，用户106可以指引AR显示设备110的相机捕捉物理对象108的图像。使用AR显示设备110的AR应用的本地上下文辨识数据集模块在AR显示设备110中本地跟踪和辨识图像。本地上下文辨识数据集模块可以包括与真实世界物理对象或参考相关联的虚拟对象的库。AR应用则响应于识别到所辨识的图像，生成与该图像对应的附加信息(例如，三维模型)并且在AR显示设备110的显示器中呈现该附加信息。如果在AR显示设备110处未本地识别到所捕获的图像，则AR显示设备110通过网络104从服务器112的数据库下载对应于所捕获的图像的附加信息(例如，三维模型)。
在一个示例实施方式中，服务器112可以用于基于来自AR显示设备110的传感器数据(例如，图像和深度数据)来检测和识别物理对象108，基于传感器数据来确定AR显示设备110和物理对象108的姿态。服务器112还可以基于AR显示设备110和物理对象108的姿态来生成虚拟对象。服务器112将虚拟对象传送至AR显示设备110。对象辨识、跟踪和AR渲染可以在AR显示设备110、服务器112或AR显示设备110和服务器112的组合上执行。
图1所示的机器、数据库或设备中的任何一者都可以在下述通用计算机中实现，所述通用计算机被通过软件修改(例如，配置或编程)成专用计算机以执行本文针对所述机器、数据库或设备描述的一个或更多个功能。例如，下面关于图9至图12讨论了能够实现本文中描述的方法中的任何一种或更多种方法的计算机系统。如本文所使用的，“数据库”是数据存储资源，并且可以存储被结构化为文本文件、表格、电子表格、关系数据库(例如，对象关系数据库)、三元组存储、分层数据存储或其任何合适的组合的数据。此外，图1中所示的机器、数据库或设备中的任何两个或更多个可以被组合成单个机器，并且本文中针对任何单个机器、数据库或设备描述的功能可以在多个机器、数据库或设备之间细分。
网络104可以是使得能够在机器(例如，服务器112)、数据库和设备(例如，AR显示设备110)之间或之中进行通信的任何网络。因此，网络104可以是有线网络、无线网络(例如，移动或蜂窝网络)或其任何合适的组合。网络104可以包括构成专用网络、公共网络(例如，因特网)或其任何合适的组合的一个或更多个部分。
图2是示出根据一些示例实施方式的AR显示设备110的模块(例如，部件)的框图。AR显示设备110包括传感器202、显示系统204、处理器208和存储设备206。AR显示设备110的示例包括可穿戴计算设备、台式计算机、车载计算机、平板计算机、导航设备、便携式媒体设备或智能电话。
传感器202包括例如光学传感器216(例如，相机诸如彩色相机、热感相机，深度传感器以及一个或多个灰度级全局快门跟踪相机)和惯性传感器218(例如，陀螺仪、加速度计)。传感器202的其他示例包括接近传感器或定位传感器(例如，近场通信、GPS、蓝牙、Wifi)、音频传感器(例如，麦克风)或其任何合适的组合。注意，本文中描述的传感器202是出于说明的目的，传感器202不限于上述传感器。
显示系统204包括屏幕224和DLP投影仪226。DLP投影仪226将虚拟对象的图像投影在屏幕224上。在一个示例实施方式中，屏幕224可以是透明的或半透明的，使得用户106可以透过屏幕224看到(在AR用例中)。DLP投影仪226被配置成利用可预测颜色序列、每帧的单个RGB颜色循环以及较短的像素余辉来进行操作。下面关于图3更详细地描述DLP投影仪226。
处理器208包括AR应用210、跟踪系统212和DLP控制器214。AR应用210使用计算机视觉来检测和识别物理环境或物理对象108。AR应用210基于所识别的物理对象108或物理环境来检索虚拟对象(例如，3D对象模型)。AR应用210在显示系统204中呈现虚拟对象。对于AR应用，AR应用210包括本地渲染引擎，其生成覆盖在由光学传感器216捕获的物理对象108的图像上的虚拟对象的可视化(例如，叠加在由光学传感器216捕获的物理对象108的图像上，或者以其他方式与物理对象108的图像一前一后地显示)。可以通过调整物理对象108相对于光学传感器216的定位(例如，其物理位置、取向或这两者)来操纵虚拟对象的可视化。类似地，可以通过调整AR显示设备110相对于物理对象108的姿态来操纵虚拟对象的可视化。
在一个示例实施方式中，AR应用210包括上下文本地图像辨识模块(未示出)，所述上下文本地图像辨识模块被配置成确定所捕获的图像是否与在AR显示设备110上的图像和相应附加信息(例如，虚拟模型和交互特征)的本地数据库(例如，存储设备206)中本地存储的图像相匹配。在一个示例中，上下文本地图像辨识模块从服务器112检索主要内容数据集，并且基于利用AR显示设备110捕获的图像来生成并更新上下文内容数据集。
跟踪系统212使用光学传感器(例如，启用深度的3D相机(depth-enabled 3Dcamera)、图像相机)、惯性传感器(例如，陀螺仪、加速度计)、无线传感器(蓝牙、Wi-Fi)、GPS传感器和/或音频传感器来跟踪AR显示设备110相对于真实世界环境102的姿态(例如，位置和取向)，以确定AR显示设备110在真实世界环境102内的定位。跟踪系统212包括例如访问来自惯性传感器218的惯性传感器数据、来自光学传感器216的光学传感器数据以及基于组合的惯性传感器数据和光学传感器数据来确定其姿态。在另一示例中，跟踪系统212确定AR显示设备110相对于参照系(例如，真实世界环境102)的姿态(例如，定位、位置、取向)。在另一示例中，跟踪系统212包括基于来自惯性传感器数据和光学传感器数据的特征点的3D地图来估计AR显示设备110的姿态的视觉里程计系统。
DLP控制器214将数据信号传送至DLP投影仪226，以将虚拟内容投影到屏幕224(例如，透明显示器)上。DLP控制器214包括将来自AR应用210的信号转换为DLP投影仪226的显示信号的硬件。在一个示例实施方式中，DLP控制器214是处理器208的一部分。在另一示例实施方式中，DLP控制器214是DLP投影仪226的一部分。
在一个示例实施方式中，DLP控制器214将DLP投影仪226配置成利用可预测的颜色序列、每帧的单个RGB颜色循环以及较短的像素余辉来进行操作。例如，DLP控制器214确定或识别DLP投影仪226的颜色序列模式。DLP控制器214指示DLP投影仪226的光源(或滤色器系统)产生每帧的单个颜色循环。DLP控制器214还指示DLP投影仪226的数字微镜装置(DMD)生成较短的像素余辉。下面关于图4更详细地描述DLP控制器214。
存储设备206存储虚拟对象内容220和DLP配置设置222。虚拟对象内容220包括例如视觉参考(例如，图像)和相应体验(例如，三维虚拟对象、三维虚拟对象的交互特征)的数据库。在一个示例实施方式中，存储设备206包括主要内容数据集、上下文内容数据集和可视化内容数据集。主要内容数据集包括例如第一组图像和相应体验(例如，与三维虚拟对象模型的交互)。例如，可以使图像与一个或更多个虚拟对象模型相关联。主要内容数据集可以包括一组核心图像。该组核心图像可以包括由服务器112识别的有限数量的图像。例如，该组核心图像可以包括描绘十个最常被观看的物理对象的封面(cover)及其相应体验(例如，代表十个最常被观看的物理对象的虚拟对象)的图像。在另一示例中，服务器112可以基于在服务器112处接收的最受欢迎或经常被扫描的图像来生成第一组图像。因此，主要内容数据集不取决于通过光学传感器216获得的物理对象或图像。
上下文内容数据集包括例如从服务器112检索的第二组图像和相应体验(例如，三维虚拟对象模型)。例如，利用AR显示设备110捕获的、在主要内容数据集中未被(例如，被服务器112)辨识出的图像被提交给服务器112以供辨识。如果服务器112辨识出所捕获的图像，则可以在AR显示设备110处下载相应体验并将其存储在上下文内容数据集中。因此，上下文内容数据集依赖于AR显示设备110已被使用的上下文。因此，上下文内容数据集取决于由AR显示设备110扫描的对象或图像。
DLP配置设置222包括例如针对DLP投影仪226的设置和/或由DLP控制器214确定的设置。设置的示例包括RGB位平面循环速率、帧速率、颜色序列和像素余辉时间。
本文中描述的任何一个或更多个模块可以使用硬件(例如，机器的处理器)或硬件和软件的组合来实现。例如，本文中描述的任何模块都可以将处理器配置成执行本文中针对该模块描述的操作。此外，这些模块中的任何两个或更多个模块可以被组合成单个模块，并且本文中针对单个模块描述的功能可以在多个模块之间细分。此外，根据各种示例实施方式，本文中描述为在单个机器、数据库或设备内实现的模块可以跨多个机器、数据库或设备分布。
图3是示出根据一个示例实施方式的DLP投影仪226的框图。DLP控制器214包括光源302(也称为光源部件)、聚光透镜304、成形透镜306、DMD 308和投影透镜310。
光源302包括例如加压灯泡、激光器或高功率LED。在一个示例实施方式中，光源302包括三个彩色LED：蓝色LED 312、红色LED 314和绿色LED 316。每个彩色LED在其相应准直透镜(例如，准直透镜318、准直透镜320、准直透镜322)处发射彩色光。
DLP控制器214与DLP投影仪226的光源302接口，并且控制光源302生成每帧的单个RGB重复。在一个示例实施方式中，DLP控制器214与光源302接口并识别光源302的颜色序列。例如，DLP控制器214查询DLP投影仪226并识别DLP投影仪226的型号。DLP控制器214基于DLP投影仪226的型号识别光源302的颜色序列。
在另一示例实施方式中，光源302包括例如白光源(未示出)和被分成原色(红色、绿色和蓝色)的色轮(未示出)。色轮以高速旋转(例如7200RPM)。DLP控制器214使色轮的旋转运动同步，使得当色轮的绿色部分在灯的前面时，绿色分量被显示在DMD上。对于红色、蓝色和其他部分也是如此。颜色被以足够高的速率顺序显示，使得观察者看到合成(全色)图像。通过引导未使用的光远离光源302来产生黑色。例如，未使用的光被散射以在DMD 308或投影透镜310的内壁上反射和消散。DLP控制器214操作光源302，使得色轮每帧旋转一个RGB循环。
聚光透镜304将来自光源302的光聚焦至成形透镜306。成形透镜306将来自光源302的光漫射到DMD 308。DMD 308包括数百个单独的微镜。表示0和1的数字信号驱动这些微镜旋转至选定角度，以反射不需要的光并将需要的光引导到投影透镜310。通过视觉暂留，不同颜色的光被合成为针对人眼的彩色图像。在一个示例实施方式中，DLP控制器214控制DMD 308以减少每个像素的余辉。余辉可以被称为每个像素保持点亮的时间。高余辉(例如，120Hz下8.3ms)导致图像模糊和拖尾。DLP控制器214将每个像素的余辉降低至例如小于3ms。
图4示出了根据一个示例实施方式的DLP控制器214。DLP控制器214包括运动颜色伪影补偿模块406和低余辉模块408。运动颜色伪影补偿模块406减少由AR显示设备110的运动产生的颜色伪影。例如，当用户106移动他的头部(其中，AR显示设备110被安装其头部)时，所显示的虚拟内容将按其基色(RGB)分离，更准确地，颜色序列将变得可见。
利用机械旋转色轮的DLP投影仪表现出该颜色分离，颜色分离也被称为“彩虹效应”。这被最佳地描述为所感知的红色、蓝色和绿色“阴影”的短暂闪光，其最常在投影内容的主要特征是使明亮或白色对象在几乎全暗或黑色背景上移动的高对比度区域时被观察到。当观察者在投影图像上快速移动他们的眼睛时，颜色的短暂可见分离也是明显的。通常，用户将其眼睛/头部移动地越快，颜色出现的间隔越远。
运动颜色伪影补偿模块406通过基于可预测数据补偿颜色伪影来减少或消除彩虹效应。换句话说，运动颜色伪影补偿模块406预测在用户运动的情况下在何处以及如何呈现颜色，并且基于每种颜色补偿运动的光子延迟。在一个示例实施方式中，运动颜色伪影补偿模块406包括颜色循环模块402和颜色序列模块404。
颜色循环模块402将光源302配置成针对图像帧仅生成基色(RGB)的一个单次重复。例如，常规光源302每帧产生四个颜色RGB-RGB-RGB-RGB(例如，在约60Hz下)。多个颜色循环会导致断续效果，这是因为在不同的位置处四次看到图片。在AR显示设备110在虚拟内容被显示时进行头部运动期间，这种断续效应尤其加剧。
颜色序列模块404识别或确定光源302的颜色序列。如前所述，在常规DLP投影仪中，当用户移动他的头部时，所显示的虚拟内容将按其基色分离，更准确地，颜色序列将变得可见。例如，简单的RGB序列将使其三种颜色发生渗色(color bleeding)。用户移动头部的速度越快，颜色之间的间距将越远。高频颜色序列可以用于使渗色偏移。然而，高频率可能导致运动模糊和不可读文本。颜色序列模块404识别光源302的颜色序列(R、G和B)并基于针对每个帧的预测颜色序列抵消颜色分离的影响。
低余辉模块408通过控制DMD 308引导来自光源302的光远离投影透镜310来降低每个像素的余辉。在一个示例中，低余辉模块408将每个像素的余辉降低至例如小于3ms。在另一示例实施方式中，DLP控制器214控制DMD 308在50％的帧时间内显示黑色(引导光远离投影透镜310)，从而引起各个颜色平面的移位。
图5是示出根据一个实施方式的图像重影效应的图表。图表502示出了基于单帧中的重复颜色循环的显示信号的示例。图表504示出了基于单帧中的重复颜色循环的(由用户感知的)感知信号的示例。
图表506示出了基于单帧中的单个RGB循环重复的显示信号的示例。图表508示出了基于单帧中的单个颜色循环的(由用户感知的)感知信号的示例。
图6示出了来自常规DLP投影仪的彩虹效应的示例。利用机械旋转色轮的DLP投影仪可能表现出被称为“彩虹效应”的异常现象。这被最佳地描述为所感知的红色、蓝色和绿色“阴影”的短暂闪光，其最常在投影内容的主要特征是使明亮或白色对象在几乎全暗或黑色背景上移动的高对比度区域时被观察到。常见的示例是许多电影的滚动片尾字幕，以及具有由粗的黑色轮廓线包围的移动对象的动画。当观察者在投影图像上快速移动他们的眼睛时，颜色的短暂可见分离也是明显的。有些人频繁地感知这些彩虹伪影，而其他人可能根本看不到这些彩虹伪影。
这种效应是由眼睛跟随投影上的移动对象的方式引起的。当屏幕上的对象移动时，眼睛以恒定的运动跟随对象，而投影仪在整个帧的持续时间内在相同位置处显示该帧的各交替颜色。因此，当眼睛移动时，会看到特定颜色(例如，红色)的帧。然后，当显示接下来的颜色(例如，绿色)时，尽管该颜色被交叠在先前颜色上在同一位置处显示，但眼睛已经朝向对象的下一帧目标移动。因此，眼睛看到该特定帧颜色略微移位。然后，显示第三种颜色(例如，蓝色)，并且眼睛看到该帧的颜色再次略微移位。这种效应不是仅针对移动对象而是针对整个图片被感知。
图像602示出了所呈现的图像。图像604示出了由用户感知的彩虹效应图像。图像606示出了通过颜色平面(例如，所识别的单个帧中的单个颜色循环的颜色序列)预测的彩虹效应图像。图像608示出了基于所预测的彩虹效应的补偿操作而产生的感知图像。
图7是示出根据一个示例实施方式的低颜色余辉效应的图表。图表702示出了针对每个帧将所有颜色一起移位的颜色平面。图表704示出了针对每个帧单独移位颜色的颜色平面。
图8是示出服务器112的模块(例如，部件)的框图。服务器112包括传感器引擎808、对象检测引擎804、渲染引擎806和数据库802。
传感器引擎808与传感器202接口并与之通信，以获得与AR显示设备110相对于参照系(例如，房间或真实世界环境102)以及一个或更多个对象(例如，物理对象108)的姿态(例如，定位和取向)相关的传感器数据。
对象检测引擎804访问来自传感器引擎808的传感器数据，以基于传感器数据来检测和识别物理对象108。渲染引擎806基于物理对象108和AR显示设备110的姿态来生成显示的虚拟内容。
数据库802包括物理对象数据集810、虚拟内容数据集812和DLP投影仪数据集814。物理对象数据集810包括不同物理对象的特征。虚拟内容数据集812包括与物理对象相关联的虚拟内容。DLP投影仪数据集814存储DLP投影仪226的配置设置。
图9是示出根据一个示例实施方式的用于配置DLP投影仪的方法的流程图。例程900中的操作可以由DLP控制器214使用上面关于图2描述的部件(例如，模块、引擎)来执行。因此，参照DLP控制器214以示例的方式描述例程900。然而，应当理解，例程900的至少一些操作可以部署在各种其他硬件配置上，或者由驻留在别处的类似部件来执行。
在框902中，颜色循环模块402将DLP投影仪226的光源302的滤色器系统(例如，RGBLED)配置成生成每帧的单个RGB重复。在框904中，颜色序列模块404将DLP投影仪226的光源302配置成生成可预测颜色序列。在框906中，低余辉模块408将DLP投影仪226的DMD 308配置成降低每个像素的余辉。
要注意的是，其他实施方式可以使用不同的排序、额外的或更少的操作以及不同的命名法或术语来完成类似的功能。在一些实施方式中，各种操作可以以同步或异步的方式与其他操作并行执行。本文中描述的操作被选择来以简化的形式说明一些操作原理。
图10是示出根据一个示例实施方式的用于操作DLP投影仪的方法的流程图。例程1000中的操作可以由DLP控制器214使用上面关于图2描述的部件(例如，模块、引擎)来执行。因此，参照DLP控制器214以示例的方式描述例程1000。然而，应当理解，例程1000的至少一些操作可以部署在各种其他硬件配置上，或者由驻留在别处的类似部件来执行。例如，一些操作可以在服务器112处执行。
在框1002中，颜色循环模块402在位平面中生成颜色循环的一次重复。在框1004中，跟踪系统212检测AR显示设备的姿态。在框1006中，DLP投影仪226基于所检测姿态处颜色循环的一次重复在屏幕224上投影虚拟内容。
要注意的是，其他实施方式可以使用不同的排序、额外的或更少的操作以及不同的命名法或术语来完成类似的功能。在一些实施方式中，各种操作可以以同步或异步的方式与其他操作并行执行。本文中描述的操作被选择来以简化的形式说明一些操作原理。
图11是示出根据一个示例实施方式的用于操作DLP投影仪的方法的流程图。例程1100中的操作可以由DLP控制器214使用上面关于图2描述的部件(例如，模块、引擎)来执行。因此，参照DLP控制器214以示例的方式描述例程1100。然而，应当理解，例程1100的至少一些操作可以部署在各种其他硬件配置上，或者由驻留在别处的类似部件来执行。例如，一些操作可以在服务器112处执行。
在框1102中，颜色循环模块402在位平面中生成颜色循环的一个重复。在框1104中，颜色序列模块404识别光源302的颜色序列。在框1106中，跟踪系统212检测AR显示设备的姿态。在框1108中，运动颜色伪影补偿模块406基于颜色序列来预测颜色分离。在框1110中，运动颜色伪影补偿模块406基于颜色序列来抵消所预测的颜色分离。
要注意的是，其他实施方式可以使用不同的排序、额外的或更少的操作以及不同的命名法或术语来完成类似的功能。在一些实施方式中，各种操作可以以同步或异步的方式与其他操作并行执行。本文中描述的操作被选择来以简化的形式说明一些操作原理。
图12是示出根据一个示例实施方式的用于调整像素余辉的方法的流程图。例程1200中的操作可以由DLP控制器214使用上面关于图2描述的部件(例如，模块、引擎)来执行。因此，参照DLP控制器214以示例的方式描述例程1200。然而，应当理解，例程1200的至少一些操作可以部署在各种其他硬件配置上，或者由驻留在别处的类似部件来执行。例如，一些操作可以在服务器112处执行。
在框1202中，低余辉模块408识别默认像素余辉时间。在框1204中，跟踪系统212预测AR显示设备110的运动。在框1206中，颜色循环模块402将DLP投影仪226配置成每个循环显示一种颜色。在框1208中，低余辉模块408根据默认像素余辉时间来调整DLP投影仪226的像素余辉时间以在50％的帧时间内显示黑色。
要注意的是，其他实施方式可以使用不同的排序、额外的或更少的操作以及不同的命名法或术语来完成类似的功能。在一些实施方式中，各种操作可以以同步或异步的方式与其他操作并行执行。本文中描述的操作被选择来以简化的形式说明一些操作原理。
图13是示出软件架构1304的框图1300，该软件架构1304可以安装在本文中描述的任何一个或更多个设备上。软件架构1304由硬件诸如机器1302支持，机器1302包括处理器1320、存储器1326和I/O部件1338。在该示例中，软件架构1304可以被概念化为层的堆栈，在该层的堆栈中，每个层提供特定的功能。软件架构1304包括诸如操作系统1312、库1310、框架1308和应用1306的层。在操作上，应用1306通过软件堆栈来激活API调用1350并响应于API调用1350来接收消息1352。
操作系统1312管理硬件资源并提供公共服务。操作系统1312包括例如核1314、服务1316和驱动器1322。核1314充当硬件层和其他软件层之间的抽象层。例如，核1314提供存储器管理、处理器管理(例如，调度)、部件管理、联网和安全设置以及其他功能。服务1316可以为其他软件层提供其他公共服务。驱动器1322负责控制底层硬件或与底层硬件对接。例如，驱动器1322可以包括显示驱动器、摄像装置驱动器、或低功耗驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、驱动器、音频驱动器、电源管理驱动器等。
库1310提供应用1306所使用的低级公共基础设施。库1310可以包括提供诸如存储器分配功能、字符串操作功能、数学功能等功能的系统库1318(例如，C标准库)。另外，库1310可以包括API库1324，例如媒体库(例如，用于支持各种媒体格式的呈现和操纵的库，所述各种媒体格式例如运动图像专家组-4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如，用于在显示器上的图形内容中以二维(2D)和三维(3D)呈现的OpenGL框架)、数据库库(例如，提供各种关系数据库功能的SQLite)、web库(例如，提供web浏览功能的WebKit)等。库1310还可以包括各种其他库1328，以向应用1306提供许多其他API。
框架1308提供由应用1306使用的高级公共基础设施。例如，框架1308提供各种图形用户界面(GUI)功能、高级资源管理和高级定位服务。框架1308可以提供可以由应用1306使用的广泛的其他API，其中的一些API可以专用于特定的操作系统或平台。
在示例中，应用1306可以包括家庭应用1336、联系人应用1330、浏览器应用1332、书籍阅读器应用1334、定位应用1342、媒体应用1344、消息收发应用1346、游戏应用1348和诸如第三方应用1340的各种各样的其他应用。应用1306是执行程序中限定的功能的程序。可以采用各种编程语言来创建以各种方式构造的应用1306中的一个或更多个，编程语言例如面向对象的编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C语言或汇编语言)。在特定示例中，第三方应用1340(例如，由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTM、Phone的移动操作系统或另外的移动操作系统上运行的移动软件。在该示例中，第三方应用1340可以激活操作系统1312所提供的API调用1350来促进本文描述的功能。
图14是机器1400的图解表示，在该机器1400内可以执行用于使机器1400执行本文所讨论的方法中的任何一个或更多个方法的指令1408(例如，软件、程序、应用、小应用、app或其他可执行代码)。例如，指令1408可以使机器1400执行本文中描述的方法中的任一种或更多种方法。指令1408将通用的未经编程的机器1400转换成特定机器1400，该特定机器1400被编程为以所描述的方式执行所描述和所示的功能。机器1400可以作为独立设备操作或者可以耦接(例如，联网)至其他机器。在联网部署中，机器1400可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份进行操作，或者在对等(或分布式)网络环境中作为对等机器进行操作。机器1400可以包括但不限于：服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、PDA、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能电器)、其他智能设备、web设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指定要由机器1400采取的动作的指令1408的任何机器。此外，虽然仅示出了单个机器1400，但是术语“机器”还应当被视为包括单独地或联合地执行指令1408以执行本文中讨论的方法中的任何一种或更多种方法的机器的集合。
机器1400可以包括处理器1402、存储器1404和I/O部件1442，所述处理器1402、存储器1404和I/O部件1442可以被配置成经由总线1444彼此通信。在示例实施方式中，处理器1402(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、其他处理器或其任何合适的组合)可以包括例如执行指令1408的处理器1406和处理器1410。术语“处理器”旨在包括多核处理器，该多核处理器可以包括可以同时执行指令的两个或更多个独立的处理器(有时被称为“核”)。虽然图14示出了多个处理器1402，但是机器1400可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器或者其任何组合。
存储器1404包括主存储器1412、静态存储器1414和存储单元1416，其均可以由处理器1402经由总线1444访问。主存储器1404、静态存储器1414和存储单元1416存储实现本文中所描述的方法或功能中的任何一个或更多个方法或功能的指令1408。指令1408还可以在其被机器1400执行期间完全地或部分地驻留在主存储器1412内、驻留在静态存储器1414内、驻留在存储单元1416内的机器可读介质1418内、驻留在处理器1402中的至少一个处理器内(例如，在处理器的高速缓存存储器内)、或驻留在其任何合适的组合内。
I/O部件1442可以包括接收输入、提供输出、产生输出、传送信息、交换信息、捕获测量结果等的各种各样的部件。包括在特定机器中的具体I/O部件1442将取决于机器的类型。例如，便携式机器诸如移动电话可以包括触摸输入设备或其他这样的输入机构，而无头服务器机器将不太可能包括这样的触摸输入设备。应当理解，I/O部件1442可以包括图14中未示出的许多其他部件。在各种示例实施方式中，I/O部件1442可以包括输出部件1428和输入部件1430。输出部件1428可以包括视觉部件(例如显示器，诸如等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、声学部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号发生器等。输入部件1430可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他定点仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸姿势的定位和/或力的触摸屏或者其他触觉输入部件)、音频输入部件(例如，麦克风)等。
在其他示例实施方式中，I/O部件1442可以包括生物计量部件1432、运动部件1434、环境部件1436或定位部件1438以及各种其他部件。例如，生物计量部件1432包括用于检测表达(例如，手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波)、识别人(例如，声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件1434包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。环境部件1436可以包括例如照明传感器部件(例如，光度计)、温度传感器部件(例如，检测周围温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，用于出于安全而检测危险气体的浓度或者用于测量大气中的污染物的气体检测传感器)或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。位置部件1438包括定位传感器部件(例如，GPS接收器部件)、海拔传感器部件(例如，检测气压的高度计或气压计，根据该气压可以得到海拔)、取向传感器部件(例如，磁力计)等。
可以使用各种各样的技术来实现通信。I/O部件1442还包括通信部件1440，该通信部件1440可操作成分别经由耦接1424和耦接1426将机器1400耦接至网络1420或设备1422。例如，通信部件1440可以包括与网络1420对接的网络接口部件或其他合适的设备。在另外的示例中，通信部件1440可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、部件(例如，低能耗)、部件以及经由其他方式提供通信的其他通信部件。设备1422可以是另一机器或各种外围设备中的任何外围设备(例如，经由USB耦接的外围设备)。
此外，通信部件1440可以检测标识符或包括可操作以检测标识符的部件。例如，通信部件1440可以包括射频识别(RFID)标签阅读器部件、NFC智能标签检测部件、光学阅读器部件(例如，用于检测诸如通用产品代码(UPC)条形码的一维条形码，多维条形码诸如快速响应(QR)码、Aztec码、数据矩阵、数据符号(Dataglyph)、最大码(MaxiCode)、PDF417、超码(Ultra Code)、UCC RSS-2D条形码，以及其他光学码的光学传感器)或声学检测部件(例如，用于识别标记的音频信号的麦克风)。另外，可以经由通信部件1440得到各种信息，例如经由因特网协议(IP)地理定位得到定位、经由信号三角测量得到定位、经由检测可以指示特定定位的NFC信标信号得到定位等。
各种存储器(例如，存储器1404、主存储器1412、静态存储器1414和/或处理器1402的存储器)和/或存储单元1416可以存储由本文中所描述的方法或功能中的任何一个或更多个方法或功能实现或使用的一组或更多组指令和数据结构(例如，软件)。这些指令(例如，指令1408)在由处理器1402执行时使各种操作实现所公开的实施方式。
可以经由网络接口设备(例如，包括在通信部件1440中的网络接口部件)使用传输介质并且使用多个公知的传输协议中任何一个传输协议(例如，超文本传输协议(HTTP))通过网络1420来发送或接收指令1408。类似地，可以使用传输介质经由与设备1422的耦接1426(例如，对等耦接)来发送或接收指令1408。
尽管已经参考特定示例实施方式描述了实施方式，但是将明显的是，在不脱离本公开内容的更广泛范围的情况下，可以对这些实施方式进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的。形成本发明的一部分的附图通过说明而非限制的方式示出了其中可以实践本主题的特定实施方式。所示出的实施方式被足够详细地描述以使得本领域技术人员能够实践本文中公开的教示。可以利用其他实施方式并由此得出其他实施方式，使得可以在不脱离本公开内容的范围的情况下进行结构性和逻辑性的替换和改变。因此，具体实施方式不应当被理解为限制性意义，并且各种实施方式的范围仅由所附权利要求以及这些权利要求所赋予的等同内容的全部范围来限定。
仅是为了方便，本发明主题的这些实施方式在本文中可以单独地和/或统一地由术语“发明”来指代，并且如果事实上公开了多于一个发明或发明构思，不旨在自愿地将本申请的范围限于任何单个发明或发明构思。因此，尽管在本文中已经示出和描述了具体实施方式，但是应当理解，被计算成实现相同目的的任何布置都可以替代所示出的特定实施方式。本公开内容旨在覆盖各种实施方式的任何和所有改编或变型。在回顾上述描述后，上述实施方式和本文中未具体描述的其他实施方式的组合对于本领域技术人员来说将明显的。
提供本公开内容的摘要以使得读者能够快速确定本技术公开的性质。摘要是基于这样的理解提交的，即摘要将不会用于解释或限制权利要求的范围或含义。此外，在前述具体实施方式中，可以看出，出于精简本公开内容的目的，各种特征在单个实施方式中被组合在一起。本公开内容的方法不应被解释为反映所要求保护的实施方式需要比在每个权利要求中明确叙述的特征更多的特征的意图。而是，如所附权利要求书所反映的，本发明主题在于少于单个公开的实施方式的所有特征。因此，所附权利要求在此被合并到具体实施方式中，其中每个权利要求作为单独的实施方式独立存在。
示例
示例1是一种用于配置增强现实(AR)显示设备的数字光投影仪(DLP)的方法，包括：将所述DLP投影仪的光源部件配置成生成每图像帧的单个红-绿-蓝颜色序列重复；识别所述DLP投影仪的光源部件的颜色序列；跟踪所述AR显示设备的运动；以及基于所述单个红-绿-蓝颜色序列重复、所述DLP投影仪的光源部件的颜色序列以及所述AR显示设备的运动来调整所述DLP投影仪的操作。
示例2包括示例1，其中，调整所述DLP投影仪的操作还包括：基于所识别的颜色序列和所述每图像帧的单个红-绿-蓝颜色序列重复来减少由所述DLP投影仪产生的运动伪影。
示例3包括示例1，其中，调整所述DLP投影仪的操作还包括：基于所识别的颜色序列、所述每图像帧的单个红-绿-蓝颜色序列重复以及所述AR显示设备的运动来识别由所述DLP投影仪产生的运动伪影；基于所识别的运动伪影生成使所述运动伪影偏移的抵消伪影；以及使得所述DLP投影仪显示所述抵消伪影。
示例4包括示例3，还包括：基于经调整的像素余辉值单独地移位每个颜色平面。
示例5包括示例3，还包括：基于经调整的像素余辉值单独地移位每个颜色平面的每个位平面。
示例6包括示例1，还包括：基于所识别的颜色序列和所述每图像帧的单个红-绿-蓝颜色序列重复来确定经调整的像素余辉值；用所述经调整的像素余辉值替换默认像素余辉值；以及利用所述经调整的像素余辉值来操作所述DLP投影仪。
示例7包括示例6，还包括：基于所述经调整的像素余辉值单独地移位每个颜色平面。
示例8包括示例6，还包括：基于所述经调整的像素余辉值单独地移位每个颜色平面的每个位平面。
示例9包括示例6，其中，操作所述DLP投影仪还包括：控制所述DLP投影仪的DMD以将像素点亮达所述经调整的像素余辉值。
示例10包括示例1，还包括：访问虚拟内容；以及利用所述DLP投影仪的经调整的操作在所述AR显示设备的屏幕上显示所述虚拟内容，所述虚拟内容每图像帧被显示一次。
示例11是一种计算装置，包括：处理器；以及存储指令的存储器，当所述处理器执行所述指令时，所述指令将所述装置配置成：将DLP投影仪的光源部件配置成生成每图像帧的单个红-绿-蓝颜色序列重复；识别所述DLP投影仪的光源部件的颜色序列；跟踪AR显示设备的运动；以及基于所述单个红-绿-蓝颜色序列重复、所述DLP投影仪的光源部件的颜色序列以及所述AR显示设备的运动来调整所述DLP投影仪的操作。
示例12包括示例11，其中，调整所述DLP投影仪的操作还包括：基于所识别的颜色序列和所述每图像帧的单个红-绿-蓝颜色序列重复来减少由所述DLP投影仪产生的运动伪影。
示例13包括示例11，其中，调整所述DLP投影仪的操作还包括：基于所识别的颜色序列、所述每图像帧的单个红-绿-蓝颜色序列重复以及所述AR显示设备的运动来识别由所述DLP投影仪产生的运动伪影；基于所识别的运动伪影生成使所述运动伪影偏移的抵消伪影；以及使得所述DLP投影仪显示所述抵消伪影。
示例14包括示例13，其中，所述指令还将所述装置配置成：基于经调整的像素余辉值单独地移位每个颜色平面。
示例15包括示例13，其中，所述指令还将所述装置配置成：基于经调整的像素余辉值单独地移位每个颜色平面的每个位平面。
示例16包括示例11，其中，所述指令还将所述装置配置成：基于所识别的颜色序列和所述每图像帧的单个红-绿-蓝颜色序列重复来确定经调整的像素余辉值；用所述经调整的像素余辉值替换默认像素余辉值；以及利用所述经调整的像素余辉值来操作所述DLP投影仪。
示例17包括示例16，其中，所述指令还将所述装置配置成：基于所述经调整的像素余辉值单独地移位每个颜色平面。
示例18包括示例16，其中，所述指令还将所述装置配置成：基于所述经调整的像素余辉值单独地移位每个颜色平面的每个位平面。
示例19包括示例16，其中，操作所述DLP投影仪还包括：控制所述DLP投影仪的DMD以将像素点亮达所述经调整的像素余辉值。
示例20是一种非暂态计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由计算机执行时使所述计算机：将DLP投影仪的光源部件配置成生成每图像帧的单个红-绿-蓝颜色序列重复；识别所述DLP投影仪的光源部件的颜色序列；跟踪所述AR显示设备的运动；以及基于所述单个红-绿-蓝颜色序列重复、所述DLP投影仪的光源部件的颜色序列以及所述AR显示设备的运动来调整所述DLP投影仪的操作。

Claims (20)

1.一种用于配置增强现实(AR)显示设备的数字光投影仪(DLP)的方法，包括：
将所述DLP投影仪的光源部件配置成生成每图像帧的单个红-绿-蓝颜色序列重复；
识别所述DLP投影仪的光源部件的颜色序列；
跟踪所述AR显示设备的运动；以及
基于所述单个红-绿-蓝颜色序列重复、所述DLP投影仪的光源部件的颜色序列以及所述AR显示设备的运动来调整所述DLP投影仪的操作。
2.根据权利要求1所述的方法，其中，调整所述DLP投影仪的操作还包括：
基于所识别的颜色序列和所述每图像帧的单个红-绿-蓝颜色序列重复来减少由所述DLP投影仪产生的运动伪影。
3.根据权利要求1所述的方法，其中，调整所述DLP投影仪的操作还包括：
基于所识别的颜色序列、所述每图像帧的单个红-绿-蓝颜色序列重复以及所述AR显示设备的运动来识别由所述DLP投影仪产生的运动伪影；
基于所识别的运动伪影生成使所述运动伪影偏移的抵消伪影；以及
使得所述DLP投影仪显示所述抵消伪影。
4.根据权利要求3所述的方法，还包括：
基于经调整的像素余辉值单独地移位每个颜色平面。
5.根据权利要求3所述的方法，还包括：
基于经调整的像素余辉值单独地移位每个颜色平面的每个位平面。
6.根据权利要求1所述的方法，还包括：
基于所识别的颜色序列和所述每图像帧的单个红-绿-蓝颜色序列重复来确定经调整的像素余辉值；
用所述经调整的像素余辉值替换默认像素余辉值；以及
利用所述经调整的像素余辉值来操作所述DLP投影仪。
7.根据权利要求6所述的方法，还包括：
基于所述经调整的像素余辉值单独地移位每个颜色平面。
8.根据权利要求6所述的方法，还包括：
基于所述经调整的像素余辉值单独地移位每个颜色平面的每个位平面。
9.根据权利要求6所述的方法，其中，操作所述DLP投影仪还包括：
控制所述DLP投影仪的DMD以将像素点亮达所述经调整的像素余辉值。
10.根据权利要求1所述的方法，还包括：
访问虚拟内容；以及
利用所述DLP投影仪的经调整的操作在所述AR显示设备的屏幕上显示所述虚拟内容，所述虚拟内容每图像帧被显示一次。
11.一种计算装置，包括：
处理器；以及
存储器，所述存储器存储指令，当所述处理器执行所述指令时，所述指令将所述装置配置成：
将DLP投影仪的光源部件配置成生成每图像帧的单个红-绿-蓝颜色序列重复；
识别所述DLP投影仪的光源部件的颜色序列；
跟踪AR显示设备的运动；以及
基于所述单个红-绿-蓝颜色序列重复、所述DLP投影仪的光源部件的颜色序列以及所述AR显示设备的运动来调整所述DLP投影仪的操作。
12.根据权利要求11所述的计算装置，其中，调整所述DLP投影仪的操作还包括：
基于所识别的颜色序列和所述每图像帧的单个红-绿-蓝颜色序列重复来减少由所述DLP投影仪产生的运动伪影。
13.根据权利要求11所述的计算装置，其中，调整所述DLP投影仪的操作还包括：
基于所识别的颜色序列、所述每图像帧的单个红-绿-蓝颜色序列重复以及所述AR显示设备的运动来识别由所述DLP投影仪产生的运动伪影；
基于所识别的运动伪影生成使所述运动伪影偏移的抵消伪影；以及
使得所述DLP投影仪显示所述抵消伪影。
14.根据权利要求13所述的计算装置，其中，所述指令还将所述装置配置成：
基于经调整的像素余辉值单独地移位每个颜色平面。
15.根据权利要求13所述的计算装置，其中，所述指令还将所述装置配置成：
基于经调整的像素余辉值单独地移位每个颜色平面的每个位平面。
16.根据权利要求11所述的计算装置，其中，所述指令还将所述装置配置成：
基于所识别的颜色序列和所述每图像帧的单个红-绿-蓝颜色序列重复来确定经调整的像素余辉值；
用所述经调整的像素余辉值替换默认像素余辉值；以及
利用所述经调整的像素余辉值来操作所述DLP投影仪。
17.根据权利要求16所述的计算装置，其中，所述指令还将所述装置配置成：
基于所述经调整的像素余辉值单独地移位每个颜色平面。
18.根据权利要求16所述的计算装置，其中，所述指令还将所述装置配置成：
基于所述经调整的像素余辉值单独地移位每个颜色平面的每个位平面。
19.根据权利要求16所述的计算装置，其中，操作所述DLP投影仪还包括：
控制所述DLP投影仪的DMD以将像素点亮达所述经调整的像素余辉值。
20.一种非暂态计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由计算机执行时使所述计算机：
将DLP投影仪的光源部件配置成生成每图像帧的单个红-绿-蓝颜色序列重复；
识别所述DLP投影仪的光源部件的颜色序列；
跟踪AR显示设备的运动；以及
基于所述单个红-绿-蓝颜色序列重复、所述DLP投影仪的光源部件的颜色序列以及所述AR显示设备的运动来调整所述DLP投影仪的操作。
CN202180088204.3A 2020-12-30 2021-12-21 用于增强现实的数字光投影仪 Pending CN116648902A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063132023P 2020-12-30 2020-12-30
US63/132,023 2020-12-30
US17/301,657 US11614618B2 (en) 2020-12-30 2021-04-09 System for using digital light projectors for augmented reality
US17/301,657 2021-04-09
PCT/US2021/064593 WO2022146781A1 (en) 2020-12-30 2021-12-21 Digital light projectors for augmented reality

Publications (1)

Publication Number Publication Date
CN116648902A true CN116648902A (zh) 2023-08-25

Family

ID=82117025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180088204.3A Pending CN116648902A (zh) 2020-12-30 2021-12-21 用于增强现实的数字光投影仪

Country Status (4)

Country Link
US (2) US11614618B2 (zh)
EP (1) EP4272431A1 (zh)
KR (1) KR20230124069A (zh)
CN (1) CN116648902A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12072486B2 (en) 2020-12-30 2024-08-27 Snap Inc. System for using digital light projectors for augmented reality

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380378B (zh) * 2020-11-17 2022-09-02 北京字跳网络技术有限公司 歌词特效展示方法、装置、电子设备及计算机可读介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7593026B2 (en) 2005-05-11 2009-09-22 L-3 Communications Corporation Dynamic display optimization method and system with image motion
US9946073B2 (en) * 2015-12-31 2018-04-17 Oculus Vr, Llc Methods and systems for eliminating strobing by switching display modes in response to detecting saccades
US10152121B2 (en) * 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
TWI625717B (zh) * 2017-08-25 2018-06-01 華碩電腦股份有限公司 驅動電路以及顯示裝置的畫面插黑方法
US10678049B2 (en) * 2017-10-31 2020-06-09 Google Llc Near-eye display having lenslet array with reduced off-axis optical aberrations
US11025892B1 (en) * 2018-04-04 2021-06-01 James Andrew Aman System and method for simultaneously providing public and private images
US11614618B2 (en) 2020-12-30 2023-03-28 Snap Inc. System for using digital light projectors for augmented reality
WO2022146781A1 (en) 2020-12-30 2022-07-07 Snap Inc. Digital light projectors for augmented reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12072486B2 (en) 2020-12-30 2024-08-27 Snap Inc. System for using digital light projectors for augmented reality

Also Published As

Publication number Publication date
US11614618B2 (en) 2023-03-28
EP4272431A1 (en) 2023-11-08
US20230194859A1 (en) 2023-06-22
US12072486B2 (en) 2024-08-27
US20220206292A1 (en) 2022-06-30
KR20230124069A (ko) 2023-08-24

Similar Documents

Publication Publication Date Title
US12072486B2 (en) System for using digital light projectors for augmented reality
WO2017059386A1 (en) Optical true time delay circuit
US20200410953A1 (en) Reducing latency in augmented reality (ar) displays
US20240273843A1 (en) Low latency hand-tracking in augmented reality systems
US11823634B2 (en) Adaptive brightness for augmented reality display
US20240221222A1 (en) Camera intrinsic re-calibration in mono visual tracking system
US20220375028A1 (en) Dynamic over-rendering in late-warping
US20240029197A1 (en) Dynamic over-rendering in late-warping
WO2022146781A1 (en) Digital light projectors for augmented reality
WO2023172894A1 (en) High dynamic range for dual pixel sensors
US20220207834A1 (en) Optimizing motion-to-photon latency in mobile augmented reality systems
EP4352952A1 (en) Adaptive brightness for augmented reality display
CN117321472A (zh) 进行后期扭曲以最小化移动对象的延迟
EP4341742A1 (en) Late warping to minimize latency of moving objects
WO2022245815A1 (en) Dynamic initialization of 3dof ar tracking system
US20220375026A1 (en) Late warping to minimize latency of moving objects
US11941184B2 (en) Dynamic initialization of 3DOF AR tracking system
CN117441331A (zh) 用于增强现实显示的自适应亮度
CN116745734A (zh) 运动到光子延迟增强现实系统
WO2022146780A1 (en) Motion-to-photon latency augmented reality systems
CN117425869A (zh) 后期扭曲中的动态过度渲染
CN117321546A (zh) 增强现实引导的深度估计
CN118715545A (zh) 使用新颖视图合成进行的场景变化检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination