CN116324958A - 包括像素强度的数字和模拟控制的人工现实系统 - Google Patents

包括像素强度的数字和模拟控制的人工现实系统 Download PDF

Info

Publication number
CN116324958A
CN116324958A CN202180069468.4A CN202180069468A CN116324958A CN 116324958 A CN116324958 A CN 116324958A CN 202180069468 A CN202180069468 A CN 202180069468A CN 116324958 A CN116324958 A CN 116324958A
Authority
CN
China
Prior art keywords
pixel
control circuit
artificial reality
frame
analog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180069468.4A
Other languages
English (en)
Inventor
威廉·托马斯·布兰克
拉马克里什纳·奇鲁库里
伊利亚斯·帕帕斯
迈克尔·易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN116324958A publication Critical patent/CN116324958A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2077—Display of intermediate tones by a combination of two or more gradation control methods
    • G09G3/2081—Display of intermediate tones by a combination of two or more gradation control methods with combination of amplitude modulation and time modulation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2014—Display of intermediate tones by modulation of the duration of a single pulse during which the logic level remains constant
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022—Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0842—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0842—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor
    • G09G2300/0857—Static memory circuit, e.g. flip-flop
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/08—Active matrix structure, i.e. with use of active elements, inclusive of non-linear two terminal elements, in the pixels together with light emitting or modulating elements
    • G09G2300/0809—Several active elements per pixel in active matrix panels
    • G09G2300/0842—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor
    • G09G2300/0861—Several active elements per pixel in active matrix panels forming a memory circuit, e.g. a dynamic memory with one capacitor with additional control of the display period without amending the charge stored in a pixel memory, e.g. by means of additional select electrodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Control Of El Displays (AREA)
  • Led Devices (AREA)

Abstract

电子显示装置包括像素强度的数字和模拟控制。在每个像素(612A)内提供数字像素控制电路(630)和模拟像素控制电流(650)。数字像素控制电路采用数字PWM技术来控制每个帧内的如下子帧的数量：在所述子帧期间向该像素内的发光元件提供驱动电流。模拟像素控制电流(650)控制在该帧期间提供给该像素内的发光元件的驱动电流的水平。在一个示例中，数字像素控制电路(630)和模拟像素控制电流(650)可以一起控制像素强度，其中模拟像素控制电流(650)提供附加的像素内的位以用于增加的颜色深度。替代地，数字像素控制电路(630)可以控制像素强度，并且模拟像素控制电路(650)可以控制非均匀性补偿。

Description

包括像素强度的数字和模拟控制的人工现实系统
技术领域
本公开总体上涉及人工现实系统(例如增强现实系统、混合现实系统和/或虚拟现实系统)、以及用于控制这些和其他电子系统中的像素强度的系统和方法。
背景技术
人工现实系统在诸如计算机游戏、健康与安全、工业和教育等许多领域中的应用越来越普遍。作为几个示例，人工现实系统正被结合到移动装置、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实形式，人工现实可以包括例如虚拟现实、增强现实、混合现实(mixed reality)、混合现实(hybridreality)、或它们的某种组合和/或衍生物。
典型的人工现实系统包括用于渲染内容并向用户显示内容的一个或多个装置。作为一个示例，人工现实系统可以结合头戴式显示器(head-mounted display，HMD)，该头戴式显示器由用户佩戴并被配置为向该用户输出人工现实内容。人工现实内容可以完全包括由系统生成的内容，或者可以包括与采集的内容(例如，真实世界视频和/或图像)组合的生成内容。在操作期间，用户通常与人工现实系统交互，以选择内容、启动应用、配置系统并且通常体验人工现实环境。一些人工现实系统利用专用集成电路，该专用集成电路通常称为片上系统(System on a Chip，SoC)，且具有用于汇总和处理传感器数据以及用于向用户显示人工现实内容的复杂功能。
发明内容
在一个示例中，本公开涉及一种人工现实系统，该人工现实系统包括被配置为输出人工现实内容的头戴式显示器(HMD)，该HMD包括至少一个显示装置，显示装置包括多个像素，其中该多个像素中的每个像素包括发光元件、数字像素控制电路和模拟像素控制电路，该数字像素控制电路生成对一帧中的如下子帧的数量进行控制的脉宽调制(pulsewidth modulation，PWM)输出信号：在所述子帧期间，向该发光元件提供驱动电流，该模拟像素控制电路控制针对该帧向该发光元件提供的驱动电流的水平。
在另一示例中，本公开涉及一种显示装置，该显示装置包括多个像素，其中该多个像素中的每个像素包括发光元件、数字像素控制电路和模拟像素控制电路，该数字像素控制电路生成对一帧中的如下子帧的数量进行控制的脉宽调制(PWM)输出信号：在所述子帧期间向该发光元件提供驱动电流，模拟像素控制电路控制在该帧期间向该发光元件提供的驱动电流的水平。
在另一示例中，本公开涉及一种方法，该方法包括：利用数字像素控制电路生成对一帧中的如下子帧的数量进行控制的脉宽调制(PWM)输出信号：在所述子帧期间向显示装置的像素的发光元件提供驱动电流；以及利用模拟像素控制电路控制在该帧期间向该发光元件提供的驱动电流的水平。
一个或多个示例的细节在附图和下面的描述中阐述。其他特征将根据说明书和附图以及权利要求书而显而易见。
根据本公开的第一方面，提供了一种人工现实系统，包括：
头戴式显示器(HMD)，该HMD被配置为输出人工现实内容，HMD包括至少一个显示装置，该显示装置包括多个像素，其中该多个像素中的每个像素包括：
发光元件；
数字像素控制电路，该数字像素控制电路生成对一帧中的如下子帧的数量进行控制的脉宽调制(PWM)输出信号：在所述子帧期间向所述发光元件提供驱动电流；以及
模拟像素控制电路，该模拟像素控制电路控制针对该帧向该发光元件提供的驱动电流的水平。
该模拟像素控制电路可以基于与该帧的该像素的期望强度级别相对应的n+m位控制字的m个位，控制在该帧期间提供给发光元件的驱动电流的水平。
该模拟像素控制电路可以包括：
存储电容器，该存储电容器被配置为被充电到驱动电压，该驱动电压对应于与该帧的像素的期望强度级别相对应的n+m位控制字的m个位，其中该驱动电压控制在该帧期间提供给发光元件的驱动电流的水平。
人工现实系统还可以包括像素驱动电路，该像素驱动电路包括：
第一晶体管，该第一晶体管具有被连接以接收PWM输出信号的第一控制端、第一输入端、和被连接以将驱动电流提供给发光元件的第一输出端；以及第二晶体管，该第二晶体管具有连接到第一晶体管的第一输入端的第二输出端、连接到由电压源与存储电容器的输出端之间的连接所形成的节点的第二输入端、以及连接到存储电容器的输入端的第二控制端。
模拟像素控制电路还可以包括：
第三晶体管，该第三晶体管具有被连接以接收扫描信号的第三控制端、连接到由存储电容器的输入端与第二晶体管的第二控制端之间的连接所形成的节点的输出端、以及被连接以接收控制电压的输入端，该控制电压对应于与该帧的像素的期望强度级别相对应的n+m位控制字的m个位。
第一晶体管和第二晶体管可以是相同类型的。
第一晶体管和第二晶体管可以为p型晶体管。
数字像素控制电路可以基于与该帧的像素的期望强度级别相对应的n+m位控制字的m个位，来生成对该帧的如下子帧的数量进行控制的脉宽调制(PWM)输出信号：在所述子帧期间向所述发光元件提供驱动电流。
模拟像素控制电路可以基于与该帧的像素的期望强度级别相对应的n+m位控制字的m个位，来控制在该帧期间提供给发光元件的驱动电流的水平。
n可以大于m。
n可以为在5与10之间的整数，并且m可以为在2与5之间的整数。
由n+m位控制字定义的强度级别的数量可以为2n+m.
n个位可以为n+m位控制字的最高有效位，并且m个位可以为n+m位控制字的最低有效位。
数字像素控制电路可以包括被配置为对n+m位控制字的n个位进行存储的n个1位存储单元。
该n个1位存储单元中的每一个可以为1位静态随机存取存储器(static random-access memory，SRAM)单元。
数字像素控制电路可以基于与该帧的像素的期望强度级别相对应的n位控制字，来生成对该帧的如下子帧的数量进行控制的所述脉宽调制(PWM)输出信号：在所述期间向发光元件提供驱动电流，并且模拟像素控制电路可以基于与像素的非均匀性补偿值相对应的m位控制字，来控制在该帧期间提供给发光元件的驱动电流的水平。
根据本公开的第二方面，提供了一种显示装置，该显示装置包括多个像素，其中该多个像素中的每个像素包括：
发光元件；
数字像素控制电路，该数字像素控制电路生成对一帧中的如下子帧的数量进行控制的脉宽调制(PWM)输出信号：在所述帧期间向发光元件提供驱动电流；以及
模拟像素控制电路，该模拟像素控制电路控制在该帧期间向发光元件提供的驱动电流的水平。
PWM输出信号可以包括与该帧的像素的期望强度级别相对应的n+m位控制字的n个位；并且其中由模拟像素控制电路控制的驱动电流的水平包括与该帧的像素的期望强度级别相对应的n+m位控制字的m个位。
由数字像素控制电路生成的PWM输出信号可以包括与该帧的像素的期望强度级别相对应的n位控制字；并且其中由模拟像素控制电路控制的驱动电流的水平可以包括与该帧的非均匀性补偿值相对应的m位控制字。
根据本公开的第三方面，提供了一种方法，该方法包括：
利用数字像素控制电路系统生成对一帧中的如下子帧的数量进行控制的脉宽调制(PWM)输出信号：在所述子帧期间向显示装置的像素的发光元件提供驱动电流；以及
利用模拟像素控制电路系统控制在该帧期间向发光元件提供的驱动电流的水平。
附图说明
图1A是描绘了根据本公开所描述技术的示例多装置人工现实系统的框图，在该多装置人工现实系统中，HMD包括像素强度的数字和模拟控制。
图1B是描绘了根据本公开所描述技术的另一示例多装置人工现实系统的框图，在该多装置人工现实系统中，HMD包括像素强度的数字和模拟控制。
图2A是描绘了根据本公开所描述技术的示例HMD和示例外围装置的框图，该HMD包括像素强度的数字和模拟控制。
图2B是描绘了根据本公开所描述技术的包括像素强度的数字和模拟控制的另一示例HMD的框图。
图3是示出了根据本公开所描述技术的图1A、图1B的多装置人工现实系统中的控制台、包括像素强度的数字和模拟控制的HMD、以及外围装置的示例实施方式的框图。
图4是描绘了根据本公开所描述技术的如下示例的框图：在该示例中，由图1A、图1B的人工现实系统中的HMD执行手势检测、用户界面生成和虚拟表面功能，并且HMD包括像素强度的数字和模拟控制。
图5是示出了根据本公开技术的多装置人工现实系统的分布式架构的示例实施方式的框图，在该多装置人工现实系统中，一个或多个显示装置包括像素强度的数字和模拟控制。
图6是根据本公开所描述技术的包括数字像素控制电路和模拟像素控制电路的显示装置的框图。
图7是示出了根据本公开所描述技术的像素的存储器的电路图。
图8是示出了根据本公开所描述技术的示例像素的数字像素控制电路、模拟像素控制电路和驱动电路的电路图。
图9是示出了根据本公开所描述技术的示例像素的数字像素控制电路、模拟像素控制电路和驱动电路的更详细示例实施方式的电路图。
图10A是示出了根据本公开所描述技术的数字像素控制电路的数字编程阶段的示意图，图10B是示出了根据本公开所描述技术的模拟像素控制电路的模拟编程阶段的示意图。
图11A是示出了根据本公开所描述技术的对显示装置的像素进行数字PWM控制的示例过程的流程图。
图11B是示出了根据本公开所描述技术的对提供给显示装置的像素的电流水平进行模拟控制的示例过程的流程图。
图11C是示出了根据本公开所描述技术的对显示装置的像素进行数字PWM控制结合对提供给像素的电流水平进行模拟控制的示例过程的流程图。
图12A是根据本公开所描述技术的数字像素控制电路所生成的nDrive信号的示例值的表。
图12B是n+m位控制字的示例总强度位值的表，其中n＝3且m＝2。
图13是示出了根据本公开所描述技术的使用模拟像素控制电路对显示装置中的像素进行亮度均匀性补偿的过程的流程图。
具体实施方式
在电子显示装置中，可以通过数字像素驱动方案或模拟像素驱动方案，来控制显示器的每个像素内的发光二极管(light emitting diode，LED)的亮度或强度级别。在数字脉宽调制(pulse width modulation，PWM)方案中，向每个像素提供恒定电流，并且通过基于控制字的位值改变像素的发光时间来控制像素强度。在模拟方案中，每个像素的发光时间是恒定的，并且通过改变用于驱动像素的电流来控制像素强度。然而，为了在数字PWM方案中提供n个位的强度控制，每个像素需要n个1位存储单元来存储每个帧的像素强度值。与人工现实系统相关联的非常小的显示器尺寸限制了这种存储单元可用的物理面积。例如，人工现实显示器的尺寸可以是2×2毫米(mm)的量级。因此，由于可以纳入每个像素中以存储强度值的存储单元的数量减少，所以对于较小的显示器尺寸，可使用的像素强度级别较低。
此外，显示装置中的不同LED即使在以相同方式驱动时也可能以不同的亮度水平发光。这种不均匀性可能是由于制造工艺的变化、显示面板组件的不一致或各种其它原因造成的。
总体上，根据本公开所描述的技术，显示装置使用混合式像素控制电路来提供对显示器中像素的强度的控制，该混合式像素控制电路在每个像素内包括数字像素控制电路和模拟像素控制电路。数字像素控制电路采用数字PWM技术来控制一帧中如下子帧的数量：在所述子帧期间，向像素提供驱动电流(换言之，每帧中如下子帧的数量：在所述子帧期间像素发光)。模拟像素控制电路控制在该帧期间向像素提供的驱动电流的水平。在一些示例中，每个像素的灰度强度级别的总数由二进制n+m位控制字定义，其中n个位定义了由数字像素控制电路所确定的在一帧中向像素提供驱动电流的子帧的数量，并且m个位定义了由模拟像素控制电路所提供给像素的驱动电流的水平。因此，每个像素的强度级别的总数为2n+m。
替代地，在其他示例中，数字像素控制电路可以使用n个位来用于像素强度的数字PWM控制，并且模拟像素控制电路可以使用m个位来控制提供给每个像素中的发光元件的驱动电流以用于非均匀性补偿。
在一些示例中，模拟像素控制电路包括存储电容器和晶体管。存储电容器的输入端连接到晶体管的输出端。在一些示例中，在一帧的开始，基于与像素的强度级别相对应的n+m位控制字的m个位，将电容器充电到预定电压。在每一帧期间，存储在电容器中的电压确定了提供给像素中的发光元件的驱动电流的水平。在其它示例中，对于每一帧，基于与像素的非均匀性补偿值对应的m位控制字的m个位，来将电容器充电到相同的预定电压。存储在电容器中的电压确定了提供给像素的驱动电流的水平。
这样，混合式数字和模拟像素驱动架构可以提供n+m个位的强度控制，而对于每个像素的数字像素控制电路的实现，仅需要n个1位存储单元。同时，模拟像素控制电路可以使用单个电容器和单个晶体管来实现。通过提供n+m个位的强度控制并减少每个像素中所需的存储单元的数量，该实施方式对于非常小的显示器尺寸会是有利的。替代地，由数字像素控制电路提供的n个位可以用于强度控制，并且由模拟像素控制电路提供的m个位可以用于对显示器编程以用于非均匀性补偿。
图1A是描绘了根据本公开所描述技术的示例多装置人工现实系统的框图，在该多装置人工现实系统中，HMD包括像素强度的数字和模拟控制。在图1A的示例中，人工现实系统10包括HMD 112、外围装置136，并且在一些示例中可以包括一个或多个外部的传感器90和/或控制台106。
如图所示，HMD 112通常由用户110佩戴并且包括用于向用户110呈现人工现实内容122的电子显示器和光学组件。另外，HMD 112包括用于跟踪HMD 112的运动的一个或多个传感器(例如，加速度计)，并且可以包括用于采集周围物理环境的图像数据的一个或多个图像采集装置138(例如，摄像头、行扫描仪)。虽然被示出为头戴式显示器，但是人工现实系统10可以替代地或附加地包括眼镜或用于向用户110呈现人工现实内容122的其他显示装置。
在该示例中，控制台106被示出为单个计算装置，例如游戏机、工作站、台式计算机或膝上型计算机。在其他示例中，控制台106可以分布在多个计算装置上，例如分布式计算网络、数据中心或云计算系统。如该示例中所示，控制台106、HMD 112和传感器90可以经由网络104通信地耦接，网络104可以是有线或无线网络，例如Wi-Fi、网状网络或短距离无线通信介质、或它们的组合。尽管在该示例中将HMD 112示出为与控制台106通信(例如，系连到控制台106或与控制台106无线通信)，但是在一些实施方式中，HMD 112作为独立的移动人工现实系统来操作。
通常，人工现实系统10使用从真实世界3D物理环境采集的信息来渲染人工现实内容122，以供显示给用户110。在图1A的示例中，用户110观看由在HMD 112和/或控制台106上执行的人工现实应用所构造和渲染的人工现实内容122。在一些示例中，人工现实内容122可以包括以下项的混合：真实世界影像(例如，手132、外围装置136、墙121)和虚拟对象(例如，虚拟内容项124、126和虚拟用户界面137)，以产生混合现实和/或增强现实。在一些示例中，虚拟内容项124、126可以被映射(例如钉、锁定、放置)到人工现实内容122内的特定位置。虚拟内容项的位置可以是固定的，例如，相对于墙121或地球中的一者是固定的。虚拟内容项的位置可以是可变的，例如相对于外围装置136或用户是可变的。在一些示例中，虚拟内容项在人工现实内容122内的特定位置与真实世界物理环境内的位置相关联(例如，在物理对象的表面上)。
在该示例中，外围装置136是具有如下表面的物理真实世界装置：AR系统10将虚拟用户界面137覆盖在该表面上。外围装置136可以包括一个或多个存在敏感表面，存在敏感表面用于通过检测触摸或悬停在该存在敏感表面的位置上方的一个或多个对象(例如手指、触控笔)的存在，来检测用户输入。在一些示例中，外围装置136可以包括输出显示器，该输出显示器可以是存在敏感显示器。在一些示例中，外围装置136可以是智能手机、平板电脑、个人数据助理(personal data assistant，PDA)或其它手持式装置。在一些示例中，外围装置136可以是智能手表、智能环或其他可穿戴装置。外围装置136也可以是自助服务终端的一部分、或其它静止或移动系统的一部分。外围装置136可以包括或可以不包括用于将内容输出到屏幕的显示器件。
在图1A所示的示例人工现实体验中，虚拟内容项124、126被映射到墙121上的位置。图1A中的示例还示出了，虚拟内容项124仅在人工现实内容122内部分地呈现在墙121上，表明该虚拟内容不存在于真实世界物理环境中。虚拟用户界面137被映射到外围装置136的表面。结果是，AR系统10在人工现实环境中的相对于外围装置136的位置被锁定的用户界面位置处，渲染用于在HMD 112处显示的虚拟用户界面137，作为人工现实内容122的一部分。图1A示出了，虚拟用户界面137仅在人工现实内容122内呈现在外围装置136上，表明该虚拟内容不存在于真实世界物理环境中。
人工现实系统10可以响应于确定虚拟内容项的位置的至少一部分处在用户110的视场130中，呈现一个或多个虚拟内容项。例如，人工现实系统10可以仅在外围装置136处在用户110的视场130内时，才将虚拟用户界面137渲染在外围装置136上。
在操作期间，人工现实应用通过跟踪和计算参照系的姿态信息(通常是HMD 112的观看视角)，来构造用于向用户110显示的人工现实内容122。人工现实应用使用HMD 112作为参照系，并且基于通过HMD 112的当前估计姿态而确定的当前视场130，来渲染3D人工现实内容，在一些示例中，该3D人工现实内容可以至少部分地覆盖在用户110的真实世界3D物理环境上。在该过程期间，人工现实应用使用从HMD 112接收的感测数据(例如，移动信息和用户命令)，以及在一些示例中的来自任何外部传感器90(例如外部摄像头)的数据，来采集真实世界物理环境内的3D信息(例如，用户110的运动和/或关于用户110的特征跟踪信息)。基于感测数据，人工现实应用确定HMD 112的参照系的当前姿态，并且根据当前姿态渲染人工现实内容122。
人工现实系统10可以基于用户110的当前视场130(如可以通过用户的实时视线跟踪或其他条件确定)，触发虚拟内容项的生成和渲染。更具体地，HMD 112的图像采集装置138采集图像数据，该图像数据表示真实世界物理环境中的处在图像采集装置138的视场130内的对象。视场130通常与HMD 112的观看视角对应。在一些示例中，人工现实应用呈现包括混合现实和/或增强现实的人工现实内容122。如图1A中所示，人工现实应用可以(例如在人工现实内容122内)沿着虚拟对象，渲染处在视场130内的真实世界对象(例如用户110的外围装置136的部分、手132的一部分和/或手臂134的一部分)的图像。在其他示例中，人工现实应用可以在人工现实内容122内渲染用户110的外围装置136、手132和/或手臂134的处在视场130内的部分的虚拟表示(例如，将真实世界对象渲染为虚拟对象)。在任一示例中，用户110能够在人工现实内容122内观看其手132、手臂134、外围装置136和/或任何其他真实世界对象在视场130内的部分。在其他示例中，人工现实应用可以不渲染用户的手132或手臂134的表示。
在操作期间，人工现实系统10在由HMD 112的图像采集装置138采集的图像数据内执行对象识别，以识别外围装置136、手132(包括可选地识别个体手指或拇指)、和/或用户110的整个或部分的手臂134。此外，人工现实系统10在滑动时间窗口内跟踪以下项的位置、取向和位形：外围装置136、手132(可选地包括手的特定指头)、和/或手臂134的部分。在一些示例中，外围装置136包括用于跟踪外围装置136的运动或取向的一个或多个传感器(例如，加速度计)。
如上所述，人工现实系统10的多个装置可以在人工现实环境中协同工作，其中，每个装置可以是单独的物理电子装置、和/或一个或多个物理装置内的单独的集成电路(例如，片上系统(System on a Chip，SOC))。在该示例中，外围装置136与HMD 112在操作上配对，以在人工现实系统10内共同操作，以提供人工现实体验。例如，外围装置136和HMD 112可以作为协处理装置而彼此通信。作为一个示例，当用户在虚拟环境中、在与覆盖在外围装置136上的虚拟用户界面137的虚拟用户界面元素之一相对应的位置处执行用户界面手势时，人工现实系统10检测该用户界面并执行呈现给HMD 112的动作。
在一些示例实施方式中，如本文所述，外围装置136和HMD 112可以各自包括被配置为支持人工现实/虚拟现实应用的一个或多个片上系统(SoC)集成电路，例如作为协应用处理器、传感器聚合器、显示控制器等操作的SoC。
根据本公开的技术，HMD 112包括像素强度的数字和模拟控制。例如，HMD 112可以包括混合式像素控制电路，该混合式像素控制电路在每个像素内包括数字像素控制电路和模拟像素控制电路。在一些示例中，数字像素控制电路和模拟像素控制电路为每个像素提供n+m个位的灰度强度控制。替代地，数字像素控制电路可以使用n个位来用于灰度像素强度的数字PWM控制，并且模拟像素控制电路可以使用m个位来控制提供给像素的驱动电流以用于非均匀性补偿。
图1B是描绘了根据本公开所描述技术的另一示例多装置人工现实系统的框图，在该多装置人工现实系统中，HMD包括像素强度的数字和模拟控制。与图1A的人工现实系统10类似，在一些示例中，图1B的人工现实系统20可以生成虚拟内容项并相对于多用户人工现实环境内的虚拟表面渲染虚拟内容项。在各种示例中，人工现实系统20还可以响应于检测到用户与外围装置136的一个或多个特定交互，生成某些虚拟内容项和/或图形用户界面元素，并将其呈现给用户。例如，外围装置136可以充当供用户“登台”或以其他方式与虚拟表面交互的舞台装置。
在图1B的示例中，人工现实系统20包括外部摄像头102A和102B(统称为“外部摄像头102”)、HMD 112A-112C(统称为“HMD 112”)、控制器114A和114B(统称为“控制器114”)、控制台106和传感器90。如图1B所示，人工现实系统20表示这样的多用户环境：在该多用户环境中，在控制台106和/或HMD 112上执行的人工现实应用基于用户110A-110C(统称为“用户110”)中的每位用户的对应参照系的当前观看视角，向相应用户呈现人工现实内容。即，在该示例中，人工现实应用通过跟踪和计算每个HMD 112的参照系的姿态信息，来构造人工内容。人工现实系统20使用从摄像头102、HMD 112和控制器114接收的数据，来采集真实世界环境内的3D信息(例如用户110的运动和/或关于用户110和对象108的跟踪信息)，以用于计算HMD 112的对应参照系的更新后的姿态信息。作为一个示例，人工现实应用可以基于针对HMD 112C确定的当前观看视角，渲染人工现实内容122，该人工现实内容具有在空间上覆盖在真实世界对象108A-108B(统称为“真实世界对象108”)上的虚拟对象128A-128B(统称为“虚拟对象128”)。此外，从HMD 112C的视角来看，人工现实系统20分别基于用户110A、110B的估计位置来渲染化身120A、120B。
各个HMD 112同时在人工现实系统20内操作。在图1B的示例中，每个用户110可以是人工现实应用中的“玩家”或“参与者”，并且任何用户110可以是人工现实应用中的“旁观者”或“观察者”。HMD 112C可以通过跟踪用户110C的手132和/或手臂134并且将手132在视场130内的部分呈现为人工现实内容122内的虚拟手132，来基本上类似于图1A的HMD 112进行操作。HMD 112B可以从用户110B所握持的控制器114接收用户输入。在一些示例中，控制器114A和/或114B可以对应于图1A的外围装置136，并且基本上类似于图1A的外围装置136进行操作。HMD 112A也可以基本上类似于图1A的HMD 112进行操作，并且接收由用户110A的手132A、132B在外围装置136上或通过外围装置136执行的手势形式的用户输入。HMD 112B可从用户110B所握持的控制器114接收用户输入。控制器114可以使用诸如蓝牙等短距离无线通信的近场通信、使用有线通信链路或使用其它类型的通信链路与HMD 112B通信。
以类似于以上关于图1A讨论的示例的方式，人工现实系统20的控制台106和/或HMD 112C生成并渲染一虚拟表面，该虚拟表面包括虚拟内容项129(例如，GIF、照片、应用、实况流、视频、文本、web浏览器、绘画、动画、3D模型、数据文件(包括二维和三维数据集)的表示、或任何其他可视媒体)，当墙121的与虚拟内容项129相关联的部分进入HMD 112C的视场130内时，该虚拟内容项129可以叠加在显示给用户110C的人工现实内容122上。如图1B所示，除了经由HMD 112C的摄像头138采集的图像数据之外或者替代地，可以使用来自外部摄像头102的输入数据，来跟踪和检测外围装置136和/或用户110的手和手臂(例如用户110C的手132)的特定运动、位形、位置和/或取向，包括手的多个指头(digit)(手指、拇指)中的单独指头和/或其组合的移动。
在一些方面，人工现实应用可以在控制台106上运行，并且可以利用图像采集装置102A和102B以分析手132B的位形(configuration)、位置和/或取向，以识别HMD 112A的用户可做出的输入手势。类似地，HMD 112C可以利用图像采集装置138以分析外围装置136和手132C的位形、位置和/或取向，以输入HMD 112C的用户可做出的手势。在一些示例中，外围装置136包括用于跟踪外围装置136的运动或取向的一个或多个传感器(例如，加速度计)。人工现实应用可以以类似于以上关于图1A描述的方式响应于这样的手势、运动和取向，来渲染虚拟内容项和/或用户界面(UI)元素。
图像采集装置102和138可以采集可见光光谱、红外光谱或其它光谱中的图像。本文所述的用于识别对象、对象姿态和手势的图像处理例如可以包括：处理红外图像、可见光光谱图像等。
人工现实系统20的装置可以在AR环境中协同工作。例如，外围装置136与HMD 112C配对，以在人工现实系统20内共同操作。类似地，控制器114与HMD 112B配对，以在人工现实系统20内共同操作。外围装置136、HMD 112和控制器114可以各自包括一个或多个SoC集成电路，该一个或多个SoC集成电路被配置为启用用于人工现实应用的操作环境。
根据本公开的技术，HMD 112A、112B和/或112C中的任一个包括像素强度的数字和模拟控制。例如，多个HMD 112中的任一个可以包括混合式像素控制电路，该混合式像素控制电路在每个像素内包括数字像素控制电路和模拟像素控制电路。在一些示例中，数字像素控制电路和模拟像素控制电路为每个像素提供n+m位的灰度强度控制。替代地，数字像素控制电路可以使用n个位来用于灰度像素强度的数字PWM控制，并且模拟像素控制电路可以使用m个位来控制提供给像素的驱动电流以用于非均匀性补偿。
图2A是描绘了根据本公开所描述技术的示例HMD 112以及示例外围装置的框图，该HMD 112包括像素强度的数字和模拟控制。图2A的HMD 112可以是图1A和图1B中的多个HMD 112中的任一个的示例。HMD 112可以是诸如图1A、图1B的人工现实系统10、20等人工现实系统的一部分，或者可以作为被配置为实现本文所述技术的独立移动人工现实系统来操作。
在该示例中，HMD 112包括前部刚性体和用于将HMD 112固定到用户的带。此外，HMD 112包括面向内部的电子显示器203，该电子显示器被配置为向用户呈现人工现实内容。电子显示器203可以是任何合适的显示技术，例如，液晶显示器(liquid crystaldisplay，LCD)、量子点显示器、点阵显示器、发光二极管(light emitting diode，LED)显示器、有机发光二极管(organic light emitting diode，OLED)显示器、阴极射线管(cathoderay tube，CRT)显示器、电子墨水、或者能够生成可视输出的单色、彩色或任何其他类型的显示器。在一些示例中，电子显示器是用于向用户的每只眼睛提供单独图像的立体显示器。在一些示例中，当跟踪HMD 112的位置和取向以根据HMD 112和用户的当前观看视角来渲染人工现实内容时，HMD 112的显示器203相对于前部刚性体的已知取向和位置被用作参照系，也称为局部原点。在其他示例中，HMD 112可以采取其他可佩戴的头戴式显示器的形式，例如眼镜或护目镜。
如图2A进一步所示，在该示例中，HMD 112还包括一个或多个运动传感器206，例如，输出指示HMD 112的当前加速度的数据的一个或多个加速度计(也称为惯性测量单元或“IMU”)、输出指示HMD 112的位置的数据的GPS传感器、输出指示HMD 112与各种对象的距离的数据的雷达或声纳、或者提供HMD 112或其他对象在物理环境内的位置或取向的指示的其他传感器。此外，HMD 112可以包括集成的图像采集装置138A和138B(统称为“图像采集装置138”)，该图像采集装置138A和138B被配置为输出表示物理环境的图像数据，且例如为摄像机、激光扫描仪、多普勒雷达扫描仪、深度扫描仪等。更具体地，图像采集装置138采集表示物理环境中的处在图像采集装置138的视场130A、130B(其通常对应于HMD 112的观看视角)内的对象(包括外围装置136和/或手132)的图像数据。HMD 112包括内部的控制单元210，该控制单元210可以包括内部电源和一个或多个印刷电路板，所述印刷电路板具有一个或多个处理器、存储器和硬件以提供用于执行可编程操作的操作环境，以处理感测数据并在显示器203上呈现人工现实内容。
在一个示例中，控制单元210被配置为基于感测数据(例如，由图像采集装置138和/或102采集的图像数据、来自GPS传感器的位置信息)，生成并渲染包括一个或多个与包含在图像采集装置138的视场130A、130B内的位置相关联的虚拟内容项(例如图1A中的虚拟内容项124、126)的虚拟表面，以用于在显示器203上显示。如参照图1A和图1B所解释的，虚拟内容项可以与虚拟表面内的位置相关联，该虚拟表面可以与真实世界环境内的物理表面相关联，并且控制单元210可以被配置为响应于确定与虚拟内容(或其部分)相关联的位置处在当前视场130A、130B内，渲染虚拟内容项(或其部分)以用于在显示器203上显示。在一些示例中，虚拟表面与平面或其他表面(例如，墙)上的位置相关联，并且当任何虚拟内容项的包含在该虚拟表面内的部分处在视场130A、130B内时，控制单元210将生成并渲染这些部分。
在一个示例中，控制单元210被配置为基于感测数据，来识别由用户做出的特定手势或手势的组合，并且作为响应而执行动作。例如，控制单元210可以响应于一个所识别的手势，生成并渲染特定用户界面，以用于在电子显示器203上、在相对于外围装置136的位置而锁定的用户界面位置处显示。例如，控制单元210可以在外围装置136的表面220上或在外围装置136的附近(例如在外围装置136的上方、下方或邻近)生成并渲染包括一个或多个UI元素(例如虚拟按钮)的用户界面。控制单元210可以在由图像采集装置138采集的图像数据内执行对象识别，以识别外围装置136和/或用户的手132、手指、拇指、手臂或其他部位，并且可以跟踪外围装置136和/或用户的所识别的一个或多个部位的移动、位置、位形等，以识别用户所做出的预定义手势。控制单元210响应于识别出预定义手势，采取一些动作，例如从与用户界面相关联的选项集中选择选项(例如从UI菜单中选择选项)、将手势翻译成输入(例如字符)、启动应用、操纵虚拟内容(例如移动、转动虚拟内容项)、生成并渲染虚拟标记、生成并渲染激光指示符、或以其他方式显示内容等。例如，控制单元210可以响应于检测到被指定为“触发”的预定义手势，动态地生成和呈现用户界面(例如菜单)，其中该触发用于展示用户界面(例如，将外围装置转向横向或水平取向(未示出))。在一些示例中，控制单元210基于感测数据，来检测相对于所渲染的用户界面的用户输入(例如在虚拟UI元素上做出的轻叩手势)。在一些示例中，控制单元210响应于来自外部装置(例如控制台106)的指示来执行这样的功能，该控制单元可以执行对象识别、运动跟踪和手势检测、或它们的任何部分。
作为一个示例，控制单元210可以利用图像采集装置138A和138b，以分析外围装置136、手132和/或手臂134的位形、位置、移动和/或取向，以对可由用户相对于外围装置136做出的如下手势进行识别：用户界面手势、选择手势、标记手势、平移手势、转动手势、绘图手势、指示手势等。控制单元210可以渲染UI菜单(包括UI元素)和/或虚拟表面(包括任何虚拟内容项)，并且基于检测到由用户相对于外围装置做出的用户界面手势、选择手势、标记手势、平移手势、转动手势和绘图手势，来使得用户能够与该UI菜单和/或虚拟表面交互，如下文进一步详细描述的那样。
在一个示例中，外围装置136的表面220是存在敏感表面，例如使用电容技术、电导技术、电阻技术、声学技术或其他技术来检测触摸和/或悬停输入的表面。在一些示例中，外围装置136的表面220是触摸屏(例如，电容式触摸屏、电阻式触摸屏、表面声波(surfaceacoustic wave，SAW)触摸屏、红外触摸屏、光学成像触摸屏、声脉冲识别触摸屏或任何其他触摸屏)。在这样的示例中，外围装置136可以在触摸屏220上渲染用户界面或其它虚拟元素(例如，虚拟标记)，并且可以检测触摸屏220上的用户输入(例如，触摸或悬停输入)。在该示例中，外围装置136可以使用无线通信链路(例如，Wi-Fi、诸如蓝牙等短距离无线通信的近场通信)、使用有线通信链路(未示出)或使用其他类型的通信链路，将任何检测到的用户输入传送到HMD 112(和/或图1A的控制台106)。在一些示例中，外围装置可以包括用于与虚拟内容交互(例如以选择虚拟UI元素、滚动浏览虚拟UI元素)的一个或多个输入装置(例如，按钮、轨迹球、滚轮)。
根据本公开的技术，图2A的HMD 112包括像素强度的数字和模拟控制。例如，HMD112可以包括混合式像素控制电路，该混合式像素控制电路在每个像素内包括数字像素控制电路和模拟像素控制电路。在一些示例中，数字像素控制电路和模拟像素控制电路为每个像素提供n+m个位的灰度强度控制。替代地，数字像素控制电路可以使用n个位来用于灰度像素强度的数字PWM控制，并且模拟像素控制电路可以使用m个位来控制提供给像素的驱动电流以用于非均匀性补偿。
图2B是描绘了根据本公开所描述技术的包括像素强度的数字和模拟控制的另一示例HMD 112的框图。如图2B所示，HMD 112可以采取眼镜的形式。图2A的HMD 112可以是图1A和图1B中的多个HMD 112中的任一个的示例。HMD 112可以是诸如图1A、图1B的人工现实系统10、20等人工现实系统的一部分，或者可以作为被配置为实现本文所述技术的独立移动人工现实系统来操作。
在该示例中，HMD 112为眼镜，该眼镜包括前框架和镜腿(或“臂”)，该前框架包括鼻梁架以允许HMD 112搁在用户鼻子上，该镜腿在用户耳朵上延伸以将HMD 112固定到用户。另外，图2B的HMD 112包括面向内部的电子显示器203A和203B(统称为“电子显示器203”)，该电子显示器203A和203B被配置为向用户呈现人工现实内容。电子显示器203可以是任何合适的显示技术，例如，液晶显示器(LCD)、量子点显示器、点阵显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、阴极射线管(CRT)显示器、电子墨水、或者能够生成可视输出的单色、彩色或任何其他类型的显示器。在图2B所示的示例中，电子显示器203形成用于向用户的每只眼睛提供单独图像的立体显示器。在一些示例中，当跟踪HMD112的位置和取向以根据HMD 112和用户的当前观看视角来渲染人工现实内容时，显示器203相对于HMD 112的前框架的已知取向和位置被用作参照系，也称为局部原点。
如图2B进一步所示，在该示例中，HMD 112还包括一个或多个运动传感器206，例如，输出指示HMD 112的当前加速度的数据的一个或多个加速度计(也称为惯性测量单元或“IMU”))、输出指示HMD 112的位置的数据的GPS传感器、输出指示HMD 112与各种对象的距离的数据的雷达或声纳、或者提供HMD 112或其他对象在物理环境内的位置或取向的指示的其他传感器。此外，HMD 112可以包括集成的图像采集装置138A和138B(统称为“图像采集装置138”)，该图像采集装置138A和138B被配置为输出表示物理环境的图像数据，且例如为摄像机、激光扫描仪、多普勒雷达扫描仪、深度扫描仪等。HMD 112包括内部的控制单元210，该控制单元210可以包括内部电源和一个或多个印刷电路板，所述印刷电路板具有一个或多个处理器、存储器和硬件以提供用于执行可编程操作的操作环境，以处理感测数据并在显示器203上呈现人工现实内容。
根据本公开的技术，图2B的HMD 112包括像素强度的数字和模拟控制。例如，HMD112可以包括混合式像素控制电路，该混合式像素控制电路在每个像素内包括数字像素控制电路和模拟像素控制电路。在一些示例中，数字像素控制电路和模拟像素控制电路为每个像素提供n+m个位的灰度强度控制。替代地，数字像素控制电路可以使用n个位来用于灰度像素强度的数字PWM控制，并且模拟像素控制电路可以使用m个位来控制提供给像素的驱动电流以用于非均匀性补偿。
图3是示出了根据本公开所描述技术的图1A、图1B的多装置人工现实系统10、20的控制台106、包括像素强度的数字和模拟控制的HMD 112、以及外围装置136的示例实施方式的框图。在图3的示例中，控制台106基于感测数据(例如从HMD 112和/或外部传感器接收的运动数据和图像数据)，来执行姿态跟踪、手势检测、以及HMD 112的用户界面和虚拟表面的生成和渲染。
在该示例中，HMD 112包括一个或多个处理器302和存储器304，在一些示例中，所述处理器302和存储器304提供用于执行操作系统305的计算机平台，该操作系统305可以是例如嵌入式实时多任务操作系统、或者其他类型的操作系统。进而，操作系统305提供用于执行一个或多个软件部件307(包括应用引擎340)的多任务操作环境。如关于图2A和图2B的示例所讨论的，处理器302耦接到电子显示器203、运动传感器206和图像采集装置138。在一些示例中，处理器302和存储器304可以是单独的分立部件。在其他示例中，存储器304可以是与处理器302并置在单个集成电路内的片上存储器。
通常，控制台106是这样的计算装置：该计算装置处理从摄像头102(图1B)和/或HMD 112的图像采集装置138(图1A、图2A、图2B)接收的图像和跟踪信息，以执行手势检测以及HMD 112的用户界面和/或虚拟内容生成。在一些示例中，控制台106是单个计算装置，例如工作站、台式计算机、膝上型计算机或游戏系统。在一些示例中，控制台106的至少一部分(例如处理器312和/或存储器314)可以分布在云计算系统、数据中心上，或者分布在网络上，该网络例如为，互联网、另一公共或私有通信网络(例如宽带、蜂窝、Wi-Fi)、和/或用于在计算系统、服务器和计算装置之间传输数据的其它类型的通信网络。
在图3的示例中，控制台106包括一个或多个处理器312和存储器314，在一些示例中，所述处理器312和存储器314提供用于执行操作系统316的计算机平台，该操作系统316可以是例如嵌入式实时多任务操作系统、或其他类型的操作系统。进而，操作系统316提供用于执行一个或多个软件部件317的多任务操作环境。处理器312耦接到一个或多个输入/输出(I/O)接口315，该一个或多个I/O接口315提供用于与诸如键盘、游戏控制器、显示装置、图像采集装置、HMD、外围装置等外部装置通信的一个或多个I/O接口。此外，该一个或多个I/O接口315可以包括用于与诸如网络104等网络通信的一个或多个有线或无线网络接口控制器(network interface controller，NIC)。
控制台106的多个软件部件317运行以提供整体的人工现实应用。在该示例中，多个软件部件317包括应用引擎320、渲染引擎322、手势检测器324、姿态跟踪器326和用户界面引擎。
通常，应用引擎320包括提供和呈现人工现实应用的功能，该人工现实应用例如为电话会议应用、游戏应用、导航应用、教育应用、训练或仿真应用等。应用引擎320可以包括例如用于在控制台106上实现人工现实应用的一个或多个软件包、软件库、硬件驱动器和/或应用程序接口(Application Program Interface，API)。渲染引擎322响应于应用引擎320的控制，生成3D人工现实内容，该3D人工现实内容由HMD 112的应用引擎340向用户显示。
应用引擎320和渲染引擎322根据由姿态跟踪器326确定的参照系的当前姿态信息(通常为HMD 112的观看视角)，来构造用于向用户110显示的人工内容。渲染引擎322基于当前观看视角，构造3D人工现实内容，该3D人工现实内容在一些情况下可以至少部分地覆盖在用户110的真实世界3D环境上。在该过程期间，姿态跟踪器326对从HMD 112接收的感测数据(例如移动信息和用户命令)以及在一些示例中的来自诸如外部摄像头等任何外部传感器90(图1A、1B)的数据进行操作，以采集真实世界环境内的3D信息，例如用户110的运动和/或关于用户110的特征跟踪信息。姿态跟踪器326基于感测数据，确定HMD 112的参照系的当前姿态，并且根据当前姿态，构造人工现实内容，以用于经由一个或多个I/O接口315传送到HMD 112以显示给用户110。
姿态跟踪器326可以确定外围装置136的当前姿态，并且根据当前姿态触发与任何所渲染的虚拟内容相关联的某些功能(例如，将虚拟内容项放置到虚拟表面上、操纵虚拟内容项、生成并渲染一个或多个虚拟标记、生成并渲染激光指示符)。在一些示例中，姿态跟踪器326检测HMD 112是否接近与虚拟表面(例如虚拟面板(pinboard))相对应的物理位置，以触发虚拟内容的渲染。
用户界面引擎328被配置为生成用于渲染在人工现实环境中的虚拟用户界面。用户界面引擎328生成包括一个或多个虚拟用户界面元素329的虚拟用户界面，所述虚拟用户界面元素329例如为，虚拟绘图界面、可选菜单(例如下拉菜单)、虚拟按钮、方向键、键盘或其他用户可选的用户界面元素、字形、显示元素、内容、用户界面控件等。渲染引擎322被配置为基于外围装置136的当前姿态，在人工现实环境中的、相对于外围装置136在人工现实环境中的位置而被锁定的用户界面位置处，渲染虚拟用户界面。用户界面位置可以是各存在敏感表面220中的一个存在敏感表面的位置，并且渲染引擎322可以缩放、转动和以其他方式变换虚拟用户界面，以应用投影来匹配该存在敏感表面220的姿态、尺寸和视角，使得虚拟用户界面在人工现实环境中看起来覆盖在存在敏感表面220上。用户界面引擎328可以生成部分透明的虚拟用户界面，从而允许用户看到存在敏感表面220。这种透明度可以是可配置的。
控制台106可以经由通信信道将该虚拟用户界面和其他人工现实内容输出到HMD112以在HMD 112处显示。渲染引擎322接收外围装置136的姿态信息，以连续地更新用户界面位置和姿态，以匹配外围装置136的位置和姿态，例如各存在敏感表面220中的一个存在敏感表面的位置和姿态。
手势检测器324基于来自图像采集装置138或102、存在敏感表面220或其他传感器装置中的任一者的感测数据，对外围装置136和/或用户的对象(例如手、手臂、手腕、手指、手掌、拇指)的受跟踪运动、位形、位置和/或取向进行分析，以识别由用户110做出的一个或多个手势。更具体地，手势检测器324对在由HMD 112的图像采集装置138和/或传感器90以及外部摄像头102采集的图像数据内所识别的对象进行分析，以识别外围装置136和/或用户110的手和/或手臂，并且手势检测器324跟踪外围装置136、手和/或手臂相对于HMD 112的移动，以识别用户110做出的手势。在一些示例中，手势检测器324可以基于所采集的图像数据，来跟踪外围装置136、手、指头和/或手臂的移动(包括位置和取向的改变)，并且可以将对象的运动向量与手势库330中的一个或多个条目进行比较，以检测用户110做出的手势或手势的组合。在一些示例中，手势检测器324可以接收由外围装置的一个或多个存在敏感表面检测到的用户输入，并且可以处理用户输入以检测用户110相对于外围装置136做出的一个或多个手势。
手势检测器324和手势库330可以整个或部分地分布到外围装置136，以在外围装置136上处理用户输入以检测手势。在这种情况下，一个或多个存在敏感表面220检测在该表面的各位置处的用户输入。执行手势检测器324的外围装置136可以处理用户输入，以检测手势库330中的一个或多个手势。外围装置136可以向控制台106和/或HMD 112发送检测到的手势的指示，以使得控制台106和/或HMD 112响应地执行一个或多个动作。外围装置136可以替代地或附加地向控制台106发送该表面的各位置处的用户输入的指示，并且手势检测器324可以处理用户输入，以检测手势库330中的一个或多个手势。
手势库330中的一些条目可以各自将手势定义为一系列运动或一种模式的运动，例如如下项的相对路径或空间平移和转动：外围装置136、用户的手、特定手指、拇指、手腕和/或手臂。手势库330中的一些条目可以各自将手势定义为外围装置、用户的手和/或手臂(或其部分)在特定时间或在一段时间内的位形、位置和/或取向。手势库330中的一些条目可以各自将手势定义为由外围装置136的一个或多个存在敏感表面220随时间检测到的一个或多个用户输入。其他示例类型的手势也是可以的。另外，手势库330中的每个条目可以针对所定义的手势或一系列手势，来指定该手势或一系列手势触发动作所需的条件(例如，与HMD 112的当前视场的空间关系、与用户当前观察到的特定区域的空间关系)，这些条件可以通过个体的实时视线跟踪、正在显示的人工内容的类型、正在执行的应用的类型等来确定。
手势库330中的每个条目还可以针对以下中的每一个手势：所定义的手势或手势组合/一系列手势，来指定要由软件部件317执行的期望响应或动作。例如，某些专用手势可以是预定义的，使得用户界面引擎328响应于检测到预定义手势中的一个，动态地生成用户界面，作为对正显示给用户的人工现实内容的叠加，从而允许用户110即使正在与人工现实内容交互，也能容易地调用用于配置HMD 112和/或控制台106的用户界面。在其他示例中，某些手势可以与其他动作相关联，所述动作例如为，提供输入、选择虚拟对象(包括虚拟内容项和/或UI元素)、平移(例如移动、转动)虚拟对象、改变(例如缩放、标注)虚拟对象、进行虚拟标记、启动应用等。
作为一个示例，手势库330可以包括描述外围装置手势的条目，例如用户界面激活手势、菜单滚动手势、选择手势、标记手势、平移手势、转动手势、绘图手势和/或指示手势。手势检测器324可以处理来自图像采集装置138的图像数据，以分析外围装置136和/或用户的手的位形、位置、运动和/或取向，从而识别可由用户相对于外围装置136所做出的用户界面手势、选择手势、标记手势、平移手势、转动手势、绘图手势、指示手势等。例如，渲染引擎322可以基于手势检测器324检测到正在进行用户界面手势、以及姿态跟踪器326检测到HMD112接近与虚拟面板的虚拟位置相对应的物理位置，来渲染面板用户界面。用户界面引擎328可以定义所显示的菜单，并且可以控制响应于由选择手势引起的选择而执行的动作。
在图3所示的示例中，外围装置136包括一个或多个处理器346和存储器344，在一些示例中，所述处理器346和存储器344提供用于执行操作系统342的计算机平台，例如，该操作系统可以是嵌入式实时多任务操作系统、或其他类型的操作系统。进而，操作系统346提供用于执行一个或多个软件部件的多任务操作环境。在一些示例中，外围装置136包括一个或多个存在敏感表面220(例如使用电容技术、电导技术、电阻技术、声学技术和/或其他技术来检测触摸和/或悬停输入的一个或多个表面)。在一个或多个方面，外围装置136可以被配置为：检测存在敏感表面220处的触摸和/或悬停输入，处理该输入(例如在处理器346处)以及传送该触摸和/或悬停输入，以及将关于该输入的信息(包括关于该输入的位置信息)传送到控制台106和/或HMD 112。如关于图2A的示例所讨论的，一个或多个存在敏感表面220可以包括触摸屏(例如电容式触摸屏、电阻式触摸屏、表面声波(SAW)触摸屏、红外触摸屏、光学成像触摸屏、声学脉冲识别触摸屏或任何其他触摸屏)。如图3进一步所示，在该示例中，外围装置136还包括一个或多个运动传感器348，例如输出指示外围装置136的当前加速度的数据的一个或多个加速度计(也称为IMU)、输出指示外围装置的位置或定位的数据的GPS传感器、输出指示外围装置136与各种对象(例如与墙或其它表面)的距离的数据的雷达或声纳、或者提供外围装置或其他对象在物理环境内的位置、定位和/或取向的指示的其它传感器。在一些示例中，处理器346耦接到一个或多个存在敏感表面220和运动传感器246。在一些示例中，处理器346和存储器344可以是单独的分立部件。在其他示例中，存储器344可以是与处理器346并置在单个集成电路内的片上存储器。在一个或多个方面，外围装置136可以与HMD共存，并且在一些示例中，外围装置136在虚拟环境中作为HMD的辅助输入/输出装置而操作。在一些示例中，外围装置136可以作为人工现实协处理装置而操作，HMD的一些功能被转移到该人工现实协处理装置。在一个或多个方面，外围装置136可以是智能手机、平板电脑或其它手持式装置。
在一些示例中，处理器302、312、346中的每一个可以包括以下中的任何一个或多个：多核处理器、控制器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或等效的分立或集成的逻辑电路。存储器304、314、344可以包括用于存储数据和可执行软件指令的任何形式的存储器，例如随机存取存储器(random-access memory，RAM)、只读存储器(read only memory，ROM)、可编程只读存储器(programmable read only memory，PROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、电子可擦除可编程只读存储器(electronically erasable programmable read only memory，EEPROM)和闪速存储器。
根据本公开的技术，图3的HMD 112的一个或多个电子显示器203中的任一个可以包括像素强度的数字和模拟控制。例如，一个或多个电子显示器203中的任一个或多个可以包括混合式像素控制电路，该混合式像素控制电路在每个像素内包括数字像素控制电路和模拟像素控制电路。在一些示例中，数字像素控制电路和模拟像素控制电路为每个像素提供n+m个位的灰度强度控制。替代地，数字像素控制电路可以使用n个位来用于灰度像素强度的数字PWM控制，并且模拟像素控制电路可以使用m个位来控制提供给像素的驱动电流以用于非均匀性补偿。
图4是描绘了根据本公开所描述技术的如下示例的框图：在该示例中，由图1A、图1B的人工现实系统的HMD 112执行手势检测、用户界面生成和虚拟表面功能，并且在该示例中，HMD包括像素强度的数字和模拟控制。
在该示例中，类似于图3，HMD 112包括一个或多个处理器302和存储器304，在一些示例中，所述处理器302和存储器304提供用于执行操作系统305的计算机平台，该操作系统305可以是例如嵌入式实时多任务操作系统、或其他类型的操作系统。进而，操作系统305提供用于执行一个或多个软件部件417的多任务操作环境。此外，一个或多个处理器302耦接到电子显示器203、运动传感器206和图像采集装置138。
在图4的示例中，软件部件417运行以提供整体的人工现实应用。在该示例中，软件应用417包括应用引擎440、渲染引擎422、手势检测器424、姿态跟踪器426和用户界面引擎428。在各种示例中，软件部件417与图3的控制台106的对应部件(例如应用引擎320、渲染引擎322、手势检测器324、姿态跟踪器326和用户界面引擎328)类似地运行，以构造覆盖在人工内容上或作为其一部分的虚拟用户界面，以向用户110进行显示。
类似于关于图3描述的示例，手势检测器424基于来自图像采集装置138或102、外围装置136的存在敏感表面或其他传感器装置中的任何项的感测数据，分析外围装置136和/或用户的对象(例如手、手臂、手腕、手指、手掌、拇指)的受跟踪运动、位形、位置和/或取向，以识别由用户110做出的一个或多个手势。
更具体地，手势检测器424可以对在由HMD 112的图像采集装置138和/或传感器90以及外部摄像头102采集的图像数据内所识别的对象进行分析，以识别外围装置136和/或用户110的手和/或手臂，并且可以跟踪外围装置136、手和/或手臂相对于HMD 112的移动，以识别用户110做出的手势。虚拟表面应用生成虚拟表面，作为要显示给用户110的人工现实内容的一部分(例如叠加在该人工现实内容上)，和/或虚拟表面应用基于由手势检测器424检测到的用户110的一个或多个手势或手势的组合，来执行动作。手势检测器424可以对在由HMD 112的图像采集装置138和/或传感器90以及外部摄像头102采集的图像数据内所识别的对象进行分析，以识别外围装置136和/或用户110的手和/或手臂，并且可以跟踪外围装置136、手和/或手臂相对于HMD 112的移动，以识别用户110做出的手势。在一些示例中，手势检测器424可以基于所采集的图像数据，来跟踪外围装置136、手、指头和/或手臂的移动(包括位置和取向的改变)，并且可以将各对象的运动向量与手势库430中的一个或多个条目进行比较，以检测由用户110做出的手势或手势的组合。在一些示例中，手势检测器424可以接收由外围装置的一个或多个存在敏感表面检测到的用户输入，并且可以处理用户输入以检测用户110相对于外围装置136做出的一个或多个手势。手势库430与图3的手势库330类似。可以由外围装置136执行手势检测器424的一些或全部功能。
图4中的外围装置136的各部件可以与图3中的外围装置136的各部件类似地运行。关于图3描述的关于像素强度的数字和模拟控制的技术也可以在HMD 112中实现。例如，一个或多个电子显示器203中的任一个或多个可以包括混合式像素控制电路，该混合式像素控制电路在每个像素内包括数字像素控制电路和模拟像素控制电路。在一些示例中，数字像素控制电路和模拟像素控制电路为每个像素提供n+m个位的灰度强度控制。替代地，数字像素控制电路可以使用n个位来用于灰度像素强度的数字PWM控制，并且模拟像素控制电路可以使用m个位来控制提供给像素的驱动电流以用于非均匀性补偿。
图5是示出了多装置人工现实系统的分布式架构的更详细示例实施方式的框图，在该多装置人工现实系统中，一个或多个装置(例如外围装置136和HMD 112)在每个装置内使用一个或多个SoC集成电路来实现。图5示出了HMD 112与外围装置136一起运行的示例。外围装置136表示具有如下表面的物理真实世界装置：多装置人工现实系统100或126将虚拟内容覆盖在该表面上。外围装置104可以包括一个或多个存在敏感表面204，该一个或多个敏感表面用于通过检测存在一个或多个对象(例如手指、触控笔等)触摸或悬停在一个或多个存在敏感表面204的各位置上，来检测用户输入。在一些示例中，外围装置104可以具有与智能手机、平板电脑、个人数字助理(PDA)或其他手持式装置中的任一个类似的形状要素。在其它示例中，外围装置104可以具有智能手表、所谓的“智能环”或其它可穿戴装置的形状要素。外围装置104也可以是自助服务终端的一部分或其它静止或移动系统的一部分。一个或多个存在敏感表面204可以结合输出部件，例如一个或多个显示装置(其用于将可视内容输出到屏幕)。如上所述，HMD 102被构造和配置为使得能够执行人工现实应用。
在该示例中，HMD 112和外围装置136(分别)包括表示专用集成电路的集合的SoC530、510，这些专用集成电路布置在分布式架构中并且被配置为提供用于人工现实应用的操作环境。作为示例，SoC集成电路可以包括作为如下部件来运行的专用功能块：协应用处理器、传感器聚合器、加密/解密引擎、安全处理器、手/眼睛/深度跟踪和姿态计算元件、视频编码和渲染引擎、显示控制器和通信控制部件。更详细的示例在图5中示出。图5仅为SoC集成电路的一个示例布置。多装置人工现实系统的分布式架构可以包括SoC集成电路的任何集合和/或布置。
在该示例中，HMD 112的SoC 530A包括多个功能块，这些功能块包括跟踪570、加密/解密580、协处理器582和接口584。跟踪570提供用于眼睛跟踪572(“眼睛572”)、手跟踪574(“手574”)、深度跟踪576(“深度576”)和/或即时定位和地图构建(SimultaneousLocalization and Mapping，SLAM)578(“SLAM 578”)的功能块。例如，HMD 112可以接收来自以下的输入：输出指示HMD 112的当前加速度的数据的一个或多个加速度计(也称为惯性测量单元或“IMU”)、输出指示HMD 112的位置的数据的GPS传感器、输出指示HMD 112与各种对象的距离的数据的雷达或声纳、或提供HMD 112或其他对象在物理环境内的位置或取向的指示的其他传感器。HMD 112还可以从一个或多个图像采集装置588A-588N(统称为“图像采集装置588”)接收图像数据。图像采集装置可以包括被配置为输出表示物理环境的图像数据的摄像机、激光扫描仪、多普勒雷达扫描仪、深度扫描仪等。更具体地，图像采集装置采集表示物理环境中的处在图像采集装置的视场内的对象(包括外围装置136和/或手)的图像数据，该视场通常对应于HMD 112的观看视角。跟踪570基于感测数据和/或图像数据，确定例如HMD 112的参照系的当前姿态，并且根据当前姿态渲染人工现实内容。
SoC 530A的加密/解密580是这样的功能块：该功能块用于对传送到外围装置136或安全服务器的传出数据进行加密，并对从外围装置136或安全服务器传送的传入数据进行解密。协应用处理器582包括用于执行指令的一个或多个处理器，例如视频处理单元、图形处理单元、数字信号处理器、编码器和/或解码器和/或其它。
SoC 530A的接口584是这样的功能块：该功能块包括用于与SoC 530A的功能块连接的一个或多个接口。作为一个示例，接口584可以包括外围部件快速互连(peripheralcomponent interconnect express，PCIe)插槽。SoC 530A可以使用接口584与SoC 530B、530C连接。SoC 530A可以使用接口584与通信装置(例如无线电发射器)连接，以便与其他装置(例如外围装置136)通信。
HMD 112的SoC 530B和SoC 530C各自表示用于在相应显示器(例如显示器586A、586B(统称为“显示器586”))上输出人工现实内容的显示控制器。在该示例中，SoC 530B可以包括用于显示器568A为用户的左眼587A输出人工现实内容的显示控制器。例如，SoC530B包括用于在显示器586A上输出人工现实内容的解密块592A、解码器块594A、显示控制器596A和/或像素驱动器598A。类似地，SoC 530C可以包括用于显示器568B为用户的右眼587B输出人工现实内容的显示控制器。例如，SoC 530C包括用于生成并在显示器586B上输出人工现实内容的解密592B、解码器594B、显示控制器596B和/或像素驱动器598B。显示器568可以包括发光二极管(LED)显示器、有机LED(OLED)、量子点LED(Quantum dot LED，QLED)、电子纸(Electronic paper，E-ink)显示器、液晶显示器(LCD)或用于显示AR内容的其它类型的显示器。
根据本公开，SoC 530B和SoC 530C的像素驱动器598A和598B中的每一个可以分别包括混合式像素控制电路，该混合式像素控制电路在每个像素内包括数字像素控制电路和模拟像素控制电路。在一些示例中，数字像素控制电路和模拟像素控制电路为每个像素提供n+m个位的灰度强度控制。替代地，数字像素控制电路可以使用n个位来用于灰度像素强度的数字PWM控制，并且模拟像素控制电路可以使用m个位来控制提供给像素的驱动电流以用于非均匀性补偿。
在该示例中，外围装置136包括被配置为支持人工现实应用的SoC 510A和510B。在该示例中，SoC 510A包括多个功能块，这些功能块包括跟踪540、加密/解密550、显示处理器552和接口554。跟踪540是提供眼睛跟踪542(“眼睛542”)、手跟踪544(“手544”)、深度跟踪546(“深度546”)和/或即时定位和地图构建(SLAM)548(“SLAM 548”)的功能块。例如，外围装置136可以接收来自以下的输入：输出指示外围装置136的当前加速度的数据的一个或多个加速度计(也称为惯性测量单元或“IMU”)、输出指示外围装置136的位置的数据的GPS传感器、输出指示外围装置136与各种对象的距离的数据的雷达或声纳、或提供外围装置136或其他对象在物理环境内的位置或取向的指示的其他传感器。在一些示例中，外围装置136还可以从一个或多个图像采集装置接收图像数据，所述图像采集装置例如为被配置为输出表示物理环境的图像数据的摄像机、激光扫描仪、多普勒雷达扫描仪、深度扫描仪等。跟踪块540基于感测数据和/或图像数据，确定例如外围装置136的参照系的当前姿态，并且根据当前姿态向HMD 112渲染人工现实内容。
SoC 510A的加密/解密550对传送到HMD 112或安全服务器的传出数据进行加密，并对从HMD 112或安全服务器传送的传入数据进行解密。加密/解密550可以支持对称密钥加密，以使用会话密钥(例如秘密对称密钥)来加密/解密数据。SoC 510A的显示处理器552包括用于向HMD 112渲染人工现实内容的一个或多个处理器，例如视频处理单元、图形处理单元、编码器和/或解码器和/或其它。SoC 510A的接口554包括用于与SoC510A的功能块连接的一个或多个接口。作为一个示例，接口584可以包括外围部件快速互连(PCIe)插槽。SoC510A可以使用接口584与SoC 510B连接。SoC 510A可以使用接口584与一个或多个通信装置(例如无线电发射器)连接，以用于与其它装置(例如HMD 112)通信。
外围装置136的SoC 510B包括协应用处理器560和应用处理器562。在该示例中，协应用处理器560包括各种处理器，例如视觉处理单元(vision processing unit，VPU)、图形处理单元(graphics processing unit，GPU)和/或中央处理单元(central processingunit，CPU)。应用处理器562可以执行一个或多个人工现实应用，以例如生成和渲染人工现实内容和/或检测和解释用户相对于外围装置136做出的手势。
图6是根据本公开所描述技术的显示装置600的框图。显示装置600可以用于实现例如关于图1-图5所示和描述的任何显示器。显示装置600包括显示面板630，显示面板630包括多个像素612A-612N(统称为“像素612”或对个体称为“像素612”)。图6示出了用于控制像素612A的详细结构，但是其他像素612B-612N可以具有与像素612A相同的控制结构。每个像素612中的像素驱动电路608包括发光元件(例如发光二极管(LED)或微LED(micro-LED))，该发光元件输出具有由数字像素控制电路630和模拟像素控制电路650控制的强度的光。在一些示例中，每一帧的像素强度由n+m位控制字定义。数字像素控制电路630提供对像素612的发光元件所发射的光的n个位数字PWM控制。模拟像素控制电路650提供对提供给像素612的发光元件的2m个不同水平的驱动电流的控制。在一些示例中，数字像素控制电路630和模拟像素控制电路650为每个像素提供n+m个位的强度控制。替代地，数字像素控制电路630可以使用n个位来用于像素强度的数字PWM控制，并且模拟像素控制电路650可以使用m个位来控制提供给像素的驱动电流以用于非均匀性补偿。
在图6的示例中，数字像素控制电路630包括存储器602、比较器电路604和锁存电路606。存储器602连接到比较器电路604。比较器电路604连接到锁存电路606，并且锁存电路606连接到驱动电路608。模拟像素控制电路650也连接到驱动电路608。
显示装置600还包括行驱动器614(其包括计数器610)、数字列驱动器616、模拟列驱动器646和控制器640。在一些实施例中，控制器640可以与显示装置600分开。尽管图6示出行驱动器614、数字列驱动器616和模拟列驱动器646连接到像素612A，但实际上它们连接到像素612A-612N中的每一个。具体地，行驱动器614连接到数字像素控制电路630的存储器602、比较器电路604和锁存电路606。行驱动器614还与模拟像素控制电路650连接。数字列驱动器616连接到数字像素控制电路630的存储器602。控制器640包括处理电路，例如处理器642和显示存储器644。控制器640连接到行驱动器614、数字列驱动器616并且还连接到模拟列驱动器646。
数字列驱动器616将n+m强度控制字的n个数字位加载到每个像素的存储器602中的存储单元，而模拟列驱动器646将与n+m位强度控制字的m个位相对应的单个电压加载到模拟像素控制电路650。行驱动器614控制数字模拟控制电路630的编程阶段和模拟像素控制电路650的编程阶段何时开始和结束(例如参见图10)。模拟加载方案和数字加载方案由分开的部件/晶体管(即，数字像素控制电路630和模拟像素控制电路650)控制，这意味着每个像素的模拟和数字控制彼此完全独立。因此，由本公开的技术提供的数字和模拟强度控制是灵活的，因为模拟强度控制和数字强度控制可以以任何顺序加载(即，可以首先加载模拟其次加载数字，或者可以首先加载数字其次加载模拟)，或者可以同时加载模拟和数字。顺序的选择可以基于例如像素的期望性能和/或基于模拟方案是用于强度控制还是用于均匀性补偿。
示例数字像素控制电路630的存储器602可以包括n个位的数字数据存储，例如n个1位静态随机存取存储器(static random-access memory，SRAM)存储单元或一些其他类型的存储单元。存储器602经由字线连接到行驱动器614，并且经由位线和反转位线(inversebit line)连接到列驱动器616。存储器602从行驱动器614接收用于字线(WL)的信号，以用于存储单元选择，并且从列驱动器616接收以n个数据位D形式的控制字，以用于写入到所选择的存储单元。n个数据位的位值定义了每个帧中如下子帧的数量：在所述子帧期间向该像素内的发光元件提供驱动电流。数字像素控制电路中的数据位的数量n可以不同。在一个示例中，存储器602存储n＝3个位，以提供由数字像素控制电路630控制的八个亮度等级(例如，000、001、010、011、100、101、110、111)。在另一示例中，n＝5以提供由数字像素控制电路630控制的32个亮度等级。应当理解，n可以是适当地适合于特定实施方式的任何整数数量的位，并且本公开不限于此方面。结合图7讨论关于存储器602的附加细节。
行驱动器614可以包括用于每个像素行或像素行组的计数器610。计数器610至少部分地使用这种电路来实现：该电路产生计数位的位值。计数位的数量对应于数字像素控制电路的控制字中的数据位的数量n。在n＝3的示例中，计数器610生成一帧的各个子帧的序列，包括位值000、001、010、011、100、101和111。这里，计数器610以二进制从0计数到7以生成该序列。在一些实施例中，计数器610反转每个计数位以便于比较器电路604进行比较。
在一个示例实施方式中，示例数字像素控制电路630的比较器电路604从行驱动器614接收由计数器610生成的计数位，并且从存储器602接收控制字的n个数据位，并且将计数位与数据位进行比较以生成比较结果。该比较结果是基于每个数据位与(AND)对应计数位的或非(NOR)来生成的，如等式1所定义：
(！count[0]&D[0])|(！count[1]&D[1])|...|(！count[n-1]&D[n-1])等式(1)其中！count[x]是第x个反转计数位，D[x]是控制字的第x个数据位，n是控制字和计数位的长度。等式1所定义的比较是对应的数据位和计数位的有序比较，这允许简化的比较器电路604。比较器电路604包括根据比较结果在高电平与低电平之间切换的动态比较节点，并且将比较结果输出到锁存电路606。
示例数字像素控制电路630的锁存电路606接收来自比较器电路604的比较结果，并生成用于驱动电路608的驱动晶体管的栅极信号。即使在比较器电路604的动态比较节点处可能存在比较结果的切换时，锁存电路606也保持发送给驱动电路608的栅极信号的期望状态。锁存电路606的输出是控制信号nDrive，该控制信号如本文所述控制驱动电路608的切换。
驱动电路608包括诸如LED或微LED等发光元件、以及具有一端(例如源极或漏极)连接到LED的驱动晶体管。驱动晶体管还包括连接到锁存电路606的栅极端，以接收用于控制流过驱动晶体管的源极端和漏极端以及LED的电流的栅极信号(nDrive)。这样，驱动晶体管充当开关，以基于由提供给数字像素控制电路630的控制字的n个位确定的PWM定时，来控制是否向LED提供电流。在下文中结合图8和图9讨论关于驱动电路608的附加细节。
在一些实施例中，像素的控制电路(包括模拟像素控制电路650的至少一些部分、驱动电路608、以及数字像素控制电路630)被布置在显示装置600的薄膜晶体管(thin-film-transistor，TFT)层中。
行驱动器614和数字列驱动器616控制每个像素612A-612N内的数字像素控制电路630的运行。例如，列驱动器616将像素612A的n+m位控制字的n个数据位提供到存储器602，该n个数据位基于来自行驱动器614的字线(WL)的选择，而被编程到存储器602的n个对应存储单元中。
控制器640包括处理电路，例如一个或多个处理器642(本文一般称为处理器642)和显示存储器644。处理器642向行驱动器614和数字列驱动器616提供对数字像素控制电路630的运行进行控制的控制信号。处理器642还向行驱动器614和模拟像素控制电路650提供在一帧期间对提供给每个像素的驱动电流的量或水平进行控制的控制信号。
在一些示例中，当m个位用于模拟非均匀性补偿时，显示存储器644(本文也称为“数据存储装置”)可以存储每个像素的m位非均匀性补偿值。m位非均匀性补偿值可以作为对应的模拟电压存储在模拟像素控制电路650中(例如电容器或其他模拟存储装置中)，以控制由模拟像素驱动电路650提供给像素的驱动电流的量或水平以用于非均匀性补偿。
可以用于实现数字像素控制电路630的、像素强度的数字PWM控制的电路的示例在以下文献中示出并描述：于2020年1月31日提交的、名称为“使用比较器驱动像素的脉宽调制(Pulse Width Modulation for Driving Pixel Using Comparator)”的第16/779,168号美国申请，于2020年1月31日提交的、名称为“基于行的亮度校准(Row Based BrightnessCalibration)”的第16/779,206号美国申请，以及于2019年2月4日提交的、名称为“使用比较器驱动像素的脉宽调制(Pulse Width Modulation for Driving Pixel UsingComparator)”的第62/800,979号美国临时申请，它们中的每一个通过引用整体并入。然而，应当理解，也可以使用像素强度的数字PWM控制的其他实施方式，并且本公开不限于此方面。
图7是示出了根据本公开所描述技术的个体像素612的数字像素控制电路630的示例存储器602的电路图。特别地，示出了单个像素612的示例存储器602的一部分。存储器602存储像素强度控制字的n个位，并将控制字的n个位输出到比较器电路604。存储器602包括n个1位存储单元902(0)到902(n-1)，其中n是用于数字像素控制电路630的控制字的位长度。每个单元902(0)到902(n-1)经由相应的字线908(0)到908(n-1)连接到行驱动器614，并且还经由位线904和反转位线906连接到列驱动器616。每个单元902(0)到902(n-1)还包括相应的单元输出910(0)到910(n-1)，以将存储在单元中的位值输出到比较器电路604。
每个单元902(0)-902(n-1)可以使用例如1位SRAM存储单元来实现；然而，应理解，存储单元902(0)-902(n-1)可以使用任何合适类型的存储单元来实现。
参考单元902(0)，每个单元902(0)-902(n-1)可以包括晶体管912、晶体管914以及交叉耦合的反相器916和918。在该示例中，晶体管912和914为NMOS(N型金属氧化物半导体)晶体管。晶体管912包括连接到反转位线906的第一端、和连接到由交叉耦合的反相器916和918形成的第一节点的第二端。晶体管914包括连接到位线904的第一端、和连接到由交叉耦合的反相器916和918形成的第二节点的另一端。晶体管912和914的栅极端均连接到字线908(0)。由交叉耦合的反相器916和918形成的第二节点连接到单元输出910(0)。
为了利用一位值对单元902(0)进行编程，将单元902(0)的字线908(0)设置为高信号，将位线904设置为该位值，并且将反转位线906设置为该位值的取反值(inverse)。这导致位线904上的位值被存储在单元902(0)中，并且在单元输出910(0)处被输出。存储器602的其它单元可以包括与本文针对单元902(0)所论述的类似部件和操作。存储器602经由相应的字线908(0)至908(n-1)接收信号WL[0]至WL[n-1]、来自位线904的信号Bit以及来自反转位线906的信号nBit，以存储n位控制字，并且经由单元输出910(0)至910(n-1)输出n位控制字的位值。对于每一帧，存储器602存储一控制字，并经由单元输出610(0)至610(n-1)将该控制字作为数据信号D[0]至D[n-1]输出。
图8是示出了根据本公开所描述技术的个体像素612的示例驱动电路608的电路图，该驱动电路608连接到数字像素控制电路630和模拟像素控制电路650。示例驱动电路608包括电流驱动晶体管802和开关晶体管804。在该示例中，驱动晶体管802和开关晶体管804是PMOS(P型金属氧化物半导体)晶体管。然而，应当理解，可以使用NMOS晶体管来实现驱动电路608，并相应地调整电路元件的布置，并且本公开不限于此方面。开关晶体管804的第一端连接到驱动晶体管802的输出端，开关晶体管804的第二端连接到发光二极管(LED)806。在一些实施例中，LED 806是微LED。驱动晶体管802的输入端连接到将电源信号偏置(例如电压源Vdd)与模拟像素控制电路650的第一输出端连接所形成的节点。晶体管802的控制端(例如栅极)连接到模拟像素控制电路630的第二输出端。开关晶体管804的控制端(例如栅极)从数字像素控制电路630接收控制信号(nDrive)。
图9是示出了根据本公开所描述技术的示例像素612的电路图，该像素612包括数字像素控制电路630、驱动电路608、以及模拟像素控制电路650的示例实施方式。示例模拟像素控制电路650包括存储电容器954和晶体管952。在该示例中，晶体管952是PMOS晶体管。然而，应当理解，模拟像素控制电路650可以使用NMOS晶体管来实现，并相应地调整电路元件的布置，并且本公开不限于此方面。存储电容器954包括连接到第一节点956的输入端，第一节点956由晶体管952的输出端与驱动电路608的驱动晶体管802的控制端之间的连接形成。存储电容器954还包括连接到第二节点958的输出端，第二节点958由驱动电路608的驱动晶体管802的输入端与电压源(Vdd)之间的连接形成。换句话说，存储电容器954连接在电流驱动晶体管802的输入端与控制端之间，使得存储在存储电容器954中的电压可以控制流过电流驱动晶体管802的电流的量。
模拟像素控制电路650被连接以接收两个输入：来自行驱动器614的扫描信号和来自模拟列驱动器646的数据信号(见图6)。晶体管952包括被连接以接收扫描信号的控制端(例如栅极)和被连接以接收数据输入信号的输入端。当扫描信号输入选择像素612时，模拟像素控制电路650基于与该像素的期望强度级别相对应的n+m位控制字的m个位，来接收用于该像素的模拟控制电压(图9中的“数据”)。晶体管952导通，从而基于与该帧的像素强度相对应的模拟控制电压，将存储电容器954充电到期望的驱动电压。该驱动电压是以如下电流水平驱动LED所需的电压：该电流水平将会与数字像素控制电路630所提供的n位强度控制相结合，来产生由n+m控制字指示的灰度强度。一旦电容器被充电并且由数字像素控制电路630提供的nDrive信号导通开关晶体管804，晶体管802就被存储在存储电容器954中的电压偏置。存储在电容器954中的该偏置电压控制晶体管802所提供的、通过晶体管804最终到达LED 806的电流水平。这样，模拟像素控制电路650通过控制存储在存储电容器954中的电压，来控制提供给像素612的LED 806的电流的量或水平。
图10A是示出了数字像素控制电路630的数字编程阶段的示意图，图10B是示出了模拟像素控制电路650的模拟编程阶段的示意图。应当理解，图10A和图10B中所示的数字编程阶段和模拟编程阶段彼此完全独立，并且图10A和图10B并不旨在传达数字编程阶段与模拟编程阶段之间的时序关系。而是，数字编程阶段和模拟编程阶段的时序可以是基于如本文进一步描述的系统的设计考虑来选择的。
数字编程阶段(图10A)由写入或字线(WL(n))信号来控制。当WL信号被启用(在该示例中变为高)时，数字像素控制电路630的与该位的位置相对应的存储单元被编程。在图10a的n＝3位示例中，在第一WL(n)启用时间窗期间利用bitn信号的值来对第一存储单元(例如图7的单元902(0))编程，在第二WL(n)启用时间窗期间利用bitn信号的值来对第二存储单元(例如图7的存储单元902(1))编程，并且在第三WL(n)启用时间窗期间利用bitn信号的值来对第三存储单元(例如图7的存储单元902(2))编程。
模拟编程阶段(图10B)独立于数字编程阶段，并且由扫描信号控制。当扫描信号有效(在该示例中变低)时，模拟像素控制电路650被启用，并且具有与m个位的模拟强度相对应的2m个不同电压电平中的一个电压电平的模拟电压被存储在模拟像素控制电路650的存储电容器(例如C1)中。模拟编程阶段的长度(扫描信号有效的时间)取决于要存储的一个或多个模拟电压的大小和模拟像素控制电路650中的存储电容器的电容。通常，模拟编程阶段的长度必须足以将电容器充电到由该m个位的模拟强度定义的最高电压电平(2m)。
对于数字编程阶段和模拟编程阶段两者，为了防止损坏存储在数字像素控制电路中的数据和/或将不正确电压存储到模拟像素控制电路中，bitn和数据线直到对应的编程窗口结束(即在该示例中，直到WL(n)信号变为低或扫描信号变为高)之后才能改变。
如上所述，如图10A所示的数字像素控制电路650的数字编程阶段和如图10B所示的模拟像素控制电路630的模拟编程阶段彼此独立。用户可以根据一个或多个因素，来决定数字编程阶段与模拟编程阶段之间的适当时序关系。
例如，当模拟像素控制电路650用于非均匀性补偿时，可以选择在一帧的数字编程阶段(图10A)之前进行模拟编程阶段(图10B)。在这样的示例中，电容器被编程(充电)到的模拟电压由于校准时所进行的测量而是固定的。因此，在非均匀性补偿示例中，对于每个像素对电容器充电的电平对于每一个帧均是相同的。另外，根据补偿电压和电容器的尺寸，可以将电容器选择为使得电容器不需要在每一帧期间充电。而是，可以每隔一帧或每隔预选择的帧数对电容器充电。电容器充电的充电时间也可以与该帧期间的死区时间(deadtime)重叠。
在另一示例中，当模拟像素控制电路650用于提供与2m个可能电压电平相对应的m个附加位的灰度强度控制时，可以选择在一帧的模拟编程阶段(图10B)之前开始数字编程阶段(图10A)。在这样的示例中，电容器被编程(充电)到的模拟电压可以逐帧地不同，因此电容器需要每帧充电。模拟编程阶段可以在数字编程阶段开始之后开始，使得电容器的充电可以与数字编程阶段重叠。在该示例中，由于电容器的充电与数字编程阶段重叠，因此整个编程阶段(数字+模拟)更短。此外，由于帧的开始和结束完全由数字控制电路控制，所以帧的定时通常更准确和可靠。
在一些示例中，由行驱动器614(见图6)生成、并分别由数字像素控制电路630和模拟像素控制电路650接收的WL(n)和扫描信号可以仅使用相同的信号来实现。例如，也可以将WL(n)信号代替单独的扫描信号发送到模拟像素控制电路630。这在使用模拟像素控制电路650来提供m个附加位的灰度强度控制时会是有用的，使得模拟编程阶段与数字编程阶段同时开始并且与数字编程阶段重叠。在该示例中，WL(n)信号的时序将被设计为使得，有足够的时间将模拟像素控制电路的电容器充电到与m个位的模拟强度相对应的电压。例如，在图10的示例中，WL(n)信号为无效(低)的总时间会被设计为足以将电容器充电到与m个位的模拟强度相对应的电压。
图11A是示出了根据本公开所描述技术的用于显示装置的像素的数字PWM控制的示例过程(1100)的流程图。示例过程(1100)可以由数字像素控制电路630执行，以控制在一帧中将驱动电流提供给像素内的发光元件的子帧的数量，并因此控制在该帧内像素612发光的子帧的数量。过程(1100)可以具有更少的或附加的步骤，并且可以按不同的顺序或并行地执行步骤。
数字像素控制电路630接收与该帧的像素的强度级别相对应的n+m位控制字的n个数据位值(1102)。数字像素控制电路630基于该n个数据位值，在该帧的每个子帧期间控制像素中的每个发光元件(1104)。例如，该n个数据位值确定在该帧内向像素内的发光元件提供驱动电流的子帧的数量。然后，数字像素控制电路630对下一相继帧重复该过程(1106)。
图12A是根据本公开所描述技术的可以由数字像素控制电路630生成的nDrive信号的示例值的表(1210)，其中n＝3。在第一数字强度级别(000)下，nDrive信号在第一子帧(子帧0)期间为高，其结果是，对于该帧的所有子帧，该像素被关闭(换句话说，对于该帧的所有子帧，nDrive信号处于高电平)。在第二数字强度级别(001)下，nDrive信号在第一子帧(子帧0)期间为低，然后在第二子帧中变为高，这表明该像素仅对于第一子帧被打开(即，驱动电流被提供给该像素内的发光元件)，并且对于该帧的所有剩余子帧被关闭。对于每个相继的数字强度级别发生类似的结果，直到达到最高数字强度级别(111)为止，在该最高数字强度级别下，除了该帧的最后子帧(子帧7)之外，该像素对于所有子帧均打开。
图11B是示出了根据本公开所描述技术的用于对提供到显示装置的像素的电流水平进行模拟控制的示例过程(1150)的流程图。示例过程(1150)可以由模拟像素控制电路650执行，以控制提供给显示装置的像素的电流的量。处理(1150)可以具有更少或附加的步骤，并且可以按不同顺序或并行地执行步骤。
在一帧的起始处，模拟像素控制电路650基于与像素的期望强度级别相对应的n+m位控制字的m个位，来接收用于该像素的模拟控制电压(1152)。模拟像素控制电路基于该模拟控制电压，将存储电容器充电到驱动电压(1154)。驱动电压是以如下电流水平驱动LED所需的电压：该电流水平将产生由该n+m控制字的m个位指示的强度。一旦电容器被充电，则模拟像素控制电路650基于存储在电容器中的驱动电压，来控制在该帧期间提供给该像素的LED的驱动电流的水平(1156)。然后，模拟像素控制电路650对下一相继帧重复该过程(1158)。
图11C是示出了根据本公开所描述技术的将对显示装置的像素的数字PWM控制与对提供给像素的电流水平的模拟控制相结合的示例过程(1180)的流程图。
示例过程(1180)可以由数字像素控制电路630和模拟像素控制电路650执行，以控制一个帧的向像素提供驱动电流的子帧的数量(即像素被打开的子帧的数量)，并控制在该帧期间提供给像素的驱动电流的量或水平。过程(1180)可以具有更少或附加的步骤，并且可以按不同的顺序或并行地执行步骤。
数字像素控制电路630基于与一帧的像素的强度级别相对应的n+m位控制字的n个位，针对该帧的多个子帧驱动显示装置的每个像素(1182)。模拟像素控制电路650基于与该帧的像素的强度级别相对应的n+m位控制字的m个位，以一电流水平驱动显示装置的每个像素(1184)。对于该帧的所有子帧，向像素提供驱动电流。然后，对于下一相继帧(1186)重复该过程(1180)。
图12B示出了示出n+m位控制字的示例总强度位值的表1220，其中n＝3且m＝2。在表1220的第一列中示出了n位或3位数字强度值。在表1220的顶行中示出m位或2位模拟强度值。在该示例中，强度值的总数为2n+m＝25＝32个可能的强度值，如表中所示。在该示例中，该n个数字强度位被分配作为该n+m位控制字的最高有效位，并且该m个模拟强度位被分配作为该n+m位控制字的最低有效位。然而，应当理解的是，可以用不同地方式分配最高有效位和最低有效位，并且本公开不限于此方面。例如，在其它示例中，该n个数字强度位可以被分配作为该n+m位控制字的最低有效位，并且该m个模拟强度位可以被分配作为该n+m位控制字的最高有效位。
图13是示出了根据本公开所描述技术的使用模拟像素控制电路650在显示装置中进行亮度均匀性补偿的过程(1300)的流程图。过程(1300)可以具有更少或附加的步骤，并且可以按不同的顺序或并行地执行步骤。
在一帧的起始，模拟像素控制电路650接收与像素的m位非均匀性校正值相对应的非均匀性校正电压(1302)。可以在制造时的校准期间和/或在显示装置的寿命期间的任何其他时间，确定该m位非均匀性校正值。模拟像素控制电路650基于该m位非均匀性校正值，将与该像素相关联的存储电容器充电到非均匀性校正电压(1304)。模拟像素控制电路650基于存储在存储电容器中的非均匀性校正电压，来控制在该帧期间提供给该像素的驱动电流的水平(1306)。在该帧结束时，模拟像素控制电路650可以对下一相继帧重复该过程(1308)。然而，对于非均匀性校正，每个像素的非均匀性校正电压不一定随每一帧而改变。而是，一旦确定了特定像素的m位非均匀性校正值，则在每一帧期间将使用相同的非均匀性校正值，来确定存储在与该像素相关联的存储电容器中的非均匀性校正电压的值。换句话说，每个像素的非均匀性校正值对于每一帧将保持恒定，直到显示器被重新校准的时间为止。每个像素可以具有与显示器中的其他像素相同或不同的非均匀性校正值。
可以在各种时间执行用于亮度调整的非均匀性校准。在一个示例中，可以在制造步骤期间执行校准。可以使用光学系统来测量每个像素的相对亮度，或者可以使用电路测量系统来测量每个像素的一个或多个LED的驱动电流。每组颜色可以具有其自己的一组测量的非均匀性值。基于针对每个像素测量的非均匀性值，可以针对每个像素生成m位非均匀性校正值，以提高显示器中的亮度均匀性。然后，可以使用每个像素的m位非均匀性校正值，来生成与该像素相关联的存储电容器的非均匀性校正电压，该非均匀性校正电压随后被用于生成到该像素的适当驱动电流。在另一示例中，替代地或附加地，可以在一些其他时间执行校准，例如随着LED性能劣化而在显示装置的寿命期间的一个或多个时间执行校准。
如本文中以各种示例的方式所描述的，本公开的技术可以包括人工现实系统或结合人工现实系统来实施。如所描述的，人工现实是在呈现给用户之前已经以某种方式调整的现实形式，人工现实可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合现实(hybrid reality)、或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或结合了采集的内容(例如真实世界照片或视频)的生成内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且上述的任一个可以在单个通道或多个通道中呈现(例如对观看者产生三维效果的立体视频)。另外，在一些示例中，人工现实可以与例如用于在人工现实中创建内容和/或在人工现实中使用(例如在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主机计算机系统的HMD、独立HMD、移动装置或计算系统、或者能够向一位或多位观看者提供人工现实内容的任何其他硬件平台。
本公开所描述的技术可以至少部分地以硬件、软件、固件或其任何组合来实现。例如，所描述的技术的各个方面可以在一个或多个处理器内实现，该一个或多个处理器包括一个或多个微处理器、DSP、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他等效的集成或分立逻辑电路系统以及这些部件的任何组合。术语“处理器”或“处理电路”通常可以指前述单独的或与其它逻辑电路相结合的逻辑电路中的任一个、或任何其它等效电路。包括硬件的控制单元也可以执行一个或多个本公开技术。
这样的硬件、软件和固件可以在同一装置内或在单独的装置内实现，以支持本公开所描述的各种操作和功能。另外，所描述的单元、模块或部件中的任何可以一起或单独地实现为分立但可互操作的逻辑器件。将不同的特征描述为模块或单元旨在突出不同的功能方面，并且不一定意味着这样的模块或单元必须由单独的硬件或软件部件来实现。而是，与一个或多个模块或单元相关联的功能可以由单独的硬件或软件部件执行，或者集成在共同或单独的硬件或软件部件内。
本公开所描述的技术也可以被体现或编码在包含指令的计算机可读介质中，该计算机可读介质例如为计算机可读存储介质。嵌入或编码在计算机可读存储介质中的指令可以使得可编程处理器或其他处理器(例如在指令被执行时)执行该方法。计算机可读存储介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)、闪速存储器、硬盘、CD-ROM、软盘、盒式磁带、磁介质、光学介质或其他计算机可读介质。

Claims (20)

1.一种人工现实系统，包括：
头戴式显示器(HMD)，所述HMD被配置为输出人工现实内容，所述HMD包括至少一个显示装置，所述显示装置包括多个像素，其中，所述多个像素中的每个像素包括：
发光元件；
数字像素控制电路，所述数字像素控制电路生成脉宽调制(PWM)输出信号，所述PWM输出信号控制一帧中的如下子帧的数量：在所述子帧期间向所述发光元件提供驱动电流；以及
模拟像素控制电路，所述模拟像素控制电路控制针对所述帧向所述发光元件提供的所述驱动电流的水平。
2.根据权利要求1所述的人工现实系统，其中，所述模拟像素控制电路基于与所述帧的所述像素的期望强度级别相对应的n+m位控制字的m个位，控制在所述帧期间提供给所述发光元件的所述驱动电流的水平。
3.根据权利要求1或2所述的人工现实系统，其中，所述模拟像素控制电路包括：
存储电容器，所述存储电容器被配置为被充电到驱动电压，所述驱动电压对应于与所述帧的所述像素的期望强度级别相对应的n+m位控制字的m个位，其中，所述驱动电压控制在所述帧期间提供给所述发光元件的所述驱动电流的水平。
4.根据权利要求3所述的人工现实系统，还包括像素驱动电路，所述像素驱动电路包括：
第一晶体管，所述第一晶体管具有：被连接以接收所述PWM输出信号的第一控制端；第一输入端；以及被连接以将所述驱动电流提供给所述发光元件的第一输出端；以及
第二晶体管，所述第二晶体管具有：连接到所述第一晶体管的所述第一输入端的第二输出端；连接到由电压源与所述存储电容器的输出端之间的连接而形成的节点的第二输入端；以及连接到所述存储电容器的输入端的第二控制端。
5.根据权利要求4所述的人工现实系统，其中，所述模拟像素控制电路还包括：
第三晶体管，所述第三晶体管具有：被连接以接收扫描信号的第三控制端；连接到如下节点的输出端：所述节点由所述存储电容器的输入端与所述第二晶体管的所述第二控制端之间的连接而形成；以及被连接以接收控制电压的输入端，所述控制电压对应于与所述帧的像素的期望强度级别相对应的所述n+m位控制字的所述m个位。
6.根据权利要求4或5所述的人工现实系统，其中，所述第一晶体管和所述第二晶体管是相同类型的。
7.根据权利要求4至6中任一项所述的人工现实系统，其中，所述第一晶体管和所述第二晶体管为p型晶体管。
8.根据前述权利要求中任一项所述的人工现实系统，其中，所述数字像素控制电路基于与所述帧的所述像素的期望强度级别相对应的n+m位控制字的n个位，来生成对所述帧的如下子帧的数量进行控制的所述脉宽调制(PWM)输出信号：在所述子帧期间向所述发光元件提供所述驱动电流。
9.根据权利要求8所述的人工现实系统，其中，所述模拟像素控制电路基于与所述帧的所述像素的期望强度级别相对应的所述n+m位控制字的m个位，来控制在所述帧期间提供给所述发光元件的所述驱动电流的水平。
10.根据权利要求9所述的人工现实系统，其中，n大于m。
11.根据权利要求9或10所述的人工现实系统，其中，n为5与10之间的整数，并且m为2与5之间的整数。
12.根据权利要求9至11中任一项所述的人工现实系统，其中，由所述n+m位控制字定义的强度级别的数量为2n+m。
13.根据权利要求9至12中任一项所述的人工现实系统，其中，n个位为所述n+m位控制字的最高有效位，并且m个位为所述n+m位控制字的最低有效位。
14.根据权利要求8至13中任一项所述的人工现实系统，其中，所述数字像素控制电路包括n个1位存储单元，所述n个1位存储单元被配置为对所述n+m位控制字的n个位进行存储。
15.根据权利要求14所述的人工现实系统，其中，所述n个1位存储单元中的每个1位存储单元为1位静态随机存取存储器(SRAM)单元。
16.根据权利要求1所述的人工现实系统，
其中，所述数字像素控制电路基于与所述帧的像素的期望强度级别相对应的n位控制字，来生成对所述帧的如下子帧的数量进行控制的所述脉宽调制(PWM)输出信号：在所述子帧期间向所述发光元件提供所述驱动电流，并且
其中，所述模拟像素控制电路基于与所述像素的非均匀性补偿值相对应的m位控制字，来控制在所述帧期间提供给所述发光元件的所述驱动电流的水平。
17.一种显示装置，所述显示装置包括多个像素，其中，所述多个像素中的每个像素包括：
发光元件；
数字像素控制电路，所述数字像素控制电路生成脉宽调制(PWM)输出信号，所述PWM输出信号对一帧中的如下子帧的数量进行控制：在所述子帧期间向所述发光元件提供驱动电流；以及
模拟像素控制电路，所述模拟像素控制电路控制在所述帧期间向所述发光元件提供的所述驱动电流的水平。
18.根据权利要求17所述的显示装置，
其中，由所述数字像素控制电路生成的所述PWM输出信号包括与所述帧的所述像素的期望强度级别相对应的n+m位控制字的n个位；并且
其中，由所述模拟像素控制电路控制的所述驱动电流的水平包括与所述帧的所述像素的期望强度级别相对应的所述n+m位控制字的m个位。
19.根据权利要求17所述的显示装置，
其中，由所述数字像素控制电路生成的所述PWM输出信号包括与所述帧的所述像素的期望强度级别相对应的n位控制字；并且
其中，由所述模拟像素控制电路控制的所述驱动电流的水平包括与所述像素的非均匀性补偿值相对应的m位控制字。
20.一种方法，包括：
利用数字像素控制电路，生成对一帧中的如下子帧的数量进行控制的脉宽调制(PWM)输出信号：在所述子帧期间向显示装置的像素的发光元件提供驱动电流；以及
利用模拟像素控制电路，控制在所述帧期间向所述发光元件提供的所述驱动电流的水平。
CN202180069468.4A 2020-10-09 2021-10-09 包括像素强度的数字和模拟控制的人工现实系统 Pending CN116324958A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/067,070 US11567325B2 (en) 2020-10-09 2020-10-09 Artificial reality systems including digital and analog control of pixel intensity
US17/067,070 2020-10-09
PCT/US2021/054324 WO2022076926A1 (en) 2020-10-09 2021-10-09 Artificial reality systems including digital and analog control of pixel intensity

Publications (1)

Publication Number Publication Date
CN116324958A true CN116324958A (zh) 2023-06-23

Family

ID=78500775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180069468.4A Pending CN116324958A (zh) 2020-10-09 2021-10-09 包括像素强度的数字和模拟控制的人工现实系统

Country Status (7)

Country Link
US (2) US11567325B2 (zh)
EP (1) EP4226358A1 (zh)
JP (1) JP2023546797A (zh)
KR (1) KR20230084197A (zh)
CN (1) CN116324958A (zh)
TW (1) TW202215106A (zh)
WO (1) WO2022076926A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240296782A1 (en) * 2022-06-22 2024-09-05 Beijing Boe Display Technology Co., Ltd. Pixel circuit, driving method therefor and display apparatus
US20240310959A1 (en) * 2023-01-18 2024-09-19 Apple Inc. Photo-sensing enabled display for touch detection with customized photodiode and light emitting diode component level angular response

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208542B1 (en) 1998-06-30 2001-03-27 Sandisk Corporation Techniques for storing digital data in an analog or multilevel memory
US6044004A (en) 1998-12-22 2000-03-28 Stmicroelectronics, Inc. Memory integrated circuit for storing digital and analog data and method
US20010043177A1 (en) 2000-04-14 2001-11-22 Huston James R. System and method for color and grayscale drive methods for graphical displays utilizing analog controlled waveforms
AU2003282285A1 (en) 2002-12-04 2004-06-23 Koninklijke Philips Electronics N.V. An organic led display device and a method for driving such a device
US10726800B2 (en) * 2014-05-09 2020-07-28 Syndiant, Inc. Generating quincunx video streams for light modulating backplanes with configurable multi electrode pixels
US10847077B2 (en) 2015-06-05 2020-11-24 Apple Inc. Emission control apparatuses and methods for a display panel
US10074299B2 (en) * 2015-07-28 2018-09-11 Microsoft Technology Licensing, Llc Pulse width modulation for a head-mounted display device display illumination system
GB2553075B (en) * 2016-03-21 2019-12-25 Facebook Tech Llc A display
US10360846B2 (en) * 2016-05-10 2019-07-23 X-Celeprint Limited Distributed pulse-width modulation system with multi-bit digital storage and output device
US10861380B2 (en) * 2018-05-14 2020-12-08 Facebook Technologies, Llc Display systems with hybrid emitter circuits
KR101942466B1 (ko) 2018-06-28 2019-04-17 주식회사 사피엔반도체 화소 및 이를 포함하는 표시장치
US11138920B2 (en) 2019-02-04 2021-10-05 Facebook Technologies, Llc Pulse width modulation for driving pixel using comparator

Also Published As

Publication number Publication date
US11567325B2 (en) 2023-01-31
JP2023546797A (ja) 2023-11-08
EP4226358A1 (en) 2023-08-16
US20220113542A1 (en) 2022-04-14
TW202215106A (zh) 2022-04-16
KR20230084197A (ko) 2023-06-12
US20230161165A1 (en) 2023-05-25
WO2022076926A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
KR102228279B1 (ko) 증강 현실 경험을 위한 재투영 oled 디스플레이
US20230161165A1 (en) Artificial reality systems including digital and analog control of pixel intensity
US11645809B2 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
US11303875B2 (en) Split rendering between a head-mounted display (HMD) and a host computer
KR102234819B1 (ko) 후기 단계 재투사
US20220130124A1 (en) Artificial reality system with varifocal display of artificial reality content
KR20220088496A (ko) 물리적 객체를 가상 현실로 이식
CN113272715A (zh) 基于眼睛跟踪的动态渲染时间确定
US11430141B2 (en) Artificial reality system using a multisurface display protocol to communicate surface data
US20210089366A1 (en) Artificial reality system with inter-processor communication (ipc)
US11670364B2 (en) Artificial reality system with reduced SRAM power leakage
JP6603706B2 (ja) ビデオ先読みにより制御されるレーザダイオード電圧源
US12032839B2 (en) Hierarchical power management of memory for artificial reality systems
US11816757B1 (en) Device-side capture of data representative of an artificial reality environment
US20240146548A1 (en) Key generation using entropy harvesting from embedded sram arrays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination