CN110520921A - 用于驱动显示设备的系统和方法 - Google Patents

用于驱动显示设备的系统和方法 Download PDF

Info

Publication number
CN110520921A
CN110520921A CN201880024949.1A CN201880024949A CN110520921A CN 110520921 A CN110520921 A CN 110520921A CN 201880024949 A CN201880024949 A CN 201880024949A CN 110520921 A CN110520921 A CN 110520921A
Authority
CN
China
Prior art keywords
pulse
pixel
colour sequential
display
pwm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880024949.1A
Other languages
English (en)
Other versions
CN110520921B (zh
Inventor
凯文·M·弗格森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Composite Photons Usa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Composite Photons Usa filed Critical Composite Photons Usa
Publication of CN110520921A publication Critical patent/CN110520921A/zh
Application granted granted Critical
Publication of CN110520921B publication Critical patent/CN110520921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3607—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals for displaying colours or for displaying grey scales with a specific pixel layout, e.g. using sub-pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0235—Field-sequential colour display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0204—Compensation of DC component across the pixels in flat panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0209—Crosstalk reduction, i.e. to reduce direct or indirect influences of signals directed to a certain pixel of the displayed image on other pixels of said image, inclusive of influences affecting pixels in different frames or fields or sub-images which constitute a same image, e.g. left and right images of a stereoscopic display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/064—Adjustment of display parameters for control of overall brightness by time modulation of the brightness of the illumination source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种实现在显示设备中减少余晖和/或减少延迟的棋盘渲染和锯齿渲染系统和方法。在操作中，处理器执行用于在显示器上显示图像的指令。该操作包括：利用脉宽调制(PWM)方法驱动显示器的一组像素，该PWM方法产生由PWM引起的多个脉冲；在预定时段内使用第一脉冲激励与第一帧相关联的第一像素；在激励第一脉冲的时段内对第二脉冲进行锯齿化。

Description

用于驱动显示设备的系统和方法
对相关申请的引用
本申请要求于2017年6月22日提交的美国专利申请62/523,717的优先权。
技术领域
本发明涉及一种显示设备。更具体地说，本发明涉及一种用于驱动显示设备的系统和方法。
背景技术
头戴式显示器用于渲染图像，以显示映射到观看者的透视坐标系的物体，例如在使用虚拟、增强和混合现实系统的情况中。例如，这样的系统要求头部的运动不会引起伪影，例如模糊、色乱(例如明亮物体与暗色背景对比的红、绿、蓝彩虹色晕)、立体深度调制(例如物体相对于距观看者的距离似乎不稳定)、以及相关的时空问题。这些问题是由在显示器上渲染物体的方式不能将光正确地整合在观看者的相应眼睛的视网膜上引起的。
可能出现在图像中的伪影的例子例如包括模糊和色晕伪影。当观看者的头部移动时，模糊伪影可能使置于诸如虚拟现实等应用中的图像的一部分或整个图像变得模糊。在头部运动期间，必须在显示器上沿相反方向移动静止的虚拟物体，以使其看起来是静止的。例如，在观看者在头部运动期间跟踪虚拟静止物体的情况下，在观看者的跟踪物体的能力范围之内，虚拟静止物体聚焦在观看者的视网膜上。在完美系统中，随着时间的推移，物体在每个视网膜上变得静止。若图像的显示发生在视频帧时间的很大部分期间，对于现有技术系统的典型帧速率来说，在头部移动时虚拟静止物体在该时间内会在显示器上保持静止，导致物体移过观看者的视网膜。在每帧内移过观看者的视网膜并在多帧内如此重复的物体会被感知为模糊的(例如表现为每个物体在不同位置随时间的积分)。
例如，在颜色顺序成像系统中渲染的图像中可能出现色晕伪影。例如，可使用单个成像器(例如单个装置)按时间分别渲染红色、绿色和蓝色。这称为颜色顺序渲染。在头戴式应用中，由于头部的运动，红、绿、蓝图像通常在观看者的视网膜上以不同的配准方式呈现。因此能够看到这些单独的颜色，尤其是沿着白色和黑色的边界。因此，图像中的物体的余晖很长，并且具有位置误差的物体在视网膜上的叠加可能导致色晕伪影。
硅基液晶(LCoS)器件具有较长的液晶上升和下降时间，因此难以产生具有短余晖的图像。此外，对于需要成本足够低的高对比度器件的AR、VR、MR应用，LCoS器件通常太慢。一部分速度问题与液晶上升和下降时间过长有关。另一部分速度问题与设备的电子驱动装置以及将所有像素电极的驱动电压从一个电压改变到另一个电压所需的时间有关。此外，在传统上，还存在着缩短渲染时间与成像器位深之间的权衡。
而且，若在头部运动、物体操控或其他观看者的动作、以及与这些动作对应的显示结果之间存在滞后，则这种滞后会变得明显，并且通常是令人反感的。由于跟踪观看者和其他物体、更新真实和虚拟物体的内部模型、对立体或三维(3D)全息数字视频数据进行渲染，以及将视频数据发送到显示器所需的处理，可能会出现这种滞后。当发送视频数据的带宽和帧速率不够时，可能会观察到运动伪影。系统的带宽还可能受成本和系统考虑因素的限制，例如，系绳系统的庞大电缆等。带宽问题可能导致与显示设备或系统相关的延迟问题。
发明内容
本发明涉及图像数据处理、棋盘渲染(checkerboarding)和/或锯齿渲染(serration)系统和/或用于驱动显示设备的方法等，目的是实现减少延迟、余晖和/或带宽。本发明的棋盘渲染和/或锯齿渲染系统和/或方法实现了可在需要短余晖和/或短延迟的系统(例如头戴式显示系统和/或方法)中使用的输出。
应理解，上文的总体说明和下文的详细说明都仅是示例性和说明性的，仅用于提供由所附权利要求限定的本发明的进一步解释。
附图说明
本文所包含的附图是为了进一步理解本发明，并构成本说明书的一部分。这些附图示出了本发明的一个实施例，并与说明文字一起用于解释本发明的原理。
图1A是本发明的一个实施例的框图；
图1A是本发明的一个替代实施例的框图；
图2是图1A中的图形处理装置的控制系统的框图；
图3是图1A中的数字驱动装置的控制系统的框图；
图4是示出图2的控制系统的棋盘序列的流程图；
图5示出了在2个帧上在两个互补棋盘图案之间交替进行的棋盘渲染处理；
图6示出了因棋盘渲染处理而引起的颜色子帧的空间和时间分离；
图7示出了图6的放大图，以表明渗色；
图8示出了两个水平的渗色；
图9示出了红色与绿色之间的渗色；
图10对红色与绿色之间的渗色进行了比较；
图11示出了短余晖颜色顺序数据传输的时序图；
图12是示出图2的控制系统的锯齿序列的流程图；
图13示出了用于短余晖驱动装置的锯齿化PWM的原型位序列矩阵；
图14是示出图13的锯齿化PWM的位移的示意图；
图15是示出图13的锯齿化PWM的第二位移的示意图；
图16示出了本发明的锯齿渲染方法。
具体实施方式
在本文中根据需要公开了本发明的一些详细实施例。所公开的实施例仅是一些示例，这些示例可体现为各种形式、替代形式、以及它们的组合。在本文中所用的示例性、说明性和类似术语泛指用作图示、样本、模型或模式的实施例。
应在说明书的精神之内宽泛地考虑说明内容。例如，在本文中对任何两个部分之间的连接的引用旨在涵盖彼此直接或间接连接的两个部分。作为另一个示例，在本文中所述的单个部件(例如结合一个或多个功能)应理解为涵盖其中使用不止一个部件来执行功能的实施例。反之亦然——即，在本文中结合一个或多个功能描述的多个部件的说明应理解为涵盖其中使用单个部件来执行功能的实施例。
在一些情况下，没有详细说明公知的部件、系统、材料或方法，以避免使本公开变得模糊。因此，不应将在此公开的具体结构和功能细节理解为限定性的，而应仅作为权利要求的基础，并作为用于教导本领域技术人员实施本公开的典型基础。
应理解，上文的总体说明和下文的详细说明都仅是示例性和说明性的，仅用于提供由所附权利要求限定的本发明的进一步解释。虽然本技术在本文中是利用针对特定应用的示例性实施例说明的，但是应理解，本技术不限于此。获得了本文所提供的教导的本领域技术人员应认识到，在本技术范围内能够做出其他修改、应用和实施例，并且本技术还在其他领域内具有重要效用。
本发明涉及一种用于处理图像数据和/或驱动显示设备的方法，该方法涉及棋盘渲染方法和/或锯齿渲染方法，以实现减少延迟、余晖和/或带宽。本发明的棋盘渲染和/或锯齿渲染方法实现了可在需要短余晖和/或短延迟的系统中使用的输出，例如在图像系统或设备、显示和投影系统中使用(例如头戴式显示系统和/或方法)。
出于示例性目的，本发明的实施例主要是结合增强现实(AG)和/或虚拟现实(VR)来说明的。但是，本发明的实施例也可应用于其他混合、混合现实(MR)、扩展现实(XR)或其他替代现实系统、设备或方法，或者可在其他设备或系统中使用(例如其他图像显示和/或投影系统、显示器、和/或图像显示方法，和/或光调制设备、系统和/或方法)。
棋盘渲染和锯齿渲染(例如使用GPU进行驱动电路处理)可应用于任何显示应用、以及用于可编程光学设备的各种应用的相位调制方法。
本发明的方法利用给定的系统带宽实现了短余晖、低延迟和/或增加位深等。该方法还可利用高时空频率(例如同时的高空间频率和高时间频率)时的人类视觉感知限制。通过以消除足够高的帧速率和分辨率视频的高时空频率的方式抽取视频内容，通过一种涉及棋盘图案等技术的过程实现或基本上实现了感知无损压缩。换言之，利用棋盘图案允许从压缩数据重建原始数据。
在本发明的实施例中，在将视频转换为用于空间光调制器(例如显示器、微型显示器、硅基液晶(LCoS)显示器件、液晶(LCD)显示器、发光二极管(LED)或有机LED(OLED)装置、光寻址空间光调制器(OASLM)装置、和/或数字显示装置)的位平面之前，进行棋盘渲染过程。
现在将详细说明本发明的一个实施例，在附图中示出了该实施例的一个示例。
整体系统——图1-3
图1示出了本发明的显示设备和/或系统。本发明的驱动系统可包括图形处理装置110，数字驱动装置140和光学引擎150，如图1和2所示和下文所述。
在一些实施例中，图形处理装置110可包括生成器和混合器(生成/混合)模块120。生成/混合模块120可生成和/或混合物体。例如，在混合现实和沉浸式增强现实应用中，混合器120将这些生成的物体与经由摄像机获得的图像或物体(例如真实物体)的其他视觉表示混合。生成/混合模块120产生数据，例如视频和/或图像数据输出。在本发明的实施例中，生成/混合模块120产生数据，例如在替代现实系统、设备或方法(例如AR、VR和/或MR)中输出的视频和/或图像数据。在本发明的一个示例性实施例中，生成/混合模块120例如在头戴式显示器(HMD)系统输入侧产生AR图像，例如RGB视频帧。在本发明的一个实施例中，可将生成/混合模块120结合到产生图像(例如AR图像)的驱动装置或系统中，例如HMD装置或系统。在一些情况下，所生成的图像可与来自摄像机的图像混合。在结合有本发明的实施例的替代现实系统中，GPU执行图形处理和/或产生用于显示的帧，例如在头戴式显示器上显示。
在本发明的一个实施例中，图形处理装置110包括处理器130，或者与图形处理装置110内部或外部的处理器130相关联。本发明的一个实施例可在为显示器(例如头戴式显示系统)渲染的帧的下游实现。在本发明的一个实施例中，GPU处理器130可执行图形处理装置110的软件模块。例如，处理器130执行抖动模块133、棋盘模块134和命令填充器136等软件模块。
在执行上述模块时，处理器130可访问存储在位于图形处理装置110内部或外部的存储装置(例如存储器)上的一个或多个查找表(LUT)中的数据。例如，访问图形处理装置110的内部存储器210中的颜色LUT 132和位平面LUT 135。本领域技术人员应认识到，在不脱离本发明的范围的前提下，处理器130可执行更多或更少模块。
在本发明的一个实施例中，颜色LUT 132可用于颜色校正，包括任何所需的颜色间通道类型处理。举例来说，原始的红色，绿色和蓝色坐标可能与期望的标准(例如基于国际电信联盟建议709的标准RGB(sRGB))不同。在本发明的一个实施例中，假设显示器标称具有幂次定律(γ)输出分布，则颜色LUT 132允许进行基本准确的颜色校正。
在本发明的一个实施例中，本发明的空间和时间抖动模块133可用于在感知上扩展位深，使其超过本机显示位深。例如，利用高速照射“抖动(dithering)”数字光处理(DLP)投影仪，可使用抖动模块133/210恢复快速运动场景。
棋盘模块134/400执行本发明的棋盘渲染方法。下面结合图5-10更详细地说明棋盘渲染的概念。
在本发明的一个实施例中，在给定每个像素的数字电平值和时间的情况下，从图形处理装置110的存储器210(可位于图形处理装置110的内部或外部)访问位平面LUT 135，并且处理器130访问位平面LUT 135(即，空间光调制器(例如LCoS装置156)的所有输出二进制像素电极逻辑的瞬时状态)。在本发明的一个实施例中，处理器130可执行生成位平面(例如位平面LUT 135)的模块。
数字驱动装置140从图形处理装置(例如处理器260)接收数据(例如命令136、138)，并在将图像数据传送到光学引擎150之前整理(例如压缩)所接收的数据。数字驱动装置140可包括存储器310/110(可位于该装置的内部或外部和/或与另一装置共享)。存储器310可包含不同类别的软件和数据，包括数据库330和I/O设备驱动程序350。
数据库330可包含各种程序(例如命令解析器模块144)，当由处理器360或处理器130执行时，所述程序解析和/或处理由装置140接收的数据。
存储装置或数据库330代表静态和动态数据(例如位平面存储器142、命令解析器144、光控制源146等)，并且可由I/O设备驱动程序350和/或其他软件使用，这些程序和/或软件例如可驻留在存储器310中。
在本发明的一个实施例中，由位旋转模块500和过程进行的位旋转发生在图形处理装置110的外部。在一个实施例中，位平面从GPU 130发送到LCoS驱动装置(例如Nova/P4D)的集成电路(IC)芯片，并且LCoS驱动装置的IC包括LUT，该LUT以该位平面作为输入(通过本机位缓存器进行)。位于GPU 130处的LUT可将最终的位平面直接发送至LCoS驱动装置的IC。
在本发明的一个实施例中，由位旋转模块和过程进行的位旋转发生在图形处理装置110的外部。在本发明的一个实施例中，位旋转模块/过程500可涉及通过处理器提取特定位数，例如最高有效位(MSB)。得到的位平面用作位平面输入和/或存储在位平面(也称为逻辑平面)LUT 135中。在一些实施例中，LUT 135可位于LCoS驱动装置140中，并且位平面输入例如可由GPU 130或设备处理器260访问，并且可导致显著降低LCoS驱动装置140的带宽需求并降低存储器需求。
在本发明的一个实施例中，命令填充器137在最终用户不可见的区域内的视频路径中插入命令。在本发明的实施例中，这些命令控制例如通过光源控制模块146和Vcom控制模块148直接或间接地激光器装置等的光源152、驱动电压(例如，LCoS的Vcom(公共电极))和Vpix(像素电极)电压等。在本发明的一个实施例中，模块146和148可实现在硬件和/或软件中。通过在软件控制下在上游移动对这些命令的控制(例如在具有处理器(例如处理器260)的图形处理器装置110中)，可实现对空间光调制器156(例如显示器或LCoS装置)的实时更新。这样能够动态控制空间光调制器156以获得新的能力，例如减轻温度、照明、环境条件、视频平均图像电平(例如对于动态光圈类型提高动态对比度)、显示模式(例如最大亮度与最高保真度等)的快速变化。
数字驱动装置140例如可以是计算系统、头戴式设备和/或设备的其他显示器(例如LCoS、LED)的部件。在本发明的一个实施例中，来自GPU的位平面命令136和填充命令138被中继到相应的硬件(例如激光器、DAC等)，并在由位平面命令指定的时间将位平面发送至LCoS。
在本发明的一个实施例中，设备处理器140包括位平面存储器142，从来自位平面LUT的命令136接收的位平面在由相应的位平面命令指定的适当时间发送至数字驱动装置140和/或空间光调制器156(例如显示器和/或LcoS装置)之前缓冲在该平面存储器142中，例如由命令解析器144缓冲在位平面存储器142中。
在本发明的一个实施例中，位平面LUT 135可位于图形处理装置110中(图1A)。在另一个实施例中，位平面LUT 135可驻留在数字驱动装置140中(图1B)。在本发明的一个实施例中，本发明的图形处理装置110可包括位旋转模块500，该位旋转模块500产生或向位平面LUT输出一个或多个位平面。在本发明的一个实施例中，位旋转模块500可包含在驱动装置140中。在本发明的一个实施例中，位旋转模块500例如旋转来自数据流(例如视频数据、修改的生成/混合数据和/或未修改的生成/混合数据)的位。在本发明的一个实施例中，例如可通过颜色LUT数据132、抖动模块133和/或棋盘模块134修改从生成/混合模块120输出的生成/混合数据。
在本发明的一个实施例中，数字驱动装置140还包括命令解析器144。命令解析器144解析从命令填充器137接收的命令138。
在本发明的一个实施例中，光源控制装置146通过经由DAC、数字启用或禁用控制装置等控制模拟电流来控制激光器或LED等的光源152。
在本发明的一个实施例中，Vcom+Vpix控制装置148控制LCoS的Vcom(公共电极)和Vpix(像素电极)电压。
在本发明的一个实施例中，光学引擎150包含显示装置以及形成头戴式显示器所需的所有其他光学装置。在本发明的一个实施例中，这些光学装置可包括光学器件154(例如透镜、偏振器等)以及光源152。
应理解，图2-3和以上说明旨在提供一种适当环境的简要概述，在该环境中可实施本公开的一些实施例的各个方面。虽然本文的说明涉及计算机可读指令，但是除了计算机可读指令之外或者作为计算机可读指令的替代，本公开的实施例也可与其他程序模块组合和/或作为硬件和软件的组合来实现。
术语“应用程序”或其变化形式在本文中广泛用于涵盖例程、程序模块、程序、组件、数据结构、算法等。应用程序可在各种系统配置上实现，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持计算设备、基于微处理器的可编程消费电子产品、以及它们的组合等。
在本发明的一个实施例中，图形处理装置110包括图形处理单元(GPU)130。图形处理装置110可以是独立装置，也可以嵌入在CPU芯片(例如与结合有图形处理单元的装置相关联的CPU芯片)中。图形处理装置110执行进行图像处理的逻辑(例如软件)。
图形处理装置110包括图2中所示的控制处理装置。该控制处理装置包括存储器210。存储器210可包含不同类别的软件和数据，包括应用程序220、数据库230、操作系统(OS)240、以及I/O设备驱动程序250。
本领域技术人员能理解，OS 240可以是与数据处理系统一起使用的任何操作系统。OS 240提供调度、输入-输出控制、文件和数据管理、存储器管理、以及通信控制和相关服务，所有这些都属于已知技术。I/O设备驱动程序250可包括由应用程序220通过OS 240访问以与设备和某些存储器组件通信的各种例程。
应用程序220可作为可执行指令存储在存储器210和/或固件(未详细示出)中，并且可由处理器260执行。
处理器260可以是多个处理器，这些处理器可包括位于单台机器或多台机器中的分布式处理器或并行处理器。处理器260可用于支持虚拟处理环境。处理器260可以是微控制器、微处理器、专用集成电路(ASIC)、可编程逻辑控制器(PLC)、复杂可编程逻辑器件(CPLD)、可编程门阵列(PGA)，包括场PGA等。本文中对执行代码或指令以执行操作、动作、任务、功能、步骤等的处理器的引用可包括直接执行操作和/或辅助、指示另一装置或组件或与该装置或组件协作以执行操作的处理器260。
在本发明的实施例中使用的处理器可包括商售处理器，例如由英特尔公司制造的赛扬、酷睿或奔腾处理器、由太阳微系统公司制造的SPARC处理器、由AMD公司制造的速龙、闪龙、羿龙或皓龙处理器、其他商售处理器和/或其他现有或将来的处理器。
处理器的一些实施例可包括所谓的多核处理器和/或能够在单核或多核配置中采用并行处理技术的处理器。例如，多核架构通常包括两个或更多处理器“执行核心”。在此例子中，每个执行核心可作为独立的处理器执行，并可支持多个线程的并行执行。另外，相关领域的普通技术人员能理解，处理器可构造为通常所说的32位或64位架构，或者构造为现在已知的或者可能在将来开发的其他架构。处理器通常执行操作系统，该操作系统例如可以是微软公司的Windows型操作系统；苹果电脑公司的Mac OS X操作系统；许多供应商提供的Unix或Linux型操作系统或称为开源系统的操作系统；其他或未来的操作系统；或者这些系统的某种组合。操作系统以众所周知的方式与固件和硬件接口，并且辅助处理器协调和执行各种计算机程序的功能，这些计算机程序可用各种编程语言编写。
应用程序220包括各种程序，例如下文说明的棋盘序列400(在图4中示出)，当由处理器260执行时，该程序处理由装置110接收的数据。
应用程序220可与数据(例如经由I/O数据端口270接收的数据)一起应用于存储在数据库230中的数据。数据库230代表由应用程序220、OS 240、I/O设备驱动程序250和可驻留在存储器210中的其他软件程序使用的静态和动态数据(例如颜色LUT 132、位平面LUT135)。
虽然存储器210被示为位于处理器260附近，但应理解，存储器210的至少一部分可以是远程访问的存储系统，例如通信网络上的服务器、远程硬盘驱动器、移动存储介质、以及它们的组合等。因此，上述任何数据、应用程序和/或软件可存储在存储器210中和/或经由连接至其他数据处理系统(未示出)的网络连接访问，所述网络例如可包括局域网(LAN)、城域网(MAN)或广域网(WAN)。本领域普通技术人员应理解，本发明的实施例可利用一个存储装置和/或一个处理装置，而不是多个存储装置和/或多个处理装置。
如上所述，模块和软件应用程序220可包括由处理器260执行的逻辑。在本文和本公开中所使用的“逻辑”指具有可应用以影响处理器的操作的指令信号和/或数据形式的任何信息。软件就是这种逻辑的一个例子。处理器的例子有计算机处理器(处理单元)、微处理器、数字信号处理器、控制器和微控制器等。逻辑可由存储在非暂时性计算机可读介质(例如存储器或存储装置210)上的计算机可执行指令构成，所述存储器或存储装置210例如包括随机存取存储器(RAM)、只读存储器(ROM)、可擦除/电可擦除可编程只读存储器(EPROMS/EEPROMS)、闪存等。逻辑还可包括数字和/或模拟硬件电路，例如包括逻辑AND、OR、XOR、NAND、NOR和其他逻辑操作的硬件电路。逻辑可由软件和硬件的组合构成。在网络上，逻辑可编程在服务器或服务器的复合体上。具体逻辑单元不限于网络上的单个逻辑位置。
存储器210可包括可用于存储所需信息并且可由计算机访问的各种已知或未来的存储器存储装置中的任何一种。计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的非暂时性的易失性和非易失性、可移动和不可移动介质。例如任何常用的随机存取存储器(RAM)、只读存储器(ROM)、电子可擦除可编程只读存储器(EEPROM)、数字通用盘(DVD)、磁介质(例如内置硬盘或磁带)、光学介质(例如读写光盘)、和/或其他存储器存储装置。存储器存储装置可包括各种已知或未来装置中的任何一种，包括光盘驱动器、磁带驱动器、移动硬盘驱动器、USB或闪存驱动器、或软盘驱动器。这种类型的存储器存储装置通常从程序存储介质读取和/或向程序存储介质写入，所述程序存储介质例如分别是光盘、磁带、移动硬盘、USB或闪存驱动器、或者软盘。这些程序存储介质中的任何一种或者现在正在使用的或者以后可能开发的其他程序存储介质可视为计算机程序产品。应理解，这些程序存储介质通常存储计算机软件程序和/或数据。计算机软件程序(也称为计算机控制逻辑)通常存储在系统存储器和/或与存储器存储装置结合使用的程序存储装置中。
在一些实施例中说明了一种计算机程序产品，该计算机程序产品包括计算机可用介质，其中存储有控制逻辑(计算机软件程序，包括程序代码)。当由处理器执行时，该控制逻辑使处理器执行本文所述的功能。在其他实施例中，一些功能主要使用诸如硬件状态机等在硬件中实现。实现本文所述的功能的硬件状态机的实现方案对于相关领域的技术人员来说是显而易见的。输入-输出控制器可包括用于接受和处理来自用户(无论是人还是机器、本地还是远程的)的信息的各种已知装置中的任何一种。这些装置例如包括调制解调器卡、无线卡、网络接口卡、声卡、或用于各种已知输入装置中的任何一种的其他类型的控制器。输入控制器可包括用于向用户(无论是人还是机器、本地还是远程的)呈现信息的各种已知显示装置中的任何一种的控制器。在当前所述的实施例中，计算机的功能元件经由系统总线彼此通信。计算机的一些实施例可使用网络或其他类型的远程通信与某些功能元件通信。
对于相关领域的技术人员来说显而易见的是，仪器控制和/或数据处理应用程序若是以软件实现的，则可加载到系统存储器和/或存储器存储设备中并从其执行。全部或一部分仪器控制和/或数据处理应用程序也可驻留在存储器存储装置的只读存储器或类似装置中，这种装置不需要首先通过输入-输出控制器加载仪器控制和/或数据处理应用程序。相关领域的技术人员应理解，仪器控制和/或数据处理应用程序或其部分可由处理器通过已知的方式加载到系统存储器、或高速缓冲存储器、或者这两者中，以便执行。此外，计算机可包括一个或多个库文件、实验数据文件和存储在系统存储器中的互联网客户端。例如，实验数据可包括与一个或多个实验或化验有关的数据(例如检测的信号值)、或者与一种或多种合成测序(SBS)实验或过程相关的其他值。另外，互联网客户端可包括能够使用网络访问另一计算机上的远程服务的应用程序，并且例如可包括通常称为“Web浏览器”的程序。在此例子中，一些常用的Web浏览器包括微软公司的Microsoft Internet Explorer、Mozilla公司的Mozilla Firefox、苹果电脑公司的Safari、谷歌公司的Google Chrome、或者本领域中当前已知的或将来开发的其他类型的Web浏览器。
而且，在相同或其他的实施例中，互联网客户端可包括能够经由网络访问远程信息的专用软件应用程序，例如用于生物应用的数据处理应用程序，或者可以是这种应用程序的元件。计算机或处理器可以是网络的一部分。网络可包括本领域普通技术人员公知的许多不同类型的网络中的一种或多种。例如，网络可包括可使用通常称为TCP/IP协议组的协议进行通信的局域网或广域网。网络可包括通常称为互联网的全球互连计算机网络系统，或者还可包括各种内联网架构。相关领域的普通技术人员还应理解，联网环境中的某些用户可能更喜欢使用通常称为“防火墙”(有时也称为包过滤器或边界防护装置)的装置来控制发送至硬件和/或软件系统和从该硬件和/或软件系统接收的信息流。例如，防火墙可包括硬件或软件元件或其某种组合，并且通常设计为实施由用户(例如网络管理员等)制定的安全策略。
II.棋盘渲染过程——图4-11
图4是示出用于执行棋盘序列400的方法的流程图。在本发明的棋盘渲染方法中，图案在两帧上切换。具体而言，序列400可通过图形处理装置处理器260从数字设备驱动装置140接收图像数据(步骤405)来产生棋盘图案。处理器260可确定所接收的图像数据是与偶数帧对应还是与奇数帧对应(步骤410)，并且执行一个或多个偶数帧序列420和/或奇数帧序列440。具体而言，在偶数帧序列420中，从偶数行删除偶数像素(步骤425)，并从奇数行删除奇数像素(步骤430)，并且，在奇数帧序列440中，从奇数行删除偶数像素(步骤445)，并从偶数行删除奇数像素(步骤450)。在图像数据处理完成时，处理器260将处理后的图像数据送回数字驱动装置140进行显示(步骤455)。
在一些实施例中，删除像素是通过在编码内用0替换1来实现的。在一些实施例中，删除像素可通过整体跳过或不发送选定的像素数据来完成。
应理解，所述方法的步骤不一定按任何特定顺序呈现，并且按替代顺序执行一部分或所有步骤(包括跨这些图执行)是可能的，并且已经设想到。
为了便于说明和例示，这些步骤是按所示顺序呈现的。在不脱离所附权利要求的范围的前提下，可以增加、省略和/或同时执行所述步骤。还应理解，所示方法或子方法可在任何时间结束。
在某些实施例中，该过程的一部分或所有步骤和/或基本等同的步骤是由处理器(例如计算机处理器)执行的，该处理器执行与一个或多个相应算法对应的计算机可执行指令，以及存储或包含在计算机可读介质上的相关支持数据，所述计算机可读介质例如为上述任何计算机可读存储器，包括远程服务器和车辆。
图5示出了在2个帧上在两个互补棋盘图案之间交替进行的棋盘渲染处理的一个示例。每个像素在绿色和品红色(即，红色和蓝色)之间切换。图5中的左上图像是一个示例性处理图像。为了表明所述处理，该图像是静止图像，因此在棋盘渲染处理之前每个帧都是相同的。图5中的中上和中下图像是在特定时间点在第一帧和第二帧处的放大静止处理图像的一部分。图5中的右上和右下图像是在随后的时间点处理的相同图像部分。如图所示，以圆圈标示的像素已从第一帧到后续帧改变颜色。
在本发明的一个实施例中，例如为了增加亮度，减小亮度时空误差，和/或减少颜色通道之间的串扰，并同时减少颜色子帧之间的时间，分别从3个颜色通道获取的两组数据相对于棋盘图案是不同相的。所述3个颜色通道例如是绿色通道与红色和蓝色(品红色)，如图5所示。
在本发明的一个实施例中，本发明的棋盘渲染方法通过交替关闭两个帧和/或子帧之间的相邻像素之一来减少所需的带宽和/或数据传输延迟。本发明的棋盘渲染方法可包括偏移颜色通道(例如子帧)之间的相位，例如以便提高亮度，减少颜色通道之间的串扰，和/或减少帧(例如帧、子帧和/或颜色子帧)之间的时间。
使用棋盘图案抽取减少了带宽，因此减少了任何相关的数据传输延迟。例如，与不使用棋盘渲染的传输延迟相比，传输延迟可减少30％到50％。
另外，棋盘渲染包括在绿色通道和{红色，蓝色}颜色通道对之间的时空切换，因此，通过空间和时间分离更好地隔离任何相应的颜色子帧，如图6所示。
图6示出了因棋盘渲染处理而引起的颜色子帧的空间和时间分离的一个示例。图6中的左上图像是图5的像素图像的近视图。图6中的中上和中下图像示出了红色和蓝色子帧(中上图像)以及绿色子帧(中下图像)的驱动电压和LC响应的示波器波形。该示波器轨迹是使用连续波激光捕获的，例如，分别使用品红色(中上图像中的红色和蓝色)和绿色(中下图像)视频输入照射，以示出颜色子帧脉冲的理论(除了与WOB相关的串扰)空间和时间隔离。图6中的右上和右下图像示出了驱动电压和LC响应的示波器波形，这些图像与中间图像相同，不过现在使用相应波长的激光脉冲照射，这些图像示出了进一步的隔离。
所公开的棋盘渲染处理减轻了渗色(即，一个颜色脉冲的下降终点提高了下一个颜色脉冲的上升的初始状态)。例如，在存在三种颜色序列(红色、绿色、蓝色)的情况下，第一颜色(红色)和第三颜色(蓝色)被经过棋盘渲染的第二颜色(绿色)的黑色部分在时空上彼此分开。
图7示出了图6中的帧的渗色。如图所示，红色渗入绿色(右上图像)，绿色渗入蓝色(右下图像)。
图8示出了棋盘渲染对尾部渗色的益处。尾部渗色由具有“o”数据点的线表示，归一化渗色由具有“+”数据点的线表示，总渗色量由具有“x”数据点的线表示。例如，利用16×16棋盘渲染过程，总渗色量可保持在9％至12％。
通过最大限度增加前一子帧的输入颜色(例如红色)并最大限度减少当前子帧的输入颜色(例如绿色)来测量前一子帧脉冲的尾部向当前子帧脉冲的侵入，由此使用红色输入测量了红色尾部向绿色的渗色。
总渗色量大于前一子帧尾部的叠加量：前一子帧的尾部为当前子帧脉冲在上升曲线的陡峭部分提供了“头部始点”，因此当前子帧的电平越高，输出误差就越大。换句话说，先前的红色脉冲使得当前的绿色脉冲的亮度比由线性叠加导致的亮度更高。
图9以亮度(x轴)与数字视频电平(y轴)的关系示出了红色在绿色上的渗色归一化。未利用棋盘渲染的数据由具有“x”数据点的线表示，利用1×1棋盘渲染的数据由具有“o”数据点的线表示。如图所示，与不利用棋盘渲染的情况相比，在利用棋盘渲染的情况下，从初始颜色子帧脉冲(红色)向第二颜色子帧脉冲(绿色)的归一化渗色要低得多。这使得LCoS颜色子帧脉冲和相应的激光脉冲能够在时间上更靠近，同时保持可接受的渗色量。
图10以亮度(x轴)与数字视频电平(y轴)的关系示出了绿色在蓝色上的渗色归一化。未利用棋盘渲染的数据由具有“x”数据点的线表示，利用棋盘渲染的数据由具有“o”数据点的线表示。与图9中所示的红色在绿色上的归一化结果类似，与不利用棋盘渲染的情况相比，在利用棋盘渲染的情况下，绿色在蓝色上的归一化结果要低得多。
图11示出了与棋盘渲染的应用对应的示例性时序图，该应用例如利用基于现场可编程门阵列(FPGA)的系统或等同功能的装置，例如驱动专用集成电路(ASIC)。图7的时序图是导致短余晖的颜色顺序数据传输和照射的示例性示图。
作为一个基本示例，为了产生图像，(1)必须读取数据(例如从存储器向缓存器读取)，(2)必须将位平面发送至LCoS，并且在显示器上发生指定颜色的照射(例如显示光)。例如，在要显示三个序列(例如红色、绿色、蓝色)的情况下，发生重叠以减少余晖，如下表所示：
从第一个颜色被照射(T2)时开始计算显示器的余晖，直到序列的最后一个颜色被照射(T6)时结束。具体而言，余晖时间是T2和T6之间的时间。例如，利用棋盘渲染，余晖时间可以是2.1毫秒。
使用棋盘图案化抽取方法和/或系统，可在具有不同的相应驱动电压(和/或其他因素)的相邻像素电极之间产生衰减。这种衰减对于图像质量可能是有害的，因为衰减改变了显示设备和/或系统(例如LCoS设备和/或系统)的灰度曲线。可通过校准驱动装置(例如校准到目标数字编码，以减弱伽马定律转换函数)来补偿该衰减。在校准后，根据本发明的方法和系统，每个像素不受上侧、下侧、左侧和右侧的相邻像素的边缘场效应的内容依赖性的影响，因为对于给定的像素和颜色子帧，它们总是为零(0)，并且校准已经补偿了这种衰减。但是，沿对角线的4个相邻像素仍然随内容而变化，因此可能无法完全消除边缘场效应。根据使用本发明的系统和方法进行的测量的结果，与不使用棋盘渲染的视频相比，边缘场效应的内容依赖性降低了大约50％至75％。应说明的是，若显示光学系统因导致光的局部微透镜(衍射)偏转的棋盘图案而不能捕获衍射光，则棋盘渲染可能导致进一步衰减。经过棋盘渲染的灰度曲线响应的校准通常能补偿最坏情况下的条纹场、暗线和/或衍射光衰减，因而能最大程度地减少这些有害的响应。
通过使用本发明的棋盘渲染方法和/或系统来减轻边缘场效应，能够使用本发明的脉冲锯齿渲染方法、装置和/或系统(通过减轻常见的暗线衰减问题)来增加给定数量的位平面的位深，从而能够进一步减少带宽。
III.锯齿化脉宽调制——图12-16
在本发明的实施例中，利用锯齿渲染方法通过对发送到成像器的给定数量的位平面编码更多灰度电平来实现减少给定显示系统位深的带宽或附加带宽。
在常规脉宽调制器(PWM)方法中，对于任何给定的像素，位平面序列导致如下的位序列：位序列中的所有1位的延续长度随着灰度电平的增加而增加，其后的0位的延续长度为与最高电平对应的剩余时间窗口。通常，在PWM中，像素会被接通一段固定的时间(例如与帧中的一系列1对应)并关断一段固定的时间(例如与帧中的特定量的0对应)。
图16示出了本发明的锯齿渲染方法。在该锯齿渲染方法中，不是采用诸如接通像素并使其在固定时间量或时间间隔内保持接通状态的方式，而是切换像素(即，接通并关断或在接通和关断状态之间切换)，其中关断状态的关断时间比液晶材料的上升或下降时间(可以相等或不相等)短。在本发明的锯齿渲染方法中，不是采用诸如关断像素并使其在固定时间量或时间间隔内保持关断状态的方式，而是在相同的设定或固定时段或时间间隔期间切换像素(即，关断并接通或在关断与接通状态之间切换)，其中接通状态的接通时间比液晶材料的上升或下降时间(可以相等或不相等)短。本发明的锯齿渲染方法增加固定时间间隔内的灰度电平的数量(例如与接通和关断状态对应或由像素的状态切换导致的灰度电平数量)。在本发明的一个实施例中，在位平面LUT 135中可存储一个或多个锯齿化PWM和/或非锯齿化PWM序列(例如对于可由空间光调制器156渲染的每一个电平)。
本发明的锯齿渲染方法包括相对于上升时间和下降时间将PWM中的脉冲关断一段较短时间。例如，在PWM具有大约400-500毫秒上升时间的情况下，锯齿渲染可将PWM的脉冲关断大约30-120毫秒。
图12是示出用于执行锯齿序列1200的方法的流程图。锯齿序列1200涉及可选地将一个或多个电平指配给PWM驱动方法(步骤1205)。例如，本发明的锯齿渲染方法通过在1的延续长度内插入0来去除给定PWM脉冲的小部分，从而在中间位平面内关断给定电平的脉冲。从PWM脉冲去除这些部分(例如缺口)使脉冲锯齿化。在本发明的一个实施例中，本发明的锯齿渲染方法附加地或替代地通过在0的延续长度内插入1来去除给定PWM脉冲的小部分，从而在中间位平面内接通给定电平的脉冲。
在PWM脉冲被锯齿化后，当使用利用SPWM的锯齿渲染方法时，锯齿序列500对输出电平进行校准。具体而言，在给定一组基于PWM的电平的情况下，确定SPWM电平的最佳位序列，并使用锯齿化PWM确定每个相应电平的驱动序列。利用锯齿渲染方法和棋盘渲染方法还有减少由SPWM导致的任何伪影的附加益处。下面结合图14-15更详细地说明校准输出电平。
在一些实施例中，这些脉冲和缺口重叠，从而产生锯齿化脉宽调制(SPWM)。图13中示出了本发明的一种示例性SPWM。
图13示出了用于短余晖驱动装置的PWM的位序列矩阵。
图13的左上侧所示的矩阵由每个灰度电平的一列位序列组成。应注意，该序列中每帧有两个重复脉冲，第一个脉冲用于照射，第二个脉冲用于DC平衡，以防止液晶离子漂移和镀层。在第一列中的指定时间将位平面发送到成像器的像素电极。
图13的左下方示出的数字波形与在矩阵内圈出的用于示例性灰度电平(例如在矩阵内圈出的电平51)的示例性位序列对应。
图13的右侧的图示出了以归一化反射率为单位的所得LCoS输出锯齿脉冲的模拟叠加图。蓝色和红色轨迹示出了平衡驱动装置上的DC电压(通过+和-Vcom)所需的两个脉冲的第一和第二脉冲，它们都针对64级电平(0-63)中的第51级示例性电平。蓝色轨迹示出了整个LCoS脉冲，就像它被正Vcom的连续波(CW)照射所照亮一样。红色轨迹也一样，但是它针对负Vcom，以恢复DC平衡。应说明的是，脉冲顶部附近的缺口已经被“锯齿化”，对应于矩阵中圈出的电平51一列中1的延续长度内的列中的两个0。叠加在这些锯齿脉冲上的是在下降的一部分期间这些脉冲的照射部分。相应的脉冲照射通常用于隔离红色、绿色和蓝色脉冲，以实现颜色独立性(用于减少渗色)。
图14-15示出了在使用利用SPWM的锯齿渲染方法时校准输出电平的两步过程。具体而言，(1)在给定一组基于PWM的电平的情况下确定SPWM电平的最佳位序列(图14，该图隐含地要求选择将使用PWM的电平)和(2)利用锯齿化PWM确定每个相应电平的驱动序列(图15)。
为了确定锯齿渲染方法中的驱动序列(图14)，算法选择与位平面数量对应的基于PWM的电平的特定子集(步骤1210)。
图14的左侧图示出了PWM电平决定位平面时间(步骤1215)。如在数字电平(x轴)上所示，PWM计算参考值的归一化光输出电平(y轴)(描绘为具有“o”数据点的数据线)和PWM计算测量线(描绘为具有“+”数据点的线)彼此跟随。
图14的右侧图示出了与参考目标输出电平(“o”)相比的潜在SPWM输出电平(每个“x”的垂直坐标)。理想情况下，对于每个“o”，在相同的垂直坐标处存在对应的“+”。例如，8个位平面与256级电平(2的8次方)对应。使用常规PWM驱动子集中的每级电平，产生相应的位平面，并校准用于PWM驱动的位平面定时。图中示出了目标电平(表示为“o”数据点)和潜在的SPWM电平(表示为“x”数据点)。
为了确定锯齿渲染方法中的驱动序列(图15)，算法确定锯齿化PWM输出电平的驱动序列(步骤1220)。具体而言，剩余的灰度电平模拟(或以其他方式确定)通过在PWM的位序列中用0替换1来形成的最佳位模式。图15的左侧示出了相应位平面的潜在电平，图15的右侧示出了确定的电平，其中SPWM初始参考值被描绘为具有“o”数据点的数据线，而SPWM初始测量(或模拟)线被描绘为具有“+”数据点的线。为指定为SPWM的每个输出电平确定电平，选择从SPWM序列集合估算的相应最近匹配输出电平的“锯齿化”序列(步骤1225)。
利用棋盘渲染和/或锯齿渲染，可通过足以满足AR/VR/MR应用所无法满足的要求的重要因素实现减少余晖和减少延迟。例如，与常规PWM技术相比，利用棋盘渲染和/或锯齿渲染可使延迟减少15-50％。
在一些实施例中，在用于生成图像(例如AR、VR、MR图像)的成像系统(例如包括成像器和/或显示器的系统或设备)中利用棋盘渲染和/或锯齿渲染。在本发明的一个实施例中，本发明的棋盘渲染系统和/或方法和/或本发明的锯齿渲染系统和/或方法能够实现用于AR、VR和/或MR系统、设备和/或方法的成本低但质量更高的显示系统。在一个实施例中，棋盘渲染和/或锯齿渲染减少了视频源与显示器之间的带宽。
作为一个说明性示例，通过脉宽调制(PWM)驱动方法也许能最佳地实现下表的相关技术。下表比较了常规PWM驱动方法和本发明的SPWM的特性，尤其是照射锯齿化脉宽调制(ISPWM)脉冲照射锯齿化PWM(ISPWM)。
IV.本技术的精选特征
上文说明了本技术的一部分(但非全部)益处、优点、动机和结果，在本节中说明其中的一部分(但非全部)。
棋盘渲染和/或锯齿渲染用于改善和/或消除AR、VR和MR应用中的模糊伪影。所实现的较短渲染时间能提高信息速率，而这是更高帧速率、直视立体和全视(“全息”)显示等所需的。
模糊伪影的改善缩短了PWM内的脉冲，并减少了延迟/带宽减少延迟、余晖和/或带宽。具体而言，利用锯齿化PWM(SPWM)，能够以较少的位平面使用灰度电平。
利用SPWM能降低边缘场效应的显著性，包括减轻暗线问题。棋盘渲染因空间梯度而使衰减最大化，但正常的输出电平曲线校准能直接减轻这种衰减，因此暗线不太明显。此外，通过驱动电压选择(Vcom和Vpix)实现的电子预倾斜通常能减少WOB和暗线效应。驱动波形相关性减小了相邻瞬时低电压的差异，从而也减少了这些类型的有害伪影。
LCoS脉冲和相应的激光脉冲在时间上更靠近，同时不会增加渗色。由于第一和第三种颜色与第二种颜色的时空分离，因此棋盘渲染能减少渗色。另外，使用颜色校正LUT来减轻所产生的色域内的渗色。
将驱动装置和/或过程的上游的位旋转或位旋转和位平面LUT移入图形处理方法、处理器或处理装置中，从而在与驱动装置相关联的驱动过程中不需要帧缓冲器。相反，只有一小部分图像数据(例如较小的位平面FIFO或可能的颜色子帧存储器)驻留在LCoS处理芯片中。这减少了上游处理器与LCoS处理芯片之间的所需带宽，减少了LCoS处理芯片上所需的存储器，并实现了相应的更低延迟的显示系统。
虽然在本文中示出并说明了一些实施例，但是本领域普通技术人员应理解，在不脱离本发明的范围的前提下，可用为了实现相同的目的而做出的各种替代和/或等效实施例或实施方案来代替所示和所述的实施例。本领域技术人员容易理解，这些实施例可按各种方式实现。本申请旨在涵盖本文所论述的实施例的任何修改或变化。因此，显而易见的是，这些实施例仅受权利要求及其等同内容的限制。对于本领域技术人员来说显而易见的是，在不脱离本发明的精神或范围的前提下，能在本发明中做出各种修改和变化。因此，本发明意图涵盖落入所附权利要求及其等同内容的范围内的本发明的修改和变化。
在本文中公开了本发明的多个实施例。所公开的实施例仅是一些示例，这些示例可体现为各种形式、替代形式、以及它们的组合。例如，在本文中所用的“示例性”和类似术语泛指用作图示、样本、模型或模式的实施例。
附图不一定是按比例绘制的，并且某些特征可能被放大或缩小了，以便示出特定部件的细节等。在一些情况下，没有详细说明公知的部件、系统、材料或方法，以避免使本公开变得模糊。因此，不应将在此公开的具体结构和功能细节理解为限定性的，而应仅作为权利要求的基础，并作为用于教导本领域技术人员的典型基础。
上述实施例仅是为了清晰地理解本公开的原理而阐述的实施方案的示例性说明。在不脱离权利要求的范围的前提下，能够对上述实施例做出各种变化、修改和组合。所有这些变化、修改和组合在此都包括在本公开和所附权利要求的范围内。

Claims (20)

1.一种包含指令的计算机可读存储装置，当由处理器执行时，所述指令使所述处理器执行操作，以在显示器上显示图像，所述操作包括：
利用脉宽调制PWM方法驱动所述显示器的一组像素，所述PWM方法产生由PWM引起的多个脉冲；
在预定时段内使用所述PWM的第一脉冲激励与第一帧相关联的第一像素；
在激励所述第一像素的时段内对第二脉冲进行锯齿化。
2.根据权利要求1所述的装置，其中所述操作还包括：
产生用于与所述显示器的驱动装置通信的图像数据包，所述图像数据包包括具有由所述一组像素形成的位阵列的位平面；和
将用于在所述显示器上呈现所述图像的所述图像数据包传送至所述显示器的所述驱动装置。
3.根据权利要求1所述的装置，其中所述第一脉冲与所述第一帧中的所述第一像素的照射相对应，并且所述第二脉冲与第二像素内的电流和/或电压平衡相对应，从而减少或消除所述第一像素内的离子漂移。
4.根据权利要求1所述的装置，其中对所述第二脉冲进行锯齿化减少用户在所述显示器上所感知的延迟。
5.根据权利要求1所述的装置，其中对所述第二脉冲进行锯齿化减少所述显示器的用户所感知的余晖。
6.根据权利要求1所述的装置，其中所述第一像素与第一颜色序列相关联，并且所述第二像素与第二颜色序列相关联。
7.根据权利要求6所述的装置，其中所述第一颜色序列包括红色序列和蓝色序列，并且所述第二颜色序列包括绿色序列。
8.根据权利要求7所述的装置，其中对所述第二脉冲进行锯齿化减少所述第一帧中的所述第一颜色序列向所述第二帧中的所述第一颜色序列的渗色。
9.根据权利要求7所述的装置，其中：
所述第一颜色序列在第一预定时段内执行；
所述第二颜色序列在第二预定时段内执行；并且
所述第二颜色序列的执行在结束所述第一颜色序列的执行之前开始，从而导致所述第一颜色序列和所述第二颜色序列的执行重叠。
10.一种用于在显示器上显示图像的系统，包括：
处理器；和
包含指令的计算机可读存储装置，当由处理器执行时，所述指令使所述处理器执行操作，所述操作包括：
利用脉宽调制PWM方法驱动所述显示器的一组像素，所述PWM方法产生由PWM引起的多个脉冲；
在预定时段内使用所述PWM的第一脉冲激励与第一帧相关联的第一像素；
在激励所述第一像素的时段内对第二脉冲进行锯齿化。
11.根据权利要求10所述的系统，其中所述第一脉冲与所述第一帧中的所述第一像素的照射相对应，并且所述第二脉冲与第二像素内的电流平衡相对应，从而减少或消除所述第一像素和所述第二像素内的离子漂移。
12.根据权利要求10所述的系统，其中对所述第二脉冲进行锯齿化减少用户在所述显示器上所感知的延迟。
13.根据权利要求10所述的系统，其中对所述第二脉冲进行锯齿化减少所述显示器的用户所感知的余晖。
14.根据权利要求10所述的系统，其中所述第一像素与第一颜色序列相关联，并且所述第二像素与第二颜色序列相关联。
15.根据权利要求14所述的系统，其中所述第一颜色序列包括红色序列和蓝色序列，并且所述第二颜色序列包括绿色序列。
16.根据权利要求15所述的系统，其中对所述第二脉冲进行锯齿化减少所述第一帧中的所述第一颜色序列向所述第二帧中的所述第一颜色序列的渗色。
17.根据权利要求15所述的系统，其中：
所述第一颜色序列在第一预定时段内执行；
所述第二颜色序列在第二预定时段内执行；并且
所述第二颜色序列的执行在结束所述第一颜色序列的执行之前开始，从而导致所述第一颜色序列和所述第二颜色序列的执行重叠。
18.一种用于在显示器上显示图像的方法，包括：
利用脉宽调制PWM方法驱动所述显示器的一组像素，所述PWM方法产生由PWM引起的多个脉冲；
在预定时段内使用所述PWM的第一脉冲激励与第一帧相关联的第一像素；
在所述预定时段内保持与所述第一帧相关联的第二像素的功率；
在激励所述第一像素的时段内对第二脉冲进行锯齿化。
19.根据权利要求18所述的方法，其中对所述第二脉冲进行锯齿化减少用户在所述显示器上所感知的延迟，并减少所述显示器的用户所感知的余晖。
20.根据权利要求18所述的方法，其中：
所述第一像素与第一颜色序列相关联；
所述第二像素与第二颜色序列相关联，所述第一颜色序列在第一预定时段内执行；
所述第二颜色序列在第二预定时段内执行；并且
所述第二颜色序列的执行在结束所述第一颜色序列的执行之前开始，从而导致所述第一颜色序列和所述第二颜色序列的执行重叠。
CN201880024949.1A 2017-06-22 2018-06-22 用于驱动显示设备的系统和方法 Active CN110520921B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762523717P 2017-06-22 2017-06-22
US62/523,717 2017-06-22
PCT/US2018/039172 WO2018237366A1 (en) 2017-06-22 2018-06-22 SYSTEM AND METHODS FOR CONTROLLING A DISPLAY DEVICE

Publications (2)

Publication Number Publication Date
CN110520921A true CN110520921A (zh) 2019-11-29
CN110520921B CN110520921B (zh) 2023-08-25

Family

ID=64737317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024949.1A Active CN110520921B (zh) 2017-06-22 2018-06-22 用于驱动显示设备的系统和方法

Country Status (6)

Country Link
US (1) US20200226989A1 (zh)
EP (1) EP3590110A1 (zh)
JP (1) JP2020525813A (zh)
KR (1) KR20200019179A (zh)
CN (1) CN110520921B (zh)
WO (1) WO2018237366A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727858B2 (en) * 2018-12-10 2023-08-15 Auroratech Company Display driver IC (DDIC) backplane for scanning microLED array
CN112466259B (zh) * 2020-12-24 2021-11-23 深圳市鼎阳科技股份有限公司 一种示波器的灰度补偿方法和装置

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020114532A1 (en) * 2000-12-19 2002-08-22 Edward Ratner Method and apparatus for deblurring and re-blurring image segments
US20030184502A1 (en) * 2002-03-29 2003-10-02 Nec Plasma Display Corporation Method of driving plasma display panel
CN1466820A (zh) * 2001-07-30 2004-01-07 杉田忠雄 降噪装置
US20060279517A1 (en) * 2005-06-13 2006-12-14 Shin Hyun H Liquid crystal display device and method for driving the same
US20070035259A1 (en) * 2005-08-09 2007-02-15 Zhao Wang Inverter controller with feed-forward compensation
US20070086090A1 (en) * 2005-10-13 2007-04-19 Wintek Corporation Image display device and optical element for forming stereoscopic image used in the same
US20080158207A1 (en) * 2006-12-29 2008-07-03 Wintek Corpo.Ration Field sequential liquid crystal display and driving method thereof
CN101218621A (zh) * 2005-04-01 2008-07-09 博达公司 具有包含光学荧光材料的屏幕的显示系统和装置
CN101495948A (zh) * 2006-06-02 2009-07-29 富里科技公司 使用多脉冲的脉冲宽度驱动方法
CN101523284A (zh) * 2006-06-02 2009-09-02 富里科技公司 光学寻址的灰度级电荷积累空间光调制器
US20100177129A1 (en) * 2009-01-12 2010-07-15 Fredlund John R Artifact reduction in optical scanning displays
CN101855665A (zh) * 2007-11-08 2010-10-06 皇家飞利浦电子股份有限公司 驱动显示器的像素
CN102137268A (zh) * 2011-04-08 2011-07-27 清华大学 立体视频的行交错和棋盘格的渲染方法及装置
CN102272793A (zh) * 2008-10-30 2011-12-07 森西欧技术公司 缩放已压缩图像帧的方法和系统
CN102301712A (zh) * 2008-12-30 2011-12-28 森西欧技术公司 对亮度和色度彩色空间图像使用棋盘形马赛克的图像压缩
US20130222403A1 (en) * 2012-02-28 2013-08-29 Texas Instruments Incorporated Spatial and temporal pulse width modulation method for image display
US20140071231A1 (en) * 2012-09-11 2014-03-13 The Directv Group, Inc. System and method for distributing high-quality 3d video in a 2d format
US20170032729A1 (en) * 2015-07-28 2017-02-02 Caba Moldvai Pulse width modulation for a head-mounted display device display illumination system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6046716A (en) * 1996-12-19 2000-04-04 Colorado Microdisplay, Inc. Display system having electrode modulation to alter a state of an electro-optic layer
JP3840746B2 (ja) * 1997-07-02 2006-11-01 ソニー株式会社 画像表示装置及び画像表示方法
KR20010050623A (ko) * 1999-10-04 2001-06-15 모리시타 요이찌 고계조도 표시기술
US9640108B2 (en) * 2015-08-25 2017-05-02 X-Celeprint Limited Bit-plane pulse width modulated digital display system

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020114532A1 (en) * 2000-12-19 2002-08-22 Edward Ratner Method and apparatus for deblurring and re-blurring image segments
CN1466820A (zh) * 2001-07-30 2004-01-07 杉田忠雄 降噪装置
US20030184502A1 (en) * 2002-03-29 2003-10-02 Nec Plasma Display Corporation Method of driving plasma display panel
CN101218621A (zh) * 2005-04-01 2008-07-09 博达公司 具有包含光学荧光材料的屏幕的显示系统和装置
US20060279517A1 (en) * 2005-06-13 2006-12-14 Shin Hyun H Liquid crystal display device and method for driving the same
US20070035259A1 (en) * 2005-08-09 2007-02-15 Zhao Wang Inverter controller with feed-forward compensation
US20070086090A1 (en) * 2005-10-13 2007-04-19 Wintek Corporation Image display device and optical element for forming stereoscopic image used in the same
CN101495948A (zh) * 2006-06-02 2009-07-29 富里科技公司 使用多脉冲的脉冲宽度驱动方法
CN101523284A (zh) * 2006-06-02 2009-09-02 富里科技公司 光学寻址的灰度级电荷积累空间光调制器
US20080158207A1 (en) * 2006-12-29 2008-07-03 Wintek Corpo.Ration Field sequential liquid crystal display and driving method thereof
CN101855665A (zh) * 2007-11-08 2010-10-06 皇家飞利浦电子股份有限公司 驱动显示器的像素
CN102272793A (zh) * 2008-10-30 2011-12-07 森西欧技术公司 缩放已压缩图像帧的方法和系统
CN102301712A (zh) * 2008-12-30 2011-12-28 森西欧技术公司 对亮度和色度彩色空间图像使用棋盘形马赛克的图像压缩
US20100177129A1 (en) * 2009-01-12 2010-07-15 Fredlund John R Artifact reduction in optical scanning displays
CN102137268A (zh) * 2011-04-08 2011-07-27 清华大学 立体视频的行交错和棋盘格的渲染方法及装置
US20130222403A1 (en) * 2012-02-28 2013-08-29 Texas Instruments Incorporated Spatial and temporal pulse width modulation method for image display
US20140071231A1 (en) * 2012-09-11 2014-03-13 The Directv Group, Inc. System and method for distributing high-quality 3d video in a 2d format
US20170032729A1 (en) * 2015-07-28 2017-02-02 Caba Moldvai Pulse width modulation for a head-mounted display device display illumination system

Also Published As

Publication number Publication date
JP2020525813A (ja) 2020-08-27
WO2018237366A1 (en) 2018-12-27
EP3590110A4 (en) 2020-01-08
CN110520921B (zh) 2023-08-25
EP3590110A1 (en) 2020-01-08
US20200226989A1 (en) 2020-07-16
KR20200019179A (ko) 2020-02-21

Similar Documents

Publication Publication Date Title
US11336888B2 (en) Multi-view collimated display
US10909892B2 (en) Light field reconstruction
US10948712B2 (en) Augmented reality light field display
US10432919B2 (en) Shuttered waveguide light field display
Rathinavel et al. An extended depth-at-field volumetric near-eye augmented reality display
US9841563B2 (en) Shuttered waveguide light field display
US9860522B2 (en) Head-mounted light field display
US10192292B2 (en) Accommodation-invariant computational near-eye displays
CN105992965B (zh) 响应于焦点移位的立体显示
JP2021518679A (ja) ディスプレイシステムのための深度ベースの中心窩化レンダリング
Jefferson et al. An interface to support color blind computer users
US20210236845A1 (en) Retinal stimulator
CN110520921A (zh) 用于驱动显示设备的系统和方法
Jindal Motion quality models for real-time adaptive rendering
CN114189670B (zh) 显示方法、显示装置、显示设备及存储介质
Kavaklı et al. Multi-color Holograms Improve Brightness in Holographic Displays
Stengel Gaze-contingent Computer Graphics
JP2002341856A (ja) 情報表示方法、情報表示装置およびその方法により輝度変換した画像情報を記録した媒体
Thollot et al. Evaluation of next-generation color wheels for field sequential color displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220825

Address after: California, USA

Applicant after: SNAP Inc.

Address before: Arizona

Applicant before: COMPOUND PHOTONICS U.S. Corp.

GR01 Patent grant
GR01 Patent grant