CN110930935A - 利用像素移位的抽取式残像补偿 - Google Patents

利用像素移位的抽取式残像补偿 Download PDF

Info

Publication number
CN110930935A
CN110930935A CN201910822215.4A CN201910822215A CN110930935A CN 110930935 A CN110930935 A CN 110930935A CN 201910822215 A CN201910822215 A CN 201910822215A CN 110930935 A CN110930935 A CN 110930935A
Authority
CN
China
Prior art keywords
image frame
display
compensated
receive
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910822215.4A
Other languages
English (en)
Other versions
CN110930935B (zh
Inventor
张晟
王超昊
M·斯洛茨基
张一帆
高太旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110930935A publication Critical patent/CN110930935A/zh
Application granted granted Critical
Publication of CN110930935B publication Critical patent/CN110930935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/04—Maintaining the quality of display appearance
    • G09G2320/043—Preventing or counteracting the effects of ageing
    • G09G2320/046—Dealing with screen burn-in prevention or compensation of the effects thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开涉及利用像素移位的抽取式残像补偿。本文公开了一种平板显示设备和方法，用于通过在显示器或增强现实显示器中的抽取式查找表与像素移位来防止显示面板残像。

Description

利用像素移位的抽取式残像补偿
相关申请的交叉引用
本申请要求2018年9月4日提交的名称为“DECIMATED BURN-IN COMPENSATIONWITH PIXEL SHIFTING”的美国临时申请序列号62/726,876；和2019年5月3日提交的名称为“DECIMATED BURN-IN COMPENSATION WITH PIXEL SHIFTING”的美国专利申请序列号16/403,366的权益；其公开内容全文以引用方式并入本文。
技术领域
本公开的各方面整体涉及显示器。各方面包括一种方法和设备，用于通过在平板显示器或增强现实显示器中的抽取式查找表与像素移位来防止显示面板残像(burn-in)。
背景技术
显示器是用于使人们能够看到内容，诸如静止图像、移动图像、文本或其他视觉材料的电子查看技术。
一种平板显示器包括显示面板，该显示面板包括以矩阵格式布置的多个像素。显示面板包括在行方向(y轴)上形成的多个扫描线和在列方向(x轴)上形成的多个数据线。多个扫描线和多个数据线被布置成彼此交叉。每个像素由从其对应的扫描线和数据线供应的扫描信号和数据信号驱动。
平板显示器可被分类为无源矩阵型发光显示设备或有源矩阵型发光显示设备。有源矩阵面板选择性地照亮每个单位像素。由于有源矩阵面板的分辨率、对比度和操作速度特性，因此使用了它们。
一种类型的有源矩阵显示器是有源矩阵有机发光二极管(AMOLED)显示器。有源矩阵有机发光显示器通过使电流流向有机发光二极管来产生光而产生图像。有机发光二极管是像素中的发光元件。每个像素的驱动薄膜晶体管(TFT)使电流根据图像数据的层次而流动。
平板显示器用于许多便携式设备，诸如膝上型电脑和移动电话。
屏幕残像、图像残像或重像是由于像素的累积不均匀使用而引起的显示器上的区域变色。
在有机发光二极管(OLED)显示器中，亮度衰减的广泛变化将导致随时间推移的明显颜色漂移，其中红-绿-蓝(RGB)颜色中的一者由于发光像素的亮度衰减而变得更加显著。
就液晶显示器(LCD)而言，残像的机理是不同的。对于LCD，在一些情况下，由于像素在持续的静态使用配置文件之后永久地失去恢复到其松弛状态的能力，因此会出现残像。在大多数典型的使用配置文件中，LCD中的这种图像持久性仅是暂时性的。
在台式计算机应用程序中，“屏幕保护程序”软件积极尝试避免屏幕残像。通过确保在很长时间段内显示静态图像而未留下任何像素或像素组，保持了荧光体亮度。现代屏幕保护程序可以在不使用屏幕时将其关闭。
发明内容
实施方案包括一种电子显示器，其被设计用于通过在平板显示器或增强现实显示器中的抽取式查找表与像素移位来防止显示面板残像。
在一个实施方案中，电子显示器包括显示面板和抽取式残像补偿器。抽取式残像补偿器被配置为接收图像帧并且将经补偿的输出帧输出至显示面板。抽取式残像补偿器还包括像素移位器、下采样器、N×N分箱(bin)补偿查找表、插值器和乘法器。像素移位器被配置为接收图像帧并且将该图像帧移位预定数量的像素，从而得到经移位的图像帧。下采样器被配置为接收图像帧并且将该图像帧下采样为经下采样的图像帧。N×N分箱补偿查找表被配置为接收经下采样的图像帧并且将该经下采样的图像帧补偿为经补偿的图像帧。插值器被配置为接收经补偿的图像帧并将该经补偿的图像帧插值为经插值的图像帧。乘法器被配置为将经移位的图像帧与经插值的图像帧组合，从而得到经补偿的输出帧。显示面板被进一步配置为显示经补偿的输出帧。
在增强现实实施方案中，图像数据来自两个来源：由数字相机捕获的真实世界图像分量，以及由图形处理单元(GPU)生成的虚拟图像分量。增强现实显示器包括显示面板、图形处理单元、相机、混合单元和抽取式残像补偿器。图形处理单元被配置为生成虚拟图像帧。相机被配置为捕获真实世界图像帧。混合单元被配置为接收来自图形处理单元的虚拟图像帧，接收来自相机的真实世界图像帧，并且将虚拟图像帧与真实世界图像帧组合以产生组合的图像帧。抽取式残像补偿器被配置为接收组合的图像帧并且将经补偿的输出帧输出至显示面板。抽取式残像补偿器还包括像素移位器、下采样器、N×N分箱补偿查找表、插值器和乘法器。像素移位器被配置为接收组合的图像帧并且将该图像帧移位预定数量的像素，从而得到经移位的图像帧。下采样器被配置为接收图像帧并且将该图像帧下采样为经下采样的图像帧。N×N分箱补偿查找表被配置为接收经下采样的图像帧并且将该经下采样的图像帧补偿为经补偿的图像帧。N为大于一的整数。插值器被配置为接收经补偿的图像帧并将该经补偿的图像帧插值为经插值的图像帧。乘法器被配置为将经移位的图像帧与经插值的图像帧组合，从而得到经补偿的输出帧。显示面板被进一步配置为显示经补偿的输出帧。
在另选的实施方案中，增强现实显示器包括显示面板、图形处理单元、第一抽取式残像补偿器、相机，第二抽取式残像补偿器和混合单元。图形处理单元被配置为生成虚拟图像帧。第一抽取式残像补偿器被配置为接收虚拟图像帧并且将经补偿的虚拟输出帧输出。第一抽取式残像补偿器还包括第一像素移位器、第一下采样器、第一N×N分箱补偿查找表、第一插值器和第一乘法器。第一像素移位器被配置为接收虚拟图像帧并且将虚拟图像帧移位第一预定数量的像素，从而得到第一经移位的图像帧。第一下采样器被配置为接收虚拟图像帧并且将该图像帧下采样为第一经下采样的图像帧。第一N×N分箱补偿查找表被配置为接收第一经下采样的图像帧并且将该第一经下采样的图像帧补偿为第一经补偿的图像帧，其中N为大于一的整数。第一插值器被配置为接收第一经补偿的图像帧并将该第一经补偿的图像帧插值为第一经插值的图像帧。第一乘法器被配置为将第一经移位的图像帧与第一经插值的图像帧组合，从而得到经补偿的虚拟输出帧。相机被配置为捕获真实世界图像帧。第二抽取式残像补偿器被配置为接收真实世界图像帧并且将经补偿的真实世界输出帧输出。第二抽取式残像补偿器还包括第二像素移位器、第二下采样器、M×M分箱补偿查找表、第二插值器和第二乘法器。第二像素移位器被配置为接收真实世界图像帧并且将该真实世界图像帧移位第二预定数量的像素，从而得到第二经移位的图像帧。第二下采样器被配置为接收真实世界图像帧并且将该图像帧下采样为第二经下采样的图像帧。M×M补偿查找表被配置为接收第二经下采样的图像帧并且将该第二经下采样的图像帧补偿为第二经补偿的图像帧，其中M为大于一的整数。第二插值器被配置为接收第二经补偿的图像帧并将该第二经补偿的图像帧插值为第二经插值的图像帧。第二乘法器被配置为将第二经移位的图像帧与第二经插值的图像帧组合，从而得到经补偿的真实世界图像帧。混合单元被配置为接收来自第一抽取式残像补偿器的经补偿的虚拟图像帧，被配置为接收来自第二抽取式残像补偿器的经补偿的真实世界图像帧，并且被配置为将经补偿的虚拟图像帧与经补偿的真实世界图像帧组合以产生组合的图像帧。所述显示面板被进一步配置为显示组合的图像帧。
附图说明
为更好地理解本公开的性质和优点，应参考以下描述及附图。然而，应当理解，图中的每个仅被提供用于例示的目的，并且图中的每个并非旨在作为对本公开的范围的限制的定义。而且，作为一般性规则，且除非明显与描述相反，若在不同图中的元件使用相同附图标号，则元件在功能或目的上一般是相同或至少类似的。
图1为抽取式残像补偿器的框图，该抽取式残像补偿器被设计用于通过在平板显示器中的抽取式查找表与像素移位来防止显示面板残像。
图2示出了具有被设计用于补偿组合的增强现实图像以防止显示面板处的残像的单个抽取式残像补偿器的平板显示器。
图3示出了用于增强现实实施方案的平板显示器，其中两个抽取式残像补偿器被设计用于补偿真实世界图像分量和虚拟图像分量以防止显示面板处的残像。
具体实施方式
本公开的一个方面是认识到多种残像补偿技术是次优的。虽然可以通过逐个像素跟踪和补偿来解决平板显示器残像问题，但使用逐个像素跟踪会产生大的存储和读取查找表(LUT)。所需的大量动态只读存储器(DRAM)或静态只读存储器(SRAM)增加半导体模片面积和制造成本。此外，大量DRAM的使用导致过量的功率消耗。继而，较高的功率消耗导致便携式设备诸如平板电脑、移动电话、虚拟现实耳机或增强现实眼镜和增强现实显示智能电话、数字“智能”手表和其他数字设备中的电池寿命降低。
本公开的一个方面包括观察到使用N×N像素块来代替逐个像素跟踪减少了补偿内存带宽和功率要求，并且节省了查找表占有面积。此解决方案降低了内存和芯片尺寸要求，从而降低了制造成本。
为了更好地理解本公开的特征和方面，在以下部分中，通过平板显示器的具体实施来提供本公开的更多上下文，该具体实施根据本公开的实施方案通过在平板显示器中的抽取式查找表与像素移位避免了显示面板残像。另选的实施方案示出了如何实现这种平板显示器以在增强现实显示器中使用。这些实施方案仅用于解释目的，可在其他显示设备中采用其他实施方案。例如，本公开的实施方案可与任何显示设备一起使用，所述任何显示设备通过在平板显示器中的抽取式查找表与像素移位来补偿和防止显示面板残像。
图1为根据本公开的实施方案的具有抽取式残像补偿器1000的平板显示器100实施方案的框图，该残像补偿器被设计用于通过显示面板200中的抽取式补偿查找表与像素移位来防止显示面板残像。平板显示器100可为独立显示器，或以下项中的一部分：计算机显示器、电视机、笔记本电脑，平板电脑、移动电话、智能电话、增强现实显示器、数字“智能”手表或其他数字设备。抽取式残像补偿器1000被配置为接收图像帧并输出防止显示面板残像的补偿帧。本质上，平板显示器100从由乘法器组合的两个数据流接收输入：来自帧缓冲器的像素移位图像，以及通过N×N补偿查找表的图像。
在该实施方案中，平板显示器100具有抽取式残像补偿器1000和显示面板200。
显示面板200可为有机发光二极管(OLED)显示器，诸如无源矩阵(PMOLED)或有源矩阵(AMOLED)。在其他实施方案中，显示面板200可为液晶显示器(LCD)或微型发光二极管(微型LED)显示器。显示面板200显示从抽取式残像补偿器1000中接收的图像。
抽取式残像补偿器1000使用像素移位和补偿N×N像素块的组合，其中N为由大于一的整数所表示的抽取因子。例如，在一些实施方案中，N为2。因此，抽取式残像补偿器1000包括像素移位器1200和N×N分箱补偿查找表1600。抽取式残像补偿器1000的实施方案还可包括帧缓冲器1100、像素历史积累1400、下采样器1500、插值器1700和乘法器1300。
帧缓冲器1100是包含位图图像帧数据用以驱动显示面板200的随机存取存储器(RAM)的一部分。就本实施方案而言，帧缓冲器1100存储数据的至少一个图像帧。帧缓冲器1100可从外部图形卡或驱动器(未示出)接收数据的图像帧，并且将该图像帧转发至像素移位器1200。
像素移位器1200从帧缓冲器1100接收图像帧并周期性地(竖直地和/或水平地)将图像移位预定数量的像素。在一些实施方案中，图像帧以限定的节奏和像素间隔在一个圆中移位。像素移位器1200可将图像帧潜移默化地移位到显示面板200的查看器上。
当N×N像素块内的像素具有显著不同的内容历史时，存在对于较少残像的像素进行过补偿并且对于其他像素进行欠补偿的风险。通过周期性地对内容进行移位，像素移位器1200消除了N×N像素块内的应力水平差。
图像可最多移位1个像素、2个像素、4个像素、8个像素、12个像素或16个像素。图像移位可发生在每步1x1或2x2像素移位的情况下。在其他实施方案中，图像可移位1-16个像素。移位的像素数可与N×N像素块抽取式补偿相关。例如，在一个实施方案中，1个像素移位可与8x8像素块一起使用。实际上，像素移位分配了残像内容应力，并且等同于在残像应力(BIS)之前向内容施加低通滤波。较大的合并导致低通滤波器的较平滑梯度，以及在锐利图像边缘处的较小误差。较长的图像移位范围实现良好的平滑效果。
像素历史积累1400是存储先前显示的图像帧的历史的计算机存储器。像素历史积累1400可为随机存取存储器(RAM)、闪存存储器等。在一些实施方案中，像素历史积累1400包括来自帧缓冲器1100的图像。
下采样器1500接收来自像素历史积累1400的先前显示的图像帧，并对图像进行抽取以减小其尺寸。抽取过程将图像缩减成N×N像素分箱，其中N是由大于或等于二(2)的整数表示的抽取因子。尺寸上减小N2显著地节省了由抽取式残像补偿器1000所使用的查找表的大小，并且也减小了所使用的内存量。
N×N分箱补偿查找表1600允许抽取式残像补偿器1000将特征曲线施加到从下采样器1500接收的图像帧。在该应用中，N×N分箱补偿查找表1600将输出值分配给每个可能的N×N输入值，这允许校正色彩空间计算以快速执行，从而防止残像。在N×N分箱补偿查找表1600中，N为由大于一的整数所表示的抽取因子。本领域的技术人员应当理解，N×N分箱补偿查找表1600将有利于图像对比度、亮度变化、灰度值扩展、各个梯度表或增强图像伽玛。一旦图像帧由N×N补偿查找表1600补偿，就产生补偿图像并发送至插值器1700。
插值器1700将从N×N补偿查找表1600接收的补偿图像尺寸重新调整为与显示面板200的原始分辨率匹配的放大图像。放大图像被转发至乘法器1300，该乘法器用作合成框以将放大图像与来自像素移位器1200的移位图像进行组合。所得图像由抽取式残像补偿器1000输出至显示面板200。
现转向图2至图3，其各自示出了用于增强现实应用的平板显示器的另选实施方案。每个另选实施方案包括被设计成防止显示面板残像的抽取式残像补偿器1000。在增强现实实施方案中，图像数据来自两个来源：由数字相机捕获的真实世界图像分量，以及由图形处理单元(GPU)生成的虚拟图像分量。这两个来源由混合单元组合，并且最终投影在显示面板上。根据特定实施方案的具体实施，抽取式残像补偿器可用于补偿两个图像数据源中的每一个或组合图像数据。
本领域的技术人员应当理解，图2至图3所示的实施方案可包括未示出的一个或多个图像帧缓冲器。
图2示出了根据本公开的实施方案的具有被设计用于补偿组合的增强现实图像以防止显示面板200处的残像的单个抽取式残像补偿器1000的平板显示器2000。
虚拟图像分量由图形处理单元2100生成的多个虚拟图像帧构成。图形处理单元2100可为专用集成电路(ASIC)，其被设计用于快速操纵和改变存储器以加速帧缓冲器中的图像的创建。在其他实施方案中，图形处理单元2100可嵌入在平板显示器2000的中央处理单元(CPU)芯片或母板上。一旦由图形处理单元2100生成，虚拟图像帧就被转发至混合单元2400以与真实世界图像帧组合。
真实世界图像分量由相机2200捕获的多个真实世界图像帧构成。相机2200可为具有数字图像传感器诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的任何光学捕获系统。一旦被相机2200捕获，真实世界图像帧就被转发至图像信号处理器(ISP)2300。
图像信号处理器2300是专用于来自相机2200的图像处理数据的数字信号处理器(DSP)集成电路。具体地，图像信号处理器2300可执行拜耳变换或去马赛克以实现颜色准确度、降噪、图像锐化或插值以调整从相机2200所接收的捕获图像的尺寸。图像信号处理器2300可实现单指令、多数据(SIMD)或多指令、多数据(MIMD)技术以允许图像数据的并行处理。将所得成像处理后的真实世界图像帧转发至混合单元2400以与虚拟图像帧进行组合。
混合单元2400是用于将虚拟图像帧与真实世界图像帧组合的专用图像处理单元。混合单元2400可将虚拟图像帧和真实世界图像帧视为待混合在一起的两个层。在此类实施方案中，虚拟图像帧被视为叠加在真实世界“底层”图像的顶部上的“顶层”或“有源层”图像。所得混合图像是转发到镜头畸变校正器2500的增强现实图像。
镜头畸变校正器2500是用于校正由相机2200中的镜头引起的径向(光学)畸变的图像处理器。在一些实施方案中，镜头畸变校正器2500被实现为可使用布朗康拉迪畸变模型来校正径向畸变和切向图像畸变的软件或固件校正。一旦畸变被校正，经校正图像就被发送至抽取式残像补偿器1000。抽取式残像补偿器1000通过抽取式补偿查找表与像素移位防止显示面板残像，如图1中所述。将所得图像转发到像素管线2600。
在本领域中，像素管线2600有时也被称为计算机图形管线、渲染管线或图形管线。像素管线2600将三维场景渲染到二维显示屏上。本领域的技术人员应当理解，此操作的渲染取决于所用的软件和硬件以及显示面板200的特性。通常，像素管线2600执行在硬件中实现的实时渲染。然后可在显示面板200处显示所得图像。
在另选的具体实施中，图3示出了用于增强现实实施方案的平板显示器3000，其中两个抽取式残像补偿器1000a-b被设计用于在图像被组合并且显示在显示面板200之前单独地补偿真实世界图像分量和虚拟图像分量。
虚拟图像分量由图形处理单元3100生成的多个虚拟图像帧构成。图形处理单元3100可为专用集成电路，其被设计用于快速操纵和改变存储器以加速帧缓冲器中的图像的创建。在其他实施方案中，图形处理单元3100可嵌入在平板显示器200的中央处理单元芯片或母板上。一旦由图形处理单元3100生成，虚拟图像帧就被转发至第一抽取式残像补偿器1000a。第一抽取式残像补偿器1000a通过抽取式补偿查找表与像素移位防止显示面板残像，如图1中所述。所得图像被转发到混合单元3400以与真实世界图像帧组合。
真实世界图像分量由相机3200捕获的多个真实世界图像帧构成。相机3200可为具有数字图像传感器诸如电荷耦合器件或互补金属氧化物半导体的任何光学捕获系统。一旦被相机3200捕获，真实世界图像帧就被转发至图像信号处理器3300。
图像信号处理器3300是专用于来自相机3200的图像处理数据的数字信号处理器集成电路。具体地，图像信号处理器3300可执行去马赛克或拜耳变换以实现颜色准确度、降噪、图像锐化或插值以调整从相机3200所接收的捕获图像的尺寸。图像信号处理器3300可通过单指令、多数据(SIMD)或多指令、多数据(MIMD)技术来实现图像数据的并行处理。所得成像处理的真实世界图像帧被转发至镜头畸变校正器3500。
镜头畸变校正器3500是用于校正由相机3200中的镜头引起的径向(光学)畸变的图像处理器。在一些实施方案中，镜头畸变校正器2500被实现为可使用布朗康拉迪畸变模型来校正径向畸变和切向图像畸变的软件或固件校正。一旦畸变被校正，经校正图像就被发送至第二抽取式残像补偿器1000b。
第二抽取式残像补偿器1000b通过抽取式补偿查找表与像素移位防止显示面板残像，如图1中所述。本领域的技术人员应当理解，第二抽取式残像补偿器1000b不必将图像移位与第一抽取式残像补偿器1000a相同数量的像素，并且可使用不同的N×N分箱(指定为“M×M”，其中M大于一)进行图像补偿。在其他实施方案中，第一抽取式残像补偿器1000a和第二抽取式残像补偿器1000b可将图像移位相同数量的像素，并且可使用相同的N×N分箱补偿查找表1600。所得图像被转发到混合单元3400以与虚拟图像帧组合。
专用图像处理器、混合单元3400将虚拟图像帧与真实世界图像帧组合。混合单元3400可将虚拟图像帧和真实世界图像帧视为待混合在一起的两个层。在此类实施方案中，虚拟图像帧被视为叠加在真实世界“底层”图像的顶部上的“顶层”或“有源层”图像。所得混合图像是转发到像素管线3600的增强现实图像。
在本领域中，像素管线3600有时也被称为计算机图形管线、渲染管线或图形管线。像素管线3600将三维场景渲染到二维显示屏上。本领域的技术人员应当理解，此操作的渲染取决于所用的软件和硬件以及显示面板200的特性。通常，像素管线3600执行在硬件中实现的实时渲染。然后可在显示面板200处显示所得图像。
本领域的技术人员应当理解，本文所述的系统可在多种硬件或固件解决方案中实现。
提供实施方案的此前描述以使本领域的任何技术人员能够实践本公开。对于本领域的技术人员而言，对这些实施方案的各种修改将是显而易见的，并且可以无需使用创造性才能就将本文所定义的一般原理应用于其他实施方案。因此，本公开并非旨在限于本文所示出的实施方案，而是将被赋予与本文所公开的原理和新颖特征一致的最宽范围。

Claims (20)

1.一种电子显示器，包括：
显示面板；
抽取式残像补偿器，所述抽取式残像补偿器被配置为接收图像帧并且将经补偿的输出帧输出至所述显示面板，所述抽取式残像补偿器进一步包括：
像素移位器，所述像素移位器被配置为接收所述图像帧并且将所述图像帧移位预定数量的像素，从而得到经移位的图像帧；
下采样器，所述下采样器被配置为接收所述图像帧并且将所述图像帧下采样为经下采样的图像帧；
N×N分箱补偿查找表，所述N×N分箱补偿查找表被配置为接收所述经下采样的图像帧并且将所述经下采样的图像帧补偿为经补偿的图像帧，其中N为大于一的整数；
插值器，所述插值器被配置为接收所述经补偿的图像帧并将所述经补偿的图像帧插值为经插值的图像帧；和
乘法器，所述乘法器被配置为将所述经移位的图像帧与所述经插值的图像帧组合，从而得到所述经补偿的输出帧；
所述显示面板被进一步配置为显示所述经补偿的输出帧。
2.根据权利要求1所述的电子显示器，其中N为2。
3.根据权利要求2所述的电子显示器，其中所述像素移位器的所述预定数量的像素介于1-16之间。
4.根据权利要求1-3中任一项所述的电子显示器，其中所述显示面板为发光二极管或液晶显示器。
5.根据权利要求4所述的电子显示器，所述电子显示器集成在平板电脑、数字手表、移动电话、虚拟现实耳机或增强现实眼镜中。
6.根据权利要求1-3中任一项所述的电子显示器，其中所述显示面板为有机发光二极管显示器。
7.根据权利要求6所述的电子显示器，所述电子显示器集成在平板电脑、数字手表或移动电话中。
8.一种增强现实显示器，包括：
显示面板；
图形处理单元，所述图形处理单元被配置为生成虚拟图像帧；
相机，所述相机被配置为捕获真实世界图像帧；
混合单元，所述混合单元被配置为接收来自所述图形处理单元的所述虚拟图像帧，被配置为接收来自所述相机的所述真实世界图像帧，并且被配置为将所述虚拟图像帧与所述真实世界图像帧组合以产生组合的图像帧；
抽取式残像补偿器，所述抽取式残像补偿器被配置为接收所述组合的图像帧并且将经补偿的输出帧输出至所述显示面板，所述抽取式残像补偿器进一步包括：
像素移位器，所述像素移位器被配置为接收所述组合的图像帧并且将所述图像帧移位预定数量的像素，从而得到经移位的图像帧；
下采样器，所述下采样器被配置为接收所述图像帧并且将所述图像帧下采样为经下采样的图像帧；
N×N分箱补偿查找表，所述N×N分箱补偿查找表被配置为接收所述经下采样的图像帧并且将所述经下采样的图像帧补偿为经补偿的图像帧，其中N为大于一的整数；
插值器，所述插值器被配置为接收所述经补偿的图像帧并将所述经补偿的图像帧插值为经插值的图像帧；和
乘法器，所述乘法器被配置为将所述经移位的图像帧与所述经插值的图像帧组合，从而得到所述经补偿的输出帧；
所述显示面板被进一步配置为显示所述经补偿的输出帧。
9.根据权利要求8所述的增强现实显示器，其中N为2。
10.根据权利要求9所述的增强现实显示器，其中所述像素移位器的所述预定数量的像素介于1-16之间。
11.根据权利要求8-10中任一项所述的增强现实显示器，其中所述显示面板为发光二极管或液晶显示器。
12.根据权利要求11所述的增强现实显示器，所述增强现实显示器集成在平板电脑、数字手表或移动电话中。
13.根据权利要求8-10中任一项所述的增强现实显示器，其中所述显示面板为有机发光二极管显示器。
14.根据权利要求13所述的增强现实显示器，所述增强现实显示器集成在平板电脑、数字手表、移动电话、虚拟现实耳机或增强现实眼镜中。
15.一种增强现实显示器，包括：
显示面板；
图形处理单元，所述图形处理单元被配置为生成虚拟图像帧；
第一抽取式残像补偿器，所述第一抽取式残像补偿器被配置为接收所述虚拟图像帧并且输出经补偿的虚拟输出帧，所述第一抽取式残像补偿器进一步包括：
第一像素移位器，所述第一像素移位器被配置为接收所述虚拟图像帧并且将所述虚拟图像帧移位第一预定数量的像素，从而得到第一经移位的图像帧；
第一下采样器，所述第一下采样器被配置为接收所述虚拟图像帧并且将所述图像帧下采样为第一经下采样的图像帧；
第一N×N分箱补偿查找表，所述第一N×N分箱补偿查找表被配置为接收所述第一经下采样的图像帧并且将所述第一经下采样的图像帧补偿为第一经补偿的图像帧，其中N为大于一的整数；
第一插值器，所述第一插值器被配置为接收所述第一经补偿的图像帧并将所述第一经补偿的图像帧插值为第一经插值的图像帧；和
第一乘法器，所述第一乘法器被配置为将所述第一经移位的图像帧与所述第一经插值的图像帧组合，从而得到所述经补偿的虚拟输出帧；
相机，所述相机被配置为捕获真实世界图像帧；
第二抽取式残像补偿器，所述第二抽取式残像补偿器被配置为接收所述真实世界图像帧并且输出经补偿的真实世界输出帧，所述第二抽取式残像补偿器进一步包括：
第二像素移位器，所述第二像素移位器被配置为接收所述真实世界图像帧并且将所述真实世界图像帧移位第二预定数量的像素，从而得到第二经移位的图像帧；
第二下采样器，所述第二下采样器被配置为接收所述真实世界图像帧并且将所述图像帧下采样为第二经下采样的图像帧；
M×M补偿查找表，所述M×M补偿查找表被配置为接收所述第二经下采样的图像帧并且将所述第二经下采样的图像帧补偿为第二经补偿的图像帧，其中M为大于一的整数；
第二插值器，所述第二插值器被配置为接收所述第二经补偿的图像帧并将所述第二经补偿的图像帧插值为第二经插值的图像帧；和
第二乘法器，所述第二乘法器被配置为将所述第二经移位的图像帧与所述第二经插值的图像帧组合，从而得到所述经补偿的真实世界图像帧；
混合单元，所述混合单元被配置为接收来自所述第一抽取式残像补偿器的所述经补偿的虚拟图像帧，被配置为接收来自所述第二抽取式残像补偿器的所述经补偿的真实世界图像帧，并且被配置为将所述经补偿的虚拟图像帧与所述经补偿的真实世界图像帧组合以产生组合的图像帧；
所述显示面板被进一步配置为显示所述组合的图像帧。
16.根据权利要求15所述的增强现实显示器，其中N为2。
17.根据权利要求16所述的增强现实显示器，其中所述第一像素移位器的所述第一预定数量的像素介于1-16之间。
18.根据权利要求15-17中任一项所述的增强现实显示器，其中M为2。
19.根据权利要求18所述的增强现实显示器，其中所述第二像素移位器的所述第二预定数量的像素介于1-16之间。
20.根据权利要求19所述的增强现实显示器，其中所述显示面板为发光二极管或液晶显示器。
CN201910822215.4A 2018-09-04 2019-09-02 利用像素移位的抽取式残像补偿 Active CN110930935B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862726876P 2018-09-04 2018-09-04
US62/726,876 2018-09-04
US16/403,366 2019-05-03
US16/403,366 US10991283B2 (en) 2018-09-04 2019-05-03 Decimated burn-in compensation with pixel shifting

Publications (2)

Publication Number Publication Date
CN110930935A true CN110930935A (zh) 2020-03-27
CN110930935B CN110930935B (zh) 2022-09-23

Family

ID=69640674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910822215.4A Active CN110930935B (zh) 2018-09-04 2019-09-02 利用像素移位的抽取式残像补偿

Country Status (2)

Country Link
US (1) US10991283B2 (zh)
CN (1) CN110930935B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220085082A (ko) * 2020-12-14 2022-06-22 삼성디스플레이 주식회사 잔상 검출 장치 및 이를 포함하는 표시 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1125269A1 (en) * 1998-10-07 2001-08-22 Microsoft Corporation Methods and apparatus for detecting and reducing color artifacts in images
US20070115384A1 (en) * 2005-11-24 2007-05-24 Olympus Corporation Image processing apparatus and method for preferably correcting distortion aberration
US20110254976A1 (en) * 2009-04-23 2011-10-20 Haim Garten Multiple exposure high dynamic range image capture
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
CN104115491A (zh) * 2012-02-22 2014-10-22 索尼公司 显示装置、图像处理装置和图像处理方法、以及计算机程序
CN105074807A (zh) * 2013-03-13 2015-11-18 苹果公司 与降低的刷新率相关联的显示器亮度变化的补偿方法
CN106095157A (zh) * 2015-04-30 2016-11-09 三星显示有限公司 触摸屏显示设备
WO2017031246A1 (en) * 2015-08-18 2017-02-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US20170206689A1 (en) * 2016-01-14 2017-07-20 Raontech, Inc. Image distortion compensation display device and image distortion compensation method using the same
CN107111988A (zh) * 2014-12-29 2017-08-29 亚马逊技术股份有限公司 减少视觉伪影和减少电润湿显示器中的功率消耗

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663663B2 (en) 2006-04-28 2010-02-16 Nvidia Corporation Burn-in control
US20090046089A1 (en) 2007-08-16 2009-02-19 Motorola, Inc. Burn-in compensation for display
US11361729B2 (en) 2017-09-08 2022-06-14 Apple Inc. Burn-in statistics and burn-in compensation
US10559276B2 (en) * 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1125269A1 (en) * 1998-10-07 2001-08-22 Microsoft Corporation Methods and apparatus for detecting and reducing color artifacts in images
US20070115384A1 (en) * 2005-11-24 2007-05-24 Olympus Corporation Image processing apparatus and method for preferably correcting distortion aberration
US20110254976A1 (en) * 2009-04-23 2011-10-20 Haim Garten Multiple exposure high dynamic range image capture
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
CN104115491A (zh) * 2012-02-22 2014-10-22 索尼公司 显示装置、图像处理装置和图像处理方法、以及计算机程序
CN105074807A (zh) * 2013-03-13 2015-11-18 苹果公司 与降低的刷新率相关联的显示器亮度变化的补偿方法
CN107111988A (zh) * 2014-12-29 2017-08-29 亚马逊技术股份有限公司 减少视觉伪影和减少电润湿显示器中的功率消耗
CN106095157A (zh) * 2015-04-30 2016-11-09 三星显示有限公司 触摸屏显示设备
WO2017031246A1 (en) * 2015-08-18 2017-02-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN108140259A (zh) * 2015-08-18 2018-06-08 奇跃公司 虚拟和增强现实系统和方法
US20170206689A1 (en) * 2016-01-14 2017-07-20 Raontech, Inc. Image distortion compensation display device and image distortion compensation method using the same

Also Published As

Publication number Publication date
US10991283B2 (en) 2021-04-27
US20200074900A1 (en) 2020-03-05
CN110930935B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN107203056B (zh) 针对超高分辨率面板的mura处理方法
CN108766372B (zh) 一种改善显示面板的mura现象的方法
CN111816136B (zh) 液晶显示器及其驱动补偿方法、驱动补偿装置
US9202406B2 (en) Liquid crystal display, display method, program, and recording medium
JP7184788B2 (ja) 集積回路の表示駆動方法、集積回路、ディスプレイスクリーン及び表示装置
US10559244B2 (en) Electronic apparatus, display driver and method for generating display data of display panel
CN108492769B (zh) 亮度调节方法及装置、显示装置
US11232745B2 (en) Multi-frame buffer for pixel drive compensation
US20160321976A1 (en) Optical compensation system and optical compensation method thereof
US20160329014A1 (en) Display device
US10467947B2 (en) Display device
US8531372B2 (en) Method, device and system of response time compensation utilizing an overdrive signal
CN111816121A (zh) 显示面板的亮度补偿方法、系统及显示面板
CN112053658B (zh) 用于像素驱动补偿的二维温度补偿的装置和方法
US20180048914A1 (en) Image processing method and related apparatus
US20140184615A1 (en) Sequential Rendering For Field-Sequential Color Displays
CN105845077B (zh) 数据补偿器以及包括数据补偿器的显示装置
US9613558B2 (en) Pixel driving method and associated display device
CN110930935B (zh) 利用像素移位的抽取式残像补偿
KR20160048312A (ko) 입력 영상의 업 스케일링을 위한 데이터 변환부와 데이터 변환 방법
US20090161015A1 (en) Display device, video signal correction device, and video signal correction method
JP2010048958A (ja) 画像処理装置、その処理方法および画像表示システム
CN113707065B (zh) 显示面板、显示面板的驱动方法及电子装置
KR20170038989A (ko) 타이밍 컨트롤러 및 이를 포함하는 표시 장치
US11386869B2 (en) Display device and driving method thereof according to capturing conditions of an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant