CN108140359B - 用于检测和/或校正显示器中的像素亮度和/或色度响应变化的系统和方法 - Google Patents

用于检测和/或校正显示器中的像素亮度和/或色度响应变化的系统和方法 Download PDF

Info

Publication number
CN108140359B
CN108140359B CN201680060751.XA CN201680060751A CN108140359B CN 108140359 B CN108140359 B CN 108140359B CN 201680060751 A CN201680060751 A CN 201680060751A CN 108140359 B CN108140359 B CN 108140359B
Authority
CN
China
Prior art keywords
pixel
per
display panel
input code
correction factors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680060751.XA
Other languages
English (en)
Other versions
CN108140359A (zh
Inventor
J·塞兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valve Corp
Original Assignee
Valve Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valve Corp filed Critical Valve Corp
Publication of CN108140359A publication Critical patent/CN108140359A/zh
Application granted granted Critical
Publication of CN108140359B publication Critical patent/CN108140359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了用于在显示器上测量逐像素亮度和/或色度变化的方法和系统，将测量结果编码和/或存储为一组全局和/或逐像素校正因子，和/或数字地操纵与所测量的变化具有相反效果的图像，从而减少由变化引起的视觉伪像的出现。例如，这些方法和系统可以用作虚拟现实头戴式耳机的产生过程的部分，以及用于高保真使用展现这种伪像的显示器的其他应用(例如，手机、手表、增强现实显示器等)。

Description

用于检测和/或校正显示器中的像素亮度和/或色度响应变化 的系统和方法
相关申请的交叉引用
本申请要求于2015年8月19日提交的临时申请序列号62/207,091的权益，其内容通过引用整体并入本申请用于所有目的。
技术领域
本申请一般性地涉及视频显示技术，并且更具体地涉及用于测量显示器上逐像素能量发射变化的系统和方法，将这些测量结果编码并存储为一组全局像素校正因子和每像素校正因子，和/或数字地操纵与所测量的变化具有相反效果的图像，从而减少由这种变化引起的伪像(artifact)的出现。
背景技术
某些显示技术呈现出逐像素变化的亮度和/或色度(γ)能量发射响应。这种变化有时被称为“mura缺陷”、“mura变化”或简称为“mura”，尽管术语及其确切含义在显示器行业尚未被标准化。
例如，在液晶显示器(“LCD”)上，背光可以在显示器上呈现出用户可见的空间变化。作为另一个实例，在有机发光二极管(“OLED”)显示器上，相邻像素可以呈现出基本上不同的颜色响应。这些效应在恒定颜色和平滑梯度的区域尤其明显，其中该区域可能对观察者显得“有噪声(noisy)”。这种伪像特别不适用于头戴式显示器(“HMD”)，有时表现为观看者正在通过其观看的“脏窗口(dirty window)”。
本领域已知各种主观/人工和客观/光电子方法(有时通常称为“mura校正”技术)以在各种程度上解决这些变化。然而，根据本发明的各方面，希望解决本领域中现有的限制。
附图说明
作为实例，现在将参考不按比例绘制的附图。
图1是可以用来实现本发明的某些实施方案的各方面的计算设备的示例图。
图2A是描绘发送至显示器的示例性全绿色原始图像的照片的灰度版本。
图2B是图2A的描绘根据本发明的示例性实施方案的发送至显示器的示例性全绿色原始图像的照片的灰度版本，其显示给观察者并且未被校正。
图2C是描绘根据本发明的各方面的示例性逐像素校正因子的照片。
图2D是描绘根据本发明的各方面的预校正图像的照片的灰度版本，对应于图2B中所示的图像，其发送至示例性显示器。
图2E是描绘根据本发明的各方面的向观察者示出的示例性最终图像的照片的灰度版本，对应于图2D中描绘的图像。
图3是描绘根据本发明的各方面的恒定绿色图像的显示面板上示例性图像捕获的照片的灰度版本，其分辨率足以实现针对每个亚像素的能量估计。
图4是图3中描绘的图像的一部分的照片的放大灰度版本(近似缩放因子＝1000)，其中只有绿色通道被照亮，包括具有可见亚像素的5×5像素区域。
图5A和图5B是描绘根据本发明的各方面的示例性图像捕获系统和配置的方面的照片。
图6描绘了根据本发明的各方面由定制电子设备(630)驱动的两个示例性显示面板(610,620)，以模拟头戴式显示器配置。
图7描绘了根据本发明的各方面的在校准期间在测试中使用并且有助于解决几何透镜偏心率的显示面板上显示的网格图案。
图8是在某些实施方案中使用暗场扣除和透镜去畸变步骤之后，描绘根据本发明的各方面的捕获图像的照片的灰度版本。
图9是描绘根据本发明的各方面的捕获图像中角点检测步骤的照片的灰度版本。
图10是描绘根据本发明的各方面的在直线对齐之后在测试中的显示面板的捕获图像中的示例性32×32像素插入区域的照片的灰度版本。
图11图示描绘了根据本发明的各方面的被测试的示例性显示面板的一部分中的逐像素能量发射。
具体实施方式
本领域的普通技术人员将认识到，本发明的以下描述仅是说明性的而不是以任何方式进行限制。本发明的其他实施方案将容易地向具有本公开内容的益处的本领域技术人员展示，并且在不脱离本发明的精神和范围的情况下，本申请定义的一般原理可应用于其他实施方案和申请。因此，本发明并非旨在限于所示的实施方案，而是应被赋予与本申请所公开的原理和特征一致的最广范围。现在将详细描述如附图所示的本发明的具体实施。贯穿附图和以下描述将使用相同的附图标记来指代相同或相似的部分。
在该详细描述中描述的数据结构和代码通常存储在计算机可读存储介质上，该计算机可读存储介质可以是能够存储供计算机系统使用的代码和/或数据的任何设备或介质。这包括但不限于磁性和光学存储设备，诸如磁盘驱动器、磁带、CD(光盘)和DVD(数字通用光盘或数字视频光盘)以及体现在传输介质中的计算机指令信号(有或没有信号经其被调制的载波)。例如，传输介质可以包括通信网络，例如因特网。
图1是可用于实施本发明的某些实施方案的各方面的计算设备100的示例图。计算设备100可以包括总线101、一个或多个处理器105、主存储器110、只读存储器(ROM)115、存储设备120、一个或多个输入设备125、一个或多个输出设备130以及通信接口135。总线101可以包括允许在计算设备100的组件之间进行通信的一个或多个导体。处理器105可以包括解释和执行指令的任何类型的常规处理器、微处理器或处理逻辑。主存储器110可以包括随机存取存储器(RAM)或存储用于由处理器105执行的信息和指令的另一类型的动态存储设备。ROM 115可以包括常规ROM设备或存储由处理器105使用的静态信息和指令的另一类型的静态存储设备。存储设备120可以包括磁性和/或光学记录介质及其相应驱动器。输入设备125可以包括允许用户向计算设备100输入信息的一个或多个常规机构，诸如键盘、鼠标、笔、手写笔、手写识别、语音识别、生物识别机构等。输出设备130可以包括向用户输出信息的一个或多个常规机构，包括显示器、投影仪、A/V接收器、打印机、扬声器等。通信接口135可以包括使计算设备/服务器100能够与其他设备和/或系统进行通信的任何类似收发器的机构。计算设备100可以基于可以从另一个计算机可读介质(诸如数据存储设备120)或者经由通信接口135从另一个设备读入存储器110的软件指令来执行操作。包含在存储器110中的软件指令使得处理器105以执行稍后将描述的进程。或者，可以使用硬连线电路代替软件指令或与软件指令组合以实施与本发明一致的进程。因此，各种实施不限于硬件电路和软件的任何特定组合。
在某些实施方案中，存储器110可以包括但不限于高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且可以包括但不限于非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其他非易失性固态存储设备。存储器110可以任选地包括位于远离处理器105的一个或多个存储设备。存储器110或存储器110中的一个或多个存储设备(例如，一个或多个非易失性存储设备)可以包括计算机可读存储介质。在某些实施方案中，存储器110或存储器110的计算机可读存储介质可以存储一个或多个以下程序、模块和数据结构：操作系统，其包括用于处理各种基本系统服务和用于执行硬件相关任务的规程；网络通信模块，其用于经由一个或多个通信网络接口和一个或多个通信网络(诸如因特网、其他广域网、局域网、城域网等)将计算设备110连接到其他计算机上；客户端应用程序，其可以允许用户与计算设备100交互。
本说明书中的某些文本和/或图可以参考或描述说明方法和系统的流程图。将理解，这些流程图的每个方框以及这些流程图中的方框的组合可以通过计算机程序指令来实现。这些计算机程序指令可以被加载到计算机或其他可编程装置上以产生机器，使得在计算机或其他可编程装置上执行的指令创建用于实施一个或多个流程图方框中指定的功能的结构。这些计算机程序指令还可以被存储在计算机可读存储器中，该计算机可读存储器可以指导计算机或其他可编程装置以特定方式运行，使得存储在计算机可读存储器中的指令产生包括指令结构的制品，该指令结构实施在一个或多个流程方框中指定的功能。计算机程序指令还可以被加载到计算机或其他可编程装置上以使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实施的进程，使得在计算机或其他可编程装置上执行的指令提供用于实施一个或多个流程图方框中指定的功能的步骤。
因此，流程图的方框支持用于执行指定功能的结构的组合和用于执行指定功能的步骤的组合。还将理解的是，流程图的每个方框以及流程图中方框的组合可以由执行指定功能或步骤的基于专用硬件的计算机系统或专用硬件和计算机指令的组合来实施。
例如，任何数量的计算机编程语言，诸如C、C++、C#(CSharp)、Perl、Ada、Python、Pascal、SmallTalk、FORTRAN、汇编语言等，都可以用于实施本发明的各方面。此外，取决于每个特定实施的要求，可以采用各种编程方法，诸如程序技术、面向对象技术或人工智能技术。由计算机系统执行的编译器程序和/或虚拟机程序通常将更高级别的编程语言翻译成可以是由一个或多个处理器执行的机器指令组以执行编程的功能或一组功能。
在本申请阐述的描述中，根据特定数据结构，优选和可选强制，优选控制流程和实例来描述某些实施方案。正如本领域普通技术人员在回顾本申请之后所理解的，所描述的方法的其他和进一步的应用在本发明的范围内。
术语“机器可读介质”应该被理解为包括参与提供可以被计算机系统的元件读取的数据的任何结构。这样的介质可以采取许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘或磁盘以及其他持久性存储器，诸如基于闪存(诸如固态驱动器或SSD)的设备。易失性介质包括动态随机存取存储器(DRAM)和/或静态随机存取存储器(SRAM)。传输介质包括电缆、电线和光纤，包括构成耦合到处理器的系统总线的电线。机器可读介质的常见形式包括，例如但不限于软盘(floppy disk或flexibledisk)、硬盘、固态驱动器、磁带、任何其他磁介质、CD-ROM，DVD或任何其他光学介质。
在某些实施方案中，根据本发明的各方面的方法包括三个步骤(在以下介绍性列表之后更详细地描述每个步骤)：
1)用于显示测量的技术：该方法需要准确估计显示器的每个亚像素发射的能量。所捕获的特定图像针对显示技术的已知缺陷以及正在使用的校正模型。
2)应用测量的技术：对于每个显示面板，基于适当的校正模型，计算一组全局像素和每像素校正因子。尽管可以在不脱离本发明的范围的情况下实施这些的组合和/或变化，但还是描述了计算校正因子的两种通用方法：迭代方法和非迭代方法。
3)实时图像处理：使用上述第二步中计算的校正因子，实时处理图像，以减少由步骤一测量的逐像素能量发射变化引起的视觉伪像的出现。
显示测量
由于显示器中通常存在大量的亚像素元件(通常超过一百万)，每个亚像素生成准确的能量估计可能包括相对复杂的任务。
在某些实施方案中，步骤一是单独地对每个颜色通道成像(例如，红、绿、蓝)以减少正在成像的发射元件的数量。
在某些实施方案中，还需要使用成像传感器对测试中的面板进行超采样，因为相机传感器元件和发射显示元件之间的确切的亚像素对齐通常是不可能的。使这种1:1亚像素测量通常不可能的一个因素是相机技术通常使用矩形光栅和拜耳图案进行色彩再现，而显示面板通常使用替代(例如，非矩形)图案，诸如pentile映射。
在某些实施方案中，已经观察到，通过在显示器中的每个亚像素的相机传感器上使用二十五个或更多个光点，可以创建准确的显示测量。在某些实施方案中，每个亚像素的附加相机光点产生更好的结果。
图2A是描绘发送至显示器的示例性全绿色原始图像的照片的灰度版本(200A)。
图2B是图2A的描述根据本发明的示例性实施方案的发送至显示器的示例性全绿色原始图像的照片的灰度版本(200B)，其显示给观察者并且未被校正。
图2C是描绘根据本发明的方面的示例性逐像素校正因子的照片(200C)。
图2D是描绘根据本发明的各方面的预校正图像的照片的灰度版本(200D)，对应于图2B中所示的影像，其发送至示例性显示器。
图2E是描绘根据本发明的各方面的向观察者示出的示例性最终图像的照片的灰度版本(200E)，对应于图2D中描绘的图像。
图3是描绘根据本发明的各方面的恒定绿色图像的显示面板(320)上的示例性图像捕获的照片的灰度版本(300)，其分辨率足以实现针对每个亚像素的能量估计。
图4是图3中描绘的图像的一部分的照片的放大的灰度版本(400)(近似缩放因子＝1000)，其中只有绿色通道被照亮，包括具有可见的亚像素的5×5像素区域。
如果使用不具有足以在整个面板上保持该分辨率的分辨率的相机，则在某些实施方案中子区域可以被成像，然后可以平滑地混合所得到的数据集。
或者，对于某些显示器应用(诸如HMD)，并不总是需要对完整的视野进行成像。例如，在某些实施方案中，只要校正层在校正区域的外围平滑地混合以“不校正”(而不是突然切除校正的替代)，则仅测量和校正中心视场通常就足够了。这可以在某些实施方案中通过将每像素校正因子(稍后更详细描述)与朝向外围的“空值”进行平滑的混合来实现。
图5A和图5B是描绘根据本发明的各方面的示例性图像捕获系统和配置的方面的照片。
在一个示例性显示测量系统实施方案中(如图5A和5B所示)，可以使用以下设备：佳能5Ds数码SLR相机，180mm微距拍摄镜头(510)，和刚性低倍摄影台架(rigid macrostand)。驱动电子设备还包括(630，如图6所示)，其以匹配HMD使用(即，低持久性，90Hz或120Hz帧率)的方式驱动显示器(610,620)。在显示器生产环境中，在某些实施方案中，通常在无尘和遮光外壳中进行测量。
为了精确地预测数百万个亚像素中的每一个的放置，在某些实施方案中，成像系统(透镜)必须在亚像素级以上进行空间校准。这种校正通常取决于相机镜头模型和实时焦点、fstop设置等因素。
在某些实施方案中，进行颜色测量之前，通过在显示器上放置已知的网格图案来考虑几何透镜偏心率。尽管根据本发明的某些实施方式的要求的精度超出了典型的用途，但这是计算机视觉领域的普通技术人员使用的常用技术。在某些实施方案中，校准后，镜头和成像系统的几何精度必须超过成像设备的亚像素级。也就是说，对于这种实施方案中的显示器光栅的每个亚像素5×5成像，总体几何畸变必须远小于一个输出像素，等于小于显示器亚像素之间的间隔的五分之一。
图7描绘了根据本发明的各方面的在校准期间在测试中使用并且有助于解决几何透镜偏心率的显示面板上显示的网格图案(710)。
接下来，在某些实施方案中，捕获黑色图像以确定相机的暗场响应。
最后，显示适合于表征每像素响应的图像。在某些实施方案中，这通常是恒定颜色的单色图像。
在某些实施方案中，使用'Camera Raw'处理捕获所有图像，这保留了它们的光度测量线性。
在某些实施方案中，然后从捕获的图像中扣除暗视野，然后通过镜头解决方案解除变形。图8是在某些实施方案中使用的暗场扣除和透镜去畸变步骤之后，描绘根据本发明的各方面的捕获图像的照片的灰度版本(800)。
在某些实施方案中可以应用去卷积内核，其去除成像链中的局部耀斑。可以使用测量“PFS”(点扩散函数)的图像验证该耀斑补偿。通常，单点像素在其他常数值区域被照亮以计算该值。
在某些实施方案中，检测用于捕获的矩形区域的像素角点，并且四角点视角扭曲创建轴对齐表示，其中每个亚像素具有一致的大小和对齐。图9是描绘根据本发明的各方面的捕获图像中的角点检测步骤的照片(900)。
图10是描绘根据本发明的各方面的在直线对齐之后在测试中的显示面板的捕获图像中的示例性32×32像素插入区域的照片的灰度版本(1000)。
在某些实施方案中，每个亚像素在每个框中居中，从而允许准确的能量估计，其中每个框是针对每个亚像素积分的面积。如图11所示，每个亚像素通常具有不同的强度；这是根据本发明的各方面全部或部分地测量和/或校正的效果。
最后，根据某个实施方案，通过对每个像素区域中的所有值进行求和来计算每个像素的能量。
图11图示描绘了根据本发明的各方面的被测试的示例性显示面板的一部分中的逐像素能量发射(1100)。
在图像采集过程中，该过程通常对于落在面板上的灰尘非常敏感。如果灰尘或纤维落在显示器上，它们会吸收和/或散射一些光线，因此重叠的像素将被不正确地测量为暗淡。当应用补偿时，这些像素将具有应用的强正增益因子，并将作为令人不快的“过度亮度”像素突出显示。为了补偿灰尘，在某些实施方案中，可以采用面板的多个图像，在每个图像捕获之间使用空气鼓风(或其他清洁过程)。对每个捕获的图像单独计算能量估计值，然后对于每个像素使用max()运算符进行合并。由于灰尘和其他颗粒通常只能在捕获过程中使像素变得更暗(不亮)，只要灰尘在后续捕获之间移动，其影响就可以消除。
某些实施方案中捕获过程的概述：
-将相机对齐并锁定到适当的面板位置，包括对焦和曝光
-捕获网格图案(单色)并解决镜头几何特征
-显示全黑图像，捕获暗场
-显示目标平场颜色(单色)并捕获光度测量线性数据中的像素(Camera Raw)
○扣除暗场
○应用去卷积来考虑成像系统PSF
○通过透镜解决方案解除变形
○检测所有四个角点的视野像素角点
○使用四角点透视变形来合成理想化的、轴对齐的直线网格。显示器中的每个亚像素都应对应于已对齐的输出图像中的恒定大小的已知的轴对齐框。
○将每个框中对应于亚像素的能量求和。
-对于强烈的灰尘估计，在捕获之间重复进行清洁/空气鼓风N次。合并使用所有捕获中的每个亚像素的最大值估计进行的捕获。
校正因子建模
在某些实施方案中，对于每个显示面板，基于校正模型，可以计算一组全局和每像素校正因子。取决于每个实施的特定要求，可以实施计算校正因子的迭代和非迭代方法以及这些方法的变化和/或组合。
非迭代方法
以下模型可以用作起点，其占OLED面板中mura效应的90％以上。(对于其他显示技术，如本领域普通技术人员已知的，可以采用替代公式来简洁地表示伪像)。
CCV(x,y)＝ICV(x,y)+PPD(x,y)
其中：
CCV：设备本机γ编码中的校正代码值
ICV：设备本机γ编码中的输入代码值
PPD：每像素δ
(x,y)表示该量作为显示器空间中的输出像素位置(x,y)的函数而变化。
在某些实施方案中，在最终重放期间(将校正因子实时应用于新图像)期间，可方便地通过将最小值(min)和最大值(max)拉出为全局常数来编码使编码空间最大化的每像素δ。
PPD(x,y)＝PPV(x,y)*CG+CO
CCV(x,y)＝ICV(x,y)+PPD(x,y)
其中：
CCV：设备本机γ编码中的校正代码值
ICV：设备本机γ编码中的输入代码值
PPV：以有限位编码的每像素值
PPD：每像素δ
CG：校正增益
CO：校正偏移
增益/偏移：用于解释每像素δ的全局值
应该注意的是，尽管上述数学公式的简单性(即，在设备本机编码空间中增加了每像素δ恒定值)，但显示技术将以这种方式运转是违反直觉的。实际上，尽管相关行为的更直观模型可能是具有线性增益操作的每像素校正因子。(例如，使得一个像素发射20％以上的光，导致另一个像素暗淡5％等)，当以这种直观方式制定时，增益量作为输入代码值的函数而变化。在重大调查和实验之后，确定这些较高阶项被抵消，导致在本申请中描述的某些实施方案中使用简化的公式。
根据本发明的各方面已经确定，对于在设备的γ编码中具有应用的附加偏移的OLED显示器，可以消除mura效应。
计算每像素δ
随着附加偏移被建模，选择代表性代码值并针对平场图像测量每像素的能量估计。特别是对于某些实施方案中的OLED的情况，可以选择代码值51(在255之外)。该值足够暗淡，以至于固定的附加偏移具有高信噪比，但足够明亮以致曝光时间不受禁止。当然，不同的实施可能更适合不同的代表性代码值。
PPD＝TCV-pow(LPE(x,y)/LPELA(x,y)*pow(TCV,DG),1.0/DG)
其中：
PPD：每像素δ
TCV：目标代码值(在测量过程中发送至显示器)
LPE：线性像素能量
LPE：线性像素能量，局部区域平均值(周围邻域的局部能量平均值，通常为中心/高斯加权)。
DG：显示δ(通常是常数＝2.2)
上面的方程式对这个问题进行建模：假设显示器具有理想的γ传递函数--“pow(x,γ)”--何种输入代码值对我们已经测量的线性光进行建模？将线性像素能量除以局部平均值，可以强有力地计算该像素如何以对全局镜头捕获效果稳健的方式与理想状态比较。在某些实施方案中，局部平均窗口的大小适合于被测量的显示技术。
在某些实施方案中，也可以用更精确的显示器γ表征代替子表达式“pow(x,γ)”：
PPD＝TCV-inv_display_response(LPE(x,y)/LPELA(x,y)*display_response(TCV))
基于显示器响应的不同数学假设，还存在替代公式，以根据所测量的能量估计来计算每像素δ校正。
假设局部线性和对称的显示器响应：
PPD＝log(LPE(x,y)/LPELA(x,y))*display_response_constant
假设反对称的显示器响应(其中暗淡的像素必须以比例较大的增益驱动以弥补响应的差异)：
PPD＝TCV+pow(LPELA(x,y)/LPE(x,y)*pow(TCV,DG),1.0/DG)
上面列出的所有方程式产生相似但不完全相同的校正因子。已知存在的其他公式也接近每像素δ，但是在OLED技术建模时精度降低。一般而言，正如人类观察者所判断的那样，校正后的优选技术是使mura出现最小化的技术。
迭代方法
尽管单个捕获可以校正超过90％的效果，但是在某些实施方案中仍然存在可以解释的拖延的不准确性。在迭代方法中，我们首先在如上所述的某些实施方案中求解恒定的每像素δ。但是随后在某些实施方案中，可以通过向显示器发送校正的平场图像并记录剩余未校正δ来增强该进程。在某些实施方案中，针对多个输入代码值测量该残差，然后通过内插记录的数据集计算并应用该像素残差。
CCV(x,y)＝ICV(x,y)+PPD(x,y)+PPR(ICV,x,y)
其中：
CCV：设备本机γ编码中的校正代码值
ICV：设备本机γ编码中的输入代码值
PPD：每像素δ
PPR：每像素残差，其是输入代码值的函数
由于每像素残差比每像素δ小得多，所以可以将多个残差有效地存储在与原始每像素因子相似量的空间中。
在显示面板的整个使用寿命期间，mura伪像经常在强度上变化。在某些实施方案中，这可以通过操纵校正增益因子以根据需要应用更多或更少的校正来解决。
当显示器输出被量化为光的积分输出值时(诸如由8位输入产生的256个步骤)，在某些实施方案中，可以以更高的精度对每像素强度变化进行建模。通过以比显示器更高的精度存储每像素δ，可以以比输入中的步数更高的精度来全局地重新创建输出亮度值(即，每个单独的像素可以仅具有256个可寻址步骤，但是在某些实施方案中局部区域平均可以具有更多的离散输出水平)。
利用每像素显示强度变化来减少带状伪像是一种令人感兴趣的传输技术，独立于mura显示伪像。例如，在具有高位精度图像合成，“无mura”高位精度显示器，但具有低位深度传输链路的系统中，可以在显示器中引入人造像素变化以减少条带出现。
可以创建合成像素变化图案，其具有比在OLED显示器上看到的天然mura更紧凑的表示和更低的采样差异。一种公式是使用平铺噪声模式，并在+/-0.5代码值的亮度域上进行均匀采样。在某些实施方案中，噪声平铺是抖动的分层采样或蓝噪声，使得像素值不可能具有与它们的邻居类似的偏移。通过使传输源意识到显示器的像素变化算法，可以应用适当的每像素量化，使得条带出现减少。
还可以创建随时间变化以便进一步减少条带伪像的平铺噪声模式，但是在某些实施方案中，在这种系统中，图像合成需要编码和传输该“帧”噪声以应用于像素变化。
在某些实施方案中的另一个进步是作为代码值的函数偏置均匀采样，使得不引入限幅值。对于示例性的8位传输链路，代码值0假设为在[0.0,1.0]范围内的均匀随机偏差，对于中间代码值(128)，选择[-0.5,0.5]，对于代码值255，使用[-1.0,0.0]。
在某些HMD相关实施方案中，根据本发明的各方面的mura校正处理在图形处理单元(“GPU”)的主机侧执行。然而，取决于每个特定实施的要求，可以例如在硅中，头戴式耳机本身，系绳上或显示面板电子器件中实现这样的处理。这种替代实施方式可以提供更大的图像可压缩性，这在涉及有限的链路带宽的情况下(例如无线系统)很重要。
尽管以上描述包含许多细节并且已经在附图中描述和示出了某些示例性实施方案，但是应当理解，这样的实施方案仅仅是对广义发明的说明而不是限制，并且本发明不限于所示出和描述的构造和排列，如上所述，因为本领域普通技术人员可以想到各种其他修改。本发明包括来自本申请公开的不同种类和/或实施方案的元素的任何组合或亚组合。

Claims (18)

1.一种用于减少显示面板的一部分中呈现的逐像素能量发射变化引起的视觉伪像的出现的方法，包括：
估计针对所述显示面板的所述部分的每个亚像素发射的能量，其中所述估计包括在光学传感器上的多个光点处感测由每个所述亚像素发射的光；
基于预定校正模型计算对应于所述显示面板的所述部分的一组每像素校正因子；以及
将所述校正因子实时地应用于传送到所述显示面板的所述部分的图像数据，
其中，对于每个所述每像素校正因子，所述预定校正模型包括将在所述显示面板的本机γ编码中应用的偏移添加到输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素。
2.一种用于减少显示面板的一部分中呈现的逐像素能量发射变化引起的视觉伪像的出现的方法，包括：
估计针对所述显示面板的所述部分的每个亚像素发射的能量，其中所述估计包括在光学传感器上的多个光点处感测由每个所述亚像素发射的光；
基于预定校正模型计算对应于所述显示面板的所述部分的一组全局像素校正因子和每像素校正因子；以及
将所述校正因子实时地应用于传送到所述显示面板的所述部分的图像数据，
其中，对于每个所述每像素校正因子，所述预定校正模型包括将在所述显示面板的本机γ编码中应用的偏移添加到输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素。
3.如权利要求1所述的方法，其中所述感测包括单独地对多个颜色通道中的每一个进行成像。
4.如权利要求3所述的方法，其中所述颜色通道包括红色、绿色和蓝色通道。
5.如权利要求2所述的方法，其中所述感测包括单独地对多个颜色通道中的每一个进行成像。
6.如权利要求5所述的方法，其中所述颜色通道包括红色、绿色和蓝色通道。
7.如权利要求1所述的方法，其中，对于每个所述每像素校正因子，所述预定校正模型包括将所述显示面板的本机γ编码中的固定附加偏移应用于输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素。
8.如权利要求1所述的方法，其中，对于每个所述每像素校正因子，所述预定校正模型包括将在所述显示面板的本机γ编码中应用的偏移添加到输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素，以生成第一中间每像素结果，以及将每像素残差添加到所述第一中间每像素结果，所述第一中间每像素结果是所述输入代码值的函数。
9.如权利要求1所述的方法，其中，对于每个所述每像素校正因子，所述预定校正模型包括将所述显示面板的本机γ编码中的固定附加偏移应用于输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素，以生成第一中间每像素结果，以及将每像素残差添加到所述第一中间每像素结果，所述第一中间每像素结果是所述输入代码值的函数。
10.一种用于减少显示面板的一部分中呈现的逐像素能量发射变化引起的视觉伪像的出现的装置，包括：
能量估计器，所述能量估计器从光学传感器接收一组能量数据，所述光学传感器包括用于所述显示面板的所述部分的每个亚像素的多个光点，用于估计每个所述亚像素发射的能量；以及
能量发射校正器，所述能量发射校正器基于预定校正模型计算对应于所述显示面板的所述部分的一组每像素校正因子，以及将所述校正因子实时地应用于传输到所述显示面板的所述部分的图像数据，
其中，对于每个所述每像素校正因子，所述预定校正模型包括偏移加法器，所述偏移加法器在所述显示面板的本机γ编码中应用于输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素。
11.一种用于减少显示面板的一部分中呈现的逐像素能量发射变化引起的视觉伪像的出现的装置，包括：
能量估计器，所述能量估计器从光学传感器接收一组能量数据，所述光学传感器包括用于所述显示面板的所述部分的每个亚像素的多个光点，用于估计每个所述亚像素发射的能量；以及
能量发射校正器，所述能量发射校正器基于预定校正模型计算对应于所述显示面板的所述部分的一组全局像素校正因子和每像素校正因子，以及将所述校正因子实时地应用于传输到所述显示面板的所述部分的图像数据，
其中，对于每个所述每像素校正因子，所述预定校正模型包括偏移加法器，所述偏移加法器在所述显示面板的本机γ编码中应用于输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素。
12.如权利要求10所述的装置，其中所述光学传感器单独地对多个颜色通道中的每一个进行成像。
13.如权利要求12所述的装置，其特征在于，所述颜色通道包括红色、绿色和蓝色通道。
14.如权利要求11所述的装置，其中所述光学传感器单独地对多个颜色通道中的每一个进行成像。
15.如权利要求14所述的装置 ，其中所述颜色通道包括红色、绿色和蓝色通道。
16.如权利要求10所述的装置，其中，对于每个所述每像素校正因子，所述预定校正模型包括固定偏移加法器，所述固定偏移加法器在所述显示面板的本机γ编码中应用于输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素。
17.如权利要求10所述的装置，其中，对于每个所述每像素校正因子，所述预定校正模型包括偏移加法器和每像素残差加法器，所述偏移加法器在所述显示面板的本机γ编码中应用于输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素，以生成第一中间每像素结果，所述每像素残差加法器应用于所述第一中间每像素结果，所述第一中间每像素结果是所述输入代码值的函数。
18.如权利要求10所述的装置，其中，对于每个所述每像素校正因子，所述预定校正模型包括固定偏移加法器和每像素残差加法器，所述固定偏移加法器在所述显示面板的本机γ编码中应用于输入代码值，所述输入代码值对应于与所述每像素校正因子相关的像素，以生成第一中间每像素结果，所述每像素残差加法器应用于所述第一中间每像素结果，所述第一中间每像素结果是所述输入代码值的函数。
CN201680060751.XA 2015-08-19 2016-08-18 用于检测和/或校正显示器中的像素亮度和/或色度响应变化的系统和方法 Active CN108140359B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562207091P 2015-08-19 2015-08-19
US62/207,091 2015-08-19
PCT/US2016/047470 WO2017031268A1 (en) 2015-08-19 2016-08-18 Systems and methods for detection and/or correction of pixel luminosity and/or chrominance response variation in displays

Publications (2)

Publication Number Publication Date
CN108140359A CN108140359A (zh) 2018-06-08
CN108140359B true CN108140359B (zh) 2020-10-30

Family

ID=58050993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680060751.XA Active CN108140359B (zh) 2015-08-19 2016-08-18 用于检测和/或校正显示器中的像素亮度和/或色度响应变化的系统和方法

Country Status (6)

Country Link
EP (1) EP3338274A4 (zh)
JP (1) JP6688878B2 (zh)
KR (1) KR102556275B1 (zh)
CN (1) CN108140359B (zh)
HK (2) HK1249270A1 (zh)
WO (1) WO2017031268A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733783B2 (en) * 2018-10-09 2020-08-04 Valve Corporation Motion smoothing for re-projected frames
CN110086961A (zh) * 2019-05-28 2019-08-02 易诚高科（大连）科技有限公司 一种针对OLED屏的DeMURA算法
US10891890B1 (en) * 2019-08-13 2021-01-12 Facebook Technologies, Llc Asymmetric pixel operation for compensating lens optics limitations
US11308868B2 (en) * 2020-01-03 2022-04-19 Qualcomm Incorporated Methods and apparatus for utilizing display correction factors
CN111462697B (zh) * 2020-04-28 2022-07-19 苏州佳智彩光电科技有限公司 基于可配置脚本的AMOLED屏mura外部光学补偿方法与系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750874B1 (en) * 1999-11-06 2004-06-15 Samsung Electronics Co., Ltd. Display device using single liquid crystal display panel
CN1539129A (zh) * 2001-08-08 2004-10-20 ���̿�������ʵ���ҹ�˾ 具有伽玛调整及自适应滤波的子像素着色方法及系统
CN101460988A (zh) * 2006-06-02 2009-06-17 三星电子株式会社 具有动态色域映射的多基色显示
CN101558440A (zh) * 2006-09-26 2009-10-14 夏普株式会社 液晶显示装置
CN101933074A (zh) * 2007-12-21 2010-12-29 全球Oled科技有限责任公司 具有用于激活驱动晶体管的补偿后的模拟信号的电致发光显示器
US8525762B2 (en) * 2006-11-16 2013-09-03 Innolux Corporation Systems and methods for adjusting display parameters of an active matrix organic light emitting diode panel
JP2014519051A (ja) * 2011-04-28 2014-08-07 ドルビー ラボラトリーズ ライセンシング コーポレイション 変化する色収差補正ｌｃｄパネル駆動状態を補償するための色補正機能を有するデュアルｌｃｄディスプレイ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3529505B2 (ja) * 1995-08-04 2004-05-24 大日本印刷株式会社 単色光を用いたカラー画像の表示方法
GB0014961D0 (en) * 2000-06-20 2000-08-09 Koninkl Philips Electronics Nv Light-emitting matrix array display devices with light sensing elements
US6507159B2 (en) * 2001-03-29 2003-01-14 Koninklijke Philips Electronics N.V. Controlling method and system for RGB based LED luminary
KR100438918B1 (ko) * 2001-12-08 2004-07-03 엘지전자 주식회사 플라즈마 디스플레이 패널의 구동방법 및 장치
JP4617076B2 (ja) * 2003-10-29 2011-01-19 シャープ株式会社 表示補正回路及び表示装置
US7639849B2 (en) * 2005-05-17 2009-12-29 Barco N.V. Methods, apparatus, and devices for noise reduction
US20070069632A1 (en) * 2005-09-26 2007-03-29 Toppoly Optoelectronics Corp. Electroluminescent device and pixel device
JP4884744B2 (ja) * 2005-10-07 2012-02-29 シャープ株式会社 バックライト装置及びこれを備える表示装置
KR20080101680A (ko) * 2007-05-18 2008-11-21 가부시키가이샤 한도오따이 에네루기 켄큐쇼 액정 표시장치, 전자 기기, 및 그의 구동방법
JP5446216B2 (ja) * 2008-11-07 2014-03-19 ソニー株式会社 表示装置及び電子機器
US8831343B2 (en) * 2009-01-19 2014-09-09 Dolby Laboratories Licensing Corporation Image processing and displaying methods for devices that implement color appearance models
CN102708837B (zh) * 2009-09-29 2014-07-09 盛群半导体股份有限公司 亮度补偿装置及方法
CA2696778A1 (en) * 2010-03-17 2011-09-17 Ignis Innovation Inc. Lifetime, uniformity, parameter extraction methods
US9135864B2 (en) * 2010-05-14 2015-09-15 Dolby Laboratories Licensing Corporation Systems and methods for accurately representing high contrast imagery on high dynamic range display systems
US9864243B2 (en) * 2010-05-14 2018-01-09 Dolby Laboratories Licensing Corporation High dynamic range displays using filterless LCD(s) for increasing contrast and resolution
CN102655161A (zh) * 2011-05-03 2012-09-05 京东方科技集团股份有限公司 一种像素结构及其制造方法、显示装置
US8773451B2 (en) * 2011-05-03 2014-07-08 Apple Inc. Color correction method and apparatus for displays
KR20150051437A (ko) * 2013-11-04 2015-05-13 삼성디스플레이 주식회사 휘도 보정 시스템 및 방법
JP2015125243A (ja) * 2013-12-26 2015-07-06 シャープ株式会社 マルチディスプレイシステム、画像表示装置、画面制御方法およびプログラム
JP6661285B2 (ja) * 2014-06-02 2020-03-11 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． ディスプレイパネルと、ディスプレイパネルのピクセル輝度の補償方法およびピクセルパラメータを補償するための方法
KR102218531B1 (ko) * 2015-01-29 2021-02-23 삼성디스플레이 주식회사 데이터 보상기 및 이를 포함하는 표시 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750874B1 (en) * 1999-11-06 2004-06-15 Samsung Electronics Co., Ltd. Display device using single liquid crystal display panel
CN1539129A (zh) * 2001-08-08 2004-10-20 ���̿�������ʵ���ҹ�˾ 具有伽玛调整及自适应滤波的子像素着色方法及系统
CN101460988A (zh) * 2006-06-02 2009-06-17 三星电子株式会社 具有动态色域映射的多基色显示
CN101558440A (zh) * 2006-09-26 2009-10-14 夏普株式会社 液晶显示装置
US8525762B2 (en) * 2006-11-16 2013-09-03 Innolux Corporation Systems and methods for adjusting display parameters of an active matrix organic light emitting diode panel
CN101933074A (zh) * 2007-12-21 2010-12-29 全球Oled科技有限责任公司 具有用于激活驱动晶体管的补偿后的模拟信号的电致发光显示器
JP2014519051A (ja) * 2011-04-28 2014-08-07 ドルビー ラボラトリーズ ライセンシング コーポレイション 変化する色収差補正ｌｃｄパネル駆動状態を補償するための色補正機能を有するデュアルｌｃｄディスプレイ

Also Published As

Publication number Publication date
WO2017031268A1 (en) 2017-02-23
JP2018536884A (ja) 2018-12-13
KR20180039725A (ko) 2018-04-18
KR102556275B1 (ko) 2023-07-18
CN108140359A (zh) 2018-06-08
JP6688878B2 (ja) 2020-04-28
EP3338274A4 (en) 2019-04-17
EP3338274A1 (en) 2018-06-27
HK1256132A1 (zh) 2019-09-13
HK1249270A1 (zh) 2018-10-26

Similar Documents

Publication Publication Date Title
CN108140359B (zh) 用于检测和/或校正显示器中的像素亮度和/或色度响应变化的系统和方法
US9497447B2 (en) System and method for color and intensity calibrating of a display system for practical usage
US7133083B2 (en) Dynamic shadow removal from front projection displays
US8174626B2 (en) Apparatus and method for correcting images displayed by a plurality of image apparatus
US20050134599A1 (en) Methods and systems for compensating an image projected onto a surface having spatially varying photometric properties
US8111290B2 (en) Radiometric calibration using temporal irradiance mixtures
Kagami et al. Animated stickies: Fast video projection mapping onto a markerless plane through a direct closed-loop alignment
US10540921B2 (en) Systems and methods for detection and/or correction of pixel luminosity and/or chrominance response variation in displays
Damera-Venkata et al. Realizing super-resolution with superimposed projection
EP4032061A1 (en) Learning-based lens flare removal
JP2005189542A (ja) 表示システム、表示プログラム、表示方法
JP2017147638A (ja) 映像投影システム、映像処理装置、映像処理プログラムおよび映像処理方法
Kurth et al. Real-time adaptive color correction in dynamic projection mapping
Shih et al. Enhancement and speedup of photometric compensation for projectors by reducing inter-pixel coupling and calibration patterns
JP6350356B2 (ja) 画像処理装置、プロジェクタ、画像処理方法、及びプログラム
JP6361111B2 (ja) 画像処理装置、画像処理方法および投射装置
Choi et al. Image restoration for quantifying TFT-LCD defect levels
JP6178938B1 (ja) 絵画鑑賞支援システムおよび絵画鑑賞支援方法
Sankar Projector Compensation for Unconventional Projection Surface
Li Efficient Full Projector Compensation using Natural Images
Ahn et al. UDC-SIT: a real-world dataset for under-display cameras
KR20200105459A (ko) 표시장치의 얼룩 보상 방법 및 및 장치
Chiu et al. Painted face effect removal by a projector-camera system with dynamic ambient light adaptability
WO2024006987A2 (en) Systems, methods, and devices for image processing
JP2014042205A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1249270

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant