CN111819618B - 像素对比度控制系统和方法 - Google Patents

像素对比度控制系统和方法 Download PDF

Info

Publication number
CN111819618B
CN111819618B CN201880090394.0A CN201880090394A CN111819618B CN 111819618 B CN111819618 B CN 111819618B CN 201880090394 A CN201880090394 A CN 201880090394A CN 111819618 B CN111819618 B CN 111819618B
Authority
CN
China
Prior art keywords
pixel
image data
contrast control
luminance
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880090394.0A
Other languages
English (en)
Other versions
CN111819618A (zh
Inventor
M·B·查普帕里
闵昌基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN111819618A publication Critical patent/CN111819618A/zh
Application granted granted Critical
Publication of CN111819618B publication Critical patent/CN111819618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0653—Controlling or limiting the speed of brightness adjustment of the illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Abstract

本发明公开了一种电子设备(10)，所述电子设备(10)可包括要耦接在图像数据源(38)与显示面板(12)之间的显示流水线(36)。所述显示流水线(36)可包括像素对比度控制处理电路(52)，所述像素对比度控制处理电路(52)被编程用于至少部分地基于指示在所述显示面板(12)上实现的对应的显示器像素的初始目标亮度的图像数据来确定指示图像帧的像素统计值(60)。所述像素对比度控制电路(52)还可应用一组局部色调映射(64)来确定指示经修改的目标亮度的经修改的图像数据。所述显示流水线(36)还可包括耦接到所述像素对比度控制处理电路(52)的像素对比度控制控制器(62)。所述像素对比度控制控制器(62)可被编程用于执行固件指令，以至少部分地基于由所述像素对比度控制处理电路(52)确定的像素统计值来确定要在下一图像帧期间应用的局部色调映射。

Description

像素对比度控制系统和方法
技术领域
本公开整体涉及电子显示器，并且更具体地，涉及处理要用于在电子显示器上显示图像的图像数据。
背景技术
本部分旨在向读者介绍可能与本公开的各个方面相关的本领域的各个方面，本公开的各个方面在下文中描述和/或受权利要求保护。该讨论被认为有助于为读者提供背景信息以便于更好地理解本公开的各个方面。相应地，应当理解，应就此而论阅读这些陈述，而不是作为对现有技术的认可。
电子设备通常使用一个或多个电子显示器通过显示一个或多个图像(例如，图像帧)来呈现信息的视觉表示，如文本、静态图像和/或视频。例如，此类电子设备可包括计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式耳机和车辆仪表板等。为了显示图像，电子显示器可至少部分地基于对应的图像数据来控制其显示器像素的光发射(例如，亮度)。一般来讲，在显示图像时显示器像素的亮度可影响感知亮度，并且因此影响图像中的感知对比度(例如，显示器像素之间的亮度差异)。事实上，至少在一些情况下，增加对比度可有利于改善图像锐度，并且因此改善感知图像质量。
然而，环境因素诸如环境照明条件可影响感知对比度。例如，入射在电子显示器的屏幕上的环境光可相对于亮像素的感知亮度增加暗显示器像素的感知亮度。如此，增加环境光可降低图像中的感知对比度，这至少在一些情况下可导致图像显得模糊。
为了有利于改善感知对比度，在一些情况下，可相对于暗显示器像素的亮度进一步增加亮显示器像素的亮度，例如，以抵消环境照明条件。然而，电子显示器中的亮度增加可仍然受到其光源(例如，LED背光源或OLED显示器像素)的最大亮度的限制。此外，增加其显示器像素的亮度可增加电子显示器的操作引起的功率消耗。
发明内容
下面阐述本文所公开的某些实施方案的概要。应当理解，呈现这些方面仅仅是为了向读者提供这些特定实施方案的简明概要，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下面可没有阐述的多个方面。
因此，为了有利于改善感知图像质量和/或降低功率消耗，本公开提供了用于在例如耦接在图像数据源和电子显示器的显示面板之间的显示流水线中实现和操作像素对比度控制(PCC)块的技术。在一些实施方案中，像素对比度控制块可包括处理电路(例如，硬件)，该处理电路对图像数据进行修改以按期望有利于改善感知对比度的方式调节所得的色调和/或亮度。例如，为了修改图像像素，像素对比度控制处理电路可确定图像像素的像素位置并且将各自与对应的像素位置相关联的一个或多个局部色调映射应用于图像像素。在一些实施方案中，当应用多个(例如，四个最近的)局部色调映射时，像素对比度控制处理电路可至少部分地基于图像像素的像素位置和与所述局部色调映射相关联的像素位置之间的距离来内插结果。
另外，为了有利于改善感知对比度，在一些情况下，可相对于暗显示器像素的亮度增加或改变亮显示器像素的亮度，例如，以抵消环境照明条件。例如，电子显示器可通过增加提供给光源的电功率来增加其显示器像素的亮度，该光源诸如相邻于显示器像素实现的背光源和/或在显示器像素中实现的有机发光二极管(OLED)。
在一些实施方案中，像素对比度控制处理电路可确定像素统计值，像素统计值可指示图像的像素亮度和色调。因此，像素统计值可用于确定局部色调映射。在一些实施方案中，可基于在当前图像帧中定义的局部窗口(例如，单元)来收集像素统计值。另外，像素对比度控制处理电路可基于在当前图像帧中定义的有效区来确定全局像素统计值。有效区可排除当前图像帧的静止部分，诸如字幕。在一些实施方案中，像素统计值可包括有效区中的每个图像像素的最大颜色分量值、平均值、直方图和/或亮度值。
在一些实施方案中，可至少部分地基于目标亮度水平来确定与图像像素相关联的亮度值。例如，可将与图像像素对应的亮度值设置为平均亮度值(例如，颜色分量的加权平均)、最大亮度值(例如，加权颜色分量的最大值)和/或混合亮度值。在一些实施方案中，可通过将平均亮度值与最大亮度值混合来确定混合亮度值，例如，以在两者间产生平滑过渡。
像素对比度控制块可另外包括控制器(例如，处理器)，该控制器执行指令(例如，固件)以至少部分地基于所检测到的环境条件和从像素对比度控制处理电路接收的像素统计值来确定一个或多个局部色调映射。在一些实施方案中，可并行地确定像素统计值和局部色调映射。然而，在一些实施方案中，并行操作可导致基于来自前一帧的像素统计值确定的局部色调映射。因此，在此类实施方案中，当像素对比度控制处理电路应用至少部分地基于与前一图像帧相关联的像素统计值确定的局部色调映射时，像素对比度控制控制器可至少部分地基于与当前图像帧相关联的像素统计值来确定局部色调映射。
在一些实施方案中，可对一组局部色调映射进行空间和/或时间滤波，以有利于降低在图像帧中产生非预期的突然亮度变化的可能性。然而，在一些实施方案中，当检测到场景变化时，可禁用对相继组局部色调映射的时间滤波。在一些实施方案中，可根据与每个局部窗口和/或整个有效区相关联的像素统计值来确定场景变化。
为了实现此类具体实施，像素对比度控制控制器可确定每个局部色调映射的多个版本。例如，像素对比度控制控制器可确定启用时间滤波的第一版本和禁用时间滤波的第二版本。这样，像素对比度控制处理电路可至少部分地基于是否已经检测到场景变化来选择性地应用局部色调映射的第一版本或局部色调映射的第二版本。
此外，在一些实施方案中，像素对比度控制控制器可有利于通过适时地调暗(例如，降低)背光源(如果配备的话)的亮度来降低功率消耗。在一些实施方案中，可(例如，经由移动平均值)对应用于背光水平的调光因子进行时间滤波，以有利于降低产生突然亮度变化的可能性。例如，可基于前一图像帧的亮度和事先应用于图像帧的调光比来确定图像帧的目标亮度。这样，如将在下面更详细描述的，本公开中描述的技术提供了有利于降低功率消耗和/或改善电子显示器的感知图像质量的技术益处。
附图说明
在阅读以下详细描述并参考附图时可更好地理解本公开的各个方面，在附图中：
图1是根据实施方案的包括电子显示器的电子设备的框图；
图2是根据实施方案的图1的电子设备的示例；
图3是根据实施方案的图1的电子设备的另一示例；
图4是根据实施方案的图1的电子设备的另一示例；
图5是根据实施方案的图1的电子设备的另一示例；
图6是根据实施方案的耦接在图1的电子设备中包括的图像数据源和显示驱动器之间的显示流水线的框图；
图7是根据实施方案的在图6的显示流水线中包括的像素对比度控制块的框图；
图8是根据实施方案的用于操作图7的像素对比度控制块的过程的流程图；
图9是根据实施方案的示例性图像帧的图解表示；
图10是根据实施方案的用于确定像素统计值的过程的流程图；
图11是根据实施方案的用于确定与图像像素相关联的亮度值的过程的流程图；
图12是根据实施方案的用于操作在图7的像素对比度控制块中实现的控制器的过程的流程图；
图13是根据实施方案的用于操作在图7的像素对比度控制块中实现的处理电路的过程的流程图；
图14是根据实施方案的覆盖在图9的图像帧上的示例性帧网格的图解表示。
具体实施方式
下文将描述一个或多个具体实施方案。为了提供这些实施方案的简要描述，本说明书中未描述实际具体实施的所有特征。应当了解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须要作出特定于许多具体实施的决策以实现开发者的具体目标，诸如符合可从一个具体实施变化为另一具体实施的与系统相关和与商业相关的约束。此外，应当理解，此类开发工作有可能复杂并且耗时，但是对于受益于本公开的本领域的普通技术人员而言，其仍将是设计、加工和制造的常规工作。
为了有利于传送信息，电子设备通常使用一个或多个电子显示器经由一个或多个图像(例如，图像帧)来呈现该信息的视觉表示。一般来讲，为了显示图像，电子显示器可基于对应的图像数据来控制其显示器像素的光发射(例如，亮度)。例如，图像数据源(例如，存储器、输入/输出(I/O)端口和/或通信网络)可将图像数据输出为图像像素流，每个图像像素指示定位于对应的像素位置处的显示器像素的目标亮度。
一般来讲，显示器像素亮度可影响感知亮度，并且因此影响图像中的感知对比度。至少在一些情况下，感知对比度可影响所显示图像的感知质量。例如，较高的感知对比度可改善边缘和/或线条锐度(例如，清晰度)。
然而，感知对比度也可受到环境因素诸如环境照明条件的影响。例如，较亮的环境照明条件可导致图像中的暗显示器像素的感知亮度与该图像中的亮显示器像素的感知亮度之间的差值减小，从而减小该图像中的感知对比度。换句话讲，使用相同的显示器像素亮度，感知对比度通常随着环境照明条件的改变(例如，增大)而改变(例如，减小)。
为了有利于改善感知对比度，在一些情况下，可相对于暗显示器像素的亮度进一步增加亮显示器像素的亮度，例如，以抵消环境照明条件。一般来讲，电子显示器可通过增加提供给光源的电功率来增加其显示器像素的亮度，该光源诸如相邻于显示器像素实现的背光源和/或在显示器像素中实现的有机发光二极管(OLED)。如此，增加显示器像素的亮度也可增加电子显示器的操作引起的功率消耗。另外，光源的最大亮度可限制电子显示器持续增加显示器像素亮度的能力。
此外，例如，由于将电子显示器从室内环境移动到室外环境，环境条件变化通常相对突然地发生。因此，至少在一些情况下，对环境条件变化的响应性也可影响感知图像质量。例如，仅仅在软件中(例如，回路外)调节显示器像素的目标亮度可导致在考虑环境条件变化之前的可感知延迟。
因此，为了有利于改善感知图像质量和/或降低功率消耗，本公开提供了用于在例如耦接在图像数据源和电子显示器的显示面板之间的显示流水线中实现和操作像素对比度控制(PCC)块的技术。在一些实施方案中，像素对比度控制块可包括处理电路(例如，硬件)，该处理电路对图像数据进行修改以按期望有利于改善感知对比度的方式调节所得的色调和/或亮度。例如，为了修改图像像素，像素对比度控制处理电路可确定图像像素的像素位置并且将各自与对应的像素位置相关联的一个或多个局部色调映射应用于图像像素。在一些实施方案中，当应用多个(例如，四个最近的)局部色调映射时，像素对比度控制处理电路可至少部分地基于图像像素的像素位置和与所述局部色调映射相关联的像素位置之间的距离来内插结果。
由于感知对比度通常随显示器像素亮度而变化，因此在一些实施方案中，像素对比度控制处理电路可确定像素统计值，像素统计值可指示图像内容，并且因此用于确定局部色调映射。例如，像素对比度控制处理电路可基于在当前图像帧中定义的局部窗口(例如，单元)来确定局部像素统计值。另外，像素对比度控制处理电路可基于在当前图像帧中定义的有效区来确定全局像素统计值。
为了确定全局像素统计值，在一些实施方案中，像素对比度控制处理电路可对有效区进行定义以排除当前图像帧的静止部分，诸如字幕。在一些实施方案中，基于有效区中的每个图像像素的最大颜色分量值，像素对比度控制处理电路可确定与当前图像帧相关联的全局最大颜色分量直方图。另外，基于与有效区中的每个图像像素相关联的亮度值，像素对比度控制处理电路可确定与当前图像帧相关联的全局亮度直方图。
在一些实施方案中，可至少部分地基于目标亮度水平来确定与图像像素相关联的亮度值。例如，当目标亮度水平低于下限阈值亮度水平(例如，暗到中等亮度)时，可将与图像像素对应的亮度值设置为平均亮度值(例如颜色分量的加权平均数)；当目标亮度水平高于上限阈值亮度水平(例如，亮度范围的高端)时，可将与图像像素对应的亮度值设置为最大亮度值(例如，加权颜色分量的最大值)；并且当目标亮度水平在下限阈值亮度水平和上限阈值亮度水平之间时，可将与图像像素对应的亮度值设置为混合亮度值。在一些实施方案中，可通过将平均亮度值与最大亮度值混合来确定混合亮度值，例如，以在两者间产生平滑过渡。
为了确定局部像素统计值，在一些实施方案中，像素对比度控制处理电路可定义当前图像帧中的一组或多组局部窗口，例如，其中定义第一组局部窗口使得其包围有效区，以及定义第二组局部窗口使得其被包围在有效区内。在一些实施方案中，基于(例如，第二组)局部窗口中的每个图像像素的最大颜色分量值，像素对比度控制处理电路可确定与该局部窗口相关联的最大的最大颜色分量值和平均最大颜色分量值。另外，基于与(例如，第一组)局部窗口中的每个图像像素相关联的亮度值，像素对比度控制处理电路可确定与局部窗口相关联的局部亮度直方图。
这样，像素对比度控制块可确定指示图像内容的像素统计值并且修改回路中的图像数据，这至少在一些情况下可有利于改善对环境条件变化的响应性，例如，由于认为环境条件更接近实际显示图像时的情况。然而，分配给显示流水线并且因此分配给像素对比度控制处理电路的处理持续时间通常是有限的。为了有利于考虑其有限的分配处理持续时间，在一些实施方案中，像素对比度控制块可另外包括控制器(例如，处理器)，该控制器执行指令(例如，固件)以至少部分地基于所检测到的环境条件和从像素对比度控制处理电路接收的像素统计值来确定一个或多个局部色调映射。
具体地，以这种方式实现像素对比度控制块可使像素对比度控制处理电路和像素对比度控制控制器能够并行操作。然而，在一些实施方案中，并行操作可导致基于与当前图像帧相关联的像素统计值确定的局部色调映射在要修改当前图像帧中的图像像素时还不可用。因此，在此类实施方案中，当像素对比度控制处理电路应用至少部分地基于与前一图像帧相关联的像素统计值确定的局部色调映射时，像素对比度控制控制器可至少部分地基于与当前图像帧相关联的像素统计值来确定局部色调映射。
例如，至少部分地基于与前一图像帧相关联的全局亮度直方图和与当前图像帧相关联的局部亮度直方图，像素对比度控制控制器可确定将由像素对比度控制处理电路应用以修改下一图像帧的用于(例如，第一组的)每个局部窗口的一个或多个局部色调映射。具体地，确定用于局部窗口的一个或多个局部色调映射可与位于局部窗口中(例如，在局部窗口的中心)的像素位置相关联。在一些实施方案中，可对一组局部色调映射进行空间滤波以有利于降低在图像帧中产生非预期的突然亮度变化的可能性，这至少在一些情况下可有利于改善感知图像质量。
为了有利于进一步改善感知图像质量，在一些实施方案中，可对相继组局部色调映射进行时间滤波，以有利于降低在相继图像帧中产生非预期的突然亮度变化的可能性。然而，由于不同场景中包括的相继图像帧通常显著不同，因此跨场景边界应用时间滤波可导致不正确的图像帧。为了降低感知到此类不正确图像帧的可能性，当检测到场景变化时，可禁用对相继组局部色调映射的时间滤波。
在一些实施方案中，像素对比度控制块可至少部分地基于(例如相对于与第一图像帧相关联的场景变化统计值)与第二图像帧中的(例如，第二组的)每个局部窗口相关联的场景变化统计值(例如，最大的最大颜色分量值和平均最大颜色分量值)，来检测在第一图像帧和第二图像帧之间发生的场景变化。如此，直到像素对比度控制块已经完成对与第二图像帧相关联的像素统计值的确定之后，并且因此在与第二图像帧相关联的像素统计值已经用于确定将在下一图像帧中应用的局部色调映射之后，才可检测到场景变化。虽然仍可在第二图像帧中应用经时间滤波的局部色调映射，但是可通过应用在下一图像帧中禁用时间滤波的情况下生成的局部色调映射来减小产生可感知的视觉伪影的可能性。
为了实现此类具体实施，像素对比度控制控制器可确定每个局部色调映射的多个版本。例如，像素对比度控制控制器可确定启用时间滤波的第一版本和禁用时间滤波的第二版本。这样，像素对比度控制处理电路可至少部分地基于是否已经检测到场景变化来选择性地应用局部色调映射的第一版本或局部色调映射的第二版本。
此外，在一些实施方案中，像素对比度控制控制器可有利于通过适时地调暗(例如，降低)背光源(如果配备的话，例如在液晶显示器(LCD)中那样)的亮度来降低功率消耗。例如，为了降低背光单元的功率消耗，可在降低(即，调暗)背光水平时增加像素值。如此，可在保持经调暗的背光水平时提供相同的视觉亮度。在一些实施方案中，可(例如，经由移动平均值)对应用于背光水平的调光因子进行时间滤波，以有利于降低产生突然亮度变化的可能性。例如，可基于前一图像帧的亮度和事先应用于图像帧的调光比来确定图像帧的目标亮度。这样，如将在下面更详细描述的，本公开中描述的技术提供了有利于降低功率消耗和/或改善电子显示器的感知图像质量的技术益处。
为了帮助说明，图1示出了包括电子显示器12的电子设备10。如将在下面更详细描述的，电子设备10可为任何合适的电子设备，诸如计算机、移动电话、便携式媒体设备、平板电脑、电视、虚拟现实头戴式装置、车辆仪表板等。因此，应当指出的是，图1仅为特定具体实施的一个示例，并且旨在例示可存在于电子设备10中的部件的类型。
在所描绘的实施方案中，电子设备10包括电子显示器12、一个或多个输入设备14、一个或多个输入/输出(I/O)端口16、具有一个或多个处理器或处理器内核的处理器内核复合体18、本地存储器20、主存储器存储设备22、网络接口24、电源26和图像处理电路27。图1中描述的各种部件可包括硬件元件(例如，电路)、软件元件(例如，存储指令的有形非暂态计算机可读介质)或硬件元件和软件元件的组合。应当指出的是，各种描绘的部件可被组合成较少部件或分离成附加部件。例如，本地存储器20和主存储器存储设备22可被包括在单个部件中。另外，图像处理电路27(例如图形处理单元)可被包括在处理器内核复合体18中。
如图所示，处理器内核复合体18与本地存储器20和主存储器存储设备22可操作地耦接。因此，处理器内核复合体18可执行存储在局部存储器20和/或主存储器存储设备22中的指令以执行诸如生成和/或传输图像数据的操作。如此，处理器内核复合体18可包括一个或多个通用微处理器、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)或它们的任何组合。
除了指令之外，本地存储器20和/或主存储器存储设备22可以存储有待被处理器内核复合体18处理的数据。因此，在一些实施方案中，本地存储器20和/或主存储器存储设备22可包括一种或多种有形非暂态计算机可读介质。例如，本地存储器20可包括随机存取存储器(RAM)，并且主存储器存储设备22可包括只读存储器(ROM)、可重写非易失性存储器(诸如闪存存储器、硬盘驱动器、光盘等等)。
如图所示，处理器内核复合体18也与网络接口24可操作地耦接。在一些实施方案中，网络接口24可便于与另一电子设备和/或网络传送数据。例如，网络接口24(例如，射频系统)可以使得电子设备10能够通信地耦接到个人局域网(PAN)(例如，蓝牙网络)、局域网(LAN)(例如，802.11xWi-Fi网络)和/或广域网(WAN)(诸如4G网络或LTE蜂窝网络)。
此外，如图所示，处理器内核复合体18可操作地耦接到电源26。在一些实施方案中，电源26可向电子设备10中的一个或多个部件(诸如处理器内核复合体18和/或电子显示器12)提供电力。因此，电源26可包括任何合适的能量源，诸如可再充电的锂聚合物(Li-poly)电池和/或交流电(AC)电源转换器。
另外，如图所示，处理器内核复合体18与一个或多个I/O端口16可操作地耦接。在一些实施方案中，I/O端口16可使得电子设备10能够与其他电子设备对接。例如，在连接了便携式存储设备时，I/O端口16可以使得处理器内核复合体18能够与便携式存储设备之间传达数据。
如图所示，电子设备10还与一个或多个输入设备14可操作地耦接。在一些实施方案中，输入设备14可通过(例如)接收用户输入而促进与电子设备10的用户交互。因此，输入设备14可包括按钮、键盘、鼠标、触控板等。另外，在一些实施方案中，输入设备14可包括电子显示器12中的触摸感测部件。在此类实施方案中，触摸感测部件可通过检测物体触摸电子显示器12的表面的发生和/或位置来接收用户输入。
除了实现用户输入之外，电子显示器12可包括具有一个或多个显示器像素的显示面板。如上所述，电子显示器12可控制来自其显示器像素的光发射，从而通过至少部分地基于对应的图像数据(例如，定位于相同像素位置处的图像像素)来显示帧而呈现信息的视觉表示，诸如操作系统的图形用户界面(GUI)、应用程序界面、静态图像或视频内容。如图所示，电子显示器12可操作地耦接至处理器内核复合体18和图像处理电路27。这样，电子显示器12可至少部分地基于由处理器内核复合体18、图像处理电路27生成的图像数据来显示图像。此外或另选地，电子显示器12可以至少部分地基于经由网络接口24、输入设备14和/或I/O端口16接收的图像数据来显示图像。
如上所述，电子设备10可为任何合适的电子设备。为了便于说明，合适的电子设备10，尤其是手持设备10A的一个示例示于图2中。在一些实施方案中，手持设备10A可以是便携式电话、媒体播放器、个人数据管理器、手持式游戏平台等等。出于例示目的，手持设备10A可以是智能电话，诸如可购自Apple inc.的任何型号。
如图所示，手持设备10A包括壳体28(例如外壳)。在一些实施方案中，壳体28可保护内部部件免受物理性损坏，并且/或者屏蔽内部部件使其免受电磁干扰。另外，如图所示，壳体28可以围绕电子显示器12。在所描绘的实施方案中，电子显示器12显示具有图标32阵列的图形用户界面(GUI)30。举例来讲，当通过输入设备14或电子显示器12的触摸感测部件选择图标32时，可以启动应用程序。
此外，如图所示，可以通过壳体28中的开口触及输入设备14。如上所述，输入设备14可使得用户能够与手持设备10A进行交互。例如，输入设备14可使得用户能够激活或去激活手持设备10A、将用户界面导航至home屏幕、将用户界面导航到用户可配置的应用屏幕、激活语音识别特征结构、提供音量控制和/或在震动和响铃模式之间切换。如图所示，可通过壳体28中的开口触及I/O端口16。在一些实施方案中，I/O端口16可包括例如连接至外部设备的音频插孔。
为了进一步说明，合适的电子设备10，尤其是平板设备10B的另一示例示于图3中。出于例示目的，平板设备10B可为可购自Apple inc.的任何型号。在图4中示出了合适的电子设备10的另一示例，其具体为计算机10C。为了示意性的目的，计算机10C可为可购自Apple Inc.的任何/>或/>型号。合适的电子设备10，尤其是手表10D的另一个示例示于图5中。为了示意性的目的，手表10D可为可购自Apple Inc.的任何Apple型号。如图所示，平板设备10B、计算机10C和手表10D各自还包括电子显示器12、输入设备14、I/O端口16和壳体28。
如上所述，电子显示器12可基于例如从处理器内核复合体18和/或图像处理电路27接收的图像数据来显示图像(例如，图像帧)。为了便于说明，图6示出了包括操作地检索、处理以及输出图像数据的显示流水线36的电子设备10的部分34。在一些实施方案中，显示流水线36可分析和/或处理从图像数据源38获得的图像数据，例如，以在将该图像数据用于显示对应的图像之前确定该图像数据并且将色调曲线应用于该图像数据。另外，在一些实施方案中，显示驱动器40可至少部分地基于从显示流水线36接收的图像数据生成模拟电信号并且将该模拟电信号提供给显示器像素以显示图像。
在一些实施方案中，可在电子设备10、电子显示器12或它们的组合中实现显示流水线36和/或显示驱动器40。例如，显示流水线36可包括在处理器内核复合体18、图像处理电路27、电子显示器12中的定时控制器(TCON)、一个或多个其他处理单元或电路或它们的任何组合中。另外，可实现控制器42以同步和/或补充对从图像数据源38接收的图像数据的处理。此类控制器可包括处理器44和/或存储器46，并且可被实现为独立电路或集成到其他部件中。例如，与显示流水线36一样，可在电子设备10，诸如在处理器内核复合体18、图像处理电路27、一个或多个其他处理单元或电路或它们的任何组合中实现控制器42。
在一些实施方案中，图像数据可存储在图像数据源38中的源缓冲器中并且由显示流水线36获取。在一些情况下，电子设备10可包括被实现以处理图像数据的一个或多个处理流水线(例如，显示流水线36)。为了有利于处理流水线之间的通信，可将图像数据存储在处理流水线外部的图像数据源38中。在此类情况下，处理流水线诸如显示流水线36可包括读取(例如，检索)和/或写入(例如，存储)图像数据源38(例如，存储器46、主存储器存储设备22和/或本地存储器)中的图像数据的直接存储器存取(DMA)块。
控制器42和显示驱动器40也可操作地耦接到背光源48(如果存在于电子显示器12中)。在一些实施方案中，例如诸如使用液晶显示器(LCD)的电子设备10，包括背光源48以提供静态或可变光源，该静态或可变光源充当显示器像素的光源，并且因此提供对图像的观看。然而，在一些显示器12中，可使用除背光源48之外的另选的光源。例如，有机发光二极管(OLED)显示器可具有自发光显示器像素。此外，一些实施方案可包括多于一种光源，诸如自发光像素和背光源48。
当由显示流水线36从图像数据源38检索(例如，获取)图像数据时，图像数据可在源空间中格式化。源空间可包括图像数据源38原生的文件格式和/或编码。为了有利于在电子显示器上显示对应的图像，显示流水线36可将图像数据从源空间映射到由电子显示器12使用的显示空间。不同类型、型号、尺寸和分辨率的显示器可具有不同的显示空间。
另外，显示流水线36可包括执行各种图像处理操作的一个或多个图像数据处理块50，例如以将图像数据从源空间映射到显示空间。在所描绘的实施方案中，图像数据处理块50包括像素对比度控制(PCC)块52和抖动块53。在一些实施方案中，图像数据处理块50可附加地或另选地包括颜色管理块、混合块、裁剪块等。在一些实施方案中，显示流水线36可包括更多的、更少的、组合的、分割的和/或重新排序的图像数据处理块50。
抖动块53可有助于全局地和/或局部地使像素颜色和强度平滑。这些调节可有助于补偿量化误差。例如，显示器可能无法实现图像数据的全彩色调色板。抖动块53可将显示器调色板的颜色交织在局部像素中来代替四舍五入或估计到最近的颜色，以近似于原始图像数据并且提供更美观、清楚和/或清晰的输出以供观看。附加地或另选地，抖动块53也可提供时间抖动，时间抖动可使不同图像上的颜色和/或光强度交替以产生目标的(例如，期望的)颜色的外观。
基于显示空间图像数据的特征和环境条件诸如环境照明，PCC块52可分析来自当前帧和/或先前帧的图像数据并且应用局部色调映射。在一些实施方案中，局部色调映射可基于图像数据特征和环境因素来调节像素的颜色和亮度水平。
为了便于说明，图7是PCC块52接收输入图像数据54并且产生输出图像数据56的框图。可由统计值子块58对即将到来的帧的输入图像数据54进行分析以获得像素统计值60。这些像素统计值60可包括最小值、最大值、平均值、直方图和/或指示输入图像数据54的内容的其他信息。另外，可全局地和/或局部地确定像素统计值60。可由PCC控制器62对像素统计值60进行处理以确定局部色调映射64，从而调整像素修改子块66中的图像输入数据54。然后可对输出图像数据56进行进一步处理和/或将其发送至显示驱动器40。
在一些实施方案中，可将PCC块52分成多于一个处理部分。例如，可由像素对比度控制处理电路(例如，硬件)来实现统计值子块58和像素修改子块66，并且可由执行存储在有形、非暂态计算机可读介质中的指令(例如，固件)的处理器来实现PCC控制器62。在一些实施方案中，PCC控制器62可包括专用处理器或微处理器。附加地或另选地，PCC控制器62可与控制器42、处理器内核复合体18等共享处理资源。
在一些实施方案中，当像素统计值60可供处理时，统计值子块58可以将中断信号传送至PCC控制器62另外，在至少部分地基于像素统计值60确定局部色调映射64之后，PCC控制器62可将局部色调映射64存储在像素修改子块66可访问的寄存器中。另外，为了有利于同步操作，PCC控制器62可向像素修改子块66指示局部色调映射64已经更新并且准备好应用。
图8是示出了对PCC块52的操作的概述的流程图68。PCC块52接收用于帧的输入图像数据54(过程框70)并且确定帧中的一个或多个有效区(过程框72)。有效区可为帧的期望考虑用于控制感知对比度的区域。然后PCC块52的统计值子块58可确定有效区的全局统计值(过程框74)。还可确定帧的一组或多组局部窗口(过程框76)，使得可确定每个局部窗口的局部统计值(过程框78)。然后可根据全局统计值和局部统计值来确定局部色调映射64(过程框80)并且将其应用于输入图像数据54(过程框82)。
为了便于说明，图9是输入图像数据54的其中定义了有效区86的示例性图像帧84。如上所述，有效区86可为图像帧84的包括与图像帧84的其余部分分开的PCC处理的区域。例如，有效区86可排除图像帧84的包括字幕、恒定颜色部分(例如，黑边)等区域或与这些区域分开。另外，有效区86可包括经由画中画或分屏分开的图像帧84的一部分。在一些实施方案中，有效区86可包括完整图像帧84。
在任何情况下，可至少部分地基于有效区86来定义一组或多组局部窗口88。例如，可将第一组局部窗口定义为完全包围有效区86。事实上，在一些实施方案中，第一组可包括边缘窗口90，该边缘窗口包括图像帧84的在有效区86外部的部分。尽管要从有效区86内的边缘窗口90的部分提取像素统计值60，但在一些实施方案中，仍然可从有效区86外部收集像素统计值60。
附加地或另选地，可定义第二组局部窗口，使得其被完全包围在有效区86内。在一些实施方案中，可使用包括在第二组中的局部窗口88以有利于检测场景变化的发生。另外，在一些实施方案中，包括在第二组中的局部窗口88可与包括在第一组中的局部窗口88不同，例如，使得它们被不同地对准和/或偏置。在其他实施方案中，可使用单个一组局部窗口88。
如上所述，可由统计值子块58确定局部统计值和全局统计值。另外，局部统计值和全局统计值两者可包括最大值、平均值、直方图和/或其他期望的像素统计值60。图10是概述用于确定像素统计值60的过程的示例的框图94。输入图像数据54可由统计值子块58接收(过程框96)。输入图像数据54可对各自指示定位于对应的显示器像素处的每个颜色分量(例如，红色、绿色和蓝色)的目标亮度的像素进行成像。
在查找一组像素统计值60时，确定每个像素的颜色分量的最大强度水平(过程框98)。每个像素的最大强度水平可来自颜色分量(例如，红色、绿色或蓝色)中的任一种并且用于产生局部统计值和全局统计值两者。在局部窗口88中的每个像素的最大强度水平可用于在最大值、平均最大值中查找总体最大强度水平以及平均强度水平(过程框100)。如上所述，然后可将所确定的像素统计值60发送至PCC控制器62以用于计算局部色调映射64(过程框102)。在一些实施方案中，可将每个最大强度水平编码为对应像素的最大γ值(过程框104)。该编码可将颜色分量强度水平转换到非线性空间中以增加人眼可察觉的差异。无论是使用最大强度水平还是使用最大γ值，都可以创建最大值的全局直方图(过程框106)，并且将其发送至PCC控制器62(过程框102)。
附加地或另选地，在收集另外的统计值之前，可将完整输入图像数据54的颜色分量强度编码为γ值(过程框108)。γ值或颜色分量强度(如果不需要编码)也可用于确定每个图像像素的亮度值(过程框110)。亮度值可对应于对应的显示器像素的亮度或光发射。如此，校正系数可用于不同的颜色分量。
在一些实施方案中，可计算每个图像像素的不同颜色分量的最大亮度值和/或不同颜色分量中的平均亮度值。此外，也可计算最大亮度值和平均亮度值的混合，以使亮和暗的过渡在时间和/或空间上平滑。在一些实施方案中，可为平均亮度值和/或混合亮度值建立保持至少最小亮度水平的本底值。这些最大亮度值、平均亮度值和混合亮度值可用于计算在整个有效区86中的全局直方图(过程框112)和/或计算在局部窗口88中的每个局部窗口中的局部直方图(过程框114)。另外，在一些实施方案中，可将滤波器(例如，低通滤波器)应用于一个或多个直方图(例如，局部直方图)，以有利于在将直方图发送至PCC控制器62(过程框102)之前使空间异常值平滑(过程框116)。
如上所述，PCC控制器62可使用平均亮度值、最大亮度值和/或混合亮度值来生成局部色调映射64。在一些情况下，输入图像数据54可包括高度饱和的颜色。虽然高度饱和的颜色具有高颜色内容，但其光输出可能不会非常高。
图11是用于帮助示出选择要使用哪个亮度值的流程图118。可确定像素、局部窗口88或有效区86的目标亮度水平(过程框120)。可基于像素、局部窗口88或有效区86的期望的光输出来确定该目标亮度水平。如此，每个图像像素的亮度值可单独选择，按局部窗口88分组，按有效区86分组或一起作为图像帧84。如果目标亮度小于下限阈值(决策框122)，则可将亮度值设置为平均亮度值(过程框124)。如果目标亮度大于上限阈值(决策框126)，则可将亮度值设置为最大亮度值(过程框128)。此外，如果目标亮度水平在阈值之间，则可将亮度值设置为混合亮度值。在一些实施方案中，当生成局部色调映射64时，可期望使用最大亮度值来代替混合亮度值或平均亮度值，因为使用最大亮度值可减少颜色分量变化。然而，平均亮度值和/或混合亮度值可产生灰度级的增大，从而通过对颜色分量强度进行相对更多的改变来保留感知对比度。
一旦接收了像素统计值60，PCC控制器62就可至少部分地基于像素统计值60来生成局部色调映射64。图12是示出局部色调映射64的创建的流程图132。PCC控制器62可确定要在局部色调映射64中考虑的环境条件(例如，环境照明)(过程框134)。PCC控制器62还从统计值子块58接收像素统计值60(过程框136)。根据环境条件和像素统计值60(例如，全局最大值直方图、全局亮度直方图、局部直方图等)，PCC控制器62可确定调光因子(过程框138)和色调映射(过程框140)。在一些实施方案中，可例如通过使用低通滤波器对局部色调映射64进行滤波，以有利于使颜色分量和光输出强度平滑(过程框142)。然后可将这些局部色调映射64发送至像素修改子块66以应用于输入图像数据54。可按像素或经由局部窗口88和/或有效区86应用局部色调映射64。另外，在一些实施方案中，调光因子可用于影响电子显示器12的背光源48(如果配备的话)或影响自发光显示器像素的电流和/或电压水平。可将另外的时间滤波器应用于此类照明效果以降低发生突然照明变化的可能性。
为了产生局部色调映射64，PCC控制器62可采用时间和/或空间滤波器。例如，时间滤波器可允许平滑的光输出变化(例如，背光源48变化)以及颜色分量因子变化。另外，时间滤波器可允许随时间的推移平滑的色调曲线变化。在一些实施方案中，时间滤波器可使用来自一个或多个先前帧的像素统计值60。然而，由于时间滤波的影响，如果发生场景变化，则颜色或照明效果可能发生伪影和/或不期望的变化，如果时间滤波未重置的话。可将场景变化识别作为像素统计值(例如，全局统计值)分析的一部分来完成。例如，如果输入图像数据54的全局直方图与前一帧的全局直方图显著不同，则可能已发生场景变化。
现在返回图7，如上所述，统计值子块58向PCC控制器62提供像素统计值60以生成局部色调映射64。在一些实施方案中，PCC块52可收集像素统计值60并且同时内插输出图像数据54。如此，这可导致将基于与前一帧相关联的像素统计值60所确定的局部色调映射64用于与当前帧对应的图像数据。时间滤波器可有利于使帧84之间的任何差异平滑。然而，可能直到后续帧才可检测到场景变化。如此，当发生场景变化时，该帧延迟可与上述由于时间滤波而引起的伪影或不期望的颜色和/或照明效果变化混合。由于可在多个帧上完成时间滤波，因此可能需要多个帧来校正所出现的问题。
为了使场景变化的影响最小化，可由PCC控制器62生成两组色调映射。一组局部色调映射64可包括来自先前帧84的时间滤波，而第二组局部色调映射64可重置时间滤波器，从而不考虑先前帧84。虽然仍可应用经时间滤波的局部色调映射64，但是当检测到场景变化时，可通过在不进行时间滤波的情况下应用局部色调映射64来减小产生可感知的视觉伪影的可能性。这可导致如上所述的单帧延迟伪影，而没有由于时间滤波引起的延迟增加。在一些实施方案中，更快的处理可进一步减少帧延迟。此外，一般来讲，根据具体实施(例如，帧速率)，当人眼感知到单帧异常时，该单帧异常可为可接受的。
为了帮助进一步说明，图13是示出像素修改子块66的示例性操作的流程图144。像素修改子块66可接收经时间滤波的和未经时间滤波的局部色调映射64两者(过程框146)。然后可确定是否已发生场景变化(决策框148)。如果已发生场景变化，则将未经时间滤波的局部色调映射64应用于输入图像数据54(过程框150)，并且如果未检测到场景变化，则应用经时间滤波的局部色调映射64(过程框152)。在一些实施方案中，如果检测到场景变化，则可应用经时间滤波的色调映射64和/或未经时间滤波的局部色调映射64的不同加权。当应用适当的局部色调映射64时，像素修改子块66可内插经色调映射的图像数据(过程框154)。
可对经色调映射的图像数据(输出图像数据56)在有效区86内进行空间内插以使交接部和边界平滑，如图14的帧网格156所示。可在由位于有效区86内的内部像素位置158和位于有效区86外的外部像素位置160组成的二维帧网格156上指定局部色调映射64。尽管帧网格156不需要与局部窗口88对准，但在一些实施方案中，内部像素位置158对应于局部窗口88的中心。
在任何情况下，像素修改子块66可接收与每个内部像素位置158对应的一个或多个局部色调映射64。对于位于有效区86中的图像像素，可应用一个或多个(例如，四个)周围局部色调映射64，并且至少部分地基于局部色调映射64之间的距离来内插结果以确定输出图像数据56。对于有效区86外的图像像素，可仅将输入图像数据54复制到输出图像数据56。类似地，如果禁用PCC块52，则输出图像数据56可与输入图像数据54相同。
如果希望禁用PCC块52，则可在出射阶段将另外的时间滤波器应用于光输出水平。因为PCC块52可能已经调节了光输出水平(例如，背光源48水平、自发光像素水平等)，所以出射阶段可根据需要缓慢地斜线上升或斜线下降，以避免光输出水平的急剧变化。类似地，进入阶段也可在时间上调节光输出水平以根据需要调节水平。另外，进入阶段可跳过对一个或多个帧的像素内插，直到已将像素统计值60收集。
当启用PCC块52时，PCC块52用来在考虑环境因素诸如环境光的同时增加电子显示器12上示出的帧84的感知对比度水平。根据电子显示器12的类型(例如，OLED、LCD、等离子体等)，也可获得另外的益处。例如，一些显示器12(例如，LCD)可通过降低与像素分开控制的背光源48的输出水平来节省功率。
尽管以上参考的流程图以给定的顺序示出，但在某些实施方案中，决策框和过程框可被重新排序、更改、删除和/或可同时发生。另外，参考的流程图作为例示性工具给出，并且还可根据需要添加另外的决策框和过程框。
已经以示例的方式示出了上述具体实施方案，并且应当理解，这些实施方案可容许各种修改和另选形式。还应当理解，权利要求书并非旨在限于所公开的特定形式，而是旨在覆盖落在本公开的实质和范围内的所有修改、等同物和另选方案。
本文所述的和受权利要求保护的技术被引用并应用于实物和实际性质的具体示例，其明显改善了本技术领域，并且因此不是抽象、无形或纯理论的。此外，如果附加到本说明书结尾的任何权利要求包含被指定为“用于[执行][功能]...的装置”或“用于[执行][功能]...的步骤”的一个或多个元件，则这些元件将按照35U.S.C.112(f)进行解释。然而，对于任何包含以任何其他方式指定的元件的任何权利要求，这些元件将不会根据35U.S.C.112(f)进行解释。

Claims (16)

1.一种电子设备，所述电子设备包括被配置为耦接在图像数据源和显示面板之间的显示流水线，其中所述显示流水线包括：
像素对比度控制处理电路，所述像素对比度控制处理电路包括电路连接，所述像素对比度控制处理电路被编程用于：
至少部分地基于所接收的图像数据来确定指示当前图像帧的内容的第一像素统计值，所述所接收的图像数据指示在所述当前图像帧期间在所述显示面板上实现的对应的显示器像素的初始目标亮度，其中确定所述第一像素统计值包括：
确定所述当前图像帧中的有效区，其中所述有效区包括第一组局部窗口；
确定多个亮度值，每个亮度值与所述当前图像帧中的一个图像像素相关联；
至少部分地基于与所述有效区中的每个图像像素相关联的亮度值来确定第一全局亮度直方图；以及
至少部分地基于与所述第一组局部窗口中的对应局部窗口中的每个图像像素相关联的亮度值，来确定各自与所述对应局部窗口相关联的多个局部亮度直方图；以及
应用至少部分地基于与前一图像帧相关联的第二像素统计值确定的第一多个局部色调映射，以确定经修改的图像数据，
所述经修改的图像数据指示在所述当前图像帧期间所述对应的显示器像素的经修改的目标亮度；以及
像素对比度控制控制器，所述像素对比度控制控制器耦接到所述像素对比度控制处理电路，其中所述像素对比度控制控制器被编程用于执行固件指令，以至少部分地基于从所述像素对比度控制处理电路接收的所述第一像素统计值来确定要在下一图像帧期间应用的第二多个局部色调映射。
2.根据权利要求1所述的电子设备，其中所述有效区排除所述当前图像帧的包括字幕、画中画区域、恒定颜色或它们的组合的部分。
3.根据权利要求2所述的电子设备，其中，为了确定所述第二多个局部色调映射，所述像素对比度控制控制器被编程用于：
确定与所述前一图像帧相关联的第二全局亮度直方图；以及
至少部分地基于所述第二全局亮度直方图和与所述当前图像帧相关联的所述多个局部亮度直方图中的对应局部亮度直方图来确定所述第二多个局部色调映射中的每个局部色调映射。
4.根据权利要求2所述的电子设备，其中，为了确定所述第一像素统计值，所述像素对比度控制处理电路被编程用于：
确定被完全包围在所述当前图像帧的所述有效区内的第二组局部窗口；
确定多个最大颜色分量值，其中至少部分地基于所述所接收的图像数据，所述多个最大颜色分量值中的每个最大颜色分量值与所述当前图像帧中的对应图像像素相关联；
至少部分地基于与所述有效区中的每个图像像素相关联的最大颜色分量值来确定第一全局最大颜色分量直方图；以及
至少部分地基于与所述第二组局部窗口中的第二对应局部窗口中的每个图像像素相关联的最大颜色分量值来确定各自与所述第二对应局部窗口相关联的第一多个最大的最大颜色分量值和第一多个平均最大颜色分量值。
5.根据权利要求4所述的电子设备，其中所述像素对比度控制处理电路被编程用于至少部分地基于以下内容来确定在所述前一图像帧和所述当前图像帧之间是否发生场景变化：
与所述当前图像帧相关联的所述第一全局最大颜色分量直方图和与所述前一图像帧相关联的第二全局最大颜色分量直方图之间的比较；
与所述当前图像帧相关联的所述第一多个最大的最大颜色分量值和与所述前一图像帧相关联的第二多个最大的最大颜色分量值之间的比较；
与所述当前图像帧相关联的所述第一多个平均最大颜色分量值和与所述前一图像帧相关联的第二多个平均最大颜色分量值之间的比较；或者
它们的任意组合。
6.根据权利要求1至5中任一项所述的电子设备，其中，为了应用所述第一多个局部色调映射，所述像素对比度控制处理电路被编程用于：
当所述像素对比度控制处理电路确定场景变化正好发生于所述前一图像帧之前时，将第一局部色调映射应用于所述所接收的图像数据；以及
当所述像素对比度控制处理电路未确定场景变化正好发生于所述前一图像帧之前时，将经时间滤波的色调映射应用于所述所接收的图像数据，所述经时间滤波的色调映射是通过在第二局部色调映射应用于所述前一图像帧中的情况下对所述第一局部色调映射进行时间滤波而确定的。
7.根据权利要求1至5中任一项所述的电子设备，其中，为了应用所述第一多个局部色调映射，所述像素对比度控制控制器被编程用于：
确定与所述所接收的图像数据相关联的第一像素位置；
确定所述第一多个局部色调映射中的与第二像素位置相关联的第一局部色调映射；
将所述第一局部色调映射应用于所述所接收的图像数据以确定第一结果；
确定所述第一多个局部色调映射中的与第三像素位置相关联的第二局部色调映射；
将所述第二局部色调映射应用于所述所接收的图像数据以确定第二结果；以及
至少部分地基于对所述第一结果和所述第二结果的内插来确定经修改的图像数据，对所述第一结果和所述第二结果的所述内插至少部分地基于所述第一像素位置和所述第二像素位置之间的第一距离以及所述第一像素位置和所述第三像素位置之间的第二距离。
8.根据权利要求7所述的电子设备，其中，为了应用所述第一多个局部色调映射，所述像素对比度控制控制器被编程用于：
确定所述第一多个局部色调映射中的与第三像素位置相关联的第三局部色调映射；
将所述第三局部色调映射应用于所述所接收的图像数据以确定第三结果；
确定所述第一多个局部色调映射中的与第四像素位置相关联的第四局部色调映射；
将所述第四局部色调映射应用于所述所接收的图像数据以确定第四结果；以及
通过以下操作来确定所述经修改的图像数据：
至少部分地基于所述第一像素位置和所述第二像素位置之间的第一距离以及所述第一像素位置和所述第三像素位置之间的第二距离来内插所述第一结果和所述第二结果，以确定第一中间结果；
至少部分地基于所述第一像素位置和所述第三像素位置之间的第三距离以及所述第一像素位置和所述第四像素位置之间的第四距离来内插所述第三结果和所述第四结果，以确定第二中间结果；以及
对所述第一中间结果和所述第二中间结果进行内插。
9.根据权利要求1至5中任一项所述的电子设备，其中所述电子设备包括便携式电话、媒体播放器、个人数据管理器、手持式游戏平台、平板设备、计算机或它们的任何组合。
10.一种用于处理图像数据以调节电子显示器的感知对比度、光输出水平或它们的组合的方法，所述方法包括：
经由电子设备的像素对比度控制块接收所述图像数据；
经由所述像素对比度控制块根据所述图像数据确定像素统计值，其中所述像素统计值包括至少一个像素的亮度水平，其中所述至少一个像素的所述亮度水平至少部分地基于目标亮度相对于第一亮度阈值和第二亮度阈值的值而从以下至少一项被选择：平均亮度水平、最大亮度水平和混合亮度水平，其中所述混合亮度水平包括所述至少一个像素的所述最大亮度水平和所述平均亮度水平的组合；
经由所述像素对比度控制块至少部分地根据所述像素统计值确定一个或多个色调映射；
将所述一个或多个色调映射应用于所述图像数据；以及
在所述一个或多个色调映射应用于电子显示器的情况下，经由所述像素对比度控制块输出所述图像数据。
11.根据权利要求10所述的方法，包括经由所述像素对比度控制块确定调光因子，其中所述调光因子被配置为设置所述电子显示器的光源的所述光输出水平。
12.根据权利要求11所述的方法，其中所述调光因子经时间滤波以使所述光输出水平的变化平滑。
13.根据权利要求10至12中任一项所述的方法，其中至少部分地基于环境因素来确定所述一个或多个色调映射，其中所述环境因素包括环境照明条件。
14.根据权利要求10至12中任一项所述的方法，其中通过低通滤波器处理所述像素统计值的至少一部分以使所述图像数据的空间异常值平滑。
15.根据权利要求10所述的方法，其中：
所述第二亮度阈值大于所述第一亮度阈值；
响应于所述目标亮度的所述值小于所述第一亮度阈值，所选择的亮度水平包括所述平均亮度水平；
响应于所述目标亮度的所述值在所述第一亮度阈值与所述第二亮度阈值之间，所选择的亮度水平包括所述混合亮度水平；并且
响应于所述目标亮度的所述值大于所述第二亮度阈值，所选择的亮度水平包括所述最大亮度水平。
16.一种电子设备，包括：
图像源，所述图像源被配置为产生图像数据；
电子显示器，所述电子显示器被配置为显示所述图像数据；以及
图像处理电路，所述图像处理电路包括显示流水线，所述显示流水线被配置为在所述电子显示器上显示所述图像数据之前修改来自所述图像源的所述图像数据，其中所述显示流水线包括：
像素对比度控制处理电路，所述像素对比度控制处理电路包括电路连接，所述像素对比度控制处理电路被编程用于：
确定指示所述图像数据的当前图像帧的内容的第一像素统计值，所述图像数据指示在所述当前图像帧期间在所述电子显示器上实现的对应的显示器像素的初始目标亮度，其中所述像素统计值包括至少一个像素的混合亮度水平以使在低亮度水平和高亮度水平之间的过渡平滑，其中所述混合亮度水平为所述至少一个像素的至少最大亮度水平和平均亮度水平的组合；以及
将至少部分地基于与前一图像帧相关联的第二像素统计值确定的第一多个局部色调映射应用于所述图像数据，其中所述图像数据指示在所述当前图像帧期间所述对应的显示器像素的经修改的目标亮度；以及
像素对比度控制控制器，所述像素对比度控制控制器耦接到所述像素对比度控制处理电路，其中所述像素对比度控制控制器被编程用于执行固件指令，以至少部分地基于从所述像素对比度控制处理电路接收的所述第一像素统计值来确定要在下一图像帧期间应用的第二多个局部色调映射。
CN201880090394.0A 2018-03-12 2018-12-14 像素对比度控制系统和方法 Active CN111819618B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/918,879 2018-03-12
US15/918,879 US10504452B2 (en) 2018-03-12 2018-03-12 Pixel contrast control systems and methods
PCT/US2018/065719 WO2019177675A1 (en) 2018-03-12 2018-12-14 Pixel contrast control systems and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410214135.1A Division CN117935712A (zh) 2018-03-12 2018-12-14 像素对比度控制系统和方法

Publications (2)

Publication Number Publication Date
CN111819618A CN111819618A (zh) 2020-10-23
CN111819618B true CN111819618B (zh) 2024-03-01

Family

ID=65012087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090394.0A Active CN111819618B (zh) 2018-03-12 2018-12-14 像素对比度控制系统和方法

Country Status (6)

Country Link
US (1) US10504452B2 (zh)
EP (1) EP3743907A1 (zh)
JP (2) JP2021516363A (zh)
KR (1) KR102276902B1 (zh)
CN (1) CN111819618B (zh)
WO (1) WO2019177675A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021158239A1 (en) * 2020-02-07 2021-08-12 Google Llc System and method for reducing display artifacts

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343957A (ja) * 2000-03-27 2001-12-14 Hitachi Ltd 液晶表示装置
JP2005017493A (ja) * 2003-06-24 2005-01-20 Casio Comput Co Ltd 液晶表示装置
KR20070111391A (ko) * 2006-05-17 2007-11-21 제록스 코포레이션 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정
CN101086573A (zh) * 2006-06-09 2007-12-12 三星电子株式会社 液晶显示器和调节液晶显示器亮度的方法
CN101779230A (zh) * 2007-06-26 2010-07-14 苹果公司 动态背光适配
CN103155029A (zh) * 2010-09-27 2013-06-12 Ati科技无限责任公司 提供用于动态调整显示器的照明和调整视频像素数据的控制数据以基本上保持图像显示质量同时减少功耗的系统和方法
CN104704549A (zh) * 2012-08-30 2015-06-10 苹果公司 用于控制显示设备中的电流的系统和方法
CN105745914A (zh) * 2013-11-22 2016-07-06 杜比实验室特许公司 用于逆色调映射的方法和系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09219830A (ja) * 1996-02-13 1997-08-19 Toshiba Corp 映像処理装置
JP5013581B2 (ja) * 2005-05-26 2012-08-29 ルネサスエレクトロニクス株式会社 表示装置、コントローラドライバ、及び表示パネルの駆動方法
JP4687526B2 (ja) * 2005-07-27 2011-05-25 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
KR101539379B1 (ko) * 2008-12-31 2015-07-29 주식회사 동부하이텍 실시간 영상 발생기
US9055227B2 (en) 2010-03-17 2015-06-09 Texas Instruments Incorporated Scene adaptive brightness/contrast enhancement
US8890793B2 (en) * 2010-03-26 2014-11-18 Hong Kong Applied Science and Technology Research Institute, Co. Ltd. Adjusting a brightness level of a backlight of a display device
JP6275146B2 (ja) 2012-09-05 2018-02-07 エーティーアイ・テクノロジーズ・ユーエルシーＡｔｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｕｌｃ 選択的な表示更新のための方法および装置
US9064313B2 (en) * 2012-09-28 2015-06-23 Intel Corporation Adaptive tone map to a region of interest to yield a low dynamic range image
US9183812B2 (en) 2013-01-29 2015-11-10 Pixtronix, Inc. Ambient light aware display apparatus
US10444958B2 (en) * 2013-09-23 2019-10-15 Adobe Systems Incorporated Visual example-based user interface for adjusting photos along two dimensions
JP6443857B2 (ja) * 2014-06-05 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
GB201410635D0 (en) 2014-06-13 2014-07-30 Univ Bangor Improvements in and relating to the display of images
US9378543B2 (en) * 2014-07-28 2016-06-28 Disney Enterprises, Inc. Temporally coherent local tone mapping of high dynamic range video
KR20160034503A (ko) 2014-09-19 2016-03-30 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이의 구동 방법
KR102322708B1 (ko) 2014-12-24 2021-11-09 엘지디스플레이 주식회사 유기 발광 다이오드 표시장치와 그 소자 특성 센싱 방법
EP3295451B1 (en) * 2015-05-12 2020-07-01 Dolby Laboratories Licensing Corporation Metadata filtering for display mapping for high dynamic range images
JP6574270B2 (ja) * 2015-06-05 2019-09-11 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 高ダイナミックレンジのコンテンツのレンダリング及び表示
US9741305B2 (en) 2015-08-04 2017-08-22 Apple Inc. Devices and methods of adaptive dimming using local tone mapping
JP2017227775A (ja) * 2016-06-22 2017-12-28 キヤノン株式会社 表示装置、およびその制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001343957A (ja) * 2000-03-27 2001-12-14 Hitachi Ltd 液晶表示装置
JP2005017493A (ja) * 2003-06-24 2005-01-20 Casio Comput Co Ltd 液晶表示装置
KR20070111391A (ko) * 2006-05-17 2007-11-21 제록스 코포레이션 높은 동작 범위 이미지 매핑을 위한 히스토그램 조정
CN101086573A (zh) * 2006-06-09 2007-12-12 三星电子株式会社 液晶显示器和调节液晶显示器亮度的方法
CN101779230A (zh) * 2007-06-26 2010-07-14 苹果公司 动态背光适配
CN103155029A (zh) * 2010-09-27 2013-06-12 Ati科技无限责任公司 提供用于动态调整显示器的照明和调整视频像素数据的控制数据以基本上保持图像显示质量同时减少功耗的系统和方法
CN104704549A (zh) * 2012-08-30 2015-06-10 苹果公司 用于控制显示设备中的电流的系统和方法
CN105745914A (zh) * 2013-11-22 2016-07-06 杜比实验室特许公司 用于逆色调映射的方法和系统

Also Published As

Publication number Publication date
KR102276902B1 (ko) 2021-07-14
KR20200110441A (ko) 2020-09-23
WO2019177675A1 (en) 2019-09-19
JP2021516363A (ja) 2021-07-01
US10504452B2 (en) 2019-12-10
US20190279579A1 (en) 2019-09-12
CN111819618A (zh) 2020-10-23
EP3743907A1 (en) 2020-12-02
JP2023052085A (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
US10403214B2 (en) Electronic devices with tone mapping to accommodate simultaneous display of standard dynamic range and high dynamic range content
KR102425302B1 (ko) 번-인 통계 및 번-인 보상
US9390681B2 (en) Temporal filtering for dynamic pixel and backlight control
KR101958870B1 (ko) 소비 전력을 절감하기 위한 표시 제어 방법 및 장치
KR101783497B1 (ko) 액정 디스플레이에 표시하기 위한 이미지의 향상
US9741305B2 (en) Devices and methods of adaptive dimming using local tone mapping
CN112055875B (zh) 电子显示器部分图像帧更新系统和方法
US11735147B1 (en) Foveated display burn-in statistics and burn-in compensation systems and methods
KR20170025292A (ko) 디스플레이 장치 및 그 디스플레이 패널 구동 방법
JP2023052085A (ja) 画素コントラスト制御システム及び方法
CN117935712A (zh) 像素对比度控制系统和方法
US20240078648A1 (en) Tone Mapping for Preserving Contrast of Fine Features in an Image
US11875427B2 (en) Guaranteed real-time cache carveout for displayed image processing systems and methods
US11955054B1 (en) Foveated display burn-in statistics and burn-in compensation systems and methods
US20240095871A1 (en) Cache architecture for image warp processing systems and methods
US11776492B1 (en) Dynamic backlight color shift compensation systems and methods
JP2013250452A (ja) 画像調整ユニット、画像表示装置、コンピュータプログラム、記録媒体及び画像調整方法
CN108735180B (zh) 一种影像处理方法及装置
WO2024064105A1 (en) Foveated display burn-in statistics and burn-in compensation systems and methods
JP6479401B2 (ja) 表示装置、表示装置の制御方法、および制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant