CN115362687A - 基于元数据的功率管理 - Google Patents

基于元数据的功率管理 Download PDF

Info

Publication number
CN115362687A
CN115362687A CN202180026880.8A CN202180026880A CN115362687A CN 115362687 A CN115362687 A CN 115362687A CN 202180026880 A CN202180026880 A CN 202180026880A CN 115362687 A CN115362687 A CN 115362687A
Authority
CN
China
Prior art keywords
metadata
power
display
luminance
target display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180026880.8A
Other languages
English (en)
Inventor
T·D·孔克尔
P·J·沃伦
D·L·施努勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN115362687A publication Critical patent/CN115362687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/04—Maintaining the quality of display appearance
    • G09G2320/043—Preventing or counteracting the effects of ageing
    • G09G2320/048—Preventing or counteracting the effects of ageing using evaluation of the usage time
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/04—Display protection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种方法和用于该方法的装置，该方法包括：接收图像数据和功率元数据，其中，功率元数据包括与功率消耗或预期功率消耗相关的信息；基于功率元数据确定目标显示器响应于功率消耗或预期功率消耗而能够执行的驱动修改的量和持续时间；以及基于功率元数据来执行目标显示器的功率管理，以基于确定的结果相对于制造商确定的阈值来修改对与目标显示器相关联的至少一个发光元件的驱动，其中，功率元数据包括以下中的至少一个：时间光亮度能量元数据、空间光亮度能量元数据、时空波动元数据、或它们的组合。

Description

基于元数据的功率管理
相关申请的交叉引用
本申请要求以下优先申请的优先权：2020年4月2日提交的美国临时申请63/004,019以及2020年4月23日提交的欧洲申请20171001.9，这些申请中的每一个都通过引用以其全文并入。
背景
1.技术领域
本申请总体上涉及图像；更具体地，本申请涉及显示器中基于元数据的功率管理。
2.背景技术
如本文所使用的，术语“元数据”是指作为经编码比特流的一部分进行传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文所描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。
在实践中，图像包括一个或多个颜色分量(例如，RGB、亮度Y以及色度Cb和Cr)，其中，在量化的数字系统中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。n≤8的位深度(例如，彩色24位JPEG图像)可以用于标准动态范围(SDR)的图像，而n>8的位深度可以被考虑用于增强动态范围(EDR)的图像，以避免等高线伪影和阶梯伪影(staircaseartifacts)。除了整数数据类型外，还可以使用高精度(例如，16位)浮点格式(例如，由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式)来存储并分发EDR和高动态范围(HDR)图像。
许多消费类桌面显示器以200至300cd/m2(“尼特”)的最大光亮度渲染非EDR内容，并且消费类高清和超高清电视机(“HDTV”和“UHD TV”)的最大光亮度为300尼特至400尼特。因此，这种显示器输出代表了与HDR或EDR相关的低动态范围(LDR)，也被称为SDR。随着EDR内容的可用性由于捕获设备(例如，相机)和EDR显示器(例如，Sony Trimaster HX 31"4KHDR主监视器)两者的发展而增加，EDR内容可以被颜色分级并且被显示在支持更高动态范围(例如，从700尼特到5000尼特或更高)的EDR显示器上。通常，本文所描述的系统和方法涉及任何动态范围。
无论动态范围如何，视频内容都包括一系列静止图像(帧)，该系列静止图像(帧)可以被分组为序列，如镜头和场景。镜头例如是一组在时间上相连的帧。镜头可以通过“镜头剪辑”(例如，图像的全部内容而不是只有图像的部分内容发生变化的时间点)来分隔。场景例如是描述较大内容的故事性片段的一系列镜头。在视频内容是动作电影的一个特定示例中，视频内容可以包括(除其他外)追逐场景，该追逐场景又包括一系列镜头(例如，追赶车辆的驾驶员的镜头、被追赶车辆的驾驶员的镜头、发生追逐的街道的镜头等)。
在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指明，否则不应假设本节中所描述的任何方法仅凭其包含在本节中就可被视为现有技术。类似地，除非另有指明，否则不应假设基于本节已经在任何现有技术中认识到关于一种或多种方法所识别的问题。
发明内容
本公开的各个方面涉及用于图像处理(包括显示器中基于元数据的功率管理)的电路、系统和方法。
在本公开的一个示例性方面，提供了一种方法，所述方法包括：接收图像数据和功率元数据，其中，所述功率元数据包括与功率消耗或预期功率消耗相关的信息；基于所述功率元数据确定目标显示器响应于所述功率消耗或所述预期功率消耗而能够执行的驱动修改的量和持续时间；以及基于所述功率元数据来执行所述目标显示器的功率管理，以基于确定的结果相对于制造商确定的阈值来修改对与所述目标显示器相关联的至少一个发光元件的驱动，其中，所述功率元数据包括以下中的至少一个：时间光亮度能量元数据、空间光亮度能量元数据、时空波动元数据、或它们的组合。
在本公开的另一示例性方面，提供了一种装置，所述装置包括显示器，所述显示器包括至少一个发光元件；以及显示器管理电路，所述显示器管理电路被配置成：接收功率元数据，其中，所述功率元数据包括与功率消耗或预期功率消耗相关的信息；基于所述功率元数据确定所述显示器响应于所述功率消耗或所述预期功率消耗而能够执行的驱动修改的量和持续时间；以及基于所述功率元数据来执行所述显示器的功率管理，以基于确定的结果相对于制造商确定的阈值来修改对所述至少一个发光元件的驱动，其中，所述功率元数据包括以下中的至少一个：时间光亮度能量元数据、空间光亮度能量元数据、时空波动元数据、或它们的组合。
以这种方式，本公开的各个方面提供了至少在图像处理和显示的技术领域以及图像捕获、编码和广播的相关技术领域的改进。
附图说明
参考附图，在以下描述中更全面地公开了各种实施例的这些和其他更详细和具体的特征，在附图中：
图1图示了根据本公开的各个方面的示例性视频传送流水线；
图2A至图2B图示了根据本公开的各个方面的示例性元数据生成过程；
图3A至图3B图示了根据本公开的各个方面的另一示例性元数据生成过程；
图4A至图4B图示了根据本公开的各个方面的示例性数据流；
图5图示了根据本公开的各个方面的示例性元数据层次结构；以及
图6图示了根据本公开的各个方面的示例性操作时间线。
具体实施方式
本公开及其各方面可以以各种形式来体现，包括由以下各项控制的硬件或电路：计算机实施的方法、计算机程序产品、计算机系统和网络、用户接口和应用程序编程接口；以及硬件实施的方法、信号处理电路、存储器阵列、专用集成电路、现场可编程门阵列等。前述发明内容仅旨在给出本公开的各个方面的总体想法，并且不以任何方式限制本公开的范围。
在以下描述中，阐述了如光谱、定时、操作等许多细节，以提供对本公开的一个或多个方面的理解。对本领域技术人员而言将显而易见的是，这些具体细节仅是示例性的，并且不旨在限制本申请的范围。
此外，虽然本公开主要集中于在消费类显示器系统中使用各种元件的示例，但是将理解的是，这仅仅是实施方式的一个示例。将进一步理解的是，可以在需要显示图像数据的任何设备中使用所公开的系统和方法；例如，影院、消费类和其他商业投影系统、智能手机和其他消费类电子设备、平视显示器、虚拟现实显示器等。
概述
显示设备包括多个部件，包括如有机发光显示器(OLED)或等离子显示面板(PDP)等自发光显示技术中的发光像素，或者如液晶显示器(LCD)等使用透射光调制器的其他显示技术中的背光灯。在这样的设备中，如果将各种部件驱动超出它们的技术和物理限制，则如色彩渲染等预期行为可能受到影响，并且显示器系统的故障率增加。这种驱动可导致暂时或永久的部件故障。为了对这一点进行补救，一些部件制造商(通常被称为初始设备制造商或OEM)可以通过应用操作阈值来限制技术能力。例如，部件制造商可以应用与诸如发光二极管(LED)、LED驱动程序芯片、电源等部件的功率消耗相关的阈值。另外地或可替代地，部件制造商可以应用与热性质(如通过显示器机箱的空间热传播)相关的阈值。
这些阈值通常是保守的，以避免潜在的公共关系或品牌问题，例如相对罕见的故障成为负面新闻的主题的情况；并且防止对部件制造商的支持和客服组的服务呼叫增加，从而试图防止部件制造商的成本增加。然而，阈值可能如此保守，以至于这些阈值实际上不会接近显示器系统的技术极限。部件制造商可以选择使阈值保守，因为在比较示例中，与能量消耗相关的内容性质在回放之前是未知的。因此，通常实时评估显示设备中的能量管理参数；例如，可以在显示时间或紧接在显示时间之前分析信号输入。
然而，如果在内容回放期间发生或预期发生的功率消耗是提前知道的，则显示设备中的功率管理系统可以能够修改显示器的驱动(例如，调整内容的光亮度渲染要求)。调整的一些非限制性示例包括限制光亮度以节约用电(例如，在设备靠电池供电来操作的情况下)和/或超过如通过制造商确定的安全阈值来确定的最大光亮度输出(在已知任何这种过驱动的持续时间不会对显示器系统或其部件造成长期损害的情况下)。这些可以被称为执行“欠驱动”或“过驱动”。在一些示例中，可以在内容制作或内容传送过程期间执行对过驱动(或欠驱动)水平和持续时间的评估，并且然后，作为评估的结果，可以选择性地对显示器系统的发光元件进行过驱动(或欠驱动)。
图1图示了示例性视频传送流水线，并且示出了从视频捕获到视频内容显示的各个阶段。此外，虽然以下描述是关于视频(即，移动图像)提供的，但本公开不被限制于此。在一些示例中，图像内容可以是静止图像或视频与静止图像的组合。图像内容可以由光栅(或像素)图形、矢量图形或光栅图形与矢量图形的组合来表示。图1图示了图像生成块101、制作块102、后期制作块103、编码块104、解码块105和显示器管理块106。图1中所图示的各种块可以实施为硬件、软件、固件或它们的组合或者经由硬件、软件、固件或它们的组合来实施。此外，所图示块的各种组可以将它们相应的功能组合起来，和/或可以在不同的设备中和/或在不同的时间执行。所图示块的各个块或组可以经由包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和它们的组合的电路来实施。由块中的一个或多个块执行的操作可以是本地处理的、远程处理的(例如，基于云的)或本地处理与远程处理组合的。
如图1中所图示的，视频传送流水线进一步包括参考显示器111和目标显示器112，可以提供该参考显示器以辅助或监视在后期制作块处进行的操作。出于解释目的，图像生成块101、制作块102、后期制作块103和编码块104可以被称为“上游”块或部件，而解码块105和显示器管理块106可以被称为“下游”块或部件。
在图1中所图示的示例中，在图像生成块101处捕获或生成视频帧121序列。可以数字地捕获(例如，由数码相机)视频帧121或者由计算机(例如，使用计算机动画)生成视频帧121，以生成视频数据122。可替代地，可以通过胶片相机将视频帧121捕获在胶片上，并且然后将该视频帧转换为数字格式以提供视频数据122。在任一种情况下，将视频数据122提供给制作块102，其中，在该制作块中编辑该视频数据以提供制作流123。
然后将制作流112中的视频数据提供给后期制作块103处的一个或多个处理器以进行后期制作编辑。在后期制作块103处执行的编辑可以包括调整或修改图像的特定区域中的颜色或明亮度，以根据视频创作者(或编辑者)的创作意图来增强图像质量或实现图像的特定外观。这可以被称为“颜色定时(color timing)”或“颜色分级(color grading)”。可以在后期制作块103处执行其他编辑(例如，场景选择和排序、图像裁剪、添加计算机生成的视觉特效或叠加等)，以产生分发流124。在一些示例中，后期制作块103可以将中间流125提供给参考显示器111以允许在该参考显示器的屏幕上观看图像，以用于例如辅助编辑过程。制作块102、后期制作块103和编码块104中的一个、两个或全部可以进一步包括进行处理以将元数据添加到视频数据。此进一步的处理可以包括但不限于对内容性质的统计分析。该进一步的处理可以是本地执行的或远程执行的(例如，基于云的处理)。
在后期制作操作之后，可以将分发流124传送到编码块104，以向下游传送到如电视机、机顶盒、电影院、膝上型计算机、平板计算机等解码和回放设备。在一些示例中，编码块104可以包括如由先进电视系统委员会(ATSC)、数字视频广播(DVB)、数字多功能光盘(DVD)、蓝光和其他传送格式定义的音频编码器和视频编码器，从而生成经编码比特流126。在接收器中，经编码比特流126由解码单元105解码，以生成表示对分发流124的相同或接近近似的经解码信号127。接收器可以附接到目标显示器112，该目标显示器可以具有与参考显示器111不同的特性。在参考显示器111和目标显示器112具有不同特性的情况下，显示器管理块106可以用于通过生成显示器映射的信号128将经解码信号127的动态范围或其他特性映射到目标显示器112的特性。另外地或可替代地，显示器管理块106可以用于提供目标显示器112的功率管理。
目标显示器112使用像素阵列来生成图像。特定阵列结构取决于显示器的架构和分辨率。例如，如果目标显示器112在LCD架构上操作，则该目标显示器可以包括相对较低分辨率的背光阵列(例如，LED阵列或其他发光元件阵列)以及相对较高分辨率的液晶阵列和彩色滤光片阵列，以选择性地使来自背光阵列的白光衰减并且提供彩色光(通常被称为双调制显示技术)。如果目标显示器112在OLED架构上操作，则该目标显示器可以包括高分辨率的自发光彩色像素阵列。
上游块与下游块之间的链接(即，提供经编码比特流126的路径)可以通过诸如使用电磁波进行空中广播的现场或实时传输来体现，或经由诸如光纤、双绞线(以太网)和/或同轴电缆等内容传送线路来体现。在其他示例中，该链接可以通过与时间无关的传输来体现，如将经编码比特流记录到物理介质(例如，DVD或硬盘)上以物理传送到终端用户设备(例如，DVD播放器)。解码器块105和显示器管理块106可以被并入到与目标显示器112相关联的设备中，例如，以智能电视(包括解码功能、显示器管理功能、功率管理功能和显示功能)的形式。在一些示例中，解码器块105和/或显示器管理块106可以被并入到与目标显示器112分开的设备中，例如，以机顶盒或媒体播放器的形式。解码器块105和/或显示器管理块106可以被配置成响应于在上游块处包括或添加的元数据而接收、分析和操作。因此，这种元数据可以用于提供对目标显示器112的附加控制或管理。元数据可以包括图像形成元数据(例如，杜比视界元数据)和/或非图像形成元数据(例如，功率元数据)。
元数据生成
如上所述，可以在图1中所图示的上游块中的一个或多个上游块中生成元数据(包括功率元数据)。然后可以将元数据与分发流组合(例如，在编码块104处)以作为经编码比特流126的一部分进行传输。功率元数据可以包括时间光亮度能量元数据、空间光亮度能量元数据、时空波动元数据等。
如本文所使用的，时间光亮度能量元数据可以包括与图像数据的一个或多个特定帧的时间光亮度能量相关的信息。例如，时间光亮度能量元数据可以提供每个内容帧所利用的总光亮度预算的快照。这可以表示为给定帧中的所有像素的光亮度值的求和。在一些示例中，还可以对以上内容进行重新采样，以便独立于目标显示器112的分辨率(即，以适应1080p、2k、4k和8k显示分辨率)。经编码比特流126的给定帧内包括的时间光亮度能量元数据可以包括与未来帧相关的信息。在一个示例中，给定帧内包括的时间光亮度能量元数据可以包括后面500个帧的时间光亮度能量信息。在另一示例中，给定帧内包括的时间光亮度能量元数据可以包括更大或更小数量个后续帧的时间光亮度能量信息。因此，可以不针对经编码比特流126中的每个帧执行对时间光亮度能量元数据的传输，而是可以进行间歇传输。在给定帧内包括的时间光亮度能量元数据包括后面N个帧的时间光亮度能量的一些示例中，该时间光亮度能量元数据可以与经编码比特流126一起以短于N的周期(例如，N/2、N/3、N/4等)进行传输。传输时间光亮度能量元数据的频率越高，元数据方案对时延或其他数据传输错误的鲁棒性就越强。然而，传输时间光亮度能量元数据的频率越低，用于传输元数据的数据带宽就越小。将在下文关于图5更详细地描述元数据传输的频率与所使用的数据带宽之间的一个示例性关系。
通过提前传输未来帧的基于帧的光亮度能量，显示器功率管理器(例如，显示器管理块106)可以基于光亮度能量的时间进展来决定如何最高效地映射内容以在维持导演意图的同时最充分地利用硬件能力。这可以包括决定针对特定场景或镜头对终端用户显示器(例如，目标显示器112)中的一些或所有发光元件进行过驱动(或欠驱动)、决定降低选定像素或所有像素的光亮度以保留电能(例如，来自电池)、确定在密集使用的时间之后或在过驱动的周期之间的面板冷却的时间周期等。
图2A至图2B图示了时间光亮度能量元数据的示例性生成过程。图2A图示了用于生成时间光亮度能量元数据的示例性过程流，并且图2B用图画图示了示例性过程流。所图示的生成过程包括：在操作201处，接收视频内容的镜头的图像数据。该镜头可以包括一系列帧，在该示例中，该系列帧中的每个帧包括由布置成2维阵列的像素形成的图像数据。在一些应用中，每个帧可以包括用于立体显示器、多视图显示器、光场显示器和/或体积显示器的图像数据，在这种情况下，该图像数据可以是除2维阵列以外的形式。随后，在操作202处，可以根据以下表达式(1)来针对给定帧i(i被初始化为1，以便从镜头中的第一帧开始)计算量Lsum,i(即，表示帧中的所有像素光亮度水平的光亮度和的量)：
Figure BDA0003876022040000071
在上面的表达式(1)中，x对应于阵列中的像素的x坐标，y对应于阵列中的像素的y坐标，并且Lxyi表示帧i的像素(x,y)的光亮度。在表达式(1)中，每个帧包括n×m个像素。
在操作203处，确定镜头是否完成。这可以通过将当前帧的值i与表示镜头中的总帧数量的最大值P进行比较来实现。如果确定镜头未完成，则在操作204处使帧i递增1并且过程流返回到操作202以计算新的帧的量Lsum,i。如果确定镜头完成，则生成量Lsum,temporal。量Lsum,temporal对应于整个镜头的逐帧光亮度和，并且可以被表示为指示从i＝1到i＝P的每个帧i的量Lsum,i的一维数据阵列。
图2B用图片图示了这一点。作为输入，该过程接收图像数据的多个帧2111至211P。作为输出，该过程提供镜头的时间光亮度能量元数据212作为一维数据结构，在这里绘制了该时间光亮度能量元数据，其中，x轴表示各个帧并且y轴表示帧的空间光亮度和。
空间或时间光亮度能量元数据可以包括与具有特定坐标xy的特定像素或跨整个场景或镜头的图像数据的像素的总光亮度能量相关的信息。在一些显示技术中，过剩热量必须被输送出显示器壳体，以防止损坏显示设备部件。例如，在许多物理显示器中，显示器的下部中心部分对过多热量或热量积聚表现出最大的敏感度，因为潜能必须经过其余显示器面板的大部分，然后才能在顶部或侧面离开壳体。为了避免问题，许多部件制造商通过全局地(时间上和/或空间上)限制比较显示器系统的光亮度输出来限制热量积聚，其中，比较系统的功率管理器不具有关于未来帧的光亮度要求的信息。在空间光亮度能量元数据的情况下，通过向终端用户显示器提供空间光亮度能量元数据，显示器功率管理器(例如，显示器管理块106)可以基于像素的位置和强度或持续时间来决定对终端用户显示器(例如，目标显示器112)中的发光元件进行驱动(或者甚至过驱动或欠驱动)的程度。
图3A至图3B图示了空间光亮度能量元数据的示例性生成过程。图3A图示了用于生成空间光亮度能量元数据的示例性过程流，并且图3B用图片图示了该示例性过程流。所图示的生成过程包括：在操作301处，接收视频内容的镜头的图像数据。该镜头可以包括一系列帧，该系列帧中的每个帧包括与2维阵列中的每个像素相对应的图像数据。随后，在操作302处，可以根据以下表达式(2)来针对给定像素(x,y)(x和y被初始化为1，以便在这个示例中从左上像素开始)计算量Lsum,xy(即，对于给定像素，表示镜头的所有帧的光亮度和的量)：
Figure BDA0003876022040000091
在上面的表达式(2)中，x、y和Lxyi表示如上文参考表达式(1)所描述的相同量。可以重复地执行操作302，从而通过每次迭代使y坐标递增1，直到已分析行的所有像素为止。
在操作303处，确定像素行是否完成。这可以通过将当前像素的值x与表示阵列中的总行数的最大值n进行比较来实现。如果确定行未完成，则在操作304处使像素的x坐标递增1并且将像素的y坐标重新初始化为1，并且该过程流返回到操作302以计算新像素的量Lsum,xy。如果确定行完成，则在操作305处确定是否已经分析所有行。这可以通过将当前像素的值y与表示阵列中的总列数的最大值m进行比较来实现。如果确定行并非最后一行，则在操作306处将像素的x坐标重新初始化为1并且使像素的y坐标递增1，并且该过程流返回到操作302以计算新像素的量Lsum,xy。如果确定行是最后一行，则在操作307处生成量Lsum,spatial。量Lsum,spatial对应于整个镜头的每个像素的逐帧光亮度和，并且可以被表示为指示每个像素的量Lsum,xy的二维数据阵列。
虽然图3A图示了从左上像素(1,1)开始在逐行基础上分析像素的示例性过程流，但在实践中可以以任何顺序分析像素。在一些示例中，从如右下像素(n,m)、右上像素(1,m)、左下像素(n,1)或内部像素等另一角像素开始在逐行基础上分析像素。在其他示例中，从角像素或内部像素开始在逐列基础上分析像素。
图3B用图片图示了以上过程。作为输入，该过程接收图像数据的多个帧3111至311P。作为输出，该过程提供镜头的空间光亮度能量元数据312作为二维数据结构。在图3B的图片图示中，如区域313等黑暗区域对应于遍及镜头的大部分或所有帧描绘了较低光亮度图像元素的像素位置。这对应于较低光亮度能量像素(例如，在时间间隔1至P内的较低能量)。如区域314等明亮区域对应于遍及镜头的大多数或所有帧描绘了高光亮度图像元素的像素位置。这对应于高光亮度能量像素。
如果存在也在显示器的同一部分处长时间呈现的高光亮度图像部分，则为明亮区域(例如，LCD架构中的背光LED或OLED架构中的OLED像素组)提供照明的发光元件倾向于消耗更多功率和/或在更长时间内消耗功率。在不存在空间光亮度能量元数据和适当管理的情况下，这可能导致对部件(例如，发光元件本身、驱动器、电路板迹线等)造成压力、生成向上流动并且必须从壳体移除的潜热、对像素或整个屏幕进行主动调光等。通过在渲染和显示镜头之前向目标显示器112提供镜头的空间光亮度能量元数据，可以防止这些问题和/或任何部件损坏。
除了计算空间光亮度能量元数据或者作为计算空间光亮度能量元数据的替代，可以计算时空波动元数据。时空波动元数据可以包括与跨整个场景或镜头的图像数据的一个或多个特定像素的能量波动相关的信息。例如，在整个场景或镜头中保持在几乎相同的光亮度水平的像素将具有低程度的能量波动，而改变其光亮度水平(例如，以用于显示明亮的高频闪光灯)的像素将具有高程度的能量波动。
时空波动元数据可以通过如图3A中所图示的类似方法来计算，除了在操作302处量Lsum,xy的计算可以用量Lfluct,xy(即，表示给定像素的所有帧的波动的量)的计算来代替，可以根据以下表达式(3)来针对给定像素(x,y)(x和y被初始化为1，以便在该示例中从左上像素开始)计算量Lfluct,xy：
Figure BDA0003876022040000101
在表达式(3)中，σ表示标准偏差函数。在一些示例中，可以在操作302处计算空间光亮度能量元数据和时空波动元数据两者。在其他示例中，图3A的过程流可以顺序执行两次，使得第一过程流计算空间光亮度能量元数据并且第二过程流计算时空波动元数据(或反之亦然)。
在一些示例中，计算光亮度分布的偏度
Figure BDA0003876022040000102
和峰度
Figure BDA0003876022040000103
中的一个或两个。除了光亮度分布的标准偏差之外或者作为光亮度分布的标准偏差的替代，可以计算光亮度分布的偏度和/或峰度。
元数据传输
在一些实施方式中，上文描述的功率元数据可以作为经编码比特流126的一部分连同可能存在的实际图像数据和任何附加元数据一起被输送。在其他实施方式中，功率元数据可以通过与实际图像数据不同的传输路径(“侧载的”)来输送；例如，功率元数据可以经由TCP/IP、蓝牙或另一通信标准从互联网或另一分发设备来输送。图4A图示了图像数据帧的一个示例，其中，功率元数据作为经编码比特流126的一部分被输送。在这个示例中，图像数据帧包括用于图像形成的元数据401、功率元数据402和图像数据403。图像形成元数据401可以是用于在屏幕上渲染图像的任何元数据(例如，色调映射数据)。图像数据403包括要显示在屏幕上的实际内容(例如，图像像素)。
如上所述，功率元数据(包括时间光亮度能量元数据、空间光亮度能量元数据、时空波动元数据和它们的组合)是非图像形成元数据的类型。换句话说，可以在没有功率元数据的情况下或在仅具有部分组功率元数据的情况下渲染图像。由于这一点，与用于准确地渲染图像的图像形成元数据的情况相比较，可以将少于整组功率元数据编码为每一个内容帧。功率元数据可以乱序或分段嵌入。此外，功率元数据的缺失部分可以从功率元数据的目前部分内插或简单地忽略，而不会对基本图像保真度产生负面影响。
在本公开的一个示例中，功率元数据按照内容帧被分段或分页分割和输送(例如，作为经编码比特流126的一部分)。图4B图示了根据该操作的一系列(在这里是两个)图像数据帧。在图4B中，每个帧包括与该帧相对应的图像形成元数据401和图像数据403。然而，与图4A作比较，每个帧不包括整组功率元数据402。在这个示例中，功率元数据402被划分成N个片段。因此，第一帧包括功率元数据的第一部分402-1，第二帧包括功率元数据的第二部分402-2，以此类推，直到已经传输功率元数据的所有N个部分。功率管理器(例如，解码块105和/或显示器管理块106)可以首先确定当前帧、场景或镜头是否存在功率元数据，并且然后响应于该确定而操作。例如，如果当前帧、场景或镜头不存在功率元数据，则功率管理器可以简单地按原样处理帧、场景或镜头(即，不执行任何过驱动/欠驱动或功率消耗映射)。然而，如果当前帧、场景或镜头存在功率元数据，则功率管理器可以调整显示映射和/或显示硬件(例如，在显示器管理块106或目标显示器112中)的功率消耗和/或映射行为。功率管理器还可以将任何进一步的功率元数据(例如，用于未来帧的功率元数据)存储在缓冲器或其他存储器中以得到优选的映射策略。示例可以是在渲染和显示实际图像帧之前提前提交的功率元数据。在回放时，功率管理器可以应用任何预缓冲的功率元数据以改进渲染行为。
为输送功率元数据402而预算的帧量(即，N)基于其有效负载的大小以及该特定元数据类型的带宽分配。功率元数据402的每个片段可以不具有与内容的帧间隔相同的长度(即，总字节量)，并且因此，功率元数据402的速率(字节/帧)可以不与图像形成元数据401的速率相同。此外，在时间光亮度能量元数据、空间光亮度能量元数据和时空波动元数据都被实施的示例中，可以计算或从其他类型的功率元数据得到一些类型的功率元数据。
图5图示了根据本公开的各个方面的示例性元数据层次结构。该元数据层次结构具有大体上金字塔形式，其中，金字塔的较高层对应于较粗略的元数据(并且因此可以具有较小的数据有效负载和/或覆盖内容的较长时间间隔)，并且金字塔的较低层对应于较精细的元数据(并且因此可以具有较大的数据有效负载，并且通常覆盖内容的较短时间间隔)。在金字塔的顶部是总光亮度元数据501。总光亮度元数据501包括与完整内容(即，许多场景和镜头)的光亮度能量相关的信息。由于总光亮度元数据501描述了完整内容，因此其数据有效负载相对微小。在一些示例中，总光亮度元数据501是表示跨所有像素、帧、镜头和场景的所有能量水平之和的单个数字。在总光亮度元数据501下面是镜头光亮度元数据502。镜头光亮度元数据502包括与每个全镜头的光亮度能量相关的信息。镜头光亮度元数据502的数据有效负载大于总光亮度元数据的数据有效负载，但绝对值仍然很小。在一些示例中，镜头光亮度元数据502是一维数据阵列，其中，阵列中的每个值描述了整个镜头的总光亮度。在这个示例中，如果内容包括N个镜头，则镜头光亮度元数据502是长度为N的一维数据阵列。
下一层是时间光亮度能量元数据503。时间光亮度能量元数据503包括与镜头中的每个帧的光亮度能量相关的信息。因此，时间光亮度能量503的每个块可以对应于上文关于图2B所描述的时间光亮度能量元数据212。时间光亮度能量元数据503的数据有效负载大于镜头光亮度元数据502的数据有效负载，并且远大于总光亮度元数据501的数据有效负载。
底部层是空间光亮度能量元数据504。空间光亮度能量元数据504包括与在单个镜头的持续时间内每个像素的光亮度能量相关的信息。因此，空间光亮度能量元数据的每个块可以对应于上文关于图3B所描述的空间光亮度能量元数据312。在图5中所图示的所有元数据类别当中，空间光亮度能量元数据504具有最大的有效负载。在一些示例中，空间光亮度能量元数据504可以被分割成片段(例如，以如图4B中所图示的方式)。
给定类型的元数据的数据有效负载与传输频率之间可能存在反比关系。此外，数据有效负载与由给定类型的元数据描述的与实际图像数据的接近度之间也可存在反比关系。例如，由于总光亮度元数据501具有非常小的数据有效负载(例如，单个数字)，因此该总光亮度元数据可以在经编码比特流126中非常频繁地重复并且可不在非常靠近其中描述的图像帧的地方传输。由于镜头光亮度元数据502具有小的数据有效负载，因此该镜头光亮度元数据可以在经编码比特流126中频繁地重复，但不如总光亮度元数据501频繁，并且类似地可不在非常靠近其中描述的图像帧的地方传输。此外，在一些示例中，镜头光亮度元数据502可以仅描述总数量个镜头的子集，其中，与较早镜头相对应的镜头光亮度元数据502在与较晚镜头相对应的镜头光亮度元数据502之前被传输。
在一些示例中，仅直接计算一些类型的元数据并且从中得到其他类型的元数据。例如，可以计算时间光亮度能量元数据503(例如，以如上文关于图3A所描述的方式)。随后，可以通过例如对镜头中的所有帧的每个帧光亮度值进行求和来从时间光亮度能量元数据503得到镜头光亮度元数据502。在一些示例中，然后可以通过例如对内容中的所有镜头的每个镜头光亮度值进行求和来从镜头光亮度元数据502得到总光亮度元数据501。这些得到可以在图1中所图示的上游块中执行并且作为经编码比特流126的一部分来传输，或可以在图1中所图示的下游块中执行。
作为以预定顺序和/或按预定间隔重复显著功率元数据的替代或附加，可以实施其他传输排序。例如，如果将内容作为1:1流提交，则功率元数据可以被动态地添加到内容流并且可以由播放服务器(例如，图1中所图示的上游块中的一个或多个)动态地调整。在这个配置中，可以更早或更频繁地传输功率元数据的更高度相关部分，这可以对传输错误提供附加的鲁棒性并且可以有助于终端用户选择跳过内容或中途开始内容的显示。这还可以用于调整相关联目标设备组的功率消耗，以便例如维持给定的最大功率预算，其中，多个目标显示器从共同源接收功率。
功率管理
在接收到经编码比特流126之后，图1中所图示的下游块可以基于接收到的功率元数据来实施功率管理。为了有助于功率管理，可以包括某些元数据标志并进行帧同步，以便预先用信号发送功率管理事件。例如，在功率元数据指示背光(或像素)过驱动的情况下，功率管理器可以接收关于即将发生的可增强事件的定时预先通知。图6图示了用于实施这种功率管理的示例性操作时间线。如技术人员将理解和领会的，这样的示例可以近似地或类似地被应用于对一些(或所有)背光(或像素)进行欠驱动的功率管理。
在图6中所图示的示例中，内容包括三个镜头。第一镜头不包括显著的亮点并且持续时间为十五帧，第二镜头包括可增强的亮点并且持续时间为七帧，并且第三镜头不包括显著的亮点并且持续时间为八帧。源元数据(例如，作为经编码比特流126的一部分由功率管理器接收的功率元数据)包括指示对下一过驱动(OD)请求的帧倒计时的第一标志数据和指示过驱动请求的帧持续时间的第二标志数据。如图6中所图示的，第一标志数据在帧6处开始并且指示下一过驱动请求将在帧16处开始，并且第二标志数据也在帧6处开始并且指示下一过驱动请求将持续七帧。
在一些示例中，功率接收器连续地输出目标元数据(例如，将由目标显示器112接收和使用的功率元数据)。该目标元数据可以包括指示给定帧的最大缩放光亮度的第一目标标志数据(其中，1指示没有过驱动)和指示镜头的平均图片水平(APL)下的绝对最大光亮度的第二目标标志数据。虽然最大缩放光亮度和绝对最大光亮度在图6中所图示的特定示例中是相同的，但本公开不被限制于此。在图6中，第一和第二目标标志数据指示针对帧1至帧15(即，镜头1)没有过驱动，指示针对帧16至帧22(即，镜头2)有50％的过驱动，并且指示针对帧23至帧30(即，镜头3)没有过驱动。
在目标显示器112实施超级电容器或其他这样的设备以对一个或多个发光元件进行过驱动(或欠驱动)的情况下，功率接收器可以进一步输出关于超级电容器或其他快速放电能量存储设备的电荷状态的数据。在能量存储设备是超级电容器的情况下，此数据指示目标显示器112在特定时间开始对超级电容器进行充电，以使得超级电容器将在安排开始过驱动时被充分充电。在一些示例中，数据可以替代地指示目标显示器112在过驱动请求之前将超级电容器充好电并且维持充电状态，直到接收到放电请求为止，从而指示要对发光元件进行过驱动。在一些示例中，目标显示器112本身可以确定提前多久开始对超级电容器进行充电。如技术人员将理解和领会的，对一个或多个发光元件进行过驱动(例如，通过提前将超级电容器充好电)的上述示例可以近似地或类似地被应用于例如通过对超级电容器进行放电等来对一个或多个发光元件进行欠驱动。
功率元数据(例如，上文描述的源元数据和/或目标元数据)可以存储在与图1中所图示的下游块中的一个或多个相关联的缓冲器或其他存储器中。例如，功率元数据可以存储在设置在目标显示器112本身中的缓冲器或其他存储器中。这允许实现如下排序方案：功率元数据的部分被乱序接收和/或提前接收并且功率管理器被配置成随后将功率元数据的该部分重新排序或重组。当与重复传输功率元数据的某些部分的传输方案一起使用时，这可以提供附加的鲁棒性以防数据丢失。因此，即使功率元数据仅可用于完整内容的一部分，仍可以应用包括过驱动(或欠驱动)的功率管理。在一些实施方式中，功率元数据可以存储在目标显示器112外部，例如，存储在机顶盒中或云中。
缓冲器还可以存储对唯一于目标显示器112的各种设置参数和该目标显示器的硬件性质进行描述的配置文件。例如，配置文件可以包括关于以下各项中的一个或多个的信息：功率消耗规格，包括电源单元、驱动器芯片、发光元件等的最大负载；发光或功率电子器件(LED驱动器等)元件的冷却时间；随显示器壳体内部的局部热量生成而变的空间传热；显示器的最大过驱动持续时间，该最大过驱动持续时间可以随过驱动水平而变；超级电容器的存在以及(如果存在的话)超级电容器的电容、耗尽速率和充电速率；等等。配置文件还可以是全部或部分可更新的，以便例如实施使用计数器并且从而提供关于显示器的使用寿命或损耗程度的信息。在一些示例中，可以提供一个或多个环境条件传感器(例如，温度传感器、湿度传感器、环境光传感器等)以检测对应的环境条件，并且由一个或多个环境条件传感器检测到的信息可以存储在配置文件中或与配置文件一起存储以有助于确定显示器的损耗水平。此实时传感器信息还可以用于影响显示器功率管理系统(例如，影响过驱动或欠驱动)以避免图像保真伪影。一个示例是避免在环境光水平较高时对像素进行欠驱动。
应用和效果
本文描述的各种方式、系统、方法和设备可以实施功率元数据，以非限制性地以上文所描述的方式影响目标显示器行为。也就是说，本公开的各个方面可以用于影响显示器管理映射行为(例如，限制光亮度输出、偏离基线映射等)；对背光单元或(在自发光显示技术中)像素本身进行过驱动，并且从而使各个像素、像素组或整个面板的最大光亮度增加到超出过度保守的制造商设置的极限，同时避免对供电单元造成过度负担；增加显示器功率管理系统的粒度，以便例如基于空间和/或时间功率和能量预期来管理热面板或背光性质；在目标设备已对信号进行色调映射之后提供类似修整遍次的行为并且表示光亮度水平，以管理多显示器系统中的功率；智能限制显示器用电量以实现监管(例如，能源之星合规性)目的或省电(例如，在电池供电的设备上)；等等。
修整遍次是有助于人为覆写映射参数的功能，否则映射参数将由计算机算法(例如，生成功率元数据的一个或多个部分的算法)确定。在一些示例中，可以在颜色分级过程期间执行覆写以确保在确定计算机算法的结果是否涵盖视频或内容创作者对特定目标显示器动态范围级档(bracket)(例如，最大显示为400尼特)的意图之后提供或保留某种外观。因此，可以更新功率元数据以包括将使目标显示器更改或禁用一个或多个镜头或场景的算法推荐的信息。
为了实施这一点，类似修整遍次的行为可以通过目标显示器系统根据其当前播放光亮度级档利用功率元数据的配置来实现。如果显示器映射到非默认目标光亮度级档，则显示器功率管理系统可以被配置成相应地决定修整遍次。例如，如果显示器从默认映射转变到增强模式映射(例如，过驱动)，则显示器功率管理系统可以从较低光亮度能量修整遍次切换到较高光亮度能量修整遍次。
在一个特定示例中，在生成功率元数据期间，算法可以指示应对特定镜头执行欠驱动。然而，出于叙述或其他原因而可能不建议对所讨论的特定镜头进行欠驱动。因此，不管算法的初始输出如何，颜色分级器(人或其他)可以修改或补充功率元数据，从而使显示器功率管理系统对目标显示器进行驱动(而不是欠驱动)。
根据本公开的系统和设备可以采用以下配置中的任何一种或多种配置。
(1)一种方法，包括：接收图像数据和功率元数据，其中，所述功率元数据包括与功率消耗或预期功率消耗相关的信息；基于所述功率元数据确定目标显示器响应于所述功率消耗或所述预期功率消耗而能够执行的驱动修改的量和持续时间；以及基于所述功率元数据来执行所述目标显示器的功率管理，以基于确定的结果相对于制造商确定的阈值来修改对与所述目标显示器相关联的至少一个发光元件的驱动，其中，所述功率元数据包括以下中的至少一个：时间光亮度能量元数据、空间光亮度能量元数据、时空波动元数据、或它们的组合。
(2)根据(1)所述的方法，其中，确定所述目标显示器能够执行的所述驱动修改的量和持续时间包括确定在不损坏所述至少一个发光元件的情况下所述目标显示器能够执行的过驱动的量和持续时间，并且执行所述目标显示器的功率管理包括选择性地对所述至少一个发光元件进行过驱动以超过所述制造商确定的阈值。
(3)根据(1)或(2)所述的方法，其中，确定所述目标显示器能够执行的所述驱动修改的量和持续时间包括确定所述目标显示器响应于所述功率消耗或所述预期功率消耗而能够执行的欠驱动的量和持续时间，并且执行所述目标显示器的功率管理包括降低所述至少一个发光元件的光亮度。
(4)根据(1)至(3)中任一项所述的方法，其中，所述图像数据和所述功率元数据作为经编码比特流一起被接收。
(5)根据(4)所述的方法，进一步包括：在所述经编码比特流的第一帧中接收所述功率元数据的第一部分；以及将所述功率元数据的第一部分存储在缓冲器中。
(6)根据(5)所述的方法，进一步包括：从所述缓冲器取得所述功率元数据的第一部分；以及基于所述功率元数据的第一部分，针对与所述经编码比特流的第二帧相对应的所述图像数据执行所述目标显示器的功率管理，其中，所述第二帧是与所述第一帧相比较晚的图像帧。
(7)根据(1)至(6)中任一项所述的方法，其中，经由不同的传输路径接收所述图像数据和所述功率元数据。
(8)根据(1)至(7)中任一项所述的方法，其中，所述功率元数据包括所述时间光亮度能量元数据，所述方法进一步包括：从所述时间光亮度能量元数据得到镜头光亮度元数据，所述镜头光亮度元数据包括与所述经编码比特流的镜头的光亮度能量相关的信息。
(9)根据(1)至(8)中任一项所述的方法，进一步包括：基于所述功率元数据来生成目标元数据，所述目标元数据包括指示对过驱动请求的帧倒计时的第一标志数据或指示所述过驱动请求的帧持续时间的第二标志数据中的至少一者。
(10)根据(1)至(9)中任一项所述的方法，其中，执行所述目标显示器的功率管理包括使所述目标显示器对与所述目标显示器相关联的至少一个能量存储设备进行充电。
(11)根据(1)至(10)中任一项所述的方法，其中，执行所述目标显示器的功率管理包括使所述目标显示器对与所述目标显示器相关联的至少一个能量存储设备进行放电。
(12)根据(1)至(11)中任一项所述的方法，进一步包括：接收图像形成元数据；以及控制所述目标显示器以基于所述图像形成元数据来显示所述图像数据。
(13)一种存储指令的非暂态计算机可读介质，所述指令在由计算机的处理器执行时使所述计算机执行包括根据(1)至(12)中任一项所述的方法的操作。
(14)一种装置，包括：显示器，所述显示器包括至少一个发光元件；以及显示器管理电路，所述显示器管理电路被配置成：接收功率元数据，其中，所述功率元数据包括与功率消耗或预期功率消耗相关的信息；基于所述功率元数据确定所述显示器响应于所述功率消耗或所述预期功率消耗而能够执行的驱动修改的量和持续时间；以及基于所述功率元数据来执行所述显示器的功率管理，以基于确定的结果相对于制造商确定的阈值来修改对所述至少一个发光元件的驱动，其中，所述功率元数据包括以下中的至少一个：时间光亮度能量元数据、空间光亮度能量元数据、时空波动元数据、或它们的组合。
(15)根据(14)所述的装置，进一步包括存储器，所述存储器被配置成存储预定配置文件，所述预定配置文件包括与所述显示器的至少一个设置参数相关的信息。
(16)根据(15)所述的装置，其中，所述配置文件包括关于以下各项中的至少一项的信息：所述显示器的功率消耗规格、所述至少一个发光元件的冷却时间、所述显示器的空间传热、所述显示器的最大过驱动持续时间、或所述显示器中存在超级电容器。
(17)根据(15)或(16)所述的装置，其中，所述配置文件包括指示关于所述显示器的使用寿命或所述显示器的损耗程度中的至少一个的信息的使用计数器。
(18)根据(15)至(17)中任一项所述的装置，进一步包括被配置成检测环境条件的环境条件传感器，其中，所述存储器被配置成存储与所述环境条件相关的信息。
(19)根据(14)至(18)中任一项所述的装置，进一步包括：解码器，所述解码器被配置成接收包括图像数据和所述功率元数据的经编码比特流，并且被配置成将所述功率元数据提供给所述显示器管理电路。
(20)根据(19)所述的装置，其中：所述经编码比特流进一步包括图像形成元数据，并且所述显示器管理电路被配置成控制所述显示器以基于所述图像形成元数据来修改对所述图像数据的显示。
关于本文描述的过程、系统、方法、启发法等，应当理解，虽然这样的过程等的步骤已经被描述为按照特定有序的顺序进行，但是这样的过程可以利用以与本文描述的顺序不同的顺序执行的所描述步骤来实践。进一步应当理解，某些步骤可以同时执行，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，对本文的过程的描述是出于说明某些实施例的目的而提供的，并且决不应当被解释为为了限制权利要求。
因此，应当理解，以上描述旨在是说明性的而非限制性的。在阅读以上描述时，除了所提供的示例之外的许多实施例和应用程序将是显而易见的。范围不应当参考以上描述来确定，而是应当参考所附权利要求连同这些权利要求有资格考虑的等效物的全部范围来确定。预期并希望的是，本文讨论的技术将在未来有所发展，并且所公开的系统和方法将被并入这种未来实施例中。总之，应当理解，本申请是可以进行修改和改变的。
权利要求中所使用的所有术语都旨在被赋予其如了解本文描述的技术的人所理解的最广泛的合理解释及普通含义，除非本文中作出相反的明确指示。特别地，如“一”、“该”、“所述”等单数冠词的使用应当被理解为记载一个或多个所指示的要素，除非权利要求记载了相反的明确限制。
提供本公开的摘要以允许读者快速确定技术公开的性质。基于其将不被用于解释或者限制权利要求的范围或者含义的理解提交本摘要。另外，在前述的具体实施方式中，可以看出，出于将本公开连成一个整体的目的而将各种特征一起组合到各种实施例中。本公开的方法不应当被解释为反映所要求保护的实施例并入了比每项权利要求中所明确记载的特征多的特征的意图。而是，如所附权利要求所反映的，创造性主题在于少于单个公开的实施例的全部特征。因此，所附权利要求由此被并入到具体实施方式中，其中，每项权利要求独自作为单独要求保护的主题。

Claims (21)

1.一种方法，包括：
接收图像数据和功率元数据，其中，所述功率元数据包括与功率消耗或预期功率消耗相关的信息；
基于所述功率元数据确定目标显示器响应于所述功率消耗或所述预期功率消耗而能够执行的驱动修改的量和持续时间；以及
基于所述功率元数据来执行所述目标显示器的功率管理，以基于确定的结果相对于制造商确定的阈值来修改对与所述目标显示器相关联的至少一个发光元件的驱动，
其中，所述功率元数据包括以下中的至少一个：时间光亮度能量元数据、空间光亮度能量元数据、时空波动元数据、或它们的组合。
2.根据权利要求1所述的方法，其中，帧中所包括的所述功率元数据进一步包括用于未来帧的功率元数据。
3.根据权利要求1或权利要求2所述的方法，其中，
确定所述目标显示器能够执行的所述驱动修改的量和持续时间包括确定在不损坏所述至少一个发光元件的情况下所述目标显示器能够执行的过驱动的量和持续时间，并且
执行所述目标显示器的所述功率管理包括选择性地对所述至少一个发光元件进行过驱动以超过所述制造商确定的阈值。
4.根据权利要求1至3中任一项所述的方法，其中，
确定所述目标显示器能够执行的所述驱动修改的量和持续时间包括确定所述目标显示器响应于所述功率消耗或所述预期功率消耗而能够执行的欠驱动的量和持续时间，并且
执行所述目标显示器的所述功率管理包括降低所述至少一个发光元件的光亮度。
5.根据权利要求1至4中任一项所述的方法，其中，所述图像数据和所述功率元数据作为经编码比特流一起被接收。
6.根据权利要求5所述的方法，进一步包括：
在所述经编码比特流的第一帧中接收所述功率元数据的第一部分；以及
将所述功率元数据的所述第一部分存储在缓冲器中。
7.根据权利要求6所述的方法，进一步包括：
从所述缓冲器取得所述功率元数据的所述第一部分；以及
基于所述功率元数据的所述第一部分，针对与所述经编码比特流的第二帧相对应的所述图像数据执行所述目标显示器的所述功率管理，
其中，所述第二帧是与所述第一帧相比较晚的图像帧。
8.根据权利要求1至7中任一项所述的方法，其中，经由不同的传输路径接收所述图像数据和所述功率元数据。
9.根据权利要求1至8中任一项所述的方法，其中，所述功率元数据包括所述时间光亮度能量元数据，所述方法进一步包括：
从所述时间光亮度能量元数据得到镜头光亮度元数据，所述镜头光亮度元数据包括与所述经编码比特流的镜头的光亮度能量相关的信息。
10.根据权利要求1至9中任一项所述的方法，进一步包括：基于所述功率元数据来生成目标元数据，所述目标元数据包括指示对过驱动请求的帧倒计时的第一标志数据或指示所述过驱动请求的帧持续时间的第二标志数据中的至少一者。
11.根据权利要求1至10中任一项所述的方法，其中，执行所述目标显示器的所述功率管理包括使所述目标显示器对与所述目标显示器相关联的至少一个能量存储设备进行充电或放电。
12.根据权利要求1至11中任一项所述的方法，进一步包括：接收图像形成元数据；以及控制所述目标显示器以基于所述图像形成元数据来显示所述图像数据。
13.一种存储指令的非暂态计算机可读介质，所述指令在由计算机的处理器执行时使所述计算机执行包括根据权利要求1至12中任一项所述的方法的操作。
14.一种装置，包括：
显示器，所述显示器包括至少一个发光元件；以及
显示器管理电路，所述显示器管理电路被配置成：
接收功率元数据，其中，所述功率元数据包括与功率消耗或预期功率消耗相关的信息，
基于所述功率元数据确定所述显示器响应于所述功率消耗或所述预期功率消耗而能够执行的驱动修改的量和持续时间，以及
基于所述功率元数据来执行所述显示器的功率管理，以基于确定的结果相对于制造商确定的阈值来修改对所述至少一个发光元件的驱动，
其中，所述功率元数据包括以下中的至少一个：时间光亮度能量元数据、空间光亮度能量元数据、时空波动元数据、或它们的组合。
15.根据权利要求14所述的方法，其中，帧中所包括的所述功率元数据进一步包括用于未来帧的功率元数据。
16.根据权利要求14或权利要求15所述的装置，进一步包括存储器，所述存储器被配置成存储预定配置文件，所述预定配置文件包括与所述显示器的至少一个设置参数相关的信息。
17.根据权利要求16所述的装置，其中，所述配置文件包括关于以下各项中的至少一项的信息：所述显示器的功率消耗规格、所述至少一个发光元件的冷却时间、所述显示器的空间传热、所述显示器的最大过驱动持续时间、或所述显示器中存在超级电容器。
18.根据权利要求16或权利要求17所述的装置，其中，所述配置文件包括使用计数器，所述使用计数器指示关于所述显示器的使用寿命或所述显示器的损耗程度中的至少一个的信息。
19.根据权利要求16至18中任一项所述的装置，进一步包括环境条件传感器，所述环境条件传感器被配置成检测环境条件，
其中，所述存储器被配置成存储与所述环境条件相关的信息。
20.根据权利要求14至19中任一项所述的装置，进一步包括：
解码器，所述解码器被配置成接收包括图像数据和所述功率元数据的经编码比特流，并且被配置成将所述功率元数据提供给所述显示器管理电路。
21.根据权利要求20所述的装置，其中：所述经编码比特流进一步包括图像形成元数据，并且所述显示器管理电路被配置成控制所述显示器以基于所述图像形成元数据来修改对所述图像数据的显示。
CN202180026880.8A 2020-04-02 2021-04-01 基于元数据的功率管理 Pending CN115362687A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063004019P 2020-04-02 2020-04-02
US63/004,019 2020-04-02
EP20171001 2020-04-23
EP20171001.9 2020-04-23
PCT/US2021/025454 WO2021202927A1 (en) 2020-04-02 2021-04-01 Metadata-based power management

Publications (1)

Publication Number Publication Date
CN115362687A true CN115362687A (zh) 2022-11-18

Family

ID=75562887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180026880.8A Pending CN115362687A (zh) 2020-04-02 2021-04-01 基于元数据的功率管理

Country Status (5)

Country Link
US (1) US20230154418A1 (zh)
EP (1) EP4128802A1 (zh)
JP (1) JP2023519933A (zh)
CN (1) CN115362687A (zh)
WO (1) WO2021202927A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312330A (zh) * 2023-05-16 2023-06-23 合肥联宝信息技术有限公司 一种显示控制电路、控制方法及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230087807A1 (en) * 2021-09-23 2023-03-23 Apple Inc. Techniques for activity based wireless device coexistence
US12012089B2 (en) * 2021-09-23 2024-06-18 Ford Global Technologies, Llc Auxiliary device power testing for vehicle power delivery

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140285531A1 (en) * 2013-03-19 2014-09-25 Ericsson Television Inc. System, method, and device for adjusting display luminance
WO2015151792A1 (ja) * 2014-03-31 2015-10-08 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
DK3231174T3 (da) * 2014-12-11 2020-10-26 Koninklijke Philips Nv Optimering af billeder med højt dynamikområde til bestemte displays
WO2016154225A1 (en) * 2015-03-23 2016-09-29 Dolby Laboratories Licensing Corporation Dynamic power management for an hdr display
EP3295450B1 (en) * 2015-05-12 2020-07-01 Dolby Laboratories Licensing Corporation Backlight control and display mapping for high dynamic range images
KR102585842B1 (ko) * 2015-09-15 2023-10-11 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 절전 미디어 콘텐츠를 제공하기 위한 방법 및 장치
US10297191B2 (en) * 2016-01-29 2019-05-21 Samsung Display Co., Ltd. Dynamic net power control for OLED and local dimming LCD displays
US10720091B2 (en) * 2017-02-16 2020-07-21 Microsoft Technology Licensing, Llc Content mastering with an energy-preserving bloom operator during playback of high dynamic range video
US10475417B2 (en) * 2017-03-29 2019-11-12 Intel Corporation History-aware selective pixel shifting
US10242628B2 (en) * 2017-05-18 2019-03-26 Dell Products, L.P. Light Emitting Diode (LED) backlight control for reproduction of High Dynamic Range (HDR) content using Standard Dynamic Range (SDR) Liquid Crystal Display (LCD) panels
KR102676842B1 (ko) * 2019-11-12 2024-06-21 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312330A (zh) * 2023-05-16 2023-06-23 合肥联宝信息技术有限公司 一种显示控制电路、控制方法及电子设备

Also Published As

Publication number Publication date
WO2021202927A1 (en) 2021-10-07
US20230154418A1 (en) 2023-05-18
JP2023519933A (ja) 2023-05-15
EP4128802A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
CN115362687A (zh) 基于元数据的功率管理
JP6526776B2 (ja) Ｈｄｒ画像符号化及び復号のための輝度領域ベース装置及び方法
JP6081360B2 (ja) 改善された画像の符号化及び／又は復号のための装置、方法並びに画像データ記憶媒体
KR102247526B1 (ko) 디스플레이 장치 및 그 제어 방법
CN102812509B (zh) 用于减少显示设备中的闪烁和运动模糊的方法和装置
US7404645B2 (en) Image and light source modulation for a digital display system
US10102878B2 (en) Method, apparatus and system for displaying images
JP2016197267A (ja) ビデオ信号の時間フィルターリング
JP2013541895A5 (zh)
Chalmers et al. HDR video past, present and future: A perspective
US20120182437A1 (en) Generating still images and video by capture of images projected by light passing through a display screen
US10872557B2 (en) Display control apparatus and display control method
KR20080080614A (ko) 디지털 디스플레이 시스템의 필드 순차 광원 변조
US9165510B2 (en) Temporal control of illumination scaling in a display device
KR102551136B1 (ko) 디스플레이장치 및 그 제어방법
US7817131B2 (en) Method for efficient computation of image frames for dual modulation display systems using key frames
US10152946B2 (en) Video display method using visible/visual light communication with stripe patterns having different orientations and color combinations
KR20150049895A (ko) 디스플레이 기기의 잔상방지장치
KR20060005355A (ko) 콘트라스트를 향상시키기 위한 전자 종이-기반 스크린의사용
US20110063203A1 (en) Displaying Enhanced Video By Controlling Backlight
KR20170127445A (ko) 주변 이미지를 프로세싱하기 위한 방법 및 디바이스
CN111667790B (zh) 显示装置及其控制方法
US11301973B2 (en) Tone mapping method
KR100866872B1 (ko) 투사 표시 장치의 화면 밝기 제어 장치 및 방법
TW202433437A (zh) 顯示器周邊之可變亮度調光

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination