CN114375472A - 内容自适应显示功率节省系统和方法 - Google Patents

内容自适应显示功率节省系统和方法 Download PDF

Info

Publication number
CN114375472A
CN114375472A CN202080061031.1A CN202080061031A CN114375472A CN 114375472 A CN114375472 A CN 114375472A CN 202080061031 A CN202080061031 A CN 202080061031A CN 114375472 A CN114375472 A CN 114375472A
Authority
CN
China
Prior art keywords
image data
distortion
circuit
raw image
value pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080061031.1A
Other languages
English (en)
Inventor
沙拉万·库马尔·贝拉加尔·马思
塔莫格纳·高希
谢琳·阿卜杜勒哈克
邱俊海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN114375472A publication Critical patent/CN114375472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G06F1/3218—Monitoring of peripheral devices of display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G09G2330/023—Power management, e.g. power saving using energy recovery or conservation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本公开针对的是这样的系统和方法：这些系统和方法用于在维持一致的、可客观测量的、与显示图像质量度量相一致的图像失真水平的同时降低显示图像功率消耗。原始图像数据被转换成HSV格式。从HSV格式原始图像数据中提取“V”值，并且直方图生成多个“V”值。HSV格式原始图像数据被提供给经训练的CNN的至少一层以提取多个特征。多个“V”值和多个特征被提供给AI电路以生成多个失真类别值对。每个失真类别值对基于显示图像失真与显示图像质量度量的接近度而被加权。提供接近显示图像质量度量的显示图像失真的失真类别对被应用到原始图像数据以生成显示图像数据。

Description

内容自适应显示功率节省系统和方法
技术领域
本公开涉及显示设备，具体而言涉及具有功率节省特征的显示设备。
背景技术
现代显示设备，尤其是液晶显示(liquid crystal display，LCD)设备和发光二极管(light emitting diode，LED)设备，依靠背光灯向彩色面板提供相当强烈的背光照明以产生可见的输出。这种背光灯所消耗的功率是相当大的，经常高达设备的总功率消耗的20-25％。这对于手持式和便携式设备(例如智能电话、平板计算机、膝上型计算机、可穿戴计算机和类似的基于处理器的便携式设备)而言，尤其消耗功率。一类功率节省技术包括选择性地限制显示器背光灯的功率消耗。这种功率节省技术虽然有点效果，但通常会损害显示图像的质量，因为每次减少发光输出都会导致构成显示图像的某个百分比的图片元素(像素)的失真。
附图说明
要求保护的主题的各种实施例的特征和优点将随着以下详细描述进行并且在参考附图后变得清楚，附图中相似的标号指定相似的部分，其中：
图1是根据本文描述的至少一个实施例描绘说明性系统的框图，该系统包括内容自适应显示功率管理系统，用来接收原始图像数据和显示图像质量度量，它们被用于生成变换后的图像数据，以便由一个或多个显示设备显示；
图2是根据本文描述的至少一个实施例描绘说明性内容自适应显示功率管理系统的框图，该系统包括内容自适应校正电路，该电路接收原始图像数据和显示图像质量度量并且输出失真类别对数据；
图3是根据本文描述的至少一个实施例的说明性内容自适应校正电路的框图；
图4是根据本文描述的至少一个实施例描绘作为原始“V”值的函数的变换(或失真)“V”值的图形表示，以提供使用失真类别对生成的显示图像输出；
图5是根据本文描述的至少一个实施例描绘用于训练AI电路的说明性训练方法的示意图；
图6是根据本文描述的至少一个实施例的说明性的基于处理器的电子设备的示意图，该设备包括内容自适应显示功率管理系统，用来降低通信耦合的显示设备的功率消耗；
图7是根据本文描述的至少一个实施例在内容自适应基础上降低显示设备的功率消耗的说明性高级别方法的逻辑流程图；
图8是根据本文描述的至少一个实施例将原始图像数据从原始数据格式转换为与内容自适应显示功率管理系统兼容的色相/饱和度/值(HSV)格式的高级别方法的流程图；
图9是根据本文描述的至少一个实施例从已被转换为HSV格式原始图像数据的原始图像数据中提取对象相关数据的高级别方法800的流程图；并且
图10是根据本文描述的至少一个实施例的说明性方法的流程图，该方法用于至少部分基于显示图像数据中存在的失真和显示图像质量度量之间的差异来确定并向多个失真类别值对中的每一者指派各自的权重。
虽然接下来的具体实施方式将在参考说明性实施例的情况下进行，但是其许多替换、修改和变化将是本领域技术人员清楚可见的。
具体实施方式
诸如LCD显示器之类的背光显示器包括由背光照明以产生可见的图像的像素阵列。可以使用诸如色相、饱和度和值(hue,saturation,and value，HSV)之类的表示法向显示器中包括的每个像素指派特定的颜色。使用HSV，每个像素的颜色由与该像素相关联的色相(“H”)百分比和饱和度(“S”)值定义，并且像素的亮度/暗度由值“V”确定。
降低背光功率消耗的一种技术是通过减小背光亮度，同时按某个因子调整像素颜色值，以补偿减弱的背光亮度。如果在所有像素上普遍应用相同的因子，图像质量就会保持不变。为了增大功率节省，可以单独确定应用到显示器中的每个像素或像素组的因子。然而，在整个显示器上使用可变的像素调整因子会给显示图像中引入一定程度的失真。
本文公开的系统和方法通过维持由可变像素调整因子提供的显示图像质量尽可能接近定义的主观图像质量得分，例如视频多方法评估融合(Video MultimethodAssessment Fusion，VMAF)，从而有益地改善背光功率节省。本文公开的系统和方法接受主观容许图像质量得分作为输入，该得分与原始图像数据一起，被用于随后确定失真类别对，该失真类别对在维持由主观图像质量得分确定的可接受的图像质量的同时提供显示功率节省。
一种节约显示功率的方法是通过增大像素强度值，同时或并发地降低背光亮度来实现的。通常，这种功率节省系统提供有限数目的功率节省水平，功率节省程度取决于操作水平。这些水平中的每一者可以由被认为是“白色”像素的像素的百分比和“白色”像素的失真程度来定义或表征。从图形上看，变换后的图像数据中包括的白色像素的百分比定义了拐点，并且通过该拐点的线段的斜率定义了被应用于变换后图像数据中的白色像素的失真程度。拐点和线段的斜率共同确定了所实现的总体功率节省。虽然先前的实现方式依靠预定义的静态参数来选择百分比和斜率，从而在没有对显示图像的失真程度的主观测量的情况下提供功率节省，但本文公开的系统和方法有益并且有利地选择百分比和线段斜率，该百分比和线段斜率提供显示功率节省，同时维持使用一个或多个手动或自主选择的主观图像质量度量测量的变换后显示图像质量。
本文公开的系统和方法有益地将变换后显示图像的主观得分集中到接近输入主观得分，从而在用户体验方面提供更高的一致性。通过在所有显示区段中维持基本统一的主观变换后图像得分，可以将本文公开的系统和方法有益地扩展到涵盖具有多个显示区段的显示设备，每个显示区段有一个或多个背光设备。本文公开的系统和方法有益地允许了用户输入期望的变换后图像质量/功率节省，从而提供可预测的用户体验。
本文公开的系统和方法将原始图像像素数据转换为色相、饱和度和值(HSV)表示。HSV表示被提供给单层对象检测卷积神经网络(convolutional neural network，CNN)，并且所得到的输出数据例如经由最大池化(MaxPooling)被减少，以提供限定数目的(例如，64个)输出值。HSV表示也被提供给提取电路，在该电路中，“V”值被提取，并且具有限定数目的(例如，64个)“V”值桶的直方图被生成。来自CNN的输出值和V直方图值被作为输入提供给经训练的人工智能(AI)电路。AI电路可以被训练为按多个主观图像质量得分来提供输出。从而，对于任何定义的手动或自主选择的主观变换后图像质量度量，AI电路生成失真类别对，该失真类别对定义了在维持所选图像质量的同时提供最大显示功率节省的百分比和线段斜率。有时，AI电路可以输出多个失真类别对值。每个失真类别对值可以被指派一个权重，并且基于使用主观图像质量度量测量的变换后图像质量与原始图像质量的偏差。所选择的失真类别对值被应用到原始图像数据，以生成变换后的图像数据，变换后图像数据然后被提供给通信耦合的显示设备。
提供了一种内容自适应显示功率降低电路。内容自适应显示功率降低电路可包括：至少一个输入/输出(I/O)接口，用来：接收原始图像数据；并且接收至少一个输入，该输入包括表明客观显示图像质量度量的数据；人工智能电路，用来生成输出，该输出包括使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对；选择电路，用来选择多个失真类别值对中包括的失真类别值对之一，该选择基于通过应用多个失真类别值对中的每一者而引入到原始图像数据的各个失真水平以及客观显示图像质量度量；以及图像变换电路，用来将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
提供了一种内容自适应显示功率降低方法。该方法可包括：经由至少一个输入/输出(I/O)接口，接收代表原始图像的数据和表明客观显示图像质量度量的数据；由人工智能电路生成使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对；由选择电路选择多个失真类别值对中包括的失真类别值对之一，该选择基于通过应用多个失真类别值对中的每一者而引入到原始图像数据的各个失真水平以及客观显示图像质量度量；由图像变换电路将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
提供了一种包括指令的非暂态存储设备。这些指令当被内容自适应显示功率降低控制电路执行时，使得该控制电路：使得人工智能电路使用原始图像数据生成多个失真类别值对；使得选择电路选择多个失真类别值对中包括的失真类别值对之一，该选择基于通过应用多个失真类别值对中的每一者而引入到原始图像数据的各个失真水平以及客观显示图像质量度量；并且使得图像变换电路将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
提供了一种内容自适应显示功率降低系统。该系统可包括：用于接收代表原始图像的数据和表明容许图像失真值的数据的装置；用于生成使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对的装置；用于选择多个失真类别值对中包括的失真类别值对之一的装置，该选择基于通过应用多个失真类别值对中的每一者而引入到原始图像数据的各个失真水平以及客观显示图像质量度量；以及用于将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据的装置。
提供了一种电子设备。该电子设备可包括：处理器电路；至少一个显示设备；以及与处理器电路和显示设备耦合的内容自适应显示功率降低电路，该内容自适应显示功率降低电路包括：至少一个输入/输出(I/O)接口，用来：接收原始图像数据；并且接收至少一个输入，该输入包括表明客观视频质量度量的数据；人工智能电路，用来生成输出，该输出包括使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对；选择电路，用来选择多个失真类别值对中包括的失真类别值对之一，该选择基于通过应用多个失真类别值对中的每一者而引入到原始图像数据的各个失真水平以及客观显示图像质量度量；以及图像变换电路，来将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
就本文使用的而言，术语“片上”或者被称为“片上”的元件、组件、系统、电路或设备包括与处理器电路(例如，中央处理单元，或者CPU，其中“片上”组件被包括在CPU电路中、与CPU电路一体形成和/或由CPU电路提供)一体制造的这种项目，或者被包括为作为多芯片模块(multi-chip module，MCM)或片上系统(system-on-chip，SoC)的一部分形成的单独组件的这种项目。
图1是根据本文描述的至少一个实施例描绘说明性系统的框图，该系统包括内容自适应显示功率管理系统130，用来接收原始图像数据112和显示图像质量度量122，它们被用于生成变换后的图像数据132，以便由一个或多个显示设备150显示。如图1中所描绘的，在实施例中，原始图像数据源110向内容自适应显示功率管理系统130提供原始图像数据112，并且手动输入或自主生成的图像质量度量输入120向内容自适应显示功率管理系统130提供变换后图像质量度量数据122。使用接收到的原始图像数据112和接收到的变换后图像质量度量数据122，内容自适应显示功率管理系统130内的电路生成输出，该输出包括表明失真像素的容许百分比的数据和表明变换后图像数据132中的像素的失真程度的数据。有益的是，在实施例中，内容自适应显示功率管理系统130生成具有可客观测量的图像质量的变换后图像数据132。例如，内容自适应显示功率管理系统130可以生成具有使用视频多方法评估融合(VMAF)质量度量可客观测量的相对于原始图像数据112的失真的变换后图像数据132。与先前的系统和方法相比，使用这种客观的质量度量改善了用户体验，先前的系统和方法通过以不包含失真图像质量的客观度量的方式使显示图像失真来提供显示功率管理。有利的是，使用可客观测量的图像质量度量可以通过提供一致且可预测的显示图像来改善整体用户体验。
在操作中，内容自适应显示功率管理系统130接收由原始图像数据源110生成的原始图像数据112和来自输入质量度量源120的表明显示图像质量的期望水平的显示图像质量度量122。在实施例中，显示图像质量度量122可以被手动输入，例如经由用户界面来输入。在其他实施例中，显示图像质量度量122可以由内容自适应显示功率管理系统130的主机设备自主地生成。使用接收到的原始图像数据112和接收到的显示图像质量度量122，内容自适应显示功率管理系统130生成显示图像数据132。有益的是，显示图像数据132提供最大可能的显示设备功率节省，同时以客观上可测量的水平维持一致的显示图像质量。
在实施例中，内容自适应显示功率管理系统130降低了布置在显示设备150中的一个或多个背光系统154的功率消耗，同时使得形成显示图像152的某个百分比的像素的输出失真。当与内容自适应显示功率管理系统130接收到的原始图像数据112相比较时，降低的背光亮度和失真的像素输出的组合变更或失真了显示图像数据132所提供的显示图像。显示图像数据132中存在的失真是使用诸如VMAF之类的标准的图像质量度量来测量的，以量化和指派代表显示图像数据132中存在的总体失真水平的客观值。代表显示图像数据132中存在的整体失真水平的客观值被与显示图像质量度量122相比较，以使得显示图像数据132中存在的失真处于或接近显示图像质量度量122。从而，背光亮度的降低降低了显示设备150的功率消耗，同时将代表显示图像数据132中存在的总体失真水平的客观值维持在处于或接近显示图像质量度量122提供了一种更一致且可预测的用户环境。
原始图像数据源110可包括任何数目和/或组合的当前可用和/或未来开发的能够转发、产生、提供或以其他方式生成原始图像数据的设备或系统。在实施例中，原始图像数据源110可包括中央处理单元(central processing unit，CPU)；图形处理单元(graphicsprocessing unit，GPU)；或者布置在基于处理器的电子设备中的数字信号处理器(digitalsignal processor，DSP)，所述电子设备例如是智能电话、可穿戴计算机、便携式计算机、膝上型计算机、桌面型计算机、或者服务器。在实施例中，原始图像数据源可包括但不限于静态图像数据源或视频数据源。由原始图像数据源110提供或生成的原始图像数据112可以采取任何当前可用或未来开发的格式和或编码。在至少一些实施例中，原始图像数据112可包括使用任何当前可用和/或未来开发的编码格式进行编码的图像。示例原始图像数据112编码格式包括但不限于：JPEG；GIF；MPEG；MP3；MP4；以及类似的。在实施例中，原始图像数据112可包括多个图片元素或像素中每一者的红/绿/蓝(RGB)数据。在实施例中，原始图像数据112可包括具有任何分辨率的显示图像的信息和/或数据。例如，原始图像数据112可包括具有以下分辨率的显示图像的信息和/或数据：640×480；1280×720；1440×1080；1920×1080；3840×2160；7680×4320；以及15360×8640。
质量度量输入120可包括一个或多个接口，用来接收代表显示图像质量度量122的信息和/或数据。在实施例中，显示图像质量度量122可以由系统用户手动输入，例如经由诸如触摸屏或者软键盘或硬键盘之类的用户界面输入。在实施例中，显示图像质量度量122可以由内容自适应显示功率管理系统130的主机设备自主地生成。在至少一些实施例中，显示图像质量度量122可包括视频多方法评估融合(VMAF)视频质量度量，其范围为0(最差失真)至100(变换后图像和原始图像之间的完全保真)。相关领域的普通技术人员将很容易明白，可以使用任何客观图像失真评估度量来代替VMAF，而不损害内容自适应显示功率管理系统130的性能。
内容自适应显示功率管理系统130包括任何数目的当前可用和/或未来开发的电子组件、半导体器件、光学器件和/或逻辑元件，其能够使用所接收的原始图像数据112和显示图像质量度量122来生成显示图像数据132。在实施例中，内容自适应显示功率管理系统130可包括人工智能电路，例如卷积神经网络(CNN)电路，该电路已被训练成生成数据输出，该数据输出包括代表显示图像数据132中的失真像素的百分比和像素的失真程度的信息和/或数据。在实施例中，内容自适应显示功率管理系统130可以将代表失真像素的百分比和像素的失真程度的信息和/或数据与接收的原始图像数据112相组合，以产生或以其他方式生成显示图像数据132。在实施例中，内容自适应显示功率管理系统130可以将显示图像数据132中存在的失真与原始图像数据112进行比较，以生成一个或多个定量的、客观的失真度量，用于与显示图像质量度量122进行比较。从而，内容自适应显示功率管理系统130生成具有可定量测量的、一致的且可预测的失真水平的显示图像数据132，从而增强用户体验，同时降低显示设备150的功率消耗。
存储设备140可包括任何数目和/或组合的能够存储信息和/或数据的设备，所述信息和/或数据包括一个或多个机器可读和/或处理器可执行的指令集。在实施例中，存储设备140可包括一个或多个数据存储库、数据结构或数据库，其存储或以其他方式保持代表一个或多个神经网络模型的信息和/或数据，该一个或多个神经网络模型具有接受原始图像数据112的输入层和提供显示图像数据132的输出层，该显示图像数据132当与原始图像数据112相比较时具有某个百分比的失真像素。在实施例中，一个或多个神经网络模型的输入层可以接受显示图像质量度量122。在这样的实施例中，一个或多个神经网络模型可以选择性地提供包括显示图像数据132的输出，显示图像数据132具有某个百分比的失真像素，从而使得诸如VMAF图像质量度量之类的客观图像质量度量处于或接近所接收的显示图像质量度量122。在其他实施例中，存储设备140可包括多个神经网络模型，其中多个神经网络模型中的每一者被配置为生成具有定义的图像质量度量的显示图像数据132，该定义的图像质量度量处于或接近所接收的显示图像质量度量122。
显示设备150可包括任何数目和/或组合的电子组件、半导体器件、光学器件和/或逻辑元件，其能够提供人类可感知的视觉输出。在实施例中，显示设备150可包括一个或多个触摸屏设备，其提供触觉输入以及视频或视觉输出。在实施例中，显示设备150包括一个或多个显示输出152和/或一个或多个能够生成可变电磁输出的背光电路154。显示设备150可被布置在智能电话、便携式计算机、可穿戴计算机、平板计算机、膝上型计算机或上网本中。显示设备150可以使用任何当前可用或未来开发的显示技术，例如液晶显示器(liquidcrystal display，LCD)显示技术；发光二极管(light emitting diode，LED)显示技术；量子点LED(quantum dot LED，QLED)显示技术；聚合物LED(polymer LED，PLED)显示技术；以及类似的。显示设备150可具有任何显示分辨率，包括但不限于：4:3纵横比分辨率(640×480、800×600、960×720、1024×768、1280×960、1400×1050、1440×1080、1600×1200、1856×1392、1920×1440、2048×1536，等等)；16:10纵横比分辨率(1200×800、1440×900、1680×1050、1920×1200、2560×1600，等等)；或者任何其他纵横比和/或显示分辨率。在实施例中，显示设备150包括一个或多个I/O接口，以接收来自内容自适应显示功率管理系统130的显示图像数据132。
图2是根据本文描述的至少一个实施例描绘说明性内容自适应显示功率管理系统100的框图，该系统包括内容自适应校正电路210，该电路接收原始图像数据120和显示图像质量度量122并且输出失真类别对数据220。在实施例中，失真类别对数据220包括代表在提供最大可能显示功率节省的同时提供处于或接近显示图像质量度量122的显示图像所需要的显示设备154中的像素的容许失真像素的百分比和允许失真程度的信息和/或数据。在实施例中，图像变换电路230使用失真类别对数据220和原始图像数据112来生成显示图像数据132。
在实施例中，内容自适应校正电路210包括一个或多个接口电路214A-214n(图2中描绘了两个这样的接口电路，统称为“接口电路114”)，用来接收原始图像数据120和显示图像质量度量122。在实施例中，一个或多个主观容许图像失真标准112可被手动输入，例如由系统用户经由一个或多个用户界面输入。在其他实施例中，显示图像质量度量122可以被自主生成，例如由处理器电路、中央处理器单元(CPU)电路、图形处理器单元(GPU)电路或者与内容自适应校正电路210通信耦合的类似控制电路生成。使用显示图像质量度量122向内容自适应校正电路210提供了显示图像数据132的一致且可预测的失真水平，从而改善了用户体验。
内容自适应校正电路210包括能够执行机器可读指令集和/或逻辑以生成代表至少一个失真类别对220的数据的电路。在实施例中，内容自适应校正电路210生成代表多个失真类别对220的数据。每个失真类别对220包括代表显示输出的信息和/或数据，在该显示输出中，显示图像152已被失真以降低显示背光154的功率消耗。在实施例中，每个失真类别对220可包括代表显示图像152中包括的失真像素的百分比和/或显示图像152中包括的像素的至少一部分的失真程度的信息和/或数据。在实施例中，内容自适应校正电路210可以采用显示图像数据132与原始图像数据112相比的失真的至少一个客观测量。在实施例中，内容自适应校正电路210可以将显示图像失真的客观测量与显示图像质量度量122进行比较，以确保显示图像152的失真处于或接近显示图像质量度量122。在至少一些实施例中，内容自适应校正电路210可以使用视频多方法评估融合(VMAF)视频质量度量来提供显示图像失真的客观测量。VMAF提供图像失真的客观测量，其范围为0(最差失真)至100(变换后图像和原始图像之间的完全保真)。在这样的实施例中，显示图像质量度量122可包括代表0和100之间的值的数据。内容自适应校正电路110选择失真类别对220，该失真类别对提供处于或接近所接收的显示图像质量度量122的显示图像失真的客观测量。此外，所选择的失真类别对220提供了显示功率节省，有益地改善了自供电电子设备的使用寿命。
在实施例中，内容自适应校正电路210可包括经训练的神经网络电路，该神经网络电路具有能够接收原始图像数据120和显示图像质量度量122的输入层。内容自适应校正电路210可包括神经网络电路的任何数目的中间层或隐藏层，以确定至少一个失真类别对220。内容自适应校正电路210可包括输出层，以将失真类别对220提供给图像变换电路230。
在实施例中，图像变换电路230可包括任何数目和/或组合的电子组件、半导体器件、光学组件和/或逻辑元件，其能够将由失真类别对220定义的失真应用到原始图像数据112以提供显示图像数据132。在实施例中，图像变换电路230可被完全或部分地布置在与显示设备150通信耦合的显示控制电路中。在实施例中，图像变换电路230可被完全或部分地布置在与内容自适应显示功率管理系统130通信耦合的GPU电路内。图像变换电路230输出显示图像数据132，显示图像数据132被提供给通信耦合的显示设备150。
图3是根据本文描述的至少一个实施例的说明性内容自适应校正电路210的框图。如图3中所描绘的，内容自适应校正电路210包括色相/饱和度/值(HSV)转换电路310，以接收传入的原始图像数据112。HSV转换电路310包括任何数目和/或组合的当前可用和/或未来开发的电子组件、半导体器件、光学组件和/或逻辑元件，其能够将传入的原始图像数据112中包括的像素数据转换为HSV像素数据格式。HSV转换电路310将HSV像素数据转发到对象检测电路320。在实施例中，对象检测电路320可包括为对象检测而训练的单级卷积神经网络(CNN)电路320。HSV转换电路310还将HSV像素数据转发到值提取电路330，该值提取电路330被配置为提取原始图像数据112中包括的每个像素的“V”值。
对象检测电路320基于原始图像数据112中包括的每个像素的内容来生成输出。在实施例中，对象检测电路320可以实现经训练的卷积神经网络(CNN)对象检测模型的初始层或所有层。在一些实施例中，对象检测电路320可以实现经训练的VGG16 CNN对象检测模型的初始层或所有层。由对象检测电路320生成的输出数据被传递通过提取电路330，以从由对象检测电路330生成的输出中提取代表限定数目的特征332的数据。在实施例中，提取电路330可包括最大池化电路，以从由对象检测电路320生成的输出数据中提取限定数目的特征。在一个或多个实施例中，提取电路330可包括最大池化电路，以从由对象检测电路320生成的输出数据中提取与64个特征332相对应的数据。
提取电路330包括任何数目和/或组合的当前可用和/或未来开发的电子组件、半导体器件、光学组件和/或逻辑元件，其能够从从HSV转换电路310接收的HSV数据中提取“V”值信息。直方图电路350接收由提取电路330生成的输出数据。直方图电路350将提取的“V”值分派到限定数目的直方图桶或组中，每个桶或组提供值352之一。在实施例中，直方图电路350将每个提取的“V”值分派到64个桶之一中，以生成具有64个值352的输出数据。
人工智能(AI)电路360接收与特征332相对应的数据和与值352相对应的数据。在实施例中，AI电路360包括一个或多个深度学习模型，这些模型被训练以生成对于若干个失真水平中的每一者包括一个或多个失真类别对220A-220n的输出。从而，AI电路360可以接收显示图像质量度量122，并且可以基于与特征332相对应的接收数据、与值352相对应的接收数据以及所接收的显示图像质量度量122，生成一个或多个失真类别对220，这些失真类别对提供处于或接近显示图像质量度量122的失真显示图像。在实施例中，AI电路360可包括多个完全连接(fully connected，FC)层。在实施例中，由AI电路360生成的失真类别对220的数目可以至少部分基于显示图像质量度量122。例如，与具有相对较小失真的显示图像相对应的显示图像质量度量122可具有较少数目的失真类别，而与具有相对较大失真的显示图像相对应的显示图像质量度量122可具有较大数目的失真类别。
在实施例中，AI电路360生成失真类别对220A-220n，每个失真类别对向显示图像数据132提供不同的失真水平，以实现显示功率节省。AI电路360将一个或多个失真类别对220A-220n传达给加权电路380，其中失真类别对220A-220n中的每一者基于显示图像质量度量122被指派权重因子。
加权电路380包括任何数目和/或组合的当前可用和/或未来开发的电子组件、半导体器件、光学组件和/或逻辑元件，它们被配置为向一个或多个失真类别对220中的每一者应用各自的加权因子。在实施例中，展示具有最接近所接收的显示图像质量度量122的值的显示图像失真的失真类别对220A-220n可以比展示偏离所接收的显示图像质量度量122的显示图像失真的失真类别对220A-220n的权重更高。
选择电路390从加权电路380接收加权的失真类别对220A-220n。选择电路390包括任何数目和/或组合的当前可用和/或未来开发的电子组件、半导体器件、光学组件和/或逻辑元件，其被配置为选择与所接收的显示图像质量度量122最接近对应的加权失真类别对220。选择电路390选择失真类别对220以应用到原始图像数据112，以产生随后被传达给显示设备150的显示图像数据132。
选择电路390选择提供显示图像的失真类别对220A，该显示图像当与原始图像数据112相比时提供具有处于或接近显示图像质量度量122的失真。在实施例中，选择电路390可以选择提供显示图像的失真类别对220，该显示图像与显示图像质量度量122具有相对较高的对应程度，并且与提供相对较大的功率节省但与显示图像质量度量122具有相对较低的对应程度的失真类别对相比，具有相对较低的功率节省。
图4是根据本文描述的至少一个实施例描绘作为原始“V”值420的函数的变换(或失真)“V”值410的图形表示400，以提供使用失真类别对220生成的显示图像输出132。如图4中所描绘的，失真“V”值410和原始“V”值420之间的关系采取具有将失真“V”值410与原始“V”值420联系起来的第一斜率的第一线段415和具有将失真“V”值410与原始“V”值420联系起来的第二斜率的第二线段425的形式。
如图4中所描绘的，第一线段415和第二线段425相交于拐点430，该拐点的坐标为(X1,Y1)，表示像素“V”值经历失真的起始或开始位置。第一线段415起源于原点，即，在点(0,0)。第二线段终止于终点440，其坐标为(X2,Y2)，表示像素“V”值不再经历失真的终点。从而，应用于原始像素数据112的失真方案或制度可由两个值来表征，即拐点原始“V”值(X1)和第二线段425终点失真“V”值(Y2)。因此，在实施例中，失真类别对数据220可被表示为两坐标对(X1,Y2)。
如图4中所描绘的，第一线段415表示“基线”值，该值与显示设备的特定类别相关联，或者甚至在一些实施例中与特定显示设备的特性相关联。从而，第一线段的斜率可被认为表示显示设备的“基线”功率消耗。另一方面，第二线段425可被认为表示被应用到某个百分比的原始像素的失真的程度。从而，第二线段425的斜率指示由应用到原始像素的失真所提供的功率节省的程度。在实施例中，第二线段425的斜率越小，显示设备150中的功率节省就越小，相反，第二线段425的斜率越大，显示设备150中的功率节省就越大。
图5是根据本文描述的至少一个实施例描绘用于训练AI电路360的说明性训练方法500的示意图。如图5中所描绘的，使用多个失真参数520将原始图像510进行失真，以提供多个失真图像522A-522n(统称为“失真图像522”)。在实施例中，可以通过选择性地失真形成原始图像510的像素的各种百分比和/或选择性地改变应用于形成原始图像510的失真像素的失真程度来将原始图像510失真。
客观显示图像质量评估电路530接收失真图像522和原始图像510的每一者以客观地测量多个失真图像522A-522n的每一者中存在的失真水平。客观显示图像质量评估电路530生成多个显示图像质量评估度量532A-532n(统称为“显示图像质量评估度量532”)，其中每个度量对应于失真图像522A-522n中的相应一个并与之相关联。显示图像质量评估度量532A-532n中的每一者包括代表与失真图像522A-522n的每一者中存在的可客观测量的失真水平相对应的值的信息和/或数据。在实施例中，客观显示图像质量评估电路530可包括能够确定视频多方法评估融合(VMAF)视频质量度量的电路。
比较电路540接收显示图像质量评估度量532A-532n，并且将显示图像质量评估度量532A-532n的每一者与显示图像质量度量122相比较，以确定应用到原始图像510的失真是否超过显示图像质量度量122。选择电路550选择如下失真类别对220：该失真类别对提供最大的显示设备功率节省，同时维持处于或接近显示图像质量度量122的显示图像质量评估度量532。
图6是根据本文描述的至少一个实施例的说明性的基于处理器的电子设备600的示意图，该设备包括内容自适应显示功率管理系统130，来降低通信耦合的显示设备620的功率消耗。基于处理器的设备600可额外地包括以下各项中的一个或多个：处理器电路610、处理器缓存电路612、系统存储器640、功率管理电路650、非暂态存储设备140、以及网络接口670。以下论述提供了对形成说明性的基于处理器的设备600的组件的简要概括描述。示例的非限制性的基于处理器的设备600可包括但不限于：智能电话、可穿戴计算机、便携式计算设备、手持式计算设备、桌面型计算设备、服务器、刀片服务器设备、工作站，以及类似的。
在一些实施例中，内容自适应显示功率管理系统130可被完全或部分地布置在图形处理单元(GPU)或类似的结构或电路内，该结构或电路能够执行机器可读指令集并且生成能够向系统用户提供显示输出的输出信号。相关领域的技术人员将会明白，图示的实施例以及其他实施例可利用其他基于处理器的设备配置来实现，包括便携式电子或手持式电子设备(例如智能电话)、便携式计算机、可穿戴计算机、消费电子设备、个人计算机(“PC”)、网络PC、袖珍计算机、服务器刀片、大型计算机，等等。处理器电路610可包括任何数目的硬连线的或者可配置的电路，其中的一些或全部可包括部分或完全布置在PC、服务器或者能够执行机器可读指令的其他计算系统中的电子组件、半导体器件和/或逻辑元件的可编程和/或可配置的组合。
基于处理器的设备600包括总线或类似的通信链路616，其通信地耦合并且促进各种系统组件之间的信息和/或数据的交换，这些系统组件包括处理器电路610、内容自适应显示功率管理系统130、一个或多个有线I/O接口634、一个或多个无线I/O接口636、系统存储器670、一个或多个非暂态存储设备140和/或一个或多个网络接口670在内。基于处理器的设备600在本文中可用单数形式来提及，但并不打算将实施例限制到单个基于处理器的设备600，因为在某些实施例中，可以有合并、包括或包含任何数目的通信耦合、共位或远程联网的电路或设备的多于一个基于处理器的设备600。
处理器电路610可包括任何数目、类型或组合的当前可用或未来开发的能够执行机器可读指令集的设备。处理器电路610可包括但不限于任何当前或未来开发的单核或多核处理器或微处理器，例如：一个或多个片上系统(system on a chip，SOC)；中央处理单元(central processing unit，CPU)；数字信号处理器(digital signal processor，DSP)；图形处理单元(graphics processing unit，GPU)；专用集成电路(application-specificintegrated circuit，ASIC)、可编程逻辑单元、现场可编程门阵列(field programmablegate array，FPGA)，等等。除非另有描述，否则图6中所示的各种块的构造和操作是传统设计的。因此，本文中不需要进一步详细描述这种块，因为它们将被相关领域技术人员所理解。互连基于处理器的设备600的组件中的至少一些的总线616可采用任何当前可用或未来开发的串行或并行总线结构或体系结构。
系统存储器640可包括只读存储器(read-only memory，“ROM”)642和随机访问存储器(random access memory，“RAM”)646。ROM 642的一部分可用于存储或以其他方式保持基本输入/输出系统(basic input/output system，“BIOS”)644。BIOS 644向基于处理器的设备600提供基本功能，例如通过使得处理器电路510加载和/或执行一个或多个机器可读指令集614。在实施例中，一个或多个机器可读指令集中的至少一些使得处理器电路610的至少一部分提供、创建、产生、转变和/或充当专用的具体特定机器，例如字处理机器、数字图像获取机器、媒体播放机器、游戏系统、通信设备、智能电话、自主车辆控制系统，或者类似的。
基于处理器的设备600可包括至少一个无线输入/输出(I/O)接口636。至少一个无线I/O接口636可通信地耦合到一个或多个物理输出设备622(触觉设备、视频显示器、音频输出设备、硬拷贝输出设备，等等)。至少一个无线I/O接口636可通信地耦合到一个或多个物理输入设备624(指点设备、触摸屏、键盘、触觉设备，等等)。至少一个无线I/O接口636可包括任何当前可用或未来开发的无线I/O接口。示例无线I/O接口636包括但不限于：
Figure BDA0003522914470000171
近场通信(near field communication，NFC)以及类似的。
基于处理器的设备600可包括一个或多个有线输入/输出(I/O)接口634。至少一个有线I/O接口634可通信地耦合到一个或多个物理输出设备622(触觉设备、视频显示器、音频输出设备、硬拷贝输出设备，等等)。至少一个有线I/O接口634可通信地耦合到一个或多个物理输入设备624(指点设备、触摸屏、键盘、触觉设备，等等)。有线I/O接口634可包括任何当前可用或未来开发的I/O接口。示例有线I/O接口634包括但不限于：通用串行总线(universal serial bus，USB)、IEEE 1394(“FireWire”)以及类似的。
基于处理器的设备600可包括一个或多个通信耦合的非暂态数据存储设备140。数据存储设备140可包括一个或多个硬盘驱动器(hard disk drive，HDD)和/或一个或多个固态存储设备(solid-state storage device，SSD)。一个或多个数据存储设备140可包括任何当前或未来开发的存储器具、网络存储设备和/或系统。这种数据存储设备140的非限制性示例可包括但不限于任何当前或未来开发的非暂态存储器具或设备，例如一个或多个磁存储设备、一个或多个光存储设备、一个或多个电阻存储设备、一个或多个分子存储设备、一个或多个量子存储设备、或者它们的各种组合。在一些实现方式中，一个或多个数据存储设备140可包括一个或多个可移除存储设备，例如一个或多个闪速驱动器、闪速存储器、闪速存储单元、或者能够与基于处理器的设备600可通信地耦合和解除耦合的类似器具或设备。
一个或多个数据存储设备140可包括将各个存储设备或系统通信地耦合到总线616的接口或控制器(未示出)。一个或多个数据存储设备140可存储、保持或以其他方式包含对于处理器电路610有用的机器可读指令集、数据结构、程序模块、数据存储库、数据库、逻辑结构和/或其他数据和/或在处理器电路610上或者由处理器电路610执行的一个或多个应用。在一些情况中，一个或多个数据存储设备140可通信地耦合到处理器电路610，例如经由总线616或者经由一个或多个有线通信接口634(例如，通用串行总线或USB)；一个或多个无线通信接口636(例如，
Figure BDA0003522914470000181
近场通信或者NFC)；和/或一个或多个网络接口670(IEEE 802.3或者以太网、IEEE 802.11、或者
Figure BDA0003522914470000182
等等)。
基于处理器的设备600可包括控制能量存储设备652的一个或多个操作方面的功率管理电路650。在实施例中，能量存储设备652可包括一个或多个一次(即，不可再充电)或二次(即，可再充电)电池或者类似的能量存储设备。在实施例中，能量存储设备652可包括一个或多个超级电容器(supercapacitor或ultracapacitor)。在实施例中，功率管理电路650可变更、调整或控制从外部电力供应654到能量存储设备652和/或到基于处理器的设备600的能量的流动。电源654可包括但不限于太阳能发电系统、商业电网、便携式发电机、外部能量存储设备、或者它们的任何组合。
为了方便，处理器电路610、存储设备140、系统存储器640、无线I/O接口636、有线I/O接口634、功率管理电路650和网络接口670被图示为经由总线616通信地耦合到彼此，从而提供上述组件之间的连通性。在替换实施例中，上述组件可按与图6中所示不同的方式通信地耦合。例如，上述组件中的一个或多个可直接耦合到其他组件，或者可经由一个或多个中间组件(未示出)耦合到彼此。在一些实施例中，总线316的全部或一部分可被省略并且组件被利用适当的有线或无线连接来直接耦合到彼此。
图7是根据本文描述的至少一个实施例在内容自适应基础上降低显示设备150的功率消耗的说明性高级别方法700的逻辑流程图。方法700有益且有利地使用可客观测量的系统或方法来定量评估引入到原始图像数据112的失真水平，从而允许了大体上一致的失真水平并且改善了用户体验。方法700开始于702。
在704，内容自适应显示功率管理系统130接收包括代表显示图像质量度量122的数据的输入。在实施例中，显示图像质量度量122可包括代表数值视频多方法评估融合(VMAF)视频质量度量的数据。例如，显示图像质量度量122可包括代表介于0和100之间的VMAF视频质量度量的数据。在704，内容自适应显示功率管理系统130还接收原始图像数据112。原始图像数据112可包括具有任何当前或未来开发的视频格式、编码方案和/或加密方案的图像数据。例如，可以以JPEG、MPEG、MP4或HSV格式接收原始图像数据112。
在706，内容自适应显示功率管理系统130使用所接收的原始图像数据112来生成多个失真类别值对220A-220n。在实施例中，失真类别值对220A-220n中的每一者包括代表原始图像数据112中包括的将被失真的像素的百分比的信息和/或数据以及代表原始图像数据112中包括的像素的失真程度的信息和/或数据。在实施例中，失真类别值对220A-220n中的每一者具有与之相关联的相应的显示设备功率节省。
在708，内容自适应显示功率管理系统130评估失真类别值对220A-220n中的每一者。然后，内容自适应显示功率管理系统130选择提供最接近所接收的显示图像质量度量122的可客观测量的失真水平的失真类别值对220。由于失真类别值对220A-220n中的每一者代表显示设备功率节省，所以由内容自适应显示功率管理系统130选择的失真类别值对220将有益地提供显示功率节省。有利的是，通过选择提供具有最接近显示图像质量度量122的失真的显示图像的失真类别值对220，可以实现显示图像中的一致且可预测的失真水平，从而改善用户体验。
在710，内容自适应显示功率管理系统130将所选择的失真类别值对220应用到原始图像数据112以生成显示图像数据132。方法700结束于712。
图8是根据本文描述的至少一个实施例将原始图像数据112从原始数据格式转换为与内容自适应显示功率管理系统130兼容的色相/饱和度/值(HSV)格式的高级别方法800的流程图。方法800可与上文在图7中描述的方法700被结合使用。在实施例中，原始图像数据112可以在引入到人工智能电路360之前首先被转换为HSV格式。方法800开始于802。
在804，HSV转换电路310将原始图像数据112转换为HSV格式图像数据。
在806，提取电路340从HSV格式图像数据中提取“V”值。提取的“V”值被传递给直方图电路350，该直方图电路包括限定数目的(例如，64个)直方图子范围或“桶”。与每个“桶”相关联的各个值提供了多个“V”值。方法800结束于808。
图9是根据本文描述的至少一个实施例从已被转换为HSV格式原始图像数据的原始图像数据112中提取对象相关数据的高级别方法900的流程图。方法900可与上文在图7中描述的方法700和/或上文在图8中描述的方法800被结合使用。在实施例中，原始图像数据112首先被转换为HSV格式。方法900开始于902。
在904，对象检测电路320检测与HSV格式原始图像数据中的对象相对应的特征，将原始图像数据112转换为HSV格式图像数据。在实施例中，对象检测电路320可包括为使用HSV格式原始图像数据进行对象检测和/或识别而训练的卷积神经网络(CNN)。在实施例中，对象检测电路320可包括为使用HSV格式原始图像数据进行对象检测和/或识别而训练的经训练的CNN的初始层或所有层。在实施例中，对象检测电路320可包括经训练的VGG16 CNN的初始层或所有层。对象检测电路320生成代表HSV格式原始图像数据中存在的特征的数据。
在906，特征提取电路330从对象检测电路320接收代表HSV格式原始图像数据中存在的特征的数据。特征提取电路330将代表HSV格式原始图像数据中存在的特征的数据减少到限定数目的特征(例如，64个特征)以提供多个特征，这些特征被提供给AI电路360。在实施例中，特征提取电路330可以使用最大池化函数来生成多个特征。方法900结束于908。
图10是根据本文描述的至少一个实施例的说明性方法1000的流程图，该方法用于至少部分基于显示图像数据132中存在的失真和显示图像质量度量122之间的差异来确定并向多个失真类别值对220A-220n中的每一者指派各自的权重。由AI电路360生成的失真类别值对220A-220n中的每一者提供了显示设备功率节省。为了维持一致水平的显示图像失真，从而改善用户体验，可以基于显示图像数据132中存在的失真与显示图像质量度量122之间的差异，对代表与失真类别值对220A-220n中的每一者相关联的失真的值进行加权。方法1000开始于1002。
在1004，加权电路380确定各个权重值以指派给由AI电路360生成的多个失真类别值对220A-220n中的每一者。在实施例中，加权电路380可以基于显示图像数据132中存在的失真和显示图像质量度量122之间的差异来确定权重值，以使得超过高于和/或低于显示图像质量度量122的限定阈值的最终图像失真水平与在限定阈值内的那些失真水平相比被指派更小的权重值。在实施例中，加权电路380可以基于最终图像失真水平与高于和/或低于显示图像质量度量122的限定阈值的接近度来确定权重值，以使得提供更接近显示图像质量度量122的显示图像失真的失真值对220比具有与显示图像质量度量122的相对更大偏离的失真值对220的权重更高。
在1006，加权电路380将为每个失真类别值对220计算的加权因子与各个失真类别值对220相组合，以提供加权失真类别值对。方法1000结束于1008。
虽然图7、图8、图9和图10图示了根据一个或多个实施例的各种操作，但要理解，并非图7、图8、图9和图10中描绘的所有操作都是其他实施例所必要的。实际上，本文完全设想到了在本公开的其他实施例中，图7、图8、图9和图10中描绘的操作，和/或本文描述的其他操作，可被以在任何附图中都没有具体示出的方式来进行组合，但仍完全符合本公开。从而，指向一幅附图中没有确切示出的特征和/或操作的权利要求被视为在本公开的范围和内容内。
就在本申请中和权利要求中使用的而言，由术语“和/或”联接的项目的列表可意指列出的项目的任何组合。例如，短语“A、B和/或C”可意指A；B；C；A和B；A和C；B和C；或者A、B和C。就在本申请中和权利要求中使用的而言，由术语“……中的至少一者”联接的项目的列表可意指列出的术语的任何组合。例如，短语“A、B或C中的至少一者”可意指A；B；C；A和B；A和C；B和C；或者A、B和C。
就本文的任何实施例中使用的而言，术语“系统”或“模块”可以指例如被配置为执行任何上述操作的软件、固件和/或电路。软件可体现为记录在非暂态计算机可读存储介质上的软件包、代码、指令、指令集和/或数据。固件可体现为被硬编码(例如，非易失性)在存储器设备中的代码、指令或指令集和/或数据。
就本文的任何实施例中使用的而言，术语“电路”和“电路系统”可例如单独地或者以任何组合包括硬连线电路、可编程电路、诸如包括一个或多个个体指令处理核心的计算机处理器之类的可编程电路、状态机电路、和/或存储由可编程电路或未来计算范式执行的指令的固件，未来计算范式例如包括大规模并行处理、模拟或量子计算、加速器的硬件实施例(例如神经网络处理器)以及上述的非硅实现方式。电路可集体地或者个体地体现为形成更大系统的一部分的电路，例如集成电路(IC)、片上系统(SoC)、桌面型计算机、膝上型计算机、平板计算机、服务器、智能电话等等。
本文描述的任何操作可被实现在包括一个或多个介质(例如，非暂态存储介质)的系统中，所述介质中个体或组合地存储有当被一个或多个处理器执行时执行方法的指令。这里，处理器可包括例如服务器CPU、移动设备CPU、和/或其他可编程电路。另外，打算使本文描述的操作可分布在多个物理设备上，例如多于一个不同物理位置处的处理结构。存储介质可包括任何类型的有形介质，例如任何类型的盘，包括硬盘、软盘、光盘、致密盘只读存储器(compact disk read-only memory，CD-ROM)、可改写致密盘(compact diskrewritable，CD-RW)以及磁光盘，半导体器件，例如只读存储器(read-only memory，ROM)、随机访问存储器(random access memory，RAM)(比如动态和静态RAM)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、闪速存储器、固态盘(Solid State Disk，SSD)、嵌入式多媒体卡(embedded multimedia card，eMMC)、安全数字输入/输出(secure digital input/output，SDIO)卡、磁卡或光卡、或者适用于存储电子指令的任何类型的介质。其他实施例可被实现为由可编程控制设备执行的软件。
从而，本公开针对的是这样的系统和方法：这些系统和方法用于在维持一致的、可客观测量的、与手动输入或自主生成的显示图像质量度量相一致的图像失真水平的同时降低显示图像功率消耗。原始图像数据被转换为HSV格式原始图像数据。从HSV格式原始图像数据中提取“V”值，并且直方图生成多个“V”值。HSV格式原始图像数据被提供给经训练的CNN的初始层或所有层以提取多个特征。多个“V”值和多个特征被提供给经训练的AI电路以生成多个失真类别值对。每个失真类别值对基于各个失真类别值对引起的显示图像失真与显示图像质量度量的接近度而被加权。提供接近显示图像质量度量的显示图像失真的失真类别对被应用到原始图像数据以生成显示图像数据。
以下示例涉及进一步的实施例。本公开的以下示例可包括以下主题：例如，至少一种设备、一种方法、用于存储当被执行时使得机器基于该方法执行动作的指令的至少一种机器可读介质、用于基于该方法执行动作的装置和/或一种系统，用于在维持一致的、可客观测量的、与手动输入或自主生成的显示图像质量度量相一致的图像失真水平的同时降低显示图像功率消耗。
根据示例1，提供了一种内容自适应显示功率降低电路。所述内容自适应显示功率降低电路可包括：至少一个输入/输出(I/O)接口，用来：接收原始图像数据；并且接收至少一个输入，所述至少一个输入包括表明客观显示图像质量度量的数据；人工智能电路，用来生成输出，所述输出包括使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对；选择电路，用来选择所述多个失真类别值对中包括的失真类别值对之一，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及所述客观显示图像质量度量；以及图像变换电路，用来将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
示例2可包括示例1的元素，所述内容自适应显示功率降低电路可还包括：色相/饱和度/值(HSV)电路，用来接收所述原始图像数据并且使用所接收的原始图像数据来生成HSV值集合。
示例3可包括示例1和2中的任何一者的元素，所述内容自适应显示功率降低电路还包括：特征提取电路，用来基于所接收的原始图像数据中存在的特征来生成第一多个特征值。
示例4可包括示例1至3中的任何一者的元素，其中所述特征提取电路可包括卷积神经网络(CNN)。
示例5可包括示例1至4中的任何一者的元素，其中所述卷积神经网络(CNN)可包括经训练的VGG16卷积神经网络(CNN)的至少一层。
示例6可包括示例1至5中的任何一者的元素，如示例3所述的内容自适应显示功率降低电路可还包括：值提取电路，用来使用所述HSV值集合中包括的“V”值来生成第二多个特征值。
示例7可包括示例1至6中的任何一者的元素，其中提供给所述AI电路的从所接收的原始图像数据获得的数据包括：基于所接收的原始图像数据中存在的特征的所述第一多个特征值和使用所述HSV值集合中包括的“V”值的所述第二多个特征值。
示例8可包括示例1至7中的任何一者的元素，所述内容自适应显示功率降低电路可还包括：加权电路，用来：从所述AI电路接收所述多个失真类别值对；并且确定与所述多个失真类别值对中的每一者相关联的各个权重因子以生成多个加权失真类别值对。
根据示例9，提供了一种内容自适应显示功率降低方法。所述方法可包括：经由至少一个输入/输出(I/O)接口接收代表原始图像的数据和表明客观显示图像质量度量的数据；由人工智能电路生成使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对；由选择电路选择所述多个失真类别值对中包括的失真类别值对之一，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及所述客观显示图像质量度量；并且由图像变换电路将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
示例10可包括示例9的元素，并且所述方法可还包括：经由色相/饱和度/值(HSV)电路使用所接收的原始图像数据生成HSV值集合。
示例11可包括示例9或10中的任何一者的元素，并且所述方法可还包括：经由特征提取电路基于所接收的原始图像数据中存在的特征来生成第一多个特征值。
示例12可包括示例9至11中的任何一者的元素，其中基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值可还包括：经由卷积神经网络(CNN)基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值。
示例13可包括示例9至12中的任何一者的元素，其中基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值可还包括：经由经训练的VGG16卷积神经网络(CNN)的至少一层基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值。
示例14可包括示例9至13中的任何一者的元素，并且所述方法可还包括：经由值提取电路使用所述HSV值集合中包括的“V”值来生成第二多个特征值。
示例15可包括示例9至14中的任何一者的元素，其中使用从所接收的原始图像数据获得的数据来生成多个失真类别值对可还包括：使用以下各项来生成多个失真类别值对：基于所接收的原始图像数据中存在的特征的所述第一多个特征值；以及使用利用所接收的原始图像数据来确定的所述HSV值集合中包括的“V”值的所述第二多个特征值。
示例16可包括示例9至15中的任何一者的元素，并且所述方法可还包括：由加权电路从所述AI电路接收每个所述失真类别值对；并且由所述加权电路为所述多个失真类别值对中的每一者确定权重因子以生成多个加权失真类别值对。
示例17可包括示例9至16中的任何一者的元素，其中选择所述多个失真类别值对中包括的失真类别值对之一可还包括：由选择电路选择所述多个加权失真类别值对中包括的加权失真类别值对之一。
根据示例18，提供了一种非暂态存储设备，包括指令所述指令当被内容自适应显示功率降低控制电路执行时，使得所述控制电路：使得人工智能电路使用原始图像数据生成多个失真类别值对；使得选择电路选择所述多个失真类别值对中包括的失真类别值对之一，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及客观显示图像质量度量；并且使得图像变换电路将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
示例19可包括示例18的元素，其中所述指令还可使得所述控制电路：使得色相/饱和度/值(HSV)电路使用所述原始图像数据来生成HSV值集合。
示例20可包括示例18或19中的任何一者的元素，其中所述指令还可使得所述控制电路：使得特征提取电路基于所接收的原始图像数据中存在的特征来生成第一多个特征值。
示例21可包括示例18至20中的任何一者的元素，其中使得所述控制电路使得所述特征提取电路基于所述原始图像数据中存在的特征来生成所述第一多个特征值的指令还可使得所述控制电路：使得卷积神经网络(CNN)电路基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值。
示例22可包括示例18至21中的任何一者的元素，其中使得所述控制电路使得所述特征提取电路基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值的指令还可使得所述控制电路：使得经训练的VGG16卷积神经网络(CNN)电路的至少一层基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值。
示例23可包括示例18至22中的任何一者的元素，其中所述指令还可使得所述控制电路：使得值提取电路使用所述HSV值集合中包括的“V”值来生成第二多个特征值。
示例24可包括示例18至23中的任何一者的元素，其中使得所述控制电路使得人工智能电路使用原始图像数据和表明容许图像失真值的数据来生成多个失真类别值对的指令还可使得所述控制电路：使得所述人工智能电路经由至少一个输入/输出(I/O)接口接收基于所接收的原始图像数据中存在的特征的所述第一多个特征值；以及使用所述HSV值集合中包括的“V”值的所述第二多个特征值。
示例25可包括示例18至24中的任何一者的元素，其中所述指令还可使得所述控制电路：使得加权电路为所述多个失真类别值对中的每一者确定权重因子以生成多个加权失真类别值对。
示例26可包括示例18至25中的任何一者的元素，其中使得所述控制电路使得选择电路选择所述多个失真类别值对中包括的失真类别值对之一的指令还可使得所述控制电路：使得选择电路选择所述多个加权失真类别值对中包括的加权失真类别值对之一；并且
根据示例27，提供了一种内容自适应显示功率降低系统。所述系统可包括：用于接收代表原始图像的数据和表明容许图像失真值的数据的装置；用于生成使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对的装置；用于选择所述多个失真类别值对中包括的失真类别值对之一的装置，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及所述客观显示图像质量度量；以及用于将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据的装置。
示例28可包括示例27的元素，并且所述系统可还包括：用于使用所接收的原始图像数据来生成HSV值集合的装置。
示例29可包括示例27或28中的任何一者的元素，并且所述系统可还包括：用于基于所接收的原始图像数据中存在的特征来生成第一多个特征值的装置。
示例30可包括示例27至29中的任何一者的元素，其中用于基于所接收的原始图像数据中存在的特征来生成第一多个特征值的装置可还包括：卷积神经网络(CNN)装置，用于基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值。
示例31可包括示例27至30中的任何一者的元素，其中用于基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值的所述卷积神经网络(CNN)装置可还包括：经训练的VGG16卷积神经网络(CNN)装置的至少一层，用于基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值。
示例32可包括示例27至31中的任何一者的元素，并且所述系统可还包括：用于使用所述HSV值集合中包括的“V”值来生成第二多个特征值的装置。
示例33可包括示例27至32中的任何一者的元素，其中所述用于使用从所接收的原始图像数据获得的数据来生成所述多个失真类别值对的装置可还包括：用于使用以下各项来生成多个失真类别值对的装置：基于所接收的原始图像数据中存在的特征的所述第一多个特征值；以及使用利用所接收的原始图像数据来确定的所述HSV值集合中包括的“V”值的所述第二多个特征值。
示例34可包括示例27至33中的任何一者的元素，并且所述系统可还包括：用于从所述AI电路接收每个所述失真类别值对的装置；以及用于为所述多个失真类别值对中的每一者确定权重因子以生成多个加权失真类别值对的装置。
示例35可包括示例27至34中的任何一者的元素，其中所述用于选择所述多个失真类别值对中包括的失真类别值对之一的装置可还包括：用于选择所述多个加权失真类别值对中包括的加权失真类别值对之一的装置。
根据示例36，提供了一种电子设备。所述电子设备可包括：处理器电路；至少一个显示设备；以及与所述处理器电路和所述显示设备耦合的内容自适应显示功率降低电路，所述内容自适应显示功率降低电路包括：至少一个输入/输出(I/O)接口，用来：接收原始图像数据；并且接收至少一个输入，所述至少一个输入包括表明客观视频质量度量的数据；人工智能电路，用来生成输出，所述输出包括使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对；选择电路，用来选择所述多个失真类别值对中包括的失真类别值对之一，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及所述客观显示图像质量度量；以及图像变换电路，用来将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
示例37可包括示例36的元素，并且所述设备可还包括：色相/饱和度/值(HSV)电路，用来接收所述原始图像数据并且使用所接收的原始图像数据来生成HSV值集合。
示例38可包括示例36或37中的任何一者的元素，并且所述电子设备可还包括：特征提取电路，用来基于所接收的原始图像数据中存在的特征来生成第一多个特征值。
示例39可包括示例36至38中的任何一者的元素，其中所述特征提取电路包括卷积神经网络(CNN)。
示例40可包括示例36至39中的任何一者的元素，其中所述卷积神经网络(CNN)包括经训练的VGG16卷积神经网络(CNN)的至少一层。
示例41可包括示例36至40中的任何一者的元素，并且所述电子设备可还包括：值提取电路，用来使用所述HSV值集合中包括的“V”值来生成第二多个特征值。
示例42可包括示例36至41中的任何一者的元素，其中提供给所述AI电路的从所接收的原始图像数据获得的数据可包括：基于所接收的原始图像数据中存在的特征的所述第一多个特征值和使用所述HSV值集合中包括的“V”值的所述第二多个特征值。
示例43可包括示例36至42中的任何一者的元素，并且所述电子设备可还包括：加权电路，用来：从所述AI电路接收每个所述失真类别值对；并且为所述多个失真类别值对中的每一者确定权重因子以生成多个加权失真类别值对。
根据示例44，提供了一种系统，用于降低显示设备的功率消耗，同时维持可客观测量的图像失真水平，所述系统被布置为执行如示例9至17中的任何一者所述的方法。
根据示例45，提供了一种芯片集，其被布置为执行如示例9至17中的任何一者所述的方法。
根据示例46，提供了一种非暂态机器可读介质，包括多个指令，所述多个指令响应于在计算设备上被执行，使得所述计算设备执行根据示例9至17中的任何一者所述的方法。
根据示例47，提供了一种设备，其被配置用于降低显示设备的功率消耗，同时维持可客观测量的图像失真水平，所述设备被布置为执行如示例9至17中的任何一者所述的方法。
本文采用的术语和表述被用作描述而非限制的术语，并且在使用这种术语和表达时并不打算排除所示出和描述的特征(或其一些部分)的任何等同物，并且认识到，在权利要求的范围内的各种修改是可能的。因此，权利要求打算覆盖所有这种等同物。本文已描述了各种特征、方面和实施例。正如本领域技术人员将会理解的，这些特征、方面和实施例容许与彼此组合并且容许变化和修改。因此，本公开应当被认为涵盖了这种组合、变化和修改。
如本文所描述，可利用硬件元素、软件元素或者其任何组合来实现各种实施例。硬件元素的示例可包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器，等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。
本说明书中各处提及“一个实施例”或“一实施例”的意思是联系该实施例描述的特定特征、结构或特性被包括在至少一个实施例中。从而，短语“在一个实施例中”或“在一实施例中”在本说明书各处的出现不一定全都指的是同一实施例。此外，特定的特征、结构或特性在一个或多个实施例中可按任何适当的方式被组合。

Claims (25)

1.一种内容自适应显示功率降低电路，包括：
至少一个输入/输出(I/O)接口，用来：
接收原始图像数据；并且
接收至少一个输入，所述至少一个输入包括表明客观显示图像质量度量的数据；
人工智能电路，用来生成输出，所述输出包括使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对；
选择电路，用来选择所述多个失真类别值对中包括的失真类别值对之一，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及所述客观显示图像质量度量；以及
图像变换电路，用来将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
2.如权利要求1所述的内容自适应显示功率降低电路，还包括：
色相/饱和度/值(HSV)电路，用来接收所述原始图像数据并且使用所接收的原始图像数据来生成HSV值集合。
3.如权利要求2所述的内容自适应显示功率降低电路，还包括：
特征提取电路，用来基于所接收的原始图像数据中存在的特征来生成第一多个特征值。
4.如权利要求3所述的内容自适应显示功率降低电路，其中，所述特征提取电路包括卷积神经网络(CNN)。
5.如权利要求4所述的内容自适应显示功率降低电路，其中，所述卷积神经网络(CNN)包括经训练的VGG16卷积神经网络(CNN)的至少一层。
6.如权利要求3所述的内容自适应显示功率降低电路，还包括：
值提取电路，用来使用所述HSV值集合中包括的“V”值来生成第二多个特征值。
7.如权利要求6所述的内容自适应显示功率降低电路，其中，提供给所述人工智能电路的从所接收的原始图像数据获得的数据包括：
基于所接收的原始图像数据中存在的特征的所述第一多个特征值和使用所述HSV值集合中包括的“V”值的所述第二多个特征值。
8.如权利要求1到7中的任何一项所述的内容自适应显示功率降低电路，还包括：
加权电路，用来：
从所述人工智能电路接收所述多个失真类别值对；并且
确定与所述多个失真类别值对中的每一者相关联的各个权重因子以生成多个加权失真类别值对。
9.一种内容自适应显示功率降低方法，包括：
经由至少一个输入/输出(I/O)接口接收代表原始图像的数据和表明客观显示图像质量度量的数据；
由人工智能电路生成使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对；
由选择电路选择所述多个失真类别值对中包括的失真类别值对之一，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及所述客观显示图像质量度量；并且
由图像变换电路将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
10.如权利要求9所述的内容自适应显示功率降低方法，还包括：
经由色相/饱和度/值(HSV)电路使用所接收的原始图像数据来生成HSV值集合。
11.如权利要求10所述的内容自适应显示功率降低方法，还包括：
经由特征提取电路基于所接收的原始图像数据中存在的特征来生成第一多个特征值。
12.如权利要求11所述的内容自适应显示功率降低方法，其中，基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值还包括：
经由卷积神经网络(CNN)基于所接收的原始图像数据中存在的特征来生成所述第一多个特征值。
13.一种非暂态存储设备，包括指令，所述指令当被内容自适应显示功率降低控制电路执行时，使得所述控制电路：
使得人工智能电路使用原始图像数据来生成多个失真类别值对；
使得选择电路选择所述多个失真类别值对中包括的失真类别值对之一，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及客观显示图像质量度量；并且
使得图像变换电路将所选择的失真类别值对应用到所述原始图像数据以生成显示图像数据。
14.如权利要求13所述的非暂态存储设备，其中，所述指令还使得所述控制电路：
使得色相/饱和度/值(HSV)电路使用所述原始图像数据来生成HSV值集合。
15.如权利要求14所述的非暂态存储设备，其中，所述指令还使得所述控制电路：
使得特征提取电路基于所述原始图像数据中存在的特征来生成第一多个特征值。
16.如权利要求15所述的非暂态存储设备，其中，使得所述控制电路使得所述特征提取电路基于所述原始图像数据中存在的特征来生成所述第一多个特征值的指令还使得所述控制电路：
使得卷积神经网络(CNN)电路基于所述原始图像数据中存在的特征来生成所述第一多个特征值。
17.一种内容自适应显示功率降低系统，包括：
用于接收代表原始图像的数据和表明容许图像失真值的数据的装置；
用于生成使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对的装置；
用于选择所述多个失真类别值对中包括的失真类别值对之一的装置，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及客观显示图像质量度量；以及
用于将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据的装置。
18.如权利要求17所述的内容自适应显示功率降低系统，还包括：
用于基于所接收的原始图像数据中存在的特征来生成第一多个特征值的装置。
19.如权利要求18所述的内容自适应显示功率降低系统，还包括：
用于使用HSV值集合中包括的“V”值来生成第二多个特征值的装置。
20.如权利要求18所述的内容自适应显示功率降低系统，其中，用于使用从所接收的原始图像数据获得的数据来生成所述多个失真类别值对的装置可还包括：
用于使用以下各项来生成多个失真类别值对的装置：
基于所接收的原始图像数据中存在的特征的所述第一多个特征值；以及
使用HSV值集合中包括的“V”值的第二多个特征值，所述HSV值集合是使用所接收的原始图像数据确定的。
21.一种电子设备，包括：
处理器电路；
至少一个显示设备；以及
与所述处理器电路和所述显示设备耦合的内容自适应显示功率降低电路，所述内容自适应显示功率降低电路包括：
至少一个输入/输出(I/O)接口，用来：
接收原始图像数据；并且
接收至少一个输入，所述至少一个输入包括表明客观视频质量度量的数据；
人工智能电路，用来生成输出，所述输出包括使用从所接收的原始图像数据获得的数据来确定的多个失真类别值对；
选择电路，用来选择所述多个失真类别值对中包括的失真类别值对之一，所述选择基于通过应用所述多个失真类别值对中的每一者而引入到所述原始图像数据的各个失真水平以及所述客观显示图像质量度量；以及
图像变换电路，用来将所选择的失真类别值对应用到所接收的原始图像数据以生成显示图像数据。
22.如权利要求21所述的电子设备，还包括：
特征提取电路，用来基于所接收的原始图像数据中存在的特征来生成第一多个特征值。
23.如权利要求22所述的电子设备，还包括：
值提取电路，用来使用HSV值集合中包括的“V”值来生成第二多个特征值。
24.如权利要求23所述的电子设备，其中，提供给所述人工智能电路的从所接收的原始图像数据获得的数据包括：
基于所接收的原始图像数据中存在的特征的所述第一多个特征值和使用所述HSV值集合中包括的“V”值的所述第二多个特征值。
25.如权利要求21到24中的任何一项所述的电子设备，还包括：
加权电路，用来：
从所述人工智能电路接收每个所述失真类别值对；并且
为所述多个失真类别值对中的每一者确定权重因子以生成多个加权失真类别值对。
CN202080061031.1A 2019-10-04 2020-10-02 内容自适应显示功率节省系统和方法 Pending CN114375472A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/593,849 2019-10-04
US16/593,849 US10877540B2 (en) 2019-10-04 2019-10-04 Content adaptive display power savings systems and methods
PCT/US2020/053998 WO2021067743A1 (en) 2019-10-04 2020-10-02 Content adaptive display power savings systems and methods

Publications (1)

Publication Number Publication Date
CN114375472A true CN114375472A (zh) 2022-04-19

Family

ID=69179225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080061031.1A Pending CN114375472A (zh) 2019-10-04 2020-10-02 内容自适应显示功率节省系统和方法

Country Status (4)

Country Link
US (2) US10877540B2 (zh)
CN (1) CN114375472A (zh)
DE (1) DE112020003776T5 (zh)
WO (1) WO2021067743A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7075012B2 (ja) * 2018-09-05 2022-05-25 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10877540B2 (en) * 2019-10-04 2020-12-29 Intel Corporation Content adaptive display power savings systems and methods
TWI768364B (zh) * 2020-06-01 2022-06-21 宏碁股份有限公司 處理可播放於一虛擬裝置的圖片的方法及電子裝置
US11978220B2 (en) * 2020-06-26 2024-05-07 Objectvideo Labs, Llc Object tracking with feature descriptors

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4779995B2 (ja) * 2007-02-28 2011-09-28 ソニー株式会社 画像表示装置及び電子機器
US9418398B2 (en) * 2014-06-12 2016-08-16 Samsung Electronics Co., Ltd. Low power subpixel rendering on RGBW display
US9805662B2 (en) * 2015-03-23 2017-10-31 Intel Corporation Content adaptive backlight power saving technology
US9741107B2 (en) * 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network
WO2016205732A2 (en) * 2015-06-19 2016-12-22 Apple Inc. Measurement denoising
US9648569B2 (en) * 2015-07-25 2017-05-09 Cisco Technology, Inc. System and method to facilitate small cell uplink power control in a network environment
US9860852B2 (en) * 2015-07-25 2018-01-02 Cisco Technology, Inc. System and method to facilitate small cell uplink power control in a network environment
JP6933139B2 (ja) * 2015-11-04 2021-09-08 日本電気株式会社 受信信号処理装置および受信信号処理方法
US11509918B2 (en) * 2017-01-26 2022-11-22 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, and electronic device
US10740448B2 (en) * 2018-06-26 2020-08-11 Callsign Inc. Verification request authentication machine
US10853459B2 (en) * 2018-06-26 2020-12-01 Callsign Inc. Verification request authentication machine
US20200012924A1 (en) * 2018-07-03 2020-01-09 Sandisk Technologies Llc Pipelining to improve neural network inference accuracy
US10911083B2 (en) * 2018-09-24 2021-02-02 Viettel Group Method of adjusting and controlling the receiver power adaptation according to the transmission environment in eNodeB LTE system
US20200202213A1 (en) * 2018-12-19 2020-06-25 Microsoft Technology Licensing, Llc Scaled learning for training dnn
US11783917B2 (en) * 2019-03-21 2023-10-10 Illumina, Inc. Artificial intelligence-based base calling
MX2022003020A (es) * 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
US10877540B2 (en) * 2019-10-04 2020-12-29 Intel Corporation Content adaptive display power savings systems and methods
KR20210058404A (ko) * 2019-11-14 2021-05-24 엘지전자 주식회사 이미지 처리방법 및 처리장치
KR20210087249A (ko) * 2020-01-02 2021-07-12 엘지전자 주식회사 촬영장치 및 그 제어방법
US20210149465A1 (en) * 2020-12-23 2021-05-20 Intel Corporation Thermal management systems for electronic devices and related methods

Also Published As

Publication number Publication date
DE112020003776T5 (de) 2022-05-05
US20200033930A1 (en) 2020-01-30
US11231762B2 (en) 2022-01-25
WO2021067743A1 (en) 2021-04-08
US10877540B2 (en) 2020-12-29
US20210191489A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US11231762B2 (en) Content adaptive display power savings systems and methods
US10417995B2 (en) Methods and systems of reducing power consumption of display panels
US11663986B2 (en) Power saving display having improved image quality
US11351463B2 (en) System, method, and computer program product for simultaneously determining settings for a plurality of parameter variations
Lin et al. Catch your attention: Quality-retaining power saving on mobile OLED displays
TWI604424B (zh) 用於控制有機發光二極體顯示器之操作的方法及裝置
Lee et al. Power-constrained contrast enhancement for OLED displays based on histogram equalization
CN104216502B (zh) 一种具有前瞻属性的SoC动态电压频率调节方法
KR20150055503A (ko) 저전력 디스플레이를 위한 적응적 이미지 보상 방법 및 그 장치
US10186232B2 (en) Nonlinear signal scaling for display device power saving
CN104252699B (zh) Rgbw动态色彩保真度控制
US11289006B2 (en) Systems and methods of reducing display power consumption with minimal effect on image quality
Lin et al. CURA: A framework for quality-retaining power saving on mobile OLED displays
WO2020249066A1 (zh) 一种电压调整方法和电子设备
Pagliari et al. LAPSE: Low-overhead adaptive power saving and contrast enhancement for OLEDs
WO2021169945A1 (en) Method and device for picture generation, electronic device, and storage medium
Asnani et al. Producing green computing images to optimize power consumption in OLED-based displays
Lin et al. Quality-enhanced OLED power savings on mobile devices
Qiang et al. A low-power contrast enhancement algorithm using histogram segmentation and circuit implementation for AMOLED applications
TWI824881B (zh) 基於多伽馬曲線的圖像增強電路、顯示驅動晶片、平面顯示裝置及資訊處理裝置
US20220092363A1 (en) Information processing apparatus and non-transitory computer readable medium
KR102309676B1 (ko) 사용자 적응 이미지 보상기
WO2023177398A1 (en) Power saving features enablements
Liu et al. A log-function power-constrained algorithm for OLED displays
Shen et al. Visual enhancement via reinforcement parameter learning for low backlighted display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination