CN116998145A - 用于基于显著性的帧颜色增强的方法和装置 - Google Patents

Abstract

本公开涉及用于显示处理的方法和设备，包括装置(例如，DPU)。该装置可检测以下至少一者：多个帧中的相继帧之间的场景改变或该多个帧中的阈值数目个收到帧。该装置还可基于第一帧的下采样图像来生成显著性图、对象分段图或深度图中的至少一者。该装置还可将用于与该多个帧相关联的颜色空间的CMF应用于该多个帧中的一个或多个后续帧中的多个像素，该CMF被应用直到以下至少一者：后续场景改变或后续阈值数目个收到帧。

Description

用于基于显著性的帧颜色增强的方法和装置

技术领域

本公开一般涉及处理系统，并且尤其涉及用于显示或图像处理的一种或多种技术。

引言

计算设备通常执行图形和/或显示处理(例如，利用图形处理单元(GPU)、中央处理单元(CPU)、显示处理器等)来渲染和显示可视内容。此类计算设备可包括例如计算机工作站、移动电话(诸如智能电话)、嵌入式系统、个人计算机、平板计算机和视频游戏控制台。GPU被配置成执行图形处理流水线，该图形处理流水线包括一个或多个处理级，这些处理级一起操作以执行图形处理命令并输出帧。中央处理单元(CPU)可以通过向GPU发出一个或多个图形处理命令来控制该GPU的操作。现代CPU通常能够并发地执行多个应用，每个应用可能需要在执行期间利用GPU。显示处理器被配置成将从CPU接收的数字信息转换成模拟值，并且可以向显示面板发出命令以显示可视内容。提供用于在显示器上可视呈现的内容的设备可以利用GPU和/或显示处理器。

设备的GPU可被配置成执行图形处理流水线中的过程。此外，显示处理器或显示处理单元(DPU)可被配置成执行显示处理的过程。然而，随着无线通信和较小手持设备的出现，对改进的图形或显示处理的需求越来越大。

概述

以下给出了一个或多个方面的简要概述以提供对此类方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一目的是以简化形式给出一个或多个方面的一些概念以作为稍后给出的更详细描述之序言。

在本公开的一方面，提供了一种方法、计算机可读介质和装置。该装置可以是显示处理单元(DPU)，或者是可以执行显示或图像处理的任何装置。该装置可检测以下至少一者：多个帧中的相继帧之间的场景改变或该多个帧中的阈值数目个收到帧，该多个帧中的每个帧包括多个像素，该述多个帧中的第一帧对应于相继帧之间的该场景改变或该阈值数目个收到帧。该装置还可对第一帧的图像进行下采样以产生第一帧的下采样图像，其中该下采样图像是在检测到以下至少一者之际产生的：相继帧之间的该场景改变或该阈值数目个收到帧。该装置还可基于第一帧的下采样图像来生成显著性图或深度图中的至少一者，第一帧包括多个第一像素并且该下采样图像包括多个下采样像素。此外，该装置可将用于与该多个帧相关联的颜色空间的颜色映射函数(CMF)应用于该多个帧中的一个或多个后续帧中的该多个像素，该CMF被应用直到以下至少一者：该多个帧中的后续场景改变或该多个帧中的后续阈值数目个收到帧。该装置还可调整一个或多个低显著性颜色、一个或多个高显著性颜色或该多个下采样像素的深度信息中的至少一者，其中该深度信息对应于包括深度范围内的深度的该一个或多个颜色或者包括深度范围外的深度的该一个或多个颜色。

在附图和以下描述中阐述了本公开的一个或多个示例的细节。本公开的其他特征、对象、以及优点将可从该描述和附图、以及权利要求书中变得明白。

附图说明

图1是解说根据本公开的一种或多种技术的示例内容生成系统的框图。

图2是根据本公开的一种或多种技术的示例GPU。

图3是根据本公开的一种或多种技术的用于显示或图像处理的组件的示图。

图4是根据本公开的一种或多种技术的示例显著性图。

图5是根据本公开的一种或多种技术的用于颜色变换过程的组件的示图。

图6是解说根据本公开的一种或多种技术的GPU/CPU、DPU和显示器之间的示例通信的通信流程图。

图7是根据本公开的一种或多种技术的显示处理的示例方法的流程图。

详细描述

显示处理的一些方面利用数种视觉化技术来计算图像(例如，显著性图)。显著性图利用图像中的显著性的概念，其中显著性可以指在显示处理的上下文中图像或帧的数个特征(例如，像素、分辨率等)。前述特征可以描绘图像或帧中视觉上诱人的位置，即，“显著”位置。显著性图是图像或帧中的这些视觉上诱人或显著的位置的拓扑表示。例如，与图像的背景相比，显著性图可以有助于突出显示图像的前景。摄影图像可以准确地描绘图像中的对象和场景的精确颜色。然而，摄影图像可能无法容易地描绘图像内的对象深度或图像内视觉上诱人的位置的深度。作为对比，某些绘画技术可以基于空中透视或大气透视(其指的是从远处观看时大气对对象外观的影响)来描绘图像中的深度。例如，随着图像中的对象与观看者之间的距离增大，对象与其背景之间的对比度减小，并且对象内的任何标记或细节的对比度也减小。为了描绘图像中的这种空中或大气透视，远处对象可以用较冷颜色(即，带蓝色色调的颜色)来描绘，而较近的对象可以用较暖颜色(即，带红色色调的颜色)来描绘。此外，当利用空中或大气透视时，图像内的对象的颜色也可能变得不那么饱和并且向背景颜色偏移，背景颜色可能对应于颜色中的蓝色色调。然而，图像中可能存在将受益于创建深度错觉的其他对象或颜色。本公开的各方面可以检测某些图像(例如，摄影图像)内感兴趣的区域，并通过创建深度错觉来使这些感兴趣的区域成为焦点。例如，本公开的各方面可以经由空中透视或大气透视来创建图像中感兴趣的区域的深度错觉。此外，本公开的各方面可以基于像素的显著性信息(诸如经由显著性图)来自适应地调整图像内的像素颜色。通过这样做，本公开的各方面可以生成图像内的大气或空中透视。附加地，本公开的各方面可以减小图像的背景中的颜色饱和度并且增大图像的前景中的颜色饱和度。

以下参照附图更全面地描述系统、装置、计算机程序产品和方法的各种方面。然而，本公开可用许多不同形式来实施并且不应解释为被限于本公开通篇给出的任何具体结构或功能。确切而言，提供这些方面是为了使本公开将是透彻和完整的，并且其将向本领域技术人员完全传达本公开的范围。基于本文中的教导，本领域技术人员应领会到，本公开的范围旨在覆盖本文中公开的系统、装置、计算机程序产品以及方法的任何方面，不论其是独立实现的还是与本公开的其他方面组合实现的。例如，可使用本文中所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各个方面的补充或者另外的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。本文中所公开的任何方面可由权利要求的一个或多个元素来实施。

尽管本文描述了各种方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了本公开的各方面的一些潜在益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。确切而言，本公开的各方面旨在宽泛地适用于不同的无线技术、系统配置、网络、和传输协议，其中一些藉由示例在附图和以下描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。

参考各种装置和方法给出若干方面。这些装置和方法在以下详细描述中进行描述并在附图中由各种框、组件、电路、过程、算法等(统称为“元素”)来解说。这些元素可使用电子硬件、计算机软件、或其任何组合来实现。此类元素是实现成硬件还是软件取决于具体应用和加诸于整体系统上的设计约束。

作为示例，元素、或元素的任何部分、或者元素的任何组合可被实现为包括一个或多个处理器(其还可被称为处理单元)的“处理系统”。处理器的示例包括：微处理器、微控制器、图形处理单元(GPU)、通用GPU(GPGPU)、中央处理单元(CPU)、应用处理器、数字信号处理器(DSP)、精简指令集计算(RISC)处理器、片上系统(SoC)、基带处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立的硬件电路以及其他配置成执行本公开中通篇描述的各种功能性的其他合适硬件。处理系统中的一个或多个处理器可以执行软件。软件可被宽泛地解释成意为指令、指令集、代码、代码段、程序代码、程序、子程序、软件组件、应用、软件应用、软件包、例程、子例程、对象、可执行件、执行的线程、规程、函数等，无论其是用软件、固件、中间件、微代码、硬件描述语言、还是其他术语来述及皆是如此。术语应用可以指软件。如本文所描述的，一种或多种技术可以指被配置成执行一个或多个功能的应用，即软件。在此类示例中，应用可被存储在存储器(例如，处理器的片上存储器、系统存储器或任何其他存储器)上。本文所描述的硬件(诸如处理器)可以被配置成执行应用。例如，应用可以被描述为包括代码，该代码在由硬件执行时使该硬件执行本文所描述的一种或多种技术。作为示例，硬件可以从存储器访问代码并执行从存储器访问的代码，以执行本文所描述的一种或多种技术。在一些示例中，在本公开中标识各组件。在此类示例中，各组件可以是硬件、软件或其组合。各组件可以是单独的组件或单个组件的子组件。

相应地，在本文所描述的一个或多个示例中，所描述的功能可以在硬件、软件、或其任何组合中实现。如果在软件中实现，则各功能可作为一条或多条指令或代码存储或编码在计算机可读介质上。计算机可读介质包括计算机存储介质。存储介质可以是可由计算机访问的任何可用介质。作为示例而非限制，此类计算机可读介质可包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、光盘存储、磁盘存储、其他磁性存储设备、上述类型的计算机可读介质的组合、或能够被用于存储可被计算机访问的指令或数据结构形式的计算机可执行代码的任何其他介质。

一般而言，本公开描述了用于在单个设备或多个设备中具有图形处理流水线、改进图形内容的渲染和/或减少处理单元(即，被配置成执行本文所描述的一种或多种技术的任何处理单元，诸如GPU)的负载的技术。例如，本公开描述了用于在利用图形处理的任何设备中进行图形处理的技术。贯穿本公开描述了其他示例益处。

如本文所使用的，术语“内容”的实例可以指代“图形内容”、“图像”，反之亦然。不管这些术语是用作形容词、名词还是其他词类，都是如此。在一些示例中，如本文所使用的，术语“图形内容”可以指由图形处理流水线的一个或多个过程产生的内容。在一些示例中，如本文所使用的，术语“图形内容”可以指由被配置成执行图形处理的处理单元产生的内容。在一些示例中，如本文所使用的，术语“图形内容”可以指由图形处理单元产生的内容。

在一些示例中，如本文所使用的，术语“显示内容”可以指由被配置成执行显示处理的处理单元生成的内容。在一些示例中，如本文所使用的，术语“显示内容”可以指由显示处理单元生成的内容。图形内容可以被处理以成为显示内容。例如，图形处理单元可以将图形内容(诸如帧)输出到缓冲器(其可以被称为帧缓冲器)。显示处理单元可以从缓冲器读取图形内容(诸如一个或多个帧)，并在其上执行一个或多个显示处理技术以生成显示内容。例如，显示处理单元可以被配置成在一个或多个渲染层上执行合成以生成帧。作为另一示例，显示处理单元可以被配置成将两个或更多个层一起合成、混合或以其他方式组合成单个帧。显示处理单元可被配置成对帧执行缩放，例如，放大或缩小。在一些示例中，帧可以指层。在其他示例中，帧可以指已经被混合在一起以形成该帧的两个或更多个层，即，该帧包括两个或更多个层，并且包括两个或更多个层的该帧可以随后被混合。

图1是解说被配置成实现本公开的一种或多种技术的示例内容生成系统100的框图。内容生成系统100包括设备104。设备104可包括用于执行本文所描述的各种功能的一个或多个组件或电路。在一些示例中，设备104的一个或多个组件可以是SOC的各组件。设备104可包括被配置成执行本公开的一种或多种技术的一个或多个组件。在所示的示例中，设备104可包括处理单元120、内容编码器/解码器122和系统存储器124。在一些方面，设备104可包括数个可任选组件，例如，通信接口126、收发机132、接收机128、发射机130、显示处理器127和一个或多个显示器131。对显示器131的引用可以指一个或多个显示器131。例如，显示器131可包括单个显示器或多个显示器。显示器131可包括第一显示器和第二显示器。第一显示器可以是左眼显示器，而第二显示器可以是右眼显示器。在一些示例中，第一和第二显示器可以接收用于在其上呈现的不同帧。在其他示例中，第一和第二显示器可以接收用于在其上呈现的相同帧。在进一步的示例中，图形处理的结果可以不在设备上显示，例如，第一和第二显示器可以不接收用于在其上呈现的任何帧。相反，帧或图形处理结果可以被传递到另一设备。在一些方面，这可以被称为分割渲染。

处理单元120可包括内部存储器121。处理单元120可被配置成执行图形处理(诸如在图形处理流水线107中)。内容编码器/解码器122可包括内部存储器123。在一些示例中，设备104可包括显示处理器(诸如显示处理器127)，以对在由一个或多个显示器131呈现之前由处理单元120生成的一个或多个帧执行一个或多个显示处理技术。显示处理器127可被配置成执行显示处理。例如，显示处理器127可被配置成对由处理单元120生成的一个或多个帧执行一个或多个显示处理技术。该一个或多个显示器131可被配置成显示或以其他方式呈现由显示处理器127处理的帧。在一些示例中，该一个或多个显示器131可包括以下各项中的一者或多者：液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、投影显示设备、增强现实显示设备、虚拟现实显示设备、头戴式显示器或任何其他类型的显示设备。

处理单元120和内容编码器/解码器122外部的存储器(诸如系统存储器124)可以被处理单元120和内容编码器/解码器122访问。例如，处理单元120和内容编码器/解码器122可以被配置成从外部存储器(诸如系统存储器124)读取和/或写入外部存储器。处理单元120和内容编码器/解码器122可以通过总线通信地耦合到系统存储器124。在一些示例中，处理单元120和内容编码器/解码器122可以通过总线或不同的连接彼此通信地耦合。

内容编码器/解码器122可被配置成从任何源(诸如系统存储器124和/或通信接口126)接收图形内容。系统存储器124可被配置成存储接收到的经编码或经解码的图形内容。内容编码器/解码器122可被配置成以经编码像素数据的形式例如从系统存储器124和/或通信接口126接收经编码的或经解码的图形内容。内容编码器/解码器122可被配置成对任何图形内容进行编码或解码。

内部存储器121或系统存储器124可包括一个或多个易失性或非易失性存储器或存储设备。在一些示例中，内部存储器121或系统存储器124可包括RAM、SRAM、DRAM、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁性数据介质或光学存储介质或任何其他类型的存储器。

根据一些示例，内部存储器121或系统存储器124可以是非瞬态存储介质。术语“非瞬态”可指示存储介质未被实施在载波或传播信号中。然而，术语“非瞬态”不应被解释为意味着内部存储器121或系统存储器124是不可移动的或者其内容是静态的。作为一个示例，系统存储器124可以从设备104移除并移动到另一设备。作为另一示例，系统存储器124可能不可从设备104移除。

处理单元120可以是中央处理单元(CPU)、图形处理单元(GPU)、通用GPU(GPGPU)或可被配置成执行图形处理的任何其他处理单元。在一些示例中，处理单元120可被集成到设备104的主板中。在一些示例中，处理单元120可以存在于安装在设备104的主板中的端口中的图形卡上，或者可以以其他方式纳入被配置成与设备104互操作的外围设备中。处理单元120可包括一个或多个处理器，诸如一个或多个微处理器、GPU、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、算术逻辑单元(ALU)、数字信号处理器(DSP)、离散逻辑、软件、硬件、固件、其他等效的集成或离散逻辑电路系统或其任何组合。如果这些技术部分地在软件中实现，则处理单元120可将软件指令存储在合适的、非瞬态计算机可读存储介质(例如，内部存储器121)中，并且可使用一个或多个处理器来在硬件中执行这些指令以执行本公开的技术。前述任何一种(包括硬件、软件、硬件和软件的组合等)可以被认为是一个或多个处理器。

内容编码器/解码器122可以是被配置成执行内容解码的任何处理单元。在一些示例中，内容编码器/解码器122可以被集成到设备104的主板中。内容编码器/解码器122可包括一个或多个处理器，诸如一个或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、算术逻辑单元(ALU)、数字信号处理器(DSP)、视频处理器、离散逻辑、软件、硬件、固件、其他等效的集成或离散逻辑电路系统或其任何组合。如果这些技术部分地在软件中实现，则内容编码器/解码器122可将软件指令存储在合适的、非瞬态计算机可读存储介质(例如，内部存储器123)中，并且可使用一个或多个处理器来在硬件中执行这些指令以执行本公开的技术。前述任何一种(包括硬件、软件、硬件和软件的组合等)可以被认为是一个或多个处理器。

在一些方面，内容生成系统100可包括可任选的通信接口126。通信接口126可包括接收机128和发射机130。接收机128可被配置成执行本文中关于设备104描述的任何接收方功能。附加地，接收机128可被配置成从另一设备接收信息，例如，眼睛或头部位置信息、渲染命令或位置信息。发射机130可被配置成执行本文中关于设备104描述的任何传送方功能。例如，发射机130可被配置成向另一设备传送信息，该信息可包括对内容的请求。接收机128和发射机130可被组合成收发机132。在此类示例中，收发机132可被配置成执行本文中关于设备104描述的任何接收方功能和/或传送方功能。

再次参照图1，在某些方面，显示处理器127可包括确定组件198，其被配置成检测以下至少一者：多个帧中的相继帧之间的场景改变、或该多个帧中的阈值数目个收到帧，该多个帧中的每一者包括多个像素，该多个帧中的第一帧对应于相继帧之间的场景改变或该阈值数目个收到帧。确定组件198还可被配置成对第一帧的图像进行下采样以产生第一帧的下采样图像，其中下采样图像是在检测到以下至少一者之际产生的：相继帧之间的场景改变或阈值数目个收到帧。确定组件198还可被配置成基于第一帧的下采样图像来生成显著性图或深度图中的至少一者，第一帧包括多个第一像素并且下采样图像包括多个下采样像素。确定组件198还可被配置成将用于与多个帧相关联的颜色空间的颜色映射函数(CMF)应用于该多个帧中的一个或多个后续帧中的多个像素，该CMF被应用直到以下至少一者：该多个帧中的后续场景改变或该多个帧中的后续阈值数目个收到帧。确定组件198还可被配置成调整一个或多个低显著性颜色、一个或多个高显著性颜色或多个下采样像素的深度信息中的至少一者，其中该深度信息对应于包括深度范围内的深度的一个或多个颜色或者包括深度范围外的深度的一个或多个颜色。尽管以下描述可以集中于显示或图像处理，但是本文中描述的概念可以适用于其他类似的处理技术。

如本文所描述的，设备(诸如设备104)可以是指被配置成执行本文所描述的一种或多种技术的任何设备、装置或系统。例如，设备可以是服务器、基站、用户装备、客户端设备、站、接入点、计算机(例如，个人计算机、台式计算机、膝上型计算机、平板计算机、计算机工作站、或大型计算机)、最终产品、装置、电话、智能电话、服务器、视频游戏平台或控制台、手持式设备(例如，便携式视频游戏设备或个人数字助理(PDA))、可穿戴计算设备(例如，智能手表、增强现实设备或虚拟现实设备)、非可穿戴设备、显示器或显示设备、电视、电视机顶盒、中间网络设备、数字媒体播放器、视频流设备、内容流设备、车载计算机、任何移动设备、被配置成生成图形内容的任何设备、或被配置成执行本文所描述的一种或多种技术的任何设备。本文的过程可以被描述为由特定组件(例如，GPU)执行，但是在进一步的实施例中，可以使用与所公开的实施例一致的其他组件(例如，CPU)来执行。

GPU可以在GPU流水线中处理多种类型的数据或数据分组。例如，在一些方面，GPU可以处理两种类型的数据或数据分组，例如，上下文寄存器分组和绘制调用数据。上下文寄存器分组可以是一组全局状态信息，例如，关于全局寄存器、着色程序或常数数据的信息，其可以调节图形上下文将如何被处理。例如，上下文寄存器分组可包括关于颜色格式的信息。在上下文寄存器分组的一些方面，可能存在指示哪个工作负载属于上下文寄存器的比特。此外，可能存在同时和/或并行运行的多个功能或程序。例如，功能或程序可以描述某个操作，例如，颜色模式或颜色格式。相应地，上下文寄存器可以定义GPU的多个状态。

可以利用上下文状态来确定个体处理单元(例如，顶点提取器(VFD)、顶点着色器(VS)、着色器处理器或几何处理器)如何工作和/或处理单元以什么模式工作。为了这样做，GPU可以使用上下文寄存器和编程数据。在一些方面，GPU可基于模式或状态的上下文寄存器定义来在流水线中生成工作负载(例如，顶点或像素工作负载)。某些处理单元(例如，VFD)可以使用这些状态来确定某些功能，例如，顶点是如何组装的。由于这些模式或状态可以改变，因此GPU可能需要改变对应的上下文。附加地，与模式或状态相对应的工作负载可以遵循改变的模式或状态。

图2解说了根据本公开的一种或多种技术的示例GPU 200。如图2中所示，GPU 200包括命令处理器(CP)210、绘制调用分组212、VFD 220、VS222、顶点高速缓存(VPC)224、三角形设立引擎(TSE)226、光栅化器(RAS)228、Z处理引擎(ZPE)230、像素插值器(PI)232、片段着色器(FS)234、渲染后端(RB)236、级别2(L2)高速缓存(UCHE)238和系统存储器240。尽管图2显示了GPU 200包括处理单元220-238，但是GPU 200可以包括数个附加处理单元。附加地，处理单元220-238仅仅是一示例，并且处理单元的任何组合或次序可由根据本公开的GPU使用。GPU 200还包括命令缓冲器250、上下文寄存器分组260和上下文状态261。

如图2中所示，GPU可利用CP(例如，CP 210)或硬件加速器来将命令缓冲器解析为上下文寄存器分组(例如，上下文寄存器分组260)和/或绘制调用数据分组(例如，绘制调用分组212)。随后，CP 210可以通过单独的路径将上下文寄存器分组260或绘制调用数据分组212发送到GPU中的处理单元或块。此外，命令缓冲器250可以交替上下文寄存器和绘制调用的不同状态。例如，命令缓冲器可以按以下方式来构造：上下文N的上下文寄存器、上下文N的(诸)绘制调用、上下文N+1的上下文寄存器和上下文N+1的(诸)绘制调用。

在显示或图像处理的各方面，可以在图像或帧中调整或增强数个不同的对象或颜色。通过这样做，图像中的对象或颜色可以得到改善，这可以改善图像的总体外观。为了调整或增强图像中的对象或颜色，这些对象或颜色可能需要在该调整或增强之前被标识出。在一些实例中，该过程可以在图像处理流水线或显示处理流水线中执行。此外，该过程可被称为对象或颜色标识过程。

图3解说了用于显示或图像处理的组件的示图300。例如，图3解说了用于对象或颜色分类过程的示例结构。如图3中所示，示图300可包括输入310、图像降尺度器320、帧选择级322、像素分类器330和复用器(MUX)340。示图300还可包括内容源，其可包括GPU 350和/或视频解码器352。附加地，示图300可包括人工智能(AI)处理器或AI处理单元360、CPU软件370、存储器380、图像后处理单元390以及输出392。示图300的输入310可包括图像或图像序列。而且，示图300的输出392可包括处理后的图像或图像序列。

如图3中所示，输入310可与图像降尺度器320、像素分类器330和图像后处理单元390通信。而且，图像降尺度器320可与帧选择级322通信，例如以选择帧或图像。此外，帧选择级322可(例如，经由存储器380)与AI处理器360和/或CPU软件370传达例如降低分辨率图像。AI处理器360也可经由存储器380与CPU软件370通信。GPU 350和视频解码器352可(例如，经由存储器380)与MUX 340通信。MUX 340还可与输入310通信。而且，CPU软件370可与像素分类器330传达例如配置更新，和/或与图像后处理单元390通信。像素分类器330也可与图像后处理单元390通信。在此之后，图像后处理单元390可与输出392传达例如图像或图像序列。

如图3中进一步描绘的，图像后处理单元390可以是帧前合成或帧后合成。在一些方面，示图300可包括低功率实时像素处理流水线，其可包括输入310、图像降尺度器320、像素分类器330和/或图像后处理单元390。而且，示图300可包括可对所选图像或帧执行的非实时处理。该非实时处理可包括帧选择级322、MUX 340、GPU 350、视频解码器352、AI处理器360、CPU软件370和存储器380。在一些方面，AI处理器360可被称为神经网络处理器。而且，CPU软件370可被用于统计分析。

显示处理的一些方面利用数种视觉化技术来计算图像(例如，显著性图)。显著性图利用图像中的显著性的概念，其中显著性可以指在显示处理的上下文中图像或帧的数个特征(例如，像素、分辨率等)。前述特征可以描绘图像或帧中视觉上诱人的位置，即，“显著”位置。显著性图是图像或帧中的这些视觉上诱人或显著的位置的拓扑表示。例如，与图像的背景相比，显著性图可以有助于突出显示图像的前景。在一些实例中，神经网络(NN)或卷积神经网络(CNN)可被用于生成显著性图。本公开的各方面还可以利用对象分段图。对象分段图包括每个像素的二进制分类，其中每个像素被分类为在图像的前景或背景中。下图4是对象分段图的示例，其可以是用于图像或帧内的前景/背景分段的另一术语。

图4是用于显示处理或图像处理的示例显著性图或对象分段图400。如图4中解说的，显著性/对象分段图400对应于相应图像或摄影图像。例如，图4是用于包括猫410和月亮420的摄影图像的显著性/对象分段图400。如图4中示出的，显著性图突出显示图像中感兴趣的对象，即，显著对象。如由显著性/对象分段图400所描绘的，猫410和月亮420是对应的摄影图像中感兴趣的对象，即，显著对象。

摄影图像可以准确地描绘图像中的对象和场景的精确颜色。然而，摄影图像可能无法容易地描绘图像内的对象深度或图像内视觉上诱人的位置的深度。作为对比，某些绘画技术可以基于空中透视或大气透视(其指的是从远处观看时大气对对象外观的影响)来描绘图像中的深度。例如，随着图像中的对象与观看者之间的距离增大，对象与其背景之间的对比度减小，并且对象内的任何标记或细节的对比度也减小。

为了描绘图像中的这种空中或大气透视，远处对象可以用较冷颜色(即，带蓝色色调的颜色)来描绘，而较近的对象可以用较暖颜色(即，带红色色调的颜色)来描绘。此外，当利用空中或大气透视时，图像内的对象的颜色也可能变得不那么饱和并且向背景颜色偏移，背景颜色可能对应于蓝色色调。然而，图像中可能存在将受益于创建深度错觉的其他对象或颜色。基于上述内容，检测某些图像(例如，摄影图像)内感兴趣的区域可能是有益的。通过创建深度错觉来使这些感兴趣的区域成为焦点也可以是有益的。此外，经由空中透视或大气透视来创建图像中感兴趣的区域的深度错觉可以是有益的。

本公开的各方面可以检测某些图像(例如，摄影图像)内感兴趣的区域，并通过创建深度错觉来使这些感兴趣的区域成为焦点。例如，本公开的各方面可以经由空中透视或大气透视来创建图像中感兴趣的区域的深度错觉。此外，本公开的各方面可以基于像素的显著性信息(诸如经由显著性图)来自适应地调整图像内的像素颜色。通过这样做，本公开的各方面可以生成图像内的大气或空中透视。附加地，本公开的各方面可以减小图像的背景中的颜色饱和度并且增大图像的前景中的颜色饱和度。

在一些实例中，诸如在检测到图像中的场景改变之后，本公开的各方面可以将图像降尺度或下采样。本公开的各方面可将下采样图像馈送到神经网络(NN)处理器，例如，卷积神经网络(CNN)或人工智能(AI)分析器。结果，神经网络处理器可产生或生成显著性图或对象分段图。随后可将显著性图或对象分段图与下采样图像进行比较(例如，通过使用软件)，并且本公开的各方面可以与显著性图中的显著对象相比分析下采样图像的颜色。如此，本公开的各方面可以确定哪些颜色是显著性图中的显著性群的部分、以及哪些颜色不是该显著性群的部分。基于对显著颜色的分析，显著性图可被转换成高显著性颜色集合和低显著性颜色集合。

在分析显著颜色之后，本公开的各方面可利用颜色映射函数(CMF)或颜色处理引擎(例如，三维(3D)查找表(LUT))来调整或重新映射图像中的颜色。在一些实例中，颜色映射函数(例如，3D LUT)可以将高显著性颜色重新映射到更高饱和度的高显著性颜色，以及将低显著性颜色重新映射到更低饱和度的低显著性颜色。例如，颜色映射函数(例如，3DLUT)可以将前景对象重新映射到较高饱和度的高显著性颜色，以及将背景对象重新映射到较低饱和度的低显著性颜色。为了这样做，本公开的各方面可增大前景对象的饱和度，或者将前景对象的颜色向较暖颜色(即，红颜色)偏移。而且，本公开的各方面可减小背景对象的饱和度，或者将背景对象的颜色向较冷颜色(即，蓝颜色)偏移。

附加地，本公开的各方面可以减少(例如，PDU处)用于对每个帧中的颜色的饱和度进行偏移的功率量。例如，通过在检测到场景改变之际分析显著性图或对象分段图并且利用颜色映射函数(例如，3D LUT)来重新映射高显著性和低显著性颜色，可以减少用于对每个帧中的颜色的饱和度进行偏移的功率量。例如，颜色映射函数(例如，3D LUT)配置可被用于检出场景改变之后的数个帧，以使得可以不在每帧基础上利用(例如，使用神经网络的)新显著性图分析。确切而言，本公开的各方面可执行针对场景改变之后的数个帧或阈值量的帧(例如，N个帧)的显著性和神经网络分析，以减少用于这些帧的功率量。因此，本公开的各方面可以通过在特定场景中利用对数个帧的显著性和神经网络分析来节约(例如，DPU处的)功率，因为特定场景中的颜色可能不会显著改变。相应地，本公开的各方面可利用相同的显著性分析，直到存在另一场景改变，或者直到阈值量的帧(例如，N个帧)。

在一些实例中，本公开的各方面可利用神经网络来计算空间图，例如，深度图、对象分段图或显著性图。该空间图可标识帧中感兴趣的对象，即，前景/背景对象和/或显著对象。例如，本公开的各方面可执行统计分析以确定哪些对象在图像的前景或背景中、以及哪些对象是显著对象。本公开的各方面随后可将空间图(例如，深度图或显著性图)转变为颜色图。随后可利用颜色图来调整场景中的每个帧中的颜色，或者直到达到阈值量的帧。附加地，该颜色图可以容忍帧内的移动，因此对于同一场景中的帧可能不需要新颜色图，从而节约功率。

图5是根据本公开的一种或多种技术的用于颜色变换过程的组件的示图500。如图5中所示，示图500包括颜色变换区段502、人工智能(AI)分析区段504、输入图像510、下采样图像520、神经网络或AI分析器530、显著性/对象分段图540、显著性/对象分段图分析和颜色映射函数(CMF)生成器550、颜色映射函数560和输出图像570。更具体地，图5中的示图500包括利用显著性/对象分段图分析和CMF(例如，三维(3D)查找表(LUT))的颜色变换过程。图5中的颜色变换过程可被用于调整图像的高显著性颜色或低显著性颜色。

如图5中所示，本公开的各方面可对输入图像510进行下采样以产生下采样图像520。该下采样图像520随后可被用于产生显著性/对象分段图540(诸如经由神经网络530)。接下来，本公开的各方面可执行对显著性/对象分段图540的显著性/对象分段图分析550，以及包括CMF生成器。附加地，显著性/对象分段图分析550可以与CMF 560组合，以确定图像的低显著性颜色或高显著性颜色。最后，本公开可调整图像的低显著性颜色或高显著性颜色，并产生输出图像570。如图5中所示，本公开的各方面可调整图像的低显著性颜色或高显著性颜色，以产生图像内的大气透视或空中透视。

在一些方面，如图5中所示，在检测到图像中的场景改变之际，本公开的各方面利用AI分析区段504中的组件，例如，下采样图像520、神经网络530、显著性/对象分段图540和显著性/对象分段图分析550。对于场景中的其余帧，或者直到存在另一场景改变，本公开的各方面可以不执行AI分析区段504中的步骤。即，在执行AI分析区段504中的步骤之后，场景中的每一图像或帧可由颜色变换区段502中的组件(例如，CMF 560)进行处理。相应地，本公开的各方面可利用相同的显著性分析(例如，颜色变换区段502中的步骤)，直到存在另一场景改变，或者直到阈值量的帧(例如，N个帧)。如此，颜色变换区段502中的步骤可以是实时分析。通过这样做，本公开的各方面可以减少用于针对场景内的每个帧执行颜色变换过程的功率量。在检测到另一场景改变之际，本公开的各方面可执行AI分析区段504中的步骤。

如上文所指示的，本公开的各方面可分析显著性/对象分段图以检测图像中的高显著性或低显著性像素。随后可将这些高显著性或低显著性像素连同颜色直方图或CMF一起分析，以确定图像中的高显著性或低显著性颜色。例如，本公开的各方面可分析指示特定颜色与帧中的高显著性或低显著性像素相关联的相对概率的统计数据。在一个示例中，如果特定颜色以特定比率与高显著性像素相关联(例如，90％的情况下在场景中出现该颜色的像素)，则它可被标识为高显著性颜色。而且，如果对于特定百分比的实例，一颜色与低显著性像素相关联，则它可被标识为低显著性颜色。可以调整这些高显著性和低显著性颜色，以产生输出图像。

在一些实例中，本公开的各方面可检测相继帧之间的场景改变，或者标识阈值数目个收到帧(例如，N个帧)，以先发生者为准。这样做之后，本公开的各方面可生成针对特定帧(例如，触发对相继帧之间的场景改变的检测或对阈值数目个收到帧的标识的帧)的显著性/对象分段图。此外，可基于帧的下采样图像(诸如通过利用人工智能(AI)分析或神经网络(NN)(例如，卷积神经网络(CNN)))来生成显著性图。

附加地，本公开的各方面可标识特定帧的低显著性颜色或高显著性颜色。可基于对帧的显著性/对象分段图和下采样图像的分析来标识这些颜色。为了这样做，本公开的各方面可诸如通过检测与帧中高显著性的区域相关联的颜色(即，高显著性颜色)来将显著性/对象分段图与帧的下采样图像进行比较。本公开的各方面还可通过检测与帧中低显著性的区域相关联的颜色(即，低显著性颜色)来将显著性图与下采样图像进行比较。

如上文所指示的，本公开的各方面还可基于与帧的下采样图像相比对显著性/对象分段图的分析来生成颜色映射函数(CMF)，例如，3D查找表(LUT)。此外，本公开的各方面可(诸如经由CMF或3D LUT)来调整低显著性颜色和/或高显著性颜色。例如，本公开的各方面可减小低显著性颜色(即，图像的背景中的对象)的颜色饱和度，并且增大高显著性颜色(即，图像的前景中的对象)的颜色饱和度。本公开的各方面还可生成CMF(例如，3D LUT)配置，以使得高显著性颜色可以得到饱和度提升和/或向较暖颜色(即，红颜色)的偏移。而且，所生成的CMF(例如，3D LUT)配置可导致低显著性颜色得到饱和度降低和向较冷颜色(即，蓝颜色)的偏移。本公开的各方面还可以用新生成的颜色配置来更新CMF，例如，3D LUT。

本公开的各方面可基于前述技术来输入初始图像以及输出经调整图像。可基于初始图像中的像素的基于显著性的颜色调整来生成经调整图像。如本文中所指示的，输出图像可得到针对图像中的高显著性颜色的饱和度提升和/或较暖颜色偏移。附加地，输出图像可得到针对图像中的低显著性颜色的饱和度降低和/或较冷颜色偏移。

本公开的各方面可包括数个益处或优点。例如，本公开的各方面可包括用于使用人工智能(AI)分析或神经网络(NN)的增强型显示的低功率方法。在一些实例中，可对少量输入帧(例如，与场景改变相对应的帧)执行AI分析。而且，NN或卷积NN(CNN)可对输入帧的下采样版本进行操作。可使用低功率颜色变换块来以全分辨率处理像素。相应地，本公开的各方面可减少用于(例如，DPU处的)图像处理的功率量。此外，可以使用硬件基于CMF(例如，3D LUT)来处理像素。本公开的各方面可检测图像或帧中感兴趣的区域，并通过创建深度错觉来使它们成为焦点。如先前所提及的，本公开的这种技术可对应于被称为大气透视或空中透视的技术。

图6是根据本公开的一种或多种技术的显示处理的通信流程图600。如图6中所示，示图600包括根据本公开的一种或多种技术的DPU/AI分析器602、GPU/CPU 604和显示器606之间的示例通信。

在610，DPU 602可检测以下至少一者：多个帧(例如，帧612)中的相继帧之间的场景改变或该多个帧中的阈值数目个收到帧，该多个帧中的每一者包括多个像素，该多个帧中的第一帧对应于相继帧之间的该场景改变或该阈值数目个收到帧。而且，可在DPU(例如，DPU 602)处从GPU或CPU(例如，GPU/CPU 604)接收多个帧(例如，帧612)中的每一者。

在620，DPU 602可对第一帧的图像进行下采样以产生第一帧的下采样图像，其中下采样图像是在检测到以下至少一者之际产生的：相继帧之间的该场景改变或该阈值数目个收到帧。

在630，DPU/AI分析器602可基于第一帧的下采样图像来生成显著性图、以及对象分段图或深度图中的至少一者，第一帧包括多个第一像素并且下采样图像包括多个下采样像素。可使用神经网络(NN)、卷积神经网络(CNN)或人工智能(AI)分析来生成显著性图、对象分段图或深度图中的至少一者。在一些方面，显著性图、对象分段图或深度图中的至少一者可以基于第一帧的显著性信息、第一帧的深度信息或第一帧的对象信息中的至少一者。而且，可在DPU/AI 602分析器和GPU/CPU 604之间传输数据632。

在640，CPU 604可分析下采样图像中的一个或多个像素以及显著性图、对象分段图或深度图中的至少一者中的一个或多个像素。在一些实例中，DPU 602可对下采样图像并对显著性图或深度图中的至少一者执行统计分析。例如，分析下采样图像中的一个或多个像素以及显著性图或深度图中的至少一者中的一个或多个像素可包括对下采样图像并对显著性图、对象分段图或深度图中的至少一者执行统计分析。

在650，CPU 604可基于下采样图像以及显著性图或深度图中的至少一者来标识该多个下采样像素的第一颜色群或该多个下采样像素的第二颜色群中的至少一者。在一些方面，第一颜色群可以是一个或多个低显著性颜色或包括深度范围内的深度的一个或多个颜色，并且第二颜色群可以是一个或多个高显著性颜色或包括深度范围外的深度的一个或多个颜色。

在660，CPU 604可基于下采样图像并基于显著性图、对象分段图或深度图中的至少一者来确定用于与该多个帧相关联的颜色空间的颜色映射函数(CMF)。在一些实例中，显著性值、对象分段分类或深度值中的至少一者可对应于与多个帧相关联的颜色空间的每个颜色，其中CMF可基于该颜色空间的每个颜色的显著性值或深度值中的至少一者来确定。附加地，CMF可以是多项式或三维(3D)查找表(LUT)。可在DPU/AI分析器602和GPU/CPU 604之间传输数据662。

在670，DPU 602可将CMF应用于该多个帧中的一个或多个后续帧中的该多个像素，CMF被应用直到以下至少一者：该多个帧中的后续场景改变或该多个帧中的后续阈值数目个收到帧。

在680，DPU 602可调整一个或多个低显著性颜色或一个或多个高显著性颜色中的至少一者，其中该多个下采样像素的深度信息对应于包括深度范围内的深度的该一个或多个颜色或者包括深度范围外的深度的该一个或多个颜色。在调整该一个或多个低显著性颜色或该一个或多个高显著性颜色中的至少一者之后，DPU 602可向显示器(例如，显示器606)传送一个或多个经调整帧(例如，帧682)。

本公开的各方面可分析深度信息以确定哪些深度值与给定场景中具有低显著性或高显著性的像素相关。对于每个下采样像素，本公开的各方面可确定深度信息、显著性信息以及前景/背景分类。基于此，本公开的各方面可分析哪些深度值与低显著性或高显著性相关联的统计数据。一旦确定了与高显著性相关联的深度(或深度范围)，本公开的各方面就可使用该信息来清理显著性图。例如，如果特定深度有可能具有高显著性的对象，则本公开的各方面可以为具有该特定深度的像素重新指派显著性，以跨表示该对象的像素实现更大的一致性。

在一些方面，DPU 602可减小一个或多个低显著性颜色的饱和度，减小一个或多个低显著性颜色的亮度，和/或将一个或多个低显著性颜色的色温向较冷色温偏移。例如，调整一个或多个低显著性颜色可包括以下至少一者：减小该一个或多个低显著性颜色的饱和度；减小该一个或多个低显著性颜色的亮度；或将该一个或多个低显著性颜色的色温向较冷色温偏移。附加地，DPU 602可增大一个或多个高显著性颜色的饱和度，增大一个或多个高显著性颜色的亮度，和/或将一个或多个高显著性颜色的色温向较暖色温偏移。例如，调整一个或多个高显著性颜色可包括以下至少一者：增大该一个或多个高显著性颜色的饱和度；增大该一个或多个高显著性颜色的亮度；或将该一个或多个高显著性颜色的色温向较暖色温偏移。

此外，可基于多个下采样像素的深度信息来调整一个或多个低显著性颜色或一个或多个高显著性颜色中的至少一者。此外，DPU 602可调整与显著性图、对象分段图或深度图中的至少一者相关联的一个或多个像素。例如，调整一个或多个低显著性颜色或一个或多个高显著性颜色中的至少一者可包括调整与显著性图、对象分段图或深度图中的至少一者相关联的一个或多个像素。

图7是根据本公开的一种或多种技术的图形处理的示例方法的流程图700。该方法可由装置执行，诸如用于显示或图像处理的装置、DPU、显示或图像处理器、显示流水线、无线通信设备、和/或如与图1-6的示例相结合地使用的可以执行显示或图像处理的任何装置。

在702，该装置可检测以下至少一者：多个帧中的相继帧之间的场景改变或该多个帧中的阈值数目个收到帧，该多个帧中的每一者包括多个像素，该多个帧中的第一帧对应于相继帧之间的该场景改变或该阈值数目个收到帧，如结合图1-6中的示例所描述的。例如，DPU 602可检测以下至少一者：多个帧中的相继帧之间的场景改变或该多个帧中的阈值数目个收到帧，该多个帧中的每一者包括多个像素，该多个帧中的第一帧对应于相继帧之间的该场景改变或该阈值数目个收到帧。此外，显示处理器127可执行702。而且，可在DPU处从GPU或CPU接收多个帧中的每一者。

在704，该装置可对第一帧的图像进行下采样以产生第一帧的下采样图像，其中该下采样图像是在检测到以下至少一者之际产生的：相继帧之间的该场景改变或该阈值数目个收到帧，如结合图1-6中的示例所描述的。例如，DPU602可对第一帧的图像进行下采样以产生第一帧的下采样图像，其中该下采样图像是在检测到以下至少一者之际产生的：相继帧之间的场景改变或阈值数目个收到帧。此外，显示处理器127可执行704。

在706，该装置可基于第一帧的下采样图像来生成显著性图或深度图中的至少一者，第一帧包括多个第一像素并且下采样图像包括多个下采样像素，如结合1-6中的示例所描述的。例如，DPU 602可基于第一帧的下采样图像来生成显著性图或深度图中的至少一者，第一帧包括多个第一像素并且下采样图像包括多个下采样像素。此外，显示处理器127可执行706。可使用神经网络(NN)、卷积神经网络(CNN)或人工智能(AI)分析来生成显著性图、对象分段图或深度图中的至少一者。在一些方面，显著性图、对象分段图或深度图中的至少一者可以基于第一帧的显著性信息、第一帧的深度信息或第一帧的对象信息中的至少一者。

附加地，可以分析下采样图像中的一个或多个像素以及显著性图、对象分段图或深度图中的至少一者中的一个或多个像素，如结合图1-6中的示例所描述的。在一些实例中，可对下采样图像并对显著性图、对象分段图或深度图中的至少一者执行统计分析。

此外，可基于下采样图像并基于显著性图、对象分段图或深度图中的至少一者来标识多个下采样像素的第一颜色群和该多个下采样像素的第二颜色群中的至少一者，如结合图1-6中的示例所描述的。在一些方面，第一颜色群可以是一个或多个低显著性颜色或包括深度范围内的深度的一个或多个颜色，并且第二颜色群可以是一个或多个高显著性颜色或包括深度范围外的深度的一个或多个颜色。

在一些实例中，显著性值、对象分段分类或深度值中的至少一者可对应于与多个帧相关联的颜色空间的每个颜色，其中用于与多个帧相关联的颜色空间的颜色映射函数(CMF)可基于该颜色空间的每个颜色的显著性值或深度值中的至少一者来确定。附加地，CMF可以是多项式或三维(3D)查找表(LUT)。

在708，该装置可将用于与该多个帧相关联的颜色空间的颜色映射函数(CMF)应用于该多个帧中的一个或多个后续帧中的该多个像素，该CMF被应用直到以下至少一者：该多个帧中的后续场景改变或该多个帧中的后续阈值数目个收到帧，如结合图1-6中的示例所描述的。例如，DPU 602可将用于与多个帧相关联的颜色空间的颜色映射函数(CMF)应用于该多个帧中的一个或多个后续帧中的多个像素，该CMF被应用直到以下至少一者：该多个帧中的后续场景改变或该多个帧中的后续阈值数目个收到帧。此外，显示处理器127可执行708。

在710，该装置可调整一个或多个低显著性颜色或一个或多个高显著性颜色中的至少一者，其中该多个下采样像素的深度信息对应于包括深度范围内的深度的该一个或多个颜色或者包括深度范围外的深度的该一个或多个颜色，如结合图1-6中的示例所描述的。例如，DPU 602可调整一个或多个低显著性颜色、一个或多个高显著性颜色或多个下采样像素的深度信息中的至少一者，其中该深度信息对应于包括深度范围内的深度的一个或多个颜色或者包括深度范围外的深度的一个或多个颜色。此外，显示处理器127可执行710。在调整该一个或多个低显著性颜色、该一个或多个高显著性颜色或该多个下采样像素的深度信息中的至少一者之后，该装置可向显示器传送一个或多个经调整帧。

在一些方面，该装置可减小一个或多个低显著性颜色的饱和度，减小一个或多个低显著性颜色的亮度，和/或将一个或多个低显著性颜色的色温向较冷色温偏移。例如，调整一个或多个低显著性颜色可包括以下至少一者：减小该一个或多个低显著性颜色的饱和度；减小该一个或多个低显著性颜色的亮度；或将该一个或多个低显著性颜色的色温向较冷色温偏移。此外，该装置可增大一个或多个高显著性颜色的饱和度，增大一个或多个高显著性颜色的亮度，和/或将一个或多个高显著性颜色的色温向较暖色温偏移。例如，调整一个或多个高显著性颜色可包括以下至少一者：增大该一个或多个高显著性颜色的饱和度；增大该一个或多个高显著性颜色的亮度；或将该一个或多个高显著性颜色的色温向较暖色温偏移。

附加地，可基于多个下采样像素的深度信息来调整一个或多个低显著性颜色或一个或多个高显著性颜色中的至少一者。此外，该装置可调整与显著性图、对象分段图或深度图中的至少一者相关联的一个或多个像素。例如，调整一个或多个低显著性颜色或一个或多个高显著性颜色中的至少一者可包括调整与显著性图、对象分段图或深度图中的至少一者相关联的一个或多个像素。

在各配置中，提供了用于显示处理的方法或装备。该装备可以是GPU、显示或图像处理器、或可执行图形处理的某个其他处理器。在各方面，该装备可以是设备104内的显示处理器127，或者可以是设备104或另一设备内的某个其他硬件。该装备(例如，显示处理器127)可包括：用于检测以下至少一者的装置：多个帧中的相继帧之间的场景改变或该多个帧中的阈值数目个收到帧，该多个帧中的每个帧包括多个像素，该多个帧中的第一帧对应于相继帧之间的该场景改变或该阈值数目个收到帧；用于基于第一帧的下采样图像来生成显著性图或深度图中的至少一者的装置，第一帧包括多个第一像素并且该下采样图像包括多个下采样像素；用于基于该下采样图像并基于该显著性图或该深度图中的至少一者来确定用于与该多个帧相关联的颜色空间的颜色映射函数(CMF)的装置；用于将该CMF应用于该多个帧中的一个或多个后续帧中的该多个像素的装置，该CMF被应用直到以下至少一者：该多个帧中的后续场景改变或该多个帧中的后续阈值数目个收到帧；用于基于该下采样图像并基于该显著性图或该深度图中的至少一者来标识该多个下采样像素的第一颜色群或该多个下采样像素的第二颜色群中的至少一者的装置；用于调整一个或多个低显著性颜色、一个或多个高显著性颜色或该多个下采样像素的深度信息中的至少一者的装置，其中该深度信息对应于包括深度范围内的深度的该一个或多个颜色或者包括深度范围外的深度的该一个或多个颜色；用于减小该一个或多个低显著性颜色的饱和度的装置；用于减小该一个或多个低显著性颜色的亮度的装置；用于将该一个或多个低显著性颜色的色温向较冷色温偏移的装置；用于增大该一个或多个高显著性颜色的饱和度的装置；用于增大该一个或多个高显著性颜色的亮度的装置；用于将该一个或多个高显著性颜色的色温向较暖色温偏移的装置；用于增大与包括该深度范围内的深度的该一个或多个颜色相对应的该深度信息的装置；用于增大与包括该深度范围外的深度的该一个或多个颜色相对应的该深度信息的装置；用于减小与包括该深度范围内的深度的该一个或多个颜色相对应的该深度信息的装置；用于减小与包括该深度范围外的深度的该一个或多个颜色相对应的该深度信息的装置；用于调整该显著性图中的一个或多个像素或该深度图中的一个或多个像素中的至少一者的装置；用于分析该下采样图像中的一个或多个像素以及该显著性图或该深度图中的至少一者中的一个或多个像素的装置；用于对该下采样图像并对该显著性图或该深度图中的至少一者执行统计分析的装置；以及用于对第一帧的图像进行下采样以产生第一帧的该下采样图像的装置，其中该下采样图像是在检测到以下至少一者之际产生的：相继帧之间的该场景改变或该阈值数目个收到帧。

本文中所描述的主题可被实现以达成一个或多个益处或优点。例如，所描述的显示处理技术可由DPU、显示处理器、或可以执行显示或图像处理的某个其他处理器用于实现本文中所描述的基于显著性的颜色增强技术。与其他显示处理技术相比，这还能以低成本实现。此外，本文中的显示处理技术可以改进或加速数据处理或执行。此外，本文中的显示处理技术可以改进资源或数据利用和/或资源效率。附加地，本公开的各方面可以利用基于显著性的颜色增强技术以减少功耗、改善存储器带宽和/或减少DPU处的性能开销。

应理解，所公开的过程/流程图中的各个框的具体次序或层次是示例办法的解说。应理解，基于设计偏好，可以重新编排这些过程/流程图中的各个框的具体次序或层次。此外，一些框可被组合或被略去。所附方法权利要求以范例次序呈现各种框的要素，且并不意味着被限定于所呈现的具体次序或层次。

提供先前描述是为了使本领域任何技术人员均能够实践本文中所描述的各个方面。对这些方面的各种修改将容易为本领域技术人员所明白，并且在本文中所定义的普适原理可被应用于其他方面。由此，权利要求并非旨在被限定于本文中所示出的各方面，而是应被授予与权利要求的语言相一致的全部范围，其中对要素的单数形式的引述并非旨在表示“有且仅有一个”(除非特别如此声明)而是“一个或多个”。本文使用措辞“示例性”意指“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释成优于或胜过其他方面。

除非另有特别说明，否则术语“一些/某个”是指一个或多个，并且在上下文没有另外规定的情况下术语“或”可被解读为“和/或”。诸如“A、B或C中的至少一者”、“A、B或C中的一者或多者”、“A、B和C中的至少一者”、“A、B和C中的一者或多者”、以及“A、B、C或其任何组合”之类的组合包括A、B和/或C的任何组合，并且可包括多个A、多个B或者多个C。具体而言，诸如“A、B或C中的至少一者”、“A、B或C中的一者或多者”、“A、B和C中的至少一者”、“A、B和C中的一者或多者”以及“A、B、C或其任何组合”之类的组合可以是仅A、仅B、仅C、A和B、A和C、B和C、或者A和B和C，其中任何此类组合可包含A、B或C中的一个或多个成员。本公开通篇描述的各个方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且旨在被权利要求所涵盖。此外，本文所公开的任何内容都不旨在捐献于公众，无论此类公开内容是否明确记载在权利要求书中。措辞“模块”、“机制”、“元素”、“设备”等可以不是措辞“装置”的代替。如此，没有任何权利要求元素应被解释为装置加功能，除非该元素是使用短语“用于……的装置”来明确叙述的。

在一个或多个示例中，本文所描述的功能可在硬件、软件、固件或其任何组合中实现。例如，尽管术语“处理单元”已经贯穿本公开使用，但是此类处理单元可以在硬件、软件、固件或其任何组合中实现。如果在本文中描述的任何功能、处理单元、技术或其他模块以软件实现，则在本文中描述的功能、处理单元、技术或其他模块可以作为一个或多个指令或代码存储在计算机可读介质上或在计算机可读介质上传送。

根据本公开，在上下文没有另外规定的情况下术语“或”可被解读为“和/或”。附加地，虽然诸如“一个或多个”或“至少一个”等短语可能已经用于本文所公开的一些特征而不是其他特征，但是没有使用这种语言的特征可以被解读为在上下文没有另外规定的情况下具有此类隐含含义。

在一个或多个示例中，本文所描述的功能可在硬件、软件、固件或其任何组合中实现。例如，尽管术语“处理单元”已经贯穿本公开使用，但是此类处理单元可以在硬件、软件、固件或其任何组合中实现。如果在本文中描述的任何功能、处理单元、技术或其他模块以软件实现，则在本文中描述的功能、处理单元、技术或其他模块可以作为一个或多个指令或代码存储在计算机可读介质上或在计算机可读介质上传送。计算机可读介质可包括计算机数据存储介质和通信介质，这些介质包括促成计算机程序从一地向另一地转移的任何介质。以此方式，计算机可读介质一般可对应于(1)非瞬态的有形计算机可读存储介质或(2)诸如信号或载波之类的通信介质。数据存储介质可以是可由一台或多台计算机或一个或多个处理器访问以检索用于实现本公开所述技术的指令、代码和/或数据结构的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备。如本文所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现数据，而碟(disc)用激光以光学方式再现数据。以上的组合应当也被包括在计算机可读介质的范围内。计算机程序产品可以包括计算机可读介质。

该代码可由一个或多个处理器(诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、算术逻辑单元(ALU)、现场可编程逻辑阵列(FPGA)、或其他等效的集成或分立逻辑电路系统)执行。相应地，如本文所使用的术语“处理器”可以指任何上述结构或适于实现本文所描述的技术的任何其他结构。同样，这些技术可以在一个或多个电路或逻辑元件中被完全实现。

本公开的技术可以在各种各样的设备或装置中实现，包括无线手持设备、集成电路(IC)或IC集合(例如，芯片集)。本公开中描述了各种组件、模块或单元，以强调配置成执行所公开技术的设备的功能方面，但不一定需要由不同的硬件单元来实现。相反，如上所述，各种单元可被组合在任何硬件单元中、或者由互操作的硬件单元的集合来提供，包括如以上结合合适的软件和/或固件所描述的一个或多个处理器。相应地，如本文所使用的术语“处理器”可以指任何上述结构或适于实现本文所描述的技术的任何其他结构。同样，这些技术可以在一个或多个电路或逻辑元件中被完全实现。

以下方面仅是解说性的，并且可以与本文中所描述的其他方面或教导进行组合而没有限制。

方面1是一种显示或图像处理的方法。该方法包括：检测以下至少一者：多个帧中的相继帧之间的场景改变或该多个帧中的阈值数目个收到帧，该多个帧中的每个帧包括多个像素，该多个帧中的第一帧对应于相继帧之间的该场景改变或该阈值数目个收到帧；基于第一帧的下采样图像来生成显著性图、对象分段图或深度图中的至少一者，第一帧包括多个第一像素并且该下采样图像包括多个下采样像素；以及将用于与该多个帧相关联的颜色空间的颜色映射函数(CMF)应用于该多个帧中的一个或多个后续帧中的该多个像素，该CMF被应用直到以下至少一者：该多个帧中的后续场景改变或该多个帧中的后续阈值数目个收到帧。

方面2是如方面1所述的方法，其中该多个下采样像素的第一颜色群或该多个下采样像素的第二颜色群中的至少一者基于该下采样图像并基于该显著性图、该对象分段图或该深度图中的至少一者被标识。

方面3是如方面1和2中任一者所述的方法，其中第一颜色群是一个或多个低显著性颜色，或者是包括深度范围内的深度的一个或多个颜色，而第二颜色群是一个或多个高显著性颜色，或者是包括深度范围外的深度的一个或多个颜色。

方面4是如方面1到3中任一者所述的方法，进一步包括：调整该一个或多个低显著性颜色或该一个或多个高显著性颜色中的至少一者，其中该多个下采样像素的深度信息对应于包括该深度范围内的深度的该一个或多个颜色或者包括该深度范围外的深度的该一个或多个颜色。

方面5是如方面1到4中任一者所述的方法，其中调整该一个或多个低显著性颜色包括以下至少一者：减小该一个或多个低显著性颜色的饱和度；减小该一个或多个低显著性颜色的亮度；或将该一个或多个低显著性颜色的色温向较冷色温偏移。

方面6是如方面1到5中任一者所述的方法，其中调整该一个或多个高显著性颜色包括以下至少一者：增大该一个或多个高显著性颜色的饱和度；增大该一个或多个高显著性颜色的亮度；或将该一个或多个高显著性颜色的色温向较暖色温偏移。

方面7是如方面1到6中任一者所述的方法，其中该一个或多个低显著性颜色或该一个或多个高显著性颜色中的至少一者是基于该多个下采样像素的该深度信息来调整的。

方面8是如方面1到7中任一者所述的方法，其中调整该一个或多个低显著性颜色或该一个或多个高显著性颜色中的至少一者包括：调整与该显著性图、该对象分段图或该深度图中的至少一者相关联的一个或多个像素。

方面9是如方面1到8中任一者所述的方法，其中显著性值、对象分段分类或深度值中的至少一者对应于与该多个帧相关联的该颜色空间的每个颜色，其中该CMF是基于该颜色空间的每个颜色的该显著性值或该深度值中的至少一者来确定的。

方面10是如方面1到9中任一者所述的方法，其中分析该下采样图像中的一个或多个像素以及该显著性图、该对象分段图或该深度图中的至少一者中的一个或多个像素。

方面11是如方面1到10中任一者所述的方法，其中对该下采样图像并对该显著性图、该对象分段图或该深度图中的至少一者执行统计分析。

方面12是如方面1到11中任一者所述的方法，其中该显著性图、该对象分段图或该深度图中的至少一者基于第一帧的显著性信息、第一帧的深度信息或第一帧的对象信息中的至少一者。

方面13是如方面1到12中任一者所述的方法，其中该显著性图、该对象分段图或该深度图中的至少一者是使用神经网络(NN)、卷积神经网络(CNN)或人工智能(AI)分析来生成的。

方面14是如方面1到13中任一者所述的方法，其中该CMF是多项式或三维(3D)查找表(LUT)。

方面15是如方面1到14中任一者所述的方法，进一步包括：对第一帧的图像进行下采样以产生第一帧的下采样图像，其中该下采样图像是在检测到以下至少一者之际产生的：相继帧之间的该场景改变或该阈值数目个收到帧。

方面16是如方面1到15中任一者所述的方法，其中该多个帧中的每个帧是在显示处理单元(DPU)处接收的。

方面17是一种用于显示处理的装置，包括：至少一个处理器，该至少一个处理器耦合到存储器并且被配置成实现如方面1到16中任一者所述的方法。

方面18是一种用于显示处理的装备，包括用于实现如方面1到16中任一者所述的方法的装置。

方面19是一种存储计算机可执行代码的计算机可读介质，该代码在由至少一个处理器执行时使该至少一个处理器实现如方面1到16中任一者所述的方法。

Claims (34)

1.一种显示处理的方法，包括：

检测以下至少一者：多个帧中的相继帧之间的场景改变或所述多个帧中的阈值数目个收到帧，所述多个帧中的每个帧包括多个像素，所述多个帧中的第一帧对应于所述相继帧之间的场景改变或所述阈值数目个收到帧；

基于所述第一帧的下采样图像来生成显著性图、对象分段图或深度图中的至少一者，所述第一帧包括多个第一像素并且所述下采样图像包括多个下采样像素；以及

将用于与所述多个帧相关联的颜色空间的颜色映射函数(CMF)应用于所述多个帧中的一个或多个后续帧中的所述多个像素，所述CMF被应用直到以下至少一者：所述多个帧中的后续场景改变或所述多个帧中的后续阈值数目个收到帧。

2.如权利要求1所述的方法，其中所述多个下采样像素的第一颜色群或所述多个下采样像素的第二颜色群中的至少一者基于所述下采样图像并基于所述显著性图、所述对象分段图或所述深度图中的至少一者被标识。

3.如权利要求2所述的方法，其中所述第一颜色群是一个或多个低显著性颜色，或者是包括深度范围内的深度的一个或多个颜色，而所述第二颜色群是一个或多个高显著性颜色，或者是包括深度范围外的深度的一个或多个颜色。

4.如权利要求3所述的方法，进一步包括：

调整所述一个或多个低显著性颜色或所述一个或多个高显著性颜色中的至少一者，其中所述多个下采样像素的深度信息对应于包括所述深度范围内的深度的所述一个或多个颜色或者包括所述深度范围外的深度的所述一个或多个颜色。

5.如权利要求4所述的方法，其中调整所述一个或多个低显著性颜色包括以下至少一者：

减小所述一个或多个低显著性颜色的饱和度；

减小所述一个或多个低显著性颜色的亮度；或者

将所述一个或多个低显著性颜色的色温向较冷色温偏移。

6.如权利要求4所述的方法，其中调整所述一个或多个高显著性颜色包括以下至少一者：

增大所述一个或多个高显著性颜色的饱和度；

增大所述一个或多个高显著性颜色的亮度；或者

将所述一个或多个高显著性颜色的色温向较暖色温偏移。

7.如权利要求4所述的方法，其中所述一个或多个低显著性颜色或所述一个或多个高显著性颜色中的至少一者是基于所述多个下采样像素的所述深度信息来调整的。

8.如权利要求4所述的方法，其中调整所述一个或多个低显著性颜色或所述一个或多个高显著性颜色中的至少一者包括：

调整与所述显著性图、所述对象分段图或所述深度图中的至少一者相关联的一个或多个像素。

9.如权利要求1所述的方法，其中显著性值、对象分段分类或深度值中的至少一者对应于与所述多个帧相关联的所述颜色空间的每个颜色，其中所述CMF是基于所述颜色空间的每个颜色的所述显著性值或所述深度值中的至少一者来确定的。

10.如权利要求1所述的方法，其中分析所述下采样图像中的一个或多个像素以及所述显著性图、所述对象分段图或所述深度图中的至少一者中的一个或多个像素。

11.如权利要求10所述的方法，其中对所述下采样图像并对所述显著性图、所述对象分段图或所述深度图中的至少一者执行统计分析。

12.如权利要求1所述的方法，其中所述显著性图、所述对象分段图或所述深度图中的至少一者基于所述第一帧的显著性信息、所述第一帧的深度信息或所述第一帧的对象信息中的至少一者。

13.如权利要求1所述的方法，其中所述显著性图、所述对象分段图或所述深度图中的至少一者是使用神经网络(NN)、卷积神经网络(CNN)或人工智能(AI)分析来生成的。

14.如权利要求1所述的方法，其中所述CMF是多项式或三维(3D)查找表(LUT)。

15.如权利要求1所述的方法，进一步包括：

对所述第一帧的图像进行下采样以产生所述第一帧的所述下采样图像，其中所述下采样图像是在检测到以下至少一者之际产生的：所述相继帧之间的场景改变或所述阈值数目个收到帧。

16.如权利要求1所述的方法，其中所述多个帧中的每个帧是在显示处理单元(DPU)处接收的。

17.一种用于显示处理的装置，包括：

存储器；以及

至少一个处理器，所述至少一个处理器耦合至所述存储器并被配置成：

检测以下至少一者：多个帧中的相继帧之间的场景改变或所述多个帧中的阈值数目个收到帧，所述多个帧中的每个帧包括多个像素，所述多个帧中的第一帧对应于所述相继帧之间的场景改变或所述阈值数目个收到帧；

基于所述第一帧的下采样图像来生成显著性图、对象分段图或深度图中的至少一者，所述第一帧包括多个第一像素并且所述下采样图像包括多个下采样像素；以及

将用于与所述多个帧相关联的颜色空间的颜色映射函数(CMF)应用于所述多个帧中的一个或多个后续帧中的所述多个像素，所述CMF被应用直到以下至少一者：所述多个帧中的后续场景改变或所述多个帧中的后续阈值数目个收到帧。

18.如权利要求17所述的装置，其中所述多个下采样像素的第一颜色群或所述多个下采样像素的第二颜色群中的至少一者基于所述下采样图像并基于所述显著性图、所述对象分段图或所述深度图中的至少一者被标识。

19.如权利要求18所述的装置，其中所述第一颜色群是一个或多个低显著性颜色，或者是包括深度范围内的深度的一个或多个颜色，而所述第二颜色群是一个或多个高显著性颜色，或者是包括深度范围外的深度的一个或多个颜色。

20.如权利要求19所述的装置，其中所述至少一个处理器被进一步配置成：

调整所述一个或多个低显著性颜色或所述一个或多个高显著性颜色中的至少一者，其中所述多个下采样像素的深度信息对应于包括所述深度范围内的深度的所述一个或多个颜色或者包括所述深度范围外的深度的所述一个或多个颜色。

21.如权利要求20所述的装置，其中调整所述一个或多个低显著性颜色包括所述至少一个处理器被进一步配置成以下至少一者：

减小所述一个或多个低显著性颜色的饱和度；

减小所述一个或多个低显著性颜色的亮度；或者

将所述一个或多个低显著性颜色的色温向较冷色温偏移。

22.如权利要求20所述的装置，其中调整所述一个或多个高显著性颜色包括所述至少一个处理器被进一步配置成以下至少一者：

增大所述一个或多个高显著性颜色的饱和度；

增大所述一个或多个高显著性颜色的亮度；或者

将所述一个或多个高显著性颜色的色温向较暖色温偏移。

23.如权利要求20所述的装置，其中所述一个或多个低显著性颜色或所述一个或多个高显著性颜色中的至少一者是基于所述多个下采样像素的所述深度信息来调整的。

24.如权利要求20所述的装置，其中调整所述一个或多个低显著性颜色或所述一个或多个高显著性颜色中的至少一者包括所述至少一个处理器被进一步配置成：

调整与所述显著性图、所述对象分段图或所述深度图中的至少一者相关联的一个或多个像素。

25.如权利要求17所述的装置，其中显著性值、对象分段分类或深度值中的至少一者对应于与所述多个帧相关联的所述颜色空间的每个颜色，其中所述CMF是基于所述颜色空间的每个颜色的所述显著性值或所述深度值中的至少一者来确定的。

26.如权利要求17所述的装置，其中分析所述下采样图像中的一个或多个像素以及所述显著性图、所述对象分段图或所述深度图中的至少一者中的一个或多个像素。

27.如权利要求26所述的装置，其中对所述下采样图像并对所述显著性图、所述对象分段图或所述深度图中的至少一者执行统计分析。

28.如权利要求17所述的装置，其中所述显著性图、所述对象分段图或所述深度图中的至少一者基于所述第一帧的显著性信息、所述第一帧的深度信息或所述第一帧的对象信息中的至少一者。

29.如权利要求17所述的装置，其中所述显著性图、所述对象分段图或所述深度图中的至少一者是使用神经网络(NN)、卷积神经网络(CNN)或人工智能(AI)分析来生成的。

30.如权利要求17所述的装置，其中所述CMF是多项式或三维(3D)查找表(LUT)。

31.如权利要求17所述的装置，其中所述至少一个处理器被进一步配置成：

对所述第一帧的图像进行下采样以产生所述第一帧的所述下采样图像，其中所述下采样图像是在检测到以下至少一者之际产生的：所述相继帧之间的场景改变或所述阈值数目个收到帧。

32.如权利要求17所述的装置，其中所述多个帧中的每个帧是在显示处理单元(DPU)处接收的。

33.一种用于显示处理的装备，包括：

用于检测以下至少一者的装置：多个帧中的相继帧之间的场景改变或所述多个帧中的阈值数目个收到帧，所述多个帧中的每个帧包括多个像素，所述多个帧中的第一帧对应于所述相继帧之间的场景改变或所述阈值数目个收到帧；

用于基于所述第一帧的下采样图像来生成显著性图、对象分段图或深度图中的至少一者的装置，所述第一帧包括多个第一像素并且所述下采样图像包括多个下采样像素；以及

用于将用于与所述多个帧相关联的颜色空间的颜色映射函数(CMF)应用于所述多个帧中的一个或多个后续帧中的所述多个像素的装置，所述CMF被应用直到以下至少一者：所述多个帧中的后续场景改变或所述多个帧中的后续阈值数目个收到帧。

34.一种计算机可读介质，存储用于显示处理的计算机可执行代码，所述代码在由处理器执行时使所述处理器：

检测以下至少一者：多个帧中的相继帧之间的场景改变或所述多个帧中的阈值数目个收到帧，所述多个帧中的每个帧包括多个像素，所述多个帧中的第一帧对应于所述相继帧之间的场景改变或所述阈值数目个收到帧；

基于所述第一帧的下采样图像来生成显著性图、对象分段图或深度图中的至少一者，所述第一帧包括多个第一像素并且所述下采样图像包括多个下采样像素；以及

将用于与所述多个帧相关联的颜色空间的颜色映射函数(CMF)应用于所述多个帧中的一个或多个后续帧中的所述多个像素，所述CMF被应用直到以下至少一者：所述多个帧中的后续场景改变或所述多个帧中的后续阈值数目个收到帧。