CN113228670A

CN113228670A - 对图像进行解码

Info

Publication number: CN113228670A
Application number: CN201980085262.3A
Authority: CN
Inventors: P·安德鲁万; M-J·柯莱蒂斯; D·图泽
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2018-12-21
Filing date: 2019-12-17
Publication date: 2021-08-06
Also published as: KR20210103549A; EP3900351A2; BR112021009839A2; WO2020131920A2; US20220086507A1; WO2020131920A3; US11722704B2; EP3672254A1

Abstract

一种用于解码图像的方法，其使得能够通过将图像调整到内容和将显示图像的呈现显示器的亮度特性来在最终渲染阶段保留艺术意图。获得表示图像和显示设备两者的亮度的值。根据这些值来调整显示自适应函数的参数，并且使用调整后的显示自适应函数来解码图像。在至少一个实施例中，调整后的显示自适应函数是色调映射函数。还描述了实现该方法的相应装置。

Description

对图像进行解码

1.技术领域

至少一个实施例一般涉及在保留所得图像的高保真度的同时分发视频，并且至少一个实施例特别涉及使用被确定为将图像调整到内容和将显示图像的呈现显示器的亮度特性的函数来解码图像。

2.背景技术

本部分旨在向读者介绍可能与下面描述和/或要求保护的至少一个实施例的各方面相关的技术的各方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解至少一个实施例和至少一个实施例的各个方面。

高效视频译码(HEVC)标准(ITU的ITU-T H.265电信标准化部门(02/2018)，系列H：视听和多媒体系统，视听服务的基础设施-运动视频的译码，高效视频译码，ITU-T H.265建议书)的出现使得能够部署具有增强的观看体验的新视频服务，诸如超HD服务。除了增加的空间分辨率之外，超HD格式可以分别比当前部署的高清晰度格式的标准色域(SCG)和标准动态范围(SDR)带来更宽的色域(WCG)和更高的动态范围(HDR)。已经提出了用于HDR/WCG视频的表示和译码的不同解决方案，例如感知传递函数感知量化器(PQ)(SMPTE ST 2084，“主控参考显示器的高动态范围电光传递函数(High Dynamic Range Electro-OpticalTransfer Function of Mastering Reference Displays)”，或Diaz,R.、Blinstein,S.和Qu,S.“将HEVC视频压缩与高动态范围视频流水线集成(Integrating HEVC VideoCompression with a High Dynamic Range Video Pipeline)”，SMPTE运动成像杂志，第125卷，第1期，2016年2月，第14-21页)。通常，SMPTE ST 2084允许仅用10或12比特来表示高达10000cd/m²的峰值亮度的HDR视频信号。

SDR与解码和渲染设备的后向兼容性是一些视频分发系统中的重要特征，例如广播或多播系统。基于单层编码/解码过程的解决方案可以是后向兼容的，例如SDR兼容的，并且可以利用已经就位的传统分发网络和服务。

这种基于单层的分发解决方案使得能够在支持HDR的消费电子(CE)设备上实现高质量HDR渲染，同时还在支持SDR的CE设备上提供高质量SDR渲染。这种解决方案基于编码信号(例如SDR信号)和关联元数据(通常每个视频帧或场景仅使用几个字节)，所述关联元数据可以用于根据解码信号重构另一信号，例如SDR或HDR信号。

基于单层的分发方案的例子可以在ETSI技术规范TS103433-1V1.2.1(2017年8月)中找到。这种基于单层的分发方案在下面表示为SL-HDR1。

另外，HDR分发系统(工作流，以及解码和渲染设备)可能已经被部署。实际上，存在包括HDR内容的数个全球视频服务提供商。然而，分布式HDR材料可以以不匹配消费者终端设备特性的格式或特性来表示。通常，消费者终端设备使解码的材料适应其自身的特性。然而，由于与在制作环境中用于对原始内容分级的主控显示器相比，消费者终端设备特性之间的差异，在渲染方面，在HDR TV中采用的技术的通用性产生了重要差异。对于内容制作者，艺术意图保真度及其向消费者的渲染是最重要的。因此，“显示自适应”元数据可以在分级过程期间的产生阶段生成，或者在散发之前在质量检查操作员的控制下生成。当解码信号要适应于终端设备特性时，元数据使得能够向消费者传达艺术意图。

结合显示适配的基于单层的分发方案的例子可以在ETSI技术规范TS103433-2V1.1.1(2018年1月)中找到。这种基于单层的分发方案在下面表示为SL-HDR2。

这种基于单层的分发方案SL-HDR1或SL-HDR2生成元数据作为用于信号重构的参数。元数据可以是静态的或动态的。

静态元数据是指表示视频内容或其格式的参数，其对于例如视频(图像组)和/或节目保持相同。

静态元数据对于整个视频内容(场景、电影、剪辑...)是有效的，并且可以取决于图像内容本身或图像内容的表示格式。静态元数据可以定义例如图像格式、色彩空间或色域。例如，SMPTE ST 2086:2014，“支持高亮度和宽色域图像的主控显示器色量元数据(Mastering Display Color Volume Metadata Supporting High Luminance and WideColor Gamut Images)”定义了静态元数据，该静态元数据描述了用于在制作环境中对材料进行分级的主控显示器。主控显示器色量(MDCV)SEI(补充增强信息)消息对应于用于H.264/AVC(“用于一般视听服务的高级视频译码(Advanced video coding for genericaudiovisual Services)”，系列H：视听和多媒体系统，ITU-T H.264建议书，ITU的电信标准化部门，2017年04月)和HEVC视频编解码器的ST 2086。

动态元数据是内容相关信息，使得元数据可以随图像/视频内容而改变，例如针对每个图像或每组图像。作为示例，SMPTE ST 2094:2016，“用于色量变换的动态元数据(Dynamic Metadata for Color Volume Transform)”定义了通常在制作环境中生成的动态元数据。SMPTE ST 2094-30可以使用例如颜色重映射信息(CRI)SEI消息在HEVC和AVC译码的视频流中分发。

在ETSI TS103433-1 v1.2.1的附录E和ETSI TS103433-2 v1.1.1的子句7中记载的显示适配方法仅使用呈现显示的峰值亮度来控制在显示适配过程中所需的色调映射操作(或其逆操作)(例如，参见来自TS103433-1 v1.2.1的子句E.2)。根据内容分析和用于对HDR内容分级的主控显示器的特性来确定其它色调映射控制参数。然而，显示器(尤其是消费者HDR显示器)必须实现用于节能的功耗管理策略(https://eur-lex.europa.eu/LexUriServ/LexUriServ.do？uri＝OJ:L:2009:191:0042:0052:EN:PDF)并且它们的亮度/明亮度根据要显示的亮像素的表面、分布和值进行调整，以防止过度耗电。这种策略的应用影响了图像的渲染。在不考虑给定显示器的这些特性的情况下，显示适配的图片渲染可能不符合预期的外观(即，显示适配的图片渲染与在专业设备上的制作设施中所做的不同)，因为实际情况中的亮度可能远低于峰值亮度。

亮度用单位坎德拉每平方米(cd/m²平方米)表示。该单位取代了也可以使用的术语“尼特(nit)”(尽管它在国际单位系统中被弃用)。

例如，夜空的图像可以主要包括黑色像素(夜间-大约几个尼特)和几组非常亮的像素(星光-800尼特)。在这种情况下，内容的峰值亮度可以达到800尼特。如果显示器可以实现该峰值亮度，则图像的高亮部分(星光)将可能以800尼特被正确地显示。然而，在非常亮的图像(例如，表示法国南部中午的市场的场景(整个图片上的平均亮度为300尼特)的情况下，其中镜面光在凯迪拉克铬上反弹(800尼特)或者爆炸或渐变到白色效果...)，消费者显示器将可能不能在其最大峰值亮度能力(在该示例中为800尼特)下显示峰值亮度，同时遵守功耗规定。实际上，呈现显示器的实际峰值亮度至少取决于要表示的(高)亮区域的表面。

因此，由于显示设备的功率管理策略的不精确性，仅将呈现显示器的峰值亮度视为唯一特性的显示适配技术(可能是元数据引导的)可能不能令人满意地表示如在制作阶段所核准的艺术意图。

3.发明内容

以下呈现至少一个实施例的简化概述，以便提供对至少一个实施例的一些方面的基本理解。本概述不是对实施例的广泛综述。其不旨在标识实施例的关键或重要元素。以下概述仅以简化形式呈现至少一个实施例的一些方面，作为本申请中别处提供的更详细描述的序言。

根据至少一个实施例的一般方面，提供了一种用于对图像进行解码的方法，其通过将图像调整到内容和将显示图像的呈现显示器的亮度或明亮度特性来实现在最终渲染阶段的艺术意图保留。获得表示内容图像和呈现显示设备两者的亮度值。根据这些值来调整显示自适应函数的参数，从而确定出在图像解码过程中使用的调整的显示自适应函数。在至少一个实施例中，调整的显示自适应函数是色调映射函数。

在第一方面，本公开涉及一种用于解码图像的方法，包括：获得表示将显示图像的显示设备的亮度参数的第一值，获得表示将被显示的图像的亮度参数的第二值，以及使用其参数根据第一值和第二值调整的适配函数来解码图像。

在第二方面，本公开涉及一种用于对图像进行解码的装置，该装置包括处理器，该处理器被配置为：获得表示将显示图像的显示设备的亮度参数的第一值，获得表示将被显示的图像的亮度参数的第二值，以及使用其参数根据第一值和第二值来调整的适配函数来对图像进行解码。

在第三方面，本公开涉及一种计算机程序产品，其包括程序代码指令，当在计算机上执行该程序时，所述程序代码指令执行根据第一方面的方法的步骤。

在第四方面中，本公开涉及一种非暂时性处理器可读介质，其程序代码指令用于当在计算机上执行该程序时执行根据第一方面的方法的步骤。

从结合附图进行的以下示例描述中，本原理的特定性质以及本原理的其他目的、优点、特征和用途将变得明显。

4.附图说明

在附图中，示出了本原理的示例。其显示：

-图1示出了根据至少一个实施例的支持内容传递以利用改进的显示自适应特征进行显示的端到端工作流的高级表示；

-图2示出了根据基于单层的分发方案支持向HDR和SDR CE显示器进行传递的端到端处理工作流的示例；

-图3示出了图2的工作流的特定实现；

-图4a示出感知传递函数的示例的图示；

-图4b示出了用于映射的分段曲线的示例；

-图4c示出了用于将感知均匀信号转换到线性光域的曲线的示例；

-图5示出了其中实现了各个方面和实施例的系统的示例的框图；

-图6示出了用于根据内容最大平均亮度和呈现显示器最大平均亮度来调整显示自适应函数的实施例的示例；以及

-图7示出了根据第二实施例的色调映射曲线的调整，其中内容最大平均亮度和显示器最大平均亮度匹配。

相似或相同的元件用相同的参考数字表示。

5.具体实施方式

在下文中参考附图更全面地描述至少一个实施例，其中示出了至少一个实施例的示例。然而，实施例可以以许多替代形式来体现，并且不应被解释为限于本文阐述的示例。因此，应当理解，不旨在将实施例限于所公开的特定形式。相反，本公开旨在覆盖落入由权利要求限定的本申请的精神和范围内的所有修改、等同物和替代物。

本文所用的术语仅是为了描述特定示例的目的，而不是旨在限制。如本文所用，单数形式“一”、“一个”和“该/所述”旨在也包括复数形式，除非上下文另有明确指示。还应当理解，术语“包括”和/或“包含”在本说明书中使用时，表示存在所述的例如特征、整数、步骤、操作、元件和/或部件，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或它们的组合。此外，当元件被称为“响应”或“连接”到另一元件时，它可以直接响应或连接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“直接连接”到其它元件时，不存在中间元件。如本文所用，术语“和/或”包括一个或多个相关的所列项目的任何和所有组合，并且可以缩写为“/”。应当理解，尽管术语第一、第二等可以在这里用来描述各种元件，但是这些元件不受这些术语的限制。这些术语仅用于将一个元件与另一个元件区分。例如，在不脱离本申请的教导的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。尽管一些图包括通信路径上的箭头以示出通信的主要方向，但是应当理解，通信可以在与所描绘的箭头相反的方向上发生。关于框图和操作流程图描述了一些示例，其中每个框表示包括用于实现指定的逻辑功能(一个或多个)的一个或多个可执行指令的电路元件、模块或代码部分。还应当注意，在其它实现中，框中所标注的功能(一个或多个)可以不按所指明的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。本文中提到“根据示例”或“在示例中”意味着结合该示例描述的特定特征、结构或特性可被包括在至少一个实现中。在说明书中的各个地方出现的表达“根据示例”或“在示例中”不一定全部指代相同的示例，也不是必须与其他示例相互排斥的单独的或替代的示例。权利要求中出现的附图标记仅作为说明，并且不应对权利要求的范围具有限制作用。尽管没有明确描述，本示例和变型可以以任何组合或子组合来采用。

在下文中，图像数据指的是数据，例如，特定图像/视频格式的一个或几个样本阵列(例如，像素值)，其指定与图像(或视频)的像素值有关的信息和/或可由显示器和/或任何其他设备使用以便例如可视化和/或解码图像(或视频)的信息。图像通常包括第一采样阵列形状的第一分量，通常表示图像的亮度(或luma)，以及第二分量和其它采样阵列形状的第三分量，通常表示图像的色度(或彩度)。一些实施例使用一组色样阵列来表示相同的信息，例如传统的三色RGB表示。

在一个或多个实施例中，像素值由具有C个值的向量表示，其中C是分量的数目。向量的每一值通常用可定义像素值的动态范围的若干个比特来表示。

标准动态范围图像(SDR图像)是其亮度值通常用比高动态范围图像(HDR图像)中更少的比特数(通常为8)来表示的图像。因此，SDR和HDR图像的动态范围之间的差异是相对的，并且SDR图像可以具有例如多于8比特。由于较少的比特数，SDR图像通常不允许正确地渲染小的信号变化，尤其是在暗和亮的亮度范围中。在HDR图像中，信号表示通常被扩展以在其范围的全部或部分上保持信号的更高精度。例如，至少一个实施例使用10比特的亮度来表示HDR图像，并且提供8比特表示的4倍的值。该附加值允许表示更大的亮度范围，并且还可以允许表示更精细的亮度差。在HDR图像中，像素值通常以浮点格式(通常每个分量至少10比特，即浮点或半浮点)表示，最流行的格式是openEXR半浮点格式(例如每个像素48比特)或以具有长表示的整数表示，通常至少16位。

通常，两个不同的图像具有不同的亮度动态范围。图像亮度的动态范围是图像亮度值的最大值与最小值的比值。

通常，当图像的亮度的动态范围低于1000(例如500：例如100cd/m²，比0.2cd/m²)时，该图像被表示为标准动态范围(SDR)图像，并且当图像的亮度的动态范围等于或大于1000(例如10000：例如1000cd/m²比0.1cd/m²)时，该图像被表示为HDR图像。亮度用单位坎德拉/平方米(cd/m²)表示。该单位取代了也可以使用的术语“尼特”。

描述了用于对图像进行预处理、编码、解码和后处理的至少一个实施例，但是其扩展到对图像(视频)序列进行预处理、编码、解码和后处理，因为如下所述，对该序列中的每个图像进行顺序预处理、编码、解码和后处理。

在下文中，分量

表示图像n的分量m。这些分量

(其中m＝1、2、3)表示特定图像格式的图像I_n。通常，图像格式由色量(例如色度和动态范围)和颜色编码系统(例如RGB，YCbCr等)来表征。

根据至少一个实施例，提供了一种用于对图像进行解码的方法，该方法通过将图像调整到内容和呈现显示器的亮度特性来实现在最终渲染阶段的艺术意图保留，如图6和7中所详述的。

图1示出了根据至少一个实施例的支持内容递送以利用改进的显示自适应特征进行显示的端到端工作流的高级表示。图1包括装置A1。装置A1被配置为实现用于对图像或视频流进行预处理和编码的方法。图1还包括装置A2。装置A2被配置为实现如下所述的用于对图像或视频流进行解码和后处理的方法。图1还包括装置A3。装置A3与装置A2通信并且被配置成显示解码的和后处理的图像或视频流。

图1还包括一个分布式网络NET。两个远程装置A1和A2通过分布式网络NET通信，该分布式网络NET被配置为至少将编码图像或视频流从装置A1提供给装置A2。

装置A1包括被配置为实现如下所述的预处理和/或编码方法的至少一个设备。所述至少一个装置属于一组装置，包括例如移动设备、通信设备、游戏设备、平板(或平板计算机)、诸如膝上型计算机的计算机设备、静止图像相机、视频相机、编码芯片、静止图像服务器和视频服务器(例如，广播服务器、视频点播服务器或web服务器)。

装置A2包括被配置为实现如下所述的解码和/或后处理方法的至少一个设备。

装置A3包括被配置为实现显示方法的至少一个设备。

包括在装置A1、A2或A3中的至少一个设备属于一组设备，包括例如移动设备、通信设备、游戏设备、计算机设备、机顶盒、TV机(或电视)、平板(或平板计算机)、诸如膝上型计算机之类的计算机设备、显示器、头戴式显示器和渲染/显示芯片。

根据示例，网络是广播网络，其适于将静止图像或视频图像从装置A1广播到多个装置A2。基于DVB和基于ATSC的网络是这种广播网络的示例。

根据另一示例，网络是宽带网络，其适于将静止图像或视频图像从装置A1传送到多个装置A2。基于因特网的网络、GSM网络或IPTV网络是这种宽带网络的示例。

在实施例中，端到端工作流使用用于装置A1的广播服务器、用于装置A2的机顶盒、用于装置A3的电视机和DVB地面广播网络。

在备选实施例中，装置A2和A3组合在单个装置中，例如集成了机顶盒解码和后处理功能的电视。

在替代实施例中，分布式网络NET被其上存储了编码图像或视频流的物理封装介质所替代。

物理封装介质包括例如诸如蓝光盘和超HD蓝光的光学封装介质，以及诸如在OTT和VoD服务中使用的基于存储器的封装介质。

图1的分布式网络NET可以支持向HDR和SDR CE显示器的递送。例如，装置A1提供要通过网络NET递送的HDR和/或SDR内容，装置A2接收所递送的HDR和/或SDR内容，而装置A3(CE显示器)显示HDR或SDR内容。

图2示出了根据基于单层的分发方案的支持向HDR和SDR CE显示器递送的端到端处理工作流的示例。

这种基于单层的分发方案可以解决SDR直接向后兼容性。也就是说，该方案充分利用了已经存在的SDR分发式网络和服务，并且使得能够在支持HDR的CE设备上进行高质量的HDR渲染，包括在SDR CE设备上进行高质量的SDR渲染。

SL-HDR1是这种基于单层的分发方案的一个示例。

这种基于单层的分发方案还可以涉及在分布式网络上使用的方案，其中针对该分布式网络递送显示自适应动态元数据。这允许例如内容适应于用户的显示器。例如，动态元数据可以与PQ HDR视频信号一起递送。PQ表示Rec中规定的“感知量化”。ITU-RBT.2100“ITU-RBT.2100-1建议书，用于制作和国际节目交换的高动态范围电视的图像参数值”。

图2所示的工作流涉及具有相关联的SL-HDR元数据的基于单层的分发方案。这种方法示出了使用用于重构表示输入图像的三个分量

的三个分量

的方法的示例。这种重构基于表示解码图像的三个解码分量

和例如在SL-HDR1或SL-HDR2中指定的元数据。

信息数据ID确定使用基于单层的分发方案中的(例如SL-HDR1或SL-HDR2)哪一者。通常，实际上仅使用一个基于单层的分发方案，并且信息数据ID是固定值。如果可以使用多于一个基于单层的分发方案，则信息数据ID指示使用这些基于单层的分发方案中的哪一者。

通常，可以使用SL-HDR1和SL-HDR2，并且信息数据ID指示是否必须使用SL-HDR1或SL-HDR2。

如图所示，图2所示的基于单层的分发方案包括预处理步骤20、编码步骤23、解码步骤25和26以及后处理步骤28。

预处理步骤20的输入和输出分别是三元组分量

和

的，后处理步骤28的输入和输出分别是三元组分量

和

图2中所示的基于单层的分发方案可以包括可选的格式适配步骤21、22、27、29，以便使三个分量

的格式适配于要在这些分量上应用的进一步处理的输入。

例如，在步骤21(可选)，三个分量

的格式可以被适配为适合预处理步骤20的输入格式或编码步骤23的输入格式的格式。在步骤22(可选)，三个分量

的格式可以被适配为适合编码步骤23的输入格式的格式。

在步骤27(可选)，三个分量

的格式可以被适配为适合后处理步骤28的输入的格式，并且在步骤29，三个分量

的格式可以被适配为可以根据目标装置30(例如机顶盒、连接的TV、支持HDR/SDR的CE设备、超HD蓝光盘播放器)的至少一个特性定义的格式。

格式适配步骤(21、22、27、29)可以包括颜色空间转换和/或色域映射(和/或逆色域映射)。例如，当在不同的颜色空间和/或色域中表示输出图像的三个解码分量

和三个分量

或者输入图像的三个分量

时，可以使用逆色域映射。

可以使用通常的格式适配处理，例如R'G'B'到Y'CbCr或Y'CbCr到R'G'B'、BT.709到BT.2020或BT.2020到BT.709、下采样或上采样色度分量等。

例如，SL-HDR1可以使用ETSI技术规范TS103433-1V1.2.1(2017年8月)的附录D中规定的格式适配过程和逆色域映射。

输入格式适配步骤21还可以包括例如通过对三个分量

应用传递函数(诸如PQ或HLG传递函数或其逆)，来将三个分量

的比特深度适配为诸如10比特的比特深度。Rec.ITU-RBT.2100建议书提供了这种传递函数的示例。

在预处理步骤20中，当在步骤21中没有适配格式时，三个分量等

于三个分量

或者当在步骤21中适配了这些分量的格式时，三个分量

等于三个分量的适配版本

这三个输入分量被分解成三个分量

和由来自步骤21、200和/或203的参数形成的参数集SP。在步骤22期间，可以可选地适配三个分量

的格式以得到三个分量

切换步骤24确定三个分量

是否等于这三个分量

或这三个分量

在步骤23中，可以用任何视频编解码器对三个分量

进行编码，并且输出是包括比特流B的信号。输出信号在整个分布式网络被运送。

根据步骤23的变型，参数集SP和/或信息数据ID作为比特流B中的相关联的静态和/或动态元数据被传送，或者被带外传送。

根据一变型，参数集SP和/或信息数据ID作为特定信道上的关联静态和/或动态元数据来传送。

旨在由图1的装置A2解码的至少一个信号携带可包括伴随元数据的比特流B。

在一变型中，比特流B被存储在存储介质上，例如(超HD)蓝光盘或硬盘或机顶盒的存储器。

在一变型中，至少一些伴随的关联元数据被存储在存储介质上，例如(超HD)蓝光盘或硬盘或机顶盒的存储器。

在至少一个实现中，在步骤23中，利用诸如H.265/HEVC编解码器或H.264/AVC编解码器之类的视频编解码器对至少一个三元组分量

的序列进行编码，每个三元组分量表示一图像，并且可能表示相关联的元数据。

在步骤25中，至少部分地从比特流B或从另一特定信道获得参数集SP。该参数集SP中的至少一个参数也可以从单独的存储介质中获得。从参数集SP中的至少一个参数中导出处理参数PP。在步骤25中可以修改处理参数，以便将图像适配到内容和呈现显示器的亮度特性，如图6和7中所详细描述的。

在步骤26中，从比特流B获得三个解码分量

后处理步骤28是预处理步骤20的功能逆，或基本上是其功能逆。在后处理步骤28中，根据三个解码分量

和获得的参数集SP重构三个分量

更详细地，预处理步骤20包括步骤200至203。

在步骤200中，通过对三个分量

中的分量

应用映射函数来获得分量

分量

表示输入图像的亮度。

从数学上讲，

其中，MF是可以减小或增加图像亮度的动态范围的映射函数。注意，其逆，表示为IMF，可以分别增加或减小图像亮度的动态范围。

在步骤202中，通过对分量

应用逆映射函数来获得重构分量

其中IMF是映射函数MF的逆函数。因此，重构分量

的值属于分量

的值的动态范围。

在步骤201中，通过根据分量

和重构分量

校正表示输入图像的色度的分量

和

来导出分量

和

该步骤201允许控制根据三个分量

获得的颜色，并且允许与输入图像的颜色的感知匹配。通过调谐色度校正和逆映射步骤的参数，可以在控制下保持分量

和

(通常表示色度分量)的校正。因此，根据三个分量

获得的色彩饱和度和色调处于控制之下。通常，当使用非参数映射函数(步骤200)时，这种控制是不可能的。

可选地，在步骤203中，可以调整分量

以进一步控制感知饱和度，如下：

其中a和b是两个参数。

该步骤203允许控制亮度(由分量

表示)以允许在根据三个分量

获得的颜色(饱和度和色调)与输入图像的颜色之间的感知颜色匹配。

参数集SP可以包括与映射函数或其逆函数(步骤200、202和282)相关的信息数据、与色度校正(步骤201和281)相关的信息数据、与饱和度调节函数(特别是它们的参数a和b)(步骤203)相关的信息数据和/或与在格式适配阶段21、22、27、29中使用的可选转换相关的信息(例如色域映射和/或逆色域映射参数)。

参数集SP还可以包括输出图像的信息数据ID和信息特性，例如表示输出图像的三个分量

的格式(图2和3的步骤29，图3的步骤284)。

更详细地，后处理步骤28包括步骤280-282，其将参数集SP中的至少一个参数作为输入。

在可选步骤280中，可以如下调整三个分量

(即步骤27的输出)中的分量

其中a和b是处理参数PP的一部分，并且是从参数集SP的至少一个参数中导出的。

例如，当信息数据ID指示必须考虑SL-HDR1时执行步骤280，而当其指示必须考虑SL-HDR2时不执行步骤280。

在步骤282中，通过在对分量

或可选地

应用映射函数来获得三个分量

的分量

其中MF1是根据参数集SP的至少一个参数导出的映射函数。

在步骤281中，通过根据分量

或可选地

对三个分量

的分量

进行逆校正来导出三个分量

的分量

根据一实施例，将分量

和

与色度校正函数β(.)相乘，该色度校正函数由参数集SP的参数定义并且其值取决于分量

或可选地

从数学上讲，分量

由下式给出：

或者可选地，

图3表示图2的基于单层的方案的硬件友好版本，该版本包括两个附加步骤283和284，并且允许通过减少总线比特宽使用来降低硬件实现的复杂度。

在步骤283中，通过考虑参数集SP的参数，根据分量

和

(步骤S281的输出)获得表示为(R₁,G₁,B₁)的三个分量：

其中m₀，m₁,m₂,m₃是处理参数PP的一部分并且从参数集SP的至少一个参数中导出，以及S₀从分量

和

和参数集SP的其它参数中导出。

在步骤284，然后通过根据分量

(步骤282的输出)缩放三个分量(R₁,G₁,B₁)来获得三个分量

其中

(步骤282)。

根据图2或图3的端到端工作流的第一实施例，信息数据ID指示必须考虑SL-HDR1。

在等式(1)中的映射函数MF(.)减小了输入图像的亮度的动态范围，其逆等式(2)中的IMF(.)增加了分量

的动态范围，并且在等式(5)中的映射函数MF1(.)增加了分量

的动态范围。

根据第一实施例的第一变型，分量

是非线性信号，在文献中表示为亮度，其通过以下根据输入图像的伽马压缩RGB分量获得(步骤21)：

其中γ在一些实施方案中可为等于2.4的伽马因子。

根据第一变型，通过对输入图像的RGB分量应用伽马压缩来获得分量

(步骤21)：

其中A＝[A₁A₂A₃]^T是标准的3×3R'G'B'到Y'CbCr转换矩阵(例如，根据颜色空间，ITU-R BT.2020-2建议书或ITU-R BT.709-6建议书)，A₁，A₂，A₃是1×3矩阵，其中

A₁＝[A₁₁ A₁₂ A₁₃]

A₂＝[A₂₁ A₂₂ A₂₃]

A₃＝[A₃₁ A₃₂ A₃₃]

其中A_mn(m＝1,..,3,n＝1,..3)是矩阵系数。

在步骤201中，根据第一变型，根据分量

和伽马压缩的重构分量

与

的乘积之间的比率来校正分量：

其中

是取决于分量

的值，但也可以是取决于三个分量

的基色的恒定值。

针对例如BT.2020可以等于1.2。可能地，

也可以取决于ETSI TS103433-1 V.1.2.1子句C.2.3中规定的参数。

也可以是参数集SP中的参数。

进一步地，根据第一变型，三个分量

可以表示Y'CbCr 4:2:0伽马传递特性视频信号。

例如，可以如子句C.3.2(ETSI技术规范TS103433-1V1.2.1)中所指定的那样来确定与映射函数MF和/或其逆IMF和/或映射函数MF1(.)有关的控制参数。色度校正函数β(.)及其参数可以如子句C.2.3和C.3.4(ETSI技术规范TS103433-1V1.2.1)中所规定的那样来确定。与控制参数相关的信息数据、与映射函数或其逆函数相关的信息数据、以及与色度校正函数β(.)及其参数相关的信息数据是参数集SP的参数。例如，在附录F(ETSI技术规范TS103433-1V1.2.1的表F.1)中可以找到参数集SP的参数的数值的示例。

参数m₀,m₁,m₂,m₃和S₀可以如ETSI技术规范TS103433-1V1.2.1的第6.3.2.6款(matrixCoefficient[i]定义m₀,m₁,m₂,m₃)和第6.3.2.8款(kCoefficient[i]被用于构建S₀)中所规定的那样来确定，并且它们用于重构的用途可以如第7.2.4款(ETSI技术规范TS103433-1V1.2.1)中所规定的那样来确定。在步骤25中可以修改这些参数，以便将图像适配到内容和呈现显示器的亮度特性，如图6和7中所详细描述的。

根据第一实施例的第二变型，分量

是通过以下根据输入图像I₁的RGB分量获得的线性光亮度分量L：

根据第二变型，通过对输入图像I₁的RGB分量应用伽马压缩来导出分量

(步骤21)：

根据第二变型，通过根据第一分量

和伽马压缩的重构分量

与

的乘积之间的比率来校正分量

从而导出分量

(步骤201)。

其中

是一取决于分量

的值，并且可能是根据ETSI TS103433-1V.1.2.1子句C.3.4.2中规定的参数获得的，其中在等式(22)中

也可以是参数集SP中的参数。

进一步地，根据第二变型，三个分量

可以表示Y'CbCr 4:2:0伽马传递特性视频信号。

例如，与映射函数MF和/或其逆IMF和/或映射函数MF1(.)相关的控制参数可如子句C.3.2(ETSI技术规范TS103433-1V1.2.1)中所指定的那样来确定。色度校正函β(.)数及其参数可以如在第7.2.3.2款(ETSI技术规范TS103433-2V1.1.1)等式(25)中规定的那样来确定，其中f_sgf(Y_n)＝1。与控制参数相关的信息数据、与映射函数或其逆函数相关的信息数据、以及与色度校正函数β(.)及其参数相关的信息数据是参数集SP的参数。

参数m₀,m₁,m₂,m₃和S₀可以如ETSI技术规范TS103433-1V1.2.1的第6.3.2.6款(matrixCoefficient[i]定义m₀,m₁,m₂,m₃)和第6.3.2.8款(kCoefficient[i]被用于构建S₀)中所规定的那样来确定。用于重构的参数的用途可以如在第7.2.4款(ETSI技术规范TS103433-1V1.2.1)中所规定的那样来确定。在步骤25中可以修改这些参数，以便将图像适配到内容和呈现显示器的亮度特性，如图6和7中所详细描述的。

根据图2或图3的端到端工作流的第二实施例，信息数据ID指示必须考虑SL-HDR2。

在第二实施例中，三个分量

可表示为Y'CbCr 4:4:4全范围PQ10(PQ10比特)视频信号(在Rec.ITU-RBT.2100中规定)。提供了三个分量

其表示PQ 10比特图像数据和根据三个分量

(通常为10、12或16比特)计算的相关参数(一个或多个)。使用例如HEVC主10配置文件编码方案对所提供的分量进行编码(步骤23)。这些参数是参数集SP。

等式中(5)的映射函数MF1(.)可以根据变型增加或减小分量

的动态范围。

例如，当连接的HDR CE显示器的峰值亮度高于内容的峰值亮度时，映射函数MF1(.)增加动态范围。当连接的HDR或SDR CE显示器的峰值亮度低于内容的峰值亮度时，映射函数MF1(.)减小动态范围。例如，峰值亮度可以是参数集SP的参数。

例如，与映射函数MF1相关的控制参数可如子句C.3.2(ETSI技术规范TS103433-1V1.2.1)中所规定的那样来确定。色度校正函数β(.)及其参数可以如在第7.2.3.2款(ETSI技术规范TS103433-2V1.1.1)等式(25)中所规定的那样来确定，其中f_sgf(Y_n)＝1。与控制参数相关的信息数据、与映射函数相关的信息数据、以及与色度校正函数β(.)及其参数相关的信息数据是参数集SP的参数。例如，在附录F(表F.1)(ETSI技术规范TS103433-2V1.1.1)中可以找到参数集SP的参数的数值的示例。

参数m₀,m₁,m₂,m₃(由ETSI技术规范TS103433-2V1.1.1中的matrixCoefficient[i]定义)和S₀(由ETSI技术规范TS103433-2V1.1.1中的kCoefficient[i]构建)可以如子句7.2.4(ETSI技术规范TS103433-2V1.1.1)中所规定的那样来确定。在步骤25中可以修改这些参数，以便将图像调整到内容和呈现显示器的亮度特性，如图6和7中所详细描述的。

根据第二实施例的第一变型，表示输出图像的三个分量

是三个分量

根据第二实施例的第二变型，在后处理步骤28中，在解码之后根据三个分量

和参数集SP的参数重构三个分量

(步骤25)。

三个分量

可用于支持SDR或HDR的CE显示器。如上所解释的，可能适配三个分量

的格式(步骤29)。

映射函数MF(.)或MF1(.)基于感知传递函数。感知传递函数的目标是将输入图像的分量转换成输出图像的分量，从而减小(或增加)其亮度值的动态范围。因此，输出图像的分量的值属于比输入图像的分量的值更低(或更高)的动态范围。感知传递函数使用有限的控制参数集。

图4a示出了可以用于映射亮度分量的感知传递函数的示例的图示，但是可以使用用于映射亮度分量的类似感知传递函数。所述映射由主控显示器峰值亮度参数(等于图4a中的5000cd/m²)控制。为了更好地控制黑色和白色水平，应用了在内容相关的黑色和白色水平之间延伸的信号。然后，使用由三部分构成的分段曲线来映射转换后的信号，如图4b所示。上、下段均为直线，陡度分别由shadowGain(阴影增益)控制和highlightGain(高亮增益)控制参数确定。中间段是抛物线，在两个直线段之间提供连续和平滑的桥。交叉的宽度由midToneWidthAdjFactor(中间色调宽度调整因子)参数确定。控制映射的所有参数可以作为元数据来传送，例如通过使用ETSI TS103433-1附录A.2元数据中指定的SEI消息。

图4c示出了感知传递函数TM(图4a)的逆的示例，以说明如何基于目标传统显示器最大亮度(例如100cd/m²)将感知上优化的亮度信号转换回线性光域。

在步骤25(图2或3)中，获得参数集SP以根据三个分量

重构三个分量

在显示自适应过程中使用的处理参数PP可以从包括参数集SP的元数据中导出，并且从比特流(例如比特流B)中获得。处理参数PP进一步可以在步骤25中被修改，以将图像调整到内容和呈现显示器的亮度特性，如图6和7中所详细描述的。

ETSI TS103433-1V1.2.1第6款和附录A.2提供了元数据的语法的示例。该ETSI建议书的语法被描述用于根据SDR视频重构HDR视频，但是该语法可以扩展到根据任何解码的分量重构任何图像。作为示例，TS103433-2V1.1.1使用相同的语法来根据HDR视频信号(具有不同的动态范围)重构显示器适配的HDR视频。

根据ETSI TS103433-1V1.2.1，可以根据所谓的基于参数的模式或基于表的模式来传送动态元数据。基于参数的模式对于分发工作流可能是感兴趣的，分发工作流的目标是例如提供具有非常低的附加有效载荷或带宽使用率的直接SDR向后兼容服务以用于携带动态元数据。基于表的模式对于配备有低端终端的工作流或者当需要更高级别的自适应来适当地表示HDR和SDR流时可能是感兴趣的。在基于参数的模式中，要传送的动态元数据包括表示要在后处理步骤应用的逆映射函数的亮度映射参数，即tmInputSignalBlackLevelOffset；tmInputSignalWhiteLevelOffset；shadowGain；highlightGain；midToneWidthAdjFactor；tmOutputFineTuning参数。

此外，要传送的其它动态元数据包括用于微调默认色度校正函数β(.)的颜色校正参数(saturationGainNumVal,saturationGainX(i)和saturationGainY(i))，如ETSITS103433-1V1.2.1子句6.3.5和6.3.6中所规定的那样。参数a和b可以分别在如上所述的saturationGain函数参数中携带。这些动态元数据可以使用例如HEVC SL-HDR信息(SL-HDRI)用户数据注册SEI消息(参见ETSI TS103433-1V1.2.1附录A.2)或诸如AVS2/IEEE1857.4规范中规定的另一扩展数据机制来传送。典型的动态元数据有效载荷大小小于每图片或场景100字节。

回到图3，在步骤25中，解析SL-HDRI SEI消息以获得参数集SP中的至少一个参数。在显示自适应过程中使用的过程参数PP可以从包括参数集SP的元数据中导出。在步骤25中，可以进一步修改处理参数PP，以将图像调整到内容和呈现显示器的亮度特性，如图6和7中详细示出的。

在步骤282和202中，根据所获得的映射参数(更详细地参见ETSI TS103433-1V1.2.1子句7.2.3.1；TS103433-2V1.1.1的相同子句)重构(或导出)逆映射函数(所谓的lutMapY)。

在步骤282和202中，色度校正函数β(.)(所谓的lutCC)也根据所获得的颜色校正参数重构(或导出)(更详细地参见ETSI TS103433-1V1.2.1子句7.2.3.2；TS103433-2V1.1.1的相同子句)。

在基于表的模式中，要传达的动态数据包括表示映射函数的分段线性曲线的支点。例如，动态元数据是指示支点数量的luminanceMappingNumVal、指示支点的横坐标(x)值的luminanceMappingX、以及指示支点的纵坐标(y)值的luminanceMappingY(更多细节参见ETSI TS103433-1V1.2.1子句6.2.7和6.3.7)。此外，要传送的其它动态元数据可以包括表示色度校正函数β(.)的分段线性曲线的支点。例如，动态元数据是指示支点数量的colorCorrectionNumVal、指示支点的x值的colorCorrectionX、以及指示支点的y值的colorCorrectionY(更多细节参见ETSI TS103433-1V1.2.1子句6.2.8和6.3.8)。这些动态元数据可以使用例如HEVC SL-HDRI SEI消息来传送(子句6参数与附录A分发元数据之间的映射在ETSI TS103433-1V1.2.1的附录A.2.3中提供)。

在步骤25中，解析SL-HDRI SEI消息，以获得表示逆映射函数的分段线性曲线的支点和表示色度校正函数β(.)的分段线性曲线的支点，以及色度到亮度注入参数a和b。这些参数是显示自适应过程中使用的过程参数PP的一部分，并且可以在步骤25中进一步修改这些参数，以将图像调整到内容和呈现显示的亮度特性，如图6和7中详细示出的。

在步骤282和202中，根据相对于表示逆映射函数ITM的分段线性曲线的那些支点导出逆映射函数(更详细地参见ETSI TS103433-1V1.2.1子句7.2.3.3；ETSI TS103433-2V1.1.1的相同子句)。

在步骤281和201中，色度校正函数β(.)也根据相对于代表色度校正函数β(.)的分段线性曲线的那些支点导出(更详细地参见ETSI TS103433-1V1.2.1子句7.2.3.4；TS103433-2V1.1.1的相同子句)。

注意，也由后处理步骤使用的静态元数据可由SEI消息来传送。例如，基于参数的模式或基于表格的模式的选择可以由ETSI TS103433-1V1.2.1(子句A.2.2)所指定的payloadMode信息来执行。静态元数据(例如，基色或最大主控显示器亮度)由AVC、HEVC中规定的主控显示器音量(MDCCV)SEI消息来传送，或者被嵌入ETSI TS103433-1V1.2.1附录A.2中规定的SL-HDRI SEI消息中。

根据步骤25的实施例，信息数据ID由比特流中的语法元素显式地用信号通知，并且因此通过解析比特流来获得。举例来说，语法元素是SEI消息的一部分，例如包含在SL-HDRI SEI消息中的sl_hdr_mode_value_minus1语法元素。

根据实施例，信息数据ID标识要应用于输入图像以处理参数集SP的处理。根据该实施例，信息数据ID然后可以用于推断如何使用参数来重构三个分量

(步骤25)。

例如，当等于1时，信息数据ID指示已经通过将SL-HDR 1预处理步骤(步骤20)应用到输入HDR图像而获得了参数集SP，并且三个分量

表示SDR图像。当等于2时，信息数据ID指示已经通过将SL-HDR2预处理步骤(步骤20)应用到HDR 10比特图像(步骤20的输入)获得了参数，并且三个分量

表示HDR 10图像。

根据实施例，在显示自适应过程中使用的处理参数PP可以从包括参数集SP的元数据中导出，并且从比特流中获得，例如比特流B。在步骤25中，可以进一步修改处理参数PP，以将图像调整到内容和呈现显示器的亮度特性，如图6和7中所详细示出的。

在图1-4C和6上，模块是功能单元。在各种实施例中，这些功能单元中的所有、一些或没有一个对应于可区分的物理单元。例如，这些模块或其中的一些可以被一起引入到唯一的组件或电路中，或者有助于软件的功能。作为另一示例，一些模块可以由单独的物理实体组成。使用纯硬件来实现各种实施例，例如使用专用硬件，诸如ASIC或FPGA或VLSI(分别为专用集成电路、现场可编程门阵列、超大规模集成)，或根据被嵌入在设备中的若干被集成的电子组件，或根据硬件和软件组件的混合来实现各种实施例。

图5示出了其中实现了各个方面和实施例的系统的示例的框图。系统5000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本申请中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统5000的元件可以单独地或组合地实现在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统5000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统5000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其它类似系统或其它电子设备。在各种实施例中，系统5000被配置为实现本文档中描述的一个或多个方面。

系统5000包括至少一个处理器5010，其被配置为执行加载在其中的指令以用于实现例如本文档中描述的各个方面。处理器5010可包含嵌入式存储器、输入输出接口及此项技术中已知的各种其它电路。系统5000包括至少一个存储器5020(例如，易失性存储器设备和/或非易失性存储器设备)。系统5000包括存储设备5040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备5040可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。

系统5000包括编码器/解码器模块5030，其被配置成例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块5030可以包括其自己的处理器和存储器。编码器/解码器模块5030表示可以包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括编码和解码模块中的一者或两者。另外，编码器/解码器模块5030可以被实现为系统5000的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合而被并入处理器5010内。

要加载到处理器5010或编码器/解码器5030上以执行本文档中描述的各个方面的程序代码可存储在存储设备5040中，且随后加载到存储器5020上以供处理器5010执行。根据各种实施例，处理器5010、存储器5020、存储设备5040和编码器/解码器模块5030中的一者或多者可以在执行本文档中描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。

在若干实施例中，处理器5010和/或编码器/解码器模块5030内部的存储器用于存储指令且提供用于在编码或解码期间需要的处理的工作存储器。

然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可以是处理器5010或编码器/解码器模块5030)被用于这些功能中的一者或多者。外部存储器可以是存储器5020和/或存储设备5040，例如，动态易失性存储器和/或非易失性闪存。在若干实施例中，外部非易失性闪存用于存储设备的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如MPEG-2、HEVC或VVC(通用视频译码)。

如框5030中所示，可以通过各种输入设备来提供对系统5000的元件的输入。这样的输入设备包括但不限于(i)接收例如由广播方通过空中传输的RF信号的RF部分，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。

在各种实施例中，框5030的输入设备具有如本领域中已知的相关联的相应输入处理元件。例如，RF部分可以与用于以下的必要的元件相关联：(i)选择期望的频率(也称为选择信号，或者将信号频带限制到频带)，(ii)将所选择的信号下变频，(iii)再次频带限制到较窄的频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用，以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。

在一个机顶盒实施例中，RF部分及其相关的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。

各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。

添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。

另外，USB和/或HDMI端子可以包括用于通过USB和/或HDMI连接将系统5000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如里德-所罗门纠错，可以根据需要在例如单独的输入处理IC内或处理器5010内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理器5010内实现。将解调、纠错和解复用的流提供给各种处理元件，包括例如处理器5010和编码器/解码器5030，它们与存储器和存储元件结合操作以便根据需要处理数据流以便呈现在输出设备上。

系统5000的各种元件可以设置在集成壳体内。在集成壳体内，各种元件可以使用合适的连接布置互连并在其间传输数据，例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板。

系统5000包括使得能够经由通信信道5060与其他设备通信的通信接口5050。通信接口5050可以包括但不限于被配置为通过通信信道5060来发射和接收数据的收发器。通信接口5050可以包括但不限于调制解调器或网卡，并且通信信道5060可以例如在有线和/或无线介质内实现。

在各种实施例中，使用诸如IEEE 802.11的Wi-Fi网络将数据流式传输到系统5000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道5060和通信接口5050被接收。这些实施例的通信信道5060通常连接到接入点或路由器，其提供对包括因特网的外部网络的接入以允许流式应用和其它过顶通信。

其它实施例使用通过输入框5030的HDMI连接递送数据的机顶盒向系统5000提供流式数据。

还有其它实施例使用输入框5030的RF连接向系统5000提供流式数据。

在一些实施例中，显示器5100、扬声器5110和外围设备5120被集成到系统5000中。电视、平板电脑和膝上型计算机是这些实施例的示例。

图6示出了用于根据内容最大平均亮度和呈现显示器最大平均亮度来调整显示自适应函数的实施例的示例。该图同时表示执行自适应和相应方法步骤所需的体系结构。

在步骤600中，从比特流B或从另一特定信道获得参数集SP。在步骤605中，从该参数集中导出处理参数PP。这些处理参数包括与上述后处理阶段相关的参数(例如a,b,m₀,m₁,m₂,m₃)，并且至少在图2或图3的框280、281、282、283、284或29之一中使用。在步骤610中，从显示设备获得显示器最大平均亮度值。表示消费者呈现显示器的亮度特性的信息数据(诸如平均峰值亮度(APL)或全白片亮度)可以通过CTA-861-G中规定的HDR静态元数据块来携带，并且自HDMI 2.0a.以来作为选项被支持，尤其是期望的内容最大帧平均亮度数据，以及期望的内容最大亮度数据和期望的内容最小亮度数据(CTA-861-G的7.5.13节中的表84，参见下面的表1)。该信息数据也可以用于呈现显示器寄存器中，并且它可以由位于呈现显示器本身内部的元数据引导的显示自适应模块访问。该信息在下文中被引用为L_mdisp。

表1

在步骤620中，从表示内容的数据获得内容最大平均亮度值，例如从参数集SP提取的数据或直接通过分析内容(例如通过计算如在ETSI TS103433-1 v1.1.1的子句C.3.2.3和等式(C.46)中记载的LightnessHDR)获得。在步骤630中，可以将这些值一起进行比较，以决定是否需要调整从参数集(SP)导出的显示自适应处理参数。开关640被设置在适当的位置，以使模块25提供调整的PP参数或未调整的PP参数。在第一种情况下，在步骤650中调整参数集，并将其提供给设备的其它模块，以便对内容信号进行后处理(图2和图3中的步骤28)，例如以便解码和显示视频。在一个实施例中，系统地调整参数。

在实施例中，该调整影响表示在显示自适应处理中使用的色调映射曲线的SL-HDR1或SL-HDR2的以下参数中的至少一者：控制低光映射陡度的shadowGain控制参数、通常在肤色相关区域中控制低光和亮光映射之间的过渡的midToneWidthAdjFactor参数、或控制亮光(镜面光)映射的highlightGain控制参数(见图4b)。

在一实施例中，显示器最大平均亮度是从上面的表1中携带的期望内容最大帧平均亮度值获得的，并且内容最大平均亮度由内容的最大帧平均亮度水平(MaxFALL——在CTA-861-G的附录P中规定)表示。MaxFALL可以存在于沿着译码的流携带的内容光信息SEI消息中，或者存在于在动态范围和主控信息帧中携带的CTA-861-G的静态元数据类型1(章节6.9.1)中。

当MaxFALL信息数据不可用时，可以使用表示内容的平均亮度的另一值，诸如可以考虑主控显示器最小亮度、主控显示器最大亮度、和输入HDR图像平均亮度值的几何平均值(其可以由诸如已经在当前TV图像处理流水线中实现的内容直方图分析模块获得)。可替换地，内容最大平均亮度由参考白色水平(例如，参考白色或HDR参考白色或扩散白色或图形白色，诸如在ITU-R建议书BT.2408-1“HDR电视制作中的操作实践(Operational Practicesin HDR Television Production)”，04/2018中记载的)表示。

在一实施例中，判定步骤630包括直接比较值，并且判定在内容比显示器能够处理的更亮的情况下，即，当MaxFALL>L_mdisp时，适配参数集。

在一实施例中，判定步骤630包括在直接比较之前的值的加权因子，并且在内容比显示器能够处理的加权值更亮的情况下，即当MaxFALL>α.L_mdisp(α在0.5到2范围内)时，判定适配参数集。通常，OLED显示器和LED显示器是由固有地取决于它们的技术设计的两种不同的功耗策略所提供的两种不同的技术。平均峰值亮度驱动对于每种显示技术可以有不同的反应，并且α缩放因子说明了这种不同。

在一实施例中，在SL-HDRx显示自适应处理中，将呈现显示器最大平均亮度(L_mdisp)值与作为色调映射部分的阴影增益控制部分的调制函数的内容MaxFALL组合，并且可以通过调制函数如下调制用于显示自适应的重新计算的参数。

在第一实施例中，可以确定缩放因子并将其用作调制函数：

其中L_mdisp是呈现显示器的最大帧平均亮度。通常，该值从HDR静态元数据块(CTA-861-G)的期望内容最大帧平均亮度字段中检索，MaxFALL是输入HDR内容的最大帧平均亮度水平(该值通常从内容亮度水平信息SEI消息中检索)，并且加权因子α通常在范围[0.5；2]。

在第一实施例的变型中：

在第一实施例的第二变型中，缩放因子用于调制表示色调映射曲线的参数，并且基于色调映射曲线表示中的MaxFALL或L_mdisp的坐标。

其中

以及

缩放因子可以由这些坐标的比率定义，并且κ和λ分别在TS103433-1v1.2.1的等式(E.1)和(E.2)中定义。例如：

或

然后，应用调制函数(作为因子)来重新计算TS103433-1 v1.2.1的等式(E.11)中的SGC_DA：

在一可选实施例中，子句C.3.2.3的等式(C.52)由调制函数调制。

在一可选实施例中，如子句C.3.2.3中记载的那样计算shadowGain，除了等式(C.52)修改如下：

或者，仅LightnessHDRHigh如上所述进行修改。

或者，在上述和其余的文档中

用

来代替。

在这种实施例的一个例子中，其它重新计算的显示器自适应参数(例如，para_DA、highlighGain_DA,midToneWidthAdjFactor_DA)如公式(E.12)到(E.16)中所记载的那样被保存。

在至少一个实施例中，仅当呈现显示器最大平均亮度值L_mdisp小于乘以因子的内容MaxFALL时，才通过如本发明中所提出的调制函数来调制重新计算的显示器自适应参数，所述因子包括在0.5和大于1的正值(例如2)之间。实际上，在这种情况下，内容可能不是如预期的那样显示，因为呈现显示器可以根据从面板发射的光来施加限制，并且本发明允许然后在适配内容时考虑能量限制来保持内容艺术意图的最大值。实际上，显示自适应参数在感知均匀域中缩放，缩放取决于显示器相对于其功耗控制的实际能力。此外，本申请的意图是当内容最大帧平均亮度与呈现显示器能量策略相兼容时(即，当MaxFALL不知何故小于呈现显示器的最大平均亮度值时)，不改变适配函数的显示适配参数(例如，色调映射曲线)。在这种情况下，SL-HDR1的附录E的等式和SL-HDR2的子句7保持不变(即，图6的步骤640绕过适配步骤650)。意图是当内容相对于显示能力(就全白片而言)平均来说太亮时，显示器自适应色调映射相应地压缩或缩放色调映射曲线(使用更积极的色调映射)，使得显示器适配和调制的内容将以更受控的方式被色调映射。实际上，当显示器自适应色调映射曲线未被适配时，内容将由呈现显示器色调映射，使得能量策略被满足，这导致不受控制的结果。

在其他变型实施例中，调制函数可以应用于表示色调映射曲线的另一部分的其他参数。例如，调制函数可类似于以上详细等式而应用于附录E(例如，para_DA、highlighGain_DA、midToneWidthAdjFactor_DA)的适当参数。

所提出的原理可以扩展到任何其他的分析色调映射曲线。

图7示出了根据第二实施例的色调映射曲线的调整，其中内容最大平均亮度和显示器最大平均亮度匹配。色调映射是在自适应处理中使用的函数的一个示例。考虑ETSITS103433-1的等式(C.20)：

当考虑色调映射曲线的第一部分中

和

时，其中y＝SGC×x，推导：

其中：

L_mdisp是呈现显示器的最大帧平均亮度。通常，该值从HDR静态元数据块(CTA-861-G)的期望内容最大帧平均亮度场中检索，并且MaxFALL是输入HDR内容的最大帧平均光水平。通常，从内容光水平信息SEI消息中检索该值。其它参数a、b、c和HGC记载在TS103433-1的子句C.2.2.4中。

在该第二实施例的第一变型中，根据等式(C.27)和(C.23)计算shadowGain参数：

其中expgain由(C.24)给出。

HGC是固定的(预定的)，并且HGC来自输入的元数据(用于SL-HDR1的SDR到HDR重构中，或者仅仅来自SL-HDR2的元数据)，midToneWidthAdjFactor由(C.2)和上述SGC等式重新计算：

在第二实施例的其它变型中，代替将L_mdisp与MaxFALL匹配，L_mdisp与色调映射曲线的特定点匹配，例如，曲线的部分之间的结点：

如TS103433-1的等式(C.22)中定义的x_SGC；

如TS103433-1的等式(C.22)中定义的x_HGC。

系统5000可以向各种输出设备提供输出信号，所述各种输出设备包括显示器5100、扬声器5110和其他外围设备5120。在实施例的各种示例中，其他外围设备5120包括以下一者或多者：独立DVR、盘播放器、立体声系统、照明系统以及基于系统5000的输出提供功能的其他设备。

在各种实施例中，使用诸如AV.链路、CEC或其他通信协议的信令在系统5000和显示器5100、扬声器5110、或其他外围设备5120之间传送控制信号，其使得能够在有或没有用户干预的情况下进行设备到设备控制。

输出设备可以经由专用连接通过相应的接口5070、5080和5090通信地耦合到系统5000。

或者，输出设备可以使用通信信道5060经由通信接口5050连接到系统5000。显示器5100和扬声器5110可以与系统5000的其它组件一起集成在诸如电视机之类的电子设备中的单个单元中。

在各种实施例中，显示接口5070包括显示驱动器，例如，定时控制器(T Con)芯片。

例如，如果输入5130的RF部分是单独机顶盒的一部分，则显示器5100和扬声器5110可以替代地与其他组件中的一者或多者分离。在显示器5100和扬声器5110是外部组件的各种实施例中，输出信号可以经由专用输出连接提供，所述专用输出连接包括例如HDMI端口、USB端口或COMP输出。

本文所述的各种过程和特征的实施方式可以体现在各种不同的设备或应用中。这种设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、web服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA、用于处理图像或视频的任何其他设备、以及任何其他通信装置。应当清楚，该设备可以是移动的，甚至可以安装在移动车辆中。

另外，所述方法可由处理器执行的指令实施，且此类指令(和/或由实施方式产生的数据值)可存储在计算机可读存储介质上。计算机可读存储介质可以采取计算机可读程序产品的形式，该计算机可读程序产品包含在一个或多个计算机可读介质中，并且具有包含在其上的计算机可读程序代码，该计算机可读程序代码可由计算机执行。如本文所使用的计算机可读存储介质被认为是非暂时性存储介质，其被赋予在其中存储信息的固有能力以及提供从其检索信息的固有能力。计算机可读存储介质可以是，例如但不限于，电、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。应当理解，尽管提供了计算机可读存储介质的更具体的示例，但是以下仅是说明性的而非穷举性的列举，如本领域普通技术人员容易理解的：便携式计算机；软盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式光盘只读存储器(CD-ROM)；光学存储设备；磁存储设备；或前述的任何合适的组合。

指令可以形成有形地包含在处理器可读介质(也称为计算机可读介质或计算机可读存储介质)上的应用程序。指令可以是例如硬件、固件、软件或其组合。指令可以在例如操作系统、单独的应用程序或两者的组合中找到。因此，处理器可以被表征为例如被配置为执行处理的装置和包括具有用于执行处理的指令的处理器可读介质(诸如存储装置)的装置。此外，处理器可读介质可以存储由实现方式产生的数据值，作为指令的补充或替代。

如本领域技术人员将明白的，实施方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实施方式之一产生的数据。例如，信号可以被格式化为将用于写入或读取所描述的示例的语法的规则作为数据来携带，或者将由所描述的示例写入的实际语法值作为数据来携带。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路来传输。该信号可以存储在处理器可读介质上。

已经描述了许多实施方式。然而，应当理解，可以进行各种修改。例如，不同实施方式的元素可以被组合、补充、修改或移除以产生其他实施方式。另外，本领域技术人员将理解，其他结构和过程可以替代所公开的那些，并且所得到的实施方式将以至少基本上相同的方式(一个或多个)执行至少基本上相同的功能(一个或多个)，以实现与所公开的实施方式至少基本上相同的结果(一个或多个)。因此，本申请考虑了这些和其他实施方式。

在第一方面的实施例中，仅当第二值大于第一值时才调整参数。在第一方面的实施例中，第一值是将显示图像的显示设备的期望内容最大帧平均亮度。在第一方面的实施例中，第二值是将被显示的图像的内容最大帧平均亮度。在第一方面的实施例中，第一值是将显示图像的显示设备的期望内容最大帧平均亮度，而第二值是将被显示的图像的内容最大帧平均亮度。在第一方面的实施例中，所述适配函数是色调映射函数，并且所述适配函数的参数调整包括应用等于所述第一值与所述第二值之间的比率的第一缩放因子。在第一方面的实施例中，适配函数是色调映射函数，并且适配色调映射函数包括定义新的感知色调映射函数，该新的感知色调映射函数至少包括由等于第一值与第二值之间的比率的陡度定义的下部线性段。在第一方面的实施例中，根据第二缩放因子来缩放第一值或第二值中的一者。在第一方面的实施例中，第二缩放因子的值被包括在0.5到2.0的范围中。

在第二方面的实施例中，仅当第二值大于第一值时才调整参数。在第二方面的实施例中，第一值是将显示图像的显示设备的期望内容最大帧平均亮度。在第二方面的实施例中，第二值是将被显示的图像的内容最大帧平均亮度。在第二方面的实施例中，第一值是将显示图像的显示设备的期望内容最大帧平均亮度，而第二值是将被显示的图像的内容最大帧平均亮度。在第二方面的实施例中，所述适配函数是色调映射函数，并且所述适配函数的参数调整包括应用等于所述第一值与所述第二值之间的比率的第一缩放因子。在第二方面的实施例中，适配函数是色调映射函数，并且适配色调映射函数包括定义新的感知色调映射函数，该新的感知色调映射函数至少包括由等于第一值与第二值之间的比率的陡度定义的下部线性段。在第二方面的实施例中，根据第二缩放因子来缩放第一值或第二值中的一者。在第二方面的实施例中，第二缩放因子的值被包括在0.5到2.0的范围内。

Claims

1.一种用于对图像进行解码的方法，包括：

-获得逆色调映射函数的参数，以及

-对所述图像进行解码，其中，所述解码包括至少基于所获得的参数将所述逆色调映射函数应用于所述图像，

其中，当表示将显示所述图像的显示设备的亮度参数的第一值小于表示将被显示的所述图像的亮度参数的第二值时，所述逆色调映射参数基于所述第一值和所述第二值而被调整。

2.根据权利要求1所述的方法，其中，所述第一值表示将显示所述图像的所述显示设备的最大平均亮度参数。

3.根据权利要求1或2所述的方法，其中，所述第二值表示将被显示的所述图像的平均亮度。

4.根据权利要求1至3中任一项所述的方法，其中，所述逆色调映射函数至少包括由陡度值定义的下部线性段，并且其中调整所述逆色调映射参数包括基于所述第一值和所述第二值之间的比率来缩放所述陡度值。

5.根据权利要求1至4中任一项所述的方法，其中，所述逆色调映射函数至少包括由陡度值定义的下部线性段，并且其中调整所述逆色调映射参数包括基于所述第一值和所述第二值的加权值之间的比率来缩放所述陡度值。

6.根据权利要求1至5中任一项所述的方法，其中，所述权重在0.5至2的范围内。

7.根据权利要求1至6中任一项所述的方法，其中，所述第一值是根据CTA-861-G的HDR静态元数据块的所述显示设备的所述期望内容最大帧平均亮度。

8.根据权利要求1至7中任一项所述的方法，其中，所述第一值是根据CTA-861-G的HDR静态元数据块的所述期望内容最大帧平均亮度的加权值。

9.根据权利要求1至8中任一项所述的方法，其中，表示将被显示的所述图像的平均亮度的所述第二值是：

-所述内容的根据CTA-861-G的附录P的最大帧平均亮度水平MaxFALL，或

-根据ITU-R建议书BT.2408-1的参考白色水平或扩散白色，或

-所述主控显示器最小亮度、主控显示器最大亮度和图像平均亮度值的几何平均。

10.根据权利要求1至9中任一项所述的方法，其中，所述第一值是从所述显示设备获得的。

11.一种用于对图像进行解码的装置，其包括至少一个处理器，所述至少一个处理器被配置用于：

-获得逆色调映射函数的参数，以及

12.根据权利要求11所述的装置，其中，所述第一值表示将显示所述图像的所述显示设备的最大平均亮度参数。

13.根据权利要求11或12所述的装置，其中，所述第二值表示将被显示的所述图像的平均亮度。

14.根据权利要求11至13中任一项所述的装置，其中，所述逆色调映射函数至少包括由陡度值定义的下部线性段，并且其中调整所述逆色调映射参数包括基于所述第一值和所述第二值之间的比率来缩放所述陡度值。

15.根据权利要求11至14中任一项所述的装置，其中，所述逆色调映射函数至少包括由陡度值定义的下部线性段，并且其中调整逆色调映射参数包括基于所述第一值和所述第二值的加权值之间的比率来缩放所述陡度值。

16.根据权利要求11至15中任一项所述的装置，其中，所述权重在0.5至2的范围内。

17.根据权利要求11至16中任一项所述的装置，其中，所述第一值是根据CTA-861-G的HDR静态元数据块的所述显示设备的所述期望内容最大帧平均亮度、或者根据CTA-861-G的HDR静态元数据块的所述期望内容最大帧平均亮度的加权值。

18.根据权利要求11至17中任一项所述的装置，其中，表示将被显示的所述图像的平均亮度的所述第二值是：

-根据ITU-R建议书BT.2408-1的参考白色水平或扩散白色，或

19.一种计算机程序产品，包括程序代码指令，当在计算机上执行该程序时，所述程序代码指令执行根据权利要求1至10中的一项所述的方法的步骤。

20.一种非暂时性处理器可读介质，其程序代码指令用于当在计算机上执行该程序时执行根据权利要求1至10中的一项所述的方法的步骤。