CN117426091A

CN117426091A - 链式整形函数优化

Info

Publication number: CN117426091A
Application number: CN202280040564.0A
Authority: CN
Inventors: 苏冠铭
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2021-06-08
Filing date: 2022-06-01
Publication date: 2024-01-19
Anticipated expiration: 2042-06-01
Also published as: CN117426091B

Abstract

接收链式整形函数流水线的输入图像。根据所述输入图像生成参考图像。使用所述输入图像和所述参考图像来确定所述链式整形函数流水线中的链式整形函数的操作参数。从一个或多个链式整形函数生成的经整形图像与图像元数据一起编码在视频信号中。所述图像元数据包括指定所述链式整形函数的一些或所有操作参数。使所述视频信号的接收设备使用所述图像元数据和所述经整形图像来生成重建图像。

Description

链式整形函数优化

相关申请的交叉引用

本申请要求于2021年6月08日提交的欧洲专利申请号21178180.2以及于2021年6月08日提交的美国临时申请63/208,190的优先权，所有这些申请均通过引用以其全文并入本文。

技术领域

本公开总体上涉及图像处理操作。更具体地，本公开的实施例涉及视频编解码器。

背景技术

如本文所使用的，术语“动态范围(dynamic range,DR)”可以涉及人类视觉系统(human visual system,HVS)感知图像中的强度范围(例如，光亮度、亮度)的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。在这个意义上，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。在这个意义上，DR与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何位置明确指定特定的意义具有特定的意思，否则应当推断为所述术语可以在任一意义上例如可互换地使用。

如本文所使用的，术语“高动态范围(high dynamic range,HDR)”涉及跨越人类视觉系统(HVS)的大约14至15个或更多数量级的DR阔度。实际上，相对于HDR，人类可以同时感知强度范围中的广泛阔度的DR可能会被稍微截短。如本文所使用的，术语“增强动态范围(enhanced dynamic range,EDR)或视觉动态范围(visual dynamic range,VDR)”可以单独地或可互换地与以下这种DR相关：所述DR可在场景或图像内由包括眼运动的人类视觉系统(HVS)感知，允许场景或图像上的一些光适性变化。如本文所使用的，EDR可以涉及跨越5个到6个数量级的DR。虽然相对于参考真实场景的HDR可能稍微窄一些，但EDR表示宽DR阔度并且也可以被称为HDR。

实际上，图像包括颜色空间的一个或多个颜色分量/通道(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量/通道由每像素n位的精度表示(例如，n＝8)。使用非线性光亮度编码(例如，伽马编码)，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可以被视为增强动态范围的图像。

给定显示器的参考电光传递函数(electro-optical transfer function,EOTF)表征输入视频信号的颜色值(例如，以表示图像的码字中的码字表示的光亮度等)与由显示器产生的输出屏幕颜色值(例如，以用于渲染图像的显示器驱动值中的显示器驱动值表示的屏幕光亮度等)之间的关系。例如，ITU Rec.ITU-R BT.1886,“Reference electro-opticaltransfer function for flat panel displays used in HDTV studioproduction[HDTV工作室制作中使用的平板显示器的参考电光传递函数]”(2011年3月)限定了平板显示器的参考EOTF，其内容通过引用以其全文并入本文。在给定了视频流的情况下，关于其EOTF的信息可以作为(图像)元数据嵌入比特流中。本文术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器渲染经解码图像的任何辅助信息。这种元数据可以包括但不限于如本文描述的颜色空间或色域信息、参考显示器参数和辅助信号参数。

如本文所使用的术语“PQ”是指感知光亮度幅度量化。人类视觉系统(HVS)以极非线性方式响应于增加的光水平。人类观察刺激物的能力受到以下因素的影响：刺激物的光亮度、刺激物的大小、构成刺激物的空间频率以及人们在观看刺激物的特定时刻眼睛所适应的光亮度水平。在一些实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度级。在SMPTE ST 2084:2014“HighDynamic Range EOTF of Mastering Reference Displays[母版制作参考显示器的高动态范围EOTF]”(下文称为“SMPTE”)中描述了示例PQ映射函数，其通过引用以其全文并入本文，其中，在给定固定刺激物大小的情况下，对于每个光亮度水平(例如，刺激水平等)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择所述光亮度水平处的最小可见对比度步长。

支持200至1,000cd/m²或尼特的光亮度的显示器代表了与EDR(或HDR)相关的较低动态范围(lower dynamic range,LDR)，也被称为标准动态范围(standard dynamicrange,SDR)。EDR内容可以显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更高)的EDR显示器上。这种显示器可以使用支持高光亮度能力(例如，0到10,000或更高尼特)的替代EOTF来限定。在SMPTE 2084和Rec.ITU-R BT.2100,“Imageparameter values for highdynamic range television for use in production and internationalprogrammeexchange[用于在制作和国际节目交换中使用的高动态范围电视的图像参数值]”(06/2017)中定义了示例(例如，HDR、混合对数伽马或HLG等)EOTF。还参见ITU Rec.ITU-RBT.2020-2,“Parameter values for ultra-high definition television systemsforproduction and international programme exchange[用于制作和国际节目交换的超高清电视系统的参数值]”(2015年10月)，其通过引用以其全文并入本文并与Rec.2020或BT.2020颜色空间相关。如本发明人在此所理解的，期望用于对要用多种显示设备渲染的高质量视频内容数据进行编码的改进技术。

在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应当认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应当基于本节而认为在任何现有技术中被认识到。

WO 2018/005705 A1公开了一种用于重建高动态范围视频信号的方法。解码器接收输入比特流中的参数以生成预测函数。使用预测函数，其生成用于第一预测查找表的第一组节点，其中，每个节点由输入节点值和输出节点值表征。然后，其修改第一组节点中的一个或多个节点的输出节点值，以生成用于第二预测查找表的第二组节点，并使用第二查找表生成输出预测值。提出了用于基于计算第一组节点中的当前节点与当前节点周围的节点之间的经修改斜率来修改所述当前节点的输出节点值的低复杂度方法。

WO 2017/015564 A1公开了一种对数字视频数据进行编码的方法，所述方法在编码之前对表示高动态范围(HDR)和/或宽色域(wide color gamut,WCG)图像数据的数据应用自适应预处理，并且在解码之后对所述数据应用互补的后处理，以便实现HDR和/或WCG数据的至少部分再现。示例方法在量化之前对数据应用一种或多种颜色空间转换以及感知传递函数。示例方法在解码之后应用逆感知传递函数和逆颜色空间转换来恢复HDR和/或WCG数据。传递函数是自适应的，使得不同的传递函数可以应用于包括不同帧组、帧或单个帧中的处理窗口的视频数据集。关于数据集的信息和关于所应用的传递函数的信息作为元数据从编码器传递到解码器。

WO 2012/125802 A1公开了一种用于变换图像数据以供在目标显示器上显示的方法。S形传递函数提供了控制最小音调对比度的自由参数。传递函数可以动态调整以适应变化的环境照明条件。可以选择变换，以便以基本上保留体现在图像数据中的创造性意图的方式自动调整图像数据以供在目标显示器上显示。图像数据可以是视频数据。

Minoo,K.等人：“Description of the reshaper parameters derivationprocess in ETMreference software”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,23rd Meeting:SanDiego,USA,19-26February 2016,document JCTVC-W0031,date saved:11January 2016,XP030117798[“ETM参考软件中整形器参数推导过程的描述”,ITU-T SG 16WP 3和ISO/IECJTC 1/SC 29/WG 11视频编码联合协作小组(JCT-VC)第23届会议：美国圣地亚哥,2016年2月19日至26日,文件JCTVC-W0031,保存日期：2016年1月11日,XP030117798]公开了一种用于分析HEVC处理流水线中的输入HDR信号、产生SDR兼容性经整形视频信号以及对用于从经整形视频信号重建HDR信号的参数进行整形的整形过程。

Francois,E.等人：“HDR CE2-related:some experiments on ETM with dualgrading input[HDR CE2相关：关于具有双重分级输入的ETM的一些实验]”,ITU-T SG 16WP3和ISO/IEC JTC 1/SC 29/WG 11视频编码联合协作小组(JCT-VC)第23届会议：美国圣地亚哥,2016年2月19日至26日,文件JCTVC-W0089,保存日期：2016年2月15日,XP030117867公开了一种双重分级HDR分发场景。SDR和HDR版本都作为HDR分发系统的输入，以从中生成SDR兼容性版本。

发明内容

本发明由独立权利要求限定。从属权利要求涉及本发明某些实施例的可选特征。

附图说明

在附图中以举例而非限制的方式来图示本发明的实施例，并且其中相似的附图标记指代类似的要素，并且在附图中：

图1图示了用于执行链式整形优化的示例图像处理流水线；

图2A至图2D图示了链式整形函数的示例流水线；

图3A至图3F图示了经整形视频信号的示例失真；

图4A和图4B图示了示例过程流程；以及

图5图示了示例硬件平台的简化框图，在所述硬件平台上可以实施如本文所描述的计算机或计算设备。

具体实施方式

在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而明显的是，可以在没有这些具体细节的情况下实践本公开。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本公开，没有详尽地描述众所周知的结构和设备。

概述

本文描述了用于链式整形优化(chained reshaping optimization,CRO)的技术。整形函数链可以串联在流水线中。整形函数链中的每个整形函数都具有参考颜色等级(或参考视频信号)，以近似和生成与参考颜色等级相同或非常近似的目标(或经整形)颜色等级。整形函数链可以用于生成多个目标(或经整形)颜色等级。如本文所使用的，相同视频内容的不同颜色等级可以是动态范围、颜色空间或色域、空间分辨率、图像刷新率、色度采样格式、图像容器等中的一些或全部的不同组合。特定颜色等级可以指具有以下各项中的一些或全部的特定组合的视频数据(如视频信号中携带的视频数据)：动态范围、颜色空间或色域、空间分辨率、图像刷新率、色度采样格式、图像容器等。

可以实施或执行受约束或无约束优化解决方案/算法来找到构成整形函数链的优化整形函数。优化解决方案/算法可以作为受约束或无约束问题公式中的迭代解决方案/算法来实施。

仅出于说明的目的，对应于与HDR10后向兼容视频编码、SDR后向兼容视频编码、HLG后向兼容视频编码等相关的示例(例如，比特流、视频编码、杜比(Dolby)、第三方专有的、基于标准的等)配置文件(或由实施所述示例配置文件的视频编解码器生成)的颜色等级在本文的一些讨论中用作非限制性实施示例来说明这些技术中的一些或所有技术。应当注意，在各个实施例中，这些和其他配置文件可以用作输入视频信号、用作任何、一些或所有参考视频信号或颜色等级、用作任何、一些或所有目标或经整形视频信号或颜色等级，等等。

可以由如本文所描述的视频编解码器支持或实施的示例(例如，比特流、视频编码、杜比、第三方专有的、基于标准的等)配置文件可以在SMPTE ST 2094,“DynamicMetadata for Color Volume Transform(DMCVT)[用于颜色体积变换的动态元数据(DMCVT)]”(2016)中找到，所述文献的全部内容如本文充分阐述的那样由此通过引用并入本文。如本文所描述的配置文件可以包括但不仅限于以下各项中的任一项：由10位编解码器支持的配置文件，如10位HEVC(主10(Main 10))配置文件；由8位编解码器支持的配置文件，如8位AVC(主(Main))配置文件；由实施感知量化的视频代码支持的配置文件；由实施SDR视频编码的视频编解码器支持的配置文件，如用于Rec.709SDR视频的配置文件8.2、用于SDR移动视频的配置文件32.2等；由实施混合对数伽马(Hybrid Log Gamma)或HLG视频编码(如移动视频和DVB广播视频等)的视频代码支持的配置文件；等等。这些(例如，比特流、视频编码、杜比、第三方专有的、基于标准的等)配置文件可以用于支持不同的用户设备、不同的视频编解码器、不同的动态范围、不同的颜色空间、表示图像码字的不同域等。

如本文所描述的链式整形函数优化技术可以用于提供不同颜色等级中的(多个)静态映射以及(多个)动态映射。(多个)静态映射可以预先生成并在运行时针对应用(例如，至少部分地基于输入图像的实际码字分布或其他特性等)进行选择，而(多个)动态映射可以在运行时即时生成和应用。作为示例而非限制，可以实施或应用这些技术中的一些或全部以提供由流水线中的链式整形函数支持的不同目标(或经整形)颜色等级之中或之间的静态映射，例如通过串接(例如，有序的、链式的、连续的、定向的等)整形函数链中的整形函数并且通过将串联的整形函数应用于从视频信号解码的(例如，目标、经整形等)颜色等级。例如，对应于不同配置文件(例如，由可从加利福尼亚的杜比实验室公司(DolbyLaboratories,Inc.)商购获得的杜比视觉视频编码解决方案支持的杜比视觉配置文件等)的颜色等级可以经由静态映射来转换。

在第一示例中，由HLG后向兼容编解码器支持的第一(例如，比特流、视频编码、杜比、第三方专有的、基于标准的等)配置文件(例如，杜比视觉配置文件8.4等)可以经由本文中的静态映射转换成由广泛部署的用户设备中的SDR后向兼容编解码器支持的(例如，比特流、视频编码、杜比、第三方专有的、基于标准的等)配置文件(例如，杜比视觉配置文件8.2/9.2/32.2等)。更具体地，给定(例如，第一配置文件、杜比视觉配置文件8.4等)视频信号或视频信号的HLG(混合对数伽马)基层中的(输入)图像作为输入，第一整形函数可以被构建成或用于将HLG输入图像转换成SDR图像。然后，第二不同的整形函数可以被构建成或用于进一步将SDR图像转换成PQ图像——例如，这可以与对第一配置文件或BT.2100颜色空间中的输入图像直接进行整形而产生的输出1000尼特PQ图像相同或等效。

在第二示例中，由HDR10后向兼容编解码器支持的第二(例如，比特流、视频编码、杜比、第三方专有的、基于标准的等)配置文件(例如，杜比视觉配置文件8.1等)可以经由本文中的静态映射转换成由HLG后向兼容编解码器支持的(例如，比特流、视频编码、杜比、第三方专有的、基于标准的等)配置文件(例如，杜比视觉配置文件8.4等)。更具体地，给定(例如，第二配置文件、杜比视觉配置文件8.1等)视频信号或视频信号的1000尼特PQ基层中的(输入)图像作为输入，第一整形函数可以被构建成或用于将输入1000尼特PQ图像转换成1000尼特HLG(基层)图像。然后，第二不同的整形函数可以被构建成或用于进一步将1000尼特HLG(基层)图像转换成4000尼特PQ图像——例如，这可以与对第二配置文件中的输入图像直接进行整形而产生的输出4000尼特PQ图像相同或等效。

应当注意，在各个实施例中，这些和其他整形函数链——包括但不限于更长的整形函数链——可以被构建优化成或用于生成多个目标(或经整形)颜色等级。

在一些操作场景中，可以使用迭代(优化)算法来支持前向和后向(整形)路径中的可恢复性。例如，通过后向整形生成的输出颜色等级(或输出视频信号)可以被优化为接近前向整形的输入颜色等级(或输入视频信号)。因此，输出视频信号可以最终返回到(原始)输入视频信号(或原始输入域)。

在一些操作场景中，从整形函数链(例如，在整形函数链的末端等)生成的输出颜色等级(或输出视频信号或经整形视频信号)可能不在同一个域中，或者可能不与输入到整形函数链的输入颜色等级(或输入视频信号)相同或近似。这些技术支持调整(例如，最终的、优化的、迭代优化的等)输出颜色等级。附加地、可选地或替代性地，可以实施这些技术以通过最小化中间颜色等级(例如，SDR颜色等级等)与(原始)参考颜色等级(例如，参考SDR颜色等级等)之间的偏差或差异来确保利用整形函数链中的一些或全部整形函数而生成的每个中间(目标)颜色等级的相对高的保真度。附加地、可选地或替代性地，这些技术中的一些或全部可以在多种视频传输和显示应用中实施，包括但不限于支持单层后向兼容(SLBC)编解码器的应用。

本文所描述的示例实施例涉及结合链式整形优化对视频图像进行编码。接收链式整形函数流水线的输入视频信号的输入图像，所述链式整形函数流水线包括整形函数链。根据输入视频信号的输入图像生成两个或更多个参考颜色等级的两个或更多个参考图像，所述两个或更多个参考图像中的每个参考图像对应所述两个或更多个参考颜色等级中的相应参考颜色等级。使用所述输入图像和所述两个或更多个参考图像来确定所述链式整形函数流水线中的两个或更多个链式整形函数的两组或更多组操作参数，每组操作参数指定所述两个或更多个链式整形函数中的相应链式整形函数，所述两个或更多个链式整形函数中的每个链式整形函数用于生成两个或更多个整形颜色等级的两个或更多个经整形图像中的相应经整形图像。所述两个或更多个整形颜色等级的两个或更多个经整形图像中的选定整形颜色等级的选定经整形图像与图像元数据一起被编码在视频信号中，所述图像元数据包括用于所述两个或更多个链式整形函数中的一个或多个链式整形函数的一组或多组操作参数，使所述视频信号的接收设备使用所述图像元数据和所述选定经整形图像来生成不同于所述选定整形颜色等级的整形颜色等级的重建图像。

本文所描述的示例实施例涉及结合链式整形优化对视频图像进行解码。将整形颜色等级的经整形图像与图像元数据一起从视频信号解码，所述图像元数据包括分别指定链式整形函数流水线中的一个或多个链式整形函数的一组或多组操作参数。所述一个或多个链式整形函数中的至少一个被应用于从所述视频信号解码的所述经整形图像，以生成第二整形颜色等级的第二经整形图像。在显示设备上渲染从第二经整形图像生成的显示图像。

示例图像处理流水线

图1描绘了视频传输流水线(100)的示例过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如，由数码相机等)数字地捕获或者由计算机(例如，使用计算机动画等)生成以提供视频数据(107)。附加地、可选地或替代性地，视频帧(102)可以由胶片相机捕获在胶片上。胶片可以被转换成数字格式以提供视频数据(107)。在制作阶段(110)，对视频数据(107)进行编辑以提供视频制作流(112)。

制作流(112)的视频数据然后被提供给处理器以进行后期制作编辑(115)。后期制作编辑(115)可以包括(例如，自动地、手动地、部分自动地、部分手动地等)调整或修改图像的特定区中的颜色或明亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(colorgrading)”。可以在后期制作编辑(115)时执行其他编辑(例如，场景选择和排序、手动和/或自动场景剪切信息生成、图像裁剪、添加计算机生成的视觉特效等)，以通过内容映射和/或颜色分级产生到链式整形函数流水线的原始输入视频信号等。

原始输入视频信号可以被上游设备(例如，编码器、转码器、制作工作室系统、内容聚集和/或分发服务器、流服务器等)——或其中的后期制作块(115)和/或编码块(120)——用于生成图像的一个、两个或更多个参考颜色等级以及用于生成一个、两个或更多个经整形颜色等级的链式整形函数，所述经整形颜色等级(例如，通过预测误差的最小化、通过对受约束或无约束优化问题的闭式解决方案等)分别与一个、两个或更多个参考颜色等级相同或非常近似。

参考颜色等级和/或经整形颜色等级可以包括描绘相同场景或语义内容的对应参考图像的不同集合或序列，但是可能在以下方面中的一个或多个方面不同：不同动态范围水平、不同颜色空间、不同EOTF、不同颜色空间类型等。例如，这些参考颜色等级和/或经整形颜色等级可以包括具有用户可感知视觉质量的图像，所述图像针对不同的视频编解码器和/或不同的图像处理能力和/或不同的用户设备(如iOS设备、Android设备、平板计算机、膝上型计算机、台式计算机、具有不同显示能力的电视等)进行了优化。在一些操作场景中，非常近似于参考颜色等级的经整形颜色等级可以被视频信号的接收设备更高效地(例如，利用更少的计算成本、更少的时间等)传输、解码或重建，所述视频信号包括一些或所有链式整形函数的一些或所有操作参数以及编码在所述视频信号中的颜色等级。示例整形操作在G-M.Su等人的美国专利10,080,026“Signal reshapingapproximation[信号整形近似]”中进行了描述，所述美国专利申请的全部内容如本文充分阐述的那样通过引用并入本文。

在一些操作场景中，编码块(120)接收从后期制作块(115)生成的原始输入视频信号(例如，输入颜色等级、HLG Rec.2020视频信号等)。内容映射和/或颜色分级/调整工具可以用于根据原始输入视频信号生成一个、两个或更多个参考颜色等级。输入视频信号和参考颜色等级中的每一者描绘了同一组视觉场景或语义内容。参考颜色等级可以通过手动、自动执行的内容映射和/或颜色分级或手动和自动图像处理操作的组合从原始输入视频信号得到。

仅出于说明的目的，原始输入视频信号(例如，由编码块(120)从后期制作块(115)接收到)表示HDR图像117的输入颜色等级。要由经整形颜色等级近似的参考颜色等级中的参考图像可以是从原始输入视频信号中的HDR图像(117)映射(例如，使用如可从加利福尼亚州旧金山的杜比实验室公司商购获得的杜比视觉编码工具等视频编码工具的适当配置文件)的内容。在一些实施例中，在后期制作编辑(115)期间，由正在对HDR图像(117)执行后期制作编辑操作的配色师在支持高动态范围的HDR参考显示器(125)上观看HDR图像(117)。

编码块(120)可以实施如本文所描述的一些或所有链式优化操作，以生成用于将输入视频信号中的图像映射到中间颜色等级和/或最终经整形颜色等级的经整形图像的流水线中的链式整形函数的多组操作参数。在一些操作场景中，选自中间和最终经整形颜色等级的(例如，单个等)选定经整形颜色等级(例如，SDR颜色等级、用于移动设备的SDR颜色等级、用于SDR电视的SDR颜色等级等)可以由编码块(120)压缩/编码成编码比特流(122)。链式整形函数(例如，后向整形函数、逆整形函数等)的多组操作参数中的一些或全部可以作为图像元数据的一部分包括或编码在同一编码比特流中。

编码块(120)可以包括音频和视频编码器(如由ATSC、DVB、DVD、蓝光和其他传输格式定义的音频和视频编码器)，以生成编码比特流(122)。

在一些操作场景中，编码比特流(122)可以表示与多种SDR显示设备(例如，SDR显示器等)后向兼容的视频信号(例如，8位SDR视频信号、10位SDR视频信号等)。在非限制性示例中，利用经整形SDR图像编码的视频信号可以是单层后向兼容视频信号。在此，“单层后向兼容视频信号”可以指代在单个信号层中承载针对SDR显示器进行了专门优化或颜色分级的SDR图像的视频信号。示例单层视频编码操作在G-M.Su等人的美国专利申请公开号2019/0110054“Encoding and decoding reversible production-qualitysingle-layer videosignals[对可逆的、生产质量的单层视频信号进行编码和解码]”中进行了描述，所述美国专利申请的全部内容如本文充分阐述的那样通过引用并入本文。

链式整形函数的多组操作参数可以由视频信号或编码比特流的接收设备解码并用于预测操作中，以从一个颜色等级的经解码图像生成(多个)其他颜色等级的重建图像。可以使用具有由(上游)编码块(120)生成的前向链式整形函数的多组操作参数的预测操作(例如，后向整形操作、逆色调映射操作等)为重建图像生成一个或多个不同视频质量水平。在编码器侧，这些不同视频质量水平可以分别对应于一个或多个不同颜色等级，如中间颜色等级和/或最终经整形颜色等级。

在一些操作场景中，经解码图像表示由上游视频编码器(例如，使用编码块(120)等)从颜色分级HDR图像(117)前向整形以近似参考SDR颜色等级的SDR图像。重建图像——如使用由在编码比特流(122)中传输的图像元数据中的多组操作参数指定的整形函数从经解码图像生成的——表示近似除参考SDR颜色等级之外的其他中间参考颜色等级和/或最终参考颜色等级的图像。

附加地、可选地或替代性地，编码比特流(122)用附加图像元数据编码，所述附加图像元数据包括但不限于显示管理(DM)元数据，下游解码器可以使用所述DM元数据对经解码图像或经后向整形的图像执行显示管理操作，以生成针对在目标显示器上渲染而优化的显示图像，所述目标显示器可以具有或可以不具有与中间参考颜色等级和/或最终参考颜色等级提供相对高视觉质量的参考显示器相同的显示能力。

然后，将编码比特流(122)向下游传输到如移动设备、手持装置、平板计算机、解码和回放设备、媒体源设备、媒体流客户端设备、电视机(例如，智能电视等)、机顶盒、电影院等接收器。在接收器(或下游设备)中，解码块(130)对编码比特流(122)进行解码以生成经解码图像182，所述经解码图像可以与由编码块(120)编码成比特流(122)的图像(例如，经前向整形的SDR图像等)相同，但会经受在由编码块(120)执行的压缩和由解码块(130)执行的解压缩中生成的量化误差的影响。

在接收器与支持渲染经解码图像(182)的目标显示器140一起操作(或者附接到或可操作地链接到所述目标显示器)的操作场景中，解码块(130)可以从编码比特流(122)(例如，编码比特流中的单层等)中解码图像(182)，并且直接或间接地使用经解码图像(182)(例如，前向整形SDR图像等)以在目标显示器(140)上进行渲染。

在一些操作场景中，目标显示器(140)具有与SDR参考显示器(125)类似的特性，并且经解码图像(182)为可在目标显示器(140)上直接观看的经前向整形的SDR图像。

在一些实施例中，接收器与目标显示器一起操作(或者附接到或可操作地链接到所述目标显示器)，所述目标显示器具有与优化了经解码图像(182)的参考显示器不同的显示能力。图像元数据(或合成器元数据)中的链式整形函数的多组操作参数中的一些或所有操作参数可以用于从针对目标显示器进行优化的经解码图像(182)中合成或重建图像。

例如，接收器可以与相比于经解码图像(182)支持高动态范围(例如，100尼特、200尼特、300尼特、500尼特、1,000尼特、4,000尼特、10,000尼特或更多等)的HDR目标显示器140-1一起操作。接收器可以从编码比特流(122)(例如，所述编码比特流中的(多个)元数据容器等)提取图像元数据，并使用图像元数据(或合成器元数据)中的链式整形函数的多组操作参数从经解码图像(182)(如经前向整形的SDR图像)合成或重建图像132-1。

在一些操作场景中，重建图像(132-1)表示针对在与结合接收器操作的目标显示器相同或相当的显示器上观看而优化的重建(例如，HDR、EDR、针对1000尼特显示设备进行优化的图像、针对4000尼特显示设备进行优化的图像等)图像。接收器可以直接使用重建图像(132-1)以在目标显示器上进行渲染。

在一些操作场景中，重建图像(132-1)表示针对在与结合接收器操作的目标显示器(140-1)不同的(例如，参考等)显示器上查看而优化的重建图像。可以位于接收器中、位于目标显示器(140-1)中或位于单独的设备中的显示管理块(例如，135-1等)通过生成适于目标显示器(140-1)的特性的显示器映射信号(137-1)进一步调整重建图像(132-1)以适应目标显示器(140-1)的特性。可以在目标显示器(140-1)上渲染显示图像或经调整的重建图像。

链式整形函数流水线

图2A图示了链式整形函数的示例流水线。这些链式整形函数可以使用如本文所描述的优化方法或程序来生成或构建。

将到链式整形函数流水线的(原始)输入视频信号(或其中的输入图像)表示为s_<0>。输入信号(或其中的输入图像)的第i个像素(表示为s_<0>,i)包括输入颜色空间(或输入域)的三个通道，分别表示为

链式整形函数流水线包括串联在一起的K个整形函数，其中，K是大于一(1)的整数。链式整形函数流水线中的第k个整形函数(表示为R_k())可以具有或者可以被指派有表示为r_<k+1>的对应参考视频信号(或其中的对应参考图像)，其中，k＝0、…、K-1。

将第k个整形函数R_k()的参考信号(或其中的参考图像)r_<k+1>的第i个像素表示为。将第k个整形函数R_k()的输入视频信号(或其中的输入图像)和来自第k个整形函数R_k()的输出或经整形视频信号(或其中的输出或经整形图像)分别表示为s_<k>和s_<k+1>，其中，k＝0、…、K-1。可以应用第k个整形函数R_k()将输入信号(或其中的输入图像)s_<k>前向整形为输出信号(或其中的输出图像)s_<k+1>，如下所示：

s_<k+1>＝R_k(s_<k>) (1)

在许多操作场景中，来自链式整形函数流水线的最终输出或经整形视频信号(或其中的最终输出图像)不等于第一或原始输入视频信号(或其中的第一或原始输入图像)，如下所示：

r_<K>≠s_<0> (2)

对于第k个整形函数，其输出信号s_<k+1>应当尽可能(例如，取决于误差阈值/度量等，经过最小化/优化程序)接近于参考信号r_<k+1>，如下所示：

作为结果，整个链式整形函数流水线中的优化整形函数的构建/生成可以被公式化为各个整形函数的各个优化问题的线性组合(的解)，如下所示：

其中，u_k表示指派给链式整形函数流水线中的每个对应整形函数的加权因子。

虽然解决端到端优化可能相对困难或计算量大，但是可以使用更好、更高效的方式(如顺序优化)来解决这个问题。

图2B图出了示例(具体)链式整形函数流水线，其可以用于实施如前所述的从杜比视觉配置文件8.4到杜比视觉配置文件8.2的转换。

如图2B所示，到链式整形函数流水线的第一或原始视频信号s_<0>是输入HLG(例如，R.2020等)信号。链式整形函数流水线中的第一整形函数R₀具有或者被指派有参考信号r_<1>，所述参考信号可以使用HLG到SDR API(应用编程接口)或可商购获得的工具包从输入HLG信号得到或转换。

输出或经整形视频信号s_<1>可以通过将链式整形函数流水线中的第一整形函数R₀应用于第一或原始输入视频信号s_<0>(或者换句话说，基于第一整形函数R₀对第一或原始输入视频信号s_<0>进行整形)来生成。如图2B所图示的，输出或经整形视频信号s_<1>可以是经整形SDR信号，其可以与参考信号r_<1>相同或非常近似。

经整形SDR信号(s_<1>)可以用作第二整形函数R₁的输入视频信号。第二参考信号r_<2>可以是参考PQ信号。参考PQ信号可以使用如HLG后向兼容编解码器的视频编解码器或使用实施相关视频编码标准或其中定义的配置文件(如BT.2100标准)的其他视频编解码器从第一或原始输入视频信号(或输入HLG视频信号)得到或转换。

输出或经整形视频信号(s_<2>)通过将链式整形函数流水线中的第二整形函数R₁应用于经整形视频信号s_<1>(或者换句话说，基于第一整形函数R₁对经整形视频信号s_<1>进行整形)来生成。输出或经整形视频信号(s_<2>)可以是PQ信号，其可以与第二参考信号r_<2>或参考PQ信号相同或非常近似。

如所示出的，从第一整形函数R₀输出的经整形SDR视频信号可以被编码/表示为视频信号中的基层图像数据。整形函数参数(如指定第二整形函数R₁的整形函数参数)可以作为视频信号中包括的图像元数据的一部分被包括在内，并且被视频信号的接收设备用来将视频信号的基层图像数据中表示的SDR视频信号重建或整形为具有(多个)重建PQ图像的重建或经整形PQ视频信号。

顺序/链式优化

可以使用各种预测器来(例如，使用顺序优化过程)构建或生成如在此描述的链式整形函数。这些预测器可以是高级预测器，如张量积B样条(Tensor Product B-Spline,TPB)预测器以及非TPB预测器。

在一些操作场景中，在整个链式整形函数流水线中构建整形函数的优化问题可以分解为两个优化问题：一个针对构建用于亮度通道的整形函数/映射(可以称为亮度整形函数)，另一个针对构建用于色度通道的整形函数/映射(可以称为色度整形函数)。例如，整形函数流水线中的整形函数可以包括亮度整形函数/映射(用于将亮度通道中的输入码字(或输入亮度码字)整形为亮度通道中的输出码字(或输出亮度码字))以及色度整形函数/映射(用于将亮度和色度通道中的输入码字(或输入亮度和色度码字)整形为色度通道中的输出码字(或输出色度码字))。

在一些操作场景中，在解决亮度通道的优化问题时，可以使用CDF匹配技术来构建或生成色度和/或亮度整形函数/映射(例如，多段多项式、一维查找表或1D LUT、三维查找表或3D LUT的一部分等)。附加地、可选地或替代性地，可以用跨颜色通道预测器(如基于多颜色通道多元回归(multiple color channel multiple regression,MMR)预测的技术)来构建或生成色度和/或亮度整形函数/映射。附加地、可选地或替代性地，可以用跨颜色通道预测器(如使用B样条函数作为基函数的基于张量积B样条(TPB)预测的技术)来构建或生成色度和/或亮度整形函数或映射。

示例累积密度函数(cumulative density function,CDF)匹配操作在以下各项中进行了描述：2017年9月11日提交的PCT申请号PCT/US2017/50980；2016年10月5日提交的美国临时申请序列号62/404,307(还公布于2018年4月5日，作为美国专利申请公开序列号2018/0098094)中进行了描述，所述申请的全部内容如本文充分阐述的那样通过引用并入本文。基于示例MMR的操作在美国专利8,811,490中进行了描述，所述美国专利如本文充分阐述的那样通过引用以其整体并入本文。基于示例TPB的操作在2019年10月1日提交的名称为“TENSOR-PRODUCT B-SPLINE PREDICTOR[张量积B-样条预测器]”的美国临时申请序列号62/908,770(代理人案卷号60175-0417)中进行了描述，所述美国临时申请如本文充分阐述的那样通过引用以其整体并入本文。

在第一示例中，链式整形函数流水线中的第k个整形函数的基于MMR的色度映射函数/映射(或MMR预测器)可以如下构建或生成。

将输入视频信号(或其中的输入图像)的第i个像素的MMR扩展形式如下表示：

所有P像素的MMR扩展形式可以被收集到如下输入向量中：

可以基于参考/目标视频信号(或其中的参考/目标图像)的色度码字来形成观察(或参考/目标)色度信号或向量，其中，ch可以是c0或Cb通道或者c1或Cr通道，如下所示：

MMR系数(表示为)可以用于使用如下矩阵形式来预测输出或经整形视频信号(或其中的输出或经整形图像)中的输出或经整形色度码字：

MMR系数可以通过求解如下公式化的优化问题来优化：

例如，优化的MMR系数可以经由表达式(9)中的优化问题的最小二乘解来找到或生成，如下所示：

/>

在一些操作场景中，链式整形函数流水线中的每个整形函数(例如，其亮度和色度整形函数/映射)可以从k＝0开始到K-1顺序地生成或构建。例如，链式整形函数流水线中的每个整形函数中的色度整形函数/映射可以使用如以下表1所图示的示例优化程序，从k＝0开始到K-1顺序地生成或构建。

表1

在第二示例中，链式整形函数流水线中的第k个整形函数的基于TPB的色度映射函数/映射(或TPB预测器)可以如下构建或生成。

对于ch颜色通道，可以构建以下矩阵：

其中，是ch通道的TPB基函数；D^ch表示TPB基函数的总数。

基于TPB的色度整形函数/映射的优化TPB操作参数(表示为)可以通过对(全局)TPB优化问题的最小二乘解来构建、生成或获得，例如，使用与上述表达式(8)类似的公式来公式化，如下所示：

链式整形函数的优化

可以使用各种优化算法/方法来提高链式整形函数流水线中的整形函数的性能(例如，提高(多个)重建视频信号的准确度、最小化预测误差、支持多种视频编解码器等)。在各个操作场景中，这些优化算法/方法可以使用或可以不使用约束。

在一些操作场景中，可以使用迭代算法/方法——其可以被称为非约束性BESA(Backward Error Subtraction for signal Adjustment,用于信号调整的后向误差减法)算法/方法——来提高链式整形函数流水线中的整形函数的性能。示例BESA算法/方法可以在G-M.Su的于2020年4月21日提交的美国临时专利申请序列号63/013,063,“Reshapingfunctions for HDR imaging with continuity and reversibilityconstraints[具有连续性和可逆性约束的HDR成像的整形函数]”以及G-M.Su和H.Kadu的于2020年4月22日提交的美国临时专利申请序列号63/013,807,“Iterative optimizationof reshaping functions insingle-layer HDR image codec[单层HDR图像编解码器中整形函数的迭代优化]”中找到，所述美国临时专利申请的内容如本文充分阐述的那样通过引用整体并入本文。

迭代算法/方法可以在T次迭代中运行，其中，T代表(例如，预先配置的、经配置的、动态确定的、预算的等)大于一(1)的整数。在T次迭代中的每次迭代(例如，迭代t，其中，t＝0、…、T-1)中，可以首先前向地执行优化以获得或生成整形函数系数，所述整形函数系数定义或指定链式整形函数流水线中的整形函数；然后可以后向地执行参考信号修改。迭代算法/方法的目标是在每次迭代t中修改参考信号使得端到端误差(例如，预测的最终经整形视频信号与最终参考视频信号之间的差异等)可以被最小化。

在非限制性实施示例中，迭代算法/方法可以在两个for循环中实施或执行。在这两个for循环中的外部for循环中，迭代次数(t)增加或递增一，直到达到T次迭代，如下所示：t＝0、…、T-1。在这两个for循环中的内部for循环中，可以从第一整形函数R₀开始到最后一个整形函数R_k-1执行前向优化。

在这两个for循环中的内部for循环的每次迭代结束时，可以从倒数第二个参考信号到第一参考信号/>执行后向参考信号修改。在一些操作场景中，最后一个参考信号/>是固定的，不受所提及的后向参考信号修改的影响。这是为了保持来自链式整形函数流水线的输出(或最后一个参考信号)的保真度，并避免在每次迭代时改变最终误差或最终成本函数(值)所引起的振荡(从而导致没有收敛或收敛相对较慢)。

更具体地，在(例如，每个等)迭代t时，在前向优化中，每个整形函数(例如，第k个整形函数等)可以通过基于以下执行优化以获得优化的整形函数系数和预测信号/>来生成或构建：(1)/>如果k＝0，则其是第一或原始输入视频信号(或其中的第一或原始输入图像)，或者如果k≠0，则其是从(紧接)在前的整形函数(例如，第(k-1)个整形函数等)输出的被更新的输入视频信号(或其中的被更新的输入图像)；以及(2)其是来自在(紧接)在前的迭代结束时执行的后向参考信号修改的被更新的参考视频信号(或其中的被更新的参考图像)。可以从k＝0到K-1对链式整形函数流水线中的所有整形函数顺序地执行这些操作。

在每次迭代(t)结束时，可以通过如下计算每个颜色通道的预测误差来对每个k执行后向参考信号修改：

然后使用预测误差来如下修改对应的参考视频信号(或其中的参考图像)：

可以从k＝K-1到1对所有参考视频信号(除了最后一个参考视频信号)顺序地执行这些操作。

在一些操作场景中，可以使用函数f()来确定如何修改参考视频信号(或其中的参考图像)。所述函数可以用于将相对大的误差传播回参考视频信号。对于每个像素(或第i个像素)，函数f()可以如下指定或定义：

其中，ε是用于确定误差是否大到足以保证改变参考视频信号(或其中的参考图像)的最小误差阈值；α^ch表示收敛速度因子(或缩放因子)；λ表示修改的上限。

在一些操作场景中，可以在函数f()中使用自适应缩放因子，其中，缩放因子随着迭代索引t的增加而减小，如下所示：

其中，β是折扣因子，如0.99、0.98或其他数值。

下表2中图出了示例迭代优化程序。

表2

选择优化的迭代次数

图3A图示了从第一整形函数R₀输出的第一经整形SDR视频信号(或其中的经整形SDR图像)在迭代优化算法/方法的每次迭代中的示例失真，所述迭代优化算法/方法用于在如图2B所图示的链式整形函数流水线中构建整形函数。图3B图示了从第二整形函数R₁输出的经整形HDR视频信号(或其中的经整形HDR图像)在迭代优化算法/方法的每次迭代中的示例失真。

如图3B所示，当迭代次数增加时，从第二整形函数输出的经整形HDR视频信号中的失真逐渐减小，直到在某一水平或低于某一水平时达到饱和。相比之下，如图3A所示，当迭代次数增加时，从第一整形函数输出的经整形SDR视频信号中的失真保持增加，而不会在某一水平或低于某一水平时达到饱和。

为了增加中间经整形视频信号的保真度，可以采用或使用迭代次数达到最后一轮(或T次迭代)之前的整形系数来定义链式整形函数流水线中的特定整形函数。换句话说，可以采用迭代t^opt时的整形系数，其中t^opt<T，而不是完成表2中所图示的迭代优化算法/方法直到最后一轮(或T次迭代)。

在第一示例中，可以使用客观方法来选择或挑选最佳迭代次数t^opt。如图3A和图3B所图示的描绘随迭代变化的失真的收敛曲线可以用于识别、选择或挑选特定迭代指数(或最佳迭代次数t^opt)，所述特定迭代指数在从第一整形函数R₀输出的第一经整形视频信号的失真与从第二整形函数R₁输出的第二经整形视频信号的失真之间具有最佳折衷。例如，如图3B所图示的R₁失真在特定的迭代次数(如迭代#8)附近开始饱和，这是R₁收敛曲线上的拐点。可以在R₁收敛曲线具有绝对值的最大一阶导数变化(或绝对值或幅度的最大二阶导数)之处识别或找到该拐点。如图3A所图示的，如图3A所图示的R₀失真在R₀收敛曲线上的特定迭代次数(或在该示例中为迭代8次)处也具有相对小的失真。

在第二示例中，可以使用主观方法来选择或挑选最佳迭代次数t^opt。例如，在每次迭代时生成或获得的每组整形系数可以被应用于一批测试图像，以生成可以由用户(或人类)查看的经整形图像，从而帮助主观地确定不同经整形视频信号中的最佳折衷。这些操作中的一些可以手动执行，而这些操作中的另一些可以自动执行。

基于逆梯度的算法

在一些操作场景中，作为后向参考信号修改的一部分，可以例如通过将输入视频信号(或其中的输入图像)中的(例如，相对小的等)输入差给予整形函数并测量在由整形函数输出的经整形视频信号(或其中的输出图像)中引起的输出差来为链式整形函数流水线中的(例如，每个等)整形函数计算逆梯度。输入与输出差之间的比率可以被定义为或用作整形函数的逆梯度。

例如，对于每个像素，可以将表示为Δ的输入差添加在每个通道的输入图像的(增量相加前)像素值中，如下所示：

其中，左手边(left hand side,LHS)是增量相加的像素值。

整形函数可以被应用于输入图像的像素，以生成从整形函数输出的经整形视频信号中的输出差。

增量相加的像素值的输入图像的第i个像素的MMR扩展形式可以如下给出：

所有像素的MMR扩展形式可以以矩阵形式收集，如下所示：

整形视频信号(或其中的经整形图像)中的输出差可以表示或计算如下：

可以如下计算每个像素的逆梯度：

逆梯度可以与经整形视频信号(或其中的经整形图像)和其参考视频信号(或其中的参考图像)之间的计算误差/>一起使用，以生成用于下一次迭代的被更新的参考视频信号作为后向参考信号修改的一部分，如下所示：

类似于表2中所图示的编码程序/方法/流程可以用于在链式整形函数流水线中生成或构建整形函数，尽管在上述表达式中更新了不同的参考视频信号。

受约束的优化

如图3A中所图示的，中间经整形视频信号中的无约束优化——或者在没有约束或限制的情况下优化中间经整形视频信号——可能导致失真发散。可以在如本文所描述的整形函数优化过程中实施约束，以提高或确保从整形函数优化过程构建的链式整形函数流水线中生成的(多个)中间经整形视频信号的保真度。

在一些操作场景中，如本文所描述的整形函数优化可以在(多个)硬约束(hardconstraint)下实施或执行。这种优化可以被称为硬约束优化。

例如，在链式整形函数流水线中生成的中间经整形视频信号的纠错水平可以通过对中间经整形视频要近似或针对的参考视频信号的修改设置限制/界限来约束或控制，如下所示：

其中，和/>分别表示容许值变化的下限和上限。可以基于参考视频信号(或其中的参考图像)中的实际码字分布或范围来设置容许值变化的下限和上限。可以使用乘法/除法缩放或比率因子和/或加法/减法增量来设置这些与组码字值(例如，最大值、最小值、平均值、中值、加权平均值等)相关的上限和下限，所述组码字值根据参考视频信号(或其中的参考图像)中的实际码字分布或范围来确定。这些因子和/或增量的值可以是成比例的、固定的等。例如，上限可以被设置为：(a)等于或低于颜色空间或其中的颜色通道中的最大有效码字值；以及(b)与参考图像中确定的最大码字的差异不超过5％(或固定值)。同样，上限可以被设置为：(a)等于或高于颜色空间或其中的颜色通道中的最小有效码字值；以及(b)与参考图像中确定的最小码字的差异不超过5％(或固定值)。

类似于表2中所图示的编码程序/方法/流程可以用于在链式整形函数流水线中生成或构建整形函数，尽管在上述表达式(22)中对中间经整形视频信号所近似或针对的参考视频信号进行了有限的修改。

已经观察到饱和颜色的变化比中性颜色的变化更明显。因此，可以避免、限制、约束或以其他方式衰减中间经整形视频信号中的饱和颜色变化。

影响那些饱和颜色的信号修改可以在相对较小或较低的范围或程度下进行，而影响非饱和颜色如中性颜色的信号修改可以在相对较大或较高的范围或程度下进行。

在一些操作场景中，如本文所描述的整形函数优化可以使用饱和度约束加权算法或方法来实施或执行。

例如，可以为(整个)整形函数优化过程设置每个像素的加权因子。最终参考视频信号r_<K>(或其中的最终参考图像)中的每个像素的饱和度(值)可以被计算并在(整个)整形函数优化过程中保持不变，如下所示：

上述表达式(23)中所示的像素的饱和度(值)可以经由非线性递减函数或函数形式转换成或可以用于构建像素(或中间经整形视频信号中的对应像素)的加权因子，如下所示：

其中，表示加权因子函数参数。σ的示例值可以是0.01、0.011等。

像素的加权因子可以用于修改(多个)中间经整形视频信号所近似的(多个)参考视频信号。使用这些加权因子，像素的饱和度越低，对像素的(多个)像素值的(多个)修改量就越高。换句话说，允许对较高饱和度的像素进行(多个)相对少量的修改，由此有助于确保饱和颜色像素和中性颜色像素两者在中间经整形视频信号中的相对较高的保真度。

可以用如下的加权因子来定义参考信号修改函数：

类似于表2中所图示的编码程序/方法/流程可以用于在链式整形函数流水线中生成或构建整形函数，尽管在上述表达式(25)中对中间经整形视频信号所近似或针对的参考视频信号进行了饱和度加权修改。

图3C图示了从第一整形函数R₀输出的第一经整形SDR视频信号(或其中的经整形SDR图像)在迭代饱和度加权优化算法/方法的每次迭代中的示例失真，所述迭代饱和度加权优化算法/方法用于在如图2B所图示的链式整形函数流水线中构建整形函数。图3D图示了从第二整形函数R₁输出的经整形HDR视频信号(或其中的经整形HDR图像)在迭代饱和度加权优化算法/方法的每次迭代中的示例失真。

如图3D所示，当迭代次数增加时，从第二整形函数输出的经整形HDR视频信号中的失真逐渐减小，直到在某一水平或低于某一水平时达到饱和。如图3C所示，当迭代次数增加时，从第一整形函数输出的经整形SDR视频信号中的失真保持增加，在迭代#15附近达到峰值，然后开始降低到接近饱和点。因此，HDR整形函数和SDR整形函数两者的经整形HDR和SDR视频信号中的失真是收敛的。另外，与图3A和图3B所图示的无约束优化中的失真相比，图3C和图3B中所图示的受约束(例如，饱和度加权约束等)优化中的失真没有大的或显著的增加。

结合先验知识的优化

在一些操作场景中，如本文所描述的整形函数优化可以结合关于将从链式整形函数流水线中生成的不同颜色等级(或经整形视频信号)的先验知识。因此，为了在链式整形函数流水线中生成或构建整形函数的目的，可以实施结合先验知识(或基于约束)的算法/方法来结合这种先验知识。

例如，在编码/表示输入内容时实际使用的码字值的数据范围(表示用于编码或表示输入内容的输入颜色空间或域中的码字值的整个数据范围的适当子集)可以作为先验信息或知识获得。关于数据范围的这种先验知识可以被实施为如本文所描述的整形函数优化中的约束，并用于促进输入内容从颜色空间或域到不同颜色空间或域中的中间或最终内容的变换。

作为说明而非限制，一个或多个(附加的)整形函数可以被实施到链式整形函数流水线中，以基于数据范围的先验知识来考虑变换/约束。这些(附加的)整形函数可以是固定的，没有要优化的整形函数参数，或者可以是可配置的，在所有整形函数参数中只有相对少量的(例如，一个、两个等)整形函数参数子集要优化。类似地，输出数据范围也可以类似地被称为先验知识，并用于在具有(多个)固定整形函数的链式整形函数流水线或仅具有可配置整形参数子集的整形函数的最后一级或其附近实施约束/变换。

图2C图示了链式整形函数的示例的结合先验知识的流水线。这些链式整形函数子集可以使用具有如本文所描述的约束或变换的优化方法或程序来生成或构建。

如图2C所图示的，在输入颜色空间(或输入域)中表示/编码的(原始)输入视频信号(或其中的输入图像)s_<0>作为输入被提供给链式整形函数流水线。链式整形函数流水线包括串联在一起的K个整形函数，其中，K是大于一(1)的整数。这K个整形函数包括位于链式整形函数流水线两端的两个固定整形函数R₀()和R_K-1()。固定整形函数R₀()和R_K-1()中的每一个可以没有要优化的整形函数参数，或者具有相对少量的要优化的整形函数参数子集。这K个整形函数还包括如R₁()和R₂()等要通过本文所描述的整形函数优化来优化或构建的链式整形函数子集。

图2D图示了链式整形函数的示例(特定)先验知识结合流水线，其可以用于实施如前所述的从HLG后向兼容编解码器到SDR后向兼容编解码器的转换。

如图2D所示，关于输入内容——如在适用的用例中由移动电话相机捕获的输入视频信号(或其中的图像)——中表示的(多个)数据范围或最大颜色的先验知识可以被结合到整形函数优化中。基于先验知识，在现有移动电话相机中捕获的输入内容中的图像的(多个)数据范围或最大颜色可能已知为P3颜色空间或域，而包括图像的输入视频信号可能已知被存储在HLG R.2020图像数据容器(或HLG R.2020颜色空间或域)中，其具有比在捕获/存储的图像中实际使用的P3颜色空间或域大得多的(多个)数据范围或最大颜色。SMPTE EG432-1:2010“Digital Source Processing-Color Processing for D-Cinema[数字源处理——数字影院的颜色处理]”(2010年11月10日)和SMPTE RP431-2:2011“D-CinemaQuality-Reference Projector and Environment[数字影院质量——参考投影仪和环境]”(2011年4月6日)描述了示例P3颜色空间，所述文献通过引用以其全文并入本文。

定义或指定链式整形函数流水线中的整形函数的优化的整形函数参数值可以利用该约束或输入内容中的先验知识来生成或构建，以改善整个链式整形函数流水线中的整形函数的性能(例如，经整形信号保真度改善、预测误差减小等)。

例如，如图2D所图示的，输入内容中的(多个)数据范围或最大颜色的约束可以通过如第一整形函数R₀的固定整形函数来强制执行，所述固定整形函数实施了HLG R.2020颜色空间(或域)中的输入内容(名义上)到P3颜色空间(或域)的变换。

SDR参考视频信号(或其中的SDR图像)可以使用HLG到SDR API或工具包从输入HLGR.2020信号得到或转换。

链式整形函数流水线中的第二整形函数R₁接收两个输入：(1)SDR参考视频信号(或其中的SDR图像)和(2)经整形HLG P3视频信号(或其中的经整形HLG P3图像)，并试图通过经由由第二整形函数R₁表示的预测模型将经整形HLG P3视频信号(或其中的经整形HLGP3图像)整形为经整形SDR视频信号(在图2D中表示为SDR)或(其中的经整形SDR图像)来近似SDR参考视频信号(或SDR图像)。

R.2020颜色空间(或域)中的中间PQ信号可以使用如HLG后向兼容编解码器等视频编解码器或使用实施相关视频编码标准或其中定义的配置文件(如BT.2100标准)的其他视频编解码器从输入HLG R.2020视频信号得到或转换。

然后，R.2020颜色空间(或域)中的中间PQ信号可以被整形为P3颜色空间(或域)中表示的参考PQ视频信号，这是通过固定整形函数如实施HLG R.2020颜色空间(或域)中的输入内容(名义上)到P3颜色空间(或域)的变换的第一整形函数R₀来实现的。

链式整形函数流水线中的第三整形函数R₂接收两个输入：(1)在P3颜色空间(或域)中表示的参考PQ视频信号和(2)从第二整形函数R₁输出的经整形SDR视频信号(或其中的经整形SDR图像)，并试图通过经由由第三整形函数R₂表示的预测模型将经整形SDR视频信号(或其中的经整形SDR图像)整形为P3颜色空间或域中的重建或经整形的PQ视频信号(在图2D中表示为PQ)或(其中的重建或经整形的PQ图像)来近似参考PQ视频信号(或其中的参考PQ图像)。

如所示出的，从第二整形函数R₁输出的经整形SDR视频信号可以被编码/表示为视频信号中的基层图像数据。整形函数参数(如指定第三整形函数R₂的整形函数参数)可以作为视频信号中包括的图像元数据的一部分被包括在内，并且被视频信号的接收设备用来将视频信号的基层图像数据中表示的SDR视频信号重建或整形为具有(多个)重建PQ图像的重建或经整形PQ视频信号。

在一些操作场景中，预期的最终输出视频信号可以是重建或经整形的PQ R.2020视频信号。从第三整形函数R₂生成的重建PQ视频信号可以通过固定整形函数或从P3颜色空间或域到R.2020颜色空间或域的变换来进一步变换。附加地、可选地或替代性地，固定整形函数或从P3颜色空间或域到R.2020颜色空间或域的变换可以被组合到或封装为从P3颜色空间或域到另一个颜色空间或域(如LMS颜色空间或域)的整体变换(例如，LMS变换(transform或transformation)等)的一部分。固定整形函数或从P3颜色空间或域到R.2020颜色空间或域的变换到整体变换的组合或封装可以例如经由其中包括的图像元数据或显示管理(display management,DM)元数据从上游编码设备发信号传输到下游接收解码设备。

将要优化的第一个(非固定)整形函数的索引表示为ks，其中，ks>0，并且将要优化的最后一个(非固定)整形函数的索引表示为ke，其中，ke<K-1。以下的表3中图示了结合具有或不具有先前讨论的约束的先验知识的示例整形函数优化程序。

表3

图3E图示了生成经整形SDR视频信号的图2D的第二整形函数R₁的示例失真(或收敛曲线)。图3F图示了生成经整形PQ(或HDR)视频信号的图2D的第三整形函数R₂的示例失真(或收敛曲线)。

示例过程流程

图4A图示了根据实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、反向映射生成和应用系统等)可以执行此过程流程。在框402中，图像处理系统接收链式整形函数流水线的输入视频信号的输入图像。链式整形函数流水线包括整形函数链。

在框404中，图像处理系统根据输入视频信号生成两个或更多个参考颜色等级的两个或更多个参考图像。两个或更多个参考图像中的每个参考图像对应于两个或更多个参考颜色等级中的相应参考颜色等级。

在框406中，图像处理系统使用输入图像和两个或更多个参考图像来确定链式整形函数流水线中的两个或更多个链式整形函数的两组或更多组操作参数。每组操作参数指定两个或更多个链式整形函数中的相应链式整形函数。两个或更多个链式整形函数中的每个链式整形函数用于生成两个或更多个整形颜色等级的两个或更多个经整形图像中的相应经整形图像。

在框408中，图像处理系统将两个或更多个整形颜色等级的两个或更多个经整形图像中的选定整形颜色等级的选定经整形图像与图像元数据一起编码在视频信号中。图像元数据包括两个或更多个链式整形函数中的一个或多个链式整形函数的一组或多组操作参数。使视频信号的接收设备使用图像元数据和选定经整形图像来生成不同于选定整形颜色等级的整形颜色等级的重建图像。

在实施例中，视频信号表示单层后向兼容信号。

在实施例中，输入视频信号对应于第一视频编码配置文件；两个或更多个经整形颜色等级对应于一个或多个第二视频编码配置文件，每个第二视频编码配置文件都不同于第一视频编码文件。

在实施例中，两个或更多个第二视频编码配置文件包括由以下各项中的一项或多项支持的至少一个视频编码配置文件：iOS设备、Android设备、平板计算机、膝上型计算机、台式计算机或具有不同显示能力的用户设备等。

在实施例中，输入图像、两个或更多个参考图像以及两个或更多个经整形图像包括以下各项中的至少一项：8位图像、10位图像、12位图像、混合对数伽马(HLG)图像、感知量化(PQ)图像、高动态范围(HDR)图像、标准动态范围(SDR)图像、扩展动态范围(EDR)图像、在Rec.2020颜色空间中表示的图像、在Rec.2100颜色空间中表示的图像、在P3颜色空间中表示的图像等。

在实施例中，指定相应链式整形函数的一组操作参数通过最小化用所述相应链式整形函数生成的经整形图像与两个或更多个参考图像中的对应参考图像之间的预测误差来确定。

在实施例中，分别指定两个或更多个链式整形函数的两组或更多组操作参数通过最小化用所述两个或更多个链式整形函数分别生成的两个或更多个经整形图像中的每个经整形图像与两个或更多个参考图像中的对应参考图像之间的预测误差根据迭代总数来确定；总数选自以下各项之一：固定迭代次数、与由所述预测误差表示的失真中的拐点相对应的迭代次数、或至少部分地基于用户输入而被选择的迭代次数。

在实施例中，迭代总数包括其中生成预测误差中的预测误差子集的第一迭代；第一预测误差中的预测误差子集用于修改用于第一迭代之后的第二迭代的两个或更多个参考图像。

在实施例中，两个或更多个参考图像中的码字用以下各项之一来修改：根据预测误差子集计算出的逆梯度、用于限制对码字的修改的硬约束、用于限制对码字中相对饱和码字的修改的软约束等。

在实施例中，链式整形函数流水线包括固定整形函数，所述固定整形函数至少部分地基于关于输入视频信号和两个或更多个参考颜色等级中的至少一者的先验知识来确定。

在实施例中，由链式整形函数流水线生成的两个或更多个整形颜色等级包括接近两个或更多个参考颜色等级中的最终参考颜色等级的最终整形颜色等级；最终参考颜色等级在以下各项中的至少一项不同于输入视频信号：比特深度、动态范围、颜色空间、空间分辨率、域、视频编码配置文件等。

图4B图示了根据实施例的示例过程流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、转码设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块、反向映射生成和应用系统等)可以执行此过程流程。在框452中，图像处理系统将整形颜色等级的经整形图像与图像元数据一起从视频信号中解码。图像元数据包括分别指定链式整形函数流水线中的一个或多个链式整形函数的一组或多组操作参数。

在框454中，图像处理系统将一个或多个链式整形函数中的至少一个应用于从视频信号解码的经整形图像，以生成第二整形颜色等级的第二经整形图像。

在框456中，图像处理系统在显示设备上渲染从第二经整形图像生成的显示图像。

在实施例中，一组或多组操作参数指定以下各项中的一项或多项：多段多项式、一维查找表(one-dimensional lookup table,1DLUT)、三维查找表(three-dimensionallookuptable,3DLUT)、跨颜色通道预测器、多颜色通道多元回归(MMR)预测器、以B样条函数为基函数的预测器、张量积B样条(TPB)预测器等。

在实施例中，如显示设备、移动设备、机顶盒、多媒体设备等的计算设备被配置用于执行前述方法中的任一种方法。在实施例中，一种装置包括处理器，并且被配置用于执行前述方法中的任一种方法。在实施例中，一种非暂态计算机可读存储介质存储有软件指令，所述软件指令当由一个或多个处理器执行时使得执行前述方法中的任一种方法。

在实施例中，一种计算设备包括一个或多个处理器以及一个或多个存储介质，所述一个或多个存储介质存储指令集，所述指令集当由所述一个或多个处理器执行时使得执行前述方法中的任一种方法。

注意，尽管本文讨论了单独的实施例，但是本文讨论的实施例和/或部分实施例的任何组合都可以组合以形成进一步实施例。

示例计算机系统实施方式

本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这种系统、设备或部件中的一个或多个的装置来实施。计算机和/或IC可以执行、控制或实施与对具有增强动态范围的图像的自适应感知量化有关的指令，如本文所描述的那些。计算机和/或IC可以计算与本文所描述的自适应感知量化过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。

本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本公开的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的对HDR图像的自适应感知量化有关的方法。还可以以程序产品的形式提供本发明的实施例。程序产品可以包括携带一组计算机可读信号的任何非暂态介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时，使数据处理器执行本发明的实施例的方法。根据本发明的实施例的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪速RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对所述部件的引用(包括对“装置”的引用)都应当被解释为包括执行所描述部件的功能的任何部件为所述部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。

根据一个实施例，本文描述的技术由一个或多个专用计算设备实施。专用计算设备可以是硬接线的，以用于执行这些技术，或者可以包括被持久地编程以执行这些技术的数字电子设备，如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被编程为根据固件、存储器、其他存储装置或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这种专用计算设备也可以将定制的硬接线逻辑、ASIC或FPGA与定制编程相结合来实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、联网设备、或合并硬接线和/或程序逻辑以实施技术的任何其他设备。

例如，图5是图示了可以在其上实施本发明的实施例的计算机系统500的框图。计算机系统500包括总线502或用于传送信息的其他通信机制、以及与总线502耦接以处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。

计算机系统500还包括耦接到总线502以用于存储要由处理器504执行的信息和指令的主存储器506，比如随机存取存储器(RAM)或其他动态存储设备。主存储器506还可以用于存储在执行要由处理器504执行的指令期间的临时变量或其他中间信息。在被存储于处理器504可访问的非暂态存储介质中时，这种指令使得计算机系统500变成被自定义为执行在指令中指定的操作的专用机器。

计算机系统500进一步包括只读存储器(ROM)508或耦接到总线502以用于存储处理器504的静态信息和指令的其他静态存储设备。提供存储设备510(如磁盘或光盘)，并将其耦接到总线502以用于存储信息和指令。

计算机系统500可以经由总线502耦接到如液晶显示器等显示器512上，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦接到总线502，以用于将信息和命令选择传送到处理器504。另一种类型的用户输入设备是如鼠标、轨迹球或光标方向键等光标控制件516，用于将方向信息和命令选择传送到处理器504并且用于控制在显示器512上的光标移动。典型地，此输入设备具有在两条轴线(第一轴线(例如，x轴)和第二轴线(例如，y轴))上的两个自由度，允许设备在平面中指定位置。

计算机系统500可以使用自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文描述的技术，这些自定义硬接线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑与计算机系统相结合使计算机系统500成为或编程为专用机器。根据一个实施例，响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列，计算机系统500执行如本文所描述的技术。这种指令可以从如存储设备510等另一存储介质读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文描述的过程步骤。在替代性实施例中，可以使用硬接线电路来代替软件指令或者与软件指令相结合。

如本文所使用的术语“存储介质”是指存储使机器以特定方式操作的数据和/或指令的任何非暂态介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，如存储设备510。易失性介质包括动态存储器，如主存储器506。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、闪速EPROM、NVRAM、任何其他存储器芯片或存储盒。

存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传递。例如，传输介质包括同轴电缆、铜线和光纤，包括包含总线502的导线。传输介质还可以采用声波或光波的形式，如在无线电波和红外数据通信期间生成的那些声波或光波。

各种形式的介质可以涉及将一个或多个指令的一个或多个序列载送到处理器504以供执行。例如，最初可以在远程计算机的磁盘或固态驱动器上载送指令。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线发送指令。计算机系统500本地的调制解调器可以接收电话线上的数据并使用红外发射器将数据转换成红外信号。红外检测器可以接收红外信号中载送的数据，并且适当的电路可以将数据放在总线502上。总线502将数据载送到主存储器506，处理器504从主存储器取得并执行指令。主存储器506接收的指令可以可选地在由处理器504执行之前或之后存储在存储设备510上。

计算机系统500还包括耦接到总线502的通信接口518。通信接口518提供耦接到网络链路520的双向数据通信，所述网络链路连接到本地网络522。例如，通信接口518可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器、或用于向对应类型的电话线提供数据通信连接的调制解调器。作为另一个示例，通信接口518可以是局域网(LAN)卡，用于提供与兼容LAN的数据通信连接。还可以实施无线链路。在任何这种实施方式中，通信接口518发送和接收载送表示各种类型信息的数字数据流的电信号、电磁信号或光信号。

网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以提供通过本地网络522到主计算机524或到由因特网服务提供商(ISP)526操作的数据设备的连接。ISP 526进而通过现在通常称为“因特网”528的全球分组数据通信网络来提供数据通信服务。本地网络522和因特网528都使用载送数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路520上和通过通信接口518的信号(其将数字数据载送到计算机系统500和从计算机系统载送数字数据)是传输介质的示例形式。

计算机系统500可以通过(多个)网络、网络链路520和通信接口518发送消息和接收数据，包括程序代码。在因特网示例中，服务器530可以通过因特网528、ISP 526、本地网络522和通信接口518传输应用程序的请求代码。

接收到的代码可以在被接收到时由处理器504执行和/或存储在存储设备510或其他非易失性存储装置中以供稍后执行。

等同物、扩展、替代方案和杂项

在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，指明本发明的要求保护的实施例以及申请人认为的本发明的要求保护的实施例的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续校正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应当支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、性质、特征、优点或属性不应当以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。

Claims

1.一种方法，包括：

接收输入视频信号的输入图像作为链式整形函数流水线的输入，所述链式整形函数流水线包括整形函数链；

根据所述输入视频信号的输入图像生成两个或更多个参考颜色等级的两个或更多个参考图像，所述两个或更多个参考图像中的每个参考图像对应于所述两个或更多个参考颜色等级中的相应参考颜色等级，所述两个或更多个参考颜色等级彼此不同并且不同于所述输入图像的颜色等级；

使用所述输入图像和所述两个或更多个参考图像来确定所述链式整形函数流水线中的两个或更多个链式整形函数的两组或更多组操作参数，每组操作参数指定所述两个或更多个链式整形函数中的相应链式整形函数，使得所述两个或更多个链式整形函数中的每个链式整形函数生成两个或更多个整形颜色等级的两个或更多个经整形图像中的相应经整形图像，所述两个或更多个整形颜色等级中的每一个与所述两个或更多个参考颜色等级中的对应参考颜色等级相同或近似；

将所述两个或更多个整形颜色等级的两个或更多个经整形图像中的第一整形颜色等级的选定经整形图像与图像元数据一起编码在视频信号中，所述第一整形颜色等级对应于生成所述第一整形颜色等级的所述选定经整形图像的第一链式整形函数，所述图像元数据包括用于所述两个或更多个链式整形函数中的第二或更多个链式整形函数的一组或多组操作参数，所述第二或更多个链式整形函数在所述整形函数链中的所述第一整形函数之后，所述第二或更多个链式整形函数生成第二整形颜色等级的重建图像，使所述视频信号的接收设备使用所述图像元数据和所述选定经整形图像来生成所述第二整形颜色等级的重建图像。

2.如权利要求1所述的方法，其中，所述视频信号表示单层后向兼容信号。

3.如权利要求1或2所述的方法，其中，所述输入视频信号对应于第一视频编码配置文件；其中，所述两个或更多个经整形颜色等级对应于一个或多个第二视频编码配置文件，第二视频编码配置文件中的每一个不同于所述第一视频编码配置文件。

4.如权利要求3所述的方法，其中，所述两个或更多个第二视频编码配置文件包括由以下各项中的一项或多项支持的至少一个视频编码配置文件：iOS设备、Android设备、平板计算机、膝上型计算机、台式计算机或具有不同显示能力的用户设备。

5.如权利要求1至4中任一项所述的方法，其中，所述输入图像、所述两个或更多个参考图像以及所述两个或更多个经整形图像包括以下各项中的至少一项：8位图像、10位图像、12位图像、混合对数伽马(HLG)图像、感知量化(PQ)图像、高动态范围(HDR)图像、标准动态范围(SDR)图像、扩展动态范围(EDR)图像、在Rec.2020颜色空间中表示的图像、在Rec.2100颜色空间中表示的图像、或在P3颜色空间中表示的图像。

6.如权利要求1至5中任一项所述的方法，其中，指定所述相应链式整形函数的所述一组操作参数通过最小化用所述相应链式整形函数生成的经整形图像与所述两个或更多个参考图像中的对应参考图像之间的预测误差来确定。

7.如权利要求1至6中任一项所述的方法，其中，分别指定所述两个或更多个链式整形函数的两组或更多组操作参数通过最小化用所述两个或更多个链式整形函数分别生成的所述两个或更多个经整形图像中的每个经整形图像与所述两个或更多个参考图像中的对应参考图像之间的预测误差根据迭代总数来确定；其中，所述总数选自以下各项之一：固定迭代次数、与由所述预测误差表示的失真中的拐点相对应的迭代次数、或至少部分地基于用户输入而被选择的迭代次数。

8.如权利要求7所述的方法，其中，所述迭代总数包括其中生成所述预测误差中的预测误差子集的第一迭代；其中，第一预测误差中的预测误差子集用于修改用于所述第一迭代之后的第二迭代的两个或更多个参考图像。

9.如权利要求8所述的方法，其中，所述两个或更多个参考图像中的码字用以下各项之一来修改：根据所述预测误差子集计算出的逆梯度、用于限制对所述码字的修改的硬约束、或用于限制对所述码字中相对饱和码字的修改的软约束。

10.如权利要求1至9中任一项所述的方法，其中，所述链式整形函数流水线包括固定整形函数，所述固定整形函数至少部分地基于关于所述输入视频信号和所述两个或更多个参考颜色等级中的至少一者的先验知识来确定。

11.如权利要求1至10中任一项所述的方法，其中，由所述链式整形函数流水线生成的所述两个或更多个整形颜色等级包括接近所述两个或更多个参考颜色等级中的最终参考颜色等级的最终整形颜色等级；其中，所述最终参考颜色等级在以下各项中的至少一项不同于所述输入视频信号：比特深度、动态范围、颜色空间、空间分辨率、域或视频编码配置文件。

12.一种方法，包括：

将第一整形颜色等级的经整形图像与图像元数据一起从视频信号解码，所述图像元数据包括两组或更多组操作参数，每组操作参数指定两个或更多个链式整形函数中的相应链式整形函数，使得所述两个或更多个链式整形函数中的每个链式整形函数生成两个或更多个第二整形颜色等级的两个或更多个经整形图像中的相应经整形图像，所述两个或更多个第二整形颜色等级彼此不同并且不同于所述第一整形颜色等级；

确定所述两个或更多个第二整形颜色等级中的一个第二整形颜色等级，所述一个第二整形颜色等级与显示设备在所述显示设备上渲染所述一个第二整形颜色等级的经整形图像的能力相匹配；

将所述两个或更多个链式整形函数中的至少一个应用于从所述视频信号解码的所述经整形图像，以生成所述第二整形颜色等级的第二经整形图像；

在所述显示设备上渲染从所述第二经整形图像生成的显示图像。

13.如权利要求12所述的方法，其中，所述一组或多组操作参数指定以下各项中的一项或多项：多段多项式、一维查找表(1DLUT)、三维查找表(3DLUT)、跨颜色通道预测器、多颜色通道多元回归(MMR)预测器、以B样条函数为基函数的预测器、或张量积B样条(TPB)预测器。

14.一种装置，包括处理器并且被配置为执行如权利要求1至13所述方法中的任一种方法。

15.一种非暂态计算机可读存储介质，具有存储于其上的用于根据权利要求1至13所述的方法中的任一种方法、利用一个或多个处理器来执行方法的计算机可执行指令。