CN107852511B

CN107852511B - 用于hdr和宽色域信号的信号整形和编码

Info

Publication number: CN107852511B
Application number: CN201680041756.8A
Authority: CN
Inventors: 尹鹏; 吕陶然; 浦方君; 陈涛; W·J·胡萨克
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2015-07-16
Filing date: 2016-07-14
Publication date: 2020-09-22
Anticipated expiration: 2036-07-14
Also published as: US20240007678A1; JP2019134495A; US20210274222A1; US11800151B2; US11234021B2; US20220150548A1; US20180167637A1; CN112040237A; WO2017011636A1; EP3323243B1; EP4020995A1; JP6530854B2; US10972756B2; US20200162759A1; CN107852511A; EP3323243A1; JP2018524931A; US10542289B2; JP6711943B2

Abstract

在改进高动态范围(HDR)图像的编码效率的方法中，解码器对来自输入编码位流的序列处理集(SPS)数据进行解析以检测HDR扩展语法结构存在于解析的SPS数据中。它从HDR扩展语法结构提取后处理信息，后处理信息包括以下中的一个或多个：颜色空间启用标志、颜色增强启用标志、自适应整形启用标志、动态范围转换标志、颜色校正启用标志或SDR可查看标志。它对输入位流进行解码以生成初步输出解码信号，并且基于初步输出信号和后处理信息来生成第二输出信号。

Description

用于HDR和宽色域信号的信号整形和编码

相关申请的交叉引用

本申请要求2015年7月16日提交的美国临时专利申请第62/193,508号和2015年10月6日提交的美国临时专利申请第62/237,852号的优先权权益，这两篇申请整体通过引用并入本文。

技术领域

本发明大体上涉及图像。更具体地，本发明的实施例涉及具有高动态范围(HDR)和宽色域(WCG)的图像的信号整形(reshape)和编码。

背景技术

国际音频和视频编码标准(诸如MPEG-2、MPEG-4、H.264以及最近地H.265(也被称为HEVC))的开发和采用对于基于标准的设备和通信标准(诸如DVD播放器、蓝光播放器以及用于数字电视广播的ATSC和DVB标准)的快速开发、采用和扩散一直是有帮助的。

杜比实验室有限公司(Dolby Laboratories，Inc.)和其他公司正在开发的显示技术能够再现具有高动态范围(HDR)和宽色域的图像。这样的显示可以再现比标准动态范围(SDR)的常规显示更忠实地表示真实世界场景的图像。

如本文所使用的，术语“动态范围”(DR)可以与人类视觉系统(HVS)感知图像中的强度(例如，辉度(luminance)、亮度(luma))的范围(例如，从最黑暗的黑色(黑暗)或最明亮的白色(高光))的能力有关。从这个意义上，DR与“场景参考(scene-referred)”强度有关。DR还可以与显示设备充分地或近似地渲染特定广度(breadth)的强度范围的能力有关。从这个意义上，DR与“显示器参考(display-referenced)”强度有关。除非特定意义在本文的描述中的任何地方被明确指定具有特定意思，否则应推断该术语可以以两者之中任何一种意义(例如，可互换地)使用。

如本文所使用的，术语高动态范围(HDR)与跨越人类视觉系统(HVS)的大约14-15个数量级的DR广度有关。在实践中，人类可以在其上同时感知到强度范围内的广泛广度的DR与HDR相比可能有所截短。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单个地或可互换地与人类视觉系统(HVS)在场景或图像内可感知的DR有关，HVS包括眼睛移动，允许一些光适应在整个场景或图像上(across)改变。如本文所使用的，EDR可以与跨越5到6个数量级的DR有关。因此，虽然EDR与真实的场景参考HDR相比可能有点较窄，但是EDR却表示宽的DR广度，并且也可以被称为HDR。

在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量用每像素n位(例如，n＝8)的精度表示。使用线性辉度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围图像，而其中n＞8的图像可以被认为是增强动态范围图像。EDR和HDR图像也可以使用高精度(例如，16位)浮点格式(诸如工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式)存储和分布。

用于给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，辉度)和由显示器产生的输出屏幕颜色值(例如，屏幕辉度)之间的关系。例如，ITURec.ITU-R BT.1886，“Reference electro-optical transfer function for flat paneldisplays used in HDTV studio production”(03/2011)(其整体通过引用被包括在本文中)基于阴极射线管(CRT)的测得特性限定了用于平板显示器的参考EOTF。给定一视频流，关于其EOTF的信息通常被作为元数据嵌入在位流中。如本文所使用的，术语“元数据”与作为编码位流的一部分发送的并且帮助解码器渲染解码图像的任何辅助信息有关。这样的元数据可以包括但不限于，颜色空间或色域信息、参考显示器参数以及辅助信号参数，如本文所描述的那些。

大多数消费者台式显示器目前支持200到300 cd/m²或尼特的辉度。大多数消费者HDTV的范围为从300到500尼特，新型号达到1000尼特(cd/m²)。与HDR或EDR相比，这样的常规显示器因此具有较低动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获装备(例如，照相机)和HDR显示器(例如，来自杜比实验室的PRM-4200专业参考监视器)两者的发展而增长，HDR内容可以被进行颜色分级，并且被显示在支持较高动态范围(例如，从1,000尼特到5,000尼特或更大)的HDR显示器上。这样的显示器可以使用支持高辉度能力(例如，0到10,000尼特)的替代的EOTF来限定。SMPTE ST 2084：2014“HighDynamic Range EOTF of Mastering Reference Displays”中限定了这样的EOTF的例子，该文献整体通过引用并入本文。一般地，而非限制，本公开的方法涉及任何高于SDR的动态范围。如这里发明人所意识到的，在现有的编码标准(诸如HEVC)的框架内，用于高动态范围图像的编码的改进技术是期望的。

本节所描述的方法是可以实行的方法，但不一定是以前已经设想过的或实行过的方法。因此，除非另有指示，否则不应仅由于本节所描述的任何方法被包括在本节中就假定该方法有资格作为现有技术。类似地，关于一种或多种方法认定的问题不应基于本节就被假定为已经在任何现有技术中被认识到，除非另有指示。

附图说明

本发明的实施例在附图的各图中被以示例的方式而非限制的方式示出，在附图中，相似的附图标记指代类似的元件，其中：

图1描绘用于视频递送流水线的示例处理；

图2描绘根据本发明的实施例的到IPT-PQ颜色空间的颜色转换的示例处理；

图3描绘根据本发明的实施例的用于信号整形和编码的示例处理；

图4描绘根据本发明的实施例的用于HDR位流解码的示例处理；

图5描绘根据本发明的实施例的具有N个节段(segment)的分段多项式的例子；以及

图6描绘根据本发明的实施例的重构用于被表达为分段多项式的整形函数的节段的参数的例子。

具体实施方式

本文描述了用于高动态范围(HDR)图像的信号整形和编码的消息传送。在以下描述中，为了解释的目的，对许多特定细节进行了阐述，以便提供对本发明的透彻理解。但是，将清楚的是，可以在没有这些特定细节的情况下实施本发明。在其他情况下，没有对众所周知的结构和设备进行详尽的描述，以便避免不必要地封闭、模糊或混淆本发明。

概述

本文所描述的示例实施例涉及用于高动态范围图像的整形和编码的消息传送。在改进高动态范围(HDR)图像的编码效率的方法中，解码器从输入的编码位流解析序列处理集(SPS)数据以检测HDR扩展语法结构存在于解析的SPS数据中。它从HDR扩展语法结构提取后处理(post-processing)信息，该后处理信息包括以下中的一个或多个：颜色空间启用标志、颜色增强启用标志、自适应整形启用标志、动态范围转换标志、颜色校正启用标志或SDR可查看标志。它对输入位流进行解码以生成初步输出解码信号，并且基于初步输出信号和后处理信息来生成第二输出信号。

示例视频递送处理流水线

图1描绘了常规的视频递送流水线(100)的示例处理，该处理示出了从视频捕获到视频内容显示的各种阶段。使用图像生成方框(105)来捕获或生成视频帧(102)的序列。视频帧(102)可以被数字地捕获(例如，用数字照相机)或由计算机(例如，使用计算机动画)生成以提供视频数据(107)。可替代地，视频帧(102)可以由胶片照相机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作阶段(110)中，对视频数据(107)进行编辑以提供视频制作流(112)。

然后在方框(115)处将制作流(112)的视频数据提供给处理器以用于进行后期制作编辑。后期制作编辑(115)可以包括调整或修改图像的特定区域中的颜色或明亮度以根据视频创建者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色定时”或“颜色分级”。其他编辑(例如，场景选择和排序、图像裁剪、计算机生成的视觉特殊效果的添加等)可以在方框(115)处执行以得到用于分布的最终版本(117)的作品。在后期制作编辑(115)期间，在参考显示器(125)上查看视频图像。

在后期制作(115)之后，可以将最终作品(117)的视频数据递送给编码方框(120)以用于向下游递送给解码和回放设备，诸如电视机、机顶盒、电影院等。在一些实施例中，编码方框(120)可以包括生成编码位流(122)的音频和视频编码器，诸如由ATSC、DVB、DVD、蓝光和其他递送格式限定的那些。在接收器中，由解码单元(130)对编码位流(122)进行解码以生成解码信号(132)，解码信号(132)表示信号(117)的相同或接近近似(approximation)。接收器可以附连到目标显示器(140)，目标显示器(140)可以具有与参考显示器(125)完全不同的特性。在这种情况下，显示管理方框(135)可以用于通过生成显示器映射信号(137)来将解码信号(132)的动态范围映射到目标显示器(140)的特性。

IPT-PQ颜色空间

传统上，视频处理是在经过gamma编码的辉度/色度颜色空间(诸如YCbCr、YUV等)中执行的。在实施例中，处理流水线的部分(例如，编码(120)、解码(130)和显示管理(135))可以在将被称为IPT-PQ颜色空间的颜色空间中执行。IPT-PQ颜色空间是在2014年2月13日提交的(作为WO 2014/130343公布的)PCT申请第PCT/US2014/016304号中针对显示管理应用而首次介绍的。如F.Ebner和M.D.Fairchild在1998年11月于亚利桑那州斯科茨代尔进行的第六届彩色成像会议：Color Science，Systems，and Applications，IS&T第8-13页中的“Development and testing of a color space(ipt)with improved hue uniformity”(将被称为Ebner论文)所描述的IPT是人类视觉系统中的视椎细胞(cones)之间的颜色差异的模型，该论文整体通过引用并入本文。从这个意义上，它像YCbCr或CIE-Lab颜色空间；但是，在一些科学研究中已经表明，它比这些空间更好地模仿人类视觉处理。像CIE-Lab那样，IPT是到一些参考辉度的规范化空间。在实施例中，规范化基于目标显示器的最大辉度(例如，5,000尼特)。

如本文所使用的术语“PQ”是指感知量化。人类视觉系统以非常非线性的方式对增大的光水平(level)做出响应。人类看见刺激的能力受该刺激的辉度、该刺激的大小、构成该刺激的(一个或多个)空间频率以及眼睛在一个人正在看该刺激的特定时刻已经适应的辉度水平的影响。在优选实施例中，感知量化器函数将线性输入灰度水平映射到更好地匹配人类视觉系统中的对比度敏感度阈值的输出灰度水平。J.S.miller等人的、整体通过引用并入本文的、标题为“Perceptual luminance nonlinearity-based image dataexchange across different display capabilities”的美国专利第9,077,994号(将被称为‘994’专利)(其部分已经被SMPTE ST 2084规范采用)中描述了PQ映射函数的例子，其中给定固定刺激大小，对于每一个辉度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该辉度水平处的最小可见对比度步长。与表示物理阴极射线管(CRT)设备的响应曲线并且巧合地可能与人类视觉系统的响应方式具有非常粗略的相似性的传统gamma曲线相比，如‘994’专利所确定的PQ曲线使用相对简单的函数模型来模拟人类视觉系统的真实视觉响应。

图2较详细地描绘了根据实施例的用于到IPT-PQ颜色空间的颜色转换的示例处理(200)。如图2所描绘的，给定在第一颜色空间(例如，RGB)中的输入信号(202)，经过感知校正的IPT颜色空间(IPT-PQ)中的颜色空间变换可以包括以下步骤：

a)可选步骤(210)可以将输入信号(202)的像素值(例如，0到4095)规范化为具有0至1之间的动态范围的像素值。

b)如果对输入信号(202)进行了gamma编码或PQ编码(例如，按照BT.1866或SMPTEST 2084)，则可选步骤(215)可以使用该信号的EOTF(如由信号元数据提供)来逆转(reverse)或撤销源显示器的从代码值到辉度的转换。例如，如果对输入信号进行了gamma编码，则该步骤应用反gamma函数。如果输入信号根据SMPTE ST 2084进行了PQ编码，则该步骤应用反PQ函数。在实践中，可以通过使用预先计算的1-D查找表(LUT)来执行规范化步骤(210)和反非线性编码(215)以生成线性信号217。

c)在步骤(220)中，将线性信号217从其原始颜色空间(例如，RGB、XYZ等)转换到LMS颜色空间中。例如，如果原始信号在RGB中，则该步骤可以包括两个步骤：RGB到XYZ颜色变换和XYZ到LMS颜色变换。在实施例中，不受限制地，XYZ到LMS变换可以由以下方程给出：

在如2015年9月24日提交的、标题为“Encoding and decoding perceptually-quantized video content”的PCT专利申请第PCT/US2015/051964号(其整体通过引用并入本文)中所描述的另一实施例中，如果在XYZ到LMS变换之后合并串扰矩阵

则可以进一步提高IPT-PQ颜色空间中的总体编码效率。例如，对于c＝0.02，方程(1a)得到：

d)根据Ebner论文，传统的LMS到IPT颜色空间转换包括将第一非线性幂函数应用于LMS数据、然后应用线性变换矩阵。虽然可以将数据从LMS变换到IPT、然后应用PQ函数以便在IPT-PQ域中，但是在优选实施例中，在步骤(225)中，用L、M和S分量中的每一个的PQ非线性编码取代用于LMS到IPT的非线性编码的传统幂函数。

e)使用LMS到IPT线性变换(例如，如Ebner论文中所限定的那样)，步骤(230)完成信号222到IPT-PQ颜色空间的转换。例如，在实施例中，L’M’S’到IPT-PQ变换可以由以下方程给出：

前向整形

大多数现有的视频压缩标准，诸如MPEG-1、MPEG-2、AVC、HEVC等，已经针对在YCbCr颜色空间中的经过gamma编码的SDR图像而被测试、评估和优化；但是，实验结果已经表明，附加的预处理可以有益于HDR和WCG信号的编码效率。

图3描绘了根据实施例的用于HDR和WCG信号的信号整形和编码的示例处理。如图3所描绘的，给定HDR输入(302)，前向整形方框(304)根据需要应用颜色变换和/或整形函数以生成整形信号(307)。整形相关元数据(309)也可以被生成并且被传送给编码流水线的后续的方框，诸如编码器(310)、解码器(315)和反向整形(320)。

在图3中，在编码(310)之前，可以根据编码器(310)的预处理要求来对整形信号(307)进行预处理(未示出)。这样的预处理可以包括色度子采样、缩放、裁剪、附加的量化以及本领域技术人员已知的其他图像处理操作。在一些实施例中，整形也可以在某些预处理操作(例如，色度子采样)之后执行。在接收器中，使用解码器(315)和元数据(309)来对编码位流(312)进行解码以生成解码信号(317)。在解码之后，方框(320)应用反向整形和任何必要的颜色变换来将解码信号(317)转化回未成形信号以用于进一步的处理，诸如存储和/或显示管理。

标题为“Adaptive reshaping for layered coding 0f enhanced dynamicrange signals”的PCT申请第PCT/US2014/042583号的WO 2014/204865公开中描述了整形函数的例子，该申请整体通过引用并入本文。例如，对于经过PQ编码的信号，在实施例中，(305)中的信号整形函数可以被表达为：

其中v_L和v_H表示考虑输入HDR信号(302)时的颜色通道中的最小值和最大值，c_L和c_H表示对应的最小输出值和最大输出值。a的值是恒定的，但是可以在每一帧、每一场景或其他合适的标准基础上被改动和改变。

T.Lu等人在2015年4月22日提交的标题为“Signal reshaping and coding inthe IPT-PQ color space”的美国临时专利申请第62/150,910号中描述了另一整形函数，具体地说是针对输入IPT-PQ信号的P色度分量和T色度分量的整形函数，该申请也作为2016年4月19日提交的PCT申请第PCT/US2016/028261号被递交，其中每篇申请通过引用整体并入本文。

在数个替代实施例中，可以将整形相关信息从编码器用信号发给流水线的其余部分。例如，在编码(310)使用HEVC Main 10 Profile的一个实施例中，可以对用于序列参数集(SPS)和/或图片序列集(SPS)的现有语法进行修改以将与前向整形函数(例如，反向或反整形(320)的分段线性或非线性近似)和正使用的颜色空间(例如，YCbCr、XYZ或IPT-PQ)相关的信息用信号发给解码器。

高级语法

不失一般性地，考虑使用日内瓦2015年2月JCTVC-T1005的最近的HEVC草案规范“HEVC Screen Coding draft Text 3”来对HDR信号(302)进行编码(310)和解码(315)的编码系统(例如，310、315)，该规范整体通过引用并入本文。在实施例中，假定在HEVC规范中不存在切片(slice)水平以下的改变，表1描绘了根据实施例的支持HDR和WCG视频编码的序列参数集(SPS)处的示例增强信令。用粗体标记的文本是HEVC规范中呈现的语法的添加或修改。

表1：用于HDR编码的SPS扩展

sps_hdrwcg_extension_flag等于1指定sps_hdrwcg_extension()语法结构存在于SPS RBSP语法结构中。sps_hdrwcg_extension_flag等于0指定该语法结构不存在。当不存在时，sps_hdrwcg_extension_flag的值被推断为等于0。

sps_extension_4bits等于0指定没有sps_extension_data_flag语法元素存在于SPS RBSP语法结构中。当存在时，在符合该规范的该版本的位流中，sps_extension_4bits应等于0。sps_extension_4bits的不等于0的值被预留以用于未来供ITU T|ISO/IEC使用。解码器应允许sps_extension_4bits的值不等于0，并且应忽视SPS NAL单元中的所有sps_extension_data_flag语法元素。当不存在时，sps_extension_4bits的值被推断为等于0。

在实施例中，函数sps_hdrwcg_extension()指示HDR和WCG配置文件中所包括的基本工具集。例如，基本工具集可以包括与正使用的颜色空间(诸如说，YCbCr或IPT-PQ)、颜色增强技术相关的信息、自适应整形信息以及HDR重映射和颜色校正信息。在一些实施例中，它还可以包括与由编码器使用的HDR到SDR映射相关的信息，以使得解码器可以使用它来生成用于有SDR能力的显示器的SDR版本。它还可以指示解码位流是否是SDR可查看的。因此，所提出的语法可以既支持单层HDR流，又支持可以被SDR显示器和HDR显示器这二者解码的单层或多层流。表2提供了根据实施例的示例语法。

表2：用于sps_hdrwcg_extension()的示例语法

colour_space_enabled_flag等于1指定颜色空间信息存在。colour_space_enabled_flag等于0指定没有颜色空间信息存在。当存在时，它可以优先于(override)视频可用性信息(VUI)中的颜色描述(colour_primaries、transfer_characteristics和matrix_coeffs)的值。当不存在时，colour_space_enabled_flag的值被推断为等于0。

colour_enhancement_enabled_flag等于1指定用于解码图片的颜色增强处理可以被用在编码视频序列(CVS)中。colour_enhancement_enabled_flag等于0指定用于解码图片的颜色增强处理不被用在CVS中。当不存在时，colour_enhancement_enabled_flag的值被推断为等于0。

在实施例中，当colour_enhancement_enabled_flag＝1时，位流(例如，sps_hdrwcg_extension()结构或pps_hdrwcg_extension()结构)可以包括用于后处理的附加信息(例如，滤波器系数)以减小色度分量的量化和向下采样误差，以便改变颜色性能。

adaptive_reshaping_enabled_flag等于1指定用于解码图片的自适应整形处理可以被用在CVS中。adaptive_reshaping_enabled_flag等于0指定用于解码图片的自适应整形处理不被用在CVS中。当不存在时，adaptive_reshaping_enabled_flag的值被推断为等于0。

dynamic_range_conversion_enabled_flag等于1指定用于解码图片的动态范围转换处理可以被用在CVS中。dynamic_range_conversion_enabled_flag等于0指定用于解码图片的动态范围转换处理不被用在CVS中。当不存在时，dynamic_range_conversion_enabled_flag的值被推断为等于0。

在实施例中，当dynamic_range_conversion_enabled_flag＝1时，位流(例如，sps_hdrwcg_extension()结构或pps_hdrwcg_extension()结构)可以包括来自SMPTE ST2094的参数。

colour_correction_enabled_flag等于1指定用于解码图片的颜色校正处理可以被用在CVS中。colour_correction_enabled_flag等于0指定用于解码图片的颜色校正处理不被用在CVS中。当不存在时，colour_correction_enabled_flag的值被推断为等于0。

在实施例中，当colour_correction_enabled_flag＝1时，位流(例如，sps_hdrwcg_extension()结构或pps_hdrwcg_extension()结构)可以包括来自SMPTE ST 2094的参数。

SDR_viewable_flag等于1指定解码图片在SDR显示器上是能够直接查看的。SDR_viewable_flag等于0指定解码图片在SDR显示器上是不能够直接查看的。当不存在时，SDR_viewable_flag的值被推断为等于0。

通常，颜色空间是以序列水平指示的。在一些实施例中，它可以在VUI中指示，所以它可能不需要在SPS扩展中标示(signal)。如果在SPS扩展中标示，则信令语法元素可以指示颜色空间正被使用。作为例子，在表2中，可以用colour_space_idc标志来取代colour_space_enabled_flag。

colour_space_idc等于0指定颜色空间是在VUI中指示的。colour_space_idc等于1指定颜色空间是IPT-PQ。colour_space_idc等于2指定颜色空间是Y”u”v”等。当不存在时，colour_space_idc的值被推断为等于0。表3中示出了这样的实现的例子。

表3：用于sps_hdrwcg_extension()的示例语法

在一些实施例中，附加的标志和参数可以提供与颜色空间变换相关的明确信息。例如，表4描绘了与IPT-PQ颜色空间变换相关的例子。

表4：颜色空间信令的例子

XYZtoLMS_matrix_present_flag等于1指示对于0至2的范围(包括0、2)内的c和i，语法元素XYZtoLMS_coeffs[c][i]存在。XYZtoLMS_matrix_present_flag等于0指示对于0至2的范围(包括0、2)内的c和i，语法元素XYZtoLMS_coeffs[c][i]不存在。

XYZtoLMS_coeffs[c][i]指定3×3从原色XYZ到原色LMS矩阵系数的值。XYZtoLMS_coeffs[c][i]的值应在-2¹⁵至2¹⁵-1的范围(包括-2¹⁵、2¹⁵-1)内。当XYZtoLMS_coeffs[c][i]不存在时，使用默认的XYZ到LMS矩阵。

当XYZtoLMS_matrix_present_flag等于0时，如下指定浮点型默认的XYZ到LMS矩阵：

当XYZtoLMS_matrix_present_flag等于1时，如下转换浮点型XYZ到LMS矩阵：

fp_XYZtoLMS_coeffs[c][i]＝(float)XYZtoLMS_coeffs[c][i]/(float)(1＜＜14)

假定MatrixInput表示[0，1](包括0、1)的范围内的规范化XYZ输入数据，对于c＝0、1和2，如下导出LMS matrixOutput[c]：matrixOutput[c]＝Clip3(0，1，

(fp_XYZtoLMS_coeffs[c][0]*matrixInput[0]

+fp_XYZtoLMS_coeffs[c][1]*matrixInput[1]

+fp_XYZtoLMS_coeffs[c][2]*matrixInput[2]))。

LMStoIPT_matrix_present_flag等于1指示对于0至2的范围(包括0、2)内的c和i，语法元素LMStoIPT_coeffs[c][i]存在。LMStoIPT_matrix_present_flag等于0指示对于0至2的范围(包括0、2)内的c和i，语法元素LMStoIPT_coeffs[c][i]不存在。

LMStoIPT_coeffs[c][i]指定3×3从LMS到IPT矩阵系数的值。LMStoIPT_coeffs[c][i]的值应在-2¹⁵至2¹⁵-1的范围(包括-2¹⁵、2¹⁵-1)内。当LMStoIPT_coeffs[c][i]不存在时，使用默认的LMS到IPT矩阵。

当LMStoIPT_matrix_present_flag等于0时，如下指定浮点型默认的LMS到IPT矩阵：

当LMStoIPT_matrix_present_flag等于1时，如下转换浮点型LMS到IPT矩阵：

fp_LMStoIPT_coeffs[c][i]＝(float)LMStoIPT_coeffs[c][i]/(float)(1＜＜12)。

假定MatrixInput是[0，1]的范围(包括0、1)内的规范化LMS输入数据，对于c＝0、1和2，如下导出IPT matrixOutput[c]：matrixOutput[c]＝Clip3(0，1，

(fp_LMStoIPT_coeffs[c][0]*matrixInput[0]

+fp_LMStoIPT_coeffs[c][1]*matrixInput[1]

+fp_LMStoIPT_coeffs[c][2]*matrixInput[2]))。

为了保证经过HDR解码的信号的适当显示并且不仅在CVS上改动信号(例如，允许场景/图片/切片水平改动)，提出了如表5中的例子所指示的图片水平处的附加信令。

表5：用于HDR WCG信号的图片参数集扩展的例子

pps_hdrwcg_extension_flag等于1指定pps_hdrwcg_extension()语法结构存在于PPS RBSP语法结构中。pps_hdrwcg_extension_flag等于0指定该语法结构不存在。当不存在时，pps_hdrwcg_extension_flag的值被推断为等于0。

pps_extension_4bits等于0指定没有pps_extension_data_flag语法元素存在于PPS RBSP语法结构中。当存在时，在符合该规范的该版本的位流中，pps_extension_4bits应等于0。pps_extension_4bits的不等于0的值被预留以用于未来供ITU T|ISO/IEC使用。解码器应允许pps_extension_4bits的值不等于0，并且应忽视PPS NAL单元中的所有pps_extension_data_flag语法元素。当不存在时，pps_extension_4bits的值被推断为等于0。

每个工具集可以合并各种选项。表6提供了用于adaptive_reshaping_idc模式的示例语法，该语法描述了当adaptive_reshaping_enabled_flag被启用(参见表2)时的自适应整形。可以为其他工具开发类似的语法元素。

表6：用于特定的HDR工具的PPS扩展的例子

信号adaptive_reshaping_idc指示不同的整形技术。作为例子，表7示出了‘910’申请中提出的语法。如果HDR和SDR转换是可逆的，则下面的整形语法应该能够标示从SDR到HDR或从HDR到SDR转换的映射。在实施例中，可以使用一个或多个查找表(LUT)或多段多项式来表达映射。该方法可以消除对包括动态范围转换和颜色校正相关语法的需要。

表7：用于信号整形的示例语法

signal_reshape_input_bit_depth_minus8指定关联图片的颜色分量的位深以用于解释信号整形信息SEI消息。当在signal_reshape_input_bit_depth的值不等于编码的颜色分量的位深的情况下任何信号整形信息SEI消息存在时，SEI消息指代为将编码视频转换为位深等于signal_reshape_input_bit_depth的转换视频而执行的转码操作的假设结果。signal_reshape_input_bit_depth_minus8的值应在0到8的范围(包括0、8)内。

signal_reshape_bit_depth指定由信号整形信息SEI消息描述的信号整形函数的输出的位深。

除了signal_reshape_full_range_flag指定整形的重构图片的颜色空间而不是用于CLVS的颜色空间之外，signal_reshape_full_range_flag具有与HEVC规范的关于video_full_range_flag语法元素的条款E.3.1中指定的语义相同的语义。

signal_reshape_model_present_flag等于1指定语法元素coef_log2_denom_minus14、signal_reshape_model_id、signal_reshape_num_pivots_minus2、signal_reshape_coded_pivot_value、poly_order_minus1、poly_coef_int、poly_coef_frac、pow_coef_int、pow_coef_frac以及signal_reshape_target_pivot_value存在。signal_reshape_model_present_flag等于0指定语法元素coef_log2_denom_minus14、signal_reshape_model_id、signal_reshape_num_pivots_minus2、signal_reshape_coded_pivot_value、poly_order_minus1、poly_coef_int、poly_coef_frac、pow_coef_int、pow_coef_frac以及signal_reshape_target_pivot_value不存在。

coeff_log2_denom_minus14加14指定用于信号整形相关系数的小数位的数量。coeff_log2_denom_minus14的值应在0至9的范围(包括0、9)内。当不存在时，coeff_log2_denom_minus14的值被推断为等于0。

signal_reshape_model_id[c]对于第c分量指定用于将编码数据整形为的目标值的模型。大于3的值被预留以供未来使用，并且不应存在于符合该规范的该版本的位流中。解码器应忽视包含signal_reshape_model_id[c]的大于3的值的所有信号整形SEI消息，并且位流不应包含这样的值。当不存在时，signal_reshape_model_id[c]的值被推断为0。

signal_reshape_model_id为0对应于多项式整形；signal_reshape_model_id为1对应于幂函数整形；signal_reshape_model_id为2对应于用户限定的表映射。当signal_reshape_model_present_flag等于0时，整形模型被设置为具有用于所有三个分量的一个段的身份线性模型。

signal_reshape_num_pivots_minus2[c]指定分段信号整形函数中的枢轴点的数量，该数量不对两个默认端点(0和2^{signal_reshape_input_bit_depth}-1)进行计数。当不存在时，signal_reshape_num_pivots_minus2[c]的值被推断为0。

signal_reshape_coded_pivot_value[c][i]指定第c分量的第i枢轴点的值。用于表示signal_reshape_coded_pivot_value的位数为((signal_reshape_input_bit_depth_minus8+15)＞＞3)＜＜3。对于默认的两个端点，signal_reshape_coded_pivot_value[c][0]被设置为0，并且signal_reshape_coded_pivot_value[c][signal_reshape_num_pivots_minus2[c]+1]被设置为2^{signal_reshape_input_bit_depth}-1。

poly_order_minus1[c][i]加1指定用于第c分量中的第i段的多项式函数的阶次。poly_order_minus1[c][i]的值应在0至1的范围(包括0、1)内。当不存在时，poly_order_minus1[c][i]的值被推断为0。

poly_coef_int[c][i][j]指定fp_poly_coef[c][i][j]的整数部分。当不存在时，poly_coef_int[c][0][0]的值被推断为0，并且poly_coef_int[c][0][1]被推断为1。

poly_coef_frac[c][i][j]指定fp_poly_coef[c][i][j]的小数部分。当不存在时，poly_coef_frac[c][0][0]的值被推断为0，并且poly_coef_frac[c][0][1]被推断为0。

fp_poly_coef[c][i][j]指定用于第c分量中的第i段的j次多项式系数的浮点值。

fp_poly_coef[c][i][j]＝

(float)(poly_coef_int[c][i][j]＜＜

(coeff_log2_denom_minus14+14)+poly_coef_frac[c][i][j])

/(1＜＜(coeff_log2_denom_minus14+14))

fp_s_in＝(float)s_in/(float)((1＜＜signal_reshape_input_bit_depth_minus8+8)-1)

s_out＝Clip3(0，((1＜＜signal_reshape_bit_depth_minus8+8)-1)，

round(fp_s_out*(float)((1＜＜signal_reshape_bit_depth_minus8+8)-1)))

其中s_in是用于第c颜色分量中的第i段的输入采样值，s_out是整形之后的用于第c颜色分量中的第i段的输出采样值。

pow_coef_int[c][i][j]指定fp_pow_coef[c][i][j]的整数部分。

pow_coef_frac[c][i][j]指定fp_pow_coef[c][i][j]的小数部分。

fp_pow_coef[c][i][j]指定用于第c分量中的第i段的第j系数的值。

fp_pow_coef[c][i][j]＝

(float)(pow_coef_int[c][i][j]＜＜

(coeff_log2_denom_minus 14+14)+pow_coef_frac[c][i][j])

/(float)(1＜＜(coeff_log2_denom_minus14+14))

fp_s_out＝fp_pow_coef[c][i][2]*(fp_s_in-fp_pow_coef[c][i][0])^

fp_pow_coef[c][i][3]+fp_pow_coef[c][i][1]

s_out＝Clip3(0，((1＜＜signal_reshape_bit_depth_minus8+8)-1)，

round(中_s_out*(float)((1＜＜signal_reshape_bit_depth_minus8+8)-1)))，

signal_reshape_target_pivot_value][c][i]指定用于第c分量的第i枢轴点的整形值。用于表示signal_reshape_target_pivot_value的位数为((signal_reshape_bit_depth_minus8+15)>>3)＜＜3。

作为例子，为了用信号通知解码器：编码器使用了默认的XYZ到LMS和LMS到IPT矩阵并且简单地将P分量和T分量乘以2.0，表7中的以下参数可以被限定为：

signal_reshape_video_signal_type_present_flag＝0//使用默认矩阵

signal_reshape_model_present_flag＝1

signal_reshape_model_id[c]＝0，对于c＝0，1，2//基于多项式的整形

signal_reshape_num_pivots_minus2[c]＝0，对于c＝0，1，2//一个段

poly_order_minus[c][i]＝0；对于i＝0，c＝0，1，2//一次多项式(ax+b)

poly_coef_int[c][i][j]＝1；对于c＝0，i＝0；j＝0；//对于I(a＝1)没有缩放

poly_coef_int[c][i][j]＝2；对于c＝1，2；i＝0，j＝0//用2缩放P和T(a＝2)

poly_coef_int[c][i][j]＝0；对于c＝0，1，2；i＝0，1，2；j＝1；//对于I、P和T的偏移(b)为0

poly_coef_frac[c][i][j]＝0；对于c＝0，1，2；i＝0，1，j＝0，1//在缩放因子和偏移中没有小数

在上面的语法中，系数的符号被声明为系数的整数部分的一部分。在另一实施例中，可以明确地标示符号，并且将编码从se(v)改变为ue(v)，其中如由HEVC所限定的，se(v)表示带符号整数第0次经过指数哥伦布编码的(Exp-G0lomb-coded)语法元素，其中左边的位是第一个，ue(v)表示无符号整数第0次经过指数哥伦布编码的语法元素，其中左边的位是第一个。

如果相同的工具集用于整个序列，则可以将指示符移动到sps_hdrwcg_extension()。例子在下面在表8中示出。

表8：SPS水平中的示例工具描述

在一些实施例中，即使在图片切片层，也可以允许HDR相关的扩展，于是也可以在切片头中，例如在HEVC slice_segment_header()结构中标示每个HDR工具的语法信息。

在另一实施例中，可以使用新的网络仲裁层(NAL)单元来指示HDR和WCG重构处理。例如，可以使用VCL NAL预留数(22-31)或非VCL NAL预留数(41-47)中的一个预留数。为了使对HEVC规范的改变保持最小，使用非VCL NAL可能是优选的。除了操作应该是强制的之外，新的NAL单元可以遵循与PREFIX_SEI_NUT相同的过程。用于每个编码工具的新的NAL单元的传输可以由sps_hdrwcg_extension()中的标志控制。可替代地，遵循补充增强信息(SEI)方式，在SPS层中不需要任何信令，但是可以让解码器对新的NAL单元进行解析，并且决定什么工具被启用。新的NAL单元可以被命名为HRI(高动态范围重构信息)NAL单元。作为例子，可以如下修正NAL单元和编码图片的次序以及它们与如HEVC的章节7.4.2.4.4中限定的访问单元的关联，其中提出的改变用粗体示出：

-其中nuh_layer_id等于0(当存在时)的访问单元定界符NAL单元，

-其中nuh_layer_id等于0(当存在时)的VPS NAL单元，

-其中nuh_layer_id等于0(当存在时)的SPS NAL单元，

-其中nuh_layer_id等于0(当存在时)的PPS NAL单元，

-其中nuh_layer_id等于0(当存在时)的HRI NAL单元，

-其中nuh_layer_id等于0(当存在时)的Prefix SEL NAL单元，

-其中nal_unit_type在RSV_NVCL41..RSV_NVCL44的范围内并且nuh_layer_id等于0(当存在时)的NAL单元，

-其中nal_unit_type在UNSPEC48..UNSPEC55的范围内并且nuh_layer_id等于0(当存在时)的NAL单元。

给定上面的选项，pps_hdrwcg_extension()的使用似乎在规范中具有最小的改变。

优选地，应该将新附件添加到HEVC规范以描述HDR解码和重构处理。该处理应能够描述工具的整个集合或子集。定点描述是优选的。

就HEVC配置文件定义而言，HDR WCG配置文件应该包括主体(main)10配置文件中的所有工具和HDR重构处理。对于水平(Level)定义，依赖于如何存储HDR重构图片，MaxDpbSize可能受到影响。

根据HEVC规范，一致性要点包括位流一致性和解码器一致性。位流一致性包括Type-I和Type-II。Type-I仅包括VCL NAL单元和填充数据NAL单元。Type-II包括所有种类的NAL单元类型。位流一致性可能不需要任何修改。对于解码器一致性，建议在解码图片和HDR重构图片这二者被输出之前保存这二者。在一个实施例中，可以将两个版本存储在解码图片缓冲器(DPB)中。在另一实施例中，可以仅将解码图片存储在DPB中，并且在解码图片从DPB被撞出(bump out)之后生成对应的HDR重构图片。

另一考虑要点是，HDR重构在编码循环之外。该处理最可能的是可以用定点或LUT实现来进行。在使用不同的实现来简化该处理的情况下，可以考虑在一致性要点上允许一些容限。

图4描绘了根据本发明的实施例的用于HDR位流解码的示例处理。如图4中所描绘的，在步骤(405)中，解码器可以首先进行搜索以检测位流是否包括指示对传入的位流(312)的特殊HDR处理的序列参数集(SPS)水平处的信号(例如，sps_hdrwcg_extension_flag＝1标志)。如果没有找到这样的信号，则解码器继续进行正常的视频解码(425)，并且用于HDR相关操作(诸如反向整形)的后解码方框(430)被跳过。如果检测到这样的信号，则在步骤(410)中，解码器提取适当的工具和参数(例如，sps_hdrwcg_extension()的解码)。HDR相关参数(309)被存储并且根据需要被更新以供HDR相关后处理方框(430)使用。

在一些实施例中，解码器还可以进行搜索以识别图片参数集(PPS)水平处的HDR相关处理信号(415)(例如，pps_hdrwcg_extension_flag＝1标志)。如果没有找到这样的信号，则解码器继续进行正常的视频解码(425)，否则在步骤(420)中，解码器提取适当的工具和参数(309)(例如，pps_hdrwcg_extension()的解码)。

在视频解码(例如，通过使用HEVC主体10配置文件等)之后，解码器使用提取的HDR相关元数据(309)来执行任何HDR相关后处理(430)。

整形函数的高效标示

如早前所讨论的，在实施例中，可以将整形函数作为分段多项式从编码器用信号发给解码器。可以在每一场景、帧、切片(slice)、片(tile)等间隔上改变整形函数和多项式参数，因此编码位流内的分段多项式的高效编码在视频编码中具有高度重要性。

图5描绘了具有N＝4个节段的分段多项式的例子，这些节段由N+1个枢轴点确定：x₀，x₁，...，x_N。对于每个枢轴点x_i，i＝0，...，N-1，对应的多项式节段被表示为p_i，并且可以被建模为M_i次多项式

对于x＝[x_i，x_i+1)， (4)

其中M_i是多项式节段p_i的阶次，

k＝0，1，2，...，M_i表示用于第i节段的多项式系数。

不失一般性地，设M_i＝2，于是方程(4)可以被表达为：

y＝a_i+b_ix+c_ix²，对于x＝[x_i，x_i+1)， (5a)

或

对于x＝[x_i，x_i+1)。 (5b)

本文所公开的方法可以应用于方程(5)中的表示中的任何一个。

如早前所描述的，在实施例中，所有的多项式系数(例如，a_i、b_i和c_i)可以从编码器显式地发送到解码器；但是，通过添加对成形(shape)函数(505)的特性的一些简单约束，解码器可以能够通过仅接收多项式参数的部分集合来重构它们。

在实施例中，对于平滑的整形曲线，可以施加两个附加约束：

(1)0次连续性：曲线在枢轴点处是连续的，也就是说，y_i-1(x_i)＝y_i(x_i)；

(2)1次连续性：对于每个枢轴x_i，如果p_i-1和p_i两者是二次多项式，则一阶导数在x_i处必须是平滑的，或y’_i-1(x_i)＝y’_i(x_i)。

基于这些约束，在x＝x_i处，从方程(5)，对于第一个约束：

a_i-1+b_i-1x_i+c_i-1x_i ²＝a_i+b_ix_i+c_ix_i ² (6a)

并且对于第二个约束：

b_i-1+2c_i-1x_i＝b_i+2c_ix_i (6b)

从方程(6a)和(6b)：

a_i＝a_i-1+(b_i-1-b_i)x_i+(c_i-1-c_i)x_i ² (7a)

b_i＝b_i-1+2(c_i-1-c_i)x_i (7b)

从方程(7a)和(7b)，可以做出以下观察：

·可以总是基于a_i-1、b_i-1、b_i、c_i-1、c_i和x_i来重构a_i

·只有当节段是二次多项式(即，M_i＝2)时才需要标示c_i

·只有当不满足1次连续性时(即，当M_i＝2、但是M_i-1≠2时，或者当M_i＝1时)才需要标示b_i。

作为例子，考虑使用八个二次多项式确定的整形函数。根据典型的实践，将必须对每个多项式发送三个系数，总共24个系数。使用所提出的方法，如果八个多项式中没有一个是一次或零次多项式，则只需要发送10个系数(三个用于第0节段，一个系数用于其余的七个节段)。

因此，发送整形相关参数的较高效的方式包括以下步骤：

对于i＝0至N，标示枢轴点xi

设M_i表示第i节段的最大多项式阶次，其中M_i＜3.

对于节段p₀，标示a₀、b₀或c₀，一直到M₀

对于每个节段p_i，i＝1...N-1

图6描绘了根据实施例的解码器中的重构整形函数的多项式系数的示例处理。如果M_i≠2，则暗示c_i＝0(612)。如果M_i＝1，则不能满足1次连续性，并且解码器需要接收b_i(608)，否则，M_i＝0暗示b_i＝0(616)。给定c_i和b_i，并且基于0次连续性，可以如方程(7)中那样计算a_i(618)。

如果M_i＝2，则解码器读取c_i(604)。如果M_i-1≠2并且M_i＝2，则不能满足1次连续性，并且解码器需要接收b_i(608)，否则，可以使用方程(7)来估计b_i(610)。在以上任何一种情况下，都可以如方程(7)中那样计算a_i(618)。

表9描绘了根据实施例的用于将整形函数作为N个节段标示的示例HEVC语法。

表9：用于标示整形函数的示例语法

reshape_present_flag等于1指定语法元素reshape_input_luma_bit_depth_minus8、reshape_input_chroma_bit_depth_minus8、reshape_output_luma_bit_depth_minus8、reshape_output_chroma_bit_depth_minus8、coef_log2_denom_minus14、reshape_num_pivots_minus2、reshape_coded_pivot_value、poly_order，poly_coef_int、poly_coef_frac以及reshape_pps_id存在。reshape_present_flag等于0指定语法元素reshape_input_luma_bit_depth_minus8、reshape_input_chroma_bit_depth_minus8、reshape_output_luma_bit_depth_minus8、reshape_output_chroma_bit_depth_minus8、coef_log2_denom_minus14、reshape_num_pivots_minus2、reshape_coded_pivot_value、poly_order、poly_coef_int、poly_coef_frac以及reshape_pps_id不存在。

reshape_input_luma_bit_depth_minus8指定HDR整形处理的输入亮度分量的采样位深。

reshape_input_chroma_bit_depth_minus8指定HDR整形处理的输入色度分量的采样位深。

如下导出变量BitDepthReshapeInput[c]：

BitDepthReshapeInput[c]＝8+(c＝＝0)？reshape_input_luma_bit_depth_minus8：reshape_input_chroma_bit_depth_minus8

reshape_output_luma_bit_depth_minus8指定HDR整形处理的输出亮度分量的采样位深。

reshape_output_chroma_bit_depth_minus8指定HDR整形处理的输出色度分量的采样位深。

如下导出变量BitDepthReshapeOutput[c]：

BitDepthReshapeOutput[c]＝8+(c＝＝0)？reshape_output_luma_bit_depth_minus8：reshape_output_chroma_bit_depth_minus8

coef_log2_denom_minus14加14指定用于颜色分量c的HDR整形相关系数计算的小数位的数量，coef_log2_denom_minus14的值应在0至9的范围(包括0、9)内。如下导出变量ReshapeLog2Denom：

ReshapeLog2Denom＝14+coef_log2_denom_minus14

reshape_num_pivots_minus2[c]加2指定分段整形函数中的包括两个端点的枢轴点的数量。当不存在时，reshape_num_pivots_minus2[c]的值被推断为0。reshape_num_pivots_minus2[c]对于亮度分量应在0至7的范围(包括0、7)内，对于色度分量应在0至3的范围(包括0、3)内。

reshape_coded_pivot_value[c][i]指定用于第c分量的第i枢轴点的值。用于表示reshape_coded_pivot_value的位数对于亮度分量为BitDepthReshapeInputL，对于色度分量为BitDepthReshapeInputC。当不存在时，基于video_full_range_flag来推断reshape_coded_pivots_value[c][0]和reshape_coded_pivots_value[c][1]的值。对于位流一致性的要求在于：对于在0至2的范围(包括0、2)内的c以及在0至reshape_num_pivots_minus2[c]+1的范围(包括0、reshape_num_piv0ts_minus2[c]+1)内的i，以下应为真：

reshape_coded_pivots_value[c][i+1]＞reshape_coded_pivots_value[c][i]

reshape_poly_order_minus1[c][i]加1指定用于第c分量的第i段的最大阶次。reshape_poly_order_minus1的值应在-1至1的范围(包括-1、1)内。

poly_coef_int[c][i][j]指定用于分量c的第i段j次多项式系数的整数值。poly_coef_int[c][i][j]的值应在-64至63的范围(包括-64、63)内。

poly_coef_frac[c][i][j]指定用于分量c的第i段第j次多项式系数的小数值。

如下导出其中c在0至2的范围(包括0、2)内、j在0至2的范围(包括0、2)内的变量PolyCoef[c][0][j]：

如下导出其中c在0至2的范围内、i在1至reshape_num_pivots_minus2[c]的范围内、j在0至2的范围(包括端点)内的变量PolyCoef[c][i][j]：

reshape_pps_id指定引用的包含整形信息的pps_pic_parameter_set_id的值。当不存在时，reshape_pps_id的值被推断为0。据要求，具有reshape_pps_id的PPS应具有等于1的reshape_present_flag。(注意：该语法的目的是重复使用已经包含整形信息的pps_id。当PPS包含正在非常频繁地改变的某个函数、而整形只有在场景改变期间被更新时，这是尤其有用的。)

分段函数索引的识别

该处理的输入是采样值S和分量索引c。

该处理的输出是识别采样S所属的节段的索引idxS。如下导出变量idxS：

亮度采样值的HDR整形处理

该处理的输入是亮度位置(xP，yP)，该位置指定相对于当前图片的左上亮度采样的亮度采样位置。

该处理的输出是经过hdr整形的亮度采样值reshapeLumaSample。

通过应用以下有序步骤来导出reshapeLumaSample的值：

1.通过调用输入为用于分量0的采样值recPicture_L[xP][yP]的分段函数索引的识别来导出变量idxL。

2.如下导出reshapeLumaSample的值：

色度采样值的HDR整形处理

该处理的输入是亮度位置(xP_C，yP_C)和变量cIdx，亮度位置(xP_C，yP_C)指定相对于当前图片的左上色度采样的色度采样位置，变量cIdx指定色度分量索引。

该处理的输出是经过hdr整形的色度采样值reshapeChromaSample。

如果cIdx等于0，则recPicture_C被设置为等于recPicture_C0，否则recPicture_C被设置为等于recPicture_C0。

如下导出reshapeChromaSample的值：

1.通过调用输入为用于分量cIdx+1的采样值recPicture_C[xP_C][yP_C]的分段函数索引的识别来导出变量idxC。

2.如下导出reshapeLumaSample的值：

示例计算机系统实现

本发明的实施例可以用计算机系统、用电子电路和组件配置的系统、集成电路(IC)器件(诸如微控制器、现场可编程门阵列(FPGA)或其他可配置或可编程逻辑器件(PLD))、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这样的系统、设备或组件中的一个或多个的装置来实现。计算机和/或IC可以执行、控制或运行与具有增强动态范围的图像的信号整形和编码相关的指令，诸如本文所描述的那些。计算机和/或IC可以计算与本文所描述的信号整形和编码处理相关的各种参数或值中的任何一个。图像和视频实施例可以用硬件、软件、固件和它们的各种组合来实现。

本发明的某些实现包括计算机处理器，这些计算机处理器执行使处理器执行本发明方法的软件指令。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实现如上所述的与HDR图像的信号整形和编码相关的方法。本发明还可以以程序产品的形式提供。该程序产品可以包括承载一组包括指令的计算机可读信号的任何非暂时性介质，这些指令在被数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以为多种多样的形式中的任何一个。程序产品可以包括例如物理介质，诸如磁性数据存储介质(包括软盘、硬盘驱动器)、光学数据存储介质(包括CD ROM、DVD)、电子数据存储介质(包括ROM、闪存RAM)等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在组件(例如，软件模块、处理器、组装件、设备、电路等)在上面被提及的情况下，除非另有指示，否则对于该组件的提及(包括对于“手段”的提及)应被解释为包括作为该组件的等同物的、执行所描述的组件的功能(例如，在功能上等同)的任何组件，包括在结构上不等同于所公开的结构的、执行本发明的示出的示例实施例中的功能的组件。

等同、扩展、替代及其他

如此描述了与HDR图像的高效信号整形和编码相关的示例实施例。在前面的说明书中，已经参照在不同实现之间可以有所变化的许多特定细节描述了本发明的实施例。因此，本发明是什么以及申请人意图什么是本发明的唯一的且排他的指示是本申请以特定形式发布的权利要求集合，包括任何后续修正，这样的权利要求以该特定形式发布。本文针对这样的权利要求中所包含的术语明确阐述的任何限定应决定这样的术语在权利要求中使用的意义。因此，在权利要求中未明确记载的限制、元件、性质、特征、优点或属性不得以任何方式限制这样的权利要求的范围。说明书和附图因此要以说明性而非限制性的意义来看待。

Claims

1.一种用于生成高动态范围视频数据的解码器，其中，所述解码器包括一个或多个处理器和非暂时性存储器，其中，用所述解码器生成输出图像包括：

接收包括序列处理集(SPS)数据的输入位流，并且将所述SPS数据的至少一部分存储在所述非暂时性存储器中；

对所述SPS数据进行解析；并且当检测到HDR扩展语法结构存在于解析的SPS数据中时：

从所述HDR扩展语法结构提取HDR相关后处理信息，所述HDR相关后处理信息包括SDR可查看标志和以下中的一个或多个：颜色空间启用标志、颜色增强启用标志、自适应整形启用标志、动态范围转换标志、颜色校正启用标志，其中所述SDR可查看标志指示所述输入位流的解码版本在标准动态范围(SDR)显示器上是否是能够直接查看的；

对所述输入位流进行解码以生成初步输出解码信号；以及

基于初步输出信号和所述HDR相关后处理信息通过HDR相关后处理来生成第二输出信号。

2.根据权利要求1所述的解码器，其中，所述颜色空间启用标志指示颜色空间信息存在。

3.根据权利要求2所述的解码器，其中，所述颜色空间信息包括与颜色变换矩阵相关的信息。

4.根据权利要求1所述的解码器，其中，所述HDR扩展语法结构包括颜色空间ID标志。

5.根据权利要求4所述的解码器，其中，所述颜色空间ID标志的值等于0指示处理颜色空间是在所述输入位流的另一部分中限定的，并且所述颜色空间ID标志的非零值指示所述处理颜色空间。

6.根据权利要求1所述的解码器，其中，所述自适应整形启用标志指示与自适应整形相关的信息存在。

7.根据权利要求6所述的解码器，其中，所述与自适应整形相关的信息包括用于基于一个或多个多项式函数确定整形函数的整形函数参数。

8.根据权利要求7所述的解码器，其中，所述整形函数参数包括：

基于用于限定所述整形函数的多项式函数的总数量的第一参数，并且对于所述整形函数中的每个(p_i)多项式函数，所述整形函数参数进一步包括：

用于所述多项式函数的起始枢轴点；

基于所述多项式函数的阶次的第二参数，其中所述多项式函数的阶次不能超过值2；以及

用于所述多项式函数的一个或多个非零系数。

9.根据权利要求8所述的解码器，其中，对于所述整形函数中的在邻接的第二多项式函数之后的第一多项式函数：

如果多项式的阶次为2，则用于所述第一多项式函数的系数包括二次系数(c_i)；以及

如果所述第一多项式的阶次为2并且所述第二多项式的阶次不为2，或者如果所述第一多项式的阶次为1，则用于所述第一多项式函数的系数包括一次系数(b_i)。

10.根据权利要求9所述的解码器，其中，如果用于所述第一多项式函数的系数不包括一次系数(b_i)，则在多项式的阶次为2的情况下，基于所述第二多项式函数的一次系数和二次系数、所述第一多项式函数的三次系数以及用于所述第一多项式函数的起始枢轴点来计算所述一次系数。

11.根据权利要求9所述的解码器，其中，基于所述第二多项式函数的系数、所述第一多项式函数的二次系数和三次系数以及用于所述第一多项式函数的起始枢轴点来计算用于所述第一多项式函数的零次系数(a_i)。

12.根据权利要求1所述的解码器，进一步包括：

对所述输入位流中的图片处理集(PPS)数据进行解析；并且当检测到图片-HDR扩展语法结构存在于解析的PPS数据中时：

从所述图片-HDR扩展语法结构提取用于所述输入位流中的一个或多个图片的后处理信息。

13.根据权利要求1所述的解码器，进一步包括：

对所述输入位流中的切片头数据进行解析；并且当检测到切片-HDR扩展语法结构存在于解析的切片头数据中时，

从所述切片-HDR扩展语法结构提取用于所述输入位流中的一个或多个图片切片的后处理信息。

14.根据权利要求1所述的解码器，其中，基于HEVC标准规范来执行所述输入位流的解码。

15.根据权利要求1所述的解码器，其中，在生成所述第二输出信号之后限定用于兼容的解码器的解码器一致性要点。

16.一种用于生成高动态范围视频数据的方法，所述方法包括：

接收包括序列处理集(SPS)数据的输入位流，并且将所述SPS数据的至少一部分存储在非暂时性存储器中；

对所述输入位流进行解码以生成初步输出解码信号；以及

17.根据权利要求16所述的方法，其中，所述颜色空间启用标志指示颜色空间信息存在。

18.根据权利要求17所述的方法，其中，所述颜色空间信息包括与颜色变换矩阵相关的信息。

19.根据权利要求16所述的方法，其中，所述HDR扩展语法结构包括颜色空间ID标志。

20.根据权利要求19所述的方法，其中，所述颜色空间ID标志的值等于0指示处理颜色空间是在所述输入位流的另一部分中限定的，并且所述颜色空间ID标志的非零值指示所述处理颜色空间。

21.根据权利要求16所述的方法，其中，所述自适应整形启用标志指示与自适应整形相关的信息存在。

22.根据权利要求21所述的方法，其中，所述与自适应整形相关的信息包括用于基于一个或多个多项式函数确定整形函数的整形函数参数。

23.根据权利要求22所述的方法，其中，所述整形函数参数包括：

用于所述多项式函数的起始枢轴点；

用于所述多项式函数的一个或多个非零系数。

24.根据权利要求23所述的方法，其中，对于所述整形函数中的在邻接的第二多项式函数之后的第一多项式函数：

25.根据权利要求24所述的方法，其中，如果用于所述第一多项式函数的系数不包括一次系数(b_i)，则在多项式的阶次为2的情况下，基于所述第二多项式函数的一次系数和二次系数、所述第一多项式函数的三次系数以及用于所述第一多项式函数的起始枢轴点来计算所述一次系数。

26.根据权利要求24所述的方法，其中，基于所述第二多项式函数的系数、所述第一多项式函数的二次系数和三次系数以及用于所述第一多项式函数的起始枢轴点来计算用于所述第一多项式函数的零次系数(a_i)。

27.根据权利要求16所述的方法，进一步包括：

28.根据权利要求16所述的方法，进一步包括：

29.根据权利要求16所述的方法，其中，基于HEVC标准规范来执行所述输入位流的解码。

30.根据权利要求16所述的方法，其中，在生成所述第二输出信号之后限定用于兼容的解码器的解码器一致性要点。

31.一种非暂时性计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令用于用一个或多个处理器来执行根据权利要求16-30中任一项所述的方法。

32.一种用于生成高动态范围视频数据的设备，包括：

一个或多个处理器；

非暂时性计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令在被所述一个或多个处理器执行时使得执行根据权利要求16-30中任一项所述的方法。

33.一种用于生成高动态范围视频数据的装置，包括用于执行根据权利要求16-30中任一项所述的方法的部件。