CN107925770B - 用于高动态范围信号的信号整形 - Google Patents

Abstract

在对在可能与传统颜色空间不兼容的宽色域(WCG)空间中编码的高动态范围图像进行解码时改进向后兼容性的方法中，对于传统颜色空间(比如，YCbCr‑伽玛)和优选的WCG颜色空间(比如，IPT‑PQ)二者计算图像数据库中的图像的色相和/或饱和度值。基于成本函数，计算整形后的颜色空间，使得传统颜色空间中的色相值与优选颜色空间中的旋转后的色相值之间的距离最小化。HDR图像在整形后的颜色空间中被编码。传统设备仍然可以假设它们在传统颜色空间中被编码而解码标准动态范围图像，而更新的设备可以使用颜色整形信息以全动态范围在优选颜色空间中对HDR图像进行解码。

Description

用于高动态范围信号的信号整形

相关申请的交叉引用

本申请要求于2016年3月1日提交的美国临时申请序列No.62/302073、于2016年2月25日提交的No.62/300012、于2016年1月13日提交的No.62/278362、于2015年8月10日提交的No.62/202980以及于2015年8月4日提交的No.62/200797的优先权，这些申请中的每一个通过引用整体上并入本文。

技术领域

本发明大体上涉及图像。更具体地，本发明的实施例涉及具有高动态范围的图像的信号整形，以改进向后兼容性。

背景技术

如本文所使用的，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中的强度(例如，辉度(luminance)，亮度(luma))范围(例如从最暗的深色(黑色)到最明亮的白色(即，高亮))的能力。在这个意义上，DR涉及“场景参考”的强度。DR还可以涉及显示设备充分或近似地渲染特定广度的强度范围的能力。在这个意义上，DR涉及“显示器参考”的强度。除非在本文的描述中的任何点明确地指定特定意义具有特定的含义(significance)，否则应当推断该术语可以在任一意义上(例如，可互换地)使用。

如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14-15个数量级的DR广度。在实践中，人类可以在其上同时感知强度范围中广泛宽度的DR可以相对于HDR稍微被截断。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独或可互换地涉及在场景或图像中能够由包括眼睛移动在内的人类视觉系统(HVS)感知的DR，从而允许场景或图像上的一些光适应改变。如本文所使用的，EDR可以涉及跨越5至6个数量级的DR。因此，虽然相对于真正场景参考的HDR可能稍微较窄，但是EDR仍然表示宽DR广度并且也可以被称为HDR。

在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位的精度(例如，n＝8)表示。通过使用线性辉度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被认为是标准动态范围的图像，而n>8的图像可以被认为是增强动态范围的图像。还可以使用高精度(例如，16位)浮点格式(诸如由Industrial Lightand Magic开发的OpenEXR文件格式)来存储和分发EDR和HDR图像。

给定视频流，关于其编码参数的信息通常作为元数据嵌入在位流中。如本文所使用的，术语“元数据”涉及作为编码位流的一部分被发送并且协助解码器渲染解码的图像的任何辅助信息。这种元数据可以包括但不限于如本文所述的颜色空间或色域信息、参考显示参数和辅助信号参数。

大多数消费者桌面显示器目前支持200至300cd/m²或尼特(nit)的辉度。大多数消费者的HDTV的范围是从300到500尼特，新型号达到1000尼特(cd/m²)。因此，这种常规显示器代表相对于HDR或EDR的较低动态范围(LDR)，也称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获装备(例如，相机)和HDR显示器(例如，来自杜比实验室的PRM-4200专业参考监视器)的进步而增加，HDR内容可以被颜色分级并显示在支持较高动态范围(例如，从1000尼特到5000尼特或更多)的HDR显示器上。一般地，并非限制，本公开的方法涉及高于SDR的任何动态范围。如发明人在这里认识到的那样，期望对于高动态范围图像的编码的改进技术。

本节中描述的方法是可以追求的方法，但不一定是先前构想或追求的方法。因此，除非另有指示，否则不应当仅仅由于本节中描述的任何方法被包括在本节中而假设该方法有资格作为现有技术。类似地，除非另有指示，否则关于一种或多种方法识别出的问题不应当基于本节而假设已经在任何现有技术中被意识到。

附图说明

在附图的图示中以示例而非限制的方式图示了本发明的实施例，并且附图中相似的附图标记是指相似的要素，其中：

图1绘出了用于视频递送流水线的示例处理；

图2绘出了用于到IPT-PQ颜色空间的颜色转换的示例处理；

图3绘出了用于信号整形和编码的示例处理；

图4绘出了根据本发明实施例的、用于ST2084IPT与BT1866IPT之间的辉度整形的示例色调映射曲线；

图5绘出了根据本发明实施例的、用于使用颜色空间整形进行向后兼容的编码和解码的示例系统；

图6绘出了根据本发明实施例的、用于生成颜色旋转和缩放矩阵的示例处理流程；

图7A和图7B绘出了根据本发明实施例的色相(hue)和饱和度整形函数；

图8绘出了根据本发明实施例的在IPT-PQ与YCbCr-伽玛(gamma)颜色空间之间的色相和饱和度整形的示例；以及

图9绘出了根据本发明实施例的EETF函数的示例。

具体实施方式

本文描述了高动态范围(HDR)图像的信号整形和编码。在下面的描述中，为了解释的目的，阐述了许多具体细节，以便提供对本发明的透彻理解。但是，清楚的是，可以在没有这些具体细节的情况下实践本发明。在其它情况下，没有详尽描述众所周知的结构和设备，以便避免不必要的封闭、模糊或混淆本发明。

概述

本文描述的示例实施例涉及高动态范围图像的整形和编码。在改进后向兼容的解码的方法中，在编码器中，处理器访问图像数据库并且

计算数据库中的图像的在第一颜色空间中的第一色相值；

计算数据库中的图像的在第二颜色空间中的第二色相值；

基于最小化色相成本函数来计算色相旋转角度，其中色相成本函数基于第一色相值与旋转后的第二色相值的差异度量(measure)；以及

基于色相旋转角度来生成颜色旋转矩阵。

在实施例中，第一颜色空间是基于伽玛的YCbCr颜色空间，并且第二颜色空间是基于PQ的IPT颜色空间。

在实施例中，使用颜色旋转矩阵来基于优选颜色空间生成整形后的颜色空间。使用整形后的颜色空间对图像进行编码，并且关于颜色旋转矩阵的信息被从编码器用信号发送给解码器。

在实施例中，在解码器中，在用于重构在整形后的颜色空间中编码的输入图像的方法中，解码器：

接收在整形后的颜色空间中的编码的输入图像，其中整形后的颜色空间是通过旋转优选颜色空间的色度分量以近似传统(legacy)颜色空间的一个或多个参数而生成的；

访问从编码器发送到解码器的元数据，其中元数据与编码的输入图像相关联并且包括：

指示是否存在颜色旋转和缩放矩阵的标志；以及

当该标志指示存在颜色旋转和缩放矩阵时，用于颜色旋转和

缩放矩阵的多个系数；

对编码的输入图像进行解码，以生成在整形后的颜色空间中的解码的图像；以及

基于在整形后的颜色空间中的解码的图像以及颜色旋转和缩放矩阵而生成在优选颜色空间中的解码的图像。

在另一个实施例中，在编码器中，处理器：

接收在优选颜色空间中的输入图像；

访问色相旋转函数，其中，对于在优选颜色空间中的输入图像中的像素的色相值，色相旋转函数生成旋转后的色相输出值，该旋转后的色相输出值根据色相-成本标准匹配传统颜色空间中的色相值；

基于输入图像和色相旋转函数生成整形后的图像；以及

编码整形后的图像以生成编码的整形后的图像。

在另一个实施例中，在解码器中，处理器：

访问在整形后的颜色空间中编码的输入图像；

访问与输入图像相关联的元数据，其中元数据包括与用于将输入图像从优选颜色空间转变到整形后的颜色空间的色相旋转函数相关联的数据，其中，对于优选颜色空间中输入图像中的像素的色相值，色相旋转函数生成旋转后的色相输出值，该旋转后的色相输出值根据色相-成本标准匹配传统颜色空间中的色相值；以及

基于输入图像和与色相旋转函数相关联的数据生成在优选颜色空间中的输出图像。

示例视频递送处理流水线

图1描绘了常规视频递送流水线(100)的示例处理，示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)捕获或生成视频帧(102)的序列。视频帧(102)可以被数字地捕获(例如，由数字相机)或由计算机生成(例如，使用计算机动画)，以提供视频数据(107)。可替代地，视频帧(102)可以由胶片相机捕获在胶片(film)上。胶片被转换成数字格式以提供视频数据(107)。在制作(production)阶段(110)中，视频数据(107)被编辑以提供视频制作流(112)。

然后，制作流(112)的视频数据被提供给在块(115)处的处理器以用于后期制作编辑。后期制作编辑(115)可以包括调整或修改图像的特定区域中的颜色或明亮度，以根据视频创作者的创作意图增强图像质量或实现图像的特定外观。这有时被称为“颜色定时”或“颜色分级”。可以在块(115)处执行其它编辑(例如，场景选择和排序、图像裁剪、计算机生成的视觉特效的添加，等等)，以产生制作的最终版本(117)以用于分发。在后期制作编辑(115)期间，视频图像在参考显示器(125)上被观看。

在后期制作(115)之后，最终制作的视频数据(117)可以被递送到编码块(120)以用于向下游递送到解码和回放设备(诸如电视机、机顶盒、电影院等)。在一些实施例中，编码块(120)可以包括音频和视频编码器(诸如由ATSC、DVB、DVD、蓝光和其它递送格式定义的那些)，以生成编码的位流(122)。在接收器中，编码的位流(122)由解码单元(130)解码以生成表示信号(117)的相同或相近的近似的、解码的信号(132)。接收器可以附连到可以具有与参考显示器(125)完全不同的特性的目标显示器(140)。在那种情况下，显示管理块(135)可以用于通过生成显示映射的信号(137)来将解码的信号(132)的动态范围映射到目标显示器(140)的特性。

IPT-PQ颜色空间

在优选实施例中，非限制性地，处理流水线的一部分(例如，编码(120)、解码(130)和显示管理(135))可以在将被称为IPT-PQ颜色空间的颜色空间中执行。用于显示管理应用的IPT-PQ颜色空间的示例性使用可以在由R.Atkins等人的WIPO公布WO 2014/130343“Display Management for High Dynamic Range Video”中找到，该文献通过引用而整体上并入。如在由F.Ebner和M.D.Fairchild在Proc.第六届彩色成像会议：颜色科学，系统和应用，IS&T，亚利桑那州斯科茨代尔，1998年11月，第8-13页的“Development and testingof a color space(ipt)with improved hue uniformity uniformity”(将被称为Ebner论文，其通过引用整体上并入本文)中所描述的，IPT颜色空间是人类视觉系统中锥体之间的颜色差异的模型。在这个意义上，它就像YCbCr或CIE-Lab颜色空间；但是，在一些科学研究中已经示出它比这些空间更好地模拟人类视觉处理。如CIE-Lab一样，IPT是对一些参考辉度的规范化(nomalized)空间。在实施例中，规范化基于目标显示器的最大辉度(例如，5000尼特)。

如本文所使用的术语“PQ”是指感知量化。人类视觉系统以非常非线性的方式对增加的光线级别(level)作出响应。人类看到刺激的能力受那个刺激的辉度、刺激的尺寸、组成刺激的(一个或多个)空间频率以及眼睛在观看刺激的特定时刻已经适应的辉度级别的影响。在优选实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比度灵敏度阈值的输出灰度级。PQ映射函数的示例在J.S.Miller等人的美国专利序列No.9077994(被称为'994专利)中描述，该专利通过引用整体上并入本文，它的部分已被2014年8月16日的标题为“High Dynamic Range Electro-optical Transfer Functionof Mastering Reference Displays”的SMPTE ST 2084：2014规范采用，该规范通过引用整体上并入本文，其中在给定固定刺激尺寸的情况下，对于每个辉度级别(即，刺激级别)，根据最灵敏的适应级别和最灵敏的空间频率(根据HVS模型)来选择在那个辉度级别处的最小可见对比度步长(step)。与表示物理阴极射线管(CRT)设备的响应曲线并且巧合地可以与人类视觉系统作出响应的方式具有非常粗略的相似性的传统伽玛曲线相比，(如由'994专利所确定的)PQ曲线使用相对简单的函数模型来模仿人类视觉系统的真实视觉响应。

图2较详细地绘出了根据实施例的、用于到IPT-PQ颜色空间中的颜色转换的示例处理(200)。如图2中所绘出的，给定在第一颜色空间(例如，RGB)中的输入信号(202)，感知校正的IPT颜色空间(IPT-PQ)中的颜色空间变换可以包括以下步骤：

a)可选步骤(210)可以将输入信号(202)的像素值(例如，0至4095)规范化为具有在0与1之间的动态范围的像素值。

b)如果输入信号(202)是伽玛编码或PQ编码的(例如，根据BT.1866或SMPTE ST2084)，那么可选步骤(215)可以使用信号的电-光传递函数(EOTF)(如由信号元数据提供的)来逆转或撤销源显示器的从代码值到辉度的转换。例如，如果输入信号是伽玛编码的，那么这个步骤应用逆伽玛函数。如果输入信号是根据SMPTEST 2084进行PQ编码的，那么这个步骤应用逆PQ函数。在实践中，可以使用预先计算的1D查找表(LUT)来执行规范化步骤(210)和逆非线性编码(215)以生成线性信号217。

c)在步骤(220)中，线性信号217从其原始颜色空间(例如，RGB、XYZ等)转换到LMS颜色空间。例如，如果原始信号是在RGB中，那么这个步骤可以包括两个步骤：RGB到XYZ颜色变换和XYZ到LMS颜色变换。在实施例中，并非限制，XYZ到LMS变换可以由下式给出

在另一个实施例中，如在于2014年9月26日提交的标题为“Encoding anddecoding perceptually-quantized video content”的美国临时专利申请序列No.62/056093(也于2015年9月24日作为PCT/US2015/051964提交)(该申请通过引用整体并入本文)中所描述的，如果将串扰矩阵

作为XYZ到LMS变换的一部分而并入，那么可以进一步提高IPT-PQ颜色空间中的整体编码效率。例如，对于c＝0.02，将串扰矩阵与公式(1a)中的3×3矩阵相乘产生：

类似地，对于c＝0.04，在另一个实施例中，将串扰矩阵与原始的XYZ到LMS矩阵(例如，等式(1a))相乘产生：

d)根据Ebner论文，传统的LMS到IPT颜色空间转换包括首先对LMS数据应用非线性幂函数，然后应用线性变换矩阵。虽然可以将数据从LMS变换到IPT，然后应用PQ函数以便在IPT-PQ域中，但是在优选实施例中，在步骤(225)中，用于LMS到IPT的非线性编码的传统幂函数被L、M和S分量中的每一个的PQ非线性编码替换。

e)使用LMS到IPT线性变换(例如，如在Ebner论文中定义的)，步骤(230)完成信号222到IPT-PQ颜色空间的转换。例如，在实施例中，L'M'S'到IPT-PQ变换可以由下式给出

在另一个实施例中，实验已经表明，可能优选的是可以在没有对S'分量的任何依赖的情况下导出I'分量，因此等式(2a)可以变为：

IPT-PQ相对于YCbCr-伽玛

已经针对YCbCr颜色空间中伽玛编码的图像对大多数现有视频压缩标准(诸如MPEG-1、MPEG-2、AVC、HEVC等)进行了测试、评估和优化；但是，实验结果已经表明IPT-PQ颜色空间可以为在每个颜色分量具有10位或更多位/像素的高动态范围图像提供较好的表示格式。在较适于HDR和宽色域信号的颜色空间(例如，IPT-PQ)中的信号编码可以产生较好的整体图片质量；但是，传统解码器(例如，机顶盒等)可能不能进行适当的解码和颜色转换。为了改进向后兼容性，使得即使不知道新颜色空间的设备也可以生成合理的图片，如发明人所认识到的那样，需要新的信号整形技术。

图3绘出了根据实施例的、用于信号整形和编码的示例处理。如图3中所绘出的，给定输入(302)，正向颜色整形块(305)根据需要应用颜色变换和/或整形函数以生成在优选颜色空间(例如，IPT-PQ-r)中的信号(307)。与整形相关的元数据(309)也可以被生成并传送到编码流水线的后续块，诸如编码器(310)、解码器(315)和反向颜色整形(320)。

解码器在接收到编码的信号(315)之后将应用解码(315)(诸如HEVC解码)以生成解码的信号(317)。知道优选的HDR-WCG编码颜色空间(例如，IPT-PQ-r)的解码器将应用适当的反向或逆向整形(320)以生成在适当的颜色空间(例如，IPT-PQ)中的信号(322)。然后，信号(322)可以被变换到YCbCr或RGB以用于附加的后处理、存储或显示。

不知道优选的HDR-WCG编码空间的传统解码器可以将HDR-WCG空间视为传统颜色空间(例如，伽玛编码的YCbCr)；但是，由于正向颜色整形(305)，尽管事实上没有向解码器的输出(317)应用反向整形或其它颜色变换，输出(317)仍然可以具有合理的图片质量。

颜色整形

不失一般性地考虑IPT-PQ颜色空间。在实施例中，生成线性整形矩阵(例如，3×3矩阵)，以使IPT-PQ信号中的肤色(skin tone)与YCbCr-伽玛信号中的肤色在感知上匹配。这种颜色变换对IPT颜色空间中的大多数图像处理应用的性能没有影响，但却大大改进了传统设备的颜色再现。代替肤色或除了肤色之外，也可以生成相似的变换矩阵以匹配其它重要的颜色，诸如叶子、天空等等。在实施例中，可以如下计算整形矩阵：

a)加载肤色颜色的数据库(例如，反射光谱)，并将它们转换到与设备无关的颜色空间(诸如XYZ)；

b)将肤色的数据库从XYZ转换成传统颜色空间格式(例如，YCbCr、Rec.709)。这个步骤可以包括例如以下子步骤：

b.1)将数据库转换成RGB(Rec.709)；

b.2)对RGB值应用伽玛(例如，根据BT.1886)以生成伽

玛编码的R'G'B'信号；

b.3)将R'G'B'信号转换成YCbCr-伽玛值(例如，根据Rec.

709)；

b.4)计算YCbCr-伽玛信号的色相(例如，

)值；

b.5)计算YCbCr-伽玛信号的饱和度值(例如，

c)以优选的颜色格式(例如，IPT-PQ)计算数据库中的肤色值。这个步骤可以包括以下子步骤：

c.1)将XYZ转换成LMS；

c.2)通过应用PQ将LMS转换成L'M'S'和I'P'T'(例如，

根据ST 2084)；

c.3)计算色相值(例如，

)；

c.4)计算饱和度值

d)计算旋转矩阵以旋转IPT值，使得旋转或整形后的IPT-PQ(例如，IPT-PQ-r)中的肤色与YCbCr-伽玛中的肤色对准。在实施例中，通过优化与这两个颜色空间中的样本的色相和饱和度值相关的成本函数来计算这个步骤。例如，在实施例中，成本函数可以表示传统颜色空间(例如，YCbCr)与旋转后的优选HDR颜色空间(例如，IPT-PQ)之间的均方误差(MSE)。例如，令

Cost_H＝∑_i(Hue_YCbCr(i)-Hue_IPT-PQ-r(i))²，(3)表示色相相关的成本函数，其中Hue_IPT-PQ-r表示整形后的颜色(即，IPT-PQ-r)的色相，并且可以被定义为

其中所有逆tan函数在(-π，π)中计算。

在实施例中，可以应用本领域中任何已知的优化技术来查找角度“a”的值，将其表示为a'，以根据给定的标准最小化成本函数。例如，可以应用MATLAB函数fminunc(fun，x0)，其中fun＝Cost_H并且x0＝0.1。给定a'，旋转矩阵R可以定义为

作为示例，基于样本数据库，在实施例中，对于a'＝71.74度，

给定R和原始L'M'S到I'P'T'矩阵LMS2IPTmat(例如参见等式(2))，到整形后的IPT-PQ-r颜色空间的转换可以使用如下定义的新LMS2IPTmat-r矩阵：

LMS2IPTmat-r＝R^T*LMS2IPTmat＝((LMS2IPTmat^T*R))^T,(7)

其中A^T表示矩阵A的转置。

在实施例中，除了对准肤色的色相之外，还可以对准饱和度。这可以包括以下步骤：

A)将R应用于原始IPT-PQ数据以生成颜色旋转后的色度值P_R和T_R数据

b)定义饱和度成本函数，例如，原始颜色空间与目标颜色空间中饱和度值之间的MSE：

其中，

以及

c)令b'表示优化Cost_S的b值。然后，可以向色度旋转矩阵应用如下缩放向量

以形成单个颜色旋转和缩放3×3矩阵

在一些实施例中，色相成本函数和饱和度成本函数(例如，等式(3)和(8))可以被组合成单个色相/饱和度成本函数并且同时针对a'和b'两者求解。例如，在实施例中，根据等式(11)，对于

等式(4)可以被修改为

并且可以针对最佳a'和最佳bi'(i＝1至4)缩放因子两者来求解等式(3)。

例如，在实施例中，对于a'＝65度和b1'＝1.4、b2'＝1.0、b3'＝1.4且b4'＝1.0，等式(12)产生：

色调整形

所提出的旋转矩阵R可以改进颜色再现；但是，由于非线性EOTF编码函数(例如，ST2084相对于BT 1866)的差异，解码的图像(317)仍然可以被感知为具有低对比度。在实施例中，可以通过将1D色调映射曲线应用于辉度通道(例如，I')来改进对比度。这个步骤可以包括以下子步骤：

a)应用色调映射曲线(例如，S形(sigmoid))，以将原始内容从原始HDR最大明亮度(例如，4000尼特)映射到SDR目标明亮度(例如，100尼特)。这种S形函数的示例可以在A.Ballestad和A.Kostin的美国专利8,593,480“Method and Apparatus for Image DataTransformation”中找到，该专利通过引用整体上并入本文。WIPO公布WO 2014/160705“Encoding perceptually-quantized video content in multi-layer VDR coding”中也公开了替代的整形函数的示例，该公布整体上通过引用并入本文。令I′_T＝f(I′)表示色调映射函数f()的输出，那么

b)线性化I′_T(例如，应用逆PQ或伽玛函数)以生成线性I_T数据；以及

c)对线性化的I_T信号应用传统EOTF编码(例如，BT.1866)编码，以生成要由编码器压缩和发送的伽玛编码的辉度信号。

ST 2084(PQ)与BT 1866之间的这种映射的示例在图4中示出。曲线具有较高的中间色调对比度、较低的黑色，以及较亮(对比度较低)的高亮。这使色调标度(scale)与标准SDR较紧密地对准，使得当由传统设备对输入进行解码时，图像仍然能够观看。在图4中，不失一般性，输入和输出值被规范化到(0,1)。

整形信息可以作为元数据从编码器用信号发送到流水线的其余部分。可以在各种时刻(诸如以每帧为基础、以每个场景为基础，或以每个序列为基础)来确定整形参数，以产生用于给定视频序列的最佳可能性能。

虽然本描述集中在IPT-PQ颜色空间上，但这些技术同样适用于其它颜色空间和颜色格式。例如，可以应用类似的技术来改进跨不同版本的YCbCr(例如，Rec.709YCbCr和Rec.2020YCbCr)的向后兼容性。因此，在实施例中，可以使用如本文所述的信号整形技术来调整Rec.2020位流，以在使用传统的Rec.709解码器解码时提供较好的色相和饱和度输出。

图6绘出了根据实施例的、用于生成颜色旋转和缩放矩阵的示例处理流程。给定图像数据库(605)，步骤(610)计算在第一(传统)颜色空间(例如，YCbCr-伽玛)中的数据库中的图像的色相和饱和度值。步骤(615)在第二(优选的)颜色空间(例如，IPT-PQ)中计算数据库中的图像的色相。

给定与色相相关的成本函数(例如，等式(3))，步骤(620)根据使在传统颜色空间中计算的色相与在旋转后的优选颜色空间中计算的色相之间的距离最小化的最小化成本标准(诸如均方误差(MSE))来求解最佳旋转角度α'。在步骤(625)中，使用α'的值来生成颜色旋转矩阵。

可选的饱和度缩放器也可以被计算。给定饱和度成本函数(例如，等式8)，步骤(630)可选地根据最小化成本标准(诸如第一颜色空间中的信号饱和度与颜色旋转后的优选颜色空间中的缩放信号的饱和度之间的MSE)来求解最佳缩放器b'(640、645)。

最后，在步骤(635)中，旋转角度和缩放器被组合以生成颜色旋转和缩放矩阵(例如，等式(11))。

在编码器中，编码器将颜色旋转和缩放矩阵应用于在优选颜色空间中的输入数据，以生成在整形后的颜色空间中的数据。数据将被编码(压缩)并与跟颜色旋转和缩放矩阵相关的信息一起被发送到解码器。

在解码器中，传统解码器在假设数据是在传统颜色空间中编码的情况下将解码该数据。尽管使用了错误的颜色空间信息，图像仍然能够以足够的质量观看，虽然在较低的动态范围内。较新的完全启用的解码器可以利用接收到的关于颜色旋转和缩放矩阵的元数据信息来在优选颜色空间中解码图像数据，从而向观看者提供数据的完整的高动态范围。

用于整形信息的SEI消息语法

如之前所讨论的，在一个实施例中，旋转(R)矩阵和缩放向量(S)可以在(230)中由L'M'S'到I'P'T'转换矩阵吸收。色调整形曲线可以是正向颜色整形(305)的一部分。在这两种情况下，自适应整形信息(即，矩阵和色调映射曲线)可以由编码器使用在于2015年7月16日提交的美国临时申请序列No.62/193,390(也于2016年4月19日以序列No.PCT/US2016/02861作为PCT申请提交)中提出的语法发送到解码器，该申请通过引用整体上并入本文。

在另一个实施例中，如图5中所绘出的，可以在编码器(500A)中添加新的颜色旋转和缩放块(510)。可以在颜色变换(200)(例如，RGB到IPT-PQ)之后但优选地在正向整形(305)之前添加这个块。在解码器(500B)中，可以在反向整形框(320)之后添加对应的逆颜色旋转和缩放块(515)。如图5中所绘出的，可以根据需要在编码和/或解码流水线中添加可选的颜色格式转换框(例如，4:4:4到4:2:0(505)或4:2:0到4:4:4(520))。

就语法而言，可以指定或者3×3旋转矩阵或仅指定2×2矩阵，因为通常辉度通道(例如，Y或I)保持不变。表1提供了传送色彩旋转和缩放矩阵的SEI消息传送的示例；但是，信令不限于在SEI消息中；它可以被插入在任何高级语法(如SPS、PPS等等)中。

表1：用于颜色旋转和缩放矩阵的示例SEI消息传送

colour_rotation_scale_matrix_present_flag等于1指示，对于在0到1(包括0和1)范围内的c和i，存在语法元素

colour_rotation_scale_coeffs[c][i]。

colour_rotation_scale_matrix_present_flag等于0指示，对于在0到1(包括0和1)范围内的c和i，不存在语法元素

colour_rotation_scale_coeffs[c][i]。

colour_rotation_scale_coeffs[c][i]指定二乘二颜色旋转和缩放矩阵系数的值。colour_rotation_scale_coeffs[c][i]的值应当在-2^15到2^15-1的范围内(包括-2^15和2^15-1)。当colour_rotation_scale_coeffs[c][i]不存在时，使用默认的颜色旋转和缩放矩阵。

在实施例中，编码器和解码器两者可以知道颜色旋转和缩放矩阵(例如，通过新颜色空间的相互定义)，因此可能不需要将颜色旋转矩阵从编码器用信号发送给解码器。在另一个实施例中，颜色旋转和缩放矩阵可以与IPT-PQ一起在VUI(视频可用性信息)中被引用。

多色相和饱和度整形

在一些实施例中，将整形应用于多个色相可能是有益的。这将增加整形后的颜色空间匹配传统颜色的准确度，但是以解码器处的附加计算为代价。考虑例如针对N个色相(例如，肤色、天空、绿色植物等)优化整形的问题。在实施例中，可以重复之前讨论的处理来识别作为色相的函数的最佳角度和饱和度的集合。例如，使用对于各种色相的数据库图像，可以生成最佳(旋转角度、饱和度缩放)值的集合，例如{(a₁,b₁),(a₂,b₂),…,(a_N,b_N)}。或者更一般地，令对于像素p

a(p)＝f_H(h(p))，(14)

b(p)＝f_s(h(p))，

表示最佳色度(色相)旋转和饱和度缩放值，其中h(p)表示像素p的色相的度量。例如，对于IPT-PQ颜色空间，可以根据色相h(p)和饱和度s(p)函数来计算f_H和f_s函数：

函数f_H(h(p))和f_S(h(p))可以以本领域已知的各种方式(例如查找表或分段线性或非线性多项式)表示和存储，并且可以作为元数据从编码器用信号发送给解码器。

给定f_H(h(p))和f_S(h(p))，编码器将以下整形函数应用于每个像素：

h′(p)＝h(p)+a(p)，(16)

s′(p)＝s(p)*b(p)，

以生成适当的整形后的信号。例如，对于IPT-PQ颜色空间，像素p的整形后的P'和T'颜色分量可以使用下式导出：

P′_r(p)＝s′(p)cos(h′(p))，(17)

T′_r(p)＝s′(p)sin(h′(p))。

在解码器中，这个处理反过来。例如，给定f_H(h(p))和f_S(h(p))，根据等式(14)和(16)，解码器生成

h(p)＝h′(p)-a(p)，(18)

s(p)＝s′(p)/b(p)。

要注意的是，为了避免解码器中的除法，在一些实施例中，编码器可以向解码器发信号通知f_S(h(p))的逆(例如1/b(p)值)。对于IPT-PQ空间中的输入数据，原始数据可以生成为

P(p)＝s(p)cos(h(p))，(19)

T(p)＝s(p)sin(h(p))。

根据等式(17)，应用逆整形来恢复优选颜色空间中的数据需要三角运算。在一些实施例中，可以使用查找表来执行三角运算。作为示例，根据等式(18)，等式(19)可以被重写为

P(p)＝s(p)cos(h′(p)-a(p))，(20)

T(p)＝s(p)sin(h′(p)-a(p))。

这些运算可以使用合适的查找表来进一步简化，以计算余弦函数和正弦函数。

图7A绘出了当传统颜色空间是YCbCr-伽玛时将色相从整形后的IPT-PQ-r(其对于传统设备看起来是YCbCr)转换回IPT-PQ的示例反向整形函数。图7B绘出了调整饱和度的对应的反向整形函数。图8绘出了可以如何调整优选颜色空间IPT-PQ(820)以匹配传统YCbCr颜色空间(810)的特性。射线(830)绘出了旋转和缩放。

在另一个实施例中，代替按照(in terms of)色相的余弦函数或正弦函数来计算P和T值，可以用基于色相的某个其它函数(例如，f(tan^-1(h(p))))生成的查找表来构建较简单的解码器。例如，给定整形后的像素值分量P′_r(p)和T′_r(p)，在实施例中，解码器可以如下恢复原始像素值：

其中v()和w()表示色相相关的函数，这些函数被生成，以使整形后的颜色空间中的图像匹配传统颜色空间中的色相和饱和度的集合。如前所述，v()和w()函数可以使用元数据从编码器向解码器传送，或者它们可以是编码器和解码器两者已知的已建立的编码协议或标准的一部分。

IC_TC_P颜色空间

IC_TC_P(也被称为ICtCp(或IPT))是专为处理高动态范围和宽色域(WCG)信号而设计的新颜色空间。与ITP-PQ一样，I(强度)表示PQ编码的信号的明亮度，C_T(Tritan轴)与蓝色-黄色感知对应，并且C_P(Protan轴)与红色-绿色感知对应。在IC_TC_P中，除了所讨论的IPT-PQ特征外，

·如前所述，旋转色度以使肤色与YCbCr较接近地对准

·对于WCG图像，XYZ到LMS矩阵被优化以获得较好的均匀性和线性度

·L'M'S'到ICtCp矩阵被优化以改进相对于HDR和WCG图像的等辉度(isoluminance)和稳定性

如本文所使用的，术语“等辉度”是指辉度(比如，ICtCp的I或Y'Cb'Cr'的Y')与辉度Y的对应程度的度量。间接地，它测量颜色空间将亮度与色度分离的程度。由发明人进行的实验表明，ICtCp的I比Y'Cb'Cr'的Y'接近得多地与亮度对应。

从实现的角度来看，使用IC_TC_P颜色空间需要与使用传统的伽玛编码的YCbCr相同的硬件和信号流。例如，考虑在相机流水线中使用伽玛校正的YCbCr(Y'Cb'Cr')。从XYZ开始，该处理需要以下步骤：

a)使用3×3矩阵从XYZ转换到RGB BT.2020

b)对步骤a)的输出应用逆EOTF(或OETF)；以及

c)对步骤b)的输出应用3×3矩阵，

如图2中所绘出的，使用IC_TC_P颜色需要以下步骤：

a)在步骤(220)中，在优选实施例中，使用以下3×3矩阵从XYZ转换到LMS：

这对应于将等式(1a)的XYZ到LMS 3×3矩阵与具有c＝0.04的串扰矩阵组合(也参见等式(1c))。

b)在步骤(225)中，如前所述，通过应用PQ非线性将信号(222)转换到L'M'S'

c)在步骤(230)中，使用3×3矩阵从L'M'S'转换到IC_TC_P，在优选实施例中，该矩阵可以被定义为：

等式(23)对应于等式(12b)的旋转矩阵乘以等式(2b)的原始L'M'S'到I'P'T'矩阵。

在另一个实施例中，步骤a)至c)也可以如下表示：

其中

并且

I＝0.5L′+0.5M′，(24)

C_T＝(6,610L′-1S,61SM′+7,00SS′)/4096，

C_P＝(17,9SSL′-17,S90M′-54SS′)/4096，

其中，RGBBT.2020表示BT.2020中的RGB值的三元组，

表示根据SMPTEST 2084的EOTF的逆。在一些实施例中，

函数可以由另一个非线性量化函数(诸如混合对数-伽玛(HLG)函数)替代。为了完整的参考，在表2中也总结了适当的等式，其中下标D是指显示光。

表2：到IC_TC_P的颜色转换

从IC_TC_P转换回原始颜色空间遵循类似的做法，并且在实施例中它可以包括以下步骤：

a)使用等式(23)的逆或下式而从IC_TC_P转换到L'M'S'

b)使用信号的EOTF函数(例如，如在ST 2084中定义的)将L'M'S信号转换成LMS；

c)使用等式(22)的逆将LMS转换成XYZ，例如：

在实施例中，对应的L'M'S到RGB和IC_TC_P到L'M'S矩阵由下式给出：

参考显示管理

高动态范围内容可以在具有比用于掌握(master)内容的参考显示器的动态范围小的动态范围的显示器上观看。为了在具有较小动态范围的显示器上观看HDR内容，应当执行显示映射。这可以在显示器中采用EETF(电-电传递函数)的形式，该传递函数通常在对于显示器应用EOTF之前应用。这个函数提供了脚趾(toe)和肩部(shoulder)，以优雅地滚降(roll off)高亮和阴影，从而在保持艺术意图和维持细节之间提供平衡。图9是从全0-10000尼特动态范围到能够显示0.1-1000尼特的目标显示器的示例EETF映射。EETF可以被引入到PQ信号中；这些绘图示出了映射的效果，即，它们图示了预期的光如何变成实际显示的光。

以下是为各种黑白辉度级别的显示器实现这种色调映射函数的数学步骤。EETF可以在非线性域中应用于IC_TC_P或Y'C'_BC'_R中的亮度通道或者分别应用于RGB通道。

计算EETF：

色调映射曲线的中心区域被定义为从源到目标的一一映射。使用Hermite样条(spline)来计算附加的脚趾和肩部滚降，以将动态范围减少到目标显示器的能力。

首先定义样条的转折点(脚趾开始(TS)和肩部开始(SS))。这些是滚降开始处的点。令minLum和maxLum表示目标显示器的最小和最大辉度值，于是：

SS＝1.5*maxLum-0.5

TS＝1.5*minLum

给定E₁(规范化的PQ码字中的源输入信号)，输出E2被如下计算。

对于0≤E₁≤TS

X₁＝0

Y₁₁＝minLum

X₂,Y₂＝TS

E₂＝P(E₁,X₁,Y₁,X₂,Y₂)

对于TS＜E₁＜SS

E₂＝E₁

对于SS≤E₁≤1

X₁,Y₁＝SS

X₂＝1

Y₂＝maxLum

E₂＝P(E₁,X₁,Y₁,X₂,Y₂)

Hermite样条等式：

B＝(A,X₁,X₂)

P(B,Y₁,Y₂)＝(2T(B)³-3T(B)²+1)Y₁+(T(B)³-2T(B)²+T(B))(X₂-X₁)

+(-2T(B)³+3T(B)²)Y₂

在另一个实施例中：

步骤1：

E₂＝E₁对于E₁＜SS

E₂＝P(E₁)对于SS≤E₁≤1

步骤2：

E_S＝E₂+TS*(1-E₂)⁴对于0≤E₂≤1

Hermite样条等式

P(B)＝

(2T(B)³-3T(B)²+1)SS+(T(B)³-2T(B)²+T(B))(1-SS)+(-2T(B)³+3T(B)²)maxLum，

其中

结果所得的EETF曲线可以应用于或者IC_TC_P的强度I通道或者Y'C'_BC'_R的亮度Y通道。这里有一些值得注意的选项：

1)IC_TC_P的I-通过EETF来处理IC_TC_P的强度(I)通道

I₂＝EETF(I₁)

●较准确地调整灰度级

●没有颜色偏移

●饱和度的改变将是需要的，并且应当使用以下这个公式应用于C_T和C_P通道：

2)Y'C'_BC'_R的Y'-通过EETF处理Y'C'_BC'_R的亮度Y'通道

Y′₂＝EETF(Y′₁)

●较准确地调整灰度级

·有限的颜色偏移

·饱和度的改变将是需要的，并且应当使用以下这个公式应用于C'_B和C'_R通道：

与本发明相关的附加实施例被包括在本申请的附录A中。

示例计算机系统实现

本发明的实施例可以用计算机系统、以电子电路系统和部件配置的系统、诸如微控制器之类的集成电路(IC)设备、现场可编程门阵列(FPGA)或另一种可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这种系统、设备或部件中的一个或多个的装置来实现。计算机和/或IC可以执行、控制或运行与具有增强的动态范围的图像的信号整形和编码相关的指令，诸如本文所描述的那些。计算机和/或IC可以计算与本文所述的信号整形和编码处理相关的各种参数或值中的任何一个。图像和视频实施例可以在硬件、软件、固件及其各种组合中实现。

本发明的某些实现包括执行使处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行在处理器可访问的程序存储器中的软件指令来实现与上述HDR图像的信号整形和编码相关的方法。本发明也可以以程序产品的形式提供。程序产品可以包括携带包含指令的计算机可读信号集合的任何非瞬态介质，指令当由数据处理器执行时，使数据处理器执行本发明的方法。根据本发明的程序产品可以是各种各样的形式中的任何一种。程序产品可以包括例如物理介质(诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括CD ROM、DVD的光学数据存储介质，包括ROM、闪存RAM的电子数据存储介质，等等)。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)时，除非另有指示，否则对那个部件的引用(包括对“装置”的引用)应当被解释为包括作为那个部件的等同物的(执行所述部件的功能)的任何部件(例如，功能上等同)，包括在结构上不等同于所公开的结构但是执行在本发明的示出的示例实施例中的功能的部件)。

等同物、扩展、替代方案和杂项

因此，描述了与HDR图像的高效信号整形和编码相关的示例实施例。在前面的说明书中，已经参考众多具体细节描述了本发明的实施例，这些细节可以随着实现方式不同而有所变化。因此，作为什么是本发明并且申请人意图将什么作为本发明的唯一和排他的指示是从本申请发出的权利要求的集合，包括任何后续的更正，这种权利要求以特定的形式发出。对于这些权利要求中包含的术语在本文明确阐述的任何定义将决定权利要求中使用的术语的含义。因此，权利要求中没有明确记载的任何限制、元素、性质、特征、优点或属性不应当以任何方式限制这种权利要求的范围。因而，说明书和附图要从说明性而不是限制性的意义上来看待。

Claims (20)

1.一种改进向后兼容的解码的方法，该方法包括：

用处理器访问图像数据库(605)；

计算(610)数据库中的图像的在第一颜色空间中的第一色相值；

计算(615)数据库中的图像的在第二颜色空间中的第二色相值；

通过寻找使色相成本函数最小化的色相旋转角度来计算(620)最佳色相旋转角度，其中色相成本函数基于第一色相值与旋转后的第二色相值的差异度量；以及

基于最佳色相旋转角度生成(625)用于在编码之前对输入图像进行颜色旋转的颜色旋转矩阵，

其中，所述方法还包括：

计算(610)在第一颜色空间中的数据库中的图像的第一饱和度值；

将数据库中的图像变换到第二颜色空间中以生成变换后的图像；

将颜色旋转矩阵应用(640)于变换后的图像以生成颜色旋转的图像；

计算(645)颜色旋转的图像的第二饱和度值；

基于最小化饱和度成本函数计算(630)饱和度缩放器，其中饱和度成本函数基于第一饱和度值与缩放后的第二饱和度值的差异度量；以及

基于饱和度缩放器来生成缩放向量。

2.如权利要求1所述的方法，还包括组合颜色旋转矩阵和缩放向量，以生成整形颜色矩阵。

3.如权利要求1所述的方法，其中第一颜色空间包括伽玛编码的YCbCr颜色空间，并且第二颜色空间包括PQ编码的IPT颜色空间。

4.如权利要求1所述的方法，其中第一颜色空间包括Rec.709 YCbCr颜色空间，并且第二颜色空间包含Rec.2020 YCbCr颜色空间。

5.如权利要求1所述的方法，其中颜色旋转矩阵包括

其中a′表示最佳色相旋转角度。

6.如权利要求1所述的方法，其中缩放向量包括

其中b′表示饱和度缩放器。

7.如权利要求1所述的方法，其中第一颜色空间是Rec.709 YCbCr颜色空间，第二颜色空间是ST 2084 IPT颜色空间(IPT-PQ)，并且颜色旋转矩阵包括

8.如权利要求2所述的方法，其中整形颜色矩阵包括：

其中a′表示最佳色相旋转角度，并且b′表示饱和度缩放器。

9.如权利要求1所述的方法，还包括，在编码器中：

接收第二颜色空间中的输入图像(232)；

将前向颜色整形应用于输入图像包括将颜色旋转矩阵应用(510)于输入图像以生成颜色旋转的图像；以及

使用该编码器对颜色旋转的图像进行编码(310)以生成编码的图像；

将编码的图像发送到解码器；

将整形相关的元数据发送到解码器，

其中该方法还包括，在解码器中：

接收编码的图像；

接收整形相关的元数据；

对编码的图像进行解码以生成解码的图像；

将反向颜色整形应用于解码的图像以生成第二颜色空间中的输出图像。

10.如权利要求2所述的方法，还包括：

接收第二颜色空间中的输入图像(232)；

将整形颜色矩阵应用(510)于输入图像以生成整形后的图像；以及

使用编码器对整形后的图像进行编码(310)以生成编码的图像。

11.如权利要求9所述的方法，还包括：

在编码步骤之前将色调映射函数应用(305)于整形后的图像的辉度值。

12.如权利要求10所述的方法，还包括：

将基于整形颜色矩阵的信息作为元数据用信号发送给解码器。

13.如权利要求10所述的方法，其中元数据包括：

指示是否存在颜色旋转和缩放矩阵的标志；以及

当该标志指示存在颜色旋转和缩放矩阵时，基于颜色旋转和缩放矩阵的多个系数。

14.如权利要求2所述的方法，其中第二颜色空间包括IPT颜色空间，并且在颜色转换器中，默认的LMS到IPT转换矩阵被默认的LMS到IPT转换矩阵与整形颜色矩阵的乘积替代。

15.如权利要求1到14中任一项所述的方法，其中成本函数表示第一色相值和旋转后的第二色相值之间的均方误差MSE。

16.一种改进后向兼容的解码的方法，该方法包括：

接收优选颜色空间中的输入图像；

访问色相旋转函数，其中，对于优选颜色空间中的输入图像中的像素的色相值，色相旋转函数生成旋转后的色相输出值，其中，基于所述优选颜色空间中的旋转后的色相输出值与所述传统颜色空间中的色相值的差异度量的色相成本函数被最小化；

基于输入图像和色相旋转函数生成整形后的图像；以及

对整形后的图像进行编码以生成编码的整形后的图像，

其中，所述方法还包括：

访问饱和度缩放函数，其中，对于优选颜色空间中的输入图像中的像素的色相值，饱和度缩放函数生成具有缩放的饱和度的色相值，基于具有缩放的饱和度的所述色相值与传统颜色空间中的色相饱和度值之间的差异度量的饱和度成本函数被最小化；以及

基于输入图像、色相旋转函数和饱和度缩放函数生成整形后的图像。

17.一种包括处理器并且被配置为执行如权利要求1-16中所述的方法中的任何一个的装置。

18.一种其上存储有计算机可执行指令的非瞬态计算机可读存储介质，所述计算机可执行指令用于由一个或多个处理器执行如权利要求1-16中任一项所述的方法。

19.一种设备，包括：

一个或多个处理器；以及

存储器，存储当被执行时使所述一个或多个处理器执行如权利要求1-16中任一项所述的方法的指令。

20.一种包括用于执行如权利要求1-16中任一项所述的方法的部件的装置。

Images