CN111095931A

CN111095931A - 色调曲线优化方法以及相关联的视频编码器和视频解码器

Info

Publication number: CN111095931A
Application number: CN201880057299.0A
Authority: CN
Inventors: A·K·A·乔杜里; R·阿特金斯; T·贝尔; A·赞迪法尔; I·戈丁
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2017-09-06
Filing date: 2018-09-05
Publication date: 2020-05-01
Anticipated expiration: 2038-09-05
Also published as: JP7084984B2; JP2020533841A; US20210076042A1; WO2019050972A2; WO2019050972A3; EP3679716A2; CN111095931B; US11336895B2

Abstract

一种用于生成供视频解码器用于显示由视频编码器编码的视频内容的元数据的方法包括：(1)访问目标色调映射曲线；(2)访问与所述视频解码器用于对所述视频内容进行色调映射的色调曲线对应的解码器色调曲线；(3)生成由所述视频解码器使用的修整处理函数的多个参数，以在将所述解码器色调映射曲线应用于所述视频内容之后应用，其中，所述修整处理函数的所述参数被生成用于通过所述修整处理函数和所述解码器色调曲线的组合来逼近所述目标色调曲线，以及(4)生成所述元数据以供所述视频解码器使用，所述元数据包括所述修整处理函数的所述多个参数。

Description

色调曲线优化方法以及相关联的视频编码器和视频解码器

相关申请的交叉引用

本申请可与以下专利申请有关：均于2017年9月6日提交的美国临时专利申请序列号62/554,706和欧洲专利申请17189603.8；于2018年2月21日提交的美国临时专利申请序列号62/633,326；以及于2018年8月21日提交的美国临时专利申请序列号62/720,411，上述专利中的每一个都通过引用以其全文并入本文。

技术领域

本发明总体上涉及图像。更具体地，本发明的实施例涉及视频编码和解码中的色调曲线优化。

背景技术

如本文所使用的，术语“动态范围”可以涉及人类视觉系统感知图像中的强度范围(例如，亮度(luminance)、光亮度(luma))的能力，例如，从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，动态范围与‘参考场景的(scene-referred)’强度有关。动态范围还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，动态范围与‘参考显示器的(display-referred)’强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上例如可互换地使用。

如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统的大约14至15个数量级的动态范围阔度。在实践中，相对于HDR，人类可以同时感知强度范围广泛阔度的动态范围可能会被稍微截短。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可单独地或可互换地涉及人类视觉系统可同时感知的动态范围。如本文所使用的，EDR可以涉及跨越五到六个数量级的动态范围。因此，虽然相对于参考真实场景的HDR可能稍微窄一些，但EDR可以表示宽动态范围阔度并且也可以被称为HDR。

实际上，图像包括一个或多个颜色分量(例如，光亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝S)。使用线性亮度编码，其中n<8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可被视为增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如，16位)浮点格式来存储和分布，如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式。

大多数消费者桌面显示器支持200到300cd/m²或尼特的亮度。大多数消费者HDTV的范围为300到1000cd/m²。因此，这种传统显示器代表与HDR或EDR相关的低动态范围(LDR)，也被称为标准动态范围(SDR)。随着EDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM-4200专业参考监视器)的进步而增加，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1000尼特到5000尼特或更高)的HDR显示器上。

如本文所使用的，术语“显示管理”包括但不限于将第一动态范围(例如，一千尼特)的输入视频信号映射到第二动态范围(例如，五百尼特)的显示器所需的处理(例如，色调和色域映射)。

附图说明

图1描绘了在实施例中包括编码器和解码器的视频传输流水线。

图2是在实施例中被配置用于实施色调曲线优化方法的视频编码器和视频解码器的示意性框图。

图3A是根据实施例的用于将图像从第一动态范围映射到第二动态范围的示例性色调映射曲线的图形描绘。

图3B描绘了定义用于改善色调映射曲线的匹配的参数的示例。

图4是图示了实施例中的色调曲线优化方法的流程图。

图5是在实施例中在图4的方法的实施例中执行的决策树的图形描绘。

图6是在实施例中与图5的决策树对应的方法流程图。

图7是在实施例中被配置用于实施图6的方法的视频编码器和视频解码器的示意性框图。

具体实施方式

本公开的方法涉及高于SDR的任何动态范围。向后兼容性和优越的沉浸式体验都期望用于HDR和SDR显示器上的高动态范围图像的显示管理的改进技术。

图1描绘了视频传输流水线100的示例性过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成框105来捕获或生成视频帧102序列。视频帧102可以被(例如，由数码相机)数字地捕获或者由计算机(例如，使用计算机动画)生成以提供视频数据107。可替代地，可以通过胶片相机将视频帧102捕获在胶片上，在这种情况下，胶片会被转换为数字格式以提供视频数据107。在制作阶段110，对视频数据107进行编辑以提供视频制作流112。

视频制作流的视频数据112然后在后期制作框115处被提供给处理器以进行后期制作编辑。在后期制作块115处的编辑可以包括调整或修改图像的特定区中的颜色或明亮度(brightness)，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。可以在后期制作框115处执行其他编辑(例如，场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)以产生用于发行的作品的最终版本117。在后期制作框115的后期制作编辑期间，在参考显示器125上观看视频图像。

在后期制作框115处的后期制作之后，可以将最终版本117的视频数据传输到编码器120，以便向下游传输到诸如电视机、机顶盒、电影院等解码和回放设备。在一些实施例中，编码器120可以包括诸如由ATSC、DVB、DVD、蓝光和其他传输格式定义的那些音频编码器和视频编码器，以生成编码比特流122。在接收器中，编码比特流122由解码器130解码，以生成表示与最终版本117对应的视频数据的完全相同或接近近似版本的经解码信号132。接收器可以附接到目标显示器151，所述目标显示器可以具有与参考显示器125完全不同的特性。在这种情况下，显示管理单元135可以用于通过生成显示器映射信号137来将经解码信号132的动态范围映射到目标显示器151的特性。目标显示器151可以是参考监视器、计算机监视器或显示器、电视机、头戴式显示器、虚拟视网膜显示器等。

图2是在示例性使用情境中的视频编码器200和视频解码器250的示意性框图。视频编码器200和视频解码器250分别是编码器120和解码器130的示例。在这种情境下，视频编码器200经由通信信道240通信地连接到视频解码器250。视频编码器200和视频解码器250可以分别是视频服务器201和视频显示设备251的一部分。视频解码器250可以包括显示管理单元135的功能。通信信道240可以包括光信道242、有线信道244和无线信道246中的至少一个。视频显示设备251是目标显示器151的示例。

视频编码器200包括通信地耦合到存储器210的微处理器202，所述存储器被配置用于存储目标色调曲线214、源视频数据211、候选色调曲线216、软件220、中间图像数据232、经优化元数据234和经编码视频内容236。存储器210还可以存储修整处理(trim-pass)函数218。软件220包括映射器222和元数据优化器224。映射器222可以实施显示管理算法222A，所述显示管理算法将第一动态范围的输入视频信号映射到具有第二动态范围的视频信号。当执行软件220的机器可读指令时，微处理器202执行本文所描述的视频编码器200的功能。

尽管本文所描述的技术术语“色调曲线”是指色调映射曲线，但是为了简洁起见使用“色调曲线”。本文中，术语显示“管理曲线”等同于色调映射曲线。

经编码视频内容236包括多个颜色通道值238，并且可以是按照某一视频编码格式编码的数字视频内容。候选视频编码格式包括但不限于MPEG-2、MPEG-4、H.264、AVC、HEVC以及其他当前已知的或将来的技术。

视频解码器250包括通信地耦合到存储器260的显示管理处理器252，所述存储器被配置用于存储经优化元数据234、解码器色调曲线263和软件270。存储器260还可以被配置用于存储第二色调曲线264和包括输出通道值288的经解码视频内容286。经解码视频内容286是经显示映射的信号137(图1)的示例。显示管理处理器252可以是微处理器，并且在执行软件270的机器可读指令时执行本文所描述的视频解码器250的功能。

第二色调曲线264可以类似于目标色调曲线214。例如，目标色调曲线214和第二色调曲线264可以是以下中的至少一个：与相同的元数据兼容、具有相同的函数形式、以及是相等的。色调曲线214和264可以具有相同的动态范围或可以具有不同的动态范围。解码器色调曲线263可以具有与色调曲线214和264之一或两者相等或不同的动态范围。

诸如色调曲线214、263和264等色调曲线可以以不同的格式存储在存储器210和存储器260之一或两者中。这些格式包括数据表、多项式系数、样条锚定点及其之间的线/曲线、及其组合。

解码器色调曲线263可以表示映射函数g_map，如图2所示。解码器色调曲线263是存储在视频编码器200的存储器210中的候选色调曲线216之一。软件270包括色调曲线优化器273，并且还可以包括映射器274。当执行软件270的机器可读指令时，软件270执行本文所描述的视频解码器250的功能。映射器274可以实施显示管理算法274A，所述显示管理算法将第一动态范围的输入视频信号映射到具有第二动态范围的视频信号。

存储器210和存储器260中的每一个可以是暂态的和/或非暂态的，并且可以包括易失性存储器(例如，SRAM、DRAM或其任何组合)和非易失性存储器(例如，闪存、ROM、磁性介质、光学介质、或其任何组合)之一或两者。存储器210的一部分或全部可以集成到微处理器202中。存储器260的一部分或全部可以集成到显示管理微处理器252中。

源视频数据211包括以像素为特征的数字图像，每个像素具有由一个或多个颜色分量或通道值定义的颜色。每个通道值X_i具有N位精度，例如N＝8，使得X_i∈[0,255]。通道值可以对应于颜色空间的值。特定颜色空间例如基于以下颜色空间之一：CIE、RGB、YUV、HSL/HSV和CMYK。通道值X_i可以例如在YUV颜色空间中表示亮度。目标色调曲线214可以表示通道值X_i的映射函数f_map，如图2所示。

源视频数据211和经编码视频内容236可以包括源元数据215。源元数据215可以符合SMPTE标准2094-10:2016“Dynamic Metadata for Color Volume Transform-Application#1(用于颜色体积变换的动态元数据——应用#1)”(

2016，电影和电视工程师协会)中描述的关于元数据的应用约束。源元数据215可以包括L1元数据215(1)、L2元数据215(2)、L3元数据215(3)和L8元数据215(8)中的至少一个。目标色调曲线214、解码器色调曲线263和第二色调曲线264中的每一个可以与元数据215(1)、215(2)、215(3)和215(8)中的至少一个元数据兼容或至少部分地由其确定。显示管理算法222A和274A可以与相同的元数据215兼容，或者与不同的元数据215兼容。

在第一实施例中，显示管理算法222A与元数据215(3)和215(8)兼容，并且显示管理算法274A与215(2)兼容。在第二实施例中，显示管理算法222A和274A两者都与元数据215(3)和215(8)兼容。在第二实施例中，显示管理算法274A也可以与元数据215(2)兼容。

L1元数据215(1)提供/描述关于内容的动态范围(诸如源图像中的亮度值分布、源场景)、源增益/偏移量/次幂等的信息，如在源视频数据211中表示的。在一些实施例中，亮度值分布可以由基于图像的图像内容(例如，像素值、亮度值、色度值、Y值、Cb/Cr值、RGB值等)、场景、增益/偏移量/次幂等导出的直方图表示。L1元数据215(1)可以包括分别表示代表源视频数据211的一个或多个场景的最小(“下限(crush)”)亮度值、中间色调(“mid”)亮度值和最大(“上限(clip)”)亮度值的量min、mid和max。

解码器色调曲线263是输入通道值X_i(即，“输入强度”)与中间通道值Y_i＝g_map(X_i)之间的映射。例如，映射器222可以采用解码器色调曲线263来将源视频数据211的输入通道值映射到中间图像数据232。映射函数g_map可以是X_i和L1元数据215(1)的函数。例如，

其中，m是确定在低亮度值与高亮度值之间的中间调亮度值处g_map的陡度的参数，并且可以基于源中的L1元数据(例如，min、mid和max亮度值)和目标显示器的相应亮度特性生成C_i参数。

L2元数据215(2)提供和/或描述关于视频特性调整的信息，这些信息源自或追溯到由主管、颜色分级者、视频专业人员等在制作工作室中借助具有参考动态范围的参考显示器125进行的调整。L8元数据215(8)类似于L2元数据215(2)，例如，当色调曲线263和264之一与目标色调曲线214相匹配时，L8元数据215(8)可以等同于L2元数据215(2)。在另一实施例中，L2元数据可以指使用第一色调映射曲线(例如，在显示管理过程的版本1中使用的色调曲线)的修整处理元数据，并且L8元数据可以指使用第二色调映射曲线(例如，在显示管理过程的版本2或后续版本中使用的色调曲线)的修整处理元数据。

L3元数据215(3)提供和/或描述关于视频特性调整的信息，这些信息源自和/或追溯到由主管、颜色分级者、视频专业人员等在制作工作室中借助具有不同于参考显示器125的参考动态范围的第二参考动态范围的第二参考显示器(如目标显示器151)进行的调整。L3元数据215(3)包括例如相对于L1元数据215(1)的偏移量或调整，诸如作为分别与量min、mid和max的偏移量的Δmin、Δmid和Δmax。

修整处理函数218可以表示修整处理函数f_trim，如图2所示。修整处理函数f_trim可以是元数据(如S、O和P，其分别表示斜率、偏移量和次幂)的函数。元数据S、O和P分别是L2元数据215(2)的示例，元数据值S、O和P在本文中也称为“修整处理值”。例如，f_trim(Y_i)＝(S·Y_i+O)^P。修整处理值S、O和P可以被优化以最小化表达式

其中，m>0。修整处理函数f_trtm可以具有其他函数形式，例如，幂律表达式

其中，指数P类似于编码和解码亮度或三刺激值的领域中已知的伽马编码中的指数γ。经优化的修整处理值S、O和P是存储在视频编码器200中的经优化元数据234的示例。在另一示例性实施例中，修整处理函数可以以提升(lift)、增益(gain)和伽马(gamma)参数(LGG)表示。例如，在一个实施例中，f_trim(Y_i)=(Gain*(Y_i+Lift*(1-Y_i)))^1/gamma。

在给定了以提升(lift)、伽马(gamma)和增益(gain)表示的元数据的情况下，可以将这些值转换回SOP值。例如，在一个实施例中，可以使用以下变换：

其中，y＝clamp(x，x_min，x_max)将x的值约束(钳位)在x_min与x_max之间。即，如果(x<x_min)，则y＝x_min，并且如果(x>x_max)，则y＝x_max。

等式(2)描述了对修整处理函数的所有三个参数(例如，S、O和P)进行的多参数优化。这样的优化可能产生不连续的映射，从而产生在美学上不令人满意的色调映射图像。在实施例中，可以基于某个合适的函数来固定这三个参数之一，并且然后针对剩余的两个参数优化等式(2)。例如，考虑使用提升、增益和伽马值来转换使用L8元数据和L2元数据确定的色调曲线的情境。然后，使用SOP元数据求解等式(2)可以包括以下步骤：

a)根据L8伽马(gamma)数据生成L8次幂(P_L8)元数据

P_L8＝1/gamma_L8

b)将L8次幂转换为L2次幂

如果(P_L8<0)，则

否则

c)对于给定的P_L2值，通过针对S和O最小化等式(2)来找到最佳S_L2和O_L2值。

注意，在实施例中，在不失一般性的情况下，以上计算可以假设提升、增益和伽马值处于[-1，1]中，而SOP值可以处于[-0.5，0.5]中。此外，在一个实施例中，L2元数据和L8元数据可以在经编码比特流中被不同地缩放，因此，它们可能需要被适当地重新缩放。例如，在一个实施例中，在等式(2)中使用SOP值之前：

S＝S_L2+1，

O＝O_L2，

P＝P_L2+1.

并且

S＝2*S_L8+1，

O＝2*O_L8，

P＝2*P_L8+1。

其中，S_L2、O_L2、P_L2表示L2 SOP元数据，并且S_L8、O_L8、P_L8表示L8 SOP元数据。

在一些实施例中，可以仅基于两对数据点来执行等式(2)中的优化，其中一个数据点接近输入的最小亮度值(xmin)，并且另一个数据点接近输入的最大亮度值(xmax)。令Tmin和Tmax表示目标显示器的最小和最大明亮度(参见图3B)。如图3B中所描绘的，作为示例性且非限制性地，给定两个色调映射曲线(例如，f_map()350和g_map()360)，其任务是调整解码器色调映射曲线(360)，使其与目标色调映射曲线(350)相匹配，可以确定两个优化点：a)(x1，Tmin)，其中，x1≥xmin并且x1表示这些曲线之一(优选地f_map())穿过Tmin时的x_i值，以及b)(x2，Tmax)，其中，x2≤xmax并且x2表示这些曲线之一(优选地f_map())穿过Tmax时的x_i值。鉴于在这两个点(例如，d1＝f_map(x1)-g_map(x1)以及d2＝f_map(x2)-g_map(x2))处这两条曲线之间值的差，根据等式(2)，可以将S、O、P参数确定为这两个点的总误差，例如，

M_S，O，P＝d1²+d2²， (5)

被最小化。M_S，O，P的这种优化可以使用本领域中已知的技术来执行，如鲍威尔(Powell)法。回到与等式(4)有关的先前讨论，还可以使用以下简化的两步式优化方法来求解等式(5)：a)根据输入元数据值确定参数之一(比如P)(例如，参见等式(4))，以及b)针对其他两个参数(例如，O和S)来求解优化问题以最小化等式(5)中的M_S，O，P。

在一个实施例中，当色调映射曲线不穿过Tmin或Tmax时，优化技术可以使用我们感兴趣的矩形(即，由xmin、xmax、Tmin和Tmax界定的矩形)内的任何其他点x1和x2。

目标色调曲线214(f_map(X_i))可以等于第二目标色调曲线f′_map(X_i)的第二修整处理函数f′_trim：

f_map(X_i)＝f′_trim(f＇_map(X_i))。 (6)

例如，这涉及这样的情境，其中，新色调曲线(第二目标色调曲线)在编码器处可用，并且(例如，由调色师提供的)修整处理值也可用于与新色调曲线结合使用。为了逼近新色调曲线和相应的修整处理值的组合操作，可以通过最小化以下两者之间的差来优化在应用解码器色调映射之后解码器将应用的修整处理值：(1)修整处理函数和解码器色调曲线263(g_map(X_i))的组合，以及(2)第二修整处理函数f′_trim和第二目标色调曲线f′_map(X_i)的组合。即，经优化元数据234可以被优化以最小化表达式

其中，k>0且可以等于m。例如，修整处理值S、O和P(作为经优化元数据234)可以被优化以最小化表达式

最小化N_S,O,P的一种应用是色调曲线f_map及其相应的修整数据f′_trim与调色师的创作意图对应时的情况。M_S,O,P和N_S,O,P之一或两者可以经由模拟退火(annealing)过程来优化，例如，以避免局部最小值。M_S,O,P和N_S,O,P中的任一者或两者的优化可能受到源元数据215的L1元数据(例如，下限值xmin和上限值xmax)的约束，这使得经优化的修整处理值能够更好地对应于视频显示设备251的特性，例如其动态范围。

图3A是用于将图像从第一动态范围[x₁,x₃]映射到第二动态范围[y₁,y₃]的示例性色调映射曲线300的图形描绘，其中，[x₁,x₃]是输入通道值并且[y₁,y₃]是输出通道值。色调映射曲线300是目标色调曲线214和第二色调曲线264的示例。色调映射曲线300包括从(x₁,y₁)到(x₂,y₂)的样条曲线312以及从(x₂,y₂)到(x₃,y₃)的样条曲线323。色调映射曲线300还可以包括对应于值小于(x₁,y₁)时的第一线性段S1以及对应于值大于(x₃,y₃)时的第二线性段S2中的至少一个。最小动态范围值x₁可能为负，并且最大动态范围值x₃可能超过一。段S1和S2可以是非线性的，而不脱离本发明的范围。样条曲线312和323中的每一个可以是多项式，例如埃尔米特(Hermite)多项式，或者是任何阶数，例如三阶。

色调映射曲线300与三个锚定点301、302和303相交，这三个锚定点的位置部分地确定了色调映射曲线300的形状。锚定点301、302和303位于相应的坐标(x₁,y₁)、(x₂,y₂)和(x₃,y₃)处，当通道值x_i是输入亮度值时，这些坐标分别对应于黑点(例如，xmin,Tmin)、中间调值点(例如，xmid,Tmid)和白值点(例如，xmax,Tmax)。

另外，每个样条段可以进一步由每个端点处的两个斜率约束；因此，色调映射曲线300由三个锚定点(301、302和303)和以下三个斜率控制：(x₁，y₁)处的尾部斜率、(x₂，y₂)处的中间调斜率、以及(x₃，y₃)处的头部斜率。色调映射曲线300可以具有多于或少于三个锚定点以及其间的相应样条曲线，而不会脱离本发明的范围。

作为示例，考虑在点(x₁，y₁)与(x₂，y₂)之间确定的具有(x₁，y₁)处的斜率m₁和(x₂，y₂)处的斜率m₂的样条曲线，然后，对于输入x，可以在以下等式(9)中定义三阶埃尔米特样条的传递函数，其中，T＝(x-x₁)/(x₂-x₁)；

y＝(2T³-3T²+1)y₁+(T³-2T²+T)(x₂-x₁)m₁+ (9)

(-2T³+3T²)y₂+(T³-T²)(x₂-x₁)m₂。

在实施例中，为了确保没有过冲或下冲(即，为了确保曲线是单调的)，还可以将以下规则应用于斜率m₁和m₂中的至少一个：

其中，α表示常数(例如，α＝3)。

色调映射曲线300可以对应于同一申请人的国际专利申请PCT/US2018/017830中描述的色调映射曲线，所述国际专利申请的全部内容通过引用并入本文。

可以借助于L3元数据和/或L8元数据在视频比特流中传送色调映射曲线300的参数。可选地，参数min、mid、max借助于L1元数据进行传送，而与尾部斜率、中间斜率和头部斜率有关的参数使用L3元数据和/或L8元数据进行传送。

图4是图示了用于生成供视频解码器用于显示由视频编码器编码的视频内容的经优化色调曲线的方法400的流程图。方法400例如在视频编码器200和视频解码器250的一个或多个方面内实施。例如，方法400通过微处理器202执行软件220的计算机可读指令以及通过显示管理处理器252执行软件270的计算机可读指令来实施。方法400包括步骤420和440。

步骤420是根据目标色调曲线和视频解码器的解码器色调曲线生成多个经优化参数的步骤。在步骤420的示例中，元数据优化器224根据中间图像数据232和修整处理函数218生成经优化元数据234。

方法400还可以包括在步骤420之前执行的步骤410。步骤410是确定解码器色调曲线和目标色调曲线中的至少一个的步骤。在步骤410的示例中，视频编码器200确定解码器色调曲线263和目标色调曲线214中的至少一个。

步骤420可以包括步骤422，所述步骤是最小化目标色调曲线与由解码器色调曲线构成的修整处理函数之间的差的步骤，所述多个经优化参数是修整处理函数的参数。最小化的步骤可以包括执行最小二乘法、加权最小二乘法或阻尼最小二乘法，例如列文伯格-马夸尔特(Levenberg-Marquardt)法。可以限制差的最小化，使得目标色调曲线和由解码器色调曲线构成的修整处理函数在端点处具有相同的值，所述端点例如在输入通道值X_i的最小值和最大值处。

在步骤420的示例中，元数据优化器224最小化目标色调曲线214(f_map)与经编码通道值g_map(X_i)的修整处理函数f_trim之间的差。即，元数据优化器224最小化

其中，加权函数w(X_i)取决于输入通道值X_i，并且m为正。当m＝2时，元数据优化器224执行加权最小二乘法。加权函数w(X_i)可以是常值函数，例如，w(X_i)＝1。经优化元数据234可以包括最小化M_S，O，P和N_S，O，P中的一个或多个的S、O和P的最优值或由这些最优值构成。

方法400还可以包括步骤430，所述步骤是将多个经优化参数存储为与视频内容相关联的元数据的步骤。在步骤430的示例中，视频编码器200将经优化元数据234存储在存储器210中。步骤430可以包括步骤432，所述步骤是将元数据传输到视频解码器的步骤。在步骤432的示例中，视频编码器200将经优化元数据234传输到视频解码器250。

步骤440是根据解码器色调曲线和经优化参数生成经优化的色调曲线的步骤。在步骤440的示例中，色调曲线优化器273根据应用于解码器色调曲线263的经优化元数据234生成经优化的色调曲线283(“f₂₈₃”)。如下面的等式(11)所表达的，经优化元数据234(“d₂₃₄”)可以是经优化的L2元数据215(2)，例如，元数据S、O和P的经优化值，色调曲线优化器273将这些经优化值应用于解码器色调曲线263(g_map)以产生经优化的色调曲线283。

f₂₈₃＝f₂₇₃(g_map(X_i)；d₂₃₄)＝(S·(g_map(X_i))+O)^P。 (11)

等式(11)指出，色调曲线优化器273将函数f₂₇₃应用于f_map(X_i)，其中，经优化元数据234(在该示例中为S、O和P)是函数f₂₇₃的输入参数。函数f₂₇₃可以等于用于生成经优化元数据234的修整处理函数218。例如，等式(11)的右侧表示函数f₂₇₃的一种形式，其中，函数f₂₇₃＝f_trim(Y_i)＝(S·Y_i+O)^P，这是修整处理函数218的示例。

函数f₂₇₃可以具有其他函数形式，并且接收其他类型的经优化元数据234，而不脱离本发明的范围。色调曲线优化器273还可以接收设备参数254并根据L2经优化元数据234、解码器色调曲线263和设备参数254生成经优化的色调曲线283。

方法400还可以包括步骤450，所述步骤是利用经优化的色调曲线和存储在解码器的存储器中的不同色调曲线中的一个将视频内容的多个输入颜色通道值中的每一个映射到多个输出通道值中的相应输出通道值的步骤。在步骤450的示例中，映射器274利用经优化的色调曲线283和第二色调曲线264之一将多个颜色通道值238中的每一个(对应于X_i)映射到多个输出通道值288中的相应输出通道值。

当解码器包括与各个显示管理算法对应的多个色调曲线时，步骤450可以包括步骤452，所述步骤是基于存在于视频内容中的元数据来确定在映射步骤450中要采用多个色调曲线中的哪一个的步骤。在步骤452的示例中，映射器274执行决策树500，所述决策树可以例如作为映射器274的一部分被存储在存储器260中。视频编码器200的存储器210可以存储决策树500，并经由通信信道240将其传输到视频解码器250。决策树500可以是元数据215的一部分。

如前所述，可以使用更简单的两步法来求解任何多参数(例如，SOP)优化问题。例如，可以首先使用输入元数据的参数化模型(例如，参见等式(4))来得出这三个参数之一(例如，P)，并且然后针对其他参数(例如，O和S)来求解MSE优化问题(例如，等式(2)、(8)、(10)等)。

图5是决策树500的图形描述。在以下示例中，决策树500由映射器274实施，以基于元数据215来确定在执行方法400的步骤450时要采用第二色调曲线264和经优化的色调曲线283中的哪一个。决策树500包括决策510、530、540、550、560、570和580。在决策510中，映射器274确定元数据215是否包括L2元数据215(2)。在决策530和540中，映射器274确定元数据215是否包括L3元数据215(3)。在决策550、560、570和580中，映射器274确定元数据215是否包括L8元数据215(8)。

决策树500要么导致动作593A要么导致动作594A。动作593A是采用色调曲线593的动作，其中，示例性色调曲线为色调曲线263和283。动作594A是采用色调曲线594的动作，其中，示例性色调曲线为色调曲线214和264。在示例性情境中，色调曲线593与元数据L1和L2兼容，并且第二色调曲线594与元数据L1、L3和L8兼容。除了在输入元数据包括L2元数据并且既不包括L3元数据也不包括L8元数据的情况下之外，决策树500都导致动作594A。例如，除非元数据215包括元数据215(2)并且既不包括215(3)也不包括215(8)，否则决策树500都导致动作594A。

图6是图示了用于确定要将多个显示管理曲线中的哪一个应用于接收到的经编码视频信号的方法600的流程图。方法600例如由视频解码器(例如，视频解码器250)实施，所述视频解码器被配备用于将第一显示管理(DM)曲线和第二DM曲线之一应用于接收到的经编码视频信号。方法400可以将方法600实施为步骤452的一部分。

方法600包括步骤610、623和624。步骤610等效于决策树500的开始于决策510并且终止于决策550、560、570和580之一的分支。步骤623等效于决策树500的动作593A。步骤624等效于决策树500的动作594A。

步骤610是确定有关存在于接收到的经编码视频信号中的元数据是否满足准则的步骤。当存在第一元数据类型、不存在第二元数据类型并且不存在第三元数据类型时，满足准则。元数据215(2)、215(3)和215(8)分别是第一元数据类型、第二元数据类型和第三元数据类型的示例。在步骤610的示例中，映射器274确定元数据215是否满足准则。

当满足准则时，方法600前进到步骤623，所述步骤是将第一DM曲线应用于接收到的经编码视频信号的步骤，所述第一DM曲线与第一元数据类型兼容并且与第二元数据类型和第三元数据类型不兼容。在步骤623的示例中，映射器274将经优化的色调曲线283应用于经编码视频内容236，其中，色调曲线283与元数据215(2)兼容并且与元数据215(3)和元数据215(8)不兼容。

当满足准则时，方法600前进到步骤624，所述步骤是将第二DM曲线应用于接收到的经编码视频信号的步骤，所述第二DM曲线与第二元数据类型和第三元数据类型兼容并且与第一元数据类型不兼容。在步骤624的示例中，映射器274将第二色调曲线264应用于经编码视频内容236，其中，第二色调曲线264与元数据215(2)不兼容并且与元数据215(3)和元数据215(8)兼容。

图7是在示例性使用情境中的视频编码器700和视频解码器750的示意性框图。视频编码器700和视频解码器750分别是视频编码器200和视频解码器250的示例。在这种情境下，视频编码器700例如经由通信信道240通信地连接到视频解码器750。视频编码器700和视频解码器750可以分别是视频服务器201和视频显示设备251的一部分。视频解码器750包括软件770，并且可以包括显示管理单元135的功能。

视频编码器700包括通信地耦合到存储器710的微处理器202，所述存储器存储经编码视频内容736，并且在实施例中还存储决策树500。经编码视频内容736是经编码视频内容236的示例，并且包括元数据215和颜色通道值738，其分别是元数据215和颜色通道值238的示例。

视频解码器750包括通信地耦合到存储器760的显示管理处理器252，所述存储器存储第一色调曲线763、第二色调曲线764、以及包括映射器274的软件770。当执行软件770的机器可读指令时，显示管理处理器252执行本文所描述的视频解码器750的功能。存储器760还可以存储经解码视频内容786，所述经解码视频内容包括输出通道值788，其分别是经解码视频内容786和输出通道值288的示例。

视频解码器750被配置用于例如从视频编码器700接收经编码视频内容736，并将经编码视频内容736存储在存储器760中。存储器760存储决策树500，视频解码器可以从视频编码器700接收所述决策树。

视频解码器750的一个或多个方面可以实施方法600以生成输出通道值788。例如，方法600在执行软件770的计算机可读指令的显示管理处理器252中实施。

在以上示例性实施例中，修整处理函数的参数由编码器生成，并且编码器将修整处理参数包括在经编码视频比特流的元数据中以传输给解码器。在另一个示例中，修整处理函数的参数由比特流转换器生成，所述比特流转换器接收已由编码器编码的视频内容、如上所述生成修整处理函数的参数、并例如通过添加或替换比特流的元数据来将修整处理函数的参数插入经编码视频内容的元数据中。

基于解码器的优化

如前所述，在编码器中给定了两个色调曲线(在解码器中使用的g_map和可在编码器中获得的f_map)的情况下，可以在解码器处通过最小化优化函数来自动生成g_map映射的修整数据(例如，斜率、偏移量和次幂)。在实施例中，该方法可以表示为：

或者

其中，n表示用于得出经优化的S、O和P值的测试图像总数，并且m>0，例如，m＝1或m＝2。注意，等式(12)中的乘法(例如，“*”)在向量空间中进行。通过最小化等式(12b)，可以生成修整处理的S、O和P值，这些值可以通过比特流传送给解码器，使得解码器可以将这些修整处理值应用于旧版(legacy)色调曲线g_map的输出，以得到尽可能接近期望f_map映射的值。在编码器侧，可以使用最小二乘法或列文伯格-马夸尔特算法或本领域已知的任何其他最小化技术来求解该问题。

在另一实施例中，解码器可以使用已更新的g_map曲线；然而，解码器可以接收输入图像和基于旧版曲线f_map生成的修整处理数据。然后，问题是使得解码器如何能够在尽管具有不同的显示映射函数的情况下仍然重建原始外观。解决这种情境的一种明显方式是：a)对所有基于f_map的内容进行重新分级，并使用g_map色调曲线生成修整数据，以及b)传输新的修整数据；然而，这是一个昂贵的过程，并且可能不可行。

在实施例中，可以使用以下映射方法来修改原始的f_map修整数据：假设在编码器处f_map和g_map都是已知的，并且f_map的修整值是已知的。给定了L1元数据(例如，Min、Mid和Max亮度)的情况下，可以构建从L1 Min到L1 Max的一系列灰色像素，并使用f_map对这一系列灰色像素进行映射。然后，假设使用g_map映射，则可以在g_map的允许范围内应用并测试不同变换的修整处理值。最后，可以选择产生与经映射的灰色像素最接近匹配的经变换修整处理值，并且然后通过编码器传输这些值。这种方法假设可以在发送修整处理元数据之前对其进行修改；然而，这对于以下情况可能不成立：现有内容具有使用旧版色调曲线f_map的元数据(例如，L2元数据)，并且设备/解码器已升级为使用新的色调曲线g_map。

另一个可能的解决方案是在解码器中而不是编码器中实施前面所述的优化技术，并在解码器中生成与g_map对应的修整数据；然而，由于解码器中的计算约束，该解决方案可能不可行。例如，在解码器中实施迭代优化技术可能会妨碍实时性能。为了解决这个问题，提出了一种基于线性回归的模型，所述模型用于在解码器中将使用一个色调曲线(比如f_map)生成的修整数据转化为另一色调曲线(比如g_map)的修整数据。

在不失一般性的情况下，假设使用线性修整处理数据变换模型，目标是为使用f_map生成的修整数据找到正确的全局标量和偏移量，以便在将这些修改的修整数据应用于g_map的输出时，所述输出看起来尽可能接近f_map色调曲线的输出。然后，可以将这些全局标量和偏移量内置到解码器中，并且可以将其用于将修整数据从一个色调曲线转化为另一个色调曲线。

在数学上，我们假设针对某些内容的旧版色调曲线已经生成的修整数据为S、O和P，并且最终色调曲线如下：

f_trim(f_map(X_i))＝(S*f_map(X_i)+O)^P。 (13)

在实施例中，需要使用新的色调曲线gma_p针对相同的内容生成新的修整数据S′、O′和P′，所述新的色调曲线可以示出为g_trim(g_map(X_i))＝(S′*g_map(X_i)+O′)^P′， (14)

使得这两个色调曲线的输出尽可能接近，即，

非限制性地，在实施例中，假设新的修整数据(S'O'P')可以表示为原始修整数据(S O P)的线性变换，即：

T′＝αT+β， (15)

其中，

并且

本领域普通技术人员将理解，虽然等式(15)表示简化了计算的线性修整变换模型，但是在其他实施例中，可以使用非线性模型(比如二次模型、三次模型等)来表示T’值。

使用最小二乘估计技术或列文伯格-马夸尔特算法或任何其他技术，可以估计α和β的值。然后可以将这些标量和偏移量发送到解码器，并且进而可以将其用于将一个色调曲线的修整数据转化为另一色调曲线的修整数据。

注意，应当以考虑到色调曲线的整个输入范围内的采样点的这种方式来应用最小二乘估计。非限制性地，使用优化准则来最小化等式(13)和(14)的输出之间的平方差之和，要解决的问题可以表示为求解下式：

以上讨论的过程可以总结如下：在编码器中，

·确定旧版显示管理过程色调曲线(f_map)

·确定修改后的显示管理过程色调曲线(g_map)

·使用线性修整变换模型(参见等式(15))，通过最小化等式(16)来生成与修改修整处理元数据(例如，斜率、偏移量和次幂)有关的修改标量α和偏移量β

·将修改标量和偏移量传送给解码器

可替代地，可以用f_map来映射一系列灰色像素；确定与g_map有关的能够产生最接近经映射灰色像素的图像值的最佳修整处理值，并传输新的修整值。

在解码/重放阶段(例如，在电视、移动设备或任何其他显示设备中)：

·从比特流元数据(例如，L2元数据)中读取修整处理值

·使用修改标量和偏移量(α和β)来修改接收到的修整处理值，以生成修改后的修整处理元数据

·使用色调曲线模块(g_map)生成显示管理过程色调曲线

·将修改后的修整处理元数据应用于显示管理过程的输出以生成最终输出

所提出的技术可以适用于其他类型的元数据，例如，与HDR+有关的元数据或HDR10+元数据。例如，如果内容带有HDR10+元数据(可能包括修整值，比如350尼特的P3显示器)，则本发明可以用于为350尼特的P3显示器自动生成不同级别的元数据(比如L2或L8杜比视界(Dolby Vision)元数据)，同时自动优化它们以匹配HDR10+修整数据。在给定具有或不具有修整数据(例如，L2元数据或L8元数据)的杜比视界内容的情况下，也可以将本发明应用于针对HDR10+用例(例如，350尼特的P3显示器)自动生成修整数据。除了修改基于强度的修整数据之外，还可以使用类似的过程跨不同版本的色调曲线来修改与基于颜色的修整数据相关的元数据。在这种情境下，f_map()表示用于生成HDR10流的色调曲线，并且g_map()表示由杜比视界解码器使用的色调曲线。给定了HDR10信号的情况下，期望生成使得杜比视界解码器将与预期的HDR10外观相匹配的元数据。

本发明的方法适用的其他示例性实施例包括以下情境：

a)令f_map()表示新的目标色调曲线，并且令g_map()表示旧版解码器色调曲线。期望旧的解码器能够匹配如由f_map()产生的新外观。当(使用f_map())生成新内容时，期望生成新的元数据，当旧的解码器读取新的元数据时，其将再现视频内容，就好像所述视频内容是使用新的目标色调曲线生成的一样。在这种情境下，新的元数据(例如，L8)被转化为旧的元数据(例如，L2)。

b)令f_map()表示旧的目标色调曲线(例如，过去用于生成内容的色调曲线)，并且令g_map()表示新一代解码器中的最新解码器色调曲线。期望新的解码器能够匹配如由f_map()产生的旧外观。在这种情境下，旧的元数据(例如，L2)被转化为新的元数据(例如，L8)。在所有这些用例中，目标是在f_trim()中生成SOP参数，以使得f_trim(g_map(X_i))的输出尽可能接近f_map(X_i)。

在不脱离本发明的范围的情况下，可以对上述方法和系统进行改变。因此，应当注意，包含在以上说明书中或在附图中示出的内容应当被解释为说明性的而不是限制性的意义。在本文中，除非另有说明，否则形容词“示例性”是指用作示例、实例或说明。以下的权利要求旨在涵盖本文所描述的所有一般特征和特定特征，以及本方法和系统的范围的所有陈述在语言上可以被说成落在其间。

Claims

1.一种用于生成元数据的方法，所述元数据供视频解码器用于显示由视频编码器编码的视频内容，所述方法包括：

访问目标色调映射曲线；

访问与所述视频解码器用于对所述视频内容进行色调映射的色调曲线对应的解码器色调映射曲线，其中，所述解码器色调映射曲线与所述目标色调映射曲线不同；

生成由所述视频解码器使用的修整处理函数的多个参数，以在将所述解码器色调映射曲线应用于所述视频内容之后应用，其中，所述修整处理函数的所述参数被生成，以通过所述修整处理函数和所述解码器色调映射曲线的组合来逼近所述目标色调映射曲线；以及

生成所述元数据以供所述视频解码器使用，所述元数据包括所述修整处理函数的所述多个参数。

2.如权利要求1所述的方法，其中，生成所述修整处理函数的所述多个参数的步骤包括最小化以下两者之间的差：

-利用所述解码器色调映射曲线构成的所述修整处理函数；以及

-所述目标色调映射曲线，

所述多个参数是所述修整处理函数的使所述差最小化的参数。

3.如权利要求2所述的方法，使差最小化的步骤包括执行阻尼最小二乘法。

4.如权利要求2所述的方法，使差最小化的步骤包括使

最小化，其中，X_i表示所述视频内容的输入颜色通道值，f_map表示所述目标色调映射曲线，f_trim表示所述修整处理函数，g_map表示所述解码器色调映射曲线，并且m>0。

5.如权利要求1至4中任一项所述的方法，其中，所述目标色调映射曲线具有与所述解码器色调映射曲线不同的函数形式，和/或所述目标色调映射曲线具有与利用所述解码器色调映射曲线构成的所述修整处理函数不同的函数形式。

6.如权利要求1至5中任一项所述的方法，其中，所述修整处理函数包括f_trim(α)＝(S·α+O)^P，并且生成所述多个参数包括生成S、O和P。

7.如权利要求6所述的方法，其中，生成S、O和P包括：

根据与所述目标色调映射曲线有关的元数据来确定输出P值；以及

使用所确定的输出P值，基于所述差

的最小化来生成输出S、O参数。

8.如权利要求7所述的方法，其中，与所述目标色调映射曲线有关的所述元数据包括输入P值，并且所述输出P值是基于所述输入P值的二次多项式确定的。

9.如权利要求8所述的方法，其中，

如果(P_in<0)，则

否则

其中，P_in表示所述输入P值，并且P_out表示所述输出P值。

10.如权利要求4至9中任一项所述的方法，当引用权利要求4和/或权利要求7时，其中，使用两个X_i值使

最小化。

11.如权利要求10所述的方法，其中，第一X_i值包括使得f_map(X_i)或g_map(X_i)穿过目标显示器的最小亮度值的X_i值，但所述第一X_i值大于xmin，并且第二X_i值包括使得f_map(X_i)或g_map(X_i)穿过所述目标显示器的最大亮度值的X_i值，但所述第二X_i值小于xmax，其中，X_i∈[xmin，xmax]。

12.如权利要求1至11中任一项所述的方法，当引用权利要求2时，所述目标色调映射曲线f_map(X_i)等于利用第二目标色调映射曲线f′_map(X_i)构成的第二修整处理函数f′_trim，使差最小化的步骤包括最小化以下两者之间的差：

-利用所述解码器色调映射曲线g_map构成的所述修整处理函数f_trim；以及

-利用所述第二目标色调映射曲线f’_map构成的所述第二修整处理函数f′_trim。

13.如权利要求12所述的方法，所述第二修整处理函数f′_trim(α)为(S′·α+O′)^P′。

14.如权利要求1至13中任一项所述的方法，其中，这些步骤由视频编码器执行，并且所述视频编码器进一步生成经编码视频内容，所述经编码视频内容包括所述修整处理函数的所述多个参数来用作与所述视频内容相关联的元数据。

15.如权利要求1至13中任一项所述的方法，包括：

接收所述经编码视频内容；

包括所述修整处理函数的所述多个参数来用作所述经编码视频内容中的元数据，可选地替换所述修整处理函数的包括在接收到的经编码视频内容中的参数。

16.一种用于视频解码器的方法，所述视频解码器被配备用于将第一显示管理(DM)曲线和第二显示管理曲线之一应用于接收到的经编码视频信号，所述方法适用于确定应用哪个显示管理曲线，所述方法包括：

确定有关存在于所述接收到的经编码视频信号中的元数据是否满足准则，所述准则为：存在第一元数据类型、不存在第二元数据类型并且不存在第三元数据类型；

当满足所述准则时，将所述第一显示管理曲线应用于所述接收到的经编码视频信号，所述第一显示管理曲线与所述第一元数据类型兼容并且与所述第二元数据类型和所述第三元数据类型不兼容；以及

当不满足所述准则时，将所述第二显示管理曲线应用于所述接收到的经编码视频信号，所述第二显示管理曲线与所述第二元数据类型和所述第三元数据类型兼容并且与所述第一元数据类型不兼容。

17.如权利要求16所述的方法，所述第一元数据类型和所述第三元数据类型各自与偏移量、增益和基于伽马的色调映射有关，以及/或所述第二元数据类型与所述接收到的经编码视频的时间段的亮度值的最小值、最大值和平均值有关。

18.一种用于生成修整处理变换参数的编码器的方法，所述方法包括：

访问第一色调映射曲线；

访问第二色调映射曲线；

访问一组输入图像数据和定义第一修整处理函数的一组对应的输入修整处理数据，所述第一修整处理函数适用于在应用所述第一色调映射曲线之后对所述一组输入图像数据进行颜色分级；以及

确定修整处理变换模型的参数，所述修整处理变换模型用于将所述输入修整处理数据转化为用于定义第二修整处理函数的修整处理数据，所述第二修整处理函数适用于在应用所述第二色调映射曲线之后对所述一组输入图像数据进行颜色分级，所述确定包括最小化以下两者之间的差：

通过应用所述第一色调映射曲线和由所述输入修整处理数据定义的所述第一修整处理函数来处理所述一组输入图像数据而生成的第一组图像输出，以及

通过使用所述修整处理变换模型将所述输入修整处理数据变换为输出修整处理数据并且通过应用所述第二色调映射曲线和由所述输出修整处理数据定义的所述第二修整处理函数来处理所述一组输入图像而生成的第二组图像输出。

19.如权利要求18所述的方法，进一步包括将所述修整处理变换模型的所述参数与所述输入图像数据和所述输入修整处理数据一起传输到解码器。

20.如权利要求18或19所述的方法，其中，所述修整处理变换模型是线性模型。

21.如权利要求18、19或20所述的方法，其中，所述输入修整处理数据包括斜率(S)、偏移量(O)和次幂(P)数据。

22.如权利要求18至21中任一项所述的方法，所述最小化包括：最小化所述第一组图像输出与所述第二组图像输出之间的平方差之和。

23.一种用于处理输入视频数据的解码器的方法，所述方法包括：

访问输入视频数据和定义第一修整处理函数的对应的输入修整处理数据，所述第一修整处理函数适用于在应用第一色调映射曲线之后对输入视频数据进行颜色分级；

访问修整处理变换模型的修整处理变换参数，以将所述输入修整处理数据转化为定义第二修整处理函数的修整处理数据，所述第二修整处理函数适用于在应用第二色调映射曲线之后对输入视频数据进行颜色分级；

通过根据所述修整处理变换参数将所述修整处理变换模型应用于所述输入修整处理数据，将所述输入修整处理数据转化为经变换的修整处理数据；以及

通过将由所述经变换的修整处理数据定义的所述第二修整处理函数和所述第二色调映射曲线应用于所述输入视频数据，生成输出视频数据。

24.如权利要求23所述的方法，其中，所述输入修整处理数据包括HDR10+元数据，并且经变换的修整处理数据曲线包括杜比视界元数据。

25.如权利要求23所述的方法，其中，输入修整处理数据包括杜比视界元数据，并且经变换的修整处理数据包括HDR10+元数据。

26.一种编码器，被配置用于执行如权利要求1至15或18至22中任一项所述的方法。

27.一种解码器，被配置用于执行如权利要求15至17或23至25中任一项所述的方法。

28.一种非暂态计算机可读介质，其上存储有用于执行根据权利要求1至25中任一项所述的方法的计算机可执行指令。