CN111133761B - 利用图像元数据编码或解码视频数据的方法、装置和系统 - Google Patents

Abstract

针对图像帧序列生成序列级参数，该序列级参数包括用于指示针对图像帧序列中的每个图像帧存在的元数据类型的序列级指示符。针对序列中的特定图像帧生成帧存在参数，该序列包括与在序列级参数中所指示的元数据类型相对应的帧存在指示符。帧存在指示符识别第一元数据类型，针对该第一元数据类型，元数据参数值将在经编码比特流中被编码作为元数据有效载荷。图像帧序列、序列级参数、帧存在参数和元数据有效载荷被编码在经编码比特流中。接收方设备可以部分地基于针对第一元数据类型确定的元数据参数值从特定图像帧生成针对目标显示器的目标显示图像。

Description

利用图像元数据编码或解码视频数据的方法、装置和系统

相关申请的交叉引用

本申请要求均于2017年9月22日提交的美国临时申请号62/561,782和欧洲专利申请号17192724.7的优先权，并且这两个申请通过引用以其全文并入本文。

技术领域

本发明总体上涉及图像。更具体地说，本发明的实施例涉及后向兼容的显示管理(DM)元数据压缩。

背景技术

如本文所使用的，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中的强度范围(例如，亮度(luminance)、光亮度(luma))的能力，例如，从最深的黑色(深色)到最亮的白色(高亮)。在这种意义上，DR与“参考场景的”强度有关。DR还可以涉及显示设备充分地或近似地存在特定宽度的强度范围的能力。从这个意义上讲，DR与“参考显示器的”强度有关。除非在本文的描述中的任何点处明确地将特定含义指定为具有特定意义，否则应该推断出该术语可以以任何一种含义使用，例如可以互换地使用。

如本文中所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14-15或更多数量级幅度的DR宽度。在实践中，相对于HDR，人类可以同时感知到强度范围中的广阔宽度所在的DR可以被某种程度地截断。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独或可互换地涉及在场景或图像内可由包括允许实现横跨该场景或该图像的某些光线适应的眼睛运动的人类视觉系统(HVS)所感知的DR。如本文所使用的，EDR可以涉及跨越5到6个数量级幅度的DR。因此，尽管相对于称为“HDR”的真实场景而言可能略窄一些，但EDR仍表示宽的DR宽度并且也可以称为“HDR”。

在实践中，图像包括颜色空间的一个或多个颜色分量(例如，光亮度Y和色度Cb和Cr)，其中每个颜色分量由每像素n位(例如，n＝8)的精度表示。通过使用线性亮度编码，将其中n≤8的图像(例如，颜色24位JPEG图像)视为标准动态范围的图像，而将其中n>8的图像视为增强动态范围的图像。

用于给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕亮度)之间的关系。例如，全文以引用方式并入本文的于2011年3月发表于ITU Rec.ITU-R BT.1886的“用于在HDTV工作室制作中使用的平板显示器的参考电光传递函数(Reference electro-optical transferfunction for flat panel displays used in HDTV studio production)”定义了用于平板显示器的参考EOTF。如果给定视频流，则关于其EOTF的信息通常作为元数据嵌入到比特流中。如本文所使用的，术语“元数据”涉及作为经编码比特流的一部分发送并且辅助解码器渲染解码图像的任何辅助信息。如本文所述，这种元数据可以包括但不限于颜色空间或色域信息、参考显示参数以及辅助信号参数。

支持200至1,000cd/m²或尼特的亮度的显示器代表了相对于EDR(或HDR)的更低动态范围(LDR)，也称为标准动态范围(SDR)。EDR内容可能会显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更大)的EDR显示器上。可以通过使用支持高亮度功能(例如0到10,000尼特)的替代EOTF定义此类显示器。在全文以引用方式并入本文的SMPTE ST 2084:2014“控制参考显示器的高动态范围EOTF(High Dynamic Range EOTF of MasteringReference Displays)”(以下称为“SMPTE”)中定义了这种EOTF的示例。如本发明的发明人所理解的，期望用于对视频数据进行编码和解码的改进技术，其可用于支持多种SDR和HDR显示设备的显示能力。

本节中描述的方法是可以采用的方法，但不一定是先前已经设想或采用的方法。因此，除非另有说明，否则不应仅由于包括在本节中而将本节中描述的任何方法假定认定为现有技术。类似地，除非另有说明，否则针对一种或多种方法确定的问题均不应假定为在任何现有技术中以本节为基础被认识到。

发明内容

根据本公开的第一方面，提供了一种利用图像元数据编码视频数据的方法，该方法包括：生成媒体程序中的图像帧序列的序列级参数集，序列级参数集包括指示元数据类型特定集的序列级指示符集；生成图像帧序列的帧存在参数集序列，针对图像帧序列中的相应图像帧生成帧存在参数集序列中的每个帧存在参数集；其中，帧存在参数集序列包括针对图像帧序列中的特定图像帧生成的帧存在参数特定集；其中，帧存在参数特定集包括帧存在指示符特定集，帧存在指示符特定集中的每个帧存在指示符指示由序列级指示符集指示的元数据类型特定集中的相应一个元数据类型；其中，帧存在指示符特定集包括识别元数据类型特定集中的第一元数据类型的第一帧存在指示符，针对第一元数据类型，至少一个元数据参数值将针对特定图像帧被编码于经编码比特流中作为元数据有效载荷；并且其中，帧存在指示符特定集包括识别元数据类型特定集中的第二元数据类型的第二帧存在指示符，针对第二元数据类型，没有元数据参数值将针对特定图像帧被编码于经编码比特流中作为元数据有效载荷；以及针对图像帧序列，将图像帧序列、序列级参数集以及帧存在参数集序列编码于经编码比特流中，其中，对于特定图像帧，针对第一元数据类型，至少一个元数据参数值被编码于经编码比特流中作为元数据有效载荷，并且针对第二元数据类型，没有元数据参数值被编码于经编码比特流中作为元数据有效载荷。

根据本公开的第二方面，提供了一种利用图像元数据解码视频数据的方法，该方法包括：接收包括媒体程序中的图像帧序列的经编码比特流；解码图像帧序列；解码图像帧序列的序列级参数集，序列级参数集包括指示元数据类型特定集的序列级指示符集；解码图像帧序列的帧存在参数集序列，帧存在参数集序列中的每个帧存在参数集针对图像帧序列中的相应图像帧被解码；其中，帧存在参数集序列包括针对图像帧序列中的特定图像帧生成的帧存在参数特定集；其中，帧存在参数特定集包括帧存在指示符特定集，帧存在指示符特定集中的每个帧存在指示符指示由序列级指示符集指示的元数据类型特定集中的相应一个元数据类型；其中，帧存在指示符特定集包括识别元数据类型特定集中的第一元数据类型的第一帧存在指示符，针对第一元数据类型，至少一个元数据参数值针对特定图像帧被编码于经编码比特流中作为元数据有效载荷；并且其中，帧存在指示符特定集包括识别元数据类型特定集中的第二元数据类型的第二帧存在指示符，针对第二元数据类型，没有元数据参数值针对特定图像帧被编码于经编码比特流中作为元数据有效载荷；解码经编码比特流中的元数据有效载荷以提取针对第一元数据类型的至少一个元数据参数值；以及从特定图像帧并且至少部分基于所提取的元数据参数值，生成针对目标显示器的目标显示图像。

根据本公开的第三方面，提供了一种计算机系统，被配置为执行利用图像元数据编码视频数据的方法。

根据本公开的第四方面，提供了一种计算机系统，被配置为执行利用图像元数据解码视频数据的方法。

根据本公开的第五方面，提供了一种利用图像元数据编码视频数据的装置，该装置包括：处理器，和存储器，该存储器存储计算机可执行指令，该计算机可执行指令在由处理器执行时使得处理器执行利用图像元数据编码视频数据的方法。

根据本公开的第六方面，提供了一种利用图像元数据解码视频数据的装置，该装置包括：处理器，和存储器，该存储器存储计算机可执行指令，该计算机可执行指令在由处理器执行时使得处理器执行利用图像元数据解码视频数据的方法。

根据本公开的第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质具有存储于其上的计算机程序，该计算机程序包括用于执行利用图像元数据编码视频数据的方法的计算机可执行指令。

根据本公开的第八方面，提供了一种计算机可读存储介质，该计算机可读存储介质具有存储于其上的计算机程序，该计算机程序包括用于执行利用图像元数据解码视频数据的方法的计算机可执行指令。

附图说明

在附图中，以示例而非限制的方式示出了本发明的实施例，并且其中相似的附图标记指代类似的元件，并且在附图中：

图1描绘了视频传送管线的示例过程；

图2A至图2C示出了示例单层编解码框架；

图3示出了图像帧中的逐帧平均亮度的值的示例图；

图4A至图4B示出了示例处理流程；以及

图5示出了示例硬件平台的简化框图，在该示例硬件平台上可以实现如本文所述的计算机或计算设备。

具体实施方式

这里描述了后向兼容的DM元数据压缩。在下面的描述中，出于说明的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，将显而易见的是，可以在没有这些具体细节的情况下实践本发明。在其他情况下，未详尽描述公知的结构和设备，以避免不必要地遮挡、模糊或混淆本发明。

总览

本文描述的示例实施例涉及利用图像元数据对视频数据进行编码。这些示例实施例可以进一步涉及对图像元数据(例如，诸如显示管理元数据)的后向兼容压缩。针对媒体程序中的图像帧序列生成序列级参数集，该序列级参数集包括序列级指示符集，该序列级指示符集用于指示针对图像帧序列中的每个图像帧而存在(例如，针对整个图像帧序列中的图像帧而存在)的元数据类型特定集。针对图像帧序列生成帧存在参数集序列，其中帧存在参数集序列中的每个帧存在参数集针对图像帧序列中的相应图像帧而生成。针对图像帧序列中的特定图像帧生成的帧存在参数特定集包括与序列级参数集所指示的元数据类型特定集相对应的帧存在指示符特定集。其中，每个帧存在指示符可以对应于在序列级参数集中所指示的元数据类型特定集中的相应一个元数据类型。换句话说，帧存在指示符可以与序列级参数集中所指示的元数据类型特定集中的元数据类型成一一对应关系。该帧存在指示符集包括识别第一元数据类型的第一帧存在指示符，针对该第一元数据类型，元数据参数值针对特定图像帧编码于经编码比特流中作为元数据有效载荷(payload)。帧存在指示符特定集包括识别第二元数据类型的第二帧存在指示符，针对该第二元数据类型，没有元数据参数值针对特定图像帧编码于经编码比特流中。图像帧序列、序列级参数集、帧存在参数特定集和元数据有效载荷编码在经编码比特流中。经编码元数据(经编码元数据有效载荷)可以适合于使得经编码比特流的接收方设备至少部分地基于针对第一元数据类型确定的元数据参数值从特定图像帧生成针对目标显器的目标显示图像。

本文描述的示例实施例涉及利用图像元数据对视频数据进行解码。这些示例实施例可以进一步涉及图像元数据(例如，诸如显示管理元数据)的解压缩。接收包括媒体程序中的图像帧序列的经编码比特流。针对图像帧序列解码序列级参数集，该序列级参数集包括用于指示针对图像帧序列中的每个图像帧而存在(例如，针对整个图像帧序列中的图像帧而存在)的元数据类型特定集的序列级指示符集。序列级参数集用于解码针对图像帧序列中的特定图像帧而生成的帧存在参数特定集。帧存在参数特定集包括与序列级参数集中所指示的元数据类型特定集相对应的帧存在指示符特定集。其中，每个帧存在指示符可以对应于在序列级别参数集中所指示的元数据类型特定集中的相应一个元数据类型。换句话说，帧存在指示符可以与序列级参数集中所指示的元数据类型特定集中的元数据类型成一一对应关系。帧存在指示符特定集包括识别第一元数据类型的第一帧存在指示符，针对该第一元数据类型，元数据参数值编码在经编码比特流中作为元数据有效载荷。帧存在指示符特定集包括识别第二元数据类型的第二帧存在指示符，针对该第二元数据类型，没有元数据参数值编码在经编码比特流中。第一帧存在指示符用于对经编码比特流中的元数据有效载荷进行解码。至少部分地基于针对第一元数据类型确定的元数据参数值从特定图像帧生成针对目标显示器的目标显示图像。

视频传送处理管线示例

图1描绘了从视频捕获到视频内容显示的各个阶段的视频传送管线(100)的示例过程。通过使用图像生成块(105)捕获或生成视频帧(102)序列。视频帧(102)可以数字的方式被捕获(例如，通过数字相机)或由计算机生成(例如，通过使用计算机动画)以提供视频数据(107)。可替代地，可以通过胶片相机将视频帧(102)捕获在胶片上。胶片被转换成数字格式以提供视频数据(107)。在制作阶段(110)，视频数据(107)被编辑以提供视频制作流(112)。

然后，将制作流(112)的视频数据提供给处理器以用于后期制作编辑(115)。后期制作编辑(115)可以包括根据视频创作者的创作意图来调整或修改图像的特定区域中的颜色或亮度，以增强图像质量或实现图像的特定外观。这有时称为“颜色调整(timing)”或“颜色分级”。可以在后期制作编辑(115)处执行其他编辑(例如，场景选择和排序、手动和/或自动场景剪切信息生成、图像裁剪、计算机生成视觉特效的添加等)以产生发行版本HDR图像(117-1)或SDR(或相对窄的动态范围)图像(117)(例如SDR等)。在一些实施例中，在后期制作编辑(115)期间，正在对HDR图像(117-1)执行后期制作编辑操作的调色师在支持高动态范围的参考HDR显示器上观看HDR图像(117-1)。在一些其他实施例中，在后期制作编辑(115)期间，正在执行对SDR图像(117)执行后期制作编辑的调色师在支持标准动态范围(或相对窄的动态范围)的参考显示器(125)上观看SDR图像(117)。在一些实施例中，编码块(120)可以实现诸如图2A和2B所示的单层编解码(codec)框架。在其中编码块(120)从后期制作编辑(115)接收HDR图像(117-1)的操作场景中，可以通过编码块(120)将HDR图像(117-1)前向整形为SDR图像(例如117)。

SDR图像(117)被编码块(120)压缩成经编码比特流(122)。在一些实施例中，编码块(120)可以包括音频和视频编码器，例如由ATSC、DVB、DVD、蓝光以及其他传送格式定义的音频和视频编码器，以生成经编码比特流(122)。

在一些实施例中，经编码比特流(122)利用SDR图像(117)进行编码，该SDR图像保留了在后期制作编辑(115)中生成SDR图像(117)的艺术意图。

可将SDR图像(117)编码为视频信号(例如8位SDR视频信号、10位SDR视频信号等)中的视频数据，该视频信号与各种SDR显示设备(例如，SDR显示器等)后向兼容(或可替换地，非后向兼容)。在非限制性示例中，利用SDR图像(117)编码的视频信号可以是单层后向兼容(或可替换地，非后向兼容)的视频信号。

在一些实施例中，经编码比特流(122)是符合与由编码块(120)接收的输入SDRYCbCr视频信号相同的视频信号格式的视频信号。例如，在由编码块(120)接收的输入SDRYCbCr视频信号是8位SDR YCbCr视频信号的情况下，由编码块(120)输出的经编码比特流(122)可以表示具有图像元数据的输出8位SDR YCbCr视频信号，所述图像元数据包括但不限于由编码块(120)生成的DM元数据。

另外地、可选地或可替代地，利用图像元数据对经编码比特流(122)进行进一步编码，所述图像元数据包括但不限于创作者(composer)元数据(或后向整形映射)，该创作者元数据(或后向整形映射)可以由下游解码器使用以对SDR图像(117)执行后向整形以便生成可以在HDR显示设备上进行渲染优化的后向整形图像。在一些实施例中，可以通过使用实现逆色调映射、逆显示管理等的一个或多个SDR至HDR转换工具而从SDR图像(117)(或其解码版本)生成后向整形图像。

然后，将经编码比特流(122)向下游传送到解码和回放设备，例如电视机、机顶盒、电影院等。在接收机(或下游设备)中，经编码比特流(122)由解码块(130)解码以生成解码图像132，但经受在由编码块(120)执行的压缩和由解码块(130)执行的解压缩中产生的量化误差，该解码图像132可能与SDR图像(117)相同。在第一目标显示器(140-1)支持标准动态范围(或相对窄的动态范围)的情况下，可以在第一目标显示器(140-1)上直接观看如在解码图像(182)中表示的编辑有艺术内容的SDR图像(117)，该第一目标显示器(140-1)可以具有与参考显示器(125)类似的特性。在一些实施例中，接收器可以被附接到第二目标显示器(140)，该第二目标显示器支持其中表示HDR图像的高动态范围。在那种情况下，解码块(130)可以基于与SDR图像(117)一起接收的创作者元数据对SDR图像(117)执行后向整形为对在HDR显示器上观看进行优化的后向整形图像(132)。另外地、可选地或可替代地，可以位于接收器中、目标显示器(140)中或单独设备中的显示管理块(135)通过生成适合于第二目标显示器(140)的特性的显示映射信号(137)而进一步将后向整形图像(132)调整为第二目标显示器(140)的特征。

具有经压缩元数据的SDR或非SDR内容的传送

本文所述的技术可用于显著压缩包括但不限于在DM操作中使用的DM元数据的图像元数据。这些技术非常适合于不同操作场景的宽范围，并且可以用于压缩图像元数据，从而显著最小化传输图像元数据中的开销(overhead)并因此使得图像元数据和图像数据能够以相对低的比特率被传输。在一些示例实施例中，可以进行如本文所述的技术以压缩伴随SDR图像(117)的图像元数据，包括但不限于DM元数据以允许具有SDR图像(117)和图像元数据的SDR图像在经编码比特流(122)中以相对低的比特率传输。

由于在过去的几十年中，世界上已经创建、存储和/或发布了大量的视频/电影作为编码为以相对低的比特率传输的SDR内容，因此本文所述的技术可用于在承载宽范围的以前创建的SDR内容或与宽范围的以前创建的SDR内容兼容的编码流中生成显著压缩的图像元数据。结果，图像元数据可以承载相对大量(比较而言)的数据以能够优化图像处理操作，包括但不限于用于多种显示设备和/或媒体播放器的DM操作。

另外地、可选地或可替代地，还可以扩展这些技术以在可以是或不是单层视频信号的编码流中生成显著压缩的图像元数据。另外地、可选地或可替代地，也可以扩展这些技术以在可用于从经编码比特流生成SDR、非SDR或HDR内容的编码流中生成显著压缩的图像元数据。

在一些实施例中，可以使用扩展块(或元数据块)来实现图像元数据的压缩，该扩展块(或元数据块)由现场已部署或新部署的各种媒体处理设备支持。更具体地，扩展块可以用于压缩伴随先前创建的SDR内容的图像元数据并且还可以用于压缩伴随以各种比特率编码的当前或将来SDR(甚至非SDR媒体内容)的当前或将来的图像元数据。在一些实施例中，这些技术的至少一部分(例如，客户端侧、解码器侧等)可以由各种各样的电视、移动设备、机顶盒、智能播放器等来实施或配置在它们中，以在包括但不限于DM操作的各种图像处理操作中接收，并且利用伴随SDR(甚至是非SDR内容)的显著压缩图像元数据。

此外，在其中特别为SDR显示设备优化了SDR内容的操作场景中，可以将这种(例如，后向兼容等的)SDR内容传送到各种下游解码设备，包括但不限于那些仅支持SDR渲染的设备。这些设备可以忽略图像元数据的伴随SDR内容但设备不支持的任何部分(例如，不受支持的DM扩展块等)。

例如，具有接收包含本文所述的压缩格式的图像元数据的经编码比特流的第一解码器(例如，已经在现场部署的解码器等)的第一设备可能无法识别用于压缩图像元数据的一些相对新的扩展块并且可以退回到设备已知或可访问的使用默认值(例如DM静态值等)。第一解码器可以继续解码和处理图像元数据的第一解码器所支持的压缩格式的其他部分。

相比之下，具有接收这种经编码比特流的第二解码器(例如，新发布的解码器等)的第二设备可以识别相对新的扩展块并且可以解压缩经编码比特流中的压缩图像元数据并且基于相对新的扩展块中的动态值或传入值来执行图像处理操作(例如，DM操作等)。诸如相对新的扩展块的压缩格式可以由各种各样的电视、移动设备、机顶盒、智能播放器等来实施或部署在它们中，以在包括但不限于DM操作的各种图像处理操作中接收，并且利用伴随SDR或非SDR内容的显著压缩图像元数据。

编解码架构

图2A至图2C示出了示例单层编解码框架。更具体地，图2A示出了单层逆(inverse)显示管理(SLiDM)编码器侧编解码架构的示例，其可以用上游视频编码器等中的一个或多个计算处理器来实现。图2B示出了单层显示管理(SLDM)编码器侧编解码架构的示例，其可以用上游视频编码器等中的一个或多个计算处理器来实现。图2C示出了解码器侧编解码架构的示例，其也可以用一个或多个下游视频解码器等中的一个或多个计算处理器来实现并且可以与SLiDM编码器或SLDM编码器一起操作。

在SLiDM框架中，如图2A所示，诸如SDR图像(117)等的后向兼容SDR图像，被接收为在编解码框架的编码器侧上的输入。在此，“后向兼容SDR图像”可以指的是为SDR显示器专门优化或颜色分级的SDR图像。

以说明性而非限制性的方式，可以使用逆动态范围映射(DM)模块146(其可以表示SDR到HDR转换工具等)而将SDR图像(117)转换为HDR图像148，这些HDR图像148针对在参考HDR显示器上观看进行优化。在一些实施例中，逆DM模块也可以被称为逆色调映射工具。

在如图2B所示的SLDM框架中，诸如针对参考HDR显示器等进行优化的那些HDR图像(148)被接收为在编解码框架的编码器侧上的输入。在此，“针对参考HDR显示器进行优化的HDR图像”可以指的是专门针对HDR显示器进行颜色分级的HDR图像。

以说明性而非限制性的方式，前向整形模块164(可以表示HDR到SDR转换工具等)用于将HDR图像(148)转换为SDR图像(117)，这些SDR图像117针对对SDR显示器的观看进行优化。在一些实施例中，前向整形模块也可以被称为色调映射工具。

在SLiDM和SLDM二者的框架中，图像元数据生成器150(例如，编码块(120)的一部分等)接收SDR图像(117)和HDR图像(148)两者作为输入，生成图像元数据152，例如创作者元数据、DM元数据等。例如，图像元数据生成器(150)可以执行优化以找出最佳后向整形函数，使得通过利用优化的后向整形函数对SDR图像(117)进行后向整形而生成的后向整形图像尽可能接近于HDR图像(148)。优化的后向整形函数可以用图像元数据152中的创作者元数据来表示或指定。另外地、可选地或可替代地，图像元数据生成器(150)(通过近似方法等)基于HDR图像(148)、后向整形图像或SDR图像(117)种的一个或多个来生成DM元数据。DM元数据可以被接收方(recipient)设备用来例如在重建的HDR图像上执行DM操作，以生成针对显示器设备的显示图像，该显示器设备可以与参考HDR显示器不同。

在SLiDM和SLDM二者的框架中，压缩块142(例如，图1的编码块(122)的一部分等)将SDR图像(117)压缩/编码在视频信号的单层144中。示例视频信号可以是但不必仅限于图1的经编码比特流(122)。由图像元数据生成器(150)基于SDR图像(117)、HDR图像(148)、后向整形图像等生成的图像元数据(152)(称为“rpu”)可以被编码(例如，借助图1的编码块(122)等)到视频信号中。

在SLiDM和SLDM二者的框架中，图像元数据(152)可以与在视频信号中SDR图像所编码于的单层分离地承载于视频信号中。例如，图像元数据(152)可以被编码在经编码比特流中的分量流中，该分量流可以与或可以不与(经编码比特流的)在其中编码SDR图像(117)的单层分离。

在SLiDM和SLDM二者的框架中，编码器侧架构可以用于避免将HDR图像(148)直接编码为视频信号中的编码/压缩HDR图像；相反，视频信号中的图像元数据(152)中的创作者元数据可用于使下游解码设备能够将SDR图像(117)(其被编码在视频信号中)后向整形为与HDR图像(148)等同或紧密/最佳地近似HDR图像(148)的重建图像。

在SLiDM和SLDM二者的框架中，SDR内容由实现编码器侧编解码架构的上游编码设备在视频信号(例如，经编码比特流(122)等)的单层中编码和传输。SDR内容由实现解码器侧编解码架构的下游解码设备在视频信号的单层中接收和解码。还在具有SDR内容的视频信号中编码和传输创作者元数据使得HDR显示设备可以基于SDR内容和创作者元数据来重建HDR内容。

在一些实施例中，如图2C中所示，在单层(144)中编码有SDR图像(117)的视频信号和作为整体图像元数据的一部分的后向整形元数据(152)在SLiDM或SLDM编解码框架的解码器侧上接收作为输入。

解压缩块154(例如，图1的解码块(130)的一部分等)将视频信号的单层(144)中的压缩视频数据解压缩/解码为解码SDR图像(182)。解码SDR图像(182)可以与SDR图像(117)相同，但经受压缩块(142)和解压缩块(154)中的量化误差，这些量化误差已经针对SDR显示设备进行了优化。解码SDR图像(182)可以在输出SDR视频信号156中输出(例如，通过HDMI接口、通过视频链路等)到SDR显示设备并在SDR显示设备上进行渲染。

另外，后向整形块158从输入视频信号提取图像元数据(152)，基于图像元数据(152)中的创作者元数据构造最佳后向整形函数，并基于优化的后向整形函数对解码SDR图像(117)执行后向整形操作以生成后向整形图像(132)(或重建HDR图像)。在一些实施例中，后向整形图像表示与HDR图像(148)等同或紧密/最佳地近似HDR图像(148)的制作质量或接近制作质量的HDR图像。后向重建图像(132)可以在输出的HDR视频信号160中(例如，通过HDMI接口、通过视频链路等)输出到HDR显示设备并在该HDR显示设备上进行渲染。

在一些实施例中，可以至少部分地基于图像元数据(152)中的DM元数据在后向整形图像(132)上执行特定于HDR显示设备的显示管理操作，例如以生成待被渲染的显示图像。

为了说明的目的，已经描述了单层编解码架构。应当注意的是，本文所述的技术可以用于除图2A至图2C所示的那些之外的不同的单层编解码架构中。另外地、可选地或可替代地，这些技术可以在多层编解码架构中使用。因此，单层或多层编解码架构的这些和其他变型可以与本文描述的技术的一些或全部一起操作。

后向兼容性、灵活性和压缩效率

在一些实施例中，本文描述的技术下的压缩方法可以使用扩展块来压缩包括但不限于DM元数据的图像元数据。待被压缩到扩展块中的DM元数据可以包括处于不同DM级别的元数据参数的一些或全部。

例如，L0元数据可用于提供/描述关于源(或参考)显示器的动态范围的信息，针对该源(或参考)显示器生成图像数据或DM元数据中的一些或全部。

级别1(LI)元数据可用于提供/描述有关源图像(例如EDR图像等)、源场景(例如EDR图像中描述的场景等)、源GOP(例如，EDR图像中的一组图片等)中的亮度值分布的信息，该信息可以表示于经编码比特流(122)中。

级别2(L2)元数据可用于提供/描述有关视频特征调整的信息，这些视频特征调整源自或追溯到导演、色彩分级者、视频专业人员等在制作工作室中利用具有参考动态范围(例如，SDR，EDR等)的参考显示器(例如，参考显示器(125)、参考EDR显示器等)而做出的调整。

级别3(L3)元数据可用于提供/描述有关视频特征调整的信息，这些信息源自或追溯到导演、色彩分级师、视频专业人员等在制作工作室中利用具有不同于参考动态范围的第二参考动态范围的第二参考显示器而做出的调整。

级别4(L4)元数据可用于提供/描述用于本地调光操作的信息。

另外地、可选地或可替代地，如本文描述的，图像处理操作和/DM操作可以使用非DM元数据、其他DM元数据和/或处于除所述DM级别以外的DM级别的元数据参数。

在一些实施例中，压缩方法基于时域预测(或时间域预测)对诸如级别1(LI)和级别4(L4)元数据中的一些或全部DM元数据执行有损压缩。

在没有实现本文所述技术的其他方法下，用于承载图像元数据的扩展块将使用大量开销；因此，可能需要相对高的比特率来传递在DM元数据中表示的(DM)级别的元数据。当传送DM元数据中的多个(DM)级别的元数据时，开销会变得更大。此外，DM元数据可能不会在这些其他方法下进行压缩并且可能需要固定数量的开销比特，而不管除视频元数据之外的视频基本流(例如，包含图像数据、MPEG视频基本流、打包基本流等)所占用的给定比特率是多少。

例如，LI元数据可以包含三个参数，例如最大、最小和平均亮度值，这些参数中的每个可以是12比特(bit)。L4元数据可以包含两个参数，例如诸如亮度和/或色度分布中的描述性统计/定义(例如，几何平均值、中值、众数、方差或标准差)，这些参数中的每个可以是12比特。LI和L4元数据中的这些参数的比特可以针对每个图像帧生成并传送。

在没有实现本文描述的技术的其他方法下，每个扩展块需要某些开销。例如，具有12比特有效载荷的扩展块在经编码比特流中需要27比特。具有24比特有效载荷的扩展块在经编码比特流中需要37比特。具有36比特有效载荷的扩展块在经编码比特流中需要53比特。因此，用于携带各种DM级别的元数据参数的开销相当大(例如

等)，并且可能太大而无法容纳在相对低比特率的视频流(例如SDR视频流、适应流等)中。

如本文所述的技术可以用于以(1)后向兼容性、(2)灵活性和(3)压缩效率中的一些或全部来压缩DM元数据。为了提供后向兼容性，压缩方法可以重新使用由各种媒体处理设备所支持的扩展块架构的一些或全部。

如上所述，已经现场部署的第一解码器可以接收具有如本文所述的压缩格式的新创建的经编码比特流。第一解码器可能无法识别如利用本文所述的压缩方法进行压缩/编码的新扩展块；但可以回退以使用解码器可用或可访问的默认值(例如DM静态值等)。作为结果，第一解码器甚至可以继续解码新创建的经编码比特流，处理/处置压缩格式，并且以可解释的或默认值以合理的质量渲染图像。在动态适应流传输场景中，第一解码器甚至可以避免流传输DM元数据中的一些或全部，例如第一解码器无法识别的新扩展块。

识别新扩展块的解码器(例如，新解码器等)可以解压缩新扩展块以获得编码于经编码比特流中的DM元数据中各种DM级别的元数据参数的值。这种解码器可以基于DM元数据中的各种DM级别的元数据参数的值中的一些或全部来执行DM操作。

为了提供灵活性，可以通过本文所述的技术来实现扩展块分层结构。扩展块分层结构使用(a)一个或多个序列级扩展块，(b)一个或多个帧级扩展块，(c)一个或多个无开销有效载荷扩展块等。在一些实施例中，存在于整个图像帧序列中的扩展块ID可以被分组为例如由一个或多个序列级扩展块所承载的序列级信息。序列级别信息可以对应于或包括图像帧序列的序列级参数集。序列级参数可以包括序列级指示符集，其指示存在于整个图像帧序列中的元数据类型特定集(例如，与扩展块ID有关)。这样，可以说序列级参数表示在整个图像帧序列中出现的那些元数据类型(例如，扩展块ID)的目录。当需要刷新序列级(例如，与即时数据刷新(IDR)图像帧、程序切换、比特率切换等一起发送)时，可以相对不频繁地发送序列级信息或一个或多个序列级扩展块。一个或多个帧级扩展块(例如，一个或多个帧存在扩展块等)可以针对待存在于整个图像序列中以序列级发出信号的扩展块ID中得一些或全部用信号发送有效载荷扩展块(例如，帧无开销扩展块等)的存在。帧级扩展块可以对应于或包括帧存在参数集，其中，每个帧存在参数集是针对相应图像帧生成的。给定图像帧的帧存在参数集包括帧存在指示符特定集，其中每个帧存在指示符对应于由序列级信息(例如，序列级参数)所指示的元数据类型特定集中的相应元数据类型(例如，扩展块ID)。在一些实施例中，一个或多个帧级扩展块可以包括存在指示符(或标记)，存在指示符中的每个指示对于对应类型元数据在帧级别处是否存在有效载荷扩展块。在帧存在指示符的级别处，每个帧存在指示符可以针对给定图像帧指示对于给定图像帧是否存在其对应的元数据类型(例如，扩展块ID)。这样，每个帧存在指示符可以指示对于给定图像帧不存在对应元数据类型的存在。因此，可以将帧存在参数(虚拟地)分组为第一帧存在指示符，该第一帧存在指示符指示对于给定图像帧存在与第一帧存在指示符对应的元数据类型(并且将针对给定图像帧对这些元数据类型的元数据参数值进行编码)；以及第二帧存在指示符，该第二帧存在指示符指示对于给定图像帧不存在与第二帧存在指示符对应的元数据类型(并且将不针对给定图像帧对这些元数据类型的元数据参数值进行编码)。对于给定图像帧存在的元数据类型可以称为第一元数据类型，而不存在的元数据类型可以称为第二元数据类型。用信号发送在帧级别处要存在(即，对应的帧指示符为第一帧存在指示符的第一元数据类型)的所有有效载荷扩展块(作为元数据有效载荷的示例)被捆绑(bundle)到位于帧级别处的无开销有效载荷主体(body)中(例如，没有分隔不同呈现类型元数据的填充比特)。换句话说，(仅)第一元数据类型的元数据参数值被捆绑到无开销有效载荷主体中。此外，用信号发送在帧级别处将不存在(即，对应的帧存在指示符为第二帧存在指示符的第二元数据类型)的有效载荷扩展块(例如，元数据类型)不会针对给定图像帧进行编码。利用扩展块分层结构，可以同时实现相对大的灵活性和压缩效率。

为了提供压缩效率，在一些实施例中，可以利用时间域中的预测函数(或预测多项式)对DM元数据中的一些或所有元数据参数中的每个元数据参数进行建模。(时域)预测函数可以是线性的(例如，一阶多项式等)或非线性的(例如，二阶或更高阶的多项式、非线性非多项式函数等)。可以经由时间域中的预测函数来预测每个这样的元数据参数在给定时间点(例如，由对应图像帧的帧索引所表示等)处的值。

在元数据参数以一阶多项式的形式被建模为时间域中的预测函数的情况下，用于指定一阶多项式的斜率和偏移量可以由视频编码器信号发送至视频解码器，而不是直接用信号发送元数据参数的实际值的值。

在一些实施例中，将元数据参数以多个一阶多项式形式建模为预测函数。用于指定多个一阶多项式的多组斜率和偏移量可以由视频编码器用信号发送至视频解码器，而不是直接用信号发送元数据参数的实际值的值。

在一些实施例中，预测函数可以是二阶或更高阶多项式或其他非线性函数。用于指定第二阶或更高阶多项式或其他非线性函数的多项式系数或其他函数参数可以由视频编码器用信号发送至视频解码器，而不是直接用信号发送元数据参数的实际值的值。

视频编码器可以在时域预测中确定或识别(例如，向前窥视(peek ahead)等)变化点(或其中预测误差超过最大允许误差的帧索引)并用信号发送一个或多个新斜率和偏移量集或用于指定预测函数(例如不同阶多项式、非多项式函数的等)的新函数参数集。

可以使用特定编码语法将在多项式中使用以预测元数据参数在给定时间的给定值的多项式参数编码为如本文所述的有效载荷扩展块。取决于元数据参数是基于场景还是基于帧，可以使用特定的编码语法对元数据参数的多项式参数进行编码。如果元数据参数是基于场景的参数，则元数据参数的值在场景中可以恒定或不变；因此，表示这种元数据参数的多项式中的多项式参数可能不会(或不需要)在场景内变化。另一方面，如果元数据参数是基于帧的参数，则元数据参数的值可以在帧与帧之间变化，例如随着时间的经过滤波/平滑的值。在此处描述的技术下，可以使用时间域中具有多项式参数(或不同函数参数)的多项式(或不同预测函数)来预测/确定元数据参数的值恒定或随时间变化，其中，多项式参数(或不同函数参数)可以相对有效地(例如5:1压缩比等)压缩并承载在经编码比特流中。

元数据参数的时域预测

诸如DM元数据的图像元数据可以包括其值随时间变化的大量元数据参数(例如，由图像帧的帧索引所表示)。

图3示出了由竖直轴表示的图像帧(例如，某些或全部媒体程序中的一些或全部的连续图像帧等)中的逐帧(或每帧)平均亮度的值相比于由水平轴表示的连续时间点序列的示例图。在一些实施例中，连续时间点序列中的每个时间点对应于图像帧中的相应图像帧在图像序列的帧索引值序列中的相应帧索引值。

在图3中可以观察到，每帧平均亮度在时间域上大部分相对于由帧索引值序列表示的连续时间点序列相对地平滑地变化。例如在第一、第二和第三时间点302-1至302-3中地每个时间点处，某些突然的变化是由于新场景切换造成的。

然而，在发生剧烈(abrupt)变化的相邻时间点之间，每帧平均亮度相对平滑地变化。例如，在第一时间点302-1和第二时间点302-2之间，每帧平均亮度相对平滑地变化。同样，在第二时间点302-2和第三时间点302-3之间，每帧平均亮度也相对平滑地变化。

如每帧平均亮度一样，图像元数据中的时变元数据参数中的许多可以随时间表现出类似的平滑趋势。因此，可以基于平滑变化的函数(例如近似这些时变值随时间的平滑趋势的多项式)在时间域中针对连续时间点序列中的大多数时间点有效地预测时变元数据参数的值。

以说明性而非限制性的方式，将图像帧j处的元数据参数的值表示为m_j。可以使用具有多项式参数/系数(例如偏移量t_j和斜率s_j)的一阶多项式预测帧j+f处的元数据参数的值，如下所示：

代替将元数据参数的值直接发送到诸如视频解码器的接收方设备，可以在经编码比特流中用信号发送多项式参数(t_j，s_j)(例如，122等)。

将元数据参数的实际值m_j+f与元数据参数的预测值

之间的失真测量(或预测误差)d_j,j+f表示为：

失真测量的一个示例可以是实际元数据值m_j+f与预测元数据值

之间的绝对差值(例如，平均绝对差值(MAD)等)

将例如对于整个图像帧序列的最大可接受失真测量值(或阈值)表示为Δ。

响应于(例如，通过视频编码器等)确定(当前)失真测量d_j,j+f不大于最大可接受失真测量值Δ，预测值

可以用于元数据参数的(当前)值。例如，模式标记r_j+f(例如，设置为0等)可以用于用信号通知接收方设备继续使用当前多项式参数来预测元数据参数的值。

另一方面，响应于确定(例如，通过视频编码器等)(当前)失真测量d_j,j+f大于最大可接受失真测量Δ，则新多项式参数集(t_j+f，s_j+f)可以在经编码比特流中用信号发送给接收方设备(122)。因此，模式标记r_j+f可以设置(例如，r_j+f＝1，等等)为用信号通知新多项式参数集被携带。包括模式标记和新多项式参数集的三元组(r_j，t_j，s_j)可用于在时间域中生成/预测元数据参数的具有如最大可接受失真测量值Δ所示的可接受阈值的值。

时域预测可以应用于基于帧和基于场景的元数据参数。对于基于帧的元数据参数，用信号发送给接收方设备的s_j的值在场景内可以是恒定的或时变的。对于基于场景的元数据参数，对于整个场景而言，s_j＝0。

在一些实施例中，可以使用如下表1所示的示例过程将模式标记和用于元数据参数的多项式参数在经编码比特流中用信号发送至接收方设备。

表1

为了借助模式标记和多项式参数向接收方设备(例如，视频解码器等)用信号发送元数据参数的(例如，预测的等)值，视频编码器可以使用示例编码语法将模式标记和多项式参数编码为经编码比特流(122)中图像元数据的一部分，如下表2所示。

表2

在一些实施例中，表2中所示的编码语法可以用于将用于一些或所有元数据参数的相应模式标记和多项式参数传递至待由视频编码器用信号发送给接收方设备的一个或多个DM级别处。在一些实施例中，可以针对(连续)图像帧序列中的每个图像帧使用以上编码语法来用信号发送这些元数据参数中的一些(例如，L1元数据、L4元数据等)。

对于待在时间域中预测的每个元数据参数，语法元素“DM_comp_mode”表示元数据参数的模式标记。如果“DM_comp_mode”等于1，则可以使用由语法元素“DM_metadata_offset”,“DM_metadata_slope_value_int”,“DM_metadata_slope_value_frac”来表示的(新)多项式参数以更新用于预测元数据参数的值的多项式(或时域预测函数)。

另一方面，如果“DM_comp_mode”等于0，则可以从多项式预测元数据参数的值，该多项式是利用来自“DM_comp_mode”设置为1的最近的过去图像帧的多项式参数所生成的。

在表2中，“DM_metadata_offset”指定(预测)多项式中的偏移量。“DM_metadata_slope_value_int”指定预测多项式中斜率的整数部分。“DM_metadata_slope_value_frac”指定预测多项式中斜率的分数部分。

识别该编码语法的接收方设备可以实施示例解码过程以检索元数据参数的预测值，如下所示：

DM_metadata_value＝DM_metadata_offset+(DM_metadata_slope_value_int+DM_metadata_slope_value_frac>>4)*(当前帧索引-锚点帧索引) (3)

其中“>>”表示位级右移运算符；“当前帧索引”表示待通过预测多项式来预测元数据参数的值的当前图像帧的帧索引；并且“锚点帧索引”表示与“DM_comp_mode”设置为1的最近的过去帧的帧索引。

用于分层结构扩展块的编码语法

在一些实施例中，本文所述的视频编码器所使用的压缩方法使用包括扩展块中的多层的分层结构扩展块来对包括但不限于DM元数据的图像元数据进行编码。以说明性而非限制性的方式，扩展块的第一层是用于传递序列级信息的一个或多个序列汇总(SS)扩展块；扩展块的第二层是用于传递帧级信息的一个或多个帧存在(Frame-Present)(FP)扩展块；扩展块的第三层是用于承载元数据参数的值(例如，实际值、模式标记和用于生成预测值的多项式参数等)的一个或多个帧无开销有效载荷扩展块。

在以下表3中示出了由视频编码器用于对一个或多个SS扩展块和FP扩展块进行编码的示例组合编码语法(其中“ext_dm_alignment_zero_bit”表示具有一个或多个默认值的一个或多个填充比特，例如0用于将扩展块填充到合适字节或字符边界)。

表3

如表3所见，视频编码器可实施组合编码语法，该组合编码语法接收诸如第一输入参数“ext_block_length”和第二输入参数“ext_block_level”的输入参数。

响应于接收到用于第二输入参数“ext_block_level”的值“SS”(例如，数值254等)，由视频编码器实现的组合编码语法生成SS扩展块。另一方面，响应于接收到用于第二输入参数“ext_block_level”的值“FP”(例如，数值253等)，组合编码语法生成FP扩展块。

SS扩展块可以用于用信号发送序列级信息并且可以仅在对应于IDR位置(例如，刷新、同步、程序切换、比特率切换等)或图像帧中其他时间位置(例如，相对大量的时变元数据参数的公共显著变化点等)的特定帧索引处发生(例如，编码、发送、接收、解码等)，在这些位置处，视频编码器确定需要用信号发送或用信号重新发送的序列级。在一些实施例中，对于图像帧序列，视频编码器可以将最多一个SS扩展块发送/用信号发送给接收方设备(例如，视频解码器等)。

如表3所示，SS扩展块可以包括序列级参数“seq_number_extension_block”和序列级参数数数组“seq_extension_block_level[i]”，其中索引“i”是介于0和(seq_number_extension_block-1)之间的值(含0和seq_number_extension_block-1)并表示扩展块ID，这些扩展块ID将存在于SS扩展块所生成用于的整个图像帧序列中。序列级参数“seq_number_extension_block”指定存在于当前图像帧序列中的扩展块ID的总数，其处于0至65535(含0和65535)的范围中。在一些实施例中，如果找到用于序列级参数“seq_number_extension_block”的特定值，则可以将诸如零(0)的默认值赋予该参数。

在SS扩展块中携带的序列级参数数组“seq_extension_bk>ck_level[i]”可以由视频编码器用来向扩展块ID分别对应于其DM级别的接收方设备发信号。序列级参数数组“seq_extension_block_level[i]”指示当前图像帧序列中存在的扩展块ID“i”的DM级别。在一些实施例中，序列级参数数组“seq_extension_block_level[i]”中的值处于1至252的范围内(含0和252)。如果不存在序列级参数数组“seq_extension_block_level[i]”，则可以将例如零(0)的默认值赋予当前图像帧序列中存在的扩展块IDS“i”的一些或所有DM级别。

FP扩展块可以用于用信号发送帧级别信息并且可以在每个图像帧处发生(例如，编码、发送、接收、解码等)。

如表3所示，用于对应图像帧的FP扩展块可以包括帧级参数数组“seq_extension_block_present[i]”；i是介于0和(seq_number_extension_block-1)之间的值(含0和seq_number_extension_block-1)并且表示在由该序列的SS扩展块所指示的整个图像帧序列中存在的扩展块ID。FP扩展块中的帧级参数数组“seq_extension_block_present[i]”可由视频编码器用来向接收方设备指示在扩展块的第三层(或帧无开销扩展块)中哪些扩展块ID(由“i”表示)携带有效载荷块扩展块。另外地、可选地或可替代地，视频编码器可以使用FP扩展块中的帧级参数数组“seq_extension_block_present[i]”来将所有有效载荷块一个接一个地打包，而在这些有效载荷块中没有任何填充比特，也没有分隔任何相邻有效载荷块的任何填充比特。

在一些实施例中，仅需要针对对应图像帧更新其值的那些元数据参数(对应于将seq_extension_block_present[i]设置为诸如1的特定值的扩展块ID)具有通过视频编码器编码的其相应有效载荷块。不需要针对对应图像帧更新的其值的其他元数据参数不具有由视频编码器编码的有效载荷块。

例如，响应于确定在FP扩展块中针对对应图像的图像特定扩展块ID“i”被指示为需要更新(例如，seq_extension_block_present[i]＝＝1等)，则视频编码器可以调用有效载荷编码例程“ext_block_payload_comp(...)”。将特定扩展块ID“i”的DM级别被作为输入参数传递，该DM级别已针对整个图像帧序列在SS扩展块中使用序列级参数数组“seq_extension_block_level[i]”进行设置。有效载荷编码例程可以在如序列级参数数组“seq_extension_block_level[i]”中所指示的DM级别处使用DM级别对元数据参数的更新值进行编码。在一些实施例中，时域预测可以用于生成简明的有效载荷，以用于更新这些元数据参数的值中的一些或全部。在一些实施例中，可以使用扩展块的第三层中的帧无开销有效载荷扩展块来对这些有效载荷进行编码。

另一方面，响应于确定在FP扩展块中针对对应图像的图像特定扩展块ID“i”被指示为不需要更新(例如，seq_extension_block_present[i]＝＝0等)，则视频编码器可以避免调用有效载荷编码例程“ext_block_payload_comp(...)”。针对特定扩展块ID“i”的特定扩展块ID“i”的DM级别已针对整个图像帧序列在SS扩展块内使用序列级参数数组“seq_extension_block_level[i]”进行设置。因此，在一些实施例中，对于对应的图像帧，如果扩展块ID“i”的帧级参数“seq_extension_block_present[i]”设置为特殊值(例如0等)以不进行更新，则视频编码器不生成用于更新与扩展块ID“i”相关联的元数据参数的值的任何有效载荷。例如，元数据参数的先前元数据值或用于元数据参数的值的时域预测的先前多项式可以连续地用于生成或提供对应图像的元数据参数的值。

有效载荷编码例程“ext_block_payload_comp(...)”可以由视频编码器用来对各种DM级别的帧无开销有效载荷扩展块进行编码的示例总体有效载荷编码语法来表示，如下面的表4所示。

表4

如表4所见，基于作为输入参数传递的DM级别，有效载荷编码例程“ext_block_payload_comp(...)”调用有效载荷编码子例程“DM_comp_metadatal()”，“DM_comp_metadata2()”，“DM_comp_metadata3()”，“DM_comp_metadata4()”，“DM_comp_metadata5()”，“DM_comp_metadata6()”等。

有效载荷编码子例程可以通过由视频编码器用来对各种DM级别的相应帧无开销有效载荷扩展块进行编码的相应示例特定有效载荷编码语法来表示，如下面的表5至表10所示。

表5

表6

表7

表8

表9

表10

如在表3和表4中所见，用于对图像元数据进行编码的编码语法可以参考具有其相应扩展块级别的SS扩展块、FP扩展块和帧无开销扩展块。

例如，表3中的编码语法针对参数“ext_block_level”引用了具有值“SS”(例如，数值254等)的SS扩展块。值“SS”(例如，数值254等)表示SS扩展块的特定扩展块级别。

表3中的相同编码语法还针对参数“ext_block_level”引用了具有值“FP”(例如，数值253等)的FP扩展块。值“FP”(例如，数值253等)表示FP扩展块的特定扩展块级别。

表3和表4中的编码语法针对参数“seq_extension_block_level[i]”或参数“ext_comp_block_level”参考具有不同值(例如，数值1、2、3、4、5、6等)的帧无开销扩展块。这些不同的值(例如，数值1、2、3、4、5、6等)表示帧无开销扩展块的相应扩展块级别。

在一些实施例中，用于帧无开销扩展块的不同扩展块级别可以对应于帧无开销扩展块中携带的元数据参数的不同DM级别。

例如，帧无开销扩展块的如表4中的参数“seq_extension_block_level[i]”或参数“ext_comp_block_level”的数值1所表示的扩展块级别(1)可以对应于用于帧无开销扩展扩展块的元数据参数(例如“min_PQ”，“max_PQ”，“avg_PQ”等)的DM级别，例如“L1”。类似地，帧无开销扩展块的如表4中的参数“seq_extension_block_level[i]”或参数“ext_comp_block_level”的数值4所表示的扩展块级别(4)可以对应于帧无开销扩展块的元数据参数(例如，“anchor_PQ”，“anchor_power”等)的DM级别，例如“L4”。

编码器侧约束

使用用于分层结构扩展块的编码语法以对图像元数据进行编码的视频编码器可以实现如下一个或多个编码器侧约束。

在一些实施例中，针对经编码比特流中所表示的每个图像帧，在经编码比特流(例如122等)中编码最多一个SS扩展块(例如，级别254等)。在一些实施例中，单个SS扩展块被编码用于图像帧序列(例如，对应于一部分媒体程序等)。可以通过单个SS扩展块为整个图像帧序列中的每个图像帧访问序列级编码参数值。

在一些实施例中，FP扩展块伴随(例如，跟随等)针对图像帧序列编码的单个SS扩展块，FP扩展块可以针对在图像帧序列中的诸如第一图像帧的特定图像帧而被编码并且可以用于完全确定与由存在于整个图像帧序列中的单个SS扩展块所指示的所有扩展块ID相对应的元数据参数(针对特定图像帧)的值(例如，初始值等)。

在一些实施例中，可以针对对应图像帧序列而不是经编码比特流(122)中表示的每个图像帧来对SS扩展块(例如，级别254等)进行编码。在一些实施例中，在先前的SS扩展块中用于先前图像帧或先前图像帧序列的序列级信息中的一些或全部可以被经编码比特流中(122)的稍后图像帧或稍后图像帧序列重新使用。

在一些实施例中，如果FP扩展块需要SS扩展块(级别254)，则在经编码比特流(122)中由视频编码器比在经编码比特流(122)中的所有FP扩展块(级别253)更早地对SS扩展块(级别254)进行编码。这是为了确保涉及这些序列级值的FP扩展块(级别253)被解码之前从SS扩展块(级别254)读取正确的序列级值。

编码器侧约束也可以用于支持或强制后向兼容。支持不同编码语法版本的媒体设备可以在任何给定时间现场部署。例如，可以首先将支持用于承载L1和L2元数据的第一编码语法版本的媒体设备发布到现场。随后，可以将支持用于承载L1、L2和L4的第二编码语法版本的媒体设备发布到现场。进一步随后，可以将支持用于承载L1、L2、L4和L3的第三编码语法版本的媒体设备发布到现场。在一些实施例中，与随后发布的第二编码语法版本相比，最早发布的第一编码语法版本被赋予更小的版本值，而与随后发布的第三编码语法版本相比，该第二编码语法版本又被赋予更小的版本值。因此，编码语法的发布得越早，分配该编码语法的版本的值越小。

为了确保最大的后向兼容性，将承载与编码语法版本的最大版本值相关联的最新编码语法版本中的新支持扩展块级别(或新支持DM级别)的元数据参数的扩展块放置在最后。其结果为，不支持最新编码语法版本的媒体设备仍然可以从以最新编码语法版本编码的扩展块中识别和检索最大数量的元数据参数。

考虑一个示例，其中第一视频解码器能够解码在编码语法版本1中引入的L1和L2元数据；第二视频解码器能够解码L1和L2元数据以及编码语法版本2中引入的L4元数据；并且第三个视频解码器能够解码LI，L2和L4元数据以及在编码语法版本3中引入的L3元数据。版本值例如1(LI和L2元数据)、2(LI，L2和L4元数据)和3(LI，L2，L4和L3元数据)可用于在这三个编码语法版本1、2和3中的任何一个中对扩展块进行排序。例如，在最新的编码语法版本中(例如，本示例中的版本3等)，将对扩展块进行排序，使得编码语法版本1中支持的元数据(例如L1和L2元数据)在版本2中新支持的元数据(例如L4元数据)之前被编码，而版本2中新支持的元数据在版本3中最新支持元数据(例如L3元数据)之前被编码。

其结果为，即使这些扩展块以编码语法版本3编码，支持编码语法版本1的第一视频解码器也可以从扩展块检索L1和L2元数据。第一视频解码器无法识别L4元数据并且可以将默认值用于L4元数据中的元数据参数、忽略L4元数据中的这些元数据参数等。

即使这些扩展块以编码语法版本3编码，支持编码语法版本1和2的第二视频解码器也可以从扩展块检索L1，L2和L4元数据。第二视频解码器无法识别L3元数据，并且可以将默认值用于L3元数据中的元数据参数，忽略L3元数据中的这些元数据参数。

在一些实施例中，可以通过对如序列级扩展块中指示的序列级参数数组“seq_extension_block_level[i]”进行排序来以不同编码语法版本的版本值的升序对有效载荷扩展块进行排序。

在本示例中，与DM级别L1和L2相对应的第一扩展块级别可以首先出现在序列级参数数组“seq_extension_block_level[i]”中，随后是与DM级别L4相对应的第二扩展块级别并且再随后是与DM级别L3相对应的第三扩展块级别。

其结果为，当在编码FP扩展块中使用序列级参数数组“seq_extension_block_level[i]”时，首先处理第一扩展块级别并首先编码位于第一扩展块级别处的任何当前标记或任何有效载荷扩展块，随后是第二扩展块级别以及位于第二扩展块级别处的任何当前标记或任何有效载荷扩展块，再随后是第三扩展块级别以及位于第三扩展块级别处的任何当前标记或任何有效载荷扩展块。同样，当序列级参数数组“seq_extension_block_level[i]”用于解码FP扩展块和有效载荷扩展块时，将首先处理第一个扩展块级别并且首先解码位于第一个扩展块级别处的任何当前标记或任何有效载荷扩展块，然后是第二扩展块级别以及位于第二扩展块级别处的任何当前标记或任何有效载荷扩展块，再随后是第三扩展块级别以及位于第三扩展块级别位置处的任何当前标记或任何有效载荷扩展块。

开销和压缩效率

对于视频编码器为整体元数据刷新(例如，不同的元数据参数、元数据的所有或基本上所有值的刷新)所选择的图像帧(例如，IDR帧、非IDR图像等)可以发送SS扩展块和FP扩展块(例如，包括但不限于伴随FP扩展块的帧无开销扩展块等)。对于其余图像帧，视频编码器只发送FP扩展块和分别伴随FP扩展块的任何帧无开销扩展块。即使将SS扩展块算作开销，这种开销也相对小，这是由于SS扩展块的开销可以在SS扩展块所生成为的图像帧序列中的多个图像帧上摊销。因此，由于相对不频繁地使用SS扩展块，因此来自SS扩展块的开销总体而言相对较小。

在下面的表11中示出了示例图像帧序列和用于示例图像帧序列的扩展块。

表11

帧索引	帧类型(IDR/P/B)	扩展块(SS，FP)
			0	IDR	SS，FP
1	B	FP
			2	P	FP
3	B	FP
			4	IDR	SS，FP
5	P	FP

考虑一种操作场景，其中DM元数据包括三个扩展块级别(如表3的编码语法中的序列级参数数组“eq_extension_block_level[i]”所示)。第一扩展块级别具有36比特(例如L1元数据)。第二扩展块级别具有36比特(例如L1元数据)。第三扩展块级别具有24比特(例如表8中的L4元数据)。

因此，存在八(8)个参数，总计为24+36+36＝96比特有效载荷。在不实现如本文所述的压缩方法的其他方法中，可以使用37比特来编码24比特(在L4元数据中)，并且可以使用53比特来编码36比特(在L1元数据中)。因此，在这些其他方法下，可能总共需要37+53+53＝143比特来编码2x36比特(在L1元数据中)和24比特(在L4元数据中)。

在本文所述的技术下，即使不使用时域预测，也可以使用明显更少数量的比特来传输相同的元数据。

例如，当未针对表11中的帧索引1-3和5对SS扩展块进行编码、发送、接收和解码时，FP扩展块(包括其附带的帧无开销扩展块)可以包括：参数“ext_block_length”，其以无符号整数Exp-Golomb编码语法进行编码，在此示例中，其占用七(7)比特。FP扩展块包括参数数组“seq_extension_block_present”，该参数数组需要三(3)比特用于三(3)个帧无开销扩展块(一个用于L4元数据，两个用于L1元数据)。帧无开销扩展块占用96比特，用于承载L1和L4元数据。最后，SS和FP扩展块占用ext_dm_alignment_zero_bit的五(5)比特用于填充(例如，3+96+5用于对齐字节边界)。因此，FP扩展块(包括其附带的帧开无销扩展块)总共使用7+3+96+5＝111比特，其中包括Exp-Golomb编码的“ext_block_length”。结果，当未在帧索引1-3和5处发送SS扩展块时，本文所述技术下的比特总数仍比其他方法的比特总数(143)少16+16＝32比特。

通过对元数据参数使用时域预测，可以进一步提高压缩效率，该元数据参数的值将在被承载于帧无开销扩展块中。例如，如果在表11的帧索引3处，所有先前用信号发送的用于LI和L4元数据的时域预测函数(或多项式)仍然有效，则无需包括或用信号发送任何帧无开销扩展块(例如，L4元数据的两个元数据参数，如表8所示)。结果，当没有在帧索引3处发送SS扩展块并且当不需要更新预测函数(或多项式)时，在本文所述的技术下的比特总数(例如27比特等)比其他方法下的总比特数(143)少得多。

另外地、可选地或可替代地，即使当诸如LI元数据或L4元数据的元数据参数集需要帧无开销扩展块时，并非该集中的所有元数据参数都对其预测函数(或多项式)进行更新。对于不需要更新其预测函数(或多项式)的那些元数据参数，可以在帧无开销扩展块中针对那些元数据参数中的每个使用单位模式标记，以指示不更新预测函数(或多项式)。因此，当包括在帧无开销扩展块中的某些元数据参数不需要更新其预测函数(或多项式)和/或对于那些元数据参数仅使用单位模式时，帧无开销扩展块仍可相对较小。

应当注意，在各种施例中，本文所述的视频编码器可以使用时域预测或任何其他方法(不一定基于时域预测)来用信号发送预测的或非预测的(例如，实际的等)包含DM元数据的图像数据中的元数据参数的一些或全部的值或不用信号发送所述元数据参数的任何值。

还应当注意，在各种实施例中，本文所述的视频编码器可以识别IDR帧(如表11所示)或非IDR帧(例如，P帧、B帧等)作为图像帧序列的起点，在该起点处将用信号发送起点序列级汇总信息。例如，视频编码器可识别出有许多元数据参数需要用用于预测这些元数据参数的值的预测函数的新参数来更新，以至于此类元数据参数的总数超过最大允许数量。作为响应，视频编码器可以开始新的图像帧序列并且例如在新的SS扩展块中发送序列级汇总信息。

在一些实施例中，视频编码器可以将特定DM级别处的元数据参数特定集的多个实例用信号发送给视频解码器以用于图像帧序列(例如，图像帧序列中的每个图像帧等)。元数据特定集的每个实例可以由诸如视频解码器之类的接收方设备用作执行特定图像处理操作或执行图像处理特定集的基础。例如，视频图像编码器可以将L1元数据(位于DM级别L1处)的多个实例用信号发送至视频解码器以用于图像帧序列(例如，图像帧序列中的每个图像帧等)。接收器设备可以至少部分地基于L1元数据的多个实例来执行多个不同的图像处理操作或多个不同的图像处理操作集。类似地，视频编码器可将L2元数据(位于DM级别L2处)、L3元数据(位于DM级别L3处)、L4元数据(位于DM级别L4处)的多个实例通过信号发送至视频解码器用于图像帧序列(例如，图像帧序列中的每个图像帧等)。接收方设备可以至少部分地基于L2元数据、L3元数据、L4元数据等的多个实例来执行多个不同的图像处理操作或多个不同的图像处理操作集。

在一些实施例中，可以通过用于图像帧序列的SS扩展块中的参数“seq_number_extension_block”来指示用于图像帧序列位于所有DM级别处的元数据参数集的所有(或聚集的)多个实例。参数“seq_number_extension_block”可以是由以下之一表示的数值：8比特、16比特或字节对齐或不字节对齐的其他比特数。

仅出于说明的目的，如本文所述，有时已经描述了可以针对输入视频信号中的SDR图像使用分层结构扩展块和/或时域预测来用信号发送诸如DM元数据的图像元数据，以允许下游设备接收或预测元数据参数的值以用于与SDR图像有关的图像处理操作和/或为目标显示器生成目标显示图像。

然而，应注意，在各种实施例中，输入视频信号中的输入动态范围和/或输入色域的图像可以是或可以不是诸如在Rec.709中指定的那些SDR图像。例如，如本文所述，在一些实施例中，除Rec.709SDR中的一个之外的输入动态范围(例如4000尼特、1000尼特等)的混合对数伽马(HLG)图像可以从输入视频信号解码。可以针对HLG图像使用分层结构扩展块和/或时域预测来发信号发送诸如DM元数据的图像元数据，以允许下游设备接收或预测元数据参数的值以用于与HLG图像有关的图像处理操作和/或用于生成目标显示器的目标显示图像。

示例处理流程

图4A示出了根据本发明实施例的示例处理流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、代码转换设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/module等)执行此处理流程。在框402中，图像处理设备(例如，编码块(120)等)为媒体程序中的图像帧序列生成序列级参数集，该序列级参数集包括序列级指示符集，该序列级指示符集用于指示针对图像帧序列中的每个图像帧存在的元数据类型特定集。

在框404中，图像处理设备为图像帧序列生成帧存在参数集序列，针对图像帧序列中的相应图像帧生成帧存在参数集序列中的每个帧存在参数集。为图像帧序列中的特定图像帧生成的帧存在参数特定集包括帧存在指示符特定集，该帧存在指示符特定集与序列级参数集中指示的元数据类型特定集相对应。帧存在指示符特定集包括识别第一元数据类型的第一帧指示符，针对该第一元数据类型，元数据参数值将编码在经编码比特流中作为元数据有效载荷。帧存在指示符特定集包括识别第二元数据类型的第二帧存在指示符，针对该第二元数据类型，没有元数据参数值被编码再在经编码比特流中。

在框406中，图像处理设备将图像帧序列、序列级参数集、帧存在参数特定集以及元数据有效载荷编码在经编码比特流中。

在框408中，图像处理设备使经编码比特流的接收方设备至少部分地基于针对第一元数据类型确定的元数据参数值从特定图像帧生成针对目标显示器的目标显示图像。

在实施例中，图像帧序列表示媒体程序中的连续图像帧序列。

在实施例中，序列级参数集在经编码比特流中传输作为序列汇总(sequence-summary)元数据块；单独的帧存在参数集在经编码比特流中传输作为帧存在元数据块；元数据有效载荷在经编码比特流中传输作为帧无开销元数据块。

在实施例中，序列级参数集、单独的帧存在参数集以及元数据有效载荷在经编码比特流中传输作为由连续比特形成的单个比特块。

在实施例中，序列级参数集，单独的帧存在参数集以及元数据有效载荷在经编码比特流中传输而没有被用于对齐的填充比特所分开。

在实施例中，元数据有效载荷在经编码比特流中一个接一个地传输而没有被用于对齐的填充比特分开。

在实施例中，元数据有效载荷中的至少一个承载用于指定时域预测函数的函数参数集，该时域预测函数生成待在与特定图像帧相关的图像处理操作中使用的元数据参数的时域预测值。

在实施例中，时域预测函数表示以下之一：时域常数、在时间域中的一阶多项式、在时间域中的二阶或更高阶多项式、分段函数集、非多项式函数等。

在实施例中，图像帧序列起始于特定图像帧；序列级参数集与特定图像帧、帧存在参数特定集和元数据有效载荷一起被传输。

在实施例中，基于一个或多个选择标准从包括图像帧序列的图像集中选择特定图像帧。

在实施例中，一个或多个选择标准包括针对一个或多个元数据参数的一个或多个最大允许预测误差。

在实施例中，一个或多个选择标准包括需要更新时域预测函数的数据参数的最大允许总数。

在实施例中，特定图像帧表示以下之一：即时数据刷新(IDR)图像帧、非IDR图像帧、与程序切换相对应的图像帧、与比特率切换相对应的图像帧等。

在实施例中，图像处理设备还被配置为执行：将构成媒体程序的图像帧集划分成包括图像帧序列的多个图像帧序列；针对所述多个图像帧序列中的每个图像帧序列生成单独的序列级参数集，所述单独的序列级参数集包括用于指示针对每个这样的图像帧序列中的每个帧存在的元数据类型集的序列级指示符集。

在实施例中，序列级参数集在经编码比特流中针对图像帧序列中的所有图像帧被传输最多一次。

在实施例中，图像帧序列表示以下之一：标准动态范围(SDR)图像序列、高动态范围(HDR)图像序列、混合对数伽马(HLG)图像序列等。

图4B示出了根据本发明实施例的示例处理流程。在一些实施例中，一个或多个计算设备或部件(例如，编码设备/模块、代码转换设备/模块、解码设备/模块、逆色调映射设备/模块、色调映射设备/模块、媒体设备/模块等)可以执行该处理流程。在框422中，图像处理设备(例如，解码块(130)等)接收媒体程序中包括图像帧序列的经编码比特流。

在框424中，图像处理设备解码图像帧序列的序列级参数集，该序列级参数集包括用于指示针对图像帧序列中的每个帧存在的元数据类型特定集的序列级指示符集。

在框426中，图像处理设备使用序列级参数集来解码针对帧图像序列中的特定图像帧生成的帧存在参数特定集。帧存在参数集包括帧存在指示符特定集，其对应于如在序列级参数集中指示的元数据类型特定集。帧存在指示符特定集包括识别第一元数据类型的第一帧存在指示符，针对该第一元数据类型，元数据参数值针对特定图像帧编码在经编码比特流中作为元数据有效载荷。帧存在指示符特定集包括识别第二元数据类型的第二帧存在指示符，针对该第二元数据类型，没有元数据参数值针对特定图像帧编码在经编码比特流中。

在框428中，图像处理设备使用第一帧存在指示符来解码经编码比特流中的元数据有效载荷。

在框430中，图像处理设备至少部分地基于针对第一元数据类型确定的元数据参数值从特定图像帧生成针对目标显示器的目标显示图像。

在实施例中，序列级参数集、帧存在参数特定集和元数据有效载荷承载在输入视频信号中作为与图像帧序列分开的图像元数据。

在实施例中，元数据有效载荷包括用于一个或多个显示管理(DM)级别的元数据参数。

在实施例中，图像处理设备还被配置为执行：从元数据有效载荷中提取显示管理(DM)元数据；作为生成目标显示图像的一部分，使用DM元数据对特定图像帧执行一个或多个DM操作。在实施例中，图像处理设备还被配置为执行：从元数据有效载荷中提取非显示管理(DM)元数据；作为生成目标显示图像的一部分，使用非DM元数据对特定图像帧执行一个或多个非DM操作。

在实施例中，诸如显示设备、移动设备、机顶盒、多媒体设备等的计算设备被配置为执行前述方法中的任意方法。在实施例中，一种装置包括处理器并且被配置为执行前述方法中的任意方法。在实施例中，一种非暂时性计算机可读存储介质，其存储软件指令，所述软件指令在由一个或多个处理器执行时使得执行前述方法中的任意方法。

在实施例中，一种计算设备，其包括一个或多个处理器以及一个或多个存储介质，该存储介质存储指令集，当指令由一个或多个处理器执行时，所述指令使得执行前述方法中的任意方法。

注意到，尽管本文讨论了分开的实施例，但是本文讨论的实施例和/或部分实施例的任何组合可以组合以形成其他实施例。

示例计算机系统实施方式

本发明的实施例可以用计算机系统、以电子电路和部件配置的系统、集成电路(IC)设备(诸如微控制器、现场可编程门阵列(FPGA)或另一种可配置或可编程的逻辑设备(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括一个或多个这种系统、设备或部件的装置。计算机和/或IC可以执行、控制或实行与具有增强动态范围的图像的自适应感知量化有关的指令，例如本文所述的那些。计算机和/或IC可以计算与本文描述的自适应感知量化过程有关的各种参数或值中的任何一个。图像和视频实施例可以以硬件、软件、固件及其各种组合来实现。

本发明的某些实施方式包括执行软件指令的计算机处理器，该软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、代码转换器等中的一个或多个处理器可以通过在可访问处理器的程序存储器中执行软件指令来实现如上所述的与HDR图像的自适应感知量化有关的方法。本发明也可以以程序产品的形式提供。该程序产品可以包括承载计算机可读信号集的任何非暂时性介质，该计算机可读信号集包括指令，当指令由数据处理器执行时，指令使数据处理器执行本发明的方法。根据本发明的程序产品可以是多种形式中的任何一种。该程序产品可以包括例如物理介质，诸如包括软盘的磁数据存储介质、硬盘驱动器、包括CD ROM和DVD的光学数据存储介质、包括ROM和闪存RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。

在上文提到的部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有说明，否则对该部件的引用(包括对“器件”的引用)应解释为包括执行所描述部件的功能的任何部件(例如，在功能上等同)作为该部件的等同物，包括在结构上不等同于在本发明所示的示例实施例中执行所述功能的公开结构的部件。

根据一个实施例，本文描述的技术由一个或多个专用计算设备实现。专用计算设备可以进行硬连线以执行该技术，或者可以包括数字电子设备，例如被永久性地编程以执行技术的一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被编程为根据固件、存储器、其他存储装置或组合中的程序指令来执行这些技术的一个或多个通用硬件处理器。这种专用计算设备还可以将定制的硬连线逻辑、ASIC或FPGA与定制的编程相结合以实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持式设备、网络设备或结合了硬连线和/或程序逻辑以实现技术的任何其他设备。

例如，图5是示出了可以在其上实现本发明的实施例的计算机系统500的框图。计算机系统500包括总线502或用于通信信息的其他通信机制，以及与总线502耦合以用于处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。

计算机系统500还包括耦合到总线502的主存储器506，例如随机存取存储器(RAM)或其他动态存储设备，以用于存储将由处理器504执行的信息和指令。主存储器506也可以是用于在执行待由处理器504执行的指令期间存储临时变量或其他中间信息。这种指令在存储在处理器504可访问的非暂时性存储介质中时将计算机系统500渲染成定制为执行指令中指定的操作的专用机器。

计算机系统500进一步包括耦合到总线502的只读存储器(ROM)508或其他静态存储设备，以用于存储处理器504的静态信息和指令。存储设备510，例如磁盘或光盘，被提供并被耦合至总线502以用于存储信息和指令。

计算机系统500可以经由总线502耦合到显示器512，例如液晶显示器，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备514耦合到总线502，用于将信息和命令选择通信至处理器504。另一种类型的用户输入设备是光标控件516，例如鼠标、跟踪球或光标方向键以用于将方向信息和命令选择通信至处理器504并用于控制显示器512上的光标移动。该输入设备通常具有在两个轴(第一轴(例如，x)和第二轴(例如，y))上允许设备指定平面中的位置的两个自由度。

计算机系统500可以使用与计算机系统结合使计算机系统500成为或编程为专用机器的定制硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实施本文所述的技术。根据一个实施例，由计算机系统500响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列来执行本文所述的技术。这种指令可以从另一存储介质(例如存储设备510)读取到主存储器506中。主存储器506中包含的指令序列的执行使处理器504执行本文所述的程序步骤。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令结合使用。

如本文所用的术语“存储介质”是指存储使机器以特定方式运行的数据和/或指令的任何非暂时性介质。这种存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，例如存储设备510。易失性介质包括动态存储器，例如主存储器506。存储介质的常见形式包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、带孔图案的任何物理介质、RAM、PROM和EPROM、闪存-EPROM、NVRAM、任何其他存储器芯片或盒式磁带。

存储介质不同于传输介质但可以与传输介质结合使用。传输介质参与存储介质之间的信息传输。例如，传输介质包括同轴电缆、铜线和光纤，包括构成总线502的线材。传输介质还可以采用声波或光波的形式，例如在无线电波和红外数据通信期间生成的那些声波或光波。

各种形式的介质可涉及将一个或多个指令的一个或多个序列承载至处理器504以用于执行。例如，指令可以最初承载在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中并且使用调制解调器通过电话线发送指令。对计算机系统500本地的调制解调器可以接收在电话线上的数据并使用红外发射器将数据转换为红外信号。红外检测器可以接收红外信号中承载的数据并且适当的电路可以将数据放置在总线502上。总线502将数据携带到主存储器506，处理器504从该主存储器检索并执行指令。由主存储器506接收的指令可以可选地在处理器504执行之前或之后存储在存储设备510上。

计算机系统500还包括耦合到总线502的通信接口518。通信接口518提供耦合到连接至本地网络522的网络链路520的双向数据通信。例如，通信接口518可以是集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或提供到相应类型电话线的数据通信连接的调制解调器。作为另一个示例，通信接口518可以是局域网络(LAN)卡以提供到兼容LAN的数据通信连接。还可以实现无线链路。在任何这种实施方式中，通信接口518发送和接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。

网络链路520通常通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路520可以通过本地网络522提供到主机计算机524或由互联网服务提供商(ISP)526操作的数据设备的连接。ISP 526又通过现在通常称为“因特网”528的全球分组数据通信网络提供数据通信服务。本地网络522和因特网528都使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号和在网络链路520上并且通过通信接口518的信号是传输介质的示例形式，这些信号承载去往和来自计算机系统500的数字数据。

计算机系统500可以通过一个或多个网络、网络链路520和通信接口518发送消息并接收包括程序代码的数据。在因特网示例中，服务器530可以通过以下方式为应用程序发送请求代码：互联网528、ISP 526、本地网络522和通信接口518。

接收到的代码可以在接收到时由处理器504执行，和/或存储在存储设备510或其他非易失性存储器中以供以后执行。

等价物、扩展物、替代物和杂项

在前述说明书中，已经参照可能随实施方式而变化的许多具体细节描述了本发明的实施例。因此，本发明是什么以及申请人打算将什么作为本发明的唯一的排他性指示是源自本申请的权利要求的集合，该申请呈产生这种权利要求的特定形式，包括任何随后的更正。本文中针对这种权利要求中所包含的术语明确阐述的任何定义均应总控权利要求中所使用的这种术语的含义。因此，在权利要求中未明确叙述的任何限制、元件、特性、特征、优点或属性均不应以任何方式限制该权利要求的范围。因此，说明书和附图应被认为是说明性的而不是限制性的。

从以下列举的示例实施例(EEE)中可以理解本发明的各个方面：

EEE 1.一种方法，包括：

生成媒体程序中的图像帧序列的序列级参数集，所述序列级参数集包括用于指示针对所述图像帧序列中的每个图像帧存在的元数据类型特定集的序列级指示符集；

生成用于所述图像帧序列的帧存在参数集序列，针对所述图像帧序列中的相应图像帧生成所述帧存在参数集序列中的每个帧存在参数集；

其中，针对所述图像帧序列中的特定图像帧生成的帧存在参数特定集包括与在所述序列级参数集中指示的所述元数据类型特定集相对应的帧存在指示符特定集；

其中，所述帧存在指示符集包括识别第一元数据类型的第一帧存在指示符，对于所述第一元数据类型，元数据参数值将被编码在经编码比特流中作为元数据有效载荷；

其中，所述帧存在指示符集包括识别第二元数据类型的第二帧存在指示符，对于所述第二元数据类型，没有元数据参数值将被编码在所述经编码比特流中；

将所述图像帧序列、所述序列级参数集、所述帧存在参数特定集以及所述元数据有效载荷编码于所述经编码比特流中；

使所述经编码比特流的接收方设备至少部分地基于针对所述第一元数据类型确定的所述元数据参数值从所述特定图像帧生成针对目标显示器的目标显示图像。

EEE 2.根据EEE 1的方法，其中，所述图像帧序列表示所述媒体程序中的连续图像帧序列。

EEE 3.根据EEE 1或EEE 2的方法，其中所述序列级参数集在所述经编码比特流中作为序列汇总元数据块被传输，其中，单独的所述帧存在参数集在所述经编码比特流中作为帧存在元数据块被传输，并且所述元数据有效载荷在所述经编码比特流中作为帧无开销元数据块被传输。

EEE 4.根据EEE 1-3中任一项的方法，其中，所述序列级参数集、单独的帧存在参数集以及所述元数据有效载荷在所述经编码比特流中作为由连续比特形成的单个比特块被传输。

EEE 5.根据EEE 4的方法，其中，所述序列级参数集、单独的帧存在参数集以及所述元数据有效载荷在所述经编码比特流中传输而不被用于对齐的填充比特分开。

EEE 6.根据EEE 1-5中任一项的方法，其中，所述元数据有效载荷在所述经编码比特流中一个接一个地传输而不被用于对齐的填充比特分开。

EEE 7.根据EEE 1-6中任一项的方法，其中，所述元数据有效载荷中的至少一个承载用于指定时域预测函数的函数参数集，所述时域预测函数针对待在与所述特定图像帧相关的图像处理操作中使用的元数据参数生成时域预测值。

EEE 8.根据EEE 1-7中任一项的方法，其中，所述时域预测函数表示以下项之一：时域常数、时间域中的一阶多项式、时间域中的二阶或更高阶多项式、分段函数集或非多项式函数。

EEE 9.根据EEE 1-8中任一项的方法，其中，所述图像帧序列从所述特定图像帧起始，并且其中，所述序列级参数集与所述特定图像帧、所述帧存在参数特定集以及所述元数据有效载荷一起被传输。

EEE 10.根据EEE 9的方法，其中，基于一个或多个选择标准从包括所述图像帧序列的图像集中选择所述特定图像帧。

EEE 11.根据EEE 10的方法，其中，所述一个或多个选择标准包括针对一个或多个元数据参数的一个或多个最大允许预测误差。

EEE 12.根据EEE 10或EEE 11的方法，其中，所述一个或多个选择标准包括需要更新时域预测函数的元数据参数的最大允许总数。

EEE 13.根据EEE 9-12中任一项的方法，其中，所述特定图像帧表示以下之一：即时数据刷新(IDR)图像帧、非IDR图像帧、与程序切换相对应的图像帧或与比特率切换相对应的图像帧。

EEE 14.根据EEE 1-13中任一项的方法，还包括：

将构成所述媒体程序的图像帧集划分为包括所述图像帧序列的多个图像帧序列；

针对所述多个图像帧序列中的每个图像帧序列生成单独的序列级参数集，所述单独的序列级参数集包括用于指示针对每个这种图像帧序列中的每个帧存在的元数据类型集的序列级指示符集。

EEE 15.根据EEE 1-14中任一项的方法，其中所述序列级参数集在所述经编码比特流中针对所述图像帧序列中的所有图像帧传输最多一次。

EEE 16.根据EEE 1-15中任一项的方法，其中，所述图像帧序列表示以下之一：标准动态范围(SDR)图像序列、高动态范围(HDR)图像序列或混合对数伽马(HLG)图像序列。

EEE 17.一种方法，包括：

接收包括媒体程序中的图像帧序列的经编码比特流；

解码所述图像帧序列的序列级参数集，所述序列级参数集包括用于指示针对所述图像帧序列中每个图像帧存在的元数据类型特定集的序列级指示符集；

使用所述序列级参数来解码针对所述图像帧序列中的特定图像帧生成的帧存在参数特定集；

其中，所述帧存在参数特定集包括与在所述序列级参数集中指示的元数据类型特定集相对应的帧存在指示符特定集；

其中，所述帧存在指示符特定集包括识别第一元数据类型的第一帧存在指示符，对于所述第一元数据类型，元数据参数值针对所述特定图像帧被编码在经编码比特流中作为元数据有效载荷；

其中，所述帧存在指示符特定集包括识别第二元数据类型的第二帧存在指示符，对于所述第二元数据类型，没有元数据参数值针对所述特定图像帧被编码在所述经编码比特流中；

使用所述第一帧存在指示符来解码所述经编码比特流中的所述元数据有效载荷；

至少部分基于针对所述第一元数据类型确定的所述元数据参数值从所述特定图像帧生成针对目标显示器的目标显示图像。

EEE 18.根据EEE 17的方法，其中，所述序列级参数集、所述帧存在参数特定集以及所述元数据有效载荷承载在输入视频信号中作为与所述图像帧序列分开的图像元数据。

EEE 19.根据EEE 17或EEE 18的方法，其中，所述元数据有效载荷包括针对一个或多个显示管理(DM)级别的元数据参数。

EEE 20.根据EEE 17-19中任一项的方法，还包括：

从所述元数据有效载荷中提取显示管理(DM)元数据；

作为生成所述目标显示图像的一部分，使用所述DM元数据以对所述特定图像帧执行一个或多个DM操作。

EEE 21.根据EEE 17-20中任一项的方法，还包括：

从所述元数据有效载荷中提取非显示管理(DM)元数据；

作为生成所述目标显示图像的一部分，使用所述非DM元数据以对所述特定图像帧执行一个或多个非DM操作。

EEE 22.一种计算机系统，其被配置为执行EEE 1-21中所述的方法中的任一方法。

EEE 23.一种装置，其包括处理器并被配置为执行EEE 1-21中所述的方法中的任一方法。

EEE 24.一种非暂时性计算机可读存储介质，其上存储有用于执行根据EEE 1-21中任一项所述的方法的计算机可执行指令。

Claims (30)

1.一种利用图像元数据编码视频数据的方法，所述方法包括：

生成媒体程序中的图像帧序列的序列级参数集，所述序列级参数集包括指示元数据类型特定集的序列级指示符集；

生成所述图像帧序列的帧存在参数集序列，针对所述图像帧序列中的相应图像帧生成所述帧存在参数集序列中的每个帧存在参数集；

其中，所述帧存在参数集序列包括针对所述图像帧序列中的特定图像帧生成的帧存在参数特定集；

其中，所述帧存在参数特定集包括帧存在指示符特定集，所述帧存在指示符特定集中的每个帧存在指示符指示由所述序列级指示符集指示的所述元数据类型特定集中的相应一个元数据类型；

其中，所述帧存在指示符特定集包括识别所述元数据类型特定集中的第一元数据类型的第一帧存在指示符，针对所述第一元数据类型，至少一个元数据参数值将针对所述特定图像帧被编码于经编码比特流中作为元数据有效载荷；并且

其中，所述帧存在指示符特定集包括识别所述元数据类型特定集中的第二元数据类型的第二帧存在指示符，针对所述第二元数据类型，没有元数据参数值将针对所述特定图像帧被编码于所述经编码比特流中作为元数据有效载荷；以及

针对所述图像帧序列，将所述图像帧序列、所述序列级参数集以及所述帧存在参数集序列编码于经编码比特流中，其中，对于所述特定图像帧，针对所述第一元数据类型，至少一个元数据参数值被编码于所述经编码比特流中作为元数据有效载荷，并且针对所述第二元数据类型，没有元数据参数值被编码于所述经编码比特流中作为元数据有效载荷。

2.根据权利要求1所述的方法，其中，针对所述第一元数据类型确定的所述元数据参数值适于在所述经编码比特流的接收方设备处从所述特定图像帧生成针对目标显示器的目标显示图像。

3.根据权利要求1或2所述的方法，其中，针对特定帧的所述元数据有效载荷被绑定至有效载荷主体中而没有将所述元数据有效载荷分开的填充比特。

4.根据权利要求1或2所述的方法，其中，所述图像帧序列表示所述媒体程序中的连续图像帧序列。

5.根据权利要求1或2所述的方法，其中，所述序列级参数集在所述经编码比特流中作为序列汇总元数据块被传输，其中，单独的帧存在参数集在所述经编码比特流中作为帧存在元数据块被传输，并且其中，所述元数据有效载荷在所述经编码比特流中作为帧元数据块被传输而没有将所述元数据有效载荷分开的填充比特。

6.根据权利要求1或2所述的方法，其中，所述序列级参数集、单独的帧存在参数集以及所述元数据有效载荷在所述经编码比特流中作为由连续比特形成的单个比特块被传输。

7.根据权利要求6所述的方法，其中，所述序列级参数集、所述单独的帧存在参数集以及所述元数据有效载荷在所述经编码比特流中被传输而不被用于对齐的填充比特分开。

8.根据权利要求1或2所述的方法，其中，所述元数据有效载荷在所述经编码比特流中一个接一个地传输而不被用于对齐的填充比特分开。

9.根据权利要求1或2所述的方法，其中，所述元数据有效载荷中的至少一个承载用于指定时域预测函数的函数参数集，所述时域预测函数针对待在与所述特定图像帧相关的图像处理操作中使用的元数据参数生成时域预测值。

10.根据权利要求9所述的方法，其中，所述时域预测函数表示以下项之一：时域常数、时间域中的一阶多项式、时间域中的二阶或更高阶多项式、分段函数集或非多项式函数。

11.根据权利要求1或2所述的方法，其中，所述图像帧序列从所述特定图像帧起始，并且其中，所述序列级参数集与所述特定图像帧、所述帧存在参数特定集以及所述元数据有效载荷一起被传输。

12.根据权利要求11所述的方法，其中，基于一个或多个选择标准从包括所述图像帧序列的图像集中选择所述特定图像帧。

13.根据权利要求12所述的方法，其中，所述一个或多个选择标准包括针对一个或多个元数据参数的一个或多个最大允许预测误差。

14.根据权利要求12或13所述的方法，其中，所述一个或多个选择标准包括需要更新时域预测函数的元数据参数的最大允许总数。

15.根据权利要求11所述的方法，其中，所述特定图像帧表示以下项之一：即时数据刷新IDR图像帧、非IDR图像帧、与程序切换相对应的图像帧或与比特率切换相对应的图像帧。

16.根据权利要求1或2所述的方法，还包括：

将构成所述媒体程序的图像帧集划分为包括所述图像帧序列的多个图像帧序列；

针对所述多个图像帧序列中的每个图像帧序列生成单独的序列级参数集，所述单独的序列级参数集包括用于指示针对每个这种图像帧序列中的每个帧存在的元数据类型集的序列级指示符集。

17.根据权利要求1或2所述的方法，其中，所述序列级参数集在所述经编码比特流中针对所述图像帧序列中的所有图像帧被传输最多一次。

18.根据权利要求1或2所述的方法，其中，所述图像帧序列表示以下项之一：标准动态范围SDR图像序列、高动态范围HDR图像序列或混合对数伽马HLG图像序列。

19.一种利用图像元数据解码视频数据的方法，所述方法包括：

接收包括媒体程序中的图像帧序列的经编码比特流；

解码所述图像帧序列；

解码所述图像帧序列的序列级参数集，所述序列级参数集包括指示元数据类型特定集的序列级指示符集；

解码所述图像帧序列的帧存在参数集序列，所述帧存在参数集序列中的每个帧存在参数集针对所述图像帧序列中的相应图像帧被解码；

其中，所述帧存在参数集序列包括针对所述图像帧序列中的特定图像帧生成的帧存在参数特定集；

其中，所述帧存在参数特定集包括帧存在指示符特定集，所述帧存在指示符特定集中的每个帧存在指示符指示由所述序列级指示符集指示的所述元数据类型特定集中的相应一个元数据类型；

其中，所述帧存在指示符特定集包括识别所述元数据类型特定集中的第一元数据类型的第一帧存在指示符，针对所述第一元数据类型，至少一个元数据参数值针对所述特定图像帧被编码于经编码比特流中作为元数据有效载荷；并且

其中，所述帧存在指示符特定集包括识别所述元数据类型特定集中的第二元数据类型的第二帧存在指示符，针对所述第二元数据类型，没有元数据参数值针对所述特定图像帧被编码于所述经编码比特流中作为元数据有效载荷；

解码所述经编码比特流中的元数据有效载荷以提取针对所述第一元数据类型的至少一个元数据参数值；以及

从所述特定图像帧并且至少部分基于所提取的元数据参数值，生成针对目标显示器的目标显示图像。

20.根据权利要求19所述的方法，其中，所述序列级参数集、所述帧存在参数特定集以及所述元数据有效载荷承载在输入视频信号中作为与所述图像帧序列分开的图像元数据。

21.根据权利要求19或20所述的方法，其中，所述元数据有效载荷包括针对一个或多个显示管理DM级别的元数据参数。

22.根据权利要求19或20所述的方法，其中，针对特定帧的所述元数据有效载荷被绑定至有效载荷主体中而没有将所述元数据有效载荷分开的填充比特。

23.根据权利要求19或20所述的方法，还包括：

从所述元数据有效载荷中提取显示管理DM元数据；

作为生成所述目标显示图像的一部分，使用所述DM元数据以对所述特定图像帧执行一个或多个DM操作。

24.根据权利要求19或20所述的方法，还包括：

从所述元数据有效载荷中提取非显示管理DM元数据；

作为生成所述目标显示图像的一部分，使用所述非DM元数据以对所述特定图像帧执行一个或多个非DM操作。

25.一种计算机系统，被配置为执行根据权利要求1-18中任一项所述的方法。

26.一种计算机系统，被配置为执行根据权利要求19-24中任一项所述的方法。

27.一种利用图像元数据编码视频数据的装置，所述装置包括：

处理器，和

存储器，所述存储器存储计算机可执行指令，所述计算机可执行指令在由所述处理器执行时使得所述处理器执行根据权利要求1-18中任一项所述的方法。

28.一种利用图像元数据解码视频数据的装置，所述装置包括：

处理器，和

存储器，所述存储器存储计算机可执行指令，所述计算机可执行指令在由所述处理器执行时使得所述处理器执行根据权利要求19-24中任一项所述的方法。

29.一种计算机可读存储介质，所述计算机可读存储介质具有存储于其上的计算机程序，所述计算机程序包括用于执行根据权利要求1-18中任一项所述的方法的计算机可执行指令。

30.一种计算机可读存储介质，所述计算机可读存储介质具有存储于其上的计算机程序，所述计算机程序包括用于执行根据权利要求19-24中任一项所述的方法的计算机可执行指令。

Images