CN117597925A - 视频编解码中元数据消息传送的优先级处理顺序的信令 - Google Patents

Abstract

描述了方法、系统和比特流语法以用于确定元数据消息传送例如MPEG视频编解码中的补充增强信息(SEI)消息传送的处理顺序。

Description

视频编解码中元数据消息传送的优先级处理顺序的信令

相关申请的交叉引用

本申请要求2021年6月29日提交的美国临时专利申请No.63/216,318的优先权权益，该专利申请通过引用被并入于此。

技术领域

本文档总体上涉及图像与视频。更具体地，本发明的实施例涉及用信号通知图像与视频序列中的元数据消息传送(例如，补充增强信息(SEI)消息传送)的优先级处理顺序。

背景技术

如AVC和HEVC标准的附录D或H.274(也被称为VSEI)(参考文献[1-4])所描述的，已编码视频比特流中的补充增强信息(SEI)消息有助于视频处理流水线中的与解码、显示或其他目的相关的过程。虽然SEI消息被广泛使用，但至少到目前为止，符合标准的解码器(例如，AVC、HEVC或VVC解码器)并不需要处理任何SEI消息传送以符合任何MPEG视频编解码标准(如AVC、HEVC和VVC)。

在典型的视频比特流中，多个SEI消息可能共存；然而，现有的视频编解码标准均没有定义此类消息传送的处理顺序。对于一些SEI消息，除了嵌入至语法元素中的信息之外，标准中没有定义特定的处理。此类消息的示例包括定义主控显示器颜色体积或内容光水平信息的SEI消息传送。对于一些其他SEI消息，如那些描述胶片颗粒特征(FGC)或颜色重映射信息的消息，除了语法元素，还可以定义额外的后处理。对于后者，最终的视频输出可能根据这些SEI消息的处理顺序而变化。如发明人所认识到的，在本文中描述了用于用信号通知SEI消息传送的优先级的改进技术。

如本文所使用的，术语“元数据”涉及任何作为已编码比特流的一部分被发送且辅助解码器以渲染已解码的图像的辅助信息。这样的元数据可能包括但不限于如本文所描述的颜色空间或色域信息、基准显示器参数和胶片颗粒建模参数。虽然本文所展示的示例可能由于其涉及基于MPEG的视频编解码标准而指代SEI消息传送，但普通技术人员会认识到本文所讨论的技术可用于任何此类元数据消息传送和任何音频或视频编解码格式(例如，AV1等)。

本部分所描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本部分中描述的任何方法仅凭其纳入本部分就可以被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所识别的问题不应该基于本部分而认为在任何现有技术中已被认定。

附图说明

在附图中以举例而非限制的方式来图示本发明的实施例，并且其中类似的附图标记指代类似的要素，并且在附图中：

图1A和图1B描绘了当元数据包括多个SEI消息且多个SEI消息的后处理顺序可能影响视频输出时的视频处理流水线的示例；以及

图2描绘了根据本发明的实施例的当SEI消息传送优先级顺序(POM)消息可用时，在解码器中的示例处理流水线。

具体实施方式

本文描述了涉及元数据的优先级处理的示例实施例。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对本发明的各种实施例的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明的各种实施例。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本发明的实施例，没有详尽地描述众所周知的结构和设备。

概述

本文描述了涉及视频编解码中元数据(例如，SEI消息传送)的优先级顺序处理的信令的示例实施例。在一实施例中，处理器接收输入视频比特流和对应的输入元数据消息，输入元数据消息定义补充处理，该补充处理将被应用于输入视频比特流的已解码视频图片；

解析输入元数据消息以识别元数据消息传送处理顺序(POM)消息，该POM消息定义所选输入元数据消息的优选处理顺序；以及，在检测到POM消息时：

提取信息，该信息确定具有优先级处理顺序的所选输入元数据消息的总数量；

提取具有优先级处理顺序的所选输入元数据消息的身份和优先级信息；以及

对于输入视频比特流的已解码视频图片，以所选输入元数据消息中的两个或更多个的确定的优先级处理顺序应用所选输入元数据消息中的所述两个或更多个。

在另一实施例中，处理器：

生成视频比特流和对应的元数据消息，该元数据消息定义将被应用于视频比特流的已解码视频图片的补充处理；

生成元数据处理顺序(POM)消息，该POM消息定义所选元数据消息的优选处理顺序，其中，该POM消息包括：

用于确定具有优先级处理顺序的所选输入元数据消息的总数量的信息；

具有优先级处理顺序的所选输入元数据消息的身份和优先级信息；以及

生成输出流，该输出流包括视频比特流、元数据消息和元数据消息的处理顺序。

在另一实施例中，有形计算机介质包括比特流，该比特流包括：

已编码视频图片；

输入元数据消息，该输入元数据消息定义将被应用于输入比特流的已解码视频图片的补充处理；以及

元数据消息传送处理顺序(POM)消息，该POM消息定义所选输入元数据消息的优选处理顺序，其中，该POM消息包括：

用于确定具有优先级处理顺序的所选输入元数据消息的总数量的信息；

具有优先级处理顺序的所选输入元数据消息的身份和优先级信息。

SEI消息传送流程处理的示例

根据现有的视频编解码标准，诸如在AVC、HEVC和VVC(参考文献[1-4])(统称为MPEG或MPEG视频标准)中的那样，图1A和图1B描绘了当SEI消息传送包括涉及颜色重映射信息(CRI)或颜色变换信息(CTI)与胶片颗粒特征(FGC)二者的消息传送时的示例处理流水线。

如图1A和图1B中所描绘的，给定输入视频102，编码器可能生成两组SEI消息：a)涉及优选显示器参数(例如，如块110所生成的)的CTI/CRI SEI元数据(112)，和b)胶片颗粒特征(117)，该胶片颗粒特征将被添加至解码器以模拟胶片颗粒，其中该胶片颗粒被编码器(例如，被块105)去除以改进编码效率、并被胶片颗粒建模块(115)所建模。因此，视频编码器(120)压缩胶片颗粒去除器(107)的输出以生成压缩比特流112。压缩比特流122和元数据(112和117)被发送至解码器。

如图1A中所描绘的，在解码(125)之后，已解码的输出(127)被传至胶片颗粒插入单元130，其使用已嵌入于FGC元数据(117)中的信息生成和添加胶片颗粒噪声。胶片颗粒插入单元(130)的输出随后被传至显示器映射单元135，其使用已嵌入于CRI/CTI元数据(112)中的信息，最佳地将输入流的颜色色域和动态范围映射至目标显示器。输出是信号137。

如图1B中所描绘的，在解码(125)之后，相较于图1A，处理两组元数据的顺序被反转。此时，已解码的输出(127)首先被显示器映射单元135处理，该显示器映射单元135使用已嵌入于CRI/CTI元数据(112)中的信息将已解码的流的颜色色域和动态范围映射至目标显示器。随后，显示器映射单元的输出被传至胶片颗粒插入单元130，其使用已嵌入于FGC元数据(117)中的信息生成和添加胶片颗粒噪声，并生成输出视频132。

因为显示器映射和胶片颗粒添加的不同排序，可以预计视频输出132和137将会不同，特别是如果目标显示器显著地不同于预期的显示器，因此认为在比特流中指定处理元数据的合适顺序，以使得解码器输出尽可能接近地匹配内容创作者的创新意图是重要的。

用于用信号通知SEI消息传送中的优先级顺序的示例

在此展示的示例实施例涉及当多个SEI消息在诸如AVC、HEVC和VVC的视频编解码标准中共存时，指定多个元数据集之间的处理顺序。特别地，高级语法(HLS)被提出以指定此类顺序。这种高级语法能够被插入到已编码比特流的各种级别中，举例而言但不限于此，被插入到视频参数集(VPS)、图片参数集(PPS)、序列参数集(SPS)、辅助参数集(APS)、图片头(PH)，作为单独的SEI消息传送等。

在一实施例中，这种高级语法应包括如下信息：1)哪些SEI消息可能存在于已编码视频流(CVS)中；2)处理顺序是否与特定的SEI消息相关；以及，3)如果相关，特定的SEI消息的处理顺序是什么。

SEI消息的处理(或优先级)顺序可能通过多种方式被指定，诸如：1)绝对顺序；例如，在一个实施例中，具有较小处理/优先级顺序的消息需要比具有较大优先级顺序的消息更早地被处理，2)相对顺序：在一个实施例中，处理顺序可以被指定为依赖于另一SEI消息的处理顺序。当编解码标准定义在解码过程中必须处理某个元数据时，应始终指定此类SEI消息的处理顺序。如果定义了某个SEI消息的一致性点(conformance point)，则还应指定此类SEI消息的处理顺序。

错误！未找到引用源。描绘了在SEI消息之间指定处理顺序的示例。在此示例中，“SEI消息传送处理顺序”SEI消息(即提出的一种新SEI消息)可以指定哪些SEI消息是CVS(其中处理顺序是重要的)的一部分，以及SEI消息的处理优先级顺序。感兴趣的SEI消息通过其唯一的有效载荷类型被识别(参见参考文献[1-4])。

表1:SEI处理顺序SEI消息

po_num_sei_msg_types指定其信息被提供在SEI处理顺序SEI消息中的SEI消息的类型的数量。

po_sei_payload_type[i]指示其信息被提供在SEI处理顺序SEI消息中的第i类型的SEI消息的有效载荷类型值。当m不等于n时，po_sei_payload_type[m]和

po_sei_payload_type[n]的值不应相同。

po_sei_order[i]提供有效载荷类型等于po_sei_payload_type[i]的SEI消息的绝对顺序。当m不等于n时，po_sei_order[m]和po_sei_order[n]的值不应相同。如果po_sei_order[m]的值小于po_sei_order[n]的值，具有po_sei_payload_type[m]的SEI消息在具有po_sei_payload_type[n]的SEI消息之前被处理。

在表1中，代替绝对po_sei_order[i]参数，在一实施例中，也可以描述如po_sei_rel_order[i][j]的相对顺序，其中SEI消息i的顺序相对于SEI消息j的顺序而被定义。例如，po_sei_rel_order[3][1]＝2，可以定义SEI消息“3”的优先级是SEI消息“1”的优先级顺序加(或，替代地，减)2。在此类场景中，可以假设具有优先级处理的所有SEI消息起始于默认值(举例而言，1)，并随之被相应地修改。

在一个实施例中，表1也可以通过去除po_sei_order[i]参数而被简化。在此类场景中，编码器已经以隐含的且预先确定的优先级(例如，最低至最高，或最高至最低)列出了po_sei_payload_type[i]的值。即使没有这样的要求时，此类方法也会强制要求优先级(例如，SEI消息“2”和“4”可能具有相同的优先级但会被依次列出)，因此限制了SEI消息传送相关任务的可能并行化。隐式顺序应该在新的CVS启动时进行，其中所有存在的SEI消息均被列出。

HEVC和VVC中的SEI清单SEI消息传递了关于被指示为预计(即可能)存在或不存在于比特流中的SEI消息的信息；然而，没有指示这些SEI消息之间的优先级。表2示出了用以扩展SEI清单SEI并且包括优先级信息的另一示例。在现有SEI清单消息之上的附加语法被以斜体展示。

表2：扩展SEI清单SEI消息的示例1

manifest_sei_po_flag[i]等于1指定有效载荷类型等于manifest_sei_payload_type[i]的SEI消息要求处理顺序信息。manifest_sei_po_flag[i]等于0指定有效载荷类型等于manifest_sei_payload_type[i]的SEI消息不要求处理顺序信息。

manifest_sei_order[i]提供了有效载荷类型等于manifest_sei_payload_type[i]的SEI消息的绝对顺序。当m不等于n时，manifest_sei_order[m]的值和

manifest_sei_order[n]的值不应相同。如果manifest_sei_order[m]的值小于manifest_sei_order[n]的值，具有manifest_sei_payload_type[m]的SEI消息在具有manifest_sei_payload_type[n]的SEI消息之前被处理。

注：如前所述，如果处理顺序被隐式地定义(例如，根据在

manifest_sei_po_flag[i]中列出的SEI消息的顺序)，则语法元素manifest_sei_order[i]不是必需的且能够被删除。

表3描绘了用于扩展SEI清单SEI的替代方法，该SEI清单SEI支持与已支持SEI清单消息的更旧版本的传统解码器的向后兼容性。

表3：扩展SEI清单SEI消息的示例2

根据HEVC，more_data_in_payload()被指定如下：

–如果byte_aligned()为真，且在sei_payload()语法结构中的当前位置为自sei_payload()语法结构的开头起8*payloadSize比特，则more_data_in_payload()的返回值为假。

–否则,more_data_in_payload()的返回值为真。

根据HEVC，payload_extension_present()被指定如下：

–如果在sei_payload()语法结构中的当前位置不为自该语法结构的开头起小于8*payloadSize比特的最后(最低有效，最右)的等于1的比特的位置(即

payload_bit_equal_to_one语法元素的位置),则payload_extension_present()的返回值为真。

–否则，payload_extension_present()的返回值为假。

表3允许实施SEI清单消息传送的现有解码器通过忽略SEI处理顺序语法而如过去一样继续实施SEI清单消息传送。另一方面，在采纳新语法后实施的解码器可以利用更新的语法和相关的处理排序信息。

如关于表1所讨论的，表2和表3中的SEI消息的处理顺序也可以是隐含的或相对于其他SEI消息的处理顺序而被定义。

在一实施例中，表1及其语义可以如针对表4的描述所描绘的那样被修改。在此实施例中，为了解决可能的有效载荷类型数量在编解码标准之间不同(例如，截至本草案，AVC有77个SEI消息，HEVC有67个，以及VVC有39个)、且实际数量在标准的未来版本中也可能增加的问题，并且为了阻止用信号通知比可能存在的有效载荷类型更多的有效载荷类型，语义依赖于语法元素MaxNumPayloadTypes。

替代地(或附加地)，每个标准的真实有效的有效载荷类型也可以在特定列表(举例而言，SeiAssociatedSeiList列表)中被指定。例如，可以在VVC或VSEI标准中增加这一段落(参考文献[3-4])：

“SEI消息处理顺序SEI消息语法的使用

为了对SEI消息处理顺序SEI消息进行解释，SeiAssociatedSeiList列表被设置为由有效载荷类型值0，1，3，4，5，19，45，47，129，130，132，

133，137，142，144，145，147至150(包括端值)，153至156(包括端

值)，165，168，177，179，180，200至208(包括端值)所构成。”

在另一实施例中，该列表可以作为SEI处理顺序SEI消息或其他头信息的一部分，由编码器按需修改。

表4.SEI处理顺序SEI消息

po_num_sei_payload_types指定存在语法元素po_sei_payload_type[i]和po_sei_processing_order[i]的有效载荷类型值的最大数量。po_num_sei_payload_types的值应小于或等于MaxNumPayloadTypes，MaxNumPayloadTypes定义了有效载荷类型值的最大数量。

注：如果语法元素SeiAssociateSeiList被添加，则上述定义能够被替换为：po_num_sei_payload_types按编码器所指定的(例如，通过SeiAssociateSeiList列表)，指定存在语法元素po_sei_payload_type[i]和po_sei_processing_order[i]的有效载荷类型值的最大数量。

po_sei_payload_type[i]指定第i个SEI消息的有效载荷类型值。当m不等于n时，po_sei_payload_type[m]的值不应等于po_sei_payload_type[n]的值。

注：如果语法元素SeiAssociateSeiList被添加，则添加：po_sei_payload_type[i]的值应等于SeiAssociateSeiList中的有效载荷类型值。

po_sei_order[i]指示处理有效载荷类型等于po_sei_payload_type[i]的SEI消息的优选顺序。当m不等于n时，po_sei_order[m]的值不应等于po_sei_order[n]的值。

po_sei_order[m]大于0且小于po_sei_order[n]指示任何有效载荷类型等于po_sei_payload_type[m]的SEI消息应在任何有效载荷类型等于po_sei_payload_type[n]的SEI消息之前被处理。po_sei_order[i]等于0指定处理有效载荷类型等于po_sei_payload_type[i]的SEI消息的优选顺序由未被指定于本说明书中的外部方法所确定。

图2根据一实施例描绘了当SEI消息传送处理顺序(POM)消息可用时的示例处理流水线。开始自步骤210，解码器可以搜索到来的SEI消息的SEI有效载荷类型以检测SEIPOM消息是否存在。如果没有此类消息，继续SEI消息传送的处理(215)而不考虑其顺序。如果存在SEIPOM消息，则在步骤220中，解码器读取已定义处理优先级的所选SEI消息的数量。随后，在步骤225中，对于每一个此类消息，解码器读取其身份(举例而言，其有效载荷类型)和其优先级，该优先级通常为具有预先确定的排序意义的整数值(例如，较小的数还是较大的数具有更高的优先级)。在一实施例中，优先级也可以通过所选SEI消息的列出顺序来暗示。最终，在步骤230中，解码器以适当的优先级处理这些所选SEI消息。

参考文献

本文所列每一参考文献皆通过引用以其全文并入本文。

[1]Advanced Video Coding(高级视频编解码),Rec.ITU-T H.264,2019年5月,ITU.

[2]High Efficiency Video Coding(高效视频编解码),Rec.ITU-T H.265,2019年11月,ITU.[3]Versatile Video Coding(通用视频编解码),Rec.ITU-T H.266,2020年8月,ITU.

[4]Versatile supplemental enhancement information messages for codedvideo bitstreams(用于已编码视频比特流的通用补充增强信息消息),Rec.ITU-T H.274,2020年8月,ITU.

示例计算机系统实施

本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(IC)设备(如微控制器、现场可编程门阵列(FPGA)或另一个可配置或可编程逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC))和/或包括这样的系统、设备或部件中的一个或多个的装置来实施。计算机和/或IC可以执行、控制或实行涉及用信号通知视频编解码中元数据消息传送的优先级处理排序的指令，如本文所述的那些指令。计算机和/或IC可以计算本文所述涉及用信号通知视频编解码中元数据消息传送的优先级处理排序的各种参数或值中的任何参数或值。图片和视频实施例可以以硬件、软件、固件及其各种组合来实施。

本发明的某些实施方式包括执行软件指令的计算机处理器，该软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述涉及用信号通知视频编解码中元数据消息传送的优先级处理排序的方法。本发明的实施例还可以以程序产品的形式提供。程序产品可以包括携带一组计算机可读信号的任何非暂态和有形介质，该组计算机可读信号包括指令，该指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种非暂态和有形形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪存RAM的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指示，否则对所述部件的引用(包括对“装置”的引用)应被解释为包括作为此部件的等同物(例如，功能上等同的)的执行所描述部件的功能的任何部件，包括在结构上不等同于执行在本发明的所图示示例实施例中的功能的所公开结构的部件。

等同物、扩展、替代方案和杂项

因此，描述了涉及用信号通知视频编解码中元数据消息传送的优先级处理排序的示例实施例。在前述说明书中，已经参考可以根据实施方式而变化的许多具体细节描述了本发明的实施例。因此，指示本发明以及申请人所意图的发明的唯一且排他性指示是根据本申请以具体形式发布的权利要求组，其中，这样的权利要求发布包括任何后续修正。本文中针对这样的权利要求中包括的术语明确阐述的任何定义应该支配如在权利要求中使用的这样的术语的含义。因此，权利要求中未明确引用的限制、要素、性质、特征、优点或属性不应该以任何方式限制这样的权利要求的范围。因此，说明书和附图应被视为说明性的而非具有限制性意义。

Claims (14)

1.一种用于确定多个元数据消息之间的优先级处理的方法，所述方法包括：

接收输入视频比特流和对应的输入元数据消息，所述输入元数据消息定义将被应用于所述输入视频比特流的已解码视频图片的补充处理；

解析所述输入元数据消息以识别元数据消息传送处理顺序(POM)消息，所述POM消息定义所选输入元数据消息的优选处理顺序；以及在检测到所述POM消息时：

提取信息，所述信息用于确定具有优先级处理顺序的所选输入元数据消息的总数量；

提取具有优先级处理顺序的所选输入元数据消息的身份和优先级信息；以及将所选输入元数据消息中的两个或更多个以其确定的优先级处理顺序应用于所述输入视频比特流的已解码视频图片。

2.如权利要求1所述的方法，其中，所述POM消息是条带头、图片头、序列参数集、图片参数集、网络抽象层单元头和补充增强信息(SEI)消息中的至少一个的一部分。

3.如权利要求2所述的方法，其中，所述POM消息是SEI清单消息的一部分。

4.如权利要求1所述的方法，其中，提取具有优先级处理顺序的所选输入元数据消息的身份和优先级信息包括读取具有隐含的优先级递减处理顺序或隐含的优先级递增处理顺序的所选输入元数据消息的总数量的列表。

5.如权利要求1所述的方法，其中，提取具有优先级处理顺序的所选输入元数据消息的身份和优先级信息包括：

针对具有优先级处理顺序的所选输入元数据消息的所述总数量中的每一个提取消息传送身份信息和对应的优先级处理顺序信息。

6.如权利要求5所述的方法，其中，所述消息传送身份信息包括SEI消息传送中的载荷类型信息。

7.输入比特流，所述输入比特流包括：

已编码视频图片；

输入元数据消息，所述输入元数据消息定义将被应用于所述输入比特流的已解码视频图片的补充处理；以及

元数据消息传送处理顺序(POM)消息，所述POM消息定义所选输入元数据消息的优选处理顺序，其中，所述POM消息包括：

用于确定具有优先级处理顺序的所选输入元数据消息的总数量的信息；

具有优先级处理顺序的所选输入元数据消息的身份和优先级信息。

8.如权利要求7所述的输入比特流，其中，所述POM消息是元数据消息的SEI处理顺序或SEI清单消息的一部分。

9.如权利要求8所述的输入比特流，其中，所述身份信息包括SEI消息传送中的载荷类型信息。

10.如权利要求7所述的输入比特流，其中，所选输入元数据消息的所述优先级信息被表示为绝对优先级处理顺序。

11.如权利要求7所述的输入比特流，其中，第一所选输入元数据消息的优先级信息是相对于第二所选输入元数据消息的优先级信息来表示的。

12.一种用于指定多个元数据消息之间的优先级处理的方法，所述方法包括：

生成视频比特流和对应的元数据消息，所述元数据消息定义将被应用于所述视频比特流的已解码视频图片的补充处理；

生成定义所选元数据消息的优选处理顺序的元数据处理顺序(POM)消息，其中，所述POM消息包括：

用于确定具有优先级处理顺序的所选输入元数据消息的总数量的信息；

具有所述优先级处理顺序的所选输入元数据消息的身份和优先级信息；以及生成输出流，所述输出流包括所述视频比特流、所述元数据消息和所述元数据消息的处理顺序。

13.一种非暂态计算机可读存储介质，具有存储于其上的计算机可执行指令，所述计算机可执行指令用于利用一个或多个处理器来执行如权利要求1至6或权利要求12中任一项所述的方法。

14.一种装置，包括处理器并且被配置为执行如权利要求1至6或权利要求12中所述的任一种方法。