CN115380531A

CN115380531A - 用于视频编码和解码的高级句法

Info

Publication number: CN115380531A
Application number: CN202180022702.8A
Authority: CN
Inventors: G·拉罗彻; 内尔·奥德拉奥果; P·乌诺
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-03-20
Filing date: 2021-03-17
Publication date: 2022-11-22
Also published as: EP4122199A1; GB2614453B; GB2614453A; KR20220154171A; US20230179802A1; GB202400077D0; GB2593221A; GB2624318A; WO2021185927A1; GB202004093D0; JP7497441B2; JP2024105712A; JP2023516249A; TW202137763A; GB2593221B

Abstract

描述了一种从位流中解码视频数据的方法。位流包括与一个或多于一个条带相对应的视频数据。解码包括解析句法元素，并且不准许与指示要解码的图片仅包含一个条带的至少一个句法元素相组合地使用子图片和/或解析子图片信息。使用所述句法元素对位流进行解码。

Description

用于视频编码和解码的高级句法

技术领域

本发明涉及视频编码和解码，并且具体地涉及用于位流中的高级句法。

背景技术

近来，联合视频专家组(JVET)(由MPEG和ITU-T第16研究组VCEG组成的合作团队)开始研究一种称为多功能视频编码(VVC)的新视频编码标准。VVC的目标是在现有HEVC标准上提供压缩性能的显著改进(即，通常是以前的两倍)并在2020年完成。主要目标应用和服务包括但不限于360度和高动态范围(HDR)视频。总之，JVET使用独立测试实验室进行的正式主观测试来评价了来自32个组织的反馈。一些建议表明，当与使用HEVC相比时，压缩效率通常提高40％或更多。在超高清(UHD)视频测试材料上显示了特定的效果。因此，针对最终标准，我们可以预期压缩效率的提高将远远超过作为目标的50％。

JVET探索模型(JEM)使用所有HEVC工具且已引入数个新工具。这些改变需要改变位流的结构，特别是可能对位流的总位速率产生影响的高级句法。

发明内容

本发明涉及对高级句法结构的改进，这实现了复杂性的降低和/或编码性能没有任何显著劣化的用信号通知。

在根据本发明的第一方面，提供一种从位流中解码视频数据的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述解码包括：对一个或多于一个句法元素进行解析，并且在至少一个句法元素指示要解码的图片包含一个条带时，不准许使用子图片和/或解析子图片信息；以及使用所述句法元素对所述位流进行解码。

在根据本发明的另一方面，提供一种从位流中解码视频数据的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述解码包括：对一个或多于一个句法元素进行解析，并且不准许与指示要解码的图片仅包含一个条带的至少一个句法元素相组合地使用子图片和/或解析子图片信息；以及使用所述句法元素对所述位流进行解码。

在根据本发明的又一方面，提供一种从位流中解码视频数据的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述位流被约束使得：在所述位流包括具有指示要解码的图片仅包含一个条带的值的句法元素的情况下，所述位流还包括具有指示针对该图片不使用子图片和/或不存在子图片信息的值的句法元素，所述方法包括使用所述句法元素对所述位流进行解码。

这避免了位流中的不一致。具体地，包含子图片的图片具有若干条带。如果图片仅包含一个条带，则该图片是仅包含一个子图片的图片。此外，这简化了一些实现的条带头部的解析。

该方法还可以包括：在至少一个句法元素指示要解码的图片包含一个条带时，将指示存在子图片的句法元素的值限制为指示不使用子图片的值。指示存在子图片的句法元素可以包括指示是否存在子图片信息的标志。

指示要解码的图片包含一个条带的句法元素可以包括图片头部在条带头部中句法元素，其中在条带头部中用信号通知图片头部指示图片包含一个条带。

指示要解码的图片包含一个条带的至少一个句法元素可以包括指示启用光栅扫描条带模式的句法元素、可以包括指示图片中的区块的数量大于一的句法元素、并且可以包括指示条带中的区块的数量等于图片中的区块的数量的句法元素。

在根据本发明的第二方面，提供一种从位流中解码视频数据的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述解码包括：对一个或多于一个句法元素进行解析，并且当在条带头部中用信号通知图片头部时，不准许使用子图片和/或解析子图片信息；以及使用所述句法元素对所述位流进行解码。

在根据本发明的第三方面，提供一种从位流中解码视频数据的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述解码包括：对一个或多于一个句法元素进行解析，并且当图片仅包含一个条带时不准许分离彩色图片的颜色平面；以及使用所述句法元素对所述位流进行解码。

该方面的优点是避免了不一致的位流。实际上，包含独立编码的颜色平面的图片具有若干条带。因此，不可能在当前图片中仅具有一个条带。此外，简化了一些实现的条带头部的解析。

不准许可以包括强制约束：指示图片的颜色平面是否要被分离的标志具有指示平面不被分离的值。

可选地，该方法还包括解析指示是否在条带头部中用信号通知图片头部的句法元素，其中在条带头部中用信号通知图片头部指示图片包含一个条带。

可选地，该方法还包括：当彩色图片的颜色平面被分离并且图片头部位于条带头部中时，准许解析颜色平面标识符句法元素。

可选地，该方法还包括：如果启用光栅扫描条带模式、图片中的区块的数量大于一、并且当条带中的区块的数量等于图片中的区块的数量时，则不准许分离当前图片的颜色平面。

可选地，该方法还包括通过将指示图片的颜色平面的分离的标志的值限制为指示不分离颜色平面的值来不准许图片的颜色平面被分离。

可选地，如果启用光栅扫描条带模式、图片中的区块的数量大于1、并且当条带中的区块的数量等于图片中的区块的数量时，则不解码颜色平面标识符句法元素。

在根据本发明的第四方面，提供一种从位流中解码视频数据的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述解码包括：对一个或多于一个句法元素进行解析，并且当在条带头部中用信号通知图片头部时，不准许分离彩色图片的颜色平面；以及使用所述句法元素对所述位流进行解码。

在根据本发明的第五方面，提供一种从位流中解码视频数据的方法，该方法包括进行根据第一方面或第二方面的方法以及根据第三方面或第四方面的方法。在根据本发明的第六方面，提供一种从位流中解码视频数据的方法，所述位流包括与图片的一个或多于一个条带相对应的视频数据，所述解码包括：对一个或多于一个句法元素进行解析，并且强制分离彩色图片的颜色平面，并且推断图片中的一个或多于一个条带的单个颜色平面标识；以及使用所述句法元素对所述位流进行解码。

这提供了从包含3个颜色平面的位流中容易地提取仅一个颜色平面而不修改各个条带的一些句法元素的可能性。因此，节省了这种应用的复杂性。

可选地，在图片仅包含一个条带的情况下进行强制。

所推断的颜色平面标识可以是亮度。

可选地，当在条带头部中用信号通知图片头部时进行强制。

可选地，当启用光栅扫描条带模式、当前图片中的区块的数量大于1时，并且当条带中的区块的数量等于当前图片中的区块的数量时，进行强制。

在根据本发明的第七方面，提供一种将视频数据编码到位流中的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述编码包括：确定一个或多于一个句法元素，并且当至少一个句法元素指示要编码的图片包含一个条带时，不准许使用子图片和/或对子图片信息进行编码；以及使用所述句法元素对所述位流进行编码。在根据本发明的另一方面，提供一种将视频数据编码到位流中的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述编码包括：确定一个或多于一个句法元素，并且不准许与指示要编码的图片仅包含一个条带的至少一个句法元素相组合地使用子图片和/或对子图片信息进行编码；以及使用所述句法元素对所述位流进行编码。在根据本发明的另一附加方面，提供一种将视频数据编码到位流中的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述位流被约束以使得在所述位流包括具有指示要解码的图片仅包含一个条带的值的句法元素的情况下，所述位流还包括具有指示针对该图片不使用子图片和/或不存在子图片信息的值的句法元素，所述方法包括使用所述句法元素对所述位流进行编码。这避免了位流中的不一致。具体地，包含子图片的图片具有若干条带。如果图片仅包含一个条带，则该图片是仅包含一个子图片的图片。此外，这简化了一些实现的条带头部的解析。

可选地，该方法还包括：当至少一个句法元素指示要解码的图片包含一个条带时，将指示存在子图片的句法元素的值限制为指示不使用子图片的值。

指示存在子图片的句法元素可以包括指示是否存在子图片信息的标志。

指示要编码的图片包含一个条带的句法元素可以包括图片头部在条带头部中句法元素，其中在条带头部中用信号通知图片头部指示图片包含一个条带。

指示要编码的图片包含一个条带的至少一个句法元素可以包括指示启用光栅扫描条带模式的句法元素、可以包括指示图片中的区块的数量大于一的句法元素、并且可以包括指示条带中的区块的数量等于图片中的区块的数量的句法元素。

在本发明的另一方面，提供一种从位流中解码视频数据的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述解码包括：对一个或多于一个句法元素进行解析，并且不准许使用子图片和/或解析子图片信息并在条带头部中发送图片头部；以及使用所述句法元素对所述位流进行解码。

可选地，子图片的使用和/或子图片信息的解析以及是否在条带头部中发送图片头部是由要解析的句法元素指示的。

可选地，指示子图片的使用和/或子图片信息的解析的句法元素和指示在条带头部中发送图片头部的句法元素不准许被组合。

在根据本发明的第八方面，提供一种将视频数据编码到位流中的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述编码包括：确定一个或多于一个句法元素，并且当在条带头部中用信号通知图片头部时，不准许使用子图片和/或对子图片信息进行编码；以及使用所述句法元素对所述视频数据进行编码。

在本发明的另一方面，提供一种将视频数据编码到位流中的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述解码包括：对一个或多于一个句法元素进行解析，并且不准许使用子图片和/或解析子图片信息并在条带头部中发送图片头部；以及使用所述句法元素对所述位流进行编码。

可选地，指示子图片的使用和/或子图片信息的解析的句法元素和指示要在条带头部中发送图片头部的句法元素不准许被组合。

在根据本发明的第九方面，提供一种将视频数据编码到位流中的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述编码包括：确定一个或多于一个句法元素，并且当图片仅包含一个条带时，不准许分离彩色图片的颜色平面；以及使用所述句法元素对所述位流进行编码。该方面的优点是避免了不一致的位流。实际上，包含独立编码的颜色平面的图片具有若干条带。因此，不可能在当前图片中仅具有一个条带。此外，简化了一些实现的条带头部的解析。

该方法还可以包括确定指示是否在条带头部中用信号通知图片头部的句法元素，其中在所述条带头部中用信号通知所述图片头部指示图片包含一个条带。

该方法还可以包括：当彩色图片的颜色平面被分离并且图片头部位于条带头部中时，准许确定颜色平面标识符句法元素。

该方法还可以包括：如果启用光栅扫描条带模式、图片中的区块的数量大于一、并且当条带中的区块的数量等于图片中的区块的数量时，则不准许分离当前图片的颜色平面。

可选地，不准许分离图片的颜色平面是通过将指示图片的颜色平面的分离的标志的值限制为指示不分离颜色平面的值。

可选地，如果启用光栅扫描条带模式、图片中的区块的数量大于一、并且当条带中的区块的数量等于图片中的区块的数量时，不对颜色平面标识符句法元素进行编码。

在根据本发明的第十方面，提供一种将视频数据编码到位流中的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述编码包括：确定一个或多于一个句法元素，并且当要在条带头部中用信号通知图片头部时，不准许分离彩色图片的颜色平面；以及使用所述句法元素对所述视频数据进行编码。

在根据本发明的第十一方面，提供一种将视频数据编码到位流中的方法，包括进行根据第七方面或第八方面的方法以及第九方面或第十方面的方法。

在根据本发明的第十二方面，提供一种将视频数据编码到位流中的方法，所述位流包括与图片的一个或多于一个条带相对应的视频数据，所述编码包括：确定一个或多于一个句法元素，并且强制彩色图片的颜色平面被分离，并针对图片中的一个或多于一个条带设置单个颜色平面标识；以及使用所述句法元素对所述位流进行编码。在实施例中，可以推断颜色平面标识。

这提供了从包含3个颜色平面的位流中容易地仅提取一个颜色平面而不修改各个条带的一些句法元素的可能性。因此，节省了这种应用的复杂性。

可选地，在图片仅包含一个条带的情况下进行强制。

可选地，所推断的颜色平面标识是亮度。

可选地，当在条带头部中用信号通知图片头部时进行强制。

可选地，当启用光栅扫描条带模式、当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，进行强制。

在根据本发明的第十三方面，提供一种包括解码器的装置，该解码器被配置为进行第一方面至第四方面中任一方面的方法。

在根据本发明的第十四方面，提供一种包括编码器的装置，该编码器被配置为进行第五方面至第八方面中任一方面的方法。

在根据本发明的第十五方面，提供一种计算机程序，该计算机程序在执行时使得进行第一方面至第八方面中任一方面的方法。

程序可以单独提供，或者可以在载体介质上、由载体介质承载或在载体介质中承载。载体介质可以是非暂时性的，例如存储介质，特别是计算机可读存储介质。载体介质也可以是暂时性的，例如信号或其他传输介质。信号可以经由任何合适的网络(包括因特网)传输。本发明的其他特征由独立权利要求和从属权利要求表征。

本发明的一个方面中的任何特征可以以任何适当的组合应用于本发明的其他方面。特别地，方法方面可以应用于设备方面，反之亦然。

此外，以硬件实现的特征可以以软件实现，反之亦然。本文对软件和硬件特征的任何引用均应据此解释。

如本文所述的任何设备特征也可以被提供为方法特征，反之亦然。如本文中所使用的，部件加功能特征就其相应结构(诸如适当编程的处理器和相关联的存储器等)方面可以被替代性地表达。

还应当理解，可以独立地实现、提供和/或使用在本发明的任何方面中描述和定义的各种特征的特定组合。

附图说明

现在将通过示例的方式参考附图，在附图中：

图1是用于说明HEVC和VVC中使用的编码结构的图；

图2是示意性地示出可以实现本发明的一个或多于一个实施例的数据通信系统的框图；

图3是示出可以实现本发明的一个或多于一个实施例的处理装置的组件的框图；

图4是示出根据本发明实施例的编码方法的步骤的流程图；

图5是示出根据本发明实施例的解码方法的步骤的流程图；

图6示出示例性编码系统VVC中的位流的结构；

图7示出示例性编码系统VVC中的位流的另一结构；

图8示出亮度建模色度缩放(Luma Modelling Chroma Scaling(LMCS))；

图9示出LMCS的子工具；

图10是当前VVC草案标准的光栅扫描条带模式和矩形条带模式的图；

图11示出根据本发明实施例的包括编码器或解码器和通信网络的系统的图；

图12是用于实现本发明的一个或多于一个实施例的计算装置的示意性框图；

图13是示出网络照相机系统的图；以及

图14是示出智能电话的图。

具体实施方式

图1涉及在高效率视频编码(HEVC)视频标准中使用的编码结构。视频序列1由一系列数字图像i组成。各个这样的数字图像由一个或多于一个矩阵表示。矩阵系数表示像素。

序列的图像2可以被分割成条带3。在一些情况下，一条带可以构成图像整体。这些条带被分割成非重叠编码树单元(CTU)。编码树单元(CTU)是高效率视频编码(HEVC)视频标准的基本处理单元，并且概念性地在结构上与若干先前视频标准中使用的宏块单元相对应。CTU有时也被称为最大编码单元(LCU)。CTU具有亮度和色度分量部分，各个分量部分被称为编码树块(CTB)。这些不同的颜色分量未在图1中示出。

CTU通常大小为64像素×64像素。可以使用四叉树分解进而将各CTU迭代地分割成较小的可变大小编码单元(CU)5。

编码单元是基本编码元素，并且由被称为预测单元(PU)和变换单元(TU)的两种子单元构成。PU或TU的最大大小等于CU大小。预测单元与CU的用于像素值的预测的分区相对应。将CU分区成PU的各种不同分区是可能的，如606所示，包括分成4个正方形PU的分区、以及分成2个矩形PU的两个不同分区。变换单元是使用DCT进行空间变换的基本单元。CU可以基于四叉树表示607分区成TU。

各条带嵌入一个网络抽象层(NAL)单元中。另外，视频序列的编码参数存储在称为参数集的专用NAL单元中。在HEVC和H.264/AVC中，采用两种参数集NAL单元：第一，序列参数集(SPS)NAL单元，其收集在整个视频序列期间不变的所有参数。通常，它处理编码配置文件、视频帧的大小和其他参数。第二，图片参数集(PPS)NAL单元，其包括可以从序列的一个图像(或帧)改变为其他图像(或帧)的参数。HEVC还包括视频参数集(VPS)NAL单元，其包含描述位流的总体结构的参数。VPS是HEVC中定义的新类型的参数集，并且应用于位流的所有层。层可以包含多个时间子层，并且所有版本1的位流限定于单个层。HEVC具有用于可缩放性和多视图的某些分层扩展，并且这些扩展将允许具有向后兼容的版本1的基础层的多个层。

在通用视频编码(VVC)的当前定义中，存在图片的分区的三种高级可能性：子图片、条带和区块。各自具有其自己的特征和有用性。分区成子图片以进行视频的区域的空间提取和/或合并。分区成条带是基于与先前标准相似的概念的，并且对应于用于视频传输的分包(即使其可以用于其他应用)。分区成区块在概念上是编码器并行化工具，因为其将图片拆分成图片的(几乎)相同大小的独立编码区域。但该工具也可以用于其他应用。

由于可以一起使用图片分区的这三种高级可用的可能方式，因此存在针对其的使用的若干模式。如在VVC的当前草案规范中所定义，定义条带的两个模式。对于光栅扫描条带模式，条带包含图片的区块光栅扫描中的完整区块序列。当前VVC规范中的该模式在图10(a)中示出。如图中所示，图片包含示出为分区成12个条带和3个光栅扫描条带的18乘12个亮度CTU。

对于第二个(矩形条带模式)，条带包含共同来自图片的矩形区域的数个完整区块。当前VVC规范中的该模式在图10(b)中示出。在该示例中，图片具有示出为分区成24个区块和9个矩形条带的18乘12个亮度TU。

图2例示可以实现本发明的一个或多于一个实施例的数据通信系统。数据通信系统包括传输装置(在这种情况下是服务器201)，其可操作以经由数据通信网络200将数据流的数据包传输至接收装置(在这种情况下是客户端终端202)。数据通信网络200可以是广域网(WAN)或局域网(LAN)。这种网络可以是例如无线网络(Wifi/802.11a或b或g)、以太网网络、互联网网络或由若干不同网络组成的混合网络。在本发明的特定实施例中，数据通信系统可以是数字电视广播系统，其中服务器201将相同的数据内容发送到多个客户端。

由服务器201提供的数据流204可以由表示视频和音频数据的多媒体数据组成。在本发明的一些实施例中，音频和视频数据流可以分别由服务器201使用麦克风和照相机来捕获。在一些实施例中，数据流可以存储在服务器201上或由服务器201从其他数据提供商接收，或在服务器201处生成。服务器201设置有用于对视频和音频流进行编码的编码器，特别是用以提供用于传输的压缩位流，该压缩位流是作为编码器的输入所呈现的数据的更紧凑表示。

为了获得更好的传输数据的质量与传输数据的量的比率，可以例如根据HEVC格式或H.264/AVC格式来压缩视频数据。

客户端202接收所传输的位流，并且解码重建的位流，以在显示装置上再现视频图像和利用扬声器再现音频数据。

尽管在图2的示例中考虑了流式传输场景，但将认识到，在本发明的一些实施例中，可以使用例如介质存储装置(诸如光盘等)来进行编码器与解码器之间的数据通信。

在本发明的一个或多于一个实施例中，视频图像与表示要应用到图像的重建像素的补偿偏移的数据一同传输，以在最终图像中提供经滤波的像素。

图3示意性地例示被配置为实现本发明的至少一个实施例的处理装置300。处理装置300可以是诸如微计算机、工作站或轻型便携式装置等的装置。装置300包括通信总线313，其连接到：

-表示为CPU的中央处理单元311，诸如微处理器等；

-表示为ROM的只读存储器306，其用于存储实现本发明的计算机程序；

-用于存储本发明实施例的方法的可执行代码的表示为RAM的随机访问存储器312，以及适于记录变量和参数的寄存器，该变量和参数是根据本发明实施例实现对数字图像序列进行编码的方法和/或对位流进行解码的方法所需的；以及

-连接至通信网络303的通信接口302，通过该通信接口传输或接收要处理的数字数据。

可选地，设备300还可以包括以下组件：

-诸如硬盘等的数据存储部件304，其用于存储实现本发明的一个或多于一个实施例的方法的计算机程序以及在实现本发明的一个或多于一个实施例期间所使用或产生的数据；

-用于盘306的盘驱动器305，该盘驱动器适于从盘306读取数据或将数据写入所述盘；

-屏幕309，其用于借助于键盘310或任何其他指示装置来显示数据和/或用作与用户交互的图形界面。

设备300可以连接到诸如数字照相机320或麦克风308等的各种外围设备，其各自连接到输入/输出卡(未示出)以向设备300提供多媒体数据。

通信总线提供设备300中所包括的或连接到设备300的各种元素之间的通信和互操作性。总线的表示不是限制性的，并且特别地，中央处理单元可操作地将指令直接或者借助于设备300的其他元素通信到设备300的任何元素。

盘306可以由诸如可重写或不可重写的致密盘(CD-ROM)、ZIP盘或存储卡等的任何信息介质代替，并且一般而言，由微计算机或微处理器可以进行读取的信息存储部件代替，该盘306集成到或不集成到设备中、可能可移动并且适于存储其执行使得能够实现根据本发明的对数字图像序列进行编码的方法和/或对位流进行解码的方法的一个或多于一个程序。

可执行代码可以存储在只读存储器306中、硬盘304上或可移动数字介质(诸如，例如如前述的盘306等)上。根据一变型，程序的可执行代码可以经由接口302借助于通信网络303来接收，以在执行之前存储在设备300的存储部件之一(诸如硬盘304等)中。

中央处理单元311适于控制和指导执行根据本发明的一个或多于一个程序的指令或软件代码的部分、存储在上述存储部件之一中的指令的执行。在通电时，存储在非易失性存储器中(例如，在硬盘304上或在只读存储器306中)的一个或多于一个程序被传递到随机访问存储器312中(其然后包含一个或多于一个程序的可执行代码)以及用于存储实现本发明所必需的变量和参数的寄存器。

在该实施例中，设备是使用软件来实现本发明的可编程设备。然而，可替代地，本发明可以以硬件(例如，以专用集成电路或ASIC的形式)来实现。

图4例示根据本发明的至少一个实施例的编码器的框图。编码器由所连接的模块表示，各模块适于例如以由装置300的CPU 311执行的编程指令的形式来实现根据本发明的一个或多于一个实施例的、用于实现对图像序列中的图像进行编码的至少一个实施例的方法的至少一个相应步骤。

编码器400接收数字图像i₀至i_n的原始序列401作为输入。各数字图像由样本(称为像素)集表示。

编码器400在实现编码处理之后输出位流410。位流410包括多个编码单元或条带，各条带包括用于对条带编码所用的编码参数的编码值进行传输的条带头部、以及包括编码视频数据的条带主体。

模块402将输入数字图像i₀至i_n 401分割成像素块。块与图像部分相对应并且可以具有可变大小(例如，4×4、8×8、16×16、32×32、64×64、128×128像素、并且还可以考虑若干矩形块大小)。针对各输入块选择编码模式。提供了两个编码模式族：基于空间预测编码(帧内预测)的编码模式和基于时间预测的编码模式(帧间编码、合并、跳过)。测试了可能的编码模式。

模块403实现帧内预测处理，其中，通过根据要编码的给定块的相邻像素计算出的预测子来预测所述要编码的块。如果选择了帧内编码，则对所选择的帧内预测子以及给定块与其预测子之间的差的指示进行编码以提供残差。

时间预测由运动估计模块404和运动补偿模块405实现。首先，选择来自参考图像集416的参考图像，并且由运动估计模块404选择参考图像的一部分(也被称为参考区域或图像部分)，该部分是与要编码的给定块最接近的区域。然后运动补偿模块405使用所选择的区域来预测要编码的块。由运动补偿模块405计算所选择的参考区域与给定块(也称为残差块)之间的差。所选择的参考区域由运动矢量指示。

由此，在这两个情况下(空间和时间预测)，通过从原始块减去预测来计算残差。

在由模块403实现的帧内预测中，对预测方向进行编码。在时间预测中，对至少一个运动矢量进行编码。在由模块404、405、416、418、417实现的帧间预测中，至少一个运动矢量或用于识别这种运动矢量的数据被编码用于时间预测。

如果选择帧间预测，则对与运动矢量和残差块有关的信息进行编码。为了进一步降低位速率，假设运动是同质的，通过相对于运动矢量预测子的差对运动矢量进行编码。由运动矢量预测和编码模块417从运动矢量场418获得运动信息预测子的集合中的运动矢量预测子。

编码器400还包括选择模块406，该选择模块用于通过应用编码成本标准(诸如，率-失真标准等)来选择编码模式。为了进一步减少冗余，由变换模块407将变换(诸如DCT等)应用于残差块，然后，所获得的变换数据由量化模块408量化并且由熵编码模块409进行熵编码。最终，正被编码的当前块的编码后的残差块被插入位流410中。

编码器400还进行编码图像的解码，以产生用于后续图像的运动估计的参考图像。这使得接收位流的编码器和解码器能够具有相同的参考帧。逆量化模块411进行量化数据的逆量化，之后是逆变换模块412的逆变换。逆帧内预测模块413使用预测信息来确定对于给定块使用哪个预测子，并且逆运动补偿模块414实际上将由模块412获得的残差添加到从参考图像集416获得的参考区域。

然后，由模块415应用后滤波以对所重建的像素帧进行滤波。在本发明的实施例中，使用SAO环路滤波器，其中补偿偏移被添加到所重建图像的所重建像素的像素值。

图5示出根据本发明实施例的解码器60的框图，解码器60可以用于从编码器接收数据。解码器由所连接的模块表示，各模块适于例如以要由装置300的CPU 311执行的编程指令的形式实现由解码器60实现的方法的相应步骤。

解码器60接收包括编码单元的位流600，各编码单元由包含与经编码的参数有关的信息的头部和包含经编码的视频数据的主体组成。下文参考图6更详细地描述VVC中的位流的结构。如关于图4所说明的，针对给定块，在预定数量的位上，对经编码的视频数据进行熵编码，并且对运动矢量预测子的索引进行编码。所接收的经编码的视频数据由模块62进行熵解码。然后残差数据由模块63去量化，之后由模块64应用逆变换以获得像素值。

用于指示编码模式的模式数据也被熵解码，并且基于该模式，对图像数据的编码块进行帧内类型解码或帧间类型解码。

在帧内模式的情况下，帧内逆预测模块65基于在位流中指定的帧内预测模式来确定帧内预测子。

如果模式是帧间，则从位流提取运动预测信息以找到由编码器使用的参考区域。运动预测信息由参考帧索引和运动矢量残差组成。运动矢量预测子被添加到运动矢量残差以由运动矢量解码模块70获得运动矢量。

运动矢量解码模块70对通过运动预测编码的各当前块应用运动矢量解码。一旦已获得针对当前块的运动矢量预测子的索引，可以对与当前块相关联的运动矢量的实际值进行解码，并且该实际值用以通过模块66应用逆运动补偿。从参考图像68提取由经解码的运动矢量指示的参考图像部分以应用逆运动补偿66。利用经解码的运动矢量更新运动矢量场数据71，以用于后续解码运动矢量的逆预测。

最终，获得经解码的块。后滤波由后滤波模块67应用。解码器60最终提供经解码的视频信号69。

图6示出了如JVET_Q2001-vD中所述的示例性编码系统VVC中的位流的组织。

根据VVC编码系统的位流61由句法元素和经编码数据的有序序列组成。句法元素和经编码数据被放置到网络抽象层(NAL)单元601-608中。存在不同的NAL单元类型。网络抽象层提供将位流封装到不同协议(如RTP/IP(代表实时协议/因特网协议)、ISO基本媒体文件格式等)中的能力。网络抽象层还提供用于抗包丢失的框架。

NAL单元被分割成视频编码层(VCL)NAL单元和非VCL NAL单元。VCL NAL单元包含实际的经编码视频数据。非VCL NAL单元包含附加信息。该附加信息可以是解码经编码视频数据所需的参数或者可增强经解码视频数据的可用性的补充数据。NAL单元606对应于条带且构成位流的VCL NAL单元。

不同的NAL单元601-605对应于不同的参数集，这些NAL单元是非VCL NAL单元。解码器参数集(DPS)NAL单元301包含对于给定解码处理恒定的参数。视频参数集(VPS)NAL单元602包含针对整个视频且因此整个位流定义的参数。DPS NAL单元可以定义比VPS中的参数更静态的参数。换句话说，DPS的参数比VPS的参数更不频繁地改变。

序列参数集(SPS)NAL单元603包含针对视频序列定义的参数。特别地，SPS NAL单元可定义视频序列的子图片布局及相关联参数。与各个子图片相关联的参数指定应用于子图片的编码约束。特别地，包括指示子图片之间的时间预测被限制为来自相同子图片的数据的标志。另一标志可以跨子图片边界启用或禁用环路滤波器。

图片参数集(PPS)NAL单元604，PPS包含针对图片或图片组定义的参数。自适应参数集(APS)NAL单元605包含用于环路滤波器的参数，所述环路滤波器通常是自适应环路滤波器(ALF)或整形器模型(或具有色度缩放的亮度映射(LMCS)模型)或在条带级别使用的缩放矩阵。

如在VVC的当前版本中提出的PPS的句法包括指定以亮度样本为单位的图片的大小以及各个图片以区块和条带的分区的句法元素。

PPS包含使得可以确定帧中的条带位置的句法元素。由于子图片在帧中形成矩形区域，因此可以根据参数集NAL单元确定属于子图片的条带集合、区块部分或区块。PPS与APS一样具有ID机制以限制相同PPS的发送的量。

PPS和图片头部之间的主要区别在于它的传输，与针对各个图像系统地发送的PH相比，PPS通常是针对图像组而发送的。因此，与PH相比，PPS包含对于若干图片可以是恒定的参数。

位流还可以包含补充增强信息(SEI)NAL单元(图6中未表示)。这些参数集在位流中的出现周期是可变的。针对整个位流定义的VPS可以在位流中仅出现一次。相反，针对条带定义的APS可以针对各个图片中的各个条带出现一次。实际上，不同条带可依赖于同一APS，且因此通常存在比各个图片中的条带更少的APS。特别地，APS被定义在图片头部中。然而，可以在条带头部中细化ALF APS。

访问单元定界符(Access Unit Delimiter(AUD))NAL单元607分离两个访问单元。访问单元是NAL单元的集合，其可以包括具有相同解码时间戳的一个或多于一个经编码图片。该任选NAL单元仅包含当前VVC规范中的一个句法元素：pic_type，该句法元素指示slice_type值用于AU中的经编码图片的所有条带。如果pic_type被设置为等于0，则AU仅包含帧内(Intra)条带。如果等于1，则其包含P和I条带。如果等于2，则其包含B、P或帧内(Intra)条带。

该NAL单元仅包含一个句法元素pic-type。

表1句法AUD

在JVET-Q2001-vD中，pic-type定义如下：

“pic_type指示包含AU定界符NAL单元的AU中的经编码图片的所有条带的slice_type值是对于给定的pic_type值在表2中列出的集合的成员。在符合该规范的该版本的位流中pic_type的值应等于0、1或2。保留pic_type的其他值以供ITUT|ISO/IEC将来使用。符合该规范的该版本的解码器将忽略pic_type的保留值。”

rbsp_trailing_bits()是添加位以与字节的结束对准的函数。因此，在该函数之后，所解析的位流的量是整数个字节。

表2 pic_type的解释

pic_type	AU中可能存在的slice_type值
		0	I
1	P,I
		2	B,P,I

PH NAL单元608是图片头部NAL单元，其对一个经编码图片的条带的集合的共同的参数进行分组。图片可以指一个或多于一个APS以指示由图片的条带使用的AFL参数、整形器模型和缩放矩阵。

VCL NAL单元606各自包含条带。条带可以对应于整个图片或子图片、单个区块或多个区块或区块的片段。例如，图6的条带包含若干区块620。条带由条带头部610和原始字节序列有效载荷RBSP 611组成，RBSP 611包含编码为经编码块640的经编码像素数据。

如在VVC的当前版本中提出的PPS的句法包括指定以亮度样本为单位的图片的大小以及以区块和条带为单位的各个图片的分区的句法元素。

PPS包含使得可以确定帧中的条带位置的句法元素。由于在帧中子图片形成矩形区域，因此可以从参数集NAL单元确定属于子图片的条带集合、区块部分或区块。

NAL单元条带

NAL单元条带层包含条带头部和条带数据，如表3所示。

表3条带层句法

APS

自适应参数集(APS)NAL单元605在示出句法元素的表4中被定义。

如表4中所描绘，存在由aps_params_type句法元素给出的3种可能类型的APS：

·ALF_AP：用于ALF参数

·LMCS_APS：用于LMCS参数

·SCALLING_APS：用于缩放列表相关参数

表4自适应参数集句法

下面依次讨论这三种类型的APS参数。

ALF APS

在自适应环路滤波器数据句法元素(表5)中描述ALF参数。首先，四个标志专用于指定是否针对亮度和/或针对色度发送ALF滤波器以及是否针对Cb分量和Cr分量启用CC-ALF(交叉分量自适应环路滤波)。如果启用亮度滤波器标志，则解码另一标志以知道是否用信号通知裁剪值(alf_luma_clip_flag)。然后，使用alf_luma_num_filters_signalled_minus1句法元素对用信号通知的滤波器的数量进行解码。如果需要，则针对各个经启用滤波器解码表示ALF系数增量“alf_luma_coeff_delta_idx”的句法元素。然后解码各个滤波器的各个系数的绝对值和符号。

如果启用alf_luma_clip_flag，则解码各个经启用滤波器的各个系数的裁剪索引。

以相同方式，在需要时解码ALF色度系数。

如果针对Cr或Cb启用CC-ALF，则对滤波器的数量进行解码(alf_cc_cb filters_signalled minusl或alf_cc_cr filters_signalled_minus1)并且对相关系数进行解码(alf_cc_cb_mapped_coeff_abs和alf_cc_cb_coeff_sign或者相应地alf_cc_cr_mapped_coeff_abs和alf_cc_cr_coeff_sign)。

表5自适应环路滤波器数据句法

用于亮度映射和色度缩放这两者的LMCS句法元素

下面的表6给出了当aps_params_type参数被设置为1时在自适应参数集(APS)句法结构中编码的所有LMCS句法元素(LMCS_APS)。在经编码视频序列中可以使用多达四个LMCS APS，然而，对于给定的图片，仅可以使用单个LMCS APS。

这些参数用于构建用于亮度的前向和逆向映射函数以及用于色度的缩放函数。

表6具有色度缩放数据句法的亮度映射

缩放列表APS

缩放列表提供了更新用于量化的量化矩阵的可能性。在VVC中，该缩放矩阵在如缩放列表数据句法元素(表7缩放列表数据句法)中所描述的APS中用信号通知。第一句法元素基于标志scaling_matrix_for_lfnst_disabled_flag指定缩放矩阵是否用于LFNST(低频不可分离变换)工具。如果缩放列表用于色度分量(scaling_list_chroma_present_flag)，则指定第二个。然后，解码构建缩放矩阵所需的句法元素(scaling_list_copy_mode_flag、scaling_list_pred_mode_flag、scaling_list_pred_id_delta、scaling_list_dc_coef、scaling_list_delta_coef)。

表7缩放列表数据句法

图片头部

在其他条带数据之前在各个图片的开始处发送图片头部。与标准的先前草案中的先前头部相比，这是非常大的。所有这些参数的完整描述可以在JVET_Q2001-vD中找到。表10示出了当前图片头部解码句法中的这些参数。

可以解码的相关句法元素涉及：

·是否使用该图片、参考帧

·图片的类型

·输出帧

·图片的数量

·使用子图片(如果需要)

·参考图片列表(如果需要)

·颜色平面(如果需要)

·分区更新(如果启用了覆写标志)

·增量QP参数(如果需要)

·运动信息参数(如果需要)

·ALF参数(如果需要)

·SAO参数(如果需要)

·量化参数(如果需要)

·LMCS参数(如果需要)

·缩放列表参数(如果需要)

·图片头部扩展(如果需要)

·等等

图片“类型”

第一标志是grd_or_irap_pic_flag，其指示当前图片是否是再同步图片(IRAP或GDR)。如果该标志为真，则解码gdr_pic_flag以知道当前图片是IRAP图片还是GDR图片。

然后对ph_inter_slice_allowed_flag进行解码以识别允许帧间条带。

当它们被允许时，对标志ph_infra_slice_allowed_flag进行解码以知道针对当前图片是否允许帧内条带。

然后对non_reference_picture_flag、指示PPS ID的ph_pic_parameter_set_id和图片顺序计数ph_pic_order_cnt_lsb进行解码。图片顺序计数给出了当前图片的编号。

如果图片是GDR或IRAP图片，则对标志no_output_of_prior_pics_flag进行解码。

并且如果图片是GDR，则对recovery_poc_cnt进行解码。然后，如果需要，则对ph_poc_msb_present_flag和poc_msb_val进行解码。

ALF

在描述关于当前图片的重要信息的这些参数之后，如果在SPS级别启用ALF并且如果在图片头部级别启用ALF，则解码ALF APS ID句法元素的集合。由于sps_alf_enabled_flag标志，在SPS级别启用ALF。并且由于alf_info_in_ph_flag等于1，在图片头部级别启用用信号通知ALF，否则(alf_info_in_ph_flag等于0)，在条带级别用信号通知ALF。

alf_info_in_ph_flag定义如下：

“alf_info_in_ph_flag等于1指定ALF信息存在于PH句法结构中且不存在于参考不包含PH句法结构的PPS的条带头部中。alf_info_in_ph_flag等于0指定ALF信息不存在于PH句法结构中且可以存在于参考不包含PH句法结构的PPS的条带头部中。”

首先，对ph_alf_enabled_present_flag进行解码以确定是否应该解码ph_alf_enabled_flag。如果启用ph_alf_enabled_present_flag，则针对当前图片的所有条带启用ALF。

如果启用ALF，则使用pic_num_alf_aps_ids_luma句法元素来解码针对亮度的ALFAPS ID的量。对于各个APS ID，解码针对亮度的APS ID值“ph_alf_aps_id_luma”。

对于色度，对句法元素ph_alf_chroma_idc进行解码以确定是否针对色度、仅针对Cr或仅针对Cb启用ALF。如果启用，则使用ph_alf_aps_id_chroma句法元素来解码针对色度的APS ID的值。

以这种方式，如果Cb和/或Cr分量需要，则解码针对CC-ALF方法的APS ID。

LMCS

如果在SPS级别启用LMCS，则解码LMCS APS ID句法元素的集合。首先，对ph_lmcs_enabled_flag进行解码以确定是否针对当前图片启用LMCS。如果启用LMCS，则解码ID值ph_lmcs_aps_id。对于色度，仅对ph_chroma_residual_scale_flag进行解码以启用或禁用针对色度的方法。

缩放列表

如果在SPS级别启用缩放列表，则对缩放列表APS ID的集合进行解码。对ph_scaling_list_present_flag进行解码，以确定是否针对当前图片启用缩放矩阵。并且然后解码APS ID的值(ph_scaling_list_aps_id)。

子图片

当在SPS处启用子图片参数并且如果用信号通知子图片ID被禁用时，则启用子图片参数。还包含关于虚拟边界的一些信息。对于子图片参数，定义八个句法元素：

·ph_virtual_boundaries_present_flag

·ph_num_ver_virtual_boundaries

·ph_virtual_boundaries_pos_x[i]

·ph_num_hor_virtual_boundaries

·ph_virtual_boundaries_pos_y[i]

输出标志

这些子图片参数之后是pic_output_flag(如果存在)。

参考图片列表

如果在图片头部中用信号通知参考图片列表(由于rpl_info_in_ph_flag等于1)，则解码参考图片列表的参数ref_pic_lists()，其包含以下句法元素：

·rpl_sps_flag[]

·rpl_idx[]

·poc_lsb_lt[][]

·delta_poc_msb_present_flag[][]

·delta_poc_msb_cycle_lt[][]

并且在以下句法表中定义：

表8参考图片列表句法

分区

如果需要，则对分区参数集合进行解码，并且该分区参数集合包含以下句法元素：

·partition_constraints_override_flag

·ph_log2_diff_min_qt_min_cb_intra_slice_luma

·ph_max_mtt_hierarchy_depth_intra_slice_luma

·ph_log2_diff_max_bt_min_qt_intra_slice_luma

·ph_log2_diff_max_tt_min_qt_intra_slice_luma

·ph_log2_diff_min_qt_min_cb_intra_slice_chroma

·ph_max_mtt_hierarchy_depth_intra_slice_chroma

·ph_log2_diff_max_bt_min_qt_intra_slice_chroma

·ph_log2_diff_max_tt_min_qt_intra_slice_chroma

·ph_log2_diff_min_qt_min_cb_inter_slice

·ph_max_mtt_hierarchy_depth_inter_slice

·ph_log2_diff_max_bt_min_qt_inter_slice

·ph_log2_diff_max_tt_min_qt_inter_slice

加权预测

如果在PPS级别启用加权预测方法并且如果在图片头部中用信号通知加权预测参数(wp_info_in_ph_flag等于1)，则解码加权预测参数pred_weight_table()。

当启用双向预测加权预测时，pred_weight_table()包含列表L0和列表L1的加权预测参数。如pred_weight_table()句法表(表9)中所描绘的，当在图片头部中发送加权预测参数时，各个列表的权重的数量被显式地发送。

表9加权预测参数句法

增量QP

当图片是帧内时，如果需要，则对ph_cu_qp_delta_subdiv_intra_slice和ph_cu_chroma_qp_offset_subdiv_intra_slice进行解码。并且如果允许帧间条带，则在需要时对ph_cu_qp_delta_subdiv_inter_slice和ph_cu_chroma_qp_offset_subdiv_inter_slice进行解码。最后，如果需要，则对图片头部扩展句法元素进行解码。

在PPS中用信号通知所有参数alf_info_in_ph_flag、rpl_info_in_ph_flag、qp_delta_info_in_ph_flag、sao_info_in_ph_flag、dbf_info_in_ph_flag、wp_info_in_ph_flag。

表10图片头部结构

条带头部

在各个条带的开始处发送条带头部。条带头部包含约65个句法元素。与早期视频编码标准中的先前条带头部相比，这是非常大的。可以在JVET-Q2001-vD中找到所有条带头部参数的完整描述。表11示出当前条带头部解码句法中的这些参数。

表11部分条带头部

首先，对picture_header_in_slice_header_flag进行解码，以知道在条带头部中是否存在picture_header_structure()。

如果在SPS中将subpic_info_present_flag设置为等于1，则对slice_subpic_id进行解码。slice_subpic_id给出了当前条带的子图片id。在当前VVC规范中，subpic_info_present_flag定义如下：

“subpic_info_present_flag等于1指定针对CLVS存在子图片信息并且在CLVS的各个图片中可以存在一个或多于一个子图片。subpic_info_present_flag等于0指定针对CLVS不存在子图片信息并且在CLVS的各个图片中仅存在一个子图片。

当res_change_in_clvs_allowed_flag等于1时，subpic_info_present_flag的值应等于0。”

然后对slice_address进行解码以确定当前条带的地址。如果当前条带模式为矩形条带模式(rest_slice_flag等于1)并且如果当前子图片中的条带数量高于1，则对条带地址进行解码。如果当前条带模式为光栅扫描模式(rest_slice_flag等于0)且如果当前图片中的区块的数量高于基于PPS中定义的变量所计算出的1，则还可以对条带地址进行解码。

如果当前图片中的区块的数量大于1并且如果当前条带模式不是矩形条带模式，则解码num_tiles_in_slice_minus1。在当前VVC草案规范中，num_tiles_in_slice_minus1定义如下：

“num_tiles_in_slice_minus1加1(当存在时)指定条带中的区块的数量。num_tiles_in_slice_minus1的值应在0到NumTilesInPic-1的范围内(包含端值)。”

然后对slice_type进行解码。

如果在SPS级别启用ALF(sps_alf_enabled_flag)并且如果在条带头部中用信号通知ALF(alf_info_in_ph_flag等于0)，则解码ALF信息。这包括指示针对当前条带启用ALF的标志(slice_alf_enabled_flag)。如果被启用，则解码针对亮度的APS ALF ID的数量(slice_num_alf_aps_ids_luma)，然后解码APS ID(slice_alf_aps_id_luma[i])。然后，解码slice_alf_chroma_idc以知道是否针对色度分量启用ALF以及启用哪个色度分量。然后，如果需要，则解码针对色度的APS ID(slice_alf_aps_id_chroma)。以相同方式，如果需要，则解码slice_cc_alf_cb_enabled_flag以知道是否启用CC ALF方法。如果启用CC ALF，如果针对Cr和/或Cb启用CC ALF，则解码针对Cr和/或Cb的相关APS ID。

如果独立地发送颜色平面(当separate_colour_plane_flag被设置为等于1时)，则对colour_plane_id进行解码。在当前VVC草案规范中，separate_colour_plane_flag定义如下：

“separate_color_plane_flag等于1指定4:4:4色度格式的三个颜色分量被单独地编码。separate_color_plane_flag等于0指定颜色分量不被单独地编码。当不存在separate_color_plane_flag时，推断其等于0。当separate_color_plane_flag等于1时，经编码图片由三个单独的分量组成，各个分量由一个颜色平面(Y、Cb或Cr)的经编码样本组成，并且使用单色编码句法。在这种情况下，各个颜色平面与特定的color_plane_id值相关联。”

当不在图片头部中发送参考图片列表ref_pic_lists()(rpl_info_in_ph_flag等于0)时并且当NAL单元不是IDR时或者如果针对IDR图片发送参考图片列表(sps_idr_rpl_present_flag等于1)，则对参考图片列表参数进行解码；这些类似于图片头部中的那些。

如果在图片头部中发送参考图片列表(rpl_info_in_ph_flag等于1)或者NAL单元不是IDR、或者如果针对IDR图片发送参考图片列表(sps_idr_rpl_present_flag等于1)，并且如果至少一个列表的参考数量高于1，则对覆写标志num_ref_idx_active_override_flag进行解码。该标志在VVC草案规范中定义如下：

“num_ref_idx_active_override_flag等于1指定针对P和B条带存在句法元素num_ref_idx_active_minus1[0]，并且针对B条带存在句法元素num_ref_idx_active_minus1[1]。num_ref_idx_active_override_flag等于0指定不存在句法元素num_ref_idx_active_minus1[0]和num_ref_idx_active_minus1[1]。当不存在时，推断num_ref_idx_active_override_flag的值等于1。”

如果启用num_ref_idx_active_override_flag，则在需要时解码各个列表“i”的参考索引的数量num_ref_idx_active_minus1[i]。针对当前列表的参考索引覆写的数量应低于或等于在ref_pic_lists()中用信号通知的参考帧索引的数量。因此，覆写减小或不减小各个列表的参考帧的最大数量。

当条带类型不是帧内时，并且如果需要，则解码cabac_init_flag。如果在条带头部中发送参考图片列表并且出现其他条件，则解码slice_collocated_from_l0_flag和slice_collocated_ref_idx。这些数据与CABAC编码和并置运动矢量有关。

以相同的方式，当条带类型不是帧内时，对加权预测的参数pred_weight_table()进行解码。

如果在条带头部中发送增量QP信息(qp_delta_info_in_ph_flag等于0)，则对slice_qp_delta进行解码。如果需要，则对句法元素slice_cb_qp_offset、slice_cr_qp_offset、slice_joint_cbcr_qp_offset、cu_chroma_qp_offset_enabled_flag进行解码。

如果SAO信息在条带头部中发送(sao_info_in_ph_flag等于0)并且如果其在SPS级别启用(sps_sao_enabled_flag)，则针对亮度和色度这两者来解码SAO的启用标志：slice_sao_luma_flag、slice_sao_chroma_flag。

然后，如果在条带头部中用信号通知去块滤波器参数(dbf_info_in_ph_flag等于0)，则对去块滤波器参数进行解码。

对标志slice_ts_residual_coding_disabled_flag进行系统解码，以知道是否针对当前条带启用变换跳过残差编码方法。

如果在图片头部中启用LMCS(ph_lmcs_enabled_flag等于1)，则对标志slice_lmcs_enabled_flag进行解码。在当前VVC规范中，slice_lmcs_enabled_flag定义如下：

“slice_lmcs_enabled_flag等于1指定针对当前条带启用具有色度缩放的亮度映射。slice_lmcs_enabled_flag等于0指定针对当前条带不启用具有色度缩放的亮度映射。当slice_lmcs_enabled_flag不存在时，推断其等于0。”

以相同的方式，如果在图片头部中启用缩放列表(phpic_scaling_list_presentenabled_flag等于1)，则对标志slice_scaling_list_present_flag进行解码。在当前VVC规范中，slice_scaling_list_present_flag定义如下：

“slice_scaling_list_present_flag等于1指定基于包含在被参考的缩放列表APS(其中aps_params_type等于SCALING_APS且adaptation_parameter_set_id等于ph_scaling_list_aps_id)中的缩放列表数据来导出针对当前条带的缩放列表数据。slice_scaling_list_present_flag等于0指定针对当前图片的缩放列表数据是条款7.4.3.21中指定导出的默认缩放列表数据。当不存在时，推断slice_scaling_list_present_flag的值等于0。”

然后，如果需要，则对其他参数进行解码。

图片头部在条带头部中

以特定的信号通知方式，如图7中所描绘，可以在条带头部(710)内用信号通知图片头部(708)。在这种情况下，不存在仅包含图片头部(608)的NAL单元。NAL单元701-707对应于图6中的相应的NAL单元601-607。类似地，编码区块720和编码块740对应于图6的块620和640。因此，这里将不重复这些单元和块的说明。由于标志picture_header_in_slice_header_flag，可以在条带头部中启用。此外，当在条带头部内用信号通知图片头部时，图片应仅包含一个条带。因此，每个图片总是只有一个图片头部。此外，标志picture_header_in_slice_header_flag对于CLVS(编码层视频序列)的所有图片应具有相同的值。这意味着包括第一IRAP的两个IRAP之间的所有图片针对每个图片仅具有一个条带。

标志picture_header_in_slice_header_flag定义如下：

“picture_header_in_slice_header_flag等于1指定在条带头部中存在PH句法结构。picture_header_in_slice_header_flag等于0指定在条带头部中不存在PH句法结构。

picture_header_in_slice_header_flag的值在CLVS中的所有经编码条带中应相同是位流一致性的要求。

当针对经编码条带、picture_header_in_slice_header_flag等于1时，CLVS中不应存在nal_unit_type等于PH_NUT的VCL NAL单元是位流一致性的要求。

当picture_header_in_slice_header_flag等于0时，当前图片中的所有经编码条带应使picture_header_in_slice_header_flag等于0，并且当前PU应具有PH NAL单元。

picture_header_structure()包含除了填充位rbsp_trailing_bits()之外的picture_rbsp()的句法元素。”

流式传输应用

一些流式传输应用仅提取位流的某些部分。这些提取可以是空间的(作为子图片)或时间的(视频序列的子部分)。然后，这些提取的部分可以与其他位流合并。另一些帧通过仅提取一些帧来降低帧频。通常，这些流式传输应用的主要目的是使用最大允许带宽来为最终用户产生最高质量。

在VVC中，为了帧速率降低，APS ID编号已经受到限制，以使得帧的新APS ID编号不能用于时间层级中的上层的帧。然而，对于提取位流的部分的流式传输应用，需要跟踪APS ID以确定对于位流的子部分应该保留哪些APS，因为帧(因为IRAP)不重置APS ID的编号。

LMCS(具有色度缩放的亮度映射)

具有色度缩放的亮度映射(LMCS)技术是在如VVC的视频解码器中应用环路滤波器之前应用于块的样本值转换方法。

LMCS可以分成两个子工具。第一子工具应用于亮度块，而第二子工具应用于色度块，如下所述：

1)第一子工具是基于自适应分段线性模型的亮度分量的环内映射。亮度分量的环内映射通过跨动态范围重新分布码字来调整输入信号的动态范围以提高压缩效率。亮度映射利用到“映射域”中的前向映射函数和返回到“输入域”中的相应逆向映射函数。

2)第二子工具与应用亮度相关色度残差缩放的色度分量相关。色度残差缩放被设计为补偿亮度信号与其相应的色度信号之间的交互。色度残差缩放取决于当前块的上部和/或左侧重建的相邻亮度样本的平均值。

如同视频编码器(如VVC)中的大多数其他工具，可以使用SPS标志在序列级别启用/禁用LMCS。还在条带级别用信号通知是否启用色度残差缩放。如果启用亮度映射，则用信号通知附加标志以指示是否启用亮度相关色度残差缩放。当不使用亮度映射时，亮度相关色度残差缩放被完全禁用。另外，对于大小小于或等于4的色度块，始终禁用亮度相关色度残差缩放。

图8示出如上针对亮度映射子工具所描述的LMCS的原理。图8中的阴影块是新的LMCS功能块，包括亮度信号的前向和逆向映射。重要的是要注意，当使用LMCS时，在“映射域”中应用一些解码操作。这些操作由该图8中的虚线块表示。它们通常对应于逆量化、逆变换、亮度帧内预测和重建步骤(其在于将亮度预测与亮度残差相加)。相反，图8中的实线块指示在原始(即，非映射)域中应用解码处理的位置，并且这包括诸如去块、ALF和SAO的环路滤波、运动补偿预测以及经解码图片作为参考图片(DPB)的存储。

图9示出与图8类似的图，但是这次这是针对LMCS工具的色度缩放子工具。图9中的阴影块是新的LMCS功能块，其包括亮度相关色度缩放处理。然而，在色度方面，与亮度情况相比存在一些重要差异。这里，对于色度样本，仅在“映射域”中进行由虚线中的块表示的逆量化和逆变换。在原始域中进行帧内色度预测、运动补偿、环路滤波的所有其他步骤。如图9所示，对于亮度映射，仅存在缩放处理，并且不存在前向和逆向处理。

使用分段线性模型的亮度映射

亮度映射子工具使用分段线性模型。这意味着分段线性模型将输入信号动态范围分成16个相等的子范围，并且对于各个子范围，使用分配给该范围的码字的数量来表示其线性映射参数。

亮度映射的语义

句法元素lmcs_min_bin_idx指定在具有色度缩放的亮度映射(LMCS)的构建处理中使用的最小bin(区间)索引。lmcs_min_bin_idx的值应在0至15的范围内(包含端值)。

句法元素lmcs_delta_max_bin_idx指定15与在具有色度缩放的亮度映射的构建处理中使用的最大bin索引LmcsMaxBinIdx之间的增量值。lmcs_delta_max_bin_idx的值应在0至15的范围内(包含端值)。LmcsMaxBinIdx的值被设置为等于15-lmcs_delta_max_bin_idx。LmcsMaxBinIdx的值应大于或等于lmcs_min_bin_idx。

句法元素lmcs_delta_cw_prec_minus1加1指定用于表示句法lmcs_delta_abs_cw[i]的位的数量。

句法元素lmcs_delta_abs_cw[i]指定第i个bin的绝对增量码字值。

句法元素lmcs_delta_sign_cw_flag[i]指定变量lmcsDeltaCW[i]的符号。当lmcs_delta_sign_cw_flag[i]不存在时，推断其等于0。

用于亮度映射的LMCS中间变量计算

为了应用前向和逆向亮度映射处理，需要一些中间变量和数据阵列。

首先，如下导出变量OrgCW：

OrgCW＝(1<<BitDepth)/16

然后，变量lmcsDeltaCW[i](其中i＝lmcs_min_bin_idx…LmcsMaxBinIdx)计算如下：

lmcsDeltaCW[i]＝(1-2*lmcs_delta_sign_cw_flag[i])*lmcs_delta_abs_cw[i]

新变量lmcsCW[i]导出如下：

-对于i＝0…lmcs_min_bin_idx-1，lmcsCW[i]被设置为等于0。

-对于i＝lmcs_min_bin_idx…LmcsMaxBinIdx，应用以下：

lmcsCW[i]＝OrgCW+lmcsDeltaCW[i]

lmcsCW[i]的值应在(OrgCW>>3)至(OrgCW<<3-1)的范围内(包含端值)。

-对于i＝LmcsMaxBinIdx+1…15，lmcsCW[i]被设置为等于0。

变量InputPivot[i](其中i＝0…16)导出如下：

InputPivot[i]＝i*OrgCW

变量LmcsPivot[i](其中i＝0…16)、变量ScaleCoeff[i]和InvScaleCoeff[i](其中i＝0…15)如下计算：

前向亮度映射

如图8所示，当LMCS应用于亮度时，从预测样本predSamples[i][j]获得称为predMapSamples[i][j]的亮度重映射样本。

predMapSamples[i][j]计算如下：

首先，从位置(i，j)处的预测样本predSamples[i][j]计算索引idxY。

idxY＝predSamples[i][j]>>Log2(OrgCW)

然后，通过使用部分0的中间变量idxY、LmcsPivot[idxY]和InputPivot[idxY]如下导出predMapSamples[i][j]：

predMapSamples[i][j]＝LmcsPivot[idxY]

+(ScaleCoeff[idxY]*(predSamples[i][j]-InputPivot[idxY])+(1<<10))>>11

亮度重建样本

从经预测亮度样本predMapSample[i][j]和残差亮度样本resiSamples[i][j]获得重建处理。

通过如下将predMapSample[i][j]相加到resiSamplei[i][j]来简单地获得经重建亮度图片样本recSamples[i][j]:

recSamples[i][j]＝Clip1(predMapSamples[i][j]+resiSamples[i][j]])

在上述关系中，Clip 1函数是裁剪函数，以确保重建样本在0和1<<BitDepth-1之间。

逆向亮度映射

当应用根据图8的逆向亮度映射时，对正在处理的当前块的各个样本recSample[i][j]应用以下操作：

首先，从位置(i，j)处的重建样本recSamples[i][j]计算索引idxY。

idxY＝recSamples[i][j]>>Log2(OrgCW)

逆向映射亮度样本invLumaSample[i][j]基于以下导出：

invLumaSample[i][j]＝

InputPivot[idxYInv]+(InvScaleCoeff[idxYInv]*

(recSample[i][j]-LmcsPivot[idxYInv])+(1<<10))>>11

然后进行裁剪操作以获得最终样本：

finalSample[i][j]＝Clip1(invLumaSample[i][j])

色度缩放

用于色度缩放的LMCS语义

表6中的句法元素lmcs_delta_abs_crs指定变量lmcsDeltaCrs的绝对码字值。lmcs_delta_abs_crs的值应在0与7的范围内(包含端值)。当不存在时，推断lmcs_delta_abs_crs等于0。

句法元素lmcs_delta_sign_crs_flag指定变量lmcsDeltaCrs的符号。当不存在时，推断lmcs_delta_sign_crs_flag等于0。

用于色度缩放的LMCS中间变量计算

为了应用色度缩放处理，需要一些中间变量。

变量lmcsDeltaCrs导出如下：

lmcsDeltaCrs＝(1-2*lmcs_delta_sign_crs_flag)*lmcs_delta_abs_crs

变量ChromaScaleCoeff[i](其中i＝0…15)如下导出：

色度缩放处理

在第一步骤中，导出变量invAvgLuma，以计算当前相应色度块周围的重建亮度样本的平均亮度值。平均亮度是从围绕相应色度块的左侧亮度块和上部亮度块计算的。

如果没有样本可用，则变量invAvgLuma设置如下：

invAvgLuma＝1<<(BitDepth-1)

基于部分0的中间阵列LmcsPivot[]，然后如下导出变量idxYInv：

变量varScale导出如下：

varScale＝ChromaScaleCoeff[idxYInv]

当对当前色度块应用变换时，如下导出重建色度图片样本阵列

如果尚未对当前块应用变换，则应用以下：

recSamples[i][j]＝Clip1(predSamples[i][j])

编码器考虑因素

LMCS编码器的基本原理是首先将更多的码字分配给那些动态范围段具有比平均方差更低的码字的范围。在这个的替代构想中，LMCS的主要目标是向具有比平均方差更高的码字的那些动态范围段分配更少的码字。以这种方式，图片的平滑区域将用比平均值更多的码字来编码，反之亦然。

在编码器侧确定存储在APS中的LMCS工具的所有参数(参见表6)。LMCS编码器算法基于局部亮度方差的评估，并且根据上述基本原理优化LMCS参数的确定。然后进行优化以获得给定块的最终重建样本的最佳PSNR度量。

实施例

1.仅一个条带时避免子图片

在一个实施例中，当至少一个句法元素指示当前图片仅包含一个条带时，不允许和/或不用信号通知子图片。这可以通过向subpic_info_present_flag的语义添加以下句子来实现：

“当一个或多于一个句法元素指定当前图片仅包含一个条带时，subpic_info_present_flag应等于0是位流一致性的要求。”

该实施例的优点在于避免了位流中的不一致。实际上，包含子图片的图片具有若干条带。如果图片仅包含一个条带，则该图片是仅包含一个子图片的图片。因此，换句话说，图片的子部分。此外，简化了一些实现的条带头部的解析。

1.1当PH为SH时避免子图片

在一个实施例中，当在条带头部中发送图片头部时，不允许和/或不用信号通知子图片。实际上，当图片头部在条带头部中时，当前图片仅包含一个条带。因此，不可能将当前图片拆分成若干子图片(由于子图片包含至少一个条带，这意味着若干条带)。

1.1.1仅语义

在一个实施例中，当在条带头部中发送图片头部时，将subpic_info_present_flag设置为等于0。这可以通过向subpic_info_present_flag的语义添加以下句子来获得：

“当参考PPS的条带头部包含PH句法结构时，subpic_info_present_flag应等于0是位流一致性的要求。”

1.1.2表句法

在一个实施例中，如表12所描绘，当图片头部在条带头部中时，不解码slice_subpic_id。在该句法表中，仅当subpic_info_present_flag被设置为等于1并且picture_header_in_slice_header_flag被设置为等于0时，才解码slice_subpic_id。

1.2当条带中的区块等于图片中的区块并且图片中的区块的数量大于1时避免子图片

在一个实施例中，当启用光栅扫描条带模式、当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，不允许和/或不用信号通知子图片。在这种情况下，确定当前图片仅包含一个条带，因此当前图片不能包含若干子图片。

1.2.1仅语义

在一个实施例中，当启用光栅扫描条带模式、当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，将subpic_info_present_flag设置为等于0。这可以通过向subpic_info_present_flag的语义添加以下句子来获得：

“当启用光栅扫描条带模式、并且当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，subpic_info_present_flag应等于0是位流一致性的要求。”

1.2.2表句法

在一个实施例中，如表13所描绘，当启用光栅扫描条带模式、当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，不解码slice_subpic_id。

1.3 1.1+1.2的组合

在一个实施例中，当在条带头部中发送图片头部时，或者当启用光栅扫描条带模式时、当前图片中的区块的数量大于1、并且当条带中的区块的数量等于当前图片中的区块的数量时，不允许和/或用信号通知子图片。

2当仅一个条带时避免分离颜色平面

在一个实施例中，在当前图片仅包含一个条带时，不分离当前图片的颜色平面。这可以通过向separate_colour_plane_flag的语义添加以下句子来获得：

“当一个或多于一个句法元素指定当前图片仅包含一个条带时，separate_colour_plane_flag不应等于1是位流一致性的要求。”

该实施例的优点在于避免了不一致的位流。实际上，包含独立编码的颜色平面的图片具有若干条带。因此，不可能在当前图片中仅具有一个条带。此外，简化了一些实现的条带头部的解析。

2.1当pH为SH时避免分离颜色平面

在一个实施例中，当在条带头部中发送图片头部时，不分离当前图片的颜色平面。实际上，当图片头部在条带头部中时，当前图片仅包含一个条带。

2.1.1仅语义

在一个实施例中，当在条带头部中发送图片头部时，将separate_colour_plane_flag设置为等于0。这可以通过向separate_colour_plane_flag的语义添加以下句子来获得：

“当参考PPS的条带头部包含PH句法结构时，separate_colour_plane_flag应等于0是位流一致性的要求。”

2.1.2表句法

在一个实施例中，如表12所描绘，当图片头部在条带头部中时，不对colour_plane_id进行解码。在该句法表中，仅当separate_colour_plane_flag被设置为等于1并且picture_header_in_slice_header_flag被设置为等于0时，才解码colour_plane_id。

2.2当条带中的区块等于图片中的区块并且图片中的区块的数量大于1时避免分离颜色平面

在一个实施例中，当启用光栅扫描条带模式、当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，不分离当前图片的颜色平面。在这种情况下，确保当前图片仅包含一个条带，因此当前图片不能包含在不同条带中编码的颜色平面。

2.2.1仅语义

在一个实施例中，当启用光栅扫描条带模式、当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，将separate_colour_plane_flag设置为等于0。这可以通过向separate_colour_plane_flag的语义添加以下句子来获得：

“当启用光栅扫描条带模式、并且当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，separate_colour_plane_flag应等于0是位流一致性的要求。”

2.2.2表句法

在一个实施例中，如表13所描绘，当启用光栅扫描条带模式、当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，不解码colour_plane_id。

2.3 2.1+2.2的组合

在一个实施例中，当在条带头部中发送图片头部时，或者当启用光栅扫描条带模式时、当前图片中的区块的数量大于1、并且当条带中的区块的数量等于当前图片中的区块的数量时，不分离当前图片的颜色平面。

表12示出修改的部分条带头部

表13示出修改的部分条带头部

3.1和2的组合

在一个实施例中，当至少一个句法元素指示当前图片仅包含一个条带时，不允许和/或用信号通知子图片，并且不分离当前图片的颜色平面。

4.仅具有颜色平面的分离颜色平面

在一个实施例中，所分离的颜色平面的句法元素被设置为等于1，并且当前图片包含仅具有相同颜色平面id的一个或多个条带。

该实施例提供了从包含3个颜色平面的位流中容易地提取仅一个颜色平面而不修改各个条带的一些句法元素的可能性。因此，节省了这种应用的复杂性。

4.1具有被设置为等于亮度的仅一个条带的分离颜色平面

在一个实施例中，当至少一个句法元素指示当前图片仅包含一个条带时，由于所分离的颜色平面的句法元素，可以用信号通知亮度分量的单色。在这种情况下，colour_plane_id被推断为等于0。与先前实施例相比，该实施例的优点是位速率降低，这是因为不需要发送颜色平面id。

这可以通过向colour_plane_id的语义添加以下句子来获得：

“当一个或多于一个句法元素指定当前图片仅包含一个条带时，并且当separate_colour_plane_flag被设置为等于1时，推断colour_plane_id等于0。”

4.1.1当pH为SH时

在一个实施例中，当在条带头部中发送图片头部时，由于所分离的颜色平面的句法元素，可以用信号通知亮度分量的单色。在这种情况下，colour_plane_id被推断为等于0。与先前实施例相比，该实施例的优点是位速率降低，这是因为不需要发送颜色平面id。

这可以通过向colour_plane_id的语义添加以下句子来获得：

“当参考PPS的条带头部包含PH句法结构时，并且当separate_colour_plane_flag被设置为等于1时，推断colour_plane_id等于0。”

此外，如表12所示，不需要发送颜色平面id。

4.1.2当条带中的区块等于图片中的区块并且图片中的区块的数量大于1时

在一个实施例中，当启用光栅扫描条带模式、当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时，由于所分离的颜色平面的句法元素，可以用信号通知亮度分量的单色。在这种情况下，colour_plane_id被推断为等于0。该实施例的优点是位速率降低，这是因为不需要发送颜色平面id。

这可以通过向colour_plane_id的语义添加以下句子来获得：

“当启用光栅扫描条带模式、并且当前图片中的区块的数量大于1时、并且当条带中的区块的数量等于当前图片中的区块的数量时、并且当separate_colour_plane_flag被设置为等于1时，推断colour_plane_id等于0。”

4.1.3 4.1.1和4.1.2的组合

在一个实施例中，当在条带头部中发送图片头部时，或者当启用光栅扫描条带模式时、当前图片中的区块的数量大于1、并且当条带中的区块的数量等于当前图片中的区块的数量时，由于所分离的颜色平面的句法元素，可以用信号通知亮度分量的单色。

实现

图11示出了根据本发明实施例的系统191、195，其包括编码器150或解码器100中的至少一个以及通信网络199。根据实施例，系统195用于处理并向用户提供内容(例如，用于显示/输出或流式传输视频/音频内容的视频和音频内容)，用户例如通过包括解码器100的用户终端或可与解码器100通信的用户终端的用户界面访问解码器100。这样的用户终端可以是计算机、移动电话、平板电脑或能够向用户提供/显示(提供的/流式传输的)内容的任何其他类型的装置。系统195经由通信网络199获得/接收位流101(以连续流或信号的形式(例如，在显示/输出较早的视频/音频时))。根据实施例，系统191用于处理内容并存储经处理的内容，例如经处理以供在稍后的时间显示/输出/流式传输的视频和音频内容。系统191获得/接收包括原始图像序列151的内容，该内容由编码器150接收和处理(包括利用根据本发明的去块滤波器进行滤波)，并且编码器150生成将经由通信网络191传送到解码器100的位流101。然后，位流101以多种方式传送到解码器100，例如，可以由编码器150预先生成并作为数据存储在通信网络199中的存储设备中(例如，在服务器或云存储装置上)，直到用户从存储设备请求内容(即，位流数据)为止，此时数据从存储设备传送/流式传输到解码器100。系统191还可以包括内容提供设备，以用于向用户提供/流式传输(例如，通过传送要在用户终端上显示的用户界面的数据)存储在存储设备中的内容的内容信息(例如，内容的标题和用于识别、选择和请求内容的其他元/存储位置数据)，并且用于接收和处理用户对内容的请求，使得所请求的内容可以从存储设备传送/流式传输到用户终端。可替代地，编码器150生成位流101，并且在用户请求内容时将其直接传送/流式传输到解码器100。然后，解码器100接收位流101(或信号)，并利用根据本发明的去块滤波器进行滤波，以获得/生成视频信号109和/或音频信号，然后用户终端使用视频信号109和/或音频信号来向用户提供所请求的内容。

根据本发明的方法/处理的任何步骤或本文描述的功能可以用硬件、软件、固件或其任何组合来实现。如果以软件实施，则步骤/功能可以作为一个或多于一个指令或代码或程序或计算机可读介质而存储在一个或多于一个基于硬件的处理单元上或者经由一个或多于一个基于硬件的处理单元发送，并且由一个或多于一个基于硬件的处理单元执行，所述处理单元诸如为可编程计算机器，其可以是PC(“个人计算机”)、DSP(“数字信号处理器”)、电路、电路系统、处理器和存储器、通用微处理器或中央处理单元、微控制器、ASIC(“专用集成电路”)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路系统。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实现本文中所描述的技术的任何其他结构中的任一个。

本发明的实施例还可以通过各种装置或设备来实现，包括无线手机、集成电路(IC)或JC集合(例如，芯片集)。本文中描述各种组件、模块或单元以说明被配置为进行这些实施例的装置/设备的功能方面，但未必需要由不同硬件单元实现。而是，各种模块/单元可组合于编解码器硬件单元中或由互操作硬件单元的集合提供，所述硬件单元包括结合合适软件/固件的一个或多于一个处理器。

本发明的实施例可以通过读出并执行记录在存储介质上的计算机可执行指令(例如，一个或多于一个程序)以进行上述实施例中的一个或多于一个的模块/单元/功能以及/或者包括用于进行上述实施例中的一个或多于一个的功能的一个或多于一个处理单元或电路的系统或设备的计算机来实现，并且可以通过由系统或设备的计算机进行的方法来实现，例如，从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多于一个的功能和/或控制一个或多于一个处理单元或电路以进行上述实施例中的一个或多于一个的功能。计算机可以包括单独的计算机或单独的处理单元的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如经由网络或有形存储介质从诸如通信介质等的计算机可读介质提供给计算机。通信介质可以是信号/位流/载波。有形存储介质是“非暂时性计算机可读存储介质”，其可以包括(例如)硬盘、随机访问存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(例如致密盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)^TM)、快闪存储器装置、存储卡等中的一个或多于一个。至少一些步骤/功能也可以由机器或专用组件(诸如FPGA(“现场可编程门阵列”)或ASIC(“专用集成电路”))在硬件中实现。

图12是用于实现本发明的一个或多于一个实施例的计算装置2000的示意性框图。计算装置2000可以是诸如微计算机、工作站或轻型便携式装置等的装置。计算装置2000包括连接到以下各项的通信总线：-中央处理单元(CPU)2001，诸如微处理器等；-用于存储本发明的实施例的方法的可执行代码的随机访问存储器(RAM)2002以及适于记录实现根据本发明的实施例的用于对图像的至少一部分进行编码或解码的方法所需的变量和参数的寄存器，其存储容量例如可以通过连接到扩展端口的可选RAM进行扩展；-用于存储用于实现本发明的实施例的计算机程序的只读存储器(ROM)2003；-网络接口(NET)2004，其通常连接至通信网络，要处理的数字数据通过该通信网络被传输或接收，网络接口(NET)2004可以是单个网络接口，或者由一组不同的网络接口(例如，有线和无线接口，或不同种类的有线或无线接口)组成，在运行在CPU 2001中的软件应用的控制下，数据包被写入网络接口用于传输或者从网络接口读取以进行接收；-用户接口(UI)2005，其可以用于从用户接收输入或向用户显示信息；-硬盘(HD)2006，其可以被设置为大容量存储装置；-输入/输出模块(IO)2007，其可以用于从/向外部装置(诸如视频源或显示器等)接收/发送数据。可执行代码可以存储在ROM 2003中、HD 2006上或诸如盘等的可移动数字介质上。根据变型，程序的可执行代码可以经由NET 2004借助于通信网络来接收，以在被执行之前存储在计算装置2000的存储部件(诸如HD 2006等)之一中。CPU 2001适于控制和指导根据本发明的实施例的一个或多于一个程序的软件代码的指令或部分的执行，该指令被存储在前述存储部件之一中。例如，在通电之后，CPU 2001能够执行来自从程序ROM 2003或HD 2006加载了指令之后的主RAM存储器2002的、与软件应用有关的那些指令。这种软件应用在由CPU 2001执行时使得进行根据本发明的方法的步骤。

还应理解，根据本发明的其他实施例，在诸如计算机、移动电话(蜂窝电话)、平板或能够向用户提供/显示内容的任何其他类型的装置(例如，显示设备)等的用户终端中提供根据上述实施例的解码器。根据又一实施例，在图像捕获设备中提供根据上述实施例的编码器，该图像捕获设备还包括用于捕获和提供内容以供编码器进行编码的照相机、摄像机或网络照相机(例如，闭路电视或视频监视照相机)。以下参见图13和14提供两个这样的示例。

网络照相机

图13是例示包括网络照相机2102和客户端设备2104的网络照相机系统2100的图。

网络照相机2102包括摄像单元2106、编码部2108、通信单元2110和控制单元2112。

网络照相机2102和客户端设备2104经由网络200相互连接以能够彼此通信。

摄像单元2106包括镜头和图像传感器(例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))，并捕获对象的图像并基于该图像生成图像数据。该图像可以是静止图像或视频图像。

编码部2108通过使用以上描述的所述编码方法来对图像数据进行编码。

网络照相机2102的通信单元2110将由编码部2108编码的经编码的图像数据传输至客户端设备2104。

此外，通信单元2110接收来自客户端设备2104的命令。命令包括用于设置用于编码部2108的编码的参数的命令。

控制单元2112根据通信单元2110接收到的命令来控制网络照相机2102中的其他单元。

客户端设备2104包括通信单元2114、解码部2116和控制单元2118。

客户端设备2104的通信单元2114向网络照相机2102传输命令。

此外，客户端设备2104的通信单元2114从网络照相机2102接收经编码的图像数据。

解码部2116通过使用以上描述的所述解码方法来对经编码的图像数据进行解码。

客户端设备2104的控制单元2118根据由通信单元2114接收的用户操作或命令来控制客户端设备2104中的其他单元。

客户端设备2104的控制单元2118控制显示设备2120以显示由解码部2116解码的图像。

客户端设备2104的控制单元2118还控制显示设备2120以显示用于指定网络照相机2102的参数(包括用于编码部2108的编码的参数)的值的GUI(图形用户界面)。

客户端设备2104的控制单元2118还根据对显示设备2120所显示的GUI的用户操作输入来控制客户端设备2104中的其他单元。

客户端设备2104的控制单元2118根据对显示设备2120所显示的GUI的用户操作输入来控制客户端设备2104的通信单元2114，以将用于指定网络照相机2102的参数的值的命令传输至网络照相机2102。

智能电话

图14是例示智能电话2200的图。

智能电话2200包括通信单元2202、解码部2204、控制单元2206、显示单元2208、图像记录装置2210和传感器2212。

通信单元2202经由网络200接收经编码的图像数据。

解码部2204对通信单元2202接收到的经编码的图像数据进行解码。

解码部2204通过使用以上描述的所述解码方法来对经编码的图像数据进行解码。

控制单元2206根据通信单元2202接收到的用户操作或命令控制智能电话2200中的其他单元。

例如，控制单元2206控制显示单元2208以显示由解码部2204解码的图像。

虽然已经参考实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例。本领域技术人员将理解，在不脱离所附权利要求限定的本发明的范围的情况下，可以进行各种改变和修改。本说明书(包括任何所附权利要求、摘要和附图)中公开的所有特征、和/或所公开的任何方法或处理的所有步骤，可以以任何组合进行组合，除了这样的特征和/或步骤中的至少一些相互排斥的组合之外。除非另外明确说明，否则本说明书(包括任何所附权利要求、摘要和附图)中所公开的各个特征可以由用于相同、等同或相似目的的替代特征代替。因此，除非另有明确说明，否则所公开的各个特征仅为通用系列等效或类似特征的一个示例。

还应理解，上述比较、确定、评估、选择、执行、进行或考虑的任何结果(例如，在编码或滤波处理期间作出的选择)可以在位流中的数据(例如，指示结果的标志或数据)中指示或可从位流中的数据确定/推断，使得所指示或确定/推断的结果可以用于处理而不是实际上例如在解码处理期间进行比较、确定、评估、选择、执行、进行或考虑。

在权利要求中，词语“包括”不排除其他元素或步骤，并且不定冠词“a”或“an”不排除多个。仅仅在相互不同的从属权利要求中记载不同特征的事实并不指示这些特征的组合不能被有利地使用。

权利要求中出现的附图标记仅作为说明，并且不应对权利要求的范围产生限定作用。

Claims

1.一种从位流中解码视频数据的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述解码包括：

对一个或多于一个句法元素进行解析；以及

不准许与指示要解码的图片仅包含一个条带的至少一个句法元素相组合地使用子图片和/或解析子图片信息；以及

使用所述句法元素对所述位流进行解码。

2.根据权利要求1所述的方法，还包括：在至少一个句法元素指示要解码的图片包含一个条带时，将指示存在子图片的句法元素的值限制为指示不使用子图片的值。

3.根据权利要求2所述的方法，其中，指示存在子图片的句法元素包括指示是否存在子图片信息的标志。

4.根据权利要求1至3中任一项所述的方法，其中，指示要解码的图片包含一个条带的句法元素包括图片头部在条带头部中句法元素，其中，在所述条带头部中用信号通知所述图片头部指示图片包含一个条带。

5.根据前述权利要求中任一项所述的方法，其中，指示要解码的图片包含一个条带的至少一个句法元素包括指示启用光栅扫描条带模式的句法元素。

6.一种将视频数据编码到位流中的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述编码包括：

确定一个或多于一个句法元素；以及

不准许与指示要编码的图片仅包含一个条带的至少一个句法元素相组合地使用子图片和/或对子图片信息进行编码；以及

使用所述句法元素对所述位流进行编码。

7.根据权利要求6所述的方法，还包括：在至少一个句法元素指示要解码的图片包含一个条带时，将指示存在子图片的句法元素的值限制为指示不使用子图片的值。

8.根据权利要求7所述的方法，其中，指示存在子图片的句法元素包括指示是否存在子图片信息的标志。

9.根据权利要求6至8中任一项所述的方法，其中，指示要编码的图片包含一个条带的句法元素包括图片头部在条带头部中句法元素，其中，在所述条带头部中用信号通知所述图片头部指示图片包含一个条带。

10.根据权利要求6至9中任一项所述的方法，其中，指示要编码的图片包含一个条带的至少一个句法元素包括指示启用光栅扫描条带模式的句法元素。

11.一种从位流中解码视频数据的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述位流被约束成使得在所述位流包括具有指示要解码的图片仅包含一个条带的值的句法元素的情况下，所述位流还包括具有指示针对图片不使用子图片和/或不存在子图片信息的值的句法元素，所述方法包括使用所述句法元素对所述位流进行解码。

12.一种将视频数据编码到位流中的方法，所述位流包括与一个或多于一个条带相对应的视频数据，所述位流被约束成使得在所述位流包括具有指示要解码的图片仅包含一个条带的值的句法元素的情况下，所述位流还包括具有指示针对图片不使用子图片和/或不存在子图片信息的值的句法元素，所述方法包括使用所述句法元素对所述位流进行编码。

13.一种包括解码器的装置，所述解码器被配置为进行根据权利要求1至5和11中任一项所述的方法。

14.一种包括编码器的装置，所述编码器被配置为进行根据权利要求6至10和12中任一项所述的方法。

15.一种计算机程序，所述计算机程序在执行时使得进行根据权利要求1至12中任一项所述的方法。