CN115362684A

CN115362684A - 视频编码和解码

Info

Publication number: CN115362684A
Application number: CN202180024884.2A
Authority: CN
Inventors: 内尔·奥德拉奥果; P·乌诺; G·拉罗彻
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-03-27
Filing date: 2021-03-22
Publication date: 2022-11-18
Also published as: KR20220160029A; JP2023518925A; GB2593543A; TW202137768A; CL2022003218A1; GB2593549B; CL2022003216A1; GB2593543B; TWI817099B; BR112022016463A2; GB2593549A; CL2022003214A1; CL2022002565A1; JP7490068B2; EP4128785A1; GB202004540D0; GB202004958D0; CL2022003212A1; CL2022003217A1; WO2021191159A1

Abstract

图像序列在位流中被编码为一系列图片单元PU‑01至PU‑03。各图片单元对应于一个经编码图像并包括一个或多于一个网络抽象层(NAL)单元NAL‑01至NAL‑23。NAL单元可以是各自包含经编码图像数据的视频编码层(VCL)NAL单元或各自包含具有用于对一个或多于一个VCL NAL单元包括的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集(APS)的自适应参数集NAL单元。APS NAL单元可以是前缀APS NAL单元P‑APS或后缀APS NAL单元S‑APS。将附加约束应用于位流，禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中。这可以避免多于一个APS应用于属于同一图片单元的条带，因此减小APS缓冲器的大小。可替代地或另外，许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。这可以减少当在经编码视频序列中的特定定时进行随机访问解码时的重写操作。

Description

视频编码和解码

技术领域

本发明涉及视频编码和解码，并且具体地涉及使用自适应参数集(APS)的视频编码和解码。

背景技术

近来，联合视频专家组(JVET)(由MPEG和ITU-T第16研究组VCEG组成的合作团队)开始研究一种称为多功能视频编码(VVC)的新视频编码标准。VVC的目标是在现有HEVC标准上提供压缩性能的显著改进(即，通常是以前的两倍)并在2020年完成。主要目标应用和服务包括但不限于360度和高动态范围(HDR)视频。总之，JVET使用独立测试实验室进行的正式主观测试来评价了来自32个组织的反馈。一些建议表明，当与使用HEVC相比时，压缩效率通常提高40％或更多。在超高清(UHD)视频测试材料上显示了特定的效果。因此，针对最终标准，我们可以预期压缩效率的提高将远远超过作为目标的50％。

VVC提供自适应参数集或APS以传送可以由经编码视频序列的一个或多于一个条带共用的参数。VVC草案8将APS定义为包含句法元素的句法结构，其中句法元素应用于如由条带或图片头部中找到的零个或更多个句法元素确定的零个或更多个条带。多于一个APS可以应用于属于同一经编码图片的条带。图片单元恰好对应于一个经编码图片。图片单元又是网络抽象层(NAL)单元集合。在VVC草案8中，图片单元内存在的任何APS当具有相同的APS类型和相同的APS标识符时被约束为共用相同的内容。此外，当使用可以参考在条带NAL单元之前发送的APS的数个条带来编码图片单元时，一些配置可能需要附加的解码操作以在存储器中维持使用中的APS以及/或者当在经编码视频序列中在特定定时进行随机访问解码时的位流重写操作。

期望改进APS及其参考的编码。

发明内容

根据本发明的第一方面，提供一种将图像序列编码在位流中的方法，包括：在所述位流中提供一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中；以及禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中。

这可以解决如下问题：在VVC8中两个版本的APS可能应用于同一图片单元的不同条带。然后，为了解码位流，解码器必须针对APS标识符和APS类型的给定值对而在存储器中存储两个版本的APS。在最坏情况示例中，解码器可能必须使存储器大小加倍(以维持两个版本的各个APS)以存储解码图片单元所需的APS。另外，解码器必须维持VCL NAL单元相对于APS NAL单元的顺序，以确定哪些VCL NAL单元参考APS NAL单元的第一版本或第二版本。通过禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中，可以消除需要两个版本的APS的一些情况。

根据本发明的第二方面，提供一种对图像序列进行编码的方法，该方法与第一方面的方法相同，除了不是如第一方面中那样禁止在图片单元的第一NAL单元之后将前缀APSNAL单元包括在该图片单元中之外，第二方面涉及禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中。

该方法与第一方面的方法互补，并且应对了相同的问题。通过禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中，可以消除需要两个版本的APS的一些情形。

还可以禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中并且禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中。然后进一步增强了对需要两个版本的APS的情况的消除。

根据本发明的第三方面，提供一种将图像序列编码在位流中的方法，包括：在所述位流中提供一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符；以及许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

许可在同一图片单元中包括具有相同APS类型和相同APS标识符但不同内容的前缀APS NAL单元和后缀APS NAL单元相当于对VVC8中的约束的新自由度。在VVC8中，即使APSNAL单元具有不同的(前缀和后缀)类型，它们也不能存在于一个图片单元中。

当应用对位流进行随机访问以在某一图片单元(随机访问点)处开始解码时，应用可能必须提供在图片单元的VCL NAL单元之前的某些APS NAL单元。例如，应用可以在图片单元的开始处插入必要的APS NAL单元。但是所得到的位流可能会打破VVC8的某些约束。这进而可能导致解码进入错误状态。

一个约束是后缀APS NAL单元可以插入在PU的第一VCL NAL单元之前，这与当在PU的第一VCL NAL之前发送APS时编码器必须使用前缀APS NAL单元的约束相反。此外，插入可能使得图片单元具有后缀APS NAL单元和前缀APS NAL单元，这些APS NAL单元包含具有相同标识符和类型但具有不同内容的APS，这在VVC8中是不允许的。

因此，应用可能必须重写APS NAL单元的APS类型(nal_unit_type)以生成新的前缀APS NAL单元。另外，应用可能必须移动并重写后缀APS NAL单元作为下一PU的开始处的新前缀APS NAL单元。如果该下一PU也碰巧包含具有与新前缀APS NAL单元相同的标识符和类型的APS NAL单元，则应用也可能必须移动并重写该单元。

使位流符合VVC8的这些移动操作是昂贵的，因为在最坏情况下，可能需要重写随机访问的图片单元之后的PU的所有APS NAL单元。

本发明的第三方面的方法施加、移除或修改对句法结构的约束，以确保存在较少的重写操作或甚至没有重写操作。

一个实施例还包括：禁止与特定VCL NAL单元相关联的后缀APS NAL单元被包含该后缀APS NAL单元的图片单元的VCL NAL单元使用；以及允许按解码顺序在该后缀APS NAL单元之后的图片单元的VCL NAL单元使用该后缀APS NAL单元。

另一实施例还包括：约束可包括在图片单元中的APS NAL单元，使得：前缀APS NAL单元必须在该图片单元中的任何后缀APS NAL单元之前并且在该图片单元的最后VCL NAL单元之前；以及后缀APS NAL单元必须在该图片单元中的任何前缀APS NAL单元之后并且在该图片单元的第一VCL NAL单元之后。

另一实施例还包括禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中。

另一实施例还包括禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中。

另一实施例还包括在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元后面跟随包含具有相同APS类型和相同APS标识符的APS的前缀APS NAL单元。该措施也可以应用于本发明的第二方面，而不(如在第三方面中)许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APSNAL单元。

另一实施例还包括：在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元前面是包含具有相同APS类型和相同APS标识符的APS的后缀APS NAL单元。该措施也可以应用于本发明的第一方面，而不(如在第三方面中)许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

此外，可以使用最后两个措施，而不(如在第一方面中)禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中，以及不(如在第二方面中)禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中，以及不(如在第三方面中)许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APSNAL单元和后缀APS NAL单元。因此，根据本发明的另一方面，提供一种将图像序列编码在位流中的方法，包括：在所述位流中提供一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符；进行以下中的一者或这两者：在图片单元中禁止参考具有特定APS类型和特定APS识别符的APS的VCL NAL单元后面跟随包含具有相同APS类型和相同APS识别符的APS的前缀APS NAL单元；以及在图片单元中禁止参考具有特定APS类型和特定APS识别符的APS的VCL NAL单元前面是包含具有相同APS类型和相同APS识别符的APS的后缀APS NAL单元。

根据本发明的第四方面，提供一种对经编码图像序列进行解码的方法，包括：接收具有一系列图片单元的位流，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中；以及检查所接收的位流与一个或多于一个符合性准则的符合性，其中，所述一个或多于一个符合性准则中的一个符合性准则是禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中的约束。

根据本发明的第五方面，提供一种对经编码图像序列进行解码的方法，其中，代替利用禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中的约束来检查所接收的位流的符合性(如在第四方面中)，而是利用禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中的约束来检查所接收的位流的符合性。

在一个实施例中，该检查涉及利用禁止在图片单元的最后NAL单元之前将后缀APSNAL单元包括在该图片单元中的约束以及禁止在图片单元的第一NAL单元之后将前缀APSNAL单元包括在该图片单元中的约束这两者来检查符合性。

根据本发明的第六方面，提供一种对经编码图像序列进行解码的方法，包括：接收具有一系列图片单元的位流，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符；以及检查所接收的位流与一个或多于一个符合性准则的符合性的步骤，所述一个或多于一个符合性准则中的一个符合性准则许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

在一个实施例中，符合性准则包括：禁止与特定VCL NAL单元相关联的后缀APSNAL单元由包含该特定VCL NAL单元的图片单元的VCL NAL单元使用；以及允许该后缀APSNAL单元由按解码顺序在该后缀APS NAL单元之后的图片单元的VCL NAL单元使用。

在另一实施例中，符合性准则包括：约束可包括在图片单元中的APS NAL单元，使得：前缀APS NAL单元必须在该图片单元中的任何后缀APS NAL单元之前并且在该图片单元的最后VCL NAL单元之前；以及后缀APS NAL单元必须在该图片单元中的任何前缀APS NAL单元之后并且在该图片单元的第一VCL NAL单元之后。

在另一实施例中，符合性准则包括禁止在图片单元的最后NAL单元之前将后缀APSNAL单元包括在该图片单元中的约束。

在另一实施例中，符合性准则包括禁止在图片单元的第一NAL单元之后将前缀APSNAL单元包括在该图片单元中。

在另一实施例中，符合性准则包括：在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元后面跟随包含具有相同APS类型和相同APS标识符的APS的前缀APS NAL单元。该措施也可以应用于本发明的第五方面，而不(如在第六方面中)许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

在另一实施例中，符合性准则包括：在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元前面是包含具有相同APS类型和相同APS标识符的APS的后缀APS NAL单元。该措施也可以应用于本发明的第四方面，而不(如在第六方面中)许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

此外，可以使用最后两个措施，而不(如在第四方面中)禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中，以及不(如在第五方面中)禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中，以及不(如在第六方面中)许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APSNAL单元和后缀APS NAL单元。因此，根据本发明的另一方面，提供一种对经编码图像序列进行解码的方法，其包括：接收具有一系列图片单元的位流，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层(NAL)单元，可包含在该系列图片单元中的NAL单元包括视频编码层(VCL)NAL单元并且还包括自适应参数集NAL单元，各个VCL NAL单元包含经编码图像数据，各个自适应参数集NAL单元包含具有用于对一个或多于一个VCLNAL单元中包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集(APS)，以及可包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APSNAL单元，其中，如果APS在图片单元的第一VCL NAL之前存在于该图片单元中，则该APS必须包含在前缀APS NAL单元中，并且如果APS在图片单元的最后VCL NAL之后存在于该图片单元中，则该APS必须包含在后缀APS NAL单元中，各个所述APS NAL单元具有APS类型和APS标识符；以及利用一个或多于一个符合性准则来检查所接收的位流的符合性，其中所述符合性准则包括以下准则之一或这两者：在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元后面跟随包含具有相同APS类型和相同APS标识符的APS的前缀APS NAL单元；以及在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCLNAL单元前面是包含具有相同APS类型和相同APS标识符的APS的后缀APS NAL单元。

在体现本发明的前述第一方面至第六方面和其他方面的方法中，NAL单元不限于VCL NAL单元和APS NAL单元。例如，可包括在一系列图片单元中的NAL单元还可以包括图片头部NAL单元，其既不是VCL NAL单元也不是APS NAL单元，并且如果存在于图片单元中，则在该图片单元的第一VCL NAL单元之前。在这种情况下，在该PH中参考的APS NAL单元不仅必须在第一VCL NAL单元之前，而且必须在PH NAL单元之前。代替PH NAL单元，更一般的构想是非VCL NAL单元，其既不是VCL NAL也不是APS NAL单元，其用信号通知一个或多于一个VCL NAL单元对APS的参考。对APS NAL单元的排序的约束现在应相对于这些非VCL NAL单元。例如，前缀APS NAL单元应在第一非VCL NAL单元和第一VCL NAL单元之前。

根据本发明的第七方面，提供一种将图像序列编码在位流中的装置，包括：用于在所述位流中提供一系列图片单元的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中；以及用于禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中的部件。

根据本发明的第八方面，提供一种将图像序列编码在位流中的装置，包括：用于在所述位流中提供一系列图片单元的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中；以及用于禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中的部件。

根据本发明的第九方面，提供一种将图像序列编码在位流中的装置，包括：用于在所述位流中提供一系列图片单元的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符；以及用于许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元的部件。

根据本发明的第十方面，提供一种对经编码图像序列进行解码的装置，包括：用于接收具有一系列图片单元的位流的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中；以及用于检查所接收的位流与一个或多于一个符合性准则的符合性的部件，其中，所述一个或多于一个符合性准则中的一个符合性准则是禁止在图片单元的第一NAL单元之后将前缀APSNAL单元包括在该图片单元中的约束。

根据本发明的第十一方面，提供一种对经编码图像序列进行解码的装置，包括：用于接收具有一系列图片单元的位流的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中；以及用于检查所接收的位流与一个或多于一个符合性准则的符合性的部件，其中，所述一个或多于一个符合性准则中的一个符合性准则是禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中的约束。

根据本发明的第十二方面，提供一种对经编码图像序列进行解码的装置，包括：用于接收具有一系列图片单元的位流的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符；以及用于检查所接收的位流与一个或多于一个符合性准则的符合性的部件，所述一个或多于一个符合性准则中的一个符合性准则许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

在第四方面至第六方面和其他方面的方法以及第十方面至第十二方面的装置中，在符合性检查揭示了不符合的位流的情况下，可以完全或部分放弃位流的解码。此外，可以采取诸如向解码器的用户通知错误等的动作。解码器还可以向编码器用信号通知位流不符合并且不适合于解码。编码器可以通过对图像序列进行重新编码以产生符合的位流来进行响应。如稍后所述，符合性检查在体现本发明的所有解码方法中或所有解码器中不是强制的。

根据本发明的第十三方面，提供一种程序，该程序在由处理器或计算机执行时使处理器或计算机执行本发明的第一方面至第六方面中的任一方面的方法。

该程序可以单独提供，或者可以在载体介质上、由载体介质承载或在载体介质中承载。载体介质可以是非暂时性的，例如存储介质，特别是计算机可读存储介质。载体介质也可以是暂时性的，例如信号或其他传输介质。信号可以经由任何合适的网络(包括因特网)传输。本发明的其他特征由独立权利要求和从属权利要求表征。

根据本发明的第十四方面，提供一种表示经编码图像序列并且具有一系列图片单元的位流，各个所述图片单元对应于一个经编码图像并且包括一个或多于一个网络抽象层(NAL)单元，可包含在该系列图片单元中的NAL单元包括视频编码层(VCL)NAL单元并且还包括自适应参数集NAL单元，各个VCL NAL单元包含经编码图像数据，各个自适应参数集NAL单元包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集(APS)，以及可包含在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中如果APS在图片单元的第一VCL NAL之前存在于该图片单元中，则该APS必须包含在前缀APS NAL单元中，以及如果APS在图片单元的最后VCL NAL之后存在于该图片单元中，则该APS必须包含在后缀APS NAL单元中；其中该系列图片单元的图片单元中无一者在该图片单元的第一NAL单元之后包括前缀APS NAL单元。

表示先前位流特性的替代方式是禁止在图片单元的第一NAL单元之后将前缀APSNAL单元包括在该图片单元中。

根据本发明的第十五方面，提供一种位流，其表示经编码图像序列并且具有一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APSNAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中；其中，该系列图片单元的图片单元中无一者在该图片单元的最后NAL单元之前包括后缀APS NAL单元。

表示先前位流特性的替代方式是禁止在图片单元的最后NAL单元之前将后缀APSNAL单元包括在该图片单元中。

优选地，该系列图片单元的图片单元中无一者在该图片单元的最后NAL单元之前包括后缀APS NAL单元，并且该系列图片单元的图片单元中无一者在该图片单元的第一NAL单元之后包括前缀APS NAL单元。

表示先前位流特性的替代方式是：禁止在图片单元的最后NAL单元之前将后缀APSNAL单元包括在该图片单元中，并且禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中。

根据本发明的第十六方面，提供一种位流，其表示经编码图像序列，并且在所述位流中具有一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符；其中，该系列图片单元中的至少一个图片单元包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

表示先前位流特性的替代方式是：许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

在一个实施例中：在该系列图片单元的存在后缀APS NAL单元的各个图片单元中，该后缀单元不由包含特定VCL NAL单元的图片单元的VCL NAL单元使用；并且对于具有不由包含特定VCL NAL单元的图片单元的VCL NAL单元使用的这种后缀APS NAL单元的至少一个图片单元，该后缀APS NAL单元由按解码顺序跟随该后缀APS NAL单元的一个或多于一个图片单元的一个或多于一个VCL NAL单元使用。

表示先前位流特性的替代方式是：禁止后缀APS NAL单元由包含特定VCL NAL单元的图片单元的VCL NAL单元使用；并且允许该后缀APS NAL单元由按解码顺序跟随该后缀APS NAL单元的图片单元的VCL NAL单元使用。

在一个实施例中：在包括前缀APS NAL单元的各个图片单元中，前缀APS NAL单元在该图片单元中的任何后缀APS NAL单元之前并且在该图片单元的最后VCL NAL单元之前；以及在包括后缀APS NAL单元的各个图片单元中，后缀APS NAL单元必须在该图片单元中的任何前缀APS NAL单元之后并且在该图片单元的第一VCL NAL单元之后。

表示先前位流特性的替代方式是：包括在该系列图片单元中的APS NAL单元被约束，使得：前缀APS NAL单元在该图片单元中的任何后缀APS NAL单元之前并且在该图片单元的最后VCL NAL单元之前；以及后缀APS NAL单元在该图片单元中的任何前缀APS NAL单元之后并且在该图片单元的第一VCL NAL单元之后。

在一个实施例中，该系列图片单元中无一者在该图片单元的最后NAL单元之前包括后缀APS NAL单元。

表示先前位流特性的替代方式是禁止在图片单元的最后NAL单元之后将后缀APSNAL单元包括在该图片单元中。

在一个实施例中，该系列图片单元中无一者在该图片单元的第一NAL单元之后包括前缀APS NAL单元。

在一个实施例中，在包括参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元的任何图片单元中，参考的该VCL NAL单元后面不跟随包含具有相同APS类型和相同APS标识符的APS的前缀APS NAL单元。该措施也可以应用于本发明的第十五方面，而不(如在第十六方面中)许可在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

表示先前位流特性的替代方式是：在图片单元中，参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元被禁止后面跟随包含具有相同APS类型和相同APS标识符的APS的前缀APS NAL单元。

在一个实施例中，在包括参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元的任何图片单元中，参考的该VCL NAL单元前面不是包含具有相同APS类型和相同APS标识符的APS的后缀APS NAL单元。该措施也可以应用于本发明的第十四方面，而不(如在第十六方面中)允许在同一图片单元中包括具有相同APS类型和相同APS标识符但内容不同的前缀APS NAL单元和后缀APS NAL单元。

表示先前位流特性的替代方式是：在图片单元中，参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元被禁止前面是包含具有相同APS类型和相同APS标识符的APS的后缀APS NAL单元。

此外，可以在没有(第十四方面的)位流特性(即该系列图片单元的图片单元中无一者在该图片单元的第一NAL单元之后包括前缀APS NAL单元)的情况下、以及在没有(第十五方面的)位流特性(即该系列图片单元中的图片单元无一者在该图片单元的最后NAL单元之前包括后缀APS NAL单元)的情况下、以及在没有(第十六方面的)位流特性(该系列图片单元中的至少一个图片单元包括具有相同APS类型和相同APS标识符但内容不同的前缀APSNAL单元和后缀APS NAL单元)的情况下，使用最后两个措施。因此，根据本发明的另一方面，提供一种位流，其表示经编码图像序列并且在位流中具有一系列图片单元，各个所述图片单元对应于一个经编码图像并且包括一个或多于一个网络抽象层(NAL)单元，可包括在该系列图片单元中的NAL单元包括视频编码层(VCL)NAL单元并且还包括自适应参数集NAL单元，各个VCL NAL单元包含经编码图像数据，各个自适应参数集NAL单元包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集(APS)，以及可包括在该系列图片单元中的APS NAL单元包括前缀APSNAL单元和后缀APS NAL单元，其中，如果APS在图片单元的第一VCL NAL之前存在于该图片单元中，则该APS必须包含在前缀APS NAL单元中，以及如果APS在图片单元的最后VCL NAL之后存在于该图片单元中，则该APS必须包含在后缀APS NAL单元中，各个所述APS NAL单元具有APS类型和APS标识符；所述位流具有以下特性之一或这两者：在包括参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元的任何图片单元中，参考的该VCL NAL单元后面不跟随包含具有相同APS类型和相同APS标识符的APS的前缀APS NAL单元；以及在包括参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元的任何图片单元中，参考的该VCLNAL单元前面不是包含具有相同APS类型和相同APS标识符的APS的后缀APS NAL单元。

如何使用上述第十四方面至第十六方面以及其他方面的位流不受特别限制。本发明的第十七方面提供一种将图像序列编码在根据第十四方面至第十六方面和其他方面中的任一方面的位流中的方法。

本发明的第十八方面提供一种对经编码图像序列进行解码的方法，该方法包括接收根据第十四方面至第十六方面中的任一方面的位流。

在这方面，接收位流就足够了。不需要符合性检查。例如，解码器可以简单地接收第十四方面至第十六方面中的任一方面的位流并对其进行解码。例如，一个实施例还包括：对NAL单元进行解码，获得包含在VCL NAL单元中的图像数据和包含在APS NAL单元中的APS的参数，以及使用所获得的APS参数处理所获得的图像数据。

根据本发明的第十九方面，提供一种由本发明的第一方面至第三方面中的任一方面的编码方法产生的位流。

位流通常是瞬时信号的形式。然而，在非暂时性形式中，位流可以存储在例如计算机可读存储装置或记录介质(诸如介质存储装置等)中。DVD、蓝光盘或其他光学存储介质是用于位流的存储介质的示例。因此，根据本发明的第二十方面，提供一种存储本发明的第十四方面至第十六方面和第十九方面中的任一方面的位流的计算机可读存储介质。

本发明的一个方面中的任何特征可以以任何适当的组合应用于本发明的其他方面。特别地，方法方面可以应用于设备方面，反之亦然。

此外，以硬件实现的特征可以以软件实现，反之亦然。本文对软件和硬件特征的任何引用均应据此解释。

如本文所述的任何设备特征也可以被提供为方法特征，反之亦然。如本文中所使用的，功能性限定(means plus function)特征就其相应结构(诸如适当编程的处理器和相关联的存储器等)方面可以被替代性地表达。

还应当理解，可以独立地实现、提供和/或使用在本发明的任何方面中描述和定义的各种特征的特定组合。

附图说明

现在将仅通过示例的方式并参考以下附图来描述本发明的实施例，在附图中：

图1示出根据本发明的实施例的将图片分区成区块和条带；

图2示出示例VVC位流；

图3是示意性地示出可以实现本发明的一个或多于一个实施例的数据通信系统的框图；

图4是示出可以实现本发明的一个或多于一个实施例的处理装置的组件的框图；

图5是示出可以实现本发明的一个或多于一个实施例的编码器的组件的框图；

图6是示出可以实现本发明的一个或多于一个实施例的解码器的组件的框图；

图7是示出根据本发明的实施例的编码处理的流程图；

图8是示出根据本发明的实施例的解码处理的流程图；

图9是更详细地示出图8的解码处理的部分的流程图；

图10是更详细地示出图8的解码处理的其他部分的流程图；

图11A示出符合VVC8的位流的示例；

图11B示出根据本发明的实施例的位流；

图12A示出符合VVC8的位流的另一示例；

图12B示出当需要随机访问时图12A的位流的第一变形例；

图12C示出当需要随机访问时图12A的位流的第二变形例；

图12D示出根据本发明的实施例的对应于图12A的示例的位流；

图13示出根据本发明的另一实施例的位流；

图14是示出可以实现本发明的一个或多于一个实施例的网络照相机系统的图；以及

图15是示出可以实现本发明的一个或多于一个实施例的智能电话的图。

具体实施方式

下面描述的本发明的实施例涉及改进图像(或图片)的编码和解码。

在本说明书中，“用信号通知”可以指将与一个或多于一个参数或句法元素有关的信息插入到(提供/包括/编码在)位流中或者从位流提取/获得(解码)该信息，所述信息例如是用于确定子图片的标识符、子图片的大小/宽度/高度、子图片中是否仅包括单个图像部分(例如，条带)、条带是否是矩形条带和/或子图片中包括的条带的数量中的任何一个或多于一个的信息。

在本说明书中，“处理”可以指对数据进行的任何类型的操作，例如，对一个或多于一个图像/图片的图像数据进行编码或解码。

在本说明书中，术语“条带”用作图像部分的示例(这种图像部分的其他示例将是包括一个或多于一个编码树单元的图像部分)。应当理解，本发明的实施例还可以基于图像部分而不是条带以及适当修改的参数/值/句法(诸如图像部分的头部(而不是条带头部或条带区段头部)等)来实现。还应理解，本文中描述为在条带头部、条带区段头部、序列参数集(SPS)或图片参数集(PPS)中用信号通知的各种信息可以在别处用信号通知，只要其能够提供通过在这些介质中用信号通知所述信息而提供的相同功能性即可。还应理解，条带、区块组、区块、编码树单元(CTU)/最大编码单元(LCU)、编码树块(CTB)、编码单元(CU)、预测单元(PU)、变换单元(TU)或像素/样本块中的任一个可被称为图像部分。

还应理解：当组件或工具被描述为“活动”时，组件/工具被“启用”或“可使用”或“已使用”；当被描述为“未活动”时，组件/工具被“禁用”或“不可用”或“未使用”；并且“可以推断”是指能够从其他信息确定/获得相关值或参数，而无需在位流中明确地用信号通知。此外，还应当理解，当标志被描述为“活动”时，意味着标志指示相关组件/工具是“活动”(即“有效”)的。

在本说明书中，除非另有说明，否则相关术语具有与下文陈述的最新VVC草案8(VVC8)中的定义相同的定义。斜体的术语具有其自身的VVC8定义。

条带：图片的排他地包含在单个NAL单元中的整数个完整区块或者区块内的整数个连续完整CTU行。

条带头部：包含与条带中表示的所有区块或区块内的CTU行有关的数据元素的经编码条带的一部分。

区块：图片中的特定区块列和特定区块行内的CTU的矩形区域。

子图片：图片内的一个或多于一个条带的矩形区域

图片(或图像)：单色格式的亮度样本阵列或4:2:0、4:2:2和4:4:4颜色格式的亮度样本阵列和两个相应的色度样本阵列。

经编码图片：包括AU内的具有nuh_layer_id的特定值的VCL NAL单元且包含图片的所有CTU的图片的经编码表示。

经编码表示：以编码形式表示的数据元素。

光栅扫描：矩形二维图案到一维图案的映射，使得一维图案中的第一条目来自从左到右扫描的二维图案的顶部第一行，随后类似地是各自从左到右扫描的图案的第二、第三等行(向下)。

块：M×N(M列×N行)样本阵列，或者M×N变换系数阵列。

编码块：针对M和N的某些值的M×N样本块，使得CTB至编码块的分割是分区。

编码树块(CTB)：针对N的某个值的N×N样本块，使得成分至CTB的分割是分区。

编码树单元(CTU)：具有三个样本阵列的图片的亮度样本的CTB、色度样本的两个相应CTB，或者单色图片或使用三个单独颜色平面和用于编码样本的句法结构所编码的图片的样本的CTB。

编码单元(CU)：具有三个样本阵列的图片的亮度样本的编码块、色度样本的两个相应编码块，或者单色图片或使用三个单独颜色平面和用于编码样本的句法结构所编码的图片的样本的编码块。

成分：来自构成4:2:0、4:2:2或4:4:4颜色格式的图片的三个阵列(亮度和两个色度)之一的阵列或单个样本，或者构成单色格式的图片的阵列或阵列的单个样本。

图片参数集(PPS)：包含应用于如由在图片头部或条带头部中找到的句法元素所确定的零个或更多个完整编码图片的句法元素的句法结构。

序列参数集(SPS)：包含应用于如由在PPS中找到的句法元素的内容所确定的零个或更多个完整CLV的句法元素的句法结构，所述PPS被在图片头部中找到的句法元素参考。

自适应参数集(APS)：包含应用于如由在条带或图片头部中找到的零个或更多个句法元素所确定的零个或更多个条带的句法元素的句法结构。

网络抽象层(NAL)单元：包含要跟随的数据的类型的指示以及包括该数据的字节的句法结构，该字节采用RBSP的形式，根据需要散布有仿真防止字节。

视频编码层(VCL)NAL单元：用于经编码条带NAL单元和NAL单元的子集的集合术语，NAL单元具有在本说明书中被分类为VCL NAL单元的nal_unit_type的保留值。

图片头部(PH)：包含应用于经编码图片的所有条带的句法元素的句法结构。

条带头部：经编码条带的包含与该条带中表示的所有区块或区块内的CTU行有关的数据元素的部分。

自适应环路滤波器(ALF)：作为解码处理的一部分应用的并且由APS中传送的参数所控制的滤波处理。

具有色度缩放的亮度映射(LMCS)：作为解码处理的一部分应用的将亮度样本映射到特定值并且可以将缩放操作应用于色度样本的值的处理。

缩放列表：将各个频率索引与用于缩放处理的缩放因子相关联的列表。

图片单元(PU)：根据所指定的分类规则彼此相关联的NAL单元的集合，其在解码顺序中是连续的，并且恰好包含一个经编码图片。

访问单元(AU)：属于不同层且包含与同一时间相关联以供从DPB输出的经编码图片的PU的集合。

图1示出根据本发明实施例的将图片分区成区块和条带，其与VVC8兼容。图片101和102被分割成由虚线表示的编码树单元(CTU)。CTU是VVC8的编码和解码的基本单元。例如，在VVC7中，CTU可以编码128×128个像素的区域。

编码树单元(CTU)也可以被称为(像素或成分样本(值)的)块、宏块或甚至编码块。编码树单元可以用于同时编码/解码图片的不同图像成分，或者可以限于仅一个图像成分，使得图片的不同图像成分可以被单独/分别地编码/解码。当图像的数据包括针对各个成分的单独数据时，CTU是一组编码树块(CTB)，针对每个成分一个CTB。

如图1所示，还可以利用由细实线表示的区块边界，根据区块网格(即，分成一个或多于一个区块网格)来分区图片。区块是作为可独立于CTU分区而定义的(像素/成分样本的)矩形区域的图片部分(图片的部分)。例如在VVC8中，区块还可以对应于CTU序列，以在图1中的所表示的示例中，分区技术可以将区块的边界限制为与CTU的边界一致/对准。

定义区块，使得区块边界打破编码/解码处理的空间依赖。换句话说，在给定图片中，定义/指定区块，使得其可以独立于同一图片的其他空间“相邻”区块而进行编码/解码。这意味着区块中的CTU的编码/解码不基于来自同一图片中的其他区块的像素/样本或参考数据。

一些编码/解码系统(例如，本发明的实施例或用于VVC8的实施例)提供了条带的概念(即，还使用基于一个或多于一个条带的分区技术)。该机制使得能够将图片分区成一个区块组或数个区块组，区块组统称为条带。各个条带由一个区块或数个区块或部分区块组成。如图片101和102所示，提供了两个不同种类的条带。第一种类的条带被限制为如图片101中的粗实线所表示的在图片中形成矩形区/区域的条带。图片101具有图片到六个不同矩形条带(0)至(5)的分区。第二种类的条带被限制为如图片102中的粗实线所表示的光栅扫描顺序的连续区块(使得它们形成区块序列)。图片102具有图片到由按光栅扫描顺序的连续区块组成的三个不同条带(0)至(2)的分区。

通常，矩形条带是用于应对视频中的关注区域(ROI)的选择的结构/布置/配置。

条带可以作为一个或数个个网络抽象层(NAL)单元在位流中编码(或从位流解码)。NAL单元是用于将数据封装在经编码/经解码位流(例如，包含整数个字节的包，其中多个包共同形成经编码视频数据)中的数据的逻辑单元。

在VVC8的编码/解码系统中，条带通常被编码为单个NAL单元。当条带在位流中被编码为数个NAL单元时，条带的各个NAL单元被称作条带区段。条带区段包括含有针对该条带区段的编码参数的条带区段头部。根据变型，条带的第一条带区段NAL单元的头部包含针对条带的所有编码参数。条带的后续NAL单元的条带区段头部可以包含比第一NAL单元少的参数。在这种情况下，第一条带区段是独立条带区段，并且后续区段是依赖条带区段(因为它们依赖于来自第一条带区段的NAL单元的编码参数)。

图2示出符合VVC8的编码系统的要求的根据本发明实施例的位流的组织(即，结构、配置或布置)。位流200由表示/指示句法元素的有序序列的数据和经编码(图像)数据组成。句法元素和经编码(图像)数据被放置(即，打包/分组)到一系列NAL单元201至209中。存在不同的NAL单元类型。网络抽象层(NAL)提供将位流封装成针对不同协议(如实时协议/因特网协议(RTP/IP)、ISO基媒体文件格式等)的包的能力。网络抽象层还提供用于抗丢包的框架。

NAL单元被分割成视频编码层(VCL)NAL单元和非VCL NAL单元。VCL NAL单元包含实际经编码视频数据。非VCL NAL单元包含附加信息。该附加信息可以是对经编码视频数据进行解码所需的参数，或者是可以增强经解码视频数据的可用性的补充数据。图2中的NAL单元206对应于条带(即，它们包括条带的实际经编码视频数据)并且构成图2的示例位流的VCL NAL单元。

对单个经编码图片进行编码的所有NAL单元(VCL和相关联的非VCL NAL单元)形成一个图片单元。在该示例中，非VCL NAL单元208与两个VCL NAL单元206相关联，并且这三个NAL单元可以一起形成一个图片单元。

不同的NAL单元201至205和209对应于不同的参数集，这些NAL单元是非VCL NAL单元。

DCI代表解码能力信息。DCI NAL单元201包含对于给定解码处理恒定的参数。

VPS代表视频参数集。VPS NAL单元202包含针对整个视频定义的参数(例如，整个视频包括图片/图像的一个或多于一个序列)，并且因此在解码整个位流的经编码视频数据时适用。

DCI NAL单元可以定义比VPS NAL单元中的参数更静态的参数(在参数稳定且在解码处理期间不改变那么多的意义上)。换句话说，DCI NAL单元的参数比VPS NAL单元的参数更不频繁地改变。

SPS代表序列参数集。SPS NAL单元203包含针对视频序列(即图片或图像的序列)定义的参数。具体地，SPS NAL单元可以定义视频序列的子图片布局及相关联参数。与各个子图片相关联的参数指定了应用于子图片的编码约束。根据变型，SPS NAL单元包括如下标志，该标志用于指示子图片之间的时间预测被限制，使得仅来自同一子图片的数据可用在时间预测处理期间。另一标志可启用或禁用跨子图片边界的环路滤波器(即，后滤波)。

PPS代表图片参数集。PPS NAL单元204包含针对图片或图片组定义的参数。如VVC8中所指定的PPS的句法包括用于指定图片以亮度样本为单位的大小的句法元素，并且还包括用于指定以区块和条带为单位的各个图片的分区的句法元素。PPS包含使得可以确定图片/帧中的条带位置的句法元素。

APS代表自适应参数集。APS包含用于环路滤波器的参数，环路滤波器通常是自适应环路滤波器(ALF)或整形器模型(或具有色度缩放的亮度映射(LMCS)模型)或在条带级别使用的缩放矩阵。

APS包括aps_params_type句法元素，其描述存在于APS中的参数的类型。例如，aps_params_type等于ALF_APS指示APS包含ALF参数；aps_params_type等于LMCS_APS指示APS包含LMCS参数，并且最后，当等于SCALING_APS时，指示存在缩放列表参数。

第二句法元素adaptation_parameter_set_id提供APS的标识符。

两种NAL单元可以封装APS：前缀APS NAL单元205和后缀APS NAL单元209。根据VVC8规范，当PU中存在前缀APS NAL单元时，前缀APS NAL单元不应跟随PU的最后VCL NAL单元。当PU中存在后缀APS NAL单元时，后缀APS NAL单元不应在PU的第一VCL NAL单元之前。在第一VCL NAL单元与最后VCL NAL单元之间，前缀APS NAL单元和后缀APS NAL单元可以按任何顺序存在。例如，第一后缀APS NAL之后可以跟随一个前缀NAL单元，接着是VCL NAL单元和另一后缀APS NAL单元。

SEI代表补充增强信息。位流还可以包含SEI NAL单元(图3中未示出)。

位流中各种参数集(或NAL单元)的出现频率(或包括频率)是可变的。针对整个位流定义的VPS可在位流中仅出现一次。相比之下，针对条带定义的APS可针对各个图片中的各个条带出现一次。实际上，不同条带可依赖于(例如，参考)相同APS，并且因此在图片的位流中通常存在比条带更少的APS NAL单元。

AUD NAL单元207是分离两个访问单元的访问单元定界符NAL单元。访问单元是可以包括具有相同解码时间戳的一个或多于一个经编码图片的NAL单元集合(即，与具有相同时间戳的一个或多于一个经编码图片有关的一组NAL单元)。

PH NAL单元208是图片头部NAL单元，其对单个经编码图片的条带集合共同的参数进行分组。图片可以参考一个或多于一个APS以指示由图片的条带使用的ALF参数、整形器模型和缩放矩阵。

VCL NAL单元206各自包含条带的视频/图像数据。条带可以对应于整个图片或子图片、单个区块或多个区块或区块的一小部分(部分区块)。例如，图2的条带包含数个区块220。条带由条带头部210和原始字节序列有效载荷(RBSP)211组成，原始字节序列有效载荷(RBSP)211包含编码为编码块240的经编码像素/成分样本数据。

条带头部210(其是VCL NAL单元206的一部分)和图片头部(其是PH NAL单元208的一部分)可以通过用信号通知包含所参考的APS的所述或各个APS NAL单元的标识符和类型来参考一个或多于一个APS中的参数。VVC8规范的要求是包括APS的NAL单元应在参考该APS的PH或VCL NAL单元之前。

图3示出可以实现本发明的一个或多于一个实施例的数据通信系统。数据通信系统包括传输装置(在这种情况下是服务器301)，其可操作以经由数据通信网络300将数据流的数据包传输至接收装置(在这种情况下是客户端终端302)。数据通信网络300可以是广域网(WAN)或局域网(LAN)。这种网络可以是例如无线网络(Wifi/802.11a或b或g)、以太网网络、互联网网络或由若干不同网络组成的混合网络。在本发明的特定实施例中，数据通信系统可以是数字电视广播系统，其中服务器301将相同的数据内容发送到多个客户端。

由服务器301提供的数据流304可以由表示视频和音频数据的多媒体数据组成。在本发明的一些实施例中，音频和视频数据流可以分别由服务器301使用麦克风和照相机来捕获。在一些实施例中，数据流可以存储在服务器301上或由服务器301从其他数据提供商接收，或在服务器301处生成。服务器301设置有用于对视频和音频流进行编码的编码器，特别是用以提供用于传输的压缩位流，该压缩位流是作为编码器的输入所呈现的数据的更紧凑表示。

为了获得更好的传输数据的质量与传输数据的量的比率，可以例如根据HEVC格式或H.264/AVC格式或通用视频编码(VVC)格式来压缩视频数据。

客户端302接收所传输的位流，并且解码重建的位流，以在显示装置上再现视频图像和利用扬声器再现音频数据。

尽管在图2的示例中考虑了流式传输场景，但将认识到，在本发明的一些实施例中，可以使用例如介质存储装置(诸如光盘等)来进行编码器与解码器之间的数据通信。

图4示意性地例示被配置为实现本发明的至少一个实施例的处理装置400。处理装置400可以是诸如微计算机、工作站或轻型便携式装置等的装置。装置400包括通信总线413，其连接到：

-表示为CPU的中央处理单元411，诸如微处理器等；

-表示为ROM的只读存储器406，其用于存储实现本发明的计算机程序；

-用于存储本发明实施例的方法的可执行代码的表示为RAM的随机存取存储器412，以及适于记录变量和参数的寄存器，该变量和参数是根据本发明实施例实现对数字图像序列进行编码的方法和/或对位流进行解码的方法所需的；以及

-连接至通信网络403的通信接口402，通过该通信接口传输或接收要处理的数字数据。

可选地，设备400还可以包括以下组件：

-诸如硬盘等的数据存储部件404，其用于存储实现本发明的一个或多于一个实施例的方法的计算机程序以及在实现本发明的一个或多于一个实施例期间所使用或产生的数据；

-用于盘406的盘驱动器405，该盘驱动器适于从盘406读取数据或将数据写入所述盘；

-屏幕409，其用于借助于键盘410或任何其他指示装置来显示数据和/或用作与用户交互的图形界面。

设备400可以连接到诸如数字照相机420或麦克风408等的各种外围设备，其各自连接到输入/输出卡(未示出)以向设备400提供多媒体数据。

通信总线提供设备400中所包括的或连接到设备400的各种元素之间的通信和互操作性。总线的表示不是限制性的，并且特别地，中央处理单元可操作地将指令直接或者借助于设备400的其他元素通信到设备400的任何元素。

盘406可以由诸如可重写或不可重写的致密盘(CD-ROM)、ZIP盘或存储卡等的任何信息介质代替，并且一般而言，由微计算机或微处理器可以进行读取的信息存储部件代替，该盘406集成到或不集成到设备中、可能可移动并且适于存储其执行使得能够实现根据本发明的对数字图像序列进行编码的方法和/或对位流进行解码的方法的一个或多于一个程序。

可执行代码可以存储在只读存储器406中、硬盘404上或可移动数字介质(诸如，例如如前述的盘406等)上。根据一变型，程序的可执行代码可以经由接口402借助于通信网络403来接收，以在执行之前存储在设备400的存储部件之一(诸如硬盘404等)中。

中央处理单元411适于控制和指导执行根据本发明的一个或多于一个程序的指令或软件代码的部分、存储在上述存储部件之一中的指令的执行。在通电时，存储在非易失性存储器中(例如，在硬盘404上或在只读存储器406中)的一个或多于一个程序被传递到随机存取存储器412中(其然后包含一个或多于一个程序的可执行代码)以及用于存储实现本发明所必需的变量和参数的寄存器。

在该实施例中，设备是使用软件来实现本发明的可编程设备。然而，可替代地，本发明可以以硬件(例如，以专用集成电路或ASIC的形式)来实现。

图5示出根据本发明的至少一个实施例的编码器的框图。编码器由所连接的模块表示，各模块适于例如以由装置400的CPU 411执行的编程指令的形式来实现根据本发明的一个或多于一个实施例的、用于实现对图像序列中的图像进行编码的至少一个实施例的方法的至少一个相应步骤。

编码器500接收数字图像i0至in的初始序列501作为输入。各数字图像由样本(有时也称为像素)集表示。

编码器500在实现编码处理之后输出位流510。位流510包括用于多个编码单元或诸如条带等的图像部分的数据，各条带包括用于对条带编码所用的编码参数的编码值进行传输的条带头部、以及包括编码视频数据的条带主体。

模块502将输入数字图像i0至in 501分割成像素块。块与图像部分相对应并且可以具有可变大小(例如，4×4、8×8、16×16、32×32、64×64、128×128像素、并且还可以考虑若干矩形块大小)。针对各输入块选择编码模式。提供了两个编码模式族：基于空间预测编码(帧内预测)的编码模式和基于时间预测的编码模式(帧间编码、合并、跳过)。测试了可能的编码模式。

模块503实现帧内预测处理，其中，通过根据要编码的给定块的相邻像素计算出的预测子来预测所述要编码的块。如果选择了帧内编码，则对所选择的帧内预测子以及给定块与其预测子之间的差的指示进行编码以提供残差。

时间预测由运动估计模块504和运动补偿模块505实现。首先，选择来自参考图像集516的参考图像，并且由运动估计模块504选择参考图像的一部分(也被称为参考区域或图像部分)，该部分是与要编码的给定块最接近(在像素值类似性方面最接近)的区域。然后运动补偿模块505使用所选择的区域来预测要编码的块。由运动补偿模块505计算所选择的参考区域与给定块(也称为残差块)之间的差。所选择的参考区域由运动信息(例如运动矢量)指示。

由此，在这两个情况下(空间和时间预测)，通过从初始块减去预测来计算残差。SKIP模式是例外。在这种情况下忽略任何残差。

在由模块503实现的帧内预测中，对预测方向进行编码。在时间预测中，对至少一个运动矢量进行编码。在由模块504、505、516、518、517实现的帧间预测中，至少一个运动矢量或用于识别这种运动矢量的信息(数据)被编码用于时间预测。

如果选择帧间预测，则对与运动矢量和残差块有关的信息进行编码。为了进一步降低位速率，假设运动是同质的，通过相对于运动矢量预测子的差对运动矢量进行编码。由运动矢量预测和编码模块517从运动矢量场518获得运动信息预测子的集合中的运动矢量预测子。

编码器500还包括选择模块506，该选择模块用于通过应用编码成本标准(诸如，率-失真标准等)来选择编码模式。为了进一步减少冗余，由变换模块507将变换(诸如DCT等)应用于残差块，然后，所获得的变换数据由量化模块508量化并且由熵编码模块509进行熵编码。最终，除了SKIP模式之外，正被编码的当前块的编码后的残差块被插入位流510中。

编码器500还进行编码图像的解码，以产生用于后续图像的运动估计的参考图像。参考图像的集合516被存储在存储器中。这使得接收位流的编码器和解码器能够具有相同的参考帧。逆量化模块511进行量化数据的逆量化(去量化)，之后是逆变换模块512的逆变换。逆帧内预测模块513使用预测信息来确定对于给定块使用哪个预测子，并且逆运动补偿模块514实际上将由模块512获得的残差添加到从参考图像集516获得的参考区域。

然后，由模块515应用后滤波以对所重建的像素帧(图像或图像部分)进行滤波。所得到的经滤波且经重建的帧被添加为集合516中的另一参考图像。

图6示出根据本发明实施例的解码器600的框图，解码器600可以用于从编码器接收数据。解码器由所连接的模块表示，各模块适于例如以要由装置400的CPU 411执行的编程指令的形式实现由解码器600实现的方法的相应步骤。

解码器600接收包括编码单元(例如，与图像部分、块或编码单元CU相对应的数据)的位流601，各编码单元由包含与经编码的参数有关的信息的头部和包含经编码的视频数据的主体组成。以上参考图2描述了VVC中的位流的示例结构。如关于图5所说明的，针对给定图像部分(例如，块或CU)，在预定数量的位上，对经编码的视频数据进行熵编码，并且对运动矢量预测子的索引进行编码。所接收的经编码的视频数据由模块602进行熵解码。然后残差数据由模块603去量化，之后由模块604应用逆变换以获得像素值。

用于指示编码模式的模式数据也被熵解码，并且基于该模式，对图像数据的编码块(单元/集合/组)进行帧内类型解码或帧间类型解码。

在帧内模式的情况下，帧内逆预测模块605基于在位流中指定的帧内预测模式来确定帧内预测子。

如果模式是帧间，则从位流提取运动预测信息以找到(识别)由编码器使用的参考区域。运动预测信息由参考帧索引和运动矢量残差组成。运动矢量预测子由运动矢量解码模块610添加到运动矢量残差以获得运动矢量。

运动矢量解码模块610对通过运动预测编码的各图像部分(例如，当前块或CU)应用运动矢量解码。一旦已获得针对当前块CU的运动矢量预测子的索引，可以对与图像部分(例如，当前块或CU)相关联的运动矢量的实际值进行解码，并且该实际值用于通过模块606应用逆运动补偿。从参考图像/图片的集合608中的参考图像提取由经解码的运动矢量指示的参考图像部分，使得模块606可以进行运动补偿。利用经解码的运动矢量更新运动矢量场数据611，以用于后续解码运动矢量的逆预测。

最终，获得经解码的块。在适当的情况下，后滤波由后滤波模块607应用。解码器600最终提供经解码的视频信号609。

图7示出根据本发明的实施例的由编码器500进行的用于将视频的图片编码到位流中的编码方法的部分。处理循环701连续地将步骤702至705应用于要编码的各个图片。图片的编码开始于将图片样本压缩成通常为条带的部分。在步骤702中，图片被分割成一个或多于一个条带，并且条带被连续地压缩。压缩条带涉及将条带拆分成编码单元，各个编码单元例如使用帧内或帧间预测来编码。在步骤703中，确定配置诸如自适应环路滤波器(ALF)或LMCS滤波器等的环路滤波器的参数集合。在另一示例中，确定用于残差的量化的缩放参数。这些参数通常在APS中编码。

各个APS具有APS类型(例如，ALF_APS、LMCS_APS或SCALING_APS)和APS标识符。在步骤704中，根据APS容器的内容设置APS类型。编码器维持针对每个APS类型使用的标识符列表。这些列表各自包含APS的APS标识符，针对该APS，在步骤703中确定了相关APS类型的APS参数。在处理循环701的第一次迭代之前，将各个列表初始化为空状态。

对于给定类型的APS，步骤704基于先前确定的APS及其标识符值来确定要与当前APS相关联的标识符值。

例如，以下应用于各种类型的APS。确定当前APS的APS内容(APS参数)是否与具有存在于相同类型的APS的先前标识符列表中的现有标识符的先前APS相同。如果是，则将现有标识符与当前APS相关联。

否则，由于具有存在于列表中的现有标识符的所有APS具有与当前APS不同的内容，因此必须将新的标识符与当前APS相关联，然后插入列表中。在任何给定时间都有有限数量的可能标识符值可供使用，并且如果已经使用了所有可能的标识值，则确定列表内的现有APS标识符，其中当前APS将在列表中替换该现有APS标识符。例如，所确定的APS可以是最不频繁使用的APS或者可替代地是最旧的APS。

在步骤705中，编码器然后生成包含经编码数据的NAL单元。特别地，编码器生成包含APS的NAL单元、条带NAL单元以及可选地图片头部NAL单元。

APS NAL单元用信号通知APS的类型和标识符。例如，APS的句法元素可以如下：

adaptation_parameter_set_id句法元素是APS的标识符值，并且aps_params_type是APS的类型。取决于APS类型，可以提供ALF参数alf_data()、LMCS参数lmcs_data())或缩放列表数据scaling_list_data()。

在给定图片单元中，当APS存在于第一VCL NAL单元之前时，编码器必须使用前缀APS NAL单元，并且当APS跟随PU的最后VCL时，编码器必须使用后缀NAL单元。在第一VCLNAL单元与最后VCL NAL单元之间，编码器可使用前缀APS NAL单元或后缀APS NAL单元(除非在本发明的一些实施例中另有说明)。

条带NAL单元的头部或图片头部可以通过参考APS的类型和标识符而参考这些APSNAL单元。然而，由于条带NAL单元的头部或图片头部具有针对APS标识符有着规定语义的句法元素，并且对于各个APS类型，APS标识符的语义不同，因此APS类型在语义中是隐式的且可由解码器推断。

编码器用信号通知图片头部参考针对环路滤波器参数的特定APS。例如，在VVC8中当前预期的实现中，图片头部包括以下句法元素：

该预期实现中的图片头部包括用于对PU的条带应用ALF滤波的数个ALF APS标识符。这些标识符例如由ph_alf_aps_id_luma[i](其中i在0到ph_num_alf_aps_ids_luma的范围内)句法元素指定。ph_num_alf_aps_ids_luma指定针对亮度成分的ALF滤波的在图片头部中用信号通知的APS标识符的数量。另外，ph_alf_aps_id_chroma、ph_cc_alf_cb_aps_id和ph_cc_alf_cr_aps_id句法元素指定针对色度成分的ALF APS标识符。

该预期实现中的图片头部还包括ph_lmcs_aps_id句法元素，该元素指示具有LMCS_APS类型(即，aps_params_type)的APS(其包含应用于当前PU的LMCS参数)的标识符。

类似地，图片头部包括ph_scaling_list_aps_id，其指定具有aps_params_type的APS的标识符，该aps_params_type等于定义用于当前PU的缩放列表数据的SCALING_APS。

在本发明的实施例中不需要使用所有不同的APS类型，并且可以设想仅具有一种或两种APS类型的替代实现。此外，具体的APS类型是什么也不重要。例如，可以预期针对除了ALF之外的滤波器的参数。参数也不限于滤波参数。

当使用中的APS对于PU的各个条带或者对于PU的两个或多于两个条带不同时，可以针对图片头部中的一个或多于一个条带用信号通知APS标识符。可替代地，可以在条带头部中而非在图片头部NAL单元中(或作为覆写值)用信号通知APS标识符。例如，在VVC8中预期的一个实现中，条带头部可以包括以下句法元素：

条带头部可以(例如)定义slice_alf_aps_id_luma[i]，其是由针对亮度成分的条带使用的第i个ALF APS标识符。对于图片头部，slice_alf_aps_id_chroma、slice_cc_alf_cb_aps_id和slice_cc_alf_cr_aps_id可以指示针对色度成分的ALF APS的标识符。

图8示出根据本发明实施例的经编码视频序列的一般解码处理。构成经编码视频序列的NAL单元的解码处理涉及使用循环801来连续地处理经编码视频序列的图片单元的NAL单元。对于各个NAL单元，在步骤802中，解码器通过解析NAL单元头部来确定NAL单元的类型。例如，在VVC中，NAL单元头部为2字节长且包含按以下顺序的五个句法元素：

第一个forbidden_zero_bit是通常应等于0的位。当等于1时，NAL单元的内容是未指定的，并且应被符合解码器忽略。接着，nuh_reserved_zero_bit是等于0的位。nuh_layer_id是由6个位表示的整数值。其指定经编码视频序列中的层的标识符。该句法元素之后是nal_unit_type，其是在5个位上编码的整数并且表示NAL单元的类型。针对各种不同类型的NAL单元分配唯一值。例如，对于前缀APS NAL单元，nal_unit_type可以等于17，并且对于后缀APS NAL单元，nal_unit_type可以等于18。最后，2字节NAL单元头部的最后三个位对nuh_temporal_id_plus1句法元素进行编码。其指示NAL单元的时间级别。

然后，解码处理在步骤803中继续，其中根据NAL单元的类型对NAL单元数据进行解码。

具体地，现在参考图9，在步骤901中检查NAL单元是否包含APS。如果是，则按照如下解码前缀APS NAL单元和后缀APS NAL单元(对于VVC8，nal_unit_type等于17或18)：首先，解码器在步骤902中解析APS的类型(在APS的aps_params_type句法元素中指定)，并且在步骤903中解析APS NAL单元的标识符(adaptation_parameter_set_id句法元素)。

在步骤904中，解码器然后将包含在NAL单元中的APS数据存储在存储器中。APS数据与对应于步骤902和903中所解析的类型和标识符的一对值相关联。另外，解码器还可以将布尔值与所存储的APS数据相关联，所述布尔值指定当前APS是作为后缀NAL单元还是前缀NAL单元提供。

另外，解码器可以存储表示当前APS NAL单元相对于其他NAL单元的位置的位置数据。例如，当前APS NAL单元的位置可以由NAL单元从经编码视频序列的开始起的索引及其所属的PU的索引的组合来表示。当条带或图片头部NAL单元参考具有一对APS类型和APS标识符值的APS时，该信息使得解码器可以确定要使用的APS数据。…

存储器的存储APS数据的部分可以被称为APS缓冲器。

VCL(即，包含条带头部)和图片头部(PH)NAL单元的解码处理在图10中示出。

在步骤1001中，解码器首先检查NAL单元类型是否与VCL或PH NAL单元相对应。对于VVC8，与范围从0到12的nal_unit_type相对应，或者在图片头部的情况下，等于19。当验证了NAL单元是VCL/PH NAL单元时，解码器应用步骤1002至1006。在步骤1002中，解析NAL单元中包含的条带或图片头部以确定对APS的参考。对于各种APS类型，解码器使用APS标识符维持参考列表。

首先，当NAL单元包含图片头部时，对APS的参考可以应用于PU的所有条带。在步骤1003中，提取图片头部中存在的APS标识符和APS类型，并且对于各种APS类型，更新对相关APS类型的APS的参考的列表。

步骤1003涉及解析以下句法元素(当存在时)的值：

-ph_lmcs_aps_id句法元素，其指示APS类型LMCS_APS的任何APS的APS标识符。当不存在时，可能不应用LMCS滤波，并且在对该APS类型的APS的参考的列表中不插入任何内容。否则，将所解析的值添加到与LMCS_APS类型相关联的列表中。

-ph_scaling_list_aps_id句法元素，其指定具有等于SCALING_APS的类型的APS的标识符。当不存在时，缩放列表可以使用默认值，并且对该APS类型的APS的参考的列表不变。否则，解码器将所解析的值添加到与SCALING_APS类型相关联的列表。

-ph_alf_aps_id_luma[i]，其中i在0到ph_num_alf_aps_ids_luma和/或ph_cc_alf_cb_aps_id和/或ph_cc_alf_cr_aps_id和/或ph_alf_aps_id_chroma句法元素的范围内。这些句法元素指示具有等于ALF_APS的类型的APS的标识符。当对于成分不存在时，可以指示不将ALF应用于相关成分或者使用默认值。该APS类型的列表维持不变。否则，将各个所解析的值添加到与ALF_APS类型相关联的列表。

当NAL单元是VCL NAL单元(对于VVC8，nal_unit_type在0到12的范围内)时，包含条带头部。该条带头部可以包括对通过在步骤1002中解析条带头部而找到的APS的参考。例如，在VVC8中，条带头部的slice_alf_aps_id_luma[i]、slice_alf_aps_id_chroma、slice_cc_alf_cb_aps_id和slice_cc_alf_cr_aps_id句法元素指示对ALF APS的参考。当存在于条带头部中时，解码器将所解析的标识符值存储在与步骤1003中的ALF_APS类型相关联的参考APS列表中。

然后，在步骤1004中，解码器从在步骤904中填充的APS缓冲器中检索具有在步骤1003中确定的APS参考列表中存在的类型和标识符的APS。这些APS被标记为用于当前PU的VCL NAL单元的解码。可选地，在步骤1005中，解码器检查对包含在图片头部或条带头部中的APS的参考是否有效。例如，如果在步骤1003中更新参考列表之后，列表包含对APS缓冲器中不存在的APS的参考，则在APS缓冲器中不存在具有相同APS类型和APS标识符的APS的意义上，解码器可以返回错误，并且解码器可以停止条带或PU的解码。实际上，解码一个图片单元的条带或图片头部所需的所有APS必须在参考APS的NAL单元之前提供。

在步骤1006中，解码NAL单元。在PH NAL单元的情况下，图片头部的解码主要包括解析NAL单元中提供的参数。参数被存储在存储器中，用于解码PH所属的PU的VCL NAL单元。VCL NAL单元的解码涉及对编码单元进行解码。解码器通常使用在图片头部NAL单元(以及其他非VCL NAL单元)中解析的参数来解码像素值。具体地，解码器使用如在步骤1003中更新的对APS的参考的列表来访问APS缓冲器中的APS，然后使用所参考APS的APS参数来应用LMCS、缩放变换和ALF滤波。

返回图8，在步骤802中，解码器可以确定除了APS、PH和VCL NAL单元之外的其他NAL单元类型，诸如参数集NAL单元和SEI消息等。在这种情况下，步骤803中的NAL单元的解码涉及解析NAL单元中存在的参数并将其存储在存储器中以用于解码可以参考这些参数的VCL NAL单元。

第一组实施例

上述提出的VVC8句法结构在实践中可能导致某些问题。例如，存储使用中的APS所需的APS缓冲器的大小可能过大。此外，管理APS所需的处理的量也可能过多。下面参考图11A解释这些问题。

图11A示出符合VVC8的示例位流。为了符合VVC8，要求在给定图片单元中：

(a)如果APS在图片单元的第一VCL NAL之前存在于该图片单元中，则该APS必须包含在前缀APS NAL单元中；以及

(b)如果APS在图片单元的最后VCL NAL之后存在于该图片单元中，则该APS必须包含在后缀APS NAL单元中。

另一方面，在PU的第一VCL NAL单元与最后VCL NAL单元之间，编码器可以使用前缀APS NAL单元或后缀APS NAL单元。

存在其他约束：

(c)与特定VCL NAL单元相关联的前缀APS NAL单元或后缀APS NAL单元不由该特定VCL NAL单元使用，而是由按解码顺序跟随该前缀APS NAL单元或后缀APS NAL单元的VCLNAL单元使用。

VVC8按照如下定义VCL与非VCL NAL单元之间的关联：

(1)相关联的非VCL NAL单元：VCL NAL单元的非VCL NAL单元(当存在时)，其中VCLNAL单元是非VCL NAL单元的相关联的VCL NAL单元。

(2)相关联的VCL NAL单元：具有等于EOS_NUT、EOB_NUT、SUFFIX_APS_NUT、SUFFIX_SEI_NUT、FD_NUT、RSV_NVCL_27或在UNSPES_30…UNSPES_31的范围内的nal_unit_type的非VCL NAL单元的按解码顺序在前的VCL NAL单元；或者否则按解码顺序的下一VCL NAL单元。

这些定义的效果是与后缀NAL单元相关联的VCL NAL单元是按解码顺序在相关后缀APS NAL单元前面的VCL NAL单元，并且与前缀NAL单元相关联的VCL NAL单元是按解码顺序跟随相关后缀APS NAL单元的VCL NAL单元。

图11A的兼容位流具有三个图片单元PU-01、PU-02和PU-03的NAL单元。

第一图片单元PU-01具有PH NAL单元，其后是作为前缀APS NAL单元的NAL单元NAL-01。该前缀APS NAL单元提供具有等于0的标识符的第一APS类型(例如ALF类型)的APS。在图11A中，第一APS类型由水平阴影线表示。在PU-01中，单个条带NAL单元NAL-02在前缀APS NAL单元NAL-01之后。该条带参考具有0的APS标识符的APS(例如，slice_alf_aps_luma[0]等于0)。

在第二图片单元PU-02中，第一NAL单元NAL-03是也具有等于0的标识符但具有不同类型(例如，其包含LCMS参数)的前缀NAL单元。该第二APS类型(例如，LMCS类型)由垂直阴影线表示。然后，图片头部(PH)NAL单元NAL-04通过指示ph_lmcs_aps_id等于0来参考针对LMCS参数的该APS。随后的条带NAL单元NAL-05参考在前一图片单元PU-01的NAL单元NAL-01中提供的具有等于0的标识符的ALF APS。注意，条带NAL单元NAL-05与后缀APS NAL单元NAL-06相关联，因为按解码顺序条带NAL单元NAL-05在后缀APS NAL单元NAL-06之前。这意味着，在约束(c)下，VCL NAL单元NAL-05不能使用后缀APS NAL单元NAL-06的APS。

图片单元PU-02还包含后缀APS NAL单元NAL-06，所述后缀APS NAL单元NAL-06包含具有等于0的标识符的ALF APS。该APS具有与NAL单元NAL-01的APS相同的类型(ALF，水平阴影线)和相同的标识符(0)。编码器因此将ALF类型和标识符0的APS更新为NAL单元NAL-06的APS。条带NAL单元NAL-07参考具有等于0的标识符的ALF APS，且因此参考NAL-06的ALFAPS。这与约束(c)一致，因为NAL-07按解码顺序跟随NAL-06。因此，NAL-07不是与APS NAL单元NAL-06相关联的VCL NAL单元。

在该示例位流中，PU-02的条带NAL-05和NAL-07分别参考使用相同标识符值的两个不同ALF APS，但位流中的APS NAL单元的顺序暗示用于两个相关条带的ALF APS参数是不同的(或者被许可不同；并不排除编码器使NAL-01和NAL-06的内容相同)。结果，为了解码图11A的位流，解码器必须针对APS标识符和APS类型的给定一对值(在图9的步骤904中)在存储器中存储两个版本的APS。在最坏情况示例中，解码器可能必须使存储器大小加倍(以维持两个版本的各个APS)以存储解码图片单元所需的APS。另外，解码器必须维持VCL NAL单元相对于APS NAL单元的顺序，以确定哪些VCL NAL单元参考APS NAL单元的第一版本或第二版本。

为了解决这些问题，第一组实施例对句法结构施加其他约束以确保PU的条带参考APS的单个版本。

顺便提及，在VVC8中，仅许可ALF参数(而不是LMCS参数或缩放列表)在同一图片单元中从一个条带改变到另一条带。然而，VVC的未来版本通常可以允许APS参数改变，并且以下实施例不限于解决针对PU的条带的ALF APS参数的两个或多于两个版本的问题。

第一实施例

在第一实施例中，位流编码的其他约束(除了VVC8约束之外)是：

(d1)前缀APS NAL单元必须在PU的VCL NAL单元(即图片单元的第一条带NAL单元)之前。

换句话说，VVC8的自由度受约束，使得在PU的第一VCL NAL单元与最后VCL NAL单元之间，编码器可以不使用前缀APS NAL单元。结果，防止了在第一VCL NAL单元之后在前一图片单元中发送的APS的更新。在第一VCL NAL单元之前进行该更新，且因此第一VCL NAL单元(或图片单元的任何后续VCL NAL单元)不能参考在当前图片单元中更新的先前版本的APS。

在步骤1005中，解码器检查位流的约束是否有效。如果不是，则解码器可以中止解码处理。

编码器在步骤705中生成NAL单元，使得位流约束有效。例如，编码器生成仅在各个PU中的第一VCL NAL单元之前的前缀NAL单元。

第二实施例

在第二实施例中，位流编码的其他约束(除了VVC8约束之外)是：

(d2)后缀APS NAL单元在(最后)VCL NAL单元之后。

类似于在第一实施例中施加的对前缀NAL单元的约束(d1)，防止了在最后VCL NAL单元之前在前一PU中发送的APS的更新。后缀中的APS不能更新在前一PU中发送的APS。例如，图11A的位流是不符合的，因为后缀APS NAL-06是在图片单元PU-02的最后VCL NAL单元NAL-07之前发送的。因此，解码器可以在步骤1005中认为位流是不符合的，并且可以返回解码警告或错误以通知该问题。

第三实施例

当然，第一实施例和第二实施例的其他约束(d1)和(d2)都可以被组合施加。

图11B是根据本发明的第二实施例或第三实施例的利用编码器生成的位流的示例。在该示例中，图片单元PU-01、PU-02和PU-03等同于图11A中的图片单元。主要区别在于编码器(在步骤704中)约束PU-02中的APS NAL单元NAL-07的顺序：图11A中的图片单元PU-02的后缀APS NAL-06的等效物在图11B中的图片单元PU-02中的最后VCL NAL单元(现在是NAL-06)之后作为NAL-07被发送。两个NAL单元NAL-05和NAL-06中的条带参考具有标识符0和等于ALF的类型的ALF APS：在前缀APS中发送的APS在前一PU中或在当前PU的开始处发送，或者在后缀APS中发送的APS仅在前一PU中发送。

解码904在存储器消耗方面更有效，因为需要单个版本的APS来解码PU的所有条带。

另外，这些APS在前一PU中或者在当前PU的开始处提供，这简化了APS缓冲器的更新处理。解码PU的第一VCL NAL单元是确认为APS缓冲器状态准备好解码，这对于符合VVC8的位流并非这种情况。此外，简化了必须选择具有给定标识符和类型的APS的适当版本的步骤1004，因为本发明确保PU的所有条带将使用APS的唯一版本。

尽管图11B呈现了第二实施例/第三实施例的示例，但是应当理解，在第一实施例中实现了相同或相应的优点。当组合使用第一实施例和第二实施例的约束(d1)和(d2)时，实现了最佳优点。

第二组实施例

由VVC8句法结构引起的其他问题由下面描述的第二组实施例应对。

VVC8中的APS使得可以针对位流的一个或多于一个条带重新使用参数。这些一个或多于一个条带可以属于不同的图片单元。例如，图12A的位流具有三个图片单元PU-01、PU-02和PU-03。PU-01包含两个前缀APS NAL单元NAL-02和NAL-06以及两个后缀APS NAL单元NAL-04和NAL-08。在该示例中，这些前缀和后缀APS NAL单元与图片单元PU-01的VCL NAL单元NAL-03、NAL-05和NAL-08交织。NAL-02、NAL-04和NAL-06的APS分别具有不同的APS类型(例如ALF、缩放列表和LMCS)，但具有相同的标识符0。NAL-08的APS具有ALF类型的(如NAL-02的APS那样)，并且具有标识符1。

图片单元PU-02包含两个条带NAL单元NAL-09和NAL-10。编码器在步骤703中确定PU-01的APS对于下一PU PU-02有效。条带NAL-09可以例如参考NAL-06，并且条带NAL-10可以参考NAL-08。在对PU PU-02进行编码时，编码器基于条带NAL-10的内容确定具有等于0的标识符的类型LMCS的APS需要更新。为此，已经针对具有标识符0的类型LMCS的APS生成了新参数。后缀APS NAL单元NAL-11包括该APS，因为NAL单元NAL-11在最后VCL NAL单元NAL-10之后(根据上文的约束(a)，前缀APS NAL单元不能跟随PU的最后VCL NAL单元)。

当应用对位流进行随机访问以在图片单元PU-02处开始解码时(假设PU-02是随机访问点)，应用必须在PU PU-02的条带NAL单元之前提供NAL单元NAL-06和NAL-08。结果，如图12B所示，在PU PU-02的开始处在NAL单元NAL-09之前插入NAL-06和NAL-08。图12B中所示的所得位流打破了VVC8的两个约束。这将使解码的步骤1005进入错误状态。

首先，NAL-08是在PU的第一VCL NAL单元之前的后缀APS NAL单元，并且根据上面的约束(a)，当在PU的第一VCL NAL之前发送APS时，编码器必须使用前缀APS NAL单元。在图12B的示例中，后缀NAL单元NAL-08插入在PU PU-02的第一VCL NAL单元之前，这不符合VVC。

其次，PU-02具有包含具有相同标识符(0)和类型(LMCS)但具有不同内容的APS的后缀APS NAL单元NAL-11和前缀APS NAL单元NAL-06，这在VVC8中是不允许的。

因此，如图12C所示，应用必须重写前缀APS NAL单元NAL-08的类型(nal_unit_type)以生成新的前缀APS NAL单元NAL-23(nal_unit_type被设置为等于18)。另外，应用必须移动并重写图12B的后缀APS NAL单元NAL-11作为PU PU-03的开始处的新前缀APS NAL单元NAL-24。如果该PU-03PU也碰巧包含具有与NAL-24相同的标识符和类型的APS NAL单元，则应用也可能必须移动并重写该APS NAL单元。

使位流符合VVC8的这些移动操作是成本高的，因为在最坏情况下，可能需要重写在随机访问的图片单元之后的PU的所有APS NAL单元。

为了解决这些问题，第二组实施例对句法结构施加、移除或修改约束，以确保存在更少的重写操作或甚至没有重写操作。

第四实施例

在VVC8中，约束(除了上述约束(a)和(b)之外)是具有相同APS类型和相同标识符的任何APS必须具有相同的内容。即使APS在不同APS NAL单元类型(后缀和前缀)的意义上是不同的，该约束也适用。换句话说，如果需要与现有APS参数不同的新APS参数，则编码器必须将不同的APS类型和标识符组合分配给承载新APS参数的APS NAL单元，或者如果没有可用的组合，则必须替换现有APS(诸如最旧的现有APS等)。

在第四实施例中，解码器允许具有相同的类型和标识符的后缀和前缀APS NAL单元具有不同的内容。结果，如果以下陈述对于符合第四实施例的位流有效，则位流有效(即，通过了步骤1005中的符合性检查)：

(e)PU内具有特定NAL单元类型(nal_unit_type)以及adaptation_parameter_set_id的特定值和aps_params_type的特定值的所有APS NAL单元应具有相同的内容

结果，NAL单元NAL-11的移动操作不是必需的，因为NAL单元NAL-06(前缀APS NAL单元)具有与NAL单元NAL-11(后缀APS NAL单元)不同的NAL单元类型。图12D表示没有针对NAL单元NAL-11的移动操作的位流。

第五实施例

上述第四实施例允许具有相同的APS标识符和类型的前缀APS NAL单元和后缀APSNAL单元具有不同的内容。然而，该修改的一个结果是使得可以通过使用用于提供APS的不同类型的NAL单元来更新两个条带之间的APS。例如，现在参考图13，PU PU-01以图片头部NAL单元NAL-01开始。该PU包含两个APS NAL单元NAL-02和NAL-04，这两个APS NAL单元包含具有相同标识符和相同类型但内容不同的APS。NAL-02是前缀NAL单元，并且NAL-04是后缀NAL单元。结果，条带NAL-03可以参考NAL-02APS NAL单元中的APS参数，而条带NAL-05参考NAL-04APS NAL单元中的参数。结果，PU PU-01的解码需要附加存储器来存储具有类型和标识符值的相同组合的两个版本的APS。

在第五实施例中，在约束是当前PU的NAL单元不参考后缀APS NAL单元中的APS、而不管后缀APS NAL单元在该PU中的位置如何的情况下，编码器可以在给定PU内生成后缀APSNAL单元。包含后缀APS NAL单元的位流应符合以下约束：

(f)后缀APS NAL单元不由包含该后缀APS NAL单元的PU的VCL NAL单元使用，而是由按解码顺序在该后缀APS NAL单元之后的PU的VCL NAL单元使用。

参考图13的示例，在第五实施例中，后缀APS NAL单元NAL-04仅可供后续PU中的NAL单元使用。因此，条带NAL-05不能参考后缀APS NAL单元NAL-04中的参数。下一PU PU-02的条带NAL-09及NAL-10可以参考后缀APS NAL单元NAL-04中的APS。然而，由于NAL-04中的APS具有与NAL-02中的APS相同的标识符和类型，因此这些条带(NAL-09和NAL-10)不能参考NAL-02中的APS的初始版本。

第六实施例

除了第五实施例的PU的NAL单元不应参考该PU的后缀APS NAL单元内的APS的约束之外，第六实施例禁止给定PU中的前缀NAL单元和后缀NAL单元的某些混合。这意味着：

(g1)当PU中存在前缀APS NAL单元时，这些前缀APS NAL单元不应跟随该PU的最后VCL NAL单元或后缀APS NAL单元；以及

(g2)当PU中存在后缀APS NAL单元时，这些后缀APS NAL单元不应在该PU的第一VCL NAL单元或前缀APS NAL单元前面。

换句话说，当在PU的第一VCL NAL之前发送APS时编码器必须使用前缀APS NAL单元的约束(a)和当APS跟随PU的最后VCL时编码器必须使用后缀NAL单元的约束(b)仍然适用。然而，在PU的第一VCL NAL单元与最后VCL NAL单元之间，编码器可以以任何混合使用前缀APS NAL单元或后缀APS NAL单元的自由度受约束。仅许可顺序是前缀APS NAL单元然后是后缀APS NAL单元的混合。该约束独立于APS类型和APS标识符。在变型中，约束可以应用于一种APS类型，但不应用于另一种APS类型。

这简化了解码处理，因为一旦解码器解析位流的第一后缀APS NAL单元，解码器就能够确定为在给定PU中可参考的APS的列表完成。

第七实施例

如在第四实施例中，第七实施例允许具有相同类型和标识符的后缀APS NAL单元和前缀APS NAL单元具有不同的内容。因此，约束(e)应用于符合第七实施例的位流：

(e)PU内具有特定NAL单元类型、adaptation_parameter_set_id的特定值和aps_params_type的特定值的所有APS NAL单元应具有相同的内容

还施加了第二实施例的其他约束：

(d2)后缀APS NAL单元必须在最后VCL NAL单元之后。

该约束独立于APS类型和APS标识符。在变型中，约束可以应用于一种APS类型，但不应用于另一种APS类型。

VVC8的约束(a)和(b)仍然适用。在PU的第一VCL NAL单元与最后VCL NAL单元之间，编码器可以以任何混合使用前缀APS NAL单元或后缀APS NAL单元的自由度受约束(d2)约束。这防止了PU的任何VCL NAL单元或图片头部参考后缀APS NAL单元中所定义的APS。实际上，为了被参考，APS应当在参考它的NAL单元之前被提供。该最后约束暗示了后缀APSNAL单元中的APS在可以参考给定PU中的APS的所有NAL单元之后。仅来自按解码顺序的下一PU的VCL NAL单元可以参考这些APS。

第八实施例

第八实施例建立在第四实施例至第六实施例中的任一个上，并且增加了第一实施例的另外约束：

(d1)前缀APS NAL单元必须在第一VCL NAL单元之前。

VVC8的约束(a)和(b)仍然适用。在PU的第一VCL NAL单元与最后VCL NAL单元之间，编码器可以以任何混合使用前缀APS NAL单元或后缀APS NAL单元的自由度受约束(d1)约束。

这不仅防止了复杂的重写操作，而且还确保解码器不必缓冲两个版本的APS以用于解码给定PU的条带，如关于第一实施例所说明的。

第九实施例

第九实施例建立在第七实施例上，并且增加了以上另外的约束：

(d1)前缀APS NAL单元必须在第一VCL NAL单元之前。

第十实施例

在第十实施例中，编码器允许后缀APS NAL单元和前缀APS NAL单元在共用相同类型和标识符的APS时具有不同的内容。另外，符合的位流需要以下约束：

(h1)在PU内，参考具有特定标识符值和特定类型值的APS的VCL NAL单元后面不应跟随包含具有这些特定值的标识符和类型的APS的前缀APS NAL单元。

该实施例使得可以在两个VCL NAL单元之间提供前缀APS NAL单元和后缀APS NAL单元。如果编码器需要生成具有针对下一PU的APS的新APS NAL单元，则编码器不必针对数个VCL NAL单元缓冲APS。

约束(h1)确保当使用相同的标识符和类型值时，同一PU的两个条带将不参考(在前缀APS NAL单元中提供的)不同APS。

在变型中，编码器可以利用参数集头部(诸如PPS或SPS等)中的标志在SPS中用信号通知是否允许交织的APS。

第十一实施例

在第十一实施例中，编码器允许后缀APS NAL单元和前缀APS NAL单元在共用相同类型和标识符的APS时具有不同的内容。另外，符合的位流需要以下约束：

(h2)在PU内，参考具有特定标识符值和特定类型值的APS的VCL NAL单元前面不应是包含具有这些特定值的标识符和类型的APS的后缀APS NAL单元。

该实施例使得可以在两个VCL NAL单元之间提供前缀APS NAL单元和后缀APS NAL单元。如果编码器需要产生具有针对下一PU的AP的新APS NAL单元，则编码器不必缓冲针对数个VCL NAL单元的APS。

约束(h2)确保后缀APS NAL单元不用于给定PU中的NAL单元，而是仅由后续PU的VCL NAL单元使用。

第十二实施例

在第十二实施例中，编码器允许后缀APS NAL单元和前缀APS NAL单元在共用相同类型和标识符的APS时具有不同的内容。另外，第十实施例和第十一实施例中分别应用的约束(h1)和(h2)这两者对于符合的位流都是必需的。

该实施例使得可以在两个VCL NAL单元之间提供前缀APS NAL单元和后缀APS NAL单元。如果编码器需要生成具有针对下一PU的APS的新APS NAL单元，则码器不必缓冲针对数个VCL NAL单元的APS。

第一组实施例的其他实施例

在第二组实施例的实施例中使用的某些措施对于解决由第一组实施例应对的问题也是有用的。因此，第一组实施例的其他实施例设想如下。这些其他实施例不需要解决随机访问问题，因此不涉及第四实施例至第十二实施例的约束(e)，即PU内具有特定NAL单元类型(nal_unit_type)以及特定值的adaptation_parameter_set_id和特定值的aps_params_type的所有APS NAL单元应具有相同的内容。

第十三实施例

该实施例组合以下约束：

(h1)在PU内，参考具有特定标识符值及特定类型值的APS的VCL NAL单元后面不应跟随包含具有这些特定值的标识符和类型的APS的前缀APS NAL单元；以及

(d2)后缀APS NAL单元必须在最后VCL NAL单元之后。

第十四实施例

该实施例组合以下约束：

(h2)在PU内，参考具有特定标识符值和特定类型值的APS的VCL NAL单元前面不应是包含具有这些特定值的标识符和类型的APS的后缀APS NAL单元；以及

(d1)前缀APS NAL单元必须在第一VCL NAL单元前面。

第十五实施例

该实施例组合以下约束：

(h1)在PU内，参考具有特定标识符值和特定类型值的APS的VCL NAL单元后面不应跟随包含具有这些特定值的标识符和类型的APS的前缀APS NAL单元；以及

在本实施例中既不需要约束(d1)也不需要约束(d2)。

本发明实施例的实现

还应理解，根据本发明的其他实施例，在诸如计算机、移动电话(蜂窝电话)、平板或能够向用户提供/显示内容的任何其他类型的装置(例如，显示设备)等的用户终端中提供根据上述实施例/变型的解码器。根据又一实施例，在图像捕获设备中提供根据上述实施例/变型的编码器，该图像捕获设备还包括用于捕获和提供内容以供编码器进行编码的照相机、摄像机或网络照相机(例如，闭路电视或视频监视照相机)。以下参见图14和15提供两个这样的实施例。

图14是例示包括网络照相机1402和客户端设备1404的网络照相机系统1400的图。

网络照相机1402包括摄像单元1406、编码部1408、通信单元1410和控制单元1412。网络照相机1402和客户端设备1404经由网络300相互连接以能够彼此通信。

摄像单元1406包括镜头和图像传感器(例如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))，并捕获对象的图像并基于该图像生成图像数据。该图像可以是静止图像或视频图像。摄像单元还可以包括分别适于缩放或平摇(光学地或数字地)的缩放部件和/或平摇部件。

编码部1408通过使用在前述实施例/变型的一个或多于一个中说明的所述编码方法来对图像数据进行编码。编码部1408使用在前述实施例/变型中说明的编码方法中的至少之一。对于其他实例，编码部1408可以使用在前述实施例/变型中说明的编码方法的组合。

网络照相机1402的通信单元1410将由编码部1408编码的经编码的图像数据传输至客户端设备1404。

此外，通信单元1410还可以接收来自客户端设备1404的命令。命令包括用于设置用于编码部1408的编码的参数的命令。

控制单元1412根据通信单元1410接收到的命令、或者用户输入来控制网络照相机1402中的其他单元。

客户端设备1404包括通信单元1414、解码部1416和控制单元1418。

客户端设备1404的通信单元1414可以向网络照相机1402传输命令。此外，客户端设备1404的通信单元1414从网络照相机1402接收经编码的图像数据。

解码部1416通过使用在前述实施例/变型中的一个或多于一个中说明的所述解码方法来对经编码的图像数据进行解码。对于其他实例，解码部1416可以使用在前述实施例/变型中说明的解码方法的组合。

客户端设备1404的控制单元1418根据由通信单元1414接收的用户操作或命令来控制客户端设备1404中的其他单元。客户端设备1404的控制单元1418还可以控制显示设备1420以显示由解码部1416解码的图像。

客户端设备1404的控制单元1418还控制显示设备1420以显示用于指定网络照相机1402的参数(例如用于编码部1408的编码的参数)的值的GUI(图形用户界面)。客户端设备1404的控制单元1418还可以根据对显示设备1420所显示的GUI的用户操作输入来控制客户端设备1404中的其他单元。

客户端设备1404的控制单元1418还可以根据对显示设备1420所显示的GUI的用户操作输入来控制客户端设备1404的通信单元1414，以将用于指定网络照相机1402的参数的值的命令传输至网络照相机1402。

图15是例示智能电话1500的图。

智能电话1500包括通信单元1502、解码/编码部1504、控制单元1506和显示单元1508。

通信单元1502经由网络9200接收经编码的图像数据。

解码/编码部1504对通信单元1502接收到的经编码的图像数据进行解码。解码/编码部1504通过使用在前述实施例/变型中的一个或多于一个中说明的所述解码方法来对经编码的图像数据进行解码。解码/编码部1504还可以使用在前述实施例/变型中说明的编码或解码方法中的至少之一。对于其他实例，解码/编码部1504可以使用在前述实施例/变型中说明的解码或编码方法的组合。

控制单元1506根据通信单元1502接收到的用户操作或命令控制智能电话1500中的其他单元。例如，控制单元1506控制显示单元1508以显示由解码/编码部1504解码的图像。

智能电话还可以包括用于记录图像或视频的图像记录装置1510(例如，数字照相机和相关联的电路)。这样的所记录图像或视频可以在控制单元1506的指令下由解码/编码部1504进行编码。

智能电话还可以包括适于感测移动装置的定向的传感器1512。这样的传感器可以包括加速度计、陀螺仪、罗盘、全球定位(GPS)单元或类似的位置传感器。这样的传感器1512可以确定智能电话是否改变定向，并且在编码视频流时可以使用这样的信息。

虽然已经参考实施例及其变型描述了本发明，但是应当理解，本发明不限于所公开的实施例/变型。本领域技术人员将理解，在不脱离所附权利要求限定的本发明的范围的情况下，可以进行各种改变和修改。本说明书(包括任何所附权利要求、摘要和附图)中公开的所有特征、和/或所公开的任何方法或处理的所有步骤，可以以任何组合进行组合，除了这样的特征和/或步骤中的至少一些相互排斥的组合之外。除非另外明确说明，否则本说明书(包括任何所附权利要求、摘要和附图)中所公开的各个特征可以由用于相同、等同或相似目的的替代特征代替。因此，除非另有明确说明，否则所公开的各个特征仅为通用系列等效或类似特征的一个示例。

还应理解，上述比较、确定、推断、评估、选择、执行、进行或考虑的任何结果(例如，在编码、处理或分区处理期间作出的选择)可以在位流中的数据(例如，指示结果的标志或信息)中指示或可从位流中的数据确定/推断，使得在处理中可以使用所指示或确定/推断的结果，而不是例如在解码或分区处理期间实际进行所述比较、确定、评估、选择、执行、进行或考虑。应理解，当使用“表”或“查找表”时，也可以使用诸如数组等的其他数据类型来进行相同的功能，只要该数据类型能够进行相同的功能(例如，表示不同元素之间的关系/映射)即可。

在权利要求中，词语“包括”不排除其他元素或步骤，并且不定冠词“a”或“an”不排除多个。仅仅在相互不同的从属权利要求中记载不同特征的事实并不指示这些特征的组合不能被有利地使用。权利要求中出现的附图标记仅作为说明，并且不应对权利要求的范围产生限定作用。

在前述实施例/变型中，可以以硬件、软件、固件或其任何组合来实现所描述的功能。如果以软件实现，则功能可以作为一个或多于一个指令或代码存储在计算机可读介质上或通过计算机可读介质而发送，并且可以由基于硬件的处理单元执行。

计算机可读介质可以包括计算机可读存储介质，其与诸如数据存储介质等的有形介质或者包括例如根据通信协议来促进将计算机程序从一个地方转移到另一个地方的任何介质的通信介质相对应。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质或者(2)诸如信号或载波等的通信介质。数据存储介质可以是可由一个或多于一个计算机或者一个或多于一个处理器访问以检索用于实现本发明中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

作为示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储装置、闪速存储器或可以用于以指令或数据结构的形式存储期望程序代码并可以由计算机访问的任何其他介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线(DSL)或无线技术(诸如红外、无线电和微波等)从网站、服务器或其他远程源发送指令，则同轴线缆、光纤线缆、双绞线、DSL或无线技术(诸如红外、无线电和微波等)包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬态介质，而是针对非瞬态的有形存储介质。这里使用的盘(disk)和碟(disc)包括致密盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光盘，其中盘通常以磁性方式复制数据，而碟则通过激光以光学方式再现数据。上述的组合也应包括在计算机可读介质的范围内。

指令可以由诸如一个或多于一个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门/逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路等的一个或多于一个处理器执行。因此，如这里使用的术语“处理器”可以指任何前述结构或适合于实现这里所述技术的任何其他结构。另外，在一些方面，这里描述的功能可以在被配置为编码和解码的专用硬件和/或软件模块内提供，或结合在组合编解码器中。此外，该技术可以在一个或多于一个电路或逻辑元件中完全实现。

根据本发明的方法/处理的任何步骤或本文描述的功能可以用硬件、软件、固件或其任何组合来实现。如果以软件实施，则步骤/功能可以作为一个或多于一个指令或代码或程序或计算机可读介质而存储在一个或多于一个基于硬件的处理单元上或者经由一个或多于一个基于硬件的处理单元发送，并且由一个或多于一个基于硬件的处理单元执行，所述处理单元诸如为可编程计算机器，其可以是PC(“个人计算机”)、DSP(“数字信号处理器”)、电路、电路系统、处理器和存储器、通用微处理器或中央处理单元、微控制器、ASIC(“专用集成电路”)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路系统。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实现本文中所描述的技术的任何其他结构中的任一个。

本发明的实施例还可以通过各种装置或设备来实现，包括无线手机、集成电路(IC)或JC集合(例如，芯片集)。本文中描述各种组件、模块或单元以说明被配置为进行这些实施例的装置/设备的功能方面，但未必需要由不同硬件单元实现。而是，各种模块/单元可组合于编解码器硬件单元中或由互操作硬件单元的集合提供，所述硬件单元包括结合合适软件/固件的一个或多于一个处理器。

本发明的实施例可以通过读出并执行记录在存储介质上的计算机可执行指令(例如，一个或多于一个程序)以进行上述实施例中的一个或多于一个的模块/单元/功能以及/或者包括用于进行上述实施例中的一个或多于一个的功能的一个或多于一个处理单元或电路的系统或设备的计算机来实现，并且可以通过由系统或设备的计算机进行的方法来实现，例如，从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多于一个的功能和/或控制一个或多于一个处理单元或电路以进行上述实施例中的一个或多于一个的功能。计算机可以包括单独的计算机或单独的处理单元的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如经由网络或有形存储介质从诸如通信介质等的计算机可读介质提供给计算机。通信介质可以是信号/位流/载波。有形存储介质是“非暂时性计算机可读存储介质”，其可以包括(例如)硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(例如致密盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)^TM)、快闪存储器装置、存储卡等中的一个或多于一个。至少一些步骤/功能也可以由机器或专用组件(诸如FPGA(“现场可编程门阵列”)或ASIC(“专用集成电路”))在硬件中实现。

Claims

1.一种将图像序列编码在位流中的方法，包括：

在所述位流中提供一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中；以及

禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中。

2.一种将图像序列编码在位流中的方法，包括：

禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中。

3.根据权利要求2所述的编码的方法，还包括：

4.一种将图像序列编码在位流中的方法，包括：

在所述位流中提供一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符；以及

许可在同一图片单元中包括APS类型相同且APS标识符相同但内容不同的前缀APS NAL单元和后缀APS NAL单元。

5.根据权利要求4所述的编码的方法，还包括：

禁止后缀APS NAL单元由包含该后缀APS NAL单元的图片单元的VCL NAL单元使用；以及

允许该后缀APS NAL单元由按解码顺序跟随该后缀APS NAL单元的图片单元的VCL NAL单元使用。

6.根据权利要求4或5所述的编码的方法，还包括约束能够包括在图片单元中的APSNAL单元，使得：

前缀APS NAL单元必须在该图片单元中的任何后缀APS NAL单元之前并且在该图片单元的最后VCL NAL单元之前；以及

后缀APS NAL单元必须在该图片单元中的任何前缀APS NAL单元之后并且在该图片单元的第一VCL NAL单元之后。

7.根据权利要求4所述的编码的方法，还包括：

8.根据权利要求4至7中任一项所述的编码的方法，还包括：

9.根据权利要求2至6中任一项所述的编码的方法，还包括：

在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元随后是包含具有相同APS类型和相同APS标识符的APS的前缀APS NAL单元。

10.根据权利要求1、4至6和9中任一项所述的编码的方法，还包括：

在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元前面是包含具有相同APS类型和相同APS标识符的APS的后缀APS NAL单元。

11.一种对经编码图像序列进行解码的方法，包括：

接收具有一系列图片单元的位流，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，其中，该系列图片单元的图片单元中无一者在该图片单元的第一NAL单元之后包括前缀APS NAL单元。

12.根据权利要求11所述的进行解码的方法，还包括检查所接收的位流与一个或多于一个符合性准则的符合性的步骤，其中，所述一个或多于一个符合性准则中的一个符合性准则是禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中的约束。

13.一种对经编码图像序列进行解码的方法，包括：

接收具有一系列图片单元的位流，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，其中，该系列图片单元的图片单元中无一者在该图片单元的最后NAL单元之前包括后缀APS NAL单元。

14.根据权利要求13所述的进行解码的方法，还包括检查所接收的位流与一个或多于一个符合性准则的符合性的步骤，其中，所述一个或多于一个符合性准则中的一个符合性准则是禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中的约束。

15.根据权利要求14所述的进行解码的方法，其中，另一符合性准则是禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中的约束。

16.一种对经编码图像序列进行解码的方法，包括：

接收具有一系列图片单元的位流，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符，其中，给定图片单元内具有前缀NAL单元类型以及特定APS标识符和特定APS类型的所有APS NAL单元具有相同内容，以及给定图片单元内具有后缀NAL单元类型以及特定APS标识符和特定APS类型的所有APS NAL单元具有相同内容，使得许可在同一图片单元中包括APS类型相同且APS标识符相同但内容不同的前缀APS NAL单元和后缀APS NAL单元。

17.根据权利要求16所述的进行解码的方法，还包括检查所接收的位流与一个或多于一个符合性准则的符合性的步骤，所述一个或多于一个符合性准则中的一个符合性准则许可在同一图片单元中包括APS类型相同且APS标识符相同但内容不同的前缀APS NAL单元和后缀APS NAL单元。

18.根据权利要求17所述的进行解码的方法，其中，所述符合性准则包括：

禁止后缀APS NAL单元由包含特定VCL NAL单元的图片单元的VCL NAL单元使用；以及

19.根据权利要求17或18所述的进行解码的方法，其中，所述符合性准则包括约束能够包括在图片单元中的APS NAL单元，使得：

20.根据权利要求17所述的进行解码的方法，其中，所述符合性准则包括禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中的约束。

21.根据权利要求17至20中任一项所述的进行解码的方法，其中，所述符合性准则包括禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中。

22.根据权利要求17至19中任一项所述的进行解码的方法，其中，所述符合性准则包括在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元随后是包含具有相同APS类型和相同APS标识符的APS的前缀APS NAL单元。

23.根据权利要求12、17至19和22中任一项所述的进行解码的方法，其中，所述符合性准则包括在图片单元中禁止参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元前面是包含具有相同APS类型和相同APS标识符的APS的后缀APS NAL单元。

24.根据前述权利要求中任一项所述的方法，其中，能够包括在该系列图片单元中的NAL单元还包括非VCL NAL单元，所述非VCL NAL单元不是APS NAL单元并且用信号通知一个或多于一个VCL NAL单元对APS的参考，并且在存在于图片单元中的情况下，所述非VCL NAL单元在该图片单元的第一VCL NAL单元前面。

25.一种将图像序列编码在位流中的装置，包括：

用于在所述位流中提供一系列图片单元的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中；以及

用于禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中的部件。

26.一种将图像序列编码在位流中的装置，包括：

用于禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中的部件。

27.一种将图像序列编码在位流中的装置，包括：

用于在所述位流中提供一系列图片单元的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符；以及

用于许可在同一图片单元中包括APS类型相同且APS标识符相同但内容不同的前缀APSNAL单元和后缀APS NAL单元的部件。

28.一种对经编码图像序列进行解码的装置，包括：

用于接收具有一系列图片单元的位流的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，其中，该系列图片单元的图片单元中无一者在该图片单元的第一NAL单元之后包括前缀APSNAL单元。

29.根据权利要求18所述的进行解码的装置，还包括用于检查所接收的位流与一个或多于一个符合性准则的符合性的部件，其中，所述一个或多于一个符合性准则中的一个符合性准则是禁止在图片单元的第一NAL单元之后将前缀APS NAL单元包括在该图片单元中的约束。

30.一种对经编码图像序列进行解码的装置，包括：

用于接收具有一系列图片单元的位流的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，其中，该系列图片单元的图片单元中无一者在该图片单元的最后NAL单元之前包括后缀APSNAL单元。

31.根据权利要求30所述的进行解码的装置，还包括用于检查所接收的位流与一个或多于一个符合性准则的符合性的部件，其中，所述一个或多于一个符合性准则中的一个符合性准则是禁止在图片单元的最后NAL单元之前将后缀APS NAL单元包括在该图片单元中的约束。

32.一种对经编码图像序列进行解码的装置，包括：

用于接收具有一系列图片单元的位流的部件，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符，其中，给定图片单元内具有前缀NAL单元类型以及特定APS标识符和特定APS类型的所有APS NAL单元具有相同内容，以及给定图片单元内具有后缀NAL单元类型以及特定APS标识符和特定APS类型的所有APS NAL单元具有相同内容，使得许可在同一图片单元中包括APS类型相同且APS标识符相同但内容不同的前缀APS NAL单元和后缀APS NAL单元。

33.根据权利要求32所述的进行解码的装置，还包括用于检查所接收的位流与一个或多于一个符合性准则的符合性的部件，所述一个或多于一个符合性准则中的一个符合性准则许可在同一图片单元中包括APS类型相同且APS标识符相同但内容不同的前缀APS NAL单元和后缀APS NAL单元。

34.一种程序，其在由处理器或计算机执行时使所述处理器或计算机执行根据权利要求1至24中任一项所述的方法。

35.一种位流，其表示经编码图像序列并且具有一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，

其中，该系列图片单元的图片单元中无一者在该图片单元的第一NAL单元之后包括前缀APS NAL单元。

36.一种位流，其表示经编码图像序列并且具有一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCL NAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，

其中，该系列图片单元的图片单元中无一者在该图片单元的最后NAL单元之前包括后缀APS NAL单元。

37.根据权利要求36所述的位流，其中，该系列图片单元的图片单元中无一者在该图片单元的第一NAL单元之后包括前缀APS NAL单元。

38.一种位流，其表示经编码图像序列，并且在所述位流中具有一系列图片单元，所述图片单元各自对应于一个经编码图像并且包括一个或多于一个网络抽象层单元即一个或多于一个NAL单元，能够包括在该系列图片单元中的NAL单元包括视频编码层NAL单元即VCLNAL单元并且还包括自适应参数集NAL单元，所述VCL NAL单元各自包含经编码图像数据，所述自适应参数集NAL单元各自包含具有用于对一个或多于一个VCL NAL单元中所包含的图像数据进行一种或多于一种类型的处理操作的参数的自适应参数集即APS，以及能够包括在该系列图片单元中的APS NAL单元包括前缀APS NAL单元和后缀APS NAL单元，其中，在APS在图片单元的第一VCL NAL之前存在于该图片单元中的情况下，该APS必须包含在前缀APS NAL单元中，以及在APS在图片单元的最后VCL NAL之后存在于该图片单元中的情况下，该APS必须包含在后缀APS NAL单元中，所述APS NAL单元各自具有APS类型和APS标识符，以及

其中，给定图片单元内具有前缀NAL单元类型以及特定APS标识符和特定APS类型的所有APS NAL单元具有相同内容，并且给定图片单元内具有后缀NAL单元类型以及特定APS标识符和特定APS类型的所有APS NAL单元具有相同内容，使得许可在同一图片单元中包含APS类型相同且APS标识符相同但内容不同的前缀APS NAL单元和后缀APS NAL单元。

39.根据权利要求38所述的位流，其中，该系列图片单元中的至少一个图片单元包括APS类型相同且APS标识符相同但内容不同的前缀APS NAL单元和后缀APS NAL单元。

40.根据权利要求38所述的位流，其中：

在该系列图片单元的存在后缀APS NAL单元的各个图片单元中，该后缀单元不由包含特定VCL NAL单元的图片单元的VCL NAL单元使用；以及

对于具有不由包含特定VCL NAL单元的图片单元的VCL NAL单元使用的这种后缀APSNAL单元的至少一个图片单元，该后缀APS NAL单元由按解码顺序跟随该后缀APS NAL单元的一个或多于一个图片单元的一个或多于一个VCL NAL单元使用。

41.根据权利要求38至40中任一项所述的位流，其中：

在包括前缀APS NAL单元的各个图片单元中，该前缀APS NAL单元在该图片单元中的任何后缀APS NAL单元之前并且在该图片单元的最后VCL NAL单元之前；以及

在包括后缀APS NAL单元的各个图片单元中，该后缀APS NAL单元必须在该图片单元中的任何前缀APS NAL单元之后并且在该图片单元的第一VCL NAL单元之后。

42.根据权利要求38所述的位流，其中，

该系列图片单元的图片单元中无一者在该图片单元的最后NAL单元之前包括后缀APSNAL单元。

43.根据权利要求38至42中任一项所述的位流，其中，该系列图片单元的图片单元中无一者在该图片单元的第一NAL单元之后包括前缀APS NAL单元。

44.根据权利要求36至41中任一项所述的位流，其中，在包括参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元的任何图片单元中，参考的该VCL NAL单元随后不是包含具有相同APS类型和相同APS标识符的APS的前缀APS NAL单元。

45.根据权利要求34、38至41和44中任一项所述的位流，其中，在包括参考具有特定APS类型和特定APS标识符的APS的VCL NAL单元的任何图片单元中，参考的该VCL NAL单元前面不是包含具有相同APS类型和相同APS标识符的APS的后缀APS NAL单元。

46.一种将图像序列编码在根据权利要求35至45中任一项所述的位流中的方法。

47.一种对经编码图像序列进行解码的方法，所述方法包括接收根据权利要求35至45中任一项所述的位流。

48.根据权利要求47所述的进行解码的方法，还包括：对NAL单元进行解码，获得所述VCL NAL单元中所包含的图像数据和所述APS NAL单元中所包含的APS的参数，以及使用所获得的APS参数来处理所获得的图像数据。

49.一种由根据权利要求1至10中任一项所述的编码的方法所产生的位流。

50.一种计算机可读存储介质，其存储根据权利要求35至45和49中任一项所述的位流。