CN115868166A - 子图片相关的视频编码概念 - Google Patents

子图片相关的视频编码概念 Download PDF

Info

Publication number
CN115868166A
CN115868166A CN202180050064.0A CN202180050064A CN115868166A CN 115868166 A CN115868166 A CN 115868166A CN 202180050064 A CN202180050064 A CN 202180050064A CN 115868166 A CN115868166 A CN 115868166A
Authority
CN
China
Prior art keywords
layer
sub
picture
data stream
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180050064.0A
Other languages
English (en)
Inventor
Y·桑切斯德拉富恩特
K·许林
C·赫尔格
T·席尔
R·斯库平
T·韦根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN115868166A publication Critical patent/CN115868166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

描述了涉及编码、解码、提取和混合视频数据流的视频编码概念，所述视频数据流采用细分为独立编码的子图片的方式使图片在其中编码。所述概念涉及：具有细分图片层和未细分图片层的子图片特定的视频数据流的提取；用于针对此类视频数据流的层间预测的缩放窗口的处理和层间预测工具的处理；针对此类数据流的解码器能力要求、针对此类数据流的层特定的约束的确定；以及利用不同类型的独立编码进行编码的子图片的混合。

Description

子图片相关的视频编码概念
描述
本公开的实施例涉及用于将视频内容编码到视频数据流中的编码器。另外的实施例涉及用于从多层视频数据流中提取子图片特定的视频数据流的设备。另外的实施例涉及用于解码视频数据流的解码器。另外的实施例涉及用于将视频内容编码到视频数据流中的方法、用于解码视频数据流的方法、以及用于从多层视频数据流中提取子图片特定的视频数据流的方法。另外的实施例涉及视频数据流。
在视频编码中，可借助于多个子图片将视频序列的图片编码到视频数据流中，所述多个子图片中每个子图片包括该图片的一部分。换句话说，视频数据流可包括与相等呈现时间相关联的多个子图片。通过选择所述子图片中一个或多个子图片以用于解码或呈现，可在解码器侧上如此选择所呈现的视频内容。例如，可在视口依赖的流场景中利用此类视频数据流。如同在其中要呈现子图片中一个或多个子图片、而不是整个图片的情况中一样，可能有利的不是解码整个视频数据流，而是只解码其一部分。那样，可在给定的解码成本下实现所呈现的视频内容的更好的速率失真关系。为此，可在解码之前提取视频数据流的一部分。
因此，期望的是具有对于以下的概念：采用在子图片特定的视频数据流的精确提取和低信令开销之间提供良好权衡的方式来编码和处理包含多个子图片的视频数据流。
根据本发明的第一方面的实施例依赖于这样的想法，所述想法用于在对多层视频数据流的子图片特定的视频数据流的提取或定义或描述中，区分采用非子图片划分的方式使视频编码到其中的层和采用细分为两个或更多个子图片的方式使视频编码到其中的层。区分采用非子图片划分的方式编码的层和采用子图片划分的方式编码的层允许提取或描述子图片特定的视频数据流，所述子图片特定的视频数据流包括延伸到由子图片特定的视频数据流所表示的子图片之外的图片。因此，例如，实施例考虑到(allow for)对子图片特定的视频数据流的提取或描述，其中，采用子图片细分的方式编码的层的子图片取决于采用非子图片细分的方式编码的层的图片。此外，在诸如视口依赖的流之类的应用中，采用非细分方式使在子图片特定的视频数据流中可用的图片编码可允许在视口发生变化的情况下，至少采用非细分方式编码的图片的质量的图片是立即可用的。
根据本发明的第一方面的实施例提供了用于从多层视频数据流中提取子图片特定的视频数据流的设备。多层视频数据流(其包括多个层)由诸如NAL单元之类的比特流部分组成或包括这样的比特流部分，所述比特流部分中的每个比特流部分属于层中一个层。注意，无论在本文中的任何地方出现，“由......组成”都不应理解为要求主题排他性地包括该组成的对象；而是，除了比特流部分之外，数据流还可包括如本文所描述的其它部分，数据流中的比特流部分的排列遵守诸如以下之类的某些规则：比特流部分的合集属于一个访问单元内的某个时间戳。根据第一方面，例如通过用于提取子图片特定的视频数据流的设备从多层视频数据流中提取子图片特定的视频数据流包括，对于层集(例如，输出层集)中的每个层，检查相应层是否采用使得将视频的图片细分为两个或更多个子图片的方式使视频编码到其中，所述两个或更多个子图片以相互独立的方式被编码到相应层中，以使得对于视频的每个图片，将相应图片的子图片编码到相应层的互不相同的比特流部分中；或者相应层是否采用非子图片细分的方式使视频编码到其中。如果相应层采用非子图片细分的方式使视频编码到其中，则所述提取包括将属于相应层的比特流部分从多层视频数据流接管到子图片特定的视频数据流中，以使得子图片特定的视频数据流使相应层的视频完全编码到其中。如果相应层采用使得将视频的图片细分为两个或更多个子图片的方式使视频编码到其中，则提取子层特定的视频数据流包括：对于属于相应层的每个比特流部分，从比特流部分读取信息，该信息揭示相应的比特流部分使所述两个或更多个子图片中的哪个子图片编码到其中；并且如果相应比特流部分使属于一个或多个子图片的预定集合的子图片编码到其中，则将相应层的相应比特流部分从多层视频数据流接管到子图片特定的视频数据流中。
由多层视频数据流以及用于编码多层视频数据流的编码器提供了另外的实施例，多层视频数据流包括关于以下的解码器能力要求信息：如由用于提取子图片特定的视频数据流的所描述的设备执行的从多层视频数据流中可提取的子图片特定的视频数据流。在视频数据流中发信号通知解码器能力要求信息考虑到更有效地利用解码器能力和/或鉴于要用于解码的解码器的能力选择最佳的可能视频数据流以用于解码。
根据本发明的第二方面的实施例，多层视频数据流包括第一层，所述第一层的比特流部分采用使得将第一视频的图片细分为两个或更多个子图片的方式使第一视频编码到其中，所述两个或更多个子图片以相互独立的方式被编码到第一层的比特流部分中，以使得对于第一视频的每个图片，将第一视频的相应图片的子图片编码到第一层的互不相同的比特流部分中。该多层视频数据流进一步包括第二层，所述第二层的比特流部分具有第二视频。第一层的比特流部分使用来自参考图片的基于向量的预测使第一视频编码到其中。此外，第一层的比特流部分采用以下方式使第一视频编码到其中：采用包括第二视频的图片作为参考图片的方式；以及采用其中供基于向量的预测中使用的向量(第一层的比特流部分采用所述向量来编码并且所述向量由第一层的比特流部分组成)要根据多层视频数据流中的缩放窗口的大小和位置分别针对第一视频的图片和参考图片进行缩放和偏移的方式。根据第二方面的概念包括：在从多层视频数据流中提取子图片特定的视频数据流中，将属于第二层的比特流部分从多层视频数据流接管到子图片特定的视频数据流中，以使得子图片特定的视频数据流使相应层的视频完全编码到其中。对子图片特定的视频数据流的提取进一步包括：将属于第一层并且使一个或多个子图片的属于预定集合的子图片编码到其中的每个比特流从多层视频数据流接管到子图片特定的视频数据流中。此外，对子图片特定的视频数据流的提取包括：使缩放窗口信号化适合于子图片特定的视频数据流中的第一层和/或第二层，以使得第二视频的图片的缩放窗口的空间区域在空间上对应于针对一个或多个子图片的预定集合的缩放窗口的空间区域。
根据第二方面的实施例可确保，在对子图片特定的视频数据流的提取之后(在此期间，第一层的图片的大小可能由于子图片提取而改变)，使用缩放窗口执行对用于基于向量的预测的向量的缩放，以使得将向量缩放到根据如由在多层视频数据流中所提供的缩放窗口所预期的那样的位置和大小的位置和大小。因此，第二方面的实施例也在以下情况中考虑到基于向量的层间预测的使用与子图片提取的组合：在所述情况中，图片与其层间参考图片之间的相对图片大小由于子图片提取而改变，例如，在其中将参考层的图片完全转发到子图片特定的视频数据流中(例如，如关于第一方面所描述的那样)的情况中。
根据本发明的第三方面的实施例，在对多层视频数据流的编码和/或解码中，使用层间预测工具来从/向多层视频数据流的第一层编码视频的第一版本，层间预测工具用于从多层视频数据流的第二层进行预测，其中，使用针对视频的第一版本的逐个子图片独立编码的第一配置设置将第一版本编码到第一层中。此外，使用用于逐个子图片独立编码的第二配置设置来从/向多层视频数据流的第二层编码视频的第二版本。取决于第一配置设置与第二配置设置是否具有预定关系，在来自第二层的层间预测中停用一个或多个层间预测工具的预定子集。
因此，根据第三方面的实施例允许精确地控制层间预测工具的使用，以使得层间预测也可用于其中将多层比特流的图片细分为子图片的情况中，特别是在其中多层视频数据流的不同层的图片细分为不同数量的子图片的场景中，例如，在其中一个层的图片细分为子图片而另一个层的图片未细分为子图片的情况中。
根据本发明的第四方面的实施例提供了多层视频比特流的编码或处理，所述多层视频比特流在一个或多个第一层中采用细分为独立编码的子图片的方式使图片编码到其中，并且在一个或多个第二层中采用未细分的方式使图片编码到其中。多层视频比特流使足以用来解码层集的若干个参考解码器能力要求编码到其中，所述层集中每个层集包括所述第一层中的至少一个第一层和所述第二层中的至少一个第二层。对于所述参考解码器能力要求中的每个参考解码器能力要求，多层视频数据流包括关于以下的信息：归因于所述至少一个第一层的相应参考解码器能力要求的第一分数以及归因于所述至少一个第二层的相应参考解码器能力要求的第二分数。
具有关于第一分数和第二分数的信息考虑到对与若干个视频数据流中的每个视频数据流相关联的解码器能力要求的精确确定，所述视频数据流可从多层视频数据流(诸如子图片特定的视频数据流)中提取。
根据本发明的第五方面的实施例提供了对在多层视频数据流中所指示的层集的那些层选择性地应用与参考解码器能力要求相关联的约束(例如层特定的约束)，所述层采用细分为独立编码的子图片的方式使视频图片编码到其中。在对子图片特定的视频数据流的提取期间，当约束可能因为图片大小减小而收紧时，省略约束对层(所述层的图片大小被保留，例如，其图片未细分的层)的应用可避免在非细分层上施加不成比例的紧密约束。
根据本发明的第六方面的实施例提供了视频数据流中的指示，该指示指示编码到视频数据流中的图片是否通过一个或多个独立编码的子图片进行编码，该指示区别所述一个或多个独立编码的子图片与所述一个或多个独立编码的子图片的周围之间的不同类型的编码独立性。根据第六方面的实施例考虑到将比特流部分(诸如不同类型的NAL单元)混合到组成的比特流的一个图片(即，一个访问单元)中。因此，根据第六方面的实施例考虑到在对视频比特流的混合中的更高的灵活性。
下面关于附图更详细地描述本公开的实施例和有益实现，图中：
图1示出了根据实施例的编码器、提取器和解码器的示例，
图2示出了根据实施例的编码器、视频数据流和提取器的示例，
图3示出了视频数据流的示例和子图片特定的视频数据流的错误提取的示例，
图4示出了子图片特定的视频数据流的示例，
图5示出了根据本发明的第二方面的编码器、提取器和多层视频数据流的示例，
图6示出了根据实施例的缩放窗口的适应性，
图7示出了提取子图片特定的视频数据流的另一示例，
图8示出了子图片特定的视频数据流的输出图片面积分数的示例，
图9示出了参考解码器能力要求的细分层和非细分层的分数的示例，
图10示出了编码器、视频数据流、用于混合和/或提取视频数据流的设备以及解码器的示例，
图11示出了混合解码器侧边界处理和编码器侧边界处理的比特流的示例，
图12示出了混合解码器侧和编码器侧边界处理的单层比特流的示例，
图13示出了取决于独立性的类型的比特流部分的示例。
在下文中，详细讨论了实施例，然而，应该认识到，所述实施例提供了许多适用的概念，所述概念可以在各种各样的视频编码概念中体现。所讨论的具体实施例仅仅是说明用于实现和使用本概念的具体方法，而不是限制实施例的范围。在以下描述中，阐述了多个细节以提供对本公开的实施例的更详尽的解释。然而，对于本领域技术人员来说明白的是，可以在没有这些具体细节的情况下实践其它实施例。在其它情况下，以框图的形式示出而不是详细示出公知的结构和装置，以免模糊本文所描述的示例。另外，除非另有特别指出，否则本文所描述的不同实施例的特征可彼此组合。
在以下对实施例的描述中，相同或相似的要素或具有相同功能性的要素配备有相同的参考符号或用相同的名称标识，并且通常省略对配备有相同参考数字或用相同名称标识的要素的重复描述。因此，为具有相同或相似参考数字或者用相同名称标识的要素所提供的描述相互可交换，或者可在不同的实施例中相互应用。
以下对附图的描述从关于图1的对编码器、提取器和解码器的呈现开始。图1的编码器和提取器提供了可以将本发明的实施例构建到其中的框架的示例。此后，呈现对本发明的概念的实施例的描述以及关于可如何将此类概念构建到图1的编码器和提取器中的描述。不过，关于随后的图2和接下来的附图所描述的实施例也可用于形成不是按照关于图1所描述的框架进行操作的编码器和提取器。进一步注意，编码器、提取器和解码器可以彼此分开实现，不过为了说明的目的，在图1中共同描述了它们。
0.根据图1的编码器40、提取器10、解码器50和视频数据流14
图1示出了编码器40、提取器10和解码器50的示例。编码器40将视频24编码到视频数据流14中。可例如在数据载体上存储或传送视频数据流14(视频数据流在本文中也可称为比特流)。视频24可包括一系列图片，所述图片中的每个图片可与呈现时间顺序的呈现时间相关联。视频24可包括多个图片26，所述多个图片26在图1中由图片260和261表示。图片26中的每个图片可与层(诸如图1中的第一层L1或第二层L0)相关联。例如，在图1中，图片260与第二层L0相关联，而图片261与第一层L1相关联。层L0的图片260可形成视频序列240。层L1的图片261可形成视频序列241。在示例中，视频24的视频序列240、241可包括表示相同内容并且与相等呈现时间相关联但是具有不同分辨率的图片。然而，注意，视频24的与层L0和L1相关联的视频序列240、241可具有不同的帧速率。因此，例如，视频序列240不一定对于呈现时间中的每个呈现时间包括图片260，对于所示呈现时间，视频序列241包括图片261。编码器40可取决于(即，参考)视频序列240的图片260(例如称为参考图片，例如用于层间预测)将视频序列241的图片261编码到视频数据流14中，图片260在时间上与图片261共置，即，与相同的呈现时间相关联。换句话说，层L0的图片可以是针对层L1的图片的参考图片。因此，从视频数据流14中解码图片261可能需要编码到视频数据流14中的图片260。在这些示例中，层L0可称为基础层，并且与层L0相关联的图片可具有第一分辨率。与第一层L1相关联的图片261(其可称为增强层)可具有第二分辨率，第二分辨率可高于第一分辨率。例如，编码器40可在视频24中编码到视频数据流14中，以使得以第一分辨率代表视频24的层L0可独立于层L1从视频数据流14中解码，从而产生第一分辨率的视频。在层L1的图片261依赖于层L0的图片260的情况下，视频序列240、241可以可选地共同解码，这可能导致视频具有高于第一分辨率的分辨率，例如第二分辨率。因此，可以有多种选择来解码视频数据流14，这些单独的选择伴随着要被解码的数据流的不同数据速率并导致视频具有不同分辨率。
指出的是，在图1中所示的层数是示例性的，并且视频数据流14可具有多于两个层。还注意，视频数据流14不一定包括多个层，而是在一些示例中，只包括一个单层，诸如在第6节中所描述的实施例的示例中。
提取器10可接收视频数据流14，并且可从中提取视频数据流14的比特流部分的不一定适当的子集，以便提供所提取的视频数据流12。换句话说，所提取的视频数据流12可对应于视频数据流14，或者可包括视频数据流14的摊派(apportion)。指出的是，提取器10当在所提取的视频数据流12中转发比特流部分时，可以可选地修改视频数据流14的比特流部分的内容。例如，提取器10可修改包括关于以下的信息的描述性数据：如何解码所提取的视频数据流12的编码视频数据。提取器10可在输出层集(OLS)(其要从视频数据流14中提取)的基础上选择要转发到所提取的视频数据流12的视频数据流14的比特流部分。例如，提取器10可接收指示要提取或要呈现的OLS的OLS指示。视频数据流14可包括指示从视频数据流14中可提取的OLS集的OLS指示。OLS可指示要全部或部分地转发到所提取的视频数据流12的视频数据流14的层中的一个或多个或所有层。
换句话说，OLS可例如指示多层视频数据流14的层的(不一定适当的)子集。OLS可在多层数据流本身中(诸如在OLS指示18中)指示，其可以被包含在比特流14的视频参数集(VPS)中。事实上，可在数据流14中指示多于一个这样的OLS，其中用于提取的OLS通过外部手段(例如，经由API 20)来确定。注意，虽然OLS指示18主要指示要输出或呈现的视频的一个或多个层，但是它也可以指示属于一个或多个输出层(因为一个或多个输出层直接或间接地(经由另一参考层)取决于该层)的非输出参考层，所述非输出参考层不要输出/呈现。OLS指示18可指示一个或多个OLS。
可选地，OLS指示18可在例如视频参数集(VPS)中指示针对OLS的视频参数。例如，视频参数可指示参考解码器能力要求(也称为解码器能力要求、(参考)等级信息、或(参考)等级指示)，所述参考解码器能力要求对解码器能够解码由OLS所描述的比特流提出(pose)了要求。注意，视频参数可指示针对一个OLS的一个或多个参考解码器能力要求，因为由OLS所描述的比特流也可在由提取器10的提取之后仍然通过选择/提取OLS的一个或多个层和/或一个或多个时间子层而可扩展(scalable)。例如，混合器或合并器(例如，图10的设备100)可使用所提取的视频数据流12形成比特流，或者解码器可选择所提取的视频数据流12的子比特流以用于解码。
将所提取的视频数据流12转发到解码器50，解码器50对所提取的视频数据流12进行解码，以便获得解码后的视频24’。解码后的视频24’与视频24的不同之处在于，相对于视频24，解码后的视频24’不一定包括视频24的全部内容，和/或可具有另一分辨率，和/或可能具有失真，例如基于量化损耗。
视频数据流14的层中的一个层的图片26可包括一个或多个子图片28，或者可细分为多个子图片28。注意，参考符号26将在下文中用于指层的图片，例如，图片26可以指层L1的图片261或层L0的图片260。编码器40可对图片26的子图片28进行彼此相互独立的编码，即，可解码图片26的子图片28中的一个子图片，而不需要图片26的另一个子图片28。例如，提取器10不一定转发层的所有子图片28，而是可转发层的图片26中的每个图片的子图片28的子集或仅一个子图片28。因此，所提取的视频数据流12(在这种情况下可称为子图片特定的视频数据流12)的数据速率可低于视频数据流14的数据速率，以使得对所提取的视频数据流12的解码可需要较少的解码器资源。在图1的示例中，提取器10转发层L0的图片240和层L1的图片261的子图片28。在该场景中，解码后的视频24’包括代表视频序列240的解码后的图片的解码后的视频序列24’0。此外，根据该示例的解码后的视频序列24’包括代表解码后的图片26’1的解码后的视频序列24’1，解码后的图片26’1包括视频序列241的图片261的子图片28。
注意，编码器不仅在OLS指示中指示这一个或多个有意义/可提取的层集，而且根据实施例，还向数据流提供在例如用于DPB和/或CPB的可用缓冲存储器、处理内核、想要的解码延迟等方面的信息(解码器可利用所述信息来决定所指示的某个OLS是否由解码器可解码)；该信息可包含在解码器能力要求信息中。
在非常笼统地描述了多层视频数据流、子图片、比特流可扩展性和参考图片的概念之后，在下文中描述了用于实现来自视频数据流14中的所提取的视频数据流12和视频数据流14中的相关联的指示的提取过程、和/或编码视频数据流14的方式的若干个实施例。注意，关于提取过程所描述的特征还代表对对应视频数据流(要从其中提取所提取的视频数据流)的描述以及对所述视频数据流的对应编码过程的描述。例如，指定提取器10从视频数据流14中导出信息的特征也要理解为是视频数据流14的使得该信息从视频数据流中可导出的特征，并且也要理解为是编码器40在相应地编码视频数据流14方面的特征。
1.根据第一方面的编码器40、提取器10和视频数据流14
本节参考图1描述根据第一方面的实施例，其中，在第0节中所描述的细节可以可选地适用于根据第一方面的实施例。
根据第一方面的实施例，图1的提取器10(其也可称为用于提取子图片特定的视频数据流的设备10)配置用于从多层视频数据流14中提取子图片特定的视频数据流12。也就是说，根据第一方面，视频数据流14包括多个层，并且包括比特流部分16，所述比特流部分16中的每个比特流部分属于多层视频数据流14的层(例如，层L0、L1)中一个层。例如，所述比特流部分16中的每个比特流部分可包括诸如层ID之类的指示，它指示相应的比特流部分16所属的层。根据第一方面的实施例，提取器10配置用于对于层集中的每个层，检查相应层是否采用使得将视频24的图片(例如，图片261、262，即，编码到相应层中的图片)细分为两个或更多个子图片28的方式使视频24编码到其中，所述两个或更多个子图片28以相互独立的方式被编码到相应层中，以使得对于视频24的每个图片261、262，将相应图片的子图片28编码到相应层的互不相同的比特流部分16中；或者相应层是否采用非子图片细分的方式使视频24编码到其中。
例如，层集是由OLS所指示的层集，例如，如关于图1所描述的那样，通过诸如API20之类的外部手段命令提取器10提取哪个OLS，或者提取器例如在缺少相应指令的情况下推断出要提取哪个OLS。
例如，彼此相互独立编码的子图片28可意味着，每个子图片28独立于(该子图片所属图片的)任何其它子图片进行编码，并且每个比特流部分16仅使一个子图片(不超过一个子图片，但是可以是一个子图片的仅一部分)编码到其中。换句话说，独立编码的子图片28可以不需要出自于将子图片28所属的图片编码到其中的比特流部分16的、除了将独立编码的子图片28编码到其中的比特流部分之外的比特流部分。采用非子图片细分的方式使视频24编码可意味着，例如，将相应层编码到其中的子部分的数量是1，或者编码到相应层中的子部分的数量是1。换句话说，采用非子图片细分的方式编码可意味着要采用其中将每个图片编码为一个子图片的方式进行编码。
如果相应层采用非子图片细分的方式使视频编码到其中(例如，图1的层L0)，则提取器10可将属于该相应层的比特流部分16(图1的视频数据流14和12中的点状比特流部分16)从多层视频数据流14接管到子图片特定的视频数据流12中，以使得子图片特定的视频数据流视频12使相应层(例如，图1中的视频序列240)的视频24完全编码到其中。使相应层的视频完全编码到其中可意味着，例如，相应层(例如，多层视频数据流14的层L0)的比特流部分16中的所有比特流部分16都被包含在子图片特定的视频数据流12中。备选地或附加地，使相应层的视频24完全编码到其中的子图片特定的视频数据流可意味着，接管到子图片特定的视频数据流12中的比特流部分16独立于对在子图片特定的视频数据流12中转发另一层的两个或更多个子图片中的哪个子图片的选择，即，其属于下文所提及的一个或多个子图片的预定集合。
如果提取器发现相应层(即，当前检查的层)采用使得将层的视频的图片26(例如，层L1的图片261)细分为两个或更多个子图片28的方式使视频24(例如，层L1的视频序列241)编码到其中，则提取器10可对于属于相应层(诸如图1中的层L1)的每个比特流部分16从该比特流部分16读取信息，该信息揭示相应比特流部分16使所述两个或更多个子图片中的哪个子图片编码到其中。如果相应层的相应比特流部分16使属于一个或多个子图片的预定集合的子图片编码到其中，则提取器可将该相应层的比特流部分16从多层视频数据流14接管到子图片的特定数据流12中。例如，在图1中，子图片的预定集合仅包括用交叉阴影线示出的子图片28。例如，提取器10可丢弃或离开或移除(即，不转发)属于该相应层但是使一个或多个子图片中不属于预定集合的子图片编码到其中的每个比特流部分。
图2更详细地示出了关于如图1所示的场景根据本发明的第一方面的实施例在视频数据流14和子图片特定的视频数据流12中发信号通知的信息。根据图2的示例性图示，子图片的预定集合仅包括一个子图片28，即，层L1的图片261的交叉阴影线的子图片28。如图2所示，基于对层L0采用非子图片细分的方式使视频(即，视频序列240)编码到其中的发现，提取器10转发或接管与层L0相关联的所有比特流部分16(点状部分)。与层L1相关联的比特流部分采用子图片划分的方式被编码到视频数据流14中。在图2的示例中，将层L1的图片261的子图片28编码到其中的比特流部分以交叉阴影线示出，并且将图片261的另外的子图片编码到其中的比特流部分用简单的阴影线示出。如图2所示，属于相等呈现时间的图片的比特流部分可以是公共访问单元(AU)的部分。此外，注意，可将每个图片26或子图片28编码到一个或多个比特流部分16中。例如，可将图片26或子图片28进一步细分为切片，可将所述切片中的每个切片编码到一个或多个比特流部分中。在图2的说明性示例中，子图片28的预定集合(即，要在子图片特定的视频数据流12中转发以用于解码的一个或多个子图片的集合)只有一个子图片，即，交叉阴影线的子图片28。因此，在与层L1的图片261相关联的比特流部分的子图片特定的视频数据流12中，只转发子图片28的交叉阴影线的比特流部分。
换句话说，设备10可能对以两个或更多个独立编码的子图片28为单位进行编码的层敏感，或者在将层的比特流部分16接管到子流12中时不敏感。
例如，可通过诸如API 20之类的外部手段将一个或多个子图片的预定集合提供给提取器10。也就是说，提取器10可接收关于要把多层视频数据流14的层的图片26的哪些子图片转发到解码器50的信息。
例如，可由子图片标识符(例如，SH_subpic_ID)提供揭示以下的信息：采用子图片细分的方式编码的层的两个或更多个子图片中的子图片28属于哪个比特流部分。例如，可在相应比特流部分的报头(例如，切片报头)中提供该信息(即，子图片标识符)。换句话说，使一个图片26或子图片28的视频数据编码到其中的比特流部分16可能在比特流部分的描述性数据中具有与之相关联的子图片标识符，该子图片标识符例如借助于索引(index)指示比特流部分所属的子图片。
在示例中，视频数据流14可包括诸如subpicIDVal之类的关联表30，其用于将比特流部分中的子图片标识符与视频24的图片中的子部分空间位置相关联。
根据实施例，提取器10可通过评估在视频数据流14中针对某个层发信号通知的语法元素，执行相应层是采用非子图片细分的方式还是采用子图片细分的方式使视频编码到其中的检查。例如，可在与相应层相关联的序列参数集中发信号通知相应的语法元素。例如，语法元素可揭示编码到相应层中的子图片或子部分的数量。语法元素可被包含在图片或子图片配置数据22中，所述配置数据2在示例中可在视频数据流14(例如，序列参数集(SPS))中发信号通知2。例如，相应的语法元素可以是sps_num_subpics_minus1语法元素。
如图2所示，视频数据流14可以可选地包括OLS指示18，它指示层集，例如OLS，例如，经指示要在子图片特定的视频数据流12中至少部分地转发的层集。如前所述，OLS指示18可例如包括OLS的集合，该集合包括经指示要在子图片特定的视频数据流12中转发的层集。例如，API 20例如通过指示指向OLS指示18的OLS中一个OLS的索引，向提取器10指示要在子图片特定的视频数据流12中转发OLS指示18的OLS中的哪个OLS。
视频数据流14可以可选地进一步包括解码器能力要求信息60，它可包括例如关于图片大小、缓冲区大小(诸如CPB和/或DPB的缓冲区大小)的信息以及类似信息，例如，HRD、DPD和TPL信息。该信息可在视频数据流14中以其各种版本的列表的形式给出，其中该版本应用于由索引来引用的某个OLS。也就是说，对于某个可提取的OLS(例如由OLS指示18所指示的OLS)，可发信号通知指向对应的HRD、DPD和/或TPL信息的索引。
解码器能力要求信息60可以是关于从多层视频数据流14中可提取的子图片特定的视频数据流12的信息。例如，解码器能力要求信息60或其一部分可由编码器40通过以下方式来确定：采用像提取器10将执行提取过程以用于提取投影的(perspective)可提取的子图片特定的视频数据流12之类的方式实际执行提取过程，其中，编码器40可至少在某种程度上执行提取过程，以便确定解码器能力要求信息60的某些参数。
注意，提取器10在形成数据流14时可以修改(adapt)数据流12中的一些数据。在图1中，这种可能性通过对视频数据流12的比特流部分的参考符号16使用撇号来指示。这同样适用于如图2所示的流12的组成部分，其也可以可选地是图1的视频数据流12的部分。在根据本文所描述的另外的方面的视频数据流14和12的实施例中也可存在这些组成部分。例如，流14中的图片配置数据22指示编码到数据流14中的完整图片26的图片大小，而流12中的图片配置数据22’指示编码到数据流14中的图片26’的图片大小，就层L1而言，图片26’(即，来自一个子图片28的图片261’)现在非子图片细分地编码到流12中；使实际图片内容编码到其中的比特流分组16(诸如VCL NAL单元)可以按原样被接管，而无需任何修正，至少关于其算术编码的部分。如可以看出的，即使是OLS指示18’也可以从流14被接管到流12中。它甚至可以如它在流14中那样来保留；关联表30也可能已相应地作修正；数据项18、20和22中的任何数据项的修正版本可隐藏/嵌套在流12中，即，可能已由编码器40在其中提供，并且因此可简单地供提取器用于替换如在形成流14时出现在流12中那样的对应被否决的版本，或者可在运行中由提取器10基于流14中的整体信息进行诠释并放入到流中12；解码器50在接收或被馈送流12时可能不再处于用于看到关于子图片细分的层L1的图片261曾经在流14中看起来如何的位置。
注意，取决于检查，提取器10可以进一步决定某些层特定的参数集(诸如PPS和SPS)是进行修改还是从零开始相应地重新生成，以使得其中的某些参数适于子图片特定的数据流12。此类参数包括前文提到的图片或子图片配置数据22中的图片大小和子图片配置、修剪窗口偏移、等级指示符。因此，诸如在图片大小和子图片配置方面对数据流12中的图片或子图片配置数据22的修改之类的此类修改不针对非子图片细分的层而发生，即，“如果相应层采用非子图片细分的方式使视频编码到其中”；但是此类修改会发生，“如果相应层采用使得将视频的图片(26)细分为两个或更多个子图片(28)的方式使视频(24)编码到其中的话”。
例如，当在子图片特定的视频数据流12中转发图片260时，这些图片可用作例针对层L1的子图片28的参考层。例如，如关于图1所描述，多层视频数据流14可考虑到例如数据流的数据速率的可扩展性。为此，基础层(例如，层L0)可以在第一分辨率中使视频编码到其中，并且增强层(例如，层L1)可以是这样的层，其可以针对高于第一分辨率的第二分辨率，使关于视频的信息编码到其中。例如，对编码到增强层中的图片261的解码可能需要基础层的时间上并置的图片的信息。换句话说，基础层可以是增强层的参考层。因此，在这种场景中，如果基础层和增强层两者是层集的一部分，则可确保增强层的子图片的参考图片(它是基础层的一部分)在子图片特定的视频数据流中可用。此外，在其中采用非子图片细分的方式将较低分辨率的视频编码到基础层中的示例中，并且因此，根据所呈现的概念，将基础层的比特流部分接管到子图片特定的视频数据流中。因此，可确保整个视频内容的至少低分辨率视频在子图片特定的视频数据流中可用，以使得在要呈现并且因而要解码的子图片发生变化的情况下，考虑到子图片的快速更改，基础层的至少低分辨率图片对于解码器是立即可用的。
换句话说，当结合子图片使用可扩展编码时，例如在视口依赖的360度视频流场景中，一种常见的设置是要具有描绘整个360度视频场景的低分辨率基础层和包含在更高保真度或空间分辨率中的场景的增强层，但是其中，将增强层图片细分为若干个独立编码的子图片。在此类设置中，有可能从增强层和非子图片基础层中提取单个子图片，例如对应于客户的观看方向的图片部分，并将其与全360度视频基础层一起解码。
在诸如上述之类的比特流配置(具有非子图片参考层的子图片)的情况下，诸如在VVC规范中之类的现有的提取过程将不会产生一致的比特流。例如，在从inBitstream的逐字副本创建临时outBitstream(例如，以便从OLS指示18导出OLS指示18’)之后，当用索引subpicIdx提取子图片时，在当前VVC草案规范的子图片子比特流提取过程中对于所提取的OLS中的每个层i执行以下步骤：
-从outBitstream中移除其中nuh_layer_id等于第i层的nuh_layer_id并且其中sh_subpic_id不等于SubpicIdVal[subpicIdx]的所有VCL NAL单元，即，仅将其中nuh_layer_id等于第i层的nuh_layer_id并且其中sh_subpic_id等于SubpicIdVal[subpicIdx]的VCL NAL单元接管到所提取的比特流中.
注意，移除具有与要提取的子图片不同的子图片ID的所有VCL NAL单元。
其中，SubpicIdVal是来自子图片出现在比特流和相关的信令结构中的子图片索引Idx顺序的AU特定的映射，并且标识符ID值在属于该子图片的切片的切片报头中作为语法元素sh_subpic_id携带，并例如由提取器便于在提取期间标识子图片。
图3示出了多层视频数据流14的示例，该示例可以是如关于图1和图2所描述的视频数据流14的示例。根据图3，示出了视频的四个访问单元的序列。层L1的图片261中的每个图片细分为两个子图片，第一个子图片用索引0标引，并且第二个子图片用索引1标引，而层L0的图片260采用非细分的方式编码。
照惯例，当如在图3的顶部中所描绘的原始比特流经受子图片(例如，subpicIdx1)的提取时，将创建不一致的比特流12*，因为L1将缺失其来自L0的层间参考图片(ILRP)，如在图3的底部所见。注意，可能的是，子图片ID在比特流的进程中发生变化，因此提取基于索引。明显的是，这样的步骤将导致从非子图片层中移除所有NAL单元(例如，比特流部分)，因为它们具有子图片索引0。
因此，根据第一方面的实施例可考虑到在其中子图片特定的视频数据流包括非子图片层的场景中提取子图片特定的视频数据流。换句话说，所述实施例可考虑到提取子图片特定的视频数据流，其中，子图片可能具有对非子图片层的参考。
换句话说，相比之下，根据本发明的第一方面的实施例可允许取决于其子图片配置从OLS中的每个层提取(即，移除)NAL单元。例如，在一个实施例中，以上移除步骤以子图片的存在(例如，通过层SPS中的子图片的数量)为条件，如下所述：
-当sps_num_subpics_minus1大于0时，从outBitstream中移除其中nuh_layer_id等于第i层的nuh_layer_id并且其中sh_subpic_id不等于SubpicIdVal[subpicIdx]的所有VCL NAL单元。
特别注意“当sps_num_subpics_minus1大于0时”的部分，以将VCL NAL单元的移除限制为具有至少两个子图片的层或图片。
在另一个实施例中，基于子图片的存在，省略了所述提取过程关于每个层的非VCLNAL单元的附加步骤(诸如关于图片大小、修剪窗口偏移、等级idc和子图片配置的SPS/PPS调整)，如下所述。
Figure BPA0000334585380000181
同样地，注意“当sps_num_subpics_minus1大于0时”的部分，以将层特定的任务限制为具有至少两个子图片的层或图片。
图4示出了当在提取过程中使用以上实施例时提取子图片特定的视频数据流12的示例性结果，所述结果导致一致的比特流。
2.根据第二方面的编码器40、提取器10和视频数据流14
本节描述根据本发明的第二方面的编码器40、提取器10和视频数据流14的实施例。根据第二方面的编码器40、提取器10和视频数据流14可按照如关于图1所描述的编码器40、提取器10和视频数据流14，并且可以可选地按照如在第1节中关于图2所描述的第一方面。
图5示出了编码器40、提取器10、解码器50和视频数据流14的实施例，其中，视频数据流14包括至少第一层L1和第二层L0，例如，如关于图1和图2所描述。在图5中示例性地示出的场景的子图片28、视频序列24和图片26可以按照在图1和图2中所示的场景的描述。
根据第二方面的实施例，多层视频数据流14由比特流部分16(例如，NAL单元)组成或包括比特流部分16(例如，NAL单元)，所述比特流部分16中的每个比特流部分属于多层视频数据流14的层中一个层，例如，如由与相应比特流部分相关联的层ID所指示。多层视频数据流14包括第一层(例如，图5中的层L1，在左手侧)，其比特流部分16采用使得将第一视频241的图片261细分为两个或更多个子图片28(例如，层L1的图片261的一半简单阴影线和一半交叉阴影线)的方式使第一视频241编码到其中。子图片28以相互独立的方式被编码到第一层L1的比特流部分16中，以使得对于第一视频241的每个图片261，将第一视频的相应图片的子图片28编码到第一层L1的互不相同的比特流部分16中。例如，如已经关于图2所解释，将简单阴影线的子图片28编码到视频数据流14的简单阴影线的比特流部分中，而将交叉阴影线的子图片28编码到视频数据流14的交叉阴影线的比特流部分中。多层视频数据流14进一步包括第二层(例如，图5中的层L0，在左手侧)，其比特流部分使第二视频240编码到其中。例如，第二视频240涉及至少覆盖第一视频241的视频内容并且在时间上与第一视频241的视频内容对准的视频内容，以使得基于第二视频的对第一视频的层间预测是可行的。例如，层L0的图片260的视频内容可覆盖层L1的时间上对准的图片261的视频内容。在示例中，但是不一定，关于第二视频240的在空间上对应于第一视频241的空间图片区域采用非子图片细分的方式将第二视频240编码到视频数据流14的第二层L0中。换句话说，编码到第二层L0中的子部分的数量可以是1。甚至换句话说，可将第二层L0的每个图片编码为一个子图片，或者，例如，备选地，如果细分为子部分，则可能的是一个子部分完全覆盖第一视频的足迹。第一层的比特流部分(即，交叉阴影线和简单阴影线的比特流部分)使用来自参考图片的基于向量的预测使第一视频241编码到其中。此外，第一层的比特流部分采用以下方式使第一视频241编码到其中：采用包括(例如，至少)第二视频240的图片作为参考图片的方式；以及采用其中供在基于向量的用户预测中使用的向量70(第一层比特流部分使用其来编码，并且其由第一层的比特流部分组成，或其由第一层的比特流部分发信号通知)要根据多层视频数据流14中的缩放窗口72的大小和位置分别针对第一视频的图片261和参考图片260进行缩放和偏移的方式。
例如，第二视频240的图片至少包含在参考图片中，已使用所述参考图片，利用基于向量的预测对第一层的比特流部分进行了编码。例如，图5的图片260可以是图片261的参考图片。换句话说，第二视频240的图片260可充当用于编码第一视频241的图片261的层间参考图片。例如，基于向量的预测可以被包含在基于运动向量的预测框架中，其中，术语“运动”一般指以下的事实：从某个参考图片预测的第一视频241中的图片内容从其在参考图片中的对应的图片内容移动，由此在空间上通过某个向量来预测。也就是说，它从中移位，其中，参考图片可以是例如第一视频241的先前编码的图片或第二视频240的同时间或时间上对准的图片。例如，在图5中的第一视频241和第二视频240的图示中在彼此之上描绘的图片26可以是这样的图片。
向量70根据缩放窗口72的大小和位置的偏移可例如根据缩放窗口之间(例如，层L0的缩放窗口720与层L1的缩放窗口721)的位置偏移来执行。此外，例如，向量70根据缩放窗口72的大小和位置的缩放可根据缩放窗口之间(例如，缩放窗口720与721)的大小比来执行。
例如，可例如在每个图片的基础上在多层视频数据流14中借助于缩放窗口指示72来发信号通知缩放窗口72的大小和位置。例如，可由以下项来发送信号通知缩放窗口72的大小和位置：在x和y中的缩放窗口的尺寸和一个角的位置的指示，或缩放窗口的两个相对角的位置的指示。注意，与使用缩放窗口的坐标或坐标和尺寸不同地发信号通知缩放窗口的某些定位也可能是可行的，诸如通过使用对应的标志来指示缩放窗口与图片边界重合。在后一种情况下，在示例中，只有当该标志指示缩放窗口的定位与图片边界不重合时，才使用坐标等来指示缩放窗口的定位。
根据第二方面的提取器10配置成将属于第二层L0的比特流部分从多层视频数据流14接管到子图片特定的视频数据流12中，以使得子图片特定的视频数据流12使相应层的视频240完全编码到其中。例如，提取器10可转发层L0的比特流部分16中的所有比特流部分16，或者可转发与层L0相关联的比特流部分，这独立于将第一层L1的两个或更多个子图片中的哪些子图片转发到子图片特定的视频数据流12中，即，独立于第一层L1的子图片中的哪些子图片属于如下文中所描述的一个或多个子图片的预定集合。换句话说，根据第二方面的设备10可接管第二层L0的比特流部分，例如，如关于图1和图2针对采用非子图片细分的方式编码的层L0的情况所描述。
根据第二方面的提取器10进一步配置成将属于第一层L1并且使一个或多个子图片的属于预定集合的子图片28编码到其中的每个比特流部分从多层视频数据流14接管到子图片特定的视频数据流12中。例如，提取器10可丢弃或离开(即，不转发)属于相应层(例如，层L1)但是使一个或多个子图片中不属于预定集合的子图片28编码到其中的每个比特流部分。换句话说，根据第二方面的提取器10可以选择性地转发第一层L1的属于子图片的预定集合的集合的比特流部分，如关于图1和图2的第一方面所描述。如关于图1和图2所描述，可通过由API提供给提取器10的信息来指示一个或多个子图片的预定集合。
提取器10进一步配置成修改子图片特定的视频数据流12中针对第一层L1和/或第二层L0的缩放窗口信号化74，以使得针对第二视频的图片的缩放窗口720’的空间区域在空间上对应于针对一个或多个子图片的预定集合的缩放窗口721’的空间区域。
如图5所示，在提取子图片特定的视频数据流12之后，由一个或多个子图片的预定集合所定义的子图片由于对一个或多个子图片的预定集合的子图片(例如，图5中的子图片28)的提取和定制而成为或构成数据流12的第一层L1的图片261’。提取器10可修改缩放窗口信号化，以使得在使用缩放窗口720’、721’进行缩放之后子图片特定的视频数据流12的第二层L0的向量70的缩放与在子图片特定的视频数据流12的第一层L1的并置图片261’中具有大小和位置的向量70相关联，或被映射到这样的向量70中，该大小和位置对应于在多层视频数据流14中使用缩放窗口720、721与第二层L0的图片的向量70相关联或映射到其中的向量70的大小和位置。换句话说，提取器10可修改缩放窗口信号化74，以使得缩放窗口720’、721’提供对在数据流12的第一层L1的图片261’内的给定位置的向量70的确定，该确定导致大小和位置与多层视频数据流14的层L1的图片261中的对应位置的向量70相对应的向量(对应位置对应于相对于图片的边界在图片261’内的位置，而不是内容方面)。然而，由于图片261’的大小可能已经相对于图片261发生了改变，所以当相对于图片的边界定义缩放窗口时，可能需要关于其相对于图片261’的边界的位置修改或移动缩放窗口。
根据实施例，提取器10可修改针对第一层L1的缩放窗口信号化74，以使得第一层L1的缩放窗口721’在位置和大小上对应于第二层的缩放窗口720’。该示例在图5中借助于用连续线描绘的缩放窗口720’、721’进行了说明。
备选地，提取器10可通过定义第二层L0的缩放窗口720’以便与一个或多个子图片的预定集合的外周重合来修改缩放窗口信号化74，如由在图5中用虚线所描绘或者也如图6中所示的缩放窗口720’、721’所指示。
根据另外的实施例，提取器10可修改针对第一层和第二层两者的缩放窗口信号化，即，修改缩放窗口720’和721’，以使得缩放窗口720’和721’的外周重合。
例如，提取器10可通过在数据流14中使用子图片配置数据22来修改缩放窗口信号化74。换句话说，提取器10可修改数据流14中的子图片配置数据22，以便在数据流12中提供子图片配置数据22’。例如，子图片配置数据22可包括缩放窗口位置和大小的指示。提取器10可修改配置数据22中的缩放窗口位置和大小，以便获得子图片配置数据22’。
注意，如关于图2所提供的有关由提取器10进行的比特流部分的以隐藏方式的包含或修改或重新生成的一些注释也适用于图5(对照用于数据流12的比特流部分的撇号)，其中，信息74是可由编码器以隐藏方式包含或者可由提取器在运行中修改或重新生成的信息的另一示例。
图6示出了上述示例，其中，通过提取器10对第二层L0的缩放窗口720’进行修改。换句话说，图6示出了在提取层L1和层L0的右侧子图片的情况下调整缩放窗口的示例。
下面示出了针对用于修改缩放窗口的实现的示例性规范。
Figure BPA0000334585380000231
Figure BPA0000334585380000241
根据关于图5和图6所描述的第二方面的实施例考虑到子图片特定的视频数据流(诸如数据流12)的提取与层间预测的组合，因为在基于向量的预测中所使用的向量17可在解码所提取的子图片特定的视频数据流12中进行正确映射。
换句话说，虽然原始比特流包含控制信息，所述控制信息引导层间预测以在相应的PPS中通过所谓的缩放窗口应用正确的向上扩展(upscale)滤波器和MV偏移，但是重要的是调整由提取一个EL子图片+完整BL所产生的子比特流中的此类高级参数，以允许正确的解码。因此，作为本章的方面的部分，调整缩放窗口偏移参数，以在MV偏移和缩放因子推导方面补偿增强层的丢弃的子图片。在图6中，示出了在增强层中具有两个子图片的示例以及如何调整基础层L0和增强层L1的缩放窗口以在解码器侧上导致正确的层间预测，就像最初在编码器侧上所执行地那样，即，要重写包含子图片的层(L1)中的缩放窗口以在提取之后涵盖只与所提取的子图片相对应的完整编码的图片区域，如在图6的右手侧上所示，而要重写的没有子图片的层(L0)的缩放窗口以仅涵盖与较高层的所提取的子图片相对应的图片区域，即，涵盖用于预测剩余的L1编码的图片区域或子图片所需的样本。类似地适用于如上文所描述的示例，根据该示例，对第一层L1的缩放窗口721’进行修改，由提取器10从第一层L1中提取由一个或多个子图片的预定集合所定义的一个或多个子图片。
3.根据第三方面的编码器40和解码器50
本节参考图1描述根据第三方面的实施例，其中，在第0节中所描述的细节可以可选地适用于根据第三方面的实施例。并且，如图2和图5所示的数据流12、14的细节也可被包含在第三方面的实施例中，在这种情况下，第1节和第2节的对应描述相应地适用。
如前所述，编码器40可在对视频24的图片26的编码中应用层间预测。例如，编码器14可使用层间预测来编码层L1的图片261。例如，编码器40可使用在时间上与图片261并置的图片260，以在对图片261的编码中进行层间预测。例如，编码器40可使用时间运动向量预测(TMVP)来预测用于编码图片261的运动向量。可用于层间预测的方法的其它示例是利用光流的预测细化(PROF)或运动向量环绕，这将在下面更精确地描述。如前所述，用于预测要编码的图片的图片可称为要编码的图片的参考图片。
在其中TMVP将需要对参考图片运动向量(MV)存储进行重新采样的情况下，例如，单层分辨率变化或多层空间可扩展性(因为它可能由多层视频序列24来提供)，使用门控变量RprConstraintActive[currentPic][refPic]来禁用TMVP的使用，如下所述。
比特流一致性的要求是，由sh_collocated_ref_idx所引用的图片应该对于编码的图片的所有切片都相同，并且RprConstraintActive[sh_collocated_from_10_flag？0：1][sh_collocated_ref_idx]应该等于0。
注释-以上约束要求并置的图片具有与当前图片相同的空间分辨率和相同的缩放窗口偏移。
图7示出了从多层比特流中提取子图片特定的视频数据流的示例，其中，第一层L1的图片261细分为子图片28，而第二层L0的并置图片260未细分，即，被编码到单个子图片中。如前所述，本节中的实施例是关于图1描述的，从而对图1的要素的描述和对应的参考符号可适用。此外，关于图2的对应要素的描述也可适用于根据第三方面的实施例。
当如在上文(例如，第1节和第2节)中所解释在OLS中将具有子图片的层与没有子图片的层组合，并且如在图7的左手侧上经由原始比特流所示没有使用空间可扩展性时，也将允许编码器使用TMVP。
然而，当如在图7的右手侧上所示提取子图片，并且在提取过程期间调整缩放窗口以允许对样本值的层间预测正常运行时，会出现问题。在提取之后，用于推导RprConstraintActive[currentPic][refPic]的条件发生了变化，并且不允许TMVP，如可从当前的VVC草案规范的以下章节中看出，特别是其中定义“RprConstraintActive[i][j]”的部分：
Figure BPA0000334585380000261
Figure BPA0000334585380000271
其中定义RprConstraintActive[i][j]的部分定义了与本节前面所叙述的注释相对应的条件，该注释定义了，“以上约束(关于参考图片的约束)要求并置的图片具有与当前图片相同的空间分辨率和相同的缩放窗口偏移”。当当前图片和参考图片具有不同的大小时，例如当在CVS(编码的视频序列)中的单层分辨率的变化或在空间可扩展的比特流中的层间预测中，禁止诸如TMVP之类的任何基于语法的预测，因为此类预测在所涉及的预测机制中将需要特殊的预防措施。例如，出于语法预测的目的，将诸如MV候选之类的语法存储在额外的常规存储网格(例如，16×16样本)中，并且在分辨率没有发生变化的情况下，将当前图片的(CTU)块边界与该常规存储的边界对准。因此，找到并置的MV存储位置相对简单，而当出现采样比不等于1(即，参考图片和当前图片之间的分辨率发生变化)或(通过参考图片与当前图片之间的不同缩放窗口位置)使用任意位置偏移时，所述边界可能不再对准。于是，推导用于供预测使用的正确的MV存储位置将是额外的实现负担，并且在VVC的情况下，需要进行设计权衡以免为这种情况集成特殊的预防措施，因为假设它在单层分辨率变化的主要用例中很少发生，并且多层应用不是编解码器的主要目标。
另外注意，目前，运动向量预测不使用缩放窗口。缩放窗口仅用于基于用于块的运动向量的样本预测，即，缩放窗口定义要如何偏移运动向量。但是，对于运动向量预测，忽略缩放窗口，并将图片的左上角块映射到另一图片的左上角块(并置块)，在该图中所示的示例中，当执行提取时，在执行提取之后，当与提取之前相比时，这将导致完全不同的并置块。
与TMVP类似地受影响的另一工具是利用光流的预测细化(PROF)，它是VVC中的仿射(affine)运动预测模型的一部分，并且引入它是为了更有效地表示某些类型的运动(例如，放大或缩小、旋转)，并且如果选择该模式，则应用基于CU的仿射运动补偿的预测。通过位于左上角和右上角的两个控制点的MV(四参数模型)或位于左上角、右上角和左下角的三个控制点的MV(六参数模型)来描述用于CU的仿射运动模型。为了实现更细粒度的运动补偿，使用利用光流的预测细化(PROF)来细化每个亮度预测子块，以便瞄准逐个样本运动补偿的效果。通过添加基于梯度导出的差和基于样本的运动向量差来细化亮度子块中的预测样本。PROF不适用于色度样本。
然而，在仿射运动预测过程中，基于RprConstraintActive[i][j]导出与PROF相关的标志cbProfFlagLX，并且提取子图片之前和之后的推导中的差将导致编码器/解码器不匹配。
另一个受影响的工具是运动向量环绕，它用于某些类型的内容(等距柱状投影格式的360度视频)。例如，当对象在图片的垂直边界上离开编码的图片平面时，它通常在相反的垂直边界上再次进入到图片平面，就像从底层投影的性质一样。当运动向量指向图片外部时，在运动向量环绕中通过使用相反的边界进行样本填充来促成该事实。
然而，在样本预测过程中，基于RprConstraintActive[i][j]导出用于控制运动向量环绕的标志(refWraparoundEnabledFlag)，并且因此，当提取子图片之前和之后的推导中发生差异时，将导致编码器/解码器不匹配，在TMVP或PROF的情况中类似。
第三方面提供了针对控制诸如TMVP、PROF和MV环绕之类的层间预测工具的使用的概念，以使得可以避免当提取子图片特定的视频数据流时可能出现的上述问题。根据第三方面的实施例可通过在对原始比特流(即，多层视频数据流14)的编码中控制这些层间预测工具的使用以避免子图片提取之前和之后的不同行为来避免这些问题。
根据第三方面的实施例，用于将视频24编码到多层视频数据流14中的编码器40支持逐个子图片独立编码。此外，编码器40配置成使用用于多层视频数据流14的第二层L0的预测的层间预测工具的集合以及使用用于逐个子图片独立编码的第一配置设置，将视频24的第一版本241编码到多层视频数据流14的第一层L1中。根据第三方面的编码器40进一步配置用于使用用于逐个子图片独立编码的第二配置设置来将视频24的第二版本240编码到多层视频数据流14的第二层L0中。编码器40配置用于检查第一配置设置与第二配置设置是否具有预定关系。如果第一配置设置与第二配置设置不具有预定关系，则编码器40停用或避免使用一个或多个层间预测工具的预定子集。
例如，用于第一层L1和第二层L0的第一配置设置和第二配置设置可考虑是否(或是否不)采用子图片细分的方式编码相应层。换句话说，第一配置设置和第二配置设置可包括关于子图片的数量的信息(例如，区别一个和多于一个，一个子图片的数量意味着采用非细分的方式编码图片)。例如，用于第一层L1和第二层L0的第一配置设置和第二配置设置可包括关于以下项中的一个或多个的信息：子图片的边界、子图片标识符以及子图片的边界处理。
例如，预定关系可使得，如果满足以下条件中的一个或多个或所有条件的集合，则第一配置设置与第二配置设置具有预定关系：
-第一视频和第二视频分别采用细分为多于一个子图片的方式被编码到第一层和第二层中，
-第一视频和第二视频分别采用细分为在第一视频和第二视频之中相等的多个子图片的方式被编码到第一层和第二层中，
-第一视频和第二视频分别采用细分为在第一视频和第二视频之中相等的多个子图片的方式被编码到第一层和第二层中，其中，子图片的边界在空间上一致，
-第一视频和第二视频分别采用细分为多个子图片的方式被编码到第一层和第二层中，所述多个子图片在为多层视频数据流中的针对子图片发信号通知的子图片ID中一致，
-第一视频和第二视频分别采用细分为多个子图片的方式被编码到第一层和第二层中，所述多个子图片在针对子图片的边界处理上一致。
例如，一个或多个层间预测的预定子集包括以下项中的一个或多个：层间运动向量预测(例如，TMVP)、基于向量的层间预测的光流细化、以及基于向量的层间预测中的运动向量环绕。
例如，编码器40可在多层视频数据流中发信号通知第一配置设置和第二配置设置。
在示例中，如果第一配置设置与第二配置设置具有预定关系，则编码器40可激活或利用一个或多个层间预测工具的预定子集或其子集。
根据第三方面的实施例，用于解码多层视频数据流的解码器50配置用于使用用于从多层视频数据流的第二层L0进行预测的层间预测工具的集合并使用针对逐个子图片独立编码的第一配置设置，从多层视频数据流的第一层L1中解码视频24的第一版本241。注意，多层视频数据流可以是子图片特定的视频数据流12或多层视频数据流14。换句话说，虽然在图1中，将解码器50示为解码子图片特定的视频数据流12，但是解码器50也可以能够解码多层视频数据流14，因为它可例如在选择另一OLS时由提取器10转发，如在图1中所示的场景中那样。由于由解码器50解码的多层视频数据流可对应于子图片特定的视频数据流12，所以视频24的第一版本241可能不同于关于编码器40所提及的版本，因为多层视频数据流可能已经经过提取过程，如关于图1-7所描述。因此，在示例中，关于解码器50所提及的视频的第一版本241可能通过对一个或多个子图片的省略而不同于关于编码器40所提及的版本。这同样适用于第一配置设置，参考解码器50的所述第一配置设置涉及编码到要由解码器50解码的数据流的所提取的/剩余的/正常移除的部分中的图片的图片区域。例如，如果进入到解码器的多层视频数据流仅涉及包含图片的前两个子图片中的一个子图片28，则第一配置数据将仅指示非子图片细分。
根据第三方面的解码器50可配置用于使用针对逐个子图片独立编码的第二配置设置，从多层视频数据流(即，提供给解码器50的视频数据流)的第二层L0中解码视频24’的第二版本240’。解码器50配置用于检查第一配置设置与第二配置设置是否具有预定关系。如果第一配置设置与第二配置设置具有预定关系，则解码器50可停用一个或多个层间预测工具的预定子集，如关于编码器40所描述。
根据实施例，解码器50可配置用于逐个子图片独立解码，其包括在子图片边界处进行向量修剪和/或在子图片边界处进行边界填充。
例如，上文所介绍的变量RprConsconstraintsActive可表示第一配置设置与第二配置设置的比较。例如，编码器40和解码器50可取决于第一配置设置与第二配置设置是否具有预定关系来导出该变量，即，相应地设置该变量，并且可使用该变量来决定是否使用层间预测工具的预定子集。
在一个实施例中，如下调整RprConstraintActive[i][j]的推导：
Figure BPA0000334585380000311
Figure BPA0000334585380000321
备选地，在一个实施例中，比特流一致性的要求在于，在当前图片与具有不同子图片配置(启用和(vs.)禁用)的参考图片之间的预测中，比特流不激活TMVP、PROF或MvWrapAround，并且该比特流携带所述约束的指示。
虽然对于TMVP，在示例中，以上推导的含义不会影响解码器，但是对于PROF和MvWrapAround，解码器可执行以上经过修改的推导，并在执行/检查相应的工具时不同地表现。
备选地，可以取决于以下项进行此类检查：当前图片和参考图片中的子图片的数量或标识符、此类子图片的边界处理的属性或另外的特性。
4.根据第四方面的编码器40和提取器10
本节参考图1描述根据第四方面的实施例，其中，在第0节中所描述的细节可以可选地适用于根据第四方面的实施例。并且，如图2和图5所示的数据流12、14的细节也可以可选地被包含在第三方面的实施例中，在这种情况下，第1节和第2节的对应描述相应地适用。最佳地，关于第一、第二和第三方面所描述的特征也可与第四方面组合。
当从多层视频数据流(诸如视频数据流14)中提取子图片时，例如在前面第1至3节的实施例的示例中，可发信号通知或导出分数(例如，由ref_level_fraction_minus1指示)，该分数稍后用于确定所提取的子比特流的某些等级限制(例如，比特率、(编码的图片缓冲区)CPB大小、图块数等)。例如，这些等级约束可提出解码器能力要求，或与解码器能力要求相关，解码器必须满足所述解码器能力要求，以便能够解码所述能力要求所指的由OLS所描述的视频序列或视频数据流。
照惯例，当不存在时，推断该分数等于子图片的大小相对于在其层中的整个图片的大小，如下所述：
当不存在时，推断ref_level_fraction_minus1[i][j]的值等于Ceil(256*SubpicSizeY[j]÷PicSizeInSamplesY*MaxLumaPs(general_level_idc)÷MaxLumaPs(ref_level_idc[i])-1。
但是，在该机制的情况下，存在多个问题。首先，以上推断没有考虑到比特流可以代管多个层的事实，例如关于比率SubpicSizeY[j]÷PicSizeInSamplesY是不够的，因为一些等级限制具有比特流范围(例如，比特率和CPB大小)，而其它等级限制具有层范围(例如，图块数)。
因此，它是本方面的一部分，在一个实施例中，以考虑OLS中的所有层的方式进行推断，即，它是导出的比特流特定的。
因此，作为本方面的一部分，在一个实施例中，改变每个子图片的分数的推断，以便还并入没有子图片的参考层的等级影响，如下所述。
当不存在时，推断ref_level_fraction_minus1[i][j]的值等于max(255，Ceil(256*SumOfSubpicSizeY[j]÷SumOfPicSizeInSamplesY*MaxLumaPs(general_level_idc)÷MaxLumaPs(ref_level_idc[i])-1))。最大值函数可以排除在外，从而导致Ceil(256*SumOfSubpicSizeY[j]÷SumOfPicSizeInSamplesY*MaxLumaPs(general_level_idc)÷MaxLumaPs(ref_level_idc[i])-1)。
其中，SumOfSubpicSizeY和SumOfPicSizeInSamplesY是关联到OLS中的所有层中的相应子图片的所有样本的总和。
图8示出了按照例如在图1、图2、图5中所示的场景提取子图片特定的视频数据流14的示例。图8指示了原始数据流(例如，提取前的数据流14的视频24)和提取后的子图片特定的数据流12的视频序列24’之间的输出图片面积的相对变化。
第二个问题考虑到子图片可以与不包含对应子图片的参考层组合使用的事实，如图8所示，其中，L0不具有子图片。
为了涵盖这种情况或提供更准确的等级限制，在另一个实施例中，进行例如ref_level_fraction_minus1的推断，如下所述：
其中，SumOfSubpicSizeY和SumOfPicSizeInSamplesY是关联到OLS中的所有层中的相应子图片以及OLS中的没有子图片的所有层的所有样本的总和。
在另一个实施例中，ref_level_fraction_minus1[i][j]的推断相对于现有技术水平保持不变(对于包含子图片的层，它保持层特定的分数)。而是，对于以上改变备选地，从每层特定的分数导出OLS特定的分数变量，如在下文中所述：
Figure BPA0000334585380000341
Figure BPA0000334585380000351
其中，k是OLS的索引，i是参考等级的索引，并且j是子图片的索引。
以上实施例可预期在所有层之中具有相等的速率分布。为了允许编码器也自由地决定子图片层和非子图片层之中的速率分布，在本发明的另一个实施例中，显式地发信号通知在比特流的OLS内没有子图片的层的分数。即，发信号通知对于给定的参考等级，非子图片层总共对应于比特流的OLS的多少分数：
Figure BPA0000334585380000352
non_subpic_layers_fraction[i]指定与比特流/OLS中使sps_num_subpics_minus1等于0的层相关联的比特流/OLS特定的等级限制的分数。当vps_max_layers_minus1等于0时，non_subpic_layers_fraction[i]；或者当比特流/OLS中没有层使sps_num_subpics_minus1等于0时，non_subpic_layers_fraction[i]应该等于0。
将第i个ref_level_idc的第j个子图片的变量OlsRefLevelFraction[i][j]设置成等于non_subpic_layers_fraction[i]+(255-non_subpic_layers_fraction[i])÷255*ref_level_fraction_minus1[i][j]+1。
OlsRefLevelFraction[i][j]要OLS特定地使用，如在第5节中所讨论。
根据第四方面的实施例，多层视频数据流14包括层集，例如，诸如选择用于解码的OLS之类的OLS。例如，OLS可包括层L0和L1，如图1中所示。注意，由编码器40编码的多层视频数据流可以可能不仅仅包括该层集(即，这一个层集)，而是可包括另外的OLS，并且可包括除了如图1中所示的层L0和层L1之外的另外的层。根据第四方面的编码器40配置用于将层集的非缩减版本(例如，层L0和L1)编码到多层视频数据流14中，其中，以每层一个或多个独立编码的子图片为单位将视频版本(例如，视频序列240和视频序列241)编码到层集的非缩减版本中。例如，“以一个独立编码的子图片为单位”的措辞应该表示未细分为子图片地编码的层，即，图片(诸如视频版本240的图片260)形成一个子图片。例如，可在层集中存在一个或多个这样的未细分层，并且可在层集中存在一个或多个子图片划分的层。
根据第四方面的编码器40进一步配置用于将与解码层集的非缩减版本相关的参考解码器能力要求编码到层视频数据流14中。此外，根据第四方面的编码器14配置用于，对于层集的每个层，将关于编码到层的大小的非缩减版本的相应层中的图片的图片大小的信息(诸如在图2中所描绘的信息22)编码到多层视频数据流14中，并且对于相应层的一个或多个独立编码的子图片中的每个子图片，将关于子图片大小的信息编码到多层视频数据流14中。根据第四方面的编码器40配置用于，对于层集的针对其已经移除了至少一个层的子图片相关的部分的一个或多个缩减版本中的每个缩减版本(例如子图片特定的视频数据流12或视频数据流12的不一定包括整个多层视频数据流14的另外的版本)，确定与解码层集的相应缩减版本相关的解码器能力要求，例如OlsRefLevelFraction[i][j](注意，OlsRefLevelFraction[i][j]是特定于与第j个子图片相关的缩减版本的)。
编码器40通过将参考解码器能力要求按因子缩放来确定针对相应的缩减版本的解码器能力要求，该因子使用包含在层集的相应的缩减版本中的独立编码的子图片的子图片大小之和除以图片大小之和的商来确定。换句话说，层集的缩减版本是指层集的对于其已经移除了与其它子图片(诸如，不要提取的子图片，即，它们不是要在子图片特定的视频数据流14中转发的子层的预定集合的一部分)有关的比特流部分的版本。
例如，编码器40可在多层视频数据流14中提供解码器能力要求，对照例如如图2所示的解码器能力要求60。
解码器能力要求信息可用作所提取的比特流是否由要接收比特流的解码器可解码的指示。例如，解码器能力要求信息可供接收比特流的解码器用于设置或初始化解码器。
通过对于重新使用的版本中的每个重新使用的版本确定特定的解码器能力要求，可更精确地提供解码器能力要求，以使得可以避免指示不必要的高解码器能力要求的信息，并且，例如，解码器可根据其能力选择最高质量的OLS。
相应地，根据第四方面的提取器10的实施例，用于从包括层集的多层视频数据流14中提取子图片特定的视频数据流12的提取器10配置成从多层视频数据流14中导出与解码层集的非缩减版本相关的参考解码器能力要求，多层视频数据流14使层集的非缩减版本编码到其中，并且以每层一个或多个独立编码的子图片为单位将视频版本240、241编码到层集的非缩减版本中。根据该实施例，提取器10配置用于，对于层集的每个层，从多层视频数据流中导出关于图片的编码到层集的非缩减版本的相应层中的图片大小的信息(诸如在图2中所示的信息22)，并且对于相应层的一个或多个独立编码的子图片中的每个子图片，从多层视频数据流中导出关于子图片大小的信息。此外，根据该实施例，提取器10配置用于，对于层集的针对其已经移除了至少一个层的子图片相关的部分的预定缩减版本(例如，借助于由API所提供的OLS指示20所预先确定的)，通过将参考解码器能力要求按因子缩放来确定与解码层集的预定缩减版本相关的解码器能力要求，该因子使用包含在层集的预定缩减版本中的独立编码的子图片的图片大小之和除以图片大小之和的商来确定。
在下文中，仍然参考图1和图2，将描述第四方面的备选实施例。
根据这些备选实施例，多层视频数据流14包括多个层，诸如层L0和层L1。此外，编码器40配置用于关于一个或多个第一层(诸如图1中的层L1)采用细分为独立编码的子图片的方式并且关于一个或多个第二层(诸如层L0)采用未细分的方式将视频图片26(诸如图片260和图片261)编码到多层视频数据流的层中。换句话说，编码器14可以采用细分为独立编码的子图片的方式将视频24的图片编码到第一类型的层(诸如第一层L1)中，并且可以采用未细分的方式将图片编码到第二类型的一个或多个层(诸如第二层L0)中。注意，多层视频数据流14可包括第一类型的一个或多个层和第二类型的一个或多个层。根据这些备选实施例的编码器40配置用于将层的层集的指示(诸如在图2中所示的指示18)编码到多层视频数据流14中，以使得在层集中包括至少一个第一层，并且在层集中包括至少一个第二层。例如，层集的指示可以是OLS指示18。多层视频数据流14可包括多个层集的指示，如关于图1所描述。
根据这些备选实施例的编码器40配置用于，对于足以用来解码层的层集的若干个参考解码器能力要求中的每个参考解码器能力要求，将关于归因于所述至少一个第一层的相应的参考解码器能力要求的第一分数(例如，图9的第一分数134)和归因于所述至少一个第二层的相应的参考解码器能力要求的第二分数132(例如，图9的第二分数134)的信息编码到多层视频数据流14中。例如，可通过上文所介绍的语法元素ref_level_fraction_minus1[i][j]来指示第一分数134，并且可通过上文所介绍的语法元素non_subpic_layer_fraction[i][j]来指示第二分数132。
例如，参考解码器能力要求足以用来解码层的层集可意味着，至少通过最小CPB大小来定义每个参考解码器能力要求。这若干个参考解码器能力要求可以可能关于其所指示的最小CPB大小彼此互不相同。注意，对于所述参考解码器能力要求中一些参考解码器能力要求，层集可一起仅消耗一小部分，例如，可仅消耗完全可用的CPB大小的一小部分，并且因此，像将关于图10所解释的混合器100之类的混合器可使用此类信息(即，参考解码器能力要求)，以便决定关于不同流的多少OLS可混合在一起，其中仍然满足等级/参考解码器能力要求。
例如，解码器能力要求(其又可称为解码器能力信息(DCI))可指示对于解码器的用于解码与解码器能力要求相关联的层集的要求。例如，层集可具有与之相关联的若干个参考解码器能力要求。例如，与层集相关联的参考解码器能力要求中的每个参考解码器能力要求可以指编码到该层集中的视频24的不同版本，诸如包括不同子图片的视频的不同版本被编码到其中的不同的子图片特定的视频数据流。
第四方面的实施例包括用于处理多层视频数据流14的设备，该设备可处理由刚才所描述的编码器40的备选实施例所提供的视频数据流。例如，用于处理多层视频数据流14的设备是混合器(诸如在下文中所描述的混合器100)、提取器(诸如图1、图2、图5的提取器10)、解码器(诸如解码器50)、或其组合。因此，用于处理数据流的设备称为设备10、100。例如，解码器50和提取器10可组合，或者它们中的一个可包括另一个。根据这些实施例的用于处理多层视频数据流的设备配置用于从多层视频数据流14中解码层的层集的指示，层集包括至少一个第一层和一个第二层，如之前所描述。该设备配置用于，对于若干个参考解码器能力要求中的每个参考解码器能力要求，从多层视频数据流14中解码关于归因于所述至少一个第一层的相应的参考解码器能力要求的第一分数和归因于所述至少一个第二层的相应的参考解码器能力要求的第二分数的信息。
图9分别示出了第一层的图片261和第二层的图片260以及归属的第一分数134和第二分数132的示例，因为根据刚才所描述的第四方面的备选实施例，可在视频数据流14中发信号通知它们。在图9的示例中，第一层的图片261细分为两个子图片28。图9a示出了对用于可与在图9中所指示的第一参考等级相关联的第一参考解码器能力要求的第一分数1341和第二分数1321的确定。在图9的说明性示例中，第一参考等级与具有示例性值1000的第一CPB 1301(在图9中，它可表示解码器能力要求的说明性示例)相关联。在图9中，分别对于子图片或图片中的每个，指示其在与相应的参考解码器能力要求相关联的视频流的总图片大小中的相对份额。例如，根据图9a，图片260的图片大小占视频流的总图片大小的20％份额。换句话说，图9a示出了对于包括图片260和261(两者具有包含在其中的子图片)的视频数据流，确定参考解码器能力要求。作为第二层的图片260相对于针对相应的解码器能力要求所指示的总CPB的份额确定第二分数1321。与在图9a中所示的视频数据流的解码器能力要求相关联的第一分数1341是CPB的剩余部分，即，分布到第一层的图片261的子图片上的、未被第二层的图片260使用的份额。
图9b示出了对于与图9a中所示的视频数据流类似、但是只包括第一层的图片261的子图片28中的一个子图片的视频数据流的示例。因此，在图9b的示例中，对应的CPB等级按大小比图9a的子图片28中的一个子图片的分数更小，因为视频数据流确实只包括第一层的子图片中的一个子图片，图片260相对于在视频数据流中发信号通知的总图片面积的份额更高，即，是33％而不是20％。如关于图9a所描述，考虑到在图9b的情况下图片261只包括两个子图片28中的一个子图片，相应地确定对于图9b的示例的与参考解码器能力要求相关联的第二分数1322和第一分数1342。
根据实施例，编码器40可通过一方面将第一分数写入到多层视频数据流中并且另一方面将第二分数除以(一减去第一分数)写入到多层视频数据流中，编码关于第一分数和第二分数的信息。设备10、100可通过从多层视频数据流中读取第一分数并且进一步读取第二分数，相应地解码关于第一分数和第二分数的信息。备选地，设备10、100可通过以下方法来解码关于第一分数和第二分数的信息：从数据流中读取第一分数和另外的分数；并通过将另外的分数乘以一减去第一分数的差来导出第二分数。
根据一些示例，编码器40可将关于若干个参考解码器能力要求中的一个或多个参考解码器能力要求(例如，图1中所示的解码器能力要求60)的信息编码到多层视频数据流中。换句话说，编码器40可将若干个参考解码器能力要求中的一个或多个但不一定所有参考解码器能力要求的信息编码到多层视频数据流中。例如，关于若干个参考解码器能力要求中的其它参考解码器能力要求的信息可通过默认规则导出。例如，在图9的示例中，基于关于第一层的图片261所细分的子图片的相对大小的信息，关于图9a和图9b的解码器能力要求中的一个解码器能力要求的信息可从另一个解码器能力要求中导出。
例如，编码器40可配置用于，对于若干个参考解码器能力要求中的至少一个参考解码器能力要求，编码信息，以使得第一分数134和第二分数132涉及多层视频数据流的缩减版本，例如，图9b的第一分数1342和第二分数1322。编码器可编码信息，以使得对于存在于缩减版本中的一个或多个独立编码的子图片中的每个子图片，第一分数从多层视频数据流中可导出。例如，参考图9a，在知道图片261的两个子图片之间的比例(例如，在图9a中为50％)(该比例从由编码器40编码到数据流14中的视频中的参数(诸如，例如在样本或图块中所测量的子图片的宽度和/或高度)可导出)的情况下，设备10、100可从图片261的左侧子图片的第一分数导出针对图片261的右侧子图片的第一分数。
附加地或备选地，编码器14可配置用于，对于若干个参考解码器能力要求中的至少另外的参考解码器能力要求，编码信息，以使得第一分数和第二分数(例如，图9a的第一分数1341和第二分数1321)涉及多层视频数据流的非缩减版本，并且对于所述至少一个第一层的独立编码的子图片中的每个子图片，从多层视频数据流14中导出第一分数134。
如图9所示，设备10、100可将第一分数134和第二分数132相加，以便获得针对相应的层集的实际的解码器能力要求，诸如CPB。如图所示，实际的解码器能力要求可以是特定于子图片特定的视频数据流的。
如所提及的，设备10、100可以是混合器，即，设备10、100可将多层视频数据流14与另外的视频数据流混合。为此，设备10、100可使用关于第一分数和第二分数的信息来基于数据流14和另外的输入视频数据流形成另外的数据流，例如，如关于图10所描述。
5.根据第五方面的编码器40和提取器10
本节参照图1描述根据第五方面的实施例，其中，在第0节中所描述的细节可以可选地适用于根据第五方面的实施例。并且，如图2和图5所示的数据流12、14的细节也可以可选地被包含在第三方面的实施例中，在这种情况下，第1节和第2节的对应描述相应地适用。可选地，关于第一、第二、第三、特别是第四方面所描述的特征也可与第五方面组合。特别地，在第5节中所描述的实施例的示例可涉及在第4节中所描述的实施例，特别是关于解码器能力要求以及第一分数和第二分数。
第五方面的实施例可涉及对OLS的层的约束的选择性应用。
如前所述，以上语法元素ref_level_fraction_minus1[i][j](无论是显式地发信号通知的还是推断的)用于施加某些层特定的约束，诸如现有技术中的图块数量。但是，对于没有子图片的(参考)层，这些约束可能不必要那么苛刻，或者从编码器的角度来看甚至可能难以满足，因为提取过程不会碰到相应的层，但是却收紧该层必须满足的约束。
因此，在另一个实施例中，本方面的一部分在于，只对OLS中包含子图片的层(即，将从提取过程中经历图片大小的缩减的层)选择性地施加以下约束。因此，编码器可利用非子图片细分的层的较少限制。
根据第五方面的实施例，编码器10可以采用细分为独立编码的子图片28的方式将图片261编码到一个或多个第一层(例如，第一层L1)中，并采用未细分的方式将图片260编码到一个或多个第二层(例如，层L0)中，例如，如图1或图2所示。编码器可对于层集(例如，OLS)或对于在OLS指示18中所指示的一个或多个OLS中的每个OLS的相应层集，针对层集的第一层(即，采用子图片细分的方式使图片编码到其中(即，使细分为至少两个子图片的图片编码到其中)的层)选择性地检查层特定的约束。换句话说，对于采用子图片细分的方式使图片编码到其中的层，可以执行检查，但是对于采用未细分的方式使图片编码到其中的层，可以省略检查。换句话说，可以只对于采用子图片细分的方式使图片编码到其中的层执行检查。
针对第一层选择性地进行检查的约束涉及对于相应的第一层的子图片的预定参数集。换句话说，对于相应的第一层的子图片中的每个子图片，编码器可以检查对于一个或多个参考解码器能力要求中的每个参考解码器能力要求的约束，所述约束是特定于所述参考解码器能力要求的。例如，对于相应的子图片的一个或多个参考解码器能力要求(针对其检查约束)可以指由从相应的第一层提取相应的子图片而产生的子图片序列，或者可以指该子图片序列对由从相应的第一层提取相应的子图片而产生的视频数据或流视频序列的贡献。如在第0节中所提及，由OLS描述的比特流也可以在由提取器10提取之后仍然是通过以下项而可扩展的：对OLS的一个或多个层和/或一个或多个时间子层的选择/提取。这同样适用于提取器10提取子图片特定的视频数据流的情况，以使得由编码器发信号通知的一个或多个参考解码器能力要求可在某种程度上适用于视频数据流中的每个子图片，所述程度对于参考解码器能力要求中的每个参考解码器能力要求由相应的参考解码器能力要求的分数(所述分数是特定于子图片的，例如，在第4节中所描述的第一分数)来定义。换句话说，一个或多个参考解码器能力要求可以与相应的子图片相关联，所述参考解码器能力要求中的每个参考解码器能力要求适用于可能的子比特流(其从特定于相应的子图片的子图片特定的视频数据流中可提取)，并且所述参考解码器能力中的每个参考解码器能力要求提出特定于参考解码器能力要求的约束。
例如，在其上施加约束的参数可包括以下参数中的一个或多个或所有参数：
-样本(例如，LUMA样本)的数量，例如MaxLumaPs
-例如依据样本的数量的图片大小，例如图片宽度和/或图片高度
-一行中的图块数和/或一列中的图块数，例如MaxTileRows和/或MaxTileCols
-图块总数
例如，编码器10可使用归因于相应子图片的相应参考解码器能力要求的分数(例如，如在第4节中所描述的第一分数134)来确定对于单个子图片的参数或属性，例如，在以下示例中的RefLevelFraction[i][j]，其中，i指示相应的参考解码器能力要求，而i指示相应的子图片。
以下是与当前的VVC草案规范相关的突出显示更改的示例规范：
比特流一致性的要求在于，由提取第j个子图片(其中，j在0到sps_num_subpics_minus1(包含)的范围内，并且sps_num_subpics_minus1大于0)所产生并且符合其中general_tier_flag等于0而等级等于ref_level_idc[i](其中，i在0到num_ref_level_minus1(包含)的范围内)的配置文件的比特流中的每个层都应该遵守对于如在VVC规范的附录C中所规定的每个比特流一致性测试的以下约束：
-Ceil(256*SubpicSizeY[j]÷RefLevelFraction[i][j])应小于或等于MaxLumaPs，其中，在(VVC的)表A.1中为等级ref_level_idc[i]指定MaxLumaPs。
-Ceil(256*(sps_subpic_width_minus1[j]+1)*CtbSizeY÷RefLevelFraction[i][j])的值应小于或等于Sqrt(MaxLumaPs*8)。
-Ceil(256*(sps_subpic_height_minus1[j]+1)*CtbSizeY÷RefLevelFraction[i][j])的值应小于或等于Sqrt(MaxLumaPs*8).
-SubpicWidthInTiles[j]的值应小于或等于MaxTileCols，并且SubpicHeightInTiles[j]的值应小于或等于MaxTileRows，其中，在(VVC的)表A.1中为等级ref_level_idc[i]指定MaxTileCols和MaxTileRows。
-SubpicWidthInTiles[j]*SubpicHeightInTiles[j]的值应小于或等于MaxTileCols*MaxTileRows*RefLevelFraction[i][j]，其中，在(VVC的)表A.1中为等级ref_level_idc[i]指定MaxTileCols和MaxTileRows。
在另一个实施例中，对于其中sps_num_subpics_minus1等于0的OLS的层，导出RefLevelFraction[i][j]等于255(例如，具有分数100％)。
在另一个实施例中，与MaxLumaPs相关的限制、最大和最小纵横比、切片或子图片、或者图块列或行的数量是层特定的，并且使用层特定的ref_level_fraction(即，对于没有子图片的层，为255)，而如下文的与CPB大小、比特率和MinCR相关的层特定的限制要基于OLS特定的OLSRefLevelFraction等于OLS_fraction[k](例如，如上文在第4节中所导出)强制执行。
如下导出变量SubpicCpbSizeVcl[i][j]和SubpicCpbSizeNal[i][j]：
SubpicCpbSizeVcl[i][j]＝Floor(CpbVclFactor*MaxCPB*OLSRefLevelFraction[i][j]÷256)(D.5)
SubpicCpbSizeNal[i][j]＝Floor(CpbNalFactor*MaxCPB*OLSRefLevelFraction[i][j]÷256)(D.6)
其中，如在条款A.4.2中所规定，MaxCPB从ref_level_idc[i]导出.
如下导出变量SubpicBitRateVcl[i][j]和SubpicBitRateNal[i][j]：
SubpicBitRateVcl[i][j]＝Floor(CpbVclFactor*ValBR*OLSRefLevelFraction[i][j]÷256)(D.7)
SubpicBitRateNal[i][j]＝Floor(CpbNalFactor*ValBR*OLSRefLevelFraction[i][j]÷256)(D.8)
注释1-当提取子图片时，所得比特流的CpbSize(在SPS中指示或推断)大于或等于SubpicCpbSizeVcl[i][j]和SubpicCpbSizeNal[i][j]，且其比特率(在SPS中指示或推断)大于或等于SubpicBitRateVcl[i][j]和SubpicBitRateNal[i][j]。
对于AU 0的SubpicSizeInSamplesY的值，对应于第j个子图片的AU 0的NumBytesInNalUnit变量的总和应小于或等于FormatCapabilityFactor*(Max(SubpicSizeY[j]，fR*MaxLumaSr*OLSRefLevelFraction[i][j]÷256)+MaxLumaSr*(AuCpbRemovalTime[0]-AuNominalRemovalTime[0])*OLSRefLevelFraction[i][j])÷(256*MinCr)，其中，MaxLumaSr和FormatCapabilityFactor分别是在等级ref_level_idc[i]处在表A.2和表A.3中所指定的适用于AU 0的值，并且MinCr如在(VVC草案的)A.4.2所指示的那样导出。
对应于第j个子图片的AU n(其中n大于0)的NumbytesInNalUnit变量的总和应小于或等于FormatCapabilityFactor*MaxLumaSr*(AuCpbRemovalTime[n]-AuCpbRemovalTime[n-1])*OLSRefLevelFraction[i][j]÷(256*MinCr)，其中，MaxLumaSr和FormatCapabilityFactor分别是在等级ref_level_idc[i]处在表A.2和表A.3中所指定的适用于AU n的值，并且MinCr如在(VVC草案的)A.4.2所指示的那样导出。
下文中描述根据第五方面的编码器40、提取器10和多层视频数据流14的实施例。
根据第五方面，多层视频数据流包括多个层。多层视频数据流14例如借助于编码器40，关于一个或多个第一层(例如，层L1)采用细分为独立编码的子图片的方式，并且关于一个或多个第二层(例如，层L1)采用未细分的方式，使视频图片26编码到多层视频数据流的层中。此外，多层视频数据流14包括层的层集的指示，诸如如在先前的章节中所描述的OLS，其中，根据第五方面，层集包括至少一个第一层，即，采用细分为独立编码的子图片的方式将图片编码到其中的层。根据第五方面，多层视频数据流使参考解码器能力要求信息编码到其中，例如，如在第4节中所描述，参考解码器能力要求信息与解码层集的非缩减版本相关，并且包括针对层集的每个层的第一解码器能力要求参数和针对层集的第二解码器能力要求参数。如在第4节中所描述，非缩减版本可以指编码到层集中的视频数据流的版本(其包括编码到层集中的所有视频数据)，即，层集的至少一个第一层的所有子图片。例如，第一解码器能力要求参数可以是层的图片细分成的图块的数量。例如，图块是图片的相互独立编码的区段。例如，第二解码器能力要求参数可以指所要求或所需的图片缓冲区大小，诸如ACPB和/或解码的图片缓冲区(DPB)大小和/或最小压缩比(minCR)。
根据第五方面，编码器40配置用于，对于层集的一个或多个缩减版本(对于其已经移除了至少一个第一层的子图片相关的部分)中的每个缩减版本，确定与解码层集的相应的非缩减版本或缩减版本相关的另外的参考解码器能力要求信息。层集的缩减版本可以指不包含层集的所有视频数据的视频数据流(例如，子图片相关的视频数据流12)，即，当提取层集的相应的缩减版本时，从其中省略了子图片相关的部分(即，如关于图1、图2、图5所描述的与子图片的预定集合不相关的一部分)的视频数据流。编码器40配置用于通过使用第一分数缩放第一解码器能力要求参数以便获得对于层集的每个层的第三解码器能力要求参数，确定另外的参考解码器能力要求信息。例如，第一分数可基于层集内的每个层的图片与该层集的缩减版本内的图片之间的图片大小的比率来确定。编码器40可以可选地将第一分数编码到多层视频数据流14中。因此，提取器10可以可选地从多层视频数据流14中导出第一分数，或者可备选地如由编码器40所执行的那样来确定第一分数。
编码器40进一步配置用于通过使用第二分数缩放第二解码器能力要求参数以便获得对于层集的相应的缩减版本的第四解码器能力要求参数，确定另外的参考解码器能力要求信息。第二分数可例如不同于第一分数。
第二分数可基于到第4节的比率编码来确定，诸如分数132的分数134。编码器40可以可选地将第二分数编码到多层视频数据流14中。相应地，提取器10可以可选地从多层视频数据流14中导出第二分数，或者与由编码器40所执行的相类似地确定第二分数。
编码器10通过以下方法基于多层视频数据流14形成子图片特定的视频数据流12：移除多层视频数据流14的至少一个第一层的子图片相关的部分；并向子图片特定的视频数据流12提供第三解码器能力要求参数和第四解码器能力要求参数。备选地，编码器10可通过以下方法基于多层视频数据流形成子图片特定的视频数据流12：移除至少一个第一层的子图片相关的部分；并向子图片特定的视频数据流12提供第一分数和第二分数，以用于确定与由解码器解码层的层集的预定非缩减版本相关的另外的参考解码器能力要求信息。
6.根据图10的编码器40和解码器110
图10示出了第一编码器401和第二编码器402，其中每个编码器可以可选地对应于如关于图1和第1-5节所描述的编码器40。编码器401配置用于编码视频数据流121，而编码器402配置用于编码视频数据流122。视频数据流121、122可以可选地但是不一定包括多个层。换句话说，根据图10的视频数据流121、122可以可选地是多层视频数据流(诸如视频数据流14)，但是在示例中，可只包括一个单一层。除此之外，根据图10的视频数据流121、122可以可选地对应于如在先前的章节中所描述的视频数据流14。
编码器401配置用于将图片261编码到视频数据流121中。编码器402配置用于将图片262编码到视频数据流122中。图片261和图片262可以可选地当作一个或多个独立编码的子图片28被编码到相应的视频流121、122中。编码器401、402配置用于将指示80编码到相应的视频数据流121、122中，所述指示80指示图片261、262是否当作一个或多个独立编码的子图片被编码到相应的视频数据流中。指示80区别一个或多个独立编码的子图片28与一个或多个独立编码的子图片的周围之间的不同类型的编码独立性。例如，一个或多个独立编码的子图片的周围可以指相应子图片周围的图片区域。
例如，指示80可以是m-数组语法元素(其中m＞1)，或者可包含多于1个语法元素，以便指示是否存在任何此类独立编码的子图片，并且如果是，则另外的语法元素揭示解码独立性的类型。
图10进一步示出了用于在一个或多个输入视频数据流12(诸如视频数据流121和视频数据流122)的基础上提供视频数据流20的设备100。例如，设备100可混合视频数据流121、122，以便确定视频数据流20。因此，设备100可称为混合器100。可选地，设备100可进一步配置用于从一个或多个输入视频数据流(诸如视频数据流121和/或视频数据流122)中提取视频数据流20。例如，混合器100可从其输入视频数据流中的一个或多个输入视频数据流中的每个输入视频数据流提取视频数据的部分或所有，并在视频数据流20中提供视频数据，其中，视频数据从其输入视频数据流中的不同输入视频数据流中提取。例如，如图10所示，设备100可从视频数据流121、122中的每个视频数据流提取子图片中的一个或多个子图片，并且然后与同相同呈现时间相关联的子图片中的一个或多个子图片组合，以便获得视频数据流20。
图10进一步示出了解码器110，其可以可选地对应于如关于先前的章节所描述的解码器50。解码器110配置用于在指示80中从视频数据流20解码。
在示例中，独立于指示80指示的不同类型的编码独立性中的哪种类型的编码独立性，编码器401、402和解码器110可响应于(例如，只有当满足以下条件时才执行，或者如果不满足以下条件则不执行)指示80指示编码到视频数据流中的图片当作一个或多个独立编码的子图片进行编码，执行以下动作中的一个或多个动作：
-从视频数据流的每个比特流分组中读取子图片标识符，该子图片标识符指示关于将这一个或多个独立编码的子图片中的哪个子图片编码到相应的比特流分组中，和/或
-防止循环内过滤穿越子图片边界，和/或
-取决于将一个或多个独立编码的子图片中的哪个子图片编码到预定的比特流分组中，从图片的块的块地址导出图片位置，该块地址被编码到视频数据流的预定的比特流部分中(并且，例如，否则通过不可避免地引用诸如其左上角之类的预定的图片位置，从块地址导出此类图片位置)，和/或
-考虑到在视频数据流的一个访问单元中出现的不同的NAL单元类型。例如，允许图10的混合器100采用使得在混合后的数据流90中一个子图片28具有一个NAL单元类型、而同一图片内的另一子图片28使用另一NAL单元类型进行编码的方式来混合比特流121，2；NAL单元类型被编码到比特流分组16中，并且当它们成为流90的分组16’时保持未修改；解码器110确实看见没有冲突，因为图片使用编码独立性被完全编码，而不管对解码(混合)的图片26’中的子图片28使用什么样的类型，和/或
-在编码器侧上，针对一个或多个独立编码的子图片中的每个子图片，导出解码器能力要求信息。
例如，图片的子图片之间的不同类型的编码独立性包括：
-受编码器约束的编码类型，其中，解码器配置成，如果由关于独立编码的子图片的指示指示受编码器约束的编码类型，则在独立编码的子图片的边界处不执行独立性处理，以及
-解码器感知的编码类型，其中，解码器配置成，如果由关于独立编码的子图片的指示指示解码器感知的编码类型，则通过对基于向量的预测进行向量修剪和/或在独立编码的子图片的边界处进行边界填充，在独立编码的子图片的边界处执行独立性处理。
换句话说，根据第六方面的实施例可考虑到子图片或MCTS的混合。
当前的VVC草案规范包括用于实现划分为子图片以实现提取和合并功能性的许多措施，例如：
●在切片报头中携带子图片标识符，或
●取决于子图片标识符的块寻址方案，或
●对于单个子图片的一致性信息，或
●在图片中混合NAL单元类型(例如，IRAP和TRAIL)。
然而，所有这些措施都取决于子图片的边界处理属性，即，采用与它们对于图片的边界的方式相同的方式(即，解码器侧的特殊边界填充处理)针对位于子图片的边界外部的样本和语法预测外推样本值。这允许对子图片进行独立编码，并且随后进行提取和合并。这种属性还用于实现用于提取和合并功能性的所有以上措施。图11示出了在比特流的前两个访问单元中只使用此类解码器侧处理的子图片的比特流。换句话说，图11示出了在其独立编码的子图片中混合解码器侧边界处理和编码器侧边界处理的比特流的示例。
然而，存在另外的方法来独立编码此类矩形区域，即，在编码期间遵守的运动约束或者换句话说是编码器侧边界处理。编码器可以通过不指向每个子图片的周长之外来简单地避免将在提取或合并后导致重构错误的引用。基于现有技术水平的信令，编码器将必须指示，从图11中的第二个IRAP向前，L1的右侧子图片并非独立编码，因为没有发生解码器侧边界处理，并且因此，可以有效地使用用于提取和合并功能性的以上措施中的一些措施。最重要的是，一致性信息捆绑到解码器侧边界处理。然而，用于独立编码的其它手段的纯粹的(mere)指示应该启用编码器并允许网络装置或解码器促成所述手段。
重要的是要注意，在相邻子图片之间的独立编码上混合不同种类的此类比特流必须不必然地包含多于单个层，如图12所示。图12示出了混合了子图片独立性的类型的单个层的示例。
因此，本方面的一部分是要允许解码器认识到，尽管缺少边界填充，还是可以通过以下方法来使用用于独立区域编码的所有前面提到的措施(寻址方案、一致性信息)：在比特流中指示通过某些子图片的受约束的编码的手段来对区域进行独立编码。在本方面的一个实施例中，用于指示解码器侧填充过程的标志(sps_subpic_treated_as_pic_flag[i]等于1)被改变成sps_subpic_treated_as_pic_mode[i]，其中，新的状态(等于2)指示，借助于编码器侧边界处理约束来独立编码第i个子图片。
下面示出示例：
Figure BPA0000334585380000511
sps_subpic_treated_as_pic_mode[i]等于42规定，在排除循环内过滤操作的解码过程中，将CLVS中的每个编码的图片的第i个子图片作为图片进行处理。sps_subpic_treated_as_pic_mode[i]等于0或1规定，在排除循环内过滤操作的解码过程中，不将CLVS中的每个编码的图片的第i个子图片作为图片进行处理。当不存在时，推断sps_subpic_treated_as_pic_mode[i]的值等于42。预留sps_subpic_treated_as_pic_mode[i]的值3以供ITU-T|ISO/IEC将来使用。
并且，执行如下的约束：除非子图片是编码器侧约束的或是解码器侧边界处理，否则不能混合不同类型的NAL单元。
当图片中的任意两个子图片具有不同的NAL单位类型时，对于图片中包含至少一个P或B切片的所有子图片，sps_subpic_treated_as_pic_mode[]的值不应等于0。
图13示出了取决于子图片是独立于编码器侧约束还是解码器侧边界处理的、对NAL单元的允许混合和禁止混合的示例。
7.另外的实施例
在先前的第0至6节中，虽然在设备的上下文中作为特征已经描述了一些方面，但是清楚的是，此类描述也可视为是对方法的对应特征的描述。虽然作为方法的上下文中的特征描述了一些方面，但是显然，此类描述也可视为是对涉及设备的功能性的对应特征的描述。
方法步骤中的一些或所有可通过(或使用)硬件设备(像例如微处理器、可编程计算机或电子电路)来执行。在一些实施例中，最重要的方法步骤中的一个或多个可由此类设备来执行。
本发明的编码的图像信号可以存储在数字存储介质上，或者可以在诸如无线传输介质或有线传输介质之类的传输介质(诸如互联网)上传送。
取决于某些实现要求，本发明的实施例可以用硬件或用软件实现，或者至少部分地用硬件或至少部分地用软件实现。该实现可以使用使电子可读控制信号存储在其上的数字存储介质(例如软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或闪速存储器)来执行，所述电子可读控制信号与可编程计算机系统协作(或能够与之协作)，以使得执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，所述电子可读控制信号能够与可编程计算机系统协作，以使得执行本文中所描述的方法中的一个方法。
一般来说，本发明的实施例可以作为具有程序代码的计算机程序产品来实现，程序代码可操作以用于当计算机程序产品在计算机上运行时执行所述方法中的一种。程序代码可例如存储在机器可读载体上。
其它实施例包括存储在机器可读载体上的用于执行本文中所描述的方法中的一个方法的计算机程序。
换句话说，因此，本发明方法的实施例是具有程序代码的计算机程序，所述计算机程序用于当计算机程序在计算机上运行时执行本文中所描述的方法中的一个方法。
因此，本发明的方法的另外的实施例是包括记录在其上的计算机程序的数据载体(或数字存储介质，或计算机可读介质)，所述计算机程序用于执行本文中所描述的方法中的一个方法。数据载体、数字存储介质或记录的介质通常是有形的和/或非暂时性的。
因此，本发明的方法的另外的实施例是表示计算机程序的数据流或信号序列，所述所述计算机程序用于执行本文中所描述的方法中的一个方法。数据流或信号序列可例如配置成经由数据通信连接(例如，经由互联网)来传送。
另外的实施例包括配置成或适于执行本文中所描述的方法中的一个方法的处理部件，例如计算机或可编程逻辑装置。
另外的实施例包括使计算机程序安装在其上的计算机，所述计算机程序用于执行本文中所描述的方法中的一个方法。
根据本发明的另外的实施例包括配置成向接收器传送(例如，电子地或光学地)计算机程序的设备或系统，所述计算机程序用于执行本文中所描述的方法中的一个方法。接收器可以是例如计算机、移动装置、存储器装置或类似装置。该设备或系统可例如包括用于将计算机程序传送到接收器的文件服务器。
在一些实施例中，可使用可编程逻辑装置(例如，现场可编程门阵列)来执行本文中所描述的方法的功能性中的一些或所有。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行本文中所描述的方法中的一个方法。一般来说，所述方法优选由任何硬件设备执行。
本文中所描述的设备可使用硬件设备、或使用计算机、或使用硬件设备和计算机的组合来实现。
本文中所描述的方法可使用硬件设备、或使用计算机、或使用硬件设备和计算机的组合来执行。
在前面的详细描述中，可以看出，出于使本公开精简(streamline)的目的，在示例中将各种特征组合在一起。本公开的这种方法不要解释为反映如下这样的意图：要求权利的示例需要比在每个权利要求中所明确叙述的特征更多的特征。而是，如以下权利要求书反映，主题可在于比单个公开的示例的所有特征更少的特征中。因此，以下权利要求书由此并入到本详细描述中，其中，每个权利要求可独立代表一个单独的示例。虽然每个权利要求可独立代表一个单独的示例，但是要注意，虽然从属权利要求可在权利要求书中指与一个或多个其它权利要求的特定组合，但是其它示例也可包括从属权利要求与每个其它从属权利要求的主题的组合、或每个特征与其它从属或独立权利要求的组合。除非声明不期望特定组合，否则本文中提议此类组合。此外，期望将权利要求的特征也包含到任何其它独立权利要求，即使该权利要求并不直接从属于该独立权利要求。
上文所描述的实施例对于本公开的原理只是说明性的。理解的是，本文中所描述的布置和细节的修改和变化将对于本领域技术人员是明白的。因此，意图是要只受未决专利权利要求书的范围的限制，而不受作为对本文中的实施例的描述和解释所呈现的具体细节的限制。

Claims (68)

1.用于从由比特流部分(16)组成的多层视频数据流(14)中提取子图片特定的视频数据流(12)的设备(10)，所述比特流部分中的每个比特流部分属于所述多层视频数据流的层(L0，L1)中的一个层，其中，所述设备配置成：
对于所述多层视频数据流(14)的层集(OLS)中的每个层，
检查所述相应层是否采用使得将视频(24)的图片(261，262)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述相应层中，以使得对于所述视频(24)的每个图片(261，262)，将所述相应图片的所述子图片(28)编码到所述相应层的互不相同的比特流部分(16)中；或者所述相应层是否采用非子图片细分的方式使所述视频(24)编码到其中，
如果所述相应层采用非子图片细分的方式使所述视频编码到其中，则
将属于所述相应层的所述比特流部分(16)从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层的所述视频(24)完全编码到其中，并且
如果所述相应层采用使得将所述视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，则
对于属于所述相应层的每个比特流部分，
从所述比特流部分(16)读取信息，所述信息揭示所述相应的比特流部分使所述两个或更多个子图片中的哪个子图片编码到其中，并且
如果所述相应的比特流部分使一个或多个子图片中属于预定集合的子图片编码到其中，则将所述相应层的所述相应的比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中。
2.如权利要求1所述的设备，配置成：
如果所述相应层采用使得将所述视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，则
对于属于所述相应层的每个比特流部分，
丢弃属于所述相应层但是使一个或多个子图片中不属于预定集合的子图片编码到其中的每个比特流部分。
3.如权利要求1或2所述的设备，
其中，所述层集是所述多层视频数据流(14)的层的子集，并且其中，所述层集在所述多层数据流中的输出层集(OLS)指示(18)中被指示。
4.如权利要求1至3中任一权利要求所述的设备，
其中，所述多层视频数据流(14)包括对于多个层集的OLS指示，并且
其中，所述设备配置用于在经由API接收的指示的基础上从所述多个层集确定所述层集。
5.如权利要求1至4中任一权利要求所述的设备，配置用于：
基于揭示编码到所述相应层中的子部分的数量的语法元素，执行所述相应层是否采用使得将所述视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中的所述检查。
6.如权利要求1至5中任一权利要求所述的设备，
其中，揭示所述相应的比特流部分使所述两个或更多个子图片中的哪个子图片编码到其中的所述信息在所述相应的比特流部分的描述性数据，例如，切片报头，中借助于子图片标识符来指示。
7.如权利要求1至6中任一权利要求所述的设备，配置成：
经由API接收一个或多个子图片的所述预定集合的指示。
8.由比特流部分(16)组成的多层视频数据流(14)，所述比特流部分中的每个比特流部分属于所述多层视频数据流(14)的层(L0，L1)中的一个层，所述多层视频数据流(14)包括：
指示所述多层视频数据流(14)的层集(OLS)的OLS指示(18)，
关于子图片特定的视频数据流(12)的解码器能力要求信息(60)，所述子图片特定的视频数据流(12)通过以下方法从所述多层视频数据流(14)中可提取：
检查所述相应层是否采用使得将视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述相应层中，以使得对于所述视频(24)的每个图片(26)，将所述相应图片的所述子图片(28)编码到所述相应层的互不相同的比特流部分(16)中；或者所述相应层是否采用非子图片细分的方式使所述视频(24)编码到其中，
如果所述相应层采用非子图片细分的方式使所述视频编码到其中，则
将属于所述相应层的所述比特流部分(16)从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层的所述视频(24)完全编码到其中，并且
如果所述相应层采用使得将所述视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，则
对于属于所述相应层的每个比特流部分，
从所述比特流部分(16)读取信息，所述信息揭示所述相应的比特流部分使所述两个或更多个子图片中的哪个子图片编码到其中，并且
如果所述相应的比特流部分使一个或多个子图片中属于预定集合的子图片编码到其中，则将所述相应层的所述相应的比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中。
9.用于形成由比特流部分(16)组成的多层视频数据流(14)的编码器(40)，所述比特流部分中的每个比特流部分属于所述多层视频数据流(14)的层(L0，L1)中的一个层，所述编码器(40)配置成：
为所述多层视频数据流(14)提供指示所述多层视频数据流(14)的层集(OLS)的OLS指示(18)，
为所述多层视频数据流(14)提供关于子图片特定的视频数据流(12)的解码器能力要求信息(60)，所述子图片特定的视频数据流(12)通过以下方法从所述多层视频数据流(14)中可提取：
检查所述相应层是否采用使得将视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述相应层中，以使得对于所述视频(24)的每个图片(26)，将所述相应图片的所述子图片(28)编码到所述相应层的互不相同的比特流部分(16)中；或者所述相应层是否采用非子图片细分的方式使所述视频(24)编码到其中，
如果所述相应层采用非子图片细分的方式使所述视频编码到其中，则
将属于所述相应层的所述比特流部分(16)从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层的所述视频(24)完全编码到其中，并且
如果所述相应层采用使得将所述视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，则
对于属于所述相应层的每个比特流部分，
从所述比特流部分(16)读取信息，所述信息揭示所述相应的比特流部分使所述两个或更多个子图片中的哪个子图片编码到其中，并且
如果所述相应的比特流部分使一个或多个子图片中属于预定集合的子图片编码到其中，则将所述相应层的所述相应的比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中。
10.用于从由比特流部分(16)(例如，NAL单元)组成的多层视频数据流(14)中提取子图片特定的视频数据流(12)的设备(10)，所述比特流部分中的每个比特流部分属于所述多层视频数据流(14)的层中的一个层，其中，所述多层视频数据流(14)包括：
第一层(L1)，其比特流部分采用使得将第一视频(241)的图片(261)细分为两个或更多个子图片(28)的方式使所述第一视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述第一层的所述比特流部分(16)中，以使得对于所述第一视频的每个图片，将所述第一视频的所述相应图片的所述子图片编码到所述第一层的互不相同的比特流部分中，以及
第二层(L0)，其比特流部分使第二视频(240)编码到其中，
其中，所述第一层的比特流部分通过以下方法使所述第一视频编码到其中：
使用来自参考图片(260)的基于向量的预测，
采用包括所述第二视频(240)的图片(260)作为所述参考图片的方式，以及
采用其中供所述基于向量的预测中使用的向量(70)要根据在所述多层视频数据流(14)中发信号通知的缩放窗口(72)的大小和位置分别针对所述第一视频的所述图片和所述参考图片进行缩放和偏移的方式，所述第一层的比特流部分使用所述向量来编码并且所述向量由所述第一层的比特流部分组成，
其中，所述设备配置成：
将属于所述第二层(L0)的所述比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层(L0)的所述视频完全编码到其中，并且
将属于所述第一层(L1)并且使一个或多个子图片中属于预定集合的子图片编码到其中的每个比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，并且
使缩放窗口信号化(74)适合于所述子图片特定的视频数据流(12)中的所述第一层和/或第二层，以使得针对所述第二视频的所述图片的所述缩放窗口(720’)的空间区域在空间上对应于针对一个或多个子图片的所述预定集合的所述缩放窗口(721’)的空间区域。
11.如权利要求10所述的设备，配置成使所述缩放窗口信号化适应于所述第一层，以使得所述第一层的所述缩放窗口(721’)在位置和大小上对应于所述第二层的所述缩放窗口(720’)。
12.如权利要求10至11中任一权利要求所述的设备，配置成：
丢弃属于所述第一层但是使一个或多个子图片中不属于预定集合的子图片编码到其中的每个比特流部分。
13.如权利要求10至12中任一权利要求所述的设备，配置成：
经由API接收一个或多个子图片的所述预定集合的指示。
14.如权利要求10至13中任一权利要求所述的设备，
其中，将所述基于向量的预测包含到基于运动向量的预测框架中。
15.由比特流部分(16)组成的多层视频数据流(14)，所述比特流部分中的每个比特流部分属于所述多层视频数据流(14)的层中的一个层，其中，所述多层视频数据流(14)包括：
第一层(L1)，其比特流部分采用使得将第一视频(241)的图片细分为两个或更多个子图片(28)的方式使所述第一视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述第一层的所述比特流部分(16)中，以使得对于所述第一视频的每个图片，将所述第一视频的所述相应图片的所述子图片编码到所述第一层的互不相同的比特流部分中，以及
第二层(L0)，其比特流部分使第二视频(240)编码到其中，
其中，所述第一层的比特流部分通过以下方法使所述第一视频(241)编码到其中：
使用来自参考图片(260)的基于向量的预测，
采用包括所述第二视频的图片(260)作为所述参考图片的方式，以及
采用其中供所述基于向量的预测中使用的向量(70)要根据在所述多层视频数据流(14)中发信号通知的缩放窗口(72)的大小和位置分别针对所述第一视频的所述图片和所述参考图片进行缩放和偏移的方式，所述第一层的比特流部分使用所述向量来编码并且所述向量由所述第一层的比特流部分组成，
其中，子图片特定的视频数据流(12)通过以下方法从所述多层视频数据流(14)中可提取：
将属于所述第二层的所述比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层的所述视频完全编码到其中，并且
将属于所述第一层并且使一个或多个子图片中属于预定集合的子图片编码到其中的每个比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，并且
使缩放窗口信号化(74)适合于所述子图片特定的视频数据流(12)中的所述第一层和/或第二层，以使得针对所述第二视频的所述图片的所述缩放窗口(720’)的空间区域在空间上对应于针对一个或多个子图片的所述预定集合的所述缩放窗口(721’)的空间区域。
16.用于形成由比特流部分(16)组成的多层视频数据流(14)的编码器(40)，所述比特流部分中的每个比特流部分属于所述多层视频数据流(14)的层中的一个层，其中，所述多层视频数据流(14)包括：
第一层，其比特流部分采用使得将第一视频的图片细分为两个或更多个子图片(28)的方式使所述第一视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述第一层的所述比特流部分(16)中，以使得对于所述第一视频的每个图片，将所述第一视频的所述相应图片的所述子图片编码到所述第一层的互不相同的比特流部分中，以及
第二层，其比特流部分使第二视频编码到其中，
其中，所述第一层的比特流部分通过以下方法使所述第一视频编码到其中：
使用来自参考图片的基于向量的预测，
采用包括所述第二视频的图片作为所述参考图片的方式，以及
采用其中供所述基于向量的预测中使用的向量(70)要根据在所述多层视频数据流(14)中发信号通知的缩放窗口(72)的大小和位置分别针对所述第一视频的所述图片和所述参考图片进行缩放和偏移的方式，所述第一层的比特流部分使用所述向量来编码并且所述向量由所述第一层的比特流部分组成，
其中，所述编码器配置成形成所述多层视频数据流(14)，以使得子图片特定的视频数据流(12)通过以下方法从所述多层视频数据流(14)中可提取：
将属于所述第二层的所述比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层的所述视频完全编码到其中，并且
将属于所述第一层并且使一个或多个子图片中属于预定集合的子图片编码到其中的每个比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，并且
使缩放窗口信号化(74)适合于所述子图片特定的视频数据流(12)中的所述第一层和/或第二层，以使得针对所述第二视频的所述图片的所述缩放窗口(720’)的空间区域在空间上对应于针对一个或多个子图片的所述预定集合的所述缩放窗口(721’)的空间区域。
17.用于使视频(24)编码到多层视频数据流(14)中的编码器(40)，其中，所述编码器支持逐个子图片独立编码，并且配置成：
使用用于从所述多层视频数据流(14)的第二层(L0)进行预测的层间预测工具的集合以及使用用于所述逐个子图片独立编码的第一配置设置，将所述视频的第一版本(241)编码到所述多层视频数据流(14)的第一层(L1)中，以及
使用用于所述逐个子图片独立编码的第二配置设置，将所述视频的第二版本(240)编码到所述多层视频数据流(14)的所述第二层(L0)中，
检查所述第一配置设置与所述第二配置设置是否具有预定关系，
如果所述第一配置设置与所述第二配置设置不具有所述预定关系，则停用或避免使用一个或多个层间预测工具的预定子集。
18.如权利要求17所述的编码器，其中，所述预定关系使得，如果满足以下条件，则所述第一配置设置与所述第二配置设置具有所述预定关系：
所述第一视频和所述第二视频分别采用细分为多于一个子图片的方式被编码到所述第一层和所述第二层中，和/或
所述第一视频和所述第二视频分别采用细分为在所述第一视频和所述第二视频之中相等的多个子图片的方式被编码到所述第一层和所述第二层中，和/或
所述第一视频和所述第二视频分别采用细分为在所述第一视频和所述第二视频之中相等的多个子图片的方式被编码到所述第一层和所述第二层中，其中，所述子图片的边界在空间上一致，和/或
所述第一视频和所述第二视频分别采用细分为多个子图片的方式被编码到所述第一层和所述第二层中，所述多个子图片在为所述多层视频数据流(14)中的所述子图片发信号通知的子图片ID中一致，和/或
所述第一视频和所述第二视频分别采用细分为多个子图片的方式被编码到所述第一层和所述第二层中，所述多个子图片在针对所述子图片的边界处理上一致。
19.如权利要求17至18中任一权利要求所述的编码器，其中，一个或多个层间预测工具的所述预定子集包括：
层间运动向量预测，
基于向量的层间预测的光流细化，和/或
基于向量的层间预测中的运动向量环绕。
20.如权利要求17至19中任一权利要求所述的编码器，配置成：
在所述多层视频数据流(14)中发信号通知所述第一配置设置和第二配置设置。
21.如权利要求17至20中任一权利要求所述的编码器，配置成：
如果所述第一配置设置与所述第二配置设置具有所述预定关系，则激活或利用一个或多个层间预测工具的所述预定子集。
22.用于解码多层视频数据流(12，14)的解码器(50)，其中，所述解码器配置成：
使用用于从所述多层视频数据流的第二层进行预测的层间预测工具的集合以及使用用于逐个子图片独立编码的第一配置设置，从所述多层视频数据流的第一层(L1)中解码视频(24)的第一版本(241)，以及
使用用于逐个子图片独立编码的第二配置设置，从所述多层视频数据流的所述第二层(L0)中解码所述视频(24)的第二版本(240)，
检查所述第一配置设置与所述第二配置设置是否具有预定关系，
如果所述第一配置设置与所述第二配置设置具有所述预定关系，则停用一个或多个层间预测工具的预定子集。
23.如权利要求22所述的解码器，配置用于逐个子图片独立解码，其包括在子图片边界处进行向量修剪和/或在子图片边界处进行边界填充。
24.如权利要求22或23所述的解码器，其中，所述预定关系使得，如果满足以下条件，则所述第一配置设置与所述第二配置设置具有所述预定关系：
所述第一视频和所述第二视频分别采用细分为多于一个子图片的方式被编码到所述第一层和所述第二层中，和/或
所述第一视频和所述第二视频分别采用细分为在所述第一视频和所述第二视频之中相等的多个子图片的方式被编码到所述第一层和所述第二层中，和/或
所述第一视频和所述第二视频分别采用细分为多个子图片的方式被编码到所述第一层和所述第二层中，所述多个子图片在为所述多层视频数据流中的所述子图片发信号通知的子图片ID中一致，和/或
所述第一视频和所述第二视频分别采用细分为多个子图片的方式被编码到所述第一层和所述第二层中，所述多个子图片在针对所述子图片的边界处理上一致。
25.如权利要求22至24中任一权利要求所述的解码器，其中，一个或多个层间预测工具的所述预定子集包括：
层间运动向量预测，
基于向量的层间预测的光流细化，和/或
基于向量的层间预测中的运动向量环绕。
26.用于编码包括层集的多层视频数据流(14)的编码器(40)，配置成：
将所述层集的非缩减版本编码到所述多层视频数据流(14)中，其中，以每层一个或多个独立编码的子图片为单位将视频版本编码到所述层集的所述非缩减版本中，
将与解码所述层集的所述非缩减版本相关的参考解码器能力要求编码到所述多层视频数据流(14)中；
对于所述层集的每个层，将关于编码到所述层集的所述非缩减版本的所述相应层中的图片的图片大小的信息(22)编码到所述多层视频数据流(14)中，并且对于所述相应层的所述一个或多个独立编码的子图片中的每个子图片，将关于子图片大小的信息(22)编码到所述多层视频数据流(14)中；
对于所述层集的针对其已经移除了至少一个层的子图片相关的部分的一个或多个缩减版本中的每个缩减版本，通过将所述参考解码器能力要求按因子缩放来确定与解码所述层集的所述相应的缩减版本相关的解码器能力要求(60)，所述因子使用包含在所述层集的所述相应的缩减版本中的独立编码的子图片的子图片大小的总和除以图片大小的总和的商来确定。
27.用于从包括层集的多层视频数据流(14)中提取子图片特定的视频数据流(12)的设备(40)，其中，所述多层视频数据流(14)使所述层集的非缩减版本编码到其中，其中，以每层一个或多个独立编码的子图片为单位将视频版本编码到所述层集的所述非缩减版本中，所述设备配置成：
从所述多层视频数据流(14)中导出与解码所述层集的所述非缩减版本相关的参考解码器能力要求；
对于所述层集的每个层，从所述多层视频数据流(14)中导出关于编码到所述层集的所述非缩减版本的所述相应层中的图片的图片大小的信息(22)，并且对于所述相应层的所述一个或多个独立编码的子图片中的每个子图片，从所述多层视频数据流(14)中导出关于子图片大小的信息(22)；
对于所述层集的针对其已经移除了至少一个层的子图片相关的部分的预定缩减版本，通过将所述参考解码器能力要求按因子缩放来确定与解码所述层集的所述预定缩减版本相关的解码器能力要求(60)，所述因子使用包含在所述层集的所述预定缩减版本中的独立编码的子图片的子图片大小的总和除以图片大小的总和的商来确定。
28.用于编码包括多个层(L0，L1)的多层视频数据流(14)的编码器(40)，配置成：
关于一个或多个第一层(L1)采用细分为独立编码的子图片的方式以及关于一个或多个第二层(L0)采用未细分的方式将视频图片(26)编码到所述多层视频数据流(14)的所述层中，
将层的层集的指示(18)编码到所述多层视频数据流(14)中，以使得在所述层集中包含至少一个第一层，并且在所述层集中包含至少一个第二层，
对于足以用来解码层的所述层集的若干个参考解码器能力要求(130)中的每个参考解码器能力要求，将关于归因于所述至少一个第一层的所述相应的参考解码器能力要求的第一分数(134)和归因于所述至少一个第二层的所述相应的参考解码器能力要求的第二分数(132)的信息编码到所述多层视频数据流(14)中。
29.如权利要求28所述的编码器，配置成：
通过一方面将所述第一分数写入到所述多层视频数据流(14)中并且另一方面将所述第二分数除以(一减去所述第一分数)(136)写入到所述多层视频数据流(14)中，编码关于所述第一分数和所述第二分数的信息。
30.如权利要求28至29中任一权利要求所述的编码器，配置成：
将关于所述若干个参考解码器能力要求中的一个或多个参考解码器能力要求的信息编码到所述多层视频数据流(14)中。
31.如权利要求28至30中任一权利要求所述的编码器，配置成：对于所述若干个参考解码器能力要求中的至少一个参考解码器能力要求，编码所述信息，以使得所述第一分数和所述第二分数与所述多层视频数据流(14)的缩减版本相关，并且以使得对于存在于所述缩减版本中的一个或多个独立编码的子图片中的每个子图片，所述第一分数从所述多层视频数据流(14)中可导出。
32.如权利要求28至31中任一权利要求所述的编码器，配置成：对于所述若干个参考解码器能力要求中的至少另外的参考解码器能力要求，编码所述信息，以使得所述第一分数和第二分数与所述多层视频数据流(14)的非缩减版本相关，并且对于所述至少一个第一层的所述独立编码的子图片中的每个子图片，所述第一分数从所述多层视频数据流(14)中可导出。
33.用于处理包括多个层的多层视频数据流(14)的设备(10，100)，其中，所述多层视频数据流(14)的所述层关于一个或多个第一层(L1)采用细分为独立编码的子图片的方式并且关于一个或多个第二层(L0)采用未细分的方式使视频图片编码到其中，所述设备(10，100)配置成：
从所述多层视频数据流(14)中解码层的层集的指示，其中，在所述层集中包含至少一个第一层，并且在所述层集中包含至少一个第二层，
对于足以用来解码层的所述层集的若干个参考解码器能力要求中的每个参考解码器能力要求，从所述多层视频数据流(14)中解码关于归因于所述至少一个第一层的所述相应的参考解码器能力要求的第一分数和归因于所述至少一个第二层的所述相应的参考解码器能力要求的第二分数的信息。
34.如权利要求33所述的设备，配置成：
通过一方面从所述多层视频数据流(14)中读取所述第一分数并且另一方面读取所述第二分数除以(一减去所述第一分数)，解码关于所述第一分数和所述第二分数的所述信息。
35.如权利要求33至34中任一权利要求所述的设备，配置成：
通过从所述多层视频数据流(14)中读取所述第一分数和另外的分数来解码关于所述第一分数和所述第二分数的所述信息，并通过将所述另外的分数乘以一减去所述第一分数的差来导出所述第二分数。
36.如权利要求33至35中任一权利要求所述的设备，配置成：
将所述第一分数和所述第二分数相加，以便获得针对所述层集的实际解码器能力要求。
37.如权利要求33至36中任一权利要求所述的设备，配置成：
从所述多层视频数据流(14)中解码关于所述若干个参考解码器能力要求中的一个或多个参考解码器能力要求的信息。
38.如权利要求33至37中任一权利要求所述的设备，配置成：对于所述若干个参考解码器能力要求中的至少一个参考解码器能力要求，解码所述信息，以使得所述第一分数和第二分数与所述多层视频数据流(14)的缩减版本相关，并且以使得对于存在于所述缩减版本中的一个或多个独立编码的子图片中的每个子图片，所述第一分数从所述多层视频数据流(14)中可导出。
39.如权利要求33至38中任一权利要求所述的设备，配置成：对于所述若干个参考解码器能力要求中的至少另外的参考解码器能力要求，解码所述信息，以使得所述第一分数和所述第二分数与所述多层视频数据流(14)的非缩减版本相关，并且对于所述至少一个第一层的所述独立编码的子图片中的每个子图片，所述第一分数从所述多层视频数据流(14)中可导出。
40.如权利要求33至39中任一权利要求所述的设备，配置成：
利用所述信息来决定基于使所述多层视频数据流(14)或其缩减版本与另一视频数据流混合而形成另外的数据流。
41.用于编码包括多个层的多层视频数据流(14)的编码器(40)，所述编码器(40)配置成：
关于一个或多个第一层(L1)采用细分为独立编码的子图片的方式并且关于一个或多个第二层(L0)采用未细分的方式将视频图片编码到所述多层视频数据流(14)的所述层中，
将层的层集的指示编码到所述多层视频数据流(14)中，以使得在所述层集中包含至少一个第一层，
将与解码层的所述层集的非缩减版本相关的参考解码器能力要求信息编码到所述多层视频数据流(14)中，所述参考解码器能力要求信息包括针对所述层集的每个层的第一解码器能力要求参数以及针对所述层集的第二解码器能力要求参数，
对于层的所述层集的针对其已经移除了至少一个第一层的子图片相关的部分的一个或多个缩减版本中的每个缩减版本，通过以下方法来确定与解码层的所述层集的所述相应的非缩减版本相关的另外的参考解码器能力要求信息：
使用第一分数缩放所述第一解码器能力要求参数，以便获得针对所述层集的每个层的第三解码器能力要求参数，以及
使用第二分数缩放所述第二解码器能力要求参数，以便获得针对所述层集的所述相应的缩减版本的第四解码器能力要求参数。
42.用于从包括多个层的多层视频数据流(14)中提取子图片特定的视频数据流(12)的设备(10)，其中，关于一个或多个第一层(L1)采用细分为独立编码的子图片的方式并且关于一个或多个第二层(L0)采用未细分的方式将视频图片编码到所述多层视频数据流(14)的所述层中，所述设备(10)配置成：
从所述多层视频数据流(14)中解码层的层集的指示，以使得在所述层集中包含至少一个第一层，
从所述多层视频数据流(14)中解码与解码层的所述层集的非缩减版本相关的参考解码器能力要求信息，所述参考解码器能力要求信息包括针对所述层集的每个层的第一解码器能力要求参数以及针对所述层集的第二解码器能力要求参数，
对于层的所述层集的针对其要移除至少一个第一层的子图片相关的部分的预定缩减版本，通过以下方法来确定与解码层的所述层集的所述预定非缩减版本相关的另外的参考解码器能力要求信息：
使用第一分数缩放所述第一解码器能力要求参数，以获得针对所述层集的每个层的第三解码器能力要求参数，以及
使用第二分数缩放所述第二解码器能力要求参数，以获得针对所述层集的所述预定缩减版本的第四解码器能力要求参数，以及
通过移除至少一个第一层的所述子图片相关的部分并向所述子图片特定的视频数据流(12)提供所述第三解码器能力要求参数和所述第四解码器能力要求参数，基于所述多层视频数据流(14)形成所述子图片特定的视频数据流(12)，或
通过移除至少一个第一层的所述子图片相关的部分并向所述子图片特定的视频数据流(12)提供所述第一分数和所述第二分数以用于确定与由解码器解码层的所述层集的所述预定非缩减版本相关的所述另外的参考解码器能力要求信息，基于所述多层视频数据流(14)形成所述子图片特定的视频数据流(12)。
43.用于编码包括多个层的多层视频数据流(14)的编码器(40)，所述编码器(40)配置成：
关于一个或多个第一层(L1)采用细分为独立编码的子图片(28)的方式并且关于一个或多个第二层(L0)采用未细分的方式将视频图片(260，261)编码到所述多层视频数据流(14)的所述层中，
将层的层集的指示编码到所述多层视频数据流(14)中，以使得在所述层集中包含至少一个第一层，
在所述多层视频数据流(14)中指示足以用来解码层的所述层集的一个或多个参考解码器能力要求，
选择性地对于所述层集的所述第一层中的每个层，对于所述参考解码器能力要求中的每个参考解码器能力要求，对于编码到所述相应的第一层中的所述子图片中的每个子图片，检查是否满足对于预定参数集的特定于所述相应的参考解码器能力要求的约束。
44.如权利要求43所述的编码器，其中，所述编码器配置用于使用关于归因于所述相应子图片的所述相应的参考解码器能力要求的分数的信息来确定所述参数集的所述参数。
45.如权利要求43或44所述的编码器，其中，所述参数集对于所述相应的子图片包括以下参数中的一个或多个或所有：样本的数量，图片宽度，图片高度，一行中的图块数，一列中的图块数，图块总数。
46.包括多个层的多层视频数据流(14)，其中，所述多层视频数据流：
关于一个或多个第一层(L1)采用细分为独立编码的子图片(28)的方式并且关于一个或多个第二层(L0)采用未细分的方式使视频图片(260，261)编码到所述多层视频数据流(14)的所述层中，
使层的层集的指示编码到所述多层视频数据流(14)中，以使得在所述层集中包含至少一个第一层，
在所述多层视频数据流(14)中指示足以用来解码层的所述层集的一个或多个参考解码器能力要求(130)，
其中，所述多层视频数据流使所述视频图片编码到其中，以使得选择性地对于所述层集的所述第一层中的每个层，对于所述参考解码器能力要求中的每个参考解码器能力要求，对于编码到所述相应的第一层中的所述子图片中的每个子图片，满足对于预定参数集的特定于所述相应的参考解码器能力要求的约束。
47.用于解码视频数据流(20)的解码器(110)，所述解码器(110)配置成：
从所述视频数据流解码指示(80)，所述指示(80)指示编码到所述视频数据流中的图片是否当作一个或多个独立编码的子图片(28)进行编码，所述指示区别所述一个或多个独立编码的子图片与所述一个或多个独立编码的子图片的周围之间的不同类型的编码独立性。
48.如权利要求47所述的解码器，配置成：独立于所述指示(80)指示所述不同类型的编码独立性中的哪种类型，响应于所述指示指示编码到所述视频数据流中的所述图片当作一个或多个独立编码的子图片进行编码，执行以下动作：
从所述视频数据流的每个比特流分组中读取子图片标识符，所述子图片标识符指示关于将所述一个或多个独立编码的子图片中的哪个子图片编码到相应的比特流分组中，和/或
防止循环内过滤穿越子图片边界，和/或
取决于将所述一个或多个独立编码的子图片中的哪个子图片编码到所述预定的比特流分组中，从所述图片的块的块地址导出图片位置，所述块地址被编码到所述视频数据流的预定的比特流部分中，和/或
考虑到在所述视频数据流的一个访问单元中出现的不同的NAL单元类型。
49.如权利要求47至48中任一权利要求所述的解码器，其中，所述图片的所述子图片之间的所述不同类型的编码独立性包括：
受编码器约束的编码类型，其中，所述解码器配置成：如果由关于所述独立编码的子图片的所述指示指示所述受编码器约束的编码类型，则不在所述独立编码的子图片的边界处执行独立性处理，以及
解码器感知的编码类型，其中，所述解码器配置成：如果由关于所述独立编码的子图片的所述指示指示所述解码器感知的编码类型，则通过针对基于向量的预测的向量修剪和/或在所述独立编码的子图片的边界处的边界填充，在所述独立编码的子图片的所述边界处执行独立性处理。
50.用于编码视频数据流(121；122)的编码器(40，401，402)，配置成：
将指示(80)编码到所述视频数据流(121；122)中，所述指示(80)指示编码到所述视频数据流(121；122)中的图片(261；262)是否当作一个或多个独立编码的子图片(28)进行编码，所述指示(80)区别所述一个或多个独立编码的子图片(28)与所述一个或多个独立编码的子图片的周围之间的不同类型的编码独立性。
51.如权利要求50所述的编码器，配置成：独立于所述指示指示所述不同类型的编码独立性中的哪种类型，如果所述指示指示编码到所述视频数据流中的所述图片当作一个或多个独立编码的子图片进行编码，则执行以下动作：
将子图片标识符(82)写入到所述视频数据流的每个比特流分组中，所述子图片标识符指示关于将所述一个或多个独立编码的子图片中的哪个子图片编码到所述相应的比特流分组中，和/或
防止循环内过滤穿越子图片边界(84)，和/或
取决于将所述一个或多个独立编码的子图片中的哪个子图片编码到所述预定的比特流分组中，从所述图片的块的块地址导出图片位置，所述块地址被编码到所述视频数据流的预定的比特流部分中，和/或
考虑到在所述视频数据流的一个访问单元中出现的不同的NAL单元类型，和/或
对于所述一个或多个独立编码的子图片中的每个子图片，导出解码器能力要求信息。
52.如权利要求50至51中任一权利要求所述的编码器，其中，所述图片的所述子图片之间的所述不同类型的编码独立性包括：
受编码器约束的编码类型，其中，所述编码器配置成：如果由关于所述独立编码的子图片的所述指示指示所述受编码器约束的编码类型，则限制编码选项以免招致跨子图片边界的编码从属性，以及
解码器感知的编码类型，其中，所述解码器配置成：如果由关于所述独立编码的子图片的所述指示指示所述解码器感知的编码类型，则通过针对基于向量的预测的向量修剪和/或在所述独立编码的子图片的边界处的边界填充，在所述独立编码的子图片的所述边界处执行独立性处理，这应该在解码器侧被仿效。
53.用于从由比特流部分(16)组成的多层视频数据流(14)中提取(10)子图片特定的视频数据流(12)的方法，所述比特流部分中的每个比特流部分属于所述多层视频数据流的层(L0，L1)中的一个层，其中，所述方法包括：
对于所述多层视频数据流(14)的层集(OLS)中的每个层，
检查所述相应层是否采用使得将视频(24)的图片(261，262)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述相应层中，以使得对于所述视频(24)的每个图片(261，262)，将所述相应图片的所述子图片(28)编码到所述相应层的互不相同的比特流部分(16)中；或者所述相应层是否采用非子图片细分的方式使所述视频(24)编码到其中，
如果所述相应层采用非子图片细分的方式使所述视频编码到其中，则
将属于所述相应层的所述比特流部分(16)从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层的所述视频(24)完全编码到其中，并且
如果所述相应层采用使得将所述视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，则
对于属于所述相应层的每个比特流部分，
从所述比特流部分(16)读取信息，所述信息揭示所述相应的比特流部分使所述两个或更多个子图片中的哪个子图片编码到其中，并且
如果所述相应的比特流部分使一个或多个子图片中属于预定集合的子图片编码到其中，则将所述相应层的所述相应的比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中。
54.用于形成(40)由比特流部分(16)组成的多层视频数据流(14)的方法，所述比特流部分(16)中的每个比特流部分属于所述多层视频数据流(14)的层(L0，L1)中的一个层，所述方法包括：
为所述多层视频数据流(14)提供指示所述多层视频数据流(14)的层集(OLS)的OLS指示(18)，
为所述多层视频数据流(14)提供关于子图片特定的视频数据流(12)的解码器能力要求信息(60)，所述子图片特定的视频数据流(12)通过以下方法从所述多层视频数据流(14)中可提取：
检查所述相应层是否采用使得将视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述相应层中，以使得对于所述视频(24)的每个图片(26)，将所述相应图片的所述子图片(28)编码到所述相应层的互不相同的比特流部分(16)中；或者所述相应层是否采用非子图片细分的方式使所述视频(24)编码到其中，
如果所述相应层采用非子图片细分的方式使所述视频编码到其中，则
将属于所述相应层的所述比特流部分(16)从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层的所述视频(24)完全编码到其中，并且
如果所述相应层采用使得将所述视频(24)的图片(26)细分为两个或更多个子图片(28)的方式使所述视频编码到其中，则
对于属于所述相应层的每个比特流部分，
从所述比特流部分(16)读取信息，所述信息揭示所述相应的比特流部分使所述两个或更多个子图片中的哪个子图片编码到其中，并且
如果所述相应的比特流部分使一个或多个子图片中属于预定集合的子图片编码到其中，则将所述相应层的所述相应的比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中。
55.用于从由比特流部分(16)组成的多层视频数据流(14)中提取(10)子图片特定的视频数据流(12)的方法，所述比特流部分中的每个比特流部分属于所述多层视频数据流(14)的层中一个层，其中，所述多层视频数据流(14)包括：
第一层(L1)，其比特流部分采用使得将第一视频(241)的图片(261)细分为两个或更多个子图片(28)的方式使所述第一视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述第一层的所述比特流部分(16)中，以使得对于所述第一视频的每个图片，将所述第一视频的所述相应图片的所述子图片编码到所述第一层的互不相同的比特流部分中，以及
第二层(L0)，其比特流部分使第二视频(240)编码到其中，
其中，所述第一层的比特流部分通过以下方法使所述第一视频编码到其中：
使用来自参考图片(260)的基于向量的预测，
采用包括所述第二视频(240)的图片(260)作为所述参考图片的方式，以及
采用其中供所述基于向量的预测中使用的向量(70)要根据在所述多层视频数据流(14)中发信号通知的缩放窗口(72)的大小和位置分别针对所述第一视频的所述图片和所述参考图片进行缩放和偏移的方式，所述第一层的比特流部分使用所述向量来编码并且所述向量由所述第一层的比特流部分组成，
其中，所述方法包括：
将属于所述第二层(L0)的所述比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层(L0)的所述视频完全编码到其中，并且
将属于所述第一层(L1)并且使一个或多个子图片中属于预定集合的子图片编码到其中的每个比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，并且
使缩放窗口信号化(74)适合于所述子图片特定的视频数据流(12)中的所述第一层和/或所述第二层，以使得针对所述第二视频的所述图片的所述缩放窗口(720’)的空间区域在空间上对应于针对一个或多个子图片的所述预定集合的所述缩放窗口(721’)的空间区域。
56.用于形成(40)由比特流部分(16)组成的多层视频数据流(14)的方法，所述比特流部分中的每个比特流部分属于所述多层视频数据流(14)的层中一个层，其中，所述多层视频数据流(14)包括：
第一层，其比特流部分采用使得将第一视频的图片细分为两个或更多个子图片(28)的方式使所述第一视频编码到其中，所述两个或更多个子图片(28)以相互独立的方式被编码到所述第一层的所述比特流部分(16)中，以使得对于所述第一视频的每个图片，将所述第一视频的所述相应图片的所述子图片编码到所述第一层的互不相同的比特流部分中，以及
第二层，其比特流部分使第二视频编码到其中，
其中，所述第一层的比特流部分通过以下方法使所述第一视频编码到其中：
使用来自参考图片的基于向量的预测，
采用包括所述第二视频的图片作为所述参考图片的方式，以及
采用其中供所述基于向量的预测中使用的向量(70)要根据在所述多层视频数据流(14)中发信号通知的缩放窗口(72)的大小和位置分别针对所述第一视频的所述图片和所述参考图片进行缩放和偏移的方式，所述第一层的比特流部分使用所述向量来编码并且所述向量由所述第一层的比特流部分组成，
其中，所述方法包括要形成所述多层视频数据流(14)，以使得子图片特定的视频数据流(12)通过以下方法从所述多层视频数据流(14)中可提取：
将属于所述第二层的所述比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，以使得所述子图片特定的视频数据流(12)使所述相应层的所述视频完全编码到其中，并且
将属于所述第一层并且使一个或多个子图片中属于预定集合的子图片编码到其中的每个比特流部分从所述多层视频数据流(14)接管到所述子图片特定的视频数据流(12)中，并且
使缩放窗口信号化(74)适合于所述子图片特定的视频数据流(12)中的所述第一层和/或所述第二层，以使得针对所述第二视频的所述图片的所述缩放窗口(720’)的空间区域在空间上对应于针对一个或多个子图片的所述预定集合的所述缩放窗口(721’)的空间区域。
57.使用逐个子图片独立编码来将视频(24)编码(40)到多层视频数据流(14)中的方法，所述方法包括：
使用用于从所述多层视频数据流(14)的第二层(L0)进行预测的层间预测工具的集合以及使用用于所述逐个子图片独立编码的第一配置设置，将所述视频的第一版本(241)编码到所述多层视频数据流(14)的第一层(L1)中，以及
使用用于所述逐个子图片独立编码的第二配置设置，将所述视频的第二版本(240)编码到所述多层视频数据流(14)的所述第二层(L0)中，
检查所述第一配置设置与所述第二配置设置是否具有预定关系，
如果所述第一配置设置与所述第二配置设置不具有所述预定关系，则停用或避免使用一个或多个层间预测工具的预定子集。
58.用于解码(50)多层视频数据流(12，14)的方法，所述方法包括：
使用用于从所述多层视频数据流的第二层进行预测的层间预测工具的集合以及使用用于所述逐个子图片独立编码的第一配置设置，从所述多层视频数据流的第一层(L1)中解码视频(24)的第一版本(241)，以及
使用用于所述逐个子图片独立编码的第二配置设置，从所述多层视频数据流的所述第二层(L0)中解码所述视频(24)的第二版本(240)，
检查所述第一配置设置与所述第二配置设置是否具有预定关系，
如果所述第一配置设置与所述第二配置设置具有所述预定关系，则停用一个或多个层间预测工具的预定子集。
59.用于编码(40)包括层集的多层视频数据流(14)的方法，所述方法包括：
将所述层集的非缩减版本编码到所述多层视频数据流(14)中，其中，以每层一个或多个独立编码的子图片为单位将视频版本编码到所述层集的所述非缩减版本中，
将与解码所述层集的所述非缩减版本相关的参考解码器能力要求编码到所述层视频数据流(14)中；
对于所述层集的每个层，将关于编码到所述层集的所述非缩减版本的所述相应层中的图片的图片大小的信息(22)编码到所述多层视频数据流(14)中，并且对于所述相应层的所述一个或多个独立编码的子图片中的每个子图片，将关于子图片大小的信息编码到所述多层视频数据流(14)中；
对于所述层集的针对其已经移除了至少一个层的子图片相关的部分的一个或多个缩减版本中的每个缩减版本，通过将所述参考解码器能力要求按因子缩放来确定与解码所述层集的所述相应的缩减版本相关的解码器能力要求(60)，所述因子使用包含在所述层集的所述相应的缩减版本中的独立编码的子图片的子图片大小的总和除以图片大小的总和的商来确定。
60.用于从包括层集的多层视频数据流(14)中提取(40)子图片特定的视频数据流(12)的方法，其中，所述多层视频数据流(14)使所述层集的非缩减版本编码到其中，其中，以每层一个或多个独立编码的子图片为单位将视频版本编码到所述层集的所述非缩减版本中，所述方法包括：
从所述多层视频数据流(14)中导出与解码所述层集的所述非缩减版本相关的参考解码器能力要求；
对于所述层集的每个层，从所述多层视频数据流(14)中导出关于编码到所述层集的所述非缩减版本的所述相应层中的图片的图片大小的信息(22)，并且对于所述相应层的所述一个或多个独立编码的子图片中的每个子图片，从所述多层视频数据流(14)中导出关于子图片大小的信息；
对于所述层集的针对其已经移除了至少一个层的子图片相关的部分的预定缩减版本，通过将所述参考解码器能力要求按因子缩放来确定与解码所述层集的所述预定缩减版本相关的解码器能力要求(60)，所述因子使用包含在所述层集的所述预定缩减版本中的独立编码的子图片的子图片大小的总和除以图片大小的总和的商来确定。
61.用于编码(40)包括多个层(L0，L1)的多层视频数据流(14)的方法，所述方法包括：
关于一个或多个第一层(L1)采用细分为独立编码的子图片的方式并且关于一个或多个第二层(L0)采用未细分的方式将视频图片(26)编码到所述多层视频数据流(14)的所述层中，
将层的层集的指示(18)编码到所述多层视频数据流(14)中，以使得在所述层集中包含至少一个第一层，并且在所述层集中包含至少一个第二层，
对于足以用来解码层的所述层集的若干个参考解码器能力要求(130)中的每个参考解码器能力要求，将关于归因于所述至少一个第一层的所述相应的参考解码器能力要求的第一分数(134)和归因于所述至少一个第二层的所述相应的参考解码器能力要求的第二分数(132)的信息编码到所述多层视频数据流(14)中。
62.用于处理(10，100)包括多个层的多层视频数据流(14)的方法，其中，所述多层视频数据流(14)的所述层关于一个或多个第一层(L1)采用细分为独立编码的子图片的方式并且关于一个或多个第二层(L0)采用未细分的方式使视频图片编码到其中，所述方法包括：
从所述多层视频数据流(14)中解码层的层集的指示，其中，在所述层集中包含至少一个第一层，并且在所述层集中包含至少一个第二层，
对于足以用来解码层的所述层集的若干个参考解码器能力要求中的每个参考解码器能力要求，从所述多层视频数据流(14)中解码关于归因于所述至少一个第一层的所述相应的参考解码器能力要求的第一分数和归因于所述至少一个第二层的所述相应的参考解码器能力要求的第二分数的信息。
63.用于编码(40)包括多个层的多层视频数据流(14)的方法，包括：
关于一个或多个第一层(L1)采用细分为独立编码的子图片的方式并且关于一个或多个第二层(L0)采用未细分的方式将视频图片编码到所述多层视频数据流(14)的所述层中，
将层的层集的指示编码到所述多层视频数据流(14)中，以使得在所述层集中包含至少一个第一层，
将与解码层的所述层集的非缩减版本相关的参考解码器能力要求信息编码到所述多层视频数据流(14)中，所述参考解码器能力要求信息包括针对所述层集的每个层的第一解码器能力要求参数以及针对所述层集的第二解码器能力要求参数，
对于层的所述层集的针对其已经移除了至少一个第一层的子图片相关的部分的一个或多个缩减版本中的每个缩减版本，通过以下方法来确定与解码层的所述层集的所述相应的非缩减版本相关的另外的参考解码器能力要求信息：
使用第一分数缩放所述第一解码器能力要求参数，以便获得针对所述层集的每个层的第三解码器能力要求参数，以及
使用第二分数缩放所述第二解码器能力要求参数，以便获得针对所述层集的所述相应的缩减版本的第四解码器能力要求参数。
64.用于从包括多个层的多层视频数据流(14)中提取(10)子图片特定的视频数据流(12)的方法，其中，关于一个或多个第一层(L1)采用细分为独立编码的子图片的方式并且关于一个或多个第二层(L0)采用未细分的方式将视频图片编码到所述多层视频数据流(14)的所述层中，所述方法包括：
从所述多层视频数据流(14)中解码层的层集的指示，以使得在所述层集中包含至少一个第一层，
从所述多层视频数据流(14)中解码与解码层的所述层集的非缩减版本相关的参考解码器能力要求信息，包括针对所述层集的每个层的第一解码器能力要求参数以及针对所述层集的第二解码器能力要求参数，
对于层的所述层集的针对其要移除至少一个第一层的子图片相关的部分的预定缩减版本，通过以下方法来确定与解码层的所述层集的所述预定非缩减版本相关的另外的参考解码器能力要求信息：
使用第一分数缩放所述第一解码器能力要求参数，以获得针对所述层集的每个层的第三解码器能力要求参数，以及
使用第二分数缩放所述第二解码器能力要求参数，以获得针对所述层集的所述预定缩减版本的第四解码器能力要求参数，以及
通过移除至少一个第一层的所述子图片相关的部分并向所述子图片特定的视频数据流(12)提供所述第三解码器能力要求参数和所述第四解码器能力要求参数，基于所述多层视频数据流(14)形成所述子图片特定的视频数据流(12)，或
通过移除至少一个第一层的所述子图片相关的部分并向所述子图片特定的视频数据流(12)提供所述第一分数和所述第二分数以用于确定与由解码器解码层的所述层集的所述预定非缩减版本相关的所述另外的参考解码器能力要求信息，基于所述多层视频数据流(14)形成所述子图片特定的视频数据流(12)。
65.用于编码(40)包括多个层的多层视频数据流(14)的方法，包括：
关于一个或多个第一层(L1)采用细分为独立编码的子图片(28)的方式并且关于一个或多个第二层(L0)采用未细分的方式将视频图片(260，261)编码到所述多层视频数据流(14)的所述层中，
将层的层集的指示编码到所述多层视频数据流(14)中，以使得在所述层集中包含至少一个第一层，
在所述多层视频数据流(14)中指示足以用来解码层的所述层集的一个或多个参考解码器能力要求，
选择性地对于所述层集的所述第一层中的每个层，对于编码到所述相应的第一层中的所述子图片中的每个子图片，对于所述参考解码器能力要求中的一个或多个参考解码器能力要求，检查是否满足对于预定参数集的特定于所述相应的参考解码器能力要求的约束。
66.用于解码(110)视频数据流(20)的方法，包括：
从所述视频数据流解码指示(80)，所述指示(80)指示编码到所述视频数据流中的图片是否当作一个或多个独立编码的子图片(28)进行编码，所述指示区别所述一个或多个独立编码的子图片与所述一个或多个独立编码的子图片的周围之间的不同类型的编码独立性。
67.用于编码(40，401，402)视频数据流(121；122)的方法，包括：
将指示(80)编码到所述视频数据流(121；122)中，所述指示(80)指示编码到所述视频数据流(121；122)中的图片(261；262)是否当作一个或多个独立编码的子图片(28)进行编码，所述指示(80)区别所述一个或多个独立编码的子图片(28)与所述一个或多个独立编码的子图片的周围之间的不同类型的编码独立性。
68.一种计算机程序，其用于当在计算机或信号处理器上被执行时实现如权利要求53至67中所述的方法中的任一方法。
CN202180050064.0A 2020-05-22 2021-05-20 子图片相关的视频编码概念 Pending CN115868166A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20176208.5 2020-05-22
EP20176208 2020-05-22
PCT/EP2021/063553 WO2021234125A1 (en) 2020-05-22 2021-05-20 Subpicture-related video coding concepts

Publications (1)

Publication Number Publication Date
CN115868166A true CN115868166A (zh) 2023-03-28

Family

ID=70977328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180050064.0A Pending CN115868166A (zh) 2020-05-22 2021-05-20 子图片相关的视频编码概念

Country Status (9)

Country Link
US (1) US20230199202A1 (zh)
EP (1) EP4154535A1 (zh)
JP (1) JP2023526460A (zh)
KR (1) KR20230015447A (zh)
CN (1) CN115868166A (zh)
AU (1) AU2021275492A1 (zh)
CA (1) CA3184462A1 (zh)
TW (1) TWI801882B (zh)
WO (1) WO2021234125A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115699728A (zh) 2020-06-08 2023-02-03 字节跳动有限公司 视频编解码中的子层信令
JP2023542214A (ja) * 2020-09-25 2023-10-05 北京字節跳動網絡技術有限公司 サブビットストリーム抽出

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120593A (zh) * 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送

Also Published As

Publication number Publication date
KR20230015447A (ko) 2023-01-31
AU2021275492A1 (en) 2022-12-15
TW202147848A (zh) 2021-12-16
WO2021234125A1 (en) 2021-11-25
CA3184462A1 (en) 2021-11-25
TWI801882B (zh) 2023-05-11
JP2023526460A (ja) 2023-06-21
US20230199202A1 (en) 2023-06-22
EP4154535A1 (en) 2023-03-29

Similar Documents

Publication Publication Date Title
JP6430961B2 (ja) 効率的なスケーラブル符号化概念
CN105392008B (zh) 一种预测编、解码方法和相应的编、解码器和电子设备
US10085041B2 (en) Method for depth lookup table signaling
JP5144522B2 (ja) スケーラブルビデオ符号化でｒｏｉを定義し、再構成するための装置および方法
CN101518086B (zh) 在多视图视频编码中用信号通知视图可分级性的方法和装置
CN112740696B (zh) 视频编码和解码
JP7472292B2 (ja) ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
CN113632493B (zh) 变换跳过模式中的子块变换
KR20100016549A (ko) 다중-뷰 비디오 코딩(ｍｖｃ) 정보의 인코딩에 슬라이스 그룹들을 이용하기 위한 방법 및 장치
CN115868166A (zh) 子图片相关的视频编码概念
JP2024038274A (ja) フレーム部分を有するビデオデータを符号化又は復号する方法及び装置
CN117041602B (zh) 用于对视频信号进行编码的方法、计算设备和存储介质
EP3777147A1 (en) Apparatus and method for encoding and decoding a picture using picture boundary handling
CN110651480B (zh) 生成视频数据流的装置以及生成视频数据流的方法
CN115668936A (zh) 时间运动向量预测、层间参考和时间子层指示的视频编码方面
CA3184357A1 (en) Processing of output layer sets of coded video
CA3164490A1 (en) Video coding in relation to subpictures
CN118383032A (zh) 缩放的帧内参考图片
CN114641988A (zh) 改进的用信号表示亮度块的增量角度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40083410

Country of ref document: HK