CN117203968A - 基于包括层标识符信息的sei消息的图像编码/解码方法和装置及发送比特流的方法 - Google Patents

基于包括层标识符信息的sei消息的图像编码/解码方法和装置及发送比特流的方法 Download PDF

Info

Publication number
CN117203968A
CN117203968A CN202280030357.7A CN202280030357A CN117203968A CN 117203968 A CN117203968 A CN 117203968A CN 202280030357 A CN202280030357 A CN 202280030357A CN 117203968 A CN117203968 A CN 117203968A
Authority
CN
China
Prior art keywords
information
bitstream
layers
vps
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280030357.7A
Other languages
English (en)
Inventor
亨得利·亨得利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN117203968A publication Critical patent/CN117203968A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了图像编码/解码方法和装置。根据本文公开的实施方式，由图像解码装置执行的图像解码方法可以包括以下步骤：接收补充增强信息(SEI)消息，该SEI消息包括关于在比特流中包括的一个或更多个层的信息；基于所接收到的的SEI消息，来获得关于所述一个或更多个层的信息；以及基于所获得的关于所述一个或更多个层的信息，来恢复比特流中的图像，其中，所接收到的SEI消息可以包括关于在比特流中包括的所述一个或更多个层的层标识符信息。

Description

基于包括层标识符信息的SEI消息的图像编码/解码方法和装 置及发送比特流的方法
技术领域
本公开涉及图像编码/解码方法和设备，并且更具体地，涉及基于包括在比特流中包括的一个或更多个层的层标识符信息的补充增强信息(SEI)消息的图像编码/解码方法和设备，以及发送通过本公开的图像编码方法/设备生成的比特流的方法。
背景技术
最近，各个领域对高分辨率和高质量图像(诸如高清(HD)图像和超高清(UHD)图像)的需求正在增加。随着图像数据的分辨率和质量的改进，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息量或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地发送、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
本公开的目的是提供一种用于基于SEI消息的层标识符信息来执行图像重构的图像编码/解码方法和设备。
本公开的目的是提供一种用于通过基于SEI消息获得关于在比特流中包括的一个或更多个层的信息来对图像进行编码/解码的方法和设备。
本公开的目的是提供一种发送通过根据本公开的图像编码方法或设备生成的比特流的方法。
本公开的目的是提供一种存储通过根据本公开的图像编码方法或设备生成的比特流的记录介质。
本公开的目的是提供一种记录介质，该记录介质存储通过根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本公开所解决的技术问题不限于上述技术问题，并且本领域技术人员通过以下描述将清楚本文未描述的其它技术问题。
技术方案
根据本公开的实施方式，由图像解码设备执行的图像解码方法可以包括以下步骤：接收补充增强信息(SEI)消息，该SEI消息包括关于在比特流中包括的一个或更多个层的信息；基于所接收到的的SEI消息，来获得关于所述一个或更多个层的信息；以及基于所获得的关于所述一个或更多个层的信息，来重构比特流中的图像。所接收到的SEI消息可以包括在比特流中包括的所述一个或更多个层的层标识符信息。
根据本公开的实施方式，可以根据比特流中的最大层数来获得层标识符信息。
根据本公开的实施方式，可以从SEI消息获得关于比特流中的最大层数的信息。
根据本公开的实施方式，SEI消息可以包括关于除了比特流中包括的所述一个或更多个层以外的层的信息。
根据本公开的实施方式，比特流中的最大层数可以不受该比特流中的一个或更多个层的数量的约束。
根据本公开的实施方式，可以将比特流中的最大层数约束成不具有小于该比特流中的一个或更多个层的数量的值。
根据本公开的实施方式，可以针对视图id或辅助id中的每一个来用信号通知层标识符信息。
根据本公开的实施方式，可以在SEI消息中以层标识符值的升序来包括层标识符信息，使得第i个层的层标识符的值大于第(i-1)个层的层标识符的值。
根据本公开的实施方式，在SEI消息中以层标识符值的降序来包括层标识符信息，使得第i个层的层标识符的值小于第(i-1)个层的层标识符的值。
根据本公开的实施方式，由图像编码设备执行的图像编码方法可以包括以下步骤：基于关于比特流中的一个或更多个层的信息来对该比特流中的图像进行编码；以及将补充增强信息(SEI)消息编码到比特流中，该SEI消息包括关于在该比特流中包括的所述一个或更多个层的信息。SEI消息可以包括在比特流中包括的所述一个或更多个层的层标识符信息。
根据本公开的实施方式，可以在SEI消息中包括根据比特流中的最大层数的层标识符信息。
根据本公开的实施方式，可以在SEI消息中包括关于比特流中的最大层数的信息。
根据本公开的实施方式，可以发送通过图像编码设备或图像编码方法生成的比特流。
根据本公开的实施方式，可以在计算机可读介质中存储或记录通过图像编码方法生成的比特流。
以上关于本公开简要概述的特征仅仅是本公开的以下详细描述的示例性方面，并不限制本公开的范围。
有利效果
根据本公开，可以提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
根据本公开，可以提供基于包括关于一个或更多个层的信息的SEI消息的图像编码/解码方法和设备。
根据本公开，可以提供用于编码/解码包括一个或更多个层的层标识符信息的图像的方法和设备。
根据本公开，可以提供一种发送通过根据本公开的图像编码方法或设备生成的比特流的方法。
根据本公开，可以提供一种存储有通过根据本公开的图像编码方法或设备生成的比特流的记录介质。
根据本公开，可以提供一种记录介质，其存储有通过根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本领域的技术人员将理解，通过本公开可以实现的效果不限于上文已经具体描述的内容，并且将从详细描述中更清楚地理解本公开的其它优点。
附图说明
图1是示意性地示出本公开的实施方式适用于的视频编码系统的视图。
图2是示意性地示出本公开的实施方式适用于的图像编码设备的视图。
图3是示意性地示出本公开的实施方式适用于的图像解码设备的视图。
图4是示意性地示出图像解码过程的视图。
图5是示意性地示出图像编码过程的视图。
图6是示意性地例示根据本公开的编码层和结构的视图。
图7至图14是例示根据本公开的与VPS中的多层信息相关的语法的视图。
图15是例示根据本公开的实施方式的SDI SEI消息语法的视图。
图16是例示根据本公开的实施方式的图像解码方法的视图。
图17是例示根据本公开的实施方式的图像编码方法的视图。
图18是例示根据本公开的实施方式的图像编码/解码设备的视图。
图19是例示本公开的实施方式适用于的内容流系统的视图。
具体实施方式
提供了图像编码/解码方法和设备。由图像解码设备执行的图像解码方法可以包括以下步骤：接收补充增强信息(SEI)消息，该SEI消息包括关于在比特流中包括的一个或更多个层的信息；基于所接收到的的SEI消息，来获得关于所述一个或更多个层的信息；以及基于所获得的关于所述一个或更多个层的信息，来重构比特流中的图像。所接收到的SEI消息可以包括在比特流中包括的所述一个或更多个层的层标识符信息。
本发明的实施方式
以下，将参考附图对本公开的实施方式进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于本文描述的实施方式。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“联接”或“链接”到另一组件时，它不仅可以包括直接连接关系，还可以包括存在中间组件的间接连接关系。另外，当一个组件“包括”或“具有”其它组件时，除非另有说明，否则是指还可以包括其它组件，而不是排除其它组件。
在本公开中，术语第一、第二等可以仅用于将一个组件与其它组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施方式中的第一组件在另一实施方式中可以被称为第二组件，类似地，一个实施方式中的第二组件在另一实施方式中可以被称为第一组件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成和实施在一个硬件或软件单元中，或者一个组件可以在多个硬件或软件单元中分布和实施。因此，即使没有另外说明，组件是集成的或组件是分布式的这些实施方式也包括在本公开的范围内。
在本公开中，各个实施方式中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施方式中描述的组件的子集组成的实施方式也包括在本公开的范围内。另外，除了在各种实施方式中描述的组件之外还包括其它组件的实施方式包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“画面”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成画面的一部分的编码单元，一个画面可以由一个或更多个切片/拼块组成。另外，切片/拼块可以包括一个或更多个编码树单元(CTU)。
在本公开中，“像素”或“像元(pel)”可以意指构成一个画面(或图像)的最小单元。另外，“样本”可以用作对应于像素的术语。样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括画面的特定区域和与该区域相关的信息中的至少一者。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编码块”、“当前编码单元”、“编码目标块”、“解码目标块”或“处理目标块”之一。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
另外，在本公开中，除非明确声明为色度块，否则“当前块”可以意指包括亮度分量块和色度分量块两者的块或“当前块的亮度块”。“当前块的色度块”可以通过包括对诸如“色度块”或“当前色度块”的色度块的显式描述来表达。
在本公开中，斜线“/”或“、”应该解释为指示“和/或”。例如，表达“A/B”和“A，B”可以意指“A和/或B”。此外，“A/B/C”和“A/B/C”可以意指“A、B和/或C中的至少一个”。
在本公开中，术语“或”应被解释为指示“和/或”。例如，表达“A或B”可以包括1)仅“A”，2)仅“B”，和/或3)“A和B”两者。换言之，在本公开中，术语“或”应被解释为指示“另外地或另选地”。
视频编码系统的概述
图1是示出根据本公开的视频编码系统的视图。
根据实施方式的视频编码系统可以包括编码设备10和解码设备20。编码设备10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码设备20。
根据实施方式的编码设备10可以包括视频源生成器11、编码单元12和发送器13。根据实施方式的解码设备20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发送器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编码效率，编码单元12可以执行一系列过程，诸如预测、变换和量化。编码单元12可以以比特流的形式输出编码的数据(编码的视频/图像信息)。
发送器13可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码的视频/图像信息或数据发送到解码设备20的接收器21。数字存储介质可以包括各种存储介质，诸如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络进行发送的元件。接收器21可以从存储介质或网络提取/接收比特流并将比特流发送到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程(诸如解量化、逆变换和预测)来对视频/图像进行解码。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码设备的概述
图2是示意性地示出本公开的实施方式适用于的图像编码设备的视图。
如图2所示，图像源装置100可以包括图像分割器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测单元180、帧内预测单元185和熵编码器190。帧间预测单元180和帧内预测单元185可以统称为“预测单元”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施方式中，对图像源装置100进行配置的多个组件中的全部或至少一些组件可以由一个硬件组件(例如，编码器或处理器)来配置。另外，存储器170可以包括解码画面缓冲器(DPB)并且可以由数字存储介质配置。
图像分割器110可以将输入到图像源装置100的输入图像(或画面或帧)分割成一个或更多个处理单元。例如，处理单元可以称为编码单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分割编码树单元(CTU)或最大编码单元(LCU)来获得编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分割成更深深度的多个编码单元。对于编码单元的分割，可以首先应用四叉树结构，稍后可以应用二叉树结构和/或三叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。可以将最大编码单元用作最终编码单元，也可以将通过分割最大编码单元获得的更深深度的编码单元用作最终编码单元。这里，编码过程可以包括稍后将描述的预测、变换和重构的过程。作为另一示例，编码过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编码单元划分或分割。预测单元可以是样本预测单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
预测单元(帧间预测单元180或帧内预测单元185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测单元可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测单元可以生成与当前块的预测有关的各种信息，并且将生成的信息发送到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测单元185可以通过参考当前画面中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测单元185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测单元180可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如，帧间预测单元180可以基于邻近块配置运动信息候选列表并生成指示使用哪个候选来推导当前块的运动向量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测单元180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测单元可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测单元不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测两者，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。另外，预测单元可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前画面中先前重构的参考块来预测当前画面的方法。当应用IBC时，参考块在当前画面中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测来执行，因为在当前画面内推导参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
预测单元生成的预测信号可以用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测单元输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被发送到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图表示时从图获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获得的变换。另外，变换处理可以应用于具有相同大小的方形像素块或者可以应用于具有可变大小而不是方形的块。
量化器130可以对变换系数进行量化并且将它们发送到熵编码器190。熵编码器190可以对量化信号(关于量化变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可以基于系数扫描顺序将块类型的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如，诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单元进行发送或存储。视频/图像信息还可以包括关于各种参数集的信息，诸如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、发送的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络发送或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。可以包括发送从熵编码器190输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为图像源装置100的内部/外部元件。另选地，可以提供发送器作为熵编码器190的组件。
从量化器130输出的量化变换系数可以用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，诸如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一块的帧内预测，并且可以用于通过如下所述的滤波对下一画面进行帧间预测。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器170中，具体地，存储在存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息发送到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波有关的信息可以由熵编码器190编码并以比特流的形式输出。
发送到存储器170的修改的重构画面可以用作帧间预测单元180中的参考画面。当通过图像源装置100应用帧间预测时，可以避免图像源装置100与图像解码设备之间的预测失配并且可以改进编码效率。
存储器170的DPB可以存储修改的重构画面以用作帧间预测单元180中的参考画面。存储器170可以存储供推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被发送到帧间预测单元180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前画面中重构块的重构样本并且可以将重构样本传送到帧内预测单元185。
图像解码设备的概述
图3是示意性地示出本公开的实施方式适用于的图像解码设备的视图。
如图3所示，图像接收装置200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可以统称为“预测单元”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施方式，对图像接收装置200进行配置的多个组件中的全部或至少一些组件可以由硬件组件(例如，解码器或处理器)来配置。另外，存储器250可以包括解码画面缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像接收装置200可以通过执行与由图2的图像源装置100执行的处理相对应的处理来重构图像。例如，图像接收装置200可以使用在图像编码设备中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元。编码单元可以通过分割编码树单元或最大编码单元来获得。通过图像接收装置200解码和输出的重构图像信号可以通过再现设备(未示出)再现。
图像接收装置200可以接收以比特流的形式从图2的图像编码设备输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，诸如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。另外，视频/图像信息还可以包括通用约束信息。图像解码设备还可以基于关于参数集的信息和/或通用约束信息对画面进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率来对bin执行算术解码，并且生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息当中的与预测相关的信息可以被提供给预测单元(帧间预测单元260和帧内预测单元265)，并且在熵解码器210中对其执行熵解码的残差值(即，量化变换系数和相关的参数信息)可以被输入到解量化器220。另外，可以将熵解码器210解码的信息当中的关于滤波的信息提供给滤波器240。此外，用于接收从图像编码设备输出的信号的接收器(未示出)可以进一步被配置为图像接收装置200的内部/外部元件，或者接收器可以是熵解码器210的组件。
此外，根据本公开的图像解码设备可以被称为视频/图像/画面解码设备。图像解码设备可以分为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元260或帧内预测单元265中的至少一者。
解量化器220可以对量化变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化变换系数。在这种情况下，可以基于在图像编码设备中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换，以获得残差信号(残差块、残差样本阵列)。
预测单元可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测单元可以基于从熵解码器210输出的关于预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定帧内/帧间预测模式(预测技术)。
与在图像源装置100的预测单元中描述的相同的是，预测单元可以基于稍后将描述的各种预测方法(技术)来生成预测信号。
帧内预测单元265可以通过参考当前画面中的样本来预测当前块。帧内预测单元185的描述同样适用于帧内预测单元265。
帧间预测单元260可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。例如，帧间预测单元260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息推导当前块的运动向量和/或参考画面索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测单元(包括帧间预测单元260和/或内预测单元265)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，诸如在应用跳过模式时，则可以将预测块用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一块的帧内预测，并且可以用于通过如下所述的滤波对下一画面进行帧间预测。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器250中，具体地，存储在存储器250的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构画面可以用作帧间预测单元260中的参考画面。存储器250可以存储供推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被发送到帧间预测单元260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前画面中重构块的重构样本并将重构样本传送到帧内预测单元265。
在本公开中，在图像源装置100的滤波器160、帧间预测单元180和帧内预测单元185中描述的实施方式可以同等地或对应地应用于图像接收装置200的滤波器240、帧间预测单元260和帧内预测单元265。
图像编码/解码过程的概述
图4是示意性地示出图像解码过程的视图。
在图像/视频编码方面，可以根据一系列解码顺序来对构成图像/视频的画面进行编码/解码。可以与解码顺序不同地设定与解码的画面的输出顺序相对应的画面顺序，并且基于此，在帧间预测期间不仅可以执行前向预测而且可以执行后向预测。
在图4中，可以在上述解码设备的熵解码器中执行S401，可以在预测单元中执行S402，可以在残差处理器中执行S403，可以在加法器中执行S404，并且可以在滤波器中执行S405。S401可以包括本文所描述的信息解码过程，S402可以包括本文所描述的帧间/帧内预测过程，S403可以包括本文所描述的残差处理过程，S404可以包括本文所描述的块/画面恢复过程，并且S405可以包括本文所描述的环路内滤波过程。
如在上面的描述中所示，图4的画面解码过程可以示意性地包括：用于从比特流(通过解码)获得图像/视频信息的过程(S401)、画面重构过程(S402至S404)和用于重构的画面的环路内滤波过程(S405)。可以基于预测样本和残差样本来执行画面重构过程，该预测样本和残差样本是通过本文所描述的帧间/帧内预测过程(S402)和残差处理过程(S403，对量化的变换系数的逆量化和逆变换)来获得的。对于通过画面重构过程生成的重构的画面，可以通过环路内滤波过程来生成修改的重构画面，修改的重构画面可以被输出为解码的画面，并且可以被存储在解码设备的解码画面缓冲器或存储器中，以及在稍后解码画面时用作帧间预测过程中的参考画面。在一些情况下，可以省略环路内滤波过程，在该情况下，重构的画面可以被输出为解码的画面，并且也可以被存储在解码设备的解码画面缓冲器或存储器中，以在稍后解码画面时被用作帧间预测过程中的参考画面。环路内滤波过程(S405)可以包括如上所述的去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波(ALF)过程和/或双边滤波过程等，并且可以省略其中一些或全部。另外，去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波(ALF)过程和双边滤波过程中的一个或一些可以顺序地应用或者全部可以顺序地应用。例如，可以在向重构的画面应用去块滤波过程之后执行SAO过程。另选地，例如，可以在向重构的画面应用去块滤波过程之后执行ALF过程。这同样也可以在编码设备中执行。
图5是示意性地示出图像编码过程的视图。
在图5中，可以在编码设备的预测单元中执行S501，可以在残差处理器中执行S520，并且可以在熵编码器中执行S503。S501可以包括本文所描述的帧间/帧内预测过程，S502可以包括本文所描述的残差处理过程，并且S503可以包括本文所描述的信息编码过程。
示意性地，画面编码过程不仅可以包括用于以比特流的形式编码和输出用于画面重构的信息(例如，预测信息、残差信息、分割信息等)的过程，而且还可以包括用于生成针对当前画面的重构的画面的过程和用于向重构的画面应用环路内滤波的过程(可选)，如上所述。编码设备可以通过解量化器140和逆变换器从量化的变换系数推导(修改)残差样本，并且基于作为S501的输出的预测样本和(修改的)残差样本来生成重构的画面。以这种方式生成的重构的画面可以等于在解码设备中生成的重构的画面。修改的重构画面可以通过针对重构的画面的环路内滤波过程来生成，可以被存储在解码画面缓冲器或存储器中，并且可以类似于解码设备在稍后编码画面时被用作帧间预测过程中的参考画面。如上所述，在一些情况下，可以省略环路内滤波过程中的一些或全部。当执行环路内滤波过程时，(环路内)滤波相关信息(参数)可以在熵编码器中编码并以比特流的形式输出，并且解码设备可以基于滤波相关信息，使用与编码设备相同的方法来执行环路内滤波过程。
通过这样的环路内滤波过程，可以减少在图像/视频编码期间出现的噪声(诸如，块伪像和振铃伪像)，并且可以改善主观/客观视觉质量。另外，通过在编码设备和解码设备两者中执行环路内滤波过程，编码设备和解码设备可以推导出相同的预测结果，可以增加画面编码可靠性，并且可以减少用于画面编码的要发送的数据量。
如上所述，画面重构过程不仅可以在解码设备中执行，而且可以在编码设备中执行。可以基于以块为单位的帧内预测/帧间预测来生成重构的块，并且可以生成包括重构块的重构的画面。在当前画面/切片/拼块群组是I画面/切片/拼块组时，可以仅基于帧内预测来重构当前画面/切片/拼块组中所包括的块。此外，在当前画面/切片/拼块组是P或B画面切片/拼块组时，可以基于帧内预测或帧间预测来重构当前画面/切片/拼块组中所包括的块。在这种情况下，可以将帧间预测应用于当前画面/切片/拼块组中的一些块，并且可以将帧内预测应用于剩余块。画面的颜色分量可以包括亮度分量和色度分量，并且除非在本公开中明确限定，否则本公开的方法和实施方式适用于亮度分量和色度分量。
编码层和结构的概述
图6是示意性地例示编码层和结构的视图。
根据本公开的编码视频/图像可以例如根据将在下面描述的编码层和结构来处理。
编码图像被分类成用于图像/视频解码过程和处理自身的视频编码层(VCL)、用于发送和存储编码的信息的下层系统、以及存在于VCL与下层系统之间并负责网络自适应功能的网络抽象层(NAL)。
在VCL中，可以生成包括压缩的图像数据(切片数据)的VCL数据，或者可以生成图像的解码处理另外需要的补充增强信息(SEI)消息或者包括诸如画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)的信息的参数集。
在NAL中，报头信息(NAL单元报头)可以被添加至在VCL中生成的原始字节序列有效载荷(RBSP)以生成NAL单元。在这种情况下，RBSP涉及切片数据、参数集、在VCL中生成的SEI消息。NAL单元报头可以包括根据在对应的NAL单元中包括的RBSP数据所指定的NAL单元类型信息。
如图所示，根据在VCL中生成的RBSP的类型，NAL单元可以被分类成VCL NAL单元和非VCL NAL单元。VCL NAL单元可以意指包括关于图像的信息(切片数据)的NAL单元，而非VCL NAL单元可以意指包括解码图像所需的信息(参数集或SEI消息)的NAL单元。
VCL NAL单元和非VCL NAL单元可以附接有报头信息，并且根据下层系统的数据标准通过网络发送。例如，NAL单元可以被修改成预定标准的数据格式，诸如H.266/VVC文件格式、RTP(实时传输协议)或TS(传输流)，并且通过各种网络发送。
如上所述，在NAL单元中，可以根据在对应NAL单元中包括的RBSP数据结构来指定NAL单元类型，并且可以将关于NAL单元类型的信息存储在NAL单元报头中并用信号通知。
例如，这可以根据NAL单元是否包括关于图像的信息(切片数据)而在很大程度上被分类成VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据在VCL NAL单元中包括的画面的特性和类型来分类，并且非VCL NAL单元类型可以根据参数集的类型来分类。
以下是根据在非VCL NAL单元类型中包括的参数集的类型而指定的NAL单元类型的示例。
-APS(自适应参数集)NAL单元：包括APS的NAL单元的类型
-DPS(解码参数集)NAL单元：包括DPS的NAL单元的类型
-VPS(视频参数集)NUT：包括VPS的NAL单元的类型
-SPS(序列参数集)NUT：包括SPS的NAL单元的类型
-PPS(画面参数集)NUT：包括PPS的NAL单元的类型
上述NAL单元类型可以具有用于NAL单元类型的语法信息，并且该语法信息可以被存储在NAL单元报头中并且被用信号通知。例如，语法信息可以是nal_unit_type，并且可以通过nal_unit_type值来指定NAL单元类型。
切片报头(切片报头语法)可以包括通常适用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括通常适用于一个或更多个切片或画面的信息/参数。SPS(SPS语法)可以包括通常适用于一个或更多个序列的信息/参数。VPS(VPS语法)可以是通常适用于多个层的信息/参数。DPS(DPS语法)可以包括通常适用于所有视频的信息/参数。DPS可以包括与编码的视频序列(CVS)的级联相关的信息/参数。在本公开中，高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DPS语法或切片报头语法中的至少一者。
在本公开中，从编码设备编码到解码设备并以比特流的形式用信号通知的图像/视频信息不仅可以包括与画面内的分割相关的信息、帧内/帧间预测信息、残差信息、环路内滤波信息，而且可以包括在切片报头中包括的信息、在APS中包括的信息、在PPS中包括的信息，在SPS中包括的信息和/或在VPS中包括的信息。
VPS中的多层信息的信令
在下文中，将详细描述VPS中的多层信息的信令。
对于多层比特流，诸如层之间的相关性、可以被解码的可用层集合(其也被称为输出层集合(OLS))、用于OLS的PTL(档次(Profile)、层(Tier)和级别(level))信息、DPB信息、HRD信息，如下所示：
[表1]
/>
/>
VPS RBSP在其被参考、被包括在具有等于0的TemporalId的至少一个AU中或者通过外部手段提供之前应可用于解码过程。
CVS中的具有特定值vps_video_parameter_set_id的所有VPS NAL单元应具有相同内容。
在表1中，vps_video_parameter_set_id提供VPS的标识符以由其它语法元素参考。vps_video_parameter_set_id的值应大于0。
vps_max_layers_minus1加1指定由VPS指定的层的数目，其是参考VPS的各个CVS中的层的最大允许数量。
vps_max_sublayers_minus1加1指定可以存在于由VPS指定的层中的时间子层的最大数量。vps_max_sublayers_minus1的值应处于0到6(包含0和6)的范围内。
vps_default_ptl_dpb_hrd_max_tid_flag等于1指定语法元素vps_ptl_max_tid[i]、vps_dpb_max_tid[i]和vps_ptl_max_tid[i]不存在并且被推断为等于默认值vps_max_sublayers_minus1。vps_default_ptl_dpb_hrd_max_tid_flag等于0指定存在语法元素vps_ptl_max_tid[i]、vps_dpb_max_tid[i]和vps_ptl_max_tid[i]。当不存在时，vps_default_ptl_dpb_hrd_max_tid_flag的值被推断为等于1。
vps_all_independent_layers_flag等于1指定由VPS指定的所有层被独立地编码而不使用层间预测。vps_all_independent_layers_flag等于0指定由VPS指定的层中的一个或更多个层可以使用层间预测。当不存在时，vps_all_independent_layers_flag的值被推断为等于1。
vps_layer_id[i]指定第i个层的nuh_layer_id值。对于m和n的任两个非负整数值，当m小于n时，vps_layer_id[m]的值应小于vps_layer_id[n]。
vps_independent_layer_flag[i]等于1指定具有索引i的层不使用层间预测。vps_independent_layer_flag[i]等于0指定具有索引i的层可以使用层间预测，并且针对处于0到i-1(包0和i-1)的范围内的j的语法元素vps_direct_ref_layer_flag[i][j]存在于VPS中。当不存在时，vps_independent_layer_flag[i]的值被推断为等于1。
vps_max_tid_ref_present_flag[i]等于1指定存在语法元素vps_max_tid_il_ref_pics_plus1[i][j]。vps_max_tid_ref_present_flag[i]等于0指定语法元素vps_max_tid_il_ref_pics_plus1[i][j]不存在。
vps_direct_ref_layer_flag[i][j]等于0指定具有索引j的层不是具有索引i的层的直接参考层。vps_direct_ref_layer_flag[i][j]等于1指定具有索引j的层是具有索引i的层的直接参考层。当针对处于0到vps_max_layers_minus1(包含0和vps_max_layers_minus1)的范围内的i和j不存在vps_direct_ref_layer_flag[i][j]时，被推断为等于0。当vps_independent_layer_flag[i]等于0时，应存在处于0到i-1(包含0和i-1)的范围内的j的至少一个值，使得vps_direct_ref_layer_flag[i][j]的值等于1。
如图7所示，推导变量NumDirectRefLayers[i]、DirectRefLayerIdx[i][d]、NumRefLayers[i]、RefLayerIdx[i][r]和LayerUsedAsRefLayerFlag[j]。
如图8所示，推导指定具有nuh_layer_id等于vps_layer_id[i]的层的层索引的变量GeneralLayerIdx[i]。
对于i和j的任两个不同值(都处于0到vps_max_layers_minus1(包含0和vps_max_layers_minus1)的范围内)，当dependencyFlag[i][j]等于1时，比特流一致性的要求是应用于第i个层的sps_chroma_format_idc的值和sps_bitdepth_minus8的值应分别等于应用于第j个层的sps_chroma_format_idc的值和sps_bitdepth_minus8的值。
vps_max_tid_il_ref_pics_plus1[i][j]等于0指定第j个层的既不是IRAP画面也不是具有等于0的ph_recovery_poc_cnt的GDR画面的画面不被用作用于对第i个层的画面的解码的ILRP。vps_max_tid_il_ref_pics_plus1[i][j]大于0指定，为了解码第i个层的画面，不将来自具有TemporalId大于vps_max_tid_il_ref_pics_plus1[i][j]-1的第j个层的画面用作ILRP。当不存在时，vps_max_tid_il_ref_pics_plus1[i][j]的值被推断为等于vps_max_sublayers_minus1+1。
vps_each_layer_is_an_ols_flag等于1指定各个OLS仅含有一个层，并且由VPS指定的各个层是OLS，其中单个包括的层是唯一的输出层。vps_each_layer_is_an_ols_flag等于0指定至少一个OLS含有多于一个层。如果vps_max_layers_minus1等于0，则vps_each_layer_is_an_ols_flag的值被推断为等于1。否则，当vps_all_independent_layers_flag等于0时，vps_each_layer_is_an_ols_flag的值被推断为等于0。
vps_ols_mode_idc等于0指定由VPS指定的OLS的总数量等于vps_max_layers_minus1+1，第i个OLS包括具有层索引从0到i(包含0和i)的层，并且对于各个OLS，仅OLS中的最高层是输出层。
vps_ols_mode_idc等于1指定由VPS指定的OLS的总数量等于vps_max_layers_minus1+1，第i个OLS包括具有层索引从0到i(包含0和i)的层，并且对于各个OLS，OLS中的所有层都是输出层。
vps_ols_mode_idc等于2指定由VPS指定的OLS的总数量被显式地用信号通知，并且对于各个OLS，输出层被显式地用信号通知，而其它层是作为OLS的输出层的直接或间接参考层的层。
vps_ols_mode_idc的值应处于0到2(包含0和2)的范围内。vps_ols_mode_idc的值3由ITU-T|ISO/IEC预留以备将来使用
当vps_all_independent_layers_flag等于1并且vps_each_layer_is_an_ols_flag等于0时，vps_ols_mode_idc的值被推断为等于2。
vps_num_output_layer_sets_minus1加1指定当vps_ols_mode_idc等于2时由VPS指定的OLS的总数量。
如图9所示，推导变量olsModeIdc。
如图10所示，推导指定由VPS指定的OLS的总数量的变量TotalNumOlss。
vps_ols_output_layer_flag[i][j]等于1指定当vps_ols_mode_idc等于2时，具有nuh_layer_id等于vps_layer_id[j]的层是第i个OLS的输出层。vps_ols_output_layer_flag[i][j]等于0指定当vps_ols_mode_idc等于2时，具有nuh_layer_id等于vps_layer_id[j]的层不是第i个OLS的输出层。
如图11所示，推导指定第i个OLS中的输出层的数量的变量NumOutputLayersInOls[i]、指定第i个OLS中的第j个层中的子层的数量的变量NumSubLayersInLayerInOLS[i][j]、指定第i个OLS中的第j个输出层的nuh_layer_id值的变量OutputLayerIdInOls[i][j]、以及指定第k个层是否被用作至少一个OLS中的输出层的变量LayerUsedAsOutputLayerFlag[k]。
对于处于0到vps_max_layers_minus1(包含0和vps_max_layers_minus1)的范围内的i的各个值，LayerUsedAsRefLayerFlag[i]的值和LayerUsedAsOutputLayerFlag[i]的值不应都等于0。换句话说，将不存在既不是至少一个OLS的输出层也不是任何其它层的直接参考层的层。
对于各个OLS，应有至少一个层是输出层。换句话说，对于处于0到TotalNumOlss-1(包括0和TotalNumOlss-1)的范围内的i的任何值，NumOutputLayersInOls[i]的值应大于或等于1。
如图12所示，推导指定第i个OLS中的层数的变量NumLayersInOls[i]、指定第i个OLS中的第j个层的nuh_layer_id值的变量LayerIdInOls[i][j]、指定多层OLS的数量(即，含有多于一个层的OLS)的变量NumMultiLayerOlss、以及指定当NumLayersInOls[i]大于0时针对第i个OLS的多层OLS的列表的索引的变量MultiLayerOlsIdx[i]。
注1-第0个OLS仅含有最低层(即，具有nuh_layer_id等于vps_layer_id[0]的层)，并且对于第0个OLS，仅包括的层是输出。
如图13所示，推导指定具有nuh_layer_id等于LayerIdInOls[i][j]的层的OLS层索引的变量OlsLayerIdx[i][j]。
各个OLS中的最低层应为独立层。换句话说，对于处于0到TotalNumOlss-1(包含0和TotalNumOlss-1)的范围内的各个i，vps_independent_layer_flag[GeneralLayerIdx[LayerIdInOls[i][0]]]的值应等于1。
各个层应被包括在由VPS指定的至少一个OLS中。换句话说，对于具有nuh_layer_id nuhLayerId的特定值nuhLayerid等于针对处于0到vps_max_layers_minus1(包含0和vps_max_layers_minus1)的范围内的k的vps_layer_id[k]中的一者的各个层，应存在i和j的至少一对值，其中，i处于0到TotalNumOlss-1(包含0和TotalNumOlss-1)的范围内，并且j处于NumLayersInOls[i]-1(包含NumLayersInOls[i]-1)的范围内，使得LayerIdInOls[i][j]的值等于nuhLayerId。
vps_num_ptls_minus1加1指定VPS中的profile_tier_level()语法结构的数量。vps_num_ptls_minus1的值应小于TotalNumOlss。当不存在时，vps_num_ptls_minus1的值被推断为等于0。
vps_pt_present_flag[i]等于1指定档次、层和一般约束信息存在于VPS中的第i个profile_tier_level()语法结构中。vps_pt_present_flag[i]等于0指定档次、层和一般约束信息不存在于VPS中的第i个profile_tier_level()语法结构中。vps_pt_present_flag[0]的值被推断为等于1。当vps_pt_present_flag[i]等于0时，VPS中的第i个profile_tier_level()语法结构的档次、层和一般约束信息被推断为与VPS中的第(i-1)个profile_tier_level()语法结构的档次、层和一般约束信息相同。
vps_ptl_max_tid[i]指定在VPS中的第i个profile_tier_level()语法结构中存在级别信息的最高子层表示的TemporalId。vps_ptl_max_tid[i]的值应处于0到vps_max_sublayers_minus1(包含0和vps_max_sublayers_minus1)的范围内。当不存在时，vps_ptl_max_tid[i]的值被推断为等于vps_max_sublayers_minus1。
vps_ptl_alignment_zero_bit应等于0。
vps_ols_ptl_idx[i]向VPS中的profile_tier_level()语法结构的列表指定应用于第i个OLS的profile_tier_level()语法结构的索引。当存在时，vps_ols_ptl_idx[i]的值应处于0到vps_num_ptls_minus1(包含0和vps_num_ptls_minus1)的范围内。
当不存在时，vps_ols_ptl_idx[i]的值被推断如下：
-如果vps_num_ptls_minus1等于0，则vps_ols_ptl_idx[i]的值被推断为等于0。
-否则(vps_num_ptls_minus1大于0并且vps_num_ptls_minus1+1等于TotalNumOlss)，vps_ols_ptl_idx[i]的值被推断为等于i。
当NumLayersInOls[i]等于1时，应用于第i个OLS的profile_tier_level()语法结构也存在于由第i个OLS中的层引用的SPS中。比特流一致性的要求是，当NumLayersInOls[i]等于1时，在针对第i个OLS的VPS中和SPS中用信号通知的profile_tier_level()语法结构应当是相同的。
VPS中的各个profile_tier_level()语法结构将由针对处于0到TotalNumOlss-1(包含0和TotalNumOlss-1)的范围内的i的vps_ols_ptl_idx[i]的至少一个值来引用。
vps_num_dpb_params_minus1加1(当存在时)指定VPS中的dpb_parameters()语法结构的数量。vps_num_dpb_params_minus1的值应处于0到NumMultiLayerOlss-1(包含0和NumMultiLayerOlss-1)的范围内。
如图14所示，推导指定VPS中的dpb_parameters()语法结构的数量的变量VpsNumDpbParams。
vps_sublayer_dpb_params_present_flag被用于控制VPS中的dpb_parameters()语法结构中的max_dec_pic_buffering_minus1[]、max_num_reorder_pics[]和max_latency_increase_plus1[]语法元素的存在。当不存在时，vps_sub_dpb_params_info_present_flag被推断为等于0。
vps_dpb_max_tid[i]指定在VPS中的第i个dpb_parameters()语法结构中可以存在DPB参数的最高子层表示的TemporalId。vps_dpb_max_tid[i]的值应处于0到vps_max_sublayers_minus1(包含0和vps_max_sublayers_minus1)的范围内。当不存在时，vps_dpb_max_tid[i]的值被推断为等于vps_max_sublayers_minus1。
vps_ols_dpb_pic_width[i]指定针对第i个多层OLS的各个画面存储缓冲器的以亮度样本为单位的宽度。
vps_ols_dpb_pic_height[i]指定针对第i个多层OLS的各个画面存储缓冲器的以亮度样本为单位的高度。
vps_ols_dpb_chroma_format[i]指定针对第i个多层OLS的CVS中由CLVS引用的所有SPS的sps_chroma_format_idc的最大允许值。
vps_ols_dpb_bitdepth_minus8[i]指定针对第i个多层OLS的CVS中由CLVS引用的所有SPS的sps_bitdepth_minus8的最大允许值。
注2-为了解码第i个多层OLS，解码器可以根据语法元素vps_ols_dpb_pic_width[i]、vps_ols_dpb_pic_height[i]、vps_ols_dpb_chroma_format[i]和vps_ols_dpb_bitdepth_minus8[i]的值来为DPB安全地分配存储器。
vps_ols_dpb_params_idx[i]向VPS中的dpb_parameters()语法结构的列表指定应用于第i个多层OLS的dpb_parameters()语法结构的索引。当存在时，vps_ols_dpb_params_idx[i]的值应处于0到VpsNumDpbParams-1(包含0和VpsNumDpbParams-1)的范围内。
当vps_ols_dpb_params_idx[i]不存在时，推断如下：
-如果VpsNumDpbParams等于1，则vps_ols_dpb_params_idx[i]的值等于0。
-否则(VpsNumDpbParams大于1并且等于NumMultiLayerOlss)，vps_ols_dpb_params_idx[i]的值被推断为等于i。
对于单层OLS，可应用的dpb_parameters()语法结构存在于由OLS中的层引用的SPS中。
VPS中的各个dpb_parameters()语法结构将由针对处于0到NumMultiLayerOlss-1(包含0和NumMultiLayerOlss-1)的范围内的i的vps_ols_dpb_params_idx[i]的至少一个值来引用。
vps_general_hrd_params_present_flag等于1指定VPS含有general_hrd_parameters()语法结构和其它HRD参数。vps_general_hrd_params_present_flag等于0指定VPS不含有general_hrd_parameters()语法结构或其它HRD参数。
当NumLayersInOls[i]等于1时，应用于第i个OLS的general_hrd_parameters()语法结构和ols_hrd_parameters()语法结构存在于由第i个OLS中的层引用的SPS中。
vps_sublayer_cpb_params_present_flag等于1指定VPS中的第i个ols_hrd_parameters()语法结构含有针对具有TemporalId处于0到vps_hrd_max_tid[i](包含0和vps_hrd_max_tid[i])的范围内的子层表示的HRD参数。vps_sublayer_cpb_params_present_flag等于0指定VPS中的第i个ols_hrd_parameters()语法结构仅含有针对具有TemporalId等于vps_hrd_max_tid[i]的子层表示的HRD参数。当vps_max_sublayers_minus1等于0时，vps_sublayer_cpb_params_present_flag的值被推断为等于0。
当vps_sublayer_cpb_params_present_flag等于0时，具有TemporalId处于0到vps_hrd_max_tid[i]-1(包含0和vps_hrd_max_tid[i]-1)的范围内的子层表示的HRD参数被推断为与具有TemporalId等于vps_hrd_max_tid[i]的子层表示的HRD参数相同。
这些包括在ols_hrd_parameters语法结构中的条件“if(general_vcl_hrd_params_present_flag)”下立即从fixed_pic_rate_general_flag[i]语法元素开始直到sublayer_hrd_parameters(i)语法结构的HRD参数。
vps_num_ols_hrd_params_minus1加1指定当vps_general_hrd_params_present_flag等于1时，VPS中存在的ols_hrd_parameters()语法结构的数量。vps_num_ols_hrd_params_minus1的值应处于0到NumMultiLayerOlss-1(包含0和NumMultiLayerOlss-1)的范围内。
vps_hrd_max_tid[i]指定第i个ols_hrd_parameters()语法结构中含有HRD参数的最高子层表示的TemporalId。vps_hrd_max_tid[i]的值应处于0到vps_max_sublayers_minus1(包含0和vps_max_sublayers_minus1)的范围内。当不存在时，vps_hrd_max_tid[i]的值被推断为等于vps_max_sublayers_minus1。
vps_ols_hrd_idx[i]向VPS中的ols_hrd_parameters()语法结构的列表指定应用于第i个多层OLS的ols_hrd_parameters()语法结构的索引。vps_ols_hrd_idx[i]的值应处于0到vps_num_ols_hrd_params_minus1(包含0和vps_num_ols_hrd_params_minus1)的范围内。
当vps_ols_hrd_idx[i]不存在时，推断如下：
-如果vps_num_ols_hrd_params_minus1等于0，则vps_ols_hrd_idx[[i]的值被推断为等于0。
-否则(vps_num_ols_hrd_params_minus1+1大于1并且等于NumMultiLayerOlss)，vps_ols_hrd_idx[i]的值被推断为等于i。
对于单层OLS，可应用的ols_hrd_parameters()语法结构存在于由OLS中的层引用的SPS中。
VPS中的各个ols_hrd_parameters()语法结构将由针对处于1到NumMultiLayerOlss-1(包含0和NumMultiLayerOlss-1)的范围内的i的vps_ols_hrd_idx[i]的至少一个值来引用。
vps_extension_flag等于0指定在VPS RBSP语法结构中不存在vps_extension_data_flag语法元素。vps_extension_flag等于1指定在VPS RBSP语法结构中可能存在vps_extension_data_flag语法元素。
vps_extension_data_flag可以具有任何值。其存在和值不会影响解码器与本说明书的这个版本中所指定的配置文件(profile)的一致性。符合本说明书的这个版本的解码器应忽略所有vps_extension_data_flag语法元素。
VPS和SPS
在下文中，将描述视频参数集(VPS)和序列参数集(SPS)的信令。
VPS的存在对于具有单层的比特流是可选的。当VPS不存在时，语法元素sps_video_parameter_set_id的值等于0，并且如下所述推断一些变量的值。
当sps_video_parameter_set_id等于0时，以下适用：
-SPS不涉及VPS，并且当解码涉及SPS的各个CLVS时不涉及VPS。
-vps_max_layers_minus1的值被推断为等于0。
-vps_max_sublayer_minus1的值被推断为等于6。
-CVS应仅含有一个层(即，CVS中的所有VCL NAL单元应具有相同的nuh_layer_id值)。
-GeneralLayerIdx[nuh_layer_id]的值被推断为等于0。
-vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]的值被推断为等于1。
SEI消息的概述
在下文中，将参考下表2来描述可缩放性尺寸信息(scalability dimensioninformation，SDI)SEI消息语法。
[表2]
scalability_dimension_info(payloadSize){ 描述符
sdi_max_layers_minus1 u(6)
sdi_multiview_info_flag u(1)
sdi_auxiliary_info_flag u(1)
if(sdi_multiview_info_flag||sdi_auxiliary_info_flag){
if(sdi_multiview_info_flag)
sdi_view_id_len u(4)
for(i＝0；i<＝sdi_max_layers_minus1；i++){
if(sdi_multiview_info_flag)
sdi_view_id_val[i] u(v)
if(sdi_auxiliary_info_flag)
sdi_aux_id[i] u(8)
}
}
}
在下文中，将描述可缩放性尺寸信息(SDI)SEI消息语义。
可缩放性尺寸信息SEI消息为bitstreamInScope(下面定义的)中的各个层提供可缩放性尺寸信息，诸如1)当bitstreamInScope可能是多视图比特流时，各个层的视图ID；以及2)当bitstreamInScope中可能存在由一个或更多个层携带的辅助信息(诸如深度或阿尔法(alpha))时，各个层的辅助ID。
bitstreamInScope是以解码顺序由含有当前可缩放性尺寸信息SEI消息的AU、其后是零个或更多个AU(包括直到但不包括含有可缩放性尺寸信息SEI消息的任何后续AU的所有后续AU)组成的AU序列。
sdi_max_layers_minus1加1指示bitstreamInScope中的最大层数。
sdi_multiview_info_flag等于1指示bitstreamInScope可以是多视图比特流，并且sdi_view_id_val[]语法元素存在于可缩放性尺寸信息SEI消息中。sdi_multiview_flag等于0指示bitstreamInScope不是多视图比特流，并且sdi_view_id_val[]语法元素不存在于可缩放性尺寸信息SEI消息中。
sdi_auxiliary_info_flag等于1指示在bitstreamInScope中可能存在由一个或更多个层携带的辅助信息，并且sdi_aux_id[]语法元素存在于可缩放性尺寸信息SEI消息中。sdi_auxiliary_info_flag等于0指示在bitstreamInScope中不存在由一个或更多个层携带的辅助信息，并且sdi_aux_id[]语法元素不存在于可缩放性尺寸信息SEI消息中。
sdi_view_id_len指定sdi_view_id_val[i]语法元素的以比特为单位的长度。
sdi_view_id_val[i]指定bitstreamInScope中的第i个层的视图ID。sdi_view_id_val[i]语法元素的长度是sdi_view_id_len个比特。当不存在时，sdi_view_id_val[i]的值被推断为等于0。
sdi_aux_id[i]等于0指示bitstreamInScope中的第i个层不含有辅助画面。sdi_aux_id[i]大于0指示bitstreamInScope中的第i个层中的辅助画面的类型，如表3中所指定的。
sdi_aux_id[i]到辅助画面的类型的映射
[表3]
sdi_aux_id[i] 名称 辅助画面类型
1 AUX_ALPHA 阿尔法平面
2 AUX_DEPTH 深度画面
3..127 预留
128..159 未指定
160..255 预留
在上表3中，通过除了sdi_aux_id值以外的其它手段来指定与处于128到159(包含128和159)的范围内的sdi_aux_id相关联的辅助画面的解释。
对于符合本说明书的该版本的比特流，sdi_aux_id[i]应处于0到2(包含0和2)或128到159(包含128和159)的范围内。尽管sdi_aux_id[i]的值应处于0到2(包含0和2)或128到159(包含128和159)的范围内，但在本说明书的该版本中，解码器应允许sdi_aux_id[i]的值处于0到255(包含0和255)的范围内。
如上所述，SDI SEI消息可以提供关于存在于对应比特流中的层的附加信息。为了提供关于层的信息，可以包括比特流中的层列表的循环。然而，SDI SEI消息没有包括关于各个索引i所指哪个层的信息。即，SDI SEI消息的第i个层与实际层本身之间的关系可由比特流的VPS中存在的层信息来定义。这可能导致不希望的结果，因为VPS可能改变，并且改变VPS的实体可能未认识到SEI消息也需要改变。
为了解决该问题，本公开提出一种包括层标识符信息的SEI消息。即，本公开提出了一种基于SEI消息的图像编码/解码技术，该SEI消息包括在比特流中包括的层的层标识符信息。因此，去除了层标识符信息对VPS的依赖性，从而提高了编码效率。
根据本公开，以下项目1至6可以被提供为用于解决上述问题的项目。以下项目1至6可以独立地实现，或者可以通过组合两个或更多个项目来实现。
项目1：可缩放尺寸信息(SDI)SEI消息可以携带比关联的CVS或比特流中存在的实际层更多的层的可缩放尺寸信息。
项目2：sdi_max_layers_minus1的值不受对应CVS或比特流中的层数的约束。它可以更高、相等或更低。
项目3：另选地，sdi_max_layers_minus1加1的值不应小于对应CVS或比特流中的实际层数。
项目4：对于各个视图Id和/或辅助id，用信号通知层id。换句话说，在SEI消息中的层循环中用信号通知层id信息。
项目5：以层id的值的升序排列/发信号通知层循环中的层id。
项目6：另选地，以层id的值的降序排列/发信号通知层循环中的层id。
在下文中，参考附图，详细描述本公开的实施方式。
实施方式1：SDI SEI消息语法和语义
在下文中，将参考图15基于根据本公开的SDI SEI消息语法和语义来描述本公开的实施方式。
作为示例，SDI SEI消息可以包括比特流(例如，bitstreamInScope(下面定义的))中的各个层的可缩放性尺寸信息。例如，在SEI消息中，1)当比特流可以是多视图比特流时，可以包括各个层的视图ID；以及2)当比特流中存在由一个或更多个层携带的辅助信息(诸如深度或阿尔法)时，可以包括各个层的辅助ID。
作为示例，比特流(例如，bitstreamInScope)是以解码顺序由含有当前SDI SEI消息的一个或更多个AU、随后是零个或更多个AU(包括直到但不包括含有SDI SEI消息的任何后续AU的所有后续AU)组成的AU序列。
作为示例，sdi_max_layers_minus1加1可以指示比特流中的最大层数。sdi_multiview_info_flag等于1可以指示比特流是多视图比特流，并且sdi_view_id_val[]语法元素存在于SDI SEI消息中。sdi_multiview_flag等于0可以指示比特流不是多视图比特流，并且SDI SEI消息中不存在sdi_view_id_val[]语法元素。
作为另一示例，SDI SEI消息可以携载比关联的CVS或比特流中存在的实际层更多的层的可缩放尺寸信息。即，sdi_max_layers_minus1的值可以不受对应CVS或比特流中的层数的约束。换句话说，它可以小于、等于或大于对应CVS或比特流的层数。另选地，sdi_max_layers_minus1加1的值可以不总是小于对应CVS或比特流中的实际层数。
sdi_auxiliary_info_flag等于1指示在比特流中可能存在由一个或更多个层携载的辅助信息，并且sdi_aux_id[]语法元素存在于SDI SEI消息中。sdi_auxiliary_info_flag等于0指示在比特流中不存在由一个或更多个层携载的辅助信息，并且sdi_aux_id[]语法元素不存在于SDI SEI消息中。
sdi_view_id_len可以指定sdi_view_id_val[i]语法元素的以比特为单位的长度。
sdi_view_id_val[i]可以指定关于在比特流(bitstreamInScope)中的第i个层的层ID的信息。i值可以具有处于0到sdi_max_layers_minus1-1(包含0和sdi_max_layers_minus1-1)的范围内的值。sdi_layer_id[i]的值可以以降序排列以小于sid_layer_id[i-1]。然而，它不限于此，并且可以以升序或其它顺序排列。
作为另一示例，sdi_view_id_val[i]可以指定比特流中的第i个层的层标识符信息。sdi_view_id_val[i]语法元素的长度是sdi_view_id_len个比特。当不存在时，sdi_view_id_val[i]的值被推断为等于0。
作为示例，sdi_aux_id[i]等于0可以指示比特流中的第i个层不含有辅助画面。sdi_aux_id[i]大于0可以指示比特流中的第i个层中的辅助画面的类型，如表4中所指定的。表4如下。
sdi_aux_id[i]到辅助画面的类型的映射
[表4]
sdi_aux_id[i] 名称 辅助画面类型
1 AUX_ALPHA 阿尔法平面
2 AUX_DEPTH 深度画面
3..127 预留
128..159 未指定
160..255 预留
如上表所示，可以不指定与处于128到159(包含128和159)的范围内的sdi_aux_id相关联的辅助画面类型的解释。因此，可以通过除了sdi_aux_id值之外的手段来指定辅助画面类型。
作为示例，对于比特流一致性，sdi_aux_id[i]应处于0到2(包含0和2)或128到159(包含128和159)的范围内。作为示例，尽管sdi_aux_id[i]的值被约束在0到2(包含0和2)或128到159(包含128和159)的范围内，但解码器应允许sdi_aux_id[i]的值处于0到255(包含0和255)的范围内。
作为另一示例，对于各个视图Id和/或辅助id，可以用信号通知层id。换句话说，可以在SEI消息中的层循环中用信号通知层id信息。在这种情况下，层的层id信息可以以层id的值的升序或降序来排列/用信号通知。
根据上述实施方式，可以通过去除对与层标识符相关的VPS的不必要依赖性来提高编码效率。
实施方式2：根据本公开的图像解码方法
在下文中，将参考图16来描述根据本公开的实施方式的图像解码方法。
图16的图像解码方法可以由图像解码设备执行。图像解码设备可以首先接收包括关于在比特流中包括的一个或更多个层的信息的补充增强信息(SEI)消息作为比特流(S1601)。此后，可以基于所接收到的SEI消息来获得关于所述一个或更多个层的信息(S1602)，并且可以基于所获得的关于所述一个或更多个层的信息来重构比特流中的图像(S1603)。
这时，SEI消息可以是根据本公开的SDI SEI消息。作为示例，所接收到的SEI消息可以包括在比特流中包括的所述一个或更多个层的层标识符信息。作为示例，层标识符信息可以包括上述sdi_layer_id。另外，可以根据比特流中的最大层数来获得层标识符信息。可以从SEI消息获得关于比特流中的最大层数的信息。即，可以在SEI消息中包括关于最大层数的信息。作为示例，SEI消息可以包括关于除了比特流中包括的一个或更多个层以外的层的信息。即，它可以包括关于比比特流中包括的实际层更多的层的信息。即，比特流中的最大层数可以不受该比特流中的一个或更多个层的数量的约束。作为另一示例，比特流中的最大层数可以被约束成不具有小于比特流中的一个或更多个层的数量的值，或者可小于比特流中的一个或更多个层的数量。此外，可以针对视图标识符(视图id)信息或辅助标识符(辅助id)中的每一个来用信号通知层标识符信息。另外，层标识符信息可以以层标识符值的升序被包括在SEI消息中，使得第i个层的层标识符的值比第(i-1)个层的层标识符的值大，或者相反地，可以以层标识符值的降序被包括在SEI消息中，使得第i个层的层标识符的值比第(i-1)个层的层标识符的值小。
此外，由于图16对应于本公开的实施方式，因此可以添加、改变或删除一些步骤，并且可以改变步骤的顺序。
实施方式3：根据本公开的图像编码方法
在下文中，将参考图17来描述根据本公开的实施方式的图像编码方法。
图17的图像编码方法可以由图像编码设备执行。图像编码设备可以首先基于关于一个或更多个层的信息来对图像进行编码(S1701)。即，可以基于关于比特流中的一个或更多个层的信息来对比特流中的图像进行编码。此后，可以对包括关于一个或更多个层的信息的SEI消息进行编码(S1702)。即，可以将包括关于在比特流中包括的一个或更多个层的信息的补充增强信息(SEI)消息编码到比特流中。
这时，SEI消息可以是根据本公开的SDI SEI消息。作为示例，SEI消息可以包括在比特流中包括的所述一个或更多个层的层标识符信息。作为示例，层标识符信息可以包括上述sdi_layer_id。另外，可以根据比特流中的最大层数在SEI消息中获得层标识符信息。关于比特流中的最大层数的信息也可以被包括在SEI消息中。即，可以在SEI消息中包括关于最大层数的信息。作为示例，SEI消息还可以包括关于除了比特流中包括的一个或更多个层以外的层的信息。作为另一示例，比特流中的最大层数可以被约束成不具有小于比特流中的一个或更多个层的数量的值，或者可小于比特流中的一个或更多个层的数量。此外，可以针对视图标识符(视图id)信息或辅助标识符(辅助id)中的每一个在比特流中包括层标识符信息。另外，层标识符信息可以以层标识符值的升序被包括和编码在SEI消息中，使得第i个层的层标识符的值比第(i-1)个层的层标识符的值大，或者层标识符信息可以以层标识符值的降序被包括在SEI消息中。
此外，由于图17对应于本公开的实施方式，因此可以添加、改变或删除一些步骤，并且可以改变步骤的顺序。
实施方式4：根据本公开的图像编码/解码设备
作为实施方式，图18的图像编码/解码设备1801可以包括存储数据的存储器1802以及控制存储器的处理器1803，并且可以基于处理器来执行上述图像编码/解码。另外，图18的设备1801可以是图2和图3的设备的简化表示，并且可以执行上述功能。
作为实施方式，当图18的设备1801是图像解码设备时，处理器1803可以接收包括关于在比特流中包括的一个或更多个层的信息的补充增强信息(SEI)消息作为比特流、基于所接收到的SEI消息来获得关于一个或更多个层的信息、以及基于所获得的关于一个或更多个层的信息来重构比特流中的图像。另外，所接收到的SEI消息可以包括在比特流中包括的所述一个或更多个层的层标识符信息。
作为另一实施方式，当图18的设备1801是图像编码设备时，处理器1803可以基于关于比特流中的一个或更多个层的信息来对比特流中的图像进行编码、以及将包括关于在比特流中包括的一个或更多个层的信息的补充增强信息(SEI)消息编码到比特流中。另外，SEI消息可以包括在比特流中包括的所述一个或更多个层的层标识符信息。
根据本公开的各种实施方式可以单独使用或者与其它实施方式组合使用。
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本公开的方法，所描述的步骤可以进一步包括其它步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其它附加步骤。
在本公开中，执行预定操作(步骤)的图像编码设备或图像解码设备可以执行确认对应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码设备或图像解码设备可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施方式不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施方式中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施方式可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
另外，应用本公开的实施方式的图像解码设备和图像编码设备可以包括在多媒体广播发送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(over the top video)装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、医疗视频装置等中，并且可以用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能电话、平板PC、数字录像机(DVR)等。
图19是示出本公开的实施方式适用于的内容流系统的视图。
如图19所示，应用本公开的实施方式的内容流系统可以主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等多媒体输入装置输入的内容压缩成数字数据，以生成比特流并将该比特流发送到流服务器。作为另一示例，当诸如智能电话、相机、摄像机等的多媒体输入装置直接生成比特流时，可以省略编码服务器。
比特流可以由应用本公开的实施方式的图像编码方法或图像编码设备生成，并且流服务器可以在发送或接收比特流的过程中暂时存储比特流。
流服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户告知服务的媒介。当用户向网络服务器请求所需的服务时，网络服务器可以将其递送到流服务器，并且流服务器可以向用户发送多媒体数据。在这种情况下，内容流系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统中的装置之间的命令/响应。
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器可以在预定时间内存储比特流。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流系统中的各个服务器可以作为分布式服务器运行，在这种情况下，从各个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施方式的方法的操作能够在设备或计算机上执行的软件或机器可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并且可在设备或计算机上执行的此类软件或命令的非暂时性计算机可读介质。
工业实用性
本公开的实施方式可以用于对图像进行编码或解码。

Claims (14)

1.一种由图像解码设备执行的图像解码方法，所述图像解码方法包括以下步骤：
接收补充增强信息SEI消息，所述SEI消息包括关于在比特流中包括的一个或更多个层的信息；
基于所接收到的SEI消息，来获得关于所述一个或更多个层的信息；以及
基于所获得的关于所述一个或更多个层的信息，来重构所述比特流中的图像，
其中，所接收到的SEI消息包括在所述比特流中包括的所述一个或更多个层的层标识符信息。
2.根据权利要求1所述的图像解码方法，其中，根据所述比特流中的最大层数来获得所述层标识符信息。
3.根据权利要求2所述的图像解码方法，其中，从所述SEI消息获得关于所述比特流中的所述最大层数的信息。
4.根据权利要求1所述的图像解码方法，其中，所述SEI消息包括关于除了所述比特流中包括的所述一个或更多个层以外的层的信息。
5.根据权利要求2所述的图像解码方法，其中，所述比特流中的所述最大层数不受所述比特流中的一个或更多个层的数量的约束。
6.根据权利要求2所述的图像解码方法，其中，所述比特流中的所述最大层数被约束成不具有小于所述比特流中的一个或更多个层的数量的值。
7.根据权利要求1所述的图像解码方法，其中，针对视图id或辅助id中的每一个来用信号通知所述层标识符信息。
8.根据权利要求1所述的图像解码方法，其中，在所述SEI消息中以层标识符值的升序来包括所述层标识符信息，使得第i个层的层标识符的值大于第(i-1)个层的层标识符的值。
9.根据权利要求1所述的图像解码方法，其中，在所述SEI消息中以层标识符值的降序来包括所述层标识符信息，使得第i个层的层标识符的值小于第(i-1)个层的层标识符的值。
10.一种由图像编码设备执行的图像编码方法，所述图像编码方法包括以下步骤：
基于关于比特流中的一个或更多个层的信息来对所述比特流中的图像进行编码；以及
将补充增强信息SEI消息编码到所述比特流中，所述SEI消息包括关于在所述比特流中包括的所述一个或更多个层的信息，
其中，所述SEI消息包括在所述比特流中包括的所述一个或更多个层的层标识符信息。
11.根据权利要求10所述的图像编码方法，其中，在所述SEI消息中包括根据所述比特流中的最大层数的所述层标识符信息。
12.根据权利要求10所述的图像编码方法，其中，在所述SEI消息中包括关于所述比特流中的最大层数的信息。
13.一种发送通过根据权利要求10所述的图像编码方法生成的比特流的方法。
14.一种存储通过根据权利要求10所述的图像编码方法生成的比特流的非暂时性计算机可读记录介质。
CN202280030357.7A 2021-04-23 2022-04-22 基于包括层标识符信息的sei消息的图像编码/解码方法和装置及发送比特流的方法 Pending CN117203968A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163178531P 2021-04-23 2021-04-23
US63/178,531 2021-04-23
PCT/KR2022/005797 WO2022225369A1 (ko) 2021-04-23 2022-04-22 레이어 식별자 정보를 포함하는 sei 메시지 기반의 영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법

Publications (1)

Publication Number Publication Date
CN117203968A true CN117203968A (zh) 2023-12-08

Family

ID=83723037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280030357.7A Pending CN117203968A (zh) 2021-04-23 2022-04-22 基于包括层标识符信息的sei消息的图像编码/解码方法和装置及发送比特流的方法

Country Status (5)

Country Link
EP (1) EP4329308A1 (zh)
JP (1) JP2024515732A (zh)
KR (1) KR20240004569A (zh)
CN (1) CN117203968A (zh)
WO (1) WO2022225369A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013002701A1 (en) * 2011-06-30 2013-01-03 Telefonaktiebolaget L M Ericsson (Publ) Absolute or explicit reference picture signaling
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
CN114845112B (zh) * 2019-09-24 2023-04-04 华为技术有限公司 后缀sei消息的可伸缩嵌套的方法、设备、介质、解码器和编码器
EP4022929A4 (en) * 2019-09-24 2022-11-23 Huawei Technologies Co., Ltd. ENCODER, DECODER SUPPORTING LOWER LAYER FRAMES

Also Published As

Publication number Publication date
KR20240004569A (ko) 2024-01-11
WO2022225369A1 (ko) 2022-10-27
JP2024515732A (ja) 2024-04-10
EP4329308A1 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
US11758172B2 (en) Image encoding/decoding method and device for signaling information related to sub picture and picture header, and method for transmitting bitstream
US20230068704A1 (en) Image decoding method and apparatus therefor
US11902556B2 (en) Mixed NAL unit type-based image encoding/decoding method and device, and method for transmitting bitstream
KR20220162739A (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US20230105409A1 (en) Method and apparatus for processing high level syntax in image/video coding system
US20230188714A1 (en) Image encoding/decoding method and device for signaling aps identifier, and computer-readable recording medium in which bitstream is stored
US20230224469A1 (en) Image encoding/decoding method and apparatus for determining whether or not to refer to parameter set on basis of output layer set, and method for transmitting bitstream
EP4329308A1 (en) Image encoding/decoding method and device based on sei message including layer identifier information, and method for transmitting bitstream
US20240196015A1 (en) Image encoding/decoding method and device based on sei message including layer identifier information, and method for transmitting bitstream
CN115699746B (zh) 图像编码/解码方法和发送比特流的方法
US11695964B2 (en) Video encoding/decoding method and apparatus for signaling DPB parameter, and computer-readable recording medium storing bitstream
US20230156230A1 (en) Image encoding/decoding method and device for signaling information relating to ptl, dpb, and hrd in sps, and computer-readable recording medium storing bitstream
US20230254498A1 (en) Image encoding/decoding method and apparatus based on sublayer level information, and recording medium storing bitstream
US20230144793A1 (en) Image encoding/decoding method and apparatus for signaling information about number of dpb parameters, and computer-readable recording medium storing bitstream
US20230156180A1 (en) Image encoding/decoding method and device for signaling dpb-related information and ptl-related information, and computer-readable recording medium in which bitstream is stored
US20230143648A1 (en) Method and apparatus for encoding/decoding image, on basis of available slice type information for gdr or irap picture, and recording medium storing bitstream
US20230224470A1 (en) Method and apparatus for image encoding/decoding on basis of poc msb information, and recording medium for storing bitstream
KR20230011990A (ko) 영상/비디오 코딩 시스템에서 단일 레이어 비트스트림 내 파라미터 세트의 참조를 처리하는 방법 및 장치
CN115668950A (zh) 用信号通知hrd参数的图像编码/解码方法和装置及存储比特流的计算机可读记录介质
KR20230017236A (ko) 픽처 출력 관련 정보 기반 영상 또는 비디오 코딩
CN116325724A (zh) 基于最大时间标识符执行子比特流提取过程的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115769579A (zh) 基于子层的所需数目确定子层的图像编码/解码方法和装置以及比特流发送方法
CN115668948A (zh) 用信号通知ptl相关信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668930A (zh) 基于层之间是否进行参考确定子层的图像编码/解码方法和设备及发送比特流的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination