CN115699746A - 基于层之间对准的子图片信息的图像编码/解码方法和设备以及存储比特流的记录介质 - Google Patents

基于层之间对准的子图片信息的图像编码/解码方法和设备以及存储比特流的记录介质 Download PDF

Info

Publication number
CN115699746A
CN115699746A CN202180037105.2A CN202180037105A CN115699746A CN 115699746 A CN115699746 A CN 115699746A CN 202180037105 A CN202180037105 A CN 202180037105A CN 115699746 A CN115699746 A CN 115699746A
Authority
CN
China
Prior art keywords
picture
sub
current
layer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180037105.2A
Other languages
English (en)
Other versions
CN115699746B (zh
Inventor
亨得利·亨得利
金昇焕
S·帕鲁利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN115699746A publication Critical patent/CN115699746A/zh
Application granted granted Critical
Publication of CN115699746B publication Critical patent/CN115699746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了图像编码/解码方法和设备。根据本公开的图像解码方法包括以下步骤：从比特流获得子图片信息；基于所述子图片信息来推导当前图片中的一个或更多个子图片；以及基于所述子图片信息来解码所述当前图片中的当前子图片，其中，所述子图片信息包括指示所述一个或更多个子图片中的每一个是否被当作一个图片的第一标志，并且基于所述比特流包括参考包括所述当前图片的当前层的至少一个第一层，针对至少所述一个第一层中所包括的并与所述当前子图片对应的第一子图片的第一标志和针对所述当前子图片的第一标志可以具有相同的值。

Description

基于层之间对准的子图片信息的图像编码/解码方法和设备 以及存储比特流的记录介质
技术领域
本公开涉及图像编码/解码方法和设备(并且更具体地，基于层之间对准的子图片信息的图像编码和解码方法及设备)以及存储比特流的记录介质。
背景技术
最近，各个领域对高分辨率和高质量图像，例如高清(HD)图像和超高清(UHD)图像的需求正在增加。随着图像数据的分辨率和质量的改进，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息量或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地传输、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
本公开的另一目的是提供基于层之间对准的子图片信息的图像编码/解码方法和设备。
本公开的另一目的是提供存储由根据本公开的图像编码方法或设备生成的比特流的计算机可读记录介质。
本公开的另一目的是提供存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流的计算机可读记录介质。
本公开的另一目的是提供发送由根据本公开的图像编码方法或设备生成的比特流的方法。
本公开所解决的技术问题不限于以上的技术问题，并且对于本领域技术人员而言，本文中未描述的其它技术问题将根据下面的描述而变得显而易见。
技术方案
根据本公开的一方面的一种图像解码方法可以包括：从比特流获得子图片信息；基于所述子图片信息来推导当前图片中的一个或更多个子图片；以及基于所述子图片信息来解码所述当前图片中的当前子图片。所述子图片信息可以包括指定所述一个或更多个子图片中的每一个是否被当作图片的第一标志，并且基于所述比特流包括参考包括所述当前图片的当前层的至少一个第一层，针对所述第一层中所包括的并与所述当前子图片对应的第一子图片的第一标志和针对所述当前子图片的第一标志具有相同的值。
根据本公开的另一方面的一种图像解码设备可以包括存储器和至少一个处理器。所述至少一个处理器可以被配置为：从比特流获得子图片信息；基于所述子图片信息来推导当前图片中的一个或更多个子图片；以及基于所述子图片信息来解码所述当前图片中的当前子图片。所述子图片信息可以包括指定所述一个或更多个子图片中的每一个是否被当作图片的第一标志，并且基于所述比特流包括参考包括所述当前图片的当前层的至少一个第一层，针对所述第一层中所包括的并与所述当前子图片对应的第一子图片的第一标志和针对所述当前子图片的第一标志具有相同的值。
根据本公开的另一个方面的一种图像编码方法可以包括以下步骤：将当前图片分割为一个或更多个子图片；生成关于所述一个或更多个子图片的子图片信息；以及通过对包括所述子图片信息的图像信息进行编码来生成比特流。所述子图片信息包括指定所述一个或更多个子图片中的每一个是否被当作图片的第一标志，并且基于所述比特流包括参考包括所述当前图片的当前层的至少一个第一层，针对所述第一层中所包括的并与所述当前子图片对应的第一子图片的第一标志和针对所述当前子图片的第一标志具有相同的值。
根据本公开的另一方面的一种计算机可读记录介质可以存储由本公开的图像编码设备或图像编码方法生成的比特流。
根据本公开的另一方面的一种发送方法可以发送由本公开的图像编码设备或图像编码方法生成的比特流。
以上关于本公开简要概述的特征仅仅是本公开的以下详细描述的示例性方面，并不限制本公开的范围。
有益效果
根据本公开，可以提供具有提高的编码/解码效率的图像编码/解码方法和设备。
另外，根据本公开，可以提供基于层之间对准的子图片信息的图像编码/解码方法和设备。
另外，根据本公开，可以提供存储由根据本公开的图像编码方法或设备生成的比特流的计算机可读记录介质。
另外，根据本公开，可以提供存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流的计算机可读记录介质。
另外，根据本公开，可以提供发送由根据本公开的图像编码方法或设备生成的比特流的方法。
本领域技术人员将领会的是，可以通过本公开实现的效果不限于已经在上文具体描述的效果，并且将从详细描述更加清楚地理解本公开的其它优点。
附图说明
图1是示意性示出了适用本公开的实施方式的视频编码系统的视图。
图2是示意性示出了适用本公开的实施方式的图像编码设备的视图。
图3是示意性示出了适用本公开的实施方式的图像解码设备的视图。
图4是例示了编码图像/视频的层结构的示例的视图。
图5是示意性例示了适用本公开的实施方式的多层编码设备的视图。
图6是示意性例示了适用本公开的实施方式的多层解码设备的视图。
图7是例示了子图片的示例的视图。
图8是例示了包括关于子图片的信息的SPS的示例的视图。
图9是例示了根据本公开的实施方式的由图像编码设备确定是否对多层结构下的子图片进行独立编码的方法的流程图。
图10是例示了根据本公开的实施方式的由图像解码设备确定是否对多层结构下的子图片进行独立编码的方法的流程图。
图11是例示了根据本公开的实施方式的图像编码方法的流程图。
图12是例示了根据本公开的实施方式的图像解码方法的流程图。
图13是例示了适用本公开的实施方式的内容流传输系统的视图。
具体实施方式
以下，将结合附图对本公开的实施方式进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于这里描述的实施方式。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“联接”或“链接”到另一个组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其它组件时，除非另有说明，否则是指还可以包括其它组件，而不是排除其它组件。
在本公开中，术语第一、第二等仅用于将一个组件与其它组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施方式中的第一组件在另一个实施方式中可以被称为第二组件，类似地，一个实施方式中的第二组件在另一个实施方式中可以被称为第一组件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施方式也包括在本公开的范围内。
在本公开中，各个实施方式中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施方式中描述的组件的子集组成的实施方式也包括在本公开的范围内。此外，除了在各种实施方式中描述的组件之外还包括其它组件的实施方式包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“图片”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成图片的一部分的编码单元，一个图片可以由一个或更多个切片/拼块组成。此外，切片/拼块可以包括一个或更多个编码树单元(CTU)。
在本公开中，“像素”或“像元(pel)”可以意指构成一个图片(或图像)的最小单元。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括图片的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编码块”、“当前编码单元”、“编码目标块”、“解码目标块”或“处理目标块”中的一个。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(反量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
另外，在本公开中，“当前块”可以意指包括亮度分量块和色度分量块二者的块或“当前块的亮度块”，除非明确被陈述为色度块。当前块的亮度分量块可以通过包括诸如“亮度块”或“当前亮度块”这样的亮度分量块的明确描述来表示。另外，“当前块的色度分量块”可以通过包括对诸如“色度块”或“当前色度块”这样的色度分量块的明确描述来表示。
在本公开中，术语“/”或“，”可以解释为指示“和/或”。例如，“A/B”和“A，B”可以意指“A和/或B”。此外，“A/B/C”和“A/B/C”可以意指“A、B和/或C中的至少一个”。
在本公开中，术语“或”应被解释以指示“和/或”。例如，表达“A或B”可以包括1)仅“A”，2)仅“B”，或3)“A和B”两者。换言之，在本公开中，“或”应被解释以指示“附加地或可替选地”。
视频编码系统的概述
图1是示意性示出了适用本公开的实施方式的视频编码系统的视图。
根据实施方式的视频编码系统可以包括编码设备10和解码设备20。编码设备10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码设备20。
根据实施方式的编码设备10可以包括视频源发生器11、编码单元12和发送器13。根据实施方式的解码设备20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发送器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
视频源发生器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源发生器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个照相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编码效率，编码单元12可以执行一系列过程，例如预测、变换和量化。编码单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
发送器13可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码视频/图像信息或数据传输到解码设备20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程，例如反量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码设备的概述
图2是示意性地示出本公开的实施方式可适用于的图像编码设备的视图。
如图2所示，图像编码设备100可以包括图像分割器110、减法器115、变换器120、量化器130、反量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测单元180、帧内预测单元185和熵编码器190。帧间预测单元180和帧内预测单元185可以统称为“预测单元”。变换器120、量化器130、反量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施方式中，配置图像编码设备100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码图片缓冲器(DPB)并且可以由数字存储介质配置。
图像分割器110可将输入到图像编码设备100的输入图像(或图片或帧)分割成一个或更多个处理单元。例如，处理单元可以称为编码单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分割编码树单元(CTU)或最大编码单元(LCU)来获取编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分割为更深深度的多个编码单元。对于编码单元的分割，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。可以将最大编码单元用作最终编码单元，也可以将通过分割最大编码单元获取的更深深度的编码单元用作最终编码单元。这里，编码过程可以包括稍后将描述的预测、变换和重构的过程。作为另一个示例，编码过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编码单元划分或分割。预测单元可以是样本预测单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
预测单元(帧间预测单元180或帧内预测单元185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测单元可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测单元可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测单元185可以通过参考当前图片中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测单元185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测单元180可以基于由参考图片上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括参考块的参考图片和包括时间邻近块的参考图片可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考图片可以被称为并置图片(colPic)。例如，帧间预测单元180可基于邻近块配置运动信息候选列表并生成指示使用哪个候选来推导当前块的运动向量和/或参考图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测单元180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且当前块的运动向量可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测单元可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测单元不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。此外，预测单元可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前图片中先前重构的参考块来预测当前图片的方法。当应用IBC时，参考块在当前图片中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前图片中执行预测，但可在参考块是在当前图片内导出的方面类似于帧间预测来执行。即，IBC可使用本公开中所描述的帧间预测技术中的至少一者。
预测单元生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测单元输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的正方形像素块或者可以应用于具有可变大小而不是正方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可基于系数扫描顺序将块形式的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单位进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码设备100的内部/外部元件。另选地，可以提供发送器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过反量化器140和逆变换器150对量化变换系数应用反量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构信号(重构图片、重构块、重构样本阵列)。如果要处理的块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前图片中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个图片进行帧间预测。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构图片可以用作帧间预测单元180中的参考图片。当通过图像编码设备100应用帧间预测时，可以避免图像编码设备100和图像解码设备之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构图片以用作帧间预测单元180中的参考图片。存储器170可以存储从其中推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片中重构块的重构样本并且可以将重构样本传送到帧内预测单元185。
图像解码设备的概述
图3是示意性地示出本公开的实施方式可适用的图像解码设备的视图。
如图3所示，图像解码设备200可以包括熵解码器210、反量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可以统称为“预测单元”。反量化器220和逆变换器230可以被包括在残差处理器中。
根据实施方式，配置图像解码设备200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码图片缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码设备200可以通过执行与由图2的图像编码设备100执行的处理相对应的处理来重构图像。例如，图像解码设备200可以使用在图像编码设备中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元。编码单元可以通过分割编码树单元或最大编码单元来获取。通过图像解码设备200解码和输出的重构图像信号可以通过再现设备(未示出)再现。
图像解码设备200可以接收以比特流的形式从图2的图像编码设备输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以推导图像重构(或图片重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码设备还可以基于关于参数集的信息和/或通用约束信息对图片进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率来对bin执行算术解码，并且生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测单元(帧间预测单元260和帧内预测单元265)，并且在熵解码器210中对其执行熵解码的残差值，即，量化变换系数和相关的参数信息可以被输入到反量化器220。另外，可以将熵解码器210解码的信息当中关于滤波的信息提供给滤波器240。此外，用于接收从图像编码设备输出的信号的接收器(未示出)可以进一步被配置为图像解码设备200的内部/外部元件，或者接收器可以是熵解码器210的组件。
此外，根据本公开的图像解码设备可以被称为视频/图像/图片解码设备。图像解码设备可以分为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括反量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元260或帧内预测单元265中的至少一个。
反量化器220可以对量化变换系数进行反量化并输出变换系数。反量化器220可以以二维块的形式重新排列量化变换系数。在这种情况下，可以基于在图像编码设备中执行的系数扫描顺序来执行重新排列。反量化器220可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行反量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测单元可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测单元可以基于从熵解码器210输出的关于预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定帧内/帧间预测模式(预测技术)。
与在图像编码设备100的预测单元中描述的相同的是，预测单元可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测单元265可以通过参考当前图片中的样本来预测当前块。帧内预测单元185的描述同样适用于帧内预测单元265。
帧间预测单元260可以基于参考图片上由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测单元260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将所获得的残差信号与从预测器(包括帧间预测单元260和/或帧内预测器265)输出的预测信号(预测块、预测样本阵列)相加来生成重构信号(重构图片、重构块、重构样本阵列)。如果没有待处理块的残差(诸如，当应用跳过模式时)，则预测块可以被用作重构块。对加法器155的描述同等地适用于加法器235。加法器235可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片中待处理的下一块的帧内预测，并且如下所述，可以通过滤波用于下一图片的帧间预测。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构图片应用各种滤波方法来生成修改的重构图片，并将修改的重构图片存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构图片可以用作帧间预测单元260中的参考图片。存储器250可以存储从其中推导(或解码)当前图片中的运动信息的块的运动信息和/或图片中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前图片中重构块的重构样本并将重构样本传送到帧内预测单元265。
在本公开中，在图像编码设备100的滤波器160、帧间预测单元180和帧内预测单元185中描述的实施方式可以同等地或对应地应用于图像解码设备200的滤波器240、帧间预测单元260和帧内预测单元265。
编码层结构的示例
根据本公开的编码视频/图像可以例如根据以下将描述的编码层和结构来处理。
图4是例示了编码图像/视频的层结构的示例的视图。
编码图像/视频被分类为用于图像/视频解码处理并处理其自身的视频编码层(VCL)、用于发送和存储编码信息的较低系统以及存在于VCL和较低系统之间并负责网络适配功能的网络抽象层(NAL)。
在VCL中，可以生成包括压缩图像数据(切片数据)的VCL数据，或者可以生成包括诸如图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的信息的参数集或图像的解码处理另外需要的补充增强信息(SEI)消息。
在NAL中，头信息(NAL单元头)可以被添加到在VCL中生成的原始字节序列有效载荷(RBSP)以生成NAL单元。在这种情况下，RBSP是指在VCL中生成的切片数据、参数集、SEI消息。NAL单元头可以包括根据相应NAL单元中所包括的RBSP数据指定的NAL单元类型信息。
如图4中所示，根据在VCL中生成的RBSP的类型，NAL单元可以被分类为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以意指包括关于图像(切片数据)的信息的NAL单元，并且非VCL NAL单元可以意指包括解码图像所需的信息(参数集或SEI消息)的NAL单元。
根据较低系统的数据格式，VCL NAL单元和非VCL NAL单元可以附接有头信息并通过网络发送。例如，NAL单元可以被修改为具有诸如H.266/VVC文件格式、RTP(实时传输协议)或TS(传输流)这样的预定数据格式的数据，并通过各种网络发送。
如上所述，在NAL单元中，可以根据相应NAL单元中所包括的RBSP数据结构来指定NAL单元类型，并且关于NAL单元类型的信息可以被存储在NAL单元头中并被发信号通知。例如，基于NAL单元是否包括关于图像(切片数据)的信息，这可以被大体分类为VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据图片的性质和类型来分类，并且非VCL NAL单元类型可以根据参数集的类型来分类。
以下将列出根据非VCL NAL单元类型中所包括的参数集/信息的类型指定的NAL单元类型的示例。
-DCI(解码能力信息)NAL单元类型(NUT)：包括DCI的NAL单元的类型
-VPS(视频参数集)NUT：包括VPS的NAL单元的类型
-SPS(序列参数集)NUT：包括SPS的NAL单元的类型
-PPS(图片参数集)NUT：包括PPS的NAL单元的类型
-APS(自适应参数集)NUT：包括APS的NAL单元的类型
-PH(图片头)NUT：包括图片头的NAL单元的类型
上述NAL单元类型可以具有关于NAL单元类型的语法信息，并且该语法信息可以被存储在NAL单元头中并发信号通知。例如，该语法信息可以包括nal_unit_type，并且NAL单元类型可以由nal_unit_type的值指定。
此外，一个图片可以包括多个切片，并且一个切片可以包括切片头和切片数据。在这种情况下，可以向一个图片中的多个切片(切片头和切片数据集)进一步添加一个图片头。图片头(图片头语法)可以包括共同适用于图片的信息/参数。切片头(切片头语法)可以包括共同适用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括共同适用于一个或更多个切片或图片的信息/参数。SPS(SPS语法)可以包括共同适用于一个或更多个序列的信息/参数。VPS(VPS语法)可以包括共同适用于多个层的信息/参数。DCI(DCI语法)可以包括与解码能力相关的信息/参数。
在本公开中，高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DCI语法、图片头语法或切片头语法中的至少一个。另外，在本公开中，低级语法(LLS)可以包括例如切片数据语法、CTU语法、编码单元语法、变换单元语法等。
在本公开中，由编码设备编码并以比特流的形式发信号通知给解码设备的图像/视频信息可以不仅包括图片内分割相关信息、帧内/帧间预测信息、残差信息、环路滤波信息，而且包括关于切片头的信息、关于图片头的信息、关于APS的信息、关于PPS的信息、关于SPS的信息、关于VPS的信息和/或关于DCI的信息。另外，图像/视频信息还可以包括一般约束信息和/或关于NAL单元头的信息。
基于多层的编码
根据本公开的图像/视频编码可以包括基于多层的图像/视频编码。基于多层的图像/视频编码可以包括可缩放编码。在基于多层的编码或可缩放编码中，可以针对每个层处理输入信号。根据层，输入信号(输入图像/视频)可以在分辨率、帧频、比特深度、颜色格式、宽高比或视图中的至少一个方面具有不同的值。在这种情况下，通过使用层之间的差异(例如，基于可缩放性)执行层间预测，可以减少冗余信息发送/处理并提高压缩效率。
图5是示意性例示了适用本公开的实施方式的多层编码设备的视图。
图5的多层编码设备500可以包括图2的编码设备。与图2相比，在图5的多层编码设备500中没有示出图像分割器110和加法器155，多层编码设备500可以包括图像分割器110和加法器155。在实施方式中，图像分割器110和加法器155可以被以层为单位包括。下文中，将在对图5的描述中侧重于基于多层的预测。例如，除了以下描述之外，多层编码设备500还可以包括以上参考图2描述的编码设备的技术思想。
为了便于描述，在图5中示出了由两个层组成的多层结构。然而，本公开的实施方式不限于两个层，并且应用本公开的实施方式的多层结构可以包括两个或更多个层。
参考图5，编码设备500包括层1的编码器500-1和层0的编码器500-0。层0可以是基层、参考层或下层，并且层1可以是增强层、当前层或上层。
层1的编码器500-1可以包括预测器520-1、残差处理器9305-1、滤波器560-1、存储器570-1、熵编码器540-1和复用器(MUX)570。在实施方式中，MUX可以作为外部组件被包括。
层0的编码器500-0可以包括预测器520-0、残差处理器530-0、滤波器560-0、存储器570-0和熵编码器540-0。
预测器520-0和520-1可以基于如上所述的各种预测方案针对输入图像执行预测。例如，预测器520-0和520-1可以执行帧间预测和帧内预测。预测器520-0和520-1可以在预定处理单元中执行预测。预测单元可以是编码单元(CU)或变换单元(TU)。可以根据预测的结果来生成预测块(包括预测样本)，并且基于此，残差处理器可以推导残差块(包括残差样本)。
通过帧间预测，可以基于关于当前图片的前一图片和/或下一图片中的至少一个的信息来执行预测，由此生成预测块。通过帧内预测，可以基于当前图片中的邻近样本来执行预测，由此生成预测块。
作为帧间预测模式或方法，可以使用上述各种预测模式或方法。在帧间预测中，可以针对待预测的当前块来选择参考图片，并且可以从参考图片选择与当前块对应的参考块。预测器520-0和520-1可以基于参考块来生成预测块。
另外，预测器520-1可以使用关于层0的信息对层1执行预测。在本公开中，为了便于描述，使用关于另一层的信息来预测关于当前层的信息的方法被称为层间预测。
使用关于另一层的信息预测的(例如，通过层间预测而预测的)关于当前层的信息可以是纹理、运动信息、单元信息或预定参数(例如，滤波参数等)中的至少一个。
另外，用于当前层的预测(例如，用于层间预测)的关于另一层的信息可以是纹理、运动信息、单元信息或预定参数(例如，滤波参数等)中的至少一个。
在层间预测中，当前块可以是当前层(例如，层1)中当前图片中的块，并且可以是待编码的块。参考块是当前块的预测所参考的层(参考层，例如，层0)上的、与当前块所属的图片(当前图片)属于同一访问单元(AU)的图片(参考图片)中的块，并且可以是对应于当前块的块。
作为层间预测的示例，存在用于使用参考层的运动信息来预测当前层的运动信息的层间运动预测。根据层间运动预测，可以使用参考块的运动信息来预测当前块的运动信息。即，在根据以下将描述的帧间预测模式推导运动信息时，可以基于层间参考块而非时间邻近块的运动信息来推导运动信息候选。
当应用层间运动预测时，预测器520-1可以缩放并使用参考层的参考块(即，层间参考块)运动信息。
作为层间预测的另一示例，层间纹理预测可以使用重构参考块的纹理作为当前块的预测值。在这种情况下，预测器520-1可以通过向上缩放来缩放参考块的纹理。层间纹理预测可以被称为层间(重构)样本预测或被简单地称为层间预测。
在作为层间预测的另一示例的层间参数预测中，可以在当前层中重新使用所推导的参考层的参数，或者可以基于参考层中使用的参数来推导当前层的参数。
在作为层间预测的另一示例的层间残差预测中，可以使用另一层的残差信息来预测当前层的残差信息，并且基于此，可以执行当前块的预测。
在作为层间预测的另一示例的层间差异预测中，可以使用通过对当前层的重构图片和参考层的重构图片进行上样本或下样本而获得的图像之间的差异来执行当前块的预测。
在作为层间预测的另一示例的层间语法预测中，可以使用参考层的语法信息预测或生成当前块的纹理。在这种情况下，被参考的参考层的语法信息可以包括关于帧内预测模式的信息和运动信息。
当预测特定块时，使用上述层间预测的多种预测方法可以被使用。
这里，作为层间预测的示例，尽管描述了层间纹理预测、层间运动预测、层间单元信息预测、层间参数预测、层间残差预测、层间差异预测、层间语法预测等，但适用于本公开的层间预测不限于此。
例如，层间预测可以应用为当前层的帧间预测的扩展。即，通过将从参考层推导的参考图片包括在能够被当前块的帧间预测参考的参考图片中，可以对当前块执行帧间预测。
在这种情况下，层间参考图片可以被包括在当前块的参考图片列表中。预测器520-1可以使用层间参考图片对当前块执行帧间预测。
这里，层间参考图片可以是通过对参考层的重构图片进行样本以对应于当前层而构造的参考图片。相应地，当参考层的重构图片对应于当前层的图片时，参考层的重构图片可以在不样本的情况下被用作层间参考图片。例如，当参考层的重构图片和当前层的重构图片中样本的宽度和高度相同，并且参考层的图片中的左上端、右上端、左下端和右下端与当前层的图片中的左上端、右上端、左下端和右下端之间的偏移为0时，参考层的重构图片可以在不再被样本的情况下被用作当前层的层间参考图片。
另外，从其推导出层间参考图片的参考层的重构图片可以是与待编码的当前图片属于同一AU的图片。
当通过将层间参考图片包括在参考图片列表中来执行当前块的帧间预测时，在参考图片列表L0和L1之间，参考图片列表中的层间参考图片的位置可以不同。例如，在参考图片列表L0中，层间参考图片可以位于当前图片之前的短期参考图片之后，并且在参考图片列表L1中，层间参考图片可以位于参考图片列表的末尾。
这里，参考图片列表L0是用于P切片的帧间预测的参考图片列表或在B切片的帧间预测中被用作第一参考图片列表的参考图片列表。参考图片列表L1可以是用于B切片的帧间预测的第二参考图片列表。
相应地，参考图片列表L0可以由当前图片之前的短期参考图片、层间参考图片、当前图片之后的短期参考图片和长期参考图片按该顺序组成。参考图片列表L1可以由当前图片之后的短期参考图片、当前图片之前的短期参考图片、长期参考图片和层间参考图片按该顺序组成。
在这种情况下，预测(P)切片是针对其使用每个预测块的最多一个运动向量和参考图片索引来执行帧间预测或者执行帧内预测的切片。双向预测(B)切片是针对其使用每个预测块的最多两个运动向量和参考图片索引来执行预测或者执行帧内预测的切片。在这方面，帧内(I)切片是仅应用帧内预测的切片。
此外，当基于包括层间参考图片的参考图片列表来执行当前块的帧间预测时，参考图片列表可以包括从多个层推导的多个层间参考图片。
当包括多个层间参考图片时，层间参考图片可以在参考图片列表L0和L1中交替地布置。例如，假定在用于当前块的帧间预测的参考图片列表中包括诸如层间参考图片ILRPi和层间参考图片ILRPj这样的两个层间参考图片。在这种情况下，在参考图片列表L0中，ILRPi可以位于当前图片之前的短期参考图片之后，并且ILRPj可以位于列表的末尾。另外，在参考图片列表L1中，ILRPi可以位于列表的末尾，并且ILRPj可以位于当前图片之后的短期参考图片之后。
在这种情况下，参考图片列表L0可以由当前图片之前的短期参考图片、层间参考图片ILRPi、当前图片之后的短期参考图片、长期参考图片和层间参考图片ILRPj按该顺序组成。参考图片列表L1可以由当前图片之后的短期参考图片、层间参考图片ILRPj、当前图片之前的短期参考图片、长期参考图片和层间参考图片ILRPi按该顺序组成。
另外，两个层间参考图片中的一个可以是从用于分辨率的可缩放层推导的层间参考图片，并且另一个可以是从用于提供另一视图的层推导的层间参考图片。在这种情况下，例如，如果ILRPi是从用于提供不同分辨率的层推导的层间参考图片并且ILRPj是从用于提供不同视图的层推导的层间参考图片，则在仅支持除视图之外的可缩放性的可缩放视频编码的情况下，参考图片列表L0可以由当前图片之前的短期参考图片、层间参考图片ILRPi、当前图片之后的短期参考图片和长期参考图片按该顺序组成，并且参考图片列表L1可以由当前图片之后的短期参考图片组成，当前图片之前的短期参考图片、长期参考图片和层间参考图片ILRPi按该顺序组成。
此外，在层间预测中，作为关于层间参考图片的信息，可以仅使用样本值，可以仅使用运动信息(运动向量)或者可以使用样本值和运动信息二者。预测器520-1可以仅使用层间参考图片的样本值，可以仅使用层间参考图片的运动信息(运动向量)，或者可以在参考图片索引指示层间参考图片时，根据从编码设备接收的信息使用层间参考图片的样本值和运动信息二者。
当仅使用层间参考图片的样本值时，预测器520-1可以从层间参考图片推导由运动向量指定的块的样本作为当前块的预测样本。在不考虑视图的可缩放视频编码的情况下，使用层间参考图片的帧间预测(层间预测)中的运动向量可以被设置为固定值(例如，0)。
当仅使用层间参考图片的运动信息时，预测器520-1可以使用由层间参考图片指定的运动向量作为用于推导当前块的运动向量的运动向量预测子。另外，预测器520-1可以使用由层间参考图片指定的运动向量作为当前块的运动向量。
当使用层间参考图片的样本值和运动信息二者时，预测器520-1可以使用层间参考图片中与当前块对应的区域的样本和层间参考图片中指定的运动信息(运动向量)来预测当前块。
编码设备可以在应用层间预测时向解码设备发送指示参考图片列表中的层间参考图片的参考索引，并可以向解码设备发送用于指定从层间参考图片使用哪个信息(样本信息、运动信息或样本信息和运动信息)的信息，即，用于指定用于两个层之间的层间预测的依赖性的依赖类型的信息。
图6是示意性例示了适用本公开的实施方式的多层解码设备的视图。
图6的解码设备可以包括图3的解码设备。图6中示出的重新对准器可以被省略或包括在反量化器中。在对该图的描述中，将侧重于基于多层的预测。另外，可以包括对图3的解码设备的描述。
在图6的示例中，为了便于描述，将描述由两个层组成的多层结构。然而，应该注意，本公开的实施方式不限于此，并且应用本公开的实施方式的多层结构可以包括两个或更多个层。
参考图6，解码设备600可以包括层1的解码器600-1和层0的解码器600-0。层1的解码器600-1可以包括熵解码器610-1、残差处理器620-1、预测器630-1、加法器640-1、滤波器650-1和存储器660-1。层0的解码器600-0可以包括熵解码器610-0、残差处理器620-0、预测器630-0、加法器640-0、滤波器650-0和存储器660-0。
当从编码设备接收到包括图像信息的比特流时，DEMUX 605可以对每个层的信息进行解复用，并将该信息发送到针对每个层的解码设备。
熵解码器610-1和610-0可以与在编码设备中使用的编码方法对应地执行解码。例如，当在编码设备中使用CABAC时，熵解码器610-1和610-0可以使用CABAC执行熵解码。
当当前块的预测模式是帧内预测模式时，预测器630-1和630-0可以基于当前图片中的邻近重构样本对当前块执行帧内预测。
当当前块的预测模式是帧间预测模式时，预测器630-1和630-0可以基于当前图片之前或之后的图片中的至少一个中所包括的信息对当前块执行帧间预测。可以通过检查从编码设备接收的信息来推导帧间预测所必需的一些或全部运动信息。
当跳过模式被作为帧间预测模式应用时，不从编码设备发送残差并且预测块可以是重构块。
此外，层1的预测器630-1可以仅使用关于层1的信息执行帧间预测或帧内预测，并使用关于另一层(层0)的信息执行层间预测。
作为使用关于另一层的信息预测的(例如，通过层间预测而预测的)关于当前层的信息，可以存在纹理、运动信息、单元信息、预定参数(例如，滤波参数等)中的至少一个。
作为用于预测当前层(例如，用于层间预测)的关于另一层的信息，可以存在纹理、运动信息、单元信息、预定参数(例如，滤波参数等)中的至少一个。
在层间预测中，当前块可以是当前层(例如，层1)中当前图片中的块，并可以是待解码的块。参考块可以是当前块的预测所参考的层(参考层，例如，层0)上的、与当前块所属的图片(当前图片)属于同一访问单元(AU)的图片(参考图片)中的块，并且可以是对应于当前块的块。
多层解码设备600可以执行如多层编码设备500中描述的层间预测。例如，多层解码设备600可以执行如多层编码设备500中描述的层间纹理预测、层间运动预测、层间单元信息预测、层间参数预测、层间残差预测、层间差异预测、层间语法预测等，并且本公开中适用的层间预测不限于此。
当从编码设备接收的参考图片索引或从邻近块推导的参考图片索引指示参考图片列表中的层间参考图片时，预测器630-1可以使用层间参考图片执行层间预测。例如，当参考图片索引指示层间参考图片时，预测器630-1可以将由层间参考图片中的运动向量指定的区域的样本值推导为当前块的预测块。
在这种情况下，层间参考图片可以被包括在当前块的参考图片列表中。预测器630-1可以使用层间参考图片对当前块执行帧间预测。
如以上在多层编码设备500中描述的，在多层解码设备600的操作中，层间参考图片可以是通过对参考层的重构图片进行样本以对应于当前层而构造的参考图片。针对参考层的重构图片对应于当前层的图片的情况的处理可以以与编码处理相同的方式执行。
另外，如以上在多层编码设备500中描述的，在多层解码设备600的操作中，从其推导出层间参考图片的参考层的重构图片可以是与待编码的当前图片属于同一AU的图片。
另外，如以上在多层编码设备500中描述的，在多层解码设备600的操作中，当通过将层间参考图片包括在参考图片列表中来执行当前块的帧间预测时，在参考图片列表L0和L1之间，参考图片列表中的层间参考图片的位置可以不同。
另外，如以上在多层编码设备500中描述的，在多层解码设备600的操作中，当基于包括层间参考图片的参考图片列表来执行当前块的帧间预测时，参考图片列表可以包括从多个层推导的多个层间参考图片，并且可以执行层间参考图片的布置以对应于编码处理中描述的布置。
另外，如以上在多层编码设备500中描述的，在多层解码设备600的操作中，作为关于层间参考图片的信息，可以仅使用样本值，可以仅使用运动信息(运动向量)或者可以使用样本值和运动信息二者。
多层解码设备600可以从多层编码设备500接收指示参考图片列表中的层间参考图片的参考索引，并基于参考索引来执行层间预测。另外，多层解码设备600可以从多层编码设备900接收用于指定从层间参考图片使用哪个信息(样本信息、运动信息或样本信息和运动信息)的信息，即，用于指定用于两个层之间的层间预测的依赖性的依赖类型的信息。
基于子图片的编码/解码
VVC允许图片被划分为多个子图片、图块和/或切片。子图片可以包括一个或更多个切片并在图片中配置矩形区域。在图片中，子图片的大小可以被不同地设置。相比之下，对于属于一个序列的所有图片，特定单独子图片的大小和位置可以被相等地设置。
可以使用与子图片相关的各种编码工具来提高图像编码/解码效率。例如，基于一个图片被划分为多个子图片，可以并行地执行多个子图片的编码/解码处理(并行处理)。并行处理尤其有益于视频/图像的高分辨率实时编码。另外，并行处理可以减少图块之间的信息共享，由此减少存储限制。并行架构受益于图片分割机制，因为在并行处理期间，子图片、切片和/或图块可以分布在不同的线程上。例如，在帧间预测中推导候选运动信息时，不同子图片/切片/图块中的邻近块可以被视为不可用。可以在每个子图片/切片/图块中初始化用于对信息/语法元素进行编码的上下文信息。
图7是例示了子图片的示例的视图。
参考图7，图片可以被分割为18个图块：各自覆盖4×4(＝16)个CTU的一个切片的左手侧的12个图块以及各自覆盖2×2(＝4)个CTU的2个垂直堆叠的切片的右手侧的6个图块，它们一起得到不同尺寸的24个切片和24个子图片(每个切片是子图片)。
关于子图片的信息可以以更高级别语法(例如，SPS)发信号通知。关于子图片的信息可以包括关于子图片的标识符、数目和位置的信息。另外，关于子图片的信息可以包括指示每个子图片是否被当作图片的信息。当子图片被当作图片时，图片可以被独立地编码/解码，而不管另一子图片的编码/解码结果如何。这里，独立编码/解码可以意指：子图片的块分割结构(例如，单树结构、双树结构等)、预测模式类型(例如，帧内预测、帧间预测等)、解码次序等可以与另一子图片不同地设置。例如，当基于帧内预测模式对第一子图片进行编码/解码时，可以基于帧间预测模式对与第一子图片相邻并被当作图片的第二子图片进行解码/编码。
图8是例示了包括关于子图片的信息的SPS的示例的视图。
参考图8，SPS可以包括语法元素subpic_info_present_flag。subpic_info_present_flag可以指定是否存在用于CLVS(编码层视频序列)的子图片信息。例如，等于第一值(例如，1)的subpic_info_present_flag可以指定存在用于CLVS的子图片信息并且在CLVS中的每个图片内存在一个或更多个子图片。相比之下，等于第二值(例如，0)的subpic_info_present_flag可以指定不存在用于CLVS的子图片信息并且在CLVS中的每个图片内仅存在一个子图片。当res_change_in_clvs_allowed_flag等于第一值(例如，1)时，subpic_info_present_flag的值应当等于第二值(例如，0)。这里，等于第一值(例如，1)的res_change_in_clvs_allowed_flag可以指定在参考SPS的所有CLVS中图片空间分辨率不改变。
此外，当比特流是子比特流提取处理的结果并且仅包含子比特流提取处理的输入比特流的子图片的子集时，可能需要在SPS的原始字节序列有效载荷(RBSP)中将subpic_info_present_flag的值设置为等于1。
另外，SPS可以包括语法元素sps_num_subpics_minus1。sps_num_subpics_minus1plus 1可以指定CLVS中的每个图片中的子图片的数目。sps_num_subpics_minus1的值应当在0至Ceil(pic_width_max_in_luma_samples÷CtbSizeY)×Ceil(pic_height_max_in_luma_samples÷CtbSizeY)-1的范围内(包括端值)。此外，当sps_num_subpics_minus1不存在(即，它没有被发信号通知)时，可以推断sps_num_subpics_minus1的值等于第一值(例如，0)。
另外，SPS可以包括语法元素sps_independent_subpics_flag。sps_independent_subpics_flag可以指定子图片边界是否独立。例如，等于第一值(例如，1)的sps_independent_subpics_flag可以指定CLVS中的所有子图片边界都被当作图片边界并且不存在跨子图片边界的循环滤波。相比之下，等于第二值(例如，0)的sps_independent_subpics_flag可以指定不施加这种约束。当sps_independent_subpics_flag不存在时，可以推断sps_independent_subpics_flag的值ddddd等于第二值(例如，0)。
另外，SPS可以包括语法元素subpic_treated_as_pic_flag[i]。subpic_treated_as_pic_flag[i]可以指定子图片是否被当作图片。例如，等于第一值(例如，1)的subpic_treated_as_pic_flag[i]可以指定CLVS中每个编码图片的第i个子图片在不包括环路滤波操作的解码处理中被当作图片。相比之下，等于第二值(例如，0)的subpic_treated_as_pic_flag[i]可以指定CLVS中每个编码图片的第i个子图片在不包括环路滤波操作的解码处理中不被当作图片。当subpic_treated_as_pic_flag[i]不存在时，可以推断subpic_treated_as_pic_flag[i]的值等于sps_independent_subpics_flag。
另外，SPS可以包括语法元素loop_filter_across_subpic_enabled_flag[i]。loop_filter_across_subpic_enabled_flag[i]可以指定是否可以跨子图片边界执行环路滤波操作。例如，等于第一值(例如，1)的loop_filter_across_subpic_enabled_flag[i]可以指定可以跨CLVS中的每个编码图片中的第i个子图片的边界执行环路滤波操作。相比之下，等于第二值(例如，0)的loop_filter_across_subpic_enabled_flag[i]可以指定不能跨CLVS中的每个编码图片中的第i个子图片的边界执行。当loop_filter_across_subpic_enabled_flag[i]没有被发信号通知时，可以推断loop_filter_across_subpic_enabled_flag[i]的值等于1-sps_independent_subpics_flag。
此外，当比特流包含多个层并且每个层中的图片具有不止一个子图片时，当前可以限制的是，图片大小、子图片布局和loop_filter_across_subpic_enabled_flag[i]的值应当被对准。然而，subpic_treated_as_pic_flag[i]的值未被限制为被对准。这可能引起没有从比特流正确提取子图片的问题。
为了解决这样的问题，根据本公开的实施方式，对于属于多层结构中的不同层的多个子图片，subpic_treated_as_pic_flag[i]的值应当在预定条件下对准。因此，可以正确地执行子图片提取处理。
下文中，将参考附图来更详细描述本公开的实施方式。
实施方式1
根据实施方式1，当子图片是独立编码的子图片并且包含当前子图片的当前层是输出层时，可以限制的是，当前层的(当前子图片的)所有参考层中的对应子图片也应当是独立编码的子图片。
可以基于从比特流获得的输出层集合模式信息(例如，vps_ols_mode_idc)来确定当前层是否是输出层。例如，等于第一值(例如，0)的vps_ols_mode_idc可以指定：仅由视频参数集(VPS)指定的每个输出层集合(OLS)中的最高层是输出层。等于第二值(例如，1)的vps_ols_mode_idc可以指定：由视频参数集(VPS)指定的每个OLS中的所有层都是输出层。等于第三值(例如，2)的vps_ols_mode_idc可以指定：对于由视频参数集(VPS)指定的每个OLS，输出层被显式地发信号通知并且其它层是输出层的直接或间接参考层。
当vps_ols_mode_idc等于第三值(例如，2)时，可以基于从比特流获得的输出层标志(例如，vps_ols_output_layer_flag[i][j])来确定当前层是否是输出层。例如，当ols_mode_idc等于第三值(例如，2)时，等于第一值(例如，1)的ols_output_layer_flag[i][j]可以指定具有等于vps_layer_id[j]的nuh_layer_id的层是第i个OLS的输出层。当ols_mode_idc等于第三值(例如，2)时，等于第二值(例如，0)的ols_output_layer_flag[i][j]可以指定具有等于vps_layer_id[j]的nuh_layer_id的层不是第i个OLS的输出层。这里，nuh_layer_id是NAL单元头中发信号通知的语法元素，并且可以指示NAL单元的标识符。另外，vps_layer_id[j]可以指示第j层的nuh_layer_id值。
在实施方式1中，相应的子图片可以意指在具有与包括当前子图片的当前图片相同的图片次序计数(POC)值的图片当中的与当前图片具有参考关系的相应图片中所包括的子图片。这里，参考关系可以意指相应图片以当前图片作为参考图片列表(例如，RefPicList[0]或RefPicList[1])中的条目(例如，活动条目)的情况。然而，本公开的实施方式不限于此，并且例如，当前图片以相应图片作为参考图片列表中的活动条目的情况或上述两种情况(即，交叉参考关系)可以被包括在参考关系中。
在示例中，相应子图片可以是与相应图片内的当前子图片属于同一位置的并置子图片。即，相应子图片可以具有与相应图片中的当前子图片相同的宽度和高度。另外，指示相应子图片的左上位置的坐标值可以与指示当前子图片的左上位置的坐标值相同。
包含相应子图片的相应图片可以参考包括参考图片列表内的当前图片的一个或更多个条目。即，当前图片可以是相应图片的层间参考图片。这里，层间参考图片可以意指通过对参考层的重构图片进行样本以对应于当前层而构造的参考图片。相应地，当参考层的重构图片对应于当前层的图片时，参考层的重构图片可以在不单独样本的情况下被用作层间参考图片。例如，当在参考层的重构图片和当前层的重构图片之间样本宽度和高度相同并且参考层的图片中的左上端、右上端、左下端和右下端与当前层的图片中的左上端、右上端、左下端和右下端之间的偏移为0时，参考层的重构图片可以被原样用作当前层的层间参考图片。
基于具有等于refPicLayerId的nuh_layer_id和等于相应图片的POC值，当前图片可以被包括在相应图片的参考图片列表(例如，RefPicList[i][j])中。这里，refPicLayerId可以指定与包括相应图片的层具有直接参考关系的层的nuh_layer_id值。因此，与refPicLayerId具有相同nuh_layer_id的当前图片可以意指当前图片属于包括相应图片的层的直接参考层。
此外，当subpic_treated_as_pic_flag[i]等于指示第i个子图片被独立编码的第一值(例如，1)时，比特流一致性的要求是，对于包括包含第i个子图片的层作为输出层的OLS中的每个输出层及其参考层，以下条件都为真。
-(条件1)：输出层及其参考层中的所有图片应当具有相同的pic_width_in_luma_samples的值和相同的pic_height_in_luma_samples的值。
-(条件2)：输出层及其参考层所参考的所有SPS应当具有相同的sps_num_subpics_minus1值，并且对于0至sps_num_subpics_minus1的范围(包括端值)内的j的每个值，应当分别具有相同的subpic_ctu_top_left_x[j]、subpic_ctu_top_left_y[j]、subpic_width_minus1[j]、subpic_height_minus1[j]、loop_filter_across_subpic_enabled_flag[j]值和subpic_treated_as_pic_flag[j]的值。
–(条件3)对于0至sps_num_subpics_minus1的范围(包括端值)内的j的每个值，输出层及其参考层中每个访问单元中的所有图片应当具有相同的SubpicIdVal[j]的值。
在条件1中，pic_width_in_luma_samples可以以亮度样本为单位指定图片宽度，并且pic_height_in_luma_samples可以以亮度样本为单位指定图片高度。另外，在条件3中，SubpicIdVal[j]可以指定第j个子图片的标识符。
下文中，根据实施方式1的约束，将详细地描述确定是否对子图片进行独立编码的方法的示例。
图9是例示了由根据本公开的实施方式的图像编码设备确定是否对多层结构下的子图片进行独立编码的方法的流程图。
参考图9，图像编码设备可以确定预定的第一层是否参考多层结构下的当前层(S910)。在示例中，当当前层具有作为nuh_layer_id的预定直接参考索引(例如，refPicLayerId)时，当前层可以被确定为第一层的参考层。
当第一层参考当前层时(S910中的“是”)时，图像编码设备可以确定第一层中所包括的第一子图片是否是当前子图片的对应子图片(S920)。在这种情况下，当前层可以是输出层集合(OLS)中的输出层。另外，针对当前子图片的第一标志(例如，subpic_treated_as_pic_flag[i])可以等于指示当前子图片被独立编码的第一值(例如，1)。
可以基于图片之间存在参考关系来确定第一子图片是否是当前子图片的对应子图片。例如，当包括第一子图片的第一图片参考包括当前子图片的当前图片时，第一子图片可以是当前子图片的对应子图片。相比之下，当包括第一子图片的第一图片不参考包括当前子图片的当前图片时，第一子图片可以不是当前子图片的对应子图片。
当第一子图片是当前子图片的对应子图片时(S920中的“是”)时，根据实施方式1的约束，针对第一子图片的第一标志(例如，subpic_treated_as_pic_flag[i])可以被确定为指示第一子图片被独立编码的第一值(例如，1)。
相反，当包括第一子图片的第一层不参考当前层时(S910中的“否”)或者当第一子图片不是当前子图片的对应子图片时(S920中的“否”)时，图像编码设备可以确定针对第一子图片的第一标志(例如subpic_treated_as_pic_flag[i])等于第一值(例如，1)或第二值(例如，0)。即，在这种情况下，可以不应用实施方式1的约束。
根据实施方式1，在属于多层结构中的不同层的子图片之间，可以在预定条件下对准第一标志(例如，subpic_treated_as_pic_flag[i])的值。因此，可以通过子图片提取处理从比特流正确地获得子图片。
实施方式2
根据实施方式2，当在参考图片列表中存在属于与当前层不同的层并以当前图片作为条目(例如，活动条目)的一个或更多个图片时，所述图片中的第i个子图片与当前图片中的第i个子图片应当具有相同的第一标志(例如，subpic_treated_as_pic_flag)的值。
根据实施方式2的约束，在图10中示出了确定是否对子图片进行独立编码的方法的示例。
图10是例示了根据本公开的实施方式的由图像解码设备确定是否对多层结构下的子图片进行独立编码的方法的流程图。
参考图10，图像编码设备可以确定预定的第一图片是否属于与当前层不同的层(S1010)。
当第一图片属于与当前层不同的层时(S1010中的“是”)，图像编码设备可以确定第一图片是否以当前图片作为参考图片列表中的条目(例如，活动条目)(S1020)。即，图像编码设备可以确定第一图片是否参考当前图片。
当第一图片以当前层作为参考图片列表中的条目时(S1020中的“是”)，图像编码设备可以对准当前图片和第一图片的第一标志(例如，subpic_treated_as_pic_flag)值。例如，通过对准，当前图片的第i个子图片和第一图片的第i个子图片可以具有第一标志的相同值。
相比之下，当第一图片属于与当前层相同的层时(S1010中的“否”)，或者当第一图片没有以当前层作为参考图片列表中的条目时(S1020中的“否”)，图像编码设备可以不对准当前图片和第一图片的第一标志(例如，subpic_treated_as_pic_flag[i])值。在这种情况下，对于当前图片的第i个子图片和第一图片的第i个子图片，第一标志可以具有相同的值或不同的值。然而，不限于以上示例，当第一图片与当前层属于同一层时(S1410中的“否”)，或者当第一图片没有以当前层作为参考图片列表中的活动条目时(S1420中的“NO”)，例如，基于对另一条件的确定，图像编码设备可以对准、可以不对准或独立地确定当前图片和第一图片的第一标志(例如，subpic_treated_as_pic_flag)值。
根据实施方式2，在属于多层结构中的不同层的图片之间，可以在预定条件下对准第一标志(例如，subpic_treated_as_pic_flag[i])的值。因此，可以通过子图片提取处理从比特流正确地获得子图片。
下文中，将描述根据本公开的实施方式的图像编码/解码方法。
图11是例示了根据本公开的实施方式的图像编码方法的流程图。图11的图像编码方法可以由图2的图像编码设备执行。
参考图11，图像编码设备可以将当前图片分割为一个或更多个子图片(S1110)。另外，图像编码设备可以生成关于当前图片中的一个或更多个子图片的子图片信息(S1120)。
子图片信息可以包括关于子图片的数目、大小和/或布局的信息。另外，子图片信息可以包括指示每个子图片是否被当作图片(或者，每个子图片是否被独立编码)的第一标志(例如，subpic_treated_as_pic_flag[i])。在这种情况下，等于第一值(例如，1)的subpic_treated_as_pic_flag[i]可以指示第i个子图片被当作图片。相反，等于第二值(例如，0)的subpic_treated_as_pic_flag[i]可以指示第i个子图片没有被当作图片。
图像编码设备可以基于子图片信息对当前子图片进行编码。在这种情况下，可以基于第一标志对当前子图片进行独立编码。另外，图像编码设备可以通过对包括子图片信息的图像信息进行编码来生成比特流(S1130)。在这种情况下，当前子图片的比特流可以被称为子流或子比特流。
在实施方式中，基于包括参考当前图片所属的当前层的至少一个第一层的比特流，针对第一层中所包括的并与当前子图片对应的第一子图片的第一标志和针对当前子图片的第一标志可以具有相同的值。例如，当针对当前子图片的第一标志等于第一值(例如，1)时，针对与当前子图片对应的第一子图片的第一标志也可以等于第一值(例如，1)。这可以被称为参数对准，并且在一些实施方式中，参数对准可以被定义为针对比特流一致性的约束。
在实施方式中，包括第一子图片的第一图片可以以包括当前子图片的当前图片作为参考图片列表中的条目(例如，活动条目)。即，第一图片可以参考当前图片。在这种情况下，基于当前图片中子图片的数目为两个或更多个并且当前子图片被当作图片(例如，subpic_treat_as_pic_flag[i]＝1)，包括第一子图片的第一图片与当前图片可以具有相同的宽度和相同的高度。另外，基于当前图片中子图片的数目为两个或更多个并且当前子图片被当作图片(例如，subpic_treat_as_pic_flag[i]＝1)，包括第一子图片的第一图片和当前图片可以包括相同数目的子图片。
在实施方式中，当前层可以作为输出层被包括在输出层集合中。
在实施方式中，基于子图片的边界没有被当作图片边界来应用，子图片信息还可以包括指示是否能够执行跨当前子图片的边界的环路滤波操作的第二标志(例如，loop_filter_across_subpic_enabled_flag[i])。例如，如以上参考图12描述的，当sps_independent_subpics_flag等于第二值(例如，0)时，可以从比特流获得/解析loop_filter_across_subpic_enabled_flag[i]。在这种情况下，等于第一值(例如，1)的loop_filter_across_subpic_enabled_flag[i]可以指定能够执行跨当前子图片的边界的环路滤波操作。相比之下，等于第二值(例如，0)的loop_filter_across_subpic_enabled_flag[i]可以指定不能够执行跨当前子图片的边界的环路滤波操作。
图12是例示了根据本公开的实施方式的图像解码方法的流程图。图12的图像解码方法可以由图3的图像解码设备执行。
参考图12，图像解码设备可以从比特流获得子图片信息(S1210)。子图片信息可以包括子图片的数目、大小和/或布局。另外，子图片信息可以包括指示当前图片中的每个子图片是否被当作图片(即，每个子图片是否被独立编码)的第一标志(例如，subpic_treated_as_pic_flag[i])。
图像解码设备可以基于子图片信息来推导当前图片中的一个或更多个子图片(S1220)。另外，图像解码设备可以基于子图片信息来解码一个或更多个子图片(S1230)。例如，当包括当前块的当前子图片被当作图片时，当前子图片可以被独立地解码。此外，当能够执行跨当前子图片的边界的环路滤波时，可以针对当前子图片的边界和与该边界相邻的邻近子图片的边界执行环路滤波(例如，去块滤波)。另外，当当前子图片的边界与图片边界匹配时，可以不执行跨当前子图片的边界的环路滤波。图像解码设备可以基于CABAC方法、预测方法、残差处理方法(变换或量化)和环路滤波方法来解码子图片。另外，图像解码设备可以输出至少一个解码的子图片或包括至少一个子图片的当前图片。解码的子图片可以以输出子图片集合(OPS)的形式输出。
在实施方式中，基于比特流包括参考当前图片所属的当前层的至少一个第一层，针对第一层中所包括的并与当前子图片对应的第一子图片的第一标志和针对当前子图片的第一标志可以具有相同的值。例如，当针对当前子图片的第一标志等于第一值(例如，1)时，针对与当前子图片对应的第一子图片的第一标志也可以等于第一值(例如，1)。这可以被称为参数对准，并且在一些实施方式中，参数对准可以被定义为针对比特流一致性的约束。
在实施方式中，包括第一子图片的第一图片可以以包括当前子图片的当前图片作为参考图片列表中的条目(例如，活动条目)。即，第一图片可以参考当前图片。在这种情况下，基于当前图片中子图片的数目为两个或更多个并且当前子图片被当作图片(例如，subpic_treat_as_pic_flag[i]＝1)，包括第一子图片的第一图片与当前图片可以具有相同的宽度和相同的高度。另外，基于当前图片中子图片的数目为两个或更多个并且当前子图片被当作图片(例如，subpic_treat_as_pic_flag[i]＝1)，包括第一子图片的第一图片和当前图片可以各自包括相同数目的子图片。
在实施方式中，当前层可以作为输出层被包括在输出层集合中。
在实施方式中，基于当前子图片的边界被当作图片边界，针对当前子图片的第一标志可以不从比特流获得/解析，并且可以被设置(或推断)为指示当前子图片被当作图片的预定值(例如，1)。例如，如以上参考图8描述的，当sps_independent_subpics_flag[i]等于第一值(例如，1)时，subpic_treated_as_pic_flag[i]可以在没有被获得的情况下被推断为具有与sps_independent_subpics_flag相同的第一值(例如，1)。
在实施方式中，基于当前子图片的边界没有被当作图片边界，子图片信息还可以包括指定是否能够执行跨当前子图片的边界的环路滤波操作的第二标志(例如，loop_filter_across_subpic_enabled_flag[i])。例如，如以上参考图8描述的，当sps_independent_subpics_flag等于第二值(例如，0)时，可以从比特流获得/解析loop_filter_across_subpic_enabled_flag[i]。在这种情况下，等于第一值(例如，1)的loop_filter_across_subpic_enabled_flag[i]可以指定能够执行跨当前子图片的边界的环路滤波操作。相比之下，等于第二值(例如，0)的loop_filter_across_subpic_enabled_flag[i]可以指定不能够执行跨当前子图片的边界的环路滤波操作。
根据本公开的实施方式，在属于多层结构中的不同层的子图片之间，可以在预定条件下对准subpic_treated_as_pic_flag[i]的值。因此，可以通过子图片提取处理从比特流正确地获得子图片。
本公开中描述的语法元素的名称可以包括关于相应语法元素被发信号通知的位置的信息。例如，以“sps_”开头的语法元素可以意指在序列参数集(SPS)中发信号通知相应语法元素。另外，以“pps_”、“ph_”和“sh_”开头的语法元素可以意指分别在图片参数集(PPS)、图片头和切片头中发信号通知相应语法元素。
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本发明的方法，所描述的步骤可以进一步包括其它步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其它附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施方式不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施方式中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施方式可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
此外，应用本公开的实施方式的图像解码设备和图像编码设备可以被包括在多媒体广播传送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(over the top video)装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、医疗视频装置等中，并且可用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能电话、平板PC、数字录像机(DVR)等。
图13是示出可应用本公开的实施方式的内容流传输系统的视图。
如图13中所示，应用本公开的实施方式的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、照相机、摄像机等多媒体输入装置输入的内容压缩成数字数据以生成比特流并将该比特流发送到流传输服务器。作为另一示例，当智能电话、照相机、摄像机等多媒体输入装置直接生成比特流时，可以省略编码服务器。
比特流可以由应用本公开的实施方式的图像编码方法或图像编码设备产生，并且流传输服务器可以在发送或接收比特流的过程中暂时存储比特流。
流传输服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户告知服务的媒介。当用户向网络服务器请求所需的服务时，网络服务器可以将其递送到流传输服务器，并且流传输服务器可以向用户发送多媒体数据。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流传输系统中的装置之间的命令/响应。
流传输服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流传输服务，流传输服务器可以在预定时间内存储比特流。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流传输系统中的各个服务器可以作为分布式服务器运行，在这种情况下，从各个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施方式的方法的操作能够在设备或计算机上执行的软件或机器可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并且可在设备或计算机上执行的此类软件或命令的非暂时性计算机可读介质。
工业实用性
本公开的实施方式可以被用于对图像进行编码或解码。

Claims (15)

1.一种由图像解码设备执行的图像解码方法，该图像解码方法包括以下步骤：
从比特流获得子图片信息；
基于所述子图片信息来推导当前图片中的一个或更多个子图片；以及
基于所述子图片信息来解码所述当前图片中的当前子图片，
其中，所述子图片信息包括指定所述一个或更多个子图片中的每一个是否被当作图片的第一标志，并且
其中，基于所述比特流包括参考包括所述当前图片的当前层的至少一个第一层，针对所述第一层中所包括的并与所述当前子图片对应的第一子图片的第一标志和针对所述当前子图片的第一标志具有相同的值。
2.根据权利要求1所述的图像解码方法，其中，包括所述第一子图片的第一图片以所述当前图片作为所述第一图片的参考图片列表中的条目。
3.根据权利要求1所述的图像解码方法，其中，基于所述一个或更多个子图片的数目为两个或更多个并且所述当前子图片被当作图片，包括所述第一子图片的第一图片与所述当前图片具有相同的宽度和相同的高度。
4.根据权利要求1所述的图像解码方法，其中，基于所述一个或更多个子图片的数目为两个或更多个并且所述当前子图片被当作图片，包括所述第一子图片的第一图片和所述当前图片包括相同数目的子图片。
5.根据权利要求1所述的图像解码方法，其中，所述当前层作为输出层被包括在输出层集合中。
6.根据权利要求1所述的图像解码方法，其中，基于所述当前子图片的边界被当作图片边界，所述第一标志具有将所述当前子图片指定为被当作图片的预定值。
7.根据权利要求1所述的图像解码方法，其中，基于所述当前子图片的边界没有被当作图片边界，所述子图片信息还包括指定是否能够执行跨所述当前子图片的边界的环路滤波操作的第二标志。
8.一种图像解码设备，该图像解码设备包括：
存储器；以及
至少一个处理器，
其中，所述至少一个处理器被配置为：
从比特流获得子图片信息；
基于所述子图片信息来推导当前图片中的一个或更多个子图片；以及
基于所述子图片信息来解码所述当前图片中的当前子图片，
其中，所述子图片信息包括指定所述一个或更多个子图片中的每一个是否被当作图片的第一标志，并且
其中，基于所述比特流包括参考包括所述当前图片的当前层的至少一个第一层，针对所述第一层中所包括的并与所述当前子图片对应的第一子图片的第一标志和针对所述当前子图片的第一标志具有相同的值。
9.一种由图像编码设备执行的图像编码方法，该图像编码方法包括以下步骤：
将当前图片分割为一个或更多个子图片；
生成关于所述一个或更多个子图片的子图片信息；以及
通过对包括所述子图片信息的图像信息进行编码来生成比特流，
其中，所述子图片信息包括指定所述一个或更多个子图片中的每一个是否被当作图片的第一标志，并且
其中，基于所述比特流包括参考包括所述当前图片的当前层的至少一个第一层，针对所述第一层中所包括的并与当前子图片对应的第一子图片的第一标志和针对所述当前子图片的第一标志具有相同的值。
10.根据权利要求9所述的图像编码方法，其中，包括所述第一子图片的第一图片以所述当前图片作为所述第一图片的参考图片列表中的条目。
11.根据权利要求9所述的图像编码方法，其中，基于所述一个或更多个子图片的数目为两个或更多个并且所述当前子图片被当作图片，包括所述第一子图片的第一图片与所述当前图片具有相同的宽度和相同的高度。
12.根据权利要求9所述的图像编码方法，其中，基于所述一个或更多个子图片的数目为两个或更多个并且所述当前子图片被当作图片，包括所述第一子图片的第一图片和所述当前图片包括相同数目的子图片。
13.根据权利要求9所述的图像编码方法，其中，所述当前层作为输出层被包括在输出层集合中。
14.根据权利要求9所述的图像编码方法，其中，基于所述当前子图片的边界没有被当作图片边界，所述子图片信息还包括指定是否能够执行跨所述当前子图片的边界的环路滤波操作的第二标志。
15.一种存储通过权利要求9所述的图像编码方法生成的比特流的非暂态计算机可读记录介质。
CN202180037105.2A 2020-03-31 2021-03-31 图像编码/解码方法和发送比特流的方法 Active CN115699746B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063003250P 2020-03-31 2020-03-31
US63/003,250 2020-03-31
PCT/KR2021/004030 WO2021201617A1 (ko) 2020-03-31 2021-03-31 레이어간 정렬된 서브픽처 정보에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Publications (2)

Publication Number Publication Date
CN115699746A true CN115699746A (zh) 2023-02-03
CN115699746B CN115699746B (zh) 2023-10-20

Family

ID=77927563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180037105.2A Active CN115699746B (zh) 2020-03-31 2021-03-31 图像编码/解码方法和发送比特流的方法

Country Status (3)

Country Link
KR (1) KR102578407B1 (zh)
CN (1) CN115699746B (zh)
WO (1) WO2021201617A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140085539A (ko) * 2011-10-24 2014-07-07 퀄컴 인코포레이티드 비디오 코딩을 위한 타일들의 그룹화
KR20150060856A (ko) * 2012-09-24 2015-06-03 퀄컴 인코포레이티드 서브-픽처 레벨 코딩된 픽처 버퍼 파라미터들에 대한 시퀀스 레벨 플래그
KR20150099792A (ko) * 2012-12-19 2015-09-01 퀄컴 인코포레이티드 비디오 코딩에 있어서의 저지연 버퍼링 모델
KR20160129111A (ko) * 2012-09-28 2016-11-08 샤프 가부시키가이샤 서브픽처 버퍼 파라미터를 시그널링하기 위한 전자 장치
WO2019038473A1 (en) * 2017-08-24 2019-02-28 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
WO2019195035A1 (en) * 2018-04-03 2019-10-10 Futurewei Technologies, Inc. Error mitigation in sub-picture bitstream based viewport dependent video coding
WO2020050752A1 (en) * 2018-09-07 2020-03-12 Huawei Technologies Co., Ltd. Method and apparatus for interpolation filtering for intra- and inter-prediction in video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140085539A (ko) * 2011-10-24 2014-07-07 퀄컴 인코포레이티드 비디오 코딩을 위한 타일들의 그룹화
KR20150060856A (ko) * 2012-09-24 2015-06-03 퀄컴 인코포레이티드 서브-픽처 레벨 코딩된 픽처 버퍼 파라미터들에 대한 시퀀스 레벨 플래그
KR20160129111A (ko) * 2012-09-28 2016-11-08 샤프 가부시키가이샤 서브픽처 버퍼 파라미터를 시그널링하기 위한 전자 장치
KR20150099792A (ko) * 2012-12-19 2015-09-01 퀄컴 인코포레이티드 비디오 코딩에 있어서의 저지연 버퍼링 모델
WO2019038473A1 (en) * 2017-08-24 2019-02-28 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
WO2019195035A1 (en) * 2018-04-03 2019-10-10 Futurewei Technologies, Inc. Error mitigation in sub-picture bitstream based viewport dependent video coding
WO2020050752A1 (en) * 2018-09-07 2020-03-12 Huawei Technologies Co., Ltd. Method and apparatus for interpolation filtering for intra- and inter-prediction in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS等: "Versatile Video Coding (Draft 8)（ JVET-Q2001-vE）" *
ROBERT SKUPIN等: "AHG12: On subpicture and scalability（JVET-Q0402）" *

Also Published As

Publication number Publication date
WO2021201617A1 (ko) 2021-10-07
KR102578407B1 (ko) 2023-09-13
US20230276065A1 (en) 2023-08-31
CN115699746B (zh) 2023-10-20
KR20220156637A (ko) 2022-11-25

Similar Documents

Publication Publication Date Title
KR20210044889A (ko) 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
US20230370628A1 (en) Image encoding/decoding method and device for signaling information related to sub picture and picture header, and method for transmitting bitstream
AU2024200815A1 (en) Image encoding/decoding method and device for signaling chroma component prediction information according to whether palette mode is applicable, and method for transmitting bitstream
CN115516860A (zh) 图像解码方法及其设备
CN115280782A (zh) 基于混合nal单元类型的视频编码/解码方法和设备及发送比特流的方法
US20230224469A1 (en) Image encoding/decoding method and apparatus for determining whether or not to refer to parameter set on basis of output layer set, and method for transmitting bitstream
KR20230023708A (ko) 영상/비디오 코딩 시스템에서 상위 레벨 신택스를 처리하는 방법 및 장치
KR20230024340A (ko) Aps에 대한 식별자를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
CN115699746B (zh) 图像编码/解码方法和发送比特流的方法
CN115244936A (zh) 基于混合nal单元类型的图像编码/解码方法和装置及发送比特流的方法
US12022101B2 (en) Image encoding/decoding method and apparatus based on subpicture information aligned between layers, and recording medium storing bitstream
US20230209081A1 (en) Image encoding/decoding method and device having motion information determined on basis of interlayer prediction, and method for transmitting bitstream
US20220337843A1 (en) Image encoding/decoding method and apparatus using user-defined palette entry, and method for transmitting bitstream
KR20230027158A (ko) Poc msb 정보에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN115702566A (zh) 基于子层级别信息的图像编码/解码方法和设备及存储比特流的记录介质
KR20240004569A (ko) 레이어 식별자 정보를 포함하는 sei 메시지 기반의영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법
KR20220161427A (ko) 픽처 분할 정보 및 서브픽처 정보에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
KR20230024341A (ko) 최대 시간 식별자에 기반하여 서브 비트스트림 추출과정을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체
CN115668950A (zh) 用信号通知hrd参数的图像编码/解码方法和装置及存储比特流的计算机可读记录介质
KR20220163403A (ko) Dpb 파라미터를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
CN115702567A (zh) 用于用信号通知dpb相关信息和ptl相关信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
KR20220162747A (ko) 레이어간 참조 여부에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20230002715A (ko) 서브 레이어 요구 개수에 기반하여 서브 레이어를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220161426A (ko) Dpb 파라미터의 개수 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant