CN116034581A - 用信号通知aps标识符的图像编码/解码方法和设备及存储比特流的计算机可读记录介质 - Google Patents

用信号通知aps标识符的图像编码/解码方法和设备及存储比特流的计算机可读记录介质 Download PDF

Info

Publication number
CN116034581A
CN116034581A CN202180056509.6A CN202180056509A CN116034581A CN 116034581 A CN116034581 A CN 116034581A CN 202180056509 A CN202180056509 A CN 202180056509A CN 116034581 A CN116034581 A CN 116034581A
Authority
CN
China
Prior art keywords
aps
parameter
parameter type
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180056509.6A
Other languages
English (en)
Inventor
亨得利·亨得利
金昇焕
南廷学
张炯文
S·帕鲁利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN116034581A publication Critical patent/CN116034581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

提供了一种用于用信号通知自适应参数集(APS)标识符的图像编码/解码方法及设备，以及用于发送比特流的方法。根据本公开的图像解码方法可以包括以下步骤：获得指示通过APS用信号通知的APS参数类型的APS参数类型信息；在获得APS参数类型信息的步骤之后，获得指示APS的APS标识符信息；以及基于APS标识符信息重构图像。

Description

用信号通知APS标识符的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
技术领域
本公开涉及一种图像编码/解码方法和设备，并且更具体地，涉及一种用于用信号通知自适应参数集(APS)的标识符的图像编码和解码方法和设备，以及存储通过本公开的图像编码方法/设备生成的比特流的记录介质。
背景技术
最近，各个领域对诸如高清(HD)图像和超高清(UHD)图像的高分辨率和高质量图像的需求正在增加。随着图像数据的分辨率和质量的提高，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息量或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地传输、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
本公开的另一个目的是提供一种用于通过有效地用信号通知APS的标识符来提高编码/解码效率的图像编码/解码方法和设备。
本公开的另一个目的是提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
本公开的另一个目的是提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
本公开的另一个目的是提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本公开所解决的技术问题不限于上述技术问题，本领域技术人员通过以下描述将清楚此处未描述的其它技术问题。
技术方案
根据本公开的一方面的由图像解码设备执行的图像解码方法可以包括以下步骤：获得指定通过自适应参数集(APS)用信号通知的APS参数类型的APS参数类型信息，在获得APS参数类型信息的步骤之后获得指定APS的APS标识符信息，以及基于所述APS标识符信息重构图像。
在根据本公开的图像解码方法中，基于APS参数类型信息的值为0，APS参数类型可以被确定为全环路滤波器(ALF)参数类型。
在根据本公开的图像解码方法中，基于APS参数类型信息的值为1，APS参数类型可以被确定为具有色度缩放的亮度映射(LMCS)参数类型。
在根据本公开的图像解码方法中，基于APS参数类型信息的值为2，APS参数类型可以被确定为缩放列表参数类型。
在根据本公开的图像解码方法中，基于APS参数类型为全环路滤波器(ALF)参数或缩放列表参数，APS标识符可以被确定为在从0至7的范围中的值。
在根据本公开的图像解码方法中，基于APS参数类型为具有色度缩放的亮度映射(LMCS)参数，APS标识符可以被确定为在从0至3的范围中的值。
根据本公开的另一方面的图像解码设备可以包括存储器和至少一个处理器。至少一个处理器可以：获得指定通过自适应参数集(APS)用信号通知的APS参数类型的APS参数类型信息，在获得APS参数类型信息的步骤之后获得指定APS的APS标识符信息，并且基于所述APS标识符信息重构图像。
根据本公开的另一方面的由图像编码设备执行的图像编码方法可以包括以下步骤：确定自适应参数集(APS)参数类型；基于APS参数类型确定指定APS的APS标识符；在对指定APS参数类型的APS参数类型信息进行编码的步骤之后对指定APS标识符的APS标识符信息进行编码；以及基于APS标识符信息对图像进行编码。
在根据本公开的图像编码方法中，基于APS参数类型为全环路滤波器(ALF)参数，指定APS参数类型的APS参数类型信息的值可以被确定为0。
在根据本公开的图像编码方法中，基于APS参数类型为具有色度缩放的亮度映射(LMCS)参数，指定APS参数类型的APS参数类型信息的值可以被确定为1。
在根据本公开的图像编码方法中，基于APS参数类型为缩放列表参数，指定APS参数类型的APS参数类型信息的值可以被确定为2。
在根据本公开的图像编码方法中，基于APS参数类型为全环路滤波器(ALF)参数或缩放列表参数，APS标识符可以被确定为在从0至3的范围中的值。
在根据本公开的图像编码方法中，基于APS参数类型为具有色度缩放的亮度映射(LMCS)参数，APS标识符可以被确定为在从0至7的范围中的值。
另外，根据本公开的另一方面的计算机可读记录介质可以存储通过本公开的图像编码设备或图像编码方法生成的比特流。
在根据本公开的另一方面的发送方法中，可以发送通过本公开的图像编码方法或图像编码设备生成的比特流。
上面关于本公开简要概述的特征仅仅是本公开的下面的详细描述的示例性方面，并且不限制本公开的范围。
有益效果
根据本公开，可以提供具有改进的编码/解码效率的图像编码/解码方法和设备。
此外，根据本公开，可以提供一种用于通过有效地用信号通知APS的标识符来提高编码/解码效率的图像编码/解码方法和设备。
此外，根据本公开，能够提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
此外，根据本公开，能够提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
此外，根据本公开，能够提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本领域的技术人员将理解，通过本公开可以实现的效果不限于上文已经具体描述的内容，并且将从详细描述中更清楚地理解本公开的其它优点。
附图说明
图1是示意性地例示本公开的实施方式适用于的视频编码系统的视图。
图2是示意性地例示本公开的实施方式适用于的图像编码设备的视图。
图3是示意性地例示本公开的实施方式适用于的图像解码设备的视图。
图4示出了本公开的实施方式适用于的示意性画面解码过程的示例。
图5示出了本公开的实施方式适用于的示意性画面编码过程的示例。
图6是例示用于编码图像/视频的层结构的示例的视图。
图7是例示用于用信号通知关于APS和画面报头的信息的语法结构的示例的视图。
图8至图16是例示本公开的实施方式适用于的VPS的视图。
图17至图18是例示本公开的实施方式适用于的VPS的视图。
图19是例示根据实施方式的通过图像解码设备对图像进行解码的方法的视图。
图20是例示根据实施方式的通过图像编码设备对图像进行编码的方法的视图。
图21是例示根据APS参数类型的APS参数名称的视图。
图22是例示用于根据APS参数类型用信号通知APS标识符信息的语法结构的示例的视图。
图23是例示根据参照图22描述的实施方式的图像编码设备的操作的视图。
图24是例示根据参照图22描述的实施方式的图像解码设备的操作的视图。
图25是例示本公开的实施方式适用于的内容流传输系统的视图。
具体实施方式
在下文中，将结合附图对本公开的实施方式进行详细描述，以易于本领域技术人员实施。然而，本公开可以各种不同的形式实施，并且不限于这里描述的实施方式。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“联接”或“链接”到另一个组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其它组件时，除非另有说明，否则是指还可以包括其它组件，而不是排除其它组件。
在本公开中，术语第一、第二等仅用于将一个组件与其它组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施方式中的第一组件在另一个实施方式中可以被称为第二组件，类似地，一个实施方式中的第二组件在另一个实施方式中可以被称为第一组件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施方式也包括在本公开的范围内。
在本公开中，各个实施方式中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施方式中描述的组件的子集组成的实施方式也包括在本公开的范围内。此外，除了在各种实施方式中描述的组件之外还包括其它组件的实施方式包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“画面”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成画面的一部分的编码单元，一个画面可以由一个或更多个切片/拼块组成。此外，切片/拼块可以包括一个或更多个编码树单元(CTU)。
在本公开中，“像素”或“像元(pel)”可以意指构成一个画面(或图像)的最小单元。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括画面的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编码块”、“当前编码单元”、“编码目标块”、“解码目标块”或“处理目标块”中的一个。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
另外，在本公开中，除非明确说明为色度块，“当前块”可以意指包括亮度分量块和色度分量块二者的块或“当前块的亮度块”。当前块的亮度分量块可以通过包括诸如“亮度块”或“当前亮度块”的亮度分量块的明确描述来表示。另外，“当前块的色度分量块”可以通过包括诸如“色度块”或“当前色度块”的色度分量块的明确描述来表示。
在本公开中，“A或B”可以意指“仅A”、“仅B”或“A和B两者”。换句话说，在本公开中，“A或B”可以被解释为“A和/或B”。例如，在本公开中，“A、B或C”可以意指“仅A、“仅B”、“仅C”或“A、B和C的任何组合”。
本公开中使用的斜杠(/)或逗号可以意指“和/或”。例如，“A/B”可以意指“A和/或B”。因此，“A/B”可以意指“仅A”、“仅B”或“A和B两者”。例如，“A、B、C”可以意指“A、B或C”。
另外，在本公开中，“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B的任何组合”。另外，在本公开中，“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为与“A和B中的至少一个”相同。
另外，在本公开中，“A、B和C中的至少一个”意味着“仅A”、“仅B”、“仅C”或“A，A、B和C的任何组合”。此外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”意味着可以表示“A、B和C中的至少一个”。
此外，本公开中使用的圆括号可以意指“例如”。具体地，当描述“预测(帧内预测)”时，可以提出“帧内预测”作为“预测”的示例。换句话说，本公开的“预测”不限于“帧内预测”，并且“帧内预测”可以作为“预测”的示例而提出。另外，即使当描述“预测(即，帧内预测)”时，可以提出“帧内预测”作为“预测”的示例。
在本公开中，在一个附图中单独描述的技术特征可以单独地或同时地实现。
视频编码系统的概述
图1是例示根据本公开的视频编码系统的视图。
根据实施方式的视频编码系统可以包括编码设备10和解码设备20。编码设备10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码设备20。
根据实施方式的编码设备10可以包括视频源生成器11、编码单元12和发送器13。根据实施方式的解码设备20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发送器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编码效率，编码单元12可以执行一系列过程，例如预测、变换和量化。编码单元12可以比特流的形式输出编码数据(编码视频/图像信息)。
发送器13可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码视频/图像信息或数据传输到解码设备20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码设备的概述
图2是示意性地示出本公开的实施方式可适用于的图像编码设备的视图。
如图2所示，图像编码设备100可以包括图像分割器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测器180、帧内预测器185和熵编码器190。帧间预测器180和帧内预测器185可以统称为“预测器”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施方式中，配置图像编码设备100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码画面缓冲器(DPB)并且可以由数字存储介质配置。
图像分割器110可将输入到图像编码设备100的输入图像(或画面或帧)分割成一个或更多个处理单元。例如，处理单元可以称为编码单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分割编码树单元(CTU)或最大编码单元(LCU)来获取编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分割为更深深度的多个编码单元。对于编码单元的分割，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。可以将最大编码单元用作最终编码单元，也可以将通过分割最大编码单元获取的更深深度的编码单元用作最终编码单元。这里，编码过程可以包括稍后将描述的预测、变换和重构的过程。作为另一个示例，编码过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编码单元划分或分割。预测单元可以是样本预测单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
预测器(帧间预测器180或帧内预测器185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测器可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测器可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测器185可以通过参考当前画面中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测器185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测器180可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如，帧间预测器180可基于邻近块配置运动信息候选列表并生成指示使用哪个候选来推导当前块的运动向量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且当前块的运动向量可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测器可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。此外，预测器可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前画面中先前重构的参考块来预测当前画面的方法。当应用IBC时，参考块在当前画面中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测执行，因为在当前画面内推导参考块。即，IBC可以使用本公开中描述的至少一种帧间预测技术。
预测器生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测器输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的正方形像素块或者可以应用于具有可变大小而不是正方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可基于系数扫描顺序将块类型的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单元进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码设备100的内部/外部元件。另选地，可以提供发送器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测器180或帧内预测器185输出的预测信号相加，以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个画面进行帧间预测。
此外，在画面编码和/或重构过程中，具有色度缩放的亮度映射(LMCS)是适用的。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构画面可以用作帧间预测器180中的参考画面。当通过图像编码设备100应用帧间预测时，可以避免图像编码设备100和图像解码设备之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构画面以用作帧间预测器180中的参考画面。存储器170可以存储从其中推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前画面中重构块的重构样本并且可以将重构样本传送到帧内预测器185。
图像解码设备的概述
图3是示意性地示出本公开的实施方式可适用的图像解码设备的视图。
如图3所示，图像解码设备200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260和帧内预测器265。帧间预测器260和帧内预测器265可以统称为“预测器”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施方式，配置图像解码设备200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码画面缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码设备200可以通过执行与由图2的图像编码设备100执行的处理相对应的处理来重构图像。例如，图像解码设备200可以使用在图像编码设备中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元。编码单元可以通过分割编码树单元或最大编码单元来获取。通过图像解码设备200解码和输出的重构图像信号可以通过再现设备(未示出)再现。
图像解码设备200可以接收以比特流的形式从图2的图像编码设备输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码设备还可以基于关于参数集的信息和/或通用约束信息对画面进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率来对bin执行算术解码，并且生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测器(帧间预测器260和帧内预测器265)，并且在熵解码器210中对其执行熵解码的残差值，即，量化变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将熵解码器210解码的信息当中关于滤波的信息提供给滤波器240。此外，用于接收从图像编码设备输出的信号的接收器(未示出)可以进一步被配置为图像解码设备200的内部/外部元件，或者接收器可以是熵解码器210的组件。
此外，根据本公开的图像解码设备可以被称为视频/图像/画面解码设备。图像解码设备可以分为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测器260或帧内预测器265中的至少一个。
解量化器220可以对量化变换系数进行解量化并输出变换系数。解量化器220可以二维块的形式重新排列量化变换系数。在这种情况下，可以基于在图像编码设备中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测器可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测器可以基于从熵解码器210输出的关于预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定帧内/帧间预测模式(预测技术)。
与在图像编码设备100的预测器中描述的相同的是，预测器可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测器265可以通过参考当前画面中的样本来预测当前块。帧内预测器185的描述同样适用于帧内预测器265。
帧间预测器260可以基于参考画面上由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、双预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。例如，帧间预测器260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息推导当前块的运动向量和/或参考画面索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测器(包括帧间预测器260和/或帧内预测器265)输出的预测信号(预测块、预测样本阵列)相加生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差(例如，应用跳过模式的情况)，则预测块可以用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。所生成的重构信号可以用于当前画面中要处理的下一块的帧内预测，并且可以用于通过如下所述的滤波对下一画面的帧间预测。
此外，在画面解码过程中，具有色度缩放的亮度映射(LMCS)是适用的。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构画面可以用作帧间预测器260中的参考画面。存储器250可以存储从其中推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测器260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前画面中重构块的重构样本并将重构样本传送到帧内预测器265。
在本公开中，在图像编码设备100的滤波器160、帧间预测器180和帧内预测器185中描述的实施方式可以同等地或对应地应用于图像解码设备200的滤波器240、帧间预测器260和帧内预测器265。
编码设备的量化器可以通过对变换系数应用量化来推导量化变换系数，并且编码设备的解量化器或者解码设备的解量化器可以通过对量化变换系数应用解量化来推导变换系数。在视频编码中，可以改变量化速率并且可以使用经改变的量化速率来调整压缩率。从实现方面来看，考虑复杂性，可以使用量化参数(QP)而非直接使用量化速率。例如，可以使用从0至63的整数值的量化参数，并且每个量化参数值可以对应于实际量化速率。可以不同地设置针对亮度分量(亮度样本)的量化参数QPY和针对色度分量(色度样本)的量化参数QPC。
在量化过程中，变换系数C可以被输入并且除以量化速率Qstep，并且可以基于此推导量化变换系数C’。在这种情况下，可以考虑计算复杂性而将量化速率乘以比例以形成整数并且可以通过与比例值相对应的值执行移位操作。可以基于量化速率与比例值的乘积推导量化比例。也就是说，可以根据QP推导量化比例。可以将量化比例应用于变换系数并且可以基于此推导量化变换系数C’。
解量化过程是量化过程的逆过程，并且量化变换系数C’可以乘以量化速率Qstep，并且可以基于此推导重构变换系数C”。在这种情况下，可以根据量化参数推导级别缩放，可以将级别缩放应用于量化变换系数C”，并且可以基于此推导重构变换系数C”。由于变换和/或量化过程中的损失，重构变换系数C”可以与原始变换系数C略微不同。因此，及时在编码设备中，也可以按与解码设备中相同的方式执行解量化。
此外，可以应用根据频率调整量化强度的自适应频率加权量化技术。自适应频率加权量化技术可以对应于根据频率不同地应用量化强度的方法。在自适应频率加权量化中，可以使用预定义的量化缩放矩阵根据频率来不同地应用量化强度。也就是说，还可以基于量化按比例缩放矩阵执行上文所描述的量化/解量化过程。
例如，根据当前块的大小和/或应用于当前块以生成当前块的残差信号的预测模式是帧间预测还是帧内预测，可以使用不同量化缩放矩阵。量化缩放矩阵可以被称作量化矩阵或缩放矩阵。量化缩放矩阵可以是预定义的。另外，对于频率自适应缩放，可以在编码设备中构造/编码量化缩放矩阵的频率量化缩放信息，并且将其用信号通知给解码设备。频率量化缩放信息可以被称作量化缩放信息。频率量化缩放信息可以包括缩放列表数据scaling_list_data。
可以基于缩放列表数据推导量化缩放矩阵。另外，频率量化缩放信息可以包括指定是否存在缩放列表数据的当前标志信息。另外，当在高级别(例如，SPS)用信号通知缩放列表数据时，还可以包括指定缩放列表数据是否在较低级别(例如，PPS、APS或切片报头等)修改的信息。
一般图像/视频编码过程
在图像/视频编码中，配置图像/视频的画面可以根据解码顺序来编码/解码。与解码画面的输出顺序对应的画面顺序可以与解码顺序不同地设定，并且基于此，在帧间预测期间不仅可以执行前向预测，而且可以执行后向预测。
图4示出了本公开的实施方式适用于的示意性画面解码过程的示例。
图4所示的各个过程可以由图3的图像解码设备执行。例如，在图4中，步骤S410可以由熵解码器210执行，步骤S420可以由包括帧内预测器265和帧间预测器260的预测器执行，步骤S430可以由包括解量化器220和逆变换器230的残差处理器执行，步骤S440可以由加法器235执行，步骤S450可以由滤波器240执行。步骤S410可以包括本公开中描述的信息解码过程，步骤S420可以包括本公开中描述的帧间/帧内预测过程，步骤S430可以包括本公开中描述的残差处理过程，步骤S440可以包括本公开中描述的块/画面重构过程，步骤S450可以包括本公开中描述的环路内滤波过程。
参照图4，画面解码过程可以示意性地包括用于从比特流获得图像/视频信息(通过解码)的过程(S410)、画面重构过程(S420至S440)和针对重构画面的环路内滤波过程(S450)。可以基于通过本公开中描述的帧间/帧内预测(S420)和残差处理(S430)(量化变换系数的解量化和逆变换)获得的预测样本和残差样本来执行画面重构过程。可以通过针对通过画面重构过程生成的重构画面的环路内滤波过程来生成修改的重构画面。修改的重构画面可以作为解码画面输出，被存储在解码设备的解码画面缓冲器或存储器250中，并且在稍后对画面进行解码时在帧间预测过程中用作参考画面。在一些情况下，可以省略环路内滤波过程。在这种情况下，重构画面可以作为解码画面输出，被存储在解码设备的解码画面缓冲器或存储器250中，并且在稍后对画面进行解码时在帧间预测过程中用作参考画面。如上所述，环路内滤波过程(S450)可以包括去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程，其中一些或全部可以省略。另外，去块滤波过程、样本自适应偏移(SAO)过程、自适应环路滤波器(ALF)过程和/或双边滤波器过程中的一个或一些可以依次应用，或者它们全部可以依次应用。例如，在对重构画面应用去块滤波过程之后，可以执行SAO过程。另选地，例如，在对重构画面应用去块滤波过程之后，可以执行ALF过程。这甚至可以在编码设备中类似地执行。
图5示出了本公开的实施方式适用于的示意性画面编码过程的示例。
图5所示的各个过程可以由图2的图像编码设备执行。例如，步骤S510可以由包括帧内预测器185和帧间预测器180的预测器执行，步骤S520可以由残差处理器115、120和130执行，步骤S530可以由熵编码器190执行。步骤S510可以包括本公开中描述的帧间/帧内预测过程，步骤S520可以包括本公开中描述的残差处理过程，步骤S530可以包括本公开中描述的信息编码过程。
参照图5，画面编码过程可以示意性地不仅包括对用于画面重构的信息(例如，预测信息、残差信息、分割信息等)进行编码并以比特流的形式输出的过程，而且包括为当前画面生成重构画面的过程以及对重构画面应用环路内滤波的过程(可选)。编码设备可以通过解量化器140和逆变换器150从量化变换系数推导(修改的)残差样本，并且基于作为步骤S510的输出的预测样本和(修改的)残差样本来生成重构画面。这样生成的重构画面可以等于解码设备中生成的重构画面。可以通过对重构画面的环路内滤波过程来生成修改的重构画面。在这种情况下，修改的重构画面可以被存储在存储器170的解码画面缓冲器中，并且类似于解码设备，在稍后对画面进行编码时可以在帧间预测过程中用作参考画面。如上所述，在一些情况下，一些或所有环路内滤波过程可以被省略。当执行环路内滤波过程时，(环路内)滤波相关信息(参数)可以在熵编码器190中编码并且以比特流的形式输出，并且解码设备可以基于滤波相关信息使用与编码设备相同的方法执行环路内滤波过程。
通过这种环路内滤波过程，在图像/视频编码期间出现的噪声(例如，块伪影和振铃伪影)可以减少，并且主观/客观视觉质量可以改进。另外，通过在编码设备和解码设备二者中执行环路内滤波过程，编码设备和解码设备可以推导相同的预测结果，画面编码可靠性可以增加，并且要为画面编码发送的数据量可以减少。
如上所述，画面重构过程可以不仅在图像解码设备中执行，而且在图像编码设备中执行。可以基于帧内预测/帧间预测以块为单位生成重构块，并且可以生成包括重构块的重构画面。当当前画面/切片/拼块组是I画面/切片/拼块组时，包括在当前画面/切片/拼块组中的块可以仅基于帧内预测来重构。另一方面，当当前画面/切片/拼块组是P或B画面/切片/拼块组时，包括在当前画面/切片/拼块组中的块可以基于帧内预测或帧间预测来重构。在这种情况下，可以对当前画面/切片/拼块组中的一些块应用帧间预测，并且可以对剩余块应用帧内预测。画面的颜色分量可以包括亮度分量和色度分量，并且除非本公开中明确限制，否则本公开的方法和实施方式适用于亮度分量和色度分量二者。
对层结构进行编码的示例
根据本公开的编码视频/图像可以例如根据下面将描述的编码层和结构来处理。
图6是例示编码图像/视频的层结构的示例的视图。
编码图像/视频被分类为用于图像/视频解码处理和处理自己的视频编码层(VCL)、用于发送和存储编码信息的下层系统以及存在于VCL和下层系统之间并负责网络适配功能的网络抽象层(NAL)。
在VCL中，可以生成包括压缩图像数据(切片数据)的VCL数据，或者可以生成图像的解码处理另外所需的补充增强信息(SEI)消息或包括诸如画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)的信息的参数集。
在NAL中，报头信息(NAL单元报头)可以被添加到VCL中生成的原始字节序列有效载荷(RBSP)以生成NAL单元。在这种情况下，RBSP是指VCL中生成的切片数据、参数集、SEI消息。NAL单元报头可以包括根据对应NAL单元中所包括的RBSP数据指定的NAL单元类型信息。
如图6所示，NAL单元可以根据VCL中生成的RBSP的类型被分类为VCL NAL单元和非VCL NAL单元。VCL NAL单元可以意指包括关于图像的信息(切片数据)的NAL单元，非VCLNAL单元可以意指包括对图像进行解码所需的信息(参数集或SEI消息)的NAL单元。
VCL NAL单元和非VCL NAL单元可以根据下层系统的数据标准附有报头信息并通过网络发送。例如，NAL单元可以被修改为具有预定标准(例如，H.266/VVC文件格式、RTP(实时传输协议)或TS(传输流))的数据格式，并通过各种网络发送。
如上所述，在NAL单元中，可以根据包括在对应NAL单元中的RBSP数据结构来指定NAL单元类型，并且关于NAL单元类型的信息可以被存储在NAL单元报头中并用信号通知。例如，这可以根据NAL单元是否包括关于图像的信息(切片数据)大致分类为VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据包括在VCL NAL单元中的画面的性质和类型来分类，并且非VCL NAL单元类型可以根据参数集的类型来分类。
下面将列出根据包括在非VCL NAL单元类型中的参数集/信息的类型指定的NAL单元类型的示例。
-DCI(解码能力信息)NAL单元类型(NUT)：包括DCI的NAL单元类型
-VPS(视频参数集)NUT：包括VPS的NAL单元类型
-SPS(序列参数集)NUT：包括SPS的NAL单元类型
-PPS(画面参数集)NUT：包括PPS的NAL单元类型
-APS(适配参数集)NUT：包括APS的NAL单元类型
-PH(画面报头)NUT：包括画面报头的NAL单元类型
上述NAL单元类型可以具有针对NAL单元类型的语法信息，并且该语法信息可以被存储在NAL单元报头中并用信号通知。例如，该语法信息可以是nal_unit_type，NAL单元类型可以使用nal_unit_type值来指定。
此外，一个画面可以包括多个切片，并且一个切片可以包括切片报头和切片数据。在这种情况下，可以向一个画面中的多个切片(切片报头和切片数据集)进一步添加一个画面报头。画面报头(画面报头语法)可以包括共同适用于画面的信息/参数。切片报头(切片报头语法)可以包括共同适用于切片的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括共同适用于一个或更多个切片或画面的信息/参数。SPS(SPS语法)可以包括共同适用于一个或更多个序列的信息/参数。VPS(VPS语法)可以是共同适用于多个层的信息/参数。DCI(DCI语法)可以包括与解码能力有关的信息/参数。
在本公开中，高级语法(HLS)可以包括APS语法、PPS语法、SPS语法、VPS语法、DCI语法、画面报头语法或切片报头语法中的至少一个。另外，在本公开中，低级语法(LLS)可以包括例如切片数据语法、CTU语法、编码单元语法、变换单元语法等。
在本公开中，在编码设备中编码并以比特流的形式用信号通知给解码设备的图像/视频信息可以不仅包括画面内分割相关信息、帧内/帧间预测信息、残差信息、环路内滤波信息，而且包括关于切片报头的信息、关于画面报头的信息、关于APS的信息、关于PPS的信息、关于SPS的信息、关于VPS的信息和/或关于DCI的信息。另外，图像/视频信息还可以包括一般约束信息和/或关于NAL单元报头的信息。
图7是例示用于用信号通知关于APS和画面报头的信息的语法结构的示例的视图。图像信息可以包括高级语法(HLS)。可以基于图像信息执行图像编码方法。编码画面可以由一个或更多个切片组成。可以在画面报头中用信号通知描述编码画面的参数。可以在切片报头中用信号通知描述切片的参数。画面报头可以在NAL单元类型中承载。切片报头可以存在于包括切片的有效载荷的NAL单元的开始部分处。具有色度缩放的亮度映射(LMCS)可以是包括亮度映射过程和色度缩放过程的术语。例如，可以在环路内滤波之前执行亮度映射过程和/或色度缩放过程。例如，可以相对于当前亮度块的预测块执行亮度映射过程以生成具有改变的动态范围的预测块。在这种情况下，可以基于具有改变的动态范围的预测块重构当前亮度块。另外，例如，色度缩放过程可以为基于亮度分量信号与色度分量信号之间的关系来缩放色度分量残差信号的过程。在这种情况下，可以基于经缩放的色度分量残差信号来重构当前色度块。
参照图7，可以用信号通知指定由当前画面中的切片的色度元素参考的ALF APS的APS标识符的信息(例如，ph_alf_aps_id_chroma)。可以用信号通知指定当前画面中的切片的色度元素所参考的LMCS APS的APS标识符的信息(例如，ph_lmcs_aps_id)。另外，可以用信号通知指定APS缩放列表的APS标识符的信息(例如，ph_scaling_list_aps_id)。
视频参数集信令
对于具有层间依赖性的多层比特流，可以对层的可以用集合进行解码。视频参数集(VPS)是用于发送层信息的参数集。层信息可以包括例如关于输出层集(OLS)的信息、关于简档层级别的信息、关于OLS与假想参考解码器之间的关系的信息、关于OLS与DPB之间的关系的信息等。
VPS RBSP(原始字节序列有效载荷)可以包括在具有0的TemporalID的至少一个访问单元(AU)中或在参考之前通过外部手段提供，从而可以用于解码过程。具有CVS中的特定值的vps_video_parameter_set_id的所有VPS NAL单元将具有相同内容。
图8和图9中连续例示的语法示范性地示出根据本公开的实施方式的语法结构。在下文中，将描述图8至图9的语法元素。
vps_video_parameter_set_id提供将由另一语法元素参考的VPS的标识符。其它语法元素可以使用vps_video_parameter_set_id参考VPS。vps_video_parameter_set_id的值应大于0。
vps_max_layers_minus1可以指定存在于参考VPS的单个CVS中的层的最大可以允许数量。例如，通过将vps_max_layers_minus1加1而获得的值可以指定存在于参考VPS的单个CVS中的层的最大可以允许数量。
通过将vps_max_sublayer_minus1加1而获得的值可以指定可以存在于参考VPS的单个CVS中的层中的时间子层的最大数量。
vps_all_layers_same_num_sublayer_flag的值1可以指定时间子层的数量在参考VPS的单个CVS中的所有层中相同。vps_all_layers_same_num_sublayer_flag的值0可以指定时间子层的数量在参考VPS的单个CVS中的层中可以相同或可以不相同。当比特流中不提供vps_all_layers_same_num_sublayer_flag的值时，vps_all_layers_same_num_sublayer_flag的值可以被推导为1。
vps_all_independent_layers_flag的值1可以指定在不使用层间预测的情况下独立地对属于CVS的所有层进行编码。vps_all_independent_layers_flag的值0可以指定可以使用层间预测来对属于CVS的至少一个层进行编码。
vps_layer_id[i]可以指定第i层的nuh_layer_id值。对于任何两个非负整数值m和n，当m小于n时，vps_layer_id[m]可以被约束为具有小于vps_layer_id[n]的值。这里，nuh_layer_id是在NAL单元报头中用信号通知的语法元素，并且可以指定NAL单元的标识符。
vps_independent_layer_flag[i]的值1可以指定层间预测未应用于对应于索引i的层。vps_independent_layer_flag[i]的值0可以指定层间预测适用于对应于索引i的层，并且从VPS获得语法元素vps_direct_ref_layer_flag[i][j]。这里，j可以具有从0至i-1的值。此外，当比特流中不存在vps_independent_layer_flag[i]的值时，其值可以被推导为1。
vps_max_tid_ref_present_flag[i]的值1可以指定从比特流提供语法元素vps_max_tid_il_ref_pics_plus1[i][j]。vps_max_tid_ref_present_flag[i]的值0可以指定未从比特流提供语法元素vps_max_tid_il_ref_pics_plus1[i][j]。
vps_direct_ref_layer_flag[i][j]的值0可以指定具有索引j的层不是具有索引i的层的直接参考层。vps_direct_ref_layer_flag[i][j]的值1可以指定具有索引j的层是具有索引i的层的直接参考层。对于具有从0至vps_max_layers_minus1的范围中的i和j，当未从比特流获得vps_direct_ref_layer_flag[i][j]的值时，其值可以被推导为0。当vps_independent_layer_flag[i]的值为0时，可以存在使vps_direct_ref_layer_flag[i][j]的值等于1的至少一个j。在这种情况下，j的值的范围可以具有从0至i-1的范围。
可以如图10中所示推导变量NumDirectRefLayers[i]、DirectRefLayerIdx[i][d]、NumRefLayers[i]、RefLayerIdx[i][r]和LayerUsedAsRefLayerFlag[j]。
变量GeneralLayerIdx[i]指定其中nuh_layer_id的值与vps_layer_id[i]相同的层的层索引并且可以如图11中所示推导。
vps_max_tid_il_ref_pics_plus1[i][j]的值0可以指定第j层的作为指定解码画面的恢复点的语法元素ph_recovery_poc_cnt的值为0的既不是GDR画面也不是IRAP画面的画面未被用作层间参考画面以对第i层的画面进行解码。大于0的vps_max_tid_il_ref_pics_plus1[i][j]的值的值可以指定第j层中的具有大于vps_max_tid_il_ref_pics_plus1[i][j]-1的TemporalId的画面未被用作层间参考画面以对第i层的画面进行解码。此外，当从比特流获得vps_max_tid_il_ref_pics_plus1[i][j]的值时，其值可以被推导为vps_max_sublayer_minus1+1。
vps_each_layer_is_a_ols_flag的值1可以指定单个OLS仅具有一个层，并且属于参考VPS的CVS的单个层是具有作为唯一一个输出层的单个包含层的OLS。vps_each_layer_is_a_ols_flag的值0可以指定OLS可以包含一个以上层。在一个实施方式中，当vps_max_layers_minus1的值为0时，vps_each_layer_is_a_ols_flag的值可以被推导为1。否则，当vps_all_independent_layers_flag的值为0时，vps_each_layer_is_a_ols_flag的值可以被推导为0。
vps_ols_mode_idc的值0可以指定由VPS指定的OLS的总数量等于vps_max_layers_minus1+1。第i OLS可以包括具有从0至i的层索引的层。另外，对于单个OLS，可以输出OLS的最高层。
vps_ols_mode_idc的值1可以指定由VPS指定的OLS的总数量等于vps_max_layers_minus1+1。第i OLS可以包括具有从0至i的层索引的层。另外，对于单个OLS，OLS的所有层可以被输出。
vps_ols_mode_idc的值2可以指定显式地用信号通知由VPS指定的OLS的总数，针对单个OLS显式地用信号通知输出层，并且其它层为OLS的输出层的直接或参考层。
vps_ols_mode_idc可以具有从0至2的值。vps_ols_mode_idc的值3可以被保留以供将来使用。当vps_all_independent_layers_flag的值为1并且vps_each_layer_is_a_ols_flag的值为0时，vps_ols_mode_idc的值可以被推导为2。
通过将vps_num_output_layer_sets_minus1加1而获得的值可以指定当vps_ols_mode_idc的值为预定值时(例如，当值为2时)由VPS指定的OLS的总数量。可以如图12中所示推导指定由VPS指定的OLS的总数数量的变量TotalNumOlss。
vps_ols_output_layer_flag[i][j]的值1可以指定当vps_ols_mode_idc的值为2时，nuh_layer_id的值等于vps_layer_id[j]的层为第i OLS的输出层。vps_ols_output_layer_flag[i][j]的值0可以指定当vps_ols_mode_idc的值为2时，nuh_layer_id的值等于vps_layer_id[j]的层不是第i OLS的输出层。
指定第i OLS中的输出层的数量的变量NumOutputLayersInOls[i]、指定第i OLS中的第j层中存在的子层的数量的变量NumSubLayersInLayerInOLS[i][j]、指定第iOLS中的第j输出层的nuh_layer_id值的变量OutputLayerIdInOls[i][j]、指定第k层是否用作至少一个OLS中的一个输出层的变量LayerUsedAsOutputLayerFlag[k]可以作为图13至图14中连续示出的伪码被推导。
对于从0至vps_max_layers_minus1的每个值，LayerUsedAsRefLayerFlag[i]和LayerUsedAsOutputLayerFlag[i]的值可以强制不为0。例如，既不是至少一个OLS的输出层也不是另一层的直接参考层的层可以被强制不存在。
对于每个OLS，可以强制存在作为输出层的至少一个层。例如，对于从0至TotalNumOlss-1的每个i值，NumOutputLayersInOls[i]的值可以强制具有大于或等于1的值。
变量NumLayersInOls[i]指定第i OLS中的层的数量和指定第i OLS中的第j层的nuh_layer_id的值的变量LayerIdInOls[i][j]。
当NumLayersInOls[i]的值大于0时，指定多层OLS(例如，包括一个或更多个层的OLS)的数量的变量NumMultiLayerOlss和指定针对第i OLS的多层OLS的列表的索引的变量MultiLayerOlsIdx[i]可以作为图15的伪码被推导。
指定具有与LayerIdInOls[i][j]相同的nuh_layer_id的层的OLS层索引的变量OlsLayerIdx[i][j]可以作为图16的伪码被推导。
存在于每个OLS中的最低层可以被约束为独立层。例如，对于具有0至TotalNumOlss-1的每个i，vps_independent_layer_flag[GeneralLayerIdx[LayerIdInOls[i]]]的值可以被强制为1。可以强制每个层包括在由VPS指定的至少一个OLS中。
APS信令的改进
当不需要对输出层进行解码时，在提取过程中，可以从非输出层去除具有等于或小于目标最大TemporalId的TemporalId的VCL NAL单元。然而，存在于这种层和时间子层中的APS NAL单元未被适当地去除。通常，在这种情况下，最高输出层不使用来自时间子层的VCL，并且不使用来自其的诸如APS和/或PPS的参数集。这里，APS可以包括根据APS类型的自适应环路滤波器(ALF)参数、具有色度缩放的亮度映射(LMCS)参数或缩放列表参数。
为了解决上述问题，在提取过程中，PPS和/或APS可以被选择为不用作参考以对输出层中的画面进行解码的参数集。另外，除参数集之外，提取过程中未用作参考以执行对输出层中的画面的解码的非VCL NAL单元也可以被选择为提取过程中的不用作参考以执行对输出层中的画面的解码。另外，可以防止从输出比特流提取APS。
对于此类处理，可以重新定义上述语法元素vps_max_tid_il_ref_pics_plus1[i][j]。例如，vps_max_tid_il_ref_pics_plus1[i][j]的第一值(例如，0)可以指定第j层的ph_recovery_poc_cnt的值为0的既不是GDR画面也不是IRAP画面的画面不用作层间参考画面以对第i层的画面进行解码。vps_max_tid_il_ref_pics_plus1[i][j]的值大于0可以指定具有大于第j层中的vps_max_tid_il_ref_pics_plus1[i][j]-1的TemporalId的画面和参数集不用作参考，以对第i层的画面进行解码。此外，当从比特流获得vps_max_tid_il_ref_pics_plus1[i][j]的值时，其值可以被推导为vps_max_sublayer_minus1+1。
此外，可以根据以下子比特流提取过程推导子比特流。子比特流提取过程可以将指定输入比特流的变量inBitstream、目标OLS索引targetOlsIdx和作为目标TemporalId的tIdTarget作为输入。可以如下推导指定输出子比特流的变量OutBitstream。
首先，子比特流可以被确定为输入比特流的值(S1710)。例如，可以将指定输出子比特流的变量outBitstream设置为等于指定输入比特流的变量inBitstream。
可以从outBitstream去除满足以下所有条件1至条件3的所有PPS、APS和VCL NAL单元和与其相关的非VCL NAL单元(S1720)。这里，与其相关的非VCL NAL单元可以为具有除了0、1或130之外的PayloadType并且具有PH_NUT、FD_NUT、SUFFIX_SEI_NUT和PREFIX_SEI_NUT中的任一者的nal_unit_type的非VCL NAL单元。图18示出了NAL单元类型。
(条件1)VCL NAL单元的nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，nal_unit_type等于GDR_NUT并且与其相关的ph_recovery_poc_cnt不为0。
(条件2)nuh_layer_id等于LayerIdInOls[targetOlsIdx][j]。这里，j具有从0至NumLayersInOls[targetOlsIdx]-1的值。
(条件3)TemporalId具有大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]]的值。
编码方法和解码方法
在下文中，将描述根据实施方式的由图像编码设备和图像解码设备执行的图像编码方法和图像解码方法。首先将描述解码设备的操作。
如上文所描述，当vps_max_tid_il_ref_pics_plus1[i][j]具有大于0的值时，对于第i层(当前层)的层间预测，在第j层(参考层)中的具有大于vps_max_tid_il_ref_pics_plus1[i][j]-1的TemporalId的画面和参数集可以不用作参考。另外，如参照图14和图15所述，可以基于vps_max_tid_il_ref_pics_plus1[i][j]推导NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]]。因此，具有 等 于 或 大 于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]] 的TemporalId的画面和参数集可以不用作针对当前层的层间预测的参考。
图19是例示根据一个实施方式的通过图像解码设备对图像进行解码的方法的视图。根据实施方式的图像解码设备可以包括存储器和处理器，并且解码设备可以通过根据下面描述的实施方式的处理器的操作来执行解码。
根据实施方式的解码设备可以获得用于层间预测的最大时间标识符信息(S1910)。具体地，解码设备可以从比特流获得指定用于当前层的层间预测参考的参考层的最大时间标识符的最大时间标识符信息。在本公开中，“用于当前层的层间预测参考”可以意指“其可以被参考用于当前层的层间预测”。这里，最大时间标识符信息可以为上述语法元素vps_max_tid_il_ref_pics_plus1[i][j]。
接下来，解码设备可以基于最大时间标识符信息而从比特流执行子比特流提取过程(S1920)。在步骤S1920的子比特流提取过程中，解码设备可以去除参考层的参数集当中的当前层的层间预测未参考的参数集。这里，参数集可以为自适应参数集(APS)。
具体地，解码设备可以基于从比特流获得的最大时间标识符信息推导NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]]。在这种情况下，例如，可以使用图13和图14的方法。解码设备可以通过基于所推导的NumSubLayersInLayerInOLS执行参照图17描述的子比特流提取过程而提取从其去除了未用于当前层的层间预测参考的参数集的子比特流。
最大时间标识符信息可以指定用以对当前层的画面进行解码所参考的参考层的最大时间标识符。参考层的参数集当中的具有大于最大时间标识符的时间标识符的参数集可以未被参考用以对当前层的画面进行解码。
另外，最大时间标识符信息可以指定用以对当前层的画面进行解码所参考的参考层的最大时间标识符。参考层的画面当中的具有大于最大时间标识符的时间标识符的画面可以未被参考用以对当前层的画面进行解码。
此外，解码设备还可以包括基于针对当前层的子层的数量从比特流获得(提取)子比特流的步骤。可以通过从比特流去除预定参数集来获得子比特流，并且可以基于预定参数集的时间标识符与针对与预定参数集相对应的层所确定的子层的数量之间的大小比较来确定预定参数集。
可以基于预定参数集的时间标识符的值是否等于或大于与针对预定输出层集(OLS)的层当中的与预定参数集相对应的层所确定的子层的数量相对应的值来确定预定参数集。
例如，对于预定参数集的nuh_layer_id和TemporalId，可以基于TemporalId是否具有等于或大于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]]的值来确定是否去除预定参数集。例如，可以基于vps_max_tid_il_ref_pics_plus1推导NumSubLayersInLayerInOLS[][]。
此外，预定OLS可以为通过由视频参数集(VPS)用信号通知的信息标识出的OLS中的任一者。
在参照图19描述的示例中，当前层可以为输出层，并且参考层可以为非输出层。
图20是例示根据一个实施方式的通过图像编码设备对图像进行编码的方法的视图。根据实施方式的图像编码设备可以包括存储器和处理器，并且编码设备可以通过以与根据下面描述的实施方式的解码设备的解码步骤相对应的方式操作处理器来执行编码。
根据一个实施方式的编码设备可以基于用于层间预测的最大时间标识符来确定最大时间标识符信息(S2010)。具体地，编码设备可以确定用于当前层的层间预测参考的参考层的最大时间标识符，并且确定指定所确定的最大时间标识符的最大时间标识符信息。在本公开中，“用于当前层的层间预测参考”可以意指“其可以被参考用于当前层的层间预测”。
接下来，编码设备可以通过对指定最大时间标识符的最大时间标识符信息进行编码来生成比特流(S2020)。这里，最大时间标识符信息可以为上述语法元素vps_max_tid_il_ref_pics_plus1[i][j]。
最大时间标识符信息可以用于子比特流提取过程中。具体地，最大时间标识符信息可以用于去除参考层的参数集当中的未用于当前层的层间预测参考的参数集。这里，参数集可以为自适应参数集(APS)。
具体地，基于最大时间标识符信息，可以推导NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]]。在这种情况下，例如，可以使用图13和图14的方法。另外，通过基于所推导的NumSubLayersInLayerInOLS执行参照图17描述的子比特流提取过程，可以提取从中去除了参考层的参数集当中的未用于当前层的层间预测参考的参数集的子比特流。
最大时间标识符可以指定被参考用于对当前层的画面进行编码的参考层的最大时间标识符值。参考层的参数集当中的具有大于最大时间标识符的时间标识符的参数集可以未被参考用以对当前层的画面进行编码。
另外，最大时间标识符可以指定被参考用以对当前层的画面进行编码的参考层的最大时间标识符。参考层的画面当中的具有大于最大时间标识符的时间标识符的画面可以未被参考用以对当前层的画面进行编码。
此外，可以基于针对当前层的子层的数量从根据编码方法生成的比特流获得(提取)子比特流。例如，可以通过从比特流去除预定参数集来获得子比特流。另外，可以基于预定参数集的时间标识符与针对与预定参数集相对应的层所确定的子层的数量之间的大小比较来确定预定参数集。
例如，可以基于预定参数集的时间标识符的值是否等于或大于与针对预定输出层集(OLS)的层当中的与预定参数集相对应的层所确定的子层的数量相对应的值而确定预定参数集。
例如，对于预定参数集的nuh_layer_id和TemporalId，可以基于TemporalId具有等于或大于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]]的值来确定是否去除预定参数集。
此外，预定OLS可以为通过由视频参数集(VPS)用信号通知的信息标识出的OLS中的任一者。
在参照图20描述的示例中，当前层可以为输出层，并且参考层可以为非输出层。
如上文所描述，基于指定用于当前层的层间预测参考的参考层的最大时间标识符的最大时间标识符信息，可以去除作为参考层的参数集当中的为被用于当前层的层间预测参考的参数集的自适应参数集(APS)。图像编码设备或图像解码设备可以对通过去除未参考的参数集提取的子比特流进行编码/解码。在这种情况下，图像编码/解码设备可以通过参考包括在所提取的子比特流中的APS而执行编码/解码。在下文中，将描述根据本公开的由图像编码/解码设备用信号通知/解析APS的方法。
对于上文所描述的编码和解码方法，根据本公开的另一实施方式，可以基于APS参数类型来改进用信号通知APS标识符信息的方法。图21是例示根据APS参数类型的APS参数名称的视图。
参照图21，可以用信号通知指定在APS中发送的APS参数的类型的信息(例如，aps_params_type)。aps_params_type的值的范围可以在比特流中对应于从0至7的范围。当aps_params_type的值为0时，aps_params_type的名称可以对应于ALF_APS并且APS参数的类型可以对应于ALF参数。当aps_params_type的值为1时，aps_params_type的名称可以对应于LMCS_APS并且APS参数的类型可以对应于LMCS参数。当aps_params_type为2时，aps_params_type的名称可以对应于SCALING_APS，并且APS参数的类型可以对应于缩放列表参数。当aps_params_type的值为从3至7的值时，aps_params_type可以被预留以供将来使用。
图22是例示用于根据APS参数类型用信号通知APS标识符信息的语法结构的示例的视图。在实施方式中，在VVC中，APS标识符的范围可以根据APS类型而变化。例如，在ALFAPS和缩放列表APS的情况下，APS标识符的范围可以对应于从0至7的范围。在LMCS APS的情况下，APS标识符的范围可以对应于从0至3的范围。因此，代替利用固定长度用信号通知APS标识符，可以根据APS类型利用所需数量的比特用信号通知APS标识符。
参照图22，在用信号通知指定在APS中发送的APS参数的类型的信息(例如，aps_params_type)之后，可以用信号通知指定APS标识符的信息(例如，aps_adaptation_parameter_set_id)。aps_adaptation_parameter_set_id可以提供在另一语法元素中待参考的APS的标识符。当aps_params_type等于ALF_APS或SCALING_APS时，aps_adaptation_parameter_set_id的长度可以对应于3比特。另外，当aps_params_type为LMCS_APS时，aps_adaptation_parameter_set_id的长度可以对应于2比特。apsLayerId可以被设置为特定APS NAL单元的nuh_layer_id值，并且vclLayerId可以被设置为特定VCL NAL单元的nuh_layer_id值。特定VCL NAL单元可以不参考特定APS NAL单元直到apsLayerId小于或等于vclLayerId。另外，VPS中指定的包括其中nuh_layer_id等于vclLayerId的层的所有OLS可以包括其中nuh_layer_id等于apslayerId的层。
根据本公开的另一实施方式，具有特定值的aps_params_type和为前缀APS NAL单元或后缀APS NAL单元的所有APS NAL单元可以与nuh_layer_id无关地针对aps_adaptation_parameter_set_id共享相同值空间。具有不同值的aps_params_type的APSNAL单元可以针对aps_adaptation_parameter_set_id使用单独值空间。当aps_params_type为ALF_APS或SCALING_APS时，aps_adaptation_parameter_set_id的值可以对应于从0至7的范围。当aps_params_type为LMCS_APS时，aps_adaptation_parameter_set_id的值可以对应于从0至3的范围。
图23是例示根据参照图22描述的实施方式的图像编码设备的操作的视图。与APS标识符相关的信息可以包括APS标识符的值或APS标识符的范围中的至少一者。APS标识符的范围可以通过比特的数量来表达。
参照图23，可以确定aps_params_type是否对应于0或2(S2310)。当满足上述条件(S2310-是)时，APS标识符信息的比特长度(例如，aps_adaptation_parameter_set_id)可以被设置为3比特的长度(S2320)。另外，可以对3比特APS标识符信息(例如，aps_adaptation_parameter_set_id)进行编码(S2330)。另外，APS标识符信息(例如，aps_adaptation_parameter_set_id)的值的范围可以被设置为从0至7的范围。另外，APS标识符信息(例如，aps_adaptation_parameter_set_id)可以被编码为在从0至7的范围中的任何一个值。
当不满足步骤S2310的条件时(S2310-否)，即，当aps_params_type不对应于0或2时，APS标识符信息的比特长度(例如，aps_adaptation_parameter_set_id)可以被设置为2比特的长度(S2340)。另外，可以对2比特标识符信息(例如，aps_adaptation_parameter_set_id)进行编码(S2350)。因此，APS标识符信息(例如，aps_adaptation_parameter_set_id)的值的范围可以被设置为从0至3的值的范围。另外，APS标识符信息(例如，aps_adaptation_parameter_set_id)可以被编码为在从0至3的范围中的任何一个值。
图24是例示根据参照图22描述的实施方式的图像解码设备的操作的视图。
参照图24，可以确定aps_params_type是否对应于0或2(S2410)。当满足条件(S2410-是)时，可以获得3比特APS标识符信息(例如，aps_adaptation_parameter_set_id)(S2420)。因此，可以获得APS标识符信息(例如aps_adaptation_parameter_set_id)的值的范围为从0至7的值的范围。在这种情况下，可以基于从0至7的APS标识符信息(例如，aps_adaptation_parameter_set_id)的值来重构图像(未示出)。
当不满足步骤S2410的条件时(S2410-否)，即，当aps_params_type不对应于0或2时，可以获得2比特APS标识符信息(例如，aps_adaptation_parameter_set_id)(S2430)。因此，可以获得APS标识符信息(例如，aps_adaptation_parameter_set_id)的值的范围为从0至3的范围。在这种情况下，可以基于0至3的APS标识符信息(例如，aps_adaptation_parameter_set_id)的值来重构图像(未示出)。
此外，对于上文所述的编码方法和解码方法，根据本公开的另一实施方式，当nal_unit_type等于DCI_NUT、VPS_NUT、PREFIX_APS_NUT、SUFFIX_APS_NUT、PPS_NUT或SPS_NUT时，其可以强制TemporalId等于0并且包括NAL单元的AU的TemporalId等于0。
另外，根据本公开的另一实施方式，可以将输出比特流设置为等于输入比特流。可以从输出比特流去除具有大于tIdTarget的TemporalId的所有VCL NAL单元。可以从输出比特流去除具有与PH_NUT、FD_NUT和SUFFIX_SEI_NUT相同的nal_unit_type的关联非VCL NAL单元。可以从输出比特流去除PayloadType不为0、1或130的PREFIX_SEI_NUT。可以从输出比特流去除nal_unit_type不等于VPS_NUT或DCI_NUT的所有NAL单元。可以从输出比特流去除不包括在EOB_NUT和LayerIdInOls[targetOlsIdx]中的nuh_layer_id。
当满足以下条件时，可以从输出比特流去除所有VCL NAL单元。当满足以下条件时，可以从输出比特流去除具有与PH_NUT、FD_NUT和SUFFIX_SEI_NUT相同的nal_unit_type的关联非VCL NAL单元。当满足以下条件时，可以从输出比特流去除PayloadType不为0、1或130的PREFIX_SEI_NUT。
条件1：nal_unit_type等于TRAIL_NUT、STSA_NUT、RADL_NUT或RASL_NUT，或者nal_unit_type等于GDR_NUT并且关联ph_recovery_poc_cnt不为0。
条件2：对于在从0至NumLayersInOls[targetOlsIdx]-1的范围内的j，nuh_layer_id等于LayerIdInOls[targetOlsIdx][j]。
条件3：TemporalId大于或等于NumSubLayersInLayerInOLS[targetOlsIdx][GeneralLayerIdx[nuh_layer_id]]。
应用实施方式
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本公开的方法，所描述的步骤可以进一步包括其它步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其它附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施方式不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施方式中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施方式可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
此外，应用本公开的实施方式的图像解码设备和图像编码设备可以被包括在多媒体广播传送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(over the top video)装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、医疗视频装置等中，并且可用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能电话、平板PC、数字录像机(DVR)等。
图25是例示可应用本公开的实施方式的内容流系统的视图。
如图25中所示，应用本公开的实施方式的内容流系统可以主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等多媒体输入装置输入的内容压缩成数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当智能电话、相机、摄像机等多媒体输入装置直接生成比特流时，可以省略编码服务器。
比特流可以由应用本公开的实施方式的图像编码方法或图像编码设备产生，并且流服务器可以在发送或接收比特流的过程中暂时存储比特流。
流服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户告知服务的媒介。当用户向网络服务器请求所需的服务时，网络服务器可以将其递送到流服务器，并且流服务器可以向用户发送多媒体数据。在这种情况下，内容流系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统中的装置之间的命令/响应。
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器可以在预定时间内存储比特流。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、板式PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流系统中的各个服务器可以作为分布式服务器运行，在这种情况下，从各个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施方式的方法的操作能够在设备或计算机上执行的软件或机器可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并且可在设备或计算机上执行的此类软件或命令的非暂时性计算机可读介质。
工业实用性
本公开的实施方式可以被用于对图像进行编码或解码。

Claims (14)

1.一种由图像解码设备执行的图像解码方法，所述图像解码方法包括以下步骤：
获得指定通过自适应参数集APS用信号通知的APS参数类型的APS参数类型信息；
在获得所述APS参数类型信息之后获得指定所述APS的APS标识符信息；以及
基于所述APS标识符信息重构图像。
2.根据权利要求1所述的图像解码方法，其中，基于所述APS参数类型信息的值为0，所述APS参数类型被确定为全环路滤波器ALF参数类型。
3.根据权利要求1所述的图像解码方法，其中，基于所述APS参数类型信息的值为1，所述APS参数类型被确定为具有色度缩放的亮度映射LMCS参数类型。
4.根据权利要求1所述的图像解码方法，其中，基于所述APS参数类型信息的值为2，所述APS参数类型被确定为缩放列表参数类型。
5.根据权利要求1所述的图像解码方法，其中，基于所述APS参数类型为全环路滤波器ALF参数或缩放列表参数，APS标识符被确定为在从0至7的范围中的值。
6.根据权利要求1所述的图像解码方法，其中，基于所述APS参数类型为具有色度缩放的亮度映射LMCS参数，APS标识符被确定为在从0至3的范围中的值。
7.一种图像解码设备，所述图像解码设备包括：
存储器；以及
至少一个处理器，
其中，所述至少一个处理器被配置为：
获得指定通过自适应参数集APS用信号通知的APS参数类型的APS参数类型信息；
在获得所述APS参数类型信息之后获得指定所述APS的APS标识符信息；并且
基于所述APS标识符信息重构图像。
8.一种由图像编码设备执行的图像编码方法，所述图像编码方法包括以下步骤：
确定自适应参数集APS参数类型；
基于所述APS参数类型确定指定所述APS的APS标识符；
在对指定所述APS参数类型的APS参数类型信息进行编码之后，对指定所述APS标识符的APS标识符信息进行编码；以及
基于所述APS标识符对图像进行编码。
9.根据权利要求8所述的图像编码方法，其中，基于所述APS参数类型为全环路滤波器ALF参数，指定所述APS参数类型的所述APS参数类型信息的值被确定为0。
10.根据权利要求8所述的图像编码方法，其中，基于所述APS参数类型为具有色度缩放的亮度映射LMCS参数，指定所述APS参数类型的所述APS参数类型信息的值被确定为1。
11.根据权利要求8所述的图像编码方法，其中，基于所述APS参数类型为缩放列表参数，指定所述APS参数类型的所述APS参数类型信息的值被确定为2。
12.根据权利要求8所述的图像编码方法，其中，基于所述APS参数类型为全环路滤波器ALF参数或缩放列表参数，APS标识符被确定为在从0至3的范围内的值。
13.根据权利要求8所述的图像编码方法，其中，基于所述APS参数类型是具有色度缩放的亮度映射LMCS参数，APS标识符被确定为在从0至7的范围内的值。
14.一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质存储根据权利要求8所述的图像编码方法生成的比特流。
CN202180056509.6A 2020-06-10 2021-06-09 用信号通知aps标识符的图像编码/解码方法和设备及存储比特流的计算机可读记录介质 Pending CN116034581A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063037574P 2020-06-10 2020-06-10
US63/037,574 2020-06-10
PCT/KR2021/007193 WO2021251744A1 (ko) 2020-06-10 2021-06-09 Aps에 대한 식별자를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
CN116034581A true CN116034581A (zh) 2023-04-28

Family

ID=78846354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180056509.6A Pending CN116034581A (zh) 2020-06-10 2021-06-09 用信号通知aps标识符的图像编码/解码方法和设备及存储比特流的计算机可读记录介质

Country Status (4)

Country Link
US (1) US20230188714A1 (zh)
KR (1) KR20230024340A (zh)
CN (1) CN116034581A (zh)
WO (1) WO2021251744A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210400257A1 (en) * 2020-06-18 2021-12-23 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling high level information for tool control based on colour representation format, and computer-readable recording medium strong bitstream

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122014031521B1 (pt) * 2011-02-10 2022-08-23 Velos Media International Limited Dispositivo e método de processamento de imagem
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
WO2013031315A1 (ja) * 2011-08-30 2013-03-07 ソニー株式会社 画像処理装置及び画像処理方法
CN103096047B (zh) * 2011-11-01 2018-06-19 中兴通讯股份有限公司 一种分片层参数集解码及编码方法和装置
US9386305B2 (en) * 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
CN107087205B (zh) * 2012-06-12 2020-04-14 Lg 电子株式会社 图像解码方法及使用其的装置
MX2021010337A (es) * 2019-02-27 2021-09-28 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes.
KR20220049486A (ko) * 2019-08-29 2022-04-21 엘지전자 주식회사 필터링 기반 영상 코딩 장치 및 방법
CN115486064A (zh) * 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用

Also Published As

Publication number Publication date
WO2021251744A1 (ko) 2021-12-16
KR20230024340A (ko) 2023-02-20
US20230188714A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
KR102558495B1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
JP7314307B2 (ja) スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング
EP4117291A1 (en) Mixed nal unit type based-video encoding/decoding method and apparatus, and method for transmitting bitstream
US20240129511A1 (en) Mixed nal unit type-based image encoding/decoding method and device, and method for transmitting bitstream
CN116034581A (zh) 用信号通知aps标识符的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
KR20230023708A (ko) 영상/비디오 코딩 시스템에서 상위 레벨 신택스를 처리하는 방법 및 장치
CN115668927A (zh) 基于输出层集合确定是否参考参数集的图像编码/解码方法和设备及发送比特流的方法
JP2022540149A (ja) スケーリングリストデータに基づく画像またはビデオコーディング
CN115699746B (zh) 图像编码/解码方法和发送比特流的方法
CN114731442B (zh) 使用加权预测的图像编码/解码方法和装置以及发送比特流的方法
US20230156180A1 (en) Image encoding/decoding method and device for signaling dpb-related information and ptl-related information, and computer-readable recording medium in which bitstream is stored
CN115668950A (zh) 用信号通知hrd参数的图像编码/解码方法和装置及存储比特流的计算机可读记录介质
CN115668944A (zh) 用信号通知dpb参数的视频编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668951A (zh) 用信号通知关于dpb参数的数量的信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668948A (zh) 用信号通知ptl相关信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115699750A (zh) 基于针对gdr画面或irap画面的可用切片类型信息编码/解码图像的方法和设备及存储比特流的记录介质
CN116325724A (zh) 基于最大时间标识符执行子比特流提取过程的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
JP2024515732A (ja) レイヤー識別子情報を含むｓｅｉメッセージに基づく画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法
CN115868162A (zh) 用信号通知画面输出定时信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
CN115668918A (zh) 基于画面划分信息和子画面信息的图像编码/解码方法和设备及存储比特流的记录介质
AU2021241294A1 (en) Image encoding/decoding method and device based on hybrid NAL unit type, and recording medium for storing bitstream
CN115606187A (zh) 基于混合nal单元类型的图像编码/解码方法和设备及存储比特流的记录介质
CN115668930A (zh) 基于层之间是否进行参考确定子层的图像编码/解码方法和设备及发送比特流的方法
CN116134819A (zh) 基于poc msb信息进行图像编码/解码的方法和设备及存储比特流的记录介质
CN115769579A (zh) 基于子层的所需数目确定子层的图像编码/解码方法和装置以及比特流发送方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination