CN114731405A - 使用量化矩阵的图像编码/解码方法和设备以及发送比特流的方法 - Google Patents

使用量化矩阵的图像编码/解码方法和设备以及发送比特流的方法 Download PDF

Info

Publication number
CN114731405A
CN114731405A CN202080079427.9A CN202080079427A CN114731405A CN 114731405 A CN114731405 A CN 114731405A CN 202080079427 A CN202080079427 A CN 202080079427A CN 114731405 A CN114731405 A CN 114731405A
Authority
CN
China
Prior art keywords
quantization matrix
current block
block
information
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080079427.9A
Other languages
English (en)
Inventor
张炯文
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN114731405A publication Critical patent/CN114731405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种图像编码/解码方法和设备。根据本公开的图像解码方法包括以下步骤：从比特流获得当前块的量化模式信息；基于量化模式信息来确定是否从参考量化矩阵构建当前块的量化矩阵；以及基于确定结果来构建当前块的量化矩阵，其中，当从参考量化矩阵构建当前块的量化矩阵时，可以基于参考量化矩阵的识别信息来构建当前块的量化矩阵，当不从参考量化矩阵构建当前块的量化矩阵时，可以基于从比特流获得的量化矩阵的值来构建当前块的量化矩阵，并且当当前块是帧内预测的色度块时，仅当当前块的大小大于2×2时才构建当前块的量化矩阵。

Description

使用量化矩阵的图像编码/解码方法和设备以及发送比特流 的方法
技术领域
本公开涉及图像编码/解码方法和设备以及发送比特流的方法，更具体地，涉及一种使用量化矩阵的图像编码/解码方法和设备以及发送通过本公开的图像编码方法/设备生成的比特流的方法。
背景技术
最近，各个领域对高分辨率和高质量图像，例如高清(HD)图像和超高清(UHD)图像的需求正在增加。随着图像数据的分辨率和质量的提高，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地传输、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
本公开的另一目的是提供一种能够高效地用信号通知量化矩阵的图像编码/解码方法和设备。
本公开的另一目的是提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
本公开的另一目的是提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
本公开的另一目的是提供一种存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流的记录介质。
本公开所解决的技术问题不限于上述技术问题，本领域技术人员通过以下描述将清楚此处未描述的其它技术问题。
技术方案
由根据本公开的一方面的图像解码设备执行的图像解码方法可以包括：从比特流获得当前块的量化模式信息；基于量化模式信息来确定是否从参考量化矩阵构建当前块的量化矩阵；以及基于确定结果来构建当前块的量化矩阵。基于从参考量化矩阵构建当前块的量化矩阵，可以基于参考量化矩阵的识别信息来构建当前块的量化矩阵。基于不从参考量化矩阵构建当前块的量化矩阵，可以基于从比特流获得的量化矩阵的值来构建当前块的量化矩阵。基于当前块是帧内预测的色度块，仅当当前块的大小大于2×2时才可以构建当前块的量化矩阵。
根据本公开的一方面的图像解码设备可以包括存储器和至少一个处理器。至少一个处理器可以：从比特流获得当前块的量化模式信息；基于量化模式信息来确定是否从参考量化矩阵构建当前块的量化矩阵；并且基于确定结果来构建当前块的量化矩阵。基于从参考量化矩阵构建当前块的量化矩阵，可以基于参考量化矩阵的识别信息来构建当前块的量化矩阵。基于不从参考量化矩阵构建当前块的量化矩阵，可以基于从比特流获得的量化矩阵的值来构建当前块的量化矩阵。基于当前块是帧内预测的色度块，仅当当前块的大小大于2×2时才可以构建当前块的量化矩阵。
由根据本公开的一方面的图像编码设备执行的图像编码方法可以包括：从比特流对当前块的量化模式信息进行编码；基于量化模式信息来确定是否从参考量化矩阵构建当前块的量化矩阵；以及基于确定结果对关于当前块的量化矩阵的信息进行编码。基于从参考量化矩阵构建当前块的量化矩阵，参考量化矩阵的识别信息可以被编码。基于不从参考量化矩阵构建当前块的量化矩阵，当前块的量化矩阵的值可以被编码。基于当前块是帧内预测的色度块，仅当当前块的大小大于2×2时才可以构建当前块的量化矩阵。
另外，根据本公开的另一方面的传输方法可以发送由本公开的图像编码设备或图像编码方法生成的比特流。
另外，根据本公开的另一方面的计算机可读记录介质可以存储由本公开的图像编码设备或图像编码方法生成的比特流。
以上关于本公开的简要概述的特征仅仅是本公开的以下详细描述的示例性方面，并不限制本公开的范围。
有益效果
根据本公开，可提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
另外，根据本公开，可提供一种能够仅对大小大于预定大小的量化矩阵进行编码/解码的图像编码/解码方法和设备。
另外，根据本公开，可提供一种能够根据当前块的预测模式和颜色分量不同地构建量化矩阵的图像编码/解码方法和设备。
另外，根据本公开，可提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
另外，根据本公开，可提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
另外，根据本公开，可提供一种存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流的记录介质。
本领域的技术人员将理解，通过本公开可以实现的效果不限于上文已经具体描述的内容，并且将从详细描述中更清楚地理解本公开的其它优点。
附图说明
图1是示意性地示出本公开的实施方式适用的视频编码系统的视图。
图2是示意性地示出本公开的实施方式适用于的图像编码设备的视图。
图3是示意性地示出本公开的实施方式适用于的图像解码设备的视图。
图4是示出根据实施方式的图像的分割结构的视图。
图5a至图5c是例示画面的分割示例的视图。
图6是示出根据多类型树结构的块的分割类型的实施方式的视图。
图7是示出根据本公开的具有嵌套多类型树结构的四叉树中的块划分信息的信令机制的视图。
图8是示出通过在应用四叉树之后应用多类型树来将CTU分割为多个CU的示例的视图。
图9示出在二叉树划分和三叉树划分中可以出现的冗余划分图案。
图10是例示CU划分被限制的示例的视图。
图11是例示基于帧间预测的视频/图像编码方法的流程图。
图12是例示根据本公开的帧间预测单元180的配置的视图。
图13是例示基于帧间预测的视频/图像解码方法的流程图。
图14是例示根据本公开的帧间预测单元260的配置的视图。
图15是例示量化矩阵的各个大小的sizeId的示例的视图。
图16是例示基于图15的示例构建的当前块的量化矩阵的示例的视图。
图17是例示根据本公开的实施方式的对量化矩阵进行编码的方法的流程图。
图18是例示基于图16的示例执行量化矩阵的编码方法的语法的示例的视图。
图19是例示根据本公开的实施方式的当前块的量化矩阵的示例的视图。
图20是例示基于图19的示例执行量化矩阵的编码方法的语法的示例的视图。
图21是例示根据本公开的实施方式的对量化矩阵进行解码的方法的流程图。
图22是示出本公开的实施方式适用于的内容流系统的视图。
具体实施方式
以下，将结合附图对本公开的实施例进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于这里描述的实施例。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“耦合”或“链接”到另一个组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其他组件时，除非另有说明，否则是指还可以包括其他组件，而不是排除其他组件。
在本公开中，术语第一、第二等仅用于将一个组件与其他组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施例中的第一部件在另一个实施例中可以被称为第二部件，类似地，一个实施例中的第二部件在另一个实施例中可以被称为第一部件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施例也包括在本公开的范围内。
在本公开中，各个实施例中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施例中描述的组件的子集组成的实施例也包括在本公开的范围内。此外，除了在各种实施例中描述的组件之外还包括其他组件的实施例包括在本公开的范围内。
本公开涉及图像的编码(encoding)和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“画面”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成画面的一部分的编码(coding)单元，一个画面可以由一个或多个切片/拼块组成。此外，切片/拼块可以包括一个或多个编码树单元(CTU)。
在本公开中，“像素”或“像元(pel)”可以意指构成一个画面(或图像)的最小单个。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括画面的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编码块”、“当前编码单元”、“编码目标块”、“解码目标块”或“处理目标块”之一。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
另外，在本公开中，“当前块”可以意指包括亮度分量块和色度分量块二者的块，或者除非明确表述为色度块，否则意指“当前块的亮度块”。当前块的色度分量块可以通过包括诸如“亮度块”或“当前亮度块”的亮度分量块的明确描述来表达。另外，当前块的色度分量块可以通过包括诸如“色度块”或“当前色度块”的色度分量块的明确描述来明确表达。
在本公开中，斜线“/”或“、”可以解释为指示“和/或”。例如，“A/B”和“A、B”可以意指“A和/或B”。此外，“A/B/C”和“A、B、C”可以意指“A、B和/或C中的至少一个”。
在本公开中，术语“或”应被解释以指示“和/或”。例如，表达“A或B”可以包括1)仅“A”，2)仅“B”，或3)“A和B”两者。换言之，在本公开中，“或”应被解释以指示“附加地或可替选地”。
视频编码系统概述
图1是示意性地示出根据本公开的视频编码系统的视图。
根据实施例的视频编码系统可以包括编码装置10和解码装置20。编码装置10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码装置20。
根据实施例的编码装置10可以包括视频源生成器11、编码单元12和发射器13。根据实施例的解码装置20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发射器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的设备或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获设备和/或视频/图像生成设备。视频/图像捕获设备可以包括例如一个或多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成设备可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编码效率，编码单元12可以执行一系列过程，例如预测、变换和量化。编码单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
发射器13可以通过数字存储介质或网络以文件或流的形式将编码的视频/图像信息或以比特流的形式输出的数据传输到解码装置20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发射器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码装置概要
图2是示意性地示出本公开的实施例可适用于的图像编码装置的视图。
如图2所示，图像编码装置100可以包括图像分割器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测单元180、帧内预测单元185和熵编码器190。帧间预测单元180和帧内预测单元185可以统称为“预测单元”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施例中，配置图像编码装置100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码画面缓冲器(DPB)并且可以由数字存储介质配置。
图像分割器110可将输入到图像编码装置100的输入图像(或画面或帧)分割成一个或多个处理单元。例如，处理单元可以称为编码单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分割编码树单元(CTU)或最大编码单元(LCU)来获取编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分割为更深深度的多个编码单元。对于编码单元的分割，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。可以将最大编码单元用作最终编码单元，也可以将通过分割最大编码单元获取的更深深度的编码单元用作最终编码单元。这里，编码过程可以包括稍后将描述的预测、变换和重构的过程。作为另一个示例，编码过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编码单元划分或分割。预测单元可以是样本预测单元，变换单元可以是用于导出变换系数的单元和/或用于从变换系数导出残差信号的单元。
预测单元(帧间预测单元180或帧内预测单元185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测单元可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测单元可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测单元185可以通过参考当前画面中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测单元185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测单元180可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如，帧间预测单元180可基于邻近块配置运动信息候选列表并生成指定使用哪个候选来导出当前块的运动向量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测单元180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且当前块的运动向量可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测单元可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测单元不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。此外，预测单元可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前画面中先前重构的参考块来预测当前画面的方法。当应用IBC时，参考块在当前画面中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测来执行，因为在当前画面内导出参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测来执行，因为在当前画面内导出参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
预测单元生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测单元输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的方形像素块或者可以应用于具有可变大小而不是方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可基于系数扫描顺序将块形式的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码除量化变换系数之外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单元进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发射器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码装置100的内部/外部元件。替代地，可以提供发射器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化的变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，生成重构信号(重构图像、重构块、重构样本阵列)。如果要处理块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个画面进行帧间预测。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括，例如，去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构画面可以用作帧间预测单元180中的参考画面。当通过图像编码装置100应用帧间预测时，可以避免图像编码装置100和图像解码装置之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构画面以用作帧间预测单元180中的参考画面。存储器170可以存储从其中导出(或编码)当前画面中的运动信息的块的运动信息和/或画面中已重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前画面中重构块的重构样本并且可以将重构样本传送到帧内预测单元185。
图像解码装置概述
图3是示意性地示出本公开的实施例可适用的图像解码装置的视图。
如图3所示，图像解码装置200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可以统称为“预测单元”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施例，配置图像解码装置200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码画面缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码装置200可以通过执行与由图2的图像编码装置100执行的处理相对应的处理来重构图像。例如，图像解码装置200可以使用在图像编码装置中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元。编码单元可以通过分割编码树单元或最大编码单元来获得。通过图像解码装置200解码和输出的重构图像信号可以通过再现装置(未示出)再现。
图像解码装置200可以接收以比特流的形式从图2的图像编码装置输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以导出图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码装置还可以基于参数集信息和/或通用约束信息对画面进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率，对bin进行算术解码，生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测单元(帧间预测单元260和帧内预测单元265)，以及在熵解码器210中对其执行熵解码的残差值，即，量化的变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将关于熵解码器210解码的信息当中的滤波的信息提供给滤波器240。同时，用于接收从图像编码装置输出的信号的接收器(未示出)可以进一步被配置为图像解码装置200的内部/外部元件，或者接收器可以是熵解码器210的组件。
同时，根据本公开的图像解码装置可以被称为视频/图像/画面解码装置。图像解码装置可以分为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元160或帧内预测单元265中的至少一个。
解量化器220可以对量化的变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化的变换系数。在这种情况下，可以基于在图像编码装置中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化的变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测单元可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测单元可以基于关于从熵解码器210输出的预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定的帧内/帧间预测模式(预测技术)。
与在图像编码装置100的预测单元中描述的相同的是，预测单元可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测单元265可以通过参考当前画面中的样本来预测当前块。帧内预测单元185的描述同样适用于帧内预测单元265。
帧间预测单元260可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来导出当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。例如，帧间预测单元260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息导出当前块的运动向量和/或参考画面索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测单元(包括帧间预测单元260和/或内预测单元265)输出的预测信号(预测块、预测样本阵列)相加生成重构块。如果要处理的块没有残差，诸如在应用跳过模式时，则可以将预测块用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个画面进行帧间预测。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括，例如，去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构画面可以用作帧间预测单元260中的参考画面。存储器250可以存储从其中导出(或解码)当前画面中的运动信息的块的运动信息和/或画面中已重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前画面中重构块的重构样本并将重构样本传送到帧内预测单元265。
在本公开中，在图像编码装置100的滤波器160、帧间预测单元180和帧内预测单元185中描述的实施例可以同等地或对应地应用于图像解码装置200的滤波器240、帧间预测单元260和帧内预测单元265。
图像分割的概述
可以基于图像分割结构来执行根据本公开的视频/图像编码方法如下。具体地，可以基于根据图像分割结构而推导的CTU、CU(和/或TU、PU)来执行将稍后描述的预测、残差处理((逆)变换、(解)量化等)、语法元素编码和滤波的过程。可以以块为单位对图像进行分割并且可以在编码设备的图像分割器110中执行块分割过程。分割相关信息可以由熵编码器190编码并且以比特流的形式发送到解码设备。解码设备的熵解码器210可以基于从比特流获得的分割相关信息来推导当前画面的块分割结构，并且基于此，可以执行一系列的过程(例如，预测、残差处理、块/画面重构、环路内滤波等)以进行图像解码。CU大小和TU大小可以相同，或者在CU区域中可以存在多个TU。同时，CU大小通常可以表示亮度分量(样本)CB大小。TU大小通常可以表示亮度分量(样本)TB大小。可以根据画面/图像的色度格式(颜色格式，例如4:4:4、4:2:2、4:2:0等)根据分量比基于亮度分量(样本)CB或TB大小来推导色度分量(样本)CB或TB大小。可以基于指定可用最大TB大小的maxTbSize来推导TU大小。例如，当CU大小大于maxTbSize时，可以从CU推导maxTbSize的多个TU(TB)，并且可以以TU(TB)为单位执行变换/逆变换。另外，例如，当应用帧内预测时，可以以CU(或CB)为单位推导帧内预测模式/类型，并且可以以TU(或TB)为单位执行邻近参考样本推导和预测样本生成过程。在这种情况下，在一个CU(或CB)区域中可以存在一个或多个TU(或TB)，并且在这种情况下，多个TU(或TB)可以共享相同的帧内预测模式/类型。
另外，在根据本公开的图像编码和解码中，图像处理单元可以具有分层结构。例如，一个画面可以被分割为一个或更多个拼块或拼块组。一个拼块组可以包括一个或更多个拼块。一个拼块可以包括一个或更多个CTU。如上所述，CTU可以被分割为一个或更多个CU。拼块可以由包括画面中的特定行和特定列中组装的CTU的矩形区域组成。根据拼块光栅扫描，拼块组可以包括整数个拼块。拼块组头可以用信号通知适用于对应拼块组的信息/参数。当编码/解码设备具有多核处理器时，拼块或拼块组的编码/解码过程可以并行执行。这里，拼块组可以具有包括帧内(I)拼块组、预测(P)拼块组和双预测(B)拼块组的拼块组类型之一。对于I拼块组中的块，可以不使用帧间预测，仅帧内预测可以用于预测。当然，即使在这种情况下，原始样本值也可以被编码并用信号通知而无需预测。对于P拼块组中的块，可以使用帧内预测或帧间预测，并且在帧间预测时可以仅使用单预测(uni-prediction)。同时，对于B拼块组中的块，可以使用帧内预测或帧间预测，并且当使用帧间预测时可以使用直至双预测(bi prediction)。
在编码设备中，可以根据图像的特性(例如，分辨率)并考虑编码效率或并行处理来确定拼块/拼块组、切片和最大和最小编码单元大小，并且关于其的信息或能够推导其的信息可以包括在比特流中。
在解码设备中，可以获得指定当前画面的切片、拼块/拼块组或拼块中的CTU被分割为多个编码单元的信息。当仅在特定条件下获得(发送)这种信息时，效率可以增加。
切片头或拼块组头(拼块组头语法)可以包括共同适用于切片或拼块组的信息/参数。APS(APS语法)或PPS(PPS语法)可以包括共同适用于一个或更多个画面的信息/参数。SPS(SPS语法)可以包括共同适用于一个或更多个序列的信息/参数。VPS(VPS语法)可以包括共同适用于整个视频的信息/参数。在本公开中，最高级别语法可以包括APS语法、PPS语法、SPS语法或VPS语法中的至少一个。
另外，例如，关于拼块/拼块组的分割和构建的信息可以在编码阶段通过高级语法构建并以比特流的形式发送到解码设备。
分割结构
画面可以被分割成编码树单元(CTU)的序列。CTU可以对应于编码树块(CTB)。另选地，CTU可以包括亮度样本的编码树块和对应色度样本的两个编码树块。例如，对于包含三个样本阵列的画面，CTU可以包括亮度样本的一个N×N块和色度样本的两个对应块。图4示出画面被分割为CTU的示例。
用于编码和预测的CTU的最大允许大小可不同于用于变换的CTU。例如，即使当用于变换的CTU中的亮度块的最大大小为64×64时，用于编码和预测的CTU的亮度块的最大大小可为128×128。
另外，画面可以被分割为一个或更多个拼块行和一个或更多个拼块列。拼块可以是覆盖画面中的矩形区域的CTU序列。
拼块可以被分割为一个或更多个图块，各个图块可以由拼块中的多个CTU行组成。在本公开中，未被分割为多个图块的拼块可以被称为图块。
切片可以包括画面中的多个拼块或拼块中的多个图块。可以支持两个切片模式。一个可以是光栅扫描切片模式，另一个可以是矩形切片模式。
在光栅切片模式下，切片可以根据光栅扫描顺序包括画面内的多个连续拼块。在本公开中，根据光栅扫描切片模式的切片可以被称为光栅扫描切片。
在矩形切片模式下，切片可以包括画面内构建矩形区域的多个图块。在本公开中，根据矩形切片模式的切片可以被称为矩形切片。根据切片的图块光栅扫描顺序可以存在包括在矩形切片中的多个图块。
图5a至图5c是例示画面的分割示例的视图。
首先，参照图5a，在光栅扫描切片模式下，画面可以被分割为12个拼块和三个光栅扫描切片。
参照图5b，在矩形切片模式下，画面可以被分割为24个拼块(即，六个拼块行和四个拼块列)和九个矩形切片。
参照图5c，画面可以被分割为四个拼块(即，两个拼块行和两个拼块列)、11个图块(即，一个左上图块、五个右上图块、两个左下图块和三个右下图块)和四个矩形切片。
CTU分割的概述
如上所述，可以通过根据四叉树/二叉树/三叉树(QT/BT/TT)结构递归地对编码树单元(CTU)或最大编码单元(LCU)进行分割来获取编码单元。例如，CTU可以被首先分割成四叉树结构。此后，可以通过多类型树结构对四叉树结构的叶节点进一步进行分割。
根据四叉树的分割意味着当前CU(或CTU)被同等地分割成四个。通过根据四叉树的分割，可以将当前CU分割成具有相同宽度和相同高度的四个CU。在当前CU不再被分割成四叉树结构时，当前CU对应于四叉树结构的叶节点。与四叉树结构的叶节点对应的CU可以不再被分割并且可以被用作上述最终编码单元。另选地，可以通过多类型树结构对与四叉树结构的叶节点对应的CU进一步进行分割。
图6是示出了根据多类型树结构的块的分割类型的实施例的视图。根据多类型树结构的分割可以包括根据二叉树结构的两种类型的划分和根据三叉树结构的两种类型的划分。
根据二叉树结构的两种类型的划分可以包括垂直二叉划分(SPLIT_BT_VER)和水平二叉划分(SPLIT_BT_HOR)。垂直二叉划分(SPLIT_BT_VER)意味着当前CU被在垂直方向上同等地划分成两个。如图5所示，通过垂直二叉划分，可以生成高度与当前CU相同并且宽度为当前CU的宽度的一半的两个CU。水平二叉划分(SPLIT_BT_HOR)意味着当前CU被在水平方向上同等地划分成两个。如图5所示，通过水平二叉划分，可以生成高度为当前CU的高度的一半并且宽度与当前CU相同的两个CU。
根据三叉数结构的两种类型的划分可以包括垂直三叉划分(SPLIT_TT_VER)和水平三叉划分(SPLIT_TT_HOR)。在垂直三叉划分(SPLIT_TT_VER)中，当前CU被以1:2:1的比率在垂直方向上划分。如图5所示，通过垂直三叉划分，可以生成高度与当前CU相同并且宽度为当前CU的宽度的1/4的两个CU，以及高度与当前CU相同并且宽度为当前CU的宽度的一半的CU。在水平三叉划分(SPLIT_TT_HOR)中，当前CU被以1:2:1的比率在水平方向上划分。如图5所示，通过水平三叉划分，可以生成高度为当前CU的高度的1/4并且宽度与当前CU相同的两个CU，以及高度为当前CU的高度的一半并且宽度与当前CU相同的CU。
图7是示出了根据本公开的具有嵌套多类型树结构的四叉树中的块划分信息的信令机制的视图。
这里，CTU被视为四叉树的根节点，并且被首次分割成四叉树结构。指定是否对当前CU(四叉树的CTU或节点(QT_node))执行四叉树划分的信息(例如，qt_split_flag)被发信号通知。例如，当qt_split_flag具有第一值(例如，“1”)时，当前CU可以被四叉树分割。另外，当qt_split_flag具有第二值(例如，“0”)时，当前CU不四叉树分割，而是变成四叉树的叶节点(QT_leaf_node)。然后可以将每个四叉树叶节点进一步分割成多类型树结构。也就是说，四叉树的叶节点可以变成多类型树的节点(MTT_node)。在多类型树结构中，第一标志(例如，Mtt_split_cu_flag)被发信号通知以指定当前节点是否被附加地分割。如果对应节点被附加地分割(例如，如果第一标志为1)，则可以发信号通知第二标志(例如，Mtt_split_cu_vertical_flag)以指定划分方向。例如，划分方向在第二标志为1的情况下可以是垂直方向，而在第二标志为0的情况下可以是水平方向。然后，可以发信号通知第三标志(例如，Mtt_split_cu_binary_flag)以指定划分类型是二叉划分类型还是三叉划分类型。例如，划分类型在第三标志为1时可以是二叉划分类型，而在第三标志为0时可以是三叉划分类型。通过二叉划分或三叉划分获取的多类型树的节点可以被进一步分割成多类型树结构。然而，可以不将多类型树的节点分割成四叉树结构。如果第一标志为0，则多类型树的对应节点不再被划分，而是变成多类型树的叶节点(MTT_leaf_node)。与多类型树的叶节点对应的CU可以被用作上述最终编码单元。
基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag，可以如下表1所示导出CU的多类型树划分模式(MttSplitMode)。在以下描述中，多类型树划分模式可以被称为多树划分类型或划分类型。
[表1]
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
图8是示出了在应用四叉树之后通过应用多类型树来将CTU分割成多个CU的示例的视图。在图8中，粗体块边810表示四叉树分割，而剩余边820表示多类型树分割。CU可以对应于编码块(CB)。在实施例中，CU可以包括亮度样本的编码块和与亮度样本对应的色度样本的两个编码块。
可以基于根据画面/图像的颜色格式(色度格式，例如，4:4:4、4:2:2、4:2:0等)的分量比率基于亮度分量(样本)CB或TB大小来导出色度分量(样本)CB或TB大小。在4:4:4颜色格式的情况下，可以将色度分量CB/TB大小设置为等于亮度分量CB/TB大小。在4:2:2颜色格式的情况下，可以将色度分量CB/TB的宽度设置为亮度分量CB/TB的宽度的一半并且可以将色度分量CB/TB的高度设置为亮度分量CB/TB的高度。在4:2:0颜色格式的情况下，可以将色度分量CB/TB的宽度设置为亮度分量CB/TB的宽度的一半并且可以将色度分量CB/TB的高度设置为亮度分量CB/TB的高度的一半。
在实施例中，当CTU的大小基于亮度样本单元为128时，CU的大小可以具有从128x128至4x4的大小，其是与CTU相同的大小。在一个实施例中，在4:2:0颜色格式(或色度格式)的情况下，色度CB大小可以具有从64x64至2x2的大小。
同时，在实施例中，CU大小和TU大小可以是相同的。另选地，在CU区域中可以有多个TU。TU大小通常表示亮度分量(样本)变换块(TB)大小。
可以基于作为预定值的最大允许TB大小maxTbSize来导出TU大小。例如，当CU大小大于maxTbSize时，可以从CU导出具有maxTbSize的多个TU(TB)，并且可以以TU(TB)为单元执行变换/逆变换。例如，最大允许亮度TB大小可以是64x64并且最大允许色度TB大小可以是32x32。如果根据树结构分割的CB的宽度或高度大于最大变换宽度或高度，则CB可以被自动地(或隐式地)分割，直到满足水平和垂直方向上的TB大小极限为止。
另外，例如，当应用帧内预测时，可以以CU(或CB)为单元导出帧内预测模式/类型，并且可以以TU(或TB)为单元执行邻近参考样本导出和预测样本生成过程。在这种情况下，在一个CU(或CB)区域中可以有一个或多个TU(或TB)，并且在这种情况下，多个TU或(TB)可以共享相同的帧内预测模式/类型。
同时，对于具有嵌套多类型树的四叉树编码树方案，可以将以下参数作为SPS语法元素从编码装置发信号通知给解码装置。例如，作为表示四叉树的根节点大小的参数的CTU大小、作为表示最小允许四叉树叶节点大小的参数的MinQTSize、作为表示最大允许二叉树根节点大小的参数的MaxBtSize、作为表示最大允许三叉树根节点大小的参数的MaxTtSize、作为表示从四叉树叶节点起进行多类型树划分的最大允许层次深度的参数的MaxMttDepth、作为表示最小允许二叉树树叶节点大小的参数的MinBtSize、或作为表示最小允许三叉数叶节点大小的参数的MinTtSize中的至少一个被发信号通知。
作为使用4:2:0色度格式的实施例，可以将CTU大小设置为128x128亮度块和与这些亮度块对应的两个64x64色度块。在这种情况下，可以将MinOTSize设置为16x16，可以将MaxBtSize设置为128x128，可以将MaxTtSzie设置为64x64，可以将MinBtSize和MinTtSize设置为4x4，并且可以将MaxMttDepth设置为4。四叉树分割可以被应用于CTU以生成四叉树叶节点。四叉树叶节点可以被称作叶QT节点。四叉树叶节点的大小可以从16x16大小(例如，MinOTSize)至128x128大小(例如，CTU大小)。如果叶QT节点是128x128，则它可能未被附加地分割成二叉树/三叉树。这是因为，在这种情况下，即使被分割，它也超过MaxBtsize和MaxTtszie(例如，64x64)。在其它情况下，叶QT节点可以被进一步分割成多类型树。因此，叶QT节点是多类型树的根节点，并且叶QT节点可以具有多类型树深度(mttDepth)0值。如果多类型树深度达到MaxMttdepth(例如4)，则可以不考虑进一步分割。如果多类型树节点的宽度等于MinBtSize并且小于或等于2xMinTtSize，则可以不考虑进一步水平分割。如果多类型树节点的高度等于MinBtSize并且小于或等于2xMinTtSize，则可以不考虑进一步垂直分割。当不考虑分割时，编码装置可以跳过分割信息的信令。在这种情况下，解码装置可以导出具有预定值的分割信息。
同时，一个CTU可以包括亮度样本的编码块(在下文中称为“亮度块”)和与其对应的色度样本的两个编码块(在下文中称为“色度块”)。上述编码树方案可以被同等地或单独地应用于当前CU的亮度块和色度块。具体地，可以将一个CTU中的亮度块和色度块分割成相同的块树结构，并且在这种情况下，树结构被表示为SINGLE_TREE。另选地，可以将一个CTU中的亮度块和色度块分割成单独的块树结构，并且在这种情况下，可以将树结构表示为DUAL_TREE。也就是说，当CTU被划分成双树时，用于亮度块的块树结构和用于色度块的块树结构可以分别存在。在这种情况下，可以将用于亮度块的块树结构称作DUAL_TREE_LUMA，并且可以将用于色度分量的块树结构称DUAL_TREE_CHROMA。对于P和B切片/拼块组，可以将一个CTU中的亮度块和色度块限制为具有相同的编码树结构。然而，对于I切片/拼块组，亮度块和色度块可以具有彼此分开的块树结构。如果应用单独的块树结构，则可以基于特定编码树结构来将亮度CTB划分成CU，并且可以基于另一编码树结构来将色度CTB分割成色度CU。也就是说，这意味着应用单独的块树结构的I切片/拼块组中的CU可以包括亮度分量的编码块或两个色度分量的编码块并且P或B切片/拼块组的CU可以包括三个颜色分量(一个亮度分量和两个色度分量)的块。
尽管已经描述了具有嵌套多类型树的四叉树编码树结构，但是对CU进行分割的结构不限于此。例如，可以将BT结构和TT结构解释为多分割树(MPT)结构中包括的概念，并且可以将CU解释为通过QT结构和MPT结构被分割。在通过QT结构和MPT结构对CU进行分割的示例中，可以发信号通知包括关于QT结构的叶节点被分割成多少块的信息的语法元素(例如MPT_split_type)以及包括关于QT结构的叶节点被分割成垂直方向和水平方向中的那个的信息的语法元素(例如MPT_split_mode)，以确定分割结构。
在另一示例中，可以以与QT结构、BT结构或TT结构不同的方式对CU进行分割。也就是说，不同于根据QT结构将较低深度的CU分割成较高深度的CU的1/4，根据BT结构将较低深度的CU分割成较高深度的CU的1/2，或者根据TT结构将较低深度的CU分割成较高深度的CU的1/4或1/2，在一些情况下可以将较低深度的CU分割成较高深度的CU的1/5、1/3、3/8、3/5、2/3或5/8，并且对CU进行分割的方法不限于此。
当树节点块的一部分超过画面的下画面边界和/或右画面边界时，可以限制对应树节点块，使得所有编码CU中的样本均位于画面边界中。在这种情况下，例如，可以应用以下划分规则。
划分规则1：作为树节点块的一部分超过下画面边界和右画面边界二者的情况，当树节点块是大小大于最小QT大小的QT节点时，树节点块可以在QT划分模式下划分，当树节点块的大小等于或小于最小QT大小或者不是QT节点时，树节点块在水平二叉划分模式SPLIT_BT_HOR模式下划分。
划分规则2：作为不满足划分规则1并且树节点块的一部分超过下画面边界的情况，当树节点块是大小大于最小QT大小和最大BT大小的QT节点时，树节点块在QT划分模式下划分，当树节点块是大小等于或小于最小QT大小的BTT节点时，树节点块在水平二叉划分模式下划分。
划分规则3：作为不满足划分规则1和划分规则2并且树节点块的一部分超过右画面边界的情况，当树节点块是大小大于最小QT大小和最大BT大小的QT节点时，树节点块在QT划分模式下划分，当树节点块的大小大于最小QT大小并且等于或小于最大BT大小时，树节点块在QT划分模式或水平二叉划分模式下划分。另选地，当树节点块是BTT节点或者大小等于或小于最小QT大小时，树节点块在水平二叉划分模式下划分。
如上所述，具有多类型树的四叉树编码块结构可以提供非常灵活的块分割结构。由于在多类型树中支持的分割类型，在一些情况下不同的分割图案可以潜在地产生相同的编码块结构。在编码装置和解码装置中，通过限制此类冗余分割图案的出现，可以减少分割信息的数据量。
例如，图9示出了在二叉树划分和三叉树划分中可能出现的冗余划分图案。如图9所示，针对两步级别的一个方向的连续二叉划分910和920具有与三叉划分之后针对中心分割的二叉划分相同的编码块结构。在这种情况下，可以禁止针对三叉树划分的中心块930和940的二叉树划分。此禁止适用于所有画面的CU。当这种特定划分被禁止时，可以通过反映这种被禁止情况来修改对应语法元素的信令，从而减少针对划分发信号通知的比特的数量。例如，如图9中示出的示例所示，当针对CU的中心块的二叉树划分被禁止时，不发信号通知指定划分是二叉划分还是三叉划分的语法元素mtt_split_cu_binary_flag并且其值可以由解码装置导出为0。
虚拟管线数据单元
可以定义虚拟管线数据单元(VPDU)以用于画面内的管线处理。VPDU可以被定义为一个画面内的非交叠单元。在硬件解码设备中，连续VPDU可以由多个管线级同时处理。在大多数管线级中，VPDU大小可以与缓冲器大小大致成比例。因此，从硬件的角度当考虑缓冲器大小时，保持VPDU大小较小很重要。在大多数硬件解码设备中，VPDU大小可以设定为等于最大变换块(TB)大小。例如，VPDU大小可以是64×64(64×64亮度样本)大小。另选地，在VVC中，可以考虑上述三叉树(TT)和/或二叉树(BT)划分改变(增大或减小)VPDU大小。
此外，为了将VPDU大小保持在64×64，可以应用以下限制中的至少一个。
限制1：不允许对宽度或高度中的至少一个为128的CU的三叉树划分。
限制2：不允许对宽度为128并且高度为64或更小的CU(即，128×N CU，N≤64)的水平二叉树划分。
限制3：不允许对宽度为64或更小或者高度为128的CU(即，N×128CU，N≤64)的垂直二叉树划分。
图10中示出在上述限制下现在允许的CU的划分示例。在图10中，粗实线表示块划分，剩余实线表示CU。
参照图10，根据限制1，不允许对128×128CU 1010的垂直三叉树划分。另外，根据限制1，不允许对128×128CU 1020的水平三叉树划分。另外，根据限制3，不允许对64×128CU 1030的垂直二叉树划分。另外，根据限制2，不允许对128×64CU1040的水平二叉树划分。另外，根据限制1，不允许对64×128CU 1050的垂直三叉树划分。另外，根据限制1，不允许对128×64CU 1060的水平三叉树划分。另外，根据限制1，不允许对64×128CU 1070的水平三叉划分。另外，根据限制1，不允许对128×64CU 1080的垂直三叉划分。
同时，在帧内画面内的双树中，不同的分割结构可以应用于亮度编码树和色度编码树。在双树中，可以引入更长的编码管线，在色度编码树中，可以根据QTBT MinQTSizeC值、MinBtSizeY和MinTTSizeY的范围允许大小较小(例如，2×2、4×2和2×4)的色度块。然而，这可能使得难以设计实际解码设备。另外，在交叉分量线性模型(CCLM)模式、平面模式、角模式等下需要乘法运算。为了解决上述问题，在双树中，可以通过分割限制来限制大小较小(例如，2×2、4×2和2×4)的色度块。
量化/解量化的概述
下文中，将描述根据本公开的量化/解量化。
如上所述，编码设备的量化单元可以通过对变换系数应用量化来推导量化的变换系数，编码设备的解量化单元或解码设备的解量化单元可以通过对量化的变换系数应用解量化来推导变换系数。
通常，在视频/图像编码中，可以改变量化率，并且可以使用改变的量化率来调节压缩率。从实现角度，考虑到复杂度，代替直接使用量化率，可以使用量化参数(QP)。例如，可以使用从0至63的整数值的量化参数，并且各个量化参数的值可以对应于实际量化率。亮度分量(亮度样本)的量化参数QPY可以被设定为与色度分量(色度样本)的量化参数QPC不同的值。
在量化过程中，可以接收变换系数C作为输入并除以量化率Qstep，从而推导量化的变换系数C’。在这种情况下，考虑到计算复杂度，量化率乘以比例以形成整数，并且可以通过与比例值对应的值执行移位运算。基于量化率和比例值的乘积，可以推导量化比例。即，可以根据QP来推导量化比例。通过对变换系数C应用量化比例，可以基于此推导量化的变换系数C’。
解量化过程是量化过程的逆过程，并且量化的变换系数C’可以乘以量化率Qstep，从而推导重构的变换系数C”。在这种情况下，可以根据量化参数来推导级别比例，并且可以将级别比例应用于量化的变换系数C’，从而推导重构的变换系数C”。由于变换和/或量化过程中的损失，重构的变换系数C”可略微不同于原始变换系数C。因此，甚至编码设备也可以按照与解码设备相同的方式执行解量化。
同时，可以应用根据频率调节量化强度的自适应频率加权量化技术。自适应频率加权量化技术是根据频率不同地应用量化强度的方法。在自适应频率加权量化中，可以使用预定义的量化缩放矩阵根据频率不同地应用量化强度。即，可以进一步基于量化缩放矩阵执行上述量化/解量化过程。例如，根据当前块的大小和/或应用于当前块以便生成当前块的残差信号的预测模式是帧间预测还是帧内预测，可以使用不同的量化缩放矩阵。量化缩放矩阵也可以被称为量化矩阵或缩放矩阵。量化缩放矩阵可以预定义。另外，用于频率自适应缩放的量化缩放矩阵的频率量化比例信息可以由编码设备构建/编码并用信号通知给解码设备。频率量化比例信息可以被称为量化缩放信息。频率量化比例信息可以包括缩放列表数据scaling_list_data。基于缩放列表数据，可以推导(修改的)量化缩放矩阵。另外，频率量化比例信息可以包括指定是否存在缩放列表数据的存在标志信息。另选地，当在较高级别(例如，SPS)用信号通知缩放列表数据时，还可以包括指定是否在较低级别(例如，PPS或拼块组头等)修改缩放列表数据的信息。
帧间预测的概述
在下文中，将描述根据本公开的帧间预测。
根据本公开的图像编码装置/图像解码装置的预测单元可以以块为单元执行帧间预测以导出预测样本。帧间预测可以表示以依赖于除当前画面以外的画面的数据元素(例如，样本值、运动信息等)的方式导出的预测。当帧间预测应用于当前块时，可以基于由通过参考画面索引指示的参考画面上的运动向量指定的参考块(参考样本阵列)来导出当前块的预测块(预测块或预测样本阵列)。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性来以块、子块或样本为单元预测当前块的运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。当应用帧间预测时，邻近块可以包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以是相同或不同的。时间邻近块可以被称为并置参考块、并置CU(ColCU)或colBlock，并且包括时间邻近块的参考画面可以被称为并置画面(colPic)或colPicture。例如，可以基于当前块的邻近块来构建运动信息候选列表，并且可以发信号通知指定哪个候选被选择(使用)的标志或索引信息以便导出当前块的运动向量和/或参考画面索引。
可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，当前块的运动信息可以等于所选择的邻近块的运动信息。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动信息预测(MVP)模式的情况下，所选择的邻近块的运动向量可以被用作运动向量预测子并且可以发信号通知运动向量差。在这种情况下，可以使用运动向量预测子和运动向量差的和来导出当前块的运动向量。在本公开中，MVP模式可以具有与高级运动向量预测(AMVP)相同的含义。
根据帧间预测类型(L0预测、L1预测、Bi预测等)，运动信息可以包括L0运动信息和/或L1运动信息。L0方向上的运动向量可以被称为L0运动向量或MVL0，而L1方向上的运动向量可以被称为L1运动向量或MVL1。基于L0运动向量的预测可以被称为L0预测，基于L1运动向量的预测可以被称为L1预测，而基于L0运动向量和L1运动向量二者的预测可以被称为Bi预测。这里，L0运动向量可以指定与参考画面列表L0(L0)关联的运动向量，而L1运动向量可以指定与参考画面列表L1(L1)关联的运动向量。参考画面列表L0可以包括按输出顺序在当前画面之前的画面作为参考画面，而参考画面列表L1可以包括按输出顺序在当前画面之后的画面。先前画面可以被称为正向(参考)画面，而后续画面可以被称为反向(参考)画面。参考画面列表L0还可以包括按输出顺序在当前画面之后的画面作为参考画面。在这种情况下，在参考画面列表L0内，可以首先对先前画面编索引，然后可以对后续画面编索引。参考画面列表L1还可以包括按输出顺序在当前画面之前的画面作为参考画面。在这种情况下，在参考画面列表L1内，可以首先对后续画面编索引，然后可以对先前画面编索引。这里，输出顺序可以对应于画面顺序计数(POC)顺序。
图11是例示了基于帧间预测的视频/图像编码方法的流程图。
图12是例示了根据本公开的帧间预测单元180的配置的视图。
图11的编码方法可以由图2的图像编码装置执行。具体地，步骤S1110可以由帧间预测单元180执行，并且步骤S1120可以由残差处理器执行。具体地，步骤S1120可以由减法器115执行。步骤S1130可以由熵编码器190执行。步骤S1130的预测信息可以由帧间预测单元180导出，并且步骤S1130的残差信息可以由残差处理器导出。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。如上所述，残差样本可以通过图像编码装置的变换器120被导出为变换系数，并且变换系数可以通过量化器130被导出为量化变换系数。关于量化变换系数的信息可以由熵编码器190通过残差编码过程来编码。
图像编码装置可以对当前块执行帧间预测(S1110)。图像编码装置可以导出当前块的帧间预测模式和运动信息并且生成当前块的预测样本。这里，可以同时地执行帧间预测模式确定、运动信息导出和预测样本生成过程或者可以在其它过程之前执行其任何一个。例如，如图12所示，图像编码装置的帧间预测单元180可以包括预测模式确定单元181、运动信息导出单元182和预测样本导出单元183。预测模式确定单元181可以确定当前块的预测模式，运动信息导出单元182可以导出当前块的运动信息，并且预测样本导出单元183可以导出当前块的预测样本。例如，图像编码装置的帧间预测单元180可以通过运动估计在参考画面的预定区域(搜索区域)内搜索与当前块类似的块，并且导出其与当前块的差等于或小于预定准则或最小值的参考块。基于此，可以导出指定参考块位于其中的参考画面的参考画面索引，并且可以基于参考块与当前块之间的位置差来导出运动向量。图像编码装置可以在各种预测模式当中确定应用于当前块的模式。图像编码装置可以针对各种预测模式比较速率失真(RD)成本，并且确定当前块的最佳预测模式。然而，由图像编码装置确定当前块的预测模式的方法不限于上述示例，并且可以使用各种方法。
例如，当跳过模式或合并模式适用于当前块时，图像编码装置可以从当前块的邻近块导出合并候选，并且使用所导出的合并候选来构建合并候选列表。另外，图像编码装置可以在通过合并候选列表中包括的合并候选指定的参考块当中导出其与当前块的差等于或小于预定准则或最小值的参考块。在这种情况下，可以选择与所导出的参考块关联的合并候选，并且可以生成指定所选择的合并候选的合并索引信息并且将其发信号通知给图像解码装置。可以使用所选择的合并候选的运动信息来导出当前块的运动信息。
作为另一示例，当MVP模式适用于当前块时，图像编码装置可以从当前块的邻近块导出运动向量预测子(mvp)候选，并且使用所导出的mvp候选来构建mvp候选列表。另外，图像编码装置可以使用从mvp候选列表中包括的mvp候选当中选择的mvp候选的运动向量作为当前块的mvp。在这种情况下，例如，指示通过上述运动估计导出的参考块的运动向量可以被用作当前块的运动向量，在mvp候选当中具有与当前块的运动向量的差最小的运动向量的当前块可以是所选择的mvp候选。可以导出作为通过从当前块的运动向量减去mvp所获得的差的运动向量差(MVD)。在这种情况下，可以将指定所选择的mvp候选的索引信息和关于MVD的信息发信号通知给图像解码装置。另外，当应用MVP模式时，可以将参考画面索引的值构建为参考画面索引信息并且单独地发信号通知给图像解码装置。
图像编码装置可以基于预测样本来导出残差样本(S1120)。图像编码装置可以通过当前块的原始样本与预测样本之间的比较来导出残差样本。例如，可以通过从原始样本减去对应的预测样本来导出残差样本。
图像编码装置可以对包括预测信息和残差信息的图像信息进行编码(S1130)。图像编码装置可以以比特流的形式输出编码的图像信息。预测信息可以包括预测模式信息(例如，跳过标志、合并标志或模式索引等)和关于运动信息的信息作为与预测过程有关的信息。在预测模式信息当中，跳过标志指定跳过模式是否适用于当前块，而合并标志指定合并模式是否适用于当前块。另选地，预测模式信息可以指定多种预测模式中的一种，诸如模式索引。当跳过标志和合并标志为0时，可以确定MVP模式适用于当前块。关于运动信息的信息可以包括作为用于导出运动向量的信息的候选选择信息(例如，合并索引、mvp标志或mvp索引)。在候选选择信息当中，合并索引可以在合并模式适用于当前块时被发信号通知并且可以是用于选择合并候选列表中包括的合并候选中的一个的信息。在候选选择信息当中，mvp标志或mvp索引可以在MVP模式适用于当前块时被发信号通知并且可以是用于选择mvp候选列表中的mvp候选中的一个的信息。另外，关于运动信息的信息可以包括关于上述MVD的信息和/或参考画面索引信息。另外，关于运动信息的信息可以包括指定是应用L0预测、L1预测还是Bi预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。
输出比特流可以被存储在(数字)存储介质中并且被发送到图像解码装置或者可以经由网络被发送到图像解码装置。
如上所述，图像编码装置可以基于参考样本和残差样本来生成重构画面(包括重构样本和重构块的画面)。这是为了图像编码装置导出与由图像解码装置执行的预测结果相同的预测结果，从而提高编码效率。因此，图像编码装置可以将重构画面(或重构样本和重构块)存储在存储器中并且将其用作用于帧间预测的参考画面。如上所述，环路内滤波过程还适用于重构画面。
图13是例示了基于帧间预测的视频/图像解码方法的流程图。
图14是例示了根据本公开的帧间预测单元260的配置的视图。
图像解码装置可以执行与由图像编码装置执行的操作对应的操作。图像解码装置可以基于接收到的预测信息来对当前块执行预测并且导出预测样本。
图13的解码方法可以由图3的图像解码装置执行。步骤S1310至S1330可以由帧间预测单元260执行，并且步骤S1310的预测信息和步骤S1340的残差信息可以由熵解码器210从比特流获得。图像解码装置的残差处理器可以基于残差信息来导出当前块的残差样本(S1340)。具体地，残差处理器的解量化器220可以基于根据残差信息而导出的解量化变换系数来执行解量化以导出变换系数，并且残差处理器的逆变换器230可以对变换系数执行逆变换以导出当前块的残差样本。步骤S1350可以由加法器235或重构器执行。
具体地，图像解码装置可以基于所接收到的预测信息来确定当前块的预测模式(S1310)。图像解码装置可以基于预测信息中的预测模式信息来确定哪种帧间预测模式适用于当前块。
例如，可以基于跳过标志来确定跳过模式是否适用于当前块。另外，可以基于合并标志来确定是合并模式还是MVP模式适用于当前块。另选地，可以基于模式索引来选择各种帧间预测模式候选中的一个。帧间预测模式候选可以包括跳过模式、合并模式和/或MVP模式或者可以包括将在下面描述的各种帧间预测模式。
图像解码装置可以基于所确定的帧间预测模式来导出当前块的运动信息(S1320)。例如，当跳过模式或合并模式适用于当前块时，图像解码装置可以构建将在下面描述的合并候选列表，并且选择合并候选列表中包括的合并候选中的一个。可以基于上述候选选择信息(合并索引)来执行选择。可以使用所选择的合并候选的运动信息来导出当前块的运动信息。例如，可以将所选择的合并候选的运动信息用作当前块的运动信息。
作为另一示例，当MVP模式适用于当前块时，图像解码装置可以构建mvp候选列表，并且使用从mvp候选列表中包括的mvp候选当中选择的mvp候选的运动向量作为当前块的mvp。可以基于上述候选选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于MVD的信息来导出当前块的MVD，并且可以基于当前块的mvp和MVD来导出当前块的运动向量。另外，可以基于参考画面索引信息来导出当前块的参考画面索引。可以将在当前块的参考画面列表中通过参考画面索引指示的画面导出为被参考以进行当前块的帧间预测的参考画面。
图像解码装置可以基于当前块的运动信息来生成当前块的预测样本(S1330)。在这种情况下，可以基于当前块的参考画面索引来导出参考画面，并且可以使用参考画面上通过当前块的运动向量指示的参考块的样本来导出当前块的预测样本。在一些情况下，还可以对当前块的预测样本中的全部或一些执行预测样本滤波过程。
例如，如图14所示，图像解码装置的帧间预测单元260可以包括预测模式确定单元261、运动信息导出单元262和预测样本导出单元263。在图像解码装置的帧间预测单元260中，预测模式确定单元261可以基于所接收到的预测模式信息来确定当前块的预测模式，运动信息导出单元262可以基于所接收到的运动信息来导出当前块的运动信息(运动向量和/或参考画面索引等)，并且预测样本导出单元263可以导出当前块的预测样本。
图像解码装置可以基于所接收到的残差信息来生成当前块的残差样本(S1340)。图像解码装置可以基于预测样本和残差样本来生成当前块的重构样本并且基于此来生成重构画面(S1350)。此后，环路内滤波过程适用于如上所述的重构画面。
如上所述，帧间预测过程可以包括确定帧间预测模式的步骤、根据所确定的预测模式来导出运动信息的步骤、以及基于所导出的运动信息来执行预测(生成预测样本)的步骤。如上所述，帧间预测过程可以由图像编码装置和图像解码装置执行。
帧内块复制(IBC)预测的概述
在下文中，将描述根据本公开的IBC预测。
IBC预测可以由图像编码/解码装置的预测单元执行。IBC预测可以被简称为IBC。IBC可以被用于诸如屏幕内容编码(SCC)的内容图像/运动图像编码。IBC预测可以基本上在当前画面中执行IBC预测，但是可以类似于帧间预测执行IBC预测，因为在当前画面内导出参考块。也就是说，IBC可以使用本公开中描述的帧间预测技术中的至少一种。例如，IBC可以使用上述运动信息(运动向量)导出方法中的至少一种。可以考虑到IBC预测部分地修改和使用帧间预测技术中的至少一种。IBC可以参考当前画面并且因此可以被称为当前画面参考(CPR)。
对于IBC，图像编码设备可以执行块匹配(BM)并推导当前块(例如，CU)的最佳块向量(或运动向量)。可以使用与上述帧间预测中的运动信息(运动向量)的信令类似的方法通过比特流将推导的块向量(或运动向量)用信号通知给图像解码设备。图像解码设备可以通过用信号通知的块向量(运动向量)推导当前画面中的当前块的参考块，并且通过此推导当前块的预测信号(预测块或预测样本)。这里，块向量(或运动向量)可以指定从当前块到位于当前画面中已经重构的区域中的参考块的位移。因此，块向量(或运动向量)可以被称为位移向量。下文中，在IBC中，运动向量可以对应于块向量或位移向量。另外，在IBC中，运动向量差(MVD)也可以称为块向量差(BVD)。当前块的运动向量可以包括亮度分量的运动向量(亮度运动向量)或色度分量的运动向量(色度运动向量)。例如，IBC编码的CU的亮度运动向量可以是整数样本单元(即，整数精度)。可以按整数样本单元裁剪色度运动向量。如上所述，IBC可以使用至少一种帧间预测技术，例如，当类似AMVR应用IBC时，可以切换1像元和4像元运动向量精度。
在IBC中，参考块是从当前画面中已重构的区域导出的。在这种情况下，为了降低图像解码装置的存储器消耗和复杂度，可以参考仅当前画面中已重构的区域当中的预定义区域。预定义区域可以包括当前块被包括在其中的当前CTU。通过将可参考的重构区域限制为预定义区域，可以使用本地片上存储器来在硬件中实现IBC模式。
用于执行IBC的图像编码装置可以搜索预定义区域以确定具有最小RD成本的参考块并且基于参考块和当前块的位置来导出运动向量(块向量)。
是否将IBC应用于当前块可以作为CU级别下的IBC性能信息被发信号通知。可以发信号通知关于当前块的运动向量的信令方法(IBC MVP模式或IBC跳过/合并模式)的信息。IBC性能信息可以用于确定当前块的预测模式。因此，可以将IBC性能信息包括在关于当前块的预测模式的信息中。
在IBC跳过/合并模式的情况下，可以发信号通知合并候选索引以指定在合并候选列表中包括的块向量当中要用于当前亮度块的预测的块向量。在这种情况下，合并候选列表可以包括IBC编码的邻近块。合并候选列表可以被配置为包括空间合并候选而不包括时间合并候选。另外，合并候选列表还可以包括基于历史的运动向量预测子(HMVP)候选和/或成对候选。
在IBC MVP模式的情况下，块向量差值可以使用与上述帧间模式的运动向量差值相同的方法来编码。块向量预测方法可以类似于帧间模式的MVP模式构建并使用包括两个候选作为预测子的mvp候选列表。可以从左邻近块导出两个候选中的一个，并且可以从顶部邻近块导出另一个候选。在这种情况下，只有当左或顶部邻近块被IBC编码时，才可以从对应邻近块导出候选。如果左或顶部邻近块不可用，例如，不是IBC编码的，则默认块向量可以作为预测子被包括在mvp候选列表中。另外，指定两个块向量预测子中的一个的信息(例如，标志)被类似于帧间模式的MVP模式发信号通知并用作候选选择信息。mvp候选列表可以包括HMVP候选和/或零运动向量作为默认块向量。
HMVP候选可以被称为基于历史的MVP候选，并且在当前块的编码/解码之前使用的MVP候选、合并候选或块向量候选可以作为HMVP候选被存储在HMVP列表中。此后，在当前块的合并候选列表或mvp候选列表不包括最大数量的候选时，可以将存储在HMVP列表中的候选作为HMVP候选添加到当前块的合并候选列表或mvp候选列表。
成对候选意指通过根据预定顺序从已经包括在当前块的合并候选列表中的候选当中选择两个候选并且计算所选择的两个候选的平均所导出的候选。
实施方式
下文中，将参照附图详细描述本公开的实施方式。
在对当前块的量化/解量化过程中，可以构建量化矩阵。图像编码/解码设备可以使用量化矩阵对当前块的变换系数进行量化/解量化。量化矩阵可以被称为缩放列表。另外，包括在量化矩阵中的一个或更多个量化矩阵系数可以被称为缩放列表数据。
在示例中，量化矩阵可以具有与当前块相同的大小。例如，当当前块的大小为4×4时，当前块的量化矩阵的大小也可以为4×4。量化矩阵的大小可以使用预定大小标识符(例如，sizeId)来指定。图15是例示量化矩阵的各个大小的sizeId的示例的视图。
参照图15，1×1量化矩阵的sizeId的值可以为0，2×2量化矩阵的sizeId的值可以为1。另外，4×4量化矩阵的sizeId的值可以为2，8×8量化矩阵的sizeId的值可以为3。另外，16×16量化矩阵的sizeId的值可以为4，32×32量化矩阵的sizeId的值可以为5。另外，64×64量化矩阵的sizeId的值可以为6。在示例中，可以在编码过程中改变(增大或减小)量化矩阵的大小。
在示例中，可以根据量化矩阵的大小(例如，sizeId)、当前块的预测模式(例如，帧内预测模式、帧间预测模式等)和颜色分量(例如，Y、Cb、Cr)不同地构建量化矩阵。图16是例示基于图15的示例构建的当前块的量化矩阵的示例的视图。
参照图16，图像编码设备可以基于当前块的预测模式CuPredMode和颜色分量cIdx构建具有各种大小sizeId的第一量化矩阵matrixId＝0至第六量化矩阵matrixId＝5。
具体地，对于使用帧内预测模式编码的当前块中的亮度分量(cIdx＝0)(例如，Y)，可以构建第一量化矩阵(matrixId＝0)。在这种情况下，第一量化矩阵的大小可以等于或大于2×2并且等于或小于64×64(即，2≤sizeId≤6)。另外，对于使用帧内预测模式编码的当前块中的第一色度分量(cIdx＝1)(例如，Cb)，可以构建第二量化矩阵(matrixId＝1)。在这种情况下，第二量化矩阵的大小可以等于或大于1×1并且等于或小于64×64(即，1≤sizeId≤6)。另外，对于使用帧内预测模式编码的当前块中的第二色度分量(cIdx＝2)(例如，Cr)，可以构建第三量化矩阵(matrixId＝2)。在这种情况下，第三量化矩阵的大小等于或大于1×1并且等于或小于64×64(即，1≤sizeId≤6)。另外，对于使用帧间预测模式或帧间块复制(IBC)模式编码的当前块中的亮度分量(cIdx＝0)，可以构建第四量化矩阵(matrixId＝3)。在这种情况下，第四量化矩阵的大小可以等于或大于2×2并且等于或小于64×64(即，2≤sizeId≤6)。另外，对于使用帧间预测模式或IBC模式编码的当前块中的第一色度分量(cIdx＝1)，可以构建第五量化矩阵(matrixId＝4)。在这种情况下，第五量化矩阵的大小可以等于或大于1×1并且等于或小于64×64(即，1≤sizeId≤6)。另外，对于使用帧间预测模式或IBC模式编码的当前块中的第二色度分量(cIdx＝2)，可以构建第六量化矩阵(matrixId＝5)。在这种情况下，第五量化矩阵的大小可以等于或大于1×1并且等于或小于64×64(即，1≤sizeId≤6)。
在图15和图16的示例中，当前块的量化矩阵可以由大小标识符(例如，sizeId)和量化矩阵标识符(例如，matrixId)指定。
同时，图像编码设备可以对当前块的量化矩阵进行编码并将其用信号通知给图像解码设备。例如，图像编码设备可以对包括在量化矩阵中的量化矩阵系数进行编码或者对与量化矩阵对应的参考量化矩阵的标识符进行编码并将其用信号通知给图像解码设备。下文中，将详细描述对量化矩阵进行编码的方法。
图17是例示根据本公开的实施方式的对量化矩阵进行编码的方法的流程图。图17的编码方法可以由图2的图像编码设备执行。具体地，步骤S1710至S1740可以由量化单元130和/或解量化单元140执行。
参照图17，图像编码设备可以对构建当前块的量化矩阵的方法的量化模式信息进行编码(S1710)。
在示例中，量化模式信息可以包括指定是否基于参考量化矩阵构建量化矩阵的第一模式信息。第一模式信息可以使用预定标志来编码。例如，第一模式信息可以使用scaling_list_pred_mode_flag来编码。在这种情况下，scaling_list_pred_mode_flag的第一值(例如，0)可以指定当前块的量化矩阵与参考量化矩阵相同。这里，可以使用参考量化矩阵识别信息(例如，scaling_list_pred_matrix_id_delta)来指定参考量化矩阵。相反，scaling_list_pred_mode_flag的第二值(例如，1)可以指定当前块的量化矩阵不与参考量化矩阵相同。当scaling_list_pred_mode_flag具有第二值时，可以明确地用信号通知当前块的量化矩阵的值。
在另一示例中，量化模式信息可以包括第一模式信息和第二模式信息。
第一模式信息可以指定量化矩阵被配置为与参考量化矩阵相同。第一模式信息可以使用预定第一模式标志来编码。例如，第一模式信息可以使用scaling_list_copy_mode_flag来编码。在这种情况下，当scaling_list_copy_mode_flag的第一值(例如，0)可以指定当前块的量化矩阵与参考量化矩阵相同。相反，scaling_list_copy_mode_flag的第二值(例如，1)可以指定当前块的量化矩阵不与参考量化矩阵相同。当没有用信号通知scaling_list_copy_mode_flag时，scaling_list_copy_mode_flag可以被推断为具有第一值。
第二模式信息可以指定是否从参考量化矩阵推导量化矩阵。仅当当前块的量化矩阵不与参考量化矩阵相同时，才可以使用预定第二模式标志来对第二模式信息进行编码。例如，仅当指定第一模式信息的scaling_list_copy_mode_flag具有第二值(例如，1)时，第二模式信息才可以使用scaling_list_pred_mode_flag来编码。在这种情况下，scaling_list_pred_mode_flag的第一值(例如，0)可以指定从参考量化矩阵推导当前块的量化矩阵。相反，scaling_list_pred_mode_flag的第二值(例如，1)可以指定不从参考量化矩阵推导当前块的量化矩阵。当scaling_list_pred_mode_flag具有第二值时，可以明确地用信号通知当前块的量化矩阵的值。
图像编码设备可以基于在步骤S1710中编码的量化模式信息来确定是否从参考量化矩阵构建当前块的量化矩阵(S1720)。例如，图像编码设备可以基于第一模式信息确定当前块的量化矩阵是否被构建为与参考量化矩阵相同。另选地，图像编码设备可以基于第二模式信息来确定是否从参考量化矩阵推导当前块的量化矩阵。
当从参考量化矩阵构建当前块的量化矩阵时(S1720为“是”)，图像编码设备可以对用于指定参考量化矩阵的参考量化矩阵识别信息进行编码(S1730)。参考量化矩阵识别信息可以使用预定语法元素(例如，scaling_list_pred_matrix_id_delta)来编码。当scaling_list_pred_matrix_id_delta具有第一值(例如，0)时，可以从预定默认矩阵推导当前块的量化矩阵。包括在默认矩阵中的所有一个或更多个量化矩阵系数可以具有相同的值。在示例中，包括在默认矩阵中的量化矩阵系数的值可以为16。相反，当scaling_list_pred_matrix_id_delta具有第一值以外的值(例如，1、2、3等)时，可以从基于scaling_list_pred_matrix_id_delta指定的参考量化矩阵推导当前块的量化矩阵。例如，可如下式1所示基于scaling_list_pred_matrix_id_delta指定参考量化矩阵。
[式1]
refMatrixId＝matrixID-scaling_list_pred_matrix_id_delta[sizeId][matrixId]*(sizeId＝＝6？3:1)
在式1中，refMatrixId可以表示参考量化矩阵的标识符，matrixID可以表示上面参照图16描述的当前块的量化矩阵的标识符。另外，sizeId可以表示上面参照图15和图16所示的当前块的量化矩阵的大小。
基于通过式1获得的标识符refMatrixId，可以如式2所示推导当前块ScalingList的量化矩阵。
[式2]
ScalingList[SizeId][matrixId][i]＝ScalingList[SizeId][refMatrixId][i]，其中i＝0…Min(63,(1<<(sizeId<<1))-1)
在式2中，i表示当前块的量化矩阵ScalingList的各个元素，i可以具有63和(1<<(sizeId<<1))-1中的最小值作为最大值。
当未从参考量化矩阵构建当前块的量化矩阵时(S1720为“否”)，当前块的量化矩阵的值可以被编码(S1740)。
当前块的量化矩阵的值可以使用预定语法元素来编码。例如，当前块的量化矩阵的值可以使用指定当前块的量化矩阵的缩放因子的scaling_list_dc_coef_minus8和指定量化矩阵中的第(i-1)量化矩阵系数与第i量化矩阵系数之间的差的scaling_list_delta_coef来编码。
另外，当前块的量化矩阵的值可以根据预定扫描方法来编码。例如，当前块的量化矩阵中的一个或更多个量化矩阵系数可以根据对角扫描顺序依次编码。
图18中示出用于执行上面参照图17描述的量化矩阵的编码方法的语法示例。
参照图18，基于图16，可以使用scaling_list_data语法来对大小为2×2或更大的量化矩阵(例如，matrixId＝0至matrixId＝5)进行编码(1810)。另外，除了当前块的亮度分量的大小为2×2的量化矩阵(例如，sizeId＝1&&matrixId％3＝0)或当前块的色度分量的大小为64×64的量化矩阵(例如，sizeId＝6&&matrixId％3！＝0)之外的所有量化矩阵可以是编码的scaling_list_data语法(1820)。
结果，当前块的色度分量(例如，matrixId％3！＝0)的大小为2×2的量化矩阵(例如，matrixId＝1、2、4或5)可以通过scaling_list_data语法来编码。然而，如上所述，在双树结构中，通过分割限制来禁止2×2色度块，可能不需要2×2量化矩阵的编码过程。另外，当大小较小(例如，2×2)的量化矩阵被编码时，信令开销可增加。
为了解决这种问题，可以仅针对大小大于2×2的量化矩阵执行根据本公开的实施方式的量化矩阵的编码方法。即，可以跳过上面参照图15和图16描述的sizeId值为0或1(即，大小为2×2或更小)的量化矩阵的编码过程。
图19是例示根据本公开的实施方式的当前块的量化矩阵的示例的视图。
参照图19，图像编码设备可以基于当前块的预测模式CuPredMode和颜色分量cIdx来构建具有各种大小sizeId的第一至第六量化矩阵(matrixId＝0至matrixId＝5)。
具体地，对于使用帧内预测模式CuPredMode＝MODE_INTRA编码的当前块中的亮度分量(cIdx＝0)(例如，Y)，可以构建第一量化矩阵(matrixId＝0)。另外，对于使用帧内预测模式编码的当前块中的第一色度分量(cIdx＝1)(例如，Cb)，可以构建第二量化矩阵(matrixId＝1)。另外，对于使用帧内预测模式编码的当前块中的第二色度分量(cIdx＝2)(例如，Cr)，可以构建第三量化矩阵(matrixId＝2)。另外，对于使用帧间预测模式或帧间块复制(IBC)模式(CuPredMode＝MODE_INTER或MODE_IBC)编码的当前块中的亮度分量(cIdx＝0)，可以构建第四量化矩阵(matrixId＝3)。另外，对于使用帧间预测模式或IBC模式编码的当前块中的第一色度块(cIdx＝1)，可以构建第五量化矩阵(matrixId＝4)。另外，对于使用帧间预测模式或IBC模式编码的当前块中的第二色度分量(cIdx＝2)，可以构建第六量化矩阵(matrixId＝5)。
第一至第六量化矩阵(matrixId＝0至matrixId＝5)中的每一个的大小可以等于或大于4×4并且等于或小于64×64(即，1≤sizeId≤6)。即，与图16的示例不同，可不构建大小为2×2(例如，sizeId＝1)的量化矩阵。
图20中示出用于执行参照图19描述的量化矩阵的编码方法的语法的示例。
参照图20，基于图19的示例，大小为4×4或更大(例如，sizeId≥2)的量化矩阵(例如，matrixId＝0至matrixId＝5)可以使用scaling_list_data语法来编码(2010)。另外，除了当前块的色度分量的大小为64×64的量化矩阵(例如，sizeId＝6&&matrixId％3！＝0)之外的所有量化矩阵可以使用scaling_list_data语法来编码(2020)。
结果，当前块的亮度分量(例如，matrixId％3＝0)的大小为2×2(例如，sizeId＝1)的量化矩阵可不通过scaling_list_data语法编码。另外，使用帧内预测模式(例如，CuPredMode＝MODE_INTRA)编码的当前块的色度分量(例如，matrixId％3！＝0)的大小为2×2(例如，sizeId＝1)的量化矩阵可不通过scaling_list_data语法编码。
即，与上面参照图18描述的scaling_list_data语法不同，根据图20的scaling_list_data语法，由于大小为2×2(例如，sizeId＝1)的量化矩阵(例如，matrixId＝1、2、4或5)不被编码，所以通过跳过不必要的编码过程，可抑制信令开销的增加并改进编码效率。
下文中，将详细描述对量化矩阵进行解码的方法。
图21是例示根据本公开的实施方式的对量化矩阵进行解码的方法的流程图。图21的解码方法可以由图3的图像解码设备执行。具体地，步骤S2110至S2160可以由解量化单元220执行。
图21的步骤S2110和S2120可以分别对应于图17的步骤S1710和S1720。另外，步骤S2130和S2140可以对应于图17的步骤S1730。另外，步骤S2150和S2160可以对应于图17的步骤S1740。因此，图17的重复描述将省略或简化。
参照图21，图像解码设备可以从比特流解码构建当前块的量化矩阵的方法的量化模式信息(S2110)。
在示例中，量化模式信息可以包括指定是否基于参考量化矩阵构建量化矩阵的第一模式信息。可以通过对预定标志(例如，scaling_list_pred_mode_flag)进行解码来获得第一模式信息。
在另一示例中，量化模式信息可以包括第一模式信息和第二模式信息。第一模式信息可以指定当前块的量化矩阵是否与参考量化矩阵相同。第一模式信息可以通过对预定第一模式标志(例如，scaling_list_copy_mode_flag)进行解码来获得。第二模式信息可以指定是否从参考量化矩阵推导当前块的量化矩阵。仅当当前块的量化矩阵未被构建为与参考量化矩阵相同(例如，scaling_list_copy_mode_flag＝1)时，才可以通过比特流用信号通知第二模式信息。可以通过对预定第二模式标志(例如，scaling_list_pred_mode_flag)进行解码来获得第二模式信息。
图像解码设备可以基于在步骤S2110中获得的量化模式信息来确定是否从参考量化矩阵构建当前块的量化矩阵(S2120)。
在示例中，当作为第一模式信息的scaling_list_pred_mode_flag具有第一值(例如，0)时，当前块的量化矩阵可以被构建为与参考量化矩阵相同。
在另一示例中，当作为第一模式信息的scaling_list_copy_mode_flag具有第一值(例如，0)时，当前块的量化矩阵可以被构建为与参考量化矩阵相同。另选地，当作为第一模式信息的scaling_list_copy_mode_flag具有第二值(例如，1)并且作为第二模式信息的scaling_list_pred_mode_flag具有第一值(例如，0)时，可以从参考量化矩阵推导当前块的量化矩阵。
当从参考量化矩阵构建当前块的量化矩阵时(S2120为“是”)，图像解码设备可以从比特流解码用于指定参考量化矩阵的参考量化矩阵识别信息(S2130)。可以使用预定语法元素(例如，scaling_list_pred_matrix_id_delta)来用信号通知参考量化矩阵识别信息。
图像解码设备可以基于在步骤S2130中获得的参考量化矩阵识别信息来构建当前块的量化矩阵(S2140)。例如，当scaling_list_pred_matrix_id_delta具有第一值(例如，0)时，可以从预定默认矩阵推导当前块的量化矩阵。包括在默认矩阵中的所有一个或更多个量化矩阵系数可以具有相同的值。在示例中，包括在默认矩阵中的量化矩阵系数的值可以为16。相反，当scaling_list_pred_matrix_id_delta具有第一值以外的值(例如，1、2、3等)时，可以从基于scaling_list_pred_matrix_id_delta指定的参考量化矩阵推导当前块的量化矩阵，如上面参照式1和式2描述的。
当未从参考量化矩阵构建当前块的量化矩阵时(S2120为“否”)，图像解码设备可以从比特流解码当前块的量化矩阵的值(S2150)。可以通过根据预定扫描方法(例如，对角扫描)对预定语法元素进行解码来获得当前块的量化矩阵的值。例如，图像解码设备可以通过对指定当前块的量化矩阵的缩放因子的scaling_list_dc_coef_minus8和指定量化矩阵中的第(i-1)量化矩阵系数与第i量化矩阵系数之间的差的scaling_list_delta_coef进行解码来获得量化矩阵的值。
图像解码设备可以基于在步骤S2150中获得的量化矩阵的值来构建当前块的量化矩阵(S2160)。
如上所述，图21的量化矩阵的解码方法可以使用上面参照图19和图20描述的语法(例如，scaling_list_data)来执行。在这种情况下，大小为2×2或更小(例如，sizeId≤1)的量化矩阵可不被解码。结果，由于可以跳过对双树结构中不允许的2×2色度块的不必要的解码过程，所以可改进解码效率。
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本公开的方法，所描述的步骤可以进一步包括其他步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其他附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施例不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施例中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施例可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
此外，应用本公开的实施例的图像解码装置和图像编码装置可以包括在多媒体广播传送和接收设备、移动通信终端、家庭影院视频设备、数字影院视频设备、监控摄像头、视频聊天设备、诸如视频通信的实时通信设备、移动流传输设备、存储介质、摄像机、视频点播(VoD)服务提供设备、OTT视频(over the top video)设备、互联网流传输服务提供设备、三维(3D)视频设备、视频电话视频设备、医疗视频设备等，并且可用于处理视频信号或数据信号。例如，OTT视频设备可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能手机、平板PC、数字录像机(DVR)等。
图22是示出可应用本公开的实施例的内容流传输系统的视图。
如图22中所示，应用本公开的实施例的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储、用户设备和多媒体输入设备。
编码服务器将从诸如智能手机、相机、便携式摄像机等多媒体输入设备输入的内容压缩成数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当智能手机、相机、摄像机等多媒体输入设备直接生成码流时，可以省略编码服务器。
比特流可以由应用本公开的实施例的图像编码方法或图像编码装置产生，并且流传送服务器可以在发送或接收比特流的过程中临时存储比特流。
流传输服务器基于用户通过网络服务器的请求将多媒体数据发送到用户设备，并且网络服务器用作向用户通知服务的媒介。当用户从网络服务器请求所需的服务时，网络服务器可以将其递送到流传输服务器，并且流传输服务器可以向用户发送多媒体数据。在这种情况下，内容流传输系统可以包括单独的控制服务器。在这种情况下，控制服务器用作控制内容流系统中设备之间的命令/响应。
流传输服务器可以从媒体存储和/或编码服务器接收内容。例如，当从编码服务器接收到内容时，可以实时接收内容。在这种情况下，为了提供平滑的流传输服务，流传输服务器可以在预定时间内存储比特流。
用户设备的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、平板PC、平板计算机、超级本、可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流传输系统中的每个服务器都可以作为分布式服务器运行，在这种情况下，从每个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施例的方法的操作能够在装置或计算机上执行的软件或者可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并可在装置或计算机上执行的此类软件或命令的一种非暂时性计算机可读介质。
工业适用性
本公开的实施例可以被用于对图像进行编码或解码。

Claims (15)

1.一种由图像解码设备执行的图像解码方法，该图像解码方法包括以下步骤：
从比特流获得当前块的量化模式信息；
基于所述量化模式信息来确定是否从参考量化矩阵构建所述当前块的量化矩阵；以及
基于确定结果来构建所述当前块的量化矩阵，
其中，基于从所述参考量化矩阵构建所述当前块的量化矩阵，基于所述参考量化矩阵的识别信息来构建所述当前块的量化矩阵，
其中，基于不从所述参考量化矩阵构建所述当前块的量化矩阵，基于从所述比特流获得的量化矩阵的值来构建所述当前块的量化矩阵，并且
其中，基于所述当前块是帧内预测的色度块，仅当所述当前块的大小大于2×2时才构建所述当前块的量化矩阵。
2.根据权利要求1所述的图像解码方法，其中，所述量化模式信息包括指定所述当前块的量化矩阵是否被构建为与所述参考量化矩阵相同的第一模式标志。
3.根据权利要求2所述的图像解码方法，其中，基于所述第一模式标志具有第一值，基于所述参考量化矩阵的所述识别信息来构建所述当前块的量化矩阵。
4.根据权利要求2所述的图像解码方法，其中，基于所述第一模式标志具有第二值，基于从所述比特流获得的量化矩阵的值来构建所述当前块的量化矩阵。
5.根据权利要求2所述的图像解码方法，其中，所述量化模式信息还包括指定是否从所述参考量化矩阵推导所述当前块的量化矩阵的第二模式标志。
6.根据权利要求5所述的图像解码方法，其中，基于所述第二模式标志具有第一值，基于所述参考量化矩阵的识别信息来构建所述当前块的量化矩阵。
7.根据权利要求5所述的图像解码方法，其中，基于所述第二模式标志具有第二值，基于从所述比特流获得的量化矩阵的值来构建所述当前块的量化矩阵。
8.根据权利要求1所述的图像解码方法，其中，基于所述参考量化矩阵的所述识别信息具有第一值，所述当前块的量化矩阵被构建为预定默认矩阵。
9.根据权利要求8所述的图像解码方法，其中，包括在所述默认矩阵中的一个或更多个量化矩阵系数具有相同的值。
10.根据权利要求9所述的图像解码方法，其中，包括在所述默认矩阵中的所述量化矩阵系数的所有的值为16。
11.根据权利要求1所述的图像解码方法，其中，通过从所述比特流解码指定所述当前块的量化矩阵的缩放因子的第一语法元素和指定所述量化矩阵中的量化矩阵系数之间的差的第二语法元素来获得所述量化矩阵的值。
12.根据权利要求1所述的图像解码方法，其中，所述当前块的量化矩阵具有根据所述当前块的预测模式和颜色分量而变化的配置。
13.一种图像解码设备，该图像解码设备包括以下步骤：
存储器；以及
至少一个处理器，
其中，所述至少一个处理器被配置为：
从比特流获得当前块的量化模式信息；
基于所述量化模式信息来确定是否从参考量化矩阵构建所述当前块的量化矩阵；并且
基于确定结果来构建所述当前块的量化矩阵，
其中，基于从所述参考量化矩阵构建所述当前块的量化矩阵，基于所述参考量化矩阵的识别信息来构建所述当前块的量化矩阵，
其中，基于不从所述参考量化矩阵构建所述当前块的量化矩阵，基于从所述比特流获得的所述量化矩阵的值来构建所述当前块的量化矩阵，并且
其中，基于所述当前块是帧内预测的色度块，仅当所述当前块的大小大于2×2时才构建所述当前块的量化矩阵。
14.一种由图像编码设备执行的图像编码方法，该图像编码方法包括以下步骤：
从比特流对当前块的量化模式信息进行编码；
基于所述量化模式信息来确定是否从参考量化矩阵构建所述当前块的量化矩阵；以及
基于确定结果对关于所述当前块的量化矩阵的信息进行编码，
其中，基于从所述参考量化矩阵构建所述当前块的量化矩阵，对所述参考量化矩阵的识别信息进行编码，
其中，基于不从所述参考量化矩阵构建所述当前块的量化矩阵，对所述当前块的量化矩阵的值进行编码，并且
其中，基于所述当前块是帧内预测的色度块，仅当所述当前块的大小大于2×2时才构建所述当前块的量化矩阵。
15.一种发送通过根据权利要求14所述的图像编码方法生成的比特流的方法。
CN202080079427.9A 2019-09-23 2020-09-23 使用量化矩阵的图像编码/解码方法和设备以及发送比特流的方法 Pending CN114731405A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962904550P 2019-09-23 2019-09-23
US62/904,550 2019-09-23
PCT/KR2020/012901 WO2021060846A1 (ko) 2019-09-23 2020-09-23 양자화 매트릭스를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Publications (1)

Publication Number Publication Date
CN114731405A true CN114731405A (zh) 2022-07-08

Family

ID=75166755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080079427.9A Pending CN114731405A (zh) 2019-09-23 2020-09-23 使用量化矩阵的图像编码/解码方法和设备以及发送比特流的方法

Country Status (3)

Country Link
US (1) US20220345694A1 (zh)
CN (1) CN114731405A (zh)
WO (1) WO2021060846A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104170382A (zh) * 2012-01-20 2014-11-26 韩国电子通信研究院 用于编码和解码量化矩阵的方法和使用其的设备
CN104488273A (zh) * 2012-04-16 2015-04-01 韩国电子通信研究院 用于编码/解码图像的方法和装置
US20170359578A1 (en) * 2014-12-26 2017-12-14 Panasonic Intellectual Property Management Co., Ltd. Encoding method, decoding method, encoding apparatus, and decoding apparatus
US20180310005A1 (en) * 2012-07-02 2018-10-25 Electronics And Telecommunications Research Method and apparatus for coding/decoding image
CN113228651A (zh) * 2018-12-26 2021-08-06 韩国电子通信研究院 量化矩阵编码/解码方法和装置以及存储比特流的记录介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130058524A (ko) * 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
MX352223B (es) * 2012-02-29 2017-11-15 Sony Corp Dispositivo y método de procesamiento de imágenes.
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
WO2014166328A1 (en) * 2013-04-08 2014-10-16 Mediatek Singapore Pte. Ltd. Method and apparatus for quantization matrix signaling and representation in scalable video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104170382A (zh) * 2012-01-20 2014-11-26 韩国电子通信研究院 用于编码和解码量化矩阵的方法和使用其的设备
CN104488273A (zh) * 2012-04-16 2015-04-01 韩国电子通信研究院 用于编码/解码图像的方法和装置
US20180310005A1 (en) * 2012-07-02 2018-10-25 Electronics And Telecommunications Research Method and apparatus for coding/decoding image
US20170359578A1 (en) * 2014-12-26 2017-12-14 Panasonic Intellectual Property Management Co., Ltd. Encoding method, decoding method, encoding apparatus, and decoding apparatus
CN113228651A (zh) * 2018-12-26 2021-08-06 韩国电子通信研究院 量化矩阵编码/解码方法和装置以及存储比特流的记录介质

Also Published As

Publication number Publication date
WO2021060846A1 (ko) 2021-04-01
US20220345694A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
CN112385213B (zh) 基于帧间预测模式处理图像的方法和用于该方法的设备
CN114586344B (zh) 参考亮度样本位置确定色度块的预测模式的图像编码/解码方法和设备及发送比特流的方法
US20220279172A1 (en) Image encoding/decoding method and device for determining division mode on basis of color format, and method for transmitting bitstream
JP7492067B2 (ja) クロマ変換ブロックの最大サイズ制限を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
CN114651441A (zh) 使用参考样本滤波的图像编码/解码方法和装置及发送比特流的方法
JP2023083500A (ja) 双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）を適用する映像デコーディング方法、及びその装置
CN115552896A (zh) 对矩形切片的大小信息选择性编码的图像编码/解码方法和设备及发送比特流的方法
JP7485819B2 (ja) 双予測のための加重値インデックス情報を誘導するビデオ又は映像コーディング
US20220182623A1 (en) Video encoding/decoding method and device using segmentation limitation for chroma block, and method for transmitting bitstream
CN115088256A (zh) 选择性地用信号通知滤波可用信息的图像编码/解码方法和装置以及发送比特流的方法
CN114175648A (zh) 用于限制色度块的分割条件的图像编码和解码方法和设备以及用于传送比特流的方法
CN114270827A (zh) 利用色度块的最大变换大小设定的图像编码/解码方法和设备及发送比特流的方法
CN114145015A (zh) 用于限制色度块的大小的图像编码/解码方法和装置以及用于发送比特流的方法
CN114258674A (zh) 使用ibc的图像编码/解码方法和装置，以及发送比特流的方法
CN114128268A (zh) 使用色度块的自适应大小限制的图像编码/解码方法和设备以及比特流传输方法
CN114600451A (zh) 基于矩阵帧内预测的图像编码设备和方法
CN114208179A (zh) 利用色度分量编码块的最大变换大小限制的图像编码/解码方法和装置及发送比特流的方法
EP4087244A1 (en) Image encoding/decoding method and apparatus for performing prediction on basis of reconfigured prediction mode type of leaf node, and bitstream transmission method
US20220345694A1 (en) Image encoding/decoding method and apparatus using quantization matrix, and method for transmitting bitstream
CN114747223B (zh) 基于子画面结构执行环路内滤波的图像编码/解码方法和装置及发送比特流的方法
CN115088261A (zh) 执行pdpc的视频编码/解码方法和设备以及发送比特流的方法
CN114375574A (zh) 基于根据颜色格式确定的预测模式类型确定划分模式的图像编码/解码方法和设备，以及用于发送比特流的方法
CN115668918A (zh) 基于画面划分信息和子画面信息的图像编码/解码方法和设备及存储比特流的记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220708

WD01 Invention patent application deemed withdrawn after publication