CN114270822A - 利用色度变换块的最大大小限制编码/解码视频的方法和设备及发送比特流的方法 - Google Patents

利用色度变换块的最大大小限制编码/解码视频的方法和设备及发送比特流的方法 Download PDF

Info

Publication number
CN114270822A
CN114270822A CN202080058307.0A CN202080058307A CN114270822A CN 114270822 A CN114270822 A CN 114270822A CN 202080058307 A CN202080058307 A CN 202080058307A CN 114270822 A CN114270822 A CN 114270822A
Authority
CN
China
Prior art keywords
block
transform
prediction
current
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080058307.0A
Other languages
English (en)
Inventor
李翎
南廷学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN114270822A publication Critical patent/CN114270822A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

提供了一种用于对视频进行编码/解码的方法和设备。根据本公开的由图像解码设备执行的视频解码方法可以包括以下步骤：确定当前块的预测模式；当当前块的预测模式是帧间预测模式时，基于帧间预测模式信息来生成当前块的预测块；基于当前块的变换块来生成当前块的残差块；以及基于当前块的残差块和预测块来重构当前块。

Description

利用色度变换块的最大大小限制编码/解码视频的方法和设 备及发送比特流的方法
技术领域
本公开涉及图像编码/解码方法和设备，更具体地，涉及一种通过限制色度变换块的最大大小来对图像进行编码/解码的方法和设备以及发送通过本公开的图像编码方法/设备生成的比特流的方法。
背景技术
最近，各个领域对高分辨率和高质量图像，例如高清(HD)图像和超高清(UHD)图像的需求正在增加。随着图像数据的分辨率和质量的改进，与现有图像数据相比，传输的信息量或比特量相对增加。传输信息量或比特量的增加导致传输成本和存储成本的增加。
因此，需要高效的图像压缩技术来有效地传输、存储和再现关于高分辨率和高质量图像的信息。
发明内容
技术问题
本公开的目的是提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
本公开的目的是提供一种能够通过限制色度变换块的最大大小来改进编码/解码效率的图像编码/解码方法和设备。
本公开的另一个目的是提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
本公开的另一个目的是提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
本公开的另一个目的是提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本公开所解决的技术问题不限于上述技术问题，本领域技术人员通过以下描述将清楚此处未描述的其它技术问题。
技术方案
根据本公开的一方面的由图像解码设备执行的图像解码方法可以包括以下步骤：确定当前块的预测模式；基于当前块的预测模式是帧间预测模式，基于帧间预测模式信息来生成当前块的预测块；基于当前块的变换块来生成当前块的残差块；以及基于当前块的预测块和残差块来重构当前块。在这种情况下，变换块的大小可以基于当前块的颜色分量来确定。
根据本公开的一方面的图像解码设备可以包括存储器和至少一个处理器。所述至少一个处理器可以确定当前块的预测模式，基于当前块的预测模式是帧间预测模式，基于帧间预测模式信息来生成当前块的预测块，基于当前块的变换块来生成当前块的残差块，并且基于当前块的预测块和残差块来重构当前块。在这种情况下，变换块的大小可以基于当前块的颜色分量来确定。
根据本公开的一方面的由图像编码设备执行的图像编码方法可以包括以下步骤：通过划分图像来确定当前块；生成当前块的帧间预测块；基于帧间预测块来生成所述当前块的残差块；以及对当前块的帧间预测模式信息进行编码。在这种情况下，可以基于当前块的变换块的大小来对残差块进行编码，并且可以基于当前块的颜色分量来确定变换块的大小。
此外，根据本公开的另一方面的传输方法可以发送由本公开的图像编码设备或图像编码方法生成的比特流。
此外，根据本公开的另一方面的计算机可读记录介质可以存储由本公开的图像编码设备或图像编码方法生成的比特流。
以上关于本公开的简要概述的特征仅仅是本公开的以下详细描述的示例性方面，并不限制本公开的范围。
有益效果
根据本公开，能够提供一种具有改进的编码/解码效率的图像编码/解码方法和设备。
根据本公开，能够提供一种能够通过限制色度变换块的最大大小改进编码/解码效率的图像编码/解码方法和设备。
此外，根据本公开，能够提供一种发送由根据本公开的图像编码方法或设备生成的比特流的方法。
此外，根据本公开，能够提供一种存储由根据本公开的图像编码方法或设备生成的比特流的记录介质。
此外，根据本公开，能够提供一种记录介质，其存储由根据本公开的图像解码设备接收、解码并用于重构图像的比特流。
本领域的技术人员将理解，通过本公开可以实现的效果不限于上文已经具体描述的内容，并且将从详细描述中更清楚地理解本公开的其它优点。
附图说明
图1是示意性地示出本公开的实施方式适用于的视频编码系统的视图。
图2是示意性地示出本公开的实施方式适用于的图像编码设备的视图。
图3是示意性地示出本公开的实施方式适用于的图像解码设备的视图。
图4是示出根据实施方式的图像的分割结构的视图。
图5是示出根据多类型树结构的块的分割类型的实施方式的视图。
图6是示出根据本公开的具有嵌套多类型树结构的四叉树中的块划分信息的信令机制的视图。
图7是示出将CTU分割成多个CU的实施方式的视图。
图8是例示冗余划分图案的实施方式的视图。
图9是例示基于帧间预测的视频/图像编码方法的流程图。
图10是例示根据本公开的帧间预测单元180的配置的视图。
图11是例示基于帧间预测的视频/图像解码方法的流程图。
图12是例示根据本公开的帧间预测单元260的配置的视图。
图13是例示根据实施方式的可用作空间合并候选的邻近块的视图。
图14是示意性地例示根据实施方式的合并候选列表构建方法的视图。
图15是示意性地例示根据实施方式的运动向量预测子候选列表构建方法的视图。
图16是例示根据实施方式的用于从图像编码设备向图像解码设备发送MVD的语法结构的视图。
图17是例示根据实施方式的基于IBC的视频/图像编码方法的流程图。
图18是例示根据实施方式的用于执行基于IBC的视频/图像编码方法的预测单元的配置的视图。
图19是例示根据实施方式的基于IBC的视频/图像解码方法的流程图。
图20是例示根据实施方式的用于执行基于IBC的视频/图像解码方法的预测单元的配置的视图。
图21是例示根据实施方式的色度格式信令的语法的视图。
图22是例示根据实施方式的色度格式分类表的视图。
图23是例示用于虚拟管线处理的CU的划分限制示例的视图。
图24至图26是例示根据实施方式的CU和TU的划分示例的视图。
图27和图28是例示应用了根据实施方式的最大变换大小的IBC预测和帧内预测的流程图。
图29是例示根据实施方式的由编码设备对图像进行编码的方法的流程图。
图30是例示根据实施方式的由解码设备解码图像的方法的流程图。
图31是示出本公开的实施方式可适用的内容流系统的视图。
具体实施方式
以下，将结合附图对本公开的实施方式进行详细描述，以易于本领域技术人员实施。然而，本公开可以以各种不同的形式实施，并且不限于这里描述的实施方式。
在描述本公开时，如果确定相关已知功能或构造的详细描述使本公开的范围不必要地含糊不清，则将省略其详细描述。在附图中，省略了与本公开的描述无关的部分，并且相似的附图标记被赋予相似的部分。
在本公开中，当一个组件“连接”、“耦合”或“链接”到另一个组件时，它不仅可以包括直接连接关系，还可以包括中间组件存在的间接连接关系。另外，当一个组件“包括”或“具有”其它组件时，除非另有说明，否则是指还可以包括其它组件，而不是排除其它组件。
在本公开中，术语第一、第二等仅用于将一个组件与其它组件区分开的目的，并且不限制组件的顺序或重要性，除非另有说明。相应地，在本公开的范围内，一个实施方式中的第一组件在另一个实施方式中可以被称为第二组件，类似地，一个实施方式中的第二组件在另一个实施方式中可以被称为第一组件。
在本公开中，相互区分的组件旨在清楚地描述每个特征，并不意味着组件必须分开。即，多个组件可以集成在一个硬件或软件单元中实现，或者一个组件可以在多个硬件或软件单元中分布和实现。因此，即使没有特别说明，这些组件集成或分布式的实施方式也包括在本公开的范围内。
在本公开中，各个实施方式中所描述的组件并不一定是必不可少的组件，一些组件可以是可选的组件。因此，由实施方式中描述的组件的子集组成的实施方式也包括在本公开的范围内。此外，除了在各种实施方式中描述的组件之外还包括其它组件的实施方式包括在本公开的范围内。
本公开涉及图像的编码和解码，除非在本公开中重新定义，否则本公开中使用的术语可以具有本公开所属技术领域中常用的一般含义。
在本公开中，“画面”一般是指表示特定时间段内的一个图像的单元，而切片(slice)/拼块(tile)是构成画面的一部分的编码单元，一个画面可以由一个或更多个切片/拼块组成。此外，切片/拼块可以包括一个或更多个编码树单元(CTU)。
在本公开中，“像素”或“像元(pel)”可以意指构成一个画面(或图像)的最小单元。此外，“样本”可以用作对应于像素的术语。一个样本一般可以表示像素或像素的值，也可以仅表示亮度分量的像素/像素值或仅表示色度分量的像素/像素值。
在本公开中，“单元”可以表示图像处理的基本单元。该单元可以包括画面的特定区域和与该区域相关的信息中的至少一个。在某些情况下，该单元可以与诸如“样本阵列”、“块”或“区域”的术语互换使用。在一般情况下，M×N块可以包括M列N行的样本(或样本阵列)或变换系数的集合(或阵列)。
在本公开中，“当前块”可以意指“当前编码块”、“当前编码单元”、“编码目标块”、“解码目标块”或“处理目标块”之一。当执行预测时，“当前块”可以意指“当前预测块”或“预测目标块”。当执行变换(逆变换)/量化(解量化)时，“当前块”可以意指“当前变换块”或“变换目标块”。当执行滤波时，“当前块”可以意指“滤波目标块”。
此外，在本公开中，除非明确声明为色度块，否则“当前块”可以意指“当前块的亮度块”。“当前块的色度块”可以通过包括对诸如“色度块”或“当前色度块”的色度块的显式描述来表达。
在本公开中，斜线“/”或“，”可以解释为指示“和/或”。例如，“A/B”和“A，B”可以意指“A和/或B”。此外，“A/B/C”和“A/B/C”可以意指“A、B和/或C中的至少一个”。
在本公开中，术语“或”应被解释以指示“和/或”。例如，表达“A或B”可以包括1)仅“A”，2)仅“B”，或3)“A和B”两者。换言之，在本公开中，“或”应被解释以指示“附加地或可替选地”。
视频编码系统概述
图1是示意性地示出根据本公开的视频编码系统的视图。
根据实施方式的视频编码系统可以包括编码设备10和解码设备20。编码设备10可以将编码的视频和/或图像信息或数据以文件或流的形式经由数字存储介质或网络递送到解码设备20。
根据实施方式的编码设备10可以包括视频源生成器11、编码单元12和发送器13。根据实施方式的解码设备20可以包括接收器21、解码单元22和渲染器23。编码单元12可以称为视频/图像编码单元，解码单元22可以称为视频/图像解码单元。发送器13可以被包括在编码单元12中。接收器21可以被包括在解码单元22中。渲染器23可以包括显示器并且显示器可以被配置为单独的装置或外部组件。
视频源生成器11可以通过捕获、合成或生成视频/图像的过程来获取视频/图像。视频源生成器11可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板计算机和智能电话，并且可以(以电子方式)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获过程可以被生成相关数据的过程代替。
编码单元12可以对输入视频/图像进行编码。为了压缩和编码效率，编码单元12可以执行一系列过程，例如预测、变换和量化。编码单元12可以以比特流的形式输出编码数据(编码视频/图像信息)。
发送器13可以通过数字存储介质或网络以文件或流的形式将以比特流的形式输出的编码视频/图像信息或数据传输到解码设备20的接收器21。数字存储介质可以包括各种存储介质，例如USB、SD、CD、DVD、蓝光、HDD、SSD等。发送器13可以包括用于通过预定文件格式生成媒体文件的元件并且可以包括用于通过广播/通信网络传输的元件。接收器21可以从存储介质或网络中提取/接收比特流并将比特流传输到解码单元22。
解码单元22可以通过执行与编码单元12的操作相对应的一系列过程，例如解量化、逆变换和预测来解码视频/图像。
渲染器23可以渲染解码的视频/图像。渲染的视频/图像可以通过显示器显示。
图像编码设备的概述
图2是示意性地示出本公开的实施方式可适用于的图像编码设备的视图。
如图2所示，图像编码设备100可以包括图像分割器110、减法器115、变换器120、量化器130、解量化器140、逆变换器150、加法器155、滤波器160、存储器170、帧间预测单元180、帧内预测单元185和熵编码器190。帧间预测单元180和帧内预测单元185可以统称为“预测单元”。变换器120、量化器130、解量化器140和逆变换器150可以被包括在残差处理器中。残差处理器还可以包括减法器115。
在一些实施方式中，配置图像编码设备100的多个组件中的全部或至少一些可以由一个硬件组件(例如，编码器或处理器)来配置。此外，存储器170可以包括解码画面缓冲器(DPB)并且可以由数字存储介质配置。
图像分割器110可将输入到图像编码设备100的输入图像(或画面或帧)分割成一个或更多个处理单元。例如，处理单元可以称为编码单元(CU)。可以通过根据四叉树二叉树三叉树(QT/BT/TT)结构递归地分割编码树单元(CTU)或最大编码单元(LCU)来获取编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分割为更深深度的多个编码单元。对于编码单元的分割，可以首先应用四叉树结构，然后可以应用二叉树结构和/或三叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。可以将最大编码单元用作最终编码单元，也可以将通过分割最大编码单元获取的更深深度的编码单元用作最终编码单元。这里，编码过程可以包括稍后将描述的预测、变换和重构的过程。作为另一个示例，编码过程的处理单元可以是预测单元(PU)或变换单元(TU)。预测单元和变换单元可以从最终编码单元划分或分割。预测单元可以是样本预测单元，变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。
预测单元(帧间预测单元180或帧内预测单元185)可以对要处理的块(当前块)执行预测，并且生成包括当前块的预测样本的预测块。预测单元可以在当前块或CU的基础上确定是应用帧内预测还是帧间预测。预测单元可以生成与当前块的预测有关的各种信息，并且将生成的信息传输到熵编码器190。关于预测的信息可以在熵编码器190中被编码并且以比特流的形式输出。
帧内预测单元185可以通过参考当前画面中的样本来预测当前块。根据帧内预测模式和/或帧内预测技术，参考样本可以位于当前块的邻居中或者可以被分开放置。帧内预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅仅是示例，可以根据设置使用更多或更少的定向预测模式。帧内预测单元185可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。
帧间预测单元180可以基于由参考画面上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以相同或不同。时间邻近块可以被称为并置参考块、并置CU(colCU)等。包括时间邻近块的参考画面可以被称为并置画面(colPic)。例如，帧间预测单元180可基于邻近块配置运动信息候选列表并生成指定使用哪个候选来推导当前块的运动向量和/或参考画面索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测单元180可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，可以不传输残差信号。在运动向量预测(MVP)模式的情况下，邻近块的运动向量可以用作运动向量预测子，并且当前块的运动向量可以通过编码运动向量差和运动向量预测子的指示符来用信号通知当前块的运动向量。运动向量差可以意指当前块的运动向量与运动向量预测子之间的差。
预测单元可以基于以下描述的各种预测方法和预测技术来生成预测信号。例如，预测单元不仅可以应用帧内预测或帧间预测，还可以同时应用帧内预测和帧间预测，以预测当前块。同时应用帧内预测和帧间预测两者来预测当前块的预测方法可以称为组合帧间和帧内预测(CIIP)。此外，预测单元可以执行帧内块复制(IBC)以预测当前块。帧内块复制可以用于游戏等的内容图像/视频编码，例如，屏幕内容编码(SCC)。IBC是一种在与当前块相隔预定距离的位置处使用当前画面中先前重构的参考块来预测当前画面的方法。当应用IBC时，参考块在当前画面中的位置可以被编码为对应于预定距离的向量(块向量)。IBC基本上在当前画面中执行预测，但是可以类似于帧间预测来执行，因为在当前画面内推导参考块。即，IBC可以使用本公开中描述的帧间预测技术中的至少一种。
预测单元生成的预测信号可用于生成重构信号或生成残差信号。减法器115可以通过从输入图像信号(原始块或原始样本阵列)中减去从预测单元输出的预测信号(预测块或预测样本阵列)来生成残差信号(残差块或残差样本阵列)。生成的残差信号可以被传输到变换器120。
变换器120可以通过将变换技术应用于残差信号来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、karhunen-loève变换(KLT)、基于图的变换(GBT)或条件非线性变换(CNT)中的至少一种。这里，GBT是指当像素之间的关系信息由图形表示时从图形获得的变换。CNT是指基于使用所有先前重构的像素生成的预测信号获取的变换。此外，变换处理可以应用于具有相同大小的方形像素块或者可以应用于具有可变大小而不是方形的块。
量化器130可以对变换系数进行量化并且将它们传输到熵编码器190。熵编码器190可以对量化的信号(关于量化的变换系数的信息)进行编码并且输出比特流。关于量化变换系数的信息可以被称为残差信息。量化器130可基于系数扫描顺序将块形式的量化变换系数重新排列为一维向量形式，并基于一维向量形式的量化变换系数生成关于量化变换系数的信息。
熵编码器190可以执行各种编码方法，例如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。熵编码器190可以一起或单独地编码量化变换系数以外的视频/图像重构所需的信息(例如，语法元素的值等)。编码的信息(例如，编码的视频/图像信息)可以比特流的形式以网络抽象层(NAL)为单元进行传输或存储。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。本公开中描述的用信号通知的信息、传输的信息和/或语法元素可以通过上述编码过程被编码并且被包括在比特流中。
比特流可以通过网络传输或者可以存储在数字存储介质中。网络可以包括广播网络和/或通信网络，数字存储介质可以包括USB、SD、CD、DVD、蓝光、HDD、SSD等各种存储介质。可以包括传输从熵编码器190输出的信号的发送器(未示出)和/或存储该信号的存储单元(未示出)作为图像编码设备100的内部/外部元件。另选地，可以提供发送器作为熵编码器190的组件。
从量化器130输出的量化变换系数可用于生成残差信号。例如，可以通过解量化器140和逆变换器150对量化变换系数应用解量化和逆变换来重构残差信号(残差块或残差样本)。
加法器155将重构残差信号与从帧间预测单元180或帧内预测单元185输出的预测信号相加，以生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，例如应用跳过模式的情况，则可以将预测块用作重构块。加法器155可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个画面进行帧间预测。
滤波器160可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器160可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器170中，具体地，存储器170的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。滤波器160可以生成与滤波有关的各种信息并将所生成的信息传输到熵编码器190，如稍后在每种滤波方法的描述中所描述的。与滤波相关的信息可以由熵编码器190编码并以比特流的形式输出。
传输到存储器170的修改的重构画面可以用作帧间预测单元180中的参考画面。当通过图像编码设备100应用帧间预测时，可以避免图像编码设备100和图像解码设备之间的预测失配并且可以提高编码效率。
存储器170的DPB可以存储修改的重构画面以用作帧间预测单元180中的参考画面。存储器170可以存储从其中推导(或编码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元180并用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前画面中重构块的重构样本并且可以将重构样本传送到帧内预测单元185。
图像解码设备的概述
图3是示意性地示出本公开的实施方式可适用的图像解码设备的视图。
如图3所示，图像解码设备200可以包括熵解码器210、解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元260和帧内预测单元265。帧间预测单元260和帧内预测单元265可以统称为“预测单元”。解量化器220和逆变换器230可以被包括在残差处理器中。
根据实施方式，配置图像解码设备200的多个组件中的全部或至少一些可以由硬件组件(例如，解码器或处理器)来配置。此外，存储器250可以包括解码画面缓冲器(DPB)或者可以由数字存储介质配置。
已经接收到包括视频/图像信息的比特流的图像解码设备200可以通过执行与由图2的图像编码设备100执行的处理相对应的处理来重构图像。例如，图像解码设备200可以使用在图像编码设备中应用的处理单元来执行解码。因此，解码的处理单元例如可以是编码单元。编码单元可以通过分割编码树单元或最大编码单元来获取。通过图像解码设备200解码和输出的重构图像信号可以通过再现设备(未示出)再现。
图像解码设备200可以接收以比特流的形式从图2的图像编码设备输出的信号。接收到的信号可以通过熵解码器210进行解码。例如，熵解码器210可以解析比特流以推导图像重构(或画面重构)所需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于各种参数集的信息，例如自适应参数集(APS)、画面参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)。此外，视频/图像信息还可以包括通用约束信息。图像解码设备还可以基于关于参数集的信息和/或通用约束信息对画面进行解码。本公开中描述的用信号通知/接收的信息和/或语法元素可以通过解码过程被解码并从比特流中获得。例如，熵解码器210基于诸如指数哥伦布编码、CAVLC或CABAC的编码方法对比特流中的信息进行解码，并输出图像重构所需的语法元素的值和残差的变换系数的量化值。更具体地，CABAC熵解码方法可以接收与比特流中每个语法元素对应的bin，使用解码目标语法元素信息、邻近块和解码目标块的解码信息或前一阶段解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型通过预测bin的出现概率来对bin执行算术解码，并且生成与每个语法元素的值对应的符号。在这种情况下，CABAC熵解码方法可以在确定上下文模型后，通过将解码的符号/bin的信息用于下一个符号/bin的上下文模型来更新上下文模型。由熵解码器210解码的信息中与预测相关的信息可以被提供给预测单元(帧间预测单元260和帧内预测单元265)，并且在熵解码器210中对其执行熵解码的残差值，即，量化变换系数和相关的参数信息可以被输入到解量化器220。另外，可以将熵解码器210解码的信息当中关于滤波的信息提供给滤波器240。此外，用于接收从图像编码设备输出的信号的接收器(未示出)可以进一步被配置为图像解码设备200的内部/外部元件，或者接收器可以是熵解码器210的组件。
此外，根据本公开的图像解码设备可以被称为视频/图像/画面解码设备。图像解码设备可以分为信息解码器(视频/图像/画面信息解码器)和样本解码器(视频/图像/画面样本解码器)。信息解码器可以包括熵解码器210。样本解码器可以包括解量化器220、逆变换器230、加法器235、滤波器240、存储器250、帧间预测单元160或帧内预测单元265中的至少一个。
解量化器220可以对量化变换系数进行解量化并输出变换系数。解量化器220可以以二维块的形式重新排列量化变换系数。在这种情况下，可以基于在图像编码设备中执行的系数扫描顺序来执行重新排列。解量化器220可以通过使用量化参数(例如，量化步长信息)对量化变换系数执行解量化并获得变换系数。
逆变换器230可以对变换系数进行逆变换以获得残差信号(残差块、残差样本阵列)。
预测单元可以对当前块执行预测并生成包括当前块的预测样本的预测块。预测单元可以基于从熵解码器210输出的关于预测的信息来确定是将帧内预测还是帧间预测应用于当前块，并且可以确定特定帧内/帧间预测模式(预测技术)。
与在图像编码设备100的预测单元中描述的相同的是，预测单元可以基于稍后描述的各种预测方法(技术)来生成预测信号。
帧内预测单元265可以通过参考当前画面中的样本来预测当前块。帧内预测单元185的描述同样适用于帧内预测单元265。
帧间预测单元260可以基于参考画面上由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。在这种情况下，为了减少在帧间预测模式中传输的运动信息量，可以基于邻近块和当前块之间的运动信息的相关性以块、子块或样本为单元来预测运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前画面中存在的空间邻近块和参考画面中存在的时间邻近块。例如，帧间预测单元260可以基于邻近块配置运动信息候选列表，并且基于接收到的候选选择信息推导当前块的运动向量和/或参考画面索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指定当前块的帧间预测模式的信息。
加法器235可以通过将获得的残差信号与从预测单元(包括帧间预测单元260和/或内预测单元265)输出的预测信号(预测块、预测样本阵列)相加生成重构信号(重构画面、重构块、重构样本阵列)。如果要处理的块没有残差，例如在应用跳过模式时，则可以将预测块用作重构块。加法器155的描述同样适用于加法器235。加法器235可以称为重构器或重构块生成器。生成的重构信号可以用于当前画面中要处理的下一个块的帧内预测，并且可以用于通过如下所述的滤波对下一个画面进行帧间预测。
滤波器240可以通过对重构信号应用滤波来提高主观/客观图像质量。例如，滤波器240可以通过对重构画面应用各种滤波方法来生成修改的重构画面，并将修改的重构画面存储在存储器250中，具体地，存储器250的DPB中。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波、双边滤波等。
存储在存储器250的DPB中的(修改的)重构画面可以用作帧间预测单元260中的参考画面。存储器250可以存储从其中推导(或解码)当前画面中的运动信息的块的运动信息和/或画面中已经重构的块的运动信息。存储的运动信息可以被传输到帧间预测单元260，以用作空间邻近块的运动信息或时间邻近块的运动信息。存储器250可以存储当前画面中重构块的重构样本并将重构样本传送到帧内预测单元265。
在本公开中，在图像编码设备100的滤波器160、帧间预测单元180和帧内预测单元185中描述的实施方式可以同等地或对应地应用于图像解码设备200的滤波器240、帧间预测单元260和帧内预测单元265。
图像分割的概述
可以基于图像分割结构来执行根据本公开的视频/图像编码方法如下。具体地，可以基于根据图像分割结构而推导的CTU、CU(和/或TU、PU)来执行将稍后描述的预测、残差处理((逆)变换、(解)量化等)、语法元素编码和滤波的过程。可以按块单元对图像进行分割并且可以在编码设备的图像分割器110中执行块分割过程。分割相关信息可以由熵编码器190编码并且以比特流的形式发送到解码设备。解码设备的熵解码器210可以基于从比特流获得的分割相关信息来推导当前画面的块分割结构，并且基于此，可以执行一系列的过程(例如，预测、残差处理、块/画面重构、环路内滤波等)以进行图像解码。
画面可以被分割成编码树单元(CTU)的序列。图4示出了画面被分割成CTU的示例。CTU可以对应于编码树块(CTB)。另选地，CTU可以包括亮度样本的编码树块和对应色度样本的两个编码树块。例如，对于包含三个样本阵列的画面，CTU可以包括亮度样本的一个N×N块和色度样本的两个对应块。
CTU分割的概述
如上所述，可以通过根据四叉树/二叉树/三叉树(QT/BT/TT)结构递归地对编码树单元(CTU)或最大编码单元(LCU)进行分割来获取编码单元。例如，CTU可以被首先分割成四叉树结构。此后，可以通过多类型树结构对四叉树结构的叶节点进一步进行分割。
根据四叉树的分割意味着当前CU(或CTU)被同等地分割成四个。通过根据四叉树的分割，可以将当前CU分割成具有相同宽度和相同高度的四个CU。在当前CU不再被分割成四叉树结构时，当前CU对应于四叉树结构的叶节点。与四叉树结构的叶节点对应的CU可以不再被分割并且可以被用作上述最终编码单元。另选地，可以通过多类型树结构对与四叉树结构的叶节点对应的CU进一步进行分割。
图5是示出了根据多类型树结构的块的分割类型的实施方式的视图。根据多类型树结构的分割可以包括根据二叉树结构的两种类型的划分和根据三叉树结构的两种类型的划分。
根据二叉树结构的两种类型的划分可以包括垂直二叉划分(SPLIT_BT_VER)和水平二叉划分(SPLIT_BT_HOR)。垂直二叉划分(SPLIT_BT_VER)意味着当前CU被在垂直方向上同等地划分成两个。如图4所示，通过垂直二叉划分，可以生成高度与当前CU相同并且宽度为当前CU的宽度的一半的两个CU。水平二叉划分(SPLIT_BT_HOR)意味着当前CU被在水平方向上同等地划分成两个。如图5所示，通过水平二叉划分，可以生成高度为当前CU的高度的一半并且宽度与当前CU相同的两个CU。
根据三叉数结构的两种类型的划分可以包括垂直三叉划分(SPLIT_TT_VER)和水平三叉划分(SPLIT_TT_HOR)。在垂直三叉划分(SPLIT_TT_VER)中，当前CU被以1:2:1的比率在垂直方向上划分。如图5所示，通过垂直三叉划分，可以生成高度与当前CU相同并且宽度为当前CU的宽度的1/4的两个CU以及高度与当前CU相同并且宽度为当前CU的宽度的一半的一个CU。在水平三叉划分(SPLIT_TT_HOR)中，当前CU被以1:2:1的比率在水平方向上划分。如图5所示，通过水平三叉划分，可以生成高度为当前CU的高度的1/4并且宽度与当前CU相同的两个CU以及高度为当前CU的高度的一半并且宽度与当前CU相同的一个CU。
图6是示出了根据本公开的具有嵌套多类型树结构的四叉树中的块划分信息的信令机制的视图。
这里，CTU被视为四叉树的根节点，并且被首次分割成四叉树结构。用信号通知指定是否对当前CU(四叉树的CTU或节点(QT_node))执行四叉树划分的信息(例如，qt_split_flag)。例如，当qt_split_flag具有第一值(例如，“1”)时，当前CU可以被四叉树分割。另外，当qt_split_flag具有第二值(例如，“0”)时，当前CU不被四叉树分割，而是变成四叉树的叶节点(QT_leaf_node)。然后可以将每个四叉树叶节点进一步分割成多类型树结构。也就是说，四叉树的叶节点可以变成多类型树的节点(MTT_node)。在多类型树结构中，用信号通知第一标志(例如，Mtt_split_cu_flag)以指定当前节点是否被附加地分割。如果对应节点被附加地分割(例如，如果第一标志为1)，则可以用信号通知第二标志(例如，Mtt_split_cu_vertical_flag)以指定划分方向。例如，划分方向在第二标志为1时可以是垂直方向，而在第二标志为0时可以是水平方向。然后，可以用信号通知第三标志(例如，Mtt_split_cu_binary_flag)以指定划分类型是二叉划分类型还是三叉划分类型。例如，划分类型在第三标志为1时可以是二叉划分类型，而在第三标志为0时可以是三叉划分类型。通过二叉划分或三叉划分获取的多类型树的节点可以被进一步分割成多类型树结构。然而，可以不将多类型树的节点分割成四叉树结构。如果第一标志为0，则多类型树的对应节点不再被划分，而是变成多类型树的叶节点(MTT_leaf_node)。与多类型树的叶节点对应的CU可以被用作上述最终编码单元。
基于mtt_split_cu_vertical_flag和mtt_split_cu_binary_flag，可以如下表1所示推导CU的多类型树划分模式(MttSplitMode)。在以下描述中，多类型树划分模式可以被称为多树划分类型或划分类型。
[表1]
MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag
SPLIT_TT_HOR 0 0
SPLIT_BT_HOR 0 1
SPLIT_TT_VER 1 0
SPLIT_BT_VER 1 1
图7是示出了在应用四叉树之后通过应用多类型树来将CTU分割成多个CU的示例的视图。在图7中，粗体块边710表示四叉树分割，而剩余边720表示多类型树分割。CU可以对应于编码块(CB)。在实施方式中，CU可以包括亮度样本的一个编码块以及与亮度样本对应的色度样本的两个编码块。可以基于根据画面/图像的颜色格式(色度格式，例如，4:4:4、4:2:2、4:2:0等)的分量比率基于亮度分量(样本)CB或TB大小来推导色度分量(样本)CB或TB大小。在4:4:4颜色格式的情况下，可以将色度分量CB/TB大小设定为等于亮度分量CB/TB大小。在4:2:2颜色格式的情况下，可以将色度分量CB/TB的宽度设定为亮度分量CB/TB的宽度的一半并且可以将色度分量CB/TB的高度设定为亮度分量CB/TB的高度。在4:2:0颜色格式的情况下，可以将色度分量CB/TB的宽度设定为亮度分量CB/TB的宽度的一半并且可以将色度分量CB/TB的高度设定为亮度分量CB/TB的高度的一半。
在实施方式中，当CTU的大小基于亮度样本单元为128时，CU的大小可以具有从128×128至4×4的大小，其是与CTU相同的大小。在一个实施方式中，在4:2:0颜色格式(或色度格式)的情况下，色度CB大小可以具有从64×64至2×2的大小。
此外，在实施方式中，CU大小和TU大小可以是相同的。另选地，在CU区域中可以有多个TU。TU大小通常表示亮度分量(样本)变换块(TB)大小。
可以基于作为预定值的最大允许TB大小maxTbSize来推导TU大小。例如，当CU大小大于maxTbSize时，可以从CU推导具有maxTbSize的多个TU(TB)，并且可以以TU(TB)为单元执行变换/逆变换。例如，最大允许亮度TB大小可以是64×64并且最大允许色度TB大小可以是32×32。如果根据树结构分割的CB的宽度或高度大于最大变换宽度或高度，则CB可以被自动地(或隐式地)分割，直到满足水平和垂直方向上的TB大小极限为止。
另外，例如，当应用帧内预测时，可以以CU(或CB)为单元推导帧内预测模式/类型，并且可以以TU(或TB)为单元执行邻近参考样本推导和预测样本生成过程。在这种情况下，在一个CU(或CB)区域中可以有一个或多个TU(或TB)，并且在这种情况下，多个TU或(TB)可以共享相同的帧内预测模式/类型。
此外，对于具有嵌套多类型树的四叉树编码树方案，可以将以下参数作为SPS语法元素从编码设备用信号通知给解码设备。例如，用信号通知作为表示四叉树的根节点大小的参数的CTU大小、作为表示最小允许四叉树叶节点大小的参数的MinQTSize、作为表示最大允许二叉树根节点大小的参数的MaxBtSize、作为表示最大允许三叉树根节点大小的参数的MaxTtSize、作为表示从四叉树叶节点起进行多类型树划分的最大允许层次深度的参数的MaxMttDepth、作为表示最小允许二叉树树叶节点大小的参数的MinBtSize、或作为表示最小允许三叉数叶节点大小的参数的MinTtSize中的至少一个。
作为使用4:2:0色度格式的实施方式，可以将CTU大小设定为128×128亮度块以及与这些亮度块对应的两个64×64色度块。在这种情况下，可以将MinOTSize设定为16×16，可以将MaxBtSize设定为128×128，可以将MaxTtSzie设定为64×64，可以将MinBtSize和MinTtSize设定为4×4，并且可以将MaxMttDepth设定为4。四叉树分割可以被应用于CTU以生成四叉树叶节点。四叉树叶节点可以被称作叶QT节点。四叉树叶节点的大小可以从16×16大小(例如，MinOTSize)至128×128大小(例如，CTU大小)。如果叶QT节点是128×128，则它可以不被附加地分割成二叉树/三叉树。这是因为，在这种情况下，即使被分割，它也超过MaxBtsize和MaxTtszie(例如，64×64)。在其它情况下，叶QT节点可以被进一步分割成多类型树。因此，叶QT节点是多类型树的根节点，并且叶QT节点可以具有多类型树深度(mttDepth)0值。如果多类型树深度达到MaxMttdepth(例如4)，则可以不考虑进一步分割。如果多类型树节点的宽度等于MinBtSize并且小于或等于2xMinTtSize，则可以不考虑进一步水平分割。如果多类型树节点的高度等于MinBtSize并且小于或等于2xMinTtSize，则可以不考虑进一步垂直分割。当不考虑分割时，编码设备可以跳过分割信息的信令。在这种情况下，解码设备可以推导具有预定值的分割信息。
此外，一个CTU可以包括亮度样本的编码块(在下文中称为“亮度块”)以及与其对应的色度样本的两个编码块(在下文中称为“色度块”)。上述编码树方案可以被同等地或单独地应用于当前CU的亮度块和色度块。具体地，可以将一个CTU中的亮度块和色度块分割成相同的块树结构，并且在这种情况下，树结构被表示为SINGLE_TREE。另选地，可以将一个CTU中的亮度块和色度块分割成单独的块树结构，并且在这种情况下，可以将树结构表示为DUAL_TREE。也就是说，当CTU被分割成双树时，用于亮度块的块树结构和用于色度块的块树结构可以分别存在。在这种情况下，可以将用于亮度块的块树结构称作DUAL_TREE_LUMA，并且可以将用于色度分量的块树结构称作DUAL_TREE_CHROMA。对于P和B切片/拼块组，可以将一个CTU中的亮度块和色度块限制为具有相同的编码树结构。然而，对于I切片/拼块组，亮度块和色度块可以具有彼此分开的块树结构。如果应用单独的块树结构，则可以基于特定编码树结构来将亮度CTB分割成CU，并且可以基于另一编码树结构来将色度CTB分割成色度CU。也就是说，这意味着应用单独的块树结构的I切片/拼块组中的CU可以包括亮度分量的编码块或两个色度分量的编码块，并且P或B切片/拼块组的CU可以包括三个颜色分量(一个亮度分量和两个色度分量)的块。
尽管已经描述了具有嵌套多类型树的四叉树编码树结构，但是对CU进行分割的结构不限于此。例如，可以将BT结构和TT结构解释为多分割树(MPT)结构中包括的概念，并且可以将CU解释为通过QT结构和MPT结构被分割。在通过QT结构和MPT结构对CU进行分割的示例中，可以用信号通知包括关于QT结构的叶节点被分割成多少块的信息的语法元素(例如MPT_split_type)以及包括关于QT结构的叶节点被分割成垂直方向和水平方向中的哪个的信息的语法元素(例如MPT_split_mode)，以确定分割结构。
在另一示例中，可以以与QT结构、BT结构或TT结构不同的方式对CU进行分割。也就是说，与根据QT结构将较低深度的CU分割成较高深度的CU的1/4、根据BT结构将较低深度的CU分割成较高深度的CU的1/2或者根据TT结构将较低深度的CU分割成较高深度的CU的1/4或1/2不同，在一些情况下可以将较低深度的CU分割成较高深度的CU的1/5、1/3、3/8、3/5、2/3或5/8，并且对CU进行分割的方法不限于此。
具有多类型树的四叉树编码块结构可以提供非常灵活的块分割结构。由于多类型树中支持的分割类型，在一些情况下不同的分割图案可以潜在地产生相同的编码块结构。在编码设备和解码设备中，通过限制此类冗余分割图案的出现，可以减少分割信息的数据量。
例如，图8示出了在二叉树划分和三叉树划分中可能出现的冗余划分图案。如图8所示，针对两步级别的一个方向的连续二叉划分810和820具有与三叉划分之后针对中心分割的二叉划分相同的编码块结构。在这种情况下，可以禁止针对三叉树划分的中心块830和840的二叉树划分。此禁止适用于所有画面的CU。当这种特定划分被禁止时，可以通过反映这种被禁止情况来修改对应语法元素的信令，从而减少针对划分用信号通知的比特数。例如，如图8中示出的示例所示，当针对CU的中心块的二叉树划分被禁止时，不用信号通知指定划分是二叉划分还是三叉划分的语法元素mtt_split_cu_binary_flag并且其值可以由解码设备推导为0。
帧间预测的概述
在下文中，将描述根据本公开的帧间预测。
根据本公开的图像编码设备/图像解码设备的预测单元可以以块为单元执行帧间预测以推导预测样本。帧间预测可以表示以依赖于当前画面以外的画面的数据元素(例如，样本值、运动信息等)的方式推导的预测。当帧间预测应用于当前块时，可以基于参考画面索引指示的参考画面上由运动向量指定的参考块(参考样本阵列)来推导当前块的预测块(预测块或预测样本阵列)。在这种情况下，为了减少在帧间预测模式下发送的运动信息量，可以基于邻近块与当前块之间的运动信息的相关性来以块、子块或样本为单元预测当前块的运动信息。运动信息可以包括运动向量和参考画面索引。运动信息还可以包括帧间预测类型(L0预测、L1预测、Bi预测等)信息。当应用帧间预测时，邻近块可以包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括参考块的参考画面和包括时间邻近块的参考画面可以是相同或不同的。时间邻近块可以被称为并置参考块、并置CU(ColCU)或colBlock，并且包括时间邻近块的参考画面可以被称为并置画面(colPic)或colPicture。例如，可以基于当前块的邻近块来构建运动信息候选列表，并且可以用信号通知指定哪个候选被选择(使用)的标志或索引信息以便推导当前块的运动向量和/或参考画面索引。
可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，当前块的运动信息可以等于所选择的邻近块的运动信息。在跳过模式的情况下，与合并模式不同，可以不发送残差信号。在运动信息预测(MVP)模式的情况下，所选择的邻近块的运动向量可以被用作运动向量预测子并且可以用信号通知运动向量差。在这种情况下，可以使用运动向量预测子和运动向量差之和来推导当前块的运动向量。在本公开中，MVP模式可以具有与高级运动向量预测(AMVP)相同的含义。
根据帧间预测类型(L0预测、L1预测、Bi预测等)，运动信息可以包括L0运动信息和/或L1运动信息。L0方向上的运动向量可以被称为L0运动向量或MVL0，而L1方向上的运动向量可以被称为L1运动向量或MVL1。基于L0运动向量的预测可以被称为L0预测，基于L1运动向量的预测可以被称为L1预测，而基于L0运动向量和L1运动向量二者的预测可以被称为Bi预测。这里，L0运动向量可以指定与参考画面列表L0(L0)关联的运动向量，而L1运动向量可以指定与参考画面列表L1(L1)关联的运动向量。参考画面列表L0可以包括按输出顺序在当前画面之前的画面作为参考画面，而参考画面列表L1可以包括按输出顺序在当前画面之后的画面。先前画面可以被称为正向(参考)画面，而后续画面可以被称为反向(参考)画面。参考画面列表L0还可以包括按输出顺序在当前画面之后的画面作为参考画面。在这种情况下，在参考画面列表L0内，可以首先对先前画面编索引，然后可以对后续画面编索引。参考画面列表L1还可以包括按输出顺序在当前画面之前的画面作为参考画面。在这种情况下，在参考画面列表L1内，可以首先对后续画面编索引，然后可以对先前画面编索引。这里，输出顺序可以对应于画面顺序计数(POC)顺序。
图9是例示了基于帧间预测的视频/图像编码方法的流程图。
图10是例示了根据本公开的帧间预测单元180的配置的视图。
图9的编码方法可以由图2的图像编码设备执行。具体地，步骤S610可以由帧间预测单元180执行，并且步骤S620可以由残差处理器执行。具体地，步骤S620可以由减法器115执行。步骤S630可以由熵编码器190执行。步骤S630的预测信息可以由帧间预测单元180推导，并且步骤S630的残差信息可以由残差处理器推导。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。如上所述，残差样本可以通过图像编码设备的变换器120被推导为变换系数，并且变换系数可以通过量化器130被推导为量化变换系数。关于量化变换系数的信息可以由熵编码器190通过残差编码过程来编码。
图像编码设备可以对当前块执行帧间预测(S610)。图像编码设备可以推导当前块的帧间预测模式和运动信息并且生成当前块的预测样本。这里，可以同时地执行帧间预测模式确定、运动信息推导和预测样本生成过程或者可以在其它过程之前执行其任何一个。例如，如图10所示，图像编码设备的帧间预测单元180可以包括预测模式确定单元181、运动信息推导单元182和预测样本推导单元183。预测模式确定单元181可以确定当前块的预测模式，运动信息推导单元182可以推导当前块的运动信息，并且预测样本推导单元183可以推导当前块的预测样本。例如，图像编码设备的帧间预测单元180可以通过运动估计在参考画面的预定区域(搜索区域)内搜索与当前块相似的块，并且推导其与当前块的差等于或小于预定准则或最小值的参考块。基于此，可以推导指定参考块位于其中的参考画面的参考画面索引，并且可以基于参考块与当前块之间的位置差来推导运动向量。图像编码设备可以在各种预测模式当中确定应用于当前块的模式。图像编码设备可以针对各种预测模式比较速率失真(RD)成本，并且确定当前块的最佳预测模式。然而，由图像编码设备确定当前块的预测模式的方法不限于上述示例，并且可以使用各种方法。
例如，当跳过模式或合并模式应用于当前块时，图像编码设备可以从当前块的邻近块推导合并候选，并且使用所推导的合并候选来构建合并候选列表。另外，图像编码设备可以在通过合并候选列表中包括的合并候选指定的参考块当中推导其与当前块的差等于或小于预定准则或最小值的参考块。在这种情况下，可以选择与所推导的参考块关联的合并候选，并且可以生成指定所选择的合并候选的合并索引信息并且将其用信号通知给图像解码设备。可以使用所选择的合并候选的运动信息来推导当前块的运动信息。
作为另一示例，当MVP模式应用于当前块时，图像编码设备可以从当前块的邻近块推导运动向量预测子(mvp)候选，并且使用所推导的mvp候选来构建mvp候选列表。另外，图像编码设备可以使用从mvp候选列表中包括的mvp候选当中选择的mvp候选的运动向量作为当前块的mvp。在这种情况下，例如，指示通过上述运动估计推导的参考块的运动向量可以被用作当前块的运动向量，在mvp候选当中具有与当前块的运动向量的差最小的运动向量的mvp候选可以是所选择的mvp候选。可以推导作为通过从当前块的运动向量减去mvp所获得的差的运动向量差(MVD)。在这种情况下，可以将指定所选择的mvp候选的索引信息和关于MVD的信息用信号通知给图像解码设备。另外，当应用MVP模式时，可以将参考画面索引的值构建为参考画面索引信息并且单独地用信号通知给图像解码设备。
图像编码设备可以基于预测样本来推导残差样本(S620)。图像编码设备可以通过当前块的原始样本与预测样本之间的比较来推导残差样本。例如，可以通过从原始样本减去对应的预测样本来推导残差样本。
图像编码设备可以对包括预测信息和残差信息的图像信息进行编码(S630)。图像编码设备可以以比特流的形式输出编码的图像信息。预测信息可以包括预测模式信息(例如，跳过标志、合并标志或模式索引等)和关于运动信息的信息作为与预测过程有关的信息。在预测模式信息当中，跳过标志指定跳过模式是否应用于当前块，而合并标志指定合并模式是否应用于当前块。另选地，预测模式信息可以指定多种预测模式中的一种，例如模式索引。当跳过标志和合并标志为0时，可以确定MVP模式应用于当前块。关于运动信息的信息可以包括作为用于推导运动向量的信息的候选选择信息(例如，合并索引、mvp标志或mvp索引)。在候选选择信息当中，合并索引可以在合并模式应用于当前块时用信号通知，并且可以是用于选择合并候选列表中包括的合并候选中的一个的信息。在候选选择信息当中，mvp标志或mvp索引可以在MVP模式应用于当前块时用信号通知，并且可以是用于选择mvp候选列表中的mvp候选中的一个的信息。另外，关于运动信息的信息可以包括关于上述MVD的信息和/或参考画面索引信息。另外，关于运动信息的信息可以包括指定是应用L0预测、L1预测还是Bi预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。
输出比特流可以被存储在(数字)存储介质中并且被发送到图像解码设备或者可以经由网络被发送到图像解码设备。
如上所述，图像编码设备可以基于参考样本和残差样本来生成重构画面(包括重构样本和重构块的画面)。这是为了图像编码设备推导与由图像解码设备执行的预测结果相同的预测结果，从而提高编码效率。因此，图像编码设备可以将重构画面(或重构样本和重构块)存储在存储器中并且将其用作用于帧间预测的参考画面。如上所述，环路内滤波过程还适用于重构画面。
图11是例示了基于帧间预测的视频/图像解码方法的流程图。
图12是例示了根据本公开的帧间预测单元260的配置的视图。
图像解码设备可以执行与由图像编码设备执行的操作对应的操作。图像解码设备可以基于接收到的预测信息来对当前块执行预测并且推导预测样本。
图11的解码方法可以由图3的图像解码设备执行。步骤S810至S830可以由帧间预测单元260执行，并且步骤S810的预测信息和步骤S840的残差信息可以由熵解码器210从比特流获得。图像解码设备的残差处理器可以基于残差信息来推导当前块的残差样本(S840)。具体地，残差处理器的解量化器220可以基于根据残差信息而推导的解量化变换系数来执行解量化以推导变换系数，并且残差处理器的逆变换器230可以对变换系数执行逆变换以推导当前块的残差样本。步骤S850可以由加法器235或重构器执行。
具体地，图像解码设备可以基于所接收到的预测信息来确定当前块的预测模式(S810)。图像解码设备可以基于预测信息中的预测模式信息来确定哪种帧间预测模式应用于当前块。
例如，可以基于跳过标志来确定跳过模式是否应用于当前块。另外，可以基于合并标志来确定是合并模式还是MVP模式应用于当前块。另选地，可以基于模式索引来选择各种帧间预测模式候选中的一个。帧间预测模式候选可以包括跳过模式、合并模式和/或MVP模式或者可以包括将在下面描述的各种帧间预测模式。
图像解码设备可以基于所确定的帧间预测模式来推导当前块的运动信息(S820)。例如，当跳过模式或合并模式应用于当前块时，图像解码设备可以构建将在下面描述的合并候选列表，并且选择合并候选列表中包括的合并候选中的一个。可以基于上述候选选择信息(合并索引)来执行选择。可以使用所选择的合并候选的运动信息来推导当前块的运动信息。例如，可以将所选择的合并候选的运动信息用作当前块的运动信息。
作为另一示例，当MVP模式应用于当前块时，图像解码设备可以构建mvp候选列表，并且使用从mvp候选列表中包括的mvp候选当中选择的mvp候选的运动向量作为当前块的mvp。可以基于上述候选选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于MVD的信息来推导当前块的MVD，并且可以基于当前块的mvp和MVD来推导当前块的运动向量。另外，可以基于参考画面索引信息来推导当前块的参考画面索引。可以将当前块的参考画面列表中通过参考画面索引指示的画面推导为被参考以进行当前块的帧间预测的参考画面。
图像解码设备可以基于当前块的运动信息来生成当前块的预测样本(S830)。在这种情况下，可以基于当前块的参考画面索引来推导参考画面，并且可以使用参考画面上通过当前块的运动向量指示的参考块的样本来推导当前块的预测样本。在一些情况下，还可以对当前块的预测样本中的全部或一些执行预测样本滤波过程。
例如，如图12所示，图像解码设备的帧间预测单元260可以包括预测模式确定单元261、运动信息推导单元262和预测样本推导单元263。在图像解码设备的帧间预测单元260中，预测模式确定单元261可以基于所接收到的预测模式信息来确定当前块的预测模式，运动信息推导单元262可以基于所接收到的运动信息来推导当前块的运动信息(运动向量和/或参考画面索引等)，并且预测样本推导单元263可以推导当前块的预测样本。
图像解码设备可以基于所接收到的残差信息来生成当前块的残差样本(S840)。图像解码设备可以基于预测样本和残差样本来生成当前块的重构样本并且基于此来生成重构画面(S850)。此后，环路内滤波过程适用于如上所述的重构画面。
如上所述，帧间预测过程可以包括确定帧间预测模式的步骤、根据所确定的预测模式来推导运动信息的步骤、以及基于所推导的运动信息来执行预测(生成预测样本)的步骤。如上所述，帧间预测过程可以由图像编码设备和图像解码设备执行。
在下文中，将更详细地描述根据预测模式来推导运动信息的步骤。
如上所述，可以使用当前块的运动信息来执行帧间预测。图像编码设备可以通过运动估计过程来推导当前块的最佳运动信息。例如，图像编码设备可以按分数像素单元使用当前块的原始画面中的原始块来在参考画面中在预定搜索范围内搜索具有高相关性的相似参考块，并且使用其来推导运动信息。可以基于当前块与参考块之间的绝对差之和(SAD)来计算块的相似度。在这种情况下，可以基于搜索区域中具有最小SAD的参考块来推导运动信息。可以根据基于帧间预测模式的各种方法将所推导的运动信息用信号通知给图像解码设备。
当合并模式应用于当前块时，不直接发送当前块的运动信息，并且使用邻近块的运动信息来推导当前块的运动信息。因此，可以通过发送指定合并模式被使用的标志信息和指定哪个邻近块被用作合并候选的候选选择信息(例如，合并索引)来指示当前预测块的运动信息。在本公开中，由于当前块是预测执行单元，所以当前块可以被用作与当前预测块相同的含义，并且邻近块可以被用作与邻近预测块相同的含义。
图像编码设备可以搜索用于推导当前块的运动信息的合并候选块以执行合并模式。例如，可以使用最多五个合并候选块，但不限于此。可以在切片头或拼块组头中发送合并候选块的最大数量，但不限于此。在找到合并候选块之后，图像编码设备可以生成合并候选列表并且选择具有最小RD成本的合并候选块作为最终合并候选块。
本公开提供针对配置合并候选列表的合并候选块的各种实施方式。合并候选列表可以使用例如五个合并候选块。例如，可以使用四个空间合并候选和一个时间合并候选。
图13是例示了可用作空间合并候选的邻近块的视图。
图14是示意性地例示了根据本公开的示例的合并候选列表构建方法的视图。
图像编码/解码设备可以将通过搜索当前块的空间邻近块推导的空间合并候选插入到合并候选列表中(S1110)。例如，如图13所示，空间邻近块可以包括当前块的左下角邻近块A0、左邻近块A1、右上角邻近块B0、上邻近块B1和左上角邻近块B2。然而，这是示例，并且除了上述空间邻近块之外，诸如右邻近块、下邻近块和右下邻近块的附加邻近块可以被进一步用作空间邻近块。图像编码/解码设备可以通过基于优先级搜索空间邻近块来检测可用块，并且推导所检测到的块的运动信息作为空间合并候选。例如，图像编码/解码设备可以通过按A1、B1、B0、A0和B2的顺序搜索图13所示的五个块，并且顺序地对可用候选编索引来构建合并候选列表。
图像编码/解码设备可以将通过搜索当前块的时间邻近块推导的时间合并候选插入到合并候选列表中(S1120)。时间邻近块可以位于与当前块位于其中的当前画面不同的参考画面上。时间邻近块位于其中的参考画面可以被称为并置画面或col画面。可以按col画面上当前块的并置块的右下角邻近块和右下中心块的顺序搜索时间邻近块。此外，当应用运动数据压缩以便减少存储器负载时，可以将特定运动信息存储为col画面的每个预定存储单元的代表性运动信息。在这种情况下，不需要存储预定存储单元中的所有块的运动信息，从而获得运动数据压缩效果。在这种情况下，可以将预定存储单元预先确定为例如16×16样本单元或8×8样本单元，或者可以将预定存储单元的大小信息从图像编码设备用信号通知给图像解码设备。当应用运动数据压缩时，时间邻近块的运动信息可以用时间邻近块位于其中的预定存储单元的代表性运动信息替换。也就是说，在这种情况下，从实现方式的观点看，可以基于在基于时间邻近块的坐标(左上样本位置)算术右移了预定值之后覆盖算术左移位置的预测块(而不是位于时间邻近块的坐标上的预测块)的运动信息，来推导时间合并候选。例如，当预定存储单元是2n×2n样本单元并且时间邻近块的坐标是(xTnb,yTnb)时，位于修改后的位置((xTnb>>n)<<n),(yTnb>>n)<<n))处的预测块的运动信息可以被用于时间合并候选。具体地，例如，当预定存储单元是16×16样本单元并且时间邻近块的坐标是(xTnb,yTnb)时，位于修改后的位置((xTnb>>4)<<4),(yTnb>>4)<<4))处的预测块的运动信息可以被用于时间合并候选。另选地，例如，当预定存储单元是8×8样本单元并且时间邻近块的坐标是(xTnb,yTnb)时，位于修改后的位置((xTnb>>3)<<3),(yTnb>>3)<<3))处的预测块的运动信息可以被用于时间合并候选。
再次参照图14，图像编码/解码设备可以检查当前合并候选的数量是否小于合并候选的最大数量(S1130)。合并候选的最大数量可以被预定义或者从图像编码设备用信号通知给图像解码设备。例如，图像编码设备可以生成关于合并候选的最大数量的信息并对其进行编码，并且将编码的信息以比特流的形式发送到图像解码设备。当满足合并候选的最大数量时，可以不执行后续候选添加过程S1140。
当作为步骤S1130的检查结果当前合并候选的数量小于合并候选的最大数量时，图像编码/解码设备可以根据预定方法来推导附加合并候选，然后将附加合并候选插入到合并候选列表(S1140)。
当作为步骤S1130的检查结果当前合并候选的数量不小于合并候选的最大数量时，图像编码/解码设备可以结束合并候选列表的构建。在这种情况下，图像编码设备可以从配置合并候选列表的合并候选当中选择最佳合并候选，并且将指定所选择的合并候选的候选选择信息(例如，合并索引)用信号通知给图像解码设备。图像解码设备可以基于合并候选列表和候选选择信息来选择最佳合并候选。
如上所述，所选择的合并候选的运动信息可以被用作当前块的运动信息，并且可以基于当前块的运动信息来推导当前块的预测样本。图像编码设备可以基于预测样本来推导当前块的残差样本，并且将残差样本的残差信息用信号通知给图像解码设备。如上所述，图像解码设备可以基于根据残差信息和预测样本而推导的残差样本来生成重构样本，并且基于其来生成重构画面。
当对当前块应用跳过模式时，可以使用与应用合并模式的情况相同的方法来推导当前块的运动信息。然而，当应用跳过模式时，对应块的残差信号被省略，并且因此预测样本可以被直接用作重构样本。
当对当前块应用MVP模式时，可以使用重构空间邻近块(例如，图13所示的邻近块)的运动向量和/或与时间邻近块(或Col块)对应的运动向量来生成运动向量预测子(mvp)候选列表。也就是说，重构空间邻近块的运动向量和与时间邻近块对应的运动向量可以被用作当前块的运动向量预测子候选。当应用bi预测时，用于L0运动信息推导的mvp候选列表和用于L1运动信息推导的mvp候选列表被单独地生成并被使用。当前块的预测信息(或关于预测的信息)可以包括指定从mvp候选列表中包括的运动向量预测子候选当中选择的最佳运动向量预测子候选的候选选择信息(例如，MVP标志或MVP索引)。在这种情况下，预测单元可以使用候选选择信息来从mvp候选列表中包括的运动向量预测子候选当中选择当前块的运动向量预测子。图像编码设备的预测单元可以获得当前块的运动向量与运动向量预测子之间的运动向量差(MVD)并对其进行编码，并且以比特流的形式输出编码的MVD。也就是说，可以通过从当前块的运动向量减去运动向量预测子来获得MVD。图像解码设备的预测单元可以获得关于预测的信息中包括的运动向量差并且通过运动向量差和运动向量预测子的相加来推导当前块的运动向量。图像编码设备的预测单元可以从关于预测的信息获得或推导指定参考画面的参考画面索引。
图15是示意性地例示了根据本公开的示例的运动向量预测子候选列表构建方法的视图。
首先，可以搜索当前块的空间候选块并且可以将可用候选块插入到mvp候选列表中(S1210)。此后，确定mvp候选列表中包括的mvp候选的数量是否小于2(S1220)，并且当mvp候选的数量为2时，可以完成mvp候选列表的构建。
在步骤S1220中，当可用空间候选块的数量小于2时，可以搜索当前块的时间候选块并且可以将可用候选块插入到mvp候选列表中(S1230)。当时间候选块不可用时，可以将零运动向量插入到mvp候选列表中，从而完成mvp候选列表的构建。
此外，当应用mvp模式时，可以显式地用信号通知参考画面索引。在这种情况下，可以区别地用信号通知用于L0预测的参考画面索引refidxL0和用于L1预测的参考画面索引refidxL1。例如，当应用MVP模式并且应用Bi预测时，可以用信号通知关于refidxL0的信息和关于refidxL1的信息。
如上所述，当应用MVP模式时，可以将关于由图像编码设备推导的MVP的信息用信号通知给图像解码设备。例如，关于MVD的信息可以包括指定绝对值(MVD绝对值)的x和y分量及MVD的正负号(sign)的信息。在这种情况下，当MVD绝对值大于0时，可以分步地用信号通知MVD绝对值是否大于1和指定MVD余数的信息。例如，只有当指定MVD绝对值是否大于0的标志信息的值为1时才可以用信号通知指定MVD绝对值是否大于1的信息。
图16是例示了根据本公开的实施方式的用于从图像编码设备向图像解码设备发送MVD的语法结构的视图。
在图16中，abs_mvd_greater0_flag[0]指定MVD的x分量的绝对值是否大于0，而abs_mvd_greater0_flag[1]指定MVD的y分量的绝对值是否大于0。类似地，abs_mvd_greater1_flag[0]指定MVD的x分量的绝对值是否大于1，而abs_mvd_greater1_flag[1]指定MVD的y分量的绝对值是否大于1。如图16所示，只有当abs_mvd_greater0_flag为1时才可以发送abs_mvd_greater1_flag。在图16中，abs_mvd_minus2可以指定通过从MVD的绝对值减去2所获得的值，并且mvd_sign_flag指定MVD的正负号是正还是负。使用图16所示的语法结构，可以如以下式1所示的那样推导MVD。
[式1]
MVD[compIdx]＝abs_mvd_greater0_flag[compIdx]*(abs_mvd_minus2[compIdx]+2)*(1-2*mvd_sign_flag[compIdx])
此外，可以区别地用信号通知用于L0预测的MVD(MVDL0)和用于L1预测的MVD(MVDL1)，并且关于MVD的信息可以包括关于MVDL0的信息和/或关于MVDL1的信息。例如，当对当前块应用MVP模式并应用BI预测时，可以用信号通知关于MVDL0的信息和关于MVDL1的信息。
帧内块复制(IBC)预测的概述
在下文中，将描述根据本公开的IBC预测。
IBC预测可以由图像编码/解码设备的预测单元执行。IBC预测可以被简称为IBC。IBC可以被用于诸如屏幕内容编码(SCC)的内容图像/运动图像编码。IBC预测可以基本上在当前画面中执行，但是可以类似于帧间预测执行，因为在当前画面内推导参考块。也就是说，IBC可以使用本公开中描述的帧间预测技术中的至少一种。例如，IBC可以使用上述运动信息(运动向量)推导方法中的至少一种。可以考虑到IBC预测部分地修改和使用帧间预测技术中的至少一种。IBC可以参考当前画面并且因此可以被称为当前画面参考(CPR)。
对于IBC，图像编码设备可执行块匹配(BM)并且推导当前块(例如，CU)的最佳块向量(或运动向量)。可以使用与上述帧间预测中的运动信息(运动向量)的信令类似的方法，通过比特流将所推导的块向量(或运动向量)用信号通知给图像解码设备。图像解码设备可以通过用信号通知的块向量(运动向量)来推导当前画面中的当前块的参考块，并且由此推导当前块的预测信号(预测块或预测样本)。这里，块向量(或运动向量)可以指定从当前块到位于当前画面中已经重构的区域中的参考块的位移。因此，块向量(或运动向量)可以被称为位移向量。在下文中，在IBC中，运动向量可以对应于块向量或位移向量。当前块的运动向量可以包括亮度分量的运动向量(亮度运动向量)或色度分量的运动向量(色度运动向量)。例如，IBC编码的CU的亮度运动向量可以是整数样本单元(即，整数精度)。可以按整数样本单元修剪色度运动向量。如上所述，IBC可以使用帧间预测技术中的至少一种，并且例如，可以使用上述合并模式或MVP模式来对亮度运动向量进行编码/解码。
当对亮度IBC块应用合并模式时，可以类似于参照图14描述的帧间模式下的合并候选列表构建亮度IBC块的合并候选列表。然而，在亮度IBC块的情况下，可以不将时间邻近块用作合并候选。
当将MVP模式应用于亮度IBC块时，可以类似于参照图15描述的帧间模式下的mvp候选列表构建亮度IBC块的mvp候选列表。然而，在亮度IBC块的情况下，可以不将时间候选块用作mvp候选。
在IBC中，参考块是从当前画面中已经重构的区域推导的。在这种情况下，为了降低图像解码设备的存储器消耗和复杂度，可以仅参考当前画面中已经重构的区域当中的预定义区域。预定义区域可以包括当前块被包括在其中的当前CTU。通过将可参考的重构区域限制为预定义区域，可以使用本地片上存储器来在硬件中实现IBC模式。
用于执行IBC的图像编码设备可以搜索预定义区域以确定具有最小RD成本的参考块并且基于参考块和当前块的位置来推导运动向量(块向量)。
是否将IBC应用于当前块可以作为CU级别下的IBC执行信息用信号通知。可以用信号通知关于当前块的运动向量的信令方法(IBC MVP模式或IBC跳过/合并模式)的信息。IBC执行信息可以用于确定当前块的预测模式。因此，可以将IBC执行信息包括在关于当前块的预测模式的信息中。
在IBC跳过/合并模式的情况下，可以用信号通知合并候选索引以指定在合并候选列表中包括的块向量当中要用于当前亮度块的预测的块向量。在这种情况下，合并候选列表可以包括IBC编码的邻近块。合并候选列表可以被配置为包括空间合并候选而不包括时间合并候选。另外，合并候选列表还可以包括基于历史的运动向量预测子(HMVP)候选和/或成对候选。
在IBC MVP模式的情况下，块向量差值可以使用与上述帧间模式的运动向量差值相同的方法来编码。块向量预测方法可以类似于帧间模式的MVP模式构建并使用包括两个候选作为预测子的mvp候选列表。可以从左邻近块推导两个候选中的一个，并且可以从上邻近块推导另一个候选。在这种情况下，只有当左或上邻近块被IBC编码时，才可以从对应邻近块推导候选。如果左或上邻近块不可用，例如，不是IBC编码的，则默认块向量可以作为预测子被包括在mvp候选列表中。另外，指定两个块向量预测子中的一个的信息(例如，标志)被类似于帧间模式的MVP模式用信号通知并用作候选选择信息。mvp候选列表可以包括HMVP候选和/或零运动向量作为默认块向量。
HMVP候选可以被称为基于历史的MVP候选，并且在当前块的编码/解码之前使用的MVP候选、合并候选或块向量候选可以作为HMVP候选被存储在HMVP列表中。此后，在当前块的合并候选列表或mvp候选列表不包括最大数量的候选时，可以将存储在HMVP列表中的候选作为HMVP候选添加到当前块的合并候选列表或mvp候选列表。
成对候选意指通过根据预定顺序从已经包括在当前块的合并候选列表中的候选当中选择两个候选并且计算所选择的两个候选的平均所推导的候选。
图17是例示了基于IBC的视频/图像编码方法的流程图。
图18是例示了根据本公开的用于执行基于IBC的视频/图像编码方法的预测单元的配置的视图。
图17的编码方法可以由图2的图像编码设备执行。具体地，步骤S1410可以由预测单元执行并且步骤S1420可以由残差处理器执行。具体地，步骤S1420可以由减法器115执行。步骤S1430可以由熵编码器190执行。步骤S1430的预测信息可以由预测单元推导并且步骤S1430的残差信息可以由残差处理器推导。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。如上所述，可以经由图像编码设备的变换器120通过变换系数来推导残差样本，并且可以通过经由量化器130量化的变换系数来推导变换系数。关于量化变换系数的信息可以由熵编码器190通过残差编码过程来编码。
图像编码设备可以针对当前块执行IBC预测(基于IBC的预测)(S1410)。图像编码设备可以推导当前块的预测模式和运动向量(块向量)并且生成当前块的预测样本。预测模式可以包括上述帧间预测模式中的至少一种。这里，可以同时地执行预测模式确定、运动向量推导和预测样本生成过程，或者可以在其它过程之前执行任一个过程。例如，如图18所示，用于执行基于IBC的视频/图像编码方法的图像编码设备的预测单元可以包括预测模式确定单元、运动向量推导单元和预测样本推导单元。预测模式确定单元可以确定当前块的预测模式，运动向量推导单元可以推导当前块的运动向量，并且预测样本推导单元可以推导当前块的预测样本。例如，图像编码设备的预测单元可以在当前画面的重构区域(或重构区域的某个区域(搜索区域))中搜索与当前块相似的块并且推导其与当前块的差等于或小于特定准则或最小值的参考块。图像编码设备可以基于参考块与当前块之间的位移差来推导运动向量。图像编码设备可以在各种预测模式当中确定应用于当前块的模式。图像编码设备可以针对各种预测模式比较RD成本，并且确定当前块的最佳预测模式。然而，由图像编码设备确定当前块的预测模式的方法不限于上述示例并且可以使用各种方法。
例如，当对当前块应用跳过模式或合并模式时，图像编码设备可以从当前块的邻近块推导合并候选，并且使用所推导的合并候选来构建合并候选列表。另外，图像编码设备可以在通过合并候选列表中包括的合并候选指示的参考块当中推导其与当前块的差等于或小于特定准则或最小值的参考块。在这种情况下，可以选择与所推导的参考块关联的合并候选，并且可以生成指定所选择的合并候选的合并索引信息，并且将其用信号通知给图像解码设备。使用所选择的合并候选的运动向量，可以推导当前块的运动向量。
作为另一示例，当对当前块应用MVP模式时，图像编码设备可以从当前块的邻近块推导运动向量预测子(mvp)候选，并且使用所推导的mvp候选来构建mvp候选列表。另外，图像编码设备可以使用从mvp候选列表中包括的mvp候选当中选择的mvp候选的运动向量作为当前块的mvp。在这种情况下，例如，指示通过上述运动估计推导的参考块的运动向量可以被用作当前块的运动向量，并且在mvp候选当中与当前块的运动向量的差最小的mvp候选可以变成所选择的mvp候选。可以推导通过从当前块的运动向量减去mvp而获得的运动向量差(MVD)。在这种情况下，可以将指定所选择的mvp候选的索引信息和关于MVD的信息用信号通知给图像解码设备。
图像编码设备可以基于预测样本来推导残差样本(S1420)。图像编码设备可以通过当前块的原始样本与预测样本之间的比较来推导残差样本。例如，可以通过从原始样本减去对应预测样本来推导残差样本。
图像编码设备可以对包括预测信息和残差信息的图像信息进行编码(S1430)。图像编码设备可以以比特流的形式输出编码的图像信息。预测信息可以包括预测模式信息(例如，跳过标志、合并标志或模式索引)和关于运动向量的信息作为与预测过程有关的信息。在预测模式信息当中，跳过标志指定是否将跳过模式应用于当前块，而合并标志指定是否将合并模式应用于当前块。另选地，预测模式信息可以指定多种预测模式中的一种，例如模式索引。当跳过标志和合并标志为0时，可以确定MVP模式应用于当前块。关于运动向量的信息可以包括作为用于推导运动向量的信息的候选选择信息(例如，合并索引、mvp标志或mvp索引)。在候选选择信息当中，合并索引可以在将合并模式应用于当前块时用信号通知，并且可以是用于选择合并候选列表中包括的合并候选中的一个的信息。在候选选择信息当中，mvp标志或mvp索引可以在将MVP模式应用于当前块时用信号通知，并且可以是用于选择mvp候选列表中包括的mvp候选中的一个的信息。另外，关于运动向量的信息可以包括关于上述MVD的信息。另外，关于运动向量的信息可以包括指定是应用L0预测、L1预测还是bi预测的信息。残差信息是关于残差样本的信息。残差信息可以包括关于用于残差样本的量化变换系数的信息。
输出比特流可以被存储在(数字)存储介质中并且发送到图像解码设备或者可以通过网络被发送到图像解码设备。
此外，如上所述，图像编码设备可以基于参考样本和残差样本来生成重构画面(包括重构样本和重构块的画面)。这是为了图像编码设备推导与由图像解码设备执行的预测结果相同的预测结果，从而提高编码效率。因此，图像编码设备可以将重构画面(或重构样本和重构块)存储在存储器中，并且将其用作用于帧间预测的参考画面。如上所述，环路内滤波过程还适用于重构画面。
图19是例示了基于IBC的视频/图像解码方法的流程图。
图20是例示了根据本公开的用于执行基于IBC的视频/图像解码方法的预测单元的配置的视图。
图像解码设备可以执行与由图像编码设备执行的操作对应的操作。图像解码设备可以基于接收到的预测信息来对当前块执行IBC预测以推导预测样本。
图19的解码方法可以由图3的图像解码设备执行。步骤S1610至S1630可以由预测单元执行，并且步骤S1610的预测信息和步骤S1640的残差信息可以由熵解码器210从比特流获得。图像解码设备的残差处理器可以基于残差信息来推导当前块的残差样本(S1640)。具体地，残差处理器的解量化器220可以基于根据残差信息而推导的量化变换系数来执行解量化以推导变换系数，并且残差处理器的逆变换器230可以对变换系数执行逆变换以推导当前块的残差样本。步骤S1650可由加法器235或重构器执行。
具体地，图像解码设备可以基于所接收到的预测信息来确定当前块的预测模式(S1610)。图像解码设备可以基于预测信息中的预测模式信息来确定哪种预测模式应用于当前块。
例如，可以基于跳过标志来确定是否将跳过模式应用于当前块。另外，可以基于合并标志来确定是否将合并节点或MVP模式应用于当前块。另选地，可以基于模式索引来选择各种预测模式候选中的一个。预测模式候选可以包括跳过模式、合并模式和/或MVP模式或者可以包括上述各种帧间预测模式。
图像编码设备可以基于所确定的预测模式来推导当前块的运动向量(S1620)。例如，当将跳过模式或合并模式应用于当前块时，图像解码设备可以构建上述合并候选列表并且选择合并候选列表中包括的合并模式中的一种。可以基于上述候选选择信息(合并索引)来执行选择。可以使用所选择的合并候选的运动向量来推导当前块的运动向量。例如，所选择的合并候选的运动向量可以被用作当前块的运动向量。
作为另一示例，当将MVP模式应用于当前块时，图像解码设备可以构建mvp候选列表，并且使用从mvp候选列表中包括的mvp候选当中选择的mvp候选的运动向量作为当前块的mvp。可以基于上述候选选择信息(mvp标志或mvp索引)来执行选择。在这种情况下，可以基于关于MVD的信息来推导当前块的MVD，并且可以基于当前块的mvp和MVD来推导当前块的运动向量。
图像解码设备可以基于当前块的运动向量来生成当前块的预测样本(S1630)。可以使用当前画面上由当前块的运动向量指示的参考块的样本来推导当前块的预测样本。在一些情况下，可以进一步执行针对当前块的预测样本中的全部或一些的预测样本滤波过程。
例如，如图20所示，用于执行基于IBC的视频/图像解码方法的图像解码设备的预测单元可以包括预测模式确定单元、运动向量推导单元和预测样本推导单元。图像解码设备的预测单元可以在预测模式确定单元中基于所接收到的预测模式信息来确定当前块的预测模式，在运动向量推导单元中基于所接收到的关于运动向量的信息来推导当前块的运动向量，并且在预测样本推导单元中推导当前块的预测样本。
图像解码设备可以基于所接收到的残差信息来生成当前块的残差样本(S1640)。图像解码设备可以基于预测样本和残差样本来生成当前块的重构样本，并且基于此来生成重构画面(S1650)。此后，如上所述，环路内滤波过程还适用于重构画面。
如上所述，一个单元(例如，编码单元(CU))可以包括亮度块(亮度编码块(CB))和色度块(色度CB)。在这种情况下，亮度块和与其对应的色度块可以具有相同的运动信息(例如，运动向量)或不同的运动信息。例如，可以基于亮度块的运动信息来推导色度块的运动信息，使得亮度块和与其对应的色度块具有相同的运动信息。
色度格式的概述
以下，将描述色度格式。图像可以被编码为包括亮度分量(例如，Y)阵列和两个色度分量(例如，Cb和Cr)阵列的编码数据。例如，编码图像的一个像素可以包括亮度样本和色度样本。色度格式可以用于表示亮度样本和色度样本的配置格式，并且色度格式可以被称为颜色格式。
在实施方式中，图像可以被编码为诸如单色、4:2:0、4:2:2或4:4:4的各种色度格式。在单色采样中，可以存在一个样本阵列并且样本阵列可以以是亮度阵列。在4:2:0采样中，可以存在一个亮度样本阵列和两个色度样本阵列，两个色度阵列中的每一个可以具有等于亮度阵列的一半的高度和等于亮度阵列的一半的宽度。在4:2:2采样中，可以存在一个亮度样本阵列和两个色度样本阵列，两个色度阵列中的每一个可以具有等于亮度阵列的高度和等于亮度阵列的一半的宽度。在4:4:4采样中，可以存在一个亮度样本阵列和两个色度样本阵列，并且两个色度阵列中的每一个可以具有等于亮度阵列的高度和宽度。
例如，在4:2:0采样中，色度样本可以位于与其对应的亮度样本下方。在4:2:2采样中，色度样本可以被定位成与对应于其的亮度样本交叠。在4:4:4采样中，亮度样本和色度样本二者可以位于交叠位置。
编码设备和解码设备中使用的色度格式可以预先确定。另选地，色度格式可以从编码设备用信号通知给解码设备以在编码设备和解码设备中自适应地使用。在实施方式中，色度格式可以基于chroma_format_idc或separate_colour_plane_flag中的至少一个用信号通知。chroma_format_idc或separate_colour_plane_flag中的至少一个可以通过诸如DPS、VPS、SPS或PPS的高级语法用信号通知。例如，chroma_format_idc和separate_colour_plane_flag可以包括在图21所示的SPS语法中。
此外，图22示出了使用chroma_format_idc和separate_colour_plane_flag的信令的色度格式分类的实施方式。chroma_format_idc可以是指定应用于编码图像的色度格式的信息。separate_colour_plane_flag可以指定是否在特定色度格式中单独地处理颜色阵列。例如，chroma_format_idc的第一值(例如，0)可以指定单色采样。chroma_format_idc的第二值(例如，1)可以指定4:2:0采样。chroma_format_idc的第三值(例如，2)可以指定4:2:2采样。chroma_format_idc的第四值(例如，3)可以指定4:4:4采样。
在4:4:4中，基于separate_colour_plane_flag的值，下述可以适用。如果separate_colour_plane_flag的值为第一值(例如，0)，则两个色度阵列中的每一个可以具有与亮度阵列相同的高度和宽度。在这种情况下，指定色度样本阵列的类型的ChromaArrayType的值可以设定为等于chroma_format_idc。如果separate_colour_plane_flag的值为第二值(例如，1)，则亮度样本阵列、Cb样本阵列和Cr样本阵列可以单独地处理以及连同单色采样画面一起处理。在这种情况下，ChromaArrayType可以设定为0。
色度块的帧内预测
当对当前块执行帧内预测时，可以执行当前块的亮度分量块(亮度块)的预测和色度分量块(色度块)的预测。在这种情况下，色度块的帧内预测模式可以与亮度块的帧内预测模式分开设定。
例如，色度块的帧内预测模式可以基于帧内色度预测模式信息来指定，并且帧内色度预测模式信息可以按intra_chroma_pred_mode语法元素的形式用信号通知。例如，帧内色度预测模式信息可以表示平面模式、DC模式、垂直模式、水平模式、推导模式(DM)和交叉分量线性模型(CCLM)模式中的一个。这里，平面模式可以指定帧内预测模式#0，DC模式可以指定帧内预测模式#1，垂直模式可以指定帧内预测模式#26，水平模式可以指定帧内预测模式#10。DM也可以称为直接模式。CCLM也可以称为线性模型(LM)。
此外，DM和CCLM是使用关于亮度块的信息来预测色度块的相关帧内预测模式。DM可以表示应用与亮度分量的帧内预测模式相同的帧内预测模式作为色度分量的帧内预测模式的模式。另外，CCLM可以表示使用通过对亮度块的重构样本进行下采样，然后在生成色度块的预测块的过程中对下采样的样本应用CCLM参数α和β而推导的样本作为色度块的预测样本的帧内预测模式。
[式2]
predc(i，j)＝α·recL'(i，j)+β
其中，predc(i,j)可以表示当前CU中的当前色度块的(i,j)坐标的预测样本。recL’(i,j)可以表示CU中的当前亮度块的(i,j)坐标的重构样本。例如，recL’(i,j)可以表示当前亮度块的下采样重构样本。线性模型系数α和β可以从邻近样本用信号通知或推导。
虚拟管线数据单元
可以定义虚拟管线数据单元(VPDU)以用于画面内的管线处理。VPDU可以被定义为一个画面内的非交叠单元。在硬件解码设备中，连续VPDU可以由多个管线级同时处理。在大多数管线级中，VPDU大小可以与缓冲器大小大致成比例。因此，从硬件的角度当考虑缓冲器大小时，保持VPDU大小较小很重要。在大多数硬件解码设备中，VPDU大小可以设定为等于最大变换块(TB)大小。例如，VPDU大小可以是64×64(64×64亮度样本)大小。另选地，在VVC中，可以考虑上述三叉树(TT)和/或二叉树(BT)分割改变(增大或减小)VPDU大小。
此外，为了将VPDU大小保持在64×64亮度样本的样本，可以限制图23所示的CU的划分。更具体地，可以应用以下限制中的至少一个。
限制1：对于宽度或高度为128或者宽度和高度为128的CU，不允许三叉树(TT)划分。
限制2：对于具有128×N(其中，N是等于或小于64且大于0的整数)的CU，不允许水平二叉树(BT)划分(例如，对于宽度为128并且高度小于128的CU，不允许水平二叉树划分)。
限制3：对于具有N×128(其中，N是等于或小于64且大于0的整数)的CU，不允许垂直二叉树(BT)划分(例如，对于高度为128并且宽度小于128的CU，不允许垂直二叉树划分)。
用于管线处理的色度块的最大大小限制问题
如上面关于分割结构和变换处理所描述的，可以划分CU以生成多个TU。当CU的大小大于最大TU大小时，CU可以被划分成多个TU。因此，可以对各个TU执行变换和/或逆变换。通常，亮度块的最大TU大小可以设定为最大可用变换大小，其可以由编码设备和/或解码设备执行。根据实施方式的划分CU和TU的示例示出于图24至图26中。
图24示出根据实施方式的通过划分亮度CU和色度CU而生成的TU的示例。在实施方式中，亮度CU的最大大小可以是64×64，最大可用变换大小可以是32×32，并且可以不允许非方形TU。因此，亮度分量变换块的最大大小可以是32×32。在此实施方式中，最大TU大小可以如下式所示设定。
[式3]
maxTbSize＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/max(SubWidthC,SubHeightC)
在上式中，maxTbSize可以是变换块(TB)的最大大小，cIdx可以是对应块的颜色分量。cIdx 0可以表示亮度分量，1可以表示Cb色度分量，2可以表示Cr色度分量。MaxTbSizeY可以表示亮度分量变换块的最大大小，SubWidthC可以表示亮度块的宽度与色度块的宽度之比，SubHeightC可以表示亮度块的高度与色度块的高度之比，max(A,B)可以表示返回A和B中的较大值作为结果值的函数。
根据上式，在上述实施方式中，在亮度块的情况下，变换块的最大大小可以被设定为亮度分量变换块的最大大小。这里，亮度分量变换块的最大大小是在编码期间设定的值，并且可以通过比特流从编码设备用信号通知给解码设备。
另外，在上述实施方式中，色度块的变换块的最大大小可以被设定为通过将亮度分量变换块的最大大小除以SubWidthC和SubHeightC中的较大值而获得的值。这里，SubWidthC和SubHeightC可以基于通过比特流从编码设备用信号通知给解码设备的chroma_format_idc和separate_colour_plane_flag来确定，如图23所示。
根据上式，在上述实施方式中，变换块的最大大小可以被确定为变换块的最小宽度和最小高度中的任一个。因此，上述实施方式中的亮度块和色度块的TU划分可以如图24所示执行。例如，如图24所示，在具有4:2:2格式的色度块的情况下，当变换块的最大大小被确定为16时，可以按照与亮度CU划分成变换块的形式不同的形式将色度CU划分成多个变换块。
图25示出根据另一实施方式的通过划分亮度CU和色度CU而生成的TU的示例。在实施方式中，亮度CU的最大大小可以是128×128，最大可用变换大小可以是64×64，并且可以不允许非方形TU。因此，亮度分量变换块的最大大小可以是64×64。在此实施方式中，变换块的最大大小可以如下式所示设定。在下式中，min(A,B)可以是返回A和B中的较小值的函数。
[式4]
maxTbSize＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/min(SubWidthC,SubHeightC)
此外，根据上式，当应用对应块的宽度和高度中的较大值作为变换块的最大大小时，可以如图25的示例中将亮度CU和色度CU划分成多个TU。
在图24和图25的示例中，在将具有4:2:2格式的色度CU划分成TU时，按照与将对应亮度CU划分成TU的形式不同的形式来划分。然而，当如上述用于色度块的预测的DM模式或CCLM模式中一样参考亮度块执行色度块的编码/解码时，为了减小管线处理中的延迟并节省存储器，在与色度块对应的亮度块的编码(或解码)之后立即执行对应色度块的编码(或解码)是高效的。
然而，在图24的示例中，应在一个亮度变换块2411的编码之后执行两个色度块2421和2423的编码，这需要与不同颜色格式(4:4:4或4:2:0)有关的单独处理。另外，在图25的示例中，应在两个亮度变换块2511和2512的编码之后执行一个色度变换块2521的编码。这样，在上述TU划分方法中，当使用4:2:2格式时，由于亮度块和与其对应的色度块不匹配，所以可以添加单独的处理以执行管线处理，或者可以不执行管线处理。
用于管线处理的色度变换块的最大大小限制
以下，将描述设定色度CU的最大变换块的大小以满足执行上述VPDU的条件的方法。
图26示出根据另一实施方式的通过划分亮度CU和色度CU而生成的TU的示例。在实施方式中，亮度CU的最大大小可以是128×128，最大可用变换大小可以是64×64，并且可以允许划分成非方形TU。因此，亮度分量变换块的最大大小可以是64×64。
如图26所示，为了划分成非方形TU，可以针对宽度和高度定义变换块的最大大小。例如，变换块的最大宽度(maxTbWidth)和变换块的最大高度(maxTbHeight)可以如下式所示定义，从而定义变换块的最大大小。
[式5]
maxTbWidth＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubWidthC
[式6]
maxTbHeight＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubHeightC
如上述实施方式中，通过将变换块的最大大小定义为宽度和高度，如图26的示例中所示，即使在具有4:2:2格式的色度CU的情况下，按照将对应亮度CU划分成TU的形式，可以将色度CU划分成TU。因此，通过将色度CU划分成TU以对应于亮度CU的TU，在亮度块的编码(或解码)之后可以立即执行与其对应的色度块的编码(或解码)，从而减小管线处理中的延迟。
帧间预测模式和IBC预测模式中的色度变换块的最大大小限制
以下，将描述应用了用于上述色度管线处理的色度变换块的最大大小限制的帧间预测模式和IBC预测模式的执行。编码设备和解码设备可以通过根据以下描述限制色度变换块的最大大小来执行帧间预测和IBC预测，并且其操作可以彼此对应。另外，帧间预测的以下描述可以改变地应用于IBC预测模式。因此，以下，将描述根据实施方式的解码设备的帧间预测操作。
根据实施方式的解码设备可以通过执行帧间预测来生成大小为(cbWidth)×(cbHeight)的亮度预测块predSamplesL和大小为(cbWidth/SubWidthC)×(cbHeight/SubHeightC)的色度预测块predSamplesCb和predSamplesCr。这里，cbWidth可以是当前CU的宽度，cbHeight可以是当前CU的高度。
另外，解码设备可以生成大小为(cbWidth)×(cbHeight)的亮度残差块resSamplesL和大小为(cbWidth/SubWidthC)×(cbHeight/SubHeightC)的色度残差块resSamplesCr和resSamplesCb。最后，解码设备可以使用预测块和残差块来生成重构块。
以下，将描述根据实施方式的限制色度变换块的最大大小以生成由解码设备在帧间预测模式下编码的CU的残差块的方法。解码设备可以使用在此步骤中生成的残差块来生成重构块。
根据实施方式的解码设备可以从比特流直接获得以下信息或者从获得自比特流的其它信息推导以下信息，以生成在帧间预测模式下编码的CU的大小为(nTbW)×(nTbH)的残差块。这里，nTbW和nTbH可以被设定为当前CU的宽度cbWidth和当前CU的高度cbHeight。
-样本位置(xTb0,yTb0)指定相对于当前画面的左上样本的位置的当前变换块的左上样本的位置
-参数nTbW指定当前变换块的宽度
-参数nTbH指定当前变换块的高度
-参数cIdx指定当前CU的颜色分量
解码设备可以如下从所接收的信息推导变换块的最大宽度maxTbWidth和变换块的最大高度maxTbHeight。
[式7]
maxTbWidth＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubWidthC
[式8]
maxTbHeight＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubHeightC
此外，解码设备可以如下基于当前CU是亮度分量还是色度分量来推导当前变换块的左上样本位置(xTbY,yTbY)。
[式9]
(xTbY,yTbY)＝(cIdx＝＝0)？(xTb0,yTb0):(xTb0*SubWidthC,yTb0*SubHeightC)
如上式中，当当前变换块是色度块时，为了反映根据当前变换块的色度格式确定的色度块的大小，变换块的最大宽度和高度和当前变换块的左上样本位置可以基于色度格式来确定。
以下，解码设备可以通过执行以下过程来生成残差块。这将参照图27描述。首先，解码设备可以确定当前变换块是否被划分(S2710)。例如，解码设备可以基于当前变换块的宽度和高度是否大于最大变换块的宽度和高度来确定当前变换块是否被划分。例如，当nTbW大于maxTbWidth或nTbH大于maxTbHeight时，解码设备可以确定通过划分当前变换块来生成下层变换块。
当当前变换块被划分成下层变换块时，如上所述，解码设备可以如下式所示推导下层变换块的宽度newTbW和下层变换块的高度newTbH(S2720)。
[式10]
newTbW＝(nTbW>maxTbWidth)？(nTbW/2):nTbW
[式11]
newTbH＝(nTbH>maxTbHeight)？(nTbH/2):nTbH
接下来，解码设备可以使用从当前变换块划分的下层变换块来生成残差块(S2730)。在实施方式中，如图26所示，当前变换块可以是具有4:2:2格式的色度CU的宽度和高度的变换块，并且下层变换块可以是通过以非方形形式将当前变换块划分成四个而获得的第一下层变换块2621至第四下层变换块2624。
首先，解码设备可以生成第一下层变换块的残差块。参照图26，第一下层变换块2621可以由样本位置(xTb0,yTb0)、下层变换块的宽度newTbW和下层变换块的高度newTbH指定。解码设备可以使用当前CU的颜色分量cIdx来生成第一下层变换块2621的残差块。基于此，解码设备可以生成修改的重构画面。此后，可以针对修改的重构画面执行环路内滤波。
接下来，当nTbW大于maxTbWidth时，解码设备可以生成第二下层变换块的残差块。第二下层变换块2622可以由样本位置(xTb0+newTbW,yTb0)、下层变换块的宽度newTbW和下层变换块的高度newTbH指定。解码设备可以使用当前CU的颜色分量cIdx来生成第二下层变换块2622的残差块。基于此，解码设备可以生成修改的重构画面。此后，可以针对修改的重构画面执行环路内滤波。
接下来，当nTbH大于maxTbHeight时，解码设备可以生成第三下层变换块的残差块。第三下层变换块2623可以由样本位置(xTb0,yTb0+newTbH)、下层变换块的宽度newTbW和下层变换块的高度newTbH指定。类似于以上描述，解码设备可以使用当前CU的颜色分量cIdx来生成残差块。
接下来，当nTbW大于maxTbWidth并且nTbH大于maxTbHeight时，解码设备可以生成第四下层变换块的残差块。第四下层变换块2624可以由样本位置(xTb0+newTbW,yTb0+newTbH)、下层变换块的宽度newTbW和下层变换块的高度newTbH指定。类似于以上描述，解码设备可以使用当前CU的颜色分量cIdx来生成残差块。
此外，当不执行当前变换块的划分时，解码设备可以如下执行帧间预测。例如，当nTbW小于maxTbWidth并且nTbH小于maxTbHeight时，可以不划分当前变换块。在这种情况下，解码设备可以通过使用样本位置(xTbY，xTbY)、当前CU的颜色分量cIdx、变换块宽度nTbW和变换块高度nTbH作为输入执行缩放和变换处理来生成用于帧间预测模式的残差块。基于此，解码设备可以生成修改的重构画面。此后，可以针对修改的重构画面执行环路内滤波。
帧内预测模式中的色度变换块的最大大小限制
以下，将描述应用了用于上述色度管线处理的色度变换块的最大大小限制的帧内预测模式的执行。编码设备和解码设备可以通过根据以下描述限制色度变换块的最大大小来执行帧内预测，并且其操作可以彼此对应。因此，以下，将描述解码设备的操作。
根据实施方式的解码设备可以通过执行帧内预测来生成重构画面。可以对重构画面执行环路内滤波。根据实施方式的解码设备可以从比特流直接获得以下信息或者从获得自比特流的其它信息推导以下信息以执行帧内预测。
-样本位置(xTb0,yTb0)指定相对于当前画面的左上样本的位置的当前变换块的左上样本的位置
-参数nTbW指定当前变换块的宽度
-参数nTbH指定当前变换块的高度
-参数predModeIntra指定当前CU的帧内预测模式
-参数cIdx指定当前CU的颜色分量
解码设备可以如下从所接收的信息推导变换块的最大宽度maxTbWidth和变换块的最大高度maxTbHeight。
[式12]
maxTbWidth＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubWidthC
[式13]
maxTbHeight＝(cIdx＝＝0)？MaxTbSizeY:MaxTbSizeY/SubHeightC
此外，解码设备可以如下基于当前CU是亮度分量还是色度分量来推导当前变换块的左上样本位置(xTbY,yTbY)。
[式14]
(xTbY,yTbY)＝(cIdx＝＝0)？(xTb0,yTb0):(xTb0*SubWidthC,yTb0*SubHeightC)
以下，解码设备可以通过执行以下过程来执行帧内预测。这将参照图28描述。首先，解码设备可以确定当前变换块是否被划分(S2810)。例如，解码设备可以基于当前变换块的宽度和高度是否大于最大变换块的宽度和高度来确定当前变换块是否被划分。另外，解码设备可以通过进一步考虑是否对当前CU应用帧内子分割(ISP)来确定是否执行划分。例如，当nTbW大于maxTbWidth或nTbH大于maxTbHeight时，解码设备可以确定通过划分当前变换块来执行帧内预测。另外，即使在这种情况下，只有当ISP不应用于当前CU(例如，IntraSubpartitonSplitType的值为NO_ISP_SPLIT，即，不对当前CU应用ISP)时，解码设备才可以确定通过划分当前变换块来执行帧内预测。
当当前变换块被划分成下层变换块时，解码设备可以如下式所示推导下层变换块的宽度newTbW和下层变换块的高度newTbH(S2820)。
[式15]
newTbW＝(nTbW>maxTbWidth)？(nTbW/2):nTbW
[式16]
newTbH＝(nTbH>maxTbHeight)？(nTbH/2):nTbH
其将参照图26描述。在实施方式中，当前变换块的宽度nTbW可以是色度CU的宽度，当前变换块的高度nTbH可以是色度CU的高度。在此实施方式中，下层变换块的宽度newTbW和下层变换块的高度newTbH可以被确定为从色度CU划分的变换块2621的宽度和高度。即，在此实施方式中，当前变换块可以是具有4:2:2格式的色度CU的宽度和高度的变换块，并且下层变换块可以是通过以非方形形式将当前变换块划分成四个而获得的第一下层变换块2621至第四下层变换块2624。
接下来，解码设备可以使用从当前变换块划分的下层变换块来执行帧内预测(S2830)。首先，解码设备可以对第一下层变换块执行帧内预测。参照图26，第一下层变换块2621可以由样本位置(xTb0,yTb0)、下层变换块的宽度newTbW和下层变换块的高度newTbH指定。解码设备可以使用当前CU的帧内预测模式predModeIntra和CU的颜色分量cIdx来执行第一下层变换块2621的帧内预测。因此，可以生成第一下层变换块2621的修改的重构画面。
例如，解码设备可以通过执行帧内样本预测处理生成大小为(newTbW)×(newTbH)的预测样本矩阵predSamples。例如，解码设备可以使用样本位置(xTb0,yTb0)、帧内预测模式predModeIntra、变换块宽度(nTbW)newTbW、变换块高度(nTbH)newTbH、编码块宽度(nCbW)nTbW和编码块高度(nCbH)nTbH以及参数cIdx的值来执行帧内样本预测处理。
另外，解码设备可以通过执行缩放和变换处理来生成大小为(newTbW)×(newTbH)的残差样本矩阵reSamples。例如，解码设备可以基于样本位置(xTb0,yTb0)、参数cIdx的值、变换块宽度(nTbW)newTbW和变换块高度(nTbH)newTbH来执行缩放和变换处理。
另外，解码设备可以通过对颜色分量执行画面重构处理来生成重构画面。例如，解码设备可以将变换块位置设定为(xTb0,yTb0)，将变换块宽度(nTbW)设定为newTbW，将变换块高度(nTbH)设定为newTbH，使用参数cIdx的值，使用大小为(newTbW)×(newTbH)的预测样本矩阵predSamples，并且使用大小为(newTbW)×(newTbH)的残差样本矩阵reSamples，从而对颜色分量执行画面重构处理。
接下来，当nTbW大于maxTbWidth时，解码设备可以对第二下层变换块执行帧内预测。第二下层变换块2622可以由样本位置(xTb0+newTbW,yTb0)、下层变换块的宽度newTbW和下层变换块的高度newTbH指定。解码设备可以使用当前CU的帧内预测模式predModeIntra和当前CU的颜色分量cIdx来执行第二下层变换块2622的帧内预测。可以类似于第一下层变换块2621的帧内预测对其样本位置执行第二下层变换块2622的帧内预测。因此，可以生成第二下层变换块2622的修改的重构画面。
接下来，当nTbH大于maxTbHeight时，解码设备可以对第三下层变换块执行帧内预测。第三下层变换块2623可以由样本位置(xTb0,yTb0+newTbH)、下层变换块的宽度newTbW和下层变换块的高度newTbH指定。类似于以上描述，解码设备可以使用当前CU的帧内预测模式predModeIntra和当前CU的颜色分量cIdx来执行帧内预测。
接下来，当nTbW大于maxTbWidth并且nTbH大于maxTbHeight时，解码设备可以对第四下层变换块执行帧内预测。第四下层变换块2624可以由样本位置(xTb0+newTbW,yTb0+newTbH)、下层变换块的宽度newTbW和下层变换块的高度newTbH指定。类似于以上描述，解码设备可以使用当前CU的帧内预测模式predModeIntra和当前CU的颜色分量cIdx来执行帧内预测。
此外，当不执行当前变换块的划分时，解码设备可以如下执行帧内预测。例如，当nTbW小于maxTbWidth并且nTbH小于maxTbHeight或者ISP应用于当前CU(例如，IntraSubpartitonSplitType的值不为NO_ISP_SPLIT)时，当前变换块可不被划分。
首先，解码设备可以如下式所示推导参数nW、nH、numPartsX和numPartsY。
[式17]
nW＝IntraSubPartitionsSplitType＝＝ISP_VER_SPLIT？nTbW/NumIntraSubPartitions:nTbW
nH＝IntraSubPartitionsSplitType＝＝ISP_HOR_SPLIT？nTbH/NumIntraSubPartitions:nTbH
numPartsX＝IntraSubPartitionsSplitType＝＝ISP_VER_SPLIT？NumIntraSubPartitions:1
numPartsY＝IntraSubPartitionsSplitType＝＝ISP_HOR_SPLIT？NumIntraSubPartitions:1
在上式中，IntraSubPartitionsSplitType指定当前CU的ISP划分类型，ISP_VER_SPLIT指定垂直ISP划分，ISP_HOR_SPLIT指定水平ISP划分。NumIntraSubPartitions指定ISP子分割的数量。
接下来，解码设备可以通过执行帧内样本预测处理来生成大小为(nTbW)×(nTbH)的预测样本矩阵predSamples。例如，解码设备可以使用样本位置(xTb0+nW*xPartIdx,yTb0+nH*yPartIdx)、帧内预测模式predModeIntra、变换块宽度(nTbW)nW、变换块高度(nTbH)nH、编码块宽度(nCbW)nTbW和编码块高度(nCbH)nTbH以及参数cIdx的值来执行帧内样本预测处理。这里，分割索引xPartIdx的值可以具有从0至numPartX-1的值，yPartIdx可以具有从0至numPartsY-1的值。
接下来，解码设备可以通过执行缩放和变换处理来生成大小为(nTbW)×(nTbH)的残差样本矩阵reSamples。例如，解码设备可以基于样本位置(xTbY+nW*xPartIdx,yTbY+nH*yPartIdx)、参数cIdx的值、变换块宽度(nTbW)nW和变换块高度(nTbH)nH来执行缩放和变换处理。
接下来，解码设备可以通过对颜色分量执行画面重构处理来生成重构画面。例如，解码设备可以将变换块位置设定为(xTb0+nW*xPartIdx,yTb0+nH*yPartIdx)，将变换块宽度(nTbW)设定为nW，将变换块高度(nTbH)设定为nH，使用预设cIdx的值，并且使用大小为(nTbW)×(nTbH)的预测样本矩阵predSamples和大小为(nTbW)×(nTbH)的残差样本矩阵reSamples，从而对颜色分量执行画面重构处理。
编码方法
以下，将参照图29描述根据实施方式的编码设备使用上述方法执行编码的方法。根据实施方式的编码设备可以包括存储器和至少一个处理器，并且所述至少一个处理器可以执行以下编码方法。
首先，编码设备可以通过划分图像来确定当前块(S2910)。接下来，编码设备可以生成当前块的帧间预测块(S2920)。接下来，编码设备可以基于帧间预测块来生成当前块的残差块(S2930)。接下来，编码设备可以对当前块的帧间预测模式信息进行编码(S2940)。在这种情况下，残差块可以基于当前块的变换块的大小来编码，并且变换块的大小可以基于当前块的颜色分量来确定。
更具体地，可以基于与当前块对应的亮度块的左上样本的位置和颜色格式来确定变换块的左上样本的位置。
另外，当变换块被划分成多个下层变换块时，可以基于变换块的最大宽度和变换块的最大高度来确定下层变换块的左上位置。例如，可以基于与当前块对应的亮度块的变换块的最大大小和颜色格式来确定变换块的最大宽度，并且可以基于与当前块对应的亮度块的变换块的最大大小和颜色格式来确定变换块的最大高度。
另外，当当前块是色度块并且变换块的宽度大于变换块的最大宽度时，可以通过垂直地划分当前块来生成多个下层变换块。多个下层变换块可以包括第一下层变换块和第二下层变换块，并且第一下层变换块的宽度被确定为变换块的最大宽度，第二下层变换块的左上坐标可以被确定为从第一变换块的左上坐标向右移位变换块的最大宽度的值。
另外，当当前块是色度块并且变换块的高度大于变换块的最大高度时，可以通过水平地划分当前块来生成多个下层变换块。多个下层变换块可以包括第三下层变换块和第四下层变换块，并且第三下层变换块的高度可以被确定为变换块的最大高度，第四下层变换块的左上坐标可以被确定为从第一变换块的左上坐标向下移位变换块的最大高度的值。
另外，当当前块的颜色分量是色度分量时，变换块的大小可以基于颜色格式来确定。更具体地，变换块的宽度可以基于变换块的最大宽度来确定，并且变换块的最大宽度可以基于与当前块对应的亮度块的变换块的最大大小和颜色格式来确定。
另外，当当前块的颜色分量是色度分量时，变换块的高度可以基于变换块的最大高度来确定，并且变换块的最大高度可以基于与当前块对应的亮度块的变换块的最大大小和颜色格式来确定。
例如，当当前块的颜色格式是指定色度块的宽度为对应亮度块的宽度的一半的格式时，由于亮度块的变换块的最大大小为64×64，所以色度块的变换块的最大大小可以被确定为32×64。
解码方法
以下，将参照图30描述根据实施方式的解码设备使用上述方法执行解码的方法。根据实施方式的解码设备可以包括存储器和至少一个处理器，并且所述至少一个处理器可以执行以下解码方法。
首先，解码设备可以确定当前块的预测模式(S3010)。接下来，当当前块的预测模式是帧间预测模式时，解码设备可以基于帧间预测模式信息来生成当前块的预测块(S3020)。接下来，解码设备可以基于当前块的变换块来生成当前块的残差块(S3030)。接下来，解码设备可以基于当前块的预测块和残差块来重构当前块(S3040)。在这种情况下，变换块的大小可以基于当前块的颜色分量来确定。
可以基于与当前块对应的亮度块的左上样本的位置和颜色格式来确定变换块的左上样本的位置。另外，当变换块被划分成多个下层变换块时，可以基于变换块的最大宽度和变换块的最大高度来确定下层变换块的左上位置。例如，变换块的最大宽度可以基于与当前块对应的亮度块的变换块的最大大小和颜色格式来确定，并且变换块的最大高度可以基于与当前块对应的亮度块的变换块的最大大小和颜色格式来确定。
另外，当当前块是色度块并且变换块的宽度大于变换块的最大宽度时，可以通过垂直地划分当前块来生成多个下层变换块。多个下层变换块可以包括第一下层变换块和第二下层变换块，并且第一下层变换块的宽度被确定为变换块的最大宽度，第二下层变换块的左上坐标可以被确定为从第一变换块的左上坐标向右移位变换块的最大宽度的值。
另外，当当前块是色度块并且变换块的高度大于变换块的最大高度时，可以通过水平地划分当前块来生成多个下层变换块。多个下层变换块可以包括第三下层变换块和第四下层变换块，并且第三下层变换块的高度可以被确定为变换块的最大高度，第四下层变换块的左上坐标可以被确定为从第一变换块的左上坐标向下移位变换块的最大高度的值。
另外，当当前块的颜色分量是色度分量时，变换块的大小可以基于颜色格式来确定。更具体地，变换块的宽度可以基于变换块的最大宽度来确定，并且变换块的最大宽度可以基于与当前块对应的亮度块的变换块的最大大小和颜色格式来确定。
另外，当当前块的颜色分量是色度分量时，变换块的高度可以基于变换块的最大高度来确定，并且变换块的最大高度可以基于与当前块对应的亮度块的变换块的最大大小和颜色格式来确定。
例如，当当前块的颜色格式是指定色度块的宽度为对应亮度块的宽度的一半的格式时，由于亮度块的变换块的最大大小为64×64，所以色度块的变换块的最大大小可以被确定为32×64。
应用实施方式
虽然为了描述的清楚起见，上述本公开的示例性方法被表示为一系列操作，但并不旨在限制执行步骤的顺序，并且必要时这些步骤可以同时或以不同的顺序来执行。为了实现根据本发明的方法，所描述的步骤可以进一步包括其它步骤，可以包括除了一些步骤之外的其余步骤，或者可以包括除了一些步骤之外的其它附加步骤。
在本公开中，执行预定操作(步骤)的图像编码装置或图像解码装置可以执行确认相应操作(步骤)的执行条件或情况的操作(步骤)。例如，如果描述了在满足预定条件时执行预定操作，则图像编码装置或图像解码装置可以在确定是否满足预定条件之后执行预定操作。
本公开的各种实施方式不是所有可能组合的列表并且旨在描述本公开的代表性方面，并且在各种实施方式中描述的事项可以独立地或以两个或更多个的组合应用。
本公开的各种实施方式可以以硬件、固件、软件或其组合来实现。在通过硬件实现本公开的情况下，本公开可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现。
此外，应用本公开的实施方式的图像解码设备和图像编码设备可以包括在多媒体广播传送和接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、诸如视频通信的实时通信装置、移动流传输装置、存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(over the top video)装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置、医疗视频装置等中，并且可用于处理视频信号或数据信号。例如，OTT视频装置可以包括游戏机、蓝光播放器、互联网接入电视、家庭影院系统、智能电话、平板PC、数字录像机(DVR)等。
图31是示出可应用本公开的实施方式的内容流系统的视图。
如图31中所示，应用本公开的实施方式的内容流系统可以主要包括编码服务器、流服务器、网络服务器、媒体存储装置、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等多媒体输入装置输入的内容压缩成数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当智能电话、相机、摄像机等多媒体输入装置直接生成比特流时，可以省略编码服务器。
比特流可以由应用本公开的实施方式的图像编码方法或图像编码设备产生，并且流服务器可以在发送或接收比特流的过程中暂时存储比特流。
流服务器基于用户通过网络服务器的请求将多媒体数据发送到用户装置，并且网络服务器用作向用户告知服务的媒介。当用户向网络服务器请求所需的服务时，网络服务器可以将其递送到流服务器，并且流服务器可以向用户发送多媒体数据。在这种情况下，内容流系统可以包括单独的控制服务器。在这种情况下，控制服务器用于控制内容流系统中的装置之间的命令/响应。
流服务器可以从媒体存储装置和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可以实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器可以在预定时间内存储比特流。
用户装置的示例可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器)、数字电视、台式计算机、数字标牌等。
内容流系统中的各个服务器可以作为分布式服务器运行，在这种情况下，从各个服务器接收的数据可以被分布。
本公开的范围包括用于使根据各种实施方式的方法的操作能够在设备或计算机上执行的软件或机器可执行命令(例如，操作系统、应用、固件、程序等)、具有存储在其上并且可在设备或计算机上执行的此类软件或命令的非暂时性计算机可读介质。
工业实用性
本公开的实施方式可以被用于对图像进行编码或解码。

Claims (15)

1.一种由图像解码设备执行的图像解码方法，该图像解码方法包括以下步骤：
确定当前块的预测模式；
基于所述当前块的所述预测模式是帧间预测模式，基于帧间预测模式信息来生成所述当前块的预测块；
基于所述当前块的变换块来生成所述当前块的残差块；以及
基于所述当前块的所述预测块和所述残差块来重构所述当前块，
其中，所述变换块的大小基于所述当前块的颜色分量来确定。
2.根据权利要求1所述的图像解码方法，
其中，基于与所述当前块对应的亮度块的左上样本的位置和颜色格式来确定所述变换块的左上样本的位置。
3.根据权利要求1所述的图像解码方法，
其中，基于所述变换块被划分成多个下层变换块，基于所述变换块的最大宽度和所述变换块的最大高度来确定所述下层变换块的左上位置。
4.根据权利要求3所述的图像解码方法，
其中，基于与所述当前块对应的亮度块的变换块的最大大小和颜色格式来确定所述变换块的所述最大宽度，并且
其中，基于与所述当前块对应的亮度块的变换块的最大大小和颜色格式来确定所述变换块的所述最大高度。
5.根据权利要求1所述的图像解码方法，
其中，所述当前块是色度块，并且
其中，基于所述变换块的宽度大于所述变换块的最大宽度，通过垂直地划分所述当前块来生成多个下层变换块。
6.根据权利要求5所述的图像解码方法，
其中，所述多个下层变换块包括第一下层变换块和第二下层变换块，并且
其中，所述第一下层变换块的宽度被确定为所述变换块的所述最大宽度，并且
其中，所述第二下层变换块的左上坐标从所述第一下层变换块的左上坐标向右移位所述变换块的所述最大宽度。
7.根据权利要求1所述的图像解码方法，
其中，所述当前块是色度块，并且
其中，基于所述变换块的高度大于所述变换块的最大高度，通过水平地划分所述当前块来生成多个下层变换块。
8.根据权利要求7所述的图像解码方法，
其中，所述多个下层变换块包括第三下层变换块和第四下层变换块，并且
其中，所述第三下层变换块的高度被确定为所述变换块的所述最大高度，并且
其中，所述第四下层变换块的左上坐标从第一下层变换块的左上坐标向下移位所述变换块的所述最大高度。
9.根据权利要求1所述的图像解码方法，
其中，基于所述当前块的所述颜色分量是色度分量，所述变换块的大小基于颜色格式来确定。
10.根据权利要求9所述的图像解码方法，
其中，所述变换块的宽度基于所述变换块的最大宽度来确定，并且
其中，所述变换块的所述最大宽度基于与所述当前块对应的亮度块的变换块的最大大小和颜色格式来确定。
11.根据权利要求10所述的图像解码方法，
其中，所述变换块的高度基于所述变换块的最大高度来确定，并且
其中，所述变换块的所述最大高度基于与所述当前块对应的亮度块的变换块的最大大小和颜色格式来确定。
12.根据权利要求1所述的图像解码方法，
其中，基于所述当前块的颜色格式是指定色度块的宽度为对应亮度块的宽度的一半的格式，所述变换块的最大大小被确定为32×64。
13.一种图像解码设备，该图像解码设备包括：
存储器；以及
至少一个处理器，
其中，所述至少一个处理器被配置为：
确定当前块的预测模式；
基于所述当前块的所述预测模式是帧间预测模式，基于帧间预测模式信息来生成所述当前块的预测块；
基于所述当前块的变换块来生成所述当前块的残差块；以及
基于所述当前块的所述预测块和所述残差块来重构所述当前块，
其中，所述变换块的大小基于所述当前块的颜色分量来确定。
14.一种由图像编码设备执行的图像编码方法，该图像编码方法包括以下步骤：
通过划分图像来确定当前块；
生成所述当前块的帧间预测块；
基于所述帧间预测块来生成所述当前块的残差块；以及
对所述当前块的帧间预测模式信息进行编码，
其中，基于所述当前块的变换块的大小来对所述残差块进行编码，并且
其中，基于所述当前块的颜色分量来确定所述变换块的大小。
15.一种发送通过根据权利要求14所述的图像编码方法生成的比特流的方法。
CN202080058307.0A 2019-06-24 2020-06-24 利用色度变换块的最大大小限制编码/解码视频的方法和设备及发送比特流的方法 Pending CN114270822A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962865951P 2019-06-24 2019-06-24
US62/865,951 2019-06-24
PCT/KR2020/008233 WO2020262962A1 (ko) 2019-06-24 2020-06-24 크로마 변환 블록의 최대 크기 제한을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Publications (1)

Publication Number Publication Date
CN114270822A true CN114270822A (zh) 2022-04-01

Family

ID=74061998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080058307.0A Pending CN114270822A (zh) 2019-06-24 2020-06-24 利用色度变换块的最大大小限制编码/解码视频的方法和设备及发送比特流的方法

Country Status (9)

Country Link
US (2) US11711519B2 (zh)
EP (1) EP3989557A4 (zh)
JP (2) JP7318024B2 (zh)
KR (1) KR20220004765A (zh)
CN (1) CN114270822A (zh)
BR (1) BR112021026535A2 (zh)
CA (1) CA3145389A1 (zh)
MX (1) MX2022000156A (zh)
WO (1) WO2020262962A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021167340A1 (ko) * 2020-02-17 2021-08-26 현대자동차주식회사 크로마 신호의 리샘플링에 기반하는 영상 부호화 및 복호화

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001864A1 (ja) * 2007-06-28 2008-12-31 Mitsubishi Electric Corporation 画像符号化装置および画像復号装置
WO2013067922A1 (en) * 2011-11-07 2013-05-16 LI, Yingjin Apparatus of decoding video data
KR20130057953A (ko) * 2011-11-24 2013-06-03 에스케이텔레콤 주식회사 세밀한 예측 단위를 사용하는 효과적인 부호화/복호화 방법 및 장치
US20140072215A1 (en) * 2012-09-10 2014-03-13 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN105723707A (zh) * 2013-11-01 2016-06-29 高通股份有限公司 用于视频译码的色彩残差预测
WO2017195476A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法
CN108712650A (zh) * 2012-06-29 2018-10-26 韩国电子通信研究院 视频解码方法、视频编码方法和计算机可读介质
KR20190009408A (ko) * 2019-01-22 2019-01-28 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
WO2019054736A1 (ko) * 2017-09-12 2019-03-21 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2019052490A1 (en) * 2017-09-15 2019-03-21 Huawei Technologies Co., Ltd. BLOCK PARTITION STRUCTURE IN VIDEO COMPRESSION TECHNOLOGY

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071461B (zh) * 2010-12-14 2019-11-12 M&K控股株式会社 用于解码运动画面的设备
US10631013B2 (en) * 2015-06-11 2020-04-21 Lg Electronics Inc. Method for re-positioning significant coefficient in image encoding/decoding process and device therefor
KR101725287B1 (ko) * 2016-10-27 2017-04-10 삼성전자주식회사 영상 복호화 방법 및 장치
US10951895B2 (en) * 2018-12-31 2021-03-16 Alibaba Group Holding Limited Context model selection based on coding unit characteristics
KR101997599B1 (ko) * 2019-01-22 2019-07-08 에스케이 텔레콤주식회사 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001864A1 (ja) * 2007-06-28 2008-12-31 Mitsubishi Electric Corporation 画像符号化装置および画像復号装置
WO2013067922A1 (en) * 2011-11-07 2013-05-16 LI, Yingjin Apparatus of decoding video data
KR20130057953A (ko) * 2011-11-24 2013-06-03 에스케이텔레콤 주식회사 세밀한 예측 단위를 사용하는 효과적인 부호화/복호화 방법 및 장치
CN108712650A (zh) * 2012-06-29 2018-10-26 韩国电子通信研究院 视频解码方法、视频编码方法和计算机可读介质
US20140072215A1 (en) * 2012-09-10 2014-03-13 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN105723707A (zh) * 2013-11-01 2016-06-29 高通股份有限公司 用于视频译码的色彩残差预测
WO2017195476A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法
WO2019054736A1 (ko) * 2017-09-12 2019-03-21 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
WO2019052490A1 (en) * 2017-09-15 2019-03-21 Huawei Technologies Co., Ltd. BLOCK PARTITION STRUCTURE IN VIDEO COMPRESSION TECHNOLOGY
KR20190009408A (ko) * 2019-01-22 2019-01-28 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS等: "Draft text of video coding specification", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, CH, 19–27 MAR. 2019, JVET-N1001-V10》, 27 March 2019 (2019-03-27) *

Also Published As

Publication number Publication date
WO2020262962A1 (ko) 2020-12-30
KR20220004765A (ko) 2022-01-11
US11711519B2 (en) 2023-07-25
EP3989557A1 (en) 2022-04-27
JP2022539750A (ja) 2022-09-13
JP7318024B2 (ja) 2023-07-31
US20230353743A1 (en) 2023-11-02
JP2023130427A (ja) 2023-09-20
CA3145389A1 (en) 2020-12-30
BR112021026535A2 (pt) 2022-02-15
US20220201309A1 (en) 2022-06-23
MX2022000156A (es) 2022-02-21
EP3989557A4 (en) 2023-05-24

Similar Documents

Publication Publication Date Title
CN114586344B (zh) 参考亮度样本位置确定色度块的预测模式的图像编码/解码方法和设备及发送比特流的方法
US20240155123A1 (en) Image encoding/decoding method and apparatus for limiting size of chroma block, and method for transmitting bitstream
AU2024200705A1 (en) Image encoding/decoding method, apparatus and method for transmitting bitstream using maximum transform size limitation of chroma component coding block
US20230353743A1 (en) Method and apparatus for encoding/decoding video using maximum size limitation of chroma transform block, and method for transmitting bitstream
US20230082353A1 (en) Image encoding/decoding method and apparatus using ibc, and method for transmitting bitstream
US20220182626A1 (en) Image encoding and decoding method and device for limiting partition condition of chroma block, and method for transmitting bitstream
US11528480B2 (en) Image encoding/decoding method and device using adaptive size limiting of chroma block and bitstream transmission method
US20220182623A1 (en) Video encoding/decoding method and device using segmentation limitation for chroma block, and method for transmitting bitstream
US11770529B2 (en) Image encoding/decoding method and apparatus using maximum transform size setting for chroma block, and method for transmitting bitstream
US20220166986A1 (en) Image encoding/decoding method and device using ibc prediction, and method for transmitting bitstream
US20220345694A1 (en) Image encoding/decoding method and apparatus using quantization matrix, and method for transmitting bitstream
CN115176465A (zh) 基于叶节点的重新配置的预测模式类型来执行预测的图像编码/解码方法和设备以及比特流传输方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination