CN111886861B - 根据图像编码系统中的块划分结构的图像解码方法和设备 - Google Patents

根据图像编码系统中的块划分结构的图像解码方法和设备 Download PDF

Info

Publication number
CN111886861B
CN111886861B CN201880090744.3A CN201880090744A CN111886861B CN 111886861 B CN111886861 B CN 111886861B CN 201880090744 A CN201880090744 A CN 201880090744A CN 111886861 B CN111886861 B CN 111886861B
Authority
CN
China
Prior art keywords
block
sub
motion information
partition
target block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880090744.3A
Other languages
English (en)
Other versions
CN111886861A (zh
Inventor
南廷学
林宰显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN111886861A publication Critical patent/CN111886861A/zh
Application granted granted Critical
Publication of CN111886861B publication Critical patent/CN111886861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference

Abstract

根据本发明的一种由解码设备执行的图像解码方法包括以下步骤:通过比特流获得针对目标块的分割信息;基于由所述分割信息指示的分割边界线将所述目标块分割成第一子块和第二子块;基于针对所述目标块的分割信息来推导所述第一子块的第一运动信息候选列表和所述第二子块的第二运动信息候选列表;以及基于所述第一运动信息候选列表执行所述第一子块的帧间预测并基于所述第二运动信息候选列表执行所述第二子块的帧间预测。

Description

根据图像编码系统中的块划分结构的图像解码方法和设备
技术领域
本公开涉及视频编码技术,并且更具体地,涉及根据视频编码系统中的块分割结构的视频解码方法和视频解码设备。
背景技术
在各种领域中,对诸如HD(高清)图像和UHD(超高清)图像这样的高分辨率、高质量图像的需求正在增长。因为图像数据具有高分辨率和高质量,所以相对于传统图像数据,待传输的信息或比特的量增加。因此,当使用诸如传统有线/无线宽带线路这样的介质发送图像数据或者使用现有存储介质存储图像数据时,其传输成本和存储成本增加。
因此,需要用于有效地发送、存储和再现高分辨率高质量图像的信息的高效图像压缩技术。
发明内容
技术目的
本公开提供了用于提高视频编码效率的方法和设备。
本公开还提供了用于预测通过几何分区(GP)结构分割的目标块的方法和设备。
本公开还提供了用于推导通过几何分区(GP)结构分割的块的运动信息候选的邻近块推导方法和设备。
本公开还提供了用于对通过GP结构分割的块执行滤波的方法和设备。
本公开还提供了用于执行通过GP结构分割的块的变换的方法和设备。
技术方案
在一方面,提出了一种由解码设备执行的视频解码方法。该方法包括以下步骤:从比特流中获得针对目标块的分割信息;基于由所述分割信息指示的分割边界将所述目标块分割成第一子块和第二子块;基于针对所述目标块的分割信息来推导所述第一子块的第一运动信息候选列表和所述第二子块的第二运动信息候选列表;基于所述第一运动信息候选列表执行所述第一子块的帧间预测;以及基于所述第二运动信息候选列表执行所述第二子块的帧间预测,其中,所述第一子块和所述第二子块是非矩形块,并且所述第一子块的所述第一运动信息候选列表不同于所述第二子块的所述第二运动信息候选列表。
在另一方面,提出了一种执行视频解码的解码设备。该解码设备包括:熵解码器,该熵解码器从比特流中获得针对目标块的分割信息;图片分割器,该图片分割器基于由所述分割信息指示的分割边界将所述目标块分割成第一子块和第二子块;以及预测器,该预测器被配置为基于针对所述目标块的分割信息来推导所述第一子块的第一运动信息候选列表和所述第二子块的第二运动信息候选列表,基于所述第一运动信息候选列表来执行所述第一子块的帧间预测,并且基于所述第二运动信息候选列表来执行所述第二子块的帧间预测,其中,所述第一子块和所述第二子块是非矩形块,并且所述第一子块的所述第一运动信息候选列表不同于所述第二子块的所述第二运动信息候选列表。
在另一方面,提出了一种由编码设备执行的视频编码方法。该方法包括以下步骤:将所述目标块分割成第一子块和第二子块;基于所述目标块的分割类型来推导所述第一子块的第一运动信息候选列表和所述第二子块的第二运动信息候选列表;基于所述第一运动信息候选列表执行所述第一子块的帧间预测;基于所述第二运动信息候选列表执行所述第二子块的帧间预测,并且对针对所述目标块的分割信息和残差信息进行编码和发送,其中,所述第一子块和所述第二子块是非矩形块,并且所述第一子块的所述第一运动信息候选列表不同于所述第二子块的所述第二运动信息候选列表。
在又一方面,提出了一种视频编码设备。该视频编码设备包括:图片分割器,该图片分割器将所述目标块分割成第一子块和第二子块;预测器,该预测器基于所述目标块的分割类型来推导所述第一子块的第一运动信息候选列表和所述第二子块的第二运动信息候选列表,基于所述第一运动信息候选列表来执行所述第一子块的帧间预测,并且基于所述第二运动信息候选列表来执行所述第二子块的帧间预测;以及熵编码器,该熵编码器对针对所述目标块的分割信息和残差信息进行编码和发送,其中,所述第一子块和所述第二子块是非矩形块,并且所述第一子块的所述第一运动信息候选列表不同于所述第二子块的所述第二运动信息候选列表。
技术效果
根据本公开,根据通过GP结构分割的块的分割类型,可以推导块的空间运动信息候选,由此增强预测效率并增强整体编码效率。
根据本公开,根据通过GP结构分割的块的分割类型,可以推导块的时间运动信息候选,由此增强预测效率并增强整体编码效率。
根据本公开,可以对通过GP结构分割的块的边界周围的样本执行滤波,由此增强预测精度并增强整体编码效率。
根据本公开,可以执行通过GP结构分割的块的变换处理,由此增强变换效率并增强整体编码效率。
附图说明
图1是例示了适用本公开的视频编码设备的配置的示意图。
图2是例示了适用本公开的视频解码设备的配置的示意图。
图3示例性例示了通过QTGP结构分割的CU和QTGP结构的语法。
图4例示了其中针对目标CU的QTGP结构的语法被发送的示例。
图5示例性例示了基于关于分割结构的信息和/或距CU的中心点的距离而推导出的分割边界。
图6示例性例示了目标块的空间邻近块。
图7a至7c示例性例示了通过GP结构分割的块的类型以及用于每种类型的块的运动矢量预测的邻近块的位置。
图8示例性例示了目标块的时间邻近块。
图9a和9b示例性例示了通过GP结构分割的块的类型以及用于每种类型的块的运动矢量预测的时间邻近块的位置。
图10示例性例示了通过GP结构分割的第一子块和第二子块之间的边界区域。
图11示例性例示了被执行用于重叠运动补偿的滤波的样本。
图12例示了被执行一个变换处理的第一子块和第二子块的示例。
图13例示了对其执行单独的变换处理的第一子块和第二子块的示例。
图14示意性例示了根据本公开的由编码设备进行的视频编码方法。
图15示意性例示了根据本公开的由解码设备进行的视频解码方法。
具体实施方式
本公开可以按各种形式进行修改,并且将在附图中描述和例示其具体实施方式。然而,这些实施方式并不旨在限制本公开。以下描述中使用的术语用于仅仅描述特定的实施方式,而不旨在限制本公开。单数的表述包括复数的表述,只要它被清楚不同地理解即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合,因此应该理解,没有排除有可能存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合。
此外,出于方便说明不同特定功能的目的,独立地绘制本公开中描述的图中的元件,这并不意味着这些元件是由独立硬件或独立软件实施的。例如,可以将这些元件中的两个或更多个元件组合,以形成单个元件,或者可以将一个元件划分成多个元件。在不脱离本公开的构思的情况下,其中组合和/或划分元件的实施方式属于本公开。
下文中,将参照附图来详细地描述本公开的实施方式。另外,在整个附图中,类似的附图标记用于指示类似的元件,并且将省略对类似元件的相同描述。
在本公开中,通常,图片意指表示特定时隙中的图像的单元,并且切片是构成编码中的图片的一部分的单元。图片可以包括多个切片,并且在某些情况下,图片和切片可以以混合方式使用。
像素或画素(pel)可以意指构成图片(或图像)的最小单元。另外,术语“样本”可以与像素对应地使用。样本通常可以表示像素或像素的值,可以仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。
单元表示图像处理的基本单位。单元可以包括图片的特定区域和与对应区域相关的信息中的至少一个。在某些情况下,可以将单元与块或区域以混合方式使用。在一般情况下,M×N块可以表示包括M列N行的样本或变换系数的集合。
图1是简要例示了适用本公开的视频编码设备的示图。
参照图1,视频编码设备100可以包括图片分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可以包括减法器121、变换器122、量化器123、重排器124、反量化器125和逆变换器126。
图片分割器105可以将输入图片分割成至少一个处理单元。
在一个示例中,处理器可以被称为编码单元(CU)。在这种情况下,可以根据四叉树二叉树三叉树(QTBT)结构从最大编码单元(LCU)递归地分割编码单元。例如,可以基于四叉树结构和/或二叉树结构将一个编码单元分割成深度较深的多个编码单元。在这种情况下,例如,可以首先应用四叉树结构,随后可以应用二叉树结构。另选地,可以首先应用二叉树结构。可以基于不再被分割的最终编码单元来执行根据本公开的编码过程。在这种情况下,可以根据图像特性基于编码效率将最大的编码单元用作最终编码单元,或者可以在必要时将编码单元递归地分割成深度较深的编码单元,并且可以使用具有最佳尺寸的编码单元作为最终编码单元。这里,编码过程可以包括随后将描述的预测、变换和重构的过程。
在另一示例中,处理单元可以包括编码单元(CU)、预测单元(PU)或变换单元(TU)。可以根据四叉树结构将编码单元从最大编码单元(LCU)分割成深度较深的编码单元。在这种情况下,可以根据图像特性基于编码效率等直接将最大的编码单元用作最终编码单元,或者可以在必要时将编码单元递归地分割成深度较深的编码单元,并且可以使用具有最佳尺寸的编码单元作为最终编码单元。当设置了最小编码单元(SCU)时,编码单元可以不被分割成比最小编码单元小的编码单元。这里,最终编码单元是指被分割或划分成预测单元或变换单元的编码单元。预测单元是从编码单元分割出的单元,并且可以是样本预测的单元。这里,预测单元可以被分成子块。可以根据四叉树结构从编码单元分出变换单元,并且变换单元可以是推导变换系数的单元和/或从变换系数推导残差信号的单元。下文中,编码单元可以被称为编码块(CB),预测单元可以被称为预测块(PB),并且变换单元可以被称为变换块(TB)。预测块或预测单元可以是指采用图片中的块的形式的特定区域,并且包括预测样本的阵列。另外,变换块或变换单元可以是指采用图片中的块的形式的特定区域,并且包括变换系数或残差样本的阵列。
预测器110可以对处理目标块(下文中,当前块)执行预测,并且可以生成包括针对当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块,或者可以是变换块,或者可以是预测块。
预测器110可以确定对当前块是应用帧内预测还是帧间预测。例如,预测器110可以确定以CU为单位应用帧内预测还是帧间预测。
在帧内预测的情况下,预测器110可以基于当前块所属图片(下文中,当前图片)中的当前块之外的参考样本来推导当前块的预测样本。在这种情况下,预测器110可以基于当前块的邻近参考样本的平均或内插来推导预测样本(情况(i)),或者可以基于当前块的邻近参考样本当中的预测样本在特定(预测)方向上存在的参考样本来推导预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式,并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中,作为示例,预测模式可以包括33种定向模式和至少两种非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下,预测器110可以基于参考图片上的运动矢量所指定的样本来推导当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动矢量预测(MVP)模式中的任一种来推导当前块的预测样本。在跳过模式和合并模式的情况下,预测器110可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下,与合并模式不同,并不发送预测样本与原始样本之间的差(残差)。在MVP模式的情况下,邻近块的运动矢量被用作运动矢量预测子,因此被用作当前块的运动矢量预测子来推导当前块的运动矢量。
在帧间预测的情况下,邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括时间邻近块的参考图片也可以被称为同位图片(colPic)。运动信息可以包括运动矢量和参考图片索引。诸如预测模式信息和运动信息这样的信息可以被(熵)编码,然后被作为比特流的形式输出。
当在跳过模式和合并模式下使用时间邻近块的运动信息时,参考图片列表中的最高图片可以被用作参考图片。可以基于当前图片与对应的参考图片之间的图片序号(POC)差来对齐参考图片列表中所包括的参考图片。POC对应于显示顺序并且可以与编码顺序区分开。
减法器121生成残差样本,残差样本是原始样本与预测样本之间的差。如果应用跳过模式,则可以不如上所述地生成残差样本。
变换器122以变换块为单位变换残差样本以生成变换系数。变换器122可以基于对应变换块的尺寸和应用于与变换块在空间上交叠的预测块或编码块的预测模式来执行变换。例如,如果向与变换块交叠的预测块或编码块应用帧内预测,则可以使用离散正弦变换(DST)变换核来变换残差样本,变换块为4×4残差阵列,并且在其它情况下使用离散余弦变换(DCT)变换核来变换它。
量化器123可以量化变换系数,以生成量化后的变换系数。
重排器124对量化后的变换系数进行重排。重排器124可以通过系数扫描方法将块形式的量化后的变换系数重排成一维矢量。尽管将重排器124描述为单独的组件,但是重排器124可以是量化器123的一部分。
熵编码器130可以对量化后的变换系数执行熵编码。熵编码可以包括诸如(例如)指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等这样的编码方法。熵编码器130可以一起或分别地对除了量化后的变换系数之外的视频重构所必需的信息(例如,语法元素的值等)进行编码。熵编码后的信息可以以比特流的形式以NAL(网络抽象层)为单位发送或存储。
反量化器125对由量化器123量化的值(变换系数)进行反量化,并且逆变换器126对由反量化器125反量化的值进行逆变换,以生成残差样本。
加法器140将残差样本与预测样本相加,以重构图片。可以以块为单位将残差样本与预测样本相加,以生成重构块。尽管将加法器140描述为单独的组件,但是加法器140可以是预测器110的一部分。此外,加法器140可以被称为重构器或重构块生成器。
滤波器150可以向重构图片应用去块滤波和/或样本自适应偏移。可以通过去块滤波和/或样本自适应偏移来校正重构图片中块边界处的伪像或量化中的失真。在去块滤波完成之后,可以以样本为单位应用样本自适应偏移。滤波器150可以向重构图片应用自适应环路滤波器(ALF)。可以向已应用了去块滤波和/或样本自适应偏移的重构图片应用ALF。
存储器160可以存储重构图片(解码图片)或编码/解码所需的信息。这里,重构图片可以是经滤波器150滤波的重构图片。所存储的重构图片可以被用作用于其它图片的(帧间)预测的参考图片。例如,存储器160可以存储用于帧间预测的(参考)图片。这里,可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2是例示了适用本公开的视频解码设备的配置的示意图。
参照图2,视频解码设备200包括图像解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。这里,残差处理器220可以包括重排器221、反量化器222和逆变换器223。
当输入包括视频信息的比特流时,视频解码设备200可以重构与在视频编码设备中处理视频信息的处理对应的视频。
例如,视频解码设备200可以使用在视频编码设备中应用的处理器来执行视频解码。因此,视频解码的处理单元块例如可以是编码单元,或者又如可以是编码单元、预测单元或变换单元。可以根据四叉树结构和/或二叉树结构从最大编码单元中分割出编码单元。
在某些情况下,还可以使用预测单元和变换单元,并且在这种情况下,预测块是从编码单元推导或分割出的块并且可以是样本预测的单元。这里,预测单元可以被分成子块。可以根据四叉树结构从编码单元分割出变换单元,并且变换单元可以是推导变换系数的单元或从变换系数推导残差信号的单元。
熵解码器210可以解析比特流,以输出视频重构或图片重构所需的信息。例如,熵解码器210可以基于诸如指数哥伦布编码、CAVLC、CABAC等这样的编码方法对比特流中的信息进行解码,并且可以输出视频重构所需的语法元素的值和用于残差的变换系数的量化值。
更具体地,CABAC熵解码方法可以接收与比特流中的每个语法元素对应的bin,使用解码目标语法元素信息和邻近和解码目标块的解码信息或先前步骤中解码的符号/bin的信息来确定上下文模型,根据所确定的上下文模型来预测bin生成概率并且对bin执行算术解码以生成与每个语法元素值对应的符号。这里,CABAC熵解码方法可以在确定上下文模型之后,使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
在熵解码器210中解码的信息当中的用于预测的信息可以被提供到预测器250,并且残差值即熵解码器210已对其执行了熵解码的量化后的变换系数可以被输入到重排器221。
重排器221可以将量化后的变换系数重排为二维块形式。重排器221可以执行与由编码设备执行的系数扫描对应的重排。尽管将重排器221描述为单独的组件,但是重排器221可以是反量化器222的一部分。
反量化器222可以基于(反)量化参数对量化后的变换系数进行反量化,以输出变换系数。在这种情况下,可以从编码设备发信号发送用于推导量化参数的信息。
逆变换器223可以对变换系数进行逆变换,以推导残差样本。
预测器230可以对当前块执行预测,并且可以生成包括当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编码块或者可以是变换块或者可以是预测块。
预测器230可以基于用于预测的信息来确定是应用帧内预测还是帧间预测。在这种情况下,用于确定将使用帧内预测和帧间预测中的哪种的单元可以不同于用于生成预测样本的单元。另外,在帧间预测和帧内预测中,用于生成预测样本的单元也可以不同。例如,可以以CU为单位确定将应用帧间预测和帧内预测中的哪种。另外,例如,在帧间预测中,可以通过以PU为单位确定预测模式来生成预测样本,而在帧内预测中,可以通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下,预测器230可以基于当前图片中的邻近参考样本推导当前块的预测样本。预测器230可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来推导当前块的预测样本。在这种情况下,可以通过使用邻近块的帧内预测模式来确定将应用于当前块的预测模式。
在帧间预测的情况下,预测器230可以基于根据运动矢量在参考图片中指定的样本来推导当前块的预测样本。预测器230可以使用跳过模式、合并模式和MVP模式中的一种来推导当前块的预测样本。这里,可以基于用于预测的信息来获取或推导由视频编码设备提供的当前块的帧间预测所需的运动信息,例如,运动矢量和用于参考图片索引的信息。
在跳过模式和合并模式下,可以将邻近块的运动信息作为当前块的运动信息。这里,邻近块可以包括空间邻近块和时间邻近块。
预测器230可以使用可用的邻近块的运动信息来构造合并候选列表,并且使用由合并候选列表上的合并索引所指示的信息作为当前块的运动矢量。可以由编码设备发信号通知合并索引。运动信息可以包括运动矢量和参考图片。当在跳过模式和合并模式下使用时间邻近块的运动信息时,参考图片列表中的最高图片可以被用作参考图片。
在跳过模式的情况下,与合并模式不同,不发送预测样本与原始样本之间的差(残差)。
在MVP模式的情况下,可以使用邻近块的运动矢量作为运动矢量预测子来推导当前块的运动矢量。这里,邻近块可以包括空间邻近块和时间邻近块。
当应用合并模式时,例如,可以使用重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量来生成合并候选列表。在合并模式下,从合并候选列表中选择的候选块的运动矢量被用作当前块的运动矢量。以上提到的用于预测的信息可以包括合并索引,合并索引指示从合并候选列表中所包括的候选块中选择的具有最佳运动矢量的候选块。这里,预测器230可以使用合并索引来推导当前块的运动矢量。
当作为另一示例应用MVP(运动矢量预测)模式时,可以使用重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量来生成运动矢量预测子候选列表。即,可以使用重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量作为运动矢量候选。以上提到的用于预测的信息可以包括指示从列表中所包括的运动矢量候选中选择的指示最佳运动矢量的预测运动矢量索引。这里,预测器230可以使用运动矢量索引,从运动矢量候选列表中所包括的运动矢量候选中选择当前块的预测运动矢量。编码设备的预测器可以获得当前块的运动矢量与运动矢量预测子之间的运动矢量差(MVD),对MVD进行编码并且以比特流的形式输出编码后的MVD。即,MVD可以是通过从当前块的运动矢量中减去运动矢量预测子来获得的。这里,预测器230可以获取用于预测的信息中所包括的运动矢量,并且通过将运动矢量差与运动矢量预测子相加来推导当前块的运动矢量。另外,预测器可以从以上提到的用于预测的信息获得或推导指示参考图片的参考图片索引。
加法器240可以将残差样本与预测样本相加,以重构当前块或当前图片。加法器240可以通过以块为单位将残差样本与预测样本相加来重构当前图片。当应用跳过模式时,不发送残差,因此预测样本可以成为重构样本。尽管将加法器240描述为单独的组件,但是加法器240可以是预测器230的一部分。此外,加法器240可以被称为重构器或重构块生成器。
滤波器250可以向重构图片应用去块滤波、样本自适应偏移和/或ALF。这里,在去块滤波之后,可以以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器260可以存储重构图片(解码图片)或解码所需的信息。这里,重构图片可以是经滤波器250滤波的重构图片。例如,存储器260可以存储用于帧间预测的图片。这里,可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可以被用作其它图片的参考图片。存储器260可以按输出顺序输出重构图片。
当如同以上提到的内容一样对输入图片执行编码时,可以基于一个处理单元来执行编码。处理单元可以被称为编码单元(CU)。此外,由于以图片中包括相似信息的区域为单元执行编码,所以可以增强变换效率,由此增强整体编码效率。此外,由于以图片中的包括相似信息的区域为单元执行编码,因此可以增强预测精度,由此增强整体编码效率。然而,当仅应用四叉树(QT)结构并因此将图片仅分割成方形CU时,可能限于将CU分割成仅包括精确相似的信息。例如,指示图片中的特定对象的信息可以广泛位于对角方向上,并且在这种情况下,当指示特定对象的信息被包括在一个CU中时,可能包括除了指示特定对象的信息之外的大量信息,并且当指示特定对象的信息被包括在多个方形CU中时,应该对多个CU中的每一个执行编码,结果,编码效率会劣化。在这种情况下,通过将图片分割成包括指示特定对象的信息的非方形CU,可以进一步增强编码效率。因此,可以提出通过将另一分割结构与四叉树结构一起应用来将输入图片分割成方形CU和非方形CU的方法。因此,可以根据图片中的信息将图片分割成各种类型的CU,并且可以更高效地执行编码。例如,可以通过四叉树几何分区(QTGP)结构来分割图片。
图3示例性例示了通过QTGP结构分割的CU和QTGP结构的语法。
QTGP结构可以指示其中通过QT结构并通过几何分区(GP)结构分割CU(或CTU)的结构。GP结构也可以被称为几何树(GT)结构。即,QTGP结构可以指示以QT结构与GP结构被组合的形式配置的分割结构,并且当以CTU为单元对图片进行编码时,可以通过QT结构来分割CTU,并且可以通过GP结构另外分割QT结构的叶节点。这里,GP结构可以指示CU被分割成各种类型的非方形子CU的结构。即,除了具有N×2N或2N×N的大小的非方形子CU之外,还可以推导各种类型的非方形子CU。参照图3A,可以通过QT结构将CU分割成深度更低的方形CU,另外,可以通过GP结构将方形CU当中的特定CU分割成深度更低的非方形CU。
图3的(b)可以例示发送QTGP结构的语法的示例。图3的(b)中例示的实线可以指示QT结构,并且虚线可以指示GP结构。另外,从上到下,可以例示在较高深度处的较低深度的CU的语法。另外,在从左到右的方向上,可以例示左上CU、右上CU、左下CU和右下CU的语法。具体地,最上面的数字可以指示n深度的CU的语法,从上起第二个位置的数字可以指示n+1深度的CU,从上起第三个位置的数字可以指示n+2深度的CU,并且从上起第四个位置的数字可以指示n+3深度的CU的语法。另外,以粗体显示的数字可以指示用于QT结构的语法的值,而未以粗体显示的数字可以指示用于GP结构的语法的值。
参照图3的(b),可以发送指示是否通过QT结构分割CU的QT分割标志。即,可以发送指示是否将2N×2N大小的CU分割成四个N×N大小的子CU的标志。QT_split_flag可以指示用于QT分割标志的语法元素。例如,当CU的QT分割标志的值为1时,CU可以被分割成四个子CU,并且当CU的QT分割标志的值为0时,CU可以不被分割。另外,为了针对输入图像调节QT结构,可以发送关于QT结构中的最大CU大小、最小CU大小、最大深度等的信息。可以针对切片类型中的每一种发送或者针对图像分量(亮度分量、色度分量等)中的每一个发送针对QT结构的信息。
参照图3的(b),关于GP结构的信息可以被发送到在QT结构中不再被分割的端节点。即,可以在QT结构中发送关于与端节点对应的GP结构的信息。这里,包括关于GP结构的信息的信息可以被称为GP分割信息。例如,可以发送指示是否通过GP结构分割CU即是否向CU应用GP结构的GP分割标志。GP_split_flag(或GT_split_flag)可以指示用于QT分割标志的语法元素。具体地,当GP分割标志的值为1时,CU可以被分割成两个子CU,并且当GP分割标志的值为0时,CU可以不被分割。
此外,当CU的GP分割标志指示向CU应用GP结构时,为了通过GP结构推导分割类型,可以发送关于分割角和/或距CU中心的距离的信息。即,可以发送关于CU的分割边界的信息,并且可以基于以该信息为基础推导出的分割边界来分割CU。
图4例示了其中针对目标CU的QTGP结构的语法被发送的示例。
参照图4,可以发送针对目标CU的QT_split_flag。QT_split_flag可以指示是否通过如上所述的QT结构分割目标CU。即,QT_split_flag可以指示目标CU是否被分割成大小为目标CU的高度的一半和宽度的一半的子CU。
具体地,例如,当目标CU的QT_split_flag的值为1时,即,当QT_split_flag指示目标CU被分割成大小为目标CU的高度的一半和宽度的一半的子CU时,目标CU可以被分割成子CU。在这种情况下,可以发送针对子CU的QT_split_flag。即,目标CU被递归地编码为甚至更低深度的CU,并且可以推导出不再被分割的端节点的CU。
此外,当端节点的目标CU的QT_split_flag的值为0时,即,当QT_split_flag指示目标CU没有被分割成大小为目标CU的高度的一半和宽度的一半的子CU时,可以发送针对目标CU的GP_split_flag。GP_split_flag可以指示是否通过如上所述的GP结构分割目标CU。即,例如,GP_split_flag可以指示具有2N×2N大小的目标CU是否被分割成各种类型的非方形子CU。当向目标CU应用GP结构时,可以根据GP_split_flag和GP_mode值来确定从目标CU分割的CU的形状。
具体地,当GP_split_flag的值为1时,目标CU可以被分割成由GP_mode指示的分割类型,并且当GP_split_flag的值为0时,目标CU的分割类型可以被推导为2N×2N类型。换句话说,当GP_split_flag的值为0时,具有2N×2N大小的目标CU可以不被分割。当GP_split_flag指示通过GP结构分割目标CU时,可以发送针对目标CU的GP_mode。GP_mode可以是指示目标CU在哪个方向上被分割,即,目标CU的分割类型的索引。指示分割类型的索引可以被称为GP分割模式索引。在这种情况下,可以基于索引来推导CU的分割类型,并且可以基于分割类型将CU分割成非方形子CU。例如,(N/4)×2N类型、(N/2)×2N类型、N×2N类型、2N×N类型和2N×(N/2)、2N×(N/4)类型可以被预设为特定分割类型,并且索引可以指示这些类型之一。
另外,QTGP结构的语法可以如下表中所示。
[表1]
这里,QT_split_flag可以指示以上提到的QT分割标志的语法元素,GP_split_flag可以指示以上提到的GP分割标志的语法元素,并且GP_mode可以指示以上提到的GP分割模式索引的语法元素。
此外,当CU的GP分割标志指示向CU应用GP结构时,为了通过GP结构推导分割类型,可以发送关于分割角和/或距CU中心的距离的信息。即,可以发送关于CU的分割边界的信息,并且可以基于以该信息为基础推导出的分割边界来分割CU。
图5示例性例示了基于关于分割结构的信息和/或距CU的中心点的距离而推导出的分割边界。参照图5,可以基于关于分割角的信息来推导CU被分割的方向(或边界)的角度,并且可以基于关于距中心的距离的信息来推导CU被分割的边界的位置。可以基于关于分割角的信息和关于距中心的距离的信息来推导分割边界,并且可以基于推导出的分割边界来分割CU。
例如,当基于关于分割角的信息推导出的分割角的值为0度并且用关于距中心的距离的信息推导出的距中心的距离为0时,分割边界可以垂直地穿过CU的中心,并且具有2N×2N大小的CU的分割可以类似于在BT结构中被分割成N×2N大小的子CU的类型。此外,当基于关于分割角的信息推导出的分割角的值为90度并且用关于距中心的距离的信息推导出的距中心的距离为0时,分割边界可以水平地穿过CU的中心,并且具有2N×2N大小的CU的分割可以类似于在BT结构中被分割成N×2N大小的子CU的类型。另外,作为CU的分割角,11.25度、25度、45度或90度可以根据分割度被选择性使用,并且在360度的角度范围内被均匀地分割或者围绕特定角度被不均匀地分割。
另外,作为距中心的距离的单位,可以根据分割度来选择性使用1个样本、2个样本或4个样本,或者可以使用根据CU的大小自适应地推导出的距离单位。例如,当CU的大小是4×4大小时,距CU的中心的距离的单位可以被推导为1个样本,并且当CU的大小是8×8大小时,距CU的中心的距离的单位可以被推导为2个样本。因此,可以推导距CU的中心的距离,结果,例如,当指示通过比特流获得的距中心的距离的分割信息的值为x时,如果距离的单位为1个样本,则距中心的距离可以被推导为x个样本,而如果距离的单位为2个样本,则距中心的距离可以被推导为2x个样本。另外,当CU的大小是16×16大小时,距中心的距离的单位可以被推导为4个样本。此外,随着距CU中心的距离增大,可以应用更大的单位。具体地,例如,当CU的尺寸是32×32大小时,如果距CU的中心的距离的值为4或更小,则可以使用1样本单位距离,如果距中心的距离的值大于4且小于等于8,则可以使用2样本单位距离,并且如果距中心的距离的值大于8,则可以使用4样本单位距离。
为了指示针对CU的分割信息,指示分割角的信息和指示距中心的距离的信息中的每一个的语法元素可以被发送到解码设备,或者可以发送指示分割信息和距中心的距离的信息的一个索引。
此外,当向按GP结构分割的目标块应用帧间预测时,可以基于目标块的邻近块的运动信息来推导目标块的运动信息。具体地,可以配置运动信息候选列表,该运动信息候选列表包括代表目标块的邻近块的运动信息的候选,可以接收指示运动信息候选列表中的候选之一的索引,并且基于由索引指示的候选的运动信息来推导目标块的运动信息。运动信息候选列表可以根据目标块的预测模式是合并模式还是MVP模式来指示合并候选列表或运动矢量预测子候选列表。
例如,当向目标块应用合并模式时,可以配置包括表示邻近块的运动信息的候选的合并候选列表,并且合并索引在合并候选列表上指示的候选的运动信息可以被用作目标块的运动信息。可以从编码设备发信号通知合并索引,结果,合并索引可以指示在合并候选列表中所包括的候选当中选择的具有最佳运动信息的候选。候选的运动信息可以包括运动矢量和参考图片索引。邻近块可以包括目标块的空间邻近块和时间邻近块,并且合并候选列表可以包括代表空间邻近块的运动信息的空间候选和代表时间邻近块的运动信息的时间候选。
此外,作为另一示例,在运动矢量预测(MVP)模式的情况下,可以通过使用重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块对应的运动矢量来在目标块中生成运动矢量预测子候选列表。换句话说,可以生成包括重构的空间邻近块的运动矢量和/或与时间邻近块对应的运动矢量的运动矢量预测子候选列表作为候选。表示空间邻近块的运动矢量的候选可以被表示为空间候选,并且表示时间邻近块的运动矢量的候选可以被表示为时间候选。可以发送运动矢量预测子标志,该运动矢量预测子标志指示在运动矢量预测子候选列表中所包括的候选当中选择的候选,并且可以选择运动矢量候选列表的候选当中的由运动矢量预测子标志指示的候选作为目标块的运动矢量预测子(MVP)。在这种情况下,可以通过比特流发送目标块的运动矢量与MVP之间的运动矢量差(MVD),并且可以通过将MVD和MVP相加来推导目标块的运动矢量。
当基于如上所述目标块的邻近块的运动信息来生成目标块的合并候选列表或MVP候选列表时,可以基于以下空间邻近块来推导合并候选列表或MVP候选列表中所包括的空间候选。
图6示例性例示了目标块的空间邻近块。在传统视频编码系统中,可以基于目标块周围的预定位置处的邻近块来配置合并候选列表或MVP候选列表。例如,如图6中例示的,可以选择处于目标块左侧的两个块A0 610和A1 620以及处于当前块上侧的三个块B0 630、B1640和B2 650作为空间候选。这里,A0 610可以被称为左下邻近块,而A1 620可以被称为左邻近块。另外,B0 630可以被称为右上邻近块,B1 640可以被称为上邻近块,并且B2 650可以被称为左上邻近块。
具体地,当向目标块应用合并模式时,可以配置合并候选列表,该合并候选列表包括A0 610、A1 620、B0 630,B1 640和/或B2 650的运动信息作为空间候选。另外,当向目标块应用AMVP模式时,A0 610和A1 620的一个运动矢量可以被包括在MVP候选列表中作为空间候选,并且B0 630、B1 640和B2 650的一个运动矢量可以被包括在MVP候选列表中作为空间候选。可以按图6中例示的方向的顺序来确定在MVP候选列表中是否使用邻近块的运动矢量,结果,可以按A0 610和A1 620的顺序执行确定,并且可以按B0 630、B1 640和B2 650的顺序执行确定。
此外,当目标块是通过以上提到的GP结构分割的块时,可以以各种方式推导块的形式,结果,基于固定位置处的邻近块来推导目标块的运动信息的方法可能不是有效的。具体地,与目标块相邻的块的运动信息很可能与目标块的运动信息相似,并且可以以各种形式推导通过GP结构分割的目标块的形式,结果,最相邻的邻近块的位置可以根据目标块的形式而变化。因此,基于通过GP结构分割的目标块的形式来改变用作目标块的运动信息的候选的邻近块的位置对于更准确地推导目标块的运动信息可能是有效的。
因此,本公开提出了根据通过GP结构分割的目标块的形式来预测空间运动矢量的方法。即,本公开根据通过GP结构分割的目标块的形式提议空间邻近块的位置。
图7a至7c示例性例示了通过GP结构分割的块的类型以及用于每种类型的块的运动矢量预测的邻近块的位置。参照图7a至图7c,可以通过GP结构将目标块分割成第一子块和第二子块。这里,第一子块可以表示从目标块分割出的块当中的处于左侧的块,并且第二子块可以表示从目标块分割出的块当中的处于右侧的块。另外,GP结构的类型可以被分为六个类型即第一类型至第六类型。
例如,图7a的(a)可以例示第一类型。如图7a的(a)中例示的,第一类型可以表示其中第一子块具有三角形形状并且被分割成包括目标块的左上样本的类型。当目标块被分割成第一类型时,第一子块可以不与现有位置的左下邻近块和左邻近块相邻。因此,与第一子块相邻的位置处的邻近块A0’和/或A1’而非现有位置的左下邻近块和左邻近块的运动信息可以被用作预测第一子块的运动信息候选。如图7a的(a)中例示的,邻近块A0’和/或A1’可以大致处于目标块左边界的中间处。例如,当第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块A0'的位置可以被推导为(-1,LH),并且第一子块的邻近块A1'的位置可以被推导为(-1,LH-1)。另选地,当第一子块的左高度为LH并且目标块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块A0'的位置可以被推导为(-1,LH),并且第一子块的邻近块A1'的位置可以被推导为(-1,LH-1)。
另外,当目标块被分割成第一类型时,第一子块可以不与现有位置的左上邻近块和上邻近块相邻。因此,与第一子块相邻的位置处的邻近块B0’和/或B1’而非现有位置的右上邻近块和上邻近块的运动信息可以被用作预测第一子块的运动信息候选。如图7a的(a)中例示的,邻近块B0’和/或B1’可以大致处于目标块上边界的中间处。例如,当第一子块的上宽度为UW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块B0'的位置可以被推导为(UW,-1),并且第一子块的邻近块B1'的位置可以被推导为(UW-1,-1)。另选地,当第一子块的上宽度为UW并且目标块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块B0'的位置可以被推导为(UW,-1),并且第一子块的邻近块B1'的位置可以被推导为(UW-1,-1)。
另外,当目标块被分割成第一类型时,第二子块可以不与现有位置的左上邻近块相邻。因此,与第二子块相邻的位置处的邻近块B2’而非现有位置的左上邻近块的运动信息可以被用作预测第二子块的运动信息候选。如图7a的(a)中例示的,邻近块B2’可以大致处于目标块上边界的中间处。例如,当第二子块的上宽度为UW并且第二子块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B2'的位置可以被推导为(-1,-1)。另选地,当第二子块的上宽度为UW,目标块的大小为N×N,并且目标块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B2’的位置可以被推导为(N-UW-1,-1)。
另外,可以类似于上述类型1的第一子块和第二子块的运动信息候选来推导类型2至6的第一子块和第二子块的运动信息候选。
例如,图7a的(b)可以例示第二类型。如图7a的(b)中例示的,第二类型可以表示其中第二子块具有三角形形状并且被分割成包括目标块的右下样本的类型。当目标块被分割成第二类型时,第二子块可以不与现有位置的左下邻近块和左邻近块相邻。因此,与第二子块相邻的位置处的邻近块A0’和/或A1’而非现有位置的左下邻近块和左邻近块的运动信息可以被用作预测第二子块的运动信息候选。如图7a的(b)中例示的,邻近块A0’和/或A1’可以大致处于目标块左边界的中间处。例如,当第二子块的下宽度为DW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块A0'的位置可以被推导为(-DW,RH),并且第二子块的邻近块A1'的位置可以被推导为(-DW,RH-1)。另选地,当第二子块的下宽度为DW、目标块的大小为N×N,并且目标块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块A0'的位置可以被推导为(N-1-DW,N),并且第一子块的邻近块A1'的位置可以被推导为(N-1-DW,N-1)。
另外,当目标块被分割成第二类型时,第二子块可以不与现有位置的右上邻近块和上邻近块相邻。因此,与第二子块相邻的位置处的邻近块B0’和/或B1’而非现有位置的右上邻近块和上邻近块的运动信息可以被用作预测第二子块的运动信息候选。如图7a的(b)中例示的,邻近块B0’和/或B1’可以大致处于目标块右边界的中间处。例如,当第二子块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B0'的位置可以被推导为(1,-1),并且第二子块的邻近块B1'的位置可以被推导为(0,-1)。另选地,当第二子块的右宽度为RH并且目标块的大小为N×N,并且目标块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B0'的位置可以被推导为(N,N-1-RH),并且第二子块的邻近块B1'的位置可以被推导为(N-1,N-1-RH)。
又如,图7b的(c)可以例示第三类型。如图7b的(c)中例示的,第三类型可以表示其中第二子块具有三角形形状并且被分割成包括目标块的右上样本的类型。当目标块被分割成第三类型时,第一子块可以不与现有位置的右上邻近块和上邻近块相邻。因此,与第一子块相邻的位置处的邻近块B0’和/或B1’而非现有位置的右上邻近块和上邻近块的运动信息可以被用作预测第一子块的运动信息候选。如图7b的(c)中例示的,邻近块B0’和/或B1’可以大致处于目标块上边界的中间处。例如,当第一子块的上宽度为UW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块B0'的位置可以被推导为(UW,-1),并且第一子块的邻近块B1'的位置可以被推导为(UW-1,-1)。另选地,当第一子块的上宽度为UW并且目标块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块B0'的位置可以被推导为(UW,-1),并且第一子块的邻近块B1'的位置可以被推导为(UW-1,-1)。
另外,当目标块被分割成第三类型时,第二子块可以不与现有位置的左上邻近块相邻。因此,与第二子块相邻的位置处的邻近块B2’而非现有位置的左上邻近块的运动信息可以被用作预测第二子块的运动信息候选。如图7b的(c)中例示的,邻近块B2’可以大致处于目标块上边界的中间处。例如,当第二子块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B2'的位置可以被推导为(-1,-1)。另选地,当第二子块的上宽度为UW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B2’的位置可以被推导为(N-1-UW,-1)。
又如,图7b的(d)可以例示第四类型。如图7b的(d)中例示的,第四类型可以表示其中第一子块具有三角形形状并且被分割成包括目标块的左下样本的类型。当目标块被分割成第四类型时,第二子块可以不与现有位置的左下邻近块和左邻近块相邻。因此,与第二子块相邻的位置处的邻近块A0’和/或A1’而非现有位置的左下邻近块和左邻近块的运动信息可以被用作预测第二子块的运动信息候选。如图7b的(d)中例示的,邻近块A0’和/或A1’可以大致处于目标块下边界的中间处。例如,当第二子块的上宽度为UW、第二子块的下宽度为DW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块A0'的位置可以被推导为(UW-1-DW,RH),并且第二子块的邻近块A1'的位置可以被推导为(UW-1-DW,RH-1)。另选地,当第二子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块A0'的位置可以被推导为(N-1-DW,N),并且第二子块的邻近块A1'的位置可以被推导为(N-1-DW,N-1)。
又如,图7c的(e)可以例示第五类型。如图7c的(e)中例示的,第五类型可以表示其中第一子块和第二子块具有矩形形状并且第一子块的左边界和第二子块的右高度被分割成与目标块的高度相同的类型。另选地,第五类型可以表示其中目标块的分割边界被分割成与目标块的上边界和下边界接触的类型。
当目标块被分割成第五类型时,第一子块可以不与现有位置的右上邻近块和上邻近块相邻。因此,与第一子块相邻的位置处的邻近块B0’和/或B1’而非现有位置的右上邻近块和上邻近块的运动信息可以被用作预测第一子块的运动信息候选。如图7c的(e)中例示的,邻近块B0’和/或B1’可以大致处于目标块上边界的中间处。例如,当第一子块的上宽度为UW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块B0'的位置可以被推导为(UW,-1),并且第一子块的邻近块B1'的位置可以被推导为(UW-1,-1)。另选地,当第一子块的上宽度为UW并且目标块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块B0'的位置可以被推导为(UW,-1),并且第一子块的邻近块B1'的位置可以被推导为(UW-1,-1)。
另外,当目标块被分割成第五类型时,第二子块可以不与现有位置的左下邻近块和左邻近块相邻。因此,与第二子块相邻的位置处的邻近块A0’和/或A1’而非现有位置的左下邻近块和左邻近块的运动信息可以被用作预测第二子块的运动信息候选。如图7c的(e)中例示的,邻近块A0’和/或A1’可以大致处于目标块下边界的中间处。例如,当第二子块的上宽度为UW、第二子块的下宽度为DW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块A0'的位置可以被推导为(UW-1-DW,RH),并且第二子块的邻近块A1'的位置可以被推导为(UW-1-DW,RH-1)。另选地,当第二子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块A0'的位置可以被推导为(N-1-DW,N),并且第二子块的邻近块A1'的位置可以被推导为(N-1-DW,N-1)。
另外,当目标块被分割成第五类型时,第二子块可以不与现有位置的左上邻近块相邻。因此,与第二子块相邻的位置处的邻近块B2’而非现有位置的左上邻近块的运动信息可以被用作预测第二子块的运动信息候选。如图7c的(e)中例示的,邻近块B2’可以大致处于目标块上边界的中间处。例如,当第二子块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B2'的位置可以被推导为(-1,-1)。另选地,当第二子块的上宽度为UW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B2’的位置可以被推导为(N-1-UW,-1)。
又如,图7c的(f)可以例示第六类型。如图7c的(f)中例示的,第六类型可以表示其中第一子块和第二子块具有矩形形状并且第一子块的上边界和第二子块的下宽度被分割成与目标块的宽度相同的类型。另选地,第六类型可以表示其中目标块的分割边界被分割成与目标块的左边界和右边界接触的类型。
当目标块被分割成第六类型时,第一子块可以不与现有位置的左下邻近块和左邻近块相邻。因此,与第一子块相邻的位置处的邻近块A0’和/或A1’而非现有位置的左下邻近块和左邻近块的运动信息可以被用作预测第一子块的运动信息候选。如图7c的(f)中例示的,邻近块A0’和/或A1’可以大致处于目标块左边界的中间处。例如,当第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块A0'的位置可以被推导为(-1,LH)并且第一子块的邻近块A1'的位置可以被推导为(-1,LH-1)。另选地,当第一子块的左高度为LH并且目标块的左上样本位置的x分量为0且y分量为0时,第一子块的邻近块A0'的位置可以被推导为(-1,LH),并且第一子块的邻近块A1'的位置可以被推导为(-1,LH-1)。
另外,当目标块被分割成第六类型时,第二子块可以不与现有位置的右上邻近块和上邻近块相邻。因此,与第二子块相邻的位置处的邻近块B0’和/或B1’而非现有位置的右上邻近块和上邻近块的运动信息可以被用作预测第二子块的运动信息候选。如图7c的(f)中例示的,邻近块B0’和/或B1’可以大致处于目标块左边界的中间处。例如,当第二子块的下宽度为DW、第二子块的左高度为LH、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B0'的位置可以被推导为(DW,LH-1-RH),并且第二子块的邻近块B1'的位置可以被推导为(DW-1,LH-1-RH)。另选地,当第二子块的右高度为RH、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二子块的邻近块B0'的位置可以被推导为(N,N-1-RH),并且第二子块的邻近块B1'的位置可以被推导为(N-1,N-1-RH)。
此外,第一子块或第二子块与现有位置的邻近块相邻,以将邻近块的运动信息用作候选,或者当不存在可更换的与第一子块或第二子块相邻的邻近块时,现有位置的邻近块的运动信息可以被用作第一子块或第二子块的运动信息候选。
此外,当基于如上所述目标块的邻近块的运动信息来生成目标块的合并候选列表或MVP候选列表时,可以基于以下时间邻近块来推导合并候选列表或MVP候选列表中所包括的时间运动信息候选。
图8示例性例示了目标块的时间邻近块。在传统视频编码系统中,可以基于作为与包括目标块的目标图片不同的图片的参考图片中所包括的对应块来配置合并候选列表或MVP候选列表。这里,作为与目标块对应的块的对应块可以表示参考图片中的与目标块对应的位置处的块。
例如,如图8的(a)中例示的,参考图片中的目标块的右下邻近块的位置处的块810可以被推导为时间邻近块。时间邻近块的运动信息可以被推导为合并候选列表或MVP候选列表的候选。当目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的时间邻近块的位置可以被推导为(N,N)。这里,包括时间邻近块的参考图片也可以被表示为同位图片。
另选地,如图8的(b)中例示的,参考图片中的目标块的中心右下邻近块的位置处的块820可以被推导为时间邻近块。时间邻近块的运动信息可以被推导为合并候选列表或MVP候选列表的候选。当目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的时间邻近块的位置可以被推导为(N/2,N/2)。
此外,当目标块是通过以上提到的GP结构分割的块时,可以以各种方式推导块的形式,结果,基于固定位置处的时间邻近块来推导目标块的运动信息的方法可以不能有效的。因此,根据通过GP结构分割的目标块的形式将不同位置处的块推导为时间邻近块的方法对于更准确地推导目标块的运动信息可能是有效的。
因此,本公开提出了根据通过GP结构分割的目标块的形式来预测时间运动矢量的方法。即,本公开根据通过GP结构分割的目标块的形式提议时间邻近块的位置。
图9a和图9b示例性例示了通过GP结构分割的块的类型以及用于每种类型的块的运动矢量预测的参考图片中的时间邻近块的位置。这里,包括时间邻近块的参考图片也可以被表示为同位图片。
参照图9a和图9b,可以通过GP结构将目标块分割成第一子块和第二子块。这里,第一子块可以表示从目标块分割出的块当中的处于左侧的块,并且第二子块可以表示从目标块分割出的块当中的处于右侧的块。另外,GP结构的类型可以被分为六个类型即第一类型至第六类型。
例如,图9a的(a)可以例示第一类型的第一子块和第二子块。第一类型可以表示其中第一子块具有三角形形状并且被分割成包括目标块的左上样本的类型。另外,第一类型可以表示其中分割边界与目标块的上边界和下边界交叉的类型。当目标块被分割成第一类型时,第一子块可以不与目标块的右上邻近块的位置相邻。因此,与参考图片中的目标块的右下邻近块对应的对应块的运动信息可以与目标块的运动信息不相似。
可以使用与参考图片中的第一子块的右下邻近块对应的对应块而非与参考图片中的目标块的右下邻近块对应的对应块的运动信息作为用于预测第一子块的运动信息候选。即,参考图片中的第一子块的右下邻近块的位置处的块被推导为第一子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(0,LH-1)。参考图片也可以被表示为同位图片。另选地,当第一子块的左高度为LH,并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(0,LH-1)。
此外,当目标块被分割成第一类型时,与第一子块不同,第二子块与参考图片中的目标块的右下邻近块相邻,结果,可以使用参考图片中的目标块的右下邻近块的运动信息作为用于预测第二子块的运动信息候选。即,参考图片中的对应块的右下邻近块的位置处的块可以被推导为第二子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第二子块的上宽度为UW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(UW,RH)。另选地,当第二子块的下宽度为DW、第二子块的右高度为RH并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(DW,RH)。另选地,当目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(N,N)。
另外,可以类似于上述类型1的第一子块和第二子块的运动信息候选来推导类型2至6的第一子块和第二子块的时间运动信息候选。
例如,图9a的(b)可以例示第二类型的第一子块和第二子块。第二类型可以表示其中第二子块具有三角形形状并且被分割成包括目标块的右下样本的类型。另外,第二类型可以表示其中分割边界与目标块的右边界和下边界交叉的类型。当目标块被分割成第二类型时,可以使用与参考图片中的第一子块的右下邻近块对应的对应块而非与参考图片中的目标块的右下邻近块对应的对应块的运动信息作为用于预测第一子块的运动信息候选。即,参考图片中的第一子块的右下邻近块的位置处的块可以被推导为第一子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(DW-1,LH-1)。另选地,当第一子块的左高度为LH、第一子块的下宽度为DW并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(DW-1,LH-1)。
此外,当将目标块被分割成第二类型时,与第一子块不同,第二子块与参考图片中的目标块的右下邻近块相邻,结果,可以使用参考图片中的目标块的右下邻近块的运动信息作为用于预测第二子块的运动信息候选。即,参考图片中的对应块的右下邻近块的位置处的块可以被推导为第二子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(0,RH)。另选地,当目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(N,N)。
另外,作为另一示例,如图9a的(c)中例示的,目标块可以被分割成第三类型。第三类型可以表示其中第二子块具有三角形形状并且被分割成包括目标块的右上样本的类型。另外,第三类型可以表示其中分割边界与目标块的上边界和右边界交叉的类型。当目标块被分割成第三类型时,第一子块与参考图片中的目标块的右下邻近块相邻,结果,可以使用参考图片中的目标块的右下邻近块的运动信息作为用于预测第一子块的运动信息候选。即,参考图片中的对应块的右下邻近块的位置处的块可以被推导为第一子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(DW,LH)。另选地,当目标块的大小为N×N、目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(N,N)。
另外,当目标块被分割成第三类型时,可以使用与参考图片中的第二子块的右下邻近块对应的对应块而非与参考图片中的目标块的右下邻近块对应的对应块的运动信息作为用于预测第二子块的运动信息候选。即,参考图片中的第二子块的右下邻近块的位置处的块可以被推导为第二子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,尽管在图中未例示,但当第二子块的上高度为RH、第二子块的上宽度为UW并且第二子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(UW-1,RH-1)。另选地,当目标块的大小为N x N、第二子块的右高度为RH并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(N-1,RH-1)。另选地,目标块的时间邻近块可以被用作第二子块的时间邻近块。例如,当目标块的大小为N×N、目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(N,N),如图9a的(c)中例示的。
另外,作为另一示例,如图9a的(d)中例示的,目标块可以被分割成第四类型。第四类型可以表示其中第一子块具有三角形形状并且被分割成包括目标块的左下样本的类型。另外,第四类型可以表示其中分割边界与目标块的左边界和下边界交叉的类型。当目标块被分割成第四类型时,可以使用与参考图片中的第一子块的右下邻近块对应的对应块而非与参考图片中的目标块的右下邻近块对应的对应块的运动信息作为用于预测第一子块的运动信息候选。即,参考图片中的第一子块的右下邻近块的位置处的块可以被推导为第一子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(DW-1,LH-1)。另选地,当第一子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(DW-1,N-1)。
此外,当目标块被分割成第四类型时,与第一子块不同,第二子块与参考图片中的目标块的右下邻近块相邻,结果,可以使用参考图片中的目标块的右下邻近块的运动信息作为用于预测第二子块的运动信息候选。即,参考图片中的对应块的右下邻近块的位置处的块可以被推导为第二子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第二子块的右宽度为RH、第二子块的上宽度为UW并且第二子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(UW,RH)。另选地,当第二子块的上高度为RH、第二子块的上宽度为UW并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(UW,RH)。另选地,当目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的位置可以被推导为(N,N)。
另外,作为另一示例,如图9b的(e)中例示的,目标块可以被分割成第五类型。第五类型可以表示其中第一子块和第二子块具有矩形形状并且第一子块的左边界和第二子块的右高度被分割成与目标块的高度相同的类型。另选地,第五类型可以表示其中目标块的分割边界被分割成与目标块的上边界和下边界接触的类型。
当目标块被分割成第五类型时,可以使用与参考图片中的第一子块的右下邻近块对应的对应块而非与参考图片中的目标块的右下邻近块对应的对应块的运动信息作为用于预测第一子块的运动信息候选。即,参考图片中的第一子块的右下邻近块的位置处的块可以被推导为第一子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(DW-1,LH-1)。另选地,当第一子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(DW-1,N-1)。
此外,当目标块被分割成第五类型时,与第一子块不同,第二子块与参考图片中的目标块的右下邻近块相邻,结果,可以使用参考图片中的目标块的右下邻近块的运动信息作为用于预测第二子块的运动信息候选。即,参考图片中的对应块的右下邻近块的位置处的块可以被推导为第二子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第二子块的右宽度为RH、第二子块的上宽度为UW并且第二子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(UW,RH)。另选地,当第二子块的右高度为RH、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(N,RH)。另选地,当目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的位置可以被推导为(N,N)。
另外,作为另一示例,如图9b的(f)中例示的,目标块可以被分割成第六类型。第六类型可以表示其中第一子块和第二子块具有矩形形状并且第一子块的上边界和第二子块的下宽度被分割成与目标块的宽度相同的类型。另选地,第六类型可以表示其中目标块的分割边界被分割成与目标块的左边界和右边界接触的类型。
当目标块被分割成第六类型时,可以使用与参考图片中的第一子块的右下邻近块对应的对应块而非与参考图片中的目标块的右下邻近块对应的对应块的运动信息作为用于预测第一子块的运动信息候选。即,参考图片中的第一子块的右下邻近块的位置处的块可以被推导为第一子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(0,LH-1)。另选地,当第一子块的左高度为LH并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第一子块的时间邻近块的位置可以被推导为(0,LH-1)。
此外,当目标块被分割成第六类型时,与第一子块不同,第二子块与参考图片中的目标块的右下邻近块相邻,结果,可以使用参考图片中的目标块的右下邻近块的运动信息作为用于预测第二子块的运动信息候选。即,参考图片中的对应块的右下邻近块的位置处的块可以被推导为第二子块的时间邻近块,并且时间邻近块的运动信息可以被包括作为合并候选列表或MVP候选列表的时间运动信息候选。例如,当第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的时间邻近块的位置可以被推导为(0,RH)。另选地,当目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,参考图片中的第二子块的位置可以被推导为(N,N)。
此外,当通过如上所述的GP结构分割目标块时,目标块的第一子块和第二子块之间可能出现不连续。即,可以分别执行对第一子块和第二子块中的每一个的预测,结果,可能出现示出了第一子块和第二子块之间边界的问题。本公开提出了用于在第一子块与第二子块之间执行重叠运动补偿以便去除通过GP结构分割的第一子块与第二子块之间的不连续的方法。
图10示例性例示了通过GP结构分割的第一子块和第二子块之间的边界区域。参照图10,可以通过GP结构将目标块分割成第一子块和第二子块。换句话说,可以基于分割边界将目标块分割成第一子块和第二子块。在这种情况下,第一子块的边界区域1010可以表示包括在第一子块中并且与第二子块相邻的区域。另外,第二子块的边界区域1020可以表示包括在第二子块中并且与第一子块相邻的区域。可以对第一子块的边界区域和第二子块的边界区域的样本执行重叠运动补偿。即,第一子块的边界区域和第二子块的边界区域可以被推导为在其中执行重叠运动补偿的区域。
图11可以示例性例示被执行用于重叠运动补偿的滤波的样本。图11中例示的P0和P1可以表示第一子块的边界区域中所包括的样本,并且Q0和Q1可以表示第二子块的边界区域中所包括的样本。在这种情况下,可以对P0和/或P1执行滤波,以用于重叠运动补偿。另选地,可以对Q0和/或Q1执行滤波,以用于重叠运动补偿。换句话说,为了消除第一子块与第二子块之间的不连续,可以对P0和/或P1执行滤波,或者可以对Q0和/或Q1执行滤波。
例如,可以对第一子块的样本当中的与第二子块相邻的样本以及第二子块的样本当中的与第一子块相邻的样本执行滤波。即,可以对以上图11中例示的P0和Q0执行滤波。具体地,可以基于第一子块的运动信息来推导P0的样本值1,可以基于第二子块的运动信息来推导P0的样本值2,并且可以基于P0的样本值1和样本值2来推导P0的滤波后的样本值。另外,可以基于第一子块的运动信息来推导Q0的样本值1,可以基于第二子块的运动信息来推导Q0的样本值2,并且可以基于Q0的样本值1和样本值2来推导Q0的滤波后的样本值。
在这种情况下,可以通过下式来推导P0的滤波后的值和Q0的滤波后的值。
[式1]
P0=(3*P0Part0+P0Part1)/4
Q0=(Q0PartO+3*Q0Part1)/4
这里,P0Part0可以表示基于第一子块的运动信息的P0的样本值1,P0Part1可以表示基于第二子块的运动信息的P0的样本值2,并且P0可以表示P0的滤波后的样本值。另外,Q0Part0可以表示基于第一子块的运动信息的Q0的样本值1,Q0Part1可以表示基于第二子块的运动信息的Q0的样本值2,并且Q0可以表示Q0的滤波后的样本值。
另选地,可以通过下式来推导P0的值和Q0的滤波后的值。
[式2]
P0=(7*P0Part0+P0Part1)/8
Q0=(Q0Part0+7Q0Part1)/8
这里,P0Part0可以表示基于第一子块的运动信息的P0的样本值1,P0Part1可以表示基于第二子块的运动信息的P0的样本值2,并且P0可以表示P0的滤波后的样本值。另外,Q0Part0可以表示基于第一子块的运动信息的Q0的样本值1,Q0Part1可以表示基于第二子块的运动信息的Q0的样本值2,并且Q0可以表示Q0的滤波后的样本值。
此外,作为另一示例,可以对第一子块的样本当中的与第二子块相邻的第一样本和与第一样本的左侧相邻的第二样本执行滤波,并且可以对第二子块的样本当中的与第一子块相邻的第一样本和与第一样本的右侧相邻的第二样本执行滤波。另选地,可以对第一子块的样本当中的与第二子块相邻的第一样本和与第一样本的上侧相邻的第二样本执行滤波,并且可以对第二子块的样本当中的与第一子块相邻的第一样本和与第一样本的下侧相邻的第二样本执行滤波。围绕分割边界的第一子块的两个样本可以被包括在第一子块的边界区域中,并且围绕分割边界的第二子块的两个样本可以被包括在第二子块的边界区域中。在这种情况下,可以对以上图11中例示的P0和P1以及Q0和Q1执行滤波。具体地,可以基于第一子块的运动信息来推导P0的样本值1,可以基于第二子块的运动信息来推导P0的样本值2,并且可以基于P0的样本值1和样本值2来推导P0的滤波后的样本值。另外,可以基于第一子块的运动信息来推导P1的样本值1,可以基于第二子块的运动信息来推导P1的样本值2,并且可以基于P1的样本值1和样本值2来推导P1的滤波后的样本值。另外,可以基于第一子块的运动信息来推导Q0的样本值1,可以基于第二子块的运动信息来推导Q0的样本值2,并且可以基于Q0的样本值1和样本值2来推导Q0的滤波后的样本值。另外,可以基于第一子块的运动信息来推导Q1的样本值1,可以基于第二子块的运动信息来推导Q1的样本值2,并且可以基于Q1的样本值1和样本值2来推导Q1的滤波后的样本值。
在这种情况下,可以通过下式来推导P0的滤波后的值、P1的滤波后的值、Q0的滤波后的值和Q1的滤波后的值。
[式3]
P0=(3*P0Part0+P0Part1)/4
P1=(7*P1Part0+P1Part1)/8
Q0=(Q0Part0+3*Q0Part1)/4
Q1=(Q1Part0+7*Q1Part1)/8
这里,P0Part0可以表示基于第一子块的运动信息的P0的样本值1,P0Part1可以表示基于第二子块的运动信息的P0的样本值2,并且P0可以表示P0的滤波后的样本值。这里,P1Part0可以表示基于第一子块的运动信息的P1的样本值1,P1Part1可以表示基于第二子块的运动信息的P1的样本值2,并且P1可以表示P1的滤波后的样本值。另外,Q0Part0可以表示基于第一子块的运动信息的Q0的样本值1,Q0Part1可以表示基于第二子块的运动信息的Q0的样本值2,并且Q0可以表示Q0的滤波后的样本值。另外,Q1Part0可以表示基于第一子块的运动信息的Q1的样本值1,Q1Part1可以表示基于第二子块的运动信息的Q1的样本值2,并且Q1可以表示Q1的滤波后的样本值。
可以以切片或块为单元以各种方式选择在其中执行滤波的分割边界周围的样本的数目。另选地,可以基于目标块的大小来选择在其中执行滤波的分割边界周围的样本的数目。例如,当目标块是16×16大小的块时,可以向目标块的子块的样本当中的分割边界周围的一个样本应用滤波。例如,当目标块是比16×16大小的块大的块时,可以向目标块的子块的样本当中的分割边界周围的两个样本应用滤波。另外,可以以序列参数集(SPS)、图片参数集(PSP)、切片、块等为单元发送指示是否应用滤波的信息。
此外,当基于GP结构分割目标块时,可以通过各种方法执行对目标块的变换处理。
作为示例,可以提出对第一子块和第二子块执行一次变换和量化处理的方法。具体地,可以对通过基于GP结构分割目标块而推导出的第一子块和第二子块中的每一个执行预测,可以得到第一子块和第二子块中的每一个的残差信号,并且通过对第一子块的残差信号和第二子块的残差信号执行一次变换、量化和熵编码而推导出的第一子块和第二子块的编码后的信息可以被发送到解码设备。换句话说,编码设备可以对第一子块和第二子块执行一次变换和量化处理,并对通过变换和量化处理而生成的关于第一子块和第二子块的信息进行熵编码,并且将熵编码后的信息发送到解码设备。
图12例示了被执行一个变换处理的第一子块和第二子块的示例。可以对第一子块和第二子块执行单独的预测。可以基于通过对第一子块的预测而生成的第一子块的预测样本来生成第一子块的残差信号,并且可以基于通过对第二子块的预测而生成的第二子块的预测样本来生成第二子块的残差信号。在这种情况下,如图12中例示的,第一子块的残差信号和第二子块的残差信号可以被组合成一个块,并且可以执行对该组合的块的变换和量化处理。
另外,作为另一示例,可以提出对第一子块和第二子块执行单独的变换和量化处理的方法。
图13例示了对其执行单独的变换处理的第一子块和第二子块的示例。图13的(a)可以例示被变换的第一子块的残差信号,并且图13的(b)可以例示被变换的第二子块的残差信号。可以对通过基于GP结构分割目标块而推导出的第一子块和第二子块中的每一个执行预测,可以得到第一子块和第二子块中的每一个的残差信号,并且可以通过对第一子块的残差信号和第二子块的残差信号中的每一个执行一次变换、量化和熵编码来推导第一子块的编码后的信息和第二子块的编码后的信息并将其发送到解码设备。换句话说,编码设备可以对第一子块的残差信号和第二子块的残差信号中的每一个执行单独的变换和量化处理,并对通过变换和量化处理而生成的关于第一子块和第二子块的信息进行熵编码,并且将熵编码后的信息发送到解码设备。
另外,作为另一示例,仅第一子块和第二子块中的第一子块可以被变换。即,仅第一子块的残差信号可以被变换。在这种情况下,可以基于具有最小大小的仅包括第一子块的变换核对第一子块的残差信号进行变换。即,变换核可以表示具有包括第一子块大小的大小的变换核当中的具有最小大小的变换核。
另选地,如图13的(c)中例示的,基于具有目标块大小的变化核来变换第一子块的残差信号,但是目标块的区域当中的第一子块中未包括的区域(即,第二子块区域)被用值0填充,以便被变换。换句话说,填充有0的第二子块区域被组合到第一子块的残差信号,以推导具有目标块大小的块,并且可以基于具有目标块大小的变换核来变换推导出的块。
另选地,如图13的(d)中例示的,第一子块的残差信号可以被重新布置,并且重新布置后的残差信号可以被变换。具体地,如图13D中例示的,第一子块的区域1310的残差信号可以被重新布置到第一子块的b区域1320,并且重新布置后的残差信号可以被变换。即,a区域1310的残差信号可以被重新布置在b区域1320中,并且第一子块的残差信号可以具有矩形形状,并且可以基于具有包括重新布置的第一子块的大小的变换核来变换第一子块的残差信号。
图14示意性例示了根据本公开的由编码设备进行的视频编码方法。图14中公开的方法可以由图1中公开的编码设备执行。具体地,例如,图14的S1400可以由编码设备的图片分割器执行,S1410和S1420可以由编码设备的预测器执行,并且S1430可以由编码设备的熵编码器执行。
编码设备将目标块分割成第一子块和第二子块(S1400)。目标块可以是按四叉树(QT)结构分割的块和不再被按QT结构分割的QT结构中的端节点的块。端节点也可以被称为叶节点。这里,QT结构可以表示2N×2N大小的目标块被分割成四个N×N大小的子块的结构。在这种情况下,目标块可以被按几何分区(GP)结构分割,并且GP结构可以表示其中目标块被分割成各种类型的子块的结构。另外,GP结构可以表示其中基于预定分割边界来分割目标块的结构。
编码设备可以推导分割边界,并且基于分割边界将目标块分割成第一子块和第二子块。换句话说,可以通过分割边界将目标块分割成第一子块和第二子块。
在这种情况下,编码设备可以生成针对目标块的分割信息。该分割信息可以被称为GP分割信息。分割信息可以包括指示分割边界的角度的信息以及指示分割边界与目标块中心之间的距离的信息。另选地,分割信息可以包括指示多种预定分割类型之一的GP分割索引。在这种情况下,目标块可以被分割成由GP分割索引指示的类型的第一子块和第二子块。此外,第一子块可以表示从目标块分割出的块当中的处于左侧的块,并且第二子块可以表示从目标块分割出的块当中的处于右侧的块。另外,第一子块和第二子块可以是非矩形块。
另外,针对目标块的分割信息可以包括目标块的几何分区(GP)分割标志,并且GP分割标志可以指示目标块是否被分割成具有各种形式的子块。另选地,GP分割标志可以指示是否通过预定分割边界将目标块分割成子块。当GP分割标志的值为1时,即,当GP分割标志指示目标块被分割成子块时,可以通过分割边界将目标块分割成第一子块和第二子块,该分割边界是基于指示分割边界的角度的信息和/或指示分割边界与目标块中心之间的距离的信息而推导出的。
编码设备基于目标块的分割类型来推导第一子块的第一运动信息候选列表和第二子块的第二运动信息候选列表(S1410)。编码设备可以基于目标块的分割类型来推导第一运动信息候选列表和第二运动信息候选列表。即,可以根据分割类型来推导第一子块的空间邻近块和/或时间邻近块,并且可以推导第二子块的空间邻近块和/或时间邻近块。第一运动信息候选列表可以包括指示第一子块的空间邻近块的运动信息的空间候选和/或指示第一子块的时间邻近块的运动信息的时间候选。即,第一子块的第一运动信息候选列表可以不同于第二子块的第二运动信息候选列表。第一子块的左高度或右高度可以等于或小于目标块的高度,并且第一子块的上宽度或下宽度可以等于或小于目标块的宽度。另外,第二子块的左高度或右高度可以等于或小于目标块的高度,并且第二子块的上宽度或下宽度可以等于或小于目标块的宽度。
此外,当向第一子块应用合并模式时,第一运动信息候选列表可以表示合并候选列表,并且当向第一子块应用运动矢量预测(MVP)模式时,第一运动信息候选列表可以表示MVP候选列表。另外,第二运动信息候选列表可以包括指示第二子块的空间邻近块的运动信息的空间候选和/或指示第二子块的时间邻近块的运动信息的时间候选。另外,当向第二子块应用合并模式时,第二运动信息候选列表可以表示合并候选列表,并且当向第二子块应用运动矢量预测(MVP)模式时,第二运动信息候选列表可以表示MVP候选列表。
此外,基于分割信息推导出的分割类型可以包括六种类型即第一类型至第六类型。
例如,第一类型可以表示其中第一子块具有三角形形状并且被分割成包括目标块的左上样本的类型。另外,第一类型可以表示其中分割边界与目标块的上边界和左边界交叉的类型。
当目标块被分割成第一类型(即,分割边界与目标块的上边界和左边界交叉)、第一子块的上宽度为UW、第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选、指示第三空间邻近块的运动信息的第三空间候选和/或指示第四空间邻近块的运动信息的第四空间候选。在这种情况下,第一空间邻近块的位置可以是(-1,LH),第二空间邻近块的位置可以是(-1,LH-1),第三空间邻近块的位置可以是(UW-1,-1),并且第四空间邻近块的位置可以是(UW-1,-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(0,LH-1)。
另外,当目标块被分割成第一类型(即,分割边界与目标块的上边界和左边界交叉)、第一子块的上宽度为UW、第一子块的左高度为LH并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选、指示第三空间邻近块的运动信息的第三空间候选和/或指示第四空间邻近块的运动信息的第四空间候选。在这种情况下,第一空间邻近块的位置可以是(-1,LH),第二空间邻近块的位置可以是(-1,LH-1),第三空间邻近块的位置可以是(UW-1,-1),并且第四空间邻近块的位置可以是(UW-1,-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(0,LH-1)。
另外,当目标块被分割成第一类型(即,分割边界与目标块的上边界和左边界交叉)、第二子块的上宽度为UW并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示空间邻近块的运动信息的空间候选。在这种情况下,空间邻近块的位置可以是(-1,-1)。
另外,当目标块被分割成第一类型(即,分割边界与目标块的上边界和左边界交叉)、第二子块的上宽度为UW、目标块的大小为N×N并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示空间邻近块的运动信息的空间候选。在这种情况下,空间邻近块的位置可以是(N-UW-1,-1)。
作为另一示例,第二类型可以表示其中第二子块具有三角形形状并且被分割成包括目标块的右下样本的类型。另外,第二类型可以表示其中分割边界与目标块的右边界和下边界交叉的类型。
当目标块被分割成第二类型(即,分割边界与目标块的右边界和下边界交叉)、第二子块的下宽度为DW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选、指示第三空间邻近块的运动信息的第三空间候选和/或指示第四空间邻近块的运动信息的第四空间候选。在这种情况下,第一空间邻近块的位置可以是(-DW,RH),第二空间邻近块的位置可以是(-DW,RH-1),第三空间邻近块的位置可以是(-1,-1),并且第四空间邻近块的位置可以是(0,-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(0,LH)。
另外,当目标块被分割成第二类型(即,分割边界与目标块的右边界和下边界交叉)、第二子块的下宽度为DW、第二子块的右高度为RH、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选、指示第三空间邻近块的运动信息的第三空间候选和/或指示第四空间邻近块的运动信息的第四空间候选。在这种情况下,第一空间邻近块的位置可以是(N-1-DW,N),第二空间邻近块的位置可以是(N-1-DW,N-1),第三空间邻近块的位置可以是(N,N-1-RH),并且第四空间邻近块的位置可以是(N-1,N-1-RH)。另外,第二运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(N,N)。
另外,当目标块被分割成第二类型(即,分割边界与目标块的右边界和下边界交叉)、第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示同位图片中的空间邻近块的运动信息的空间候选。在这种情况下,时间邻近块的位置可以是(DW-1,LH-1)。
另外,当目标块被分割成第二类型(即,分割边界与目标块的右边界和下边界交叉)、第一子块的左高度为LH、第一子块的下宽度为DW并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(DW-1,LH-1)。
作为另一示例,第三类型可以表示其中第二子块具有三角形形状并且被分割成包括目标块的右上样本的类型。另外,第三类型可以表示其中分割边界与目标块的上边界和右边界交叉的类型。
另外,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第一子块的上宽度为UW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(UW,-1),并且第二空间邻近块的位置可以是(UW-1,-1)。
另外,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第一子块的上宽度为UW并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(UW,-1),并且第二空间邻近块的位置可以是(UW-1,-1)。
另外,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示空间邻近块的运动信息的空间候选。在这种情况下,空间邻近块的位置可以是(-1,-1)。另外,第二运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第二子块的上宽度为UW、第二子块的右高度为RH、目标块的大小为N×N并且第二子块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(UW,N)。此外,时间邻近块的位置可以是(UW-1,RH-1)。
另外,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第二子块的上宽度为UW、目标块的大小为N×N并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示空间邻近块的运动信息的空间候选。在这种情况下,空间邻近块的位置可以是(N-1-UW,-1)。另外,第二运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第二子块的右高度为RH、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(N,N)。此外,时间邻近块的位置可以是(N-1,RH-1)。
作为另一示例,第四类型可以表示其中第二子块具有三角形形状并且被分割成包括目标块的左下样本的类型。另外,第四类型可以表示其中分割边界与目标块的左边界和下边界交叉的类型。
另外,当目标块被分割成第四类型(即,分割边界与目标块的左边界和下边界交叉)、第二子块的上宽度为UW、第二子块的下宽度为DW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(UW-1-DW,RH),并且第二空间邻近块的位置可以是(UW-1-DW,RH-1)。
另外,当目标块被分割成第四类型(即,分割边界与目标块的左边界和下边界交叉)、第二子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(N-1-DW,N),并且第二空间邻近块的位置可以是(N-1-DW,N-1)。
另外,当目标块被分割成第四类型(即,分割边界与目标块的左边界和下边界交叉)、第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示同位图片中的空间邻近块的运动信息的空间候选。在这种情况下,时间邻近块的位置可以是(DW-1,LH-1)。
另外,当目标块被分割成第四类型(即,分割边界与目标块的左边界和下边界交叉)、第一子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(DW-1,N-1)。
作为另一示例,第五类型可以表示其中第一子块和第二子块具有矩形形状并且第一子块的左边界和第二子块的右高度被分割成与目标块的高度相同的类型。另外,第五类型可以表示其中分割边界与目标块的上边界和下边界交叉的类型。
当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第一子块的上宽度为UW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(UW,-1),并且第二空间邻近块的位置可以是(UW-1,-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(DW-1,LH-1)。
另外,当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第一子块的上宽度为UW、第一子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选以及指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个。在这种情况下,第一空间邻近块的位置可以是(UW,-1),并且第二空间邻近块的位置可以是(UW-1,-1),并且时间邻近块的位置可以是(DW-1,N-1)。
另外,当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第二子块的上宽度为UW、第二子块的下宽度为DW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选和指示第三空间邻近块的运动信息的第三空间候选以及指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个。在这种情况下,第一空间邻近块的位置可以是(UW-1-DW,RH),第二空间邻近块的位置可以是(UW-1-DW,RH-1),第三空间邻近块的位置可以是(-1,-1),并且时间邻近块的位置可以是(UW-1,RH-1)。
另外,当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第二子块的上宽度为UW、第一子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选和指示第三空间邻近块的运动信息的第三空间候选以及指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个。在这种情况下,第一空间邻近块的位置可以是(N-1-DW,N),第二空间邻近块的位置可以是(N-1-DW,N-1),第三空间邻近块的位置可以是(N-1-UW,-1),并且时间邻近块的位置可以是(N,N)。
作为另一示例,第六类型可以表示其中第一子块和第二子块具有矩形形状并且第一子块的上边界和第二子块的下宽度被分割成与目标块的高度相同的类型。另外,第六类型可以表示其中分割边界与目标块的左边界和右边界交叉的类型。
另外,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(-1,LH),并且第二空间邻近块的位置可以是(-1,LH-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(0,LH-1)。
另外,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第一子块的左高度为LH并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(-1,LH),并且第二空间邻近块的位置可以是(-1,LH-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第一子块的左高度为LH并且目标块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(0,LH-1)。
另外,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第二子块的下宽度为DW、第二子块的左高度为LH、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(DW,LH-1-RH),并且第二空间邻近块的位置可以是(DW-1,LH-1-RH)。
另外,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第二子块的右高度为RH、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(N,N-1-RH),并且第二空间邻近块的位置可以是(N-1,N-1-RH)。
编码设备基于第一运动信息候选列表执行第一子块的帧间预测,并且基于第二运动信息候选列表执行第二子块的帧间预测和编码(S1420)。编码设备可以对第一子块和第二子块中的每一个分别执行帧间预测。编码设备可以确定合并模式和运动矢量预测(MVP)模式之中的应用于第一子块的模式。另外,编码设备可以确定合并模式和运动矢量预测(MVP)模式之中的应用于第二子块的模式。
编码设备可以基于第一运动信息候选列表执行第一子块的帧间预测。具体地,编码设备可以基于第一运动信息候选列表执行第一子块的运动信息。例如,当向第一子块应用合并模式时,第一运动信息候选列表可以表示合并候选列表,并且在第一运动信息候选列表中选择的候选的运动信息可以被推导为第一子块的运动信息。可以在第一运动信息候选列表中所包括的候选当中选择适于预测第一子块的候选。另外,可以生成第一子块的预测信息,并且该预测信息可以包括指示所选择候选的合并索引。第一子块的运动信息可以包括参考图片索引和运动矢量。
编码设备可以基于运动信息对第一子块执行帧间预测。具体地,编码设备可以基于运动信息来推导第一子块的参考块。即,编码设备可以推导由参考图片索引指示的参考图片中的指示运动矢量的参考块。编码设备可以基于参考块来预测第一子块。即,编码设备可以将参考块中的重构样本推导为第一子块的预测样本。
另外,例如,当向第一子块应用运动矢量预测(MVP)模式时,第一运动信息候选列表可以表示MVP候选列表,并且在第一运动信息候选列表中选择的候选的运动矢量可以被推导为第一子块的运动矢量预测子(MVP)。可以在第一运动信息候选列表中所包括的候选当中选择适于预测第一子块的候选。编码设备可以通过使用MVP来推导第一子块的运动矢量。
另外,可以生成第一子块的预测信息,并且该预测信息可以包括指示所选择候选的MVP标志。另外,预测信息可以包括第一子块的运动矢量差(MVD)。
编码设备可以在参考图片列表中所包括的参考图片当中选择第一子块的参考图片。预测信息可以包括指示参考图片的参考图片索引。
编码设备可以基于运动信息对第一子块执行帧间预测。具体地,编码设备可以基于运动矢量和参考图片索引来推导第一子块的参考块。即,编码设备可以推导由参考图片索引指示的参考图片中的指示运动矢量的参考块。编码设备可以基于参考块来预测第一子块。即,编码设备可以将参考块中的重构样本推导为第一子块的预测样本。
另外,编码设备可以基于第二运动信息候选列表执行第二子块的帧间预测。具体地,编码设备可以基于第二运动信息候选列表执行第二子块的运动信息。例如,当向第二子块应用合并模式时,第二运动信息候选列表可以表示合并候选列表,并且在第二运动信息候选列表中选择的候选的运动信息可以被推导为第二子块的运动信息。可以在第二运动信息候选列表中所包括的候选当中选择适于预测第二子块的候选。另外,可以生成第二子块的预测信息,并且该预测信息可以包括指示所选择候选的合并索引。第二子块的运动信息可以包括参考图片索引和运动矢量。
编码设备可以基于运动信息对第二子块执行帧间预测。具体地,编码设备可以基于运动信息来推导第二子块的参考块。即,编码设备可以推导由参考图片索引指示的参考图片中的指示运动矢量的参考块。编码设备可以基于参考块来预测第二子块。即,编码设备可以将参考块中的重构样本推导为第二子块的预测样本。
另外,例如,当向第二子块应用运动矢量预测(MVP)模式时,第二运动信息候选列表可以表示MVP候选列表,并且在第二运动信息候选列表中选择的候选的运动信息可以被推导为第二子块的运动矢量预测子(MVP)。可以在第二运动信息候选列表中所包括的候选当中选择适于预测第二子块的候选。编码设备可以通过使用MVP来推导第二子块的运动矢量。
另外,可以生成第二子块的预测信息,并且该预测信息可以包括指示所选择候选的MVP标志。另外,预测信息可以包括第二子块的运动矢量差(MVD)。
编码设备可以在参考图片列表中所包括的参考图片当中选择第二子块的参考图片。预测信息可以包括指示参考图片的参考图片索引。
编码设备可以基于运动信息对第二子块执行帧间预测。具体地,编码设备可以基于运动矢量和参考图片索引来推导第二子块的参考块。即,编码设备可以推导由参考图片索引指示的参考图片中的指示运动矢量的参考块。编码设备可以基于参考块来预测第二子块。即,编码设备可以将参考块中的重构样本推导为第二子块的预测样本。
另外,编码设备可以对第一子块的样本当中的与第二子块相邻的第一样本执行滤波。该滤波可以表示重叠运动补偿滤波。例如,编码设备可以基于第一子块的运动信息来推导第一样本的样本值1,并且可以基于第二子块的运动信息来推导第一样本的样本值2。接下来,编码设备可以基于第一样本的样本值1和样本值2来推导第一样本的样本值。例如,编码设备可以通过第一样本的样本值1和样本值2的加权和来推导第一样本的样本值。另外,可以基于上述式1来推导第一样本的样本值。另选地,可以基于上述式2来推导第一样本的样本值。
另外,编码设备可以对第一子块的样本当中的与第二子块相邻的第一样本和与第一样本的左侧(或上侧)相邻的第二样本执行滤波。该滤波可以表示重叠运动补偿滤波。例如,编码设备可以基于第一子块的运动信息来推导第一样本的样本值1,并且可以基于第二子块的运动信息来推导第一样本的样本值2。接下来,编码设备可以基于第一样本的样本值1和样本值2来推导第一样本的样本值。例如,编码设备可以通过第一样本的样本值1和样本值2的加权和来推导第一样本的样本值。另外,可以基于上述式1来推导第一样本的样本值。另外,编码设备可以基于第一子块的运动信息来推导第二样本的样本值1,并且基于第二子块的运动信息来推导第二样本的样本值2。接下来,编码设备可以基于第二样本的样本值1和样本值2来推导第二样本的样本值。例如,编码设备可以通过第二样本的样本值1和样本值2的加权和来推导第二样本的样本值。另外,可以基于上述式3来推导第二样本的样本值。
另外,编码设备可以对第二子块的样本当中的与第一子块相邻的第一样本执行滤波。该滤波可以表示重叠运动补偿滤波。例如,编码设备可以基于第一子块的运动信息来推导第一样本的样本值1,并且基于第二子块的运动信息来推导第一样本的样本值2。接下来,编码设备可以基于第一样本的样本值1和样本值2来推导第一样本的样本值。例如,编码设备可以通过第一样本的样本值1和样本值2的加权和来推导第一样本的样本值。另外,可以基于上述式1来推导第一样本的样本值。另选地,可以基于上述式2来推导第一样本的样本值。
另外,编码设备可以对第二子块的样本当中的与第一子块相邻的第一样本和与第一样本的右侧(或下侧)相邻的第二样本执行滤波。该滤波可以表示重叠运动补偿滤波。例如,编码设备可以基于第一子块的运动信息来推导第一样本的样本值1,并且可以第二子块的运动信息来推导第一样本的样本值2。接下来,编码设备可以基于第一样本的样本值1和样本值2来推导第一样本的样本值。例如,编码设备可以通过第一样本的样本值1和样本值2的加权和来推导第一样本的样本值。另外,可以基于上述式1来推导第一样本的样本值。另外,编码设备可以基于第一子块的运动信息来推导第二样本的样本值1,并且基于第二子块的运动信息来推导第二样本的样本值2。接下来,编码设备可以基于第二样本的样本值1和样本值2来推导第二样本的样本值。例如,编码设备可以通过第二样本的样本值1和样本值2的加权和来推导第二样本的样本值。另外,可以基于上述式3来推导第二样本的样本值。
此外,可以以切片或块为单元确定在其中执行滤波的第一子块和第二子块中的样本的数目。另选地,可以基于目标块的大小来确定在其中执行滤波的第一子块和第二子块的数目。例如,当目标块的大小是16×16大小时,可以向第一子块和/或第二子块的样本当中的分割边界周围的一个样本应用滤波。即,当目标块的大小是16×16大小时,可以在第一子块的样本当中的与第二子块相邻的第一样本中执行滤波,并且可以在第二子块的样本当中的与第一子块相邻的第一样本中执行滤波。另外,当目标块的大小比16×16大小大时,可以向第一子块和/或第二子块的样本当中的分割边界周围的两个样本应用滤波。即,当目标块的大小比16×16大小大时,可以对第一子块的样本当中的与第二子块相邻的第一样本和与第一样本的左侧(或上侧)相邻的第二样本执行滤波,并且可以对第二子块的样本当中的与第一子块相邻的第一样本和与第一样本的右侧(或下侧)相邻的第二样本执行滤波。
此外,可以生成指示是否应用滤波的信息。指示是否应用滤波的信息可以以诸如序列参数集(SPS)、图片参数集(PPS)、切片、块等为单位发送,并且可以基于指示是否应用滤波的信息来确定是否向第一子块和第二子块应用滤波。另选地,可以基于指示是否应用滤波的信息来确定是向第二子块应用滤波。
此外,编码设备可以基于第一子块的预测样本来生成第一子块的残差信号。该残差信号可以被推导为第一子块的原始样本与预测样本之间的差。另外,编码设备可以基于第二子块的预测样本来生成第二子块的残差信号。残差信号可以被推导为第二子块的原始样本与预测样本之间的差。
编码设备可以通过对第一子块的残差信号和第二子块的残差信号执行一次变换来生成第一子块和第二子块的残差信息。例如,第一子块的残差信号和第二子块的残差信号可以被组合成一个块,并且可以执行对该组合的块的变换处理。
另外,编码设备可以通过对第一子块的残差信号和第二子块的残差信号执行单独的变换来生成第一子块的残差信息和第二子块的残差信息。
例如,基于包括第一子块大小的大小的变换核来变换第一子块的残差信号,以生成第一子块的残差信息。这里,变换核可以表示具有包括第一子块大小的大小的变换核当中的具有最小大小的变换核。
另选地,第一子块的残差信号被变换以生成第一子块的残差信息,但是第二子块的区域中用0填充的信号可以被组合到残差信号。在这种情况下,可以基于目标块大小的变换核来执行变换。
另选地,第一子块的残差信号被变换以生成第一子块的残差信息,但是该残差信号可以被重新布置为矩形块。此外,残差信号可以表示残差样本,并且残差信息可以表示变换系数。
编码设备对目标块的分割信息和残差信息进行编码和发送(S1430)。编码设备可以对目标块的分割信息进行编码,并且将编码后的分割信息以比特流的形式输出。分割信息可以包括指示分割边界的角度的信息以及指示分割边界与目标块中心之间的距离的信息。可以通过基于指示分割边界的角度的信息和/或指示分割边界与目标块中心之间的距离的信息而推导出的分割边界,将目标块分割成第一子块和第二子块。此外,可以沿着不垂直于预定边界并且与目标块交叉的分割边界来分割目标块。另选地,附加的分割信息可以包括指示多种预定分割类型之一的GP分割索引。
另外,针对目标块的分割信息可以包括目标块的几何分区(GP)分割标志,并且GP分割标志可以指示目标块是否被分割成具有各种形式的子块。另选地,GP分割标志可以指示是否通过预定分割边界将目标块分割成子块。当GP分割标志的值为1时,即,当GP分割标志指示目标块被分割成子块时,可以通过分割边界将目标块分割成第一子块和第二子块,该分割边界是基于指示分割边界的角度的信息和/或指示分割边界与目标块中心之间的距离的信息而推导出的。
另外,编码设备可以通过比特流对目标信息的残差信息进行编码。即,编码设备可以通过比特流发送第一子块的残差信息和第一子块的残差信息。
另外,编码设备可以对第一子块的预测信息进行编码,并且将编码后的预测信息以比特流的形式输出。当向第一子块应用合并模式时,预测信息可以包括第一子块的合并索引。合并索引可以指示第一子块的第一运动信息候选列表的候选之一。此外,当向第一子块应用MVP模式时,预测信息可以包括第一子块的MVP标志、MVD和参考图片索引。MVP标志可以指示第一运动信息候选列表的候选之一,并且可以通过将基于MVP标志而推导出的候选的运动矢量和MVD相加来推导第一子块的运动矢量。参考图片索引可以指示用于预测第一子块的参考图片。
另外,编码设备可以通过比特流对指示是否应用滤波的信息进行编码。指示是否应用滤波的信息可以以诸如序列参数集(SPS)、图片参数集(PPS)、切片、块等为单位发送,并且可以基于指示是否应用滤波的信息来确定是否向第一子块和第二子块应用滤波。另选地,可以基于指示是否应用滤波的信息来确定是向目标块应用滤波。
图15示意性例示了根据本公开的由解码设备进行的视频解码方法。图15中公开的方法可以由图2中公开的解码设备执行。具体地,例如,图15的S1500可以由解码设备的熵解码单元执行,S1510可以由图片分割器执行,并且S1520和S1530可以由解码设备的预测器执行。
解码设备通过比特流获得针对目标块的分割信息(S1500)。目标块可以是按四叉树(QT)结构分割的块和不再被按QT结构分割的QT结构中的端节点的块。端节点也可以被称为叶节点。这里,QT结构可以表示2N×2N大小的目标块被分割成四个N×N大小的子块的结构。在这种情况下,目标块可以按几何分区(GP)结构进行分割,并且分割信息可以被表示为GP分割结构。GP结构可以表示其中目标块被分割成各种类型的子块的结构。另外,GP结构可以表示其中基于预定分割边界来分割目标块的结构。
分割信息可以包括指示分割边界的角度的信息以及指示分割边界与目标块中心之间的距离的信息。可以通过基于指示分割边界的角度的信息和/或指示分割边界与目标块中心之间的距离的信息而推导出的分割边界,将目标块分割为第一子块和第二子块。此外,可以沿着不垂直于预定边界并且与目标块交叉的分割边界来分割目标块。另选地,附加的分割信息可以包括指示多种预定分割类型之一的GP分割索引。
另外,针对目标块的分割信息可以包括目标块的几何分区(GP)分割标志,并且GP分割标志可以指示目标块是否被分割成具有各种形式的子块。另选地,GP分割标志可以指示是否通过预定分割边界将目标块分割成子块。当GP分割标志的值为1时,即,当GP分割标志指示目标块被分割成子块时,可以通过分割边界将目标块分割成第一子块和第二子块,该分割边界是基于指示分割边界的角度的信息和/或指示分割边界与目标块中心之间的距离的信息而推导出的。
解码设备基于由分割信息指示的分割边界将目标块分割成第一子块和第二子块(S1510)。分割信息可以包括指示目标块的分割边界的角度的信息和指示分割边界与目标块中心之间的距离的信息,并且在这种情况下,通过可以基于指示分割边界的角度的信息和指示分割边界与目标块中心之间的距离的信息而推导出的分割边界,将目标块分割成第一子块和第二子块。另选地,分割信息可以包括指示多种预定分割类型之一的GP分割索引。分割类型可以指示分割边界与目标块的哪个边界交叉。在这种情况下,目标块可以被分割成由GP分割索引指示的类型的第一子块和第二子块。第一子块可以表示从目标块分割出的块当中的处于左侧的块,并且第二子块可以表示从目标块分割出的块当中的处于右侧的块。另外,第一子块和第二子块可以是非矩形块。
解码设备基于目标块的分割类型来推导第一子块的第一运动信息候选列表和第二子块的第二运动信息候选列表(S1520)。解码设备可以基于以分割信息为基础推导出的分割类型来推导第一运动信息候选列表和第二运动信息候选列表。即,可以根据基于分割信息而推导出的分割类型来推导第一子块的空间邻近块和/或时间邻近块,或者可以推导第二子块的空间邻近块和/或时间邻近块。第一运动信息候选列表可以包括指示第一子块的空间邻近块的运动信息的空间候选和/或指示同位图片中的第一子块的时间邻近块的运动信息的时间候选。即,第一子块的第一运动信息候选列表可以不同于第二子块的第二运动信息候选列表。第一子块的左高度或右高度可以等于或小于目标块的高度,并且第一子块的上宽度或下宽度可以等于或小于目标块的宽度。另外,第二子块的左高度或右高度可以等于或小于目标块的高度,并且第二子块的上宽度或下宽度可以等于或小于目标块的宽度。
此外,当向第一子块应用合并模式时,第一运动信息候选列表可以表示合并候选列表,并且当向第一子块应用运动矢量预测(MVP)模式时,第一运动信息候选列表可以表示MVP候选列表。另外,第二运动信息候选列表可以包括指示第二子块的空间邻近块的运动信息的空间候选和/或指示同位图片中的第二子块的时间邻近块的运动信息的时间候选。另外,当向第二子块应用合并模式时,第二运动信息候选列表可以表示合并候选列表,并且当向第二子块应用运动矢量预测(MVP)模式时,第二运动信息候选列表可以表示MVP候选列表。
此外,基于分割信息推导出的分割类型可以包括六种类型即第一类型至第六类型。
例如,第一类型可以表示其中第一子块具有三角形形状并且被分割成包括目标块的左上样本的类型。另外,第一类型可以表示其中分割边界与目标块的上边界和左边界交叉的类型。
当目标块被分割成第一类型(即,分割边界与目标块的上边界和左边界交叉)、第一子块的上宽度为UW、第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选、指示第三空间邻近块的运动信息的第三空间候选和/或指示第四空间邻近块的运动信息的第四空间候选。在这种情况下,第一空间邻近块的位置可以是(-1,LH),第二空间邻近块的位置可以是(-1,LH-1),第三空间邻近块的位置可以是(UW,-1),并且第四空间邻近块的位置可以是(UW-1,-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(0,LH-1)。
另外,当目标块被分割成第一类型(即,分割边界与目标块的上边界和左边界交叉)、第一子块的上宽度为UW、第一子块的左高度为LH并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选、指示第三空间邻近块的运动信息的第三空间候选和/或指示第四空间邻近块的运动信息的第四空间候选。在这种情况下,第一空间邻近块的位置可以是(-1,LH),第二空间邻近块的位置可以是(-1,LH-1),第三空间邻近块的位置可以是(UW-1,-1),并且第四空间邻近块的位置可以是(UW-1,-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(0,LH-1)。
另外,当目标块被分割成第一类型(即,分割边界与目标块的上边界和左边界交叉)、第二子块的上宽度为UW并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示空间邻近块的运动信息的空间候选。在这种情况下,空间邻近块的位置可以是(-1,-1)。
另外,当目标块被分割成第一类型(即,分割边界与目标块的上边界和左边界交叉)、第二子块的上宽度为UW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示空间邻近块的运动信息的空间候选。在这种情况下,空间邻近块的位置可以是(N-UW-1,-1)。
作为另一示例,第二类型可以表示其中第二子块具有三角形形状并且被分割成包括目标块的右下样本的类型。另外,第二类型可以表示其中分割边界与目标块的右边界和下边界交叉的类型。
当目标块被分割成第二类型(即,分割边界与目标块的右边界和下边界交叉)、第二子块的下宽度为DW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选、指示第三空间邻近块的运动信息的第三空间候选和/或指示第四空间邻近块的运动信息的第四空间候选。在这种情况下,第一空间邻近块的位置可以是(-DW,RH),第二空间邻近块的位置可以是(-DW,RH-1),第三空间邻近块的位置可以是(-1,-1),并且第四空间邻近块的位置可以是(0,-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(0,LH)。
另外,当目标块被分割成第二类型(即,分割边界与目标块的右边界和下边界交叉)、第二子块的下宽度为DW、第二子块的右高度为RH、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选、指示第三空间邻近块的运动信息的第三空间候选和/或指示第四空间邻近块的运动信息的第四空间候选。在这种情况下,第一空间邻近块的位置可以是(N-1-DW,N),第二空间邻近块的位置可以是(N-1-DW,N-1),第三空间邻近块的位置可以是(N,N-1-RH),并且第四空间邻近块的位置可以是(N-1,N-1-RH)。另外,第二运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(N,N)。
另外,当目标块被分割成第二类型(即,分割边界与目标块的右边界和下边界交叉)、第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(DW-1,LH-1)。
另外,当目标块被分割成第二类型(即,分割边界与目标块的右边界和下边界交叉)、第一子块的左高度为LH、第一子块的下宽度为DW并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(DW-1,LH-1)。
作为另一示例,第三类型可以表示其中第二子块具有三角形形状并且被分割成包括目标块的右上样本的类型。另外,第三类型可以表示其中分割边界与目标块的上边界和右边界交叉的类型。
另外,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第一子块的上宽度为UW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(UW,-1),并且第二空间邻近块的位置可以是(UW-1,-1)。
另外,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第一子块的上宽度为UW并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(UW,-1),并且第二空间邻近块的位置可以是(UW-1,-1)。
另外,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示空间邻近块的运动信息的空间候选。在这种情况下,空间邻近块的位置可以是(-1,-1)。另外,第二运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第二子块的上宽度为UW、第二子块的右高度为RH、目标块的大小为N×N并且第二子块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(UW,N)。此外,时间邻近块的位置可以是(UW-1,RH-1)。
另外,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第二子块的上宽度为UW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示空间邻近块的运动信息的空间候选。在这种情况下,空间邻近块的位置可以是(N-1-UW,-1)。另外,第二运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第三类型(即,分割边界与目标块的上边界和右边界交叉)、第二子块的右高度为RH、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(N,N)。此外,时间邻近块的位置可以是(N-1,RH-1)。
作为另一示例,第四类型可以表示其中第一子块具有三角形形状并且被分割成包括目标块的左下样本的类型。另外,第四类型可以表示其中分割边界与目标块的左边界和下边界交叉的类型。
另外,当目标块被分割成第四类型(即,分割边界与目标块的左边界和下边界交叉)、第二子块的上宽度为UW、第二子块的下宽度为DW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(UW-1-DW,RH),并且第二空间邻近块的位置可以是(UW-1-DW,RH-1)。
另外,当目标块被分割成第四类型(即,分割边界与目标块的左边界和下边界交叉)、第二子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(N-1-DW,N),并且第二空间邻近块的位置可以是(N-1-DW,N-1)。
另外,当目标块被分割成第四类型(即,分割边界与目标块的左边界和下边界交叉)、第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(DW-1,LH-1)。
另外,当目标块被分割成第四类型(即,分割边界与目标块的左边界和下边界交叉)、第一子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。在这种情况下,时间邻近块的位置可以是(DW-1,N-1)。
作为另一示例,第五类型可以表示其中第一子块和第二子块具有矩形形状并且第一子块的左边界和第二子块的右高度被分割成与目标块的高度相同的类型。另外,第五类型可以表示其中分割边界与目标块的上边界和下边界交叉的类型。
当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第一子块的上宽度为UW并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(UW,-1),并且第二空间邻近块的位置可以是(UW-1,-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第一子块的左高度为LH、第一子块的下宽度为DW并且第一子块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(DW-1,LH-1)。
另外,当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第一子块的上宽度为UW、第一子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选以及指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个。在这种情况下,第一空间邻近块的位置可以是(UW,-1),并且第二空间邻近块的位置可以是(UW-1,-1),并且时间邻近块的位置可以是(DW-1,N-1)。
另外,当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第二子块的上宽度为UW、第二子块的下宽度为DW、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选和指示第三空间邻近块的运动信息的第三空间候选以及指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个。在这种情况下,第一空间邻近块的位置可以是(UW-1-DW,RH),第二空间邻近块的位置可以是(UW-1-DW,RH-1),第三空间邻近块的位置可以是(-1,-1),并且时间邻近块的位置可以是(UW-1,RH-1)。
另外,当目标块被分割成第五类型(即,分割边界与目标块的上边界和下边界交叉)、第二子块的上宽度为UW、第一子块的下宽度为DW、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选和指示第三空间邻近块的运动信息的第三空间候选以及指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个。在这种情况下,第一空间邻近块的位置可以是(N-1-DW,N),第二空间邻近块的位置可以是(N-1-DW,N-1),第三空间邻近块的位置可以是(N-1-UW,-1),并且时间邻近块的位置可以是(N,N)。
作为另一示例,第六类型可以表示其中第一子块和第二子块具有矩形形状并且第一子块的上边界和第二子块的下宽度被分割成与目标块的高度相同的类型。另外,第六类型可以表示其中分割边界与目标块的左边界和右边界交叉的类型。
另外,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(-1,LH),并且第二空间邻近块的位置可以是(-1,LH-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第一子块的左高度为LH并且第一子块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(0,LH-1)。
另外,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第一子块的左高度为LH并且目标块的左上样本位置的x分量为0且y分量为0时,第一运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(-1,LH),并且第二空间邻近块的位置可以是(-1,LH-1)。另外,第一运动信息候选列表可以包括指示同位图片中的时间邻近块的运动信息的时间候选。例如,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第一子块的左高度为LH并且目标块的左上样本位置的x分量为0且y分量为0时,时间邻近块的位置可以是(0,LH-1)。
另外,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第二子块的下宽度为DW、第二子块的左高度为LH、第二子块的右高度为RH并且第二子块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(DW,LH-1-RH),并且第二空间邻近块的位置可以是(DW-1,LH-1-RH)。
另外,当目标块被分割成第六类型(即,分割边界与目标块的左边界和右边界交叉)、第二子块的右高度为RH、目标块的大小为N×N并且目标块的左上样本位置的x分量为0且y分量为0时,第二运动信息候选列表可以包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选。在这种情况下,第一空间邻近块的位置可以是(N,N-1-RH),并且第二空间邻近块的位置可以是(N-1,N-1-RH)。
解码设备基于第一运动信息候选列表执行第一子块的帧间预测,并且基于第二运动信息候选列表执行第二子块的帧间预测(S1530)。解码设备可以对第一子块和第二子块中的每一个分别执行预测。
解码设备可以基于第一运动信息候选列表执行第一子块的帧间预测。具体地,解码设备可以基于第一运动信息候选列表得到第一子块的运动信息。例如,当向第一子块应用合并模式时,第一运动信息候选列表可以表示合并候选列表,并且在第一运动信息候选列表中的基于合并索引而选择的候选的运动信息可以被推导为第一子块的运动信息。可以通过比特流获得第一子块的预测信息,并且该预测信息可以包括合并索引。第一子块的运动信息可以包括参考图片索引和运动矢量。
解码设备可以基于运动信息对第一子块执行帧间预测。具体地,解码设备可以基于运动信息来推导第一子块的参考块。即,解码设备可以推导由参考图片索引指示的参考图片中的指示运动矢量的参考块。解码设备可以基于参考块来预测第一子块。即,解码设备可以将参考块中的重构样本推导为第一子块的预测样本。
另外,例如,当向第一子块应用运动矢量预测(MVP)模式时,第一运动信息候选列表可以表示MVP候选列表,并且在第一运动信息候选列表中基于MVP标志选择的候选的运动矢量可以被推导为第一子块的运动矢量预测子(MVP)。可以通过比特流获得第一子块的预测信息,并且预测信息可以包括MVP标志以及第一子块的参考图片索引和运动矢量差(MVD)。在这种情况下,解码设备可以通过将MVP与MVD相加来推导第一子块的运动矢量。
解码设备可以基于运动信息对第一子块执行帧间预测。具体地,解码设备可以基于运动矢量和参考图片索引来推导第一子块的参考块。即,解码设备可以推导由参考图片索引指示的参考图片中的指示运动矢量的参考块。解码设备可以基于参考块来预测第一子块。即,解码设备可以将参考块中的重构样本推导为第一子块的预测样本。
另外,解码设备可以基于第二运动信息候选列表执行第二子块的帧间预测。解码设备可以基于第二运动信息候选列表执行第二子块的运动信息。例如,当向第二子块应用合并模式时,第二运动信息候选列表可以表示合并候选列表,并且在第二运动信息候选列表中的基于合并索引而选择的候选的运动信息可以被推导为第二子块的运动信息。可以通过比特流获得第二子块的预测信息,并且该预测信息可以包括合并索引。第二子块的运动信息可以包括参考图片索引和运动矢量。
解码设备可以基于运动信息对第二子块执行帧间预测。具体地,解码设备可以基于运动信息来推导第二子块的参考块。即,解码设备可以推导由参考图片索引指示的参考图片中的指示运动矢量的参考块。解码设备可以基于参考块来预测第二子块。即,解码设备可以将参考块中的重构样本推导为第二子块的预测样本。
另外,例如,当向第二子块应用运动矢量预测(MVP)模式时,第二运动信息候选列表可以表示MVP候选列表,并且在第二运动信息候选列表中的基于MVP标志选择的候选的运动矢量可以被推导为第二子块的运动矢量预测子(MVP)。可以通过比特流获得第二子块的预测信息,并且预测信息可以包括MVP标志以及第二子块的参考图片索引和运动矢量差(MVD)。在这种情况下,解码设备可以通过将MVP与MVD相加来推导第二子块的运动矢量。
解码设备可以基于运动信息对第二子块执行帧间预测。具体地,解码设备可以基于运动矢量和参考图片索引来推导第二子块的参考块。即,解码设备可以推导由参考图片索引指示的参考图片中的指示运动矢量的参考块。解码设备可以基于参考块来预测第二子块。即,解码设备可以将参考块中的重构样本推导为第二子块的预测样本。
另外,解码设备可以对第一子块的样本当中的与第二子块相邻的第一样本执行滤波。该滤波可以表示重叠运动补偿滤波。例如,解码设备可以基于第一子块的运动信息来推导第一样本的样本值1,并且可以基于第二子块的运动信息来推导第一样本的样本值2。接下来,解码设备可以基于第一样本的样本值1和样本值2来推导第一样本的样本值。例如,解码设备可以通过第一样本的样本值1和样本值2的加权和来推导第一样本的样本值。另外,可以基于上述式1来推导第一样本的样本值。另选地,可以基于上述式2来推导第一样本的样本值。
另外,解码设备可以对第一子块的样本当中的与第二子块相邻的第一样本和与第一样本的左侧(或上侧)相邻的第二样本执行滤波。该滤波可以表示重叠运动补偿滤波。例如,解码设备可以基于第一子块的运动信息来推导第一样本的样本值1,并且可以基于第二子块的运动信息来推导第一样本的样本值2。接下来,解码设备可以基于第一样本的样本值1和样本值2来推导第一样本的样本值。例如,解码设备可以通过第一样本的样本值1和样本值2的加权和来推导第一样本的样本值。另外,可以基于上述式1来推导第一样本的样本值。另外,解码设备可以基于第一子块的运动信息来推导第二样本的样本值1,并且可以基于第二子块的运动信息来推导第二样本的样本值2。接下来,解码设备可以基于第二样本的样本值1和样本值2来推导第二样本的样本值。例如,解码设备可以通过第二样本的样本值1和样本值2的加权和来推导第二样本的样本值。另外,可以基于上述式3来推导第二样本的样本值。
另外,解码设备可以对第二子块的样本当中的与第一子块相邻的第一样本执行滤波。该滤波可以表示重叠运动补偿滤波。例如,解码设备可以基于第一子块的运动信息来推导第一样本的样本值1,并且可以基于第二子块的运动信息来推导第一样本的样本值2。接下来,解码设备可以基于第一样本的样本值1和样本值2来推导第一样本的样本值。例如,解码设备可以通过第一样本的样本值1和样本值2的加权和来推导第一样本的样本值。另外,可以基于上述式1来推导第一样本的样本值。另选地,可以基于上述式2来推导第一样本的样本值。
另外,解码设备可以对第二子块的样本当中的与第一子块相邻的第一样本和与第一样本的右侧(或下侧)相邻的第二样本执行滤波。该滤波可以表示重叠运动补偿滤波。例如,解码设备可以基于第一子块的运动信息来推导第一样本的样本值1,并且可以基于第二子块的运动信息来推导第一样本的样本值2。接下来,解码设备可以基于第一样本的样本值1和样本值2来推导第一样本的样本值。例如,解码设备可以通过第一样本的样本值1和样本值2的加权和来推导第一样本的样本值。另外,可以基于上述式1来推导第一样本的样本值。另外,解码设备可以基于第一子块的运动信息来推导第二样本的样本值1,并且可以基于第二子块的运动信息来推导第二样本的样本值2。接下来,解码设备可以基于第二样本的样本值1和样本值2来推导第二样本的样本值。例如,解码设备可以通过第二样本的样本值1和样本值2的加权和来推导第二样本的样本值。另外,可以基于上述式3来推导第二样本的样本值。
此外,可以以切片或块为单位确定在其中执行滤波的第一子块和第二子块中的样本的数目。另选地,可以基于目标块的大小来确定在其中执行滤波的第一子块和第二子块的数目。例如,当目标块的大小是16×16大小时,可以向第一子块和第二子块的样本当中的分割边界周围的一个样本应用滤波。即,当目标块的大小是16×16大小时,可以在第一子块的样本当中的与第二子块相邻的第一样本中执行滤波,并且可以在第二子块的样本当中的与第一子块相邻的第一样本中执行滤波。另外,当目标块的大小比16×16大小大时,可以向第一子块和/或第二子块的样本当中的分割边界周围的两个样本应用滤波。即,当目标块的大小比16×16大小大时,可以对第一子块的样本当中的与第二子块相邻的第一样本和与第一样本的左侧(或上侧)相邻的第二样本执行滤波,并且可以对第二子块的样本当中的与第一子块相邻的第一样本和与第一样本的右侧(或下侧)相邻的第二样本执行滤波。
此外,指示是否应用滤波的信息可以以诸如序列参数集(SPS)、图片参数集(PPS)、切片、块等为单位发送,并且可以基于指示是否应用滤波的信息来确定是否向第一子块和第二子块应用滤波。另选地,可以基于指示是否应用滤波的信息来确定是和目标块应用滤波。
此外,解码设备可以通过比特流获得第一子块和第二子块的残差信息。在这种情况下,解码设备可以通过对第一子块和第二子块的残差信息执行一次变换来生成第一子块和第二子块的残差信号。这里,残差信息可以指示变换系数。另外,残差信号可以表示残差样本。
此外,解码设备可以通过比特流获得第一子块的残差信息和/或第二子块的残差信息。另外,解码设备可以通过对第一子块的残差信息和第二子块的残差信息执行单独的变换来生成第一子块的残差信号和第二子块的残差信号。
例如,基于包括第一子块大小的大小的变换核对第一子块的残差信息进行变换,以生成第一子块的残差信号。这里,变换核可以表示具有包括第一子块大小的大小的变换核当中的具有最小大小的变换核。
另选地,第一子块的残差信息被变换,以生成第一子块的残差信号,但是该残差信号可以包括针对第二子块的区域填充0的信号。在这种情况下,可以基于目标块大小的变换核来执行变换。
另选地,第一子块的残差信息被变换,以生成第一子块的残差信号,但是该残差信号可以包括重新布置的第一子块中包括的残差信号。重新布置的第一子块可以是其中第一子块以矩形形状重新布置的块。
解码设备可以通过将第一子块的预测样本与残差信号相加来生成重构样本,并且基于重构样本来生成重构图片。另外,解码设备可以通过将第二子块的预测样本与残差信号相加来生成重构样本,并且基于重构样本来生成重构图片。此后,解码设备可以向重构图片应用诸如去块滤波和/或SAO过程这样的环路内滤波过程,以便在必要时增强主观/客观图片质量。
根据本公开,根据通过GP结构分割的块的分割类型,可以推导块的空间运动信息候选,由此增强预测效率并增强整体编码效率。
另外,根据本公开,根据通过GP结构分割的块的分割类型,可以推导块的时间运动信息候选,由此增强预测效率并增强整体编码效率。
另外,根据本公开,对通过GP结构分割的块的边界周围的样本进行滤波,由此增强预测精度并增强整体编码效率。
另外,根据本公开,可以执行通过GP结构分割的块的变换处理,由此增强变换效率并增强整体编码效率。
在以上提到的实施方式中,方法是基于作为一系列步骤或框的流程图来描述的,但是本公开不限于步骤的顺序,并且某个步骤可以按不同于上述步骤的顺序发生,或者与不同于上述步骤的步骤同时发生。另外,本领域的技术人员将理解,用流程图示出的步骤不是排他性的,并且在不影响本公开的范围的情况下,可以包括其它步骤或者可以删除流程图中的一个或更多个步骤。
根据本公开的以上提到的方法可以以软件的形式来实现,并且根据本公开的编码设备和/或解码设备可以被包括在用于执行例如TV、计算机、智能电话、机顶盒、显示装置等的图像处理的设备中。
当本公开中的实施方式用软件实现时,以上提到的方法可以被实现为用于执行上述功能的模块(处理、功能等)。模块可以被存储在存储器中并且由处理器执行。存储器可以位于处理器的内部或外部,并且可以通过各种公知装置将存储器与处理器联接。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其它存储装置。

Claims (12)

1.一种由解码设备执行的视频解码方法,该视频解码方法包括以下步骤:
从比特流中获得针对目标块的分割信息;
基于由所述分割信息指示的分割边界将所述目标块分割成第一子分区和第二子分区;
基于针对所述目标块的分割信息来推导所述第一子分区的第一运动信息候选列表和所述第二子分区的第二运动信息候选列表;
基于所述第一运动信息候选列表执行所述第一子分区的帧间预测;以及
基于所述第二运动信息候选列表执行所述第二子分区的帧间预测,
其中,所述第一子分区和所述第二子分区是非矩形分区,
其中,所述分割信息包括关于所述分割边界的角度和所述分割边界与所述目标块的中心之间的距离的信息,
其中,通过基于关于所述分割边界的角度和所述分割边界与所述目标块的中心之间的距离的信息而推导出的所述分割边界,所述目标块被分割成所述第一子分区和所述第二子分区,
其中,基于所述第二子分区的右高度为RH、所述目标块的大小为N×N、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第二运动信息候选列表包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选中的至少一个,
所述第一空间邻近块的位置为(N,N-1-RH),并且
所述第二空间邻近块的位置为(N-1,N-1-RH)。
2.根据权利要求1所述的视频解码方法,其中,基于所述分割边界与所述目标块的上边界和左边界交叉、所述第一子分区的上宽度为UW、所述第一子分区的左高度为LH、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第一运动信息候选列表包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选、指示第三空间邻近块的运动信息的第三空间候选、指示第四空间邻近块的运动信息的第四空间候选以及指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个,
所述第一空间邻近块的位置为(-1,LH),
所述第二空间邻近块的位置为(-1,LH-1),
所述第三空间邻近块的位置为(UW,-1),
所述第四空间邻近块的位置为(UW-1,-1),并且
所述时间邻近块的位置为(0,LH-1)。
3.根据权利要求1所述的视频解码方法,其中,基于所述分割边界与所述目标块的右边界和下边界交叉、所述第一子分区的下宽度为DW、所述第一子分区的左高度为LH、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
时间邻近块的位置为(DW-1,LH-1)。
4.根据权利要求1所述的视频解码方法,其中,基于所述分割边界与所述目标块的右边界和下边界交叉、所述第二子分区的下宽度为DW、所述第二子分区的右高度为RH,所述目标块的大小为N×N、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第二运动信息候选列表包括指示第三空间邻近块的运动信息的第三空间候选和指示第四空间邻近块的运动信息的第四空间候选中的至少一个,
所述第三空间邻近块的位置为(N-1-DW,N),并且
所述第四空间邻近块的位置为(N-1-DW,N-1)。
5.根据权利要求1所述的视频解码方法,其中,基于所述分割边界与所述目标块的上边界和右边界交叉、所述第一子分区的上宽度为UW、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第一运动信息候选列表包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选中的至少一个,
所述第一空间邻近块的位置为(UW,-1),并且
所述第二空间邻近块的位置为(UW-1,-1)。
6.根据权利要求1所述的视频解码方法,其中,基于所述分割边界与所述目标块的上边界和右边界交叉、所述第二子分区的上宽度为UW、所述目标块的大小为N×N、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第二运动信息候选列表包括指示同位图片中的时间邻近块的运动信息的时间候选,
所述时间邻近块的位置为(N,N)。
7.根据权利要求1所述的视频解码方法,其中,基于所述分割边界与所述目标块的左边界和下边界交叉、所述第一子分区的左高度为LH、所述第一子分区的下宽度为DW、所述目标块的大小为N×N、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第一运动信息候选列表包括指示同位图片中的时间邻近块的运动信息的时间候选,并且
所述时间邻近块的位置为(DW-1,N-1)。
8.根据权利要求1所述的视频解码方法,其中,基于所述分割边界与所述目标块的上边界和下边界交叉、所述第一子分区的上宽度为UW、所述第一子分区的下宽度为DW、所述目标块的大小为N×N、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第一运动信息候选列表包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选和指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个,
所述第一空间邻近块的位置为(UW,-1),
所述第二空间邻近块的位置为(UW-1,-1),并且
所述时间邻近块的位置为(DW-1,N-1)。
9.根据权利要求1所述的视频解码方法,其中,基于所述分割边界与所述目标块的上边界和下边界交叉、所述第二子分区的上宽度为UW、所述第二子分区的下宽度为DW、所述目标块的大小为N×N、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0时,
所述第二运动信息候选列表包括指示第三空间邻近块的运动信息的第三空间候选和指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个,
所述第三空间邻近块的位置为(N-1-UW,-1),并且
所述时间邻近块的位置为(N,N)。
10.根据权利要求1所述的视频解码方法,其中,基于所述分割边界与所述目标块的左边界和右边界交叉、所述第一子分区的左高度为LH、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第一运动信息候选列表包括指示第一空间邻近块的运动信息的第一空间候选、指示第二空间邻近块的运动信息的第二空间候选和指示同位图片中的时间邻近块的运动信息的时间候选中的至少一个,
所述第一空间邻近块的位置为(-1,LH),
所述第二空间邻近块的位置为(-1,LH-1),并且
所述时间邻近块的位置为(0,LH-1)。
11.一种由编码设备执行的视频编码方法,该视频编码方法包括以下步骤:
将目标块分割成第一子分区和第二子分区;
推导所述第一子分区的第一运动信息候选列表和所述第二子分区的第二运动信息候选列表;
基于所述第一运动信息候选列表来执行所述第一子分区的帧间预测;
基于所述第二运动信息候选列表来执行所述第二子分区的帧间预测;以及
对于包括所述目标块的分割信息的比特流进行编码,
其中,所述第一子分区和所述第二子分区是非矩形分区,
其中,所述分割信息包括关于分割边界的角度和所述分割边界与所述目标块的中心之间的距离的信息,
其中,通过基于关于所述分割边界的角度和所述分割边界与所述目标块的中心之间的距离的信息而推导出的所述分割边界,所述目标块被分割成所述第一子分区和所述第二子分区,
其中,基于所述第二子分区的右高度为RH、所述目标块的大小为N×N、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第二运动信息候选列表包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选中的至少一个,
所述第一空间邻近块的位置为(N,N-1-RH),并且
所述第二空间邻近块的位置为(N-1,N-1-RH)。
12.一种存储由方法生成的比特流的非暂态计算机可读存储介质,所述方法包括以下步骤:
将目标块分割成第一子分区和第二子分区;
推导所述第一子分区的第一运动信息候选列表和所述第二子分区的第二运动信息候选列表;
基于所述第一运动信息候选列表来执行所述第一子分区的帧间预测;
基于所述第二运动信息候选列表来执行所述第二子分区的帧间预测;以及
对于包括所述目标块的分割信息的所述比特流进行编码,
其中,所述第一子分区和所述第二子分区是非矩形分区,
其中,所述分割信息包括关于分割边界的角度和所述分割边界与所述目标块的中心之间的距离的信息,
其中,通过基于关于分割边界的角度和所述分割边界与所述目标块的中心之间的距离的信息而推导出的所述分割边界,所述目标块被分割成所述第一子分区和所述第二子分区,
其中,基于所述第二子分区的右高度为RH、所述目标块的大小为N×N、所述目标块的左上样本位置的x分量为0并且所述左上样本位置的y分量为0,
所述第二运动信息候选列表包括指示第一空间邻近块的运动信息的第一空间候选和指示第二空间邻近块的运动信息的第二空间候选中的至少一个,
所述第一空间邻近块的位置为(N,N-1-RH),并且
所述第二空间邻近块的位置为(N-1,N-1-RH)。
CN201880090744.3A 2018-02-22 2018-02-22 根据图像编码系统中的块划分结构的图像解码方法和设备 Active CN111886861B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/002177 WO2019164031A1 (ko) 2018-02-22 2018-02-22 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
CN111886861A CN111886861A (zh) 2020-11-03
CN111886861B true CN111886861B (zh) 2023-12-22

Family

ID=67688149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090744.3A Active CN111886861B (zh) 2018-02-22 2018-02-22 根据图像编码系统中的块划分结构的图像解码方法和设备

Country Status (6)

Country Link
US (3) US11233996B2 (zh)
EP (1) EP3758374A4 (zh)
JP (1) JP2021514162A (zh)
KR (1) KR20200097811A (zh)
CN (1) CN111886861B (zh)
WO (1) WO2019164031A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019147067A1 (ko) * 2018-01-26 2019-08-01 한국전자통신연구원 시간적 움직임 정보를 이용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
CN111919448A (zh) * 2018-01-26 2020-11-10 韩国电子通信研究院 用于使用时间运动信息的图像编码和图像解码的方法和设备
WO2019216718A1 (ko) * 2018-05-10 2019-11-14 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
SG11202101229VA (en) * 2018-08-24 2021-03-30 Samsung Electronics Co Ltd Video decoding method and apparatus, and video encoding method and apparatus
BR112021008654A2 (pt) 2018-11-08 2021-08-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. método de decodificação vídeo, método de codificação de vídeo, e aparelho de decodificação de vídeo
PT3876539T (pt) 2018-11-08 2024-02-06 Guangdong Oppo Mobile Telecommunications Corp Ltd Método para codificação/descodificação de sinais de imagem e respetivo aparelho
CN114097228B (zh) 2019-06-04 2023-12-15 北京字节跳动网络技术有限公司 具有几何分割模式编解码的运动候选列表
KR102627821B1 (ko) 2019-06-04 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 이웃 블록 정보를 사용한 모션 후보 리스트 구성
EP3989551A4 (en) * 2019-06-17 2023-05-31 Electronics and Telecommunications Research Institute METHOD AND APPARATUS FOR SUB-BLOCK DIVISION BASED ENCODING/DECODING OF AN PICTURE
CN114175636B (zh) 2019-07-14 2024-01-12 北京字节跳动网络技术有限公司 自适应参数集中的自适应环路滤波的指示
US11463693B2 (en) * 2019-08-30 2022-10-04 Qualcomm Incorporated Geometric partition mode with harmonized motion field storage and motion compensation
WO2021060830A1 (ko) * 2019-09-23 2021-04-01 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP4022908A4 (en) * 2019-09-25 2022-11-09 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR SIMPLIFIED GEOMETRIC FUSION MODE FOR INTERPREDICTION
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
WO2021107663A1 (ko) * 2019-11-27 2021-06-03 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
CN111246212B (zh) * 2020-02-21 2022-06-03 北京大学 一种基于编解码端的几何划分模式预测方法、装置、存储介质及终端
US11523115B2 (en) * 2020-04-02 2022-12-06 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding
CN113099229B (zh) * 2021-02-22 2022-08-09 浙江大华技术股份有限公司 块划分方法、帧间预测方法、视频编码方法及相关装置
JP2024006359A (ja) * 2022-07-01 2024-01-17 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN115955565B (zh) * 2023-03-15 2023-07-04 深圳传音控股股份有限公司 处理方法、处理设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2755389A2 (en) * 2011-09-09 2014-07-16 LG Electronics Inc. Inter prediction method and apparatus therefor
WO2015006884A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding
CN106105191A (zh) * 2014-03-19 2016-11-09 株式会社Kt 用于处理多视图视频信号的方法和装置
CN107404651A (zh) * 2011-09-09 2017-11-28 株式会社Kt 用于解码视频信号的方法
WO2018026118A1 (ko) * 2016-08-01 2018-02-08 한국전자통신연구원 영상 부호화/복호화 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0714859A2 (pt) * 2006-08-02 2013-05-21 Thomson Licensing mÉtodo e aparelho para particionamento geomÉtrico adaptativo para codificaÇço de vÍdeo e estrutura de sinal de vÍdeo para codificaÇço de vÍdeo
US8681855B2 (en) * 2007-10-12 2014-03-25 Thomson Licensing Method and apparatus for video encoding and decoding geometrically partitioned bi-predictive mode partitions
EP2213098A2 (en) * 2007-10-16 2010-08-04 Thomson Licensing Methods and apparatus for video encoding and decoding geometrically partitioned super blocks
US9326003B2 (en) * 2009-06-26 2016-04-26 Thomson Licensing Methods and apparatus for video encoding and decoding using adaptive geometric partitioning
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
PL3739883T3 (pl) * 2010-05-04 2023-04-11 Lg Electronics Inc. Sposób i aparat do kodowania i dekodowania sygnału wideo
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
JP2012080369A (ja) 2010-10-01 2012-04-19 Sony Corp 画像処理装置及び画像処理方法
US9071851B2 (en) * 2011-01-10 2015-06-30 Qualcomm Incorporated Adaptively performing smoothing operations
CN102611884B (zh) * 2011-01-19 2014-07-09 华为技术有限公司 图像编解码方法及编解码设备
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
EP4009640A1 (en) 2011-11-08 2022-06-08 Electronics and Telecommunications Research Institute Method and device for sharing a candidate list
US9432685B2 (en) * 2013-12-06 2016-08-30 Qualcomm Incorporated Scalable implementation for parallel motion estimation regions
JP2015173404A (ja) * 2014-03-12 2015-10-01 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10856001B2 (en) * 2015-02-24 2020-12-01 Lg Electronics Inc. Polygon unit-based image processing method, and device for same
US10200711B2 (en) 2015-03-27 2019-02-05 Qualcomm Incorporated Motion vector derivation in video coding
US10999595B2 (en) * 2015-11-20 2021-05-04 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
WO2017220163A1 (en) * 2016-06-24 2017-12-28 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
US11509930B2 (en) 2016-07-12 2022-11-22 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2755389A2 (en) * 2011-09-09 2014-07-16 LG Electronics Inc. Inter prediction method and apparatus therefor
CN103931196A (zh) * 2011-09-09 2014-07-16 Lg电子株式会社 帧间预测方法及其装置
CN107404651A (zh) * 2011-09-09 2017-11-28 株式会社Kt 用于解码视频信号的方法
WO2015006884A1 (en) * 2013-07-19 2015-01-22 Qualcomm Incorporated 3d video coding with partition-based depth inter coding
CN106105191A (zh) * 2014-03-19 2016-11-09 株式会社Kt 用于处理多视图视频信号的方法和装置
WO2018026118A1 (ko) * 2016-08-01 2018-02-08 한국전자통신연구원 영상 부호화/복호화 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于运动信息分布的帧间预测模式选择算法;王英坤;徐伯庆;杨华;;计算机工程(17);全文 *

Also Published As

Publication number Publication date
JP2021514162A (ja) 2021-06-03
EP3758374A4 (en) 2021-09-01
WO2019164031A1 (ko) 2019-08-29
US11627319B2 (en) 2023-04-11
US20230217023A1 (en) 2023-07-06
US20220109837A1 (en) 2022-04-07
US11233996B2 (en) 2022-01-25
KR20200097811A (ko) 2020-08-19
CN111886861A (zh) 2020-11-03
EP3758374A1 (en) 2020-12-30
US20210120242A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN111886861B (zh) 根据图像编码系统中的块划分结构的图像解码方法和设备
KR102400160B1 (ko) 영상 부호화/복호화 방법 및 이를 위한 기록 매체
KR102171362B1 (ko) 영상 코딩 시스템에서 변환 방법 및 그 장치
US20200036985A1 (en) Method and apparatus for block partitioning and intra prediction in image coding system
KR102498289B1 (ko) 인터 예측 방법 및 그 장치
US10721479B2 (en) Intra prediction method and apparatus in image coding system
US10841574B2 (en) Image decoding method and device using intra prediction in image coding system
KR102390452B1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10812796B2 (en) Image decoding method and apparatus in image coding system
US11838546B2 (en) Image decoding method and apparatus relying on intra prediction in image coding system
AU2021203017B2 (en) Image decoding method and device in accordance with block split structure in image coding system
KR102516233B1 (ko) 움직임 벡터에 기반한 영상 코딩 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant