CN117917073A - 视频编码/解码方法和装置 - Google Patents
视频编码/解码方法和装置 Download PDFInfo
- Publication number
- CN117917073A CN117917073A CN202280061166.7A CN202280061166A CN117917073A CN 117917073 A CN117917073 A CN 117917073A CN 202280061166 A CN202280061166 A CN 202280061166A CN 117917073 A CN117917073 A CN 117917073A
- Authority
- CN
- China
- Prior art keywords
- mode
- mpm list
- current block
- intra prediction
- modes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 239000013598 vector Substances 0.000 description 47
- 238000010586 diagram Methods 0.000 description 40
- 230000000875 corresponding effect Effects 0.000 description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000005192 partition Methods 0.000 description 12
- 238000013139 quantization Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 101100102504 Caenorhabditis elegans ver-4 gene Proteins 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000008707 rearrangement Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 108010063123 alfare Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供了一种视频编码/解码方法和装置。根据本发明的视频解码方法可以包括以下步骤:基于与当前块邻近的至少一个相邻块的帧内预测模式来推导最可能模式(MPM)列表;对MPM列表中的一个或更多个候选模式重新排序;基于MPM列表中的重新排序的一个或更多个候选模式来推导当前块的帧内预测模式;以及基于当前块的帧内预测模式来生成当前块的预测块。
Description
技术领域
本发明在一些实施方案中涉及视频编码和解码方法以及视频编码和解码装置。更具体地,本发明涉及这样一种视频编码和解码方法以及视频编码和解码装置,其基于与当前块相邻的模板和最可能模式(Most Probable Mode,MPM)的重新排序列表来推导当前块的最佳帧内预测模式。
背景技术
下面描述的内容仅提供与本实施方案有关的背景技术信息,并不构成现有技术。
由于视频数据量大于语音数据量或静止影像数据量,在不通过压缩来处理视频数据的情况下存储或传输视频数据需要大量的硬件资源,包括存储器。
相应地,在存储或传输视频数据时,通常利用编码器来压缩视频数据,以便于存储或传输视频数据。然后,解码器接收压缩的视频数据,解压并再现视频数据。用于这种视频数据的压缩技术包括H.264/AVC、高效率视频编解码(High Efficiency Video Coding,HEVC)和多功能视频编解码(Versatile Video Coding,VVC),所述多功能视频编解码(VVC)比HEVC的编解码效率提高了大约30%或更多。
然而,视频大小、分辨率和帧速率逐渐增加,并且因此要编码的数据量也在增加。因此,需要一种与现有压缩技术相比具有更好的编码效率和更高的影像质量的新压缩技术。
帧内预测是仅允许空间参考的预测技术,并且代表通过参考当前块周围已经重构的块来预测即将被编码的当前块的方法。在帧内预测中,可以利用最可能模式(MPM)列表来推导当前块的帧内预测模式。还可以通过利用与当前块相邻的模板来推导当前块的帧内预测模式。当利用与当前块相邻的模板来推导当前块的帧内预测模式时,需要提高编码效率。
发明内容
技术问题
本发明的目的是提供基于模板推导当前块的帧内预测模式的方法和装置。
本发明的另一个目的是提供通过利用MPM列表和模板推导当前块的帧内预测模式的方法和装置。
本发明的另一个目的是提供通过利用当前块的相邻块的帧内预测模式来对MPM列表中的候选模式排序的方法和装置。
本发明的另一个目的是提供用于提高视频编码/解码效率的方法和装置。
本发明的另一个目的是提供一种记录介质,其存储由本发明的视频编码/解码方法或视频编码/解码装置生成的比特流。
本发明的另一个目的是提供用于传输由本发明的视频编码/解码方法或装置生成的比特流的方法和装置。
技术方案
根据本发明,一种视频解码方法包括:基于与当前块邻近的至少一个相邻块的帧内预测模式来推导MPM列表;对MPM列表中的一个或更多个候选模式重新排序;基于重新排序的MPM列表中的一个或更多个候选模式来推导当前块的帧内预测模式;以及基于当前块的帧内预测模式来生成当前块的预测块。
根据本发明,一种视频编码方法包括:基于与当前块邻近的至少一个相邻块的帧内预测模式来确定MPM列表;对MPM列表中的一个或更多个候选模式重新排序;基于重新排序的MPM列表中的一个或更多个候选模式来确定当前块的帧内预测模式;以及基于当前块的帧内预测模式来生成当前块的预测块。
此外,根据本发明,可以提供一种传输由根据本发明的视频编码方法或装置生成的比特流的方法。
此外,根据本发明,可以提供存储由根据本发明的视频编码方法或装置生成的比特流的记录介质。
此外,根据本发明,可以提供存储由根据本发明的视频解码装置接收和解码的比特流并将其用于重构视频的记录介质。
有益效果
根据本发明,可以提供基于模板推导当前块的帧内预测模式的方法和装置。
另外,根据本发明,可以提供通过利用MPM列表和模板来推导当前块的帧内预测模式的方法和装置。
另外,根据本发明,可以提供通过利用当前块的相邻块的帧内预测模式对MPM列表中的候选模式排序的方法和装置。
此外,根据本发明,可以提供用于提高视频编码/解码效率的方法和装置。
可以通过本发明获取的效果不限于上述效果,并且本领域普通技术人员可以通过下面的描述清楚地理解未提及的其他效果。
附图说明
图1是可以实现本发明技术的视频编码装置的框图。
图2示出利用四叉树加二叉树三叉树(QTBTTT)结构来对块进行分区的方法。
图3a和图3b示出包括宽角度帧内预测模式的多个帧内预测模式。
图4示出当前块的相邻块。
图5是可以实现本发明技术的视频解码装置的框图。
图6是示出根据本发明的至少一个实施方案的用于推导基于模板的帧内预测模式的模板和该模板的参考像素的示意图。
图7是示出根据本发明的至少一个实施方案的与当前块的帧内预测模式相关联的语法的示意图。
图8是示出根据本发明的另一个实施方案的与当前块的帧内预测模式相关联的语法的示意图。
图9是示出根据本发明的至少一个实施方案的用于生成最可能模式(MPM)列表的当前块的相邻参考块的示意图。
图10是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式是不同方向模式时生成的MPM列表的示意图。
图11a和图11b是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式是不同方向模式时对MPM列表重新排序的方法的示意图。
图12a和图12b是示出根据本发明的另一个实施方案的在当前块的两个相邻参考块的帧内预测模式是不同方向模式时对MPM列表重新排序的方法的示意图。
图13a和图13b是示出根据本发明的又一个实施方案的在当前块的两个相邻参考块的帧内预测模式是不同方向模式时对MPM列表重新排序的方法的示意图。
图14是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式是相同方向模式时或者在它们分别是方向模式和非方向模式时生成的MPM列表的示意图。
图15a和图15b是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式是相同方向模式时或者在它们分别是方向模式和非方向模式时对MPM列表重新排序的方法的示意图。
图16是示出根据本发明的另一个实施方案的在当前块的两个相邻参考块的帧内预测模式是相同方向模式时或者在它们分别是方向模式和非方向模式时对MPM列表重新排序的方法的示意图。
图17是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式都是非方向模式时生成的MPM列表的示意图。
图18a和图18b是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式都是非方向模式时对MPM列表重新排序的方法的示意图。
图19是示出根据本发明的至少一个实施方案的当前块的相邻块的示意图。
图20是示出根据本发明的至少一个实施方案的利用当前块的相邻块的帧内预测模式的绝对变换差值和来生成MPM列表的方法的示意图。
图21是示出根据本发明的至少一个实施方案的视频解码过程的示意图。
图22是示出根据本发明的至少一个实施方案的视频编码过程的示意图。
具体实施方式
在下文中,将参考所附说明性附图对本发明的一些实施方案进行详细描述。在下面的描述中,相同的附图标记表示相同的元件,尽管元件在不同的附图中示出。此外,在一些实施方案的以下描述中,当认为相关的已知组件和功能的详细描述模糊了本发明的主题时,为了清楚和简洁起见,已经省略对相关的已知组件和功能的详细描述。
图1是可以实现本发明技术的视频编码装置的框图。在下文中,参考图1的图示,对视频编码装置以及该装置的组件进行描述。
编码装置可以包括:图像分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波单元180和存储器190。
编码装置的每个组件可以实现为硬件或软件,或者实现为硬件和软件的组合。另外,每个组件的功能可以实现为软件,并且微处理器也可以实现为执行对应于每个组件的软件的功能。
一个视频由包括多个图像的一个或更多个序列组成。每个图像分割为多个区域,并且对每个区域执行编码。例如,一个图像分割为一个或更多个瓦片(tile)或/和切片(slice)。这里,一个或更多个瓦片可以定义为瓦片组。每个瓦片或/和切片分割为一个或更多个编码树单元(coding tree unit,CTU)。另外,每个CTU通过树结构分割为一个或更多个编码单元(coding unit,CU)。应用于每个CU的信息被编码为CU的语法,并且共同应用于包括在一个CTU中的CU的信息被编码为CTU的语法。另外,共同应用于一个切片中的所有块的信息被编码为切片头的语法,而应用于构成一个或更多个图像的所有块的信息被编码为图像参数集(Picture Parameter Set,PPS)或图像头。此外,多个图像共同参考的信息被编码为序列参数集(Sequence Parameter Set,SPS)。另外,一个或更多个SPS共同参考的信息被编码为视频参数集(Video Parameter Set,VPS)。此外,共同应用于一个瓦片或瓦片组的信息也可以被编码为瓦片或瓦片组头的语法。包括在SPS、PPS、切片头、瓦片或瓦片组头中的语法可以称为高级语法。
图像分割器110确定编码树单元(CTU)的大小。关于CTU的大小(CTU尺寸)的信息被编码为SPS或PPS的语法,并且被传送至视频解码装置。
图像分割器110将构成视频的每个图像分割为具有预定大小的多个编码树单元(CTU),然后通过利用树结构递归地分割CTU。树结构中的叶节点成为编码单元(CU),所述CU是编码的基本单元。
树结构可以是四叉树(quadtree,QT),其中较高节点(或父节点)被分割为具有相同大小的四个较低节点(或子节点)。树结构也可以是二叉树(binarytree,BT),其中较高的节点分割为两个较低的节点。树结构还可以是三叉树(ternarytree,TT),其中较高的节点以1:2:1的比率分割为三个较低的节点。树结构还可以是QT结构、BT结构和TT结构中的两个或更多个结构混合的结构。例如,可以使用四叉树加二叉树(quadtree plus binarytree,QTBT)结构,或者可以使用四叉树加二叉树三叉树(quadtree plus binarytreeternarytree,QTBTTT)结构。这里,BTTT被添加到树结构以称为多类型树(multiple-typetree,MTT)。
图2是用于描述通过利用QTBTTT结构来对块进行分割的方法的示意图。
如图2所示,CTU可以首先分割为QT结构。四叉树分割可以是递归的,直到分割块的大小达到QT中允许的叶节点的最小块大小(MinQTSize)。由熵编码器155对指示QT结构的每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码,并将其用信号通知视频解码装置。当QT的叶节点不大于BT中允许的根节点的最大块大小(MaxBTSize)时,可以将叶节点进一步分割为BT结构或TT结构的至少一个。在BT结构和/或TT结构中可以存在多个分割方向。例如,可以存在两个方向,即,水平地分割相应节点的块的方向以及竖直地分割相应节点的块的方向。如图2所示,当MTT分割开始时,由熵编码器155对指示节点是否被分割的第二标志(mtt_split_flag)、以及在节点被分割的情况下额外指示分割方向(竖直或水平)的标志和/或指示分割类型(二叉或三叉)的标志进行编码,并将其用信号通知视频解码装置。
替选地,在对指示每个节点是否被分割为下层的四个节点的第一标志(QT_split_flag)进行编码之前,还可以对指示节点是否被分割的CU分割标志(split_cu_flag)进行编码。当CU分割标志(split_cu_flag)的值指示出每个节点没有被分割时,相应节点的块成为分割树结构中的叶节点并成为CU,CU是编码的基本单元。当CU分割标志(split_cu_flag)的值指示出每个节点被分割时,视频编码装置以上述方案对第一标志首先开始编码。
当QTBT用作树结构的另一个示例时,可以存在两种类型,即,将相应节点的块水平地分割为具有相同大小的两个块的类型(即,对称水平分割)以及将相应节点的块竖直地分割为具有相同大小的两个块的类型(即,对称竖直分割)。由熵编码器155对指示BT结构的每个节点是否被分割为下层的块的分割标志(split_flag)和指示分割类型的分割类型信息进行编码,并将其传送至视频解码装置。另一方面,可以另外存在相应节点的块被分割为彼此非对称形式的两个块的类型。非对称形式可以包括相应节点的块被分割为大小比率为1:3的两个矩形块的形式,或者还可以包括相应节点的块在对角线方向上被分割的形式。
CU可以根据从CTU分割的QTBT或QTBTTT而具有各种大小。在下文中,与要编码或解码的CU(即,QTBTTT的叶节点)相对应的块称为“当前块”。当采用QTBTTT分割时,除了正方形形状之外,当前块的形状也可以是矩形形状。
预测器120对当前块进行预测以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
通常,可以对图像中的当前块的每个进行预测地编码。通常,可以通过利用帧内预测技术(其利用来自包括当前块的图像的数据)或帧间预测技术(其利用来自在包括当前块的图像之前编码的图像的数据)执行当前块的预测。帧间预测包括单向预测和双向预测两者。
帧内预测器122通过利用在包括当前块的当前图像中位于当前块邻近的像素(参考像素)来预测当前块中的像素。根据预测方向,存在多个帧内预测模式。例如,如图3a所示,多个帧内预测模式可以包括包含平面(Planar)模式和DC模式的两种非方向模式,并且可以包括65种方向模式。根据每种预测模式不同地定义要使用的相邻像素和算法等式。
为了对具有矩形形状的当前块进行高效的方向预测,可以额外地使用图3b中虚线箭头所示的方向模式(#67至#80,帧内预测模式#-1至#-14)。方向模式可以称为“宽角度帧内预测模式(wide angle intra-prediction modes)”。在图3b中,箭头指示用于预测的相应参考样本,而非代表预测方向。预测方向与箭头指示的方向相反。在当前块具有矩形形状时,宽角度帧内预测模式是在没有额外比特传输的情况下在与特定方向模式相反的方向上执行预测的模式。在这种情况下,在宽角度帧内预测模式中,可以通过具有矩形形状的当前块的宽度与高度的比率来确定可用于当前块的一些宽角度帧内预测模式。例如,在当前块具有高度小于宽度的矩形形状时,具有小于45度的角度的宽角度帧内预测模式(帧内预测模式#67至#80)是可用的。在当前块具有宽度大于高度的矩形形状时,具有大于-135度的角度的宽角度帧内预测模式是可用的。
帧内预测器122可以确定要用于对当前块进行编码的帧内预测。在一些示例中,帧内预测器122可以通过利用多个帧内预测模式来对当前块进行编码,并且还可以从测试模式中选择要使用的适当的帧内预测模式。例如,帧内预测器122可以通过利用对多个测试的帧内预测模式的率失真(rate-distortion)分析来计算率失真值,并且还可以在测试模式中选择具有最佳率失真特性的帧内预测模式。
帧内预测器122在多个帧内预测模式中选择一个帧内预测模式,并且通过利用根据选择的帧内预测模式确定的相邻像素(参考像素)和算法等式来预测当前块。由熵编码器155对关于选择的帧内预测模式的信息进行编码并将其传送至视频解码装置。
帧间预测器124通过利用运动补偿处理来生成当前块的预测块。帧间预测器124在比当前图像更早已被编码和解码的参考图像中搜索与当前块最相似的块,并且通过利用搜索到的块来生成当前块的预测块。另外,生成运动矢量(motion vector,MV),所述运动矢量与当前图像中的当前块和参考图像中的预测块之间的位移(displacement)相对应。通常,对亮度(luma)分量执行运动估计,并且基于亮度分量计算出的运动矢量用于亮度分量和色度分量两者。由熵编码器155对包括参考图像的信息和关于用于预测当前块的运动矢量的信息的运动信息进行编码,并将其传送至视频解码装置。
帧间预测器124还可以执行参考图像或参考块的插值,以增加预测的准确性。换句话说,通过向包括两个整数样本的多个连续整数样本应用滤波器系数来在两个连续整数样本之间插值子样本。在对插值的参考图像执行搜索与当前块最相似的块的处理时,对于运动矢量可以表示小数单位精度而不是整数样本单位精度。对于要编码的每个目标区域,例如,诸如切片、瓦片、CTU、CU等的单元,可以不同地设置运动矢量的精度或分辨率。当应用这种自适应运动矢量分辨率(adaptive motion vector resolution,AMVR)时,应该针对每个目标区域用信号通知关于要应用于每个目标区域的运动矢量分辨率的信息。例如,当目标区域是CU时,用信号通知关于应用于每个CU的运动矢量分辨率的信息。关于运动矢量分辨率的信息可以是代表要在以下描述的运动矢量差的精度的信息。
另一方面,帧间预测器124可以通过利用双向预测来执行帧间预测。在双向预测的情况下,使用两个参考图像和代表与每个参考图像中的当前块最相似的块位置的两个运动矢量。帧间预测器124分别从参考图像列表0(RefPicList0)和参考图像列表1(RefPicList1)选择第一参考图像和第二参考图像。帧间预测器124还搜索与相应参考图像中的当前块最相似的块,以生成第一参考块和第二参考块。此外,通过对第一参考块和第二参考块进行平均或加权平均来生成当前块的预测块。此外,包括关于用于预测当前块的两个参考图像的信息和关于两个运动矢量的信息的运动信息被传送至熵编码器155。这里,参考图像列表0可以由预重构图像中按显示顺序在当前图像之前的图像构成,并且参考图像列表1可以由预重构图像中按显示顺序在当前图像之后的图像构成。然而,尽管不特别限于此,但可以将显示顺序中在当前图像之后的预重构图像额外地包括在参考图像列表0中。相反,在当前图像之前的预重构图像也可以额外地包括在参考图像列表1中。
为了最小化用于编码运动信息所消耗的比特量,可以使用各种方法。
例如,在当前块的参考图像和运动矢量与相邻块的参考图像和运动矢量相同时,能够识别相邻块的信息被编码以将当前块的运动信息传送至视频解码装置。这种方法称为合并模式(merge mode)。
在合并模式中,帧间预测器124从当前块的相邻块选择预定数量的合并候选块(在下文中,称为“合并候选”)。
作为用于推导合并候选的相邻块,可以使用与当前图像中的当前块邻近的左侧块A0、左下侧块A1、上侧块B0、右上侧块B1和左上侧块B2的全部或一些,如图4所示。此外,除了当前块所在的当前图像之外,位于参考图像内的块(其可以与用于预测当前块的参考图像相同或不同)也可以用作合并候选。例如,参考图像内的当前块的同位块(co-locatedblock)或与该同位块邻近的块可以额外地用作合并候选。如果通过上述方法选择的合并候选的数量小于预设数量,则将零矢量添加到合并候选。
帧间预测器124通过利用相邻块来配置包括预定数量的合并候选的合并列表。从合并列表中包括的合并候选之中选择要用作当前块的运动信息的合并候选,并且生成用于识别选择的候选的合并索引信息。由熵编码器155对生成的合并索引信息进行编码并将其传送至视频解码装置。
合并跳过模式是合并模式的特例。在量化之后,在用于熵编码的所有变换系数都接近零时,仅传输相邻块选择信息而不传输残差信号。通过利用合并跳过模式,对于具有轻微运动的影像、静止影像、屏幕内容影像等可以实现相对较高的编码效率。
此后,合并模式和合并跳过模式统称为合并/跳过模式。
用于编码运动信息的另一种方法是高级运动矢量预测(advanced motion vectorprediction,AMVP)模式。
在AMVP模式中,帧间预测器124通过利用当前块的相邻块来推导用于当前块的运动矢量的运动矢量预测候选。作为用于推导运动矢量预测候选的相邻块,可以使用与图4所示的当前图像中的当前块邻近的左侧块A0、左下侧块A1、上侧块B0、右上侧块B1和左上侧块B2的全部或一些。此外,除了当前块所在的当前图像之外,位于参考图像(其可以与用于预测当前块的参考图像相同或不同)内的块也可以用作用于推导运动矢量预测候选的相邻块。例如,可以使用参考图像内的当前块的同位块或与该同位块邻近的块。如果通过上述方法选择的运动矢量候选的数量小于预设数量,则将零矢量添加到运动矢量候选。
帧间预测器124通过利用相邻块的运动矢量来推导运动矢量预测候选,并且通过利用运动矢量预测候选来确定当前块的运动矢量的运动矢量预测。另外,通过将当前块的运动矢量减去运动矢量预测来计算运动矢量差。
可以通过将预定义函数(例如,中值和平均值计算等)应用于运动矢量预测候选来获取运动矢量预测。在这种情况下,视频解码装置还知道预定义功能。此外,由于用于推导运动矢量预测候选的相邻块是已经完成编码和解码的块,所以视频解码装置也可能已经知道相邻块的运动矢量。因此,视频编码装置不需要对用于识别运动矢量预测候选的信息进行编码。相应地,在这种情况下,对关于运动矢量差的信息和关于用于预测当前块的参考图像的信息进行编码。
另一方面,还可以通过选择运动矢量预测候选的任何一个的方案来确定运动矢量预测。在这种情况下,用于识别选择的运动矢量预测候选的信息与用于预测当前块的关于运动矢量差的信息以及关于参考图像的信息共同进行额外的编码。
减法器130通过将当前块减去由帧内预测器122或帧间预测器124生成的预测块来生成残差块。
变换器140将具有空域的像素值的残差块中的残差信号变换为频域的变换系数。变换器140可以通过利用残差块的整个大小作为变换单元来变换残差块中的残差信号,或者也可以将残差块分割为多个子块,并且可以通过利用子块作为变换单元来执行变换。替选地,将残差块划分成两个子块,即变换区域和非变换区域,以通过仅利用变换区域子块作为变换单元来变换残差信号。这里,变换区域子块可以是基于水平轴线(或竖直轴线)的具有大小比率为1:1的两个矩形块的一个。在这种情况下,由熵编码器155对指示出仅变换子块的标志(cu_sbt_flag)、以及方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)进行编码,并将其用信号通知视频解码装置。另外,变换区域子块的大小基于水平轴线(或竖直轴线)可以具有1:3的大小比率。在这种情况下,由熵编码器155对划分相应分割的标志(cu_sbt_quad_flag)进行额外地编码,并将其用信号通知视频解码装置。
另一方面,变换器140可以在水平方向和竖直方向上单独地执行残差块的变换。对于该变换,可以使用各种类型的变换函数或变换矩阵。例如,用于水平变换和竖直变换的成对变换函数可以定义为多变换集(multiple transform set,MTS)。变换器140可以选择MTS中具有最高变换效率的一个变换函数对,并且可以在水平方向和竖直方向的每个上变换残差块。由熵编码器155对关于MTS中的变换函数对的信息(mts_idx)进行编码,并将其用信号通知视频解码装置。
量化器145利用量化参数对从变换器140输出的变换系数进行量化,并且将量化的变换系数输出到熵编码器155。量化器145还可以对相关的残差块立即进行量化,而无需对任何块或帧进行变换。量化器145还可以根据变换块中的变换系数的位置来应用不同的量化系数(缩放值)。可以对应用于布置为二维的量化的变换系数的量化矩阵进行编码,并将其用信号通知视频解码装置。
重排单元150可以对量化的残差值执行系数值的重新排列。
重排单元150可以通过利用系数扫描将2D系数阵列改变为1D系数序列。例如,重排单元150可以利用锯齿形扫描(zig-zag scan)或对角线扫描(diagonal scan)来扫描DC系数到高频区域的系数以输出1D系数序列。根据变换单元的大小和帧内预测模式,也可以利用在列方向上扫描2D系数阵列的竖直扫描和在行方向上扫描2D块类型系数的水平扫描来代替锯齿形扫描。换句话说,根据变换单元的大小和帧内预测模式,可以在锯齿形扫描、对角线扫描、竖直扫描和水平扫描中确定要使用的扫描方法。
熵编码器155通过利用包括基于上下文的自适应二进制算术编码(Context-basedAdaptive Binary Arithmetic Code,CABAC)、指数哥伦布(Exponential Golomb)等的各种编码方案来对从重排单元150输出的1D量化的变换系数的序列进行编码,以生成比特流。
此外,熵编码器155对与块分割相关的信息(例如,CTU大小、CTU分割标志、QT分割标志、MTT分割类型和MTT分割方向等)进行编码,以使得视频解码装置能够等同于视频编码装置来分割块。此外,熵编码器155对关于指示当前块是由帧内预测编码还是由帧间预测编码的预测类型的信息进行编码。熵编码器155根据预测类型对帧内预测信息(即,关于帧内预测模式的信息)或帧间预测信息(在合并模式的情况下的合并索引,以及在AMVP模式的情况下的关于参考图像索引和运动矢量差的信息)进行编码。此外,熵编码器155对与量化相关的信息(即,关于量化参数的信息和关于量化矩阵的信息)进行编码。
逆量化器160对从量化器145输出的量化的变换系数进行逆量化,以生成变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空域,以重构残差块。
加法器170将重构的残差块和由预测器120生成的预测块相加,以重构当前块。在对下一个块进行帧内预测时,重构的当前块中的像素用作参考像素。
环路滤波单元180对重构的像素执行滤波,以减少由于基于块的预测和变换/量化而发生的块伪影(blocking artifacts)、振铃伪影(ringing artifacts)、模糊伪影(blurring artifacts)等。作为环内滤波器的环路滤波单元180可以包括去块滤波器182、样本自适应偏移(sample adaptive offset,SAO)滤波器184和自适应环路滤波器(adaptive loop filter,ALF)186的全部或一些。
去块滤波器182对重构的块之间的边界进行滤波,以去除由于块单元编码/解码而发生的块伪影(blocking artifacts),并且SAO滤波器184和ALF 186对去块滤波的视频进行额外的滤波。SAO滤波器184和ALF 186是用于补偿由于有损编码(lossy coding)而发生的重构的像素与原始像素之间的差异的滤波器。SAO滤波器184应用偏移作为CTU单位,以增强主观图像质量和编码效率。另一方面,ALF 186执行块单元滤波,并且通过划分相应块的边界和变化量的程度来应用不同的滤波器以补偿失真。可以对关于要用于ALF的滤波器系数的信息进行编码,并将其用信号通知视频解码装置。
通过去块滤波器182、SAO滤波器184和ALF 186滤波的重构的块存储在存储器190中。当一个图像中的所有块被重构时,重构的图像可以用作用于对随后要被编码的图像内的块进行帧间预测的参考图像。
图5是可以实现本发明技术的视频解码装置的功能框图。在下文中,参考图5,描述了视频解码装置和该装置的组件。
视频解码装置可以包括熵解码器510、重排单元515、逆量化器520、逆变换器530、预测器540、加法器550、环路滤波单元560和存储器570。
类似于图1的视频编码装置,视频解码装置的每个组件可以实现为硬件或软件,或者实现为硬件和软件的组合。另外,每个组件的功能可以实现为软件,并且微处理器也可以实现为执行对应于每个组件的软件的功能。
熵解码器510通过解码由视频编码装置生成的比特流来提取与块分割相关的信息,以确定要解码的当前块,并且提取恢复当前块所需的预测信息和关于残差信号的信息。
熵解码器510通过从序列参数集(SPS)或图像参数集(PPS)提取关于CTU大小的信息来确定CTU的大小,并且将图像分割为具有确定大小的CTU。此外,CTU被确定为树结构的最高层(即,根节点),并且提取CTU的分割信息以通过利用树结构来分割CTU。
例如,当通过利用QTBTTT结构来分割CTU时,首先提取与QT的分割相关的第一标志(QT_split_flag),以将每个节点分割为下层的四个节点。另外,相对于与QT的叶节点相对应的节点来提取与MTT的分割相关的第二标志(mtt_split_flag)、分割方向(竖直/水平)和/或分割类型(二叉/三叉),以将相应的叶节点分割为MTT结构。结果,QT的叶节点下方的每个节点被递归地分割为BT或TT结构。
作为另一个示例,当通过利用QTBTTT结构来分割CTU时,提取指示是否分割CU的CU分割标志(split_cu_flag)。当分割相应块时,还可以提取第一标志(QT_split_flag)。在分割过程期间,对于每个节点,在递归QT分割0次或更多次之后可能发生0次或更多次的递归MTT分割。例如,对于CTU,MTT分割可以立即发生,或者相反,也可以仅发生多次QT分割。
作为另一个示例,当通过利用QTBT结构来分割CTU时,提取与QT的分割相关的第一标志(QT_split_flag),以将每个节点分割为下层的四个节点。另外,提取指示将与QT的叶节点相对应的节点是否进一步分割为BT的分割标志(split_flag)以及分割方向信息。
另一方面,当熵解码器510通过利用树结构的分割来确定要解码的当前块时,熵解码器510提取关于指示当前块是被帧内预测还是被帧间预测的预测类型的信息。当预测类型信息指示帧内预测时,熵解码器510提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时,熵解码器510提取代表帧间预测信息的语法元素的信息,即,运动矢量和运动矢量参考的参考图像。
此外,熵解码器510提取量化相关的信息并且提取关于量化的当前块的变换系数的信息作为关于残差信号的信息。
重排单元515可以以由视频编码装置执行的系数扫描次序的相反顺序,将由熵解码器510熵解码的1D量化的变换系数的序列再次改变为2D系数阵列(即,块)。
逆量化器520对量化的变换系数进行逆量化,并且通过利用量化参数对量化的变换系数进行逆量化。逆量化器520还可以向布置为2D的量化的变换系数应用不同的量化系数(缩放值)。逆量化器520可以通过将来自视频编码装置的量化系数(缩放值)的矩阵应用于量化的变换系数的2D阵列来执行逆量化。
逆变换器530通过将逆量化的变换系数从频域逆变换到空域来恢复残差信号,以生成当前块的残差块。
此外,当逆变换器530对变换块的部分区域(子块)进行逆变换时,逆变换器530提取仅对变换块的子块进行变换的标志(cu_sbt_flag)、子块的方向(竖直/水平)信息(cu_sbt_horizontal_flag)和/或子块的位置信息(cu_sbt_pos_flag)。逆变换器530还将相应子块的变换系数从频域逆变换到空域以重构残差信号,并且用值“0”填充未被逆变换的区域作为残差信号,以生成当前块的最终残差块。
此外,当应用MTS时,逆变换器530通过利用从视频编码装置用信号通知的MTS信息(mts_idx)来确定在水平方向和竖直方向的每个上要应用的变换索引或变换矩阵。逆变换器530还通过利用确定的变换函数在水平方向和竖直方向上对变换块中的变换系数执行逆变换。
预测器540可以包括帧内预测器542和帧间预测器544。在当前块的预测类型是帧内预测时,激活帧内预测器542,而在当前块的预测类型是帧间预测时,激活帧间预测器544。
帧内预测器542根据从熵解码器510提取的帧内预测模式的语法元素来确定多个帧内预测模式中当前块的帧内预测模式。帧内预测器542还根据帧内预测模式通过利用当前块的相邻参考像素来预测当前块。
帧间预测器544通过利用从熵解码器510提取的帧间预测模式的语法元素来确定当前块的运动矢量和运动矢量参考的参考图像。
加法器550通过将从逆变换器530输出的残差块与从帧间预测器544或帧内预测器542输出的预测块相加来重构当前块。在对后续要被解码的块进行帧内预测时,重构的当前块内的像素用作参考像素。
作为环内滤波器的环路滤波单元560可以包括去块滤波器562、SAO滤波器564和ALF 566。去块滤波器562对重构的块之间的边界执行去块滤波,以便去除由于块单元解码而发生的块伪影。SAO滤波器564和ALF 566在去块滤波之后对重构的块执行额外的滤波,以便补偿由于有损编码而发生的重构的像素与原始像素之间的差异。通过利用关于从比特流解码的滤波器系数的信息来确定ALF的滤波器系数。
通过去块滤波器562、SAO滤波器564和ALF 566滤波的重构的块存储在存储器570中。当一个图像中的所有块被重构时,重构的图像可以用作用于对随后要被编码的图像内的块进行帧间预测的参考图像。
图6是示出根据本发明的至少一个实施方案的用于推导基于模板的帧内预测模式的模板和该模板的参考像素的示意图。帧内预测模式可以与帧内屏幕预测模式同义。帧间预测模式可以与帧间屏幕预测模式同义。通过利用与当前块邻近的模板,可以推导当前块的帧内预测模式。通过将MPM列表中的所有候选模式的方向性应用于模板中的参考像素,可以生成预测模板。可以计算生成的预测模板的像素与已经重构的模板的像素之间的绝对变换差值和(Sum of Absolute Transformed Differences,SATD)。MPM候选模式中产生最小的绝对变换差值和的模式是通过推导帧内预测模式的基于模板的方法推导的当前块的帧内预测模式。通过推导帧内预测模式的基于模板的方法推导的当前块的帧内预测模式可以用作当前编码单元(CU)块的附加模式。
从序列参数集(SPS)中,可以用信号通知指示使用或不使用推导帧内预测模式的基于模板的方法的标志。如果使用推导帧内预测模式的基于模板的方法,则本实施方案可以使用CU级别标志来表达是否在CU级别应用推导帧内预测模式的基于模板的方法。如果当前CU块使用推导帧内预测模式的基于模板的方法,则解码装置可以使用推导帧内预测模式的基于模板的方法来推导关于当前CU块的帧内预测模式的信息。这可以允许省略用信号通知与剩余亮度分量的帧内预测模式相关联的语法。
参考图6,在推导帧内预测模式的基于模板的方法中使用的模板610可以邻近当前块的顶部和左侧。应用MPM列表中的所有候选模式的方向性的模板的参考像素620可以存在于模板610附近。MPM列表中的所有候选模式的方向性可以应用于模板的参考像素620,以生成预测模板。
图7是示出根据本发明的至少一个实施方案的与当前块的帧内预测模式相关联的语法的示意图。可以通过使用与当前块相邻的参考块的帧内预测模式来生成MPM列表。本实施方案可以为生成的MPM列表中的每个候选模式计算基于模板的绝对变换差值和。为候选模式估算基于模板的绝对变换差值和可以意味着将候选模式的方向性应用于模板的参考像素以生成预测的模板像素,并且估算生成的预测的模板像素与重构的模板像素之间的绝对变换差值和。本实施方案可以使用候选模式的基于模板的绝对变换差值和的相应计算来对MPM列表中的候选模式重新排序。用于生成较小的绝对变换差值和的候选模式可以被放置在MPM列表的前面。用于生成较大的绝对变换差值和的候选模式可以被放置在MPM列表的后面。MPM列表中候选模式的这种重新排序可以提高编码效率。
可以通过利用与当前块相邻的参考块的帧内预测模式来生成MPM列表。不管与当前块相邻的参考块的帧内预测模式如何,平面模式可以被添加为MPM列表中的第一候选模式。在对MPM列表中的候选模式重新排序时,可以为剩余候选模式(不包括平面模式)计算基于模板的绝对变换差值和。MPM列表中的第一候选模式可以被固定为平面模式,并且可以通过使用剩余候选模式的基于模板的绝对变换差值和来执行重新排序。
参考图7,可以用信号通知以下标志:intra_luma_mpm_flag、intra_luma_not_planar_flag、intra_luma_mpm_idx和intra_luma_mpm_remainder,它们与当前块的帧内预测模式相关联。intra_luma_not_planar_flag可以对应于与平面模式相关的标志。在对MPM列表中的候选模式重新排序时,由于平面模式被固定为第一候选模式,可以用信号通知intra_luma_not_planar_flag。
图8是示出根据本发明的另一个实施方案的与当前块的帧内预测模式相关联的语法的示意图。当对MPM列表中的候选模式重新排序时,可以为MPM列表中的所有候选模式(包括平面模式)计算基于模板的绝对变换差值和。通过使用所有候选模式(包括平面模式)的基于模板的绝对变换差值和,本实施方案可以对MPM列表中的候选模式重新排序。可以通过按照优先级被赋予用于生成较小的计算出的绝对变换差值和的候选模式的次序,将候选模式进一步向前放置来对MPM列表重新排序。
参考图8,可以用信号通知标志intra_luma_mpm_flag、intra_luma_mpm_idx和intra_luma_mpm_remainder,它们与当前块的帧内预测模式相关联。当对MPM列表中的候选模式重新排序时,可以省略用信号通知intra_luma_not_planar_flag,这是因为计算并使用平面模式的基于模板的绝对变换差值和。可以使用intra_luma_mpm_idx发送关于平面模式的信息。省略用信号通知intra_luma_not_planar_flag可以简化语法结构。
在图7中用信号通知的二值化的intra_luma_mpm_idx中,cMax的数量可以等于4。在图8中用信号通知的二值化的intra_luma_mpm_idx中,cMax的数量可以等于5,这是因为用信号通知的intra_luma_mpm_idx需要处理关于平面模式的信息。
图9是示出根据本发明的至少一个实施方案的用于生成最可能模式(MPM)列表的当前块的相邻参考块的示意图。基于与当前块相邻的参考块的帧内预测模式,本实施方案可以确定是否使用推导帧内预测模式的基于模板的方法。
参考图9,可以使用与当前块的顶部邻近的A参考块和与当前块的左侧邻近的L参考块,以生成MPM列表。A参考块的帧内预测模式可以意味着A模式。L参考块的帧内预测模式可以意味着L模式。可以通过使用A模式和L模式两者来生成MPM列表。生成的MPM列表中的候选模式与A模式和L模式高度相关。基于A模式和L模式,并且通过使用候选模式的基于模板的绝对变换差值和,本实施方案可以确定是否使用对MPM列表中的候选模式重新排序的方法。
本实施方案提供如下方案1。当A模式和L模式相同时,当前块的相邻块可能具有一个方向模式或一个非方向模式。在这种情况下,当前块的帧内预测模式可以具有与A模式和L模式相同或相似的帧内预测模式的较高概率。可以通过使用由A模式和L模式生成的MPM列表来有效地编码当前块的帧内预测模式。因此,当A模式和L模式相同时,本实施方案可以不使用利用候选模式的基于模板的绝对变换差值和来对MPM列表中的候选模式重新排序的方法。
本实施方案提供如下方案2。在A模式和L模式两者是非方向时有三种情况:当A模式和L模式两者是平面模式时,当A模式和L模式两者是DC模式时,以及当A模式和L模式分别是平面模式和DC模式时。如果与当前块相邻的参考块的帧内预测模式都是非方向的,则当前块的相邻块可能不具有方向信息。如果与当前块相邻的参考块的帧内预测模式都是非方向的,则可以通过使用特定的默认模式来组成MPM列表。如果MPM列表是通过使用默认模式组成的,则使用候选模式的基于模板的绝对变换差值和对MPM列表中的候选模式重新排序对于编码来说可能效率较低。相应地,如果A模式和L模式两者是非方向的,则本实施方案可以省略使用利用候选模式的基于模板的绝对变换差值和来对MPM列表中的候选模式重新排序的方法。
当且仅当A模式和L模式相同且为非方向的时,方案1可以省略使用利用候选模式的基于模板的绝对变换差值和对MPM列表中的候选模式重新排序的方法。此外,当且仅当A模式和L模式相同且为方向的时,方案1可以省略使用利用候选模式的基于模板的绝对变换差值和对MPM列表中的候选模式重新排序的方法。另外,当A模式和L模式相同而无论是方向的还是非方向的时,方案1可以省略利用候选模式的基于模板的绝对变换差值和来对MPM列表中的候选模式重新排序的方法。
方案1和方案2可以各自独立使用或组合使用。方案1可以单独应用于确定是否使用利用候选模式的基于模板的绝对变换差值和对MPM列表中的候选模式重新排序的方法。方案2可以单独应用于确定是否使用利用候选模式的基于模板的绝对变换差值和对MPM列表中的候选模式重新排序的方法。可以组合方案1和方案2以确定是否使用利用候选模式的基于模板的绝对变换差值和来对MPM列表中的候选模式重新排序的方法。
图10是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式是不同方向模式时生成的MPM列表的示意图。可以通过使用与当前块相邻的参考块的帧内预测模式的相关性来对MPM列表中的候选模式重新排序。可以通过使用与当前块相邻的参考块的帧内预测模式的绝对变换差值和来对MPM列表中的候选模式重新排序。基于图9中的A模式和L模式,可以在三种不同的情况下生成MPM列表。第一种情况可以是当A模式和L模式具有不同方向模式时。第二种情况可以是当A模式和L模式具有相同方向模式时,或者当A模式和L模式分别具有方向模式和非方向模式时,或者当A模式和L模式分别具有非方向模式和方向模式时。第三种情况可以是当A模式和L模式两者具有非方向模式时。
参考图10,其中图9的A模式和L模式是不同方向模式,MPM列表可以包括:为平面模式的第一模式、作为L模式的第二模式、作为A模式的第三模式、作为L±1模式或A±1模式的第四模式、作为A±1模式或L±1模式的第五模式、以及作为L±2模式或A±2模式的第六模式。A-1模式、A+1模式、A-2模式和A+2模式可以相对于A模式分别代表-1模式、+1模式、-2模式和+2模式。L-1模式、L+1模式、L-2模式和L+2模式可以相对于L模式分别代表-1模式、+1模式、-2模式和+2模式。
图11a和图11b是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式是不同方向模式时对MPM列表重新排序的方法的示意图。如果图9的A模式和L模式是不同方向模式,则可以如图10所示生成MPM列表。本实施方案可以从MPM列表计算第二模式(L模式)和第三模式(A模式)的基于模板的绝对变换差值和。计算出的绝对变换差值和可以用于确定MPM列表中候选模式的优先级次序。计算出的绝对变换差值和可以用于对MPM列表中的候选模式重新排序。SATDX可以代表任意X模式的基于模板的绝对变换差值和(SATD)。Threshold和Threshold_1可以各自意味着任意设置的阈值。Threshold和Threshold_1满足Threshold>0且Threshold_1>0。例如,SATDPlanar可以代表平面模式的基于模板的绝对变换差值和,并且SATD50可以代表第50模式的基于模板的绝对变换差值和。
参考图11a,可以计算A模式的绝对变换差值和SATDA。可以计算L模式的绝对变换差值和SATDL。如果SATDA≤Threshold*SATDL,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为平面模式的第一模式、作为A模式的第二模式、作为L模式的第三模式、作为A±1模式的第四模式、作为A±2模式的第五模式以及作为L±1模式的第六模式。
参考图11b,可以计算A模式的绝对变换差值和SATDA。可以计算L模式的绝对变换差值和SATDL。如果SATDA>Threshold*SATDL,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为平面模式的第一模式、为L模式的第二模式、为A模式的第三模式、为L±1模式的第四模式、为L±2模式的第五模式以及为A±1模式的第六模式。然后,可以将A模式和L模式的绝对变换差值和进行比较。优先级可以被赋予用于计算在计算出的绝对变换差值和之中较小的绝对变换差值和的候选模式。
图12a和图12b是示出根据本发明的另一个实施方案的在当前块的两个相邻参考块的帧内预测模式是不同方向模式时对MPM列表重新排序的方法的示意图。
参考图12a,可以计算A模式的绝对变换差值和SATDA。可以计算L模式的绝对变换差值和SATDL。如果SATDA≤Threshold*SATDL,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为平面模式的第一模式、为A模式的第二模式、为A±1模式的第三模式、为A±2模式的第四模式、为L模式的第五模式以及为L±1模式的第六模式。
参考图12b,可以计算A模式的绝对变换差值和SATDA。可以计算L模式的绝对变换差值和SATDL。如果SATDA>Threshold*SATDL,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为平面模式的第一模式、为L模式的第二模式、为L±1模式的第三模式、为L±2模式的第四模式、为A模式的第五模式以及为A±1模式的第六模式。
图13a和图13b是示出根据本发明的又一个实施方案的在当前块的两个相邻参考块的帧内预测模式是不同方向模式时对MPM列表重新排序的方法的示意图。如果图9的A模式和L模式是不同方向模式,则可以如图10所示生成MPM列表。从MPM列表,本实施方案可以计算平面模式和第二模式(L模式)以及第三模式(A模式)的基于模板的绝对变换差值和。通过使用计算出的绝对变换差值和,本实施方案可以确定MPM列表中候选模式的优先级次序。使用计算出的绝对变换差值和,可以对MPM列表中的候选模式重新排序。
参考图13a,可以计算平面模式的绝对变换差值和SATDPlanar。可以计算A模式的绝对变换差值和SATDA。可以计算L模式的绝对变换差值和SATDL。如果Threshold_2*SATDA<Threshold_1*SATDPlanar<Threshold_3*SATDL,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为A模式的第一模式、为平面模式的第二模式、为L模式的第三模式、为A±1模式的第四模式、为A±2模式的第五模式以及为L±1模式的第六模式。
参考图13b,可以计算平面模式的绝对变换差值和SATDPlanar。可以计算A模式的绝对变换差值和SATDA。可以估算L模式的绝对变换差值和SATDL。如果Threshold_3*SATDL<Threshold_2*SATDA<Threshold_1*SATDPlanar,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为L模式的第一模式、为A模式的第二模式、为平面模式的第三模式、为L±1模式的第四模式、为L±2模式的第五模式以及为A±1模式的第六模式。这里,Threshold_1、Threshold_2和Threshold_3可以分别满足Threshold_1>0,Threshold_2>0,并且Threshold_3>0。
图14是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式是相同方向模式时或者在它们分别是方向模式和非方向模式时生成的MPM列表的示意图。
参考图14,当图9的A模式和L模式是相同方向模式时,或者当图9的A模式和L模式分别是方向模式和非方向模式时,或者当图9的A模式和L模式分别是非方向模式和方向模式时,可以生成MPM列表。这里,方向模式是X模式,并且可以对应于任何方向模式。MPM列表可以包括:为平面模式的第一模式、为X模式的第二模式、为X-1模式的第三模式、为X+1模式的第四模式、为X-2模式的第五模式以及为X+2模式的第六模式。
图15a和图15b是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式是相同方向模式时或者在它们分别是方向模式和非方向模式时对MPM列表重新排序的方法的示意图。如果图9的A模式和L模式是相同方向模式,或者如果图9的A模式和L模式分别是方向模式和非方向模式,或者如果图9的A模式和L模式分别是非方向模式和方向模式,则可以如图14所示生成MPM列表。从MPM列表,本实施方案可以计算第三模式(X-1模式)和第四模式(X+1模式)的基于模板的绝对变换差值和。计算出的绝对变换差值和可以用于确定MPM列表中候选模式的优先级次序。计算出的绝对变换差值和可以用于对MPM列表中的候选模式重新排序。
参考图15a,可以计算X-1模式的绝对变换差值和SATDX-1。可以计算X+1模式的绝对变换差值和SATDX+1。如果SATDX-1≤Threshold*SATDX+1,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为平面模式的第一模式、为X模式的第二模式、为X-1模式的第三模式、为X-2模式的第四模式、为X+1模式的第五模式以及为X+2模式的第六模式。
参考图15b,可以计算X-1模式的绝对变换差值和SATDX-1。可以计算X+1模式的绝对变换差值和SATDX+1。如果SATDX-1>Threshold*SATDX+1,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为平面模式的第一模式、为X模式的第二模式、为X+1模式的第三模式、为X+2模式的第四模式、为X-1模式的第五模式以及为X-2模式的第六模式。然后,可以将X-1模式和X+1模式的绝对变换差值和进行比较。优先级可以被赋予与用于计算较小的计算出的绝对变换差值和的模式相关联的候选模式。
图16是示出根据本发明的另一个实施方案的在当前块的两个相邻参考块的帧内预测模式是相同方向模式时或者在它们分别是方向模式和非方向模式时对MPM列表重新排序的方法的示意图。如果图9的A模式和L模式是相同方向模式,或者如果图9的A模式和L模式分别是方向模式和非方向模式,或者如果图9的A模式和L模式分别是非方向模式和方向模式,则可以如图14所示生成MPM列表。从MPM列表,本实施方案可以计算第一模式(平面模式)和第二模式(X模式)的基于模板的绝对变换差值和。计算出的绝对变换差值和可以用于确定MPM列表中候选模式的优先级次序。计算出的绝对变换差值和可以用于对MPM列表中的候选模式重新排序。
参考图16,可以计算平面模式的绝对变换差值和SATDPlanar。可以计算X模式的绝对变换差值和SATDX。如果SATDX<Threshold*SATDPlanar,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为X模式的第一模式、为平面模式的第二模式、为X-1模式的第三模式、为X-2模式的第四模式、为X+1模式的第五模式以及为X+2模式的第六模式。
另一个实施方案可以计算平面模式的绝对变换差值和SATDPlanar。可以计算X模式的绝对变换差值和SATDX。基于和SATDPlanar和SATDX,可以确定平面模式和X模式的优先级。可以计算X-1模式的绝对变换差值和SATDX-1。可以估算X+1模式的绝对变换差值和SATDX+1。基于和SATDX-1和SATDX+1,可以为X-1和X+1模式确定优先级。基于和SATDX-1和SATDX+1,可以为X-2模式和X+2模式确定优先级。基于确定的优先级,可以对MPM列表重新排序。
图17是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式都是非方向模式时生成的MPM列表的示意图。
参考图17,如果图9的A模式和L模式两者是非方向模式,则可以生成MPM列表。MPM列表可以包括:为平面模式的第一模式、为DC模式的第二模式、为竖直(Ver)模式的第三模式、为水平(Hor)模式的第四模式、为Ver-4模式的第五模式以及为Ver+4模式的第六模式。
图18a和图18b是示出根据本发明的至少一个实施方案的在当前块的两个相邻参考块的帧内预测模式都是非方向模式时对MPM列表重新排序的方法的示意图。如果图9的A模式和L模式是非方向模式,则可以如图17所示生成MPM列表。从MPM列表,本实施方案可以计算第三模式(Ver)和第四模式(Hor)的基于模板的绝对变换差值和。计算出的绝对变换差值和可以用于确定MPM列表中候选模式的优先级次序。使用计算出的绝对变换差值和,可以对MPM列表中的候选模式重新排序。
参考图18a,可以计算Ver模式的绝对变换差值和SATDVer。可以计算Hor模式的绝对变换差值和SATDHor。如果SATDVer≤Threshold*SATDHor,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为平面模式的第一模式、为DC模式的第二模式、为Ver模式的第三模式、为Hor模式的第四模式、为Ver-4模式的第五模式以及为Ver+4模式的第六模式。然后,第一方案可以基于和SATDVer和SATDHor对Ver模式和Hor模式进行优先级排序。在第二方案中,可以基于和SATDVer和SATDHor将第五模式和第六模式分配为Ver-4模式和Ver+4模式。第一和第二方案可以各自独立使用。替选地,第一方案和第二方案可以组合并且一起使用。
参考图18b,可以计算Ver模式的绝对变换差值和SATDVer。可以计算Hor模式的绝对变换差值和SATDHor。如果SATDVer>Threshold*SATDHor,则可以对MPM列表重新排序。重新排序的MPM列表可以包括:为平面模式的第一模式、为DC模式的第二模式、为Hor模式的第三模式、为Ver模式的第四模式、为Hor-4模式的第五模式以及为Hor+4模式的第六模式。然后,第一方案可以基于和SATDVer和SATDHor对Ver模式和Hor模式进行优先级排序。在第二方案中,可以基于和SATDVer和SATDHor将第五模式和第六模式分配为Hor-4模式和Hor+4模式。第一方案和第二方案可以各自独立使用。替选地,第一方案和第二方案可以组合并且一起使用。
另一个实施方案可以计算平面模式的绝对变换差值和SATDPlanar。可以计算DC模式的绝对变换差值和SATDDC。如果SATDPlanar≤Threshold*SATDDC,则平面模式可以被放置在MPM列表中的第一个,然后是DC模式。如果SATDPlanar>Threshold*SATDDC,则DC模式可以被放置在MPM列表中的第一个,然后是平面模式。这些其他实施方案以及图18a和图18b中先前描述的实施方案可以各自独立使用。上述图18a和图18b中描述的实施方案和其他实施方案可以组合使用。
图19是示出根据本发明的至少一个实施方案的当前块的相邻块的示意图。计算参考块的帧内预测模式的基于模板的绝对变换差值和可以意味着通过将参考块的帧内预测模式的方向性应用于模板中的参考像素来生成预测模板,并且计算生成的预测模板中的像素与重构的模板中的像素之间的绝对变换差值和。
参考图19,可以存在为当前块的相邻块的上侧块A到H、左侧块I到P以及左上侧块Q。可以针对上侧块A到H、左侧块I到P以及左上侧块Q的帧内预测模式计算基于模板的绝对变换差值和。从用于产生计算出的绝对变换差值和的较小和的帧内预测模式开始,帧内预测模式可以被优先化以添加到MPM列表中。这里,可以任意地确定使用的上侧块、左侧块以及左上侧块的数量和位置。本发明利用与当前块相邻的参考块的不同帧内预测模式,从而提高编码效率。可以专门针对与当前块相邻的参考块的不同帧内预测模式来计算基于模板的绝对变换差值和。换句话说,可以通过冗余检查仅对新的帧内预测模式计算基于模板的绝对变换差值和。
例如,如果在与当前块相邻的参考块的帧内预测模式中不存在平面模式,则本发明可以计算平面模式的基于模板的绝对变换差值和。可以通过考虑平面模式的基于模板的绝对变换差值和来生成MPM列表。
图20是示出根据本发明的至少一个实施方案的利用当前块的相邻块的帧内预测模式的绝对变换差值和来生成MPM列表的方法的示意图。在图19中,可以计算上侧块A到H、左侧块I到P以及左上侧块Q的帧内预测模式的基于模板的绝对变换差值和。以用于产生绝对变换差值和的较小和的帧内预测模式开始,帧内预测模式可以被优先化以添加到MPM列表中。如果以用于产生绝对变换差值和的较小和的帧内预测模式开始添加MPM列表,则MPM列表可能不会被完全填充。例如,如果当前块具有来自相邻参考块的总共四个帧内预测模式,则仅使用四个帧内预测模式组成的MPM列表需要另外两个候选模式。在这种情况下,可以将候选模式添加到MPM列表,以等于缺少的候选模式的数量。
参考图20,可以从上侧块A到H、左侧块I至P以及左上侧块Q的帧内预测模式中出现总共四个非重复的帧内预测模式。非重复的帧内预测模式可以对应于A模式、B模式、C模式以及D模式。可以计算模式A、模式B、模式C以及模式D的基于模板的绝对变换差值和。基于模板的绝对变换差值和的计算结果可以按照最小的计算结果在先而最大的计算结果在后的顺序添加到MPM列表。MPM列表可以按以下次序添加基于模板的绝对变换差值和的计算结果:A模式、B模式、C模式以及D模式。相应地,MPM列表可能需要第五模式和第六模式。
使用第一模式,可以生成A模式、A-1模式和A+1模式。A-1模式和A+1模式可以与MPM列表中的所有候选模式进行重复检查。如果没有重复模式,则A-1模式和A+1模式可以被分配为第五模式和第六模式。A-1和A+1模式可以以任何次序添加到MPM列表中的第五模式和第六模式,而不考虑优先级。如果出现重复模式,则可以通过使用第二模式(B模式)来生成B-1和B+1模式。B-1和B+1模式可以与MPM列表中的所有候选模式进行重复检查。如果没有重复模式,则B-1和B+1模式可以被分配为第五模式和第六模式。B-1和B+1模式可以以优先级的任何次序添加到MPM列表中的第五模式和第六模式。
如果没有通过使用B-1模式和B+1模式来完全填充MPM列表,则可以使用第三模式(C模式)来生成C-1模式和C+1模式。C-1和C+1模式可以与MPM列表中的所有候选模式进行重复检查。如果没有重复模式,则C-1和C+1模式可以被分配为第五模式和第六模式。C-1和C+1模式可以以任何次序添加到MPM列表中的第五模式和第六模式,而不考虑优先级。可以这样做,直到MPM列表中的所有候选模式被填满。在此过程中,对于非方向模式,不计算±1个模式。
如果该过程没有填充MPM列表中的所有候选模式,则可以通过使用第一模式(A模式)来生成A-2模式和A+2模式。A-2和A+2模式可以与MPM列表中的所有候选模式进行重复检查。如果没有重复模式,则A-2和A+2模式可以以任何优先级次序添加到MPM列表。可以通过顺序地计算MPM列表中向前定位的候选模式的±1、±2、±3、……来生成要添加的模式。要添加的模式进行重复检查,以形成MPM列表。当MPM列表中的所有候选模式被填充时,该过程结束。
如果来自上侧块A到H、左侧块I到P以及左上侧块Q中的帧内预测模式的非重复帧内预测模式都是非方向模式,则MPM列表可以包括:为平面模式的第一模式、为DC模式的第二模式、为Ver模式的第三模式、为Hor模式的第四模式、为Ver-4模式的第五模式以及为Ver+4模式的第六模式。可以计算生成的MPM列表中候选模式的绝对变换差值和。通过使用计算出的绝对变换差值和,可以对MPM列表中的候选模式重新排序。
图21是示出根据本发明的至少一个实施方案的视频解码过程的示意图。
参考图21,解码装置可以基于与当前块邻近的至少一个相邻块的帧内预测模式来推导MPM列表(S2110)。推导MPM列表的步骤可以包括:通过将与当前块邻近的至少一个相邻块的一个或更多个帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来推导MPM列表。这里,可以在优先级被赋予用于生成预测像素的帧内预测模式的情况下推导MPM列表,该预测像素引起计算出的绝对变换差值和中的最小和。对于由此推导的MPM列表,视频解码过程可以省略用候选模式的基于模板的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。由此推导的MPM列表可以用于推导当前块的帧内预测模式。
当MPM列表未被完全填充时,视频解码过程可以进一步包括:通过使用用于生成预测像素(所述预测像素引起计算出的绝对变换差值和中的最小和)的帧内预测模式来推导两个帧内预测模式,以及基于两个帧内预测模式来推导MPM列表。
解码装置可以对MPM列表中的一个或更多个候选模式重新排序(S2120)。对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:通过将MPM列表中的一个或更多个候选模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,MPM列表中的一个或更多个候选模式可以包括平面模式,并且在优先级被赋予用于生成预测像素的候选模式的情况下对MPM列表重新排序,所述预测像素引起计算出的绝对变换差值和中的最小和。第一区域可以对应于当前块的顶部区域、左侧区域和左上侧区域的至少一个。
对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:在与当前块邻近的两个相邻块的帧内预测模式是不同方向模式时,通过将与当前块邻近的两个相邻块的帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,与当前块邻近的两个相邻块的帧内预测模式可以对应于用于推导MPM列表的帧内预测模式。
对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:在与当前块邻近的两个相邻块的帧内预测模式是不同方向模式时,通过将与当前块邻近的两个相邻块的帧内预测模式以及平面模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,与当前块邻近的两个相邻块的帧内预测模式可以对应于用于推导MPM列表的帧内预测模式。
对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:在与当前块邻近的两个相邻块的帧内预测模式等于方向模式时,通过将以下从方向模式推导的两个模式、平面模式以及方向模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,与当前块邻近的两个相邻块的帧内预测模式可以对应于用于推导MPM列表的帧内预测模式。
对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:在与当前块邻近的两个相邻块的帧内预测模式分别是方向模式和非方向模式时,通过将以下从方向模式推导的两个模式、平面模式以及方向模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,与当前块邻近的两个相邻块的帧内预测模式可以对应于用于推导MPM列表的帧内预测模式。
对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:在与当前块邻近的两个相邻块的帧内预测模式是非方向模式时,通过将平面模式、DC模式、竖直模式以及水平模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,与当前块邻近的两个相邻块的帧内预测模式可以对应于用于推导MPM列表的帧内预测模式。
解码装置可以基于重新排序的MPM列表中的一个或更多个候选模式来推导当前块的帧内预测模式(S2130)。解码装置可以基于当前块的帧内预测模式来生成当前块的预测块(S2140)。
图22是示出根据本发明的至少一个实施方案的视频编码过程的示意图。
编码装置可以基于与当前块邻近的至少一个相邻块的帧内预测模式来确定MPM列表(S2210)。确定MPM列表的步骤可以包括:通过将与当前块邻近的至少一个相邻块的一个或更多个帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来确定MPM列表。这里,可以在优先级被赋予用于生成预测像素的帧内预测模式的情况下确定MPM列表,该预测像素引起计算出的绝对变换差值和中的最小和。对于如此确定的MPM列表,视频编码过程可以省略执行用候选模式的基于模板的绝对变换差值和来对MPM列表中的候选模式重新排序的步骤。由此确定的MPM列表可以用于确定当前块的帧内预测模式。
确定MPM列表的步骤可以进一步包括当MPM列表未被完全填充时,通过使用用于生成预测像素(所述预测像素引起计算出的绝对变换差值和中的最小和)的帧内预测模式来确定两个帧内预测模式,以及基于两个帧内预测模式来确定MPM列表。
编码装置可以对MPM列表中的一个或更多个候选模式重新排序(S2220)。对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:通过将MPM列表中的一个或更多个候选模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,MPM列表中的一个或更多个候选模式可以包括平面模式,并且可以在优先级被赋予用于生成预测像素的候选模式的情况下对MPM列表重新排序,所述预测像素引起计算出的绝对变换差值和中的最小和。
对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:在与当前块邻近的两个相邻块的帧内预测模式是不同方向模式时,通过将与当前块邻近的两个相邻块的帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,与当前块邻近的两个相邻块的帧内预测模式可以对应于用于确定MPM列表的帧内预测模式。
对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:在与当前块邻近的两个相邻块的帧内预测模式是不同方向模式时,通过将与当前块邻近的两个相邻块的帧内预测模式以及平面模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,与当前块邻近的两个相邻块的帧内预测模式可以对应于用于确定MPM列表的帧内预测模式。
对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:在与当前块邻近的两个相邻块的帧内预测模式等于方向模式时,通过将以下从方向模式推导的两个模式、平面模式以及方向模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,与当前块邻近的两个相邻块的帧内预测模式可以对应于用于确定MPM列表的帧内预测模式。
对MPM列表中的一个或更多个候选模式重新排序的步骤可以包括:在与当前块邻近的两个相邻块的帧内预测模式是非方向模式时,通过将平面模式、DC模式、竖直模式和水平模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素,计算预测像素与第一区域中的重构像素之间的绝对变换差值和,以及基于计算出的绝对变换差值和来对MPM列表中的一个或更多个候选模式重新排序。这里,与当前块邻近的两个相邻块的帧内预测模式可以对应于用于确定MPM列表的帧内预测模式。
编码装置可以基于重新排序的MPM列表中的一个或更多个候选模式来确定当前块的帧内预测模式(S2230)。编码装置可以基于当前块的帧内预测模式来生成当前块的预测块(S2240)。
尽管描述了顺序执行的各个流程图中的步骤,但这些步骤仅仅实例化了本发明的一些实施方案的技术思想。因此,本发明所属领域的普通技术人员可以通过改变在各个附图中描述的顺序或通过并行地执行两个或更多个步骤来执行步骤。因此,各个流程图中的步骤不限于所示的时间顺序。
应当理解,上述描述呈现了可以以各种其他方式实现的说明性实施方案。在一些实施方案中描述的功能可以通过硬件、软件、固件和/或它们的组合来实现。还应当理解,本说明书中描述的功能组件标记为“...单元”,以突出强调它们独立实现的可能性。
另一方面,在一些实施方案中描述的各种方法或功能可以实现为存储在非易失性记录介质中的指令,所述指令可以由一个或更多个处理器读取和执行。非易失性记录介质可以包括例如以计算机系统可读取的形式存储数据的各种类型的记录装置。例如,非易失性记录介质可以包括存储介质,例如可擦除可编程只读存储器(EPROM)、闪存驱动器,光盘驱动器、磁性硬盘驱动器和固态驱动器(SSD)等等。
尽管出于说明的目的描述了本发明的示例性实施方案,但是本发明所属的领域的普通技术人员应当理解,在不脱离本发明的思想和范围的情况下,可以进行各种修改、添加和替换。因此,出于简洁和清楚起见,描述了本发明的实施方案。本发明的实施方案的技术思想的范围不受例示的限制。相应地,本发明所属领域的普通技术人员应当理解,本发明的范围不受上述明确描述的实施方案的限制,而是受权利要求及其等同形式的限制。
相关申请的交叉引用
本申请要求2021年9月10日提交的韩国专利申请No.10-2021-0120860以及2022年9月1日提交的韩国专利申请No.10-2022-0110561的优先权,其全部内容通过引用结合于本文中。
Claims (20)
1.一种视频解码方法,包括:
基于与当前块邻近的至少一个相邻块的帧内预测模式来推导MPM列表;
对MPM列表中的一个或更多个候选模式重新排序;
基于重新排序的MPM列表中的一个或更多个候选模式来推导当前块的帧内预测模式;以及
基于当前块的帧内预测模式生成当前块的预测块。
2.根据权利要求1所述的视频解码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
通过将MPM列表中的一个或更多个候选模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,MPM列表中的一个或更多个候选模式包括平面模式,以及
其中,在优先级被赋予用于生成预测像素的候选模式的情况下对MPM列表重新排序,所述预测像素引起最小的计算出的绝对变换差值和。
3.根据权利要求2所述的视频解码方法,其中,第一区域包括当前块的顶部区域、左侧区域和左上侧区域的至少一个。
4.根据权利要求1所述的视频解码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式是不同方向模式时,通过将与当前块邻近的两个相邻块的帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于推导MPM列表的帧内预测模式。
5.根据权利要求1所述的视频解码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式是不同方向模式时,通过将与当前块邻近的两个相邻块的帧内预测模式以及平面模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于推导MPM列表的帧内预测模式。
6.根据权利要求1所述的视频解码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式等于方向模式时,通过将从方向模式推导的两个模式、平面模式以及方向模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于推导MPM列表的帧内预测模式。
7.根据权利要求1所述的视频解码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式分别是方向模式和非方向模式时,通过将从方向模式推导的两个模式、平面模式以及方向模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于推导MPM列表的帧内预测模式。
8.根据权利要求1所述的视频解码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式是非方向模式时,通过将平面模式、DC模式、竖直模式和水平模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于推导MPM列表的帧内预测模式。
9.根据权利要求1所述的视频解码方法,其中,推导MPM列表包括:
通过将与当前块邻近的至少一个相邻块的帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和推导MPM列表,
其中,在优先级被赋予用于生成预测像素的帧内预测模式的情况下推导MPM列表,所述预测像素引起最小的计算出的绝对变换差值和,
其中,视频解码方法省略对MPM列表中的一个或更多个候选模式重新排序,以及
其中,推导当前块的帧内预测模式包括:
基于推导的MPM列表来推导当前块的帧内预测模式。
10.根据权利要求9所述的视频解码方法,其中,推导MPM列表进一步包括:
在MPM列表未被完全填充时,通过使用用于生成引起最小的计算出的绝对变换差值和的预测像素的帧内预测模式来推导两个帧内预测模式;以及
基于两个帧内预测模式来推导MPM列表。
11.一种视频编码方法,包括:
基于与当前块邻近的至少一个相邻块的帧内预测模式来确定MPM列表;
对MPM列表中的一个或更多个候选模式重新排序;
基于重新排序的MPM列表中的一个或更多个候选模式来确定当前块的帧内预测模式;以及
基于当前块的帧内预测模式来生成当前块的预测块。
12.根据权利要求11所述的视频编码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
通过将MPM列表中的一个或更多个候选模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,MPM列表中的一个或更多个候选模式包括平面模式,以及
其中,在优先级被赋予用于生成预测像素的候选模式的情况下对MPM列表重新排序,所述预测像素引起最小的计算出的绝对变换差值和。
13.根据权利要求11所述的视频编码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式是不同方向模式时,通过将与当前块邻近的两个相邻块的帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于确定MPM列表的帧内预测模式。
14.根据权利要求11所述的视频编码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式是不同方向模式时,通过将与当前块邻近的两个相邻块的帧内预测模式以及平面模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于确定MPM列表的帧内预测模式。
15.根据权利要求11所述的视频编码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式等于方向模式时,通过将从方向模式推导的两个模式、平面模式以及方向模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于确定MPM列表的帧内预测模式。
16.根据权利要求11所述的视频编码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式分别是方向模式和非方向模式时,通过将从方向模式推导的两个模式、平面模式以及方向模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于确定MPM列表的帧内预测模式。
17.根据权利要求11所述的视频编码方法,其中,对MPM列表中的一个或更多个候选模式重新排序包括:
在与当前块邻近的两个相邻块的帧内预测模式是非方向模式时,通过将平面模式、DC模式、竖直模式以及水平模式的至少一个应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和对MPM列表中的一个或更多个候选模式重新排序,
其中,与当前块邻近的两个相邻块的帧内预测模式是用于确定MPM列表的帧内预测模式。
18.根据权利要求11所述的视频编码方法,其中,确定MPM列表包括:
通过将与当前块邻近的至少一个相邻块的一个或更多个帧内预测模式应用于与当前块邻近的第一区域中的参考像素来生成预测像素;
计算预测像素与第一区域中的重构像素之间的绝对变换差值和;以及
基于绝对变换差值和确定MPM列表,
其中,在优先级被赋予用于生成预测像素的帧内预测模式的情况下确定MPM列表,所述预测像素引起最小的计算出的绝对变换差值和,
其中,视频编码方法省略对MPM列表中的一个或更多个候选模式重新排序,
其中,确定当前块的帧内预测模式包括:
基于确定的MPM列表来确定当前块的帧内预测模式。
19.根据权利要求18所述的视频编码方法,其中,确定MPM列表进一步包括:
在MPM列表未被完全填充时,通过使用用于生成引起最小的计算出的绝对变换差值和的预测像素的帧内预测模式来确定两个帧内预测模式;以及
基于两个帧内预测模式来确定MPM列表。
20.一种计算机可读记录介质,其存储由视频编码方法生成的比特流,所述视频编码方法包括:
基于与当前块邻近的至少一个相邻块的帧内预测模式来确定MPM列表;
对MPM列表中的一个或更多个候选模式重新排序;
基于重新排序的MPM列表中的一个或更多个候选模式来确定当前块的帧内预测模式;以及
基于当前块的帧内预测模式来生成当前块的预测块。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0120860 | 2021-09-10 | ||
KR1020220110561A KR20230038097A (ko) | 2021-09-10 | 2022-09-01 | 비디오 부호화/복호화 방법 및 장치 |
KR10-2022-0110561 | 2022-09-01 | ||
PCT/KR2022/013478 WO2023038444A1 (ko) | 2021-09-10 | 2022-09-07 | 비디오 부호화/복호화 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117917073A true CN117917073A (zh) | 2024-04-19 |
Family
ID=90692940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280061166.7A Pending CN117917073A (zh) | 2021-09-10 | 2022-09-07 | 视频编码/解码方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117917073A (zh) |
-
2022
- 2022-09-07 CN CN202280061166.7A patent/CN117917073A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240015308A1 (en) | Apparatus and method for video encoding and decoding | |
CN116472709A (zh) | 用于视频编码和解码的装置和方法 | |
CN116530082A (zh) | 利用帧内预测的视频编码的方法和装置 | |
CN113812147B (zh) | 使用块内复制的图像编码和解码 | |
CN113892268A (zh) | 基于预测模式估计的帧内预测装置和方法 | |
KR20220118351A (ko) | 인트라 예측 신호와 인터 예측 신호의 가중 합을 이용한 예측 블록을 생성하는 방법 및 이를 이용한 장치 | |
CN116636211A (zh) | 利用块合并编码视频的方法和装置 | |
CN116941241A (zh) | 利用基于矩阵的交叉分量预测的视频编解码方法和装置 | |
CN116491114A (zh) | 利用子块单元帧内预测的影像编码和解码方法和装置 | |
CN116113985A (zh) | 利用基于深度学习的环内滤波器进行视频编码和解码 | |
CN117917073A (zh) | 视频编码/解码方法和装置 | |
US20240214560A1 (en) | Video encoding/decoding method and apparatus | |
US20230283768A1 (en) | Method for predicting quantization parameter used in a video encoding/decoding apparatus | |
US20240214556A1 (en) | Video encoding/decoding method and apparatus | |
US20240114131A1 (en) | Video encoding/decoding method and apparatus | |
CN117917072A (zh) | 视频编码/解码方法和装置 | |
US20240107011A1 (en) | Video encoding/decoding method and apparatus | |
US20230308662A1 (en) | Method and apparatus for video coding using block merging | |
CN117581534A (zh) | 视频编码/解码方法和装置 | |
KR20230038097A (ko) | 비디오 부호화/복호화 방법 및 장치 | |
CN117581535A (zh) | 用于编码/解码视频的方法和装置 | |
CN118160304A (zh) | 使用各种块划分结构的视频编码方法和设备 | |
CN118140476A (zh) | 利用几何帧内预测模式的视频编解码的方法和装置 | |
CN117795956A (zh) | 视频编码/解码方法和设备 | |
KR20230036976A (ko) | 비디오 부호화/복호화 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |