CN111373749B - 视频编码和解码中的低复杂度双向帧内预测的方法和装置 - Google Patents

视频编码和解码中的低复杂度双向帧内预测的方法和装置 Download PDF

Info

Publication number
CN111373749B
CN111373749B CN201880075050.2A CN201880075050A CN111373749B CN 111373749 B CN111373749 B CN 111373749B CN 201880075050 A CN201880075050 A CN 201880075050A CN 111373749 B CN111373749 B CN 111373749B
Authority
CN
China
Prior art keywords
prediction
intra
block
directional intra
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880075050.2A
Other languages
English (en)
Other versions
CN111373749A (zh
Inventor
F.莱林内克
F.拉卡普
G.拉思
F.厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN111373749A publication Critical patent/CN111373749A/zh
Application granted granted Critical
Publication of CN111373749B publication Critical patent/CN111373749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本实施例中的至少一个一般地涉及一种用于视频编码和解码的方法和装置，并且更具体地涉及一种用于低复杂度双向帧内预测的方法和装置。例如，基于正被编码或解码的图片的当前块的形状来选择多个方向帧内预测模式的子集。对于该子集中的所选帧内预测模式，通过使用两个预测器对样本值进行双向帧内预测。这两个预测器基本上在基于与所选方向帧内预测模式相对应的方向的线上。可以将双向帧内预测仅应用于大的亮度块，而不应用于色度块，以便降低计算复杂度。当使用双向帧内预测时，可以在帧内预测中省略平滑滤波以进一步降低复杂度。

Description

视频编码和解码中的低复杂度双向帧内预测的方法和装置
技术领域
本实施例中的至少一个一般地涉及一种用于视频编码和解码的方法和装置，并且更具体地涉及一种用于低复杂度双向帧内预测的方法和装置。
背景技术
为了实现高压缩效率，图像和视频编码方案通常采用预测和变换编码来利用视频内容中的空间和时间冗余。通常，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始块和预测的块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过与预测、变换、量化和熵编码相对应的逆过程对压缩数据进行解码。
视频压缩中的帧内预测是指使用来自因果邻近块(即，同一帧中已被编码或解码的邻近块)的信息对像素块进行空间预测。帧内预测是强大的编码工具，因为它允许帧内(INTRA)帧以及帧间(INTER)帧中的高压缩效率。因此，帧内预测已经作为核心编码工具而被包括在许多视频压缩标准中，包括但不限于H.264/AVC和H.265/HEVC(高效视频编码)。许多现有的视频编码标准使用编码工具的定点实现方式。
视频压缩技术的最近添加内容包括由联合视频探索组(JVET)开发的各种版本的参考软件和/或文档Joint Exploration Model(联合探索模型，JEM)。JEM的目的是进一步改进现有的HEVC标准。
发明内容
根据至少一个实施例的一般方面，提出了一种视频解码的方法，包括：基于正被解码的图片的当前块的形状，选择多个方向帧内预测模式的子集；从多个方向帧内预测模式的子集中选择方向帧内预测模式；基于方向帧内预测模式，访问样本的第一预测器，样本在当前块内；基于方向帧内预测模式，访问样本的第二预测器，第一预测器和第二预测器基本上在基于与方向帧内预测模式相对应的方向的线上；通过使用第一预测器和第二预测器来双向帧内预测样本的样本值；以及基于所预测的样本值来解码当前块的样本。
根据至少一个实施例的另一个一般方面，提出了一种视频编码的方法，包括：基于正被编码的图片的当前块的形状，选择多个方向帧内预测模式的子集；从多个方向帧内预测模式的子集中选择方向帧内预测模式；基于方向帧内预测模式，访问样本的第一预测器，样本在当前块内；基于方向帧内预测模式，访问样本的第二预测器，第一预测器和第二预测器基本上在基于与方向帧内预测模式相对应的方向的线上；通过使用第一预测器和第二预测器来双向帧内预测样本的样本值；以及基于所预测的样本值来编码当前块的样本。
根据至少一个实施例的另一个一般方面，提出了一种用于视频解码的装置，包括：至少一个存储器和一个或多个处理器，其中所述一个或多个处理器被配置为：基于正被解码的图片的当前块的形状，选择多个方向帧内预测模式的子集；从多个方向帧内预测模式的子集中选择方向帧内预测模式；基于方向帧内预测模式，访问样本的第一预测器，样本在当前块内；基于方向帧内预测模式，访问样本的第二预测器，第一预测器和第二预测器基本上在基于与方向帧内预测模式相对应的方向的线上；通过使用第一预测器和第二预测器来双向帧内预测样本的样本值；以及基于所预测的样本值来解码当前块的样本。
根据至少一个实施例的另一个一般方面，提出了一种用于视频解码的装置，包括：用于基于正被解码的图片的当前块的形状，选择多个方向帧内预测模式的子集的部件；用于从多个方向帧内预测模式的子集中选择方向帧内预测模式的部件；用于基于方向帧内预测模式，访问样本的第一预测器的部件，样本在当前块内；用于基于方向帧内预测模式，访问样本的第二预测器的部件，第一预测器和第二预测器基本上在基于与方向帧内预测模式相对应的方向的线上；用于通过使用第一预测器和第二预测器来双向帧内预测样本的样本值的部件；以及用于基于所预测的样本值来解码当前块的样本的部件。
根据至少一个实施例的另一个一般方面，提出了一种用于视频编码的装置，包括至少一个存储器和一个或多个处理器，其中所述一个或多个处理器被配置为：基于正被编码的图片的当前块的形状，选择多个方向帧内预测模式的子集；从多个方向帧内预测模式的子集中选择方向帧内预测模式；基于方向帧内预测模式，访问样本的第一预测器，样本在当前块内；基于方向帧内预测模式，访问样本的第二预测器，第一预测器和第二预测器基本上在基于与方向帧内预测模式相对应的方向的线上；通过使用第一预测器和第二预测器来双向帧内预测样本的样本值；以及基于所预测的样本值来编码当前块的样本。
根据至少一个实施例的另一个一般方面，提出了一种用于视频编码的装置，包括：用于基于正被编码的图片的当前块的形状，选择多个方向帧内预测模式的子集的部件；用于从多个方向帧内预测模式的子集中选择方向帧内预测模式的部件；用于基于方向帧内预测模式，访问样本的第一预测器的部件，样本在当前块内；用于基于方向帧内预测模式，访问样本的第二预测器的部件，第一预测器和第二预测器基本上在基于与方向帧内预测模式相对应的方向的线上；用于通过使用第一预测器和第二预测器来双向帧内预测样本的样本值的部件；以及用于基于所预测的样本值来编码当前块的样本的部件。
根据至少一个实施例的另一个一般方面，正被解码或编码的当前块的形状是矩形，并且基于矩形的宽度是否大于矩形的高度来选择子集。
根据至少一个实施例的另一个一般方面，当矩形的宽度大于矩形的高度时，则所选择的多个方向帧内预测模式的子集包括：Kmax数量个最接近最正水平方向模式的正水平方向帧内预测模式，以及Kmax*(H/W)数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，其中Kmax是从2至16的数量，H是矩形的高度，W是矩形的宽度。
根据至少一个实施例的另一个一般方面，当矩形的高度大于矩形的宽度时，则所选择的多个方向帧内预测模式的子集包括：Kmax数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，以及Kmax*(W/H)数量个最接近最正水平方向模式的正水平方向帧内预测模式，其中Kmax是从2至16的数量，H是矩形的高度，W是矩形的宽度。
根据至少一个实施例的另一个一般方面，在选择多个方向帧内预测模式的子集之前确定当前块尺寸，并且当所确定的当前块尺寸大于预设值时，做出对多个方向帧内预测模式的子集的选择。
根据至少一个实施例的另一个一般方面，所预测的样本值不被平滑滤波器进一步滤波。
根据至少一个实施例的另一个一般方面，做出决定以确定当前块是否为亮度块，并且当确定当前块为亮度块时应用双向帧内预测。
根据至少一个实施例的另一个一般方面，预设值为4个、8个、16个或32个像素。
根据至少一个实施例的另一个一般方面，在比特流中包括标志以用于指示双向帧内预测被使用。
根据至少一个实施例的另一个一般方面，提出了一种比特流，其中该比特流通过以下方式形成：基于正被解码的图片的当前块的形状，选择多个方向帧内预测模式的子集；从多个方向帧内预测模式的子集中选择方向帧内预测模式；基于方向帧内预测模式，访问样本的第一预测器，样本在当前块内；基于方向帧内预测模式，访问样本的第二预测器，第一预测器和第二预测器基本上在基于与方向帧内预测模式相对应的方向的线上；通过使用第一预测器和第二预测器来双向帧内预测样本的样本值；以及基于所预测的样本值来编码当前块的样本。
本实施例中的一个或多个还提供了一种计算机可读存储介质，其上存储有用于根据上述方法对视频数据进行编码或解码的指令。本实施例还提供了一种计算机可读存储介质，其上存储有根据上述方法生成的比特流。本实施例还提供了一种用于发送根据上述方法生成的比特流的方法和装置。
附图说明
图1示出了示例性视频编码器的框图。
图2A是描绘HEVC参考样本生成的图示示例，图2B是描绘HEVC中的帧内预测方向和对应模式的图示示例，图2C是描绘JEM(联合探索模型)中的帧内预测方向和对应模式的图示示例，并且图2D是描绘针对负垂直方向来预测和构建顶部参考阵列的图示示例。
图3示出了示例性视频解码器的框图。
图4是描绘在正垂直方向上来自顶部参考阵列和左侧参考阵列的双向帧内预测的图示示例。
图5是描绘在正水平方向上来自顶部参考阵列和左侧参考阵列的双向帧内预测的另一图示示例。
图6示出了根据实施例的被选择用于双向帧内预测的多个方向帧内预测模式的子集。
图7A示出了根据另一实施例的在块的宽度大于块的高度时被选择用于双向帧内预测的方向帧内预测模式子集，并且图7B示出了根据另一实施例的在块的高度大于块的宽度时被选择用于双向帧内预测的方向帧内预测模式子集。
图8A和图8B分别示出了用于JEM的帧内模式66和模式58-模式65的边界预测滤波器的示例。
图9示出了根据实施例的利用双向帧内预测的视频编码的示例性方法。
图10示出了根据实施例的利用双向帧内预测的视频解码的示例性方法。
图11示出了根据实施例的利用双向帧内预测的视频编码的另一示例性方法。
图12示出了根据实施例的利用双向帧内预测的视频解码的另一示例性方法。
图13示出了其中可以实现示例性实施例的各个方面的示例性装置的框图。
具体实施方式
图1示出了示例性HEVC编码器100。为了对具有一个或多个图片的视频序列进行编码，将图片分区为一个或多个条带，其中每个条带可以包括一个或多个条带段。将条带段组织为编码单元、预测单元和变换单元。
在本申请中，术语“重构的”和“解码的”可以互换使用，并且术语“图片”和“帧”可以互换使用，并且术语“像素”和“样本”可以互换使用。通常但并非必须地，术语“重构的”在编码器侧使用，而“解码的”在解码器侧使用。
HEVC规范在“块”和“单元”之间区分，其中“块”针对样本阵列(例如，亮度，Y)中的特定区域，而“单元”包括所有已编码颜色分量(Y、Cb、Cr或单色)的并置块、语法元素和与块相关联的预测数据(例如，运动矢量)。
为了编码，将图片分区为具有可配置尺寸的正方形的编码树块(CTB)，并将连续的一组编码树块分组为条带。编码树单元(CTU)包含已编码颜色分量的CTB。CTB是分区为编码块(CB)的四叉树的根，并且可以将编码块分区为一个或多个预测块(PB)，并形成分区为变换块(TB)的四叉树的根。与编码块、预测块和变换块相对应，编码单元(CU)包括预测单元(PU)和树状结构的变换单元(TU)集合，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的尺寸适用于对应的CU、PU和TU。在本申请中，术语“块”可以用于指代CTU、CU、PU、TU、CB、PB和TB中的任何一个。另外，“块”也可以用于指代如H.264/AVC或其他视频编码标准中指定的宏块和分区，并且更一般地指代各种尺寸的数据阵列。
在示例性编码器100中，如下所述，由编码器元件对图片进行编码。要编码的图片以CU为单位进行处理。使用帧内或帧间模式对每个CU进行编码。当CU以帧内模式编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个对CU进行编码，并且通过预测模式标志来指示帧内/帧间决定。通过从原始图像块中减去(110)预测的块来计算预测残差。
为了利用空间冗余，根据同一条带内的重构的邻近样本来预测帧内模式中的CU。当考虑当前CU的编码/解码时，因果邻近CU已经被编码/解码。为了避免失配，编码器和解码器具有相同的预测。因此，编码器和解码器都使用来自重构/解码的邻近因果CU的信息以形成对当前CU的预测。
HEVC中的帧内预测过程包括三个步骤：(1)参考样本生成，(2)帧内样本预测，以及(3)预测样本的后处理。示例性HEVC参考样本在图2A中示出，其中相对于当前块左上角的上方和左侧的一个像素，坐标(x，y)处的参考像素值由R(x，y)指示，并且当前块的坐标(x，y)处的预测样本值由P(x，y)指示。对于尺寸为N×N的CU，从已解码CU形成顶部的一行2N个解码样本。类似地，从已解码CU形成左侧的一列2N个样本。来自左上方已解码CU的角像素用于填充上方行参考和左侧列参考之间的间隙。如果一些样本不可用，例如，当对应的CU不在同一条带中或者当前CU在帧边界处时，则执行参考样本替换，其中以顺时针方向从可用样本中复制缺失的样本。然后，取决于当前CU尺寸和预测模式，使用指定的滤波器对参考样本进行滤波。
下一步即帧内样本预测包括基于参考样本来预测目标CU的像素。为了有效地预测不同种类的内容，HEVC支持一系列预测方法。特别地，平面和DC预测模式用于预测平滑且逐渐改变的区域，而方向预测模式(也称为“角度预测模式”)用于捕获不同的方向结构。HEVC支持33个方向预测模式，从2至34对其编索引。如图2B中所示，这些预测模式对应于不同的预测方向，其中数字(即，2、3、…、34)表示帧内预测模式索引。由于预测的主要来源在水平方向上，因此将预测模式2-模式17表示为水平预测模式(H-26至H+32)。相应地，将模式18-模式34表示为垂直预测模式(V-32至V+32)。图2B中的“H”和“V”分别用于指示水平和垂直方向性，而标识符的数字部分指示1/32像素分数下的像素位移(也称为“角度参数”)。
表1示出了如由HEVC指定的方向预测模式与角度参数A之间的关系。
表1
具有非负位移的方向(即，H0至H+32和V0至V+32)也被称为正方向，而具有负位移的方向(即，H-2至H-26和V-2至V-32)也被称为负方向。也可以将正预测方向定义为具有正A值的方向，并且可以将负预测方向定义为具有负A值的方向。
如图2B中所示，所定义的角度方向具有1/32的样本精度。也就是说，水平或垂直方向上的两个像素之间的间隔被划分为32个子间隔。如上所述，所定义的方向可以区分为垂直或水平。水平方向上的预测模式仅使用左侧参考样本，或者使用一些左侧参考样本和一些顶部参考样本。类似地，垂直方向上的预测模式仅使用顶部参考样本，或者使用一些顶部参考样本和一些左侧参考样本。从H0至H+32的水平正方向仅使用左侧参考样本进行预测。类似地，从V0至V+32的垂直正方向仅使用顶部参考样本进行预测。负的水平和垂直方向(H-2至H-26和V-2至V-32)使用左侧和顶部两者的参考样本进行预测。在水平或垂直方向上具有最大角度参数的方向帧内预测模式被认为是最正的水平或垂直方向帧内预测模式。例如，在图2B中，模式2被认为是最正水平方向帧内预测模式(H+32)，并且模式34被认为是最正垂直方向帧内预测模式(V+32)。
在HEVC参考码中，首先使用顶部和左侧参考样本来构建参考阵列。对于垂直预测，参考阵列是水平的(即，一行参考样本)，而对于水平预测，参考阵列是垂直的(即，一列参考样本)。对于具有正方向的模式，取决于方向，参考阵列仅为顶部或左侧参考样本：
topRef[x]＝R(x,0)，0≤x≤2N，对于垂直预测 (1)
leftRef[y]＝R(0,y)，0≤y≤2N，对于水平预测 (2)
对于具有负方向的模式，参考阵列需要来自顶部和左侧参考阵列两者的像素。在这种情况下，参考阵列将延伸到0以外的负索引。取决于垂直或水平预测，如上获得具有正索引的参考阵列上的样本值。具有负索引的参考阵列上的样本值是通过在预测方向上将左侧参考像素(对于垂直预测)或顶部参考像素(对于水平预测)投影在参考阵列上而获得的：
topRef[x]＝R(0,(x*B+128)>>8)，-N≤x<0，对于垂直预测
leftRef[y]＝R((y*B+128)>>8,0)，-N≤y<0，对于水平预测其中>>表示向右的比特移位运算，并且B表示与角度参数A相对应的反角度参数。图2D示出了针对负方向利用来自左侧参考阵列的样本映射来构建顶部参考阵列。
一旦构建了参考阵列，则通过沿所选方向将像素位置投影到参考阵列并以1/32像素精度为其插入一个值，来获得目标PU内任何像素位置(x，y)处的预测。通过在两个最接近的参考样本之间进行插值来计算预测样本值：
P(x,y)＝((32-f)*topRef[x+i]+f*topRef[x+i+1]+16)>>5)，1≤x，y≤N，对于垂直预测 (3)
P(x,y)＝((32-f)*leftRef[y+i]+f*leftRef[y+i+1]+16)>>5)，1≤x，y≤N，对于水平预测 (4)
其中i和f表示来自像素位置(x，y)的投影位移的整数部分和小数部分。
如果Δ表示投影位移，则
对于水平预测，Δ＝x*A，并且对于垂直预测，Δ＝y*A。
i＝Δ>>5，f＝Δ&31
其中&表示按位与运算。注意，如果f＝0，即没有小数部分，并且预测样本值等于预测方向上的参考阵列样本值。
在HEVC中，一些预测模式(诸如DC模式、以及直接水平模式(即，模式10)和直接垂直模式(即，模式26))可能导致预测样本在CU边界处的不连续性。因此，在这些预测模式之后进行后处理，其中使用诸如例如低通滤波器的平滑滤波器来使预测样本的边界平滑。在此，直接水平模式是指当水平向右重复目标块左侧的参考样本以进行帧内预测时的预测模式。类似地，直接垂直模式是指当垂直向下重复目标块顶部的参考样本以进行帧内预测时的预测模式。
由于存在多个可用的帧内预测模式，所以解码器需要模式信息来形成对帧内编码CU的预测。编码器使用亮度分量的最可能模式(MPM)集合对模式信息进行编码。HEVC指定由三个不同模式组成的MPM集合，该集合由当前CU顶部和左侧的帧内编码CU的预测模式、平面模式、DC模式和直接垂直模式构成。
可以使用两个不同的选项对当前块的适用亮度帧内预测模式进行编码。如果适用模式包含在三个最可能模式(MPM)的构建列表中，则通过MPM列表中的索引来用信号通知该模式。否则，通过模式索引的固定长度二值化来用信号通知该模式。从顶部和左侧邻近块的帧内预测模式中导出三个最可能模式。
对于帧间CU，将对应的编码块进一步分区为一个或多个预测块。在PB级别上执行帧间预测，并且对应的PU包含关于如何执行帧间预测的信息。可以以两种方法、即“合并(merge)模式”和“高级运动矢量预测(AMVP)”来用信号通知运动信息(即，运动矢量和参考图片索引)。
在合并模式中，视频编码器或解码器基于已编码块来组装候选列表，并且视频编码器用信号通知候选列表中候选之一的索引。在解码器侧，基于用信号通知的候选来重构运动矢量(MV)和参考图片索引。
在AMVP中，视频编码器或解码器基于从已编码块中确定的运动矢量来组装候选列表。然后，视频编码器用信号通知候选列表中的索引以识别运动矢量预测器(MVP)，并用信号通知运动矢量差(MVD)。在解码器侧，运动矢量(MV)被重构为MVP+MVD。适用的参考图片索引也在AMVP的PU语法中显式编码。
然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其他语法元素进行熵编码(145)以输出比特流。编码器也可以跳过变换，并在4×4TU的基础上将量化直接应用于未变换的残差信号。编码器也可以绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。在直接PCM编码中，不应用预测，并且将编码单元样本直接编码到比特流中。
编码器对编码块进行解码，以提供用于进一步预测的参考。对量化的变换系数进行解量化(140)和逆变换(150)以解码预测残差。组合(155)解码的预测残差和预测的块，来重构图像块。将环内滤波器(165)应用于重构的图片，以例如执行解块/SAO(样本自适应偏移)滤波来减少编码伪像。将滤波后的图像存储在参考图片缓冲器(180)。
图3示出了示例性HEVC视频解码器300的框图。在示例性解码器300中，如下所述，由解码器元件对比特流进行解码。视频解码器300通常执行与如图1中描述的编码通路相对的解码通路，该编码通路也执行视频解码作为编码视频数据的一部分。
特别地，解码器的输入包括可以由视频编码器100生成的视频比特流。首先对比特流进行熵解码(330)以获得变换系数、运动矢量和其他编码信息。对变换系数进行解量化(340)和逆变换(350)以解码预测残差。组合(355)解码的预测残差和预测的块，来重构图像块。可以从帧内预测(360)或运动补偿预测(即，帧间预测)(375)获得(370)预测的块。如上所述，可以使用AMVP和合并模式技术来导出用于运动补偿的运动矢量，运动补偿可以使用插值滤波器来计算参考块的子整数样本的插入值。将环内滤波器(365)应用于重构的图像。将滤波后的图像存储在参考图片缓冲器(380)。
如上所述，在HEVC中，视频序列的帧的编码基于块结构。帧被划分为正方形编码树单元(CTU)，正方形编码树单元(CTU)可以基于速率失真标准经历四叉树(QT)分割，成为多个编码单元。每个CU被帧内预测(即根据因果邻近CU在空间上预测)，或者被帧间预测(即根据已经解码的参考帧在时间上预测)。在I条带中，所有CU都被帧内预测，而在P和B条带中，CU可以被帧内或帧间预测。对于帧内预测，HEVC定义35个预测模式，其包括一个平面模式(索引为模式0)、一个DC模式(索引为模式1)和33个方向预测模式(索引为模式2-34)。
在JEM中，QTBT(四叉树加二叉树)结构去除了HEVC中多个分区类型的概念，即去除了CU、PU和TU概念的分离。首先通过四叉树结构将编码树单元(CTU)分区。通过二叉树结构进一步将四叉树叶节点分区。二叉树叶节点被称为编码单元(CU)，无需进一步分区即可将其用于预测和变换。因此，在新的编码QTBT块结构中，CU、PU和TU具有相同的块尺寸。在JEM中，CU由不同颜色分量的编码块(CB)组成。为了便于表示，由二叉树分区产生的CU或块也被称为二叉树(BT)CU或块，并且由四叉树分区产生的CU或块也被称为四叉树(QT)CU或块。
与HEVC相比，JEM中的当前提议还增加了帧内预测模式的数量。例如，如图2C中所示，除了平面模式0和DC模式1之外，JEM 3.0还使用65个方向帧内预测模式。方向帧内预测模式从2到66以升序编号，方式与如图2B中所示的HEVC中从2到34进行的方式相同。65个方向预测模式包括HEVC中指定的33个方向预测模式，加上与两个原始角度之间的角度相对应的32个附加方向预测模式。换句话说，JEM中的预测方向具有两倍的HEVC角度分辨率。已经提出了更高数量的预测模式，以开发所提出的更大块尺寸的更精细角度结构的可能性。对应于更高数量的模式，存在更高数量的角度参数A值。如图2C中所示，在JEM中，模式2被认为是最正水平方向帧内预测模式(与在HEVC中相同)，并且模式66被认为是最正垂直方向帧内预测模式。
除了正方形CU之外，JEM也可以由于QTBT结构而具有矩形CU。在这种情况下，对于正方向，如下构建参考阵列：
topRef[x]＝R(x,0)，0≤x≤W+H，对于垂直预测
leftRef[y]＝R(0,y)，0≤y≤W+H，对于水平预测
其中W和H分别表示目标CU的宽度和高度。对于负方向，如上对于正索引那样构建参考阵列。对于负索引，使用左侧参考阵列(对于垂直预测)或顶部参考阵列(对于水平预测)的投影：
topRef[x]＝R(0,(x*B+128)>>8)，-H≤x<0，对于垂直预测
leftRef[y]＝R((y*B+128)>>8,0)，-W≤y<0，对于水平预测
预测过程基本上保持与HEVC中相同。将像素值计算为：
P(x,y)＝((32-f)*topRef[x+i]+f*topRef[x+i+1]+16)>>5，1≤x≤W，1≤y≤H，对于垂直预测 (5)
P(x,y)＝((32-f)*leftRef[y+i]+f*leftRef[y+i+1]+16)>>5，1≤x≤W，1≤y≤H，对于水平预测 (6)
如上所述，HEVC和JEM旨在通过不同的角度预测模型对不同的方向结构进行建模。取决于方向性，一些预测方向被称为正的，而一些被称为负的。当强度值沿预测方向不改变太多时，预测模型良好地工作。然而，在自然影像中，由于多种原因，物体上的强度值通常经历改变。例如，由于物体本身的颜色属性、光照、深度、运动等，PU上的强度值可能经历无法使用像素重复来充分建模的改变。当PU尺寸大时尤其如此，例如，JEM已提出使用高达256的CTU尺寸。因此，可以考虑其他预测模型，这些预测模型可以更有效地对强度改变进行建模。
相应地，JEM的各个方面旨在以速率失真(RD)优化的方式来改进先前已知的视频压缩技术。一个众所周知且常用的确定速率失真成本的示例定义如下：
RD_cost＝D+λ×R
其中D表示原始块和重构块之间的失真(通常为L2范数)，该重构块通过用所考虑的候选编码和解码当前CU而获得；R表示速率成本，例如通过用所考虑的候选编码当前块而生成的比特数；λ是拉格朗日参数，其表示视频序列被编码的速率目标。
双向帧内预测
标题为“Method and Apparatus for Bi-Directional Intra Prediction forNegative Directions in Video Encoding and Decoding(视频编码和解码中的负方向的双向帧内预测的方法和装置)”(EP17305629.2，代理人案号PF170080)、“Method andApparatus for Intra Prediction with Interpolation(利用插值进行帧内预测的方法和装置)”(EP17305635.9，代理人案号PF 170090)、“Method and Apparatus for Low-Complexity Bi-Directional Intra Prediction in Video Encoding and Decoding(视频编码和解码中的低复杂度双向帧内预测的方法和装置)”(EP17305639.1，代理人案号PF170091)的共同拥有的EP申请公开了与正帧内预测方向或负帧内预测方向上的双向帧内预测有关的不同方法，通过引用特别地将其教导并入本文。
在一个示例中，双向帧内预测用于通过从第一参考阵列获得的第一预测器和从不同于第一参考阵列的第二参考阵列获得的第二预测器，来预测目标块的样本。
例如，如图4和图5中所示，预测方向在相反侧延伸，以获得目标像素P[x][y]的第二预测器。第二预测器位于第二参考阵列(即，不包含第一预测器的阵列)上。利用两个预测器，而不是如HEVC中所做的那样简单地复制第一预测器，在目标像素位置处插入一个值并将其用作预测值，这两个预测器基本上在基于与方向帧内预测模式相对应的方向的线上。
如图4中所示的示例，通过在来自顶部参考阵列的预测器P1和来自左侧参考阵列的预测器P2之间进行插值，来获得目标样本P[x][y]的预测值。如上所述，可以通过在两个最接近的参考样本之间进行插值来获得预测器P1或P2。例如，预测器P2在左侧参考阵列中，基本上在与由帧内方向预测给出的方向预测线的交点处。
如图5中所示的另一示例，通过在来自左侧参考阵列的预测器P1和来自顶部参考阵列的预测器P2之间进行插值，来获得目标样本P[x][y]的预测值。在该示例中，预测器P2在顶部参考阵列中，基本上在与由帧内方向预测给出的方向预测线的交点处。
假设在HEVC中参考阵列具有2N+1个样本的有限尺寸(在JEM的情况下为1+W+H)，对于一些预测方向，由于预测方向的延伸不会与另一参考阵列相交，所以一些目标像素不可能具有来自另一参考阵列的第二预测器。在那些情况下，在一种方法中，通过重复另一参考阵列的最后一个样本值到该阵列以外来估计第二预测器。例如，如图5中所示，对于目标像素，如果第二预测器超过左侧参考阵列的长度，则仅使用最后一个左侧参考样本，即样本R[0][W+H]。左侧参考阵列根据需要向下延伸。
在另一种方法中，使用现有的两个参考阵列上的参考样本来估计新的参考阵列。例如，可以从R[0][W+H]到R[W+H][W+H]构建底部参考阵列，其中使用参考样本R[0][W+H](在左侧参考阵列上)和R[W+H][0](在顶部参考阵列上)的线性插值来估计从R[1][W+H]到R[W+H][W+H]的未知样本。可选地，在另一种方法中，底部参考样本是参考样本R[0][W+H]的简单重复。在预测方向的延伸与新的参考阵列的交点处估计第二预测器。
虽然双向帧内预测可以相对于传统的单向帧内预测产生BD(-delta)率改进，但是认识到对于未来的视频编码标准而言，附加复杂度可能被认为过高。相应地，本实施例在保持良好BD率性能的同时降低双向帧内预测的复杂度方面做出进一步的改进。在下面详细描述这些改进。
在示例性实施例中，一个改进是将双向预测仅应用于最接近对角线方向的正角度方向子集。所选的方向子集提供双向帧内预测的最大增益，这是因为对于大多数目标像素而言，两侧的真实参考样本是可用的。
在另一示例性实施例中，另一个改进是将双向帧内预测仅应用于较大的块尺寸。观察到，如果目标块具有小尺寸，则目标像素的两个预测器之间的差异通常是小的。因此，由双向帧内预测(其使用两个预测器的线性插值进行预测)所带来的增益将是微小的。因此，将双向帧内预测仅应用于较大的块尺寸是有意义的。
在另一示例性实施例中，另一个改进是在使用以上双向帧内预测时，预测样本值不被平滑滤波器进一步滤波。在HEVC和JEM中，通过平滑/解块滤波器(例如，低通滤波器)进行的后处理/后滤波被应用于某些预测方向，以在块边界处具有更平滑的改变。在双向帧内预测的情况下，该滤波进一步增加复杂度，而不会带来更高的预测质量。因此，没有必要使双向预测具有这种后滤波。
在另一示例性实施例中，另一个改进是将双向帧内预测仅应用于正被编码或解码的块的亮度分量而不是色度分量，这是因为色度强度的变化通常是小的。
如上所述，双向帧内预测需要目标像素的两个预测器。由于参考样本仅在目标块的顶部和左侧可用，所以对于某些像素，第二预测器不属于任何一个参考阵列。因此，为了BD率性能和复杂度之间的良好折衷，可以将双向预测仅应用于大多数目标像素会具有两个可用预测器的那些方向。
考虑如图2B中所示的角度预测方向以及如图4和图5中所示的可用参考阵列，仅对于HEVC中的模式2和模式34或JEM中的模式2和模式66，块中的所有目标像素都将具有可用的两个预测器。随着模式索引从2逐渐增加或者从34(或JEM中的66)逐渐减小，具有两个可用预测器的目标像素的数量将逐渐减少。随着模式索引接近直接水平(HEVC中的模式10或JEM中的模式18)或直接垂直(HEVC中的模式26或JEM中的模式50)，具有两个可用预测器的目标像素的数量将接近零。对于负预测方向，所有目标像素都将只有一个可用预测器。
相应地，为了降低与双向预测相关的复杂度，因此可以将双向预测仅应用于最接近HEVC中模式2和34或者JEM中的模式2和66的几个预测方向。可以用阈值来预设所选方向的数量，编码器和解码器都将知道该阈值。如果K表示预设或所选数量，其指示所选模式的数量，则只有从2至2+K和34-K至34(或者JEM中从66-K至66)的模式可以应用双向帧内预测。在一个示例中，K的范围可以是2至16。图6示出了关于HEVC的示例，其中，K预设为5。因此，如图6中所示，包括HEVC帧内模式2-模式6和模式30-模式34的子集610是适合的，并且可以被选择用于双向帧内预测。
在一个示例性实施例中，基于RD成本，这些预测方向可以仍然改为选择单向预测。因此，可以使用1比特信令标志来指示是将单向还是双向预测用于所选的预测模式子集。可选地，在另一实施例中，可以选择使这些方向仅具有双向预测，这随后将不需要任何附加信令。在该选项中，其余角度模式将仅被单向预测。
在JEM中，由于QTBT分区，所以块可以具有正方形和矩形形状两者。对于矩形块，在考虑以上预测模式时，块中的目标像素将更靠近参考阵列之一而不是另一个(即，左侧的垂直参考阵列或顶部的水平参考阵列)。在这些情况下，由双向预测所带来的增益对于接近参考阵列之一的那些目标像素而言将不值得考虑，这是因为仅使用接近的参考阵列就可以充分良好地预测那些目标像素。因此，为了具有BD率性能和复杂度之间的良好折衷，如下所述，可以基于正被编码或解码的当前块的形状来限制双向预测。
如图7A中所示，在示例性实施例中，对于宽度大于高度的矩形块，仅从2至2+K的水平正方向经受双向帧内预测，其中K表示预设或所选数量，其指示所选模式的数量。另一方面，对于高度大于宽度的矩形块，仅对从66-K至66的垂直正方向应用双向垂直预测。在两种情况下，双向预测可以是强制性的，或者基于RD成本的比较对于各个模式是可选的。后者将需要1比特信令标志用于具有那些预测模式的块。为了更好的RD折衷，该限制可以仅应用于某个类别的矩形块，诸如32×4、4×32、32×8、8×32等的块尺寸，而不是所有矩形块。
为了更好的改进，由于矩形块可能具有上述不同的形状(例如，4×32、4×16、16×8等)，所以可以进一步基于矩形的高度是否大于其宽度(反之亦然)来决定适合于双向预测的预测模式的数量。另外，适合于双向预测的预测模式的数量可以进一步基于其宽度与高度之比(对于高度大于宽度的块)或其高度与宽度之比(对于宽度大于高度的块)。
相应地，令Kmax为最接近最正水平方向模式(例如，HEVC或JEM的模式2)或最正垂直方向模式(例如，HEVC的模式34或JEM的模式66)的正方向的最大数量，这些正方向适合于双向预测。对于高度大于宽度的块，可以将正水平方向(最接近模式2的方向)的数量决定为K_2＝Kmax*(W/H)，其中W和H是块的宽度和高度。正垂直方向(最接近HEVC的模式34或JEM的模式66的方向)的数量为K_66＝Kmax。另一方面，对于宽度大于高度的块，K_2＝Kmax且K_66＝Kmax*(H/W)。
利用以上公式，适合于双向帧内预测的模式的数量取决于目标块的形状。例如，考虑尺寸为4×8、4×16和4×32(以W×H的格式)的三个高的目标块。选择Kmax为16，将得到：对于4×8块，K_2＝8；对于4×16块，K_2＝4；并且对于4×32块，K_2＝2。所有三个块都将具有K_66＝16。
如前所述，在双向帧内预测中，可以作为两个预测器的线性插值来获得预测值。线性插值基本上为加权和，其将导致两个预测器值之间的中间值。可选地，该加权和可以实现为将第一预测器与更新项相加，其中L和R分别表示第一预测器和第二预测器距(x，y)处的目标像素的距离。比率L/(L+R)具有0和1之间的分数值。因此，与该比率相比，预测器差异的绝对大小(即|P2-P1|)必须足够大，以使它们的乘积可以导致ΔP的整数值。这要求第二预测器P2与P1非常不同。相应地，如果两个预测器仅相隔几个像素，这是目标块小的情况，则由双向预测所带来的增益将不值得考虑。因此，作为降低复杂度的改进，提出将双向预测仅应用于大的块。可以以各种方式定义块的大，例如，如果高度和宽度之和大于预设值(例如，8个、16个、32个或64个像素)，则可以认为块是大的。作为另一示例，如果高度或宽度大于阈值(例如，4个、8个、16个或32个像素)，则可以认为块是大的。
如前所述，对于帧内预测的一些模式，为了平滑目标块边界处的预测不连续性，沿着未用于预测的参考阵列的边缘应用平滑/解块滤波器。在HEVC中，在已经针对VER(直接垂直)和HOR(直接水平)帧内模式生成了帧内预测块之后，分别进一步调整预测样本的最左列和最上行。在JEM中，类似的后处理平滑已经进一步扩展到若干个对角线帧内模式，并且使用两抽头滤波器(对于帧内模式2和模式66)或三抽头滤波器(对于帧内模式3-模式10和模式58-模式65)进一步调整多达四列或四行的边界样本。用于帧内模式66和模式58-模式65的边界预测滤波器的示例分别在图8A和图8B中示出。
例如，如图8A中所示，对于模式66，将y行上的四个像素滤波为：
P[1][y]＝(8*P[1][y]+8*leftRef[1+y]+8)>>4；
P[2][y]＝(12*P[2][y]+4*leftRef[2+y]+8)>>4；
P[3][y]＝(14*P[3][y]+2*leftRef[3+y]+8)>>4；
P[4][y]＝(15*P[4][y]+leftRef[4+y]+8)>>4；
其中leftRef[y]表示目标块左侧的参考样本，y＝1，2，…。
如图8B中所示，对于模式58-模式65，将y行上的单个像素滤波为：P[1][y]＝(filter[1]*P[1][y]+filter[0]*leftRef[y+offset[0]]+filter[2]*leftRef[y+offset[1]]+8)>>4，其中filter[k]表示与该模式相关的第k个滤波器系数，offset[0]和offset[1]表示两个参考样本距目标像素位置的y偏移。对于模式60-模式65，offset[0]＝1且offset[1]＝2，而对于模式58-模式59，offset[0]＝2且offset[1]＝3。
用于帧内模式2和模式3-模式10的边界预测滤波器是类似的(未示出)。使用顶部的参考样本，在模式2中对1-4行中的目标像素进行滤波，并且在模式3-模式10中对1行中的像素进行滤波。将该后滤波仅应用于亮度块。
双向帧内预测由于其插值公式而使预测像素随着沿预测方向移动而逐渐改变。因此，当所选预测模式子集经受双向预测时，不再需要应用以上后处理滤波。这可以去除由于后滤波所导致的复杂性，同时保持预测质量几乎相同。因此，可以将后处理滤波仅限于单向预测情况。
有色视频信号通常以YCbCr格式和4:2:0分辨率表示，其中颜色分量Cb和Cr在x方向和y方向上具有一半的亮度分量Y分辨率。此外，颜色分量梯度通常比亮度分量的梯度小得多。因此，作为另一复杂度降低的改进，提出将双向预测仅应用于亮度分量。颜色分量将使用通常的预测模式，例如，如JEM中定义的那样。例如，在JEM的LM-CHROMA模式中，根据同一块中亮度分量的重构值来预测颜色分量。由于预期双向预测对具有方向结构的块产生更好的预测，因此当在使用LM-CHROMA模式同时双向预测对应的亮度分量时，双向预测也可以间接地改进对色度分量的预测。
可以独立地实现根据本实施例对双向帧内预测的上述改进，或者也可以以补充的方式一起选择性地实现其中的一个或多个，以便提供BD率和复杂度之间的最佳折衷。
图9示出了根据实施例的用于将双向帧内预测限制为固定数量的正方向的示例性编码过程900。在该实施例中，对于任何亮度CU，将双向帧内预测限制为沿着垂直对角线方向的固定或预设数量的正方向。方向的数量可以例如是如前所述的2、4、8、16或32，或者是任何其他固定的自定义值。对于目标块，用单向预测和双向预测在RD成本方面测试这些所选模式，以确定应当选择单向还是双向模式。为了用信号通知预测，使用1比特标志，该标志使用上下文0或者模式相关或邻域相关的上下文进行熵编码。其余角度模式仅进行单向预测。对于色度CU，使用正常的单向预测方法。
相应地，如图9中所示，示例性编码过程900的输入是例如关于预测模式、块类型(即，亮度或色度)以及用于帧内预测的参考阵列的信息。在步骤901，进行确定以查看正被编码的当前块是否为亮度块。如果决定为否，则块为色度块，并且在步骤902正常地单向预测色度块。另一方面，如果当前块为亮度块，则过程900在步骤903继续。根据本实施例，在步骤903，进行确定以查看当前预测模式是否适合于双向帧内预测。也就是说，例如，当前预测模式是否属于例如如图6中所示且如前所述的帧内预测方向的子集610。另外，该确定也可以包括块尺寸检查，例如，基于其高度和宽度的长度，目标块是否足够大。另一方面，如果当前模式不是适合于双向预测的所选子集的一部分，则在步骤904和步骤906正常地对当前模式进行单向预测和处理。
在图9的步骤905继续，启用1比特标志BDIPidx，并且稍后将在步骤907-步骤909基于单向预测和双向预测之间的RD成本比较而将其设置为0以指示单向预测，或者将其设置为1以指示双向预测。在步骤910，如果确定用于双向预测的RD成本较小，则在步骤912，将双向帧内预测用于所选帧内模式方向。在步骤914，如前所述，可以将后处理平滑滤波应用于当前样本。如前所述，也可以省略步骤914。另一方面，如果确定用于双向预测的RD成本较大，则在步骤911，将单向帧内预测用于所选帧内模式。在步骤913，如前所述，也可以将后处理平滑滤波应用于单向帧内预测的样本。
图10示出了根据实施例的在解码器处执行以用于将双向帧内预测限制为固定数量的正方向的示例解码过程1000。示例性过程1000是图9中所示的编码过程900的补充解码过程。示例性解码过程1000的输入是例如从接收到的比特流中获得的关于预测和参考阵列的编码信息。输出是对当前CU的预测。
相应地，在图10的步骤1001，对预测模式信息和块类型信息进行解码。在1002，进行确定以查看正被解码的当前块是否为亮度块。如果决定为否，则块为色度块，并且在步骤1003单向预测色度块。另一方面，如果当前块为亮度块，则过程1000在步骤1004继续。根据本实施例，在步骤1004，进行确定以查看当前预测模式是否适合于双向帧内预测。也就是说，例如，当前预测模式是否属于例如如图6中所示且如前所述的帧内预测方向的子集610。另外，该确定也可以包括块尺寸检查，例如，基于其高度和宽度的长度，目标块是否足够大。另一方面，如果当前模式不是适合于双向预测的子集的一部分，则在步骤1005和步骤1006正常地对当前模式进行单向预测和处理。
在图10的步骤1007继续，对指示标志BDIPidx进行解码。如在步骤1008确定的，如果BDIPidx是1，其指示当前帧内编码模式在编码器处进行双向预测，则在步骤1010，在解码器处针对当前模式调用双向预测。在步骤1012，如前所述，可以将后处理平滑滤波应用于当前样本。如前所述，也可以省略步骤1012。另一方面，如果步骤1008确定BDIPidx为0，其指示当前帧内编码模式在编码器处不进行双向预测，则在步骤1009，将单向帧内预测用于所选帧内模式。在步骤1011，如前所述，也可以将后处理平滑滤波应用于单向帧内预测的样本。
图11示出了根据实施例的用于将双向帧内预测限制为预设数量的正方向的另一示例性编码过程1100。该编码过程1100类似于图9中所示的编码过程900。不同之处在于，对于当前的编码过程1100，所选帧内预测模式集合不进行RD测试以决定它们是否仍然可以被单向编码。也就是说，根据本实施例，一旦被选择，则对所选帧内预测模式子集进行双向编码，而无需RD测试来决定。相反，其余的未选择或不适合的角度模式将仅进行单向预测。在该实施例中，对于色度CU，使用正常的单向预测方法。
相应地，如图1100中所示，示例性编码过程1100的输入是例如关于预测模式、块类型(即，亮度或色度)以及用于帧内预测的参考阵列的信息。输出是对当前CU的预测。在步骤1101，进行确定以查看正被编码的当前块是否为亮度块。如果决定为否，则块为色度块，并且在步骤1102单向预测色度块。另一方面，如果当前块为亮度块，则过程1100在步骤1103继续。根据本实施例，在步骤1103，进行确定以查看当前预测模式是否适合于双向帧内预测。也就是说，例如，当前预测模式是否属于例如如图6中所示且如前所述的帧内预测方向的子集610。另外，该确定也可以包括块尺寸检查，例如，基于其高度和宽度的长度，目标块是否足够大。另一方面，如果当前模式不是适合于双向预测的所选子集的一部分，则在步骤1104和步骤1106正常地对当前模式进行单向预测和处理。
在图11的步骤1105继续，如果在步骤1103确定当前模式适合于双向预测，则将双向帧内预测用于所选帧内模式方向。在步骤1107，如前所述，可以将后处理平滑滤波应用于当前样本。如前所述，也可以省略步骤1107。
图12示出了根据实施例的在解码器处执行以用于将双向帧内预测限制为预设数量的正方向的示例性解码过程1200。示例性过程1200是图11中所示的编码过程1100的补充解码过程。如图12中所示，示例性解码过程1200的输入是例如从接收到的比特流中获得的关于预测和参考阵列的编码信息。输出是对当前CU的预测。
相应地，在图12的步骤1201，对接收到的编码预测模式信息和块类型信息进行解码。在1202，进行确定以查看正被解码的当前块是否为亮度块。如果决定为否，则块为色度块，并且在步骤1203单向预测色度块。另一方面，如果当前块为亮度块，则过程1000在步骤1204继续。根据本实施例，在步骤1204，进行确定以查看当前预测模式是否适合于双向帧内预测。也就是说，例如，当前预测模式是否属于例如如图6中所示且如前所述的帧内预测方向的子集610。另外，该确定也可以包括块尺寸检查，例如，基于其高度和宽度的长度，目标块是否足够大。另一方面，如果当前模式不是适合于双向预测的所选子集的一部分，则在步骤1205和步骤1206正常地对当前模式进行单向预测和处理。
在图12的步骤1207继续，如果在步骤1204确定当前模式适合于双向预测，则将双向帧内预测用于所选帧内模式方向。在步骤1208，如前所述，可以将后处理平滑滤波应用于当前样本。如前所述，也可以省略步骤1208。
下面的表2示出了通过使用本实施例对JEM的改进。在实验中，将双向预测应用于最接近对角线方向的32个模式，即JEM中的模式2至模式17和模式51至模式66。用单向预测和双向预测对这32个模式进行测试，而仅用单向预测对其余角度模式进行测试。在双向预测中使用精确插值公式时，去除了双向预测的后滤波。此外，仅尺寸大于4×4块的块经受双向预测。尺寸为4×4的块使用现有的单向帧内预测。在所有测试序列中的一帧上以全帧内(All-INTRA，AI)配置来运行编解码器。下面的表2示出了不同类别的测试序列的平均BD率性能以及总体BD率性能。
表2：所提出的双向预测的BD率性能
在上文中，描述了用于降低双向帧内预测的计算复杂度的各种实施例。可以在正帧内预测方向和负帧内预测方向的双向帧内预测中实现这些实施例。
以上描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则特定步骤和/或动作的顺序和/或使用可以进行修改或组合。
在本申请中使用了各种数值，例如，预测方向的精度(1/32)或参考阵列的长度(W，H，W+H，或1+W+H)。应当注意，特定值是出于示例性目的，并且本实施例不限于这些特定值。
在上文中，关于HEVC或JEM描述了各种实施例。例如，如上所述的双向帧内预测的各种方法可以用于修改如图1和图3中所示的JEM或HEVC编码器和解码器的帧内预测模块(160，360)。然而，本实施例不限于JEM或HEVC，而是可以应用于其他标准、建议书及其扩展。
图13示出了其中可以实现示例性实施例的各个方面的示例性系统1300的框图。系统1300可以实施为包括下述各种组件并被配置为执行上述过程的设备。这样的设备的示例包括但不限于个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连网家用电器和服务器。系统1300可以通信地耦接到其他类似系统，并且经由如图13中所示并且如本领域技术人员已知的通信信道耦接到显示器，以实现上述示例性视频系统的全部或部分。
系统1300的各种实施例包括至少一个处理器1310，处理器1310被配置为运行加载在其中的指令以实现如上所述的各种过程。处理器1310可以包括嵌入式存储器、输入输出接口以及本领域中已知的各种其他电路。系统1300还可以包括至少一个存储器1320(例如，易失性存储设备，非易失性存储设备)。系统1300可以另外包括存储设备1340，其可以包括非易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1340可以包括内部存储设备、附接存储设备和/或网络可访问的存储设备。系统1300还可以包括编码器/解码器模块1330，编码器/解码器模块1330被配置为处理数据以提供编码的视频和/或解码的视频，并且编码器/解码器模块1330可以包括其自己的处理器和存储器。
编码器/解码器模块1330表示可以被包括在设备中以执行编码和/或解码功能的模块。如已知那样，这样的设备可以包括编码模块和解码模块之一或两者。另外，编码器/解码器模块1330可以实现为系统1300的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合并入一个或多个处理器1310内。
要加载到一个或多个处理器1310上以执行上文描述的各种过程的程序代码可以存储在存储设备1340中，随后加载到存储器1320上以由处理器1310运行。根据示例性实施例，处理器1310、存储器1320、存储设备1340和编码器/解码器模块1330中的一个或多个可以在执行上文讨论的过程期间存储各种项目中的一个或多个，包括但不限于输入视频、解码视频、比特流、等式、公式、矩阵、变量、运算和运算逻辑。
系统1300还可以包括通信接口1350，通信接口1350使得能够经由通信信道1360与其他设备进行通信。通信接口1350可以包括但不限于被配置为从通信信道1360发送和接收数据的收发器。通信接口1350可以包括但不限于调制解调器或网卡，并且通信信道1350可以实现在有线和/或无线介质内。系统1300的各种组件可以使用各种合适的连接(包括但不限于内部总线、布线和印刷电路板)而连接或通信地耦接在一起(图13中未示出)。
示例性实施例可以由通过处理器1310实现的计算机软件执行或由硬件执行，或者由硬件和软件的组合来执行。作为非限制性示例，示例性实施例可以由一个或多个集成电路实现。存储器1320可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可移除存储器。处理器1310可以是适合于技术环境的任何类型，并且可以包括作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
在此描述的实现方式可以例如以方法或过程、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实现方式的背景下进行讨论(例如，仅作为方法进行讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。方法可以例如在诸如例如处理器的装置中实现，该装置通常涉及处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)，以及有助于终端用户之间进行信息通信的其他设备。
对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”及其其他变型的引用意指结合实施例描述的特定特征、结构、特性等包括在至少一个实施例中。因此，在整个说明书各处出现的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现不一定都指代相同的实施例。
另外，本申请或其权利要求可以涉及“确定”各种信息。确定信息可以包括例如以下中的一项或多项：估计信息、计算信息、预测信息或从存储器中取回信息。
此外，本申请或其权利要求可以涉及“访问”各种信息。访问信息可以包括例如以下中的一项或多项：接收信息、(例如，从存储器中)取回信息、存储信息、移动信息、复制信息、计算信息、预测信息或估计信息。
另外，本申请或其权利要求可以涉及“接收”各种信息。接收与“访问”一样，旨在为广义术语。接收信息可以包括例如以下中的一项或多项：访问信息或(例如，从存储器中)取回信息。此外，在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种或另一种方式涉及“接收”。
如对于本领域技术人员将明显的，实现方式可以产生各种信号，这些信号被格式化以承载例如可以被存储或发送的信息。信息可以包括例如用于执行方法的指令或由所描述的实现方式之一产生的数据。例如，信号可以被格式化以承载所描述的实施例的比特流。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及用编码的数据流来调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的那样，信号可以通过各种不同的有线或无线链路来发送。信号可以存储在处理器可读介质上。

Claims (20)

1.一种视频解码的方法，包括：
基于正被解码的图片的块的形状，确定多个方向帧内预测模式的子集，其中双向帧内预测限于所述多个方向帧内预测模式的子集，其中所述子集中的帧内预测模式的数量:(1)响应于所述块的H>W而基于W/H，或者(2)响应于W>H而基于H/W，W和H是所述块的宽度和高度，并且其中所述子集分别限于H>W的矩形块的垂直正方向和W>H的矩形块的水平正方向；
从所述多个方向帧内预测模式的子集中选择方向帧内预测模式；
基于所述方向帧内预测模式，访问样本的第一预测器，所述样本在所述块内；
基于所述方向帧内预测模式，访问所述样本的第二预测器，所述第一预测器和所述第二预测器基本上在基于与所述方向帧内预测模式相对应的方向的线上；
通过使用所述第一预测器和所述第二预测器来双向帧内预测所述样本的样本值；以及
基于所预测的样本值来解码所述块的样本。
2.如权利要求1所述的方法，其中所述块的形状是矩形，并且基于所述矩形的宽度是否大于所述矩形的高度来选择所述子集。
3.如权利要求2所述的方法，其中当所述矩形的宽度大于所述矩形的高度时，则所选择的所述多个方向帧内预测模式的子集包括：Kmax数量个最接近最正水平方向模式的正水平方向帧内预测模式，以及Kmax*(H/W)数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，其中Kmax是从2至16的数量。
4.如权利要求2所述的方法，其中当所述矩形的高度大于所述矩形的宽度时，则所选择的所述多个方向帧内预测模式的子集包括：Kmax数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，以及Kmax*(W/H)数量个最接近最正水平方向模式的正水平方向帧内预测模式，其中Kmax是从2至16的数量。
5.如权利要求1所述的方法，其中在选择所述多个方向帧内预测模式的子集之前确定所述块的块尺寸，并且当所确定的块尺寸大于预设值时，做出对所述多个方向帧内预测模式的子集的选择。
6.一种视频编码的方法，包括：
基于正被编码的图片的块的形状，选择多个方向帧内预测模式的子集，其中双向帧内预测限于所述多个方向帧内预测模式的子集，其中所述子集中的帧内预测模式的数量:(1)响应于所述块的H>W而基于W/H，或者(2)响应于W>H而基于H/W，W和H是所述块的宽度和高度，并且其中所述子集分别限于H>W的矩形块的垂直正方向和W>H的矩形块的水平正方向；
从所述多个方向帧内预测模式的子集中选择方向帧内预测模式；
基于所述方向帧内预测模式，访问样本的第一预测器，所述样本在所述块内；
基于所述方向帧内预测模式，访问所述样本的第二预测器，所述第一预测器和所述第二预测器基本上在基于与所述方向帧内预测模式相对应的方向的线上；
通过使用所述第一预测器和所述第二预测器来双向帧内预测所述样本的样本值；以及
基于所预测的样本值来编码所述块的样本。
7.如权利要求6所述的方法，其中所述块的形状是矩形，并且基于所述矩形的宽度是否大于所述矩形的高度来选择所述子集。
8.如权利要求7所述的方法，其中当所述矩形的宽度大于所述矩形的高度时，则所选择的所述多个方向帧内预测模式的子集包括：Kmax数量个最接近最正水平方向模式的正水平方向帧内预测模式，以及Kmax*(H/W)数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，其中Kmax是从2至16的数量。
9.如权利要求7所述的方法，其中当所述矩形的高度大于所述矩形的宽度时，则所选择的所述多个方向帧内预测模式的子集包括：Kmax数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，以及Kmax*(W/H)数量个最接近最正水平方向模式的正水平方向帧内预测模式，其中Kmax是从2至16的数量。
10.如权利要求6所述的方法，其中在选择所述多个方向帧内预测模式的子集之前确定所述块的块尺寸，并且当所确定的块尺寸大于预设值时，做出对所述多个方向帧内预测模式的子集的选择。
11.一种用于视频解码的装置，包括：
一个或多个处理器，其中所述一个或多个处理器被配置为：
基于正被解码的图片的块的形状，确定多个方向帧内预测模式的子集，其中双向帧内预测允许用于所述多个方向帧内预测模式的子集，其中所述子集中的帧内预测模式的数量:(1)响应于所述块的H>W而基于W/H，或者(2)响应于W>H而基于H/W，W和H是所述块的宽度和高度，并且其中所述子集分别限于H>W的矩形块的垂直正方向和W>H的矩形块的水平正方向；
从所述多个方向帧内预测模式的子集中选择方向帧内预测模式；
基于所述方向帧内预测模式，访问样本的第一预测器，所述样本在所述块内；
基于所述方向帧内预测模式，访问所述样本的第二预测器，所述第一预测器和所述第二预测器基本上在基于与所述方向帧内预测模式相对应的方向的线上；
通过使用所述第一预测器和所述第二预测器来双向帧内预测所述样本的样本值；以及
基于所预测的样本值来解码所述块的样本。
12.如权利要求11所述的装置，其中所述块的形状是矩形，并且基于所述矩形的宽度是否大于所述矩形的高度来选择所述子集。
13.如权利要求12所述的装置，其中当所述矩形的宽度大于所述矩形的高度时，则所选择的所述多个方向帧内预测模式的子集包括：Kmax数量个最接近最正水平方向模式的正水平方向帧内预测模式，以及Kmax*(H/W)数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，其中Kmax是从2至16的数量。
14.如权利要求12所述的装置，其中当所述矩形的高度大于所述矩形的宽度时，则所选择的所述多个方向帧内预测模式的子集包括：Kmax数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，以及Kmax*(W/H)数量个最接近最正水平方向模式的正水平方向帧内预测模式，其中Kmax是从2至16的数量。
15.如权利要求11所述的装置，其中在选择所述多个方向帧内预测模式的子集之前确定所述块的块尺寸，并且当所确定的块尺寸大于预设值时，做出对所述多个方向帧内预测模式的子集的选择。
16.一种用于视频编码的装置，包括：
一个或多个处理器，其中所述一个或多个处理器被配置为：
基于正被编码的图片的块的形状，选择多个方向帧内预测模式的子集，其中双向帧内预测允许用于所述多个方向帧内预测模式的子集，其中所述子集中的帧内预测模式的数量:(1)响应于所述块的H>W而基于W/H，或者(2)响应于W>H而基于H/W，W和H是所述块的宽度和高度，并且其中所述子集分别限于H>W的矩形块的垂直正方向和W>H的矩形块的水平正方向；
从所述多个方向帧内预测模式的子集中选择方向帧内预测模式；
基于所述方向帧内预测模式，访问样本的第一预测器，所述样本在所述块内；
基于所述方向帧内预测模式，访问所述样本的第二预测器，所述第一预测器和所述第二预测器基本上在基于与所述方向帧内预测模式相对应的方向的线上；
通过使用所述第一预测器和所述第二预测器来双向帧内预测所述样本的样本值；以及
基于所预测的样本值来编码所述块的样本。
17.如权利要求16所述的装置，其中所述块的形状是矩形，并且基于所述矩形的宽度是否大于所述矩形的高度来选择所述子集。
18.如权利要求17所述的装置，其中当所述矩形的宽度大于所述矩形的高度时，则所选择的所述多个方向帧内预测模式的子集包括：Kmax数量个最接近最正水平方向模式的正水平方向帧内预测模式，以及Kmax*(H/W)数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，其中Kmax是从2至16的数量。
19.如权利要求17所述的装置，其中当所述矩形的高度大于所述矩形的宽度时，则所选择的所述多个方向帧内预测模式的子集包括：Kmax数量个最接近最正垂直方向模式的正垂直方向帧内预测模式，以及Kmax*(W/H)数量个最接近最正水平方向模式的正水平方向帧内预测模式，其中Kmax是从2至16的数量。
20.如权利要求16所述的装置，其中在选择所述多个方向帧内预测模式的子集之前确定所述块的块尺寸，并且当所确定的块尺寸大于预设值时，做出对所述多个方向帧内预测模式的子集的选择。
CN201880075050.2A 2017-11-21 2018-11-20 视频编码和解码中的低复杂度双向帧内预测的方法和装置 Active CN111373749B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306608.5A EP3487177A1 (en) 2017-11-21 2017-11-21 Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
EP17306608.5 2017-11-21
PCT/US2018/061948 WO2019104004A1 (en) 2017-11-21 2018-11-20 Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding

Publications (2)

Publication Number Publication Date
CN111373749A CN111373749A (zh) 2020-07-03
CN111373749B true CN111373749B (zh) 2024-05-07

Family

ID=60473461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075050.2A Active CN111373749B (zh) 2017-11-21 2018-11-20 视频编码和解码中的低复杂度双向帧内预测的方法和装置

Country Status (4)

Country Link
US (1) US11381811B2 (zh)
EP (2) EP3487177A1 (zh)
CN (1) CN111373749B (zh)
WO (1) WO2019104004A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463689B2 (en) 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
CN112954349A (zh) * 2018-06-21 2021-06-11 株式会社Kt 用于处理视频信号的方法和设备
GB2595015B (en) * 2018-06-27 2022-07-13 Kt Corp Bi-directional intra-prediction involving weighted sum of two reference samples
US11277644B2 (en) * 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11303885B2 (en) 2018-10-25 2022-04-12 Qualcomm Incorporated Wide-angle intra prediction smoothing and interpolation
WO2020259263A1 (en) * 2019-06-25 2020-12-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image coding
KR20210052095A (ko) * 2019-10-31 2021-05-10 삼성전자주식회사 이미지 부호화기, 이미지 복호화기, 및 이미지 처리 방법
CN115280770B (zh) * 2020-03-26 2023-11-21 阿里巴巴（中国）有限公司 用于对视频进行编码或解码的方法和装置
CN114760473A (zh) * 2021-01-08 2022-07-15 三星显示有限公司 用于执行速率失真优化的系统和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005022919A1 (en) * 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for decoding hybrid intra-inter coded blocks
WO2012161445A2 (ko) * 2011-05-20 2012-11-29 주식회사 케이티 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치
WO2012167119A1 (en) * 2011-06-03 2012-12-06 Qualcomm Incorporated Intra prediction mode coding with directional partitions
CN103004197A (zh) * 2010-04-23 2013-03-27 吴秀美 用于对图像编码的设备和方法
WO2016066093A1 (en) * 2014-10-31 2016-05-06 Mediatek Inc. Method of improved directional intra prediction for video coding
CN105765974A (zh) * 2013-10-14 2016-07-13 微软技术许可有限责任公司 用于视频和图像编码和解码的帧内块复制预测模式的特征
WO2017034331A1 (ko) * 2015-08-27 2017-03-02 엘지전자 주식회사 영상 코딩 시스템에서 크로마 샘플 인트라 예측 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US10448011B2 (en) * 2016-03-18 2019-10-15 Mediatek Inc. Method and apparatus of intra prediction in image and video processing
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005022919A1 (en) * 2003-08-26 2005-03-10 Thomson Licensing S.A. Method and apparatus for decoding hybrid intra-inter coded blocks
CN103004197A (zh) * 2010-04-23 2013-03-27 吴秀美 用于对图像编码的设备和方法
WO2012161445A2 (ko) * 2011-05-20 2012-11-29 주식회사 케이티 단거리 인트라 예측 단위 복호화 방법 및 복호화 장치
WO2012167119A1 (en) * 2011-06-03 2012-12-06 Qualcomm Incorporated Intra prediction mode coding with directional partitions
CN105765974A (zh) * 2013-10-14 2016-07-13 微软技术许可有限责任公司 用于视频和图像编码和解码的帧内块复制预测模式的特征
WO2016066093A1 (en) * 2014-10-31 2016-05-06 Mediatek Inc. Method of improved directional intra prediction for video coding
WO2017034331A1 (ko) * 2015-08-27 2017-03-02 엘지전자 주식회사 영상 코딩 시스템에서 크로마 샘플 인트라 예측 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EE1: Improvements for Intra Prediction Mode Coding;Yu Han等;Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 ，8th Meeting: Macao, CN, 18–25 Oct. 2017，JVET-H0024;20171025;第1-5页 *

Also Published As

Publication number Publication date
EP3487177A1 (en) 2019-05-22
CN111373749A (zh) 2020-07-03
US20200275096A1 (en) 2020-08-27
EP3714600A1 (en) 2020-09-30
US11381811B2 (en) 2022-07-05
WO2019104004A1 (en) 2019-05-31

Similar Documents

Publication Publication Date Title
CN111373749B (zh) 视频编码和解码中的低复杂度双向帧内预测的方法和装置
CN110786015B (zh) 用于帧内预测的最可能模式（mpm）重新排序的方法和装置
US20230239496A1 (en) Method and apparatus for encoding/decoding image
EP3566447B1 (en) Method and apparatus for encoding and decoding motion information
US11212554B2 (en) Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
CN118075490A (zh) 用于运动补偿的改进的预测器候选
CN112567755B (zh) 使用合并模式的译码方法、设备、系统
US11558608B2 (en) On split prediction
WO2018219925A1 (en) Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
CN111448798A (zh) 基于块形状的视频编码和解码的方法和装置
WO2018206396A1 (en) Method and apparatus for intra prediction in video encoding and decoding
WO2018219923A1 (en) Method and apparatus for bi-directional intra prediction in video coding
EP3410724A1 (en) Method and apparatus for signalling bi-directional intra prediction in video encoding and decoding
US11558604B2 (en) Method and apparatus for intra prediction using a composite reference array
EP3531702A1 (en) Method and apparatus for intra prediction boundary filtering with multiple reference layers in video encoding and decoding
WO2023158765A1 (en) Methods and devices for geometric partitioning mode split modes reordering with pre-defined modes order
WO2023141338A1 (en) Methods and devices for geometric partitioning mode with split modes reordering
CN117730531A (zh) 用于解码器侧帧内模式推导的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant