CN110832854A - 利用插值进行帧内预测的方法和装置 - Google Patents

利用插值进行帧内预测的方法和装置 Download PDF

Info

Publication number
CN110832854A
CN110832854A CN201880042979.5A CN201880042979A CN110832854A CN 110832854 A CN110832854 A CN 110832854A CN 201880042979 A CN201880042979 A CN 201880042979A CN 110832854 A CN110832854 A CN 110832854A
Authority
CN
China
Prior art keywords
prediction
interpolation
mode
samples
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880042979.5A
Other languages
English (en)
Other versions
CN110832854B (zh
Inventor
F.拉卡普
F.加尔平
G.拉思
F.莱林内克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
交互数字Vc控股公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 交互数字Vc控股公司 filed Critical 交互数字Vc控股公司
Publication of CN110832854A publication Critical patent/CN110832854A/zh
Application granted granted Critical
Publication of CN110832854B publication Critical patent/CN110832854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种执行用于编码或解码的帧内预测的改进方法使用插值，从而对于要在插值计算中使用的位于正常参考范围之外的样本，找到替代样本。替代样本可以是来自目标块左侧的参考部分底部的重复的最终样本，或者是目标块上方的参考部分的右侧样本。编码器可以用信号向解码器通知是使用帧内预测还是插值预测。

Description

利用插值进行帧内预测的方法和装置
技术领域
本原理涉及视频压缩，并且更具体地涉及利用图像块的插值执行帧内预测编码和解码。
背景技术
各种视频编码标准都使用了帧内编码，该帧内编码使用基于已经编码或解码的当前图像的区域的预测。使用插值的帧内编码已经在这些标准中的一些标准的标准化过程中被提出，但是由于增加的复杂性与不足的编码增益而未被包括在那些标准中。那些提议遭受其他缺点，诸如插值计算是近似的，或者仅有少数正方向使用插值。
发明内容
通过所描述的实施例来解决现有技术的这些和其他缺陷和缺点，这些实施例针对用于利用插值进行帧内预测以对视频信号进行编码和解码的方法和装置。
根据所描述方面的一方面，提供了一种方法。该方法包括确定使用帧内预测还是插值预测来对视频图像中的块进行编码。如果确定使用插值预测，则该方法还包括：识别该块的插值预测模式，该模式具有特定预测方向；以及对于所识别的插值预测模式，确定是否从用于在特定方向上执行插值预测的参考部中排除要用于插值的一个或多个样本。如果确定从参考部中排除一个或多个样本，则该方法还包括在所述插值预测中使用替代参考样本。如果确定在参考部中包括一个或多个样本，则该方法还包括使用参考样本根据插值预测模式在特定方向上执行插值预测。
根据所描述方面的另一方面，提供了一种装置。该装置包括存储器和处理器，该处理器被配置为执行：确定使用帧内预测还是插值预测来对视频图像中的块进行编码。如果确定使用插值预测，则该处理器还被配置为执行：识别该块的插值预测模式，该模式具有特定预测方向；以及对于所识别的插值预测模式，确定是否从用于在特定方向上执行插值预测的参考部中排除要用于插值的一个或多个样本。如果确定从参考部中排除一个或多个样本，则该处理器还被配置为在插值预测中使用替代参考样本。如果确定在参考部中包括一个或多个样本，则该处理器还被配置为使用参考样本根据插值预测模式在特定方向上执行插值预测。
根据所描述方面的另一方面，提供了一种方法。该方法包括确定使用帧内预测还是插值预测来对视频图像中的块进行解码。如果确定使用插值预测，则该方法还包括：识别该块的插值预测模式，该模式具有特定预测方向；以及对于所识别的插值预测模式，确定是否从用于在特定方向上执行插值预测的参考部中排除要用于插值的一个或多个样本。如果确定从参考部中排除一个或多个样本，则该方法还包括在所述插值预测中使用替代参考样本。如果确定在参考部中包括一个或多个样本，则该方法还包括使用参考样本根据插值预测模式在特定方向上执行插值预测。
根据所描述方面的另一方面，提供了一种装置。该装置包括存储器和处理器，该处理器被配置为执行：确定使用帧内预测还是插值预测来对视频图像中的块进行解码。如果确定使用插值预测，则该处理器还被配置为执行：识别该块的插值预测模式，该模式具有特定预测方向；以及对于所识别的插值预测模式，确定是否从用于在特定方向上执行插值预测的参考部中排除要用于插值的一个或多个样本。如果确定从参考部中排除一个或多个样本，则该处理器还被配置为在插值预测中使用替代参考样本。如果确定在参考部中包括一个或多个样本，则该处理器还被配置为使用参考样本根据插值预测模式在特定方向上执行插值预测。
根据所描述的方面的另一方面，提供了一种非暂时性计算机可读介质，其包含根据前述编码方法或编码器装置中的任一种所生成的数据内容。
根据所描述的方面的另一方面，提供了一种信号，其包括根据前述编码方法或编码器装置中的任一种所生成的视频数据。
根据所描述方面的另一方面，提供了一种包括指令的计算机程序产品，当所述程序由处理器和存储器执行时，所述指令使处理器执行前述解码方法中的任一种。
根据以下要结合附图理解的示例性实施例的详细描述，本原理的这些和其他方面、特征和优点将变得明显。
附图说明
图1示出了用于HEVC中的帧内预测的参考样本。
图2示出了HEVC中的帧内预测方向。
图3(a)示出了与左侧参考相交的正垂直方向的延伸，并且图3(b)示出了与顶部参考相交的正水平方向的延伸。
图4(a)示出了错过左侧参考的正垂直方向的延伸，并且图4(b)示出了错过顶部参考的正水平方向的延伸。
图5(a)示出了HEVC预测模式2，并且图5(b)示出了HEVC预测模式34。
图6示出了一维的线性插值。
图7示出了二维的线性插值。
图8示出了正垂直预测中的插值。
图9示出了插值方法1，其中左侧参考以其最后样本值在下方延伸。
图10示出了插值方法2，其中使用左侧参考的最后样本来估计新的底部参考。
图11示出了插值方法3，其中使用顶部参考和左侧参考的最后样本来估计新的底部参考。
图12示出了使用替代底部参考样本估计来估计底部参考。
图13示出了示例性HEVC(高效视频编码)视频编码器的框图。
图14A是描绘HEVC参考样本生成的图示示例，并且图14B是描绘HEVC中的帧内预测方向的图示示例。
图15示出了示例性HEVC视频解码器的框图。
图16示出了根据所描述的方面的方法的一个实施例。
图17示出了根据所描述的方面的装置的一个实施例。
具体实施方式
示例性HEVC编码器100在图13中示出。为了编码具有一个或多个画面的视频序列，将画面划分为一个或多个切片，其中每个切片可以包括一个或多个切片片段。切片片段被组织为编码单元、预测单元和变换单元。
在本申请中，术语“重构的”和“解码的”可以互换使用，并且术语“画面”和“帧”可以互换使用。通常但并非必须地，术语“重构的”在编码器侧使用，而“解码的”在解码器侧使用。
HEVC规范在“块”和“单元”之间区分，其中“块”寻址样本阵列中的特定区域(例如，亮度，Y)，而“单元”包括所有编码的颜色分量(Y、Cb、Cr或单色)的并置块、语法元素和与块相关联的预测数据(例如，运动矢量)。
为了编码，将画面划分为具有可配置尺寸的正方形的编码树块(CTB)，并将连续的一组编码树块分组为切片。编码树单元(CTU)包含已编码颜色分量的CTB。CTB是划分为编码块(CB)的四叉树的根，并且可将编码块划分为一个或多个预测块(PB)，并形成划分为变换块(TB)的四叉树的根。与编码块、预测块和变换块相对应，编码单元(CU)包括预测单元(PU)和树形结构的变换单元(TU)的集合，PU包括所有颜色分量的预测信息，并且TU包括每个颜色分量的残差编码语法结构。亮度分量的CB、PB和TB的尺寸适用于对应的CU、PU和TU。在本申请中，术语“块”可以用于指代CTU、CU、PU、TU、CB、PB和TB中的任何一个。另外，“块”也可以用于指代如H.264/AVC、H.265或其他视频编码标准中指定的宏块和划分，并且更一般地指代各种尺寸的数据阵列。
在图13的示例性编码器100中，如下所述，画面由编码器元素编码。将要编码的画面以CU为单位进行处理。使用帧内或帧间模式对每个CU进行编码。当CU以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个来对CU进行编码，并且通过预测模式标志来指示帧内/帧间决定。通过从原始图像块中减去(110)预测块来计算预测残差。
为了利用空间冗余，根据同一切片内的重构的邻近样本来预测帧内模式下的CU。当考虑当前CU的编码/解码时，因果邻近CU已经被编码/解码。为了避免不匹配，编码器和解码器具有相同的预测。因此，编码器和解码器都使用来自重构/解码的邻近因果CU的信息来形成用于当前CU的预测。
HEVC中的帧内预测过程包括三个步骤：(1)参考样本生成；(2)帧内样本预测；以及(3)预测样本的后处理。示例性HEVC参考样本在图14A中示出，其中相对于当前块的左上角的上方和左侧的一个像素，坐标(x,y)处的参考像素值由R(x,y)指示，并且当前块的坐标(x,y)处的预测样本值由P(x,y)指示。对于尺寸为N×N的CU，从解码的CU形成顶部的2N个解码样本的行。类似地，从解码的CU形成左侧的2N个样本的列。来自左上方已解码CU的角像素用于填充上方行和左侧列参考之间的间隙。如果某些样本不可用，例如，当对应的CU不在同一切片中或者当前CU在帧边界处时，则执行参考样本替换，其中以顺时针方向从可用样本中复制缺失的样本。然后，取决于当前CU尺寸和预测模式，使用指定的滤波器对参考样本进行滤波。除非另有说明，否则“像素”和“样本”可互换使用。
下一步，帧内样本预测包括基于参考样本来预测目标CU的像素。为了高效地预测不同种类的内容，HEVC支持一系列预测方法。特别地，平面和DC预测模式用于预测平滑且逐渐改变的区域，而方向预测模式(也称为“角度预测模式”)用于捕获不同的方向结构。HEVC支持33个方向预测模式，从2到34对其编索引。如图14B中所示，这些预测模式对应于不同的预测方向，其中数字(即，2、3、…、34)表示帧内预测模式索引。由于主要的预测源在水平方向上，因此将预测模式2-17表示为水平预测模式(H-26至H+32)。相应地，将模式18-34表示为垂直预测模式(V-32至V+32)。图14B中的“H”和“V”分别用于指示水平和垂直方向性，而标识符的数字部分指示在1/32像素分数下的像素位移(也称为“角度参数”)。
表1示出了如由HEVC指定的方向预测模式与角度参数A之间的关系。
表1
Figure BDA0002338008260000051
Figure BDA0002338008260000052
具有非负位移的方向(即，H0至H+32和V0至V+32)也被称为正方向，而具有负位移的方向(即，H-2至H-26和V-2至V-32)也被称为负方向。
如图14B中所示，所定义的角度方向具有1/32的样本精度。也就是说，在任何两个相邻参考样本之间，存在32个可能的方向。如上所述，所定义的方向可以区分为垂直或水平。水平方向的预测模式仅使用左侧参考样本，或者使用一些左侧参考样本和一些顶部参考样本。类似地，垂直方向的预测模式仅使用顶部参考样本，或者使用一些顶部参考样本和一些左侧参考样本。仅使用左侧参考样本或仅使用顶部参考样本的方向被定义为正方向。从H0到H+32的水平正方向仅使用左侧参考样本进行预测。类似地，从V0到V+32的垂直正方向仅使用顶部参考样本进行预测。负的水平和垂直方向(H-2至H-26和V-2至V-32)使用左侧和顶部的参考样本进行预测。
在HEVC参考码中，首先使用顶部和左侧参考样本来构建参考阵列。对于垂直预测，参考阵列是水平的(即，参考行)，而对于水平预测，参考阵列是垂直的(即，参考列)。对于具有正方向的模式，取决于方向，参考阵列只是顶部或左侧参考样本：
topRef[x]＝R(x，0)，0≤x≤2N，对于垂直预测
leftRef[y]＝R(0，y)，0≤y≤2N，对于水平预测
对于具有负方向的模式，参考阵列需要来自顶部和左侧参考阵列两者的像素。在这种情况下，参考阵列将延伸到0以外的负索引。取决于垂直或水平预测，如上获得具有正索引的参考阵列上的样本值。具有负索引的参考阵列上的样本值是通过在预测方向上在参考阵列上投影左侧参考像素(对于垂直预测)或顶部参考像素(对于水平预测)而获得的：
topRef[x]＝R(0，(x*B+16)＞＞5？)，-N≤x＜0，对于垂直预测
leftRef[y]＝R((y*B+128)＞＞8，0)，-N≤y＜0，对于水平预测
其中＞＞表示向右的比特移位运算，并且B表示与角度参数A相对应的反角度参数。
一旦构建了参考阵列，则通过沿所选方向将像素位置投影到参考阵列并以1/32像素精度对该像素位置插入值，来获得目标PU内任何像素位置(x，y)处的预测。通过在两个最接近的参考样本之间进行插值来计算预测样本值：
P(x，y)＝((32-f)*topRef[x+i]+f*topRef[x+i+1]+16)＞＞5)，
1≤x，y≤N，对于垂直预测 (1)
P(x，y)＝((32一f)*leftRef[y+i]+f*leftRef[y+i+1]+16)＞＞5)，
1≤x，y≤N，对于水平预测 (2)
其中i和f表示来自像素位置(x，y)的投影位移的整数部分和小数部分。
如果Δ表示投影位移，则
Δ＝x*A，对于水平预测；并且Δ＝y*A，对于垂直预测。
i＝Δ＞＞5，f＝Δ&31
其中&表示按位与运算。注意，如果f＝0，即没有小数部分，并且预测样本值等于预测方向上的参考阵列样本值。
某些预测模式(诸如DC模式、以及直接水平模式(即，模式10)和直接垂直模式(即，模式26))可能导致预测样本的CU边界处的不连续性。因此，在这样的预测模式之后是后处理步骤，其中使用低通滤波器使预测样本的边界平滑。在此，直接水平模式是指当目标块左侧的参考样本向右水平重复以进行帧内预测时的预测模式。类似地，直接垂直模式是指当目标块顶部的参考样本向下垂直重复以进行帧内预测时的预测模式。
由于存在多个可用的帧内预测模式，所以解码器需要模式信息来形成用于帧内编码的CU的预测。编码器使用亮度分量的最可能模式(MPM)集合对模式信息进行编码。HEVC指定由三个不同模式组成的MPM集合，该集合由当前CU顶部和左侧的帧内编码CU的预测模式、平面模式、DC模式和直接垂直模式构成。
可以使用两个不同的选项对当前块的适用亮度帧内预测模式进行编码。如果适用模式包含在三个最可能模式(MPM)的构建列表中，则通过MPM列表中的索引来用信号通知该模式。否则，通过模式索引的固定长度二值化来用信号通知该模式。从顶部和左侧邻近块的帧内预测模式导出三个最可能模式。
对于帧间CU，将对应的编码块进一步划分为一个或多个预测块。在PB级别上执行帧间预测，并且对应的PU包含关于如何执行帧间预测的信息。可以以两种方法、即“合并模式”和“高级运动矢量预测(AMVP)”来用信号通知运动信息(即，运动矢量和参考画面索引)。
在合并模式中，视频编码器或解码器基于已编码块来组装候选列表，并且视频编码器用信号通知候选列表中候选之一的索引。在解码器侧，基于用信号通知的候选来重构运动矢量(MV)和参考画面索引。
在AMVP中，视频编码器或解码器基于从已编码块中确定的运动矢量来组装候选列表。然后，视频编码器用信号通知候选列表中的索引以识别运动矢量预测器(MVP)，并用信号通知运动矢量差(MVD)。在解码器侧，运动矢量(MV)被重构为MVP+MVD。适用的参考画面索引也在AMVP的PU语法中显式编码。
然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其他语法元素进行熵编码(145)以输出比特流。编码器也可以跳过变换，并以4×4 TU为基础将量化直接应用于未变换的残差信号。编码器也可以绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。在直接PCM编码中，不应用预测，并且将编码单元样本直接编到比特流中。
编码器对编码块进行解码，以为进一步的预测提供参考。对量化的变换系数进行去量化(140)和逆变换(150)以解码预测残差。组合(155)解码的预测残差和预测块来重构图像块。环内滤波器(165)被应用于重构的画面，以例如执行去块/SAO(样本自适应偏移)滤波以减少编码伪像。滤波后的图像被存储在参考画面缓冲器(180)。
图15示出了示例性HEVC视频解码器300的框图。在示例性解码器300中，如下所述，由解码器元件对比特流进行解码。视频解码器300通常执行与如图13中描述的编码通道相对的解码通道，其执行视频解码作为编码视频数据的一部分。
特别地，解码器的输入包括可以由视频编码器100生成的视频比特流。首先对比特流进行熵解码(330)以获得变换系数、运动矢量和其他编码信息。对变换系数进行去量化(340)和逆变换(350)以解码预测残差。组合(355)解码的预测残差和预测块来重构图像块。可以从帧内预测(360)或运动补偿预测(即，帧间预测)(375)获得(370)预测块。如上所述，可以使用AMVP和合并模式技术来导出用于运动补偿的运动矢量，运动补偿可以使用插值滤波器来计算参考块的子整数样本的插入值。环内滤波器(365)被应用于重构的图像。滤波后的图像被存储在参考画面缓冲器(380)。
如上所述，在HEVC中，视频序列的帧的编码基于块结构。帧被划分为正方形编码树单元(CTU)，正方形编码树单元(CTU)可以基于速率失真标准经历四叉树(QT)分割，成为多个编码单元。每个CU被帧内预测(即根据因果邻近CU在空间上预测)，或者被帧间预测(即根据已经解码的参考帧在时间上预测)。在I切片中，所有CU都被帧内预测，而在P和B切片中，CU可以被帧内或帧间预测。对于帧内预测，HEVC定义35个预测模式，其包括一个平面模式(索引为模式0)、一个DC模式(索引为模式1)和33个方向预测模式(索引为模式2-34)。
在为了设计下一代视频压缩标准的联合视频探索小组(JVET)正在研究的JEM(联合探索模型)中，QTBT(四叉树加二叉树)结构去除了HEVC中多个划分类型的概念，即去除了CU、PU和TU概念的分离。编码树单元(CTU)首先由四叉树结构划分。四叉树叶节点进一步由二叉树结构划分。二叉树叶节点被称为编码单元(CU)，无需进一步划分即可将其用于预测和变换。因此，在新的编码QTBT块结构中，CU、PU和TU具有相同的块尺寸。在JEM中，CU由不同颜色分量的编码块(CB)组成。为了便于表示，将由二叉树划分产生的CU或块也称为二叉树(BT)CU或块，并且将由四叉树划分产生的CU或块也称为四叉树(QT)CU或块。
作为对HEVC的可能改进，除了平面和DC模式外，JEM 3.0还使用65个方向帧内预测模式。模式从2到66以升序编号，方式与HEVC中从2到34进行的方式相同。65个方向预测模式包括HEVC中指定的33个方向预测模式，加上与两个原始角度之间的角度相对应的32个附加方向预测模式。换句话说，JEM中的预测方向具有HEVC角度分辨率的两倍。已经提出了更高数量的预测模式，以开发具有所提出的更大块尺寸的角度结构的可能性。对应于更高数量的模式，存在更高数量的角度参数A值。
除了正方形CU，由于QTBT结构，所以JEM也可以具有矩形CU。在这种情况下，对于正方向，如下构建参考阵列：
topRef[x]＝R(x，0)，0≤x≤W+H，对于垂直预测
leftRef[y]＝R(0，y)，0≤y≤W+H，对于水平预测
其中W和H分别表示目标CU的宽度和高度。对于负方向，如上对于正索引那样构建参考阵列。对于负索引，使用左侧参考阵列(对于垂直预测)或顶部参考阵列(对于水平预测)的投影：
topRef[x]＝R(0，(x*B+16？)＞＞5？)，-H≤x＜0，对于垂直预测
leftRef[y]＝R((y*B+128)＞＞8，0)，-W≤y＜0，对于水平预测
预测过程基本上保持与HEVC中相同。将像素值计算为：
P(x，y)＝((32-f)*topRef[x+i]+f*topRef[x+i+1]+16)＞＞5，
1≤x≤W，1≤y≤H，对于垂直预测 (3)
P(x，y)＝((32-f)*leftRef[y+i]+f*leftRef[y+i+1]+16)＞＞5，
1≤x≤W，1≤y≤H，对于水平预测。 (4)
如上所述，HEVC和JEM旨在通过不同的角度预测模型对不同的方向结构进行建模。取决于方向性，一些预测方向被称为正的，而一些被称为负的。当强度值沿预测方向不改变太多时，预测模型良好地工作。但是，在自然图像中，由于多种原因，对象上的强度值通常经历改变。例如，由于对象本身的颜色属性、光照、深度、运动等，PU上的强度值可能经历无法使用像素重复来充分建模的改变。例如，当PU尺寸大时尤其如此，JEM已提出使用多达256的CTU尺寸。因此，可以考虑可以更高效地对强度改变进行建模的其他预测模型。
帧内预测旨在利用属于相同对象、背景或区域的像素之间的空间相关性。在这种背景下，视频编码标准(诸如H.264/AVC、H.265/HEVC或JEM)中的帧内预测已设计为捕获对象取向的方向性以及缓慢改变的强度区域或纹理。在HEVC中，例如，帧内预测包括35个预测模式，其由一个DC、一个平面和33个角度预测模式组成。角度模式设计为对对象的方向结构进行建模，而DC模式和平面模式为具有缓慢且逐渐的强度改变的区域并且还为具有变化纹理的区域提供预测。在旨在设计未来标准H.266的联合探索模型(JEM)中，预测模式的数量已增加至67，以适应具有更大块尺寸的另外的方向。在方向预测模式的情况下，在预定义的方向上重复来自邻近的左侧邻域和顶部邻域的滤波后的像素值，然后进行某些后滤波，以消除某些情况下块边界处的突变。在本公开中，提出为了更高的压缩效率，除了简单的像素重复之外还使用插值。尽管像素重复是捕获对象角度性的好模型，但它并未对对象强度可能显著改变的情况进行建模。在这种情况下，具有插值的预测可以更好地对方向结构进行建模，导致更好的压缩效率。
使用插值的想法已经在HEVC标准化过程中被提出，但是由于增加的复杂性与不足的编码增益而未被包含在最终标准中。它们遭受以下缺点：插值计算是近似的，仅少数正方向使用插值，并且那些方向的正常预测被所提出的插值代替。在本文描述的实施例中，与已提出的方法相比的新且更好的插值方法被描述。该提议在几个方面与较早提出的方法不同：它使用不同的插值算法，该算法使用精确插值，而不是先前所做的任何近似。其次，它可以将插值应用于所有正方向，而不仅仅是正方向的子集。取决于编码器和解码器的复杂性要求，可以先验地决定在其上应用插值的方向的数量。第三，它不用插值预测代替正常预测，而是提出将插值预测包括在内作为附加的预测模型。取决于RD性能，编码器可以在正常预测方法还是所提出的方法之间做出决定，并且可以使用1比特标志来用信号通知所选择的方法。
本文描述的总体构思旨在提高帧内预测中的预测效率。总体构思提出每当插值提供更好的RD性能时，都使用插值代替沿正方向的简单像素重复。插值需要两个或更多个参考像素。对于严格正预测模式，目标CU中的某些像素可以在预测方向的两端具有两个参考样本。在这种情况下，提出使用线性插值作为替代预测。对于仅具有一个参考样本的其他像素，提出在CU的底部使用估计的参考样本，该估计的参考样本用作第二参考样本。使用顶部和左侧参考样本来估计这些参考样本。
视频压缩中的帧内预测是指使用来自因果邻近块(即，同一帧中已被解码的邻近块)的信息对像素块进行空间预测。这是一种功能强大的编码工具，因为每当没有更好的时间预测时，它就在帧内帧(INTRA frame)以及帧间帧(INTER frame)中实现高压缩效率。因此，帧内预测已被包括，作为包括H.264/AVC、HEVC等在内的所有视频压缩标准中的核心编码工具。在下文中，出于解释的目的，将参考HEVC标准以及当前对其进行改进的工作(诸如JEM)中的帧内预测。
在HEVC中，视频序列的帧的编码基于四叉树(QT)块结构。帧被划分为正方形编码树单元(CTU)，正方形编码树单元均基于速率失真标准经历基于四叉树的分割，成为多个编码单元(CU)。每个CU包含至少一个作为预测工具的基础块的预测单元(PU)。在帧内预测中，根据因果邻近PU(即，顶部和左侧的PU)在空间上预测PU。为此，HEVC使用称为预测模式的简单空间模型。基于顶部和左侧PU中的解码像素值(称为参考像素)，编码器为目标块构建不同的预测，并选择导致最佳RD性能的预测。在35个所定义的模式中，一个是平面模式(索引为模式0)，一个是DC模式(索引为模式1)，并且其余33个(索引为模式2-34)是角度模式。角度模式旨在对帧中对象的方向结构进行建模。因此，沿着所定义的方向简单地重复顶部和左侧CU中的解码像素值，以填充目标块。由于该过程可能导致某些模式的沿顶部和左侧参考边界的不连续性，因此那些预测模式包括后续的后滤波，以使沿那些边界的像素值平滑。
只要强度值不改变太多，以上预测模型就很好地工作。但是，在自然图像中，由于多种原因，对象上的强度值通常经历改变。或者由于对象本身的颜色属性，或者由于光照、深度、运动等原因，PU上的强度值可能经历无法使用像素重复来充分建模的改变。当PU尺寸大时尤其如此。在JEM中，已提出使用多达256的CTU尺寸。因此，考虑将更高效地对强度改变进行建模的其他预测模型(诸如插值)更有意义。
在描述所提出的插值模型之前，下面简要展现HEVC中的帧内预测。
HEVC中的帧内预测过程包括三个步骤：(1)参考样本生成，(2)帧内样本预测，以及(3)预测样本的后处理。参考样本生成过程在图1中示出。对于尺寸为N×N的PU，从当前PU的先前重构的顶部像素和右上像素形成顶部的2N个解码样本的行。类似地，从重构的左侧像素和左下像素形成左侧的2N个样本的列。左上位置的角像素也用于填充顶部行和左侧列参考之间的间隙。如果因为对应的CU不在同一切片中，或者当前CU在帧边界处等而使得顶部或左侧的某些样本不可用，则执行称为参考样本替换的方法，其中以顺时针方向从可用样本中复制缺失的样本。然后，取决于当前CU尺寸和预测模式，使用指定的滤波器对参考样本进行滤波。
下一步，即帧内样本预测，包括基于参考样本来预测目标CU的像素。如前所述，为了高效地预测不同种类的内容，HEVC支持一系列预测模型。平面和DC预测模式用于预测平滑且逐渐改变的区域，而角度预测模式用于捕获不同的方向结构。HEVC支持33个方向预测模式，从2到34对其编索引。这些预测模式对应于不同的预测方向，如图2中所示。数字表示与对应方向关联的预测模式索引。模式2至17指示水平预测(H-26至H+32)，模式18至34指示垂直预测(V-32至V+32)。
如图2中所示，所定义的角度方向具有1/32的样本精度。也就是说，在任何两个相邻参考样本之间，存在32个可能的方向。所定义的方向可以区分为垂直或水平。水平方向的预测仅使用左侧参考样本，或者使用一些左侧参考样本和一些顶部参考样本。类似地，垂直方向的预测仅使用顶部参考样本，或者使用一些顶部参考样本和一些左侧参考样本。仅使用左侧参考样本或仅使用顶部参考样本的方向被定义为正方向。因此，有仅使用左侧参考样本的从H0到H+32的水平正方向。类似地，有仅使用顶部参考样本的从V0到V+32的垂直正方向。其他水平和垂直方向(H-2至H-26和V-2至V-32)被定义为负方向，并且它们使用左侧和顶部两者的参考样本。表1示出了如由HEVC指定的预测模式与角度参数A之间的关系。
在HEVC参考码中，首先使用顶部和左侧参考样本来构建参考阵列。对于垂直预测，参考阵列是水平的，而对于水平预测，参考阵列是垂直的。对于具有正角度参数A的模式(模式2至10和26至34)，取决于方向，参考阵列只是顶部或左侧参考样本：
topRef[x]＝P[x-1][-1]，0≤x≤2N，对于垂直预测
leftRef[y]＝P[-1][y-1]，0≤y≤2N，对于水平预测
其中N为CU尺寸。通常在目标CU的左上像素，将样本坐标初始化为(0，0)。因此，顶部参考样本将具有-1的y坐标，而左侧参考样本将具有-1的x坐标。
对于具有负角参数A的模式(模式11至25)，参考阵列需要来自顶部和左侧参考两者的像素。在这种情况下，参考阵列将延伸到0以外的负索引。取决于垂直或水平预测，如上获得具有正索引的参考阵列上的样本值。通过沿预测方向在参考阵列上投影左侧参考像素(对于垂直预测)或顶部参考像素(对于水平预测)来获得具有负索引的参考阵列上的样本值。
一旦构建了参考阵列，则通过沿所选方向将像素位置投影到参考阵列、然后在(x，y)处复制参考阵列样本值，来获得目标CU内任何像素位置(x，y)处的预测。通过在两个相邻样本之间进行插值，以(1/32)的样本分辨率计算参考样本值，如下所示：
P[x][y]＝((32-f)*topRef[x+i+1]+f*topRef[x+i+2]+16)＞＞5)，0≤x，y＜N对于垂直预测，
P[x][y]＝((32-f)*leftRef[y+i+1]+f*leftRef[y+i+2]+16)＞＞5)，0≤x，y＜N，
对于水平预测，
其中i和f表示来自像素位置(x，y)的投影位移的整数部分和小数部分。
如果Δ表示投影位移，则
Δ＝(x+1)*A，对于水平预测，并且
Δ＝(y+1)*A，对于垂直预测。
i＝Δ＞＞5，
f＝Δ&31。
注意，如果f＝0，即没有小数部分，则预测等于预测方向上的参考阵列样本。
如从以上表达式可以看出的，垂直预测独立于y坐标，并且水平预测独立于x坐标。这意味着，对于垂直预测，从顶部的参考阵列沿预测方向重复预测值。类似地，对于水平预测，从左侧的参考阵列沿预测方向重复预测值。因此，如果两个或更多个像素坐标在参考阵列上具有相同的投影点，则它们具有相同的预测值。
在JEM码中，预测模式的数量已增加至67，其中包括一个平面模式、一个DC模式和65个角度模式。更高数量的角度模式对应于65个预测方向，其中这些预测方向对应于HEVC中的33个方向加上与任意两个相邻方向的中间相对应的附加的32个方向。换句话说，JEM中的预测方向具有HEVC角度分辨率的两倍。已经提出了更高数量的预测模式，以开发具有所提出的更高块尺寸的这种角度结构的可能性。对应于更高数量的模式，具有更高数量的角度参数A值。模式从2到66以升序编号，并且方式与HEVC中从2到34进行的方式相同。
除了正方形CU，由于四叉树加二叉树(QTBT)结构，所以JEM也可以具有矩形CU。在这种情况下，对于正方向，如下构建参考阵列：
topRef[x]＝P[x-1][-1]，0≤x≤W+H，对于垂直预测
leftRef[y]＝P[-1][y-1]，0≤y≤W+H，对于水平预测
其中W和H分别表示目标CU的宽度和高度。预测过程基本上保持与HEVC中相同。将像素值计算为：
P[x][y]＝((32-f)中topRef[x+i+1]+f*topRef[x+i+2]+16)＞＞5，0≤x＜W，0≤y＜H，
对于垂直预测，
P[x][y]＝((32-f)*leftRef[y+i+1]+f*leftRef[y+i+2]+16)＞＞5，0≤x＜W，0≤y＜H，
对于水平预测。
如HEVC中那样，这些方向具有(1/32)的样本精度。
某些预测模式(诸如DC模式、以及直接水平模式(H0或10)和垂直模式(V0或26))可能导致预测后在CU边界处的不连续性。因此，在HEVC以及JEM中，在这样的预测模式之后是后处理步骤，其中使用低通滤波器使边界预测样本平滑。
如先前部分中所示，HEVC或JEM中的所有角度预测模型都使用参考阵列上的样本，并沿预测方向重复这些值。仅对于某些预测，对边界像素进行低通滤波以避免不连续性。但是于是受滤波过程影响的边界像素的数量受到限制，从一个像素到几个像素。只要强度值沿所选方向的改变小，这些预测模型就是好的。在自然图像中，由于各种原因，通常具有变化的强度值。尤其是，当CU尺寸大时，更为常见的是在方向结构跨越较大长度的情况下强度值具有较大改变。因此，更好的方法是使用强度梯度模型。一种这样的模型是插值，其在两个或更多个已知像素值之间插入像素值。
如先前部分中所示，HEVC和JEM旨在通过不同的角度预测模型对不同的方向结构进行建模。取决于方向性，一些预测模型被称为正的，而一些被称为负的。注意，对于严格的正角度预测(即，A>0)，如果预测方向在参考阵列的相反方向上延伸了一些像素，则它与其他参考相交。例如，对于垂直正方向，该延伸将与左侧参考列相交。类似地，对于水平正方向，该延伸将与顶部参考行相交。这在图3中示出。但是，还注意到，由于顶部的参考行和左侧的参考列具有有限的长度(HEVC中为2N，JEM中为H+W)，因此在相反方向上延伸时，某些像素的预测将错过其他参考(参见图4)。仅对于第一个和最后一个角度预测模式(HEVC中为2和34，JEM中为2和66)，目标CU中的所有像素将使其预测方向在延伸时与相反参考相交。这在图5中示出。
从参考阵列在任何像素处复制预测的想法是基于这样的直觉，即如果CU中的任何对象具有选定的方向性，则参考阵列处的像素值和CU内的像素将相互关联。对于正预测方向，方向性与当前CU的顶部和左侧的CU相交。因此，如果延伸的预测与其他参考像素相交，则自然地期望交点处的参考像素值也将与CU内的目标像素相互关联。这给出这样的想法，即可以使用两个参考像素而不仅仅是参考阵列上的一个像素值来改善CU内像素的预测值。做这个的最简单的方式是通过线性插值，将在下一部分中对其进行说明。
线性插值是一种众所周知的数学技术，用于在位于两个其他点(其值已知)之间的中间点计算一维函数的值。如果f(x)表示一个函数，该函数在x＝a和x＝b(b>a)处的值是已知的，则可以通过插值来获得其在任意点x(a≤x≤b)处的值。基本假设是该函数在给定的两个点a、b之间线性变化，因此给定其在x＝a和x＝b处的值，则可以精确地确定其在a和b之间的任何其他点处的值。另一方面，如果该函数不是线性函数，但其值仅在两个点处已知，那么能做的最好是将该函数建模为直线。
考虑图6中的函数f(x)。令f(a)和f(b)分别表示其在x＝a和x＝b处的值。将a和b之间的线段的长度表示为d≡|b-a|。然后，使用线性插值，找到与a相距1的距离并且与b相距r的距离的点c处的值f：
该插值公式给出的值介于两个已知值之间。也就是说，如果f(b)≥f(a)，则f(a)≤f(c)≤f(b)；或者如果f(b)≤f(a)，则f(a)≥f(c)≥f(b)。当c接近a时，f(c)接近f(a)。类似地，如果c接近b，则f(c)接近f(b)。最后，如果c＝a，则f(c)＝f(a)；或者，如果c＝b，则f(c)＝f(b)。以上插值公式可以重写为：
其中
Figure BDA0002338008260000163
表示相对于f(a)的改变。还可以写为Δf(a)＝l*m，其中m表示线段的斜率。如所见，Δf(a)是仅c与a之间的距离(即，l)的函数，因为对于给定的a和b处的值，斜率是固定的。
如果函数f表示图像中的强度，则可以使用以上公式对位于连接两个像素位置的线段上的任何像素位置处的像素强度进行插值。如果P[x1][y1]和P[x2][y2]分别表示(x1,y1)和(x2,y2)处的像素强度，则位于连接(x1,y1)和(x2,y2)的线上的(x,y)处的像素强度可以计算为：
P[x][y]＝P[x1][y1]+ΔP，
其中d表示(x1,y1)和(x2,y2)之间的距离，l表示(x,y)和(x1,y1)之间的距离，ΔP表示相对于(x1,y1)处的值的像素强度的改变。在图像处理中，习惯上使用双线性插值，其使用四个像素值来插入中间像素值；但是由于想要保留结构的方向性，因此将沿预测方向仅应用线性插值。
在下文中，为了清楚展现起见，仅针对正垂直预测来展现插值理论。对于正水平预测，理论保持不变，因为可以通过交换顶部参考和侧部参考以及交换高度和宽度来实现水平预测。另外，为了通用性，假设矩形的CU，因为就考虑预测而言，正方形CU只是特殊情况。注意，在四叉树加二叉树(QTBT)划分中，如在JEM中所做的那样，将具有正方形和矩形CU两者，而在四叉树划分中，如在HEVC中所做的那样，将仅具有正方形CU。因此，该理论对于两种划分结构都是有效的。
参考图8。为了便于说明，将坐标系的原点移位到目标块的左上邻近像素的位置。因此，原点现在与顶部参考的第一样本以及左侧参考的第一样本重合。对预测目标块中位于(x,y)，0≤x<W，0≤y<H处的像素的值感兴趣。在新的坐标系中，该像素的坐标为(1+x,1+y)。对于所示的正方向，令(s,0)表示通常会在目标位置处复制的顶部参考样本(像素之一或以分辨率(1/32)进行插值)的坐标。将(s,0)处的样本称为目标像素的第一参考样本。将预测方向向左下方延伸，并令(0,t)表示左侧参考样本(像素之一或以分辨率(1/32)进行插值)的坐标。s和t都具有(1/32)的样本分辨率。将(0,t)处的样本称为目标像素的第二参考样本。
令Δx表示顶部参考上的投影位移。类似地，令Δy表示左侧参考上的投影位移。对于正预测
Δx>＝0，并且
Δy≥0。
如较早所见，对于角度参数A，Δx给定为
Δx＝(1+y)*A
为了计算Δy，进行如下步骤。首先，使用投影位移，得到
s＝((1+x)＜＜5)+Δx，
t＝((1+y)＜＜5)+Δy。
使用三角形相似性，得到：
Figure BDA0002338008260000171
由此得到，
Figure BDA0002338008260000172
将其与较早的t的表达式进行比较，得到
Figure BDA0002338008260000173
为了实现目的，可以使用
令ix和fx表示Δx的整数部分和小数部分。即，
ix＝Δx＞＞5，并且
fx＝Δx&31。
令P1表示第一参考样本值。则如较早所见：
P1＝((32-fx)*topRef[x+ix+1]+fx*topRef[x+ix+2]+16)＞＞5。
类似地，令iy和fy表示Δy的整数部分和小数部分。即，
iy＝Δy＞＞5，并且
fy＝Δy&31。
令P2表示第二参考样本值。则
P2＝((32-fy)*leftRef[y+iy+1]+fy*leftRef[y+iy+2]+16)＞＞5。
用L和R分别表示目标块中(x，y)处的像素与(s，0)和(0，t)处的参考样本的距离，可以插入(x，y)处的值为：
Figure BDA0002338008260000181
其中D≡L+R，并且
Figure BDA0002338008260000182
在此ΔP表示相对于第一参考样本的预测值的改变。
在当前的预测方法中，仅将P1用作预测。如在此所见，在插值方法中，只需要向现有的预测值添加一个附加项。附加项取决于比率
Figure BDA0002338008260000183
和两个参考样本值之间的差。
可以使用三角形相似性来计算比率
Figure BDA0002338008260000184
参考图8，可以看出
Figure BDA0002338008260000185
因此，可以将更新项计算为
Figure BDA0002338008260000186
最后，目标像素位置(x，y)处的插入值给定为：
Figure BDA0002338008260000187
在目前的HEVC和JEM参考软件中，Δx和预测值P1已被计算并可用。
以下是得到插值预测的附加步骤：
1.使用较早提到的表达式来计算Δy。
2.计算Δy的整数部分和小数部分。使用这些，计算左侧参考上的第二参考样本值P2。
3.计算s并计算更新项。将更新项添加到现有预测值。
如较早所示，可能存在其预测方向的延伸不会与左侧参考相交的一些像素。也就是说，不具有第二参考样本。对于这些情况，t的整数部分将大于左侧参考的长度，即W+H。如果遵循现有的预测，即对这些像素重复和对其他像素进行插值，则可能在目标块内的预测中存在尖锐的不连续性。为了避免这种情况并在目标块内进行平滑插值，将插值应用于目标块内的所有像素。因此，需要找到仍与插值的物理概念相对应并且在当前上下文中有意义的技术。在任何情况下，只需要计算前段中提到的更新项。取决于如何计算该项，下面将展现四种不同的插值方法。
插值方法1
在该方法中，假设左侧参考的最后一个像素值重复超过其尺寸。因此，对于任何目标像素，如果第二参考样本超过了左侧参考的长度，则只使用最后一个参考样本，即H+W处的样本。因此，理论上讲，左侧参考向下延伸到所需的程度，如图9中所示。
回想到Δy的整数部分和分数部分是iy和fy。因此，为了计算第二参考样本，如下进行：
如果1+y+iy≥W+H，则P2＝leftRef[W+H]；
否则，
P2＝((32-fy)*leftRef[y+iy+1]+fy*leftRef[y+iy+2]+16)＞＞5。
其余步骤与先前部分中相同。
插值方法2
在该方法中，对于没有第二参考样本的目标像素，如图10所示估计底部行参考，并将其上的样本用作第二参考。底部参考上的样本值全部相同，并且它们等于左侧参考的最后一个样本。注意，这是估计的参考，不是真正的参考，因为那些样本值尚未解码。
对于没有第二参考像素的像素，1+y+iy≥W+H。在这种情况下，预测方向的延伸将与底部参考相交。因此，长度R(其为目标像素和第二参考样本之间的距离)现在改变。现在，新的R指代目标像素的位置与底部参考上的参考样本之间的距离。现在，使用三角形相似性，得到
Figure BDA0002338008260000201
因此，插值给定如下：
如果i+y+iy＜W+H，则如第5节中那样进行插值。
否则，
P2＝leftRef[W+H]。并且
Figure BDA0002338008260000202
P[x][y]＝P1+ΔP。
插值方法3
在该方法中，如方法2中那样进行，但是不同地估计底部参考。代替重复左侧参考的最后一个样本值leftRef[W+H]，使用顶部参考的最后一个样本和左侧参考的最后一个样本来估计样本值。
参考图11。令d表示距左侧参考的距离，在该距离处，预测方向的延伸与底部参考相交。可以使用三角形相似性将d计算为
Figure BDA0002338008260000203
因此，
Figure BDA0002338008260000204
为了实现，可以将其表达为
Figure BDA0002338008260000205
为了计算第二参考样本P2，首先将(W+H，W+H)处的参考样本估计为
P[W+H][W+H]＝(topRef[W+H]+leftRef[W+H])/2。
然后，使用线性插值估计第二参考样本
Figure BDA0002338008260000206
现在，如下进行目标像素处的插值：
如果i+y+iy＜W+H，则如第5节中那样进行插值。
否则，如上计算P2。然后将ΔP和P[x][y]计算为
Figure BDA0002338008260000211
P[x][y]＝P1+ΔP。
插值方法4
在方法3中，使用了(W+H)的底部参考长度。并且使用leftRef[W+H]和topRef[W+H]来估计值。但是对于目标像素的插值，不需要长度为W+H的底部参考。这是因为，对于所有正垂直预测，如果第二参考样本位于底部参考上，则第二参考样本将位于W的距离之内。其次，还观察到那些底部参考样本更接近topRef[W]而不是topRef[W+H]。因此，为了更准确地估计底部参考，可以使用topRef[W]代替topRef[W+H]进行底部参考样本估计。这在图12中示出。
如方法3中那样，首先计算延伸与底部参考线相交处的距离d：
Figure BDA0002338008260000212
将(W，W+H)处的参考样本估计为加权平均：
P[W][W+H]＝(W*topRef[W]+(H+W)*leftRef[W+H]+((2*W+H)＞＞1))/(2*W+H)。
然后估计距离d处的参考样本：
目标像素处的插值给定如下：
如果i+y+iy＜W+H，则插值如第5节中那样。
否则，如上计算P2。然后将ΔP和P[x][y]计算为
Figure BDA0002338008260000214
P[x][y]＝P1+ΔP。
注意，在所有方法中，对于预测方向的延伸与左侧参考相交的像素，即，当真正的第二参考可用时，插值是相同的。它们仅针对真正的第二参考样本不可用的像素而有所不同，因为预测方向的延伸错过了左侧参考。
色度插值
在HEVC中，色度分量的预测取决于亮度分量预测模式。仅利用用于选择最佳预测模式的5个预测模式对色度分量进行测试。这些模式是PLANAR(平面)、DC、纯水平(模式10)、纯垂直(模式26)和亮度分量的预测模式(称为直接(或派生)模式)。如果直接模式等于前四个模式(即平面模式、DC模式、纯水平模式和纯垂直模式)中的任何一个，则垂直对角线模式34替代该模式。
在JEM中，除了这五个预测模式(即，平面模式(模式0)、DC模式(模式1)、纯水平模式(模式18)、纯垂直模式(模式50)和直接模式)之外，还有一个新模式称为LM-Chroma(LM-色度)。但是新模式不使用任何所定义的预测模式，而是根据重构的亮度块来构建预测。为了区分直接模式与LM-CHROMA，直接模式称为DM_CHROMA(DM_色度)模式。如果DM-CHROMA模式等于固定的四个模式(即，平面模式、DC模式、纯水平模式和纯垂直模式)之一，则垂直对角线模式66替代该模式。
此外，与HEVC中不同，在JEM中，色度CU划分与帧内帧中的亮度CU划分解耦。因此，DM_CHROMA模式可以对应于在空间上不与所考虑的色度CU相对应的亮度CU的预测模式。
在所提出的插值中，如果模式严格为正(垂直或水平)，则针对直接模式(在HEVC中)或DM_CHROMA模式(在JEM中)执行插值。
插值的信令
以上提出的插值预测是基于图像中的对象取向和强度变化的物理直觉的模型。它们不保证所得到的RD性能一定比普通的参考样本重复更好。因此，在本文描述的当前方面下，提出通过启用SPS或PPS或切片报头中的标志来将插值作为选项包括在内。
一旦启用标志，具有正角度预测的每个帧内CU都将具有插值预测或普通的样本重复预测。使用1比特标志将其用信号通知给解码器。使用上下文0对1比特标志进行上下文编码。
对于色度分量，可以遵循两种信令方法之一。在一种方法中，可以独立于亮度CU信令，发送一个比特来用信号通知对应的色度CU是否使用插值。可以使用上下文0或模式相关上下文对一比特标志进行上下文编码。第二种方法是对于色度分量的预测不使用附加信令。而是，色度分量可以使用与CTU中心或左上角的亮度CU相同的信令。在该方法中，如果启用亮度信令标志并且直接模式(在HEVC中)或DM_Chroma(在JEM中)严格为负，则利用插值来预测CU，否则执行常规角度预测。
在以下部分中，展现考虑以上方法的几个实施例。
在以下实施例中，假设基于HEVC编解码器的JEM编解码器。除了具有正角度模式的帧内预测外，其他所有工具保持不变。指示插值预测的标志是利用上下文零进行上下文编码的。所提出的帧内预测工具(诸如PDPC、NSST、EMT等)也保持不变。色度插值标志是从位于CTU中心的亮度CU的色度插值标志导出的。
实施例1：
在该实施例中，使用5.1节中描述的方法1执行插值。对于其来说插值可用的角度预测模式的集合可以是一个或多个正方向。对于具有一个这样的预测模式的亮度CU，编码器基于RD性能在插值预测还是普通预测之间进行决定，并且这是使用1比特标志来用信号通知的，该1比特标志利用上下文0进行上下文编码。仅在预测模式属于所选集合的情况下，解码器对信令标志进行解码。如果预测模式不属于该集合，则解码器不解码任何信令标志，并且假定信令标志为默认值零。对于色度CU，与中心亮度CU一起使用的信令标志用于决定是否以DM_Chroma模式执行插值。如果没有用于亮度CU的信令标志(因为其预测模式不落入可以经历插值的模式集合)，则使用默认值0来指示正常预测。
实施例2：
在该实施例中，使用5.2节中描述的方法2执行插值。对于其来说插值可用的角度预测模式的集合可以是一个或多个正方向。对于具有一个这样的预测模式的亮度CU，编码器基于RD性能在插值预测还是普通预测之间进行决定，并且这是使用1比特标志来用信号通知的，该1比特标志利用上下文0进行上下文编码。仅在预测模式属于所选集合的情况下，解码器对信令标志进行解码。如果预测模式不属于该集合，则解码器不解码任何信令标志，并且假定信令标志为默认值零。对于色度CU，与中心亮度CU一起使用的信令标志用于决定是否以DM_Chroma模式执行插值。如果没有用于亮度CU的信令标志(因为其预测模式不落入可以经历插值的模式集合)，则使用默认值0来指示正常预测。
实施例3：
在该实施例中，使用5.3节中描述的方法3执行插值。对于其来说插值可用的角度预测模式的集合可以是一个或多个正方向。对于具有一个这样的预测模式的亮度CU，编码器基于RD性能在插值预测还是普通预测之间进行决定，并且这是使用1比特标志来用信号通知的，该1比特标志利用上下文0进行上下文编码。仅在预测模式属于所选集合的情况下，解码器对信令标志进行解码。如果预测模式不属于该集合，则解码器不解码任何信令标志，并且假定信令标志为默认值零。对于色度CU，与中心亮度CU一起使用的信令标志用于决定是否以DM_Chroma模式执行插值。如果没有用于亮度CU的信令标志(因为其预测模式不落入可以经历插值的模式集合)，则使用默认值0来指示正常预测。
实施例4：
在该实施例中，使用5.4节中描述的方法4执行插值。对于其来说插值可用的角度预测模式的集合可以是一个或多个正方向。对于具有一个这样的预测模式的亮度CU，编码器基于RD性能在插值预测还是普通预测之间进行决定，并且这是使用1比特标志来用信号通知的，该1比特标志利用上下文0进行上下文编码。仅在预测模式属于所选集合的情况下，解码器对信令标志进行解码。如果预测模式不属于该集合，则解码器不解码任何信令标志，并且假定信令标志为默认值零。对于色度CU，与中心亮度CU一起使用的信令标志用于决定是否以DM_Chroma模式执行插值。如果没有用于亮度CU的信令标志(因为其预测模式不落入可以经历插值的模式集合)，则使用默认值0来指示正常预测。
实施例5：
在该实施例中，如实施例1-4中那样执行插值，除了信令标志是使用取决于模式的上下文而不是上下文0来进行上下文编码的。
实施例6：
在该实施例中，如实施例1-5中那样执行插值，但是对色度分量使用单独的信令标志。信令标志利用上下文零进行上下文编码。
实施例7：
在该实施例中，如实施例6中那样执行插值，但是用于色度分量的信令标志是利用取决于模式的上下文进行上下文编码的。
实施例8：
在该实施例中，遵循实施例1-4中的任何一个。在切片报头中用信号通知添加插值的选项，指示切片中的所有CU均可使用插值选项。
实施例9：
在该实施例中，遵循实施例1-4中的任何一个。在PPS报头中用信号通知添加插值的选项，指示帧中的所有CU均可使用插值选项。
实施例10：
在该实施例中，遵循实施例1-4中的任何一个。在SPS报头中用信号通知添加插值的选项，指示序列中的所有帧均可使用插值选项。
所提出的插值方法将以比正常重复预测改进的强度变化来对对象取向进行建模，从而导致更好的RD性能。
图16中示出了根据总体方面的方法1600的一个实施例。该方法开始于开始框1601，并且前进到功能框1610，以确定是使用帧内预测还是插值预测来对块进行编码或解码。如果确定要使用帧内预测，则执行正常帧内预测操作。然而，如果确定要使用插值预测，则控制从框1610前进到功能框1620，以识别该块的插值预测模式。然后控制从功能框1620前进到功能框1630，以确定是否从参考样本集合中排除要在插值预测中使用的一个或多个样本。如果确定在参考样本集合中包括要在插值预测中使用的样本，则控制从功能框1630前进到功能框1650，以使用集合中的参考样本根据插值预测模式在特定方向上执行插值预测。然而，如果确定从参考样本集合中排除要在插值预测中使用的样本，则控制从功能框1630前进到功能框1640，以在插值预测中使用替代参考样本。可以使用上述找到要在插值过程中使用的替代参考样本的插值方法中的一种来获得一个或多个替代参考样本。
图17中示出了根据本方面的用于对视频块进行编码或解码的装置1700的一个实施例。该装置包括与处理器1710进行信号通信的存储器1720。存储器1720和处理器1710可以具有各种其他输入和输出端口。处理器1710被配置为确定是使用帧内预测还是插值预测来对视频图像中的块进行编码或解码。如果确定使用插值预测，则处理器执行：识别块的插值预测模式，该模式具有特定的预测方向；对于所识别的插值预测模式，确定是否从用于在特定方向上执行插值预测的参考部中排除要用于插值的一个或多个样本。如果确定从参考部中排除一个或多个样本，则处理器在执行插值预测中使用替代参考样本。如果确定在参考部中包括一个或多个样本，则处理器使用参考样本根据插值预测模式在特定方向上执行插值预测。
附图中所示的各种元件的功能可以通过使用专用硬件以及能够与适当的软件相关联地执行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或其中一些可以共享的多个单独的处理器提供。此外，术语“处理器”或“控制器”的明确使用不应解释为专门指代能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。
也可以包括其他常规和/或定制的硬件。类似地，图中所示的任何切换仅是概念上的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手动来实现，如从上下文中更具体理解的那样，特定技术可由实现者选择。
本描述说明了本原理。因此，将理解，本领域技术人员将能够设计出尽管未在本文中明确描述或示出但体现本发明原理并且包括在其精神和范围内的各种布置。
本文叙述的所有示例和条件语言旨在用于教示目的，以帮助读者理解发明人为促进本领域而做出的本原理和构思，并且应解释为不限于此类具体叙述的示例和条件。
此外，本文中引用本原理的原理、方面和实施例及其特定示例的所有陈述旨在涵盖其结构和功能上的等同物。另外，意图是这样的等同物包括当前已知的等同物以及将来开发的等同物，即，开发的执行相同功能的任何元件，而与结构无关。
因此，例如，本领域技术人员将认识到，本文展现的框图表示体现本原理的说明性电路的概念视图。类似地，将理解的是，任何流程表、流程图、状态转换图、伪代码等表示可以基本上在计算机可读介质中表示并因此由计算机或处理器执行的各种过程，无论该计算机或处理器是否被明确示出。
在本文的权利要求中，表达为用于执行特定功能的部件的任何元件旨在涵盖执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合，或b)任何形式的软件(因此包括固件、微代码等)，其与用于执行该软件适当电路组合以执行该功能。这样的权利要求所定义的本原理在于以下事实：由各种所述部件提供的功能以权利要求所要求保护的方式被组合和集合在一起。因此认为可以提供那些功能的任何部件都等同于本文所示的那些部件。
说明书中对本原理的“一个实施例”或“实施例”及其其他变型的引用意味着结合该实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型的出现不一定都指代相同的实施例。
综上，提供了一种使用插值的执行用于编码或解码的帧内预测的改进方法。在插值中，对于要在插值计算中使用的位于正常参考范围之外的样本，找到替代样本。替代样本可以是来自目标块左侧的参考部分底部的重复的最终样本，或者是目标块上方的参考部分的右侧样本，或者是基于已知参考样本的某些计算或估计的值。编码器可以用信号向解码器通知是使用帧内预测还是插值预测。

Claims (13)

1.一种方法，包括：
确定是使用帧内预测还是具有像素插值的帧内预测来对视频图像中的块进行编码；
如果确定使用具有像素插值的帧内预测：
识别所述块的插值预测模式，该模式具有特定的预测方向；
对于所识别的插值预测模式，确定是否从用于在特定方向上执行插值预测的参考部中排除要用于插值的一个或多个样本；
如果确定从参考部中排除样本，则在所述插值预测中使用一个或多个替代参考样本；
如果确定在参考部中没有排除一个或多个样本，则使用一个或多个参考样本根据插值预测模式在特定方向上执行插值预测。
2.一种方法，包括：
确定是使用帧内预测还是具有像素插值的帧内预测来对视频图像中的块进行解码；
如果确定使用具有像素插值的帧内预测：
识别所述块的插值预测模式，该模式具有特定的预测方向；
对于所识别的插值预测模式，确定是否从用于在特定方向上执行插值预测的参考部中排除要用于插值的一个或多个样本；
如果确定从参考部中排除样本，则在所述插值预测中使用一个或多个替代参考样本；
如果确定在参考部中没有排除一个或多个样本，则使用一个或多个参考样本根据插值预测模式在特定方向上执行插值预测。
3.一种装置，包括：
存储器，以及
处理器，配置为执行：
确定是使用帧内预测还是具有像素插值的帧内预测来对视频图像中的块进行编码；
如果确定使用具有像素插值的帧内预测：
识别所述块的插值预测模式，该模式具有特定的预测方向；
对于所识别的插值预测模式，确定是否从用于在特定方向上执行插值预测的参考部中排除要用于插值的一个或多个样本；
如果确定从参考部中排除样本，则在所述插值预测中使用一个或多个替代参考样本；
如果确定在参考部中没有排除一个或多个样本，则使用一个或多个参考样本根据插值预测模式在特定方向上执行插值预测。
4.一种装置，包括：
存储器，以及
处理器，配置为执行：
确定是使用帧内预测还是具有像素插值的帧内预测来对视频图像中的块进行解码；
如果确定使用具有像素插值的帧内预测：
识别所述块的插值预测模式，该模式具有特定的预测方向；
对于所识别的插值预测模式，确定是否从用于在特定方向上执行插值预测的参考部中排除要用于插值的一个或多个样本；
如果确定从参考部中排除样本，则在所述插值预测中使用一个或多个替代参考样本；
如果确定在参考部中没有排除一个或多个样本，则使用一个或多个参考样本根据插值预测模式在特定方向上执行插值预测。
5.如权利要求1或2所述的方法，或者如权利要求3或4所述的装置，其中，所述替代参考样本与所述块左侧的参考部分中的底部参考样本相同，或者与所述块上方的参考部分中的右侧样本相同。
6.如权利要求1或2所述的方法，或者如权利要求3或4所述的装置，其中，所述替代参考样本是根据所述块左侧的参考部分或所述块上方的参考部分的估计来确定的。
7.如权利要求1或2所述的方法，或者如权利要求3或4所述的装置，其中，所述替代参考样本是根据所述块左侧的参考部分和所述块上方的参考部分的估计来确定的。
8.如权利要求1所述的方法，或者如权利要求3所述的装置，其中，使用1比特标志来用信号通知所述帧内预测或插值预测的确定。
9.如权利要求2所述的方法，或者如权利要求4所述的装置，其中，所述帧内预测或插值预测的确定是基于1比特标志的。
10.如权利要求1或2所述的方法，或者如权利要求3或4所述的装置，其中，如果所述帧内预测模式为正，则针对直接编码模式或DM_CHROMA执行插值。
11.一种非暂时性计算机可读介质，包括根据权利要求1和5至10中任一项所述的方法或者由权利要求3和5至10中任一项所述的装置所生成的用于播放的数据内容。
12.一种信号，包括根据权利要求1和5至10中任一项所述的方法或者由权利要求3和5至10中任一项所述的装置所生成的用于播放的视频数据。
13.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令使所述计算机执行权利要求2和5至10中任一项所述的方法。
CN201880042979.5A 2017-05-31 2018-05-30 利用插值进行帧内预测的方法和装置 Active CN110832854B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17305635.9A EP3410708A1 (en) 2017-05-31 2017-05-31 Method and apparatus for intra prediction with interpolation
EP17305635.9 2017-05-31
PCT/EP2018/064186 WO2018220012A1 (en) 2017-05-31 2018-05-30 Method and apparatus for intra prediction with interpolation

Publications (2)

Publication Number Publication Date
CN110832854A true CN110832854A (zh) 2020-02-21
CN110832854B CN110832854B (zh) 2023-10-31

Family

ID=59034684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042979.5A Active CN110832854B (zh) 2017-05-31 2018-05-30 利用插值进行帧内预测的方法和装置

Country Status (4)

Country Link
US (2) US11102510B2 (zh)
EP (2) EP3410708A1 (zh)
CN (1) CN110832854B (zh)
WO (1) WO2018220012A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112771861A (zh) * 2019-01-02 2021-05-07 Oppo广东移动通信有限公司 色度帧内预测方法和装置、及计算机存储介质
KR20210131395A (ko) * 2019-03-12 2021-11-02 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 인트라 예측 방법 및 장치, 컴퓨터 판독가능 저장 매체
CN110072112B (zh) * 2019-03-12 2023-05-12 浙江大华技术股份有限公司 帧内预测方法、编码器及存储装置
CN110572680B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码、编码方法和装置，存储介质与解码器、编码器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2388999A2 (en) * 2010-05-17 2011-11-23 Lg Electronics Inc. New intra prediction modes
CN103262542A (zh) * 2010-10-26 2013-08-21 数码士有限公司 自适应帧内预测编码和解码方法
WO2016066093A1 (en) * 2014-10-31 2016-05-06 Mediatek Inc. Method of improved directional intra prediction for video coding
US20170150180A1 (en) * 2015-11-20 2017-05-25 Mediatek Inc. Method and apparatus for video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE041324T2 (hu) 2010-05-25 2019-05-28 Lg Electronics Inc Új síkbani elõrejelzés üzemmód
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
EP2919468A3 (en) 2011-06-28 2016-02-17 Samsung Electronics Co., Ltd Method and apparatus for image encoding and decoding using intra prediction
WO2013107931A1 (en) * 2012-01-19 2013-07-25 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
WO2017018664A1 (ko) 2015-07-28 2017-02-02 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2388999A2 (en) * 2010-05-17 2011-11-23 Lg Electronics Inc. New intra prediction modes
CN103262542A (zh) * 2010-10-26 2013-08-21 数码士有限公司 自适应帧内预测编码和解码方法
WO2016066093A1 (en) * 2014-10-31 2016-05-06 Mediatek Inc. Method of improved directional intra prediction for video coding
US20170150180A1 (en) * 2015-11-20 2017-05-25 Mediatek Inc. Method and apparatus for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TORU KUMAKURA: "Non-CE6: On intra chroma mode coding", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Also Published As

Publication number Publication date
US20220060746A1 (en) 2022-02-24
CN110832854B (zh) 2023-10-31
EP3410708A1 (en) 2018-12-05
US20210136408A1 (en) 2021-05-06
US11102510B2 (en) 2021-08-24
WO2018220012A1 (en) 2018-12-06
EP3632102A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
JP7469437B2 (ja) イントラ予測モードを有するルックアップテーブルおよび非隣接ブロックからのイントラモード予測
JP7403555B2 (ja) イントラコーディングモードにおけるマトリクスの導出
EP3849184A1 (en) Image signal encoding/decoding method and apparatus therefor
JP7277447B2 (ja) 動き補償用の改善されたプレディクタ候補
EP3306935A1 (en) Image encoding and decoding method and image decoding device
CN115134608A (zh) 使用自适应去块滤波编码和解码图像的方法及其装置
US20200120358A1 (en) Method and apparatus for intra prediction with multiple weighted references
CN113507603B (zh) 图像信号编码/解码方法及其设备
US20220060746A1 (en) Method and apparatus for intra prediction with interpolation
CA3118882A1 (en) Refinement of motion vector derived from merge candidate based on offset vector
KR20200143296A (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
KR20210006306A (ko) 인터 예측을 이용하여 비디오를 부호화 및 복호화하는 방법 및 장치
JPWO2020211807A5 (zh)
WO2018219923A1 (en) Method and apparatus for bi-directional intra prediction in video coding
CN113574878A (zh) 用于对视频信号进行编码/解码的方法及其设备
US20230421752A1 (en) Method and apparatus for video coding using matrix based cross-component prediction
US20230412798A1 (en) Method and apparatus for video coding for improving predicted signals of intra prediction
US20230291926A1 (en) Video encoding and decoding using deep learning based inter prediction
CN116918323A (zh) 用于改善帧内预测的预测信号的视频编解码方法和装置
KR20230157861A (ko) 기하학적 분할에 기초하는 인터/인트라 예측을 이용하는 비디오 코딩방법 및 장치
CN116941241A (zh) 利用基于矩阵的交叉分量预测的视频编解码方法和装置
KR20240082214A (ko) 템플릿 매칭 기반 인터 예측을 이용하는 비디오 코딩방법 및 장치
KR20240080128A (ko) 아핀 모델 기반의 예측에서 움직임 보상 필터를 적응적으로 이용하는 비디오 코딩방법 및 장치
KR20230026944A (ko) 개선된 인루프 필터를 이용하는 비디오 코딩방법 및 장치
KR20220125171A (ko) 인트라 예측의 예측 신호를 개선하는 비디오 코딩방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210526

Address after: Paris France

Applicant after: Interactive Digital Madison Patent Holdings

Address before: Delaware, USA

Applicant before: Interactive Digital VC Holdings

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant