CN112335240A - 使用可变权重的多参考帧内预测 - Google Patents

使用可变权重的多参考帧内预测 Download PDF

Info

Publication number
CN112335240A
CN112335240A CN201980043487.2A CN201980043487A CN112335240A CN 112335240 A CN112335240 A CN 112335240A CN 201980043487 A CN201980043487 A CN 201980043487A CN 112335240 A CN112335240 A CN 112335240A
Authority
CN
China
Prior art keywords
block
prediction
weights
video
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980043487.2A
Other languages
English (en)
Other versions
CN112335240B (zh
Inventor
F.拉卡普
G.拉思
F.厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP18306061.5A external-priority patent/EP3606069A1/en
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN112335240A publication Critical patent/CN112335240A/zh
Application granted granted Critical
Publication of CN112335240B publication Critical patent/CN112335240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种执行用于编码或解码的帧内预测的方法使用多层参考样本。层被形成为参考阵列，所述参考阵列由诸如加权的组合之类的函数使用以形成最终预测。权重可以是可变的，选自多个权重集。预测被用于对视频数据块进行编码或解码。可以以多种方式来确定权重，并且对于给定的预测模式，可以对目标块中的所有像素使用相同的权重或不同的权重。如果权重变化，那么它们可以取决于目标像素距参考阵列的距离。可以发送指示要使用哪个权重集的索引。

Description

使用可变权重的多参考帧内预测
技术领域
所给出的实施例中的至少一个一般而言涉及用于视频编码或解码的方法或装置，并且更具体地涉及用于视频编码器或视频解码器的使用具有可变权重的多参考帧内预测的方法或装置。
背景技术
为了实现高压缩效率，图像和视频编码方案通常采用包括运动向量预测的预测，并进行变换以充分利用视频内容中的空间和时间冗余性。一般而言，使用帧内或帧间预测来利用帧内或帧间相关性，然后对原始图像与预测的图像之间的差异(常常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重构视频，通过与熵编码、量化、变换和预测对应的逆过程来对压缩数据进行解码。
发明内容
本文描述的一般方面解决了现有技术的缺陷和缺点，这些方面针对编码和解码中的块形状自适应帧内预测方向。
根据第一方面，提供了一种方法。该方法包括以下步骤：从与视频数据块相邻的重构的样本形成多个参考阵列，其中所述重构的样本位于距所述视频数据块等于或大于一个位置的像素位置处；通过将从多个权重集中选择的权重集应用于多个参考阵列中的一个或多个参考阵列，分别预测视频数据块的目标像素；根据分别来自加权的参考阵列中的一个或多个参考阵列的预测，计算视频块的目标像素的最终帧内预测；并且，使用该预测对视频块进行编码。
根据另一方面，提供了第二种方法。该方法包括以下步骤：从与视频数据块相邻的重构的样本形成多个参考阵列，其中所述重构的样本位于距所述视频数据块等于或大于一个位置的像素位置处；通过将从多个权重集中选择的权重集应用于多个参考阵列中的一个或多个参考阵列，分别预测视频数据块的目标像素；根据分别来自加权的参考阵列中的一个或多个参考阵列的预测，计算视频块的目标像素的最终帧内预测；然后，使用该预测对视频块进行解码。
根据另一方面，提供了一种装置。该装置包括处理器。处理器可以被配置为通过执行前述方法中的任一个来对视频块进行编码或对位流进行解码。
根据至少一个实施例的另一个一般方面，提供了一种设备，该设备包括根据任何解码实施例的装置；以及以下至少之一：(i)天线，被配置为接收信号，该信号包括视频块；(ii)频带限制器，被配置为将接收到的信号限制到包括视频块的频带，或者(iii)显示器，被配置为显示代表视频块的输出。
根据至少一个实施例的另一个一般方面，提供了一种非暂态计算机可读介质，其包含根据所描述的编码实施例或变体中的任一个生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种信号，该信号包括根据所描述的编码实施例或变体中的任一个生成的视频数据。
根据至少一个实施例的另一个一般方面，位流被格式化为包括根据所描述的编码实施例或变体中的任何一个生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种计算机程序产品，其包括指令，该指令在由计算机执行时使计算机执行所描述的解码实施例或变体中的任一个。
从下面结合附图对示例性实施例的详细描述中，一般方面的这些和其它方面、特征和优点将变得显而易见。
附图说明
图1示出了用于HEVC中的帧内预测的参考样本以及由P(x,y)指示的坐标处的像素值。
图2示出了HEVC中的帧内预测方向。
图3示出了多参考帧内预测的示例。
图4示出了具有两个参考的帧内预测。图4(a)示出了扩展预测方向以获得位于用于目标像素的两个参考样本之间的第二参考阵列上的预测器。图4(b)示出了直接位于参考样本上的第二预测器。
图5示出了标准的通用视频压缩方案。
图6示出了标准的通用视频解压缩方案。
图7示出了用于对帧内预测信息进行解码(解析)的示例性流程图。
图8示出了用于对帧内预测信息进行编码的示例性流程图。
图9示出了具有编码前处理和图像分区部分的编码方案。
图10示出了具有解码后处理的解码方案。
图11示出了其中可以实现所描述的实施例的典型处理器布置。
图12示出了用于利用使用可变权重的多参考帧内预测进行编码的方法的实施例。
图13示出了用于利用使用可变权重的多参考帧内预测进行解码的另一种方法的实施例。
图14示出了用于利用使用可变权重的多参考帧内预测进行编码或解码的装置的实施例。
具体实施方式
本文描述的一般方面涉及图像和视频压缩的领域，并且集中在空间预测上。经典的编解码器将帧分区为不重叠的大正方形块，例如，H.265/HEVC(高效视频编码，ITU-TH.265ITU的电信标准化部门，“Series H:Audiovisual and Multimedia Systems,Infrastructure of audiovisual services–Coding of moving video,High efficiencyvideo coding”，2014年10月)中的编码树单元(CTU)或VP9(“AV1 Bitstream&DecodingProcess Specification”，开放媒体联盟)中的超级块。在下文中，它们被称为CTU。然后，将这些块拆分为遵循递归树的更小的块或编码单元(CU)。在HEVC和AV1中，块的最大尺寸被设置为64×64。在联合视频专家小组(JVET)研究的下一个标准H.266/VVC(通用视频编码)中，这个尺寸可能会增加到至少128×128。
为了对这些块进行编码，使用帧内预测来使用先前重构的相邻样本来提供块的估计版本。然后，对源块与预测之间的差异进行编码。在上述经典编解码器中，在当前块的左侧和顶部使用单线参考样本。
在最近的工作中，引入了多个参考线的使用。计算沿着给定预测方向的来自多线的样本的加权组合，然后将其填充到当前块上。
在本文描述的方面中，这种方法被扩展为允许编码器选择不同的权重集以应用于所考虑的线。然后，所选择的集合按块被传输到解码器。
所描述的方面解决的一个问题是如何使用其先前重构的邻域来高效地预测块。
首先，描述如最新技术标准H.265/HEVC中执行的帧内预测。HEVC中的帧内预测过程由三个步骤组成：(1)参考样本生成、(2)帧内样本预测和(3)预测样本的后处理。参考样本生成过程在图1中示出。对于尺寸为N×N的预测单元(PU)，从先前重构的顶部和右上像素到当前PU，形成在顶部的2N个解码的样本的行。类似地，从重构的左侧和左下方像素，形成在左侧的2N个样本的列。左上位置处的拐角像素也被用于填充顶行和左列参考之间的间隙。如果顶部或左侧的样本中的一些不可用，因为对应的CU不在同一切片(slice)中、或当前CU在帧边界处等等，那么执行称为参考样本替换的方法，其中缺少的样本按顺时针方向从可用样本复制。然后，取决于当前CU尺寸和预测模式，使用指定的滤波器对参考样本进行滤波。
下一步，即，帧内样本预测，由基于参考样本来预测目标CU的像素构成。如前面所提到的，为了高效地预测不同种类的内容，HEVC支持一系列预测模式。平面和DC预测模式被用于预测平滑且逐渐变化的区域，而角度预测模式被用于捕获不同的方向结构。HEVC支持33种定向预测模式，其索引从2到34。这些预测模式与不同的预测方向对应，如图2中所示。
多参考帧内预测是指使用多个行和列的参考像素(图3)进行帧内预测。也称为任意层参考帧内预测或多线帧内预测。在图像处理中，由于高相关性，通常使用一阶预测模型。在帧内预测中使用一行和一列作为参考的原因原本是基于此，并且基于其它解码的行和列距离目标块像素更远并且它们没有添加关于目标块的太多附加信息的事实。在较早的标准中，当预测方向的数量少(例如，<＝7)并且块尺寸也小(例如，<＝8)时，这没关系。但是，在HEVC中，预测单元尺寸已增加到64×64，同时角度预测方向的数量也相应增加到33。对于未来的标准，正在研究的多达256×256的块尺寸，角度预测模式的数量多达129。考虑到这一点，当在由于附加存储器和复杂性引起的成本与编码增益之间的折衷可接受时，使用解码的像素的附加行和列作为参考是有意义的。
当用于目标像素的预测样本位于顶部参考阵列上的两个参考样本之间时，考虑垂直角度预测模式(例如，图4(a))。在这种情况下，如前一部分中所提到的，在HEVC中，将对预测样本进行线性插值。预测样本仅仅是估计。如果我们将预测方向再扩展一行，那么该线将在不同点处与第二行相交。即使第二行像素比第一行稍远，但由于图像中对象结构的方向性，第二行的估计也可以比第一行更好。在一些情况下，它甚至可以确切地在解码的像素的位置处与第二行相交(例如，图4(b))。基于这个构思，基于多个参考来预测目标块是有意义的。
为了参考不同的参考行/列对，将使用术语“参考层”。因此，参考层1将指目标块旁边的参考行和列(即，HEVC中的通常参考)，参考层2将指参考层1旁边的参考行和列，依此类推。
如前一部分中所提到的，为了进行预测，形成与参考层对应的顶部和左侧参考阵列。它们将被称为参考阵列1、参考阵列2，依此类推。注意的是，参考阵列n，n＝1，2，…可以指顶部参考阵列或者左侧参考阵列，具体取决于预测模式分别与垂直方向还是水平方向对应。
在早期的工作中，用于每一层的参考样本遵循HEVC或JEM中的参考样本生成算法。然后使用那些样本形成参考阵列。对于具有正角度的模式(HEVC中的模式2至10和26至34)，#n的参考阵列只是参考层#n的顶部参考样本：
Refn[x]＝P[x-n][-n]，0≤x≤W+H+2n-2，n＝1，2，3,…
然后，将(x,y)处的目标像素的预测计算为
Figure BDA0002860647410000051
其中编码器和解码器都知道的权重w1.w2,…,wN。N在这里表示用于帧内预测的参考层的数量。为了方便实施，对于某个正整数K，权重被标准化为
w1+w2+…+wN＝2K
在这种方法中，为序列的所有块选择并固定权重，这是本文描述的方面解决的一个问题。
在本文描述的方面中，通过让编码器在要应用于用于帧内预测的参考样本的不同线的不同权重集当中选择最佳配置来扩展在早期的工作中提出的多参考帧内预测方案。然后，所选择的权重，即，它们在可能选择的列表中的索引，按块被传输到解码器。
作为示例，使用截断的一元编码，有可能传输2个位以指示3个可能的集合当中的选择。示例性权重集{{1,0}，{3,1}，{1,1}}已经过测试。对于3个可能的集合中的每一个，第一个数字表示应用于最接近的参考样本线的权重，第二个数字与应用于第二线参考样本的权重对应。但是，一般方面不限于使用两线参考样本。
这个示例性配置已经被实现和测试，在JVET测试集的每个序列的第一帧的帧内配置中，JVET的测试模型VTM所得到的位速率节省在表1中报告。
受影响的编解码器模块是图9的帧内预测块步骤160或图10的步骤260。
Figure BDA0002860647410000061
表1：提出的工具相对于测试模型VTM的结果增益
本文描述的方面扩展了早期的工作，使得编码器有可能使用每个块的不同权重集来优化预测。在早期的工作中，权重是固定的。多参考帧内预测的激活是使用传输的标记来完成的。但是，在本文的方面下，描述了几种变体，这些变体的不同之处在于对与要应用于每个块的权重的选择相关的信息进行编码的方式。
在图7中，描述与主要实施例之一对应的示例，其中权重的编码取决于帧内模式。例如，对于定向帧内模式，使用多线比使用其它模式(如DC和平面模式)更有利。然后，第一步710由对预测模式进行解码组成。如果该模式可以适于多参考预测(720)，那么对权重集的索引进行解码(730)。否则，执行经典帧内预测。
类似的流程图描述了对所需的传输的索引进行编码的过程，这在图8中示出。权重集可以用任何二进制编码来编码。
作为示例，使用截断的一元编码，有可能传输2个位以指示3个可能的集合当中的选择。示例性权重集{{1,0}，{3,1}，{1,1}}已经过测试，当其仅应用于Luma块时，给出表1中所示的结果。对于3个可能的集合中的每一个，第一个数字表示应用于最接近的参考样本线的权重，第二个数字与应用于第二线参考样本的权重对应。但是，所描述的方面不限于使用两线参考样本。最终的权重被标准化，即，分别除以{1,4,2}。在这个示例中，第一对权重与经典帧内预测对应。
在编码器侧，基本构思将是尝试所有不同的集合并选择最佳权重，即，使用经典的速率失真优化(RDO)来提供最佳速率/失真(RD)成本的解决方案。这要求对于每个帧内模式用权重对预测的每个版本进行编码并比较成本，从而导致编码器运行时间增加。描述了不同的解决方案以减少复杂性方面的开销。
首先，经典编码器通常包含两次遍历以进行帧内预测决定。第一(快速)遍历通过估计其速率/失真(RD)成本来在众多帧内模式(HEVC中为33个)当中选择最佳模式的子集，而无需执行块的完整编码。然后，在选择的模式上执行完整的RD计算，以选择最佳模式。
然后有可能在第一遍历执行权重的选择，并在第二遍历保留要处理的对{帧内模式，权重的索引}。这减少了编码运行时间，同时保留了大部分增益。
也有可能在快速遍历中选择模式，然后添加仅评估选择的帧内模式上的最佳权重的另一个快速遍历。同样，这个估计不依赖于块的完整编码，而是依赖于残差的成本的估计。
就语法而言，可以考虑如下所述的几个实施例。
实施例1
具有可变权重的多参考帧内预测仅应用于定向帧内模式或定向模式的集合。分别遵循图7或图8中描述的步骤来执行帧内预测信息的解码或编码。
实施例2
具有可变权重的多参考帧内预测被应用于所有帧内模式。在那种情况下，不需要对帧内模式进行解码，而是针对每个块解析权重集的索引。分别遵循图7或图8中描述的步骤来执行帧内预测信息的解码和编码。
实施例3
实施例1或2，其中具有可变权重的多参考预测仅应用于亮度分量。这允许保存用于色度分量的附加位的编码。色度块的预测过程可以是使用单线参考样本的经典预测，或者具有在块中不变化的固定权重集的多参考样本。
实施例4
实施例1或2，其中色度分量的预测遵循为亮度做出的选择。这要求色度块的分区遵循亮度，或者例如使用色度块的中心像素或左上角像素并推导其在亮度分区中的位置来设置具体的映射。
实施例5
实施例1或2，其中使用一元截断的编码来对索引进行编码。
以上面的{{1,0}，{3,1}，{1,1}}3个权重集为例：
第一个区间指示是否选择了第一个集合{1,0}(值0)。
如果第一个区间等于1，那么解析第二个区间以选择第二个集合{3,1}(值0)或第三个集合{1,1}(值1)。
实施例6
在实施例1或2中，其中仅对大块(例如，高度或宽度高于诸如16个样本之类的尺寸的块)执行多参考帧内预测。
实施例7
实施例1或2，其中权重集、参考线的数量除了传输的索引之外还取决于预测方向、或块尺寸/形状(正方形/矩形……)、分量ID。它可以使用预定义的表(由预测方向和块形状来索引)将索引翻译成实际的权重集。
实施例8
实施例1或3，其中权重集、参考线的数量取决于预测器的位置。这个实施例使用每个像素相关的权重。如果预测器来自顶线，那么实施例可以使用子集1，而如果预测器来自左列，那么实施例可以使用子集2。
本文档描述了包括工具、特征、实施例、模型、方法等在内的各种方面。这些方面中的许多是专门描述的，并且至少是为了示出各个特点，并且常常以听起来可能受到限制的方式来描述。但是，这是为了描述的清楚，并且不限制那些方面的应用或范围。实际上，所有不同方面都可以组合和互换以提供另外的方面。而且，这些方面也可以与先前申请中所述的方面进行组合和互换。
本文档中描述和设想的方面可以以许多不同的形式实现。下面的图9、10和11提供了一些实施例，但是可以设想其它实施例，并且对图9、10和11的讨论不限制实施方式的广度。这些方面中的至少一个方面一般而言涉及视频编码和解码，并且至少另一方面一般而言涉及传输所生成或编码的位流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所描述的任何方法生成的位流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常但并非必须，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
本文描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作要求步骤或动作的特定次序，否则可以修改或组合特定步骤和/或动作的次序和/或使用。
本文档中描述的各种方法和其它方面可以被用于修改视频编码器100和解码器200的模块，例如，帧内预测、熵编码和/或解码模块(160、360、145、330)，如图9和图10中所示。而且，本方面不限于VVC或HEVC，并且可以应用于例如其它标准和建议(无论是预先存在的还是将来开发的)，以及任何此类标准和建议的扩展(包括VVC和HEVC)。除非另有指示或技术上禁止，否则本文档中描述的各个方面可以单独使用或组合使用。
本文档中使用了各种数值，例如{{1,0}，{3,1}，{1,1}}。具体的值是出于示例目的，并且所描述的方面不限于这些具体的值。
图9图示了编码器100。设想这个编码器100的变化，但是为了清楚起见，在下面描述编码器100，而没有描述所有预期的变化。
在被编码之前，视频序列可以经历编码前处理(101)，例如，对输入的彩色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或对输入图片分量执行重新映射以便获得对压缩更具弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据可以与预处理相关联，并附加到位流。
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位对要编码的图片进行分区(102)和处理。使用例如帧内或者帧间模式对每个单元进行编码。当单元以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。预测残差例如通过从原始图像块减去(110)预测的块来计算。
然后对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动向量和其它语法元素进行熵编码(145)以输出位流。编码器可以跳过变换并将量化直接应用于未变换的残差信号。编码器可以绕过变换和量化两者，即，残差被直接编码而无需应用变换或量化过程。
编码器对编码的块进行解码，以便为进一步的预测提供参考。对量化的变换系数进行反量化(140)和逆变换(150)以解码预测残差。组合(155)解码的预测残差和预测的块，重构图像块。环路滤波器(165)被应用于重构的图片以执行例如去块(deblocking)/SAO(样本自适应偏移)滤波以减少编码伪像。经滤波的图像被存储在参考图片缓冲器(180)中。
图10图示了视频解码器200的框图。在解码器200中，如下所述，由解码器元件对位流进行解码。视频解码器200一般执行与编码遍历对应的解码遍历，如图9中所述。编码器100一般还执行视频解码，作为对视频数据进行编码的一部分。
特别地，解码器的输入包括视频位流，其可以由视频编码器100生成。首先对位流进行熵解码(230)，以获得变换系数、运动向量和其它编码的信息。图片分区信息指示图片如何被分区。因此，解码器可以根据解码后的图片分区信息来划分(235)图片。对变换系数进行反量化(240)和逆变换(250)以解码预测残差。组合(255)解码的预测残差和预测块，重构图像块。可以从帧内预测(260)或运动补偿的预测(即，帧间预测)(275)获得(270)预测块。环路滤波器(265)被应用于重构的图像。经滤波的图像被存储在参考图片缓冲器(280)中。
解码后的图片还可以经历解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在编码前处理(101)中执行的重新映射处理的逆过程的逆重新映射。解码后处理可以使用在编码前处理中导出并在位流中用信号通知的元数据。
图11图示了其中实现各个方面和实施例的系统的示例的框图。系统1000可以被实施为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收器、个人视频记录系统、连网的家用电器，以及服务器。系统1000的元件可以单独或组合地实施在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信耦合到其它类似系统或其它电子设备。在各种实施例中，系统1000被配置为实现本文档中描述的一个或多个方面。
系统1000包括至少一个处理器1010，该至少一个处理器1010被配置为执行其中加载的指令，以实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路系统。系统1000包括至少一个存储器1020(例如，易失性存储器设备，和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，该编码器/解码器模块1030被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以被包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块之一或两者。此外，编码器/解码器模块1030可以被实现为系统1000的单独元件，或者可以作为硬件和软件的组合结合在处理器1010内，如本领域技术人员已知的。
可以将要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码存储在存储设备1040中，随后加载到存储器1020上以供处理器1010执行。根据各种实施例，在执行本文档中描述的过程期间，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以存储各种项目中的一项或多项。这样存储的项目可以包括但不限于输入视频、解码的视频或解码的视频的一部分、位流、矩阵、变量以及对等式、公式、运算和运算逻辑的中间或最终结果。
在几个实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器被用于存储指令并为编码或解码期间所需的处理提供工作存储器。但是，在其它实施例中，处理设备外部的存储器(例如，处理设备可以是或者处理器1010或者编码器/解码器模块1030)被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存被用于存储电视的操作系统。在至少一个实施例中，快速外部动态易失性存储器(诸如RAM)被用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2、HEVC或VVC(通用视频编码)。
如方框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。此类输入设备包括但不限于(i)接收例如由广播公司通过空中传输的RF信号的RF部分、(ii)复合输入端子、(iii)USB输入端子，和/或(iv)HDMI输入端子。
在各种实施例中，方框1130的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以必要地与以下元素相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制在一个频带内)，(ii)下变频所选择的信号，(iii)再次频带限制到更窄的频带以选择(例如)在一些实施例中可以被称为信道的信号频带，(iv)解调下变频并限制频带的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括执行这些功能的一个或多个元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器，包括例如将接收到的信号下变频为更低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收在有线(例如，电缆)介质上传输的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新布置上述(和其它)元件的次序、移除这些元件中的一些，和/或添加执行相似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如，插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
此外，USB和/或HDMI端子可以包括相应的接口处理器，用于跨USB和/或HDMI连接将系统1000连接到其它电子设备。应该理解的是，输入处理的各个方面(例如，Reed-Solomon纠错)可以根据需要例如在单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010，以及与存储器和存储元件结合操作的编码器/解码器1030，以根据需要处理数据流以在输出设备上呈现。
可以在集成的壳体内提供系统1000的各种元件。在集成的壳体内，可以使用合适的连接布置1140(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)互连各种元件并在它们之间传输数据。
系统1000包括通信接口1050，其使得能够经由通信信道1060与其它设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060传输和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如IEEE 802.11之类的无线网络将数据流式传输到系统1000。这些实施例的无线信号在适于例如Wi-Fi通信的通信信道1060和通信接口1050上被接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式传输应用和其它空中通信。其它实施例使用机顶盒向系统1000提供流式传输的数据，该机顶盒通过输入块1130的HDMI连接来递送数据。还有其它实施例使用输入块1130的RF连接将流式传输的数据提供给系统1000。
系统1000可以向包括显示器1100、扬声器1110和其它外围设备1120的各种输出设备提供输出信号。在实施例的各种示例中，其它外围设备1120包括独立DVR、盘播放器、立体声系统、照明系统以及基于系统1000的输出提供功能的其它设备中的一个或多个。在各种实施例中，控制信号使用诸如AV.Link、CEC或启用设备到设备控制的其它通信协议的信令在系统1000与显示器1100、扬声器1110或其它外围设备1120之间传送，有或没有用户干预。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信耦合到系统1000。可替代地，输出设备可以经由通信接口1050使用通信信道1060连接到系统1000。在电子设备(例如，电视)中，显示器1100和扬声器1110可以与系统1000的其它组件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如，定时控制器(T Con)芯片。
例如，如果输入1130的RF部分是单独的机顶盒的一部分，那么显示器1100和扬声器1110可以可替代地与其它组件中的一个或多个分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由包括例如HDMI端口、USB端口或COMP输出的专用输出连接来提供输出信号。
实施例可以通过由处理器1010实现的计算机软件或者通过硬件或者通过硬件和软件的组合来实现。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适于技术环境的任何类型，并且作为非限制性示例，可以涵盖微处理器、通用计算机、专用计算机和基于多核体系架构的处理器中的一个或多个。
各种实施方式涉及解码。如本申请中所使用的，“解码”可以涵盖例如对接收到的编码的序列执行以便产生适于显示的最终输出的处理的全部或部分。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如，熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类过程还或者可替代地包括由本申请中描述的各种实施方式的解码器执行的过程，例如，提取要用于各种帧内预测参考阵列的权重的索引。
作为另外的示例，在一个实施例中，“解码”仅仅是指熵解码，在另一个实施例中，“解码”仅仅是指差分解码，在另一个实施例中，“解码”是指熵解码和差分解码的组合。基于特定描述的上下文，短语“解码过程”是旨在专门指操作的子集还是广义地指更广泛的解码过程将是显而易见的，并且相信本领域技术人员会很好地理解。
各种实施方式涉及编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的，“编码”可以涵盖例如对输入视频序列执行以便产生编码的位流的处理的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的过程中的一个或多个，例如，分区、差分编码、变换、量化和熵编码。在各种实施例中，此类过程还或者可替代地包括由本申请中描述的各种实施方式的编码器执行的处理，例如，帧内预测参考阵列的加权。
作为另外的示例，在一个实施例中，“编码”仅仅是指熵编码，在另一个实施例中，“编码”仅仅是指差分编码，在另一个实施例中，“编码”是指差分编码和熵编码的组合。基于特定描述的上下文，短语“编码过程”是旨在专门指操作的子集还是广义地指更广泛的编码过程将是显而易见的，并且相信本领域技术人员会很好地理解。
注意的是，如本文所使用的语法元素是描述性术语。照此，它们不排除使用其它语法元素名称。
当将附图作为流程图呈现时，应当理解的是，它还提供了对应装置的框图。类似地，当将图呈现为框图时，应当理解的是，它还提供了对应方法/过程的流程图。
各种实施例涉及速率失真计算或速率失真优化。特别地，在编码过程期间，常常给出计算复杂性的约束，通常考虑速率与失真之间的平衡或折衷。通常将率失真优化公式化为最小化率失真函数，该函数是速率和失真的加权和。有多种解决率失真优化问题的方法。例如，这些方法可以基于对包括所有考虑的模式或编码参数值在内的所有编码选项的广泛测试，并对其编码成本以及编码和解码之后重构的信号的相关失真进行完整评估。也可以使用更快的方法来节省编码复杂性，特别是基于预测或预测残差信号而不是重构的信号来计算近似失真。也可以使用这两种方法的混合，诸如通过仅对一些可能的编码选项使用近似失真，而对其它编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用多种技术中的任何一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
本文描述的实施方式和方面可以例如以方法或过程、装置、软件程序、数据流或信号来实现。即使仅在单一形式的实施方式中进行讨论(例如，仅作为方法讨论)，所讨论的特征的实施方式也可以以其它形式(例如，装置或程序)来实现。装置可以例如以适当的硬件、软件和固件来实现。方法可以在例如处理器中实现，处理器一般是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、移动电话、便携式/个人数字助理(“PDA”)和有助于最终用户之间信息通信的其它设备。
对“一个实施例”或“实施例”或“一个实施方式”或“实施方式”以及它们的其它变化的引用是指结合该实施例描述的特定特征、结构、特点等包括在至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”或“在一个实施方式中”或“在实施方式中”以及任何其它变化在本文中各处的出现不一定全部指相同的实施例。
此外，本文档可以提到“确定”各种信息。确定信息可以包括例如以下一项或多项：估计信息、计算信息、预测信息或从存储器中检索信息。
另外，本文档可以提到“访问”各种信息。访问信息可以包括例如以下一项或多项：接收信息、(例如，从存储器中)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。
此外，本文档可以提到“接收”各种信息。与“访问”一样，接收是广义的术语。接收信息可以包括以下一个或多个：例如，访问信息或检索信息(例如，从存储器)。另外，以一种或另一种方式，在诸如例如以下操作期间：存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息，通常涉及“接收”。
应该认识到的是，例如在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下使用以下“/”、“和/或”和“…中的至少一个”中的任何一个旨在涵盖仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者选择两个选项(A和B)。作为另外的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这种措词旨在涵盖仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或仅选择第一个和第三个列出选项(A和C)，或仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的那样，这可以针对所列的多个项目扩展。
而且，如本文所使用的，词“信号”尤其是指向对应的解码器指示某些东西。例如，在某些实施例中，编码器发信号通知要用于帧内预测参考阵列的多个权重中的特定权重。以这种方式，在实施例中，在编码器侧和解码器侧都使用相同的参数。因此，例如，编码器可以向解码器传输(明确信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，那么可以使用信令而无需传输(隐式信令)以简单地允许解码器知道并选择特定参数。通过避免传输任何实际功能，在各种实施例中实现了位节省。应该认识到的是，可以以多种方式来完成信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前面涉及词“信号”的动词形式，但词“信号”在本文中也可以用作名词。
如对于本领域普通技术人员将显而易见的，实施方式可以产生各种信号，这些信号被格式化为携带例如可以被存储或传输的信息。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化为携带所描述的实施例的位流。可以将这种信号格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且用编码的数据流来调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
实施例可以单独地或组合地包括跨各种不同权利要求类别和类型的以下特征或实体中的一个或多个：
·修改在解码器和/或编码器中应用的帧内预测过程。
·在解码器和/或编码器中启用几种加权的帧内预测方法。
·插入使解码器能够识别要应用于帧内预测参考的权重的信令语法元素。
·基于这些语法元素，选择要在解码器处应用的权重或权重集。
·在解码器处应用加权的帧内预测。
·根据所讨论的任何实施例在编码器处适配残差。
·包括所描述的语法元素中的一个或多个或其变化的位流或信号。
·在信令中插入语法元素，这使得解码器能够以与编码器使用的方式对应的方式适配残差。
·创建和/或传输和/或接收和/或解码包括所描述的语法元素中的一个或多个或其变化的位流或信号。
·执行根据所描述的任何实施例的帧内预测参考的加权的TV、机顶盒、移动电话、平板电脑或其它电子设备。
·执行根据所描述的任何实施例的帧内预测参考的加权并显示(例如，使用监视器、屏幕或其它类型的显示器)结果图片的TV、机顶盒、移动电话、平板电脑或其它电子设备。
·调谐(例如，使用调谐器)频道以接收包括编码的图像的信号并执行根据所描述的任何实施例的帧内预测参考的加权的TV、机顶盒、移动电话、平板电脑或其它电子设备。
·通过无线接收(例如，使用天线)包括编码的图像的信号并执行根据所描述的任何实施例的帧内预测参考的加权的TV、机顶盒、移动电话、平板电脑或其它电子设备。
贯穿本公开，还支持并设想各种其它广义的以及特化的发明和权利要求。
图12中示出了用于使用这里描述的一般方面对视频数据块进行编码的方法1200的一个实施例。该方法开始于“开始”方框1201，并且控制前进到功能方框1210，用于从与视频数据块相邻的重构的样本形成多个参考阵列，其中重构的样本位于距所述视频数据块等于或大于一个位置的像素位置处。然后，控制从方框1210前进到方框1220，用于通过将从多个权重集中选择的权重集应用于多个参考阵列中的一个或多个参考阵列来分别预测视频数据块的目标像素。控制从方框1220前进到方框1230，用于根据分别来自加权的参考阵列中的一个或多个参考阵列的预测来计算视频块的目标像素的最终帧内预测。控制然后从方框1230前进到方框1240，用于使用该预测对视频块进行编码。
图13中示出了用于使用这里描述的一般方面对视频数据块进行解码的方法1300的一个实施例。该方法开始于“开始”方框1301，并且控制前进到功能方框1310，用于从与视频数据块相邻的重构的样本形成多个参考阵列，其中重构的样本位于距所述视频数据块等于或大于一个位置的像素位置处。然后，控制从方框1310前进到方框1320，用于通过将从多个权重集中选择的权重集应用于多个参考阵列中的一个或多个参考阵列来分别预测视频数据块的目标像素。控制从方框1320前进到方框1330，用于根据分别来自加权的参考阵列中的一个或多个参考阵列的预测，计算视频块的目标像素的最终帧内预测。控制然后从方框1330前进到方框1340，用于使用该预测对视频块进行解码。
图14示出了用于对视频数据块进行编码或解码的装置1400的一个实施例。该装置包括处理器1410并且可以通过至少一个端口互连到存储器1420。处理器1410和存储器1420都可以具有到外部连接的一个或多个附加互连。
处理器1410被配置为通过以下来对视频数据进行编码或解码：从视频数据块的重构的样本形成多个参考阵列、通过将从多个权重集中选择的权重集应用于多个参考阵列中的一个或多个参考阵列来分别预测视频数据块的目标像素、根据分别来自参考阵列中的一个或多个参考阵列的预测计算视频块的目标像素的最终预测并且使用该最终预测对视频块进行编码或解码。

Claims (15)

1.一种方法，包括:
从与视频数据块相邻的重构的样本形成多个参考阵列，其中所述重构的样本位于距所述视频数据块等于或大于一个位置的像素位置处；
通过将从多个权重集中选择的权重集应用于所述多个参考阵列中的一个或多个参考阵列，分别预测视频数据块的目标像素；
根据分别来自加权的参考阵列中的一个或多个参考阵列的预测，计算视频块的目标像素的最终帧内预测；以及，
使用该预测对视频块进行编码。
2.一种装置，包括:
处理器，被配置为执行
从与视频数据块相邻的重构的样本形成多个参考阵列，其中所述重构的样本位于距所述视频数据块等于或大于一个位置的像素位置处；
通过将从多个权重集中选择的权重集应用于所述多个参考阵列中的一个或多个参考阵列，分别预测视频数据块的目标像素；
根据分别来自加权的参考阵列中的一个或多个参考阵列的预测，计算视频块的目标像素的最终帧内预测；以及，
使用该预测对视频块进行编码。
3.一种方法，包括:
从与视频数据块相邻的重构的样本形成多个参考阵列，其中所述重构的样本位于距所述视频数据块等于或大于一个位置的像素位置处；
通过将从多个权重集中选择的权重集应用于所述多个参考阵列中的一个或多个参考阵列，分别预测视频数据块的目标像素；
根据分别来自加权的参考阵列中的一个或多个参考阵列的预测，计算视频块的目标像素的最终帧内预测；以及，
使用该预测对视频块进行解码。
4.一种装置，包括:
处理器，被配置为执行:
从与视频数据块相邻的重构的样本形成多个参考阵列，其中所述重构的样本位于距所述视频数据块等于或大于一个位置的像素位置处；
通过将从多个权重集中选择的权重集应用于所述多个参考阵列中的一个或多个参考阵列，分别预测视频数据块的目标像素；
根据分别来自加权的参考阵列中的一个或多个参考阵列的预测，计算视频块的目标像素的最终帧内预测；以及，
使用该预测对视频块进行解码。
5.如权利要求1或3所述的方法，或如权利要求2或4所述的装置，其中所述权重集被应用于定向帧内模式。
6.如权利要求1或3所述的方法，或如权利要求2或4所述的装置，其中所述权重集被应用于所有帧内模式。
7.如权利要求5或6中任一项所述的方法或装置，其中所述权重集仅应用于亮度分量。
8.如权利要求1或3所述的方法，或者如权利要求2或4所述的装置，其中使用三个权重集。
9.如权利要求5或6中任一项所述的方法或装置，其中，对于高度或宽度大于N个样本的块执行多参考帧内预测。
10.如权利要求5或6中任一项所述的方法或装置，其中权重集和参考线的数量基于预测方向、块尺寸或形状以及分量中的至少一个。
11.如权利要求5或7中的任一项所述的方法或装置，其中权重集和参考线的数量基于所述预测器的位置。
12.一种设备，包括:
根据权利要求4至11中任一项所述的装置；以及
以下至少之一：(i)天线，被配置为接收信号，该信号包括视频块；(ii)频带限制器，被配置为将接收到的信号限制到包括所述视频块的频带，以及(iii)显示器，被配置为显示代表所述视频块的输出。
13.一种非暂态计算机可读介质，其包含根据权利要求1和5至11中的任一项所述的方法或由权利要求2和5至11中的任一项所述的装置生成的数据内容，以供使用处理器进行回放。
14.一种信号，其包括根据权利要求1和5至11中的任一项所述的方法或由权利要求2和5至11中的任一项所述的装置生成的视频数据，以供使用处理器进行回放。
15.一种计算机程序产品，其包括指令，所述指令在由计算机执行时使计算机执行如权利要求1、3和5至11中的任一项所述的方法。
CN201980043487.2A 2018-06-26 2019-06-14 使用可变权重的多参考帧内预测 Active CN112335240B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18305809 2018-06-26
EP18305809.8 2018-06-26
EP18306061.5 2018-08-03
EP18306061.5A EP3606069A1 (en) 2018-08-03 2018-08-03 Multiple reference intra prediction using variable weights
PCT/US2019/037151 WO2020005573A1 (en) 2018-06-26 2019-06-14 Multiple reference intra prediction using variable weights

Publications (2)

Publication Number Publication Date
CN112335240A true CN112335240A (zh) 2021-02-05
CN112335240B CN112335240B (zh) 2024-09-17

Family

ID=67060508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043487.2A Active CN112335240B (zh) 2018-06-26 2019-06-14 使用可变权重的多参考帧内预测

Country Status (6)

Country Link
US (1) US11956436B2 (zh)
EP (1) EP3815361A1 (zh)
JP (1) JP2021528893A (zh)
CN (1) CN112335240B (zh)
MX (1) MX2020013451A (zh)
WO (1) WO2020005573A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117812254A (zh) * 2018-06-29 2024-04-02 弗劳恩霍夫应用研究促进协会 扩展参考图像内预测
WO2024017179A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Method and apparatus of blending prediction using multiple reference lines in video coding system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969569A (zh) * 2002-06-28 2011-02-09 杜比实验室认证公司 改进的视频压缩帧插值
US20120147955A1 (en) * 2010-12-10 2012-06-14 Madhukar Budagavi Mode Adaptive Intra Prediction Smoothing in Video Coding
CN103262542A (zh) * 2010-10-26 2013-08-21 数码士有限公司 自适应帧内预测编码和解码方法
US20170094285A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
WO2017123133A1 (en) * 2016-01-12 2017-07-20 Telefonaktiebolaget Lm Ericsson (Publ) Video coding using hybrid intra prediction
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
WO2017205701A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013141187A (ja) * 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
WO2016072775A1 (ko) 2014-11-06 2016-05-12 삼성전자 주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN115134596A (zh) * 2015-06-05 2022-09-30 杜比实验室特许公司 用于执行帧间预测的图像编解码方法、比特流存储方法
CA3025520A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Improved weighted angular prediction coding for intra coding
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
WO2018047995A1 (ko) 2016-09-08 2018-03-15 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP6847211B2 (ja) 2016-10-14 2021-03-24 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 距離重み付けされた双方向性イントラ予測
EP3528497A4 (en) 2016-10-14 2020-07-22 Industry-Academia Cooperation Foundation of Sejong University IMAGE CODING AND DECODING PROCESS AND DEVICE
CN116916015A (zh) 2016-12-07 2023-10-20 株式会社Kt 对视频进行解码或编码的方法和存储视频数据的设备
CN117440151A (zh) * 2017-07-06 2024-01-23 Lx 半导体科技有限公司 图像解码方法、图像编码方法、发送方法和数字存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969569A (zh) * 2002-06-28 2011-02-09 杜比实验室认证公司 改进的视频压缩帧插值
CN103262542A (zh) * 2010-10-26 2013-08-21 数码士有限公司 自适应帧内预测编码和解码方法
US20120147955A1 (en) * 2010-12-10 2012-06-14 Madhukar Budagavi Mode Adaptive Intra Prediction Smoothing in Video Coding
US20170094285A1 (en) * 2015-09-29 2017-03-30 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
CN108141608A (zh) * 2015-09-29 2018-06-08 高通股份有限公司 针对视频译码使用与位置相关的预测组合的改进视频帧内预测
WO2017123133A1 (en) * 2016-01-12 2017-07-20 Telefonaktiebolaget Lm Ericsson (Publ) Video coding using hybrid intra prediction
US20170272757A1 (en) * 2016-03-18 2017-09-21 Mediatek Inc. Method and apparatus of video coding
WO2017190288A1 (en) * 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
WO2017205701A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding

Also Published As

Publication number Publication date
US20210266558A1 (en) 2021-08-26
JP2021528893A (ja) 2021-10-21
EP3815361A1 (en) 2021-05-05
CN112335240B (zh) 2024-09-17
WO2020005573A1 (en) 2020-01-02
US11956436B2 (en) 2024-04-09
MX2020013451A (es) 2021-02-26

Similar Documents

Publication Publication Date Title
US20220038684A1 (en) Multi-reference line intra prediction and most probable mode
WO2022063729A1 (en) Template matching prediction for versatile video coding
US12063351B2 (en) Wide angle intra prediction with sub-partitions
US12022079B2 (en) Wide angle intra prediction and position dependent intra prediction combination
CN112771874A (zh) 用于画面编码和解码的方法和设备
WO2020072249A1 (en) Directions for wide angle intra prediction
EP3627835A1 (en) Wide angle intra prediction and position dependent intra prediction combination
US20220124337A1 (en) Harmonization of intra transform coding and wide angle intra prediction
CN112335240B (zh) 使用可变权重的多参考帧内预测
CN113545047A (zh) 帧内预测模式分区
WO2020005572A1 (en) Virtual temporal affine candidates
CN113170153B (zh) 基于二元树初始化当前图片参考块矢量
EP3606069A1 (en) Multiple reference intra prediction using variable weights
CN114930819A (zh) 三角形合并模式中的子块合并候选
EP4029270A1 (en) Transform size interactions with coding tools
JP2022537173A (ja) 位置依存イントラ予測コンビネーションを用いたピクチャ符号化及び復号の方法及びデバイス
US20230336721A1 (en) Combining abt with vvc sub-block-based coding tools
WO2024208639A1 (en) Weighted planar and dc modes for intra prediction
WO2023046518A1 (en) Extension of template based intra mode derivation (timd) with isp mode
WO2020086817A1 (en) Method and apparatus for video encoding and decoding with signaling of coding type or coding tree type

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant