CN112119638A - 用于四叉树-二叉树的块形状自适应帧内预测方向 - Google Patents
用于四叉树-二叉树的块形状自适应帧内预测方向 Download PDFInfo
- Publication number
- CN112119638A CN112119638A CN201980032249.1A CN201980032249A CN112119638A CN 112119638 A CN112119638 A CN 112119638A CN 201980032249 A CN201980032249 A CN 201980032249A CN 112119638 A CN112119638 A CN 112119638A
- Authority
- CN
- China
- Prior art keywords
- block
- prediction
- mode
- directions
- rectangular block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003044 adaptive effect Effects 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000015654 memory Effects 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 14
- 230000011664 signaling Effects 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 abstract description 3
- 238000009499 grossing Methods 0.000 abstract 1
- 239000013074 reference sample Substances 0.000 abstract 1
- 238000013507 mapping Methods 0.000 description 29
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000004891 communication Methods 0.000 description 21
- 238000003491 array Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 241000023320 Luma <angiosperm> Species 0.000 description 10
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 10
- 238000005192 partition Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000010339 dilation Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000001364 causal effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- -1 variables Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Abstract
视频编码器或解码器使用帧内编码并利用可变块形状来处理部分视频。在总体概念下，帧内预测方向适应于块形状或纵横比。所描述的总体方面对于非正方形块用广角帧内预测模式自适应地代替几个传统角度帧内预测模式。用于任何块的角度方向的总数能够保持与现有视频编码标准相同或者能够减小或扩张。为了保持相同数量的预测方向，沿着目标块的较短矩阵边缘的方向被去除，而用沿着矩阵目标块的较长边缘的添加方向来代替。对于具有广角的方向，执行参考样本平滑。能够提供信令以向相应解码器通知关于预测模式和方向。
Description
技术领域
本方面涉及视频压缩以及视频编码和解码。
背景技术
在HEVC(高效视频编码，ISO/IEC 23008-2，ITU-T H.265)视频压缩标准中，采用运动补偿的时间预测来利用存在于视频的连续图片之间的冗余。
为此，将运动矢量与每个预测单元(PU)相关联。在压缩域中，每个编码树单元(CTU)由编码树表示。这是CTU的四叉树划分，其中每个叶子称为编码单元(CU)。
然后，每个CU被给予一些帧内或帧间预测参数(Prediction Info)。为此，将其在空间上分区为一个或多个预测单元(PU)，每个PU被指配一些预测信息。在CU级上指配帧内或帧间编码模式。
在关于新视频压缩标准的JVET(联合视频探索小组)提案(被称为联合探索模型(JEM))中，由于高压缩性能，已经提出接受四叉树-二叉树(QTBT)块分区结构。二叉树(BT)中的块能够通过在中间水平地或垂直地对其分割而分割为两个尺寸相等的子块。因此，与其中块总是具有高度和宽度相等的正方形形状的QT中的块不同，BT块能够具有宽度和高度不相等的矩形形状。在HEVC中，角度帧内预测方向被定义为在180度角上从45度到-135度，并且在JEM中已经保持这些方向，这使得角度方向的定义独立于目标块的形状。
发明内容
本文所描述的总体方面解决了现有技术的缺限和缺点，这些方面涉及编码和解码中的块形状自适应帧内预测方向。
根据第一方面，提供了一种方法。该方法包括以下步骤：基于沿着基于矩形块的块形状的方向布置的相邻块的至少一个样本，来预测属于矩形块的视频样本；以及基于所预测的视频样本使用帧内预测对矩形块进行编码。
根据另一方面，提供了第二方法。该方法包括以下步骤：基于沿着基于矩形块的块形状的方向布置的相邻重建块的至少一个样本，来预测属于矩形块的视频样本；以及基于所预测的视频样本使用帧内预测对矩形块进行解码。
根据另一方面，提供一种设备。该设备包括存储器和处理器。处理器能够被配置为通过执行前述方法中的任一种来对视频的块进行编码或对比特流进行解码。
根据至少一个实施例的另一总体方面，提供了一种装置，其包括根据任一解码实施例的设备；以及以下中至少一个：(i)被配置为接收信号的天线，该信号包括视频块；(ii)被配置为将接收到的信号限制到包括所述视频块的频率频带的频带限制器；或(iii)被配置为显示输出的显示器。
根据至少一个实施例的另一总体方面，提供了一种非暂时性计算机可读介质，其包含根据所描述的编码实施例或变型中的任何一个生成的数据内容。
根据至少一个实施例的另一总体方面，提供了一种信号，该信号包括根据所描述的编码实施例或变型中的任何一个生成的视频数据。
根据至少一个实施例的另一总体方面，比特流被格式化为包括根据所描述的编码实施例或变型中的任何一个生成的数据内容。
根据至少一个实施例的另一总体方面，提供了一种计算机程序产品，其包括指令，当由计算机执行程序时，该指令使计算机实施所描述的解码实施例或变型中的任何一个。
从应结合附图来阅读的对示例性实施例的以下详细描述中，总体方面的这些和其他方面、特征和优点将变得显而易见。
附图说明
图1示出了正方形目标块及其顶部和左侧参考阵列。
图2示出了矩形目标块(左侧上的扁块、右侧上的高块)及其顶部和左侧参考阵列。
图3示出了矩形目标块(左侧上的扁块、右侧上的高块)及其顶部和左侧参考阵列。
图4示出了矩形块的属性。
图5示出了矩形块的预测方向的定义。
图6示出了顶部参考阵列具有长度2W+1，左侧参考阵列具有长度2H+1。
图7示出了具有相同块形状或纵横比的块具有相同预测方向并因此具有相同modeShift(模式偏移)。
图8示出了垂直方向超过-135度的角度参数A的示例推导。
图9a示出了与不同方向相关联的dirIndex(示为dir#)，并且图9b示出了减少的预测方向的示例。
图10示出了实施例1中的LUMA块的编码器和解码器流程图。
图11示出了实施例2中的LUMA块的编码器和解码器流程图。
图12示出了能够应用本实施例的通用编码实施例。
图13示出了能够应用本实施例的通用解码实施例。
图14示出了其中实现各个方面和示例性实施例的示例性通信信道的框图。
图15示出了在一般描述的方面下用于编码的方法的一个实施例。
图16示出了在一般描述的方面下用于解码的方法的一个实施例。
图17示出了在一般描述的方面下用于编码或解码的设备的一个实施例。
具体实施方式
在关于新视频压缩标准的JVET(联合视频探索小组)提案(被称为联合探索模型(JEM))中，由于高压缩性能，已经提出了接受四叉树-二叉树(QTBT)块分区结构。二叉树(BT)中的块能够通过在中间水平地或垂直地对其分割而分割为两个尺寸相等的子块。因此，与其中块总是具有高度和宽度相等的正方形形状的四叉树(QT)中的块不同，BT块能够具有宽度和高度不相等的矩形形状。在HEVC中，角度帧内预测方向被定义为在180度角上从45度到-135度，并且在JEM中已经保持这些方向，这使得角度方向的定义独立于目标块的形状。然而，由于将编码树单元(CTU)分区为CU的想法是为了捕获对象或对象的一部分，并且块的形状与对象的方向性相关联，因此对于更高的压缩效率，有意义的是根据块形状来适配所定义的预测方向。在这种上下文下，所描述的一般方面提出重新定义矩形目标块的帧内预测方向。
本文所描述的一般方面旨在通过改善利用QTBT结构的帧内预测来改善常规视频的压缩性能。它提出根据CU的形状来适配帧内预测方向。如果CU的形状为正方形，则JEM中已经定义的方向保持不变。否则，根据CU的形状修改搜索方向。但是，用于任何CU的角度方向总数保持不变。使预测方向适应块形状的目的是在当前定义的预测方向集上提高预测准确度，该当前定义的预测方向集独立于块形状。
此外，由于用于目标CU的预测方向总数保持不变，因此使用MPM(最可能模式)集的预测模式的编码和解码保持不变。然而，由于具有不同形状的CU具有不同的定义的方向集，所以相邻块的预测模式被映射到目标块的预测模式。映射仅是模式的重新索引，但实际的预测方向不会更改。
在HEVC(高效视频编码，H.265)中，视频序列帧的编码基于四叉树(QT)块分区结构。帧被划分为正方形编码树单元(CTU)，全部正方形编码树单元基于速率失真(RD)准则经过基于四叉树的分割，成为多个编码单元(CU)。每个CU被帧内预测(即，从因果相邻的CU在空间上进行预测)或者被帧间预测(即，从已经解码的参考帧在时间上进行预测)。在I条带中，所有CU被帧内预测，而在P和B条带中，CU能够被帧内或帧间预测。对于帧内预测，HEVC定义了35种预测模式，其中包括一种平面模式(索引为模式0)、一种DC模式(索引为模式1)和33种角度模式(索引为模式2-34)。角度模式与在顺时针方向上从45度至-135度范围内的预测方向相关联。由于HEVC支持四叉树(QT)块分区结构，因此所有预测单元(PU)具有正方形形状。因此，从PU(预测单元)形状的角度来看，从45度到-135度的预测角度的定义是合理的。对于尺寸为N×N像素的目标预测单元，顶部参考阵列和左侧参考阵列各为尺寸2N+1个样本，这被要求以覆盖所有目标像素的上述角度范围。考虑到PU的高度和宽度是相等长度，两个参考阵列的长度相等也是有意义的。
对于下一代视频编码标准，JVET作为联合探索模型(JEM)的尝试提出了使用除了平面和DC模式之外的65种角度帧内预测模式。然而，预测方向是在相同的角度范围上定义的，即，在顺时针方向上从45度到-135度。对于尺寸为WXH个像素的目标块，顶部参考阵列和左侧参考阵列各为尺寸(W+H+1)个像素，这被要求以覆盖所有目标像素的上述角度范围。在JEM中对角度的这种定义比起其他任何特定原因，更多是为了简单起见。但是，这样做引入了一些低效。
在JEM中，由于压缩性能更高，已提出使用四叉树-二叉树(QTBT)块分区结构来代替仅使用四叉树结构。与QT块(其始终为正方形形状)不同，由于水平或垂直二进制分割，BT块可以是宽度和高度不相等的矩形。在当前JEM码中，矩形块的纵横比能够从2：1到8：1变化。因此，不同角度预测模式的想法是为了捕获不同的对象方向性，而将CTU分区为CU的想法是为了捕获具有这种方向性的对象或对象的一部分。因此，目标块的形状在结构上与块中对象的方向性有关。如果块的形状为矩形，则一些预测方向可能比其他预测方向更可能发生，因此，预测方向的定义不应与目标块形状无关，这是在JEM中的情况。
在正方形块的情况下，存在结构对称性。如图1所示，正方形块不仅沿高度和宽度二者对称，而且相对于两个参考阵列对称放置。
图1示出了正方形目标块及其顶部和左侧参考阵列。目标块相对于两个参考阵列对称放置。预测方向被定义为在顺时针方向上从45度到-135度，其中模式2对应于45度角，并且模式66对应于-135度角。
在矩形块的情况下，不是当前定义的方向这样。当块为扁的(即，W>H)时，它更靠近顶部参考阵列放置，但不对称。类似地，当块为高的(即，W<H)时，它更靠近左侧参考阵列放置，但不对称。图2中示出了这种不对称性。
图2示出了矩形目标块(左侧上的扁块、右侧上的高块)及其顶部和左侧参考阵列。目标块相对于两个参考阵列不对称放置。
这种不对称的结果是，对于一些预测模式，由于定义的角度，将从较远的参考阵列来预测目标像素而排除更近的参考阵列。这在图3中示出。
图3示出了矩形目标块(左侧上的扁块、右侧上的高块)及其顶部和左侧参考阵列。在左侧上，目标像素A具有在左侧参考阵列上具有水平预测方向的预测器样本L。尽管顶部参考阵列上的样本T更近，但是是垂直预测方向，使得在JEM中不允许T能够是A的预测器样本。右图示出了高块中目标像素的类似情况。
块越扁或越高(即，长侧与短侧之比越高)，这种不对称性越显著。由于预测的不准确性，因此从实际测试结果中可以看出，这种预测模式变得不太可能。
关于当前定义的方向中效率低的另一论点是，预测方向的数量是在水平方向和垂直方向上相等的。在JEM中，除了对角线模式(模式34)之外，在水平和垂直方向上都存在32个模式。对于高度和宽度相等的正方形CU，沿着水平和垂直方向具有相同数量的预测模式是有意义的。当块是一侧长于另一侧的矩形时，在较长侧中的预测方向数量应更高，这仅仅是因为该侧中结构方向性的数量可能更高。对于扁块，垂直与水平模式数量之比应该约为宽度与高度之比。类似地，对于高块，水平与垂直模式数量之比应该约为高度与宽度之比。要考虑的相关点是参考阵列的长度。对于高度和宽度相等的正方形CU，参考阵列具有相同的长度是有意义的。但是，对于矩形块，直觉上来说，如果宽度大于高度，则顶部参考阵列应该比左侧参考阵列具有更多样本。
类似地，对于高度大于宽度的块，左侧参考阵列应该比顶部参考阵列具有更多样本。这种直觉是基于以下事实：扁(高)矩形块沿水平(垂直)方向具有更多样本或信息。同样，高矩形块沿垂直方向具有更多样本或信息。因此，从45度到-135度的当前定义的方向(得到在水平和垂直方向上相等数量的预测模式以及相等长度的参考阵列)对于矩形块而言效率有些低。
为了解决上述问题以及提高矩形块的预测效率，下面提出了一种定义和索引各种块形状的角度预测模式的系统性方法。然后，在下一部分中，将给出在预测模式编码中所提出的更改以支持该模式定义。
在JEM中，BT(二叉树)目标块能够依据其宽度和高度的长度而具有不同的形状。为了定义取决于块形状的模式，下面给出一种通用方法。在该方法中，用于任何块的预测模式的数量与JEM中的相同，但是对于不同形状的块，预测方向可以不同。此外，正方形块只是具有相等的高度和宽度的特殊情况，在这种情况下什么都没有改变。换句话说，对于正方形目标块，预测模式和相关联的预测方向保持不变。
矩形由其宽度W和高度H定义，如图4所示。如果如图所示，A、B、C和D表示其四个顶点，则AC是其主对角线，并且BD是其次对角线。正方形是在W＝H时的特殊矩形。图4示出了矩形块的属性。
对于宽度为W并且高度为H的任何目标块，沿着次对角线，模式2将与从顶点D朝向顶点B的方向相关联，模式66将与从顶点B朝向顶点D的方向相关联，如图5所示。对角线模式与沿着主对角线从顶点A朝向顶点C的方向相关联。从模式2直至对角线模式的所有模式将称为左侧模式。类似地，从对角线模式到模式66的所有模式(包括对角线模式)将称为顶部模式。左侧模式与水平方向相关联。类似地，顶部模式与垂直方向相关联。水平模式或纯水平模式是与零度角相对应的左侧模式。垂直模式或纯垂直模式是与-90度角相对应的顶部模式。
图5示出了矩形块的预测方向的定义。模式2沿着从顶点D朝向顶点B的次对角线。模式66沿着模式2的相反方向。对角线模式沿着从顶点A朝向顶点C的主对角线。
图6示出了顶部参考阵列具有长度2W+1，左侧参考阵列具有长度2H+1。宽度W和高度H是图6中白色块的尺寸。
为了支持这些预测方向，如图6所示定义了长度为2W+1的顶部参考和长度为2H+1的左侧参考。在正方形块的情况下，该图将与图1中的相同，其中W＝H＝N。
注意，对于扁块，顶部参考的长度大于左侧参考阵列的长度。与左侧模式相比，顶部模式的数量也是如此。类似地，对于高块，相反的情况是成立的。在那种情况下，左侧参考的长度大于顶部参考阵列的长度。
而且，块的位置相对于参考阵列对称。当目标块为正方形时，存在完美对称，并且预测方向和参考阵列的长度与JEM定义准确匹配，如图1所示。
以上定义的美在于预测方向与块形状的适应性。注意，这里，模式2和66不被定义为对应于沿着45度角和-135度角的方向，而是沿着次对角线的方向。在扁块的情况下，去除45度附近(包括45度)的一些方向，但是在超过-135度角的相反方向上准确地添加相同数量的方向。类似地，在高块的情况下，去除-135度附近(包括-135度)的一些方向，但是在超过45度角的相反方向上准确地添加相等数量的方向。我们将模式2与45度角的偏移量称为“modeShift(模式偏移)”，其定义为去除的模式数量(在模式2和45度角之间)，或等同地，添加的模式数量(在角度-135度和模式66之间)。扁块具有正的modeShift，而高块具有负的modeShift。对于正方形块，modeShift等于0。
块的modeShift表示其开始模式(即，模式2)相对于正方形块的开始模式的偏移量。显然，其是块形状的函数。要进行的重要观察是，块的modeShift不取决于其宽度和高度的绝对值，而是取决于它们之比。这在图7中示出。矩形ABCD(宽度W1和高度H1)和矩形EFGH(宽度W2和高度H2)具有相同的预测方向(因此，相同的modeShift)。使用三角形的相似性，能够示出W1/W2＝H1/H2。因此，W1/H1＝W2/H2。因此，具有相同的宽高比(反之亦然)的块将在水平和垂直方向二者上具有相同的预测模式。
图7示出了具有相同纵横比(宽高比)的块具有相同的预测方向，并且因此具有相同的modeShift。
模式编号(2-66)只是预测方向的索引或标签。相应的方向由HEVC和JEM中的角度参数A指定。表1中示出了JEM中针对不同预测模式的A值。
所引入的超过45度或-135度角的方向的角度参数能够从相反方向的角度参数轻松推导出。考虑图8，其中沿着超过-135度角的预测方向垂直地预测目标像素。设W和H表示块的宽度和高度。将目标像素的坐标表示为(x，y)，其中0<＝x<W且0<＝y<H。顶部参考阵列上预测器样本与目标样本的水平位移由Δx给出。如果预测方向扩张以与左侧参考阵列相交，则相交点与目标样本的垂直位移为Δy。
图8是推导用于超过-135度的垂直方向的角度参数A的示例。Δx是在(x，y)处的目标像素的预测器的水平位移。如果预测处于相反方向(其是水平的)，则预测器将具有垂直位移Δy。
使用三角形的相似性得到：
水平方向：
表1：JEM中定义的角度参数A
| A | 1 | 2 | 3 | 5 | 7 | 9 | 11 | 13 | 15 | 17 | 19 | 21 | 23 | 26 | 29 | 32 |
| A<sub>n</sub> | 1024 | 512 | 341 | 205 | 146 | 114 | 93 | 79 | 68 | 60 | 54 | 49 | 45 | 39 | 35 | 32 |
表2：与正的A值相对应的相反角度的角度参数。
如在JEM中所使用的，此处的计算使用了以下事实：使用(1/32)样本分辨率，两个最近样本之间的距离为(1<<5)。进行简化，得到：
ΔxΔy＝((1+x)(1+y)＜＜10)
预测角与具有Δy＝(1+x)A的水平方向相反，其中A表示用于水平方向的角度参数的值。代入上式，得到：
ΔxA＝((1+y)＜＜10)，
或者，
因此，用于垂直方向的角度参数给出为
其中，A是相反方向的角度参数。由于A仅具有整数值，因此，对于An，以上表达式可能得到分数值。因此，将值取整至最接近的整数：
如果考虑超过45度角的水平方向，则将获得相同的表达式。
在这种情况下，A将表示相反垂直方向的角度参数。注意，与BT块形状无关，如果块为矩形，则新引入的方向与被去除的方向完全相反(在取整之内)。因此，被去除的方向的A参数能够用于计算新引入的相反方向的A参数。被去除的方向和新引入的方向二者始终为正(正水平或者正垂直)。因此，它们具有正的A参数值。表2列出了JEM中的正的A值以及如上所计算出的An的相应值。
使用表2的值，下面给出了用于不同扁块形状的角度参数。能够以类似方式来推导用于高块的角度参数，但此处未示出。在指定表之前，需要注意两点。首先，如上表所示，JEM指定了用于离散角度方向的角度。因此，开始和结束方向可能与次对角线不完全匹配。类似地，一个方向可能与对角线方向不完全匹配。在这种情况下，无需更改JEM中的指定方向，所提出的方法将采用最近的方向用于此目的。其次，在JEM中，对于BT块，较长侧与较短侧的长度之比只能具有值1、2、4和8。当该比等于1时，它是正方形块，在这种情况下，方向保持不变。因此，下面给出了在W/H(宽度/高度)仅等于2、4和8的情况下与模式编号相对应的块的A值。随着W/H值的增加，水平方向的数量减少，并且垂直方向的数量增加。因此，对于W/H等于4，重用来自W/H等于2的垂直方向，并且对于W/H等于8，重用用于W/H等于4的垂直方向。这些在表中以粗体示出。按照惯例，包括垂直方向上的对角线模式。要注意的是，对于更高的W/H比(诸如16和32)(其可能允许在JEM的未来更改或任何标准中使用)，类似的方法能够如下。
情况1：W/H＝2
modeShift＝6
水平方向的数量(左侧模式)＝20
垂直方向的数量(顶部模式)＝2*6+33＝45
注意，在表3中，与模式22-27相对应的方向已经在JEM中定义，它们是水平方向。这里，它们被分组在垂直方向中，这是因为对角线方向现在对应于模式22。必须根据沿着块的顶部边缘的位移来重新计算A参数值。
情况2：W/H＝4
modeShift：10
水平方向的数量(左侧模式)＝12
垂直方向的数量(顶部模式)＝2*4+45＝53
表3：在W/H等于2的情况下用于扁块的角度参数A。
表4：在W/H等于4的情况下用于扁块的角度参数A。
注意，在表4中，与模式14-17相对应的方向已经在JEM中定义，它们是水平方向。这里，它们已经被分组在垂直方向中，这是因为对角线方向现在对应于模式14。
情况3：W/H＝8
modeShift：12
水平方向的数量(左侧模式)＝8
垂直方向的数量(顶部模式)＝2*2+53＝57
注意，在表5中，与模式10-11相对应的方向已经在JEM中定义，它们是水平方向。这里，它们已经被分组在垂直方向中，这是因为对角线方向现在对应于模式10。
如表中可以看出，模式索引将始终在2-66之间变化，与块形状无关。然而，对于不同的块，相同的模式索引可以对应于不同的预测方向。因此，为了在它们之间进行区分，在此提出引入称为dirIndex的参数，该参数定义为：
dirIndex＝modeIndex+modeShift–2………(1)
dirIndex仅对应一个预测方向，反之亦然。表6示出了用于不同目标块形状的dirIndex范围以及modeShift值。
图9a示出了用方向索引(如dir#)指定的预测方向。总共有89个可能的预测方向，跨越大于180度的角度。尽管方向总数大于65，但是对于任何给定的目标块，检查仅65个相邻方向以进行预测。这65个方向沿着线跨越180度。方向与目标块尺寸相适应，以在垂直或水平方向上检查更多或更少数量的方向。
在JEM的预测方向定义中，只有一对方向(dir#0和dir#64)是方向彼此完全相反的。注意，现在有一系列完全相反的方向对。对于索引小于或等于0，或大于或等于64的任何方向，
表5：在W/H等于8的情况下用于扁块的角度参数A。
| W/H | dirIndex的范围 | modeShift |
| 1 | 0:64 | 0 |
| 2 | 6:70 | 6 |
| 4 | 10:74 | 10 |
| 8 | 12:76 | 12 |
| 1/2 | -6:58 | -6 |
| 1/4 | -10:54 | -10 |
| 1/8 | -12:52 | -12 |
表6：用于不同块形状的modeShift和dirIndex
相反方向包括在所有可能方向的集合中。但是，对于任何给定的目标块，仅对应于模式2和模式66的方向是相反的。dirIndex小于或等于0的方向对应于超过45度角的正的水平方向，其具有正的A值。类似地，dirIndex大于或等于64的方向对应于超过-135度角的正的垂直方向，其具有正的A值。
图9a示出了与不同方向关联的dirIndex(示为dir#)。对于正方形块，dirIndex从0到64变化，0到64对应于从45度到-135度定义的65个方向。对于扁块，依据形状，对于一些垂直方向，dirIndex大于64。类似地，对于高块，依据形状，对于一些水平方向，dirIndex小于0。
方向的数量也能够被限制或扩张超出以上给出的数量。考虑图9b中33个HEVC方向的假设情况并将操作限制为最接近对角线模式的两个模式。在这种情况下，如果块宽度大于其高度，则模式2和模式3将是被去除的水平模式。此外，模式3和模式4将具有额外标志，该额外标志指示是使用传统模式还是使用具有新创建的模式35和模式36的翻转广角方向，新创建的模式35和模式36是考虑了新的预测方向的新垂直模式。
在角度参数A的以上定义中，已经根据块形状更改了对角线方向。但是，这不是强制性要求。对角线模式的更改仅将一些水平负方向转换为垂直负方向，反之亦然。转换使新方向成为具有新角度参数An的广角。因为在推导角度参数An时涉及到取整，所以这些角度可能不同于与转换之前的原始负方向相关联的原始角度。但是，它们将非常接近。因此，对角线模式的更改基本上不会增加性能增益太多。它是为代替重要的一些现有正方向(对于扁块为正水平，对于高块为正垂直)而增加的正方向(对于扁块为正垂直，对于高块为正水平)中的广角。因此，出于所有实际目的，原始对角线方向能够保持不变。在表3、表4和表5中，这将涉及的模式从垂直侧移动到水平侧，并用旧的A值替换其A值。这意味着对于所有表，水平模式的最后一列将具有等于29的A值，并且垂直模式的第一列将具有等于-32的A值。保持对角线模式不变还将符合以下目标：添加新的广角方向(对于扁块，仅超过-135度，对于高块，超过45度)。在下表3-b、表4-b和表5-b中给出了各种W/H比的表。
表3-b：在W/H＝2的情况下用于扁块的角度参数A。ModeShift＝6，水平方向的数量＝32-6＝26，垂直方向的数量＝6+33＝39
表4-b：在W/H＝4的情况下用于扁块的角度参数A。ModeShift＝10，水平方向的数量＝32-10＝22，垂直方向的数量＝10+33＝43。
表5-b：在W/H＝8的情况下用于扁块的角度参数A。ModeShift＝12，水平方向的数量＝32-12＝20，垂直方向的数量＝12+33＝45
为了支持新的预测方向，需要调整参考阵列的长度。如前已经提及的，利用提出的预测方法，顶部参考阵列的长度为2*W+1，而左侧参考阵列的长度为2*H+1，其中W和H表示目标块的宽度和高度。但是，由于针对不同块形状定义的方向与块形状并非以准确方式匹配，因此需要将较短的参考阵列扩张几个样本。较长的参考阵列尺寸足以支持在其侧定义的方向。下面对此进行说明。
首先考虑W>H的情况。参考表3、表4和表5，注意，与模式索引2相对应的角度参数A等于((H*32)/W)+1。因此，对于W/H等于2、4和8，角度参数A分别等于17、9和5。对于给定的A值，参考阵列中支持沿任意行的W个样本的预测的部分等于(A*W+31)>>5。将其应用于目标块的最后一行，利用以上角度，要求左侧参考阵列上有1+H+((A*W+31)>>5)个参考样本。因此，以下给出在左侧参考阵列上所需的扩张：
H_Ext＝1+H+((A*W+31)>>5)–(1+2*H)＝((A*W+31)>>5)–H。
代入与模式2相对应的A值，以上表达式能够简化为：
H_Ext＝(W+31)>>5
以下给出用于不同块尺寸的H_Ext值。此处假设最大块尺寸为128，如JEM中使用的那样。而且，假设(W/H)的最大值等于8。
4×8:H_Ext＝1 8×16:H_Ext＝1 16×32:H_Ext＝1 32×64:H_Ext＝2
4×16:H_Ext＝1 8×32:H_Ext＝1 16×64:H_Ext＝2 32×128:H_Ext＝4
4×32:H_Ext＝1 8×64:H_Ext＝2 16×128:H_Ext＝4 64×128:H_Ext＝4
当H>W时，顶部参考需要扩张几个样本。能够以类似方式推导样本的数量：
W_Ext＝1+W+((A*H+31)>>5)–(1+2*W)＝((A*H+31)>>5)–W
由于角度参数A的对称性，此处的A值与针对W>H的情况的值相同。与模式索引66相对应的角度参数将等于((W*32)/H+1。使用此值，以上表达式能够简化为：
W_Ext＝(H+31)>>5。
以下给出用于不同块尺寸的W_Ext值。此处假设最大块尺寸为128，如JEM中使用的那样。而且，假设(H/W)的最大值等于8。
8×4:W_Ext＝1 16×8:W_Ext＝1 32×16:W_Ext＝1 64×32:W_Ext＝2
16×4:W_Ext＝1 32×8:W_Ext＝1 64×16:W_Ext＝2 128×32:W_Ext＝4
32×4:W_Ext＝1 64×8:W_Ext＝2 128×16:W_Ext＝4 128×64:W_Ext＝4
对于更高的宽高比或高宽比，能够以相同的方式来计算扩张值H_Ext和W_Ext。
以上扩张是在较短的参考阵列上所需的最少附加样本数量。然而，出于实现的优点，优选的可以是取与支持所有预测角度所需的最少数量相比附加数量的参考样本。在下文中，提供了几种变型。
在一种变型中，在顶部参考阵列或左侧参考阵列上的样本数量等于2*max(W，H)+1，其中，如果W>＝H，则max(W，H)＝W，否则max(W，H)＝H。
在另一种变型中，顶部参考阵列上的样本数量为W+max(W，H)+1，而左侧参考阵列上的样本数量等于H+max(W，H)+1。
较长参考阵列上的样本数量是足够的，但并非总是必要的。在一些情况下，较长参考阵列中存在一些冗余样本，这些冗余样本没有用于任何预测模式。因此，可以减少较长侧上的参考样本数量。在另一变型中，如果W>H，则左侧参考上的样本数量等于(2*H+1+d_h)，而顶部参考阵列上的样本数量等于(2*W+1-d_h)，其中参数d取决于块尺寸。例如，如果W＝8且H＝4，则d_h＝0，否则d_h＝H_ext。如果H>W，则左侧参考上的样本数量等于(2*H+1-d_w)，而顶部参考阵列上的样本数量等于(2*W+1+d_w)，其中参数d_w取决于块尺寸。例如，如果H＝8且W＝4，则d_w＝0，否则d_w＝W_ext。这种变型的优点在于，两个参考阵列上的样本总数量(不包含左上样本的副本)保持大约2*W+2*H+1，这等于用于正方形目标块的参考样本总数量。
在由于硬件或系统约束而将广角的数量限制于某个最大值的情况下，能够使用如果W>H则与模式索引2相对应或者如果H>W则与模式索引66相对应的角度参数，以与以上给出相同的方式准确地计算所需的附加样本数量。在“CE3-related:Wide angle intraprediction for non-square blocks,JVET-K0500,Ljubljana,SI,10-18July 2018(CE3有关的：用于非正方形块的广角帧内预测，JVET-K0500，卢布尔雅那，SI，2018年7月10日至18日)”中，广角的最大数量为10，其对应于W/H＝4或H/W＝4。对于更高的W/H(或H/W)值，广角的数量仍为10，并且它们与针对W/H＝4(或H/W＝4)的数量完全相同。由于此限制，在较短的参考侧上作为扩张所需的附加参考样本的总数量能够超过仅4个样本。
例如，对于4×32块，附加样本的数量等于5而不是1。类似地，对于在JEM中随机接入配置(分别具有W/H＝16和32)中所允许的、尺寸为4×64和4×128的块，附加样本的数量分别为14和32，而不是2和4。在这种情况下，提出以下变型。
在另一变型中，能够如下计算参考阵列长度：
在另一变型中，能够计算参考阵列长度，使得样本的总数量约为1+2*W+2*H：
要注意的是，在以上变型中使用了4个像素的扩张，以考虑高达64×128或128×64的所有可能的块尺寸。如果最大块尺寸由于系统或硬件约束而受到限制，则能够使用更小的值，诸如1或2。以下变型使用在较短的参考侧上所需样本的确切最小数量。
注意，伪代码中的运算是整数运算，例如W/H只能等于1、2、4、8、16、32...(即，没有小数)。在一个变型中，能够如下计算参考阵列长度：
在以上变型中，较长参考阵列的长度未更改。在另一变型中，能够如下计算参考阵列长度：
当如上地限制广角的最大数量时，如果W>H，则H_Ext或者如果H>W则W_Ext能够以简化形成表示为：
如果W>H，则H_Ext＝max(0,((W>>2)-H))+((W+31)>>5)；
否则，如果H>W，则W_Ext＝max(0,((H>>2)-W))+((H+31)>>5)它们能够等效地表示为：
如果W>H，则H_Ext＝((W>>blockShapeRatio)-H)+((W+31)>>5)；否则，如果H>W,则W_Ext＝((H>>blockShapeRatio)-W))+((H+31)>>5)
其中，blockShapeRatio＝min(2,abs(log2(W)-log2(H)))。
使用这些简化表达式，以上给出的两个变型能够等效地表示如下：在一个变型中，当仅扩张较短的参考阵列时：
在另一变型中，较长参考的长度也被改变，使得参考样本的总数量约为1+2*W+2*H。
为了对亮度的预测模式进行编码，在JVET中保持最可能模式(MPM)的概念。使用因果相邻块的预测模式(如果可用并且被帧内预测)，平面和DC预测模式以及一些固定角度模式，诸如直接垂直、直接水平、模式2、模式66和模式34，构造6种模式的MPM集合。其余的预测模式被分区为16个模式的选定集合以及45个其余模式的集合。如果目标块的预测模式属于MPM集合，则用成员MPM的索引对其进行编码。如果它属于选定集合，则用4个比特对其进行编码。否则，用截断二进制码对其进行编码。
所提出的用于矩形BT块的预测方向的修改保持与JEM相同的编码方案，但有一些变化。目标块的因果邻居能够具有不同的形状。因此，它们可以具有不同的预测方向范围。此外，即使它们与不同的预测方向相关联，它们也可以具有相同的预测模式。这将在MPM集合的构造中造成问题。因此，在第一步中，通过预测方向索引(dirIndex)将相邻块的预测模式映射到目标块的预测模式。
其次，对于给定目标块，dirIndex能够具有仅65个相邻方向以及PLANAR(平面)和DC模式。如果相邻块的预测模式是0(PLANAR)或1(DC)，则不进行任何映射，并且检查模式是否包含在MPM集合中。如果模式大于1，则将模式映射到相应的方向索引。如果方向索引属于用于目标块的65个方向的范围，则检查用于目标块的相应模式编号是否包含在MPM集合中。否则，将检查与相反方向相对应的模式是否包含在MPM集合中。注意，如果方向不属于目标块的方向集合，则相应的广角方向必须属于该集合。
使用式1进行模式到方向的映射。然后，在给定方向的情况下，使用下式进行到目标块的模式的映射：
modeIndex＝dirIndex-modeShift+2………(2)
其中，使用目标块的modeShift。使用式1中的dirIndex得到：
modeIndexTB＝modeIndexNB+modeShiftNB-modeShiftTB,…(3)
其中，下标TB和NB分别用于指示目标块和相邻块。如果得到的modeIndexTB小于0或大于66，则它暗示与相邻块的模式相关联的方向不属于用于目标块的预测方向的集合。在这种情况下，使用相关联的广角方向。如果modeIndexTB<0，则加上67；或者如果modeIndexTB>66，则减去65。所得模式与关联的广角方向相关联。
下面给出两个示例来阐明以上映射。
示例1：目标块具有W＝8和H＝8。其左邻居具有W＝8和H＝4，并且预测模式m＝2。
由于W/H＝2，所以左邻居的modeShift为6。目标块为正方形并且其modeShift为0。因此，获得新的modeIndex为m＝2+6-0＝8。
示例2：目标块具有W＝4和H＝32。其左邻居具有W＝16和H＝4，并且预测模式m＝8。
由于W/H＝16/4＝4，因此左邻居的modeShift为10。对于目标块，W/H＝4/32＝1/8。其modeShift为-12，并且方向索引范围从-12到52。因此，获得新的modeIndex为m＝8+10-(-12)＝30。
模式编码过程的其余部分保持不变。除了MPM集合中的六个模式之外，其余模式被划分为16个模式的选定集合和由其余45个模式组成的集合。
注意，即使目标块是正方形，映射对于用可能不全是正方形的相邻块的预测模式来构造MPM集合也是必须的。
要注意的是，即使改变MPM的数量，只要将邻居的预测模式映射到目标块的预测模式集合，所采用的预测模式编码算法也将保持不变。
在亮度和色度分量树分开的情况下(即，在I条带中)，对于色度CU，至少一个实施例也对预测模式进行相同的重映射以获得直接模式。并置和相邻亮度CU的预测模式能够重新映射为目标色度块的模式。
避免帧内模式编码的模式映射的另选方法是保持原始模式及其相关联方向。这是通过为新方向赋予新的模式索引来进行的，新方向能够称为广角方向(即，超过-135度或45度的方向)。因此，例如，超过模式66的广角方向被赋予模式索引67、68，依此类推。类似地，超过模式2的广角方向被赋予模式索引-1、-2等(因为模式0和1已经与PLANAR和DC模式相关联)。这与之前给出的dirIndex相似，并且不需要modeShift。在这种情况下，dirIndex和modeIndex之间存在如下一对一映射：
modeIndex＝dirIndex+2，如果dirIndex>＝0
modeIndex＝dirIndex，如果dirIndex<0
表7示出了用于不同块形状的modeIndex范围值。可以看出，对于给定的块形状值，modeIndex的最大值为78，并且最小值为-12。这里要注意的是，如果由于硬件或系统约束而将最大方向的数量限制为某个值，则能够相应地决定modeIndex值的范围，例如，如果超过-135度或超过45度的添加方向的数量限于10，如“CE3-related:Wide angle intraprediction for non-square blocks,JVET-K0500,Ljubljana,SI,10-18July 2018(CE3有关的：用于非正方形块的广角帧内预测，JVET-K0500，卢布尔雅那，SI，2018年7月10日至18日)”中所提出的，则对于W/H＝8和1/8的情况的dirIndex和modeIndex的范围分别与W/H＝4和W/H＝1/4的情况的范围相同。
表7：用于不同块形状的modeIndex值的范围
由于dirIndex和modeIndex具有一一对应关系，因此现在可以仅与modeIndex一起工作。
由于增加的广角方向对应于一些被去除的原始方向，因此它们的modeIndex值之间也存在一一对应关系。
一般来说，设origMode和waMode分别表示块的原始modeIndex和广角的modeIndex。由于modeIndex值0(PLANAR模式)和1(DC模式)不对应于角度模式，因此在此不考虑他们。waMode的值是从origMode值如下获得的：
由于角度参数A(JEM码中的intraPredAngle)和modeShift相关，因此以上映射也能够如下等效地进行：
以上广角映射确保了每个被去除的模式被接近相反方向的模式所代替。例如，对于W/H>1的扁块，模式2被模式67代替。模式67是与模式2的相反方向(模式66)最接近的广角方向。那些未被去除的模式在映射之后继续具有相同的modeIndex值。
当如“CE3-related:Wide angle intra prediction for non-square blocks,JVET-K0500,Ljubljana,SI,10-18July 2018(CE3有关的：用于非正方形块的广角帧内预测，JVET-K0500，卢布尔雅那，SI，2018年7月10日至18日)”中那样，广角的数量被限制为10个时，能够如下获得映射：
或等效为：
这也能够等效地如下给出：
以上映射还确保了对于65个原始角度模式，在以上广角映射之后，存在65个唯一的角度模式。注意，这不是仅有的唯一映射，并且在被去除的方向的集合与所添加的广角方向的集合之间可能存在各种其他映射。但是以上映射使所添加的广角模式接近被去除模式的相反方向。
如前所述，以上方法间接地帮助避免了在帧内模式编码期间相邻块的模式索引的映射。原始模式索引到广角模式索引的映射将仅在预测步骤进行。在编码器处预测步骤之后的帧内模式编码将使用原始模式索引而不是广角模式索引。类似地，在解码器处，在预测步骤之前的帧内模式解码将使用原始模式索引，但是将在预测步骤进行至广角模式索引的映射。
本技术已经考虑了宽高比在[1/8，8]范围内的矩形块形状。然而，要注意的是，该原理能够以非常直截了当的方式扩展到宽高比的更大范围。表8包含了用于更高值的块形状比的modeIndex值。在这种情况下，存在超过-135度或45度的14个广角方向。在此，对应于更大值的W/H或(H/W)，添加的广角方向的数量进一步增加。但是，如前面给出的从origMode到waMode的映射仍然适用。
| W/H | dirIndex | modeShift |
| 1 | 0-64 | 0 |
| 2 | 6-70 | 6 |
| 4 | 10-74 | 10 |
| 8 | 12-76 | 12 |
| 16 | 13:77 | 13 |
| 32 | 14:78 | 14 |
| 1/2 | -6:58 | -6 |
| 1/4 | -10:54 | -10 |
| 1/8 | -12:52 | -12 |
| 1/16 | -13:51 | -13 |
| 1/32 | -14:50 | -14 |
表8：用于具有被设置为128的最大宽度或高度的、高达4×128或128×4的所有块尺寸的modeShift值。
基于所提出的方向定义，呈现了几个实施例作为可能的实现选项。例如，这些能够在JEM中实现。
在称为实施例1的第一示例性实施例中，用于目标块的角度预测方向被修改为包括广角方向。如果目标块是正方形，则在预测方向中没有变化。对于给定预测模式，编码器和解码器以现有方式执行预测。另一方面，如果目标块是矩形，则如前面所给出的，首先使用与目标块形状相对应的modeShift值，将角度预测模式映射到广角模式。编码器和解码器沿着与广角模式相对应的方向执行预测。到广角模式的映射仅在预测阶段发生。在编码器处的帧内模式编码和在解码器处的帧内模式解码保持不变。编码器利用RD(速率失真)优化以通常方式执行最佳预测模式搜索，并使用由原始模式索引组成的MPM集合对原始模式索引值进行编码。同样，解码器使用由原始模式索引组成的MPM集合对原始模式索引值进行解码。
在称为实施例2的第二示例性实施例中，如先前所给出的，修改了用于目标块的角度预测方向。如果目标块是正方形，则在预测方向中没有改变。否则，如果目标块是矩形，则预测模式与依据该块的纵横比的所定义的方向相关联。编码器利用RD(速率失真)优化以通常方式执行最佳预测模式搜索，不同之处在于，对于模式2到66，相关联的预测方向取决于块形状。
对于亮度目标块，编码器使用MPM集合对预测模式进行编码，其中该MPM集合是利用相邻块的预测模式的映射而构建的，如在先前部分中所说明的。对于色度目标块，它通过对并置和相邻亮度块的预测模式进行映射来推导出直接模式。对于亮度和色度分量具有相同编码树结构的帧间编码条带中的块，此映射并不是必需的。
对于亮度目标块，解码器利用与编码器相同的方式构建的MPM集合对预测模式进行解码。对于色度目标块，它以与编码器相同的方式在准确地映射并置和相邻亮度块的预测模式之后，推导出直接模式。它以通常方式构建用于目标块的预测，不同之处在于，对于模式2至66，相关联的预测方向取决于块形状。
图10示出了实施例1中用于亮度块的编码器和解码器的流程图。
在实施例3中，就预测方向而言，增强了实施例2。对于任何目标块，预测方向被定义为在JEM中所定义的方向集合(即，在顺时针方向从45度到-135度的65个方向)与该提案中所定义的、取决于目标块形状的方向集合的并集。由于用于任何目标块的所定义的方向的集合由JEM方向的子集和一些新引入的方向组成，因此这两个集合的并集将由65个JEM方向的集合加上取决于块形状的新引入的方向组成。新引入的方向与JEM方向集合中的一些正方向(在提案中已被去除)相反。称为modeFlag的1比特的标志用于区分这些相反的方向对，方向对的数量依据块的形状而变化。由于包括JEM方向，因此该实施例还保持与JEM中相同的模式索引。即，模式2将对应于45度角，而模式66将对应于-135度角。也具有相反方向的模式(除模式2和模式66之外)将具有等于0的modeFlag值。相反的方向将使用相同的模式编号，但modeFlag值等于1。即，一对相反的方向将与相同的模式编号相关联，但modeFlag分别等于0和1。
预测模式编码保持与JEM中的相同。但是，对于具有相反方向的模式(除模式2和66之外)，利用固定的、与模式有关、或者与邻居有关的上下文对modeFlag进行编码。
注意，由于方向集合是增广集合，因此顶部和左侧参考阵列的长度也改变。顶部参考阵列的长度为H+W+1或2W+1，以较大者为准。同样，左侧参考阵列的长度为H+W+1或2H+1，以较大者为准。这意味着，对于扁块，顶部参考阵列将具有2W+1个样本，而左侧参考阵列将具有H+W+1个样本。类似地，对于高块，顶部参考阵列将具有H+W+1个样本，而左侧参考阵列将具有2H+1个样本。如果块是正方形，则与JEM中一样，顶部和左侧参考阵列二者将具有H+W+1(＝2H+1＝2W+1，因为W＝H)个样本。
在解码器侧，使用常规基于MPM的方法对预测模式进行解码。如果模式属于具有相反方向的方向集合，则也对modeFlag值进行解码。如果预测模式是平面或DC，则解码器将与JEM中一样计算预测。否则，如果尚未对modeFlag进行解码，或者如果已经对其进行解码并且其值为零，则解码器与JEM中一样以相应方向构建预测。否则，解码器使用新的角度参数A在与解码模式关联的方向的相反方向上构建预测。
对于色度目标块，以与JEM中相同的方式来计算直接模式，而与用于相应亮度块的modeFlag值(如果模式具有相反方向)无关。依据目标块纵横比，如果任何直接模式具有相反方向，则编码器在搜索最佳预测模式的同时，还在搜索中包括相反方向。如果这种模式最终被确定为最佳模式，则依据最佳方向对一个比特的modeFlag进行编码。在解码器处，直接模式的推导、预测模式的解码和modeFlag(在模式具有相反方向的情况下)与编码器中的完全相同。
图11中示出了用于亮度块的编码器和解码器流程图。
在称为实施例4的第四示例性实施例中，仅当相关参考样本可用时才应用实施例1-3中描述的改变。例如，在扁块的情况下，本发明在-135°之后扩张方向。但是，独立于当前块形状，右上相邻块可能不可用。在那种情况下，与在JEM中一样预测目标块，即，使用在顺时针方向上跨越从45度到-135度的65个角度方向进行预测。由于编码器和解码器二者能够轻松检测到重建的相邻块的存在，因此它们将以相应方式决定是否应用扩张方向。
在第五实施例(实施例5)中，与在实施例1至实施例4中一样地预测条带中的所有目标块，并使用条带报头中的1比特标志将其用信号通知给解码器。
在第六实施例(实施例6)中，与在实施例1至实施例4中一样地预测帧中的所有目标块，并使用图片参数集(PPS)报头中的1比特标志将其用信号通知给解码器。
在第七实施例(实施例7)中，与在实施例1至实施例4中一样地预测序列的任何帧中的所有目标块，并使用序列参数集(SPS)报头中的1比特标志将其用信号通知给解码器。
所提出的实施例的一个优点在于，它们使用于矩形块的预测方向适应于块形状。一个目的是在不增加复杂度的情况下提高压缩性能。
图15示出了用于在编码器中利用自适应块尺寸进行帧内预测的方法1500的一个实施例。该方法开始于开始框1501，并且控制前进至框1510，以基于沿着基于矩形块的纵横比的方向布置的相邻块的至少一个样本，来预测属于矩形块的视频样本。控制从框1510前进至框1520，以基于所预测的视频样本使用帧内预测对矩形块进行编码。
图16示出了用于在编码器中利用自适应块尺寸进行帧内预测的方法1600的一个实施例。该方法开始于开始框1601，并且控制前进至框1610，以基于沿着基于矩形块的纵横比的方向布置的相邻重建块的至少一个样本，来预测属于矩形块的视频样本。控制从框1610前进至框1620，以基于所预测的视频样本使用帧内预测对矩形块进行解码。
图17示出了用于使用利用自适应块尺寸的帧内预测来编码或解码视频块的设备1700的一个实施例。该设备包括具有一个或多个输入和输出端口的处理器1710，并通过一个或多个通信端口与存储器1720互连。设备1700能够执行图15或图16的方法之一或任何变型。
本文档描述了各个方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多是用专一性来描述的，至少是为了示出各自的特性，通常以可能听起来是限制的方式来描述。然而，这是出于描述的清楚性的目的，并非限制那些方面的应用或范围。实际上，所有不同方面都能够组合和互换，以提供进一步的方面。此外，这些方面也能够与先前申请中所描述的方面进行组合和互换。
本文档中描述和考虑的方面能够以许多不同的形式实现。图12、图13和图14提供了一些实施例，但是其他实施例也是可设想的，并且图12、图13和图14并非限制实现方式的广度。这些方面中的至少一个方面总体上涉及视频编码和解码，并且至少另一个方面总体上涉及传输所生成或编码的比特流。这些和其他方面能够实现为方法、设备、其上存储有用于根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常但并非必须，术语“重建”在编码器侧使用，而“解码”在解码器侧使用。
以上描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
本文档中描述的各种方法和其他方面能够用于修改模块，诸如例如图12的运动补偿170和运动估计175以及图13的运动估计275。而且，本方面不限于JVET或HEVC，并且能够应用于例如其他标准和建议(无论是预先存在的还是将来开发的)，以及任何此类标准和建议的扩展(包括JVET和HEVC)。除非另有说明或技术上排他，否则本文档中描述的各个方面能够单独使用或组合使用。
在本文档中可能示出了各种数值。特定值是出于示例性目的，并且所描述的方面不限于这些特定值。
图12图示了示例性编码器100。该编码器100的变型也是可设想的，但是为了清楚起见，在下面描述了编码器100，而没有描述所有预期的变型。
在进行编码之前，视频序列可以经过预编码处理(101)，例如，对输入的颜色图片进行颜色变换(例如，从RGB 4：4：4到YCbCr 4：2：0的转换)，或对输入的图片分量执行重新映射，以得到对压缩更具弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据能够与预处理相关联并附加到比特流。
在示例性编码器100中，如下所描述的，由编码器元件对图片进行编码。以例如CU为单元对要编码的图片进行分区(102)和处理。使用例如帧内或帧间模式对每个单元进行编码。当单元以帧内模式编码时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)帧内模式或帧间模式中的哪一个用于对单元进行编码，并且通过例如预测模式标志指示帧内/帧间决定。例如，通过从原始图像块中减去(110)预测的块来计算预测残差。
然后对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其他语法元素进行熵编码(145)以输出比特流。编码器能够跳过变换并将量化直接应用于未变换的残差信号。编码器能够绕过变换和量化两者，即，残差被直接编码而无需应用变换或量化过程。
编码器对编码块进行解码，以提供用于进一步预测的参考。对量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测的块，重建图像块。环内滤波器(165)被应用于重建的图片，以执行例如解块/SAO(样本自适应偏移)滤波以减少编码伪像。滤波后的图像存储在参考图片缓冲器(180)。
图13图示了示例性视频解码器200的框图。在示例性解码器200中，如下所描述的，由解码器元件对比特流进行解码。视频解码器200通常执行与如图12中所描述的编码遍历相对的解码遍历。编码器100通常还执行视频解码，作为对视频数据进行编码的一部分。
具体而言，解码器的输入包括能够由视频编码器100生成的视频比特流。首先对比特流进行熵解码(230)以获得变换系数、运动矢量和其他编码信息。图片分区信息指示图片被如何分区。因此，解码器可以根据解码后的图片分区信息来划分(235)图片。对变换系数进行解量化(240)及逆变换(250)以对预测残差进行解码。组合(255)解码的预测残差和预测的块，重建图像块。能够从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)预测的块。环内滤波器(265)被应用于重建的图像。滤波后的图像存储在参考图片缓冲器(280)。
解码后的图片能够进一步经过后解码处理(285)，例如，逆颜色变换(例如，从YCbCr 4：2：0到RGB 4：4：4的转换)或逆重新映射，该逆重新映射执行在预编码处理(101)中执行的重新映射过程的逆过程。后解码处理能够使用在预编码处理中推导出并在比特流中用信号通知的元数据。
图14图示了其中实现各个方面和实施例的系统的示例的框图。系统1000能够体现为包括以下描述的各种组件的装置，并且被配置为执行本文档中描述的一个或多个方面。这样的装置的示例包括但不限于各种电子装置，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、联网家用电器和服务器。系统1000的元件能够单独或组合地体现在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口，通信地耦合到其他系统或其他电子装置。在各种实施例中，系统1000被配置为实现本文档中描述的一个或多个方面。
系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以实现例如本文档中描述的各个方面。处理器1010能够包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储装置和/或非易失性存储装置)。系统1000包括存储装置1040，其能够包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储装置1040能够包括内部存储装置、附接的存储装置和/或网络可访问的存储装置。
系统1000包括被配置为例如处理数据以提供编码视频或解码视频的编码器/解码器模块1030，并且编码器/解码器模块1030能够包括其自己的处理器和存储器。编码器/解码器模块1030表示能够包括在装置中以执行编码和/或解码功能的模块。众所周知，装置能够包括编码和解码模块之一或两者。另外，编码器/解码器模块103能够被实现为系统1000的单独的元件，或者能够作为本领域技术人员已知的硬件和软件的组合被并入处理器1010内。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码能够存储在存储装置1040中，然后加载到存储器1020中以由处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储装置1040和编码器/解码器模块1030中的一个或多个能够存储在执行本文档中描述的过程期间的各种项目中的一个或多个。这样存储的项目能够包括但不限于输入视频、解码视频或解码视频的一部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
在几个实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令并提供用于编码或解码期间所需的处理的工作存储器。然而，在其他实施例中，处理装置(例如，处理装置能够是处理器1010或编码器/解码器模块1030)外部的存储器用于这些功能中的一个或多个。外部存储器能够是存储器1020和/或存储装置1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储电视的操作系统。在至少一个实施例中，诸如RAM之类的快速外部动态易失性存储器用作用于诸如MPEG-2、HEVC或VVC(通用视频编码)之类的视频编码和解码操作的工作存储器。
如框1130所示，能够通过各种输入装置来提供对系统1000的元件的输入。这种输入装置包括但不限于(i)接收例如由广播器经由空中发送的RF信号的RF部分；(ii)复合输入端子；(iii)USB输入端子，和/或(iv)HDMI输入端子。
在各种实施例中，如本领域中已知的，框1130的输入装置具有相关联的各种输入处理元件。例如，RF部分能够与适合于以下的元件相关联：(i)选择所需频率(也称为选择信号，或将信号频带限制为频率频带)；(ii)对所选信号进行下变频；(iii)再次频带限制至更窄的频率频带以选择(例如)在某些实施例中能够称为信道的信号频带；(iv)解调下变频并频带限制的信号；(v)执行纠错；以及(vi)多路解复用以选择数据分组的所需流。各种实施例的RF部分包括执行这些功能的一个或多个元件，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分能够包括执行各种这些功能的调谐器，这些功能包括例如将接收到的信号下变频至较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收在有线(例如，线缆)介质上发送的RF信号，并通过滤波、下变频和再次滤波到期望频带来执行频率选择。各种实施例重新布置上述(和其他)元件的顺序，去除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。添加元件能够包括在现有元件之间插入元件，例如，插入放大器和模数转换器。在各个实施例中，RF部分包括天线。
此外，USB和/或HDMI端子能够包括用于通过USB和/或HDMI连接将系统1000连接到其他电子装置的各个接口处理器。应该理解，能够例如在单独的输入处理IC内或在处理器1010内实现输入处理的各个方面，例如里德-所罗门纠错。类似地，USB或HDMI接口处理的各个方面能够在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，包括例如与存储器和存储元件结合操作以处理数据流用于呈现在输出装置上的编码器/解码器1030和处理器1010。
系统1000的各种元件能够设置在集成壳体内。在该集成壳体内，各种元件能够使用合适的连接装置1140(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)互连并在他们之间传输数据。
系统1000包括通信接口1050，该通信接口1050使得能够经由通信信道1060与其他装置进行通信。通信接口1050能够包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。通信接口1050能够包括但不限于调制解调器或网卡，并且通信信道1060能够例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如IEEE 802.11的无线网络将数据流传输给系统1000。这些实施例的无线信号通过适合于诸如Wi-Fi通信的无线通信的通信通信信道1060和通信接口1050接收。这些实施例的通信信道1060通常连接到提供对包括互联网的外部网络的接入的接入点或路由器，以允许流应用和其他过顶通信。其他实施例使用机顶盒向系统1000提供流传输的数据，该机顶盒通过输入框1130的HDMI连接来传递数据。其他实施例使用输入框1130的RF连接向系统1000提供流传输的数据。
系统1000能够向包括显示器1100、扬声器1110和其他外围装置1120的各种输出装置提供输出信号。在实施例的各种示例中，其他外围装置1120包括一个或多个单独的DVR、磁盘播放器、立体声系统、照明系统以及基于系统1000的输出来提供功能的其他装置。在各个实施例中，控制信号使用诸如AV.Link、CEC或能够在有用户干预或无用户干预的情况下进行装置至装置控制的其他通信协议的信令，在系统1000与显示器1100、扬声器1110或者之间其他外围装置1120之间传递。输出装置能够通过各自的接口1070、1080和1090经由专用连接而通信地耦合到系统1000。另选地，输出装置能够经由通信接口1050使用通信通道1060连接到系统1000。在例如电视的电子装置中，显示器1100和扬声器1110能够与系统1000的其他组件集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如，时序控制器(T Con)芯片。
例如，如果输入1130的RF部分是单独的机顶盒的一部分，则显示器1100和扬声器1110能够与一个或多个其他组件分开。在显示器1100和扬声器1110是外部组件的各种实施例中，能够经由专用输出连接来提供输出信号，该专用输出连接包括例如HDMI端口、USB端口或COMP输出。
示例性实施例能够通过由处理器1010实现的计算机软件、或者通过硬件、或者通过硬件和软件的组合来执行。作为非限制性示例，示例性实施例能够由一个或多个集成电路实现。作为非限制性示例，存储器1020能够是适合于技术环境的任何类型，并且能够使用任何适当的数据存储技术(诸如，光存储装置、磁存储装置、基于半导体的存储装置、固定存储器和可移除存储器)来实现。作为非限制性示例，处理器1010能够是适合于技术环境的任何类型，并且能够包括微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。
能够以例如方法或过程、设备、软件程序、数据流或信号来实现本文描述的实现方式和方面。即使仅在单一形式的实现方式的上下文中进行了讨论(例如，仅作为方法进行了讨论)，也能够以其他形式(例如，设备或程序)来实现所讨论的特征的实现方式。设备能够例如以适当的硬件、软件和固件来实现。例如，方法能够在诸如例如处理器之类的设备中实现，该处理器通常称为处理装置，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信装置，诸如，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于最终用户之间信息通信的其他装置。
对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”及其其他变型的引用意味着结合该实施例描述的特定特征、结构、特性等包括在至少一个实施例中。因此，贯穿本文档中各处出现的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型并非必须全部指代相同的实施例。
此外，本文档可以涉及“确定”各种信息。确定信息能够包括例如以下中的一项或多项：估计信息、计算信息、预测信息或从存储器中取回信息。
此外，本文档可以涉及“访问”各种信息。访问信息能够包括例如以下中的一项或多项：接收信息、(例如从存储器中)取回信息、存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息。
此外，本文档可以涉及“接收”各种信息。接收与“访问”一样旨在是广义术语。接收信息能够包括例如以下中的一项或多项：访问信息或(例如，从存储器中)取回信息。此外，在诸如例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息，计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种或另一种方式涉及“接收”。
对于本领域的普通技术人员显而易见的是，实现方式能够产生被格式化为承载例如能够存储或发送的信息的各种信号。该信息能够包括例如用于执行方法的指令或由所描述的实现方式之一产生的数据。例如，信号能够被格式化为承载所描述的实施例的比特流。这种信号能够被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化能够包括例如对数据流进行编码并且用编码的数据流来调制载波。信号承载的信息能够是例如模拟或数字信息。众所周知，该信号能够经由各种不同的有线或无线链路传输。信号能够存储在处理器可读介质上。
前面的描述已经描述了大量实施例。这些实施例在各种不同的权利要求类别和类型中单独或以任意组合包括以下可选特征：
-在编码和解码中的帧内预测期间使用超过-135度和45度的预测方向
-在水平或垂直方向上扩张预测方向，同时在相反方向上去除一些方向以保持相同数量的总方向
-扩张超过-135度和超过45度的方向的数量
-较短参考阵列的长度基于块的宽度和高度二者。
-较短参考阵列的长度是1加上该块相应侧的长度的两倍，加上小的扩张。
-由于角度参数值不是2的幂，因此需要扩张。
-为了补偿在较小侧的扩张，能够适当减小在块的较长侧上的参考阵列尺寸，使得广角预测所需的参考样本总数保持与正常帧内预测相同。
-参考阵列的长度是基于要编码或解码的块的高度和宽度二者来确定的
-从编码器向解码器用信号通知正在使用哪些预测方向
-使用预测方向的子集
-块是具有矩形形状的CU
-另一块是相邻块
-通过与目标块形状相对应的值将角度预测模式映射到广角模式
-角度模式到广角模式的映射是一对一的。
-用于块的广角方向的数量取决于目标块形状。
-帧内预测基于广角模式
-包括一个或多个所描述的语法元素或其变型的比特流或信号。
-在信令中插入使解码器能够以与编码器所执行的方式相反的方式处理比特流的语法元素。
-创建和/或发送和/或接收和/或解码包括所描述的语法元素中的一个或多个或其变型的比特流或信号。
-执行所描述的任何实施例的TV、机顶盒、蜂窝电话、平板或其他电子装置。
-执行所描述的任何实施例并且显示(例如，使用监视器、屏幕或其他类型的显示器)所得图像的TV、机顶盒、蜂窝电话、平板或其他电子装置。
-调谐(例如，使用调谐器)信道以接收包括编码图像的信号并执行所描述的任何实施例的TV、机顶盒、蜂窝电话、平板或其他电子装置。
-接收(例如，使用天线)包括编码图像的信号并执行所描述的任何实施例的TV、机顶盒、蜂窝电话、平板或其他电子装置。
-在整个本公开内容中，还支持和构想了各种其他广义的以及特殊的特征。
Claims (15)
1.一种方法，所述方法包括：
基于沿着基于矩形块的块形状的方向布置的相邻块的至少一个样本，来预测属于所述矩形块的视频样本；以及
基于所预测的视频样本使用帧内预测对所述矩形块进行编码。
2.一种用于对视频块进行编码的设备，所述设备包括：
存储器，以及
处理器，所述处理器被配置为：
基于沿着基于矩形块的块形状的方向布置的相邻块的至少一个样本，来预测属于所述矩形块的视频样本；以及
基于所预测的视频样本使用帧内预测对所述矩形块进行编码。
3.一种方法，所述方法包括：
基于沿着基于矩形块的块形状的方向布置的相邻重建块的至少一个样本，来预测属于所述矩形块的视频样本；以及
基于所预测的视频样本使用帧内预测对所述矩形块进行解码。
4.一种用于对视频块进行解码的设备，所述设备包括：
存储器，以及
处理器，所述处理器被配置为：
基于沿着基于矩形块的块形状的方向布置的相邻重建块的至少一个样本，来预测属于所述矩形块的视频样本；以及
基于所预测的视频样本使用帧内预测对所述矩形块进行解码。
5.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的设备，其中，沿着所述矩形块的较长边缘的相邻块的预测样本更多。
6.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的设备，其中，沿着所述矩形块的较长侧添加方向，并且沿着所述矩形块的较短侧去除方向。
7.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的设备，其中，使用标志用信号通知预测模式。
8.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的设备，其中，基于所述模式是否属于最可能模式列表来不同地用信号通知预测模式。
9.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的设备，其中，使用索引将所述相邻块的预测模式映射到所述矩形块的预测模式。
10.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的设备，其中，执行速率失真优化以寻找预测。
11.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的设备，其中，沿着所述矩形块的较长侧添加预测方向，并且沿着所述矩形块的较短侧添加预测方向。
12.一种装置，所述装置包括：
根据权利要求4至11中任一项所述的设备；以及
以下中至少一个：(i)被配置为接收信号的天线，所述信号包括所述视频块，(ii)被配置为将接收到的信号限制到包括所述视频块的频率频带的频带限制器，以及(iii)被配置为显示输出的显示器。
13.一种非暂时性计算机可读介质，其包含根据权利要求1和5至11中任一项所述的方法或由权利要求2和5至12中任一项所述的设备所生成的数据内容，以使用处理器进行回放。
14.一种信号，其包括根据权利要求1和5至11中任一项所述的方法或由权利要求2和5至12中任一项所述的设备所生成的视频数据，以使用处理器进行回放。
15.一种计算机程序产品，其包括指令，当由计算机执行所述程序时，所述指令使所述计算机实施权利要求1或权利要求3以及权利要求5至11中的任一项所述的方法。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18305586 | 2018-05-14 | ||
| EP18305586.2 | 2018-05-14 | ||
| EP18305963.3A EP3598757A1 (en) | 2018-07-16 | 2018-07-16 | Block shape adaptive intra prediction directions for quadtree-binary tree |
| EP18305963.3 | 2018-07-16 | ||
| EP18306075.5 | 2018-08-06 | ||
| EP18306075 | 2018-08-06 | ||
| PCT/US2019/031702 WO2019222042A1 (en) | 2018-05-14 | 2019-05-10 | Block shape adaptive intra prediction directions for quadtree-binary tree |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112119638A true CN112119638A (zh) | 2020-12-22 |
Family
ID=66554545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980032249.1A Pending CN112119638A (zh) | 2018-05-14 | 2019-05-10 | 用于四叉树-二叉树的块形状自适应帧内预测方向 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11856184B2 (zh) |
| EP (1) | EP3794829A1 (zh) |
| KR (1) | KR20210007987A (zh) |
| CN (1) | CN112119638A (zh) |
| AU (2) | AU2019269346B2 (zh) |
| MX (1) | MX2020012068A (zh) |
| WO (1) | WO2019222042A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101842178B1 (ko) * | 2018-01-19 | 2018-05-14 | 광성(주) | 선박용 황산화물 저감장치 및 선박용 황산화물 저감장치의 운전방법 |
| US11509889B2 (en) | 2018-06-27 | 2022-11-22 | Kt Corporation | Method and apparatus for processing video signal |
| CN112672161A (zh) | 2018-06-27 | 2021-04-16 | 株式会社Kt | 用于处理视频信号的方法和设备 |
| US10567752B2 (en) * | 2018-07-02 | 2020-02-18 | Tencent America LLC | Method and apparatus for intra prediction for non-square blocks in video compression |
| US10284844B1 (en) | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
| US10382772B1 (en) * | 2018-07-02 | 2019-08-13 | Tencent America LLC | Method and apparatus for video coding |
| CN117880501A (zh) * | 2018-10-07 | 2024-04-12 | 三星电子株式会社 | 用于编码或解码视频信号的视频信号处理方法和设备 |
| EP3881540A1 (en) * | 2018-11-14 | 2021-09-22 | InterDigital VC Holdings, Inc. | Adaptation of selection of most probable mode candidates depending on block shape |
| CN113709459B (zh) * | 2019-01-02 | 2023-06-23 | Oppo广东移动通信有限公司 | 帧内预测方法、装置及计算机存储介质 |
| EP3888361B1 (en) * | 2019-03-24 | 2024-04-24 | Huawei Technologies Co., Ltd. | Method and apparatus for chroma intra prediction in video coding |
| US20220224938A1 (en) * | 2021-01-08 | 2022-07-14 | Offinno, LLC | Intra Prediction Signaling |
| WO2022206735A1 (en) * | 2021-03-30 | 2022-10-06 | Beijing Bytedance Network Technology Co., Ltd. | Intra-prediction on non-dyadic blocks |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130136175A1 (en) * | 2011-09-12 | 2013-05-30 | Qualcomm Incorporated | Non-square transform units and prediction units in video coding |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101452860B1 (ko) * | 2009-08-17 | 2014-10-23 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치 |
| KR101768207B1 (ko) | 2010-01-19 | 2017-08-16 | 삼성전자주식회사 | 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
| US9532058B2 (en) | 2011-06-03 | 2016-12-27 | Qualcomm Incorporated | Intra prediction mode coding with directional partitions |
| WO2013023518A1 (en) | 2011-08-17 | 2013-02-21 | Mediatek Singapore Pte. Ltd. | Method and apparatus for intra prediction using non-square blocks |
| US20130163664A1 (en) * | 2011-12-22 | 2013-06-27 | Qualcomm Incorporated | Unified partition mode table for intra-mode coding |
| US9912944B2 (en) * | 2012-04-16 | 2018-03-06 | Qualcomm Incorporated | Simplified non-square quadtree transforms for video coding |
| US20140198855A1 (en) | 2013-01-14 | 2014-07-17 | Qualcomm Incorporated | Square block prediction |
| US10091530B2 (en) * | 2014-10-01 | 2018-10-02 | Qualcomm Incorporated | Pipelined intra-prediction hardware architecture for video coding |
| US10425648B2 (en) * | 2015-09-29 | 2019-09-24 | Qualcomm Incorporated | Video intra-prediction using position-dependent prediction combination for video coding |
| US10218975B2 (en) * | 2015-09-29 | 2019-02-26 | Qualcomm Incorporated | Transform precision manipulation in video coding |
| US10455228B2 (en) | 2016-03-21 | 2019-10-22 | Qualcomm Incorporated | Determining prediction parameters for non-square blocks in video coding |
| EP3301915A1 (en) * | 2016-09-30 | 2018-04-04 | Thomson Licensing | Method and apparatus for omnidirectional video coding with adaptive intra most probable modes |
| US10674165B2 (en) | 2016-12-21 | 2020-06-02 | Arris Enterprises Llc | Constrained position dependent intra prediction combination (PDPC) |
| CN112188194B (zh) | 2016-12-23 | 2021-08-03 | 华为技术有限公司 | 帧内预测装置、方法、编解码装置及计算机可读存储介质 |
| PT3552393T (pt) * | 2016-12-23 | 2023-05-30 | Huawei Tech Co Ltd | Um aparelho de codificação para sinalizar um modo de intra-predição direcional de extensão dentro de um conjunto de modos de intra-predição direcional |
| FI20175006A1 (en) | 2017-01-03 | 2019-02-15 | Nokia Technologies Oy | Video and image coding using wide-angle intra-prediction |
| US10728548B2 (en) * | 2017-04-04 | 2020-07-28 | Futurewei Technologies, Inc. | Processing reference samples used for intra-prediction of a picture block |
| JP2019041165A (ja) * | 2017-08-23 | 2019-03-14 | 富士通株式会社 | 画像符号化装置、画像復号装置、画像処理方法、及び画像処理プログラム |
| KR20190045885A (ko) * | 2017-10-24 | 2019-05-03 | 주식회사 윌러스표준기술연구소 | 비디오 신호 처리 방법 및 장치 |
| CN116405672A (zh) * | 2017-12-22 | 2023-07-07 | 数码士有限公司 | 视频信号处理方法和设备 |
| KR20190090731A (ko) * | 2018-01-25 | 2019-08-02 | 주식회사 윌러스표준기술연구소 | 비디오 신호 처리 방법 및 장치 |
| WO2019182292A1 (ko) * | 2018-03-19 | 2019-09-26 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| US10778971B2 (en) | 2018-06-01 | 2020-09-15 | Tencent America LLC | Method and apparatus for video coding |
| US10404980B1 (en) | 2018-07-10 | 2019-09-03 | Tencent America LLC | Intra prediction with wide angle mode in video coding |
| US11128872B2 (en) | 2018-07-16 | 2021-09-21 | Qualcomm Incorporated | Position dependent intra prediction combination with wide angle intra prediction |
-
2019
- 2019-05-10 MX MX2020012068A patent/MX2020012068A/es unknown
- 2019-05-10 US US17/054,561 patent/US11856184B2/en active Active
- 2019-05-10 WO PCT/US2019/031702 patent/WO2019222042A1/en unknown
- 2019-05-10 AU AU2019269346A patent/AU2019269346B2/en active Active
- 2019-05-10 CN CN201980032249.1A patent/CN112119638A/zh active Pending
- 2019-05-10 KR KR1020207032554A patent/KR20210007987A/ko active Search and Examination
- 2019-05-10 EP EP19724719.0A patent/EP3794829A1/en active Pending
-
2023
- 2023-10-24 AU AU2023254887A patent/AU2023254887A1/en active Pending
- 2023-10-31 US US18/385,457 patent/US20240155105A1/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130136175A1 (en) * | 2011-09-12 | 2013-05-30 | Qualcomm Incorporated | Non-square transform units and prediction units in video coding |
Non-Patent Citations (1)
| Title |
|---|
| RICKARD SJÖBERG等: "Description of SDR and HDR video coding technology proposal by Ericsson and Nokia", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, CA, USA, 10–20 APRIL 2018, pages 5 - 7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2023254887A1 (en) | 2023-11-16 |
| JP2021523588A (ja) | 2021-09-02 |
| WO2019222042A1 (en) | 2019-11-21 |
| KR20210007987A (ko) | 2021-01-20 |
| MX2020012068A (es) | 2021-02-09 |
| AU2019269346A1 (en) | 2020-11-19 |
| US20210250577A1 (en) | 2021-08-12 |
| AU2019269346B2 (en) | 2023-07-27 |
| US20240155105A1 (en) | 2024-05-09 |
| EP3794829A1 (en) | 2021-03-24 |
| US11856184B2 (en) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112119638A (zh) | 用于四叉树-二叉树的块形状自适应帧内预测方向 | |
| US20220038684A1 (en) | Multi-reference line intra prediction and most probable mode | |
| US20220191474A1 (en) | Wide angle intra prediction with sub-partitions | |
| EP3598757A1 (en) | Block shape adaptive intra prediction directions for quadtree-binary tree | |
| WO2020118287A1 (en) | Managing coding tools combinations and restrictions | |
| KR20210066823A (ko) | 광각 인트라 예측을 위한 방향들 | |
| EP3627835A1 (en) | Wide angle intra prediction and position dependent intra prediction combination | |
| US11876968B2 (en) | Method and device for picture encoding and decoding | |
| CN112425162A (zh) | 宽角帧内预测和位置依赖性帧内预测组合 | |
| US20220124337A1 (en) | Harmonization of intra transform coding and wide angle intra prediction | |
| CN112335240A (zh) | 使用可变权重的多参考帧内预测 | |
| CN114930819A (zh) | 三角形合并模式中的子块合并候选 | |
| JP7486430B2 (ja) | 四分木二分木のブロック形状適応イントラ予測方向 | |
| US20220272356A1 (en) | Luma to chroma quantization parameter table signaling | |
| US20230024223A1 (en) | Intra sub partitions for video encoding and decoding combined with multiple transform selection, matrix weighted intra prediction or multi-reference-line intra prediction | |
| US20220038704A1 (en) | Method and apparatus for determining chroma quantization parameters when using separate coding trees for luma and chroma | |
| CN114270858A (zh) | 用于视频编码和解码的量化矩阵预测 | |
| CN113016181A (zh) | 依据块形状适配最可能模式候选的选择 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |