CN112823522A - 用于广角帧内预测的方向 - Google Patents
用于广角帧内预测的方向 Download PDFInfo
- Publication number
- CN112823522A CN112823522A CN201980065245.3A CN201980065245A CN112823522A CN 112823522 A CN112823522 A CN 112823522A CN 201980065245 A CN201980065245 A CN 201980065245A CN 112823522 A CN112823522 A CN 112823522A
- Authority
- CN
- China
- Prior art keywords
- prediction
- block
- video block
- rectangular
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 85
- 239000013074 reference sample Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 31
- 230000015654 memory Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 18
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000003491 array Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
用于对矩形块使用广角帧内预测的方法和装置实现了更大的预测角度。广角帧内预测使得帧内预测方向角超过常规的45度和‑135度。在一个实施例中，当待译码或解码的视频块为非正方形时，在较长块边缘的方向上启用附加帧内预测方向，且沿着所述边缘可获得更多参考样本。索引用于指示预测方向，并且可以根据较长方向上的附加帧内预测来调整，其中沿着较短的块边缘具有相应较少的预测方向。这保持了需要被索引的预测模式的数目，但是允许它们的角度对应于块的形状。
Description
技术领域
本发明的至少一个实施例总体上涉及用于视频编码或解码、压缩或解压缩的方法或装置。
背景技术
为了实现高压缩效率，图像和视频编码方案通常采用预测(包括运动矢量预测)，以及变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对通常表示为预测误差或预测残差的原始图像与预测图像之间的差异进行变换、量化和熵译码。为了重构视频，通过与熵译码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。
在通用视频编码(VVC)标准的开发中，采用了数目增加的帧内译码模式。
发明内容
本发明实施例总体上涉及一种视频编码或解码的方法及装置，尤其涉及一种视频编码器或视频解码器中最大变换尺寸与变换译码工具交互的方法及装置。
根据第一方面，提供了一种方法。所述方法包括以下步骤：使用来自矩形视频块上方的行的N个参考样本中的至少一者或来自所述矩形视频块的左侧的列的M个参考样本中的至少一者来预测所述矩形视频块的样本，其中所述参考样本是基于广角的数目的，所述广角的数目与所述矩形块的纵横比成比例地增加；以及在帧内译码模式中使用所述预测对所述矩形视频块进行编码。
根据第二方面，提供了一种方法。所述方法包括以下步骤：使用来自矩形视频块上方的行的N个参考样本中的至少一者或来自所述矩形视频块的左侧的列的M个参考样本中的至少一者来预测所述矩形视频块的样本，其中所述参考样本是基于广角的数目的，所述广角的数目与所述矩形块的纵横比成比例地增加；以及在帧内译码模式中使用所述预测来解码所述矩形视频块。
根据另一方面，提供了一种装置。该装置包括处理器。所述处理器可经配置以通过执行上述方法中的任一者来编码视频的块或解码比特流。
根据至少一个实施例的另一个一般方面，提供了一种设备，包括根据解码实施例中的任意者的装置；以及以下中的至少一者：(i)天线，被配置成接收信号，该信号包括视频块，(ii)频带限制器，被配置成将所接收的信号限制到包括视频块的频带，或(iii)显示器，被配置成显示表示视频块的输出。
根据至少一个实施例的另一个一般方面，提供了一种非暂时性计算机可读介质，其包含根据所描述的编码实施例或变型中的任意者生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种包括根据所描述的编码实施例或变型中的任意者生成的视频数据的信号。
根据至少一个实施例的另一个一般方面，比特流被格式化为包括根据所描述的编码实施例或变型中的任意者所生成的数据内容。
根据至少一个实施例的另一个一般方面，提供了一种计算机程序产品，包括指令，当计算机执行该程序时，该指令使计算机执行所描述的解码实施例或变型中的任意者。
从以下结合附图阅读的示例性实施例的详细描述中，这些方面和其它方面、一般方面的特征和优点将变得显而易见。
附图说明
图1示出了广角预测方向，其中(a)模式35和36分别代替模式2和3，以及(b)用65个方向，角度被标记为从02到66。
图2示出了以下示例：(a)具有W＝2H的块，其中起始角度稍低于次对角线并且结束角度稍高于次对角线，以及(b)需要小的扩展的左边参考阵列。
图3示出了具有H＝2W的块的示例，并且(a)起始角度稍高于次对角线并且结束角度稍低于次对角线，以及(b)需要小的扩展的顶部上的参考阵列。
图4示出了标准的、通用视频压缩方案。
图5示出了标准的、通用的视频解压缩方案。
图6示出了用于实现一般描述的方面的示例性的基于处理器的子系统。
图7示出了根据所描述的方面的方法的一个实施例。
图8示出了根据所描述的方面的方法的另一实施例。
图9示出了根据所描述的方面的示例装置。
具体实施方式
这里描述的实施例属于视频压缩领域，并且一般涉及视频压缩以及视频编码和解码。本发明的至少一个实施例更具体地涉及与帧内预测残差的变换编码有关的视频编码和解码，其中增强的多个变换和/或辅助变换与广角帧内预测结合使用。
为了实现高压缩效率，图像和视频译码方案通常采用预测(包括运动矢量预测)以及变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对通常表示为预测误差或预测残差的原始图像与预测图像之间的差异进行变换、量化和熵译码。为了重构视频，通过与熵译码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。
在HEVC(高效视频编码，ISO/IEC23008-2，ITU-TH.265)视频压缩标准中，采用运动补偿时间预测来利用存在于视频的连续图像之间的冗余。
为此，将运动向量与每一预测单元(PU)相关联。每个译码树单元(CTU)由压缩域中的译码树表示。这是CTU的四叉树划分，其中每个叶被称为译码单元(CU)。
然后，每个CU被给予一些帧内或帧间预测参数(预测信息)。为此，将其空间地分割成一个或多个预测单元(PU)，每个PU被分配一些预测信息。在CU层级上指派帧内或帧间译码模式。
在用于新的视频压缩标准的JVET(联合视频探索组)提议(称为联合探索模型(JEM))中，由于高压缩性能，已经提出接受四叉树-二叉树(QTBT)块分割结构。通过在中间水平或垂直地分割二叉树(BT)中的块，可以将其分割成两个相等大小的子块。因此，BT块可以具有宽度和高度不相等的矩形形状，这与QT中的块不同，QT中的块总是具有高度和宽度相等的正方形形状。在HEVC中，在180°角上从45°到-135°定义角度帧内预测方向，并且它们已经被保持在JEM中，JEM已经使得角度方向的定义独立于目标块形状。
为了编码这些块，帧内预测被用于使用先前重构的相邻样本提供块的估计版本。然后编码源块和预测之间的差。在上述经典编解码器中，在当前块的左边和顶部使用单行参考样本。
在HEVC(高效率视频编码，H.265)中，视频序列的帧的编码是基于四叉树(QT)区块分割结构。帧被划分为正方形译码树单元(CTU)，所述CTU全部基于率失真(RD)标准经历基于四叉树的分割为多个译码单元(CU)。每一CU是帧内预测的，即，其是从因果相邻CU空间预测的，或帧间预测的，即，其是从已解码的参考帧时间预测的。在I切片中，所有CU都是帧内预测的，而在P和B切片中，CU都可以是帧内或帧间预测的。对于帧内预测，HEVC定义35个预测模式，其包含一个平面模式(索引为模式0)、一个DC模式(索引为模式1)和33个角模式(索引为模式2到34)。角度模式与顺时针方向上的范围从45度到-135度的预测方向相关联。由于HEVC支持四叉树(QT)块分割结构，所以所有预测单元(PU)具有正方形形状。因此，从PU(预测单元)形状的角度来看，从45度到-135度的预测角度的定义是合理的。对于大小为N×N个像素的目标预测单元，顶部参考阵列和左部参考阵列各自具有大小为2N+1个样本，这是覆盖所有目标像素的上述角度范围所需要的。考虑到PU的高度和宽度具有相等长度，两个参考阵列的长度相等也是有意义的。
对于下一视频编码标准，JVET作为联合探索模型(JEM)的尝试提出除了平面模式和DC模式之外还使用65个角度帧内预测模式。然而，预测方向被定义在相同的角度范围内，即，在顺时针方向上从45度到-135度。对于大小为WXH像素的目标块，顶部参考阵列及左侧参考阵列各自具有大小为(W+H+1)的像素，需要所述大小为覆盖所有目标像素的前述角度范围。JEM中的角度的这种定义是为了简单起见而不是为了任何其它特定原因。然而，这样做引入了一些低效率。在最近的工作中，提出了广角帧内预测，其使得帧内预测方向角能够高于传统的45度。
图1示出了广角预测方向。这里，模式35和36分别代替模式2和3(a)。注意，在图1中，箭头指向与任何模式相关联的相反方向。注意，在该图上，角度被标记为从02到34，其对应于在VVC软件中采用65个预测方向之前的角度名称。现在，对于65个方向(b)，角度被标记为从02到66。
广角帧内预测(WAIP)已经被采用以用于即将到来的通用视频压缩(VVC)标准，也称为H.266。WAIP是指超出帧内预测中使用的通常45度和-135度范围的额外预测方向的使用。当目标块是矩形时，根据块形状，一些规则的预测方向被相反方向上的相等数目的广角方向代替。在VVC/H.266中，可以使用多达10个广角方向，这导致20个广角方向超出预测方向的通常45度到-135度范围。为了支持这些广角方向，适当地定义参考阵列长度。
所采用的WAIP的一个问题是所定义的广角是从现有的规则角度导出的。对于正方形块形状，而不是对于矩形块，优化规则角度。结果，矩形块的定义角不沿对角线方向对齐。取决于矩形块的形状，对角线可以从这些方向偏移一些小的量。这带来的问题是，参考阵列的所需长度不是块的对应边的长度的精确两倍。在块的较小侧上，参考阵列比该侧的长度的两倍长。小延伸的长度是块的形状的函数。此外，如果广角方向的数目被限制为10，如VVC/H.266[1]中所采用的，对于纵横比为8、16和32的矩形块，延伸的长度可以很大。在本公开中，我们提供了几种方法，使得当广角的数目不被限制为10时，不需要在较小侧上的延伸。
所描述的一般方面提出若干方法来统一正方形和矩形块的帧内预测方向的设计。其目的在于使用适合矩形块形状的角度，而不是简单地使用从正方形块的情况中导出的角度。预测方向的范围因此精确地遍布目标块的次对角线。此设计要求顶部和左侧的参考阵列的长度恰好是目标块的对应侧的长度的两倍。因此，假设广角的数目从20扩展到28(每侧14)，则不需要较小侧上所需的小扩展。这使得它不利用WAIP的帧内预测一致，其中顶部和左侧的参考样本的总数等于目标块的高度和宽度之和的两倍。如果广角的数目被限制为10，如在VVC/H.266中所采用的，则具有8:1、16:1和32:1的纵横比的矩形块将仍然需要在参考的较小侧上的扩展，以支持所定义的预测方向。
广角帧内预测(WAIP)已经被采用以用于即将到来的通用视频压缩(VVC)标准，也称为H.266。WAIP是指超出帧内预测中使用的通常45度和-135度范围的额外预测方向的使用。当目标块是矩形时，根据块形状，一些规则的预测方向被相反方向上的相等数目的广角方向代替。因此，当目标块是扁平的，即其宽度大于高度时，接近45度的一些水平方向被超过-135度的相等数目的垂直方向代替。类似地，当目标块较高时，也就是，其高度大于宽度，接近-135°的垂直方向被超过45°的水平方向所取代。这在图1中示出，其中使用35个角模式，如在VVC的初始版本中(也在HEVC中)一样。在VVC的当前版本中，45度和-135度角之间的角度模式的数目已经增加到65。注意，在图1中，箭头指向与任何模式相关联的相反方向。
在VVC/H.266中，可以使用多达10个广角方向，这导致20个广角方向超出预测方向的通常45度到-135度范围。因此，所使用的角度模式的总数是85(＝65+20)，其中仅65个用于任何给定的目标块。如果目标块是正方形，则在45度和-135度之间的常规65个模式被用于预测。
当前的WAIP规范存在两个问题。第一个问题是由以下事实导致的：所定义的广角是从现有的角度导出的，所述现有的角度是针对正方形块形状而优化的。结果，在与原始角度用于正方形块相同的意义上，任何矩形块的预测角度相对于参考阵列的长度未被优化。这在图2和图3中示出。
在图2的示例中，W＝2H。在(a)中，对于扁平块，起始角度(常规)稍低于次对角线，并且结束角度(宽角度)稍高于次对角线。在(b)中，左边的参考阵列需要小的扩展(示为Ext)。
在图3的示例中，H＝2W。在(a)中，对于高块，起始角度(宽角度)稍微高于次对角线，并且结束角度(常规的)稍微低于次对角线。在(b)中，顶部的参考阵列需要小的扩展(示为Ext)。
矩形块的起始和结束角度从次对角线偏移一个小量。对于扁平矩形块，起始角度具有intraPredAngle(也称为角度参数A)等于(32*H/W)+1，并且结束角度对应于具有intraPredAngle等于round(1024/((32*H/W)+1))的相反角。同样，在高矩形块的情况下，结束角度具有intraPredAngle等于(32*W/H)+1*，起始角度对应于intraPredAngle等于round(1024/((32*W/H)+1))的相反角。由于与次对角线的这个小偏移，目标块的较短侧上的参考阵列的长度(没有左上角参考样本)略大于该侧的长度的两倍。同时，较长侧上的参考阵列(其长度(没有左上角参考样本)是块的侧的两倍)含有接近阵列末端的几个冗余样本，因为那些样本从不用于任何预测模式。这使得所定义的预测角度的设计不是最佳的。
当前WAIP规范的第二个问题是由在每一侧将广角的数目限制为10(即，超过标准角度10个以上的角度)而产生的。该数目对于纵横比(长边与短边的比率)等于4:1的目标矩形块是最佳的。对于这样的块，起始和结束角度接近于次对角线，如上所述。但是，当前的VVC标准也支持纵横比为8:1、16:1和32:1的矩形块。在这些情况下，起始和结束角度显著地偏离次对角线，这进而要求较短参考阵列的大得多的扩展(超过边长的两倍)，并且还通过在结束处的较大数目的样本而引起不被用于任何预测模式的较长参考阵列冗余。因此，提出在每侧上将宽角的数目扩展到14，这将支持所有矩形块，高达纵横比32:1的矩形块。这将在稍后的文本中详细描述。
广角预测背后的基本思想是在保持预测模式的总数相同的同时根据块形状来适配预测方向。这是通过在块的较大侧添加一些预测方向并在较短侧减少预测方向来完成的。总体目标是提高预测精度，从而导致更高的压缩效率。由于新引入的方向超出了从45度到-135度的角度的180度的通常范围，所以它们被称为广角方向。
在本公开中，我们将假设用于目标块的65个帧内预测模式，其已经由当前VVC标准采用。当目标块是正方形时，广角不起作用，因为块的定义模式保持不变。当目标块是扁平的，即其宽度W大于其高度H时，去除接近45度的一些模式，并且添加超过-135度的相等数目的广角模式。添加的方向被索引为预测模式67、68、…等。类似地，当目标块较高时，去除接近-135度的一些模式，并且添加超过45度的相等数目的广角模式。添加的方向被索引为预测模式-1、-2、…等。因为预测模式0和1被保留用于平面预测和DC预测。表1示出了对于不同的块形状，由广角模式替换的常规模式的数目。我们将这个参数称为modeShift。
| W/H | 预测模式 | modeShift |
| 1 | 0:66 | 0 |
| 2 | 0,1,8:72 | 6 |
| 4 | 0,1,12:76 | 10 |
| 8 | 0,1,12:76 | 10 |
| 16 | 0,1,12:76 | 10 |
| 32 | 0,1,12:76 | 10 |
| 1/2 | -6:60 | 6 |
| 1/4 | -10:56 | 10 |
| 1/8 | -10:56 | 10 |
| 1/16 | -10:56 | 10 |
| 1/32 | -10:56 | 10 |
表1：针对不同块形状的预测模式和modeShift。预测模式#0和#1是指通常的平面预测和DC预测。其余的模式是角度。modeShift是指由广角模式代替的常规模式的数目。W/H＝1指正方形块。
对于任何目标块，从替换的常规模式到广角模式的映射如下进行：
modeShift＝(Min(2,Abs(Log2(W/H)))<<2)+2；
if W>H and 1<predMode<2+modeShift
predMode＝predMode+65；
else if H>W and(66–modeShift)<predMode<＝66
predMode＝predMode-67；
很明显，如果我们在顺时针方向上查看预测方向(参见表1)，对于扁平矩形块，方向以常规模式开始，并且以广角模式结束。另一方面，对于高的矩形块，方向以广角模式开始，但是以常规模式结束。
广角的角度参数(intraPredAngle)从被替换的规则模式的角度参数导出，如下：
如果W＞H，并且An表示被替换的模式#n的intraPredAngle的值，则替换的广角模式具有intraPredAngle等于
其中An+1表示模式#(n+1)。类似地，如果H＞W，并且An表示被替换的模式#n的intraPredAngle的值，则替换的广角模式具有intraPredAngle等于
其中An-1表示模式#(n-1)的intraPredAngle。作为示例，表2示出针对W/H＝4的intraPredAngle值。
| 被替换的模式 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| intraPredAngle | 32 | 29 | 26 | 23 | 21 | 19 | 17 | 15 | 13 | 11 |
| 替换模式 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 |
| intraPredAngle | 35 | 39 | 45 | 49 | 54 | 60 | 68 | 79 | 93 | 114 |
表2：针对W/H＝4(扁平块)的被替换的模式和对应广角模式及他们的角度参数值
作为另一示例，表3示出W/H＝1/4的intraPredAngle值。
| 被替换的模式 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 |
| intraPredAngle | 11 | 13 | 15 | 17 | 19 | 21 | 23 | 26 | 29 | 32 |
| 替换模式 | -10 | -9 | -8 | -7 | -6 | -5 | -4 | -3 | -2 | -1 |
| intraPredAngle | 114 | 93 | 79 | 68 | 60 | 54 | 49 | 45 | 39 | 35 |
表3：针对W/H＝1/4(高块)的被替换模式和对应广角模式及他们的角度参数值
在两种情况下，新模式的相反角度参数invAngle都给定为round(8192/intraPredAngle)。
为了支持广角预测模式，顶部和左侧参考阵列的长度如下获得：
其中whRatio＝Min(Abs(Log2(W/H)),2)。
上述算法可以等效地表示为：
从以上确定，清楚的是，较短的参考阵列长度比侧边长度的两倍长。例如，如果W＞H，则左侧的参考阵列比2*H长。同样地，如果H＞W，顶部的参考阵列比2*W长。差为起因于两个不同原因的两项之和。第一项是由将广角的数目限制为10而产生的(其中，whRatio具有等于2的最大值，这对应于W/H＞＝4或W/H＝1/4)。对于W/H<＝4或者W/H<＝1/4，所述第一项等于零；但对于W/H＞4或W/H＜1/4)，所述第一项为非零正值。第二项(由最高限度函数表示)是由起始角度(对于W＞H)或结束角度(对于H＞W)不沿块的次对角线对齐的事实产生的。以下描述的实施例呈现了消除这些项的若干示例性方法。
如果对广角的数目没有限制为10，如在当前VVC标准中那样，则可以使第一项为零。广角的数目可以与矩形块的纵横比成比例地增加。在下面的表4中给出了针对不同块形状的被替换的模式和相应的广角的数目。应当注意，在任一侧上的最多14个广角(总共28个广角)足以覆盖当前VVC标准中所允许的所有块尺寸。
| W/H | 预测模式 | modeShift |
| 1 | 0:66 | 0 |
| 2 | 0,1,8:72 | 6 |
| 4 | 0,1,12:76 | 10 |
| 8 | 0,1,14:78 | 12 |
| 16 | 0,1,15:79 | 13 |
| 32 | 0,1,16:80 | 14 |
| 1/2 | -6:60 | 6 |
| 1/4 | -10:56 | 10 |
| 1/8 | -12:54 | 12 |
| 1/16 | -13:53 | 13 |
| 1/32 | -14:52 | 14 |
表4：提出的针对不同块形状的预测模式和modeShift。预测模式#0和#1是指通常的平面预测和DC预测。modeShift是指对于给定的块形状，被替换的模式的数目，或者等效地，增加的广角模式的数目。
以下实施例呈现了旨在沿着块的次对角线对齐该块的起始和结束预测方向的若干示例方法。这些方法的应用将使第二项(在前面部分中给出的表达式中)为零。这些方法中的任何一种都可以被认为是示例实施例。
方法1：截断
在该方法中，所指定的预测方向保持不变。对于任何目标矩形块，仅两个极端方向与其对角线对齐。
对于扁平块，即，对于W＞H，起始常规模式具有角度参数intraPredAngle等于(32*H/W)+1，并且结束广角模式具有角度参数intraPredAngle等于round(1024/((32*H/W)+1)。类似地，对于高块，即，对于H＞W，结束常规模式具有intraPredAngle等于(32*W/H)+1，并且起始广角模式具有intraPredAngle等于round(1024/((32*W/H)+1))。将这些方向与块的对角线对齐的最简单方式是如下将它们截断：
这两个语句将使第二项为零。可选地，为了将最后(第一)广角与扁平(高)块的次对角线对齐，我们提出以下改变：
在所有情况下，相反角参数invAngle被导出为
invAngle＝round(8132/intraPredAngle)。
作为示例，表5(a)和表5(b)分别示出了针对W/H＝2和W/H＝4的起始和结束方向的intraPredAngle值。红色数字是由于截断而产生的变化。
| predMode | 8 | 72 |
| intraPredMode(旧的) | 17 | 60 |
| intraPredMode | 16 | 64 |
表5(a)：针对W/H＝2，通过截断修改的角度参数值
| predMode | 12 | 76 |
| intraPredMode(旧的) | 9 | 114 |
| intraPredMode | 8 | 128 |
表5(b)：针对W/H＝4，通过截断修改的角度参数值
类似地，表6(a)和表6(b)分别示出了针对W/H＝1/2和W/H＝1/4的起始和结束方向的intraPredAngle值。
| predMode | -6 | 60 |
| intraPredMode(旧的) | 60 | 17 |
| intraPredMode | 64 | 16 |
表6(a)：针对W/H＝1/2，通过截断修改的角度参数值
| predMode | -10 | 56 |
| intraPredMode(旧的) | 114 | 9 |
| intraPredMode | 128 | 8 |
表6(b)：针对W/H＝1/4，通过截断修改的角度参数值
方法2：二元对齐
在这种方法中，改变预测方向，使得角度参数集合，即IntraPredAngle，包含32的所有因数，相应地，与它们对应的广角也变成32的倍数。在这个过程中，我们替换一些现有的intraPredAngle值。新的角度参数集合被用于所有块形状，包括正方形块。作为一变型，新的集合可以仅用于矩形块。这里的角度值是在假设广角的数目不限制为10的情况下导出的。
表7：调整选定方向以便使角度参数等于32的因数
注意，由于intraPredAngle值2已经存在，所以modeShift值也被稍微改变。而且，对于高达16:1的纵横比，其是在All_INTRA配置中的VVC/H.266的情况，在任一侧上仅需要增加14个广角。
| W/H | 预预模式 | modeShift |
| 1 | 0:66 | 0 |
| 2 | 0,1,8:72 | 6 |
| 4 | 0,1,12:76 | 10 |
| 8 | 0,1,14:78 | 12 |
| 16 | 0,1,15:79 | 14 |
| 32 | 0,1,16:80 | 15 |
| 1/2 | -6:60 | 6 |
| 1/4 | -10:56 | 10 |
| 1/8 | -12:54 | 12 |
| 1/16 | -13:53 | 14 |
| 1/32 | -14:52 | 15 |
表8：用于角度参数的二元对齐的Modeshift值
方法3：针对所有块形状的新方向
由于角度值的不等间隔，角度的二元插入使得角度值的分布稍微不规则，我们提出修改其它角度值以使得间隔稍微均匀。注意，没有唯一的方式来分布角度，因为任何一个值的轻微改变将导致几乎相同的结果。作为一变型，新的集合可以仅用于矩形块，而原始值，如在标准中那样，可以用于正方形目标块。作为示例，我们提出了下面的角度值。
表9(a)：WAIP的示例角度参数值。这些值可以仅用于矩形块，或者用于正方形和矩形块两者。
表9(b)：WAIP的示例角度参数值。这些值可以仅用于矩形块，或者用于正方形和矩形块两者。
对于上述示例，ModeShift值也需要如表8中所示稍微改变。
最后，还应注意，如果广角的数目仍然被限制为10，如在VVC/H.266代码中那样，则上述方法仍将使第二项为零。对于W/H<＝4的扁平块或者对于W/H<＝1/4的高块，第一项将为零。因此，对于W/H>4的扁平块或者对于W/H<1/4的高块，较短的参考阵列仍将需要超过该侧的长度的两倍的延伸。
所提出的发明的一个优点是，它们通过对齐适合于块形状的预测方向，消除了当前的WAIP设计中的次优性。通过此优化，参考阵列长度(排除左上参考样本)仅需为块的对应侧的长度的两倍。
图7示出了在本文所描述的一般方面下的方法700的一个实施例。所述方法开始于开始框701，且控制进行到框710，用于使用来自矩形视频块上方的行的N个参考样本中的至少一者或来自矩形视频块的左侧的列的M个参考样本中的至少一者来预测矩形视频块的样本，其中所述参考样本基于与矩形块的纵横比成比例增加的广角的数目。控制从框710进行到框720，以在帧内编码模式中使用所述预测来编码矩形视频块。
图8示出了在本文描述的一般方面下的方法800的另一实施例。所述方法开始于开始框801，并且控制进行到框810，用于使用来自矩形视频块上方的行的N个参考样本中的至少一者或来自矩形视频块的左侧的列的M个参考样本中的至少一者来预测矩形视频块的样本，其中所述参考样本基于与矩形块的纵横比成比例增加的广角的数目。控制从框810前进到框820，以在帧内编码模式中使用所述预测来解码矩形视频块。
图9示出了用于使用广角帧内预测编码、解码、压缩或解压缩视频数据的装置900的一个实施例。该装置包括处理器910，并且可以通过至少一个端口与存储器920互连。处理器910和存储器920两者还可具有到外部连接的一个或一个以上额外互连。
处理器910还被配置为在比特流中插入信息或者接收比特流中的信息，并且使用所描述的方面中的任何一者来进行压缩、编码或者解码。
本文描述了各种方面，包括工具、特征、实施例、模型、方法等。这些方面中的许多方面都是专门描述的，至少是为了显示各个特性，通常以听起来可能会受到限制的方式进行描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。
本文档中描述和预期的实施例可以以许多不同的形式来实现。以下图4、5和6提供了一些实施例，但是可以设想其他实施例，并且对图4、5和6的讨论不限制实现的广度。至少一个方面一般涉及视频编码和解码，并且至少一个其它方面一般涉及传送所生成或编码的比特流。这些和其它方面可以实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
本文中描述的各种方法和其它方面可用于修改如图4和图5中所示的视频编码器100和解码器200的模块，例如帧内预测、熵译码和/或解码模块(160、360、145、330)。此外，本发明的方面不限于VVC或HEVC，并且可应用于例如其它标准和建议，无论是预先存在的还是将来开发的，以及任何此类标准和建议(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除，否则本文中所描述的方面可单独或组合使用。
在本文件中使用各种数值，例如，{{1，0}，{3，1}，{1，1}}。具体值是出于示例目的，并且所描述的方面不限于这些具体值。
图4示出了编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而不描述所有预期的变型。
在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡)。元数据可以与预处理相关联并且被附加到比特流。
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位分割(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一者来对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。
然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其它语法元素进行熵译码(145)以输出比特流。编码器可以跳过变换，并直接对未变换的残差信号应用量化。编码器可以绕过变换和量化，即，直接对残差进行译码而不应用变换或量化处理。
编码器对编码块进行解码，以提供用于进一步预测的参考。对量化变换系数进行去量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测块，图像块被重构。环内滤波器(165)被应用于重构的图片，以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪像。将滤波图像存储在参考图片缓冲器(180)中。
图5示出了视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与图4中所描述的编码回合互逆的解码回合。编码器100通常还执行视频解码，作为编码视频数据的一部分。
特别地，解码器的输入包括视频比特流，其可以由视频编码器100生成。比特流首先被熵解码(230)以获得变换系数、运动矢量和其它译码信息。图片分割信息指示图片如何被分割。解码器因此可以根据解码的图片分割信息来划分(235)图片。变换系数被去量化(240)和逆变换(250)以解码预测残差。将解码的预测残差与预测块进行组合(255)，图像块被重构。预测块可以根据帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于重构的图像。将滤波的图像存储在参考图片缓冲器(280)中。
解码后的图片可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的重新映射过程的逆重新映射。后解码处理可以使用在预编码处理中导出并且在比特流中用信号通知的元数据。
图6示出了其中实现了各种实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。这样的设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地实现在单个集成电路、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件跨多个IC和/或分立组件分布。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到其他类似系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文中描述的一个或多个方面。
系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括编码和解码模块中的一者或两者。另外，编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
要加载到处理器1010或编码器/解码器模块1030上以执行本文档中描述的各种实施例的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在执行本文中描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
在若干实施例中，处理器1010和/或编码器/解码器模块1030内的存储器用于存储指令，且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，处理设备(例如，处理设备可为处理器1010或编码器/解码器模块1030)外部的存储器用于这些功能中的一者或一者以上。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在若干实施例中，外部非易失性闪存用于存储电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如MPEG-2、HEVC或VVC(通用视频编码)。
如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于(i)RF部分，接收例如由广播方通过空中传输的RF信号，(ii)复合输入端子，(iii)USB输入端子，和/或(iv)HDMI输入端子。
在各种实施例中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可以与用于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到频带)，(ii)下变频选择的信号，(iii)再次将频带限制到较窄频带以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关的输入处理元件接收通过有线(例如，电缆)介质发送的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新布置上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如，插入放大器和模数转换器。在各种实施例中，RF部分包括天线。
另外，USB和/或HDMI端子可以包括用于通过USB和/或HDMI连接将系统1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如，里德-所罗门纠错，可以在例如单独的输入处理IC或处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件结合操作以处理数据流以便在输出设备上呈现。
系统1000的各元件可设置在集成壳体内。在集成壳体内，各元件可使用合适的连接装置1140互连并在其间传输数据，所述连接装置1140例如本领域已知的内部总线，包括I2C总线、布线和印刷电路板。
系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用诸如IEEE 802.11的无线网络将数据流传输到系统1000。这些实施例的无线信号通过例如适于Wi-Fi通信的通信信道1060和通信接口1050被接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式应用和其它过顶通信。其它实施例使用通过输入框1130的HDMI连接传递数据的机顶盒向系统1000提供流数据。还有一些实施例使用输入框1130的RF连接向系统1000提供流数据。
系统1000可以向各种输出设备提供输出信号，包括显示器1100、扬声器1110和其他外围设备1120。在各实施例的各示例中，其他外围设备1120包括以下中的一者或多者：独立DVR、盘播放器、立体声系统、照明系统、以及基于系统1000的输出提供功能的其他设备。在各种实施例中，使用信令在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号，所述信令诸如AV.链路、CEC或其他通信协议，其使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信地耦合到系统1000。或者，输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如，定时控制器(T Con)芯片。
例如，如果输入1130的RF部分是单独机顶盒的一部分，则显示器1100和扬声器1110可以备选地与其它组件中的一个或多个组件分离。在显示器1100和扬声器1110是外部组件的各种实施例中，输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。
实施例可以由处理器1010、或硬件、或硬件和软件的组合实现的计算机软件来执行。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适合于技术环境的任何类型，并且可以包含作为非限制性示例的以下一者或多者：微处理器、通用计算机、专用计算机和基于多核架构的处理器。
各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一者或多者，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，此类过程还或替代地包含由本申请中所描述的各种实施方案的解码器执行的过程，例如，提取待用于各种帧内预测参考阵列的权重的索引。
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分割、差分编码、变换、量化和熵编码。在各种实施例中，这样的过程还或替代地包括由本申请中描述的各种实现的编码器执行的过程，例如帧内预测参考阵列的加权。
作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。
注意，这里使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
各种实施例涉及率失真计算或率失真优化。特别地，在编码过程期间，通常考虑码率和失真之间的平衡或折衷，通常给出计算复杂度的约束。率失真优化通常被公式化为最小化率失真函数，率失真函数是码率和失真的加权和。存在不同的方法来解决率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，包括所有考虑的模式或译码参数值，在译码和解码之后对它们的译码成本和重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任何一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
对“一个实施例”、或“一实施例”、或“实现”、或“一实现”以及其它变化形式的提及意味着结合实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在贯穿本文的各个地方出现的短语“在一个实施例中”、或“在实施例中”、或“在一个实现中”、或“在实现中”以及任何其他变型的出现不一定都指同一实施例。
另外，本文可能提到“确定”各种信息片段。确定信息可以包括例如以下一者或多者：估计信息、计算信息、预测信息或从存储器检索信息。
此外，本文可能提到“访问”各种信息片段。访问信息可以包括例如以下一者或多者：接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息。
另外，本文可能提到“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收信息可以包括例如以下一者或多者：访问信息或(例如从存储器)检索信息。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”以及“的至少一者”中的任何一者旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。
此外，如本文所使用的，词语“信号/用信号通知”指的是向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知将用于帧内预测参考阵列的多个权重中的特定一者。这样，在实施例中，在编码器侧和解码器侧使用相同的参数。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其它参数，则可以使用信令而不进行发送(隐式信令)，以简单地允许解码器知道并选择特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前述内容涉及词语“信号/用信号通知”的动词形式，但是词语“信号/用信号通知”在本文中也可以用作名词。
如对于本领域普通技术人员将显而易见的，实现可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码并且利用编码的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路来传输。该信号可以存储在处理器可读介质上。
前面的描述已经描述了多个实施例。这些和进一步的实施例包括以下可选特征，这些可选特征单独地或以任何组合，跨越各种不同的权利要求类别和类型：
-在超过-135度和45度的编码和解码中的帧内预测期间使用预测方向
-扩展广角模式和PDPC(与预测有关的预测组合)之间的交互
-在水平或垂直方向上延伸预测方向，同时在相反方向上移除一些方向以维持相同数目的总方向
-将方向的数目扩展到超过-135度和超过45度
-将PDPC和广角帧内预测组合到块内的样本
-从编码器向解码器发信号通知正在使用哪些预测方向
-使用预测方向的子集
-该块是具有矩形形状的CU
-参考样本根据是相邻块的块获得
-包括所描述的语法元素中的一者或多者或其变型的比特流或信号。
-在所述信令中插入使得所述解码器能够以与由编码器执行的方式相反的方式处理比特流的语法元素。
-创建和/或传送和/或接收和/或解码包括所描述的语法元素或其变型的一者或多者的比特流或信号。
-TV、机顶盒、蜂窝电话、平板电脑或执行所描述的任何实施例的其他电子设备。
-TV、机顶盒、蜂窝电话、平板电脑或执行所描述的任何实施例并且显示(例如，使用监视器、屏幕或其他类型的显示器)结果图像的其他电子设备。
-TV、机顶盒、蜂窝电话、平板电脑或调谐(例如，使用调谐器)信道以接收包括编码图像的信号，并且执行所描述的任何实施例的其他电子设备。
-TV、机顶盒、蜂窝电话、平板电脑或接收(例如，使用天线)包括编码图像的信号并执行所描述的任何实施例的其他电子设备。
-在本公开中，还支持和设想了各种其它一般化的以及特殊化的特征。
Claims (15)
1.一种方法，包括：
使用来自矩形视频块上方的行的N个参考样本中的至少一者或来自所述矩形视频块的左侧的列的M个参考样本中的至少一者来预测所述矩形视频块的样本，其中所述参考样本基于广角的数目，所述广角的数目与所述矩形块的纵横比成比例地增加；以及
在帧内译码模式中使用所述预测对所述矩形视频块进行编码。
2.一种装置，包括：
处理器，其被配置为：
使用来自矩形视频块上方的行的N个参考样本中的至少一者或来自所述矩形视频块的左侧的列的M个参考样本中的至少一者来预测所述矩形视频块的样本，其中所述参考样本基于广角的数目，所述广角的数目与所述矩形块的纵横比成比例地增加；以及
在帧内译码模式中使用所述预测对所述矩形视频块进行编码。
3.一种方法，包括：
使用来自矩形视频块上方的行的N个参考样本中的至少一者或来自所述矩形视频块的左侧的列的M个参考样本中的至少一者来预测所述矩形视频块的样本，其中所述参考样本基于广角的数目，所述广角的数目与所述矩形块的纵横比成比例地增加；以及
在帧内译码模式中使用所述预测来对所述矩形视频块进行解码。
4.一种装置，包括：
处理器，其被配置为：
使用来自矩形视频块上方的行的N个参考样本中的至少一者或来自所述矩形视频块的左侧的列的M个参考样本中的至少一者来预测所述矩形视频块的样本，其中所述参考样本基于广角的数目，所述广角的数目与所述矩形块的纵横比成比例地增加；以及
在帧内译码模式中使用所述预测来对所述矩形视频块进行解码。
5.根据权利要求1或3所述的方法、或者根据权利要求2或4所述的装置，其中，帧内期间的预测方向被扩展超过-135度和45度。
6.根据权利要求1或3所述的方法、或者根据权利要求2或4所述的装置，其中，增加预测方向包括：在水平或垂直方向上扩展所述预测方向，同时在相反方向上移除一些方向以维持相等数目的总方向。
7.根据权利要求1或3所述的方法、或者根据权利要求2或4所述的装置，其中，预测方向被限制为扩展的广角预测方向的子集。
8.根据权利要求1或3所述的方法、或者根据权利要求2或4所述的装置，其中，所述视频块是具有矩形形状的译码单元。
9.根据权利要求1或3所述的方法、或者根据权利要求2或4所述的装置，其中，所述参考样本是从相邻块中选择的。
10.根据权利要求1或3所述的方法、或者根据权利要求2或4所述的装置，其中，角度参数的集合包含32的因数。
11.根据权利要求7所述的方法或装置，角度值被修改以实现角度的均匀间隔。
12.一种设备，包括：
根据权利要求4至11中任意项所述的装置；以及
以下中的至少一者：(i)天线，其经配置为接收信号，所述信号包含所述视频块，(ii)频带限制器，其经配置为将所述所接收的信号限制到包含所述视频块的频带，及(iii)显示器，其经配置为显示表示视频块的输出。
13.一种非暂时性计算机可读介质，包含根据权利要求1和5至11中任一项所述的方法或者由权利要求2和5至11中任一项所述的装置生成的数据内容，以使用处理器进行回放。
14.一种包括根据权利要求1和5至11中任一项所述的方法或由权利要求2和5至11中任一项所述的装置生成的视频数据的信号，以使用处理器进行回放。
15.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求1、3和5至11中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18290110 | 2018-10-01 | ||
| EP18290110.8 | 2018-10-01 | ||
| PCT/US2019/052863 WO2020072249A1 (en) | 2018-10-01 | 2019-09-25 | Directions for wide angle intra prediction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112823522A true CN112823522A (zh) | 2021-05-18 |
Family
ID=67436864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980065245.3A Pending CN112823522A (zh) | 2018-10-01 | 2019-09-25 | 用于广角帧内预测的方向 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220046244A1 (zh) |
| EP (1) | EP3861749A1 (zh) |
| JP (1) | JP2022502959A (zh) |
| KR (1) | KR20210066823A (zh) |
| CN (1) | CN112823522A (zh) |
| IL (1) | IL281548A (zh) |
| WO (1) | WO2020072249A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101842178B1 (ko) * | 2018-01-19 | 2018-05-14 | 광성(주) | 선박용 황산화물 저감장치 및 선박용 황산화물 저감장치의 운전방법 |
| CN112672161A (zh) | 2018-06-27 | 2021-04-16 | 株式会社Kt | 用于处理视频信号的方法和设备 |
| US11509889B2 (en) | 2018-06-27 | 2022-11-22 | Kt Corporation | Method and apparatus for processing video signal |
| US11432006B2 (en) * | 2020-08-14 | 2022-08-30 | Tencent America LLC | Chroma mode video coding |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018117894A1 (en) * | 2016-12-23 | 2018-06-28 | Huawei Technologies Co., Ltd | An encoding apparatus for signaling an extension directional intra-prediction mode within a set of directional intra-prediction modes |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8902978B2 (en) * | 2010-05-30 | 2014-12-02 | Lg Electronics Inc. | Enhanced intra prediction mode signaling |
| US10506228B2 (en) * | 2016-10-04 | 2019-12-10 | Qualcomm Incorporated | Variable number of intra modes for video coding |
| FI20175006A1 (en) * | 2017-01-03 | 2019-02-15 | Nokia Technologies Oy | Video and image coding using wide-angle intra-prediction |
| US10284860B1 (en) * | 2018-07-02 | 2019-05-07 | Tencent America LLC | Method and apparatus for video coding |
| CN116527913A (zh) * | 2018-07-05 | 2023-08-01 | 腾讯美国有限责任公司 | 视频编解码方法、装置及计算机可读介质 |
| US11128872B2 (en) * | 2018-07-16 | 2021-09-21 | Qualcomm Incorporated | Position dependent intra prediction combination with wide angle intra prediction |
| US10469845B1 (en) * | 2018-09-21 | 2019-11-05 | Tencent America, Llc | Method and apparatus for intra mode coding |
| CN116132667A (zh) * | 2018-11-26 | 2023-05-16 | 华为技术有限公司 | 对图像中的块进行帧内预测的方法，编码设备，解码设备和计算机可读介质 |
-
2019
- 2019-09-25 CN CN201980065245.3A patent/CN112823522A/zh active Pending
- 2019-09-25 US US17/280,473 patent/US20220046244A1/en active Pending
- 2019-09-25 EP EP19783879.0A patent/EP3861749A1/en active Pending
- 2019-09-25 KR KR1020217009213A patent/KR20210066823A/ko unknown
- 2019-09-25 WO PCT/US2019/052863 patent/WO2020072249A1/en unknown
- 2019-09-25 JP JP2021518083A patent/JP2022502959A/ja active Pending
-
2021
- 2021-03-16 IL IL281548A patent/IL281548A/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018117894A1 (en) * | 2016-12-23 | 2018-06-28 | Huawei Technologies Co., Ltd | An encoding apparatus for signaling an extension directional intra-prediction mode within a set of directional intra-prediction modes |
Non-Patent Citations (1)
| Title |
|---|
| FABIEN RACAPÉ等: "CE3-related: Wide-angle intra prediction for non-square blocks", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018, pages 1 - 5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| IL281548A (en) | 2021-05-31 |
| KR20210066823A (ko) | 2021-06-07 |
| EP3861749A1 (en) | 2021-08-11 |
| WO2020072249A1 (en) | 2020-04-09 |
| JP2022502959A (ja) | 2022-01-11 |
| US20220046244A1 (en) | 2022-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113228650B (zh) | 基于块的表面的视频编码或解码的量化 | |
| CN112352427B (zh) | 基于图像块的非对称二元分区的视频编码和解码的方法和装置 | |
| CN112823522A (zh) | 用于广角帧内预测的方向 | |
| CN113950834A (zh) | 用于隐式多变换选择的变换选择 | |
| US20240089437A1 (en) | Chroma quantization parameter adjustment in video encoding and decoding | |
| CN112740682A (zh) | 用于依赖性标量量化的标量量化器决策方案 | |
| CN114631311A (zh) | 将同质语法与编码工具一起使用的方法和装置 | |
| CN113170135A (zh) | 用于图片编码和解码的方法及设备 | |
| CN112740676A (zh) | 帧内变换译码和广角帧内预测的协调 | |
| CN112335246B (zh) | 用于基于适应性系数组的视频编码和解码的方法及设备 | |
| CN114208204A (zh) | 上下文编解码二进制位（ccb）计数方法的统一 | |
| WO2020185492A1 (en) | Transform selection and signaling for video encoding or decoding | |
| CN114930819A (zh) | 三角形合并模式中的子块合并候选 | |
| CN113261284A (zh) | 使用多重变换选择进行视频编码和解码 | |
| CN113170149A (zh) | 用于图片编码和解码的方法和设备 | |
| EP3664450A1 (en) | Method and device for picture encoding and decoding | |
| CN114631314A (zh) | 变换大小与编码工具的相互作用 | |
| CN114128275A (zh) | 亮度到色度量化参数表信令 | |
| CN114531953A (zh) | 使用多参考行帧内预测的最可能模式信令 | |
| CN114026857A (zh) | 用于视频编码和解码的单索引量化矩阵设计 | |
| CN114041286A (zh) | 用于视频编码和解码的色度格式相关量化矩阵 | |
| CN115336267A (zh) | 用于联合色度编码块的缩放过程 | |
| CN113016181A (zh) | 依据块形状适配最可能模式候选的选择 | |
| CN112806013A (zh) | 仿射模式下基于块大小的运动矢量编码 | |
| CN112385226A (zh) | 视频编码中的照度补偿 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |