CN113424540A - 帧内预测模式扩展 - Google Patents

帧内预测模式扩展 Download PDF

Info

Publication number
CN113424540A
CN113424540A CN202080014007.2A CN202080014007A CN113424540A CN 113424540 A CN113424540 A CN 113424540A CN 202080014007 A CN202080014007 A CN 202080014007A CN 113424540 A CN113424540 A CN 113424540A
Authority
CN
China
Prior art keywords
block
prediction
predicting
mode
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080014007.2A
Other languages
English (en)
Inventor
F·拉卡佩
G·拉斯
F·厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN113424540A publication Critical patent/CN113424540A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于执行帧内预测以进行编码或解码的方法和装置，其将多个预测模式添加到现有帧内预测方案的预测模式。添加了水平模式、垂直模式和对角模式。用于每个所添加的模式的参考像素可以来自远离要编码或解码的块的多个像素位置。从已经编码的像素中重建块的左侧和上方的参考像素。来自块的右侧和下方的参考像素被估计或外推，并且可以基于所述块周围的其他像素。可在比特流中发送指示使用了哪一预测的索引。

Description

帧内预测模式扩展
技术领域
本发明的至少一个实施例主要涉及一种用于视频编码或解码的方法或装置。
背景技术
为了实现高压缩效率，图像和视频译码方案通常采用预测(包括空间和/或运动向量预测)以及变换以利用视频内容中的空间和时间冗余。通常，帧内或帧间预测用于利用帧内或帧间相关性，然后对通常表示为预测误差或预测残差的原始图像与预测图像之间的差异进行变换、量化和熵译码。为了重构视频，通过与熵译码、量化、变换和预测相对应的逆处理来对压缩数据进行解码。
发明内容
现有技术的缺点和不利可以通过本文描述的主要方面来解决，其涉及编码和解码中的块形状自适应帧内预测方向。
根据第一方面，提供了一种方法。所述方法包括以下步骤：确定将用于编码视频数据块的扩展帧内预测模式；使用所述确定的扩展帧内预测模式，根据与所述块相邻的一个或多个像素来预测所述视频数据块的目标像素，其中所述预测包括：使用左侧相邻行的参考像素和所述块的右上方的参考像素来水平预测所述目标像素，或者使用上方相邻行的参考像素和所述块的左上方的参考像素来垂直预测所述目标像素，或者使用所述块上方和右上方的参考像素或所述块的左侧和所述块的左下方的参考像素来对角预测所述目标像素；以及使用所述预测来编码视频数据的视频的所述块。
根据第二方面，提供了一种方法。所述方法包括以下步骤：确定将用于解码视频数据块的扩展帧内预测模式；使用所述确定的扩展帧内预测模式，根据与所述块相邻的一个或多个像素来预测所述视频数据块的目标像素，其中所述预测包括：使用左侧相邻行的参考像素和所述块的右上方的参考像素来水平预测所述目标像素，或者使用上方相邻行的参考像素和所述块的左上方的参考像素来垂直预测所述目标像素，或者使用所述块上方和右上方的参考像素或所述块的左侧和所述块的左下方的参考像素来对角预测所述目标像素；以及使用所述预测来解码视频数据的视频的所述块。
根据另一方面，提供了一种装置。该装置包括处理器。所述处理器可经配置以通过执行上述方法中的任意者来编码视频的块或解码比特流。
根据至少一个实施例的另一个主要方面，提供了一种设备，该设备包括根据解码实施例中的任意者的装置；以及以下至少一者：(i)天线，被配置成接收信号，该信号包括所述视频块，(ii)频带限制器，被配置成将所接收的信号限制到包括所述视频块的频带，或(iii)显示器，被配置成显示表示视频块的输出。
根据至少一个实施例的另一个主要方面，提供了一种非暂时性计算机可读介质，其包含根据所描述的编码实施例或变型中的任意者成的数据内容。
根据至少一个实施例的另一个主要方面，提供了一种包括根据所描述的编码实施例或变型中的任意者生成的视频数据的信号。
根据至少一个实施例的另一个主要方面，比特流被格式化为包括根据所描述的编码实施例或变型中的任意者所生成的数据内容。
根据至少一个实施例的另一个主要方面，提供了一种包括指令的计算机程序产品，当计算机执行该程序时，该指令使该计算机执行所描述的解码实施例或变型中的任意者。
从以下结合附图阅读的示例性实施例的详细描述中，这些和其它方面、所述主要方面的特征和优点将变得显而易见。
附图说明
图1示出了用于VTM中的帧内预测的参考样本。
图2示出了用于VTM中的帧内预测的多条参考线(reference line)。
图3示出了针对正方形目标块的VTM中的帧内预测方向。
图4示出了在所描述的主要方面下的planar_horizontal(平面_水平)预测。
图5示出了在所描述的主要方面下的planar_vertical(平面_垂直)预测。
图6示出了所描述的主要方面下的planar_diagonal(平面_对角)预测模式。
图7示出了用于针对不同目标块形状导出先前提议中的最可能模式(MPM)列表的顶部和左侧译码单元(CU)位置。
图8是示出了使用实施例1的预测模式进行编码的流程图。
图9是示出了使用实施例1的预测模式的解码的流程图。
图10示出了根据所描述的主要方面的编码方法的一个实施例。
图11示出了根据所描述的主要方面的解码方法的一个实施例。
图12示出了用于使用帧内预测模式扩展进行编码或解码的装置的一个实施例。
图13示出了一般的标准编码方案。
图14示出了一般的标准解码方案。
图15示出了其中可以实现所描述的实施例的典型处理器布置。
具体实施方式
这里描述的实施例属于视频压缩领域，并且涉及视频压缩以及视频编码和解码。在通用视频译码(VVC)测试模型(VTM)中，帧内预测中的任何目标块可以具有67种预测模式之一。与HEVC类似，一种是PLANAR(平面)模式，一种是DC模式，并且剩余的65种是定向模式。该65个定向模式选自95个方向，如果目标块是正方形，则这其中包括从45度跨越到-135度的65个规则角度，而当目标块是矩形时，可能包括28个宽角度方向。VTM使用最可能模式(MPM)集合对块的预测模式进行编码，所述最可能模式集合由6个预测模式组成。如果预测模式不属于MPM集合，那么以5或6个比特对其进行截断二进制编码。
本发明的目的在于提高帧内预测中的预测效率。其针对任何目标块提出除现有的67个模式之外的另外三个预测模式。通过包括这些模式，根据左侧和顶相邻块的预测模式是定向模式还是非定向模式，或者它们是否具有新引入的预测模式，可修改所述MPM集合。如果当前块的预测模式属于MPM集合，则在VTM 3.0软件中使用可变长度译码方案对其进行编码；否则，使用六比特对其进行固定长度译码，而不是VTM 3.0中的截断二进制编码方案。所提出的模式本质上非常通用，并且它们不限于仅在VTM中使用，而是可以包括在任何未来的视频译码标准中。
在本发明中，提出了添加三个附加模式，这三个附加模式旨在对沿着水平、垂直和对角方向的缓慢变化的强度区域进行建模。这些模式分别被称为Planar_horizontal、Planar_vertical、和Planar_diagonal模式。包含这三种模式将目标块的所使用的帧内预测模式的总数增加到70。随着这三种新预测模式的引入，预测模式的剩余集合将包含64种预测模式。因此，将简单地用6个比特对不属于所述MPM集合的任何预测模式进行固定长度编码。
视频压缩中的帧内预测是指使用来自因果相邻块(即，同一帧中已被解码的相邻块)的信息对像素块进行空间预测。这是一种强大的译码工具，因为它允许INTRA帧中的高压缩效率，以及INTER帧中的高压缩效率，只要没有更好的时间预测。因此，帧内预测已经作为核心译码工具被包括在包括H.264/AVC、HEVC等的所有视频压缩标准中。在下文中，为了解释的目的，我们将参考通用视频译码(VVC)软件测试模型(VTM)中的帧内预测。
在VTM中，视频序列的帧的编码基于四叉树(QT)/多型树(MTT)块结构。一帧被分成不重叠的正方形译码树单元(CTU)，CTU都基于速率失真标准经历基于QT/MTT的分割成为多个译码单元(CU)。在帧内预测中，从因果相邻CU(即，顶部和左侧的CU)空间预测CU。为此目的，VTM使用被称为预测模式的简单空间模型。基于顶部CU和左侧CU中的被称为参考像素的解码像素值，编码器为目标块构造不同的预测，并选择导致最佳RD性能的一个。在95个定义的模式中，一个是平面模式(索引为模式0)，一个是DC模式(索引为模式1)，其余93个(索引为模式-14…-1,2…80)是角度模式。在93个角度模式中，对于任何目标CU，根据其形状，仅选择65个相邻模式。角度模式旨在对帧中的对象的方向结构进行建模。因此，顶部CU和左侧CU中的经解码像素值仅沿着所界定的方向重复以填充目标CU。一些预测模式可导致沿顶部及左侧参考边界的不连续性，因此那些预测模式包含后续后处理，其称为位置相关帧内预测组合(PDPC)，其旨在沿那些边界平滑像素值。
所定义的预测模式很好地对缓慢变化的强度区域以及对象方向性进行建模，但是当所述对象强度沿着某些方向缓慢变化时，将选择对应的定向模式或者两个非定向模式中的一个。为了更好地建模这样的区域，我们提出了三个定向平面模式以与现有的67个模式结合使用。在描述所提出的模式之前，下面简要介绍VTM 3.0中的帧内预测。为了更容易参考，我们将在本文中可互换地使用术语“CU”和“块”。
VTM中的帧内预测过程包括三个步骤：(1)参考样本生成，(2)帧内样本预测和(3)预测样本的后处理。图1中示出了参考样本生成过程，其示出了用于VTM中的帧内预测的参考样本。坐标(x，y)处的参考像素值在图中由R(x，y)表示。H和W分别表示当前块的高度和宽度。对于大小为HxW的CU，从当前CU的先前重构的顶部和右上角(top right)像素形成顶部上的一行2W解码样本。类似地，从重构的左侧和左下方像素形成左侧的2H样本的列。左上位置的角像素也用于填充顶行与左列参考之间的间隙。如果顶部或左侧的样本中的一些不可用，因为对应CU不在相同切片中，或当前CU在帧边界处等，那么执行称为参考样本替代的方法，其中在顺时针方向上从可用样本复制缺失样本。然后，取决于当前CU大小和预测模式，使用具有系数[1/4，1/2，1/4]的低通滤波器对所述参考样本进行滤波，所述低通滤波器被垂直地应用于左参考列且水平地应用于顶部参考行。
VTM 3.0还支持具有多个参考线(MRL)的帧内预测。其思想是基于如图2所示的几组参考线进行预测，然后选择给出最佳速率失真性能的参考线。所使用的参考线以可变长度代码发信号通知给解码器。图2示出了用于VTM中的帧内预测的多条参考线。所述参考线按照它们距目标块的距离的顺序被索引。最接近目标块的参考线被索引为0。例如，用于预测的另外两个参考线被索引为1和3。对于如图2中的三条参考线，其用于VTM 3.0中，具有索引0、1和3的参考线分别用比特“0”、“10”和“11”发信号通知。可以使用不同的参考线。此外，为了限制搜索最佳预测模式的增加的复杂性，仅利用六个角度预测模式测试参考线1和3，这六个角度预测模式以与MPM列表中的模式相同的方式导出，但是排除了PLANAR和DC模式。在下文中，为了更容易理解，我们将我们的描述限制为仅第一参考线，如图1中所示，因为使用多个是显而易见的并且可以容易地从以下描述中推断。如在VTM3.0中那样，多个参考线的使用仍然适用，并且决不禁止使用第一参考线来应用新模式。这是显而易见的，并且可以从以下描述中容易地推断出。
下一步骤(即，样本内预测)包括基于参考样本来预测目标CU的像素。如前所述，为了有效地预测不同种类的内容，VTM支持一系列预测模型。平面和DC预测模式用于预测平滑和逐渐变化的区域，而角度预测模式用于捕获不同的定向结构。VTM支持95个定向预测模式，其从-14到-1和从2到80被索引。对于正方形CU，仅使用预测模式2-66。这些预测模式对应于顺时针方向中从45度到-135度的不同预测方向，如图3中所说明，其展示了正方形目标块的VTM中的帧内预测方向。通常，非正方形块也可以与扩展的预测方向一起使用，但是该图示出了正方形块。数字表示与对应方向相关联的预测模式索引。模式2至33指示水平预测，而模式34至66指示垂直预测。
索引为-14到-1、索引为67到80的模式为宽角度模式，用于不同形状的矩形块。模式-14至-1被定义为超出模式2(超出角度45度)，并且用于高的矩形块(高度大于宽度的块)。类似地，模式67至80被定义为超出模式66(超出角度-135度)，并且被用于平坦矩形块(宽度大于高度的块)。用于矩形块的宽角度模式的数量取决于该块的宽高比。在任何情况下，用于任何块的角度模式的总数是65，并且这些模式在方向上总是连续的。用于不同块形状的角度预测模式总结在表1中。
Figure BDA0003208407180000071
表1：用于VTM中的不同目标块形状的帧内预测模式的范围。W/H是指块的宽度与高度的比率。
为了定义与任何预测模式相对应的角度，VTM指定角度参数A或intraPredAngle，其被作为预测值(predictor)参考样本位置相对于在(0，0)处的目标像素的偏移而被给出。该偏移被表示为采样间隔的(1/32)的倍数。换句话说，预测方向具有采样间隔的(1/32)的分辨率。在VTM 3.0中，所述采样间隔内的任何预测值参考样本被计算为两个最近的参考样本的线性内插。除了宽角度之外，角度参数值已经从HEVC中指定的那些稍微改变以适应不同的矩形块形状，使得用于任何目标块的预测模式与其在顺时针方向上的垂直对角线对准。因此，帧内预测方向自适应于目标块形状。表2示出了正方形CU的角度预测模式的intraPredAngle值。
Figure BDA0003208407180000081
Figure BDA0003208407180000082
表2：用于VTM 3.0中的正方形CU的角度预测模式的角度参数A或intraPredAngle
所述角度预测模式可以描述包含具有不同方向性的对象结构的图像区域。PLANAR和DC模式描述了恒定和逐渐变化的区域，而没有任何特定的方向性。如果任何区域具有沿着某些方向的缓慢和变化的区域，则它们将不能通过相应的角度模式、或者PLANAR或DC模式来充分地描述。我们提出三种简单模式来描述这样的区域。利用这三种模式，如果预测模式不属于MPM列表，则对该预测模式的编码将简单地需要6个比特，而不是现有的截断二进制编码。
为了一般性，在下文中我们将假设矩形块具有宽度W和高度H。方形目标块是W＝H的特殊情况。提出了以下三种预测模式，以与HEVC中的顶部的参考行和左侧的参考列的正常方式中的其他六十七个模式一起使用。在多参考线帧内预测的情况下，如在VTM 3.0中，提出仅与第一参考线一起使用它们。
PLANAR模式(索引为模式0)由两个内插的平均值组成：在左侧参考样本与右上角参考样本(即，在(W，-1)处的参考样本)之间的水平内插，以及在顶部参考样本与左下角(bottom-left)参考样本(即，在(-1，H)处的参考样本)之间的垂直内插。该预测之后是PDPC以平滑边界样本。在planar_horizontal模式中，我们仅使用水平内插，并且随后对第一行样本进行简单滤波。类似地，在planar_vertical模式中，我们仅使用垂直内插，并且随后对第一列样本进行简单滤波。
在planar_horizontal模式中，使用右上角参考样本R(W，-1)和目标块左侧的参考样本R(-1，y)，0<＝y<H，如下执行线性内插：
Ph(x,y)＝(W-1-x)*R(-1,y)+(1+x)*R(W,-1),0≤x<W,0≤y<H
P(x,y)＝(Ph(x,y)+W/2)＞＞log2(W),0≤x<W,0≤y<H
所述planar_horizontal模式在图4中示出。
然后，使用滤波器[1，2，1]将第一行上的样本平滑为：
P(x,0)＝(2*P(x,0)+P(x,1)+R(x,-1))＞＞2,0≤x<W
在planar_vertical模式中，使用bottom_left参考样本R(-1，H)和目标块顶部的参考样本R(x，-1)，0<＝x<W，线性内插被执行为：
Pv(x,y)＝(H-1-y)*R(x,-1)+(1+y)*R(-1,H),0≤x<W，0≤y<H；
P(x,y)＝(Pv(x,y)+H/2)＞＞log2(H),0≤x<W,0≤y<H
planar_vertical模式在图5中示出。
然后，使用滤波器[1，2，1]将第一列上的样本平滑为：
P(0,y)＝(2*P(0,y)+P(1,y)+R(-1,y))＞＞2,0≤y<H
在这两种预测中，我们可以可选地用更高级的滤波器来代替简单的平滑滤波器，例如在PDPC中使用的用于纯水平和纯垂直预测模式(模式18和50)的滤波器。
平面对角模式是对角模式(模式34)的变型。代替沿着对角方向重复在顶部和左侧的参考样本，我们如在PLANAR模式中那样，使用块的顶部和左侧的参考样本以及右侧和底部的“估计的”参考样本来线性地内插样本。该后者参考样本首先使用top_right和bottom_left参考样本与所估计的bottom_right样本之间的线性内插来计算。所述bottom_right样本被计算为(2W-1，-1)和(-1，2H-1)处的参考样本的平均值：
首先，我们估计bottom_right样本为：
P(W,H)＝(R(-1,2H-1)+R(2W-1,-1)+1＞＞1
或者，我们可以使用top_right和bottom_left参考样本来估计bottom_right样本，如下所述，但具有更高的复杂度：
P(W,H)＝(H*R(-1,H)+W*R(W,-1)+(W+H)/2/(W+H)
然后，使用bottom_left参考样本R(-1，H)和bottom_right样本，我们线性地内插目标块底部的样本：
Pb(x,H)＝(W-1-x)*R(-1,H)+(1+x)*P(W,H),0≤x<W
Pb(x,H)＝(Pb(x,H)+W/2)＞＞log2(W),0≤x<W
类似地，使用top_right参考样本R(W，-1)和bottom_right样本，我们线性内插目标块右侧的样本：
Pr(W,y)＝(H-1-y)*R(W,-1)+(1+y)*P(W,H),0≤y<H；
Pr(W,y)＝(Pr(W,y)+H/2)＞＞log2(H),0≤y<H；
使用这些样本，我们构建了大小为1+W+H的阵列，称为RightColumn(右侧列)，如下：
rightColumn[k]＝Pr(W,k),0≤k<H；
rightColumn[H]＝P(W,H)；
rightColumn[H+k]＝Pb(W-k,H),1≤k≤W
类似地，使用顶部和左侧的参考样本，我们构建另一个大小为1+W+H的数组，称为LeftColumn(左侧列)，如下：
leftColumn[k]＝R(W-1-k,-1),0≤k<W；
leftColumn[W]＝R(-1,-1)；
leftColumn[W+k]＝R(-1,k-1),1≤k≤H
然后，我们通过在LeftColumn和RightColumn之间线性内插来计算预测的样本值，如下：
P(x,y)＝(L-1-p)*leftColumn[k]+(1+p)*rightColumn[k],0≤x<W,0≤y<H；
P(x,y)＝(P(x,y)+L/2)＞＞log2(L),0≤x<W,0≤y<H；
其中，k＝W-x+y,L＝min(W,H)，且p＝min(x,y).
图6中示出了planar_diagonal模式的内插。
VTM使用MPM集合的概念来编码亮度分量的预测模式。MPM由6个不同预测模式组成，所述预测模式是使用左侧相邻块及顶部相邻块的预测模式导出的。图7中示出了在针对不同目标块形状的现有建议中用于导出所述MPM列表的左上块和左上块。
在一个现有的建议中，MPM列表被如下构造：
L≡左侧CU的预测模式(值在范围[0–66]内)
A≡上方CU的预测模式(值在范围[0-66]内)
offset＝NUM_LUMA_MODES–6(＝61)
mod＝offset+3(＝64)
初始化:
MPM[0]＝L；
MPM[1]＝！L(0if L≠0,else 1)
MPM[2]＝VER_IDX
MPM[3]＝HOR_IDX
MPM[4]＝VER_IDX-4
MPM[5]＝VER_IDX+4
If L＝A
If L>DC_IDX
MPM[0]＝L；
MPM[1]＝PLANAR_IDX
MPM[2]＝DC_IDX
MPM[3]＝((L+offset)％mod)+2
MPM[4]＝((L–1)％mod)+2
MPM[5]＝((L+offset-1)％mod)+2
Else,
使用初始化值。
Else(即，如果L≠A)
If L>DC_IDX and A>DC_IDX
MPM[0]＝L；
MPM[1]＝A
MPM[2]＝PLANAR_IDX
MPM[3]＝DC_IDX
MPM[4]＝((max(L,A)+offset)％mod)+2if L and A are not adjacent
＝((max(L,A)+offset-1)％mod)+2,otherwise
MPM[5]＝((max(L,A)-1)％mod)+2if L and A are not adjacent
＝((max(L,A)-0)％mod)+2otherwise
Else if L+A>＝2(即，仅L和A中的一者是DC或PLANAR)
MPM[0]＝L；
MPM[1]＝A
MPM[2]＝！(min(L,A))(0if min(L,A)＝1,else 0)
MPM[3]＝((max(L,A)+offset)％mod)+2
MPM[4]＝((max(L,A)-1)％mod)+2
MPM[5]＝((max(L,A)+offset-1)％mod)+2
Else(即，L和A之一是PLANAR而另一者是DC)
使用初始化值。
使用[2-66]范围上的环形邻接(即，2和65是相邻的)，我们可以等效地写入为：
((L+offset)％mod)+2≡L–1
((L+offset-1)％mod)+2≡L–2
((L–1)％mod)+2≡L+1
((L–0)％mod)+2≡L+2
使用这些等价关系，我们可以如表3中所示示出针对不同情况的MPM列表推导。
Figure BDA0003208407180000141
表3：现有方案中的MPM推导。A和L分别表示上方CU和左方CU的预测模式。
如果当前块的预测模式等于六个MPM模式中的一者，则这通过以下来指示：将mpmFlag(mpm标志)设定为1且接着使用表4中所示的可变长度译码方案对来自MPM列表的候选模式进行编码。
Figure BDA0003208407180000142
Figure BDA0003208407180000151
表4：现有建议中的MPM编码
否则，mpmFlag被设置为0，并且剩余的61个模式的列表中的模式的索引被截断二进制编码。所述列表中的前三个模式(索引0-2)用5比特编码，而剩余的58(索引3-60)每个用6比特编码。
利用新引入的模式，我们提出如下构建MPM列表：
让我们将这三种新模式编索引为PLANAR_HOR_IDX(索引＝67)、PLANAR_DIA_IDX(索引＝68)和PLANAR_VER_IDX(索引＝69)。这里要注意，这些索引仅用于编码目的，而不与实际预测模式的索引混淆。如我们先前已经提到的，具有索引67-69的预测模式已经与广角方向相关联。但是，由于VTM仅支持67个预测模式，为了编码目的，将其从0索引到66，因此如上所述对新引入的模式进行索引是适当的，因为我们扩展了模式的数量。L≡左侧CU的预测模式(值在范围[0–69]内)
A≡上方CU的预测模式(值在范围[0–69]内)
Figure BDA0003208407180000152
Figure BDA0003208407180000161
Figure BDA0003208407180000171
Figure BDA0003208407180000181
如果当前块的预测模式等于六个MPM模式中的一者，则这通过以下而被指示：将mpmFlag设定为1且接着使用表4中的可变长度译码方案对来自MPM列表的候选模式进行编码。否则，将mpmFlag设定为0且用6个比特对64个模式的剩余列表中的模式的索引进行二进制编码。
应当注意，所提出的模式是非角度的，并且旨在描述沿着相关联的方向缓慢改变的强度区域。在上述MPM列表构建方法中，我们以与在VTM 3.0中的现有MPM列表构建中给予PLANAR和DC模式更高优先级相同的方式给予它们与角度模式相比更高的优先级。这样做的原因是我们期望这些新的模式将比其它角度模式更可能，但是可能比PLANAR或DC模式更不可能。因此，不使用这种隐含概念的其它MPM列表构造也是可能的。例如，原始MPM列表构建方法可以与新模式到最近的定向模式或到PLANAR模式的映射一起使用。如果左侧相邻块或上方相邻块的预测模式等于planar_vertical模式，则可以用垂直模式VER_IDX或PLANAR模式来替换它。如果左侧相邻块或上方相邻块的预测模式等于planar_horizontal模式，则可以用水平模式HOR_IDX或PLANAR模式来替换该预测模式。类似地，如果左侧相邻块或上方相邻块的预测模式等于planar_diagonal模式，那么其可由对角模式DIA_IDX或PLANAR模式替换。在这些情况下，新引入的模式将属于剩余模式的列表，并且每个将需要6比特用于编码。MPM建构的另一方法是在新模式恰好为左侧或顶部相邻块的预测模式的情况下，将所述新模式包含于MPM列表中，但还包含相关联的定向模式(即，VER_IDX或HOR_IDX或DIA_IDX)以及PLANAR和DC模式。在此情况下，如果候选者的数目仍小于六，则相应定向模式的邻近模式也可包括在MPM列表中。我们在下面介绍了几个实施例，其结合了MPM列表构建的这些方法。
实施例1：在该实施例中，我们在帧内预测中包括所提出的三种预测模式。除了已经存在的67个预测模式之外，当考虑第一参考线时，检查这三个模式的RD性能。当考虑其它参考线时，仅检查六个角度模式的RD性能，如在VTM 3.0中那样。如果第一参考线产生最佳预测，则用比特“0”发信号通知此预测，且接着使用如在先前部分中导出的MPM列表(MPM列表0)来编码对应预测模式。如果预测模式属于所述MPM列表，则MPMflag被编码为“1”，随后对MPM列表中的预测模式的索引进行编码。否则MPMflag被编码为“0”，接着对剩余模式集合中的预测模式的索引以6个比特进行固定长度编码。否则，如果第二或第四参考线产生最佳预测，则这以比特“10”(针对第2参考线)或“11”(针对第4参考线)来用信号通知，且使用如在VTM 3.0中导出的用于具有索引1和3的参考线的MPM列表(MPM列表1)来编码所述预测模式。在这种情况下，由于预测模式总是属于MPM列表(MPM列表1)，所以不对MPMflag进行编码。在解码器侧，解码器首先解码所述参考线索引。如果参考线索引等于“0”，则其解码MPMflag，且接着依据MPMflag值，其解码MPM列表0中或剩余模式列表(所述列表含有除MPM列表0中的模式外的所有模式)中的预测模式的索引。否则，如果参考线索引大于0，解码器简单地解码MPM列表1中的预测模式的索引。对于任何参考线，编码器和解码器导出相同的MPM列表(MPM列表0或列表1)；因此，解码器从MPM列表(具有参考线#0的列表0或具有参考线#1或#3的列表1)或剩余模式列表(参考线#0)中的解码索引值，正确地解码所述预测模式。图8和图9分别示出了用于对当前块的预测模式进行编码和解码的流程图。
实施例2：在该实施例中，利用模式扩展标记而使所提出的三种模式的包含是可选的。若所述标志有效，则与实施例1一样，考虑70个帧内预测模式以用于利用第一参考线的帧内预测，以及进行针对任意目标块的预测模式的编码和解码。否则，与VTM 3.0一样，考虑现有的67个帧内预测模式，并进行关于所述预测模式的编码和解码。所述模式扩展标志可在CU层级或切片层级处设置在PPS或SPS中。
实施例3：在本实施例中，我们包括如实施例1或2中所提出的利用第一参考线的帧内预测的三种模式，但是要与第一参考线一起使用的MPM列表的构造是与先前部分中所描述的方法不同的任何其它方法。例如，如果新模式碰巧是左侧或上方相邻块的预测模式，则我们可以将它们映射到相关联的定向模式。在这种情况下，我们可以使用这些定向模式使用在VTM 3.0中的现有的MPM列表构造方法。因此，将迫使所述新预测模式属于剩余64个模式的列表，因此需要6个比特来进行编码。另一示例是将邻居模式包括在所述MPM列表中(即使其是新模式之一)，并且还包括对应的定向模式以及PLANAR和DC模式。
通过将所提出的预测模式并入VTM 3.0软件中来实施所提出的预测模式。该实施可以如实施例1中那样执行。在编码器侧，首先利用第一参考线对三种预测模式连同PLANAR和DC模式一起进行快速RD通过测试。对于参考线1和3，MPM列表结构保持不变(列表1)，用参考线1和3测试该列表中的模式的RD性能。测试方法的BD-速率性能示于表5中。可观察到，所提出的方法导致亮度BD-速率增益为-0.07％。对于A1类序列(其中所提出的模式由于非常高的帧分辨率而更有可能)，该增益最显著。
Figure BDA0003208407180000211
表5：实施例1与VTM 3.0锚相比的BD-速率性能。
图10示出了使用这里描述的主要方面编码视频数据块的方法1000的一个实施例。该方法开始于起始框1001，并且控制进行到功能框1005，用于确定要用来编码视频数据块的扩展帧内预测模式。控制接着从框1005进行到框1010，以使用所确定的扩展帧内预测模式来预测所述视频数据块的目标像素。根据所确定的扩展帧内预测模式，控制进行到若干预测之一。如果所确定的扩展预测模式是平面水平模式，则控制进行到功能框1012，用于使用左侧相邻行的参考像素和该块的右上方参考像素来水平预测所述目标像素。或者，如果所确定的扩展预测模式是平面垂直模式，则控制进行到功能框1015，用于使用上方相邻行的参考像素和该块左下方的参考像素来垂直预测所述目标像素。或者，如果所确定的扩展预测模式是平面对角模式，则控制进行到功能框1017，以便使用在该块上方和该块右上方的或者该块左侧和该块左下方的参考像素来对角地预测所述目标像素。控制从框1010进行到框1020，以便在扩展帧内译码模式中使用所述预测对所述视频块进行编码。
图11示出了使用这里描述的主要方面解码视频数据块的方法1100的一个实施例。该方法开始于开始框1101，并且控制进行到功能框1105，用于确定要用来解码视频数据块的扩展帧内预测模式。控制接着从框1105进行到框1110以用于使用所确定的扩展帧内预测模式来预测所述视频数据块的目标像素。根据所确定的扩展帧内预测模式，控制进行到若干预测之一。如果所确定的扩展预测模式是平面水平模式，则控制进行到功能框1112，用于使用左侧相邻行的参考像素和该块的右上方参考像素来水平预测所述目标像素。或者，如果所确定的扩展预测模式是平面垂直模式，则控制进行到功能框1115，以便使用上方相邻行的参考像素和该块左下方的参考像素来垂直预测所述目标像素。或者，如果所确定的扩展预测模式是平面对角模式，则控制进行到功能框1117，用于使用在该块上方和该块右上方的或该块左侧和该块左下方的参考像素来对角地预测所述目标像素。控制从框1110进行到框1120，以便在扩展帧内译码模式中使用所述预测对所述视频块进行解码。
图12示出了用于编码或解码视频数据块的装置1200的一个实施例。该装置包括处理器1210，并且可以通过至少一个端口与存储器1220互连。处理器1210和存储器1220两者还可以具有到外部连接的一个或多个附加互连。
处理器1210经配置以使用扩展预测模式对视频数据进行编码或解码，且使用扩展帧内译码模式中的预测对所述视频数据块进行编码或解码。
所描述的主要方面旨在通过引入三个新模式和借助于MPM列表进行帧内模式编码所需的必要改变来改进帧内预测效率。优点是更高的压缩效率而没有太多的附加复杂性。
本申请描述了多个方面，这其中包括工具、特征、实施例、模型、方法等。这些方面中的许多方面被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来受限的方式来描述。然而，这是为了描述清楚的目的，并且不限制那些方面的应用或范围。实际上，所有不同的方面可以组合和互换以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。
本申请中描述和预期的方面可以以许多不同的形式实现。以下图13、14和15提供了一些实施例，但是可以设想其他实施例，并且对图13、14和15的讨论不限制实现的广度。所述方面中的至少一个方面主要涉及视频编码和解码，并且至少一个其它方面主要涉及传送所生成或编码的比特流。这些和其它方面可以被实现为方法、装置、其上存储有用于根据所描述的任何方法来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。
在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧被使用，而“解码”在解码器侧被使用。
本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非所述方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
本申请中描述的各种方法和其它方面可用于修改模块，例如，图13和图14所示的视频编码器100和解码器200的帧内预测、熵译码和/或解码模块(160,360,145,330)。此外，本发明不限于VVC或HEVC，并且可应用于例如其它标准和提案(无论是预先存在的还是将来开发的)以及任何此类标准和提案(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除，本申请中描述的方面可以单独或组合使用。
在本申请中使用各种数值。具体值是出于示例目的，并且所描述的方面不限于这些具体值。
图13示出了编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而没有描述所有预期的变型。
在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用所述颜色分量之一的直方图均衡)。元数据可以与所述预处理相关联，并且被附加到比特流。
在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位分区(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。所述编码器决定(105)使用帧内模式或帧间模式中的哪一者来对所述单元进行编码，并且通过例如预测模式标志来指示所述帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。
然后，对所述预测残差进行变换(125)和量化(130)。对所量化的变换系数以及运动向量和其它语法元素进行熵译码(145)以输出比特流。所述编码器可以跳过所述变换，并直接对未变换的残差信号应用量化。所述编码器可以绕过变换和量化这两者，即，直接对所述残差进行译码而不应用所述变换或量化处理。
所述编码器对编码块进行解码，以提供用于进一步预测的参考。对所量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)所解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于所重构的图片，以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪像。将所滤波的图像存储在参考图片缓冲器(180)中。
图14示出了视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与如图13中所描述的编码过程互逆的解码过程。所述编码器100通常还执行视频解码作为编码视频数据的一部分。
特别地，所述解码器的输入包括视频比特流，其可以由视频编码器100生成。所述比特流首先被熵解码(230)以获得变换系数、运动向量和其它译码信息。图片分区信息指示所述图片如何被分区。所述解码器因此可以根据所解码的图片分区信息来划分(235)所述图片。所述变换系数被解量化(240)和逆变换(250)以解码所述预测残差。将所解码的预测残差与预测块进行组合(255)，重构图像块。所述预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于所重构的图像。将所滤波的图像存储在参考图片缓冲器(280)中。
解码后的图片可以进一步经历解码后处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的所述重新映射过程的逆重新映射。所述解码后处理可以使用在所述预编码处理中导出并且在所述比特流中用信号发送的元数据。
图15示出了其中实现了各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地被实现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，所述系统1000经由例如通信总线或通过专用输入和/或输出端口而被通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，所述系统1000被配置为实现本文中描述的一个或多个方面。
所述系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其它电路。所述系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，这其中包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，所述存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的存储设备和不可拆卸的存储设备)和/或网络可访问的存储设备。
系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供所编码的视频或所解码的视频，并且所述编码器/解码器模块1030可以包括其自己的处理器和存储器。所述编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括所述编码模块和解码模块中的一个或两个。另外，编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。
要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可以在执行本文中描述的过程期间存储各种项中的一者或多者。这些存储的项可以包括但不限于输入视频、所解码的视频或该解码的视频的部分、比特流、矩阵、变量以及来自方程式、公式、运算和运算逻辑的处理的中间或最终结果。
在一些实施例中，所述处理器1010和/或所述编码器/解码器模块1030内的存储器用于存储指令，并且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其它实施例中，所述处理设备(例如，所述处理设备可为所述处理器1010或所述编码器/解码器模块1030)外部的存储器用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动图像专家组，MPEG-2也被称为ISO/IEC13818，并且13818-1也被称为H.222，并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频译码，也被称为H.265和MPEG-H部分2)、或VVC(通用视频译码，由联合视频团队专家JVET开发的新标准)的工作存储器。
如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播者通过空中传输的射频(RF)信号的RF部分，(ii)分量(COMP)输入端子(或一组分量输入端子)，(iii)通用串行总线(USB)输入端子，和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图15中未示出的其它示例包括合成视频。
在各种实施例中，框1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，所述RF部分可以与适合于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到一频带)，(ii)将所选择的信号下变频，(iii)再次将频带限制到较窄频带，以选择(例如，)在某些实施例中可以称为信道的信号频带，(iv)解调所述下变频且频带限制的信号，(v)执行纠错，和(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。所述RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将所接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，所述RF部分及其相关的输入处理元件接收通过有线(例如，电缆)介质发送的RF信号，并通过滤波、下变频和再次滤波来执行到期望频带的频率选择。各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，所述RF部分包括天线。
另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面(例如，,，所罗门纠错)可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，这其中包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件结合操作以根据需要来处理所述数据流以便在输出设备上呈现。
系统1000的各种元件可以设置在集成壳体内。在该集成壳体内，各种元件可以使用合适的连接布置(例如，本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并在其间传输数据。
所述系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。所述通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。所述通信接口1050可以包括但不限于调制解调器或网卡，并且所述通信信道1060可以例如在有线和/或无线介质内实现。
在各种实施例中，使用无线网络(例如，Wi-Fi网络，例如IEEE 802.11(IEEE是指电气和电子工程师协会))，将数据流式传输或以其他方式提供给所述系统1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其它云上通信。其它实施例使用通过输入框1130的HDMI连接来传递数据的机顶盒而向系统1000提供流式传输的数据。还有一些实施例使用输入框1130的RF连接而向所述系统1000提供流式传输的数据。如上所述，各种实施例以非流式传输方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如，蜂窝网络或蓝牙网络。
所述系统1000可以向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施例的显示器1100包含以下中的一者或多者：例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器。所述显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。所述显示器1100还可与其它组件集成(例如，如在智能电话中)，或是单独的(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，所述其它外围设备1120包括以下中的一者或多者：独立数字视频盘(或数字多功能盘)(DVR，针对这两项)、盘播放器、立体声系统和/或照明系统。各种实施例使用一个或多个外围设备1120，其基于系统1000的输出来提供功能。例如，盘播放器执行播放所述系统1000的输出的功能。
在各种实施例中，使用信令(诸如，AV.Link(AV.链路)、消费电子控制(CEC)、或在有或没有用户干预的情况下实现设备到设备控制的其他通信协议)在系统1000和显示器1100、扬声器1110或其它外围设备1120之间传送控制信号。所述输出设备可以经由通过相应接口1070、1080和1090的专用连接而通信地耦合到系统1000。作为替代，所述输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。所述显示器1100和扬声器1110可以与系统1000的其它组件一起集成在电子设备(例如，电视机)中的单个单元中。在各种实施例中，显示接口1070包括显示驱动器，例如定时控制器((T Con)芯片。
例如，如果输入1130的RF部分是单独机顶盒的一部分，则所述显示器1100和扬声器1110可以备选地与其它组件中的一个或多个分离。在所述显示器1100和扬声器1110是外部组件的各种实施例中，所述输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。
这些实施例可以由处理器1010或由硬件实现的计算机软件或由硬件和软件的组合来实现。作为非限制性示例，所述实施例可以由一个或多个集成电路实现。所述存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。所述处理器1010可以是适合于技术环境的任何类型，并且作为非限制性示例，可以包含以下中的一者或多者：微处理器、通用计算机、专用计算机和基于多核架构的处理器。
各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还或替代地包括由本申请中描述的各种实现的解码器执行的过程。
作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是旨在具体地指代操作的子集还是一般地指代更广泛的解码过程，这基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的以便产生编码比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵译码。在各种实施例中，这样的过程还或替代地包括由本申请中描述的各种实现的编码器执行的过程。
作为进一步的示例，在一个实施例中，“编码”仅指熵译码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵译码的组合。短语“编码过程”的旨在具体地指代操作的子集还是一般地指代更广泛的编码过程，这将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。
注意，如本文所使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
各种实施例可能涉及参数模型或速率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。它可以通过速率失真优化(RDO)度量，或者通过最小均方(LMS)、绝对误差均值(MAE)或其它这样的测量来测量。所述速率失真优化通常被公式化为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法来解决速率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，这其中包括所有考虑的模式或译码参数值，且对它们的译码成本和在译码和解码之后的重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任何一种来执行所述优化，但是该优化不一定是对译码成本和相关失真这两者的完整评估。
本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中被讨论(例如，仅作为方法而被讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，这其中包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。
对“一个实施例”或“一实施例”或“一个实现方式”或“一实现方式”以及其它变化形式的提及意味着结合该实施例描述的特定特征、结构、特性等包含于至少一个实施例中。因此，在本申请中的各个地方出现的短语“在一个实施例中”或“在一实施例中”或“在一个实现方式中”或“在一实现方式中”以及任何其他变型的出现不一定都指同一实施例。
另外，本申请可以涉及“确定”各种信息。确定该信息可以包括例如以下一者或多者：估计该信息、计算该信息、预测该信息或从存储器检索该信息。
此外，本申请可以涉及“访问”各种信息。访问该信息可以包括例如以下一者或多者：接收该信息、检索该信息(例如，从存储器检索该信息)、存储该信息、移动该信息、复制该信息、计算该信息、确定该信息、预测该信息或估计该信息。
另外，本申请可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收所述信息可以包括例如以下一者或多者：访问该信息或(例如，从存储器)检索该信息。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”以及“中的至少一者”中的任意者旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)、或者仅选择第二个列出的选项(B)、或者仅选择第三个列出的选项(C)、或者仅选择第一个和第二个列出的选项(A和B)、或者仅选择第一个和第三个列出的选项(A和C)、或者仅选择第二个和第三个列出的选项(B和C)、或者选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。
此外，如本文所使用的，词语“信号”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知多个变换、译码模式或标志中的特定一个。这样，在一实施例中，在编码器侧和解码器侧使用相同的变换、参数或模式。因此，例如，编码器可以向解码器发送(显式地用信号发送)特定参数，使得解码器可以使用该相同的特定参数。相反，如果解码器已经具有所述特定参数以及其它参数，则可以使用信令而不进行发送(隐式地用信号发送)，以简单地允许解码器知道并选择所述特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号发送给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。
如对于本领域普通技术人员将显而易见的，实现方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。所述格式化可以包括例如对数据流进行编码并且利用所编码的数据流对载波进行调制。所述信号携带的信息可以是例如模拟或数字信息。如已知的，所述信号可以通过各种不同的有线或无线链路来传输。所述信号可以存储在处理器可读介质上。
我们描述了可跨各种权利要求类别及类型的多个实施例。这些实施例的特征可以单独提供或以任何组合提供。此外，跨越各种权利要求类别和类型，实施例可以单独或以任意组合包括以下特征、设备或方面中的一者或多者：
·一种利用模式扩展来执行帧内编码和解码的过程或设备。
·一种使用多个参考线利用模式扩展来执行帧内编码和解码的过程或设备。
·一种使用MPM(最可能模式)列表和指示使用哪种模式的可变长度代码来执行具有模式扩展的帧内编码和解码的过程或装置。
·一种用于执行帧内编码和解码的过程或设备，其利用模式扩展和跨越块边界的预测像素的滤波。
·一种用于对矩形块执行具有模式扩展的帧内编码和解码的过程或设备。
·包括所描述的语法元素中的一者或多者或其变型的比特流或信号。
·一种比特流或信号，包括传达根据所描述的任何实施例生成的信息的语法。
·根据所述的任何实施例，创建和/或发送和/或接收和/或解码。
·根据所描述的任何实施例的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
·在所述信令中插入使得所述解码器能够以对应于编码器所使用的方式的方式确定译码模式的语法元素。
·创建和/或发送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。
·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的任何实施例执行变换方法(一个或多个)。
·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其根据所描述的任何实施例执行变换方法(一个或多个)确定，并且显示(例如，使用监视器、屏幕或其他类型的显示器)所得到的图像。
·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其选择、频带限制、或调谐(例如，使用调谐器)信道以接收包括所编码的图像的信号，并且根据所描述的任何实施例执行变换方法(一个或多个)。
·TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其通过空中接收(例如，使用天线)包括所编码的图像的信号，并且执行变换方法(一个或多个)。

Claims (15)

1.一种方法，包括：
确定将用以编码视频数据块的扩展帧内预测模式；
使用所述确定的扩展帧内预测模式，根据与所述块相邻的一个或多个像素来预测所述视频数据块的目标像素，其中所述预测包括：
使用左侧相邻行的参考像素和所述块的右上方参考像素，水平预测所述目标像素，或者
使用上方相邻行的参考像素和所述块的左下方参考像素，垂直预测所述目标像素，或者
使用所述块上方和所述块右上方或所述块左侧和所述块左下方的参考像素，对角地预测所述目标像素；以及
使用所述预测来编码视频数据的视频的所述块。
2.一种装置，包括：
处理器，其被配置为执行：
确定将用以编码视频数据块的扩展帧内预测模式；
使用所述确定的扩展帧内预测模式，根据与所述块相邻的一个或多个像素来预测所述视频数据块的目标像素，其中所述预测包括：
使用左侧相邻行的参考像素和所述块的右上方参考像素，水平预测所述目标像素，或者
使用上方相邻行的参考像素和块的左下方参考像素，垂直预测所述目标像素，或者
使用所述块上方和所述块右上方或所述块左侧和所述块左下方的参考像素，对角地预测所述目标像素；以及
使用所述预测来编码视频数据的视频的所述块。
3.一种方法，包括：
确定将用于解码视频数据块的扩展帧内预测模式；
使用所述确定的扩展帧内预测模式，根据与所述块相邻的一个或多个像素来预测所述视频数据块的目标像素，其中所述预测包括：
使用左侧相邻行的参考像素和所述块的右上方参考像素，水平预测所述目标像素，或者
使用上方相邻行的参考像素和所述块的左下方参考像素，垂直预测所述目标像素，或者
使用所述块上方和所述块右上方或所述块左侧和所述块左下方的参考像素，对角地预测所述目标像素，以及
使用所述预测来解码视频数据的视频的所述块。
4.一种装置，包括：
处理器，其被配置为执行：
确定将用于解码视频数据块的扩展帧内预测模式；
使用所述确定的扩展帧内预测模式，根据与所述块相邻的一个或多个像素来预测所述视频数据块的目标像素，其中所述预测包括：
使用左侧相邻行的参考像素和所述块的右上方参考像素，水平预测所述目标像素，或者
使用上方相邻行的参考像素和所述块的左下方参考像素，垂直预测所述目标像素，或者
使用所述块上方和所述块右上方或所述块左侧和所述块左下方的参考像素，对角地预测所述目标像素，以及
使用所述预测来解码视频数据的视频的所述块。
5.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中所述参考像素是重构像素或估计像素。
6.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，所述水平预测、所述垂直预测和所述对角预测中的至少一个被分配与它们的模式相对应的索引。
7.根据权利要求6所述的方法或设备，其中使用一标志，该标志指示对应于包含在最可能模式列表中的模式的所述预测。
8.根据权利要求1或3所述的方法或者根据权利要求2或4所述的装置，其中，所述预测是根据来自所述块的一个或多个像素的参考像素来进行的。
9.根据权利要求8所述的方法或装置，其中语法指示哪些参考像素用于所述预测。
10.根据权利要求1或3所述的方法，或者根据权利要求2或4所述的装置，其中，预测通过使用所述块周围的第一参考像素线基于速率失真优化而被选择。
11.根据权利要求1或3所述的方法，或根据权利要求2或4所述的装置，其中，根据所使用的预测，在所述块的边界上执行对预测像素的滤波。
12.一种设备，包括：
根据权利要求4至11中任一项所述的装置；以及
以下至少一者：(1)天线，其经配置以接收信号，所述信号包含所述视频块，(ii)频带限制器，其经配置以将所述所接收信号限制到包含所述视频块的频带，及(iii)显示器，其经配置以显示表示视频块的输出。
13.一种非暂时性计算机可读介质，包含根据权利要求1和5至11中任一项所述的方法或者由权利要求2和5至11中任一项所述的装置生成的数据内容，用于使用处理器进行回放。
14.一种包括根据权利要求1和5至11中任一项所述的方法或由权利要求2和5至11中任一项所述的装置生成的视频数据的信号，用于使用处理器进行回放。
15.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求1、3和5至11中任一项所述的方法。
CN202080014007.2A 2019-02-13 2020-02-11 帧内预测模式扩展 Pending CN113424540A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19305177.8 2019-02-13
EP19305177.8A EP3697094A1 (en) 2019-02-13 2019-02-13 Intra prediction mode extension
PCT/US2020/017657 WO2020167763A1 (en) 2019-02-13 2020-02-11 Intra prediction mode extension

Publications (1)

Publication Number Publication Date
CN113424540A true CN113424540A (zh) 2021-09-21

Family

ID=65657403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080014007.2A Pending CN113424540A (zh) 2019-02-13 2020-02-11 帧内预测模式扩展

Country Status (4)

Country Link
US (2) US11870975B2 (zh)
EP (2) EP3697094A1 (zh)
CN (1) CN113424540A (zh)
WO (1) WO2020167763A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240055111A (ko) * 2018-03-30 2024-04-26 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130049526A (ko) 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
WO2016204478A1 (ko) * 2015-06-15 2016-12-22 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102528387B1 (ko) * 2017-01-09 2023-05-03 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018212579A1 (ko) * 2017-05-17 2018-11-22 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3410721A1 (en) * 2017-05-31 2018-12-05 Thomson Licensing Method and apparatus for bi-directional intra prediction in video coding

Also Published As

Publication number Publication date
US11870975B2 (en) 2024-01-09
US20220021871A1 (en) 2022-01-20
US20240163423A1 (en) 2024-05-16
EP3697094A1 (en) 2020-08-19
WO2020167763A1 (en) 2020-08-20
EP3925225A1 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
US11722694B2 (en) Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples
US20220038684A1 (en) Multi-reference line intra prediction and most probable mode
US20220191474A1 (en) Wide angle intra prediction with sub-partitions
CN112970264A (zh) 基于相邻样本相关参数模型的译码模式的简化
CN116195254A (zh) 用于通用视频编码的模板匹配预测
CN112740674A (zh) 使用双预测进行视频编码和解码的方法和装置
CN117597923A (zh) 用于视频编码和解码的利用模板匹配的帧内块复制
CN112771874A (zh) 用于画面编码和解码的方法和设备
US20240163423A1 (en) Intra prediction mode extension
US20210051326A1 (en) Chroma quantization parameter adjustment in video encoding and decoding
EP3644612A1 (en) Method and device for picture encoding and decoding
US20220150485A1 (en) Intra prediction mode partitioning
EP3654645A1 (en) Method and device for picture encoding and decoding
CN112425162A (zh) 宽角帧内预测和位置依赖性帧内预测组合
CN112335240A (zh) 使用可变权重的多参考帧内预测
CN117616750A (zh) 基于模板的帧内模式推导
CN117280684A (zh) 具有可切换内插滤波器的几何分区
CN114930819A (zh) 三角形合并模式中的子块合并候选
TW202106008A (zh) 使用位置相關框內預測組合以編碼及解碼圖像之方法及裝置
CN114097232A (zh) 用于译码/解码图片数据的方法和装置
RU2815092C2 (ru) Широкоугольное внутрикадровое предсказание с подразделами
WO2024074048A1 (en) Encoding/decoding video picture data
CN118120231A (zh) 改善解码器侧帧内模式导出中的角度离散化
WO2023194106A1 (en) Motion information parameters propagation based on intra prediction direction
CN113016181A (zh) 依据块形状适配最可能模式候选的选择

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination