CN113852812B - 使用多条参考线的帧内预测 - Google Patents

Abstract

使用多条参考线的帧内预测。一种视频编解码设备接收包括视频数据的码流。所述设备确定帧内预测模式子集。所述帧内预测模式子集包括与当前图像块的多条参考线相关的帧内预测模式但不包括与所述当前图像块的主参考线相关的帧内预测模式。当第一帧内预测模式包含在所述帧内预测模式子集内时，所述设备通过备选帧内预测模式索引对所述第一帧内预测模式进行解码。当第一帧内预测模式未包含在所述帧内预测模式子集内时，所述设备通过帧内预测模式索引对所述第一帧内预测模式进行解码。所述设备显示视频数据，所述视频数据包括根据所述第一帧内预测模式进行解码的图像块。

Description

使用多条参考线的帧内预测

相关申请案交叉申请

本发明要求2018年5月7日递交的发明名称为“使用多条参考线的帧内预测”的第15/972,870号美国非临时专利申请案的在先申请优先权，该在先申请进而要求2017年5月9日由Shan Liu等人递交的发明名称为“使用多条参考线进行帧内预测的方法和装置”的第62/503,884号美国临时专利申请案以及2017年5月26日由Xiang Ma等人递交的发明名称为“使用多条参考线进行帧内预测的方法和装置”的第62/511,757号美国临时专利申请案的在先申请优先权，这些在先申请的内容以引入的方式并入本文本中。

关于由联邦政府赞助研究或开发的声明

不适用。

参考缩微胶片附录

不适用。

背景技术

即便描绘相对较短的视频，也可能需要大量的视频数据量。因此，当需要在带宽容量有限的通信网络中进行流式数据传输或数据通信，可能会产生难度。因此，在现代电信网络中传送视频数据之前通常会压缩视频数据。由于内存资源可能有限，当在存储设备上存储视频时，视频的大小也可能成为问题。在传输或存储视频数据之前，视频压缩设备经常在信源处使用软件和/或硬件对视频数据进行编码，从而减少表示数字视频图像所需的数据量。然后，对视频数据进行解码的视频解压设备在目的地处接收压缩后数据。在网络资源有限同时对更高视频质量的需求不断增长的情况下，期望出现提高压缩比而几乎不影响图像质量的改进型压缩和解压技术。

发明内容

在一实施例中，本发明包括一种视频编解码设备，包括：接收器，用于接收码流；处理器，耦合到所述接收器并用于：确定帧内预测模式子集，所述帧内预测模式子集包括与当前图像块的多条参考线相关的帧内预测模式但不包括与所述当前图像块的主参考线相关的帧内预测模式；当第一帧内预测模式包含在所述帧内预测模式子集内时，通过备选帧内预测模式索引对所述第一帧内预测模式进行解码；以及当所述第一帧内预测模式未包含在所述帧内预测模式子集内时，通过帧内预测模式索引对所述第一帧内预测模式进行解码；以及显示器，耦合到所述处理器，所述显示器用来显示视频数据，所述视频数据包括根据所述第一帧内预测模式进行解码的图像块。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述处理器还用于：当所述第一帧内预测模式包含在所述帧内预测模式子集内时，对参考线索引进行解码，所述参考线索引指示所述第一帧内预测模式下的所述多条参考线中的第一参考线；以及当所述第一帧内预测模式未包含在所述帧内预测模式子集内时，没有参考线索引进行解码。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述参考线索引放置在所述码流中的所述第一帧内预测模式之后。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述帧内预测模式子集包括起始定向帧内预测模式(starting directional intra-prediction mode，DirS)、结束定向帧内预测模式(ending directional intra-prediction mode，DirE)以及DirS与DirE之间的每N个定向帧内预测模式，其中N是预定的整数值。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述帧内预测模式子集还包括平面预测模式和直流(Direct Current，DC)预测模式。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述帧内预测模式子集包括起始定向帧内预测模式(starting directional intra-prediction mode，DirS)、结束定向帧内预测模式(ending directional intra-prediction mode，DirE)、中间定向帧内预测模式(middle directional intra-prediction mode，DirD)、水平定向帧内预测模式(horizontal directional intra-prediction mode，DirH)、垂直定向帧内预测模式(vertical directional intra-prediction mode，DirV)，以及在DirS、DirE、DirD、DirH和DirV加减N的方向上的有效定向帧内预测模式(valid directional intra-predictionmode，DirV)，其中N是预定的整数值。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述帧内预测模式子集还包括平面预测模式和直流(Direct Current，DC)预测模式。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述帧内预测模式子集包括为已解码相邻块选择的帧内预测模式，所述已解码相邻块与所述当前图像块的位置存在预定邻接。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述帧内预测模式子集包括与所述当前图像块的最可能模式(most probable mode，MPM)列表关联的模式。

在一实施例中，本发明包括一种方法，包括：将包括编码为预测块的图像块的码流存储在存储器中；由耦合到所述存储器的处理器获取通过直流(Direct Current，DC)帧内预测模式进行编码的当前预测块；确定DC预测值，以通过对与当前预测块关联的多条参考线中的至少两条的所有参考样本进行平均来大致估计对应于所述当前预测块的当前图像块；所述处理器根据所述DC预测值来重构所述当前图像块；以及在显示器上显示包括所述当前图像块的视频帧。

可选的，在任一前述方面中，所述方面的另一实现方式提供，确定所述DC预测值包括对邻近所述当前预测块的N条参考线中的所有参考样本进行平均，其中N是预定的整数。

可选的，在任一前述方面中，所述方面的另一实现方式提供，确定所述DC预测值包括确定已选参考线和对应的参考线中的所有参考样本的平均值。

可选的，在任一前述方面中，所述方面的另一实现方式提供，确定所述DC预测值包括确定邻近参考线和已选参考线中的所有参考样本的平均值。

在一实施例中，本发明包括一种非瞬时性计算机可读介质，包括供视频编解码设备使用的计算机程序产品，所述计算机程序产品包括所述非瞬时性计算机可读介质上存储的计算机可执行指令，当所述计算机可执行指令由处理器执行时，使得所述视频编解码设备执行以下操作：通过接收器接收码流；所述处理器对来自所述码流中的帧内预测模式进行解码，所述帧内预测模式指示当前块与已选参考线之间的关系，所述当前块与包括所述已选参考线的多条参考线关联；所述处理器根据已选码字对所述已选参考线进行解码，所述已选码字指示所述已选参考线，所述已选码字的长度取决于所述已选参考线的选择概率；以及在显示器上显示视频数据，所述视频数据包括根据所述帧内预测模式和所述已选参考线进行解码的图像块。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述多条参考线由多个码字指示，离所述当前块最远的参考线由长度第二短的码字指示。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述多条参考线由多个码字指示，离所述当前块第二远的参考线由长度第二短的码字指示。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述多条参考线由多个码字指示，除邻近参考线之外的预定义参考线由长度第二短的码字指示。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述多条参考线由多个码字指示，所述多个码字存储在A类组和B类组中，所述A类组包括的码字的长度比所述B类组包括的码字的长度短。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述多条参考线包括参考行和参考列，针对所述当前块存储的参考行的数量是针对所述当前块存储的参考列的数量的一半。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述多条参考线包括参考行和参考列，针对所述当前块存储的参考行的数量等于针对所述当前块存储的参考列的数量减一。

可选的，在任一前述方面中，所述方面的另一实现方式提供，所述多条参考线包括参考行，根据去块滤波器操作所使用的参考行数量来选择针对所述当前块存储的参考行的数量。

为了清晰起见，前述实施例中任一个可以与其它前述实施例中的任一个或多个进行组合，产生属于本发明范围内的新实施例。

结合附图和权利要求书可以从以下的详细描述中更清楚地理解这些和其它特征。

附图说明

为了更透彻地理解本发明，现参阅结合附图和具体实施方式而描述的以下简要说明，其中的相同参考标号表示相同部件。

图1为示例性视频信号编解码方法的流程图。

图2为用于视频编解码的示例性编码和解码(编解码)系统的示意图。

图3示出了可以实现帧内预测的示例性视频编码器的方框图。

图4示出了可以实现帧内预测的示例性视频解码器的方框图。

图5示出了在视频编解码中使用的示例性帧内预测模式的示意图。

图6示出了视频编解码中各块的示例性定向关系的示意图。

图7示出了使用帧内预测对块进行编解码的示例性主参考线方案的示意图。

图8示出了使用帧内预测对块进行编解码的示例性备选参考线方案的示意图。

图9示出了示例性帧内预测模式子集的示意图。

图10示出了视频编解码码流中的备选参考线的示例性条件性指示表示法的示意图。

图11示出了视频编解码码流中的主参考线的示例性条件性指示表示法的示意图。

图12示出了使用备选参考线的DC模式帧内预测的示例性机制的示意图。

图13为使用码字对备选参考线进行编解码的示例性机制的示意图。

图14为对具有不同数量的行和列的备选参考线进行编解码的示例性机制的示意图。

图15为对具有不同数量的行和列的备选参考线进行编解码的另一示例性机制的示意图。

图16为示例性视频编解码设备的示意图。

图17为通过使用备选参考线的帧内预测模式子集进行的示例性视频编解码方法的流程图。

图18为通过使用备选参考线的DC帧内预测模式进行的示例性视频编解码方法的流程图。

图19为使用参考线进行的示例性视频编解码方法的流程图，其中根据选择概率通过码字对参考线进行编码。

具体实施方式

首先应理解，尽管下文提供一项或多项实施例的说明性实施方式，但所公开的系统和/或方法可以使用任何数量的技术来实现，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施方式、附图和技术，包括本文所说明并描述的示例性设计和实施方式，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。

在视频编解码过程中联合使用多种方案对视频数据进行压缩。例如，将视频序列划分为图像帧，然后，将图像帧进行分区得到图像块，接着，可以通过帧间预测(不同帧中各块之间的相互关系)或帧内预测(同一帧中各块之间的相互关系)对图像块进行压缩。在帧内预测中，基于包含样本的参考线预测当前图像块。参考线包括来自邻近图像块的样本，邻近图像块还称为相邻块。通过最近的亮度(光线)值或色度(颜色)值将来自当前块的样本与来自参考线的样本进行匹配。将当前块编码为指示匹配样本的预测模式。预测模式包括角预测模式、直流(direct current，DC)模式和平面模式。将通过预测模式进行预测的值与实际值之间的差值编码为残差块中的残差值。多条参考线的使用可以提高匹配。匹配提高使得残差值减小，因此压缩效果更好。但是参考线数目的增加会使唯一标识匹配参考线所需的比特(二进制值)数目增加。如果不需要多条参考线来确定最佳匹配，则与标识多条参考线相关联的指示开销的增加会超过通常与多条参考线相关联的压缩增益，从而导致整体的码流文件大小增加。这种情况导致编解码效率降低。

本文公开了支持视频编解码过程的机制，减少了有关以多条参考线为基础的帧内预测的指示开销，因此提高了视频编解码系统中的压缩效果。例如，公开了一种用于创建帧内预测模式子集的机制。允许所有帧内预测模式能够使用包含多条参考线的一个完整集合可能会导致指示开销增加，从而导致最终编码的文件大小较大。因此，帧内预测模式子集包含能够使用备选参考线的帧内预测模式的子集，帧内预测模式子集之外的模式仅限于使用主参考线。本文使用的主参考线是指位置最靠近(例如紧邻)当前块的参考线。备选参考线包括主参考线以及位置比主参考线离当前块更远的一组参考线。编码器在备选参考线有益时可以采用帧内预测模式子集内的模式，在主参考线足够时可以采用帧内预测模式子集之外的模式。由于帧内预测模式子集之外的模式仅限于使用主参考线，所以对于帧内预测模式子集内不包含的帧内预测模式，可以忽略参考线索引。这可以通过对帧内预测模式信息之后的参考线索引进行编码来实现。当帧内预测模式信息指示帧内预测模式未包含在帧内预测模式子集内时，解码器可以根据上下文获知不包括任何参考线索引。帧内预测模式子集内包含的帧内预测模式可以预定(例如存储在表格中和/或进行硬编码)和/或根据上下文基于相邻块帧内预测模式子集进行推断，等等。在一些情况下，可以选择帧内预测模式子集来包括与最可能模式(most probable mode，MPM)列表相关联的模式。这使得最常选的模式能够使用备选参考线。此外，可以根据帧内预测模式子集索引来指示帧内预测模式子集内的帧内预测模式。由于帧内预测模式子集包含的预测模式比完整的帧内预测模式集合包含的预测模式少，所以通常可以使用较少的比特来指示帧内预测模式子集索引。本发明还公开了对DC帧内预测模式的扩展。所公开的DC帧内预测模式可以实现根据备选参考线来确定DC预测值。本发明还公开了一种压缩指示特定参考线的码字大小的机制。在这种机制中，根据选择概率而不是根据与当前图像样本的距离，将参考线编入索引。例如，最有可能被选择的参考线获得最短索引，而最不可能被选择的参考线获得最长索引。这在大多数情况下会导致参考线索引的编码较小。参考线索引对应的码字可以提前确定并且统一使用(例如存储在表格中和/或进行硬编码)。此外，相比于存储参考线列，特定硬件设计需要更多的内存来存储参考线行。因此，本文公开了一种机制，支持在对图像样本进行编解码时存储比参考列少的参考行，从而支持在编解码过程中降低内存需求。

图1为示例性视频信号编解码方法100的流程图。具体地，在编码器处对视频信号进行编码。编码过程通过使用各种机制来压缩视频信号，以减小视频文件大小。压缩后的视频文件的大小较小，可使得文件直接传输给用户，同时降低关联带宽开销。然后，解码器对压缩后视频文件进行解码，以重构原始视频信号，从而显示给终端用户。解码过程通常是编码过程的镜像，以便解码器能够原原本本地重构视频信号。

在步骤101处，将视频信号输入到编码器中。例如，视频信号可以是存储在存储器中的未压缩视频文件。再例如，视频文件可以由摄像机等视频捕获设备捕获，然后进行编码以支持视频的实时流式传输。视频文件可以包括音频分量和视频分量。视频分量包含一系列图像帧，当按顺序查看时，这些图像帧会产生运动的视觉效果。这些帧包含用光表示的像素，本文称为亮度分量，以及用颜色表示的像素，称为色度分量。在一些示例中，这些帧还可以包含深度值，以便支持三维查看。

在步骤103处，将视频分区成块。分区包括将每个帧中的像素细分为方形和/或矩形块以进行压缩。例如，可以使用编码树对块进行划分，然后重复地对块进行细分，直到实现支持进一步编码的配置。这样，这些块在高效视频编码(High Efficiency VideoCoding，HEVC)(也称为H.265和MPEG-H第2部分)中可以称为编码树单元。例如，可以细分帧的亮度分量，直到各个块都包含相对均匀的亮度值。此外，可以细分帧的色度分量，直到各个块都包含相对均匀的色度值。因此，分区机制根据视频帧的内容而定。

在步骤105处，使用各种压缩机制来压缩在步骤103处进行分区的图像块。例如，可以使用帧间预测和/或帧内预测。帧间预测的目的是利用以下事实：普通场景中的对象倾向于出现在连续的帧中。因此，参考帧中描绘对象的块不需要在后续帧中重复描述。具体地，表格等对象在多个帧中的位置可以保持恒定。因此，表格只需要描述一次，后续帧可以再次参考该参考帧。可以使用图案匹配机制在多个帧中匹配对象。此外，由于对象移动或相机移动等原因，移动对象可以出现在多个帧中。在一个特定示例中，视频中可能会通过多个帧显示一辆汽车移动通过屏幕。可以使用运动向量来描述这种移动。运动向量是一个二维向量，提供了从某帧内对象的坐标到参考帧内该对象的坐标的偏移。这样，帧间预测可以将当前帧中的图像块编码为一组运动向量，该组运动向量指示与参考帧内对应块的偏移。

帧内预测对公共帧中的块进行编码。帧内预测利用以下事实：亮度分量和色度分量倾向于聚集在某个帧内。例如，树的某部分的一片绿色区域的位置往往邻近相似几片绿色区域。帧内预测使用多个定向预测模式(例如在HEVC中是33个)、平面模式和DC模式。定向模式是指在对应方向上，当前块与相邻块的样本相似/相同。平面模式是指可以基于某行/列(例如平面)边缘处的相邻块内插该行中的一系列块。实际上，平面模式通过使用变化值的相对恒定斜率指示某行/列中光/颜色的平滑转变。DC模式用于边界平滑，是指块与某一平均值相似/相同，该平均值关联于与定向预测模式中的角方向相关联的所有相邻块的样本。因此，帧内预测块可以将图像块表示为各种有关系预测模式值而非实际值。此外，帧间预测块也可以将图像块表示为运动向量值而非实际值。在任一情况下，预测块在一些情况下可能不会准确表示图像块。将任何差异都会存储到残差块中。可以对残差块进行变换，以进一步压缩文件。

在步骤107处，可以应用各种滤波技术。在HEVC中，根据环内滤波方案应用滤波器。上文论述的基于块的预测可能会在解码器处产生块状图像。此外，基于块的预测方案可以对块进行编码，然后重构已编码块以便稍后用作参考块。环内滤波方案迭代地采用噪音抑制滤波器、去块滤波器、自适应环路滤波器和样本自适应偏移(sample adaptive offset，SAO)滤波器对块/帧进行滤波。这些滤波器可以减少这些成块伪影，从而可以准确地重构已编码文件。此外，这些滤波器减少了已重构参考块中的伪影，使得伪影不大可能在后续块中产生额外的伪影，其中基于已重构参考块对后续块进行编码。

对视频数据进行分区、压缩和滤波之后，在步骤109处将所得数据编码到码流中。码流包括上文论述的数据以及任何需要支持在解码器处对视频信号进行适当重构的指示数据。例如，这种数据可以包括分区数据、预测数据、残差块以及向解码器提供编码指令的各种标志。可以将码流存储到存储器中，以便根据请求传输给解码器。也可以向多个解码器广播和/或组播码流。码流的创建是一个迭代过程。因此，步骤101、步骤103、步骤105、步骤107和步骤109可以在许多帧和块中连续和/或同时发生。如图1所示的顺序是为了清晰且易于论述，并不旨在将视频编解码过程限于特定顺序。

在步骤111处，解码器接收码流并开始解码过程。具体地，解码器使用熵解码方案将码流转换为对应的语法数据和视频数据。在步骤111处，解码器使用码流中的语法数据来确定帧的分区。该分区可能匹配步骤103处的块分区结果。现在描述步骤111中使用的熵编码/解码。编码器在压缩过程中会做出许多选择，例如根据输入图像中值的空间位置从几种可能的选择中选择块分区方案。指示确切的选择可能会使用大量的bin。本文使用的bin是一个视为变量的二进制值(例如，可能会根据上下文而变化的比特值)。通过熵编码，编码器可以丢弃特定情况下显然不可行的任何选择，只留下一组可允许选项。然后，为每个可允许选项分配码字。码字的长度取决于可允许选项的数量(例如，两个选项用一个bin，三到四个选项用两个bin，等等)。编码器然后对已选选项所使用的码字进行编码。该方案减小了码字的大小，这是因为码字与期望的一样大，以便唯一地指示从小的可允许选项子集内做出选择，而不是唯一地指示可能从一大组的所有可能选项中做出选择。然后，解码器按照与编码器类似的方式确定一组可允许选项，对该选择进行解码。通过确定一组可允许选项，解码器可以读取码字并确定编码器做出的选择。

在步骤113处，解码器执行块解码。具体地，解码器使用逆变换器来生成残差块。然后，解码器根据分区使用残差块和对应的预测块来重构图像块。预测块可以包括在步骤105处在编码器处生成的帧内预测块和帧间预测块。然后，根据在步骤111处确定的分区数据将已重构图像块放置在已重构视频信号的帧中。还可以通过如上所述的熵编码在码流中指示步骤113中所使用的语法。

在步骤115处，在编码器处以类似于步骤107的方式对包括已重构视频信号的帧进行滤波。例如，可以使用噪音抑制滤波器、去块滤波器、自适应环路滤波器和SAO滤波器对帧进行滤波以去除成块伪影。对帧进行滤波之后，在步骤117处，可以将视频信号输出给显示器，以供终端用户查看。图2为用于视频编解码的示例性编码和解码(编解码)系统200的示意图。具体地，编解码系统200提供支持实现方法100的功能。强编码器系统200概化为描绘编码器和解码器中均使用的组件。如方法100中的步骤101和步骤103所述，编解码系统200接收视频信号并对其分区，从而产生分区后的视频信号201。如参照方法100中的步骤105、步骤107和步骤109所述，编解码系统200在用作编码器时将分区后的视频信号201压缩到已编码码流中。如参照方法100中的步骤111、步骤113、步骤115和步骤117所述，编解码系统200在用作解码器时从码流中生成输出视频信号。编解码系统200包括通用编码器控制组件211、变换缩放和量化组件213、图像内估计组件215、图像内预测组件217、运动补偿组件219、运动估计组件221、缩放和逆变换组件229、滤波器控制分析组件227、环内滤波器组件225、已解码图像缓冲区组件223、帧头格式化和基于上下文的自适应二进制算术编码(Context adaptive binary arithmetic coding，CABAC)组件231。这些组件如图所示进行耦合。在图2中，黑线表示待编码/待解码数据的移动，而虚线表示控制其它组件操作的控制数据的移动。编解码系统200中的组件可全部存在于编码器中。解码器可以包括编解码系统200中的组件的子集。例如，解码器可以包括图像内预测组件217、运动补偿组件219、缩放和逆变换组件229、环内滤波器组件225和已解码图像缓冲区组件223。现在对这些组件进行描述。

分区后的视频信号201是一个捕获的视频流，该视频流已通过编码树分区成像素块。编码树使用各种划分模式将像素块细分为较小的像素块。然后，这些块可以进一步细分为更小的块。这些块可以称为编码树上的节点。较大的父节点被分成较小的子节点。节点被细分的次数称为节点/编码树的深度。在一些情况下，划分后的块称为编码单元(codingunit，CU)。划分模式可以包括二叉树(binary tree，BT)、三叉树(triple tree、TT)和四叉树(quad tree，QT)，用于根据所使用的划分模式将一个节点分别分成两个、三个或四个不同形状的子节点。将分区后的视频信号201转发给通用编码器控制组件211、变换缩放和量化组件213、图像内估计组件215、滤波器控制分析组件227和运动估计组件221以进行压缩。

通用编码器控制组件211用于根据应用限制条件做出与以下内容相关的决策：将视频序列中的图像编码到码流中。例如，通用编码器控制组件211管理比特率/码流大小与重构质量的优化。可以根据存储空间/带宽可用性和图像分辨率请求来做出这些决定。通用编码器控制组件211还根据传输速度来管理缓冲区使用率，以缓解缓冲区欠载和过载问题。为了管理这些问题，通用编码器控制组件211管理由其它组件进行的分区、预测和滤波。例如，通用编码器控制组件211可以动态地增加压缩复杂度以增加分辨率和带宽使用率，或者降低压缩复杂度以降低分辨率和带宽使用率。因此，通用编码器控制组件211控制编解码系统200中的其它组件，以平衡视频信号重构质量和比特率的关系。通用编码器控制组件211创建控制其它组件操作的控制数据。还将控制数据转发给帧头格式化和CABAC组件231，以编码到码流中，从而指示用于在解码器处进行解码的参数。

还将分区后的视频信号201发送到运动估计组件221和运动补偿组件219以进行帧间预测。可以将分区后的视频信号201中的某个帧或分片划分为多个视频块。运动估计组件221和运动补偿组件219对接收视频块进行帧间预测编码以提供时间预测，该接收视频块相对于一个或多个参考帧中的一个或多个块。编解码系统200可以执行多个编码过程，以便为视频数据中的每个块选择适当的编码模式，等等。

运动估计组件221和运动补偿组件219可以是高度集成的，但是出于概念目的而分别示出。由运动估计组件221执行的运动估计是一种生成运动向量的过程，其中运动向量估计视频块的运动。例如，运动向量可以指示视频块中的预测单元(prediction unit，PU)相对于参考帧内的预测块(或其它编码单元)，其中参考帧内的预测块相对于当前帧内正在进行编码的当前块(或其它编码单元)。预测块是根据像素差发现与待编码块紧密匹配的块，像素差可以通过绝对差和(sum of absolute difference，SAD)、平方差和(sum of squaredifference，SSD)或其它差异度量值来确定。在一些示例中，编解码系统200可以计算存储在已解码图像缓冲区223中的参考图像的非整数像素位置的值。例如，视频编解码系统200可以内插参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计组件221可以执行针对全像素位置和分数像素位置的运动搜索，并输出具有分数像素精度的运动向量。运动估计组件221通过将PU的位置与参考图像中的预测块的位置进行比较来计算已经进行帧间编码的分片中视频块的PU的运动向量。运动估计组件221将计算得到的运动向量作为运动数据输出给帧头格式化和CABAC组件231以进行编码，以及作为运动数据输出给运动补偿组件219。

运动补偿组件219执行的运动补偿可能涉及根据运动估计组件221确定的运动向量来提取或生成预测块。同样，在一些示例中，运动估计组件221和运动补偿组件219可以在功能上集成。在接收到当前视频块的PU的运动向量之后，运动补偿组件219可以定位参考图像列表中运动向量所对应的预测块。然后，通过将正在编码的当前视频块的像素值减去预测块的像素值形成残差视频块，从而形成像素差值。一般而言，运动估计组件221执行与亮度分量相关的运动估计，运动补偿组件219对色度分量和亮度分量使用根据亮度分量计算得到的运动向量。将预测块和残差块转发给变换缩放和量化组件213。

还将分区后的视频信号201发送给图像内估计组件215和图像内预测组件217。与运动估计组件221和运动补偿组件219一样，图像内估计组件215和图像内预测组件217也可以是高度集成的，但是出于概念目的而分别示出。作为如上所述的运动估计组件221和运动补偿组件219在帧间执行的帧间预测的替代方案，图像内估计组件215和图像内预测组件217根据当前帧中的块对当前块进行帧内预测。具体而言，图像内估计组件215确定用于对当前块进行编码的帧内预测模式。在一些示例中，图像内估计组件215从多个已测试帧内预测模式中选择适当的帧内预测模式对当前块进行编码。然后，将已选帧内预测模式转发给帧头格式化和CABAC组件231以进行编码。例如，图像内估计组件215使用速率-失真分析来计算各种已测试帧内预测模式的速率-失真值，并从测试模式中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析通常会确定已编码块与原始未编码块之间的失真(或误差)量以及会确定用于产生已编码块的比特率(例如比特数量)，其中对原始未编码块进行编码后产生该已编码块。图像内估计组件215根据各种已编码块的失真和速率来计算比值，以确定哪种帧内预测模式显示该块最佳速率-失真值。另外，图像内估计组件215可以用于根据速率-失真优化(rate-distortion optimization，RDO)使用深度建模模式(depthmodeling mode，DMM)对深度图中的深度块进行编码。

图像内预测组件217在编码器上实现时可以根据图像内估计组件215确定的已选帧内预测模式从预测块中生成残差块，或者在解码器上实现时从码流中读取残差块。残差块包括预测块与原始块之间值的差，其中该差用矩阵表示。然后，将残差块转发给变换缩放和量化组件213。图像内估计组件215和图像内预测组件217可以对亮度分量和色度分量两者进行操作。

变换缩放和量化组件213用于进一步压缩残差块。变换缩放和量化组件213对残差块进行离散余弦变换(discrete cosine transform，DCT)、离散正弦变换(discrete sinetransform，DST)或概念上类似的变换等变换，从而产生包括残差变换系数值的视频块。也可以使用小波变换、整数变换、子带变换或其它类型的变换。通过变换，可以将残差信息从像素值域转换到频域等变换域。变换缩放和量化组件213还用于根据频率等对已变换残差信息进行缩放。这种缩放涉及对残差信息应用缩放因子，从而用不同粒度来量化不同频率信息，这可能会影响已重构视频的最终视觉质量。变换缩放和量化组件213还用于量化变换系数以进一步降低比特率。量化过程可以减小与一些或全部系数相关联的比特深度。量化的程度可以通过调整量化参数来修改。在一些示例中，变换缩放和量化组件213然后对包括已量化变换系数的矩阵进行扫描。将已量化变换系数转发给帧头格式化和CABAC组件231以编码到码流中。

缩放和逆变换组件229应用变换缩放和量化组件213的逆操作来支持运动估计。缩放和逆变换组件229应用逆缩放、变换和/或量化来重构像素域中的残差块，以便稍后用作参考块，等等，该参考块可能会是另一当前块的预测块。运动估计组件221和/或运动补偿组件219可以通过将残差块回添到对应的预测块来计算参考块，该对应的预测块用于后续块/帧的运动估计。使用滤波器对重构参考块进行滤波，以减少缩放、量化和变换过程中产生的伪影。在预测后续块时，这些伪影可能会导致预测不准确(并产生额外的伪影)。

滤波器控制分析组件227和环内滤波器组件225使用滤波器对残差块和/或已重构图像块进行滤波。例如，可以将来自缩放和逆变换组件229的已变换残差块与来自图像内预测组件217和/或运动补偿组件219的对应预测块进行组合，以重构原始图像块。然后，使用滤波器对已重构图像块进行滤波。在一些示例中，可以使用滤波器对残差块进行滤波。与图2中的其它组件一样，滤波器控制分析组件227和环内滤波器组件225是高度集成的，可以一起实现，但是出于概念目的而分别描述。使用对已重构参考块进行滤波的滤波器对特定空间区域进行滤波，这些滤波器包括用于调整如何使用这些滤波器的多个参数。滤波器控制分析组件227分析已重构参考块以确定在何处使用这些滤波器，并设置对应的参数。将这些数据作为滤波器控制数据转发给帧头格式化和CABAC组件231以进行编码。环内滤波器组件225根据滤波器控制数据使用这些滤波器。这些滤波器可以包括去块滤波器、噪音抑制滤波器、SAO滤波器和自适应环路滤波器。可以根据示例将这些滤波器应用于空域/像素域(例如，已重构像素块)或频域。

当作为编码器运行时，将滤波后的已重构图像块、残差块和/或预测块存储在已解码图像缓冲区223中，以供稍后在如上所述的运动估计中使用。当作为解码器运行时，已解码图像缓冲区223存储滤波后的已重构块，并将其作为输出视频信号的一部分转发给显示器。已解码图像缓冲区223可以是能够存储预测块、残差块和/或已重构图像块的任何存储设备。

帧头格式化和CABAC组件231从编解码系统200中的各种组件接收数据，并将这些数据编码到已编码码流中以便传输给解码器。具体地，帧头格式化和CABAC组件231生成各种帧头来对通用控制数据和滤波器控制数据等控制数据进行编码。此外，将包括帧内预测和运动数据的预测数据以及已量化变换系数数据形式的残差数据都编码到码流中。最终的码流包括解码器重构原始分区后的视频信号201所需的所有信息。这些信息还可以包括帧内预测模式索引表(还称为码字映射表)、各种块的编码上下文的定义、最有可能的帧内预测模式的指示、分区信息的指示，等等。这些数据可以使用熵编码进行编码。例如，可以通过使用基于上下文的自适应变长编码(context adaptive variable length coding，CAVLC)、CABAC、基于语法的基于上下文的自适应二进制算术编码(syntax-based context-adaptive binary arithmetic coding，SBAC)、概率区间分区熵(probability intervalpartitioning entropy，PIPE)编码或其它熵编码技术对这些信息进行编码。在熵编码之后，可以将已编码码流传输给另一设备(例如视频解码器)或存档以供稍后的传输或检索。

图3为示出了可以实现帧内预测的示例性视频编码器300的框图。视频编码器300可以用于实现编解码系统200的编码功能和/或实现方法100中的步骤101、步骤103、步骤105、步骤107和/或步骤109。视频编码器300对输入视频信号进行分区，得到与分区后的视频信号201基本相似的分区后的视频信号301。然后，编码器300中的组件压缩分区后的视频信号301，并将其编码到码流中。

具体地，将分区后的视频信号301转发给图像内预测组件317以进行帧间预测。图像内预测组件317与图像内估计组件215和图像内预测组件217可以基本相似。还将分区后的视频信号301转发给运动补偿组件321，以根据已解码图像缓冲区323中的参考块进行帧间预测。运动补偿组件321与运动估计组件221和运动补偿组件219可以基本相似。将来自图像内预测组件317和运动补偿组件321的预测块和残差块转发给变换和量化组件313，以对残差块进行变换和量化。变换和量化组件313与变换缩放和量化组件213可以基本相似。将已变换和已量化残差块和对应的预测块(连同相关联的控制数据)转发给熵编码组件331，以编码到码流中。熵编码组件331与帧头格式化和CABAC组件231可以基本相似。

还将已变换和已量化残差块和/或对应的预测块从变换和量化组件313转发给逆变换和量化组件329，以重构为参考块供运动补偿组件321使用。逆变换和量化组件329与缩放和逆变换组件229可以基本相似。根据示例，还可以使用环内滤波器组件325中的环内滤波器对残差块和/或已重构参考块进行滤波。环内滤波器组件325与滤波器控制分析组件227和环内滤波器组件225可以基本相似。环内滤波器组件325可以包括多个滤波器，例如噪音抑制滤波器、去块滤波器、SAO滤波器和/或自适应环路滤波器。然后，将滤波后的块存储在已解码图像缓冲区323中，以供运动补偿组件321用作参考块。已解码图像缓冲区323与已解码图像缓冲区223可以基本相似。

如下文所述，图像内预测组件317可以通过选择使用与相邻块相关联的备选参考线的帧内预测模式来执行帧内预测。为了降低指示开销，图像内预测组件317可以确定包含能够使用备选参考线的帧内预测模式的子集的帧内预测模式子集。帧内预测模式子集之外的模式能够使用主参考线。然后，图像内预测组件317可以选择使用备选参考线的帧内预测模式来获得最佳匹配，或者选择使用主参考线的帧内预测模式来实现更低的指示开销。图像内预测组件317还可以使用各种其它机制，使得在使用备选参考线时提高编解码效率，如下文所述。

图4为示出了可以实现帧内预测的示例性视频解码器400的框图。视频解码器400可以用于实现编解码系统200的解码功能和/或实现方法100中的步骤111、步骤113、步骤115和/或步骤117。解码器400从编码器300等接收码流，并根据码流生成已重构输出视频信号，以显示给终端用户。

码流由熵解码组件433接收。熵解码组件433执行熵编码组件331的逆功能。熵解码组件433用于实现熵解码方案，例如CAVLC、CABAC、SBAC、PIPE编码或其它熵编码技术。例如，熵解码组件433可以使用帧头信息来提供上下文，以解析码流中编码为码字的额外数据。已解码信息包括对视频信号进行解码所需的任何信息，例如通用控制数据、滤波器控制数据、分区信息、运动数据、预测数据和来自残差块的已量化变换系数。将已量化变换系数转发给逆变换和量化组件429，以重构为残差块。逆变换和量化组件429与逆变换和量化组件329可以基本相似。

将已重构残差块和/或预测块转发给图像内预测组件417，以基于帧内预测操作重构为图像块。图像内预测组件417与图像内预测组件317基本相似，但是操作相反。具体地，图像内预测组件417使用预测模式来定位帧内的参考块，并将残差块应用于上述结果以重构经帧内预测的图像块。通过环内滤波器组件425将已重构的经帧内预测的图像块和/或残差块和对应的帧间预测数据转发给已解码图像缓冲区组件423，环内滤波器组件425和已解码图像缓冲区组件423分别与环内滤波器组件325和已解码图像缓冲区组件323基本相似。环内滤波器组件425对已重构的图像块、残差块和/或预测块进行滤波，这些信息存储在已解码图像缓冲区组件423中。将来自已解码图像缓冲区组件423的已重构图像块转发给运动补偿组件421，以进行帧间预测。运动补偿组件421与运动补偿组件321可以基本相似，但是操作可以相反。具体地，运动补偿组件421使用来自参考块的运动向量来生成预测块，并将残差块应用于上述结果以重构图像块。还可以将所得到的已重构块通过环内滤波器组件425转发给已解码图像缓冲区组件423。已解码图像缓冲区组件423继续存储其它重构图像块，这些图像块可以通过分区信息重构为帧。这些帧也可以放置在序列中。将该序列作为重构输出视频信号输出给显示器。

与图像内预测组件317一样，图像内预测组件417根据使用备选参考线的帧内预测模式来执行帧内预测。具体地，图像内预测组件417知道分配给帧内预测模式子集的模式。例如，根据示例，帧内预测模式子集可以对应于确定的MPM列表、可以在存储器中预定义和/或根据相邻块的帧内预测模式来确定。这样，在当前块的帧内预测模式在帧内预测模式子集内时，图像内预测组件417可以从码流中获取参考线索引。否则，图像内预测组件417可以推断性地确定编码器打算使用主参考线。图像内预测组件417还可以使用各种其它机制，以便在使用备选参考线时提高编解码效率提高，如下文所述。

图5为示出了在视频编解码中使用的示例性帧内预测模式500的示意图。例如，方法100中的步骤105和步骤113、编解码系统200中的图像内估计组件215和图像内预测组件217、编码器300中的图像内预测组件317和/或解码器400中的图像内预测组件417可以使用帧内预测模式500。具体地，可以使用帧内预测模式500将图像块压缩为预测块，该预测块包含已选预测模式和剩余的残差块。

如上所述，帧内预测涉及将当前图像块匹配到对应一个或多个相邻块的一个或多个样本。这时，可以将当前图像块表示为已选预测模式索引和残差块，该残差块比表示当前图像块中包含的所有亮度/色度值的残差块小得多。如果没有可用参考帧或者如果当前块或帧不进行帧间预测编码，可以使用帧内预测。可以从相同帧中的先前已编码(或已重构)的相邻块中获取帧内预测使用的参考样本。高级视频编码(Advanced Video Coding，AVC)，称为H.264，与H.265/HEVC均将包含邻近块的边界样本的参考线用作帧内预测使用的参考样本。为了涵盖不同纹理或结构特征，使用了许多不同的帧内预测模式。H.265/HEVC总共支持35种帧内预测模式500，它们在空间上将当前块关联到一个或多个参考样本。具体地，帧内预测模式500包括：33个定向预测模式，索引为模式2到模式34；DC模式，索引为模式1；以及平面模式，索引为模式0。

在编码过程中，编码器将当前块的亮度/色度值与跨相邻块边缘的参考线中的对应参考样本的亮度/色度值进行匹配。当其中一条参考线找到最佳匹配时，编码器选择其中一个对应于最佳匹配参考线的定向帧内预测模式500。为了清晰起见，下文使用缩略语来指代特定的定向帧内预测模式500。DirS表示从左下方顺时针计数的起始定向帧内预测模式(例如HEVC中的模式2)。DirE表示从左下方顺时针计数的结束定向帧内预测模式(例如HEVC中的模式34)。DirD表示从左下方顺时针计数的中间定向帧内编码模式(例如HEVC中的模式18)。DirH表示水平帧内预测模式(例如HEVC中的模式10)。DirV表示垂直帧内预测模式(例如HEVC中的模式26)。

如上所述，DC模式充当平滑函数，并获得当期块的预测值，作为遍历相邻块的参考线中所有参考样本的平均值。同样如上所述，平面模式返回一个预测值，该预测值指示包含参考样本的参考线的左下和左上或者左上和右上处的样本之间的平滑转变(例如值的恒定斜率)。

对于从DirH到DirV的平面模式、DC模式和预测模式，将参考线的顶行和参考线的左列中的样本都用作参考样本。对于预测方向从DirS到DirH(包括DirS和DirH)的预测模式，将参考线的左列中的先前已编码和已重构的相邻块中的参考样本用作参考样本。对于预测方向从DirV到DirE(包括DirV和DirE)的预测模式，将参考线的顶行中的先前已编码和已重构的相邻块中的参考样本用作参考样本。

虽然存在许多帧内预测模式500，但是在视频编解码过程中并不是所有的帧内预测模式500都以相同的概率进行选择。此外，由相邻块选择的帧内预测模式500在统计上与当前块所选的帧内预测模式500具有高相关性。因此，在一些示例中可以使用MPM列表。MPM列表是一个包含最有可能被选择的帧内预测模式500的子集的列表。如果当前块的帧内预测模式包含在MPM列表中，则可以通过MPM列表索引在码流中指示已选模式，使用的码字所包含的bin数目比唯一地标识所有帧内预测模式500所使用的bin数目少。

可以使用一些相邻已解码块的帧内预测模式500来构建MPM列表，也可以使用一些通常具有高选中概率的默认帧内预测模式来构建MPM列表。例如，在H.265/HEVC中，通过两个相邻块的帧内预测模式来构建长度为3的MPM列表，相邻块分别位于当前块的上方和左侧。在重复模式情况下，默认将MPM列表按顺序指定为平面模式、DC模式或DirV模式。如果MPM列表的长度更长，则MPM列表还可以包含更多相邻块的帧内预测模式500和/或更多默认的帧内预测模式500。MPM列表的长度和构建方案可以是预定义的。

图6为示出了视频编解码中各块600的示例性定向关系的示意图。例如，在选择帧内预测模式500时可以使用块600。因此，方法100中的步骤105和步骤113、编解码系统200中的图像内估计组件215和图像内预测组件217、编码器300中的图像内预测组件317和/或解码器400中的图像内预测组件417可以使用块600。在视频编解码中，根据视频内容对块600进行分区，因此块600可以包括许多不同形状和大小的矩形和方形。为了便于解释，将块600描述为方形，因此为了清晰起见，根据实际视频编解码块进行简化。

块600包含当前块601和相邻块610。当前块610是在指定时间内正在编码的任何块。相邻块610是紧邻当前块601的左侧边缘或上边缘的任何块。视频编解码通常从左上到右下进行。这样，可以在对当前块601进行编码之前对相邻块610进行编码和重构。当对当前块601进行编码时，编码器将当前块601的亮度/色度值与来自遍历相邻块610的边缘的参考线中的一个(多个)参考样本进行匹配。然后，通过匹配从对应于已匹配样本(或者选择DC模式或平面模式时的样本)的帧内预测模式500中选择帧内预测模式。此时，已选帧内预测模式指示当前块601的亮度/色度值与对应于已选帧内预测模式的参考样本基本相似。任何差值可以保留在残差块中。然后，将已选帧内预测模式编码为码流。在解码器处，可以通过使用对应于已选帧内预测模式的相邻块610中的已选参考线中的参考样本的亮度/色度值(连同来自残差块的任何残差信息)来重构当前块601。

图7为示出了使用帧内预测对块进行编解码的示例性主参考线方案700的示意图。在选择帧内预测模式500时可以使用主参考线方案700。因此，方法100中的步骤105和步骤113、编解码系统200中的图像内估计组件215和图像内预测组件217、编码器300中的图像内预测组件317和/或解码器400中的图像内预测组件417可以使用主参考线方案700。

主参考线方案700使用包含参考样本712的主参考线711。主参考线711包括相邻块的边缘样本(例如像素)，作为当前块701的参考样本712。本文使用的参考样本712作为其像素或子部分的亮度值或色度值等值。当前块701与当前块601基本相似。为了便于论述，主参考线711包含参考行713，参考行713包含位于当前块701上方的参考样本712。主参考线711还包含参考列714，参考列714包含位于当前块701左侧的参考样本712。在主参考线方案700中，使用了主参考线711，其中主参考线711是紧邻当前块701的参考线。因此，在帧内预测过程中将当前块701与主参考线711中包含的参考样本712尽可能地进行紧密匹配。

图8为示出了使用帧内预测对块进行编解码的示例性备选参考线方案800的示意图。在选择帧内预测模式500时可以使用备选参考线方案800。因此，方法100中的步骤105和步骤113、编解码系统200中的图像内估计组件215和图像内预测组件217、编码器300中的图像内预测组件317和/或解码器400中的图像内预测组件417可以使用备选参考线方案800。

备选参考线方案800使用当前块801，当前块801与当前块701基本相似。多条参考线811从当前块801延伸出来。参考线811包含参考样本812，参考样本812与参考样本712相似。参考线811与主参考线711基本相似，但是从当前块801延伸得更远。使用备选参考线811使得匹配算法能够使用更多的参考样本812。在一些情况下，存在更多的参考样本可能使当前块801获得更好匹配，这样，反过来会在选择预测模式之后产生更少的残差样本。备选参考线方案800可以称为多线帧内预测(multiple lines intra prediction，MLIP)，并在联合视频专家组(Joint Video Experts Team，JVET)文档JVET-C0043、JVET-C0071、JVET-D0099、JVET-D0131和JVET-D0149中详细论述，这些文档的内容以引入的方式并入。参考线811的编号可以从0到M，其中M是任何预定的恒定值。参考线811可以包括如图所示的参考行813和参考列814，它们分别与参考行713和参考列714相似。

在编码过程中，编码器可以根据RDO从参考线811中选择最佳匹配。具体地，使用最近的参考线(RefLine0)到最远的参考线(RefLineM)中的M+1条参考线，其中M大于0。编码器选择速率失真成本最低的参考线。已选参考线的索引在码流中指示给解码器。这里，RefLine0可以称为原始参考线(例如主参考线711)，RefLine1至RefLineM可以称为较远的参考线或备选参考线。可以选择较远的参考线供帧内预测模式500中的任一种使用。在一些情况下，还可以选择较远的参考线供帧内预测模式500的子集使用(例如，DirS和DirE可以使用较远的参考线)。

在选择参考线812之后立即将从参考线811中选择的参考线的索引在码流中指示给解码器。通过使用不同的参考线，可以获取更准确的预测信号，这样在一些情况下通过减少残差样本可以提高编解码效率。但是，在将已选参考线指示给解码器时，使用备选参考线811会增加指示开销。随着所使用的参考线811的数量增加，在指示过程中使用更多的bin来唯一地标识已选参考线。这样，当匹配样本位于紧邻当前块801的参考线中时，使用备选参考线811实际上可能会降低编解码效率。

虽然MLIP能够带来压缩优点，但是可以改某些方面来实现更高的编码增益。例如，可以使用帧内预测模式子集来实现压缩率增加。具体地，可以选择一些帧内预测模式来使用备选参考线811，从而使匹配准确性提高。可以选择其它帧内预测模式来使用主参考线711并放弃与使用备选参考线811相关联的指示开销。使用备选参考线811的帧内预测模式可以包含在帧内预测模式子集内。

图9为示出了在编码器或解码器处使用帧内预测模式进行视频编解码时使用的示例性帧内预测模式子集930的示意图900。可以将备选参考线方案800和主参考线方案700进行组合/修改，以便使用帧内预测模式列表920和帧内预测模式子集930两者。帧内预测模式列表920包含帧内预测方案中可以使用的所有帧内预测模式923(例如帧内预测模式500)。可以通过对应的帧内预测模式索引921分别将这些帧内预测模式923编入索引。在本示例中，一些帧内预测模式能够使用备选参考线。将能够使用备选参考线的帧内预测模式作为备选参考线预测模式933存储在帧内预测模式子集930内。可以通过备选帧内预测模式索引931将帧内预测模式子集930内的备选参考线预测模式933编入索引。备选帧内预测模式索引931是用于对帧内预测模式子集930中的备选参考线预测模式933进行编号和指示的索引值。由于帧内预测模式子集930内包含较少的帧内预测模式，所以备选帧内预测模式索引931包含的bin可以比帧内预测模式索引921中的bin少。因此，当某一帧内预测模式包含在帧内预测模式子集930内时，可以将该帧内预测模式匹配到备选参考线。当某一帧内预测模式未包含在帧内预测模式子集930内时，可以将该帧内预测模式匹配到主参考线。本方案利用了以下事实：帧内预测模式列表920包含许多帧内预测模式923，以涵盖更详细的纹理和结构特征。但是，使用备选参考线的概率相对较低。这样，在备选参考线情况下，粗略方向就足够了。因此，可以对帧内预测模式923进行采样，以便通过使用如下所述的方案来构建帧内预测模式子集930。

通过使用帧内预测模式列表920和帧内预测模式子集930两者，能够大大提高编解码效率。此外，选择包括哪些帧内预测模式作为备选参考线预测模式933也会影响到编解码效率。例如，较大的模式范围使用更多的比特来表示备选帧内预测模式索引931，而在模式范围较小的情况下使用较少的比特。在一实施例中，帧内预测模式子集930分别包含[DirS,DirE]中的第二帧内预测模式，其中[A,B]表示包含整数元素x的集合，并且B≥x≥A。具体地，帧内预测模式子集930可以与预测模式{DirS,DirS+2,DirS+4,DirS+6,...,DirE}相关联，其中{A,B,C,D}表示包含在大括号之间列出的所有元素的集合。此外，还减少了表示备选帧内预测模式索引931模式范围内的已选帧内预测模式的比特数量。在这种情况下，可以通过将帧内预测模式索引921除以2得到备选帧内预测模式索引931。

在另一实施例中，帧内预测模式子集930包含MPM列表935中的帧内预测模式。如上所述，MPM列表935包含最有可能被选择的帧内预测模式的子集。在这种情况下，可以配置帧内预测模式子集930以包含当前块的已解码和/或已重构相邻块的帧内预测模式。码流中可以使用一个标志来指示已选帧内预测模式是否包含在MPM列表935中。当已选帧内预测模式包含在MPM列表935中时，则指示MPM列表935索引。否则，指示备选帧内预测模式索引931。当已选帧内预测模式为主参考线模式，并且未包含在MPM列表935中时，则可以指示帧内预测模式索引921。在一些示例中，可以使用二值化机制，其中备选帧内预测模式索引931和/或MPM列表935索引的长度是固定的。在一些示例中，通过基于上下文的自适应二进制算术编码(context-based adaptive binary arithmetic coding，CABAC)对备选帧内预测模式索引931和/或MPM列表935索引进行编码。还可以使用其它二值化和/或熵编码机制。所使用的二值化/熵编码机制是预定义的。帧内预测模式子集930的模式范围包含的帧内预测模式(例如粗略模式)比帧内预测模式列表920包含的帧内预测模式少。因此，当MPM列表935中的帧内预测模式(例如相邻块的模式)未包含在帧内预测模式子集930的模式范围内时，则通过加或减1可以对帧内预测模式索引921进行整除(例如除以2)四舍五入到最接近的备选帧内预测模式索引931的值。舍入机制可以是预定义的。相邻块的相对位置，扫描顺序和/或MPM列表935的大小也可以是预定义的。

在一个具体示例中，根据H.265运行的编码器可以使用[DirS,DirE]的模式范围，大小为33。当在帧内预测模式子集930内每隔一个模式被使用时，备选帧内预测模式索引931的模式范围的大小是17。MPM列表935的大小可以是1，而且使用顶部已解码相邻块的帧内预测模式来构建MPM列表935。当相邻块的模式不在备选帧内预测模式索引931的模式范围内时，则将相邻块的模式取整到模式4(或2)。在一个特定示例中，当根据帧内预测模式索引921，已选帧内预测模式为模式16时，以及当已选模式不在MPM列表935中时，已选帧内预测模式将具有大小为8(16/2＝8)的备选帧内预测模式索引931。当使用长度固定的二值化方法时，可以使用1000来指示本示例中的已选帧内预测模式。

上文示例/实施例假设帧内预测模式子集930包括帧内预测模式923中的每个奇数(或每个偶数)模式。但是，在使用上述机制的同时还可以使用其它机制来填充帧内预测模式子集930。在一个示例中，帧内预测模式子集930包括[DirS,DirE]中的每N个帧内预测模式，其中N是等于0、1、2、3、4等的整数。本示例还可以描述为{DirS,DirS+N,DirS+2N,…,DirE}。再例如，帧内预测模式子集930可以包含[DirS,DirE]中的每N个帧内预测模式，以及平面帧内预测模式和DC帧内预测模式。

在另一示例中，帧内预测模式子集930包含选择总概率高的帧内预测模式。因此，降低了帧内预测模式指示成本，并且提高了编解码效率。在一些示例中，通常选择总概率更高的在主方向上的帧内预测模式(例如，直接垂直、水平等)。因此，帧内预测模式子集930可以包括这些模式。例如，帧内预测模式子集930可以包括主定向帧内预测模式，例如DirS、DirE、DirD、DirV和DirH。在一些示例中还可以包括主模式的相邻模式。在一个具体示例中，帧内预测模式DirS、DirE、DirD、DirV、DirH与索引加减N的邻近帧内预测模式一起包含在帧内预测模式子集930中。这可以表示为[DirS,DirS+N]、[DirE–N,DirE]、[DirD–N,DirD+N]、[DirH–N,DirH+N]、[DirV–N,DirV+N]。在另一示例中，帧内预测模式子集930包括帧内预测模式DirS、DirE、DirD、DirV、DirH、以及索引加减N的邻近帧内预测模式、DC模式和平面模式。

在另一示例中，帧内预测模式子集930进行自适应地构建，因此没有定义有预定义的帧内预测模式。例如，帧内预测模式子集930可以包含当前块(例如当前块601)的已解码相邻块(例如相邻块610)的帧内预测模式。可以将相邻块放置在当前块的左侧和上方。还可以使用其它的相邻块。帧内预测模式子集930的大小和构建方案是预定义的。在另一示例中，帧内预测模式子集930包含相邻块的帧内预测模式加上某些预定的默认帧内预测模式，例如DC模式和平面模式。在另一示例中，帧内预测模式子集930包含MPM列表935中的帧内预测模式。

在接收到码流中的参考线索引之后，解码器确定在参考线索引对应于主参考线时暗指帧内预测编码列表920。在这种情况下，解码器可以读取随后的帧内预测模式索引921来确定对应的帧内预测模式923。当参考线索引对应于其它参考线时，则暗指帧内预测模式子集930。在这种情况下，解码器可以读取随后的备选帧内预测模式索引931来确定对应的备选参考线预测模式933。在一些示例中，可以使用标志来指示所指示的备选参考线预测模式933何时包含在MPM列表935中。在这种情况下，可以根据MPM列表935使用的索引来指示备选参考线预测模式933。

如上所述，可以在对使用备选参考线或主参考线的帧内预测模式进行编码时使用图9。下文论述的是对这种数据进行编码的指示方案。具体地，可以在对应的帧内预测模式的索引之后指示参考线索引。此外，可以条件性地指示参考线索引。例如，可以在帧内预测模式与备选参考线相关联时指示参考线索引或者在帧内预测模式与主参考线有关时省略参考线索引。这使得只要帧内预测模式未包含在帧内预测模式子集930内，都将省略参考线索引，因为不需要指示主参考线情况下的参考线索引。这种方法通过降低指示开销而大大降低了编解码效率。下文论述的条件性指示方案是该概念的示例性实施方式。

图10为示出了视频编解码码流中的备选参考线的示例性条件性指示表示法1000的示意图。例如，当在使用编码器或解码器处的帧内预测模式500等帧内预测模式进行视频编解码的过程中将帧内预测模式子集930用作备选参考线方案800的一部分时，可以在码流中使用条件性指示表示法1000。具体地，当编解码设备对具有帧内预测数据的码流进行编码或解码，并且帧内预测数据包括与备选参考线相关联的已选帧内预测模式时，使用条件性指示表示法1000。可选地，当编解码设备对具有帧内预测数据的码流进行编码或解码，并且帧内预测数据包括与主参考线相关联的已选帧内预测模式时，使用条件性指示表示法1100，如下所述。

条件性指示表示法1000可以包括编码单元1041字段，该字段包括相关分区信息。这种分区信息向解码器指示块边界，以允许解码器填充已解码图像块，从而创建帧。包括编码单元1041字段是用于上下文，而且该字段的位置可以与参照条件性指示表示法1000论述的其它字段邻近，也可以不邻近。条件性指示表示法1000还包括标志1042。标志1042向解码器指示随后的信息是用于与备选参考线相关联的帧内预测模式。例如，标志1042可以指示是否将随后的信息编码为备选帧内预测模式索引931或MPM列表935索引。在标志1042之后，使用帧内预测模式子集索引1043字段，以对备选帧内预测模式索引931进行编码，等等。在一些示例中，帧内预测模式子集索引1043字段将代替MPM列表索引字段来保存如上所述的MPM列表935索引。在任一情况下，解码器能够根据标志1042和该索引对为相关编码单元1041选择的帧内预测模式进行解密。由于帧内预测模式子集索引1043字段已经指示了已选帧内预测模式与备选参考线有关，所以还包括了参考线索引1044，向解码器指示哪条参考线包含匹配样本。因此，帧内预测模式子集索引1043提供相邻块中的匹配样本的方向，参考线索引1044提供与匹配样本的距离。根据该信息，解码器可以确定匹配样本，使用匹配样本来生成预测块，可选地，将预测块与在码流中其它地方编码的残差块进行组合以重构像素块。

图11为示出了视频编解码码流中的主参考线的示例性条件性指示表示法1100的示意图。例如，在使用编码器或解码器处的帧内预测模式500等帧内预测模式进行视频编解码的过程中将帧内预测模式列表920用作主参考线方案700的一部分时，可以在码流中使用条件性指示表示法1100。条件性指示表示法1100可以包括编码单元1141字段，该字段具有分区信息，方式与编码单元1041字段相似。条件性指示表示法1100还包括标志1142，标志1142与标志1042基本相似，但是在这种情况下，指示已选帧内预测模式与帧内预测模式子集930不相关联。根据标志1142中的信息，可以将帧内预测模式索引1145解析为帧内预测模式索引921的模式范围内的索引。此外，由于确定已选帧内预测模式与主参考线相关联，所以省略了参考线索引。

因此，可以使用条件性指示表示法1000和条件性指示表示法1100来分别指示使用备选参考线的帧内预测模式或使用主参考线的帧内预测模式。可以通过上述示例/实施例中的任一种来使用这些方案。在一个示例中，[DirS,DirE]中的帧内预测模式可以使用备选参考线。在这种情况下，当已选帧内预测模式未包含在[DirS,DirE](例如DC或平面模式)中时，不需要指示参考线索引。因此，推断参考索引等于0，其中0指示紧邻当前块的主参考线。在这种情况下，可能不会使用帧内预测模式子集930，因为在这种情况下，所有定向参考都使用备选参考线。总而言之，在这种示例中，只要帧内预测模式不是DC模式或平面模式，就指示参考线索引。此外，在这种示例中，只要帧内预测模式为DC模式或平面模式，就不指示参考线索引。在另一示例中，只要帧内预测模式在帧内预测模式子集930内，就指示参考线索引。相应地，只要帧内预测模式未包含在帧内预测模式子集930内，就不指示参考线索引。

下表1是描述已选模式为DC模式或平面模式时省略参考索引这一情况的示例性语法表。

表1

如上表1所示，如果帧内预测模式不是平面模式也不是DC模式，则指示参考线索引，在本示例中，同时还指示当前块的x方向和y方向。

下表2是描述当前帧内预测模式包含在帧内预测模式子集内时指示参考索引以及未包含在帧内预测模式子集内时省略参考索引这两种情况的示例性语法表。根据参照图9所述的任一机制，可以确定帧内预测模式子集。

表2

如上表2所示，如果帧内预测模式在帧内预测模式子集内，则指示参考线索引。

还可以独立或者结合上述示例/实施例对MLIP方案进行其它修改。例如，在许多MLIP方案中，DC帧内预测模式仅限于使用主参考线。在这种情况下，DC帧内预测模式生成预测值，该预测值是参考线中的所有参考样本的平均值。这样产生了块之间的平滑效应。如下所述，DC帧内预测模式可以在MLIP方案中扩展，以生成预测值，该预测值是多条参考线中所有参考样本的平均值。

图12为示出了使用备选参考线1211的DC模式帧内预测1200的示例性机制的示意图。当根据帧内预测模式500等执行DC帧内预测时，可以在编码器300或解码器400等编码器或解码器处使用DC模式帧内预测1200。可以结合帧内预测模式子集930、条件性指示表示法1000和1100来使用DC模式帧内预测1200方案，或者可以独立于这些示例来使用DC模式帧内预测1200方案。

DC模式帧内预测1200使用具有标记为0到M的备选参考线1211的当前块。这样，可以使用任意数量的参考线1211。这些参考线1211与参考线811基本相似，并且包含与参考样本812基本相似的参考样本1212。然后，计算DC预测值1201作为多条参考线1211中的参考样本1212的平均值。在一个示例中，不管在帧内预测模式选择过程中选择哪些参考线1211，都计算DC预测值1201作为所有参考线1211 0至M中的所有参考样本1212的平均值。这为当前块提供了非常稳健的DC预测值1201。例如，如果存在四条参考线1211，则确定参考线1211中的索引0到3对应的所有参考样本1212的平均值，并将该平均值设为当前块的DC预测值1201。在这种示例中，一些情况下可以不在码流中指示参考线索引。

在另一示例中，根据已选参考线和对应的参考线来确定DC预测值1201。这使得根据两个关联参考线1211而不是所有参考线或者只有索引0对应的参考线来确定DC预测值1201。例如，在使用四条参考线1211时，可以将参考线1211的索引编号为0到4。在这种情况下，下表3指示在选择参考线时使用的对应参考线1211的示例。

已选RefLine索引	对应的RefLine索引
		0	1
1	2
		2	3
3	0

表3

如表所示，可以使用关联参考线1211来确定DC预测值1201。在这种情况下，当在码流中指示已选参考线索引时，解码器可以确定两条参考线1211。

在另一示例中，DC模式帧内预测1200可以一直使用索引0对应的参考线(主参考线)，还可以在这种选择能够更准确地将DC预测值1201匹配到预测后像素块的值时选择其它参考线1211。下表4描述了这种示例。在这种情况下，当在码流中指示已选参考线索引时，解码器可以确定两条参考线1211。

已选RefLine索引	默认RefLine索引
		0	-
1	0
		2	0
3	0

表4

还可以独立或者结合上述示例/实施例对MLIP方案进行其它修改。例如，在许多MLIP方案中，根据参考线与当前块的距离将参考线编入索引。例如，在JVET-C0071中，使用码字0、10、110和111来分别指示RefLine0、RefLine1、RefLine2和RefLine3。可以通过将较短的码字分配给被选择的统计概率较高的参考线来改进这种方法。由于在码流中指示多条参考线，因此在使用这种机制时可以减小用于参考线指示的平均码字长度。这使得编解码效率增加。下文论述了使用码字进行备选参考线指示的示例性方案。

图13为示出了使用码字对备选参考线进行编解码的示例性机制1300的示意图。在根据帧内预测模式500等执行帧内预测时，可以在编码器300或解码器400等编码器或解码器处使用该机制1300。机制1300可以结合帧内预测模式子集930、条件性指示表示法1000和1100、DC模式帧内预测1200进行使用，或者可以独立于这些示例进行使用。

机制1300使用待由帧内预测进行编码的当前块1301以及包含参考样本的对应参考线1311。当前块1301和参考线1311可以分别与当前块801和参考线811基本相似。将当前块1301匹配到参考线1311中的一个或多个参考样本。根据该匹配，选择帧内预测模式和参考线1311来指示匹配参考样本。如上所述，将已选帧内预测模式编码到码流中。此外，可以使用参考线码字1315将已选参考线的索引编码到码流中。参考线码字1315为指示参考线索引的二进制值。此外，参考线码字1315省略了前导0值，以进一步压缩数据。因此，在一些情况下可以使用单个二进制值来指示参考线1311。

在机制1300中，参考线1311索引的码字1315的长度可能与参考线1311到当前块1301的距离无关。相反，根据码字1315的长度和选择对应的参考线1311作为参考线1311以用于当前块1301的概率将码字1315分配给参考线1311。在一些情况下，提供给离当前块1301较远的参考线1311的码字比紧靠当前块1301的参考线1311的码字短。例如，可以使用0、10、110和111的码字1315来分别指示RefLine0、RefLine3、RefLine1和RefLine2。另外，码字1315的第一bin或前两个bin可以进行上下文编码，而最后一个或几个bin在没有上下文的情况会绕过编码。可以从空间(例如上方和左侧)相邻块中获取上下文。表5示出了使用四条参考线1311时的码字1315的示例性编码方案。

参考线索引	MLIP	示例1	示例2
				0	0	0	0
1	10	110	111
				2	110	111	110
3	111	10	10

表5

如表5所示，可以将参考线1311的索引编号为从0到3。在示例性MLIP方案中，这些索引根据与当前块1301的距离由码字1315表示，其中将最小的码字分配给最近的参考线1311，将最大的码字1315分配给最远的参考线1311。在示例性机制1和2中，最有可能的参考线1311对应索引0，接收最短的码字1315。第二最有可能的参考线1311是最远的参考线(索引3)，接收第二最短的码字1315。根据不同示例，将剩余的码字1315按降序或升序分配给索引1和2。

在另一示例中，索引0对应的参考线1311可以仍然是最有可能的参考线1311。此外，第二最有可能的参考线1311可以是索引2对应的参考线1311。从而产生表6。

参考线索引	MLIP	示例1	示例2
				0	0	0	0
1	10	110	111
				2	110	10	10
3	111	111	110

表6

如表6所示，最有可能的参考线1311对应索引0，接收最短的码字1315。第二最有可能的参考线1311是第二最短的参考线(索引2)，接收第二最短的码字1315。根据不同示例，将剩余的码字1315按降序或升序分配给索引1和索引3。

可以将上述示例扩展到使用更多数量的参考线的情况。例如，在使用5条参考线时，可以扩展表5的示例，如表7所示。

参考线索引	MLIP	示例1	示例2
				0	0	0	0
1	10	110	11111
				2	110	1110	11110
3	1110	10	10
				4	11110	11110	1110
5	11111	11111	110

表7

如表7所示，最有可能的参考线1311对应索引0，接收最短的码字1315。第二最有可能的参考线1311是与索引2相关联的参考线1311，接收第二最短的码字1315。根据不同示例，将剩余的码字1315按降序或升序分配给索引1、索引2、索引4和索引5。

在另一示例中，可以将参考线1311索引进行分类，将排列不同的不同组的码字1315分配给每个类别。例如，A类组可以得到最短的码字1315，B类组可以得到最长的码字1315。可以按升序或降序或者两者的任一组合来分配A类码字1315和B类码字1315。类别构建方案可以是预定义的。提供以下示例是为了使本方案变清晰。以下示例使用索引0到5对应的六条参考线1311，如下表8所示。根据需要，可以将参考线1311分配给任一类别。例如，可以将索引1、3和5对应的参考线1311分配给A类，而索引2和4对应的参考线1311可以分配给B类。索引0对应的参考线1311可以一直是最高概率选择，因此可以一直具有最短的码字1315。可以将最短的码字1315而不是索引0对应的码字1315分配给A类。然后，将最长的码字1315分配给B类。表8示出了方案结果。

表8

在表8的第一个示例中，A类码字1315和B类码字1315都独立地递增(降序)。在表8的第二个示例中，A类码字1315递增(降序)而B类码字1315递减(升序)。在表8的第三个示例中，A类码字1315递减(升序)而B类码字1315递增(降序)。在表8的第四个示例中，A类码字1315和B类码字1315都独立地递减(升序)。本方案中可以使用任意数量的参考线和任意数量的类别，从而根据需要生成码字1315。

还可以独立或者结合上述示例/实施例对MLIP方案进行其它修改。例如，MLIP方案使用既有行又有列的备选参考线。许多MLIP方案中使用了相同数量的行和列。但是，当MLIP方案在硬件中操作时，在编解码过程中将整组行存储到存储器中，例如中央处理器(central processing unit，CPU)芯片上的线缓冲区。同时，根据需要将列存储到缓存中并提取到CPU缓冲区上。因此，就系统资源而言，使用参考线行在计算上比使用参考线列更昂贵。由于可能需要减少线缓冲区内存使用量，所以下面的MLIP方案使用不同数量的参考行和参考列。具体地，下面的MLIP方案使用的参考行比参考列少。

图14为对具有不同数量的行和列的备选参考线进行编解码的示例性机制1400的示意图。在根据帧内预测模式500等执行DC帧内预测时可以在编码器300或解码器400等编码器或解码器处使用机制1400。机制1400可以结合帧内预测模式子集930、条件性指示表示法1000和1100、DC模式帧内预测1200、机制1300进行使用，或者可以独立于这些示例进行使用。

机制1400使用具有标记为0到M的备选参考线1411的当前块1401。这样，可以使用任意数量的参考线1411。这些参考线1411与参考线811和/或1211基本相似，并包含与参考样本812和/或1212基本相似的参考样本。参考线1411包括参考行1413，这些参考行包括放置在当前块1401上方的参考样本。参考线1411还包括参考列1414，这些参考列包括放置在当前块1401左侧的参考样本。如上所述，MLIP方案在资源密集的帧内预测过程中将所有参考行1413存储到片上存储器中。因此，为了降低内存使用量和/或为了获取编解码效率与内存使用率之间的某种权衡，参考行1413的数量可以少于参考列1414的数量。如图14所示，参考行1413的数量可以是参考列1414的数量的一半。例如，这可以通过将第一参考行1413与最后一个参考行1413之间的一半参考行1413移除(例如保留RefLine0和RefLine3，但移除RefLine1和RefLine2)来实现。在另一示例中，可以移除奇数行1413或偶数行1413(例如保留RefLine0和RefLine2，但移除RefLine1和RefLine3。反之亦然)。移除行1413的机制1400可以是预定义的。

图15为对具有不同数量的行和列的备选参考线进行编解码的另一示例性机制1500的示意图。在根据帧内预测模式500等进行DC帧内预测时可以在编码器300或解码器400等编码器或解码器处使用机制1500。机制1500可以结合帧内预测模式子集930、条件性指示表示法1000和1100、DC模式帧内预测1200、机制1300进行使用，或者可以独立于这些示例进行使用。

机制1500与机制1400基本相似，但是使用不同数量的参考行1513。具体地，机制1500使用标记为0到M的备选参考线1511的当前块1501。这样，可以使用任何数量的参考线1511。这些参考线1511与参考线811和/或1211基本相似并包含与参考样本812和/或1212基本相似的参考样本。参考线1511包括参考行1513，这些参考行包括放置在当前块1501上方的参考样本。参考线1511还包括参考列1514，这些参考列包括放置在当前块1501左侧的参考样本。

在这种情况下，参考行1513的数量等于参考列1514的数量减去K，其中K为小于参考列1514的数量的正整数。K可以是预定义的或者在码流中的序列参数集(SequenceParameter Set，SPS)、图像参数集(Picture Parameter Set，PPS)或分片头中指示。在所示的示例中，参考行1513的数量等于参考列1514的数量减去1。不过可以使用K的任一值。通过使用任何预定义机制来移除参考行1513。在图15中，移除了与索引1对应的参考线1511相关联的参考行1513。在其它示例中，移除了与索引2、3等对应的参考线1511相关联的参考行1513。

当使用机制1400和/或机制1500时，参考行的参考索引可能不同于参考列的参考索引。当如上所述参考行和参考列的数量不同时，下文展示了一些机制来指示或获得参考线索引。在一种机制中，分别指示了参考列索引和左侧行索引。例如，使用一个语法元素来指示0到NumTop之间的参考行索引，其中NumTop是参考行的数量(包括0和NumTop)。使用另一个语法元素来指示0到NumLeft之间的参考列索引，其中NumLeft是参考列的数量(包括0和NumLeft)。

在另一种机制中，使用一个语法元素来指示参考行和参考列两者的参考线索引。在大多数示例中，NumLeft大于NumTop。但是，以下机制还适用于NumTop大于NumLeft的情况。当NumLeft>NumTop时，在一种机制中，使用下面的机制来指示参考列的索引。在这种情况下，参考线索引在0到NumLeft之间(包括0和NumLeft)。当使用参考线或来自参考行的参考像素并且参考线索引大于NumTop时，指示与索引NumTop相关联的参考线。

在另一种机制中，当NumLeft>NumTop时，使用上述机制来指示参考行的索引。在这种情况下，参考索引在0到NumTop之间(包括0和NumTop)。当使用参考线或来自参考行的像素时，所指示的(或解析的)参考线索引指示已选参考线。因为NumLeft大于NumTop，所以当从参考列中选择参考样本时，使用索引映射表将指示的参考线索引映射到已选参考列。如下示出了示例性映射表9到映射表11。

表9

指示索引	0	1	2	…	NumTop
						实际索引	0	1	2	…	NumLeft

表10

指示索引	0	1	2	3	…	NumTop
							实际索引	0	1	3	5	…	NumLeft

表11

在一些示例中，如上所示的表映射可以由计算结果代替，取决于实施方式。

此外，一些帧内预测模式将参考列用作参考线，而其它帧内预测模式将参考行用作参考线。同时，一些帧内预测模式将参考行和参考列两者都用作参考线。例如，索引范围定义可以与帧内预测模式相关。这是因为阶段过程和阶段结果取决于索引范围。

在具体示例中，使用参考列的帧内预测模式(例如[DirS,DirH])的索引范围为[0,NumLeft]。使用参考行的帧内预测模式(例如[DirV,DirE])的索引范围为[0,NumTop]。使用参考列和参考行两者的帧内预测模式存在两种情况。在第一种情况下，索引范围为[0,NumTop](标记为Modi1)。在这种情况下，NumLeft>NumTop，而索引范围为[1,NumTop]。因此，从NumLeft个参考列中选择多个参考列，其中已选参考列的数量为Numtop或更少。选择机制在编码器和解码器处预定义。在第二种情况下，索引范围为[0,NumLeft](标记为Modi2)。在这种情况下，根据指示的参考线索引等使用映射机制来确定参考列的索引和参考行的索引。映射机制是预定义的。例如，可以使用上述表9至表11中的任何映射机制。

在另一个具体示例中，当参考线的数量为4时，可以移除参考线RefLine1和RefLine3的参考行，以减少片上存储器的使用量。在这种情况下，使用了4个参考列和2个参考行。当帧内预测模式使用参考列和参考行两者时，重新定义索引范围，以唯一地指示已选参考样本。在这种情况下，帧内预测模式[DirS,DirH]的索引范围为[0,3]。对于帧内预测模式[DirV,DirE]，索引范围为[0,1]。

对于使用参考列和参考行两者的帧内预测模式(例如(DirH,DirV)中平面模式、DC模式或帧内预测)，索引范围为[0,1](Modi1)，或者索引范围为[0,3](Modi2)。当索引范围为[0,1](标记为Modi1)时，使用两个参考列(例如使用RefLine0和RefLine2的左侧部分)。在这种情况下，参考行和参考列的数量都为2。还可以选择使用剩余两个参考列(例如RefLine1和RefLine3)。选择机制是预定义的。当索引范围为[0,3](标记为Modi2)时，参考列的数量为4，参考行的数量为2，索引范围为[0,3]。然后使用索引映射机制(例如，[0,1]中的参考列索引对应参考行索引0，[2,3]中的参考列索引对应参考行索引1)。还可以使用其它映射机制(例如，[0,2]中的列索引对应行索引0，列索引3对应行索引1，以此类推)。但是，所使用的映射机制是预定义的。

可以将参考索引编解码机制和参考线构建机制组合，以提高编解码效率并降低片上内存的使用量。下面是这些机制的示例性组合。在这种情况下，将最短码字分配给最远参考线的索引，NumTop是NumLeft的一半。此外，参考线的数量为4，使用表8中的示例1。对于索引编解码机制，当NumTop小于NumLeff时，使用Modi1，其中保留RefLine0和RefLine3的列。这产生了如下表12所示的参考线指示机制。

参考线索引	示例1
		0	0
1	110
		2	111
3	10

表12

在本示例中，当帧内预测模式在[DirS,DirH]之间时，索引范围为[0,3]，表示参考线索引的机制如表12所示。根据参考线索引可以将参考列选作参考线。此外，当帧内预测模式在[DirV,DirE]之间时，索引范围为[0,1]，表示参考线索引的机制如表12所示。根据参考线索引可以将参考行选作参考线。在这种情况下，考虑了RefLine0和RefLine3，而没有考虑RefLine1和RefLine2。如果帧内预测模式在[Planar,DC]到(DirH,DirV)之间时，索引范围为[0,1]，表示参考线索引的机制如表12所示。这时根据参考线索引可以将参考列和参考行选作参考线。在这种情况下，考虑了RefLine0和RefLine3，而没有考虑RefLine1和RefLine2。同理，还可以应用上述二进制表，以进一步提高编解码效率。

图16为本发明实施例提供的视频编解码设备1600的示意图。视频编解码设备1600适用于实施如本文所述的公开实施例。视频编解码设备1600包括下游端口1620、上游端口1650和/或收发单元(Tx/Rx)1610，用于通过网络将数据向上游和/或下游传送。视频编解码设备1600还包括处理器1630和用于存储数据的存储器1632，其中处理器1630包括用于处理数据的逻辑单元和/或中央处理器(central processing unit，CPU)。视频编解码设备1600还可以包括光电(optical-to-electrical，OE)组件、电光(electrical-to-optical，EO)组件和/或无线通信组件，以上组件耦合到上游端口1650和/或下游端口1620，用于通过光通信网络或无线通信网络来传送数据。视频编解码设备1600还可以包括输入和/或输出(input and/or output，I/O)设备1660，用于向用户传送数据以及传送来自用户的数据。I/O设备1660可以包括输出设备，例如用于显示视频数据的显示器、用于输出音频数据的扬声器，等等。I/O设备1660还可以包括键盘、鼠标、导航球等输入设备和/或用于与这些输出设备进行交互的对应接口。

处理器1630由硬件和软件实现。处理器1630可以实现为一个或多个CPU芯片、核(例如，实现为多核处理器)、现场可编程门阵列(field-programmable gate array，FPGA)、专用集成电路(application specific integrated circuit，ASIC)和数字信号处理器(digital signal processor，DSP)。处理器1630与下游端口1620、收发单元1610、上游端口1650和存储器1632进行通信。处理器1630包括编解码模块1614。编解码模块1614实现上文描述的公开实施例，例如方法1700、方法1800、方法1900和/或上文描述的任何其它机制。此外，编解码模块1614可以实现编解码系统200、编码器300、解码器400，通过帧内预测模式500和块600执行帧内预测，使用主参考线方案700，使用备选参考线方案800，使用帧内预测模式子集930，使用表示法1000和/或表示法1100，使用DC模式帧内预测1200，使用机制1300、机制1400和/或机制1500，以及它们的任何组合。因此，包含编解码模块1614对视频编解码设备1600的功能有实质性改进，并且实现了视频编解码设备1600到不同状态的变换。可选地，可以将编解码模块1614实现为存储在存储器1632中并由处理器1630执行的指令(例如，实现为存储在非瞬时性介质上的计算机程序产品)。

存储器1632包括一种或多种存储器类型，例如磁盘、磁带驱动器、固态驱动器、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、闪存、三态内容寻址存储器(ternary content-addressable memory，TCAM)、静态随机存取存储器(static random-access memory，SRAM)等。存储器1632可以用作溢出数据存储设备，用于当选择该程序用于执行时，存储这些程序，并存储在程序执行期间读取的指令和数据。

图17为通过使用备选参考线的帧内预测模式子集进行的示例性视频编解码方法1700的流程图。例如，方法1700可以在用于充当解码器400的视频编解码设备1600上操作。方法1700还可以使用帧内预测模式500，同时使用备选参考线方案800和帧内预测模式子集930。

在步骤1701处，接收码流。码流包括由解码器压缩得到的压缩后视频编码数据。在步骤1703处，确定帧内预测模式子集，例如帧内预测模式子集930。帧内预测模式子集包括与当前图像块的多条参考线相关的帧内预测模式但不包括与所述当前图像块的主参考线相关的帧内预测模式。帧内预测模式子集可以包括如上所述的不同组的帧内预测模式。在一些示例中，帧内预测模式子集包括DirS、DirE以及DirS与DirE之间的每N个定向帧内预测模式，其中N是预定的整数值。在其它示例中，帧内预测模式子集还可以包括平面预测模式和DC预测模式。在又一示例中，帧内预测模式子集包括DirS、DirE、DirD、DirH、DirV以及在DirS、DirE、DirD、DirH和DirV加减N的方向上的有效定向帧内预测模式，其中N是预定的整数值。这种帧内预测模式子集还可以包括平面预测模式和DC预测模式。在再一示例中，帧内预测模式子集包括为已解码相邻块选择的帧内预测模式，该已解码相邻块与当前图像块的位置存在预定邻接。在再一示例中，帧内预测模式子集包括与块使用的MPM列表相关联的模式。此外，帧内预测模式子集可以包括本文上述的帧内预测模式的任何其它组合。

在可选步骤1705处，当已选帧内预测模式包含在帧内预测模式子集内时，通过帧内预测模式子集索引对已选帧内预测模式进行解码。在可选步骤1707处，当已选帧内预测模式未包含在帧内预测模式子集内时，通过帧内预测模式索引对已选帧内预测模式进行解码。如参照图9所述，在一些情况下还可以根据MPM索引对已选帧内预测模式进行解码。如参照图10和图11所述，还可以使用标志为确定索引方案提供上下文。

在步骤1709处，当已选帧内预测模式包含在帧内预测模式子集内时，根据对编码的参考线索引进行解码。参考线索引是指为已选帧内预测模式从多条参考线中选出的参考线。如上所述，为了减少码流中的错误比特，当已选帧内预测模式未包含在帧内预测模式子集内时，不对参考线索引进行解码。在已选帧内预测模式之后将参考线索引编码，以进一步支持码流中的条件性指示(例如，如参照图10和图11所述)。

在步骤1711处，通过显示器将视频数据显示给用户。视频数据包括根据已选帧内预测模式和对应的参考线进行解码的图像块。

图18为通过使用备选参考线的DC模式帧内预测进行的示例性视频编解码方法1800的流程图。例如，方法1800可以在用于充当解码器400的视频编解码设备1600上操作。根据DC模式帧内预测1200，方法1800还可以使用帧内预测模式500，同时使用备选参考线方案800和帧内预测模式子集930。

在步骤1801处，将码流存储到存储器中。码流包括压缩后视频数据。压缩后视频数据包括根据帧内预测方案编码为预测块的图像块。在步骤1803处，获取通过DC帧内预测模式进行编码的当前预测块。在步骤1805处，为当前预测块确定DC预测值。通过确定与当前预测块相关联的多条参考线中的至少两条的所有参考样本的平均值，DC预测值大致估计对应于当前图像块的当前预测块。因此，步骤1805将DC预测模式扩展到备选参考线上下文中。在一些示例中，确定DC预测值可以包括确定邻近当前预测块的N条参考线中的所有参考样本的平均值，其中N是预定的整数。在一些示例中，确定DC预测值包括确定已选参考线和对应的(例如预定义的)参考线中所有参考样本的平均值。在又一示例中，确定DC预测值包括确定在码流中指示的邻近参考线(例如索引0对应的参考线)和已选参考线中所有参考样本的平均值。此外，可以通过使用如上参照图12所述的方案的任一组合来确定DC预测值。在步骤1807处，根据DC预测值来重构当前图像块。在步骤1809处，向用户显示包括当前图像块的视频帧。

图19为使用参考线进行的示例性视频编解码方法1900的流程图，其中根据选择概率通过码字对参考线进行编码。例如，方法1900可以在用于充当解码器400的视频编解码设备1600上操作。通过使用机制1300，方法1900还可以使用帧内预测模式500，同时使用备选参考线方案800和帧内预测模式子集930。此外，如参照图14和图15所述，方法1900可以使用不同数量的参考行和参考列。

在步骤1901处，接收包括编码的码流。编码包括由编码器压缩的视频数据。在步骤1903处，根据编码对帧内预测模式进行解码。帧内预测模式指示当前块与已选参考线中的参考样本之间的关系。此外，当前块与包括已选参考线(例如，备选参考线方案)的多条参考线相关联。在步骤1905处，根据指示已选参考线的已选码字对已选参考线进行解码。如参照图13所述，已选码字包括取决于已选参考线的选择概率的长度。例如，多条参考线可以由多个码字来指示。此外，离当前块最远的参考线可以由具有第二最短长度的码字来指示。在另一示例中，离当前块第二最远的参考线可以由具有第二最短长度的码字来指示。在另一示例中，具有第二最短长度的码字可以指示预定义的参考线而不是指示邻近参考线。在又一示例中，可以将多个码字存储到A类组和B类组中。A类组包括的码字的长度比B类组中的码字的长度短。此外，A类组和B类组可以相互独立地递增和递减。在其它示例中，如参照图14和图15所述，参考线可以包括不同数量的参考行和参考列。例如，多条参考线可以包括参考行和参考列。此外，为当前块存储的参考行的数量可以是为当前块存储的参考列的数量的一半。在另一示例中，为当前块存储的参考行的数量可以等于为当前块存储的参考列的数量。在另一示例中，可以根据去块滤波器操作使用的参考行的数量来选择为当前块存储的参考行的数量。在步骤1907处，通过显示器向用户显示视频数据。视频数据包括根据帧内预测模式和已选参考线进行解码的图像块。因此，可以单独使用方法1700、方法1800和方法1900或者使用它们的组合，来提高通过帧内预测对视频进行编解码情况下的备选参考线方案的有效性。

一种视频编解码设备，包括：接收构件，用于接收码流；处理构件，用于：确定帧内预测模式子集，该帧内预测模式子集包括与当前图像块的多条参考线相关的帧内预测模式但不包括与所述当前图像块的主参考线相关的帧内预测模式；当第一帧内预测模式包含在所述帧内预测模式子集内时，通过备选帧内预测模式索引对第一帧内预测模式进行解码；以及当第一帧内预测模式未包含在帧内预测模式子集内时，通过帧内预测模式索引对第一帧内预测模式进行解码；以及显示构件，用于根据第一帧内预测模式显示包括图像块的视频数据。

一种方法，包括：将包括编码为预测块的图像块的码流存储到存储构件中；处理构件获取通过直流(Direct Current，DC)帧内预测模式进行编码的当前预测块；确定DC预测值，通过确定与当前预测块相关联的多条参考线中的至少两个的所有参考样本的平均值来大致估计对应于当前预测块的当前图像块；处理器根据DC预测值来重构当前图像块；以及在显示构件上显示包括当前图像块的视频帧。

一种视频编解码设备，包括：接收构件，用于接收码流；处理构件，用于对来自码流中的帧内预测模式进行解码，该帧内预测模式指示当前块与已选参考线之间的关系，当前块与包括已选参考线的多条参考线相关联，以及根据已选码字对已选参考线进行解码，已选码字指示已选参考线，已选码字的长度取决于已选参考线的选择概率；以及显示构件，用于显示视频数据，视频数据包括根据帧内预测模式和已选参考线进行解码的图像块。当第一组件与第二组件之间不存在除线路、轨迹或其它介质除外的中介组件时，将第一组件直接耦合到第二组件。当第一组件与第二组件之间存在除线路、轨迹或其它介质除外的中介组件时，将第一组件间接耦合到第二组件。术语“耦合”及其变体包括直接耦合和间接耦合。除非另有说明，否则使用术语“约”是指包括后续数字的±10％的范围。

虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其它特定形式来体现。应将本发明的示例视为说明性而非限制性的，且本发明并不限于本文中所给出的细节。例如，各种元件或组件可以在另一系统中组合或整合，或者某些特征可以省略或不实施。

此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、组件、技术或方法进行组合或合并。其它变更、替换、更替示例对本领域技术人员而言是显而易见的，均不脱离此处公开的精神和范围。

Claims (15)

1.一种视频编码方法，其特征在于，包括：

确定当前图像块的参考线；

当所述参考线为其它参考线时，确定所述当前图像块的帧内预测模式包含在帧内预测模式子集内，所述其它参考线为位置比主参考线离所述当前图像块更远的参考线，所述帧内预测模式子集包括与所述当前图像块的多条参考线相关的帧内预测模式但不包括仅与所述当前图像块的所述主参考线相关的帧内预测模式；

发送码流，所述码流中包括所述其它参考线的索引和备选帧内预测模式索引，所述备选帧内预测模式索引指示所述帧内预测模式子集内的帧内预测模式。

2.根据权利要求1所述的方法，其特征在于，所述帧内预测模式子集包括为已编码相邻块选择的帧内预测模式，所述已编码相邻块与所述当前图像块的位置存在预定邻接。

3.根据权利要求1或2任一所述的方法，其特征在于，还包括：

当所述参考线为所述主参考线时，确定所述当前图像块的帧内预测模式包含在帧内预测模式列表中，所述帧内预测模式列表包括所有可用的帧内预测模式。

4.根据权利要求1-3任一所述的方法，其特征在于，

所述参考线的索引由多个码字指示，离所述当前图像块第二远的参考线由长度第二短的码字指示。

5.根据权利要求1-4任一所述的方法，其特征在于，当所述参考线为所述主参考线，所述参考线的索引为0；当所述参考线为所述其它参考线，所述参考线的索引不为0。

6.根据权利要求1-5任一所述的方法，其特征在于，所述备选帧内预测模式索引通过语法元素mpm_idx来表示。

7.一种视频编码设备，其特征在于，包括：

处理器，用于：

确定当前图像块的参考线；

当所述参考线为其它参考线时，确定所述当前图像块的帧内预测模式包含在帧内预测模式子集内，所述其它参考线为位置比主参考线离所述当前图像块更远的参考线，所述帧内预测模式子集包括与所述当前图像块的多条参考线相关的帧内预测模式但不包括仅与所述当前图像块的所述主参考线相关的帧内预测模式；

发送器，耦合到所述处理器，用于：

发送码流，所述码流中包括所述其它参考线的索引和备选帧内预测模式索引，所述备选帧内预测模式索引指示所述帧内预测模式子集内的帧内预测模式。

8.根据权利要求7所述的视频编码设备，其特征在于，所述帧内预测模式子集包括平面预测模式和直流（Direct Current，DC）预测模式。

9.根据权利要求7所述的视频编码设备，其特征在于，所述帧内预测模式子集包括为已解码相邻块选择的帧内预测模式，所述已解码相邻块与所述当前图像块的位置存在预定邻接。

10.根据权利要求7-9任一所述的视频编码设备，其特征在于，所述处理器还用于：

当所述参考线为所述主参考线时，确定所述当前图像块的帧内预测模式包含在帧内预测模式列表中，所述帧内预测模式列表包括所有可用的帧内预测模式。

11.根据权利要求7-10任一所述的视频编码设备，其特征在于，所述参考线的索引由多个码字指示，离所述当前图像块第二远的参考线由长度第二短的码字指示。

12.根据权利要求7-11任一所述的视频编码设备，其特征在于，所述参考线包括参考行，根据去块滤波器操作所使用的参考行数量来选择针对所述当前图像块存储的参考行的数量。

13.根据权利要求7-12任一所述的视频编码设备，其特征在于，当所述参考线为所述主参考线，所述参考线的索引为0；当所述参考线为所述其它参考线，所述参考线的索引不为0。

14.根据权利要求7-13任一所述的视频编码设备，其特征在于，所述备选帧内预测模式索引通过语法元素mpm_idx来表示。

15.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令被处理器执行，以完成：

确定当前图像块的参考线；

当所述参考线为其它参考线时，确定所述当前图像块的帧内预测模式包含在帧内预测模式子集内，所述其它参考线为位置比主参考线离所述当前图像块更远的参考线，所述帧内预测模式子集包括与所述当前图像块的多条参考线相关的帧内预测模式但不包括仅与所述当前图像块的所述主参考线相关的帧内预测模式；

发送码流，所述码流中包括所述其它参考线的索引和备选帧内预测模式索引，所述备选帧内预测模式索引指示所述帧内预测模式子集内的帧内预测模式。