CN114885164B

CN114885164B - 确定帧内预测模式的方法、装置及电子设备和存储介质

Info

Publication number: CN114885164B
Application number: CN202210812322.0A
Authority: CN
Inventors: 胡祥斌; 翟云; 杨作兴
Original assignee: Shenzhen MicroBT Electronics Technology Co Ltd
Current assignee: Shenzhen MicroBT Electronics Technology Co Ltd
Priority date: 2022-07-12
Filing date: 2022-07-12
Publication date: 2022-09-30
Anticipated expiration: 2042-07-12
Also published as: CN114885164A

Abstract

本发明实施方式提出确定帧内预测模式的方法、装置及电子设备和存储介质。方法包括：确定当前块中的第一区域及第二区域，其中所述第一区域与所述当前块的后续块的帧内预测过程相关联；基于第一区域的第一权重和所述第二区域的第二权重，确定多个候选帧内预测模式中的每个候选帧内预测模式的率失真代价，其中所述第一权重大于所述第二权重；基于所述多个候选帧内预测模式的率失真代价的比较结果，从所述多个候选帧内预测模式中确定所述当前块的帧内预测模式。本发明实施方式区别性地提高第一区域内像素的质量，使得后续块的预测精度获得提升。

Description

确定帧内预测模式的方法、装置及电子设备和存储介质

技术领域

本发明属于视频编解码技术领域，特别是确定帧内预测模式的方法、装置及电子设备和存储介质。

背景技术

当前视频编码标准中，诸如H.264/H.265/H.266等框架中均包含帧内预测（Intra-Prediction）模块。帧内预测是利用视频空间域的相关性，使用同一帧图像内的邻近已编码像素预测当前像素，以达到有效去除视频时域冗余的目的。在帧内编码中，需要确定帧内预测模式（即预测方向），例如高效视频编码（High Efficiency Video Coding，HEVC）标准中定义了35种帧内编码预测方向。

在现有技术中，预测块中的每个像素对于帧内预测模式的选择影响权重是相同的，不利于后续块的预测精度。

发明内容

本发明实施方式提出确定帧内预测模式的方法、装置及电子设备和存储介质。

本发明实施方式的技术方案如下：

一种确定帧内预测模式的方法，包括：

确定当前块中的第一区域及第二区域，其中所述第一区域与所述当前块的后续块的帧内预测过程相关联；

基于第一区域的第一权重和所述第二区域的第二权重，确定多个候选帧内预测模式中的每个候选帧内预测模式的率失真代价，其中所述第一权重大于所述第二权重；

基于所述多个候选帧内预测模式的率失真代价的比较结果，从所述多个候选帧内预测模式中确定所述当前块的帧内预测模式。

在示范性实施方式中，所述第二区域包括除所述第一区域之外的剩余区域；所述第一区域包括下列中的至少一个：

所述当前块中的最右列；

所述当前块中的最下行；

所述当前块中的最右列和所述当前块中的最下行。

在示范性实施方式中，所述基于第一区域的第一权重和所述第二区域的第二权重，确定多个候选帧内预测模式中的每个候选帧内预测模式的率失真代价包括：

针对每个候选帧内预测模式，分别执行下列步骤：

基于所述候选帧内预测模式，确定第一区域中的每个像素的预测值及第二区域中的每个像素的预测值；

确定所述第一区域中每个像素的、原始值与预测值之间的第一残差值及所述第二区域中每个像素的、原始值与预测值之间的第二残差值；

基于第一运算结果与第二运算结果的和，确定所述候选帧内预测模式的率失真代价，其中所述第一运算结果为第一权重与第一残差值的乘积，第二运算结果为第二权重与第二残差值的乘积。

在示范性实施方式中，所述基于所述候选帧内预测模式，确定第一区域中的每个像素的预测值包括：

基于沿所述候选帧内预测模式的预测方向的、相邻已重建块中的相邻边缘像素，确定第一区域中的每个像素的预测值。

基于沿所述候选帧内预测模式的预测方向的、相邻已重建块中的相邻边缘像素以及所述相邻已重建块中的、所述相邻边缘像素的预定数目的周边像素点，以平均值计算方式确定第一区域中的每个像素的预测值，其中所述周边像素点关于所述预测方向轴对称。

基于沿所述候选帧内预测模式的预测方向的、相邻已重建块中的相邻边缘像素以及所述相邻已重建块中的、所述相邻边缘像素的预定数目的周边像素点，以加权值计算方式确定第一区域中的每个像素的预测值，其中所述周边像素点关于所述预测方向轴对称，所述相邻边缘像素的权重大于所述周边像素点的权重。

一种确定帧内预测模式的装置，包括：

区域确定模块，被配置为确定当前块中的第一区域及第二区域，其中所述第一区域与所述当前块的后续块的帧内预测过程相关联；

代价确定模块，被配置为基于第一区域的第一权重和所述第二区域的第二权重，确定候选帧内预测集中的候选帧内预测模式的率失真代价，其中所述第一权重大于所述第二权重；

模式确定模块，被配置为基于所述候选帧内预测集中的候选帧内预测模式的率失真代价的比较结果，从所述候选帧内预测集中确定所述当前块的帧内预测模式。

在示范性实施方式中，所述代价确定模块，被配置为针对每个候选帧内预测模式，分别执行：基于所述候选帧内预测模式，确定第一区域中的每个像素的预测值及第二区域中的每个像素的预测值；确定所述第一区域中每个像素的、原始值与预测值之间的第一残差值及所述第二区域中每个像素的、原始值与预测值之间的第二残差值；基于第一运算结果与第二运算结果的和，确定所述候选帧内预测模式的率失真代价，其中所述第一运算结果为第一权重与第一残差值的乘积，第二运算结果为第二权重与第二残差值的乘积。

一种电子设备，包括：

存储器；

处理器；

其中所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上任一项所述的确定帧内预测模式的方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令在被处理器执行时，使所述处理器执行如上任一项所述的确定帧内预测模式的方法。

从上述技术方案可以看出，在本发明实施方式中，确定当前块中的第一区域及第二区域，其中第一区域与当前块的后续块的帧内预测过程相关联；基于第一区域的第一权重和第二区域的第二权重，确定多个候选帧内预测模式中的每个候选帧内预测模式的率失真代价，其中第一权重大于第二权重；基于所述多个候选帧内预测模式的率失真代价的比较结果，从多个候选帧内预测模式中确定当前块的帧内预测模式。本发明实施方式区别性地提高第一区域内像素的质量，使得后续块的预测精度获得提升。

附图说明

图1为本发明实施方式的帧内预测中的当前块与相邻块的示范性示意图。

图2A为本发明实施方式当前块中的第一区域与第二区域的示意图。

图2B为本发明实施方式4*4的当前块中、与后续块的预测过程相关联的像素的示意图。

图3为本发明实施方式的确定帧内预测模式的方法的流程图。

图4为本发明实施方式的确定预测值的示范性示意图。

图5为本发明实施方式的确定预测值的示范性流程图。

图6为本发明实施方式的确定帧内预测模式的装置的示范性结构图。

图7为本发明实施方式的电子设备的示范性结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。

以下，对本公开实施方式涉及的术语进行解释说明。

率失真优化：通过率失真优化方法从众多候选编码模式与候选编码参数中选取最优的编码参数集合，以实现最优的编码性能，亦即使得失真度和码率达到最佳的平衡。

量化（Quantization）：量化是指将信号的连续取值（或者大量可能的离散取值）映射为有限多个离散幅值的过程，实现信号取值多对一的映射。

熵（Entropy）：信源的平均信息量，更精确的描述为表示信源所有符号包含信息的平均比特数。

熵编码：数据压缩中根据信源消息的概率模型使消息的熵最小化。

帧内预测通常包含多个预测模式（即预测方向），需要从所有的预测模式中选择出最优的预测模式。在当前块的帧内预测中，利用当前块的相邻块（包括在当前块的左侧且与当前块相邻的左块、在当前块的左上侧且与当前块相邻的左上块、在当前块的左下侧且与当前块相邻的左下块、在当前块的上侧且与当前块相邻的上块、以及在当前块的右上侧且与当前块相邻的右上块）中的、与当前块相邻的边缘像素对当前块进行预测，从而去除空域相关性以提升压缩性能。可见，相邻块中的这些边缘像素的质量（也就是，与原始像素的接近程度）可以影响当前块的预测精度。

因此，在利用当前块的相邻块的自身编码过程中，若能提升相邻块中的这些边缘像素（通常位于相邻块的右方边缘和/或下方边缘，从而被当前块及其他块用于预测）的质量，则有利于提升当前块及后续块的预测精度。

然而，在现有技术中，每个帧内预测块中的每个像素的失真对于该帧内预测块的帧内预测模式的选择影响权重是相同的，导致帧内预测的压缩性能难以提高。比如，在计算帧内预测块的率失真代价时，帧内预测块内所有位置处的像素是同等对待的，并未单独区分后续对其他块的预测精度有关联的右方边缘和/或下方边缘的像素失真情况，因此右方边缘和/或下方边缘的像素质量并没有被区别性地提高，导致以帧内预测块作为参考块的后续块的预测精度难以获得提升。

图2A为本发明实施方式当前块中的第一区域与第二区域的示意图。以当前块ABCD实施为N*N块为例进行示范性说明，其中PB为第一行中的最右像素的长度；MD为第一列中的最下像素的高度；从P点沿当前块的列方向作出的直线，与从M点沿当前块的行方向做出的直线相交于点Q。第一区域，可以用于当前块ABCD的后续块的帧内预测。第一区域21包括：多边形PBCDMQ。当前块ABCD中的、去除第一区域21后的剩余区域即为第二区域22。第二区域22包括：四边形AMQP。

图2B为本发明实施方式4*4的当前块中、与后续块的预测过程相关联的像素的示意图。在图2B中，以当前块实施为4*4的块为例进行示范性说明。

可见，该4*4当前块中的最右列包含四个像素（像素1、像素2、像素3和像素4），该4*4当前块中的最下行包含四个像素（像素4、像素5、像素6和像素7）。因此，最右列和最下行共计包括7个像素（像素1、像素2、像素3、像素4、像素5、像素6和像素7）。这7个像素与以该当前块作为参考块的后续块的预测精度相关联。因此，通过提升当前块中最右列及最下行中的这7个像素的质量，可以提升以当前块作为参考块的后续块的预测精度。

以上以4*4的块为例进行说明。实际上，当前块还可以实施为2*2、8*8、16*16、32*32或64*64等其他尺寸的正方形，或当前块可以实施为长方形等形状，本发明实施方式对此并无限定。总之，当前块中的最右列以及最下行，与以该当前块作为参考块的后续块的预测精度相关联，需要被提升质量。

图3为本发明实施方式的确定帧内预测模式的方法的流程图。

如图3所示，该方法包括：

步骤301：确定当前块中的第一区域及第二区域，其中第一区域与当前块的后续块的帧内预测过程相关联。

在示范性实施方式中，第二区域包括当前块中除第一区域之外的剩余区域。第一区域可以实施为下列情形中的任一个：

（1）当前块中的最右列；

（2）当前块中的最下行；

（3）当前块中的最右列和当前块中的最下行。

当第一区域实施为当前块中的最右列时，第一区域可以包含最右列中的一或多个像素，第一区域优选包含最右列中的全部像素。当第一区域实施为当前块中的最下行时，第一区域可以包含最下行中的一或多个像素，第一区域优选包含最下行中的全部像素。当第一区域实施为当前块中的最右列和最下行时，第一区域可以包含最右列和最下行中的一或多个像素，第一区域优选包含最右列和最下行中的全部像素。

步骤302：基于第一区域的第一权重和第二区域的第二权重，确定多个候选帧内预测模式中的每个候选帧内预测模式的率失真代价，其中第一权重大于第二权重。

在这里，预先设定第一区域的、参与率失真代价计算的第一权重和第二区域的、参与率失真代价计算的第二权重，其中第一权重大于第二权重，从而第一区域中的像素对率失真代价的影响因子大于第二区域中的像素对率失真代价的影响因子。其中，第一区域中的每个像素的第一权重可以相同，也可以不同。

目前的视频编码标准的帧内预测通常包含多种候选预测模式（也就是预测方向）。比如，H.264中的候选预测模式可达9种，HEVC中的候选预测模式可达33种，H.266中的候选预测模式可达67种。在目前的帧内预测时，对于每种候选预测模式（也就是每个方向预测），预测块内每个位置的像素预测计算公式是一致的，并未对预测块的下方边缘和右方边缘有单独区别。如上所述，帧内预测编码块的下方边缘和右方边缘的重建像素可能会被用于后续的块的预测值，因此在帧内预测时，若对下方边缘和右方边缘位置的像素使用更复杂度的预测计算过程，可重点提升下方边缘和右方边缘位置的像素预测准确程度，从而提升下方边缘和右方边缘位置的像素图像质量，亦即可以提升后续用到这些像素作为参考的块的图像质量。

因此，针对现有技术中帧内预测块的失真计算时所有位置像素同等对待，并未单独区分下方边缘和右方边缘像素的不足，本发明实施方式在当前块的率失真代价计算时，将当前块中的下方边缘和右方边缘的像素失真的权重提升，使得通过率失真选择出来的最佳模式对应的下方边缘和右方边缘的像素质量更好，从而使得后续块的预测精度获得提升。

在示范性实施方式中，步骤302中基于第一区域的第一权重和第二区域的第二权重，确定多个候选帧内预测模式中的每个候选帧内预测模式的率失真代价包括：

针对每个候选帧内预测模式，分别执行下列步骤：（1）、基于候选帧内预测模式，确定第一区域中的每个像素的预测值及第二区域中的每个像素的预测值；（2）、确定第一区域中每个像素的、原始值与预测值之间的第一残差值及第二区域中每个像素的、原始值与预测值之间的第二残差值；（3）、基于第一运算结果与第二运算结果的和，确定候选帧内预测模式的率失真代价，其中第一运算结果为第一权重与第一残差值的乘积，第二运算结果为第二权重与第二残差值的乘积。在计算第一残差值和第二残差值的过程中，可以采用原始值与预测值的差运算的绝对值或基于该绝对值的各种变换方式，或针对差运算做出各种变换（比如平方差运算）等等，本发明实施方式对此并无限定。

因此，可以计算出当前块在每个候选帧内预测模式中的率失真代价。后续可以对当前块在全部候选帧内预测模式中的率失真代价进行比较，并基于比较结果从全部候选帧内预测模式中确定出最佳的帧内预测模式（比如，一般是选择率失真代价最小的一个候选帧内预测模式，作为最佳的帧内预测模式）。

下面以绝对误差和（Sum of Absolute Difference，SAD）为例，描述率失真代价的示范性计算过程。

假定当前块为N*N的正方形块；X轴方向上的像素编号为0~N-1，Y轴方向上的像素编号为0~N-1；N为正整数；候选帧内预测模式（mode）可以包含多个。

针对每个候选帧内预测模式，计算该候选帧内预测模式的绝对误差和SAD_mode。其中：

；

其中：

为取绝对值运算；(x,y)为当前块中的像素坐标；OrgValue(x,y)为像素坐标(x,y)的原始值；PredValue(x,y)为基于候选帧内预测模式确定的、像素坐标(x,y)的预测值；weight(x,y)为像素坐标(x,y)的权重；其中：当像素坐标(x,y)位于第一区域时，weight(x,y)=a；当像素坐标(x,y)位于第二区域时，weight(x,y)=b；b小于a。比如，a大于1，b小于1。

然后，计算每个候选帧内预测模式的率失真代价J_mode，其中：

J_mode＝SAD_mode＋λ*R_mode；其中：λ为拉格朗日参数; R_mode为候选帧内预测模式的编码比特数。

以上以SAD为实例，描述了率失真代价的计算过程，本领域技术人员可以意识到，还可以采用其它方式计算率失真代价，本发明实施方式对此并无限定。

步骤303：基于多个候选帧内预测模式的率失真代价的比较结果，从所述多个候选帧内预测模式中确定所述当前块的帧内预测模式。

基于上述率失真代价的计算方式，可以计算出每个候选帧内预测模式的率失真代价。然后，基于全部候选帧内预测模式的全部率失真代价的比较结果，从全部候选帧内预测模式中确定出最佳的的候选帧内预测模式（一般是选择率失真代价最小的一个候选帧内预测模式，作为最佳的候选帧内预测模式），并将该最佳的候选帧内预测模式确定为当前块的帧内预测模式。

在示范性实施方式中，在候选帧内预测模式的率失真代价的计算过程中，基于候选帧内预测模式，确定第一区域中的每个像素的预测值包括：

方式（1）：基于沿候选帧内预测模式的预测方向的、相邻已重建块中的相邻边缘像素，确定第一区域中的每个像素的预测值。

图4为本发明实施方式的确定预测值的示范性示意图。在图4，当前块实施为4*4的块。第一区域包括最右列和最下行的像素，共计包括7个像素（像素1、像素2、像素3、像素4、像素5、像素6和像素7）。

基于方式（1），可以基于沿候选帧内预测模式的预测方向的、当前块的相邻已重建块中的相邻边缘像素，确定第一区域中的每个像素的预测值。

举例1：当候选帧内预测模式的预测方向为垂直方向（如图4的Y1所示）时，当前块的最右列中的四个像素（像素1、像素2、像素3和像素4）的像素预测值，分别为Pred(1)、Pred(2)、Pred(3)和 Pred(4)。沿Y1方向的相邻已重建块中，该最右列的相邻边缘像素为像素D。Pred(1)、Pred(2)、Pred(3)和 Pred(4)相同，且等于像素D的重建像素值。而且，当前块的最下行中的像素5的像素预测值Pred(5)等于沿Y1方向的像素C的重建像素值；当前块的最下行中的像素6的像素预测值Pred(6)，等于沿Y1方向的像素B的重建像素值；当前块的最下行中的像素7的像素预测值Pred(7)，等于沿Y1方向的像素A的重建像素值。

举例2：当候选帧内预测模式的预测方向为水平方向（如图4的Y2所示）时，当前块的最下行中的四个像素（像素4、像素5、像素6和像素7）的像素预测值，分别为Pred(4)、Pred(5)、Pred(6)和 Pred(7)。沿Y2方向的相邻已重建块中，该最下行的相邻边缘像素为像素M，则Pred(4)、Pred(5)、Pred(6)和 Pred(7)相等，且等于像素M的重建像素值。而且，当前块的最右列中的像素3的像素预测值Pred(3)等于沿Y2方向的像素L的重建像素值；当前块的最下行中的像素2的像素预测值Pred(2)，等于沿Y2方向的像素K的重建像素值；当前块的最下行中的像素1的像素预测值Pred(1)，等于沿Y2方向的像素J的重建像素值。

在上述举例（1）和举例（2）中，参照H.264标准示范性描述了对方式（1）执行具体实施以计算像素的预测值（可简称为像素预测值）的典型实例。本领域技术人员可以意识到，还可以参照H.265、H.266等其他标准对方式（1）执行具体实施，本发明实施方式对此并无限定。

在方式（1）中，可以基于候选帧内预测模式的预测方向上的一个相邻像素，快速确定出第一区域中的像素的预测值。为提高第一区域中像素的重建质量，本发明实施方式在帧内预测的每个方向预测计算时，优选对第一区域中像素使用更复杂的预测方法。

在示范性实施方式中，基于候选帧内预测模式，确定第一区域中的每个像素的预测值还包括：

方式（2）：基于沿候选帧内预测模式的预测方向的、相邻已重建块中的相邻边缘像素以及相邻已重建块中的、相邻边缘像素的预定数目的周边像素点，以平均值计算方式确定第一区域中的每个像素的预测值，其中周边像素点关于预测方向轴对称。其中，预定数目可以为2，或者大于2的正整数。

举例1：当候选帧内预测模式的预测方向为垂直方向（如图4的Y1所示）时，当前块的最右列中的四个像素（像素1、像素2、像素3和像素4）的像素预测值，分别为Pred(1)、Pred(2)、Pred(3)和 Pred(4)。沿Y1方向的相邻已重建块中，该最右列的相邻边缘像素为像素D，而且相邻已重建块中的、像素D周边的像素C和像素E关于Y1方向轴对称。Pred(1)、Pred(2)、Pred(3)和 Pred(4)相同，且等于像素C、像素D和像素E的重建像素值的平均值。比如，Pred(1)=Pred(2)=Pred(3)=Pred(4)=(c+d+e)/3，其中c为像素C的重建像素值；d为像素D的重建像素值；e为像素E的重建像素值。类似地：当前块的最下行中的像素5的像素预测值Pred(5)等于像素B、像素C和像素D的重建像素值的平均值；当前块的最下行中的像素6的像素预测值Pred(6)，等于像素A、像素B和像素C的重建像素值的平均值；当前块的最下行中的像素7的像素预测值Pred(7)，等于像素I、像素A和像素B的重建像素值的平均值。

举例2：当候选帧内预测模式的预测方向为水平方向（如图4的Y2所示）时，当前块的最下行中的四个像素（像素4、像素5、像素6和像素7）的像素预测值，分别为Pred(4)、Pred(5)、Pred(6)和 Pred(7)。沿Y1方向的相邻已重建块中，该最下行的相邻边缘像素为像素M，而且像素M周边的像素L和像素O关于Y1方向轴对称。Pred(4)、Pred(5)、Pred(6)和 Pred(7)相等，且等于像素L、像素M和像素O的重建像素值的平均值。比如，Pred(4)=Pred(5) =Pred(6)=Pred(7)= (l+m+o)/3，其中l为像素L的重建像素值；m为像素M的重建像素值；o为像素O的重建像素值。类似地：当前块的最右列中的像素3的像素预测值Pred(3)等于像素K、像素L和像素M的重建像素值的平均值；当前块的最右列中的像素2的像素预测值Pred(2)，等于像素J、像素K和像素L的重建像素值的平均值；当前块的最右列中的像素1的像素预测值Pred(1)，等于像素I、像素J和像素K的重建像素值的平均值。

以上以水平方向和垂直方向为例，描述了确定第一区域中的每个像素的预测值的典型实例，实际上，方式（2）针对任意方向都是适用的。比如，当预测方向为如图4所示的Y3方向时，可以由沿Y3方向的像素J、像素T及像素S的重建像素值的平均值确定Pred(3)，其中像素T和像素S关于Y3方向轴对称。

以上以周边像素点的数目为2为例对方式（2）进行示范性描述，实际上周边像素点的数目还可以为更多，本发明实施方式对此并无限定。

方式（3）：基于沿所述候选帧内预测模式的预测方向的、相邻已重建块中的相邻边缘像素以及所述相邻已重建块中的、所述相邻边缘像素的预定数目的周边像素点，以加权值计算方式确定第一区域中的每个像素的预测值，其中所述周边像素点关于所述预测方向轴对称，所述相邻边缘像素的权重大于所述周边像素点的权重。其中，预定数目可以为2，或者大于2的正整数。

举例1：当候选帧内预测模式的预测方向为垂直方向（如图4的Y1所示）时，当前块的最右列中的四个像素（像素1、像素2、像素3和像素4）的像素预测值，分别为Pred(1)、Pred(2)、Pred(3)和 Pred(4)。沿Y1方向的相邻已重建块中，该最右列的相邻边缘像素为像素D，而且相邻已重建块中的、像素D周边的像素C和像素E关于Y1方向轴对称。Pred(1)、Pred(2)、Pred(3)和 Pred(4)相同，且等于像素C、像素D和像素E的重建像素值的加权值。比如，Pred(1)=Pred(2)=Pred(3)=Pred(4)=（k1*c+k2*d+k3*e）/（k1+k2+k3），其中c为像素C的重建像素值；d为像素D的重建像素值；e为像素E的重建像素值；k1为像素C的预定加权系数；k2为像素D的预定加权系数；k3为像素E的预定加权系数。比如，k2等于2，k1和k3都等于1。

类似地：当前块的最下行中的像素5的像素预测值Pred(5)等于像素B、像素C和像素D的重建像素值的加权值；当前块的最下行中的像素6的像素预测值Pred(6)，等于像素A、像素B和像素C的重建像素值的加权值；当前块的最下行中的像素7的像素预测值Pred(7)，等于像素I、像素A和像素B的重建像素值的加权值。

举例2：当候选帧内预测模式的预测方向为水平方向（如图4的Y2所示）时，当前块的最下行中的四个像素（像素4、像素5、像素6和像素7）的像素预测值，分别为Pred(4)、Pred(5)、Pred(6)和Pred(7)。沿Y1方向的相邻已重建块中，该最下行的相邻边缘像素为像素M，而且像素M周边的像素L和像素O关于Y2方向轴对称。Pred(4)、Pred(5)、Pred(6)和Pred(7)相等，且等于像素L、像素M和像素O的重建像素值的加权值。比如，Pred(4)=Pred(5) =Pred(6)=Pred(7)=（p1*l+p2*m+p3*o）/（p1+p2+p3），其中l为像素L的重建像素值；m为像素M的重建像素值；o为像素O的重建像素值；p1为像素L的预定加权系数；p2为像素M的预定加权系数；p3为像素O的预定加权系数。比如，p2等于2，p1和p3都等于1。类似地：当前块的最右列中的像素3的像素预测值Pred(3)等于像素K、像素L和像素M的重建像素值的加权值；当前块的最右列中的像素2的像素预测值Pred(2)，等于像素J、像素K和像素L的重建像素值的加权值；当前块的最右列中的像素1的像素预测值Pred(1)，等于像素I、像素J和像素K的重建像素值的加权值。

以上以水平方向和垂直方向为例，描述了确定第一区域中的每个像素的预测值的典型实例，实际上，方式（3）针对任意方向都是适用的，而且对于任意方向而言，周边像素点的预定数目可以为2或更多。比如，当预测方向为如图4所示的Y3方向时，Pred(3)可以由沿Y3方向的像素J、关于Y3方向轴对称的像素T及像素S，这三个像素（像素J、像素T及像素S）的重建像素值的共同加权决定，其中像素J的权重大于像素T及像素S的权重。再比如，当预测方向为如图4所示的Y3方向时，Pred(3)可以由沿Y3方向的像素J及关于Y3方向轴对称的更多个像素的重建像素值的共同加权决定。

以上以周边像素点的数目为2为例对方式（3）进行示范性描述，实际上周边像素点的数目还可以为更多，本发明实施方式对此并无限定。

上述方式（1）属于以通用的方向预测方式计算像素预测值；上述的方式（2）和方式（3）属于以复杂的方向预测方式计算像素预测值。通过对第一区域采用复杂的方向预测方式计算像素预测值，可以区别性地提高第一区域内像素的质量，从而使得后续块的预测精度获得提升。

图5为本发明实施方式的确定预测值的示范性流程图。如图5所示，针对当前块中的每个像素，该方法包括如下步骤：

步骤501：判断像素是否属于当前块的第一区域，如果是，执行步骤502及其后续步骤，否则执行步骤503及其后续步骤。

步骤502：以复杂的方向预测方式计算像素预测值。比如，以上述方式（2）或方式（3）计算像素预测值，并执行步骤504。

步骤503：以通用的方向预测方式计算像素预测值。比如，以上述方式（1）计算像素预测值，并执行步骤504。

步骤504：判断当前块是否是最后一个预测块，如果是，结束本流程，否则执行步骤505及其后续步骤。

步骤505：遍历到下一个预测块，并返回步骤501。

在从多个候选帧内预测模式中选中当前块的帧内预测模式后，应用该选中的帧内预测模式对当前块执行帧内预测，以计算出当前块中每个像素的预测值，然后计算像素的原始值与预测值之间的差值（比如，称为残差），对差值执行变换，再对变换后的系数执行量化处理。

图6为本发明实施方式的确定帧内预测模式的装置的示范性结构图。如图6所示，确定帧内预测模式的装置600包括：

区域确定模块601，被配置为确定当前块中的第一区域及第二区域，其中第一区域与当前块的后续块的帧内预测过程相关联；

代价确定模块602，被配置为基于第一区域的第一权重和第二区域的第二权重，确定候选帧内预测集中的候选帧内预测模式的率失真代价，其中第一权重大于第二权重；

模式确定模块603，被配置为基于候选帧内预测集中的候选帧内预测模式的率失真代价的比较结果，从候选帧内预测集中确定当前块的帧内预测模式。

在示范性实施方式中，第二区域包括除第一区域之外的剩余区域；第一区域包括下列中的至少一个：当前块中的最右列；当前块中的最下行；当前块中的最右列和当前块中的最下行，等等。

在示范性实施方式中，基于第一区域的第一权重和第二区域的第二权重，确定多个候选帧内预测模式中的每个候选帧内预测模式的率失真代价包括：针对每个候选帧内预测模式，分别执行下列步骤：基于候选帧内预测模式，确定第一区域中的每个像素的预测值及第二区域中的每个像素的预测值；确定第一区域中每个像素的、原始值与预测值之间的第一残差值及第二区域中每个像素的、原始值与预测值之间的第二残差值；基于第一运算结果与第二运算结果的和，确定候选帧内预测模式的率失真代价，其中第一运算结果为第一权重与第一残差值的乘积，第二运算结果为第二权重与第二残差值的乘积。

在示范性实施方式中，基于候选帧内预测模式，确定第一区域中的每个像素的预测值包括：基于沿候选帧内预测模式的预测方向的、相邻已重建块中的相邻边缘像素，确定第一区域中的每个像素的预测值。

在示范性实施方式中，基于候选帧内预测模式，确定第一区域中的每个像素的预测值包括：基于沿候选帧内预测模式的预测方向的、相邻已重建块中的相邻边缘像素以及相邻已重建块中的、相邻边缘像素的预定数目的周边像素点，以平均值计算方式确定第一区域中的每个像素的预测值，其中周边像素点关于预测方向轴对称；或，基于沿候选帧内预测模式的预测方向的、相邻已重建块中的相邻边缘像素以及相邻已重建块中的、相邻边缘像素的预定数目的周边像素点，以加权值计算方式确定第一区域中的每个像素的预测值，其中周边像素点关于预测方向轴对称，相邻边缘像素的权重大于周边像素点的权重。

本发明还分别提出一种电子设备。电子设备包括：处理器；存储器；其中存储器中存储有可被处理器执行的应用程序，用于使得处理器执行如上实施方式的确定帧内预测模式的方法。其中，存储器具体可以实施为电可擦可编程只读存储器（EEPROM）、快闪存储器（Flash memory）、可编程程序只读存储器（PROM）等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU、MCU或数字信号处理器（DSP）。

图7为本发明实施方式的电子设备的示范性结构图。优选地，电子设备800可以实施为边缘设备、本地服务器或云端服务器。

电子设备800包括：处理器801和存储器802。处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用数字信号处理（DigitalSignal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器（Central Processing Unit，CPU）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施方式中，处理器801可以在集成有图像处理器（Graphics Processing Unit，GPU），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施方式中，处理器801还可以包括AI处理器，该AI处理器用于处理有关机器学习的计算操作。比如，AI处理器可以实施为神经网络处理器。

存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。

在一些实施方式中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本公开中各个实施方式提供的确定帧内预测模式的方法。在一些实施方式中，电子设备800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、触摸显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。外围设备接口803可被用于将输入/输出（Input /Output，I/O）相关的至少一个外围设备连接到处理器801和存储器802。在一些实施方式中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施方式中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施方式对此不加以限定。

射频电路804用于接收和发射射频（Radio Frequency，RF）信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络（2G、3G、4G及5G）、无线局域网和/或无线保真（Wireless Fidelity，Wi-Fi）网络。在一些实施方式中，射频电路804还可以包括近距离无线通信（Near Field Communication，NFC）有关的电路，本公开对此不加以限定。

显示屏805用于显示用户界面（User Interface，UI）。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施方式中，显示屏805可以为一个，设置在电子设备800的前面板；在另一些实施方式中，显示屏805可以为至少两个，分别设置在电子设备800的不同表面或呈折叠设计；在一些实施方式中，显示屏805可以是柔性显示屏，设置在电子设备800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用液晶显示屏（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-Emitting Diode，OLED）等材质制备。

摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施方式中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实（Virtual Reality，VR）拍摄功能或者其它融合拍摄功能。在一些实施方式中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施方式中，音频电路807还可以包括耳机插孔。定位组件808用于定位电子设备800的当前地理位置，以实现导航或基于位置的服务（Location Based Service，LBS）。定位组件808可以是基于美国的全球定位系统（Global Positioning System，GPS）、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。电源809用于为电子设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。

本领域技术人员可以理解，上述的结构并不构成对电子设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件（如专用处理器，如FPGA或ASIC）用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路（如包括通用处理器或其它可编程处理器）用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路（如由软件进行配置）来实现硬件模块，可以根据成本和时间上的考虑来决定。

本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本申请方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施方式中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机（或CPU或MPU）读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。

以上，仅为本发明的较佳实施方式而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种确定帧内预测模式的方法，其特征在于，包括：

基于所述多个候选帧内预测模式的率失真代价的比较结果，从所述多个候选帧内预测模式中确定所述当前块的帧内预测模式；

所述第二区域包括除所述第一区域之外的剩余区域；所述第一区域包括下列中的至少一个：

所述当前块中的最右列；

所述当前块中的最下行；

所述当前块中的最右列和所述当前块中的最下行。

2.根据权利要求1所述的确定帧内预测模式的方法，其特征在于，

所述基于第一区域的第一权重和所述第二区域的第二权重，确定多个候选帧内预测模式中的每个候选帧内预测模式的率失真代价包括：

针对每个候选帧内预测模式，分别执行下列步骤：

3.根据权利要求2所述的确定帧内预测模式的方法，其特征在于，所述基于所述候选帧内预测模式，确定第一区域中的每个像素的预测值包括：

4.根据权利要求2所述的确定帧内预测模式的方法，其特征在于，所述基于所述候选帧内预测模式，确定第一区域中的每个像素的预测值包括：

5.根据权利要求2所述的确定帧内预测模式的方法，其特征在于，所述基于所述候选帧内预测模式，确定第一区域中的每个像素的预测值包括：

6.一种确定帧内预测模式的装置，其特征在于，包括：

模式确定模块，被配置为基于所述候选帧内预测集中的候选帧内预测模式的率失真代价的比较结果，从所述候选帧内预测集中确定所述当前块的帧内预测模式；

所述当前块中的最右列；

所述当前块中的最下行；

所述当前块中的最右列和所述当前块中的最下行。

7.根据权利要求6所述的确定帧内预测模式的装置，其特征在于，

所述代价确定模块，被配置为针对每个候选帧内预测模式，分别执行：基于所述候选帧内预测模式，确定第一区域中的每个像素的预测值及第二区域中的每个像素的预测值；确定所述第一区域中每个像素的、原始值与预测值之间的第一残差值及所述第二区域中每个像素的、原始值与预测值之间的第二残差值；基于第一运算结果与第二运算结果的和，确定所述候选帧内预测模式的率失真代价，其中所述第一运算结果为第一权重与第一残差值的乘积，第二运算结果为第二权重与第二残差值的乘积。

8.一种电子设备，其特征在于，包括：

存储器；

处理器；

其中所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如权利要求1至5中任一项所述的确定帧内预测模式的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令在被处理器执行时，使所述处理器执行如权利要求1至5中任一项所述的确定帧内预测模式的方法。