CN107087200B - 针对高效率视频编码标准的跳过编码模式提前判决方法 - Google Patents

Abstract

本发明提出了一种针对高效率视频编码标准的跳过编码模式提前判决方法，解决现有标准编码复杂度较高，编码时间较长的问题，步骤如下：计算编码块的率失真代价，获得运动矢量和残差信息；利用运动矢量大小和残差信息来判定编码块是否为跳过模式，若为非跳过模式进入下一步，否则对下一编码块进行处理；计算当前编码块相邻的前一帧的编码块和后一帧的编码块的率失真代价；利用运动矢量大小和残差信息分别对相邻编码块进行判决，采用熵差的概念来代替计算繁琐的交互信息，快速判决跳过模式，在得到极好编码性能的同时，节省了大量的编码时间，具有实际操作性，便于进行实时应用。本发明在不降低视频编码效率的同时，节省了大量的编码时间。

Description

针对高效率视频编码标准的跳过编码模式提前判决方法

技术领域

本发明涉及视频编码的技术领域，具体涉及一种针对高效率视频编码标准的跳过编码模式提前判决方法，是一种视频编码中编码模式的判决方法，特别是一种面向高效率视频编码标准的快速检测跳过模式方法。

背景技术

近些年来，人们对视频信息，尤其是高清视频以及各种网络视频的获取需求日益增加，视频压缩技术迎来了巨大挑战。ISO/IEC的运动图像专家组(Motion PictureExperts Group，MPEG)和ITU-T的视频编码专家组(Video Coding Expert Group，VCEG)组成视频编码联合组(Joint Collaborative Team on Video Coding，JCT-VC)，并联合制定了高效率视频编码标准H.265/HEVC(High Efficiency Video Coding)。新一代视频编码标准H.265/HEVC增加了很多新的编码工具，与上一代视频编码标准H.264/AVC相比，H.265/HEVC的编码性能有了大幅度的提升。高清视频中将编码模式分为跳过模式、合并模式以及帧内/帧间编码模式，利用这些编码模式可以将视频进行高质量的编码压缩进而传输和储存。但是，编码模式的判决过程需要根据编码单元的分割方式遍历所有编码模式，提高了编码复杂度，增加了编码时间，阻碍了H.265/HEVC的实时应用。

目前，针对高清视频的编码模式快速判决方法已经有许多成熟的技术，如：L.Shen等人提出了针对HEVC帧内编码的快速编码单元(CU)尺寸判决算法，该算法通过减少候选模式数量来达到加速处理的目的。Q.Zhang等人提出快速运动估计/视差估计(DE/ME)算法，可以快速选择最佳帧间编码模式。X.Huang等人提出了基于量化参数的自适应阈值帧间模式检测方法，简化了率失真优化过程并加快了编码时间。但是，这些技术在减少候选模式的同时又引入了新的计算复杂度，所以编码时间无法降到最低。因此，如何在高效率视频编码中有效的选择编码模式，实现出色的编码效率是目前视频编码技术面临的难题之一。

高效率视频编码的跳过模式快速判决方法，实质上是为了避免遍历所有编码模式，降低计算复杂度的同时减少运动矢量和残差信息传输，降低传输比特率。在H.265/HEVC编码过程中，图像中当前像素与其周围相邻像素非常相似，所以编码模式的判决利用的是像素之间较强的时空相关性，通过已编码的像素块对其相邻的未编码像素块进行预测，将像素残差值进行编码，最终确定编码模式，这样便可以较好地选择编码模式，提高压缩效率。而与合并模式、帧内/帧间编码模式不同的是，跳过模式不再传输运动矢量和残差信息。H.265/HEVC提供的高效率视频编码参考模型HM(HEVC Model)是进行全率失真优化，也就是遍历所有编码模式得到每一种模式的残差信息，再对残差值进行Hadamard变换计算其SATD值并选取最小值代表的模式作为最优编码模式，使得计算量巨大，计算时间长。所以，编码模式选择的准确性和适用性对视频的编码效率至关重要。

发明内容

针对现有的H.265/HEVC标准编码复杂度较高，编码时间较长的问题，本发明提出一种针对高效率视频编码标准的跳过编码模式提前判决方法，不仅能在率失真计算过程之前准确检测跳过编码模式，降低编码复杂度，还能有效降低传输比特率。

为了解决上述技术问题，本发明的技术方案是：一种针对高效率视频编码标准的跳过编码模式提前判决方法，其步骤如下：

步骤一：计算分割尺寸大小为2N×2N的编码块的率失真代价，获得运动矢量和残差信息，N表示编码块若为跳过模式时分割尺寸的大小；

步骤二：利用运动矢量大小和残差信息来判定编码块是否为跳过模式，若为非跳过模式进入步骤三，否则进入步骤一对下一编码块进行处理；

步骤三：计算当前编码块CU_C相邻的前一帧的编码块CU_L0和后一帧的编码块CU_L1的率失真代价；

步骤四：利用运动矢量大小和残差信息分别对编码块CU_L0和编码块CU_L1进行判决，当前一帧的编码块CU_L0＝SKIP时，计算距离方程，若满足阈值条件则当前编码块判决为跳过模式；否则，当前编码块则判定为非跳过模式；若前一帧的编码块CU_L0≠SKIP，后一帧的编码块CU_L1＝SKIP，计算距离方程，若满足阈值条件则判决当前编码块为跳过模式，否则，判定当前编码块为非跳过模式；若后一帧的编码块CU_L1≠SKIP，则判定当前编码块为非跳过模式；

步骤五：判决结束，进入步骤(1)继续进行下一个编码块的跳过模式判决。

所述步骤一种率失真代价的方程为：J＝Dif+λ·Bit，Dif是编码块当前编码模式和预测模式的差异平均值，是残差经Hadamard变换后再绝对值求和得到的SATD值，λ是拉格朗日乘子，Bit是比特率、表示编码运动矢量残差所用的比特数；残差信息是衡量编码过程中当前帧编码块和参考帧编码块之间的匹配精确度：Re(x,y)＝c(x,y)-r(x+Δx,y+Δy),s.t.(x,y)∈C；其中，Re(x,y)、c(x,y)、r(x+Δx,y+Δy)分别为残差块、当前块、参考块的像素值，C为当前块，(x,y)是当前块C的坐标，(Δx,Δy)为当前块到参考块的偏移量；运动矢量表示当前帧编码块与邻近帧对应参考块的空间位置的相对偏移量：MV＝R-C＝(x′,y′)-(x,y)＝(x′-x,y′-y)＝(Δx,Δy)；其中，R为参考块，(x′，y′)是R的坐标。

所述步骤二中利用运动矢量大小和残差信息来判定编码块是否为跳过模式的方法是：

(3)

(4)残差Re(x,y)＝0；

若满足以上两个条件则该编码块为静止区域或跳过模式；其中，

和

分别表示中当前帧的编码块和临近帧L₀和临近帧L₁对应位置的编码块运动矢量的绝对值。

所述距离方程为：

其中，

其中，N_s和N_ns分别指以编码为跳过和非跳过模式的编码单元数，i表示编码块深度层次，t表示当前编码块的编码时间；

距离方程利用了熵差ΔH的概念，通过利用当前块和两个参考块相似性ΔH_L0和ΔH_L1的计算方法，可得到跳过模式的编码块和非跳过模式编码块的熵差，其中，当前编码块和两个参考编码块之间的相似性为：

ΔH_L0＝abs(H_L0-H_c)，

ΔH_L1＝abs(H_L1-H_c)；

其中，ΔH_L0和ΔH_L1分别表示编码块CU_L0和编码块CU_L1与当前编码块的熵差，H_c、H_L0、H_L1分别表示当前编码块和对应编码块CU_L0和CU_L1的熵，它们的计算公式为

H表示熵，p(f)表示概率质量函数，f表示随机变量；

所述阈值条件差平均值ΔH和距离方程计算确定，当前编码块根据距离方程得到的值小于

则判定编码块为跳过模式：

本发明与已有技术相比较，具有如下显而易见的实质性突出特点和显著优点：只增加了少量码率，降低了传输比特率，节省了大量的编码时间；采用熵差的概念来代替计算繁琐的交互信息，快速判决跳过模式，在得到极好编码性能的同时，节省了大量的编码时间，具有实际操作性，便于进行实时应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程框图。

图2为图1中当前帧与相邻帧参考像素块之间的对应关系示意图。

图3为本发明与H.265/HEVC标准相比，8个测试序列的PSNR和比特率的RD曲线。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种针对高效率视频编码标准的跳过编码模式提前判决方法，对编码块进行静止区域或非静止区域检测并判决静止区域中编码块的跳过模式，然后对非静止区域的编码块进行跳过模式判定，最后进行率失真计算后进行视频压缩传输；具体是，首先计算分割尺寸大小为2N×2N编码块的率失真代价，然后检测运动矢量和残差值确定编码块包含在静止区域或非静止区域，进行静止区域中编码块模式判决，最后通过阈值条件判决非静止区域中编码块是否为跳过模式，其步骤是：

步骤一、计算分割尺寸大小为2N×2N编码块的率失真代价，获得运动矢量和残差信息。

根据跳过模式的特点，当编码块编码模式为跳过模式时，编码块尺寸大小为2N×2N，其中，N取整数4、8、16或32，N表示编码块若为跳过模式时分割尺寸的大小；并且需要运动矢量和残差信息条件来判定编码块包含在静止区域或非静止区域，将编码块分为静止编码块或非静止编码块。

其中，率失真代价的方程为J＝Dif+λ·Bit；Dif是编码块当前编码模式和预测模式的差异平均值，是将残差Hadamard变换后再绝对值求和得到的SATD值，λ是拉格朗日乘子，Bit是比特率，表示编码运动矢量残差所用的比特数。残差信息衡量的是编码过程中当前帧编码块和参考帧编码块之间的匹配精确度：Re(x,y)＝c(x,y)-r(x+Δx,y+Δy),s.t.(x,y)∈C；其中Re(x,y)、c(x,y)、r(x,y)分别为残差块、当前块、参考块的像素值，C为当前块，(x,y)是当前块C的坐标，(Δx,Δy)为当前块到参考块的偏移量即运动矢量。运动矢量表示当前帧编码块与邻近帧对应参考块的空间位置的相对偏移量：MV＝R-C＝(x′,y′)-(x,y)＝(x′-x,y′-y)＝(Δx,Δy)；其中，R为参考块，(x′,y′)是R的坐标。

步骤二、利用运动矢量大小和残差信息来判定编码块是否为跳过模式，若为非跳过模式进入步骤三，否则进入步骤一对下一编码块进行处理；

(1)

(2)残差(residuals)＝0；

若满足以上两个条件则该编码块为静止区域。

和分别表示图像组(Group of Pictures)中当前帧的编码块和临近帧L0和临近帧L1对应位置的编码块的运动矢量的绝对值。若步骤(1)中获得运动矢量和残差值为0，则将语法层面的编码块标志位和残差赋值为0，进而进行判决。当前帧与同一图像组临近帧L0和临近帧L1位置关系如图2所示。

当编码块编码模式为跳过模式时，传输时不需要传输运动矢量并且残差值也量化为0，这样就大大减少了比特流，降低了编码复杂度，节省了编码时间。正由于这个原因，在视频序列中平坦区域和静止区域编码块一般采用跳过模式。在本发明中，如表1所示，当编码块较大尺寸时概率较高，较小尺寸时概率较低，所以静止区域编码块会损失一定精度。

表1 静止区域中编码块为跳过模式的概率

步骤三、计算当前编码块CU_C相邻的前一帧的编码块CU_L0和后一帧的编码块CU_L1的率失真代价。

视频编码是基于块编码的，即把每一帧图像分割为不同大小尺寸的像素块，编码器将像素块值编码后进行传输。CU_L0和CU_L1分别是一个图像组中参考帧即临近帧L0和临近帧L1对应位置的编码块，通过率失真优化J的计算确定为跳过模式后，进行当前帧编码块编码模式的判决。当前帧编码块和同一图像组参考帧对应编码块的位置关系如图2所示。

步骤四：利用运动矢量大小和残差信息分别对编码块CU_L0和编码块CU_L1进行判决，当前一帧的编码块CU_L0＝SKIP时，计算距离方程，若满足阈值条件则当前编码块判决为跳过模式；否则，当前编码块则判定为非跳过模式；若前一帧的编码块CU_L0≠SKIP，后一帧的编码块CU_L1＝SKIP，计算距离方程，若满足阈值条件则判决当前编码块为跳过模式，否则，判定当前编码块为非跳过模式；若后一帧的编码块CU_L1≠SKIP，则判定当前编码块为非跳过模式；

SKIP表示此编码块为跳过模式，距离方程、阈值条件分别是方程和条件

阈值条件由熵差平均值ΔH和距离方程计算确定，即若当前编码块根据距离方程得到的值小于

则判定此编码块为跳过模式。

若为跳过模式，则当前帧编码块和相关联的参考帧编码块传输的信息必须是一致的，所以两者的交互信息I(C,R)值应该很小。但由于交互信息值的计算较为复杂，本发明利用熵来代替交互信息，并通过熵差的方法来确定阈值条件，进行编码块的跳过模式判决。同时，因为相邻两个参考像素都需要判决，将进行两个判决过程。

(4-1)、根据熵理论和交互信息的相似性，利用熵理论来代替交互信息来衡量当前编码块和相关编码块的相似性：

其中，H表示熵，p(f)表示概率质量函数，c和r分别表示当前帧编码块和参考帧对应位置编码块，f表示随机变量，I(C,R)表示交互信息，p(c,r)表示c和r的联合分布，p(c)和p(r)分别表示当前和参考帧编码块为跳过编码模式的概率。

(4-2)、利用熵差的方法可以分别衡量当前像素块和两个参考像素块之间的相似性。

ΔH_L0＝abs(H_L0-H_c)

ΔH_L1＝abs(H_L1-H_c)

其中，ΔH_L0和ΔH_L1分别表示编码块CU_L0和CU_L1与当前编码块的熵差，H_c、H_L0、H_L1分别表示当前编码块和对应编码块CU_L0和CU_L1的熵。

(4-3)、确定阈值：此方法阈值不是固定值，通过计算跳过模式和非跳过模式的熵差平均值和距离方程，可以进一步确定阈值。

其中，N_s和N_ns分别指以编码为跳过和非跳过模式的编码单元数，i表示编码块深度层次，t表示当前编码块的编码时间。

距离方程：

通过计算跳过模式和非跳过模式的距离方程，可以知道跳过模式阈值，当

时，进行阈值判决。

(4-4)、利用阈值判决，通过计算得到非固定阈值，进行跳过模式判决。

利用当前帧像素块与参考帧相应像素块的相似性进行模式判决，具体方法是：

首先确定需要编码的编码块包含在非静止区域中，进而利用视频编码通过已编码的像素块对其相邻的未编码的像素块进行预测的特点进行这一步的判定。在进行步骤(2)后，非静止区域中，若参考帧像素块为跳过模式，则可以计算距离方程中和

的值来进行比较，然后通过确定的可变化的阈值条件来判定编码模式，若满足阈值则判定为跳过模式。

利用相邻两个参考帧参考像素块与当前帧对应像素块之间的相似性，可对两个参考像素分别进行判定，先判决第一个参考编码块后再进行另外一个参考编码块的判决。若分别满足阈值条件则可直接进行判决，进行循环判决。

(5)、判决结束，进入步骤一继续进行下一个编码块的跳过模式判决。

为了验证本发明的效果，下面对几个标准测试视频序列进行测试实验，在JCT-VC提供的高效率视频编码系统平台上，以HM为实验模型分别采用固定量化参数。

实验配置：

表2 实验配置

中央处理器	Intel Core(TM)i7-2600K
		随机存取存储器	16GB DDR3
操作系统	Microsoft Windows 7(64-bit)
		实验平台	Microsoft Visual C++2010

测试结果：

表3 本发明和HEVC编码器HM10.0的对比实验结果

图3中(a)“Traffic”(b)“Johnny”(c)“Kimono”(d)“BasketBallDrive”(e)“BasketBallDrill”(f)“PartyScene”(g)“BasketballPass”和(h)“BQSqure”在量化参数(QP)22、27、32和37下的RD曲线，即PNSR与比特率的变化情况。由表3以及图3可知：本发明与原始HEVC编码方式相比，在两种条件下分别节省了平均40.39％和39.59％左右的编码时间，如图3显示，虽然PSNR有小幅度下降，但节省了大量的编码时间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种针对高效率视频编码标准的跳过编码模式提前判决方法，其特征在于，其步骤如下：

步骤一：计算分割尺寸大小为2N×2N的编码块的率失真代价，获得运动矢量和残差信息，2N表示编码块若为跳过模式时分割尺寸的大小；

步骤二：利用运动矢量大小和残差信息来判定编码块是否为跳过模式，若为非跳过模式进入步骤三，否则进入步骤一对下一编码块进行处理；

步骤三：计算当前编码块CU_C相邻的前一帧的编码块CU_L0和后一帧的编码块CU_L1的率失真代价；

步骤四：利用运动矢量大小和残差信息分别对编码块CU_L0和编码块CU_L1进行判决，当前一帧的编码块CU_L0＝SKIP时，计算距离方程，若满足阈值条件则当前编码块判决为跳过模式；否则，当前编码块则判定为非跳过模式；若前一帧的编码块CU_L0≠SKIP，后一帧的编码块CU_L1＝SKIP，计算距离方程，若满足阈值条件则判决当前编码块为跳过模式，否则，判定当前编码块为非跳过模式；若后一帧的编码块CU_L1≠SKIP，则判定当前编码块为非跳过模式；

所述距离方程为：

其中，

其中，N_s和N_ns分别指以编码为跳过和非跳过模式的编码单元数，i表示编码块深度层次，t表示当前编码块的编码时间；

距离方程利用了熵差ΔH的概念，通过利用当前块和两个参考块相似性ΔH_L0和ΔH_L1的计算方法，可得到跳过模式的编码块和非跳过模式编码块的熵差，其中，当前编码块和两个参考编码块之间的相似性为：

ΔH_L0＝abs(H_L0-H_c)，

ΔH_L1＝abs(H_L1-H_c)；

其中，ΔH_L0和ΔH_L1分别表示编码块CU_L0和编码块CU_L1与当前编码块的熵差，H_c、H_L0、H_L1分别表示当前编码块和对应编码块CU_L0和CU_L1的熵，它们的计算公式为

H表示熵，p(f)表示概率质量函数，f表示随机变量；

所述阈值条件由熵差平均值ΔH和距离方程计算确定，当前编码块根据距离方程得到的值小于

则判定编码块为跳过模式：

步骤五：判决结束，进入步骤(1)继续进行下一个编码块的跳过模式判决。

2.根据权利要求1所述的针对高效率视频编码标准的跳过编码模式提前判决方法，其特征在于，所述步骤一种率失真代价的方程为：J＝Dif+λ·Bit，Dif是编码块当前编码模式和预测模式的差异平均值，是残差经Hadamard变换后再绝对值求和得到的SATD值，λ是拉格朗日乘子，Bit是比特率、表示编码运动矢量残差所用的比特数；残差信息是衡量编码过程中当前帧编码块和参考帧编码块之间的匹配精确度：Re(x,y)＝c(x,y)-r(x+Δx,y+Δy),s.t.(x,y)∈C；其中，Re(x,y)、c(x,y)、r(x+Δx,y+Δy)分别为残差块、当前块、参考块的像素值，C为当前块，(x,y)是当前块C的坐标，(Δx,Δy)为当前块到参考块的偏移量；运动矢量表示当前帧编码块与邻近帧对应参考块的空间位置的相对偏移量：MV＝R-C＝(x’,y’)-(x,y)＝(x’-x,y’-y)＝(Δx,Δy)；其中，R为参考块，(x’,y’)是R的坐标。

3.根据权利要求1所述的针对高效率视频编码标准的跳过编码模式提前判决方法，其特征在于，所述步骤二中利用运动矢量大小和残差信息来判定编码块是否为跳过模式的方法是：

(1)

(2)残差Re(x,y)＝0；

若满足以上两个条件则该编码块为静止区域或跳过模式；其中，

和

分别表示中当前帧的编码块和临近帧L₀和临近帧L₁对应位置的编码块运动矢量的绝对值。

Images