CN108712648A - 一种深度视频快速帧内编码方法 - Google Patents

Abstract

本发明公开了一种深度视频快速帧内编码方法，包括每一个编码树单元按照四叉树结构进一步分解为若干方形的编码单元；每个编码单元又分割成一个或多个预测单元；基于预测单元的纹理特性，结合哈达玛变换代价和方差构建快速决策公式，对预测单元的帧内模式进行提前筛选，满足条件则直接将直流和平面模式加入到全RD代价计算列表中作为候选模式；对全RD代价计算列表进行率失真优化，根据邻域已编码PU模式和CBF标志位，提前为当前PU选出最佳的PU模式；根据邻域CTU编码深度、结合CBF标志位确定是否对当前编码单元进行再次划分；采用视点合成优化算法，利用加权平均绘制视点的失真和深度图的失真，用来度量失真，进行深度视频编码的率失真优化。

Description

一种深度视频快速帧内编码方法

技术领域

本发明涉及视频编码领域，尤其涉及一种深度视频快速帧内编码方法。

背景技术

近年来，随着多媒体技术的快速发展和用户需求的不断提升，3D视频技术获得了极大的关注。3D视频所包含的信息量远远超过2D视频，对视频编码技术提出了更高的要求。根据视频表达格式的不同，3D视频编码方法可以分为两类：一类是基于多视点视频(Multiview Video,MVV)格式，另一类是基于多视点加深度(Multiview Video plusDepth,MVD)格式。MVD视频格式减少了彩色视频的数目，同时引入了和彩色视频对应的深度视频，可以利用基于深度图的绘制技术(DepthImage Based Rendering,DIBR)灵活地绘制虚拟视点，大大提高了传输效率。

深度视频具有和彩色视频不同的特性，主要由大部分具有相似深度值的平滑区域构成，只在深度不连续处存在锐利的边界。3D-HEVC(新一代视频编码标准的3D扩展)是基于MVD格式的视频编码标准，其引入了多种编码工具以更加有效地编码深度视频。然而，编码效率的提升导致了复杂度的显著增加，阻碍了3D-HEVC标准的实际应用。针对深度视频的低复杂度编码方法，已成为当前的研究热点。

3D-HEVC是在HEVC的基础上进行的拓展，继续沿用四叉树划分的编码结构，在帧内预测中除了35种传统预测模式外，针对深度视频引入了深度建模模式等编码工作，在提高压缩效率的同时，增加了编码复杂度。一些学者展开了帧内预测优化方法研究。Gu等人提出了一种深度帧内编码快速DMM(深度模型模式)选择算法，该方法根据全RD(率失真)代价计算列表里的第一种模式进行预选，跳过DMM中不必要的RD代价计算过程，从而获得编码时间节省。Silva等人利用深度块边界方向来减少用于模式粗选的角度预测模式数，并对Planar模式和最可能模式相关性进行了探究。Min等人定义了水平、竖直、和对角的边缘复杂度，通过计算父级编码单元和子级编码单元的参数值判断编码单元是否进一步划分；Shang等人利用canny算子提取深度图边界信息，并定义编码单元块边界密度参数，用于判断编码单元划分是否可以提前终止。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术中的方法往往基于盲遍历过程，而未考虑深度视频纹理特性和帧内预测模式、预测单元(Prediction Unit,PU)模式之间的联系；现有方法基于四叉树的划分结构，需要依次遍历0～3深度层，缺少对深度层分布特点的研究。

发明内容

本发明提供了一种深度视频快速帧内编码方法，本发明在保证视频质量无明显下降的前提下，对3D-HEVC编码标准中深度视频的帧内预测编码进行优化，从而降低编码计算复杂度，详见下文描述：

一种深度视频快速帧内编码方法，所述方法包括以下步骤：

将每帧视频图像划分成编码树单元，每一个编码树单元按照四叉树结构进一步分解为若干方形的编码单元；每个编码单元又分割成一个或多个预测单元；

基于预测单元的纹理特性，结合哈达玛变换代价和方差构造快速决策公式，对预测单元的帧内模式进行提前筛选，若满足条件则直接将直流模式和平面模式加入到全RD代价计算列表中作为候选模式；

对全RD代价计算列表进行率失真优化，根据邻域PU模式和CBF标志位，为当前预测单元从Intra2N×2N和IntraN×N两种PU模式中选出最佳的PU模式；

根据邻域CTU编码深度、结合CBF标志位确定是否对编码单元进行再次划分；

采用视点合成优化算法，利用加权平均绘制视点的失真和深度图的失真，用来度量失真，进行深度视频编码的率失真优化。

其中，所述结合哈达玛变换代价和方差构造快速决策公式具体为：

其中，var表示当前PU的方差，直观地表征预测单元的像素值变化程度；Th表示设定的阈值；R_HAD表示哈达玛代价取值，表征当前预测单元在采用某个预测模式进行编码时的失真大小。当var＝0或R_HAD小于等于阈值时，将DC或者Planar模式作为最佳预测模式；

所述R_HAD由下式计算得到：

R_HAD＝max(R_Planar,R_DC)；

在进行哈达玛变换时，所用变换矩阵H_m是一个2^m×2^m的矩阵，称作哈达玛变换矩阵，H_m的定义式如下所示：

其中，2ⁿ为变换矩阵的阶数，用来限制m的取值范围。

进一步地，所述根据邻域PU模式和CBF标志位，为当前预测单元从Intra2N×2N和IntraN×N两种PU模式中选出最佳的PU模式具体为：

获取邻域已编码的PU模式和CBF标志位；

按照PU模式提前决策公式计算Tp_cur，当三个相邻预测单元的模式均为Intra2N×2N并且CBF＝0时，当前PU直接选择Intra2N×2N模式，跳过在IntraN×N模式的全RD代价计算过程。

进一步地，所述PU模式提前决策公式具体为：

Tp_cur＝Intra 2N×2N,

if Tp_L＝Intra 2N×2N&&Tp_U＝Intra 2N×2N&&Tp_L-U＝Intra 2N×2N

&&CBF＝0

其中，Tp_cur表示当前PU的模式，Tp_L、Tp_U和Tp_L-U分别表示当前PU的左方、上方和左上方相邻PU的模式，CBF标志位表示变换残差系数。

其中，所述根据邻域CTU编码深度、结合CBF标志位确定是否对编码单元进行再次划分具体为：

获取邻域编码单元的深度和CBF标志位；

按照定义的判决公式，计算CU_flag，若相邻编码单元深度值均小于或等于当前编码单元的深度且CBF标志位为0时，CU_Flag＝false，当前编码单元不再进一步划分；

否则编码单元将继续划分，并在后续层中执行复杂的预测过程。

进一步地，所述判决公式具体为：

其中，CU_flag为编码单元是否继续划分的标志位；D_C表示当前编码单元深度；D_L、D_U和D_L-U分别表示左方、上方和左上方相邻编码单元的深度。

本发明提供的技术方案的有益效果是：

1、本发明通过分析深度视频纹理特性，在保证视频质量无明显下降的情况下，节省了帧内预测的模式粗选时间和PU模式遍历时间，降低了运算复杂度；

2、本发明考虑了深度视频的空域相关性，通过分析相邻CU(编码单元)的最佳预测深度来决定当前CU是否进一步划分，实现了基于空域相关性的CU划分提前终止算法。

附图说明

图1为一种深度视频快速帧内编码方法的流程图；

图2为空域相邻编码单元示意图；

图3为本发明算法与原始3D-HEVC编码方法的深度视频编码时间对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为了克服现有技术的不足，本发明实施例提出了一种基于内容特性的深度视频帧内快速编码方法，在保证视频质量无明显下降的情况下减少编码时间，具体的技术方案主要分为以下几个步骤：

101：将每帧视频图像划分成编码树单元，每一个编码树单元按照四叉树结构进一步分解为若干方形的编码单元；每个编码单元又分割成一个或多个预测单元；

102：基于预测单元的纹理特性，结合哈达玛变换代价和方差，构造快速决策公式对预测单元的帧内模式进行提前筛选，满足条件则直接将直流模式和平面模式加入到全RD代价计算列表中作为候选模式；

103：对全RD代价计算列表进行率失真优化，根据邻域已编码PU模式和CBF标志位，为当前预测单元从Intra2N×2N和IntraN×N两种PU模式中选出最佳的PU模式；

104：根据邻域CTU编码深度、结合CBF标志位确定是否对编码单元进行再次划分；

105：采用视点合成优化算法，利用加权平均绘制视点的失真和深度图的失真，用来度量失真，进行深度视频编码的率失真优化。

其中，步骤103中的根据邻域已编码PU模式和CBF标志位，从Intra2N×2N和IntraN×N两种PU模式中选出最佳的PU模式具体为：

获取邻域已编码的PU模式和CBF标志位；

按照PU模式提前决策公式计算Tp_cur，当三个相邻预测单元的模式均为Intra2N×2N并且CBF＝0时，当前PU直接选择Intra2N×2N模式，跳过在IntraN×N模式的全RD代价计算过程。

进一步地，步骤104中的所述根据邻域CTU编码深度、结合CBF标志位确定是否对编码单元进行再次划分具体为：

获取邻域编码单元的深度和CBF标志位；

按照定义的判决公式，计算CU_flag，若相邻编码单元深度值均小于或等于当前编码单元的深度且CBF标志位为0时，CU_Flag＝false，当前编码单元不再进一步划分；

否则编码单元将继续划分，并在后续层中执行复杂的预测过程。

综上所述，本发明实施例通过上述步骤101-步骤105考虑了深度视频的空域相关性，通过分析相邻CU(编码单元)的最佳预测深度来决定当前CU是否进一步划分，实现了基于空域相关性的CU划分提前终止算法。

实施例2

下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

下面以视频序列Kendo为例，通过对其进行编码来说明算法的具体实施过程。输入的视频序列顺序如下：彩色视点3，深度视点3，彩色视点1，深度视点1，彩色视点5，深度视点5，其中彩色视点采用原始3D-HEVC编码方法进行编码，深度视点采用本发明实施例提出的方法进行编码。

一、编码树单元划分

HEVC采用的是基于块的编码方式，块的尺寸可以通过划分自适应改变其大小。编码器在对一帧图像进行处理时，该图像首先被划分成64×64像素点大小的编码树单元(CodingTree Unit,CTU)。每一个编码树单元可以按照四叉树结构进一步分解为若干方形的编码单元(Coding Unit,CU)。编码单元的尺寸可以是64×64、32×32、16×16或8×8最多可有4层分解，对应深度分别为0、1、2、3。

一个编码单元可分割成一个或多个预测单元(Prediction Unit,PU)，预测单元是进行帧内和帧间预测的基本单位，用来承载与预测过程相关的信息。当编码单元定义为帧内预测模式时，预测单元有两种划分选择，2N×2N和N×N。预测单元划分完成后，即可为每个预测单元进行35种预测模式的率失真代价计算和优化过程。

其中，本发明实施例对35种预测模式的遍历过程做出了改进，具体工作在下述第二部分进行叙述。

二、帧内预测模式快速决策

划分出预测单元后，需要通过模式粗选(Rough Mode Decision,RMD)为该预测单元选出k个候选预测模式。本发明实施例提出，对于平滑预测单元，根据其纹理特性，基于哈达玛变换代价和方差进行帧内模式的提前决策：

若预测单元的方差为0或哈达玛变换代价小于设定的阈值，直接选取直流模式(DCMode)和平面模式(Planar Mode)^[1]作为候选模式，跳过其他不必要的模式预测过程。提出的帧内预测模式的快速决策公式如下：

其中，var表示当前PU的方差，可以直观地表征预测单元的像素值变化程度，当var＝0时，预测单元内像素值无变化，倾向于选择DC或者Planar模式作为最佳预测模式；Th表示设定的阈值，取值为10。R_HAD表示哈达玛代价取值表征当前预测单元在采用某个预测模式进行编码时的失真大小，可由下式计算得到：

R_HAD＝max(R_Planar,R_DC)；

在进行哈达玛变换时，所用变换矩阵H_m是一个2^m×2^m的矩阵，称作哈达玛变换矩阵，H_m的定义式如下所示：

其中，2ⁿ为变换矩阵的阶数，用来限制m的取值范围。

当预测单元方差为0或者哈达玛代价小于某个阈值时，为true，直接把DC模式和Planar模式作为候选模式加入到全RD代价计算列表中，跳过其他预测模式的模式粗选以及率失真代价计算过程；然后对候选列表中的DC和Planar模式进行率失真优化，从筛选后的模式中选取最佳模式。

其中，上述具体的率失真优化步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

通过对上述的处理，从计算35种预测模式的率失真代价变成了计算2种预测模式的率失真代价，降低了计算复杂度，提高了计算速率。

三、预测单元快速决策

按照上述方法选出一个PU的最佳预测模式后，还需在Intra(帧内)2N×2N和IntraN×N两种PU模式中，通过率失真优化选出最佳的PU模式。

新一代视频编码标准(High Efficiency Video Coding,HEVC)采用Z字形扫描(Z-Scan)顺序对CU进行编码，这意味着在编码当前CU时，其上方、左方以及左上方CU最佳编码模式及PU类型已经确定，空间位置如图2所示。对于深度视频来说，空域相关性表现得更加明显。根据其空域相关性，提出的PU模式提前决策公式如下：

Tp_cur＝Intra 2N×2N,

if Tp_L＝Intra 2N×2N&&Tp_U＝Intra 2N×2N&&Tp_L-U＝Intra 2N×2N

&&CBF＝0

其中，Tp_cur表示当前PU的模式，Tp_L、Tp_U和Tp_L-U分别表示当前PU的左方、上方和左上方相邻PU的模式，CBF(Coded Block Flag)标志位表示变换残差系数。

本发明实施例中，采用CBF标志位进一步限制PU类型决策过程，执行过程如下：

a)获取邻域已编码的PU模式和CBF标志位。本发明实施例中，采用CBF标志位进一步限制预测单元的类型决策过程。

b)按照上述定义的PU模式提前决策公式计算Tp_cur。当三个相邻预测单元的模式均为Intra2N×2N并且CBF＝0时，当前PU直接选择Intra2N×2N模式，跳过在IntraN×N模式的全RD代价计算过程。

四、基于空域相关性的编码单元划分提前终止

基于四叉树划分结构的编码需要依次遍历0～3深度层，在每个深度层都需要通过大量计算选取该层的最佳预测模式，此过程非常耗时。

经编码单元深度分布统计，深度视频测试序列中多数的CTU选取深度0为最佳预测深度，深度2和深度3只占到了很小的比例。由此可以看出深度视频编码中倾向于选择大尺寸的编码单元作为最佳编码单元。

根据上述CU深度分布特性，提出对CU划分进行提前终止。以CTU为单位，定义的判决条件如下：

其中，CU_flag为表示编码单元是否继续划分的标志位；D_C表示当前编码单元深度；D_L、D_U和D_L-U分别表示左方、上方和左上方相邻编码单元的深度，空间位置如图2所示。

执行过程如下：

a)获取邻域编码单元的深度和CBF标志位，使用CBF标志位进一步限制CU划分提前终止过程；

b)按照上述定义的判决公式，计算CU_flag。若相邻编码单元深度值均小于或等于当前编码单元的深度且CBF标志位为0时，CU_Flag＝false，当前编码单元不再进一步划分；否则编码单元将继续划分，并在后续层中执行复杂的预测过程。

五、视点合成优化

深度视频编码中采用视点合成优化算法，进行深度视频编码的率失真优化。利用加权平均绘制视点的失真和深度图的失真，用来度量失真。计算公式如下：

Distortion＝w₁D_depth+w₂D_synth

其中，Distortion表示通过视点合成优化后得到的失真；w₁和w₂表示两个加权系数；D_depth表示深度图自身的失真；D_synth表示合成视点的失真。

D_depth通过计算差值平方和(Sum of Squared Differences,SSD)或绝对误差和(Sum of Absolute Differences,SAD)得到；D_synth通过合成视点的失真改变量(Synthesized View Distortion Change,SVDC)计算得到。在计算SVDC时，需要绘制完整的虚拟视点帧，使用绘制模型(Render Model)获得SVDC，过程如下：

(1)初始化过程：在编码当前深度块之前，利用参考块的纹理图和深度图合成参考虚拟视点图；

(2)遍历编码模式并计算每种编码模式的失真：编码当前块时，选中一种编码模式，得到重建出的深度图，并利用该深度图合成虚拟视点图；将合成的虚拟视点图与(1)中参考虚拟视点图进行SVDC计算；

(3)重新部分合成：按照步骤(2)遍历各种编码模式，选取代价最小的编码模式作为最佳编码模式，选取该模式下的深度图为当前块的深度图，并进行虚拟视点合成。将合成后虚拟视点图作为下一编码块的参考虚拟视点图。

综上所述，本发明实施例通过分析深度视频内容特性，提出了深度视频帧内快速编码方法，在保证视频质量无明显下降的情况下，降低了运算复杂度，提高了编码速度。

实施例3

下面结合具体的实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：

实验测试在3D-HEVC的参考软件HTM16.2上进行。使用标准测试序列Kendo在标准测试条件(CTC)下进行。彩色视频和深度视频量化参数对设置为(25，34)，(30，39)，(35，42)和(40，45)，实验采用全帧内编码结构。

为使本方法的效果具有可比性，在相同的实验条件下，将本方法和HTM算法进行对比：

参见图3，实验结果显示，相比HTM算法，本方法提出的深度视频快速帧内编码方法整体上节省了62.9％的深度视频编码时间，而合成视点视频质量仅降低了0.0259dB。

参考文献

[1]J Lainema,F Bossen,W-J Han,et al.Intra Coding of the HEVC Standard[J].2013IEEE Transactions on Circuits&Systems for Video Technology(TCSVT),2013,22(12):1792-1801.

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种深度视频快速帧内编码方法，其特征在于，所述方法包括以下步骤：

将每帧视频图像划分成编码树单元，每一个编码树单元按照四叉树结构进一步分解为若干方形的编码单元；每个编码单元又分割成一个或多个预测单元；

基于预测单元的纹理特性，结合哈达玛变换代价和方差构造快速决策公式，对预测单元的帧内模式进行提前筛选，若满足条件则直接将直流模式和平面模式加入到全RD代价计算列表中作为候选模式；

对全RD代价计算列表进行率失真优化，根据邻域PU模式和CBF标志位，为当前预测单元从Intra2N×2N和IntraN×N两种PU模式中选出最佳的PU模式；

根据邻域CTU编码深度、结合CBF标志位确定是否对编码单元进行再次划分；

采用视点合成优化算法，利用加权平均绘制视点的失真和深度图的失真，用来度量失真，进行深度视频编码的率失真优化。

2.根据权利要求1所述的一种深度视频快速帧内编码方法，其特征在于，所述结合哈达玛变换代价和方差构造快速决策公式具体为：

其中，var表示当前PU的方差，直观地表征预测单元的像素值变化程度；Th表示设定的阈值；R_HAD表示哈达玛代价取值，表征当前预测单元在采用某个预测模式进行编码时的失真大小。当var＝0或R_HAD小于等于阈值时，将DC或者Planar模式作为最佳预测模式。

3.根据权利要求2所述的一种深度视频快速帧内编码方法，其特征在于，所述R_HAD由下式计算得到：

R_HAD＝max(R_Planar,R_DC)；

在进行哈达玛变换时，所用变换矩阵H_m是一个2^m×2^m的矩阵，称作哈达玛变换矩阵，H_m的定义式如下所示：

其中，2ⁿ为变换矩阵的阶数，用来限制m的取值范围。

4.根据权利要求2所述的一种深度视频快速帧内编码方法，其特征在于，所述根据邻域PU模式和CBF标志位，为当前预测单元从Intra2N×2N和IntraN×N两种PU模式中选出最佳的PU模式具体为：

获取邻域已编码的PU模式和CBF标志位；

按照PU模式提前决策公式计算Tp_cur，当三个相邻预测单元的模式均为Intra2N×2N并且CBF＝0时，当前PU直接选择Intra2N×2N模式，跳过在IntraN×N模式的全RD代价计算过程。

5.根据权利要求4所述的一种深度视频快速帧内编码方法，其特征在于，所述PU模式提前决策公式具体为：

Tp_cur＝Intra 2N×2N,

if Tp_L＝Intra 2N×2N&&Tp_U＝Intra 2N×2N&&Tp_L-U＝Intra 2N×2N

&&CBF＝0

其中，Tp_cur表示当前PU的模式，Tp_L、Tp_U和Tp_L-U分别表示当前PU的左方、上方和左上方相邻PU的模式，CBF标志位表示变换残差系数。

6.根据权利要求1所述的一种深度视频快速帧内编码方法，其特征在于，所述根据邻域CTU编码深度、结合CBF标志位确定是否对编码单元进行再次划分具体为：

获取邻域编码单元的深度和CBF标志位；

按照定义的判决公式，计算CU_flag，若相邻编码单元深度值均小于或等于当前编码单元的深度且CBF标志位为0时，CU_Flag＝false，当前编码单元不再进一步划分；

否则编码单元将继续划分，并在后续层中执行复杂的预测过程。

7.根据权利要求6所述的一种深度视频快速帧内编码方法，其特征在于，所述判决公式具体为：

其中，CU_flag为编码单元是否继续划分的标志位；D_C表示当前编码单元深度；D_L、D_U和D_L-U分别表示左方、上方和左上方相邻编码单元的深度。