CN103546758A - 一种快速深度图序列帧间模式选择分形编码方法 - Google Patents

Abstract

本发明提出了一种快速深度图序列帧间模式选择分形编码方法。首先使用分形视频压缩方法编码彩色视频，然后用分形视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式，利用深度图序列帧宏块与相应彩色视频宏块编码的相关性，设计了深度图序列帧宏块编码模式复杂度计算公式。深度图序列的I帧编码采用H.264帧内预测编码方法；深度图序列的P帧编码，首先使用Roberts算子检测对象边界，如果当前深度图序列帧宏块包含对象边界，则使用传统的全搜索编码方法，遍历所有模式，根据拉格朗日率失真优化模型获得最佳编码模式；否则计算当前深度图序列帧宏块的编码模式复杂度，针对复杂度大于阈值T与小于等于阈值T两种情况，分别在不同的有效模式中选择最佳编码模式，然后用分形法编码深度图序列帧宏块。

Description

一种快速深度图序列帧间模式选择分形编码方法

技术领域：

本发明属于三维视频压缩编码领域，涉及深度图序列的压缩编码，为三维立体视频编码的实时性应用奠定了基础，进一步提高了基于深度图的立体视频压缩编码的性能。

背景技术：

深度图所代表的是场景到摄像机成像平面的距离信息，它将实际深度值量化到[0,255]，以获得代表深度信息的灰度图（参见Tanimoto M,Fujii T,Suzuki K,et al.Multi-view depth mapof Rena and Akko&Kayo[C],ISO/IEC JTC1/SC29/WG11,MPEG-M14888,China:Shenzhen,2007.）。

深度图压缩是三维视频系统中的核心技术。目前，对深度图序列压缩的方法，主要是基于H.264/AVC标准。如杨旭等针对三维视频编码复杂度较高的问题，提出一种快速深度图像帧内编码方法，该方法基于视频图像与深度图像的相关性，利用视频图像的最优帧内预测模式信息，优化深度图像帧内编码预测模式的选择范围，减少率失真代价函数的计算量，从而降低深度图像帧内编码复杂度（参见杨旭,常义,林霍等.一种三维视频深度图像快速帧内编码方法[J].西安电子科技大学学报（自然科学版）,2012,39(3):7-13.）。Byung Tae Oh等定义了一个深度失真函数（参见Byung Tae Oh,Jaejoon Lee,Du-sik Park.Depth map coding based onsynthesized view distortion function[J].IEEE Journal of Selected Topics in Signal Processing.2011,5(7):1344-1352.）。D.V.S.X.De Silva等提出了新的模式选择方法（参见D.V.S.X.De Silva,W.A.C.Fernando,S.T.Worrall.Intra mode selection method for depth maps of3D video based onrendering distortion modeling.IEEE Transactions on Consumer Electronics,2010,56(4):2735-2740.）。

近年来分形理论也被应用到视频序列的压缩上，其基本思想是在视频编码过程中将每视频帧（首帧除外）上的子块从前一帧而不是同一帧找相匹配的父块。其中最为经典和影响较大的参见（C.S.Kim,R.C.Kim,S.U.Lee.Fractal coding of video sequence using circularprediction mapping and noncontractive inter frame mapping[J].IEEE Transactions on ImageProcessing,1998,7(4):601-605.）。该方法采用类似于标准视频编码方法所采用的运动估计/补偿技术，利用了相邻帧之间的时间强相关性，对视频序列压缩取得了较好的效果。KojiOhse与Masahiro Nakagawa提出将视频序列变换到频率域，再应用分形视频压缩方法将不同分量的序列压缩编码（参见Koji Ohse,Masahiro Nakagawa.Fractal video coding withthe orthogonal transformation[J],Electronics and Communications in Japan,2007,90(3):36-47），此方法提供了在确定压缩比的情况下，实现对视频较好的压缩。张喻平与丰洪才提出了一种利用遗传算法提高视频分形压缩编码搜索速度的算法。（参见张喻平,丰洪才.利用遗传算法提高视频分形压缩编码搜索速度[J].计算机与数字工程,2007,35(1):28-30.）这种基于遗传算法的视频分形压缩编码改进了遗传算法中搜索空间的构造机理，结合运用合适的迭代函数系统和仿射变换，从而缩短了压缩编码时间，并且视频的恢复质量略优于全搜索算法和传统的分形压缩算法。

为了解决目前基于深度图的三维视频编码复杂度高的问题，本发明方法实现了一种利用深度图序列帧宏块与相应彩色视频宏块编码模式相关性，预先计算深度图序列帧宏块的编码模式复杂度，以达到深度图序列分形编码时快速帧间模式选择的目的。实验证明，该方法实现了深度图序列压缩编码，并且编码时间及编码码率明显减少。

发明内容：

本发明提出了一种快速深度图序列帧间模式选择分形编码方法。首先使用分形视频压缩方法编码彩色视频，然后用分形视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式，利用深度图序列帧宏块与相应彩色视频宏块编码的相关性，设计了深度图序列帧宏块编码模式复杂度计算公式。深度图序列的I帧编码采用H.264帧内预测编码方法；深度图序列的P帧编码，首先使用Roberts算子检测对象边界，如果当前深度图序列帧宏块包含对象边界，则使用传统的全搜索编码方法，遍历所有模式，根据拉格朗日率失真优化准则获得最佳编码模式；否则计算当前深度图序列帧宏块的编码模式复杂度，并设定阈值T，对于编码模式复杂度大于阈值T的深度图序列帧宏块，在16×8、8×16、8×8、8×4、4×8、4×4六种模式中用拉格朗日率失真优化算法选择最佳编码模式，对于编码模式复杂度小于等于阈值T的深度图序列帧宏块则在SKIP、16×16两种编码模式中选择最佳编码模式，然后用分形法编码深度图序列帧宏块。

一种快速深度图序列帧间模式选择分形编码方法，其特征在于实现步骤如下：

步骤一：使用基于分形的视频压缩方法编码彩色视频；

步骤二：使用基于分形的视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式；

步骤三：若为深度图序列的I帧（第一帧必须为I帧，其它帧可以设置是否为I帧），使用H.264帧内预测编码方法编码I帧，转到步骤八；若为深度图序列的P帧，转到步骤四；

步骤四：对深度图序列的P帧，使用Roberts算子检测对象边界；

步骤五：依次对当前深度图序列帧的所有宏块进行编码。如果当前深度图序列帧宏块包含对象边界，则使用传统的全搜索编码方法，遍历所有模式，根据拉格朗日率失真优化准则获得最佳编码模式，转到步骤七；否则，转到步骤六；

步骤六：由编码模式复杂度计算公式计算当前深度图序列帧宏块的编码模式复杂度，设定阈值T，若当前深度图序列帧宏块的编码模式复杂度大于阈值T（当前深度图序列帧宏块属于复杂模式区域），则在16×8、8×16、8×8、8×4、4×8、4×4六种模式中用拉格朗日率失真优化算法选择最佳编码模式；否则（当前深度图序列帧宏块属于简单模式区域）在SKIP、16×16两种编码模式中选择最佳编码模式；

步骤七：用步骤一的分形编码方法使用最佳编码模式编码当前深度图序列帧宏块。判断当前宏块是否为当前深度图序列帧的最后一个宏块，若是最后一个宏块，则转到步骤三编码下一帧；否则转到步骤五编码下一宏块；

步骤八：判断当前帧是否为深度图序列最后一帧，如果是最后一帧结束编码；否则，返回步骤三继续处理下一帧深度图像。

所述一种快速深度图序列帧间模式选择分形编码方法，处理的彩色视频与深度图序列均为YUV格式。

所述步骤一中基于分形的视频压缩方法包括以下四个步骤：

1)如果是I帧（第一帧必须为I帧，其它帧可以设置是否为I帧），采用H.264帧内预测编码方式，对于每个当前块在各种可能的预测方式中选择具有最小代价的预测模式，完成所有块的预测后可以得到I帧的预测帧。通过原始帧和预测帧之差得到编码端残差帧。转入步骤3)编码残差；如果是P帧，转到步骤2)；

2)如果是P帧。依次对当前帧的所有宏块进行编码。在参考帧中的搜索窗内对当前宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同；对每个宏块进行树状结构分块，即分块从大到小可分为16×16、16×8、8×16、8×8，8×8往下（亚宏块分割）可以分为8×4、4×8、4×4。帧间编码时，首先对编码宏块的各种块划分尺寸的帧间预测模式进行运动估计，确定迭代函数系统系数即IFS系数；然后比较所有模式的率失真代价；最后将率失真代价最小的模式作为最优帧间预测模式。

IFS系数由如下的率失真优化函数确定：

J_MOTION=MSE(s,o,x,y,ref)+λ_MOTION*R(s,o,x,y,ref)     (1)

其中IFS系数包括父块位置(x,y)和比例因子s、偏移因子o，s和o的计算公式如下：

$s=\frac{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i{d}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]}{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i\right)}^2]}---\left(2\right)$

$o=\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i-s\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]---\left(3\right)$

式中，N为子块和父块像素的个数，r_i为子块的像素值，d_i为父块的像素值。

最优帧间预测模式由如下率失真优化函数确定：

J(s,c,MODE|QP,λ_MODE)=SSD(s,c,MODE|QP)+λ_MODE*R(s,c,MODE|QP)   (4)

对宏块的最佳分块模式，保存相应IFS系数，转入步骤4)得到本块的重建块。

如果当前帧所有的宏块都已编码完毕，所有的重建块组成重建图像（即下一帧的参考帧）。原始图像与重建图像之差得到残差图像，转到步骤3)编码残差；

3)残差图像的数据经过DCT、量化之后的系数一方面进行Zig-Zag扫描，然后用熵编码CABAC进行编码写入码流；另一方面经过反量化、反变换后得到解码端残差帧。由预测帧和解码端残差帧之和得到重建帧（即下一帧的参考帧）。如果是P帧则还要对所有IFS系数进行有符号指数哥伦布编码。判断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤1)继续处理下一帧图像；

4)通过保存的迭代函数系统系数代入解码方程式

r_i=s·d_i+o        (5)

计算得到预测值，由原始块和预测块之差得到编码端残差块，再由预测块和解码端残差块之和得到重建块。

其中，解码端残差块是由编码端残差块经过DCT变换、量化、反量化和反DCT变换得到的。转入步骤2)编码P帧下一宏块。

所述步骤二中基于分形的视频解压缩方法包括以下五个步骤：

1)解码端获得压缩的码流。码流中数据元素首先进行熵解码和重排序，获得一系列量化系数，这些系数经过反量化和反变换得到残差数据；

2)判断解码帧是否为I帧，若是I帧转入步骤3)，否则转入步骤4)；

3)对于I帧，首先由H.264帧内预测方式得到预测帧，预测帧与残差帧进行相加之后得到重建帧，帧数加1转入步骤5)；

4)对于P帧，首先从码流中读入该帧所有宏块的划分方式、每一个小块的迭代函数系统系数与运动矢量，由各迭代函数系统系数和运动矢量分别计算出解码端的预测块形成解码端的预测帧，预测帧与残差帧相加得到重建帧。帧数加1转到步骤5)；

5)判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步骤2)。

所述步骤六中当前深度图序列帧宏块编码模式复杂度计算公式为：

$\mathrm{EMC}={0.5w}_{C_{\mathrm{cor}}}+0.1(w_{C_{\mathrm{left}}}+w_{C_{\mathrm{up}}}+w_{D_{\mathrm{left}}}+w_{D_{\mathrm{up}}})+0.05(w_{C_{\mathrm{upleft}}}+w_{D_{\mathrm{upleft}}})---\left(6\right)$

其中D_left、D_up、D_upleft分别代表当前深度图序列帧宏块的左、上、左上邻居宏块，C_cor代表与当前深度图序列帧宏块相对应的彩色视频宏块，C_left、C_up、C_upleft分别代表C_cor的左、上、左上邻居彩色宏块，

分别代表相应宏块的编码模式影响因子，数值越大表明其对应的宏块编码模式越复杂，具体数值如表1所示。

模式	SKIP	16×16	16×8	8×16	8×8（含8×4、4×8、4×4）
						影响因子w	1	1	2	2	4

表1编码模式影响因子表

式(6)中的0.5、0.1、0.05表示各宏块加权系数，其取值原则是所有加权系数之和为1，且对当前深度图序列帧宏块预测编码模式影响越大的宏块加权系数越大。

本发明所提出的一种快速深度图序列帧间模式选择分形编码方法的优点在于：

(1)本方法中彩色视频与深度序列的分形I帧编码结合了H.264帧内预测多种预测方向预测I帧，改进了分形视频编码I帧的质量；

(2)本方法针对深度序列的P帧编码，利用了深度图序列帧宏块与相应彩色视频宏块编码模式的相关性。并针对深度图序列帧宏块包含对象边界与不包含对象边界两种情况，分别采用不同的搜索策略，以减少宏块编码模式搜索时间；

(3)本方法针对深度图序列帧宏块不包含对象边界情况，首先计算深度图序列帧宏块编码模式复杂度，并设定阈值T，若当前深度图序列帧宏块的编码模式复杂度大于阈值T（当前深度图序列帧宏块属于复杂模式区域），则在16×8、8×16、8×8、8×4、4×8、4×4六种模式中用拉格朗日率失真优化算法选择最佳编码模式；否则（当前深度图序列帧宏块属于简单模式区域）在SKIP、16×16两种编码模式中选择最佳编码模式。编码模式复杂度计算公式的设计依据彩色视频宏块与相应深度图序列帧宏块编码模式的相关性。

附图说明：

图1为本发明一种快速深度图序列帧间模式选择分形编码方法流程图；

图2(a)为微软研究院交互视觉媒体组提供的测试序列“Ballet”的彩色视频第3帧；

图2(b)为微软研究院交互视觉媒体组提供的测试序列“Ballet”的深度图序列第3帧；

图3(a)为本发明一种快速深度图序列帧间模式选择分形编码方法步骤一中帧内预测模式选择流程图；

图3(b)为本发明一种快速深度图序列帧间模式选择分形编码方法步骤一中帧间编码模式选择流程图；

图4为本发明一种快速深度图序列帧间模式选择分形编码方法步骤二中解码经本发明方法压缩编码以后的测试序列“Ballet”的彩色视频第3帧宏块编码模式示意图；

图5为使用Roberts算子对测试序列“Ballet”的深度图序列第3帧对象边界检测结果图；

图6为D_left、D_up、D_upleft、C_left、C_up、C_upleft、C_cor与当前深度图序列帧宏块之间的位置关系图；

图7为本发明一种快速深度图序列帧间模式选择分形编码方法解码经本发明方法压缩编码以后的测试序列“Ballet”的深度图序列第3帧结果图像；

图8(a)为本发明一种快速深度图序列帧间模式选择分形编码方法与传统的国际视频编码标准H.264标准测试模型JM18.1方法对“Ballet”深度图序列的2～9帧进行压缩编码的峰值信噪比的对比图；

图8(b)为本发明一种快速深度图序列帧间模式选择分形编码方法与传统的国际视频编码标准H.264标准测试模型JM18.1方法对“Ballet”深度图序列的前2～9帧进行编码的比特数的对比图；

图8(c)为本发明一种快速深度图序列帧间模式选择分形编码方法与传统的国际视频编码标准H.264标准测试模型JM18.1方法对“Ballet”深度图序列的前2～9帧进行压缩的时间的对比图。

具体实施方式：

下面将结合附图对本发明方法作进一步的详细说明，仅以亮度分量Y为例，色度分量U和V的压缩步骤与亮度分量基本相同。

本发明提出了一种快速深度图序列帧间模式选择分形编码方法。首先使用分形视频压缩方法编码彩色视频，然后用分形视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式，利用深度图序列帧宏块与相应彩色视频宏块编码的相关性，设计了深度图序列帧宏块编码模式复杂度计算公式。深度图序列的I帧编码采用H.264帧内预测编码方法；深度图序列的P帧编码，首先使用Roberts算子检测对象边界，如果当前深度图序列帧宏块包含对象边界，则使用传统的全搜索编码方法，遍历所有模式，根据拉格朗日率失真优化准则获得最佳编码模式；否则计算当前深度图序列帧宏块的编码模式复杂度，并设定阈值T，对于编码模式复杂度大于阈值T的深度图序列帧宏块，在16×8、8×16、8×8、8×4、4×8、4×4六种模式中用拉格朗日率失真优化算法选择最佳编码模式，对于编码模式复杂度小于等于阈值T的深度图序列帧宏块则在SKIP、16×16两种编码模式中选择最佳编码模式，然后用分形法编码深度图序列帧宏块。

如附图1所示，一种快速深度图序列帧间模式选择分形编码方法流程图。以微软研究院交互视觉媒体组提供的测试序列“Ballet”的前10帧为例，编码图像组结构设置为IPPP…，即仅第1帧编码为I帧，其余帧编码为P帧。附图2(a)是测试序列“Ballet”彩色视频的第3帧，附图2(b)是其相应的深度图。

步骤一：使用基于分形的视频压缩方法编码彩色视频。具体步骤如下：

第1步、彩色视频的I帧编码，采用H.264帧内预测方式，其中4×4亮度块有9种预测方式，16×16亮度块和8×8色度块有四种预测方式。附图3(a)为帧内预测模式选择流程图。每个宏块的预测要对各种可能的宏块预测模式进行搜索，采用基于拉格朗日率失真优化的模式判决方法，编码器对每个宏块所有可能的模式分别计算率失真代价，然后对它们进行比较。选择率失真代价最小的模式为最佳模式。率失真代价函数J定义如下：

J(s,c,MODE|QP,λ_MODE)=SSD(s,c,MODE|QP)+λ_MODE*R(s,c,MODE|QP)    (7)

通过原始帧和预测帧之差得到编码端残差帧，转入第3步编码残差；

第2步、彩色视频P帧编码。依次对当前P帧的所有宏块进行编码。附图3(b)为帧间编码模式选择流程图。在参考帧中的搜索窗内对当前宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同；对每个宏块进行树状结构分块，即分块从大到小可分为16×16、16×8、8×16、8×8，8×8往下（亚宏块分割）可以分为8×4、4×8、4×4。帧间编码时，首先对编码宏块的各种块划分尺寸的帧间预测模式进行运动估计，确定迭代函数系统系数即IFS系数；然后比较所有模式的率失真代价；最后将率失真代价最小的模式作为最优帧间预测模式。

IFS系数由如下的率失真优化函数确定：

J_MOTION=MSE(s,o,x,y,ref)+λ_MOTION*R(s,o,x,y,ref)   (8)

其中IFS系数包括父块位置(x,y)和比例因子s、偏移因子o，s和o的计算公式如下：

$s=\frac{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i{d}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]}{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i\right)}^2]}---\left(9\right)$

$o=\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i-s\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]---\left(10\right)$

式中，N为子块和父块像素的个数，r_i为子块的像素值，d_i为父块的像素值。

最优帧间预测模式由如下率失真优化函数确定：

J(s,c,MODE|QP,λ_MODE)=SSD(s,c,MODE|QP)+λ_MODE*R(s,c,MODE|QP)   (11)

对宏块的最佳分块模式，保存相应IFS系数，转入第4步得到本块的重建块。

如果当前帧所有的宏块都已编码完毕，所有的重建块组成重建图像（即下一帧的参考帧）。原始图像与重建图像之差得到残差图像，转到第3步编码残差；

第3步、残差图像的数据经过DCT、量化之后的系数一方面进行Zig-Zag扫描，然后用熵编码CABAC进行编码写入码流；另一方面经过反量化、反变换后得到解码端残差帧。由预测帧和解码端残差帧之和得到重建帧（即下一帧的参考帧）。如果是P帧则还要对所有IFS系数进行有符号指数哥伦布编码。判断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回第1步继续处理下一帧图像；

第4步、通过保存的迭代函数系统系数代入解码方程式

r_i=s·d_i+o     (12)

计算得到预测值，由原始块和预测块之差得到编码端残差块，再由预测块和解码端残差块之和得到重建块。转入第2步编码P帧下一宏块。

步骤二：使用基于分形的视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式。测试序列“Ballet”彩色视频第3帧解码结果图及各宏块编码模式见附图4。具体步骤如下：

第1步、解码端获得压缩的码流。码流中数据元素首先进行熵解码和重排序，获得一系列量化系数，这些系数经过反量化和反变换得到残差数据；

第2步、判断解码帧是否为I帧，若是I帧转入第3步，否则转到第4步；

第3步、对于I帧，首先由H.264帧内预测方式得到预测帧，预测帧与残差帧进行相加之后得到重建帧，帧数加1转到第5步；

第4步、对于P帧，首先从码流中读入该帧所有宏块的划分方式、每一个小块的迭代函数系统系数与运动矢量，由各迭代函数系统系数和运动矢量分别计算出解码端的预测块形成解码端的预测帧，预测帧与残差帧相加得到重建帧。帧数加1转到第5步；

第5步、判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入第2步。

步骤三：采用H.264帧内预测编码方式编码深度图序列的第一帧（I帧），具体步骤参见步骤一中的第1步，不再赘述。

步骤四：对深度图序列的P帧（第2—10帧设为P帧），使用Roberts算子检测对象边界。附图5为测试序列“Ballet”深度图序列第3帧使用Roberts算子进行对象边界检测的结果图。

边缘检测算子种类很多，这里选择Roberts边缘检测算子对深度图序列的P帧进行对象边界提取。

令f(x,y)为输入图像，f_r(x,y)为输出图像，则Roberts边缘梯度可以由下式求出：

f_r(x,y)={[f(x,y)×R_x]²+[f(x,y)×R_y]²}^1/2       (13)

其中： $R_x=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]$ $R_y=\left[\begin{array}{cc}0& 1\\ -1& 0\end{array}\right]$

步骤五：依次对当前深度图序列帧的所有宏块进行编码。如果当前深度图序列帧宏块包含对象边界，则使用传统的全搜索编码方法，遍历所有模式，根据拉格朗日率失真优化准则获得最佳编码模式，转到步骤七；否则，转到步骤六。

步骤六：由编码模式复杂度计算公式计算当前深度图序列帧宏块的编码模式复杂度，设定阈值T（经验值为1.1），若当前深度图序列帧宏块的编码模式复杂度大于阈值T（当前深度图序列帧宏块属于复杂模式区域），则在16×8、8×16、8×8、8×4、4×8、4×4六种模式中用拉格朗日率失真优化算法选择最佳编码模式；否则（当前深度图序列帧宏块属于简单模式区域）在SKIP、16×16两种编码模式中选择最佳编码模式。

深度图序列帧宏块编码模式复杂度计算公式为：

$\mathrm{EMC}={0.5w}_{C_{\mathrm{cor}}}+0.1(w_{C_{\mathrm{left}}}+w_{C_{\mathrm{up}}}+w_{D_{\mathrm{left}}}+w_{D_{\mathrm{up}}})+0.05(w_{C_{\mathrm{upleft}}}+w_{D_{\mathrm{upleft}}})---\left(14\right)$

其中D_left、D_up、D_upleft分别代表当前深度图序列帧宏块的左、上、左上邻居宏块，C_cor代表与当前深度图序列帧宏块相对应的彩色视频宏块，C_left、C_up、C_upleft分别代表C_cor的左、上、左上邻居彩色宏块，它们之间的位置关系如附图6所示。

分别代表相应宏块的编码模式影响因子，数值越大表明其对应的宏块编码模式越复杂，具体数值如表1所示。

式(14)中的0.5、0.1、0.05表示各宏块加权系数，其取值原则是所有加权系数之和为1，且对当前深度图序列帧宏块预测编码模式影响越大的宏块加权系数越大。

步骤七：用步骤一的分形编码方法使用最佳编码模式编码当前深度图序列帧宏块。判断当前宏块是否为当前深度图序列帧的最后一个宏块，若是最后一个宏块，则转到步骤三编码下一帧；否则转到步骤四编码深度图序列P帧下一宏块。

步骤八：判断当前帧是否为深度图序列最后一帧，如果是最后一帧结束编码；否则，返回步骤四继续处理下一帧深度图像。

本方法处理的彩色视频与深度图序列均为YUV格式，本方法选择Visual C++6.0作为所述方法的实现平台，CPU为Intel Core^TM2Duo T8300，2.4GHz主频，内存大小为2G，对测试序列“Ballet”进行了快速深度图序列帧间模式选择分形编码实验，配置参数如下：总帧数为10帧，只有首帧为I帧，搜索范围为±7，量化参数QP为24。附图7为经本发明一种快速深度图序列帧间模式选择分形编码方法压缩再重建后的“Ballet”深度图序列第3帧结果图。

分别采用传统的国际视频编码标准H.264标准测试模型JM18.1和本发明方法对“Ballet”深度图序列的2～9帧进行压缩编码的峰值信噪比的对比图如附图8(a)所示；分别采用JM18.1和本发明方法对“Ballet”深度图序列的前2～9帧进行编码的比特数的对比图如附图8(b)所示；分别采用H.264标准测试模型JM18.1和本发明方法对“Ballet”深度图序列的前2～9帧进行压缩的时间的对比图如附图8(c)所示。

分别采用传统的国际视频编码标准H.264标准测试模型JM18.1和本发明方法对“Ballet”深度图序列的前2～9帧压缩性能均值对比结果如表2所示。其中△PSNR、△比特率、△压缩时间的定义如下：

△PSNR=PSNR_OURS-PSNR_H.264      (15)

△比特率=（比特率_OURS-比特率_H.264）/比特率_H.264     (16)

△压缩时间=（压缩时间_OURS-压缩时间_H.264）/压缩时间_H.264    (17)

深度图序列	△PSNR/dB	△比特率	△压缩时间
				Ballet	-0.92	-37.62%	-51.64%

表2H.264测试标准模型JM18.1和本发明方法对“Ballet”深度图序列前2～9帧压缩性能均值对比

从附图8和表2可以看出，本发明方法与传统的国际视频编码标准H.264标准测试模型JM18.1方法相比，在峰值信噪比PSNR平均降低0.92dB的情况下，压缩时间减少了51.64%，编码码流比特率降低了37.62%。这是因为本发明方法在深度图序列P帧编码上，利用深度图序列帧宏块与相应彩色宏块编码模式的相关性，由编码模式复杂度计算公式计算深度图序列帧宏块的编码模式复杂度，将深度图序列帧宏块划分为复杂编码模式区域与简单编码模式区域，不同区域的宏块在不同的候选模式中搜索最佳编码模式，从而降低了编码复杂度。

Claims (5)

1.一种快速深度图序列帧间模式选择分形编码方法，其特征在于如下步骤：

步骤一：使用基于分形的视频压缩方法编码彩色视频；

步骤二：使用基于分形的视频解压缩方法解码彩色视频，以获得彩色视频各宏块编码模式；

步骤三：若为深度图序列的I帧（第一帧必须为I帧，其它帧可以设置是否为I帧），使用H.264帧内预测编码方法编码I帧，转到步骤八；若为深度图序列的P帧，转到步骤四；

步骤四：对深度图序列的P帧，使用Roberts算子检测对象边界；

步骤五：依次对当前深度图序列帧的所有宏块进行编码。如果当前深度图序列帧宏块包含对象边界，则使用传统的全搜索编码方法，遍历所有模式，根据拉格朗日率失真优化准则获得最佳编码模式，转到步骤七；否则，转到步骤六；

步骤六：由编码模式复杂度计算公式计算当前深度图序列帧宏块的编码模式复杂度，设定阈值T，若当前深度图序列帧宏块的编码模式复杂度大于阈值T（当前深度图序列帧宏块属于复杂模式区域），则在16×8、8×16、8×8、8×4、4×8、4×4六种模式中用拉格朗日率失真优化算法选择最佳编码模式；否则（当前深度图序列帧宏块属于简单模式区域）在SKIP、16×16两种编码模式中选择最佳编码模式；

步骤七：用步骤一的分形编码方法使用最佳编码模式编码当前深度图序列帧宏块。判断当前宏块是否为当前深度图序列帧的最后一个宏块，若是最后一个宏块，则转到步骤三编码下一帧；否则转到步骤五编码下一宏块；

步骤八：判断当前帧是否为深度图序列最后一帧，如果是最后一帧结束编码；否则，返回步骤三继续处理下一帧深度图像。

2.根据权利要求1所述一种快速深度图序列帧间模式选择分形编码方法，其特征在于：处理的彩色视频与深度图序列均为YUV格式。

3.根据权利要求1所述一种快速深度图序列帧间模式选择分形编码方法，其特征在于：所述步骤一中基于分形的视频压缩方法包括以下四个步骤：

1)如果是I帧（第一帧必须为I帧，其它帧可以设置是否为I帧），采用H.264帧内预测编码方式，对于每个当前块在各种可能的预测方式中选择具有最小代价的预测模式，完成所有块的预测后可以得到I帧的预测帧。通过原始帧和预测帧之差得到编码端残差帧。转入步骤3)编码残差；如果是P帧，转到步骤2)；

2)如果是P帧。依次对当前帧的所有宏块进行编码。在参考帧中的搜索窗内对当前宏块进行块匹配；在进行子块与父块的匹配过程中，子块的位置作为父块的起始搜索点，父块的大小与子块的大小相同；对每个宏块进行树状结构分块，即分块从大到小可分为16×16、16×8、8×16、8×8，8×8往下（亚宏块分割）可以分为8×4、4×8、4×4。帧间编码时，首先对编码宏块的各种块划分尺寸的帧间预测模式进行运动估计，确定迭代函数系统系数即IFS系数；然后比较所有模式的率失真代价；最后将率失真代价最小的模式作为最优帧间预测模式。

IFS系数由如下的率失真优化函数确定：

J_MOTION=MSE(s,o,x,y,ref)+λ_MOTION*R(s,o,x,y,ref)       (1)

其中IFS系数包括父块位置(x,y)和比例因子s、偏移因子o，s和o的计算公式如下：

$s=\frac{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i{d}_i-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]}{[N\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i\right)}^2]}---\left(2\right)$

$o=\frac{1}{N}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{r}_i-s\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{d}_i]---\left(3\right)$

式中，N为子块和父块像素的个数，r_i为子块的像素值，d_i为父块的像素值。

最优帧间预测模式由如下率失真优化函数确定：

J(s,c,MODE|QP,λ_MODE)=SSD(s,c,MODE|QP)+λ_MODE*R(s,c,MODE|QP)   (4)

对宏块的最佳分块模式，保存相应IFS系数，转入步骤4)得到本块的重建块。

如果当前帧所有的宏块都已编码完毕，所有的重建块组成重建图像（即下一帧的参考帧）。原始图像与重建图像之差得到残差图像，转到步骤3)编码残差；

3)残差图像的数据经过DCT、量化之后的系数一方面进行Zig-Zag扫描，然后用熵编码CABAC进行编码写入码流；另一方面经过反量化、反变换后得到解码端残差帧。由预测帧和解码端残差帧之和得到重建帧（即下一帧的参考帧）。如果是P帧则还要对所有IFS系数进行有符号指数哥伦布编码。判断当前帧是否为最后一帧，如果是最后一帧结束编码；否则，返回步骤1)继续处理下一帧图像；

4)通过保存的迭代函数系统系数代入解码方程式

r_i=s·d_i+o       (5)

计算得到预测值，由原始块和预测块之差得到编码端残差块，再由预测块和解码端残差块之和得到重建块。

其中，解码端残差块是由编码端残差块经过DCT变换、量化、反量化和反DCT变换得到的。转入步骤2)编码P帧下一宏块。

4.根据权利要求1所述一种快速深度图序列帧间模式选择分形编码方法，其特征在于：所述步骤二中基于分形的视频解压缩方法包括以下五个步骤：

1)解码端获得压缩的码流。码流中数据元素首先进行熵解码和重排序，获得一系列量化系数，这些系数经过反量化和反变换得到残差数据；

2)判断解码帧是否为I帧，若是I帧转入步骤3)，否则转入步骤4)；

3)对于I帧，首先由H.264帧内预测方式得到预测帧，预测帧与残差帧进行相加之后得到重建帧，帧数加1转入步骤5)；

4)对于P帧，首先从码流中读入该帧所有宏块的划分方式、每一个小块的迭代函数系统系数与运动矢量，由各迭代函数系统系数和运动矢量分别计算出解码端的预测块形成解码端的预测帧，预测帧与残差帧相加得到重建帧。帧数加1转到步骤5)；

5)判断此时所有帧是否都已解码，若都解码完毕，结束解码过程，否则转入步骤2)。

5.根据权利要求1所述一种快速深度图序列帧间模式选择分形编码方法，其特征在于：所述步骤六中当前深度图序列帧宏块编码模式复杂度计算公式为：

$\mathrm{EMC}={0.5w}_{C_{\mathrm{cor}}}+0.1(w_{C_{\mathrm{left}}}+w_{C_{\mathrm{up}}}+w_{D_{\mathrm{left}}}+w_{D_{\mathrm{up}}})+0.05(w_{C_{\mathrm{upleft}}}+w_{D_{\mathrm{upleft}}})---\left(6\right)$

其中D_left、D_up、D_upleft分别代表当前深度图序列帧宏块的左、上、左上邻居宏块，C_cor代表与当前深度图序列帧宏块相对应的彩色视频宏块，C_left、C_up、C_upleft分别代表C_cor的左、上、左上邻居彩色宏块，

分别代表相应宏块的编码模式影响因子，数值越大表明其对应的宏块编码模式越复杂，具体数值如下：

(1)若编码模式为SKIP或16×16，则相应影响因子w=1；

(2)若编码模式为16×8或8×16，则相应影响因子w=2；

(3)若编码模式为8×8（含8×4、4×8、4×4），则相应影响因子w=4；

式(6)中的0.5、0.1、0.05表示各宏块加权系数，其取值原则是所有加权系数之和为1，且对当前深度图序列帧宏块预测编码模式影响越大的宏块加权系数越大。

Images