CN105611287A

CN105611287A - 一种低复杂度的深度视频和多视视频编码方法

Info

Publication number: CN105611287A
Application number: CN201511015763.4A
Authority: CN
Inventors: 安平; 何宛文; 杨超; 沈礼权
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2015-12-29
Filing date: 2015-12-29
Publication date: 2016-05-25

Abstract

本发明公开了一种低复杂度的深度视频和多视视频编码方法，首先利用深度图的均值和方差将深度宏块分为平坦区域和复杂区域，对于平坦区域深度宏块，从SKIP模式和？Inter？16x16模式中选择RD？cost最小的一个作为帧间候选模式，对于复杂区域深度宏块，判断所述深度宏块对应的纹理宏块的编码模式是否为SKIP模式，如果是，从SKIP模式和？Inter？16x16模式中选择RD？cost最小的一个作为帧间候选模式，否则遍历所有的帧间模式选择RD？cost最小的一个作为帧间候选模式，对于所有深度宏块，遍历所有的帧内模式选择RD？cost最小的一个作为帧内候选模式，再选择帧间候选模式和帧内候选模式中RD？cost最小的一个作为编码模式。本发明在保证视频质量的同时降低了深度视频的编码复杂度，且维持码率不变。

Description

一种低复杂度的深度视频和多视视频编码方法

技术领域

本发明涉及一种深度视频和多视视频编码方法，尤其是涉及一种低复杂度的深度视频和多视视频编码方法，属于视频编码技术领域。

背景技术

3D视频近年来广泛应用于电视、电影以及视频会议中，给观看者提供沉浸式和身临其境的视觉感受。这种全新的视觉体验越来越受到人们的欢迎，进而推动了三维视频的发展。多视加深度视频(Multi-viewVideoplusDepth，MVD)作为三维场景信息的主要表示方式，其数据量与单视点视频相比成倍增加，编码复杂度较高。深度视频的一帧通常称为深度图，它是一种灰度图像，其像素值代表的是被拍摄物体到摄像机的距离。灰度值越小表示该位置距离摄像机越远。深度信息有效的表示了三维场景的几何信息，但并不在终端显示，而是用于虚拟视点绘制。多视深度视频和纹理视频一样具有大量的冗余，同样需要进行编码。

3DV-ATM编码研究平台沿用了H.264的编码工具对纹理视频进行编码，在此基础上增加了深度视频编码工具，但是并不能消除深度视频和纹理视频之间的数据冗余。3DV-ATM对每个纹理宏块或深度宏块均采用可变块大小划分模式进行全预测模式搜索，预测模式包括帧间预测模式和帧内预测模式，帧间预测模式包括SKIP、Inter16×16、Inter16×8、Inter8×16、Inter8×8，帧内预测预测模式包括Intra4×4、Intra8×8、Intra16×16。在纹理视频或深度视频编码模式选择过程中，P帧和B帧的宏块在编码过程中都要遍历帧内预测模式和帧间预测模式，然后采用率失真优化技术选取最优的预测模式作为编码模式。这种编码模式选择方法具有相当高的编码复杂度，使得多视视频系统难以实现实时性应用。

国内外学者针对这一问题进行了大量研究，主要集中在纹理视频的快速编码模式选择。纹理视频与深度视频虽然具有相似性，但是深度视频具有独特性，纹理图的编码模式直接应用于深度图编码中并不能使编码效率最大化。

深度视频与纹理视频具有相关性，因此可以利用参考宏块来提前终止当前宏块的编码模式选择过程。深度图有自己独特的特性，具有较大的平滑区域，纹理细节少。对于深度图中的背景区域，其距离摄像机的远近几乎没有变化，也就是说背景区域往往具有相似的灰度值，根据灰度值的分布则可以把深度图像划分为平坦区域和复杂区域，对不同的区域采用不同的编码模式选择方法，从而降低编码复杂度。因此，同时考虑深度视频与纹理视频的相关性以及深度视频的独特性，设计低复杂度的深度视频编码方法具有重大意义。

发明内容

本发明所要解决的技术问题是提供一种低复杂度的深度视频和多视视频编码方法。

为达到上述目的，本发明所采用的技术方案为：

技术方案一：

一种低复杂度的深度视频编码方法，选取当前时刻的深度图，将其划分为宽和高分别为16和16的深度宏块，逐一编码所述各深度宏块，所述深度图对应的纹理视频帧已经预先完成编码，所述纹理视频帧中的纹理宏块的划分方法与深度图中的深度宏块划分方法相同，所述各深度宏块的编码方法相同，均包括以下步骤：

步骤1：深度宏块分类：由以下具体步骤组成：

步骤1-1：计算深度宏块的像素均值e和方差d：

e = \frac{1}{256} Σ_{i = 0}^{16} Σ_{j = 0}^{16} p (i, j)

d = \frac{1}{256} Σ_{i = 0}^{16} Σ_{j = 0}^{16} {(p (i, j) - e)}^{2}

其中(i,j)表示所述深度宏块中像素点的坐标位置；p(i,j)表示所述宏块中坐标为(i,j)的像素点的亮度值；

步骤1-2：判断所述方差值是否小于设定的阈值λ，如果是，则为平坦区域，转向步骤2；否则，为复杂区域，转向步骤3；

步骤2：从SKIP模式和Inter16x16模式中选择RDcost最小的一个作为帧间候选模式，转向步骤5；

步骤3：判断所述深度宏块对应的纹理宏块的编码模式是否为SKIP模式，如果是，转向步骤2，否则，转向步骤4；

步骤4：从所有帧间预测模式中选择RDcost最小的一个作为帧间候选模式；

步骤5：预选帧内候选模式：从所有帧内预测模式中选择RDcost最小的一个作为帧内候选模式；

步骤6：确定深度宏块的编码模式：选择帧间候选模式与帧内候选模式中RDcost最小的一个作为所述深度宏块的编码模式。

所述步骤1-2中所述的阈值λ为5。

技术方案二：

一种低复杂度的多视视频编码方法，所述多视视频由两个或两个以上视的纹理视频和深度视频组成；相同时刻的各视的纹理视频帧和深度图组建为一个接入单元，所述接入单元编码时先逐一编码各视的纹理视频，再逐一编码各视的深度视频；所述各视的深度视频均采用技术方案一所述的深度视频编码方法编码。

采用上述技术方案，本发明取得以下有益效果：

1、本发明方法利用深度图的特性，提出利用深度宏块的像素方差将深度图分成平坦区域和复杂区域，对于平坦区域只采用SKIP模式和Inter16x16模式。对于复杂区域，充分利用深度图和纹理视频帧的相关性，提出深度宏块参考纹理宏块的预测模式。这两种方法的结合不仅减少了深度视频帧中平坦区域的模式选择复杂度，提高了复杂区域中部分宏块的编码速度，从而降低深度视频编码的计算复杂度。

2、本发明在降低编码复杂度的同时，保证编码质量不受影响；平均PSNR仅降低0.01dB，比特率无明显增加。

附图说明

图1是本发明的流程图；

图2是本实施例与ATM的编码方法的编码时间对比图；

图3是Kendo序列在本实施例中与在ATM平台中编码的R-D曲线对比图；

图4是Balloons序列在本实施例中与在ATM平台中编码的R-D曲线对比图；

图5是原始kendo序列第3和第5视点所绘制出第4视点的第7帧图像；

图6是经过ATM平台编码后kendo序列第3和第5视点所绘制出第4视点的第7帧图像；

图7是本实施例中kendo序列第3和第5视点所绘制出第4视点的第7帧图像。

具体实施方式

实施例1：

如图1所示，一种低复杂度的深度视频编码方法，选取当前时刻的深度图，将其划分为宽和高分别为16和16的深度宏块，逐一编码所述各深度宏块，所述深度图对应的纹理视频帧已经预先完成编码，所述纹理视频帧中的纹理宏块的划分方法与深度图中的深度宏块划分方法相同，所述各深度宏块的编码方法相同，均包括以下步骤：

步骤1：深度宏块分类：由以下具体步骤组成：

步骤1-1：计算深度宏块的像素均值e和方差d：

e = \frac{1}{256} Σ_{i = 0}^{16} Σ_{j = 0}^{16} p (i, j)

d = \frac{1}{256} Σ_{i = 0}^{16} Σ_{j = 0}^{16} {(p (i, j) - e)}^{2}

所述步骤1-2中所述的阈值λ为5。

实施例2：

一种低复杂度的多视视频编码方法，所述多视视频由两个或两个以上视的纹理视频和深度视频组成；相同时刻的各视的纹理视频帧和深度图组建为一个接入单元，所述接入单元编码时先逐一编码各视的纹理视频，再逐一编码各视的深度视频；所述各视的深度视频均采用实施例1所述的深度视频编码方法编码。

本发明集成在编码参考平台ATM上，所采用的测试序列为Balloons序列、kendo序列、lovebird序列和newspaper序列。实验的编码测试环境与测试序列参数如表1所示，采用HBP编码预测模式，编码量化参数分别为22,27,32,37。四个参考序列的分辨率均为1024×768。在编码过程中将ATM原有的编码顺序T₀D₀D₁D₂T₁T₂修改为T₀T₁T₂D₀D₁D₂，也就是先纹理后深度的编码模式，以便于深度视频编码时参考对应的纹理宏块。

分析ATM编码过程中帧间宏块(PSlice和Bslice)的各种编码模式的分布情况，以Kendo序列为例，其深度视频和纹理视频的编码模式分布如表2所示，在深度和纹理视频中SKIP模式、Inter16×16模式以及Intra模式(Intra16×16、Intra8×8、Intra4×4)占所有模式的95％以上。所以有效利用深度宏块与纹理宏块的相关性，可以减小模式选择的复杂度。对当前深度宏块进行编码时，可以参考已编码的纹理宏块。

深度图具有大块的平滑区域和小部分锐利的边缘区域，而平滑区域由于像素分布均匀一般采用SKIP和16×16模式进行编码，所以对深度图进行精确的宏块划分、然后针对不同的区域进行不同方式的模式选择可以极大地降低编码复杂度，同时保证深度图边缘区域不受影响。因为深度图边缘在进行虚拟视点绘制时起到至关重要的作用，该方法可较好的保存深度图边缘，确保虚拟视视点不受影响，降低将近一半的编码复杂度。

为了验证本发明的算法效果，将本发明的方法与现有的ATM平台的编码性能进行比较，测试序列为Balloons序列、kendo序列、lovebird序和newspaper序列。

如图2所示，不同测试序列在不同的QP情况下，采用本发明的编码方法与ATM的编码方法相比，平均编码时间明显降低。根据实验结果可看出采用本发明方法对深度视频进行编码能平均减少43.83％的编码时间。

如图3和图4所示，Kendo序列和Balloons序列在ATM平台与本发明方法编码后的R-D曲线相比，本发明方法和ATM方法编码后的视频质量没有明显变化。

如图5-7所示，采用本发明编码Kendo序列所绘制的虚拟视视频帧，与未编码、ATM编码的Kendo序列所绘制的虚拟视视频帧相比，本发明较好的保留了复杂区域和边缘信息，同时降低了编码复杂度。表3给出了本发明编码方法与ATM编码方法的详细性能比较，△Time表示本发明方法相对于ATM编码方法的时间变化，△PSNR表示本发明方法相对于ATM编码后的视频质量变化，△Bitrate表示本发明方法相对于ATM编码方法的比特率变化。可见本发明方法在视频质量和编码比特率无明显变化的情况下有效减少了编码时间。本发明在测试中最高可使深度视频的编码时间缩短48.46％的编码时间。

表1

表2

编码模式

SKIP

Inter16×16

Inter16×8

Inter8×16

Inter8×8

Intra

深度视频

92.77％

1.98％

0.19％

0.18％

2.72％

2.15％

纹理视频

82.28％

11.93％

0.84％

0.81％

0.24％

3.90％

表3

Claims

1.一种低复杂度的深度视频编码方法，选取当前时刻的深度图，将其划分为宽和高分别为16和16的深度宏块，逐一编码所述各深度宏块，所述深度图对应的纹理视频帧已经预先完成编码，所述纹理视频帧中的纹理宏块的划分方法与深度图中的深度宏块划分方法相同，其特征在于：所述各深度宏块的编码方法相同，均包括以下步骤：

步骤1：深度宏块分类：由以下具体步骤组成：

步骤1-1：计算深度宏块的像素均值e和方差d：

e = \frac{1}{256} Σ_{i = 0}^{16} Σ_{j = 0}^{16} p (i, j)

d = \frac{1}{256} Σ_{i = 0}^{16} Σ_{j = 0}^{16} {(p (i, j) - e)}^{2}

2.根据权利要求1所述的低复杂度的深度视频编码方法，其特征在于：所述步骤1-2中所述的阈值λ为5。

3.一种低复杂度的多视视频编码方法，其特征在于：所述多视视频由两个或两个以上视的纹理视频和深度视频组成；相同时刻的各视的纹理视频帧和深度图组建为一个接入单元，所述接入单元编码时先逐一编码各视的纹理视频，再逐一编码各视的深度视频；所述各视的深度视频均采用权利要求1所述的深度视频编码方法编码。