CN110460844A

CN110460844A - 基于dwt的3d-hevc快速cu分割预测方法

Info

Publication number: CN110460844A
Application number: CN201910744353.5A
Authority: CN
Inventors: 张桦; 黄鸿飞; 於世芳; 姚王泽; 吴以凡; 戴国骏
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2019-08-13
Filing date: 2019-08-13
Publication date: 2019-11-15
Anticipated expiration: 2039-08-13
Also published as: CN110460844B

Abstract

本发明公开了一种基于DWT的3D‑HEVC快速CU分割预测方法。快速CU分割预测编码决策方法在CU划分之前，首先对CU进行DWT变换获得当前CU的DWT系数矩阵，然后对当前系数块的水平，垂直，对角线方向系数和进一步对预测块的四周方差进行判断是否平缓，如果平缓则CU不需要划分为子CU，否则进入递归进一步划分。DWT具有能量聚集的特性，故在3D‑HEVC深度图编码过程中可以明显区分编码块是否具有边缘。本发明直接对CU进行判断，减少了递归带来的时间消耗因此具有计算复杂度低、编码时间短和视频重建效果好的特点。

Description

基于DWT的3D-HEVC快速CU分割预测方法

技术领域

本发明涉及视频编码领域，具体是一种基于DWT的3D-HEVC快速CU分割预测方法。

背景技术

在过去几年里，随着3D视频服务需求的增加，3D视频的展现、压缩和传输成为一个新的有挑战的研究课题。多视角加深度图(MVD)的视频格式是多种有发展前景的视频表现形式中的一种。由3D视频编码扩展开发联合协作组(JCT-3V)提出的高质量视频编码的3D扩展(3D-HEVC)是对于压缩MVD数据的一种新兴视频编码标准。

传统的CU分割是以递归划分至最小尺寸后逐渐向上比较进行判断是否划分，其时间复杂度很大，我们可以在其划分之前加入判断其其是否需要划分，若不需要划分则不必进入递归，否则进入递归划分，由于深度图中平缓的较多，所以其中很多CU都不需要划分，可大大减少CU分割的时间。

离散小波变换(DWT)是与傅立叶变换相关的一种变换，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口,一张图片经过DWT后，绝大部分能量集中在左上角的低频系数中；相反，如果像素块中包含较多细节纹理信息，则较多能量分散在高频区域。当一个像素块较为平缓时，它的高频信号基本为零，当其存在一定的纹理变化时，它的高频信号存在不为零的值，我们可以以此来对像素块进行判断。

参考文献：

[1]Tech G,Chen Y,Müller K,et al.Overview of the Multiview and 3DExtensions of High Efficiency Video Coding[J].IEEE Transactions on Circuits&Systems for Video Technology,2016,26(1):35-49.

[2]Zhang Tao,Ming Ting Sun,Debin Zhao,and Gao Wen,“Fast intra modeand cu size decision for hevc,”IEEE Transactions on Circuits Systems forVideo Technology,2016.

[3]Dami′an Ruiz,Fern′andez-Escribano,and et.al,“Fast cu partitioningalgorithm for hevc intra coding using data mining,”Multimedia ToolsApplications,vol.76(1),

pp.861–894,2017.

发明内容

本发明的目的是鉴于图像DWT矩阵右上角和右下角的能量分布对判断CU是否平缓的重要性，提出一种基于DWT的3D-HEVC快速CU分割预测方法，该方法将视频中的一帧图像进行DWT变换，对生成的DWT矩阵选点判断。该方法具有计算复杂度低、编码时间短和视频重建效果好的特点。

为了实现上述目的，本发明的技术方案包括如下步骤：

基于DWT的3D-HEVC快速CU分割预测方法：

步骤1：读入一个CU，经过离散小波变换后得到其DWT系数矩阵；

步骤2.对当前系数块的右下角系数进行求和，若其和的值为零则直接判断该预测块是平缓的，没有边缘，并且跳转步骤5，跳转步骤4；

步骤3：进一步计算DWT系数矩阵的四周方差，即对当前的CU块求周围方差var：对其第一行、最后一行、第一列、最后一列总计4N-4个数字求方差，其中N为CU的宽度；若方差var大于1，则判断其存在边缘，跳转到步骤4；若方差小于1，则不存在边缘，跳转步骤5；

步骤4：让该CU进入递归，将该CU划分为4个大小为N/2*N/2的子CU，对每个子CU，跳转到步骤1；

步骤5：该CU不需要划分，划分过程结束。

步骤1所述的整数DWT转换如下：

在二维的情况下，需要一个尺度函数和三个二维小波ψ^H(x,y)，ψ^V(x,y)，ψ^D(x,y)，其中ψ^H(x,y)度量沿列方向的变化，ψ^V(x,y)度量沿行方向的变化，ψ^D(x,y)度量沿对角线方向的变化，我们定义一个尺度和平移基函数：

其中i∈{H,V,D},于是大小为M*N的图像f(x,y)的离散小波变换如下：

j0是一个任意的开始尺度，系数定义f(x,y)在尺度j0处的近似，系数对尺度j≥j0附加了水平、垂直和对角线方向的细节，通过变换，求得一个二维的小波变换，简化为如下过程：

首先定义一些变量与滤波器：

x[m,n]:输入的离散信号即预测矩阵(PU)；

g[n]:Low pass filter低通滤波器，将输入信号的高频部分过滤而输出低频部分；

h[n]:High pass filter高通滤波器，将输入信号的低频部分过滤而输出高频部分；

↓Q:Downsampling filter降采样滤波器，如果以x[n]为输入，则输出y[n]＝x[Qn],二维的DWT在降采样一般是沿着某个方向进行，例如m或者n，Q一般为2；

DWT变换过程：对于输入的x[m,n]，先让其通过低通滤波器g[n]，再沿着n的方向进行降采样得到v_1,L[m,n]，再让其通过高通滤波器h[n]，再沿着n的方向进行降采样得到v_1,H[m,n],这是经过一次滤波后得到的系数，同样把v_1,L[m,n]，v_1,H[m,n]作为输入信号执行上一步同样的操作，但是在采样的时候是沿着m方向，可以得到四个部分x_1,L[m,n]，x_1,H1[m,n]，x_1,H2[m,n]，x_1,H3[m,n]，其中x_1,L[m,n]是低频区域，给出信号的特征，而x_1,H1[m,n]，x_1,H2[m,n]，x_1,H3[m,n]是高频区域，给出信号的细节，我们的方法主要是依据高频信号来判断是否存在边缘，给出转换的公式如下:

其中，x_1,L[m,n]，x_1,H1[m,n]，x_1,H2[m,n]，x_1,H3[m,n]分别与ψ^H(x,y)，ψ^V(x,y)，ψ^D(x,y)一一对应，代表整体信息、水平方向信息、垂直方向信息以及对角线方向的信息，利用水平方向信息、垂直方向信息以及对角线方向的信息来进行判断其是否存在边缘；

步骤3过程如下：首先对x_1,H1[m,n],x_1,H2[m,n],x_1,H3[m,n]的值求和，若其值为零则判断该CU不存在边缘，若不为零则对该CU即输入矩阵x[m,n]四周的值求方差，求方差的数据为x[0,0]～x[0,n]，x[m-1,0]～x[m-1,n]，x[1,0]～x[m-2,n]，x[1,n]～x[m-2,n]得到其方差var,若var大于1，判断其存在边缘，否则不存在边缘。

本发明的有益效果如下：

本发明使用DWT应用于三维视频编码，利用DWT方法判断在深度图编码下DMMs是否要加入候选列表以及CU是否分割，并且在视频码率减少的同时有效的减少了编码时间，避免了计算冗余模式，减少计算量。DWT具有“能量集中”的特性，并且能够很好地区分图像边缘。

附图说明

图1是CU分割预测方法流程图

图2是DWT系数矩阵及其左上角和右下角选择系数点。

图3是四周方差数据取值点。

图4是完整的分割流程图

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，基于DWT的3D-HEVC快速CU分割预测方法，具体包括如下步骤：

步骤1.基于3D-HEVC，得到一个N*N(N＝64,32,16,N>8,第一次为64)大小的CU后，利用整数DWT转换计算当前预测块的DWT系数矩阵，保存为一个矩阵。DWT变换过程如下：对于输入的x[m,n]，先让其通过低通滤波器g[n]，再沿着n的方向进行降采样得到v_1,L[m,n]，再让其通过高通滤波器h[n]，再沿着n的方向进行降采样得到v_1,H[m,n],这是经过一次滤波后得到的系数，同样把v_1,L[m,n]，v_1,H[m,n]作为输入信号执行上一步同样的操作，但是在采样的时候是沿着m方向，可以得到四个部分x_1,L[m,n]，x_1,H1[m,n]，x_1,H2[m,n]，x_1,H3[m,n]，其中x_1,L[m,n]是低频区域，给出信号的特征，而x_1,H1[m,n]，x_1,H2[m,n]，x_1,H3[m,n]是高频区域，给出信号的细节，我们的方法主要是依据高频信号来判断是否存在边缘，给出转换的公式如下:

其中x_1,L[m,n]，x_1,H1[m,n]，x_1,H2[m,n]，x_1,H3[m,n]分别代表整体信息，水平方向，垂直方向，以及对角线方向的信息，离散小波变换DWT对当前CU块进行DWT转换，生成一个DWT系数矩阵。

步骤2.如图2所示，对当前DWT系数矩阵的左下、右上、右下角系数(即图中灰色部分)进行求和，若其和的值为零则直接判断该预测块是平缓的，没有边缘，并且跳转步骤5，跳转步骤4；

步骤3：如图3所示，进一步计算DWT系数矩阵的四周方差，即对当前的CU块求周围方差var：对其第一行、最后一行、第一列、最后一列(即图中灰色部分)总计4N-4个数字求方差，其中N为CU的宽度；若方差var大于1，则判断其存在边缘，跳转到步骤4；若方差小于1，则不存在边缘，跳转步骤5；

步骤5：该CU不需要划分，划分过程结束。

实施例1：

如图4所示，基于DWT的3D-HEVC中CU分割预测方法，完整的分割流程图具体如下：读入一个64*64的CU,经过DWT判断其需不需要划分，若不需要划分，该CU划分过程结束；若需要划分，划分为4个32*32的子CU，然后分别读入32*32的CU,经过DWT判断其需不需要划分，若不需要划分，该CU划分过程结束；若需要划分，划分为4个16*16的子CU，然后分别读入16*16的CU,经过DWT判断其需不需要划分，若不需要划分，该CU划分过程结束；若需要划分，划分为4个8*8的子CU，划分为最小尺寸，划分过程结束。

Claims

1.基于DWT的3D-HEVC快速CU分割预测方法，其特征在于包括如下步骤：

步骤5：该CU不需要划分，划分过程结束。

2.根据权利要求1所述的基于DWT的3D-HEVC快速CU分割预测方法，其特征在于步骤1所述的DWT系数矩阵获取如下：

在二维的情况下，需要一个尺度函数和三个二维小波ψ^H(x，y)，ψ^V(x，y)，ψ^D(x，y)，其中ψ^H(x，y)度量沿列方向的变化，ψ^V(x，y)度量沿行方向的变化，ψ^D(x，y)度量沿对角线方向的变化，定义一个尺度和平移基函数：

其中i∈{H，V，D}，于是大小为M*N的图像f(x，y)的离散小波变换如下：

j0是一个任意的开始尺度，系数定义f(x，y)在尺度j0处的近似，系数对尺度j≥j0附加了水平、垂直和对角线方向的细节，通过变换，求得一个二维的小波变换，简化为如下过程：

首先定义一些变量与滤波器：

x[m，n]：输入的离散信号即预测矩阵(PU)；

g[n]：Low pass filter低通滤波器，将输入信号的高频部分过滤而输出低频部分；

h[n]：High pass filter高通滤波器，将输入信号的低频部分过滤而输出高频部分；

↓Q：Downsampling filter降采样滤波器，如果以x[n]为输入，则输出y[n]＝x[Qn]；

DWT变换过程：对于输入的x[m，n]，先让其通过低通滤波器g[n]，再沿着n的方向进行降采样得到v_1，L[m，n]，再让其通过高通滤波器h[n]，再沿着n的方向进行降采样得到v_1，H[m，n]，这是经过一次滤波后得到的系数，同样把v_1，L[m，n]，v_1，H[m，n]作为输入信号执行上一步同样的操作，但是在采样的时候是沿着m方向，得到四个部分x_1，L[m，n]，x_1，H1[m，n]，x_1，H2[m，n]，x_1，H3[m，n]，其中x_1，L[m，n]是低频区域，给出信号的特征；而x_1，H1[m，n]，x_1，H2[m，n]，x_1，H3[m，n]是高频区域，给出信号的细节；依据高频信号来判断是否存在边缘，给出转换的公式如下：

其中，x_1，L[m，n]，x_1，H1[m，n]，x_1，H2[m，n]，x_1，H3[m，n]分别与ψ^H(x，y)，ψ^V(x，y)，ψ^D(x，y)一一对应，代表整体信息、水平方向信息、垂直方向信息以及对角线方向的信息，利用水平方向信息、垂直方向信息以及对角线方向的信息来进行判断其是否存在边缘。

3.根据权利要求2所述的基于DWT的3D-HEVC快速CU分割预测方法，其特征在于步骤3过程如下：

首先对x_1，H1[m，n]，x_1，H2[m，n]，x_1，H3[m，n]的值求和，若其值为零则判断该CU不存在边缘，若不为零则对该CU即输入矩阵x[m，n]四周的值求方差，求方差的数据为x[0，0]～x[0，n]，x[m-1，0]～x[m-1，n]，x[1，0]～x[m-2，n]，x[1，n]～x[m-2，n]得到其方差var，若var大于1，判断其存在边缘，否则不存在边缘。