CN103428499B

CN103428499B - 编码单元的划分方法及使用该方法的多视点视频编码方法

Info

Publication number: CN103428499B
Application number: CN201310373531.0A
Authority: CN
Inventors: 金欣; 迟广晟; 戴琼海
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2013-08-23
Filing date: 2013-08-23
Publication date: 2016-08-17
Anticipated expiration: 2033-08-23
Also published as: CN103428499A

Abstract

本发明提供了一种编码单元的划分方法，包括如下步骤：A1、输入两个以上视点视频纹理图像和深度图像序列；A2、记录独立视点各最大编码单元的划分信息；A3、建立所述最大编码单元的划分信息与权重的映射；A4、获取所述最大编码单元在独立视点中的匹配单元；A5、判定当前待编码的非独立视点纹理图像中各待编码的最大编码单元对应的子分块的划分；A6、输出当前编码视点各最大编码单元的划分。本发明利用已编码的同一时刻的独立视角的CU划分的统计信息来帮助当前编码的非独立视角CU的划分，在计算上省略了穷尽迭代的非独立视角的CU划分法，从而加速了整个CU划分的过程，提高了效率。

Description

编码单元的划分方法及使用该方法的多视点视频编码方法

技术领域

本发明涉及视频编码技术，尤其涉及一种基于多视点视频视间纹理相关性的编码单元快速划分算法，以及使用该方法的多视点视频编码方法。

背景技术

随着新一代视频标准HEVC(High Efficiency Video Coding)的推出，基于HEVC的多视点3D视频也随之产生，作为MPEG(Moving Pictures Experts Group)和VCEG(Video Coding Experts Group)的联合视频项目HEVC的推广，3D-HEVC将被发展用于3D视频编码。

在3D-HEVC中，3D视频数据采用“多视点视频+深度图”的格式进行编码。不同于H.264/MPEG-4标准，在新的HEVC标准中，编码层采用的是不同以往宏块(MB)的编码单元，而是以新的编码单元(CU，Coding Units)和编码树结构(CTU，Coding Tree Units)。较之于H.264/MPEG-4标准中MB的划分来说，新的HEVC标准中的CU划分模式更为多样和复杂。CTU包含着四叉树结构，当CU的划分信息值为0时，最大编码单元被划分为64x64的CU；当CU的划分信息值为1时，最大编码单元被划分为32x32的CU；当CU的划分信息值为2时，最大编码单元被划分为16x16的CU；当CU的划分信息值为3时，最大编码单元被划分为8x8的CU。目前的HTM平台上采用的是穷尽迭代法，将一个最大编码单元从64x64的CU经过三层四叉树结构到8x8的CU，划分过程计算复杂度很大。

发明内容

本发明所要解决的技术问题是，克服上述现有技术的缺陷，提供一种编码单元的划分方法，包括如下步骤：

A1、输入两个以上视点视频纹理图像和深度图像序列；

A2、编码独立视点纹理图像，记录各最大编码单元的划分信息；

A3、建立所述最大编码单元的划分信息与权重的映射；

A4、获取待编码的非独立视点的纹理图像最大编码单元在独立视点中的匹配单元；

A5、利用所述映射计算所述匹配单元中各子分块的纹理复杂度，判定当前待编码的非独立视点纹理图像中各待编码的最大编码单元对应的子分块的划分；

A6、输出当前待编码的非独立视点各待编码视点的最大编码单元的划分。

根据实施例，本发明还可采用以下优选的技术方案：

所述步骤A2中，所述各最大编码单元的划分信息包括分层信息，所述映射为最大编码单元的分层信息与权重的一一对应，当分层信息为i时，对应的权重为w_i＝iw₁，其中，w_i为分层信息为i时对应的权重，i的取值为0、1、2或3。

所述步骤A5中，所述匹配单元中各子分块的纹理复杂度以四叉树方式、自匹配单元的顶部向下计算得到。

所述步骤A2中，所述划分信息是以各最大编码单元内信息的存储单元为单位记录的。

所述步骤A4具体包括：对各待编码的非独立视点纹理图像的最大编码单元，根据当前编码视点的深度信息图来计算视差向量，得到当前最大编码单元在独立视点中对应的匹配；其中，对每一个当前最大编码单元都计算一个视差向量。

所述匹配单元内各子分块纹理复杂度的计算公式为

w_i为所述步骤A3中得到的权重，N为匹配单元内当前子分块内的记录分层信息单元的个数；

若0＜W＜T₀表示i＝0为当前最大编码单元的最佳划分，T₀为训练得到的阈值；

若W＞T₀，则利用式(1)分别计算匹配单元内每个四分之一子分块的纹理复杂度，此时，N＝N₁＝N₀/4；

对于计算得出匹配单元内的每个四分之一子分块纹理复杂度W，若T₀＜W＜T₁，则表示i＝1为当前最大编码单元内对应的四分之一子分块为最佳划分，T₁为训练得到的阈值；

若W＞T₁，则利用式(1)分别计算匹配单元该四分之一子分块内每个十六分之一子分块的纹理复杂度，此时，N＝N₂＝N₀/16；

若T₁＜W＜T₂，则表示i＝2为当前最大编码单元该四分之一子分块内对应的十六分之一子分块为最佳划分，T₂为训练得到的阈值；

若W＞T₂，则利用式(1)分别计算匹配单元该十六分之一子分块内六十四分之一子分块的纹理复杂度，此时，N＝N₃＝N₀/64；

若T₂＜W＜T₃，则表示i＝3为当前最大编码单元该十六分之一子分块内对应的六十四分之一子分块为最佳划分，T₃为训练得到的阈值；

依次类推，直到将独立视点内的匹配单元和当前最大编码单元划分到标准中允许的最小编码单元为止。

在HEVC标准中，所述训练得到的各阈值的取值为：0.225＜T₀＜0.275，0.475＜T₁＜0.525，0.725＜T₂＜0.775。

所述计算视差向量可采用HEVC标准中所列方法。

所述HEVC标准中所列方法包括基于已编码深度图像的视差向量估计方法、基于已编码视差向量和运动向量的视差向量估计方法、基于相邻块视差向量的估计方法和基于不同视点已编码的深度图计算的方法。

本发明还提供一种多视点视频编码方法，该编码方法中对编码单元的划分采用如上任一项所述的编码单元的划分方法。

本发明与现有技术对比的有益效果是：利用视角间纹理相关性，当编码非独立视角时，利用已编码的同一时刻的独立视角的CU划分的统计信息来帮助当前编码的非独立视角CU的划分，在计算上省略了穷尽迭代的非独立视角的CU划分法，取而代之的是统计当前最大编码单元对应到独立视角中最大编码单元位置内的CU的划分信息，从而避免了原有算法中对每种CU划分模式的计算，以及对相应的RDCost的计算，加速了整个CU划分的过程，提高了效率。

附图说明

图1是本发明一个实施例的编码单元的划分方法流程图。

具体实施方式

通过研究邻视间纹理图的相关性，可通过计算独立视点中的最大编码单元的纹理复杂度，来判定当前待编码的最大编码单元对应子分块的划分方法。因为，当某一区域编码单元的划分信息值越大，表示此处的纹理信息越丰富，其纹理复杂度越大，越需要划分成较小的编码单元；同理，当该区域的编码单元的划分信息值越小，表示该处的纹理信息越少，内容越平坦，其纹理复杂度也越小，划分成较大的编码单元就可以满足要求。由此，可以建立当前编码视点的最大编码单元的划分模式与独立视点中相对应区域内匹配单元内划分信息的映射关系，利用此映射关系，可在保证编码质量的前提下，大大降低编码过程运算的复杂度。

下面对照附图和结合优选具体实施方式对本发明进行详细的阐述。下面的实施过程中所述的具体方法都仅为举例说明，本发明所涵盖的范围不局限于所列举的这些方法。

如图1，是本发明一个实施例的编码单元的划分方法流程图，其主要包括如下步骤：

A1，输入两个以上视点视频纹理图像和深度图像序列。输入的多视点立体视频序列为：通过摄像机、照相机采集所得，或者通过计算机工具所得的视频序列，数据格式不限，该序列可用于立体观看。

A2，编码独立视点纹理图像，记录各最大编码单元的划分信息。当编码独立视点纹理图像时，记录独立视点内每一帧的各最大编码单元的划分信息。其中划分信息是以各最大编码单元内信息的存储单元的为单位记录的。

A3，建立所述最大编码单元的划分信息与权重的映射。利用A2步骤所记录的最大编码单元的划分信息，建立划分与权重映射。其映射为最大编码单元分层信息与权重的一一对应，当分层信息为i时，对应的权重为w_i＝iw₁，w₁为分层信息为1时对应的权重。例如在HEVC标准中分层的深度信息值为0，1，2，3，其对应的权重设置为0，w₁，w₂＝2w₁，w₃＝3w₁。

A4，获取所述最大编码单元在独立视点中的匹配单元。根据当前编码视点的深度信息图的深度信息来计算其相对独立视点的视差向量，得到当前最大编码单元在独立视点中对应的匹配单元，例如:可以计算当前最大编码单元的任一像素位置所对应到独立视点中的位置，根据其位置信息找到其对应在独立视点中对应的最大编码单元，如在HEVC中：利用当前最大编码单元左上角像素的信息，通过视差向量得到其在独立视点中对应的位置，此位置右方和下方各64个像素位置所对应的64x64的编码单元即为这里所说的匹配单元。其中，较佳的做法是对每一个当前最大编码单元都重新计算一个视差向量，因为视频中不同区域内容不同，深度值也不同，对于每一个最大编码单元都重新计算一个视差向量使得该视差向量对当前编码单元更准确。具体视差向量的计算过程可采取基于已编码的深度图来计算视差向量，但不限于此，任何能够算出视差向量的计算方法均可采用，譬如，基于已编码深度图像的视差向量估计方法、基于已编码视差向量和运动向量的视差向量估计方法、基于相邻块视差向量的估计方法和基于不同视点已编码的深度图计算的方法等在HEVC标准中所列出的多种视差向量计算方法。

A5，利用所述映射计算所述匹配单元中各子分块的纹理复杂度，判定当前待编码的非独立视点纹理图像中各待编码的最大编码单元对应的子分块的划分。

利用步骤A3中建立的所述最大编码单元的划分信息与权重的映射，自顶向下，以四叉树方式计算在步骤A4中获得的匹配单元各子分块纹理复杂度，并以此判定当前待编码的最大编码单元对应子分块的划分。其中，匹配单元内各子分块纹理复杂度可用如下公式表示：

w_i为由步骤A3中得到的权重，N为匹配单元内当前子分块内的记录分层信息单元的个数。

首先，利用公式(1)根据步骤A3中建立的最大编码单元的划分信息与权重的映射计算出独立视点中整个匹配单元内的纹理复杂度W，N＝N₀，N₀为当前最大编码单元内存储划分信息的最小单元的个数。

然后，作出判断如下：

若0＜W＜T₀，则此时当前最大编码单元的大小为当前最大编码单元的最佳划分，不需要进一步划分，即分层信息为0为当前最大编码单元的最佳划分。其中，T₀为训练得到的阈值。

若上一步的计算结果为W＞T₀，则将当前最大编码单元和独立视点中的匹配单元分别划分为四个四分之一子分块，重新利用公式(1)分别计算匹配单元内每个四分之一子分块的纹理复杂度，此时N＝N₁＝N₀/4。对于计算得出匹配单元内的每个四分之一子分块纹理复杂度W，若T₀＜W＜T₁，则认为在该四分之一子分块在当前最大编码单元内对应的四分之一子分块为最佳划分，不需要进行进一步划分。

若上一步的计算结果为W＞T₁，则将独立视点内该四分之一子分块和其在当前最大编码单元内对应的四分之一子分块划分为四个十六分之一子分块，重新利用公式(1)分别计算该四分之一匹配单元内每个十六分之一子分块的纹理复杂度，此时N＝N₂＝N₀/16。对于计算得出匹配单元内该四分之一子分块内的每个十六分之一子分块纹理复杂度W，若T₁＜W＜T₂，则认为在该十六分之一子分块在当前最大编码单元内对应的十六分之一子分块为最佳划分，不需要进行进一步划分。

若上一步的计算结果为W＞T₂，则将独立视点内该十六分之一子分块和其在当前最大编码单元内对应的十六分之一子分块划分为四个六十四分之一子分块，重新利用公式(1)分别计算该十六分之一匹配单元内每个六十四分之一子分块的纹理复杂度，此时N＝N₃＝N₀/64。对于计算得出匹配单元内该十六分之一子分块内的每个六十四分之一子分块纹理复杂度W，若T₂＜W＜T₃，则认为在该六十四分之一子分块在当前最大编码单元内对应的六十四分之一子分块为最佳划分，不需要进行进一步划分。

按如上步骤进行，直到将独立视点内的匹配单元和当前最大编码单元划分到标准中允许的最小编码单元为止，T₀，T₁，T₂...T_n为由独立视角内匹配单元复杂度与当前最大编码所划分的相关性训练统计得到的阈值，且对于不同序列可重复使用，不需要再次训练统计。

例如：在HEVC标准中，最大编码单元为64x64，其允许的最小编码单元为8x8，划分层次信息为0，1，2，3，当其权值设置w_i分别为0，1，2，3时，经由训练统计得到的阈值为0.225＜T₀＜0.275，0.475＜T₁＜0.525，0.725＜T₂＜0.775。如果采用其它标准，有更大的编码单元和更多的层次划分时，其阈值设置可参考该HEVC标准中的各个阈值按规律计算得出。譬如，0.975＜T₃＜1.025等。

A6，反复执行步骤A4和A5，直至按需要停止(譬如已达当前帧最后一个最大编码单元)为止。

A7，最后，输出当前编码视点各最大编码单元的划分。

本发明一个实施例的多视点视频编码方法，对编码单元的划分采用如上所述的编码单元的划分方法，而其它编码步骤可采用现有技术的做法。利用本发明的多视点视频编码方法，能够明显提高自由视点视频编码中非独立视点的编码速度，避免迭代划分判定编码单元，大幅降低了自由视点视频编码的计算复杂度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims

1.一种编码单元的划分方法，其特征在于包括如下步骤：

A1、输入两个以上视点视频纹理图像和深度图像序列；

A3、建立所述最大编码单元的划分信息与权重的映射，所述映射为最大编码单元分层信息与权重的一一对应，当分层信息为i时，对应的权重为w_i＝iw₁，其中，w₁为分层信息为1时对应的权重，i的取值为0、1、2或3；

A4、获取待编码的非独立视点的纹理图像的最大编码单元在独立视点中的匹配单元；

其中，匹配单元内各子分块纹理复杂度的公式为

w_i为所述权重，N为匹配单元内当前子分块内的记录分层信息单元的个数；

若0＜W＜T₀，则表示i＝0为当前最大编码单元的的最佳划分，T₀为训练得到的阈值；W＞T₀，则利用公式(1)分别计算匹配单元内每个四分之一子分块的纹理复杂度，此时N＝N₁＝N₀/4，N₀为当前最大编码单元内存储划分信息的最小单元的个数；对于计算得出匹配单元内的每个四分之一子分块纹理复杂度W，若T₀＜W＜T₁，则表示i＝1为当前最大编码单元内对应的四分之一子分块为最佳划分，T₁为训练得到的阈值；W＞T₁，则利用公式(1)分别计算该四分之一匹配单元内每个十六分之一子分块的纹理复杂度，此时N＝N₂＝N₀/16；若T₁＜W＜T₂，则表示i＝2为当前最大编码单元内该四分之一子分块内对应的十六分之一子分块为最佳划分，T₂为训练得到的阈值；W＞T₂，则利用公式(1)分别计算该十六分之一匹配单元内六十四分之一子分块的纹理复杂度，此时N＝N₃＝N₀/64；若T₂＜W＜T₃，则表示i＝3为当前最大编码单元内该十六分之一子分块内对应的六十四分之一子分块为最佳划分，T₃为训练得到的阈值；依次类推，直到将独立视点内的匹配单元和当前最大编码单元划分到标准中允许的最小编码单元为止；

A6、输出当前待编码的非独立视点各待编码的最大编码单元的划分。

2.如权利要求1所述的编码单元的划分方法，其特征在于：所述步骤A5中，所述匹配单元中各子分块的纹理复杂度以四叉树方式、自匹配单元的顶部向下计算得到。

3.如权利要求1所述的编码单元的划分方法，其特征在于：所述步骤A2中，所述划分信息是以各最大编码单元内信息的存储单元为单位记录的。

4.如权利要求1所述的编码单元的划分方法，其特征在于，所述步骤A4具体包括：对各待编码的非独立视点纹理图像的最大编码单元，根据当前编码视点的深度信息图来计算视差向量，得到当前最大编码单元在独立视点中对应的匹配；其中，对每一个当前最大编码单元都计算一个视差向量。

5.如权利要求1所述的编码单元的划分方法，其特征在于，在HEVC标准中，所述训练得到的各阈值的取值为：0.225＜T₀＜0.275，0.475＜T₁＜0.525，0.725＜T₂＜0.775。

6.如权利要求4所述的编码单元的划分方法，其特征在于：所述计算视差向量可采用HEVC标准中所列方法。

7.如权利要求6所述的编码单元的划分方法，其特征在于：所述HEVC标准中所列方法包括基于已编码深度图像的视差向量估计方法、基于已编码视差向量和运动向量的视差向量估计方法、基于相邻块视差向量的估计方法和基于不同视点已编码的深度图计算的方法。

8.一种多视点视频编码方法，其特征在于：该编码方法中对编码单元的划分采用如权利要求1-7任一项所述的编码单元的划分方法。