CN104350748A - 使用低分辨率深度图的视图合成 - Google Patents

Abstract

基于获得的纹理数据和深度图，执行视图合成。深度图的分辨率在x方向上低至纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一。通过执行除法x/dw和y/dh，将纹理像素位置x、y变换成非整数深度图像素位置，并且将这些非整数深度图像素位置舍入到整数深度图像素位置，以及至少基于在整数深度图像素位置和/或相邻位置的获得的纹理数据和深度图值，合成视图。

Description

使用低分辨率深度图的视图合成

技术领域

本公开内容涉及3D视频的编码，3D视频除一个或多个视频视图外，还包含一个或多个相关联的深度图。

背景技术

视图合成VS描述在虚拟摄像头位置使用在参考摄像头位置的视频视图/纹理数据和相关联深度图合成视频视图的过程。VS能够用作3D视频压缩方案的一部分，并且随后示为视图合成预测VSP。在如在运动图像专家组MPEG的工作中考虑的一些3D视频压缩方案中，以降低的分辨率，即，比相关联视频数据更低的分辨率将深度图编码。工作当前在有关ITU-T SG 16 WP 3和ISO/I EC JTC 1/SC 29/WG 11的3D视频编码扩展开发的联合工作组(joint collaborative team)内继续进行。

然而，常规VS及因此VSP算法要求在与视频数据相同分辨率的深度信息。问题是如何使用低分辨率深度图数据执行VSP。VSP可以是3D视频编码器和解码器的一部分，但也可在外部执行。例如，可在3D视频解码后为图像再现应用它。操作可在诸如移动电话、平板、膝上型计算机、PC、机顶盒或电视机等装置中执行。

稍微更详细地说，3D视频的编码和压缩涉及降低在例如立体（双摄像头）或多视图（几个摄像头）图像序列的图像序列中的数据量，图像序列除包含纹理数据的一个或多个视频视图外，还包含一个或多个相关联深度图。也就是说，对于一个或几个视频视图，相关联深度图可用，从与相关联视频视图相同的摄像头位置描述场景的深度。借助于深度图，包含的视频视图能够用于生成用于例如在包含的视频视图之间的位置或者在用于包含的视频视图的位置外的位置的另外视频视图。图1中示出通过视图合成生成另外视图的过程。

图1示出带有第一摄像头位置和第二摄像头位置的两个原摄像头位置的示例。对于这些位置，视频视图102、106和相关联深度图104、108均存在。通过使用单个视频视图和深度图，能够如图1中在虚拟摄像头位置0的视频视图112所示，使用视图合成生成在虚拟摄像头位置的另外视图。备选，两对或更多对视频视图和深度图能够如图1中虚拟摄像头位置0.5所示，用于生成在第一与第二摄像头位置之间虚拟摄像头位置的另外视图114。

一般情况下，在视图合成过程中，对于视频视图中的每个像素，存在相关联深度图像素。使用已知技术，能够将深度图像素变换成差异值。差异值能够视为映射在原位置与合成位置之间像素的值，例如，在创建合成图像时原图像中的图像点在水平方向上“移动”多少个像素。差异值能够用于确定相对于虚拟摄像头位置，相关联视频像素的目标位置。因此，通过再使用在相应目标位置的相关联视频像素，可形成合成视图。

传统“单一”（一个摄像头）视频序列能够通过使用以前图像预测用于图像的像素值而进行有效压缩，并且只将预测后的差别编码（帧间视频编码）。对于带有多个视图和视频与深度图的3D视频的情况，借助于视图合成，能够生成另外的预测参考。例如，在压缩带有相关联深度图的两个视频视图时，能够将用于第一摄像头位置的视频视图和相关联深度图用于生成另外的预测参考以便用于第二视频视图的编码。此过程是在图2中示出的视频合成预测。

在图2中，在第一摄像头位置的视频视图202和相关联深度图204用于合成在虚拟第二摄像头位置的虚拟视图214形式的参考图片。随后，将虚拟视图214形式的合成参考图片用作预测参考以便将在第二摄像头位置的视频视图216和深度图218编码。要注意的是，此预测在概念上类似于常规（单一）视频编码中的“帧间”预测。如在常规视频编码中一样，预测是在编码器和解码器侧均执行的规范（标准化）过程。

在MPEG标准化中的“3DV”活动中，VSP被视为潜在编码工具。另外，考虑了深度图以降低的分辨率的编码。也就是说，深度图具有比相关联视频视图更低的分辨率。这是要降低要编码和传送的数据量，以及降低解码的复杂性，即，降低解码时间。另一方面，视频合成算法一般依赖视频视图和深度图具有相同分辨率的事实。因此，在MPEG中的当前测试模型/参考软件（基于H.264/AVC的MPEG 3D的视频编码/解码算法，在开发中）中，在VSP中使用深度图前将深度图上采样到完全（视频视图）分辨率。

执行深度图上采样的一种方案是使用“双线性”过滤。另外，几种算法已在MPEG中提议用于改进上采样的深度图的质量，并且因此改进VSP操作的准确度，旨在获得更佳的3D视频编码效率。

在MPEG中的当前测试模型中，以降低的分辨率将深度图编码。借助于帧间预测将深度图本身编码。也就是说，低分辨率深度需要存储为用于将来预测的参考帧。另外，深度图被上采样到完全（视频视图）分辨率以便用于VSP。这意味着在给定时刻，低分辨率深度图和上采样的深度图均需要存储（在编码器和解码器中）。例如，假设有8比特深度表示、W*H的视频分辨率和W*H/4的深度图分辨率，要为低分辨率深度图存储的数据量为W*H/4字节（对于完全HD分辨率大约为500 千字节），并且要为完全分辨率深度图（要用于VSP）存储的另外数据量为W*H字节（对于完全HD大约为2M字节）。

此类方案的一个缺陷是对上采样的深度图的另外存储要求。第二个缺陷是与深度图上采样相关联的计算要求。

这两个缺陷对利用此类方案的3D视频编码系统的压缩效率有影响。也就是说，3D视频编码受在VSP中使用的VS过程的质量影响，并且因此受用于VS的深度图影响。

发明内容

一个目的是减轻至少一些上述缺点并且因此根据第一方面提供了一种执行视图合成的方法。方法包括：

-获得包括沿x方向布置和沿y方向布置的像素的纹理数据， 

-获得深度图，深度图与所述获得的纹理数据相关联，并且其中，深度图的分辨率在x方向上低至纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一， 

-通过执行除法x/dw和y/dh，将纹理像素位置x、y变换成非整数深度图像素位置， 

-将非整数深度图像素位置舍入到整数深度图像素位置，以及

-至少基于在整数深度图像素位置的获得的纹理数据和深度图值，合成视图。

在一些实施例中，合成的步骤转而至少基于与整数深度图像素位置相邻的获得的纹理数据和深度图值。也使用在整数深度图像素位置的深度图值，执行此类实施例的变化。这些实施例包括其中使用随在整数深度图像素位置深度图值变化的深度图值、在与整数深度图像素位置相邻的位置的深度图值，及在非整数深度图像素位置到整数深度图像素位置的舍入中获得的舍入误差，执行视图的合成的那些实施例。

换而言之，概括而言，这些方面避免在现有技术中要求的深度图上采样，并且因此避免与另外的存储器和计算复杂性要求有关的问题。

也就是说，由于不要求（存储/传送）高分辨率深度图，因此，本文中所述实施例具有降低的存储器消耗的优点。实施例也涉及降低的计算复杂性和良好的编码效率。

根据第二方面，提供一种装置，包括配置成如上所概述处理纹理数据和深度图数据的数字处理部件、存储器部件和通信部件。

根据第三方面，提供了一种包括软件指令的非短暂性计算机程序产品，软件指令在处理器中执行时，执行如上所概述的方法。

其它方面提供能够在硬件装置中及在软件中实现的视频编码器和视频解码器。

这些其它方面的效果和优点对应于如上结合第一方面概述的效果和优点。

附图说明

图1是以示意图方式示出视图合成的图， 

图2是以示意图方式示出视图合成预测的图， 

图3a以示意图方式示出舍入过程， 

图3b是方法的流程图， 

图4a-d是以示意图方式示出的舍入过程， 

图4e是方法的流程图， 

图5a以示意图方式示出舍入过程， 

图5b是方法的流程图， 

图6a和6b分别以示意图方式示出3D视频编码器和解码器，以及

图7是装置的以示意图方式示出的框图。

具体实施方式

如上所示，在VS中，在将像素位置(x,y)（假设x,y是整数索引位置）的视频像素映射到虚拟摄像头位置时，要求在位置(x,y)的深度图。如果深度图只在低分辨率（例如，水平方向低至dw分之一和垂直方向低至dh分之一的分辨率，例如，dw=dh=2）可用 ，则对应深度图像素位置能够确定为(x/dw, y/dh)。如果x/dw和y/dh均为整数位置，则对应深度图像素存在。如果x/dw或y/dh任一项为非整数，则要求“中间”深度图值，但该值不可用。解决方案1是使用索引舍入，即，在VSP中使用在位置(round(x/dw), round(y/dh))的深度图值。

此处，运算“round(...)”能够表示舍入到最近整数位置，或者舍入到最近更小的整数位置（由于它截去要舍入的数字的小数部分，实现特别简单，因此，它是优选的，或者所谓的“整数除法”），或者舍入到最近更大整数位置。

舍入过程能够如图3a和3b中所示。

在图3a中，暗色点表示在深度图中的整数索引位置，并且浅色点表示非整数索引位置。也就是说，对于暗色点，x/dw和y/dh均是整数值，并且对于浅色点，x/dw和y/dh任一项或两者均为非整数。对于暗色点，深度值可用并且能够用于VSP。对于浅色点，索引位置被舍入到最近更小的整数位置，如用于三个浅色点的虚线箭头所示。对于剩余浅色点，舍入以类似方式进行。

模拟显示，使用此过程只产生比基于在MPEG测试模型中使用的双线性内插的深度图上采样（大约0.06%比特率增大）稍微更差的压缩效率，而在计算复杂性和存储器要求方面要求的少得多。

图3b中示出实施此类过程的示范方法的流程图。方法从两个获得步骤302、304开始，其中，在获得步骤302中，获得包括沿x方向布置和沿y方向布置的像素的纹理数据。一般情况下，如技术人员将认识到的一样，x和y方向定义三角坐标系统，并且纹理数据能够包括视频帧。

在获得步骤304中，获得深度图形式的深度图数据。深度图与获得的纹理数据相关联，并且深度图的分辨率（即空间分辨率）在x方向上低至纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一。

要注意的是，即使图3b中的流程可产生获得步骤302、304按顺序执行的印象，这些步骤302、304也能够以任何顺序执行，并且也能够同时，即并行执行。

随后执行变换步骤306，其中，通过执行除法x/dw和y/dh，将纹理像素位置x、y变换成非整数深度图像素位置。

随后，执行舍入步骤308，其中，将非整数深度图像素位置舍入到整数深度图像素位置。例如，能够向比非整数深度图像素位置更小的最近整数深度图像素位置执行非整数深度图像素位置到整数深度图像素位置的舍入。

随后，执行合成步骤310，其中，至少基于在整数深度图像素位置的获得的纹理数据和深度图值，合成视图。

作为图3a和3b中例示过程的变化，在低分辨率深度图中获得索引位置（即，(round(x/dw), round(y/dh))，即图3a中的相关联暗色点）后，能够将深度图像素的邻居视为获得要在VSP中使用的深度值。这些变化包括如下的计算，并且将参照图4a-4e例示。

假设低分辨率深度图表示为D(u,v)。假设(a,b)=(round(x/dw), round(y/dh))。假设用于VSP的结果深度值为V(a,b)。V(a,b)能够例如计算为表1中的示例1-9。

表1

此处，“max(...)”表示最大运算，并且“mean(...)”表示在相应变元上的平均运算，以及“sum_{da,db}(D(a+da,b+db)*w(da,db))”表示在(a,b)的邻居中值的某个范围内D(a,b)的加权和。

要注意的是，表1中的示例1与图3a和3b中所示过程一致。

要注意的是，使用“max(...)”算子的示例等效于使用所谓“膨胀（dilation）”运算。其它运算涉及平滑运算。这些运算能够产生在VSP中的质量增益（更有效的编码/压缩）。例如，模拟显示用于表1中方法4的0.20%比特率降低和用于表1中方法3的0.25%比特率降低，示出了这些方法比MPEG测试模型提供更佳的比特率、更低复杂性和更小的存储器要求。

表1中的示例6在图4a中示出，其中，假设暗色点为整数索引位置，并且假设图中的中心暗色点为(a,b)。要注意的是，计算中涉及围起的点。

类似地，三个图4b、4c和4d分别示出表1中的示例8、9和2，计算中涉及围起的点。

作为有关图4a-4c（分别示出在表1中的示例6、8和9）的变化，暗色中心像素(a, b)也可如表2中所示包括在过滤运算中。

表2

图4e中示出实施此类过程的示范方法的流程图。方法从两个获得步骤402、404开始，其中，在获得步骤402中，获得包括沿x方向布置和沿y方向布置的像素的纹理数据。一般情况下，如技术人员将认识到的一样，x和y方向定义三角坐标系统，并且纹理数据能够包括视频帧。

在获得步骤404中，获得深度图形式的深度图数据。深度图与获得的纹理数据相关联，并且深度图的分辨率（即空间分辨率）在x方向上低至纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一。

要注意的是，即使图4e中的流程可产生获得步骤402、404按顺序执行的印象，这些步骤402、404也能够以任何顺序执行，并且也能够同时，即并行执行。

随后执行变换步骤406，其中，通过执行除法x/dw和y/dh，将纹理像素位置x、y变换成非整数深度图像素位置。

随后，执行舍入步骤408，其中，将非整数深度图像素位置舍入到整数深度图像素位置。例如，能够向比非整数深度图像素位置更小的最近整数深度图像素位置执行非整数深度图像素位置到整数深度图像素位置的舍入。

随后，执行合成步骤410，其中，至少基于与整数深度图像素位置相邻的获得的纹理数据和深度图值，合成视图。如上在表2中所例示的一样，也能够使用在整数深度图像素位置的深度图值执行视图的合成。

相关联过程在图3b和4e的流程图中示出的表1和表2中的不同示例表示在计算复杂性和压缩效率方面的不同折中。在模拟中，人们发现膨胀运算可有益于压缩效率，但它们可造成更高的计算复杂性。换而言之，借助于诸如膨胀运算等过滤运算，能够组合在整数深度图像素位置和/或相邻位置的深度值。

从低分辨率深度图获得用于VSP的深度值的解决方案的其它实施例是包括使用位置相关功能，“即时自动（on-the-fly）”计算内插的深度图值的那些实施例。因此，膨胀运算可执行以实现更有效的编码/压缩。优选是使用max运算。

例如，假设(a,b)=(round(x/dw), round(y/dh))为低分辨率深度图中的整数索引位置，并且(dx,dy) = (x - a*dw, y - b*dh)为子整数分量（舍入误差）。此处，假设dw和dh是整数。在此情况下，dx也是根据使用的舍入函数，取在-dw+1与dw-1之间的值的整数。这对于dy也适用。象以前一样，D(a, b)是在位置(a, b)的深度图的值。随后，根据(dx,dy)的值，可使用不同方法获得用于VSP的值V(x,y)。表3中提供了使用max运算的膨胀运算的示例。因此，在视图合成中使用的深度值随在整数深度图像素位置的深度图值、周围深度图值和舍入误差而变化。

表3

图5a中示出表3的一些示例。暗色点表示整数位置像素，而浅色点表示子整数位置像素。在此图中，点虚线箭头指示通过max运算用于为相应中间子整数位置像素估计深度的整数位置像素中的那些。（这不同于其它图，这些图中箭头示出舍入。） 具体而言，表3中的示例3、2、3、2和4分别对应于子整数位置501、502、503、504和505。

图5b中示出此过程的流程图。方法从两个获得步骤502、504开始，其中，在获得步骤502中，获得包括沿x方向布置和沿y方向布置的像素的纹理数据。一般情况下，如技术人员将认识到的一样，x和y方向定义三角坐标系统，并且纹理数据能够包括视频帧。

在获得步骤504中，获得深度图形式的深度图数据。深度图与获得的纹理数据相关联，并且深度图的分辨率（即空间分辨率）在x方向上低至纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一。

要注意的是，即使图5b中的流程可产生获得步骤502、504按顺序执行的印象，这些步骤502、504也能够以任何顺序执行，并且也能够同时，即并行执行。

随后执行变换步骤506，其中，通过执行除法x/dw和y/dh，将纹理像素位置x、y变换成非整数深度图像素位置。

随后，执行舍入步骤508，其中，将非整数深度图像素位置舍入到整数深度图像素位置。例如，能够向比非整数深度图像素位置更小的最近整数深度图像素位置执行非整数深度图像素位置到整数深度图像素位置的舍入。

如上所提及的一样，关于用于步骤508中舍入的舍入函数，假设dw和dh是整数。在此情况下，dx也是根据使用的舍入函数，取在-dw+1与dw-1之间的值的整数。这对于dy也适用。

随后，执行合成步骤510，其中，至少基于在整数深度图像素位置和与其相邻的获得的纹理数据和深度图值及在非整数深度图像素位置到整数深度图像素位置的舍入中获得的舍入误差，合成视图。

类似于上面结合图4a所述的实施例，借助于诸如膨胀运算等过滤运算，能够组合在整数深度图像素位置和/或相邻位置的深度值。

根据本发明的实施例的方法可包含在3D视频编码器和解码器中，并且在诸如移动电话、平板、膝上型计算机、PC、机顶盒和电视机等装置中实现。方法也可在此类装置中3D视频编码器和解码器外执行。例如，可在3D视频解码后为图像再现应用它。本发明通过软件和硬件的编程或其它配置而得到适当地实现。硬件能够包括一个或许多处理器，这些处理器能够布置成执行在可读存储介质中存储的软件。处理器能够通过单个专用处理器，通过单个共享处理器，或者通过其中的一些处理器可以是共享或分布式的多个单独处理器实现。另外，处理器可包括但不限于数字信号处理器(DSP)硬件、ASIC硬件、只读存储器(ROM)、随机存取存储器(RAM)和/或其它存储介质。

图6a中示出视频编码器602的示例。编码器602接收图像序列604形式的输入，并且执行包括如上所述视频合成预测过程的编码。编码器602提供编码的数据的比特流606形式的输出，编码的数据能够存储和/或传送到接收实体以便实现解码和再现。编码器602能够以软件指令的形式及以硬件装置或其组合的形式实现。

图6b中示出视频解码器612的示例。解码器612接收比特流614形式的输入，并且执行包括如上所述视频合成预测过程的解码。解码器612提供比特流616形式的输出，比特流能够提供到再现系统以便为观看者提供3D观看体验。解码器612能够以软件指令的形式及以硬件装置或其组合的形式实现。

图7中示出其中显示了上面例示的方法的实施例的硬件装置700的另一示例。装置700包括处理器702、包括软件指令705的存储器704及输入/输出电路706。装置700经配置，使得它能够从媒体来源712获得纹理数据708和深度图数据710，例如源于诸如图6b中比特流614等比特流的数据。处理在实施上面结合图1-5阐述的任何方法的软件指令705的控制下进行。装置700提供例如能够由适合的再现系统再现的视图714形式的输出。

Claims (15)

1.一种执行视图合成的方法，包括：

-获得(302)包括沿x方向布置和沿y方向布置的像素的纹理数据，

-获得(304)深度图，所述深度图与所述获得的纹理数据相关联，并且其中所述深度图的分辨率在x方向上低至所述纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一，

-通过执行除法x/dw和y/dh，将纹理像素位置x、y变换(306)成非整数深度图像素位置，

-将所述非整数深度图像素位置(308)舍入到整数深度图像素位置，以及

-至少基于在所述整数深度图像素位置的所述获得的纹理数据和深度图值，合成(310)视图。

2.一种执行视图合成的方法，包括：

-获得（402，502）包括沿x方向布置和沿y方向布置的像素的纹理数据，

-获得（404，504）深度图，所述深度图与所述获得的纹理数据相关联，并且其中所述深度图的分辨率在x方向上低至所述纹理数据的分辨率的dw分之一，并且在y方向上低至dh分之一，

-通过执行除法x/dw和y/dh，将纹理像素位置x、y变换（406，506）成非整数深度图像素位置，

-将所述非整数深度图像素位置（408，508）舍入到整数深度图像素位置，以及

-至少基于与所述整数深度图像素位置相邻的所述获得的纹理数据和深度图值，合成（410，510）视图。

3.如权利要求2所述的方法，其中也使用在所述整数深度图像素位置的深度图值执行所述视图的所述合成。

4.如权利要求3所述的方法，其中使用随在所述整数深度图像素位置的所述深度图值变化的深度图值、在与所述整数深度图像素位置相邻的位置的深度图值，及在所述非整数深度图像素位置到整数深度图像素位置的所述舍入中获得的舍入误差，执行所述视图的所述合成(510)。

5.如权利要求1到4任一项所述的方法，其中向小于所述非整数深度图像素位置的最近整数深度图像素位置执行所述非整数深度图像素位置到整数深度图像素位置的所述舍入。

6.如权利要求2到5任一项所述的方法，其中借助于过滤运算，组合在所述整数深度图像素位置和/或相邻位置的所述深度值。

7.如权利要求6所述的方法，其中所述过滤运算是膨胀运算。

8.一种配置成执行如权利要求1到7任一项所述方法的视频编码器(602)。

9.一种配置成执行如权利要求1到7任一项所述方法的视频解码器(612)。

10.一种装置(700)，包括配置成如权利要求1到7任一项所述处理纹理数据和深度图数据的数字处理部件(702)、存储器部件（704，705）和通信部件(706)。

11.如权利要求10所述的装置，其中所述处理部件、存储器部件和通信部件至少形成视频编码器的一部分。

12.如权利要求10所述的装置，其中所述处理部件、存储器部件和通信部件至少形成视频解码器的一部分。

13.一种包括软件指令的非短暂性计算机程序产品（705），所述软件指令在处理器中执行时，执行如权利要求1到7任一项所述的方法。

14.如权利要求13所述的非短暂性计算机程序产品，其中所述软件指令至少形成视频编码器的一部分。

15.如权利要求13所述的非短暂性计算机程序产品，其中所述软件指令至少形成视频解码器的一部分。