CN102356637A

CN102356637A - 深度图的编码

Info

Publication number: CN102356637A
Application number: CN2010800119415A
Authority: CN
Inventors: P.L.赖; 田栋
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2009-01-30
Filing date: 2010-01-27
Publication date: 2012-02-15
Anticipated expiration: 2030-01-27
Also published as: JP2012516637A; KR101675555B1; CN102356637B; EP2384584B1; US9569819B2; US20110273529A1; JP5792632B2; WO2010087955A1; KR20110122817A; EP2384584A1; BRPI1007451A2

Abstract

描述了多种实现方式。几种实现涉及深度图的滤波。按照一般方面，访问与第一视频画面对应的第一深度画面。针对第一深度画面的给定部分，确定第一视频画面的同地点视频部分。访问指示第一视频画面的同地点视频部分相对于第二视频画面的运动的视频运动向量。访问与第二视频画面对应的第二深度画面。基于视频运动向量，从第一深度画面的给定部分中确定第二深度画面的深度部分。基于第二深度画面的深度部分更新第一深度画面的给定部分。

Description

深度图的编码

相关申请的交叉引用

本申请要求2009年1月30日提交、发明名称为“深度图的时间滤波(Temporal Filtering of Depth Maps)”的美国临时申请第61/206,496号的利益，其通过引用全文合并于此用于所有场合。

技术领域

描述的实现方式涉及编码系统。各种特定实现方式涉及深度图的编码。

背景技术

目前在许多应用系统中，通过找出不同视频视图之间的对应关系的深度估计方法获取深度图。由于摄像机设置失配、不同拍摄位置、和深度估计误差，所得深度图可能呈现一些伪像。使用这样的深度图可以导致所生成虚拟视图的不可接受再现误差。

发明内容

按照本发明的一般方面，访问与第一视频画面对应的第一深度画面。针对第一深度画面的给定部分，确定第一视频画面的同地点视频部分。访问指示第一视频画面的同地点视频部分相对于第二视频画面的运动的视频运动向量。访问与第二视频画面相对应的第二深度画面。基于视频运动向量，从第一深度画面的给定部分中确定第二深度画面的深度部分。基于第二深度画面的深度部分更新第一深度画面的给定部分。

在附图和如下描述中阐述了一种或多种实现方式的细节。即使以一种特定方式描述，但应该清楚，这些实现方式可以以各种方式配置或体现。例如，一种实现方式可以作为一种方法来执行，或者体现为诸如，例如，配置成执行一组操作的装置或存储执行一组操作的指令的装置的装置，或以信号形式体现。本发明的其它方面和特征可以从结合附图和权利要求加以考虑的如下详细描述中明显看出。

附图说明

图1是来自左参考视图的左深度图的例子；

图2是来自右参考视图的右深度图的例子；

图3是进行深度图的时间滤波的装置的一种实现方式的图；

图4是从具有深度的3个输入视图(K＝3)中生成九个输出视图(N＝9)的架构的一种实现方式的图；

图5是视频发送系统的一种实现方式的图；

图6是视频接收系统的一种实现方式的图；

图7是视频处理设备的一种实现方式的图；

图8、9和10是称为“Leaving_Laptop”的MPEG测试序列中围绕笔记本电脑区的三个不同时标上的深度图的示例；

图11、12和13是称为“Leaving_Laptop”的MPEG测试序列中围绕地板区的深度图的示例；

图14图示了使用其在时间t-1和时间t+1的两个对应区域应用于时间t上深度图D内的区域的滤波操作的例子；以及

图15是进行深度图的时间滤波的方法的一种实现方式的视图。

具体实施方式

为了方便诸如三维电视(3DTV)和自由视点视频(FVV)的新视频应用，常用包括多个视频视图和相应按像素深度图的数据格式。该数据格式被称为多视图加深度(MVD)格式。

在至少一种实现方式中，我们提出跨越不同时标上的深度图地进行时间滤波，以提高深度图中的时间一致性，以及消除具有平坦深度或平稳变化深度的区域中的假轮廓。

在至少一种实现中，我们提出使用视频信息来识别深度图之间的对应关系，使得跨时间地将滤波应用于相应区域/物体。

经处理的深度图通常典型具有改善的静态区中的时间一致性，并且它们含有少得多的条带(banding)(假轮廓)。这些提高应该不仅为使用经处理深度图再现的虚拟视图提供更高再现质量，而且随着静态区的深度变稳定(有益于时间预测)和假轮廓被消除(有益于空间预测)使深度编码效率能够更高。

图1示出了依照本发明原理的一个实施例、可以应用本发明原理、为与称为“Leaving_Laptop”的MPEG测试序列相对应的第六视图生成的示例性深度图。图2示出了依照本发明原理的一个实施例、可以应用本发明原理、为与称为“Leaving_Laptop”的MPEG测试序列相对应的第九视图生成的示例性深度图。在用户端，可以使用，例如，将发送或存储的视频视图(参考视图)和相应深度图作为输入的基于深度图像再现(DIBR)的技术生成中间视频视图(虚拟视图)。

图3示出了依照本发明原理的一个实施例、可以应用本发明原理、进行深度图的时间滤波的示例性装置300。该装置300包括运动分析器310，该运动分析器310具有与权重计算器320的输入端和时间滤波器330的第三输入端信号通信地连接的输出端，以便向其提供运动向量。权重计算器320的输出端与时间滤波器330的第一输入端信号通信地连接，以便向其提供滤波权重。运动分析器310的输入端可用作装置300的输入端，以便接收视频序列。时间滤波器330的第二输入端可用作装置300的输入端，以便接收深度序列。时间滤波器330的输出端可用作装置300的输出端，以便输出经滤波深度图序列。装置300的操作将在下文作更详细描述。

图3的实现方式以及在本申请中描述的其它设备可以在单个输入终端或端口上接收不止一个输入信号。例如，时间滤波器330的一种或多种实现方式可以在单个输入端口上接收深度序列、滤波权重、和运动向量。

图4示出了依照本发明原理的一个实施例、可以应用本发明原理、从具有深度的3个输入视图(K＝3)中生成九个输出视图(N＝9)的示例性架构400。该架构400牵涉到支持多视图输出的自动立体3D显示器410、第一基于深度图像再现器420、第二基于深度图像再现器430、和解码数据缓冲器440。解码数据是称为多视图加深度(MVD)数据的表示。九个视图用V1～V9表示。三个输入视图的相应深度图用D1，D5和D9表示。如图4所示，使用可用深度图(D1，D5，D9)可以生成捕获摄像机位置(例如，Pos1，Pos2，Pos3)之间的任何虚拟摄像机位置。从图4中可以看出，用于捕获数据的实际摄像机(V1，V5和V9)之间的基线可以很长。因此，使这些摄像机之间的相关性显著降低，并且由于编码效率依赖于时间相关性，所以这些摄像机的编码效率可能受损。

图5示出了依照本发明原理的一个实现方式、可以应用本发明原理的示例性视频发送系统500。该视频发送系统500可以是，例如，使用诸如，例如，卫星、电缆、电话线或地面广播的多种媒体的任何一种发送信号的首端或发送系统。此外，可以在因特网或一些其它网络上提供发送。

视频发送系统500能够生成和传送具有深度的压缩视频。这是通过生成包括深度信息或能够用于在可能，例如，含有解码器的接收器端上合成深度信息的信息的编码信号实现的。

视频发送系统500包括编码器510和能够发送编码信号的发送器520。该编码器510接收视频信息和生成具有深度的编码信号。编码器510可以包括一些子模块，该子模块包括，例如，接收各种信息段和将它们组装成结构化格式以便加以存储或发送的组装单元。各种信息段可以包括，例如，编码或未编码视频、编码或未编码深度信息、以及诸如，例如，运动向量、编码模式指示符、和语法元素的编码或未编码元素。

发送器520可以，例如，适用于发送含有代表编码画面和/或与其有关的信息的一种或多种位流的节目信号。典型的发送器执行像，例如，提供纠错编码、交织信号中的数据、将信号中的能量随机化和/或将信号调制在一种或多种载波上的一种或多种功能那样的功能。发送器可以包括天线(未示出)或与其交接。相应地，发送器520的实现可以包括或局限于调制器。

图6示出了依照本发明原理的一个实施例、可以应用本发明原理的示例性视频接收系统600。该视频接收系统600可以配置成在诸如，例如，卫星、电缆、电话线或地面广播的多种媒体上接收信号。可以在因特网或一些其它网络上接收信号。

视频接收系统600可以是，例如，蜂窝式电话、计算机、机顶盒、电视机、或接收编码视频并且提供，例如，解码视频以便向用户显示或加以存储的其它设备。因此，视频接收系统600可以将它的输出提供给，例如，电视机的屏幕、计算机监视器、计算机(用于存储、处理或显示)或一些其它存储、处理或显示设备。

视频接收系统600能够接收和处理包括视频信息的视频内容。视频接收系统600包括能够接收诸如，例如，在本申请的实现方式中描述的信号的编码信号的接收器610、和能够解码接收信号的解码器620。

接收器610可以，例如，适配为接收含有代表编码画面的多种位流的节目信号。典型的接收器执行诸如，例如，接收调制和编码数据信号、从一种或多种载波中解调数据信号、将信号中的能量去随机化、去交织信号中的数据和/或纠错解码信号的一种或多种的功能。接收器610可以包括天线(未示出)或与其交接。接收器610的实现方式可以包括或局限于解制器。解码器620输出包括视频信息和深度信息的视频信号。

图7示出了依照本发明原理的一个实施例、可以应用本发明原理的示例性视频处理设备700。该视频处理设备700可以是，例如，机顶盒或接收编码视频和提供，例如，解码视频以便向用户显示或加以存储的其它设备。因此，视频处理设备700可以将它的输出提供给，电视机、计算机监视器、计算机或其它处理设备。

视频处理设备700包括前端(FE)设备705和解码器710。前端设备705可以是，例如，适配为接收含有代表编码画面的多种位流的节目信号、和从多种位流中选择一种或多种位流以便加以解码的接收器。典型的接收器执行诸如，例如，接收调制和编码数据信号、解调数据信号、解码数据信号的一种或多种编码(例如，信道编码和/或信源编码)和/或纠错数据信号的一种或多种功能的功能。前端设备705可以从，例如，天线(未示出)接收信号。前端设备705将接收的数据信号提供给解码器710。

解码器710接收数据信号720。数据信号720可以包括，例如，一种或多种高级视频编码(AVC)、可分级视频编码(SVC)或多视图视频编码(MVC)兼容流。

更具体地说，AVC指的是现有国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家小组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电讯联盟，电信部门(ITU-T)H.264建议书“(下文称为“H.264/MPEG-4AVC标准”或诸如“AVC标准”或简称“AVC”的其变型)。

更具体地说，MVC指的是AVC标准的多视图视频编码(“MVC”)扩展(附件H)，称为H.264/MPEG-4AVC，MVC扩展(“MVC扩展”或简称“MVC”)。

更具体地说，SVC指的是AVC标准的可分级视频编码(“SVC”)扩展(附录G)，称为H.264/MPEG-4AVC，SVC扩展(“SVC扩展”或简称“SVC”)。

解码器710解码整个或部分接收信号720，并提供解码视频信号730作为输出。将解码视频730提供给选择器750。设备700还包括接收用户输入770的用户界面760。用户界面760基于用户输入770，将画面选择信号780提供给选择器750。画面选择信号780和用户输入770指示用户希望显示多种画面、序列、可分级版本、视图或可用解码数据的其它选择的哪一种。选择器750提供所选画面作为输出790。选择器750使用画面选择信息780来选择解码视频730中的哪种画面作为输出790来提供。

在各种实现中，选择器750包括用户界面760，在其它实现方式中，因为选择器750不执行独立界面功能地直接接收用户输入770，所以无需用户界面760。选择器750可以用软件实现，或实现成，例如，集成电路。在一种实现中，将选择器750与解码器710合并，在另一种实现中，将解码器710、选择器750、和用户界面760都集成在一起。

在一种应用中，前端705接收各种电视节目的广播并选择一个节目加以处理。一个节目的选择基于希望观看频道的用户输入。尽管在图7中未示出前端设备705的用户输入，但前端设备705接收用户输入770。前端705接收广播，并且通过解调广播频谱的相关部分，和解码解调节目的任何外部编码来处理所希望节目。前端705将解码节目提供给解码器710。解码器710是包括设备760和750的集成单元。因此，解码器710接收作为节目中希望观看视图的用户提供的指示的用户输入。解码器710解码所选视图，以及其它视图当中的任何所需参考画面，并且提供解码视图790以便显示在电视机(未示出)上。

继续讨论上述应用，用户可能希望切换显示的视图，然后可能将新输入提供给解码器710。在接收到来自用户的“视图改变”之后，解码器710解码旧视图和新视图两者，以及处在旧视图和新视图之间的任何视图。也就是说，解码器710解码物理上处在拍摄旧视图的摄像机与拍摄新视图的摄像机之间的摄像机拍摄的任何视图。前端设备705还接收标识旧视图、新视图、和其间视图的信息。这样的信息可以由，例如，具有关于视图地点的信息的控制器(未示出)，或解码器710提供。其它实现方式可以使用含有与前端设备集成的控制器的前端设备。

解码器710提供所有这些解码视图作为输出790。后处理器(在图7中未示出)在视图之间进行内插，以提供从旧视图到新视图的平稳过渡，并且将该过渡显示给用户。在过渡到新视图之后，后处理器通知(通过未示出的一条或多条通信链路)解码器710和前端设备705只需新视图。此后，解码器710只提供新视图作为输出790。

系统700可以用于接收一系列图像的多个视图，呈现单个视图用于显示，和以平稳方式在各种视图之间切换。平稳方式可能牵涉到视图之间的内插，以便转移到另一个视图。另外，系统700可能允许用户旋转物体或场景，要不然观看物体或场景的三维表示。物体的旋转，例如，可以与逐个视图转移，和在视图之间进行内插对应，以便达到视图之间的平稳过渡，或简单地获得三维表示。也就是说，用户可以“选择”内插视图作为要显示的“视图”。

对于3DTV和FVV应用，可以使用DIBR技术再现虚拟视图，DIBR技术通常将多个视频视图和相应深度图(诸如MVD格式)取作输入。通常，深度图通过深度估计例程获得，该深度估计例程通过使某种匹配成本最小化建立视频视图之间的像素对应关系。由于深度值是估计的，而不是通过有效设备(像范围摄像机那样)测量的，所以深度图很有可能出现估计误差，导致所生成虚拟视图的再现质量差。

估计深度图中的一种可能伪像是静态区中的时间不一致。图8、9和10示出了称为“Leaving_Laptop”的MPEG测试序列中围绕笔记本电脑区的三个不同时标上的各自示例性深度图。尤其，图8示出了第5帧的示例性深度图800，图9示出了第10帧的示例性深度图900，以及图10示出了MPEG测试序列“Leaving_Laptop”的第15帧的示例性深度图1000。由于逐帧进行深度估计，所以没有开发出检验时间一致性的机制(我们将此称为“时间无关深度图”)。可以观察到，笔记本电脑边界以及它的深度值逐帧变化，这通常导致再现虚拟视图中的闪烁伪像。更进一步，随着深度值跨时间变化，存在这样时间不一致问题的编码深度图将导致更高的位速率。

另一种经常观察到的深度图伪像是具有平稳变化深度值的区域中的条带(假轮廓)。图11、12和13示出了称为“Leaving_Laptop”的MPEG测试序列中围绕地板区的各自示例性深度图。尤其，图11示出了第5帧的示例性深度图1100；图12示出了第10帧的示例性深度图1200；以及图13示出了MPEG测试序列“Leaving_Laptop”的第15帧的示例性深度图1300。从图11、12和13中，我们看到地板区上的深度图出现一些假轮廓。这样区域中的深度值应该平稳变化。这些轮廓可以降低深度图上的编码效率，因为这样的图案通常比认为的平稳变化更难以编码。

为了解决这些问题，描述在本公开中的至少一种实现提出了用于估计深度图的时间滤波技术，以改善时间一致性以及减少或消除假轮廓。视频信息用于识别要应用时间滤波的相应区域。具有改善的时间一致性和更少的条带(假轮廓)的所得深度图将为虚拟视图提供更高再现质量，并且使深度编码效率更高。

为了改善时间一致性和消除估计深度图中的伪像，在至少一种实现方式中，建议在已经进行初始深度估计之后(例如，在估计时间无关深度图之后)进行时间滤波。在这种情形下，为了滤波(或更一般地说，更新)给定时标上的深度图，可以使用来自过去时标和将来时标两者的深度图。在滤波过程中牵涉到的深度图的时间窗口可以通过定位可在不同时标上的深度图中获得的相应区域来确定。为了识别不同时标上的相应区域，使用视频视图中的运动信息(而不是深度信息)。由于目标是消除诸如静态区的变化边界和伪轮廓的错误深度估计结果，所以在至少一种实现方式中利用具有低通特性的滤波操作。例如，时间加权平均和中值滤波是一些示例性候选过程。在下文中，我们将提供与运动信息来自视频的深度图的时间滤波有关的所提出想法的一个可能实施例。在图3中提供了按照本发明原理的一个实施例的滤波过程的一般框图。

实施例示例

对于给定视图，让我们用I(x，y，t)和D(x，y，t)分别表示像素地点(x，y)和时间t上的视频亮度像素值和相应估计深度图值。我们假设我们想对时间t上的D中的区域进行时间滤波：{D(x，y，t)|x₀≤x≤x₁，y₀≤y≤y₁}。如下步骤描述如何实现时间滤波。

1.基于来自视频的运动信息识别不同时标上的相应区域：

在一个实施例中，使用图3的运动分析器310进行基于来自视频的运动信息对不同时标上的相应区域的识别。

由于已知深度信息有错，所以使用视频帧{I(x，y，t)|x₀≤x≤x₁，y₀≤y≤y₁}中的同地点区域提取运动信息，并且建立跨越不同时间的对应关系。为此目的，可以利用任何传统运动分析技术来识别I(x，y，t′)与I(x，y，t)之间的对应区域，其中t′≠t。例如，如通常在视频编码中进行的简单基于块运动搜索是一种可能选择。可以将时间边界设置成在合理时间距离(例如，t-T≤t’≤t+T)内进行滤波。由于物体运动，给定区域在一些时标上可能没有对应关系。这可以通过在运动搜索成本函数中设置某种阈值来检测。

在这个运动分析阶段之后，对于给定视频区域{I(x，y，t)|x₀≤x≤x₁，y₀≤y≤y₁}，我们为t与t′之间的对应区域获得运动向量(mvx_t’，mvy_t’)，以识别可用在不同时标t′上的候选对应关系：{I(x,y,t’)|x₀≤x-mvx_t’≤x₁，y₀≤y-mvy_t’≤y₁，t-T≤t’≤t+T}。注意，可以使用这些运动向量建立给定区域{D(x，y，t)|x₀≤x≤x₁，y₀≤y≤y₁}的深度对应关系，以便获得相应区域{D(x,y,t’)|x₀≤x-mvx_t’≤x₁，y₀≤y-mvy_t’≤y₁，t-T≤t’≤t+T}。这种操作在下面所述的步骤3(求时间平均)中执行。

2确定滤波权重：

在一个实施例中，使用图3的权重计算器320进行滤波权重的确定。

为了进行滤波，给予通过复制在步骤1中找到的运动向量识别的每种深度对应关系以权重w_t′。在(x₀≤x≤x₁，y₀≤y≤y₁)内的滤波深度是D”(x，y，t)＝∑w_t’×D(x+mvx_t’，y+mvy_t’，t’)，其中∑w_t’＝1，两个求和在落在T的所选时间范围内的t′上进行。最简单求平均方法是使用与时间t′无关权重w都相同的均匀加权。在至少一种实现方式中，我们还建议在确定权重时考虑其它性质。

运动判据：对于跨越多个时标都保持静止的物体，它们的深度应该没有变化。因此，如果观察到(mvx_t’，mvy_t’)大多是零，则我们更有把握，对于深度图中的这个区域，应用时间滤波可以改善时间一致性。另一方面，运动物体也可能跨时间地改变它的深度。不敏感时间滤波器可能将一些误差带入深度图中。基于这种原理，我们可以将较大权重w应用于运动较小的对应关系，而将较小权重(或甚至w＝0)应用于运动较大的对应关系。

时间距离判据：除了上面的运动判据之外，另一件值得考虑的事情是t′与t之间的时间距离。对于典型的低通滤波情形，通常将最大权重指定给t′＝t，然后权重随着t′离开t而减小。例如，对于t’＝{t-2，t-1，t，t+1，t+2}，可以指定权重0.5×{1，-2，4，-2，1}。注意，如果存在一些在步骤1中未找到对应关系的时标，则必须相应地调整权重，以保证∑w_t’＝1。例如，如果在t’＝t+1不存在匹配，则对于t’＝{t-2，t-1，t，t+2}，权重将变成0.25×{1，-2，4，1}。注意，负权重的使用允许，例如，滤波器具有接近理想低通滤波器的频率响应的频率响应。

特殊情况(中值滤波器)：

如果所选滤波器是中值滤波器，则对于x₀≤x≤x₁，y₀≤y≤y₁内的每个像素，滤波值D”(x，y，t)是在步骤1中识别的相应地点中的像素的中值。注意，在这种情况下，由于每个像素的时间中值可能不是来自相同时标，所以根据像素来指定滤波权重。此外还要注意，可以将中值滤波器描述成在中值上权重为1的加权滤波器。

3.求时间平均：

在一个实施例中，使用图3的时间滤波器330进行时间平均。

为了对给定区域{D(x，y，t)|x₀≤x≤x₁，y₀≤y≤y₁}进行滤波，使用在步骤1中找到的运动向量(mvx_t’，mvy_t’)获取相应区域{D(x，y，t’)|x₀≤x-mvx_t’≤x₁，y₀≤y-mvy_t’≤y₁，t-T≤t’≤t+T}。现在，随着权重w_t得到确定，可以按如下计算滤波深度值D″，其中求和是在在时标范围T内选择的t′的各种值上作出的：

D”(x，y，t)＝∑w_t’×D(x+mvx_t’，y+mvy_t’，t’)，其中∑w_t’＝1

该滤波深度值将取代初始深度值，以便生成滤波深度图。

在对时间t上的整个深度图D(x，y，t)完成滤波之后，对t+1上的下一个深度图重复该过程。注意，此刻，可以使用已滤波深度图D″(x，y，t)对D(x，y，t+1)进行滤波，或使用原D(x，y，t)来顶替。对于一般目的，可以考虑这两种方法。为了避免潜在过滤波问题，一种实现将初始深度图用于滤波t+1上的深度图。相反，另一种实现方式使用已滤波深度图，以尽量在较早深度图与当前深度图之间提供更好连续性。

图14例示了依照本发明原理的一个实施例，使用其在时间t-1和时间t+1的两个相应区域应用于时间t上深度图D内的区域的滤波操作的示例，并且还描绘了不同区域之间的关系。对于给定深度区，首先获取它在时间t上在视频帧I内的同地点区域。然后，进行运动分析，以便识别这个同地点视频区与其它视频帧中的区域之间的对应关系，将运动向量(mvx_t-1，mvy_t-1)和(mvx_t+1，mvy_t+1)作为输出。使用这些运动向量获取利用对角条纹描绘的时间t-1和时间t+1上的深度图的相应区域。最后，将滤波权重应用于相应深度区(对角条纹)，并且可能应用于时间t上的给定深度区，以便对时间t上的给定深度区计算滤波值。

图15示出了依照本原理的一个实施例，进行深度图的时间滤波的示例性方法。在步骤1510中，获取时间t上的深度图和相应视频作为输入。在步骤1515中，选择深度图中要滤波的区域。在步骤1520中，对视频帧中的同地点区域进行运动分析，并且记录所得运动信息。在步骤1525中，确定滤波权重(例如，基于运动、时间判据等)。在步骤1530中，使用运动信息为要滤波的深度区获取其它深度图中的相应区域。在步骤1535中，使用确定的权重与其在其它深度图中的相应区域一起滤波该区域。在步骤1540中，确定当前深度图是否完成。如果是，则将控制传递给步骤1545。否则，让控制返回到步骤1515。在步骤1545中，确定在t+1上是否还有深度图要滤波。如果是，则让控制返回到步骤1510。否则，终止该方法。

如上所述，可以将滤波操作称为更新。与使用的术语无关，滤波/更新深度图的给定部分的操作可能牵涉到访问和使用来自其它深度图的深度值。的确，在各种实现方式中，滤波/更新给定深度图的给定部分只牵涉到访问和使用来自其它深度图的深度值，因为不考虑给定深度图。

各种实现方式通过使用相同时标上的来自其它视图的深度图，和/或不同时标上的来自其它视图的深度图更新深度图的给定部分。除了不同时标上的来自相同视图的深度图之外，或取代不同时标上的来自相同视图的深度图，可以使用来自其它视图的深度图。使用来自相同视图的深度图的某些实现方式能够解决，例如，闪烁问题。类似地，来自不同视图的深度图的使用可能尤其适用于解决一种或多种特定伪像或一种或多种特定类型的噪声。

各种实现方式滤波/更新已经测量了而不是估计了深度值的测量深度图。测量深度图可能出现与估计深度图不同的伪像。但是，本发明原理可以提供相同或额外好处，尤其如果使用不同装备测量不同深度图。例如，如果考虑不同视图，或如果为给定视图改变装备，或如果给定视图拥有用在不同条件下的多个测量设备该装备可能是不同的。

我们已经描述了为视频块确定运动向量，并使用相同运动向量找出深度图之间的对应关系，以便对深度块进行滤波操作的一些实现方式。但是，取代精确运动向量，或除了精确运动向量之外，其它实现方式使用运动向量的变体找出深度图之间的对应关系，以便进行滤波操作。例如，在一种实现方式中，使用精确运动向量找出深度图之间的对应关系，但是然后修改那个运动向量，以便确定不同对应关系。然后，将两种对应关系用在滤波操作中。这样的实现方式提供了更大的对应关系，因此，为滤波操作提供了更多的候选者。运动向量的一种这样修正是对运动向量稍作改变，以便对应关系指向仍然处在相同物体或区域(例如，前景或背景)中的不同区域。

在本申请中，术语“运动向量”通常应用于时间t上的给定块，指示那个块相对于不同时间上的画面(例如，具有不同时标)的运动。但是，运动向量应该理解成表征两个画面之间的相对运动。因此，将运动向量应用于两个画面中的相应块。

在本申请中描述的几种实现方式和特征可以在H.264/MPEG-4AVC(AVC)标准、带有MVC扩展的AVC标准或带有SVC扩展的AVC标准的背景下使用。但是，这些实现方式和特征也可以在其它标准(现有的或未来的)的背景下，或在未牵涉到标准的背景下使用。因此，我们提供了具有特定特征和方面的一种或多种实现方式。但是，所述实现方式的特征和方面也可以适用于其它实现方式。

另外，许多实现方式可以在编码器、解码器、处理器(例如，处理来自解码器的输出的后处理器、向编码器提供输入的预处理器等)等的一种或多种中实现。在至少一种实现方式中，可以在编码深度之前进行更新深度值。在至少一种其他实现方式中，不在编码器上计算深度，而是在接收器/电视机上或不编码和发送深度地在视频源上计算深度。取而代之，可以没有深度图像地只发送视频。然后，例如，接收器可以估计深度，因为接收器希望能够为与接收器连接的电视机再现新视图。进一步，可以通过本公开设想出其它实现方式。

因此，我们提供了具有特定特征和方面的一种或多种实现方式。但是，所述实现方式的特征和方面也可以适用于其它实现方式。这些实现方式可以使用包括，但不局限于，SEI消息、切片首标、其它高级语法、非高级语法、带外信息、数据流数据、和隐含信令的多种技术用信号发送信息。相应地，尽管本文所述的实现方式可能在特定背景下描述，但这样的描述绝不应视作将这些特征和概念限制在这样的实现方式或背景上。

在说明书中提及本发明原理的“一个实施例”或“实施例”，或“一种实现方式”或“实现方式”，以及它们的其它变型意味着结合该实施例所述的特定特征、结构、特点等包括在本发明原理的至少一个实施例中。因此，出现在整个说明书中的各个地方的短语“在一个实施例中”或“在实施例中”，或“在一种实现方式中”或“在实现方式中”，以及任何其它变型的出现未必都指同一实施例。

应该懂得，本文“/”、“和/或”、和“至少一个”的任何一种的使用，例如，在“A/B”、“A和/或B”、和“A和B的至少一个”的情况下，旨在包含只有第一所列选项(A)的选择，只有第二所列选项(B)的选择，或两个选项(A和B)的选择。作为进一步的示例，在“A、B、和/或C”和“A、B、和C的至少一个”的情况下，这样的措词旨在包含只有第一所列选项(A)的选择，只有第二所列选项(B)的选择，只有第三所列选项(C)的选择，只有第一和第二所列选项(A和B)的选择，只有第一和第三所列选项(A和C)的选择，只有第二和第三所列选项(B和C)的选择，或所有三个选项(A、B和C)的选择。本领域的普通技术人员容易明白，对于列出的许多项目，可以依此类推。

此外，如本文所使用，词语“画面”和“图像”可交换使用，并且都指，例如，视频序列当中的整个或部分静止图像或整个或部分画面。众所周知，画面可以是帧或场。另外，如本文所使用，画面也可以是像，例如，帧的上半部或单个宏块那样帧的子集。作为另一个例子，深度画面可以是，例如，完整深度图，或只包括，例如，相应视频帧的单个宏块的深度信息的局部深度图。

本文所述的实现方式可以以，例如，方法或过程、装置、软件程序、数据流或信号的形式实现。即使只在单个实现方式形式的背景下讨论(例如，只作为方法来讨论)，所讨论的特征的实现也可以以其它形式(例如，装置或程序)实现。装置可以以，例如，适当硬件、软件和固件的形式实现。方法可以在，例如，像，例如，处理器那样的装置中实现，处理器一般指处理设备，包括，例如，计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括像，例如，计算机、蜂窝式电话、便携式/个人数字助理(“PDA”)那样的通信设备、和有助于最终用户之间信息通信的其它设备。

本文所述的各种过程和特征的实现方式可以体现在多种不同装备或应用中，尤其，例如，与数据编码和解码相联系的装备或应用。这样装备的例子包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、万维网服务器、机顶盒、笔记本电脑、个人计算机、蜂窝式电话、PDA、和其它通信设备。应该清楚，该装备可以是移动的，甚至安装在机动车中。

另外，这些方法可以通过处理器执行指令来实现，这样的指令(和/或一种实现方式产生的数据值)可以存储在像，例如，集成电路、软件载体那样的处理器可读媒体或像，例如，硬盘、小型盘、随机访问存储器(“RAM”)或只读存储器(“ROM”)那样的其它存储设备中。这些指令可以形成有形地体现在处理器可读媒体上的应用程序。这些指令可以处在，例如，硬件、固件、软件或它们的组合体中。这些指令可以在，例如，操作系统、独立应用程序、或两者的组合体中找到。因此，处理器可以表征成，例如，配置成执行过程的设备和包括含有执行过程的指令的处理器可读媒体(像存储设备那样)的设备两者。进一步，除了指令之外，或取代指令，处理器可读媒体可以存储一种实现方式产生的数据值。

对于本领域的普通技术人员来说应该显而易见，这些实现方式可以产生格式化成传送可以，例如，存储和发送的信息的多种信号。该信息可以包括，例如，执行一种方法的指令，或像语法、深度图或处理一个或多个深度图的参数那样所述实现方式之一产生的数据。例如，可以将信号格式化成像数据那样传送写入或读取所述实施例的语法的规则，或像数据那样传送所述实施例写入的实际语法值。这样的信号可以格式化成，例如，电磁波(例如，使用频谱的射频部分)或格式化成基带信号。该格式化可以包括，例如，编码数据流和将载波与编码数据流调制在一起。信号传送的信息可以是，例如，模拟或数字信息。众所周知，信号可以在多种不同有线或无线链路上发送。信号可以存储在处理器可读媒体上。

我们已经描述了许多实现方式。不过，应该明白，可以作出各种各样的修改。例如，可以组合、补充、修改或删除其他实施方式的元素得出其它实现方式。另外，本领域的普通技术人员应该明白，可以用其它结构和过程替代所公开的那些，所得实现方式将以至少基本相同的方式执行至少基本相同的功能，以取得与所公开实现方式至少基本相同的结果。相应地，这些和其它实现方式可以通过本申请设想出来，它们都在所附权利要求书的范围之内。

Claims

1.一种包含如下的方法：

访问与第一视频画面对应的第一深度画面(1410)；

针对第一深度画面的给定部分，确定第一视频画面的同地点视频部分(1420)；

访问指示第一视频画面的同地点视频部分相对于第二视频画面的运动的视频运动向量(1420)；

访问与第二视频画面对应的第二深度画面(1430)；

基于视频运动向量，从第一深度画面的给定部分中确定第二深度画面的深度部分(1430)；以及

基于第二深度画面的深度部分更新第一深度画面的给定部分(1435)。

2.如权利要求1所述的方法，其中，所述确定第二深度画面的深度部分包含使用视频运动向量从第一深度画面的给定部分中确定第二深度画面的深度部分，以便赋予第一深度画面的给定部分与第一视频画面的同地点视频部分相同的运动。

3.如权利要求1所述的方法，其中，所述第二视频画面具有与第一视频画面的时标不同的时标。

4.如权利要求1所述的方法，其中，所述方法在视频编码器、视频编码器的预处理器、视频编码器的后处理器、视频解码器、视频解码器的预处理器、或视频解码器的后处理器的一个或多个中实现。

5.如权利要求1所述的方法，其中，所述更新第一深度画面的给定部分包含将时间加权平均或中值滤波的一个或多个应用于第一深度画面的给定部分或第二深度画面的深度部分的一个或多个(1425，1435)。

6.如权利要求5所述的方法，其中，应用于第一深度画面的给定部分和第二深度画面的深度部分的各自权重是基于运动判据和时间距离判据的一种或多种确定的(1425)。

7.如权利要求6所述的方法，其中，应用于第一深度画面的给定部分和第二深度画面的深度部分的各自权重是基于第一深度画面的给定部分和第二深度画面的深度部分的各自运动量确定的(1425)。

8.如权利要求7所述的方法，其中，各自权重的特定一个的值随运动量减少而增大(1425)。

9.如权利要求6所述的方法，其中，应用于第一深度画面的给定部分和第二深度画面的深度部分的各自权重是基于第一视频画面和第二视频画面之间的时间距离确定的(1425)。

10.如权利要求9所述的方法，其中，各自权重的特定一个的值随时间距离增大而减小(1425)。

11.如权利要求5所述的方法，其中，当应用中值滤波时，根据像素将各自权重应用于第一深度画面的给定部分和第二深度画面的深度部分(1425)。

12.如权利要求1所述的方法，进一步包含确定视频运动向量。

13.如权利要求1所述的方法，进一步包含：

访问指示第一视频画面的同地点视频部分相对于第三视频画面的运动的不同视频运动向量；

访问与第三视频画面对应的第三深度画面；

基于该不同视频运动向量，从第一深度画面的给定部分中确定第三深度画面的深度部分；以及

其中更新第一深度画面的给定部分进一步基于第三深度画面的深度部分以及第二深度画面的深度部分。

14.一种包含如下的装置：

访问与第一视频画面对应的第一深度画面的部件；

针对第一深度画面的给定部分，确定第一视频画面的同地点视频部分的部件；

访问指示第一视频画面的同地点视频部分相对于第二视频画面的运动的视频运动向量的部件；

访问与第二视频画面对应的第二深度画面的部件；

基于视频运动向量，从第一深度画面的给定部分中确定第二深度画面的深度部分的部件；以及

基于第二深度画面的深度部分更新第一深度画面的给定部分的部件。

15.一种其中存储使处理器至少执行如下步骤的指令的处理器可读媒体：

访问与第一视频画面对应的第一深度画面(1410)；

访问与第二视频画面对应的第二深度画面(1430)；

16.一种包含配置成至少执行如下步骤的处理器的装置：

访问与第一视频画面对应的第一深度画面(1410)；

访问与第二视频画面对应的第二深度画面(1430)；

17.一种装置，包含：

时间滤波器(330)，用于访问与第一视频画面对应的第一深度画面，和访问与第二视频画面对应的第二深度画面；以及

运动分析器(310)，用于为第一视频画面的同地点视频部分确定视频运动向量，第一视频画面的同地点视频部分与第一深度画面的给定部分对应，和视频运动向量指示第一视频画面的同地点视频部分相对于第二视频画面的运动，

其中，所述时间滤波器基于视频运动向量，从第一深度画面的给定部分中确定第二深度画面的深度部分，以及所述时间滤波器基于第二深度画面的深度部分更新第一深度画面的给定部分。

18.一种装置，包含：

其中，所述时间滤波器基于视频运动向量，从第一深度画面的给定部分中确定第二深度画面的深度部分，以及所述时间滤波器基于第二深度画面的深度部分更新第一深度画面的给定部分，以及

其中，所述装置进一步包含调制器(520)，用于调制包括第一深度画面的更新给定部分的信号。

19.一种装置，包含：

解调器(610)，用于解调包括第一视频画面、第二视频画面、与第一视频画面对应的第一深度画面、和与第二视频画面对应的第二深度画面的信号；

时间滤波器(330)，用于访问第一深度画面，和访问第二深度画面；以及