CN102138334A - 利用启发式视图合并的视图合成 - Google Patents

Abstract

几个实施方式涉及用于3D视频(3DV)应用的具有启发式视图合并的视图合成。根据一个方面，评估(1010，1055)来自于第一变形的参考视图的第一候选像素，以及来自于第二变形的参考视图的第二候选像素，这是基于后向合成处理、所述第一和第二候选像素周围的空洞分布、在所述第一和第二候选像素周围的能量超过一个规定的频率的量中的至少一个来评估所述第一和第二候选像素的质量的，所述评估作为合并所述第一和第二变形的参考视图为单个的合成视图的一部分。基于所述评估，为所述单个合成视图内的一个给定的目标像素确定一个结果(1075，1080)。所述结果可以是确定给定的目标像素的值，或者标记所述给定的目标像素为空洞。

Description

利用启发式视图合并的视图合成

相关申请的交叉参考

本申请要求(1)2008年9月19日提交的美国临时申请61/192,612号标题为“用于3DV应用的利用边界泼溅与启发式视图合并的视图合成”以及(2)2008年8月29日提交的美国临时申请61/092,967号标题为“用于3D视频(3DV)应用的带有适应性泼溅的视图合成”的权益。这两篇美国临时申请的内容全部并入作为参考。

技术领域

所描述的实施方式涉及编码系统。各种特定的实施方式涉及用于3D视频(3DV)应用的具有启发式视图合并的视图合成。

背景技术

三维视频(3DV)是一种包括多视图视频的编码表示和深度信息并且目的在于例如在接收器处生成高质量的3D渲染的新的架构。这使得自动立体显示、自由视点应用和立体显示的3D视觉体验成为可能。需要更进一步的技术来生成额外的视图。

发明内容

根据一个总体的方面，来自于第一变形的参考视图的第一候选像素和来自于第二变形的参考视图的第二候选像素是基于后向合成过程、在所述第一和第二候选像素周围的空洞分布、或者在所述第一和第二候选像素周围超过规定的频率的能量的量其中的至少一个来评估所述第一和第二候选像素的质量的。所述评估是作为将所述第一和第二变形的参考视图合并成单个的合成视图的一部分。基于所述评估，为所述单个的合成视图中的给定的目标像素确定一个结果。

在下面的附图和说明书部分详细解释一个或多个实施方式的细节。即使是以一种特殊方式来描述实施方式，应当清楚的是，可以以各种方式配置或者体现实施方式。例如，一种实施方式可以用方法的方式来执行，或者体现为诸如例如是被配置来执行一组操作的设备或者是存储用于执行一组操作的指令的设备之类的设备，或者体现为信号。从接下来的详细描述结合附图和权利要求会容易理解其它方面和特征。

附图说明

图1A是未矫正的视图的合成的实施方式的图示。

图1B是矫正的视图的合成的实施方式的图示。

图2A是视图合成器实施方式的图示。

图2B是图像合成器实施方式的图示。

图3是视频发送系统实施方式的图示。

图4是视频接收系统实施方式的图示。

图5是视频处理装置实施方式的图示。

图6是用于发送和接收具有深度信息的多视图视频的系统的实施方式的图示。

图7是视图合成和合并过程的实施方式的图示。

图8是应用深度、空洞分布和摄像机参数的合并过程的实施方式的图示。

图9是应用深度、后向合成误差和摄像机参数的合并过程的实施方式的图示。

图10是应用深度、后向合成误差和摄像机参数的合并过程的另一个实施方式的图示。

图11是应用高频能量的合并过程的实施方式的图示。

具体实施例

一些三维视频(3DV)应用对输入视图有严格的限制。输入视图通常必须得到很好的矫正，使得一维(1D)视差(disparity)可以描述如何将像素从一个视图置换到另一个视图。

基于深度图像的渲染(DIBR)是一种使用从多个校准后的摄像机捕捉的多个图像以及相关联的逐像素深度信息的视图合成技术。从概念上讲，这种视图生成方法可以理解为是一个两步骤的过程：(1)3D图像变形(imagewarping)；和(2)重建和再取样。关于3D图像变形，使用深度数据和相关联的摄像机参数将来自于参考图像的像素反投影到适当的3D位置，并重新将它们投影到新的图像空间。关于重建和再取样，同样涉及确定合成视图中的像素值。

所述渲染方法可以是基于像素的泼溅或者是基于网格的(三角形的)。对于3DV，逐像素深度典型的是用诸如立体之类的被动式计算机视觉技术来估计，而不是从激光测距扫描或者计算机图形模型生成的。因此，对于3DV中的实时处理，在只给定有噪声的深度信息时，基于像素的方法应当是优选的，以避免复杂性和生成耗费计算的网格，因为鲁棒的3D三角剖分(triangulation)(表面重建)是困难的几何问题。

现有的泼溅算法达到了一些令人印象非常深刻的结果。但是，它们被设计来与高精度的深度一起使用，对低质量深度而言，它们可能不是充分的。另外，很多现有的算法将诸如逐像素垂直面或者三维点云之类3DV中不存在的技术方面视为理所当然。这样，需要新的合成方法来处理这些具体问题。

给定深度信息和摄像机参数，就容易将参考像素变形到合成的视图上。最突出的问题是，如何从变形的参考视图像素估计目标视图中的像素值。图1A和图1B图示的是这个基本问题。图1A显示的是未矫正的视图合成100。图1B显示的是矫正后的视图合成150。在图1A和图1B中，字母“X”代表目标视图中要估计的像素，圆和方块表示从不同的参考视图变形的像素，其中，不同的形状表示不同的参考视图。

一种简单的方法是，将变形的样本像素舍入到目的视图中其最接近的像素位置。当多个像素映射到合成视图中的同一个位置时，Z-缓冲(Z-buffering)是一种典型的解决方案，即，选择最靠近摄像机的那个像素。这种方案(舍入最近的像素位置)经常会在略为欠采样的表面中，尤其是沿着物体的边界处导致针孔(pinhole)。处理这个针孔问题最常见的方法是将参考视图内的一个像素映射为目标视图内的几个像素。这个过程称作泼溅。

如果将一个参考像素映射到目标视图中的多个周边目标像素上，可以消除大部分的针孔。但是，会丢失某些图像细节。当使用透明的泼溅类型的重建核心时，同样要在消除针孔和丢失细节之间进行权衡。问题是：“我们如何来控制泼溅的程度？”例如，对于每个变形的像素，我们是该将它映射到它所有的周边目标像素上，还是仅将它映射到最靠近它的一个像素上？文献很大程度上并未处理这个问题。

当应用多个参考视图时，一种常见的方法会单独处理来自于每个参考视图的合成，然后将多个合成视图合并在一起。问题是如何来合并它们，例如，可以使用某类加权方案。例如，可以基于角距离、图像分辨率等等之类，给不同的参考视图应用不同的权重。注意，应当以对有噪声的深度信息鲁棒的方式来处理这些问题。

使用DIBR，可以从捕捉到的视图(在上下文中也称作参考视图)产生虚拟视图。产生虚拟视图是一项艰难的任务，尤其是当输入的深度信息有噪声并且其它诸如场景的3D表面属性之类的场景信息未知的时候。

其中一个最困难的问题经常是，在对参考视图内的样本像素变形后，如何估计合成视图内每个像素的值。例如，对于每个目标合成像素，应当利用什么样的参考像素，以及如何合并它们。

在至少一种实施方式中，我们提议用一种用于3DV应用的用边界泼溅的视图合成框架。发明人已经注意到，在涉及产生虚拟视图的3DV应用中(例如，使用DIBR)，这样产生虚拟视图是一项挑战性的任务，尤其是当输入的深度信息具有噪声并且诸如场景的3D表面属性之类的其它场景信息未知的时候。

发明人进一步注意到，如果将一个参考像素映射到目标视图中的多个周边目标像素上，虽然可以消除大多数的针孔，遗憾的是会丢失某些图像细节。当使用透明的泼溅类型的重建核心时，同样要在消除针孔和丢失细节之间进行权衡。问题是：“我们该如何控制泼溅的程度？”例如，对于每个变形的像素，我们是该将它映射到所有它的周边目标像素，还是该仅将它映射到最靠近它的那个像素？

在至少一种实施方式中，我们建议：(1)将泼溅仅应用在边界层周围的像素，即，将深度断续性不多的区域内的像素仅映射到最靠近它们的相邻像素；以及(2)当合并来自于多个参考视图的合成图像时，使用具有Z-缓冲的空洞分布或者后向合成误差的两个新的启发式合并方案。

另外，发明人注意到，要从参考视图合成虚拟视图，通常需要三个步骤，即：(1)前向变形；(2)混合(单个视图的合成和多个视图的合并)；和(3)填充空洞。至少一个实施方式贡献了一些算法来改善混合，以处理由噪声的深度信息所造成的问题。与3DV中一些现有的方案相比，我们的仿真结果表明具有较好的质量。

至于上文提到的与从参考视图合成虚拟视图有关的三个步骤的变形步骤，关于如何处理所述变形结果，基本上存在两种可以考虑的选项，即，合并和混合。

关于合并，可以考虑完全变形每个视图，以给每个参考视图形成最终的变形视图。然后，可以将这些最终的变形视图“合并”，得到单个的真正最终的合成视图。“合并”会涉及，例如在N个候选像素(假设有N个最终的变形视图)之间进行挑选或者以某种方式将它们合并。当然，可以理解，用于确定目标像素值的候选像素数目不需要和变形视图的数目相同。也就是说，多个候选像素(或者一个也没有)可以来自于单个视图。

关于混合，可以仍然变形每个视图，但是不为每个参考视图形成最终变形的视图。通过不进行到最终过程，当混合时，可以保留更多的可选项。这是有优点的，因为在某些情况下不同的视图可以为合成的目标视图的不同部分提供最佳信息。因而，混合可提供灵活性以在每个像素处从不同的视图选择信息的正确组合。因此，可以认为，合并是两步骤混合的特例，其中，首先分别处理来自于每个视图的候选，然后对处理结果进行组合。

再次参考图1A，可以用图1A来显示到典型的混合操作的输入，因为图1A包括从不同的参考视图变形的像素(分别是圆形和方块)。相反，对于典型的合并应用，人们会期望只看见圆形或者方块，因为会典型地分开变形每个参考视图然后进行处理，为各个参考视图形成最终的变形视图。然后在典型的合并应用中合并多个参考视图的最终的变形视图。

返回到混合，作为一种涉及混合的可能的可选项/考虑，可能不执行泼溅，因为还不想填满所有的空洞。这些及其它可选项可以由本领域和相关领域的普通技术人员所确定，而保持本发明原理的精神。

因此，可以理解，本发明原理的一个或多个实施例针对的是合并，而本发明原理的其它实施例可能针对的是混合。当然，进一步的实施例可以涉及合并和混合的组合。本申请中所讨论的特征和构思通常应用在合并和混合两种情况下，即使在上下文中只讨论合并或者混合中的一种。给定此处所提供的本发明原理的教导，本领域及相关技术领域的普通技术人员会容易理解与合并和/或混合相关的、保持本发明原理的精神的各种应用。

应当理解的是，本发明通常涉及通信系统，更特别的是涉及无线系统，例如地面广播、手机、无线-保真(Wi-Fi)、卫星等等。应当进一步理解的是，本发明原理可以实现在例如编码器、解码器、预处理器、后处理器和接收器(它可以包括前述的一种或多种)中。例如，在需要产生虚拟图像来进行编码时，本发明原理可以用在编码器中。关于编码器的进一步例子，这样一种编码器可以用于合成虚拟视图，用于从虚拟视图位置编码实际的图像，或者从靠近虚拟视图位置的视图位置编码图像。在涉及两个参考图像的实施方式中，可以对两个参考图像以及对应于虚拟视图的虚拟图像都进行编码。当然，给定此处所提供的本发明原理的教导，在保持本发明原理的精神的同时，本领域及相关领域的普通技术人员会考虑这些和各种其它应用，以及可应用本发明原理的对前面描述的应用的各种变形。

另外，要理解的是，虽然此处是根据H.264/MPEG-4 AVC(AVC)标准来描述一个或多个实施例的，但本发明原理不完全局限于同样的实施例，因此，给定此处所提供的本发明原理的教导，在保持本发明原理的精神的同时，可以容易地将本发明原理应用到多视图视频编码(MVC)、当前和将来的3DV标准、以及其它视频编码标准、规范和/或建议。

注意，“泼溅”指的是，将来自参考视图的一个变形的像素映射到目标视图中的几个像素的过程。

注意，“深度信息”是指与深度有关的各类信息的通用术语。一种类型的深度信息是“深度地图”，它通常指的是逐像素深度图像。其它类型的深度信息包括，例如，为每个编码块而不是为每个编码的像素使用单个的深度值。

图2A显示的是根据本发明原理的实施例的可以应用本发明原理的示例的视图合成器200。视图合成器200包括前向变形器210-1至210-K、视图合并器220和空洞填充器230。前向变形器210-1至210-K的各个输出与图像合成器215-1至215-K的各个输入以信号通信的方式进行连接。图像合成器215-1至215-K的各个输出与视图合并器220的第一输入以信号通信的方式进行连接。视图合并器220的输出与空洞填充器230的第一输入以信号通信的方式进行连接。前向变形器210-1至210-k的第一各个输入可以用于作为视图合成器200的输入，用于接收1至K的各个参考视图。前向变形器210-1至210-K的第二各个输入和图像合成器215-1至215-K的第二各个输入可用于作为视图合成器200的输入，用于分别接收视图1和与它对应的目标视图深度地图和摄像机参数直至视图K和与它对应的目标视图深度地图和摄像机参数。视图合并器220的第二输入可用于作为所述视图合成器的输入，用于接收所有视图的深度地图和摄像机参数。空洞填充器230的第二(可选的)输入可用于作为视图合成器200的输入，用于接收所有视图的深度地图和摄像机参数。空洞填充器230的输出可用于作为视图合成器200和输出，用于输出目标视图。

图2B显示的是根据本发明原理的实施例的可以应用本发明原理的示例的图像合成器250。图像合成器250包括泼溅器255，该泼溅器255的输出与目标像素评估器260的输入以信号通信的方式连接。目标像素评估器260的输出与空洞标记器265的输入以信号通信的方式进行连接。泼溅器255的输入可用于作为图像合成器250的输入，用于接收来自于参考视图的变形的像素。空洞标记器265的输出可用于作为图像合成器250的输出，用于输出合成的图像。要理解的是，空洞标记器265是可选的，在不需要空洞标记器但是目标像素的评估是充分的实施例中可以将它忽略掉。

可以用各种方式实现泼溅器255。例如，可以在通用计算机上，或者在诸如视频编码器之类的专用的机器上实现泼溅的功能。对于本领域技术人员而言，泼溅的常见功能是周知的。这样的实施方式可以根据本申请中所描述的方式进行修改，例如，基于变形的参考视图内的一个像素是否是在距离一个或多个深度边界特定的距离内来执行泼溅功能。根据本申请中所描述的实施方式所修改的泼溅功能，可以可替换地在特殊用途的集成电路(诸如专用的集成电路(ASIC))内或者其它硬件中实现。实施方式也可以使用软件、硬件和固件的组合。

图2A和2B的其它元件，例如前向变形器210、空洞标记器265和目标像素评估器260可以以与泼溅器255同样的方式来实施。例如，前向变形器210的实施方式可以使用软件、硬件和/或固件来在通用计算机或者专用的装置或者专用的集成电路上执行常见的变形功能。另外，空洞标记器265的实施方式可以使用，例如软件、硬件和/或固件来执行在各个实施例中描述的功能，以标记空洞，这些功能可以在，例如通用计算机或者专用的设备上或者专用的集成电路上执行。进一步地，目标像素评估器260的实施方式可以使用，例如软件、硬件和/或固件来执行在各个实施例中所描述的功能以评估目标像素，这些功能可以在例如，通用计算机或者专用的装置或者专用的集成电路上执行。

进一步地，视图合并器220还可以包括空洞标记器，例如，空洞标记器265或者空洞标记器265的变形。在这样的实施方式中，视图合并器220也要能够标记空洞，如在实施例2和实施例3以及在图8和图10的讨论中所描述的那样。

另外，可以以各种方式实施视图合并器220。例如，可以在通用计算机上或者诸如视频编码器之类的专用机器上执行视图合并功能的软件算法。视图合并的通用功能对于本领域普通技术人员而言是周知的。但是，这样一种实施方式可以按本申请中所描述的方式进行修改，以执行例如本申请的一个或多个实施方式所讨论的视图合并技术。如按本申请中所描述的实施方式所进行的修改的视图合并功能，可替换地在特殊用途的集成电路(诸如，专用的集成电路(ASIC))或者其它硬件中实施。实施方式也可以使用软件、硬件和固件的组合。

视图合并器220的一些实施方式包括用于评估来自于第一变形的参考视图的第一候选像素以及来自于第二变形的参考视图的第二候选像素的功能，该功能是基于以下至少之一：评估所述第一和第二候选像素的质量的后向合成过程、在所述第一和第二候选像素周围的空洞分布、或者所述第一和第二候选像素周围能量在特定频率之上的量。视图合并器220的一些实施方式进一步包括，用于基于所述评估来确定单个的合成视图中的给定目标像素的结果。例如在图10的讨论和本申请的其它部分中描述了这两个功能。这样的实施方式可以包括，例如，用于执行这些功能中的每个功能的单组指令或者不同(重叠)组的指令，这样的指令可以在，例如通用计算机、特殊用途的机器(例如，视频编码器)或者特定应用的集成电路上实施。进一步地，这样的功能可以使用软件、硬件和固件的各种组合来实施。

图3显示可以根据本发明原理的实施方式的应用本发明原理的示例的视频发送系统300。视频发送系统300可以是，例如用于使用诸如卫星、缆线、电话线或者地面广播之类的多种介质中的任何一种介质来发送信号的头端或者发送系统。可以通过因特网或者其它网络进行所述发送。

视频发送系统300能够生成并输送使用视图间跳跃模式编码的具有深度的视频内容。这是通过生成包括深度信息或者包括能够用于在接收端合成所述深度信息的信息的编码的信号来实现的，所述接收端例如可以具有解码器。

视频发送系统300包括编码器310和能够发送编码的信号的发送器320。编码器310接收视频信息，并使用视图间跳跃模式从所接收的视频信息生成具有深度的编码的信号。编码器310可以是，例如AVC编码器。编码器310可以包括子模块，具有例如用于接收各种信息片并将它们组合为用于存储或者发送的结构化形式的组合单元。各种信息片可以包括，例如编码的或者解码的视频、编码的或者解码的深度信息以及诸如运动矢量、编码模式指示符和语法元素之类的编码或者解码的元素。

发送器320可以是，例如适用于发送具有代表编码图像的一个或多个比特流以及/或者与其相关的信息的程序信号。典型的发送器执行诸如提供纠错编码、在信号中插入数据、随机化信号中的能量以及将信号调制到一个或多个载波上中的一种或多种的功能。所述发送器可以包括天线(未示)或者与天线通过接口连接。相应地，发送器320的实施方式可以包括或者被限制为调制器。

图4显示的是根据本发明原理的实施例的可以应用本发明原理的示例视频接收系统400。可以将视频接收系统400配置为，接收例如通过卫星、缆线、电话线或者地面广播之类的各种介质传输的信号。所述信号可以从因特网或者其它网络接收。

视频接收系统400可以是，例如手机、计算机、机顶盒、电视机或者其它接收编码的视频并提供例如用于显示给用户或者用于存储的解码的视频的装置。因此，视频接收系统400可以将它的输出提供给，例如电视屏幕、计算机显示器、计算机(用于存储、处理或者显示)或者其它存储器、处理或者显示装置。

视频接收系统400能够接收和处理包括视频信息的视频内容。视频接收系统400包括能够接收诸如本申请的实施方式中所描述的信号之类的编码的信号的接收器410，以及能够解码所接收的信号的解码器420。

接收器410可以是，例如适用于接收具有代表编码的图像的多个比特流的程序信号。典型的接收器执行诸如，接收调制的和编码的数据信号、从一个或者多个载波解调出所述数据信号、去随机化(de-randomize)所述信号中的能量、去插值(de-interleave)信号中的数据以及对信号进行纠错解码中的一种或多种功能。接收器410可以包括天线(未示)或者与天线通过接口相接。接收器410的实施方式可以包括解调器或者被限制为解调器。

解码器420输出包括视频信息和深度信息的视频信号。解码器420可以是例如AVC解码器。

图5显示的是根据本发明原理的实施例的可以应用本发明原理的示例的视频处理装置500。视频处理装置500可以是，例如机顶盒或者是其它接收编码的视频并提供例如用于显示给用户或者用于存储的解码的视频的装置。因此，视频处理装置500可以将它的输出提供给电视机、计算机显示器或者计算机或者其它处理装置。

视频处理装置500包括前端(FE)装置505和解码器510。前端装置505可以是例如一个接收器，适用于接收具有代表编码的图像的多个比特流的程序信号，以及从所述多个比特流中选择一个或多个比特流进行解码。典型的接收器执行例如接收调制的和编码的数据信号、解调所述数据信号、解码所述数据信号的一种或多种编码(例如，信道编码和/或源编码)以及/或者对所述数据信号进行纠错其中的一种或多种的功能。前端装置505可以从例如天线(未示)接收程序信号。前端装置505将所接收的数据信号提供给解码器510。

解码器510接收数据信号520。数据信号520可以包括，例如一个或多个与先进视频编码(AVC)、可伸缩的视频编码(SVC)或者多视图视频编码(MVC)兼容的流。

AVC更具体的是指，现有的国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(M PEG-4)部分10先进视频编码(AVC)标准/国际电信联盟电信部分(ITU-T)H.264建议书(之后，“H.264/MPEG-4AVC标准”或者其变形，诸如“AVC标准”或者简单地是“AVC”)。

MVC更具体的是指AVC标准的多视图视频编码(“MVC”)扩展(附录H)，指的是H.264/MPEG-4 AVC、MVC扩展(“MVC扩展”或者简单地是“MVC”)。

SVC更具体的指的是指AVC标准的可伸缩视频编码(“SVC”)扩展(附录G)，称作H.264/MPEG-4AVC、SVC扩展(“SVC扩展”或者简单地是“SVC”)。

解码器510解码所接收到的信号520的全部或者一部分，并提供解码的视频信号530作为输出。解码的视频530被提供给选择器550。装置500还包括接收用户输570的用户界面560。用户界面560基于用户输570提供图像选择信号580给选择器550。图像选择信号580和用户输入570表明用户希望显示多个图像、序列、可伸缩版本、视图或者可用的解码的数据的其它选项中的哪一个。选择器550提供所选择的图像作为输出590。选择器550使用图像选择信息580选择要提供解码的视频530中的哪个图片以作为输出590。

在各种实施方式中，选择器550包括用户界面560，在其它实施方式中不需要用户界面560，因为选择器550直接接收用户输入570，不单独执行界面功能。选择器550例如可以实施为软件或者集成电路。在一种实施方式中，选择器550与解码器510合并在一起，在另一种实施方式中，解码器510、选择器550和用户界面560全部集成在一起。

在一个应用中，前端505接收广播的各种各样的电视节目并选择一个来处理。基于用户输入的期望观看的频道来选择一个节目。虽然图5没有显示用户给前端装置505的输入，但是前端装置505接收用户输入570。前端505接收所述广播，并通过解调所述广播波谱的相关部分以及解码所解调的节目的任何外部编码来处理所期望的节目。前端505提供解码的节目给解码器510。解码器510是包括装置560和550的集成单元。因此，解码器510接收用户输入，该用户输入是用户提供的表示所期望观看的节目中视图的指示。解码器510解码所选择的视图，以及来自于其它视图的任何所需要的参考图像，并提供用于在电视上(未示)显示的解码的视图590。

继续上述的应用，用户可能会期望切换所显示的视图，并可能会提供新的输入给解码器510。在接收到来自于用户的“改变视图”之后，解码器510解码旧的视图和新的视图二者，以及在旧的视图和新的视图之间的所有视图。也就是说，解码器510解码物理位置上位于照取新的视图的摄像机和照取旧的视图的摄像机之间的摄像机所照取的所有视图。前端装置505还接收用于识别旧的视图、新的视图以及它们之间的视图的信息。这样的信息例如可以由具有与所述视图的位置有关的信息的控制器(图5中未示)或者解码器510来提供。其它实施方式可以使用一个前端装置，该前端装置具有与它集成在一起的控制器。

解码器510提供所有这些解码的视图作为输出590。后期处理器(图5中未示)在视图之间进行插值，以提供从所述旧的视图到所述新的视图的顺利过渡，并将这个过渡显示给用户。在过渡到新的视图之后，所述后期处理器(通过一个或多个未示的通信链路)告知解码器510和前端装置505只需要新的视图。之后，解码器510仅提供所述新的视图作为输出590。

系统500可以用于接收一系列图像的多个视图，以及用于呈现供显示的单个视图，并在各种视图之间以顺畅的方式进行切换。所述顺畅的方式可以包括在视图之间进行插值，以移到另一个视图。另外，系统500可以允许用户转动物体或者场景，或者相反，允许用户看物体或者场景的三维呈现。转动所述物体，例如可以对应于从视图移到视图，在视图之间进行插值，以获得在视图之间的顺畅的过渡，或者简单地获得三维呈现。也就是说，用户可以“选择”一个插入的视图作为要显示的“视图”。

图2A和2B的元件可以被包含在图3-5中的各种位置。例如，图2A和2B的一个或多个元件可以位于编码器310和解码器420中。作为进一步的例子，视频处理装置500的实施方式可以将图2A和2B的一个或多个元件包括在图5的讨论中所提到的解码器510或者后期处理器中，从而在接收到的视图之间进行插值。

返回到本发明原理和这些原理所应用的环境的描述，要理解的是，有利的是，本发明原理可以应用在3D视频(3DV)。3D视频是新的架构，其包括多视图视频的编码表示和深度信息，目的是在接收器处生成高质量的3D渲染。这样使得自动多视觉显示的3D视觉体验成为可能。

图6显示的是根据本发明原理的实施例的可以应用本发明原理的用于发送和接收具有深度信息的多视图视频的示例系统600。在图6中，视频数据由实线表示，深度数据由短划线表示，元(meta)数据由虚线表示。系统600可以是，例如但是不局限于自由视点电视系统。在发送器侧610，系统600包括三维(3D)内容制作器620，它具有多个输入，用于分别从多个源接收视频、深度和元数据中的一种或多种。这样的源可以包括，但是不局限于立体摄像机611、深度摄像机612、多摄像机设置613和2-维/3-维(2D/3D)过渡过程614。可以使用一个或多个网络630发送与多视图视频编码(MVC)和数字视频广播(DVB)相关的视频、深度和的元数据中的一种或多种。

在接收器侧640，基于深度图像的渲染器650执行基于深度图像的渲染，以将信号投射到各种类型的显示器上。这种应用场景会造成特定的限制，诸如窄角捕像(＜20度)。基于深度图像的渲染器650能够接收显示器配置信息和用户喜好。基于深度图像的渲染器650的输出可以提供给2D显示器661、M视图3D显示器662和/或头部跟踪立体显示器663中的一个或者多个。

前向变形

执行视图合成的第一步骤是前向变形，其涉及为所述参考视图中的每个像素找到它在目标视图内的对应位置。3D图像变形是计算机图像领域内周知的。根据输入视图是否经过矫正，可以使用不同的方程式。

(a)未矫正的视图

如果我们根据3D点的齐次坐标P＝[x，y，z，1]^T来定义它，并且它在参考图像平面中的透视投影(即，2D图像位置)是p_r＝[u_r，v_r，1]^T，然后我们得到：

w_r·p_r＝PPM_r·P，                                    (1)

其中，w_r是深度因子，PPM_r是3×4透视投影矩阵，由摄像机参数可知。对应地，我们得到如下的合成的(目标)视图的方程式：

w_s·p_s＝PPM_s·P.                                (2)

我们将PPM_r的12个元素记为q_ij，i＝1，2，3，且j＝1，2，3，4。从图像点p_r及其深度z，可以用如下的线性方程式来估计3D点P的其余两个分量：

$\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right],---\left(3\right)$

其中，

b₁＝(q₁₄-q₃₄)+(q₁₃-q₃₃)z，a₁₁＝u_rq₃₁-q₁₁，a₁₂＝u_rq₃₂-q₁₂.

b₂＝(q₂₄-q₃₄)+(q₂₃-q₃₃)z，a₂₁＝v_rq₃₁-q₂₁，a₂₂＝v_rq₃₂-q₂₂.

注意，将所述参考视图中的每个像素的输入深度水平量化为3DV中的8比特(即，256个水平，其中较大的值意味着更靠近摄像机)。用下面的公式将变形过程中所用的深度因子z直接链接到它的输入深度水平Y：

$z=\frac{1}{\frac{Y}{255}(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}}},---\left(4\right)$

其中，Z_near和Z_far分别对应于场景中最近的像素和最远的像素的深度因子。当使用多于(或少于)8比特来量化深度信息时，方程式(4)内的值255应当由2^B-1来代替，其中B是比特深度。

当P的3D位置已知，通过方程式(2)将P重新投射到合成的图像平面上时，我们得到它在目标视图中的位置p_s(即，变形的像素位置)。

(b)矫正的视图

对于矫正的视图，1-D视差(典型的是沿着一条水平线)描述如何将像素从一个视图替换到另一个视图。假设给定下面的摄像机参数：

(i)f，摄像机透镜的焦距

(ii)l，基线间距，也称作摄像机距离；和

(iii)du，主点偏移的差异

就输入视图得到了很好的矫正而言，可以使用下面的公式从参考视图内的像素p_r＝[u_r，v_r，1]^T计算目标视图内的变形的位置p_s＝[u_s，v_s，1]^T：

$u_s=u_r-\frac{f\·l}{z}+\mathrm{du};v_s=v_r.---\left(5\right)$

参考视图和合成的视图的子像素精度

为了提高合成的视图的图像质量，可以对参考视图进行上采样，也就是说，在半像素位置并可能是在四分之一像素位置或者甚至更细的分辨率插入新的子像素。相应地，可以对深度图像进行上采样。对参考视图内的子像素以与整数参考像素(即，变形到全像素位置的像素)同样的方式进行变形。类似地，在合成的视图中，可以在子像素位置插入新的目标像素。

要理解的是，虽然是根据半像素和半像素位置来描述一个或多个实施方式的，但是在保留本发明原理的精神的同时，本发明原理还容易用于任何尺寸的子像素(以及因此对应于子像素位置)。

提议的方法：视图混合

在图1A和图1B中图示了视图变形的结果。我们会在这里处理如何从像素周围的变形的参考像素来估计目标视图中的像素值。图7显示的是根据本发明原理的实施例的视图合成和合并过程700。过程700在变形之后执行，并包括为单视图合成的边界层泼溅和新的视图合并方案。在步骤702中，参考视图1被输入到过程700中。在步骤704，参考视图2被输入到过程700中。在步骤705，对每个参考像素(包括由于上采样而插入的子像素)进行变形。在步骤710，基于深度图像来检测边界。在步骤715，判断所变形的像素是否靠近所述边界。如果是，那么控制进行到步骤720。反之，控制进行到步骤735。

在步骤720中，将变形的像素映射到其左边和右边最近的目标像素。

在步骤725，在将多个像素映射到同一个目标像素的情况下执行Z-缓冲。

在步骤730，输入/获得来自于前面处理的从参考视图1合成的图像。在步骤740，在参考视图2上执行与在参考视图1上执行的类似的处理。在步骤745处，输入/获得来自于前面处理的从参考图像2合成的图像。

在步骤750中，执行视图合并，以合并从参考视图1合成的图像和从参考视图2合成的图像。

实施例1：边界层泼溅

如上文所解释的，为了减少针孔，将一个变形的像素映射到多个相邻的目标像素。在用矫正的视图的情况下，典型的情况是将一个变形的像素映射到其左边和右边的目标像素上。为了简单起见，我们将解释用于矫正的视图情况下的方法(图1B)。例如，在图1B中，将变形的像素W1映射到目标像素S1和S2。但是，我们发现这会影响图像质量(即，由于泼溅而会丢失高频细节)，尤其是当使用子像素精度时。注意，针孔大多出现在前景和背景之间的边界处，即，深度断续性大的边界，我们提议仅对靠近边界的像素应用泼溅。在图1B的情况下，如果像素W1不靠近边界(例如，距离边界远于50个像素)，则将其仅映射到最靠近它的目标像素S1。当然，前面的50个像素距离仅用于示例，因此，如在这个技术领域和相关的技术领域中的普通技术人员会立即想到的，在保持本发明原理的精神的同时，也可以使用其它像素距离。

此处的“边界”仅指的是图像中深度断续性大的部分，因此，容易将它从参考视图的深度图像中检测出来。对于那些认为是边界的像素，以前向变形的方式执行泼溅。另一方面，对远离边界的像素禁用泼溅，这样有助于保留对象内的高频细节，而深度变化不多，尤其是当在合成图像中使用子像素精度时。在另一个实施例中，将参考视图的深度图像前向变形到虚拟位置，然后接下来在合成的深度图像中进行边界层提取。一旦一个像素变形到边界区域，则对它执行泼溅。

当将多个变形的像素映射到所合成的视图内的相同的目标像素时，可以通过比较深度级别来应用在一种简易的Z-缓冲方案(挑选比较靠近摄像机的像素)。当然，在保持本发明原理的精神的同时，也可以使用其它任何加权方案来平均它们。

实施例2

基于Z-缓冲、空洞分布和摄像机位置的合并

当有超过一个参考视图时，通常需要进行合并处理，其中在如图7所示的有两个视图的情况下，单独从每个视图生成合成图像。问题是如何合并它们，即如何从p1(从参考视图1合成的图像上的配置的像素)和p2(从参考视图2合成的图像上的配置的像素)得到合并的图像中的目标像素p的值？

合成图像内的一些像素在所述混合步骤期间从未被分配有值。这些位置称为空洞，通常是由未遮挡造成的(由于视点的差异，先前所述参考视图内几个看不见的场景点在合成视图内没有被覆盖到)或者由于输入的深度误差所产生。

当p1或者p2是空洞时，将非空洞的那个像素的像素值分配给最终的合并图像中的p。当p1或者p2两者都不是空洞时，就会出现冲突。如果p1和p2都是空洞时，使用空洞填充方法，现有技术中有这样的方法。最简单的方案是再次应用Z-缓冲，即，通过比较所述像素的深度级别，选择比较靠近摄像机的那个像素。但是，由于输入深度图像有噪音，并且p1和p2是来自于两个深度图像可能不一致的不同的参考视图，所以简单地应用Z-缓冲会导致最终的合并图像上的许多假象。在这种情况下，如下平均p1和p2会减少这些假象：

p＝(p1*w1+p2*w2)/(w1+w2)，                        (6)

其中w1和w2是视图加权因子。在一种实施方式中，可以将它们简单地设置为1。对于矫正的视图，我们推荐基于基线间隔li(在视图i和合成的视图之间的摄像机间距)来设置它们，例如，wi＝1/li。同样可以应用现有的加权方案，组合一个或几个参数。

图8显示的是根据本发明原理的实施例的使用深度、空洞分布和摄像机参数的合并处理。在步骤805，p1、p2(与p相同的图像位置)输入到处理过程800。在步骤810，判断是否|depth(p1)-depth(p2)|＞depthThreshold(p1与p2的深度差别是否大于深度门限)。如果是，然后控制进行到步骤815。反之，控制进行到步骤830。

在步骤815，为p选择比较靠近摄像机(即，Z-缓冲)的一个像素(p1或p2)。

在步骤830，计算在像素p1和p2各自的合成图像中，在像素p1和p2周围有多少空洞(即，找到holeCount1和holeCount2)。

在步骤820，判断是否|holeCount1-holeCount2|＞holeThreshold(p1与p2周围空洞差值是否大于门限)。如果是，则控制进行到步骤825。反之，则控制进行到步骤835。

在步骤825，为p选择周围的孔较少的一个(p1或者p2)。

在步骤835，使用方程式(6)对p1和p2进行平均。

关于处理过程800，基本的构想是，在深度差别很大时(例如，|depth(p1)-depth(p2)|＞depthThreshold)，应用Z-缓冲。要理解的是，前面所使用的深度量仅用于说明，因此，在保持本发明原理的精神的同时，也可以使用其它的量。当深度级别类似时，我们检查在p1和p2周围的空洞分布。在一个例子中，对p1和p2周围的空洞像素的数目进行计数，即，找到holeCount1和holeCount2。如果它们差别很大(例如，|holeCount1-holeCount2|＞holeThreshold)，挑选周围空洞少的那一个。要理解的是，前面的空洞的计数量仅用于示例，因此，在保持本发明原理的精神的同时，也可以使用其它量。反之，应用方程式(6)来进行平均。注意，例如，基于图像的尺寸或者计算限制，可以用不同的邻域对空洞的数目进行计数。进一步，还要注意，也可以使用空洞的计数来计算视图加权因子。

除了所述简单的空洞计数，也可以考虑空洞的位置。例如，与大多数空洞在像素的一侧(在水平摄像机装置中在其左侧或者右侧)的像素相比，不优先选择空洞分散在像素周围的像素。

在一个不同的实施方式中，如果认为p1和p2中没有一个是足够好的，那么则舍弃它们。结果，将p标记为空洞，基于空洞填充算法获得它的值。例如，如果p1和p2它们各自的空洞计数值都超过临界值holeThreshold2时，则舍弃p1和p2。

要理解的是，在一个实施方式中，“周边空洞”可以只包括与特定的目标像素相邻的像素，或者可以包括距离所述特定的目标像素预定数目的像素距离内的像素。本领域及相关技术领域内的普通技术人员会容易理解这些和其它变化，同时保持本发明原理的精神。

实施例3：使用后向合成误差

在实施例2中，周边空洞分布与Z-缓冲一起用于所述合并处理，以处理有噪声的深度图像。此处，如图9所示，我们提议用另一种方式来改进所述视图的合并。图9显示的是根据本发明原理的实施例的使用深度、后向合成误差和摄像机参数的合并处理。在步骤902，将从参考视图1合成的图像输入到处理过程900。在步骤904，将从参考视图2合成的图像输入到处理过程900。在步骤903，将p1、p2(与p相同的图像位置)输入到所述处理过程内。在步骤905，对参考视图1进行后向合成，对重新合成的参考视图1与输入的参考视图1进行比较。在步骤910，与所述输入参考视图的差值(误差)D1输入到处理900。在步骤915，在p周围小的邻域内，比较D1和D2，判断它们是否近似。如果是，控制进行到功能块930。反之，控制进行到功能块935。

在步骤930，使用方程式(6)对p1和p2进行平均。

在步骤935，选择误差较小的一个(p1或者p2)给p。

在步骤920，判断是否|depth(p1)-depth(p2)|＞depthThreshold。如果是，则控制进行到步骤925。反之，则控制进行到步骤915。

在步骤925，选择比较靠近摄像机(即，Z-缓冲)的一个(p1或者p2)给p。

在步骤950，对参考视图2进行后向合成，将重新合成的参考视图2与所输入的参考视图2进行比较。在步骤955，将它与输入参考视图的差值(误差)D2输入到处理过程900。

对于每个合成的图像(与合成的深度一起)，我们重新合成所述原始的参考视图，找到在后向合成的图像和所输入的参考图像之间的误差。让我们称它为后向合成误差图像D。将这个处理过程应用在参考图像1和2，我们得到D1和D2。在合并步骤过程中，当p1和p2具有近似的深度，如果在p1周围邻域内的后向合成误差D1(例如，5×5像素范围内的误差和)比在p2周围计算的D2大很多，则选择p2。类似地，如果D2大于D1，则选择p1。这种想法是基于大的后向合成误差与大的输入深度图像像素噪声紧密相关的假设。如果误差D1和D2类似，则可以使用方程式(6)。

与实施例2类似，在一个不同的实施方式中，如果p1和p2二者都不够好，则可以舍弃它们。例如，如图10所示，如果对应的后向合成误差D1(D2)在给定的临界值之上，则可以舍弃p1(p2)。

图10显示的是根据本发明原理的实施例的使用深度、后向合成误差和摄像机参数的另一个合并处理过程。在步骤1002，将从参考视图1合成的图像输入到处理过程1000。在步骤1005，对参考视图进行后向合成，将重新合成的参考视图1与输入的参考视图1进行比较。在步骤1010，将与输入的参考视图的差异(误差)D1输入到处理过程1000内。

在步骤1004，将从参考视图2合成的图像输入到处理过程1000。在步骤1050，对参考视图2进行后向合成，并将重新合成的参考视图2与输入的参考视图2进行比较。在步骤1055，将与输入的参考视图的差值(误差)，D2，输入到处理过程1000。注意，至少在步骤1040和步骤1040之后的步骤中使用D1和D2。

在步骤1003，将p1、p2(与p的图像位置相同)输入到所述处理过程。在步骤1020，判断是否|depth(p1)-depth(p2)|＞depthThreshold。如果是，则控制进行到步骤1025。反之，则控制进行到步骤1040。

在步骤1025，挑选比较靠近摄像机(即，Z-缓冲)的一个(p1或者p2)给p。

在步骤1040，在p周围的小的邻域内，判断是否D1和D2两者都小于一个临界值。如果是，则控制进行到步骤1015。反之，则控制进行到步骤1060。

在步骤1015，在p周围小的邻域内比较D1和D2，判断它们是否近似。如果是，则控制进行到功能模块1030。反之，则控制进行到功能模块1035。

在步骤1030，p1和p2是使用方程式(6)来平均。

在步骤1035，选择具有较小误差的一个(p1或者p2)给p。

在步骤1060中，判断在p周围的小邻域内，D1是否小于一个临界值。如果是，则控制进行到功能模块1065。反之，则控制进行到步骤1070。

在步骤1065，选择p1给p。

在步骤1070，判断在p周围小的邻域内D2是否小于一个临界值。如果是，则控制进行到步骤1075。反之，则控制进行到步骤1080。

在步骤1075，选择p2作为p。

在步骤1080，标记p为空洞。

实施例4：使用高频率能量

在这个实施例中，提出用高频能量作为度量来评价变形的像素的质量。在前向变形之后，空间上的活动性显著增加可能表示在变形过程中出现误差(例如，由于深度信息不佳)。因为空间活动性较高意味着高频内的能量较多，我们提议使用在图像块(诸如，但不局限于M×N像素块)上计算的高频能量信息。在一个特殊的实施方式中，如果在所有的参考视图的像素周围没有许多空洞，那么我们建议使用任何一种高频滤波器来处理在像素周围的像素块，并选择高频能量较低的那一个。最终，如果所有的像素都在高频具有高能量，则不选择像素。这个实施例是实施例3的替换实施例或者补充实施例。

图11显示的是根据本发明原理的实施例的应用高频率能量的合并处理。在步骤1105，将p1、p2(与p的图像位置相同)输入到处理1100。在步骤1110，在p1和p2它们各自的合成图像内计算它们的周围的高频能量(即，找到hfEnergy1和hfEnergy2)。在步骤1115，判断是否|hfEnergy1-hfEnergy2|＞hfEnergyThreshold。如果是，则控制进行到步骤1120。反之，则控制进行到步骤1125。

在步骤1120，选择周围的高频能量较小的那一个(p1或者p2)给p。在步骤1125，对p1和p2进行平均，例如，使用方程式(6)。

在其它实施例中，在变形之前，将合成图像中的高频能量与参考图象的高频能量进行比较。在比较时可以使用一个临界值，该临界值是基于在变形之前的参考图象的高频能量的。

后期处理：填充空洞

在合并的合成图像中的某些像素可能仍是空洞。处理这些空洞最简单的方法是检查沿着这些空洞边缘的像素，并使用一些像素来填充这些空洞。但是，可以使用任何现有的空洞填充方案。

因此，总之在至少一种实施方式中，我们提议：(1)仅对边界层周围的像素应用泼溅；和(2)使用具有Z-缓冲的空洞分布或者后向合成误差的两个合并方案。对于这些启发性的解决方案和实施方式，可以有许多潜在的变形。

这些变形中有一些如下文，由于它们涉及的是此处描述的各种实施例。但是，要理解的是，给定本发明原理的教导，在保持本发明原理的精神的同时，在这个技术领域和相关技术领域的普通技术人员会考虑本发明原理的这些和其它变形。

在描述实施例1的过程中，我们使用矫正的视图合成的例子。同样的边界层泼溅方案不管怎么样都可以用于未矫正的视图。在这种情况下，每个变形的像素经常被映射到它相邻的四个目标像素。用实施例1，对于非边界部分的每个变形的像素，我们可以将它只映射到最靠近它的一个或者两个相邻目标像素，或者将小很多的权重给其它相邻的目标像素。

在实施例2和3中，在p1和p2周围的空洞的数目或者在p1和p2周围的后向合成误差被用来帮助选择它们中的一个作为合并图像中像素p的最终值。这个二进制加权方案(0或1)可以被扩展到非二进制加权。在实施例2的情况下，如果所述像素周围的空洞较多，则给该像素较小的权重(取代图8中的0)。对于实施例3，类似地，如果所述像素的邻域具有较高的后向合成误差，则给它较小的权重(取代图9中的0)。

在实施例2和3中，如果候选像素p1和p2不够好，则可以完全舍弃掉它们来计算p。可以用不同的判定来决定一个候选像素是否够好，比如用空洞的数目、后向合成误差或者因子的组合。当使用超过2个参考视图时，这同样适用。

在实施例2、3和4中，我们假设有两个参考视图。由于我们现在比较的是空洞的数目、合成图像之间的后向合成误差或者来自于每个参考视图的高频能量，可以容易地扩展这样的实施例为包含比较任意数目的参考视图。在这种情况下，用非二进制加权方案可能会更佳。

在实施例2中，用一个候选像素邻域内的空洞的数目来判断它在混合过程中的用途。除了空洞的数目，我们可以考虑空洞的大小、它们的密度等等之类。大体而言，在保持本发明原理的精神的同时，可以使用任何基于候选像素的邻域内的空洞的度量。

在实施例2和3中，使用空洞的计数和后向合成误差作为评估每个候选像素的邻域内的深度地图的噪声的度量。它的原理是，深度地图在其邻域内的噪声越大，候选像素越不可靠。大体而言，在保持本发明原理的精神的同时，可以使用任何度量来获得对深度地图的本地噪声的估计。

我们已经描述了各种实施方式。这些实施方式中的一个或多个评估来自于第一变形的参考视图的第一候选像素，以及来自于第二变形的参考视图的第二候选像素。所述评估是基于后向合成处理、所述第一和第二候选像素周围的空洞分布或者所述第一和第二候选像素周围在特定的频率之上的能量的量中的至少一种来评估所述第一和第二候选像素的质量。所述评估作为将至少所述第一和第二变形的参考视图合成为信号合成视图的一部分。例如，可以基于空洞的分布、高频能量内容和/或在后向合成视图和输入参考视图(参见，例如图10单元1055)之间的误差来表示质量。也可以(可替换的是，或者另外)通过比较两个不同的参考视图之间的这种误差和/或将这种误差(或者这种误差之间的差值)与一个或多个临界值进行比较，来表示质量。进一步地，各种实施方式也可以基于所述评估来判断单个的合成视图内的给定的目标像素的结果。这样的结果可以是，例如，确定给定的目标像素的值，或者标记所述给定的目标像素为一个空洞。

鉴于以上，前述仅阐释的是本发明原理，因此应当理解本领域技术人员仍能够改动多个替换的解决方法，虽然在此处没有明确地描述，但是这些替换的解决方法体现本发明的原理，并在本发明的精神和范畴内。因此，我们提供具有特定特征和技术方面的一个或多个实施方式。但是，所描述的实施方式的特征和技术方面也可以被改动以用于其它实施方式。相应地，虽然此处所描述的实施例可能是在特定的场景内描述的，但是这样的描述决不应当被视为是限制所述特征和构想为这样的实施方式或者场景。

说明书中提到的本发明原理的“一个实施例”或者“实施例”或者“一种实施方式”或者“实施方式”及它们的其它变化，意思是结合所述实施例所描述的特定特征、结构、特征等等之类包含在本发明原理的至少一个实施例中。因此，出现短语“在一个实施例”、“在实施例中”或者“在一种实施方式中”，或者“在实施方式中”，以及出现在整个说明书中各个地方的其它变化，并不是所有都必须指的是同一个实施例。

要理解的是，使用“/”“和/或”和“至少一个”，例如，在“A/B”、“A和/或B”和“A和B中的至少一个”旨在涵盖只选择第一罗列的选项(A)，或者只选择第二罗列的选项(B)，或者两个选项都有(A和B)。作为进一步的例子，在“A、B和/或C”和“A、B和C中至少一个”的情况下，这样的表述旨在涵盖只选择第一罗列的选项(A)，或者仅选择第二罗列的选项(B)，或者仅选择第三罗列的选项(C)，或者仅选择第一和第二罗列的选项(A和B)，或者仅选择第一和第三罗列的选项(A和C)，或者仅选择第二和第三罗列的选项(B和C)，或者选择所有的选项(A和B和C)。对于本领域普通技术人员而言，这显而易见是可以被扩展的。

实施方式可以使用各种技术以信号的形式发出信息，包括但不局限于，带内信息、带外信息、数据流数据、隐式信令和显式信令。对于各种实施方式和/或标准，带内信息和显式信令可以包括，片头、SEI消息、其它高级语法和非高级的语法。相应地，虽然可能此处描述的实施方式是在特定的场景中描述的，但是，这样的描述绝不应当被视为是限制所述特征和构思在这样的实施方式或者场景中。

此处所描述的实施方式和特征可以用于MPEG-4AVC标准、或者有MVC扩展的MPEG-4AVC标准，或者有SVC扩展的MPEG-4AVC标准的环境中。但是，这些实施方式和特征可以用于另一种标准和/或推荐(现有的或将来的)的环境中，或者用于不涉及标准和/或推荐的环境中。

此处所描述的实施例可以被实施在，例如，方法或者过程、设备、软件程序、数据流或者信号中。即使所讨论的特征的实施方式仅在单个形式的实施方式的环境下(例如，仅作为方法来讨论)，所讨论的特征的实施方式可以以其它形式来实施(例如，设备或者程序)。例如，可以以适当的硬件、软件和固件来实施设备。可以以例如处理器之类的装置来实现所述方法，处理器指的是通用的处理装置，例如，包括计算机、微处理器、集成电路或者可编程逻辑装置。处理器还包括诸如，计算机、手机、便携式/个人数据助理(“PDA”)和其它便于在终端用户之间交流信息的装置之类的通信装置。

此处描述的各种步骤和特征的实施方式可以体现在各种不同的装备或者应用中，特别的是，例如，与数据编码和解码相关联的装备或者应用。这样的装备示例包括编码器、解码器、处理来自于解码器的后期处理器、给编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、笔记本电脑、个人计算机、手机、PDA和其它通信装置。应当清楚的是，所述装备可以是移动的，甚至是安装在移动交通工具内。

另外，所述方法可以通过由处理器所执行的指令来实施，这样的指令(和/或由一种实施方式产生的数据值)可以存在处理器可读的介质中，诸如，例如集成电路、软件载体或者其它诸如硬盘、压缩光盘、随机存取存储器(“RAM”)或者只读存储器(“ROM”)之类的存储设备。所述指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以是，例如，硬件、固件、软件或者组合。指令可以在例如，操作系统内、单独的应用中或者二者的组合内。因此，处理器的特征在于，例如，配置为执行处理的装置和包括具有执行处理的指令的处理器可读介质(诸如存储装置)。进一步地，除了或者代替指令，处理器可读介质可以存储一个实施方式所产生的数据值。

实施方式可以产生被格式化来承载例如可以被存储或者被发送的信息的多种信号，这对本领域技术人员而言是显而易见的。所述信息可以包括，例如用于执行一个方法的指令，或者由所描述的一个实施方式生成的数据。例如，信号可以被格式化为承载混合的或者合并的变形的-参考-视图的数据，或者用于混合或者合并变形的参考视图的算法。这样的信号可以被格式化为，例如，作为电磁波(例如，使用波谱的无线射频部分)或者作为基带信号。所述格式化可以包括，例如，对数据流进行编码，并用编码的数据流调制载波。所述信号承载的信息可以是，例如，模拟或者数字信息。所述信号可以在各种不同的有线或者无线链路上传输，这是周知的。所述信号可以存储在处理器可读介质上。

已经描述了一些实施方式。但是，要理解的是可以进行各种修改。例如，可以组合、补充、修改或者移去不同实施方式中的要素，来产生其它实施方式。另外，普通技术人员会明白，可以使用其它结构和处理过程来代替所揭示的这些，并且，如所揭示的实施方式，所获得的实施方式可以以至少基本上相同的方式，执行至少基本上相同的功能，并达到至少基本上相同的结果。相应地，本申请也包含这些及其它实施方式，它们也在权利要求的范围内。

Claims (36)

1.一种方法，包括：

评估(1010，1055)来自于第一变形的参考视图的第一候选像素以及来自于第二变形的参考视图的第二候选像素，该步骤是基于后向合成过程、在所述第一和第二候选像素周围的空洞分布、或者在所述第一和第二候选像素周围能量在指定的频率之上的量中的至少一个来评估所述第一和第二候选像素的质量的，所述评估作为合并至少所述第一和第二变形的参考视图为单个的合成视图的一部分，

基于所述评估，为所述单个的合成视图中给定的目标像素确定(1075，1080)结果。

2.根据权利要求1的方法，其中，确定所述结果包括为所述给定的目标像素确定一个值。

3.根据权利要求1的方法，其中，确定所述结果包括确定所述给定的目标像素为空洞。

4.根据权利要求2的方法，其中所述空洞分布包括表示在所述第一候选像素周围的空洞数目的第一空洞计数和表示在所述第二候选像素周围的空洞数目的第二空洞计数，其中，确定所述给定的目标像素的值包括，从所述第一空洞计数和所述第二空洞计数选择(825)所述第一候选像素或者所述第二候选像素中空洞计数值最低的候选像素，作为所述给定的目标像素的值。

5.根据权利要求4的方法，其中，仅当在所述第一空洞计数和所述第二空洞计数之间的差值大于预先确定的临界差值(820)时，执行选择(825)所述第一候选像素或者所述第二候选像素中空洞计数值最低的候选像素作为所述给定的目标像素的值。

6.根据权利要求4的方法，其中，仅当所述第一空洞计数和所述第二空洞计数之间的差值大于预先确定的临界差值(820)并且所述第一候选像素的深度和所述第二候选像素的深度之间的差值不大于预先确定的临界深度(810)时，执行选择(825)所述第一候选像素或者所述第二候选像素中空洞计数值最低的那个像素作为所述给定的目标像素的值。

7.根据权利要求4的方法，其中，当所述第一空洞计数和所述第二空洞计数之间的差值不大于所述预先确定的临界差值时(820)，确定所述给定的目标像素的值包括，平均(835)所述第一候选像素和所述第二候选像素的值。

8.根据权利要求7的方法，其中，仅当所述第一空洞计数和所述第二空洞计数之间的差值不大于预先确定的临界差值(820)以及所述第一候选像素的深度和所述第二候选像素的深度之间的差值不大于预先确定的临界深度(810)时，平均(835)所述第一候选像素和所述第二候选像素的值。

9.根据权利要求7的方法，其中平均(835)所述第一候选像素和所述第二候选像素的值包括，为所述第一候选像素和所述第二候选像素中的每一个使用(835)加权因子。

10.根据权利要求9的方法，其中所述加权因子是基于所述第一变形的参考视图和所述单个的合成视图之间的距离以及所述第二变形的参考视图和所述单个的合成视图之间的距离其中的至少一个距离来确定的。

11.根据权利要求8的方法，其中所述加权因子是基于所述第一空洞计数和所述第二空洞计数来确定的。

12.根据权利要求8的方法，其中所述的加权因子是基于所述第一候选像素和所述第二候选像素周围的空洞的位置来确定的。

13.根据权利要求11的方法，其中，所述空洞分布进一步是基于所述第一候选像素和所述第二候选像素周围的空洞的位置，并且

其中，确定所述给定的目标像素的值包括，选择所述第一候选像素或所述第二候选像素中空洞主要位于它的给定侧的候选像素，作为所述给定的目标像素的值，或者给它分配较高的加权因子。

14.根据权利要求2的方法，其中所述空洞分布进一步包括在所述第一候选像素和所述第二候选像素周围的空洞的位置，以及

其中确定所述给定的目标像素的值包括，选择所述第一候选像素或者所述第二候选像素中空洞主要位于它的给定侧的候选像素，作为所述给定的目标像素的值，或者给它分配一个较高的加权。

15.根据权利要求4的方法，其中当所述第一空洞计数和所述第二空洞计数都在预先确定的临界空洞计数值之上时，舍弃应用所述第一候选像素和所述第二候选像素两个来确定所述给定的目标像素的值。

16.根据权利要求2的方法，其中所述后向合成过程包括：

重新合成(905，950)所述第一参考视图和所述第二参考视图，以分别提供重新合成的第一变形的参考视图以及重新合成的第二变形的参考视图；

计算(910)所述重新合成的第一参考视图和用于获得所述第一变形的参考视图的第一参考视图之间的第一差值；

计算(955)所述重新合成的第二参考视图和用于获得所述第二变形的参考视图的第二参考视图之间的第二差值；

计算(915)关于将所述第一差值被应用到所述第一候选像素周围的邻域的第一和值；

计算(915)关于将所述第二差值被应用到所述第二候选像素周围的邻域的第二和值；以及

所述方法进一步包括，基于所述第一和值和所述第二和值中的至少一个来确定所述给定的目标像素的值。

17.根据权利要求16的方法，其中基于所述第一和值和所述第二和值中的至少一个来确定所述给定的目标像素的值包括：

当所述第一和值小于所述第二和值(935)以及当所述第一和值和所述第二和值之间的差值大于预定的临界差值时(920)，选择所述第一候选像素作为所述给定的目标像素的值；

当所述第二和值小于所述第一和值(935)以及当所述第一和值和所述第二和值之间的差值大于预定的临界差值时(920)，选择所述第二候选像素作为所述给定的目标像素的值；以及

当所述第一和值和所述第二和值之间的差值不大于预定的临界差值时(920)，平均(930)所述第一候选像素和所述第二候选像素的值作为所述给定的目标像素的值。

18.根据权利要求17的方法，其中平均(930)所述第一候选像素和所述第二候选像素的值包括为所述第一候选像素和所述第二候选像素中的每一个使用(930)加权因子。

19.根据权利要求16的方法，其进一步包括，当所述第一和值和所述第二和值中至少有一个大于预定的临界和值时，舍弃所述第一候选像素和所述第二候选像素中的至少一个(1080)。

20.根据权利要求19的方法，其进一步包括，当所述第一和值和所述第二和值大于所述预定的临界和值时，标记(1080)所述给定的目标像素为空洞。

21.根据权利要求2的方法，其中所述空洞分布包括表示(830)所述第一候选像素周围的空洞数量的第一空洞计数以及表示(830)所述第二候选像素周围的空洞数量的第二空洞计数，并且其中，为所述单个的合成视图中的给定的目标像素选择所述第一候选像素和所述第二候选像素包括，当所述第一空洞计数和所述第二空洞计数在给定的临界空洞计数之下时，选择(1120)所述第一候选像素或者所述第二候选像素中能量的量的值较低的候选像素。

22.根据权利要求2的方法，其进一步包括舍弃所述第一候选像素和所述第二候选像素中能量超过给定的临界值的候选像素。

23.根据权利要求2的方法，其中确定所述单个的合成视图内的所述给定的目标像素的值包括：

确定(1110)所述第一候选像素周围的能量的量，以获得第一量；

确定(1110)所述第二候选像素周围的能量的量，以获得第二量；

基于所述第一量和所述第二量中的至少一个，选择(1120)所述第一候选像素和所述第二候选像素中的一个，或者丢弃其中一个，或者合并(1125)它们。

24.根据权利要求23的方法，其中所述的空洞分布包括表示所述第一候选像素周围的空洞数量的第一空洞计数和表示所述第二候选像素周围的空洞数量的第二空洞计数，并且其中，进一步基于所述第一空洞计数和所述第二空洞计数中的至少一个，选择(1120)所述第一候选像素和所述第二候选像素中的一个，或者舍弃其中一个，或者合并(1125)它们。

25.根据权利要求24的方法，其中所述的空洞分布进一步是基于所述第一候选像素和所述第二候选像素周围的空洞的位置，其中，进一步基于所述第一候选像素周围的空洞的位置和所述第二候选像素周围的空洞的位置中的至少一个，选择(1120)所述第一候选像素和所述第二候选像素中的一个，舍弃其中一个，或者合并它们(1125)。

26.一种设备，包括：

装置(220)，用于评估来自于第一变形的参考视图的第一候选像素，以及来自于第二变形的参考视图的第二候选像素，这是基于后向合成过程、所述第一和第二候选像素周围的空洞分布、或者所述第一和第二候选像素周围能量超过特定的频率的量其中的至少一个来评估所述第一和第二候选像素的质量的，所述评估作为合并至少所述第一和第二变形的参考视图为单个的合成视图的一部分；以及

装置(220)，用于基于所述评估，给所述单个的合成视图中的给定的目标像素确定一个结果。

27.一种处理器可读介质，在其上存储有用于使处理器执行下面至少一个的指令：

评估(1010，1055)来自于第一变形的参考视图的第一候选像素，以及来自于第二变形的参考视图的第二候选像素，这是基于后向合成处理、所述第一和第二候选像素周围的空洞分布、所述第一和第二候选像素周围能量超过特定的频率的量其中的至少一个来评估所述第一和第二候选像素的质量的，所述评估作为合并至少所述第一和第二变形的参考视图为单个的合成视图的一部分；以及

基于所述评估，为所述单个的合成视图内的给定的目标像素确定一个结果(1075，1080)。

28.一种设备，包括被配置来执行下列至少一个的处理器：

评估(1010，1055)来自于第一变形的参考视图的第一候选像素，以及来自于第二变形的参考视图的第二候选像素，这基于后向合成处理、所述第一和第二候选像素周围的空洞分布、所述第一和第二候选像素周围能量超过特定的频率的量其中的至少一个来评估所述第一和第二候选像素的质量的，所述评估作为合并至少所述第一和第二变形的参考视图为单个的合成视图的一部分；以及

基于所述评估，为所述单个的合成视图内的给定的目标像素确定一个结果(1075，1080)。

29.一种包括视图合并器(220)的设备，所述视图合并器被配置来：

评估(1010，1055)来自于第一变形的参考视图的第一候选像素，以及来自于第二变形的参考视图的第二候选像素，这是基于后向合成处理、所述第一和第二候选像素周围的空洞分布、在所述第一和第二候选像素周围能量超过特定的频率的量其中的至少一个来评估所述第一和第二候选像素的质量的，所述评估作为合并至少所述第一和第二变形的参考视图为单个的合成视图的一部分；以及

基于所述评估，为所述单个合成视图内的给定的目标像素确定一个结果(1075，1080)。

30.根据权利要求29的设备，其中所述设备包括编码器(310)。

31.根据权利要求29的设备，其中所述设备包括解码器(420)。

32.根据权利要求29的设备，其中所述视图合并器包括：

空洞标记器，用于标记所述给定的目标像素为空洞。

33.一种设备，包括：

视频合并器(220)，该视频合并器被配置来：

评估(1010，1055)来自于第一变形的参考视图的第一候选像素，及来自于第二变形的参考视图的第二候选像素，这是基于后向合成处理、所述第一和第二候选像素周围的空洞分布、在所述第一和第二候选像素周围能量超过特定的频率的量其中的至少一个来评估所述第一和第二候选像素的质量的，所述评估作为合并至少所述第一和第二变形的参考视图为单个的合成视图的一部分；

基于所述评估，为所述单个合成视图内的给定的目标像素确定一个结果(1075，1080)；以及

用于调制信号的调制器(320)，所述信号包括所述单个的合成视图。

34.根据权利要求33的设备，其中所述设备包括编码器(310)。

35.根据权利要求33的设备，其中所述设备包括解码器(420)。

36.一种设备，包括：

用于解调信号的解调器(420)，所述信号至少包括第一变形的参考视图和第二变形的参考视图；以及

视图合并器(220)，该视图合并器被配置为：

评估(1010，1055)来自于第一变形的参考视图的第一候选像素和来自于第二变形的参考视图的第二候选像素，这是基于后向合成处理、所述第一和第二候选像素周围的空洞分布、在所述第一和第二候选像素周围能量超过特定的频率的量其中的至少一个来评估所述第一和第二候选像素的质量的，所述评估作为合并所述第一和第二变形的参考视图为单个的合成视图的一部分；以及

基于所述评估，为所述单个合成视图内的给定的目标像素确定一个结果(1075，1080)。

Images