CN105393540A - 用于处理视频信号的方法和设备 - Google Patents

Abstract

本发明涉及一种用于处理视频信号的方法和装置，能够：获得与第一单元相对应的时间视图间运动向量；使用时间视图间运动向量获得与第一单元相对应的虚拟深度信息；使用与第一单元相对应的虚拟深度信息获得与第一单元相对应的视图间运动向量；以及更新与第一单元相对应的视图间运动向量。

Description

用于处理视频信号的方法和设备

技术领域

本发明涉及一种用于处理视频信号的方法和装置。

背景技术

压缩指的是用于通过通信线路来发送数字信息或者以适合于存储介质的形式存储该数字信息的信号处理技术。压缩目标包括音频、视频以及文本信息。特别地，压缩图像的技术被称作视频压缩。多视图视频有空间冗余、时间冗余以及视图间冗余的特性。

发明内容

技术问题

本发明的目的在于改进视频信号编译效率。

技术方案

在视图合成预测中，在使用深度信息的变形过程中，即使存在多条深度信息，本发明仅使用一条深度信息。

另外，本发明使用时间视图间运动向量获得被用于变形过程的视图间运动向量。

本发明更新获得的视图间运动向量，并且在未来使用更新的视图间运动向量。

此外，本发明使用从编码器发送的预先确定的视图间运动向量执行变形过程。

本发明解决的技术问题不限于上面的技术问题，并且本领域中的技术人员可以从下面的描述中理解其它的技术问题。

有益效果

通过防止参考块的顺序的变化，本发明能够增加视图合成预测精确度，或者即使在视图合成预测中使用深度信息的变形过程中存在多条深度信息，仅使用一条深度信息增加参考块之间的间隔。

另外，通过使用时间视图间运动向量，本发明能够获得用于变形过程的单元的精确的视图间运动向量。

此外，本发明能够更新获得的视图间运动向量，以便获取用于变形过程的单元的视图间运动向量。

通过使用从编码器发送的预先确定的视图间运动向量执行变形过程，本发明能够获得用于变形过程的单元的视图间运动向量。

本领域的技术人员将会理解的是，通过本发明能够实现的效果不限于在上面已经特别地描述的效果，并且从下面的详细描述将会更加清楚地理解本发明的其它优势。

附图说明

图1是根据本发明的实施例的应用深度编译的广播接收机的框图。

图2是根据本发明的实施例的视频解码器的框图。

图3是图示根据本发明的实施例的示例性的视图合成预测的流程图。

图4图示使用参考块和深度块获得虚拟参考块的示例。

图5a图示其中使用参考块和深度块获得的虚拟参考块的顺序被反转的示例。

图5b图示其中使用参考块和深度块获得的虚拟参考块之间的间隔增加的示例。

图6是图示根据本发明的实施例的用于获得视图合成预测的虚拟参考图片的示例性方法的流程图。

图7图示根据本发明的实施例的视图合成预测的示例性变形方法。

图8是图示根据本发明的实施例的使用虚拟深度信息的第N个单元的视图间运动向量的示例的流程图。

图9图示根据本发明的实施例的使用虚拟深度信息获得第N个单元的视图间运动向量的示例。

图10是图示根据本发明的实施例的更新视图间运动向量的示例的流程图。

具体实施方式

本发明提供一种用于处理视频信号的方法和装置，其获得与第一单元相对应的时间视图间运动向量，使用时间视图间运动向量获得与第一单元相对应的虚拟深度信息，使用与第一单元相对应的虚拟深度信息获得与第一单元相对应的视图间运动向量，并且更新与第一单元相对应的视图间运动向量。

使用与第一单元的相邻单元相对应的视图间运动向量获得时间视图间运动向量。

虚拟深度信息是不同于第一单元的视图的深度块的深度信息。

用于处理视频信号的方法和设备使用被更新的视图间运动向量获得与第二单元相对应的视图间运动向量。

用于处理视频信号的方法和装置使用与第一单元相对应的视图间运动向量获得与第二单元相对应的时间视图间运动向量，使用与第二单元相对应的时间视图间运动向量获得与第二单元相对应的虚拟深度信息，并且使用与第二单元相对应的虚拟深度信息获得与第二单元相对应的视图间运动向量。

用于处理视频信号的方法和设备更新与第二单元相对应的视图间运动向量。

用于处理视频信号的方法和设备使用与第一单元相对应的视图间运动向量获得第一虚拟参考块，其中第一虚拟参考块被包括在用于视图合成预测的虚拟参考图片中。

本发明的模式

用于对多视图视频信号数据进行压缩或解码的技术考虑空间冗余、时间冗余以及视图间冗余。在多视图图像的情况下，能够对在两个或更多个视图处拍摄的多视图纹理图像进行编码以便生成三维图像。此外，必要时可以对与多视图纹理图像相对应的深度数据进行编码。考虑空间冗余、时间冗余或视图间冗余，可以压缩深度数据。深度数据是关于相机与对应像素之间的距离的信息。在本说明书中深度数据能够被灵活地解释为诸如深度信息、深度图像、深度图片、深度序列以及深度比特流的深度相关信息。此外，编译(coding)在本说明书中能够包括编码(encoding)和解码(decoding)的两个概念，并且能够在本发明的技术精神和技术范围内被灵活地解释。

图1是根据应用本发明的实施例的应用深度编译的广播接收机的框图。

根据本实施例的广播接收机接收地面广播信号以再现图像。使用接收到的深度相关信息，广播接收机能够生成三维内容。广播接收机包括调谐器100、解调器/信道解码器102、传输解复用器104、解分组器106、音频解码器108、视频解码器110、PSI/PSIP处理器114、3D渲染器116、格式化器120以及显示器122。

调谐器100从经由天线(未示出)输入的多个广播信号当中选择由用户调谐到的频道的广播信号并且输出所选择的广播信号。解调器/信道解码器102对来自调谐器100的广播信号进行解调，并且对已解调信号执行纠错解码以输出传输流TS。传输解复用器104对传输流进行解复用，以便将传输流划分成视频PES和音频PES，并提取PSI/PSIP信息。解分组器106对视频PES和音频PES进行解分组以恢复视频ES和音频ES。通过对音频ES进行解码，音频解码器108输出音频比特流。音频比特流被数字-模拟转换器(未示出)转换成模拟音频信号，被放大器(未示出)放大，并且之后，通过扬声器(未示出)输出。视频解码器110对视频ES进行解码以恢复原始图像。基于由PSI/PSIP处理器114所确认的分组ID(PID)，能够执行音频解码器108和视频解码器110的解码过程。在解码过程期间，视频解码器110能够提取深度信息。此外，视频解码器110能够提取生成虚拟相机视图的图像所必需的附加信息，例如，相机信息或用于估计通过前面物体隐藏的闭塞(occlusion)的信息(例如，诸如物体轮廓的几何信息、物体透明性信息以及彩色信息)，并且将附加信息提供给3D渲染器116。然而，在本发明的其它实施例中，深度信息和/或附加信息可以通过传输解复用器104彼此分离。

PSI/PSIP处理器114从传输解复用器104接收PSI/PSIP信息，解析PSI/PSIP信息，并且将经解析的PSI/PSIP信息存储在存储器(未示出)或寄存器中，以便使得能够基于所存储的信息广播。3D渲染器116能够使用经恢复的图像、深度信息、附加信息以及相机参数在虚拟相机位置生成彩色信息、深度信息等。

此外，通过使用经恢复的图像和有关经恢复的图像的深度信息来执行3D变形，3D渲染器116在虚拟相机位置生成虚拟图像。虽然在本实施例中3D渲染器116被配置为与视频解码器110分离的块，但是这仅仅是示例，并且3D渲染器116可以被包括在视频解码器110中。

格式化器120格式化在解码过程中恢复的图像，即，由相机拍摄的实际图像，和由3D渲染器116根据广播接收机的显示模式所生成的虚拟图像，使得3D图像通过显示器122来显示。这里，响应于用户命令，可以选择性地执行深度信息和虚拟图像在虚拟相机位置通过3D渲染器116的合成以及通过格式化器120的图像格式化。也就是说，用户可以操纵遥控器(未示出)，使得合成图像不被显示，并且指定图像合成时间。

如上所述，用于生成3D图像的深度信息由3D渲染器116使用。然而，在其它实施例中深度信息可以由视频解码器110使用。将给出其中视频解码器110使用深度信息的各种实施例的描述。

图2是根据应用本发明的实施例的视频解码器的框图。

参考图2，视频解码器110可以包括熵解码单元210、逆量化单元220、逆变换单元230、环内滤波器单元240、解码图片缓冲单元250、中间预测单元260以及内部预测单元270。在图2中，实线表示彩色图片数据流，而虚线表示深度图片数据流。虽然在图2中单独地表示了彩色图片数据和深度图片数据，但是彩色图片数据和深度图片数据的单独表示可以指代单独的比特流或一个比特流中的数据的单独流。也就是说，彩色图片数据和深度图片数据能够作为一个比特流或单独的比特流被发送。图2仅示出数据流，并且不将操作限于在一个解码器中执行的操作。

首先，为了对接收到的深度比特流200进行解码，按NAL解析深度比特流200。这里，可以将有关深度的各种类型的属性信息包括在NAL报头区、NAL报头的扩展区、序列报头区(例如，序列参数集)、序列报头的扩展区、图片报头区(例如，图片参数集)、图片报头的扩展区、片报头区、片报头的扩展区、片数据区或宏块区中。虽然可以使用单独的编解码器来执行深度编译，但是如果实现了与现有编解码器的兼容性，则仅在深度比特流的情况下添加有关深度的属性信息可能是更高效的。例如，能够将用于标识深度比特流的深度标识信息添加到序列报头区(例如，序列参数集)或序列报头的扩展区。根据深度标识信息，能够仅在输入比特流是深度编译比特流时添加有关深度序列的属性信息。

经解析的深度比特流200通过熵解码单元210而被熵解码，并且提取每个宏块的系数、运动向量等。逆量化单元220将接收到的量化值乘以预定常数以便获得变换系数，并且逆变换单元230对系数进行逆变换以恢复深度图片的深度信息。使用经恢复的当前深度图片的深度信息，内部预测单元270执行内部预测。去块滤波器单元240对每个编码的宏块应用去块滤波以便降低块失真。通过使块的边缘平滑，去块滤波器单元改进解码帧的纹理。取决于边界强度和在边界周围的图像采样梯度，选择滤波过程。滤波的深度图片被输出或者存储在解码图片缓冲单元250中以被用作参考图片。

解码图片缓冲单元250存储或者打开先前编译的深度图片以用于中间预测。这里，为了将编译深度图片存储在解码图片缓冲单元250中或者为了打开存储的编译的深度图片，使用了每个图片的frame_num和POC(图片顺序计数)。因为先前编译的图片可以包括与不同于当前深度图片的视图相对应的深度图片，所以能够使用用于标识深度图片的视图的深度视图信息以及frame_num和POC，以便在深度编译中将先前编译的图片用作参考图片。

此外，解码图片缓冲单元250可以使用深度视图信息以便为深度图片的视图间预测生成参考图片列表。例如，解码图片缓冲单元250能够使用深度视图参考信号。深度视图参考信息指代用来指示深度图片的视图之间的依赖性的信息。例如，深度视图参考信息可以包括深度视图的数目、深度视图标识号、深度视图参考图片的数目、深度视图参考图片的深度视图标识号等。

解码图片缓冲单元250管理参考图片以便实现更灵活的中间预测。例如，能够使用存储器管理控制操作方法和滑动窗口方法。参考图片管理将参考图片存储器和非参考图片存储器统一成一个存储器，并且管理统一的存储器，以便采用小容量存储器实现高效管理。在深度编译中，能够单独地标记深度图片，以在解码图片缓冲单元中与彩色图片区分开，并且在标记过程中能够使用用于标识每个深度图片的信息。通过前述过程所管理的参考图片能够被用于中间预测单元260中的深度编译。

参考图2，中间预测单元260可以包括运动补偿单元261、虚拟视图合成单元262以及深度图片生成单元263。

使用从熵解码单元210发送的信息，运动补偿单元261补偿当前块的运动。运动补偿单元261从视频信号中提取当前块的邻近块的运动向量，并获取当前块的运动向量预测值。使用运动向量预测值和从视频信号中提取的差分向量，运动补偿单元261补偿当前块的运动。使用一个参考图片或多个图片，可以执行运动补偿。在深度编译中，在当前深度图片指代不同视图的深度图片时，对于存储在解码图片缓冲单元250中的深度图片的视图间预测，使用关于参考图片列表的信息，能够执行运动补偿。另外，使用用于标识深度图片的视图的深度视图信息，可以执行运动补偿。

使用当前彩色图片的视图的邻近视图的彩色图片，虚拟视图合成单元262合成虚拟视图的彩色图片。为了使用邻近视图的彩色图片或者为了使用期望的特定视图的彩色图片，能够使用指示彩色图片的视图的视图标识信息。当生成了虚拟视图的彩色图片时，能够定义指示是否生成了虚拟视图的彩色图片的标志信息。当标志信息指示虚拟视图的彩色图片的生成时，使用视图标识信息，能够生成虚拟视图的彩色图片。通过虚拟视图合成单元262获取的虚拟视图的彩色图片可以被用作参考图片。在这种情况下，能够将视图标识信息指配给虚拟视图的彩色图片。

在另一个实施例中，使用与当前深度图片的视图的邻近视图相对应的深度图片，虚拟视图合成单元262能够合成虚拟视图的深度图片。在这种情况下，能够使用指示深度图片的视图的深度视图标识信息。这里，能够从对应的彩色图片的视图标识信息导出深度视图标识信息。例如，对应的彩色图片能够具有与当前深度图片相同的图片输出顺序信息和相同的视图标识信息。

使用深度编译信息，深度图片生成单元263能够生成当前深度图片。这里，深度编译信息可以包括指示相机与物体之间的距离参数(例如，相机坐标系上的Z坐标值等)、用于深度编译的宏块类型信息、用于标识深度图片中的边界的信息、指示RBSP中的数据是否包括深度编译数据的信息、指示数据类型是否是深度图片数据的信息、彩色图片数据还是视差数据的信息等。此外，使用深度编译信息，可以预测当前深度图片。也就是说，能够执行使用当前深度图片的邻近深度图片的中间预测，并且能够执行使用当前深度图片中的解码深度信息的内部预测。

存在作为用于解码多视图图像的视图间预测方法的视差补偿预测(DCP)和视图合成预测(VSP)。

视图合成预测是使用深度信息变形纹理图片中的块并且使用被变形的块作为用于解码当前单元的虚拟参考图片的预测方法，并且如在图3中所示可以执行。

图3是图示根据本发明的实施例的示例性的视图合成预测的流程图。

可以确定是否当前单元使用视图合成预测(S310)。在此，当前单元可以指要被解码的多视图图像中的任意单元。为了确定是否当前单元使用视图合成预测，指示当前单元的预测方法的当前单元的预测信息可以被获得。在当前单元的预测信息指示视图合成预测时，可以执行用于当前单元的视图合成预测。

可以获得用于视图合成预测的参考纹理信息和深度信息(S320)。在此，参考纹理信息可以指与当前单元的相邻视图相对应的参考视图内的参考图片。参考图库能够存在于不同于包括当前单元的图片的视图中而与该图片在相同的时间。深度信息可以指在与当前单元相同的视图中存在的深度信息，或者在与当前单元的相邻视图相对应的参考视图中存在的深度信息。

使用参考纹理信息和深度信息，可以获得虚拟参考图片(S330)。使用深度信息可以获得视图间运动向量。每个像素或者块使用视图间运动向量和参考纹理信息，可以获得虚拟参考图片。

可以使用虚拟参考图片解码当前单元(S340)。例如，能够获得对应于当前单元的虚拟参考图片中的单元的像素值作为当前单元的预测值。

本发明提出获得用于视图合成预测的深度信息的方法和用于使用参考纹理信息和深度信息变形虚拟参考图片以增加视图合成预测精确度的方法。

在多视图图像中，一个预测单元可以是具有相同或者相似的特性的预测块。例如，一个预测单元能够具有相似的颜色和相似的运动信息。在一个纹理图片中的预测块(单元)可以具有相似的深度信息。因此，当在解码预测块的过程中使用视图合成预测时，与预测块相对应的深度块包括一个深度层。如在图4中所示，当与预测块相对应的深度块包括一个深度层时，使用与参考纹理图片中的参考纹理块相对应的深度块(或者虚拟深度块)，以预先确定的间隔，可以获得虚拟参考块。

然而，当与预测单元相对应的深度块在解码过程中包括多个深度层时，视图合成预测精确度可能会劣化。如果多个深度层在与预测单元相对应的深度块中存在，则在虚拟参考图片中的虚拟参考块(单元)的顺序可以被改变，如在图5a中所示，或者在虚拟参考图片中的虚拟参考块之间的间隔可以增加，如在图5b中所示。当使用包括被改变的顺序的或者具有被增加的间隔的虚拟参考块的虚拟参考图片预测当前单元时，难以获得精确的预测值。

因此，本发明提出用于在视图合成预测中校正深度值使得在变形虚拟参考图片的过程中仅使用一个深度层的方法和装置。参考图6和图7，将会给出本发明提出的用于在视图合成预测中获得虚拟参考图片的变形方法的描述。

图6是图示根据本发明的实施例的用于获得视图合成预测的虚拟参考图片的示例性方法的流程图。

第(N-1)个单元(第一参考块)可以被变形，以便获得第(N-1)个虚拟参考块(第一虚拟参考块)(610)。在下面的描述中，第(N-1)个单元是参考视图中的纹理块，被用于获得虚拟参考图片，并且能够被定义为在第N个单元的变形之前变形的单元。第(N-1)个虚拟参考块能够被定义为虚拟参考图片中的块，其已经使用第(N-1)个单元和与第(N-1)个单元相对应的深度块被变形。

第N个单元可以被变形，以便获得第N个虚拟参考块(S620)。在下面的描述中，第N个单元(第二参考块)是参考视图中的纹理块，被用于获得虚拟参考图片，并且能够被定义为在第(N-1)个单元的变形之后变形的单元。第N个虚拟参考块(第二虚拟参考块)能够被定义为虚拟参考图片中的块，其已经使用第N个单元和与第N个单元相对应的深度块被变形。

可以比较第(N-1)个虚拟参考块的位置和第N个虚拟参考块的位置(S630)。通过将第(N-1)个虚拟参考块的位置和第N个虚拟参考块的位置进行比较，能够确定是否第(N-1)个虚拟参考块和第N个虚拟参考块的顺序被反转，或者是否第(N-1)个虚拟参考块和第N个虚拟参考块被相互分开了预先确定的距离或者更多，如在图5a或者图5b中所示。

作为将第(N-1)个虚拟参考块的位置与第N个虚拟参考块的位置进行比较的示例性方法，能够将第(N-1)个虚拟参考块的左上像素的位置与第N个虚拟参考块的左上像素进行比较，并且在两个像素之间的距离能够与预先确定的阈值进行比较。可替选地，能够将第(N-1)个虚拟参考块的中心像素的位置与第N个虚拟参考块的中心像素进行比较，并且能够将两个像素之间的距离与预先确定的阈值进行比较。在此，预先确定的阈值可以是第(N-1)个虚拟参考块的宽度。可替选地，基于第(N-1)个参考块的左上像素可以设置比较范围，并且通过检查是否第N个虚拟参考块的左上像素在比较范围内，可以比较第(N-1)个虚拟参考块的位置和第N个虚拟参考块的位置。否则，可以基于第(N-1)个虚拟参考块的中心像素设置比较范围，并且通过检查是否第N个虚拟参考块的中心像素在比较范围内，可以比较第(N-1)虚拟参考块的位置和第N个虚拟参考块的位置。将第(N-1)个虚拟参考块的位置和第N个虚拟参考块的位置进行比较的方法不限于前述的实施例，并且能够以各种方式实现。

当根据S630的结果确定第(N-1)个虚拟参考块和第N个虚拟参考块的顺序被反转或者第(N-1)个虚拟参考块和第N个虚拟参考块被相互分开了预先确定的距离或者更多时，第N个虚拟参考块的位置可以被校正(S640)。第N个虚拟参考块的位置可以被校正，使得第N个虚拟参考块与第(N-1)个虚拟参考块相邻。否则，第N个虚拟参考块可以被定位，以对应于预先确定的阈值或者S630的比较范围。

第(N+1)个单元可以被变形以便获得第(N-1)个虚拟参考块(S650)。可以执行变形过程，直到获得虚拟参考图片。在下面的描述中，第(N+1)个单元(第三参考块)是参考视图中的纹理块，被用于获得虚拟参考图片，并且能够被定义为在第N个单元的变形之后变形的单元。第(N+1)个虚拟参考块(第三虚拟参考块)能够被定义为虚拟参考图片中的块，其已经使用第(N+1)单元和与第(N+1)单元相对应的深度块被变形。

如果第(N-1)虚拟参考块和第N虚拟参考块的顺序没有被反转或者第(N-1)虚拟参考块和第N虚拟参考块没有被相互分开了预先确定的距离或者更多，则能够通过变形第(N+1)个单元获得第(N+1)个虚拟参考块，而不执行校正第N个虚拟参考块的位置的步骤(S650)。

图7图示根据本发明的实施例的视图合成预测的示例性变形方法。

在与参考视图中的纹理块相对应的第N个单元700的变形之前，使用与第(N-1)个单元710相对应的深度块715，第(N-1)单元710能够被变形成第(N-1)个虚拟参考块720。使用与其相对应的深度块705能够变形第N个单元700。如果通过变形过程获得的第N个参考块730没有被包括在相同的层范围740中，则第N个虚拟参考块730的位置能够被校正，使得第N个虚拟参考块730被定位在相同的层范围740内以便获得被校正的参考块735。

通过获得图6和图7的虚拟参考图片的前述方法，仅使用一个深度层，能够获得虚拟参考图片。使用虚拟参考图片，通过执行视图合成预测，能够获得当前单元的精确的预测值。

对于精确的视图合成预测，重要的是，获得在获取虚拟参考图片的过程中使用的正确的深度信息。将会给出用于获得被用于获取视图合成预测中的虚拟参考图片的虚拟深度信息的方法的描述。

虽然参考视图的纹理信息和深度信息始终存在，但是当前视图的深度信息可能存在或者可能不存在。如果当前视图的深度信息不存在，则使用参考视图的深度信息可以推导虚拟深度信息。虚拟深度信息指示被定位在参考视图中的深度块的深度信息。使用解码的当前单元的视图间运动向量，能够获得虚拟深度信息。然而，当还没有解码当前单元的视图间运动向量时，使用当前单元的相邻的单元的视图间运动向量能够获得当前单元的视图间运动向量。使用当前单元的视图间运动向量，能够获得虚拟深度块，使用相邻单元的视图间运动向量已经获取当前单元的视图间运动向量，并且使用虚拟深度块的深度值，能够获得当前单元的视图间运动向量，以便执行视图合成预测。

将会参考图8和图9，给出用于当在视图合成预测中不存在用于获得虚拟参考图片的深度信息时使用虚拟深度信息获得视图间运动向量以便于获取虚拟参考图片的方法的描述。

图8是图示根据本发明的实施例的使用虚拟深度信息获得第N个单元的视图间运动向量的示例的流程图。

使用相邻单元的视图间运动向量，可以获得空间视图间运动向量(S810)。在此，相邻单元可以指根据视图合成预测变形的第N个单元(在本说明书中第一单元)的空间或者时间相邻单元。时间视图间运动向量可以指被用于获得在参考视图中存在的虚拟深度信息的视图间运动向量。如果使用视图间运动向量编译相邻单元，则使用相邻单元的视图间运动向量，能够获得与第N个单元相对应的时间视图间运动向量。

使用时间视图间运动向量，可以获得第N单元的虚拟深度信息(S820)。虚拟深度信息可以是由时间视图间运动向量指示的参考视图的深度块中的深度值。空间视图间运动向量可以包括在稍后描述的S830中获得的第N单元的视图间运动向量。第N个单元的视图间运动向量能够被用于获得第(N+1)个单元(在本说明书中第二单元)的虚拟深度信息。

使用虚拟深度信息，可以获得第N个单元的视图间运动向量(S830)。虚拟深度信息可以是来自于参考视图的深度块的深度值当中的最大值、最小值、平均值和模式中的一个。使用虚拟深度信息可以获得第N单元的视图间运动向量。当第N单元包括子单元时，每个子单元可以获得视图间运动向量。子单元是第N个单元的较低预测单元，并且可以具有2N×N、N×2N或者N×N的大小。

当用于变形第(N+1)个单元的深度信息不存在时，使用在S830中已经获取的第N个单元的视图间运动相邻，作为如在S820中的时间视图间运动向量，可以获得用于变形第(N+1)个单元的虚拟深度信息。然后，使用如在S830中的虚拟深度信息，可以获得第(N+1)个单元的视图间运动向量。

当用于变形第(N+1)个单元的深度信息存在时，可以不获得虚拟深度信息。

图9图示根据本发明的实施例的使用虚拟深度信息获得第N单元的视图间运动向量的示例。

当对应于第N个单元910的当前视图的深度信息不存在时，使用第N个单元910的相邻单元920的视图间运动向量作为时间视图间运动向量930，能够获得参考视图的深度块940。参考视图的深度块940的深度值能够被用作第N单元910的虚拟深度信息。使用第N单元910的虚拟深度信息，能够获得第N单元的视图间运动向量950。当使用视图合成预测也编译第(N+1)个单元时，与其相对应的当前视图的深度信息不存在，并且因此使用第N单元的视图间运动向量950作为时间视图间运动向量970，能够获得参考视图的深度块980。参考视图的深度块980的深度值能够被用作第(N+1)个单元960的虚拟深度信息。使用第(N+1)个单元960的虚拟深度信息，能够获得第(N+1)个单元的视图间运动向量990。

即使当对应于与第N单元相同的视图的深度信息不存在时，通过参考图8和图9描述的用于获得虚拟深度信息的方法，能够获得用于变形第N个单元的视图间运动向量。

随着被用于获得虚拟参考图片的深度信息的精确度增加，视图合成预测精确度增加。因此，非常重要的是，获得被用于获取最佳虚拟参考图片的深度信息，以便于增加视图合成预测精确度。将会给出用于使用深度块导出信息获得被用于获取最佳虚拟参考图片的深度信息的方法的描述。

当在步骤S820中获得深度信息时，使用深度块导出信息可以获取深度信息。深度块导出信息可以指的是指示用于变形第N个单元的深度块的位置的信息。可以从比特流获得深度块导出信息。可以以编码器通过编码获取用于获得虚拟参考图片的最佳深度信息并且通过比特流将指示包括最佳深度信息的深度块的视图间运动向量发送到解码器的方式获得深度块导出信息。

例如，当获得与第N个单元相对应的深度块导出信息时，使用深度块导出信息能够获取特定深度块的位置。使用与特定深度块相对应的深度信息，能够获得用于变形第N个单元的视图间运动向量。

深度块导出信息可以指示相邻的块。例如，当特定的相邻的块是由导出视图间运动向量编码的块时，使用特定的相邻块的视图间运动向量，能够获得深度块的位置。然后，使用与深度块相对应的深度信息，能够获得用于变形第N单元的视图间运动向量。

当使用深度块导出信息获得深度信息时，使用最佳深度信息，通过获取虚拟参考图片，能够提升视图合成预测精确度。

将会给出用于更新视图间运动向量的方法的描述。

图10是图示根据本发明的实施例的更新视图间运动向量的示例的流程图。

使用相邻单元的视图间运动向量，可以获得与第N个单元相对应的时间视图间运动向量(S1010)。在此，相邻单元可以指第N个单元(在本说明书中第一单元)的空间或者时间相邻单元。例如，相邻单元能够是第N单元的左、上、左上、右上或者右下相邻单元。时间视图间运动向量可以指的是被用于获得在参考视图中存在的虚拟深度信息的视图间运动向量。如果使用视图间运动向量编译向量单元，则使用相邻单元的视图间运动向量，能够获得与第N个单元相对应的时间视图间运动向量。

使用时间视图间运动向量，可以获得第N个单元的虚拟深度信息(S1020)。虚拟深度信息指与在不同于第N单元的视图中的深度块相对应的深度信息，其由时间视图间运动向量指示。参考视图的深度块能够对应于参考视图的纹理块，其由时间视图间运动向量指示。时间视图间运动向量可以包括稍后描述的在步骤S1030中获得的第N个单元的视图间运动向量。第N单元的视图间运动向量能够被用于获得第(N+1)个单元(在本说明书中第二单元)的虚拟深度信息。第(N+1)个单元指的是在第N个单元之后解码或者变形的单元。

使用虚拟深度信息，可以获得与第N个单元相对应的视图间运动向量(S1030)。虚拟深度信息可以是来自于参考视图的深度块的深度值当中的最大值、最小值、平均值以及模式中的一个。使用虚拟深度信息，可以获得第N个单元的视图间运动向量。当第N个单元包括子单元时，每个子单元可以获取视图间运动向量。子单元是第N个单元的较低预测单元，并且可以具有2N×N、N×2N或者N×N的大小。例如，当第N个单元包括4个子单元时，使用各个子单元的虚拟深度信息，能够获得4个视图间运动向量。

当用于变形第(N+1)个单元的深度信息不存在时，使用在S1030中已经获取的第N个单元的视图间运动向量作为如在S1020中的时间视图间运动向量，可以获得用于变形第(N+1)个单元的虚拟深度信息。然后，使用如在S1030中的虚拟深度信息，可以获得第(N+1)个单元的视图间运动向量。

当用于变形第(N+1)个单元的深度信息存在时，可以不获得虚拟深度信息。

通过步骤S1010至1030获得的视图间运动向量可以被更新(存储)(S1040)。在此，视图间运动向量的更新指的是视图间运动向量的存储以使用该视图间运动向量解码包括第N个单元的预测单元。更新的视图间运动向量可以包括使用深度块导出信息获得的视图间运动向量。

例如，针对解码除了第N个单元之外的预测单元的过程，更新在步骤S1030中获得的4个子单元的视图间运动向量。与第N个单元相对应的视图间运动向量可以被更新，使得视图间运动向量被包括在第N个单元的运动向量列表中。

更新的视图间运动向量可以被用于解码预测单元(未示出)。例如，子单元的更新的视图间运动向量中的一个能够被用于获得与在第N个单元之后解码的预测单元相对应的视图间运动向量。与被包括在运动向量列表中的第N个单元相对应的视图间运动向量可以被用于获得第N个单元的预测值。

例如，使用更新的视图间运动向量中的一个，能够获得被用于在视图合成预测中变形第N个单元的视图间运动向量。

可替选地，使用更新的视图间运动向量中的一个，能够获得指示包括用于在视图合成预测中变形第N个单元的深度信息的深度块的视图间运动向量。

作为用于选择更新的视图间运动向量中的一个的方法，按照视图间运动向量的顺序，索引能够被分配给视图间运动向量，并且由视图间运动向量选择索引指示的视图间运动向量能够被用于解码或者变形。

如上所述，应用本发明的解码/编码设备可以被包括在诸如DMB(数字多媒体广播)系统的多媒体广播发送/接收装置中，以用来对视频信号、数据信号等进行解码。此外，多媒体广播发送/接收装置可以包括移动通信终端。

应用本发明的解码/编码方法可以作为计算机可执行程序被实现并且存储在计算机可读介质中，并且具有根据本发明的数据结构的多媒体数据还可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储可由计算机系统读取的数据的所有种类的存储设备。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置以及使用载波(例如，通过因特网的传输)的介质。此外，根据编码方法生成的比特流可以被存储在计算机可读记录介质中，或者使用有线/无线通信网络来发送。

工业实用性

本发明能够被用于对视频信号进行编译。

Claims (16)

1.一种用于处理视频信号的方法，包括：

获得与第一单元相对应的时间视图间运动向量；

使用所述时间视图间运动向量，获得与所述第一单元相对应的虚拟深度信息；

使用与所述第一单元相对应的所述虚拟深度信息，获得与所述第一单元相对应的视图间运动向量；以及

更新与所述第一单元相对应的所述视图间运动向量。

2.根据权利要求1所述的方法，其中使用与所述第一单元的相邻单元相对应的视图间运动向量，获得所述时间视图间运动向量。

3.根据权利要求1所述的方法，其中所述虚拟深度信息是不同于所述第一单元的视图的深度块的深度信息。

4.根据权利要求1所述的方法，其中所述视图间运动向量的更新包括：在所述第一单元的运动向量列表中包括与所述第一单元相对应的所述视图间运动向量。

5.根据权利要求1所述的方法，进一步包括使用更新的视图间运动向量获得与第二单元相对应的视图间运动向量。

6.根据权利要求1所述的方法，进一步包括：

使用与所述第一单元相对应的所述视图间运动向量，获得与第二单元相对应的时间视图间运动向量；

使用与所述第二单元相对应的所述时间视图间运动向量，获得与所述第二单元相对应的虚拟深度信息；以及

使用与所述第二单元相对应的所述虚拟深度信息，获得与所述第二单元相对应的视图间运动向量。

7.根据权利要求5所述的方法，进一步包括更新与所述第二单元相对应的所述视图间运动向量。

8.根据权利要求1所述的方法，进一步包括使用与所述第一单元相对应的所述视图间运动向量获得第一虚拟参考块，

其中所述第一虚拟参考块被包括在用于视图合成预测的虚拟参考图片中。

9.一种用于处理视频信号的装置，包括：

中间预测单元，所述中间预测单元被配置成获得与第一单元相对应的时间视图间运动向量，使用所述时间视图间运动向量获得与所述第一单元相对应的虚拟深度信息，使用与所述第一单元相对应的所述虚拟深度信息获得与所述第一单元相对应的视图间运动向量，并且更新与所述第一单元相对应的所述视图间运动向量。

10.根据权利要求8所述的装置，其中使用与所述第一单元的相邻单元相对应的视图间运动向量，获得所述时间视图间运动向量。

11.根据权利要求8所述的装置，其中所述虚拟深度信息是不同于所述第一单元的视图的深度块的深度信息。

12.根据权利要求8所述的装置，其中所述中间预测单元被配置成在所述第一单元的运动向量列表中包括与所述第一单元相对应的所述视图间运动向量。

13.根据权利要求9所述的装置，其中所述中间预测单元被配置成使用更新的视图间运动向量，获得与第二单元相对应的视图间运动向量。

14.根据权利要求9所述的装置，其中所述中间预测单元被配置成使用与所述第一单元相对应的所述视图间运动向量获得与第二单元相对应的时间视图间运动向量，使用与所述第二单元相对应的所述时间视图内运动向量获得与所述第二单元相对应的虚拟深度信息，并且使用与所述第二单元相对应的所述虚拟深度信息获得与所述第二单元相对应的视图间运动向量。

15.根据权利要求14所述的装置，其中所述中间预测单元被配置成更新与所述第二单元相对应的所述视图间运动向量。

16.根据权利要求9所述的装置，其中所述中间预测单元被配置成使用与所述第一单元相对应的所述视图间运动向量获得第一虚拟参考块，

其中所述第一虚拟参考块被包括在用于视图合成预测的虚拟参考图片中。