CN104969556A - 处理视频信号的方法和设备 - Google Patents

Abstract

本发明涉及用于对视频信号进行编译的方法和设备，并且更具体地，通过使用对应于当前纹理块的深度块的深度值来获得视点之间的运动矢量，并且对照度差进行补偿。通过使用对应于当前纹理块的深度块的深度值来获得视点之间的运动矢量并且补偿照度差，本发明能够获得当前纹理块的准确预测值，并且因此提高视点之间的帧间预测方面的准确性。

Description

处理视频信号的方法和设备

技术领域

本发明涉及用于对视频信号进行编译的方法和设备。

背景技术

压缩指的是用于通过通信线路来发送数字信息或者以适合于存储介质的形式存储数字信息的信号处理技术。压缩目的包括音频、视频以及文本。特别地，压缩图像的技术被称作视频压缩。多视图视频有空间冗余、时间冗余以及视图间冗余的特性。

发明内容

技术问题

本发明的目的在于改进视频信号编译效率。

技术方案

本发明通过使用与当前纹理块相对应的深度块的深度值来获取视图间运动矢量。

此外，本发明通过使用与当前纹理块相对应的深度块的深度值的一部分来获取视图间运动矢量。

此外，本发明通过使用当前纹理块的邻近像素和参考块的邻近像素获取用于来执行照度差补偿过程的补偿因子。

而且，本发明根据特定条件获取用于照度差补偿的补偿因子。

有益效果

本发明能够通过使用与当前纹理块相对应的深度块的深度值来获取视图间运动矢量而改进视差补偿预测准确性。

此外，本发明能够通过使用与当前纹理块相对应的深度块的深度值的一部分来获取视图间运动矢量而降低视差补偿预测的复杂性。

此外，本发明能够通过根据照度差补偿获取当前纹理块的准确预测值来改进视差补偿预测准确性。

而且，本发明能够通过根据特定条件简单地获取补偿因子来降低照度差补偿的复杂性。

附图说明

图1是根据本发明的实施例的深度编译被应用于的广播接收机的框图。

图2是根据本发明的实施例的视频解码器的框图。

图3图示根据本发明应用于的实施例的深度的概念。

图4图示根据本发明应用于的实施例的视差补偿预测的示例。

图5是图示根据本发明应用于的实施例的通过视差补偿预测对当前深度块进行解码的示例的流程图。

图6是图示根据本发明应用于的实施例的通过使用与当前纹理块相对应的深度块的深度值来获取当前纹理块的视图间运动矢量的示例的流程图。

图7图示根据本发明应用于的实施例的获取与当前纹理块相对应的深度块中的深度值作为当前纹理块的第一视图间运动矢量的示例。

图8图示根据本发明应用于的实施例的用来获取最大深度视图间运动矢量和最频繁深度视图间运动矢量的与当前纹理块相对应的深度块的像素的一部分的示例。

图9是图示根据本发明应用于的实施例的补偿照度差的示例的流程图。

图10图示根据本发明应用于的实施例的在照度差补偿过程期间使用的当前纹理块、参考块、当前纹理块的邻近像素以及参考块的邻近像素的示例。

具体实施方式

本发明提供了包括帧间预测单元的视频解码器和视频信号处理方法，帧间预测单元被配置成：获取与当前纹理块相对应的深度块，使用深度块中的深度值的至少一个来获取第一视图间运动矢量，使用第一视图间运动矢量来获取当前纹理块的参考块，并且使用参考块来获取当前纹理块的预测值。

至少一个深度值可以是深度块中的左上部像素、左下部像素、右上部像素以及右下部像素的深度值中的至少一个。

至少一个深度值可以是深度块中的左上部像素、左下部像素、右上部像素以及右下部像素的深度值当中的最大深度值。

帧间预测单元可以获取从当前纹理块的邻近块导出的第二视图间运动矢量，使用第二视图间运动矢量来获取邻近视图中的纹理块并且使用邻近视图中的纹理块来获取深度块。

深度块可以被布置在当前纹理块的邻近视图处。

用于本发明的模式

用于对多视图视频信号数据进行压缩或解码的技术考虑空间冗余、时间冗余以及视图间冗余。在多视图图像的情况下，能够对在两个或更多个视图处捕获的多视图纹理图像进行编译以便生成三维图像。此外，必要时可以对与多视图纹理图像相对应的深度数据进行编译。可以考虑到空间冗余、时间冗余或视图间冗余压缩深度数据。深度数据是关于相机与对应像素之间的距离的信息。在本说明书中深度数据能够被灵活地解释为诸如深度信息、深度图像、深度图片、深度序列以及深度比特流的深度相关信息。此外，编译(coding)在本说明书中能够包括编译(encoding)和解码(decoding)的两个改变并且能够在本发明的技术精神和技术范围内被灵活地解释。

图1是根据本发明应用于的实施例的深度编译被应用于的广播接收机的框图。

根据本实施例的广播接收机接收地面广播信号以再现图像。广播接收机能够使用接收到的深度相关信息来生成三维内容。广播接收机包括调谐器100、解调器/频道解码器102、传输解复用器104、解分组器106、音频解码器108、视频解码器110、PSI/PSIP处理器114、3D渲染器116、格式化器120以及显示器122。

调谐器100从通过天线(未示出)输入的多个广播信号当中选择由用户调谐到的频道的广播信号并且输出所选择的广播信号。解调器/频道解码器102对来自调谐器100的广播信号进行解调并且对已解调信号执行误差校正解码以输出传输流TS。传输解复用器104对传输流进行解复用以便将传输流划分成视频PES和音频PES并且提取PSI/PSIP信息。解分组器106对视频PES和音频PES进行解分组以恢复视频ES和音频ES。音频解码器108通过对音频ES进行解码来输出音频比特流。音频比特流被数字至模拟转换器(未示出)转换成模拟音频信号，被放大器(未示出)放大并且然后通过扬声器(未示出)输出。视频解码器110对视频ES进行解码以恢复原始图像。能够基于由PSI/PSIP处理器114所确认的分组ID(PID)执行音频解码器108和视频解码器110的解码过程。在解码过程期间，视频解码器110能够提取深度信息。此外，视频解码器110能够提取生成虚拟相机视图的图像所必需的附加信息，例如，相机信息或用于估计由前物体隐藏的闭塞的信息(例如，诸如物体轮廓的几何信息、物理透明性信息以及彩色信息)，并且将附加信息提供给3D渲染器116。然而，在本发明的其它实施例中深度信息和/或附加信息可以通过传输解复用器104彼此分离。

PSI/PSIP处理器114从传输解复用器104接收PSI/PSIP信息，解析PSI/PSIP信息并且将经解析的PSI/PSIP信息存储在存储器(未示出)或寄存器中以便使得能够基于所存储的信息广播。3D渲染器116能够使用经恢复的图像、深度信息、附加信息以及相机参数在虚拟相机位置处生成彩色信号、深度信息等。

此外，3D渲染器116通过使用经恢复的图像和有关经恢复的图像的深度信息来执行3D扭曲而在虚拟相机位置处生成虚拟图像。虽然在本实施例中3D渲染器116被配置为与视频解码器110分离的块，但是这仅仅是示例，并且3D渲染器116可以被包括在视频解码器110中。

格式化器120格式化在解码过程中恢复的图像(即，由相机捕获的实际图像)和由3D渲染器116根据广播接收机的显示模式所生成的虚拟图像，使得3D图像通过显示器122来显示。这里，可以响应于用户命令而选择性地执行深度信息和虚拟图像在虚拟相机位置处通过3D渲染器116的合成以及通过格式化器120的图像格式化。也就是说，用户可以操纵遥控器(未示出)，使得合成图像未被显示并且指定图像合成时间。

如上所述，用于生成3D图像的深度信息由3D渲染器116使用。然而，在其它实施例中深度信息可以由视频解码器110使用。将给出其中视频解码器110使用深度信息的各种实施例的描述。

图2是根据本发明应用于的实施例的视频解码器的框图。

参考图2，视频解码器110可以包括熵解码单元210、逆量化单元220、逆变换单元230、去块滤波器单元240、解码图片缓冲单元250、帧间预测单元260以及帧内预测单元270。在图2中，实线表示彩色图片数据的流并且虚线表示深度图片数据的流。虽然在图2中单独地表示了彩色图片数据和深度图片数据，但是彩色图片数据和深度图片数据的单独表示可以指代单独的比特流或一个比特流中的数据的单独流。也就是说，彩色图片数据和深度图片数据能够作为一个比特流或单独的比特流被发送。图2仅示出数据流并且不将操作限于在一个解码器中执行的操作。

首先，为了对接收到的深度比特流200进行解码，按NAL解析深度比特流200。这里，可以将有关深度的各种类型的属性信息包括在NAL报头区、NAL报头的扩展区、序列报头区(例如序列参数集)、序列报头的扩展区、图片报头区(例如图片参数集)、图片报头的扩展区、片报头区、片报头的扩展区、片数据区或宏块区中。虽然可以使用单独的编解码器来执行深度编译，但是如果实现了与现有编解码器的兼容性，则仅在深度比特流的情况下添加有关深度的属性信息可能是更高效的。例如，能够将用于标识深度比特流的深度标识信息添加到序列报头区(例如序列参数集)或序列报头的扩展区。能够根据深度标识信息仅在输入比特流是深度编译比特流时添加有关深度序列的属性信息。

经解析的深度比特流200通过熵解码单元210而被熵解码并且提取每个宏块的系数、运动矢量等。逆量化单元220将接收到的量化值乘以预定常数以便获得变换系数，并且逆变换单元230对系数进行逆变换以恢复深度图片的深度信息。帧内预测单元270使用经恢复的当前深度图片的深度信息来执行帧内预测。去块滤波器单元240对每个编译宏块应用去块滤波以便降低块失真。去块滤波器单元通过使块的边缘平滑来改进解码帧的纹理。滤波过程是取决于边界强度和在边界周围的图像样本梯度来选择的。滤波的深度图片被输出或者存储在解码图片缓冲单元250中以被用作参考图片。

解码图片缓冲单元250存储或者打开先前编译的深度图片以用于帧间预测。这里，为了将编译深度图片存储在解码图片缓冲单元250中或者为了打开存储的编译深度图片，使用了每个图片的frame_num和POC(图片顺序计数)。因为先前编译的图片可以包括与不同于当前深度图片的视图相对应的深度图片，所以能够使用用于标识深度图片的视图的深度视图信息以及frame_num和POC，以便在深度编译中将先前编译的图片用作参考图片。

此外，解码图片缓冲单元250可以使用深度视图信息以便为深度图片的视图间预测生成参考图片列表。例如，解码图片缓冲单元250能够使用深度视图参考信号。深度视图参考信息指代用来指示深度图片的视图间依赖性的信息。例如，深度视图参考信息可以包括深度视图的数目、深度视图标识号、深度视图参考图片的数目、深度视图参考图片的深度视图标识号等。

解码图片缓冲单元250管理参考图片以便实现更灵活的帧间预测。例如，能够使用存储器管理控制操作方法和滑动窗口方法。参考图片管理将参考图片存储器和非参考图片存储器统一成一个存储器并且管理统一的存储器以便采用小容量存储器实现高效管理。在深度编译中，能够单独地标记深度图片以在解码图片缓冲单元中与彩色图片区分开，并且能够在标记过程中使用用于标识每个深度图片的信息。通过前述过程所管理的参考图片能够被用于帧间预测单元260中的深度编译。

参考图2，帧间预测单元260可以包括运动补偿单元261、虚拟视图合成单元262以及深度图片生成单元263。

运动补偿单元261使用从熵解码单元210发送的信息来补偿当前块的运动。运动补偿单元261从视频信号中提取当前块的邻近块的运动矢量并且获取当前块的运动矢量预测值。运动补偿单元261使用从视频信号中提取的运动矢量预测值和差分矢量来补偿当前块的运动。可以使用一个参考图片或多个图片来执行运动补偿。在深度编译中，在当前深度图片指代不同视图的深度图片时能够对于存储在解码图片缓冲单元250中的深度图片的视图间预测使用关于参考图片列表的信息来执行运动补偿。另外，可以使用用于标识深度图片的视图的深度视图信息来执行运动补偿。

虚拟视图合成单元262使用当前彩色图片的视图的邻近视图的彩色图片来合成虚拟视图的彩色图片。为了使用邻近视图的彩色图片或者为了使用期望的特定视图的彩色图片，能够使用指示彩色图片的视图的视图标识信息。当生成了虚拟视图的彩色图片时，能够定义指示是否生成了虚拟视图的彩色图片的标志信息。当标志信息指示虚拟视图的彩色图片的生成时，能够使用视图标识信息来生成虚拟视图的彩色图片。通过虚拟视图合成单元262获取的虚拟视图的彩色图片可以被用作参考图片。在这种情况下，能够将视图标识信息指配给虚拟视图的彩色图片。

在另一实施例中，虚拟视图合成单元262能够使用与当前深度图片的视图的邻近视图相对应的深度图片来合成虚拟视图的深度图片。在这种情况下，能够使用指示深度图片的视图的深度视图标识信息。这里，能够从对应的彩色图片的视图标识信息导出深度视图标识信息。例如，对应的彩色图片能够具有与当前深度图片的那些相同的图片输出顺序信息和相同的视图标识信息。

深度图片生成单元263能够使用深度编译信息来生成当前路径图片。这里，深度编译信息可以包括指示相机与物体之间的距离参数(例如，相机坐标系统上的Z坐标值等)、用于深度编译的宏块类型信息、用于标识深度图片中的边界的信息、指示RBSP中的数据是否包括深度编译数据的信息、指示数据类型是深度图片数据、彩色图片数据还是视差数据的信息等。此外，可以使用深度编译信息来预测当前深度图片。也就是说，能够执行使用当前深度图片的邻近深度图片的帧间预测，并且能够执行使用当前深度图片中的解码深度信息的帧内预测。

将参考图3给出深度的概念的具体描述。

图3图示根据本发明的实施例的深度的概念。

参照图3，相机的位置Oc指示三维(3D)相机坐标系统的原点，其中Z轴(光轴)和注视方向一致。能够将相机坐标系统中的任意点P＝(X,Y,Z)投影到与Z轴垂直的二维(2D)图像平面中的任意点p＝(x,y)。这里，可以将2D图像平面中的任意点p＝(x,y)表示为3D坐标系统中的任意点P＝(X,Y,Z)的纹理值或彩色值。在这种情况下，2D图像平面可以指代纹理图片。可以将2D图像平面中的点p＝(x,y)表示为3D坐标系统中的P＝(X,Y,Z)的Z值。在这种情况下，2D图像平面可以指代深度图片或深度图。

此外，3D坐标系统中的P＝(X,Y,Z)指示相机坐标系统中的任意点。然而，当使用了多个相机时，可能需要用于相机的公共参考坐标系统。在图3中，使点Ow作为原点的参考坐标系统中的任意点可以是Pw＝(Xw,Yw,Zw)。可以使用3x3旋转矩阵R和3x1平移矢量T将Pw＝(Xw,Yw,Zw)变换为任意点P＝(X,Y,Z)。例如，能够通过等式1获取P。

[等式1]

P＝R×P_W+T

基于上述描述，能够将深度图片定义为相机位置与物体之间的距离基于相机位置的相对值的数值信息的集合。能够根据对应于纹理图片的任意像素的相机坐标系统中的3D坐标P＝(X,Y,Z)的Z值来获取深度图片中的深度信息。这里，Z值属于实数的范围并且可以被量化成整数值以便被用作深度信息。例如，能够像由等式2或等式3所表示的那样量化深度信息。

[等式2]

Zq＝round(255×(Z-Znear)/(Zfar-Znear))

[等式3]

Zq＝round(255×(1/Z-1/Zfar)/(1/Znear-1/Zfar))

这里，Zq指示量化深度信息。参考图1的顶视图，Znear能够指示Z坐标值的下限并且Zfar能够指示Z坐标值的上限。根据等式2或等式3量化的深度信息可以具有0～255的整数值。

深度图片能够连同纹理图像序列一起被编译或者编译成单独的序列。在这种情况下，为了与常规编解码器兼容能够应用各种实施例。例如，深度编译技术能够作为附加技术被用于与HEVC编解码器兼容或者作为扩展技术应用在H.264/AVC多视图视频编译中。

本发明提供了用于通过使用与当前纹理块相对应的深度块的深度值来获取当前纹理块的视图间运动矢量来执行准确的视差补偿预测并且对于使用视图间运动矢量所获得的参考块的像素值执行照度差补偿的方法。将参考图4给出视差补偿预测的描述。

图4图示根据本发明的实施例的视差补偿预测的示例。

视差补偿预测是使用位于在与当前纹理图片400中的当前纹理块410不同的视图处的参考图片420中的参考块430的像素值的帧间预测，以便获取当前纹理块410的预测值。视图间帧间预测的准确性与指示当前纹理块410的参考块430的视图间运动矢量440的准确性和照度差的最小化密切相关。

因此，本发明提供了用于通过使用与当前深度图片450中的当前纹理块相对应的深度块460或与当前纹理块相对应的深度块来获取正确视图间运动矢量440并且通过照度差补偿来获取当前纹理块410的正确预测值的方法。此外，本发明提供了用于通过简单地执行用于获取视图间运动矢量440的方法和照度差补偿方法来降低复杂性的方法。将参考图5给出用于通过视差补偿预测来对当前纹理块410进行解码的方法的描述。

图5是图示根据本发明的实施例的通过视差补偿预测来对当前纹理块进行解码的示例的流程图。

能够获取当前纹理块的视图间运动矢量(S510)。这里，视图间运动矢量可以指示布置在与当前纹理块不同的视图处的参考块。可以从比特流获取、从邻近块的视图间运动矢量获取或者使用与当前纹理块相对应的深度图的深度值来获取当前纹理块的视图间运动矢量。将稍后参考图6、图7以及图8描述用于从深度值获取视图间运动矢量的方法。

能够使用利用视图间运动矢量获得的参考块的像素值来获取当前纹理块的预测值(S520)。由视图间运动矢量指示的参考块可以被布置在与当前纹理块不同的视图处。可以将参考块的像素值用作当前纹理块的预测值。可以生成由参考视图的参考块与当前视图的当前纹理块之间的视图差异所引起的照度差。因此，能够通过补偿照度差将参考块的像素值用作当前纹理块的预测值。将稍后参考图9和图10描述用于通过照度差补偿来获取当前纹理块的预测值的方法。

当前纹理块能够使用其预测值来解码(S540)。

将参考图6、图7以及图8给出通过使用与当前纹理块相对应的深度块的深度值来获得当前纹理块的视图间运动矢量的示例的描述。

图6是图示根据本发明的实施例的使用与当前纹理块相对应的深度块的深度值来获得当前纹理块的视图间运动矢量的示例的流程图。

能够从与当前纹理块相对应的深度块获取至少一个深度值(S512)。深度块可以是被布置在与当前纹理块相同的视图处并且有与当前纹理块相同的POC的深度图片中的深度块。替换地，深度块可以是使用从当前纹理块的邻近块导出的视图间运动矢量(在下文中被称为第二视图间运动矢量)获取的布置在当前纹理块的邻近视图处的深度块。例如，能够获取由从邻近块导出的第二视图间运动矢量所指示的邻近视图中的纹理块，并且能够使用邻近视图中的纹理块来获得与当前纹理块相对应的深度块。深度块被布置在与邻近视图中的纹理块相同的视图处和在与邻近视图中的纹理块相同的位置处并且定位在当前纹理块的邻近视图处。

能够使用与当前纹理块相对应的深度块中的至少一个深度值来获取当前纹理块的视图间运动矢量(在下文中被称为第一视图间运动矢量)(S514)。现在将基于等式4和等式5描述用于使用深度值来导出视图间运动矢量的方法。

[等式4]

$Z=\frac{1}{\frac{D}{255}\×(\frac{1}{Z_{near}}-\frac{1}{z_{far}})+\frac{1}{Z_{far}}}$

在等式4中，Z表示对应像素与相机之间的距离，D是通过量化Z所获得的值并且对应于本发明的深度数据，以及Znear和Zfar分别表示针对包括深度图片的视图定义的Z的最小值和最大值。Znear和Zfar可以通过序列参数集、片报头等从比特流中提取并且可以是在解码器中预先确定的信息。因此，当对应像素与相机之间的距离以256的级别加以量化时，能够像由等式3所表示的那样使用深度数据Z_near和Z_far来重建Z。随后，可以使用重建Z导出相对于当前纹理块的视图间运动矢量，如由等式5所表示的。

[等式5]

$d=\frac{f\×B}{2}$

在等式5中，f表示相机的焦距并且B表示相机之间的距离。可以假定所有相机具有相同的f和B，并且因此f和B可以是在解码器中预定义的信息。

存在用于使用与当前纹理块相对应的深度块的深度值来获得第一视图间运动矢量的方法的各种实施例。例如，能够使用与当前纹理块相对应的深度块的深度值当中的最大值来获取第一视图间运动矢量。替换地，能够使用与当前纹理块相对应的深度块的深度值当中的最频繁存在的值来获取第一视图间运动矢量。替换地，能够根据预定条件获取第一视图间运动矢量。将参考图7和图8给出获得第一视图间运动矢量的各种实施例的描述。

图7图示根据本发明的实施例的使用与当前纹理块相对应的深度块中的深度值来获取当前纹理块的第一视图间运动矢量的示例。

如图7(a)所示，与当前纹理块相对应的深度块460可以包括深度值。可以根据图6所描述的等式使用与当前纹理块相对应的深度块的至少一个深度值来获取当前纹理块的第一视图间运动矢量。与当前纹理块相对应的深度块460可以包括多个深度值。当使用包括多个深度值的与当前纹理块相对应的深度块460来获取第一视图间运动矢量时，可以像图7(b)中所示出的那样获得多个第一视图间运动矢量。因此，将给出与当前纹理块相对应的深度块的深度值中的哪一个深度值被用来获得当前纹理块的第一视图间运动矢量的描述。

用于使用与当前纹理块相对应的深度块的深度值来获取当前纹理块的第一视图间运动矢量的方法如下。

1)使用最大深度块获取视图间运动矢量

能够使用与当前纹理块相对应的深度块的深度值当中的最大深度值(在下文中被称为“最大深度值”)来获得当前纹理块的第一视图间运动矢量。使用最大深度值获得的第一视图间运动矢量能够被定义为最大深度视图间运动矢量DisMAX。参考图7(a)，能够获得使用具有最大深度值的像素701获取的视图间运动矢量作为当前纹理块的第一视图间运动矢量。能够通过比较深度块中的所有像素来获得最大深度值。替换地，可以通过深度块中的至少一个像素的比较来获得最大深度值。因为在具有最大深度值的与当前纹理块相对应的深度块中的区域中未发生闭塞，所以能够改进视差补偿预测准确性。

2)使用最频繁深度值获取视图间运动矢量

能够使用与当前纹理块相对应的深度块的深度值当中的最频繁地存在的深度值(在下文中被称为“最频繁深度值”)来获得当前纹理块的第一视图间运动矢量。使用最频繁深度值获得的第一视图间运动矢量能够被定义为最频繁深度视图间运动矢量DisMPD。参考图7(a)，能够获得使用具有最频繁深度值的像素702获取的视图间矢量作为当前纹理块的第一视图间运动矢量。能够通过比较深度块中的所有像素来获得最频繁深度值。替换地，可以通过深度块中的至少一个像素的比较来获得最频繁深度值。

替换地，可以将与当前纹理块相对应的深度块的深度值变换成视图间运动矢量并且可以获取最频繁存在的视图间运动矢量作为当前纹理块的第一视图间运动矢量(最频繁存在的视图间运动矢量将是最频繁深度视图间运动矢量)。例如，能够获取图7(b)中的最频繁存在的视图间运动矢量作为当前纹理块的第一视图间运动矢量。当使用了最频繁深度值或最频繁存在的第一视图间运动矢量时，能够获得对应于与当前纹理块相对应的深度块的大多数像素的视图间运动矢量并且因此能够改进视差补偿预测准确性。

3)根据特定条件获取视图间运动矢量

能够根据特定条件获得当前纹理块的第一视图间运动矢量作为最大深度视图间运动矢量和最频繁深度视图间运动矢量中的一个。在该条件下，NumDisMAX指示在与当前纹理块相对应的深度块中具有与最大深度视图间运动矢量相同的视图间运动矢量的像素的数目，或在与当前纹理块相对应的深度块中具有在预定误差范围内的与最大深度视图间运动矢量类似的视图间运动矢量的像素的数目。此外，NumDisMPD指示在与当前纹理块相对应的深度块中具有与最频繁深度视图间运动矢量相同的视图间运动矢量的像素的数目，或在与当前纹理块相对应的深度块中具有在预定误差范围内的与最频繁深度视图间运动矢量类似的视图间运动矢量的像素的数目。

3-1)当NumDisMAX和与闭塞区域相对应的像素的数目的和超过当前纹理块的像素的数目一半时，能够获取最大深度视图间运动矢量作为当前纹理块的第一视图间运动矢量。否则，当NumDisMAX和与闭塞区域相对应的像素的数目的和不超过当前纹理块的像素的数目一半时，能够获取最频繁深度视图间运动矢量作为当前纹理块的第一视图间运动矢量。这里，能够通过合成当前纹理块和与该当前纹理块相对应的深度块或者通过等式6来获得闭塞区域。

[等式6]

OcclusionArea＝(abs(DisMPD-DisMAX)＞＞Shift)×NumRowOFDisMAX

在等式6中，NumRowOFDisMAX指示具有与DisMAX相同或类似的视图间运动矢量的像素存在于其中的行的数目，并且当视图间运动矢量未被表示为整数时Shift用于将视图间运动矢量值变换成整数。

3-2)能够通过将NumDisMPD与NumDisMAX相比较来确定当前纹理块的第一视图间运动矢量。

例如，当abs(NumDisMPD-NumDisMAX)小于当前纹理块的像素的数目的预定速率时，能够获得最大深度视图间运动矢量作为当前纹理块的视图间运动矢量。否则，能够获得最频繁深度视图间运动矢量作为当前纹理块的视图间运动矢量。

替换地，当NumDisMPD/NumDisMAX小于预定阈值时，能够获得最大深度视图间运动矢量作为当前纹理块的视图间运动矢量。否则，能够获得最频繁深度视图间运动矢量作为当前纹理块的视图间运动矢量。

3-3)当abs(DisMPD-DisMAX)超过预定阈值时，能够获得最大深度视图间运动矢量作为当前纹理块的视图间运动矢量。否则，能够获得最频繁深度视图间运动矢量作为当前纹理块的第一视图间运动矢量。

3-4)当使用了虚拟深度值时，可以存在时间视图间运动矢量。能够获取最接近于时间视图间运动矢量的最大深度视图间运动矢量和最频繁深度视图间运动矢量中的一个作为当前纹理块的第一视图间运动矢量。

能够通过比较与当前纹理块相对应的深度块中的一个或多个像素来获得前述的最大深度视图间运动矢量和最频繁深度视图间运动矢量。也就是说，能够通过比较与当前纹理块相对应的深度块的所有像素的深度值或与深度值相对应的视图间运动矢量、或者通过比较与当前纹理块相对应的深度块的像素的一部分的深度值或与其相对应的视图间运动矢量来获得最大深度视图间运动矢量和最频繁深度视图间运动矢量。将参考图8给出通过比较与当前纹理块相对应的深度块的仅一些像素来获得最大深度视图间运动矢量和最频繁深度视图间运动矢量的示例的描述。

图8图示用来获得最大深度视图间运动矢量和最频繁深度视图间运动矢量的与当前纹理块相对应的深度块的像素的一部分的示例。

能够比较对应于与当前纹理块相对应的深度块的像素的仅一部分的深度值，获得这些深度值当中的最大深度值作为最大深度值，并且获取像素的深度值当中的最频繁地存在的深度值作为最频繁深度值。可以根据预定条件改变经比较的像素。

例如，能够比较图8(a)中所示出的与当前纹理块相对应的深度块的左上部像素801、左下部像素802、右上部像素803以及右下部像素804的深度值，并且能够获得这些深度值当中的最大像素值作为最大深度值。此外，能够获得这些深度值当中的最频繁存在的深度值作为最频繁深度值。能够使用最大深度值来获得最大深度视图间运动矢量并且能够使用最频繁深度值来获取最频繁深度视图间运动矢量。

参考图8(b)，能够比较左上部像素801、左下部像素802、右上部像素803、右下部像素804以及中心像素805的深度值以便获得最大深度值或最频繁深度值。此外，能够使用最大深度值来获得最大深度视图间运动矢量并且能够使用最频繁深度值来获取最频繁深度视图间运动矢量。

参考图8(c)，能够比较左上部像素801、左下部像素802、右上部像素803、右下部像素804、中心像素805、上部像素806、左部像素807、下部像素808以及右部像素809的深度值以便获得最大深度值或最频繁深度值。此外，能够使用最大深度值来获得最大深度视图间运动矢量，并且能够使用最频繁深度值来获取最频繁深度视图间运动矢量。

参考图8(d)，能够比较左上部像素801、左下部像素802、右上部像素803、右下部像素804、中心像素805、818、819和820、上部像素810和811、左部像素812和813、下部像素814和815以及右部像素816和817的深度值以便获得最大深度值或最频繁深度值。此外，能够使用最大深度值来获得最大深度视图间运动矢量并且能够使用最频繁深度值来获取最频繁深度视图间运动矢量。

除图8(a)至图8(d)中所描述的方法之外，还能够通过比较以各种方式选择的像素来获得最大深度值和最频繁深度值。

能够使用像参考图6、图7以及图8上面所描述的那样获取的第一视图间运动矢量来获得当前纹理块的参考块。此外，能够通过对参考块的预测值执行照度差补偿来获取当前纹理块的预测值，如参考图5上面所描述的。照度差补偿对于当捕获多视图图像时补偿在相应视图处由于不同照度或相机特性而生成的视图间差异是有必要的。将参考图9和图10给出用于补偿照度差的示例性方法的描述。

图9是图示根据本发的实施例的补偿照度差的示例的流程图。

能够获得补偿因子(S522)。补偿因子是用于照度差补偿的信息并且可以包括第一补偿因子和第二补偿因子。能够使用当前纹理块的邻近像素和参考块的邻近像素来获得第一补偿因子和第二补偿因子。将参考图10描述用于使用当前纹理块的邻近像素和参考块的邻近像素来获得补偿因子的方法。

能够通过使用补偿因子对于参考块的像素值执行视图间补偿来获得当前纹理块的预测值(S524)。能够使用诸如等式7的线性等式来执行照度差补偿。

[等式7]

Pred[x，y]＝a×Ref[x，y]+b

在等式7中，pred[x,y]指示当前纹理块的经照度差补偿的预测值，Ref[x,y]指示参考块的像素值，a表示用于照度差补偿的第一补偿因子并且b表示用于照度差补偿的第二补偿因子。

图10图示在照度差补偿过程期间使用的当前纹理块、参考块、当前纹理块的邻近像素以及参考块的邻近像素的示例。

图10(a)示出当前纹理块410和当前纹理块的邻近像素1010。当前纹理块的邻近像素1010可以指代当前纹理块410的左部像素或上部像素中的至少一个。图10(b)示出参考块430和该参考块的邻近像素1020。参考块的邻近像素1020可以指代参考块430的左部像素或上部像素中的至少一个。

将给出使用当前纹理块的邻近像素1010和参考块的邻近像素1020来获得补偿因子的方法的描述。

1)能够根据线性最小二乘估计通过等式8来获得补偿因子。

[等式8]

$\mathrm{\α}=\frac{I\×\underset{i=0}{\overset{I}{\Σ}}{\mathrm{Pred}}_N\left(i\right){\mathrm{Ref}}_N\left(i\right)-\underset{i=1}{\overset{I}{\Σ}}{\mathrm{Pred}}_{N\left(i\right)}\×\underset{i=1}{\overset{I}{\Σ}}{\mathrm{Ref}}_N\left(i\right)}{I\×\underset{i=1}{\overset{I}{\Σ}}{\mathrm{Ref}}_N\left(i\right){\mathrm{Ref}}_N\left(i\right)-{\left(\underset{i=1}{\overset{I}{\Σ}}{\mathrm{Ref}}_N\right(i\left)\right)}^2}=\frac{A_1}{A_2}$

$\mathrm{\β}=\frac{\underset{i=1}{\overset{I}{\Σ}}{\mathrm{Pred}}_N\left(i\right)-\mathrm{\α}\underset{i=1}{\overset{I}{\Σ}}{\mathrm{Ref}}_N\left(i\right)}{I}$

在等式8中，α指示第一补偿因子并且β指示第二补偿因子。此外，i表示分配给当前纹理块的邻近像素1010和参考块的邻近像素1020的索引，PredN(i)指示当前纹理块的邻近像素值并且RefN(i)指示参考块的邻近像素值。

2)能够使用当前纹理块的邻近像素1010和参考块的邻近像素1020的平均值和标准差通过等式9来获得补偿因子。

[等式9]

$\mathrm{\α}=\frac{{\mathrm{sigma}}_{pred}}{{\mathrm{sigma}}_{ref}}$

β＝mean_pred-α×mean_rej

在等式9中，sigma_pred指示当前纹理块的邻近像素1010的标准差，sigma_ref指示参考块的邻近像素1020的标准差，mean_pred表示当前纹理块的邻近像素1010的平均值并且mean_ref表示参考块的邻近像素1020的平均值。

3)能够将第一补偿因子设定为1并且能够通过等式10仅获得第二补偿因子。

[等式10]

$\mathrm{\β}=\frac{\underset{i=1}{\overset{I}{\Σ}}{\mathrm{Pred}}_N\left(i\right)-\underset{i=1}{\overset{I}{\Σ}}{\mathrm{Ref}}_N\left(i\right)}{I}$

4)能够将第二补偿因子设定为0并且能够通过等式11仅获得第一补偿因子。

[等式11]

$\mathrm{\α}=\frac{{\mathrm{sum}}_{pred}}{{\mathrm{sum}}_{ref}}$

在等式11中，sum_pred指示当前纹理块的邻近像素的和并且sum_ref指示参考块的邻近像素的和。

根据特定条件可以不使用通过前述方法所获得的补偿因子。例如，当通过方法2获得了第一补偿因子和第二补偿因子并且第一补偿因子与1之间的差小于预定阈值时，不使用第一补偿因子，并且能够将第一补偿因子设定为1并且能够像在方法3中那样仅获得第二补偿因子。当通过方法2获得了第一补偿因子和第二补偿因子并且第二补偿因子与0之间的差小于预定阈值时，不使用第二补偿因子，并且能够将第二补偿因子设定为0并且能够像在方法4中那样仅获得第一补偿因子。替换地，当通过方法2获得了第一补偿因子和第二补偿因子并且能够使用第一补偿因子和第二补偿因子这二者时，能够使用方法1来获取第一补偿因子和第二补偿因子。这样的灵活方法使得能实现更高效的照度差补偿。

如上所述，本发明应用于的解码/编码设备可以被包括在诸如待用来对视频信号、数据信号等进行解码的DMB(数字多媒体广播)系统的多媒体广播发送/接收设备中。此外，多媒体广播发送/接收设备可以包括移动通信终端。

本发明应用于的解码/编码方法可以作为计算机可执行程序被实现并且存储在计算机可读介质中，并且具有根据本发明的数据结构的多媒体数据还可以被存储在计算机可读记录介质中。计算机可读记录介质包括存储可由计算机系统读取的数据的所有种类的存储装置。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置以及使用载波(例如，通过互联网的传输)的介质。此外，根据编码方法生成的比特流可以被存储在计算机可读记录介质中或者使用有线/无线通信网络来发送。

工业适用性

本发明能够被用来对视频信号进行编译。

Claims (10)

1.一种用于处理视频信号的方法，包括：

获取与当前纹理块相对应的深度块；

使用所述深度块中的深度值的至少一个来获取第一视图间运动矢量；

使用所述第一视图间运动矢量来获取所述当前纹理块的参考块；以及

使用所述参考块来获取所述当前纹理块的预测值。

2.根据权利要求1所述的方法，其中，所述至少一个深度值是所述深度块中的左上部像素、左下部像素、右上部像素以及右下部像素的深度值中的至少一个。

3.根据权利要求2所述的方法，其中，所述至少一个深度值是所述深度块中的左上部像素、左下部像素、右上部像素以及右下部像素的深度值当中的最大深度值。

4.根据权利要求1所述的方法，其中，与所述当前纹理块相对应的所述深度块的获取包括：

获取从所述当前纹理块的邻近块导出的第二视图间运动矢量；

使用所述第二视图间运动矢量来获取邻近视图中的纹理块；以及

使用所述邻近视图中的所述纹理块来获取所述深度块。

5.根据权利要求4所述的方法，其中，所述深度块被布置在所述当前纹理块的邻近视图处。

6.一种视频解码器，包括：

帧间预测单元，所述帧间预测单元被配置成：获取与当前纹理块相对应的深度块，使用所述深度块中的深度值的至少一个来获取第一视图间运动矢量，使用所述第一视图间运动矢量来获取所述当前纹理块的参考块，并且使用所述参考块来获取所述当前纹理块的预测值。

7.根据权利要求6所述的视频解码器，其中，所述至少一个深度值是所述深度块中的左上部像素、左下部像素、右上部像素以及右下部像素的深度值中的至少一个。

8.根据权利要求7所述的视频解码器，其中，所述至少一个深度值是所述深度块中的左上部像素、左下部像素、右上部像素以及右下部像素的深度值当中的最大深度值。

9.根据权利要求6所述的视频解码器，其中，所述帧间预测单元获取从所述当前纹理块的邻近块导出的第二视图间运动矢量，使用所述第二视图间运动矢量来获取邻近视图中的纹理块，并且使用所述邻近视图中的所述纹理块来获取所述深度块。

10.根据权利要求9所述的视频解码器，其中，所述深度块被布置在所述当前纹理块的邻近视图处。