CN101248669B - 对多视点视频编码和解码的设备和方法 - Google Patents

Abstract

提供一种对多视点视频编码和解码的方法和设备。多视点视频编码设备包括：视差估计器，接收当前帧和参考帧，并且根据块估计当前帧和参考帧之间的视差向量；视差偏差计算器，计算估计的视差向量之间的偏差并且计算估计的视差向量之间的偏差的偏差；和编码器，使用计算的所述视差向量之间的偏差或者计算的所述视差向量之间的偏差的偏差对多视点视频编码。因此，能够提高多视点视频的可压缩性。

Description

对多视点视频编码和解码的设备和方法

技术领域

根据本发明的设备和方法涉及对多视点视频编码和解码，更具体地说，涉及对多视点视频编码和解码，以提高多视点视频的可压缩性。

背景技术

新的H.264视频编码标准以其具有比传统标准更高的编码效率而被注意。新的H.264视频编码标准取决于各种新的特征，诸如考虑在16×16和4×4之间的不同的块大小、在环路去块滤波器中用于运动补偿的四叉树结构、多参考帧、帧内预测和上下文自适应熵编码，还要考虑一般的双向(B)估计像条(slice)。与MPEG-2标准、MPEG-4第2部分标准等不同，B像条可以在使用从相同方向(前向或者后向)获得的多帧预测时表示不同的像条。然而，上述特征需要运动信息的大量数据，包括在H.264视频编码标准的估计模式下的运动向量和/或参考画面。

为了解决这个问题，在预测(P)像条和B像条中分别提出跳跃(skip)模式和直接(direct)模式。所述跳跃模式和直接模式通过使用先前编码的运动向量信息允许对当前正被编码的画面的任意块进行运动估计。因此，不对宏块(MB)或者块的附加运动数据进行编码。使用相邻MB或者画面的运动的空间(跳跃)或者时间(直接)相关性来获得这些模式的运动。

图1是说明B画面的直接模式的示图。

直接模式是指当对当前将被编码的B画面的任意块的运动进行估计时，使用在时间上跟随P画面的同位块(co-located block)的运动向量来获得前向运动向量和后向运动向量。

为了计算直接模式块102的前向运动向量MV_L0和后向运动向量MV_L1(在B画面110中将对所述直接模式块102的运动进行估计)，参考列表0画面130的运动向量MV被检测，其中，同位块104通过运动向量参考所述参考列表0画面130，所述同位块104是与在时间上跟随的画面的参考列表1画面120中的与直接模式块102位于相同的位置的块。因此，B画面110的直接模式块102的前向运动向量MV_L0和后向运动向量MV_L1可使用以下的等式1和等式2来计算。

${\stackrel{\→}{\mathrm{MV}}}_{L0}=\frac{{\mathrm{TK}}_B}{{\mathrm{TR}}_D}\×\stackrel{\→}{\mathrm{MV}}---\left(1\right)$

${\stackrel{\→}{\mathrm{MV}}}_{L1}=\frac{({\mathrm{TR}}_B-{\mathrm{TR}}_D)}{{\mathrm{TR}}_D}\×\stackrel{\→}{\mathrm{MV}}---\left(2\right)$

其中，MV表示参考列表1画面120的同位块104的运动向量，TR_D表示参考列表0画面130和参考列表1画面120之间的距离，TR_B表示B画面110和参考列表0画面130之间的距离。

图2是说明在空间区域中估计运动向量的方法的示图。

根据用于对视频数据进行编码的H.264标准，帧被分为多个块，每个块具有预定大小，并参考被编码的相邻帧来搜索最相似的块。即，当前宏块c的左下宏块4、上方中间宏块2和右上宏块3的运动向量的中间值被确定为相应运动向量的估计值。可由等式3来表示运动向量估计。

$\left\{\begin{array}{c}\mathrm{pmvx}=\mathrm{MEDIAN}(\mathrm{mvx}2,\mathrm{mvx}3,\mathrm{mvx}4)\\ \mathrm{pmvy}=\mathrm{MEDIAN}(\mathrm{mvy}2,\mathrm{mvy}3,\mathrm{mvy}4)\end{array}\right.---\left(3\right)$

这样，已经提出了一种使用空间相关性和时间相关性的视频编码方法。然而，仍然需要一种提高具有比一般视频更多的信息量的多视点视频的可压缩性和处理速度的方法。

发明内容

本发明提供一种使用由多视点相机拍摄的多视点视频的视差向量(disparity vector)间的相关性对多视点视频编码以提高多视点视频的可压缩性的方法和设备。

本发明还提供一种对使用多视点视频的视差向量间的相关性编码的多视点视频解码的方法和设备。

根据本发明，因为使用视差向量间的相关性对各个块的视差向量的偏差或者各个块的视差向量的偏差的偏差进行编码，所以能够提高多视点视频的可压缩性。

此外，根据本发明，提供一种对使用多视点视频的视差向量间的相关性编码的多视点视频解码的方法和设备。

根据本发明的一方面，提供一种对多视点视频编码的设备，所述设备包括：视差估计器，接收当前帧和参考帧，并且根据块估计当前帧和参考帧之间的视差向量；视差偏差计算器，计算估计的视差向量之间的偏差并且计算估计的视差向量之间的偏差的偏差；和编码器，使用计算的所述视差向量之间的偏差或者计算的所述视差向量之间的偏差的偏差对多视点视频编码。

所述估计的视差向量之间的偏差是常量。

所述多视点视频编码设备还包括：编码模式选择器，根据预定标准选择是使用视差向量之间的偏差对多视点视频编码，还是使用视差向量之间的偏差的偏差对多视点视频编码，并且相应地设置模式信息，其中，编码器基于设置的模式信息对多视点视频编码。

所述视差偏差计算器包括：第一缓冲器，存储估计的视差向量；主要计算执行单元，计算存储在第一缓冲器中的视差向量之间的偏差；第二缓冲器，存储视差向量之间的偏差；和次要计算执行单元，计算视差向量之间的偏差的偏差。

根据本发明另一方面，提供一种对多视点视频编码的方法，所述方法包括：接收当前帧和参考帧；根据块估计当前帧和参考帧之间的视差向量；计算估计的视差向量之间的偏差和估计的视差向量之间的偏差的偏差；使用视差向量之间的偏差或者视差向量之间的偏差的偏差对多视点视频编码。

根据本发明另一方面，提供一种对多视点视频解码的设备，所述设备包括：编码模式检查单元，检查包括在编码的多视点视频中指示多视点视频编码模式的模式信息；视差向量确定单元，根据检查的模式信息确定多视点视频的视差向量；和解码器，使用确定的视差向量对多视点视频解码，其中，指示多视点视频编码模式的模式信息指示：使用视差向量之间的偏差对多视点视频编码，或者使用视差向量之间的偏差的偏差对多视点视频编码。

当模式信息指示使用视差向量之间的偏差对多视点视频编码时，如果位于当前位置i的块的视差向量DV_i的偏差是dDV_i，则视差向量确定单元将前一块的视差向量DVi-1和视差向量DV_i的偏差dDV_i相加，从而确定位于当前位置i的块的视差向量DV_i。

根据本发明另一方面，提供一种对多视点视频解码的方法，所述方法包括：检查包括在编码的多视点视频中指示多视点视频编码模式的模式信息；根据检查的模式信息确定多视点视频的视差向量；和使用确定的视差向量对多视点视频解码，其中，指示多视点视频编码模式的模式信息指示：是使用视差向量之间的偏差对多视点视频编码，还是使用视差向量之间的偏差的偏差对多视点视频编码。

附图说明

通过以下参照附图对本发明示例性实施例的详细描述，本发明的以上和其他方面将变得更加清楚，其中：

图1是说明B画面的直接模式的示图；

图2是说明在空间区域中估计运动向量的方法的示图；

图3是根据本发明示例性实施例的多视点视频编码设备的框图；

图4是根据本发明示例性实施例的说明由多视点相机拍摄的帧序列的示图；

图5是根据本发明示例性实施例的说明当视差向量的偏差是常量时的情况的示图；

图6是如图5中所示的当视差向量的偏差是常量时的视差向量间的相关性的曲线图；

图7是根据本发明另一示例性实施例的多视点视频编码设备的框图；

图8是示出根据本发明示例性实施例的多视点视频编码方法的流程图；和

图9是根据本发明示例性实施例的多视点视频解码设备的框图。

具体实施方式

以下，将参照附图详细描述本发明的示例性实施例。

图3是根据本发明示例性实施例的多视点视频编码设备的框图。

参照图3，多视点视频编码设备包括：多视点图像缓冲器310、估计单元320、视差/运动补偿器330、残差图像编码器340和熵编码器350。

在图3中，多视点视频编码设备接收从多个相机系统或者使用不同方法获得的多视点视频源数据。接收的多视点视频源数据被存储在多视点图像缓冲器310中。多视点图像缓冲器310将存储的多视点视频源数据提供给估计单元320和残差图像编码器340。

估计单元320包括视差估计器322和运动估计器324，并对存储的多视点视频执行运动估计和视差估计。

视差/运动补偿器330使用由视差估计器322和运动估计器324估计的视差向量和运动向量执行视差和运动补偿。视差/运动补偿器330使用运动向量和视差向量重构图像，并将重构的图像提供给残差图像编码器340。

残差图像编码器340对通过从多视点图像缓冲器310提供的原始图像中减去由视差/运动补偿器330补偿并重构的图像而获得的残差图像进行编码，并将编码的残差图像提供到熵编码器350，以提供更好的视频质量和三维效果。

熵编码器350接收关于由估计单元320产生的视差向量和运动向量的信息和来自于残差图像编码器340的残差画面，并且产生多视点视频源数据的比特流。

与在诸如H.264和MPEG2/4标准的传统编解码器中使用的运动估计和运动补偿的运动信息相同，图3示出的视差估计器322估计的视差信息用于视差补偿。如同在H.264标准中尝试减少运动信息并提高编码效率，应当在多视点视频编码(MVC)中执行尝试减少视差信息并提高编码效率。

根据本发明示例性实施例，视差估计器322以预定数量的块为单位估计视差向量，并计算估计的视差向量间的偏差或者计算偏差的偏差，以提高编码效率。

使用计算的偏差和计算的偏差的偏差来执行根据本发明示例性实施例的多视点视频编码。

图4是根据本发明示例性实施例的说明由多视点相机拍摄的帧序列的示图。

在图4中，水平轴是视点轴，表示拍摄多视点画面的多视点相机的编号，垂直轴是时间轴，表示时间序列的编号。如果多视点相机平行排列，则位于相同时间序列上的多视点帧之间的相关性高。尽管多视点相机没有平行排列，但是因为多视点相机拍摄的帧可被纠正到由平行排列的多视点相机拍摄的状态，所以拍摄的帧之间仍将存在相关性。因此，能够使用多视点帧之间的相关性对多视点视频进行编码。

图5是根据本发明示例性实施例的说明当视差向量的偏差是常量时的情况的示图，图6是如图5中所示的当视差向量的偏差是常量时的视差向量间的相关性的曲线图。

在图5中，V_c和V_r分别表示位于相同时间序列的任意帧中宏块(MB)的行，其中，V_r表示编码的参考视点帧，V_c表示使用当前将被编码的编码的参考视点帧V_r估计的帧。图6显示了各个MB的视差向量DV的绝对值的改变。

参照图5，当当前MB位于位置i时，前一MB位于当前MB左侧的位置i-1。

如图5和图6所示，如果假设MB行中连续的MB的视差向量DV线性变化，则预定位置i的MB的视差向量DV_i和前一MB的视差向量DV_i-1间的偏差(差)dDV_i是常量。例如，在图6中，dDV₂＝DV₂-DV₁、dDV₃＝DV₃-DV₂、dDV₄＝DV₄-DV₃和dDV_n＝DV_n-DV_n-1。即，所有计算的dDV值是常量。因此，如果使用初始DV值和初始dDV值对视差向量编码，则解码设备可使用所述DV值和dDV值估计各个MB的视差向量DV。

预定MB的相邻MB的视差向量DV的偏差dDV间的关系可被表示为视差向量DV的偏差dDV的偏差ddDV。如果位于当前位置i的MB的视差向量的偏差的偏差是ddDV_i，则因为ddDV_i＝dDV_i-dDV_i-1，所以在图5和图6的情况下所有视差向量DV的偏差dDV的偏差ddDV变成零。因此，当使用ddDV_i对多视点视频编码时，解码设备可使用ddDV_i和当前MB的前一MB的视差向量DV_i-1的偏差dDV_i-1计算当前MB的视差向量DV_i的偏差dDV_i。即，可使用以下的等式4来计算位于当前位置i的当前MB的视差向量DV_i的偏差dDV_i。

dDV_i＝dDV_i-1+ddDV_i  (4)

如果偏差dDV_i被计算，则还可使用等式5来计算位于当前位置i的当前MB的视差向量DV_i。

DV_i＝DV_i-1+dDV_i(5)

如上所述，通过使用视差向量DV的偏差dDV或者视差向量DV的偏差dDV的偏差ddDV对多视点视频编码，可提高多视点视频的编码效率。此外，编码ddDV可具有比编码dDV更高的压缩效率。可使用等式4和等式5确定对使用dDV或者ddDV编码的多视点视频解码所需的视差向量DV。

图7是根据本发明另一示例性实施例的多视点视频编码设备的框图。

参照图7，多视点视频编码设备包括：视差估计器710、视差偏差计算器720、编码模式选择单元730和编码器740。视差偏差计算器720包括：第一缓冲器721，临时存储视差向量；主要计算执行单元722，计算视差向量的偏差；第二缓冲器723，临时存储视差向量的偏差；和次要计算执行单元724，计算偏差的偏差。

首先，作为连续的帧的当前帧和参考帧被输入到视差估计器710。视差估计器710通过两帧间的预定块(例如，通过两帧之间的宏块(MB))来估计视差向量DV。这里，根据预定块的视差向量间的偏差可以是常量。

视差偏差计算器720计算估计的视差向量间的偏差，或者计算估计的视差向量间的偏差的偏差。首先，根据所述块估计的视差向量被输入到视差偏差计算器720的第一缓冲器721，并被临时存储在第一缓冲器721中。随后，根据所述块估计的视差向量被传送到主要计算执行单元722。当位于当前位置i的块的视差向量是DV_i时，主要计算执行单元722计算视差向量DV_i的偏差dDV_i，即，视差向量DV_i和前一视差向量DV_i-1间的差。

计算的视差向量DV_i的偏差dDV_i被传送到第二缓冲器723，并被临时地存储在其中。临时存储在第二缓冲器723中的视差向量DV_i的偏差dDV_i被传送到次要计算执行单元724。次要计算执行单元724计算视差向量DV_i的偏差dDV_i的偏差ddDV_i，即，所述偏差dDV_i和前一视差向量DV_i-1的偏差dDV_i-1之间的差。

编码器740使用由视差偏差计算器720计算的视差向量的偏差或者视差向量的偏差的偏差来对多视点视频编码。

编码模式选择单元730根据预定标准选择是使用视差向量DV_i的偏差dDV_i对多视点视频编码，还是使用视差向量DV_i的偏差dDV_i的偏差ddDV_i对多视点视频编码。编码模式选择单元730设置模式信息，例如，标志Flag_ddDV，并将其传送到编码器740，以对使用视差向量DV_i的偏差dDV_i对多视点视频编码和使用视差向量DV_i的偏差dDV_i的偏差ddDV_i对多视点视频编码进行区分。模式信息包括关于编码模式的信息，并且模式信息不限于信息的类型。可以使用不同的方法，以对使用视差向量DV_i的偏差dDV_i对多视点视频编码和使用视差向量DV_i的偏差dDV_i的偏差ddDV_i对多视点视频编码进行区分。

如果编码模式选择单元730选择使用偏差dDV_i对多视点视频编码的编码模式，则编码模式选择单元730可将标志Flag_ddDV设置为0，并将其传送到编码器740。如果编码模式选择单元730选择使用偏差dDV_i的偏差ddDV_i对多视点视频编码的编码方式，则编码模式选择单元730可将标志Flag_ddDV设置为1，并将其传送到编码器740。

编码器740可根据从编码模式选择单元730传送的标志值对多视点视频编码。如果标志Flag_ddDV被设置为0，则编码器740根据该标志信息使用偏差dDV_i对多视点视频编码。如果标志Flag_ddDV被设置为1，则编码器740根据该标志信息使用偏差dDV_i的偏差ddDV_i对多视点视频编码。

图8是示出根据本发明示例性实施例的多视点视频编码方法的流程图。

参照图8，首先，当前帧和参考帧被接收，并且通过预定块估计帧之间的视差向量(操作S810)。然后，计算估计的视差向量之间的偏差，或者计算估计的视差向量之间的偏差的偏差(操作S820)。使用所述视差向量的偏差或者所述视差向量的偏差的偏差对多视点视频编码(操作S830)。在操作S820和操作S830之间还可包括根据预定标准选择是使用所述视差向量之间的偏差对多视点视频编码还是使用视差向量之间的偏差的偏差对多视点视频编码的操作。当执行操作S830时，可根据选择的编码模式对多视点视频编码。

图9是根据本发明示例性实施例的多视点视频解码设备的框图。

参照图9，多视点视频解码设备包括：编码模式检查单元910、视差向量确定单元920和解码器930。

编码模式检查单元910检查模式信息，例如，包括在接收的编码的多视点视频中的表示多视点视频编码模式的标志。

视差向量确定单元920根据检查的标志确定多视点视频的视差向量。

以下，将对允许视差向量确定单元920确定视差向量的处理进行描述。假设所述标志指示使用视差向量的偏差执行编码，并且位于当前位置i的预定块(例如，宏块)的视差向量DV_i的偏差是dDV_i。在这种情况下，通过将前一宏块的视差向量DV_i-1和视差向量DV_i的偏差dDV_i相加，确定位于当前位置i的宏块的视差向量DV_i。

当所述标志指示使用视差向量的偏差的偏差执行编码时，所述视差向量可如下被确定。首先，如果位于当前位置i的宏块的视差向量DV_i的偏差dDV_i的偏差是ddDV_i，则通过将前一宏块的视差向量DV_i-1的偏差dDV_i-1和视差向量DV_i的偏差dDV_i的偏差ddDV_i相加，确定位于当前位置i的宏块的视差向量DV_i的偏差dDV_i。然后，通过将前一宏块的视差向量DV_i-1和确定的视差向量DV_i的偏差dDV_i相加，确定位于当前位置i的宏块的视差向量DV_i。

如上所述，解码器930使用根据检查的标志(即，根据检查的编码模式)确定的视差向量对多视点视频解码。

本发明也可实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质为任何可存储其后能由计算机系统读取的数据的数据存储装置。所述计算机可读记录介质的例子包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置、和载波(诸如通过互联网的数据传输)。所述计算机可读记录介质也可分布于联网的计算机系统上，以便所述计算机可读代码以分布式方式被存储并被执行。

如上所述，根据本发明，因为使用视差向量之间的相关性对各个块的视差向量的偏差或者各个块的视差向量的偏差的偏差编码，所以可以提高多视点视频的可压缩性。、

此外，根据本发明，提供一种对使用多视点视频的视差向量之间的相关性编码的多视点视频解码的方法和设备。

尽管已经参照本发明示例性实施例详细示出和描述了本发明，但是本领域普通技术人员应当理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (14)

1.一种对多视点视频编码的设备，所述设备包括：

视差估计器，接收当前帧和参考帧，并且估计当前帧和参考帧之间的视差向量；

视差偏差计算器，计算视差向量之间的偏差，并且计算视差向量之间的偏差的偏差；

编码器，使用视差向量之间的偏差或者视差向量之间的偏差的偏差对多视点视频编码；和

编码模式选择器，根据预定标准选择是使用视差向量之间的偏差对多视点视频编码，还是使用视差向量之间的偏差的偏差对多视点视频编码，并且基于选择的结果设置模式信息，

其中，编码器基于所述模式信息对多视点视频编码。

2.如权利要求1所述的设备，其中，视差估计器以预定数量的块为单位估计当前帧和参考帧之间的视差向量。

3.如权利要求1所述的设备，其中，所述视差向量之间的偏差是常量。

4.如权利要求1所述的设备，其中，视差偏差计算器包括：

第一缓冲器，存储视差向量；

主要计算执行单元，计算存储在第一缓冲器中的视差向量之间的偏差；

第二缓冲器，存储视差向量之间的偏差；和

次要计算执行单元，计算视差向量之间的偏差的偏差。

5.一种对多视点视频编码的方法，所述方法包括：

接收当前帧和参考帧；

估计当前帧和参考帧之间的视差向量；

计算视差向量之间的偏差；

计算视差向量之间的偏差的偏差；

选择是使用视差向量之间的偏差对多视点视频编码，还是使用视差向量之间的偏差的偏差对多视点视频编码，

基于选择的结果设置模式信息，和

基于所述模式信息，使用视差向量之间的偏差或者视差向量之间的偏差的偏差对多视点视频编码。

6.如权利要求5所述的方法，其中，以预定数量的块为单位估计当前帧和参考帧之间的视差向量。

7.如权利要求5所述的方法，其中，所述视差向量之间的偏差是常量。

8.如权利要求5所述的方法，其中，计算视差向量之间的偏差或者计算视差向量之间的偏差的偏差的步骤包括：

存储视差向量；

计算视差向量之间的偏差；

存储视差向量之间的偏差；和

计算视差向量之间的偏差的偏差。

9.一种对多视点视频解码的设备，所述设备包括：

编码模式检查单元，检查包括在编码的多视点视频中指示多视点视频编码模式的模式信息；

视差向量确定单元，根据检查模式信息的结果确定多视点视频的视差向量；和

解码器，使用视差向量对多视点视频解码，

其中，指示多视点视频编码模式的模式信息指示：使用视差向量之间的偏差对多视点视频编码，或者使用视差向量之间的偏差的偏差对多视点视频编码。

10.如权利要求9所述的设备，其中，如果模式信息指示使用视差向量之间的偏差对多视点视频编码，并且位于当前位置i的块的视差向量DVi的偏差是dDVi，则视差向量确定单元将前一块的视差向量DVi-1和视差向量DVi的偏差dDVi相加，以确定位于当前位置i的块的视差向量DVi。

11.如权利要求9所述的设备，其中，如果模式信息指示使用视差向量之间的偏差的偏差对多视点视频编码，并且位于当前位置i的块的视差向量DVi的偏差dDVi的偏差是ddDVi，则视差向量确定单元将前一块的视差向量DVi-1的偏差dDVi-1和视差向量DVi的偏差dDVi的偏差ddDVi相加，以确定位于当前位置i的块的视差向量DVi的偏差dDVi，并将前一块的视差向量DVi-1和视差向量DVi的偏差dDVi相加，以确定位于当前位置i的块的视差向量DVi。

12.一种对多视点视频解码的方法，所述方法包括：

检查包括在编码的多视点视频中指示多视点视频编码模式的模式信息；

根据检查模式信息的结果确定多视点视频的视差向量；和

使用视差向量对多视点视频解码，

其中，指示多视点视频编码模式的模式信息指示：是使用视差向量之间的偏差对多视点视频编码，还是使用视差向量之间的偏差的偏差对多视点视频编码。

13.如权利要求12所述的方法，其中，确定视差向量的步骤包括：

如果模式信息指示使用视差向量之间的偏差对多视点视频编码，并且位于当前位置i的块的视差向量DVi的偏差是dDVi，则将前一块的视差向量DVi-1和视差向量DVi的偏差dDVi相加，以确定位于当前位置i的块的视差向量DVi。

14.如权利要求12所述的方法，其中，确定视差向量的步骤包括：

如果模式信息指示使用视差向量之间的偏差的偏差对多视点视频编码，并且位于当前位置i的块的视差向量DVi的偏差dDVi的偏差是ddDVi，则将前一块的视差向量DVi-1的偏差dDVi-1和视差向量DVi的偏差dDVi的偏差ddDVi相加，以确定位于当前位置i的块的视差向量DVi的偏差dDVi；和

将前一块的视差向量DVi-1和视差向量DVi的偏差dDVi相加，以确定位于当前位置i的块的视差向量DVi。

Images