CN101248670B - 视差矢量估计方法及对运动图像编码和解码的方法和设备 - Google Patents

Abstract

提供一种对多视角运动图像进行编码和解码的方法和设备。一种估计视差矢量以对多视角运动图像进行编码的方法包括：为预定数量的编码的宏块估计视差矢量；以及使用估计的视差矢量计算与编码的宏块相邻的宏块的视差矢量。因此，可快速执行多视角运动图像的编码并提高多视角运动图像的可压缩性。

Description

视差矢量估计方法及对运动图像编码和解码的方法和设备

技术领域

与本发明一致的方法和设备涉及多视角运动图像的编码和解码，更具体地讲，涉及一种对多视角运动图像快速编码并提高多视角运动图像的可压缩性的视差矢量估计方法，并涉及一种使用该视差矢量估计方法对多视角运动图像进行编码和解码的方法和设备。

背景技术

真实性在实现高质量信息和远程通信服务中是重要的因素。可使用基于三维(3D)图像的视频通信来实现真实性。3D图像系统在教育、娱乐、医疗手术、视频会议等方面具有很多潜在的应用。为了向观看者提供远程场景的更生动和准确的信息，在稍微不同的视点布置三个或更多摄像机，以产生多视角序列。

作为对3D图像的当前兴趣的反映，很多研究组已经开发了3D图像处理和显示系统。在欧洲，已经通过诸如DISTMA等几个项目开始了对3DTV的研究，其目的在于开发一种用于对数字立体图像序列进行捕获、编码、传输和显示的系统。这些项目导致了另一项目，即，PANORAMA，其目标是增强3D远程呈现通信中的视觉信息。这些项目还导致了另一项目，即，ATTEST，在ATTEST中研究了用于3D内容采集、3D压缩和传输以及3D显示系统的各种技术。在ATTEST项目中，应用了运动图像专家组2(MPEG-2)和数字视频广播(DVB)标准，以使用时间可伸缩性来传输3D内容。在时间伸缩中，基本层用于2D内容的传输，增强层用于3D内容的传输。

在1996年对MPEG-2标准进行了修改，以定义多视角类(multiview profile，MVP)。MVP按照MPEG-2语法定义了用于多摄像机序列的时间可伸缩性模式的使用和采集摄像机参数。

当基本层流和增强层流均可被获得时，基本层流和增强层流可被定义以允许按照全帧率来进行再现，其中，基本层流代表能够以减小的帧率被编码的多视角视频信号，增强层流可用于在其间插入另外的帧。对增强层进行编码的一种非常有效的方式是基于基本层帧或新近重构的增强层帧来确定用于对增强层帧中的每个宏块执行运动补偿的估计的最佳方法。

使用时间可伸缩性语法来对这样的多视角视频信号进行立体和多视角信道编码的处理是易懂的。为此，来自特定摄像机视角的帧(通常是左眼帧)被定义为基本层，来自另一摄像机视角的帧被定义为增强层。对于增强层，尽管补偿了视差(disparity)的估计在封闭区域可能失败，但是仍然可以在同一信道中使用运动补偿的估计来保持重构的图像的质量。由于主要为了立体序列来定义MPEG-2 MVP，所以MPEG-2 MVP不支持多视角序列，并且本质上也难以扩展到多视角序列。

图1是示出MPEG-2 MVP的编码器和解码器的框图。

参照图1，MPEG-2 MVP(13818-2)通过利用可伸缩编码解码器(该编码解码器检测左视角图像和右视角图像之间的相关性，并且根据网络状态对左视角图像和右视角图像之间的差可变地进行编码)，使用左视角图像和右视角图像来对三维(3D)运动图像进行编码和再现。这里，左视角图像被定义为基本层运动图像，右视角图像被定义为增强层图像。可按照基本层图像的原始形式对基本层图像进行编码，增强层图像被另外编码和传输，以便当网络状态稳定时提高基本层运动图像的质量。因此，使用基本层运动图像和增强层图像的编码被称为可伸缩编码。

第一运动补偿DCT编码器110对左视角图像进行编码。用于估计左视角图像和右视角图像之间的视差的差的视差估计器122以及视差补偿器124计算左视角图像和右视角图像之间的差，然后第二运动补偿DCT编码器126对所述差进行编码。用于对左视角图像进行编码的第一运动补偿DCT编码器110被称为基本层图像编码器，视差估计器122、视差补偿器124以及用于对右视角图像和左视角图像之间的视差进行编码的第二运动补偿DCT编码器126组成增强层图像编码器120。编码的基本层图像和增强层图像被系统复用器130复用，然后被发送到解码器。

复用的信号被系统解复用器140分解为左视角图像和右视角图像。左视角图像被第一运动补偿DCT解码器150解码。第二运动补偿DCT解码器164以及用于对左视角图像和右视角图像之间的视差进行补偿的视差补偿器162将视差图像恢复为右视角图像。用于对左视角图像进行解码的第一运动补偿DCT解码器150被称为基本层图像解码器，用于测量左视角图像和右视角图像之间的视差并对右视角图像进行解码的第二运动补偿DCT解码器164以及视差补偿器162组成增强层图像解码器160。

图2是解释基于视差的估计编码的示图，在该估计编码中，对于双向运动估计使用两次视差估计。

左视角图像被非可伸缩MPEG-2编码器编码，右视角图像基于解码的左视角图像被MPEG-2时间辅助视角编码器编码。

即，使用从两个参考图像(例如，两个左视角图像)获得的估计结果来将右视角图像被编码为双向(B)图像。两个参考图像之一是将与右视角图像同时显示的左视角图像，另一个参考图像是将在时间上随后显示的左视角图像。

另外，与运动估计/补偿类似，两次估计结果具有三种估计模式，这三种估计模式包括前向模式、后向模式以及插值模式。这里，前向模式指示从等时(isochronal)左视角图像估计的视差，后向模式指示基于紧随等时左视角图像的左视角图像估计的视差。在该方法中，由于通过两个左视角图像的视差矢量来估计右视角图像，所以该估计方法被称为基于视差的估计编码。因此，编码器估计右视角运动图像的每帧的两个视差矢量，解码器使用这两个视差矢量根据左视角运动图像对右视角图像进行解码。

图3是解释使用用于插值估计的运动矢量和视差矢量的估计编码的示图。

在图3中，B图像用于如图2所示的插值估计。然而在这里，插值估计使用视差估计和运动估计。即，从等时左视角图像获得的视差估计结果以及从前一次从右视角图像获得的运动估计结果被使用。

与基于视差的估计编码相同，使用视差矢量和运动矢量的估计编码也包括三种估计模式，这三种估计模式包括前向模式、后向模式以及插值模式。这里，前向模式指示从解码的右视角图像获得的运动估计，后向模式指示从解码的左视角图像获得的视差估计。

如上所述，由于MPEG-2 MVP规范本身不考虑用于多视角运动图像的编码器，所以没有将MPEG-2 MVP规范设计为适合于实际的立体运动图像。因此，需要这样一种编码器，该编码器能够有效提供多视角运动图像，以便同时向多人提供三维效果和真实性。

已经开发出一种新的H.264视频编码标准，与现有技术的标准相比，该新的H.264视频编码标准用于高的编码效率。考虑到16×16和4×4之间的可变的块大小、环路去块滤波器中的运动补偿的四叉树结构、多个参考帧、帧内预测和上下文自适应性熵编码，并且考虑到一般的B估计像条(slice)，新的H.264视频编码标准取决于各种新的特性。与MPEG-2标准、MPEG-4 Part2标准等不同，在使用从同一方向(前向或后向)获得的多预测的同时，B像条可以是所参考的不同的像条。但是，上述特性需要用于H.264视频编码标准的运动信息的大量比特，所述运动信息包括估计模式以及估计模式下的运动矢量和参考图像。

为了解决该问题，可将跳跃模式和直接模式分别引入到预测(P)像条和B像条。跳跃模式和直接模式允许使用先前编码的运动矢量信息对当前将被编码的图像的任意块进行运动估计。因此，用于宏块(MB)或块的另外的运动数据没有被编码。使用相邻MB或图像的运动的空间(跳跃)或时间(直接)相关性来获得用于这些模式的运动。

图4是解释B图像的直接模式的示图。

在直接模式下，当估计当前将被编码的B图像的任意块的运动时，使用在时间上跟随的P图像的相同位置块(co-located block)的运动矢量来获得前向运动矢量和后向运动矢量。

为了计算直接模式块402的前向运动矢量MV_L0和后向运动矢量MV_L1(所述直接模式块402的运动将在B图像410中被估计)，检测用于参考列表0图像430的运动矢量MV，参考列表0图像430具有作为在时间上跟随的图像的参考列表1图像420中的相同位置块404，相同位置块404与直接模式块402位于相同位置。因此，使用如下的方程1来计算B图像410的直接模式块402的前向运动矢量MV_L0和后向运动矢量MV_L1。

$\stackrel{\→}{{\mathrm{MV}}_{L0}}=\frac{{\mathrm{TR}}_B}{{\mathrm{TR}}_D}\×\stackrel{\→}{\mathrm{MV}}$

$\stackrel{\→}{{\mathrm{MV}}_{L1}}=\frac{({\mathrm{TR}}_B-{\mathrm{TR}}_D)}{{\mathrm{TR}}_D}\×\stackrel{\→}{\mathrm{MV}}---\left(1\right)$

其中，MV表示参考列表1图像420的相同位置块404的运动矢量，TR_D表示参考列表0图像430和参考列表1图像420之间的距离，TR_B表示B图像410和参考列表0图像430之间的距离。

图5是解释在空间区域估计运动矢量的方法的示图。

根据用于对运动图像数据进行编码的H.264标准，帧被划分为多个块，每个块具有预定大小，并且对与被编码的相邻帧最相似的块的执行运动搜索。即，当前宏块C的左宏块4、中上宏块2、右上宏块3的运动矢量的中值被确定为相应运动矢量的估计值。可使用如下的方程2来表示运动矢量估计。

$\left\{\begin{array}{c}\mathrm{pmvx}=\mathrm{MEDIAN}(\mathrm{mvx}2,\mathrm{mvx}3,\mathrm{mvx}4)\\ \mathrm{pmvy}=\mathrm{MEDIAN}(\mathrm{mvy}2,\mathrm{mvy}3,\mathrm{mvy}4)\end{array}\right.---\left(2\right)$

因此，已经提出了使用空间相关性和时间相关性来对运动图像进行编码的方法。但是，仍然需要这样一种方法，该方法提高具有比一般运动图像多大量信息的多视角运动图像的可压缩性和处理速度。

发明内容

技术方案

本发明提供一种方法和设备，该方法和设备使用由多视角摄像机拍摄的多视角图像的视差矢量之间的相关性对多视角运动图像进行编码，以提高多视角运动图像的可压缩性并快速执行多视角运动图像的编码。

本发明还提供一种方法和设备，该方法和设备使用多视角图像的视差矢量之间的相关性对多视角运动图像进行解码，以对编码的多视角运动图像进行解码。

有益效果

根据本发明的示例性实施例，当估计宏块单元的视差矢量时，通过使用为预定数量的宏块估计的视差矢量而不用估计所有宏块的视差矢量，来计算剩余宏块的视差矢量，可提高多视角运动图像的编码速度。

另外，根据本发明的示例性实施例，由于不需要对所有宏块的视差矢量进行编码，所以可提高多视角运动图像的可压缩性。

另外，根据本发明的示例性实施例，提供一种多视角运动图像解码方法和设备，以用于使用多视角运动图像的视差矢量之间的相关性来对编码的多视角运动图像进行解码。

附图说明

通过结合附图对本发明的示例性实施例进行详细描述，本发明的以上和其它方面将会变得更加清楚，其中：

图1是示出使用MPEG-2多视角类(MVP)的立体运动图像编码和解码设备的框图；

图2是解释基于视差的估计编码的示图，在该估计编码中，对于双向运动估计使用两次视差估计；

图3是解释使用用于插值估计的视差矢量和运动矢量的估计编码的示图；

图4是解释B图像的直接模式的示图；

图5是解释在空间区域估计运动矢量的方法的示图；

图6是根据本发明示例性实施例的多视角运动图像编码设备的框图；

图7是解释由多视角摄像机拍摄的帧序列的示图；

图8是解释根据本发明示例性实施例的使用编码的宏块的视差矢量DV来估计相邻宏块的视差矢量的方法的示图；

图9是示出当图8所示的视差矢量的偏差恒定时视差矢量的相关性的图形；

图10是解释根据本发明另一示例性实施例的使用编码的宏块的视差矢量DV来估计相邻宏块的视差矢量的方法的示图；

图11是解释根据本发明另一示例性实施例的使用编码的宏块的视差矢量DV来估计相邻宏块的视差矢量的方法的示图；

图12是解释根据本发明示例性实施例的估计视差矢量的方法的示图；

图13是根据本发明另一示例性实施例的多视角运动图像编码器的框图；

图14是示出根据本发明另一示例性实施例的多视角运动图像编码方法的流程图；以及

图15是根据本发明示例性实施例的多视角运动图像解码器的框图。

最佳方式

根据本发明的一方面，提供一种估计视差矢量以对多视角运动图像进行编码的方法，所述方法包括：为预定数量的编码的宏块估计视差矢量；以及使用估计的视差矢量计算与编码的宏块相邻的宏块的视差矢量，其中，计算视差矢量的步骤包括：使用插值方程对与编码的宏块相邻的宏块的视差矢量进行插值和计算。

估计视差矢量的步骤包括：使用全搜索方法或快速搜索方法为预定数量的编码的宏块估计视差矢量。

根据为编码的宏块确定的视差矢量的特性来选择预定的插值方程，并且视差矢量的特性包括指示估计的视差矢量的偏差是否恒定的信息。

根据本发明的另一方面，提供一种多视角运动图像编码设备，所述设备包括：直接模式执行单元，接收当前帧和参考帧，为预定数量的编码的宏块估计视差矢量，并使用估计的视差矢量计算与编码的宏块相邻的宏块的视差矢量；插值方程提供单元，将用于计算与编码的宏块相邻的宏块的视差矢量的插值方程提供给直接模式执行单元；搜索模式执行单元，接收当前帧和参考帧，并且对当前帧和参考帧进行搜索以估计视差矢量；代价计算器，根据直接模式执行单元执行的视差矢量确定方法计算代价，并根据搜索模式执行单元执行的视差矢量确定方法计算代价；比较器，将计算的代价彼此进行比较；模式选择器，根据比较结果选择编码模式；以及编码器，根据选择的编码模式对多视角运动图像进行编码。

直接模式执行单元使用全搜索方法或快速搜索方法为预定数量的编码的宏块估计视差矢量，并使用预定的插值方程对与编码的宏块相邻的宏块的视差矢量进行插值和计算。

插值方程提供单元存储可根据为预定数量的编码的宏块估计的视差矢量的特性被选择的至少一个插值方程。

代价计算单元包括：直接模式代价计算器，使用由直接模式执行单元计算的视差矢量DV_d计算直接模式代价；以及搜索模式代价计算器，使用由搜索模式执行单元估计的视差矢量DV_f计算搜索模式代价。

代价计算单元为直接模式和搜索模式中的每个计算比特率和/或峰值信噪比(PSNR)。

比较器将直接模式代价和搜索模式代价之间的差与预定阈值进行比较，并且模式选择器根据比较结果设置标志，并根据设置的标志选择编码模式。

当直接模式代价和搜索模式代价之间的差大于所述预定阈值时，比较器将根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差与一预定阈值进行比较。模式选择器根据比较结果设置标志，并根据设置的标志选择编码模式。

如果选择的编码模式是直接模式，则编码器对残差图像进行编码，如果选择的编码模式是搜索模式并且根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差小于预定阈值，则编码器对残差图像以及根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差进行编码。

如果选择的编码模式是搜索模式并且根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差大于所述预定阈值，则编码器对残差图像以及搜索模式的视差矢量进行编码。

根据本发明的另一方面，提供一种对多视角运动图像进行编码的方法，所述方法包括：接收当前帧和参考帧；执行为预定数量的编码的宏块估计视差矢量并使用估计的视差矢量计算与编码的宏块相邻的宏块的视差矢量的直接模式；执行对当前帧和参考帧进行搜索并估计视差矢量的搜索模式；分别计算直接模式的代价和搜索模式的代价；将直接模式的代价与搜索模式的代价进行比较；根据比较结果选择编码模式；以及根据选择的编码模式对多视角运动图像进行编码，其中，计算视差矢量的步骤包括：使用预定的插值方程对与编码的宏块相邻的宏块的视差矢量进行插值和计算。。

根据本发明的另一方面，提供一种对多视角运动图像进行解码的设备，所述设备包括：编码模式检验单元，检验包括在接收的多视角运动图像比特流中的指示编码模式的模式信息，并检验编码模式；视差矢量确定单元，根据检验的编码模式确定视差矢量；以及解码器，使用根据检验的编码模式确定的视差矢量以及包括在所述多视角运动图像比特流中的残差图像数据来对多视角运动图像进行解码，其中，视差矢量确定单元使用与在用于对多视角运动图像进行编码的设备中使用的视差矢量插值方程相同的视差矢量插值方程，来计算视差矢量。

如果由编码模式检验单元检验的编码模式是残差图像被接收的第一模式，则视差矢量确定单元使用视差插值方程来计算视差矢量，并且如果由编码模式检验单元检验的编码模式是第二模式，在第二模式下，残差图像以及根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差被发送，则视差矢量确定单元通过对所述差和使用视差矢量插值方程计算的视差矢量进行求和，来计算视差矢量。

根据本发明的另一方面，提供一种对多视角运动图像进行解码的方法，所述方法包括：使用包括在接收的多视角运动图像比特流中的指示编码模式的模式信息，来确定编码模式；根据编码模式确定视差矢量；以及使用根据编码模式确定的视差矢量以及包括在所述多视角运动图像比特流中的残差图像数据来对多视角运动图像进行解码，其中，确定视差矢量的步骤包括：使用与在用于对多视角运动图像进行编码的设备中使用的视差矢量插值方程相同的视差矢量插值方程，来计算视差矢量。

具体实施方式

下面将参照附图来详细描述本发明的示例性实施例。

图6是根据本发明示例性实施例的多视角运动图像编码设备的框图。

多视角运动图像编码设备包括多视角图像缓冲器610、估计单元620、视差/运动补偿器630、残差图像编码器640和熵编码器650。

在图6中，多视角运动图像编码设备接收从多个视频源(诸如摄像机系统)获得的或使用不同方法获得的多视角视频图像。接收的多视角视频图像被存储在多视角图像缓冲器610中。多视角图像缓冲器610将存储的多视角视频源数据或图像提供给估计单元620和残差图像编码器640。

估计单元620包括视差估计器622和运动估计器624，并且对存储的多视角视频图像执行视差估计和运动估计。

视差/运动补偿器630使用由视差估计器622和运动估计器624估计的视差矢量和运动矢量来执行视差和运动补偿。视差/运动补偿器630使用估计的运动矢量和视差矢量来重构图像，并且将重构的图像提供给残差图像编码器640。

残差图像编码器640对通过从由多视角图像缓冲器610提供的原始图像减去由视差/运动补偿器630补偿和重构的图像而获得的残差图像进行编码，并且将编码的残差图像提供给熵编码器650。

熵编码器650接收由估计单元620产生的估计的视差矢量和运动矢量，从残差图像编码器640接收编码的残差图像，并且产生用于多视角视频源数据的比特流。

在图6所示的视差估计器622中，与用于传统编码解码器(诸如H.264和MPEG 2/4标准)的运动估计和运动补偿的运动信息相同，视差信息用于视差补偿。如同在H.264标准中尝试减少运动信息并提高编码效率一样，尝试执行在多视角视频编码(MVC)中减小视差信息并提高编码效率。

为此，视差估计器622估计用于预先编码的预定数量的宏块的视差矢量，并且使用估计的视差矢量计算与编码的宏块相邻的宏块的视差矢量。更详细地讲，视差估计器622使用现有技术的视差估计方法(诸如全搜索方法或快速搜索方法)来估计用于预先编码的预定数量的宏块的视差矢量，并且使用预定的插值方程来对与编码的宏块相邻的宏块的视差矢量进行插值和计算。

下面将参照图7至图12来详细描述根据本发明实施例的估计视差矢量的方法。

在本说明书中，预先编码的预定数量的宏块被称为“种子宏块”(简称为“种子MB”)。另外，与编码的宏块相邻的宏块被称为“非种子宏块”(简称为“非种子MB”)，其中，使用估计的视差矢量来计算与编码的宏块相邻的宏块的视差矢量。另外，在本说明书中，使用现有技术的搜索方法来估计视差矢量的方法被称为“视差矢量搜索”，根据本发明实施例的计算视差矢量的方法被称为“视差矢量插值”或“直接模式”。此外，使用现有技术的视差估计方法来对多视角运动图像进行编码的方法被称为“搜索模式编码”，根据本发明实施例的使用视差矢量插值来对多视角运动图像进行编码的方法被称为“直接模式编码”。

图7是解释由多视角摄像机拍摄的帧序列的示图。

在图7中，水平轴是视角轴，表示用于拍摄多视角图像的摄像机的数量。垂直轴是时间轴，表示时间序列的数量。如果多视角摄像机被平行地布置，则位于相同时间序列上的多视角帧之间将存在高相关性。尽管多视角摄像机没有被平行地布置，但是由于多视角摄像机拍摄的图像可被校正为由平行布置的多视角摄像机拍摄的状态，所以拍摄的图像之间的相关性仍然存在。

因此，当多视角帧之间的高相关性存在时，与在H.264标准中使用的直接模式一样，使用根据本发明示例性实施例的“视差矢量插值”可有效估计视差矢量。“视差矢量插值”与图像插值、图像缩放或图像重构类似，图像插值、图像缩放或图像重构用于提高分辨率。在图像插值中，通过使用线性插值或三次插值对将被插值的图像的相邻图像进行插值，来获得插值的图像。另外，可通过与图像插值类似的矢量插值来获得视差矢量。

图8是解释根据本发明示例性实施例的使用编码的宏块的视差矢量DV来估计相邻宏块的视差矢量的方法的示图。

在图8中，Vc和Vr分别表示相同时间序列上的任意帧中的宏块(MB)行，其中，Vr表示编码的参考视角帧，Vc表示使用编码的参考视角帧Vr估计的帧，并且其中，Vc当前将被编码。由虚线表示的宏块是估计的宏块，即，是“种子MB”。由斜线表示的宏块是“非种子MB”，将使用种子MB来估计非种子MB的视差矢量。

可使用根据本发明示例性实施例的视差矢量插值方法，使用位于Vr帧上的种子MB来估计两个种子MB之间的不同MB的视差矢量(即，非种子MB的视差矢量)。为了如图8所示估计两个种子MB之间的不同MB的视差矢量，使用的下面的方程3。

${\mathrm{DV}}_i=\frac{i}{N-1}{\mathrm{DV}}_{N-1}+(1-\frac{i}{N-1}){\mathrm{DV}}_0---\left(3\right)$

在方程3中，DV₀和DV_N-1表示种子MB，并且使用现有技术的方法(诸如全搜索方法或快速搜索方法)来估计DV₀和DV_N-1。

当如图8所示视差矢量的偏差恒定时，视差矢量的相关性可被表示为如图9所示的图形。即，如果假设当MB之间的距离为i时视差矢量DV的大小从DV₀改变为DV_i的比率等于当MB之间的距离从i到N-1时视差矢量DV的大小从DV_i改变为DV_N-1的比率，则可使用下面的方程3-1、3-2和3-3来推导方程3。

$\frac{{\mathrm{DV}}_i-{\mathrm{DV}}_0}{i}=\frac{{\mathrm{DV}}_{N-1}-{\mathrm{DV}}_0}{N-1}---(3-1)$

${\mathrm{DV}}_i-{\mathrm{DV}}_0=\left(\frac{{\mathrm{DV}}_{N-1}-{\mathrm{DV}}_0}{N-1}\right)\×i---(3-2)$

${\mathrm{DV}}_i=\left(\frac{{\mathrm{DV}}_{N-1}-{\mathrm{DV}}_0}{N-1}\right)\×i+{\mathrm{DV}}_0---(3-3)$

图10是解释根据本发明另一示例性实施例的使用编码的宏块的视差矢量DV来估计相邻宏块的视差矢量的方法的示图。

如以上参照图8所述，当视差矢量DV的变化(即，视差矢量DV的偏差)几乎不变时，方程3是有用的。但是，当视差矢量DV的偏差不恒定时，例如，当视差矢量DV的变化具有如图11所示的曲线形式时，可使用下面的方程4来估计视差矢量DV。

${\mathrm{DV}}_i=\underset{h=-\frac{N}{2}}{\overset{\frac{N}{2}-1}{\mathrm{\Σ}}}{c}_h{\mathrm{DV}}_{i+h}---\left(4\right)$

如图10和方程4所示，使用两个或更多个视差矢量DV来估计第i个MB的视差矢量DV_i。在方程4中，DV_i+h表示非种子MB的视差矢量，C_h表示用于产生MB的视差矢量DV的插值系数。为了理解方程4，下面将描述计算第i个视差矢量DV_i的操作。例如，如果i＝4且N＝8，则方程4可被改写为方程4-1。

DV₄＝c_-4DV₀+c_-3DV₁+c_-2DV₂+c_-1DV₃+c₀DV₄+c₁DV₅+c₁DV₆+c₃DV₇ (4-1)

在方程4-1中，如果当视差矢量DV₁、DV₃、DV₅和DV₇与种子MB对应时，不与种子MB对应的任意视差矢量(即，DV₂、DV₄、DV₆和DV₈)被设置为0，则可确定视差矢量DV₄。

图11是解释根据本发明另一示例性实施例的使用编码的宏块的视差矢量DV来估计相邻宏块的视差矢量的方法的示图。

在图11中，使用下面的方程5来二维地估计视差矢量。

$\mathrm{DV}(x,y)=\underset{v=-\frac{M}{2}}{\overset{\frac{N}{2}}{\mathrm{\Σ}}}\underset{h=-\frac{N}{2}}{\overset{\frac{N}{2}}{\mathrm{\Σ}}}c(x+h,y+v)\mathrm{DV}(x+h,y+v)---\left(5\right)$

在方程5中，C(x，y)是用于产生宏块的视差矢量DV的二维系数。如果当视差矢量DV(x+h，y+v)不对应于种子MB时，视差矢量DV(x+h，y+v)被设置为0，则可仅使用种子MB的值来计算视差矢量DV(x，y)。当能够使用本发明示例性实施例的视差矢量插值方法获得的区域很宽时，可使用方程5。

图12是解释根据本发明示例性实施例的估计视差矢量的方法的示图。

如上所述，为了估计视差矢量，首先，可执行现有技术的视差矢量搜索方法，并且获得种子MB的视差矢量。为了简化计算，可按照恒定的间隔将种子MB彼此分隔。可在当前帧和参考帧之间执行视差矢量搜索。然后，可使用根据本发明示例性实施例的视差矢量插值方法以及种子MB来计算和获得与剩余的种子MB相邻的MB的视差矢量。

另外，可根据为预先编码的宏块(即，种子MB)确定的视差矢量的特性来选择在根据本发明示例性实施例的视差矢量插值方法中使用的预定插值方程。这里，如参照方程3和4所述，视差矢量的特性可以是指示估计的视差矢量的偏差是否恒定的信息。另外，在直接模式下，当设计多视角运动图像编码设备和多视角运动图像解码设备时，优先确定方程3、4和5。另外，方程3、4和5必须被多视角运动图像编码设备和多视角运动图像解码设备共享。

下面将描述根据本发明另一示例性实施例的用于估计视差矢量和对多视角运动图像进行编码的方法。

使用根据本发明示例性实施例的视差矢量插值方法获得的视差矢量是可靠的值，然而，这些值可能具有错误。因此，为了获得高的压缩性能，可执行根据本发明示例性实施例的视差矢量插值方法以及现有技术的视差矢量搜索方法(例如全搜索方法或快速搜索方法)。

即，根据本发明的示例性实施例，将视差矢量插值的可压缩性与视差矢量搜索的可压缩性进行比较。如果视差矢量插值的可压缩性等于或高于视差矢量搜索的可压缩性，则最终使用视差矢量插值方法的结果。当使用视差矢量插值的结果时，接收端可仅使用关于如何产生视差矢量DV的信息而不使用关于视差矢量DV的信息，来重新产生视差矢量插值的结果。

当因为视差矢量搜索的可压缩性高于视差矢量插值的可压缩性而最终使用视差矢量搜索时，视差矢量DV必须被编码并被发送。此时，根据本发明的示例性实施例，如果通过视差矢量搜索获得的视差矢量DV与通过视差矢量插值获得的视差矢量DV之间的差很小，则该差可被发送。

因此，当帧被编码时，必须将通过视差矢量搜索获得的宏块MB与通过本发明的直接模式获得的宏块MB进行区分。通过如下定义直接模式的标志flag_direct，可根据各种方法来区分宏块MB。

通过视差矢量搜索获得的DV：flag_direct＝0；

通过直接模式获得的DV： flag_direct＝1。

还有可能的是，通过视差矢量搜索获得的视差矢量DV的标志flag_direct被设置为1，通过直接模式获得的视差矢量DV的标志flag_direct被设置为0。如果MB模式的标志是直接模式，则解码端可使用视差矢量插值方程(诸如方程3、4和5)来计算视差矢量DV。在编码端和解码端中预先定义了方程3、4和5中将被使用的方程。

同时，为了将通过视差矢量搜索获得的视差矢量DV和通过直接模式获得的视差矢量DV之间的差被发送的情况与通过基本视差矢量搜索获得的视差矢量DV被发送的情况进行区分，可定义和使用标志flag_diff。尽管通过搜索模式编码来对多视角运动图像进行编码，但是如果通过视差矢量插值获得的视差矢量DV_d与通过视差矢量搜索获得的视差矢量DV_f之间的差很小，则对该差值编码能有效提高可压缩性。

如果flag_diff＝0，则通过视差矢量搜索获得的DV被发送。

如果flag_diff＝1，则通过视差矢量搜索获得的DV与通过直接模式获得的DV之间的差被发送。

可按照与以上相反的次序来设置标志flag_diff的值。

因此，在根据本发明示例性实施例的多视角运动图像编码方法中，可定义3种不同的模式。

第一模式：(flag_direct＝1)并且(flag_diff＝0或1)；

第二模式：(flag_direct＝0)并且(flag_diff＝1)；

第三模式：(flag_direct＝0)并且(flag_diff＝0)。

由于第一模式是直接模式，所以只有残差图像被编码并被发送到解码器。在第二模式下，残差图像以及通过直接模式获得的视差矢量与通过视差矢量搜索模式获得的视差矢量之间的差被编码并被发送到解码器。在第三模式下，残差图像和通过视差矢量搜索获得的视差矢量被编码并被发送到解码器。

图13是根据本发明另一示例性实施例的多视角运动图像编码设备的框图。

参照图13，多视角运动图像编码设备包括直接模式执行单元1310、插值方程提供单元1320、搜索模式执行单元1330、代价计算单元1340、比较器1350、模式选择器1360和编码器1370，代价计算单元1340包括直接模式代价计算器1341和搜索模式代价计算器1343。

参照图13，当前帧和参考帧被输入到直接模式执行单元1310。直接模式执行单元1310预先对将被编码的帧的预定数量的宏块进行编码，并使用现有技术的视差矢量搜索方法来估计所述预定数量的编码的宏块的视差矢量，即，种子MB的视差矢量。

然后，直接模式执行单元1310使用估计的视差矢量以及根据本发明示例性实施例的视差矢量插值方法，来计算与编码的宏块相邻的宏块的视差矢量。即，通过使用由插值方程提供单元1320提供的预定插值方程对视差矢量进行插值，可计算根据直接模式的视差矢量DV_d。

另外，直接模式执行单元1310使用视差矢量DV_d和参考帧产生补偿的帧，从补偿的帧减去原始帧，并产生当前帧的残差图像。直接模式执行单元1310将产生的视差矢量DV_d和残差图像发送到代价计算单元1340的直接模式代价计算器1341。

插值方程提供单元1320存储能够根据为预定数量的编码的宏块估计的视差矢量的特性而选择的至少一个插值方程，例如方程3、4或5。因此，直接模式执行单元1310可使用由插值方程提供单元1320提供的插值方程确定视差矢量。

当前帧和参考帧也被输入到搜索模式执行单元1330。搜索模式执行单元1330使用现有技术的视差矢量搜索方法来确定视差矢量DV_f，使用视差矢量DV_f和参考帧创建补偿的帧，从补偿的帧减去原始帧，并产生当前帧的残差图像。搜索模式执行单元1330将产生的视差矢量DV_f和残差图像发送到代价计算单元1340的搜索模式代价计算器1343。

直接模式代价计算器1341计算进行直接模式的结果的代价。即，直接模式代价计算器1341接收视差矢量DV_d和残差图像，并计算使用通过视差矢量插值获得的视差矢量DV_d补偿的MB和相应的非种子MB之间的代价。

搜索模式代价计算器1343计算进行搜索模式的结果的代价。即，搜索模式代价计算器1343接收视差矢量DV_f和残差图像，并计算使用通过视差搜索获得的视差矢量DV补偿的MB和相应的非种子MB之间的代价。可通过计算或估计压缩图像的比特率或峰值信噪比(PSNR)来确定代价。这里，可仅使用比特率或仅使用PSNR来确定代价。或者，可根据预定标准考虑比特率和PSNR两者来确定代价。

比较器1350将直接模式代价计算器1341计算的结果与搜索模式代价计算器1343计算的结果进行比较，并且将比较结果发送到模式选择器1360。比较器1350可将直接模式代价(即，直接模式代价计算器1341计算的结果)和搜索模式代价(搜索模式代价计算器1343计算的结果)之间的差与预定阈值进行比较。如果直接模式代价和搜索模式代价之间的差大于所述预定阈值，则比较器1350将通过根据本发明示例性实施例的视差矢量插值获得的视差矢量和通过使用现有技术的视差矢量搜索方法获得的视差矢量之间的差与预定阈值进行比较，并且将比较结果发送到模式选择器1360。

模式选择器1360基于比较结果确定标志，并且根据确定的标志确定编码模式。如果模式选择器1360从比较器1350接收到指示两个代价函数之间的差小于预定阈值的结果，则模式选择器1360可将标志flag_direct设置为1，以根据依照本发明示例性实施例的直接模式进行编码。另外，如果两个代价函数之间的差的大于预定阈值，则模式选择器1360可将标志flag_direct设置为0，以使用现有技术的视差矢量搜索方法来确定视差矢量并对多视角图像进行编码。

如果标志flag_direct被设置为0，则模式选择器1360从比较器1350接收通过将使用根据本发明示例性实施例的视差矢量插值方法获得的视差矢量和使用现有技术的视差矢量搜索方法获得的视差矢量之间的差与预定阈值进行比较而获得的比较结果，并确定标志flag_diff。如果所述差小于预定阈值，则模式选择器1360可将标志flag_diff设置为1。如果所述差大于预定阈值，则模式选择器1360可将标志flag_diff设置为0。

如果flag_direct＝1并且flag_diff＝0或1，则模式选择器1360可设置第一模式。如果flag_direct＝0并且flag_diff＝1，则模式选择器1360可设置第二模式。如果flag_direct＝0并且flag_diff＝0，则模式选择器1360可设置第三模式。

除了使用标志之外，也可使用另一可选的方法来确定编码模式。模式选择器1360可设置模式信息以指示编码模式。模式信息被包括在多视角运动图像比特流中并被发送。

编码器1370根据依照确定的标志信息确定的模式来对多视角运动图像进行编码并将其发送。如果flag_direct＝1(第一模式)，则编码器1370仅对标志信息和残差图像进行编码并将其发送。如果flag_direct＝0并且flag_diff＝1(第二模式)，则编码器1370对残差图像以及直接模式的视差矢量和搜索模式的视差矢量之间的差进行编码并将其发送。如果flag_direct＝0并且flag_diff＝0(第三模式)，则编码器1370对残差图像以及搜索模式的视差矢量进行编码并将其发送。

图14是示出根据本发明另一示例性实施例的多视角运动图像编码方法的流程图。

预先编码的预定数量的宏块的视差矢量(即，种子MB的视差矢量)使用现有技术的视差矢量估计方法被确定(操作S1410)。然后，在直接模式执行单元1310中，使用预定的插值方程通过视差矢量插值来计算视差矢量(操作1420)。接着，直接模式代价计算器1341接收由直接模式执行单元1310产生的视差矢量DV_d和残差图像，并且计算通过使用视差矢量插值的视差矢量DV_d而补偿的MB和非种子MB之间的代价(操作S1430)。

同时，搜索模式执行单元1330使用现有技术的视差矢量搜索方法来确定视差矢量DV_f(操作S1440)。搜索模式代价计算器1343接收由搜索模式执行单元1330产生的残差图像和视差矢量DV_f，并且计算通过使用视差矢量搜索的视差矢量DV_f而补偿的MB和非种子MB之间的代价(操作S1450)。

比较器1350将直接模式代价计算器1341计算的结果和搜索模式代价计算器1343计算的结果进行比较，并且将比较结果发送到模式选择器1360(操作S1460)。模式选择器1360基于比较结果确定标志，并且根据确定的标志确定编码模式(操作S1470)。编码器1370依照确定的标志信息根据编码模式来对多视角运动图像进行编码(操作S1480)。

图15是根据本发明示例性实施例的多视角运动图像解码设备的框图。多视角运动图像解码设备包括模式检验单元1510、视差矢量确定单元1520、视差插值方程提供单元1530和解码器1540。

模式检验单元1510使用包括在接收的多视角运动图像比特流中的指示多视角运动图像的编码模式的模式信息来进行确定。例如，模式检验单元1510检验包括在接收的多视角运动图像比特流中的指示多视角运动图像的编码模式的标志(即，flag_direct和flag_diff)，并且确定多视角运动图像的编码模式。

视差矢量确定单元1520根据检验的编码模式确定视差矢量。视差插值方程提供单元1530存储与存储在多视角运动图像编码设备中的视差插值方程相同的视差插值方程，并且将视差插值方程提供给视差矢量确定单元1520。视差矢量确定单元1520可使用视差插值方程来计算根据直接模式编码的多视角运动图像的视差矢量。视差插值方程提供单元1530可被包括在视差矢量确定单元1520中。

当在第一模式下(即，在直接模式下)确定视差矢量时，因为残差图像被发送，所以视差矢量确定单元1520可使用与存储在多视角运动图像编码器中的插值方程相同的插值方程来计算视差矢量。

在第二模式下，残差图像以及直接模式的视差矢量DV_d与搜索模式的视差矢量DV_f之间的差被发送。在第二模式下，视差矢量DV_f是视差矢量DV_d和直接模式的视差矢量与搜索模式的视差矢量之间的差值的和。因为可使用由视差插值方程提供单元1530提供的视差插值方程来计算视差矢量DV_d，所以可获得视差矢量DV_f。

在第三模式下，由于残差图像和搜索模式的视差矢量被发送。所以发送的视差矢量用于解码。

解码器1540使用根据各个模式确定的视差矢量以及包括在接收的和发送到模式检验单元1510的多视角运动图像比特流中的残差运动图像数据，来对多视角运动图像进行解码。

本发明也可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是能够存储计算机系统其后可读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置和载波(诸如通过互联网的数据传输)。计算机可读记录介质也可分布在网络连接的计算机系统中，从而按照分布式方式来存储并执行计算机可读代码。

如上所述，根据本发明的示例性实施例，当估计宏块单元的视差矢量时，通过使用为预定数量的宏块估计的视差矢量而不用估计所有宏块的视差矢量，来计算剩余宏块的视差矢量，可提高多视角运动图像的编码速度。

另外，根据本发明的示例性实施例，由于不需要所有宏块的视差矢量，所以可提高多视角运动图像的可压缩性。

另外，根据本发明的示例性实施例，提供一种多视角运动图像解码方法和设备，以用于使用多视角运动图像的视差矢量之间的相关性来对编码的多视角运动图像进行解码。

尽管已经参照本发明的示例性实施例具体显示和描述了本发明，但是本领域的普通技术人员应该理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可对其作出形式和细节的各种改变。

Claims (20)

1.一种估计视差矢量以对多视角运动图像进行编码的方法，所述方法包括：

为多个编码的宏块估计视差矢量；以及

使用估计的视差矢量计算与编码的宏块相邻的宏块的视差矢量，

其中，计算视差矢量的步骤包括：使用插值方程对与编码的宏块相邻的宏块的视差矢量进行插值和计算，

其中，根据为编码的宏块确定的视差矢量的特性来选择插值方程，

其中，视差矢量的特性包括指示估计的视差矢量的偏差是否恒定的信息。

2.根据权利要求1所述的方法，其中，估计视差矢量的步骤包括：使用全搜索方法或快速搜索方法为编码的宏块估计视差矢量。

3.一种多视角运动图像编码设备，包括：

直接模式执行单元，接收当前帧和参考帧，为多个编码的宏块估计视差矢量，并使用估计的视差矢量计算与编码的宏块相邻的宏块的视差矢量；

插值方程提供单元，将用于计算与编码的宏块相邻的宏块的视差矢量的插值方程提供给直接模式执行单元；

搜索模式执行单元，接收当前帧和参考帧，并且对当前帧和参考帧进行搜索以估计视差矢量；

代价计算单元，根据直接模式执行单元执行的视差矢量确定方法计算直接模式代价，并根据搜索模式执行单元执行的视差矢量确定方法计算搜索模式代价；

比较器，将直接模式代价和搜索模式代价彼此进行比较；

模式选择器，根据比较器提供的比较结果选择编码模式；以及

编码器，根据选择的编码模式对多视角运动图像进行编码，

其中，插值方程提供单元存储能够根据为编码的宏块估计的视差矢量的特性被选择的至少一个插值方程；

其中，视差矢量的特性包括指示估计的视差矢量的偏差是否恒定的信息。

4.根据权利要求3所述的设备，其中，直接模式执行单元使用全搜索方法或快速搜索方法为编码的宏块估计视差矢量，并使用插值方程对与编码的宏块相邻的宏块的视差矢量进行插值和计算。

5.根据权利要求3所述的设备，其中，代价计算单元包括：

直接模式代价计算器，使用由直接模式执行单元计算的视差矢量DV_d计算直接模式代价；以及

搜索模式代价计算器，使用由搜索模式执行单元估计的视差矢量DV_f计算搜索模式代价。

6.根据权利要求3所述的设备，其中，代价计算单元为直接模式和搜索模式中的每个计算比特率和峰值信噪比中的至少一个。

7.根据权利要求5所述的设备，其中，比较器将直接模式代价和搜索模式代价之间的差与第一阈值进行比较，并且

模式选择器根据比较结果设置标志，并根据设置的标志选择编码模式。

8.根据权利要求7所述的设备，其中，如果直接模式代价和搜索模式代价之间的差大于第一阈值，则比较器将视差矢量DV_d和视差矢量DV_f之间的差与第二阈值进行比较，并且模式选择器根据比较结果设置标志并根据设置的标志选择编码模式。

9.根据权利要求3所述的设备，其中，如果选择的编码模式是直接模式，则编码器对残差图像进行编码，如果选择的编码模式是搜索模式并且根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差小于预定阈值，则编码器对残差图像以及根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差进行编码，如果选择的编码模式是搜索模式并且根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差大于所述预定阈值，则编码器对残差图像以及根据搜索模式确定的视差矢量DV_f进行编码。

10.一种对多视角运动图像进行编码的方法，所述方法包括：

接收当前帧和参考帧；

通过为多个编码的宏块估计视差矢量并使用估计的视差矢量计算与编码的宏块相邻的宏块的视差矢量，来执行直接模式操作；

通过对当前帧和参考帧进行搜索并估计视差矢量来执行搜索模式操作；

计算直接模式的代价和搜索模式的代价；

将直接模式的代价与搜索模式的代价进行比较；

根据所述比较的比较结果选择编码模式；以及

根据选择的编码模式对多视角运动图像进行编码，

其中，计算视差矢量的步骤包括：使用预定的插值方程对与编码的宏块相邻的宏块的视差矢量进行插值和计算，

其中，使用能够根据为编码的宏块估计的视差矢量的特性被选择的至少一个插值方程来计算视差矢量，

其中，视差矢量的特性包括指示估计的视差矢量的偏差是否恒定的信息。

11.根据权利要求10所述的方法，其中，估计视差矢量的步骤包括：

使用全搜索方法或快速搜索方法为编码的宏块估计视差矢量。

12.根据权利要求10所述的方法，其中，计算直接模式的代价和搜索模式的代价的步骤包括：

使用根据直接模式估计的视差矢量DV_d计算直接模式的代价；以及

使用根据搜索模式估计的视差矢量DV_f计算搜索模式的代价。

13.根据权利要求10所述的方法，其中，计算直接模式的代价和搜索模式的代价的步骤包括：为直接模式或搜索模式计算比特率或峰值信噪比。

14.根据权利要求12所述的方法，其中，将直接模式的代价与搜索模式的代价进行比较的步骤包括：将直接模式的代价和搜索模式的代价之间的差与第一阈值进行比较，并且

选择编码模式的步骤包括：根据比较结果设置标志，并根据设置的标志选择编码模式。

15.根据权利要求14所述的方法，其中，将直接模式的代价与搜索模式的代价进行比较的步骤包括：如果直接模式代价和搜索模式代价之间的差大于第一阈值，则将根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差与第二阈值进行比较，并且

选择编码模式的步骤包括：根据比较结果设置标志并根据设置的标志选择编码模式。

16.根据权利要求10所述的方法，其中，根据选择的编码模式对多视角运动图像进行编码的步骤包括：

如果选择的编码模式是直接模式，则对残差图像进行编码；

如果选择的编码模式是搜索模式并且根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差小于阈值，则对残差图像以及根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差进行编码；以及

如果选择的编码模式是搜索模式并且根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差大于所述阈值，则对残差图像以及根据搜索模式确定的视差矢量DV_f进行编码。

17.一种对多视角运动图像进行解码的设备，所述设备包括：

编码模式检验单元，检验包括在接收的多视角运动图像比特流中的指示编码模式的模式信息，以确定编码模式；

视差矢量确定单元，根据由编码模式检验单元确定的编码模式确定视差矢量；以及

解码器，使用根据检验的编码模式确定的视差矢量以及包括在所述多视角运动图像比特流中的残差图像数据来对多视角运动图像进行解码，

其中，视差矢量确定单元使用与用于对接收的多视角运动图像进行编码的视差矢量插值方程相同的视差矢量插值方程，来计算视差矢量。

18.根据权利要求17所述的设备，其中，如果由编码模式检验单元检验的编码模式是残差图像被接收的第一模式，则视差矢量确定单元使用所述视差矢量插值方程来计算视差矢量，并且

如果由编码模式检验单元检验的编码模式是第二模式，在第二模式下，残差图像以及根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差被发送，则视差矢量确定单元通过对所述差和使用所述视差矢量插值方程计算的视差矢量进行求和，来计算视差矢量。

19.一种对多视角运动图像进行解码的方法，所述方法包括：

使用包括在接收的多视角运动图像比特流中的指示编码模式的模式信息，来确定编码模式；

根据编码模式确定视差矢量；以及

使用根据编码模式确定的视差矢量以及包括在所述多视角运动图像比特流中的残差图像数据来对多视角运动图像进行解码，

其中，确定视差矢量的步骤包括：使用与用于对接收的多视角运动图像进行编码的视差矢量插值方程相同的视差矢量插值方程，来计算视差矢量。

20.根据权利要求19所述的方法，其中，确定视差矢量的步骤包括：

如果编码模式是残差图像被接收的第一模式，则使用所述视差矢量插值方程来计算视差矢量；以及

如果编码模式是第二模式，在第二模式下，残差图像以及根据直接模式确定的视差矢量DV_d和根据搜索模式确定的视差矢量DV_f之间的差被发送，则通过对所述差和使用所述视差矢量插值方程计算的视差矢量进行求和，来计算视差矢量。