CN103493492A

CN103493492A - 用于对多视点视频进行编码和解码的方法和设备

Info

Publication number: CN103493492A
Application number: CN201280019290.3A
Authority: CN
Inventors: 崔秉斗; 赵大星; 郑丞洙
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-02-21
Filing date: 2012-02-21
Publication date: 2014-01-01
Also published as: EP2676445A2; JP5830548B2; US20120213282A1; WO2012115436A2; KR20120095610A; JP2014512720A; WO2012115436A3; EP2676445A4

Abstract

一种用于通过使用具有与当前块的当前帧的视点不同的视点的参考帧对多视点图像的当前块进行编码和解码来对多视点视频进行编码和解码的方法和设备。

Description

用于对多视点视频进行编码和解码的方法和设备

技术领域

与示例性实施例一致的设备和方法涉及视频编码和解码，更具体地，涉及一种用于通过预测多视点视频图像的运动矢量来对多视点视频图像进行编码的方法和设备，以及用于对多视点视频图像进行解码的方法和设备。

背景技术

多视点视频编码（MVC）包括对从多个相机获取的具有不同视点的多个图像进行处理，以及通过使用相机的视点间之间的时间相关性和空间相关性对多视点图像进行压缩编码。

在使用时间相关性的时间预测和使用空间相关性的视点间预测中，通过使用一个或多个参考画面以块为单位对当前画面的运动进行预测和补偿，从而对图像进行编码。在时间预测和视点间预测中，在参考画面的预定搜索范围中搜索与当前块最相似的块，当相似块被确定时，发送当前块和相似块之间的残差数据。通过这样做，提高了数据压缩率。

发明内容

技术问题

需要使用不同视点的图像之间的相关性来提高对多视点视频进行编码的效率。

技术方案

示例性实施例提供一种用于对多视点视频进行编码和解码的方法和设备，所述方法和设备通过在多视点视频被编码时提供视点方向跳过模式来提高图像压缩率。

有益效果

示例性实施例提供不仅在时间方向还在视点方向对当前块的运动矢量进行预测的跳过模式，并且仅发送模式信息。通过这样做，可提高对多视点视频进行编码的压缩率。

附图说明

图1是示出根据示例性实施例的通过使用对多视点视频进行编码的方法编码的多视点视频序列的示图；

图2是示出根据示例性实施例的视频编码设备的配置的框图；

图3是用于描述根据示例性实施例的按照视点方向跳过模式执行的预测编码处理的参考示图；

图4是用于描述根据示例性实施例的产生视点方向跳过运动矢量的处理的参考示图；

图5是用于描述根据另一示例性实施例的产生视点方向跳过运动矢量的处理的参考示图；

图6是用于描述根据另一示例性实施例的产生视点方向跳过运动矢量的处理的参考示图；

图7是根据示例性实施例的对多视点视频进行编码的方法的流程图；

图8是示出根据示例性实施例的视频解码设备的框图；

图9是根据示例性实施例的对视频进行解码的方法的流程图。

最佳模式

根据示例性实施例的一方面，提供一种对多视点视频进行编码的方法，所述方法包括以下操作：产生多视点视频的当前块的视点方向跳过运动矢量，其中，所述当前块具有第一视点，并通过使用参考具有第二视点并被先前编码的帧的块的视点方向运动矢量而被编码；基于视点方向跳过运动矢量通过参考具有第二视点的帧对当前块执行运动补偿；对关于视点方向跳过运动矢量的模式信息进行编码。

根据示例性实施例的另一方面，提供一种对多视点视频进行解码的方法，所述方法包括以下操作：对比特流中的多视点视频的当前块的预测模式信息进行解码，其中，所述当前块具有第一视点；通过使用参考具有第二视点并被先前解码的帧的块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量；基于视点方向跳过运动矢量，通过参考具有第二视点的帧来对当前块执行运动补偿；通过将当前块的运动补偿值和从比特流提取的残差值相加来恢复当前块。

根据示例性实施例的另一方面，提供一种用于对多视点视频进行编码的视频编码设备，其中，所述编码设备包括：预测单元，产生多视点视频的当前块的视点方向跳过运动矢量，其中，所述当前块具有第一视点，并通过使用参考具有第二视点并被先前编码和恢复的帧的块的视点方向运动矢量而被编码；运动补偿单元，基于视点方向跳过运动矢量，通过参考具有第二视点的帧来对当前块执行运动补偿；熵编码单元，对关于视点方向跳过运动矢量的模式信息进行编码。

根据示例性实施例的另一方面，提供一种用于对多视点视频进行解码的视频解码设备，所述视频解码设备包括：熵解码单元，对比特流中的多视点视频的当前块的预测模式信息进行解码，其中，所述当前块具有第一视点；运动补偿单元，当预测模式信息指示视点方向跳过模式时，通过使用具有第一视点并将被解码的当前块的多个邻近块之中的邻近块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，并基于视点方向跳过运动矢量，通过参考具有第二视点的帧来对当前块执行运动补偿，其中，所述邻近块参考具有第二视点的帧并被先前解码；恢复单元，通过将当前块的运动补偿值和从比特流提取的残差值相加来恢复当前块。

具体实施方式

下文中，将参照附图来详细描述示例性实施例。

图1是示出根据示例性实施例的通过使用对多视点视频进行编码的方法编码的多视点视频序列的示图。

参照图1，X轴是时间轴，Y轴是视点轴。X轴的T0至T8分别指示图像的采样时间，Y轴的S0至S7分别指示不同的视点。在图1中，每一行指示输入的具有相同视点的每个图像画面组，每一列指示在同一时间的多视点图像。

在多视点图像编码中，针对具有基本视点的图像，周期性地产生帧内画面，通过基于产生的帧内画面执行时间预测或视点间预测来对其它画面进行预测编码。

时间预测使用相同的视点，即，图1中的同一行的图像之间的时间相关性。对于时间预测，可使用利用分层B画面的预测结构。视点间预测使用同一时间的图像，即，同一列的图像之间的空间相关性。在下文中，将描述通过使用分层B画面对图像画面组进行编码的情况。然而，根据示例性实施例的对多视点视频进行编码和解码的方法可被应用于具有除了分层B画面以外的不同结构的其它多视点视频序列。

为了通过使用相同视点的图像(即，同一行的图像之间的时间相关性)来执行预测，使用分层B画面的多视点画面预测结构通过使用基准画面（anchorpicture）对具有相同视点的图像画面组进行预测编码，作为双向画面（下文中，称为“B画面”）。这里，基准画面指示包括在图1的列之中的列110和列120中的画面，其中，列110和列120分别处于第一时间T0和最后时间T8，并包括帧内画面。除了帧内画面（下文中，称为“I画面”）以外，仅通过使用视点间预测对基准画面进行预测编码。包括在除了包括I画面的列110和列120以外的其余列130中的画面被称为非基准画面。

在下文中，将提供对通过使用分层B画面对在预定时间周期内输入的具有第一视点S0的图像画面进行编码的示例的描述。从具有第一视点S0的输入的图像画面之中，在第一时间T0输入的画面111和在最后时间T8输入的画面121被编码为I画面。接下来，通过参考作为基准画面的I画面111和I画面121对在时间T4输入的画面131进行双向预测编码，并随后将其编码为B画面。通过使用I画面111和B画面131对在时间T2输入的画面132进行双向预测编码，并随后将其编码为B画面。相似地，通过使用I画面111和B画面132对在时间T1输入的画面133进行双向预测编码，通过使用B画面132和B画面131对在时间T3输入的画面134进行双向预测编码。按照这种方式，由于通过使用基准画面按照分层方式对具有相同视点的图像序列进行双向预测编码，因此通过使用这种预测编码方法编码的图像序列被称为分层B画面。在图1的Bn(n=1、2、3和4)中，n指示被第n次双向预测的B画面。例如，B1指示通过使用作为I画面或P画面的基准画面被首先双向预测的画面。B2指示在B1画面之后被双向预测的画面，B3指示在B2画面之后被双向预测的画面，B4指示在B3画面之后被双向预测的画面。

当多视点视频序列被编码时，可通过使用分层B画面对作为基本视点的具有第一视点S0的图像画面组进行编码。为了对具有其它视点的图像序列进行编码，首先，通过使用具有第一视点S0的I画面111和I画面121执行视点间预测，包括在基准画面110和基准画面120中的具有奇数视点S2、S4和S6的图像画面和具有最后视点S7的图像画面被预测编码为P画面。根据视点间预测，通过使用具有邻近视点的图像画面对包括在基准画面110和基准画面120中的具有偶数视点S1、S3和S5的图像画面进行双向预测，并将其编码为B画面。例如，通过使用具有邻近视点S0和邻近视点S2的I画面111和P画面112对具有第二视点S1的在时间T0输入的B画面113进行双向预测。

如上所述，当具有所有视点并被包括在基准画面110和基准画面120中的图像画面中的每一个被编码为I画面、B画面和P画面中的任何一个时，通过使用分层B画面执行时间预测和视点间预测来对非基准画面130进行双向预测编码。

根据使用分层B画面的时间预测，通过使用具有相同视点的基准画面对非基准画面130之中的具有奇数视点S2、S4和S6的图像画面和具有最后视点S7的图像画面进行双向预测编码。通过不仅执行使用分层B画面的时间预测还执行使用具有邻近视点的画面的视点间预测来对非基准画面130之中的具有偶数视点S1、S3、S5和S7的图像画面进行双向预测。例如，通过使用基准画面113和基准画面123以及具有邻近视点的画面131和画面135对具有第二视点S1的在时间T4输入的画面136进行预测。

如上所述，通过使用具有不同视点并在同一时间输入的I画面或先前的P画面来对包括在基准画面110和基准画面120中的P画面进行预测编码。例如，通过使用I画面121作为参考画面对在第三视点S2处的在时间T8输入的P画面122进行预测编码，其中，I画面121在第一视点S0处的在同一时间被输入。

在图1的多视点视频序列中，通过使用具有不同视点的画面作为预测画面来对P画面和B画面进行预测编码，其中，所述画面在同一时间被输入。在预测编码模式中，跳过模式和直接模式基于在当前块之前被编码的块的至少一个运动矢量来确定当前块的运动矢量，基于确定的运动矢量对当前块进行编码，并不单独地将运动矢量编码为关于当前块的信息。在直接模式中，作为当前块和通过使用当前块的邻近块的运动矢量而产生的预测块之间的差的残差块被编码为关于像素值的信息。另一方面，在跳过模式下，仅对指示当前块被视为与预测块相同并从而在跳过模式下被编码的语法信息进行编码。

直接模式和跳过模式不单独对运动矢量进行编码，从而大大提高了压缩率。然而，根据现有技术，仅对具有相同视点的图像序列应用直接模式和跳过模式，也就是说，仅在时间方向应用直接模式和跳过模式，并不对具有不同视点的图像序列应用直接模式和跳过模式。因此，本示例性实施例提供一种跳过模式，其中，在所述跳过模式中，通过参考具有与在多视点视频序列被编码时而编码的当前块的视点不同的视点的参考帧来执行预测编码，并且关于当前块的运动矢量信息不被单独编码，使得提高多视点视频的压缩率。

图2是示出根据示例性实施例的视频编码设备200的配置的框图。

参照图2，用于对多视点图像205进行编码的视频编码设备200包括帧内预测单元210、运动预测单元220、运动补偿单元225、频率变换单元230、量化单元240、熵编码单元250、反量化单元260、频率反变换单元270、去块单元280和环路滤波单元290。

帧内预测单元210对多视点图像之中的被编码为基准画面中的I画面的块执行帧内预测，运动预测单元220和运动补偿单元225通过参考被包括在具有与编码的当前块相同的视点的图像序列中并具有不同画面顺序数（POC）的参考帧或通过参考具有与当前块不同的视点并具有与当前块相同的POC的参考帧，来分别执行运动预测和运动补偿。具体地，如将稍后所述，根据本示例性实施例的运动预测单元220和运动补偿单元225可按照跳过模式来对当前块进行预测，其中，在所述跳过模式下，通过参考具有与当前块不同的视点的参考帧执行预测编码，并且不对关于当前块的运动矢量信息进行单独编码。

从帧内预测单元210、运动预测单元220和运动补偿单元225输出的数据通过频率变换单元230和量化单元240，并随后被输出为量化的变换系数。由反量化单元260和频率反变换单元270将量化的变换系数恢复为空间域中的数据，由去块单元280和环路滤波单元290对空间域中的恢复图像进行后处理，并随后将其输入为参考帧295。这里，与多视点图像序列中具有不同视点的图像序列相比，参考帧295可以是具有特定视点并被先前编码的图像序列。例如，当按照视点方向对具有不同视点的图像序列进行预测编码时，包括基准画面并具有特定视点的图像序列先于具有不同视点的图像序列被编码，并被用作参考画面。可由熵编码单元250将量化的变换系数输出为比特流255。

在下文中，提供关于当按照视点方向执行预测编码时按照跳过模式对当前块进行编码的处理的详细描述。

图3是用于描述根据示例性实施例的按照视点方向跳过模式执行的预测编码处理的参考示图。

参照图3，视频编码设备200对包括在具有第二视点（视点0）的图像序列310中的帧311、帧312和帧313执行预测编码，并随后恢复包括在被编码的具有第二视点（视点0）的图像序列310中的帧311、帧312和帧313来用作用于对具有不同视点的图像序列进行预测编码的参考帧。也就是说，包括在具有第二视点（视点0）的图像序列310中的帧311、帧312和帧313被编码，并随后在具有第一视点（视点1）的包括帧321、帧322和帧323的图像序列（320）之前被恢复。如图3所示，包括在具有第二视点（视点0）的图像序列310中的帧311、帧312和帧313可以是通过参考包括在图像序列310中的其它帧按照时间方向被预测编码的帧，或可以是通过参考具有不同视点（未示出）的图像序列被预测编码并随后被恢复的帧。在图3中，箭头表示指示参考哪个参考帧来预测每一帧的预测方向。例如，可通过参考具有相同视点的另一P帧321或可通过参考具有第二视点（视点0）和相同POC2的P帧313来对具有第一视点（视点1）并包括将被编码的当前块324的P帧323进行预测编码。可按照与根据现有技术的预测编码处理相同的方式来执行在包括在具有相同视点的图像序列中的帧中的预测编码处理，从而，下文中，提供关于通过参考具有不同视点的参考帧来执行预测编码的视点方向预测编码处理的描述。

运动预测单元220通过使用邻近块的视点方向运动矢量来产生当前块324的视点方向跳过运动矢量，其中，所述邻近块参考具有第二视点（视点0）并被先前编码且存储的帧，并在具有第一视点（视点1）的当前块324的邻近块之中。这里，视点方向运动矢量表示指示具有不同视点的参考帧的运动矢量，视点方向跳过运动矢量表示根据示例性实施例的用于在视点方向跳过模式下对当前块进行运动补偿的矢量，其中，在所述示例性实施例中，仅模式信息作为当前块324的运动矢量信息被发送，实际运动矢量信息不被发送。换句话说，视点方向跳过运动矢量表示用于确定视点方向参考帧的相应区域的矢量，其中，所述矢量与根据现有技术的在时间方向跳过模式下从当前块的邻近块确定的跳过模式运动矢量相似。

当运动预测单元220确定当前块324的视点方向跳过运动矢量时，运动补偿单元225将相应区域314确定为当前块324的预测值，其中，相应区域314由视点方向跳过运动矢量来指示并在P帧313中，其中，P帧313被包括在具有第二视点（视点0）的图像序列310中，并具有与包括当前块324的P帧323相同的POC2。在视点方向跳过模式下，相应区域314被视为当前块324的值，使得仅对指示视点方向跳过模式的语法信息进行编码。在视点方向直接模式下，发送作为相应区域314和当前块324之间的差值的残差信息以及指示直接模式的语法信息。

图4是用于描述根据示例性实施例的产生视点方向跳过运动矢量的处理的参考示图。

参照图4，假设包括在具有第二视点（视点0）的图像序列410中的帧440和帧460被编码并随后先于具有第一视点（视点1）的图像序列420被恢复，并且包括将被编码的当前块431的帧430具有POC（n+1）。另外，如图4所示，假设当前块431的邻近块432到邻近块440之中，a0432、a2434、b1436、c439和d440中的每一个是通过参考a0441、a2444、b1443、c446和d445中的每一个被预测编码的视点方向预测邻近块，其中，所述a0441、a2444、b1443、c446和d445中的每一个是具有相同POC（n+1）且具有与包括当前块431的帧430不同的视点（视点0）的帧440的相应区域。另外，假设a1433、b0435、b2437和e438中的每一个是通过参考a1451、b0452、b2453和e454中的每一个被预测编码的时间方向预测邻近块，其中，所述a1451、b0452、b2453和e454中的每一个是包括在图像序列420中的帧450的相应区域，并具有与当前块431相同的视点，以及具有不同的POC n。

如上所述，运动预测单元220通过使用邻近块的视点方向运动矢量来产生当前块431的视点方向跳过运动矢量，其中，所述邻近块参考具有第二视点（视点0）并被先前编码且恢复的帧，并在具有第一视点（视点1）并将被编码的当前块431的邻近块432至邻近块440之中。详细地，运动预测单元220通过使用a0432、a2434、b1436、c439和d440的视点方向运动矢量来产生当前块431的视点方向跳过运动矢量，其中，所述a0432、a2434、b1436、c439和d440是参考具有与包括当前块431的帧430相同的POC(n+1)以及具有与包括当前块431的帧430不同的视点（视点0）的参考帧440的邻近块。如前述的示例中，在邻近块具有多个视点方向运动矢量的情况下，可使用中值来确定将被应用于当前块431的一个视点方向运动矢量。例如，运动预测单元220可在布置在当前块431上侧的邻近块a0至邻近块a2之中确定第一代表视点方向运动矢量mv_view1，可在布置在当前块431左侧的邻近块b0至邻近块b2之中确定第二代表视点方向运动矢量mv_view2，可在布置在当前块431的拐角处的块c、块d和块e之中确定第三代表视点方向运动矢量mv_view3，并随后将第一代表视点方向运动矢量mv_view1、第二代表视点方向运动矢量mv_view2、第三代表视点方向运动矢量mv_view3的中值确定为当前块431的视点方向跳过运动矢量。

如前述的示例中，在布置在当前块431上侧的邻近块a0至邻近块a2之中的多个邻近块a0432和邻近块a2434具有视点方向运动矢量的情况下，可将被首先扫描的邻近块a0432视点方向运动矢量确定为第一代表视点方向运动矢量mv_view1。相似地，当假设如果布置在当前块431的拐角处的邻近块438、邻近块439和邻近块440之中的多个邻近块c439和邻近块d440具有视点方向运动矢量，则根据预定扫描顺序（例如，c、d和e的顺序）来读取拐角处的邻近块的多条运动预测信息，可将首先确定具有视点方向运动矢量的邻近块c439的视点方向运动矢量确定为第三代表视点方向运动矢量mv_view3。在布置在当前块431左侧的块、布置在当前块431上侧的块和布置在当前块431拐角处的块不参考具有第二视点（视点0）的帧440的情况下，可通过针对相应组的邻近块将代表视点方向运动矢量设置为0来计算中值。例如，在参考帧440的视点方向预测的邻近块不存在于布置在当前块431的左侧的邻近块435、邻近块436、邻近块437中的情况下，可通过将第二代表视点方向运动矢量mv_view2设置为0来计算中值。

当当前块431的视点方向跳过运动矢量被确定时，运功补偿单元225将相应区域确定为当前块431的预测值，其中，相应区域由视点方向跳过运动矢量来指示并在具有第二视点（视点0）的帧440中。如上所述，在视点方向跳过模式下，相应区域被视为当前块431的值，使得仅对指示视点方向跳过模式的语法信息进行编码，在视点方向直接模式下，除了指示直接模式的语法信息以外，还发送作为相应区域和当前块431之间的差值的残差信息。

图5是用于描述根据另一示例性实施例的产生视点方向跳过运动矢量的处理的参考示图。

参照图5，假设具有与当前块511相同的视点（视点1）并具有与当前帧510的POC（n+1）不同的POC n的帧520的共同定位块521是参考帧530的视点方向预测块并具有视点方向运动矢量mv_col，其中，帧530包括块531并具有不同视点（视点0）。在这种情况下，运动预测单元220可将共同定位块521的视点方向运动矢量mv_col确定为当前块511的视点方向跳过运动矢量。另外，运动预测单元220可通过使用参考帧520并在当前块511的多个邻近块之中的邻近块的时间方向运动矢量来移动共同定位块521，并且可将移动的相应块522的视点方向运动矢量确定为当前块511的视点方向跳过运动矢量。例如，当假设当前块511的邻近块a512、邻近块b513和邻近块c514是参考帧520的时间方向预测的邻近块时，运动预测单元220可计算邻近块a512、邻近块b513和邻近块c514的中值mv_med，可通过将共同定位块521移动多达中值mv_med来确定移动的相应块522，并随后可将移动的相应块522的视点方向运动矢量确定为当前块511的视点方向跳过运动矢量。

图6是用于描述根据另一示例性实施例的产生视点方向跳过运动矢量的处理的参考示图。

参照图6，假设具有与当前块611的视点（视点1）不同的视点（视点2）并具有与当前帧610的POC（n+1）相同的POC的帧620的共同定位块621是参考具有不同视点（视点3）和块631的帧630的视点方向预测块，并具有视点方向运动矢量mv_col。在这种情况下，运动预测单元220可将共同定位块621的视点方向运动矢量mv_col确定为当前块611的视点方向运动矢量。另外，运动预测单元220可通过使用参考帧620并在当前块611的多个邻近块之中的邻近块的视点方向运动矢量来移动共同定位块621，并可将移动的相应块622的视点方向运动矢量确定为当前块611的视点方向跳过运动矢量。例如，当假设当前块611的邻近块a612、邻近块b613和邻近块c614是参考帧620的视点方向预测的邻近块，运动预测单元220可计算邻近块a612、邻近块b613和邻近块c614的中值mv_med，可通过将共同定位块621移动多达中值mv_med来确定移动的相应块622，并随后可将移动的相应块622的视点方向运动矢量确定为当前块611的视点方向跳过运动矢量。

当根据上面参照图4至图6的描述的各种处理产生视点方向跳过运动矢量时，根据本示例性实施例的视频编码设备200可根据产生视点方向跳过运动矢量的处理来比较代价，可将具有最优（即，最小）代价的视点方向跳过运动矢量确定为最终的视点方向跳过运动矢量，并可仅对指示产生相应视点方向跳过运动矢量的处理的索引信息进行编码。例如，当假设通过使用当前块的邻近块之中的视点方向运动矢量来产生当前块的视点方向跳过运动矢量的情况是模式0，通过使用具有与当前块相同的视点并被包括在另一帧中的共同定位块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量的情况是模式1，使用通过移动具有与当前块相同的视点并被包括在另一帧中的共同定位块而获得的相应块的视点方向运动矢量的情况是模式2，使用包括在具有当前块的不同视点并具有相同POC的帧中的共同定位块的视点方向运动矢量的情况是模式4，使用通过移动包括在具有当前块的不同视点并具有相同POC的帧中的共同定位块而获得的相应块的视点方向运动矢量的情况是模式5时，熵编码单元250可仅将模式信息添加到比特流，其中，所述模式信息被用于产生当前块的最终视点方向跳过运动矢量。在视点方向跳过模式下，仅对模式信息进行编码，在视点方向直接模式下，可对除了模式信息以外的信息进行编码，其中，所述信息是关于作为当前块和通过使用视点方向跳过运动矢量而获得的当前块的运动补偿值之间的差值的残差数据的信息。

图7是根据示例性实施例的对多视点视频进行编码的方法的流程图。

参照图7，在操作710，运动预测单元220通过使用参考具有第二视点并被先前编码且恢复的帧的块的视点方向运动矢量来产生具有第一视点并将被编码的当前块的视点方向跳过运动矢量。如上所述，可通过使用当前块的多个邻近块之中的邻近块的视点方向运动矢量、通过使用具有与当前块相同的视点并被包括在另一帧中的共同定位块的视点方向运动矢量、通过使用通过移动具有与当前块相同的视点并被包括在另一帧中的共同定位块而获得的相应块的视点方向运动矢量、通过使用包括在具有与当前块不同的视点并具有相同POC的帧中的共同定位块的视点方向运动矢量、或通过使用通过移动包括在具有与当前块不同的视点并具有相同POC的帧中的共同定位块而获得的相应块的视点方向运动矢量来确定视点方向跳过运动矢量。

在操作720，运动补偿单元225通过基于跳过运动矢量参考具有第二视点的帧对当前块执行运动补偿。

在操作730和操作740，熵编码单元250对关于跳过运动矢量的模式信息进行编码。如上所述，在视点方向跳过模式下，仅对模式信息进行编码，在视点方向直接模式下，对除了模式信息以外的信息进行编码，其中，所述信息是关于作为当前块和通过使用视点方向跳过运动矢量而获得的当前块的运动补偿值之间的差值的残差数据的信息。

图8是示出根据示例性实施例的视频解码设备的框图。

参照图8，视频解码设备800包括解析单元810、熵解码单元820、反量化单元830、频率反变换单元840、帧内预测单元850、运动补偿单元860、去块单元870、环路滤波单元880。

在比特流805通过解析单元810时，对将被解码的编码多视点图像数据和解码所需要的信息进行解析。熵解码单元820和反量化单元830将编码多视点图像数据输出为反量化的数据，由频率反变换单元840恢复在空间域中的图像数据。

针对在空间域中的图像数据，帧内预测单元850对帧内模式块执行帧内预测，运动补偿单元860通过使用参考帧885对帧间模式块执行运动补偿。具体地，在将被解码的当前块的预测模式信息指示视点方向跳过模式的情况下，根据本示例性实施例的运动补偿单元860通过使用参考具有第二视点并被先前解码的帧的块的视点方向运动矢量来产生具有第一视点并将被解码的当前块的视点方向跳过运动矢量，通过基于视点方向跳过运动矢量参考具有第二视点的帧来对当前块执行运动补偿，并随后将运动补偿的值直接确定为当前块的恢复值。如果当前块的预测模式信息指示视点方向直接模式，则运动补偿单元860通过将从频率反变换单元840输出的当前块的残差值和通过视点方向跳过运动矢量而获得的运动补偿的值相加来补偿当前块。通过使用运动补偿单元860来产生视点方向跳过运动矢量的处理与上面参考图2描述的通过使用运动预测单元220来产生视点方向跳过运动矢量的处理相同，因此，省略详细的描述。

已经经过帧内预测单元850和运动补偿单元860的空间域中的图像数据可通过去块单元870和环路滤波单元880被后处理，并且可被输出为恢复帧895。另外，由去块单元870和环路滤波单元880后处理的数据可被输出为参考帧885。

图9是根据示例性实施例的对视频进行解码的方法的流程图。

参照图9，在操作910，熵解码单元820对比特流中的具有第一视点的当前块的预测模式信息进行解码。

在操作920，当当前块的预测模式信息指示视点方向跳过模式时，运动补偿单元860通过使用参考具有第二视点并被预先解码的帧的块的视点方向运动矢量来产生具有第一视点并将被解码的当前块的视点方向跳过运动矢量。随后，在操作930，基于视点方向跳过运动矢量，运动补偿单元860通过参考具有第二视点的帧来对当前块执行运动补偿。

在操作940，将当前块的运动补偿值和从比特流提取的残差值相加，使得恢复当前块。操作940在视点方向直接模式下执行，并且在视点方向跳过模式的情况下，运动补偿值与恢复的当前块相应，使得操作940可被省略。

示例性实施例提供一种跳过模式，在所述跳过模式中，不仅按照时间方向还按照视点方向对当前块的运动矢量进行预测，并且仅发送模式信息。通过这样做，可提高对多视点视频进行编码中的压缩率。

示例性实施例还可被实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是任何可存储其后可被计算机系统读取的数据的数据存储装置。所述计算机可读记录介质的示例包括：只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘、光学数据存储装置等。所述计算机可读记录介质还可被分布在联网的计算机系统上，从而所述计算机可读代码以分布式方式被存储和执行。

所述示例性实施例可被实现为设备，其中，所述设备包括：总线，与设备的每个单元连接；至少一个处理器（例如，中央处理器、微处理器等），与总线连接，用于控制装置的操作来实现上述功能和执行命令；存储器，与总线连接来存储命令、接收到的消息和产生的消息。

如技术人员将理解的，可由执行特定任务的软件和/或硬件组件（诸如，现场可编程门阵列（FPGA）或专用集成电路（ASIC））的任意组合来实现包括单元和/或模块的示例性实施例。单元或模块可方便地被配置在可寻址的存储介质中，并被配置为来在一个或多个处理器或微处理器上执行。因此，例如，单元或模块可包括组件（诸如，软件组件、面向对象的软件组件、类组件、任务组件）、进程、函数、属性、过程、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在组件和单元中提供的功能可被组合为更少的组件和单元或模块，或者进一步被分离为附加组件和单元或模块。

虽然已经参照本发明的示例性实施例具体地示出和描述了本发明，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims

1.一种对多视点视频进行编码的方法，所述方法包括：

产生多视点视频的当前块的视点方向跳过运动矢量，其中所述当前块具有第一视点，并通过使用参考具有第二视点并被先前编码的帧的块的视点方向运动矢量而被编码；

基于视点方向跳过运动矢量，通过参考具有第二视点的帧对当前块执行运动补偿；

对关于视点方向跳过运动矢量的模式信息进行编码。

2.如权利要求1所述的方法，其中，所述产生的步骤包括：通过使用邻近块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，其中，所述邻近块参照具有第二视点的帧并在当前块之前编码的多个邻近块之中。

3.如权利要求1所述的方法，其中，当前块的视点方向跳过运动矢量包括：在布置在当前块的左侧并参考具有第二视点的帧的块的视点方向运动矢量之中选择的视点方向运动矢量的中值，布置在当前块的上侧并参考具有第二视点的帧的块的视点方向运动矢量，布置在拐角处的在当前块之前被编码并参考具有第二视点的帧的块的视点方向运动矢量。

4.如权利要求1所述的方法，其中，所述产生的步骤包括：通过使用除了当前块的当前帧以外的帧的共同定位相应块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，其中，共同定位相应块具有第一视点。

5.如权利要求1所述的方法，其中，所述产生的步骤包括：通过基于邻近块的时间方向运动矢量来移动包括在与当前块不同的帧中的共同定位相应块，并使用移动的共同定位相应块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，其中，所述邻近块参考与包括具有第一视点的当前块的帧不同的帧，并在当前块之前编码的多个邻近块之中。

6.如权利要求1所述的方法，其中，所述产生的步骤包括：通过基于邻近块的视点方向运动矢量移动包括在具有与当前块相同的画面顺序数POC并具有与具有第一视点的当前块不同的第三视点的帧中的共同定位相应块，并使用移动的共同定位相应块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，其中，所述邻近块参考与包括具有第一视点的当前块的帧不同的帧，并在当前块之前编码的多个邻近块之中。

7.如权利要求1所述的方法，其中，编码的步骤包括：对索引信息进行编码，其中，所述索引信息用于根据预定索引识别产生当前块的视点方向跳过运动矢量的处理，并用于指示多个处理之中的用于产生当前块的视点方向跳过运动矢量的处理。

8.一种对多视点视频进行解码的方法，所述方法包括：

对比特流中的多视点视频的当前块的预测模式信息进行解码，其中，所述当前块具有第一视点；

通过使用参考具有第二视点并被先前解码的块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量；

基于视点方向跳过运动矢量，通过参考具有第二视点的帧来对当前块执行运动补偿；

通过将当前块的运动补偿值和从比特流提取的残差值相加来恢复当前块。

9.如权利要求8所述的方法，其中，所述产生的步骤包括：通过使用邻近块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，其中，所述邻近块参考具有第二视点的帧并在当前块之前解码的多个邻近块之中。

10.如权利要求8所述的方法，其中，当前块的视点方向跳过运动矢量包括：在布置在当前块的左侧并参考具有第二视点的帧的块的视点方向运动矢量之中选择的视点方向运动矢量的中值，布置在当前块的上侧并参考具有第二视点的帧的块的视点方向运动矢量，布置在拐角处的在当前块之前被解码并参考具有第二视点的帧的块的视点方向运动矢量。

11.如权利要求8所述的方法，其中，所述产生的步骤包括：通过使用除了当前块的当前帧以外的帧的共同定位相应块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，所述共同定位相应块具有第一视点。

12.如权利要求8所述的方法，其中，所述产生的步骤包括：通过基于邻近块的时间方向运动矢量移动包括在与当前块不同的帧中的共同定位相应块，并使用移动的共同定位相应块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，其中，所述邻近块参考与包括具有第一视点的当前块的帧不同的帧并在当前块之前解码的邻近块之中。

13.如权利要求8所述的方法，其中，所述产生的步骤包括：通过基于邻近块的视点方向运动矢量移动包括在具有与当前块相同的画面顺序数（POC）并具有与具有第一视点的当前块不同的第三视点的帧中的共同定位相应块，并使用移动的共同定位相应块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，其中，所述邻近块参考与包括具有第一视点的当前块的帧不同的帧，并在当前块之前解码的邻近块之中。

14.如权利要求8所述的方法，其中，当通过使用视点方向跳过运动矢量对当前块进行编码时，预测模式信息包括用于识别产生当前块的视点方向跳过运动矢量的处理的预定索引信息。

15.一种用于对多视点视频进行解码的视频解码设备，所述视频解码设备包括：

熵解码单元，用于对比特流中的多视点视频的当前块的预测模式信息进行解码，其中，所述当前块具有第一视点；

运动补偿单元，当预测模式信息指示视点方向跳过模式时，通过使用具有第一视点并将被解码的当前块的多个邻近块之中的邻近块的视点方向运动矢量来产生当前块的视点方向跳过运动矢量，并基于视点方向跳过运动矢量，通过参考具有第二视点的帧来对当前块执行运动补偿，其中，所述邻近块参考具有第二视点的帧并被先前解码；

恢复单元，通过将当前块的运动补偿值和从比特流提取的残差值相加来恢复当前块。