CN102984516B - 编码多视图图像的方法及装置 - Google Patents

Abstract

提供一种用于编码多视图图像的方法及装置。该编码多视图图像的方法，该方法包括：基于时间级别从多视图图像序列中选择要被使用视图间预测和时间预测编码的图片；以及使用视图间预测和时间预测编码所选择的图片，并且使用时间预测来编码包括在该多视图图像序列中的其余图片，其中时间级别是用于通过将图像序列分割成多个电平来提供时间可分级的参数。

Description

编码多视图图像的方法及装置

本案是申请日为2008年3月6日、申请号为200880019798.7、发明名称为“编码和解码多视图图像的方法和装置”的发明专利申请的分案申请。

技术领域

与本发明一致的方法和装置一般涉及编码和解码多视图图像，更具体地，涉及编码和解码多视图图像以便执行高速编码和解码所需的视图间预测和时间预测。

背景技术

在多视图图像编码中，同时编码从提供多视图图像的多个照相机输入的图像。使用时间相关性和视图间空间相关性来压缩编码多视图图像。

图1示出了根据现有技术的多视图图像的序列。

在图1中，水平轴为时间轴，垂直轴为视图轴。在多视图图像编码中，对于来自于基本视图和时间预测的图像周期性地产生内（I）图片（picture），或者基于产生的I图片执行视图间预测，从而预测编码其它的图片。

使用同一视图（即，同一行）中的图像之间的时间相关性来执行时间预测。使用同一时间点（即，同一列）处的图像之间的空间相关性来执行视图间预测。

在图1中，每行示出了多视图图像的每个视图随时间的图像序列，每列自上而下依次示出了视图0、1、2到7的图像序列。视图0为基本视图，以及第一行中的图像序列来自于该基本视图。仅仅使用时间预测而不使用视图间预测来对包括在来自于基本视图的图像序列中的图片进行预测编码。

每列示出了同一时间点处的多视图图像。包括在列110、120和130中的图片（其中，来自于基本视图的图像为I图片）被称为锚（anchor）图片。仅仅使用视图间预测来对锚图片进行编码。

除了包括I图片的列110、120和130之外的其余列中包括的图片被称为非锚图片。使用时间预测和视图间预测二者来对非锚图片进行预测编码。

在图1所示的序列当中，将以第二行和第五列中的图片141作为示例。使用视图间预测和时间预测二者来对包括在图片141中的每个块进行预测。由于预测方法可以对于每个块都不同，因此将参考位于邻近于图片141处的奇数行中的图片142和143以及在时间上在图片141之前或之后的图片111和121，以便预测图片141。

相似地，根据现有技术，将不得不使用需要参考四个图片的视图间预测和时间预测来预测编码非锚图片，结果导致低速的多视图图像编码。

发明内容

技术方案

本发明提供一种用于对多视图图像进行编码和解码的方法和装置以及其上记录有用于执行该方法的程序的计算机可读记录介质，其中可以高效地对多视图图像序列进行高速编码和解码。

具体地，本发明提供一种编码多视图图像的方法，该方法包括：基于时间级别从多视图图像序列中选择要被使用视图间预测和时间预测编码的图片；以及使用视图间预测和时间预测编码所选择的图片，并且使用时间预测来编码包括在该多视图图像序列中的其余图片，其中时间级别是用于通过将图像序列分割成多个电平来提供时间可分级的参数。

本发明还提供一种用于编码多视图图像的装置，该装置包括：选择单元，基于时间级别从多视图图像序列中选择要被使用视图间预测和时间预测编码的图片；以及编码单元，使用视图间预测和时间预测来编码所选择的图片，并且使用时间预测来编码包括在该多视图图像序列中的其余图片，其中时间级别是用于通过将图像序列分割成多个电平来提供时间可分级的参数。。

有益效果

在预测中，基于提取的信息确定不是用于视图间预测的参考图像的图片不被参考用于视图间预测。由于可以高效地以高速执行视图间预测，因此多视图图像解码的速度也提高了。

如上所述，根据本发明，在多视图图像的编码和解码期间，使用视图间预测来对包括在多视图图像序列中的仅仅一些图片进行预测编码和解码，从而加速了编码和解码。

此外，当预测不使用视图间预测的图片时，仅参考少量图片，从而使得可以有效利用预测编码和解码所需的存储器。

附图说明

通过下面参考附图对本发明的示范性实施例的详细描述，本发明的上述及其它方面将变得更加明显，其中：

图1示出了根据现有技术的多视图图像的序列；

图2是示出了根据本发明的示范性实施例的用于编码多视图图像的装置的框图；

图3示出了根据本发明的示范性实施例的多视图图像的序列的时间级别（temporal level）；

图4A示出了根据本发明的示范性实施例的多视图图像的序列；

图4B示出了根据本发明的示范性实施例的多视图图像的序列和它们的时间级别；

图5示出了根据本发明的示范性实施例的网络提取层（NAL）单元报头的语法；

图6A和6B示出了根据本发明的示范性实施例的序列参数集的语法；

图6C和6D示出了根据本发明的示范性实施例的补充增强信息（SEI）消息的语法；

图7是根据本发明的示范性实施例的编码多视图图像的方法的流程图；

图8是根据本发明的另一个示范性实施例的编码多视图图像的方法的流程图；

图9是示出了根据本发明的示范性实施例的用于解码多视图图像的装置的框图；以及

图10是根据本发明的示范性实施例的解码多视图图像的方法的流程图。

具体实施方式

根据本发明的一方面，提供一种编码多视图图像的方法。该方法包括：确定包括在该多视图图像的序列（以下将被称为多视图图像序列）中的每个图片是否为被包括在该多视图图像序列中的其它图片参考用于视图间预测的参考图片；以及基于确定结果使用视图间预测和时间预测中的至少一个来编码该图片。

该图片的编码可以包括编码每个图片的参数，其指示每个图片是否为该参考图片。

根据本发明的另一方面，提供一种用于编码多视图图像的装置。该装置包括：确定单元，确定包括在该多视图图像序列中的每个图片是否为被包括在该多视图图像序列中的其它图片参考用于视图间预测的参考图片；以及编码单元，基于确定结果使用视图间预测和时间预测中的至少一个来编码该图片。

该编码单元可以基于该确定结果编码关于被每个图片参考以用于视图间预测和时间预测中的至少一个的参考图片的信息。

根据本发明的另一方面，提供一种解码多视图图像的方法。该方法包括：接收比特流，该比特流包括指示包括在多视图图像序列中的每个图片是否为被包括在该多视图图像序列中的其它图片参考以用于视图间预测的参考图片的信息和关于该多视图图像序列的数据；从接收到的比特流中提取该信息和关于该多视图图像序列的数据；以及基于提取的信息解码该关于多视图图像序列的数据。

该信息可以包括在每个图片的参数中。

根据本发明的另一方面，提供一种用于解码多视图图像的装置。该装置包括：提取单元，接收比特流，该比特流包括指示包括在多视图图像序列中的每个图片是否为被包括在该多视图图像序列中的其它图片参考以用于视图间预测的参考图片的信息和关于该多视图图像序列的数据，以及从接收到的比特流中提取该信息和关于该多视图图像序列的数据；以及解码单元，基于提取的信息解码该关于多视图图像序列的数据。

根据本发明的另一方面，提供一种编码多视图图像的方法。该方法包括：基于时间级别从多视图图像序列中选择要使用视图间预测和时间预测编码的图片；以及使用视图间预测和时间预测编码所选择的图片，并且使用视图间预测和时间预测中的一个来编码包括在该多视图图像序列中的其余图片。

所述选择图片可以包括从包括在该多视图图像序列中的所有图片当中选择时间级别小于预定值的非锚图片。

所述编码选择的图片可以包括编码关于选择的图片的信息。

根据本发明的另一方面，提供一种用于编码多视图图像的装置。该装置包括：选择单元，基于时间级别从多视图图像序列中选择要被使用视图间预测和时间预测编码的图片；以及编码单元，使用视图间预测和时间预测编码所选择的图片，并且使用视图间预测和时间预测中的一个来编码包括在该多视图图像序列中的其余图片。

根据本发明的另一方面，提供一种解码多视图图像的方法。该方法包括：接收比特流，该比特流包括关于多视图图像序列中使用视图间预测和时间预测编码的图片的信息和关于该多视图图像序列的数据；从接收到的比特流中提取该信息；以及基于所提取的信息来解码关于该多视图图像序列的数据。

该信息可以包括在序列参数中或补充增强信息（SEI）消息中。

根据本发明的另一方面，提供一种用于解码多视图图像的装置。该装置包括：提取单元，接收比特流，该比特流包括关于多视图图像序列中使用视图间预测和时间预测编码的图片的信息和关于该多视图图像序列的数据，以及从接收到的比特流中提取该信息；以及解码单元，基于所提取的信息来解码关于该多视图图像序列的数据。

根据本发明的另一方面，提供一种计算机可读记录介质，其上记录有用于执行编码多视图图像的方法和解码多视图图像的方法的程序。

在下文中，将参考附图详细描述本发明的示范性实施例。应当注意，相似的参考数字指代一个或多个附图中所示的相似的元件。在本发明的以下描述中，为了简明清楚，将略去合并于此的已知功能和配置的详细说明。

图2是示出了根据本发明的示范性实施例的用于编码多视图图像的装置200的框图。

参考图2，装置200包括控制单元210和编码单元220。

根据本发明的示范性实施例，控制单元210确定包括在多视图图像的序列（以下将被称为多视图图像序列）中的图片是否为被包括在该多视图图像序列中的其它图片参考以用于视图间预测的参考图片。

使用时间上相邻的图片之间的时间相关性和相邻的视图中的图片之间的空间相关性来预测编码多视图图像序列。多视图图像序列中的一些可以具有高的时间相关性和低的空间相关性。在这种情况下，对于如图1所示的所有非锚图片使用空间相关性进行的视图间预测仅仅增加了多视图图像编码所需的时间，而并未有助于压缩率的改善。

因而，根据本发明的示范性实施例的用于编码多视图图像的装置200通过仅仅对一些非锚图片执行视图间预测而不是对所有非锚图片执行视图间预测来执行预测编码。为此，控制单元210确定包括在多视图图像序列中的每个图片是否充当用于视图间预测的参考图片。换句话说，控制单元210确定每个图片是否被其它图片参考以通过视图间预测进行预测编码。

根据本发明的另一个示范性实施例，控制单元210基于时间级别从多视图图像序列中选择要被使用视图间预测和时间预测编码的图片。控制单元210选择哪一个图片将被使用视图间预测编码，而不是确定每个图片是否被其它图片参考以用于视图间预测。根据现有技术，使用视图间预测和时间预测来预测编码所有非锚图片。但是，根据本发明，为了使用视图间预测编码仅仅一些非锚图片，基于时间级别从多视图图像序列中选择要被使用视图间预测和时间预测编码的图片。

时间级别是用于通过将图像序列分割成多个电平（level）来提供时间可分级的参数，以便使得在图像解码期间仅仅选择一些电平并解码，下面将参考图3进行详细描述。

图3示出了根据本发明的示范性实施例的多视图图像序列的时间级别。

参考图3，多视图图像序列中的锚图片310和312的时间级别为‘0’。插入在锚图片310和锚图片312之间的图片314的时间级别为‘1’。插入在时间级别为‘0’的图片和时间级别为‘1’的图片之间的图片316和318的时间级别为‘2’。多视图图像序列的其余图片的时间级别为‘3’。

图4A示出了根据本发明的示范性实施例的多视图图像序列。

图4A所示的多视图图像序列是通过控制单元210确定包括在多视图图像序列中的每个图片是否被参考以用于视图间预测或通过控制单元210选择要被使用视图间预测和时间预测编码的图片来产生的。因而，图4A所示的多视图图像序列不同于根据图1所示的现有技术的多视图图像序列。

例如，在根据图1所示的现有技术的多视图图像序列中，第二行和第二列中的图片144参考第一行和第二列中的图片145以及第三行和第二列中的图片146用于视图间预测。换句话说，第一行和第二列中的图片145以及第三行和第二列中的图片146为用于图片144的视图间预测的参考图片。

但是，在根据图4A所示的本发明的示范性实施例的多视图图像中，第二行和第二列中的图片420不参考第一行和第二列中的图片422以及第三行和第二列中的图片用于视图间预测。取而代之，图片420仅参考第二行和第三列中的图片426以及第二行和第一列中的图片428用于时间预测。

在根据图1所示的现有技术的多视图图像序列中，非锚图片当中的所有奇数行的图片被其它图片参考用于视图间预测。但是，在根据图4A所示的本发明的示范性实施例的多视图图像序列中，非锚图片当中的奇数行的图片中的仅仅一些被其它图片参考用于视图间预测。换句话说，在图4A中，奇数行的非锚图片当中的仅仅奇数列的非锚图片使用视图间预测来编码。

图4B示出了根据本发明的示范性实施例的多视图图像序列和时间级别。

现在将参考图4B来描述选择包括在多视图图像序列中的一些图片以用于如图4A所示的使用视图间预测来编码仅仅选择的图片的方式。

在图4B中，基于时间级别来确定要被参考以用于视图间预测的图片。在图4B中，确定时间级别‘3’中的非锚图片不使用视图间预测来编码。换句话说，从非锚图片当中仅仅选择时间级别小于预定值的图片来使用视图间预测和时间预测编码。

充当控制单元210的确定或选择的准则的时间级别根据多视图图像序列的特征而变化，不局限于图4B所示的那些。例如，当由于拍摄多视图图像的照相机之间的距离很大导致视图之间的空间相关性不高时，没有必要使用视图间预测来预测所有非锚图片。在这种情况下，可以使用视图间预测仅仅预测时间级别为1或更小的图片，以及在极端情况下，可以不使用视图间预测来预测非锚图片。

反回来参考图2，根据本发明的示范性实施例，编码单元220基于控制单元210的确定或选择结果来编码多视图图像序列。换句话说，编码单元220基于控制单元210的确定或选择结果使用视图间预测和时间预测中的至少一个来预测编码该多视图图像序列。

编码单元220预测包括在多视图图像序列中的每个图片，并从原始图片中减去每个图片的预测值，从而产生多视图图像序列的残差数据。

为了预测，编码单元220将参考图片存储在预定存储器中，并通过参考存储的参考图片来执行视图间预测或时间预测。根据现有技术，当预测非锚图片时，用于视图间预测和时间预测的所有图片应当被存储在该存储器中。但是，根据本发明，对于由控制单元210确定不使用视图间预测编码的图片，没有必要将用于视图间预测的参考图片存储在该存储器中。

例如，为了编码图4A中第二行和第二列中的图片420，位于与图片420的视图相邻的视图处且在图片420之上和之下的图片422和424不是用于视图间预测的参考图片，因而不需要被存储在存储器中，从而使得能够有效利用存储器。

由控制单元210确定不被参考用于视图间预测的图片不被参考用于视图间预测，从而加速了预测。

反回来参考图2，根据本发明的示范性实施例，当编码单元220预测编码多视图图像序列时，它也编码指示控制单元210的关于每个图片是否为用于视图间预测的参考图片的确定结果的参数，并且将编码的参数插入到比特流中。一旦控制单元210确定每个图片是否被参考用于视图间预测，则编码单元220编码关于控制单元210的确定结果的信息。

由于执行确定以确定每个图片是否被其它图片参考用于视图间预测，因此在每个图片的参数中包括关于每个图片是否被其它图片参考用于视图间预测的信息。

图5示出了根据本发明的示范性实施例的网络提取层（NAL）单元报头的语法。

NAL单元是图像数据的分组化的单位。由于一个NAL单元一般包括关于单个图片的数据，因此在NAL单元报头中包括关于每个图片是否被其它图片参考用于视图间预测的信息，以便被编码。

参考图5，根据现有技术，将语法元素‘nal_ref_idc_view’添加到NAL单元报头，从而指示每个图片是否被其它图片参考以用于视图间预测。例如，‘nal_ref_idc_view=l’意思是相应的图片被其它图片参考用于视图间预测，以及‘nal_ref_idc_view=0’意思是该图片不被其它图片参考用于视图间预测。

由于新的比特分配给‘nal_ref_idc_view’，因此也添加语法元素‘reserved zero four bits’以改变预留比特的数目。

反回来参考图2，当编码单元220执行编码时，它也编码关于被每个图片参考以用于视图间预测和时间预测的参考图片的信息。语法元素‘RefPicList’指示这样的信息。由于控制单元210确定是否每个图片充当用于视图间预测的参考图片，因此当编码单元220编码多视图图像序列时，不充当参考图片用于视图间预测的图片不被其它图片参考。

因而，当编码单元220编码关于用于每个图片的参考图片的信息时，它可以产生‘RefPicList’，以排除由控制单元210确定为不被参考用于视图间预测的图片。

例如，当根据现有技术编码图4A所示的图片420时，在与图片420的视图相邻的视图处、位于图片420之上和之下的图片422和424是参考图片，以及关于图片422和424的信息包括在‘RefPicList’中。但是，根据本发明的示范性实施例，关于由控制单元210确定为不是图片420的参考图片的图片422和424的信息不包括在‘RefPicList’中。

根据本发明的另一个示范性实施例，编码单元220也编码关于由控制单元210选择的要使用视图间预测和时间预测编码的图片的信息，并且将编码的信息插入到比特流中，下面将参考图6A和6B进行详细描述。

图6A示出了根据本发明的示范性实施例的序列参数集的语法。

参考图6A，编码单元220可以在序列参数集中包括用于指明由控制单元210选择的图片的信息并且编码该序列参数集。根据本发明的序列参数集包括语法元素‘temporal_level_max’和语法元素‘use_interview_pred_temporal_level[i]’。

‘temporal_level_max’是指示由用于编码多视图图像的装置200编码的多视图图像序列的不同时间级别的数目的信息。图3B所示的多视图图像序列具有从‘0’到‘3’的时间级别，因而‘temporal_level_max’为‘3’。

‘use_interview_pred_temporal_level[i]’是用于指明要使用视图间预测和时间预测预测编码的图片的信息。当仅仅对如图4B所示的时间级别为‘1’或‘2’的图片执行视图间预测时，‘use_interview_pred_temporal_level[1]’为‘1’，以及‘use_interview_pred_temporal_level[2]’为‘1’。

‘use_interview_pred_temporal_level[3]’可以被设置为‘0’。值‘0’和‘1’为指示是否使用视图间预测来预测相应时间级别的图片的标志信息。

时间级别为‘0’的图片是锚图片。由于仅仅使用视图间预测来预测编码锚图片，因此不单独设置‘use_interview_pred_temporal_level[0]’。

图6B示出了根据本发明的另一个示范性实施例的序列参数集的语法。

在图4B中，控制单元210基于时间级别选择要被使用视图间预测和时间预测进行预测编码的图片。换句话说，特定时间级别的图片不被时间预测。但是，也可以基于视图以及时间级别来选择那些图片。

例如，视图1的多视图图像序列的图片当中的时间级别为‘1’或‘2’的图片被视图间预测和时间预测，以及视图3的多视图图像序列的图片当中的时间级别为1的图片被视图间预测和时间预测。换句话说，对于每个视图单独地选择要被视图间预测和时间预测的图片。在这种情况下，需要用于指明对于每个视图的选择的图片的语法元素。

参考图6B，序列参数集包括语法元素‘temporal_level_max’和‘use_interview_pred_temporal_level[i][j]’。

‘temporal_level_max’与图6A所示的‘temporal_level_max’相同，但是‘use_interview_pred_temporal_level[i][j]’不同于图6A所示的‘use_interview_pred_temporal_level[i]’。

在‘use_interview_pred_temporal_level[i][j]’中，‘i’指示视图，‘j’指示时间级别。如上所述，假定视图1的多视图图像序列的图片当中的时间级别为‘1’或‘2’的图片被视图间预测和时间预测，以及视图3的多视图图像序列的图片当中的时间级别为‘1’的图片被视图间预测和时间预测。

在这种情况下，‘use_interview_pred_temporal_level[1][1]’为‘1’，

‘use_interview_pred_temporal_level[1][2]’为‘1’，

‘use_interview_pred_temporal_level[1][3]’为‘0’，

‘use_interview_pred_temporal_level[3][1]’为‘1’，

‘use_interview_pred_temporal_level[3][2]’为‘0’，以及

‘use_interview_pred_temporal_level[3][3]’为‘0’。值‘0’和‘1’为指示相应视图的多视图图像序列中相应时间级别的图片是否使用视图间预测来预测的标志信息，如图6A所示。

图6C示出了根据本发明的示范性实施例的补充增强信息（SEI）消息。

参考图6C，编码单元220可以在SEI消息中包括用于指明由控制单元210选择的图片的信息并且编码该SEI消息。

SEI消息是解码视频编码层所需的附加信息，以及可以包括每个图片的定时信息、关于pan/scan功能的信息、和随机存取所需的信息。SEI消息也可以包括用户单独定义的信息。根据本发明的示范性实施例的SEI消息包括用于指明由控制单元210选择的用于视图间预测的图片的信息。

在图6C    中，‘temporal_level_max’和‘use_interview_prediction_temporal_level[i]’与图6A的相同。

图6D示出了根据本发明的另一个示范性实施例的SEI消息。

在图6D中，‘temporal_level_max’和‘use_interview_prediction_temporal_level[i][j]’与图6B的相同。

图7是示出了根据本发明的示范性实施例的编码多视图图像的方法的流程图。

参考图7，在操作710，图2所示的用于编码多视图图像的装置200确定包括在多视图图像序列中的每个图片是否是用于视图间预测的参考图片。换句话说，确定每个图片是否被包括在该多视图图像序列中的其它图片参考用于视图间预测。

在根据本发明的示范性实施例的编码多视图图像的方法中，使用视图间预测来预测仅仅一些非锚图片，而不是使用视图间预测来预测编码所有非锚图片。因而，仅仅一些图片被其它图片参考用于视图间预测。为此，在操作710中确定是否每个图片被其它图片参考用于视图间预测。可以基于时间级别来确定用于视图间预测的参考图片。

在操作720，装置200基于操作710的确定，使用视图间预测和时间预测中的至少一个来编码多视图图像序列中的图片。

使用视图间预测和时间预测中的至少一个来预测多视图图像序列中的每个图片，并且从原始图片中减去每个图片的预测值，从而产生多视图图像序列的残差数据。

不用参考在操作710中确定为不是用于视图间预测的参考图片的图片而执行视图间预测，从而加速了预测并且使得能够高效使用存储器。

在多视图图像序列编码中，关于在操作710中确定为用于视图间预测的参考图片的图片的信息也被编码并且被插入到比特流中。更具体地说，将指示每个图片是否为用于视图间预测的参考图片的信息插入到每个图片的参数中。该信息可以包括在NAL单元报头中以便被编码，如上所述。

图8是示出了根据本发明的另一个示范性实施例的编码多视图图像的方法的流程图。

参考图8，在操作810，图2所示的用于编码多视图图像的装置200基于时间级别选择要被使用视图间预测和时间预测编码的图片。装置200也可以对于多视图图像序列的每个视图，选择要被使用视图间预测和时间预测编码的图片。更具体地说，时间级别小于预定值的非锚图片被选择作为要被使用视图间预测和时间预测编码的图片。

在操作820，装置200基于操作810的选择结果来编码多视图图像序列。更具体地说，使用视图间预测和时间预测来预测编码在操作810中选择的图片，以及使用视图间预测和时间预测中的一个来预测编码多视图图像序列中的其余图片。根据现有技术使用视图间预测和时间预测来预测编码多视图图像序列中的所有非锚图片，而根据本发明的示范性实施例，则使用视图间预测和时间预测来预测编码非锚图片中的仅仅一些图片，从而加速了多视图图像编码。

在多视图图像序列编码期间，关于在操作810中选择用于视图间预测的图片的信息也被编码并被插入到比特流中。如前所述，该信息可以按照序列参数或SEI消息的形式被编码并被插入到比特流中。

图9是示出了根据本发明的示范性实施例的用于解码多视图图像的装置900的框图。

参考图9，装置900包括提取单元910和解码单元920。

提取单元910接收比特流，该比特流包括关于通过根据本发明的编码多视图图像的方法编码的多视图图像序列的数据。这里，关于多视图图像序列的数据是多视图图像序列的残差数据，以及该比特流包括关于多视图图像序列中的每个图片是否为用于视图间预测的参考图片的信息或关于每个图片是否已被视图间预测和时间预测编码的信息。

在接收到比特流后，提取单元910从接收的比特流中提取信息。更具体地说，提取单元910提取指示每个图片是用于视图间预测的参考图片的参数或指示每个图片已被使用视图间预测和时间预测编码的参数。优选地，但不是必须地，提取单元910提取包括在NAL单元报头、序列参数或SEI消息中的信息。

解码单元920基于提取单元910提取的信息解码关于多视图图像序列的数据。包括在比特流中的关于多视图图像序列的数据是多视图图像序列的残差数据。

因而，解码单元920基于提取单元910提取的信息，使用视图间预测和时间预测中的至少一个，来预测多视图图像序列中的每个图片，并且将预测结果添加到多视图图像序列的残差数据中，从而重构多视图图像序列。

为了预测，解码单元920将参考图片存储在预定存储器中并执行预测。但是，对于视图间预测，装置900基于提取单元910提取的信息，在存储器中不存储不是用于视图间预测的参考图片的图片。因而，在预测期间降低了要被存储在存储器中的参考图片的数目，从而使得能够有效地利用存储器。

此外，不是所有的非锚图片都被视图间预测，从而提高了预测速度。此外，可以进行快速的随机存取。例如，当图4A中第二行和第二列中的图片420被随机存取时，不必要解码位于与图片420的视图相邻的视图处且在图片420之上和之下的图片422和424，因为已经确定它们不是用于视图间预测的参考图片。因而，可以进行快速的预测和随机存取。

图10是根据本发明的示范性实施例的解码多视图图像的方法的流程图。

参考图10，在操作1010，图9中用于解码多视图图像的装置900接收包括关于多视图图像序列的数据的比特流。关于多视图图像序列的数据是多视图图像序列的残差数据。

在操作1020，装置900从接收的比特流中提取指示包括在多视图图像序列中的每个图片是否为用于视图间预测的参考图片的信息或指示每个图片是否已被使用视图间预测和时间预测编码的信息。也提取关于该多视图图像序列的数据，即残差数据。为此，可以提取包括在NAL单元报头、序列参数或SEI消息中的信息。

在操作1030，装置900基于在操作1020中提取的信息来解码多视图图像序列。更具体地说，基于提取的信息使用视图间预测和时间预测中的至少一个来预测多视图图像序列，并且将在操作1020中提取的残差数据添加到预测结果，从而重构多视图图像序列。

同时，本发明的示范性实施例可以被写为计算机程序并且可以被使用计算机可读记录介质或其它传输介质执行该程序的通用数字计算机实现。计算机可读记录介质的例子包括磁存储介质（例如，ROM、软盘、硬盘等）和光记录介质（例如，CD-ROM、或DVD）。其它传输介质可以包括载波（例如，通过互联网的传输）。计算机可读记录介质也可以被分布在网络耦合的计算机系统之上以使得计算机可读代码以分布式被存储和执行。

尽管已经参考本发明的示范性实施例对本发明进行了具体图示和描述，但是本领域技术人员应当理解，在不脱离由以下权利要求书所定义的本发明的精神和范围的情况下，可以对本发明做出形式和细节上的各种修改。

Claims (4)

1.一种编码多视图图像的方法，该方法包括：

从多视图图像序列中获得通过使用视图间预测编码的一个视图图像序列中的图片；

确定所获得的一个视图图像序列中的图片是否是被另一视图图像序列中的其他图片参考用于视图间预测的参考图片，以产生确定结果；以及

基于确定结果和与确定结果相关的信息通过使用视图间预测来编码所获得的图片，

其中所述信息指示所获得的图片是否是被另一视图图像序列中的其他图片参考用于视图间预测的参考图片，并且所述信息包括在网络提取层NAL单元报头中，

其中作为被另一视图图像序列中的其他图片参考用于视图间预测的参考图片的图片包括在参考图片列表中，并且不是被另一视图图像序列中的其他图片参考用于视图间预测的参考图片的图片不包括在参考图片列表中。

2.如权利要求1所述的方法，其中所述编码该获得的图片包括：编码包括该信息的序列参数或补充增强信息SEI消息。

3.一种用于编码多视图图像的装置，该装置包括：

选择单元，从多视图图像序列中获得通过使用视图间预测编码的一个视图图像序列中的图片；以及获得一信息，所述信息指示所获得的一个视图图像序列中的图片是否是被另一视图图像序列中的其他图片参考用于视图间预测的参考图片的信息，以产生确定结果；以及

编码单元，通过使用视图间预测和所述信息来编码所获得的图片，

其中所述信息包括在网络提取层NAL单元报头中，并且

其中作为被另一视图图像序列中的其他图片参考用于视图间预测的参考图片的图片包括在参考图片列表中，并且不是被另一视图图像序列中的其他图片参考用于视图间预测的参考图片的图片不包括在参考图片列表中。

4.如权利要求3所述的装置，其中该编码单元编码包括该信息的序列参数或补充增强信息SEI消息。