CN100399826C - 基于多显示支持多视图视频对象的编码设备和方法 - Google Patents

Abstract

提供了一种基于多显示支持多视图视频对象的编码设备和方法，以及使用该编码设备和方法的基于对象的发送/接收系统和方法。编码设备包括：形状提取装置，用于接收右/左眼图像对象视频，并分别提取右/左对象图像，以提取多视图视频的形状信息；数据分离装置，用于接收右/左眼图像对象视频，和右/左形状信息，并将它们分离成奇数场对象和偶数场对象，以仅发送用户显示模式所必需的位流；形状补偿装置，用于补偿被分离成奇数场和偶数场的形状信息的失真；以及基于对象的编码装置，用于从形状补偿装置中接收基于对象的信息，以及从数据分离装置中接收基于对象的信息，形成四个层，并执行运动和差异估计，以便对被分离成奇数行和偶数行的基于对象的数据进行编码。

Description

基于多显示支持多视图视频对象的编码设备和方法

技术领域

本发明涉及基于多显示支持多视图视频对象的编码设备和方法，以及使用基于多视图视频对象的编码设备和方法的基于对象的发送/接收系统和方法；并且，更具体地说，涉及通过传输相应显示模式的必需编码位流，并利用涉及具有可编码结构的形状或纹理的运动和差异技术，可以消除时间和空间冗余的基于多视图视频对象的编码设备和方法，以及使用基于多视图视频对象的编码设备和方法的基于对象的发送/接收系统和方法。

背景技术

二维图像是由在单一时间轴上的单目图像组成的，而三维图像是由在单一时间轴上具有两个或多个视图的多视图图像组成的。在多视图视频的编码方法中，有一种双目视频编码方法，它能编码对应于双目的两个视图的视频图像，以显示立体的图像。执行非基于对象编码和解码的MPEG-2MVP是一种非基于对象的双目视频编码的代表性方法。它的基层具有与MPEG-2主要档次(main profile，MP)的基层相同的结构，其中，只利用右眼图像和左眼图像之中的一个图像来执行编码。因此，以MPEG-2MVP方法编码的图像可以用传统的二维视频解码器进行解码，并且它还可以应用于传统的二维视频显示模式中。总之，它与传统的二维视频系统是兼容的。

利用右图像和左图像之间的相关信息对增强层的图像进行编码。也就是说，MPEG-2MVP方法是基于使用时间可量测性(scalability)的编码器。而且，基层和增强层输出基于帧的两信道位流，每一个分别对应于右眼图像和左眼图像。与双目三维视频编码相关的当前技术是基于第二层MPEG-2MVP编码器。而且，与基层和增强层中右眼图像和左眼图像相对应的基于帧的两信道技术也是基于两信道的MPEG-2MVP编码器。

1997年3月18日授权的专利号为5,612,735的美国专利“利用两个差异估计的数字3D/立体视频压缩技术”中公开了相关的技术。如图1所示，该专利涉及利用时间可量测性的非基于对象的编码方法，并且，利用运动补偿和基于DCT的算法对基层中左眼图像进行编码，利用基层和增强层之间的差异信息对增强层中右眼图像进行编码，而不使用右眼图像之间的运动补偿。

图1是表示被执行两次的估计差异补偿的传统方法的示图。在图中，I、P和B表示在MPEG标准中定义的三个屏幕类型。屏幕I(内部编码的)只存在于基层中，并且该屏幕是不利用运动补偿的简单编码。在屏幕P(被预测的)中，利用屏幕I或另一个屏幕P来执行运动补偿。在屏幕B(两向预测编码的)中，利用存在于时间轴上该屏幕B之前和之后的两个屏幕来执行运动补偿。基层中的编码顺序与MPEG-2MP的编码顺序相同。

在增强层中，只存在屏幕B。利用相同时间轴上存在的帧和该帧之后存在的屏幕的差异补偿对屏幕B进行编码。

在1997年4月8日授权的，专利号为5,619,256的美国专利“利用差异和运动补偿预测的数字3D/立体视频压缩技术”中公开了相关的现有技术。专利号为5,619,256的美国专利的方法也是非基于对象的。它利用时间的可量测性，通过使用运动补偿和基于DCT的算法，对基层中的左眼图像进行编码，而在增强层中，它使用了右眼图像之间的运动补偿以及基层和增强层之间的差异信息。

如上所示，有各种用于运动补偿和差异补偿的估计方法来执行编码。图2的方法表示了用于估计运动和差异补偿的传统方法，是一种公知的代表性的估计方法。在图2的基层中，以与图1估计方法相同的方法执行屏幕估计。从基层的屏幕I估计增强层中的屏幕P，以执行差异补偿。而且，从在相同增强层中之前的屏幕以及相同时间轴上基层的屏幕来估计增强层中的屏幕B，以执行运动补偿和差异补偿。

当接收终端使用二维单目显示模式时，这两种现有技术仅传输从基层输出的位流，而当接收终端采用三维基于帧的时间延迟显示模式时，传输从基层和增强层输出的全部位流以恢复图像。但是，当接收终端的显示模式是三维基于场的时间延迟显示模式时，这是大多数PC中采用的模式，在这两个专利中的方法的问题是，在解码器中，图像恢复的量和解码时间延迟增加了，传输效率降低了，因为无关紧要的数据，即左眼图像的偶数场对象和右眼图像的奇数场图像，应该被丢弃。

有一种视频编码方法是减小右眼和左眼图像一半，并将右和左两个信道图像转换成一个信道图像。为此，1996年2月在加利福尼亚召开的第七届立体显示和应用会议的SPIE会议论文集第2653a卷上，作者Andrew Wood，Tom Docherty和Rolf Koch发表的“3D视频标准转换”论文中公开了5种方法。

与上述技术相关，在1997年5月27日授权的专利号为5,633,682的美国专利“立体编码系统”中建议了一种方法。传统二维视频图像的非基于对象的MPEG编码是通过选择左眼图像的奇数场和右眼图像的偶数场，并将两信道图像转换成一个信道图像来实现的。该方法的优点是，可以使用二维视频图像的传统MPEG编码，并且当在编码过程中执行场估计时，可以自然地使用运动和差异信息。但是，在执行帧估计的情况下，只使用了运动信息，而没有考虑差异信息。再者，当执行场估计时，虽然多数的相关图像是存在于相同时间轴上的图像，但是，屏幕B是从存在于该屏幕B之前和之后的屏幕I和屏幕P估计出来以执行差异补偿的，虽然多数相关图像不是屏幕I和P，而是另一部分中相同时间轴上的另一个屏幕。

另外，该方法考虑基于场的时间延迟来根据场一个一个地显示右图像和左图像，以形成三维视频图像。因此，该方法不适合基于帧的时间延迟显示模式，因为其中右眼和左眼图像会被同时显示。于是，在该技术领域，要求这样一种方法，该方法采用基于对象的编码器和解码器，并依据接收部分的显示模式，如二维单目显示模式或三维视频基于场/帧的时间延迟显示模式，通过仅传输必需的位流来恢复图像。

发明内容

因此，本发明的一个目的是提供一种基于对象的编码设备和方法，其中用于右眼和左眼的一对多视图对象图像被分离成偶数和奇数场对象，并且编码/解码是利用形状和纹理的基于对象的编码/解码方法，以便给多视图视频以立体效果，还提供了一种使用基于对象的编码设备和方法的基于对象的发送/接收系统。

依据本发明的一个方面，提供了一种基于多显示支持多视图视频对象的编码设备，包括：形状提取装置，分别从外部接收左眼图像对象视频(L)和右眼图像对象视频(R)，并提取左对象图像(LS)和右对象图像(RS)，以提取多视图视频的形状信息；数据分离装置，从外部接收右/左眼图像对象视频(L/R)和从形状提取装置中发送的右/左形状(LS/RS)信息，并且将这些视频和形状信息分离成奇数场对象和偶数场对象，以便仅传输用于多视图视频的显示模式的必需位流；形状补偿装置，补偿由数据分离装置分离成奇数场和偶数场的形状信息((LO，LE)/(RO，RE)对象的形状)的失真；以及基于对象的编码装置，接收从形状补偿装置输入的基于对象的信息和从数据分离装置输入的基于对象的信息，形成四个层，即LO流、LE流、RO流和RE流，并基于形状编码和形状纹理来执行运动和差异估计，以对分离成奇数行和偶数行的基于对象的数据进行编码。

依据本发明的一个方面，提供了一种基于多显示支持多视图视频对象的编码方法，并应用到基于多视图视频对象的编码设备，包括步骤：a)分别从外部接收左眼图像对象视频(L)和右眼图像对象视频(R)，并提取左对象图像(LS)和右对象图像(RS)，以提取多视图视频的形状信息；b)从外部接收左眼图像对象视频(L)和右眼图像对象视频(R)，以及从步骤a)发送来的右/左形状(LS/RS)信息，并且将这些视频和形状信息分离成奇数场和偶数场对象，以便仅发送多视图视频的显示模式的必需位流；c)补偿被分离成奇数场和偶数场的形状信息((LO，LE)/(RO，RE)对象的形状)的失真；以及d)接收所补偿的基于对象的信息和所分离的基于对象的信息，形成四个层，即LO流、LE流、RO流和RE流，并基于形状编码和形状纹理执行运动和差异估计，以便对被分离成奇数行和偶数行的基于对象的数据进行编码。

依据本发明的一个方面，提供了一种基于多显示支持多视图视频对象的发送系统，包括：基于对象的编码装置，分别从外部接收右眼和左眼的右和左两个信道的视频(L和R)，并将这些视频分离成奇数场和偶数场对象，即左眼图像的奇数场对象(LO)，右眼图像的偶数场对象(RE)，左眼图像的偶数场对象(LE)，以及右眼图像的奇数场对象(RO)，从这些分离的场对象中形成主层和子层，并执行编码，以便根据双目三维视频显示模式，仅传输发送/接收终端所需要的必需位流；以及系统多路复用装置，用于接收从基于对象的编码装置发送来的左眼图像的奇数场对象(LO)的位流，右眼图像的偶数场对象(RE)的位流，左眼图像的偶数场对象(LE)的位流，和右眼图像的奇数场对象(RO)的位流，以及用户显示信息，并且仅多路复用必需的位流。

依据本发明的一个方面，提供了一种基于多显示支持多视图视频对象的接收系统，包括：系统多路分解装置，基于用户显示模式多路分解从外部传输来的位流，并将多路分解的位流输出为多信道位流；基于对象的解码装置，用于基于用户显示模式对多个信道(即2信道或4信道)的基于对象的位流进行解码；以及显示装置，根据来自用户的请求执行二维视频显示或基于双目场/帧的时间延迟显示，以便显示由基于对象的视频解码装置所恢复的视频。

依据本发明的一个方面，提供了一种基于多显示支持多视图视频对象的发送方法，包括步骤：a)从外部接收右眼和左眼的右和左两个信道图像(L和R)，并将这些图像分离成奇数场和偶数场对象，即左眼图像的奇数场对象(LO)，右眼图像的偶数场对象(RE)，左眼图像的偶数场对象(LE)和右眼图像的奇数场对象(RO)，形成被分离的场对象的主层和子层，并执行编码，以便根据双目三维视频显示模式仅传输发送/接收终端所必需的位流；以及b)接收场对象的编码的位流，即左眼图像的奇数场对象(LO)的位流，右眼图像的偶数场对象(RE)的位流，左眼图像的偶数场对象(LE)的位流，和右眼图像的奇数场对象(RO)的位流，以及用户显示信息，并且只多路复用必需的位流。

依据本发明的一个方面，提供了一种基于多显示支持多视图视频对象的接收方法，包括步骤：a)基于用户显示模式多路分解从系统多路复用单元发送来的位流，并将多路分解的位流输出为多信道位流；b)基于用户显示模式对多信道(即2信道或4信道)输入的基于对象的位流进行解码；以及c)当接收到来自用户的请求时，执行二维视频显示或基于双目场/帧的时间延迟显示，以显示在步骤b)恢复的图像。

本发明的方法考虑了三种显示模式，即对于用户终端显示的基于场的时间延迟显示模式、基于帧时间延迟显示模式和二维单目显示模式。通过在其它多视图图像中选择适合双目条件的一对对象视频图像来获得多视图双目的立体效果。通过利用形状和纹理的运动和差异估计的基于对象的双目视频编码方法来对两视图图像进行编码。

在编码之前，每个右和左对象视频图像被划分成四个场对象，每个视频图像的奇数行和偶数行，并利用形状和纹理的运动和差异信息进行编码。在四个编码的位流中，只有被用户显示模式所要求的必需位流才被多路复用和发送。在接收端，虽然接收到四个位流的一部分，但是基于要求的用户显示模式，要将所接收的位流多路分解，并且恢复图像。在接收端使用基于三维视频场的时间延迟显示模式和二维视频显示模式的情况下，基于MPEG-2MVP的双目三维解码设备请求所有数据传输到其中，这里该解码设备利用从基层和增强层输出的全部两个编码的位流来执行解码，虽然它应该丢弃一半的传输数据。因此，传输效率降低了，且解码的时间变长了。

另一方面，本发明的编码设备仅发送由每个用户显示所要求的必需场对象以进行解码，因此，使得由于不必要数据传输造成的不必要的信道占用最小化，并使得解码时间的延迟最小化。

编码和解码方法采用多层编码技术，其中右和左图像的奇数场和偶数场对象因此被输入以形成四个编码层。基于场对象之间的估计关系，这四层被分为主层和子层。接收端能够只利用与主层相应的场对象的编码位流执行解码。与子层相应的场对象的位流不能被单独解码，但可以依赖于主层自身的位流被解码。

以下说明主层和子层的结构。左眼图像的奇数场对象被当作主层，并被独立编码/解码。然后，右眼图像的偶数场对象，左眼图像的偶数场对象和右眼图像的奇数场对象成为第一子层、第二子层和第三子层。这些子层使用主层和其它子层的信息。

基本上，传输在主层中被编码的左眼图像的奇数场对象位流，而与用户的显示模式无关。在用户使用基于场的时间延迟显示模式的情况下，从主层和第一子层输出的位流被多路复用并被传输，而在他使用基于帧的时间延迟显示模式的情况下，从主层和所有三个子层输出的位流被多路复用和被传输。而且，在用户使用二维视频显示的情况下，通过传输从主层和第二子层输出的位流，只有左眼图像被恢复并被显示。虽然当编码/解码子层时，不能使用所有存在的对象信息，但是，该方法对于将三维图像传输给没有双目显示设备的那些来说是有用的，因为该图像被转换成了二维视频。

因此，通过增大传输效率和简化解码过程，基于对象的编码/解码设备具有减小显示延迟的作用，因为依据用户的显示模式，即二维单目显示模式或基于双目视频场/帧的时间延迟显示模式，仅传输必需位流以使接收端执行解码。

附图说明

结合附图，从下面对给定优选实施例的说明中，本发明的上述和其它目的和特点将变得更加清楚，其中：

图1是表示执行了两次的估计差异补偿的传统方法的示图；

图2是说明估计运动和差异补偿的传统方法的示图；

图3是描述依据本发明实施例的基于多视图视频对象的编码设备的结构的方框图；

图4是表示依据本发明实施例，使用基于多视图视频对象的编码设备的基于对象的发送/接收系统的结构的方框图；

图5是表示依据本发明实施例，将对象图像分离成奇数场对象和偶数场对象的奇数/偶数场对象分离器的示例图；

图6是说明依据本发明实施例，估计支持三维或二维视频显示的形状和纹理运动和差异补偿的方法的示图；

图7是表示依据本发明实施例，基于双目场的时间延迟显示方法的示例图；

图8是表示依据本发明实施例，基于双目帧的时间延迟显示方法的示例图；和

图9是解释依据本发明的二维单目显示方法的示例图；

具体实施方式

结合附图，从以下对实施例的说明中，本发明的其它目的和方面将变得更加清楚。

图3是描述依据本发明实施例，基于多视图视频对象的编码设备的结构的方框图。如图所示，本发明的基于多视图视频对象的编码设备包括：形状提取单元31，用于从外部接收左眼图像对象视频(L)和右眼图像对象视频(R)，分别提取左对象图像(LS)和右对象图像(RS)，以提取多视图三维视频的形状信息；数据分离单元32，用于从外部接收左眼图像对象视频(L)和右眼图像对象视频(R)，以及从形状提取单元31发送的右/左形状(LS/RS)信息，并将它们分离成奇数场和偶数场对象，以便仅发送双目三维视频显示模式需要的必需位流；形状补偿单元33，用于补偿由数据分离单元32分离为奇数场和偶数场的形状信息((LO，LE)/(RO，RE)对象的形状)的失真；以及基于四层对象的编码单元34，用于接收从形状补偿单元33输入的基于对象的信息和从数据分离单元32输入的基于对象的信息，形成四个层，即LO流、LE流、RO流和RE流，并基于形状编码和形状纹理执行运动和差异估计，以对分离成奇数行和偶数行的基于对象的数据进行编码。

这里，形状提取单元31使用左眼图像作为参考视图，并且它包括分别用于接收左眼图像对象视频(L)和右眼图像对象视频(R)的形状提取单元1和形状提取单元2。在从左眼图像提取的形状信息被提交给右眼图像处理的情况下，接收右眼图像的形状提取单元2参考左眼图像的形状信息，并从形状提取单元1提取右眼图像形状。当左眼图像的形状信息的没有被提交给右眼图像处理的情况下，形状提取单元2独立于形状提取单元1进行操作。

数据分离单元32接收与形状信息相应的左对象图像(LS)和右对象图像(RS)，并且输出基于场的形状信息。它还接收左眼图像对象视频(L)和右眼图像对象视频(R)，并输出左眼图像的奇数场对象(LO)，右眼图像的偶数场对象(RE)，左眼图像的偶数场对象(LE)和右眼图像的奇数场对象(RO)。

形状补偿单元33对由于将形状信息分离成不连续场而引起的形状失真补偿从数据分离单元32输出的基于场对象的形状。

四层基于对象编码的单元34由处理这些场对象的四个层形成，以对被分离成奇数行和偶数行的基于对象的数据进行编码。

图4是表示依据本发明实施例，使用基于多视图视频对象的编码设备的基于对象发送/接收系统的结构方框图。基于对象的发送/接收系统包括：发送终端，提供有基于多显示支持对象的编码单元41和系统多路复用单元42；和接收端，提供有系统多路分解单元43、基于多显示支持对象的解码单元44以及显示单元45。

发送系统包括基于多显示支持对象的编码单元41，分别从外部接收右和左两信道视频(L和R)，并将这些视频分离成奇数场和偶数场对象，即左眼图像的奇数场对象(LO)，右眼图像的偶数场对象(RE)，左眼图像的偶数场对象(LE)和右眼图像的奇数场对象(RO)，从被分离的场对象中形成主层和子层，并执行编码，以便依据双目三维视频显示方法，仅传输用于发送端和接收端的必需位流；还有系统多路复用单元42，接收从基于对象编码单元41发送来的左眼图像的奇数场对象(LO)的位流，右眼图像的偶数场对象(RE)的位流，左眼图像的偶数场对象(LE)的位流和右眼图像的奇数场对象(RO)的位流，以及用户显示信息，并且仅多路复用必需的位流。

这里，基于多显示支持对象的编码单元41的分离器将左和右两个信道视频分离成奇数场和偶数场对象，并输出四个信道的输入图像。如图5所示，该分离器还根据图像的第一行将右眼和左眼视频对象分离成奇数行和偶数行。另外，该分离器将图像输入分离成四个分离的基于对象的层，以便利用形状和纹理执行运动和差异估计，并仅传输显示模式所需要的必需位流。

基于多显示支持对象的编码单元41从一对右眼和左眼图像分离得到的四个信道奇数/偶数场对象中形成主层和子层，以对被分离成奇数行和偶数行的场对象视频进行编码。

系统多路复用单元42接收左眼图像奇数场对象(LO)的位流，右眼图像的偶数场对象(RE)的位流，左眼图像的偶数场对象(LE)的位流和右眼图像的奇数场对象(RO)的位流，以及用户显示信息，并仅多路复用必需的位流。系统多路复用单元42执行适合于三种显示模式的多路复用。为了详细说明，在模式1(基于双目场的时间延迟显示模式)的情况下，LO和RE的位流相应于右和左图像一半的信息。在模式2(基于双目帧的时间延迟显示模式)的情况下，四个编码位流LO、LE、RO和RE被多路复用，因为在右和左图像帧中的所有信息都被使用了。在模式3(二维单目显示模式)情况下，LO和LE的编码位流被多路复用并被发送，以在右眼和左眼图像之间表示左眼图像。

接收系统包括系统多路分解单元43，基于用户显示模式对从系统多路复用单元42发送的位流进行多路分解，并将多路分解的位流输出为多信道位流；基于多显示支持对象的解码单元44，用于对于依据用户显示模式输入的多信道(即2信道或4信道)的基于对象的位流进行解码；以及显示单元45，当接收到来自用户的请求时，执行二维视频显示或基于双目场/帧的时间延迟显示，以便显示由基于多显示支持对象的解码单元44所恢复的图像。

这里，系统多路分解单元43根据用户显示模式对所传输的位流进行多路分解，并将它们输出给为信道位流。在模式1和3中，输出两信道编码的位流，而在模式2中，输出四信道的编码位流。

基于多显示支持对象的解码单元44是双目视频解码设备，并且它利用形状和纹理的运动和差异估计信息对分离成奇数行和偶数行的场对象进行解码。另外，基于多显示支持对象的解码单元44对于依据显示模式从系统多路分解单元43输入的2信道和4信道的基于对象的位流进行解码。它与基于多显示支持对象的编码单元41具有相同的层结构。

如图7到9所示，显示单元45依据来自用户的请求在三种显示模式中选择一种显示模式，这三种显示模式也就是二维视频显示、基于双目场的时间延迟显示或基于双目帧的时间延迟显示模式，并执行解码以显示由基于多显示支持对象的解码单元44恢复的图像。也就是说，如图7所示，在基于双目场的时间延迟显示模式中，从与左眼相对应的图像的奇数场对象所恢复的output-LO和从与右眼相对应的图像的偶数场对象所恢复的output-RE，在时间t1/2和t1被顺序地显示出来。如图8所示，在基于双目帧的时间延迟显示模式中，顺序地从与左眼相对应的图像的奇数场和偶数场对象恢复的output-LO和output-LE分别在时间t1/2被显示出来，而从与右眼相对应的图像的奇数场和偶数场对象恢复的output-RO和output-RE在时间t1被分别显示出来。如图9所示，在二维显示模式中，将恢复一只眼图像的output-LO和output-LE，或output-RO和output-RE在时间t1被显示出来。

如上所述，本发明基于对象的编码/解码方法使用多层编码技术，在其中，同时从四个编码层中接收用于右和左图像的被分离成奇数行和偶数行的场对象。根据对象图像和对象纹理之间的估计关系，四个编码层形成主层和子层。图6表示了一个示例。

图6是说明依据本发明实施例，用于估计支持三维/二维视频显示的形状和纹理的运动和差异补偿方法的示图。如图所示，存在于显示时间t1上的主层的场对象1被编码成对象I，而根据在主层的相同时间轴上的场对象1，通过执行对象差异估计，将第一子层的场对象2编码成对象P。

根据主层的场对象1，通过执行对象运动估计，将第二个子层的场对象3编码成对象P。通过根据主层的场对象1执行对象差异估计，并根据第一子层的场对象2执行对象运动估计，对第三个子层的场对象4进行编码。

存在于这些层上的显示时间t4的对象被编码和解码。通过根据场对象1执行对象运动估计，主层的场对象13被编码成对象P。通过根据在相同时间轴上的主层的场对象13执行对象差异估计，并根据相同层的场对象2执行对象运动估计，第一子层的场对象14被编码成对象B。通过根据主层的场对象13和相同层的场对象3执行运动估计，第二子层的场对象15被编码成对象B。通过根据主层的场对象13执行对象差异估计和根据第一子层的场对象14执行对象运动估计，第三子层的场对象16被编码成对象B。

按照显示时间t2和t3的顺序，对每层中的对象进行编码。也就是说，通过根据相同层的场对象1和13执行对象运动估计，主层的场对象5被编码成对象B。通过根据在相同时间轴上的主层的场对象5执行对象差异估计，并根据相同层的场对象2执行对象运动估计，第一子层的场对象6被编码成对象B。通过根据在主层的场对象1和相同层的场对象3执行对象运动估计，第二子层的场对象7被编码成对象B。

通过根据相同层的场对象4执行对象运动估计，并根据第二子层的场对象7执行对象差异估计，对第三子层的场对象8进行编码。通过根据场对象1和13执行对象运动估计，主层的场对象9被编码成对象B。通过根据在相同时间轴上的主层的场对象9执行对象差异估计，并根据相同层的场对象14执行对象运动估计，将第一子层的场对象10编码成对象B。通过根据相同层的场对象3和主层场对象13执行对象运动估计，将第二子层的场对象11编码成对象B。通过根据相同层的场对象8执行对象运动估计，并根据第二子层的场对象11执行对象差异估计，对第三子层的场对象12进行编码。因此，以IPBB...形式对在主层中的对象场进行编码/解码，并分别以PBBB...、PBBB...和BBBB...的形式对第一、第二和第三子层的对象场进行编码/解码。

总之，当基于多显示支持对象的编码单元41根据层间关系执行运动和差异估计时，它使用形状和纹理，这使得依据双目三维视频显示模式仅向发送/接收终端传输必需的位流成为可能。还根据两层之间的关系使用形状和纹理执行运动和差异估计，仅对二维单目显示模式所需要的场对象进行编码，其中二维单目显示模式即左眼图像的奇数场和偶数场对象，和右眼图像的奇数场和偶数场对象。基于多显示支持对象的编码单元41，根据两层之间的关系，使用形状和纹理执行运动和差异估计，对三维场快门(shuttering)视频显示模式所需要的左眼图像的一个场对象和右眼图像的一个场对象进行编码。

另外，当基于多显示支持对象的解码单元44根据层间关系执行运动和差异估计时，它使用形状和纹理，使得依据双目三维视频显示模式仅向发送/接收终端传输必需的位流成为可能。还根据两层之间的关系使用形状和纹理执行运动和差异估计，仅对二维单目显示模式所需要的场对象进行解码，其中二维单目显示模式即左眼图像的奇数场和偶数场对象，和右眼图像的奇数场和偶数场对象。基于多显示支持对象的解码单元44，根据两层之间的关系，使用形状和纹理执行运动和差异估计，对三维场快门视频显示模式所需要的左眼图像的一个场对象和右眼图像的一个场对象进行解码。

支持多显示模式并具有上述体系结构的本发明的基于多视图视频对象的编码/解码的设备的操作如下所述。

如上所述，本发明涉及在双目三维视频显示模式中，仅传输发送/接收终端所需要的必需位流的基于多视图视频对象的编码/解码技术。基于多视图视频对象的编码/解码是利用对象的形状和纹理信息执行的。在本发明中，考虑到根据用于获得双目立体效果的显示模式，必需数据的数量和形状是不同，所以执行基于对象的编码/解码。

本发明的编码设备将对象图像分离成奇数行和偶数行，并以奇数场对象和偶数场对象的形式对图像进行编码，以支持多显示模式，这就给多视图视频以双目立体效果。为了执行基于对象的编码，本发明的编码设备从右眼图像和左眼图像中提取形状信息。它还允许参考视图图像的形状信息被提交给提取其它图像形状的处理当中。因此，不仅可以处理和显示双目三维视频，而且也可以处理和显示多视图三维视频。

为了支持多显示模式，右和左图像与右和左形状信息都被分离成奇数行和偶数行，然后输入到编码设备中。这里，如果图像被以场的基础来划分，那么，就应该执行形状失真补偿，因为每个场对象包含不连续的图像行，因此，形状信息会失真，而这应该得到补偿。

编码设备包括四层，用于处理四个输入，即右眼图像的奇数场对象(RO)，右眼图像的偶数场对象(RE)，左眼图像的奇数场对象(LO)，左眼图像的偶数场对象(LE)。在多路复用处理中，在四层的各层被编码的四个位流中，依据用户显示模式，即基于场的时间延迟显示模式，基于帧时间延迟显示模式和二维单目显示模式，只选择和多路复用必需的位流。然后，发送多路复用的必需位流。

由于每个对象视频被分离成奇数场和偶数场对象并被编码，这就可能仅传输用户显示模式所需要的必需位流，并且使由于不必要的多视图视频数据所造成的信道占用最小化。另外，即使改变了显示模式，编码/解码系统也可以快速处理，而不用改变其编码/解码方法，因此使得由于用户显示模式中变化所可能引起的传输和解码时间延迟最小化。

在用户使用基于双目场视频的时间延迟显示模式的情况下，只有左眼图像的奇数场对象(LO)或偶数场对象(LE)，和右眼图像的奇数场对象(RO)或偶数场对象(RE)编码的两个位流被发送和解码。在用户使用基于三维帧的视频时间延迟显示模式的情况下，全部位流，即右眼和左眼图像中的各个图像的奇数场和偶数场对象(LO、LE、RO和RE)被发送和解码。

当在多视图图像中的两视图图像配对成为一个单一双目组，并在基于对象的编码/解码处理中被传输时，通过仅发送显示模式，即二维单目显示模式或三维基于场/帧的视频时间延迟显示模式所需要的必需位流，就可以对双目图像进行解码。通过增加编码层，可以将双目视频编码设备扩展为多视图视频编码设备。

本发明的方法提取与右眼和左眼相应的一对对象图像，将视频分离成奇数场和偶数场对象，并根据用户显示模式，即基于场的时间延迟显示模式、基于帧的时间延迟显示模式或二维单目显示模式，执行基于对象的编码/解码。

具有基层和增强层，如MPEG-2MVP的体系结构的传统编码和解码设备应该发送所有数据以执行视频解码，即使在场快门期间也应该丢弃一半传输数据。因此，传统的方法传输效率低、解码时间长。而且由于传统的编码方法不是基于对象的，所以，它与MPEG-4标准不兼容，并降低了编码效率。

以上说明的本发明的方法可以由程序具体实现，并被保存在基于计算机的记录媒介中，如CD-ROM、RAM、ROM、软盘、硬盘、磁光盘等。

本发明的方法，通过在多视图图像中选择一对两视图图像并将它们分离成四个场对象，即右眼图像的奇数行、右眼图像的偶数行、左眼图像的奇数行和左眼图像的偶数行，并利用形状和纹理的运动和差异补偿，在多层体系结构中执行基于对象的编码/解码，仅传输用户显示模式，即基于双目场/帧时间延迟显示模式或二维单目显示模式的必需位流。接收终端可以只利用所输入的必需位流执行解码。因此，本发明的方法的优点是，可以提高传输效率，简化解码处理，并使由于用户改变显示模式的请求所可能引起的显示时间延迟最小化。

虽然关于特定优选实施例对本发明做了说明，但是，在不脱离本发明下面的权利要求中定义的发明范围情况下，很显然，本领域的普通技术人员可以做各种改变和修改。

Claims (6)

1.一种基于多显示支持多视图视频对象的编码设备，包括：

形状提取装置，用于从外部接收左眼图像对象视频(L)和右眼图像对象视频(R)，并分别提取左对象图像(LS)和右对象图像(RS)，以提取多视图视频的形状信息；

数据分离装置，用于从外部接收右/左眼图像对象视频(L/R)，以及从形状提取装置发送的右/左形状(LS/RS)信息，并将所述视频和形状信息分离成奇数场对象和偶数场对象，以便仅发送用于多视图视频的显示模式的必需的位流；

形状补偿装置，用于补偿被数据分离装置分离为奇数场和偶数场的形状((LO，LE)/(RO，RE)对象的形状)信息的失真；以及

基于对象的编码装置，用于接收从形状补偿装置输入的基于对象的信息和从数据分离装置输入的基于对象的信息，形成四个层，即LO流、LE流、RO流和RE流，并根据形状编码和形状纹理来执行运动和差异估计，以便对被分离成奇数行和偶数行的基于对象的数据进行编码。

2.如权利要求1所述的设备，其中形状提取装置包括形状分离器1和形状分离器2，分别用于接收左眼图像对象视频(L)和右眼图像对象视频(R)，并且，如果从左眼图像提取的形状信息被提交给右眼图像处理，那么，接收右眼图像的形状提取器2参考在形状提取器1中的左眼形状信息，并提取右眼图像，或者，如果左眼图像形状信息没有被提交给右眼图像处理，那么，形状提取器2独立于形状提取器1进行操作，并参考从作为左眼图像的参考视图图像中所提取的形状信息，以提取其它视图图像的形状。

3.如权利要求1所述的设备，其中数据分离装置接收与形状信息相对应的左对象图像(LS)和右对象图像(RS)，以输出基于场的形状信息，并接收左眼图像对象视频(L)和右眼对象视频(R)，以输出基于场的左眼图像的奇数场对象、右眼图像的偶数场对象(RE)、左眼图像的偶数场对象(LE)、和右眼图像的奇数场对象(RO)，其也是基于场的图像。

4.依据权利要求3所述的设备，其中，形状补偿装置对从数据分离装置输出的基于场对象的形状执行补偿，以补偿由于以场的基础分离形状信息可能引起的形状失真，每场包含不连续的图像行，并且补偿由于将形状信息分离成两个或多个形状信息所引起的形状失真。

5.如权利要求4所述的设备，其中基于对象的编码装置由用于处理场对象的四个层组成，以便对分离成奇数行和偶数行的基于对象的数据进行编码。

6.一种基于多显示支持多视图视频对象的编码方法，并被应用到基于多视图视频对象的编码设备，包括步骤：

a)分别从外部接收左眼图像对象视频(L)和右眼图像对象视频(R)，并提取左对象图像(LS)和右对象图像(RS)，以提取多视图视频的形状信息；

b)从外部接收左眼图像对象视频(L)和右眼图像对象视频(R)，和从步骤a)发送的右/左形状(LS/RS)信息，并将所述视频和形状信息分离成奇数场和偶数场对象，以便仅发送用于多视图视频的显示模式的必需的位流；

c)补偿被分离成奇数场和偶数场的形状信息((LO，LE)/(RO，RE)对象的形状)的失真；以及

d)接收被补偿的基于对象的信息和被分离的基于对象的信息，形成四个层，即LO流、LE流、RO流和RE流，并根据形状编码和形状纹理来执行运动和差异估计，以变对分离成奇数行和偶数行的基于对象的数据进行编码。

Images