CN1201598C - 两种相关数据序列的编码 - Google Patents

Abstract

第一序列[SQ1]数据块[DB1-*]和第二序列[SQ2]数据块[DB2-*]被编码。第二序列[SQ2]数据块[DB2-*]与第一序列[SQ1]数据块[DB1-*]相关。这可以认为是，例如立体视频(3D)的编码。第一序列[SQ1]数据块[DB1-*]以这样的方式编码，即适当的数据块作为将第一序列[SQ1]中其它数据块预测编码[PE]的参考[REF]。第二序列[SQ2]数据块[DB2-*]以这样的方式编码，即相应于作为参考[REF]的第一序列[SQ1]中的那些数据块[DB1-*]，所有的数据块[DB2-*]被预测编码[PE]。例如，在立体(3D)视频编码应用中，左眼视频帧被MPEG编码，好象它们属于普通的非立体视频信号，而右眼视频帧相应于I和P编码的左眼视频帧都被B编码，反之亦然。在解码端，相对小的存储器足以用于解码的目的。

Description

两种相关数据序列的编码

技术领域

本发明涉及将第一数据序列块和第二数据序列块编码的方法，其中第二数据序列块与第一数据序列块相关。本发明可以应用于例如对立体视频的编码。

背景技术

适当的数据块作为其它数据块预测编码的参考，以这样的方式对数据块序列编码是可能的。这种技术应用于，例如根据移动图像专家组(MPEG)标准对视频帧编码。

存在这样的应用，其中两个相关序列的数据块需要被编码，立体视频的编码是个例子。立体(3D)视频通常包括左眼视频帧的序列和右眼视频帧的序列。左眼视频帧的序列和右眼视频帧的序列，可以被各自看作是第一和第二数据序列块，这些序列彼此相关。

立体视频可以以后面的方式编码。左眼视频帧的序列根据MPEG视频编码技术编码，假设这个序列是普通视频信号。这意味着适当的左眼视频帧将作为其它左眼视频帧预测编码的参考。而对于右眼视频帧序列，每个右眼视频帧相应于相应的左眼视频帧预测编码。这意味着每个左眼视频帧形成相应右眼视频帧预测编码的参考。立体视频编码的这种方式，在已公告的第0639031号欧洲专利申请中被揭示出来。

发明内容

本发明的目的是能够减小现有成本。

本发明考虑了以下方面。为了使预测编码的数据块解码，有必要得到作为这个预测编码的参考的每个数据块。结果，在解码端，有必要临时存储数据块，它已作为其它数据块预测编码的参考。

根据现有技术，每个右眼视频帧相应于相应的左眼视频帧预测编码。这意味着在解码端，需要临时存储每个左眼视频帧。这种存储需要相对大的存储量，特别是因为视频帧通常包括相对多的位。

根据本发明，第一数据序列块以这样的方式编码，即适当的数据块作为其它数据块预测编码的参考。与第一数据序列块相关的第二数据序列块以这样的方式编码，即所有数据块相应于作为参考的第一序列中的数据块预选编码。

由此，在解码端，不必存储第一序列中包括的所有数据块，相反，这在现有技术中是必要的。存储作为参考的第一序列中的那些数据块，就已足够。结果，与现有技术的解码器相比，根据本发明的解码器只要比较少的存储容量。结果，本发明能够实现成本的减少。

本发明的另一个优点涉及以下方面。预测编码内在地引起一些不精确性：预测很少会100％的正确。对于解码端得到的数据的质量，这种不精确性通常具有相反的效果。根据现有技术，第二序列中的一些数据块相应于第一序列中的数据块预测编码，其中第一序列的数据块本身是预测编码的结果。这意味着，根据现有技术，一些数据块的编码包括序列中的两个预测编码操作。结果，不精确性将会累加。由于根据本发明，第二序列中所有的数据块相应于作为参考的第一序列中的所有数据块预测编码，不精确性这样的累加不会发生。结果，本发明能够得到更好的质量。

此后，将参考图示，更具体地描述本发明的这些和其它方面。

附图说明

图1是原理图，说明了此前描述的本发明的基本结构；

图2是根据本发明的立体视频编码器的方块图；

图3是示意图，说明了根据本发明对左眼和右眼视频帧编码的方法；

图4是示意图，代表了编码的立体视频数据，它由图2中说明的编码器提供；

图5是根据本发明的立体视频解码器的方块图。

具实施施方式

后面的陈述涉及参考符号。在所有的图中，相似的部分有相似的参考字母指示。几个相似的部分会出现在单一的图中。在这种情况下，数字或下标加到参考字母上，来区别相似的部分。为了方便起见，数字或下标可以被省略，或者在数字或下标的值不重要(不考虑值)的情况下，它可以被星号代替。这也应用在权利要求书中。

图1说明了此前描述的本发明的基本特点，它具有第一序列[SQ1]数据块[DB1-*]和第二序列[SQ2]数据块[DB2-*]。第二序列[SQ2]数据块[DB2-*]与第一序列[SQ1]数据块[DB1-*]相关。第一序列[SQ1]数据块[DB1-*]以这样的方式编码，即适当的数据块作为第一序列[SQ1]中其它数据块预测编码[PE]的参考[REF]。第二序列[SQ2]数据块[DB2-*]以这样的方式编码，即第二序列[SQ2]数据块[DB2-*]相应于作为参考[REF]的第一序列[SQ1]中的那些数据块预测编码[PE]。

图1说明的特征可以用于，例如对立体(3D)视频编码。在这种情况下，图1说明的数据块可以，例如符合视频帧。可以基于当前在非立体视频的MPEG视频编码中应用的运动估值和补偿技术，来进行预测编码。

图2显示了根据本发明的立体视频编码器。编码器接收左眼视频帧序列[VL]和右眼视频帧序列[VR]，并且响应于此，而提供编码的立体视频数据[CSV]。编码器包括预测处理器[PREP]、核心编码器[CENC]、可变长度编码器[VLC]、格式器[FRMT]和控制器[CNTRL]。更特别地，核心编码器[CENC]包括移动估算器及补偿器[MCE]、减法器[SUB]、离散余弦变换器及量化器[DCTQ]、反离散余弦变换器及量化器[IDCTQ]、加法器[ADD]和存储器[MEM]。

图2中说明的编码器基本上如下操作。预测处理器[PREP]根据MPEG标准调整左眼视频帧的顺序。这意味着调整左眼视频帧的顺序，好象这些视频帧属于非立体视频信号。预测处理器[PREP]将左眼视频帧以再次排列的顺序，与右眼视频帧组合。由此，预测处理器[PREP]应用左眼和右眼视频帧的多路复用调制，而提供给核心编码器[CENC]。

核心编码器[CENC]根据MPEG标准将左眼视频帧编码，好象这些视频帧属于非立体视频信号。结果，根据它们在序列中各自的位置和应用的MPEG编码类型，左眼视频帧受到I、P或B编码之一。相反，所有的右眼视频帧受到B编码，这是预测编码。更特别地，每个右眼视频帧相应于已经受到I或P编码之一的左眼视频帧而被编码，而不相应于受到B编码的左眼视频帧而被编码。这意味着，核心编码器[CENC]将每个右眼视频帧编码，好象这些视频帧是被指定受到B编码的左眼视频帧。核心编码器[CENC]对编码的左眼和右眼的每个视频帧提供量化系数[CF]。如果视频帧已经预测编码的话，它还提供预测编码参数[PP]。

可变长度编码器[VLC]将量化的系数[CF]和预测编码参数[PP]翻译成可变长度的码词。格式器[FRMT]将不同来源的码词与解码末尾需要的任何其它数据组合，如标识符。格式器[FRMT]将所有这些数据做成适当的格式。由此，格式器[FRMT]提供编码的立体视频数据[CSV]。照此进行，而不论控制器是否被适当编程，而对编码器中的各个部分提供控制信号，并且促使这些部分根据此前的描述来工作。

图3说明了对左眼和右眼视频帧编码。方块代表了被编码的视频帧。显示了四个左眼视频帧[L]和四个右眼视频帧[R]。视频帧中参考符号的下标指示了序列[VL，VR]中视频帧的位置，其中序列[VL，VR]由图2显示的解码器接收。方块内的字母I、P或B指示了相关视频帧将进行的编码操作。

在图3中，预测编码用箭头的方式说明。箭头从中发出的视频帧是预测编码的视频帧。箭头到达的视频帧，是作为这种预测编码参考的视频帧。例如，左眼视频帧L(n+1)和L(n+2)将相应于左眼视频帧L(n)和L(n+3)预测编码。所有的右眼视频帧也相应于左眼视频帧L(n)和L(n+3)预测编码。预测处理器[PREP]可以将左眼和右眼视频帧以后面的顺序提供给核心编码器[CENC]：L(n)，L(n+3)，R(n)，L(n+1)，R(n+1)，L(n+2)，R(n+2)，R(n+3)。

图4代表了编码的立体视频数据[CSV]，它由图2中说明的编码器提供。编码的立体视频数据[CSV]包括方块代表的编码的左眼和右眼视频帧[Lc，Rc]。左眼和右眼视频帧[Lc，Rc]从图3显示的左眼和右眼视频帧[Lc，Rc]的编码中得到。编码的左眼和右眼视频帧[Lc，Rc]的参考符号中的下标，各自指示了左眼或右眼视频帧[L，R]，它们已经被编码。例如，编码的左眼视频帧L(n+1)是图3显示的左眼视频帧L(n+1)的B编码图像。

图5显示了根据本发明的立体视频解码器。解码器通过没有画出的传输通道，接收图4中说明的编码的立体视频数据[CSV]。响应于此，它提供解码的左眼视频帧序列[VL`]和解码的右眼视频帧序列[VR`]。解码器包括反格式器[DFRMT]、可变长度解码器[VLD]、核心解码器[CDEC]、立体视频多路解调器[STDEMUX]和控制器[CNTRL]。更特别地，核心解码器[CDEC]包括反离散余弦变换器及量化器[IDCTQ]，移动补偿器[MC]和存储器[MEM]。图5中显示的解码器基本上如后操作。反格式器[DFRMT]从不将被可变长度解码的数据中，分离出将被可变长度解码的数据，后者被提供给控制器[CNTRL]。数据可以包括，例如识别符，它可以被立体视频多路解调器[STDEMUX]使用，来区别左眼视频帧和右眼视频帧。可变长度加码器[VLD]将码词翻译回成量化系数[CF]和预测编码参数[PP]，它们已经在图2中说明的编码器中确定。

核心解码器[CDEC]根据量化系数[CF]和预测编码参数[PP]，再次产生左眼和右眼视频帧。更特别地，核心解码器[CDEC]再次产生左眼视频帧，好象它们源于标准的非立体MPEG视频数据。核心解码器[CDEC]再次产生右眼视频帧，好象它们是B编码的左眼视频帧。参考图3，存储器[MEN]临时存储I编码视频帧L(n)和P编码视频帧L(n+3)，而将图3显示的所有视频帧解码，这是充分的。

立体视频多路解调器[STDEMUX]再次排列核心解码器[CDEC]提供的左眼视频帧的顺序。它进一步将左眼视频帧和右眼视频帧多路解调。例如参考图3，核心解码器[CDEC]将连续地提供视频帧L(n)，L(n+3)，R(n)，L(n+1)，R(n+1)，L(n+2)，R(n+2)，R(n+3)的解码图像。在适当的延迟后，然后立体视频多路解调器[STDEMUX]将连续地提供左眼视频帧[L]的解码图像，并且与之平行，提供右眼视频帧[R]的解码图像。由此，得到左眼视频帧的解码序列[VL`]和右眼视频帧的解码序列[VR`]。照此进行，控制器被适当编程，而对解码器中的各个部分提供控制信号，并且促使这些部分根据此前的描述工作。

此前的图示及它们的描述，用于说明而非限制本发明。在所附权利要求书的范围内，明显有多个变化。在这方面，进行了后面结束部分的陈述。

有几种方式使编码的立体视频格式化。图4只说明了一种可能的格式，其中解码帧的顺序为Lc(n/I)，Lc(n+3/P)，Rc(n/B)，Lc(n+1/B)，Rc(n+1/B)，Lc(n+2/B)，Rc(n+2/B)，Rc(n+3/B)。另一种可能的格式是例如Lc(n/I)，Lc(n+3/P)，Lc(n+1/B)，Lc(n+2/B)，Rc(n/B)，Rc(n+1/B)，Rc(n+2/B)，Rc(n+3/B)。很多不同的格式都是可能的，正象标准MPEG编码中存在很多不同的格式一样。

有各种方式将编码的立体视频从编码器传输到解码器。例如，通过携带编码的立体视频数据[CSV]的传输通道，图2说明的编码器可以连接到图5说明的解码器上。另一种可能的应用是，例如编码器是记录设备的一部分，这意味着将编码的立体视频数据[CSV]记录到载体上。解码器可以是相同记录设备的一部分，或者是从载体上检索编码的立体视频数据[CSV]的另一个设备。

有几种方式通过几项硬件或软件，或两者几项的结合来实现功能。在这方面，附图是示意性的，每个只代表本发明的一种可能的实施例。这样，尽管图示用不同的方块显示了不同的功能，这无论如何也不排除单——项硬件或软件执行几个功能。也不排除几项硬件和/或软件结合来执行功能。

权利要求书中任何的参考符号将不构成对权利要求书的限制。动词“包括”不排除使用权利要求书中定义的那些以外的元件或步骤。元件或步骤前面的不定冠词“一”或“一个”不排除使用多个这样的元件或步骤。

Claims (3)

1.一种对包含相关的第一帧序列和第二帧序列组合的立体信号编码的方法，该方法包括以下步骤：将所述第一帧序列以这样的方式编码，即使得被编码的第一帧序列包含不参考其它帧而编码的内部编码帧，和参考过去内部的或预测编码的帧而编码的预测编码帧，其特征在于，所述方法还包括以下步骤：将所述第二帧序列以这样的方式编码，即使得被编码的第二帧序列包含参考第一帧序列的过去和未来内部的或预测编码的帧L(n)和L(n+m+1)而编码的双向预测编码帧R(n)至R(n+m+1)，其中m表示在帧L(n)与L(n+m+1)之间第一帧序列的双向预测编码帧的数目，m为非负整数。

2.一种编码器，用于对包含相关的第一帧序列和第二帧序列组合的立体信号进行编码，所述编码器包括将所述第一帧序列以这样的方式编码的装置，即使得被编码的第一帧序列包含不参考其它帧而编码的内部编码帧，和参考过去内部的或预测编码的帧而编码的预测编码帧，其特征在于，所述编码器还包括将所述第二帧序列以这样的方式编码的装置，即使得被编码的第二帧序列包含参考第一帧序列的过去和未来内部的或预测编码的帧L(n)和L(n+m+1)而编码的双向预测编码帧R(n)至R(n+m+1)，其中m表示在帧L(n)与L(n+m+1)之间第一帧序列的双向预测编码帧的数目，m为非负整数。

3.一种解码器，用于将编码的第一帧序列和编码的第二帧序列解码，所述第二帧序列与所述第一帧序列相关以形成组合的立体信号，所述解码器包括将所述第一帧序列以这样的方式解码的装置，即使得被解码的第一帧序列包含不参考其他帧而解码的内部解码帧，和参考过去内部的或预测解码的帧而解码的预测解码帧，其特征在于，所述解码器还包括将所述第二帧序列以这样的方式解码的装置，即使得被解码的第二帧序列包含参考第一帧序列的过去和未来内部的或预测解码的帧L(n)和L(n+m+1)而解码的双向预测解码帧R(n)至R(n+m+1)，其中m表示在帧L(n)与L(n+m+1)之间第一帧序列的双向预测解码帧的数目，m为非负整数。

Images