CN1795679B

CN1795679B - 对多媒体传输的辅助信息进行编码和解码的方法、装置和系统

Info

Publication number: CN1795679B
Application number: CN2004800143207A
Authority: CN
Inventors: 哈利纳特·加鲁达德里; 卡纳安·拉姆钱德拉安
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2003-03-24
Filing date: 2004-03-23
Publication date: 2010-11-24
Anticipated expiration: 2024-03-23
Also published as: CN1795679A; TW200507465A; JP4814081B2; MXPA05010251A; AU2004223383A1; RU2005132605A; EP1606953A2; DE602004010081D1; WO2004086631A2; JP2006521759A; ES2295895T3; BRPI0408708A; CA2520098A1; US7643558B2; KR20050113665A; US20040194008A1; WO2004086631A3; DE602004010081T2; ATE378780T1; KR100967322B1

Abstract

根据本发明的一个方面，提供一种方法和装置，在该方法和装置中，根据第一编码标准(例如，MPEG-4)来对输入数据(例如，输入视频数据)进行编码，以生成编码数据。还基于所述输入数据的重构来对所述输入数据进行编码，以生成与所述输入数据相关联的编码辅助数据。经由第一信道将所述编码数据传输到目的地(例如，解码子系统)，经由第二信道镜所述编码辅助数据传输到目的地。在所述目的地对所述编码数据和所述编码辅助数据进行解码和合并，以生成输出数据。

Description

对多媒体传输的辅助信息进行编码和解码的方法、装置和系统

技术领域

本发明通常涉及数据处理和数据通信领域，尤为具体地涉及用于对多媒体传输的辅助信息进行编码和解码的方法、装置和系统。

背景技术

随着技术的不断进步，以及视频和音频信号处理需求的持续飞速增长，在系统设计和实现中，有效和高效的信号处理和数据传输技术已经变得越来越重要。多年来，为了使涉及多媒体信号处理的各种编码方案标准化以及便利于该各种编码方案，已经开发出来包括视频信号处理的各种多媒体处理和传输的标准和规范。特别地，一个被称作运动图像专家组(MPEG)的组织被建立来，开发出编码再现在数字存储媒介上存储的运动图像及相关音频的标准和规范。结果是，称作ISO/IEC 14496-2(Part2-Visual)CODING OF AUDIO-VISUAL OBJECTS(音频-视频对象的编码)(这里也被称作MPEG-4标准或MPEG-4规范)的标准被开发出来，于1999年12月公布，它使用于视觉对象或视频信号的各种编码方案标准化。ISO和IEC分别代表国际标准化组织和国际电工委员会。通常，MPEG规范不能使编码器标准化，但是能够使编码器需要产生和写入到MPEG比特流的信息类型标准化；以及，使解码器为了重新获取编码信号而需要对解析、解压缩和再同步这些信息的方式标准化。[Q1]其它的编码标准包括，例如，ITU-T的建议H.263“用于低比特率通信的视频编码”和H.264等等。

图1中例示了一个典型的视频处理系统100，它包括视频编码器110和视频解码器130。在这种配置中，视频编码器110和视频解码器130可以依照已经制订的标准或规范来操作。例如，视频编码器110和视频解码器130可以依照MPEG-4标准来操作。因此，视频编码器110和视频解码器130被分别称作MPEG-4编码器和MPEG-4解码器。在图1中例示的系统配置中，在发射端，视频编码器110接收视频输入数据，对该视频输入数据进行编码以生成或产生编码视频数据，该编码视频数据经由信道120被传输给视频解码器130。信道120可以是有线信道或无线信道，在这里还可以被称作主信道或主数据流。在接收端，视频解码器130接收编码视频数据，并对该编码视频数据进行解码以生成或产生视频输出数据。在经由信道120的传输过程期间，由于包括噪音、信号干扰、衰减、连接损耗等等的各种因素，差错会被引入。这些差错会对视频解码器130的性能产生负面影响，并且因此视频输出数据的质量会发生恶化。可以使用各种传统的差错编码技术(例如差错检测编码、前向纠错编码(FEC)或自动请求重发方案(ARQ))来将误码率控制在一个可接受的水平。然而，由于数据冗余和/或更长的等待时间，这些传统技术会导致非常低的效率。视频压缩标准还提供了另外的机制来减轻由传输引入的差错的不利影响。它们是再同步标记、数据分割和可逆可变长编码(RVLC)等等。这些差错恢复工具增加了编码器和解码器的复杂程度，也增加了传输视频信息的数据速率。此外，这些工具可能不会提供对突发差错的足够的保护，其中突发差错在诸如CDMA的网络中的扩频通信信道中通常会遇见。

因此，存在一种需求，即需要一种用于改善多媒体处理系统中的多媒体信息(比如视频数据)的质量而不会带来非常低的处理效率的方法、装置和系统。

发明内容

根据本发明的一个方面，提供了一种方法，在该方法中，依照第一编码标准(例如：MPEG-4或H.263)对输入数据(例如，输入视频数据)进行编码，以生成编码数据。还基于输入数据的重构对输入数据进行编码，以生成与输入数据相关联的编码辅助信息。经由第一信道将编码数据传输到目的地(例如，解码子系统)，经由第二信道将编码辅助信息传送到目的地(例如，解码子系统)。在所述目的地对编码数据和编码辅助信息进行解码和合并，以生成输出数据。

根据本发明的另一个方面，提供了一种装置，该装置包括第一编码器和第二编码器。第一编码器接收输入数据，并依照第一编码标准(例如：MPEG-4)对其进行编码以生成用于经由第一信道传输的编码数据。第二编码器接收输入数据以及来自第一编码器的输入数据的重构，并且至少是部分地基于输入数据的重构，对输入数据进行编码，以生成用于经由第二信道传输的编码辅助数据。

根据本发明的又一个方面，提供了一种装置，该装置包括第一解码器和第二解码器。第一解码器对在第一信道上接收的编码数据进行解码，而第二解码器对在第二信道上接收的编码辅助数据进行解码。将第一解码器生成的数据和第二解码器生成的数据合并来生成输出数据。

根据发明的又一个方面，提供了一种系统，该系统包括第一编码器、第二编码器、第一解码器和第二解码器。第一编码器接收输入数据，并依照第一编码标准对其进行编码，以生成在用于经由第一信道传输的编码数据。第二编码器接收输入数据以及来自第一编码器的输入数据的重构，并且至少是部分地基于输入数据的重构来对输入数据进行编码，以生成在用于经由第二信道传输的编码辅助数据。第一解码器对在第一信道上接收的编码数据进行解码，而第二解码器对在第二信道上接收的编码辅助数据进行解码。将第一解码器生成的数据和第二解码器生成的数据合并来生成输出数据。

根据发明的另外一个方面，发明提供了一种机器可读媒质。该媒质包含指令，当该指令被机器执行时，能使机器执行以下操作：依照第一编码标准对输入数据进行编码以生成编码数据，基于输入数据的重构对输入数据进行编码以生成编码辅助数据，并且经由第一信道将编码数据传输到目的地，经由第二信道将编码辅助数据传输到目的地。

附图说明

通过下面详细的描述和参考附图，公开了本发明的各个方面和特征。在附图中：

图1例示了一个典型的视频处理系统的方框图；

图2A例示了一个处理系统的方框图，在该处理系统中，编码器单元和解码器单元都可以访问辅助信息；

图2B例示了一个处理系统的方框图，在该处理系统中，只有解码器单元能够访问辅助信息；

图3是根据本发明的实施例的典型处理系统的方框图；

图4是根据本发明的实施例的辅助信息编码器的方框图；

图5是例示了一个量化码字集和该量化码字的空间的分割的示图；

图6是例示一个已量化的码字空间的模4标记法的示图；

图7是根据本发明的一个实施例的解码子系统的方框图，其中该解码子系统包括辅助信息解码器；和

图8是根据本发明的实施例的一个方法的流程图。

发明详述

在下面详细的描述中阐明了本发明的许多具体细节。然而，应该理解的是，在没有这些具体细节的情况下，也可以在实际中实现本发明的各种实施例。对于本领域的技术人员而言，应该明白和理解的是，下面描述的本发明的各种实施例是示例性的，并且往往是用来对发明进行例示而不是对发明进行限制。

如同下面更详细的描述，根据发明的一个实施例，提供了一种方法和一个系统结构，除了对承载多媒体比特流的主流进行编码外，还对额外的数字流进行编码。这个额外的数字流在这里也被称作辅助信道或提示(hint)信道。这样一个额外的数字信道可以用来给经由主信道传输的多媒体比特流提供差错恢复，因此可以提高在接收端产生的多媒体信息(例如视频数据)的质量，例如由视频解码器生成的视频数据的质量。另外，根据下面更详细描述的本发明的一个实施例，可以基于包括信道条件、辅助信道需要提供的保护量等的各种因素，对经由辅助信道传输的提示信息或辅助信息的量进行修改或动态调整。

接下来的讨论提供了使用辅助信息编码的方法和系统结构的图示和说明。S.S.Pradhan和K.Ramchandran在名为“Distribute Source Coding Using Syndromes(DISCUS)：Design and Construction(使用校验位的分布信源编码(DISCUS)：设计与构造)”的技术论文中讨论了利用辅助信息编码结构，该文章收录于1999年3月召开的“数据压缩会议(DCC)”的会议论文集中。现在参看图2A和图2B，它们分别对处理系统200A和200B进行了图示说明。处理系统200A包括编码器210A，该编码器210A用于经由信道220A将数据传输给解码器230A。同样，处理系统200B包括编码器210B，该编码器210B用于经由信道220B将数据传输给解码器230B。

如图2A和2B所示，假定X和Y是3比特长二进制数据，它们能等概率取值8个可能的二进制3位元组(tuple)中之一。然而，X和Y是相关的随机变量。X和Y之间的相关性使得它们间的汉明距离最大是1。也就是，给定一个Y值(如Y＝[010])，X的值或者与Y相同(也即X＝[010])，或者相对于Y值只相差一个比特。例如，X的值可以在第一比特与Y值不同(X＝[110])，或者中间比特与Y值不同(X＝[000])，在最后一个比特与Y不同(X＝[011])。

下面的讨论将显示可以按照图1中示出的两种情形对X进行有效的编码，使得在解码器处可以对X进行正确地重构。

情形1：在图2A所示的第一种情形中，Y在编码器210A和解码器230A中都出现。在这种情形下，X可根据Y预测出。X相对于Y的残数

(也称作残余数据或残余信息)或差错模式可以采取4个不同的值，因此可以利用2比特对其进行编码。这被认为是对X进行编码所需的最小可能(最好)速率。在接收端，解码器能将残数和Y合并来获得X。在这种情况下，如同下面更详细的描述，X类似于需要经由提示信道传输的当前多媒体编码单元，Y类似于基于主信道的当前多媒体编码单元的重构。其中为提示信道编码残数的这个方法对应于预测编码。

情形2：在图2B所示的第二种情形中，用于X的编码器(编码器210B)不能访问Y。因此这种情形下的性能受限于第一种情形下的性能。然而，用于X的编码器知道X和Y之间的相关结构，并且还知道解码器能访问Y。在这个看起来更坏的情形下，下面显示仍然可以获得与第一种情形相同的性能。也就是，在第二种情形下，也可以利用2比特来对X进行编码。

这可以通过使用下面的方法来完成。在这种方法中，X的码字空间被分割成如下的4个集合，每个集合包含两个码字：

陪集1，其中包含[000]和[111]；

陪集2，其中包含[001]和[110]；

陪集3，其中包含[010]和[101]；和

陪集4，其中包含[100]和[011]。

在这个例子中，用于X的编码器可以识别包含X的码字的集合，并发送相应集合的索引，而不是发送个体码字。由于X的码字空间中存在有4个集合，所以能用2比特对各集合进行索引。当接收到陪集索引时，通过指明或断言与Y最相近的码字是应答，解码器可以使用Y来消除歧义或者从所述集合中获得正确的X值。如上所述，应当注意的是，X与Y之间的距离最大是1，而任何一个集合中两个码字之间的距离是3。因此，在第二种情形中，可以基于陪集索引和Y对X进行正确地解码。例如，如果Y是[001]并且X是[011]，那么编码器210B发送包含有X的值的相应集合的索引(在这种情况中是陪集4)，而不是发送X的个体码字。因此，在接收到来自编码器210B的这个索引后，解码器230B计算Y([001])与陪集4中一个码字([100])之间的距离，其等于2；以及计算Y([001])与另一个码字([011])之间的距离，其等于1。由于解码器210B知道X与Y之间的距离最大为1，所以[011]被解码为X的观测码字，在这个例子中它是X的正确值。其中解码器访问相关的辅助信息的这种编码方式被熟知为辅助信息编码。当码字长度变大时，采用辅助信息编码的系统的系统的性能可与基于预测编码的系统的性能相比拟。总之，X和Y之间的相关性有助于降低传输速率。基于前面的讨论，需要注意下面的观点：

-应该注意的是，陪集1是一个距离为3的重复信道码，而其他集合是在X的码字空间中该码字的陪集。在这个例子中，使用了与X和Y之间的相关距离(例如，噪声)相匹配的信道码来分割X的信源码字空间。这导致了一种能够给出高压缩性能的辅助信息编码系统，它的性能与预测编码系统的性能相同或具有可比性。

-在实际中，信源码字空间的分割以及最终陪集的索引标记能通过陪集码字的结构，采用一个非常高效的计算方式来完成。因此，辅助信息编码系统中的编码器获得低的编码复杂度。

-应该注意的是，如上讨论的X的分割是普遍适用的。也就是，无论Y的值是多少，只要X和Y都满足相关结构，X的相同分割也同样适用于所有Y。例如，如果X是[010]，那么用于X的相同编码(例如陪集3的索引)将同样适用于全部的Y(例如[010][110][000]和[011])。因此，不像预测编码的设置，用于X的编码与相关信息Y的值之间没有依赖性，因此提供了普适性。因此，这里提出的发明适用于所有预测编码技术，比如MPEG-4、H.263和H.264等等。

现在参看图3，根据发明的一个实施例，例示了一个使用辅助信息编码方法的典型多媒体处理系统300。如图3所示，系统300包括编码子系统或编码组件310和解码子系统或解码组件330。在一个实施例中，编码子系统310包括编码器312，该编码器依照已制订的标准(如MPEG-4标准或H.263标准)来操作。在这里，编码器312也被称作传统编码器。编码子系统310还包括另一个编码器316(在这里，也被称作辅助信息编码器或提示信息编码器)，该编码器与视频编码器312相耦合。编码器312接收并编码输入数据(例如视频数据)，以生成编码数据，该编码数据经由主信道320被传输给解码子系统330。主信道320可以是无线信道或有线信道。编码器316被耦合来接收输入数据和来自编码器312的输入数据的重构，并且生成编码辅助信息或提示信息，该编码辅助或提示信息将经由不同的信道325传输到解码子系统330。该不同的信道325可以是有线信道或无线信道。在这里，信道325也被称作辅助信道或提示信道。在一个实施例中，输入数据与输入数据的重构间的差值也被称为残余数据，该残余数据可能包含由编码器312生成的预测差错信息。在下面会更详细地讨论编码器316的结构和操作。

如图3所示，在一个实施例中，解码子系统330包括解码器332，该解码器依照已制订的标准(如MPEG-4标准或H.263标准)来操作。在这里，解码器332也被称作传统解码器。解码子系统330还包括解码器336，该解码器336用来对经由辅助信道325接收的辅助信息进行解码。将由解码器332和解码器336生成的信息或数据合并来生成输出数据(例如输出视频数据)。下面会更详细地讨论解码子系统330以及解码器316的结构和操作。

根据发明的一个实施例，图4详细说明了前面图3中所示的编码器316的方框图。如图4所示，编码器316(在这里，也被称作辅助信息编码器或简称为辅助编码器)包括分类单元410、基本标量量化单元420、校验位(syndrome)编码单元430、精细量化单元440和差错检测/保护单元450。下面更详细地讨论编码器316中的这些单元和组件。应该注意的是，图4所示的编码器316的配置或结构仅仅是依照本发明的教导的一个实施例或一个实现。基于本发明的不同应用和/或不同的系统环境，也可以实现其它配置、结构或变化。例如，分类和校验位码字选择可以与瞬时信道条件相匹配。

应该注意的是，取决于辅助信道(提示信道)325的允许传输速率，由编码器316完成的一些功能或处理可以被修改或跳过。例如，根据统计N和可得到的用于辅助信息的比特速率，可以对基本标量量化进行修改。类似地，精细量化处理或功能也可以被修改或跳过。出于图解和说明的目的，让X代表当前待编码的块，Y代表主信道上的当前块的重构，Y＝X+N，其中N代表X与Y之间的差值，并且它对应于例如X的编码中的预测差错、噪声和/或在编码和传输过程中引入的失真，等等。

在下面的讨论中，假定待编码的视频帧被划分成不重叠的像素空间块(例如，16×16和8×8，等等)。对于本领域的技术人员而言，应该明白并理解的是，本发明的教导并不局限于待编码的视频帧的任何特定划分或分割。下面更详细地讨论编码过程，该编码过程可以逐块进行。

分类：

在一个实施例中，分类单元410如下执行所述分类功能或处理。为了使信道码与块相匹配，基于块与当前帧的主信道重构之间的相关性，对块进行分类。与特定类相对应的统计N随后被用来确定或指定合适的分割策略。在一个实施例中，块帧差值(例如，在当前块和同一位置中的主信道上的重构块之间的简单均方误差)中的能量可用作提示来对当前块进行分类。可以使用许多编码模式或种类，其中每个与不同程度的相关性对应。例如，一种极端情况就是被称为SKIP模式的模式，在该编码模式中，相关性非常强，以至于根本未对块进行编码。另一种极端情况是称为INTRA模式的模式，在该编码模式中，相关性非常弱，以至于帧内编码是合适的。因此，在这两种极端情况之间，存在不同的校验位编码模式。

基本标量量化：

如图4所示，编码器单元316包含一个基本标量量化单元420，该基本标量量化单元执行对像素值的量化。在一个实施例中，在对输入数据(例如，像素值)进行编码前，需要对其进行量化。对于量化来说，步长大小的选择受限于统计N。例如，如果选择一个非常精细的步长大小来编码X，那么由于各个码字彼此之间靠得非常近，以至于重构信息Y可能不能正确地消除他们之间的歧义，所以会存在解码误差。图5中的一个图表对此进行了说明。如图5所示，最上面的一根线显示X的一个已量化的码字集合，而下面的两根线示出了X的已量化码字的空间的两个分割。矩形框显示位于第一分区块上的已观测到的码字。在这个例子中，由于N的大小超过了量化步长大小，所以解码器使用重构信息Y来解码出一个不正确的(画圈的)码字。因此，使用与N中相应元素的标准差成比例的步长大小，对X中的每个元素进行量化。

校验位编码：

重新参看图4，根据基本标量量化单元420生成的数据，校验位编码单元430执行校验位编码。在本实施例中，可以使用具有很好距离特性的信道码(例如，欧几里得空间格栅信道码、Turbo码、低密度奇偶校验(LDPC)码或其他本领域已知的信道码，等等)，对使用统计N已恰当生成的已量化码字空间进行分割。这类似于用来分割上述的信源码字空间的重复信道码。

在一个实施例中，1/2速率的格栅码可以用来实现这个目的。一个块长度为N的1/2速率格栅码是{0，1，2，3}N的子空间(例如，块长度为3的重复信道码([000]和[111])是{0，1}3的子空间)。因此可以用它来分割空间{0，1，2，3}N。出于这个原因，量化码字的空间需要被转换到{0，1，2，3}N。在一个实施例中，通过使用量化格点的模4标记可以完成这个操作，如图6所示。

在一个实施例中，在这种情况下得到的传输或陪集索引速率是1比特/每采样。在这个例子中，块长度为N的1/2速率格栅码是{0，1，2，3}N的子空间，该子空间在大小为4N的码空间中具有2N个码字。因此，有4N/2N＝2N个与它相关联的陪集，这些陪集能用N比特索引，由此对应的速率是1比特/每采样。

通过量化码字与格栅码的奇偶校验矩阵间的简单卷积操作(在系数的数量上是线性的)，可以用一个高效的计算方式来完成与每个码字相关的陪集索引(校验位)的生成。

精细量化：

如图4所示，由校验位编码单元430生成的数据能进一步被精细量化单元440精细化。通常，目标重构质量与具体的量化步长大小相对应。(例如，更高更理想的质量对应着更精细的量化步长，而较低的质量对应着较粗的量化步长)。质量通常用PSNR(峰值信噪比)(dB)来测量，PSNR＝log 10(2552/MSE)，其中MSE代表原始块和利用块中的像素个数划分的编码块之间的均方误差。

对于被校验位编码的像素值，基本量化步长大小的选择受限于N。这么做使得解码误差的概率最小。因此，假定基本量化间隔能被高保真度地正确传递给解码器，那么可以进一步精细化到目标量化步长大小。在一个实施例中，所述精细化操作可以非常简单，只需递归地将基本量化间隔细分成等于目标量化步长的间隔大小。在这种情况下，将基本间隔内的精细化量化间隔索引传输给解码器。

对于本领域的技术人员而言，应该理解的是，进行校验位编码和精细量化只是实现和完成辅助信息编码的好处的一种方式。如上所述，根据本发明的不同应用，可以实现这里描述的各种处理阶段的其他配置、变动或组合。例如，如果在某个应用或某个系统环境里不需要精细量化阶段或处理过程，那它可以被省略或跳过。

应当注意的是，为了维持质量和效率的恰当的平衡，可以基于各种因素对基本量化和精细量化的级别进行调整或修改。这些各种不同的因素可包括但不限于可用的辅助信息的比特速率、信道条件和为了获得质量的期望级别辅助信道需要提供的保护的数量，等等。

解码差错检测/保护：

如图4所例示，编码器316可包括差错检测/保护单元450。应该注意的是，在编码器子系统中，原则上，辅助信息编码是根据待编码的块X与位于主信道的帧存储器中的这个块的“最佳”预测值Y之间的差错统计来进行的。由于编码过程是统计的，所以存在需要检测的解码误差。这可以通过比如循环冗余校验码(CRC)之类的差错保护码来完成。在本实施例中，编码器316因此不仅传输辅助信息已编码系数的校验位，还传输已量化码字序列的具有足够长度的CRC校验。与传统的编/解码范例相对照，在这里讨论的新方法中，进行运动搜索是解码器的任务。在一个实施例中，解码器逐个地搜索候选预测值空间，以对由校验位标记的集合中的序列进行解码。当已解码的序列与CRC检测相匹配，解码被断言为成功。应该注意的是，CRC需要足够强，以至于能作为码字序列的可靠识别标记。

现在参看图7，例示了解码子系统330的一个更详细的框图。如图7所示，解码子系统可包括解码器单元332、解码器单元336以及估计和重构单元730。在一个实施例中，解码器336(在这里，也被称为辅助信息解码器或简称为辅助解码器)可包括运动搜索单元710和校验位解码单元720。解码子系统330中包括的各种单元的操作和功能在下面将会进行更详细的描述。

运动搜索：

在一个实施例中，运动搜索单元710执行运动搜索，以生成候选预测值，以对来自由已接收的校验位指示的集合的量化码字的序列进行解码。如同在标准的视频算法中编码侧所做的一样，在这里可以使用穷尽的半像素运动搜索来获得各种候选预测值。应该注意的是，这里讨论的方法和系统结构能应用于适应任何其他复杂的运动估计过程，如多帧预测、光流以及控制格点内插，等等。

在一个实施例中，当主信道没有误差或运动向量未被破坏时，不执行运动搜索。在这里应该注意的是，运动搜索操作可能非常耗时，并且计算强度非常大。因而，如果运动向量到达，而主流中没有差错，那么就不需要进行运动搜索操作。

校验位解码：

继续当前的讨论，校验位解码由校验位解码单元720来执行。在一个实施例中，由运动搜索单元710生成的每个预测值被用于对来自由校验位指示的集合中已量化的码字序列进行解码。对于格栅码的情况，可以用Viterbi算法来完成解码。其中由已接收校验位指示的所有码字序列的集合在格栅上表示。Viterbi算法随后被用来识别与预测值“最靠近”的集合中的序列。对于其他码字(例如，Turbo码)，可使用相应的解码算法(例如，迭代解码)。如果这个已解码序列与CRC校验相匹配，那么解码被断言为成功。否则，使用运动搜索模块，获得下一个候选预测值，并且随后重复进行这一过程。

估计与重构：

一旦量化码字的序列由校验位解码单元720恢复，所恢复的码字序列就被提供给估计与重构单元730(在这里，也被称为合并单元)。将所述恢复的码字序列与可从主信道获得的预测值一起使用来获得信源数据的最佳重构。如果X、Y和N被模拟为高斯随机变量，那么来自预测值以及量化码字的序列的最佳线性估值能被用来获得信源重构。然而，任何复杂的信号处理算法(例如，时空内插法)或后处理机制都能用于这个结构中，并且这些可用于提高处理系统的整体性能。

换言之，如图7所示，合并单元730将已重构的主流数据和已重构的辅助流数据合并，以生成输出数据(例如，视频输出数据)。各种技术都能用于合并已重构的主流数据和已重构的辅助流数据，来生成输出数据。例如，线性加权(基于线性估值)或本领域中已知的其他任何非线性混合技术都能用于合并已重构的主数据流和已重构的辅助数据流。

依照本发明的一个实施例，图8例示了用于处理信息(例如，视频数据)的方法的流程图。在方框810中，接收输入数据(例如，输入视频数据)。在方框820中，依照已制订的标准(例如，MPEG-4或H.263标准)对输入视频数据进行编码，以生成编码数据。在方框830中，基于输入数据的重构，对输入数据进行编码，以生成编码辅助信息(也称为提示信息)。在方框840，经由第一信道(也称为主信道)将在820生成的编码数据传输到目的地(例如，解码子系统)，而经过第二信道(也称作辅助信道或提示信道)将编码辅助信息传输到目的地(例如，解码子系统)。如同这里所讨论，经过主信道传输的信息流被称为主流，而经过辅助信道传输的信息流被称作辅助流。在方框850，在从主信道接收到编码数据以及从辅助信道接收到编码辅助信息后，对接收到的编码数据和编码辅助信息进行解码，以生成输出数据(例如，输出视频数据)。

如上所述，可以看出，根据本发明的各种实施例，这些方法和系统结构可应用于各种系统配置、应用以及包括视频和音频数据在内的各种类型的相关数据。从上面的描述可以看出，与传统系统的性能以及输出数据的质量相比，在如图3所示的使用辅助信息编/解码的处理系统中，系统的性能和由解码子系统生成的输出数据的质量得到改善。换言之，与基于传统FEC的差错恢复的方法/解决方案相比，这里所公开的基于辅助信息的提示信道方法/方案在两个方面具有优势：(1)与达到相同的性能曲线的基于FEC的解决方案相比，本发明的基于辅助信息的方法/解决方案会带来更低的等待时间。这是因为提示信道是一个联合信源信道码，它能在宏块级高效操作。这与FEC解决方案相反，后者需要在帧级或图片组(GOP)级操作，这会导致等待时间显著增加；和(2)即使当主信道上没有遇到差错时，本发明的基于辅助信息的方法能带来质量的改善，因为如前面所描述，它将两个信息流进行混合。然而，在这种情形下，基于FEC的解决方案不能改善质量。

虽然参照特定的实施例和具体的例子描述了本发明，但是对于本领域的技术人员而言，应该理解和明白的是：这些实施例和例子是用来例示性的，本发明的范围并不局限于这些实施例。可以对上面所描述的实施例进行许多变动、修改、添加和改善。可以预期的是，这些变动、修改、添加和改善都落在本发明的范围内，本发明的范围将由下面的权利要求详细限定。

Claims

1.一种由编码装置执行的方法，所述方法包括：

依照一种编码标准，采用所述编码装置的第一编码器对输入数据进行编码，以生成编码数据；

通过执行校验位编码处理，基于所述输入数据的重构，采用所述编码装置的第二编码器来对所述输入数据进行编码，以生成编码辅助数据，所述编码辅助数据包含用于识别与所述输入数据相关联的多个码字集合中之一的索引；并且

经由第一信道将所述编码输入数据传输到目的地，并

经由第二信道将所述编码辅助数据传输到所述目的地。

2.如权利要求1所述的方法，其中，所述编码标准是与MPEG-4标准相兼容的标准。

3.如权利要求1所述的方法，其中，所述编码标准是与H.263标准相兼容的标准。

4.如权利要求1所述的方法，其中，所述输入数据包括视频数据。

5.如权利要求4所述的方法，其中，待编码的所述输入数据的帧被分成不重叠的像素空间块。

6.如权利要求1所述的方法，其中，基于所述输入数据的重构来对所述输入数据进行编码包括：

将所述输入数据的块与所述编码输入数据的重构中的对应块相关；以及

基于所述相关性，对所述块进行分类。

7.如权利要求6所述的方法，其中，对所述块进行分类包括基于所述块与处于相同位置中的对应重构块之间的能量差值，对所述块进行分类。

8.如权利要求6所述的方法，其中，对所述块进行分类包括将所述块分类为一个或多个类，其中所述类中的每一个对应于特定程度的相关性。

9.如权利要求6所述的方法，进一步包括：

对所述输入数据进行量化，以生成所述输入数据的一个或多个量化码字，其中所述码字集合包括所述量化码字。

10.如权利要求9所述的方法，其中，基于残余数据的统计确定用于量化所述输入数据的量化参数，该残余数据与所述输入数据和所述编码输入数据的重构之间的差值相对应。

11.如权利要求10所述的方法，其中，所述残余数据包括对所述输入数据进行编码而生成的预测差错信息。

12.如权利要求9所述的方法，其中：

执行所述校验位编码处理包括相对于所述量化码字来执行校验位编码处理，以生成编码辅助数据。

13.如权利要求12所述的方法，还包括：对所述编码辅助数据执行精细量化处理。

14.如权利要求12所述的方法，进一步包括：

向所述编码辅助数据添加差错保护码。

15.如权利要求1所述的方法，还包括：维护所述多个码字集合，其中，其中所述码字集合中的每一个包括具有可能的码字间隔的至少两个码字，并且其中执行所述校验位编码处理包括选择用于识别与所述编码输入数据相关联的所述多个码字集合中的所述一个的所述索引。

16.如权利要求15所述的方法，还包括：基于所述输入数据和所述编码输入数据的重构来生成所述多个码字集合。

17.如权利要求16所述的方法，其中，生成所述多个码字集合包括：

确定所述输入数据和所述编码输入数据的所述重构之间的相关性；以及

至少基于所述输入数据和所述编码输入数据的所述重构之间的相关性，生成所述多个码字集合。

18.如权利要求15所述的方法，其中，选择所述索引包括使用所述输入数据的量化码字和信道码的奇偶校验矩阵之间的卷积操作来选择所述索引。

19.如权利要求1所述的方法，其中，编码所述辅助数据还包括：

将所述输入数据的块与所述编码输入数据的所述重构中的对应块相关；以及

基于所述相关性，对所述块进行分类。

20.一种由解码装置执行的方法，所述方法包括：

在所述解码装置经由第一信道接收编码输入数据；

在所述解码装置经由第二信道接收包含索引的编码辅助数据，所述编码辅助数据根据校验位编码处理产生，所述索引用于识别与经由所述第一信道接收的所述编码输入数据相关联的多个码字中之一；

在所述解码装置对经由所述第一信道接收的所述编码输入数据进行解码；并且

在所述解码装置对经由所述第二信道接收的所述编码辅助数据进行解码；以及

在所述解码装置对经由所述第一信道接收的解码数据和经由所述第二信道接收的解码辅助数据进行合并，以生成解码输出数据。

21.如权利要求20所述的方法，其中，对所述编码辅助数据进行解码包括：

当在所述第一信道上接收到的所述编码输入数据的运动信息包含差错时，采用所述解码装置进行运动搜索处理。

22.如权利要求20所述的方法，对所述编码辅助数据进行解码包括：

执行校验位解码处理来恢复所述码字集合的量化码字，该量化码字与从所述第二信道接收的所述编码辅助数据的索引相对应。

23.如权利要求20所述的方法，还包括：

维护所述多个码字集合，其中所述多个码字集合中的每个集合包括具有可能的码字间隔的至少两个码字。

24.一种编码装置，包括：

第一编码器，用于依据一种编码标准来对输入数据进行编码，并经由第一信道将编码输入数据传输到目的地；以及

第二编码器，用于接收所述输入数据和所述输入数据的重构，通过执行校验位编码处理，基于所述输入数据的重构来对所述输入数据进行编码，以生成编码辅助数据，并且经由第二信道将所述编码辅助数据传输到所述目的地，其中，所述编码辅助数据包括用于识别与所述输入数据相关联的多个码字集合中之一的索引。

25.如权利要求24所述的装置，其中，所述编码标准与MPEG-4标准相兼容。

26.如权利要求24所述的装置，其中，所述编码标准与H.263标准相兼容。

27.如权利要求24所述的装置，其中，所述输入数据包括视频数据。

28.如权利要求27所述的装置，其中，待编码的所述输入数据的帧被划分成不重叠的像素空间块。

29.如权利要求24所述的装置，其中，所述第二编码器包括：

分类单元，用于基于所述输入数据块与所述输入数据的重构中的对应块之间的相关性，对所述输入数据块进行分类。

30.如权利要求29所述的装置，其中，所述分类单元基于所述块和处于相同位置的对应的重构块之间的能量差值，对所述输入数据块进行分类。

31.如权利要求29所述的装置，其中，所述分类单元将所述块分类为一个或多个类，其中所述类中的每个类对应于特定程度的相关性。

32.如权利要求29所述的装置，进一步包括：

量化单元，用于量化所述输入数据，以生成所述输入数据的一个或多个量化码字，其中所述码字集合包括所述量化码字。

33.如权利要求32所述的装置，其中，基于残余数据的统计来确定用于量化所述输入数据的量化参数，该残余数据与所述输入数据与所述输入数据的重构之间的差值相对应。

34.如权利要求33所述的装置，其中，所述残余数据包括对所述输入数据进行编码而生成的预测差错信息。

35.如权利要求32所述的装置，进一步包括：

校验位编码器，用于相对于所述量化码字来执行所述校验位编码，以生成所述编码辅助数据。

36.如权利要求35所述的装置，其中，通过精细量化处理来进一步精细化所述编码辅助数据。

37.如权利要求35所述的装置，进一步包括：

差错保护单元，用于向所述编码辅助数据添加差错保护码。

38.如权利要求24所述的装置，其中，所述第二编码器维护所述多个码字集合，其中，所述码字集合中的每一个包括具有可能的码字间隔的至少两个码字。

39.如权利要求38所述的装置，其中，所述第二编码器基于所述输入数据和所述编码输入数据的重构来生成所述多个码字集合。

40.如权利要求39所述的装置，其中，所述第二编码器确定所述输入数据和所述编码输入数据的所述重构之间的差值；以及至少基于所述输入数据和所述编码输入数据的所述重构之间的所述差值，生成所述多个码字集合。

41.如权利要求24所述的装置，其中，所述第二编码器包括分类单元，用于基于所述输入数据的块与所述输入数据的重构中的对应块之间的相关性，对所述输入数据块进行分类。

42.一种解码装置，包括：

第一解码器，用于对经由第一信道接收的编码输入数据进行解码；

第二解码器，用于对经由第二信道接收的编码辅助数据进行解码，其中所述编码辅助数据包含索引，其中所述编码辅助数据是根据校验位编码处理产生的，其中所述编码辅助数据识别与经由所述第一信道接收的所述编码输入数据相关联的多个码字集合中之一，并且其中所述第二解码器被配置为对所述编码辅助数据进行解码以获得所述索引；和

合并单元，用于将所述第一解码器生成的所述解码数据和所述第二解码器生成的所述解码辅助数据合并，以生成输出数据。

43.如权利要求42所述的装置，进一步包括：

运动搜索单元，用于在经由所述第一信道接收的所述编码输入数据的运动信息包含差错时，执行运动搜索操作。

44.如权利要求42所述的装置，其中，所述第二解码器包括：

校验位解码单元，用于恢复所述码字集合的量化码字，该量化码字与经由所述第二信道接收的所述编码辅助信息的所述索引相对应。

45.一种用于编码输入数据并对所接收的编码数据进行解码的系统，包括：

第一编码器，用于接收输入数据并依照一种编码标准对所述输入数据进行编码，以生成经由第一信道传输到目的地的编码数据；

第二编码器，用于接收所述输入数据以及来自所述第一编码器的所述输入数据的重构，通过执行校验位编码处理，基于所述输入数据的重构来对所述输入数据进行编码，以生成编码辅助数据，并经由第二信道将所述编码辅助数据传输到所述目的地，其中所述编码辅助数据包含用于识别与所述输入数据相关联的多个码字集合中之一的索引；

第一解码器，用于对经由所述第一信道接收的所述编码数据进行解码；和

第二解码器，用于对经由所述第二信道接收的所述编码辅助数据进行解码，其中所述第二解码器被配置为对所述编码辅助数据进行解码，以获得所述索引；以及

合并单元，用于合并由所述第一编码器生成的所述解码数据和所述第二解码器生成的所述解码辅助数据，以生成输出数据。

46.如权利要求45所述的系统，其中，所述第二编码器包括：

分类单元，用于基于所述输入数据块与所述输入数据的当前帧的重构之间的相关性，对所述输入数据块进行分类；

量化单元，用于对所述输入数据进行量化以生成与所述输入数据对应的一组量化码字，其中与所述输入数据相关联的所述码字集合包括所述量化码字；和

校验位编码单元，用于根据所述量化码字来执行校验位编码，以生成编码辅助数据。

47.如权利要求45所述的系统，其中，所述第二解码器包括：

48.如权利要求45所述的系统，其中，所述第二解码器包括：

校验位解码单元，用于识别与经由所述第一信道接收的所述编码输入数据相关联的码字集合，以及恢复所述码字集合的量化码字，该量化码字与在所述第二信道上接收的所述编码辅助数据的所述索引相对应。