CN1993996A - 基于分布式信源编码技术使用副信道增强预测视频编解码器的鲁棒性的方法、设备和系统 - Google Patents

基于分布式信源编码技术使用副信道增强预测视频编解码器的鲁棒性的方法、设备和系统 Download PDF

Info

Publication number
CN1993996A
CN1993996A CN200580026008.4A CN200580026008A CN1993996A CN 1993996 A CN1993996 A CN 1993996A CN 200580026008 A CN200580026008 A CN 200580026008A CN 1993996 A CN1993996 A CN 1993996A
Authority
CN
China
Prior art keywords
bit stream
standard
auxiliary channel
signal
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200580026008.4A
Other languages
English (en)
Other versions
CN1993996B (zh
Inventor
哈利纳特·加鲁达德里
纳韦恩·B·斯里尼瓦桑莫特
赫金·钟
卡纳安·拉马钱德兰
阿比希克·马宗达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN1993996A publication Critical patent/CN1993996A/zh
Application granted granted Critical
Publication of CN1993996B publication Critical patent/CN1993996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/22—Arrangements for detecting or preventing errors in the information received using redundant apparatus to increase reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L2001/0092—Error control systems characterised by the topology of the transmission link
    • H04L2001/0096—Channel splitting in point-to-point links

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于提供分布式信源编码技术的方法、设备和系统，其在发生信道差错或者丢失时改善数据编码性能，例如视频数据编码。通过发送附加信息来消除或者减少数据重构中的差错。预测序列和原始序列之间的相关性可以用于设计码本，以及用于找到表示原始图像所需的陪集。所述信息可在另一个信道或者辅助信道上进行发送。

Description

基于分布式信源编码技术使用副信道增强预测视频编解码器的鲁棒性的方法、设备和系统
基于35U.S.C.§119要求优先权
本专利申请要求于2004年6月1日递交的、名称为“METHOD，APPARATUS，AND SYSTEM FOR ENHANCING ROBUSTNESS OFPREDICTIVE VIDEO CODECS USING A SIDE-CHANNEL BASEDON DISTRIBUTED SOURCE CODING TECHNIQUES”的U.S.临时申请No.60/576,193的优先权，该临时申请转让给本申请的受让人，因而在此通过参考而援引其全部内容。
共同未决专利申请的参考
本专利申请相关于下面的于2003年3月24日递交的、名称为“Method，Apparatus and System for Encoding and Decoding SideInformation for Multimedia Transmission”的共同未决(co-pending)U.S.专利申请No.10/396,982，该共同未决U.S.专利申请转让给本申请的受让人，因而在此通过参考对其进行援引。
技术领域
本发明一般涉及易错(error-prone)网络上的多媒体，特别涉及结合无线网络上的多媒体使用的视频编码和解码技术。
背景技术
当前的视频压缩技术，例如ITU-T H.263、H.263+、H.263++、ISO MPEG-4以及JVT H.264，已经在压缩视频中变得越来越有效。在新兴的基于带宽有限信道(例如无线信道)的多媒体应用中，以相对较低的比特率获得良好视觉质量的能力导致视频应用变得越来越普遍。但是，当前视频编解码器所使用的压缩技术的预测特性使得所压缩的视频比特流容易由于信道中的分组丢失而发生恶化。
信道差错或者分组丢失可以导致视频编码器和解码器之间的同步丢失。更具体地，在编码器处的重构视频帧的本地解码副本可能与在解码器处的相应重构视频帧不匹配。由于在接收机的解码器和发射机的解码器之间会存在漂移(drift)，视频编码器和解码器之间的同步丢失有时也称为“漂移”。漂移可以导致解码视频质量的显著损失。
由于漂移所导致的解码质量的下降是作为当前视频编解码器基础的基于预测的编码的直接结果。也就是，为了对当前的视频帧进行解码，需要正确地重构所有先前的视频帧。这个问题在无线信道中更加显著，无线信道中的分组丢失比有线网络更加频繁，而且易于以突发的形式出现。
已经将重传方案(例如自动重复请求(ARQ)或者前向纠错(FEC)方案)用于抵制编码器和解码器之间的漂移问题，由此减轻了由于分组丢失而导致的质量损失。但是，使用ARQ或者FEC方案(或者两者的组合)可能不是有效的，这是由于视频应用的延迟限制可能排除了对这些方案的使用。而且，基于FEC的方案不能保证数据是否被接收到，漂移继续存在直至接收到下一个帧内(帧内由视频编码器用于中断预测循环并从而停止漂移)。
A.D.Wyner和J.Ziv在“The rate distortion function for sourcecoding with side information at the decoder”(IEEE Trans.Inf.Theory，vol.22，pp.1-10，1976年1月)中对Wyner-Ziv定理进行了讨论。这个定理解决了具有边信息(side-information)的信源编码的问题。考虑两个相关信源X和Y。编码器需要在只有解码器访问信源Y时压缩信源X。当均方差是失真测量值且X＝Y+N(其中N具有高斯分布)时，无论编码器是否访问Y，编码X的速率-失真性能都是相同的。
近来，基于Wyner-Ziv框架内具有边信息的信源编码原理，提出了信源信道联合编码技术以解决漂移问题。例如，参见R.Puri和K.Ramchandran，“PRISM：A New Robust Video Coding Architecture basedon Distributed Compression Principles”，Allerton Conference onCommunication，Control and Computing，2002；A.Sehgal，A.Jagmohan和N.Ahuja，“Wyner-Ziv Coding of Video：An Error-ResilientCompression Framework”，IEEE Trans.on Multimedia，vol.6，pp.249-258，2004；A.Aaron，S.Rane，R.Zhang和B.Girod，“Wyner-ZivCoding of Video：Applications to compression and error resilience”，Proc.IEEE Data Compression Conf.，2003；以及A.Aaron，S.Rane，D.Rebollo-Monedero和B.Girod，“Systematic Lossy Forward ErrorProtection for Video Waveforms”，Proc.IEEE Int.Conf.Image Proc.，2003。
R.Puri和K.Ramchandran在“PRISM：A New Robust Video CodingArchitecture based on Distributed Compression Principles”(AllertonConference on Communication，Control and Computing，2002)中以及A.Aaron，S.Rane，R.Zhang和B.Girod在“Wyner-Ziv Coding of Video：Applications to compression and error resilience”(Proc.IEEE DataCompression Conf.，2003)中描述的编解码器是避开预测编码框架的完全视频编解码器。
另一方面，A.Sehgal，A.Jagmohan和N.Ahuja在“Wyner-ZivCoding of Video：An Error-Resilient Compression Framework”(IEEETrans.on Multimedia，vol.6，pp.249-258，2004)中以及A.Aaron，S.Rane，D.Rebollo-Monedero和B.Girod在“Systematic Lossy ForwardError Protection for Video Waveforms”(Proc.IEEE Int.Conf.ImageProc.，2003)中描述的编解码器保留了预测编码框架，但是发送一些附加信息以减轻漂移的影响。
尽管取得了这些进步，但是本领域仍需要如下技术，其不仅能够通过协助减轻分组丢失对于在无线信道上传输的压缩视频比特流的影响，来实现在该无线信道上的强壮的视频传递，而且还满足下列要求：
·能够与现有的压缩技术协同工作
·具有低处理延迟
·快速消除/降低视频编码器和解码器之间的漂移
·当与视频编解码器所使用的技术相比时，需要低比特率
发明内容
本文公开的实施例通过在出现信道差错或者分组丢失时提供改进视频编码性能的分布式信源编码技术，满足了以上所述的要求。
使用下列术语
·主流(main stream)：使用预测编解码器压缩的视频数据
·主信道：在其上传输主流的逻辑信道
·WyZER流：使用分布式编码原理构造的Wyner Ziv抗错(errorresilience)流
·辅助信道(secondary channel)：在其上传输WyZER流的逻辑信道
·主信道编码器：用于对主流进行编码的编码器
·主信道解码器：用于对主流进行解码的解码器
·WyZER编码器：用于对WyZER流进行编码的编码器
·WyZER解码器：用于对WyZER流进行解码的解码器
·边信息：已解码的主流数据，其由WyZER解码器用于在接收机处对帧进行重构
·DSC：分布式信源编码
在存在信道差错的情况下，对编码器处的视频帧和解码器处的重构视频帧之间的相关性进行估计。在一个实施例中，在离散余弦变换(DCT)域中计算相关性。相关性可以用于寻找陪集(coset)，如在2003年3月24日递交的、名称为“Method，Apparatus and System forEncoding and Decoding Side Information for Multimedia Transmission”的U.S.专利申请No.10/396,982中所述。
本发明的实施例可以通过将WyZER流作为抗错流，协助减轻传统视频编解码器中的漂移问题。实施例可以通过发送附加信息，协助降低或者消除漂移。例如，在一个实施例中，可以使用辅助信道技术，其中，WyZER流可以用于停止漂移以及改善视频质量。预测序列和原始序列之间的相关性可以用于设计码本(codebook)以及找到表示原始图像所需的陪集。所述信息可在另一个信道或者辅助信道上发送。在另一个实施例中，所需的陪集数量可以在辅助信道上以头部信息的形式传送至WyZER解码器。
在一个实施例中，使用DSC，可以以较低的速率在辅助信道上发送对视频序列的另一个描述，所述辅助信道可以用于纠正在接收机处的重构视频帧中由信道丢失所引起的差错。可以借助于预测解码器所重构的视频帧对在辅助信道上发送的比特流进行解码。从而，可以减轻差错传播的影响。
在一个实施例中，如果解码器仅能够对主流数据进行解码，则其将丢弃在辅助信道上发射的附加信息。如果解码器可以对这两种流进行解码，则其将首先对主流数据进行解码，然后使用所述信息对WyZER流数据进行解码，并且向用户提供最终的重构图像。
附图说明
图1是无线通信系统的框图。
图2(a)是对于使用H.263+编码器以及DSC技术进行编码的视频序列，峰值信号噪声比(PSNR)与帧数量的对比图。
图2(b)是对于使用H.263+编码器、FEC以及DSC技术进行编码的视频序列，PSNR与帧数量的对比图。
图2(c)是对于使用H.263+编码器、FEC以及DSC技术进行编码的另一个视频序列，PSNR与帧数量的对比图。
图2(d)是对于使用H.263+编码器、FEC以及DSC技术进行编码的称为“Stefan”的视频序列，PSNR与差错百分比的对比图。
图2(e)是对于使用H.263+编码器、FEC以及DSC技术进行编码的称为“Football”的视频序列，PSNR与差错百分比的对比图。
图2(f)是对于使用FEC以及DSC技术进行编码的“Football”视频序列，PSNR与平均突发长度的对比图。
图3是示出可以实现DSC技术的无线通信系统一部分的框图。
图4是示出用于确定对于副信道(side-channel)编码器的帧内比特分配的实施例的流程图。
图5是示出用于确定副信道编码器将使用的信源码本的划分(partition)的最大数量的实施例的流程图。
图6是WyZER编码器的框图。
图7是WyZER解码器的框图。
具体实施方式
当前的视频编码标准使用预测框架来获得对于视频信号的良好压缩性能。这种压缩方案的实例包括MPEG-4、H.263+以及H.264。但是，当在易错信道上传输这种压缩比特流时，视频质量会被严重破坏，例如图2(a)-(c)中使用目标PSNR度量所示。易错信道的实例包括cdma2000、WCDMA、GSM以及其它新兴的无线网络。在本发明中，使用预测编解码进行压缩的视频数据被称为“主流”，在其上传输主流的逻辑信道被称为“主信道”。
减轻信道差错有害影响的实例包括对具有差错的传输单元的重传(RLP重传、混合ARQ等等)、抗错分组化(对传输单元中在语义上更加重要的比特提供更强的差错保护的数据划分、数据交织等等)、限制所丢失信源数据的程度的比特流语法(使用再同步标记、可逆变长编码RVLC等等)。
在本发明中，生成独立的比特流，以与主流一起用于改进抗错性。使用基于分布式信源编码原理的视频数据WyZER-Ziv编码来构建这种流。我们将这种流称为Wyzer Ziv抗错流(WyZER流)。WyZER流在“辅助信道”上传输，辅助信道是与用于例如MPEG-4、H.263+以及H.264等视频编解码器的主信道不同的逻辑信道。预测视频编码器所重构的视频帧作为WyZER解码器的边信息，用于对WyZER流进行解码。
根据本发明的另一个方案，提供了如下技术，其使用R.Zhang，S.L.Regunathan和K.Rose在“Optimal intra/inter mode switching forrobust video communication over the Internet”(Proc.33rd Ann.AsilomarConf.on Sig.Syst.Comp.，1999)中详述的某些概念，在离散余弦变换(DCT)域中估计在差错重构的帧与帧本身之间的相关性。
根据本发明的另一个方案，WyZER编码器工作在DCT域中，以利用DCT的能量集中特性。基于可用于副信道的速率以及相关性估计，从DC和低频系数开始，对尽可能多的DCT系数进行编码。
如果客户接收到主流以及WyZER流，但是仅能对主流进行解码(也就是，其仅具有预测解码器，例如MPEG-4或H.263+或H.264解码器)，则客户将仅对主流进行解码，而忽略WyZER流。具有预测解码器和WyZER解码器的客户可以对两种比特流进行解码，因此，其可比仅具有预测解码器的客户接收质量更好的解码视频。
虽然A.Sehgal，A.Jagmohan和N.Ahuja在“Wyner-ziv Coding ofVideo：An Error-Resilient Compression Framework”(IEEE Trans.onMultimedia，vol.6，pp.249-258，2004)中的算法以及A.Aaron，S.Rane，D.Rebollo-Monedero和B.Girod在“Systematic Lossy Forward ErrorProtection for Video Waveforms”(Proc.IEEE Int.Conf.Image Proc.，2003)中的算法也在辅助信道解码器处将预测编码器所重构的差错帧用作边信息，但是在本发明与这些文献中描述的技术之间存在很多重要差异。例如，在A.Sehgal，A.Jagmohan和N.Ahuja的“Wyner-zivCoding of Video：An Error-Resilient Compression Framework”(IEEETrans.on Multimedia，vol.6，pp.249-258，2004)中，作者将某些帧标记为“peg”帧。这些技术允许在一个peg帧到下一个peg帧之间出现差错传播。在每个peg帧上，从编码器将一些附加信息发送至解码器，以允许解码器纠正peg帧中的差错。
相反地，本发明的方案则尽可能早地停止或者降低漂移或者差错。这样，可以或多或少地保持稳定的质量，从视觉角度来说这是非常重要的。
另一方面，在A.Aaron，S.Rane，D.Rebollo-Monedero和B.Girod的“Systematic Lossy Forward Error Protection for Video Waveforms”(Proc.IEEE Int.Conf.Image Proc.，2003)中，与每个帧一起发送对视频序列的独立描述，但是其具有较粗的量化。对于这种较粗的描述可以使用Wyner-Ziv框架进行编码，并且可以借助在解码器处作为边信息的差错帧对其进行解码。从而，上述文章中的方法并未试图停止漂移，这是因为其最多仅可以恢复所述较粗的描述。在上述文章中描述的技术工作在像素域中而并非在DCT域中，从而放弃了对空间相关性的使用。
对于具有边信息的信源编码，编码器需要在失真限制内对信源进行编码，解码器需要能够对受到信源和边信息之间的相关噪声N影响的编码码字进行解码。虽然Wyner和Ziv所证明的结论是非建设性的且在实质上是渐进的，然而已经提出了多种解决这个问题的建设性方法，其中，将信源码本划分为与相关噪声N匹配的信道编码的陪集。划分或者陪集的数量取决于N的统计特性。
图1是示出根据一个实施例的在无线信道上的编码视频方案的系统框图。该系统包括：预测编码器10，其包括帧缓冲器，预测编码器10通过无线主信道25将比特流传送至预测解码器20；以及辅助信道(WyZER)编码器30，其通过无线辅助信道45将比特流传送至辅助信道(WyZER)解码器40。
在图1中，预测解码器20通过无线主信道25从预测编码器10接收比特流，并且重构信号
Figure A20058002600800181
Figure A20058002600800182
作为对输入到编码器10的视频信号X的表示。预测解码器20所重构的比特流 可能受到比特流在无线信道上的传输中的差错的影响。重构信号 作为WyZER解码器40的边信息，WyZER解码器40输出
Figure A20058002600800185
以作为最终的重构。
在一个实施例中，输入视频信号X是正在由预测编码器10进行编码的当前视频信号，预测编码器10可压缩输入视频信号，并且基于例如运动估计(ME)以及位移帧差(DFD)变换等技术发送所压缩的比特流。WyZER编码器30向WyZER解码器40发送使用了Wyner-Ziv框架的X的独立描述。
接着，WyZER解码器40对在辅助信道上发送的比特流进行解码，并且使用重构的信号 输出对视频信号X的最终重构 与重构信号相比，最终的重构信号
Figure A20058002600800189
通常将是对原始视频信号X的更好重构，这是因为，如下所述，WyZER解码器40能够对在比特流经由无线信道进行传输期间出现的某些差错进行纠正。可将最终重构信号
Figure A200580026008001810
写回到预测解码器20的帧缓冲器中。
在该实施例中，为了设计WyZER编码器30，假设分配给WyZER编码器的速率是固定的，并且相关性结构是 X = X ~ + Z , 其中X表示原始输入信号， 表示预测解码器对原始信号X的重构，以及Z表示相关噪声向量。
此外，在该实施例中，因为操作发生在离散余弦变换(DCT)域中，所以假设相关噪声向量Z的分量是独立的。将这些分量建模为高斯分布，这是因为在所有具有相同方差的分布中，高斯具有最大的熵并从而提供对最坏情况的分析。对于X中的每个分量，WyZER编码器30需要找到信源码本的划分数量，即陪集数量，因此其需要知道Z中每个分量的方差。为了找到这些方差，可以按照如下所述使用相关估计技术。
例如，在一个实施例中，相关估计算法使用R.Zhang，S.L.Regunathan和K.Rose在“Optimal intra/inter mode switching for robustvideo communication over the Internet”(Proc.33rd Ann.Asilomar Conf.on Sig.Syst.Comp.，1999)中所提出算法的某些方案。但是，与上述公开内容不同，本发明的该实施例实现在DCT域中。对于主信道和辅助信道，假设两个信道上的分组消除(erasure)是独立的，而且所述分组可被独立地解码。还假设丢失分组的概率等于丢失块信息的概率。当丢失块时，预测解码器使用帧存储器中在前一帧中相同位置处的块代替所丢失的块。主信道和辅助信道上的分组丢失概率分别表示为p和q。
如在名称为“Method，Apparatus and System for Encoding andDecoding Side Information for Multimedia Transmission”的共同未决U.S.专利申请No.10/396,982中所述，WyZER编码器可以向WyZER解码器传送陪集索引。然后，WyZER解码器对索引进行解码，以识别包括通常与边信息相结合的码字的陪集。在一个实施例中，可以使用S.S.Pradhan和K.Ramchandran在“Distributed source coding usingsyndromes(DISCUS)：Design and construction”(Proc.IEEE DataCompression Conf.，1999)中详细描述的概念。一般而言，信源码本可以划分为任意信道编码的陪集。
在图6中示出WyZER编码器的详细框图。其包括三个模块，失真统计计算器、陪集编码器以及帧统计计算器。WyZER编码器使用当前的视频帧数据以及在解码器处对视频帧的预期重构，来计算相关噪声的统计量。这些统计量由陪集编码器用于生成WyZER比特流。在WyZER对帧进行编码之后，对统计量进行更新，以使其可在下一帧中使用。
图7示出WyZER解码器的框图。包括陪集比特和陪集索引信息的WyZER比特与边信息(来自主解码器)一起用于生成WyZER解码输出。
根据R.Zhang，S.L.Regunathan和K.Rose在“Optimal intra/intermode switching for robust video communication over the Internet”(Proc.33rd Ann.Asilomar Conf.on Sig.Syst.Comp，1999)中的符号，使gn i，k作为在第n个帧的第k个块中第i个DCT系数按照折线扫描顺序的原始值。使
Figure A20058002600800201
表示其编码器重构，即
Figure A20058002600800202
是gn i，k的量化表示。由预测解码器将这个系数重构为 重构
Figure A20058002600800204
是用于编码器的随机变量。
考虑不存在辅助信道的情况。存在两种情况：对块进行帧内(I块)或者帧间(预测或者P块)编码。I块是自包含的，即，其包括呈现或者显示一个完整数据块所需要的所有信息。P块不是自包含的，其通常包含相对于前一帧的差异信息，例如运动向量以及差异结构向量。考虑p是由于信道差错而丢失信息单元的概率。此外，假设对应于丢失信息单元的区域由先前重构的同一位置的视频进行填充。然后，如果对块进行帧内编码，则
Figure A20058002600800205
方程(1)
以及，如果对块进行帧间(预测)编码，则
Figure A20058002600800206
方程(2)
其中， e ^ n i , k = g ^ n i , k - g ^ n - 1 i , j · g n - 1 i , j 是对gn i，k的预测量(predictor)，即，对第n个帧中的第k个块的最佳预测量是第(n-1)个帧中的第j个块。当一个块丢失时，简单地将其替换为在前一帧中相同位置处的块。应当注意，尽管无差错地接收对于特定块的预测比特流，
Figure A20058002600800211
也可能不等于 即，该块可能由于先前存在的差错而产生差错。这种情况的预期失真是：
Figure A20058002600800213
方程(3)
可以对块中的所有DCT系数计算预期失真dn i，k，并且WyZER编码器应当对这种相关性进行编码。其目的是使差错重构的DCT系数精确至无差错的量化表示，以停止漂移。但是，由于辅助信道的速率限制，可能无法对所有系数进行编码。此处，正确的方法是使用可用速率来使DCT系数的子集精确化，这将使预期失真最小化。但是，对于每个块都进行这种优化是非常复杂的。基于脱机测试，发现在大多数时间里最佳策略是在精确化较高频率系数之前精确化较低频率系数。这也产生了来自于从视觉角度的直观感觉。从而，对于联机算法，仅传输可以在给定速率内向辅助信道提供的m个最低频率的DCT系数。对于所述m个DCT系数，当主流和WyZER流通过时，WyZER解码器将在解码器处恢复其编码器重构。从而，对于所述m个DCT系数，解码器处的重构将是：
方程(4)
对于未由WyZER编码器进行编码的剩余DCT系数，
Figure A20058002600800215
由上述方程(2)给出。
为了使用方程(3)计算预期失真dn i，k，需要计算 以及(这是因为 和gn i，k在编码器处是已知的)。方程(1)、(2)和(4)可以用于将 和 与 和 相关联。从而，WyZER编码器可以使用简单的递归算法(与R.Zhang，S.L.Regunathan和K.Rose在“Optimal intra/inter mode switching for robustvideo communication over the Intemet”(Proc.33rd Ann.Asilomar Conf.on Sig.Syst.Comp.，1999)中所使用的算法相似)计算
Figure A20058002600800221
和
Figure A20058002600800222
从而使用方程(3)计算dn i，k。应当注意，为了实现编码的目的，预测编码器将帧划分为非重叠空间块的网格。如果预测量块(上述分析中第(n-1)个帧中的第j个块)不与这个非重叠块的网格一致，则WyZER编码器在对第(n-1)个帧进行编码的同时不存储
Figure A20058002600800223
和的值(由于j不是第(n-1)个帧中的有效块)。在这种情况下，在计算中使用与作为有效块的第(n-1)个帧中第j个块具有最大重叠的块。可选地，也可以使用第(n-1)个帧中与第j个块相重叠的相应块的加权平均。
相关噪声估计(dn i，k)确定信源码本的划分数量或者陪集数量。陪集数量这个信息可通过辅助信道以头部信息的形式传送至WyZER解码器。为了限制头部的大小，可以针对每个系数，限制可以采用的陪集数量的可能值。对可能值的限制可以基于广泛的测试。
图2(a)-(f)是指示上述WyZER编解码器的有效性的多个性能比较的仿真结果图。为了进行仿真，将H.263+编码器用作预测视频编解码器，对本领域技术人员所公知的标准视频序列进行编码。分配给辅助信道的速率约是主信道速率的30％。
图2(a)是对于使用上述H.263+编码器202以及DSC技术204进行编码的视频序列，峰值信号噪声比(PSNR)与帧数量的对比图。在图2(a)中，丢弃标准“Flower Garden”视频序列(352×240，15fps，1个帧内后面跟着29个帧间)中的第三帧。为了使比较公平，使用相同的附加速率量对H.263+进行补偿。图2(a)示出在使用DSC技术的情况下，由于纠正了漂移，在三十个帧序列的结尾处，PSNR在丢弃的帧之后平稳增加到比H.263+高出约7-8dB。
还使用无线信道仿真器对上述的DSC技术进行测试，所述无线信道仿真器向在遵循CDMA 20001x标准5的无线网络上传输的多媒体数据流添加分组差错。对于这些测试，对DSC技术进行修改，以允许将辅助信道上的部分速率分配给前向纠错编码(FEC)，而将剩余部分分配给WyZER流。这种处理的原因是WyZER流不能从丢失中立即恢复(参考图2(a))，这与使用FEC以及消除数量小于FEC纠错能力的情况不同。从视觉和PSNR角度来说，这是非常重要的。但是，如上所述，由于不能保证差错恢复性，因而并未将副信道上的整个速率都分配给FEC。对于通常具有显著差错突发的无线信道尤为如此。
图2(b)是对于使用上述H.263+编码器212、FEC 214以及DSC技术216进行编码的视频序列，PSNR与帧数量的对比图。在生成图2(b)过程中所使用的标准视频序列是“Stefan”视频序列(352×240，15fps，1GOP)。在图2(b)中，所比较的三个不同编码技术如下：
1)H.263+以与分配给主信道和辅助信道的总速率相等的速率进行编码(曲线212)，
2)对FEC分配全部辅助信道速率(我们使用Reed-Solomon编码)(曲线214)，以及
3)所提出的算法，通过将辅助信道的部分速率分配给FEC来进行修改(再次使用RS编码)(曲线216)。
对于FEC和DSC技术，即上述的(2)和(3)，延迟限制是1帧。进行测试，以找到在(3)的情况下FEC和WyZER流之间的最佳速率划分。在大多数情况下，最好是向FEC和WyZER流分配大致相等的速率，并且这也是获得此处所示结果的设置。主流和WyZER流在同一(仿真)无线信道上进行发送。
在图2(b)中所示的Stefan序列的情况下，所提出的WyZER 216方法优于其它方法，其所获得的平均PSNR比仅有FEC的情况214高出2.9dB，并且比基线H.263+(曲线212)高出5.2dB。
图2(c)是对于使用上述H.263+编码器222、FEC 224以及WyZER技术226进行编码的另一个视频序列，PSNR与帧数量的对比图。在生成图2(c)的过程中使用的标准视频序列是“Football”视频序列(352×240，15fps，1GOP)。图2(c)示出对于分组丢失率为8.5％，用于Stefan和Football序列(352×240，15fps，1GOP)的三种编码方案的典型性能。
在图2(c)中，所提出的DSC技术226的PSNR在帧23和26处存在暂时的下降，但是其在这两种情况中都得以快速恢复。在这个测试中，WyZER技术226的平均PSNR比仅有FEC的情况224高出3.1dB，比基线H.263+(曲线222)高出5.6dB。
图2(d)是对于使用H.263+编码器232、FEC 234以及DSC技术236进行编码的视频序列“Stefan”，PSNR与差错百分比的对比图。图2(e)是对于使用H.263+编码器242、FEC 244以及DSC技术246进行编码的视频序列“Football”，PSNR与差错百分比的对比图。如图2(d)和2(e)中所示，对于三种编码方法的典型性能，本发明的方法始终优于另外两种。虽然结果仅仅针对SIF(352×240)序列，但是对于具有其它空间大小的视频序列(例如QCIF、CIF)也可以观测到相似的情况。
还进行了其它实验，以研究突发长度对性能的影响。图2(f)是对于使用FEC 252以及DSC 254进行编码的“Football”视频序列(176×144，15fps，30帧)，PSNR与平均突发长度的对比图。如在图2(f)中所示，当平均突发长度大于0.6时，根据本发明的技术254优于仅有FEC 252的情况，但是当突发长度小于0.6时，其差于仅有FEC的情况。
从而，使用上述技术的仿真结果显示出在合理延迟限制的情况下，其比传统的差错保护方案(例如前向纠错编码)表现出更大的性能上的提高。
所述DSC技术可适用于大量无线设备和无线标准。可以实现所述DSC技术的无线设备的实例包括蜂窝电话、具有无线通信功能的个人计算机、个人数字助理(PDA)以及其它无线设备。运行所述DSC技术所基于的无线标准的实例包括称为全球移动通信系统(GSM)、通用分组无线业务(GPRS)、增强数据GSM环境(EDGE)、TIA/EIA-95-B(IS-95)、TIA/EIA-98-C(IS-98)、CDMA2000、宽带CDMA(WCDMA)的标准以及其它标准。
图3是示出可以实现DSC技术的无线通信系统一部分的框图。如图1所示，无线通信系统包括第一无线通信设备(WCD)302，其也称为移动台(MS)。无线通信系统包括第二无线设备304，其可以是无线基础设施的一部分、另一个无线设备或者与无线基础设施相连的陆上线路设备。
第一无线设备302包括WyZER编码器306、WyZER解码器308、发射机310和接收机312。第二无线设备304包括WyZER编码器320、WyZER解码器322、发射机324和接收机324。第二无线设备304可接收输入信号X1，例如视频信号。输入信号X1与DSC编码器320相连。在DSC编码器320内，包括有预测编码器330和WyZER编码器332。根据所述DSC技术对输入信号进行编码，从预测编码器320和WyZER编码器332向发射机324输出主流和WyZER流。
主流和WyZER流通过无线通信信道(可将多个逻辑信道用于发射两个流)发射至第一无线设备302中的接收机312。主流从接收机312输出至第一无线设备302中DSC解码器308内的预测解码器334。WyZER流从接收机312输出至WyZER解码器336。预测解码器334的输出
Figure A20058002600800251
也输入到WyZER解码器336。根据所述的DSC技术，预测解码器和WyZER解码器共同产生和输出对输入信号X1的重构信号
Figure A20058002600800252
以与上述相似的方式，第一无线设备可接收输入信号X2，X2由包括在第一无线设备302中的DSC编码器306内的预测编码器340和WyZER编码器342进行编码。主流和WyZER流从DSC编码器306输出至发射机310。第二无线设备304中的接收机326接收比特流，并且向第二无线设备304中DSC解码器322中的预测解码器344输出预测比特流且向WyZER解码器346输出WyZER流。预测解码器344的输出
Figure A20058002600800253
也输入到WyZER解码器346。根据所述的DSC技术，预测解码器和WyZER解码器共同产生和输出对输入信号X2的重构信号
在另一个实施例中，无线设备可能仅包括DSC编码器或者仅包括DSC解码器。例如，如果设备被配置为广播或者发射编码数据但是并不接收编码数据，则其可能具有DSC编码器以对广播数据进行编码，但可能不具有DSC解码器，这是因为其不接收编码数据。相似地，配置为接收和解码信号但是并不发射编码信号的设备可能包括解码器但不包括编码器。这种类型系统的实例可以是广播系统，例如视频广播系统，其中，广播装置向至少一个用户(通常向很多用户)广播发射编码数据，但是用户并不向广播装置发回编码数据。在这个实例中，广播装置无线设备将包括DSC编码器以对广播数据进行编码，用户无线设备将包括DSC解码器以对所接收的编码广播进行解码。
图4是示出用于确定对于WyZER编码器的帧内比特分配的实施例的流程图。流程开始于方框402，其中，对划分为多个数据块的整个数据帧进行检查。流程继续进行到方框404，其中，确定应当保护哪个数据块。例如，可以基于如果单个数据块丢失或受到破坏则该特定数据块的丢失将对在接收机处的数据帧重构造成的有害影响，对数据块进行“分级”。其丢失将会更有害于进行重构的块具有较高的等级。
流程继续进行到方框406，其中，确定分配给WyZER编码器的数据量。一般而言，希望分配给辅助信道最小的数据量，这是因为所分配的数据量必须通过辅助信道进行发射，因此会消耗附加的系统资源。从而，基于希望如何保护特定的数据块，将更多的数据分配给辅助信道并在其上进行传输。例如，如果一个数据块的“等级”高，则这个块与“等级”较低的块相比，可将更多的数据分配给辅助信道并在其上进行传输。
图5是示出用于确定WyZER编码器将使用的信源码本的划分的最大数量的实施例的流程图。流程从方框502开始，其中，确定相关噪声估计。例如，对于表示数据块的预测比特流被成功地从预测编码器传送至预测解码器的情况，可以确定变换系数的相关噪声。即使该块被成功地传送，所解码的块也可能由于先前块中的差错而具有差错。流程继续进行到方框504，其中，确定用于表示数据块的信源码本的划分数量。信源码本的划分数量也称为陪集。
在一个实施例中，可通过无线辅助信道通信在WyZER流的头部中将陪集数量传送至WyZER解码器。
本领域技术人员将会了解到，可使用多种不同技术中的任何技术来表示信息和信号。例如，可在上述描述中引用的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或者粒子、光场或者粒子或者任何其它组合进行表示。
本领域技术人员将会进一步了解到，结合本文所公开实施例描述的各个示意性逻辑块、模块、电路和算法步骤可实现为电子硬件、计算机软件或者两者的组合。为了清晰地说明硬件和软件的可互换性，在上面已经在功能方面对多个示意性组件、方框、模块、电路和步骤进行了描述。所述功能实现为硬件还是软件取决于特定应用以及对整个系统的设计限制。对于每个特定的应用，熟练的技术人员可以用多种方式实现所述功能，但是这些实现方式不应当被认为脱离了本发明的范围。
结合本文所公开实施例描述的多个示意性逻辑方框、模块和电路可由通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或者设计用于执行本文所述功能的任何组合。通用处理器可以是微处理器，或者可选地，处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP核心的组合或者任何其它这种配置。
结合本文所公开实施例描述的方法或算法的步骤可直接实现在硬件、由处理器运行的软件模块或者这两者的组合中。软件模块可位于RAM存储器、闪存存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动硬盘、CD-ROM或者本领域中公知的任何其它形式的存储介质中。示例性存储器介质与处理器相连，使得处理器可以从存储器介质读取信息以及向其中写入信息。可选地，存储器介质可以与处理器集成在一起。处理器和存储器介质可位于ASIC中。ASIC可位于用户终端中。可选地，处理器和存储器介质可作为离散组件而位于用户终端中。
提供对所公开实施例的前述描述，以使本领域技术人员能够实现或者使用本发明。本领域技术人员将会了解到对这些实施例的各种修改，并且，在不脱离本发明的精神或范围的前提下，本文定义的一般原理可应用于其它实施例。从而，本发明并不旨在限制于本文所示的实施例，而应给予与本文所公开的原理和新颖特性相一致的的最宽范围。

Claims (63)

1.一种无线通信设备，包括：
预测编码器，配置为接收输入信号，根据预测编码标准对所述信号进行编码，以及输出预测编码比特流；
辅助信道编码器，配置为接收所述输入信号，根据辅助信道编码标准对所述信号进行编码，以及输出辅助信道编码比特流。
2.根据权利要求1所述的无线通信设备，其中，所述预测编码比特流在主通信信道上进行发射。
3.根据权利要求1所述的无线通信设备，其中，所述辅助信道编码比特流在辅助信道通信信道上进行发射。
4.根据权利要求1所述的无线通信设备，其中，所述预测编码标准是与MPEG-4标准兼容的标准。
5.根据权利要求1所述的无线通信设备，其中，所述预测编码标准是与H.26x标准兼容的标准。
6.根据权利要求1所述的无线通信设备，其中，所述辅助信道编码标准是与Wyner Ziv技术兼容的标准。
7.根据权利要求1所述的无线通信设备，其中，所述输入信号是视频信号。
8.根据权利要求1所述的无线通信设备，其中，所述输入信号包括帧内编码数据块以及帧间编码数据块。
9.根据权利要求8所述的无线通信设备，其中，Wyner Ziv技术应用于所述帧间编码数据块。
10.根据权利要求1所述的无线通信设备，其中，所述辅助信道编码器将使用预定数量的陪集对所述输入信号进行编码。
11.根据权利要求10所述的无线通信设备，其中，所述预定陪集的数量包括在所述辅助信道编码比特流的头部中。
12.一种无线通信设备，包括：
预测解码器，配置为接收原始信号的比特流表示，根据预测解码标准对所述比特流进行解码，以及输出重构信号；
辅助信道解码器，配置为接收所述原始信号的比特流表示和所述重构信号，根据辅助信道解码标准对所述比特流进行解码，以及对所解码的辅助信道比特流和所述重构信号进行合并以生成和输出对所述原始信号的最终重构。
13.根据权利要求12所述的无线通信设备，其中，由所述预测解码器解码的所述比特流在主通信信道上进行接收。
14.根据权利要求12所述的无线通信设备，其中，由所述辅助信道解码器解码的所述比特流在辅助信道通信信道上进行接收。
15.根据权利要求12所述的无线通信设备，其中，所述预测解码标准是与MPEG-4标准兼容的标准。
16.根据权利要求12所述的无线通信设备，其中，所述预测解码标准是与H.26x标准兼容的标准。
17.根据权利要求12所述的无线通信设备，其中，所述辅助信道解码标准是与Wyner Ziv技术兼容的标准。
18.根据权利要求12所述的无线通信设备，其中，所述原始信号是视频信号。
19.根据权利要求12所述的无线通信设备，其中，所述原始信号包括帧内编码数据块以及帧间编码数据块。
20.根据权利要求19所述的无线通信设备，其中，Wyner-Ziv技术应用于所述帧间编码数据块。
21.根据权利要求12所述的无线通信设备，其中，所述辅助信道解码器将使用预定数量的陪集对所述辅助信道比特流进行解码。
22.根据权利要求21所述的无线通信设备，其中，所述预定陪集的数量包括在所述辅助信道编码比特流的头部中。
23.一种无线通信设备，包括：
编码器，包括：
预测编码器，配置为接收输入信号，根据预测编码标准对所述信号进行编码，以及输出预测编码比特流；
辅助信道编码器，配置为接收所述输入信号，根据辅助信道编码标准对所述信号进行编码，以及输出辅助信道编码比特流，
解码器，包括：
预测解码器，配置为接收比特流，根据预测解码标准对所述比特流进行解码，以及输出重构信号；以及
辅助信道解码器，配置为接收比特流和所述重构信号，根据辅助信道解码标准对所述比特流进行解码，以及对所解码的比特流和所述重构信号进行合并以生成和输出对原始信号的最终重构。
24.根据权利要求23所述的无线通信设备，其中，所述预测解码标准是与MPEG-4标准兼容的标准。
25.根据权利要求23所述的无线通信设备，其中，所述预测解码标准是与H.26x标准兼容的标准。
26.根据权利要求23所述的无线通信设备，其中，所述辅助信道解码标准是与Wyner Ziv技术兼容的标准。
27.根据权利要求23所述的无线通信设备，其中，所述输入信号是视频信号。
28.根据权利要求23所述的无线通信设备，其中，所述无线通信设备是手机。
29.根据权利要求23所述的无线通信设备，其中，所述无线设备是无线基础设施的一部分。
30.一种无线通信系统，包括：
第一无线设备，包括：
预测编码器，配置为接收输入信号，根据预测编码标准对所述信号进行编码，以及输出对所述输入信号的预测编码比特流表示；
辅助信道编码器，配置为接收所述输入信号，根据辅助信道编码标准对所述信号进行编码，以及输出对所述输入信号的辅助信道编码比特流表示，
第二无线设备，包括：
预测解码器，配置为接收所述预测编码器输出的所述比特流，根据预测解码标准对所述比特流进行解码，以及输出对所述输入信号的重构；以及
辅助信道解码器，配置为接收所述辅助信道编码器输出的所述比特流，根据辅助信道解码标准对所述比特流进行解码，以及对所解码的辅助信道比特流和所述重构信号进行合并，以生成和输出对所述输入信号的最终重构。
31.根据权利要求30所述的无线通信系统，其中，所述预测解码标准是与MPEG-4标准兼容的标准。
32.根据权利要求30所述的无线通信系统，其中，所述预测解码标准是与H.26x标准兼容的标准。
33.根据权利要求30所述的无线通信系统，其中，所述辅助信道解码标准是与Wyner Ziv技术兼容的标准。
34.根据权利要求30所述的无线通信系统，其中，所述第一无线通信设备是手机。
35.根据权利要求30所述的无线通信系统，其中，所述第一无线设备是无线通信基础设施设备的一部分。
36.根据权利要求30所述的无线通信系统，其中，所述第二无线通信设备是手机。
37.根据权利要求30所述的无线通信系统，其中，所述第二无线设备是无线通信基础设施设备的一部分。
38.一种对数据进行编码的方法，该方法包括：
接收输入信号；
根据预测编码标准对所述信号进行编码，并且输出预测编码比特流；以及
根据辅助信道编码标准对所述信号进行编码，并且输出辅助信道编码比特流。
39.根据权利要求38所述的编码方法，其中，所述预测编码标准是与MPEG-4标准兼容的标准。
40.根据权利要求38所述的编码方法，其中，所述预测编码标准是与H.26x标准兼容的标准。
41.根据权利要求38所述的编码方法，其中，所述辅助信道编码标准是与Wyner Ziv技术兼容的标准。
42.根据权利要求38所述的编码方法，其中，所述输入信号是视频信号。
43.根据权利要求38所述的编码方法，其中，所述输入信号包括帧内编码数据块以及帧间编码数据块。
44.根据权利要求43所述的编码方法，其中，Wyner Ziv技术应用于所述帧间编码数据块。
45.根据权利要求38所述的编码方法，其中，所述辅助信道编码器将使用预定数量的陪集对所述输入信号进行编码。
46.根据权利要求45所述的编码方法，其中，所述预定陪集的数量包括在所述辅助信道编码比特流的头部中。
47.一种对数据进行解码的方法，该方法包括：
接收对原始信号的预测编码比特流表示；
根据预测解码标准对所述预测编码比特流进行解码，并且输出重构信号；
接收对所述原始信号的辅助信道编码比特流表示和所述重构信号；以及
根据辅助信道编码标准对所述辅助信道编码比特流进行解码，并且对所解码的辅助信道比特流和所述重构信号进行合并以生成和输出对所述原始信号的最终重构。
48.根据权利要求47所述的解码方法，其中，所述预测解码标准是与MPEG-4标准兼容的标准。
49.根据权利要求47所述的解码方法，其中，所述预测解码标准是与H.26x标准兼容的标准。
50.根据权利要求47所述的解码方法，其中，所述辅助信道解码标准是与Wyner Ziv技术兼容的标准。
51.根据权利要求47所述的解码方法，其中，所述原始信号是视频信号。
52.根据权利要求47所述的解码方法，其中，所述原始信号包括帧内编码数据块以及帧间编码数据块。
53.根据权利要求52所述的解码方法，其中，Wyner Ziv技术应用于所述帧间编码数据块。
54.根据权利要求47所述的解码方法，其中，所述辅助信道解码器将使用预定数量的陪集对所述辅助信道比特流进行解码。
55.根据权利要求54所述的解码方法，其中，所述预定陪集的数量包括在所述辅助信道编码比特流的头部中。
56.一种用于确定对于辅助信道编码器的帧内比特分配的方法，该方法包括：
检查整个数据帧；
确定所述数据帧内的哪些数据块需要保护；以及
基于所述需要保护的数据块，确定在所述帧内将分配给辅助信道并由辅助信道发射的数据量。
57.一种用于确定信源码本的划分的方法，该方法包括：
确定相关噪声估计；以及
基于所述相关噪声估计的估计，确定信源码本的划分数量。
58.一种计算机可读介质，其实现对数据进行编码的方法，该方法包括：
接收输入信号；
根据预测编码标准对所述信号进行编码，并且输出预测编码比特流；以及
根据辅助信道编码标准对所述信号进行编码，并且输出辅助信道编码比特流。
59.一种计算机可读介质，其实现对数据进行解码的方法，该方法包括：
接收对原始信号的第一比特流表示；
根据预测解码标准对所述第一比特流进行解码，并且输出重构信号；
接收对所述原始信号的第二比特流表示和所述重构信号；以及
根据辅助信道解码标准对所述第二比特流进行解码，并且对所述辅助信道解码比特流和所述重构信号进行合并以生成和输出对所述原始信号的最终重构。
60.根据权利要求59所述的方法，其中，根据预测编码标准对所述第一比特流进行编码。
61.根据权利要求59所述的方法，其中，根据辅助信道编码标准对所述第二比特流进行编码。
62.一种无线通信设备，包括：
用于接收输入信号的装置；
用于根据预测编码标准对所述信号进行编码并且输出预测编码比特流的装置；以及
用于根据辅助信道编码标准对所述信号进行编码并且输出辅助信道编码比特流的装置。
63.一种无线通信设备，包括：
用于接收对原始信号的第一比特流表示的装置；
用于根据预测解码标准对所述比特流进行解码并且输出重构信号的装置；
用于接收对所述原始信号的第二比特流表示和所述重构信号的装置；以及
用于根据辅助信道编码标准对所述第二比特流进行解码，并且对所述辅助信道解码比特流和所述重构信号进行合并以生成和输出对所述原始信号的最终重构的装置。
CN200580026008.4A 2004-06-01 2005-05-31 基于分布式信源编码技术使用副信道增强预测视频编解码器的鲁棒性的方法、设备和系统 Active CN1993996B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US57619304P 2004-06-01 2004-06-01
US60/576,193 2004-06-01
US11/140,086 US8331445B2 (en) 2004-06-01 2005-05-27 Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
US11/140,086 2005-05-27
PCT/US2005/019157 WO2005120079A2 (en) 2004-06-01 2005-05-31 Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques

Publications (2)

Publication Number Publication Date
CN1993996A true CN1993996A (zh) 2007-07-04
CN1993996B CN1993996B (zh) 2010-09-08

Family

ID=35456878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580026008.4A Active CN1993996B (zh) 2004-06-01 2005-05-31 基于分布式信源编码技术使用副信道增强预测视频编解码器的鲁棒性的方法、设备和系统

Country Status (8)

Country Link
US (2) US8331445B2 (zh)
EP (1) EP1769643B1 (zh)
JP (2) JP4660545B2 (zh)
CN (1) CN1993996B (zh)
BR (1) BRPI0511687A (zh)
CA (1) CA2569309A1 (zh)
MX (1) MXPA06013791A (zh)
WO (1) WO2005120079A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960763A (zh) * 2008-01-04 2011-01-26 高通股份有限公司 使用关于被发送消息的多个假设的解码方案

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2357732B1 (en) 2002-10-05 2022-04-06 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
KR101170629B1 (ko) 2003-10-06 2012-08-02 디지털 파운튼, 인크. 단일 송신기 또는 다중 송신기를 갖는 통신 시스템의 에러 정정 다중-스테이지 코드 생성기 및 디코더
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
US8331445B2 (en) * 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
US7860158B2 (en) * 2004-08-27 2010-12-28 Mitsubishi Electric Research Laboratories Inc. Coding correlated images using syndrome bits
US7925120B2 (en) * 2005-11-14 2011-04-12 Mediatek Inc. Methods of image processing with reduced memory requirements for video encoder and decoder
US9136983B2 (en) 2006-02-13 2015-09-15 Digital Fountain, Inc. Streaming and buffering using variable FEC overhead and protection periods
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9161048B2 (en) * 2006-06-30 2015-10-13 Telecom Italia S.P.A. Method, apparatus and system for robust video transmission with auxiliary information channel
US8358693B2 (en) 2006-07-14 2013-01-22 Microsoft Corporation Encoding visual data with computation scheduling and allocation
US8311102B2 (en) * 2006-07-26 2012-11-13 Microsoft Corporation Bitstream switching in multiple bit-rate video streaming environments
US8340193B2 (en) * 2006-08-04 2012-12-25 Microsoft Corporation Wyner-Ziv and wavelet video coding
US7388521B2 (en) * 2006-10-02 2008-06-17 Microsoft Corporation Request bits estimation for a Wyner-Ziv codec
US20080144124A1 (en) * 2006-10-13 2008-06-19 Ramin Samadani Auxiliary information for reconstructing digital images processed through print-scan channels
DE102007003187A1 (de) * 2007-01-22 2008-10-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines zu sendenden Signals oder eines decodierten Signals
AU2007201403A1 (en) * 2007-03-30 2008-10-16 Canon Kabushiki Kaisha Improvement for Spatial Wyner Ziv coding
EP2381580A1 (en) * 2007-04-13 2011-10-26 Global IP Solutions (GIPS) AB Adaptive, scalable packet loss recovery
US8340192B2 (en) * 2007-05-25 2012-12-25 Microsoft Corporation Wyner-Ziv coding with multiple side information
AU2007214319A1 (en) * 2007-08-30 2009-03-19 Canon Kabushiki Kaisha Improvements for Spatial Wyner Ziv Coding
AU2008298602A1 (en) 2007-09-12 2009-03-19 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US8111757B2 (en) * 2007-09-28 2012-02-07 Motorola Mobility, Inc. Method and apparatus for video signal processing
US20090103606A1 (en) * 2007-10-17 2009-04-23 Microsoft Corporation Progressive Distributed Video Coding
US20090110062A1 (en) * 2007-10-30 2009-04-30 The Hong Kong University Of Science And Technology Optimal heegard-berger coding schemes
KR100915097B1 (ko) * 2007-11-02 2009-09-02 성균관대학교산학협력단 오류정정을 이용한 분산비디오부호화 영상의 복호화 장치및 그 방법
US8295342B2 (en) * 2007-11-14 2012-10-23 International Business Machines Corporation Method and system for efficient video compression with low-complexity encoder
JP2011509547A (ja) * 2007-12-05 2011-03-24 オンライブ インコーポレイテッド 通信チャンネルを経て送信されるある形式のマルチメディアデータを保護するシステム及び方法
US8111755B2 (en) * 2008-06-25 2012-02-07 International Business Machines Corporation Method and system for low-complexity Slepian-Wolf rate estimation in Wyner-Ziv video encoding
JP5016561B2 (ja) * 2008-06-25 2012-09-05 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
AU2008240343B2 (en) * 2008-10-31 2012-04-19 Canon Kabushiki Kaisha Rate-distortion control in DVC with no feedback
CA2689338A1 (en) * 2008-12-29 2010-06-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Differential data representation for distributed video coding
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
JP5071413B2 (ja) * 2009-03-02 2012-11-14 沖電気工業株式会社 動画像符号化装置、方法及びプログラム、並びに、動画像符号化システム
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
KR101311410B1 (ko) * 2011-10-21 2013-09-25 성균관대학교산학협력단 픽쳐 그룹의 구조를 변화시키는 분산 비디오 부호화/복호화 방법 및 이러한 방법을 수행하는 장치
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
JP5992287B2 (ja) * 2012-10-01 2016-09-14 株式会社東芝 データ共有方法、送信機、受信機、データ共有システム及びデータ共有プログラム
JP6455363B2 (ja) * 2015-08-27 2019-01-23 株式会社Ｓｏｋｅｎ 診断装置
US20180278947A1 (en) * 2017-03-24 2018-09-27 Seiko Epson Corporation Display device, communication device, method of controlling display device, and method of controlling communication device
CN110505425B (zh) * 2018-05-18 2021-12-24 杭州海康威视数字技术股份有限公司 一种解码方法、解码装置、电子设备和可读存储介质
CN114640423B (zh) * 2022-01-13 2023-07-25 北京邮电大学 分布式语义信源信道联合编码传输方法及相关设备
CN115904855B (zh) * 2023-03-02 2023-07-07 上海合见工业软件集团有限公司 基于信号动态追踪确定目标驱动源码的系统

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4191970A (en) * 1978-05-15 1980-03-04 Bell Telephone Laboratories, Incorporated Interframe coder for video signals
CA1265250A (en) * 1985-03-04 1990-01-30 Alan Douglas Clark Data transmission
EP0234191B1 (en) * 1986-01-09 1993-12-29 Nec Corporation Packet-switched communications network with parallel virtual circuits for re-routing message packets
CN1022408C (zh) 1986-08-09 1993-10-13 山东新华制药厂 1-氯甲酰基-3-甲磺酰基咪唑烷铜-(2)的改进制法
CA1261069A (en) * 1986-12-08 1989-09-26 Mohamed S. Sabri Two-channel coding of digital signals
GB2209648B (en) * 1987-09-10 1991-10-23 Ncr Co Modem communication system having main and secondary channels
US5416779A (en) * 1989-01-27 1995-05-16 British Telecommunications Public Limited Company Time division duplex telecommunication system
KR0121328B1 (ko) * 1991-12-13 1997-11-17 사또오 후미오 디지탈 신호 기록 재생 장치
EP0562845B1 (en) * 1992-03-24 1999-02-03 Kabushiki Kaisha Toshiba Variable length code recording/playback apparatus for a video recorder
KR0134871B1 (ko) * 1992-07-17 1998-04-22 사또오 후미오 고능률 부호화 복호화 시스템
US5588067A (en) * 1993-02-19 1996-12-24 Peterson; Fred M. Motion detection and image acquisition apparatus and method of detecting the motion of and acquiring an image of an object
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
CN100394820C (zh) 1994-02-24 2008-06-11 Gte无线公司 带有远程编程的移动站的蜂窝无线电话系统
JPH08322042A (ja) * 1995-05-25 1996-12-03 Nec Corp ディジタル画像送受信システム
US5987181A (en) * 1995-10-12 1999-11-16 Sharp Kabushiki Kaisha Coding and decoding apparatus which transmits and receives tool information for constructing decoding scheme
US5784572A (en) * 1995-12-29 1998-07-21 Lsi Logic Corporation Method and apparatus for compressing video and voice signals according to different standards
JP4666695B2 (ja) 1996-07-15 2011-04-06 アムストラ．インベストメンツ フォー ケイ．ジー．，リミテッド ライアビリティ カンパニー ビデオ信号圧縮処理方法
US6577680B2 (en) * 1997-03-12 2003-06-10 Matsushita Electric Industrial Co., Ltd. Video signal coding method and coding device adapted to control code amounts according to the characteristics of pictures
US6078616A (en) 1997-03-13 2000-06-20 Sony Corporation Methods and apparatus for error concealment utilizing temporal domain motion vector estimation
US6353629B1 (en) * 1997-05-12 2002-03-05 Texas Instruments Incorporated Poly-path time domain equalization
GB2333656B (en) * 1998-01-22 2002-08-14 British Broadcasting Corp Compressed signals
US6778558B2 (en) * 1998-02-23 2004-08-17 Lucent Technologies Inc. System and method for incremental redundancy transmission in a communication system
US6293142B1 (en) 1998-08-14 2001-09-25 Mts Systems Corporation Electromagnetic method of liquid level monitoring
US6317462B1 (en) * 1998-10-22 2001-11-13 Lucent Technologies Inc. Method and apparatus for transmitting MPEG video over the internet
CN1110205C (zh) 1998-12-15 2003-05-28 国家科学技术委员会高技术研究发展中心 并行解码的数字信源解码器
AU4024900A (en) * 1999-04-06 2000-10-23 Spike Broadband Systems, Inc. Point-to-multipoint two-way broadband wireless communication system
JP3722265B2 (ja) * 1999-06-30 2005-11-30 Ｋｄｄｉ株式会社 ビデオ伝送方法および装置
KR100327412B1 (ko) * 1999-08-02 2002-03-13 서평원 에러 정정을 위한 영상 부호화 및 복호화 방법
ES2248112T3 (es) 1999-08-27 2006-03-16 Koninklijke Philips Electronics N.V. Codificacion de audio.
JP4157234B2 (ja) * 1999-09-02 2008-10-01 株式会社東芝 動画像内の移動物体検出装置
US6577648B1 (en) * 1999-10-04 2003-06-10 Nokia Corporation Method and apparatus for determining VoIP QoS characteristics of a network using multiple streams of packets and synchronizing measurements of the streams
DE60040805D1 (de) * 1999-12-20 2008-12-24 Research In Motion Ltd Hybrid-wiederholungsaufforderungsystem und -verfahren
US6715124B1 (en) * 2000-02-14 2004-03-30 Paradyne Corporation Trellis interleaver and feedback precoder
EP1170972A1 (en) * 2000-07-05 2002-01-09 Alcatel Method to set up a voice over internet protocol communication
TW540248B (en) * 2000-07-19 2003-07-01 Koninkl Philips Electronics Nv Method and device for generating a multiplexed MPEG signal
JP3664381B2 (ja) * 2000-09-29 2005-06-22 Ｋｄｄｉ株式会社 ビデオ分割符号化伝送装置
FR2820255A1 (fr) 2001-01-26 2002-08-02 France Telecom Procedes de codage et de decodage d'images, dispositifs, systemes, signaux et applications correspondants
US6888888B1 (en) * 2001-06-26 2005-05-03 Microsoft Corporation Simultaneous tuning of multiple channels using intermediate frequency sub-sampling
US6754203B2 (en) * 2001-11-27 2004-06-22 The Board Of Trustees Of The University Of Illinois Method and program product for organizing data into packets
US7139964B2 (en) * 2002-05-31 2006-11-21 Broadcom Corporation Variable modulation with LDPC (low density parity check) coding
US6874802B2 (en) * 2003-02-25 2005-04-05 Huffy Corporation Tricycle and guide handle
US7643558B2 (en) 2003-03-24 2010-01-05 Qualcomm Incorporated Method, apparatus, and system for encoding and decoding side information for multimedia transmission
US8331445B2 (en) * 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101960763A (zh) * 2008-01-04 2011-01-26 高通股份有限公司 使用关于被发送消息的多个假设的解码方案
CN101960763B (zh) * 2008-01-04 2014-01-29 高通股份有限公司 使用关于被发送消息的多个假设的解码方案

Also Published As

Publication number Publication date
MXPA06013791A (es) 2007-03-01
US8331445B2 (en) 2012-12-11
EP1769643A2 (en) 2007-04-04
JP5221620B2 (ja) 2013-06-26
JP2008502212A (ja) 2008-01-24
US20050268200A1 (en) 2005-12-01
CA2569309A1 (en) 2005-12-15
JP4660545B2 (ja) 2011-03-30
CN1993996B (zh) 2010-09-08
BRPI0511687A (pt) 2008-01-08
US20080267288A1 (en) 2008-10-30
EP1769643B1 (en) 2016-04-27
JP2011061817A (ja) 2011-03-24
WO2005120079A2 (en) 2005-12-15
WO2005120079A3 (en) 2006-04-27
US8379716B2 (en) 2013-02-19

Similar Documents

Publication Publication Date Title
CN1993996A (zh) 基于分布式信源编码技术使用副信道增强预测视频编解码器的鲁棒性的方法、设备和系统
EP2472873B1 (en) Method, device and network system for transmission processing and sending processing of video data
KR101068428B1 (ko) Ｓｖｃ ｃｇｓ 향상 계층 코딩을 위한 ｃａｖｌｃ 향상
EP2568708A1 (en) Refinement coefficient coding based on history of corresponding transform coefficient values
CN1893666A (zh) 视频编码和解码方法及设备
CN1640151A (zh) 用于可缩放视频码流的增强层的容错方法
Wang et al. Robust video transmission over a lossy network using a distributed source coded auxiliary channel
KR100877127B1 (ko) 분산된 소스 코딩 기술들에 기초한 사이드-채널을 이용한예측 비디오 코덱의 견고성을 개선시키는 방법, 장치, 및시스템
Sheng et al. Rate allocation for transform domain Wyner-Ziv video coding without feedback
Majumdar et al. Drift reduction in predictive video transmission using a distributed source coded side-channel
Guo et al. Witsenhausen–Wyner video coding
Wang et al. Channel-adaptive error protection for scalable video over channels with bit errors and packet erasures
Zhang et al. A transform domain classification based Wyner-Ziv video codec
Tonoli et al. Error resilience in current distributed video coding architectures
Chen et al. Joint source-channel rate control for pixel-domain distributed video coding
Wang et al. Robust video transmission with distributed source coded auxiliary channel
Peng et al. Error-resilient video transmission for short-range point-to-point wireless communication
Kondrad et al. Optimal FEC code concatenation for unequal error protection in video streaming applications
Liang et al. Feedback-aided error resilience technique based on Wyner-Ziv coding
Reddy et al. Syndrome coding of video with LDPC codes
Wu et al. Consistent-quality distributed video coding framework
Liu et al. Flexible reference frames based interactive error resilience of SVC in 3G
Baruffa et al. An optimal method for searching UEP profiles in wireless JPEG 2000 video transmission
Wang et al. On enhancing mpeg video broadcast over wireless networks with an auxiliary broadcast channel
Guo et al. Scalable Wyner-Ziv video coding with adaptive bit-plane representation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1104733

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1104733

Country of ref document: HK