CN100508622C - 使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法 - Google Patents

使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法 Download PDF

Info

Publication number
CN100508622C
CN100508622C CNB200380106850XA CN200380106850A CN100508622C CN 100508622 C CN100508622 C CN 100508622C CN B200380106850X A CNB200380106850X A CN B200380106850XA CN 200380106850 A CN200380106850 A CN 200380106850A CN 100508622 C CN100508622 C CN 100508622C
Authority
CN
China
Prior art keywords
equal priority
layer
enhancement layer
video
descriptions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB200380106850XA
Other languages
English (en)
Other versions
CN1729696A (zh
Inventor
J·C·余
Y·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1729696A publication Critical patent/CN1729696A/zh
Application granted granted Critical
Publication of CN100508622C publication Critical patent/CN100508622C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Abstract

公开了提供改进的编码方案的系统和方法，其中按照精细颗粒可伸缩性编码将输入视频编码成基本层和增强层，以生成多个相等优先权描述，然后利用解码器对生成的描述进行解码。多个相等优先权分区是由按照预定准则从基本层和增强层以及前向纠错(FEC)码中生成的分区构成的。

Description

使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法
技术领域
本发明涉及视频编码系统；具体地，本发明涉及一种高级源编码方案，允许进行稳健的和有效的视频传输。
背景技术
不断涌现的图像/视频编码的多媒体压缩标准正朝着多分辨率(MR)或编码比特流的分层表示的方向发展。例如，为了支持可伸缩性，主要推行的下一代图像和视频压缩标准分别是JPEG-2000和MPEG-4。
可伸缩视频编码一般泛指能够每个视频帧提供不同等级或数据量的编码技术。目前，诸如MPEG-1、MPEG-2和MPEG-4(即运动图像专家组)等视频编码标准采用这样的技术，以便在输出编码视频数据时提供灵活性。尽管MPEG-1和MPEG-2视频压缩技术受限于来自自然视频的矩形图像，但MPEG-4可视范围宽得多。MPEG-4图像允许对自然和合成的视频编码，并且为景物(scene)中的个别对象提供基于内容的存取。
可伸缩编码方案的基本假定或设计开始点是可以对不同的视频比特流层应用不相等差错保护，从而对于基本层(base layer)保证最小比特率和损耗率，并对于较高层保证其它较低的比特率和损耗率的希望设置。这种假定在诸如室内无线LAN或具有差别服务的未来Internet(因特网)等大多数网络中是有效的，但是对诸如多天线传输系统或在发送器和接收机之间存在各自具有其自身瓶颈的各种路径集合的Internet中不是有效的或不是最佳的。因此，需要有一种有效的机制来创建压缩视频的多个描述，其能够有效地被映射到具有路径分集的网络。
近来已涌现多个描述(Multiple-Description)(MD)源编码，作为多个具有相等的和不相干的差错特性的信道上的稳健传输的一种可选择框架。这样的信道的例子在尽力多机种分组网络例如Internet或多天线无线系统中可以找到。
MD编码的基本思想是生成源的多个独立描述，每个描述利用一定逼真度独立描述该源，并在一个以上的描述可供利用时，可以将它们协同组合以增强重构源质量。现有技术对MD编码的大多数研究仅限于基于源编码解决方案，例如在描述之间具有相关性的MD标量量化器和变换器。在视频编码领域，大多数MD研究一直致力于运动估算和补偿方面，因而难以将这些方案通用到一般n-描述(n>2)情况。即，这种方案的主要缺点是，由于需要编码和发送每个描述中的参考失配，其对两个以上描述缺乏可伸缩性。另外，目前的MDC视频编码器结构是非常不同的并且比当前现有技术的诸如MPEG-4等视频编码标准更加复杂，因此，按其当前形式的MDC在不远的将来难以被许多用途广泛接受。即，另一个缺点是其在编码和解码过程中与诸如MPEG和H.263或H.26L等现有编码标准不兼容。
正在引起极大兴趣的MDC的另一领域是采用前向纠错码(MD-FEC)的多描述编码，其根据分层的(可伸缩的)比特流构成多个描述。与诸如MD-MC等基于源编码的方法相反，MD-FEC采用信道编码来关联描述，然后用这种关联性生成具有相等优先权(priority)的多个描述。
尽管MD-FEC对于将可伸缩比特流代码转换到多个描述提供了一种好的构架，但是许多当前视频编码标准采用运动补偿的预测和DCT编码(MC-DCT)，这是因为其简单而有效。然而，与图像编码或视频编码的情况不同，用于MC-DCT的MD-FEC难以扩展，因为一个或多个描述的损失可能引入暂时预测漂移(drift)，这是因为在编码和解码过程中采用的参考的失配造成的。
发明内容
本发明通过将MD-FEC与诸如MPEG-4 Fine Granular Scalability(精细颗粒可伸缩性)(FGS)等多层可伸缩编码方案相组合来解决上述漂移问题。
本发明的一方面涉及一种简单和有效的方式，从多层可伸缩比特流(例如MPEG-4 FGS)生成压缩视频的多个描述，而无需改变源编码操作。
按照本发明的另一方面，可以使用分数数量(fractionalnumber)的描述来重构图像，而不像常规多描述编码技术那样要求整数数量的描述来重构图像。
按照本发明的另一方面，只要至少一个描述从某一信道到达解码器，所得到的图像就没有漂移。
本发明的一个实施例涉及一种用于编码视频数据的方法，包括以下步骤：确定未编码输入视频数据的DCT系数；按照精细颗粒可伸缩性编码，将DCT系数编码为基本层比特流和增强层比特流；将基本层比特流和增强层比特流变换成多个相等优先权描述；并且对多个相等优先权描述解码，其中多个相等优先权分区由按照预定准则从基本层比特流和增强层比特流以及前向纠错码中生成的分区构成，以允许分数个描述。
本发明还提出了一种用于编码输入视频的设备，包括：存储器，存储计算机可执行的处理步骤；和处理器，执行存储在存储器中的处理步骤，以便(i)接收包括根据精细颗粒可伸缩性编码进行编码的输入视频数据的基本层和增强层，(ii)将基本层和增强层变换成多个相等优先权描述，(iii)通过不同传输信道发送变换的相等优先权描述；其中多个相等优先权分区由从基本层和增强层以及前向纠错(FEC)码中生成的分区构成，以允许分数个描述。
本发明的另一实施例涉及一种用于处理输入视频数据的系统。该系统包括用于确定输入视频数据的DCT系数的装置；用于按照精细颗粒可伸缩性编码将DCT系数编码为包括输入视频数据的基本层和增强层的装置；用于将基本层和增强层变换成多个相等优先权描述的装置；以及用于对多个相等优先权描述中的至少一个解码的装置；其中多个相等优先权分区由从基本层和增强层以及前向纠错(FEC)码中生成的分区构成，以允许分数个描述。
提供这样的简要概述，以便可以尽快了解本发明的特点。通过参照以下结合附图的对本发明最佳实施例的详细说明，能获得对本发明更加全面的理解。
附图说明
图1表示按照本发明最佳实施例的一种视频编码和解码系统。
图2表示一种视频分组结构，显示了按照本发明最佳实施例的具有相等重要性的MPEG-4 FGS位面单元的划分。
图3表示一种视频分组结构，显示按照本发明最佳实施例将位面B2分成具有相等重要性的三个分区(partition)的处理。
图4表示按照本发明最佳实施例的一种多个描述的结构。
具体实施方式
在以下的说明中，为了解释而不是限制目的，提出了诸如特殊结构、接口技术等具体细节，以便于理解本发明。然而，应该看到，对于本领域普通技术人员，显然本发明可以在脱离这些具体细节之外的其它实施例中实现。为了简明和清楚起见，省略了对公知设备、电路和方法的详细说明，以免不必要的细节混淆本发明的说明。
为了便于理解本发明，此处将解释可伸缩视频编码的背景技术。
可伸缩视频编码对于在采用具有大范围处理能力的解码器的系统中使用的许多多媒体用途和服务是一种希望的特征。可伸缩性允许计算能力低的处理器仅仅对可伸缩视频流的子集解码。若干视频可伸缩性方案已经被诸如MPEG-2和MPEG-4等前沿视频压缩标准所采纳。在这些标准中已经限定了时间、空间和质量(即，信噪比(SNR))可伸缩性。所有这些方案由基本层(BL)和增强层(EL)构成。可伸缩视频数据流的基本层部分一般代表对解码该流所需的最小数据量。数据流的增强层部分代表附加信息，并因此在利用接收机解码时能够增强视频信号表示。
例如，在诸如Internet的可变带宽系统中，可以按可变带宽系统的最低保证传输速率建立基本层传输速率。因此，如果用户具有256kbps的最低保证带宽，基本层速率也可以建立在256kbps上。如果实际可变带宽是384kbps，增强层可以使用额外的128kbps带宽来改善以基本层速率传输的基本信号。
对于每种类型的视频可伸缩性，识别出特定的可伸缩性结构。可伸缩性结构限定了基本层图像和增强层图像之间的关系。一种类别的可伸缩性是精细颗粒可伸缩性(FGS)。利用此类可伸缩性编码的图像可以渐进地进行解码。换句话说，解码器可以仅仅利用由于编码图像的数据的子集解码和显示图像。随着接收到更多数据，解码图像的质量逐渐增强，直至接收、解码和显示完整的信息。
建议的MPEG-4标准用于基于非常低比特率编码的视频流式传输应用，例如可视电话、移动多媒体/视听通信、多媒体e-mail、遥感、互动游戏等等。在MPEG-4标准内，可以作为由于网络视频分发的基本技术识别精细颗粒可伸缩性(FGS)。FGS主要面对在多机种网络上实时流式传送视频的应用。通过对比特率范围的内容编码一次并允许视频传输服务器动态改变传输速率来提供带宽自适应，而不必深入了解或分析视频比特流。
对于增强层的FGS压缩，已经建议了许多视频编码技术，包括小波、位面DCT和匹配追逐(matching pursuit)。作为FGS参考采用的位面编码方案在编码器一侧包括以下步骤，而在解码器一侧反向执行这些编码步骤：
1.在DCT域内的残余计算，在基本层量化和去量化之后，从各个原始DCT系数中减去重构的DCT系数；
2.确定视频-目标平面(VOP)内残余信号的所有绝对值中的最大值以及代表这一最大值的最大比特数n；
3.对于VOP内的每一块，利用二进制格式的n比特代表残余信号的各个绝对值，并且形成n个位面；
4.残余信号绝对值的位面编码；以及
5.基本层内被量化为零的DCT系数的符号编码(sign encoding)。
注意，对DCT系数的位面编码的当前实现取决于基本层量化信息。增强层的输入信号主要是按运动补偿图像的原始DCT系数与基本层编码过程中使用的较低量化单元边界(quantization cellboundary)的系数之间的差进行计算的(这在基本层重组的DCT系数为非零时是这样的；否则将零用作相减值)。然后，逐个位面压缩被称为“残余”信号的增强层信号。由于较低量化单元边界被用作“参考”信号来计算残余信号，所以残余信号总是正的，除非基本层DCT被量化为零。因此，不需要对残余信号的符号位编码。
现在参见图1，提供了按照本发明最佳实施例的采用前向纠错码(FMD-FEC)变码器20和解码器40的无漂移FractionalMultiple-Descrption Joint-Source Channel Coding(分数多描述联合源信道编码)的本发明系统10。如上所述，变码器20(或服务器)的输入可以是MPEG4-FGS比特流(BASE和ENH层比特流)。此处，可以通过网络连接、传真/调制解调器连接、视频源或任何类型的视频捕捉设备(其一个示例是数字摄像机)来输入输入视频。变码器20将输入视频转换成相等优先权m+1个描述(D0，D1，D2，..Dm)。以下在本说明书中将结合图2-4解释生成多个描述的细节。
变码器20通过(m+1)个不同信道发送(m+1)个描述，然后解码器40收集接收到的描述以重组视频。注意，变码器30可以仅仅发送一部分描述(即图1中的部分D2)而不在操作期间中发送或丢弃整个描述。然而，按照本发明的编码方案，译码器40能够恢复输入视频。例如，如果丢失了两个描述D0和Dm但部分接收到D2，解码器40就组合所有这些描述，包括小数描述，并从这些完整的和部分的描述中生成最佳可能的视频质量，如下所述。
参见图2，如果将MPEG4-FGS比特流布置成块的层次结构，其中B0表示BASE比特流，并且Bi代表第i位面熵编码信息，由于MPEG4-FGS的特性，如果i<j，Bi具有比Bj更多的优先权。因此，对于所有i，Bi现在被划分成相等优先权分区P0，...，Pi。
参见图3，在MPEG4-FGS的情况下，通过对某些块交替跳过位面，就能生成相等优先权分区。例如，在块位置P0处的8×8块的熵编码信息被包括在分区B2-P0，而块P2被插入分区B2-P2等等。因此，B2-P0，B2-P1，B2-P2的作用是彼此正交的并具有相等优先权。
在每个位面的分区之后，MPEG4-FGS比特流的层次结构看起来类似于图4中左上角的三角形。注意，对于每层Bi，存在(i+1)个相等优先权分区，而信道编码采用前向纠错码(FEC)填充在右下角三角形中。即，对于第i位面或增强层，可以使用((m+1)，(i+1))-Reed.Solomon(RS)码生成Bi的FGS码。随后，对于每个i，层Bi具有(i+1)+(m+1-(i+1))＝(m+1)个相等优先权分区，其中通过分离(分区)从第i增强层比特流中直接生成(i+1)分区，而另外(m-i)分区通过FEC生成。如图4所示，随之通过垂直跨越基本层和增强层收集所有分区，构成各个描述D0，D1...Dm。由变码器20从输入视频转换而来的具有相等优先权(D0，D1，D2，..，Dm)的各个垂直构成分区被传送给解码器40。
按照多个描述的结构，注意，如果接收到任何(k-1)个描述，解码器40可以至少用基本层或k-MSB位面或k个增强层来对视频解码。而且，在MPEG4-FGS的情况下，运动补偿循环仅仅在基本层上操作，因此，只要解码器40总是接收到至少一个描述，重组的视频就没有漂移，因为对于最低质量，只需要基本层。
不同于需要整数数量的描述来重组视频的常规多描述编码，FMD-FEC按上文所述允许分数个描述，因此对付大的带宽波动更加灵活。更具体地说，如果解码器40接收到两个完整描述D0和D1和仅包括B0-FEC、B1-FEC和半个B2-FEC的部分描述Dm，而其余信息(另外半个B2-FEC，B3-FEC...和Bm-Pm)因服务器决定仅仅传送部分Dm以满足信道m的通过量降低而丢失，按照本发明教导的FMD-FEC解码器40能够使用B2-FEC的部分信息重构B3-P0，B3-P1和一部分B3-P2。这在位面编码自然地是顺序的情况下是有可能的，并且如图4所示以顺序方式构成FEC。
总之，按照本发明实施例的FMD-FEC能够容易地生成n个描述，n>2；不需要改变源编码部分，并因此与现有的编码标准相兼容；可以在服务器上发送小数描述并在解码器上解码；而且只要至少一个描述到达解码器，就没有漂移。
图5是解释图1中所示系统100的功能的流程图。为了开始，在步骤S100，原始的未编码视频数据被输入到系统100。这个视频数据可以通过网络连接、传真/调制解调器连接或视频源输入。对于本发明的目的，视频源可以包括任何类型的视频捕捉设备，其一个示例是数字摄像机。
接着，在步骤S120，使用技术即MPEG4-FGS编码器对原始视频数据编码，并且然后将其分离成如图1所示的Base(基本)和Enhancement(增强)比特流。在步骤S140，将接收的Base和Enhancement比特流转换成多描述(MD)分组流。
最后，在步骤S160，利用解码器40接收变码器20的输出，并且根据至少一个描述解码为对于最低质量需要的基本层。
尽管在此所述的本发明的实施例优选实施为计算机代码，但是图5中所示的所有或某些步骤也可以用分立硬件元件和/或逻辑电路来实现。并且，尽管本发明的编码和解码技术是按PC环境来描述的，但是这些技术也可以用于任何类型的视频设备，包括但不限于数字电视/机顶盒、视频会议设备等等。
在这方面，本发明已按照特定实施例进行描述了。应该可以理解，本发明不限于上述的实施例及其修改，并且本领域的技术人员无需脱离权利要求书的精神和范围还能实现各种各样的变更和修改。

Claims (12)

1.一种编码视频数据的方法，包括以下步骤：
接收输入视频数据；
对于未编码的视频数据，确定DCT系数；
按照精细颗粒可伸缩性编码，将DCT系数编码成基本层比特流和增强层比特流；和
将基本层比特流和增强层比特流变换成多个相等优先权描述，
其中多个相等优先权分区由按照预定准则从基本层比特流和增强层比特流以及前向纠错码中生成的分区构成，以允许分数个描述。
2.按照权利要求1的方法，进一步包括以下步骤：通过不同的传输信道发送变换的描述层。
3.按照权利要求1的方法，还包括以下步骤：解码多个相等优先权描述。
4.按照权利要求3的方法，其中根据多个相等优先权描述中的至少一个执行解码步骤。
5.一种用于编码输入视频的设备，包括：
存储器，存储计算机可执行的处理步骤；和
处理器，执行存储在存储器中的处理步骤，以便(i)接收包括根据精细颗粒可伸缩性编码进行编码的输入视频数据的基本层和增强层，(ii)将基本层和增强层变换成多个相等优先权描述，(iii)通过不同传输信道发送变换的相等优先权描述；
其中多个相等优先权分区由从基本层和增强层以及前向纠错(FEC)码中生成的分区构成，以允许分数个描述。
6.按照权利要求5的设备，进一步包括用于对多个相等优先权描述中的至少一个解码的装置。
7.按照权利要求6的设备，其中解码装置是MPEG-4解码器。
8.按照权利要求5的设备，其中多个相等优先权分区是根据基本层和增强层以及前向纠错码生成的。
9.一种用于处理输入视频数据的系统，该设备包括：
用于确定输入视频数据的DCT系数的装置；
用于按照精细颗粒可伸缩性编码将DCT系数编码成包括输入视频数据的基本层和增强层的装置；和
用于将基本层和增强层变换成多个相等优先权描述的装置；
其中多个相等优先权分区由按照预定准则从基本层和增强层以及前向纠错(FEC)码中生成的分区构成，以允许分数个描述。
10.按照权利要求9的系统，进一步包括用于通过不同传输信道发送多个相等优先权描述层中的至少一个的装置。
11.按照权利要求9的系统，进一步包括用于对多个相等优先权描述中的至少一个解码的装置。
12.按照权利要求11的系统，其中解码装置是MPEG-4解码器。
CNB200380106850XA 2002-12-19 2003-12-10 使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法 Expired - Fee Related CN100508622C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43454802P 2002-12-19 2002-12-19
US60/434,548 2002-12-19

Publications (2)

Publication Number Publication Date
CN1729696A CN1729696A (zh) 2006-02-01
CN100508622C true CN100508622C (zh) 2009-07-01

Family

ID=32682058

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200380106850XA Expired - Fee Related CN100508622C (zh) 2002-12-19 2003-12-10 使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法

Country Status (7)

Country Link
US (1) US20060109901A1 (zh)
EP (1) EP1576828A1 (zh)
JP (1) JP4880222B2 (zh)
KR (1) KR100952185B1 (zh)
CN (1) CN100508622C (zh)
AU (1) AU2003303114A1 (zh)
WO (1) WO2004057876A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020828B2 (en) * 2001-10-23 2006-03-28 Koninklijke Philips Electronics N.V. Trellis encoder with rate 1/4 and 1/2 for a backward compatible robust encoding ATSC DTV transmission system
US7792982B2 (en) * 2003-01-07 2010-09-07 Microsoft Corporation System and method for distributing streaming content through cooperative networking
EP2538695A1 (en) * 2003-02-21 2012-12-26 NEC Corporation Image data distribution control method, device, system, and program
US7146185B2 (en) * 2003-06-12 2006-12-05 Richard Lane Mobile station-centric method for managing bandwidth and QoS in error-prone system
EP1638337A1 (en) 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
ITTO20040780A1 (it) * 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento e sistema per il trattamento di segnali a descrizioni multiple, relativo prodotto informatico
ITTO20040781A1 (it) * 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento per adattare in modo dinamico il bit-rate di un segnale digitale alla larghezza di banda disponibile, relativi dispositivi e prodotto informatico corrispondente
JP5753341B2 (ja) * 2006-03-03 2015-07-22 ヴィドヨ，インコーポレーテッド スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法
KR100772878B1 (ko) * 2006-03-27 2007-11-02 삼성전자주식회사 비트스트림의 비트율 조절을 위한 우선권 할당 방법,비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그방법을 이용한 장치
US8594137B2 (en) * 2007-02-20 2013-11-26 Teradici Corporation Apparatus and methods for image decoding
US20090172685A1 (en) * 2007-10-01 2009-07-02 Mevio Inc. System and method for improved scheduling of content transcoding
KR100961443B1 (ko) * 2007-12-19 2010-06-09 한국전자통신연구원 방송 서비스의 가용도 개선을 위한 계층적 전송/수신 장치및 그 방법
US8254469B2 (en) * 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding
US8042143B2 (en) * 2008-09-19 2011-10-18 At&T Intellectual Property I, L.P. Apparatus and method for distributing media content
CN101729910B (zh) * 2008-10-15 2011-11-23 国家广播电影电视总局广播科学研究院 一种基于可分级比特流的数据传输方法和装置
US8406134B2 (en) 2010-06-25 2013-03-26 At&T Intellectual Property I, L.P. Scaling content communicated over a network
TW201223170A (en) * 2010-11-18 2012-06-01 Ind Tech Res Inst Layer-aware Forward Error Correction encoding and decoding method, encoding apparatus, decoding apparatus and system thereof
US9020029B2 (en) * 2011-01-20 2015-04-28 Alcatel Lucent Arbitrary precision multiple description coding
CN110933437B (zh) * 2013-04-15 2022-07-26 维诺瓦国际有限公司 混合向后兼容的信号编码和解码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A degressive error protection algorithm for MPEG-4 FGSvideostreaming. YANG X K ET AL.PROCEEDINGS 2002 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING. ICIP 2002. ROCHESTER, NY, SEPT. 22 - 25, 2002, INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, NEW YORK, NY: IEEE, US, ISBN: 0-7803-7622-6,Vol.2 OF 3 . 2002
A degressive error protection algorithm for MPEG-4 FGSvideostreaming. YANG X K ET AL.PROCEEDINGS 2002 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING. ICIP 2002. ROCHESTER, NY, SEPT. 22-25,2002,INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, NEW YORK, NY: IEEE, US, ISBN: 0-7803-7622-6,Vol.2 OF 3. 2002 *
Forward error correction (FEC) codes basedmultipledescription coding for internet video streaming andmulticast. PURI R ET AL.SIGNAL PROCESSING. IMAGE COMMUNICATION, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, ISSN: 0923-5965,Vol.16 No.8. 2001
Generalized multiple description coding through unequallossprotection. MOHR A E ET AL.IMAGE PROCESSING, 1999. ICIP 99. PROCEEDINGS. 1999 INTERNATIONAL CONFERENCE ON KOBE, JAPAN 24-28 OCT. 1999, PISCATAWAY, NJ, USA,IEEE, US, ISBN: 0-7803-5467-2. 1999
RELIABLE VIDEO COMMUNICATION OVER LOSSYPACKET NETWORKS USING MULTIPLE STATEENCODING AND PATH DIVERSITY. APOSTOLOPOULOS J G.PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, ISSN: 0277-786X,Vol.4310 . 2001
UNEQUAL PACKET LOSS RESILIENCE FORFINE-GRANULAR-SCALABILITY VIDEO. SCHAAR VAN DER M ET AL.IEEE TRANSACTIONS ON MULTIMEDIA, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, ISSN: 1520-9210,Vol.3 No.4. 2001

Also Published As

Publication number Publication date
EP1576828A1 (en) 2005-09-21
JP4880222B2 (ja) 2012-02-22
AU2003303114A1 (en) 2004-07-14
JP2006511157A (ja) 2006-03-30
KR100952185B1 (ko) 2010-04-09
US20060109901A1 (en) 2006-05-25
WO2004057876A1 (en) 2004-07-08
KR20050085780A (ko) 2005-08-29
CN1729696A (zh) 2006-02-01

Similar Documents

Publication Publication Date Title
CN100508622C (zh) 使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法
US6392705B1 (en) Multimedia compression system with additive temporal layers
US6233017B1 (en) Multimedia compression system with adaptive block sizes
JP5026584B2 (ja) 符号化システム
US6480547B1 (en) System and method for encoding and decoding the residual signal for fine granular scalable video
CN101601305B (zh) 用于可伸缩多媒体的自适应路径的通用指示
RU2420023C1 (ru) Система и способ кодирования и декодирования видеосигналов
Maani et al. Unequal error protection for robust streaming of scalable video over packet lossy networks
US20070121723A1 (en) Scalable video coding method and apparatus based on multiple layers
US8638848B2 (en) Video transmission method and device
TWI482498B (zh) 媒體檔案之多重解碼時間發訊技術
JP7125520B2 (ja) ピクチャ復号化方法およびピクチャ符号化方法
KR20040091686A (ko) 더 높은 질의 참조 프레임을 사용하는 ｆｇｓｔ 코딩 방법
EP1671486A1 (en) System and method for combining advanced data partitioning and fine granularity scalability for efficient spatio-temporal-snr scalability video coding and streaming
KR20090085636A (ko) 스케일링가능한 비트스트림 추출을 위한 방법 및 시스템
Chaddha et al. A frame-work for live multicast of video streams over the Internet
US20060093031A1 (en) Method and apparatus for performing multiple description motion compensation using hybrid predictive codes
WO2013109126A1 (ko) 비디오 정보 전송 방법, 비디오 복호화 방법, 비디오 부호화기 및 비디오 복호화기
EP3496405A1 (en) Devices and methods for video reconstruction from multiple source videos
Thillainathan et al. Scalable image and video coding algorithms
Sun et al. MPEG-4/XML FGS approach to multicast video synchronization
KR20130086011A (ko) 비디오 정보 전송 방법, 비디오 복호화 방법, 비디오 부호화기 및 비디오 복호화기
Dai Rate-distortion analysis and traffic modeling of scalable video coders
Wang Optimal object-based video processing and communications
INAMDAR PERFORMANCE EVALUATION OF GREEDY HEURISTIC

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090701

Termination date: 20121210