CN1636407A - 具有运动补偿的完全嵌入式fgs视频编码 - Google Patents

具有运动补偿的完全嵌入式fgs视频编码 Download PDF

Info

Publication number
CN1636407A
CN1636407A CNA028158679A CN02815867A CN1636407A CN 1636407 A CN1636407 A CN 1636407A CN A028158679 A CNA028158679 A CN A028158679A CN 02815867 A CN02815867 A CN 02815867A CN 1636407 A CN1636407 A CN 1636407A
Authority
CN
China
Prior art keywords
frame
remainder
video
basic layer
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA028158679A
Other languages
English (en)
Inventor
M·范德沙亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1636407A publication Critical patent/CN1636407A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种可扩展视频编码方案，它具有产生完全用可扩展编解码器进行编码的双向预测帧(B帧)或者预测帧和双向预测帧(P和B帧)的单个运动补偿环路。

Description

具有运动补偿的完全嵌入式FGS视频编码
发明领域
本发明涉及到视频编码，尤其是涉及到这样一种可扩展性视频编码方案，它采用单个运动补偿环路来产生完全用精细可扩展性(FGS)编码方式编码的双向预测帧(B帧)或者预测帧和双向预测帧(P帧和B帧)。
发明背景
可扩展性增强层视频编码已经被用来压缩在具有变化带宽的计算机网络(例如，因特网)上传送的视频。采用FGS编码技术(由ISO MPEG-4标准所采用)的当前增强层视频编码方案在图1中示出。正如我们可以看到的，该视频编码方案10包括以比特率RBL编码的基于预测的基本层11以及以REL编码的FGS增强层12。
基于预测的基本层11包括帧内编码的I帧、帧间编码的P帧(它是使用运动估计补偿从前一个I或P帧暂时(temporally)预测出来的)以及帧间编码的双向B帧(它是使用运动估计补偿从与该B帧相邻的前一个帧和后一个帧暂时(temporally)预测出来的。在基本层11中使用预测和/或内插编码(即，运动估计和相应的补偿)降低了其中的时间冗余度，但是只能降低到有限的程度，因为只有基本层帧被用来预测。
增强层12包括通过从相应的原始帧中减去它们相应的重建基本层帧(这个减法也可发生在运动补偿域)从而得到的FGS增强层I、P和B帧。因此，增强层中的FGS增强层I、P和B帧是没有经过运动补偿的。(FGS余项在相同的时间段(time-instance)从帧中取出。)对此的主要理由是提供允许根据发送时的可用带宽来单独地截短每个FGS增强层帧的灵活性。更具体地，增强层12的精细可扩展性编码允许FGS视频流在具有可用带宽范围从Rmin＝RBL到Rmax＝RBL+REL的任何网络会话上被发送。例如，如果发送机和接收机之间的可用带宽是B＝R，那么，发送机然后就以速率RBL发送基本层帧，而以速率REL＝R-RBL上只发送部分增强层帧。正如可以从图1中看到的，增强层中的部分FGS增强层帧可以以精细可扩展的方式进行选择以便传送。因此，总的传送比特率就是R＝RBL+REL，因为对于单个增强层，它具有支持大范围传送带宽的灵活性。
图2示出了用于对图1的视频编码方案中的基本层11和增强层12进行编码的传统FGS编码器的框图。正如我们可以看到的，第i帧的增强层余项(FGSR(i))等于MCR(i)-MCRQ(i)，其中，MCR(i)是第i帧的运动补偿余项，MCRQ(i)是量化和反量化过程以后第i帧的运动补偿余项。
虽然图1中的当前FGS增强层视频编码方案10是非常灵活的，但是它有这样的缺点，即与工作于相同传送比特率的不可扩展编码器功能相比，它在视频图像质量方面的性能相对较低。图像质量的降低不是因为增强层12的精细可扩展编码，而主要是因为较少利用了增强层12内FGS余项帧间的时间冗余。具体说，增强层12的FGS增强层帧仅仅是从它们相应的基本层I、P和B帧的运动补偿余项衍生而来。没有FGS增强层帧被用来预测增强层12中的其它FGS增强层帧或者基本层11中的其它帧。
因此，我们需要具有改善视频图像质量的可扩展性视频编码方案。
发明内容
本发明涉及可扩展视频编码方案，该方案采用单个运动补偿环路以便产生完全用精细可扩展(FGS)编码方案来编码的双向预测帧(B帧)或预测帧和双向预测帧(P帧和B帧)。本发明的一个方面涉及到一种用于对视频编码的方法，包括如下步骤：对未编码的视频进行编码以便产生扩展基本层参考帧，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和从未编码视频和扩展基本层参考帧中预测帧余项。
本发明的另一个方面涉及到一种用于对具有基本层流和增强层流的已压缩视频进行解码的方法，该方法包括如下步骤：对基本层和增强层流进行解码以便产生扩展基本层参考帧，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和从扩展基本层参考帧中预测帧余项。
本发明的另一个方面涉及到一种用于对视频进行编码的存储介质，该存储介质包括：用于对未编码视频进行编码以便产生扩展基本层参考帧的代码，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从未编码视频和扩展基本层参考帧中预测帧余项的代码。
本发明的另一个方面涉及到一种用于对具有基本层流和增强层流的已压缩视频进行解码的存储介质，该存储介质包括：用于对基本层和增强层流进行解码以便产生扩展基本层参考帧的代码，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从扩展基本层参考帧中预测帧余项的代码。
本发明的另一个方面涉及到一种用于对视频进行编码的设备，该设备包括：用于对未编码视频进行编码以便产生扩展基本层参考帧的装置，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从未编码视频和扩展基本层参考帧中预测帧余项的装置。
本发明的另一个方面涉及到一种用于对具有基本层流和增强层流的已压缩视频进行解码的设备，该设备包括：用于对基本层和增强层流进行解码以便产生扩展基本层参考帧的装置，该扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和用于从扩展基本层参考帧中预测帧余项的装置。
附图说明
在考虑了现在要结合附图进行详细描述的示意性实施例以后，本发明的优点、特性以及各种附加特征将更完整地显现出来，在整个附图中，相同的附图标记表示相同的元件，附图如下：
图1示出了当前的增强层视频编码方案；
图2示出了用于对图1的视频编码方案的基本层和增强层进行编码的传统编码器的框图；
图3A示出了根据本发明第一示范实施例的可扩展性视频编码方案；
图3B示出了根据本发明第二示范实施例的可扩展性视频编码方案；
图4示出了根据本发明示范实施例的编码器的框图，该编码器可用于产生图3A的可扩展性视频编码方案；
图5示出了根据本发明示范实施例的编码器的框图，该编码器可用于产生图3B的可扩展性视频编码方案；
图6示出了根据本发明示范实施例的解码器的框图，该解码器可用于对由图4的编码器产生的压缩过的基本层和增强层流进行解码；
图7示出了根据本发明示范实施例的解码器的框图，该解码器可用于对由图5的编码器产生的压缩过的基本层和增强层流进行解码；和
图8示出了可以用于实现本发明原理的系统的示范实施例。
具体实施方式
图3A示出了根据本发明第一示范实施例的可扩展性视频编码方案30。该可扩展性视频编码方案30包括基于预测的基本层31和基于预测的单环路增强层32。
基于预测的基本层31被编码为包括帧内编码的I帧和帧间编码的P帧，它们通常在基本层(不可扩展)编码期间从标准的基本层I和P参考帧中产生出来。在基本层不对帧间编码的双向B帧进行编码。
根据本发明的原理，基于预测的增强层32被编码为包括帧间编码的双向B帧，它们是在基本层编码期间从“扩展的”或“增强的”基本层I和P或P和P参考帧(下文中，扩展的基本层I和P参考帧)中经运动预测而来。每个扩展的基本层参考帧包括标准基本层参考帧以及至少部分相关的增强层参考帧(可以使用相关增强层参考帧的一个或多个位平面或部分位平面)。
增强层32还被编码为包括增强层I和P帧，它们通常是通过从它们相应的原始基本层帧余项中减去它们相应的重建(解码的)基本层帧余项而产生的。增强层I、B和P帧可以用任何合适的可扩展的编解码器进行编码。例如，该可扩展编解码器可以是基于DCT的编解码器(FGS)、基于小波变换的编解码器或者任何其它嵌入式编解码器。在图3A示出的的实施例中，可扩展编解码器包括FGS。
因为本领域的普通技术人员将会理解，本发明的视频编码方案30改善了视频的图像质量。这是因为视频编码方案30使用了扩展基本层参考帧以便减少增强层B帧内的时间冗余。
图4示出了根据本发明示范实施例的编码器40的框图，该编码器40可用于产生图3A的可扩展性视频编码方案。正如我们可以看到的，编码器40包括基本层编码器41和增强层编码器42。基本层编码器41包括运动估计装置43，它从存储在帧存储器60中的原始视频序列以及基本层和扩展基本层参考帧中产生运动信息(运动矢量和预测模式)。这个运动信息然后被施加到运动补偿装置44，运动补偿装置44使用运动信息和存储在帧存储器60中的传统参考帧和扩展基本层I和P参考帧以便产生传统的经过运动补偿的基本层参考帧和本发明的扩展基本层I和P参考帧经过运动补偿后的版本(全部用Ref(i)来表示)。第一减法器45从原始视频序列中减去传统的经过运动补偿的参考帧从而产生基本层I和P帧经过运动补偿的余项。第一帧流量控制设备62正是为基本层I和P帧经过运动补偿的余项选择路由以便被离散余弦变换(DCT)编码器46、量化器47和熵编码器48处理，从而产生基本层I和P帧，它们形成了压缩的基本层流的一部分。运动估计装置43产生的运动信息还被施加到复用器49，它将运动信息和基本层I和P帧组合起来从而完成压缩的基本层流。基本层I和P帧经过量化的运动补偿的余项(MCR(i))在量化器47的输出端产生，并且被反量化器50进行反量化，然后被反向DCT解码器51解码。这个过程在反向DCT 51的输出端产生了基本层I和P帧的经过运动补偿的余项的量化/反量化版本(MCRQ(i))。在反向DCT 51输出端的基本层I和P帧的经过量化/反量化和运动补偿的余项被施加到第一加法器61，该加法器61将它们与相应的经过运动补偿的基本层参考帧Ref(i)相加，从而产生如上所述存储在帧存储器60中的传统的基本层参考帧。
基本层I和P帧经过量化/反量化和运动补偿的余项还被施加到增强层编码器42内的第二减法器53。第二减法器53从相应的基本层I和P帧经过运动补偿的余项中减去基本层I和P帧经过量化/反量化和运动补偿的余项，从而产生差分I和P帧余项。第二减法器53的输出由FGS编码器54或类似可扩展编码器进行可扩展编码。FGS编码器54使用传统的DCT编码，然后使用传统的位平面DCT扫描和传统的熵编码，从而产生经过可扩展(FGS)编码的I和P帧，它们形成了压缩的增强层流的一部分。屏蔽设备(masking device)55取出经过可扩展编码的I和P帧中的一个或多个已编码的位平面，选择性地使它们路由通过第一帧流量控制设备65，并将这数据施加到第二加法器56的第一输入端57。由基本层编码器41产生的，I和P帧的经过运动补偿的余项的量化/反量化版本MCRQ(i)被进一步施加到第二加法器56的第二输入端58。通过将增强层已编码的I和P帧的一个或多个已编码位平面与相应的I和P帧余项MCRQ(i)进行累加，第二加法器56产生增强层I和P参考帧。由第二加法器56计算出的增强层I和P参考帧被施加到基本层编码器41内的第三加法器52。第三加法器52将增强层I和P参考帧与相应的经过运动补偿的基本层I和P参考帧Ref(i)以及相应的基本层I和P帧经过量化/反量化和运动补偿的余项进行累加，从而产生扩展的基本层I和P参考帧，它们被存储在帧存储器60中。
运动补偿装置44使用存储在帧存储器60中的扩展基本层I和P参考帧和运动信息以便产生扩展基本层I和P参考帧的经过运动补偿的版本。第一减法器45从原始视频序列中减去经过运动补偿的扩展基本层参考帧，从而产生经过运动补偿的B帧余项。第一帧控制设备62将经过运动补偿的B帧余项路由到增强层编码器42的可扩展(FGS)编码器54，以便进行可扩展编码。经过可扩展(FGS)编码的B帧形成了压缩的增强层流的余下部分。由运动估计装置43产生的属于B帧的运动信息还通过第三帧控制设备63被施加到增强层编码器42内的第二复用器64。第二复用器64将B帧运动信息和增强层帧组合起来从而完成压缩的增强层流。
图6示出了根据本发明示范实施例的解码器70的框图，该解码器70可用于对由图4的编码器40产生的压缩过的基本层和增强层流进行解码。正如我们可以看到的，解码器70包括基本层解码器71和增强层解码器72。基本层解码器71包括解复用器73，它接收已编码的基本层流并且将该流解复用为包含运动信息的第一数据流75a和包含纹理信息的第二数据流75b。增强层解码器72包括解复用器92，它接收已编码的增强层流并且将该流解复用为包含纹理信息的第三数据流74a和包含运动信息的第四数据流74b。运动补偿装置76使用第四数据流74b中的运动信息和存储在相关基本层帧存储器77中的扩展基本层参考帧来重建经过运动补偿的扩展基本层参考(I和p)帧。运动补偿装置76使用第一数据流75a中的I和P运动信息以及存储在基本层帧存储器77中的传统基本层参考帧以便重建传统的经过运动补偿的基本层(I和P)参考帧。然后，经过运动补偿的扩展基本层参考帧和传统的经过运动补偿的基本层参考帧就由第二帧流量控制设备93处理，该处理过程将在下面进行解释。
第二数据流75b中的纹理信息被施加到基本层变长码解码器81以便解码，还被施加到反向量化器82以便进行反量化。反量化的系数被施加到反向离散余弦变换解码器83，在这里，经过反量化的码被变换为施加到第一加法器78的第一输入端80的基本层帧余项。第一加法器78将基本层P帧余项与它们相应的经过运动补偿的基本层参考帧(由第二帧流量控制设备93有所选择地路由到第一加法器的第二输入端79)进行累加，并且输出经过运动补偿的P帧。(基本层I帧余项由第一加法器78作为基本层I帧输出。)由第一加法器78输出的I和P基本层帧被存储在基本层帧存储器77中并且形成了传统的基本层参考帧。此外，第一加法器78输出的I和P帧可以有所选择地输出作为基本层视频。
增强层解码器72包括对压缩的增强层流进行解码以便重建差分I和P帧余项以及B帧余项的FGS位平面解码器84或类似可扩展解码器，所述差分I和P帧余项以及B帧余项被施加到第二加法器90。I和P帧差分余项还被第一帧流量控制设备85有所选择地选路到屏蔽设备86，屏蔽设备86取出差分I和P帧余项中的一个或多个重建的增强层位平面(或其一部分)并将它们施加到第三加法器87的第一输入端88。第三加法器87将I和P帧余项与相应的基本层I和P帧(由基本层解码器71在第三加法器87的第二输入端89施加)进行累加，以便重建扩展基本层I和P参考帧，该扩展基本层I和P参考帧被存储在帧存储器77中。
经过运动补偿的扩展基本层I和P参考帧被第二帧流量控制设备93有所选择地路由到第二加法器90，第二加法器90将经过运动补偿的扩展基本层I和P参考帧与相应的B帧余项和B帧运动信息(在压缩的增强层流中传送)进行累加，从而重建增强层B帧。
由基本层解码器71的第一加法器78输出的基本层I和P帧被第三帧流量控制设备91有所选择地路由到第二加法器90，第二加法器90将增强层I和P帧与相应的基本层I和P帧进行累加从而产生增强的I和P帧。该增强的I和P帧以及增强层B由第二加法器90作为增强的视频输出。
图3B示出了根据本发明第二示范实施例的可扩展性视频编码方案100。第二实施例的可扩展视频编码方案100只包括基于预测的单环路可扩展层132，该层具有帧内编码的I帧；帧间编码的、经过运动预测的P帧；以及帧间编码的、经过双向运动预测的B帧。在这个实施例中，所有的帧(I、P和B帧)都完全用可扩展编解码器进行编码。该可扩展编解码器可以是基于DCT(FGS)的、基于小波的、或者任何其它嵌入式编解码器。P和B帧完全是在编码期间从扩展基本层I和P或者P和P参考帧经过运动预测而来。
本领域普通技术人员将会理解，排除基本层将使得这种编码方案非常有效并且进一步改善了视频图像质量，因为它在增强层P和B帧中都降低了时间冗余。
图5示出了根据本发明示范实施例的编码器140的框图，该编码器140可用于产生图3B的可扩展性视频编码方案。正如我们可以看到的，图5的编码器140包括运动补偿和估计单元141以及可扩展纹理编码器142。运动补偿和估计单元141包括包含扩展基本层I和P参考帧的帧存储器60。运动估计装置43从原始的视频序列以及存储在帧存储器60中的扩展基本层I和P参考帧中产生运动信息(运动矢量和预测模式)。这个运动信息然后被施加给移动补偿装置44和复用器49。运动补偿装置44使用运动信息和存储在帧存储器60中的扩展基本层I和P参考帧来产生扩展基本层I和P参考帧Ref(i)的经过运动补偿的版本。减法器45从原始视频序列中减去扩展基本层参考帧Ref(i)经过运动补偿的版本从而产生经过运动补偿的帧余项MCR(i)。
可扩展纹理编码器142包括传统的FGS编码器54或类似可扩展编码器。在FGS编码器54的情况下，由基本层编码器41的减法器45输出的经过运动补偿的帧余项被进行DCT编码、位平面DCT扫描以及熵编码，从而产生压缩的增强层(经过FGS编码的)帧。复用器49通过将压缩的增强层帧和运动估计装置43产生的运动信息组合起来从而产生压缩的输出流。屏蔽设备55取出增强层已编码的I和P帧中的一个和多个已编码的位平面并将它们施加到加法器52。加法器52将这个数据与相应的经过运动补偿的扩展基本层I和P参考帧Ref(i)进行累加从而产生存储在帧存储器60中的新的扩展基本层I和P参考帧。
对于视频序列中的不同部分或者对于不同的视频序列，本发明的可扩展视频编码方案可以与图1的当前视频编码方案替换使用或者交换使用。此外，替换可以在图3A、图3B的可扩展视频编码方案和图1中的当前视频编码方案、和/或在更早提到的相关未决美国专利申请中描述的视频编码方案和/或其它视频编码方案中进行。这种视频编码方案的替换可以根据信道特性进行，并且可以在编码和传送时进行。此外，本发明的视频编码方案在编码效率方面实现了很大的增进，而在复杂性上只有微小增加(图3A)或降低(图3B)。
图7示出了根据本发明示范实施例的解码器170的框图，该解码器170可用于对由图5的编码器140产生的输出流进行解码。正如我们可以看到的，解码器170包括解复用器173，它接收已编码的可扩展流并将该流解复用为第一和第二数据流174和175。包括运动信息(运动矢量和预测模式)的第一数据流174被施加到运动补偿装置176。运动补偿装置176使用这个运动信息和存储在基本层帧存储器177中的扩展基本层I和P参考帧以便重建经过运动补偿的扩展基本层I和P参考帧。
由解复用器173解复用的第二数据流175被施加到纹理解码器172，该纹理解码器172包括FGS位平面解码器184或类似可扩展解码器，这些可扩展解码器将第二数据流175解码以便重建I、P和B帧余项，该I、P和B帧余项被施加到第一加法器190。该I和P帧余项还通过帧流量控制设备185被施加到屏蔽设备186，该帧流量控制设备185取出I和P帧余项中的一个或多个已编码位平面(或其一部分)并将它们施加到第二加法器187的第一输入端188。第二加法器187将I和P帧余项数据与相应的重建的经过运动补偿的扩展基本层I和P帧(由运动补偿装置176在第二加法器187的第二输入端189处施加)进行累加以便重建新的扩展基本层I和P参考帧，该新的扩展基本层I和P参考帧被存储在帧存储器177中。
经过运动补偿的扩展基本层I和P参考帧还被路由到第一加法器，第一加法器将它们与相应的重建帧余项(来自FGS解码器184)进行累加以便产生增强的I、P和B帧，该I、P和B帧被第一加法器190输出作为增强的视频。
图8示出了可以用于实现本发明原理的系统200的示范实施例。该系统200可以代表电视、机顶盒、桌面型电脑、膝上型电脑或掌上型电脑、个人数字助理(PDA)、诸如录像机(VCR)之类的视频/图像存储设备、数字视频记录设备(DVR)、TiVO设备等以及这些和其它设备中的一部分或其组合。系统200包括一个或多个视频/图像源201、一个或多个输入/输出设备202、处理器203和存储器204。视频/图像源(一个或多个)201可以代表例如电视接收机、VCR或其它视频/图像存储设备。可替换地，源(一个或多个)201可以代表用于在例如诸如因特网之类的全球计算机通信网、广域网、城域网、局域网、地面广播系统、电缆网、卫星网、无线网或电话网以及这些或其它类型网络中的一部分或其组合上从服务器(一个或多个)接收视频的一个或多个网络连接。
输入/输出设备202、处理器203和存储器204可以在通信介质205上通信。通信介质205可以代表例如总线、通信网络、电路的一个或多个内部连接、电路卡和其它设备以及这些和其它通信介质中的一部分或其组合。根据存储在存储器204中并由处理器203执行的一个或多个软件程序来处理来自源(一个或多个)201的输入视频数据从而产生提供给显示设备206的输出视频/图像。
在优选实施例中，采用本发明原理的编码和解码可以通过由该系统执行的计算机可读代码来实现。该代码可以存储在存储器204中或者从诸如CD-ROM或软盘之类的存储介质中读出/下载。在其它实施例中，可以使用硬件电路替换或者结合软件指令来实现本发明。例如，图4-7中示出的元件也可以实现为分立的硬件元件。
虽然上面在具体实施例方面描述了本发明，但是应该理解，本发明并不打算局限于这里公开的实施例。例如，除了DCT之外，还可以采用其它变换，包括但不局限于小波变换和匹配搜寻技术。这些以及所有其它这样的修改和变化可以认为是在所附权利要求书的范围之内。

Claims (36)

1.一种用于对视频编码的方法，包括如下步骤：
对未编码视频进行编码(41，141，42，142)以便产生扩展基本层参考帧，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和
从未编码视频和扩展基本层参考帧中产生帧余项(45)。
2.根据权利要求1的用于对视频编码的方法，还包括如下步骤：
用从由基于DCT的编解码器或基于小波的编解码器组成的组中选择的可扩展编解码器对所述帧余项进行编码(54)以便产生增强层帧。
3.根据权利要求1的用于对视频编码的方法，还包括如下步骤：
用精细可扩展编解码器对所述帧余项进行编码(54)以便产生精细可扩展的增强层帧。
4.根据权利要求1的用于对视频编码的方法，其中，所述帧余项包括B帧余项。
5.根据权利要求4的用于对视频编码的方法，其中，所述帧余项还包括P帧余项。
6.根据权利要求1的用于对视频编码的方法，其中，所述帧余项包括P帧余项。
7.一种用于对具有基本层流和增强层流的已压缩视频进行解码的方法，该方法包括如下步骤：
对基本层和增强层流进行解码(71，72，172)以便产生扩展基本层参考帧，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和
从扩展基本层参考帧中预测(78)帧余项。
8.根据权利要求7的用于对视频进行解码的方法，还包括如下步骤：用从由基于DCT的解码或基于小波的解码组成的组中选择的可扩展解码(84)对所述帧余项进行解码。
9.根据权利要求8的用于对视频进行解码的方法，还包括如下步骤：
从所述帧余项中产生增强层帧；和
从基本层帧和增强层帧中产生(90)增强的视频。
10.根据权利要求7的用于对视频进行解码的方法，其中，所述帧余项包括B帧余项。
11.根据权利要求10的用于对视频进行解码的方法，其中，所述帧余项还包括P帧余项。
12.根据权利要求7的用于对视频进行解码的方法，其中，所述帧余项包括P帧余项。
13.一种用于对视频进行编码的存储介质，该存储介质包括：
用于对未编码视频进行编码以便产生扩展基本层参考帧的代码(41，141，42，142)，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和
用于从未编码视频和扩展基本层参考帧中预测帧余项的代码(45)。
14.根据权利要求13的用于对视频编码的存储介质，还包括用于对所述帧余项进行可扩展编码的代码(54)。
15.根据权利要求13的用于对视频编码的存储介质，还包括用于对所述帧余项进行精细可扩展编码的代码(54)。
16.根据权利要求13的用于对视频编码的存储介质，其中，所述帧余项包括B帧余项。
17.根据权利要求16的用于对视频编码的存储介质，其中，所述帧余项还包括P帧余项。
18.根据权利要求13的用于对视频编码的存储介质，其中，所述帧余项包括P帧余项。
19.一种用于对具有基本层流和增强层流的已压缩视频进行解码的存储介质，该存储介质包括：
用于对基本层和增强层流进行解码以便产生扩展基本层参考帧的代码(71，72，172)，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和
用于从扩展基本层参考帧中预测帧余项的代码(78)。
20.根据权利要求19的用于对已压缩视频进行解码的存储介质，还包括对所述帧余项进行可扩展解码的代码(84)，该用于对可扩展解码的代码是从由基于DCT的代码或基于小波的代码组成的组中选择的。
21.根据权利要求20的用于对已压缩视频进行解码的存储介质，还包括：
用于从所述帧余项中产生增强层帧的代码；和
用于从基本层帧和增强层帧中产生增强视频的代码(90)。
22.根据权利要求19的用于对已压缩视频进行解码的存储介质，其中，所述帧余项包括B帧余项。
23.根据权利要求22的用于对已压缩视频进行解码的存储介质，其中，所述帧余项还包括P帧余项。
24.根据权利要求19的用于对已压缩视频进行解码的存储介质，其中，所述帧余项包括P帧余项。
25.一种用于对视频进行编码的设备(40，140)，该设备包括：
用于对未编码视频进行编码以便产生扩展基本层参考帧的装置(41，141，42，142)，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和
用于从未编码视频和扩展基本层参考帧中预测帧余项的装置(45)。
26.根据权利要求25的用于对视频编码的设备，还包括用于对所述帧余项进行可扩展编码的装置(54)。
27.根据权利要求25的用于对视频编码的设备，还包括用于对所述帧余项进行精细可扩展编码的编码器(54)。
28.根据权利要求25的用于对视频编码的设备，其中，所述帧余项包括B帧余项。
29.根据权利要求28的用于对视频编码的设备，其中，所述帧余项还包括P帧余项。
30.根据权利要求25的用于对视频编码的设备，其中，所述帧余项包括P帧余项。
31.一种用于对具有基本层流和增强层流的已压缩视频进行解码的设备(70，170)，该设备包括：
用于对基本层和增强层流进行解码以便产生扩展基本层参考帧的装置(71，72，172)，扩展基本层参考帧中的每一个都包括基本层参考帧和至少一部分相关的增强层参考帧；和
用于从扩展基本层参考帧中预测帧余项的装置(78)。
32.根据权利要求31的用于对已压缩视频进行解码的设备，还包括用于对所述帧余项进行解码的可扩展解码装置(84)，该可扩展解码装置是从由基于DCT的解码装置或基于小波的解码装置组成的组中选择的。
33.根据权利要求32的用于对已压缩视频进行解码的设备，还包括：
用于从所述帧余项中产生增强层帧的装置；和
用于从基本层帧和增强层帧中产生(90)增强视频的装置。
34.根据权利要求31的用于对已压缩视频进行解码的设备，其中，所述帧余项包括B帧余项。
35.根据权利要求34的用于对已压缩视频进行解码的设备，其中，所述帧余项还包括P帧余项。
36.根据权利要求31的用于对已压缩视频进行解码的设备，其中，所述帧余项包括P帧余项。
CNA028158679A 2001-08-15 2002-07-11 具有运动补偿的完全嵌入式fgs视频编码 Pending CN1636407A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/930,672 2001-08-15
US09/930,672 US20020037046A1 (en) 2000-09-22 2001-08-15 Totally embedded FGS video coding with motion compensation

Publications (1)

Publication Number Publication Date
CN1636407A true CN1636407A (zh) 2005-07-06

Family

ID=25459599

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA028158679A Pending CN1636407A (zh) 2001-08-15 2002-07-11 具有运动补偿的完全嵌入式fgs视频编码

Country Status (6)

Country Link
US (1) US20020037046A1 (zh)
EP (1) EP1435178A2 (zh)
JP (1) JP2005500754A (zh)
KR (1) KR20040032913A (zh)
CN (1) CN1636407A (zh)
WO (1) WO2003017672A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356822B (zh) * 2006-01-10 2011-02-02 汤姆逊许可公司 用于构造可伸缩视频的参考图像列表的方法和设备
WO2014047885A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Enhanced reference region utilization for scalable video coding
CN105052152A (zh) * 2013-04-01 2015-11-11 高通股份有限公司 用于仅高级语法可缩放视频译码的层间参考图片限制

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002054774A2 (de) * 2001-01-08 2002-07-11 Siemens Aktiengesellschaft Optimale snr-skalierbare videocodierung
US20030076858A1 (en) * 2001-10-19 2003-04-24 Sharp Laboratories Of America, Inc. Multi-layer data transmission system
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
US6944346B2 (en) * 2002-05-28 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
US7283589B2 (en) * 2003-03-10 2007-10-16 Microsoft Corporation Packetization of FGS/PFGS video bitstreams
US7653133B2 (en) 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US8107535B2 (en) 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
WO2004111789A2 (en) 2003-06-10 2004-12-23 Rensselaer Polytechnic Institute A method for processing i-blocks used with motion compensated temporal filtering
EP1634461A2 (en) * 2003-06-19 2006-03-15 THOMSON Licensing Method and apparatus for low-complexity spatial scalable decoding
KR101145261B1 (ko) * 2004-02-27 2012-05-24 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
CN1753493A (zh) * 2004-09-24 2006-03-29 松下电器产业株式会社 无线多媒体通信系统的跨层联合方法
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR20080006607A (ko) * 2005-04-12 2008-01-16 노키아 코포레이션 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템
US20060271990A1 (en) 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility
KR100878826B1 (ko) 2005-07-08 2009-01-14 엘지전자 주식회사 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는방법
EP1913778A4 (en) 2005-07-08 2010-04-28 Lg Electronics Inc METHOD FOR MODELING THE CODING OF INFORMATION OF A VIDEO SIGNAL FOR COMPRESSING / DECOMPRESSING THE INFORMATION
KR101158439B1 (ko) 2005-07-08 2012-07-13 엘지전자 주식회사 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는 방법
US20070147371A1 (en) * 2005-09-26 2007-06-28 The Board Of Trustees Of Michigan State University Multicast packet video system and hardware
KR100959540B1 (ko) * 2005-10-05 2010-05-27 엘지전자 주식회사 영상 신호의 인코딩/디코딩 방법 및 장치
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
WO2007080491A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation System and apparatus for low-complexity fine granularity scalable video coding with motion compensation
KR20080089632A (ko) * 2006-01-09 2008-10-07 노키아 코포레이션 미세 입자 스케일러빌러티 비디오 코딩에서 엔트로피 코딩방법 및 장치
WO2007111450A1 (en) * 2006-03-24 2007-10-04 Electronics And Telecommunications Research Institute Coding method of reducing interlayer redundancy using mition data of fgs layer and device thereof
EP2041976A4 (en) * 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
US8457214B2 (en) 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
EP2334082A1 (en) * 2008-09-17 2011-06-15 Sharp Kabushiki Kaisha Scalable video stream decoding apparatus and scalable video stream generating apparatus
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US10567703B2 (en) 2017-06-05 2020-02-18 Cisco Technology, Inc. High frame rate video compatible with existing receivers and amenable to video decoder implementation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1251276A (en) * 1985-03-20 1989-03-14 Toshio Koga Method and arrangement of coding digital image signals utilizing interframe correlation
FR2697393A1 (fr) * 1992-10-28 1994-04-29 Philips Electronique Lab Dispositif de codage de signaux numériques représentatifs d'images, et dispositif de décodage correspondant.
US6148026A (en) * 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6621935B1 (en) * 1999-12-03 2003-09-16 Microsoft Corporation System and method for robust image representation over error-prone channels
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356822B (zh) * 2006-01-10 2011-02-02 汤姆逊许可公司 用于构造可伸缩视频的参考图像列表的方法和设备
WO2014047885A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Enhanced reference region utilization for scalable video coding
US9769475B2 (en) 2012-09-28 2017-09-19 Intel Corporation Enhanced reference region utilization for scalable video coding
CN105052152A (zh) * 2013-04-01 2015-11-11 高通股份有限公司 用于仅高级语法可缩放视频译码的层间参考图片限制
CN105103560A (zh) * 2013-04-01 2015-11-25 高通股份有限公司 用于仅高级语法可缩放视频译码的层间参考图片限制
US9992493B2 (en) 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US9998735B2 (en) 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
CN105052152B (zh) * 2013-04-01 2019-04-05 高通股份有限公司 用于视频译码及压缩的设备、方法及非暂时性计算机可读媒体

Also Published As

Publication number Publication date
WO2003017672A3 (en) 2004-04-22
KR20040032913A (ko) 2004-04-17
US20020037046A1 (en) 2002-03-28
EP1435178A2 (en) 2004-07-07
JP2005500754A (ja) 2005-01-06
WO2003017672A2 (en) 2003-02-27

Similar Documents

Publication Publication Date Title
CN1636407A (zh) 具有运动补偿的完全嵌入式fgs视频编码
CN1640145B (zh) 视频编码方法和装置,数据流解码方法和装置
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR100714696B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US6940905B2 (en) Double-loop motion-compensation fine granular scalability
CN1303817C (zh) 细粒可调节视频残差信号的编码解码系统和方法
US7042944B2 (en) Single-loop motion-compensation fine granular scalability
CN1196341C (zh) 使用基层量化数据对增强层数据进行编码和解码的系统和方法
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR20060006328A (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US20060250520A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
CN1813479A (zh) 过完备小波域中的视频编码
CN1656816A (zh) 使用较高质量的参考帧改进效率的fgst结构
US20060088100A1 (en) Video coding method and apparatus supporting temporal scalability
CN1254115C (zh) 双回路移动补偿精细颗粒的可标度性
US20050135478A1 (en) Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
WO2006109989A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication