CN101416513A - 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置 - Google Patents

具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置 Download PDF

Info

Publication number
CN101416513A
CN101416513A CNA2007800058250A CN200780005825A CN101416513A CN 101416513 A CN101416513 A CN 101416513A CN A2007800058250 A CNA2007800058250 A CN A2007800058250A CN 200780005825 A CN200780005825 A CN 200780005825A CN 101416513 A CN101416513 A CN 101416513A
Authority
CN
China
Prior art keywords
discrete
frame
layer
current block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800058250A
Other languages
English (en)
Inventor
王祥林
M·卡尔克泽维茨
J·里奇
N·阿玛尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101416513A publication Critical patent/CN101416513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于可伸缩视频编码的编码结构，配置以改进编码效率并且具有降低的编码和解码复杂性。尤其是，考虑到对离散层顶部的多个FGS层进行编码的情况。为了对多个FGS层进行编码，使用面向解码器的双环路结构。在解码器侧，新结构的复杂性类似于双环路结构，同时提供的编码性能类似于多环路结构。所述编码结构和方法配置用于在由于针对离散层间预测使用FGS层的部分解码的情况下防止漂移效应，并且目的在于有效地利用FGS层编码中的时间预测来改进编码效率。所述编码方法可以避免额外的转换操作；避免对FGS层应用环内去块效应滤波器(in－loop de－blocking filter)；并且对FGS层使用较为简单的残差转换。

Description

具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置
技术领域
本发明涉及视频编码领域，且更具体地，涉及可伸缩视频编码。
背景技术
在视频编码中，可以通过基于其他视频帧来预测视频帧，以便将在视频帧之间存在的时间冗余度最小化。这些其他的帧称作参考帧。可以以不同方式来实现时间预测：
-解码器使用与编码器所使用的参考帧相同的参考帧。这是传统非可伸缩视频编码中的最普通方法。在常规操作中，在由编码器使用的参考帧以及由解码器使用的参考帧之间不应存在任何不匹配。
-编码器使用对于解码器不可用的参考帧。一个示例是，编码器使用原始帧而不是重构的帧作为参考帧。
-解码器使用如下参考帧，所述参考帧相对于在编码器中使用的帧来说仅被部分重构。如果相同帧的比特流没有充分解码、或者其自身的参考帧是部分重构的，则将帧进行部分重构。
当根据第二种方法和第三种方法来执行时间预测时，在编码器使用的参考帧以及解码器使用的参考帧之间可能存在不匹配。如果不匹配在解码器侧累积，则所重构视频的质量将受到损害。
将编码器以及解码器之间的时间预测中的不匹配称作漂移(drift)。因为累积的误差可导致所重构视频中的伪像，许多视频编码系统设计为无漂移。有时，为了更有效地实现特定视频编码特征(诸如，SNR可伸缩性)，而不能总是完全避免漂移。
信噪比(SNR)可伸缩视频流具有如下性质，可以从部分比特流中重构较低质量水平的视频。精细粒度可伸缩性(FGS)是一种类型的SNR可伸缩性，其中可以任意截断该可伸缩流。图1示出了如何在MPEG-4中生成FGS性质的流。首先，以非可伸缩比特流编码基础层。然后，FGS层在该基础层顶部之上编码。MPEG-4FGS没有使用FGS层中的时间相关性。如图2中所示，当在FGS层编码中没有使用时间预测时，从基础层重构的帧来预测FGS层。此方法具有最大的比特流灵活性，这是因为一个帧的FGS流的截断将不影响其他帧的解码，但是此方法的编码性能不具有竞争力。
期望的是，在FGS层编码中引入另一预测环路以改进编码效率。然而，由于可以将任何帧的FGS层部分地解码，由在解码器和编码器中使用的参考帧之间的差异导致的误差将累积并且导致漂移。这在图3中示出。
漏预测是用以在SNR增强层编码中的漂移控制以及编码性能之间找寻平衡的一种技术(参见例如，Huang等人的“A robust finegranularity scalability using trellis-based predictive leak”，IEEETransaction on Circuits and Systems for Video Technology，pp.372-385，vol.12，Issue 6，2002年6月)。为了编码第n帧的FGS层，由基础层重构的帧和增强层参考帧的线性组合来形成实际参考帧。如果在解码器中部分地重构了增强层参考帧，则漏预测方法将限制由编码器使用的参考帧以及解码器所使用的参考帧之间的不匹配所导致的误差的传播。这是因为当每次形成新的参考信号时误差都会衰减。
美国专利申请No.11/403,233(在下文中称作US11/403,233)公开了一种方法，该方法适应性地基于基础层中编码的信息来选择泄漏因子。通过这种方法，在FGS层编码中有效地结合了时间预测以改进编码性能，并且同时可以有效地控制漂移。US11/403,233公开了如下内容：1)在针对FGS层编码的运动补偿中，利用简单内插方法(例如，双线性)来对不同参考帧(即，在增强层参考帧和基础层参考帧之间的差异)执行内插。2)通过对具有至少特定数量的非零系数的块应用相同的泄漏因子，以便降低转换操作的数量。在US11/403,233中，还公开了在离散的基础层顶部之上用于编码多个FGS层的两个编码结构，也称作双环路结构和多环路结构。
根据双环路结构，如图3中所示，当前帧的第一FGS层将离散基础层用作“基础层”以及将先前所编码帧最上部的FGS层用作“增强层”。如图3所示，对当前的帧n的第一FGS层进行编码，将帧n-1的第三、最上部、增强层用作参考帧。然后，当前帧的较高FGS层(即，第二、第三、...)使用当前帧的所重构较低FGS层作为预测，这类似于MPEG-4。根据这种结构，为了编码FGS层，需要总计两个环路的运动补偿。
根据多环路结构，编码器执行以下操作：
·第一编码环路用以重构离散基础层帧。
·第二编码环路用以重构第一FGS层。“基础层”是离散的基础层，并且“增强层”是参考帧的第一FGS层。
·在“基础层”是来自第二编码环路的相同帧的第一FGS层、以及“增强层”是参考帧的第二FGS层时，在第三编码环路中用以重构第二FGS层，以此类推。
图4中示出了多环路结构。
由于在编码每个FGS层中需要额外的运动补偿，这比双环路结构明显更为复杂。通常，为编码第m个FGS层，需要(m+1)个运动补偿环路。
在上述情况下，只考虑一个离散的层。当在离散层顶部之上可以获得具有FGS层的多于一个的离散层时，可以出现其他问题。离散增强层可以是空间增强层。还可以是不同于FGS层的SNR增强层，诸如CGS(粗粒度可伸缩性)层。
图6示出了一个示例，其中编码了两个离散层，并且增强离散层是空间增强层。在离散基础层顶部之上还可以获得一个FGS层。在此情况下，由于空间增强层部分地从FGS层预测，在解码器侧部分地解码FGS层的情况下，则在空间增强层处可期望出现漂移效应。根据当前SVC标准，不同离散层之间的预测包括但不限于：
1.纹理预测，也称作内基模式。所重构的基础层块用以预测增强层块。
2.残差预测。所重构的基础层块预测残差用以预测增强层块预测残差。
发明内容
本发明提供了一种用于对多个FGS层进行编码的方法和系统，其中使用了面向解码器的双环路结构。在解码器侧，新结构的复杂性类似于双环路结构，同时提供了与多环路结构类似的编码性能。本发明还提供了一种方法，用于在由于针对离散层间预测使用FGS层的部分解码的情况下防止漂移效应。本发明目的在于有效地利用FGS层编码中的时间预测来改进编码效率。
由此，本发明的第一方面是这样一种方法，该方法对数字视频序列的帧进行编码或者对已编码数字视频序列进行解码，以生成离散基础层帧以及多个增强层帧，每个所述帧包括划分成为多个块的像素阵列。所述方法包括：
基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测；
从所有较低层计算当前块的预测残差的和；以及
通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
根据本发明，离散基础层当前块的已排列块具有一个或者多个系数，并且如果在离散基础层中已排列块的所述一个或者多个系数全部为零，则将当前块的预测计算为离散基础层中的参考块和增强层中的参考块的加权平均。
根据本发明，如果离散基础层中已排列块中的非零系数的数量超过预定阈值，则当前块中的所述一个或者多个系数的全部使用单一的泄漏因子，基于离散基础层中的非零系数的数量来确定所述泄漏因子，以及当前块的预测是离散基础层中的参考块和增强层中的参考块的加权平均；以及
如果离散基础层中的已排列块中非零系数的数量大于零，并且所述数量小于或者等于预定阈值，则作为离散基础层中的参考块的转换系数以及增强层中参考块的转换系数的加权平均，在转换系数域中形成预测。
可以将预定阈值设置为0。
本发明还提供了一种方法，用于对数字视频序列的帧进行编码或者对已编码数字视频序列进行解码，以便基于离散基础层帧和离散基础层帧顶部之上的多个非离散增强层帧来生成离散增强帧，每个所述帧包括划分成为多个块的像素阵列。编码方法包括：从其离散基础层帧或者任何一个较低增强层帧来形成针对离散增强层帧的预测；以及在比特流中指示所述预测是从其离散基础层帧还是从一个较低增强层帧形成。解码方法包括：在比特流中接收指示，所述指示表示针对编码当前帧的当前块的增强层的预测是来自离散基础层帧还是来自一个较低增强层帧；以及基于已接收的信息来从其离散基础层帧或者从一个较低增强层帧来形成用于解码当前离散增强层帧的预测。
本发明的第二方面是一种编码器，用于对数字视频序列的帧进行编码以生成离散基础层帧和多个增强层帧，每个所述帧包括划分成为多个块的像素阵列。所述编码器包括：
确定模块，用于基于离散基础层处的当前块的已排列块使用的参考块以及在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测；
计算模块，用于从全部较低层计算当前块的预测残差的和；以及
形成模块，用于通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
本发明的第三方面是一种解码器，用于对已编码数字视频序列进行解码，以生成离散基础层帧和多个增强层帧，每个所述帧包括划分成为多个块的像素阵列。所述解码器包括：
确定模块，用于基于离散基础层处的当前块的已排列块使用的参考块以及在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测；
计算模块，用于从全部较低层计算当前块的预测残差的和；以及
形成模块，用于通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
本发明的第四方面是一种设备，诸如具有如上所述的编码器和解码器的移动电话。
本发明的第五方面是一种包括具有软件应用的计算机可读存储介质的软件应用产品，所述软件应用用于编码数字视频序列或者解码已编码的数字视频序列，所述软件应用具有编程代码以实现上述的编码和解码方法。
附图说明
图1示出了根据MPEG-4的FGS层中的不具有时间预测的精细粒度可伸缩性；
图2示出了FGS层中的具有时间预测的精细粒度可伸缩性；
图3示出了双环路结构中的FGS层中的具有时间预测的精细粒度可伸缩性；
图4示出了多环路结构中的FGS层中的具有时间预测的精细粒度可伸缩性；
图5示出了根据本发明的在面向解码器的双环路结构中的FGS层中的具有时间预测的精细粒度可伸缩性；
图6示出了伴随FGS层的多个离散层的示例；
图7示出了具有基础层依赖形成参考块的FGS编码器；
图8示出了具有基础层依赖形成参考块的FGS解码器；以及
图9示出了根据本发明的具有可伸缩编码器和可伸缩解码器中的至少一个的电子设备。
具体实施方式
本发明的各种实施方式提供了一种编码结构和方法，其针对可伸缩视频编码具有改进的编码效率以及降低的编码和解码复杂性。尤其是，考虑了对离散层顶部之上的多个FGS层进行编码的情况。
为了编码多个FGS层，使用了面向解码器的双环路结构。在解码器侧，新结构具有与双环路结构类似的复杂性，同时提供了类似于多环路结构的编码性能。
本发明的各种实施方式还提供了一种用于在由于针对离散层间预测而使用FGS层的部分解码的情况下防止漂移效应的方法。
本发明目的在于，在FGS层编码中有效地利用时间预测以改进编码性能。然而，在解码器侧的FGS层部分解码的情况下，将时间信息结合到针对FGS层编码的预测中还可以导致漂移问题。本发明的主要关注点在于，如何有效地利用用于FGS层编码中预测的时间信息，同时还能够控制漂移效应。
当将FGS层用作用于较高离散层的预测时，在FGS层部分解码的情况下，预测漂移会显著地影响编码性能。
对前述方案的进一步简化
A.避免附加转换操作
在US 11/403,233中描述的方法中，当针对编码FGS层中的块形成预测时，通常考虑以下三个问题。
a)如果基础层中其已排列块的所有系数为零，则将当前块的预测计算为基础层中的参考块以及增强层中的参考块的加权平均。在此情况下，可以在空间域中执行平均操作，并且不需要附加的转换操作。
b)如果基础层中其已排列块中非零系数的数量超过特定阈值Tc，则在此块中的所有系数使用单一泄漏因子。泄漏因子的值可以依赖于基础层中的非零系数的数量。在此情况下，当前块的预测同样是基础层中的参考块以及增强层中的参考块的加权平均。可以在空间域中执行该平均操作，并且不需要转换。
c)如果基础层中其已排列块中的非零系数的数量为非零并且没有超过阈值Tc，则执行转换，并且不同的泄漏因子可以应用于不同的系数。
作为特殊情况以及简化的机制，通过将阈值Tc设置为0，可以简单地将情况(c)并入情况(b)中。结果，在此方法中不需要附加转换。由于算法的大部分复杂性与情况(c)中的处理相关联，因而消除情况(c)可以显著简化整个算法复杂性。尤其是，当针对编码多个FGS层使用多环路结构时，这种简化是期望的，并且通常应该应用。
B.对FGS层不应用内环路解块过滤
在H.264中，设计了环内去块效应滤波器并且可以将其应用于降低环绕编码块边界的块伪像。将这种滤波器称作环路滤波器。不但可以将其用于降低块伪像，还可以用于改善编码性能，这是因为较好的(即，过滤的)帧可以用作对后续帧进行编码的参考帧。然而，环路滤波器的使用还显著地增加编码复杂性，尤其是在多环路结构的情况下。
一种用于降低复杂性的可行方法是，仅针对离散基础层允许内环路滤波器。对于此离散基础层顶部之上的FGS层，不应用环内滤波器。对于最终的FGS层(即，解码器侧的最终重构的FGS层)，可以有选择地将环路滤波器用作后滤波器。这意味着，在将最终FGS层解码之后，可选地，可以将滤波器应用于已解码序列以去除块伪像，但是已过滤FGS帧不包括在编码环路中。
C.对FGS层使用较简单的残差转换
为了进一步降低复杂性，可以针对FGS层编码使用较简单的残差转换。在H.264中，定义了基于DCT的整数转换，并且将其用于残差转换。然而，已经发现，使用较简单转换(诸如，4×4的Hadamard转换)作为残差转换没有带来明显的编码性能降低。4×4的Hadamard转换远远比基于DCT的整数转换简单。
用于编码多个FGS层的面向解码器的双环路结构
在US 11/403,233中，针对编码离散基础层顶部之上的多个FGS层而公开了双环路结构和多环路结构两者。然而，这两种结构中的每个都具有某些缺点。
针对多环路结构，问题在于其复杂性。如图4中所示，根据多环路结构，每个FGS层的预测是从其基础层以及其参考帧的相同的FGS层来形成。需要顺序地逐一编码FGS帧。在编码器侧，在编码离散基础层之后，可以编码第一FGS层。仅在已经编码第一FGS层之后才可以编码第二FGS层，以此类推。对于解码器情况相同。在解码器侧，在解码离散基础层之后，可以解码第一FGS层。然后是第二FGS层，且然后是第三......。由此，例如，为了在解码器侧重构第三FGS层，必须解码和重构离散基础层、第一FGS层以及第二FGS层的每个。在解码较低层以及当前层的每个中，还需要运动补偿。
双环路结构比多环路结构具有低得多的复杂性，这是因为双环路结构针对编码FGS层仅需要两个运动补偿环路，而无论是哪个FGS层。如图3中所示，当编码第一FGS层时，使用离散基础层和其参考帧的最上部FGS层来形成预测。当编码第二FGS层时，将重构的第一FGS层帧用作预测，并且由此不再需要运动补偿。类似地，当编码第三FGS层时，将重构的第二FGS层帧用作预测，以此类推。由此，总之，针对编码FGS层需要两个运动补偿环路。针对编码器和解码器两者，这种情况相同。
然而，对于双环路结构，问题在于其性能。当编码第一FGS层帧时，由于从当前帧的离散基础层以及其参考帧的最上部FGS层来形成预测，在FGS层部分解码的情况下可以期望预测漂移。例如，假设在编码器侧根据图3编码三个FGS层。当在解码器侧仅解码第一FGS层时，将以图2中所示的方式形成针对第一FGS层的预测。在此情况下，仅有第一FGS层可用于每个已解码帧，并且由此，此层(即，可用的最上层)用于FGS层预测。这不同于编码器侧的情况，其中第三FGS层帧用于预测。在编码器侧和解码器侧使用的预测器之间的不匹配导致漂移效应。结果，可以动态地影响第一FGS层以及第二FGS层的编码性能。
在本发明的各种实施方式中，呈现了一种新的双环路结构。根据所述新的双环路编码结构，在编码器侧仍然可以使用多环路运动补偿，但是在解码器侧可以仅使用双环路运动补偿。出于此原因，在本发明的各种实施方式的以下描述中将此结构称作“面向解码器的双环路结构”。
如图5中所示来形成FGS层帧的时间预测。第一FGS层的预测P1的形成方式与根据11/403,233中公开的FGS编码方法在多环路编码结构中的形成方式相同。对于第二FGS层，首先根据提出的相同FGS编码方法来计算初始预测P2’，但是使用离散基础层作为“基础层”并使用第二FGS层作为“增强层”。然后，向P2’添加第一FGS层重构的预测残差D1(在图5中由空心箭头所指示)，以及将和P2用作实际预测。
P2＝P2’+α*D1
α是参数，并且0≤α≤1。类似地，对于第三FGS层，首先根据相同的FGS编码方法来计算初始预测P3’，但是使用离散基础层作为“基础层”，并且使用第三FGS层作为“增强层”。然后，向P3’添加第一和第二FGS层重构的预测残差D1和D2，以及将和P3用作实际预测。
P3＝P3’+α*D1+β*D2
β也是参数，并且0≤β≤1。β可以与α相同，也可以与α不同，通常可以将α和β两者设置为1。
面向解码器的双环路结构和多环路结构之间的差异在于，在面向解码器的双环路结构中，从当前帧的离散基础层及其参考帧的相同FGS层来形成每个FGS层的预测，然而，在多环路结构中，从其直接(immediate)的基础层来形成每个FGS层的预测。
对于面向解码器的双环路结构，在编码器侧仍然需要多环路运动补偿。在编码离散基础层之后，然后将第一FGS层编码。仅在已经将第一FGS层编码之后才将第二FGS层编码，以此类推。在编码每个FGS层中需要运动补偿。然而，在解码器侧，为解码FGS层，仅需要运动补偿的两个环路，而与其是哪个FGS无关，一个环路位于FGS层离散基础层处而一个位于当前FGS层处。例如，为了解码第二FGS层，首先由运动补偿来解码离散基础层。然后，解码第一FGS层残差，并且不需要运动补偿。最后，以根据图5中所示的结构的运动补偿将第二FGS层解码。
应该注意，对于FGS层中的时间预测，FGS层可以使用其离散基础层的相同运动矢量。然而，FGS层还可以使用不同于其基础层的运动矢量。在任何一种情况下，所提议的FGS编码方法以及用于多FGS层的编码结构是适用的。
还应该注意，在本发明中，双环路或者多环路或者面向解码器的双环路编码结构的选择可以是编码器选择并且在比特流中信号发送。由此，可能的是，根据不同的编码结构将不同帧(或者片)按顺序编码，并且针对每个帧(或者片)发送编码结构的选择。
防止由于FGS部分解码的离散增强层处的漂移效应
当FGS层可用并且用以预测较高离散层时，如图6中所示，在FGS层部分解码的情况下可能期望预测漂移问题。这种漂移效应可以显著影响编码性能。然而，如果将离散基础层代替FGS层用于预测，则也影响编码性能，这是因为离散基础层具有比FGS层更低的图片质量。
用以克服这种预测漂移的一个实践方法是使用附加信号(或者标志位)来向解码器发送对于特定离散增强层的预测是来自离散基础层而不是来自离散基础层顶部之上的FGS层的。由于离散基础层总是确保可用并且已解码，在此情况下不存在预测漂移。同时，仅仅有时使能标志，而不是总是使能标志。从而，对于大多数时间，在预测中仍然可以使用FGS层以为了较好的编码性能。实际上，在如何获取增强离散层的预测以防止累积的预测漂移效应方面，这种信号(或者标志位)对解码器提供了周期性刷新。
在对标志位的编码中存在不同的方式。可以在帧级别发送(即，根据H.264的片头)它。从而，对于特定帧(或者片)，在离散增强层处的所有块使用离散基础层用于预测。还可以在宏块级别发送它。在此情况下，仅有被信号发送的离散增强层的那些宏块使用离散基础层用于预测。否则，离散基础层的FGS层可以用于预测。
本发明的各种实施方式使用面向解码器的双环路结构来编码多个FGS层。此双环路结构的解码器复杂性与如图3中所示的双环路结构相同，但是，其可以提供比得上图4中所示的多环路结构的编码性能。
当FGS层可用并且用以预测较高离散层时，本发明对由于FGS层部分解码的预测漂移问题提供了一种解决方案。
FGS编码器概述
图7和图8是本发明的FGS编码器和解码器的框图，其中参考块的形成依赖于基础层。在这些框图中，仅示出了一个FGS层。然而，应该理解，将一个FGS层扩展至具有多个FGS层的结构是易见的。
如从框图中可见，FGS编码器是具有附加“参考块形成模块”的双环路视频编码器。
图9绘出了根据本发明的一个实施方式的典型移动设备。图9中所示的移动设备10支持蜂窝数据和语音通信。应当指出，本发明不局限于这种特定的实施方式，这种特定的实施方式只代表多种不同实施方式中的一种。移动设备10包括控制移动设备操作的(主)微处理器或微控制器100以及与微处理器相关联的组件。这些组件包括与显示模块135连接的显示控制器130、非易失性存储器140、例如随机访问存储器(RAM)的易失性存储器150、与麦克风161、扬声器162和/或耳机163连接的音频输入/输出(I/O)接口160，与小键盘175或键盘连接的小键盘控制器170、任意辅助输入/输出(I/O)接口200、以及短距离通信接口180。这样的设备通常还包括其他设备子系统，这些子系统被一般地示为190。
移动设备10可以在语音网络上通信，和/或同样可以在数据网络上通信，所述数据网络例如是任何公共陆地移动网络(PLMN)，其形式例如可以是数字蜂窝网络，特别是GSM(全球移动通信系统)或UMTS(通用移动通信系统)。语音和/或数据通信通常通过空中接口操作，空中接口也即与其他组件(参见上文)协作的连接到基站(BS)或节点B(未示出)的蜂窝通信接口子系统，其中基站(BS)或节点B是蜂窝网络基础设施的无线接入网络(RAN)的一部分。在图9中被说明性描述的蜂窝通信接口子系统包括蜂窝接口110、数字信号处理器(DSP)120、接收机(RX)121、发射机(TX)122、以及一个或更多本地振荡器(LO)123，并且蜂窝通信接口子系统支持与一个或更多公共陆地移动网络(PLMN)的通信。数字信号处理器(DSP)120将通信信号124发送给发射机(TX)122，并从接收机(RX)121接收通信信号125。除了处理通信信号之外，数字信号处理器120还提供接收机控制信号126和发射机控制信号127。例如，除了分别对待发射的信号进行调制和对所接收的信号进行解调之外，应用于接收机(RX)121和发射机(TX)122中的通信信号上的增益水平也可以通过数字信号处理器(DSP)120中所实施的自动增益控制算法进行自适应控制。为了提供对收发机122的更复杂的控制，也可以在数字信号处理器(DSP)120中实施其他收发机控制算法。在移动设备10通过PLMN的通信在单一频率或者一组相隔密集的频率上发生的情况下，那么单个本地振荡器(LO)123可以与发射机(TX)122和接收机(RX)121结合使用。可选地，如果语音/数据通信所使用的频率不同或者发射和接收所使用的频率不同，则可以使用多个本地振荡器以产生多个相应的频率。尽管使用的是图9中所描述的具有天线129或分集天线系统(未示出)的移动设备10，但是也可以使用具有用于信号接收和发射的单个天线结构的移动设备10。包括语音和数据信息在内的信息通过蜂窝接口110与数字信号处理器(DSP)120之间的数据链路在两者之间进行双向通信。蜂窝接口110的详细设计，例如频带、组件选择、功率水平等，将依赖于移动设备100打算在其中操作的无线网络。
在任何所需的网络注册或激活过程之后，移动设备继而可以在无线网络上发送和接收包括语音和数据信号在内的通信信号，其中注册或激活过程可能涉及在蜂窝网络中注册所需的用户标识模块(SIM)210。天线129从无线网络接收的信号被路由至接收机121，接收机121提供诸如信号放大、频率下转换、滤波、信道选择以及模数转换之类的操作。接收信号的模数转换使得诸如数字解调和解码之类较为复杂的通信功能可以使用数字信号处理器(DSP)120得以执行。通过类似的方式，要被发射给网络的信号被数字信号处理器(DSP)120处理，例如包括调制和编码，并继而被提供给发射机122以用于数模转换、频率上转换、滤波、放大以及通过天线129发射给无线网络。
也可以被指定为设备平台微处理器的微处理器/微控制器(μC)110管理移动设备10的功能。处理器110所使用的操作系统软件149优选地存储在例如非易失性存储器140之类的永久存储器中，其中非易失性存储器140例如可以被实现为闪速存储器、电池备份RAM、任何其他非易失性存储技术或者其任意组合。除了控制移动设备10的低级功能和(图形)基本用户接口功能的操作系统149之外，非易失性存储器140还包括多个高级软件应用程序或者模块，例如语音通信软件应用142、数据通信软件应用141、组织器模块(未示出)或者任何其他类型的软件模块(未示出)。这些模块由处理器100执行并提供了移动设备10的用户与移动设备10之间的高级接口。该接口通常包括由显示控制器130控制的显示器135所提供的图形组件和通过键区控制器170连接到处理器100上的键区175、辅助输入/输出(I/O)接口200和/或短距离(SR)通信接口180所提供的输入/输出组件。辅助I/O接口200特别地包括USB(通用串行总线)接口、串行接口、MMC(多媒体卡)接口以及相关的接口技术/标准，并包括任何其他标准化的或专有的数据通信总线技术，而短距离通信接口射频(RF)低功率接口特别地包括WLAN(无线局域网)和蓝牙通信技术或者IRDA(红外数据访问)接口。这里所称的RF低功率接口技术应被特别地理解为包括IEEE 801.xx标准技术，其说明可以从国际电子电气工程师协会处获得。而且，辅助I/O接口200和短距离通信接口180每一个都可以表示一个或多个的分别支持一个或多个输入/输出接口技术和通信接口技术的接口。操作系统、特定的设备软件应用或模块、或者其一部分可以被临时载入例如随机访问存储器(通常基于DRAM(直接随机访问存储器)技术实现以进行更快的操作)的易失性存储器150中。而且，在将所接收的通信信号永久地写入位于任何海量存储器或非易失性存储器140中的文件系统中之前，也可以将所接收的通信信号临时存储到易失性存储器150中，其中海量存储器优选地通过辅助I/O接口可拆卸地连接以存储数据。应当理解，上述组件代表在此以蜂窝电话的形式被具体化的传统移动设备10的典型组件。本发明不局限于这些特定的组件，所描述的这些组件的实现仅仅是出于说明和完整的缘故。
移动设备10的一个示例性软件应用模块是提供PDA功能性的个人信息管理器应用，其通常包括联系人管理器、日历、任务管理器等。这样的个人信息管理器由处理器100执行，可以访问移动设备10的组件，并可以与其他软件应用模块交互。例如，与语音通信软件应用的交互允许管理电话呼叫、语音邮件等，与数据通信软件应用的交互支持管理SMS(短消息服务)、MMS(多媒体服务)、电子邮件通信以及其他数据传输。非易失性存储器140优选地提供文件系统，用以促进设备上数据项的永久存储，其中数据项包括多个日历条目、联系人等。例如通过蜂窝接口、短距离通信接口或者辅助I/O接口与网络进行数据通信的能力支持通过这样网络所进行的上传、下载和同步。
应用模块141到149表示设备功能或者软件应用，它们被配置成由处理器100执行。在大多数已知的移动设备中，单个处理器管理和控制移动设备的全部操作以及所有的设备功能和软件应用。这种概念可应用于现在的移动设备。增强型多媒体功能性的实现例如包括通过集成的或可拆卸连接的数字相机功能性实现的视频流应用的再现、数字图像的操作以及捕获的视频序列。所述实现还可以包括具有复杂图形驱动和需要计算能力的游戏应用。处理计算能力需求的一种方式通过实现强大且通用的处理器核来解决提高计算能力的问题，这种方式过去被沿用。另一种提供计算能力的方法是实现两个或者更多独立的处理器核，这是本领域公知的方法学。本领域技术人员可以立刻理解多个独立处理器核的优点。通用处理器被设计用于执行多种不同任务，而没有将不同任务的预选进行专门化，而多处理器配置可以包括一个或更多通用处理器，以及一个或更多适于处理预定义任务集合的专门处理器。无论如何，在一个设备中，特别是在例如移动设备10的移动设备中，实现多个处理器传统上需要对组件进行完全且复杂的重新设计。
下面，本发明将提供这样的概念，其支持将附加的处理器核简单地集成到已有处理设备的实现中，从而省略代价高昂的完全且复杂的重新设计。该创造性概念将参考系统芯片(SoC)设计来描述。系统芯片(SoC)的概念是将处理设备的至少众多(或所有)组件集成到单个高集成芯片中。这样的系统芯片可以包含数字、模拟、混合信号，并经常包含射频功能，所有这些功能都在一个芯片上。典型的处理设备包括多个执行不同任务的集成电路。这些集成电路特别地可以包括微处理器、存储器、通用异步接收机/发射机(UART)、串行/并行端口、直接存储器访问(DMA)控制器等。通用异步接收机/发射机(UART)在数据的并行比特和串行比特之间进行转换。半导体技术近来的发展使超大规模集成电路(VLSI)所能支持的复杂性显著增长，这使其能够将众多系统组件集成到单个芯片中。参考图9，其中的一个或更多组件，例如控制器130和160、存储器组件150和140、以及一个或更多接口200、180和110可以与处理器100一起集成到单个芯片中，最终形成系统芯片(SoC)。
而且，设备10配备有根据本发明的创造性操作的用于视频数据可伸缩编码的模块105和可伸缩解码的模块106。通过CPU100，可以独立地使用所述模块105、106。然而，设备10适于分别执行视频数据编码或解码。所述视频数据可以借助于设备的通信模块来接收，或者它也可以存储在设备10内任何可想象的存储装置中。视频数据可以在设备10和通信网络的其他电子设备之间以比特流来传送。
总之，本发明提供了一种用于编码多个FGS层的方法和系统，其中使用了面向解码器的双环路结构。在解码器侧，新结构的复杂性类似于双环路结构，同时提供与多环路结构类似的编码性能。本发明还提供了一种方法，用于在由于针对离散层间预测使用FGS层的部分解码的情况下防止漂移效应。本发明目的在于有效地利用FGS层中的时间预测以便改进编码性能。
本发明提供了一种用于对数字视频序列帧进行编码以及对已编码数字视频序列进行解码的方法，以便生成离散基础层帧和多个增强层帧，每个所述帧包括划分成为多个块的像素阵列。所述方法包括：
基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测；
从所有较低层计算所述当前块的预测残差的和；以及
通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
根据本发明，所述离散基础层的当前块的已排列块具有一个或者多个系数，以及如果所述离散基础层中的已排列块的所述一个或者多个系数全部是零，则将所述当前块的预测计算为所述离散基础层中的参考块以及所述增强层中的参考块的加权平均。
根据本发明，如果所述离散基础层中的已排列块中的非零系数的数量超过预定阈值，则所述当前块中的所述一个或者多个系数的全部使用单一泄漏因子，基于所述离散基础层中的非零系数的数量来确定所述泄漏因子，以及所述当前块的预测是离散基础层中的参考块以及增强层中的参考块的加权平均；以及
如果所述离散基础层中的已排列块中的非零系数的数量大于零，并且所述数量小于或者等于预定阈值，则在转换系数域中形成作为所述离散基础层中的参考块的转换系数以及增强层中的参考块的转换系数的加权平均的所述预测。
所述预定阈值可以设置为0。
本发明还提提供了一种对数字视频序列帧进行编码以及对已编码数字视频序列进行解码的方法，用以基于离散基础层帧以及所述离散基础层帧顶部之上的多个非离散增强层帧来生成离散增强帧，每个所述帧包括划分成为多个块的像素阵列。所述编码方法包括：从其离散基础层帧或者任何一个所述较低增强层帧来形成用于离散增强层帧的预测；以及在所述比特流中指示所述预测是从其离散基础层帧还是从一个所述较低增强层帧来形成。所述解码方法包括：接收所述比特流中的指示，所述指示表明用于编码当前帧的当前块的增强层的预测是来自离散基础层帧还是来自一个所述较低增强层帧；以及基于所述已接收信息，从其离散基础层帧或者从一个所述较低增强层帧来形成用于解码所述当前离散增强层帧的预测。
本发明提供一种用于编码数字视频序列帧的编码器，用以生成离散基础层帧和多个增强层帧，每个所述帧包括划分成为多个块的像素阵列。所述编码器包括：
确定模块，用于基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测；
计算模块，用于从所有较低层计算所述当前块的预测残差的和；以及
形成模块，用于通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块
本发明提供了一种用于对已编码数字视频序列进行解码的解码器，用以生成离散基础层帧和多个增强层帧，每个所述帧包括划分成为多个块的像素阵列。所述解码器包括：
确定模块，用于基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测；
计算模块，用于从全部较低层计算所述当前块的预测残差的和；以及
形成模块，用于通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
可以在诸如移动电话的电子设备中实现上述编码器和解码器。
此外，可以在软件应用产品中实现上述用于编码和解码的方法。通常，软件应用产品具有拥有软件应用的计算机可读存储介质，其中所述软件应用用于对数字视频序列进行编码或者对已编码数字视频序列进行解码，所述软件应用具有编程代码以实现上述编码和解码方法。
尽管本发明是相对于其一个或多个实施方式而被描述的，但本领域技术人员可以理解，在不背离本发明范围的前提下，本发明的形式及其细节可以进行上述的和各种其他的改变、省略或偏差。

Claims (32)

1.一种用于对数字视频序列的帧进行编码以生成离散基础层帧和多个增强层帧的方法，每个所述帧包括划分成为多个块的像素阵列，所述方法特征在于：
基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的所述当前块的增强层的预测。
2.根据权利要求1所述的方法，进一步特征在于：
从所有较低层计算所述当前块的预测残差的和；以及
通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
3.根据权利要求1所述的方法，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个系数，以及
如果所述离散基础层中的所述已排列块的所述一个或者多个系数全部是零，则将所述当前块的所述预测计算为所述离散基础层中的所述参考块以及所述增强层中的所述参考块的加权平均。
4.根据权利要求1所述的方法，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个非零系数，以及
如果所述离散基础层中的所述已排列块中的非零系数的数量超过预定阈值，则所述当前块中的所述一个或者多个系数的全部使用单一泄漏因子，基于所述离散基础层中的非零系数的数量来确定所述泄漏因子，以及所述当前块的所述预测是离散基础层中的所述参考块以及增强层中的所述参考块的加权平均。
5.根据权利要求1所述的方法，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个非零系数，以及
如果所述离散基础层中的所述已排列块中的非零系数的数量大于零，并且所述数量小于或者等于预定阈值，则在转换系数域中形成作为所述离散基础层中的所述参考块的转换系数以及增强层中的所述参考块的转换系数的加权平均的所述预测。
6.根据权利要求4所述的方法，特征在于：所述预定阈值是0。
7.一种用于对数字视频序列的帧进行编码以基于离散基础层帧以及所述离散基础层帧顶部之上的多个非离散增强层帧来生成离散增强帧的方法，每个所述帧包括划分成为多个块的像素阵列，所述方法特征在于：
从其离散基础层帧或者任何一个所述较低增强层帧来形成用于离散增强层帧的预测；以及
在所述比特流中指示所述预测是从其离散基础层帧还是从一个所述较低增强层帧中形成。
8.一种用于对已编码数字视频序列进行解码以生成离散基础层帧和多个增强层帧的方法，每个所述帧包括划分成为多个块的像素阵列，所述方法特征在于：
基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的所述当前块的增强层的预测。
9.根据权利要求8所述的方法，进一步特征在于：
从所有较低层计算所述当前块的预测残差的和；以及
通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
10.根据权利要求8所述的方法，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个系数，以及
如果所述离散基础层中的所述已排列块的所述一个或者多个系数全部是零，则将所述当前块的所述预测计算为所述离散基础层中的所述参考块以及所述增强层中的所述参考块的加权平均。
11.根据权利要求8所述的方法，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个非零系数，以及
如果所述离散基础层中的所述已排列块中的非零系数的数量超过预定阈值，则所述当前块中的所述一个或者多个系数的全部使用单一泄漏因子，基于所述离散基础层中的非零系数的数量来确定所述泄漏因子，以及所述当前块的所述预测是离散基础层中的所述参考块以及增强层中的所述参考块的加权平均。
12.根据权利要求8所述的方法，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个非零系数，以及
如果所述离散基础层中的所述已排列块中的非零系数的数量大于零，并且所述数量小于或者等于预定阈值，则在转换系数域中形成作为所述离散基础层中的所述参考块的所述转换系数以及增强层中的所述参考块的所述转换系数的加权平均的所述预测。
13.根据权利要求11所述的方法，特征在于：所述预定阈值是0。
14.一种用于对已编码数字视频序列进行解码以基于离散基础层帧以及所述离散基础层帧顶部之上的多个非离散增强层帧来生成离散增强帧的方法，每个所述帧包括划分成为多个块的像素阵列，所述方法特征在于：
接收所述比特流中的指示，所述指示表明用于编码当前帧的当前块的增强层的预测是来自离散基础层帧还是来自一个所述较低增强层帧；以及
基于所述已接收信息，从其离散基础层帧或者从一个所述较低增强层帧来形成用于解码所述当前离散增强层帧的预测。
15.一种用于对数字视频序列的帧进行编码以生成离散基础层帧和多个增强层帧的编码器，每个所述帧包括划分成为多个块的像素阵列，所述编码器特征在于：
确定模块，用于基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测。
16.根据权利要求15所述的编码器，进一步特征在于：
计算模块，用于从所有较低层计算所述当前块的预测残差的和；以及
形成模块，用于通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
17.根据权利要求15所述的编码器，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个系数，以及
如果所述离散基础层中的所述已排列块的所述一个或者多个系数全部是零，则所述计算模块适用于将所述当前块的所述预测计算为所述离散基础层中的所述参考块以及所述增强层中的所述参考块的加权平均。
18.根据权利要求15所述的编码器，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个非零系数，以及
如果所述离散基础层中的所述已排列块中的非零系数的数量超过预定阈值，则所述当前块中的所述一个或者多个系数的全部使用单一泄漏因子，基于所述离散基础层中的非零系数的数量来确定所述泄漏因子，以及所述当前块的所述预测是离散基础层中的所述参考块以及增强层中的所述参考块的加权平均。
19.根据权利要求15所述的编码器，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个非零系数，以及
如果所述离散基础层中的所述已排列块中的非零系数的数量大于零，并且所述数量小于或者等于预定阈值，则在转换系数域中形成作为所述离散基础层中的所述参考块的所述转换系数以及增强层中的所述参考块的所述转换系数的加权平均的所述预测。
20.根据权利要求18所述的编码器，特征在于：所述预定阈值是0。
21.一种用于对数字视频序列的帧进行编码以基于离散基础层帧以及所述离散基础层帧顶部之上的多个非离散增强层帧来生成离散增强帧的编码器，每个所述帧包括划分成为多个块的像素阵列，所述编码器特征在于：
形成模块，用于从其离散基础层帧或者任何一个所述较低增强层帧来形成用于离散增强层帧的预测；以及
指示模块，用于在所述比特流中指示所述预测是从其离散基础层帧还是从一个所述较低增强层帧形成。
22.一种用于对已编码数字视频序列进行解码以生成离散基础层帧和多个增强层帧的解码器，每个所述帧包括划分成为多个块的像素阵列，所述解码器特征在于：
确定模块，用于基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测。
23.根据权利要求22所述的解码器，进一步特征在于：
计算模块，用于从全部较低层计算所述当前块的预测残差的和；以及
形成模块，用于通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
24.根据权利要求22所述的解码器，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个系数，以及
如果所述离散基础层中的所述已排列块的所述一个或者多个系数全部是零，则将所述当前块的所述预测计算为所述离散基础层中的所述参考块以及所述增强层中的所述参考块的加权平均。
25.根据权利要求22所述的解码器，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个非零系数，以及
如果所述离散基础层中的所述已排列块中的非零系数的数量超过预定阈值，则所述当前块中的所述一个或者多个系数的全部使用单一泄漏因子，基于所述离散基础层中的非零系数的数量来确定所述泄漏因子，以及所述当前块的所述预测是离散基础层中的所述参考块以及增强层中的所述参考块的加权平均。
26.根据权利要求8所述的解码器，特征在于：所述离散基础层的所述当前块的所述已排列块具有一个或者多个非零系数，以及
如果所述离散基础层中的所述已排列块中的非零系数的数量大于零，并且所述数量小于或者等于预定阈值，则在转换系数域中形成作为所述离散基础层中的所述参考块的所述转换系数以及增强层中的所述参考块的所述转换系数的加权平均的所述预测。
27.根据权利要求25所述的解码器，特征在于：所述预定阈值是0。
28.一种用于对已编码数字视频序列进行解码以基于离散基础层帧以及所述离散基础层帧顶部之上的多个非离散增强层帧来生成离散增强帧的解码器，每个所述帧包括划分成为多个块的像素阵列，其中所述解码器配置用于接收所述比特流中的指示，所述指示表明用于编码当前帧的当前块的增强层的预测是来自离散基础层帧还是来自一个所述较低增强层帧，所述解码器特征在于：
形成模块，用于基于所述已接收信息，从其离散基础层帧或者从一个所述较低增强层帧来形成用于解码所述当前离散增强层帧的预测。
29.一种设备，特征在于：
编码器和解码器，用于对数字视频序列的帧进行编码和解码以生成离散基础层帧和多个增强层帧，每个所述帧包括划分成为多个块的像素阵列，其中所述编码器包括：
确定模块，用于基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测；以及
所述解码器包括：
确定模块，用于基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测。
30.根据权利要求29所述的设备，包括移动终端。
31.一种软件应用产品，包括具有软件应用的计算机可读存储介质，所述软件应用用于对数字视频序列的帧进行编码以生成离散基础层帧和多个增强层帧，每个所述帧包括划分成为多个块的像素阵列，所述软件应用特征在于：
确定编程代码，用于基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测；
计算编程代码，用于从全部较低层来计算所述当前块的预测残差的和；以及
形成编程代码，用于通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
32.一种软件应用产品，包括具有软件应用的计算机可读存储介质，所述软件应用用于对已编码数字视频序列进行解码以生成离散基础层帧和多个增强层帧，每个所述帧包括划分成为多个块的像素阵列，所述软件应用特征在于：
确定编程代码，用于基于用于离散基础层处的当前块的已排列块的参考块以及用于在先前已编码帧中的相同增强层处的当前块的参考块两者，来确定用于编码当前帧的当前块的增强层的预测；
计算编程代码，用于从全部较低层来计算所述当前块的预测残差的和；以及
形成编程代码，用于通过向所述预测添加所述预测残差的和来形成用于编码所述增强层的参考块。
CNA2007800058250A 2006-01-09 2007-01-09 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置 Pending CN101416513A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US75774606P 2006-01-09 2006-01-09
US60/757,746 2006-01-09

Publications (1)

Publication Number Publication Date
CN101416513A true CN101416513A (zh) 2009-04-22

Family

ID=38256030

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800058250A Pending CN101416513A (zh) 2006-01-09 2007-01-09 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置

Country Status (7)

Country Link
US (1) US20070201551A1 (zh)
EP (1) EP1989883A1 (zh)
JP (1) JP2009522974A (zh)
KR (1) KR20080085199A (zh)
CN (1) CN101416513A (zh)
TW (1) TW200737993A (zh)
WO (1) WO2007080491A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208386A (zh) * 2009-12-16 2015-12-30 韩国电子通信研究院 执行帧间预测的视频解码/编码方法和装置
CN105979272A (zh) * 2011-02-16 2016-09-28 联发科技股份有限公司 视频编解码系统中共享信息的方法与装置
CN108337521A (zh) * 2011-06-15 2018-07-27 韩国电子通信研究院 存储由可伸缩编码方法生成的比特流的计算机记录介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101043619A (zh) * 2006-03-24 2007-09-26 华为技术有限公司 视频编码的误差控制系统和方法
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
GB2440004A (en) * 2006-07-10 2008-01-16 Mitsubishi Electric Inf Tech Fine granularity scalability encoding using a prediction signal formed using a weighted combination of the base layer and difference data
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
CN102150432A (zh) * 2008-09-17 2011-08-10 夏普株式会社 可分级视频流解码装置以及可分级视频流生成装置
US9648318B2 (en) 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
KR20150029592A (ko) * 2013-09-10 2015-03-18 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150046744A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US10045019B2 (en) * 2013-10-22 2018-08-07 Kt Corporation Method and device for encoding/decoding multi-layer video signal
CN105684446B (zh) * 2013-10-29 2020-01-07 株式会社Kt 多层视频信号编码/解码方法和装置
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels
US12058310B2 (en) 2021-02-26 2024-08-06 Lemon Inc. Methods of coding images/videos with alpha channels

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999033274A1 (en) * 1997-12-19 1999-07-01 Kenneth Rose Scalable predictive coding method and apparatus
EP1323316A2 (en) * 2000-09-22 2003-07-02 Koninklijke Philips Electronics N.V. Double-loop motion-compensation fine granular scalability
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7072394B2 (en) * 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
JP2004159157A (ja) * 2002-11-07 2004-06-03 Kddi R & D Laboratories Inc 階層符号化された動画像の復号装置
US7283589B2 (en) * 2003-03-10 2007-10-16 Microsoft Corporation Packetization of FGS/PFGS video bitstreams
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
US8619860B2 (en) * 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208386A (zh) * 2009-12-16 2015-12-30 韩国电子通信研究院 执行帧间预测的视频解码/编码方法和装置
CN105208386B (zh) * 2009-12-16 2018-07-10 韩国电子通信研究院 执行帧间预测的视频解码/编码方法和装置
CN105979272A (zh) * 2011-02-16 2016-09-28 联发科技股份有限公司 视频编解码系统中共享信息的方法与装置
CN108337521A (zh) * 2011-06-15 2018-07-27 韩国电子通信研究院 存储由可伸缩编码方法生成的比特流的计算机记录介质
US11412240B2 (en) 2011-06-15 2022-08-09 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same
US11838524B2 (en) 2011-06-15 2023-12-05 Electronics And Telecommunications Research Institute Method for coding and decoding scalable video and apparatus using same

Also Published As

Publication number Publication date
EP1989883A1 (en) 2008-11-12
US20070201551A1 (en) 2007-08-30
JP2009522974A (ja) 2009-06-11
WO2007080491A1 (en) 2007-07-19
KR20080085199A (ko) 2008-09-23
TW200737993A (en) 2007-10-01

Similar Documents

Publication Publication Date Title
CN101416513A (zh) 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置
RU2377735C2 (ru) Способ, устройство и система для эффективного кодирования и декодирования видеоданных
US20080240242A1 (en) Method and system for motion vector predictions
KR20080006607A (ko) 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템
US20060256863A1 (en) Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
CN101401440A (zh) 可伸缩视频编码中的差错恢复模式判决
CN101278563A (zh) 用于视频编码中更新操作的亚像素内插的方法和装置
CN101213842A (zh) 用于使用运动补偿时域滤波的视频编码中的更新步骤的方法和装置
KR100931871B1 (ko) 비디오 데이터의 효과적인 ｆｇｓ 부호화 및 복호화를 위한방법, 장치, 시스템
JP2009522973A (ja) 細粒度スケーラブル映像符号化におけるエントロピ符号化の方法及び装置
CN101390398A (zh) 用于精细粒度可伸缩视频编码中的熵编码的方法和装置
CN101185340A (zh) 具有漂移控制的运动补偿精细粒度可伸缩视频编码方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090422