CN1640145A - 使用高质量参考帧的改进高效快速的结构 - Google Patents

使用高质量参考帧的改进高效快速的结构 Download PDF

Info

Publication number
CN1640145A
CN1640145A CNA038052326A CN03805232A CN1640145A CN 1640145 A CN1640145 A CN 1640145A CN A038052326 A CNA038052326 A CN A038052326A CN 03805232 A CN03805232 A CN 03805232A CN 1640145 A CN1640145 A CN 1640145A
Authority
CN
China
Prior art keywords
frame
data flow
motion
base layer
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038052326A
Other languages
English (en)
Other versions
CN1640145B (zh
Inventor
M·范德沙亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1640145A publication Critical patent/CN1640145A/zh
Application granted granted Critical
Publication of CN1640145B publication Critical patent/CN1640145B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于编码视频的方法和装置包括根据基础层帧和至少部分基础层剩余图像帧构建运动补偿扩展基础层参考帧。使用运动补偿扩展基础层参考帧进行双向或者单向预测FGS运动补偿剩余图像或者瞬时帧。

Description

使用高质量参考帧的改进高效快速的结构
技术领域
本发明涉及一种精细颗粒可伸缩(FGS)的视频编码，尤其涉及一种FGS编码方案，其中根据包括基础层信息和至少一部分增强层信息预测双向和/或单向预测的FGS瞬时(FGST)帧的多个层。
背景技术
互联网协议(IP)网络上的视频流已经使多媒体具有广泛的应用。互联网视频流提供了连续媒体内容的实时传递和呈现，同时补偿了互联网上服务质量(QoS)保证的缺乏。由于IP网络的带宽和其它性能(例如包损失率)的变化和不可预见，通常，大多数建议的流方案都是基于一个分层(或者可伸缩)的视频编码方案的类型。
图1A和1B示例性的表明了一种已知的混合时间-SNR精细颗粒可伸缩(FGS HS)的可伸缩视频编码方案类型，正如前述的公开转让的美国专利申请序列号为09/590,825中所详细描述的那样。每个FGS HS结构10A，10B包括一个基础层11A，11B(BL)和一个增强层12A，12B(EL)。可伸缩视频流中的BL部分通常表示解码该流所需的数据的最小量。该流的EL部分表示附加信息，即FGS SNR帧或者图像以及FGS瞬时帧或者图像(表示为FGST)，当接收机将其解码时，其能提高视频信号的呈现。特别是，引入附加瞬时帧来获得一个更高的帧速率。MPEG-4 FGS标准支持图1A中的双向预测FGST图像类型以及图1B中的前向预测FGST图像类型。
图2表明了一个如美国专利申请序列号为09/590,825中的所述的FGS HS视频编码器100的一个例子的功能结构。编码操作基于DCT变换，尽管也可以使用其它的变换(例如小波变换)。视频编码器100能够产生图1A和1B中的FGS HS结构10A，10B。视频编码器100包括一个BL编码器110和一个EL编码器130。视频编码器100接收原始视频信号，原始视频信号被BL编码器110处理成I帧和P帧的一个BL比特流，以及被EL编码器130处理成FGS SNR I帧和P帧和/或P和B FGST帧的一个EL比特流。
在图1A和1B的FGS HS结构中，根据存储在帧存储块中的低质量的基础层参考帧预测FGST帧。结果产生的运动补偿剩余误差很高，因此需要大量的比特来压缩这些帧。因此，要在低比特率或者在非常高的比特率执行向更高帧速率的转换。
因此，需要一种技术来降低在FGS HS视频编码方案中的引入FGST所需的带宽。
发明内容
本发明的第一方面涉及视频编码。本发明涉及将一个视频或者视频信号编码成基础层帧的一个数据流。剩余的图像帧在转换域根据基础层帧进行计算。根据基础层帧和至少部分剩余图像帧构建扩展的基础层参考帧，并且进行运动补偿来产生运动补偿的扩展基础层参考帧。根据运动补偿的扩展基础层参考帧和视频预测运动补偿的剩余图像帧。运动补偿的剩余图像帧被精细颗粒可伸缩编码成瞬时帧的数据流。
本发明的第二方面涉及一种视频解码。本发明涉及解码一个基础层数据流从而构建基础层帧。增强层流数据的SNR质量帧部分被精细颗粒可伸缩解码从而构建SNR质量帧。根据基础层帧以及至少部分SNR质量帧构建扩展的基础层参考帧。运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧。增强层数据流的瞬时帧部分被精细颗粒可伸缩解码从而构建运动补偿的剩余帧，这些帧将与运动补偿的扩展基础层参考帧组合从而构建瞬时帧。
本发明的优点，特征以及各种附加特征将在考虑到下文中结合附图进行的详细描述后变得清楚明了，在全部附图当中相同的附图标记表示相同的元件。
附图说明
图1A和1B图示出已知的混合时间-SNR精细颗粒可伸缩的一种可伸缩的视频编码方案的可伸缩结构的例子。
图2图示出一个示例的FGS混合时间-SNR视频编码器的功能结构图，其能够产生图1A和1B的可伸缩结构。
图3A图示出根据本发明的第一实施例的一个基于FGS的混合时间-SNR可伸缩结构。
图3B图示出根据本发明的第二实施例的一个基于FGS的混合时间-SNR可伸缩结构。
图4图示出根据本发明的一个实施例的FGS混合时间-SNR视频编码器的功能结构。
图5图示出根据本发明的一个实施例的FGS混合时间-SNR视频解码器的功能结构图。
图6表明了可以用于执行本发明的原则的一个系统的实施例。
具体实施方式
图3A表明了根据本发明的第一实施例的基于FGS的混合时间-SNR可伸缩结构(FGS HS结构20A)。FGS HS结构20A包括利用I帧和P帧编码的一个BL21A和利用剩余的SNR I帧和P帧以及运动补偿的剩余或者时间(FGST)双向预测(B)帧FGS编码的一个单一EL22A。应当理解，在本发明的其他实施例中，FGST帧可以位于它们自己的“时间”层。
图3B表明了根据本发明的第二实施例的FGS混合时间-SNR可伸缩结构(FGS HS结构20B)。FGS HS结构20B包括一个利用I帧和P帧编码的BL21B以及利用剩余的SNR I帧和P帧以及运动补偿或者时间(FGST)前向预测(P)帧FGS编码的一个单一EL22B。如上所述，在本发明的其他实施例中，FGST帧可以位于它们自己的“时间”层。
与图1A和1B所示的FGS HS结构的FGST帧不同，其根据仅具有BL数据的参考帧进行预测，本发明中的FGS HS结构中的FGST帧根据高质量的“扩展”参考帧进行预测，每一个高质量的参考帧根据整个BL帧和至少部分EL帧，即EL帧的一个或者多个比特平面或者部分比特平面构建。由于这些扩展参考帧都是更高质量的，所以FGST帧中的剩余运动补偿误差编码就更低于图1A和1B中的FGS HS结构中的FGST帧的误差编码。因此本发明的FGST帧就能够利用更少的比特来更有效的传送。本发明的高编码效率对于无线应用尤其有用，在无线应用中需要高的编码效率增益。
图4表明了根据本发明的一个实施例的FGS HS视频编码器200的功能结构。视频编码器200能够根据图3A和3B的FGS HS结构20A和20B编码一个视频信号。视频编码器200包括一个BL编码器210和一个EL编码器230。视频编码器200接收一个原使的视频信号，该原始视频信号被BL编码器210处理成I帧和P帧的一个BL比特流，被EL编码器230处理成FGS SNR I帧和P帧和/或P和B FGST帧的一个EL比特流。尽管图4的编码器200基于离散余弦变换，但是其它变换，例如小波变换也可以使用。
BL编码器210包括一个第一视频信号处理分支，其包括一个运动估计器211，一个运动补偿器212，一个离散余弦变换(DCT)213，一个量化器214，以及一个产生BL比特流的熵编码器215。BL编码器210进一步包括一个第二视频信号处理分支，其包括一个反量化器216，一个反离散余弦变换(IDCT)217，以及一个帧存储器218。
帧存储器218用于存储标准BL参考帧和扩展BL参考帧。运动估计器211接收原始视频信号，估算存储在帧存储器218中的参考帧和原始视频信号中的视频帧之间的运动量，利用像素特征的变化来表示，并且产生包含BL运动矢量和预测模式(BL参考帧)或者EL运动矢量和预测模式(扩展BL参考帧)的运动信息信号。运动信息信号被提供给运动补偿器212，以及一个第一数据流控制器219。
运动补偿器212利用标准BL参考帧信号以及BL运动矢量和预测模式信号产生用于预测标准BL P帧的运动补偿参考帧信号。运动补偿器212利用扩展BL参考帧信号和FGST帧的EL运动信息信号产生用于预测本发明的FGST帧的运动补偿扩展BL参考帧信号。
在第一减法器220中通过从原始视频信号中减去标准运动补偿BL参考帧信号来产生一个运动补偿剩余BL P帧信号。与此相似，在第一减法器220中通过从原始视频信号中减去运动补偿扩展BL参考帧信号产生一个运动补偿剩余FGST帧信号。
DCT213通过传统的将运动补偿剩余FGST和BL P帧信号的空间信息转换到频率域来实现压缩。原始视频信号中的BL I帧也利用这种方式由DCT213进行压缩。在一个适当的时间，第二数据流控制器221将DCT213的输出端产生的BL I和P帧的DCT比特平面发送到量化器214，用于进一步的压缩。
熵编码器215使用传统的可变长度编码或者类似的技术进一步压缩量化器214的输出端的量化DCT比特平面信号。第一多路复用器222多路复用熵编码器215的输出端的信号和通过第一数据流控制器219从运动估计器211传送到第一多路复用器222的BL运动信息信号，从而产生I帧和P帧的BL比特流。
反量化器216反量化量化器214的输出从而产生一个表示输入到量化器214的变换的信号。该信号表示重建的BL DCT系数。IDCT217解码重建的BL DCT系数从而产生一个提供BL I帧和P帧的信号，表示被转换和量化处理改变的原始视频信号。第一加法器223根据IDCT217的输出端的信号以及运动补偿器212的输出端的合适的参考帧信号重建BL I和P帧。这些重建的BL I和P帧存储在帧存储器218中并用作用于预测其它的BL P帧和FGST帧的标准BL参考帧。
EL编码器230包括一个第一视频信号处理分支，其包括一个DCT剩余图像存储器231，一个适应量化器232，以及一个FGS编码器235。EL编码器230进一步包括一个第二视频信号处理分支，其包括一个位平面选择器236以及一个第二IDCT237。
EL编码器230中的第二减法器238从量化器214的输出端的量化BLDCT位平面信号中减去DCT213的输出端的BL DCT位平面信号从而产生SNRDCT位平面剩余信号。在一个合适的时间，第三数据流控制器239为DCT剩余图像存储器231提供可在第二减法器238的输出端获得的SNR DCT位平面剩余图像信号(SNR剩余信号)或者由第二数据流控制器发送的运动补偿FGST DCT位平面剩余信号(FGST剩余信号)用于存储。
适应量化器232是一种已知的能够改善转换编码视频的视觉质量的编码工具。适应量化器232包括一个已知的选择增强工具233，通过在剩余图像帧内位移选定的宏块而在SNR和FGST剩余信号上执行选择增强，以及一个任意的已知的位移选择系数的频率加权工具234。
适应量化器232输出的SNR剩余信号被FGS编码器235使用位平面DCT扫描和熵编码压缩，从而产生一个FGS SNR比特流。第四数据流控制器240在一个合适的时间将FGS SNR比特流发送给第三多路复用器243。适应量化器232输出端的FGST剩余信号也被FGS编码器235使用位平面DCT扫描和熵编码压缩。第四数据流控制器240在一个合适的时间将FGS编码器235输出的压缩FGST剩余信号发送给第二多路复用器241，其多路复用通过第一数据流控制器219传送的EL运动信息信号和压缩FGST剩余信号，从而产生一个FGST比特流。SNR FGS EL比特流和时间FGS比特流能够或者通过第三多路复用器243多路复用从而产生一个单一的EL比特流(其包括SNR和时间FGS帧)或者以两个分开的流存储/传送。
位平面选择器或者掩模设备236选择至少一部分位平面，即SNR剩余图像信号的一部分位平面，一个或者多个全部位平面，或者全部和部分位平面的任意组合。该数据信号与第二加法器242的BL编码器的IDCT216输出的相应的BL帧信号组合从而构建一个扩展BL参考帧。第二IDCT237解码扩展BL参考帧的DCT系数。第三加法器224组合IDCT237输出的扩展BL帧信号和运动补偿器212输出的合适的参考帧信号。第三加法器224构建的扩展BL帧存储在帧存储器218中并且用作预测FGST帧的扩展BL参考帧。
图5表明了根据本发明的一个实施例的FGSHS视频解码器300的功能结构。该视频解码器300能够解码图4中的视频编码器200所产生的BL和EL比特流。
视频解码器300包括一个BL解码器310和一个EL解码器330。BL解码器310包括一个BL可变长度解码器(VLD)311，一个反量化器312，一个IDCT313，一个BL帧存储器314以及一个运动补偿器315。
EL解码器330包括一个FGS位平面解码器331，一个位平面选择器332，一个第二IDCT333以及一个EL帧存储器334。EL解码器330与BL解码器310共享一个运动补偿器315。
BL解码器310接收BL比特流并通过第一解多路复用器316解复用，从而从BL运动信息信号中分离出编码的BL信息信号。BL VLD311接收BL信息信号并且进行与BL编码器210的熵编码处理相反的处理，从而产生一个量化的BL DCT系数信号。反量化器312反量化量化的BL信息信号从而重建BL DCT系数信号。IDCT313对BL DCT系数信号进行反余弦变换。
运动补偿器315在第一数据流控制器317的控制下，在合适的时间接收BL运动信息信号。然后运动补偿器315使用存储在BL帧存储器314中的BL运动信息和BL参考帧来重建用于预测BL P帧的运动补偿BL参考帧。
第二数据流控制器318在合适的时间将运动补偿器315输出的运动补偿BL参考帧信号提供给第一加法器319。第一加法器319将该信号与IDCT313输出的信号组合从而重建BL I和P帧，BL I和P帧存储在BL帧存储器314中。第一加法器319的输出端产生的BL帧信号可以任意的作为BL视频而输出。
EL解码器330接收BL比特流，第二解多路复用器335将其解复用，从而将编码的FGS SNR信号从编码的FGST信号中分离。编码的FGS SNR信号在一个合适的时间，通过第三数据流控制器337输入到FGS位平面解码器331，FGS位平面解码器331通过执行可变长度解码，逆移位和反离散余弦变换操作解码编码FGS SNR信号的位平面。第二加法器340在一个合适的时间，通过第四数据流控制器338将FGS位平面解码器331输出端的解码的FGS I和P SNR帧信号与第一加法器319输出端的解码的BL I和P帧信号组合。第五数据流控制器341选择一个合适的时间输出在第二加法器340的输出端可以获得的组合BL和SNR帧信号作为增强的视频。
位平面选择器332选择先前选择的位平面的数目，部分位平面或者FGS位平面解码器的输出端的部分解码SNR剩余图像帧信号。第二IDCT333在该选定的DNR剩余位平面信号上执行反余弦变换从而解码SNR剩余图向或者扩展BL参考帧的SNR部分的SNR帧部分(如果情况需要或者是全部帧)。第三加法器342将第二IDCT333输出端的SNR帧部分与存储在BL帧存储器314中的相应的BL帧组合从而重建存储在EL帧存储器334中的扩展BL参考帧。
第三解多路复用器336解复用FGST信息信号从而从EL运动信息信号中分离出编码的FGST帧信号。编码的FGST帧信号在一个合适的时间由FGS位平面解码器通过第三数据流控制器337接收并且解码。运动补偿器315在一个合适的时间通过第一数据流控制器317接收EL运动信息信号。运动补偿器使用EL运动信息和存储在EL帧存储器中的扩展BL参考帧重建运动补偿扩展BL参考帧信号，第四加法器339将运动补偿器315输出端的运动补偿扩展BL参考帧信号与FGS解码器331输出端的解码的FGST帧信号组合。该功能块的定时由第四数据流控制器338控制。第五数据流控制器341在一个合适的时间将第四加法器339输出端的重建的FGST帧信号作为增强视频而输出。
图6表明了能够用于执行本发明的原理的一个系统400的实施例。该系统400可以表示一个电视，一个机顶盒，一个台式，膝上型或者掌上电脑，一个个人数字辅助(PDA)，一个视频/图像存储设备，例如一个视频盒式记录器(VCR)，一个数字视频记录器(DVR)，一个TiTO设备，等，以及这些和其它设备的部分或者组合。系统400包括一个或者多个视频/图像源401，一个或者多个输入/输出设备402，一个处理器403以及一个存储器404。视频/图像源401可以表示，例如一个电视接收机，一个VCR或者其他的视频/图像存储设备。源401或者可以表示一个或者多个网络连接，用于从一个服务器或者从例如诸如互联网，广域网，城域网，局域网，地面广播系统，有线网络，卫星网络，无线网络或者电话网络的全球计算机通信网络，或者这些和其它类型的网络的部分或者组合的服务器上接收视频。
输入/输出设备402，处理器403和存储器404可以在通信介质405上进行通信。通信介质405可以表示例如，一个总线，一个通信网络，电路，电路卡或者其他设备的一个或者多个内部连接，以及这些和其它通信介质的部分和组合。根据一个或者多个存储在存储器404中软件程序处理从源401输入的视频数据，并且由处理器403进行处理从而产生提供给显示设备406的视频/图像。
在一个优选实施例中，应用本发明的原则的编码和解码可以通过该系统执行计算机可读代码来实现。代码可以存储在存储器404中或者从诸如CD-ROM或者软盘的存储介质中读取/下载。在另一个实施例中，可以使用硬件电路来替代软件指令或者与软件指令相结合来实现本发明。例如，图4合5所示的功能元件也可以利用离散的硬件元件来实现。
上面已经描述了本发明的特定实施例，应当理解本发明并不期望限制或者局限于上述的实施例。例如，也可以执行除了DCT以外的其它转换，包括但不局限于小波或者匹配跟踪。这些和所有其它的改变和变形应当被考虑包含在追加的权利要求的范围之内。

Claims (21)

1.一种编码视频的方法，包括步骤：
将该视频编码成一个基础层帧的数据流；
根据基础层帧计算转换域中的剩余图像帧；
根据基础层帧和至少部分剩余图像帧构建扩展的基础层参考帧；
运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧；
根据运动补偿的扩展基础层参考帧和该视频预测运动补偿的剩余图像帧；
将运动补偿的剩余图像帧精细颗粒可伸缩编码为瞬时帧的数据流。
2.根据权利要求1所述的编码视频的方法，进一步包括将剩余的图像帧精细颗粒可伸缩编码成一个SNR质量帧的数据流的步骤。
3.根据权利要求2所述的编码视频的方法，进一步包括将瞬时帧的数据流与SNR质量帧的数据流相组合从而构建一个瞬时和SNR质量帧的单一数据流的步骤。
4.一种编码视频信号的方法，包括步骤：
将视频信号编码成一个基础层帧的数据流；
根据该基础层帧计算转换域的剩余图像帧；
根据基础帧和至少部分剩余图像帧构建扩展的基础层参考帧；
运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧；
根据运动补偿的扩展基础层参考帧和该视频信号预测运动补偿的剩余图像帧；以及
将运动补偿的剩余图像帧精细颗粒可伸缩编码为瞬时帧的数据流。
5.根据权利要求4所述的编码视频信号的方法，进一步包括将剩余图像帧精细颗粒可伸缩编码为SNR质量帧的数据流的步骤。
6.根据权利要求5所述的编码视频信号的方法，进一步包括将瞬时帧的数据流与SNR质量帧的数据流相组合从而构建一个瞬时和SNR质量帧的单一数据流的步骤。
7.一种编码视频装置，包括：
用于将该视频编码成一个基础层帧的数据流的装置(210)；
用于根据基础层帧计算转换域中的剩余图像帧的装置(238)；
用于根据基础层帧和至少部分剩余图像帧构建扩展的基础层参考帧的装置(236，242，237，224)；
用于运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧的装置(212)；
用于根据运动补偿的扩展基础层参考帧和该视频预测运动补偿的剩余图像帧的装置(220)；以及
用于将运动补偿的剩余图像帧精细颗粒可伸缩编码为瞬时帧的数据流的装置(235)。
8.根据权利要求7所述的装置，进一步包括用于将剩余的图像帧精细颗粒可伸缩编码成一个SNR质量帧的数据流的装置(235)。
9.根据权利要求8所述的装置，进一步包括用于将瞬时帧的数据流与SNR质量帧的数据流相组合从而构建一个瞬时和SNR质量帧的单一数据流的装置(243)。
10.一种用于编码视频的存储介质，包括：
用于将该视频编码成一个基础层帧的数据流的代码(210)；
用于根据基础层帧计算转换域中的剩余图像帧的代码(238)；
用于根据基础层帧和至少部分剩余图像帧构建扩展的基础层参考帧的代码(236，242，237，224)；
用于运动补偿扩展的基础层参考帧从而产生运动补偿的扩展基础层参考帧的代码(212)；
用于根据运动补偿的扩展基础层参考帧和该视频预测运动补偿的剩余图像帧的代码(220)；以及
用于将运动补偿的剩余图像帧精细颗粒可伸缩编码为瞬时帧的数据流的代码(235)。
11.根据权利要求10所述的存储介质，进一步包括用于将剩余的图像帧精细颗粒可伸缩编码成一个SNR质量帧的数据流的代码(235)。
12.根据权利要求11所述的存储介质，进一步包括用于将瞬时帧的数据流与SNR质量帧的数据流相组合从而构建一个瞬时和SNR质量帧的单一数据流的代码(243)。
13.一种解码一个基础层数据流和一个增强层数据流的方法，所述数据流共同表示一个视频，包括步骤：
解码基础层数据流以构建基础层帧；
精细颗粒可伸缩解码增强层数据流的SNR质量帧部分以构建SNR质量帧；
根据基础层帧和至少部分SNR质量帧构建扩展的基础层参考帧；
运动补偿扩展的基础层参考帧以产生运动补偿扩展的基础层参考帧；
精细颗粒可伸缩解码增强层数据流的瞬时帧部分以构建运动补偿的剩余帧；
组合运动补偿的扩展基础层参考帧与运动补偿的剩余帧以构建瞬时帧。
14.根据权利要求13所述的方法，进一步包括将基础层帧和SNR质量帧组合成一个增强视频的步骤。
15.根据权利要求13所述的方法，进一步包括将基础层帧，SNR质量帧和瞬时帧组合成增强视频的步骤。
16.一种用于解码基础层数据流和增强层数据流的装置，所述的数据流共同表示一个视频，包括：
用于解码基础层数据流以构建基础层帧的装置(310)；
用于精细颗粒可伸缩解码增强层数据流的SNR质量帧部分以构建SNR质量帧的装置(331)；
用于根据基础层帧和至少部分SNR质量帧构建扩展的基础层参考帧的装置(332，333，342)；
用于运动补偿扩展的基础层参考帧以产生运动补偿的扩展基础层参考帧的装置(315)；
用于精细颗粒可伸缩解码增强层数据流的瞬时帧部分以构建运动补偿的剩余帧的装置(331)；
用于组合运动补偿的扩展基础层参考帧与运动补偿剩余帧以构建瞬时帧的装置(339)。
17.根据权利要求16所述的装置，进一步包括将基础层帧和SNR质量帧组合成一个增强视频的装置(340)。
18.根据权利要求16所述的装置，进一步包括用于将基础层帧，SNR质量帧，以及瞬时帧组合成一个增强视频的装置(340，341)。
19.一种用于解码一个基础层数据流和一个增强层数据流的存储介质，所述的数据流共同表示一个视频，包括：
用于解码基础层数据流以构建基础层帧的代码(310)；
用于精细颗粒可伸缩解码增强层数据流的SNR质量帧部分以构建SNR质量帧的代码(331)；
用于根据基础层帧和至少部分SNR质量帧构建扩展的基础层参考帧的代码(332，333，342)；
用于运动补偿扩展的基础层参考帧以产生运动补偿的扩展基础层参考帧的代码(315)；
用于精细颗粒可伸缩解码增强层数据流的瞬时帧部分以构建运动补偿的剩余帧的代码(331)；
用于组合运动补偿的扩展基础层参考帧与运动补偿剩余帧以构建瞬时帧的代码(339)。
20.根据权利要求19所述的存储介质，进一步包括用于将基础层帧和SNR质量帧组合成一个增强视频的代码(340)。
21.根据权利要求19所述的存储介质，进一步包括用于将基础层帧，SNR质量帧，以及瞬时帧组合成一个增强视频的代码(340，341)。
CN038052326A 2002-03-04 2003-02-18 视频编码方法和装置,数据流解码方法和装置 Expired - Fee Related CN1640145B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/090,863 2002-03-04
US10/090,863 US6944222B2 (en) 2002-03-04 2002-03-04 Efficiency FGST framework employing higher quality reference frames
PCT/IB2003/000683 WO2003075578A2 (en) 2002-03-04 2003-02-18 Fgst coding method employing higher quality reference frames

Publications (2)

Publication Number Publication Date
CN1640145A true CN1640145A (zh) 2005-07-13
CN1640145B CN1640145B (zh) 2010-09-08

Family

ID=27787639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN038052326A Expired - Fee Related CN1640145B (zh) 2002-03-04 2003-02-18 视频编码方法和装置,数据流解码方法和装置

Country Status (7)

Country Link
US (1) US6944222B2 (zh)
EP (1) EP1483917A2 (zh)
JP (1) JP2005519542A (zh)
KR (1) KR100954816B1 (zh)
CN (1) CN1640145B (zh)
AU (1) AU2003206051A1 (zh)
WO (1) WO2003075578A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101258755B (zh) * 2005-09-06 2011-05-18 三星电子株式会社 增强熵编码、视频编码方法及其装置的性能的方法和装置
CN101390400B (zh) * 2006-02-27 2012-02-29 汤姆森许可贸易公司 Svc解码器上的分组丢失检测和虚拟分组产生的方法和设备
CN102158697B (zh) * 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100556838B1 (ko) * 2002-09-17 2006-03-10 엘지전자 주식회사 미세단위 신축형 부호화 및 복호화 장치와 방법
WO2005032138A1 (en) * 2003-09-29 2005-04-07 Koninklijke Philips Electronics, N.V. System and method for combining advanced data partitioning and fine granularity scalability for efficient spatio-temporal-snr scalability video coding and streaming
US8271200B2 (en) * 2003-12-31 2012-09-18 Sieracki Jeffrey M System and method for acoustic signature extraction, detection, discrimination, and localization
US7079986B2 (en) * 2003-12-31 2006-07-18 Sieracki Jeffrey M Greedy adaptive signature discrimination system and method
US8478539B2 (en) 2003-12-31 2013-07-02 Jeffrey M. Sieracki System and method for neurological activity signature determination, discrimination, and detection
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
KR20060063605A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
KR100913088B1 (ko) * 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
EP1900222A4 (en) 2005-01-21 2009-10-28 Lg Electronics Inc METHOD AND APPARATUS FOR ENCODING / DECODING VIDEO SIGNALS USING BLOCK PREDICTION INFORMATION
US20090129467A1 (en) * 2005-04-08 2009-05-21 Agency For Science, Technology And Research Method for Encoding at Least One Digital Picture, Encoder, Computer Program Product
WO2006109141A1 (en) * 2005-04-12 2006-10-19 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
US20070014349A1 (en) * 2005-06-03 2007-01-18 Nokia Corporation Residual prediction mode in scalable video coding
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
KR100772878B1 (ko) * 2006-03-27 2007-11-02 삼성전자주식회사 비트스트림의 비트율 조절을 위한 우선권 할당 방법,비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그방법을 이용한 장치
KR100834757B1 (ko) * 2006-03-28 2008-06-05 삼성전자주식회사 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더
JP5484902B2 (ja) 2006-07-13 2014-05-07 クゥアルコム・インコーポレイテッド サイクルを整列したフラグメントを使用する微細粒度スケーラビリティを備えた映像符号化
KR100896290B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8805083B1 (en) 2010-03-21 2014-08-12 Jeffrey M. Sieracki System and method for discriminating constituents of image by complex spectral signature extraction
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US9886945B1 (en) 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
US9691395B1 (en) 2011-12-31 2017-06-27 Reality Analytics, Inc. System and method for taxonomically distinguishing unconstrained signal data segments
US9558762B1 (en) 2011-07-03 2017-01-31 Reality Analytics, Inc. System and method for distinguishing source from unconstrained acoustic signals emitted thereby in context agnostic manner
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
CN103096056B (zh) 2011-11-08 2015-11-25 华为技术有限公司 矩阵编码方法与装置及解码方法与装置
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9426459B2 (en) 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
CN102833542B (zh) * 2012-08-09 2015-12-02 芯原微电子(北京)有限公司 一种提高可伸缩视频编码质量增强层编码速度装置和方法
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2697393A1 (fr) * 1992-10-28 1994-04-29 Philips Electronique Lab Dispositif de codage de signaux numériques représentatifs d'images, et dispositif de décodage correspondant.
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
AU4338800A (en) * 1999-12-22 2001-07-03 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
GB2364842A (en) 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
JP2002044671A (ja) * 2001-06-11 2002-02-08 Sharp Corp 動画像復号装置
US6996172B2 (en) * 2001-12-21 2006-02-07 Motorola, Inc. Method and structure for scalability type selection in digital video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101258755B (zh) * 2005-09-06 2011-05-18 三星电子株式会社 增强熵编码、视频编码方法及其装置的性能的方法和装置
CN101390400B (zh) * 2006-02-27 2012-02-29 汤姆森许可贸易公司 Svc解码器上的分组丢失检测和虚拟分组产生的方法和设备
CN102158697B (zh) * 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置

Also Published As

Publication number Publication date
JP2005519542A (ja) 2005-06-30
EP1483917A2 (en) 2004-12-08
CN1640145B (zh) 2010-09-08
WO2003075578A3 (en) 2003-12-04
KR20040091686A (ko) 2004-10-28
AU2003206051A1 (en) 2003-09-16
WO2003075578A2 (en) 2003-09-12
KR100954816B1 (ko) 2010-04-28
AU2003206051A8 (en) 2003-09-16
US20030165331A1 (en) 2003-09-04
US6944222B2 (en) 2005-09-13

Similar Documents

Publication Publication Date Title
CN1640145B (zh) 视频编码方法和装置,数据流解码方法和装置
CN1196341C (zh) 使用基层量化数据对增强层数据进行编码和解码的系统和方法
CN1303817C (zh) 细粒可调节视频残差信号的编码解码系统和方法
CN1192629C (zh) 应用基层编码信息改进精确颗粒可定标图像的系统和方法
CN1196340C (zh) 用于数字视频运动补偿的搜索方法和处理器
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
CN1636407A (zh) 具有运动补偿的完全嵌入式fgs视频编码
CN1253008C (zh) 空间可分级压缩的方法和设备
CN1166200C (zh) 混合式时间-信杂比精细颗粒可分级视频编码
CN101336549B (zh) 基于多层的可缩放视频编码方法及装置
JP5619688B2 (ja) 二層符号化及び単層復号化による階層的ビデオ符号化
CN1232123C (zh) 用于精细可伸缩性增强层的基于活动的频率加权方法及系统
CN102144391B (zh) 用于层间残余视频编码和解码的跳过模式
KR100763179B1 (ko) 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
CN1620818A (zh) 单环运动补偿精细颗粒可伸缩性
CN1457605A (zh) 精细颗粒可伸缩性视频编码技术中增强层的改进预测结构
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
KR20070100081A (ko) 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치
CN1140132C (zh) 运动图像代码串变换装置及其方法
CN101166275B (zh) 信息处理设备、方法和程序
US20060250520A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
CN1813479A (zh) 过完备小波域中的视频编码
CN1860791A (zh) 结合高级数据分割和精确粒度可分级以用于有效时空信噪比的可分级视频编码和流式传输的系统和方法
US20060008002A1 (en) Scalable video encoding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100908

Termination date: 20110218