CN1868214A - 3d视频可缩放视频编码方法 - Google Patents
3d视频可缩放视频编码方法 Download PDFInfo
- Publication number
- CN1868214A CN1868214A CNA2004800296575A CN200480029657A CN1868214A CN 1868214 A CN1868214 A CN 1868214A CN A2004800296575 A CNA2004800296575 A CN A2004800296575A CN 200480029657 A CN200480029657 A CN 200480029657A CN 1868214 A CN1868214 A CN 1868214A
- Authority
- CN
- China
- Prior art keywords
- frame
- low
- spatial
- filtering
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/547—Motion estimation performed in a transform domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种编码帧序列的方法,包括下列步骤:将帧序列分为由大小为H*W的N个帧(F1-F8)构成的各组;对一组的各帧进行基于小波的一级空间滤波(SF),以产生包括大小为H/2*W/2的低-低空间滤波帧(LLs)的第一分解等级的第一空间子带(S1);对于各对低-低空间滤波帧(LLs)进行运动估计(ME1),从而得到一个由N/2个场组成的运动矢量场集合;并且基于该运动矢量场集合对所述低-低空间滤波帧(LLs)进行基于小波的运动补偿时间滤波(MCTF),从而得到由N个时间滤波帧组成的第一分解等级的第一时间子带(ST1)。然后对于在时间域和空间域中都具有最低频率的帧迭代执行一个由空间滤波步骤、运动估计步骤和运动补偿滤波步骤组成的步骤序列,直到每个时间子带剩余一个低时间频率帧。
Description
发明领域
本发明涉及一种用于编码帧序列的方法和设备。
本发明可用于例如适于产生可逐渐缩放的(即在空间或时间上缩放信噪比SNR)压缩视频信号的视频压缩系统。
发明背景
例如,在SCI 2001美国奥兰多(Orlando,USA)的B.Pesquet-Popescu、V.Bottreau的“可缩放视频编码的提升方案(Lifting schemesin scalable video coding)”中说明了一种用于三维视频可缩放视频编码帧序列的常规方法。所述方法包括了在图1中说明的下列步骤。
在第一步骤中,将一个帧序列分为由2N个帧F1到F8构成的各组GOF,所述组在我们的示例中有8个帧。
然后,所述编码方法包括一个基于在帧组内的各对奇数输入帧Fo和偶数输入帧Fe来进行运动估计ME的步骤,这在图1的示例中得到一个由4场组成的第一分解等级的运动矢量场的集合MV1。
在运动估计步骤之后是一个基于运动矢量场的集合MV1并且基于一个提升方案的运动补偿时间滤波MCTF(例如Haar滤波)步骤,按照该提升方案,高频小波系数Ht[n]和低频系数Lt[n]是:
Ht[n]=Fe[n]-P(Fo[n]),
Lt[n]=Fo[n]+U(Ht[n])
其中P是一个预测函数,U是一个更新函数,并且n是一个整数。
该时间滤波MCTF步骤提供了包括已滤波的各帧的第一分解等级的一个时间子带T1,在我们的示例中,所述已滤波各帧包括4个低频帧Lt和4个高频帧Ht。
对时间子带T1的各低频帧Lt重复执行所述运动估计和滤波步骤,也就是:
-对时间子带T1内的各对奇数低频帧Lto和偶数低频帧Lte进行运动估计,这在我们的示例中得到一个由2场组成的第二分解等级的运动矢量场的集合MV2。
-基于该运动矢量场集合MV2和所述提升方程式来进行运动补偿时间滤波,并且得到一个包括已滤波的各帧的第二分解等级的时间子带T2,所述已滤波各帧在图1的示例中具有2个低频帧LLt和2个高频帧LHt。
再对时间子带T2的该对奇数低频帧LLto和偶数低频帧LLte重复执行运动估计和运动补偿时间滤波,从而得到一个由1个低频帧LLLt和1个高频帧LLHt组成的第三(也是最后一个)分解等级的时间子带T3。
对时间子带T3的LLLt和LLHt帧和其它时间子带T1、T2的高频帧(也就是2个LHt已滤波帧和4个Ht已滤波帧)应用四级小波空间滤波。对于每个帧得到4个包括在水平和垂直两个方向上都用因数2子采样的已滤波帧的空间-时间子带。
在下一个步骤,随后执行对各空间-时间子带的帧系数的空间编码,所述编码分别从最后一个分解等级的空间-时间子带的低频帧开始。此外也编码运动矢量场。
最后,在各空间-时间子带的已编码系数和编码的运动矢量场的基础上形成一个输出比特流,所述运动矢量场的比特作为开销(overhead)而被发送。
然而,依照现有技术的编码方法有许多缺点。首先,运动估计和运动补偿时间滤波步骤是在完整尺寸的帧上实现。因此,这些步骤计算量很大,并且可能在编码期间导致延迟。此外,最高空间分辨率的运动矢量在每个时间等级下被编码,这导致相当高的开销。而且,在以较低的空间分辨率解码已编码的比特流期间,使用原始分辨率的运动矢量,这导致不精确的运动补偿时间重构。此外,该编码方法在计算上的可缩放性较低。
发明概要
本发明的一个目的是提出一种编码方法,这种方法比现有技术方法的计算量小。
为此,依照本发明的编码方法的特征在于包括下列步骤:
-将帧序列分为各输入帧组,
-对一组的各帧进行基于小波的一级空间滤波,以产生包括与输入帧相比具有减小的尺寸的低-低空间滤波后的帧的第一分解等级的第一空间子带,
-对于各对低-低空间滤波后的帧进行运动估计,从而得到一个运动矢量场的集合,
-基于该运动矢量场的集合对所述低-低空间滤波后的帧进行基于小波的运动补偿时间滤波,从而得到由时间滤波后的帧组成的第一分解等级的第一时间子带,
-重复前面三个步骤,该空间滤波步骤适于以低频时间滤波后的帧为基础产生第二分解等级的第一空间子带,而所述运动估计和运动补偿时间滤波被应用于所述第二分解等级的所述第一空间子带的各帧。
依照本发明的编码方法提出组合并且交替空间和时间上的基于小波的滤波步骤。如稍后将要在说明书中看到的那样,这种组合简化了运动补偿时间滤波步骤。结果,该编码方法比现有技术编码方法的计算量小。
本发明还涉及一种实现这种编码方法的编码设备。本发明最后涉及一种包括实现所述编码方法的程序指令的计算机程序产品。
本发明的这些和其它方面将参考在下文中说明的各实施例变得显而易见,并且对其进行说明。
附图简述
现在将通过参考附图以举例的方式更详细地说明本发明,其中:
图1是表示依照现有技术的编码方法的框图;以及
图2A和2B表示依照本发明的编码方法的框图。
发明的详细描述
本发明涉及一种带有运动补偿的三维(或3D)小波编码方法。已经证实这样一种编码方法对于可缩放视频编码应用来说是一种有效的技术。所述3D压缩或编码方法既在空间域又在时间域中使用小波变换。3D小波编码的常规方案假定单独执行基于小波的空间滤波和基于小波的运动补偿时间滤波。
本发明提出通过组合和迭代地交替空间和时间上的基于小波的滤波步骤来对常规的3D可缩放小波视频编码进行修改。这种修改简化了运动补偿时间滤波步骤,并且在时间可缩放性和空间可缩放性之间提供更好的平衡。
图2A和2B是表示依照本发明的编码方法的框图。
该方法包括将帧序列分为由N个连续帧构成的各组的第一步骤,其中N是2的幂,一个帧的大小是HxW。在下面的说明中所描述的示例中,该帧组包括8帧F1到F8。
然后该方法还包括对一个帧组的各帧的一级空间滤波步骤SF。所述步骤基于一个小波变换,并且适于产生第一分解等级的4个空间子带S1到S4。第一空间子带S1包括N=8个空间滤波后的低-低帧LLs,其中s表示在空间域中的小波变换的结果;第二空间子带S2包括8个空间滤波后的低-高帧LHs;第三空间子带S3包括8个空间滤波后的高-低帧HLs;并且第四空间子带S4包括8个空间滤波后的高-高帧HHs。每个空间滤波帧的大小是H/2xW/2。
在下一个步骤,对于第一空间子带S1的各对连续的低-低帧LLs(也就是奇数低-低帧LLso和偶数低-低帧Llse)执行运动估计ME1,这在我们的示例中得到由N/2=4个场组成的运动矢量场的第一集合MV1。
基于这样获得的运动矢量场的集合MV1,对于各低-低帧LLs执行运动补偿时间滤波MCTF,从而得到由N=8个帧组成的第一分解等级的第一时间子带ST1,这8个帧是4个低时间频率帧LLsLt和4个高时间频率帧LLsHt,其中t表示在时间域中的小波变换的结果。所述时间滤波步骤使用一个提升方案,该提升方案适于以一个预测函数P和一个更新函数U为基础提供高频小波系数和低频系数。例如,该提升方案的预测函数和更新函数是基于(4,4)Deslauriers-Dubuc小波变换,比如:
LLsHt[n]=LLse[n]-(-LLso[n-1]+9LLso[n]+9LLso[n+1]-LLso[n+2])/16
LLsLt[n]=LLso[n]+(-LLsHt[n-2]+9LLsHt[n-1]+9LLsHt[n]-
LLsHt[n+1])/16
作为选择,通过再次使用运动矢量场的第一集合MV1,将运动补偿时间滤波MCTF步骤应用于第二子带S2的低-高帧LHs、第三子带S3的高-低帧HLs以及第四子带S4的高-高帧HHs。这样得到第一分解等级的第二时间子带ST2、第三时间子带ST3和第四时间子带ST4,这三个子带分别包括4个低时间频率帧LHsLt和4个高时间频率帧LHsHt、4个HLsLt帧和4个HLsHt帧、4个HHsLt帧和4个HHsHt帧。对于LHs帧、HLs帧和HHs帧的时间去相关以所需要的附加处理成本为代价提供更好的能量精简。
然后迭代由空间滤波步骤、运动估计步骤和运动补偿滤波步骤组成的步骤序列,直到接收到最后一个分解等级的各子带,也就是每个时间子带只留下一个低时间频率帧。或者,迭代所述步骤序列,直到使用了一定量的计算资源。在每次迭代时,该步骤序列的输入是在时间和空间域中都具有最低频率的各连续帧对。
关于上文中说明的示例,所述步骤序列的迭代包括下列步骤。
首先,将一级空间滤波步骤SF应用于第一分解等级的第一时间子带ST1的低时间频率LTF帧LLsLt,从而得到第二分解等级的4个空间子带STS11到STS14。每个空间子带包括大小为(H/4)x(W/4)的N/2=4个空间滤波后的帧LLsLtLLs或LLsLtLHs或LLsLtHLs或LLsLtHHs。
然后,对于第二分解等级的第一空间子带STS11的各对连续滤波帧执行运动估计步骤ME2,所述滤波帧LLsLtLLs在时间域和空间域中都具有最低频率,从而得到一个由N/4=2个场组成的矢量场的集合MV2。
基于运动矢量场的集合MV2,将如上文所述的运动补偿时间滤波MCTF应用于所述已滤波的帧LLsLtLLs,从而得到由N/2=4个时间滤波帧组成的第二分解等级的第一时间子带STST11,所述4个时间滤波帧是2个LLsLtLLsLt和2个LLsLtLLsHt。
此外,通过再次使用运动矢量场的集合MV2,任选地将运动补偿时间滤波MCTF步骤应用于已滤波的帧LLsLtLHs、LLsLtHLs和LLsLtHHs。这样得到第二分解等级的第二时间子带STST12、第三时间子带STST13和第四时间子带STST14。所述各子带分别包括2个LLsLtLHsLt帧和2个LLsLtLHsHt帧、2个LLsLtHLsLt帧和2个LLsLtHLsHt帧、2个LLsLtHHsLt帧和2个LLsLtHHsHt帧。
现在将一级空间滤波步骤SF应用于第二分解等级的第一时间子带STST11的各低频帧LLsLtLLsLt,从而得到第三分解等级的空间子带STSTS111到STSTS114。每个空间子带由大小为(H/8)x(W/8)的N/4=2个帧LLsLtLLsLtLLs或LLsLtLLsLtLHs或LLsLtLLsLtHLs或LLsLtLLsLtHHs组成。
然后对于第三分解等级的第一空间子带的该对连续帧LLsLtLLsLtLLs执行运动估计ME3,从而得到一个运动矢量场MV3。
基于该运动矢量场MV3,将运动补偿时间滤波MCTF应用于各滤波帧LLsLtLLsLtLLs,从而得到由N/4=2个帧LLsLtLLsLtLLsLt和LLsLtLLsLtLLsHt组成的第三分解等级的第一时间子带STSTST111。这些帧由在空间和时间域中的低频数据组成,并因此必须用最高优先级编码,也就是说它们在最终的比特流中是最初的各分组。
此外,通过再次使用运动矢量场MV3,可以选择性地将运动补偿时间滤波MCTF应用于LLsLtLLsLtLHs帧、LLsLtLLsLtHLs帧和LLsLtLLsLtHHs帧,从而得到第三分解等级的第二时间子带STSTST112、第三时间子带STSTST113和第四时间子带STSTST114。所述各子带分别由LLsLtLLsLtLHsLt帧和LLsLtLLsLtLHsHt帧、LLsLtLLsLtHLsLt帧和LLsLtLLsLtHLsH帧t、LLsLtLLsLtHHsLt帧和LLsLtLLsLtHHsHt帧组成。
与所述步骤序列的迭代无关,将空间滤波应用于第一分解等级的第一时间子带ST1的高时间频率HTF帧LLsHt。与对低时间频率帧LLsLt的空间滤波(其中仅执行一级空间滤波)相反,对LLsHt帧的空间滤波是金字塔形的(也就是多层的),一直到最粗略的空间分解等级,也就是最小的空间分辨率。
或者,取决于所使用的小波滤波器的类型,能够将空间滤波分别应用于第一分解等级的第二时间子带ST2、第三时间子带ST3和第四时间子带ST4的低时间频率LTF帧LHsLt、HLsLt和HHsLt。这样分别得到空间子带STS21到STS24、STS31到STS34以及STS41到STS44。
依照本发明的主要实施例,在对LLsHt帧的空间滤波之后接收的各空间子带(在它们没被时间滤波的条件下)将连同第二子带ST2、第三子带ST3和第四子带ST4一起被编码以形成最终比特流。在这种实施例中,LLsHt帧的空间分解等级的数量要比在编码期间在低-低子带上实现的空间滤波的总数少一个。例如在图2A和2B中,执行了3次空间滤波,也就是总共将接收到3级空间分辨率等级。在这种情况下,子带ST1的LLsHt帧被用2个空间分解等级空间滤波,而子带STST1的LLsLtLLsHt帧被用一个分解等级空间滤波。更一般来说,在当前时间分解等级下的根据金字塔形空间滤波的空间分解等级的数量等于空间分解等级的总数减去当前空间分解等级。LLsHt帧和LLsLtLLsHt帧的金字塔形空间分析例如是基于SPIHT压缩原理的空间分解,并且在Proceedings of IEEE International Conference on ImageProcessing(2001年10月7-10日,希腊Thessaloniki,ICIP2001第二卷第1017-1020页)的由V.Bottreau、M.B6netière、B.Pesquet-Popescu和B.Felts撰写的名为“完全可缩放3D子带视频编解码(A fullyscalable 3D subband video codec)”的论文中做了说明。
依照本发明的另一种实施例,运动补偿时间滤波MCTF步骤包括一个三角形(△)低通时间滤波子步骤。这意味着两个连续帧当中的在运动估计后参与时间滤波MCTF的那一个将仅仅被拷贝到最终得到的低时间频率帧中,并将仅仅执行一个高通时间滤波。在这种情况下,低时间频率帧不包括时间平均信息,而是仅包括一个参与时间滤波MCTF的帧。这种方案类似于MPEG类编码器的I帧和B帧结构。在低时间分辨率下对如此编码的流进行解码将得到一个由跳跃帧(skipped frame)组成的序列,而没有时间平均的帧。换句话说,与现有技术方案中的低通时间滤波不同,仅将其中一个帧当作最终得到的低时间频率帧。
一旦执行了各滤波步骤,依照本发明的编码方法包括一个对预定子带的已滤波帧的小波系数进行量化和熵编码的步骤,即:
-最后一个时间分解等级的各子带的帧(在我们的示例中是子带STSTST111到STST114),
-先前的各时间分解等级的各空间-时间子带的高时间频率HTF帧(在我们的示例中是从对子带ST1的LLsHt帧和子带STST1的LLsLtLLsHt帧的空间滤波所产生的帧),
-先前的各时间分解等级的各时间子带的帧(在我们的示例中是从对子带STST12到STST14的帧以及子带ST2到ST4的帧的空间滤波所产生的帧)。
这个编码步骤例如是基于嵌入零树块编码EZBC。
依照本发明的编码方法还包括一个例如基于无损差分脉冲编码调制DPCM和/或自适应算术编码来对运动矢量场进行编码的步骤。要注意的是,所述运动矢量具有随分解等级的数量减小的分辨率。因此,编码的运动矢量的开销比现有技术方案中的小得多。
所述方法最后还包括一个以空间-时间子带的已编码系数和已编码运动矢量场为基础形成最终比特流的步骤,所述运动矢量场的比特作为开销而被发送。
在编码期间,所接收到的各空间-时间子带被以不同的优先等级嵌入到最终比特流中。从最高优先等级到最低优先等级的这种比特流的示例如下:
-子带STSTST111-114的低时间频率帧LTF,
-子带STSTST111-114的高时间频率帧HTF,
-子带STST12-14的低时间频率帧LTF,
-子带STST11-14的高时间频率帧HTF,
-子带ST2-4的低时间频率帧LTF,和
-子带ST1-4的高时间频率帧HTF。
作为另一个示例(其中在编码期间必须着重于时间可缩放性),首先编码所有空间分辨率的低时间频率中LTF,接着编码高时间频率帧HTF。
空间和时间分解等级的数量取决于编码器侧的计算资源(例如处理能力、存储器、所允许的延迟),并且可以被动态调节(也就是一旦达到处理资源的限制就停止分解)。与其中应当首先实现完整的时间分解、随后是对所接收到的时间子带的空间分解的现有技术方法相反,在此所提出的编码方法适于在已经获得第一时间分解等级之后的任意时刻实际停止分解,并且适于传输这样获得的时间滤波帧和空间滤波帧。因此,提供了计算可缩放性。
依照本发明的编码方法能够通过硬件、软件或其二者来实现。所述硬件或软件能够以几种方式实现,比如分别通过连线电子电路或者通过适当编程的集成电路实现。该集成电路能够包含在编码器中。该集成电路包括一个指令集。因此,例如包括在编码器存储器中的所述指令集可以使编码器执行运动估计方法的不同步骤。可以通过读取一个数据载体(比如一个盘)而将该指令集载入到编程存储器中。服务提供商也能够通过诸如因特网的通信网络来提供所述指令集。
在下面的权利要求书中的任何附图标记将不被解释为限制权利要求。显而易见,动词“包括”及其变化形式不排除在权利要求中列出的步骤或元件之外的其它步骤或元件的存在。元件或步骤前面的“一个”不排除多个这样的元件或步骤的存在。
Claims (9)
1、一种编码帧序列的方法,包括下列步骤:
将该帧序列分为各输入帧组(F1-F8);
对一组中的各帧进行基于小波的一级空间滤波(SF),以产生包括与输入帧相比具有减小的尺寸的低-低空间滤波帧(LLs)的第一分解等级的第一空间子带(S1);
对于各对低-低空间滤波帧(LLs)进行运动估计(ME1),从而得到一个运动矢量场的集合;
基于该运动矢量场集合对所述低-低空间滤波帧(LLs)进行基于小波的运动补偿时间滤波(MCTF),从而得到包括时间滤波帧(LLsLt-LLsHt)的第一分解等级的第一时间子带(ST1);
重复前面所述的三个步骤,所述空间滤波步骤适于以低频时间滤波帧(LLsLt)为基础产生第二分解等级的第一空间子带(STS11),将运动估计和运动补偿时间滤波应用于所述第二分解等级的第一空间子带的各帧。
2、如权利要求1要求的编码方法,其中迭代执行一个由空间滤波步骤、运动估计步骤和运动补偿时间滤波步骤组成的步骤序列,直到预定分解等级的时间子带仅包括一个低时间频率帧,其中在每次迭代时,对于所述步骤序列的输入是在时间域和空间域中都具有最低频率的时间滤波帧(LLsLtLLsLt)。
3、如权利要求1要求的编码方法,其中迭代执行一个由空间滤波步骤、运动估计步骤和运动补偿时间滤波步骤组成的步骤序列,直到使用了一定量的计算资源,其中在每次迭代时,对于所述步骤序列的输入是在时间域和空间域中都具有最低频率的帧。
4、如权利要求1要求的编码方法,其中所述一级空间滤波步骤(SF)适于提供当前分解等级的至少一个其它的空间子带(S2-S4、STS12-STS14),所述方法还包括一个通过再次使用对应于当前分解等级的第一空间子带的运动矢量场的集合、对该至少一个其它的空间子带的各帧进行运动补偿时间滤波的步骤,并且得到所述当前分解等级的至少一个其它的时间子带(ST2-ST4、STST12-STST44)。
5、如权利要求4要求的编码方法,还包括一个对当前分解等级的该至少一个其它的时间子带的各空间滤波帧进行金字塔形空间滤波(STS12-STS14、STSTS112-STSTS114)的步骤。
6、如权利要求1要求的编码方法,还包括一个对当前分解等级的第一时间子带(ST1、STST11)的空间低频时间高频帧(LLsHt、LLsLtLLsHt)进行金字塔形空间滤波的步骤。
7、如权利要求5或6要求的编码方法,其中在当前分解等级下的金字塔形空间滤波步骤中的空间分解等级的数量等于空间分解等级的总数减去当前分解等级。
8、一种用于编码帧序列的设备,包括:
用于将该帧序列分为各输入帧组(F1-F8)的装置;
用于对一组中的各帧进行基于小波的一级空间滤波(SF)、以产生包括与输入帧相比具有减小的尺寸的低-低空间滤波帧(LLs)的第一分解等级的第一空间子带(S1)的装置;
用于对各对低-低空间滤波帧(LLs)进行运动估计(ME1)、从而得到一个运动矢量场的集合的装置;
用于基于该运动矢量场集合对所述低-低空间滤波帧(LLs)进行基于小波的运动补偿时间滤波(MCTF)、从而得到包括时间滤波帧(LLsLt-LLsHt)的第一分解等级的第一时间子带(ST1)的装置;
配置前面的三个装置,以使得所述空间滤波装置适于以低频时间滤波帧(LLsLt)为基础产生第二分解等级的第一空间子带(STS11),并且使得所述运动估计装置和运动补偿时间滤波装置适于接收所述第二分解等级的第一空间子带的各帧。
9、一种包括程序指令的计算机程序产品,当所述程序由处理器执行时,所述程序指令用于执行如权利要求1要求的编码方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP03292521.6 | 2003-10-10 | ||
EP03292521 | 2003-10-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1868214A true CN1868214A (zh) | 2006-11-22 |
Family
ID=34429541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2004800296575A Pending CN1868214A (zh) | 2003-10-10 | 2004-10-01 | 3d视频可缩放视频编码方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20070053435A1 (zh) |
EP (1) | EP1673941A1 (zh) |
JP (1) | JP2007509516A (zh) |
KR (1) | KR20060121912A (zh) |
CN (1) | CN1868214A (zh) |
WO (1) | WO2005036885A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259662A (zh) * | 2021-04-16 | 2021-08-13 | 西安邮电大学 | 基于三维小波视频编码的码率控制方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011072893A1 (en) * | 2009-12-16 | 2011-06-23 | International Business Machines Corporation | Video coding using pixel-streams |
US9654308B2 (en) * | 2014-11-19 | 2017-05-16 | Intel Corporation | Systems and methods for carrier frequency offset estimation for long training fields |
US20180352240A1 (en) * | 2017-06-03 | 2018-12-06 | Apple Inc. | Generalized Temporal Sub-Layering Frame Work |
US11582467B2 (en) * | 2018-07-16 | 2023-02-14 | The Regents Of The University Of California | Sampled image compression methods and image processing pipeline |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7023922B1 (en) * | 2000-06-21 | 2006-04-04 | Microsoft Corporation | Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information |
US6795504B1 (en) * | 2000-06-21 | 2004-09-21 | Microsoft Corporation | Memory efficient 3-D wavelet transform for video coding without boundary effects |
WO2002085026A1 (en) * | 2001-04-10 | 2002-10-24 | Koninklijke Philips Electronics N.V. | Method of encoding a sequence of frames |
EP1294196A3 (en) * | 2001-09-04 | 2004-10-27 | Interuniversitair Microelektronica Centrum Vzw | Method and apparatus for subband encoding and decoding |
WO2003063497A1 (en) * | 2002-01-22 | 2003-07-31 | Koninklijke Philips Electronics N.V. | Drift-free video encoding and decoding method, and corresponding devices |
US20030202599A1 (en) * | 2002-04-29 | 2003-10-30 | Koninklijke Philips Electronics N.V. | Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames |
US7042946B2 (en) * | 2002-04-29 | 2006-05-09 | Koninklijke Philips Electronics N.V. | Wavelet based coding using motion compensated filtering based on both single and multiple reference frames |
US7321625B2 (en) * | 2002-12-13 | 2008-01-22 | Ntt Docomo, Inc. | Wavelet based multiresolution video representation with spatially scalable motion vectors |
US7292635B2 (en) * | 2003-07-18 | 2007-11-06 | Samsung Electronics Co., Ltd. | Interframe wavelet video coding method |
KR20050022160A (ko) * | 2003-08-26 | 2005-03-07 | 삼성전자주식회사 | 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더 |
KR20060090986A (ko) * | 2003-09-29 | 2006-08-17 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 3―d 오버컴플릿 웨이블렛 비디오 코딩 프레임워크에 대해결합 시공간 예측을 이용하는 형태학적 유효 맵 코딩 |
US7526025B2 (en) * | 2003-10-24 | 2009-04-28 | Sony Corporation | Lifting-based implementations of orthonormal spatio-temporal transformations |
-
2004
- 2004-10-01 EP EP04769544A patent/EP1673941A1/en not_active Withdrawn
- 2004-10-01 WO PCT/IB2004/003221 patent/WO2005036885A1/en not_active Application Discontinuation
- 2004-10-01 CN CNA2004800296575A patent/CN1868214A/zh active Pending
- 2004-10-01 KR KR1020067006873A patent/KR20060121912A/ko not_active Application Discontinuation
- 2004-10-01 JP JP2006530743A patent/JP2007509516A/ja active Pending
- 2004-10-01 US US10/574,620 patent/US20070053435A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259662A (zh) * | 2021-04-16 | 2021-08-13 | 西安邮电大学 | 基于三维小波视频编码的码率控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2007509516A (ja) | 2007-04-12 |
KR20060121912A (ko) | 2006-11-29 |
US20070053435A1 (en) | 2007-03-08 |
EP1673941A1 (en) | 2006-06-28 |
WO2005036885A1 (en) | 2005-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hsiang | Embedded image coding using zeroblocks of subband/wavelet coefficients and context modeling | |
CN1764280A (zh) | 基于多层在视频编码器中有效压缩运动矢量的方法和装置 | |
KR20050028019A (ko) | 하나 및 다수의 기준 프레임을 기반으로 한 움직임 보상필터링을 사용한 웨이블릿 기반 코딩 | |
CN1620815A (zh) | 无漂移的视频编码和解码方法以及相应的设备 | |
Aulí-Llinàs et al. | Lossy-to-lossless 3D image coding through prior coefficient lookup tables | |
EP0914004A1 (en) | Coding system and method for lossless and lossy compression of still and motion images | |
CN1669328A (zh) | 三维小波视频编码和解码方法以及相应的设备 | |
CN1868214A (zh) | 3d视频可缩放视频编码方法 | |
JP2006509410A (ja) | ビデオ符号化方法及び装置 | |
Cho et al. | Hierarchical dynamic range coding of wavelet subbands for fast and efficient image decompression | |
CN1757238A (zh) | 考虑与运动矢量的分量相关的部分来编码视频图像的方法 | |
US8411978B1 (en) | Group encoding of wavelet precision | |
Zhu et al. | An improved SPIHT algorithm based on wavelet coefficient blocks for image coding | |
Mohanty et al. | A high performance modified SPIHT for scalable image compression | |
Lalitha et al. | Image compression of MRI image using planar coding | |
Mohammed | Highly scalable hybrid image coding scheme | |
Liu et al. | Four-dimensional wavelet compression of 4-D medical images using scalable 4-D SBHP | |
Elamaran et al. | Comparison of wavelet filters in image coding and denoising using embedded zerotree wavelet algorithm | |
CN1666530A (zh) | 子带视频解码方法和设备 | |
KR101423466B1 (ko) | 비트 플레인 영상의 변환 방법 및 장치, 역변환 방법 및장치 | |
Muzaffar et al. | Linked significant tree wavelet-based image compression | |
Liu et al. | Region of interest access with three-dimensional SBHP algorithm | |
CN1839632A (zh) | 用于速率-失真-复杂度优化的视频编码的运动矢量联合时空指向尺度预测和编码 | |
Wang et al. | Coefficient statistic based modified spiht image compression algorithm | |
Wang et al. | Modified SPIHT based image compression algorithm for hardware implementation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |