CN1864177A - 视频编码和解码方法及其相应设备 - Google Patents

视频编码和解码方法及其相应设备 Download PDF

Info

Publication number
CN1864177A
CN1864177A CNA2004800230084A CN200480023008A CN1864177A CN 1864177 A CN1864177 A CN 1864177A CN A2004800230084 A CNA2004800230084 A CN A2004800230084A CN 200480023008 A CN200480023008 A CN 200480023008A CN 1864177 A CN1864177 A CN 1864177A
Authority
CN
China
Prior art keywords
coding
frame
motion
piece
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800230084A
Other languages
English (en)
Other versions
CN1864177B (zh
Inventor
S·瓦伦特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34137605&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1864177(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1864177A publication Critical patent/CN1864177A/zh
Application granted granted Critical
Publication of CN1864177B publication Critical patent/CN1864177B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97Matching pursuit coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频压缩的领域,更特别地是应用到帧的输入序列的视频编码方法,其中每个帧被细分为任意大小的块。该方法对于当前帧的所述各块的至少一部分包括以下步骤:在块的基础上生成经运动补偿的帧,每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的;从所述经运动补偿的帧生成残留信号;利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数,当前帧的其他块通过其他编码技术来处理;以及对所述原子和在运动补偿步骤中确定的运动矢量进行编码,以便生成输出编码比特流。根据本发明,所述方法使得在使用所述MP算法时,特定字典在编码侧可分别用于每种块形状。根据另一种实现方式,还可能使用几个特定的字典。在这个第二种方案中,如果几个字典在编码侧可用,则定义比特流语法来在预定级别下设置标志,所述标志用于指示应该使用哪个字典并且例如是在原子级、块级、宏块级或画面级。

Description

视频编码和解码方法及其相应设备
发明领域
本发明总体涉及视频压缩的领域,例如更特别涉及MPEG族(MPEG-1、MPEG-2、MPEG-4)的视频标准和ITU H26X族(H.261、H.263和扩展)的视频编码推荐。更特别地,本发明涉及一种应用于帧的输入序列的视频编码方法,其中每个帧被细分为任意大小的块,所述方法包括对于当前帧的所述各块的至少一部分执行以下步骤:
-在块的基础上生成经运动补偿的帧,每一个经运动补偿的帧都是从每个当前原始帧和先前重建帧获得的;
-从所述经运动补偿的帧生成残留信号;
-利用所谓的匹配追踪(MP)算法将每个所述生成的残留信号分解为被称作原子的编码的字典函数,当前帧的其他块通过其他编码技术来处理;
-编码所述原子和在运动补偿步骤期间确定的运动矢量,以生成输出编码比特流。
发明背景
在当前的视频标准中(直到视频编码MPEG-4标准和H.264推荐),按照一个亮度通道和两个色度通道来描述的视频可以被压缩,这是由于应用于每个通道的两种编码模式:“内部(intra)”模式,其在给定通道中利用每个图像中的像素(图像单元)的空间冗余度;以及“帧间(inter)”模式,其利用各单独的图像(或帧)之间的时间冗余度。依靠运动补偿操作,帧间模式允许从一个(或多个)先前解码的图像描述图像,这是通过编码像素从一个(或多个)图像到另一个图像的运动来实现的。通常,要被编码的当前图像被划分为独立的块(例如,在MPEG-4中的大小为8×8或16×16像素,或者在H.264中的大小为4×4、4×8、8×4、8×8、8×16、16×8和16×16),其中每一个块都被分配一个运动矢量(三个通道共享这种运动描述)。根据与每个块相关的运动矢量集,随后可以通过从参考图像对各像素块进行位移来构造对所述图像的预测。最后,在将要被编码的当前图像及其经运动补偿的预测之间的差异或残留信号可以通过内部模式来编码(MPEG-4的8×8离散余弦变换(或DCT),或者在主要等级分布图(main level profile)中的H.264的4×4的DCT)。
DCT或许是最广泛使用的变换,因为它在多种编码情况中提供了良好的压缩效率,特别是在中间的和高的比特率下。然而,在低比特率下,由于两个原因,混合的经运动补偿的DCT结构可能无法提供无伪像序列。首先,经运动补偿的帧间预测栅格的结构变为可见的,因此具有块状伪像。此外,DCT基函数的块边缘在图像栅格中变得可见,这是因为太少的系数被量化(并且太粗糙),以致无法弥补这些块状伪像以及在图像中重建平滑的对象。
文献“Very low bit-rate video coding based on matching pursuits(基于匹配追踪的非常低比特率的视频编码)”(R.Neff和A.Zakhor,IEEE Transactions onCircuits and Systems for Video Technology,第7卷,n1,1997年2月,第158-171页)描述了一种新的经运动补偿的系统,其包括基于所谓的匹配追踪(MP)算法的视频压缩算法,这是一种大约十年前开发的技术(参见文件“Matchingpursuits with time-frequency dictionaries(具有时间-频率字典的匹配追踪)”,S.G.Mallat和Z.Zhang,IEEE Transactions on Signal Processing,第41卷,n12,1993年12月,第3397-3414页)。所述技术提供了一种将任意函数或信号(例如图像、视频…)迭代地分解为波形的线性展开的方式,其属于基函数的冗余字典,并且在时间和频率上都良好地局部化,因而被称为原子。时间-频率原子的普通族可以通过缩放、平移和调制单个函数g(t)∈L2(R)而创建,其应该是实数的并且连续可微分。这些字典函数可以如下表示:
gγ(t)∈G    (G=字典集)    (1)γ(=灰度系数),其是与每个特定字典元素(或原子)相关的索引参数。正如在第一个引用的文献中所描述的那样,假定函数gγ(t)具有单位范数,也就是<gγ(t),gγ(t)>=1,则对一维时间信号f(t)的分解通过选择γ而开始,以便最大化以下内积的绝对值:
p=<f(t),gγ(t)>    (2)其中p被称为信号f(t)到字典函数gγ(t)上的展开系数。残留信号R接着被如下计算:
R(t)=f(t)-p·gγ(t)    (3)并且该残留信号以与原始信号f(t)相同的方式被展开。实际上,原子是每对γk,pk的给定名称,其中k是在匹配追踪程序中的迭代的排序。在总共M级的该迭代程序之后(其中每级n产生由γn、展开系数pn和残留Rn指定的字典结构,其被传递到下一级),原始信号f(t)可以由信号
Figure A20048002300800091
近似,该
Figure A20048002300800092
是如此获得的字典元素的线性组合。当预定义条件满足时停止该迭代程序,该预定义条件例如是生成所设定数量的展开系数或者达到残留的某个能量阈值。
在上述的第一文献中描述了—种基于所述MP算法的系统,并且其在低比特率下要比DCT执行得更好,其中首先利用被称为重叠块-运动补偿的工具对原始图像进行运动补偿,其通过混合所预测/位移的块的边界来避免或减少块状伪像(块的边缘因此被平滑,并且块栅格不那么可见)。在形成运动预测图像之后,从原始图像中减去该运动预测图像,以便产生运动残留。所述残留接着利用扩展到离散二维(2D)域的MP算法、通过对基础字典的适当选择而被编码(所述字典由2D可分离Gabor函数g的过完备集合组成,如附图1所示)。
残留信号f接着通过M个字典元素的线性组合而被重建:
f ^ = &Sigma; n = 1 n - M p ^ n &CenterDot; g &gamma; n - - - ( 4 )
如果字典基函数具有单位范数,则 是基函数gγn和被迭代地更新的残留之间的量化的内积<,>,也就是:
p n = < f - &Sigma; k = 1 k - n - 1 p ^ k &CenterDot; g &gamma; k , g &gamma; n > - - - ( 5 )
其中各对
Figure A20048002300800096
是原子。在由该文件的作者所描述的工作中,对于原子在图像中的可能位置不做限制(参见附图2)。形成字典集的2D Gabor函数根据原型高斯窗而被定义:
w ( t ) = 2 4 &CenterDot; e - &pi;t 2 - - - ( 6 )
一维(1D)离散Gabor函数被定义为经缩放、调制的高斯窗:
g &alpha; &RightArrow; ( i ) = K &alpha; &RightArrow; &CenterDot; w ( i - N 2 + 1 s ) &CenterDot; cos ( 2 &pi;&xi; ( i - N 2 + 1 ) N + &phi; ) - - - ( 7 )
其中,i∈{0,1,…,N-1}
将常数 选择成使得
Figure A200480023008000910
具有单位范数,并且 &alpha; &RightArrow; = ( s , &xi; , &phi; ) 是三元组,其分别包括正比例、调制频率和相移。如果S是所有这样的三元组 的集合,那么该字典的2D可分离Gabor函数具有以下的形式:
G &alpha; &RightArrow; , &beta; &RightArrow; ( i , j ) = g &alpha; &RightArrow; ( i ) g &beta; &RightArrow; ( j ) 其中i,j∈{0,1,…,N-1}并且 (8)在下面的表1中示出了形成1D基础集(或字典)的在该文献中表示的可用字典三元组的集合和相关的大小(以像素计):
                                表1
    k     sk     ξk    φk     大小(像素)
    012345678910111213141516171819     1.03.05.07.09.012.014.017.020.01.45.012.016.020.04.04.08.04.04.04.0     0.00.00.00.00.00.00.00.00.01.01.01.01.01.02.03.03.04.02.04.0     000000000π/2π/2π/2π/2π/20000π/4π/4     159111521232935392127357713777
为了获得这个参数集合,利用从一个大得多的参数三元组集合中导出的字典分解了运动残留图像的训练集。最经常被匹配到训练图像的字典元素被保留在该精简的集合中。所获得的字典被特别设计成使原子在它们的影响不被限制到其所在的块的边界时可以自由地匹配运动残留图像的结构(参见图2,其中示出了位于经过块划分的图像中的没有块限制的原子的例子)。
然而,最近在本申请人于2003年8月5日提交的申请号为EP03300081.1(PHFR030085)的欧洲专利申请中已经提出了一种利用被限制到块边界的原子的混合的经运动补偿的编码系统,如附图3所描述的那样。更精确地说,在所述专利申请中所描述并要求保护的发明主要涉及一种应用到帧的输入序列的视频编码方法,其中每个帧被划分为任意大小的块,所述方法包括对于当前帧的所述各块的至少一部分执行以下步骤:
-在块的基础上生成经运动补偿的帧,每一个经运动补偿的帧都是从每个当前原始帧和先前重建帧获得的;
-从所述经运动补偿的帧生成残留信号;
-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数,当前帧的其他块通过其他编码技术来处理(在以上使用的用语“所述各块的至少一部分”表示本发明的实现方式涉及某些块或所有块,其他块则由这些其他技术来处理,这证明了该编码系统被称为“混合”的事实);
-编码所述原子和在运动补偿步骤中确定的运动矢量,以生成输出编码比特流;所述方法使得当使用所述MP算法时,任何原子每次仅对一个块B起作用,所述块限制导致这样的事实,即对残留信号f的重建是从一个字典获得的,该字典由限制到对应于索引参数γn的块B的基函数gγn|B构成,其中根据以下的2D空间域操作:
如果像素(i,j)∈B  g &gamma; n | B ( i , j ) = g &gamma; n ( i , j )
否则(即(i,j),B)  g &gamma; n | B ( i , j ) = 0
先前的该方法的主要兴趣在于更好地模拟残留信号的块状结构,以便提高对于相同编码成本的字典多样性,并且提供改变MP和DCT变换的可能性,这是因为没有跨越块边界的干扰(其还避免了对于采用重叠的运动补偿以限制块状伪像的需要)。参考附图4到7回忆了对于理解这个在前实现方式来说有用的主要元素。
附图4示出了利用多个编码引擎来实现混合视频编码器的视频编码设备的简化框图。几个编码引擎实现预定的编码技术,例如,编码引擎41可以实现内部DCT编码方法,第二个编码引擎42可以实现帧间DCT编码方法,以及第三个编码引擎43可以实现匹配追踪算法。通过块分割器设备44接收输入视频序列(“视频信号”)的每个帧,该块分割器设备44将图像分割成各种大小的单独的块,并且决定哪个编码引擎将处理当前原始块。表示块位置、大小和所选择的编码引擎的决定接着通过编码设备45被插入比特流中。当前原始信号块接着被传送到所选择的块引擎(在附图4中示出的情况下是引擎43)。
附图5描述了匹配追踪编码引擎。被指定到编码引擎43的输入视频序列的每个原始信号块一方面由运动补偿装置51接收,以确定运动矢量(通常利用块匹配算法找到所述运动矢量),由此获得的矢量通过运动矢量编码装置52被编码,编码的矢量被传递到多路复用器53(标记了但没有示出)。另一方面,减法器54在其输出端上提供当前图像及其预测之间的残留信号。所述残留信号接着被分解为原子(原子字典被标记为57),由此确定的原子参数(模块55)被编码(模块56)。编码后的运动矢量和原子参数接着形成一个比特流,该比特流被发送以便匹配所述序列的每个帧的预定义条件。
编码引擎43实现对输入比特流进行编码的方法,其包括以下步骤。首先,如在大多数编码结构中那样,输入序列的原始帧被运动补偿(在先前重建帧的基础上对每一个原始帧进行运动补偿,并且鉴于随后的传输,在所述运动补偿步骤期间确定的运动矢量被存储)。接着,由在当前帧和相关的经运动补偿的预测之间的差别生成残留信号。接着将每个所述残留信号与包括2D可分离Gabor函数的集合的函数字典相比较,以生成由索引参数γn、展开系数p(n)和残留Rn(t)-p·gγ(t)指定的字典结构gγ(t),其被传递到这个迭代程序的下一级。一旦找到了原子参数,它们可以被编码(与先前确定的运动矢量一起),由此获得的已编码信号形成被发送到解码器的比特流。
在所引述的欧洲专利申请中提出的技术方案在于将原子的影响限制到它们所在的块的边界。这种块限制意味着原子每次只对一个块起作用,从而被限制到经运动补偿的栅格中,如附图3所示。该块限制以下面的方式修改了信号匹配追踪算法。
如果假定在运动补偿之后希望在大小为M×N像素的块B中获得2D残留的MP分解,并且如果用G|B表示限制到B的MP字典,则通过关系式(9)和(10)获得所述字典的各元素gγn|B
如果像素(i,j)∈B  g &gamma; n | B ( i , j ) = g &gamma; n ( i , j ) - - - ( 9 )
否则(即(i,j)B)  g &gamma; n | B ( i , j ) - - - ( 10 )
在这种情况下,由于gγn|B不一定具有单位范数,因此pn需要被再加权为:
p n = &lang; f - &Sigma; k = 1 k = n - 1 p ^ k &CenterDot; g &gamma; n | B , g &gamma; n | B &rang; &lang; g &gamma; n | B , g &gamma; n | B &rang;
上述编码设备的优选实施例发送由相应的解码设备接收的比特流。附图6示出了根据本发明的、利用多个解码引擎来实现混合视频解码器的视频解码设备的简化框图。一方面通过块分割解码设备64接收所传输的比特流,该块分割解码设备64解码当前块位置、大小和解码方法。在给出了解码方法的情况下,在附图6的例子中,各比特流元素接着被传送到相应的解码引擎61或62或63,所述解码引擎将依次解码所指定的块并且输出视频信号重建块。可用的解码引擎可以是例如内部DCT块解码器61、帧间DCT块解码器62和匹配追踪块解码器63。
附图7进一步描述了匹配追踪解码引擎的一个例子。通过熵解码器设备71接收各比特流元素,该熵解码器设备71将解码的原子参数前送到原子设备72(原子字典被标记为73),该原子设备72在所指定的视频块中的已解码位置处重建匹配追踪函数,以便形成解码的残留信号。该熵解码器设备还输出被馈送到运动补偿设备74的运动矢量,以便从先前重建的视频信号形成运动预测信号。运动预测和重建残留信号接着在加法器75中被求和,以便产生视频信号重建块。
详细回顾以上的内容,前面方法的重点在于下面的事实:因为单个原子不能跨越几个块,所以不需要在块边缘处处理高频中断。相反,可以使该方法适应于块边界甚至适应于块大小,这是通过设计依赖于块大小的字典来实现的。此外,由于不再强制需要重叠的运动补偿来保持MP效率,因此可以使用传统的运动补偿。然而,利用这样的方法,当字典的原子被限制在任意定大小的块中时,不能确保该字典很好地适应于将被模拟的信号的结构。
发明概要
因此,本发明的一个目的是提出一种基于匹配追踪算法的视频编码方法,并且解决上述适配问题。
为了这个目的,本发明涉及一种如在说明书的引言部分中定义的视频编码方法,当使用所述MP算法时,该方法还使得特定字典在编码侧可分别用于每种块形状。
根据本发明的另一种实现方式,当使用所述MP算法时,有几个字典在编码侧可用,并且定义了一种比特流语法来在预定级别下设置标志,所述标志用于指示应该使用哪个字典。
本发明的另一个目的是提出允许实现根据本发明的这两种实现方式的视频编码设备。
本发明的又一个目的是提出允许解码通过所述视频编码方法和设备编码的信号的视频解码方法和设备。
附图的简要说明
参考相应的附图,现在以示例的方式描述本发明,其中:
-附图1允许对使用在匹配追踪算法的实现方式中的2D Gabor字典的400个基函数的可视化;
-附图2描述了位于经过块划分的图像中却没有块限制的原子的例子;
-附图3描述了块限制匹配追踪残留编码的情况,其中原子被限制在经运动补偿的栅格中,并且每次只对一个块起作用;
-附图4描述了混合视频编码器的例子;
-附图5示出了用于实现MP算法的视频编码设备的例子;
-附图6描述了根据本发明的混合视频解码器的例子;
-附图7示出了实现MP算法的视频解码设备的例子。
发明的详细说明
以上已经参考附图5描述了实现匹配追踪算法的视频编码设备的简化框图。这个编码设备实施对输入比特流进行编码的方法,该方法包括与以上所述相同的步骤:
-对输入序列的原始帧进行运动补偿;
-由在当前帧和相关的经运动补偿的预测之间的差别生成残留信号;
-将每个所述残留信号与包括2D可分离Gabor函数的集合的函数字典相比较;
-一旦发现了原子参数就可以对其进行编码(与先前确定的运动矢量一起),由此获得的已编码信号形成被发送到解码器的比特流。
现在提出的根据本发明的技术方案在于具有分离的字典,每一种块形状分别对应于一个字典(例如4×4、4×8、8×4、8×8、8×16、16×8、16×16):利用由编码器使用的这种规则,视频解码器将隐含地知道原子所涉及的是哪个字典。根据本发明的另一种实现方式,所述技术方案还在于提供几个字典,所述字典在编码侧和解码侧都可用,以及在于定义一个比特流语法,该比特流语法使编码器告诉解码器应该使用哪个字典:例如,代码字MP_dictioary_l告诉解码器下一个原子将涉及第一个字典,MP_dictionary_2告诉解码器切换到第二个字典,后面依此类推。这样的代码字或标志例如被设置在原子级、块级、宏块级或画面级。

Claims (16)

1、一种应用于帧的输入序列的视频编码方法,其中每个帧被细分为任意大小的块,所述方法包括对于当前帧的所述各块的至少一部分执行以下步骤:
-在块的基础上生成经运动补偿的帧,每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的;
-从所述经运动补偿的帧生成残留信号;
-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数,当前帧的其他块通过其他编码技术来处理;
-对所述原子和在运动补偿步骤中确定的运动矢量进行编码,以便生成输出编码比特流;
所述方法的进一步的特征在于,当使用所述MP算法时,特定的字典在编码侧可分别用于每种块形状。
2、根据权利要求1的视频编码方法,其特征在于,当使用所述MP算法时,几个字典在编码侧可用,并且定义了比特流语法以便在预定级别下设置标志,所述标志用于指示应该使用哪个字典。
3、根据权利要求2的方法,其特征在于,所述标志被设置在原子级。
4、根据权利要求2的方法,其特征在于,所述标志被设置在块级。
5、根据权利要求2的方法,其特征在于,所述标志被设置在宏块级。
6、根据权利要求2的方法,其特征在于,所述标志被设置在画面级。
7、一种应用于帧的输入序列的视频编码设备,其中每个帧被细分为任意大小的块,所述设备对当前帧的所述各块的至少一部分应用以下装置:
-用于在块的基础上生成经运动补偿的帧的装置,每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的;
-用于从所述经运动补偿的帧生成残留信号的装置;
-用于执行所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数的装置,当前帧的其他块通过其他编码技术来处理;
-用于对所述原子和在运动补偿步骤中确定的运动矢量进行编码以生成输出编码比特流的装置;
所述设备的进一步的特征在于,当使用所述MP算法时,几个字典在编码侧可用,每一种块形状对应于一个字典。
8、一种用于对编码的比特流进行解码的视频解码方法,所述编码的比特流是通过实现应用到帧的输入序列的视频编码方法而生成的,其中每个块被细分为任意大小的块,所述编码方法对于当前帧的所述各块的至少一部分包括以下步骤:
-在块的基础上生成经运动补偿的帧,每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的;
-从所述经运动补偿的帧生成残留信号;
-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数,当前帧的其他块通过其他编码技术来处理;
-对所述原子和在运动补偿步骤中确定的运动矢量进行编码,以便生成输出编码比特流;
特定的字典在编码侧可分别用于每种块形状,所述解码方法包括以下步骤:
-解码所述原子和运动矢量;
-利用MP算法来重建残留信号;
-从所述重建信号和预测的信号生成对应于所述输入序列的原始帧的输出重建信号,所述预测的信号是从所述编码的运动矢量建立的;
所述解码方法的进一步的特征在于,在编码侧的相同的字典在解码侧可用,每一种块形状分别对应于一个字典。
9、一种用于对编码的比特流进行解码的视频解码设备,所述编码的比特流是通过实现应用到帧的输入序列的视频编码方法而生成的,其中每个块被细分为任意大小的块,所述编码方法对于当前帧的所述各块的至少一部分包括以下步骤:
-在块的基础上生成经运动补偿的帧,每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的;
-从所述经运动补偿的帧生成残留信号;
-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数,当前帧的其他块通过其他编码技术来处理;
-对所述原子和在运动补偿步骤中确定的运动矢量进行编码,以便生成输出编码比特流;
特定字典在编码侧可分别用于每种块形状,所述解码设备对所涉及的块应用以下装置:
-用于解码所述原子和运动矢量的装置;
-用于执行MP算法以便重建残留信号装置;
-用于从所述重建信号和预测的信号生成对应于所述输入序列的原始帧的输出重建信号的装置,所述预测的信号是从所述编码的运动矢量建立的;
所述解码设备的进一步的特征在于,在编码侧的相同的字典在解码侧可用,每一种块形状分别对应于一个字典。
10、一种应用到帧的输入序列的视频编码设备,其中每个帧被细分为任意大小的块,所述设备对于当前帧的所述各块的至少一部分应用以下装置:
-用于在块的基础上生成经运动补偿的帧的装置,每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的;
-用于从所述经运动补偿的帧生成残留信号的装置;
-用于执行所谓的匹配追踪(MP)算法以便将每个所述生成的残留信号分解为被称为原子的编码的字典函数的装置,当前帧的其他块通过其他编码技术来处理;
-用于对所述原子和在运动补偿步骤中确定的运动矢量进行编码以便生成输出编码比特流的装置;
所述设备的进一步的特征在于,当使用所述MP算法时,几个字典在编码侧可用,并且定义了比特流语法以便在预定级别下设置标志,所述标志用于指示应该使用哪个字典。
11、根据权利要求10的方法,其特征在于,所述标志被设置在原子级。
12、根据权利要求10的方法,其特征在于,所述标志被设置在块级。
13、根据权利要求10的方法,其特征在于,所述标志被设置在宏块级。
14、根据权利要求10的方法,其特征在于,所述标志被设置在画面级。
15、一种用于对编码的比特流进行解码的视频解码方法,所述编码的比特流是通过实现应用到帧的输入序列的视频编码方法而生成的,其中每个块被细分为任意大小的块,所述编码方法对于当前帧的所述各块的至少一部分包括以下步骤:
-在块的基础上生成经运动补偿的帧,每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的;
-从所述经运动补偿的帧生成残留信号;
-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数,当前帧的其他块通过其他编码技术来处理;
-对所述原子和在运动补偿步骤中确定的运动矢量进行编码,以便生成输出编码比特流;
几个字典在编码侧可用,同时定义了比特流语法以便在预定级别下设置标志,所述标志用于指示应该使用哪个字典,所述解码方法包括以下步骤:
-解码所述原子和运动矢量;
-利用MP算法来重建残留信号;
-从所述重建信号和预测的信号生成对应于所述输入序列的原始帧的输出重建信号,所述预测的信号是从所述编码的运动矢量建立的;
所述解码方法的进一步的特征在于,在编码侧的相同的字典在解码侧可用,以及提供了用于读取所传输的标志以及在使用MP算法时选择相应的字典的步骤。
16、一种用于对编码的比特流进行解码的视频解码设备,所述编码的比特流是通过实现应用到帧的输入序列的视频编码方法而生成的,其中每个块被细分为任意大小的块,所述编码方法对于当前帧的所述各块的至少一部分包括以下步骤:
-在块的基础上生成经运动补偿的帧,每一个经运动补偿的帧是从每个当前原始帧和先前重建帧获得的;
-从所述经运动补偿的帧生成残留信号;
-利用所谓的匹配追踪(MP)算法来将每个所述生成的残留信号分解为被称为原子的编码的字典函数,当前帧的其他块通过其他编码技术来处理;
-对所述原子和在运动补偿步骤中确定的运动矢量进行编码,以便生成输出编码比特流;
几个字典在编码侧可用,同时定义了比特流语法以便在预定级别下设置标志,所述标志用于指示应该使用哪个字典,所述解码设备对于所涉及的块应用以下装置:
-用于解码所述原子和运动矢量的装置;
-用于执行MP算法以便重建残留信号的装置;
-用于从所述重建信号和预测的信号生成对应于所述输入序列的原始帧的输出重建信号的装置,所述预测的信号是从所述编码的运动矢量建立的;
所述解码设备的进一步的特征在于,在编码侧的相同的字典在解码侧可用,以及提供了用于读取所传输的标志以及在执行MP算法时选择相应的字典的装置。
CN2004800230084A 2003-08-12 2004-07-14 视频编码和解码方法及其相应设备 Expired - Fee Related CN1864177B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP03300084.5 2003-08-12
EP03300085 2003-08-12
EP03300084 2003-08-12
EP03300085.2 2003-08-12
PCT/IB2004/002478 WO2005015501A1 (en) 2003-08-12 2004-07-14 Video encoding and decoding methods and corresponding devices

Publications (2)

Publication Number Publication Date
CN1864177A true CN1864177A (zh) 2006-11-15
CN1864177B CN1864177B (zh) 2010-12-08

Family

ID=34137605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800230084A Expired - Fee Related CN1864177B (zh) 2003-08-12 2004-07-14 视频编码和解码方法及其相应设备

Country Status (8)

Country Link
US (1) US8059715B2 (zh)
EP (1) EP1656644B1 (zh)
JP (1) JP2007502561A (zh)
KR (1) KR20060071394A (zh)
CN (1) CN1864177B (zh)
AT (1) ATE450842T1 (zh)
DE (1) DE602004024411D1 (zh)
WO (1) WO2005015501A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958944B2 (en) * 2007-02-23 2021-03-23 Xylon Llc Video coding with embedded motion

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775452B2 (en) 2006-09-17 2014-07-08 Nokia Corporation Method, apparatus and computer program product for providing standard real world to virtual world links
WO2008036112A1 (en) * 2006-09-22 2008-03-27 Thomson Licensing Method and apparatus for multiple pass video coding and decoding
US7783459B2 (en) * 2007-02-21 2010-08-24 William Marsh Rice University Analog system for computing sparse codes
US9826243B2 (en) 2007-04-12 2017-11-21 Thomson Licensing Methods and apparatus for video usability information (VUI) for scalable video coding (SVC)
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US20080267521A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
US8127233B2 (en) * 2007-09-24 2012-02-28 Microsoft Corporation Remote user interface updates using difference and motion encoding
US8619877B2 (en) * 2007-10-11 2013-12-31 Microsoft Corporation Optimized key frame caching for remote interface rendering
WO2010038212A2 (en) * 2008-10-01 2010-04-08 Nxp B.V. Embedded video compression for hybrid contents
US9253505B2 (en) 2009-04-08 2016-02-02 Newrow, Inc. System and method for image compression
KR101496422B1 (ko) * 2009-04-08 2015-02-27 뉴로우, 인코포레이티드 이미지 압축을 위한 시스템 및 방법
EP2742687A2 (en) 2010-10-14 2014-06-18 Thomson Licensing Methods and apparatus for video encoding and decoding using motion matrix
US8767835B2 (en) * 2010-12-28 2014-07-01 Mitsubishi Electric Research Laboratories, Inc. Method for coding videos using dictionaries
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9591322B2 (en) * 2013-12-30 2017-03-07 New York University Coding using a redundant dictionary, such as video coding using a self-adaptive redundant dictionary including spatial and/or temporal prediction candidate atoms
US9300320B2 (en) * 2014-06-27 2016-03-29 Qualcomm Incorporated System and method for dictionary-based cache-line level code compression for on-chip memories using gradual bit removal
JP6357073B2 (ja) * 2014-10-24 2018-07-11 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699121A (en) 1995-09-21 1997-12-16 Regents Of The University Of California Method and apparatus for compression of low bit rate video signals
EP0797895A1 (en) 1995-10-18 1997-10-01 Koninklijke Philips Electronics N.V. Method of encoding video images
DE69729752T2 (de) 1996-09-24 2005-07-14 Electronics for Imaging, Inc., Foster City Adaptive bildblockkompression
US6148106A (en) 1998-06-30 2000-11-14 The United States Of America As Represented By The Secretary Of The Navy Classification of images using a dictionary of compressed time-frequency atoms
JP2003518883A (ja) 1999-12-28 2003-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マッチング追跡アルゴリズムに基づくビデオ符号化方法
EP1404133A4 (en) 2001-06-29 2010-04-21 Ntt Docomo Inc IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
US7003039B2 (en) 2001-07-18 2006-02-21 Avideh Zakhor Dictionary generation method for video and image compression
US20030103523A1 (en) 2001-11-30 2003-06-05 International Business Machines Corporation System and method for equal perceptual relevance packetization of data for multimedia delivery
US7242812B2 (en) 2003-06-26 2007-07-10 Academia Sinica Coding and decoding of video data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958944B2 (en) * 2007-02-23 2021-03-23 Xylon Llc Video coding with embedded motion
US11622133B2 (en) 2007-02-23 2023-04-04 Xylon Llc Video coding with embedded motion
US12034980B2 (en) 2007-02-23 2024-07-09 Xylon Llc Video coding with embedded motion

Also Published As

Publication number Publication date
WO2005015501A1 (en) 2005-02-17
DE602004024411D1 (de) 2010-01-14
KR20060071394A (ko) 2006-06-26
JP2007502561A (ja) 2007-02-08
CN1864177B (zh) 2010-12-08
EP1656644B1 (en) 2009-12-02
ATE450842T1 (de) 2009-12-15
EP1656644A1 (en) 2006-05-17
US20070019723A1 (en) 2007-01-25
US8059715B2 (en) 2011-11-15

Similar Documents

Publication Publication Date Title
CN1864177B (zh) 视频编码和解码方法及其相应设备
CN100469142C (zh) 视频编码和解码方法以及相应的设备
CN102144391B (zh) 用于层间残余视频编码和解码的跳过模式
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
CN102474608B (zh) 解码代表图像序列的编码数据流的方法和编码图像序列的方法
CN101779463B (zh) 用于处理图像的方法以及相应的电子设备
KR100736096B1 (ko) 비디오 신호를 그룹별로 인코딩 및 디코딩하는 방법 및장치
KR20060105394A (ko) 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
KR20060109241A (ko) 인트라 코딩을 선택적으로 적용하여 인트라 bl 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
CN105474642A (zh) 使用频域差对图像集合进行重新编码
CN1319382C (zh) 可伸缩视频编解码器体系结构设计方法
US7242812B2 (en) Coding and decoding of video data
KR100561587B1 (ko) 3차원 웨이브렛 변환 방법 및 장치
JP2007143176A (ja) 動きベクトルの圧縮方法
CN102006483B (zh) 一种视频编解码方法及装置
Efstratiadis et al. Hierarchical partition priority wavelet image compression
KR100679027B1 (ko) Dc 성분의 손실 없이 영상을 코딩하는 방법 및 장치
CN206698375U (zh) 一种滑动像素块整数dct核心矩阵变换运动补偿器
CN106954070B (zh) 一种滑动像素块整数dct核心矩阵变换运动补偿器及方法
AU2001293994A1 (en) Compression of motion vectors
US20150023410A1 (en) Method for simultaneously coding quantized transform coefficients of subgroups of frame
CN1689045A (zh) 用于基于小波的编码中的运动补偿的时间滤波的既有被滤波区域又有未滤波区域的l帧
CN102763414A (zh) 编码和重构图像序列的块的方法
Kaur A review of region-of-interest coding techniques of JPEG2000
Muzaffar et al. Linked significant tree wavelet-based image compression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20071012

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20071012

Address after: Holland Ian Deho Finn

Applicant after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100825

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN ETHERLANDS TO: GRAND CAYMAN ISLAND, CAYMAN ISLANDS

TA01 Transfer of patent application right

Effective date of registration: 20100825

Address after: Grand Cayman, Cayman Islands

Applicant after: Trident Microsystems (Far East) Ltd.

Address before: Holland Ian Deho Finn

Applicant before: Koninkl Philips Electronics NV

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130503

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130503

Address after: American California

Patentee after: Entropic Communications, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident Microsystems (Far East) Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101208

Termination date: 20170714