CN1910930A - 对视频信息进行压缩/解压缩的方法 - Google Patents

对视频信息进行压缩/解压缩的方法 Download PDF

Info

Publication number
CN1910930A
CN1910930A CNA2005800026335A CN200580002633A CN1910930A CN 1910930 A CN1910930 A CN 1910930A CN A2005800026335 A CNA2005800026335 A CN A2005800026335A CN 200580002633 A CN200580002633 A CN 200580002633A CN 1910930 A CN1910930 A CN 1910930A
Authority
CN
China
Prior art keywords
video
frame
fragment
motion parameters
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800026335A
Other languages
English (en)
Other versions
CN100562109C (zh
Inventor
Y·皮卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1910930A publication Critical patent/CN1910930A/zh
Application granted granted Critical
Publication of CN100562109C publication Critical patent/CN100562109C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/553Motion estimation dealing with occlusions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明涉及一种对视频序列(It,It+1)中的视频信息进行压缩的方法。依照本发明,该方法包括以下步骤:将第一视频帧(Bt)分割成各片段(St,i);对于第一视频帧(Bt)的每个片段(St,i):在第二视频帧(It+1)中搜索与第一视频帧(Bt)的该片段(St,i)相匹配的相应的预测片段(I);计算描述该片段(St,i)与相应的预测片段(I)之间的运动的原始运动参数组(II);以及对于每个相应的预测片段(I):在第一视频帧(Bt)中搜索与第二视频帧(It+1)的该预测片段(I)相匹配的相应片段(III);计算描述该相应片段(III)与该预测片段(I)之间的运动的最佳运动参数组(IV)。

Description

对视频信息进行压缩/解压缩的方法
发明领域
本发明涉及对视频信息进行压缩/解压缩的方法,并且涉及相应的压缩和解压缩设备。本发明还涉及用于执行所述方法的计算机程序产品、通过实施所述方法得到的压缩数据和用于对视频信息进行压缩和解压缩的设备。
发明背景
当前的标准都属于MPEG系列(比如MPEG-1、MPEG-2和MPEG-4(例如参见MPEG-4视频编码标准ISO/IEC 14496-2,可在ISO获得其文献,在这里被表示为MPEG-4文献号w3056))和ITU H.26X系列(比如H.261、H.263及扩展和H.264)。
大多数视频编码标准利用了这一实际情况:在视频序列的相继帧之间存在一些冗余。在大多数视频压缩算法中,将每个帧细分成可以是规则正方形块(如在MPEG-4中)或者如H.264中的正方形或矩形块的片段(segment)。在对压缩数据进行解压缩的时候,后续帧的每个片段是通过预测计算获得的,该预测计算是通过使用一般称为运动矢量的运动信息和一般称为残留图像(其定义所述片段与其预测之间的差异,并且更加一般地是定义帧与其预测之间的差异)的校正或残留信息、根据先前帧的相应片段来进行的。这些压缩标准给出了对用于根据先前已知帧重新恢复后续帧的运动信息和校正信息进行编码的途径。
这些压缩标准主要使用两种方法。第一种方法名为后向法。在MPEG和ITU H.26X标准中实施这种方法。依照后向法,对于后续帧的每个片段,所述压缩方法尝试着找出先前帧中最接近它或者至少与它相差不太远的片段。对于在后续帧中出现而在先前帧中没有出现的片段,这样做可能会造成问题。但是,对于在先前帧和后续帧中都存在的任何片段,如果对运动参数进行了完全搜索(也就是说考虑了任何可能的参数)那么该系统对于给定的运动模型将会给出最佳预测。后向法的问题是,在很多情况下,所使用的帧分段与分成可能具有不同总体运动的“真实”对象的帧分段并不一致。
第二种方法名为前向法。在例如WO-00/64167中公开了这种方法。其使用基于分段的编码方案,该编码方案使用帧的“真实”对象。依照前向法,对于先前帧的每个片段(将其看作独立的对象),在后续帧中搜索最佳匹配,也就是说,该方法尝试找出该对象在两帧之间发生了什么变化。关于所考虑的运动模型,所预测的各后续帧的片段并没有得到最佳预测。无法确保从先前帧得到后续帧的最佳的可能预测,即使在完全搜索运动估计的情况下也是如此。实际上,最佳化是针对已经有的帧(即先前帧)进行的,而不是针对想要有的帧(即新的帧)进行的。
发明概要
因此,本发明的目的是提供一种能够令用于根据已知的先前帧预测后续帧的分段最佳化的视频压缩方法和相关的解压缩方法。
为此,本发明涉及一种用于对视频序列(It,It+1)中的视频信息进行压缩的方法,该方法包括以下步骤:
-考虑所述序列中的包含图像数据的第一视频帧(Bt);
-将所述第一视频帧(Bt)分割成各片段(St,i);
-对于第一视频帧(Bt)的每个片段(St,i):
-在该视频序列中的第一视频帧(Bt)之后的第二视频帧(It+1)中搜索依照预定相似度度量与第一视频帧(Bt)的该片段(St,i)相匹配的相应的预测片段(St+1,i p,forward);
-计算描述第一视频帧(Bt)的该片段(St,i)与所述第二视频帧(It+1)的相应的预测片段(St+1,i p,forward)之间的运动的原始运动参数组(Mt,i p);以及
-对于第二视频帧(It+1)的每个相应的预测片段(St+1,i p,forward):
-在第一视频帧(Bt)中搜索依照预定相似度度量与第二视频帧(It+1)的该预测片段(St+1,i p,forward)相匹配的相应片段(St,i p,backward);
-计算描述第一视频帧(Bt)的该相应片段(St,i p,backward)与第二视频帧(It+1)的该预测片段(St+1,i p,forward)之间的运动的最佳运动参数组(Mt,i p+ΔMt,i p),所述最佳运动参数组是通过运动参数校正(ΔMt,i p)进行了校正的该原始运动参数组(Mt,i p)。
在说明书中稍后将会看到,所述方法具有这样的优点:在使用后向法来确定最佳运动参数组之前,提供得到最佳化的对后续帧的分段。
在从属权利要求2-8中阐述了附加特征。
本发明的另一个目的是提出一种用于对视频序列(It,It+1)中的视频信息进行解压缩的方法,包括:
-考虑包含图像数据的第一视频帧(Bt);
-将所述第一视频帧(Bt)分割成各片段(St,i);
-对于第一视频帧(Bt)的每个片段(St,i),通过对第一视频帧(Bt)的该片段(St,i)应用原始运动参数组(Mt,i p)来定义投影片段(St+1,i p),所述原始运动参数组描述第一视频帧(Bt)的该片段(St,i)与相应的投影片段(St+1,i p)之间的运动;以及
-对于每个相应的投影片段(St+1,i p):
-使用所述原始运动参数组(Mt,i p)和运动参数校正(ΔMt,i p)二者在第一视频帧(Bt)中找出相应的改进片段(St,i b),该相应的改进片段(St,i b)是第一视频帧(Bt)中的通过对其应用由所述运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)而将被投影到该相应的投影片段(St+1,i p)上的片段;以及
-通过将由所述运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)应用于该相应的改进片段(St,i b)来定义经校正的投影片段(St+1,i p,o,c)。
本发明还涉及一种用于数据处理单元的计算机程序产品,其包括一组指令,该组指令在被加载到所述数据处理单元中时会促使该数据处理单元执行前述压缩方法。
此外,本发明还涉及一种用于对视频序列(It,It+1)中的视频信息进行压缩的设备,包括:
-用于将包含图像数据的第一视频帧(Bt)分割成各片段(St,i)的装置;
-用于对于第一视频帧(Bt)的每个片段(St,i)、在该视频序列中的第一视频帧(Bt)之后的第二视频帧(It+1)中搜索依照预定相似度度量与第一视频帧(Bt)的该片段(St,i)相匹配的相应的预测片段(St+1,i p,forward)的装置;
-用于对于第一视频帧(Bt)的每个片段(St,i)、计算描述第一视频帧(Bt)的该片段(St,i)与第二视频帧(It+1)的该相应的预测片段(St+1,i p,forward)之间的运动的原始运动参数组(Mt,i p)的装置;
-用于对于第二视频帧(It+1)的每个相应的预测片段(St+1,i p,forward)、在第一视频帧(Bt)中搜索依照预定相似度度量与第二视频帧(It+1)的该预测片段(St+1,i p,forward)相匹配的相应片段(St,i p,backward)的装置;
-用于对于第二视频帧(It+1)的每个相应的预测片段(St+1,i p,forward)、计算描述第一视频帧(Bt)的该相应片段(St,i p,backward)与第二视频帧(It+1)的该预测片段(St+1,i p,forward)之间的运动的最佳运动参数组(Mt,i p+ΔMt,i p)的装置,所述最佳运动参数组是通过运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)。
本发明还涉及一种用于对视频序列(It,It+1)中的视频信息进行解压缩的设备,包括:
-用于将包含图像数据的所述第一视频帧(Bt)分割成各片段(St,i)的装置;
-用于对于第一视频帧(Bt)的每个片段(St,i)、通过对第一视频帧(Bt)的该片段(St,i)应用原始运动参数组(Mt,i p)来定义投影片段(St+1,i p)的装置,所述原始运动参数组描述第一视频帧(Bt)的该片段(St,i)与该相应的投影片段(St+1,i p)之间的运动;以及
-用于对于每个相应的投影片段(St+1,i p)、使用该原始运动参数组(Mt,i p)和运动参数校正(ΔMt,i p)二者在第一视频帧(Bt)中找出相应的改进片段(St,i b)的装置,该相应的改进片段(St,i b)是Bt中的通过对其应用由该运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)而将被投影到该相应的投影片段(St+1,i p)上的片段;以及
-用于对于每个相应的投影片段(St+1,i p)、通过将由该运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)应用于该相应的改进片段(St,i b)来定义经校正的投影片段(St+1,i p,o,c)的装置。
本发明还涉及对应于通过前述压缩方法获得的视频序列的压缩数据。
附图简述
现在将参照附图并借助于实例对本发明进行说明,其中:
附图1是用于由连续帧构成的视频序列的典型处理链的示意图;
附图2是表示依照本发明的对帧序列进行编码的方法的视频压缩算法的流程图;
附图3是在压缩操作期间的各相继步骤处的经处理的帧的示意图;
附图4是表示依照本发明的与帧序列压缩方法相对应的对压缩数据进行解码的方法的视频解压缩算法的流程图;以及
附图5是在解压缩操作期间的各相继步骤处的经处理的帧的示意图。
发明的详细描述
附图1示出用于由连续帧构成的视频序列的典型处理链,每个帧包含图像数据。这个链包括适用于接收帧序列的编码器12。由例如数码相机提供的这些帧是像素的阵列,每个像素由颜色参数表征,这些颜色参数可以是色度和亮度或者例如红色、绿色和蓝色值。在下文中,将输入序列的第t个帧表示为It
编码器12适于实施依照本发明的视频压缩方法并且输出被压缩的编码数据。该压缩方法利用了这一实际情况:在视频序列的相继帧之间存在一些冗余。然后将已编码数据存储在像磁带这样的载体上,或者通过像无线网络这样的媒介对其进行传送。该处理链最后包括解码器14,该解码器14适于对已编码数据进行解压缩并且适于提供帧序列。解码器14适于实施依照本发明的视频解压缩方法。在下文中,将解压缩序列的第t个帧表示为Bt
附图2表示在编码器12中执行的视频压缩算法。附图3表示在该压缩算法实施期间的后续经处理的帧。对所要编码的帧序列的每个帧重复附图2的这种算法(其通过由经适配的软件程序驱动的像DSP这样的处理单元来加以实施)。附图2中所示的步骤涉及对帧It+1的编码。假设已经对先前帧It进行了编码并且与帧It相对应的解压缩帧Bt是已知的。
概略地讲,该方法包括两个主要阶段。在第一阶段200中,通过使用前向法投影先前帧It的各片段来定义第一组运动参数,以便预测后续帧It+1。一旦进行了投影,就提供了对后续帧It+1的预测分段。这种分段比随意分段(例如方框网格)更加有可能与后续帧It+1的实际对象相一致。在不将预测分段的“空洞”看作片段(它们不由帧It的任何部分预测)的情况下,对于每个投影片段,在预测中提供被称为预测片段的相应片段,并且首先提供一组运动参数。如果必要的话,为了细化所述预测,在第二阶段201中进行新的运动估计,这次是通过对预测片段使用后向法来进行的。
第一阶段200基于前向法,这意味着在后续帧It+1中搜索先前帧It的片段。现在将详细公开该压缩方法。
在步骤202中,定义并存储解压缩帧Bt的分段。Bt的分段在于定义Bt到片段St,i的细分。确定一组分段参数。该组分段参数定义所实施的分段处理。有益地,片段边界与帧Bt中的对象边界一致。这样,这些片段就是与帧Bt相应的画面中的“真实”对象。在下文中,对所有的片段St,i相继进行处理。因此,在步骤204中考虑Bt中的片段St,i
在步骤206中,在要被编码的后续帧It+1中搜索相应的片段St+1,i ref。该相应片段St+1,i ref是帧It+1中的依照给定相似度度量给出与片段St,i的最佳匹配的片段。该相似度度量本身是公知的,并且将不加以说明。
在步骤208中,存储能够恢复St+1,i ref的某些参数。尤其是计算一个原始运动参数组Mt,i p。这些运动参数定义St+1,i ref相对于St,i的位置变化。例如,运动参数组Mt,i p定义平移运动。依照前向法,用St+1,i p,forward表示的预测片段和原始运动参数组Mt,i p被如下定义:
S t + 1 , i p , forward = MC ( S t , i M t , i p ) , 其中MC(St,i,Mt,i p)是使用Mt,i p作为运动参数的运动补偿操作;
M t , i p = arg min ( diff ( MC ( S t , i , M ) , S t + 1 , i , M ref ) ) (例如)
M处于运动搜索范围内
其中St+1,i,M ref是后续帧It+1中的与MC(St,i ref,M)一致的片段,并且diff(a,b)度量a和b的相似度(该度量越高,a和b就越不相似,其可以是例如整个片段上的像素颜色值的方差和);
St+1,i p,forward是原始预测片段。
在这个步骤中,不进行处理不同预测片段St+1,i p,forward之间发生重叠的问题的处理。重叠问题是依照下面说明的方式处理的。重复步骤202-208,直到先前解压缩帧Bt的所有片段St,i都被考虑。这样,对于每个片段St,i,在预测中与被称为前向运动参数的原始运动参数组Mt,i p一起定义了相应的预测片段St+1,i p,forward
一旦对先前解压缩帧Bt的每个片段都进行了投影,则某些原始预测片段可能会彼此重叠。在步骤210中进行某些判决,以便解决相邻片段之间的相交问题。因此,计算重叠参数。依照第一实施方式,确定哪个片段处于哪个片段之前。如何进行这些判决并不在本发明的范围之内。在完成了判决之后,预测片段具有了它们的最终形状,即原始形状减去可能的隐藏部分。依照另一种实施方式,为每个相邻片段对确定合并参数α。对于相邻片段之间的相交部分的每个像素,像素值Poverlap是这样定义的:Poverlap=αPsegment1+(1-α)Psegment2,其中Psegment1和Psegment2是两个片段中的相应的重叠像素的值。
由预测片段组St+1,i p,forward得到的后续帧It+1的预测可能具有空洞。这些空洞对应于后续帧It+1中的新的未覆盖部分。在步骤212中将这些空洞看作新的预测片段或它们的内容并且对其进行存储。空洞处理不在本发明的范围之内。依照一种可行实施例,将空洞作为要在该算法的下一个步骤中加以处理的新片段添加到投影分段过程中。还可以将它们与现有预测片段合并起来,或者简单地将其作为要在运动处理完成之后加以处理的空洞进行存储。在任何情况下,都要对与空洞有关的信息进行编码和存储。在步骤212之后,定义一组与已经针对空洞和重叠进行了处理的St+1,i p,forward片段组相对应的St+1,i p,predioted片段。在步骤213中,判断是否有必要使用后向法计算新的最佳运动参数组。如果有必要,则执行第二阶段201,并且记忆相应的标志[YES(是)]。如果没有必要,则记忆相应的标志[NO(否)],并且直接执行步骤220以计算残留帧Rt+1,下面将对此进行说明。
如果有必要,则在第二阶段201中基于预测片段St+1,i p,predioted、使用后向法执行新的运动估计。在步骤214中,考虑由前向法提供的预测片段St+1,i p,predioted。在步骤216中,在先前帧Bt中进行搜索,以找出帧Bt中的依照给定的相似度度量最接近所考虑的预测片段St+1,i p,predioted的片段(表示为St,i p,backward)。在步骤218中,计算新的最佳运动参数组(表示为Mt,i p+ΔMt,i p)。ΔMt,i p是运动参数校正,从而Mt,i p+ΔMt,i p定义了从St,i p,backward到St+1,i p,predioted的运动。在通过将前向运动参数Mt,i p应用到预测片段St+1,i p,predioted上而限定的片段周围的小区域内搜索对于St,i p,backward的新的最佳预测。重复步骤214-218,直到所有的预测片段St+1,i p,predioted都被考虑。此时,剩余的空洞得到了处理。
在步骤220中,计算残留帧Rt+1并且对其进行编码。该编码方法不在本发明的范围之内。依照一种可行的实施例,可以使用所述投影分段(St+1,i p,predioted和空洞)以片段为基础对残留帧Rt+1进行编码。残留帧Rt+1定义了图像预测Bt+1 predicted(所有预测片段St+1,i p,predioted与经过处理的空洞的再结合)与预测图像It+1之间的结构差异。依照本发明,最佳运动参数组Mt,i p+ΔMt,i p是利用多层运动描述而被存储的。第一层包含原始运动参数组Mt,i p和表示解码器14是否应当等待附加层的标志[YES]或[NO]。第二层包含运动参数校正ΔMt,i p。在该压缩方法的末尾,由编码器12提供的压缩数据是分段参数、包含在该多层运动描述中的每个片段的运动参数Mt,i p或最佳运动参数组Mt,i p+ΔMt,i p、重叠信息、空洞信息和残留帧Rt+1
在接收到压缩数据时,解码器14应用附图4中公开的算法。附图5示出在实施解压缩方法期间所处理的帧。对于要被解压缩的每个帧Bt+1重复相同的算法。假设先前解码的帧Bt是已知的并且必须对后续帧Bt+1进行解压缩。
在步骤402中,通过使用与帧Bt在解码器侧的对应部分Bt相同的算法和相同的设置值根据所述分段参数组对帧Bt进行分段。这些设置是一次性设置的或者是与编码帧一起传送的。为了清楚起见,将Bt的各片段表示为St,i。在步骤404中考虑Bt的片段St,i,并且在步骤406中对该片段St,i的第一层运动参数Mt,i p进行解码和应用。获得预测片段St+1,i p。对解压缩帧Bt的所有片段执行步骤404-406。
在步骤408中对重叠参数进行解码并且将其应用于片段St+1,i p,以获得新的片段(表示为St+1,i p,o)。由于各片段St+1,i p,o的再结合可能无法覆盖整个帧,因此在步骤410中依据包含在压缩数据中的空洞信息对Bt+1的空洞进行预测。然后,在步骤412中检查包含在运动描述的第一层中的所述标志是否表明在第二层中包含附加运动信息。如果在压缩数据中不包含附加运动信息,则直接执行残留帧解码。由所有的片段St+1,i p,o定义后续预测帧。此时,执行空洞填补,从而定义预测帧Bt+1 pred。在步骤414中对残留帧Rt+1进行解码并且将其应用于该预测帧Bt+1 pred,以计算最终的解码帧Bt+1
如果在压缩数据中包含附加运动信息,则在步骤415中对运动参数校正ΔMt,i p进行解码,并且在步骤416中在解码帧Bt中恢复相应的改进片段St,i b。这一相应的改进片段St,i b是Bt的片段,如果对其应用经校正的运动参数Mt,i p+ΔMt,i p,则该片段将被投影到片段St+1,i p,o上。经校正的运动参数Mt,i p+ΔMt,i p是由运动参数校正ΔMt,i p进行了校正的原始运动参数组Mt,i p。在步骤417中,使用Mt,i p+ΔMt,i p进行的St,i b的投影提供了经校正的预测片段St+1,i p,o,o。所有的片段St+1,i p,o,o定义后续的经校正的预测帧。此时进行空洞填补,从而定义最终经校正的预测帧Bt+1 pred。然后在步骤418中对残留帧Rt+1进行解码并且将其应用于该最终经校正的预测帧Bt+1 pred,以便提供最终的解码帧Bt+1
有益地,依照一个具体实施例,对于给定的片段定义运动矢量。该运动矢量包含所述运动描述的第一和第二层。前向运动参数是该矢量的整数部分。预测片段St+1,i p是通过仅仅考虑该整数部分、依照包含在该矢量中的该经过截取的运动信息而计算出来的。
对于每个预测片段St+1,i p,o的后向运动校正,使用全精度矢量。在这种情况下,只有一个实际的运动参数层:后向和前向运动都被包含在一个运动符号中。而运动描述还是两层的。
依照前述实施例,步骤210和相应步骤408中的对重叠参数的计算是在所有片段都被预测之后对于预测帧Bt+1进行的。依照一个替换实施例,重叠参数是在步骤208之后对每个片段计算的。因此,它们是被逐片段地计算和编码的。因此,在该解压缩方法中,重叠参数是紧接在步骤406之后被逐片段地应用的。
存在多种借助硬件项或软件项或者二者来实现功能的方式。在这方面,附图是非常示意性的,并且仅仅代表本发明的可能实施例。因此,虽然附图将不同的功能显示为不同的块,但是这决不排除由单个硬件项或软件项执行数个功能的可能。也不排除由硬件项或软件项或二者的组合执行一个功能的可能。
上文表明,参照附图进行的详细描述是用来解释说明而非用来限制本发明的。有多种落在所附权利要求书的范围之内的替换方案。“包括”或“包含”一词并不排除在权利要求中所列出的元件或步骤之外还存在其它元件或步骤。置于元件或步骤之前的“一个”并不排除存在多个这样的元件或步骤。

Claims (16)

1.一种对视频序列(It,It+1)中的视频信息进行压缩的方法,该方法包括以下步骤:
-考虑所述序列中的包含图像数据的第一视频帧(Bt);
-将所述第一视频帧(Bt)分割成各片段(St,i);
-对于第一视频帧(Bt)的每个片段(St,i):
-在该视频序列中的第一视频帧(Bt)之后的第二视频帧(It+1)中搜索依照预定相似度度量与第一视频帧(Bt)的该片段(St,i)相匹配的相应的预测片段(St+1,i p,forward);
-计算描述第一视频帧(Bt)的该片段(St,i)与所述第二视频帧(It+1)的相应的预测片段(St+1,i p,forward)之间的运动的原始运动参数组(Mt,i p);以及
-对于第二视频帧(It+1)的每个相应的预测片段(St+1,i p,forward):
-在第一视频帧(Bt)中搜索依照预定相似度度量与第二视频帧(It+1)的该预测片段(St+1,i p,forward)相匹配的相应片段(St,i p,backward);
-计算描述第一视频帧(Bt)的该相应片段(St,i p,backward)与第二视频帧(It+1)的该预测片段(St+1,i p,forward)之间的运动的最佳运动参数组(Mt,i p+ΔMt,i p),所述最佳运动参数组是通过运动参数校正(ΔMt,i p)进行了校正的该原始运动参数组(Mt,i p)。
2.依照权利要求1所述的方法,其特征在于,该方法包括为第二视频帧(It+1)计算描述第一视频帧(Bt)与第二视频帧(It+1)之间的结构差异的残留帧(Rt+1)的步骤。
3.依照权利要求1和2中的任何一项所述的方法,其特征在于,该方法包括为每个预测片段(St+1,i p,forward)计算解决第二视频帧(It+1)的所述预测片段(St+1,i p,forward)与相邻的其它预测片段之间的相交的重叠参数组的步骤。
4.依照权利要求1和2中的任何一项所述的方法,其特征在于,该方法包括为每个视频帧(Bt+1)计算解决第二视频帧(It+1)的各预测片段之间的相交的重叠参数组的步骤。
5.依照权利要求1和2中的任何一项所述的方法,其特征在于,第一视频帧(Bt)是相应于由所述压缩方法和相应的解压缩方法处理的视频序列的帧(It)的解压缩视频帧。
6.依照前述任何一项权利要求所述的方法,其特征在于,所述最佳运动参数组(Mt,i p+ΔMt,i p)是依照多层运动描述定义的,其中第一层包含所述原始运动参数组(Mt,i p),而第二层包含所述运动参数校正(ΔMt,i p),其中第一层和第二层的信息是区分开的。
7.依照权利要求6中所述的方法,其特征在于,该方法包括将一个标志设置为表明是否必须为视频信息解压缩使用所述运动参数校正(ΔMt,i p)的第一或第二预定值的步骤。
8.依照前述任何一项权利要求所述的方法,其特征在于,该方法包括确定一个分段参数组的步骤,该分段参数组定义了用于将第一视频帧(Bt)分割成各片段(St,i)而实施的分段处理。
9.一种对视频序列(It,It+1)中的视频信息进行解压缩的方法,包括:
-考虑包含图像数据的第一视频帧(Bt);
-将所述第一视频帧(Bt)分割成各片段(St,i);
-对于第一视频帧(Bt)的每个片段(St,i),通过对第一视频帧(Bt)的该片段(St,i)应用原始运动参数组(Mt,i p)来定义投影片段(St+1,i p),所述原始运动参数组描述第一视频帧(Bt)的该片段(St,i)与相应的投影片段(St+1,i p)之间的运动;以及
-对于每个相应的投影片段(St+1,i p):
-使用所述原始运动参数组(Mt,i p)和运动参数校正(ΔMt,i p)二者在第一视频帧(Bt)中找出相应的改进片段(St,i b),该相应的改进片段(St,i b)是第一视频帧(Bt)中的通过对其应用由所述运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)而将被投影到该相应的投影片段(St+1,i p)上的片段;以及
-通过将由所述运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)应用于该相应的改进片段(St,i b)来定义经校正的投影片段(St+1,i p,o,c)。
10.依照权利要求9所述的方法,其特征在于,该方法包括以下步骤:
-考虑视频信息中的标志;以及
-如果所述标志具有第一预定值,则通过将由所述运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)应用于该相应的改进片段(St,i b)来计算经校正的投影片段(St+1,i p,o,c),如果所述标志具有第二预定值,则不计算经校正的投影片段(St+1,i p,o,c)。
11.依照权利要求9或10所述的方法,其特征在于,该方法包括将重叠参数组应用于所述投影片段(St+1,i p)从而解决相邻投影片段(St+1,i p)之间的相交的步骤。
12.依照权利要求9到11中的任何一项所述的方法,其特征在于,将所述第一视频帧(Bt)分割成各片段(St,i)的步骤包括应用包含在视频信息中的分段参数组的步骤,所述分段参数组定义了用于在压缩阶段期间将第一视频帧分割成各片段(St,i)而实施的分段处理。
13.一种用于数据处理单元的计算机程序产品,其包括一组指令,该组指令在被加载到所述数据处理单元中时促使该数据处理单元执行在前述任何一项权利要求中所述的方法。
14.一种用于对视频序列(It,It+1)中的视频信息进行压缩的设备,包括:
-用于将包含图像数据的第一视频帧(Bt)分割成各片段(St,i)的装置;
-用于对于第一视频帧(Bt)的每个片段(St,i)、在该视频序列中的第一视频帧(Bt)之后的第二视频帧(It+1)中搜索依照预定相似度度量与第一视频帧(Bt)的该片段(St,i)相匹配的相应的预测片段(St+1,i p,forward)的装置;
-用于对于第一视频帧(Bt)的每个片段(St,i)、计算描述第一视频帧(Bt)的该片段(St,i)与第二视频帧(It+1)的该相应的预测片段(St+1,i p,forward)之间的运动的原始运动参数组(Mt,i p)的装置;
-用于对于第二视频帧(It+1)的每个相应的预测片段(St+1,i p,forward)、在第一视频帧(Bt)中搜索依照预定相似度度量与第二视频帧(It+1)的该预测片段(St+1,i p,forward)相匹配的相应片段(St,i p,backward)的装置;
-用于对于第二视频帧(It+1)的每个相应的预测片段(Si+1,i p,forward)、计算描述第一视频帧(Bt)的该相应片段(St,i p,backward)与第二视频帧(It+1)的该预测片段(Si+1,i p,forward)之间的运动的最佳运动参数组(Mt,i p+ΔMt,i p)的装置,所述最佳运动参数组是通过运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)。
15.一种用于对视频序列(It,It+1)中的视频信息进行解压缩的设备,包括:
-用于将包含图像数据的所述第一视频帧(Bt)分割成各片段(St,i)的装置;
-用于对于第一视频帧(Bt)的每个片段(St,i)、通过对第一视频帧(Bt)的该片段(St,i)应用原始运动参数组(Mt,i p)来定义投影片段(St+1,i p)的装置,所述原始运动参数组描述第一视频帧(Bt)的该片段(St,i)与该相应的投影片段(St+1,i p)之间的运动;以及
-用于对于每个相应的投影片段(St+1,i p)、使用该原始运动参数组(Mt,i p)和运动参数校正(ΔMt,i p)二者在第一视频帧(Bt)中找出相应的改进片段(St,i b)的装置,该相应的改进片段(St,i b)是Bt中的通过对其应用由该运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)而将被投影到该相应的投影片段(St+1,i p)上的片段;以及
-用于对于每个相应的投影片段(St+1,i p)、通过将由该运动参数校正(ΔMt,i p)进行了校正的原始运动参数组(Mt,i p)应用于该相应的改进片段(St,i b)来定义经校正的投影片段(St+1,i p,o,c)的装置。
16.与视频序列相对应的压缩数据,其特征在于,所述压缩数据是由依照权利要求1到8中的任何一项所述并且被应用于所述视频序列的压缩方法而获得的。
CNB2005800026335A 2004-01-16 2005-01-10 对视频信息进行压缩/解压缩的方法 Expired - Fee Related CN100562109C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04290121 2004-01-16
EP04290121.5 2004-01-16

Publications (2)

Publication Number Publication Date
CN1910930A true CN1910930A (zh) 2007-02-07
CN100562109C CN100562109C (zh) 2009-11-18

Family

ID=34854719

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800026335A Expired - Fee Related CN100562109C (zh) 2004-01-16 2005-01-10 对视频信息进行压缩/解压缩的方法

Country Status (6)

Country Link
US (1) US20070165958A1 (zh)
EP (1) EP1709814A1 (zh)
JP (1) JP4982694B2 (zh)
KR (1) KR20070026360A (zh)
CN (1) CN100562109C (zh)
WO (1) WO2005079074A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102378005A (zh) * 2010-08-10 2012-03-14 索尼公司 运动图像处理装置、运动图像处理方法和程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165205B2 (en) * 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
CN104780379B (zh) * 2015-01-21 2018-03-09 北京工业大学 一种屏幕图像集合的压缩方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69416717T2 (de) * 1993-05-21 1999-10-07 Nippon Telegraph & Telephone Bewegtbildkoder und -dekoder
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
KR0181034B1 (ko) * 1995-03-18 1999-05-01 배순훈 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
CN1160968C (zh) * 1995-10-26 2004-08-04 居里泰尔公司 结合全域、区域动推测方式的选择型动推测装置及其方法
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6553069B1 (en) * 1999-06-17 2003-04-22 Samsung Electronics Co., Ltd. Digital image segmenting method and device
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
JP2003522486A (ja) * 2000-02-01 2003-07-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Pフレームに対する2ステップ動き推定を伴なうビデオ符号化
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102378005A (zh) * 2010-08-10 2012-03-14 索尼公司 运动图像处理装置、运动图像处理方法和程序
CN102378005B (zh) * 2010-08-10 2016-03-09 索尼公司 运动图像处理装置和运动图像处理方法

Also Published As

Publication number Publication date
EP1709814A1 (en) 2006-10-11
WO2005079074A1 (en) 2005-08-25
JP4982694B2 (ja) 2012-07-25
CN100562109C (zh) 2009-11-18
KR20070026360A (ko) 2007-03-08
JP2007519337A (ja) 2007-07-12
US20070165958A1 (en) 2007-07-19

Similar Documents

Publication Publication Date Title
JP7266686B2 (ja) 点群圧縮のための方法、装置、およびコンピュータプログラム
US11089324B2 (en) Method and apparatus for encoding and decoding an image with inter layer motion information prediction according to motion information compression scheme
CN102067608B (zh) 用于视频译码的时间压缩中的片段化参考
CN102150429B (zh) 用于使用构建的参考帧进行视频编码的系统及方法
EP2638695B1 (en) Video coding methods and apparatus
US7460042B2 (en) Encoding circuit, decoding circuit, encoder circuit, decoder circuit, and CABAC processing method
CN1910930A (zh) 对视频信息进行压缩/解压缩的方法
CN1290342C (zh) 可执行区块比对移动补偿与全域移动补偿的装置与方法
JP5547301B2 (ja) 各色平面について別個のビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコード方法およびビデオ・デコード方法
US11120581B2 (en) Method and apparatus for point cloud compression
EP2304958B1 (en) Methods and apparatus for texture compression using patch-based sampling texture synthesis
CN101490968A (zh) 用于视频压缩的并行处理装置
CN1272287A (zh) 在编码数据流中修改数据的方法和设备
CN1708134A (zh) 用于估计运动的方法和设备
WO2015176280A1 (en) Re-encoding image sets using frequency-domain differences
US20140098878A1 (en) Method and device for motion information prediction in multi-view video coding
CN1968420A (zh) 应用于影像译码器与编码器的影像处理方法
US20050089232A1 (en) Method of video compression that accommodates scene changes
JP2008271127A (ja) 符号化装置
CN1117484C (zh) 存储器要求降低的已压缩视频数据流的解码与编码方法
CN1338705A (zh) 图像序列的格式转换方法
CN109302615B (zh) 视频压缩的自适应模板预测方法
WO2012093466A1 (en) Image coding apparatus, image coding method and program, image decoding apparatus, and image decoding method and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20070817

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20070817

Address after: Holland Ian Deho Finn

Applicant after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: TRIGEMINAL MICROSYSTEMS(FAR EAST) CO., LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100925

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20100925

Address after: Grand Cayman, Cayman Islands

Patentee after: Trident Microsystems (Far East) Ltd.

Address before: Holland Ian Deho Finn

Patentee before: Koninkl Philips Electronics NV

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130221

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130221

Address after: American California

Patentee after: Entropic Communications, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident Microsystems (Far East) Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091118

Termination date: 20170110

CF01 Termination of patent right due to non-payment of annual fee