CN102498718A - 具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码 - Google Patents

具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码 Download PDF

Info

Publication number
CN102498718A
CN102498718A CN201080038820XA CN201080038820A CN102498718A CN 102498718 A CN102498718 A CN 102498718A CN 201080038820X A CN201080038820X A CN 201080038820XA CN 201080038820 A CN201080038820 A CN 201080038820A CN 102498718 A CN102498718 A CN 102498718A
Authority
CN
China
Prior art keywords
subregion
motion vector
current
prediction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201080038820XA
Other languages
English (en)
Other versions
CN102498718B (zh
Inventor
J.琼
G.拉罗什
J-M.西塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of CN102498718A publication Critical patent/CN102498718A/zh
Application granted granted Critical
Publication of CN102498718B publication Critical patent/CN102498718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape

Abstract

本发明涉及一种用于对当前图像(IN)的分区(P1)的移动向量(MVp1)进行预测的方法,该预测是根据多个与n个参考分区分别相关联的n个参考移动向量来进行的,所述n个参考分区已经被预先编码并然后解码。对于一个这种向量的空间预测,当所述当前分区的几何形状与k个相邻参考分区(pr1、pr2、…、prk)的几何形状不同时,其中k≤n,根据至少一个参考移动向量的函数来确定当前图像分区的移动向量,该至少一个参考移动向量属于与k个相邻参考分区分别相关联的k个参考移动向量的集合。

Description

具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码
技术领域
本发明一般地属于图像处理的领域,且更精确地,属于数字图像的和数字图像序列的基于竞争的编码和解码。
背景技术
存在几种编码和解码方法,以用于传送图像。在主要类型的编码之中,具体地是诸如所谓的“帧内(intra)”编码、亦或所谓的“帧间(inter)”编码之类的那些编码,在该所谓的“帧内”编码中,按照自治的方式(即,无需参考其它图像)来对图像进行编码,所谓的“帧间”编码在于相对于过去的图像来对当前图像进行编码,从而表达这些图像之间的差异,并且仅仅传送此差异。
用于前述类型的编码的方法一般包括预测性编码的步骤,根据该预测性编码,当前图像的图像部分(叫做块或宏块)相对于其它参考块或宏块(即,预先编码并然后解码的其它参考块或宏块)来进行预测。
在例如H264/MPEG-4AVC(代表了“高级视频编码”)标准的情况下,宏块的预测性编码在于,根据一般具有较小尺寸的块的形状的多个分区(partition)来对宏块进行分割。
更精确地说,在根据前述标准的帧间编码的情况下,可以根据16×16、8×16、16×8和8×8模式来对要编码的当前宏块进行分区。如果选择了8×8模式,则根据8×8、4×8、8×4和4×4模式来对每个8×8块进行再次分区。将每个当前块与一个或多个参考图像的相应的一个或多个块进行比较。然后,获得运动向量,该运动向量描述当前块与具有与先前图像中的当前宏块相同的位置的参考块之间的运动。然后,计算此运动向量的预测器,从而对前述的运动向量与计算的预测器运动向量之间的残差进行编码。
运动向量的这种预测不适于所有类型的分区。
例如,图1A表现了表示为MBCN的、要编码的当前宏块的分区P1的运动向量MVp1的时间预测的情况,该要编码的当前宏块属于要根据前述标准来进行编码的图像N。在所表现的示例中,这种宏块MBCN具有传统的正方形形状。尺寸比当前宏块MBCN的尺寸更小的分区P1也具有正方形形状。而且,分区P1被其他宏块BR1、BR2、BR3、BR4所包围,所述其他宏块BR1、BR2、BR3、BR4位于该分区P1的接近邻域中,并且在所表现的示例中,所述其他宏块BR1、BR2、BR3、BR4具有与宏块MBCN的形状和尺寸相同的形状和尺寸。
在所表现的示例中,运动向量MVp1指向表示为N-1的参考图像的区域(zone)p′1处,该参考图像例如是紧邻的前一图像。在前一图像N-1中,参考图像区域p′1与当前宏块MBCN的分区p1具有相同的位置,并且与多个参考分区r′1、r′2、r′3和r′4邻接。
在H264/AVC标准的应用中,仅仅在空间上预测前述的运动向量MVp1。更精确地,采取参考运动向量的计算,该参考运动向量等于与参考宏块BR1、BR3、BR4分别相关联的运动向量MV1、MV3、MV4的中值。
而且,最近已经出现了要编码的当前宏块的新类型的分区,该分区还没有提供在H264/AVC标准中。因而,如图1B所表现的,可以将要编码的当前宏块MBCN分割为线性形状的、L形状的、亦或完全任意形状的几个分区P1到Pp。
H264/AVC标准没有提供适合于图1B的各种类型的分区的并且适合于以下特定情况的任何运动向量预测,在该特定情况下,此向量所指向的参考图像区域具有与至少一个邻居参考分区的几何形状亦或尺寸分别不同的几何形状或尺寸。
这种情形表现在图1C中,该图1C图示了分别与要编码的当前宏块MBCN的三个分区P1、P2、P3相关联的几个运动向量MVp1、MVp2、MVp3的预测的情况,该要编码的当前宏块MBCN属于要根据前述标准来进行编码的图像N。在所表现的示例中,宏块MBCN的分区P1、P2和P3具有任意的几何形状。
在所表现的示例中,表示为MVp1的、当前宏块MBCN的第一分区P1的运动向量指向在前一图像N-1中与当前宏块MBCN具有相同位置的参考图像N-1的参考宏块MBCN-1的参考图像区域p′1处。与参考图像区域p′1邻接的参考分区r′1具有与参考图像区域p′1的几何形状非常不同的几何形状,并且H264/AVC标准没有提出专用于诸如此类的典型情况的计算方案。
在H264/AVC标准的应用中,例如为了预测运动向量Mvp1,如在图1A的情况中一样,采取参考运动向量的计算,该参考运动向量一般等于与当前图像N的参考宏块BR1、BR3、BR4分别相关联的运动向量MV1、M3、MV4的空间中值(median)。
在顾及以下事实(该事实即,在图像N-1中,在参考图像区域p′1与参考分区r′1、r′2、r′3、r′4之间存在形状上和尺寸上的差异)的情况下,运动向量的这种空间预测可能结果是缺少精确度。
例如,图1D表现了表示为MBCN的、要编码的当前宏块的分区P1的运动向量MVp1的空间预测的情况,该要编码的当前宏块属于要根据前述标准来进行编码的图像N。在H264/AVC标准中使用的传统预测方案在于,凭借分别与分区P1的邻居参考分区(即,图1D的分区BR1、BR3和BR4)相关联的参考运动向量的中值来计算分区P1的运动向量MVp1。
现在,应该注意到,远离于刚好安排在分区P1之上的分区r′5,其他参考分区BR1、BR2正像BR3的参考子分区r′1、r′2、r′3和BR4的r′4一样,具有与分区P1的几何形状或尺寸非常不同的几何形状或尺寸。因而,按照类似于图1C的方式,传统的预测方案因此将不适合于在图1D所图示的特定分区。确实地,这种方案没有施加用于选择在几何形状或尺寸方面最为适合的参考分区的任何规则,并因此,没有施加用于选择用于预测MVp1的对应参考运动向量的任何规则。
而且,已知用于着眼于对当前宏块的分区进行帧间编码而计算参考运动向量的其他方案。
所述其他方案之一描述在作者为G Laroche,J.Jung和B.Pesquet-Popescu的公开IEEE Transactions on Circuits and System for Video Technology,第18卷,1247-1257(2008年九月),并且涉及以下情况,其中如在H264/AVC标准中一样,根据一般具有较小尺寸的块的形状的多个分区来对宏块进行分割。根据此方案,相对于参考运动向量来预测当前图像的宏块的运动向量,该参考运动向量被选定为指向位于在前一图像中与当前宏块具有相同位置的宏块的顶部且在左边最远处的像素处。
如果试图将后者方案应用于图1A的向量MVp1的预测或应用于图1C的向量MVp1的预测,则:
-基于与参考分区r′2相关联的参考运动向量来获得图1A的向量MVp1,参考分区p′1的最左边的像素位于参考分区r′2中;
-基于与参考分区r′1相关联的参考运动向量来获得图1C的向量MVp1,参考分区p′1的最左边的像素位于参考分区r′1中。
由于与结合在H264/AVC标准中使用的预测方案而在上面描述的原因相同的原因,所以没有一种预测是适合于各种可能类型的分区的利用此编码方案所获得的预测。
发明内容
本发明的目标之一在于补救前述现有技术的缺点。
为此目的,根据第一方面,本发明涉及一种对当前图像的分区的运动向量进行空间预测的方法,该空间预测是基于多个与所述当前图像的n个参考分区分别相关联的n个参考运动向量,所述n个参考分区已经被预先编码并然后解码。
根据本发明,在其中所述当前分区的几何形状与k个邻居参考分区的几何形状不同的情况下,其中k≤n,基于至少一个参考运动向量的函数来确定当前图像分区的运动向量,该至少一个参考运动向量属于与k个邻居参考分区分别相关联的k个参考运动向量的集合。
因而,这种安排使得可能通过考虑到以下因素来显著地改善当前分区的运动向量的预测的精确度:
-当前宏块的特定分区,
-在所考虑的当前分区与邻接参考分区之间形状上或尺寸上的差异。
此外,根据本发明的预测可适于任何类型的用于计算当前分区的预测的运动向量的方案,诸如具体地,根据H264/AVC标准的方案和在前述的IEEE公开中描述的方案。
在一个实施例中,该确定当前分区的运动向量的步骤包括以下步骤:
-对所述当前分区的至少一个像素进行空间扩展,
-从所述当前分区的所述k个邻居参考分区的集合之中选择与所述扩展的当前分区重叠的kc个参考分区的子集,
-计算与kc个所选择的参考分区分别对应的kc个参考运动向量的均值(mean)。
因而,这种安排使得可能基于以下选定准则来选择非常精确的参考运动向量,该选定准则这里是基于一方面的当前分区与另一方面的(多个)最接近参考分区之间的接近性。
在另一实施例中,该确定当前分区的运动向量的步骤包括以下步骤:
-一方面,确定所述当前分区的中心,并且另一方面,确定所述k个邻居参考分区中的每一个的中心,
-计算所确定的所述当前分区的中心分别与所确定的所述k个邻居参考分区中的每一个的中心分隔开的距离,
-从所述k个邻居参考分区之中选择其中心位于距所述当前分区的最小计算距离的那个邻居参考分区,
-选择与所述所选择的参考分区对应的参考运动向量。
在特定运行程式中,该确定当前分区的运动向量的步骤包括以下步骤:
-从所述当前分区的所述k个邻居参考分区的集合之中选择与当前分区最接近的kp个参考分区的子集,
-计算一方面的所述当前分区的中心与另一方面的kp个最接近参考分区中的每一个的中心之间的相应距离,
-计算分别与kp个所选择的参考分区对应的kp个参考运动向量的均值,所述均值通过所计算的相应距离来进行加权。
因而,这种安排使得可能按照更为精细且更加定向的方式,基于以下选定准则来选择一个或多个参考运动向量,该选定准则这里不但是基于当前分区与(多个)最接近参考分区之间的接近性,而且是基于一方面的当前分区的中心与另一方面的邻居参考分区中的每一个的中心之间的距离的比较。
在另一实施例中,该确定当前分区的运动向量的步骤包括以下步骤:
-对所述当前分区的边缘在k个邻居参考分区中的至少某些参考分区上进行延长,
-从所述某些邻居参考分区之中选择位于所延长的边缘的同一侧上的kprol个参考分区的子集,
-计算与kprol个所选择的参考分区分别对应的kprol个参考运动向量的均值。
因而,这种安排使得可能按照定向的方式,基于以下选定准则来选择一个或多个非常精确的参考运动向量,该选定准则这里是基于在预先编码并然后解码的宏块中的非连续性的存在。由于基于被假设为与在均质的图像的区域中相比、在包含非连续性的图像的区域中更加精确的参考运动向量来获得预测,因而改善了该预测的精确度。
在另一实施例中,该确定当前分区的运动向量的步骤包括以下步骤:
-确定所述当前分区的最长边缘,
-从所述k个邻居参考分区之中选择公共地具有所述边缘的kbd个参考分区的子集。
因而,这种安排使得可能基于以下选定准则来选择非常精确的参考运动向量,该选定准则这里是基于一方面的当前分区与另一方面的(多个)最接近参考分区之间的接近性。
而且,通过确定用于将当前分区与至少一个邻居参考分区分界开的这些当前分区的最长边缘,来细化这种选择。
根据第一变体,在该选择步骤之后跟随有计算分别与kbd个所选择的参考分区对应的kbd个参考运动向量的均值的步骤。
根据第二变体,该选择步骤在于,从公共地具有所述最长边缘的kbd个参考分区的子集之中选择其公共的边缘的部分最长的参考分区,并然后选择与所述所选择的参考分区对应的参考运动向量。
在又一实施例中,该确定当前分区的运动向量的步骤包括以下步骤:
-一方面计算所述当前分区的均值像素值,并且另一方面,计算用于所述k个邻居参考分区中的每一个的相同类型的像素值,
-从k个邻居参考分区之中选择其计算均值像素值最接近于所述当前分区的像素值的那个邻居参考分区,
-选择与所述所选择的参考分区对应的参考运动向量。
因而,这种安排使得可能基于以下某一特性来选择非常精确的参考运动向量,该某一特性这里是基于在当前分区的邻居参考分区中对特定像素分量(诸如,图案的、色彩的、轮廓的均值亮度等…)进行标识。
根据第二方面,本发明涉及一种用于对图像或图像的序列进行编码、以生成数据流的方法,该数据流包括表现了至少一个图像分区的数据,这种方法包括对所述图像分区的运动向量进行空间预测的步骤。
这种编码方法的特征在于,所述空间预测根据前述空间预测方法来执行。
根据第三方面,本发明涉及一种用于对数据流进行解码的方法,该数据流表现了图像或图像的序列,所述流包括表现了至少一个图像分区的数据,这种方法包括对所述图像分区的运动向量进行空间预测的步骤。
这种方法的特征在于,所述空间预测根据前述空间预测方法来执行。
相关地,根据第四方面,本发明涉及一种用于对当前图像的分区的运动向量进行空间预测的装置,该空间预测是基于多个与所述当前图像的n个参考分区分别相关联的n个参考运动向量,所述n个参考分区已经被预先编码并然后解码。
根据本发明,在其中所述当前分区的几何形状与k个邻居参考分区的几何形状不同的情况下,其中k≤n,该空间预测装置包括计算模块,该计算模块能够基于至少一个参考运动向量的函数来确定当前图像分区的运动向量,该至少一个参考运动向量属于与k个邻居参考分区分别相关联的k个参考运动向量的集合。
相关地,根据第五方面,本发明涉及一种用于对图像或图像的序列进行编码、以生成数据流的装置,该数据流包括表现了至少一个图像分区的数据,这种装置包括用于对所述图像分区的运动向量进行空间预测的部件。
这种编码装置的特征在于,所述预测部件包含在前述空间预测装置中。
相关地,根据第六方面,本发明涉及一种用于对数据流进行解码的装置,该数据流表现了图像或图像的序列,所述流包括表现了至少一个图像分区的数据,这种装置包括用于对所述图像分区的运动向量进行空间预测的部件。
这种解码装置的特征在于,所述预测部件包含在前述空间预测装置中。
本发明还涉及一种计算机程序,包括用于当在计算机上运行该计算机程序时、实现根据本发明的方法之一的指令。
所述编码方法、解码方法、空间预测装置、编码装置和解码装置至少展现出与根据本发明的空间预测方法所传达的优点相同的优点。
按照对应的方式,本发明还可应用于运动向量的时间预测。为此目的,根据第七方面,本发明涉及一种用于对当前图像的分区的运动向量进行时间预测的方法,该运动向量指向参考图像区域处,该参考图像区域具有与当前分区相同的形状、并属于与当前图像不同的并且在完成编码并然后完成解码时已经预先被分割为多个n个分区的参考图像。
根据本发明,在其中参考图像区域被安排在n个参考分区之一内部的情况下,基于至少一个参考运动向量的函数来确定当前图像分区的运动向量,该至少一个参考运动向量属于与多个n个参考分区的k个分区分别相关联的k个参考运动向量的集合,该k个分区是所述参考图像区域的邻居。
因而,这种安排使得可能通过考虑到以下因素来显著地改善当前分区的运动向量的时间预测的精确度:
-参考宏块的特定分区,
-在所考虑的参考图像区域与邻接参考分区之间形状上或尺寸上的差异。
此外,根据本发明的时间预测可适于任何类型的用于计算当前分区的预测的运动向量的方案,诸如具体地,根据H264/AVC标准的方案和在前述的IEEE公开中描述的方案。
在一个实施例中,该确定当前分区的运动向量的步骤包括以下步骤:
-对所述参考图像区域的至少一个像素进行空间扩展,
-从所述参考图像区域的所述k个邻居参考分区的集合之中选择与所述扩展的参考图像区域重叠的kc个参考分区的子集,
-计算与kc个所选择的参考分区分别对应的kc个参考运动向量的均值。
因而,这种安排使得可能基于以下选定准则来选择非常精确的参考运动向量,该选定准则这里是基于一方面的参考图像区域与另一方面的(多个)最接近参考分区之间的接近性。
在另一实施例中,该确定参考图像区域的运动向量的步骤包括以下步骤:
-一方面,确定所述参考图像区域的中心,并且另一方面,确定所述k个邻居参考分区中的每一个的中心,
-计算所确定的所述参考图像区域的中心分别与所确定的所述k个邻居参考分区中的每一个的中心分隔开的距离,
-从所述k个邻居参考分区之中选择其中心位于距所述参考图像区域的最小计算距离的那个邻居参考分区,
-选择与所述所选择的参考分区对应的参考运动向量。
根据特定运行程式中,该确定当前分区的运动向量的步骤包括以下步骤:
-从所述参考图像区域的所述k个邻居参考分区的集合之中选择最接近于参考图像区域的kp个参考分区的子集,
-计算一方面的所述参考图像区域的中心与另一方面的kp个最接近参考分区中的每一个的中心之间的相应距离,
-计算分别与kp个所选择的参考分区对应的kp个参考运动向量的均值,所述均值通过所计算的相应距离来进行加权。
因而,这种安排使得可能按照更为精细且更加定向的方式,基于以下选定准则来选择一个或多个参考运动向量,该选定准则这里不但是基于参考图像区域与(多个)最接近参考分区之间的接近性,而且是基于一方面的参考图像区域的中心与另一方面的邻居参考分区中的每一个的中心之间的距离的比较。
在另一实施例中,该确定当前分区的运动向量的步骤包括以下步骤:
-对所述参考图像区域的边缘在k个邻居参考分区中的至少某些参考分区上进行延长,
-从所述某些邻居参考分区之中选择位于所延长的边缘的同一侧上的kprol个参考分区的子集,
-计算与kprol个所选择的参考分区分别对应的kprol个参考运动向量的均值。
因而,按照安排使得可能按照定向的方式,基于以下选定准则来选择一个或多个非常精确的参考运动向量,该选定准则这里是基于在预先编码并然后解码的宏块中的非连续性的存在。由于基于被假设为与在均质的图像的区域中相比、在包含非连续性的图像的区域中更加精确的参考运动向量来获得时间预测,因而改善了该时间预测的精确度。
在另一实施例中,该确定当前分区的运动向量的步骤包括以下步骤:
-确定所述参考图像区域的最长边缘,
-从所述k个邻居参考分区之中选择公共地具有所述边缘的kbd个参考分区的子集。
因而,这种安排使得可能基于以下选定准则来选择非常精确的参考运动向量,该选定准则这里是基于一方面的参考图像区域与另一方面的(多个)最接近参考分区之间的接近性。
而且,通过确定用于将参考图像区域与至少一个邻居参考分区分界开的这些参考图像区域的最长边缘来细化这种选择。
根据第一变体,在该选择步骤之后跟随有计算分别与kbd个所选择的参考分区对应的kbd个参考运动向量的均值的步骤。
根据第二变体,该选择步骤在于,从公共地具有所述最长边缘的kbd个参考分区的子集之中选择其公共的边缘的部分最长的参考分区,并然后选择与所述所选择的参考分区对应的参考运动向量。
在又一实施例中,该确定当前分区的运动向量的步骤包括以下步骤:
-一方面计算所述参考图像区域的均值像素值,并且另一方面,计算用于所述k个邻居参考分区中的每一个的相同类型的像素值,
-从k个邻居参考分区之中选择其所计算的均值像素值最接近于所述参考图像区域的像素值的那个邻居参考分区,
-选择与所述所选择的参考分区对应的参考运动向量。
因而,这种安排使得可能基于以下某一特性来选择非常精确的参考运动向量,该某一特性这里是基于在参考图像区域的邻居参考分区中对特定像素分量(诸如,图案的、色彩的、轮廓的均值亮度等…)进行标识。
根据第八方面,本发明涉及一种用于对图像或图像的序列进行编码、以生成数据流的方法,该数据流包括表现了至少一个图像分区的数据,这种方法包括对所述图像分区的运动向量进行时间预测的步骤。
这种编码方法的特征在于,所述时间预测根据前述时间预测方法来执行。
根据第九方面,本发明涉及一种用于对数据流进行解码的方法,该数据流表现了图像或图像的序列,所述流包括表现了至少一个图像分区的数据,所述方法包括对所述图像分区的运动向量进行时间预测的步骤。
这种方法的特征在于,所述时间预测根据前述时间预测方法来执行。
相关地,根据第十方面,本发明涉及一种用于对当前图像的分区的运动向量进行时间预测的装置,该运动向量指向参考图像区域处,该参考图像区域具有与当前分区相同的形状,并属于与当前图像不同的并且在完成编码并然后完成解码时已经预先被分割为多个n个分区的参考图像。
根据本发明,在其中参考图像区域被安排在n个参考分区之一内部的情况下,该时间预测装置包括计算模块,该计算模块能够基于至少一个参考运动向量的函数来确定当前图像分区的运动向量,该至少一个参考运动向量属于与多个n个参考分区的k个分区分别相关联的k个参考运动向量的集合,该k个分区是所述参考图像区域的邻居。
相关地,根据第十一方面,本发明涉及一种用于对图像或图像的序列进行编码、以生成数据流的装置,该数据流包括表现了至少一个图像分区的数据,这种装置包括对所述图像分区的运动向量进行时间预测的部件。
这种编码装置的特征在于,所述预测部件包含在前述时间预测装置中。
相关地,根据第十二方面,本发明涉及一种用于对数据流进行解码的装置,该数据流表现了图像或图像的序列,所述流包括表现了至少一个图像分区的数据,这种装置包括对所述图像分区的运动向量进行时间预测的部件。
这种解码装置的特征在于,所述预测部件被包含在前述时间预测装置中。
本发明还涉及一种计算机程序,包括用于当在计算机上运行该计算机程序时、实现根据本发明的方法之一的指令。
所述编码方法、解码方法、时间预测装置、编码装置和解码装置至少展现出与根据本发明的时间预测方法所传达的优点相同的优点。
附图说明
一旦阅读了参考附图所描述的优选实施例,其他特性和优点就将变得明显,在附图中:
-图1A表现了现有技术的示范时间预测,其利用了图像N的要编码的当前宏块与前一图像N-1的参考宏块之间的时间相关性,该参考宏块具有正方形形状,并且被安排在邻居参考宏块内部,
-图1B表现了根据现有技术的各种类型的分区的宏块分割,
-图1C表现了现有技术的示范时间预测,其利用了图像N的要编码的当前宏块与前一图像N-1的参考宏块之间的时间相关性,该当前宏块被根据任意形状的几个分区来进行分割,这些分区之一的运动向量指向被安排在邻居参考宏块内部的参考图像区域处,
-图1D表现了现有技术的示范空间预测,其利用了图像N的要编码的当前宏块与此图像的邻居参考分区之间的空间相关性,
-图2表现了根据本发明的编码方法的步骤,
-图3表现了根据本发明的编码装置的实施例,
-图4A和4B表现了分别根据空间和时间两种类型的预测的、根据本发明的用于预测运动向量的第一方案,
-图5A和5B表现了分别根据空间和时间两种类型的预测的、根据本发明的用于预测运动向量的第二方案,
-图6A和6B表现了分别根据空间和时间两种类型的预测的、根据本发明的用于预测运动向量的第三方案,
-图7A和7B表现了分别根据空间和时间两种类型的预测的、根据本发明的用于预测运动向量的第四方案,
-图8A和8B表现了分别根据空间和时间两种类型的预测的、根据本发明的用于预测运动向量的第五方案,
-图9表现了根据本发明的解码装置,
-图10表现了根据本发明的解码方法的步骤。
具体实施方式
现在,将描述本发明的实施例,其中根据本发明的编码方法用于根据二进制流来对图像的序列进行帧间编码,该二进制流与经由根据H.264/MPEG-4AVC标准的编码所获得的二进制流非常相像。在此实施例中,例如,通过修改初始地符合H.264/MPEG-4AVC标准的编码器,而按照软件或硬件方式来实现根据本发明的编码方法。按照包括在图2中表现的步骤C0到C6的算法的形式来表现根据本发明的编码方法。
在图3所表现的编码装置CO中实现根据本发明的编码方法。
在图2中表现的第一步骤C0是对于属于在图3中表示为IN的要编码的图像的序列的图像的宏块,选择与此宏块相关联的特定分区。
应该注意到,步骤C0是可选的,可能通过在整体上考虑当前宏块(即,将当前宏块考虑为一个单一分区)来执行该当前宏块的运动向量的预测。
在步骤C0的过程中,例如,将4×4尺寸的且属于图像IN的宏块MBN作为输入而应用于在图3中表现的分区选择模块SP。
此分区模块SP例如使用用于通过穷举竞争来进行选定的方案,亦或使用用于借助于具有先验的算法来进行选定的方案。这些方案对于本领域技术人员是公知的(参见:G.J.Sullivan和T.Wiegand,″Rate-distortion optimizationfor video compression″,IEEE Signal Proc.Mag.,第74-90页,1998年)。因此,在下文中将不描述它们。
在编码器CO的数据库BD中将各种类型的可能的分区算法分组到一起。它们使得可能获得当前宏块到矩形或正方形形状的、或者其他几何形状(诸如,实质上线性形状)的、或完全任意形状的多个分区中的分割。
在图2中表现的接下来的步骤C1是将宏块MBN分割为多个要预测的p个分区。
在图4A所表现的示例中,例如,将宏块MBN分割为正方形形状的四个较小分区P1、P2、P3和P4。通过图3所表现的宏块分区模块PMBCO来执行这种分割,该宏块分区模块PMBCO使用传统的分区算法。
在分区步骤C1之后,在图2所表现的步骤C2的过程中,分区模块PMBCO将刚刚已经分割的宏块MBN传送到图3所表现的预测模块PREDCO。
按照传统的方式,这种预测模块PREDCO意欲相对于多个n个参考分区来预测所分区的当前宏块MBN,所述多个n个参考分区属于已经预先编码并然后解码的先前图像IN-1,或者属于当前图像IN
在图4A所表现的示例中,表现了六个参考分区r′1、r′2、r′3、r′4、r′5和r′6。
参考图3,根据H.264/MPEG-4AVC标准来对先前图像IN-1的参考分区进行编码,即,它们按照本身已知的方式来经历:
-通过离散余弦变换和量化进行的编码,这是通过变换和量化模块TQCO来执行的,
-和然后的通过逆离散余弦变换和逆量化进行的解码,这是通过逆变换和量化模块TQICO来执行的。
仍然参考图3,预测模块PREDCO包括:
-分区模块PMB,意欲根据多个n个参考分区r′1、r′2、…、r′n来分割图像IN-1的参考宏块,
-计算模块CAL,意欲对与当前宏块MBN的分区P1、P2、…、Pp分别相关联的每个运动向量MVp1、MVp2、…、MVpp进行预测。
根据本发明,根据运动向量MVp1、MVp2、…、MVpp的预测的类型(即,空间或时间),在其中分别地运动向量MVp1、MVp2、…、MVpp所指向的当前分区P1、P2、…、Pp或者参考图像区域p′1、p′2、…、p′p具有分别与从k(其中,k≤n)个邻接参考分区之中选定的至少一个参考分区的几何形状或尺寸不同的几何形状或尺寸的情况下,计算模块CAL基于至少一个参考运动向量的函数来预测当前图像分区的运动向量,该至少一个运动向量属于分别与k个邻居参考分区相关联的k个参考运动向量的集合。
在图2所表现的步骤C3的过程中,图3的分区模块PMB经历根据n个参考分区r′1、r′2、…、r′n分割参考图像IN-1
在图2所表现的步骤C4的过程中,图3的计算模块CAL根据在下文中描述的根据本发明的各种方案,来对于每个当前分区,计算分别与其相关联的预测的运动向量。
根据诸如图4A所表现的、用于预测运动向量的第一方案,在时间类型的预测的情况下,在顾及以下事实(该事实即,运动向量MVp1所指向的参考图像区域p′1被安排在邻接参考分区r′1内部,该邻接参考分区r′1展现出与参考图像区域p′1的尺寸不同的尺寸)的时间类型的预测的情况下,模块CAL经历参考图像区域p′1的至少一个像素的扩展。这种扩展例如包含本领域技术人员所公知的形态扩展数学运算符的传播。在所表现的示例中,所执行的扩展具有单一像素,并且通过图4A中的阴影区域来表现。其后,计算模块CAL选择与扩展的参考图像区域p′1ext重叠的kc个邻接参考分区的子集。在所表现的示例中,存在kc个邻接参考分区r′1、r′2、r′3、r′4、r′5和r′6。然后,计算模块CAL作为参考运动向量MVr′1、MVr′2、MVr′3、MVr′4、MVr′5和MVr′6的函数来确定当前分区P1的预测的运动向量MVp1,所述参考运动向量MVr′1、MVr′2、MVr′3、MVr′4、MVr′5和MVr′6分别与图4A所表现的六个重叠参考分区r′1、r′2、r′3、r′4、r′5和r′6相关联。例如,这种确定在于,根据在下文中的等式来计算参考运动向量MVr′1、MVr′2、MVr′3、MVr′4、MVr′5、MVr′6的中值:
MVp1=Mean(MVr′1,MVr′2,MVr′3,MVr′4,MVr′5,MVr′6)
根据此方案的变体,模块CAL确定参考运动向量MVr′1、MVr′2、MVr′3、MVr′4、MVr′5、MVr′6的均值,该均值通过在扩展的参考图像区域p′1ext与和该扩展的参考图像区域p′1ext重叠的参考分区r′1、r′2、r′3、r′4、r′5、r′6中的每一个之间共享的像素的公共数目来进行加权。这种确定相当于根据在下文中的等式来计算预测的运动向量MVp1:
Figure BDA0000139795740000141
其中:
-kc=6,
并且
Figure BDA0000139795740000142
表现了在扩展的参考图像区域p′1ext与和该扩展的参考图像区域p′1ext重叠的参考分区r′1、r′2、r′3、r′4、r′5、r′6中的每一个之间共享的像素的公共数目。
在图4A所表现的示例中, MVp 1 = 1 20 · ( 9 r ′ 1 + 4 r ′ 3 + 4 r ′ 5 + r ′ 2 + r ′ 4 + r ′ 6 ) .
可以将上文中刚刚已经描述的第一方案及其变体应用于诸如图4B所表现的运动向量MVp1的空间预测。在所表现的示例中,在顾及以下事实(该事实即,当前分区P1与邻接参考分区pr1具有不同的尺寸)的情况下,模块CAL经历如在上文中参考图4A所描述的当前分区P1的至少一个像素的扩展,以获得扩展的当前分区P1ext。在所表现的示例中,所执行的扩展是单一像素,并且通过图4B中的阴影区域来表现。其后,计算模块CAL选择与扩展的当前分区P1ext重叠的kc个邻接参考分区的子集。在所表现的示例中,存在kc个邻接参考分区pr1、pr2、pr3、pr4、pr5和pr6。然后,计算模块CAL作为参考运动向量MVr1、MVr2、MVr3、MVr4、MVr5和MVr6的函数来确定当前分区P1的预测的运动向量MVp1,所述参考运动向量MVr1、MVr2、MVr3、MVr4、MVr5和MVr6分别与图4B所表现的六个重叠参考分区pr1、pr2、pr3、pr4、pr5和pr6相关联。例如,这种确定在于根据在下文中的等式来计算参考运动向量MVr1、MVr2、MVr3、MVr4、MVr5、MVr6的中值:
MVp1=Mean(MVr1,MVr2,MVr3,MVr4,MVr5,MVr6)
作为变体,模块CAL确定参考运动向量MVr1、MVr2、MVr3、MVr4、MVr5、MVr6的均值,该均值通过在扩展的当前分区P1ext与和该扩展的当前分区P1ext重叠的参考分区pr1、pr2、pr3、pr4、pr5、pr6中的每一个之间共享的像素的公共数目来进行加权。
现在,将参考图5A来描述第二运动向量预测方案。在所表现的示例中,例如,将宏块MBN分割为任意形状的三个分区P1、P2和P3。就其自身而言,根据n个参考分区r′1、r′2、…、r′n来进行分割参考图像IN-1
根据诸如图5A所表现的第二运动向量预测方案,在时间类型的预测的情况下,在顾及以下事实(该事实即,运动向量MVp1所指向的参考图像区域p′1具有与邻接参考分区r′1的几何形状不同的几何形状)的时间类型的预测的情况下,模块CAL确定参考图像区域p′1的中心(在图5A中表示为CTp′1),并且另一方面,确定邻居参考分区r′1、r′2、r′3、r′4、r′5中的每一个的对应中心CTr′1、CTr′2、CTr′3、CTr′4、CTr′5。其后,模块CAL计算将参考图像区域p′1的中心CTp′1分别与中心CTr′1、CTr′2、CTr′3、CTr′4、CTr′5中的每一个分隔开的距离。借助于以下算法来计算中心CTp′1、CTr′1、CTr′2、CTr′3、CTr′4、CTr′5,分别地,该算法使得相对于参考图像区域P′1和参考分区r′1、r′2、r′3、r′4、r′5的所有点的距离之和最小化。然后,模块CAL从邻居参考分区r′1、r′2、r′3、r′4、r′5之中选择其中心位于距参考图像区域p′1的最小计算距离的那个邻居参考分区。在所表现的示例中,这是参考分区r′1。最终,模块CAL将预测的运动向量MVp1计算为等于与选择的参考分区r′1对应的参考运动向量MVr′1。
在图5A所表现的示例中,MVp1=MVr′1。
根据此第二方案的变体,模块CAL从邻居参考分区r′1到r′5的集合之中选择最接近于参考图像区域p′1的那些邻居参考分区。在所表现的示例中,这些是参考分区r′1、r′2和r′3。其后。模块CAL确定参考图像区域p′1的中心CTp′1,并且另一方面,确定最接近参考分区r′1、r′2、r′3中的每一个的对应中心CTr′1、CTr′2、CTr′3。其后,模块CAL计算将参考图像区域p′1的中心CTp′1分别与中心CTr′1、CTr′2、CTr′3中的每一个分隔开的距离。模块CAL将预测的运动向量MVp1计算为等于参考运动向量MVr′1、MVr′2、MVr′3的均值,所述均值通过所计算的三个相应的距离来进行加权。
可以将上文中刚刚已经描述的第二方案及其变体应用于诸如图5B所表现的运动向量MVp1的空间预测。在所表现的示例中,在顾及了以下事实(该事实即,当前分区P1具有与邻接参考分区pr1的几何形状不同的几何形状)的情况下,模块CAL确定当前分区P1的中心(在图5B中表示为CTp1),并且另一方面,确定邻居参考分区pr1、pr2、pr3、pr4、pr5的每一个中的对应中心CTr1、CTr2、CTr3、CTr4、CTr5。其后,模块CAL计算将当前分区P1的中心CTp1分别与中心CTr1、CTr2、CTr3、CTr4、CTr5中的每一个分隔开的距离。然后,模块CAL从邻居参考分区pr1、pr2、pr3、pr4、pr5之中选择其中心位于距当前分区P1的最小计算距离的那个邻居参考分区。在所表现的示例中,这是参考分区pr1。最终,模块CAL将预测的运动向量MVp1计算为等于与选择的参考分区pr1对应的参考运动向量MVr1。
在图5B所表现的示例中,MVp1=MVr1。
作为变体,模块CAL从邻居参考分区pr1到pr5的集合之中选择最接近于当前分区P1的那个邻居参考分区。在所表现的示例中,这些是参考分区pr1、pr2和pr3。其后,模块CAL确定当前分区P1的中心CTp1,并且另一方面,确定参考分区pr1、pr2、pr3中的每一个的对应中心CTr1、CTr2、CTr3。其后,模块CAL计算将当前分区P1的中心CTp1分别与中心CTr1、CTr2、CTr3中的每一个分隔开的距离。模块CAL将预测的运动向量MVp1计算为等于参考运动向量MVr1、MVr2、MVr3的均值,所述均值通过所计算的三个相应的距离来进行加权。
现在,将参考图6A来描述第三运动向量预测方案。在所表现的示例中,例如,将宏块MBN分割为任意形状的三个分区P1、P2和P3。就其自身而言,参考图像IN-1根据n个参考分区r′1、r′2、…、r′n来进行分割。
根据诸如图6A所表现的第三运动向量预测方案,在时间类型的预测的情况下,在顾及以下事实(该事实即,运动向量MVp1所指向的参考图像区域p′1具有与邻接参考分区r′1到r′5的几何形状不同的几何形状)的情况下,模块CAL经历参考图像区域p′1的边缘b d′1在前述邻居参考分区中的至少一些上的延长。延长通过图6A中的虚线来表现。其后,模块CAL从邻居参考分区之中选择位于延长的边缘的同一侧上的参考分区。在所表现的示例中,这些是参考分区r′1、r′2、r′3。然后,模块CAL将预测的运动向量MVp1计算为等于与选择的参考分区r′1、r′2、r′3分别相关联的参考运动向量MVr′1、MVr′2、MVr′3的均值。
可以将上文中刚刚已经描述的第三方案应用于诸如图6B所表现的运动向量MVp1的空间预测。在所表现的示例中,在顾及以下事实(该事实即,当前分区P1具有与邻接参考分区pr1到pr5的几何形状不同的几何形状)的情况下,模块CAL经历当前分区P1的边缘bd1在前述邻居参考分区中的至少一些上的延长。延长通过图6B中的虚线来表现。其后,模块CAL从邻居参考分区之中选择位于延长的边缘的同一侧上的参考分区。在所表现的示例中,这些是参考分区pr1、pr2、pr3。然后,模块CAL将预测的运动向量MVp1计算为等于与选择的参考分区pr1、pr2、pr3分别相关联的参考运动向量MVr1、MVr2、MVr3的均值。
现在,将参考图7A来描述第四运动向量预测方案。在所表现的示例中,例如,将宏块MBN分割为任意形状的两个分区P1和P2。就其自身而言,参考图像IN-1根据n个参考分区r′1、r′2、…、r′n来进行分割。
根据诸如图7A所表现的第四运动向量预测方案,在时间类型的预测的情况下,在顾及以下事实(该事实即,运动向量MVp1所指向的参考图像区域p′1与邻接参考分区r′1到r′5具有不同的几何形状)的情况下,模块CAL确定参考图像区域p′1的最长边缘。在图7A中将这种边缘表示为bdl′1。其后,模块CAL从邻居参考分区r′1到r′5之中选择具有公共边缘bdl′1的参考分区。在所表现的示例中,这些是参考分区r′3和r′4。
根据此第四方案的第一变体,模块CAL将预测的运动向量MVp1计算为等于与选择的参考分区r′3和r′4分别相关联的参考运动向量MVr′3和MVr′4的均值。
根据第二变体,模块CAL通过与参考图像区域p′1公共的参考分区r′3的边缘的长度、并且通过与参考图像区域p′1公共的参考分区r′4的边缘的长度,来对所述计算的均值进行加权。
根据第三变体,模块CAL从两个参考分区r′3和r′4之中选择其与参考图像区域p′1公共的边缘是最长的那个参考分区。在所表现的示例中,这是参考分区r′3。其后,模块CAL将预测的运动向量MVp1计算为等于与选择的参考分区r′3对应的参考运动向量MVr′3。
在图7A所表现的示例中,MVp1=MVr′3。
可以将上文中刚刚已经描述的第四方案及其三个变体应用于诸如图7B所表现的运动向量MVp1的空间预测。在所表现的示例中,在顾及以下事实(该事实即,当前分区P1具有与邻接参考分区pr1到pr5的几何形状不同的几何形状)的情况下,模块CAL确定当前分区P1的最长边缘。在图7B中将这种边缘表示为bdl1。其后,模块CAL从邻居参考分区pr1到pr5之中选择公共地具有边缘bdl1的参考分区。在所表现的示例中,这些是参考分区pr3和pr3。
根据前述三个变体,模块CAL:
-将预测的运动向量MVp1计算为等于与选择的参考分区pr3和pr4分别相关联的参考运动向量MVr3和MVr4的均值,
-通过与当前分区P1公共的参考分区pr3的边缘的长度并且通过与当前分区P1公共的参考分区pr4的边缘的长度,来对所述计算的均值进行加权,
-将预测的运动向量MVp1计算为等于与参考分区pr3对应的参考运动向量MVr3,该参考分区pr3具有与当前分区P1公共的最长边缘。
现在,将参考图8A来描述第五运动向量预测方案。在所表现的示例中,例如,将宏块MBN分割为矩形形状的两个相等分区P1和P2。就其自身而言,参考图像IN-1根据n个参考分区r′1、r′2、…、r′n来进行分割。
根据诸如图8A所表现的第五运动向量预测方案,在时间类型的预测的情况下,在顾及以下事实(该事实即,运动向量MVp1所指向的参考图像区域p′1具有与邻接参考分区r′1到r′5的几何形状不同的几何形状,并且它包含诸如黑色圆圈C′1之类的特定色彩的图案)的情况下,模块CAL计算参考图像区域p′1与邻居参考分区r′1到r′5中的每一个的均值亮度。然后,它从邻居参考分区r′1到r′5之中选择其计算的均值亮度最接近于参考图像区域p′1的亮度的那个邻居参考分区。在所表现的示例中,这是参考分区r′2,该参考分区r′2包括与参考图像区域p′1的图案相似的图案C′2。其后,模块CAL将预测的运动向量MVp1计算为等于与选择的参考分区r′2对应的参考运动向量MVr′2。
可以将上文中刚刚已经描述的第五方案应用于诸如图8B所表现的运动向量MVp1的空间预测。在所表现的示例中,在顾及以下事实(该事实即,当前分区P1具有与邻接参考分区pr1到pr5的几何形状不同的几何形状,并且它包含诸如黑色圆圈C1之类的特定色彩的图案)的情况下,模块CAL计算当前分区P1与邻居参考分区pr1到pr5中的每一个的均值亮度。然后,它从邻居参考分区pr1到pr5之中选择其计算的均值亮度最接近于当前分区P1的均值亮度的那个邻居参考分区。在所表现的示例中,这是参考分区pr2,该参考分区pr2包括与当前分区P1的图案相似的图案Cr2。其后,模块CAL将预测的运动向量MVp1计算为等于与选择的参考分区pr2对应的参考运动向量MVr2。
在依照根据本发明的前述方案中的这个或那个方案来完成计算步骤C4时,预测计算模块PREDCO然后传递第一预测的向量MVp1,在其中编码器CO将该第一预测的向量MVp1保持为最优运动向量的类型的情况下,通过变换和量化模块TQCO来对它立即进行编码,并然后通过逆变换和量化模块TQICO来对它进行解码,这表现在图3中。
其后,对前述步骤C4进行重复,从而预测与当前宏块MBN的分区P2到Pp分别相关联的其他运动向量MVp2到MVpp。
一旦预测计算模块PREDCO已经计算了各种可能的预测,在图2所表现的步骤C5的过程中,图3所表现的决定模块DCNCO就扫描所分区的图像IN的宏块,并且在此步骤C5中选定用于对这些宏块中的每一个进行编码的预测模式。从用于宏块的可能预测之中,决定模块DCNCO根据本领域技术人员公知的比率失真准则来选定最优的预测。
参考图2,如在H.264/MPEG-4AVC标准中一样,在步骤C6的过程中,对每个预测的宏块进行编码。
参考图3,一旦决定模块DCNCO已经执行了此结构编码,就将与图像IN的块对应的残差(如果它们存在的话)的系数分派到变换和量化模块TQCO,以经历离散余弦变换,该离散余弦变换之后跟随有量化。其后,将具有这些量化系数的宏块的切片传送到所表现的熵编码模块CE,从而利用已经按照与图像IN相同的方式而编码的视频序列的其他图像来产生根据本发明所编码的二进制视频流F。
通过通信网络来将如此编码的二进制流F传送到远程终端。该远程终端包括图9所表现的、根据本发明的解码器DO。
首先,将二进制流F分派到熵解码模块DE,该解码与在图3中表现的熵编码模块CE所执行的编码相逆。接下来,对于要重构的每个图像宏块,将模块DE所解码的系数分派到逆量化和逆变换模块QTIDO。
然后,图像重构模块RI将与模块DCNCO(图3)在根据本发明的编码步骤C5中产生的数据对应的解码数据接收在传送误差内。模块RI实现根据本发明的解码方法的、诸如图10所表现的步骤D0到D6。同样,通过修改初始地符合H.264/MPEG-4AVC标准的解码器,而按照软件或硬件方式来实现根据本发明的这种解码方法。
第一步骤D0是对在要解码的图像IN的当前宏块的切片中编码的数据结构进行解码。按照本身已知的方式,重构模块RI基于所述宏块切片的数据来确定:
-所述数据的编码的类型,帧内或帧间:根据本发明的帧间,
-要重构的宏块的分区的类型,帧间4×4、8×8、线条、等…:在所描述的实施例中的帧间4×4,
-诸如由决定模块DCNCO在前述步骤C5中选择的最优预测器的索引。
在图10中表现的接下来的步骤D1是根据在步骤D0中所确定的分区来分割要解码的当前宏块。为此目的,参考图9,在所有方面类似于图3所表现的分区模块的宏块分区模块PMBDO将宏块分割为多个p个分区P1到Pp。
在图10所表现的步骤D2的过程中,分区模块PMBDO将刚刚已经分区的、要解码的当前宏块传送到图9所表现的预测模块PREDDO,该预测模块PREDDO在所有方面类似于图3的编码器CO的预测模块PREDCO,并且为此原因将不再详细地进行描述。
在图10所表现的步骤D3和D4的过程中,图9的预测模块PREDDO执行与前述编码器CO的预测模块PREDCO所执行的算法相同的算法,从而获得当前宏块,已经根据在上文中描述的五个方案中的这个或那个方案来预测了该当前宏块的相关联的运动向量。
在步骤D5的过程中,决定模块DCNDO根据本领域技术人员公知的比率失真准则来选定最优的预测。
其后,如在H.264/MPEG-AVC标准中一样,在步骤D6的过程中,对每个预测的宏块进行解码。
一旦已经解码了图像IN的所有宏块,参考图9,图像重构模块RI就作为来自解码器DO的输出而提供与图像IN的解码对应的图像IDN
在顾及以下事实(该事实即,在解码器DO处执行的预测算法在每个方面与在编码器CO处执行的预测算法相同)的情况下,大大地减少了预测器所引入的信息代价。
无需赘述的是,已经单纯地借助于完全非限制性的指示而给出了已经在上文中描述的实施例,并且本领域技术人员可以容易地做出若干修改,然而并不脱离本发明的范围。

Claims (15)

1.一种对当前图像(IN)的分区的运动向量进行空间预测的方法,该空间预测是基于多个与所述当前图像(IN)的n个参考分区(r′1、r′2、…、r′n)分别相关联的n个参考运动向量,所述n个参考分区(r′1、r′2、…、r′n)已经被预先编码并然后解码,所述方法的特征在于,在其中所述当前分区的几何形状与k个邻居参考分区(r′1、r′2、…r′k)的几何形状不同的情况下,其中k≤n,基于至少一个参考运动向量的函数来确定当前图像分区的运动向量,该至少一个参考运动向量属于与k个邻居参考分区分别相关联的k个参考运动向量(MVr′1、MVr′2、…、MVr′k)的集合。
2.根据权利要求1的预测方法,其中,该确定当前分区的运动向量的步骤包括以下步骤:
-对所述当前分区的至少一个像素进行空间扩展,
-从所述当前分区的所述k个邻居参考分区的集合之中选择与所述扩展的当前分区重叠的kc个参考分区的子集,
-计算与kc个所选择的参考分区分别对应的kc个参考运动向量的均值。
3.根据权利要求1的预测方法,其中,该确定当前分区的运动向量的步骤包括以下步骤:
-一方面,确定所述当前分区的中心,并且另一方面,确定所述k个邻居参考分区中的每一个的中心,
-计算所确定的所述当前分区的中心分别与所确定的所述k个邻居参考分区中的每一个的中心分隔开的距离,
-从所述k个邻居参考分区之中选择其中心位于距所述当前分区的最小计算距离的那个邻居参考分区,
-选择与所述所选择的参考分区对应的参考运动向量。
4.根据权利要求1的预测方法,其中,该确定当前分区的运动向量的步骤包括以下步骤:
-从所述当前分区的所述k个邻居参考分区的集合之中选择与当前分区最接近的kp个参考分区的子集,
-计算一方面的所述当前分区的中心与另一方面的kp个最接近参考分区中的每一个的中心之间的相应距离,
-计算分别与kp个所选择的参考分区对应的kp个参考运动向量的均值,所述均值通过所计算的相应距离来进行加权。
5.根据权利要求1的预测方法,其中,该确定当前分区的运动向量的步骤包括以下步骤:
-对所述当前分区的边缘在k个邻居参考分区中的至少某些参考分区上进行延长,
-从所述某些邻居参考分区之中选择位于所延长的边缘的同一侧上的kprol个参考分区的子集,
-计算与kprol个所选择的参考分区分别对应的kprol个参考运动向量的均值。
6.根据权利要求1的预测方法,其中,该确定当前分区的运动向量的步骤包括以下步骤:
-确定所述当前分区的最长边缘,
-从所述k个邻居参考分区之中选择公共地具有所述边缘的kbd个参考分区的子集。
7.根据权利要求6的预测方法,其中,在该选择步骤之后跟随有计算分别与kbd个所选择的参考分区对应的kbd个参考运动向量的均值的步骤。
8.根据权利要求6的预测方法,其中,该选择步骤在于,从公共地具有所述最长边缘的kbd个参考分区的子集之中选择其公共的边缘的部分最长的参考分区,并然后选择与所述所选择的参考分区对应的参考运动向量。
9.根据权利要求1的预测方法,其中,该确定当前分区的运动向量的步骤包括以下步骤:
-一方面计算所述当前分区的均值像素值,并且另一方面,计算关于所述k个邻居参考分区中的每一个的相同类型像素值,
-从k个邻居参考分区之中选择其计算均值像素值最接近于所述当前分区的均值像素值的那个邻居参考分区,
-选择与所述所选择的参考分区对应的参考运动向量。
10.一种用于对图像或图像的序列进行编码、以生成数据流(F)的方法,该数据流(F)包括表现了至少一个图像分区的数据,所述方法包括对所述图像分区的运动向量进行空间预测的步骤,
所述方法的特征在于,所述空间预测根据权利要求1到9中任一项的方法来执行。
11.一种用于对数据流(F)进行解码的方法,该数据流(F)表现了图像或图像的序列,所述流包括表现了至少一个图像分区的数据,所述方法包括对所述图像分区的运动向量进行空间预测的步骤,
所述方法的特征在于,所述空间预测根据权利要求1到9中任一项的方法来执行。
12.一种用于对当前图像(IN)的分区的运动向量进行空间预测的装置,该空间预测是基于多个与所述当前图像(IN)的n个参考分区(r′1、r′2、…、r′n)分别相关联的n个参考运动向量,所述n个参考分区(r′1、r′2、…、r′n)已经被预先编码并然后解码,
该预测装置的特征在于,在其中所述当前分区的几何形状与k个邻居参考分区(r′1、r′2、…r′k)的几何形状不同的情况下,其中k≤n,该空间预测装置包括计算模块,该计算模块能够基于至少一个参考运动向量的函数来确定当前图像分区的运动向量,该至少一个参考运动向量属于与k个邻居参考分区分别相关联的k个参考运动向量(MVr′1、MVr′2、…、MVr′k)的集合。
13.一种用于对图像或图像的序列进行编码、以生成数据流(F)的装置(CO),该数据流(F)包括表现了至少一个图像分区的数据,所述装置包括用于对所述图像分区的运动向量进行空间预测的部件,
其特征在于,所述预测部件包含在根据权利要求12的装置的空间预测装置中。
14.一种用于对数据流(F)进行解码的装置(DEC),该数据流(F)表现了图像或图像的序列,所述流(F)包括表现了至少一个图像分区的数据,所述装置包括用于对所述图像分区的运动向量进行空间预测的部件,
其特征在于,所述预测部件包含在根据权利要求12的装置的空间预测装置中。
15.一种计算机程序,包括用于当在计算机上运行该计算机程序时、实现根据权利要求1到11中任一项的方法之一的指令。
CN201080038820.XA 2009-07-03 2010-06-25 具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码 Active CN102498718B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0954624 2009-07-03
FR0954624 2009-07-03
PCT/FR2010/051306 WO2011001078A1 (fr) 2009-07-03 2010-06-25 Prédiction d'un vecteur mouvement d'une partition d'image courante de forme géometrique ou de taille différente de celle d'au moins une partition d'image de référence voisine, codage et décodage utilisant une telle prédiction

Publications (2)

Publication Number Publication Date
CN102498718A true CN102498718A (zh) 2012-06-13
CN102498718B CN102498718B (zh) 2016-01-20

Family

ID=41445499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080038820.XA Active CN102498718B (zh) 2009-07-03 2010-06-25 具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码

Country Status (4)

Country Link
US (1) US10051283B2 (zh)
EP (3) EP3651466A1 (zh)
CN (1) CN102498718B (zh)
WO (1) WO2011001078A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020094079A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Block size dependent storage of motion information

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
BR112013017208B1 (pt) 2011-01-07 2019-01-29 Ntt Docomo, Inc. Método de codificação preditiva e dispositivo de codificação preditiva de vetor de movimento, e método de decodificação preditiva e dispositivo de decodificação preditivade vetor de movimento
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
GB2488816A (en) 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
GB2501836B (en) * 2011-03-09 2014-08-06 Canon Kk Video encoding
GB2494172B (en) * 2011-09-01 2014-10-22 Canon Kk Communication of video information
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982447A1 (fr) * 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
WO2020094052A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Side information signaling for inter prediction with geometric partitioning
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
CN113647104A (zh) * 2019-01-28 2021-11-12 Op方案有限责任公司 在以自适应区域数量进行的几何分区中的帧间预测
US11240501B2 (en) * 2020-01-08 2022-02-01 Tencent America LLC L-type partitioning tree

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090456A (zh) * 2006-06-14 2007-12-19 索尼株式会社 图像处理装置和方法、图像拾取装置和方法
US20080159401A1 (en) * 2007-01-03 2008-07-03 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US20080247465A1 (en) * 2007-04-05 2008-10-09 Jun Xin Method and System for Mapping Motion Vectors between Different Size Blocks

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573366B2 (ja) * 1997-09-25 2010-11-04 株式会社大宇エレクトロニクス 動きベクトル符号化方法及び符号化装置
GB0016838D0 (en) * 2000-07-07 2000-08-30 Forbidden Technologies Plc Improvements relating to representations of compressed video
EP2819411B1 (en) * 2001-09-14 2018-08-29 NTT DoCoMo, Inc. Coding method and decoding method
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP3898606B2 (ja) * 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
US20040141555A1 (en) * 2003-01-16 2004-07-22 Rault Patrick M. Method of motion vector prediction and system thereof
JP4779435B2 (ja) * 2005-05-17 2011-09-28 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
EP2047687B1 (en) * 2006-08-02 2018-05-16 Thomson Licensing DTV Adaptive geometric partitioning for video encoding
WO2009051719A2 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometically partitioned super blocks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101090456A (zh) * 2006-06-14 2007-12-19 索尼株式会社 图像处理装置和方法、图像拾取装置和方法
US20080159401A1 (en) * 2007-01-03 2008-07-03 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US20080247465A1 (en) * 2007-04-05 2008-10-09 Jun Xin Method and System for Mapping Motion Vectors between Different Size Blocks

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020094079A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Block size dependent storage of motion information
US11265541B2 (en) 2018-11-06 2022-03-01 Beijing Bytedance Network Technology Co., Ltd. Position dependent storage of motion information
US11431973B2 (en) 2018-11-06 2022-08-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidates for inter prediction
US11665344B2 (en) 2018-11-06 2023-05-30 Beijing Bytedance Network Technology Co., Ltd. Multiple merge lists and orders for inter prediction with geometric partitioning

Also Published As

Publication number Publication date
US10051283B2 (en) 2018-08-14
CN102498718B (zh) 2016-01-20
WO2011001078A1 (fr) 2011-01-06
EP3651466A1 (fr) 2020-05-13
EP2449784A1 (fr) 2012-05-09
EP3678374A1 (fr) 2020-07-08
US20120106647A1 (en) 2012-05-03

Similar Documents

Publication Publication Date Title
CN102498718A (zh) 具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码
AU2018294206B2 (en) Motion vector refinement for multi-reference prediction
KR20230113251A (ko) 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
TWI514855B (zh) 用於編碼單元的視訊編碼的局部多重假設預測的執行方法及裝置
CN103329537B (zh) 一种视频解码的设备和方法
CN101472181B (zh) 用于视频编码的可配置性能运动估计的方法、装置和系统
CN106803960A (zh) 图像解码方法
CN107431820A (zh) 视频译码中运动向量推导
CN102484711B9 (zh) 指向覆盖多个参考图像分区的参考区域的当前图像分区的移动向量的预测、以及使用一个这种预测的编码和解码
CN107925759A (zh) 用于编码和解码帧内预测的方法和设备
CN110446039A (zh) 用于共享候选者列表的方法和装置
CN101827269B (zh) 视频编码方法和装置
CN102301713B (zh) 使用预测掩膜对图像进行编码的方法和装置、对应的解码方法和装置
CN101112103A (zh) 有效地预测基于多层的视频帧的方法、及使用该方法的视频编码方法和设备
CN102342102A (zh) 具有先进的空间过滤差动矢量的多候选运动估计
CN102934434A (zh) 时间运动矢量预测的方法与装置
CN104918045A (zh) 使用不对称分区的公共合并候选组编码/解码视频的方法
CN102265615B (zh) 使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码
CN104702959B (zh) 一种视频编码的帧内预测方法及系统
CN103444171A (zh) 用于通过选择待预测像素来对至少一个图像进行编码和解码的方法和装置,以及对应的计算机程序
KR20140124920A (ko) 움직임 벡터 예측을 이용한 비디오 부호화/복호화 방법 및 장치
Corrales-García et al. A GPU-Based DVC to H. 264/AVC Transcoder
KR20140124436A (ko) 움직임 벡터 예측을 이용한 비디오 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant