CN102265615B - 使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码 - Google Patents

使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码 Download PDF

Info

Publication number
CN102265615B
CN102265615B CN200980151775.6A CN200980151775A CN102265615B CN 102265615 B CN102265615 B CN 102265615B CN 200980151775 A CN200980151775 A CN 200980151775A CN 102265615 B CN102265615 B CN 102265615B
Authority
CN
China
Prior art keywords
subregion
motion vector
new
pr16b
cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980151775.6A
Other languages
English (en)
Other versions
CN102265615A (zh
Inventor
G.拉罗克
J.琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of CN102265615A publication Critical patent/CN102265615A/zh
Application granted granted Critical
Publication of CN102265615B publication Critical patent/CN102265615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种用于解码代表图像或图像序列的数据流(F)的方法，所述流(F)包括代表所述图像(IE)的至少一部分的数据，其中所述方法包括用于相对于已根据所述区域的预定编码模式而分区的参考因果图像(Cs；Ct)、来预测当前图像部分的分区(P1；P’1)运动向量的步骤。关于所述当前分区(P1；P’1)，该预测步骤包括以下步骤：将该参考因果区的至少一部分(MBra，MBrb，MBrc；MBrIE-1)重新分区(D3)为多个参考分区；确定(D4)与该新分区之后导致的参考分区(Pr4a，Pr16b，Pr13c；Pr’1)分别关联的运动向量(MVr1-MVr3；MVr’1)；基于所述确定的运动向量(MVr1-MVr3；MVr’1)来确定(D5)预测性运动向量；和根据所述确定的预测性运动向量来预测(D6)所述当前分区的运动向量。

Description

使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码
技术领域
本发明一般涉及图像处理的领域，并更精确地，涉及通过数字图像和数字图像序列的竞争的编码和解码。
背景技术
存在几种编码和解码方法用于图像的传输。可特别提及主要类型的编码，诸如其中按照自治方式(也就是说，不参考其他图像)编码图像的所谓“帧内”编码、或在于相对于过去图像来编码当前图像以便仅表达和传送这些图像之间的差别的所谓“帧间”编码。
前述类型的编码方法一般包括预测编码步骤，根据该步骤，相对于其他参考块或宏块(即，先前编码并然后解码的)来预测当前图像的图像部分(称为块或宏块)。
在H264/MPEG-4AVC(AVC代表“先进视频编码”)标准的示例的情况下，宏块的预测编码在于根据一般具有更小尺寸的块的形式的多个分区来切割(chop)宏块。
更精确地，在根据前述标准的宏块的预测编码期间，除了16×16类型的宏块之外，一般根据一般具有更小尺寸的块的形式的多个分区来切割宏块。图像中的这样的宏块的空间预测在于相对于已编码并然后解码的同一图像中的另一宏块(这样的宏块被称为参考宏块)的一个或多个块、来预测形成该宏块的更小尺寸的每一块。仅当参考宏块邻近要预测的宏块并在所谓“因果(causal)”邻域中位于相对于要预测的宏块的某一预定方向(即，一般在上边和左边)上时，该预测才是可能的。
这样的类型的预测的缺陷在于这样的事实，即对于从编码器到解码器的给定传输率，其实现比帧间编码更差的视频质量，因为其没有采用该序列的图像之间的时间相关。
在帧间编码的情况下，可根据16×16、8×16、16×8和8×8模式来对要编码的当前宏块进行分区。如果选择8×8模式，则根据8×8、4×8、8×4和4×4模式来对每一8×8块进行再次分区。将每一当前块与空间或时间类型的参考因果区的一个或多个块进行比较，该参考因果区包括在当前宏块的一个或多个块的编码期间已在编码器级别解码的宏块。时间预测器然后由描述当前块和参考块之间的运动的向量来定义。
图1A表示由BCa表示的要被帧间编码的当前块的向量MVc的空间预测的情况，该预测利用同一图像Ia的各宏块之间的空间相关性。根据例如每一个具有尺寸4×4的16个更小分区P1......P16来切割这样的块。为了图中清楚的目的，仅表示分区P1。根据H264/AVC标准，通过参考参考因果区Cs来预测分区P1，该参考因果区Cs包括其每一个具有尺寸16×16的在图1A中表示为BR1、BR2、BR3和BR4的四个块，这些块是所述分区P1的邻居。更精确地，经受分区P1的运动向量MVc的计算。预测过程在于计算例如与参考宏块BR1、BR2和BR3分别对应的运动向量MV1、MV2和MV3，并然后计算向量MV1、MV2和MV3的中值，以便从其推导出用于预测要编码的分区P1的向量MVc的运动向量。
图1A中表示的预测的缺陷在于以下事实：
-要编码的当前分区P1的像素与宏块BR1、BR2和BR3的像素之间的平均空间距离相对高，
-以及已相对于与要编码的当前分区P1具有非常不同的尺寸的宏块而计算了向量MV1、MV2和MV3。
由此得出结论，这样的预测缺少精度。
图1B现在表示属于要编码的图像N的、由MBCN表示的要帧间编码的当前宏块的时间预测的情况。这样的预测利用宏块MBCN和构成时间参考因果区的多个已编码并然后解码的参考图像的一个宏块或多个宏块之间的时间相关性。在所表示的示例中，用Ct表示的时间参考因果区仅包括前一图像N-1。在其他示例中，该参考因果区可不仅包括图像N-1，而且包括图像N-2、N-3等。根据例如在所表示的示例中具有任意几何形状的三个较小分区P’1、P’2、P’3来切割这样的宏块MBCN。利用时间相关性的过程在于，作为属于与前一图像N-1中的当前宏块MBCN具有相同位置的用MBCN-1表示的宏块的、用MVcol表示的运动向量的函数，与这三个分区P’1、P’2、P’3分别关联地计算这三个运动向量MV’1、MV’2和MV’3。
图1B中表示的预测的缺陷在于以下事实，当前宏块MBCN的分区与宏块MBCN-1的分区不同，这显著妨碍了三个当前运动向量MV’1、MV’2和MV’3的预测的精度。由此，在图1B的情况下，清楚的是，通过相对于运动向量MV’1、MV’2和MV’3的方向来比较向量MVcol的方向，当前运动向量MV’3的预测将比当前运动向量MV’1和MV’2的预测更差。
发明内容
本发明的目的之一是弥补前述现有技术的缺陷。
为此目的，根据第一方面，本发明涉及用于解码代表图像或图像序列的数据流的方法，所述流包括代表所述图像之一的至少一部分的数据，所述方法实现相对于已根据针对参考因果区确定的编码模式而分区的参考因果区、来预测当前图像部分的分区的运动向量的步骤。
根据本发明，关于所述当前分区，这样的解码方法的预测步骤包括以下步骤，在于：
-将该参考因果区的至少一个部分重新分区为多个参考分区，
-确定与该新分区之后获得的参考分区分别关联的运动向量，
-基于所确定的运动向量来确定预测器运动向量，
-基于所确定的预测器运动向量来预测所述当前分区的运动向量。
这样的重新分区有利地使得可能基于属于(特别从形状、尺寸和排列的观点出发)比在该宏块的编码期间执行的至少一个参考宏块的初始分区引起的分区更合适的参考分区的运动向量，来预测当前分区的当前运动向量。
本发明由此使得可能显著改善在帧间编码下的当前向量的预测精度。
还应注意的是，不使用在新分区之后确定的参考运动向量用于当前分区的编码。
根据第二方面，本发明涉及一种用于编码生成数据流的图像或图像序列的方法，所述数据流包括代表所述图像之一的至少一部分的数据，这样的方法实现相对于已根据针对当前图像部分确定的编码模式而分区的参考因果区、来预测此部分的分区的运动向量的步骤。
根据本发明，关于所述当前分区，这样的编码方法的预测步骤包括以下步骤，在于：
-将该参考因果区的至少一个部分重新分区为多个参考分区，
-确定与该新分区之后获得的参考分区分别关联的运动向量，
-基于所确定的运动向量来确定预测器运动向量，
-基于所确定的预测器运动向量来预测所述当前分区的运动向量。
根据第三方面，本发明涉及一种用于相对于已根据针对参考因果区确定的编码模式而分区的至少一个参考因果区、来预测当前图像部分的分区的运动向量的方法。
根据本发明，关于所述当前分区，这样的预测方法包括以下步骤，在于：
-将该参考因果区的至少一部分重新分区为多个参考分区，
-确定与该新分区之后获得的参考分区分别关联的运动向量，
-基于所确定的运动向量来确定预测器运动向量，
-基于所确定的预测器运动向量来预测所述当前分区的运动向量。
在一个实施例中，在该新分区之后获得的参考分区处于所述当前分区的最接近邻域中。
这样的安排由此使得可能进一步改进预测的精度。
在另一实施例中，参考分区在属于参考因果区的图像中具有和与其关联的当前分区相同的位置。
在另一实施例中，所述参考分区和与其关联的当前分区具有相同形状和相同尺寸。
这样的安排基本上增加了当前向量的时间预测的精度。事实上，由此获得的参考运动向量描述了比通过现有技术的参考运动向量描述的运动更接近当前图像部分和参考图像部分之间的实际运动的运动。
根据另一实施例，在新分区之后获得的所述参考分区重叠或分离。
相关地，根据第四方面，本发明涉及一种用于解码代表图像或图像序列的数据流的装置，所述流包括代表所述图像之一的至少一部分的数据，这样的解码装置包括用于相对于已根据针对参考因果区确定的编码模式而分区的所述参考因果区、来预测当前图像部分的分区的运动向量的装置。
根据本发明，这样的解码装置的预测装置包括：
-用于将该参考因果区的至少一部分重新分区为多个参考分区的部件，
-用于确定与该新分区之后获得的参考分区分别关联的运动向量的部件，
-用于基于所确定的运动向量来确定预测器运动向量的部件，
-用于基于所确定的预测器运动向量来预测所述当前分区的运动向量的部件。
相关地，根据第五方面，本发明涉及一种用于编码生成数据流的图像或图像序列的装置，所述数据流包括代表所述图像之一的至少一部分的数据，这样的装置包括相对于已根据针对参考因果区确定的编码模式而分区的所述参考因果区、来预测当前图像部分的分区的运动向量的装置。
根据本发明，这样的编码装置的预测装置包括：
-用于将该参考因果区的至少一部分重新分区为多个参考分区的部件，
-用于确定与该新分区之后获得的参考分区分别关联的运动向量的部件，
-用于基于所确定的运动向量来确定预测器运动向量的部件，
-用于基于所确定的预测器运动向量来预测所述当前分区的运动向量的部件。
相关地，根据第六方面，本发明涉及一种用于相对于已根据针对参考因果区确定的编码模式而分区的所述参考因果区、来预测当前图像部分的分区的运动向量的装置。
根据本发明，这样的预测装置包括：
-用于将该参考因果区的至少一部分重新分区为多个参考分区的部件，
-用于确定与该新分区之后获得的参考分区分别关联的运动向量的部件，
-用于基于所确定的运动向量来确定预测器运动向量的部件，
-用于基于所确定的预测器运动向量来预测所述当前分区的运动向量的部件。
本发明还涉及一种包括指令的计算机程序，当在计算机上运行该指令时，该指令用于实现根据本发明的方法之一。
所述编码方法、预测方法、解码装置、编码装置和预测装置至少呈现了与根据本发明的解码方法所提供的优点相同的优点。
附图说明
通过阅读参考附图描述的优选实施例，其他特征和优点将变得清楚，其中：
-图1A表示利用同一图像的各宏块之间的空间相关性的现有技术的示范性时间预测，
-图1B表示利用图像N的要编码的当前宏块和前一图像N-1的参考宏块之间的时间相关性的现有技术的示范性时间预测，
-图2表示根据本发明的编码方法的步骤，
-图3表示根据本发明的编码装置的实施例，
-图4表示利用要编码的当前宏块和参考宏块之间的时间相关性的根据本发明的示范性空间预测，
-图5表示根据本发明的解码装置，
-图6表示根据本发明的解码方法的步骤，
-图7表示利用图像IE的要编码的当前宏块和前一图像IE-1的参考宏块之间的时间相关性的根据本发明的示范性时间预测，
-图8A和8B分别表示在图7的时间预测的情况下对参考宏块进行分区的两个可能示例。
具体实施方式
现在将描述本发明的实施例，其中使用根据本发明的编码方法来根据与通过根据H.264/MPEG-4AVC标准的编码所获得的二进制流接近的二进制流对图像序列进行编码。在该实施例中，根据本发明的编码方法例如通过初始符合H.264/MPEG-4AVC标准的编码器的变型按照软件或硬件方式来实现。根据本发明的编码方法按照图2中表示的包括步骤C0到C7的算法的形式来表示。
应注意，根据本发明的解码方法也通过初始符合H.264/MPEG-4AVC标准的解码器的变型按照软件或硬件方式来实现。
根据本发明的编码方法在图3中表示的编码装置CO中实现。
参考图2和3，第一步骤C0是对于属于要编码的图像序列的图像IE的宏块、从预定形状的分区的预定集合中选定的较小的特定像素分区的选择。为此目的，例如施加尺寸为16×16并且属于图像IE的宏块MB作为到图3中表示的分区选择模块SP的输入。
该分区选择模块SP使用例如通过详尽竞争(exhaustive competition)进行选定的过程或用于借助于先验算法进行选定的过程。这样的过程是本领域技术人员公知的(参见：G.J.Sullivan and T.Wiegand，″Rate-distortionoptimization for video compression″IEEE Signal Proc.Mag.，pp.74-90，1998)。所以不在下面对它们进行描述。
所述分区在编码器CO的数据库BD中被一起分组。这样的分区可以具有矩形或正方形形状或具有其他几何形状，例如基本线形形状。
在所表示的示例中，选择模块SP选择尺寸为4×4的正方形形状分区。
图2中表示的以下步骤C1是根据所述选定初始分区将宏块MB切割为数目为Np的分区。在所表示的示例中，将宏块MB切割为十六个分区P1、P2、......、P16，其中P1指定初始分区。这样的切割由使用传统分区算法的图3中表示的宏块分区模块PMBCO来执行。
图4表示在根据尺寸为4×4的初始正方形分区P1的切割之后已获得的宏块MBpart。
在分区步骤C1之后，在图2中表示的步骤C2的过程中，分区模块PMBCO将刚分区的宏块MBpart传送到图3中表示的预测模块PREDCO。
这样的预测模块PREDCO意欲以基于已编码并然后解码的参考因果区的部分而计算的预测运动向量为基础，来预测当前宏块MBpart的每一分区P1、......、P16的运动向量。在图4中表示的示例中，用Cs表示的参考因果区包括四个宏块MBra、MBrb、MBrc和MBrd，其中例如使用三个参考宏块MBra、MBrb和MBrc用于分区P1的运动向量(用MV1表示)的预测。
参考图3，这样的参考宏块根据H.264/MPEG-4AVC标准编码，也就是说，它们按照本身已知的方式经受：
-通过变换和量化模块TQCO所执行的离散余弦变换和量化而进行的编码，
-并然后通过逆变换和量化模块TQICO所执行的逆离散余弦变换和逆量化而进行的解码。
仍然参考图3，根据本发明，预测模块PREDCO包括：
-分区模块PMB，意欲根据Nr个参考分区来切割每个参考宏块MBra、MBrb和MBrc，
-第一计算模块CAL1，意欲对于十六个分区P1、......、P16中的要预测的分区，来确定要预测的分区的一个或多个相邻参考分区，并然后计算与每一所确定的参考分区关联的运动向量，
-第二计算模块CAL2，意欲作为第一计算模块CAL1所计算的参考运动向量的函数来计算要预测的当前分区的运动向量。
在图2中表示的步骤C3的过程中，图3的分区模块PMB经受根据Nr个参考分区对每一参考宏块MBra、MBrb和MBrc的切割。在图4中表示的示例中，每一参考宏块被切割为十六个参考分区Pr1、Pr2、......、Pr16，这些分区中的每一个最好与要预测的当前分区P1具有相同形状和相同尺寸，也就是说尺寸为4×4的正方形。
在图2中表示的步骤C4的过程中，图3的计算模块CAL1计算分别与要预测的分区P1的最接近相邻参考分区对应的三个参考运动向量MVr1、MVr2和MVr3。如图4中可以看出的，使用的参考分区是Pr4a、Pr16b和Pr13c。
在步骤C5的过程中，图3的计算模块CAL2计算取决于在前一步骤C4中获得的参考运动向量MVr1、MVr2和MVr3的预测器运动向量MVp1。这样的计算在于例如根据以下等式计算参考运动向量MVr1、MVr2和MVr3的中值：
MVp1＝Med(MVr1，MVr2and MVr3)。
在步骤C6的过程中，图3的预测模块PREDCO基于在前一步骤中计算的预测器运动向量MVp1来预测当前分区P1的运动向量MV1。
图3的预测计算模块PREDCO然后传递第一预测运动向量MV1pred，在该第一预测运动向量MV1pred由编码器CO保持(retain)为最佳向量的情况下，该第一预测运动向量MV1pred立即由变换和量化模块TQCO编码，并然后由逆变换和量化模块TQICO解码。
上面刚描述的空间预测是特别有效的，因为以下事实：基于属于其形状和尺寸比现有技术更适合的参考分区的运动向量来预测当前分区P1的运动向量。
其后重复步骤C3到C6以便分别预测当前宏块MBpart的分区P2到P16的当前运动向量(图4中未表示)，以便获得预测的运动向量MV2pred、......、MV16pred。
一旦已通过预测计算模块PREDCO计算了各种可能预测，则在图2中表示的步骤C7的过程中，图3中表示的判断模块DCNCO遍历(traverse)图像IE的已分区的宏块，并在该步骤C7中选定用于对这些宏块中的每一宏块进行编码的预测模式。在宏块的可能预测之中，判断模块DCNCO根据本领域技术人员公知的比率失真标准来选定最佳预测。
在步骤C8的过程中，如按照H.264/MPEG-4AVC标准那样对每一预测的宏块进行编码。
一旦判断模块DCNCO已执行了该结构编码，则将与图像IE的块对应的残差(residual)的系数(如果存在的话)分派到变换和量化模块TQCO，以经受离散余弦变换和随后的量化。具有这些量化的系数的宏块的片段其后被传送到熵编码模块CE，以便利用已按照与图像IE相同的方式编码的视频序列的其他图像来产生根据本发明编码的二进制视频流F。
二进制流F首先被分派到熵解码模块DE，经受与图3中表示的熵编码模块CE执行的操作相反的解码。接下来，对于要重构的每一图像宏块，该模块DE所解码的系数被分派到逆量化和逆变换模块QTIDO。
图像重构模块RI然后在传输误差之内接收与在根据本发明的编码步骤C7中由模块DCNCO(图3)产生的数据对应的解码数据。模块RI实现根据本发明的解码方法的步骤D0到D8，诸如图6中表示的那样。
第一步骤D0是在要解码的图像IE的当前宏块的片段中编码的数据结构的解码。按照本身已知的方式，重构模块RI基于所述宏块片段的数据来确定：
-所述数据的编码类型，根据本发明的帧间，
-要重构的宏块的分区类型，在描述的实施例中为4×4帧间，
-诸如在前述步骤C7中由判断模块DCNCO选择的最佳运动向量的索引。
图6中表示的后一步骤D1是根据在步骤D0中确定的分区而对要解码的当前宏块的切割。为此目的，图5中表示的宏块分区模块PMBDO(在所有方面与图3中表示的模块类似)将宏块切割为多个Np个分区，即，所表示的示例中的十六个4×4分区。
在图6中表示的步骤D2的过程中，分区模块PMBDO将要解码的刚被分区为Np个分区的当前宏块传送到图5中表示的预测模块PREDDO，该预测模块PREDDO在所有方面与图3的编码器CO的预测模块PREDCO类似，并为此原因，将不再对其进行详细描述。
在步骤D3到D6的过程中，预测模块PREDDO执行与前述编码器CO的预测模块PREDDO所执行的算法相同的算法，以便获得根据上述过程所预测的运动向量。
在步骤D7的过程中，判断模块DCNDO根据本领域技术人员公知的比率失真标准来选定最佳预测。
其后在步骤D8的过程中，如按照H.264/MPEG-AVC标准那样对每一预测的宏块进行解码。
一旦已解码了图像IE的所有宏块，图像重构模块RI就提供与图像IE的解码对应的图像ID作为来自解码器DO的输出。
在注意到解码器DO处所执行的预测算法的每一方面都与编码器CO处所执行的算法相同的情况下，使用的预测器所引入的信息成本由此大大降低。
第二实施例的详细描述
下面描述的第二实施例与前一实施例的不同之处主要在于以下事实，图3中表示的预测模块PREDCO执行当前运动向量的时间预测。
根据第二实施例，不执行前述选择分区的步骤C0。
在图2的步骤C1的过程中，图3的宏块分区模块PMBCO经受根据所述选定初始分区将宏块MB切割为数目为Np的当前分区。
在图7中表示的示例中，将当前宏块MB切割为全部具有不同形状和尺寸的三个分区P’1、P’2和P’3。
在图2的步骤C2的过程中，图3的分区模块PMBCO将刚分区的宏块MBpart传送到图3的预测模块PREDCO。
在这里描述的第二实施例中，预测模块PREDCO意欲分别基于与前一图像IE-1中的当前宏块MBpart具有相同位置的用MBrIE-1表示的同一参考宏块的三个参考运动向量，来分别与当前宏块MBpart的三个分区P’1、P’2和P’3关联地预测三个运动向量。在图7中表示的示例中，前一图像IE-1是在包括除了图像IE-1之外的参考图像的时间因果区Ct中已选定的图像。
如上面参考第一实施例阐明的，参考宏块MBrIE-1先前已被编码并然后解码。
在图2的步骤C3的过程中，分区模块PMBCO经受根据Nr个参考分区来切割参考宏块MBrIE-1。在图7中表示的示例中，按照与当前宏块MBpart相同的方式(即，根据全部具有不同形状和尺寸的三个分区P’1、P’2和P’3)来切割参考宏块MBrIE-1。
在图2中表示的步骤C4的过程中，图3的计算模块CAL1计算分别与三个参考分区Pr’1、Pr’2和Pr’3对应的三个参考运动向量MVr’1、MVr’2和MVr’3。
在图2的步骤C5的过程中，图3的计算模块CAL2计算分别取决于在前一步骤C4中获得的三个参考运动向量MVr’1、MVr’2和MVr’3的三个预测器运动向量MVp’1、MVp’2和MVp’3。这样的计算在所表示的示例中在于执行以下等式：
-MVp’1＝MVr’1
-MVp’2＝MVr’2
-MVp’3＝MVr’3。
在步骤C6的过程中，图3的预测模块PREDCO基于在前一步骤中计算的三个预测器运动向量MVp’1、MVp’2和MVp’3来分别预测当前分区P’1的运动向量MV’1、MV’2和MV’3。
图3的预测计算模块PREDCO然后传递三个预测的运动向量MV’1pred、MV’2pred和MV’3pred，其预测精度借助于当前宏块MBpart的分区和参考宏块MBrIE-1的分区之间的空间和时间匹配而得到了特别优化。
以下选定最佳预测的步骤C7和编码步骤C8分别与第一实施例的前述步骤C7和C8类似，并且为此原因，将不再进行描述。
解码器DO的重构模块RI其后实现与根据第一实施例的解码方法的步骤类似的步骤D0到D8。
第一步骤D0是在要解码的图像IE的当前宏块的片段中编码的数据结构的解码。按照本身已知的方式，重构模块RI基于所述宏块片段的数据来确定：
-所述数据的编码类型，在描述的实施例中为帧间，
-要重构的宏块的分区类型，在描述的实施例中为任意几何形状，
-诸如在步骤C7中由判断模块DCNCO选择的最佳运动向量的索引。
在以下步骤D1的过程中，宏块分区模块PMBDO根据前述三个分区P’1、P’2和P’3来切割宏块。
在分区步骤D1之后，在与前述第一实施例的步骤类似的步骤D2的过程中，分区模块PMBDO将要解码的刚被分区为三个分区的当前宏块传送到前述预测模块PREDDO。
在步骤D3到D6的过程中，预测模块PREDDO执行与模块PREDCO在前述步骤C3到C6的过程中所执行的算法相同的算法。
在步骤D7的过程中，判断模块DCNDO根据本领域技术人员公知的比率失真标准来选定最佳预测。
其后在步骤D8的过程中，如按照H.264/MPEG-AVC标准那样对每一预测的宏块进行解码。
一旦已解码了图像IE的所有宏块，图像重构模块RI就提供与图像IE的解码对应的图像ID作为来自解码器DO的输出。
不用说，上面已描述的实施例已纯粹作为完全非限制性指示而给出，并且本领域技术人员可容易地进行许多修改，然而不脱离本发明的范围。
由此，例如可与要预测的当前宏块MBpart不同地切割参考宏块MBrIE-1。
图8A表示在具体涉及第二实施例的情况下、已根据与图7的当前宏块MBpart相同数目的参考分区Pr’1、Pr’2和Pr’3而切割的参考宏块MBrIE-1。在该示例中：
-参考分区Pr’1与当前分区P’1具有相同形状和不同尺寸，
-参考分区Pr’2与当前分区P’2具有不同形状和不同尺寸，
-参考分区Pr’3与当前分区P’3具有不同形状和不同尺寸。
此外，参考分区Pr’1、Pr’2和Pr’3重叠。
图8B表示在具体涉及第二实施例的情况下、已根据与图7的当前宏块MBpart相同数目的参考分区Pr’1、Pr’2和Pr’3而切割的参考宏块MBrIE-1。在该示例中，所述参考分区是分离的，并与当前宏块MBpart的分区P’1、P’2和P’3具有分别不同的形状和/或尺寸。

Claims (11)

1.一种用于解码代表图像或图像序列的数据流(F)的方法，所述流(F)包括代表所述图像(IE)之一的至少一部分的数据，所述方法实现相对于已根据针对参考因果区(Cs；Ct)确定的编码模式而被先前分区为多个参考分区(MBra，MBrb，MBrc；MBrIE-1)的所述参考因果区、来预测当前图像部分的分区(P1；P’1)的运动向量的步骤，
所述解码方法的特征在于，在所述运动向量的预测时，关于所述当前分区(P1；P’1)，该方法包括以下步骤：
－将该参考因果区的参考分区中的一些(MBra-MBrc；MBrIE-1)分区(D3)为多个新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)，
－考虑到所述运动向量的空间预测，在所述新参考分区之中选择作为当前分区(P1)的最接近的相邻参考分区(Pr4a,Pr16b,Pr13c)的新参考分区，所述选择的新参考分区(Pr4a,Pr16b,Pr13c)和当前分区(P1)具有相同形状和相同尺寸，
－考虑到所述运动向量的时间预测，在所述新参考分区之中选择参考因果区(Ct)的参考分区(MBrIE-1)中和当前分区(P’1)具有相同位置的新参考分区(Pr’1)，所述选择的新参考分区(Pr’1)和当前分区(P’1)具有相同形状和相同尺寸，
－计算(D4)与所述新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)中的所选择的分区(Pr4a,Pr16b,Pr13c；Pr'1)分别关联的运动向量(MVr1-MVr3；MVr’1)，
－基于所述计算的运动向量(MVr1-MVr3；MVr’1)来计算(D5)预测器运动向量，
－基于所述计算的预测器运动向量来预测(D6)所述当前分区的运动向量。
2.一种用于编码生成数据流(F)的图像或图像序列的方法，所述数据流(F)包括代表所述图像(IE)之一的至少一部分的数据，所述方法实现相对于已根据针对参考因果区(Cs；Ct)确定的编码模式而被先前分区为多个参考分区(MBra，MBrb，MBrc；MBrIE-1)的参考因果区、来预测当前图像部分的分区(P1；P’1)的运动向量的步骤，
所述编码方法的特征在于，在所述运动向量的预测时，关于所述当前分区(P1；P’1)，该方法包括以下步骤：
－将该参考因果区的参考分区中的一些(MBra-MBrc；MBrIE-1)分区(C3)为多个新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)，
－考虑到所述运动向量的空间预测，在所述新参考分区之中选择作为当前分区(P1)的最接近的相邻参考分区(Pr4a,Pr16b,Pr13c)的新参考分区，所述选择的新参考分区(Pr4a,Pr16b,Pr13c)和当前分区(P1)具有相同形状和相同尺寸，
－考虑到所述运动向量的时间预测，在所述新参考分区之中选择参考因果区(Ct)的参考分区(MBrIE-1)中和当前分区(P’1)具有相同位置的新参考分区(Pr’1)，所述选择的新参考分区(Pr’1)和当前分区(P’1)具有相同形状和相同尺寸，
－计算(C4)与所述新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)中的所选择的分区(Pr4a,Pr16b,Pr13c；Pr'1)分别关联的运动向量(MVr1-MVr3；MVr’1)，
－基于所述计算的运动向量(MVr1-MVr3；MVr’1)来计算(C5)预测器运动向量，
－基于所述计算的预测器运动向量来预测(C6)所述当前分区的运动向量。
3.一种用于相对于已根据针对参考因果区(Cs；Ct)确定的编码模式而被先前分区为多个参考分区(MBra，MBrb，MBrc；MBrIE-1)的至少一个参考因果区、来预测当前图像部分的分区(P1；P’1)的运动向量的方法，
所述方法的特征在于，在所述运动向量的预测时，关于所述当前分区(P1；P’1)，所述方法包括以下步骤，所述步骤在于：
－将该参考因果区的参考分区中的一些(MBra-MBrc；MBrIE-1)分区(C3，D3)为多个新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)，
－考虑到所述运动向量的空间预测，在所述新参考分区之中选择作为当前分区(P1)的最接近的相邻参考分区(Pr4a,Pr16b,Pr13c)的新参考分区，所述选择的新参考分区(Pr4a,Pr16b,Pr13c)和当前分区(P1)具有相同形状和相同尺寸，
－考虑到所述运动向量的时间预测，在所述新参考分区之中选择参考因果区(Ct)的参考分区(MBrIE-1)中和当前分区(P’1)具有相同位置的新参考分区(Pr’1)，所述选择的新参考分区(Pr’1)和当前分区(P’1)具有相同形状和相同尺寸，
－计算(C4，D4)与所述新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)中的所选择的分区(Pr4a,Pr16b,Pr13c；Pr'1)分别关联的运动向量(MVr1-MVr3；MVr’1)，
－基于所述计算的运动向量(MVr1-MVr3；MVr’1)来计算(C5，D5)预测器运动向量，
－基于所述计算的预测器运动向量来预测(C6，D6)所述当前分区的运动向量。
4.根据权利要求3的预测方法，其中选择的新参考分区(Pr4a，Pr16b，Pr13c)处于所述当前分区(P1)的最接近邻域中。
5.根据权利要求3的预测方法，其中选择的新参考分区(Pr’1，Pr’2，Pr’3)之一在属于参考因果区(Ct)的图像(IE-1)中具有和与其关联的当前分区(P’1，P’2，P’3)相同的位置。
6.根据权利要求5的预测方法，其中所述选择的新参考分区(Pr’1，Pr’2，Pr’3)之一和与其关联的当前分区(P’1，P’2，P’3)具有相同形状和相同尺寸。
7.根据权利要求5的预测方法，其中所述新参考分区(Pr’1，Pr’2，Pr’3)重叠。
8.根据权利要求5的预测方法，其中所述新参考分区(Pr’1，Pr’2，Pr’3)分离。
9.一种用于解码代表图像(IE)或图像序列的数据流(F)的装置(DO)，所述流(F)包括代表所述图像(IE)之一的至少一部分的数据，所述解码装置包括用于相对于已根据针对参考因果区(Cs；Ct)确定的编码模式而被先前分区为多个参考分区(MBra，MBrb，MBrc；MBrIE-1)的所述参考因果区、来预测当前图像部分的分区(P1；P’1)的运动向量的装置(PREDDO)，
所述解码装置的特征在于，该预测装置在所述运动向量的预测时、控制：
－用于将该参考因果区的参考分区中的一些(MBra-MBrc；MBrIE-1)分区为多个新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)的部件(PMB)，
－部件(CAL1)，用于在所述新参考分区之中，选择
●考虑到所述运动向量的空间预测，作为当前分区(P1)的最接近的相邻参考分区(Pr4a,Pr16b,Pr13c)的新参考分区，所述选择的新参考分区(Pr4a,Pr16b,Pr13c)和当前分区(P1)具有相同形状和相同尺寸，
●考虑到所述运动向量的时间预测，参考因果区(Ct)的参考分区(MBrIE-1)中和当前分区(P’1)具有相同位置的新参考分区(Pr’1)，所述选择的新参考分区(Pr’1)和当前分区(P’1)具有相同形状和相同尺寸，
并用于计算与所述新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)中的所选择的分区(Pr4a,Pr16b,Pr13c；Pr'1)分别关联的运动向量(MVr1-MVr3；MVr’1)，
－用于基于所述计算的运动向量(MVr1-MVr3；MVr’1)来计算预测器运动向量的部件(CAL2)，
－用于基于所述计算的预测器运动向量来预测所述当前分区的运动向量的部件。
10.一种用于编码生成数据流(F)的图像或图像序列的装置(CO)，所述数据流(F)包括代表所述图像(IE)之一的至少一部分的数据，所述装置包括相对于已根据针对参考因果区(Cs；Ct)确定的编码模式而被先前分区为多个参考分区(MBra，MBrb，MBrc；MBrIE-1)的所述参考因果区、来预测当前图像部分的分区(P1；P’1)的运动向量的装置(PREDCO)，
所述编码装置的特征在于，该预测装置在所述运动向量的预测时、控制：
－用于将该参考因果区的参考分区中的一些(MBra-MBrc；MBrIE-1)分区为多个新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)的部件(PMB)，
－部件(CAL1)，用于在所述新参考分区之中，选择
●考虑到所述运动向量的空间预测，作为当前分区(P1)的最接近的相邻参考分区(Pr4a,Pr16b,Pr13c)的新参考分区，所述选择的新参考分区(Pr4a,Pr16b,Pr13c)和当前分区(P1)具有相同形状和相同尺寸，
●考虑到所述运动向量的时间预测，参考因果区(Ct)的参考分区(MBrIE-1)中和当前分区(P’1)具有相同位置的新参考分区(Pr’1)，所述选择的新参考分区(Pr’1)和当前分区(P’1)具有相同形状和相同尺寸，
并用于计算与所述新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)中的所选择的分区(Pr4a,Pr16b,Pr13c；Pr'1)分别关联的运动向量(MVr1-MVr3；MVr’1)，
－用于基于所述计算的运动向量(MVr1-MVr3；MVr’1)来计算预测器运动向量的部件(CAL2)，
－用于基于所述计算的预测器运动向量来预测所述当前分区的运动向量的部件。
11.一种用于相对于已根据针对参考因果区(Cs；Ct)确定的编码模式而被先前分区为多个参考分区(MBra，MBrb，MBrc；MBrIE-1)的所述参考因果区、来预测当前图像部分的分区(P1；P’1)的运动向量的装置，
所述装置的特征在于，在所述运动向量的预测时、控制：
－用于将该参考因果区的参考分区中的一些(MBra-MBrc；MBrIE-1)分区为多个新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)的部件(PMB)，
－部件(CAL1)，用于在所述新参考分区之中，选择
●考虑到所述运动向量的空间预测，作为当前分区(P1)的最接近的相邻参考分区(Pr4a,Pr16b,Pr13c)的新参考分区，所述选择的新参考分区(Pr4a,Pr16b,Pr13c)和当前分区(P1)具有相同形状和相同尺寸，
●考虑到所述运动向量的时间预测，参考因果区(Ct)的参考分区(MBrIE-1)中和当前分区(P’1)具有相同位置的新参考分区(Pr’1)，所述选择的新参考分区(Pr’1)和当前分区(P’1)具有相同形状和相同尺寸，
并用于计算与所述新参考分区(Pr1a-Pr16a,Pr1b-Pr16b,Pr1c-Pr16c；Pr’1-Pr’3)中的所选择的分区(Pr4a,Pr16b,Pr13c；Pr'1)分别关联的运动向量(MVr1-MVr3；MVr’1)，
－用于基于所述计算的运动向量(MVr1-MVr3；MVr’1)来计算预测器运动向量的部件(CAL2)，
－用于基于所述计算的预测器运动向量来预测所述当前分区的运动向量的部件。
CN200980151775.6A 2008-12-22 2009-12-16 使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码 Active CN102265615B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0858972 2008-12-22
FR0858972 2008-12-22
PCT/FR2009/052560 WO2010072946A2 (fr) 2008-12-22 2009-12-16 Prediction d'images par repartionnement d'une portion de zone causale de reference, codage et decodage utilisant une telle prediction

Publications (2)

Publication Number Publication Date
CN102265615A CN102265615A (zh) 2011-11-30
CN102265615B true CN102265615B (zh) 2015-08-05

Family

ID=40801905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980151775.6A Active CN102265615B (zh) 2008-12-22 2009-12-16 使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码

Country Status (5)

Country Link
US (1) US9232231B2 (zh)
EP (1) EP2377323B1 (zh)
CN (1) CN102265615B (zh)
ES (1) ES2755746T3 (zh)
WO (1) WO2010072946A2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
CN102215396A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
FR2975856A1 (fr) * 2011-05-26 2012-11-30 France Telecom Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
FR2980942A1 (fr) * 2011-09-30 2013-04-05 France Telecom Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
KR20150060730A (ko) * 2012-09-26 2015-06-03 톰슨 라이센싱 인터-이미지 예측 방법과 디바이스 및 대응하는 인코딩 방법과 디바이스
CN104104961B (zh) 2013-04-10 2018-09-21 华为技术有限公司 一种视频编码方法、解码方法和装置
WO2019151284A1 (ja) * 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082162B2 (en) 1999-04-17 2006-07-25 Pts Corporation Segment-based encoding system including segment-specific metadata
KR100739281B1 (ko) * 2000-02-21 2007-07-12 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
US6909749B2 (en) * 2002-07-15 2005-06-21 Pts Corporation Hierarchical segment-based motion vector encoding and decoding
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
JP4712643B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 フレーム間予測処理装置、フレーム間予測方法、画像符号化装置及び画像復号装置
US8275039B2 (en) 2006-11-07 2012-09-25 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation
US8929448B2 (en) * 2006-12-22 2015-01-06 Sony Corporation Inter sub-mode decision process in a transcoding operation
US8265136B2 (en) 2007-02-20 2012-09-11 Vixs Systems, Inc. Motion refinement engine for use in video encoding in accordance with a plurality of sub-pixel resolutions and methods for use therewith
KR101366093B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8160150B2 (en) 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization

Also Published As

Publication number Publication date
WO2010072946A2 (fr) 2010-07-01
EP2377323B1 (fr) 2019-09-25
US9232231B2 (en) 2016-01-05
ES2755746T3 (es) 2020-04-23
US20110249751A1 (en) 2011-10-13
EP2377323A2 (fr) 2011-10-19
WO2010072946A3 (fr) 2010-10-07
CN102265615A (zh) 2011-11-30

Similar Documents

Publication Publication Date Title
US11425392B2 (en) Method and apparatus for encoding and decoding video using skip mode
CN102265615B (zh) 使用参考因果区的重新分区的图像预测、以及使用这样的预测的编码和解码
CN102301716B (zh) 解码代表画面序列的流的方法，编码画面序列的方法以及编码的数据结构
TWI581622B (zh) 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法及動畫像編碼資料
CN102498718B (zh) 具有与至少一个相邻参考图像分区的几何形状或尺寸不同的几何形状或尺寸的当前图像分区的移动向量的预测以及使用一个这种预测的编码和解码
CN104469362B (zh) 用于对运动矢量进行解码的方法
KR101218434B1 (ko) 움직임 추정 방법, 시스템 및 컴퓨터 판독가능 매체
KR102042374B1 (ko) 이미지들의 시퀀스를 인코딩하기 위한 방법 및 디바이스 및 이미지들의 시퀀스를 디코딩하기 위한 방법 및 디바이스
CN102823250B (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
WO2019001786A1 (en) MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION
JP7330243B2 (ja) 低減されたメモリアクセスを用いてｆｒｕｃモードでビデオデータを符号化又は復号する方法及び装置
CN104918045A (zh) 使用不对称分区的公共合并候选组编码/解码视频的方法
US11659178B2 (en) Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
CN102187668B (zh) 编码图像或图像序列的方法和装置及其解码方法和装置
CN103765891A (zh) 用于解码合并模式下的运动信息的装置
CN102714736A (zh) 基于减少的运动矢量预测候选对运动矢量进行编码和解码的方法和设备
CN102484711B9 (zh) 指向覆盖多个参考图像分区的参考区域的当前图像分区的移动向量的预测、以及使用一个这种预测的编码和解码
US11206418B2 (en) Method of image encoding and facility for the implementation of the method
KR20200031078A (ko) 메모리 액세스가 감소된 fruc 모드에서 비디오 데이터를 인코딩 또는 디코딩하기 위한 방법 및 장치
CN102007770B (zh) 切分成线性形式的像素分区的图像或图像序列的编码和解码
JPWO2017122604A1 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが記憶された記憶媒体
CN105898308A (zh) 变分辨率的编码模式预测方法及装置
JP2008271127A (ja) 符号化装置
CN114079783B (zh) 一种编解码方法、装置及其设备
KR20160106348A (ko) 비디오 부호화 방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant