CN102301714B - 用于对实施运动补偿的图像序列进行编码和解码的方法、以及对应的编码和解码装置 - Google Patents

用于对实施运动补偿的图像序列进行编码和解码的方法、以及对应的编码和解码装置 Download PDF

Info

Publication number
CN102301714B
CN102301714B CN201080005822.9A CN201080005822A CN102301714B CN 102301714 B CN102301714 B CN 102301714B CN 201080005822 A CN201080005822 A CN 201080005822A CN 102301714 B CN102301714 B CN 102301714B
Authority
CN
China
Prior art keywords
image
dominant vector
submodule
given module
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080005822.9A
Other languages
English (en)
Other versions
CN102301714A (zh
Inventor
娜塔莉·肯莫
斯特凡·派缇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of CN102301714A publication Critical patent/CN102301714A/zh
Application granted granted Critical
Publication of CN102301714B publication Critical patent/CN102301714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种对图像序列进行编码的方法，其包含：将参考图像(Iref)划分为多个模块的步骤和预测步骤，其中所述预测步骤包含以下步骤：确定(121)与一个共用图像相关联的监视向量，且将所述共用图像划分(122)为界定一个第一分区的多个子模块；确定(131)与一个待补偿的图像相关联的监视向量，且将所述待补偿的图像划分(132)为界定一个第一分区的多个子模块，从而获得划分为多个基本子模块的一个共用分割(141)；为所述基本子模块确定(123、133)第一监视向量和第二组监视向量；将所述待补偿的图像的子模块朝所述共用图像的子模块进行运动补偿。

Description

用于对实施运动补偿的图像序列进行编码和解码的方法、以及对应的编码和解码装置
技术领域
本发明涉及对图像序列进行编码和解码的领域。本发明特别涉及凭借运动管道(motion tube)来显示的视频图像序列或场景的处理，所述运动管道通过前向运动补偿来执行预测。 
本发明尤其可应用于在当前的视频编码器(MPEG、H.264等)和未来的(H.265或ISO/MPEG)视频编码器中实施视频编码。 
背景技术
在如今的混合视频编码方案中，在两个阶段中对图像进行编码，在第一阶段中通过运动补偿进行预测，之后在第二阶段中对预测残差进行编码。 
运动补偿技术包含已知的后向运动补偿技术，在图1A中说明了后向运动补偿的实例。后向运动补偿使得通过考虑从当前图像指向一个或一个以上参考图像的移位向量，能够从至少一个参考图像Ir预测图像Ic。 
通过后向运动补偿进行的此预测包括两个主要步骤： 
-将待预测的图像Ic划分为一组模块； 
-针对此待预测的图像Ic的每一模块，借助于与相对于参考图像Ir的移位有关的移位向量而做出预测。 
因此，向待预测的图像Ic的所考虑模块的任何点或像素指派对应的参考图像的点的值，使其移位与所考虑的模块相关联的移位向量的值。此技术使得有可能为待预测的图像的每一点提供预测值。 
运动补偿技术还包含被称为“前向”运动补偿的运动补偿技术，在图1B中说明了“前向”运动补偿的实例。前向运动补偿使得通过考虑从一个或一个以上参考图像Ir指向当前图像Ic的移位向量，能够从至少一个参考图像Ir预测图像Ic。 
通过前向运动补偿进行的此预测包括两个主要步骤： 
-将参考图像Ir划分为一组参考模块； 
-针对参考图像的每一参考模块，设置移位向量，且针对此参考模块的每一点，向待预测的图像Ic的点指派参考图像的点的值，使其移位所述移位向量。 
此前向运动补偿技术的一个缺点是，其在若干个模块彼此重叠时导致出现重叠区域，这些重叠区域在图1B中表示为R。此外，在前向投影的模块上使用不同移位还导致模块之间出现孔区域，这些孔在图1B中表示为D。 
没有对孔中的值进行指派限制了所提出的编码方案的性能。 
在代表本申请人而申请的第FR 2 917 872号法国专利申请案中已提出了一种解决方案。 
此技术依赖于使用运动管道来表示图像序列。这些运动管道在一段时间内沿着序列的运动路径在空间内移动。显像管的此“时间持续性”提供了对视频序列的连续表示以及对序列的运动的连续性和不连续性两者的区域的高效表示。 
对于在参考图像中初始化的给定运动管道，通过借助于一个或一个以上运动向量对参考图像的每一模块进行前向投影来获得对属于此同一显像管的待预测的图像的预测。 
此技术的一个缺点在于，通过对运动管道的待预测图像的前向运动补偿进行预测仅使用其中运动管道已初始化的参考图像。现在此参考图像可能会离待预测的图像很远。因此，预测的效率由于参考图像远离待预测的图像的缘故而更受限制。 
因此，有必要提供通过前向运动补偿来实施预测的新颖的图像编码/解码技术，从而使得能够改进这些现有技术。 
发明内容
本发明提出一种新颖的解决方案，所述解决方案不具有现有技术的所有这些缺点，呈一种用于对图像序列进行编码的方法的形式，所述方法包括，用于将参考图像划分为多个模块的步骤，以及使序列的一个当前图像的至少一个模块与待进行运动补偿的序列的至少一个图像中的至少一个对应模块相互关联的预测步骤，其中，所述图像或所述待补偿的图像是预编码的。 
根据本发明，所述预测步骤包括针对所述参考图像的至少一个给定模块的以下步骤： 
-确定所述给定模块与所述当前图像相关联的多个控制向量，其中所述多个控制向量各自表示给定模块的特性点与所述特性点在所述当前图像中的对应位置之间的位移，且基于所述参考图像与所述当前图像之间的运动，将所述给定模块划分为多个子模块， 从而界定一个第一分区； 
-确定所述给定模块中与所述待补偿的图像相关联的多个控制向量，其中所述多个控制向量各自表示所述给定模块的特性点与所述特性点在待补偿的图像中的对应位置之间的位移，且基于所述参考图像与所述待补偿的图像之间的运动，将所述给定模块划分为多个子模块，从而界定一个第二分区； 
-通过比较所述第一分区与所述第二分区，获得一个将所述给定模块的多个子模块的共用分割，其中所述多个子模块也称为基本子模块； 
-从与所述当前图像相关联的控制向量确定所述基本子模块的一个第一组控制向量； 
-从与所述待补偿的图像相关联的控制向量确定所述基本子模块的一个第二组控制向量； 
-运动补偿所述待补偿的图像的至少一个子模块，使其朝向所述当前图像的至少一个子模块，其中所述待补偿的图像的至少一个子模块对应于凭借所述第二组控制向量而运动移位的至少一个基本子模块，其中所述当前图像的至少一个子模块对应于凭借所述第一组控制向量而运动移位的至少一个基本子模块。 
本发明因此提出改善通过前向运动补偿而进行的现有预测技术，尤其在待预测的图像(当前图像)远离(在时间上或在其内容方面)传统上用于运动补偿的参考图像时更是如此。 
为此，本发明使用待进行运动补偿的一个或一个以上“中间”图像，以便预测当前图像。这些待补偿的图像的优点是更靠近(在时间上或在其内容方面)当前图像。 
运动模型被认为由如在2008年7月1日代表本申请人而申请的第0854465号法国专利申请案中所描述的一组控制向量界定，所述法国专利申请案提出一种通过运动补偿进行预测的新颖技术，所述技术旨在获得对自然运动的表示，而在同时限制不论在计算方面还是又在待传输的参数的数目方面所增加的复杂性。 
随后通过控制向量对每一待补偿的图像与参考图像相比的运动以及当前图像相对于此同一参考图像的运动作出估计。 
随后有可能通过前向运动补偿从待进行运动补偿的图像来预测当前图像(或此图像的区)。 
根据本发明的一个特定实施例，所述参考图像中的给定模块和，在所述待补偿的图像中以及在当前图像中的所述对应模块，属于在所述参考图像中初始化的同一运动管道。 
在本文以上所提及的第FR 2 917 872号法国专利申请案中尤其描述了此类运动管道。 
换句话说，本发明提出了通过前向运动补偿技术来预测属于一个运动管道的一个当前图像的一个模块，所述前向运动补偿技术应用于属于同一管道的一个或多个待补偿图像的至少一个对应模块。此待进行运动补偿的图像不同于所述管道的所述参考图像，所述管道在所述参考图像中初始化(对应于所述管道的创建时刻)。 
因此，使用单个运动管道来预测所述当前图像的所述模块。因此，对单个运动管道或单个系列的运动管道的运动进行编码，足以预测所述当前图像的一个模块，所述运动管道全都在所述参考图像中初始化，以预测所述当前图像。此外，此管道还可受益于在所述待补偿的图像中(且不在参考图像上)编码的纹理值。可从信息项目而不是所考虑的管道的项目来对所述待补偿的图像中的此纹理值进行编码。 
替代方法是，创建在多个不同参考图像上初始化的一组运动管道，并估计所述管道中的每一个朝所述待预测的当前图像的运动。然而，此技术在待传输的信息的量方面成本较大，因为其需要对若干个系列的运动管道的运动进行编码。 
使用不同于运动管道的参考图像的图像来建立对待编码的当前图像的预测的前向运动补偿因此不是简单的事情。 
根据本发明的一个具体特性，所述划分步骤中的至少一个步骤连续执行两编次，以划分形成具有自适应大小的子模块。 
举例来说，第一遍次是基于对所述给定模块来说恰当的运动的“显式”遍次，且第二遍次是在于第一划分遍次期间获得的子模块上实施的，基于所述给定模块固有的运动和与所述给定模块相邻的模块的运动的“隐式”遍次。 
根据本发明的另一方面，所述划分步骤中的至少一个步骤至少重复执行两次，直到达到一个预设停止标准，其适用于所述划分步骤以递送所述第一分区和/或第二分区。 
所述停止标准属于包括以下各项的群组： 
-子模块的最小尺寸， 
-划分的最大数目； 
-低于预定阈值的、分别与两个子模块相关联的控制向量之间的差值。 
因此，由于划分为子模块的标准(即，停止标准)取决于其所基于的图像(当前图像或待补偿的图像)，且由于所述输入数据(即，控制向量)在所述两个划分步骤之间可能不同，故而，基于所述参考图像与所述当前图像之间的运动而获得的所述第一分区和基于所述参考图像与所述待补偿的图像之间的运动而获得的所述第二分区可能是不 同的。 
举例来说，所述给定模块或所述基本子模块的控制向量分别各自与所述给定模块或所述基本子模块的顶点相关联。 
因此，对于2D图像，四个控制向量与所述模块相关联，一个控制向量与所述模块的每一顶点或隅角相关联。对于3D图像，八个向量与所述模块相关联，所述模块实际上对应于立方体，一个控制向量与所述模块的每一隅角相关联。还有可能使这些控制向量对应于(例如)轮廓而与所述模块的其它点相关联。类似地，与模块相关联的控制向量的数目不是固定不变的。 
根据另一具体特性，所述编码方法包含一个插入步骤，向表示所述序列的一个信号中，插入至少一条识别信息和至少一条重建所述给定模块的控制向量的信息，其中，所述识别信息指示所述参考图像、以及所述图像或待进行运动补偿的图像，并用于编码所述当前图像。 
本发明涉及一种计算机程序，所述计算机程序包括，在所述程序由处理器执行时，用以实施本文以上所描述的编码方法的指令。 
因此，可以各种方式(尤其以有线形式或以软件形式)来实施根据本发明的编码方法。 
在另一实施例中，本发明涉及一种用于对图像序列进行编码的装置，所述装置包括：将一个参考图像划分为多个模块的构件，以及使所述序列的一个当前图像的至少一个模块与所述序列的至少一个待进行运动补偿的图像中的至少一个对应模块相关联的预测构件，其中，所述待补偿的图像是预编码的。 
根据本发明，所述预测构件包括为参考图像的至少一个给定模块而激活的以下构件： 
-确定所述给定模块与所述当前图像相关联的多个控制向量的构件，以及基于所述参考图像与所述当前图像之间的运动，将所述给定模块划分为多个子模块从而界定一个第一分区的构件； 
-确定所述给定模块与所述待补偿的图像相关联的多个控制向量的构件，以及基于所述参考图像与所述待补偿的图像之间的运动，将所述给定模块划分为多个子模块从而界定一个第二分区的构件； 
-通过比较所述第一分区与所述第二分区，获得一个将所述给定模块划分为称为基本子模块的多个子模块的共用分割的构件； 
-从与所述当前图像相关联的控制向量确定所述基本子模块的一个第一组控制向 量，以及从与所述待补偿的图像相关联的控制向量确定所述基本子模块的一个第二组控制向量的构件； 
-运动补偿所述待补偿的图像的至少一个子模块，使其朝向所述当前图像的至少一个子模块的构件，其中所述待补偿的图像的至少一个子模块对应于凭借所述第二组控制向量而运动移位的至少一个基本子模块，其中所述当前图像的至少一个子模块对应于凭借所述第一组控制向量而运动移位的至少一个基本子模块。 
这种编码装置尤其适于实施本文以上所描述的编码方法。所述编码装置例如为MPEG或H.264型视频编码器，或者根据未来的视频压缩准则(例如H.265)的编码器。 
本发明还涉及一种信号，其包括至少一条识别信息和至少一条重建所述参考图像的一个给定模块的控制向量的信息，其中，所述识别信息指示一个参考图像以及至少一个待进行运动补偿的图像，并用于编码一个当前图像。 
此信号当然可包括与根据本发明的编码方法有关的不同特性。 
本发明还涉及一种解码本文以上所描述的表示图像序列的信号的方法。 
这种方法包括针对至少一个当前图像的以下步骤： 
-凭借所述信号中的至少一条识别信息，确定一个参考图像和至少一个待补偿的图像，所述待补偿的图像用于对当前图像进行编码； 
-获得关于重建参考图像的至少一个给定模块的控制向量的信息， 
-预测当前图像，其包括针对所述至少一个给定模块的以下子步骤： 
-从所述各条重建信息，确定所述给定模块与所述当前图像相关联的多个控制向量，且基于所述参考图像与所述当前图像之间的运动，将所述给定模块划分为多个子模块，从而界定一个第一分区； 
-从所述各条重建信息，确定所述给定模块与所述待补偿的图像相关联的多个控制向量，且基于所述参考图像与所述待补偿的图像之间的运动，将所述给定模块划分为多个子模块，从而界定一个第二分区； 
-比较所述第一分区与所述第二分区，获得一个将所述给定模块划分为被称为基本子模块的多个子模块的共用分割； 
-从与所述当前图像相关联的控制向量确定所述基本子模块的一个第一组控制向量，且从与所述待补偿的图像相关联的控制向量确定所述基本子模块的一个第二组控制向量； 
-运动补偿所述待补偿的图像的至少一个子模块，使其朝向所述当前图像的至少一个子模块，其中所述待补偿的图像的至少一个子模块对应于凭借所述第二组控制向量而运 动移位的至少一个基本子模块，其中所述当前图像的至少一个子模块对应于凭借所述第一组控制向量而运动移位的至少一个基本子模块。 
此解码方法的特性和优点与编码方法的特性和优点相同。因此，将不对其进行更详细的描述。 
在另一实施例中，本发明涉及一种计算机程序，所述计算机程序包括，在所述程序由处理器执行时，用以实施本文以上所描述的解码方法的指令。 
因此，可以各种方式(尤其以有线形式或以软件形式)来实施根据本发明的解码方法。 
最后，本发明涉及一种用于解码本文以上所描述的表示图像序列的信号的装置，所述装置包括为至少一个当前图像而激活的以下构件： 
-凭借所述信号中的至少一条识别信息，确定一个参考图像和至少一个待补偿的图像的构件，所述待补偿的图像用于对所述当前图像进行编码； 
-获得关于重建所述参考图像的至少一个给定模块的控制向量的信息的构件， 
-预测所述当前图像的构件，所述构件包括为所述至少一个给定模块而激活的以下构件： 
-从所述各条重建信息，确定所述给定模块与所述当前图像相关联的多个控制向量的构件，以及基于所述参考图像与所述当前图像之间的运动，将所述给定模块划分为多个子模块从而界定一个第一分区的构件； 
-从所述各条重建信息，确定所述给定模块与所述待补偿的图像相关联的多个控制向量的构件，以及基于所述参考图像与所述待补偿的图像之间的运动，将所述给定模块划分为多个子模块从而界定一个第二分区的构件； 
-通过比较所述第一分区与所述第二分区，获得一个共用分割的构件，所述共用分割将所述给定模块划分为称为基本子模块的多个子模块； 
-从与所述当前图像相关联的控制向量确定所述基本子模块的一个第一组控制向量的构件，且从与所述待补偿的图像相关联的控制向量确定所述基本子模块的一个第二组控制向量的构件； 
-运动补偿所述待补偿的图像的至少一个子模块，使其朝向所述当前图像的至少一个子模块的构件，其中所述待补偿的图像的至少一个子模块对应于凭借所述第二组控制向量而运动移位的至少一个基本子模块，其中所述当前图像的至少一个子模块对应于凭借所述第一组控制向量而运动移位的至少一个基本子模块。 
这种解码装置尤其适于实施本文以上所描述的解码方法。所述解码装置为(例如) MPEG或H.264型视频编码器，或者根据未来的视频压缩准则(例如，H.265)的编码器。 
附图说明
根据借助于简单的说明性且非穷举实例给出的以下对特定实施例的描述且根据附图，本发明的其它特征和优点将变得更清楚，附图中： 
图1A和图1B，参考现有技术而呈现，分别说明后向运动补偿技术和前向运动补偿技术； 
图2说明根据本发明一个实施例的编码方法的主要步骤； 
图3A和图3B展示划分为子模块的第一遍次和第二遍次的实例； 
图4A到图4C分别说明参考图像的模块的第一分区、第二分区以及共用分割； 
图5展示根据本发明一个实施例的在解码侧实施的主要步骤； 
图6和图7分别呈现根据本发明一个具体实施例的编码装置和解码装置的结构。 
具体实施方式
1 一般原理 
本发明的一般原理依赖于通过对当前图像的前向运动补偿而使用至少一个中间图像来进行预测，尤其在当前图像处于距参考图像较大距离处(在时间上或在其内容方面)时更是如此。随后使用比参考图像较靠近当前图像的待进行运动补偿的至少一个或一个以上图像(中间图像)来执行当前图像的运动补偿。 
为此，本发明界定当前图像相对于参考图像的运动，以及经运动补偿的图像相对于参考图像的运动。 
参考图2，现在呈现根据本发明一个实施例的编码方法的主要步骤。举例来说，认为序列除其它内容外还包括：对应于序列的时刻t_ref的参考图像Iref、对应于序列的时刻t_a的待进行运动补偿的图像Ia以及对应于序列的时刻t_i的待预测的当前图像Ip。 
可注意到，先前已对所述待进行运动补偿的图像Ia进行了编码/解码。此图像Ia用于借助于前向运动补偿来预测当前图像。 
根据此实施例，在用于划分为模块的步骤11期间将参考图像Iref划分为模块。之后，为Ia和当前图像Ip确定这些模块在待补偿的图像中的运动。 
随后在预测步骤12期间设法预测当前图像Ip。此预测步骤12包括针对参考图像Iref的至少一个给定模块111而实施的以下步骤： 
-为给定模块111确定(121)与当前图像Ip相关联的多个控制向量，所述多个控 制向量各自表示给定模块111的特性点与在当前图像Ip中的对应位置之间的位移； 
-通过考虑参考图像Iref与当前图像Ip之间的运动，将参考图像的给定模块111划分(122)为若干个子模块，从而界定第一分区P1； 
-为给定模块111确定(131)与待补偿的图像Ia相关联的多个控制向量，所述多个控制向量各自表示给定模块111的特性点与在待补偿的图像Ia中的对应位置之间的位移； 
-通过考虑参考图像Iref与待补偿的图像Ia之间的运动，将参考图像的给定模块111划分(132)为若干个子模块，从而界定第二分区P2； 
-通过比较第一分区与第二分区P2来获得(141)分为给定模块111的若干个子模块(称为基本子模块)的共用分割P。举例来说，如果第一分区P1和第二分区P2是相同的，那么共用分割P等于P1，P1等于P2。如果第一分区P1和第二分区P2是不同的，那么由所述两个分区P1和P2的联合来界定共用分割P。举例来说，如图2中所说明，共用分割P界定了称为基本子模块的七个子模块； 
-从与当前图像Ip相关联的控制向量为基本子模块确定(123)第一组控制向量； 
-从与待补偿的图像Ia相关联的控制向量为基本子模块确定(133)第二组控制向量； 
-借助于第一组控制向量实现参考图像Iref的至少一个基本子模块朝当前图像Ip的第一运动移位(124)； 
-借助于第二组控制向量实现参考图像Iref的至少一个基本子模块朝待补偿的图像Ia的第二运动移位(134)； 
-从在第二移位步骤134期间获得的待补偿的图像Ia的子模块预测(151)在第一移位步骤124期间获得的当前图像Ip的子模块。 
如此移位的基本子模块可因此变为分离，从而致使孔或其它区域仍然彼此重叠。 
本发明因此提出一种使用一个或一个以上经前向运动补偿的图像来进行预测的技术，从而改进从单个参考图像获得的预测，且不会具有现有技术的缺点。 
举例来说，如果将描述设置于可借助于在本文以上提及的第FR 2 917 872号法国专利申请案中所描述的运动管道来表示的图像序列的背景中，且如果参考图像中的给定模块以及待补偿的图像中和当前图像中的对应模块属于在参考图像中初始化的同一运动管道，那么采用以上标记法将得到： 
-t_ref：为运动管道而界定的参考时刻，或运动管道的创建时刻，其对应于参考图像Iref； 
-t_a(可能为t_b)：用于借助于前向运动补偿对待预测的当前图像进行预测的已编码/解码的图像的时刻，其对应于待具备经运动补偿的图像Ia(以及可能若干个待补偿的图像Ib)； 
-t_i：“中间”时刻，其中需要投影用于预测的经编码/解码的图像，所述“中间”时刻对应于待预测的当前图像。 
本发明随后提出使用界定于时刻t_a处的模块(也有可能在时刻t_b处)的纹理来对界定于时刻t_ref处的模块实施运动补偿，以重建界定于时刻t_i处的模块的值。 
此方法尤其提供以下优点： 
-其使得能够通过基于待补偿的先前经编码/解码的图像(Ia、可能Ib)而执行的运动补偿来使用经更新的“纹理”； 
-不必重新利用界定于时刻t_ref处的参考图像Iref来获得对时刻t_i处的当前图像的编码或重建，从而使所提出的解决方案的复杂性较低，并避免对与根据现有技术的多个运动补偿有关的内插的多个过滤操作； 
-对于运动向量的编码，在当前图像中待预测的子模块仅需要至多一个运动向量。可想到，对于预测来说，有可能使用待补偿的若干个图像。由于已知道关于这些待补偿的图像与参考图像之间的运动的若干条信息，所以不必对若干个运动向量进行编码，这与传统上在例如MPEG4-AVC等混合编码器中对“B”图像进行的操作相反； 
-此方法使得有可能在当前图像处于距参考图像过远的距离处时，限制对在不同时刻t ref处创建新的运动管道的需要，且因此使得有可能增加压缩； 
-所使用的运动路径对应于待预测的模块的运动路径。 
在此借助于运动管道而表示的图像序列的背景中，本发明提出一种使用单个逐模块编码的运动向量以及一个或一个以上待补偿的图像的预测技术，这些待补偿的图像不是已相对于其而界定运动的参考图像。本发明的此实施例因此改进在当前图像远离其中显像管经初始化的参考图像时，对包括属于运动管道的模块的当前图像的预测质量，这是通过基于如在本文以上所提及的第0854465号法国专利申请案中所描述的控制向量而使用运动补偿技术，同时使其适于待投影在待预测的图像(当前图像)上的不是从其创建运动管道的图像(参考图像)的图像(待进行运动补偿的图像)，从而限制内插的复杂性和问题。 
更一般地说，所提出的预测技术在不增加对运动向量进行编码的成本的情况下，减少对待编码的当前图像的预测残差的进行编码的成本，并提供有限的操作复杂性。 
2 对编码方法的一个实施例的描述 
在下文中，提供对根据一个特定实施例的图2的编码方法的不同步骤的实施方案的详细描述。为了清楚起见，使用了与针对图2而界定的数字标号相同的数字标号。 
再次考虑待预测的当前图像Ip、参考图像Iref以及至少一个待进行运动补偿以便建立预测的图像Ia。 
A)确定控制向量 
如参考图2所指示，在步骤121(以及相应地，131)处，确定与当前图像Ip(以及相应地，待补偿的图像Ia)相关联的控制向量。这些控制向量从参考图像Iref指向待预测的当前图像Ip(分别朝待补偿的图像Ia)。 
在上述第0854465号法国专利申请案中较具体地描述了此类控制向量。 
B)获得第一分区和第二分区 
1)原理 
在步骤122(以及相应地，132)处，考虑参考图像Iref与当前图像Ip之间的运动而将给定模块111划分为若干个子模块(分别在参考图像Iref与待补偿的图像Ia之间)。 
更具体来说，可想到，将模块界定于参考图像Iref的规则网格上(将参考图像划分为若干个模块的步骤11)。随后设法表达所述模块在待补偿的图像Ia和当前图像Ip中相对于此参考时刻的运动。 
划分步骤122(以及相应地，132)可实施划分为具有自适应大小的若干个子模块的两个连续遍次。这些遍次中的每一者可实施划分的至少一次重复，直到达到用于停止划分的第一(以及相应地，第二)预定标准为止。第一划分停止标准和第二划分停止标准可为不同的。举例来说，此标准考虑给定模块的预定数目个子模块、关于控制向量之间的相似性的一条信息、给定模块的大小、子模块的最小大小、表示划分的数目的指示符等。举例来说，关于相似性的信息对应于控制向量之间的最大差。当此差低于阈值时，不再划分子模块。 
因此，不一定要将参考图像的所有模块均划分为若干个子模块，且子模块划分对图像的各个模块来说可不同。因此子模块分割是自适应的。 
2)第一划分遍次 
图3A说明用一个每子模块经编码的运动向量来进行自适应大小的子模块划分的第一遍次的原理。在此图中，此遍次实施划分的两次重复。在总体框架中，可界定若干个重复等级。 
换句话说，参考图像的模块可具有自适应大小，即可对其进行再分，以便借助于小于在参考图像的划分期间所获得的模块的模块(称为子模块)来估计运动。举例来说， 在第一重复期间，在划分一个方向或成对的两个方向时，可将参考图像的模块31划分为两个水平的子模块321、322、两个垂直的子模块323、324，或者四个正方形子模块325、326、327、328。在随后的重复中，又可对正方形子模块325、326、327、328进行划分。举例来说，可将正方形子模块328划分为两个水平的子模块331、332、两个垂直的子模块333、334，或者四个正方形子模块335、336、337、338。 
运动向量与源自具有自适应大小的子模块划分操作的每一子模块相关联。将模块划分为若干个子模块改进了运动估计，且使模块的大小适合对象的轮廓。 
3)第二划分遍次 
图3B说明在第一划分遍次之后用于针对运动补偿而划分为具有自适应大小的若干个子模块的第二划分遍次的实例。 
更具体来说，可针对运动补偿而再分源自具有自适应大小的子模块划分的模块或子模块。随后考虑针对此较高等级的模块或子模块而编码的连接，基于较高等级的模块或子模块的控制向量而界定模块或子模块的控制向量。这些连接指示模块或子模块是否连接到位于所述模块或子模块的上方或左边的模块或子模块。在本文以上所参考的第0854465号法国专利申请案中描述了从模块的控制向量确定子模块的控制向量的实例。举例来说，将模块或子模块bC划分为四个子模块bSC1、bSC2、bSC3以及bSC4(未展示于图3B中)。为模块bC确定四个控制向量，所述四个控制向量各自与模块的顶点或隅角相关联。 
举例来说，使用以下符号： 
-vbr是与位于模块bC的右下侧的隅角相关联的控制向量； 
-vbl是与位于模块bC的左下侧的隅角相关联的控制向量； 
-vtr是与位于模块bC的右上侧的隅角相关联的控制向量； 
-vtl是与位于模块bC的左上侧的隅角相关联的控制向量。 
对附属于模块bC的控制向量进行内插，以为子模块界定新的控制向量。 
举例来说，使用以下符号： 
-vml是与位于子模块bSC1的左下侧的隅角相关联的控制向量，其还对应于位于子模块bSC3的左上侧的隅角； 
-vtm是与位于子模块bSC1的右上侧的隅角相关联的控制向量，其还对应于位于子模块bSC2的左上侧的隅角； 
-vmr是与位于子模块bSC2的右下侧的隅角相关联的控制向量，其还对应于位于子模块bSC4的右上侧的隅角； 
-vbm是与位于子模块bSC3的右下侧的隅角相关联的控制向量，其还对应于位于子模块bSC4的左下侧的隅角；以及 
-vmm是与位于模块bSC1的右下侧的隅角相关联的控制向量，其还对应于位于子模块bSC2的左下侧的隅角、位于子模块bSC3的右上侧的隅角以及位于子模块bSC4的左上侧的隅角。 
随后从模块bC的控制向量来确定子模块的控制向量，例如如下： v tm = v tl + v tr 2 , v bm = v bl + v br 2 , v ml = v tl + v bl 2 , v mr = v tr + v br 2 以及 v mm = v tl + v tr + v bl + v br 4 .
如本文以上所描述，可重复此划分过程，直到达到用于停止所述划分的标准为止。 
在此第二划分遍次期间，没有针对子模块而对额外的运动向量进行编码(仅对在第一遍次结束时获得的控制向量进行编码)。 
如图3B中所说明，如果考虑一组四个模块32、33、34、35(其中模块33的大小由影线模块表示)，那么在两个划分遍次后获得一组子模块。在此图中，在第一遍次期间已将某些模块或子模块划分为具有自适应大小的子模块(以粗线说明的分割)，且随后在第二遍次期间已针对运动补偿而再分某些模块或子模块(以细线说明的分割)。 
C)确定共用分割 
如已指示，在待补偿的图像Ia中且在当前图像Ip两者中，来自待补偿的图像Ia(不同于来自参考图像Iref)的模块在待预测的当前图像Ip上的运动补偿必须考虑在参考图像Iref中界定的给定模块111的运动。相对于同一参考图像Iref来估计每一待补偿的图像Ia和当前图像Ip中的运动。 
现在可想到，参考图像的给定模块111可能已在待补偿的图像Ia(即，考虑参考图像Iref与待补偿的图像Ia之间的运动)中且/或在当前图像Ip(即，考虑参考图像Iref与当前图像Ip之间的运动)中被分割为具有自适应大小的子模块。可想到，在当前图像Ip中且在待补偿的图像Ia中，对给定模块111的划分或分割可能是不同的。 
因此，在划分步骤122结束时，获得对应于给定模块111的子模块划分的第一分区P1，第一分区P1与关于参考图像Iref朝当前图像Ip的运动的信息有关。图4A中说明给定模块111的第一分区的实例。 
在划分步骤132结束时，获得对应于给定模块111的子模块划分的第二分区P2，第二分区P2与关于从参考图像Iref到待补偿的图像Ia的运动的信息有关。图4B中说明给定模块111的第二分区的实例。 
随后有必要在所述两个图像中找到共用分割，以便使当前图像Ip中的给定模块111的子模块与待补偿的图像Ia中的给定模块111的子模块相关联。 
为此，在步骤141中对所述两个分区P1和P2进行比较，以便获得如图4C中所说明的这些分区P1与P2之间的共用分割P。此共用分割对应于分区P1(与朝当前图像Ip的运动有关)和P2(与朝待补偿的图像Ia的运动有关)的联合，并界定对应于所获得的最小子模块的基本子模块。 
在使得有可能实现共用分割P的每一分割等级上，对新的子模块的控制向量的确定随当前图像Ip中以及相应地待补偿的图像Ia中的给定模块111与其相邻者的连接而变。 
因此，如果当前图像Ip中(以及相应地待补偿的图像Ia中)的给定模块111没有连接到相邻的模块，那么四个新的子模块的控制向量便取前一等级的子模块的控制向量的值。 
如果给定模块111连接到其相邻者中的一者： 
-如果达到子模块细分的标准(即，停止标准)，那么新的子模块(基本子模块)的控制向量便取前一等级(即，较高分割等级)的子模块的控制向量的值； 
-如果未达到子模块细分标准，那么如段落B.3中所描述来确定新的子模块的控制向量。 
D)对来自当前图像Ip中的待补偿的图像Ia的给定模块的补偿 
可通过针对从给定模块111的共用分割P提取的每一基本子模块应用以下算法来进行对来自待补偿的图像Ia(其不是例如运动管道在其中初始化的参考图像)的当前图像Ip中的给定模块111的补偿。 
可注意到，可以对应于全部像素的多重移位的像素运动(即，使一像素移位到另一像素)或者对应于一个像素到不是像素的点的移位的子像素运动，来使基本子模块从参考图像Iref朝当前图像Ip或待补偿的图像Ia移位。在后一种情况中，有必要对经补偿的纹理进行内插，以获得环绕此点的像素上的纹理的值。子像素运动随后分解为像素运动和子像素残差。 
1)像素运动的情况 
对于来自基本子模块的每一控制向量vi，对参考图像Iref中的基本子模块的所有像素(x，y)执行以下操作： 
-将值wi*wt*Ia(x+dax，y+day)与点Ipred(x+dxCurr，y+dyCurr)进行累加： 
Ipred(x+dxCurr，y+dyCurr)+＝wi*wt*Ia(x+dax，y+day)， 
-将值wi*wt*与点进行累加：IWpred(x+dxCurr，y+dyCurr) IWpred(x+dxCurr，y+dyCurr)+＝wi*wt。 
其中： 
-Ipred是用于建立对当前图像Ip的预测的累加图像； 
-IWpred是用于使经预测的图像标准化的权重的图像； 
-wi是与基本子模块的控制向量vi相关联的权重； 
-wt是与待补偿的图像Ia相关联的权重。如果使用若干个待补偿的图像Ia来预测当前图像Ip，那么权重wt是待补偿的图像与当前图像之间的距离的函数。如果仅使用一个图像，那么wt等于1； 
-(dxCurr，dyCurr)是待预测的当前图像中的基本子模块的控制向量vi的值； 
-(dax，day)是待补偿的图像Ia中的基本子模块的控制向量vi的值。 
2)子像素运动的情况 
继续采用先前所界定的标记法，对基本子模块的每一控制向量vi执行以下操作： 
-在将子像素运动分解为像素运动(idxCurr，idyCurr)和子像素残差(fdxCurr，fdyCurr)时检索最靠近的像素运动： 
○dxCurr＝idxCurr+fdxCurr， 
○dyCurr＝idyCurr+fdyCurr， 
其中(idxCurr，idyCurr)是两个整数，使得运动的子像素残差(fdxCurr，fdyCurr)包含在区间]-0，5；0，5[中； 
-对于参考图像Iref中的基本子模块的任一点(x，y)，补偿： 
○将值wi*wt*Ia(x+dax-fdxCurr，y+day-fdyCurr)与点Ipred(x+idxCurr，y+idyCurr)进行累加：Ipred(x+idxCurr，y+idyCurr)+＝wi*wt*Ia(x+dax-fdxCurr，y+day-fdyCurr)， 
○将值wi*wt与点IWpred(x+idxCurr，y+idyCurr)进行累加：IWpred(x+idxCurr，y+idyCurr)+＝wi*wt。 
因此，对于对应于当前图像的位置(idxCurr，idyCurr)的像素，对移位了向量(dax-fdxCurr，day-fdyCurr)的待补偿图像的纹理进行累加。换句话说，从待补偿的图像的移位去除当前图像中的运动的子像素残差。 
E)在待预测的图像Ip上补偿一个或一个以上待补偿图像Ia 
首先将用于建立对当前图像Ip的预测的图像Ipred以及用于使所获得的预测图像标准化的权重图像IWpred初始化为0。 
在此实施例中，针对用于对当前图像Ip的预测的所有待补偿图像Ia(其不是参考图像)而实施本文以上所描述的用于确定共用分割的步骤(段落C)以及用于补偿模块的 步骤(段落D)。 
一旦已对用于预测的所有图像Ia进行了运动补偿，就借助于具有权重图像IWpred的图像，使用以下算法使图像Ipred标准化： 
对于图像Ipred中的每个x， 
-如果IWpred(x)不同于0，那么使Ipred(x)除以IWpred(x) 
-否则Ipred(x)取值UNDEF(UNDEF被界定于预定义值，例如值0)。 
F)将非预测值填充在图像Ipred中 
可使用如M·伯修米欧(M.Bertalmio)等人在文献“图像修复(Image Inpainting)”中所提出的传统的还原或修复技术，以便填充可能留在图像Ipred中的任何间隙或孔，且获得对当前图像的预测。这些孔对应于值已被定位于UNDEF的像素。 
随后针对待编码的当前图像Ip将图像Ipred用作预测图像。 
3 信号 
一旦已对图像进行编码，就可将表示根据上述编码方法而编码的图像序列的信号传输到解码器且/或存储在记录媒体上。 
所述信号还传达特定信息。 
更具体来说，这种信号包括在对当前图像进行编码期间所使用的指示参考图像和至少一个待进行运动补偿的图像的至少一条识别信息，以及至少一条关于重建参考图像的给定模块的控制向量的信息。 
若干条关于识别的信息使得有可能指定已在对当前图像进行编码期间所使用的作为参考图像以及待进行运动补偿的图像的那些图像。以此方式，解码器可使用这些相同的图像来实施对当前图像的预测。 
若干条关于重建的信息包含(例如)旗标flag_lc(旗标_lc)和flag_tc(旗标_tc)。 
4 解码 
现在参考图5，呈现在(例如)H.264型视频解码器中实施的用于对表示如本文以上所描述的图像序列的信号进行解码的主要步骤。 
这种解码器针对至少一个当前图像而实施以下步骤： 
-从存在于信号中的至少一条识别信息来确定(51)在当前图像的编码期间所使用的参考图像和至少一个待补偿的图像， 
-获得(52)关于重建参考图像的至少一个给定模块的控制向量的信息， 
-预测(53)当前图像。 
此预测步骤53实施与预测步骤12相同的子步骤，且此处不对其进行更详细的描述。 
随后有可能向当前图像的预测添加在编码期间确定并在信号中传输的预测错误的残差，以便重建当前图像。 
5 编码器和解码器的结构 
最后，参考图6和图7，呈现分别实施如本文以上所描述的编码技术和解码技术的编码装置和解码装置的简化结构。 
如图6中所说明的编码装置包括：存储器61，其包括缓冲存储器；处理单元62，其配备有(例如)微处理器μP，并由计算机程序63驱动，所述编码装置实施根据本发明的编码方法。 
在初始化时，计算机程序63的代码指令(例如)加载到RAM中，且随后由处理单元62的处理器执行。处理单元62接收图像序列，所述图像序列包括至少一个参考图像Iref、一个待补偿的图像Ia以及一个当前图像Ip。处理单元62的微处理器根据计算机程序63的指令而实施本文以上所描述的编码方法的步骤，以确定对当前图像Ip的预测。为此，除了缓冲存储器61之外，所述编码器还包括：用于将参考图像划分为若干个模块的构件；以及使序列的当前图像Ip的至少一个模块与序列的至少一个待进行运动补偿的图像Ia中的至少一个对应模块相关联从而递送对当前图像的预测的预测构件。 
这些构件由处理单元62的微处理器驱动。 
如图7中所说明的解码装置包括：存储器71，其包括缓冲存储器；处理单元72，其配备有(例如)微处理器μP，并由计算机程序73驱动，所述解码装置实施根据本发明的解码方法。 
在初始化时，计算机程序73的代码指令(例如)加载到RAM中，且随后由处理单元72的处理器执行。处理单元72输入表示图像序列的信号，所述图像序列包括指示用于对当前图像进行编码的参考图像以及一个或一个以上待进行运动补偿的图像的若干条关于识别的信息，以及至少一条关于重建参考图像的给定模块的控制向量的信息。处理单元72的微处理器根据计算机程序73的指令而实施本文以上所描述的解码方法的步骤，以确定对当前图像的预测。为此，除了缓冲存储器71之外，所述解码装置还包括：用于借助于存在于信号中的至少一条关于识别的信息来确定当前图像的编码期间所使用的参考图像和至少一个待补偿的图像的构件；用于获得关于重建参考图像的至少一个给定模块的控制向量的信息的构件；以及用于预测当前图像从而递送对当前图像的预测的构件。这些构件由处理单元72的微处理器驱动。 

Claims (9)

1.一种用于对图像序列进行编码的方法，所述方法执行从预先划分为多个模块的一个参考图像（Iref）的一个模块，预测所述序列的一个当前图像（Ip）的至少一个模块，所述预测将所述序列的一个当前图像（Ip）的至少一个模块与至少一个中间图像（Ia）中的至少一个对应模块相关联，其中所述中间图像（Ia）时间定位（time-localized）在所述参考图像与所述当前图像之间，并待进行前向运动补偿；
其中，所述至少一个中间图像是预编码的；
所述方法的特征在于，包括一个最佳分割阶段，其递送所述参考图像的至少一个给定模块的一个共用分割，所述阶段包括以下步骤：
确定（121）一个第一多个运动向量，其为所述当前图像中与所述给定模块的多个特性点相关联的控制向量，所述控制向量分别各自表示所述参考图像的所述给定模块的特性点与所述特性点在所述当前图像中的对应位置之间的位移；
基于所述第一多个控制向量，将所述给定模块划分（122）为多个子模块，从而界定一个第一分区；
确定（131）一个第二多个运动向量，其为所述中间图像中的相关联控制向量，所述控制向量分别各自表示所述参考图像的所述给定模块的特性点与所述特性点在所述中间图像中的对应位置之间的位移；
基于所述第二多个控制向量，将所述给定模块划分（132）为多个子模块，从而界定一个第二分区；
通过联合所述第一分区和所述第二分区，获得将所述给定模块分为称为基本子模块的多个子模块的所述共用分割（141）；
且所述方法的特征在于，包括一个根据预编码/解码的所述中间图像来预测所述当前图像的阶段，其中将为所述给定模块分为多个基本子模块的所述共用分割被应用于所述参考图像，所述预测阶段包括以下步骤：
从与所述当前图像的所述模块相关联的所述控制向量确定（123）所述基本子模块的一个第一组经修改的控制向量；
从与所述中间图像相关联的控制向量确定（133）所述基本子模块的一个第二组经修改的控制向量；
凭借所述第二组经修改的控制向量，前向运动补偿运动移位的所述基本子模块，从而递送所述中间图像的子模块；
凭借所述第一组经修改的控制向量，朝所述当前图像的对应子模块，前向运动补偿所述中间图像的所述子模块。
2.根据权利要求1所述的编码方法，其特征在于，所述参考图像中的所述给定模块和，在所述中间图像以及所述当前图像中的所述对应模块属于同一运动管道，所述运动管道包括经设计以独立于至少一个其它运动管道而发展的像素模块；以及
所述管道在所述参考图像中初始化。
3.根据权利要求1所述的编码方法，其特征在于用于将所述给定模块划分（122、132）为若干个子模块的所述步骤中的至少一个步骤连续执行两编次，以划分形成具有自适应大小的子模块。
4.根据权利要求1所述的编码方法，其特征在于用于将所述给定模块划分（122、132）为若干个子模块的所述步骤中的至少一个步骤至少重复执行两次，直到达到一个预设停止标准，其适用于所述划分步骤以递送所述第一分区和/或第二分区；
所述停止标准属于包括以下各项的群组：
子模块的最小尺寸；
划分的最大数目；
低于预定阈值的、分别与两个子模块相关联的所述控制向量之间的差值。
5.根据权利要求1所述的编码方法，其特征在于，所述给定模块或所述基本子模块的所述控制向量分别各自与所述给定模块或所述基本子模块的顶点相关联。
6.根据权利要求1所述的编码方法，其特征在于，其包含一个插入步骤，向表示所述序列的一个信号中，插入至少一条识别信息和至少一条重建所述给定模块的控制向量的信息，其中，所述识别信息指示所述参考图像、以及所述至少一个中间图像，并用于编码所述当前图像。
7.一种用于对图像序列进行编码的装置，所述装置包括：
从预先划分为若干个模块的一个参考图像（Iref）的一个模块预测所述序列的一个当前图像（Ip）的至少一个模块的构件，所述预测构件使所述序列的一个当前图像（Ip）的至少一个模块与至少一个中间图像（Ia）中的至少一个对应模块相关联，其中所述中间图像（Ia）时间定位在所述参考图像与所述当前图像之间，并待进行前向运动补偿；
其中，所述至少一个中间图像是预编码的；
所述装置的特征在于，所述编码装置包括最佳分割构件，其递送所述参考图像的至少一个给定模块的一个共用分割，所述分割构件包括：
确定（121）一个第一多个运动向量的构件，所述运动向量为所述当前图像中与所述给定模块的若干个特性点相关联的控制向量，所述控制向量分别各自表示所述参考图像的所述给定模块的特性点与所述特性点在所述当前图像中的对应位置之间的位移；
基于所述第一多个控制向量，将所述给定模块划分（122）为多个子模块从而界定一个第一分区的构件；
确定（131）一个第二多个运动向量的构件，所述运动向量为所述中间图像中的相关联的控制向量，所述控制向量分别各自表示所述参考图像的所述给定模块的特性点与所述特性点在所述中间图像中的对应位置之间的位移；
基于所述第二多个控制向量，将所述给定模块划分（132）为多个子模块从而界定一个第二分区的构件；
联合所述第一和第二分区，获得所述共用分割（141）的构件，所述共用分割（141）将所述给定模块划分为称为基本子模块的多个子模块；
且所述装置的特征在于，其包括根据预编码/解码的所述中间图像来预测所述当前图像的构件，其中将为所述给定模块分为多个基本子模块的所述共用分割被应用于所述参考图像，所述预测构件包括：
从与所述当前图像的所述模块相关联的所述控制向量，确定（123）所述基本子模块的一个第一组经修改的控制向量的构件；
从与所述中间图像相关联的控制向量，确定（133）所述基本子模块的一个第二组经修改的控制向量的构件；
凭借所述第二组经修改的控制向量，前向运动补偿运动移位的所述基本子模块，从而递送所述中间图像的子模块的构件；
凭借所述第一组经修改的控制向量，朝所述当前图像的对应子模块，前向运动补偿所述中间图像的所述子模块的构件。
8.一种用于解码表示图像序列的信号的方法，其特征在于包括针对至少一个当前图像的以下步骤：
凭借所述信号中的至少一条识别信息，确定一个参考图像和至少一个中间图像，所述中间图像用于对所述当前图像进行编码；
获得关于重建所述参考图像的至少一个给定模块的控制向量的信息；
预测所述当前图像，其包括针对所述至少一个给定模块的以下子步骤：
从所述各条重建信息，确定一个第一多个运动向量，所述运动向量为所述当前图像中与所述给定模块的多个特性点相关联的控制向量，所述控制向量分别各自表示所述参考图像的所述给定模块的特性点与所述特性点在所述当前图像中的对应位置之间的位移；
基于所述第一多个称为控制向量的运动向量，将所述给定模块划分为多个子模块，从而界定一个第一分区；
从所述各条重建信息，确定一个第二多个运动向量，所述运动向量为所述中间图像中的相关联的控制向量，所述控制向量分别各自表示所述给定模块的特性点与所述特性点在所述中间图像中的对应位置之间的位移；
基于所述第二多个控制向量，将所述给定模块划分为多个子模块，从而界定一个第二分区；
通过联合所述第一分区和所述第二分区，获得所述共用分割，其将所述给定模块划分为称为基本子模块的多个子模块；
从与所述当前图像的所述模块相关联的所述控制向量，确定所述基本子模块的一个第一组经修改的控制向量；
从与所述中间图像的所述模块相关联的所述控制向量，确定所述基本子模块的一个第二组经修改的控制向量；
凭借所述第二组经修改的控制向量，前向运动补偿运动移位的所述基本子模块，从而递送所述中间图像的子模块；
凭借所述第一组经修改的控制向量，朝所述当前图像的对应子模块，前向运动补偿所述中间图像的所述子模块。
9.一种用于解码表示图像序列的信号的装置，其特征在于，包括为至少一个当前图像而激活的以下构件：
凭借所述信号中的至少一条识别信息，确定一个参考图像和至少一个中间图像的构件，其中所述中间图像用于对所述当前图像进行编码；
获得关于重建所述参考图像的至少一个给定模块的控制向量的信息的构件；
用于预测所述当前图像的构件，所述构件包括针对所述至少一个给定模块的以下构件：
从所述各条重建信息，确定一个第一多个运动向量的构件，所述运动向量为所述当前图像中与所述给定模块的多个特性点相关联的控制向量，所述控制向量分别各自表示所述参考图像的所述给定模块的特性点与所述特性点在所述当前图像中的对应位置之间的位移；
基于所述第一多个运动向量，将所述给定模块划分为多个子模块从而界定一个第一分区的构件；
从所述各条重建信息，确定一个第二多个运动向量的构件，所述运动向量称为所述中间图像中的相关联的控制向量，所述控制向量分别各自表示所述参考图像的所述给定模块的特性点与所述特性点在所述中间图像中的对应位置之间的位移；
基于所述第二多个控制向量，将所述给定模块划分为多个子模块从而界定一个第二分区的构件；
用于通过所述第一和第二分区的联合来获得分为所述给定模块的称为基本子模块的若干个子模块的共用分割的构件，
从与所述当前图像的所述模块相关联的所述控制向量，确定所述基本子模块的一个第一组经修改的控制向量的构件；
从与所述中间图像的所述模块相关联的所述控制向量，确定所述基本子模块的第二组经修改的控制向量的构件；
凭借所述第二组经修改的控制向量，前向运动补偿运动移位的所述基本子模块，从而递送所述中间图像的子模块的构件；
凭借所述第一组经修改的控制向量，朝所述当前图像的对应子模块，前向运动补偿所述中间图像的所述子模块的构件。
CN201080005822.9A 2009-01-28 2010-01-26 用于对实施运动补偿的图像序列进行编码和解码的方法、以及对应的编码和解码装置 Active CN102301714B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0950510 2009-01-28
FR0950510 2009-01-28
PCT/FR2010/050115 WO2010086545A1 (fr) 2009-01-28 2010-01-26 Procedes de codage et de decodage d'une sequence d'image mettant en oeuvre une compensation en mouvement, dispositifs de codage et de decodage, signal et programmes d'ordinateur correspondants

Publications (2)

Publication Number Publication Date
CN102301714A CN102301714A (zh) 2011-12-28
CN102301714B true CN102301714B (zh) 2014-01-22

Family

ID=41136807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080005822.9A Active CN102301714B (zh) 2009-01-28 2010-01-26 用于对实施运动补偿的图像序列进行编码和解码的方法、以及对应的编码和解码装置

Country Status (4)

Country Link
US (1) US9066107B2 (zh)
EP (1) EP2392142B1 (zh)
CN (1) CN102301714B (zh)
WO (1) WO2010086545A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2553927B1 (fr) * 2010-03-31 2018-11-28 Orange Procedes et dispositifs de codage et de decodage d'une sequence d'images mettant en oeuvre une prediction par compensation de mouvement avant, et programme d'ordinateur correspondant
JP6090430B2 (ja) * 2013-03-26 2017-03-08 富士通株式会社 符号化装置、方法、プログラム、コンピュータシステム、記録媒体
US9948915B2 (en) 2013-07-24 2018-04-17 Qualcomm Incorporated Sub-PU motion prediction for texture and depth coding
SG11201510554RA (en) 2013-07-24 2016-02-26 Qualcomm Inc Simplified advanced motion prediction for 3d-hevc
US9693077B2 (en) 2013-12-13 2017-06-27 Qualcomm Incorporated Controlling sub prediction unit (sub-PU) motion parameter inheritance (MPI) in three dimensional (3D) HEVC or other 3D coding
CN106105212A (zh) 2014-03-07 2016-11-09 高通股份有限公司 简化的子预测单元(sub‑pu)运动参数继承(mpi)
MY190934A (en) * 2015-12-14 2022-05-23 Panasonic Ip Corp America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
WO2017171107A1 (ko) * 2016-03-28 2017-10-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1349716A (zh) * 1999-12-28 2002-05-15 皇家菲利浦电子有限公司 信噪比可缩放的视频编码方法和对应的解码方法
WO2006137020A2 (en) * 2005-06-22 2006-12-28 Koninklijke Philips Electronics N.V. Video signal compression
WO2009007580A2 (fr) * 2007-06-25 2009-01-15 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images representee a l'aide de tubes de mouvement, produits programme d'ordinateur et signal correspondants
CN101361369A (zh) * 2006-01-06 2009-02-04 国际商业机器公司 用于视觉信号外插或内插的系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR854465A (fr) 1939-01-03 1940-04-16 Brosse à dents
JP2003018602A (ja) 2001-04-24 2003-01-17 Monolith Co Ltd 画像データ符号化および復号のための方法および装置
JP3674535B2 (ja) * 2001-05-08 2005-07-20 日本電気株式会社 動画像符号化方法および装置
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
CN100553338C (zh) * 2002-07-15 2009-10-21 株式会社日立制作所 动态图像编码方法
WO2008007917A1 (en) * 2006-07-12 2008-01-17 Lg Electronics, Inc. A method and apparatus for processing a signal
CN101999228A (zh) * 2007-10-15 2011-03-30 诺基亚公司 针对多视角视频内容的运动跳跃和单环路编码
US20090167775A1 (en) * 2007-12-30 2009-07-02 Ning Lu Motion estimation compatible with multiple standards

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1349716A (zh) * 1999-12-28 2002-05-15 皇家菲利浦电子有限公司 信噪比可缩放的视频编码方法和对应的解码方法
WO2006137020A2 (en) * 2005-06-22 2006-12-28 Koninklijke Philips Electronics N.V. Video signal compression
CN101361369A (zh) * 2006-01-06 2009-02-04 国际商业机器公司 用于视觉信号外插或内插的系统和方法
WO2009007580A2 (fr) * 2007-06-25 2009-01-15 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images representee a l'aide de tubes de mouvement, produits programme d'ordinateur et signal correspondants

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Da Liu et al..DIRECT MODE CODING FOR B PICTURES USING VIRTUAL REFERENCE PICTURE.《ICME2007》.2007,1363-1366.
DIRECT MODE CODING FOR B PICTURES USING VIRTUAL REFERENCE PICTURE;Da Liu et al.;《ICME2007》;20070701;1363-1366 *

Also Published As

Publication number Publication date
WO2010086545A1 (fr) 2010-08-05
US20120051430A1 (en) 2012-03-01
EP2392142B1 (fr) 2018-10-24
EP2392142A1 (fr) 2011-12-07
US9066107B2 (en) 2015-06-23
CN102301714A (zh) 2011-12-28

Similar Documents

Publication Publication Date Title
CN102301714B (zh) 用于对实施运动补偿的图像序列进行编码和解码的方法、以及对应的编码和解码装置
JP5580453B2 (ja) 直接モード符号化及び復号化装置
CN101641954B (zh) 用于解码/编码视频信号的方法和装置
KR101450670B1 (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
CN101573985B (zh) 用于视频预测编码的方法和装置以及用于视频预测解码的方法和装置
US20240179340A1 (en) Multi-view coding with effective handling of renderable portions
US20120189060A1 (en) Apparatus and method for encoding and decoding motion information and disparity information
CN102972028A (zh) 新的帧内预测模式
CN103069802B (zh) 重构图像的当前块的方法和对应的编码方法、对应的装置
RU2509439C2 (ru) Способ и устройство кодирования и декодирования, сигнал, носитель данных и продукты компьютерной программы
CN103493492A (zh) 用于对多视点视频进行编码和解码的方法和设备
JP2013538534A (ja) オクルージョンデータのための圧縮方法および圧縮装置
CN105122809A (zh) 帧内编码的预测值派生的方法和装置
CN102986234A (zh) 图像处理装置和图像处理方法
CN101563927A (zh) 用于对视频图像的块进行解码的方法
US11689738B2 (en) Multi-view coding with exploitation of renderable portions
CN101690234A (zh) 视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质
CN1440201A (zh) 运动向量预测方法
CN104995916A (zh) 视频数据解码方法和视频数据解码设备
CN103370934A (zh) 多视点视频编码/解码装置和方法
KR20120095611A (ko) 다시점 비디오 부호화/복호화 방법 및 장치
GB2287603A (en) Inserting header code words
US20130100245A1 (en) Apparatus and method for encoding and decoding using virtual view synthesis prediction
CN102257817B (zh) 基于全局运动补偿的视频编码
CN103765895A (zh) 使用跳跃模式的编码/解码方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant