CN102187670A

CN102187670A - 通过前向移动期间的补偿来预测图像

Info

Publication number: CN102187670A
Application number: CN2009801410528A
Authority: CN
Inventors: 斯特凡·派缇; 纳瑟莉·肯莫
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2008-10-15
Filing date: 2009-10-13
Publication date: 2011-09-14
Anticipated expiration: 2029-10-13
Also published as: US20110255601A1; EP2347590A1; EP2347590B1; WO2010043809A1; US9055293B2; CN102187670B

Abstract

本发明关于一种用于通过前向运动补偿，根据至少一个参考图像来预测图像的方法。根据本发明，针对参考图像的称为参考块的至少一个块，所述预测方法(22)包括以下步骤：确定(221)至少一条位移信息，其表示所述参考块与待预测的所述图像中的对应块之间的位移；确定(222)至少一个放大块，其包括所述参考块及所述参考图像中邻近于所述参考块的块的至少一个点；根据至少一个放大块且根据针对所述参考块而确定的所述条位移信息来确定(223)待预测的所述图像的至少一个点的预测值。

Description

通过前向移动期间的补偿来预测图像

技术领域

本发明的领域是图像处理领域。

更具体地说，本发明涉及实施前向运动补偿的预测技术。

本发明特别可应用于在下一代视频编码器(H.265或ISO-MPEG型编码器)中对由一系列连续图像组成的视频流进行编码及解码的领域。

背景技术

下文中，对涉及在对图像序列进行编码或解码的领域中的图像预测的现有技术进行描述。

已经存在已知的混合视频编码方案，其中在两个阶段中对图像进行编码，第一阶段是通过运动补偿进行预测的阶段，随后是对预测残余进行编码的第二阶段。

在运动补偿技术中，已知一种称为“后向运动补偿”的运动补偿方法，图1A中示意性说明其实例。后向运动补偿使得能够考虑到从当前图像指向一个或一个以上参考图像的位移向量而根据至少一个参考图像Ir来预测图像Ic。

此预测包括两个步骤：

-将待预测的图像Ic再分为一组块；

-对于此图像的每一块，借助于与相对于参考图像Ir的位移有关的位移向量来进行预测。

因此，此预测操作相当于使参考图像的块的每个点移位与所考虑的块相关联的位移向量的值，且使得有可能向待预测的图像的每一点提供预测值。待预测的图像的点一般对应于像素。

还已知另一种称为“前向运动补偿”的运动补偿技术，图1B中示意性说明其实例。前向运动补偿使得能够考虑到从一个或一个以上参考图像Ir指向当前图像Ic的位移向量而根据至少一个参考图像Ir来预测图像Ic。

此预测包括两个步骤：

-将参考图像Ir再分成一组参考块；

-对于参考图像的每一参考块，进行移位，且对于此块的每一点，将参考图像的所述点的移位了所述位移向量的值分配给待预测的图像Ic的点。

这种称为前向运动补偿的运动补偿技术的一个缺点是，当若干个块彼此重叠时，所述技术会导致出现重叠区，其在图1B中标示为R。此外，在前向投影的块上使用不同位移还会导致块之间出现非重叠区，其在图1B中标示为D。

在非重叠区中不分配值会限制所提出的编码方案的性能。

在这些非重叠区中重建值的问题是众所周知的称为“修描”(inpainting)的复原问题。

已针对此问题提出了若干解决方案。

举例来说，文献“使用树状结构的向量量化的快速纹理合成(Fast Texture Synth esis using Tree-stru ctu red Vector Quantization)”(L·Y·卫(L.Y.Wei)、M·列维(M.Levoy)的SIG-GRAPH 2000会议记录，第479到488页，2000年7月)介绍了称为“模板匹配”的技术。此技术利用根据待重建的区的邻域中的已知观察结果在参考图像中搜索类似图案。

此技术有三个步骤：

-定义待重建的一组像素(在引用的文献中为图像中的2×2大小的块)的邻域中已知的信息的“模板”；

-在搜索区中搜索类似于所述模板的区(候选邻域)；

-向待重建的像素指派与搜寻到的最类似的区相关联的块的值。

文献“通过模板匹配进行的帧内预测(Intra prediction by template matching)”(T·K·谭(T·K·Tan)、C·S·布恩(C·S·Boon)、Y·铃木(Y·Suzuki)的ICIP 2006会议记录，第1693到1696页)在帧内模式下将此技术扩展到H.264编码器。此技术提供高质量的复原。

然而，这些现有技术的一个缺点是其要求搜索待使用的“模板”的实施方案的复杂性，此搜索是通过从大量候选物中搜索最多相关产物的技术来进行。因此，此技术的复杂性过高而为无效。

发明内容

本发明提出一种没有现有技术的所有这些缺点的新颖方法，其采用通过前向运动补偿根据至少一个参考图像来预测图像的方法的形式。

根据本发明，此方法针对参考图像的称为参考块的至少一个块实施以下步骤：

-确定至少一条位移信息，其表示所述参考块与待预测图像中的对应块之间的位移；

-确定至少一个放大块，其包括所述参考块及参考图像中邻近于所述参考块的块的至少一个点；

-根据所述放大块及针对参考块而确定的所述条位移信息来确定待预测的像的至少一个点的预测值。

本发明因此提出一种利用低复杂性的空间/时间预测，通过前向运动补偿来进行预测的新颖技术。

为此，本发明提出定义将参考图像再分成一组任意形状的参考块。这些参考块可特别具有不同大小。也可能所有这些参考块将与参考图像完全或不完全重叠，且所述块将或将不彼此重叠。

为了简化且非限制，参考图像将与一组固定大小的正方形形状的参考块相关联，所述参考块不重叠，且与整个参考图像重叠。

对于参考块，且例如对于所有参考块，确定一条位移信息，其表示参考块与待预测图像中的对应块之间的位移。举例来说，位移信息可表示属于包括以下各项的群组的位移：

-平移运动；

-仿射变形；

-单应变形；

-变形的参数模型；

-旋转；

-剪切运动。

确切地说，使用所提出的技术来确定放大块，针对所述放大块在待预测图像中进行前向运动补偿。此放大块包括至少一参考块及参考图像中邻近于所述参考块的块的至少一个点(或像素)。

因此，针对待根据放大块及相对于参考块的位移信息而预测的图像的至少一个点确定预测值。确切地说，此种预测方法使得有可能重建不重叠的点，即在典型前向运动补偿的情况下未预测的点。

本发明可特别应用于利用基于前向运动补偿(或否则借助于运动管来表示，运动管对应于在时间历程中前进的像素块)的预测技术对图像序列或场景进行编码。在此前进期间，管可能会变形，例如为了考虑明显的运动或否则在由管预测的区中存在的像素数目在像素数目方面增加或减少的情况下。此管还可(例如)通过转到块的子像素级别而获得改进。本发明使得特别能确定管所经历的变形。

确切地说，可回想到通过至少以下条信息来定义运动管：

-包括参考纹理信息的参考像素块；

-管开始及结束的时刻；

-关于使得能够在所述序列的至少一个时刻t更新所述参考块的转变的信息。

在2007年6月25日申请的第0756007号法国专利申请案(以同一申请人的名义)中特别描述了用于表示图像序列的此技术。

根据本发明的一个特定特性，所述预测方法实施：

-第一预测回合，其使用至少一个参考块，从而提交第一预测图像；

-用于检测第一预测图像中的至少一个未预测点的步骤；

-以及，在肯定检测的情况下，第二预测回合，其借助于至少一个放大块，使得所述第二回合确定所述未预测点中的至少一者的值。

举例来说，如果在第一回合期间未预测第一预测图像的至少一个点，那么在第一预测图像上获得黑区。通过揭露未预测点的存在(或不存在预测)的一条信息来检测此区域。接着，在参考图像中，在预测图像中对应于此未预测点的点的邻域中确定至少一个放大块。换句话说，预测图像中对应于放大块的块含有此未预测点。

根据一个特定实施例，位移信息(表示所述参考块与待预测图像中的对应块之间的位移)包括一组控制向量，其各自表示所述参考块或所述参考块的子块的特征点与所述特征点在待预测图像中的对应位置之间的位移。

举例来说，块或子块的控制向量各自与块或子块的顶点中的一者相关联。因此，对于2D图像，使四个控制向量与块相关联，每一控制向量与块的一个顶点或隅角相关联。对于3D图像，使八个向量与块相关联，其实际上对应于管，每一控制向量与块的一个隅角相关联。还可能使这些控制向量与块的其它点相关联，例如对应于轮廓。类似地，与块相关联的控制向量的数目不是固定的。

因此，在通过前向运动补偿来实施预测期间，控制向量指向待预测图像中的参考图像中的一者或一者以上。接着，针对属于参考图像的给定块确定多个控制向量。

根据本发明的一个特定方面，通过实施属于包括以下各项的群组的技术来确定放大块：

-使所述参考块的所有隆起移位相同距离；

-使所述参考块的至少一个隆起移位。

举例来说，有可能均匀地放大块，即使参考块的每一边缘相同地移位。

根据一种变型，有可能在特定方向上(例如向上)使参考块向右放大，或者甚至组合向上及向下方向，这相当于使两个隆起移位。

放大操作的应用可系统地进行及/或在非重叠区的肯定检测的情况下应用。

举例来说，如果未预测点(对应于非重叠区)位于所考虑的块“上方”，那么通过使参考块的至少一个隆起向上移位(即，将块的放大设计为涵盖未预测点)来确定放大块。因此，可根据与所考虑的块的邻域中的非重叠区的距离来调整放大宽度。最后，当所考虑的块的邻域中不存在非重叠区时，不应用放大，且操作转到另一个块。

根据本发明的一个特定方面，至少一个隆起的移位考虑到控制向量中的至少一者。举例来说，使用一条位移信息的预测将关联向上且向左放大的块，所述位移信息表示参考块与对应块之间的位移，其中此位移表征为向上且向左的位移。因此，将根据参考块与待预测图像中的对应块之间所考虑的移位来调适块的放大。

此外，根据本发明的一个特定方面，当针对待预测图像的同一点确定至少两个预测值时，所述方法包括用于考虑某些信任值而预测所述点的步骤，每一信任值被指派给所述预测值。

本发明的另一方面涉及对针对参考图像的至少一个块实施上文所述的预测方法的编码方法。

更具体地说，对当前图像的预测提交预测图像。任选地，预测操作之后是以下步骤：

-通过将当前图像与预测图像进行比较来确定至少一个预测残余；

-对预测残余进行编码；

-传输及/或存储包括来自编码步骤的预测残余的信号。

根据本发明的一个特定方面，所述编码方法实施将一条信息插入到所述信号中的步骤，所述信息表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用。

因此，此条信息可(例如)采用信令位的形式，及/或指示所执行的放大的类型的字节的形式，所述信令位的值“1”发信号通知所关注的块的放大，且值“0”发信号通知相反情况。

此外，任选地，所述信号包括通过将当前图像与预测图像进行比较而获得的预测残余。

在另一实施例中，本发明涉及一种用于对图像序列进行编码的装置，其通过前向运动补偿根据至少一个参考图像来实施预测，且针对参考图像的称为参考块的至少一个块而包括：

-用于确定至少一条位移信息的构件，所述位移信息表示参考块与待预测图像中的对应块之间的位移；

-用于确定至少一个放大块的构件，所述放大块包括参考块及参考图像中邻近于所述参考块的块的至少一个点；

-用于根据所述至少一个放大块及针对所述参考块而确定的所述条位移信息来确定当前图像的至少一个点的预测值从而提交预测图像的构件。

根据一个变型，此装置还包括：

-用于通过将当前图像与预测图像进行比较来确定至少一个预测残余的构件；

-用于对所述至少一个预测残余进行编码的构件；

-用于传输及/或存储包括来自编码步骤的预测残余的信号的构件。

例如此装置的编码装置特别适于实施上文所述的编码方法。所述装置例如为根据未来视频压缩标准(H.265或ISO-MPEG)的MPEG或H.264型视频编码器或装置。

本发明的另一方面涉及表示根据上文所述的编码方法而编码的图像序列的信号。此信号包括表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用的一条信息。

此信号当然可包括根据本发明的编码方法的不同特性。

确切地说，此信号可携带来自编码步骤的所述预测残余。根据本发明的一个变型，此信号还包括用于为给定块重建控制向量的至少一条信息。

本发明的另一方面涉及承载如上所述的信号的记录媒体。

在另一实施例中，本发明涉及一种用于对信号进行解码的方法，所述信号表示图像序列，所述方法包括根据待重建图像的预测来重建序列的至少一个图像的步骤，所述预测使待重建图像的块与序列的参考图像中的至少一个对应块相关联。

此解码方法实施对所述序列的至少一个图像的预测，实施如上所述的预测方法，从而提交预测图像。

根据一个变型，此方法还实施以下步骤：

-对至少一个预测残余进行解码；

-将残余加到预测图像，从而提交重建的图像。

此方法特别适合于对根据上述编码方法来编码的图像序列进行解码。

以此方式，执行与编码时所执行的步骤相同的预测步骤，以便重建给定块，且任选地通过将预测残余(在信号中传输)加到预测来重建给定块。

确切地说，有可能在解码期间从信号中提取至少一条用于为给定块或运动管重建控制向量的信息，以便处理关于这些管的转变的信息，且针对每一管，在待重建的图像中重建可能变形的当前块。

根据本发明的一个方面，此解码方法实施用于提取表示至少一个放大块及/或针对给定参考块指派给放大块的放大的使用的一条信息的步骤，且所述预测步骤考虑此条信息。

在另一实施例中，本发明涉及一种用于对表示图像序列的信号进行解码的装置，其通过前向运动补偿根据至少一个参考图像来实施预测。

对于参考图像的称为参考块的至少一个块，此装置包括：

-用于确定至少一条位移信息的构件，所述位移信息表示所述参考块与待预测图像中的对应块之间的位移；

-用于确定至少一个放大块的构件，所述放大块包括所述参考块及所述参考图像中邻近于所述参考块的块的至少一个点；

-用于根据所述至少一个放大块及针对所述参考块而确定的所述条位移信息来确定待预测图像的至少一个点的预测值从而提交预测图像的构件。

根据一个变型，此装置还包括：

-用于对至少一个预测残余进行解码的构件；以及

-用于在预测图像中添加至少一个残余从而提交重建的图像的构件。

此编码装置特别适于实施如上所述的解码方法。所述装置例如为根据未来视频压缩标准(H.265或ISO-MPEG)的MPEG或H.264型解码器或装置。

本发明还涉及一个或一个以上计算机程序，其包括用于分别实施如上所述的预测方法及/或编码方法及/或解码方法的指令。举例来说，所述程序可从通信网络下载且/或存储于计算机可读载体上且/或可由处理器执行。

附图说明

本发明的其它特征及优点将从以下对特定实施例的描述中更清楚地显现，所述描述是借助于指示性且非穷举的实例且通过附图提供的，附图中：

已经参照现有技术论述的图1A及图1B分别说明通过前向投影及后向投影进行的运动补偿的技术；

图2A及图2B呈现根据本发明一个实施例的通过前向运动补偿进行的预测的主要步骤；

图3A及图3B说明根据本发明一个实施例的块的投影；

图4A到图4C说明用于确定放大块的实例；

图5呈现根据本发明一个特定实施例的信号的结构；

图6呈现根据本发明一个实施例的解码方法的主要步骤；

图7及图8呈现根据本发明一个特定实施例的编码装置及解码装置的结构。

具体实施方式

一般原理

本发明的一般原理在于利用低复杂性的空间/时间预测通过前向运动补偿来进行预测。

更具体地说，本发明提出根据参考图像的放大块来确定对当前图像的预测，所述放大块即是参考图像的包括参考块及参考图像中邻近于参考块的块的至少一个像素的块。

可回想到，在前向投影的块上使用不同的位移通常导致块之间的非重叠区。根据本发明而提出的技术提供没有非重叠区或至少包括比现有技术的未预测区数目少的未预测区的预测图像。

下文中，参看图2A，提供对根据本发明一个实施例的一般经实施以用于通过前向运动补偿来进行预测的主要步骤的描述。

如图2A中所说明，根据至少一个参考图像且针对此参考图像的至少一个块(称为参考块b_R)通过前向运动补偿进行的预测(22)包括以下步骤：

-确定(221)块b_R的至少一条位移信息vb_R，其表示参考块与待预测图像中的对应块之间的位移；

-确定(222)至少一个放大块b_E，其包括所述参考块及参考图像中邻近于所述参考块的块的至少一个点；

-根据所述放大块及针对参考块而确定的所述条位移信息来确定(223)待预测图像的至少一个点的预测值RP(x)。

更具体地说，图2B说明预测方法实施以下步骤的本发明的实施例：

-第一预测回合(23)，其使用至少一个参考块，从而得出第一预测图像；

-检测步骤(24)，用于检测第一预测图像中的未预测点；

-以及，在肯定检测的情况下(25)，第二预测回合，其使用至少一个放大块，使得第二回合确定未预测点中的至少一者的值。

本发明的方法还可用各种方式，特别是以有线形式或以软件形式来实施。

预测方法的一个实施例的详细描述

下文中，呈现根据本发明的预测方法的特定实施例。

A)将参考图像再分成若干个块

考虑被再分成一组块的参考图像Ir，每一块包括至少两个像素。

块可具有任意形状，例如正方形或矩形形状。块的大小可变化，例如4x4、8x8、16x4、16x16。参考图像的块可具有不同大小。所述组块可完全或不完全地与参考图像重叠，且所述块可彼此重叠或可不彼此重叠。

为了简化，下文中考虑(非限制)一组固定大小的正方形块，其彼此不重叠且与整个参考图像重叠。

B)对参考图像的块的前向投影

在第一预测回合期间，扫描参考图像Ir的块，且针对每一块，在待预测的图像Ic中进行前向投影。

为了实现此目的，首先确定一条信息，其表示参考图像的块(称为参考块)与待预测图像中的对应块之间的运动。

当然，可借助于不同的运动模型(例如平移、仿射变形等)来进行此前向投影。

如2008年7月1日申请的第0854465号法国申请案(以同一申请人的名义)中所描述，考虑(例如)通过一组控制向量来定义运动模型。

所述位移信息(表示参考块与待预测图像中的对应块之间的位移)于是包括一组控制向量，其各自表示参考块的特征点或参考块的子块的特征点与所述特征点在待预测图像中的对应位置之间的位移。

举例来说，图3A考虑由箭头表示的针对所考虑的参考块b_R(有阴影线的块，包括四个子块)的一组控制向量。这些控制向量定义朝右上方的运动。

前向投影实施不同的步骤。P＝Ir表示待给予前向补偿的参考图像，RI表示对应于用预测值加权的累加图像的中间图像，RW是所使用的加权因数的经加权累加图像。

首先，初始化待预测的当前图像。因此，对于图像的任一像素x，具有RI(x)＝0，RW(x)＝0。

接着，对于所考虑的任何参考块(或子块)，使所考虑的运动模型(在此情况下为所述组控制向量)相关联。因此，对于所考虑的块(或子块)的任何像素x，按照以下等式的指示更新重建图像：

RI (x) = \underset{i}{Σ} w_{i} (x) P (x + v_{i})

RW (x) = \underset{i}{Σ} w_{i} (x)

其中：向量v_i对应于控制向量i，

值w_i对应于通过不同受控向量获得的不同预测之间的加权值。

加权值w_i一般取决于所考虑的点x在块中的位置。

举例来说，如果考虑图3A的块b_r，那么通过投影示意性地获得沿着表示朝右上方的移动的控制向量投影的图3B所示的图像Ic的块b_c(有阴影线的块)。

一旦已扫描了图像的所有块，就执行针对图像的任一像素x使图像规范化的步骤，使得：

RP (x) = \frac{RI (x)}{RW (x)}

如果对于图像的任一点x，RW(x)≠0，那么标示为RP的预测图像被认为被完全重建。

所使用的加权值可适于获得较平滑的预测。举例来说，可特别考虑：

-对于每一预测的统一分摊，w_i(x)＝1；

-w_i(x)＝f(d(x，b))，其中f为未预测点x在表示所考虑的块b的点处的距离d(x，b)的递减函数。此表示所考虑的块b的点可(例如)在此块的隆起的中间定位于此块的中心处，或定位于此块的顶点中的一者处。因此，获得对链接到传播其预测的块附近的预测的测量结果。

当然，可针对此第一回合使用其它前向运动补偿技术，特别是如参照现有技术而描述的典型的运动补偿技术。

C)非重叠区的识别

每一块的投影可使用不同的运动，从而产生非重叠区(参看图1B标示为D)。换句话说，这些区对应于在第一预测回合期间未重建的区(参看图2B标示为23)。举例来说，这些区可采用第一预测回合之后的黑区域的形式。

这些区可(例如)使用在第一预测回合期间定义的加权因数的累加的图像RW通过检测步骤(参看图2B标示为24)来识别。因此，所述组非重叠区对应于所述组点，其中具有RW(x)＝0。

如果未识别到非重叠区，那么图像被完全重建(或预测)，且接着可对残余进行编码。

在非重叠区的肯定检测的情况下(即，至少一个未预测点)，使用至少一个放大块来进行第二预测回合25。

D)放大块的前向投影

在此第二预测回合25期间，根据此实施例，扫描参考图像的块，且在所考虑的参考块的放大版本的纹理信息的中间图像中进行前向投影。恢复在第一回合23期间使用的块或子块。

首先，初始化待重建的图像，即针对图像的每个值x，假设RI2(x)＝0，RW2(x)＝0，其中RI2及RW2分别表示预测值的加权累加的中间图像，及在第二回合25期间使用的加权因数的累加的中间图像。

接着，针对每一所考虑的参考块，定义此块的放大。举例来说，在所考虑的针对每一块实施一组控制向量的实施例的情况下，可考虑依据这些控制向量而变的放大。

因此，如上文所定义，考虑由箭头表示的针对参考图像I_r的参考块b_r的所述组控制向量。

举例来说，如果所考虑的参考块b_r及位于其上方的块在运动补偿之后在参考图像及预测图像两者中具有共同隆起，那么这意味着两个块垂直连接。在此情况下，块b_r不朝顶部放大。如果不具有共同隆起，那么通过使参考块b_r向上放大来放大所述块。

如果所考虑的参考块b_r及位于其左边的块在运动补偿之后在预测图像及参考图像两者中具有共同隆起，那么这意味着两个块水平连接。因此，所述块不朝左边放大。如果不具有共同隆起，那么通过使参考块b_r向左放大来放大所述块。

如果所考虑的参考块b_r及位于其右边的块在运动补偿之后在预测图像及参考图像两者中具有共同隆起，那么这意味着两个块水平连接。因此，所述块不朝右边放大。如果不具有共同隆起，那么通过使参考块b_r向右放大来放大所述块。

如果所考虑的参考块b_r及位于其下方的块在运动补偿之后在预测图像及参考图像两者中具有共同隆起，那么这意味着两个块垂直连接。因此，所述块不朝下放大。如果不具有共同隆起，那么通过使参考块b_r向下放大来放大所述块。

接着，完成放大块的投影。

可注意到，放大块上的运动参数可不同于原始参考块上的运动参数。举例来说，在由一组控制向量(参考块的每一隅角处一控制向量)定义的双线性运动的情况下，放大块的隅角处的运动向量的值可不同，使得内插于放大块内的运动场将与在参考块上获得的运动场一致。

因此，对于所考虑的块(或子块)的任一像素x，基于放大块而更新重建图像：

RI 2 (x) = \underset{i}{Σ} w_{i} (x) P (x + v_{i})

RW 2 (x) = \underset{i}{Σ} w_{i} (x)

一旦扫描了图像的所有块，就执行用于针对图像的任一像素x使图像规范化的步骤。

如上文所指示，所使用的加权值可适于执行较平滑的预测。

E)非重叠区中的预测值的定义

还有可能在第一预测回合期间将新获得的值带入未重建区中。

因此，对于待重建图像的任何点x，使得RW(x)＝0，重建值由RI(x)＝RI2(x)/RW2(x)定义。

如果RW2(x)为零，那么值RI(x)保持不定。

换句话说，如果对于图像的任何点x，RW2(x)≠0，那么新预测图像RP2被认为被完全重建。

接着有可能实施典型的后向运动补偿技术，或通过在第二预测回合期间获得的新值而使用新管。

还有可能应用检测图像RP2中的非重叠区的新步骤24，以便确定预测图像RP2中是否存在任何剩余的非重叠区。

在肯定确定的情况下，通过考虑(例如)在图像RP2中重建的点，使用新的放大块来再次实施步骤25(或任何其它修描技术)。

因此，在一个特定实施例中，可反复地实施步骤24及25。

确定放大块

有若干种选项可用于确定放大块。下文参看图4A、图4B及图4C呈现几个实例。

更具体地说，图4A表示参考图像Ir的一部分，及大小为2x2个像素的参考块b_R(带阴影线的块)。

此同一图还展示了对应于待预测图像中所识别的未预测点的点(RW(x)＝0，位于参考块左边的正方形像素)，其是在检测步骤24期间检测到的。实际上，可回想到，在待预测图像中识别非重叠区的点。下文中，为了预测图像中的此点，可通过向参考图像中对应于此未预测点的点应用相邻所考虑块的后向运动来考虑所述点。在此操作中可考虑若干相邻块，从而识别参考图像中的若干个点。

为了简化起见，下文中仅考虑与单个相邻块关联的情况。在与若干相邻块关联的情况下，针对相邻所考虑块中的每一者执行相同操作。

图4B展示大小为3x3的放大块b_E(用粗黑线框起)的第一实例，其针对参考块b_R的所有隆起实施相同的位移(此处采用2D表示形式)。因此，将未预测点包含于放大块中。

因此，在第二预测回合25期间，将通过对放大块的前向投影来重建未预测像素。

图4C展示大小为3x2的放大块b_E(用粗体框起)的第二实例，其实施单个隆起(左边的隆起)的位移。同样，定义放大以包含放大块中所识别的未预测点。

图4C的放大块小于图4B的放大块，因此使第二预测回合25加速。

然而，使用图4B的放大块可使得能够重建额外的未预测点。

可示意性地实施放大的定义，即所有块以相同方式放大，或者其可为自适应放大，其中根据存在或不存在非重叠区或否则根据表示所考虑块的运动(向上运动或向右运动、向下且向左运动、向左运动等)的控制向量的类型来调适放大宽度。举例来说，如果在所考虑块的邻域中不存在非重叠区，那么不放大所述块。

根据所提出的技术，可注意到，在非重叠区中所考虑的邻域不占用预定义的位置(例如，反因果邻域，反因果区是包括在图像中的块的预定扫描方向上位于当前块之后的块的图像区)。

此外，在待重建的区中，针对同一像素，可组合若干个值(使用所述值中的每一者的加权)以定义当前像素的值。

此外，不搜索最佳候选者，因为候选者是自动定义的。

因此，所提出的技术使得有可能具有更加均质且不强调预定意义的纹理传播的复原操作。

编码

所描述的预测技术可由视频编码器使用。

在一个特定实施例中，此编码器针对图像序列的当前图像实施以下步骤：

-预测当前图像，实施上述预测方法，从而提交预测图像；

-在所述至少一个预测残余处进行编码；

-传输及/或存储包括来自编码步骤的预测残余的信号。

信号

一旦经编码，就将序列的图像传输到解码器。

参看图5，根据一个实施例，针对待重建图像的块呈现与携带一条信息的信号相关联的语法，所述信息表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用。

在编码器及解码器实施用于检测非重叠区的相同机制的情形中，有可能允许编码器及解码器识别待放大的块。在此情况下，以切片(每一图像能够再分成多个切片)或图像序列的标头的级别来指定编码/解码语法，从而指示解码器应使用放大块，以及用于识别这些放大的机制。此识别机制也可由所使用的表示标准来定义。

此信息可(例如)采用信令位E及/或字节T_E(指示所执行的放大的类型)的形式，其中E的值“1”发信号通知所考虑的块的放大，且“0”发信号通知相反情况。

根据所展示的实施例，还将与所考虑的参考块b_R的运动相关联的控制向量的重建信息元素插入到此信号中。举例来说，如在上文提到的2008年7月1日申请的第0854465号法国专利申请案中所述，这些重建信息元素包含标示为旗标_lc及旗标_tc的旗标。

根据所述实施例，任选地(且此处未展示)，还插入通过将当前图像与预测图像进行比较而获得的预测残余。

解码

现在参看图6，呈现在视频解码器中实施的解码的主要步骤。

假设解码器接收表示(例如)根据上文所述的编码方法而编码的图像序列的信号。

一般来说，所接收的信号不具有任何预测残余。图6展示其中信号任选地具有至少一个预测残余的解码方法。

因此，在此实施例中，根据本发明的解码方法包括用于对至少一个预测残余进行解码的步骤61。根据上文所述的预测方法的预测步骤62接替解码步骤61。最后，实施步骤63，以便在预测图像中添加经解码的残余。

可用各种方式，特别是以有线或软件形式来实施此方法。

编码器及解码器的结构

最后，参看图7及图8，呈现编码装置及解码装置的简化结构，上述装置分别实施上文所述的编码技术及解码技术。

如图7中说明的编码装置包括：存储器71，其包括缓冲存储器；处理单元72，其(例如)配备有微处理器μP，且由实施根据本发明的编码方法的计算机程序73驱动。

在初始化时，(例如)将计算机程序73的代码指令加载到RAM中，且接着由处理单元72的处理器执行所述代码指令。处理单元72输入待编码的至少一个图像或图像的待编码块。处理单元72的微处理器根据计算机程序指令73来实施上文所述的编码方法的步骤，以确定对待编码的图像或块的预测，且对对应的块或图像进行编码。为此，除了缓冲存储器71之外，编码装置还至少包括：用于确定至少一条位移信息的构件，所述位移信息表示参考块与当前图像中的对应块之间的位移；用于确定至少一个放大块的构件；用于基于所述放大块及针对所述参考块而确定的所述信息或所述条位移信息来确定当前图像的至少一个点的预测值从而提交预测图像的构件。这些构件由处理单元72的微处理器驱动。

如图8中说明的解码装置包括：存储器81，其由缓冲存储器构成；处理单元82，其(例如)配备有微处理器μP，且由计算机程序83驱动，所述计算机程序83实施根据本发明的接收方法。

在初始化时，(例如)将计算机程序83的代码指令加载到RAM中，且接着由处理单元82的处理器执行所述代码指令。处理单元82输入表示图像序列的信号，其包括表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用的信息。处理单元82的微处理器根据计算机程序指令83实施上文所述的解码方法的步骤以确定对给定块的预测，并重建对应图像。为此，除了缓冲存储器81之外，编码装置还至少包括：用于确定至少一条位移信息的构件，所述位移信息表示参考块与当前图像中的对应块之间的位移；用于确定至少一个放大块的构件；用于基于所述放大块及针对所述参考块而确定的所述位移信息或所述条位移信息来确定当前图像的至少一个点的预测值从而提交预测图像的构件。这些构件由处理单元82的微处理器驱动。

Claims

1.一种用于通过前向运动补偿，根据至少一个参考图像来预测(22)图像的方法，

其特征在于，针对参考图像的称为参考块的至少一个块，所述方法包括以下步骤：

确定(221)至少一条位移信息，其表示所述参考块与待预测的所述图像中的对应块之间的位移；

确定(222)至少一个放大块，其包括所述参考块及所述参考图像中邻近于所述参考块的块的至少一个点；

根据至少一个放大块且根据针对所述参考块而确定的所述条位移信息来确定(223)待预测的所述图像的至少一个点的预测值。

2.根据权利要求1所述的预测方法，其特征在于其实施：

第一预测回合(23)，其使用至少一个参考块，从而提交第一预测图像；

用于检测(24)所述第一预测图像中的至少一个未预测点的步骤；

以及，在肯定检测(25)的情况下，第二预测回合，其借助于至少一个放大块，使得所述第二回合确定所述未预测点中的至少一者的值。

3.根据权利要求1所述的预测方法，其特征在于所述位移信息包括一组控制向量，所述控制向量各自表示所述参考块或所述参考块的子块的特征点与所述特征点在待预测的所述图像中的对应位置之间的位移。

4.根据权利要求1所述的预测方法，其特征在于通过实施属于包括以下各项的群组的技术来确定所述放大块：

使所述参考块的所有隆起移位相同距离；

使所述参考块的至少一个隆起移位。

5.根据权利要求3及4所述的预测方法，其特征在于所述使至少一个隆起移位考虑到所述控制向量中的至少一者。

6.根据权利要求1所述的预测方法，其特征在于当针对待预测的所述图像的同一点确定至少两个预测值时，所述方法包括用于考虑某些信任值而预测所述点的步骤，每一信任值被指派给所述预测值。

7.一种用于对图像序列进行编码的方法，其特征在于其针对所述序列中的当前图像实施根据权利要求1所述的预测方法，从而提交预测图像。

8.根据权利要求7所述的编码方法，其特征在于其实施将一条信息插入到表示所述图像序列的信号中的步骤，所述信息表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用。

9.一种用于对图像序列进行编码的装置，其通过前向运动补偿，根据至少一个参考图像来实施预测，所述装置的特征在于，针对参考图像的称为参考块的至少一个块，所述装置包括：

用于确定至少一条位移信息的构件，所述位移信息表示所述参考块与待预测的所述图像中的对应块之间的位移；

用于确定至少一个放大块的构件，所述放大块包括所述参考块及所述参考图像中邻近于所述参考块的块的至少一个点；

用于根据所述至少一个放大块及针对所述参考块而确定的所述条位移信息来确定所述当前图像的至少一个点的预测值从而提交预测图像的构件。

10.一种表示根据权利要求7所述的编码方法而编码的图像序列的信号，其特征在于其包括至少一条信息，所述信息表示至少一个放大块及/或针对给定参考块指派给所述放大块的放大的使用。

11.一种运载表示根据权利要求7所述的编码方法而编码的图像序列的信号的记录媒体，其特征在于其包括来自所述编码步骤的预测的所述残余。

12.一种用于对表示图像序列的信号进行解码的方法，其特征在于其实施根据权利要求1所述的预测方法，从而提交预测图像。

13.根据权利要求12所述的解码方法，其特征在于其实施用于提取一条信息的步骤，所述信息表示至少一个放大块针对给定参考块的使用及/或放大，且在于所述预测步骤考虑此条信息。

14.一种用于对表示图像序列的信号进行解码的装置，其通过前向运动补偿，根据至少一个参考图像来实施预测，

所述装置的特征在于，针对参考图像的称为参考块的至少一个块，所述装置包括：

用于确定至少一条位移信息的构件，所述位移信息表示所述参考块与待预测的图像中的对应块之间的位移；

用于根据所述至少一个放大块及针对所述参考块而确定的所述条位移信息来确定待预测的所述图像的至少一个点的预测值从而提交预测图像的构件。

15.一种计算机程序，其包括在此程序由处理器执行时用于实施根据权利要求1、7或12中的任一权利要求所述的方法的指令。