CN1417748A

CN1417748A - 图像内插

Info

Publication number: CN1417748A
Application number: CN02146180A
Authority: CN
Inventors: M·凯塞涅米
Original assignee: OPLANJOE Oy
Current assignee: OPLANJOE Oy
Priority date: 2001-11-01
Filing date: 2002-11-01
Publication date: 2003-05-14
Also published as: FI20012115A0; FI20012115A; US20030081679A1; KR20030036082A; EP1308897A1; JP2003209812A

Abstract

本发明涉及使用至少两个原始图像进行图像内插的技术。特别是，本发明涉及运动补偿和找出所希望的图片色彩信息。为形成任何中间图片，只需要在原始图片之间的运动矢量的一个矢量场。当事先知道所希望的中间图片时，有可能调整矢量场的运动矢量的参数值以形成中间图片。通过调整参数值，参考虑非线性运动和色彩信息。

Description

图像内插

发明领域

本发明涉及使用至少两个原始图像进行图像内插(interpolation)的技术。特别地，本发明涉及运动补偿和找出所希望的图片色彩信息。

发明背景

图1代表已知内插技术的一个简化举例。原始图像IMG.1和IMG.2被用于在它们之间内插一个新的图像5。形成从原始图像中的一个到另一个的运行矢量6。使用这些运动矢量，由原始图像上运动矢量的值内插内插图像的像素值F，形成内插图像5。

然而，如果在原始图像中存在运动对象，则一个原始图像的所有像素在另一个图像中不存在配对像素(companion pixel)。在图1中，对象1正在向右运动。当它运动时，新的像素从IMG.2中的背景来到前方。另一方面，运动对象覆盖了本应在IMG.1中有配对像素8的像素。由于在原始图像中不是所有像素有配对像素，所以必须形成从一个原始图像到内插图像的运动矢量，从而能追踪内插图像中的一些像素S。如图1中所示，图像5中的部分像素4是用原始图像之间的运动矢量形成的，另一部分像素3是用第一原始图像IMG.1和内插图像5之间的运动矢量形成的，而进一步另一些像素2又是用第二原始图像IMG.2和内插图像5之间的运动矢量形成的。

在两个原始图像中的像素值包含色彩信息。在图1中，对象1在第一图像中有某种色彩C1，在第二图像中有另一种色彩C2。在内插图像5中形成的对象9具有的色彩是在两个原始图像中该对象色彩的组合。

使用最通用的已知解决方案存在的问题在于当形成中间图像时，运动矢量必须被固定于该中间图像；换言之，每个中间图片都需要运动矢量，它们对于该中间图片是特定的。另一个问题在于该内插过程是线性的，由于这样，所形成的图像是由原始图像得到的线性内插。然而，在原始图像之间的运动信息可能包含非线性部分，它不能由使用已知的内插技术来追踪。例如，在两个图片之间对象的运动可能是一种不可能使用已知内插技术自然追踪的运行。本发明的目标是优选地采用一种解决方案来消除涉及已知解决方案中非线性的缺点，从而减轻上述的第一个问题。这是通过权利要求中描述的作法实现的。

发明内容

本发明主要基于两个想法或理解。第一个理解是：为形成任何中间图片，只需要原始图片之间各运动矢量的一个矢量场，这一理解是在本领域已很好建立的并支持有效地使用本发明。这第一个理解对于本发明的优选实现是需要的，然而本发明能使用任何矢量场。第二个理解是：当事先知道所希望的中间图片时，有可能调整与形成中间图片有关的参数值。通过调整参数值，能考虑到非线性运动和色彩信息。

要被调整的第一个参数值描述中间图片的时间线(timeline)位置。(更精确地说，是中间图片的一个像素或一组像素的时间线位置)。(诸如视频帧的图片通常按展现的顺序位于时间轴上)。这个参数被称作形状参数，因为它主要影响中间图像中对象的形状—换言之，即用于补偿原始图像之间的运动。第二个参数描述创建中间帧时所用的色彩信息源；在实践中，两个原始帧都被用作色彩信息源，所以这第二个参数是用于计算要创建的中间帧的色彩的权重。

当调整与整个图像或图像的限定区域有关的形状和色彩参数(参数值对)时，可使用例如对数搜索算法同时对形状和色彩二者进行最佳参数值搜索。再有，为调整该参数值，可使用附加的调整参数。本发明使得能够以很有效和准确的方式对例如视频编码。

附图说明

下文中将借助附图1至5更详细地描述本发明，这里：

图1显示已知内插技术的一个简化举例，

图2显示一个实例，说明如何使用本发明的结构形成中间图像，

图3显示一个实例，说明为所希望的图像调整形状和色彩参数时的不同可能性，

图4显示表现本发明方法的流程图的一个实例，

图5显示根据本发明的编码器/解码器结构的一个实例，

图6显示一个矢量场中的一个运动矢量的实例。

具体实施方式

图2显示一个实例，说明如何使用本发明的结构形成一个中间图像。在原始图片IMG.21和IMG.22之间形成的矢量场是这样一类矢量场，它奇异地定义所希望的内插图片23。在一个奇异(singular)矢量场中，中间图像中的每一点在两个原始图片中有一个而且只有一个相应的点。这样，在该奇异矢量场中的运动矢量彼此不交叉。例如，以本发明者的另一专利申请WO 01/48695 A1中描述的方式，能得到这类矢量场。由于在这一公开的文件中描述了这个奇异矢量场，所以在这一文本中不详细描述该矢量场或运动矢量。

第一图片IMG.21包含圆圈对象24。第二图片IMG.22包含三角形对象25。该对象从圆圈到三角形的变换代表原始图片之间的运动。被内插的图片23包含对象26，它是从圆圈到三角形的一个中间形式。这个事先已知的中间形式是使用运动矢量得到的，这些运动矢量在IMG.21的圆圈中和在IMG.22的三角形中有配对点，即像素值。在上下文内，“事先知道中间形式”是指在实际上存在着该中间图像将要呈现的形式，或者该中间图像是一个用户想要形成的一个新图像。例如，当使用内插对中间图片编码的时候，或者当由两个图片编辑一个新图像的时间。该圆圈中的像素P1在该三角形中有配对像素P1B。在中间对象26中的像素P1A是由像素P1和P1B内插的结果。运动矢量27连接这些像素。该圆圈中的像素P2在该三角形中有配对像素P2B。在中间对象26中的像素P2A是由像素P2和P2B内插的结果。运动矢量28连接这些像素。所有穿过该对象的运动矢量以与此类似的方式被用于所希望的对象26的内插。然而，当内插中间图像的像素时，直接内插可能达不到所要求的准确性，特别是如果与原始图像相比该中间图像含有非线性信息。这样，必须对内插参数值的值进行调整。

如果使用本发明者的PCT申请WO 01/48695 A1中描述的奇异运动矢量，则附着在点x的运动矢量L(见图6)把第一原始图像中的点g₁(x-t(x))(比较图2中的P1)和第二原始图像中的点g₂(x+t(x))(比较图2中的P1B)组合。考虑附着点x在中间图像的水平(时间线位置)上这种情况是方便的，但x也能在原始图像之间的另一水平。这里，原始图像的像素值是g₁和g₂，与附着在x点的矢量关联的运动是t(x)。这些点被用于形成在中间图像中的图像点g_c(x+ct(x))(比较图2中的P1A)：通常取值为-1至1的参数C描述中间图像中该对象的形状。如果c＝-1，则在图像g_c和g₁中形状信息相同(即在图2中的对象24与对象26相等)，如果c＝1，则g_c的形状信息与g₂的相同(即在图2中的对象25与对象26相等)。

点g_c(x+ct(x))(图2中的P1A)的色彩能确定为点g₁(x-t(x))(图2中的P1)和点g₂(x+t(x))(图2中的P1B)的加权和，即g₁(x+ct(x))＝(1-w)g₁(x-t(x))+wg₂(x+t(x))。参数w可称作色彩参数，0＜＝w＜＝1，该参数控制该色彩信息的源：小的w值，色彩更接近于图像g1中的色彩，大的w值，色彩信息更接近于图像g₂的色彩。

如应该指出的那样，可针对中间图片的每个像素分别定义形状和色彩参数。然而，形状参数c和色彩参数w的值最好在整个图像上能定义为常数，或者它们能对每个图像区域单独确定，例如8×8像素的图像块。

在正常内插以形成中间图片之后，通过比较图像(在对原始图像和内插图像进行编码的情况中)或图像区域(在极端情况中比较单个像素)进行调整，这些图像或图像区域是通过把各种参数值使用到所希望的图像或图像区域创建的。在第一阶段，用一个粗网格(coarse grid)选择候选参数值，并选出产生最佳中间图像的参数值对。然后，使用接近于前一步骤中找到的最佳的参数值(c、w)创建新的图像，并且新的图像也与所希望的图像比较。这些步骤被重复多次，直至中间图像足够接近于所希望的图像为止。例如，能使用对数搜索来完成这一迭代过程。

例如，通过改变与图2中的运动矢量28和27相关联的形状参数值，我们能创建形状介于原始图像IMG.21和IMG.22中所示形状之间的任何对象。对象26的形状是对象24和25的形状的中间形状的一例。此外，我们能选择中间图像的色彩以得到对象24和25的色彩之间的任何值。应该指出，还能只对中间图像的一部分或一些部分进行调整，例如对含有快速运动的部分，以及例如8×8像素的区域。所以，有可能把图像分割成若干块，并能与其他块独立地形成每一块，即每一部分。由于这一点，对要形成的图像存在大量变体。

再有，在完成调节之后，有可能使用附加的调节参数，这些附加调节参数或者校正中间图像的像素值，或者校正奇异矢量场的运动矢量值。通过使用这种附加调节参数，我们能够使得结果图像更接近于所希望的图像。

于是，与运动矢量一起使用的参数值(c、w)，相关联的参数，包含运动和色彩信息。当事先知道中间图片时，能使用任何适当的迭代方法，例如对数搜索，把创建内插图像时使用的参数值计算到所希望的值。同样，能使用任何迭代方法计算出调整参数值。

例如，使用一种对数搜索方法，在迭代过程中减小参数值的搜索步长。如果形状(c)和色彩(w)参数的有效值位于值-1和+1之间，则初始搜索步长可以是例如在初始猜测(形状；色彩)＝(0.0，0.0)周围的+0.5。在这第一步，创建出总计9个图像，其参数值为(0.1+d1；0.1+d2)，这里d1和d2取值-0.5、0.0和+0.5，即参数值为(-0.5；-0.5)、(0.0；-0.5)、(0.5；-0.5)、(-0.5；0.0)、(0.0；0.0)、(0.5；0.0)、(-0.5；0.5)、(0.0；0.5)以及(0.5；0.5)。下一个搜索步长可以是在至此发现的最佳值周围±0.5/2，例如，如果前一步骤的最佳值是(0.5；0.5)，则下一步骤将包括创建参数值为(0.5±d1；0.5±d2)的图像，这里d1和d2取值-0.25、0.0以及+0.25；然而，d1＝0.0和d2＝0.0的组合被排除，因为在前一步骤中已经计算它了。这一过程一直继续到所希望的图片与内插图片之间的失真(distortion)在满意限度之内或者已经进行了预定次数迭代时为止。应该指出，存在若干不同的对数搜索方法。例如，可以使用直接误差(direct error)或均方误差(mean square error)来计算失真。

再有，可以以上述任何方式或任何其他方便的方式得到调整参数，其方式的选择对于本领域技术人员来说是一种技术性选择。

图3显示一个实例，说明为所希望的图像调整运动矢量参数时的不同可能性。第一个图片31代表一个圆圈，第二个图片32代表一个三角形。纵轴描述运动参数值，水平轴描述色彩参数值。如果形成中间图片时使用线性内插，则得到对象34。然而，在这种情况中，希望中间图片的像素的色彩信息与第一个图片31中的相同，即零。希望运动信息与对象34具有的运动信息相同，即0.5。这样，对象33是代表所希望图片的最佳图像。通过改变色彩参数值的权重得到对象33。应该指出，在两种参数中都能考虑非线性：一个描述色彩，另一个描述运动，即形状。如果对象33仍不够好，则能用调节参数进行最终调整。

图4显示表现本发明方法的流程图的一个实例。首先，必须在两个图像之间形成奇异矢量场(或任何其他矢量场)(步骤41)。如前所述，“奇异”是指该矢量场中的每个运动矢量在两个图像中都有点，它代表一个中间图像中该运动矢量的点，并且在原始图像之间这些运动矢量不交叉。

接下来，通过在中间图像的水平上，即时间线位置，内插参数对的值，即用于形状和色彩的值，使用该矢量场形成一个中间图像(步骤42)。计算所形成的中间图像和希望形成的图像之间的失真(步骤43)。如所提到的一些方式，失真可以是每个像素值误差之和或者每个像素值平方误差之和。如果该失真处在可接受的水平(步骤44)，则所形成的中间图像被接受(步骤45)。

如果在步骤44中该失真是不可接受的，则计算中间图像中参数对的新值(步骤46)。这些新值可以是原始图像中的值之间的任何值。当已计算出新参数值时，便重新形成中间图像(步骤47)。

如果计算必须重复若干次，则可以使用例如对数搜索，以迭代方式进行计算。在每一轮中，最后的参数值被用于形成最后的图片，它与先前形成的图片进行比较(步骤44)。如果该最后的图片优于先前的图片，则最后的参数值是较好的，它们被选定做为下一轮的初始值。在相反情况中，先前的参数值较好，则它们仍做为初始值。当计算新参数(步骤46)时，在每一轮中在最后初始值周围的新值范围减小。

如果在上述迭代之后误差仍然太大，则可以以类似的方式计算附加调整参数。

本发明的方法能被用于需要图像内插的任何可能的应用、结构安排和装置中。例如，对视频文件编码和解码是使用本发明的一个很明显的环境。事实上，本发明能被用于任何数字图像编辑。

图5显示根据本发明的编码器/解码器结构的一个实例。原始图像文件51要根据本发明使用内插进行编码。该图像文件可以是例如一个视频文件，它包含多个单独的图像，一个跟着一个。该图像文件被插入(56)到使用本发明的内插的编码器52。使用内插，有可能相当程度地减小该图像文件的大小。例如，每第二个单独图像要使用本发明的内插进行编码，并且每第二个单独图像要被保留(如果希望的话，可用另一编码技术对其编码)。

被保留的图像被用于创建它们之间的奇异矢量场。接下来，内插要被编码的图像。换言之，用于该矢量场中运动矢量的参数值(和如果必要，中间图像中的调节参数值)含有该编码信息。使用迭代，从而在可接受的精度之内要被编码的图像将等于原始图片。当被编码的文件53是可以接受的，被编码的文件53被用作希望的文件。应该指出，原始图片保留的越少和已内插的图片越多，则在编码过程中图像文件的大小被减小得越多。换言之，一个矢量场能被用于编码若干图像。所以整个被编码的图像文件主要包含被编码的帧(使用适当编码技术编码的)、被内插的帧的数据以及相关联的参数值的数据。

被编码的图像文件被发送(57)到解码器54，该解码器使用本发明的内插，来使用形状和色彩参数(和如果必要的话，中间图像中的附加调整参数)进行解码。往往是编码器和解码器在不同的地方并经由因特网连接。例如，编码器可在服务提供商的服务器中，而解码器在客户的终端中。一个被编码的文件的发送要比未被编码的文件效率高得多。解码器使用矢量场的参数和基本上与上述处理过程相反的过程，把被编码的文件转换成原来的(或几乎是原来的)大小。转换后的图像文件55从解码器分被发到(58)最终应用。

尽管在本文中只使用少数实例描述了本发明，显然本发明能在许多不同的解决方案中实现。例如，误差计算可以是针对每个像素或者针对一组像素(例如8×8的区域，那里要把像素的平均误差调整到可接受的水平)。这样，本发明不限于上述举例，而是本发明能用于本发明思想范围内的任何适当的实现中。

Claims

1.一种在第一和第二图像之间内插图像的方法，其特征在于该方法包括：

a)形成一个矢量场，该矢量场包含处在第一和第二图像之间的多个运动矢量，每个运动矢量关联于运动矢量指定参数；

b)使用该矢量场，通过内插在中间图像的水平上运动矢量的相关联的参数值的方式，形成中间图像；

c)计算所形成的中间图像和希望形成的图像之间的失真；

d)如果该失真是不可接受的，则计算新的参数值，重新形成中间图像并重复步骤c)；以及

e)如果该失真是可以接受的，则接受所形成的中间图像做为所希望的图像。

2.根据权利要求1的方法，其特征在于相关联的运动矢量参数代表色彩和运动信息。

3.根据权利要求1的方法，其特征在于至少对图像的一部分进行内插。

4.根据权利要求2的方法，其特征在于至少对图像的一部分进行内插。

5.根据权利要求2、3或4的方法，其特征在于当形成中间图像时，考虑调整参数的值。

6.根据权利要求1或5的方法，其特征在于该失真是所形成的中间图像和希望形成的图像之间的误差之和。

7.根据权利要求1或5的方法，其特征在于该失真是所形成的中间图像和希望形成的图像之间的平方误差之和。

8.根据权利要求1或5的方法，其特征在于在步骤c)之后将最后的失真与先前的失真进行比较，并以下列方式选择相关联的运动矢量参数值做为下一次计算新的相关联参数值时的初始值：

如果最后的失真小于先前的失真，则选择最后的相关联参数值，以及

如果先前的失真小于最后的失真，则选择先前的相关联参数值。

9.根据权利要求8的方法，其特征在于在下一次计算新的相关联参数值时，新参数值所处的初始值周围的范围小于先前计算中的范围。

10.根据权利要求1或9的方法，其特征在于使用同一矢量场内插多于一个中间图像。

11.根据权利要求1或9的方法，其特征在于使用相关联参数值对要编码的图像进行编码。

12.根据权利要求11的方法，其特征在于使用相关联参数值对要解码的图像进行解码。

13.根据权利要求1-12的方法，其特征在于该矢量场是一个奇异矢量场。

14.一种编码图像的编码器，其特征在于该编码器包括：

a)用于形成矢量场的装置，该矢量场包含处在第一和第二图像之间的多个运动矢量，每个运动矢量关联于运动矢量指定参数；

b)使用该运动矢量，通过内插在中间图像的水平上运动矢量的相关联的参数值的方式，形成中间图像的装置；

c)计算所形成的中间图像和希望形成的图像之间失真的装置；

d)如果该失真可以接受则接受所形成的中间图像做为所希望图像的装置，该图像也是以运动矢量参数和相关联参数值形式的被编码的图像；

e)如果该失真不可接受则计算新的运动矢量的相关联参数的装置，以及重新形成中间图像和通过把重新形成的图像传送到装置(c)以重复装置(c)的动作的装置。

15.根据权利要求14的编码器，其特征在于装置d)包括：

f)把最后的失真与先前的失真进行比较的装置；

g)选择运动矢量的相关联参数值作为装置e)的初始值的装置，其选择方式是：如果最后的失真小于先前的失真则选择最后的相关联参数值，如果先前的失真小于最后的失真则选择先前的相关联参数值。

16.根据权利要求15的编码器，其特征在于装置f)包括改变初始值周围的范围的装置，这里新参数值所处范围小于先前计算中的范围。

17.一种解码图像的解码器，其特征在于该解码器包括：

h)使用预先确定的运动矢量参数和相关联参数值的信息，形成矢量场的装置，该矢量场包含第一和第二图像之间的多个运动矢量；

i)使用该矢量场和相关联参数值，形成图像的装置，所形成的图像是被解码的图像。

18.根据权利要求17的解码器，其特征在于该矢量场是一个奇异矢量场。