CN1150848A

CN1150848A - 合成图像的产生方法

Info

Publication number: CN1150848A
Application number: CN95190839A
Authority: CN
Inventors: 伯特兰·丘普奥; 劳伦特·布朗德; 让-克里斯托弗·杜塞克斯; 菲利普·博德斯
Original assignee: Thomson Broadband Systems
Current assignee: Thomson Broadband Systems
Priority date: 1994-08-30
Filing date: 1995-07-28
Publication date: 1997-05-28
Also published as: ES2146765T3; FR2724033A1; EP0725957A1; DE69515287D1; EP0725957B1; KR960706149A; WO1996007162A1; FR2724033B1; DE69515287T2; US6031538A; JPH10508396A

Abstract

一种合成图像的产生方法，本方法通过直接从3D景象有关点的坐标和几何变换系数对代表从一幅2D图像到另一幅的演变的运动向量的计算来生成图像。本方法的应用涉及用时域内插生成单目序列及用外推生成立体图像序列。

Description

合成图像的产生方法

本发明涉及一种合成图像(synthetic image)的产生方法，尤其是涉及产生图像序列的方法。

本发明属计算机图像合成领域，即对单目图像(monocular im-age)进行合成以在常用屏幕上显示，以及对双目(binocular)或有立体感的图像进行合成以在虚拟图像类型的应用中呈浮雕状地显示出来。

这些方法的目的是减少产生图像序列的计算代价。

在已知的一些方法中，所需计算量是通过对成图算法(renditionalgorithm)所处理的信息元素的限制来减少的，这种限制在时域和空域中对等地(homogeneously)进行，该成图算法使可根据要显示的3D(三维)景象的模型结构数据作出2D(二维)图像。计算代价的减少必然导致图像序列的逼真度变差。

减少计算代价的下一步骤(这也是已知的一种方法)是时域内插，它从关键图像(key image)再产生中间图像，而关键图像是根据成图算法计算出来的仅有的图像。这样的一些中间图像的产生一般基于使用速度向量，速度向量是借助于这些关键图像从一幅图像到下一幅图像计算得到的，所以是基于对图像像素位移量的估算。

在所有这些内插的情况下，不论它们是简单的图像重复(repe-tition)还是要求更复杂的，诸如空间/时间滤波操作的方法，都有跳动(jerking)和副像(echo)现象。这些现象是由于景象中物体的个别运动或观察点的运动均未被考虑而引起的。时域内插产生“估计”的图像，所以这些图像不总是高质量的。

本发明的目的在于减少这种合成图像的质量降低。

为了实现该目的，根据本发明，提出了一种用模拟要显示的3D景象的结构数据和用表示相对于观察点的景象的视在相对演变的数据来产生合成图像的方法；该结构数据使得可以计算3D景象的各点的坐标，规定该景象演变的数据使能计算与这些点有关的几何变换系数；按照所述方法，根据结构数据和成图算法，产生一幅表示从这个观察点看到的景象的2D图像；所述方法的特征在于2D图像的每一点都有3D图像的一个对应点及都有一运动向量相对应；该运动向量代表由3D景象的对应点相对于观察点的视在演变引起的该图像的这个点的位移量；已产生的图像的像素的所述运动向量已经根据3D景象的有关点的坐标和系数被计算出来，以便用它们从第一幅图像至少产生一幅另外的2D图像，然后将产生的各幅图像在显示屏幕上显示。

本发明的另一目的是利用反向视在速度向量场对图像进行时域内插，和利用视点差异(disparity)向量场来对图像进行外推，以产生有立体感的图像对。本发明的再一个目的是在对向量外推和内插的基础上产生一个有立体感的序列。

因此，本发明涉及单目系列的产生，还涉及有立体感的系列的产生。

通过本发明得到的好处在于减少了一幅图像或一个单目序列或有立体感的图像序列的计算代价，改进了图像质量，从而获得景象的高真实感，这是由于对有立体感的图像的时域内插或空域外推向量进行了更可靠和更简单的计算，处理了即将出现区和即将消失区以便在最终或初始图像的基础上实现内插，处理了随从3D景象的对应点到观察点的距离而变化的内插向量投影的冲突；以及在一个通道的外推向量的基础上产生了两个有立体感的图像通道之一。

总之，在现有技术中，首先用成图算法至少产生两幅顺序的关键2D图像，然后通过在这些关键图像的两幅之间的内插计算中间图像。这在使两幅图像的特征点互相对应方面引起了较大的困难。与之对比，本发明提出从用成图算法得到的一幅关键图像和从根据确定3D景象的演变(旋转，平移，焦距改变)的数据直接计算出的运动向量来产生附加的图像。

本发明的其它特点和优点通过对一个不限于其本身的例子结合附图的以下描述而更加清楚。其中：

图1表示产生一个单目图像序列的算法，

图2表示关键图像K(t)的视在速度向量图，

图3表示3D景象的一个点在焦点平面上的投影，

图4表示使可得到速度向量场的“图像”的叠加，

图5表示用于计算时域内插的算法，

图6表示速度向量在中间图像上的投影，

图7表示在中间图像上的投影的冲突，

图8a、b、c表示“即将出现”和“即将消失”区的分类，

图9表示一个有立体感的序列，

图10表示产生有立体感的序列的算法，

图11表示右侧通道的关键图像的遮盖区，

图12表示视点差异向量的确定。

图1的示意图示出了在单目动画序列情况下用于加速图像合成的算法。

与3D景象(该3D景象是在本算法输入1处可得到的动画序列目标)有关的开发数据是关于用以制成模型的3D景象的结构及关于该3D景象的运动学数值的信息元素。

在步骤2中，这些信息元素用成图算法处理以产生在称为关键图像的序列中的有限数目的图像。步骤3完成对基于动画参数和基于在步骤2中产生的关键图像的速度向量图(map)和距离向量图的计算。动画参数是关于景象的运动学数值的数据。因此步骤3对关键图像K(t)的每个像素(i，j)指定一个视在速度向量V⁺(i，j，t)，它对应于这个像素从上一幅关键图像K(t-N)到这幅关键图像K(t)的位移，及指定一个视在速度向量V^-(i，j，t)，它对应于这个象素从图像K(t)到图像K(t＋N)的位移或更准确地说指定这个运动向量的反向量(reverse)。可以把这些速度向量比作运动向量，运动向量表示在两幅顺序的关键图像的时间间隔期间像素从一幅图像到下一幅图像的位移。

图2说明表示关键图像K(t)的向量图的视在速度向量V⁺和V^-的两个场的定义。如果时间单位是两幅关键图像之间的间隔，这些向量对应于两幅关键图像之间的视在位移。向量V^-(t)的场表示关键图像K(t)的全部像素从下一关键图像K(t＋N)直到本关键图像K(t)的位移量，而向量V⁺(t)的场表示关键图像K(t)的全部像素从上一关键图像K(t-N)直到本关键图像K(t)的位移量。

对每个像素，这一步骤也计算从它在3D景象中的对应点到该景象被观察的点的距离，景象被观察的点即假想用来拍摄该景象的虚构的摄像机。这个值表示沿景象和摄像机之间的像素确定的方向上的最小距离，因为，在有隐藏元素的情况下，它是被考虑的与摄像机最靠近的元素。当产生关键图像的技术是基于深度缓冲器类型的方法时(这些方法通过为每个像素存储一个表示这个最小距离的值来处理在图像平面中的3D信息的投影)，这个值也可来自图像产生步骤2。在这种情况下，距离图直接来自步骤2。

*视在速度的计算

在进入下一步骤4以前，在此说明一幅关键图像的每个像素的视在速度的计算方法如下。

视在速度是在图像平面中图像像素相对于3D景象被观察的点的位移速度，它在3D景象的模型的基础上计算得到。

理论上，视在运动(2D运动)是在真实运动(3D运动)在摄像机的焦点平面(图像平面)上的投影。在图像合成中最常用的投影模型是平面投影模型(针孔型的透视投影)。

如采用另一种投影模型，运动的计算公式必须相应地调整。

为了定义针孔模型，下面的一些点和参数示于图3：

P 将3D图像投影在其上的投影平面

(O，x，y，z)在时刻t的投影参考坐标系(中心O和坐标轴Ox，

Oy，Oz)

f 对应于投影平面的“焦距”，即投影中心O与投

影平面P之间的距离

M(X，Y，Z) 3D空间中的点，它在参考系(O，x，y，z)中具有

坐标X，Y，Z

m(x，y) M在投影平面上的投影，假定投影平面P垂直于轴

Oz

C 中心O在平面P上的投影点，它为点m(x，y)定义

一原始参考系，m点相对于原始参考系的坐标为(x，

y)

此投影模型的基本关系是：此关系在参考系(O，X，Y，Z)中等数为：

用一阶公式表示的定义如下：

为每个像素求出一个运动向量(dx，dy)，它是景象的点M相对于投影中心的位移(dx，dy，dz)的函数，也是焦距的变化df的函数。

经过求导数得到下列方程(方程1)：

\frac{dx}{x} = \frac{df}{f} + \frac{dX}{X} - \frac{dZ}{Z}

\frac{dy}{y} = \frac{df}{f} + \frac{dY}{Y} - \frac{dZ}{Z}

基于距离图，每个像素的距离Z是已知的。

由于根据动画信息元素，即数据与景象的运动学数值有关的信息元素，已经知道了在时间间隔dt期间3D景象的点M₀的几何变换(R_dt，T_dt)，可以写出下面的式子：

其中：OM₀：表示在时刻t，位置为M₀的3D景象中的特定点的向量。OM_dt：表示在时刻t＋dt特定点的位置的向量。dOM或M₀M_dt：表示在时间间隔dt期间这个点的位移的向量。R_dt：在时间间隔dt期间该点的旋转矩阵。T_dt：在dt期间该点的平移向量。I：单位矩阵。

展开以上公式后得到：

将这些值代入(方程1)得到：

根据本发明，集合(dx，dy)代表与2D图像的每一点(x，y)有关的运动向量，使得能从该(由成图算法产生的)图像生成其它图像。对基于每一点x，y坐标的运动向量的计算开始起作用的系数取自这样的数据，这些数据定义了在有待显示的景象中的相应点的演变(旋转，平移，改变焦距)。这些系数代表景象相对于观察点的相对视在演变。它是一种相对视在演变，因为不仅景象的各个元素可以互相相对演变，摄像机的焦距和位置也可以相对于景象进行演变。

能够理解，为了生成连续的图像序列，这些演变通常出现在时域，但是在特定情况下，为了生成在同一时刻从两个不同观察点看的两幅图像，这些演变也能够是空间的。因此，运动向量(dx，dy)具有两种彼此十分不同的可能用途。这两种用途可以结合在一起。在第一种用途中，运动向量将被称为“速度向量”，在第二种用途中，它将被称为“视点差异向量(disparity vector)”。

以上公式表明dx和dy可以分离成九项[1，x，y，x²，y²，xy，并且是这九项的线性组合。

除了第一项是常数之外，这九项在空域的变化是完全在图像中确定的(对于前六项)，或是被观察景象的函数(对于项)。

下面是这些系数：

前六项(1至6)的集合代表摄像机相对于景象的旋转/推拉镜头(zoom)操作对视在运动所起的作用(contribution)。实际上，假定点M固定不动，模拟摄像机旋转的投影参考系Ox，Oy，Oz的旋转改变了投影点m(x，y)的x，y坐标。与此相似，模拟摄像机焦距变化的、在投影中心O与投影平面P之间的焦距变化改变了固定景象点M(X，Y，Z)的投影点m的x，y坐标。

运动向量的dx，dy分量可以从以上公式对每点计算出来。

它们也可以用通常的图像处理方法计算：有可能生成由各x，y坐标点组成的图像，并给每点指定一“亮度”值及一“色度”值。例如，该亮度值代表旋转/推拉镜头(表中项1至6)的成分，而色度值代表项7至9的成分。通过综合的图像处理方法，可能对所有x，y点综合计算运动向量的值。

这样，为了评估旋转/推拉镜头操作所起的作用，可能在六幅图像之间用对应于上述表格的加权操作进行线性组合，这些图像的亮度是1，x，y，x²，y²及xy的精确函数。

这一过程示于图4。

上表的最后三项(7至4)在景象与摄像机之间有平移的情况下并不为零。与待显示3D景象每点有关的距离信息必须按如下说明来开发。

在用移动的摄像机观察静态景象的情况下，对于该景象的所有各点，值Tx，Ty和Tz是常数，它们代表投影参考系的平移，这里假定投影平面P与该投影参考系有关。

为了获得这一平移对于视在运动场起作用的成分，必须完成三个图像信号的线性组合，它们的亮度分别根据每个像素的

信息来确定。借助于应用适当的变换用存储器，可以根据包含在距离存储器(此后在本文中称作Z缓冲器)中的信息获得图像

分别将此图像

逐个像素地与图像x和y相乘来获得

和

如果景象是动态的，T_x，T_y和T_z对于景象各点不再是常数，必须根据景象的3D模型作图像合成。必须首先给景象各点指定3D平移场，然后将这些3D平移运动投影在图像平面上。为此给景象的每个峰点指定一种“颜色”，该颜色代表该峰点在空间的个别平移运动。借助于该颜色在物体表面上的线性内插，例如借助于使用“Goura-ud”型的算法，可近似地将该峰点信息传播到整个景象。

为了得到项和，首先通过与成图算法相似的图像合成投影算法，将在3D空间指定的上述“颜色”信息投影在图像平面上。然后将该信号乘以信号

和

并用适当的系数加权以获得项7至9。

通过具有视在速度向量模值的组成项的值的图像的这些组合，推导出关键图像的速度向量。如果时间间隔dt是两幅关键图像之间的那个时间间隔，推导就已完成。否则，通过假定两幅关键图像之间的运动是线性和等速的，总可能进行对应于该间隔的计算。在考虑时刻t及时刻t＋dt的景象时，对关键图像K(t)各像素的向量指定为向量V^-，在考虑时刻t及时刻t-Δt的景象时则指定为向量V⁺。对于V⁺来说，是对相应于关键图像K(t)像素的每个景象点应用几何变换才使得从时刻t-dt走向时刻t成为可能的。

现在让我们回到图1的算法。下面详细说明刚才描述的步骤3之后的时域内插步骤。它使得能够在两幅关键图像之间生成失去的中间图像。在步骤5，这些中间图像被插入在步骤2产生的关键图像之间，以获得单目图像序列。

图5是图1中与时域内插有关的步骤4的按照步骤4a至4e说明的详图。步骤4a定义将要重建的中间图像。该图像称为I(t-n)，它位于两幅称为K(t)与K(t-N)的关键图像之间。

步骤4b将关键图像K(t)的速度向量V⁺(t)以其相反方向投影在已定义的中间图像及关键图像K(t-N)上，以及将关键图像K(t-N)的速度向量V^-(t)以其相反方向投影在中间图像及关键图像K(t)上。图6示出了关键图像K(t-N)上的一象点P1及关键图像K(t)上的一象点P2的投影。

对应于投影向量V^-和V⁺的中间图像的像素，即I1和I2，是最接近投影点的像素，因为图像被限定了在像素栅格上。

这样，如果N INT(NEAREST INTEGER)表示最接近的整数值，因而它对应于空域取样栅格的一点，则有：

I 1 = NINTP 1 - \frac{N - n}{N} \times V^{-}

I 2 = NTNTP 2 - \frac{n}{N} \times V^{+}

其中I1、I2、P1、P2是在栅格上的点的坐标，V^-和V⁺是速度向量的模值。

步骤4b在投影计算时间期间还包括对冲突的处理。

按顺序对V⁺(t)和V⁺(t-N)这两个向量场扫描。当两个显著不同的速度向量投影在I(t-n)的同一点上时，就存在冲突。这种冲突尤其出现在处于前景的细小物体对背景有(相对)移动的时候。这时必须选择与最接近摄像机的物体对应的那个向量，在本例中是位于前景的物体。由于在关键图像每一像素处物体与摄像机的距离信息为已知，该距离信息当然也和每个投影的速度向量有关。因而选择具有最小距离信息(Z)的向量，该距离信息被存储在点I处，以便在该同一内插点I上处理未来的冲突，如果再有冲突的话。在图7的例子中，物体A比物体B更接近摄像机(Z(A)＜Z(B))。所以实际上投影在I处的是值D(A)。

当两个向量场已完全被扫描时，可能剩余一些I(t-n)的像素没有任何对应的速度向量。用内插附近点的投影向量的方法对这些像素赋与速度向量。

往下，步骤4c是对内插像素的分类。

中间图像I(t-n)的像素被分成三类，这取决于它们在两个关键图像K(t-N)及K(t)中都能看到(即“标准”像素)，还是在K(t-N)中可见而在K(t)中被遮盖(“即将消失”的像素)，还是在K(t-N)中被遮盖而在K(t)中可见(“即将出现”的像素)。对I(t-N)像素的标记分两步进行：

-沿关键图像的路径借助于V⁺(t)和V-(t-N)分别在K(t-N)和K(t)上的反向投影对关键图像作标记：如图8所示，对于K(t-N)，那些没有投影向量的像素(“空洞”)对应于将要被遮盖的区域(Zd，图8A)(即将消失的像素)，而对于K(t)，它们对应于将要去除遮盖的区域(Za，图8b)(即将出现的像素)(我们采用了处于前景的物体不动和背景移动的例子)。

-借助于观察实际投影在I(t-n)上的向量所对准的K(t)及K(t-n)的那些区域的标记对中间图像作标记。这相当于将“即将出现”和“即将消失”标记投影到中间图像上。

下一步骤4d计算中间图像像素I的亮度值，其方法是内插图像K(t-N)和K(t)的像素P和S的亮度值，该两像素对应于为I选择的投影向量。

用亮度表示：

I＝α×P＋(1－α)×S其中α取以下数值：

如果I的标记为“正常”。

n和N由以下实际情况限定：所考虑的是K(t)之间的第n幅中间图像，以及，关键图像K(t)及K(t-N)由(N-1)幅中间图像隔开。

α＝0 如果I的标记为“即将出现”。

α＝1 如果I的标记为“即将消失”。

最终，最后步骤4e使内插错误能够得到处理。

在低代价的快速合成的应用中，不可能预测内插错误如果有任何内插错误的话，除非使用成图算法来检验它。内插错误首先可以在一些区域中预见，在这些区域已经需要填满速度向量场中的空洞。这就导致所使用的基于位移和结构的简单模型失效。这些不确定性的区域可以扩展到其V⁺(t)及其V^-(t-N)不一致的中间图像的所有像素。由此推导出估计的出错屏蔽，然后应用成图算法去合成相应的像素。

前述的方法和计算也可加以开发以产生双目的或立体序列的图像。

图9表示为左侧序列和右侧序列而产生的关键图像和中间图像，这两个立体通道使得看起来有浮雕感的显示成为可能。

左侧序列，例如，的产生与前述的单目序列的产生完全相同。在该图中，在两幅用黑色表示的顺序关键图像之间内插了两幅中间图像，于是相对于左侧图像在计算时间方面的得益是三比一。右侧序列的关键图像用垂直阴影线表示。这些图像如下面进一步说明地从左侧序列的关键图像外推而成，中间图像根据这些新的关键图像算出。如果与使能产生左侧通道关键图像的成图算法的实现时间相比、外推的相应时间可以忽略不计，则在所示的例子中计算时间方面的得益相当于六比一。

这一通过外推来加速产生合成图像双目序列的方法用图10加以说明。

利用在输入11可以得到的3D景象模型的数据及其运动学数值，对关键图像和对应于作为单目序列(例如左侧序列)的这些图像的视在速度向量场及距离进行计算，其方法与图1用于产生单目序列的步骤2和3完全相同，在这里是步骤12。所以它主要利用产生关键图像的成图算法。

步骤13处理在步骤12算出的数据和在输入11可得的3D模型数据，以完成被称为视点差异向量的向量的计算。

3D景象的一个真实点投影在左侧图像和右侧图像中具有不同坐标的点上。实际上，用于右侧图像的投影中心O′偏离用于左侧图像的投影中心O。这一偏移与相对于投影中心O的静态3D景象的视在偏移相对应。这就是造成立体视觉效果的原因，左侧图像的具有坐标ig，jg的每个像素都与右侧图像的具有坐标id，jd的一个像素相对应。视点差异向量就是具有坐标id，jd的像素向具有坐标ig，jg的像素平移的向量。它是指定给原始图像每个像素的运动向量，代表了投影点有位移时图像的演变。

换句话说，可以说赋予左侧序列关键图像的双目视点差异向量D(ig，jg)使3D景象同一真实点在两幅2D视图中的投影一致。就是这个视点差异向量使得从左侧关键图像外推出右侧关键图像成为可能。

这些视点差异向量的计算非常简单地从上述的视在速度向量的计算中推导出来。

实际上，视点差异向量对应于两幅同一3D景象的、但是在不同角度观察的视图，以达到立体视觉效果。

这两幅视图对应于3D景象的视在位移，该3D景象是固定的，从而是静态的。

这样，根据本文在上面说明的、计算单目序列关键图像的速度向量时所用的方法，只要为经历了所述位移的静态景象计算其视在速度向量就足够了。这些速度向量是使能根据左侧图像计算右侧图像的假想速度向量。这些图像对应于一个和同一个时刻t，而不像真实速度向量的情况中那样对应于不同的时刻。

一幅图像的全部视点差异向量形成视点差异场。根据该场及根据相应的关键图像，在步骤14完成有视点差异补偿的外推。

参照图11来说明从左侧图像Ig(t)及视点差异场D(t)出发外推出右侧图像Id(t)。

Ig(t)的每个像素按照视点差异向量的相反方向被投影到图像Id(t)上。如果有冲突，即，如果Ig(t)的若干个像素被投影到一个相同点上，就如本文到单目图像的产生时那样，选择离摄像机最近的像素。与关键图像有关联的距离变换使这种选择成为可能。

没有投影到达图像Id(t)的该图像上的那些像素，如图11所示，通常对应于在Id(t)被看到而在Ig(t)中被遮盖的区域。这些像素在步骤15用曾经使能产生了Ig(t)的成图算法计算出来。这些重建的像素，在步骤16，被加到在步骤14中得到的图像上。

给在步骤16中如此得到的右侧序列关键图像加上在步骤17中计算出的速度向量图。两个顺序的右侧关键图像Id(t-N)与Id(t)之间的速度向量场Vd(t)由两个顺序的左侧关键图像Ig(t-N)与Ig(t)之间的速度向量场Vg(t)及由双目视点差异场D(t-N)与D(t)推导而得，它们之间的关系用图12表示为：

Vg(t)－Vd(t)＋D(t-N)－D(t)＝0

实际上，假定一个像素的视点差异从一幅关键图像到另一幅关键图像变化很小，因此用视点差异向量使右侧视图点和左侧视图点相一致的两点的视在速度几乎相等。于是，从左侧图像的速度向量图和距离向量图、以及从左侧图像的视点差异场可以推导出右侧关键图像的速度和距离向量图。

步骤18接着按照已经解释过的方法进行时域内插。这种内插也在步骤19中在左侧通道进行，其目的是在步骤20将如此产生的图像序列与关键图像邻接，用这样的方法获得有立体视感的序列。

用于确定位移值的计算方法是本文为了便于说明而给出的。

因此，同样可以根据在两个时刻t及t＋dt的景象模型数据，完全地计算出速度向量。

Claims

1、一种产生合成图像的方法，用于从以有待显示的3D景象为模型的结构数据和从代表所述景象相对于一观察点的视在相对演变的数据(1，11)所述结构数据使能计算所述3D景象的各点坐标，规定所述景象演变的所述数据使能计算与所述各点有关的几何变换的系数；按照所述方法，根据所述结构数据和一个成图算法(2，12)，产生一幅代表从所述观察点看到的景象的2D图像；所述方法的特征在于：2D图像的每一点都有3D景象的一个对应点及都有一个运动向量相对应；该运动向量代表由3D景象的对应点相对于观察点的视在演变引起的该图像的这个点的位移量；已产生的图像的像素的所述运动向量(3，13)已经根据3D景象的有关点的坐标和系数被计算出来，以便利用它们从第一幅图像至少产生一幅另外的2D图像(4，14，18，19)，然后将产生的各幅图像在显示屏幕上显示。

2、按照权利要求1所述的方法，其特征在于对所述演变定义的数据包括与在时刻t定义的静态景象的视在位移相对应的、对该景象观察的、观察点的演变数据，还在于用空域外推法及由所述数据计算出一幅第二图像；所述空域外推法的基础是对应于时刻t的景象观察点的、由成图算法(12)生成的一幅基准图像，及称作视点差异向量(13)的运动向量；所述第二图像(14)对应于同一时刻t的第二景象观察点，以形成一个立体视图(20)。

3、按照权利要求1所述的方法，其特征在于对所述演变定义的数据包括所述3D景象的时域演变数据，还在于用时域内插法及由所述数据计算出一幅中间图像(4)；所述时域内插法的基础是对应于时刻t的所述3D景象的、由成图算法生成的一幅基准图像，及称为速度向量(3)的运动向量；所述中间图像(4)对应于不同的时刻。

4、按照权利要求3所述的方法，其特征在于一个单目图像序列(5)由根据3D景象的成图算法生成的关键图像(2)及由根据这些关键图像及算出的速度向量(3)用时域内插法(4)完成的中间图像(4)组成。

5、按照权利要求2及3所述的方法，其特征在于为达到立体效果，一个又目序列(20)由一基准通道及一配对通道形成，所述基准通道由根据所述成图算法生成的关键图像(12)和用时域内插法形成的中间图像(19)组成，所述配对通道由对基准通道的关键图像根据它们的视点差异向量进行外推而形成的关键图像(14)及由对这些关键图像进行时域内插而形成的中间图像(18)组成。

6、按照权利要求5所述的方法，其特征在于所述配对通道的一幅关键图像的速度向量根据所述基准通道的对应关键图像的速度向量及视点差异向量计算而得。

7、按照权利要求2、5或6所述的方法，其特征在于在配对图像中那些不被视点差异向量对应安置的区域由所述成图算法产生。

8、按照权利要求4所述的方法，其特征在于它赋予每幅关键图像K(t)一个第一视在速度向量(V^-)场、一个第二视在速度向量(V⁺)场和一个距离图，所述视在速度向量V^-的反向量对所述关键图像K(t)的每个像素定义该像素从本图像到下一关键图像K(t＋N)的位移量，所述视在速度向量V⁺定义该像素从上一关键图像K(t-N)到本关键图像K(t)的位移量，这些向量根据与所述3D景象的结构和演变计算而得，所述距离图随关键图像K(t)的每个像素而与从所述3D景象的相应可见点到观察所述景象的观察点的距离有关；本方法的特征还在于两幅关键图像K(t-N)及K(t)之间内插的完成依靠将关键图像K(t)的向量V⁺反向投影到所述中间图像及关键图像K(t-N)上，以及依靠将关键图像K(t-N)的向量V-反向投影到所述中间图像及关键图像K(t)上。

9、按照权利要求8所述的方法，其特征在于，在两幅关键图像K(t-N)和K(t)之间进行中间图像I(t-n)的时域内插期间，图像K(t)的各向量V⁺之间或图像K(t-N)的各向量V^-之间在中间图像I(t-n)上的投影出现冲突时，即对中间图像的一个和同一个像素赋予几个向量而每个向量被赋在中间图像上其投影点的最近像素上时，用选择其中一个向量作为被选择的向量的方法来解决冲突，所选向量是来源于所述关键图像中距离最短的像素的那个向量；本方法的特征还在于不考虑将被消除的向量用于本中间图像的时域内插。

10、按照权利要求8或9所述的方法，其特征在于，在两幅图像K(t-N)和K(t)之间进行中间图像I(t-n)的时域内插期间，第一步骤为每幅关键图像定义“即将出现”和“即将消失”区域，K(t)上的即将出现区对应于图像K(t-N)的不被反向的视在速度向量V^-对准的区域或像素，K(t-N)上的即将消失区对应于图像K(t)的不被反向的视在速度向量V⁺对准的区域或像素，到达所述即将出现区的向量V⁺及到达所述即将消失区的向量V^-则随这些区域的位置而被标记；第二步骤定义中间图像的即将出现区和即将消失区，它们分别对应于标记为即将出现和即将出现的向量V⁺和V^-在该中间图像上的投影；第三步骤在该中间图像的时域内插中使用这些区域。

11、按照权利要求10所述的方法，其特征在于中间图像I(t-n)的即将出现区和即将消失区分别地和唯一地根据关键图像K(t)的相应即将出现区和关键图像K(t-n)的相应即将消失区而产生，而其它的所谓“正常”区则考虑对应于K(t-N)及K(t)二者的区域而进行内插。

12、按照权利要求8至11之一所述的方法，其特征在于内插错误的处理靠对如下的内插错误作估计屏蔽来完成，这些内插错误对应于向量V⁺及V^-不一致的那些中间图像区。