CN1885953A - 中间矢量内插方法和执行该方法的三维显示装置 - Google Patents

Abstract

本发明提供了一种中间矢量内插方法和执行该方法的三维显示装置。一种使用从第一摄像机连续接收的第一帧和第三帧以及从第二摄像机连续接收的第二帧和第四帧产生第一帧和第二帧之间的中间图像的方法，包括：以块为单位计算和求和第一帧与第三帧之间的像素值差；确定块的中心像素是否具有运动；计算与第一帧和第二帧之间的运动矢量相对应的当前视差矢量，并计算与第三帧和第四帧之间的运动矢量相对应的在前视差矢量；和如果该块的中心像素具有运动，则使用当前视差矢量产生中间图像，和如果所述块的中心像素没有运动，则计算在前视差矢量的中间值并使用在前视差矢量的中间值产生中间图像。

Description

中间矢量内插方法和执行该方法的三维显示装置

技术领域

本发明涉及一种使用在前视差(disparity)矢量、而不是当前视差矢量来产生用于没有运动的像素的中间图像的方法和执行该方法的三维(3D)显示装置。

背景技术

近来，美国、欧洲和日本等正在积极进行关于包括多视图(multiview)视频编码方法的三维(3D)视频技术的研究。多视图3D TV允许观众根据他们的位置观看不同的3D图像，从而提供更加自然的3D图像。但是，在所有视点处提供不同的3D图像实际上是不可能的，此外，为所有视点发送大量数据会导致高成本。因此，需要使用发送的图像产生用于不存在视点的图像的中间矢量内插。

中间矢量内插是检测两个图像之间的类似性并将两个图像之间的视差表示为矢量的视差估计。所述视差估计被分类成检测和匹配图像特性点的基于特性的视差估计方案、检测和匹配价值函数最短路径的动态编程视差估计方案、以及估计和匹配窗口的关联性的基于区域的视差估计方案。

但是，当这些视差估计方法应用于运动图像时，靠近两个对象之间的边界部分会发生闪烁(flicker)现象。在图像中的未运动对象的情况下，必须以每秒最少45帧来显示相同的图像。如果在每秒45帧的期间内没有保持相同的图像，或者如果没有显示相同的图像，那么，观众将经历没有运动对象的瞬间(blink)。没有运动对象的瞬间被称做闪烁。

在对运动图像进行中间矢量内插的情况下，在对象没有运动的同时，必须利用每帧相同的图像来显示未运动的对象。但是，由于立体摄像机的少量摆动或光的变化等，不能正确地执行视差矢量估计。如果由于这种不正确的视差矢量而导致插入了失真的中间视点图像帧，则当观看运动图像上的未运动对象时，观众将会觉察到闪烁。因此，需要一种在内插运动图像的中间视点图像时防止闪烁的方法。

发明内容

本发明的一方面是提供一种中间图像产生方法和执行该方法的三维(3D)显示装置，通过根据从至少两个摄像机接收的图像是否具有运动将当前帧的视差矢量或在前帧的视差矢量应用于每个图像并由此产生中间图像，该方法能够防止闪烁。

为了实现本发明的特定方面，提供了一种使用从第一摄像机连续接收的第一帧和第三帧以及使用从第二摄像机连续接收的第二帧和第四帧产生第一帧和第二帧之间的中间图像的方法，包括：以块为单位计算并求和第一帧和第三帧之间的像素值差；基于求和的结果，确定块的中心像素是否具有运动；计算与第一帧和第二帧之间的运动矢量相对应的当前视差矢量，并且计算与第三帧与第四帧之间的运动矢量相对应的在前视差矢量；和如果确定所述块的中心像素具有运动，则使用所述当前视差矢量产生中间图像，和如果确定所述块的中心像素没有运动，则计算所述在前视差矢量的中间值并通过计算在前视差矢量的中间值产生所述中间图像。

确定所述块的中心像素是否具有运动包括：将所述像素值差的和与第一阈值进行比较，并将其中像素值差的和大于第一阈值的块的中心像素确定为具有运动的第一中心像素，和将其中像素值差的和小于第一阈值的块的中心像素确定为没有运动的第二中心像素；将第一帧的预定区域内的第一中心像素的数量或第二中心像素的数量与第二阈值进行比较；和如果所述像素值差的和大于第二阈值，则确定所述预定区域的中心像素是具有运动的第一中心像素，和如果第一中心像素的数量或第二中心像素的数量小于第二阈值，则确定所述预定区域的中心像素是没有运动的第二中心像素。

另外，将所述像素值差的和与第一阈值进行比较是通过以块为单位计算和求和第二帧与第四帧之间的像素值差并将求和的结果与该第一阈值进行比较执行的。

为了实现本发明的其它方面，提供了一种三维显示装置，用于使用从第一摄像机连续接收的第一帧和第三帧以及从第二摄像机连续接收的第二帧和第四帧产生第一帧和第二帧之间的中间图像，包括：第一计算器，用于以块为单位计算和求和第一帧与第三帧之间的像素值差，然后将求和的结果与第一阈值进行比较；运动确定单元，用于将其中像素值差的和大于第一阈值的块的中心像素确定为具有运动的第一中心像素，和将其中像素值差的和小于第一阈值的块的中心像素确定为没有运动的第二中心像素；视差矢量计算器，用于计算与第一帧与第二帧之间的运动矢量相对应的当前视差矢量，和计算与第三帧与第四帧之间的运动矢量相对应的在前视差矢量；和中间图像发生器，用于如果确定所述块的中心像素具有运动，则使用所述当前视差矢量产生中间图像，和如果确定所述块的中心像素没有运动，则计算在前视差矢量的中间值，并使用在前视差矢量的中间值产生中间图像。

所述3D显示装置还包括第二计算器，用于将第一帧的预定区域内的第一中心像素的数量或第二中心像素的数量与第二阈值进行比较。

如果由第二计算器所计算的在第一帧的某个区域中的像素值差的和大于第二阈值，则所述运动确定单元确定所述预定区域的中心像素是具有运动的第一中心像素，和如果在该预定区域中的第一中心像素的数量或第二中心像素的数量小于第二阈值，则所述运动确定单元确定该预定区域的中心像素是没有运动的第二中心像素。

第一计算器以块为单位计算和求和第一帧与第三帧之间的像素值差，并将求和的结果与第一阈值进行比较。

附图说明

通过参考附图对本发明范例性实施例的描述，本发明的上述方面将会更加明显，其中：

图1是根据本发明范例性实施例的执行中间图像产生方法的三维(3D)显示装置的方框图；

图2图解说明了根据本发明范例性实施例的中间图像产生方法的流程图；

图3是用于详细解释图2的中间图像产生方法的视图；

图4是用于解释根据图2的中间图像产生方法、确定在各帧中像素是否具有运动的方法的视图；和

图5是用于解释根据图2的中间图像产生方法、估计视差矢量的方法的视图。

具体实施方式

下面将结合附图更详细地说明本发明的范例性实施例。

下文中，作为例子将描述这样一种操作，即，使用由彼此相隔预定距离的第一摄像机和第二摄像机分别捕捉的第一帧和第二帧产生与第一摄像机和第二摄像机的中间视点相对应的中间图像。

图1是根据本发明范例性实施例执行中间图像产生方法的三维(3D)显示装置的方框图。

参看图1，所述3D显示装置包括存储单元100、解码器200、确定单元300、发生器400和显示单元500。

存储单元100以帧为单位暂时存储连续输入的图像。详细地说，存储单元100依次存储作为由第一摄像机捕捉的图像的第一帧、第三帧和第五帧等，并且依次存储作为由第二摄像机捕捉的图像的第二帧、第四帧和第六帧等。

这里，第一帧是由第一摄像机捕捉的当前帧，第三帧是在接收第一帧之前接收的，而第五帧是在接收第三帧之前接收的。

另外，第二帧是由第二摄像机捕捉的当前帧，第四帧是在接收第二帧之前接收的，而第六帧是在接收第四帧之前接收的。因此，第一和第二帧、第三和第四帧、以及第五和第六帧分别是由第一摄像机和第二摄像机同时捕捉的图像。

解码器200解码编码的输入图像。

确定单元300包括第一计算器310、第二计算器320、和运动确定单元330，并使用当前帧和在前帧之间的像素值差以像素为单位确定作为当前帧的第一和第二帧相对于在前帧是否具有运动。即，确定单元300使用第一帧和第三帧之间的像素值差或使用第二帧和第四帧之间的像素值差确定当前帧的像素是否具有运动。下文中，作为例子，将说明使用第一帧和第三帧之间的像素值差确定是否存在运动的情况。

具体地说，确定单元300的第一计算器310以块为单位计算第一帧和第三帧之间的像素值差，并求和计算结果，然后将求和的结果与第一阈值进行比较。

第二计算器320将在第一帧的预定区域内的像素值差的和大于第一阈值的每个块中的中心像素的数量，或者在第一帧的预定区域内的像素值差的和小于第一阈值的每个块中的中心像素的数量与第二阈值进行比较。

在如果在一个块中的像素值差的和大于第一阈值从而第一帧的该块的中心像素值被判定为“1”，和如果在该块中的像素值差的和小于第一阈值从而第一帧的该块的中心像素值被判定为“0”的情况下，将像素值差的和大于第一阈值的每个块中的块中心像素的数量与第二阈值进行比较。

相反，在如果在一个块中的像素值差的和大于第一阈值从而第一帧的该块的中心像素值被判定为“0”，和如果在一个块中的像素值差的和小于第一阈值从而第一帧的该块的中心像素值被判定为“1”的情况下，将像素值差的和小于第一阈值的每个块中的块中心像素的数量与第二阈值进行比较。

即，在第一帧的预定区域的像素被判定为“1”或“0”之后，求和所判定的值并将该求和的结果与第二阈值进行比较。

如果第二计算器320确定所述和大于第二阈值，那么，运动确定单元330确定预定区域的中心像素具有运动。如果第二计算器320确定所述和小于第二阈值，那么，运动确定单元330确定所述预定区域的中心像素没有运动。

因此，如果第一计算器310确定块的中心像素具有运动和在预定区域中存在多个具有运动的像素，那么，运动确定单元330确定与该块的中心像素对应的预定区域的中心像素具有运动。其间，如果确定块的中心像素没有运动和在预定区域中存在多个没有运动的像素，那么，运动确定单元330确定与该块的中心像素对应的预定区域的中心像素没有运动。

其间，运动确定单元330能够只使用来自第一计算器310的结果确定第一帧的各像素是否具有运动。第一计算器310确定其中像素值差的和大于第一阈值的块的中心像素具有运动，并且确定其中像素值差的和小于第一阈值的块的中心像素没有运动。但是，通过使用来自第二计算器320的结果，可以更精确地确定块的中心像素是否具有运动。

发生器400包括视差矢量计算器410和中间图像发生器420。发生器400根据确定单元300的确定结果，使用当前视差矢量或在前视差矢量产生第一帧和第二帧之间的中间图像。

即，视差矢量计算器410计算当前视差矢量，其是第一帧和与当前帧对应的第二帧之间的视差矢量，并计算在前视差矢量，其是第三帧和与在前帧对应的第四帧之间的视差矢量。这里，所述视差矢量被用于根据摄像机的位置估计由第一摄像机和第二摄像机同时捕捉的同一对象的图像之间的差，其中，以块为单位计算视差矢量。

如果确定单元300确定第一帧的像素具有运动，那么，中间图像发生器420使用当前视差矢量产生中间图像。如果确定单元300确定第一帧的像素没有运动，那么，中间图像发生器420使用在前视差矢量产生中间图像。即，根据第一帧是否具有运动，第一帧和第二帧之间的中间图像的每个像素值被判定为当前视差矢量的中间值或在前视差矢量的中间值。

因此，通过使用在前视差矢量产生用于具有运动的像素的中间值，而不是通过使用当前视差矢量产生中间图像，可以防止由于亮度值的变化所导致的闪烁。

显示单元500显示由第一和第二摄像机捕捉的图像、以及使用该图像所产生的与第一和第二摄像机的中间视点相对应的中间图像。

图2是图解说明根据本发明范例性实施例的中间图像产生方法的流程图。图3是用于详细解释图2的中间图像产生方法的视图。

参看图3，中间图像产生方法被用于使用被彼此相邻的第一摄像机C1和第二摄像机C2同时捕捉的图像来产生与第一摄像机C1和第二摄像机C2的中间视点对应的中间图像。在图3中，水平轴表示摄像机编号，垂直轴表示时间。因此，利用第一摄像机C1连续捕捉帧P1、P3、P5和P7，而利用第二摄像机C2连续捕捉帧P1、P4、P6和P8。

下面，作为例子，将说明产生由第一摄像机C1和第二摄像机C2在时间T4处分别捕捉的帧P1和P2的中间图像的方法。为了产生中间图像，使用在捕捉帧P1之前被第一摄像机C1捕捉的帧P3、和在捕捉帧P2之前被第二摄像机C2捕捉的帧P4。

参看图2，首先，计算第一帧P1和第三帧P3之间的像素值差(操作S901)。以帧为单位存储由第一和第二摄像机C1和C2捕捉的图像，并且计算从第一摄像机C1连续接收的第一帧P1与第三帧P3之间的像素值差。执行所述像素值差的计算，以便确定第一帧P1的每个像素是否具有运动。或者，通过计算从设置在与第一摄像机C1不同位置处的第二摄像机C2连续接收的第二帧P2与第四帧P4之间的像素值差，可以确定是否存在运动。

接着，求和以块为单位计算的第一帧P1的像素值差并将该求和结果与第一阈值相比较(操作S903)。

图4是用于解释根据图2的中间图像产生方法用于确定在各帧中的像素是否具有运动的方法的视图。参看图4，为了确定在时间T4处接收的第一帧P1的中心像素S1相对位于在时间T3处接收的第三帧P3的对应位置处的像素S3是否具有运动，求和在位于中心像素S1的中心具有水平长度为bx和垂直长度为by的块与位于中心像素S3的中心具有水平长度为bx和垂直长度为by的块之间的各像素值差。因此，可以用下述等式1来表示所述像素值差的和：

$\mathrm{CV}(x,y)=\underset{i=x-\mathrm{bx}/2}{\overset{x+\mathrm{bx}/2}{\mathrm{\Σ}}}\underset{j=y-\mathrm{by}/2}{\overset{y+\mathrm{by}/2}{\mathrm{\Σ}}}\backslash I_{P3(i,j)}-I_{P1(x,y)}...\left(1\right)$

其中，CV表示第一帧P1的块的像素值差的和，P1和P3分别表示第一帧和第三帧，I_P1和I_P3分别表示第一帧P1的亮度和第三帧P3的亮度。另外，bx和by分别表示第一帧P1和第三帧P3的每个块中的块的水平和垂直长度，和(x，y)表示每个块的中心像素的位置。

然后，将以块为单位计算的帧P1和帧P3之间的像素值差的和与第一阈值进行比较。这里，第一阈值是基于图像的尺寸和在图像中的运动程度用实验方法判定的。

接着，在第一帧P1的预定区域中，其像素值差的和大于第一阈值的块的中心像素和其像素值差的和小于第一阈值的块的中心像素被分别判定为是“1”和“0”，然后，求和该预定区域中的所判定的值(操作S905)。在该范例性实施例中，在第一帧P1的预定区域中，其像素值差的和大于第一阈值的块的中心像素值(第一中心像素值)被判定为是“1”，和其像素值差的和小于第一阈值的块的中心像素值(第二中心像素值)被判定为是“0”。因此，可以利用下述等式2来表示第一和第二中心像素值：

CM(x，y)＝1，CV≥Th1

$\mathrm{CM}(x,y)=0,\mathrm{CV}<\mathrm{Th}1$

                                                     (2)

其中，CM表示第一帧P1的块的中心像素，和(x，y)表示中心像素的位置。另外，CV表示第一帧P1和第三帧P3之间的像素值差的和，以及Th1表示第一阈值。

随后，求和被分配给预定区域中各像素的值“1”和“0”并将求和后的值与第二阈值相比较(S907)。可以利用下述等式3来计算求和值：

$\mathrm{SCM}(x,y)=\underset{i=x-h/2}{\overset{x+w/2}{\mathrm{\&Sigma;}}}\underset{j=y-h/2}{\overset{y+w/2}{\mathrm{\&Sigma;}}}\mathrm{CM}(i,j)...\left(3\right)$

其中，SCM是分配给第一帧P1的预定区域内每个像素的中心像素值，以及(x，y)表示像素在预定区域中的位置。另外，CM是一个块的中心像素，它可以是如等式2表达的第一中心像素或第二中心像素。另外，h和w分别表示预定区域的水平和垂直长度。

如等式3所表达的，分配给预定区域中像素的第一中心像素值和第二中心像素值被求和。将经过求和的值与第二阈值相比较，从而确定该预定区域的中心像素是否具有运动。

或者，使用等式2，可以确定，如果一个块的像素值差的和大于第一阈值则该块的中心像素具有运动，并且可以确定如果一个块的像素值差的和小于第一阈值则该块的中心像素没有运动。但是，由于中心像素的噪声等，没有运动的第二中心像素可能被确定为具有运动的第一中心像素。如果根据这种错误的确定来产生中间图像，则通过所产生的中间图像可能引起闪烁现象。

因此，代替仅使用每个块的像素值差的和来确定第一帧的各像素是否具有运动，在由等式2判定的块的中心像素的中心设置预定区域。这样，求和使用等式2分配给该预定区域中各像素的值“1”和“0”。如果求和的值(被分配值“1”的具有运动的像素的数量)大于第二阈值，那么，可以确定该预定区域的中心像素具有运动。即，如果一个块的中心像素具有运动和在该预定区域中具有运动的像素的数量大于第二阈值，那么，可以确定该预定区域的中心像素具有运动。

随后，如果被分配给预定区域中的各像素的值“1”和“0”的和大于第二阈值，那么，使用当前视差矢量产生中间图像(操作S909)。预定区域中各像素值(“1”和“0”)的和大于第二阈值的情况对应于其中该预定区域中像素差值的和超过第一阈值的像素的数量大于第二阈值的情况。在这种情况下，可以确定所述预定区域中的中心像素具有运动。因此，在估计了是当前帧的第一帧和第二帧之间的视差矢量之后，使用当前视差矢量产生第一帧和第二帧之间的中间图像。因此，通过使用当前视差矢量的中间值判定中间图像的像素值来产生第一帧和第二帧之间的中间图像。

其间，根据第一摄像机和第二摄像机的位置，通过估计分别由该第一摄像机和第二摄像机同时捕捉的同一对象的图像之间的差，执行视差矢量的估计。图5是用于解释根据图2的中间图像产生方法估计视差矢量的方法的视图。参看图5，以块为单位估计第一帧P1和第二帧P2之间的视差矢量DV。这里，块的尺寸最好是16×16，也可以根据图像的特征是8×8或更低。

其间，如果分配给预定区域中各像素的值“1”和“0”的和小于第二阈值，则使用在前视差矢量来产生中间图像(操作S911)。预定区域中各像素值(“1”和“0”)的和小于第二阈值的情况对应于其中预定区域中像素差值的和超过第一阈值的像素的数量小于第二阈值的情况。在这种情况下，可以确定该预定区域的中心像素没有运动。

因此，如果确定该预定区域的中心像素没有运动，则使用在前视差矢量产生第一帧和第二帧之间的中间图像。这里，在前视差矢量是在作为第一帧的在前图像的第三帧与作为第二帧的在前图像的第四帧之间的视差矢量。已经结合图5描述了在前视差矢量。

然后，将在前视差矢量的中间值判定为中间图像的像素值，从而产生第一帧和第二帧之间的中间图像。此时，如果确定第一帧的像素相对于作为第一帧的在前帧的第三帧没有运动，那么，通过使用是所述在前帧的第三帧所产生的在前视差矢量、而不是使用通过使用第一帧所产生的当前视差矢量来产生所述中间图像。

其间，如果能够从基于MPEG标准等的压缩运动图像接收正确的运动信息，那么，可以基于根据操作S909和S911所接收的运动信息产生所述中间图像，而不是根据操作S901至S907确定像素是否具有运动。

在上述的范例性实施例中，已经披露了一种在显示由两个摄像机捕捉的图像的立体视图显示装置中产生中间图像的方法，但是，这种方法也可以被应用于显示由彼此相隔预定距离并连续放置的多个摄像机捕捉的图像的多视图显示装置。

如上所述，根据本发明的范例性实施例，当根据从至少两个摄像机接收的图像产生中间图像时，通过将使用在前帧估计的在前视差矢量应用于没有运动的像素，可以防止由于在运动图像中没有运动的对象的亮度值变化所引起的闪烁。

前述的实施例仅仅用于解释并不能被曲解为对本发明的限制。本发明可以被很容易地应用于其它类型的范例性实施例。另外，本发明范例性实施例的描述意在解释说明，而不是对权利要求范围的限制，很多替换、修改和变化对本领域普通技术人员来讲是很明显的。

Claims (7)

1.一种使用从第一摄像机连续接收的第一帧和第三帧以及使用从第二摄像机连续接收的第二帧和第四帧产生第一帧和第二帧之间的中间图像的方法，包括：

以块为单位计算并求和第一帧和第三帧之间的像素值差；

基于求和的结果，确定块的中心像素是否具有运动；

计算与第一帧和第二帧之间的运动矢量相对应的当前视差矢量，并且计算与第三帧与第四帧之间的运动矢量相对应的在前视差矢量；和

如果确定所述块的中心像素具有运动，则使用所述当前视差矢量产生中间图像，和如果确定所述块的中心像素没有运动，则计算所述在前视差矢量的中间值并通过计算在前视差矢量的中间值产生所述中间图像。

2.如权利要求1所述的方法，其中，所述确定包括：

将所述像素值差的和与第一阈值进行比较，并将其中像素值差的和大于第一阈值的块的中心像素确定为具有运动的第一中心像素，和将其中像素值差的和小于第一阈值的块的中心像素确定为没有运动的第二中心像素；

将第一帧的预定区域内的第一中心像素的数量或第二中心像素的数量与第二阈值进行比较；和

如果所述像素值差的和大于第二阈值，则确定所述预定区域的中心像素是具有运动的第一中心像素，和如果第一中心像素的数量或第二中心像素的数量小于第二阈值，则确定所述预定区域的中心像素是没有运动的第二中心像素。

3.如权利要求2所述的方法，其中，将所述像素值差的和与第一阈值进行比较是通过以块为单位计算和求和第二帧与第四帧之间的像素值差并将求和的结果与该第一阈值进行比较执行的。

4.一种三维显示装置，用于使用从第一摄像机连续接收的第一帧和第三帧以及从第二摄像机连续接收的第二帧和第四帧产生第一帧和第二帧之间的中间图像，包括：

第一计算器，用于以块为单位计算和求和第一帧与第三帧之间的像素值差，然后将求和的结果与第一阈值进行比较；

运动确定单元，用于将其中像素值差的和大于第一阈值的块的中心像素确定为具有运动的第一中心像素，和将其中像素值差的和小于第一阈值的块的中心像素确定为没有运动的第二中心像素；

视差矢量计算器，用于计算与第一帧与第二帧之间的运动矢量相对应的当前视差矢量，和计算与第三帧与第四帧之间的运动矢量相对应的在前视差矢量；和

中间图像发生器，用于如果确定所述块的中心像素具有运动，则使用所述当前视差矢量产生中间图像，和如果确定所述块的中心像素没有运动，则计算在前视差矢量的中间值，并使用在前视差矢量的中间值产生中间图像。

5.如权利要求4所述的三维显示装置，还包括：

第二计算器，用于将第一帧的预定区域内的第一中心像素的数量或第二中心像素的数量与第二阈值进行比较。

6.如权利要求5所述的三维显示装置，其中，如果由第二计算器所计算的在第一帧的某个区域中的像素值差的和大于第二阈值，则所述运动确定单元确定所述预定区域的中心像素是具有运动的第一中心像素，和如果在该预定区域中的第一中心像素的数量或第二中心像素的数量小于第二阈值，则所述运动确定单元确定该预定区域的中心像素是没有运动的第二中心像素。

7.如权利要求4所述的三维显示装置，其中，第一计算器以块为单位计算和求和第一帧与第三帧之间的像素值差，并将求和的结果与第一阈值进行比较。

Images